中国科学院数学与系统科学研究院张世华研究员做客科学前沿讲座:“深度学习的数学理解”

  • 文/周相鑫 图/周相鑫 (人工智能学院)
  • 创建于 2021-11-15
  • 251

  初冬季节,经历了上周的初雪后,近日天气由寒转暖,我们也有幸迎来了张世华老师的关于《深度学习的数学理解》的讲座。

  张世华老师,现为中国科学院数学与系统科学研究院研究员、中国科学院随机复杂结构与数据科学重点实验室副主任、中国科学院大学岗位教授。主要从事生物信息计算、机器智能与优化等研究,主要成果发表在Cell、Advanced Science、National Science Review、Nature Communications、Nucleic Acids Research、Science Bulletin、Bioinformatics、IEEE TPAMI、IEEE TKDE、IEEE TNNLS等杂志。曾荣获中国青年科技奖、国家自然科学基金优秀青年基金、中组部万人计划青年拔尖人才、中国科学院卢嘉锡青年人才奖、全国百篇优秀博士论文奖等。

205222 376867 1

  讲座开始,张世华老师先介绍了深度学习浪潮兴起以来这个领域的发展,以及一些成功的应用,比如在生物领域的杰出成果,同时引用了Ali Rahimi研究员在NIPS 2017演讲时的一句话”Machine Learning has become alchemy”(深度学习已经变成了炼金术),来引出这个领域目前的存在的问题——缺乏扎实的理论研究,然后介绍了近几年从数据、网络架构、训练算法等角度,使用数学工具解释深度学习等一些工作。讲座的主体部分分为两个模块。第一部分是Towards Understanding Deep Learning with Sparse Coding,张世华老师介绍了1996年Nature上发表的用于稀疏编码的Iterative Shrinkage/Thresholding Algorithm (ISTA), 并延伸讲解了它的改进版本,比如将局部性质引入,从而得到的Convolutional Sparse Coding (CSC), 通过将卷积用带有一定形式的约束的稀疏矩阵来表示,可以建立普通的卷积神经网络和sparse coding的联系,这一定程度上揭示了卷积神经网络的背后的本质。然后张世华老师详细介绍了自己发表在National Science Review上的工作Towards understanding residual and dilated dense neural networks via convolutional sparse coding,在这个工作中,将现在卷积神经网络中非常成功的网络架构ResNet和DenseNet类比到特定形式到CSC上,也加深了我们对于这种网络结构到理解。讲座的第二部分是Deep Learning (ResNet) Learns the Geodesic Curve of Wasserstein Space,从将离散化的动力系统出发,引出从保测度映射的角度分析深度学习模型的鲁棒性,将这种鲁棒性理解为从原始数据到目标点的传输代价,从而可以从最优传输理论的角度,解释深度学习中的一些模型和算法取得更优性能的原因。

205214 617294 2

  张世华老师的讲座十分精彩,将近几年深度学习的十分成功的模型背后的数学原理,让我们感受到了深度学习中数学理论的美妙。最后在热烈的掌声中张世华老师结束了本次讲座。在讲座结束后,很多同学留下来和张世华老师讨论问题。相信同学们一定在本次讲座中收获良多!

责任编辑:李暄妍