人工智能学院举办“人工智能与机器学习中的优化算法简介”科学前沿讲座

  • 文/周相鑫 图/周相鑫 (人工智能学院)
  • 创建于 2021-10-26
  • 356

  10月20日,我们有幸请来了刘歆老师来为我们做《人工智能与机器学习中的优化算法简介》讲座。

  刘歆老师,现为中国科学院数学与系统科学研究院,研究员、博士生导师。2004年本科毕业于北京大学数学科学学院;2009年于中国科学院数学与系统科学研究院获得博士学位;毕业后留所工作至今。曾在德国Zuse Institute Berlin,美国Rice大学,美国纽约大学Courant研究所等科研院所长期访问。主要研究方向包括:线性与非线性特征值问题、Stiefel流形上的优化问题、分布式优化算法设计,及其在电子结构计算、统计大数据分析、机器学习中的应用。2016年获得国家优秀青年科学基金;2016年获得中国运筹学会青年科技奖;2020年获得中国工业与应用数学学会应用数学青年科技奖;2021年获得国家杰出青年科学基金。目前担任《Mathematical Programming Computation》、《Journal of Computational Mathematics》、《Journal of Industrial and Management Optimization》等国内外期刊编委;并担任中国科学院数学与系统科学研究院-香港理工大学“应用数学”联合实验室副主任,中国运筹学会常务理事、科普工作委员会主任,中国工业与应用数学会副秘书长。

093016 338280 1

  刘老师开场为我们介绍了从大数据到人工智能的发展历史,以及当今人工智能模型的关键组成部分,其中不可或缺的一部分就是优化算法。首先,刘老师介绍了优化问题和计算数学的领域的基本信息,以及优化问题和运筹学的关系。然后为我们讲解了优化问题中的一些基本概念,包括优化问题的形式化定义、优化问题的分类(无约束/约束、连续/离散、凸/非凸、可微/不可微等),然后为我们介绍了优化算法的基本框架(迭代方法)以及算法的停止准则(最大迭代步数、相邻步数间的差、以及最优性条件),也介绍了研究优化算法时常关注的方面,如算法的效率、收敛性、收敛速度等。第二部分,刘老师为我们介绍了一些经典的无约束优化算法,包括先搜索方法(line search)、梯度方法(Gradient methods)、共轭梯度法(Conjugate gradient methods)、牛顿法(Newton methods)、拟牛顿法(quasi-Newton methods)、BB方法、信赖域方法(Trust Region Methods)、针对非线性最小二乘问题的方法(包括高斯牛顿法、Levenberg-Marquardt method)、以及针对有结构性的优化问题的块坐标下降法(Block Coordinate Descent)。第三部分,刘老师为我们介绍了约束优化算法,即罚函数方法(Penalty Function Methods)和无梯度优化方法(Derivative Free Optimization)系列。最后,刘老师为我们展示了优化方法在人工智能、电子电路等领域的重要应用。

092951 862761 2

  刘歆老师是优化领域的知名学者,同学们纷纷慕名而来。刘老师为同学们带来了对优化问题更为深刻的认识,并且在讲解过程中举了很多生动有趣的例子,将十分艰深的数学问题转化为同学们容易理解的直观现象,引人入胜。最后,伴随着热烈的掌声,刘老师结束了本次精彩的讲座。相信这次讲座不仅给同学们带来了优化算法的相关知识,也给同学们带来了对这一领域的研究热情。

责任编辑:李暄妍