张霄远研究员学术报告会
发布时间:2026-08-22   阅读:256

题目:AI与优化:互相赋能视角

时间:2026年8月22日 10:30-11:30

地点:36365线路检测中心no1 A701会议室

邀请人:齐臣坤 副教授(重大装备设计与控制工程研究所)


报告人简介

1787273877725439.jpg

张霄远,北京中关村学院研究员,入选国家级青年人才计划。研究领域包括:(1)针对百万级参数高效的梯度法求解器算法/软件/理论;(2)大模型后训练阶段的黎曼流形优化理论,并开发针对性的高性能训练求解器;(3)新型整数规划/SAT求解器的开发及其理论;(4)集合学习的泛化理论。他在人工智能领域的国际会议与期刊上发表了十余篇学术论文,并担任 IJCAI2025 大会“多目标优化”主题的特邀讲座(Tutorial)组织者。他曾荣获微软“编程之美”全国总冠军、香港城市大学杰出学术表现奖等荣誉。


报告摘要

报告将介绍团队近期开展的两项工作:(1)基于大模型工作流的新型整数规划算法自动设计。商用整数规划求解器通常由分支定界、切平面等多个核心模块组成。其中,高质量的分支策略能够显著缩小搜索空间、降低求解时间。然而,如何针对特定问题设计高效的分支算法,长期以来一直是该领域的公开难题。近期,团队构建了一套由大模型驱动的软件迭代工作流,以开源算法与代码为起点,自动完成算法生成、测试、评估和迭代优化,从而设计出更高效的整数规划算法。在多个整数规划数据集上的实验表明,该方法平均可带来约25%的性能提升。(2)基于纤维丛结构的大模型低秩优化方法。在大模型的低秩后训练中,无论采用双因子分解还是SVD分解,都可能面临参数更新冗余的问题。例如,对于低秩矩阵乘积AB,变换后的表示(AR)(R^{-1}B)与其对应同一个矩阵,因而会产生大量等价解,影响优化效率。针对这一问题,团队提出了一种新的去冗余更新算法。该方法利用纤维丛的几何结构,在模型优化过程中仅保留水平方向上的有效更新,从而消除冗余自由度并提升优化效率。团队不仅在简化模型上从理论上证明了该算法的收敛速率,还在LLaMA-3B模型上进行了实验验证,结果表明该方法具有显著的性能优势。