近日,东北大学秦分校beat365中文唯一官网康海东副教授团队在人工智能基础模型设计与大模型轻量化领域再创佳绩,以东北大学为第一完成单位的两项重要研究成果被机器学习领域的国际顶级会议ICML 2026(International Conference on Machine Learning)录用。这是该团队继在ICCV、AAAI、IJCAI、ACM MM、NeurIPS等人工智能顶会发表系列工作后的又一重要突破。以下是2篇实验室ICML 2026论文的简要介绍:


1. Unlocking the Potential of Continual Model Merging: An ODE Perspective

作者:林立宏(东北大学2023级本科生),康海东(东北大学秦分校副教授,唯一通信作者)

持续模型合并(Continual Model Merging, CMM)能够快速定制基础模型以适应顺序到达的任务,从而为重复训练提供了一种可扩展的替代方案。然而,现有的合并规则缺乏对先前学习的能力和新合并模型之间学习容量分配的显式控制。因此,随着任务的顺序合并,这种缺陷会累积,导致严重的遗忘,尤其是在任务重要性不同的场景下,性能分配变得高度不一致。其主要原因在于,以往的方法将每个任务模型视为一个孤立的参数点,并应用固定的代数组合,而不是显式地构建一个能够体现独立训练模型在参数空间中如何连接的转换。受模式连通性的启发,我们假设理想的合并模型位于低损失的连接路径上,并且持续合并应该沿着这些路径进行,避免跨越导致遗忘的损失障碍。基于这些见解,我们提出了一种新型的基于常微分方程的合并算法(ODE-M),该算法专为CMM设计,通过积分时变速度场并施加障碍约束来追踪合并路径,从而防止损失增加。大量实验表明,在主流CMM基准测试中,ODE-M的性能优于其他同类算法。

落地应用场景:智能交通、智能港口、智慧工厂、自动驾驶等场景对于算力和训练成本非常敏感,我们提出的算法可以有效的降低算力的依赖和重复的训练成本,高效的实现多任务部署,并能够自适应的应对新数据带来的训练额外训练和部署开销问题。


2. Automatic Pruning Discovery for Large Language Models

作者:康海东(东北大学秦分校副教授),林立宏(东北大学2023级本科生),杨恩能(中山大学博士后),戴弘寧(香港浸会大学教授),王皓(西安电子科技大学教授)

大语言模型(LLMs)在广泛的任务中取得了显著性能,但其庞大的参数规模阻碍了实际部署。现有的针对大语言模型的剪枝方法(如Wanda)严重依赖于人工设计的剪枝算法,这导致了高昂的劳动力成本并要求深厚的专家知识。此外,我们率先发现了在高剪枝率下性能剧烈下降背后的严重离群值(outlier value)问题,这一问题由均匀稀疏性导致,并引发了关于如何为大语言模型设计理想的自适应剪枝稀疏度的进一步思考。那么,大语言模型能否实现自我剪枝?在本文中,我们提出了AutoPrune这一新型剪枝方法,并给出了肯定的回答。AutoPrune通过利用大语言模型为自身自动设计最优剪枝算法,首次克服了专家知识的局限,无需任何先验专家经验。具体而言,为了缓解大语言模型的黑盒特性,我们提出了一种图驱动的思想链(Graph-driven Chain-of-Thought,GCoT)来优化提示词,显著增强了学习剪枝算法过程中的推理能力,使我们能够生成具有卓越性能和可解释性的下一代剪枝算法。最后,基于对离群值问题的深入洞察,我们引入了偏态感知动态稀疏分配(Skew-aware Dynamic Sparsity Allocation, SDSA)来解决离群值挑战,从而缓解高剪枝率下的性能衰减。我们在主流大语言模型基准测试上进行了广泛实验,结果证明了AutoPrune的优越性,其性能始终优于现有的尖端竞争方法。

落地应用场景:(1)边缘设备部署。手机、嵌入式设备存储容量有限、算力不足,通过AutoPrune让模型更轻、占用资源更少,可以最高实现90%以上的压缩率而不损伤精度,而且可以自动化的实现模型压缩算法的自适应设计与部署。让不同参数量的大模型适配各类边缘终端的大模型轻量化需求,支撑端侧本地离线智能推理(保护隐私),无需依赖云端网络,实现低延迟、高隐私的本地AI服务。(2)行业大模型适配。针对金融、工业、政务等垂直领域大模型体积庞大、部署时间长、适配成本高的问题,通过AutoPrune对行业专属大模型进行压缩优化,实现快速部署。


ICML是全球公认的人工智能和机器学习领域难度最大、水平最高、影响力最强的顶级学术会议之一,在Google Scholar的AI类出版物中排名第一,该会议是中国计算机学会(CCF)推荐的A类会议。本次ICML 2026收到了23,918篇投稿,接收了6,352,录取率26.6%,将于2026年7月6日至7月11日在韩国首尔COEX Convention & Exhibition Center举行。

下一条:beat365官网教师刘学聪博士在国际顶级会议CVPR 2026发表研究成果