休闲

ICML放榜!清华阿里拿下最高奖,谷歌DeepMind再封经典

时间:2010-12-5 17:23:32  作者:时尚   来源:热点  查看:  评论:0
内容摘要:智东西 | 作者:程茜 | 编辑:李水青智东西 7 月 6 日报道,全球机器学习三大顶级会议之一 ICML国际机器学习会议)今日正式公布获奖名单。来自 清华大学与 麻省理工学院MIT)的两篇关于 扩散

智东西 | 作者:程茜 | 编辑:李水青

智东西 7 月 6 日报道,放榜封经全球机器学习三大顶级会议之一 ICML(国际机器学习会议)今日正式公布获奖名单。清华来自 清华大学麻省理工学院(MIT)的阿里两篇关于 扩散模型的研究论文荣获 杰出论文奖(Outstanding Paper Award),该奖项代表了本届会议的拿下最高学术水准。

▲ ICML 官方公布获奖名单

其中,最高d再清华大学黄高团队的奖谷论文尤为引人注目,作者名单中还包括 阿里巴巴集团的放榜封经研究人员。该团队提出了极简算法 JustGRPO,清华在 GSM8K 数学推理数据集上实现了 89.1%的阿里准确率,同时完整保留了扩散模型并行解码的拿下高效优势。

此外,最高d再获得 杰出立场论文奖(Outstanding Position Paper Award)的奖谷研究分析了当前主流的对齐技术,警示恶意主体可能利用这些技术实施信息审查与舆论操控。放榜封经该论文由慕尼黑大学博士生 Sarah Ball 及独立 AI 治理研究者 Phil Hackemann 撰写。清华

荣获 时间检验奖(Test of Time Award)的阿里论文来自 谷歌 DeepMind2016 年发表的经典之作。该研究引入了一种利用多 CPU 核心加速单机训练的强化学习框架,在 arXiv 上的引用次数已突破 1.5 万次。谷歌 DeepMind AlphaGo/AlphaZero 首席研究员 David Silver 及谷歌 DeepMind CTO Koray Kavukcuoglu 均为该论文作者。

本次 ICML 共颁发 2 项杰出论文奖、1 项杰出立场论文奖及 1 项时间检验奖。ICML 创立于 1980 年,是全球首个专注于机器学习的顶级学术会议,与 NeurIPS、ICLR 并称为机器学习领域三大顶会,曾孕育大量里程碑式成果。

一、清华阿里联手,斩获 ICML 最高荣誉

清华大学黄高团队凭借论文《灵活性陷阱:重新思考扩散语言模型中任意顺序的价值》(The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models)获得杰出论文奖。

扩散大语言模型(dLLMs)突破了传统大语言模型从左至右的刚性生成限制,支持以任意顺序生成文本 Token。理论上,这种生成灵活性使其解空间严格包含自回归模型固定单向路径所能覆盖的范围,具备更强的推理潜力。在数独等约束满足类任务中,这一特性已展现出显著优势。

然而,该研究指出,在数学、代码等通用推理任务中,无序生成机制反而可能限制模型的推理上限。研究人员发现,扩散大语言模型倾向于利用生成顺序的自由度,刻意回避高不确定性且对探索关键的 Token,导致有效解空间过早收缩。

基于此发现,团队重新审视了面向扩散大语言模型的强化学习方案。现有算法为保留无序生成特性,需处理组合式生成路径及难以计算的似然值等复杂问题。研究人员证明,舍弃任意序生成机制并采用标准分组相对策略优化(GRPO),能更有效地激发模型推理能力。

他们提出的 JustGRPO算法结构简洁,在 GSM8K 数学推理数据集上准确率达到 89.1%,同时完整保留了扩散模型并行解码的优势。

▲ 约束模型自由度,可释放更强推理潜力

黄高为清华大学自动化系长聘副教授、博士生导师,以及清华大学智能产业研究院(AIR)研究员。其主要研究方向涵盖 AI 基础模型与算法,包括神经网络架构、高效推理算法、强化学习、多模态感知与生成、具身基座模型与世界模型等。

据清华大学自动化系披露,黄高已在 Nature Machine Intelligence、IEEE TPAMI 等顶级期刊会议发表论文 200 余篇,其中 CCF A 类论文 120 余篇。其谷歌学术总引用次数达 10.5 万次,代表作 DenseNet 单篇被引高达 6.2 万次,并入选 AI2000 人工智能领域最具影响力学者。

▲ 黄高(图源:清华大学)

二、MIT 与耶鲁学者提出高精度采样算法,AI 治理论文警示对齐风险

与清华团队并列获得杰出论文奖的,是 麻省理工学院耶鲁大学研究人员联合发表的论文《扩散模型和对数凹分布的高精度采样》(High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions)。

该论文提出了一套新的扩散模型采样算法:若可获得 L² 范数下精度为 $\tilde{O}(\delta)$ 的分数估计,该算法仅需 $\text{polylog}(1/\delta)$ 步即可达到 $\delta$ 误差。

具体复杂度结论分为三种场景:
1. 最简数据假设下:算法复杂度为 $\tilde{O}(d \cdot \text{polylog}(1/\delta))$,其中 $d$ 为数据维度;
2. 非一致 L-Lipschitz 条件下:复杂度降至 $\tilde{O}(dL \cdot \text{polylog}(1/\delta))$;
3. 数据分布具备本征维度 $d^\star$ 时:复杂度进一步简化为 $\tilde{O}(d^\star \cdot \text{polylog}(1/\delta))$。

此外,该方案首次仅依靠梯度求值,便为通用对数凹分布构造出复杂度为 $\text{polylog}(1/\delta)$ 的采样器。

杰出立场论文:警惕对齐技术沦为审查工具

获得杰出立场论文奖的是《立场:对齐社区正在无意间打造一套审查工具集》(Position: The Alignment Community is Unintentionally Building a Censor’s Toolkit)。作者为慕尼黑大学机器学习博士生 Sarah Ball 及独立 AI 治理研究者 Phil Hackemann。

该论文核心观点指出,现代对齐技术初衷是规避模型生成有害内容,但这类技术具有“两用性”。恶意主体可轻易利用其实施信息审查与舆论操控。

研究人员梳理了现有各类对齐技术,结合潜在滥用风险与真实案例,论证了人们对“完全对齐模型”的持续追求,反而在无意间为恶意主体打造了性能不断升级的信息主导工具。

▲ 各类对齐技术的特性及其被滥用的潜在风险

随着 AI 快速普及成为大众核心信息来源,加之全球政治环境日趋威权化,该技术滥用风险被进一步放大。因此,学界亟需即刻研讨其两用属性带来的隐患。研究人员呼吁整个 AI 领域重视安全机制被蓄意滥用的问题,并提出针对性缓释方案,防范此类技术遭到不当利用。

三、谷歌 DeepMind 8 位资深研究员经典之作,荣获时间检验奖

获得时间检验奖(Test of Time Award)的是谷歌 DeepMind 2016 年发表的论文《深度强化学习的异步方法》(Asynchronous Methods for Deep Reinforcement Learning)。

作者均为谷歌 DeepMind 资深研究人员。ICML 评语指出,该论文开创性地提出了 异步强化学习(RL)概念,其并行 Actor 学习器能够稳定学习过程的观察,启发了众多后续研究。

其中,David Silver领导谷歌 DeepMind 强化学习研究小组,是 AlphaGo、AlphaZero 的首席研究员及 AlphaStar 共同负责人;Koray Kavukcuoglu担任谷歌 DeepMind CTO 及谷歌首席 AI 架构师。

研究人员提出了一套原理简洁、轻量的深度强化学习框架,采用异步梯度下降优化深度神经网络控制器。

团队基于四种经典强化学习算法分别设计了异步改进版本,验证了并行执行的智能体-学习器结构能够稳定训练过程,使上述算法均能有效完成神经网络控制器的训练。

其中性能最优的 异步演员-评论家算法,仅依靠单核多线程 CPU、无需 GPU,训练耗时减半,在 Atari 游戏测试集上的效果超越了当时的最优基准模型。

▲ 在 5 款 Atari 2600 游戏中,DQN 算法与新型异步算法的训练速度对比

此外,该异步演员-评论家算法不仅能解决各类连续运动控制任务,还可基于视觉输入完成全新的随机三维迷宫导航任务。

结语:清华摘得顶会大奖,扩散语言模型崛起

作为全球 AI 领域含金量极高的学术盛会,ICML 此次清华团队的重磅获奖,直观印证了国内顶尖科研团队在机器学习核心赛道的硬实力提升。

与此同时,本届 ICML 有两篇聚焦 扩散模型的论文获评重磅奖项,表明 扩散语言模型已成为大模型演进的重要方向,或将成为未来产业界的核心技术路线。

copyright © 2026 powered by 中国36资讯网   sitemap