内容摘要：这项由清华大学与腾讯混元联合推进的研究成果，已于2026年6月以预印本形式发布，论文编号为 arXiv:2606.29705。感兴趣的研究者可通过该编号查阅完整原文。当用户希望AI助手协助完成“在特定

这项由清华大学与腾讯混元联合推进的清华研究成果，已于2026年6月以预印本形式发布，大学顶尖的电论文编号为 arXiv:2606.29705。用海感兴趣的量免练出研究者可通过该编号查阅完整原文。

当用户希望AI助手协助完成“在特定网站搜索商品、费截加入购物车并结账”等复杂任务时，图训实际上是媲美在与一类名为GUI智能体（Graphical User Interface Agents）的系统进行交互。GUI即图形用户界面，脑操指代日常电脑或手机屏幕上包含按钮、作助菜单、清华输入框等元素的大学顶尖的电视觉界面。GUI智能体具备“看懂”屏幕、用海操控鼠标及键盘的量免练出能力，能够替代人类执行各类自动化操作任务。费截

然而，图训训练此类智能体面临巨大挑战：其高度依赖“人工标注”的监督数据。如同培训新员工，不仅需要操作手册，还需标注每一步的点击位置、输入内容及成功判定标准。这种人工标注过程耗时、费力且成本高昂。因此，现有GUI智能体往往存在场景局限性：仅在特定软件表现优异，面对新平台或新场景时容易失效，且难以精准定位细微的操作元素。

清华大学研究团队另辟蹊径：鉴于互联网上存在海量网页截图及应用界面，这些天然数据中蕴含着丰富的“交互信号”（如可点击区域、输入框、下拉菜单等）。团队提出在零人工标注的前提下，直接利用这些信号进行AI训练。该方法被命名为GUICrafter（意为“界面工艺师”）。通过精心设计的训练流程，GUICrafter仅使用顶尖竞争对手约千分之一的数据量，便实现了相当甚至更优的性能表现。

一、GUI助手训练的核心难点

理解GUICrafter的创新，需先剖析传统GUI智能体训练的痛点。

以往方法主要依赖两类数据：
1. 人工标注的任务轨迹：如“找到搜索框->输入‘运动鞋’->点击搜索”，需真人逐条标记。
2. 多样化屏幕截图：让AI见识不同界面风格，但截图本身不包含“操作指引”。

这导致两大核心问题：
* 视觉定位能力弱：AI难以精准定位小按钮，常点击空白或邻近区域导致任务失败。
* 泛化能力差：在购物网站训练出的模型，面对银行或医疗应用时因未见类似界面而失效。

根源在于高质量、多样化训练数据的获取难度。业界领先模型如UI-TARS，依赖高达1840万条人工标注的操作轨迹，这种规模对多数团队而言难以复制。

GUICrafter的核心洞察在于：与其人工标注“点哪里”，不如让网页和应用自身“回答”哪些区域可交互。

二、无标注数据采集：让网页“自我表达”

研究团队构建了一套自动化数据采集中枢，通过程序递归爬取真实网页，并结合浏览器工具自动识别交互元素（可点击、可输入、可下拉选择）。

1. 网页数据采集

• 递归爬取策略：从热门门户首页出发，沿链接递归深入，形成覆盖多场景的巨型数据集。此结构与真实GUI操作路径（首页->子页面）天然契合。
• 质量控制：设置自动过滤规则，如优先收录英文网站、剔除弹窗遮挡页面，确保数据纯净度。

2. 移动端数据采集

• 利用开源数据集：借助 AndroidControl和 AITZ两个开源数据集。
• 提取交互信号：仅使用数据集中的无障碍树（Accessibility Tree）信息，即界面元素的结构化描述（类型、可交互性），完全摒弃其中的人工标注操作任务。

3. 数据规模

• 网页平台：积累 50万条弱监督样本。
• 移动平台：积累 13.6万条样本。
• 优势：全程无需人工介入，采集成本趋近于零。

三、元任务（Meta-Tasks）：通用指令替代具体任务

自动提取的数据仅包含“可交互元素”信息，缺乏语义（如“搜索”、“购买”）。为解决这一断层，团队提出“元任务”概念。

1. 概念定义

用高度概括的指令代表一类操作的所有场景，将具体任务抽象为通用指令：
* 点击：“点击页面上任何可点击区域（如按钮），避开空白处。”
* 输入：“在页面输入框中输入任意文字。”
* 选择：“从下拉菜单中选择任意有效选项。”

2. 核心优势

• 能力抽象：AI学会“找到并点击可交互区域”后，即掌握了点击搜索、购买、导航等通用能力，核心在于区分“可交互”与“不可交互”区域，从而提升视觉定位能力。
• 实验验证：对比实验显示，在第一阶段训练中，元任务效果略逊于有语义任务；但在第二阶段少量高质量数据微调后，两者最终性能无显著差异。证明元任务足以让AI掌握界面理解核心，细粒度语义可由少量数据补充。

四、强化学习机制：基于“奖惩反馈”的自我进化

GUICrafter采用强化学习（Reinforcement Learning）策略，通过奖励机制引导AI优化行为。

1. 奖励构成

• 格式奖励：输出必须符合规定JSON格式（操作类型、坐标、输入文字）。格式错误即得零分，强制规范输出习惯。
• 操作类型奖励：预测的操作类型（点击/输入/选择）必须与真实情况匹配，防止乱猜。
• 位置奖励（高斯奖励）：
• 传统方案：落在任意可交互区域即满分，导致定位精度低。
• 高斯方案：以元素中心为“靶心”，距离越近得分越高，奖励衰减与元素大小成正比。大按钮容错率高，小图标要求精准。此设计迫使AI追求精确定位，显著提升高难度任务表现。
• 文字相似度奖励：针对输入任务，AI输出文字需与参考答案有足够高的词语重叠度。

五、两阶段训练课程：从“宽泛练习”到“精准校正”

训练流程分为两个递进阶段，类比乐器学习中的“基础练习”与“曲目排练”。

第一阶段：弱监督GUI预训练

• 目标：学习分辨可交互区域及精确定位。
• 数据：海量真实截图 + 元任务指令 + 高斯奖励。
• 规模：主实验使用网页2万条、移动端9600条样本；完整版本使用50万条数据。
• 特点：零人工标注，完全依赖自动信号。数据量越大，效果越好，尚未触及性能天花板。

第二阶段：高质量强化微调

• 目标：学习在特定语境下选择正确的可交互元素（语义理解）。
• 数据：少量经过严格筛选的人工标注数据。
• 网页/桌面：从Mind2Web筛选4966条，从GUI-R1-3K补充1744条网页及85条桌面样本，共6795条高质量数据。
• 移动端：从AMEX数据集选取3200条样本（以标注准确著称）。
• 作用：校正第一阶段学到的通用能力，赋予其具体任务场景下的决策能力。

六、数据噪声分析与鲁棒性

针对自动采集数据可能存在的噪声，团队进行了深入分析：

1. 噪声比例：人工检查1000条第一阶段数据，84.9%完全正确，约15%存在识别遗漏或边界偏差。
2. 鲁棒性实验：故意将噪声比例从0%提升至15%和30%。
3. 第一阶段：噪声越多，性能越差（30%噪声比0%噪声低3-5个百分点）。
4. 第二阶段后：三种噪声水平的最终性能差距大幅收窄，几乎可忽略。
5. 结论：两阶段框架具有强抗噪能力，第二阶段的高质量微调能有效弥补第一阶段的数据缺陷。

七、性能评估：六大基准测试成绩单

GUICrafter在覆盖网页、桌面、移动端的六大基准测试中表现卓越，尤其在数据效率上优势明显。

基准测试	测试场景	GUICrafter-3B 表现	对比优势
Mind2Web	网页操作泛化（含未见网站/领域）	平均元素定位准确率 60.2%	超越UI-TARS-2B (59.5%)。数据量仅为UI-TARS的千分之一。在未见过网站/领域子集优势更明显。
ScreenSpot-Pro	桌面/移动端精细元素定位	平均准确率 33.5%	超越GUI-R1-3B (约4-5个百分点) 及 UI-TARS-2B (27.7%)。
AndroidControl	移动端多步推理	超越同等规模模型	仅第一阶段训练在Low难度上步骤成功率达 62.35%，与使用人工标注的GUI-R1-3B持平。
AITW (Zero-shot)	跨数据集零样本泛化	整体步骤成功率 50.89%	接近GPT-4V等闭源模型，超越GUI-R1-3B (43.60%)。
OmniACT	网页/桌面定位	网页 77.21%/ 桌面 82.88%	均超越GUI-R1-3B。桌面端提升达30.84%，体现对未见界面风格的强大适应力。
AndroidWorld	真实Android环境多步任务	任务完成率 25.43%	超越GUI-R1-3B (14.22%)，提升超11个百分点。

关键洞察：仅完成第一阶段训练的GUICrafter，性能已大幅超越基础模型Qwen2.5-VL-3B（提升超12个百分点），证明弱监督预训练本身已具备巨大价值。

八、关键设计验证与案例

1. 元任务的有效性

对比四种任务设定（仅点击元任务、完整三类元任务、GPT-4o生成语义任务、人工标注任务）。在Mind2Web高难度子集（平均13.57步）上，两阶段训练后，元任务、GPT-4o任务、人工标注任务的步骤成功率分别为 51.3%、51.5%、52.1%，差异极小。证明元任务设计充分，无需复杂语义即可达成高性能。

2. 数据量趋势

测试10至50,000条第一阶段数据，性能随数据量增加持续改善，在50万条数据集中约35万条处趋于稳定。即使仅用10条弱监督样本，也能在Mind2Web上提升1.7%，体现数据的高效性。

3. 失败与成功案例对比

• 第一阶段后：面对演唱会票务网站，模型能识别可交互元素，但错误点击“按日期筛选”而非“更改城市”。（知道“哪里能点”，但不懂“该点哪个”）
• 第二阶段后：同一场景，模型正确识别需先点击“更改城市”。（结合语义，做出正确决策）

九、总结与展望

GUICrafter的研究意义在于打破了“海量标注数据是训练GUI智能体必要条件”的假设。

• 核心突破：利用互联网免费的网页截图和应用无障碍树数据，通过“元任务”和“高斯奖励”机制，实现了低成本、高效率的AI训练。
• 局限性：第二阶段仍需少量高质量人工标注数据进行校正，完全消除人工介入尚需探索。
• 未来展望：团队计划利用大模型自动合成语义任务描述，构建自我迭代的数据飞轮，最终实现无需人工干预的GUI智能体持续进化。

对于普通用户而言，这意味着更低成本、更强能力、更广泛适用场景的AI操作助手正加速到来。

资源获取：
* 论文：arXiv:2606.29705
* 开源内容：代码、数据集及模型权重均已同步开源。

---

Q&A

Q1：GUICrafter是如何在不需要人工标注的情况下训练GUI智能体的？
A：GUICrafter通过自动爬取真实网页，利用浏览器工具识别可点击、可输入或可选择的元素，将这些交互信号转化为训练数据。AI在“找到任何可点击的地方并点击”等通用元任务指令下，通过高斯奖励等反馈机制进行自我进化，全程无需人工标记。

Q2：GUICrafter的高斯奖励和普通二元奖励有什么区别？
A：普通二元奖励只要点击任意可交互区域即给满分，导致AI无需精准定位即可得分，精度提升有限。高斯奖励以元素中心为靶心，距离越近得分越高，迫使AI学习精确定位。实验证明，高斯奖励在高难度任务中效果显著优于二元奖励。

Q3：GUICrafter和UI-TARS相比数据量差距有多大，性能差距如何？
A：UI-TARS依赖约1840万条人工标注数据，而GUICrafter仅使用约2万条弱监督数据加不到7000条高质量标注数据，总量不足UI-TARS的千分之一。但在多个基准测试中，GUICrafter-3B性能与UI-TARS-2B相当，且在跨域泛化场景下略优，展现了极高的数据利用效率。