内容摘要：这项由清华大学自动化系与中国科学院自动化研究所联合完成的研究，以预印本形式发布于2026年6月，论文编号为arXiv:2606.30251。研究聚焦于一个看似简单却极具挑战性的核心问题：当AI助手具备

这项由清华大学自动化系与中国科学院自动化研究所联合完成的清华研究，以预印本形式发布于2026年6月，大学论文编号为arXiv:2606.30251。研究研究聚焦于一个看似简单却极具挑战性的团队核心问题：当AI助手具备主动操作图片的能力时，如何精准判断“何时该操作”？出手出手放大图片在何种情况下能提升精度，又在何种情况下会引入噪声甚至导致错误？清华

设想这样一个场景：你聘请了一位侦探来辨认照片中模糊路牌上的文字。侦探手中有一把放大镜，大学可以局部放大细节。研究通常情况下，团队放大是出手出手正确策略——因为肉眼难以辨识，放大后能清晰读取。清华然而，大学侦探有时会在原本清晰的研究图片上滥用放大镜，不仅浪费算力，团队还可能因选区错误导致误判。出手出手更棘手的是，训练者（雇主）仅关注最终答案的对错，不关心过程是否使用了工具。这导致侦探养成了“无论是否需要，习惯性使用放大镜”的坏习惯。

TACO（Tool-Augmented Credit Optimization，工具增强信用优化）正是为解决这一痛点而设计的训练框架。它赋予AI视觉模型一种能力：不仅评估最终答案，还能精确量化每一次工具调用的实际贡献，并据此对有益行为给予奖励，对无效或有害行为进行惩罚。

一、为什么AI视觉任务需要引入“工具”？

现代视觉语言模型（VLMs）虽已具备强大的图文理解能力，但在处理高分辨率或细节密集的图像时，仍面临根本性瓶颈：关键信息往往过于微小，直接观察极易模糊。例如，在千米高空的俯瞰图中辨认交通标志，仅靠模型原生分辨率几乎不可能实现。

为此，研究者赋予AI“编写代码操作图像”的能力。具体而言，AI在推理过程中生成Python代码，指定裁剪或放大区域，由外部沙箱环境执行代码并返回处理后的图像，AI再基于新图像继续推理。这种“代码工具调用”范式已被DeepEyes、PyVision、Thyme等前沿工作验证有效。

然而，工具调用具有双刃剑效应。论文中的两个典型案例揭示了这一风险：
1. 有益调用：面对“天花板球盖颜色”的问题，AI主动裁剪放大，成功识别出黑色，工具发挥了关键作用。
2. 有害调用：面对“火车颜色”的问题，火车本身清晰可见，AI却多余地执行裁剪，导致视角偏差，将原本正确的“白+红”误判为“白色”。

核心问题在于传统训练信号的粗糙性。传统方法仅基于最终答案进行强化学习（RLHF），无法区分“因工具辅助而答对”与“无工具也能答对但误用工具”的区别，更无法识别“因工具干扰而答错”的情形。这如同教师仅看作业结果而忽略解题过程，容易培养出依赖运气或习惯错误的“投机者”。

二、TACO的核心机制：基于“探针”的工具贡献量化

TACO的创新在于引入了一种“自问自答式”的对比实验机制，将AI的推理过程解构为三个阶段：
1. T1：调用工具前的初始推理。
2. C & Obs：工具代码执行及返回的观察结果。
3. T2 & af：调用工具后的后续推理及最终答案。

在此框架下，研究团队部署了两个轻量级“探针”：
* 探针1（T1后）：在工具执行前强制AI给出答案 $a_1$，代表“若不使用工具，AI当前的判断”。
* 探针2（T2后）：在工具执行后记录AI的最终答案 $a_2$，代表“使用工具后的实际判断”。

通过答案检查器分别对 $a_1$ 和 $a_2$ 打分，计算差值 $\Delta$（Delta）：
$$ \Delta = \text{Score}(a_2) - \text{Score}(a_1) $$

$\Delta$ 即为工具调用的净收益：
* $\Delta > 0$：工具帮助AI从错误转向正确，视为有益调用，给予奖励。
* $\Delta < 0$：工具导致AI从正确转向错误，视为有害调用，给予惩罚。
* $\Delta = 0$：工具未改变结果对错。需进一步细分：若 $a_1$ 正确，则工具多余；若 $a_1$ 错误且 $a_2$ 仍错误，则工具无效。

精妙之处：由于 $a_1$ 和 $a_2$ 共享相同的输入背景和T1推理基础，两者相减消除了AI基础能力的干扰，纯净地剥离出工具本身的贡献。此前研究（如中科院MED项目）指出，许多“工具增强”的效果实则源于模型基础能力的自然增长，TACO通过差分信号有效解决了这一混淆变量问题。

三、防御“探针欺骗”：差值优于绝对值

针对AI可能在T1阶段“剧透”答案以欺骗探针的行为（即Probe-Hacking），TACO的差分结构提供了天然防御。

若AI在T1阶段已预知答案，则无论是否执行工具，探针1和探针2读取的答案相同，$\Delta$ 恒为0。这意味着“作弊”无法获得正向奖励。AI唯有通过真正利用工具修正错误，才能获得正的 $\Delta$。

实验对比证实了这一点：
* 加法探针方案（Score($a_1$) + Score($a_2$)）：AI倾向于在T1阶段直接输出正确答案以刷高分，导致训练早期快速上升但后期停滞，最终性能甚至低于基线。
* TACO差值方案：堵住了作弊漏洞，奖励信号真实反映工具价值，训练效果持续最优。

四、精准信号路由：OGAR机制

即使获得了准确的 $\Delta$ 评分，若信号分配不当，仍无法优化模型行为。TACO引入了结果门控优势路由（Outcome-Gated Advantage Routing, OGAR），解决奖励分配的逻辑问题。

传统均匀分配奖励会导致：
1. 多余操作被奖励：若AI误用工具但巧合答对，所有步骤均获奖励，强化错误习惯。
2. 正确推理被惩罚：若AI前期推理正确但后期工具误用导致失败，前期正确推理亦受惩罚，打击模型信心。

OGAR是一套无参数的逻辑路由规则，它根据最终结果和工具贡献，动态调整奖励流向：
* 若工具多余（$a_1$ 正确，$a_2$ 正确），仅奖励T1推理，阻断工具及后续步骤的奖励。
* 若工具有益（$a_1$ 错误，$a_2$ 正确），奖励工具调用及T2推理。
* 若工具有害（$a_1$ 正确，$a_2$ 错误），惩罚工具调用及T2推理，保护T1推理。

这种机制从源头切断了“白嫖工具也能得分”的路径，无需额外惩罚项即可抑制无效工具调用。

五、两阶段训练流程：从规范到精通

TACO采用两阶段训练策略，确保模型既掌握工具使用规范，又具备精准判断能力。

第一阶段：监督微调（SFT）

目标：让AI学会“如何调用工具”。
数据筛选策略（基于Thyme语料库三轮清洗）：
1. 执行校验：剔除代码报错或输出与实际不符的案例，防止模型学习幻觉。
2. 必要性过滤：移除基础模型无需工具即可全对的案例，确保工具在训练数据中是“必要”或“有价值”的。
3. 质量打分：利用Gemini模型评估推理逻辑，剔除逻辑混乱或盲目调用工具的劣质数据。

第二阶段：强化学习（RL）

目标：让AI学会“何时调用工具”。
* 数据筛选：仅保留有明确标准答案的问题，剔除基础模型已完全掌握的简单题（避免奖励信号方差过低，缺乏训练梯度）。
* 训练配置：每道题采样8个回答，分别计算 $\Delta$ 和最终得分，通过OGAR分配信号并更新梯度。
* 硬件与参数：基于Qwen2.5-VL-7B模型，在8块A100（80GB）显卡上训练。学习率 $10^{-6}$，Batch Size 128，奖励权重 $\alpha_1=1.0, \alpha_2=0.15$。经历2轮SFT + 1轮RL。

六、实验结果：性能与效率的双重突破

研究团队在12个涵盖感知、推理和通用理解的视觉语言基准测试中评估了TACO，包括HR-Bench（高分辨率识别）、V*（视觉搜索）、MME-RealWorld、MathVision、ChartQA及BLINK等。

1. 准确率全面领先

TACO在同类代码工具型视觉AI中取得最高平均准确率 68.1%：
* 超越第二名 PyVision 4.4个百分点。
* 超越过程奖励路线代表 CodeV 5.6个百分点。
* 关键突破：仅凭70亿参数，TACO以68.1%的成绩大幅超越OpenAI闭源模型GPT-4o（58.5%），尽管后者参数量和算力远超前者。

2. 感知任务优势显著

在依赖“放大找细节”的高清感知任务中，TACO优势尤为明显：
* HR-Bench-8K：81.6%（此前最佳74.3%）。
* V* 视觉搜索：89.6%（PyVision为88.7%，Thyme为82.2%）。
这验证了TACO在精准评估工具贡献后，能更有效地在复杂场景中利用工具。

3. 推理速度大幅提升

TACO不仅准，而且快。以V测试为例：
* TACO：2.3秒（准确率89.6%）
* PyVision：3.6秒（准确率88.7%）
* CodeV*：3.4秒（准确率84.8%）

原因分析：TACO训练出的模型学会了“克制”。对于可直接识别的问题，模型不再浪费时间在代码生成、沙箱执行和结果读取上，显著缩短了对话长度。数据显示，TACO训练过程中平均回答长度从720词降至640词，而其他方法长度基本不变或增加。

4. 消融实验验证组件有效性

• 移除DAPR（改用加法探针）：准确率从72.0%降至67.5%（-4.5%）。
• 移除OGAR（均匀分配奖励）：准确率从72.0%降至70.0%（-2.0%）。
  两者缺一不可，共同构成了TACO的高性能基石。

七、通用性与扩展性

为验证TACO的泛化能力，研究团队在更强的基础模型 Qwen3-VL-8B上进行了实验。
* 基线提升：Qwen3-VL-8B基线平均准确率72.9%，应用TACO后提升至 78.8%（+5.9%）。
* 感知任务提升：HR-Bench-8K提升9.5%，HR-Bench-4K提升6.4%，V*提升6.5%。

尽管强模型的提升幅度略小于弱模型（Qwen2.5-VL-7B上的HR-Bench-8K提升达16.3%），但TACO在所有测试项上均带来稳定提升，无一项退步，证明其有效性源于设计原理而非过拟合。

结语

TACO解决了一个长期被忽视的AI训练细节：在赋予AI工具能力的同时，如何提供细粒度的“过程奖励”，而非仅依赖粗粒度的“结果反馈”。这使得AI从“强迫症式”的工具使用者，进化为“经验主义”的工匠——知道何时该用放大镜，何时该相信肉眼。

这一逻辑具有广泛的适用性，可延伸至搜索引擎查询、代码执行、数据库检索及多步骤规划等任何需要主动调用外部工具的场景。

局限性：
1. 目前依赖能给出明确对错判断的答案检查器，难以直接应用于开放式、无标准答案的任务。
2. 对于单次对话中多次工具调用的场景，如何独立评估每次调用的贡献，仍是未来研究的开放问题。

感兴趣的研究者可通过 arXiv:2606.30251 查阅完整论文。

---

Q&A

Q1：TACO中的Δ（Delta）是如何计算的，为什么它比直接看最终答案更有价值？

A：Δ是工具调用前后两次“探针答案”的得分之差。
* 计算方式：第一个探针在AI执行工具前触发，记录此时AI的答案 $a_1$；第二个探针在工具执行后触发，记录最终答案 $a_2$。通过检查器分别打分后计算 $\Delta = \text{Score}(a_2) - \text{Score}(a_1)$。
* 价值所在：$\Delta$ 剥离了AI的基础能力（$a_1$ 和 $a_2$ 共享的部分），仅保留工具调用带来的净效果。这避免了将“AI自身变强”误判为“工具有贡献”的混淆问题，提供了更精准的训练信号。

Q2：OGAR是什么，它如何防止AI养成“白用工具也得奖励”的坏习惯？

A：OGAR（Outcome-Gated Advantage Routing）是一套将奖励信号精准路由到“应负责行为”的规则系统。
* 机制：当工具是多余的（即不用工具也能答对，$a_1$ 正确），OGAR会阻断工具代码及后续推理的奖励，仅奖励T1阶段的正确推理。
* 效果：AI无法通过“滥用工具但碰巧答对”来获取奖励，从而自然减少无效的工具调用，同时降低了推理延迟。

Q3：TACO训练出来的模型为什么推理速度更快？

A：因为TACO教会了模型“能不用工具就不用工具”。
* 原理：在测试阶段，面对肉眼可直接识别的问题，TACO训练的模型不会触发代码生成、沙箱执行和结果读取流程，而是直接输出答案。
* 数据支撑：工具调用次数减少直接缩短了对话长度。在V*测试中，TACO以89.6%的准确率仅用2.3秒完成，而同类竞争模型（如PyVision）需3.6秒且准确率略低。