内容摘要：这项由清华大学深圳国际研究生院与OPPO AI中心联合主导，并协同南洋理工大学共同完成的研究成果，已于2026年6月26日以预印本形式发布在arXiv平台，论文编号为 arXiv:2606.27974

这项由清华大学深圳国际研究生院与OPPO AI中心联合主导，清华并协同南洋理工大学共同完成的联合率飙研究成果，已于2026年6月26日以预印本形式发布在arXiv平台，打造论文编号为 arXiv:2606.27974v1。智能侦探主动追查证据准确

你是清华否曾遇到过这样的困境：拍摄一张公园照片，试图通过手机AI助手确认其所在城市，联合率飙却往往得到错误答案或“我不知道”的打造回复。这一看似简单的智能侦探主动追查证据准确场景，揭示了人工智能领域的清华一个核心痛点——如何让机器在视觉感知的同时，具备主动检索未知知识的联合率飙能力？

针对这一难题，顶尖高校与产业界的打造研究团队提出了一种创新的解决方案。他们构建了一个名为 ProMSA（Progressive Multimodal Search Agents，智能侦探主动追查证据准确渐进式多模态搜索智能体）的清华系统，赋予AI“主动侦探”的联合率飙角色。面对图像与问题，打造该系统不再盲目猜测，而是通过主动发起图像线索查询与文字档案检索，直至收集到充分证据才得出结论。测试数据显示，ProMSA在两个主流基准数据集上的表现，较此前最强基线模型提升了约7至9个百分点。

一、为何“主动侦探”优于“被动旁观”？

理解这项研究的价值，首先需要剖析视觉问答（Visual Question Answering, VQA）中的核心难点。

尽管当前AI在图像识别、文本理解及生成方面表现卓越，但在处理“冷僻知识”时仍显乏力。以“图中湖泊位于哪个国家”为例，由于训练数据中绝大多数湖泊样本稀缺，AI难以仅凭记忆给出准确答案。

现有的主流方案多采用“先检索后回答”的固定流程（类似图书馆查阅），即先检索相关维基百科页面，再交由AI生成答案。然而，该方法存在三大固有缺陷：

1. 检索策略僵化：无法根据案情动态调整。无论问题复杂度如何，系统均执行单一检索流程，无法区分无需检索、需实体识别后检索或多轮追踪等不同场景。
2. 缺乏纠错机制：一旦初始检索结果错误，系统便基于错误信息继续推理，无法回溯或修正，导致“将错就错”。
3. 无法处理多步推理：对于需多跳推理的问题（如“图中运动员所在球队主场容量”），一次性检索无法覆盖从实体识别到属性查询的完整逻辑链。

ProMSA正是为了解决上述痛点而设计，它通过动态决策机制实现了从“被动查询”到“主动侦查”的范式转变。

二、侦探的办案流程：渐进式多模态搜索

ProMSA的核心逻辑在于构建一个闭环的决策过程。每次接收“案件”（图像+问题）后，系统不会立即作答，而是基于当前状态在以下三个“行动空间”中选择下一步：

1. 发起图像搜索：将当前图像与维基百科中的数百万张图片进行比对，获取最相似图像的对应页面内容。此步骤主要用于实体识别（如识别建筑、人物或地标）。
2. 发起文字搜索：基于已知信息生成查询词，在维基百科文本中检索具体属性（如已知“马里乌奇竞技场”，则搜索其座位类型）。
3. 终止并回答：当证据充分时，停止搜索并生成最终答案。

关键设计机制

• 去重机制（Deduplication）：系统记录已检索内容，自动排除重复结果。若首次图像搜索返回错误实体，侦探可发起新的图像搜索并绕过错误结果，深入挖掘真相。
• 预算约束（Budget Constraint）：为防止资源耗尽，图像搜索与文字搜索各自设有最多3次的调用上限。超出预算后，系统必须基于现有最佳判断作答。
• 摘要员（Summarizer）：为避免信息过载，系统引入另一个AI模块，将检索到的长篇维基百科页面压缩为与问题高度相关的简短摘要，确保侦探仅处理精炼的关键信息。

三、训练策略：从基础培训到实战强化

为了让AI掌握这套复杂的侦查流程，研究团队采用了两阶段训练方案：

1. 冷启动监督学习（Cold-start Supervised Learning）

• 目标：建立基本的工具调用格式与推理框架。
• 方法：从训练数据中抽取3000个问题，让初始模型进行尝试。仅保留格式正确、工具调用成功且答案正确的轨迹，丢弃失败案例。
• 效果：AI学会如何正确填写“工具调用表格”及汇报推理过程，但不涉及高阶策略优化。

2. 强化学习（Reinforcement Learning）

• 目标：优化搜索策略，平衡效率与准确率。
• 方法：使用15,000个问题让侦探进行实战演练。奖励机制由三部分构成：
• 答案正确：给予高分奖励。
• 格式规范：额外加分。
• 工具调用惩罚：调用次数越多，扣分越多，鼓励侦探以最少步骤解决问题。
• 效果：AI逐渐学会判断何时继续搜索、何时收手，以及如何选择图像或文字搜索路径。

四、算法创新：TN-GSPO解决训练偏差

在强化学习阶段，研究团队发现现有方法存在一个隐蔽缺陷，并提出了针对性改进算法 TN-GSPO（Tool-Normalized Group Sequence Policy Optimization）。

问题背景

主流强化学习算法（如GRPO）在更新参数时，通常以“生成词数”作为归一化分母。其逻辑是：文本越长，单个词的平均贡献越小。然而，在侦探场景中，决策复杂度取决于工具调用次数，而非文本长度。
* 案例A：少写字，但调用3次工具（高复杂度）。
* 案例B：多写字，但仅调用1次工具（低复杂度）。
若仅按词数归一化，会导致训练信号偏差，使AI倾向于“少用工具”以规避惩罚，从而证据不足。

TN-GSPO解决方案

将归一化分母扩展为：生成词数 × (1 + 工具调用深度的函数)。
* 优势：工具调用越多的轨迹，其更新幅度相应调小，使训练信号与实际决策复杂度匹配，提升了训练稳定性。
* 对比：使用原始GRPO的模型在早期迅速减少工具调用以规避扣分，导致证据收集不足；而TN-GSPO训练的模型能保持合理的调用频率，在查案深度与效率间找到最佳平衡。

五、性能表现：准确率与效率的双重突破

研究团队在三个主流数据集上对ProMSA进行了全面评估：

1. Encyclopedic-VQA (E-VQA)

• 背景：涵盖16.7万道问题，涉及16,700+维基百科实体。
• 结果：
• 基线模型（Qwen3-VL-8B，无检索）：准确率 ~25%。
• 最强竞品（REAL，固定检索）：准确率 ~45%。
• ProMSA：单跳问题准确率达 52.2%，全量测试集达 52.6%，显著领先。

2. InfoSeek

• 背景：130万道问题，专门测试对“未见实体”和“未见问题”的泛化能力。
• 结果：ProMSA在未见实体和未见问题上分别达到 53.6%和 53.3%，综合得分 53.4%，大幅超越竞争方法。

3. OK-VQA（迁移能力测试）

• 结果：
• 基于Qwen2.5-VL-7B：准确率 82.7%。
• 基于Qwen3-VL-8B：准确率 85.6%。
• 均超过专为OK-VQA设计的方法，证明其具备通用知识搜索能力。

4. 推理速度对比

• ProMSA：平均耗时 1.8秒/样本。
• 对比：
• 最快方法EchoSight：耗时更短，但ProMSA准确率高出约 30个百分点。
• Deepeyesv2：耗时为EchoSight的2倍，但准确率低于ProMSA约10个百分点。
• 结论：ProMSA在性能与速度之间取得了优异平衡。

六、消融实验：拆解各模块贡献

通过对照实验，研究团队量化了各设计要素的贡献度：

实验配置	E-VQA准确率	InfoSeek准确率	分析
基础模型	32.8%	-	仅有推理框架，未经训练
+ 冷启动SFT	38.6%	-	解决“会不会用工具”的问题
+ 强化学习	52.6%	53.4%	解决“用得好不好”的问题
仅文字搜索	27.6%	36.8%	缺乏实体识别，表现差
仅图像搜索	34.7%	21.4%	擅长识别，但缺乏细粒度文字知识
双工具组合	52.6%	53.4%	多模态自适应检索效果最佳
工具预算=2	48.2%	-	证据不足
工具预算=3	52.6%	-	最优配置
工具预算=4	52.4%	-	引入噪声，性能略降
返回Top-1	45.9%	-	信息量不足
返回Top-3	52.6%	-	最优配置
返回Top-4	52.1%	-	信息冗余，性能略降

七、行为分析：侦探何时收手？

研究团队对侦探的多轮调查行为进行了细粒度分析：

• 第一轮检索：仅 39.1%的结果包含正确页面。约60%的情况需要进一步调查。其中，46.4%为“检索错误但继续查”（自我纠错），14.5%为“检索错误但停止”（错判）。
• 第二轮检索：检索准确率提升至 48.8%。“检索正确并停止”的比例从32.4%升至 45.5%；“检索错误但继续查”的比例骤降至 7.4%。
• 局限性与洞察：第二轮中仍存在“检索错误但停止”的情况。这主要受限于工具调用成本惩罚（继续查代价高）以及面对长尾冷僻实体时，AI难以判断证据可靠性。这为未来改进指明了方向。

总结与展望

ProMSA的核心贡献在于将AI从被动的“知识库”转变为主动的“调查员”。通过冷启动加强化学习的两阶段训练、TN-GSPO算法优化以及双工具自适应切换，研究团队成功解决了效率与准确率的平衡难题。

• 对用户而言：未来的AI助手在处理“图中地点”、“人物背景”等冷僻知识时，将大幅减少幻觉，提供更可靠的正确答案。
• 对研究者而言：TN-GSPO提供了一种更合理的多工具智能体训练范式，可推广至其他需外部工具调用的AI任务。

资源获取：
* 论文：arXiv:2606.27974
* 代码：已开源，详见论文链接。

---

Q&A

Q1：ProMSA与普通RAG（检索增强生成）的本质区别是什么？
A：普通RAG采用一次性检索后直接生成答案，策略固定且缺乏纠错能力。ProMSA则模拟主动调查过程，根据每一步检索结果动态决策（继续查或停止），并具备自动排除错误结果并重新尝试的闭环搜索推理能力。

Q2：TN-GSPO相比GRPO解决了什么具体问题？
A：GRPO仅按生成文字数量归一化训练信号，导致AI倾向于“少用工具、少写字”以获取稳定优化，最终证据不足。TN-GSPO将工具调用次数纳入归一化分母，使训练信号强度与实际决策复杂度匹配，引导AI在必要时合理使用多次工具调用。

Q3：ProMSA在哪些类型的视觉问答问题上提升最明显？
A：提升最显著的是涉及长尾实体（训练数据中极少出现的偏僻实体）的知识型问题，特别是那些需要先识别图中实体再追查其属性的问题，以及需要跨多个维基百科页面进行多步推理的问题。对于AI参数记忆中已有的常见知识，提升幅度相对有限。