最近，一个开源多模态深度研究代理WebWatcher正式亮相。这个工具集成了网页浏览、图像搜索、代码解释器、内部OCR等多种功能，通过全自动流程生成高质量推理轨迹，并用冷启动微调和强化学习优化决策，使模型在任务中能自主选择合适的工具组合和推理路径。

假设你让一个AI回答这样一个问题：“在这张图所示动物的Wikipedia页面上，2020年之前带有‘visual edit’标签的修订次数是多少？”听起来不复杂，但要得到正确答案需要经过多个环节：首先从图像中识别出动物（它是一只海鹦Atlantic puffin，而不是外形相似的鹈鹕、企鹅或海鸥）。接着找到对应的Wikipedia页面并进入历史版本记录。最后筛选出2020年之前带有“visual edit”标签的版本，并进行精确计数。

从上面案例可以看出，要解决这类问题，光有感知和理解还不够，Agent还需要能够制定计划、灵活调用不同工具、在推理过程中不断验证和修正方向。这类跨模态、跨工具、多步骤的任务，需要具备深度研究（Deep Research）能力的Agent才能有效应对。

WebWatcher的核心方法

WebWatcher的技术方案覆盖了从数据构建到训练优化的完整链路，核心目标是让多模态Agent在高难度多模态深度研究任务中具备灵活推理和多工具协作能力。整个方法包含三大环节：

1 多模态高难度数据生成：构建具备复杂推理链和信息模糊化的训练数据；

2 高质量推理轨迹构建与后训练：生成贴近真实多工具交互的推理轨迹，并通过监督微调（SFT）完成初步能力对齐。然后利用GRPO在复杂任务环境中进一步提升模型的决策能力与泛化性；

3 高难度基准评测：构建并使用BrowseComp-VL对模型的多模态深度推理能力进行验证。

数据生成阶段

现有大多数VQA数据集集中于单步感知任务，缺乏规划性与深度推理需求，难以支撑多模态深度研究代理的训练。为此，研究团队设计了一个全自动多模态数据生成流程，目标是在真实互联网知识分布下生成复杂、跨模态、链路不确定的任务样本。

随机游走收集跨模态知识链

研究团队在多源网页（文本、图片、混合页面）中进行随机游走采样，构建多领域实体图谱。不同于传统的线性多跳问答链，这种图谱连接稠密、路径不固定，问题的解决路线难以预设，逼迫模型探索性地组合视觉信息。

信息模糊化提升不确定性

在生成问题时，研究团队刻意隐藏关键信息（如将“2019年”替换为“21世纪初”、将实体名改为描述性短语），并在视觉部分引入模糊指代词描述，使得模型无法依赖简单模式匹配，必须进行跨模态推理。

文本-视觉联合转换

所有复杂问题（QA）样本通过QA-to-VQA转换模块扩展为多模态版本，将图谱中的部分实体或关系替换为图片、图表或网页截图，使问题天然依赖跨模态理解能力。

经过多阶段过滤，包括语义合理性检查、视觉相关性验证、推理链长度控制，研究团队得到了一个大规模、高质量的多模态推理数据集，能够覆盖多种复杂推理模式。

高质量推理轨迹构建与后训练

在高难度训练数据的基础上，模型还需要学习如何调用工具和如何在推理中动态切换策略。然而，现有推理模型在长链多工具任务中存在两个问题：1 思维链条冗长、模板化，缺乏跨任务的适应性；2 工具调用格式和角色差异大，直接采集到的轨迹难以直接用于训练。

为此，研究团队提出了Action-Observation驱动的轨迹生成方法：收集真实的多工具交互轨迹；保留其Action-Observation结构，但控制Thought部分，确保每一步推理都简洁、行动导向，而非冗长的模板化解释；使用规则过滤与LLM辅助审查，剔除低质量轨迹。

随后，研究团队基于这些高质量轨迹进行监督微调（SFT），让WebWatcher在训练初期快速掌握多模态ReAct式推理和工具调用的基本模式，为后续的强化学习阶段打下基础。

在完成冷启动后，WebWatcher进入强化学习阶段，用GRPO在复杂任务环境中进一步提升模型的决策能力与泛化性。

高难度基准评测

研究团队构建了BrowseComp-VL基准，用于验证模型的多模态深度推理能力。这个基准涵盖了跨网页、多实体、模糊表达等严苛考验，能够全面评估Agent在复杂信息寻优与聚合领域的表现。

实验结果

在多轮严格评测中，WebWatcher在四大核心领域全面领先于当前主流的开源与闭源多模态大模型。具体表现如下：

1 信息检索能力（MMSearch）：在更贴近真实多模态搜索的MMSearch评测中，WebWatcher的Pass@1得分高达55.3%，相比Gemini2.5-flash（43.9%）和GPT-4o（24.1%）等大幅领先，展现了极高的检索精准性和复杂场景下的信息聚合能力。

2 知识+检索整合（LiveVQA）：LiveVQA是知识推理与外部信息获取深度协同的典型场景。WebWatcher的Pass@1成绩达到58.7%，领先Gemini2.5-flash（41.3%）、Qwen2.5-VL-72B（35.7%）和GPT-4o（34.0%），充分体现了其在知识调用、事实核查与实时信息融合等多维技能上的系统性优势。

3 信息寻优与聚合（BrowseComp-VL）：在最具综合挑战的BrowseComp-VL基准（信息聚合型任务）上，WebWatcher以27.0%的平均得分（Pass@1）遥遥领先，于GPT-4o（13.4%）、Gemini2.5-flash（13.0%）、Qwen2.5-VL-72B（11.5%）、Claude-3.7（11.2%）等国内外主流旗舰模型，成绩提升超过一倍。

4 高难度知识融合（Deep Research）：在高难度知识融合与链式决策的评测中，WebWatcher的Pass@1得分达到8.6%，显著高于其他主流模型。

综合来看，WebWatcher不仅在单一任务维度实现领先，更在复合型任务、跨模态复杂推理及真实信息检索等方面，奠定了新一代开源多模态Agent的领先地位。

arxiv：https://www.valimart.net/

github仓库：https://www.valimart.net/