知识

60000小时炼出新开源VLA!20多种机器人都能用

时间:2010-12-5 17:23:32  作者:时尚   来源:百科  查看:  评论:0
内容摘要:金磊 发自 凹非寺 | 量子位公众号 QbitAI历经 60,000小时的预训练数据“喂养”,一个全新的 VLA视觉-语言-动作)模型应运而生,且直接 开源。这就是蚂蚁灵波Robbyant)最新发布的

金磊 发自 凹非寺 | 量子位公众号 QbitAI

历经 60,小时新开000小时的预训练数据“喂养”,一个全新的炼出 VLA(视觉-语言-动作)模型应运而生,且直接 开源。多种

这就是机器蚂蚁灵波(Robbyant)最新发布的 LingBot-VLA 2.0—— 一款专为复杂物理世界任务设计的通用VLA模型。

数据规模三倍跃升:从2万到6万小时

这60,人都000小时真实物理数据并非凭空而来,其构成极具含金量:
* 50,小时新开000小时:来自真实机器人轨迹数据,覆盖 20种不同的炼出机器人构型。
* 10,多种000小时:来自第一视角的人类操作视频。

相较于半年前(1月)发布的机器 LingBot-VLA 1.0,其数据规模实现了 3倍增长(从20,人都000小时激增至60,000小时)。

效果实测:长序列操作一气呵成

数据规模的小时新开扩大带来了显著的性能提升。

视频演示:点击观看

在视频中,炼出机器人展示了高难度的多种长序列任务:
1. 从操作台拿起饮料和水果放入篮子;
2. 拎起篮子移动至冰箱前;
3. 精准打开冰箱门,将物品逐一放入;
4. 最后关闭冰箱门。机器

整套动作流畅丝滑,人都展现了极强的连续决策能力。

核心亮点:不止于数据量

深入技术报告,LingBot-VLA 2.0 的核心优势远不止数据规模:
* 广泛适配:支持 20多种机器人构型。
* 动作空间扩展:从单纯的双臂控制,扩展至头部、腰部、移动底盘及灵巧手等更完整的自由度。
* 空间理解增强:深度融合 LingBot-Depth,提升机器人对三维空间的感知能力。
* 高效推理:在英伟达 RTX 4090 上,推理延迟低于 130ms

社区对此反响热烈,普遍认为开源具身模型正在加速机器人技术从实验室走向现实世界。


真实场景挑战:家务活儿更利索

在真实物理环境中,LingBot-VLA 2.0 的表现如何?我们选取了两个典型家务场景进行测试。

1. 清理灶台:复杂环境下的精细交互

相比冰箱收纳,清理灶台更接近真实厨房的混乱场景。

视频演示:点击观看

面对炉灶、锅架、海绵等杂乱物品,机器人需:
1. 移开障碍物并妥善放置;
2. 精准抓取海绵擦拭灶台;
3. 将物品归位。

这一过程证明了模型在真实环境连续决策和精细交互方面的鲁棒性。

2. 调料收纳:考验双臂协同与空间感知

此类任务要求机器人具备极强的空间关系处理能力,需明确物体位置、间距及桌面结构。

视频演示:点击观看

通过融合 LingBot-Depth 2.0的深度热力图、物体边界Token掩码及余弦相似度热图,模型能精准把握自身与空间的关系。

视频演示:点击观看

核心目标:LingBot-VLA 2.0 旨在构建一套 通用的具身操作基座,而非为单一机器人训练专用模型,实现“一套大脑,适配不同身体、场景与任务”。

(完整能力视频:点击观看)


技术解析:如何做到“预测未来”?

1. 数据管线:清洗与提炼

LingBot-VLA 2.0 从9万小时原始数据中,清洗出5万小时高质量真机数据,并从2万小时人类操作视频中提炼出1万小时有效数据。这些数据覆盖了 Leju、Franka、AgileX、ARX Lift2、Galaxea R1Pro、Astribot S1、Unitree G1、Fourier GR-2、AgiBot A2 等 20种机器人本体

VLA模型不仅理解“把水果放进冰箱”的语义,更需掌握机械臂接近路径、夹爪闭合时机、底盘移动策略及空间关系变化。数据越丰富,模型学到的通用操作规律越深刻。

2. 打通动作空间

为解决不同机器人(双臂、人形、移动机械臂)在关节、夹爪、底盘上的差异,LingBot-VLA 2.0 将动作空间从双臂扩展至 头部、腰部、移动底盘、灵巧手等全自由度,旨在提升开放场景下多自由度协同任务的表现。

3. 引入“未来预测”机制

传统VLA多为反馈式执行(看当前帧->生成动作->修正),在长序列任务中易出错。LingBot-VLA 2.0 引入了 未来深度预测语义特征预测
* 为视觉和文本Token额外挂载两组可学习的Query Token(当前时刻 vs 未来时刻)。
* 利用自研视频表征模型 DINO-Video和深度模型 LingBot-Depth进行蒸馏监督。

这使得模型不仅能理解当前场景,还能预判物体位置、空间关系及任务状态的演变。

技术升级总结:数据更厚、身体覆盖更广、动作空间更完整、具备前瞻式时序理解能力。


评测表现:GM-100基准测试见真章

GM-100(多任务通用基准)上,LingBot-VLA 2.0 选取9个任务与 GR00T N1.7、π0.5、LingBot-VLA 1.0 进行对比,并在长程移动操作任务中与 π0.5 对决。

1. GM-100 双臂操作评测

  • AgileX Cobot Magic 平台
  • LingBot-VLA 2.0 平均成绩:66.2 / 34.4
  • 对比:高于 GR00T N1.7 (36.3/17.8)、π0.5 (59.1/32.2) 及 LingBot-VLA 1.0 (58.2/30.0)。
  • Galaxea R1 Pro 平台
  • LingBot-VLA 2.0 平均成绩:34.6 / 15.6
  • 对比:进度分领先所有竞品;成功率与 1.0 持平,但高于 GR00T N1.7 和 π0.5。

2. 泛化能力测试(ID vs OOD)

团队在 Astribot S1(冰箱收纳)和 Cobot Magic-ARX X5(清理灶台)上进行了 ID(分布内)OOD(分布外)测试。OOD设置下,初始位置被扰动,且冰箱任务中使用了未见过的物体类别,以测试泛化能力。

  • 冰箱收纳任务
  • ID设置:LingBot-VLA 2.0 (77.1 / 60.0) vs π0.5 (65.3 / 46.7)
  • OOD设置:LingBot-VLA 2.0 (37.0 / 13.3) vs π0.5 (30.3 / 6.7)
  • 清理灶台任务
  • ID设置:LingBot-VLA 2.0 (84.3 / 66.7) vs π0.5 (79.9 / 60.0)
  • OOD设置:LingBot-VLA 2.0 (67.5 / 40.0) vs π0.5 (62.5 / 33.3)


行业展望:具身通用大脑是关键

过去一年,机器人硬件迭代迅速(乐聚、智元、星动纪元等),但“一机一算法”的高适配成本限制了规模化落地。

LingBot-VLA 2.0 的核心意义在于推动 大脑层的通用化
1. 大规模真实数据:让模型见识更多物理世界动作。
2. 统一动作表示:抹平不同本体间的差异。
3. 时空理解增强:通过深度感知和未来预测,提升对复杂环境的理解。

未来趋势将是:身体百花齐放,通用大脑收敛统一。

One More Thing

继 LingBot-Depth 2.0 发布后,LingBot-VLA 2.0 的推出并非终点。早在今年1月,蚂蚁灵波便针对具身智能发布了“四连弹”。对于具身智能领域,值得持续关注。

资源链接:

  • 技术报告:From Foundation to Application: Improving VLA Models in Practice
  • 项目页面:https://technology.robbyant.com/lingbot-vla-v2
  • 代码库:https://github.com/robbyant/lingbot-vla-v2
  • Hugging Face:https://huggingface.co/collections/robbyant/lingbot-vla-v2
  • ModelScope:https://modelscope.cn/collections/Robbyant/LingBot-VLA-V2
copyright © 2026 powered by 中国36资讯网   sitemap