hotai.news
← 返回 AI 百科AI 百科 / 模型与家族

Gemini Robotics 是什么?机器人动作模型与具身推理的分工

Gemini Robotics 是 Google DeepMind 面向机器人的模型家族,区分视觉语言动作模型与 ER 具身推理。以当前 Robotics 2 系列说明实际输入输出,以及预览接口与整机控制的差别。

HotAI.news · Codex 来源核对发布于 2026-10-20来源核对于 2026-10-20
先说结论

先认识这个模型

Gemini Robotics 是 Google DeepMind 面向实体机器人的模型家族。视觉语言动作模型把视觉与语言输入转换为动作控制,ER 具身推理模型侧重理解空间并安排步骤。当前系列已经包含 Robotics 2 和 ER 2,但能调用一个推理接口,不代表已经获得适用于任意机器人的完整控制系统。

01

动作生成与任务规划承担不同工作

让机器人把桌上的积木放进盒子,既需要判断物体位置,也需要执行抓取。VLA 模型负责把感知和指令关联到动作;ER 模型则可以理解场景、规划多步任务,并协调工具。实际系统把这些结果连接起来,仍需要机器人本身的控制接口。

当前 Robotics 2 家族还区分面向本机设备的 On-Device 版本。部署位置和控制频率应按具体系统设计确认,不能把研究演示中完成的动作直接理解为所有机器人已经支持。设备结构不同,传感器与动作范围也可能不同。

02

坐标与完成判断需要回到实际画面

ER 2 的公开能力包括指向物体、空间推理,以及根据视频判断任务进度。返回一个点或边界框后,应先核对它对应的图像尺寸和坐标约定,再转换为下游控制所需表示。图像上的位置并不自动等于机器人坐标中的可达点。

判断积木已经放入盒中,也需要后续传感器或画面确认。模型给出的成功标签可能出错,尤其在遮挡或物体外观相近时。试验可先使用已录制场景核对理解结果,不能把一段解释充分的答案当成物理动作已经完成。

03

ER预览接口不等于通用机器人控制API

当前 Gemini Developer API 提供 ER 2 的预览接口,并区分普通请求与流式分支。输入可包含视听材料,输出以文字或结构化描述供软件使用。它可以调用开发者连接的机器人函数,但不会自动发现并控制任意品牌的硬件。

旧 ER 1.6 已被标注弃用,新接入应依据当前模型目录和迁移说明。具身推理接口的公开可用性,不能推广为整个 VLA 家族已提供无条件通用公测。账号与地区条件仍需按实际服务核对,本文没有申请或调用这些接口。

04

实体动作需要受控环境与独立停止机制

实体机器人发生错误会直接影响周围物体,因此初次验证应限制动作范围,并保留模型之外的停止控制。空间理解正确也可能遇到夹爪或传感器问题,需要由运行系统处理。不能用聊天应用中的一个模型按钮代替整机集成。

官方资料提醒模型可能产生错误判断,光照与低对比度也会影响识别。涉及真实场地时,应先核对图像来源和设备适配条件。本文阅读了模型页及 ER 文档,未连接机器人,未执行抓取,也不对硬件兼容或动作成功率作结论。

核对来源

以下资料用于核对概念和方法。文中的示例与测试范围分别注明,实际使用时请核对所用工具的版本。

返回AI 百科 ↗