人形机器人在商业化进程中面临着复杂任务执行难度大,交互能力不足、研发成本高、场景覆盖低等问题。随着Al大模型技术不断发展,大模型可加快人形机器人复杂任务训练速度,提升任务生成速度及缩短理解周期, 促使人形机器人在语言处理、场景理解、运动控制等方面加速突破,执 行更多复杂任务场景,加速其通用化和智能化进程。
大模型 | 宇商 | 说明 |
ChatGPT for Robotics | 微软 | 帮助人机器人更好理解用户需求和指令,提升任务执行精准度 |
Robocat | 谷歌 | 基于多模态大模型Gato开发而成,将Gato架构与大量图像序列和人形 机器人手臂动作训练数研集集合,解决不同任务 |
RT-2 | 谷歌 | 接受网络信息和图像,训练人形机器人执行任务 |
VoxPoser |
斯坦福 李飞飞团队 |
从大语言模型和视觉-语言模型提取器机会和约束,构建3D地图,零样 本情况下,理解指令、分解任务、规够路径 |
RT-X |
谷歌 Deepmind |
特定任务工作效率是同类型机器人的三倍,可执行未训练动作 |
Eureka | 英伟达 | 自主编写奖励算法训练人形机器人,学习复练运动控制能力 |
阿里云机器人大 模型 | 阿里云 | 赋予人形机器人知识库问答、工艺流程代码生成、机械臂轨迹规够、 3D 目标检测和动态环境理解等能力 |
华为盘古大模型 | 华为 | 提升人形机器人语义理解、动态规够、多模态信号理解等能力 |
乐聚机器人夸父MY X盘古大模型 • 对机器人泛化能力的提升展开联合创新 |
Figure 01XOpen AI • 提升高级视觉和语言智能能力 |
优必选X文心—言 • 提升任务规划与执行能力 |
智元机器人X软通动力 • 推动大模型与人形机器人应用 |
星尘智能X大模型 • 接入多模态大模型,提升本体操作能力 |
人形机器人需求
1 提升人形机器人语言处理能力
2 提升人形机器人场景理解能力
3 提升人形机器人运动控制能力
4 提升人形机器人数据训练能力
智能服务机器人 |