摩登7机器人
CHUANGZE ROBOT
当前位置:首页 > 新闻资讯 > 机器人开发 > 大模型在机器人领域研究与应用案例汇总

大模型在机器人领域研究与应用案例汇总

来源:高工机器人     编辑:摩登7   时间:2024/10/17   主题:其他 [加盟]

目前大模型技术已从单纯的大语言模型(LLM)发展到图像-语言多模态模型(VLM)乃 至图像-语言-动作多模态模型(VLA),其中图像-语言-动作多模态模型(VLA)的推出,实 现了数据与处理任务的跃升。从文本到图像再到现实世界,大模型的数据模态逐渐丰富,数 据规模的数量级迅速增长,大模型的应用场景和价值量也成比例扩张。

在人形机器人领域,AI 大模型将会从感知(语音、视觉)、决策、控制等多方面与人形 机器人结合,形成感知、决策、控制闭环,提升机器人的智能水平。

未来人形机器人大模型的方向将会是感知-决策-控制一体化的端到端通用大模型,集合 大规模数据集管理、云边端一体计算架构、多模态感知与环境建模等技术。

1 微软 ChatGPT

在机器人领域的应用主要体现在两个方面:自然语言交互和自动化决 策。在自然语言方面,机器人可以通过 ChatGPT 来理解人类的自然语 言指令,并根据指令进行相应的动作;在自动化决策方面,机器人可以 通过 ChatGPT 来生成任务方案,根据任务要求做出相应的决策。

柏林工业大学和 Google Robotics 团队 PaLM-E

是最大的多模态视觉语言模型,在 PaLM 模型基础上,引入了具身化和 多模态概念,实现了指导现实世界机器人完成相应任务的功能。

2 谷歌 RT-2

全球第一个控制机器人的视觉-语言-动作(Vision-Language-Action, VLA)模型,通过将 VLM 预训练与机器人数据相结合,能够端到端直接 输出机器人的控制。

斯坦福大学李飞飞团队 VoxPoser

智能系统 VoxPose 可以从大模型 LLM 和视觉语言模型 VLM 中提取可行 性和约束,以构建 3D 仿真环境中的值地图,供运动规划器使用,用于 零样本地合成机器人操纵任务的轨迹,从而实现在真实世界中的零样 本机器人操纵。

3 Meta 和 CMU 团队 RoboAgent

采用了大规模机器人数据集进行训练,考虑到机器人在现实世界中的 训练和部署效率问题,Meta 将数据集限制到了 7500 个操作轨迹中,并 基于此让 RoboAgent 实现了 12 种不同的复杂技能,包括烘焙、拾取物 品、上茶、清洁厨房等任务,并能在 100 种未知场景中泛化应用。

4 英伟达 Eureka

该系统以 OpenAI 的 GPT-4 为基础,本质是一种由大模型驱动的算法生 成工具,能训练实体机器人执行例如“转笔”、“开抽屉”、“拿剪 刀”、“双手互传球”等多种复杂动作。

5 英伟达 GR00T

目标是成为人形机器人通用大模型,旨在让人形机器人理解自然语言文本、语音、视频,以模仿人类运动,并与现实世界互动。

6 阿里云机器人大模型

方案集成了通义千问、通义万相等基础模型及阿里云物联网平台,可赋予机器人知识库问答、工艺流程代码生成、机械臂轨迹规划、3D 目标 检测和动态环境理解等全方位能力,不仅可以大幅降低机器人开发的 门槛,还让机器人轻松完成灵活性更高的非标任务,推动机器人在更广 泛的应用场景落地。

7 华为盘古大模型

“盘古”大模型具备强大的语义理解、动态规划、多模态信号理解等能 力,将为人形机器人大模型的开发提供智能化决策基础。依托盘古大模 型的数据处理能力,可建立丰富且高质量的人形机器人数据集,并且充分发挥盘古大模型的多模态能力,实现复杂任务场景下综合感知和任 务分解,提升各类泛化场景下的具身智能操作水平。





智能机器人纯视觉与激光雷达方案比较

纯视觉方案:成本低,技术成熟度高,产业链成熟度高,符合人眼逻辑;易受天气影响,易受光照影响,算力需求较高,需要大量图像训练集;激光雷达方案:识别率高,环境适应力强,产业链成熟度高

人形机器人四种环境感知传感器各项性能比较

摄像头可实现测距,但精度较低,通过 AI 算法识别,但难 以识别非标准障碍物;毫米波雷达纵向精度高,横 精度低;激光雷达是高精度,3D 建模,易识别;

全球主要人形机器人的控制解决方案汇总

本田 ASIMO由四个运行着 VxWorks 实时操作系统的处理器构成;欧洲 ICUB使用名为 ARCHER 的学习型算法体系;特斯拉 Optimus用Optimus 的神经网络

人形机器人丝杠行业深度报告: 核心传动精密部件,国产化未来可期,市场规模249.5亿元

人形机器人将实现从0到1量产,根据摩登7测算,2025年和2030年全球人形机器人市场规模 分别有望达到1.4亿元和249.5亿元,2025-2030年全球人形机器人CAGR有望达到182%

人形机器人执行系统之灵巧手-空心杯电机

人形机器人灵巧手进行抓取动作,空心杯电机为核心部件;信号解析 汇总执行 输出转速 (高速、低扭矩) 降速增扭 直线传动转 换为旋转传 动 驱动传导 感知及力 反馈

人形机器人执行系统之旋转执行器-减速器

旋转执行器分布于肩部、手部等多自由度关节,作用是将某物旋转到一定角度完成旋转运动;驱动关节完成旋转动作,减速器为核心部件

人形机器人执行系统之线性执行器-行星滚柱丝杠

线性执行器位于膝肘等单自由度及腕踝等双自由度关节,将电机旋转运动转为直线运动;变旋转运动为直线运动,行星滚柱丝杠为核心部件

人形机器人整体构造及成本拆解:执行系统较为关键

人形机器人感知系统成本占比7.3%,执行系统成本占比53.2%;线性执行器成本占比31.0%;旋转执行器成本占比17.9%;其他成本占比39.5%

人形机器人BOM拆解分析-三大核心部分

执行系统BOM占比最高,约53.2%(其中直线、旋转、手部分别 占31.0%、17.9%、4.3%);感知系统占7.3%,其他芯片、电池等部件合计占比39.5%

中国人形机器人研发团队-24支机器人团队介绍

国防科技大学Blackman;哈尔滨工业大学HIT Humanoid; 理工汇童;浙江大学悟空;优必选WalkerX、优悠;小鹏汽车PX5;达闼科技XR-4;上海钢铁侠

工控&机器人系列深度-人形机器人空心杯电机:迎国产替代机遇

全球空心杯市场规模从2021年的6.75亿美元增长至2025年的9.36亿元,CAGR为8.52%。2021年全球空心杯电机市场规模仅占微特电机的1.73%

人形机器人擎天柱Optimus只申请外观设计专利(共 5 件)

特斯拉的外观专利全部有效,且主要集中在日本(4 件)和欧洲(1 件),其他已申请的方法类、结构类专利可能尚未公开
资料获取
机器人开发
== 最新资讯 ==
大模型在机器人领域研究与应用案例汇总
智能机器人纯视觉与激光雷达方案比较
人形机器人四种环境感知传感器各项性能比较
全球主要人形机器人的控制解决方案汇总
中国未来五十年人工智能行业生态全景—AI
中国未来五十年人工智能行业生态全景—关键
中国近几年人工智能相关政策汇总
中国人工智能竞争与发展潜力—技术优势
2024智能算力产业发展白皮书-算力规模
大模型安全实践白皮书2024-安全性、可
中国未来50年产业发展趋势白皮书-人工智
青岛市人工智能产业-打造具有全球竞争力的
脉脉2024大模型人才报告-人才供需比为
AI医学影像行业发展现状与未来趋势蓝皮书
2024中国具身智能创投报告:背景现状、
== 机器人推荐 ==
迎宾讲解服务机器人

服务机器人(迎宾、讲解、导诊...)


            智能服务机器人                   
版权所有 摩登7智能机器人集团股份有限公司 中国运营中心:上海 科技园8号楼5层 中国生产中心:山东日照解放路71号
销售1:4006-935-088 销售2:4006-937-088 客服电话: 4008-128-728