网易首页 > 网易号 > 正文 申请入驻

300篇文献!大模型走向物理世界:TeleAI发布大模型驱动的具身智能综述

0
分享至

近年来,大模型在人工智能领域掀起了一场革命,各种文本、图像、多模态大模型层出不穷,已经深深地改变了人们的工作和生活方式。另一方面,在国际半导体大会上,英伟达创始人黄仁勋表示,人工智能下一个浪潮将是 “具身智能”,即能理解、推理、并与物理世界互动的智能系统。

近年来,国内外商业巨头也纷纷推出自己的具身机器人发展计划。大模型和具身智能,无疑是当前人工智能领域最闪耀的双子星。在光电感知技术、机器人技术、大模型技术的快速发展下,大模型驱动的具身智能,不仅有望极大提升机器人的智能水平,更将推动人工智能技术迈向物理世界,从而产生更加广泛的应用。

在此背景下,中国电信 CTO、首席科学家李学龙教授牵头组建中国电信人工智能研究院 (TeleAI),并将大模型和具身智能作为重要的研究方向。

近期,由TeleAI 研究科学家白辰甲、清华大学助理教授许华哲、TeleAI 院长李学龙教授共同撰写的中文综述《大模型驱动的具身智能:发展与挑战》一文在《中国科学:信息科学》发表,综述通过对 300 篇相关文献的分类和解读,深度剖析大模型驱动的具身智能的基本概念、技术框架、现有挑战和未来展望,梳理这一热点问题背后的研究脉络和技术体系,进一步推动具身智能领域的发展,助力国家人工智能发展战略。


论文标题: 大模型驱动的具身智能:发展与挑战 论文链接: https://www.sciengine.com/SSI/doi/10.1360/SSI-2024-0076

具身智能是人工智能、机器人学、认知科学的交叉领域,主要研究如何使机器人具备类似人类的感知、规划、决策和行为能力。具身智能强调感知 - 运动回路,使用物理实体来感知环境,根据任务目标进行规划和决策,使用运动操作能力来完成任务。

大模型具有对物理世界的丰富知识,能够为智能体提供自然语言交互、环境感知和任务规划的能力,同时能够和具身智能的传统框架相结合,提升智能体策略学习的泛化性。图 1 展示了该领域的典型进展。


图1. 领域典型进展

综述首先介绍相关技术背景,包括具身智能的基本概念,大模型相关技术,以及强化学习、模仿学习、模型预测控制等策略学习框架。随后,从学习范式的角度将大模型驱动的具身智能算法概括了五大类并依次进行了详细阐述,分别是大模型驱动的环境感知、大模型驱动的任务规划、大模型驱动的基础策略、大模型驱动的奖励函数、大模型驱动的数据生成。图 2 展示了综述的整体框架。


图2. 综述整体框架

一、大模型驱动的具身环境感知

在具身智能任务中,智能光电设备可以为具身智能体提供周围环境的视觉信号,随后大模型感知技术为具身决策提供基础。

  1. 相比于传统的特征提取方法,视觉大模型具有较好的泛化性,许多研究通过引入视觉预训练模型来提高策略的视觉泛化能力和鲁棒性。

  2. 机器人 Affordance 是一种对操作任务更具有解释性的通用特性,通过预训练 Affordance 模型能够为具身操作提供更详细的指导,例如物体的交互位置 (如门把手,茶壶手柄等),物体的交互轨迹 (如向内推、向上提等),如图 3 所示。

  3. 复杂任务需要获取操作物体的 3D 场景特征,许多方法设计从点云和多视角图像中提取目标位置、方向、遮挡、物体之间的堆叠关系等。该领域典型方法如表 1 所示。


图3. 典型的 Affordance 提取方式


表1. 大模型驱动的具身感知算法总结
二、大模型驱动的具身任务规划

在大规模语言数据中训练得到的大模型对现实世界有着丰富的先验知识,可以用来作为具身智能任务的规划器。然而,大模型的知识与具身环境存在不匹配的现象,可能会导致大模型的规划无法执行。

  1. 现有研究通过构建闭环反馈的方法来解决开环规划中存在的问题,包括大模型自我反馈、外部环境反馈、强化学习反馈等,对大模型等规划进行纠错,如图 4 所示。

  2. 通过规划搜索算法能够提升大模型在长周期任务规划中的最优性,这一领域包含蒙特卡洛树搜索、世界模型、规划领域定义语言搜索等。该领域典型方法如表 2 所示。


图4. 大模型规划等闭环反馈方法


表2. 大模型驱动的具身规划算法总结
三、大模型驱动的具身基础策略

大模型任务规划依赖于能够执行规划对底层技能库。为了减轻底层技能库定义的依赖,提升决策效率:

  1. 许多研究考虑将大模型参数作为具身基础策略,并利用具身数据对大模型参数进行微调,使大模型能够更加适应于具身决策场景。基础策略可以输出更具体的任务规划,也可以直接输出机器人需要执行的动作,如图 5 所示。

  2. 扩散模型由于对长序列数据建模中的强大能力,许多研究将其用于建模专家轨迹的多样化数据分布,从而用于长序列任务的轨迹规划或动作规划,或作为具身策略结合强化学习算法进行策略优化。


图5. 大模型驱动的具身策略微调


表3. 大模型具身基础策略算法总结
四、大模型驱动的具身奖励函数

在基于强化学习和模型规划控制的具身算法中,最优策略通过优化奖励函数产生。传统方法中奖励函数由机器人领域专家设计,具有一定的设计难度。

  1. 大模型对机器人和任务具有丰富的先验知识,许多研究提出使用大语言模型 / 视觉语言模型进行奖励图或奖励函数的生成,随后通过策略优化和环境反馈进行优化。

  2. 其他研究学习通过从状态视频预测、描述 - 轨迹匹配程度、轨迹相似性等方面学习参数化的奖励模型。

  3. 受大模型偏好学习等启发,许多研究通过人类反馈对轨迹偏好进行打分,使用人类反馈强化学习(RLHF)算法进行奖励模型等训练。典型框架如图 6 和表 4 所示。


图 6 大模型驱动的奖励函数框架


表4. 大模型驱动的具身奖励函数算法总结
五、大模型驱动的具身数据生成

大模型进行具身数据生成有望解决机器人数据稀缺的难题。

  1. 世界模型(World Model)揭示了物理世界的运行规律,包括未来视觉观测如何改变,状态如何根据环境动力学进行转移,以及智能体最终达到的状态等。构建世界模型能够快速产生大量轨迹来丰富强化学习或模仿学习的数据,基本框架包含隐空间世界模型、Transformer 世界模型、扩散世界模型等。

  2. 大模型能够借助仿真环境进行自动化的环境生成和数据采集,主要流程包括大模型自动任务提出、自动环境构造、自动任务解决、自动数据采集、自动技能学习等,快速产生针对特定任务的仿真数据,进行机器人技能和策略的学习,如图 7 所示。该领域典型方法如表 5 所示。


图7. 大模型驱动的仿真环境和数据生成框架


表5. 大模型驱动的具身数据生成算法总结

大模型驱动的具身智能已具备了研究和技术体系的雏形,有望使 “数字” 大模型在 “实体” 机器人中生根发芽。综述随后分析了现有研究之间存在的联系,并总结了目前大模型驱动的具身智能领域面临的挑战,包括大模型在特定具身场景中的适应问题、大模型策略和人类偏好的对齐问题、具身策略的跨域泛化问题、大模型驱动多智能体协作问题、具身智能在真实环境中所面临的挑战和大模型具身策略的决策实时性问题等。

虽然目前关于采取何种路线能够达到通用具身智能仍很难定论,但大模型的成功切实的推动了具身智能的发展。综述对该领域的未来研究进行了展望,包括统一具身数据平台、通用具身数据表征、鲁棒具身控制策略、可控具身策略生成、人机合作具身智能、异构智能体协同、轻量化具身策略和人形机器人等方面。


来源:公众号【机器之心】

llustration From IconScout By IconScout Store

-The End-

本周上新!

扫码观看!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(

www.techbeat.net
) 。 社区上线500+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

melodybai@thejiangmen.com

或添加工作人员微信(yellowsubbj)投稿,沟通投稿详情;还可以关注“将门创投”公众号,后台回复“投稿”二字,获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com


点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
全网怒骂!被官方制裁的吴柳芳,揭开了退役运动员的遮羞布!

全网怒骂!被官方制裁的吴柳芳,揭开了退役运动员的遮羞布!

小盖纪实
2024-11-26 15:43:52
斯诺克英锦赛最新战报:8强出2席,丁俊晖5-6墨菲,吴宜泽将出战

斯诺克英锦赛最新战报:8强出2席,丁俊晖5-6墨菲,吴宜泽将出战

阿柒体讯
2024-11-28 02:08:09
泽连斯基万万没想到!俄军导弹被拆开后:支援俄罗斯竟是这三个国家

泽连斯基万万没想到!俄军导弹被拆开后:支援俄罗斯竟是这三个国家

猫小狸同学
2024-11-27 17:35:03
战事进入最后阶段,俄军攻入市中心,大批外交官逃离,乌拖垮西方

战事进入最后阶段,俄军攻入市中心,大批外交官逃离,乌拖垮西方

阿旺视角
2024-11-27 10:25:27
台当局偷偷改了规矩:若解放军战机飞临台岛,台湾民众只有3分钟

台当局偷偷改了规矩:若解放军战机飞临台岛,台湾民众只有3分钟

阿纂看事
2024-11-27 15:18:00
江苏省委组织部公告

江苏省委组织部公告

江南晚报
2024-11-27 21:23:08
形势到底有多严峻?某大学全班22人找不到工作,辅导员崩溃破防…

形势到底有多严峻?某大学全班22人找不到工作,辅导员崩溃破防…

慧翔百科
2024-11-25 20:48:35
郑爽的滞留美国现状:又胖又秃生活窘迫,为留美国找白人男友

郑爽的滞留美国现状:又胖又秃生活窘迫,为留美国找白人男友

阿纂看事
2024-11-14 10:52:04
不准中国人逃跑,美国政府全面收割华人资产,金额已达历史之最!

不准中国人逃跑,美国政府全面收割华人资产,金额已达历史之最!

一有历史
2024-11-20 08:14:11
国行Switch变单机了!e商店将停运:免费送4款大作

国行Switch变单机了!e商店将停运:免费送4款大作

快科技
2024-11-26 21:28:16
96年,浙江9岁女孩长“马脸”,蒙面13年不见人,医生换脸助新生

96年,浙江9岁女孩长“马脸”,蒙面13年不见人,医生换脸助新生

苏曼文史
2024-11-27 09:07:07
纪实:山西女教师被奸杀,法医保留精斑21年,真凶让警察难以置信

纪实:山西女教师被奸杀,法医保留精斑21年,真凶让警察难以置信

晓艾故事汇
2024-11-19 09:42:06
雪藏4年,9天就下线,亏损超1亿,黄晓明捅破了百亿演员的窗户纸

雪藏4年,9天就下线,亏损超1亿,黄晓明捅破了百亿演员的窗户纸

靠谱电影君
2024-11-26 22:23:44
半夜接到陌生电话要我挪车,我果断拒绝,第二天才发现躲过一劫

半夜接到陌生电话要我挪车,我果断拒绝,第二天才发现躲过一劫

五元讲堂
2024-09-02 10:53:43
太突然!上海这里火到“堵船”,泼天的富贵来临,房屋年租金从3万涨到11万

太突然!上海这里火到“堵船”,泼天的富贵来临,房屋年租金从3万涨到11万

上观新闻
2024-11-25 20:07:43
14年前,李书福豪掷27亿美元收购沃尔沃!吉利如今赚了还是亏了?

14年前,李书福豪掷27亿美元收购沃尔沃!吉利如今赚了还是亏了?

不写散文诗
2024-11-27 15:59:44
特朗普17岁大孙女,和小叔叔巴伦一起长大,家族里颜值最高的两个

特朗普17岁大孙女,和小叔叔巴伦一起长大,家族里颜值最高的两个

毒舌小红帽
2024-11-23 19:55:28
反朝气球又来,金与正这次为什么不警告韩国了?

反朝气球又来,金与正这次为什么不警告韩国了?

IN朝鲜
2024-11-27 16:44:49
一片哗然!韩国总统尹锡悦竟然第三次为其妻子动用总统否决权

一片哗然!韩国总统尹锡悦竟然第三次为其妻子动用总统否决权

玲子日记
2024-11-27 11:12:38
替身难寻!曼城7500万卖小蜘蛛20场9球,4000万买萨维尼奥16场0球

替身难寻!曼城7500万卖小蜘蛛20场9球,4000万买萨维尼奥16场0球

直播吧
2024-11-27 20:11:20
2024-11-28 03:48:49
将门创投
将门创投
加速及投资技术驱动型初创企业
1993文章数 590关注度
往期回顾 全部

科技要闻

利润暴跌40%后,三星芯片部门任命新负责人

头条要闻

前实习生攻击公司模型训练 字节跳动起诉索赔800余万

头条要闻

前实习生攻击公司模型训练 字节跳动起诉索赔800余万

体育要闻

网红主播踢顶级联赛 这是什么奇葩俱乐部

娱乐要闻

天呐鹿晗瘦了这么多,像漫画出来的

财经要闻

马光远:所有的房地产政策基本都到位了

汽车要闻

中国的超豪华车尊界S800 预售百万起/ L3级智驾

态度原创

房产
手机
亲子
艺术
健康

房产要闻

信号!三亚经济圈,房地产投资猛涨41%!

手机要闻

3699元起!这顶配性能旗舰,要把友商锤爆了?

亲子要闻

幼儿园毕业第一天就去爬泰山,8岁小男孩452天登顶泰山18次,长大后想攀登珠穆朗玛峰

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

花18万治疗阿尔茨海默病,值不值?

无障碍浏览 进入关怀版