网易首页 > 网易号 > 正文 申请入驻

英伟达团队机器训练新方法!仅5次演示让机器生成1000个新demo

0
分享至

  • 克雷西 发自 凹非寺
    量子位 | 公众号 QbitAI

人类只需要演示五次,就能让机器人学会一项复杂技能。

英伟达实验室,提出了机器人训练数据缺乏问题的新解决方案——DexMimicGen

五次演示之后,DexMimicGen就可以直接模仿出1000个新的demo。



而且可用性强,用这些新demo训练出的机器人,在仿真环境中的任务成功率可以高达97%,比用真人数据效果还要好。



参与此项目的英伟达科学家范麟熙(Jim Fan)认为,这种用机器训练机器的方式,解决了机器人领域最大的痛点(指数据收集)。

同时,Jim Fan还预言:

机器人数据的未来是生成式的,整个机器人学习流程的未来也将是生成式的。



值得一提的是,DexMimicGen三名共同一作都是李飞飞的“徒孙”,具体说是德克萨斯大学奥斯汀分校(UT奥斯汀)助理教授朱玉可(Yuke Zhu)的学生。

而且三人均为华人,目前都在英伟达研究院实习。



5次演示,生成1000条数据

如前所述,DexMimicGen可以仅根据人类的5次演示,生成1000个新DEMO。

在整个实验中,作者设置了9个场景,涵盖了3种机器人形态,共进行了60次演示,获得了21000多个生成DEMO。

在仿真环境当中,用DexMimicGen生成数据训练出的策略执行整理抽屉这一任务,成功率可达76%,而单纯使用人工数据只有0.7%。



对于积木组装任务,成功率也从3.3%提升到了80.7%。



成功率最高的任务是罐子分类,更是高达97.3%,只用人工数据的成功率同样只有0.7%。



整体来看,在仿真环境中,生成数据让机器人在作者设计的九类任务上的成功率均明显增加。



相比于baseline方法,用DexMimicGen生成的数据也更为有效。



迁移到真实环境之后,作者测试了易拉罐分拣的任务,结果仅用了40个生成DEMO,成功率就达到了90%,而不使用生成数据时的成功率为零。



除此之外,DexMimicGen还展现了跨任务的泛化能力,使训练出的策略在各种不同任务上表现良好。

针对初始状态分布变化,DexMimicGen也体现出了较强的鲁棒性,在更广泛的初始状态分布D1和D2上测试时,仍然能够拥有一定的成功率。



将仿真方法迁移到现实

DexMimicGen是由MimicGen改造而成,MimicGen也出自英伟达和UT奥斯汀的联合团队。

朱玉可和范麟熙都参与过MimicGen的工作,该成果发表于CoRL 2023。

MimicGen的核心思想,是将人类示范数据分割成以目标物体为中心的片段,然后通过变换物体相对位置和姿态,在新环境中复现人类示范轨迹,从而实现自动化数据生成

DexMimicGen则在MimicGen系统的基础上,针对双臂机器人灵巧操作任务做了改进和扩展,具体包括几个方面:

  • 引入并行、协调、顺序三种子任务类型,以适应双臂灵巧操作任务的需求;
  • 对应三种子任务类型,设计了异步执行、同步执行和顺序约束等机制,以实现双臂的独立动作、精密协同和特定顺序操作;
  • 实现了“现实-模拟-现实”的框架,通过构建数字孪生,将DexMimicGen拓展到了实际机器人系统的应用。



工作流程上,DexMimicGen会首先对人类示范进行采集和分割。

研究人员通过佩戴XR头显,远程控制机器人完成目标任务,在这一过程中就会产生一小批示范数据,作者针对每个任务采集了5~10个人类示范样本。

这些人类示范样本会按照并行、协调、顺序三种子任务定义被切分成片段——

  • 并行子任务允许两臂独立执行;
  • 协调子任务要求两臂在关键时刻同步动作;
  • 顺序子任务则规定了某些子任务必须在另一些子任务完成后才能执行。

总之,在示范数据被切分后,机器人的每个手臂会得到自己对应的片段集合。



在数据生成开始时,DexMimicGen随机化模拟环境中物体的位置、姿态等数据,并随机选择一个人类示范作为参考。

对于当前子任务,DexMimicGen会计算示范片段与当前环境中关键物体位置和姿态的变换。

之后用该变换对参考片段中的机器人动作轨迹进行处理,以使执行这一变换后的轨迹能够与新环境中物体位置匹配。

生成变换后,DexMimicGen会维护每个手臂的动作队列,手指关节的运动则直接重放示范数据中的动作。

在整个过程中,系统不断检查任务是否成功完成,如果一次执行成功完成了任务,则将执行过程记录下来作为有效的演示数据,失败则将数据丢弃。

之后就是将生成过程不断迭代,直到获得足够量的演示数据。

收集好数据后,作者用DexMimicGen生成的演示数据训练模仿学习策略,策略的输入为RGB相机图像,输出为机器人动作。

最后是模拟到现实的迁移,同样地,作者使用DexMimicGen在数字孪生环境中生成的大规模演示数据,训练模仿学习策略。

之后作者对在数字孪生环境中评估训练得到的策略进行调优,以提高其泛化性能和鲁棒性,并迁移到实际机器人系统中。



作者简介

DexMimicGen的共同一作有三人,都是UT奥斯汀的华人学生。

并且三人均出自李飞飞的学生、浙大校友朱玉可(Yuke Zhu)助理教授门下,他们分别是:

  • 博士生Zhenyu Jiang,本科就读于清华,2020年进入UT奥斯汀,预计将于明年毕业;
  • 硕士生Yuqi Xie(谢雨齐),本科是上海交大和美国密歇根大学联培,预计毕业时间也是明年;
  • 博士生Kevin Lin,本科和硕士分别就读于UC伯克利和斯坦福,今年加入朱玉可课题组读博。

朱玉可的另一重身份是英伟达的研究科学家,团队的另外两名负责人也都在英伟达。

他们分别是Ajay Mandlekar和范麟熙(Jim Fan),也都是李飞飞的学生,Mandlekar是整个DexMimicGen项目组中唯一的非华人。

另外,Zhenjia Xu和Weikang Wan两名华人学者对此项目亦有贡献,整个团队的分工如下:


△中文为机翻,仅供参考

项目主页:
https://dexmimicgen.github.io/
论文地址:
https://arxiv.org/abs/2410.24185
参考链接:
[1]https://x.com/SteveTod1998/status/1852365700372832707
[2]https://x.com/DrJimFan/status/1852383627738239324

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
举报人对武汉市监局提起行政诉讼,多条视频被良品铺子举报下架

举报人对武汉市监局提起行政诉讼,多条视频被良品铺子举报下架

映射生活的身影
2024-11-21 18:36:37
广州,该在沉默中爆发了

广州,该在沉默中爆发了

小宇宙双色球
2024-11-21 22:21:21
管理的本质,就是狠抓:1个核心、4个关键、5个措施、6个诀窍

管理的本质,就是狠抓:1个核心、4个关键、5个措施、6个诀窍

第一桶金学派
2024-11-19 10:36:12
给力!美记:如果不用送出阿门、伊森,火箭会全力追逐字母哥

给力!美记:如果不用送出阿门、伊森,火箭会全力追逐字母哥

小诸葛拜仁主席霍内斯
2024-11-22 00:47:27
伊能静厉害!56岁还能走公主风,穿针织衫+半身裙像个年轻小姑娘

伊能静厉害!56岁还能走公主风,穿针织衫+半身裙像个年轻小姑娘

蓓小西
2024-11-13 10:47:22
限籍令再升级!严控外籍艺人回国捞金,看看都有谁加入了外国籍?

限籍令再升级!严控外籍艺人回国捞金,看看都有谁加入了外国籍?

就一点
2024-11-19 10:46:57
女子穿搭清凉拜佛,跪地上祈祷很虔诚,网友:这样拜真的会灵验?

女子穿搭清凉拜佛,跪地上祈祷很虔诚,网友:这样拜真的会灵验?

唐小糖说情感
2024-11-20 16:02:41
终于知道为啥中国遍地都是药店了!看完网友分享,豁然开朗

终于知道为啥中国遍地都是药店了!看完网友分享,豁然开朗

有趣的火烈鸟
2024-11-06 18:05:14
张灵甫遗孀回台,74师老兵坐了整整20桌,陈毅的担忧绝非没有道理

张灵甫遗孀回台,74师老兵坐了整整20桌,陈毅的担忧绝非没有道理

振华观史
2024-11-19 16:41:32
故事:95年我去打工借宿同学家,谁知被同学母亲看上,直接改变人生

故事:95年我去打工借宿同学家,谁知被同学母亲看上,直接改变人生

红豆讲堂
2024-11-15 21:00:02
后场双枪!布兰登-米勒半场三分6中4砍18分 三球拿18分7助0失误

后场双枪!布兰登-米勒半场三分6中4砍18分 三球拿18分7助0失误

直播吧
2024-11-22 09:17:09
安徽一女老师跳湖溺亡:监控拍下经过,死因披露,亲哥哥网上声讨

安徽一女老师跳湖溺亡:监控拍下经过,死因披露,亲哥哥网上声讨

辣媒专栏记录
2024-11-21 17:30:03
放假通知!2025湖北各大中小学寒假时间出炉,家长、学生喜忧参半

放假通知!2025湖北各大中小学寒假时间出炉,家长、学生喜忧参半

户外钓鱼哥阿勇
2024-11-21 22:59:16
“最美郭芙”傅明宪获杰出华人奖,父母罕露面,年过九旬背景强大

“最美郭芙”傅明宪获杰出华人奖,父母罕露面,年过九旬背景强大

八卦宝宝
2024-11-21 14:53:21
广东一小区数百块玻璃爆裂!“1家平均爆2块”

广东一小区数百块玻璃爆裂!“1家平均爆2块”

鲁中晨报
2024-11-21 21:41:08
“照片4不放,放了家不旺”,是指哪4个地方?你家放错了吗?

“照片4不放,放了家不旺”,是指哪4个地方?你家放错了吗?

韩胖说装修
2024-11-20 23:49:34
詹姆斯造型见过吗?小卡特回忆被老詹“爆装备”:他在找乐子

詹姆斯造型见过吗?小卡特回忆被老詹“爆装备”:他在找乐子

直播吧
2024-11-22 08:44:19
大S的结局太悲催!“二汪”回了北京!具俊晔跑了!钱在老梅手里

大S的结局太悲催!“二汪”回了北京!具俊晔跑了!钱在老梅手里

花花lo先森
2024-11-21 14:42:02
金鸡这一夜,关晓彤被生了三个娃的苗苗秒了,大体格子上镜太吃亏

金鸡这一夜,关晓彤被生了三个娃的苗苗秒了,大体格子上镜太吃亏

大铁猫娱乐
2024-11-20 10:28:14
美国防长换人前,见中方最后一面的请求,被董军部长拒之门外?

美国防长换人前,见中方最后一面的请求,被董军部长拒之门外?

老高风云
2024-11-21 09:26:23
2024-11-22 09:35:00
量子位
量子位
追踪人工智能动态
9641文章数 175701关注度
往期回顾 全部

科技要闻

剥离Chrome,苹果200亿美元营收要危?

头条要闻

牛弹琴:乌克兰闹了个大乌龙 让全世界虚惊一场

头条要闻

牛弹琴:乌克兰闹了个大乌龙 让全世界虚惊一场

体育要闻

一个阿根廷人,成了意大利主力中锋

娱乐要闻

王宝强被指涉嫌欺诈1亿

财经要闻

杨伟民:应加大对低收入群体转移支付

汽车要闻

10万级的星海S7 也能带来高配生活

态度原创

房产
健康
游戏
数码
艺术

房产要闻

颠覆!增城TOP级生活圈唯一新盘登场!重塑生活典范!

花18万治疗阿尔茨海默病,值不值?

《宇宙机器人》获金摇杆最佳音频设计!PS发文庆祝

数码要闻

Satechi 为 2024 款 Mac mini 推新扩展坞:最高扩展 4TB 存储

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

无障碍浏览 进入关怀版