Finn团队推出BID新算法 Chelsea 家务机器人或将再更新 机器人一键变聪明 (fine团队)

文章编号:36738 资讯动态 2024-11-30 ChelseaFinn人工智能家务机器人

斯坦福大学的 Chelsea Finn 团队又出新成果了。

Chelsea Finn 团队一直是斯坦福走在具身智能研究前沿的团队之一,之前火遍全网的 ALOHA 炒菜机器人就是出自这个团队之手。团队领头人 Chelsea Finn 的创业公司 Pi 更是创立不到一个月就拿下来自红杉资本、OpenAI 等公司的7000万美元融资。

最近,Chelsea Finn 团队在研究中发现,虽然延长动作块能够提升策略捕捉时间依赖性的能力,但这样做会减少对机器人近期状态的观察,导致在随机环境中更容易出错。

为了克服这个难题,他们开发了一种双向解码(Bidirectional Decoding, BID)新型算法。BID 能将动作块化与闭环操作相结合,通过在每个时间步采样多个预测并寻找最优化的一个,增强扩展序列的时间一致性,同时在随机环境中实现自适应重新规划。

为了验证 BID 算法的效果,他们在 Franka Kitchen 数据集上进行了模拟测试,发现机器人在家庭环境中的表现还不错。他们还用 Franka Panda 机器人做了真实实验,结果显示 BID 显著提高了机器人在目标移动时的放置成功率

这些测试不由得让人联想到了他们之前做的炒菜机器人,也许这个团队正计划把 BID 应用在 ALOHA 上,准备给家务机器人来个全面的技术升级。

值得一提的是,这个团队中有一半都是华人面孔,之前开发 ALOHA 的也全是华人学生

目前,论文已在arXiv公开,相关代码也已开源。

论文标题:Bidirectional Decoding:Improving Action Chunking via Closed-Loop Resampling

论文地址:

项目网站:

代码地址:

论文概览

研究问题

本文旨在解决机器人学习中的挑战,特别关注动作分块,即在没有中间重新规划的情况下预测和执行动作序列的过程,这些序列通常来源于人类示范。面临的挑战包括在捕捉时间依赖性与对随机环境中意外变化的反应之间的权衡,以及不同示范之间的风格变异性较大。

该研究的动机在于通过对动作分块进行更深入的分析和提供实用的解码算法,来增强机器人系统的学习和执行过程。所要解决的问题包括:

动作分块中时间依赖性与反应性之间的权衡

不同示范之间的风格变异性较大

需要一种实用的解码算法以提升机器人行为克隆的性能

提出的方法

本文提出了双向解码(BID)方法。

BID 是一种推理算法,将动作分块与机器人学习中的闭环操作相结合。它在每个时间步采样多个预测,并基于向后一致性(与先前决策的对齐)和向前对比(与更强策略的结果的接近度)来优化选择。

这种综合方法增强了长动作序列的时间一致性,同时保持了适应动态环境变化的灵活性。BID在各种机器人任务中显著优于现有的闭环方法,代表了机器人系统学习和执行过程的重大改进。

实验与结果

数据集

本文在三个数据集上进行了实验:Push-T、RoboMimic 和 Franka Kitchen。

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

对于Push-T数据集,本文在七个任务上评估了所提出的双向解码(BID)算法,包括将物体放入人类手持的杯子中。实验中使用的机器人是Franka Panda,配备了两台相机,提供256 x 256像素分辨率的视觉观察。本文还评估了BID在大批量和现有推理方法下的可扩展性和兼容性。

对于RoboMimic数据集,本文使用了五个任务,即Lift、Can、Square、Transport和Tool Hang。每个任务的训练数据集包含300个从多个人类展示中收集的回合。

对于Franka Kitchen数据集,本文在涉及四个或更多物体的测试案例上评估了学习到的策略,这是一个具有挑战性但在家庭环境中实际应用的机器人操作任务。

真实世界实验

本文还通过两项现实世界实验进一步评估了提出的 BID。

动态放置实验

他们共收集了150个展示回合,包括50个干净且一致的展示和100个嘈杂且多样的展示。实验中使用的机器人是 Franka Panda,并采用基于视觉的扩散策略进行操作。

机器人的任务是将其抓手中的物体送入人类手中的杯子中。每次展示包括四个主要阶段:(a) 随机初始化机器人位置,(b) 接近目标杯子,(c) 在目标杯子附近减速,(d) 释放物品。目标杯子的位置可能会在展示过程中发生变化。

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

值得注意的是,BID 在动态设置中的成功率与静态设置相似,这表明它有可能将动作块扩展到不确定环境中。

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

动态拾取实验

本文评估了不同方法的性能,包括普通的开环和闭环采样、BID 的开环和闭环采样,以及 EMA 的闭环采样。

机器人的任务是拿起一个杯子,并将其放在附近的碟子上。四个主要阶段是:(a) 初始化机器人,(b) 接近目标杯子,(c) 抓住目标杯子,(d) 拿起杯子,(e) 将杯子放到目标碟子上。目标杯子的位置可能会在一个过程中发生变化。

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

结果表明,在动态环境中,相比其他方法,BID 的成功率至少提高了2倍,同时在静态环境中保持了其性能。

BID技术解读

动作分块有利于对展示中的时间依赖性建模,但却牺牲了对随机环境中意外状态的反应能力。他们选择通过闭环操作衔接长的动作块来解决这一问题。

他们的主要假设是,虽然任何一对样本共享相同潜在策略的概率很低,但从大量样本中找到一致的一对样本的可能性要高得多。这种直觉促使他们将闭环动作分块问题理解为在每个时间步采样的一批计划中寻找最优动作。

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

其中 ? 是动作块集合,ℒ? 和 ℒ? (B和F都是下标,飞书文档打不出来)是两个衡量时间依赖性的标准,接下来将会详细描述这两个标准。

ℒ指的是逆向一致性。

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

这里,ρ 是一个衰减超参数,用于解释不确定性随时间增长而增加的情况。这种后向损失鼓励相邻步骤之间采用类似的潜在策略,同时允许逐步适应不可预见的过渡动态。

指的是正向对比度。

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

其中 ?+=?∖{?} 是强策略 ? 预测的正集合,?− 是弱策略 ?′ 预测的负集合,而 ? 是样本大小。

下图展示了逆向一致性和正向对比度标准对样本选择的影响。

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

由于 BID 中的所有步骤都可以并行计算,因此在现代 GPU 设备上,总体计算成本仍然适中。

团队介绍

Chelsea Finn

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

Chelsea Finn 博士毕业于加州大学伯克利分校,师从Sergey Levine。她曾在 Google DeepMind 工作过 6 年,现在担任斯坦福大学计算机科学与电子工程系的助理教授,也是 Pi 的联合创始人。

Chelsea Finn 的研究兴趣是机器人和其他代理通过学习和交互发展广泛智能行为的能力。她的实验室 IRIS 专注研究大规模机器人交互智能,隶属于 SAIL 和 ML Group。

团队其他三位华人学生包括:

Yuejiang Liu

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

Yuejiang Liu 是 IRIS 实验室的博士后,博士毕业于瑞士洛桑联邦理工学院。他专注于研究自监督学习、因果表征学习和测试时间适应,并将其应用于计算机视觉和多代理系统。

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

Annie Xie 毕业于加州大学伯克利分校,曾在伯克利人工智能研究 (BAIR)实验室和 Sergey Levine 一起工作,现在是 Chelsea Finn 指导的博士生。她的研究重点是开发在最少人工监督下学习的机器人系统。

Maximilian Du

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

Maximilian Du 今年学士毕业于斯坦福大学,主修计算机科学、心理学(辅修)和创意写作(辅修),在 Chelsea Finn 的 IRIS 实验室从事机器人学习工作,现在是 Chelsea Finn 即将入学的博士生。

版权文章,未经授权禁止转载。详情见 转载须知 。

家务机器人或将再更新?Chelsea Finn团队推出BID新算法,机器人一键变聪明

全局中部横幅
刻岸PDF转换器

刻岸PDF转换器是一款功能丰富的pdf文件格式转换工具,支持pdf与word、excel、ppt、图片、caj、ofd、cad等文件的批量互转,新增pdf合并拆分、pdf页面提取、pdf添加水印、ocr图文识别等功能,最大精准度地保留原有数据的排版与布局。

生物在线

生物在线,生物谷网站旗下生物科研服务专业平台,生物在线围绕生物医药科研和开发领域,提供从各种仪器,试剂,耗材等产品,到技术服务方案等综合服务体系

上海稳利达电力电子有限公司,dcdc,双向dcdc,能量路由器

DC/DC衍生产品应用于多个行业及领域:暂降治理(直流型电压暂降保护装置、直流电压支撑系统、低电压/零电压穿越系统)、直流充电桩(充电桩DC/DC电源模块?充电桩控制模块?充电站集成)、DC-UPS、电梯改造(加装电梯专用电源、无缝应急装置)、电池检测(60V-200V系列、500V-800V系列、电池能量转移测试机)、车载电源(DC/DC1-2KW、DC/DC3KW、6.6KWOBC、碳化硅燃料电池DC/DC、大功率燃料电池水冷DC/DC)、PCS&储能(储能变流器(PCS)、光伏储能DC/DC变流器、梯次电池储能专用DC/DC、户用储能DC/DC变流器)、工业节能(港口节能、电梯节能、油田节能、钢厂节能、堆垛机、单双桥梁)等,并得到了客户的一致好评及认可!

飞书深诺

飞书深诺集团是一家跨境出海服务商,作为facebook、Twitter、谷歌、tiktok等众多知名海外媒体平台的一级代理商,飞书深诺具有丰富的海外媒介采购和海外推广经验,并且衍生出海外全渠道营销服务、数字技术服务和自有数字化营销平台,帮助您开拓海外市场

弗罗胡斯技术分享

就算终有一别,也不辜负相遇.

本木设计

高品质生活,从拥有一个花园开始!本木景观_昆明景观设计_昆明酒店景观设计_昆明会所设计_昆明样板区设计_昆明民宿设计_昆明景观施工_昆明景观设计公司_昆明花园设计_昆明屋顶花园_昆明户外家具_昆明私家庭院_昆明别墅庭院_昆明烧烤炉_昆明豪宅设计_昆明室内设计_昆明别墅设计_昆明家装设计_昆明景观施工_昆明景观设计公司_昆明花园设计_昆明屋顶花园_昆明户外家具_昆明私家庭院_昆明别墅庭院_昆明烧烤炉_昆明豪宅设计_昆明室内设计_昆明别墅设计_昆明家装设计

数控技术网

数控技术网是一个关于数控技术分享,交流的网站,提供数控编程,数控机床,数控维修和数控试题,机械制图,制图软件等等知识,数控技术网欢迎你

eNet硅谷动力

eNet硅谷动力网站是中国权威的IT产品信息与商业流通门户,涵盖电脑,笔记本,手机,通信产品,数码产品,家电产品等全线IT领域,拥有IT资讯,科技新闻,IT产品库,IT商城,硬件,DIY,手机,数码,MP3,MP4,游戏,评测,学院,下载,服务器,存储,安全等30余个主力频道,每天发布大量IT产品信息及文章专题,是IT行业最重要的网上信息获取和沟通平台。

大连易力达环境工程有限公司

大连易力达环境工程有限公司位于美丽的海滨城市---大连开发区,是一家集科研、设计、生产制造、安装调试、售后服务于一体的专业性环保企业,业务涉及污水处理、纯水制备、循环水处理、中水回用等水处理以及通风除尘、噪声治理等工程行业。我公司是大连市高新技术企业、市环保产业的骨干企业、大连市环保产业协会会员单位。

好玩的手机游戏下载

游饭天堂是面向手机游戏玩家的综合门户,提供有趣有态度的最新手游内容。汇聚手游社区、热门手游礼包,新游、泛娱乐、手游排行榜等,让你get最新手游、分享你的热辣点评。如果您觉得游饭天堂还不错的话,请分享给您的朋友吧!

超微量分光光度计

杭州海沛仪器有限公司(www.haipeiyq.com)主营超微量分光光度计,恒温金属浴,掌上离心机,微孔板离心机,全自动酶标仪等,海沛是一家从事研发生产和销售生命科学仪器的企业,有丰富的产品开发经验,注重创新,欢迎洽谈

全局底部横幅