李飞飞团队再造黑科技！机器人自学家务样样精通 开源代码了解一下 (李飞飞 团队)
倒茶、叠衣服、整理书籍、丢废品，现在的家务机器人干活真是越来越熟练了。
不过，也不是每个家务机器人都能做到像动图里那么流畅的。
熟练家务的背后，是李飞飞团队琢磨出来的一种新办法。
他们把任务动作拆解后标记出几个关键点，再给到具体规则让机器人知道这些点之间有什么联系，要怎么操作比较好。除此之外，机器人还能自主学习，越练习越厉害。
以倒茶这个动作为例，机器人会先用摄像头确定茶杯茶壶等的位置、形状等要素，再识别出关键点，比如茶杯的中心点和把手的中心点，ReKep 会给机器人编写出一系列规则，告诉它要用什么角度、怎么拿怎么倾倒、用多大力气等，机器人只要按照规则行动就能成功倒茶了。
不得不说，这么一个简单的动作想让机器人做好是真的是太难了。要是没有 ReKep 技术，想看到机器人熟练地干各种家务活还不知道要等到猴年马月。
毕竟今年三月份的时候，李飞飞团队的家务机器人还是这样的，只会擦擦桌子切个水果：
而半年后的今天，就已经进化成全能选手了：
目前，李飞飞团队关于 ReKep 技术的论文已在 arXiv 公开，代码也已开源。
论文标题：ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation
论文地址：
项目网站：
项目代码：github.com/huangwl18/ReKep
论文概述
研究问题和动机
李飞飞团队旨在解决与机器人操作任务相关的挑战，这些任务涉及多个空间关系和时间依赖阶段，需要对复杂的空间和时间关系进行编码。
他们希望开发一个广泛适用的框架，能够适应需要多阶段、野外环境、双手操作和反应行为的任务，通过基础模型的进展在获取约束方面具有可扩展性，并能够实时优化以产生复杂的操作行为。
难点与挑战
现有的使用刚体变换表示操作任务约束的方法缺乏几何细节，要求预定义的物体模型，并且无法处理可变形物体。
在视觉空间中直接学习约束的数据驱动方法也在收集训练数据时面临挑战，因为约束的数量在物体和任务方面呈组合增长。
技术创新
李飞飞团队提出了一种名为关系关键点约束（ReKep）的方法，用于机器人操作。
ReKep 将操作任务编码为约束，连接机器人与其环境，而无需手动标注。该方法利用Python函数将一组语义上有意义的三维关键点映射为数值成本，从而能够表示复杂的空间和时间关系。
该框架旨在通过大型视觉模型和视觉-语言模型自动生成约束，实现从自然语言指令和RGB-D观测中高效地指定任务。
他们还提出了一种算法实例，可以实时高效地解决优化问题。
真实实验
实验涉及多个任务，包括倒茶、回收罐、整理书籍、打包盒子、折叠衣物、装鞋盒和协作折叠等。这些任务被设计来测试系统在不同方面的性能，如空间和时间依赖性、对环境的适应性、双手协调和与人类的互动。
轮式单臂平台和固定式双臂平台的成功率
两个机器人平台在外部干扰下的成功率
ReKep 用于折叠不同类别服装的新型双臂策略及其成功率
实验结果显示，ReKep在多种任务上的成功率较高，证明了其在自动化操控任务中的潜力。成功率根据任务的不同而有所差异，但总体上表现良好。
技术解读
关系关键点约束（ReKep）
首先，他们定义了单个ReKep实例，并且假设已经指定了一组 ? 个关键点。每个关键点 ??∈ℝ3 指的是场景表面上的一个 3D 点，其坐标依赖于任务语义和环境（例如，手柄上的抓取点，壶嘴）。
本质上来说，一个 ReKep 实例编码了关键点之间的一个期望的空间关系，这些关系可能属于机器人手臂、物体部分或其他代理。
然而，一个操作任务通常涉及多个空间关系，并且可能具有多个时间上依赖的阶段，每个阶段都涉及不同的空间关系。为此，他们将任务分解为 ? 个阶段，并为每个阶段 ?∈{1,…,?} 使用 ReKep 来指定两类约束：
其中 ?sub-goal (?) 编码阶段 ? 结束时需要达到的关键点关系，而 ?path (?) 编码阶段 ? 内部需要满足的关键点关系。
如下图所示的倾倒任务由三个阶段组成：抓取、对齐和倾倒。
阶段 1 的子目标约束拉动末端执行器向茶壶手柄靠近。阶段 2 的子目标约束指定壶嘴需要位于杯口上方，阶段 2 的路径约束确保茶壶直立，以避免倾倒时溢出。最后，阶段 3 的子目标约束指定倾倒角度。
操纵任务作为ReKep约束优化问题
他们将末端执行器姿态表示为 e∈ SE（3），将操控任务表述为一个优化问题，目标是找到一系列满足ReKep约束的末端执行器（end-effector）姿态，并将控制问题表述如下：
对于每个阶段，优化算法需要找到满足子目标约束的末端执行器姿态，以及实现这些子目标的路径。
分解与算法即时实例化
为了实时求解优化问题，他们采用了分解方法，仅优化下一个子目标及其对应的路径。
关键点提议和ReKep生成
为了使系统能够在给定自由形式任务指令的情况下执行野外任务，他们设计了一个使用大型视觉模型和视觉语言模型进行关键点提议和ReKep生成的管道，并分成了两个部分：
关键点提议
使用大型视觉模型（LVM），如DINOv2，来提取场景中的特征，并利用这些特征来识别潜在的关键点。这些关键点通常是场景中具有语义意义的3D点，例如物体的边缘、角落或特定物体部分的中心。
ReKep生成
结合关键点和任务指令，使用视觉-语言模型（VLM）来生成ReKep，这些约束将用于指导机器人的动作规划和执行。这一步骤利用了视觉模型对场景的理解以及语言模型对指令的解释能力。
团队成员
李飞飞
李飞飞博士是斯坦福大学计算机科学系首任红杉教授，也是斯坦福以人为本的人工智能研究所的联席主任，曾担任担任谷歌副总裁和首席科学家，在多家上市公司或私营公司担任董事会成员或顾问。
李飞飞主导的斯坦福AI实验室、斯坦福视觉与学习实验室(SVL)和斯坦福以人为本人工智能研究院涌现出大量优秀人才，包括 OpenAI 联合创始人 Andrej Karpathy、国内内第一个坚探索具身智能的卢策吾、前Google AI中国中心总裁李佳、前阿里自动驾驶掌舵人王刚等。
她目前的研究兴趣包括认知启发式人工智能、机器学习、深度学习、计算机视觉、机器人学习和人工智能+医疗，尤其是用于医疗保健的环境智能系统。
Wenlong Huang
Wenlong Huang 是斯坦福大学计算机科学专业的博士生，由李飞飞指导，也是斯坦福视觉与学习实验室 （SVL）的成员。他于 2018 年获得加州大学伯克利分校计算机科学学士学位，指导老师是 Deepak Pathak、Igor Mordatch 和 Pieter Abbeel。
他的研究目标是赋予机器人广泛的泛化能力，使其能够执行开放世界操控任务，尤其是在家庭环境中。研究兴趣包括：
开发能够充分利用互联网规模数据或基于这些数据进行训练的模型的抽象概念
开发能够表现出广泛泛化行为的运动技能
Chen Wang（王辰）
Chen Wang是斯坦福计算机科学学院的博士生，导师是李飞飞和 C. Karen Liu。他本科就读于上海交通大学计算机科学专业，是第一批加入卢策吾团队研究机器人具身智能的学生之一。
他的研究目标是制造出具有与人类一样的灵活性和处理日常任务能力的机器人，因此专注于机器人学习，以实现灵巧操作、模仿人类动作以及长期规划和控制。
Yunzhu Li现在是哥伦比亚大学计算机科学助理教授，曾是斯坦福视觉与学习实验室 (SVL）的博士后，与李飞飞、Jiajun Wu 一起工作。北京大学本科毕业后，他在麻省理工学院计算机科学与人工智能实验室（CSAIL）获得博士学位，导师是 Antonio Torralba 和 Russ Tedrake。
目前他在机器人感知、交互和学习实验室（RoboPIL）进行机器人技术、计算机视觉和机器学习的交叉研究，专注于机器人学习，特别是直观物理学、具身智能、多模式感知三个方向，旨在显著扩展机器人的感知和物理交互能力。
Ruohan Zhang
Ruohan Zhang是斯坦福视觉与学习实验室 (SVL)的研究员，和李飞飞、Jiajun Wu、Silvio Savarese 一起工作。他曾在在德克萨斯大学奥斯汀分校获得博士学位，指导教授是 Dana Ballard 和 Mary Hayhoe。
他的长期研究兴趣是以人为本的人工智能：理解人类智能以开发受生物启发的人工智能算法，以及使人工智能与人类更加兼容。最近专注于以人为本的机器人技术：通过数据驱动的方法开发可增强人类福祉的机器人解决方案（系统和算法）。
版权文章，未经授权禁止转载。详情见 转载须知 。
Tracert（路由追踪）是路由追踪实用工具，用于确定IP数据包访问目标所经过的路径。协助站长或网络管理人员分析域名URL或IP路由问题。
天禾助学官网_西安市天禾助学慈善基金会_教育资助网_一对一公益助学平台_大学生资助_中小学贫困生_初中教师资助平台
百度云加速CDN
墙板大师，商业空间速装板，重新定义墙面装饰，引爆行业新浪潮
美名扬致力于商业计划书、项目计划书、策划书、招商手册、可研报告、PPT设计、LOGO设计、画册设计等。电话：15335199989
602游戏平台（www.602.com）是一家专业的网页游戏平台，为游戏用户提供精品网页游戏。602游戏致力于精细化运营与优质的服务，秉承做玩家最爱、最信任的游戏平台的理念，充分以玩家为导向，快乐玩游戏就在602！
无锡通途智能设备有限公司专业生产：竹木纤维集成墙板覆膜机，快装墙板覆膜转印机，PVC护墙板覆膜转印机，PVC发泡板覆膜转印机，SPC石塑地板UV线，PVC地板UV线，竹木纤维集成墙板包覆机，仿大理石板发泡板UV线，PVC扣板护墙板，PVC门板印刷机，大板覆膜机，大板贴面机，密度板覆膜机，扣板覆膜机转印机
52鲜花网-是用户喜爱的鲜花网站，提供鲜花预定和网上订花服务,鲜花速递快达3小时,保证鲜花质量,是用户好评的鲜花网站,鲜花销量稳居行业前列,鲜花网品牌,是您预定鲜花的好选择!
吴江旭日环保设备有限公司是一家专业生产玻璃钢环保产品的公司，主要从事于工业废气处理、废水处理的开发、设计、生产、安装、保养及环保技术咨询服务。公司位于美丽的水城苏州。 公司产品广泛应用于化工、印染、钢铁、电子、纺织、轻工、食品、医药、电镀、造纸、冶金、生物工程、石油炼制等多种行业。公司依托国内多所知名大学的雄厚技术实力，引进国外先进环保制造理念，积极与高尖端日韩环保企业交流合作，现已为国内数以百家终端客户解决了环保难题。 公司拥有丰富的废气处理设计经验、一流的生产制造能力和完善的售后服务体系，通过了环保体系认证。公司始终坚持，以质量为根本，用技术做先导，靠真诚赢取客户的方针，不断开拓市场，用优质的设备，周到的服务反馈社会。
佛山市帕卡亚进出口有限公司坐落于中国陶都-佛山，是一家集研发、生产、销售、服务多元化经营于一体的佛山本土企业，公司拥有自主进出口权。
雷锋网按，高通刚刚交出了最新一季的财报，其中净利润同比大幅下跌89.7%，这篇文章详细地分析了高通净利润大幅度下滑的原因，以及在目前环境下，高通所拥有的优势和面临的危机，以下为正文内容，作为全球最大的手机芯片巨头，高通最近处境有点不妙，北京时间11月2日凌晨，高通刚刚交出了最新一季的财报，其中，净利润同比大幅下跌89.7%，高通解释...。
发表在极米投影仪2024，8，813，09极米RS10Plus是极米RS10系列的最新产品，那么极米RS10Plus和Pro区别有哪些呢，下面就通过极米RS10Plus和Pro的参数配置进行全面对比分析，看看极米RS10Plus和Pro之间有什么不同，极米RS10Plus和Pro区别有哪些，1.画质对比在光源方面，极米RS10Plus...。
焕河村火了，原本，空心化，的村子突然热闹起来，8月开始，这个位于贵州省铜仁市德江县大山深处的土家族村寨，每天都要迎来七八百位游客，截至目前，已累计接待游客5万余人，村里的第一书记赵进桃感慨说，几年前我们这儿还不通车，没想到现在居然开始堵车了，改变源于，85后，小伙丁浪运营的两个抖音账号，黔东农仓，和，古村乐乐，二者均取景于焕河...。
据上海市纪委监委11月12日信息，宝山区委原副书记、宝山区原区长高奕奕严重违纪违法被开革党籍和公职，地下资料显示，高奕奕出世于1972年12月，山东青岛人，曾任上海市交通委秘书长，松江区副区长，松江区委常委、副区长等职，2020年任宝山区委副书记、代区长，2021年1月任宝山区区长，2023年12月被查，经查，高奕奕身为党员指导干部，...。
帕萨特B6是在2005年至2010年时期消费的，帕萨特B6是公众帕萨特系列中的一款车型，它在2005年终次亮相，并在接上去的几年中继续消费，直到2010年左右逐渐分开市场，这一时间正值汽车工业的极速开展和消费者需求的多样化，帕萨特B6仰仗其低劣的性能和温馨的乘坐体验，赢得了广阔消费者的喜欢，在消费时期，帕萨特B6教训了屡次改良和更新，...。
1、闲月闲月是一款轻量级音乐聚合手机App，它允许14个干流的音乐搜查引擎，搜查配置十分弱小，它允许5个抢手音乐榜单，并且软件全体设计十分精巧，每个界面十分繁复，全体经常使用让人觉得温馨，2、滴答音乐滴答音乐相似无损音乐下载器，是手机一款好用的无损音乐收费下载App，它雷同允许下载ape，flac无损质量的音乐，它的全体设计也是十分繁...。
ThinkPadNEWS3锋芒笔记本重装系统WIN10步骤(一键重装方法)
抖音上好听的歌真是一首接一首很多歌因为抖音从无人问津唱成付费歌曲最近很火的抖音歌曲凉城是谁唱的小编要为大家介绍一下这首抖音歌曲凉城的相关信息可以一起了解一下喜欢凉城的小伙伴赶紧趁着这首歌还没有付费赶紧来听听看吧抖音歌曲凉城是谁唱的凉城歌词含义以及试抖音歌曲凉城抖音歌曲凉城是谁唱的凉城属于华语流行音乐是歌手任然演唱的一首...
USB调试模式是安卓系统提供的一个用于开发工作的功能，使用该功能可以在电脑和安卓设备之间复制数据、在安卓设备上安装游戏软件等等。默认情况下，USB调试模式是关闭的，所以需要手动打开它。打开了USB调试模式，才可以在电脑上往手机里安游戏，因此很重要。US
篮球专题,提供篮球的相关文章和相关资讯,在本栏目你可以看到篮球这个内容的相关各类文章很多篇,如有不足请提供给我们更多篮球的文章供大家查阅.
新华全媒+丨感知前沿科技共享美好生活——探访2023年全国科普日主场活动,科学,鞠焕宗,科普日,青少年,科协
重庆分类目录网站收录装机软件相关的优秀网站大全分类检索，为上网用户提供装机软件网站排行榜与您分享、收藏！
对于如今许多的巨型城市来说，交通拥堵已经成为了一个越来越普遍的问题，来自以色列特拉维夫以色列航空工业公司，IAI，推出了，空中汽车，SkyTran，计划，似乎是一个不错的解决方案，据报道，该公司推出的交通工具拥有无人驾驶导航系统，在城市的街道上空顺着高架铁轨构成的网路滑行，听起来不错，它先进，就像Uber，谷歌无人驾驶的二合一兼进化...。
新冠大流行引发了全球金融市场的剧烈变化，大部分机构投资者和个人投资者都变得愈加谨慎，在这样的背景下，高通公司副总裁、高通创投中国区董事总经理沈劲在本周的一场媒体活动中的表态让我们对2020年依旧充满信心，他说，现在看起来，我们能够完成去年年底设定的2020年投资目标，还有可能增加投资，能让高通创投保持积极投资的关键正是当下最受关注...。
雷锋网消息，3月16日，教育部发布，关于加强，三个课堂，应用的指导意见，以下简称，意见，意见，明确到2022年，全面实现，专递课堂，、，名师课堂，、，名校网络课堂，三个课堂，在广大中小学校的常态化按需应用，究竟什么是，三个课堂，应该怎么应用，意见，也做了具体阐释，值得注意的是，这次，意见，的发布恰逢新冠肺炎疫情时期，为...。
发表在投影仪评测2019，11，1115，22俗话说得好，房租是租来的，生活却是自己的，一个人在这个繁荣昌盛的城市里打拼，车水马龙的生活已将自己压得快喘不过气来，何况还有着忙碌的工作！当然，最幸福的时刻就是晚上下班忙完一切，在出租小屋里躺在床上舒舒服服的睡上一觉，再欣赏几部小片儿，这就是我简单又幸福的小生活，对出租房这个词来讲，是熟悉...。
发表在综合交流大区2024，8，2916，26激光电视凭借超小投射比，在小户型家庭也可以投射大屏画面，那么2024激光电视怎么选呢，下面就分享2024激光电视选购指南，看看选购激光电视需要注意哪些方面，并且了解2024激光电视推荐哪些，一、2024激光电视怎么选1.选知名品牌优先选择知名品牌如当贝、海信、峰米、极米、长虹、索尼、三星等...。
