李飞飞团队再造黑科技！机器人自学家务样样精通 开源代码了解一下 (李飞飞 团队)
倒茶、叠衣服、整理书籍、丢废品，现在的家务机器人干活真是越来越熟练了。
不过，也不是每个家务机器人都能做到像动图里那么流畅的。
熟练家务的背后，是李飞飞团队琢磨出来的一种新办法。
他们把任务动作拆解后标记出几个关键点，再给到具体规则让机器人知道这些点之间有什么联系，要怎么操作比较好。除此之外，机器人还能自主学习，越练习越厉害。
以倒茶这个动作为例，机器人会先用摄像头确定茶杯茶壶等的位置、形状等要素，再识别出关键点，比如茶杯的中心点和把手的中心点，ReKep 会给机器人编写出一系列规则，告诉它要用什么角度、怎么拿怎么倾倒、用多大力气等，机器人只要按照规则行动就能成功倒茶了。
不得不说，这么一个简单的动作想让机器人做好是真的是太难了。要是没有 ReKep 技术，想看到机器人熟练地干各种家务活还不知道要等到猴年马月。
毕竟今年三月份的时候，李飞飞团队的家务机器人还是这样的，只会擦擦桌子切个水果：
而半年后的今天，就已经进化成全能选手了：
目前，李飞飞团队关于 ReKep 技术的论文已在 arXiv 公开，代码也已开源。
论文标题：ReKep: Spatio-Temporal ReaSONing of Relational Keypoint Constraints for Robotic Manipulation
论文地址：
项目网站：
项目代码：github.com/huangwl18/ReKep
论文概述
研究问题和动机
李飞飞团队旨在解决与机器人操作任务相关的挑战，这些任务涉及多个空间关系和时间依赖阶段，需要对复杂的空间和时间关系进行编码。
他们希望开发一个广泛适用的框架，能够适应需要多阶段、野外环境、双手操作和反应行为的任务，通过基础模型的进展在获取约束方面具有可扩展性，并能够实时优化以产生复杂的操作行为。
难点与挑战
现有的使用刚体变换表示操作任务约束的方法缺乏几何细节，要求预定义的物体模型，并且无法处理可变形物体。
在视觉空间中直接学习约束的数据驱动方法也在收集训练数据时面临挑战，因为约束的数量在物体和任务方面呈组合增长。
技术创新
李飞飞团队提出了一种名为关系关键点约束（ReKep）的方法，用于机器人操作。
ReKep 将操作任务编码为约束，连接机器人与其环境，而无需手动标注。该方法利用Python函数将一组语义上有意义的三维关键点映射为数值成本，从而能够表示复杂的空间和时间关系。
该框架旨在通过大型视觉模型和视觉-语言模型自动生成约束，实现从自然语言指令和RGB-D观测中高效地指定任务。
他们还提出了一种算法实例，可以实时高效地解决优化问题。
真实实验
实验涉及多个任务，包括倒茶、回收罐、整理书籍、打包盒子、折叠衣物、装鞋盒和协作折叠等。这些任务被设计来测试系统在不同方面的性能，如空间和时间依赖性、对环境的适应性、双手协调和与人类的互动。
轮式单臂平台和固定式双臂平台的成功率
两个机器人平台在外部干扰下的成功率
ReKep 用于折叠不同类别服装的新型双臂策略及其成功率
实验结果显示，ReKep在多种任务上的成功率较高，证明了其在自动化操控任务中的潜力。成功率根据任务的不同而有所差异，但总体上表现良好。
技术解读
关系关键点约束（ReKep）
首先，他们定义了单个ReKep实例，并且假设已经指定了一组 ? 个关键点。每个关键点 ??∈ℝ3 指的是场景表面上的一个 3D 点，其坐标依赖于任务语义和环境（例如，手柄上的抓取点，壶嘴）。
本质上来说，一个 ReKep 实例编码了关键点之间的一个期望的空间关系，这些关系可能属于机器人手臂、物体部分或其他代理。
然而，一个操作任务通常涉及多个空间关系，并且可能具有多个时间上依赖的阶段，每个阶段都涉及不同的空间关系。为此，他们将任务分解为 ? 个阶段，并为每个阶段 ?∈{1,…,?} 使用 ReKep 来指定两类约束：
其中 ?sub-goal (?) 编码阶段 ? 结束时需要达到的关键点关系，而 ?path (?) 编码阶段 ? 内部需要满足的关键点关系。
如下图所示的倾倒任务由三个阶段组成：抓取、对齐和倾倒。
阶段 1 的子目标约束拉动末端执行器向茶壶手柄靠近。阶段 2 的子目标约束指定壶嘴需要位于杯口上方，阶段 2 的路径约束确保茶壶直立，以避免倾倒时溢出。最后，阶段 3 的子目标约束指定倾倒角度。
操纵任务作为ReKep约束优化问题
他们将末端执行器姿态表示为 e∈ SE（3），将操控任务表述为一个优化问题，目标是找到一系列满足ReKep约束的末端执行器（end-effector）姿态，并将控制问题表述如下：
对于每个阶段，优化算法需要找到满足子目标约束的末端执行器姿态，以及实现这些子目标的路径。
分解与算法即时实例化
为了实时求解优化问题，他们采用了分解方法，仅优化下一个子目标及其对应的路径。
关键点提议和ReKep生成
为了使系统能够在给定自由形式任务指令的情况下执行野外任务，他们设计了一个使用大型视觉模型和视觉语言模型进行关键点提议和ReKep生成的管道，并分成了两个部分：
关键点提议
使用大型视觉模型（LVM），如DINOv2，来提取场景中的特征，并利用这些特征来识别潜在的关键点。这些关键点通常是场景中具有语义意义的3D点，例如物体的边缘、角落或特定物体部分的中心。
ReKep生成
结合关键点和任务指令，使用视觉-语言模型（VLM）来生成ReKep，这些约束将用于指导机器人的动作规划和执行。这一步骤利用了视觉模型对场景的理解以及语言模型对指令的解释能力。
团队成员
李飞飞
李飞飞博士是斯坦福大学计算机科学系首任红杉教授，也是斯坦福以人为本的人工智能研究所的联席主任，曾担任担任谷歌副总裁和首席科学家，在多家上市公司或私营公司担任董事会成员或顾问。
李飞飞主导的斯坦福AI实验室、斯坦福视觉与学习实验室(SVL)和斯坦福以人为本人工智能研究院涌现出大量优秀人才，包括 OpenAI 联合创始人 Andrej Karpathy、国内内第一个坚探索具身智能的卢策吾、前Google AI中国中心总裁李佳、前阿里自动驾驶掌舵人王刚等。
她目前的研究兴趣包括认知启发式人工智能、机器学习、深度学习、计算机视觉、机器人学习和人工智能+医疗，尤其是用于医疗保健的环境智能系统。
Wenlong Huang
Wenlong Huang 是斯坦福大学计算机科学专业的博士生，由李飞飞指导，也是斯坦福视觉与学习实验室 （SVL）的成员。他于 2018 年获得加州大学伯克利分校计算机科学学士学位，指导老师是 Deepak Pathak、Igor Mordatch 和 Pieter Abbeel。
他的研究目标是赋予机器人广泛的泛化能力，使其能够执行开放世界操控任务，尤其是在家庭环境中。研究兴趣包括：
开发能够充分利用互联网规模数据或基于这些数据进行训练的模型的抽象概念
开发能够表现出广泛泛化行为的运动技能
Chen Wang（王辰）
Chen Wang是斯坦福计算机科学学院的博士生，导师是李飞飞和 C. Karen Liu。他本科就读于上海交通大学计算机科学专业，是第一批加入卢策吾团队研究机器人具身智能的学生之一。
他的研究目标是制造出具有与人类一样的灵活性和处理日常任务能力的机器人，因此专注于机器人学习，以实现灵巧操作、模仿人类动作以及长期规划和控制。
Yunzhu Li现在是哥伦比亚大学计算机科学助理教授，曾是斯坦福视觉与学习实验室 (SVL）的博士后，与李飞飞、Jiajun Wu 一起工作。北京大学本科毕业后，他在麻省理工学院计算机科学与人工智能实验室（CSAIL）获得博士学位，导师是 Antonio Torralba 和 Russ Tedrake。
目前他在机器人感知、交互和学习实验室（RoboPIL）进行机器人技术、计算机视觉和机器学习的交叉研究，专注于机器人学习，特别是直观物理学、具身智能、多模式感知三个方向，旨在显著扩展机器人的感知和物理交互能力。
Ruohan Zhang
Ruohan Zhang是斯坦福视觉与学习实验室 (SVL)的研究员，和李飞飞、Jiajun Wu、Silvio Savarese 一起工作。他曾在在德克萨斯大学奥斯汀分校获得博士学位，指导教授是 Dana Ballard 和 Mary Hayhoe。
他的长期研究兴趣是以人为本的人工智能：理解人类智能以开发受生物启发的人工智能算法，以及使人工智能与人类更加兼容。最近专注于以人为本的机器人技术：通过数据驱动的方法开发可增强人类福祉的机器人解决方案（系统和算法）。
版权文章，未经授权禁止转载。详情见 转载须知 。
网站与主刊杂志、移动互联终端共为载体，以图文、视频等为主要表现形式，密切关注中国改革开放的发展进程，权威解读经济政策，发挥媒体舆论导向和监督作用，及时报道并深入剖析热点经济事件与现象，以全球视角透视中国经济领域重大举措和瞩目人物，提供国内外权威经济观点和主流价值观，联合众多外宣媒体，向世界宣传中国，展示中国。
留学指南星(www.liuxue20.com)，欢迎访问我们的留学网站！我们是您实现留学梦想的专业伙伴。作为留学教育领域的领先者，我们致力于为全球留学生提供全面、可靠的信息和服务。在我们的网站上，您将找到丰富的留学指南，覆盖从选校、申请、签证到生活适应的方方面面。我们的专家团队为您提供最新的留学趋势和建议，帮助您做出明智的决策。
辽宁鑫恒电科技有限公司是一家集发电机组研发、生产、营销服务为一体的大型企业，专业经营10kw-2000kw发电机组、柴油发电机组、上柴发电机组、玉柴发电机组等实力厂家！
江西省九江市濂溪区人民法院九江市濂溪区人民法院
厦门麦盛（MS）橡塑管件有限公司
爱股票-专业股市投资者社区,为股票投资者提供7*24小时财经资讯、证券开户、模拟组合、实时行情、研究报告、AI大模型等服务,分享投资干货,与高手互动,涵盖A股/基金/港股/美股等领域。
深圳市斯沃德厨柜有限公司高端不锈钢全屋定制品牌、专业不锈钢厨柜厂家，提供不锈钢全屋定制、不锈钢厨柜、不锈钢厨柜加盟、不锈钢衣柜/不锈钢浴室柜，不锈钢酒柜，不锈钢鞋柜，不锈钢书柜等。不锈钢全屋家居价格咨询热线：400-002-0076
赛皇云是食品行业一站式采购批发平台。
夸克网盘搜索-综合网盘搜索支持百度网盘、阿里云盘、夸克网盘搜索，可快速搜索百度网盘资源中的有效连接，自动识别无效的百度云网盘资源，每天更新海量资源。
手机维修论坛,海量线刷救砖ROM包,卡刷包,官方原厂固件,维修图纸,提供手机售后所需各类工具和教程资料,一站式解决手机售后疑难杂症。
南京刑事律师事务所刑事辩护律师团队,专业刑事律师咨询15695295888.专注刑事案件律师辩护和代理.律师会见取保成功率高,无罪缓刑案例多起.南京律师刑事辩护专业高效!
新浪SHOW—邂逅、偶遇，我在直播等你！
微软今天宣布，NewBing乘上ChatGPT的东风，自集成了ChatGPT的AI版必应，Bing，推出一个月后，必应每日活跃用户首次突破1亿人，每天大概有三分之一用户，会与基于ChatGPT开发的BingChatAI进行交互，另外，得益于此，必应移动端使用率也有所增长，除了NewBing，我有一个朋友去年11月也上线了国内版的Cha...。
这个世上有两种人，一种人选择为他人打工，每天朝九晚五的工作，只为了获得一份微薄的实现目标；另一种人选择自主创业，希望自己的努力改变自己的人生，实现快速致富的美梦，不过，话说回来，创业并没有想象中那么简单，准备做生意前，加盟者需要先规划好，怎么用少的钱，获得大的经营，然后，选择一个合适的项目再出手，那么，小本生意做什么好，下面，我们就来...。
雷锋网9月19日消息，一年一度的杭州云栖大会又开幕了，2016年，马云宣布了新零售、新制造、新金融、新技术、新能源这5新；2017年，最劲爆的事件，还属阿里宣布投资1000亿建立，达摩院，而2018年呢，雷锋网记者在现场为你带来新鲜报道，在上午进行的主会场，随着开场歌舞表演结束，正式进入演讲环节，首先是政府领导致欢迎词，杭州市领导，...。
19岁的小鱼是一名大二女生，本应是花样的年华，却被诊断为大肠癌晚期，原来，小鱼从几年前开始，就特别喜欢吃麻辣烫，可是，她吃完麻辣烫就经常拉肚子，虽然知道麻辣烫可能不卫生，可是朋友吃了都没事，况且拉肚子就当减肥了，很多朋友还买减肥的来吃，自己这样既饱了口福，又不担心发胖，小鱼一直都不当回事，甚至非常高兴自己的这个技能，后来，一次和朋友聚...。
内衣是人们必须要穿着的贴身服饰，为了更好的满足自己的健康需求，穿着了一段时间的内衣便需要更换，市场中对内衣的需求量一直都很大，因此出现了众多的内衣品牌，都市新感觉内衣是其中备受欢迎的品牌之一，加盟门店遍布在全国众多的城市中，所经营的内衣产品备受消费者的喜爱，吸引到了众多加盟商的关注，那么都市新感觉内衣加盟优势多吗，品牌自成立以来一直采...。
在南京一众风味美食中，皮肚面是传播率颇广的一个，尤其是里面的皮肚，富含了微量元素和胶原蛋白，不仅好吃，更有美颜养生的作用，南京当地，经营着皮肚面的商铺有很多，而较为有名的，就是坐落于陆家嘴的项记面馆，每天都能迎来如长龙般的排队队伍，那么项记面馆加盟吗，项记面馆是一家怎样的面馆，皮肚，咋一听很像是一个内脏名，但它还有个别名叫做干肉皮，简...。
钉钉的数字化管理师，上央视啦！少废话，先看视频，视频里的黄祖新，一年收到40份工作邀请，年薪从7万变成25万，让我羡慕不已啊……那么人民网和央视财经都报道的这个新职业，数字化管理师，到底是什么呢，我简单科普一下～数字化管理师是由钉钉发展衍生而来，利用数字化办公软件平台，进行企业及组织人员架构编辑、组织运营流程维护、工作流协同、大数据决...。
我己窥探灵魂一角看法的实质就是时时好坏感知，而后趋利避害人判别好坏的依据就是感触，如，好的感触，就像打了鸡血，人很爽，坏的感触，就像累，苦，饿，的感触，感触好，那趋利避害，感触就是系统监禁的好坏信号加告知好坏的因果，有时你的心情反响，看似天经地义，实则是系统在作祟，如很困，但你还想玩，不想睡，眼睛却时不时的闭上，如很难，悲观，而后你就...。
亲，依据传统文明，中年女人被蛇咬是一种不祥的预兆，意味着将会有可怜的事件出现，传说中，被蛇咬会带来灾祸，比如家庭分裂，孩子失踪，病痛等等，另外，被蛇咬也或许意味着家庭成员的死亡，或许是好友的变故，此外，被蛇咬也或许预示着财富的散失，比如财富损失，财务艰巨等，此外，被蛇咬还或许预示着职业开展的艰巨，比如失业，被解雇，升职碰壁等，总之，被...。
我恨自己是天蝎座！这个环球惟一的他们，透过现象看清了事物和灵魂的实质，他们骨子里是孤傲清高的，由于一切人懵懂着，他们却寒冷的苏醒着，同时他们又是炽热的，由于没有人比他们领有更多敏感和丰盛的情感，大家对天蝎的看法，更多来自于口口相传的敢爱敢恨，感情之外的他们能否也让人如此着迷呢，来听听他们的自我评估，1、灵魂孤独是永久的主题网友，没有安...。
中国移动畅连电脑版是一款远程办公控制软件,通过局域网络穿透技术,为您提供远程办公、远程助手等丰富的家庭互联应用功能。
历史，历史如何，什么历史，哪些历史，怎么历史
第五人格是一款非常热门的非对称竞技游戏，而与第五人格类似的游戏2022有哪些大家知道吗，所谓的非对称竞技其实就是双方的实力或者能力有着巨大的悬殊，一般都是人数或者是游戏机制的差异，今天小编为大家带来的就是与第五人格类似的游戏推荐，下面一起来看看吧，1、，逃跑吧！少年，一款近期火爆的竞技手游，游戏为2v8玩法，玩家需要在对局中扮演逃生者...。
雷锋网AI科技评论按，3月29日，阿里云在云栖大会·深圳峰会上重磅亮相了阿里，NASA，首个武器，机器学习平台PAI2.0，接下来，本文会扼要介绍一下在PAI里实现的大规模深度学习的优化策略，自2012年DeepLearning的代表模型AlexNet在ImageNet大赛中力压亚军，以超过10个百分点的绝对优势夺得头筹之后，依托于建...。
10月27日，微盟WOS新商业操作系统正式发布，作为微盟大客化战略和生态化战略的共同载体，WOS系统以，Allinone，Oneinall，为核心理念，是目前业界首个面向去中心化的商业操作系统，在消费互联网时代，从Windows到iOS，面向计算机和智能设备的操作系统，基本上定义和塑造了个人用户与数字化世界互动和消费的基本范式，聚焦到...。
雷锋网消息，今天人工智能领域神经网络解决方案公司燧原科技宣布获得Pre，A轮融资3.4亿元人民币，由腾讯领投，种子轮投资方亦和资本，武岳峰资本旗下基金，、真格基金、达泰资本、云和资本继续跟投，根据雷锋网的了解，在AI领域腾讯的投资上偏好行业覆盖性的战略方针，主要是在智能医疗方向，在AI芯片方面腾讯的投资仅有一个公开的投资，那就是201...。
看了纸牌屋第四季的朋友们，一定知道候选人威廉康威通过搜索引擎Pollyhop，为自己拉到了千万选票，其原理是通过操纵人们搜索的东西，如康威的名字，他的照片，Pollyhop可以控制人们看什么，并强迫人们看，直白地说就是给他们洗脑，即便他们不那么做，即便他们只是在追踪用户，也足以打败总统安德伍德了，一个搜索引擎真的有那么强大的威力吗，答...。
