产学研共促技术创新与产业应用 智源举办2024具身与世界模型专题峰会 (产学研共建)

文章编号:36139 资讯动态 2024-11-30 具身智能多模态大模型智源

2024年11月5日,北京智源人工智能研究院主办的“智源论坛·2024具身与世界模型专题峰会”在智源大厦举行,智源研究院理事长黄铁军、智源研究院院长王仲远、智源研究院副院长林咏华出席大会。智源具身多模态大模型研究中心负责人、北京大学研究员仉尚航,智源具身智能研究中心负责人、北京大学助理教授、银河通用创始人王鹤,Google DeepMind研究科学家,谷歌RT1、2,SayCan作者Ted Xiao以及来自清华大学、香港大学、康奈尔大学、UC Berkeley、英国曼彻斯特大学、大湾区大学(筹),中国科学院等知名高校和研究机构的学者专家,加速进化、傅利叶、乐聚机器人、星尘智能等具身智能头部企业的创始人、CEO围绕具身智能和世界模型的前沿方向、技术实践进行了主题分享与深度探讨。

智源举办2024具身与世界模型专题峰会 产学研共促技术创新与产业应用

具身智能的发展,无论是硬件稳定性,数据采集与仿真,具身大小脑模型分层架构或者端到端技术路线,还是终端使用场景,都面临诸多挑战,需要产学研深度协同与广泛联动。智源研究院院长王仲远在开幕式致辞中表示,智源研究院将依托多模态大模型技术优势资源,联合北大、清华、中科院等高校院所以及银河通用、乐聚、加速进化、宇树等产业链上下游企业,建设具身智能创新平台,重点开展数据、模型、场景验证等研究,共同打造具身智能创新生态

智源具身多模态大模型研究中心创新地设计了面向机器人具身基础模型的快慢系统框架,快系统能够高效快速的预测末端执行器位姿,慢系统则是在面对复杂和错误行为时更加深入地思考和纠错,不断提升机器人大脑的能力。为了实现该快慢系统框架,智源探索了具身端到端以及大小脑分层结构的不同技术路线,进行开放世界泛化物体操作,并基于大脑模型进行语义理解与常识推理,实现零样本物体导航。无论是端到端模型还是分层结构,最终都是为了让机器人能更好地理解物理世界规律,更好地与环境交互,更好地执行时序上的准确行为。因此,智源同时提出了四维世界模型Robo4D,为世界模型构建四维时空,以解决机器人在开放世界中任务操作的物体泛化以及场景泛化等问题。相关研究被国际旗舰会议NeurIPS 2024、ICML 2024接收。

智源具身多模态大模型研究中心利用世界模型预测机器人与环境交互后的未来事件,从而生成准确的行为,提前预测行为是正确还是失败。智源设计的世界模型的技术路径是,首先将世界模型启动和响应模态设置为视频模态,给定关于动作的语言指令和当前机器人的状态去生成机器人执行完动作后的完整视频。针对给定的任务,模型可以完整预测任务执行的过程,从物理世界中学习规律,生成视频之后,通过模型将视频转换成机器人的行动。其中,任务到视频生成以及视频到行动的过程,利用了智源原生多模态世界模型Emu3将理解和生成大一统的技术思路,形成自我反思的思维链。

智源举办2024具身与世界模型专题峰会 产学研共促技术创新与产业应用

智源具身多模态大模型研究中心负责人仉尚航认为,近期的一系列工作展现出具身基础模型的广泛前景,中心将继续探索具身多模态大模型与大数据构建,践行机器人领域的Scaling Law。实现真实世界的四维时空世界模型是迈向机器人整体AGI的重要一步。四维世界模型将作为机器人的世界基础模拟器,同时具备时间与空间智能,拥有长短期记忆与物理概念学习等能力,与真实物理世界进行交互并从中得到反馈。

智源具身多模态大模型研究中心在近期的研究中将世界模型从二维拓展至四维,采用先验引导的3D Gaussian Splatting算法,基于单一视角的视频片段生成四维世界空间。采用多轮世界空间映射模型将不同位置的世界空间映射到视频域,最终应用于下游任务,生成式数据提升了机器人操作的泛化性。

智源举办2024具身与世界模型专题峰会 产学研共促技术创新与产业应用

智源具身智能研究中心负责人、北京大学助理教授、银河通用创始人王鹤在特邀报告中强调,空间智能要注重三维信息的使用,否则对空间几何的理解非常有限,还需注重交互智能,而交互智能背后所需的大量数据应该用合成数据替代真实世界的数据采集,才能达到大模型所需要的数据规模,实现真正的泛化性。

目前,智源具身智能研究中心展开了一系列技能的泛化研究和具身端到端大模型的训练研究。首先把二维真实世界看到的二维图像升维到三维,用扩散模型预测视差。并自研了大规模动作数据的仿真合成技术,覆盖了桌面物体摆放、桌面纹理、光照等各种空间形态和位置关系,在仿真器中对光线折射和反射进行仿真并进行渲染。目前团队最新的进展是完成了10亿规模的灵巧抓取数据集DexGraspNet 2.0,覆盖了基于各种物体的大规模的抓取标签生成,在这样的大规模数据上训练的灵巧手抓取模型率先实现了泛化场景真机成功率90%以上。

在端到端模型研发方面,团队训练了全球首个基于视频流的端到端导航大模型NaVid,无需建图,也不依赖于深度信息和里程计信息等其它传感器信号,完全依靠机器人摄像头采集的单视角RGB视频流,通过Sim2Real的方式,实现在真实世界室内场景甚至是室外场景的zero-shot真机泛化。近期,智源在导航大模型加入了三维模态,提出了端到端空间导航大模型NaVid-4D,该模型在一系列有更高要求的自然语言指令导航任务中实现了进一步突破。

智源举办2024具身与世界模型专题峰会 产学研共促技术创新与产业应用

大会期间,智源研究院院长王仲远主持具身智能技术与应用发展前沿展望圆桌讨论,清华大学自动化系教授,加速进化联合创始人赵明国,智源具身智能研究中心负责人、北京大学助理教授、银河通用创始人王鹤、傅利叶创始人兼CEO顾捷,乐聚机器人创始人冷晓琨,中科院自动化所研究员王鹏,UC Berkeley潘家怡,围绕具身智能的本体形态、数据、泛化能力、产业落地前景等议题分享了最新的思考与观察。

智源举办2024具身与世界模型专题峰会 产学研共促技术创新与产业应用

此外,下午的空间智能和世界模型圆桌讨论由智源研究院副院长林咏华主持,清华大学机械工程系助理研究员陈睿,清华大学电子工程系副教授代季峰,星尘智能创始人兼CEO来杰,香港大学助理教授李弘扬 ,北京通用人工智能研究院研究科学家黄思远,分别就机器人的世界模型技术路线、关键技术要点以及面临的核心挑战等问题进行了不同视角的解读。

智源举办2024具身与世界模型专题峰会 产学研共促技术创新与产业应用

在闭幕致辞中,智源研究院理事长黄铁军指出,智能是环境的产物。人类智能来源于对环境的适应演化以及对世界的抽象。智能应该是大大小小各种形态的,不能变成一个完全统一的智能。具身智能的发展是必然趋势,无论是人形还是其他形态的机器人,未来需要庞大的产业群配套,促进具身智能的关键部件与材料,软件与硬件协同发展。

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
天工网官网

跑项目上天工网工程帮,天工网致力于工程销售的研究,赋能销售快速获得有效的工程业务线索,提供全国在建项目和拟在建工程信息,线下人脉对接活动,合作交流群等服务,依托互联网引领行业新变革!

水质化验仪器

重庆汇美科学仪器有限公司是一家专业生产水质化验仪器、浊度仪、余氯仪、流量计、二氧化氯发生器、计量泵、液位计、在线余氯仪、在线浊度仪的生产厂家。联系电话:02388321988

程力汽车集团

程力总机:0722-3331866该网站为程力专用汽车股份有限公司官网,程力集团是国产大型军用方舱生产厂家排名前十的民营强企业,也是排名前十的消防车、洒水车、扫路车生产企业。程力官网提供军用方舱产品生产信息:包括-db电磁屏蔽军用方舱、飞机军用方舱、降噪静音军用方舱、全铝军用方舱、军用宿营方舱、军用雷达方舱、军用炊事方舱,是名副其实的综合型特种军用方舱生产公司,也是中国知名品牌的军用方舱生产厂家。

Eiafans.com

环保验收公示,环评验收公示,环评报告公示,环评公示网,自主验收公示网,环保公示网,竣工环保验收公示网,注册环评师考试,环评网,环评考试网,环评论坛,环境影响评价,环评俱乐部,环评网,环评工程师,环评报告,环评吧,环评论坛,环评师

康喜科技

康喜科技是一家集研发、生产、销售于一体的现代化高科技企业。特别是旗下高电位治疗仪系列,以其功能齐全、性能稳定、功效显著、设计新颖、使用方便等优点在同类产品中居于领先地位,并受到广大客户的高度赞扬和一致好评。

江苏流量计

江苏恒大仪表有限公司是国内外专业的电磁流量计,磁翻板液位计,涡街流量计,重锤式料位计,超声波流量计供应商,主营产品有:电磁流量计,磁翻板液位计,涡街流量计,重锤式料位计,超声波流量计等,江苏恒大仪表有限公司不仅具有专业的技术水平,更有良好的售后服务和优质的解决方案,欢迎来电洽谈。

2024国际车展

车展日有全国三百余个城市的车展举办时间、地点、门票、车模及优惠等信息,最新车展资讯动态,车展新车发布,车展现场实拍图片,美女车模图片,尽在车展日汽车展会网!

501外贸服装批发贸易论坛

501外贸服装论坛(501)属全球501外贸服装批发贸易论坛是全球领先的外贸服装货源与采购交流平台,为服装供应商和采购商提供最新的货源信息、市场动态和行业经验交流。在这里,您可以轻松获取优质货源,分享和学习行业经验,紧跟市场趋势,是拓展业务和了解市场变化的最佳选择。

AC电源线插头,电源线插头,工业插头厂家,防爆插头定制

深圳市烨达电业有限公司是一家专注于各类AC电源线插头,工业插头厂家,电源线插头,防爆插头定制生产与销售的综合性厂家

赛卓电子科技(上海)股份有限公司

赛卓电子科技(上海)股份有限公司成立于2011年,总部位于上海临港新片区,并在上海漕河泾开发区、杭州、西安和深圳,美国北卡等地设有研发及销售中心。赛卓电子是国内最早面向汽车电子的集成电路(IC)设计公司之一,致力于为客户提供完整的车规级芯片解决方案,主要产品包括传感器芯片、电源管理芯片、电机驱动芯片及其它高性能数模混合芯片等,广泛应用于汽车电子、工业控制等领域。 产品包含:速度传感器IC、电流传感器IC、角度传感器IC、电机编码器IC、磁性位置传感器IC、电机驱动IC、电源管理IC、其他模拟IC 应用包含:汽车电子(动力总成、车身电子、底盘电子、智能座舱、热管理系统、三电系统)、替代交通(农机、无人机、电动二轮/三轮)、工业和机器人(三表、电动工具、工业电机、机器人)、新能源(太阳能、储能)、消费电子(个人护理、电脑周边、手机周边)、智能家居(电动家具、小型家电、大型家电)

轻喜到家

深圳轻喜到家中国家庭数字化生活服务平台,轻喜到家提供日常保洁、高端保洁、保姆、母婴护理、育婴早教、产康护理、家电清洗、家居养护等专业的到家服务。

全局底部横幅