对话武汉大学李淼教授 以大模型视角看待一切机器人问题丨GAIR live (武汉大学采访)
“人们对机器人的抓取和操作存在很多误解，很多研究成果很难推进到实际应用环节。”
武汉大学李淼教授介绍，这是他放弃前往麻省理工 MCube Lab（操纵与机制实验室）Alberto Rodriguez教授团队做博士后研究，选择回国创业的重要原因。
李淼教授博士毕业于瑞士洛桑联邦理工学院，师从学习算法与系统实验室的创办者Aude Billard教授，长期致力于机器人学习和控制、物体抓取和操作等领域的研究。
他关于动态抓取算法研究的博士论文，在瑞士洛桑联邦理工学院获得了全球每两年仅一名的瑞士ABB奖（Asea Brown Boveri Ltd. ），也是该奖的唯一华人获得者。这项研究提出了复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。
李淼教授回国后依然延续了这项研究，为抓取算法寻找合适的落地场景。
大模型技术出现后，李淼教授的研究内容也随之变化，一方面与业界合作，将大模型技术应用在家庭服务机器人的产品研发上；
另一方面，在学术研究上，也开始尝试将扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、将大模型和医疗影像相结合。
“我在与团队成员交流时一直强调，我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。”
李淼教授指出，大模型将彻底改变机器人领域的发展进程。
4月8日（周一）20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛，届时李淼教授将分享更多前沿观察。
以下为对话（经编辑）：
01 从理论研究到机器人研究
：硕士毕业后，您为什么选择了瑞士洛桑联邦理工学院读博？该校的机器人研究有何特色？
李淼： 我最开始是在华中科技大学申请的直博，硕士阶段结束后，考虑到当时国外的机器人研究比较领先，所以尝试申请了国际上机器人专业排名最高的几个学校，也拿到了很多offer，比如美国的约翰·霍普金斯大学、英国的帝国理工大学等等。
我希望选择一个与AI算法结合更紧密的方向，所以最终去了瑞士洛桑联邦理工学院Aude Billard教授的学习算法与系统实验室（Learning algorithms and systems Laboratory）。
由于我本科、硕士阶段的机器人研究方向更加偏向理论，和数学、医学、动力学等学科的相关性很高，而Aude Billard教授团队的研究则更加注重数据，通过模仿学习等手段收集机器人工作过程中的数据并进行分析，Aude Billard教授是这一领域的开创者，也是瑞士机器人专题网络负责人。
除Aude Billard教授的实验室之外，瑞士洛桑联邦理工学院还有很多技术领先的机器人研究团队，如研究仿生机器人的生物机器人实验室（Biorobotics Laboratory）、发明了折纸机器人的可重构机器人实验室（Reconfigurable Robotics Lab）等等。
瑞士洛桑联邦理工学院机器人研究的整体风格就是小而精，学校拓展了非常多具体的研究方向和团队。
：工业机器人四大家族之一的ABB也诞生于瑞士，您多次提名和获得该校的ABB奖，这对您后来的创业方向有什么影响？
李淼： ABB的总部在瑞士，与瑞士洛桑联邦理工学院有很多合作，ABB在学校里设立了的一个奖项（Asea Brown Boveri Ltd. ），每两年颁布一次，奖励奖励能源、自动化、电信等各个领域的原创科学工作，每次只有一个获奖名额，竞争非常激烈。
我凭借研发的复杂物体灵巧操作的鲁棒性算法以及成功应用于现实世界的机器人操作问题获得了2018年的奖项（论文：《Dynamic Grasp Adaptation -- From Humans To Robots》），同时我也是唯一的华人获得者。
以往的机器人研究中开发了大量的算法，但是并不能很好地解决实际问题，而我的这项研究第一次成功地应用于现实世界的机器人操作问题，尤其在机器人抓取、操作方面。
2016年我离开瑞士洛桑联邦理工学院后之后，发觉在机器人领域的很多研究成果仍旧很难推进到实际应用环节，人们对机器人的抓取和操作存在很多误解，所以我决定回国创办一家公司，将机器人技术推广到实际应用场景之中。
我回国后的创业团队依旧延续了对这项技术的探索，将其应用在物流、药房等场景的抓取、操作中，不断打磨解决方案。
：2016年您回国创业，从事机器人抓取与智能控制相关应用的研究。为什么决定回国创业？
李淼： 最开始回来时我还是一个fresh PHD，对行业的认知还有限，尝试为抓取的算法找到合适的落地场景，从物流、工业到医疗场景都进行了落地尝试，最后聚焦到医疗场景。
这时候我们发现，一个机器人产品不仅仅需要有抓取技术，还需要有很多辅助的硬件设配相配合，慢慢就形成了综合的解决方案。
2017年我来到武汉大学工作后，前期的这些工作也间接影响了我在学校里的研究方向，使我更加关注机器人的落地应用。
：早在2022年，您与港中文的陈翡教授就合作发表过一篇烹饪机器人的论文《Robot Cooking With Stir-Fry: Bimanual Non-PrehensileManipulation of Semi-Fluid Objects》，这篇论文的关注角度与孙宇教授此前发布在IJAIRR期刊上的《 Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability》一文有哪些不同？您认为在烹饪场景中机器人技术还有哪些值得探索的方向？
李淼： 在厨房这个场景中，对机器人的要求是最综合的，不论是精细的运动，还是更高维度的规划，以及对不同模块的理解，烹饪场景都是最丰富的。
甚至在其他场景中鲜少用到的味觉和嗅觉，烹饪场景中也有涉及。
机器人在烹饪场景的工作可以分为两个大的逻辑，一是上层的任务规划，二是底层的动作规划。我和陈翡教授的合作更多是动作层面的规划，孙宇教授的研究则是关于任务层面的规划。
要将上层的任务规划和底层的动作规划打通，还需要一个中间层 middle layer，也可以叫做胶水层。
在当前的研究领域，针对中间层架构的深入探究尚未达到预期的成熟度。
无论是采用规划领域定义语言（Planning Domain Definition Language, PDDL）以形式化地描述和连接自动化规划任务，还是依赖于基于规则的专家系统进行决策支持，亦或是利用神经网络构建的专家系统，这些方法在实现高效、可靠的中间层处理能力方面均显示出了一定的局限性。
这些技术在处理动态变化的环境、提升决策的透明度和解释性、以及增强系统的泛化能力等方面仍面临诸多挑战。
：在您对机器人领域的研究中，也融合了机器视觉、深度学习等不同学科知识，如何看待机器人研究中跨学科合作的意义？
李淼： 机器人研究可以大体分为四块：设计（具身）、感知、规划、控制。
我们从感知的角度来看，当机器人需要获取视觉信息时，就需要视觉传感器的配合；机器人需要获取触觉信息时，就需要触觉传感器的配合，看起来似乎是多学科交叉融合的研究。
但是我们从当下大模型的视角或数据驱动的视角来看，这些东西本身就是一体的。
不论是具身层面还是感知层面，机器人都是多模态的。机器人的外观既可以是人形，也可以是狗形；机器人的获取的信息既可以是视觉信息，也可以是触觉信息。我们可以将这些内容都看作是机器人研究的一部分。
：大模型技术的出现为机器人研究带来了巨大的影响。在您的研究中对这项技术进行了哪些应用？
李淼： 在我和业界的合作中，已经开始尝试将大模型技术应用在家庭服务机器人的研发上。
以扫地机为例，在扫地机的感知中，我们利用大模型进行数据生成，合成仿真数据以提升真实数据的不足；同时又将逻辑推理融入感知中，基于本身的语义地图,，让扫地机更智能地进行运动判断，避免线材、杂物等障碍物的干扰 ；
在清扫报告部分，我们利用大模型生成清扫报告， 同时允许用户进行报告中内容的自定义选项添加，从而更全面的了解家庭情况。
在学校的研究里我们还没有用到真实的大模型，但是也已经开始向这方面的研究靠近，比如扩散模型（Diffusion Policy）和手术机器人动作生产策略相结合、大模型和医疗影像的结合等等。
我在与团队成员交流时，一直强调我们要以大模型的视角来看待一切机器人的问题，无论是算法研究还是其他各类工作，如果和大模型不相关，也许5年之内就会被淘汰。
以前我们做的那些工作，现在从大模型的视角来看，所设计的模块一定要足够大，将其建成“data in、>
4月8日，北京时间20:00-22:00，将举办主题为「大模型时代，机器人的技术革新与场景落地」的线上圆桌论坛。
本次论坛嘉宾有，南佛罗里达大学孙宇教授、武汉大学李淼教授、南方科技大学张巍教授、优必选科技庞建新博士。
“全球人工智能与机器人大会”（GAIR）始于2016年与中国计算机学会（CCF）合作创立的 CCF-GAIR 大会，旨在打造人工智能浪潮下，连接学术界、产业界、投资界的新平台，而“连接三界”的全新定位也在此大会上得以确立。
经过几年发展，GAIR大会已成为行业标杆，是目前为止粤港澳大湾区人工智能领域规模最大、规格最高、跨界最广的学术、工业和投资领域盛会。
GAIR Live 作为旗下视频直播品牌，旨在输出新鲜、深度、原创的大咖访谈与对话内容，打造辐射产、学、研、投的特色线上平台。
大模型与机器人相关资料
1.《对话南佛罗里达大学孙宇教授：当大语言模型用于机器人任务规划丨IJAIRR》
2.论文：Consolidating Trees of Robotic Plans Generated Using Large Language Models to Improve Reliability
《国际人工智能与机器人研究期刊》（International Journal of Artificial Intelligence and Robotics Research，简称IJAIRR），是由新加坡GAIR研究院与世界科技出版社联合出版的国际学术期刊。
作为全球首本专注于人工智能（AI）、机器人技术（Robotics）以及基础科学交叉研究（Research）的期刊，IJAIRR致力于成为AI与机器人领域研究的权威发布平台。
如果您在本领域顶级会议上发表的文章（或即将发表）不超过一年，我们将协助您稍作修改后在IJAIRR期刊上发表。
如果您领导的团队在顶级会议上有多篇论文发表，并希望在IJAIRR上围绕特定主题策划一个专题（Special Issue），我们诚挚邀请您深入讨论合作事宜。
如果您是顶级会议的组织者，并有意与IJAIRR合作，针对特定会议策划一个专题（Special Issue），我们也期待与您具体商讨合作细节。
IJAIRR期待与您携手，共同推动人工智能与机器人研究的发展。图片
联系人：IJAIRR创刊主编朱晓蕊博士，xiaorui_zhu@gair.sg
关于期刊创刊主编等更多信息，可点击
关于、GAIR大会、GAIR研究院（期刊和在线社区）的详细介绍，请阅读朱晓蕊教授的专访：
IJAIRR期刊的主页链接为：
原创文章，未经授权禁止转载。详情见 转载须知 。
泡泡糖办公是一款专业ppt模板下载网站，提供多种类型和风格的ppt模板、ppt素材、ppt课件等多种资源在线下载，支持ppt在线定制服务，有专业设计师针对需求定制个性化ppt模板。
歌词塔是专业提供歌词下载服务网站,网站提供歌词找歌名,歌词搜索歌曲服务,同时提供歌曲LRC歌词下载服务,歌词塔是您搜索下载歌词的首选网站。
?bwin必赢?必赢官网VNS998.VIP为您提供丰富多彩的线上娱乐信息,bwin必赢(中国)在线登录入口提供最专业的客户服务,bwin必赢登录入口官网为您的财产保驾护航,必赢国际bwi437超高信誉,游戏刺激,bwin手机版登录入口欢迎您前来注册体验!
程力专用汽车股份有限公司销售十二分公司
中国中医网专注于大众关心的医药健康,生活相关的最新事件，涉及行业信息、中医、保健、医药、健康等，内容客观真实，准确及时，是专业的健康医药网站，便利人们的生活。
平山学习网为您提供全面权威的高考政策解析、各大高校与专业排名信息，专注于职业资格考试指导、公务员考试培训、成人学历教育咨询等多元化服务，助力每一位学员精准规划学业与职业发展之路。
苏州名智光电致力于为半导体IC，平板显示等领域客户提供光罩服务。提供石英和苏打3~14inch的基材光掩模，最小图形制作高达1um以上，图形精度实现+/-0.1um。根据客户提供的图纸，高效高质量的定制光罩。
公司成立于2003年5月，注册资金2074万元，拥有各类专业技术管理人员167人，公司总部设在荆州市沙市区白云路1号。
在这个信息纷繁的时代，如何找出你所感兴趣的知识，91知识网一直致力于建设一个包罗万象的信息筒，将包含你想要了解的所有知识都收录在本站里。
江苏海清通信拥有14年视频会议行业经验，专注于帮助企业提升沟通效率，节约差旅成本。公司拥有专业的技术团队，丰富的实施经验，为您的企业打造卓效的智能会议室。江苏海清通信代理的宝利通、小鱼易连、MAXHUB、华为等品牌的视频会议产品广泛应用于教育、医疗、保险、银行、企业等行业。
说到现在的教育行业中，当数机器人教育更加的受欢迎，主要是因为机器人教育可以更好培养孩子的科学知识，普及科技知识，对孩子后续踏入社会有很大的帮助，所以说家长也意识到孩子的科学知识的重要性，所以给孩子报名机器人培训机构，就是非常不错的选择，不仅教学质量非常的好，而且价格也非常的合理，所以也获得广大创业者的关注，加盟，贝思哲开启学生的创想力...。
人工智能机器人高新科技技术的运用与大数据的运用，使得机器可以无障碍的与人类进行交流，起到陪伴的作用，更有一些的课程项目，会给提供合格的教学服务，智伴机器人是这当中很受欢迎的加盟项目，智伴机器人是高新科技项目，它当中拥有多项功能，有诗词歌赋，加减程序，相声歌剧等，这些项目可提高孩子的学习成绩，塑造好的品牌形象，那么现在智伴机器人如何加盟...。
如何让孩子快乐的学习，健康的成长，拥有一个欢乐有趣的童年生活，相信是每一位做父母的都十分关注的问题，如今，随着社会在迅速的发展，我们大家的经济水平以及生活环境也得到了个很大的改善，关于对孩子们的教育培训以及越来越先进，玛酷机器然是一家专注于3，16岁儿童智能教育机构，自从在市场那个上出现以来，便赢得了大众群体广泛的关注与认可，那么，玛...。
汉堡产品，口味丰富，带来百吃不厌的体验感，深得大众喜爱，贝克汉堡西餐小吃打造中国人自己的汉堡品牌，采用现做现卖的方式，为消费者提供新鲜品质产品，且采用机器人送餐方式，新颖科技更好吸引消费者眼球，很好为店面赋能，得以不断好评，面对品牌红火经营的热度，越来越多的创业者对其开店加盟的想法关注过来，那么没有经验可以加盟贝克汉堡西餐小吃吗，贝克...。
国内科技力量的提升带动了整体的科学水平，而且目前教育的行业中也开始依靠科技来进行，进一步提升孩子多方面的发展和能力，机械公民是一家以机器人为主体的教育模式，成立至今都是建造了现代化的教育理论，而且充分提高学生们做方面的能力和素质，机械公民机器人教育加盟门槛高吗，高机遇的好事业，机械公民是专门打造的一个机器人教育品牌，而且是致力于现代中...。
现在家长们非常重视孩子特长方面的培养和发展，希望孩子不仅仅学习好，在其它方面也能够突出，为此，家长们会为孩子报名各种兴趣，钛客实验室开设了各种各样的热门特长课程，而且教学水平高，很不错，对于创业者来说，钛客实验室加盟前景不凡，是创业好选择，下面小编来具体介绍一下品牌信息，供各位参考，在2011年，一个实力雄厚的教育培训品牌在教育行业悄...。
现在的教育方向和教育思想已经和以往都不一样了，并且现在时代的发展需求也已经变了，所以人们的教育方向也随着改变了，现在的教育方向发展中，比较重视特色教育，并且，现在的特色教育项目也有了非常多新颖的特色教育项目，其中儿童编程就是一种，钛客实验室就是一个比较好的编程教学机构，在行业的发展中也非常受青睐，也是现在创业项目中的一把好手，拥有非常...。
每一家正规的教育机构，都是受政府所支持，而现在教育的改革，越来越多科技特色化的教学项目出现，轻松动脑的学习，受到了热烈的亲睐，是非常不错的创业项目之选，玛酷机器人以知名品牌，，乐高，为其运营的载体，给予孩子们动手，学习能力的赋予，成为大众所认可的教学品牌，并且品牌所拥有的正确定位，还有先进的运营体系等，都是促进了发展，不少创业的目光，...。
过去一周里，雷锋网参加了业内多个重大会议，包括国内的双创周、极飞科技年度大会，以及国外的IROS2016等，下面我们就来回顾下，这些大会都有哪些看点，IROS2016，见证机器人领域最顶级的国际会议IROS会议今年已经举办到第29届，会议每年会收到约两千多篇论文投稿，而本届会议在韩国大田举办，会有2500位来自约40个国家的全球机器人...。
2016年9月，国内首台公安智能安保机器人AnBot，中文名，深圳小安，在深圳机场正式上岗，24小时自动巡逻，并配备了电防暴叉、电击枪的深圳小安立刻受到了一众国内外媒体的关注，其实，它还可以进行智能语音交互，回答关于补办身份信息、航班动态等方面的提问，小安的语音交互系统使用的是灵聚智能的技术，深圳小安机器人，成立于2013年6月的...。
雷锋网AI科技评论按，对于机器学习而言，区分异常数据或有显著差异数据至关重要，谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性，AI科技评论将谷歌对该方法的官方解读编译如下，深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常...。
见了一年的投资人和客户，大家上来就问，你们做不做预标注，能不能用预标注解决所有问题，在类GhatGPT大模型爆火的当下，预标注技术似乎已成为自动驾驶数据标注赛道上的致胜金牌，一家年轻的自动驾驶数据服务公司——恺望数据在近日举办的闭门交流会上给大热的预标注技术，浇冷水，恺望数据产品项目VP张鹏表示，目前自动驾驶预标注技术仅能处理6...。
随着市场经济的快速发展，服务市场发展速度越来越快，尤其酒店市场，多种房型，设施完善，蕴藏着很多商机，格林酒店集团在是大家都知道的连锁酒店品牌，完善酒店设施，经营理念先进，受到了广大消费者的认可与青睐，全国多家运营门店是对品牌实力的见证，那么加盟格林酒店集团靠谱吗，需要多少钱，格林酒店集团是一家全系列品牌连锁酒店，凭借成熟化运营模式，连...。
雷锋网AI科技评论按，对话作为人类最基本、最重要的交流方式，自然语言对话技术自然也成为了自然语言处理领域离人类最近的技术之一，这一领域乃至整个人工智能领域要想走向理想状态，势必要解决自然语言对话所面临的一系列问题和挑战，而所有技术的问题和挑战在实践应用中是最容易体现出来的，因而对此最具有发言权的莫过于实现技术落地的企业一线技术人员，近...。
消息，今天下午，ISC2023第十一届互联网安全大会之，大模型落地实践应用与挑战研讨论坛，在北京举办，来自技术、平台、场景的多方专家就如何推进行业大模型落地实践应用进行探讨，360智脑总裁张向征介绍，360集团自研认知型通用大模型，360智脑，，其能力经多家评测位列第一梯队，并在过去的一个月内实现了整体能力提升14.55%，率先...。
坚果J7投影仪怎么安装软件看电视直播教程，具体方法如下，一、首先从电脑里下载好点击立即下载坚果J7投影仪的USB接口，这时系统会检测到外接存储设备；二、或者在设置—常用功能里面打开，文件管理，—，，然后选择安装包，找到当贝市场apk点击并确认安装即可；三、这样当贝市场就已经安装完成了，我们可以随意在里面下载自己所需应用，例如，当贝影...。
最新方法怎么看电视台，只需要在电视上装一个当贝市场就可以轻松解决，1、下载当贝市场，http，www.dangbei.com，安装包并拷贝到U盘，2、打开东芝电视，按下遥控器的设置键，打开设置界面，点击，更多设置，3、在设置界面找到，通用，选择，商场模式，，把商场模式改为，开启，状态，4、成功开启以后，把U盘接到电视的USB接口...。
