解锁多模态大模型 大模型 港中文贾佳亚团队提出 LISA 推理分割 能力 (多模态界面)
当前的视觉识别系统都依赖人类用户明确指代目标物体或预先设定识别类别，进而进行识别。它们仍然只能处理简单明确的指令（如“橙子”），而无法解析相对隐式和复杂的指令（如在下图中指出 “维生素C含量高的食物”）。
而真正的智能感知系统应该根据用户指令推理其真实意图。例如，在指示机器人时，人们往往倾向于直接给一个指令“我想要看电视“，而不是分几个步骤”走去茶几旁边，帮我找到遥控器，然后按下按钮打开电视“。这些场景都要求感知系统具有复杂推理和联系世界知识的能力。
最近，香港中文大学贾佳亚团队发布一项新研究，提出一项新任务——推理分割（ReaSONing Segmentation），该任务要求模型能够处理复杂的自然语言指令，并给出精细的分割结果。
如上图所示，推理分割任务具有很大的挑战性，可能需要借鉴世界知识（例如，左图需要了解“短镜头更适合拍摄近物体”），或进行复杂图文推理（如右图需要分析图像和文本语义，才能理解图中“栅栏保护婴儿”的含义），才能获得最终理想的分割结果。
尽管当前多模态大模型（例如Flamingo [1], BLIP-2 [2], LLaVA [3], miniGPT-4 [4], OTTer [5]）使得AI能够根据图像内容推理用户的复杂问题，并给出相应的文本分析和回答，但仍无法像视觉感知系统那样在图像上精确定位指令对应的目标区域。
因此，此项研究工作提出LISA（Large Language Instructed Segmentation Assistant）多模态大模型。LISA通过引入一个
同时，该工作还创建了ReasonSeg数据集，其中包含上千张高质量图像及相应的推理指令和分割标注。
实验证明，在训练过程中仅使用不包含复杂推理的分割数据（通过将现有的语义分割数据如ADE20K [6]，COCO-Stuff [7]以及现有指代分割数据refCOCO系列 [8]中的每条数据转换成“图像-指令-分割Mask”三元组） ，LISA能在推理分割任务上展现出优异的零样本泛化能力。此外，进一步使用239个推理分割数据进行微调训练还能显著提升LISA在推理分割任务上的性能。而且LISA还表现出高效的训练特性，只需在8张具有24GB显存的3090显卡上进行10,000次训练迭代，即可完成7B模型的训练。
技术方案概述
首先将图像和文本送到多模态-大语言模型（在实验中即LLaVA），得到输出的文本结果，如果此时文本结果包含
如果存在
LISA在训练过程中使用了自回归交叉熵损失函数，以及对分割结果监督的BCE和DICE损失函数。
模型效果
最终，LISA不仅在传统的语言-图像分割指标（refCOCO、refCOCO+和refCOCOg）上展现出优异性能，还能处理以下分割任务情景：1）复杂推理，2）联系世界知识，3）解释分割结果以及4）多轮对话。
在有复杂情景的ReasonSeg数据集上，LISA显著领先于其他相关工作（如Table 1），进一步证明其出色的推理分割能力。
效果展示
版权文章，未经授权禁止转载。详情见 转载须知 。
测速网（SpeedTest.cn）提供网速测试，网络质量测试，宽带测速，Wi-Fi测速，5G测速，IPv6测速，带宽检测，路由器测速，网关测速，宽带提速，宽带升级，网络加速，内网测速，专网测速，视频测试，游戏测速，直播测速，网络诊断，蹭网检测，物联网监测，网站监测，API监测，Ping测试，路由测试等专业服务，拥有国内外大量高性能测试点，覆盖电信，移动，联通，网通，广电，长城宽带，鹏博士等运营商,Wi-Fi7,Wi-Fi6,FTTR,全屋Wi-Fi。
哈尔滨华恒展柜有限公司是一家集展示柜设计、制作、生产、销售于一体的综合性专业厂家!专业生产设计哈尔滨展览展示,哈尔滨展柜厂等各类展柜！一流品质欢迎定制。详询：15504628968
淘得过-优惠券折扣直播第一站！每天更新千款，纯人工筛选验货，限时限量特卖，全场1折包邮！
陈家沟太极拳功夫学校坐落于太极拳发源地——中国陈家沟，其前身为陈家沟西北拳社，由陈氏十五世陈花梅创建于清道光年间。1988年，移地改建为陈家沟功夫院，于2005年更名为陈家沟太极拳功夫学校。
上海斯米克焊材-
中至数据集团股份有限公司（简称中至数据）始创于2000年，是一家专注于在线娱乐、在线营销及产业数字化的软件企业。公司获评“软件百强企业”，入选中国互联网领军企业100家重点研究企业、全国版权示范单位、江西省首批数字经济重点企业、江西功勋企业、江西省先进非公有制企业、江西省文化企业20强等。
阿里云国际代理商,为全球客户提供阿里云产品代理代购,享受阿里云代理商专属优惠,VIP技术服务群支持.
我们提供专业的职业培训资讯,帮助从业者提升职业技能和业务知识水平,以获取更好的工作机会.为兴趣爱好者提供全面的信息知识,更好的展示您的潜力和天赋。
不凡游戏网是老牌专业的手机手游应用下载网站，不凡游戏网汇集几万个精品手机游戏应用，为手机游戏玩家提供最好玩的游戏下载。不凡游戏网原创游戏推荐专题实时更新，人气应用、萌系手游应有尽有。来不凡游戏网找游戏，分分钟带给您劲爽掌上体验！
苏州意美特科技有限公司主要业务涉及客户定制化真空灌封设备，项目方案、样品验证和新能电机灌封技术咨询，设备及产线自动化方案的实施和维修保养服务等
儿童菜谱网是一个聚焦以“儿童”为主题的正规健康菜谱网站，让孩子吃上营养健康饭是儿童菜谱网创立的使命，儿童菜谱网始终坚信，只有让孩子吃的健康才能长的健康。
裤带面，顾名思义，它长得就像裤带一样宽，但是吃起来又非常筋道，裤带面是来自于陕西关中非常有名的一道美食，它是根据老百姓家中的食材进行做法改动的一种美食，深受当地消费者的喜爱，而裤带面也在全国各地流行起来，很多人想问，裤带面加盟一般多少钱，一、加盟多少钱目前市场上有多家裤带面选择，比如好香香裤带面、孙家裤带面、王师傅裤带面等等这些面食，...。
今年的618，是最复杂的一次，也是挑战最多的一次，对今年618而言，棘手问题不仅有增速太快导致的系统稳定性风险，还有疫情散发导致的供应链履约风险，消费者购物行为难以预测，，米面粮油，这类需求稳定的商品也会因为囤货需求，出现临时性、区域性的订单暴涨；供应链履约难度大幅提升，商品的材料采购、生产制造、运输配送随时可能中断，商品积压、库存不...。
文字链接认证代码普通联盟标志认证代码企业广告联盟标志认证代码广告联盟评测代码说明，本页面的认证代码为稻草人广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在稻草人广告联盟网站首页底部或友情链...。
三年前，Google以，Daydream，为其VR平台命名时，绝不会想到，这个名字似乎成了一种预兆——昨天，Google在其发布会上宣布，包括新发布的Pixel4和Pixel4XL，未来的Android设备中将不再支持DaydreamVR平台；DaydreamView头显设备也从即日起停止销售，Daydream应用程序和商店依然可供现...。
何旋是一名来自长沙的省钱博主，日常会在社交平台上分享自己总结的省钱干货，她出过一期，如何在1688上省钱，的攻略，在社交媒体上达到了500多万的播放量，并收获了一群热衷于购买高性价比商品的粉丝，近两年，越来越多像何旋一样的省钱博主在微博、小红书等社交平台上受到年轻人的追捧，他们热心地分享着如何用三分之一甚至五分之一的价格买到和XX大牌...。
全球加密货币币值在周四晚些时候开始上涨，似乎昨天由俄乌冲突带来的下跌颓势已经止住，昨日比特币币值上涨1.7%，至38262.21美元，以太币上涨上涨0.2%，交易价格约为2631.50美元，根据FarileadStrategies公司的KatieStockton说，昨日早些时候，比特币曾经一度下跌超过8%，至34702.18美元，是一...。
上海交通大学人工智能博士，前WiseNut研究中心算法负责人，前阿里北京算法研究中心负责人、高级算法专家，阅面科技专注于深度学习和计算机视觉，为消费级智能机器提供最前沿的视觉算法和解决方案，其技术应用领域包括服务机器人、智能家电、智能手机、无人机和其他消费电子产品行业，随着最近ADAS的火热，不少人开始注意到人脸识别在实际应用中有了更...。
要说近年来备受诸多消费者喜爱的美食类型，相信很多人都会想到螺蛳粉，螺蛳粉作为当下热门的美食，很多消费者对于螺蛳粉都爱不释手，在国内也有着很多的出色螺蛳粉美食品牌，受到了很多消费者的喜爱，其中自然稻螺蛳粉就是发展出色的一个，自然稻螺蛳粉传承正宗柳州风味，在螺蛳粉美食的制作上有着地道的工艺加持，而且在口味上赢得了大众的认可，是很多加盟商信...。
每天意识一个汽车品牌，魏牌WEY，一、基本消息品牌称号，魏牌，英文名，WEY，国别，中国，总部，中国河北省一保定市，品牌类型，华系，创立期间，2016年，开创人，魏建军，所属个人，长城汽车股份有限公司，二、品牌简介魏牌早期叫WEY，先改名魏派，后又改为魏牌，是中国长城汽车历时四年打造出的中国奢侈SUV品牌，成立于2016年，总部位于河...。
寻找大脚怪修改器由MrAntiFun制作分享，这款森林狩猎传说生物的游戏，本站提供四项修改器包含多种强大修改功能，让你轻松抓住大脚怪！需要的玩家快来下载使用！
金舟音频人声分离是一款强大的音频处理软件，软件功能强大，操作简单，支持专业的人声分离，伴奏提取、视频消除人声、视频消除背景音处理，输出高品质高质量的音视频文件。软件功能1、
7月12日，14日，由中国计算机学会，CCF，主办，雷锋网、香港中文大学，深圳，承办，深圳市人工智能与机器人研究院协办的全球人工智能与机器人峰会，CCF，GAIR，将在深圳盛大开幕，这已经是CCF，GAIR举办的第四个年头，值得一提的是，去年的，计算机视觉专场，专注于安防与医疗两个热门领域，收获了超高人气，CCF，GAIR2019峰会...。
雷锋网按，赋能型厂商，如果能够解决客户做生意的痛点，而非单纯是企业内部流转效率的提升，然后围绕这个目标不断构建场景、赋能场景，那么，从这个角度讲，高灯科技围绕构建的N个数字化交易鉴证场景是必然，12月9日，高灯科技宣布全新品牌战略，为数字经济构建交易鉴证场景的多边服务，对于接下来的战略发展，高灯科技联合创始人兼总裁张民遐指出三个方面，...。
在探索游戏世界的过程中，玩家常常会被那些隐藏在深处的秘密所吸引，横跨方尖碑作为一款深受玩家喜爱的游戏，其中探秘格鲁克利是一项充满挑战和趣味性的任务，本文旨在为各位玩家提供一个全面的指南，帮助大家解锁这一神秘领域，一、背景介绍探秘格鲁克利是横跨方尖碑中的一个重要章节，它不仅包含了丰富的故事情节，还设计了多种谜题和挑战，格鲁克利，作为游戏...。
为了缓解女友的失眠症状，四川一医院麻醉科医生瞿某在酒店里，先后分20屡次将1300毫克丙泊酚，短效静脉麻醉药，，经过脚踝注射模式注射进女友体内，2024年3月7日5时，在最后一次性注射后，瞿某分开酒店，并给女友留下了100多毫克丙泊酚，之后，女友因急性中毒身亡，11月1日，四川省仁寿县人民法院地下了该案的一审刑事裁决书，瞿某因犯差错致...。
北京期间9月3日晚间，国际原油多少钱突然跳水，WTI原油极速走低，截至发稿，跌幅扩展至4%，报70.93美元，桶，创往年1月以来新低，布伦特原油跌4.09%，报74.35美元，桶，抹去往年以来的涨幅，波及2023年12月以来的盘中最低点，与此同时，欧股跌幅扩展，德国DAX指数、法国CAC40指数、欧洲斯托克50指数均跌逾1%，美股外地...。
