多模态能力再升级 阿里国际发布最新开源多模态模型Ovis (多模态理解)
看一眼菜品图就知道怎么做、能给植物看病、能把手写英文准确翻译成中文、还能精准分析财报数据……多模态能力再次升级！今天，阿里国际AI团队发布了一款多模态大模型Ovis，在图像理解任务上不断突破极限，多种具体的子类任务中均达到了SOTA（最新技术）水平。
多模态大模型能够处理和理解多种不同类型的数据输入，例如文本、图像。与大型语言模型（LLMs）相比，大语言模型在处理和生成文本数据方面有专长，而多模态大模型能够处理非文本数据，如图像等等。
根据多模态权威综合评测平台OpenCompass的数据，Ovis1.6-Gemma2-9B在30B参数以下的模型中取得了综合排名第一，赶超MiniCPM-V-2.6等行业优秀大模型。
图：Ovis在OpenCompass上的测评数据情况
据介绍，Ovis能够在数学推理问答、物体识别、文本提取和复杂任务决策等方面展现出色表现。例如，Ovis可以准确回答数学问题，识别花的品种，支持多种语言的文本提取，甚至可以识别手写字体和复杂的数学公式。
案例1:Ovis对手写文案的识别及翻译能力
案例2：Ovis对复杂数学公式的处理能力
案例3:Ovis通过对图片的识别处理能够给出菜谱
具体来说，Ovis模型有五大优点：
1、创新架构设计：可学习的视觉嵌入词表：首次引入，将连续的视觉特征转换为概率化的视觉token，再经由视觉嵌入词表加权生成结构化的视觉嵌入，克服了大部分MLLM中MLP连接器架构的局限性，大幅提升多模态任务表现。
2、高分图像处理：动态子图方案：支持处理极端长宽比的图像，兼容高分辨率图像，展现出色的图像理解能力。
3、全面数据优化：多方向数据集覆盖：全面覆盖Caption、VQA、OCR、Table、Chart等各个多模态数据方向，显著提升多模态问答、指令跟随等任务表现。
4、卓越模型性能：Ovis展现出了优异的榜单表现。在多模态权威综合评测Opencompass上，Ovis1.6-Gemma2-9B在30B参数以下的模型中取得了综合排名第一，超过了Qwen2-VL-7B、MiniCPM-V-2.6等模型。尤其在数学问答等方向表现媲美70B参数模型；在幻觉等任务中，Ovis-1.6的幻觉现象和错误率显著低于同级别的模型，展现了更高的生成文本质量和准确性。
5、全部开源可商用：Ovis系列模型License采用 Apache 2.0。Ovis 1.0、1.5的数据、模型、训练和推理代码都已全部开源，可复现。Ovis1.6系列中的Ovis1.6-Gemma2-9B也已开源权重。
在AI领域，多模态大模型的应用场景非常广泛，包括但不限于自动驾驶、医疗诊断、视频内容理解、图像描述生成、视觉问答等。例如，在自动驾驶领域，多模态大模型可以整合来自摄像头、雷达和激光雷达的数据，以实现更精准的环境感知和决策。由于多模态大模型能够学习如何联合理解和生成跨多种模式的信息，也被视为朝向通用人工智能的下一个步骤。
根据此前媒体报道，阿里国际在去年成立了一支AI团队，目前已经在40多个电商场景里测试了AI能力，覆盖跨境电商全链路，包括商品图文、营销、搜索、广告投放、SEO、客服、退款、店铺装修等，其中多个应用场景均基于Ovis模型进行开发，已帮助50万中小商家、对1亿款商品进行了信息优化。据介绍，商家的AI需求不断增长，近半年的数据显示，平均每两个月，商家对于AI的调用量就翻1倍。
附相关链接：
论文arXiv:
Github:
Huggingface:
Demo:
版权文章，未经授权禁止转载。详情见 转载须知 。
求职之前，先上牛客，就业找工作一站解决。互联网IT技术/产品/运营/硬件/汽车机械制造/金融/财务管理/审计/银行/市场营销/地产/快消/管培生等等专业技能学习/备考/求职神器，在线进行企业校招实习笔试面试真题模拟考试练习，全面提升求职竞争力，找到好工作，拿到好offer。_牛客网_牛客在手,offer不愁
东营云商网络科技有限公司Since2011年，10年来目前主要核心服务领域有：高端网站建设，App定制开发，微信小程序开发等互联网技术支持和服务。
“北京时间”网站是北京首个市级融媒体平台，是北京广播电视台重要新媒体平台。汇聚海量新鲜资讯，聚合北京广播电视台优质节目，提供全方位便民服务，致力成为为全网用户提供综合服务的智慧融媒体平台。
{$zy_description$}
郯城龙耀园林绿化有限公司是经营银杏树,美国红枫,娜塔栎的批发厂家,兼营:樱花树,石榴树,法桐树,海棠树等各种绿化苗木,提供苗木价格咨询,电话:13583975902
广州轻松包装设备有限公司电子雾化器贴税票机专利设备厂家、可贴电子烟包装盒转角封口税票、电子烟油瓶封口税票、口含烟袋贴税票、烟草罐贴税票，各种不干胶贴标机，定制各种输送平台。
泉州市飞富润包装彩印定制厂家是一家专业生产各种高温蒸煮袋、铝箔袋、真空袋、高阻隔食品包装袋、可降解包装袋、自立吸嘴袋等产品，被广泛应用于各类食品、冷冻冷藏品、水产品、果蔬产品、调味品及种业等行业。
书画儿学习网为您提供各类国学知识，包括但不限于汉语字典、汉语词典、成语大全、古诗词、诗词名句、造句、近反义词、英文缩写词、二十四节气、百家姓起名大全、范文工作报告总结等精品精选国学知识文章大全，希望成为你学习之路上最可靠的港湾。
正穗广州个税网已经覆盖全广州市，为您提供个税申报等服务，公司注册代办、代理记账报税、商标注册代理等服务，为中小企业员工提供全面的工商财税服务，助力创业者和企业实现梦想！
专业研发、生产、销售新能源发电设备及配件，光能电子产品，工业自动化设备，模具，自动清洗机及配件，电站运行故障诊断仪及系统集成。提供节能材料，电力工程，风能，热能，分布式光伏发电系统的施工承装服务。销售高低压配电电柜，变压器，组合箱式变电站，机电设备，仪器仪表，金属材料，塑料制品。自营和代理各类商品及技术的进出口业务。一般项目包括专业保洁、清洗、消毒服务，以及软件销售。
朝阳市卫生健康委员会
黑幕、机器人、流动行驶的车辆….今天下午，毫末智行在流动着科技与未来气息的幕布背景下，于线上正式举办，HAOMOAIDAY，，一股浓浓的技术风，活动现场，毫末智行董事长张凯、CEO顾维灏共同细数了他们近一年来的亮眼成绩单，1、截至12月用户行驶里程近400万公里；今年第四季度正式上线的智慧领航辅助驾驶系统NOH，2、截至目前，毫末智行...。
北京时间5月23日，国际权威科学杂志，麻省理工科技评论，在官网发表了，无人机配送已成深圳城市生活一部分，一文，文章称，尽管美国公司早在2013年就在探索无人机配送，但中国公司美团目前已基于中国城市特点，探索出一条与国内外同行截然不同的发展路径，他们无人机配送服务落地的首站，选择在可能是最具挑战性的环境——深圳城市人口密集区，其进展则表...。
企业服务可谓是当下炙手可热的领域之一，2020年的疫情，将中国企业数字化转型的迫切程度提到了一个新的高度，也让远程办公作为企业软件新基建的能量释放了出来，远程办公需求爆发的背后，其实是互联网时代企业服务入口的重新认识，本次论坛将汇聚大厂核心高管、创新团队、产业研究者，共同探讨AI、大数据、云原生等技术新名词的落地，对当下产业趋势及应用...。
6月19日以来，华尔街投行汇丰、花旗、高盛等相继发布618电商大促研报，认为今年618电商消费增长明显，数据机构星图发布的618成交下降数据统计方式存在明显漏洞，此前，星图数据发布2024年618全网销售战报，显示今年618全网销售总额为7428亿元，5月20日到6月18日，，而去年为7987亿元，同比下降7%，引发广泛关注，根据商务...。
要想加盟一家蛋糕店，申请人不仅要选择对加盟品牌，还要知道蛋糕店如何加盟，今天，小编就来为大家解答这个疑惑，希望接下来的介绍，能对大家在进行蛋糕加盟时，起到一定的帮助，蛋糕店如何加盟时，先来教大家应该怎样选择蛋糕品牌，如今，市面上的蛋糕品牌琳琅满目，有元祖、皇冠蛋糕等等，申请人在进行蛋糕品牌的选择时，先看品牌大小，再看加盟费用，名气大的...。
本片故事叙说一位名叫莫格利Mowgli，布鲁斯·雷德曼BruceReitherman配音，的小男孩，从小被印度丛林里的狼群收养，不时快乐的生存在丛林里，在森林中生长，他结识了奸诈诚恳的黑豹巴布拉，塞巴斯蒂安·卡伯特SebastianCabot配音，和乐天开朗的黑熊巴洛，菲尔·哈里斯PhilHarris配音，以及其余生物好友，导演；沃夫...。
PhotoshopCS2版本，photoshopcs2版本是由Adobe公司出品，英文全称是AdobeSystemsInc，是一款收费的编修与绘图工具，可以有效地启动图片编辑和发明上班，AdobePhotoshop，简称，PS，，是由AdobeSystems开发和发行的图像解决软件，ps软件有收费版的吗，是的，PS软件有收费版本可供经...。
巴勒斯坦加沙地带安保和卫生部门信息人士外地期间7月2日示意，以军今日袭击加沙地带多地，形成至少14人死亡，△加沙地带南部市区汗尤尼斯，资料图，信息人士说，以军轰炸加沙地带南部市区汗尤尼斯和拉法等地，形成至少8人死亡，另有30多人受伤；以军袭击加沙地带北部宰通地域郊外的多处屋宇，形成至少5人死亡，另有7人受伤；以军对加沙地带中部努赛赖特...。
送外卖有电动车就行干家政会做家务就行摆地摊会吆喝就行卖早餐半夜能起来就行超市收银会算账就行干代驾能熬夜就行自己不怕冒险就行医院护工身体好就行保险销售有耐心就行对于已经多岁的你是否正在为失去而感到焦虑上面这项你可以尝试一下你觉得呢大家还有什么补充的优优的狮子妈咪的多岁失业了还有哪些选择...
支付宝蚂蚁庄园2022年3月25日的题目为：一般情况下，下列哪那个成语更适合用来感谢别人？很多小伙伴可能还不太清楚。下面小编就为大家带来了正确答案分享，希望能帮助到你。蚂蚁庄园2022年3月25日答案一般情况下，下列哪那个成语更适合用来感谢别人？鼎力相助不情之请正确答案：鼎力相助答案解析：鼎力：大力。大力相助。多用于求人相助时的客套话。汉语成语，
3322软件下载站为广大玩家提供最新、最热门的安卓单机游戏下载，包括射击单机游戏、动作单机游戏、策略单机游戏以及安卓单机游戏排行榜供大家自由挑选，所有游戏经过人工检测，安全可靠，请用户放心畅玩。
百度输入法Mac版是百度特为Mac用户推出的一款免费中文输入法。百度输入法Mac版于对Mac用户使用行为的深入研究，凭借在多平台输入法领域的深厚积累，依托百度强大的技术力量;您可以免费下载。
今天宝拉的创意乐园就带大家了解一下什么是儿童手工乐园的节日营销，在宝拉的创意乐园店里我们又该如何做呢，节日营销的意思是指在节日期间，儿童手工店店家利用消费者节日消费的心理，综合运用广告、公演、现场售卖等营销的手段，进行产品、品牌的推推销活动，提高用这样方式来提高产品销售力，提升品牌的形象，那么在儿童手工店里的手工项目对于一些节日消费类...。
爱美之心，人皆有之，化妆品连锁加盟店在日常生活中很常见，化妆品指的是为了美化、保留或改变人的外表，例如为了演戏，而用于人体的调剂，或为了净、染、擦、矫正或保护皮肤、头发、指甲、眼睛或牙齿而用的调剂，根据2007年8月27日地区质检总局公布的，化妆品标识管理规定，，化妆品是指以涂抹、喷洒或者类似方法，散布于人体表面的任何部位，如皮肤、毛...。
目前中国市场座舱智能配置水平的新车渗透率约为48.8%，到2025年预计可以超过75%，日前，国际知名咨询机构IHSMarkit在，智能座舱市场与技术发展趋势研究白皮书，中指出，事实上，近年来，随着以，电动化、网联化、智能化、共享化，为代表的汽车，新四化，加速发展，汽车正在从，单一的交通工具，向集休闲、娱乐、办公等多功能于一体，第...。
在本世纪初的大战之后，很多人以为它作为一项没落业务，格局业态早已固定，以至于，在Saas从热潮到寒冬的这两年，甚至没有多少人会关注它，但在创业家们的视野盲区里，它始终都是最优质的大厂造血单元，最古老的SaaS，却是最好的现金牛2022、2023年，被业内称为SaaS的寒冬之年，裁员缩编、IPO暂缓、投融资遇冷、创业公司艰难求生……然而...。
发表在专业问答2021，10，2814，35展示机型信息，品牌型号，当贝x3系统版本，当贝OS2.0将dlp投影仪接上电源并打开，然后打开投影仪的系统设置，选择网络设置，找到需要连接的无线网名称，输入密码进行连接，成功后就能够直接使用，具体操作步骤如下，dlp投影机使用方法1.接通电源将dlp投影仪接上电源，然后按机身上面的开关键将投...。
