多模态能力再升级 阿里国际发布最新开源多模态模型Ovis (多模态理解)
看一眼菜品图就知道怎么做、能给植物看病、能把手写英文准确翻译成中文、还能精准分析财报数据……多模态能力再次升级！今天，阿里国际AI团队发布了一款多模态大模型Ovis，在图像理解任务上不断突破极限，多种具体的子类任务中均达到了SOTA（最新技术）水平。
多模态大模型能够处理和理解多种不同类型的数据输入，例如文本、图像。与大型语言模型（LLMs）相比，大语言模型在处理和生成文本数据方面有专长，而多模态大模型能够处理非文本数据，如图像等等。
根据多模态权威综合评测平台OpenCompass的数据，Ovis1.6-Gemma2-9B在30B参数以下的模型中取得了综合排名第一，赶超MiniCPM-V-2.6等行业优秀大模型。
图：Ovis在OpenCompass上的测评数据情况
据介绍，Ovis能够在数学推理问答、物体识别、文本提取和复杂任务决策等方面展现出色表现。例如，Ovis可以准确回答数学问题，识别花的品种，支持多种语言的文本提取，甚至可以识别手写字体和复杂的数学公式。
案例1:Ovis对手写文案的识别及翻译能力
案例2：Ovis对复杂数学公式的处理能力
案例3:Ovis通过对图片的识别处理能够给出菜谱
具体来说，Ovis模型有五大优点：
1、创新架构设计：可学习的视觉嵌入词表：首次引入，将连续的视觉特征转换为概率化的视觉token，再经由视觉嵌入词表加权生成结构化的视觉嵌入，克服了大部分MLLM中MLP连接器架构的局限性，大幅提升多模态任务表现。
2、高分图像处理：动态子图方案：支持处理极端长宽比的图像，兼容高分辨率图像，展现出色的图像理解能力。
3、全面数据优化：多方向数据集覆盖：全面覆盖Caption、VQA、OCR、Table、Chart等各个多模态数据方向，显著提升多模态问答、指令跟随等任务表现。
4、卓越模型性能：Ovis展现出了优异的榜单表现。在多模态权威综合评测Opencompass上，Ovis1.6-Gemma2-9B在30B参数以下的模型中取得了综合排名第一，超过了Qwen2-VL-7B、MiniCPM-V-2.6等模型。尤其在数学问答等方向表现媲美70B参数模型；在幻觉等任务中，Ovis-1.6的幻觉现象和错误率显著低于同级别的模型，展现了更高的生成文本质量和准确性。
5、全部开源可商用：Ovis系列模型License采用 Apache 2.0。Ovis 1.0、1.5的数据、模型、训练和推理代码都已全部开源，可复现。Ovis1.6系列中的Ovis1.6-Gemma2-9B也已开源权重。
在AI领域，多模态大模型的应用场景非常广泛，包括但不限于自动驾驶、医疗诊断、视频内容理解、图像描述生成、视觉问答等。例如，在自动驾驶领域，多模态大模型可以整合来自摄像头、雷达和激光雷达的数据，以实现更精准的环境感知和决策。由于多模态大模型能够学习如何联合理解和生成跨多种模式的信息，也被视为朝向通用人工智能的下一个步骤。
根据此前媒体报道，阿里国际在去年成立了一支AI团队，目前已经在40多个电商场景里测试了AI能力，覆盖跨境电商全链路，包括商品图文、营销、搜索、广告投放、SEO、客服、退款、店铺装修等，其中多个应用场景均基于Ovis模型进行开发，已帮助50万中小商家、对1亿款商品进行了信息优化。据介绍，商家的AI需求不断增长，近半年的数据显示，平均每两个月，商家对于AI的调用量就翻1倍。
附相关链接：
论文arXiv:
HuggingfAce:
Demo:
版权文章，未经授权禁止转载。详情见 转载须知 。
海南航空官网，提供国内国际机票预订，航班查询，特价机票打折机票预订，飞行通产品销售，机加酒预定，金鹏会员服务等，海航官网官网预订机票价优保障，海航24小时服务热线95339
卓越食品科技是一个全方位的食品科技信息平台，致力于整合食品包装材料、食品机械设备、食品科技技术、食品科技产品以及食品科技知识库等领域的内容。我们提供最新的行业动态、产品信息和技术解决方案，旨在推动食品科技领域的发展和应用。我们的食品科技知识库包含了丰富的食品科学、营养学和食品安全等方面的知识，为您的学习和成长提供有力的支持。我们致力于打造一个全面、专业的食品科技信息平台，为食品行业的发展贡献力量。
GPS、北斗车辆定位管理，车载视频、公网对讲、人员定位管理
天津市电缆总厂橡塑电缆厂(www.tjdianlan.net)生产全系列的4B1矿用光缆,MC矿用高压电缆,矿用轻型橡套电缆等产品已广泛为矿业、电力、冶金、石油、消防、化工、两网改造等基础产业和现代化工程配套,本厂改善和加强了内部质量保证体系,产品已通过生产许可证验收,并已取得ISO9001-2000质量体系认证,欢迎来电洽谈!
【电话】13591642491--大功率电锅炉,大型电锅炉●电锅炉厂家●是生产、销售、安装为一体的煤改电供暖设备制造企业。
十年伺服电机技术服务-深圳欧诺克,200+客户的认可与支持,业务遍布全国各地,主要以伺服电机,伺服驱动器,交流直流伺服电机,大功率直流无刷驱动器占据市场份额,欢迎您的来电咨询.
上海硕新滤材主要经营各类过滤纸、过滤布、过滤袋，产品包括：机床滤纸、磨床滤纸、轧制油滤纸、乳化液滤纸，产品涵盖汽车零部件、钢厂铜厂、铝箔制品、污水处理等行业，欢迎来电咨询！
达索正版solidworks授权代理商-新思诺软件(400-636-8628)专注solidworks软件服务,提供solidworks系列产品研发一体化解决方案,缩短产品上市周期,为企业降本增效.
台州亿来模具有限公司是一家专注生产电机转子压铸模具,转子铸铝模具,转子压铸模具厂家,为客户提供模具研发,定制,生产,行业口碑良好,生产技术成熟,模具质量可靠,型号齐全,价格实在,售后无忧,欢迎来电咨询13586068951.
深圳五金冲压配件欣全鑫五金制品厂是一家以五金冲压大小件、车件、弹簧制品经营为主的五金厂专业提供：精密五金冲压、键盘金属面板、冲压铝键盘、五金冲压件、键盘外壳保护壳。
56下载通是一个提供海量资源的高速下载平台。我们致力于为用户提供最新、最热门的软件、游戏、影视、音乐等下载资源。通过56下载通，您可以轻松找到所需的文件，并享受极速下载体验。我们不断优化服务器和下载技术，确保用户能够安全、快速地获取所需资源。立即访问56下载通，探索无尽的下载世界！
合肥联胜电子主营安徽往复机PU、UV喷涂、空调喷漆、洗衣机喷涂、冰箱喷漆、轿车外壳及内饰件、电视机等外壳塑料件喷涂喷漆，是一家优质自动化喷塑喷涂喷漆加工厂，合肥联胜电子有限公司由湖南商会衡山县罗小平创立。
8月15日，阿里巴巴集团公布2025财年一季度业绩，菜鸟营收同比增长16%至人民币268.11亿元，主要来自跨境物流履约服务带来的收入增长和运营效率提升，当前菜鸟的战略性市场重点依然是，一方面为淘天集团、阿里国际数字商业集团平台上的经营者和消费者提供优质体验，同时也持续向全球商家和用户提供有市场竞争力的快递、供应链及物流科技服务，为此...。
家人们谁懂，连大模型都学会看好莱坞大片了，播放过亿的GTA6预告片大模型还看得津津有味，实在太卷了！而让LLM卷出新境界的办法简单到只有2token——将每一帧编码成2个词即可搞定，等等！这种大道至简的方法有种莫名的熟悉感，不错，又是出自香港中文大学贾佳亚团队，这是贾佳亚团队自8月提出主攻推理分割的LISA多模态大模型、10月发布的7...。
独家获悉，近日，原盒马技术负责人王曦若，花名优昙，调岗至阿里国际数字商业集团，职位为国际数字零售技术负责人，王曦若是一名老阿里人，早在2008年加入阿里，是天猫创始团队成员，也是双十一的核心负责人之一，王曦若在阿里先后担任过共享业务事业部&，商家业务事业部总裁、B2B首席产品官、天猫产品技术负责人等岗位，2015年，王曦若...。
融资快报百图生科获得港投公司的战略投资，百图生科由百度创始人李彦宏牵头发起，依托原BV百度风投生物智能团队及其50家全球被投企业的生态基础组建，计划投入上百亿元建设自主可控的生物计算平台，利用前沿算法、智能传感器、智能芯片、微纳机器人等AI能力解决生命科学问题，IT桔子，智子引擎获得Pre，A轮投资，智子引擎是一家多模态大模型研究和...。
作者丨陈鹭伊编辑丨岑峰具身智能的，智能，如何体现，这是，AI科技评论启动，具身智能十人谈，栏目以来，在拜访这一领域的诸多研究者时最常提到的话题之一，具身智能，简而言之，是指将智能系统与物理实体相结合，使其能够感知环境、进行决策并执行动作的一门技术，其关键词是，具身，，即不仅仅是抽象的算法和数据，而是要通过物理形态与世界进行交互，...。
CMULTI，卡内基梅隆大学语言技术研究所，每年在全球范围内只有十个左右的博士录取名额，其中的华人学者凤毛麟角，本次以OpenAI发布ChatGPT为标志掀起的人工智能浪潮，CMU也在各大主流AI公司中扮演了技术核心，这群CMU中的华人学者，在中西争夺人工智能高地的竞争中，归国人才显得尤其弥足珍贵，杨植麟是其中之一，在国内创办月之暗面...。
在这个金秋，，日日新·商量，又拿了金牌！今日，中文多模态大模型测评基准SuperCLUE，V发布10月榜单，商汤日日新·商量多模态大模型，SenseChat，Vision5.5，凭借多个任务上的出色表现，总得分位列国内大模型第一梯队，智夺金牌，商量多模态大模型API入口，限时免费！，https，platform.sensenov...。
看一眼菜品图就知道怎么做、能给植物看病、能把手写英文准确翻译成中文、还能精准分析财报数据……多模态能力再次升级！今天，阿里国际AI团队发布了一款多模态大模型Ovis，在图像理解任务上不断突破极限，多种具体的子类任务中均达到了SOTA，最新技术，水平，多模态大模型能够处理和理解多种不同类型的数据输入，例如文本、图像，与大型语言模型，LL...。
全球化布局，人才是关键，9月4日，由阿里国际举办的2024阿里巴巴全球电子商务挑战赛决赛在杭州展开，来自新加坡管理大学的学生队伍夺得冠军，来自美国和印尼的队伍分列二三位，本届大赛主题是，利用人工智能技术解决电商痛点，，6月启动以来，吸引了来自包括中国高校在内的全球数千名大学生参与，经过两个月的层层选拔，全球11支队伍在杭州展开了最后的...。
今日融资快报多模态大模型行业解决方案提供商，考拉悠然完成亿元B轮融资成都考拉悠然由欧洲科学院外籍院士、ACM，IEEE，OSAFellow申恒涛教授领衔20余位海外名校归国博士创立，自主研发了世界首款人工智能操作系统——OSMAGIC码极客，以多模态行业大模型的生成与应用为核心，帮助客户实现高效行业AI应用，这是策源资本继完成对考拉悠...。
在AI调用量最高的场景之一——机器翻译，阿里国际的AI团队有了新进展，10月16日，阿里国际副总裁、AI负责人张凯夫在接受彭博社专访时表示，阿里国际最新研发的Marco翻译大模型，支持中、英、日、韩、西、法等15种全球主流语种，目前已在阿里国际AI官网Aidge上发布，面向全球用户开放使用，基于目前广泛使用的开源评测数据集Flores...。
进入2024年，速卖通明显加快了市场扩张的步伐，平台订单同比增长60%，一个月内2万半托管商家增长超100%……尤其是近两个月来，速卖通先后签下沙特著名球星成为中东地区代言人，在英国联合明星启动全球直播大赛，并拿下2024欧洲杯独家电商赞助商，签下在韩国市场有较大影响力的演员汤唯成为代言人，这一系列动作背后，折射出的是阿里国际数字商业...。
现在很多人喜吃泰国菜，这主要是由于其美味可口，有特色，因此国内泰国菜加盟品牌也日益增多，而这也带动了国内泰国菜加盟行业的快速发展，越来越多的加盟商投身这一行业，但是想做这一行，关键在于找项目，要想找得好项目关键还要看一下泰国菜加盟排行榜，只有在排行榜上数一数二的项目才是上上之选，因此大家想要加盟泰国菜，重要的就是选择好项目加盟其中，这...。
不管是商务出行，还是旅行，酒店做为休息的场所，是必不可少的存在，这一壮大了这一产业一直以来红火发展和销售，桔子水晶酒店为消费者打造沉浸在温馨、安逸、与高雅交织的氛围中，每项体验由柔软羽绒与美国丝涟床垫共同编织的梦幻之夜，赢得了诸多好评，发展道路上除了消费者信赖，也打动了很多创业者，那么桔子水晶酒店怎么样，加盟有哪些条件，综合为消费者构...。
雷锋网消息，受市场恐慌情绪影响，3月18日，数字货币市场出现全面下跌，截止北京时间3月18日23，00，排名前10的数字货币仅有IOTA微涨0.36%，其余数字货币均有6.39%，20.33%不等的跌幅，其中比特币，BTC，跌破7500美元，以太币，ETH，跌破500美元，有消息称，数字货币市场大跌为Mt.Gox抛售比特币影响，针对这...。
一年一度的计算机领域的国际学术大会CHI2022已经在美国新奥尔良成功召开，作为开启线下参会的代表，其带来的，沉浸式，体验广受好评，但会议完毕之后，据推特，实名认证，的科学家们在线晒新冠核酸检测，很多人得到了新冠阳性结果☹，是的，参加完一场学术会议，某些人变阳了，例如这位哈佛大学计算机助理教授表示，多年未进行面对面的科学交流，在CHI...。
为帮助企业保护App端、IoT端的安全，蚂蚁集团旗下安全科技品牌ZOLOZ此前已推出了终端安全产品，5月27日，ZOLOZ宣布其终端安全产品已引入业界领先的，安全平行切面技术，，这也是行业里首个拥有这一技术的终端安全产品，将能更好的为企业保护好端的安全，数字化升级能帮助企业更高效的做生意，越来越多的企业采用了，端—边—云，的架构，在数...。
