多模态能力再升级 阿里国际发布最新开源多模态模型Ovis (多模态理解)

看一眼菜品图就知道怎么做、能给植物看病、能把手写英文准确翻译成中文、还能精准分析财报数据……多模态能力再次升级!今天,阿里国际AI团队发布了一款多模态大模型Ovis,在图像理解任务上不断突破极限,多种具体的子类任务中均达到了SOTA(最新技术)水平。

多模态大模型能够处理和理解多种不同类型的数据输入,例如文本、图像。与大型语言模型(LLMs)相比,大语言模型在处理和生成文本数据方面有专长,而多模态大模型能够处理非文本数据,如图像等等。

根据多模态权威综合评测平台OpenCompass的数据,Ovis1.6-Gemma2-9B在30B参数以下的模型中取得了综合排名第一,赶超MiniCPM-V-2.6等行业优秀大模型。

阿里国际发布最新开源多模态模型Ovis,多模态能力再升级

图:Ovis在OpenCompass上的测评数据情况

据介绍,Ovis能够在数学推理问答、物体识别、文本提取和复杂任务决策等方面展现出色表现。例如,Ovis可以准确回答数学问题,识别花的品种,支持多种语言的文本提取,甚至可以识别手写字体和复杂的数学公式。

阿里国际发布最新开源多模态模型Ovis,多模态能力再升级

案例1:Ovis对手写文案的识别及翻译能力

阿里国际发布最新开源多模态模型Ovis,多模态能力再升级

案例2:Ovis对复杂数学公式的处理能力

阿里国际发布最新开源多模态模型Ovis,多模态能力再升级

案例3:Ovis通过对图片的识别处理能够给出菜谱

具体来说,Ovis模型有五大优点:

1、创新架构设计:可学习的视觉嵌入词表:首次引入,将连续的视觉特征转换为概率化的视觉token,再经由视觉嵌入词表加权生成结构化的视觉嵌入,克服了大部分MLLM中MLP连接器架构的局限性,大幅提升多模态任务表现。

2、高分图像处理:动态子图方案:支持处理极端长宽比的图像,兼容高分辨率图像,展现出色的图像理解能力。

3、全面数据优化:多方向数据集覆盖:全面覆盖Caption、VQA、OCR、Table、Chart等各个多模态数据方向,显著提升多模态问答、指令跟随等任务表现。

4、卓越模型性能:Ovis展现出了优异的榜单表现。在多模态权威综合评测Opencompass上,Ovis1.6-Gemma2-9B在30B参数以下的模型中取得了综合排名第一,超过了Qwen2-VL-7B、MiniCPM-V-2.6等模型。尤其在数学问答等方向表现媲美70B参数模型;在幻觉等任务中,Ovis-1.6的幻觉现象和错误率显著低于同级别的模型,展现了更高的生成文本质量和准确性。

5、全部开源可商用:Ovis系列模型License采用 Apache 2.0。Ovis 1.0、1.5的数据、模型、训练和推理代码都已全部开源,可复现。Ovis1.6系列中的Ovis1.6-Gemma2-9B也已开源权重。

在AI领域,多模态大模型的应用场景非常广泛,包括但不限于自动驾驶、医疗诊断、视频内容理解、图像描述生成、视觉问答等。例如,在自动驾驶领域,多模态大模型可以整合来自摄像头、雷达和激光雷达的数据,以实现更精准的环境感知和决策。由于多模态大模型能够学习如何联合理解和生成跨多种模式的信息,也被视为朝向通用人工智能的下一个步骤。

根据此前媒体报道,阿里国际在去年成立了一支AI团队,目前已经在40多个电商场景里测试了AI能力,覆盖跨境电商全链路,包括商品图文、营销、搜索、广告投放、SEO、客服、退款、店铺装修等,其中多个应用场景均基于Ovis模型进行开发,已帮助50万中小商家、对1亿款商品进行了信息优化。据介绍,商家的AI需求不断增长,近半年的数据显示,平均每两个月,商家对于AI的调用量就翻1倍。

附相关链接:

论文arXiv:

Github:

Huggingface:

Demo:

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
发现值得买

发现值得买(www.kiees.com)是性价比网购推荐平台,通过人工甄选出各商城的高性价比商品和促销活动攻略,让朋友们发现值得买。

欧帝凡地板

欧帝凡地板,成立于2021年,位于江苏省常州市是国内大型木地板品牌之一,多年来公司一直致力于珍稀原木的研发与技术创新,秉持“以精工为精品”的工匠精神,在产品质量上、材种优异化上不断领先,引领业界品牌新高度。

广东省揭阳市光明电缆厂,专业生产BV,BVVB,BVR,RVB,RVA,RV,RVV,RVVB,YZ,YC,YH,PVC,聚氯乙烯绝缘电线电缆,橡套电线电缆,控制电缆,特种电缆,并承接各种电线电缆加工业务

广东省揭阳市光明电缆厂创办于1986年,拥有先进齐全的生产设备、质量检验设备和雄厚的技术力量,并严格按照S09001国际质量体系标准及国家标准要求强化各道工序质量的控制管理

海洋仪器

北京海洋兴业科技股份有限公司是电子测试行业领先的综合服务商,提供电子测试测量仪器仪表的销售、系统集成、技术开发和维修维护在内的4S综合服务。

杜毛毛

杜毛毛,手游,游戏,lilith,lilithgames

壁炉风扇,嵌入式壁炉,钢板壁炉,壁炉工具

赐昂壁炉有限公司是一家专业铸造和组装铸铁壁炉的外向型民营企业。 我们拥有自己独立的铸造车间和组装生产线,有一只自己强大而专业的铸铁壁炉研发团队。 我们目前拥有60多种型号。

智林导航

智林导航是一个多功能集成搜索和免费收录网站的经典生活网址导航,具备个性化网址收藏功能,同时提供免费下载应用软件和电子书籍。

电梯广告,户外广告,地铁广告,公交车,候车亭广告,高铁机场广告

全国户外广告投放发布平台,地铁广告,公交车广告,影院广告,机场广告,高铁广告,社区广告,电梯广告,楼宇广告,户外led广告,广播广告,互联网,广告设计策划等一站式投放平台,户外广告投放选择麦迪威传媒.广告投放电话:400-158-9569

浙江四兄绳业有限公司

浙江四兄绳业有限公司经过60余年的发展,现已成为集研发、制造、销售和售后服务为一体,能够为用户提供成套解决方案的全球z大、z专业的特种化纤绳索制造商之一。

全局底部横幅