通义千问继续开源多模态模型 Qwen2

文章编号:40673 资讯动态 2024-12-03 Qwen2大语言模型通义千问Audio

8月13日消息,阿里通义大模型继续开源,Qwen2系列开源家族新增音频语言模型Qwen2-Audio。Qwen2-Audio可以不需文本输入,直接进行语音问答,理解并分析用户输入的音频信号,包括人声、自然音、音乐等。该模型在多个权威测评中都显著超越先前的最佳模型。通义团队还同步推出了一套全新的音频理解模型测评基准,相关论文已入选本周正在举办的国际顶会ACL 2024。

声音是人类以及许多生命体用以进行交互和沟通的重要媒介,声音中蕴含丰富的信息,让大模型学会理解各种音频信号,对于通用人工智能的探索至为重要。Qwen2-Audio是通义团队在音频理解模型上的新一步探索,相比前一代模型Qwen-Audio,新版模型有了更强的声音理解能力和更好的指令跟随能力。

通义千问继续开源多模态模型,Qwen2-Audio音频理解能力刷新行业最佳水平

Qwen2-Audio是一款大型音频语言模型(Large Audio-Language MODEL ,LALM),具备语音聊天和音频分析两种使用模式,前者是指用户可以用语音向模型发出指令,模型无需自动语音识别(ASR)模块就可理解用户输入;后者是指模型能够根据用户指令分析音频信息,包括人类声音、自然声音、音乐或者多种信号混杂的音频。Qwen2-Audio能够自动实现两种模式的切换。Qwen2-Audio支持超过8种语言和方言,如中文、英语、法语、意大利语、西班牙语、德语、日语,粤语。

通义团队同步开源了基础模型 Qwen2-Audio-7B 及其指令跟随版本Qwen2-Audio-7B-Instruct,用户可以通过Hugging Face、魔搭社区ModelScope等下载模型,也可以在魔搭社区“创空间”直接体验模型能力。

通义千问继续开源多模态模型,Qwen2-Audio音频理解能力刷新行业最佳水平

Qwen2-Audio的模型结构与训练方法

根据Qwen2-Audio技术报告,Qwen2-Audio的模型结构包含一个Qwen大语言模型和一个音频编码器。在预训练阶段,依次进行ASR、AAC等多任务预训练以实现音频与语言的对齐,接着通过SFT(监督微调) 强化模型处理下游任务的能力,再通过 DPO(直接偏好优化)方法加强模型与人类偏好的对齐。

研发团队在一系列基准测试集上对模型效果作了评估,包括 LibriSpeech、Common Voice 15、Fleurs、Aishell2、CoVoST2、Meld、Vocalsound 以及通义团队新开发的 AIR-benchmark基准。在所有任务中,Qwen2-Audio 都显著超越了先前的最佳模型和它的前代 Qwen-Audio,成为新的SOTA模型。

通义千问继续开源多模态模型,Qwen2-Audio音频理解能力刷新行业最佳水平

Qwen2-Audio 在多个测评中都显著超越了先前的最佳模型

附:Qwen2-Audio下载或体验地址

魔搭模型页面:

魔搭体验页面:

GitHub:

Hugging Face:

Qwen2-Audio技术报告:

AIR-Benchmark论文地址:

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
文殊菩提网

一个随时随地都可以亲近的虚拟线上寺庙、大德云集脉络清晰次第分明的学佛平台、免费经论结缘互动法义讨论平台。弘扬佛陀正法,普济天下苍生!

云南佳松新能源

云南佳松新能源科技有限公司于2009年08月14日在官渡区市场监督管理局登记成立,位于云南省昆明市前兴路邦盛新时代电器城5栋附1号,法定代表人姚青松。公司主要经营业务:新能源技术的研究与推广;计算机软硬件的开发及应用;计算机系统集成及综合布线;太阳能设备及配件、空调设备及配件、水净化设备、空气净化设备、环保设备、电子产品、塑料制品(塑料购物袋除外)、五金交电、水暖器材、建筑材的销售;太阳能设备及配件、空调设备及配件、水净化设备、空气净化设备的生产、安装及维修。佳松科技是集保险·太阳能·空气能热水器及建材销售的多元化公司。公司秉承“顾客至上,锐意进取”的经营理念,坚持“客户第一”的原则为广大客户提供优质的服务。业务垂询电话:0871-67211918

广东领天机电专注东莞柴油发电机出租,深圳柴油发电机出租,惠州柴油发电机出租及发电机维

【广东领天机电】-【热线电话:13729996265】位于广东东莞,珠三角各大城市设有服务部,专注于东莞柴油发电机出租,深圳柴油发电机出租,惠州柴油发电机出租及发电机维修配套服务!

圆柱模板

建材板材网提供各种建材圆柱模板价格、批发、行情等建材模板供应信息,建材模板图片及圆柱模板厂家信息,为你免费提供建材模板的供求信息、行情报价、行业资讯等内容

可米生活KEMElife品牌官方网站

可米生活KEMElife旗下签约近百位国内外青年艺术家,品牌拥有丰富的艺术品原作和艺术IP资源。在艺术品陈设、潮流设计、家居家饰、消费电子等品类积累了近千款经典产品,成为当代时尚人群生活方式消费的首选品牌

滑触线

要买滑触线,安全滑触线,安全滑线、滑触线集电器,滑触线指示灯,扁电缆,工字钢滑车,节能滑线,安全滑线滑线导轨等。就来扬州市苏博滑触线有限公司看看吧!我们公司的安全滑触线产品一应俱全,相信一定有您中意的安全滑触线。

签名

微签名网有全面的个性签名大全,包含了电子签名,名字签名,微信签名,qq签名,最后短句签名,签名设计,手写个性签名,2023最火签名,个人签名,找签名就来微签名。

化工厂废旧设备拆除回收

巴洛仕集团专注化工厂拆除,整厂回收,设备回收,二手化工设备,化工装置回收,废设备回收等服务,化工厂废旧设备拆除回收,大型厂房整厂拆除回收就找巴洛仕一站式拆除回收解决方案提供者。

团众家具回收网,办公家具回收,家具回收,卡位,屏风,办公沙发,茶台,大班台回收

团众家具回收网,我们秉持着诚信经营、全心全意为顾客服务的理念,专业高价回收二手办公家具、回收办公桌椅、回收电子电器、回收二手数码3C产品,帮您解决各类二手闲置物资问题.

交通事故赔偿网

交通事故赔偿网是广东国晖律师事务所精心打造的网络交流平台,提供交通事故赔偿、事故处理办法、责任认定、伤残鉴定、诉讼调解、保险理赔、索赔必看等交通事故方面知识。

监理检测网

监理检测网是由施工监测加固、建设监理和试验检测网三大部分组成,主要提供试验检测人员招聘、施工监理人才招聘求职和技术交流、检测考试培训;考试资料下载。

全局底部横幅