零一万物大模型Yi (零一万物大模型)

文章编号:43645 资讯动态 2024-12-09 零一万勿大模型魔搭社区

11 月 6 日,李开复博士带队创办的AI2.0公司零一万物正式开源发布首款预训练大模型 Yi-34B,模型开放商用申请,已在 阿里云魔搭社区ModelScope首发。魔搭第一时间推出了模型部署相关教程,供开发者参考并快速上手。

零一万物此次开源的Yi系列模型包含34B和6B两个版本。据 Hugging Face英文开源社区平台和C-Eval中文评测的最新榜单,Yi-34B 预训练模型取得了多项 SOTA 国际最佳性能指标认可,成为全球开源大模型“双料冠军”。

零一万物创始人及 CEO 李开复博士表示:“零一万物坚定进军全球第一梯队目标,从招的第一个人,写的第一行代码,设计的第一个模型开始,就一直抱着成为‘World's No.1’的初衷和决心。”

零一万物大模型Yi-34B夺得全球开源评测“双料冠军”,已在阿里云魔搭开源

魔搭社区开源地址:

魔搭社区最佳实践:

Yi-34B 登顶全球英文及中文权威榜单 No.1

在 Hugging Face英文测试公开榜单Pretrained预训练开源模型排名中,Yi-34B以70.72 分位列全球第一,碾压 LLaMA2-70B 和 Falcon-180B 等众多大尺寸模型。

零一万物大模型Yi-34B夺得全球开源评测“双料冠军”,已在阿里云魔搭开源

Hugging Face Open LLM Leaderboard (pretrained) 大模型排行榜,Yi-34B高居榜首(2023 年 11 月 5 日)

在 C-Eval中文权威榜单排行榜上, Yi-34B超越了全球所有开源模型。对比GPT-4,在 CMMLU、E-Eval、Gaokao 三个主要的中文指标上,Yi-34B 也具有绝对优势。

零一万物大模型Yi-34B夺得全球开源评测“双料冠军”,已在阿里云魔搭开源

C-Eval 排行榜:公开访问的模型,Yi-34B 全球第一(2023 年 11 月 5 日)

在全球大模型各项评测中最关键的 MMLU(Massive Multitask Language Understanding 大规模多任务语言理解)、BBH 等反映模型综合能力的评测集上,Yi-34B 同样表现突出,在通用能力、知识推理、阅读理解等多项指标评比中全部胜出。

零一万物大模型Yi-34B夺得全球开源评测“双料冠军”,已在阿里云魔搭开源

各评测集得分:Yi 模型 v.s. 其他开源模型

和 LLaMA2 一样,Yi 系列模型在 GSM8k、MBPP 的数学和代码评测表现略逊 GPT 模型。未来,零一万物的系列开源计划中将推出代码能力和数学能力专项的继续训练模型。

全球最长200K 上下文窗口

Yi-34B模型将发布全球最长、可支持200K超上下文窗口(context window)版本,可以处理约40万汉字超文本输入。上下文窗口是大模型综合运算能力的金指标之一,对于理解和生成与特定上下文相关的文本至关重要。

受限于计算复杂度、数据完备度等问题,上下文窗口规模扩充从计算、内存和通信的角度存在各种挑战。为此,零一万物技术团队实施了一系列优化,包括计算通信重叠、序列并行、通信压缩等,实现了在大规模模型训练中近100倍的能力提升,也为Yi系列模型上下文规模下一次跃升储备了充足“电力”。

AI Infra实测实现 40%训练成本下降

李开复曾经表示,“做过大模型 Infra 的人比做算法的人才更稀缺”。超强的 Infra 能力是大模型研发的核心护城河之一。

AI Infra(AI Infrastructure 人工智能基础架构技术)涵盖大模型训练和部署提供各种底层技术设施,包括处理器操作系统、存储系统、网络基础设施、云计算平台等等。

零一万物 Yi系列大模型基于阿里云平台打造,阿里云强大的智能算力基础设施为模型训练提供了稳固的基石。零一万物的Infra 技术通过“高精度”系统、弹性训和接力训等全栈式解决方案,确保训练高效、安全地进行。

凭借强大的 AI Infra,Yi-34B模型训练成本实测下降40%,实际训练完成达标时间与预测的时间误差不到一小时,进一步模拟上到千亿规模训练成本可下降多达 50%。目前,零一万物 Infra 能力实现故障预测准确率超过 90%,故障提前发现率达到 99.9%,不需要人工参与的故障自愈率超95%。

零一万物组建了由前 Google 大数据和知识图谱专家领衔的数据团队,建设了高效、自动、可评价、可扩展的智能数据处理管线;还自研出一套“规模化训练实验平台”,用来指导模型的设计和优化。数据处理管线和加大规模预测的训练能力建设,把以往的大模型训练碰运气的“炼丹”过程变得极度细致和科学化。

李开复宣布,零一万物已启动下一个千亿参数模型的训练。

接下来,零一万物将基于 Yi系列大模型,打造更多To C超级应用。李开复强调,“AI 2.0 是有史以来最大的科技革命,它带来的改变世界的最大机会一定是平台和技术,正如 PC 时代的微软 Office,移动互联网时代的微信、抖音、美团一样,商业化爆发式增长概率最高的一定是 ToC 应用。零一万物邀请开发者社群跟我们一起搭建 Yi 开源模型的应用生态系,协力打造 AI 2.0 时代的超级应用。”

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
中国天气网weather.com.cn

中国天气网为您提供实时全国天气气象信息,及时发布天气预报、灾害预警、气象云图、旅游天气、台风、暴雨雪等气象信息,为我国的生产生活提供全面精确的气象服务。

月子会所加盟,月子中心,新寰亚(上海)健康管理有限公司

月子会所加盟,加盟月子中心,月子会所连锁品牌加盟,找新寰亚(上海)健康管理有限公司,新寰亚源自新加坡,先后建立了新寰亚月子中心,新寰亚产后康复中心,新寰亚培训学院,努力成为母婴护理行业新标准的实践者.

Memobird.cn

厦门盈趣科技股份有限公司,是一家聚焦于物联网技术、专业从事“工业互联网”和“民用物联网”产品、服务的高新技术企业,是信息化和工业自动化的领航者,是国内领先的软硬件系统集成服务商。现有员工1000多名,其中高素质的技术研发工程师、管理者600多名。公司拥有省级企业技术中心、研发实验室、机器人研究中心等多个研究研发中心,并积极与高校合作设立前沿技术研究有关的产学研孵化基地。盈趣科技已形成以工业机器人、智能家居、智能制造、车联网、第三方软件服务(UMS联合管理平台)为一体的完整产业链。在不断完善自身的同时,积极寻求全球范围内的合作,公司目前已和数十家全球知名企业建立起全方位、深层次的战略合作关系。

火树游戏官网

火树游戏平台收录了海量精品、热门小游戏以及H5游戏;为玩家提供最新手机游戏下载,还有海量H5游戏、小游戏福利礼包,更有好玩有趣的H5游戏、小游戏攻略;以“用心创造,热衷好游戏,分享乐趣!”的理念,打造最精品、最优质以及最热门的小游戏平台,更多好玩游戏,尽在火树游戏。

绍宇律师事务所

上海绍宇律师事务所是一家提供一站式法律服务的综合性律师事务所。绍宇依托于上海大虹桥板块的经济发展圈,汇集高精尖专业人才,秉持共建上海国际贸易中心新平台的理念,打造国际化的综合服务型律所。绍宇将于武汉、台湾等经济发达地区设立办公室,致力于法律专业服务的升级与迭代,持续优化业务领域体系。

温州网络公司,温州网站建设,网站制作(设计),乐清网站优化

温州中网24年专业温州网站建设、网站制作、网站设计、网站优化和小程序开发设计的温州网络公司,温州seo带来网络营销的2.5产业的先驱者,我们为乐清、瑞安、苍南、平阳、永嘉、洞头等温州本土的上万家客户服务,服务稳定,合作放心,免费网络营销咨询!TEL:400-809-5859

板链输送线

盐城市松源智能环保科技有限公司专业从事板链输送线,悬挂链输送线,地轨输送线,通用机械及零部件,涂装非标设备,除尘器等设备的研发,设计,制造,安装,设备齐全,检测手段完善,生产经验丰富,欢迎来电咨询.

炭粉成型机

郑州奥星重工机械有限公司是国内当前专业设计生产炭粉成型机、水烟碳压片机、水烟炭成型机、水烟炭全自动生产线、银条炭成型机、旋转式压片机、炭棒成型机、烧烤碳成型机、炭粉压片机、活性炭生产设备、撕碎机的厂家。我们将本着以客户的需求为导向,将产品的应用与周到的服务融为一体,诚信协作,努力为客户提供满意的售后服务和专业的设备。

云转播

冬奥创新科技,实现视频内容生产云端化轻量化,视频观看沉浸式多样化,为各行业客户带来全新的视频营销一站式解决方案

上海松江连年胜塑料制品厂网站

连年胜贸易有限公司为一家合资企业,致力于精密仪器制造技术和计算机图象处理软件的研发,从事发展尖端光学仪器、精密机械、计算机相结合的(光、机、电一体化)光学仪器开发和销售。

千云智采

千云智采平台,是山东鼎信数字科技有限公司旗下的数字产品批量采购商城,围绕企业采购各场景打造数字化采购全链路,主要提供美食饮品、影音娱乐、商超购物、机酒出行、生活服务、知识阅读、充值缴费、运动健康等八大门类权益产品,涵盖肯德基/麦当劳/必胜客/星巴克/奈雪的茶卡券、京东E卡、游戏点卡、爱奇艺/腾讯/优酷视频会员、网易云音乐/QQ音乐会员、购物卡等多品类产品,对企业全场景采购需求能够给予强力的支撑。

全局底部横幅