元象发布中国最大MoE开源大模型 落地应用登顶港台榜 (元象集团)
元象XVERSE发布中国最大MoE开源模型：XVERSE-MoE-A36B，加速AI应用低成本部署，将国产开源提升至国际领先水平。该模型总参数255B，激活参数36B，达到100B模型性能的「跨级」跃升，同时训练时间减少30%，推理性能提升100%，使每token成本大幅下降。
元象「高性能全家桶」系列全部开源，无条件免费商用，让海量中小企业、研究者和开发者能按需选择。
MoE（Mixture of Experts）是业界最前沿的混合专家模型架构 ，将多个细分领域的专家模型组合成一个超级模型，打破了传统扩展定律（Scaling Law）的局限，可在扩大模型规模时，不显著增加训练和推理的计算成本，保持模型性能最大化。出于这个原因，行业前沿模型包括谷歌Gemini-1.5、openai的GPT-4、马斯克旗下xAI公司的Grok等大模型都使用了MoE。
在多个权威评测中，元象MoE效果大幅超越多个同类模型，包括国内千亿MoE模型Skywork-MoE、传统MoE霸主Mixtral-8x22B以及3140亿参数的MoE开源模型Grok-1-A86B等。
免费下载大模型
Hugging FAce：
魔搭：
Github：
官网：chat.xverse.cn
落地应用好且省登顶港台娱乐应用榜
元象此次开源，不仅填补国内空白，也在商业应用上更进一步。
元象基于MoE模型自主研发的AI角色扮演与互动网文APP Saylo，通过逼真的AI角色扮演和有趣的开放剧情，火遍港台，下载量在中国台湾和香港娱乐榜分别位列第一和第三。
MoE训练范式具有「更高性能、更低成本」优势，元象在通用预训练基础上，使用海量剧本数据「继续预训练」（Continue Pre-training），并与传统SFT（监督微调）或RLHF（基于人类反馈的强化学习）不同，采用了大规模语料知识注入，让模型既保持了强大的通用语言理解能力，又大幅提升「剧本」这一特定应用领域的表现。
高性能「开源标杆」
元象是国内领先的AI与3D公司，秉持「通用人工智能AGI」信仰，持续打造「高性能开源全家桶」，不仅填补国产开源空白，更将其推向了国际领先水平。
2023年11月，此前国内大部分开源参数多在7B到13B，而行业共识是模型达到50到60B参数门槛，大模型才能“智能涌现”，生态亟需“大”模型时，元象率先开源了XVERSE-65B，是当时中国最大参数开源。
2024年1月，元象又开源全球最长上下文窗口大模型，支持输入25万汉字，还附手把手训练教程，让大模型应用一举进入“长文本时代”。
此次国内最大参数MoE开源，又是给生态贡献了一个助推低成本AI应用利器。
引领文娱应用
借助在AI和3D领域的客户积累，元象也迅速将大模型推向商用。
2023年11月，元象成为全国最早一批、广东省前五获得《生成式人工智能服务管理暂行办法》国家备案的大模型，具备向全社会开放的产品能力。
而在更早的10月，元象与腾讯音乐联合推出lyraXVERSE加速大模型，并借助该技术全面升级音乐助手“AI小琴”的问答、聊天与创作能力，让她情商与智商双高，为用户提供个性化、更深入、陪伴感十足的音乐互动体验。
元象大模型陆续与QQ音乐、虎牙直播、全民K歌、腾讯云等深度合作与应用探索，为文化、娱乐、旅游、金融领域打造创新领先的用户体验。
MoE技术自研与创新
MoE是目前业界最前沿的模型框架，由于技术较新，国内开源模型或学术研究尚未普及。元象自研MoE的高效训练和推理框架，并持续推动技术创新。
2024年4月推出的XVERSE-MoE-A4.2B中，元象推动MoE专家架构革新。与传统MoE（如Mixtral 8x7B）将每个专家大小等同于标准FFN不同，元象采用更细粒度的专家设计，每个专家大小仅为标准FFN的四分之一，提高了模型灵活性与性能；还将专家分为共享专家（Shared Expert）和非共享专家（Non-shared Expert）两类。共享专家在计算过程中始终保持激活状态，而非共享专家则根据需要选择性激活。这种设计有利于将通用知识压缩至共享专家参数中，减少非共享专家参数间的知识冗余。
此次推出XVERSE-MoE-A36B，继续在MoE效率和效果方面进行技术创新。
（1）效率方面
MoE架构与4D拓扑设计：MoE架构的关键特性是由多个专家组成。由于专家之间需要大量的信息交换，通信负担极重。为了解决这个问题，我们采用了4D拓扑架构，平衡了通信、显存和计算资源的分配。这种设计优化了计算节点之间的通信路径，提高了整体计算效率。
专家路由与预丢弃策略：MoE的另一个特点是“专家路由机制”，即需要对不同的输入进行分配，并丢弃一些超出专家计算容量的冗余数据。为此团队设计一套预丢弃策略，减少不必要的计算和传输。同时在计算流程中实现了高效的算子融合，进一步提升模型的训练性能。
通信与计算重叠：由于MoE架构的专家之间需要大量通信，会影响整体计算效率。为此团队设计了“多维度的通信与计算重叠”机制，即在进行参数通信的同时，最大比例并行地执行计算任务，从而减少通信等待时间。
（2）效果方面
专家权重：MoE中的专家总数为N，每个token会选择topK个专家参与后续的计算，由于专家容量的限制，每个token实际选择到的专家数为M，M<=K
实验1：权重在topM范围内归一化
实验2：权重在topK范围内归一化
实验3：权重在topN范围内归一化
实验4：权重都为1
对比实验结果
举例说明，假设N=8，K=4，M=3（2号专家上token被丢弃），不同专家权重的计算方式所得的权重如下图：
数据动态切换：元象以往开源的模型，往往在训练前就锁定了训练数据集，并在整个训练过程中保持不变。这种做法虽然简单，但会受制于初始数据的质量和覆盖面。此次MoE模型的训练借鉴了"课程学习"理念，在训练过程中实现了动态数据切换，在不同阶段多次引入新处理的高质量数据，并动态调整数据采样比例。
这让模型不再被初始语料集所限制，而是能够持续学习新引入的高质量数据，提升了语料覆盖面和泛化能力。同时通过调整采样比例，也有助于平衡不同数据源对模型性能的影响。
不同数据版本的效果曲线图
学习率调度策略（LR Scheduler）：在训练过程中动态切换数据集，虽有助于持续引入新知识，但也给模型带来了新的适应挑战。为了确保模型能快速且充分地学习新进数据，团队对学习率调度器进行了优化调整，在每次数据切换时会根据模型收敛状态，相应调整学习率。实验表明，这一策略有效提升了模型在数据切换后的学习速度和整体训练效果。
下图是整个训练过程中MMLU、HumanEval两个评测数据集的效果曲线图。
训练过程中MMLU、HumanEval的性能曲线持续拔高
通过设计与优化，元象MoE模型与其Dense模型XVERSE-65B-2相比，训练时间减少30%、推理性能提升100%，模型效果更佳。
原创文章，未经授权禁止转载。详情见
转载须知
。
谷普下载提醒您：让你提前汇款，或价格明显低于市价，均有骗子嫌疑，请不要轻易相信。
相关资料：txt下载、doc下载、文章搜索、网址搜索、百度搜索、好搜搜索、搜狗搜索、必应搜索
本文链接：http://www.gpxz.com/article/f870e99d90e594ba02b7.html
腾讯财经，腾讯网的财经资讯频道。提供全天候7X24小时国内和世界财经新闻服务，包括银行，证券，保险，股票，基金，黄金等行业权威及时的要闻消息，并为用户提供投资和理财交流平台。
青岛源泰林电力工程有限公司是专业生产各种类型配电设备的企业，也是电力领域内颇有影响力的施工生产企业。产品线涵盖高低压开关柜、电容柜、动力柜、配电箱、封闭母线等。咨询热线：0532-85036177
清远市银科专注安防监控，清远监控、监控摄像头安装，清远门禁系统，清远停车收费系统，网络布线，清远光纤光缆熔接，弱电工程，视频会议系统安装服务，可咨询报价清远智能停车道闸，弱电智能设备，防盗报警器，LED显示屏，考勤门禁，公共广播设备,智能家居系统,弱电工程施工，停车场管理系统、软件开发业务。上门维护与安装，为您提供最专业的咨询报价及解决方案、是您最放心的清远地区安防监控弱电公司!
智能化制造工厂解决方案供应商
南京东升电炉厂
翼瀚国际快递
利安隆是全球领先的高分子材料抗老化产品和技术供应商，产品涵盖抗氧化剂、光稳定剂和整体抗老化解决方案U-pack®。聚焦解决塑料、橡胶、涂料、纤维等高分子材料的抗老化问题，股票代码:300596。
手链网这里为喜欢手工编织的朋友，收集最全面的红绳手链教程图解和视频教程，致力于做一个最全面的编绳手链的学习交流平台
夜店网是一个关注中国电子音乐产业以及夜店Club发展的社区平台，用新视角解读现代夜店Club的价值和酒吧文化，夜店网致力于维护和推广中国电子音乐的发展，挖掘国内潜在的DJ电子音乐创作人。
当贝官网，提供当贝旗下备受好评的产品与服务，包括当贝投影仪、当贝盒子、当贝PadGO闺蜜机，当贝市场、当贝OS系统服务。当贝产品累计服务超过2亿家庭用户。
深圳市新天源电子有限公司于2003年创建于深圳市石岩宏发工业园，是集石英晶体和液晶显示屏（中尺寸TFT）的研发、设计、制造、销售和服务为一体的高科技企业。
优派数码，一个集知识分享与技术交流于一体的平台，专注于电脑、数码、家电等产品的深度解析与使用指南，为追求科技生活的您提供全面的支持。
内衣是人们需求较大的日常衣物，在国内外有着很多发展出色的内衣品牌，以出色的产品征服了很多消费者，梵狄芬内衣就是很多消费者青睐的选择，在国内的内衣市场有着较好的发展表现，梵狄芬内衣一直以来坚持生态自然内衣产品的研发生产输出，给诸多的消费者带来了满意舒适的内衣产品，而且在内衣设计上有着专业的设计团队加持，出色的项目发展收获了很多加盟商的关...。
在探讨2024年近视眼加盟领域的品牌时，易视界品牌无疑是一个值得深入了解的选择，以下是对易视界品牌的详细分析，一、品牌概述易视界是一家从事青少年近视防护、弱视训练的全国性眼健康服务机构，自创立以来，易视界始终致力于帮助青少年改善视力问题，并提供全面的眼健康服务，二、品牌优势技术实力，易视界拥有多项高新技术，其中，多功能近视弱视增视仪，...。
书果星球有10余年儿童阅读指导经验，在全国落地了600余家儿童阅读馆加盟店，总部一系列扶持，帮扶门店提升转化率，实现了多元化创收，今天，我们来看看儿童阅读馆加盟店创收的3个底层逻辑，1.一切商业的起点是利他儿童阅读馆加盟店能赚到钱，一定是为他人提供了价值，这就意味着一定要做好阅读成果展示，让家长看到孩子的成长和进步，这些进步不限于孩子...。
根据儿童产业中心相关数据，我国儿童消费市场规模每年约为3.9万亿元至5.9万亿元，其中儿童娱乐消费市场的规模已突破4600亿元，在我国社会经济飞速发展的时代背景下，国民整体物质生活水平也在不断提高，这也意味着即便是三线以下城市的居民对于儿童乐园也有了更高的消费能力，儿童娱乐产业正步入一个前所未有的黄金时代，但是，当同质化竞争愈发激烈，...。
公司有多年行业经验，在传统消防、智慧消防、安防、安全生产、应急领域拥有丰富的供应链资源和客户资源，核心技术研发团队拥有强大的硬软件开发能力，利用新科技IOT，AI，SAAS实际应用于系统，公司在业内开放式云平台——珩祥云，提供开放、安全保准接口，打破行业壁垒，实现强强联合，共建智慧安全新生态，公司高管团队，拥有10多年企业管理成功经验...。
运动鞋是很多人鞋柜里不可缺少的一样物件，因为从功能性看，运动鞋设计精巧，穿着舒适，分量较轻，走起路来很便捷，从搭配上看，运动鞋是百搭的，不管什么样的服饰都适合，当前的运动鞋市场中，来自各国各地的运动鞋品牌有很多，有些因为产地，所属公司一致，会让人产生混淆感，那么同属于鬼冢喜八郎的鬼冢虎和亚瑟士的区别在哪儿呢，不管是对于喜欢运动的，还是...。
每一家正规的教育机构，都是受政府所支持，而现在教育的改革，越来越多科技特色化的教学项目出现，轻松动脑的学习，受到了热烈的亲睐，是非常不错的创业项目之选，玛酷机器人以知名品牌，，乐高，为其运营的载体，给予孩子们动手，学习能力的赋予，成为大众所认可的教学品牌，并且品牌所拥有的正确定位，还有先进的运营体系等，都是促进了发展，不少创业的目光，...。
12月12日，一加游戏大会在中国深圳正式举行，OPPO首席产品官刘作虎宣布，继影像与AI后，游戏体验将成为OPPO性能赛道的战略级方向，OPPO将着力打造行业第一的游戏体验，同时，OPPO正式发布独家自研芯片级游戏技术，风驰游戏内核，，深入芯片底层，实现芯片性能供给与游戏性能需求的精准平衡，在功耗、温度和画质三方面体验全面提升，堪比一...。
12月4日，外媒TheInformation爆料称，苹果在为国行版iPhone适配百度AI模型时遇到困难，苹果会向百度支付适配和使用文心一言的费用，在今年3月，就有消息称苹果最后会使用百度文心一言，而之前，库克表示苹果AI会在25年4月开始支持更多的语音，就是说百度文心一言，上，iPhone，最快也要明年4月，但现在看，库克的饼，明...。
12月4日，外媒TheInformation爆料称，苹果在为国行版iPhone适配百度AI模型时遇到困难，苹果会向百度支付适配和使用文心一言的费用，在今年3月，就有消息称苹果最后会使用百度文心一言，而之前，库克表示苹果AI会在25年4月开始支持更多的语音，就是说百度文心一言，上，iPhone，最快也要明年4月，但现在看，库克的饼，明...。
因为外观，耐用性，性能，屏幕，外放，摄像头等各个维度，都非常适合校园和职场用户，惠普星BookPro系列向来是各种笔记本榜单中的常客，它在今年双十一期间，甚至一度全网卖断货，而接下来的双十二，叠加2024年国补末班车的影响，预计到时还会有好价，我们这次就和大家看看，为什么大家会推荐英特尔Evo™版的惠普星BookPro14AI轻薄战力...。
因为外观，耐用性，性能，屏幕，外放，摄像头等各个维度，都非常适合校园和职场用户，惠普星BookPro系列向来是各种笔记本榜单中的常客，它在今年双十一期间，甚至一度全网卖断货，而接下来的双十二，叠加2024年国补末班车的影响，预计到时还会有好价，我们这次就和大家看看，为什么大家会推荐英特尔Evo™版的惠普星BookPro14AI轻薄战力...。
37°生活美学女装是与市场上传统的品牌有着很大的不同，从各个细节来阐释当今女性的外在美感和内在魅力的品牌，百设计介乎于生活和文学之间，有奢华的享受，也有低调的超越，在塑造女性个性方面，充分展示了女性个性张扬、自由享乐、追求时尚、情感炽热的青春活力，与此同时37°生活美学女装致力于为女性消费者提供好的、时尚、平价的服装，改变穿衣文化和生...。
发表在专业问答2022，6，2920，15展示机型信息，品牌型号，ThinkPadX1系统版本，WIN10支持，hdmi2.0是支持2k144hz的，只需要通过HDMI线连接两个设备的HDMI2.0接口，并且显示屏支持2k144hz即可投射2k144hz的画面，hdmi2.0支持2k144吗hdmi2.0支持2k144hz，如果想要画...。
asuka08大神级投影控发表于2024，07，12投影仪幕布的安装步骤主要包括以下几个方面，1.准备材料首先你需要准备好下面这些材料，投影仪幕布、卷尺、电钻、木螺丝、木栓、扳手、电扫、吸尘器等，2.找准位置和测量幕布尺寸在开始安装之前，请先找到一个合适的位置，确保投影画面清晰、稳定，并且避免光线干扰，同时还需测量幕布尺寸，以便后续进...。
海澜之家，英文缩写，HLA，是海澜之家股份有限公司旗下的服装品牌，总部位于中国江苏省无锡市江阴市，主要采用连锁零售的模式，销售男性服装、配饰与相关产品，2014年4月11日，海澜之家正式登陆A股市场；2015年12月29日，根据标准普尔发布的统计数据，海澜之家股份有限公司的市值已超过600亿人民币，约合94.98亿美元，；截止20...。
[全球网报道]据台湾中时资讯网、中天资讯网7月11日报道，，美国在台协会，AIT，新任处长谷立言日前与台当局指导人赖清德会面，重申美国对台湾的允许，并称这合乎美国长期以来的，一中政策，而台媒留意到，谷立言，一中，两字在赖办的资讯稿中，被消音，了，台湾中天资讯网报道称，依据AIT在会后所颁布的资讯稿，谷立言与赖清德会面时谈到，美国会...。