全球首创能用4090推理 昆仑万维开源2千亿稀疏大模型天工MoE (全球首创用英语怎么说)
2024年6月3日，昆仑万维宣布开源 2 千亿稀疏大模型 Skywork-MoE ， 性能强劲， 同时推理成本更低。Skywork-MoE 基于之前昆仑万维开源的 Skywork-13B 模型中间 checkpoint 扩展而来，是 首个完整将 MoE Upcycling 技术应用并落地的开源千亿 MoE大模型，也是首个支持用单台 4090 服务器推理的开源千亿 MoE大模型。
开源地址：
Skywork-MoE 的模型权重、技术报告完全开源，免费商用，无需申请：
•模型权重下载：
•模型开源仓库：
•模型技术报告：
•模型推理代码：（支持 8x4090 服务器上 8 bit 量化加载推理）
模型架构：
本次开源的 Skywork-MoE 模型隶属于天工 3.0 的研发模型系列，是其中的中档大小模型（Skywork-MoE-Medium），模型的总参数量为 146B，激活参数量 22B，共有 16 个 Expert，每个 Expert 大小为 13B，每次激活其中的 2 个 Expert。
天工 3.0 还训练了 75B （Skywork-MoE-Small） 和 400B （Skywork-MoE-Large）两档 MoE 模型，并不在此次开源之列。
模型能力：
我们基于目前各大主流模型评测榜单评测了 Skywork-MoE，在相同的激活参数量 20B（推理计算量）下，Skywork-MoE 能力在行业前列，接近 70B 的 Dense 模型。使得模型的推理成本有近 3 倍的下降。同时 Skywork-MoE 的总参数大小比 DeepSeekV2 的总参数大小要小 1/3，用更小的参数规模做到了相近的能力。
技术创新：
为了解决 MoE 模型训练困难，泛化性能差的问题，相较于 Mixtral-MoE， Skywork-MoE 设计了两种训练优化算法：
1.Gating Logits 归一化操作
我们在 Gating Layer 的 token 分发逻辑处新增了一个 normalization 操作，使得 Gating Layer 的参数学习更加趋向于被选中的 TOP-2 experts，增加 MoE 模型对于 top-2 的置信度：
2.自适应的 Aux Loss
有别于传统的固定系数（固定超参）的 aux loss， 我们在 MoE 训练的不同阶段让模型自适应的选择合适的 aux loss 超参系数，从而让 Drop Token Rate 保持在合适的区间内，既能做到 expert 分发的平衡，又能让 expert 学习具备差异化，从而提升模型整体的性能和泛化水平。在 MoE 训练的前期，由于参数学习不到位，导致 Drop Token Rate 太高（token 分布差异太大），此时需要较大的 aux loss 帮助 token load balance；在 MoE 训练的后期，我们希望 Expert 之间仍保证一定的区分度，避免 Gating 倾向为随机分发 Token，因此需要较低的 aux loss 降低纠偏。
训练 Infra
如何对 MoE 模型高效的进行大规模分布式训练是一个有难度的挑战，目前社区还没有一个最佳实践。Skywork-MoE 提出了两个重要的并行优化设计，从而在千卡集群上实现了 MFU 38% 的训练吞吐，其中 MFU 以 22B 的激活参数计算理论计算量。
1. Expert>
一个最简单的 EDP 的例子，两卡情况下 TP = 2， EP = 2， 其中 Attention 部分采用 Tensor Parallel ， Expert 部分采用 Expert Parallel
2.非均匀切分流水并行
由于 first stage 的 Embedding 计算和 last stage 的 Loss 计算，以及 Pipeline Buffer 的存在， 流水并行下均匀切分 Layer 时的各 stage 计算负载和显存负载均有较明显的不均衡情况。我们提出了非均匀的流水并行切分和重计算 Layer 分配方式，使得总体的计算/显存负载更均衡，约有 10% 左右的端到端训练吞吐提升。
比较均匀切分和非均匀切分下的流水并行气泡：对于一个 24 层 Layer 的 LLM， (a) 是均匀切分成 4 个 stage，每个 stage 的 layer 数量是：[6, 6, 6, 6].(b) 是经过优化后的非均匀切分方式，切成 5 个 stage， 每个 stage 的 layer 数量是：[5, 5, 5, 5, 4] ， 在中间流水打满的阶段，非均匀切分的气泡更低。
MoE Know-how
此外，Skywork-MoE 还通过一系列基于 Scaling Laws 的实验，探究哪些约束会影响 Upcycling 和 From Scratch 训练 MoE 模型的好坏。
一个可以遵循的经验规则是：如果训练 MoE 模型的 FLOPs 是训练 Dense 模型的 2 倍以上，那么选择 from Scratch 训练 MoE 会更好，否则的话，选择 Upcycling 训练 MoE 可以明显减少训练成本。
4090 推理
Skywork-MoE 是目前能在 8x4090 服务器上推理的最大的开源 MoE 模型。8x4090 服务器一共有 192GB 的 GPU 显存，在 FP8 量化下（weight 占用 146GB），使用我们首创的非均匀 Tensor Parallel 并行推理方式，Skywork-MoE 可以在合适的 batch size 内达到 2200 tokens/s 的吞吐。天工团队完整开源了相关的推理框架代码和安装环境，详情参见：
结语
我们希望本次开源的 Skywork-MoE 模型、技术报告和相关的实验结果可以给开源社区贡献更多的 MoE 训练经验和 Know-how，包括模型结构、超参选择、训练技巧、训练推理加速等各方面， 探索用更低的训练推理成本训更大更强的模型，在通往 AGI 的道路上贡献一点力量。
版权文章，未经授权禁止转载。详情见 转载须知 。
更精准的搜索，更流畅的观赏；360图片收录几十亿高清美图，为用户提供壁纸、素材、头像、写真、摄影、风景等最新、最全的高质量图片搜索服务！
中关村在线手机频道为用户提供最新、最深度、最全面的手机相关资讯。能够让用户在最快的时间内了解到如何选手机、买手机、用手机。
小问小答是全球新型的中文问答互动平台，每天为网民答疑解惑。小问小答通过技术实现检索和推荐，让您的每个疑问能够快速获得有效解答。如果您有问题就来小问小答找答案吧。
青岛航顺设备安装有限公司在机械行业服务多年。企业前身为青岛顺兴机械化装卸队，始建于1986年，以大型设备起重、装卸、搬运安装为主，2002改制为公司（股份）注册资本400万元，现有固定资产1800万元。刘经理：13705324183
郑州市城盈机械设备有限公司是一家新型高新科技技术型企业，经营项目涵盖垃圾碳化机和垃圾分选机以及全系列垃圾处理设备，合作唯一原则,为客户提供可靠的产品，真实的技术指导，完善的技术服务,广交天下朋友,共创我国民族工业的辉煌!
君嘉资质,专注于企业资质认证服务咨询辅导,提供售后服务体系认证.业务范围涵盖:招投标资质认证,投标加分证书、ISO9001质量管理体系认证、招投标资质、AAA信用等级认证，信用评级、控标证书等
江苏顺泰交通是专业生产中杆灯高杆灯,市政路灯太阳能路灯,庭院灯景观灯,玉兰灯智慧路灯,风光互补路灯厂家,免费咨询15052509897微信同号,品质好价格优,欢迎前来选购！
营销云管理系统
瑞美锦鑫以“中小学生身心健康发展”为重点，建立学生信息化电子档案系统，建立完善健康监测体系，通过人工智能与大数据分析，实现健康教育数据的常态化、信息化、标准化评价体系，助力中国学生健康教育。
上海锐屏LED显示屏租赁提供LED大屏幕租赁、显示屏租赁、LED大屏幕出租等，曾为上海各类演出、会展等提供LED大屏幕租赁、大屏幕出租、LED显示屏租赁，并取得了令人满意的成绩。
成都曜奇科技有限公司是一家专注于网络与信息安全的高科技企业，业务涵盖软件开发、智能机器人的研发、新兴能源技术及物联网技术等多个领域。我们致力于为客户提供全面的技术服务，包括技术咨询、技术推广及市场营销策划等。公司还积极拓展互联网数据与安全服务，确保客户的数据安全与隐私保护。此外，我们提供专业的广告设计、会议展览服务以及文艺创作等多样化服务，以满足不同客户的需求。
常听到一些父母抱怨儿子缺乏男子气概，甚至有的人嘲笑这样的男孩，娘娘腔，，孩子本身也很痛苦，可到底是什么原因导致的呢，其实原因主要在父亲，孩子们患上了，父爱饥渴症，下面，就让我们来看看世界各地，模范父亲，的故事，这些好老爸有的默默无闻，但培养出了扬名天下的人才；有的则自己就是世界名人，但在教育孩子方面颇有一套，不管这些故事是令人感动或...。
这一波生成式AI技术的爆发，让我们AI从业者看到了AGI，通用人工智能，的曙光，在聊到今年生成式AI的行业大势时，Fasion.AI创始人程斌如此对AI科技评论说到，坐在他旁边的，是美图影像研究院，MTLab，负责人刘洛麒，在北京海淀的量子银座大厦，这两位在人工智能行业深耕十数载、目前均在生成式AI领域开拓的一线从业者，与AI科技...。
我们总会怀疑自己的能力，特别是在没有把握的时候，每每这个时候，我们不仅需要听从内心的声音，也需要一个标准来衡量自己的行为，全球创客马拉松深圳大学站尽管有五位优秀的导师兼人生赢家为选手指点迷津，然而作品最终是否能摘得大奖，却是由另外的8位评委说了算，什么，你还不知道他们是sei，那就赶紧来认识一下我们豪华的评委阵容吧！张宁现任高通公司市...。
就在刚刚不久，华为Mate40系列的全球线上发布会，正式落幕，这是一场气氛略为复杂的发布会，有一丝恢弘和悲壮交叠其中，说它恢弘，是因为华为发布的Mate40系列无疑是国产智能手机的巅峰之作，尤其是它内置的麒麟9000芯片，让人看到了国产科技产品的荣耀光辉，说它悲壮，是因为这场发布会很有可能意味着华为Mate系列的终结——原因自然是众所...。
3月28日，消息，安徽ETC宣布停止微信支付一事在社交平台上引发热议，近日，安徽交通一卡通控股有限公司发布公告称，鉴于微信支付手续费不断上涨，与腾讯公司积极协商无果后，将停止提供微信支付服务，运营方表示，平台自3月24日10时起，用户将可以使用支付宝、银联渠道支付相关费用，根据微信支付官网的介绍，商户交易按费率收取服务费，一般与...。
相较于液晶电视、OLED电视等，激光电视对于部分用户显然还是有些陌生，虽然激光电视市场销量逐年增长，但毫不客气地说，激光电视市场现阶段仍处于一种小范围的，自嗨，那么激光电视这种不那么新的，新物种，，普通家庭值不值得买呢，激光电视现阶段的优缺点都有哪些呢，激光电视的优点，首先来看看激光电视的优点，①超短焦，画面尺寸大激光电视本质上也是...。
粉色劳斯莱斯女车主再次发声不须要大货车司机任何抵偿记者尹鑫尹鸣近日，广州海珠区一货车撞上一辆粤港两地牌照的劳斯莱斯引发继续关注，针对一些网友称此次车祸是剧本，存在摆拍的质疑，当事双方均启动了回应，但双方的回应并未消弭网友的质疑，关于此事的问号越来越多，11月11日，纵览资讯，报料微信，ZLXWBL2023，记者从广州海珠区交警大队了解...。
先驳回网上自编的方法选车牌，据关系规则，每辆机动车总共可以自编20个号牌，咱们可以先检查东莞车牌号的最新号段，而后依据号段的区间编选出自己青睐的车牌号，假设运气好的话是可以编到靓车牌号的，东莞车牌号的字母广东各地车牌代码，粤A广州粤B深圳粤C珠海，粤D汕头粤E佛山粤F韶关粤G湛，粤H肇庆粤J江门粤K茂名粤L惠州粤M梅州粤N汕尾，粤P河...。
360手机卫士好用记得采用哦我手机中病毒了，什么杀毒软件好用，倡导手机插在电脑上用电脑上的杀软来杀毒那个杀毒软件好瑞星好...。
茶苑游戏大厅是一款以地方性棋牌为主的游戏平台，像温州、常州、商都、丽水、金陵等地方的特色棋牌都可以在大厅中找到，当然，还有很多其他大众化的棋牌游戏，赶快下载体验吧！游戏茶苑大厅官网介绍游戏茶苑大厅拥有美观、舒适的外观，从温州出发，以经典双扣系列为
烟雨江湖支线任务攻略是2265小编为你带来的烟雨江湖忘忧村支线攻略，帮你更好的在游戏中完成相关游戏内容，给你带来更好的帮助，相信你已经迫不及待了，赶快来2265安卓网看看吧！ 铁砂掌毓秀山庄(26,15)搜索后找陈师傅打听掌印，再次打听铁砂掌，再去南阳渡
企业员工每日健康状况跟踪表模板,企业员工每日健康状况跟踪表模板是一款相当出色的优秀表格模板。企业员工每日健康状况跟踪表模板由PC6为您提供免费下载，更多表格模板请关注PC6模板网,您可以免费下载。
由十余家知名互联网企业机构联合对中国数百家域名注册、虚拟主机、网站建设、网站备案、vps主机、服务器托管等互联网基础服务产品提供商进行综合评测，经过数天的用户调查及第三方知名互联网平台的数据调研，联名发布了2011年优秀互联网基础服务提供商排行榜，1，万网官方网址，www.net.cn隶属公司，北京万网志成科技有限公司2，华夏名网官方...。
加盟化妆品连锁店是非常不错的创业项目，许多骗子公司也蜂拥而入让消费者上当受骗，一些消费在寻找创业项目的时候，在网络上会看到关于某某品牌的相关负面信息，那么，如何辨别一个连锁加盟品牌是否值得加盟呢，怎么样防范被骗呢，FAJUE法爵化妆品加盟连锁公司教您防骗高招，真正的化妆品连锁企业除了有自己的品牌、工厂、样板市场、培训基地等；还有一点就...。
#行车记录仪合集#，分心驾驶让生命充满遗憾，你知道分心一秒，相当于盲开多长距离吗，你知道分心一秒，车辆会发生什么吗，分心一秒，横祸突生，驾驶人分心驾驶的违法行为很可能引发车祸，开车上路是一种责任，拒绝分心驾驶！戳视频↓湖南高速警察的微博视频来源，松松科技QQ，微信，lusongsong7本文地址，https，down.lusong...。
大周末的，谣言又来了，这次是这样的，为了增加谣言可信度，还配张图，对此，微信官方表示，转账收款或抢红包会中木马纯属谣言，首先，外部链接无法伪装成微信转账或红包，微信里的转账和红包都是专门的防伪消息，跟外部链接从外观上是完全不同的，第二，木马主要通过含有诱导性内容的短信以及非正规的应用app下载的方式传播，无法利用微信的红包、转账等功能...。
作为传统的美食，饺子基本是人人喜欢的美食，尤其是北方一代的人群，不仅仅是一种可以填补味蕾需求的产品，且是团圆必不可少的餐食，熊大爷现包饺子，打破了地域上的差异，将南北方食客们的饮食需求进行了整合，打造了创意系列的产品，大众食客们品尝之后，好评不断，伴随着经营热度的增长，越来越多的食客们被吸引过来，在此之前去了解下熊大爷现包饺子好吃吗，...。
