0到1端到端大模型实训在国产GPU首次突破 摩尔线程携手无问芯穹 (端到端与点到点的区别)

文章编号:36104 资讯动态 2024-11-30 摩尔线程国产GPU无问芯穹

摩尔线程联合无问芯穹宣布,双方在近日正式完成基于国产全功能GPU千卡集群的3B规模大模型实训。该模型名为“MT-infini-3B”,在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台()上完成了高效稳定的训练。本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。

MT-infini-3B模型训练总用时13.2天,经过精度调试,实现全程稳定训练不中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在C-Eval,MMLU,CMMLU等3个测试集上均实现性能领先。

摩尔线程携手无问芯穹:0到1端到端实训在国产首次突破

无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,而‘MT-infini-3B’的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。”

摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。”

此前,摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台“无穹Infini-AI”和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配,该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。

关于无问芯穹

无问芯穹(Infinigence AI)依托行业领先且经过验证的AI计算优化能力与算力解决方案,追求大模型落地的极致能效。打造“M种模型”和“N种芯片”间的“M×N”中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。链接上下游,共建AGI时代大模型基础设施,加速AGI落地千行百业。

关于摩尔线程

摩尔线程是一家以全功能GPU芯片设计为主的集成电路高科技公司,能够为广泛的科技生态合作伙伴提供强大的计算加速能力,致力于打造为下一代互联网提供多元算力的元计算平台。

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
休闲一刻

休闲一刻——经典在线小游戏之家,工作累的时候,稍作休息,放松一下,放松心情,全是清晰流畅耐玩版,含详细操作说明

通达信软件

深圳市财富趋势科技股份有限公司是一家资深的证券业高科技企业,致力于证券分析系统和计算机通讯系统的研究开发。深圳市财富趋势科技股份有限公司在证券行业的著名品牌是“通达信”。

一门APP

一门APP开发平台(www.yimenapp.com)致力于H5混合APP制作框架领域的前沿探索,专注轻便的应用开发解决方案,提供基于HTML前端页面在各种应用层级的端延展,包括安卓端,IOS端,windows端,MAC端,以及各种TV和物联网端的跨平台APP开发工具。

快代理

快代理创立于2013年,专注为企业和开发者提供高品质的HTTP代理IP云服务,每日去重代理IP超40万个,提供使用IP代理服务完备的API接口和SDK,赋能于需要大量使用IP代理来实现大规模公共数据采集的场景,企业IP代理服务认准快代理。

混凝土搅拌站

郑州市中发机械制造有限公司

青岛硕为机械有限公司

青岛硕为机械有限公司是一家专业的抛丸机生产厂家,抛丸机价格低,质量好,主要产品有辊道式抛丸机、通过式抛丸机、钢履带抛丸机、网带式抛丸机、吊钩式抛丸机等

保定叉车,电瓶叉车出租,大件搬运,二手回收,配件维修

保定质优工程机械销售有限公司,保定地区叉车整机销售,叉车租赁,叉车配件维修,叉车属具,二手叉车回收置换,专业设备起重,工厂搬迁,设备包装等业务。现公司拥有国内知名品牌合力叉车,杭州叉车,龙工叉车,台励福叉车,柳工叉车,宝骊叉车等十多家代理业务,国际品牌林德叉车代理合作业务。

众智软件

众智软件股份有限公司

龙力数码技巧网

龙力数码技巧网是一个数码技巧资讯的网站,为您提供关于手机技巧,数码应用,生活技巧等方面的知识

全局底部横幅