Arm MLPerf 最新结果公布 服务器亮眼首秀

文章编号:44377 资讯动态 2024-12-09 英伟达MLPerf

雷锋网消息,本周三,MLCommons 公布最新 MLPerf Inference V 1.1 基准测试(Benchmark)结果。与 V 1.0 版本相比并无太大区别,只不过在边缘推理的测试场景中,串流传输被弃用,不再作为基准测试的一部分。

新一轮基准测试中,在 AI 领域占优势的英伟达依然是唯一一家提交了从数据中心到边缘所有 MLPerf 基准测试类别数据的公司。不同的是,此次基准测试中,英伟达第一次在 Arm 系统上进行数据中心测试,并取得不错的成绩。

  最新结果公布,Arm 服务器亮眼首秀

Arm 服务器推理性能接近 x86

由于能效性能的不断增长和强大的软件生态系统,Arm 架构正在向全球各地的数据中心进军,而在此次MLPerf 基准测试中,Arm 服务器也被纳入其中。

英伟达展示的基准测试结果表明,如果以 A30 GPU 为标准,基于 x86 服务器和 Arm 服务器的处理速度均有提升。离线(Offline)测试中,基于两种服务器的 A100 处理速度差别不大,相比于 A30 的处理速度均有接近 2 倍的提升;服务器(Server)测试中,A100 相比于 A30 有 1 至 3 倍的提升,在语音识别 RNN-T 模型中,基于 x86 的 A100 处理速度与基于 Arm 服务器差别较大。

  最新结果公布,Arm 服务器亮眼首秀

另外,本次基准测试中,A100 也同时基于 Ampere Altra CPU 的 Arm 服务器和英特尔的 x86 服务器上进行了测试。

  最新结果公布,Arm 服务器亮眼首秀

作为 GPU 加速的平台,在 AI 推理工作中,使用 Ampere Altra CPU 的 Arm 服务器的性能稍逊于具有类似配置的 x86 服务器,但在 3D-Unet 工作负载测试中,基于 Arm 服务器的 A100 性能得分超过了 x86 服务器。

一直以来支持所有 CPU 架构的英伟达表示,十分高兴能够看到 Arm 在同行评审中的行业基准测试中能够证明其 AI 性能。

Arm 高性能计算和工具高级总监 David Lecomber 表示: “最新推理结果表明,Arm CPU 和 Nvidia GPU 驱动的 Arm 系统已能够应对数据中心中的各种 AI 工作负载。”

AI 推理性能四个月内提升 20%

此次基准测试中,英伟达一如既往地展示了其 AI 推理性能,英伟达凭借其架构设计配合软件再次取得突破。

与 MLPerf 0.7 版本相比,本次测试中英伟达 A100 GPU 各类工作负载得分均有提升。其中,医学图像 3D U-Net 模型涨幅高达 150%,语音识别 RNN-T 模型测试涨幅高达 130%。

  最新结果公布,Arm 服务器亮眼首秀

事实上,在今年 4 月份 MLPerf 1.0 版本中,A100 GPU 的推理能力就已经在推荐系统模型 DLRM,语音识别模型 RNN-T 和医疗影像 3D U-Net 模型方面有一定提升,提升幅度最高达 45%,而此次又取得新突破,相比四个月前提升了 20%。

根据英伟达的介绍,其完整的 AI 软件堆栈是提升其 GPU 性能的关键。

英伟达 TAO Toolkit 可以简化迁移学习过程,用户能够在熟悉的环境中优化模型;英伟达 Tensor RT 软件对 AI 模型进行了优化,使其能够最有效地运用内存并且实现更快的运行速度。Trition 推理服务器能够简化云端、本地数据中心或边缘的服务部署,支持不同应用中的欺诈检测、包裹分析、图像分割等各类任务。

此外,在多实例 GPU(MIG)技术的支持下,英伟达 A100 能够提升将近 7 倍的 GPU 资源,即在一块 GPU 上运行 7 种工作负载,而 A30 只能支持 4 种工作负载。

  最新结果公布,Arm 服务器亮眼首秀

英伟达的 AI 优势不仅仅体现在自家 GPU 的得分上,此次基准测试中,共计 7 家 OEM 厂商提交了 22 个 GPU 加速平台,这些服务器中大多数都是英伟达认证系统,很多型号都支持上个月正式发布的英伟达 AI Enterprise 软件。

英伟达的 AI 技术已经得到广大生态系统的支持,此次与 Arm 系统的合作,也从侧面反映了英伟达进军 Arm 的决心。

文中图片源自英伟达官方

IPU首度公开MLPerf成绩,性价比收益胜过英伟达

AI基准测试MLPerf模型少、更新慢,地平线提出的MAPS会更好吗? | CCF-GAIR 2020

为什么平头哥和英伟达在MLPerf基准测试中都获得了第一?

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
欢乐斗地主

腾讯先锋(原腾讯先游)是腾讯官方推出的云游戏平台,用户无需下载游戏,就能畅玩各类游戏大作。

52pk游戏网

52pk游戏网是中文游戏门户站,汇聚国内外游戏热点报道,为千万网站用户365天提供权威游戏资讯,全方位打造免费中文网游单机游戏下载大全。

乐谱大全

乐谱123(www.www.yuepu123.com)是中国专业的各类型的音乐歌谱网站,主要包含简谱,吉他谱,钢琴谱,乐谱,电子琴谱,手风琴谱,二胡谱,葫芦丝谱,笛萧谱,萨克斯谱,古筝谱,总谱等。

中国食品消费网

中国食品消费网是专业传播国内外食品行业最新资讯。主要包括食品安全事件报道、食品标准和法律法规动态跟踪、食品进出口预警信息通报、食品行业监管和企业动向、食品新理论新工艺新技术。专注食品行业,推动食品安全。

中投华创

中投华创主张以互联网新技术加资本力量赋能创业成功!自成立以来独立或联合举办800+场次创业及资本对接活动,服务并陪跑了6000家以上企业。

热图吧

分享生活技巧,互联网技术,网站运营,网络推广,网站设计等IT原创基地,自信比能力更重要!

西安除甲醛公司

西安除甲醛公司陕西云杭环保,是一家西安专业的甲醛检测治理公司,公司是由西安交通大学和浙江大学的研究生组建的高科技环保技术服务公司,拥有多项核心技术的科技型环保企业,真正把室内空气检测、甲醛治理作为一项事业来经营,致力于室内空气净化、化学生物污染防治等领域,可以进行企业、公共场所、居民住房等环境下污染状况检测、环境评估与甲醛治理控制。

Canvas

CanvasLMS是一个基于网络的学习管理系统平台。学校机构、教育工作者和学生使用它来访问和管理在线课程学习材料,并就技能发展和学习成就进行交流。Canvas包括各种可定制的课程创建和管理工具、课程和用户分析和统计以及内部沟通工具。Canvas辅助学校管理数字式学习、教育工作者创建和展示在线学习材料并评估学生的学习情况,以及学生、家长参与课程并接收有关技能发展和学习成就的反馈。

和爱思(深圳)科技有限公司

和爱思(深圳)科技有限公司专业代理经销原装进口科锐CreeLED灯珠、欧司朗OsramLED灯珠、三星SAMSUNGLED灯珠、流明Lumileds,原飞利浦LED灯珠、普瑞BridgeluxLED灯珠、西铁城CitizenLED灯珠,首尔SeoulLED灯珠,联系人:黄生,联系电话:13632849058

常州报废汽车回收

【江苏科源报废汽车回收拆解】有限公司专业从事报废汽车回收,报废汽车拆解,包括新能源汽车报废拆解等服务,专业的服务高品质的效率,欢迎来电咨询:0519-68267116

全局底部横幅