Arm MLPerf 最新结果公布 服务器亮眼首秀

文章编号:44377 资讯动态 2024-12-09 英伟达MLPerf

雷锋网消息,本周三,MLCommons 公布最新 MLPerf Inference V 1.1 基准测试(Benchmark)结果。与 V 1.0 版本相比并无太大区别,只不过在边缘推理的测试场景中,串流传输被弃用,不再作为基准测试的一部分。

新一轮基准测试中,在 AI 领域占优势的英伟达依然是唯一一家提交了从数据中心到边缘所有 MLPerf 基准测试类别数据的公司。不同的是,此次基准测试中,英伟达第一次在 Arm 系统上进行数据中心测试,并取得不错的成绩。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

Arm 服务器推理性能接近 x86

由于能效性能的不断增长和强大的软件生态系统,Arm 架构正在向全球各地的数据中心进军,而在此次MLPerf 基准测试中,Arm 服务器也被纳入其中。

英伟达展示的基准测试结果表明,如果以 A30 GPU 为标准,基于 x86 服务器和 Arm 服务器的处理速度均有提升。离线(Offline)测试中,基于两种服务器的 A100 处理速度差别不大,相比于 A30 的处理速度均有接近 2 倍的提升;服务器(Server)测试中,A100 相比于 A30 有 1 至 3 倍的提升,在语音识别 RNN-T 模型中,基于 x86 的 A100 处理速度与基于 Arm 服务器差别较大。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

另外,本次基准测试中,A100 也同时基于 Ampere Altra CPU 的 Arm 服务器和英特尔的 x86 服务器上进行了测试。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

作为 GPU 加速的平台,在 AI 推理工作中,使用 Ampere Altra CPU 的 Arm 服务器的性能稍逊于具有类似配置的 x86 服务器,但在 3D-Unet 工作负载测试中,基于 Arm 服务器的 A100 性能得分超过了 x86 服务器。

一直以来支持所有 CPU 架构的英伟达表示,十分高兴能够看到 Arm 在同行评审中的行业基准测试中能够证明其 AI 性能。

Arm 高性能计算和工具高级总监 David Lecomber 表示: “最新推理结果表明,Arm CPU 和 NVIDIA GPU 驱动的 Arm 系统已能够应对数据中心中的各种 AI 工作负载。”

AI 推理性能四个月内提升 20%

此次基准测试中,英伟达一如既往地展示了其 AI 推理性能,英伟达凭借其架构设计配合软件再次取得突破。

与 MLPerf 0.7 版本相比,本次测试中英伟达 A100 GPU 各类工作负载得分均有提升。其中,医学图像 3D U-Net 模型涨幅高达 150%,语音识别 RNN-T 模型测试涨幅高达 130%。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

事实上,在今年 4 月份 MLPerf 1.0 版本中,A100 GPU 的推理能力就已经在推荐系统模型 DLRM,语音识别模型 RNN-T 和医疗影像 3D U-Net 模型方面有一定提升,提升幅度最高达 45%,而此次又取得新突破,相比四个月前提升了 20%。

根据英伟达的介绍,其完整的 AI 软件堆栈是提升其 GPU 性能的关键。

英伟达 TAO Toolkit 可以简化迁移学习过程,用户能够在熟悉的环境中优化模型;英伟达 Tensor RT 软件对 AI 模型进行了优化,使其能够最有效地运用内存并且实现更快的运行速度。Trition 推理服务器能够简化云端、本地数据中心或边缘的服务部署,支持不同应用中的欺诈检测、包裹分析、图像分割等各类任务。

此外,在多实例 GPU(MIG)技术的支持下,英伟达 A100 能够提升将近 7 倍的 GPU 资源,即在一块 GPU 上运行 7 种工作负载,而 A30 只能支持 4 种工作负载。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

英伟达的 AI 优势不仅仅体现在自家 GPU 的得分上,此次基准测试中,共计 7 家 OEM 厂商提交了 22 个 GPU 加速平台,这些服务器中大多数都是英伟达认证系统,很多型号都支持上个月正式发布的英伟达 AI Enterprise 软件。

英伟达的 AI 技术已经得到广大生态系统的支持,此次与 Arm 系统的合作,也从侧面反映了英伟达进军 Arm 的决心。

文中图片源自英伟达官方

IPU首度公开MLPerf成绩,性价比收益胜过英伟达

AI基准测试MLPerf模型少、更新慢,地平线提出的MAPS会更好吗? | CCF-GAIR 2020

什么平头哥和英伟达在MLPerf基准测试中都获得了第一?

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
网站建设

柏庆网络网站建设公司专注网站建设、网站制作、网站设计、网站开发、网页设计、做网站,为深圳、东莞、广州等全国各地企业高端网站建设与制作、网站改版与定制等服务。

母猪料

江苏创导生物科技猪饲料厂家为您提供鸡开口料,母猪料,反刍饲料,小猪教槽料,蛋鸡饲料,鸡饲料厂家,草鸡饲料批发,草鸡饲料,小型鸡饲料,大粉鸡饲料,母猪浓缩料,详情来电咨询.

舜峰光电

舜峰光电是一家致力于光纤通信产品的设计、制造和销售的公司,公司主要生产产品包括:光纤阵列、光纤跳线、光纤分路器、光纤连接器等器件。与时俱进,创造品牌!面向世界,锻造辉煌!

宏发时代中心

沈阳宏发时代中心租赁部电话:13022433743,地址沈阳市铁西区沈辽西路27号,距离地铁9号线的滑翔站约2.1公里。本站实时更新大厦租赁信息,包括大厦的出租面积、出售面积、简介、交通位置、照片、日租金、售价、地图、楼盘参数和物业等相关信息。

水泥试验仪器

我公司坐落于建材仪器之乡-沧州献县,公司产销公路建筑材料检测仪器设备及实验耗材,为各大质检站、商砼搅拌站提供服务,得到客户认可。有专业团队为客户解决仪器使用培训售后,服务电话0317-7777829。

上海仓库仓储

专注洋山港内装箱仓库及拼箱仓库,主营拼箱和工程货物内装箱。洋山仓库和临港仓库在所有上海仓库中地理位置优越,2小时快速集港,和外高桥仓库相比较,您有更充足的时间安排报关,必将成为您远洋出口货物的优选CFS装箱仓库!

深圳办公室设计

深圳河渡建筑设计公司是集设计和施工于一体的深圳办公室装修设计公司,致力于向客户提供专业的深圳办公室设计、办公空间设计、早教中心设计、深圳教育空间设计、早教机构设计、医疗美容设计等项目的装饰设计和装修施工服务,咨询电话0755-82781656。

沪上阿姨

沪上阿姨,是中国现制茶饮店行业高速增长的领先企业之一,以“摩登东方茶”作为全新的品牌定位。

品牌设计

Actguidebrand领驱品牌设计(上海)有限公司(www.actguide.com),是一家极具前瞻性与实效性的品牌设计咨询机构,我们提供品牌设计、包装设计、标志设计、logo设计、vi设计、品牌咨询、品牌规划、品牌策划、营销策划、商业空间设计、产品创新服务。

西安大西信息科技有限公司

西安大西信息科技有限公司,成立于2015年,是国家高新技术企业和双软企业,我们一直致力于为客户提供高质量的计算机软件产品及服务,我们在文档处理、招投标、数字化施工领域为客户提供最先进的企业级软件,帮助客户提高生产力和竞争力。主要产品:OfficeWeb365在线预览系统、标书匠招投标系统、快书编标软件、数字土木工程信息化解决方案。

大型吸塑车标制作

购得棒(原博邦标识)是一家大型立体车标制作厂家,生产面积达2万多平米,制作各种吸塑车标、电镀车标、大型车标、金属车标、立体车标、4S店车标、汽车展会车标、亚克力车标、门头吸塑车标、厚片吸塑车标,产品远销欧美。电话18721750736

全局底部横幅