测试结果刷新纪录 英伟达H100首次亮相MLPerf (测试结果刷新怎么弄)

文章编号:44705 资讯动态 2024-12-09 MLPerfGPU英伟达

消息,北京时间9月9日,MLCommons社区发布了最新的MLPerf 2.1基准测试结果,新一轮基准测试拥有近5300个性能结果和2400个功耗测量结果,分别比上一轮提升了1.37倍和1.09倍,MLPerf的适用范围进一步扩大。

阿里巴巴、华硕、Azure、壁仞科技、戴尔、富士通、技嘉、H3C、HPE、浪潮、英特尔、Krai、联想、Moffett、Nettrix、Neural Magic、英伟达、OctoML、高通、SAPEON 和 Supermicro 均是本轮测试的贡献者。

其中,英伟达表现依然亮眼,首次携H100参加MLPerf测试,并在所有工作负载中刷新世界纪录。

H100打破世界记录,较A100性能提升4.5倍

英伟达于今年3月份发布基于新架构NVIDIA Hopper的H100 GPU,与两年前推出的NVIDIA Ampere架构相比,实现了数量级的性能飞跃。黄仁勋曾在 GTC 2022 上表示,20个H100 GPU便可以承托相当于全球互联网的流量,能够帮助客户推出先进的推荐系统及实时运行数据推理的大型语言模型。

令一众AI从业者期待的H100原本定于2022年第三季度正式发货,目前处于接受预定状态,用户的真实使用情况和H100的实际性能尚不可知,因此可以通过最新一轮的MLPerf测试得分提前感受H100的性能。

英伟达H100首次亮相MLPerf,测试结果刷新纪录

在本轮测试中,对比Intel Sapphire Rapids、Qualcomm Cloud AI 100、Biren BR104、SAPEON X220-enterprise,NVIDIA H100不仅提交了数据中心所有六个神经网络模型的测试成绩,且在单个服务器和离线场景中均展现出吞吐量和速度方面的领先优势。

以NVIDIA A100相比,H100在MLPerf模型规模最大且对性能要求最高的模型之一——用于自然语言处理的BERT模型中表现出4.5倍的性能提升,在其他五个模型中也都有1至3倍的性能提升。H100之所以能够在BERT模型上表现初出色,主要归功于其Transformer Engine

其他同样提交了成绩的产品中,只有Biren BR104在离线场景中的ResNet50和BERT-Large模型下,相比NVIDIA A100有一倍多的性能提升,其他提交成绩的产品均未在性能上超越A100。

而在数据中心和边缘计算类别的场景中,A100 GPU的测试成绩依然不俗,得益于NVIDIA AI软件的不断改进,与2020年7月首次亮相MLPerf相比,A100 GPU实现了6倍的性能提升。

追求AI通用性,测试成绩覆盖所有AI模型

由于用户在实际应用中通常需要采用许多不同类型的神经网络协同工作,例如一个AI应用可能需要理解用户的语音请求、对图像进行分类、提出建议,然后以语音回应,每个步骤都需要用到不同的AI模型。

英伟达H100首次亮相MLPerf,测试结果刷新纪录

正因如此,MLPerf基准测试涵盖了包括计算机视觉、自然语言处理、推荐系统、语音识别等流行的AI工作负载和场景,以便于确保用户获得可靠且部署灵活的性能。这也意味着,提交的测试成绩覆盖的模型越多,成绩越好,其AI能力更加具备通用性。

在此轮测试中,英伟达AI依然是唯一能够在数据中心和边缘计算中运行所有MLPerf推理工作负载和场景的平台。

在数据中心方面,A100和H100都提交了六个模型测试成绩。

在边缘计算方面,NVIDIA Orin运行了所有MLPerf基准测试,且是所有低功耗系统级芯片中赢得测试最多的芯片。

英伟达H100首次亮相MLPerf,测试结果刷新纪录

Orin是将NVIDIA Ampere架构GPU和Arm CPU内核集成到一块芯片中,主要用于机器人、自主机器、医疗机械和其他形式的边缘嵌入式计算。

目前,Orin已经被用在NVIDIA Jetson AGX Orin开发者套件以及机器人和自主系统生成模考,并支持完整的NVIDIA AI软件堆栈,包括自动驾驶汽车平台、医疗设备平台和机器人平台。

与4月在MLPerf上的首次亮相相比,Orin能效提高了50%,其运行速度和平均能效分别比上一代Jetson AGX Xavier 模块高出5倍和2倍。

追求通用型的NVIDIA AI 正在被业界广泛的机器学习生态系统支持。在这一轮基准测试中,有超过70 项提交结果在 NVIDIA 平台上运行。例如,Microsoft Azure 提交了在其云服务上运行NVIDIA AI 的结果。

MLPerf最新结果公布,英伟达仍是「王者」

MLPerf最新榜单公布,宁畅狂揽59项第一

IPU首度公开MLPerf成绩,性价比收益胜过英伟达

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
网商银行

浙江网商银行是经中国银监会批准设立的股份制商业银行,纯互联网运营,于2015年6月25日正式开业。网商银行以服务小微企业、支持实体经济、践行普惠金融为使命,希望做互联网银行的探索者和普惠金融的实践者,为小微企业、个人创业者提供高效、便捷的金融服务。

泰州防水补漏

泰州卫生间免砸砖修漏水电话400-1566-200,专业防水补漏,泰州本地上门勘察,多年防水经验,使用先进检测维修设备和优质防水材料,快速彻底解决房屋漏水问题。

浏阳同城信息

浏阳同城信息-浏阳同城信息,浏阳人自己的公众信息平台

玻璃澄清剂

烟台荣恩玻璃原料有限公司研制、生产的环保、高效玻璃澄清剂,玻璃复合澄清剂,有A、B、SH三个系列十多个品种,广泛应用于晶白料、高白料、普白料及各种颜色料玻璃制品,涉及的玻璃制品有瓶罐、器皿、保温瓶等日用玻璃,以及玻纤、玻璃管、光学玻璃,平板玻璃等玻璃制品。适用于各类窑炉,如煤气炉、天然气炉、电炉等,也有用于全氧炉的澄清剂。

北京金洪恩教育科技有限公司

洪恩深耕儿童素质教育和能力培养领域20余年,致力于为儿童快乐成长提供科学系统的寓教于乐整体解决方案。通过自主创新拥有多项自主知识产权和核心技术与专利,每年为数万家教育机构和上千万个家庭提供趣味性、多样化、高品质的产品和服务。产品涵盖语言能力、积木建构与机器人、戏剧与口才、书法与美育、科学与思维、有声国学馆、有声绘本馆等教学方案与操作材料,为儿童综合发展提供美好的成长体验。

BD资源整合商务平台

BD邦是对接异业合作、创业项目、招商加盟、产品推广、资源置换、地推项目、社群运营的商务拓展合作平台,帮助企业用户找到适合的创业项目、甲方渠道、分销渠道、地推渠道和人脉资源。

天龙八部SF网

天龙八部私服发布网是国内最大的新开天龙八部发布网,每天为怀旧天龙八部SF玩家发布最新变态天龙私服,还有各类版本最新天龙SF大全信息方便查找!

安卓app开发费用,国内智能AI软件开发公司

专业APP开发外包公司-10年APP软件开发经验,技术靠谱,超500家成功案例。app定制开发公司,专注为各行业提供手机APP开发、IOS/安卓app开发、智能AI技术app开发等APP开发一...

爱视眼科网

爱视眼科网致力于为您提供关于眼科疾病、眼科手术、眼部常见问题和眼科治疗方法的详细信息。我们的目标是帮助您更好地了解眼部疾病症状以及如何进行合适的治疗。

常熟公交论坛

常熟人自己的公交网站,常熟公交网,常熟公交查询,常熟公交地图,公交问路,公交旅游,常熟城乡公交,常熟通IC卡

股掌柜投顾网

股掌柜投顾网发展有限公司成立于2002年,是经中国证券监督管理委员会批准,取得经营证券期货业务许可证的证券经营机构,是中国证券业协会会员单位。公司提供专业的证券咨询服务,致力于成为投资者值得信赖的投资服务平台。

全局底部横幅