英伟达推出首个CPU!预计2023年正式投入使用 (英伟达推出首款提供HBM3e内存的GPU)

文章编号:45215 资讯动态 2024-12-09 英伟达

今日凌晨,一年一度影响人工智能及高性能计算技术盛会NVIDIA GTC如期而至,这是GTC大会继去年后第二次在线上举行,其图形和加速器设计师宣布他们将再次设计自己的Arm处理器/SoC。

英伟达推出首个CPU!预计2023年正式投入使用

这款CPU以计算机编程先驱、美国海军少将格蕾丝•霍珀(Grace Hopper)的名字命名,它是英伟达在全面垂直整合硬件堆栈方面的最新尝试,能够在常规GPU产品的同时提供高性能CPU。据英伟达介绍,该芯片是专为大规模神经网络工作负载设计的,预计将于2023年在英伟达的产品中使用。

距离芯片准备完毕仍有两年,英伟达这次表现得相对克制。该公司只提供了关于芯片有限的细节——例如,未来它将基于Arm的Neoverse内核迭代——因为今天的发布会更多关注的是英伟达未来的工作路线图,而不是速度和产品。

目前,英伟达已经明确表示,“Grace”是英伟达的内部产品,将作为其大型服务器产品的一部分。该公司并没有直接争夺英特尔或amd EPYC服务器市场。相反,他们正在建造自己的芯片来补充他们的GPU产品,创造一种可以直接连接其GPU的专用芯片,帮助处理庞大的万亿级参数人工智能模型。

英伟达推出首个CPU!预计2023年正式投入使用

从广义上说,“Grace”旨在填补英伟达AI服务器产品中CPU的空白。 该公司的GPU非常适合某些特定类的深度学习工作负载,但不是所有工作负载都是纯粹的GPU-bound,所有工作负载都不都是GPU绑定的。

相应地,英伟达当前的服务器产品通常依赖于AMD的EPYC处理器,该处理器对于以通用计算为目的而言非常快,但缺少英伟达寻找的那种高速I / O和深度学习优化。 特别是英伟达目前因使用PCI Express进行CPU-GPU连接而成为瓶颈,它们的GPU可以通过NVLink进行快速通信,但不能返回主机CPU或系统RAM。

英伟达推出首个CPU!预计2023年正式投入使用

正因如此,该问题解决方案是使用NVLink进行CPU-GPU通信,就像“Grace”之前的情况一样。此前,英伟达曾与OpenPOWER基金会合作,将NVLink引入到POWER9中。

然而,随着POWER的流行度下降,以及POWER10正在跳过NVLink,这种关系似乎正在逐渐消失。相反,英伟达正在以自己的方式构建带有必要NVLink功能的arm服务器cpu

根据英伟达的说法,最终的结果将是一种高性能、高带宽的CPU,其设计目的是与未来一代的英伟达服务器GPU协同工作。在英伟达讨论将每个英伟达 GPU与一个Grace CPU集成在同一块板上的情况下(类似于今天的夹层卡),CPU性能和系统内存通过迂回方式随GPU的数量而增加。这是英伟达特色鲜明的解决方案,不仅可以提高性能,而且在传统上集成了AMD或Intel的处理器尝试某种类似的CPU + GPU融合发挥。

据估计到2023年,英伟达将达到NVLink 4, SoC和GPU之间的累积带宽将至少达到900GB/秒,Grace SoC之间的累积带宽将超过600GB/秒。关键在于,这大于SoC的内存带宽,这意味着英伟达的GPU将有一个到CPU的高速缓存连贯链接,可以在全带宽下访问系统内存,同时也允许整个系统拥有一个单一的共享内存地址空间。

英伟达将此描述为平衡系统中可用的带宽数量。拥有包内CPU是增加英伟达 GPU能够有效访问和使用的内存数量的主要手段,因为内存容量仍然是大型神经网络的主要限制因素——你只能有效地运行与本地内存池一样大的网络。

这种以内存为中心的策略也反映在Grace的内存池设计中。英伟达将CPU放在GPU共享包上,并将RAM放在其旁边,Grace配备的GPU模块将包括一个有待确定的LPDDR5x内存数量,英伟达的目标是至少达到500GB/秒的内存带宽。

在2023年,LPDDR5x或将成为带宽最高的非显卡存储器选项。此外,由于LPDDR5x技术的目的是应用于移动设备,而且追踪长度非常短,英伟达还在大力宣传使用LPDDR5x可以提高能源效率。同时,由于这是服务器的一部分,Grace的内存也将启用ECC。

英伟达推出首个CPU!预计2023年正式投入使用

至于CPU性能,这实际上是英伟达公布最少的部分。该公司将使用下一代Arm的Neoverse CPU内核,最初的N1设计已经成为了转折点。但是除此之外,该公司透露内核应该在SPECrate2017_int_base吞吐量的基准上突破300点,这可以与AMD第二代64核EPYC CPU中的某些处理器相媲美。

该公司没有透露太多关于如何配置CPU或专门针对神经网络处理添加了哪些优化。但是,由于Grace旨在支持英伟达的GPU,预计在GPU较弱的情况下它会更强大。

另外如前所述,英伟达对Grace的预期目标是大大减少大型神经网络模型所需的时间。 英伟达力争在1万亿个参数模型上实现10倍的更高性能,而他们对64模块Grace + A100系统(具有理论NVLink 4支持)的性能预测将把此模型的训练时间从一个月缩短至三天。或者,能够在8个模块的系统上对5000亿个参数模型进行实时推断。

英伟达的Project Denver计划最初于十年前宣布,但从未真正达到其预期。自定义Arm内核家族仍不够好,也从未使用英伟达的移动SoC制成。相比之下,对于英伟达而言,Grace是一个更安全的项目。它们只是授予Arm内核许可,而不是构建自己的内核,这些内核也将被其他许多方使用。因此,英伟达的风险得以降低,可以在很大程度上使I / O和内存检测正确无误,并保持最终设计的能源效率。

如果一切都按计划进行,有望在2023年见到Grace。英伟达已经确认Grace模块将可用于HGX载板,以及扩展为DGX和所有其他使用这些板的系统。因此,尽管我们还没有看到英伟达有关Grace计划的全部内容,但是显然,他们正在计划使其成为未来服务器产品的核心部分。

英伟达推出首个CPU!预计2023年正式投入使用

编译链接:

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
萌站·次元导航,ACG第一站,二次元导航之门,收藏我的二次元(づ ̄

Moe321萌站,收录最新最热门的二次元网站,二次元资讯、二次元资源、动画、漫画、轻小说、萌音、游戏、cosplay全掌握,二次元导航之门,收藏我的二次元(づ ̄3 ̄)づ

YXBLOG

YXblog初创于2017年,博客蕴含CTF丶信息安全丶渗透测试等多个板块内容,分享原创技术干货文章。

发财致富网

发财致富网是创业者发财致富,免费发布供求信息、招商加盟、网络推广以及免费信息发布服务,汇聚行业信息推广发布的网站,免费发布的各行业品牌供求信息-发财草助你发财致富-发财草网。

自贡庆典

自贡天骄传播有限公司是一家专业从事大型文化推广活动的企业,各类典礼、路演、明星演绎活动日新月异,公司拥有专业的礼仪服务团队和设计策划团队,全程策划承办各类文化活动、大型文艺演出、商务策划服务.公司注重挖掘细节,为政府、企业精心打造文化活动时主推细节牌,从细节入手,以小见大,以点带面,用事实说话,亮点突出,在川南市场拥有良好口碑,2009年开始与四川笑星大联盟合作推出了一系列文化活动深受百姓喜爱,取得了良好的社会效益.

开云网页版在线登录·官方平台入口

开云网页版在线登录(帝吧:www.ad0561.com)开云网页版在线登录主营销售酒精测试仪,酒精检测仪,酒精测试仪品牌,酒精测试仪价格,酒精测试仪原理,酒精度测试仪,警用酒精测试仪,酒精浓度检测仪,便携式酒精检测仪,酒精浓度检测器等系列产品,云开平台登录销售管理为一体的高新技术型企业,云开app官方入口为事业机关、通信行业、金融机构等企事业单位提供客户在使用过程中的解决方案。

59爱分享

实战课程分享平台,开启你的网络提升之旅。诚信帮助每一个敢于改变的创业者,生活不止眼前的苟且还有诗和远方。

平罗县人民政府

平罗县位于宁夏平原北部,辖13个乡镇144个行政村,总面积2060平方公里,总人口31.6万人,其中少数民族人口占38%,先后荣获全国民族团结进步示范县、国家全域旅游示范县、国家园林县城、全国休闲农业和乡村旅游示范县、全国国土资源节约集约模范县、国家级妇幼健康优质服务示范县、自治区双拥模范县、自治区食品安全先进县、全区民族团结进步模范集体、自治区文明县城、自治区卫生县城等荣誉称号。2020年,全县实现地区生产总值177.4亿元,增长3%;规模以上工业增加值增长1.6%;全社会固定资产投资增长6%;社会消费品零售总额下降3.8%;地方一般公共预算收入7.11亿元,下降14.1%。一般公共预算支出43.46亿元,增长13.4%;城乡居民人均可支配收入分别为29683元和16890元,增长3.5%和7.8%。

小红书直播电商&品牌种草数据查询分析服务平台

蝉小红专业提供小红书数据挖掘分析服务,通过小红书多维度数据监测统计分析,提供小红书直播诊断服务,博主带货销量排行榜,小红书精细化种草运营策略,小红书热门笔记诊断分析,电商行业洞察热点趋势,品类品牌种草舆情分析报告,爆款商品销量查询。为品牌商家定制小红书精细化投放服务和种草运营策略。

铂尊门窗

超静音门窗-中国十大铝合金门窗品牌-铂尊门窗专业从事四川、成都铝合金门窗招商加盟及中高端系列产品研发、生产、销售与服务为一体的四川门窗十大品牌、钛合金门窗加盟品牌综合型企业。以提供“安全、优质的门窗产品于客户”为己任,为广大客户提供环保的家居体现。四川门窗哪个品牌好、十大铝合金门窗品牌、铝合金门窗招商加盟热线电话:0838-5887818

长丝土工布

安平县鑫巡土工布厂家专业长丝土工布,无纺土工布,短丝,防水,复合土工布生产厂家,为您提供2021年土工布价格,无中间利润,免费提供施工支持特殊规格定做,一站式服务厂家

福建省医疗保障局

,中国福建,福建省医保局

全局底部横幅