英伟达推出首个CPU!预计2023年正式投入使用 (英伟达推出首款提供HBM3e内存的GPU)

文章编号:45215 资讯动态 2024-12-09 英伟达

今日凌晨,一年一度影响人工智能及高性能计算技术盛会NVIDIA GTC如期而至,这是GTC大会继去年后第二次在线上举行,其图形和加速器设计师宣布他们将再次设计自己的Arm处理器/SoC。

英伟达推出首个!预计2023年正式投入

这款CPU以计算机编程先驱、美国海军少将格蕾丝•霍珀(Grace Hopper)的名字命名,它是英伟达在全面垂直整合硬件堆栈方面的最新尝试,能够在常规GPU产品的同时提供高性能CPU。据英伟达介绍,该芯片是专为大规模神经网络工作负载设计的,预计将于2023年在英伟达的产品中使用

距离芯片准备完毕仍有两年,英伟达这次表现得相对克制。该公司只提供了关于芯片有限的细节——例如,未来它将基于Arm的Neoverse内核迭代——因为今天的发布会更多关注的是英伟达未来的工作路线图,而不是速度和产品。

目前,英伟达已经明确表示,“Grace”是英伟达的内部产品,将作为其大型服务器产品的一部分。该公司并没有直接争夺英特尔或AMD EPYC服务器市场。相反,他们正在建造自己的芯片来补充他们的GPU产品,创造一种可以直接连接其GPU的专用芯片,帮助处理庞大的万亿级参数人工智能模型。

英伟达推出首个!预计2023年正式投入

从广义上说,“Grace”旨在填补英伟达AI服务器产品中CPU的空白。 该公司的GPU非常适合某些特定类的深度学习工作负载,但不是所有工作负载都是纯粹的GPU-bound,所有工作负载都不都是GPU绑定的。

相应地,英伟达当前的服务器产品通常依赖于AMD的EPYC处理器,该处理器对于以通用计算为目的而言非常快,但缺少英伟达寻找的那种高速I / O和深度学习优化。 特别是英伟达目前因使用PCI Express进行CPU-GPU连接而成为瓶颈,它们的GPU可以通过NVLink进行快速通信,但不能返回主机CPU或系统RAM。

英伟达推出首个!预计2023年正式投入

正因如此,该问题解决方案是使用NVLink进行CPU-GPU通信,就像“Grace”之前的情况一样。此前,英伟达曾与OpenPOWER基金会合作,将NVLink引入到POWER9中。

然而,随着POWER的流行度下降,以及POWER10正在跳过NVLink,这种关系似乎正在逐渐消失。相反,英伟达正在以自己的方式构建带有必要NVLink功能的arm服务器cpu

根据英伟达的说法,最终的结果将是一种高性能、高带宽的CPU,其设计目的是与未来一代的英伟达服务器GPU协同工作。在英伟达讨论将每个英伟达 GPU与一个Grace CPU集成在同一块板上的情况下(类似于今天的夹层卡),CPU性能和系统内存通过迂回方式随GPU的数量而增加。这是英伟达特色鲜明的解决方案,不仅可以提高性能,而且在传统上集成了AMD或Intel的处理器尝试某种类似的CPU + GPU融合发挥。

据估计到2023年,英伟达将达到NVLink 4, SoC和GPU之间的累积带宽将至少达到900GB/秒,Grace SoC之间的累积带宽将超过600GB/秒。关键在于,这大于SoC的内存带宽,这意味着英伟达的GPU将有一个到CPU的高速缓存连贯链接,可以在全带宽下访问系统内存,同时也允许整个系统拥有一个单一的共享内存地址空间。

英伟达将此描述为平衡系统中可用的带宽数量。拥有包内CPU是增加英伟达 GPU能够有效访问和使用的内存数量的主要手段,因为内存容量仍然是大型神经网络的主要限制因素——你只能有效地运行与本地内存池一样大的网络。

这种以内存为中心的策略也反映在Grace的内存池设计中。英伟达将CPU放在GPU共享包上,并将RAM放在其旁边,Grace配备的GPU模块将包括一个有待确定的LPDDR5x内存数量,英伟达的目标是至少达到500GB/秒的内存带宽。

在2023年,LPDDR5x或将成为带宽最高的非显卡存储器选项。此外,由于LPDDR5x技术的目的是应用于移动设备,而且追踪长度非常短,英伟达还在大力宣传使用LPDDR5x可以提高能源效率。同时,由于这是服务器的一部分,Grace的内存也将启用ECC。

英伟达推出首个!预计2023年正式投入

至于CPU性能,这实际上是英伟达公布最少的部分。该公司将使用下一代Arm的Neoverse CPU内核,最初的N1设计已经成为了转折点。但是除此之外,该公司透露内核应该在SPECrate2017_int_base吞吐量的基准上突破300点,这可以与AMD第二代64核EPYC CPU中的某些处理器相媲美。

该公司没有透露太多关于如何配置CPU或专门针对神经网络处理添加了哪些优化。但是,由于Grace旨在支持英伟达的GPU,预计在GPU较弱的情况下它会更强大。

另外如前所述,英伟达对Grace的预期目标是大大减少大型神经网络模型所需的时间。 英伟达力争在1万亿个参数模型上实现10倍的更高性能,而他们对64模块Grace + A100系统(具有理论NVLink 4支持)的性能预测将把此模型的训练时间从一个月缩短至三天。或者,能够在8个模块的系统上对5000亿个参数模型进行实时推断。

英伟达的Project Denver计划最初于十年前宣布,但从未真正达到其预期。自定义Arm内核家族仍不够好,也从未使用英伟达的移动SoC制成。相比之下,对于英伟达而言,Grace是一个更安全的项目。它们只是授予Arm内核许可,而不是构建自己的内核,这些内核也将被其他许多方使用。因此,英伟达的风险得以降低,可以在很大程度上使I / O和内存检测正确无误,并保持最终设计的能源效率。

如果一切都按计划进行,有望在2023年见到Grace。英伟达已经确认Grace模块将可用于HGX载板,以及扩展为DGX和所有其他使用这些板的系统。因此,尽管我们还没有看到英伟达有关Grace计划的全部内容,但是显然,他们正在计划使其成为未来服务器产品的核心部分。

英伟达推出首个!预计2023年正式投入

编译链接:

版权文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
麦芽田

麦芽田是一家聚合达达、顺丰、闪送、UU、美团跑腿、蜂鸟众包、美团快速达等多家跑腿的同城配送软件,无须商家注册跑腿账号,通过麦芽田的配送账号即可一键发单、多平台比价发单;麦芽田支持进销存管理、连锁管理、全渠道管理,提供全行业经营增长解决方案,帮助商家全渠道运营、数字化赋能,带动业务全面增长。

锦明集团

锦明集团始于2007年,初期主要以二手住宅及商业房地产租售、商办项目代理及招商等房地产为核心业务板块,经过十几载沉淀发展,已在地产领域积累起雄厚的经验和实力。以房产为根基,逐步扩大经营范围,现已延伸至企业服务、资产管理、装修设计、科技创新、影视文化、餐饮娱乐等多个领域,业务广泛分布于上海各核心行政区域、长三角、珠三角地区城市,致力于构建多产业发展的专业服务型公司,为客户提供更广泛的深度化综合服务。

永盛智能化网

智能化是指事物在计算机网络、大数据、物联网和人工智能等技术的支持下,所具有的能满足人的各种需求的属性。比如无人驾驶汽车,就是一种智能化的事物,它将传感器物联网、移动互联网、大数据分析等技术融为一体,从而能动地满足人的出行需求。它之所以是能动的,是因为它不像传统的汽车,需要被动的人为操作驾驶。

乐考网

乐考网作为从业资格、职称考试培训的领导者,自2007年创立以来,致力于帮助每一位学员快速高效的通过考试,并取得证书。其开设的基金、银行、证券、期货、会计类、经济师等在职考试培训效果卓越,在乐考网学习并通过考试的学员已累计200万名!

江门物流公司

江门江沙物流是一家从事江门到全国的陆运、空运、海运物流服务的物流公司。江门物流公司以快捷、准时、安全、优惠的服务宗旨为广大客户服务!

诺金装饰

石家庄哪家装修公司比较好?选择石家庄诺金装修公司是您正确的选择。公司多年专业从事:石家庄装修公司,石家庄二手房装修,石家庄办公装修等业务。联系电话:0311-68008600。

鸿源科技

基于java开发的一套javacms,也是轻量级开源内容管理系统,CMS简洁、安全、开源、免费,可运行在Linux、Windows、MacOSX、Solaris等各种平台上,专注为公司企业、个人站长快速建站提供解决方案,铭飞MS平台为您提供各类cms网站模板下载,公司网站、企业网站模板、网站后台系统模板、免费网站模板,10年建站公司老品牌值得信赖的cms!

苏州弗士达

苏州弗士达自2006年成立以来一直致力于显示行业的光学测量仪器研发和光学测量系统集成,为客户提供精确、可重复的测量,以确保显示器、发光组件产品的一致性和质量。主要产品:成像亮度色度计,光谱辐射度计,色彩分析仪,响应时间测量仪,OLED器件测量系统,手机/电视/车载显示屏等光学测量系统,车载氛围灯光学测量系统,背光模组光学测量系统等。

浙江信旭真空设备制造有限公司

浙江信旭真空设备制造有限公司,集研发、生产、销售于一体的真空设备生产企业。拥有一支集设计和技术开发的队伍,建立了完备的质量管理体系和真空设备测试中心以及售后服务部门。,真空设备,液环真空泵,往复真空泵,螺杆真空泵,罗茨真空泵,滑阀真空泵,旋片真空泵

山东爱控医疗科技有限公司

爱控医疗科技有限公司是一家集研发、生产、销售、技术服务为一体的综合性企业。公司依托国内领先技术团队、GMP车间生产团队及资深外企管理团队,致力于发展为医疗感控领域的优质服务商。 公司拥有医疗机构感控系列产品较完备的生产线,包括压力蒸汽灭菌监测类产品,过氧化氢低温等离子灭菌监测类产品,灭菌包装类产品,清洗养护类产品,辅助类产品,信息追溯系统等。并建立了完善的质量管理体系,可为国内外合作伙伴及医疗机构提供一站式的优质服务。

一门打包

一门打包(www.yimenapp.net)云端一键网页打包APP平台,提供APP打包,苹果打包APP,安卓打包APP,苹果APP打包,安卓APP打包,网页打包APP,H5打包APP,html打包APP,H5混合APP开发服务。

致睿科技咨询

墨创是魔央科技的创新咨询与科技服务品牌,墨创立足于专业系统的方法论、不断塑造的创造力和务实落地的技术实践能力,在所擅长的细分领域提供系统、专业、实战的综合创新服务。

全局底部横幅