为什么存储器会成为阻碍AI发展的难题 (为什么存储器分为内外两种)

文章编号:37715 资讯动态 2024-11-30 HBM2ai芯片sramdram

边缘计算性能的提升给存储器的设计,类型的选择和配置都带来挑战,这也导致在不同的应用市场中需要进行更复杂的权衡。

芯片架构正在与新市场一起发展,但数据在芯片、设备之间以及系统之间如何移动并不总是很清楚。汽车和AI应用的数据正变得越来越多和复杂,但芯片架构在处理时有时不清楚如何优先处理数据。这让芯片设计人员面临抉择,是选择共用内存降低成本,还是增加不同类型内存提高性能和降低功耗。

所有这些都是以安全为前提,并且不同的市场设计的要求也不一样。比如,汽车中的各种类型的图像传感器(如激光雷达和摄像头)的大量数据需要在本地处理。AI芯片则希望性能能够提升100倍。

解决内存问题有一些方法,其中一种是片上存储器,也就是将存储器分散地集成在运算单元旁,最大程度减少数据搬移,这种方法的目标是通过减少负载和存储的数量来突破内存瓶颈,也能降低功耗。

“存算一体(In-memory computing)可能是模拟的、数字的,或两者都有。”CadenceDigital&Signoff Group的高级首席产品经理Dave Pursley说,“虽然在内存中进行计算的想法可能是日益增长的趋势,但在这种计算中实际发生的情况似乎大不相同。”

尽管市场出现了新的变化,但片上SRAM和片外DRAM仍是主流。已经有专家预测DRAM多年后将“死亡”,但它仍然是最经济和可靠的选择。DRAM具有高密度、架构简单、低延迟和高性能的特性,兼具耐用和低功耗的特性。

DRAM密度的增速正在放缓,但HBM2等新架构允许通过堆叠模块的方式而不是使用DIMM来垂直增加密度,这种方法还让DRAM更靠近处理单元。

另外,SRAM价格昂贵且密度有限,但其高速性能多年来已被验证。片上存储器的挑战是采用分布还是共用的方式,在某些情况下,为保证安全性需要增加冗余。

“所有这些要求都会影响存储器的类型和数量的选择,还涉及片上和片外存储器之间的权衡,以及访问每个存储器互连的复杂性。”Arm高级物联网架构师Ryan Lim表示。

存储器的一个关键问题是功耗,其中存储器类型和配置等多种因素都会影响功耗。例如,在7nm的存储器中进行数据的存取可能消耗更多功耗,这是因为线路中的RC延迟。当然,这也会产生热量,有可能会破坏输入输出存储器的信号的完整性。

不过,较慢的片外数据使用高带宽内存可以节省功耗,并且可以与高速GDDR6一样快。如何做出这些决定取决有多种因素,包括设备的平均售价和选择的存储器类型。

还有针对手持移动设备的极低功耗的存储器,包括越来越多使用电池的边缘设备。

“这些存储器具有极高的效能,可在一定程度上提升电池供电设备的功耗和数据速率。”Rambus杰出的院士Steven Woo说。“它们也可以在多种模式下工作,当处于待机状态时,可以消耗很少的能量满足手机和平板电脑等产品的需求,并在需要进行处理时快速切换到更高性能/更高功率的模式。 ”

低功耗存储器还支持多种封装方式,允许它们与手机处理器堆叠在一起,满足智能手机的轻薄需求,也能集成在PCB上支持平板电脑和其他消费类设备高容量内存配置的需求。

毫无疑问,开发低功耗存储器是一项挑战。“当设计低功耗存储器时,它们支持的速率范围很广,相对低功耗存储器而言,这些数据速率往往是相当高的。”Woo说。“这通常是由一两个主要应用市场驱动,所以它必须面向一个市场很大的行业,拥有足够大市场的行业才能催生新的存储器。从历史上看,手机市场是成功的例子。如果与不同的手机制造商交谈,他们都希望获得性能和电源效率更高的存储器,因为他们希望能够延长电池寿命。对于其他想要使用低功耗存储器的公司,他们会很庆幸其他人正在帮他们实现。“

通常,这些合格的存储器可能在几种不同的数据速率下运行,但速率很接近。“这些存储器可能有一个是每秒4.2千兆比特的速率,另一个是3.2千兆比特。”他解释道,“这可以让内存制造商在生产所有这些存储器时,进行所谓的分级。当某些部件没有全速运行时会发生这种情况,但制造商依旧会出售这些内存,因为有些客户需要以更便宜的价格购买性能较低的存储器。Binning(数据合并)允许这种情况。这些产品的性能在一定的范围内,都属于合格品。“

存储器如何影响人工智能发展?

人工智能在几乎所有新技术中都扮演着重要角色,而存储器又在人工智能中起着重要作用。极高的速度和极低的功率是芯片一直以来追求的,不过这并不总是有效,因为空间有限。但它能解释为什么数据中心和用于训练的AI芯片比应用于终端推理设备的芯片更大。另一种方法是减少一些片外存储芯片,以提高数据吞吐量并通过设计减少到内存的距离,或者限制片外数据流。

在任何一种情况下,片外存储器的竞争很大程度上归结为DRAM-GDDR和HBM。

“从工程和生产的角度来看,GDDR看起来很像其他类型的DRAMs,如DDR和LPDDR,”Woo说。“你可以将它集成到标准PCB板上,还能用类似的制造工艺。HBM是新一些的技术,它涉及堆叠和内插器(interposers),因为HBM有许多连接速度较慢。每个HBM堆栈将具有一千个连接,因此需要高密度的互连,这远远超过PCB的处理能力。这就是为什么有些公司正在使用内插器,因为可以将这些导线蚀刻得非常接近,很像片上连接,可以获得更多的连接。“

HBM追求最高性能和最佳功效,但成本更高,需要更多的工程时间和技术。使用GDDR,DRAM和处理器之间的互连就没那么多,但它们的运行速度要快得多,这会影响信号完整性。

为什么存储器会成为阻碍AI发展的难题?

功率,性能和面积(Power、Performance、Area)仍然是关键驱动因素,尽管有架构和变革和新技术。

“这三个都非常重要,但很大程度上取决于应用。”西门子Mentor知识产权部门总经理Farzad Zarrinfar表示。“例如,如果是一个便携应用,功耗非常重要。电源本身也分动态和静态。一部分是动态功率,一部是静态功率。如果应用于无线通信,如果有大量计算,动态功率非常重要。但是,如果是可穿戴式应用,使用者会处于睡觉、醒来运动,然后又回到睡眠的不同状态,静态/泄漏功率非常重要。“

浅睡眠等功能使设计人员能够大幅减少泄漏,这时,不工作的存储器进入源偏置模式以减少泄漏,而其他被直接访问的存储组是工作的。在设计的深度睡眠时,可以通过电源管理,管理Vdd和最小化泄漏的技术来保留数据。如果不需要保留数据,则用关闭模式能进一步减少泄漏。

与电源效率相关的一切在汽车中也是至关重要的。“在电动汽车中,电池的寿命非常重要,因此耗电量至关重要,”Zarrinfar说。“人们希望从-40°C一直到125°C都具有线性的特性,甚至在更高的150°C情况下。他们不希望在高温下泄漏陡然增长,并且他们希望尽可能地将其保持在线性范围内。同样,我们必须在整个温度范围内注意功耗和泄漏,这非常重要。“

无论应用领域如何,功率仍然是首要考虑因素。“我们看到随着SoC设计向更小化发展。”他说。“存储器的消耗正在增加,嵌入式存储器的容量也在增加。现在,我们看到超过50%的裸片是存储器。所以人们必须注意存储器的耗电量。“

为什么存储器会成为阻碍AI发展的难题?

尽管有大量革命性技术和创新架构,但内存仍然是设计的核心。虽然即将出现新的存储器类型,例如相变和自旋扭矩,但大部分仍然应用于各种条件的市场。最大的变化在于如何对现有存储器进行优先级划分、共用、在设计中选择,以及最终如何使用它们。虽然这听起来像是一个简单的问题,但事实并非如此。

“选择正确的内存解决方案通常是获得最佳系统性能的最关键。”Synopsys高级技术营销经理Vadhiraj Sankaranarayanan在最近发表的一份白皮书中指出,这说起来容易做起来难。

雷锋网编译,via semiengineering

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
爱卡汽车

爱卡汽车网为您提供最新汽车报价、汽车图片、车型资料、汽车论坛、汽车资讯信息,XCAR-爱卡汽车网是中国领先的汽车主题社区,其中包括85个主流品牌车型俱乐部,国内32个省市和地区分会,36个特色讨论区。

18650锂电池组生产厂家

深圳市佳能电子有限公司是国内一流的锂离子电池研发、制造为一体的高新技术企业,主要生产18650锂电池、电动车、思维车、电动工具、UPS电源、通信基站锂电池等。电话:0755-27587169

深圳华展汇国际会展有限公司

深圳华展汇国际会展有限公司是一家专业组织、承办国内外展览与会议的机构,已成为中国有影响和规模的展览会主办机构之一。在业界享有很高的声誉,公司自创立以来积极争取与各行业协会、政府部门和相关行业管理部门的大力支持,并与之保持密切的交流合作。不断吸取国内外优秀会展经验,严格管理、优质服务,积极拓展各项业务,为广大客商提供一流的展览、会议及广告服务,我们愿与社会各界朋友携手共进,共同发展。

时尚美妆网

时尚美妆网是以时尚品牌、时尚达人信息搜录报道为主的时尚生活方式新媒体网站.定位于“用时尚解读生活”,以“时尚百科全书”的服务宗旨立足于时尚前沿,引领时尚潮流,深受时尚潮人、时装设计师及时尚爱好者们的喜爱.

趣旅

您身边的海岛旅行专家,为您专业定制全球海岛旅行:马尔代夫旅游,斐济旅游,大溪地旅游,斯里兰卡旅游,塞班岛,毛里求斯旅游,海岛旅游...

北京周边旅游推荐,北京一日游两日周末景点大全,滑雪场门票团建拓展报价

潮尚旅行是北京推荐的周边游旅行社,主要为北京天津河北朋友解决一日两日周末的旅游出行线路,平台会定期组织滑雪、亲子、团建拓展等活动,为您的出行解决交通门票客栈旅店等问题。

首页

我们主要经营饮用天然矿泉水,山泉水,绿泉,包装饮用水等

天津九九云网络科技有限公司

我们是一家专业的网站建设公司,致力于为客户提供高质量的网站设计和开发服务。我们拥有一支经验丰富、技术娴熟的团队,能够根据客户的需求和要求,设计出具有创意和吸引力的网站。

全局底部横幅