10年内单个集群价值将达万亿美元 出天际 贵 芯片集群 (十年内包括第十年吗)

文章编号:43208 资讯动态 2024-12-09 Laws芯片集群摩尔定律Scaling

1958年,德州仪器的杰克.基尔比(Jack Kilby)设计出了带有单个晶体管的硅芯片。1965年,仙童半导体已经掌握了如何制造一块拥有50个晶体管的硅片。正如仙童半导体的联合创始人戈登.摩尔(Gordon Moore)当年观察到的那样,一块硅片上可容纳的晶体管数量几乎每年翻一番。

2023年,苹果发布了iPhone 15 Pro,由A17仿生芯片驱动,这款芯片拥有190亿个晶体管。56年来,晶体管的密度增加了34倍。这种指数级的进步,被粗略地称为摩尔定律,一直是计算机革命的引擎之一。随着晶体管变得越来越小、越来越便宜以及速度越来越快,今天实现了手握“超级计算机”的奇迹。但人工智能时代需要处理的数据数量之多,已经将摩尔定律推向了极限。

芯片集群「贵」出天际,10年内单个集群价值将达万亿美元

几乎所有现代人工智能中的神经网络都需要经过训练,以确定正确的权重(权重用来衡量输入信号对于神经元的影响程度,即不同输入的重要性权重),从而为其数十亿,有时甚至数万亿的内部连接赋予正确的权重。这些权重以矩阵的形式存储,而训练模型则需要使用数学方法对这些矩阵进行操作。

单层神经网络的本质是矩阵相乘 ,两个按行和列排列的数字矩阵集合被用来生成第三个这样的集合,第三个集合中的每个数字都是通过将第一个集合中某一行的所有数字与第二个集合中某一列的所有数字相乘,然后相加而得到的。如果矩阵很大,有几千或几万行几万列,而且需要随着训练的进行反复相乘,那么单个数字相乘和相加的次数就会变得非常多,这就是人工智能的“思考方式”,通过对输入数据的处理得出答案。

芯片集群「贵」出天际,10年内单个集群价值将达万亿美元

然而,神经网络的训练并不是唯一一种需要高效处理矩阵乘法运算的技术。游戏产业高质量的视觉呈现同样需要这一技术,在25年前,这是一个巨大的市场。为了满足这一需求,英伟达率先设计了一种新型芯片,即图形处理器(GPU),在这种芯片上布置并连接晶体管,使其能够同时进行大量矩阵乘法运算。与大多数中央处理器(CPU)相比,GPU可以更大批量地处理数据,而且能耗更低。

2012年,训练AlexNet(开创 “深度学习 ”时代的模型)需要为6000万个内部连接分配权重。这需要4.7x10^17次浮点运算(flop,算力最基本的计量单位),每次浮点运算大致相当于两个数字的相加或相乘。此前,这么多的计算量是不可能完成的,但当时两个GPU就完成了AlexNet系统的训练。相比之下,如果使用当时最先进的CPU仍需要耗费大量的时间和算力。

乔治城大学安全与新兴技术中心最近发布的一份报告称,在用于训练模型时, GPU的成本效益比CPU高出10-100 倍 ,速度提升1000倍。 正是因为有了GPU,深度学习才得以蓬勃发展。不过,大型语言模型(LLM)进一步推动了对计算的需求。

「Scaling Laws」打破「Moore's Law」

2018年,OpenAI的研究人员亚历克.拉德福德(Alec Radford)利用谷歌研究人员在“Attention Is All You Need”中提出的Transformers(采用注意力机制的深度学习模型),开发了一种生成式预训练变换器,简称GPT。他和同事们发现,通过增加训练数据或算力,可以提高大模型的生成能力,这个定律被称为“Scaling Laws”。

由于行业遵从Scaling Laws定律,大语言模型的训练规模越来越大。据研究机构Epoch ai估计,2022年训练GPT-4 需要2x10^25个 flop,是十年前训练AlexNet所用算力的4000万倍,花费约1亿美元。Gemini-Ultra是谷歌在2024年发布的大的模型,其成本是GPT-4的两倍,Epoch ai估计它可能需要5x10^25个flop。这些总数大得难以置信,堪比可观测宇宙中所有星系的恒星总数,或太平洋中的水滴合集。

过去,解决算力不足的办法就是耐心等待,因为摩尔定律还在生效,只需要等上一段时间,新一代的芯片就会集成更多更快的晶体管。但摩尔定律已经逐渐失效,因为现在单个晶体管的宽度只有几十纳米(十亿分之一米),要想实现性能的定期跃升已变得非常困难。芯片制造商仍在努力将晶体管做得更小,甚至将它们垂直堆叠起来,以便在芯片上挤出更多的晶体管。但是,性能稳步提升而功耗下降的时代已经过去。

随着摩尔定律放缓,想要建立更大的模型,答案不是生产更快的芯片,而是打造更大的芯片集群。OpenAI内部透露,GPT-4是在25000个英伟达的A100上训练的,这些GPU集群在一起,以减少在芯片间移动数据时造成的时间和能量损失。

Alphabet、亚马逊、Meta和微软计划在2024年投资2000亿美元用于人工智能相关的领域,比去年增长45%,其中大部分将用于打造大规模的芯片集群。据报道,微软和OpenAI正计划在威斯康星州建立一个价值1000亿美元的集群,名为 “星际之门”(Stargate)。硅谷的一些人则认为, 十年内将出现一个价值1万亿美元的集群。 这种超大规模基础设施建设需要消耗大量能源,今年3月,亚马逊在一座核电站隔壁购买了一个数据中心,该核电站可为其提供千兆瓦的电力。

对人工智能领域的投资并不全是在GPU及其功耗上,因为模型一旦训练完成,就必须投入使用。使用人工智能系统所需要消耗的算力,通常约为训练所需算力的平方根,这样的算力需求仍然很大。例如,GPT-3需要3x10^23flop的算力来训练,则推理需要3x10^11flop算力。FPGA和ASIC芯片是专为推理量身定制的,在运行人工智能模型方面,比使用GPU更高效。

不过,在这股热潮中表现最好的还是英伟达。英伟达的主导地位不仅来自其在GPU制造方面积累的技术和投入大量的资金(黄仁勋称,Blackwell的开发成本高达100亿美元)。此外,英伟达还拥有用于芯片编程的软件框架,即近乎已成为行业标准的CUDA。

竞争对手都在寻找英伟达的弱点。AI芯片独角兽企业SambaNova Systems的CEO Rodrigo Liang称,英伟达的芯片有几个缺点,这可以追溯到它们最初在游戏中的用途。其中一个特别大的问题是,在数据存取方面的能力有限(因为一个GPU无法容纳整个模型)。

另一家AI芯片初创公司Cerebras则推出了21.5厘米宽的“晶圆级”处理器。目前的大部分GPU包含大概成千上万个独立内核,可以进行并行计算过,而Cerebras开发的芯片包含近100万个。Cerebras声称,其另外一个优势是,它的能耗仅为英伟达最好芯片的一半。谷歌则推出了自己的张量处理单元(TPU),可用于训练和推理。其Gemini 1.5 ai模型一次摄取的数据量是GPT-4的八倍,部分原因就是采用了定制芯片。

尖端GPU的巨大价值与日俱增,使其成为地缘政治的筹码。虽然芯片产业是全球性的,但只有少数几个国家的技术控制着进入芯片产业高地的通道。英伟达的芯片在美国设计,世界上最先进的光刻机由荷兰公司ASML制造,而只有台积电和英特尔等尖端代工厂才能使用最顶级的光刻机。对于许多其他设备来说,地缘政治因素同样暗流涌动,日本是其中的另一个主要国家。

发展芯片和人工智能技术带来的政治博弈,使各国在这两个技术领域的投入不断增加,美国政府对向中国出口先进芯片实施严厉的管控,而中国正在投资数千亿美元来建立自己的芯片供应链。大多数分析人士认为,中国在这方面与美国仍存在较大的差距,但由于华为等公司的大笔投资,中国应对出口管制的能力比美国预期的要好得多。

美国也在加大投资力度,台积电在亚利桑那州投资约650亿美元建立晶圆厂,并获得约66亿美元的补贴。其他国家同样积极参与到这场竞争中,印度投入100亿美元、德国160亿美元以及日本260亿美元,未来,通过垄断人工智能芯片以阻碍其他国家人工智能产业技术发展的方式或许将会失效。

本文由编译自:

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
七喜影院

七喜影院网为您提供最新电视剧排行榜,韩国、美国、英国、日本、泰国、香港TVB全新电视剧、好看的电视剧等热播电视剧排行榜,并提供免费高清电视剧在线观看,在线看电视剧尽在七喜影院!

老客网

老客网是完全免费发布信息的分类信息网站,涵盖房产、车辆交易、教育培训、二手货、宠物用品、招聘求职、家政服务、装修建材、旅游酒店、招商加盟、医疗健康、餐饮美食、美容美发等分类。是商家免费发布信息、推广产品服务的理想平台。

正版云转码

云转码视频系统提供网页大文件上传+服务器端转码切片软件+流媒体软件+防盗链软件+分发软件,通过简单操作就可以整合到任何网站系统。

美考网

美术高考网www.mkao.cn创建于2006年,美考网定位于美术高考信息查询网站,为广大艺考生和家长提供最新的艺术院校招生简章、成绩查询、美术培训班画室、查询美术高考信息就上美考网。

不锈钢截止阀

温州市龙湾永兴鑫荣达阀门厂是一家专业生产球阀,闸阀,截止阀的阀门供应商。以质量求生存,以科技为发展。联系电话:0577-887677890577-88757879销售热线:15958706338

瑞典米卡

瑞典米卡艺术涂料是国际化高端艺术涂料品牌,截至目前,累计为全国120万+家庭提供优质的艺术涂料软装服务,在全国拥有1200+代理商,1300+终端门店。凭借“墙面效果就是好”的品牌主张,“好产品、好工艺、好色彩、好榜样”四大战略配称,为消费者打造环保、高品质的美好生活。

广州软件开发公司

广州软件开发公司,可承接管理软件、网站、WEB系统、微信小程序、H5系统、各类业务软件、各类APP软件等的定制开发、外包、软件人力外包、二次开发等

沂南攀峰骨科医院

沂南攀峰骨科医院沂南攀峰骨科医院原为沂南中医整骨医院,始建于1978年,1998年经上级批准扩建为沂南攀峰骨科医院。是以骨科疾病诊疗、康复为主具有中医特色的非营利骨科医院,在骨科疾病治疗、康复等方面有独到之处。医院连续多年被县卫健系统评为优秀先进单位。

不锈钢耐震压力表

安徽世控仪表有限公司主要经营锈钢耐震压力表,不锈钢膜盒压力表,抗震压力表,耐震压力表,隔膜压力表,一体化温度变送器,压力仪表,不锈钢耐震压力表,不锈钢膜盒压力表,温度仪表,液位仪表等,电话:13505509911.

爱教书的郑爷爷

爱教书的郑爷爷-123作业

一链通

一链通科技依托自主研发运营的“数字化综合物流交易平台”,以内外贸集装箱海运自营产品为核心,为行业、客户及合作伙伴降低成本、提高效率、提升服务、创造价值,共同构建数字物流生态圈。

全局底部横幅