10年内单个集群价值将达万亿美元 出天际 贵 芯片集群 (十年内包括第十年吗)
1958年，德州仪器的杰克.基尔比（Jack Kilby）设计出了带有单个晶体管的硅芯片。1965年，仙童半导体已经掌握了如何制造一块拥有50个晶体管的硅片。正如仙童半导体的联合创始人戈登.摩尔（Gordon Moore）当年观察到的那样，一块硅片上可容纳的晶体管数量几乎每年翻一番。
2023年，苹果发布了iPhone 15 Pro，由A17仿生芯片驱动，这款芯片拥有190亿个晶体管。56年来，晶体管的密度增加了34倍。这种指数级的进步，被粗略地称为摩尔定律，一直是计算机革命的引擎之一。随着晶体管变得越来越小、越来越便宜以及速度越来越快，今天实现了手握“超级计算机”的奇迹。但人工智能时代需要处理的数据数量之多，已经将摩尔定律推向了极限。
几乎所有现代人工智能中的神经网络都需要经过训练，以确定正确的权重（权重用来衡量输入信号对于神经元的影响程度，即不同输入的重要性权重），从而为其数十亿，有时甚至数万亿的内部连接赋予正确的权重。这些权重以矩阵的形式存储，而训练模型则需要使用数学方法对这些矩阵进行操作。
单层神经网络的本质是矩阵相乘 ，两个按行和列排列的数字矩阵集合被用来生成第三个这样的集合，第三个集合中的每个数字都是通过将第一个集合中某一行的所有数字与第二个集合中某一列的所有数字相乘，然后相加而得到的。如果矩阵很大，有几千或几万行几万列，而且需要随着训练的进行反复相乘，那么单个数字相乘和相加的次数就会变得非常多，这就是人工智能的“思考方式”，通过对输入数据的处理得出答案。
然而，神经网络的训练并不是唯一一种需要高效处理矩阵乘法运算的技术。游戏产业高质量的视觉呈现同样需要这一技术，在25年前，这是一个巨大的市场。为了满足这一需求，英伟达率先设计了一种新型芯片，即图形处理器（GPU），在这种芯片上布置并连接晶体管，使其能够同时进行大量矩阵乘法运算。与大多数中央处理器（cpu）相比，GPU可以更大批量地处理数据，而且能耗更低。
2012年，训练AlexNet（开创 “深度学习 ”时代的模型）需要为6000万个内部连接分配权重。这需要4.7x10^17次浮点运算（flop，算力最基本的计量单位），每次浮点运算大致相当于两个数字的相加或相乘。此前，这么多的计算量是不可能完成的，但当时两个GPU就完成了AlexNet系统的训练。相比之下，如果使用当时最先进的CPU仍需要耗费大量的时间和算力。
乔治城大学安全与新兴技术中心最近发布的一份报告称，在用于训练模型时， GPU的成本效益比CPU高出10-100 倍 ，速度提升1000倍。 正是因为有了GPU，深度学习才得以蓬勃发展。不过，大型语言模型（LLM）进一步推动了对计算的需求。
「Scaling Laws」打破「Moore's Law」
2018年，OpenAI的研究人员亚历克.拉德福德（Alec Radford）利用谷歌研究人员在“Attention Is All You Need”中提出的Transformers（采用注意力机制的深度学习模型），开发了一种生成式预训练变换器，简称GPT。他和同事们发现，通过增加训练数据或算力，可以提高大模型的生成能力，这个定律被称为“Scaling Laws”。
由于行业遵从Scaling Laws定律，大语言模型的训练规模越来越大。据研究机构Epoch ai估计，2022年训练GPT-4 需要2x10^25个 flop，是十年前训练AlexNet所用算力的4000万倍，花费约1亿美元。Gemini-Ultra是谷歌在2024年发布的大的模型，其成本是GPT-4的两倍，Epoch ai估计它可能需要5x10^25个flop。这些总数大得难以置信，堪比可观测宇宙中所有星系的恒星总数，或太平洋中的水滴合集。
过去，解决算力不足的办法就是耐心等待，因为摩尔定律还在生效，只需要等上一段时间，新一代的芯片就会集成更多更快的晶体管。但摩尔定律已经逐渐失效，因为现在单个晶体管的宽度只有几十纳米（十亿分之一米），要想实现性能的定期跃升已变得非常困难。芯片制造商仍在努力将晶体管做得更小，甚至将它们垂直堆叠起来，以便在芯片上挤出更多的晶体管。但是，性能稳步提升而功耗下降的时代已经过去。
随着摩尔定律放缓，想要建立更大的模型，答案不是生产更快的芯片，而是打造更大的芯片集群。OpenAI内部透露，GPT-4是在25000个英伟达的A100上训练的，这些GPU集群在一起，以减少在芯片间移动数据时造成的时间和能量损失。
Alphabet、亚马逊、Meta和微软计划在2024年投资2000亿美元用于人工智能相关的领域，比去年增长45%，其中大部分将用于打造大规模的芯片集群。据报道，微软和OpenAI正计划在威斯康星州建立一个价值1000亿美元的集群，名为 “星际之门”（Stargate）。硅谷的一些人则认为， 十年内将出现一个价值１万亿美元的集群。 这种超大规模基础设施建设需要消耗大量能源，今年３月，亚马逊在一座核电站隔壁购买了一个数据中心，该核电站可为其提供千兆瓦的电力。
对人工智能领域的投资并不全是在GPU及其功耗上，因为模型一旦训练完成，就必须投入使用。使用人工智能系统所需要消耗的算力，通常约为训练所需算力的平方根，这样的算力需求仍然很大。例如，GPT-3需要３x10^23flop的算力来训练，则推理需要3x10^11flop算力。FPGA和ASIC芯片是专为推理量身定制的，在运行人工智能模型方面，比使用GPU更高效。
不过，在这股热潮中表现最好的还是英伟达。英伟达的主导地位不仅来自其在GPU制造方面积累的技术和投入大量的资金（黄仁勋称，Blackwell的开发成本高达100亿美元）。此外，英伟达还拥有用于芯片编程的软件框架，即近乎已成为行业标准的CUDA。
竞争对手都在寻找英伟达的弱点。AI芯片独角兽企业SambaNova Systems的CEO Rodrigo Liang称，英伟达的芯片有几个缺点，这可以追溯到它们最初在游戏中的用途。其中一个特别大的问题是，在数据存取方面的能力有限（因为一个GPU无法容纳整个模型）。
另一家AI芯片初创公司Cerebras则推出了21.5厘米宽的“晶圆级”处理器。目前的大部分GPU包含大概成千上万个独立内核，可以进行并行计算过，而Cerebras开发的芯片包含近100万个。Cerebras声称，其另外一个优势是，它的能耗仅为英伟达最好芯片的一半。谷歌则推出了自己的张量处理单元（TPU），可用于训练和推理。其Gemini 1.5 ai模型一次摄取的数据量是GPT-4的八倍，部分原因就是采用了定制芯片。
尖端GPU的巨大价值与日俱增，使其成为地缘政治的筹码。虽然芯片产业是全球性的，但只有少数几个国家的技术控制着进入芯片产业高地的通道。英伟达的芯片在美国设计，世界上最先进的光刻机由荷兰公司ASML制造，而只有台积电和英特尔等尖端代工厂才能使用最顶级的光刻机。对于许多其他设备来说，地缘政治因素同样暗流涌动，日本是其中的另一个主要国家。
发展芯片和人工智能技术带来的政治博弈，使各国在这两个技术领域的投入不断增加，美国政府对向中国出口先进芯片实施严厉的管控，而中国正在投资数千亿美元来建立自己的芯片供应链。大多数分析人士认为，中国在这方面与美国仍存在较大的差距，但由于华为等公司的大笔投资，中国应对出口管制的能力比美国预期的要好得多。
美国也在加大投资力度，台积电在亚利桑那州投资约650亿美元建立晶圆厂，并获得约66亿美元的补贴。其他国家同样积极参与到这场竞争中，印度投入100亿美元、德国160亿美元以及日本260亿美元，未来，通过垄断人工智能芯片以阻碍其他国家人工智能产业技术发展的方式或许将会失效。
本文由编译自：
原创文章，未经授权禁止转载。详情见 转载须知 。
广东绿康房屋科技有限公司致力于新型装配式轻钢别墅房屋研发设计、生产安装、销售与技术咨询为一体的现代科技型企业。公司拥有完整的新型装配式房屋产业链，将建立起从房屋的展示、销售、设计、生产、安装到售后服务一站式解决方案。欢迎来电咨询！
站长工具ICP备案可通过域名、备案号、公司名称查询备案信息，备案信息有域名、备案主体单位（个人或公司）、备案号等，还展示备案企业工商信息、该单位当前备案、注销备案及备案历史信息。
星辉互联创于2006年,一站式网站建设和网站建设系统。满足各类，网站建设、网站建设制作、建网站、网站搭建、网站建设订制等需求。是500,0000家用户建站首选！提供7x24小时网站建设，企业零基础在线建站，让网站建设不再困难。
翔宇物业管理有限公司，资质等级为国家一级，是滕州一级资质物业企业，是集社会化、市场化、专业化、规模化为一体的专业物业服务公司。
合肥博耀地坪工程有限公司坐落于中国安徽省合肥市，是一家致力于设计、施工的企业，公司自成立以来，凭借精湛专业技术，优良的施工品质，完善周到的售后服务，承接了全国各地数百个地面改造工程，工程质量受到了广大客户的一致好评。专业从事工业厂房地坪系统、密封固化剂地坪、耐磨硬化系统、停车场地坪系统、商业市政地坪系统等的地坪企业。
明彩装饰创始人自2008年进入装饰建材行业，涉及瓷砖、木门、灯具、订制等：2008年至2016年服务客户已达2268余家，因秉承品质、信誉至上的服务理念在同行及客户中树立了良好的口碑，应老客户建议及个人理念，于2016年正式成立明彩装饰。
霸气卧龙吟又名87卧龙吟，上线VIP10，活动丰富，赠送大量资源；内容无修改,无删减。致力于精细化运营和优质的客服质量,打造一个轻松、休闲、益智的经典三国策略游戏。+
eve手游网为广大用户提供各种类型的手机软件、手机游戏下载，在这里你可以看到新鲜的手游资讯第一时间了解到游戏动态，同时还有精品攻略、手机教程等，为玩家提供丰富多彩的游戏体验。
舟山市慈善总会是由热心慈善事业的公民、法人及其他社会组织自愿参加的全市性非营利性公益社会团体，依法登记注册，具有独立法人资格。舟山市慈善总会以开展社会救助，帮助困难群体，促进公共福利事业发展，为推动全市经济和社会和谐稳定发展服务。
有你陪我
网站描述
云南科华加固是专业加固改造施工队伍,是一家以房屋加固改造,桥梁、建筑结构补强,地基基础加固改造设计施工的云南加固公司,专业资质,价格合理,咨询电话:0871-63989458。
1965年，时任仙童半导体公司工程师，也是后来英特尔的创始人之一的戈登·摩尔，GordonMoore，提出了摩尔定律，Mooreslaw，，预测集成电路上可以容纳的晶体管数目大约每经过24个月便会增加一倍，后来广为人知的每18个月芯片性能将提高一倍的说法是由英特尔CEO大卫·豪斯，DavidHouse，提出，过去的半个多世纪，半导体行...。
雷锋网按，AMD新推出的CPU凭借小芯片的设计以及先进的制程获得了巨大成功，intel也发布了采用3D封装的CPU，不过，目前小芯片只为少数公司提供了竞争优势，这一为摩尔定律，续命，的技术想要普及，面临技术方面的挑战，包括标准、良率、功耗、散热、工具、测试等挑战，同时还面临着生态和制造的挑战，没有人能准确判断小芯片普及的时间，但可以肯...。
自各家芯片厂商开始将芯片微缩制程作为发展重点开始，业内关于，摩尔定律是否就快走到尽头，的讨论就未停止过，中国工程院院士许居衍曾就下一波芯片技术前瞻主题，针对CMOS和新器件、冯·诺伊曼架构和新兴架构列举了四类技术方向，一类是硅CMOS技术与冯·诺依曼结合的，硅·冯，范式；一类是能进入跟CMOS雷同的二值开关，新器件与冯·诺伊曼架构的结...。
作为当之无愧的IT行业重大进步的创造者和引领者，英特尔一直以推动尖端技术创新著称，从前端智能互联的PC、可穿戴设备、智能家居等消费级产品，到后端提供澎湃计算力的数据中心，英特尔正在摩尔定律指引下，引领数字智慧时代的计算架构迭代和创新，如今，计算力和数据量的加速融合让更具数字洞察力和智慧的人工智能时代，成为人类社会迈入前所未有的新阶段，...。
近日，英特尔拟推出一款全新的PSM4硅光子学产品，这款产品能在两公里的距离内实现每秒100G的速率传输数据，业界有多种因素和趋势如云计算、大数据正在推动在下一代数据中心设计和架构中实施并行单模四路，ParallelSingleModeQuad，PSM4，和硅光子，SiliconPhotonics，SiPH，PSM4和硅光子在数据中心...。
近日IBM宣布已经研制成功实用化的硅光学芯片，让这项已经有二十年发展历史的技术看到了大规模商用化的曙光，前世早在上世纪九十年代，IT从业者就开始为半导体芯片产业寻找继任者，光子计算、量子计算、生物计算、超导计算等概念一时间炙手可热，它们的目标都是在硅芯片发展到物理极限后取而代之，以延续摩尔定律，其中光子计算一度被认为是最有希望的未来技...。
雷锋网在昨日的文章，详细解读7nm制程，看半导体巨头如何拼了老命为摩尔定律延寿，中指出台积电，TSMC，在7nm上选择了求稳路线，Digitimes报道21日台积电举办技术研讨会，CEO魏哲家表示7nm制程的芯片已经开始量产，并驳斥了台积电7nm良率提升缓慢的传言，同时他还透露台积电的5nm制程将会在2019年年底或2020年初投入量...。
软银证实对滴滴出行投资规模，345亿元TechCrunch上个月报道称，滴滴出行证实4月28日完成一轮金额达人民币380亿元的融资，募集的资金将用于海外扩张，加大对人工智能等新兴领域的投资，近日，日本电信巨头软银已经证实对中国打车服务滴滴出行的投资规模，人民币345亿元，软银在2017财年年报中披露了对滴滴出行投资的金额，，软银一个海...。
提及半导体行业，国产替代是绕不开的话题，1965年，戈登摩尔提出了摩尔定律，对半导体行业做出精准预测，国际芯片巨头公司也展就此展开，制程竞赛，，从材料、架构等方面突破，从7nm发展到5nm，与此同时，国内最先进晶圆厂才到达14nm，面临技术困境，国产替代似乎遥遥无期，但事实真的如此吗，如果将先进工艺制程的国产替代之困因归咎于技术难题，...。
近日，芯片巨头英特尔终于宣布其10nm芯片有望在2019年下半年开始出货，摩尔定律发展到今天已经失效，这些年来，英特尔在10nm工艺制程上一直发展不顺利，近乎难产，以至于从2015年发布Skylake架构芯片以来，该公司一直在14nm工艺上修修补补，甚至有传言称英特尔内部已完全放弃10nm计划，所幸，英特尔宣布明年将推出下一代Sunn...。
1965年，戈登·摩尔等人提出，摩尔定律，，即集成电路芯片上可集成的晶体管数目大约每隔18个月就增加一倍，芯片性能提升一倍，价格减半，以往，半导体产业跟随摩尔定律逐年增长，但近几年，摩尔定律发展放缓，半导体产业是否依然能够快速增长成为众人心中的疑虑，在本周ASPENCORE主办的，2020全球高科技领袖论坛，全球CEO峰会&，全...。
英特尔在最近的电话财报会议期间公布了其第一季度营收达到168亿美元，同比增长16％，这一业绩再创记录，并且英特尔还将其全年业绩目标提高至675亿美元，比之前提高了25亿美元，不过，CEO布莱恩·科再奇，BrianKrzanich，承认其10纳米工艺制程，略有些激进，，还面临生产问题，量产将推迟到2019年的某个时间，因此，英特尔今年还...。
2020年10月26日，华大智造智能制造及研发基地项目开工活动在武汉光谷隆重举办，该项目位于武汉市东湖新技术开发区神墩二路，基础设施投资12.64亿元，总投资预计达到24亿元人民币，项目规划总建筑面积达8.6万平方米，预计2022年完成一期建成投产，华大智造智能制造及研发基地项目开工活动现场湖北省委常委、武汉市委书记王忠林，武汉市委副...。
当地时间1月5日，2023国际消费电子产品展览会，CES2023，在美国拉斯维加斯正式开幕，雷鸟创新在展会上推出的新一代双目全彩MicroLED光波导AR眼镜雷鸟X2，采用业界最优的MicroLED，衍射光波导方案，在MicroLED全彩显示、光波导亮度、全自研光引擎精密及小型化等关键技术上取得显著突破，据了解，雷鸟X2在海外以Ray...。
外地时期9月30日，总台记者得知，日本候任首相石破茂已确定在10月27日启动日外国会众议院选举投票开票，外地时期9月27日，日本自民党总裁选举投票正式开局，最终石破茂在第二轮投票中取得少数选票，入选自民党新任总裁，他将在10月1日经国会指名选举，接任首相，日本首相由政党提名、国会众参两院议员投票选举发生，普通而言由在国会众议院占据少数...。
8月28日，在青岛市崂山景色区出现一同交通意外，一名男性驾驶红色路虎越野车逆行插队未果，追尾前方大巴车，该男性下车后迁怒对向反常行驶的司机，疯狂唾骂，连扇对方十几个耳光，被打司机口鼻流血，并未还手，女司机殴打男司机，视频截图，8月29日，青岛市公安局崂山分局通报称，对涉事男性王某处以行政扣留10日，罚款1000元的处分，31日，崂山区...。
11·4万安干部选拔风云2024年11月4日，江西吉安市万安县委组织部颁布一则干部任前公示，其中包含3名，95后，年轻女干部，拟提名乡镇人大副职，均为在职大专学历......。