开放生态才是英特尔切走生成式AI蛋糕的利器 (开放的生态)

开放生态才是英特尔切走生成式AI蛋糕的利器20241130220929_39736.jpg" loading="lazy">

英特尔本周召开了年度Intel Vision大会,大部分人会首先被比英伟达H100训练性能高70%,推理性能高50%,能效高40%,拥有TCO(总体拥有成本)的Gaudi 3吸引。

英特尔CEO帕特·基辛格发布Gaudi 3的时候也开心地跟随现场伴奏摇晃起身体。

相比之下,Intel Vision上英特尔宣布将创建一个开放平台助力企业推动AI创新很容易被忽略。

但这才是英特尔在生成式AI时代分走蛋糕最有效的利器,只有拥有开放且繁荣的生态,至强6、Gaudi3、酷睿Ultra、英特尔AI网络连接卡才更容易备受青睐。

为什么开放生态是利器?

所有人都在说CUDA生态才是英伟达在AI领域里最强的护城河,这是英伟达耗费近20年建立的庞大生态。

可是现在大多数程序员都在AI框架级别或者更高级别进行编程,使用CUDA进行低级编程已经不那么普遍。

这就意味着, 英伟达的软件生态护城河已经不像原来那样坚不可摧。 开放生态是一个追赶甚至超越英伟达的机会。

“传统模式中,几家领导公司组建一个开放联盟,各自有明确的分工,那时更多是一个选择问题。”英特尔公司副总裁、英特尔中国软件和先进技术事业部总经理 李映说,“这一次基于AI大模型的变化,是第一次出现开放、开源和整个行业或者说和技术创新的爆发点结合在一起。现在开放、开源和闭源同时出现的时候,不是选择,而是自然演变、发展的过程。”

开放、开源的生态,将会对AI未来发展起到非常重要作用的趋势已经非常明显。

这也让所有人看到,区别于以往一个开放平台或者联盟成立的时候只有几家联盟成员,英特尔联合Anyscale、Articul8、DataStax、Domino、Hugging Face、KX Systems、MariaDB、MinIO、Qdrant、RedHat、Redis、SAP、VMware、Yellowbrick和Zilliz共同宣布,将创建的开放平台宣布之时就有大量联盟成员。

开放生态才是英特尔切走生成式AI蛋糕的利器

英特尔院士、大数据技术全球首席技术官、大数据分析和人工智能创新院院长戴金权指出,“一个开放的生态,可以让同一个生态系统中的创新相互促进。并且在同一生态里的新应用场景可以互通。”

英特尔要构建一个什么样的AI开放生态?Intel Vision上基辛格给出的答案是企业AI。

开放生态才是英特尔切走生成式AI蛋糕的利器

根据cnvrg.io的调研结果,2023年,有10%的企业成功将其生成式AI项目产品化。Gartner预计,2026年80%的企业将使用生成式AI。

这样看来企业AI是一个确定性很高且潜力巨大的市场。

为企业AI构建开放的生态,需要包含三个方面: 开放的软件堆栈、开放的平台、英特尔开发者云平台。这也是一层层突破英伟达强大的AI生态壁垒。

开放生态才是英特尔切走生成式AI蛋糕的利器

“我们推出的开放联盟去搭建面向企业AI的开放平台,能够真正的帮助各个不同的RAG(检索增强生成)组件中实现互联互通,能够实现共同的努力,去构建架构蓝图这种的,保证在企业AI当中,有一个整体的可工作的框架。”李映同时表示,

“英特尔开发者云平台不仅能帮助开发者最早接触到英特尔最新的硬件, 更重要的是能够保证各种开源框架、组件在一个环境中,能够保证这种框架之间的兼容性, 开发者能够拥有更好的用户体验,提升开发效率。”

RAG对于企业AI来说至关重要。因为目前AI模型比较通用,企业的数据与这些AI模型不太相关,把企业的隐私数据和通用的模型结合在一起就变成了一个很大的挑战。

很多人都非常坚定RAG可以解决企业的数据知识增强的问题。 因为有一个开放的生态系统,有一个类似的实施标准的平台,就很容易把数据中心级别的RAG系统运行在企业的AIPC上,可以变成一个个人知识库。”戴金权说。

开放生态才是英特尔切走生成式AI蛋糕的利器

英特尔公司市场营销集团副总裁、中国区云与行业解决方案部总经理 梁雅莉就说,对于企业AI而言,开放、易部署、可扩展、可靠非常重要。

构建开放、繁荣的AI生态,是英特尔分走AI蛋糕,需要与众多生态合作伙伴一起努力的方向。

藏开英特尔企业AI生态之下的,就是英特尔完整的AI生态全景图,包含了至强6、Gaudi3、酷睿Ultra、英特尔AI网络连接卡在内的一系列硬件及oneAPI等软件产品。

开放生态才是英特尔切走生成式AI蛋糕的利器

Intel Vision上英特尔展示的硬实力,最受关注是Gaudi3,直接看数据,相比上一代Gaudi 2,Gaudi 3在BF16精度下可提供4倍的AI计算能力、1.5倍的内存带宽、2倍的网络带宽,支持大规模系统横向扩展,最多可扩展至8192个芯片的参考架构。

对比英伟达H100,训练Llama 7B、13B以及GPT-3 175B模型,Gaudi3速度比H100快40%~70%。

开放生态才是英特尔切走生成式AI蛋糕的利器

推理Llama 7B、70B以及Falcon 180B模型,速度比H100快50%,能效提高40%,在较长输入和输出序列上的推理性能优势更大。比H200也有30%的速度优势。

相比英伟达的GPU, 英特尔Gaudi提出了TCO的优势,这是Gaudi3打动客户的重要特性。

除了专用的AI加速器,英特尔的另一个杀手锏是至强处理器

去年生成式AI更关注模型的训练,对成本和功耗没那么重视,企业都希望训练一个自己的通用大模型。

“今年企业的关注重点转到了推理。对企业来说,大模型训练出来是需要推理变现且能够盈利。” 英特尔公司市场营销集团副总裁、中国区数据中心销售总经理、中国区运营商销售总经理庄秉翰说,“目前的利润大多基于通用数据中心的应用,尤其是现在CPU的迭代非常迅速,每一代CPU又会带来新的性能提升和能耗减少。”

英特尔为面向数据中心、云和边缘的下一代处理器进行了品牌焕新,即英特尔至强6。

“至强6全新的简洁品牌则是一个产品组合,可以解决数据中心在性能、功耗,以及多元工作负载等方面的各种问题。”庄秉翰介绍, 配备能效核(E-cores)的英特尔至强6处理器将于2024年第二季度推出, 提供卓越的效率,配备性能核(P-cores)的英特尔至强6处理器将紧随其后推出,带来更高的AI性能。

开放生态才是英特尔切走生成式AI蛋糕的利器

能效核的英特尔至强6处理器(代号为Sierra Forest),与第二代英特尔至强处理器相比,每瓦性能提高2.4倍,机架密度提高2.7倍。客户能以近3:1的比例替换旧系统,大幅降低能耗,实现可持续发展目标。

性能核的英特尔至强6处理器(代号为Granite Rapids),包含了对MXFP4数据格式的软件支持,与使用FP16的第四代英特尔至强处理器相比,可将下一个令牌(token)的延迟时间最多缩短6.5倍,能够运行700亿参数的Llama-2模型。

了解到,对于130亿参数以下的大模型,英特尔至强CPU都能满足。

“对企业来说, 大模型也处在初始阶段,不需要立即部署一个很大的GPU集群,这对于运维和开发来说都是很大的挑战。 如果采用逐步部署生成式AI的节奏,可以通过CPU先做一些应用部署。”庄秉翰指出。

开放生态才是英特尔切走生成式AI蛋糕的利器

在边缘端,英特尔发布了涵盖英特尔酷睿Ultra、英特尔酷睿、英特尔凌动处理器和英特尔锐炫显卡系列产品在内的全新边缘芯片,主要面向零售、工业制造和医疗等关键领域。英特尔边缘AI产品组合内的所有新品将于本季度上市,并将在今年年内获得英特尔Tiber边缘平台的支持。

在客户端的AI PC,英特尔展示了即将推出的产品。包括将于2024年推出的下一代英特尔酷睿Ultra客户端处理器家族(代号Lunar Lake),将具备超过100 TOPS平台算力,其中神经网络处理单元(NPU)将有超过46 TOPS的算力。

开放生态才是英特尔切走生成式AI蛋糕的利器

在AI全景图里,还有互联产品。

开放生态才是英特尔切走生成式AI蛋糕的利器

英特尔中国网络与边缘事业部首席技术官、英特尔高级首席AI工程师张宇说,“现在的AI系统还是采用冯诺依曼的架构,这个系统不仅要看它的算能,还要看它数据传输的能力。”

通过超以太网联盟(UEC),英特尔正在驱动面向AI高速互联技术(AI Fabrics)的开放式以太网网络创新,并推出一系列针对AI优化的以太网解决方案。

英特尔的产品组合包括英特尔AI网络连接卡(AI NIC)、集成到XPU的AI连接芯粒、基于Gaudi加速器的系统,以及一系列面向英特尔代工的AI互联软硬件参考设计。

从客户端到边缘端再到云端的推理和训练,再加上网络和软件,英特尔展示了最新的AI全景图,最重要的是英特尔宣布组建开放的企业AI生态,这才是英特尔能用强大的硬件在AI市场分到蛋糕的关键。

并且,英特尔在生成式AI从训练转向推理的关键节点,选择企业AI这一对生成式AI更有付费能力的市场构建开放生态, 在恰当的时间点选择了正确的战略。

接下来就是英特尔的执行力以及生成式AI能否帮助企业盈利的问题。

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
北京刑事律师

刑事辩护网拥有着优秀的刑事辩护律师团队,成功代理过多起重大刑事辩护案件,资深刑事辩护律师为当事人提供专业、高质的法律服务。

皮书网

皮书数据库是以皮书系列丛书为基础,全面整合中国经验与中国道路、世界经济与国际关系方面的学术研究资源和媒体资讯,为分析解读当今中国与世界的现状和发展趋势提供知识服务的智库产品,并以此为基础建立起此类学术研究资源和媒体资讯的运营发布平台。

盈诺德

OracleEBS实施,EBS开发,EBS培训,EBS运维,Oracle系统升级

出会网

出会网旨在让更多网友可以出门多做运动,这样大家才会有一个健康的好身体。

广东不锈钢玻璃防火门

广东固盾防火门生产厂家全国销售电话:18075925566专业生产销售钢质防火门,不锈钢防火玻璃门,不锈钢玻璃防火门,不锈钢防火门,KTV不锈钢防火门,电影院隔音防火门,防火卷帘门,木质防火门芯,防火窗.固盾防火门产品通过国家防火门3C强制性认证。公司具有一批优秀防火门设计师团队,采用防火门自动生产线流水作业,以优惠的防火门价格,过硬的防火门质量保证防火门通过消防验收标准赢得大批客户好评。

物联网平台

ThingsKit是一个开箱即用的物联网平台,它可以帮助您快速实现物联网的数据收集、分析处理、可视化和设备管理,支持通过行业标准物联网协议(MQTT、TCP、UDP、CoAP和HTTP)实现设备连接,帮助您屏蔽物联网的复杂特性,让您专注业务应用开发,缩短物联网项目的交付周期。

佛山奥晶科技有限公司

佛山奥晶科技有限公司是一家专业从事柔性导光条纳米导光棒、导光柱、光膜、侧光光纤、通体光纤、侧面发光光纤,通体发光光纤、刻痕导光条、丝印导光条、塑料光纤、石英光纤光缆系列相关产品的集科研开发、产和销售于体的高新技术企业。

手机游戏

233小游戏下载网提供好玩的手机游戏下载,这里有热门海量精品手机游戏,新热好玩的安卓游戏/iphone游戏/苹果ios/应用免费下载,手游排行榜2023前十名推荐尽在233小游戏下载网.

广州卓羽建筑工程有限公司是

广州卓羽建筑工程有限公司是_建筑物防水_堵漏灌浆_加固改造是一家集科研、开发、设计、施工、服务五位一体的综合技术密集型企业,公司技术力量雄厚,人才配备完整,施工、技术、服务水平专业!

甘肃居立门业

甘肃居立门业有限责任公司是西北五省规模大、设备模具全的防盗门生产基地,是集各类门业研发、设计、生产、销售、服务为一体的现代化企业。

全局底部横幅