Habana在英伟达牢固的AI训练城墙上打开了一道口 (habanacuba雪茄多少钱一支)

文章编号:45766 资讯动态 2024-12-09 HabanaGaudi云端AI芯片

在利润丰厚的云端AI芯片市场,英特尔和英伟达凭借CPU和GPU分别占领着云端AI推理和训练市场超九成的份额。即便如此,想要进入云端芯片市场的挑战者不少,但取得重大突破的挑战者寥寥无几,以色列公司Habana Labs算是其中一个。

近期举行的AWS re:Invent 2020(亚马逊 re:Invent 2020)大会上,AWS宣布采用最多8个Habana Gaudi加速器的EC2实例,性价比相较目前基于GPU的EC2实例提升高达40%,计划2021年上半年提供使用。

Habana在英伟达牢固的AI训练城墙上了一道口

Habana Labs在英伟达牢固的云端AI训练市场取得的突破能否进一步扩大?AI云端芯片市场真的只会是英特尔的英伟达占绝对主导吗?

用40%性价比提升突破英伟达的GPU训练城墙

之所以说Habana Labs在英伟达AI训练芯片的牢固城墙上打开了一道口有两个原因,一是在AI训练芯片市场,英伟达GPU占有绝对的主导地位,像亚马逊这样的科技巨头除了自研芯片,很少采用其它训练芯片,这是一个标志性的突破。

另外,Gaudi加速器此次是在tensorflow上训练ResNet-50模型展现出了更高的性价比,是单点突破,而非全面的优势。

根据AWS内部的测试,Habana Labs的EC2实例比目前GPU在机器学习性价比上提升了40%。8卡的Gaudi解决方案可以在TensorFlow上每秒处理12000张图像训练ResNet-50模型。

雷锋网了解到,当下众多数据中心使用的Tesla V100 GPU,8卡训练TensorFlow ResNet-50的速度是7600张/秒。今年5月发布的最新英伟达A100 GPU 8卡则可以达到1.7万张/秒的速度。

可以看到,相比上一代V100 GPU,Gaudi有显著优势,但比最新A100 GPU性能还是有一定差距。功耗方面,根据英伟达官方的数据,NVLink接口的A100 GPU最大功耗为400W,PCIe接口的A100最大功耗为250W。

Habana Labs中国区总经理于明扬告诉雷锋网,16纳米制程的Gaudi功耗在260W-300W之间,功耗比A100 GPU略有一点优势。Habana Labs在现有制程和功耗上的表现,说明整个架构相对A100 GPU没有任何劣势,应该还有一定的优势。

Habana在英伟达牢固的AI训练城墙上了一道口

在工艺制程提升越来越难的当下,通过架构创新实现性能的提升更显重要,特别是在模型参数越来越大的云端训练领域。于明扬说:“我们芯片架构设计有两个重要的考量点,一个是考虑芯片本身利用数据方面的需求,再一个是通过并行化解决数据需求。”

他进一步表示,单一芯片架构变化不会那么快,通过并行化对整个训练系统性能的提升会更加高效、实用。业界也认识到片间互联以及系统间互联对整个训练系统性能的影响,因此在互联上花费更多精力去设计更加高效的训练系统应对未来更大规模的模型。

Habana Gaudi的做法是每个处理器集成32GB的HBM2内存,并集成用于服务器内部处理器互联的RoCE功能,可以使用多个基于Gaudi的系统实现高效和可扩展的分布式训练。

Habana在英伟达牢固的AI训练城墙上了一道口

但想要打动已经使用英伟达GPU训练AI的公司,性价比只是一方面。

“现在客户接受新产品会同时考虑性价比和软件生态。性价比要达到主流平台的两倍以上,客户才有动力去尝试一个新平台。”于明扬说:“软件方面需要客户可以很方便和快捷的将现有模型移植到新的平台,并且只有很少的性能和精度损失。”

这就需要有一个比较好的软件生态,既提供完整的工具链,软件也有很高的灵活度,最好能帮助客户实现无缝迁移。 于明扬表示,“AWS选择Habana也是这两个考虑,一个是Habana目前在训练上性价比是唯一能挑战英伟达的产品,另一个是软件的易用性也被AWS接受。”

据悉,与Gaudi匹配的Habana SynapseAI软件套件与TensorFlow和Pythorch等流行的深度学习框架集成,并对Gaudi进行了优化。开发人员将可以获取开放的Gaudi软件、参考模型和文档。

接下来,Habana Labs能否进一步打开云端训练市场,英特尔非常关键。

英特尔在AI训练市场双重出击

2020年1月,英特尔宣布以20亿美元的价格收购Habana。

谈及为何选择英特尔,于明扬解释,“考虑到保持企业的属性不变持续提供产品和服务,减少客户的担忧,我们更倾向于选择一个中立的公司。英特尔对Habana而言是最理想的,一个是因为英特尔有足够的客户群,可以给我们很多支持。另一个是能够给我们带来更加稳定的技术资源和资金支持,增加客户对我们的信任。”

Habana被英特尔收购之后独立运营,团队规模扩大了3倍,向Data Platform Group(数据中心事业部)汇报,在销售和市场方面与英特尔有非常紧密的合作。

雷锋网了解到,AWS在明年一月份开放Gaudi资源申请之后,大概需要经过半年的时间才会给出明确的结论,之后才能看到Gaudi是否可以有比较大的量的突破。另外,Habana在国内已经与头部和二线互联网公司建立了广泛的合作,它们基本已经开始试用Habana产品,有的客户已经开始批量采购。

Habana能否进一步打开云端训练市场,产品的持续迭代,以及与英特尔的融合都是关键因素。

根据Habana的说法,其下一代云端训练AI芯片Gaudi2将基于台积电7nm工艺,在Gaudi效能的基础上进一步提升。同样明确的是,Habana会把训练和推理的产品分开。

“推理对性价比的关注度更高,数据可以一次性加载到芯片的片内内存中效率更高。但训练需要反复加载数据,需要更大的片内和片外内存,还要提供高带宽和低延迟,要将两种特性结合是比较大的挑战。我们会针对不同的场景提供更适合的产品,给客户更好体验。”于明扬解释。

这些产品都会融入英特尔的体系, 于明扬透露:Gaudi计划在明年加入oneAPI体系。

oneAPI是为了应对异构硬件带来的软件编程复杂性挑战,英特尔提出的统一软件平台,不仅将其CPU、GPU、FPGA、ASIC纳入到这一体系,还希望通过DCP++支持第三方芯片。

Habana在英伟达牢固的AI训练城墙上了一道口

基于统一的软件平台,英特尔还能使用最新的Xe架构GPU角逐云端训练芯片市场。Xe架构的GPU是英特尔22年后再次推出高性能独立GPU,分为Xe LP(低功耗)、Xe HP(高性能)、Xe HPC微架构,面向不同市场。

今年11月,英特尔发布了首款数据中心GPU,基于Xe-LP架构,专为高密度、低时延的安卓云游戏和流媒体服务而设计。

Habana在英伟达牢固的AI训练城墙上了一道口

英特尔GPU加Habana AI加速器能够拿下多少云端训练市场的份额还有待观察,但这同时也引出了一个新的问题,云端AI芯片市场还有机会吗?

云端AI芯片市场还有机会吗?

“无论是AI的训练还是推理,CPU都扮演着重要角色,因为很多预处理AI加速卡和GPU不能处理,需要CPU与GPU/AI加速器的协同。比如推荐系统里,数据查表和分类CPU就非常擅长。”于明扬说。

“整个AI中,CPU、GPU以及像Habana这样的ASIC扮演着不同的角色,英特尔的优势在于无论任何环节,英特尔都有合适的产品和解决方案。”

看到XPU(CPU、GPU、FPGA、ASIC)价值的显然不止英特尔。

今年9月,英伟达宣布将以400 亿美元收购 Arm,Arm是创立于英国的IP公司,其Cortex CPU IP被广泛应用,如今正积极进军高性能计算市场,在TOP500榜单中已收获不错的成绩。如果收购成功,Arm的CPU组合英伟达的GPU将帮助英伟达进一步提升在高性能和AI市场的竞争力。

如此看来,英特尔和英伟达不仅有性能强劲的硬件产品,还有强大的软件和生态。除了科技巨头自研的云端AI芯片,其他想要进入云端AI芯片市场的公司还有机会吗?对于这个问题我们有理由保持积极的态度。

英特尔亚洲人工智能销售技术总监伊红卫说:“2019年英特尔全球人工智能收入已经达到38亿美元了,AI是一个跨部门、跨产品的生意。在我看来,AI仍处于早期阶段,还有很长的路可以走,现在还是大浪淘沙的时候,我深信英特尔会成为弄潮儿。”

英特尔和英伟达在云端AI芯片市场将如何竞争?AMD收购赛灵思会带来怎样的变数?

成立仅三年就被收购!英特尔20亿美元收购AI芯片公司Habana Labs

黄仁勋说收购Arm是一生仅有一次的机会,Arm联合创始人:阻止英伟达!

AMD 官宣 350 亿美元收购赛灵思

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
老舍茶馆

北京老舍茶馆始建于1988年,是中国改革开放以后北京第一家民俗文化茶馆。其前身为1979年前门箭楼西侧两分钱一碗的大碗茶摊。老舍茶馆位于天安门广场西南面,与北京古商业街大栅栏为邻,地理位置独特,文化底蕴深厚。

特种兵小游戏,特种兵小游戏大全,4399特种兵小游戏全集,4399小游戏

4399特种兵小游戏大全收录了国内外特种兵类小游戏、特种兵对战小游戏、特种兵无敌版小游戏、特种兵小游戏下载。好玩就拉朋友们一起来玩吧!

起重轨

河北永钢轨道销售有限公司隶属河北永洋特钢集团,永洋钢厂成立于2007年7月,主要销售集团公司生产的钢轨和矿山支护用材。是轻轨厂家,产品有U型钢、矿工钢、起重轨、轻轨、道轨、重轨、钢轨等,凭借全国较大的钢轨、矿用材生产基地这一优势,公司先后与中国中铁、中国铁建、中国电建、中国核工业集团、中国能源建设集团及同煤集团、冀中能源、阳煤集团、山东能源等大型集团公司常年合作,深受用户好评,产品畅销全国各地,部分产品长期远销东南亚、南美、非洲及中东地区。

济南网站建设公司

山东亚青网络科技公司是一家专业从事济南网站建设,济南网站制作,济南网站优化,济南微信公众号开发为主的网络公司。公司秉承诚信为本,为需要济南网站建设,济南网站制作的客户提供最优质的服务,做优质网站就找山东亚青网络科技!

奢侈品回收

正奢奢侈品运营服务中心_奢侈品回收_手表回收_手表维修_奢侈品包包回收_珠宝首饰回收_奢侈品加盟代理

层流手术室净化装修

华锐净化工程(www.wcjh.cn)是一家专业从事层流手术室净化装修、检验科ICU改造施工的特殊科室建设厂家。我们提供高质量的净化装修服务,为医院提供安全、卫生的工作环境。

投资经济网

投资经济网为用户提供国内外财经新闻资讯,涵盖股票、公司、财经、理财、科技、消费等频道,致力于打造最新最及时最全面的投资金融平台。

赤峰信息港

赤峰信息港,赤峰分类信息发布平台,已成为赤峰百姓交流、商家宣传的快速媒介!好信息、好商机,尽在cfxxg.cn!

产品设计生产系统

“产品设计生产系统”是一款专门为外贸行业开发的产品在线设计定制订单生产管理系统;系统由多家从事亚马逊等平台的电子贸易公司业务流程和经验研发而成;系统支持淘宝、亚马逊、速卖通、WISH、Shopfiy等电商平台的产品快速设计定制、产品导出、订单导入、快速生产和发货等特点。

夏季的风

一个默默无闻的主页

完美国际私服

好完美【www.haowm.com】每日更新国内好玩完美sf游戏,包括最新完美国际私服,完美世界sf,完美国际2sf发布网,完美世界国际版私服,免费完美辅助,找公益完美私服等你来玩!

首页

公司主要产品为真空法兰类零部件和真空阀门及真空管道腔室,包括超高真空用ICF系列,以及KF系列法兰,波纹管,中心支架、卡箍,非标真空管道腔体等,广泛应用于太阳能光伏、半导体、回旋加速器、OLED镀膜、航空航天等高新技术产业。

全局底部横幅