IPU改变 阿里 云端AI芯片的格局可能被微软 (api改ip)

文章编号:41510 资讯动态 2024-12-03 graphcorepytorch支持ipuipuipu芯片

英伟达在云端AI训练芯片市场超九成的市占率让新入局的竞争者们都将枪口指向这家当红AI公司。声称AI性能比英伟达GPU的新产品不少,但真正突破英伟达护城河的现在仍未看到。

相比在硬件性能上超越英伟达,软件生态的赶超难度显然更大。不过,微软亚洲研究院的NNFusion项目以及阿里云的HALO开源项目,正努力降低从GPU迁移到新的硬件平台的难度和成本,再加上在多个重要AI模型上性能超英伟达最新A100 GPU的IPU,云端AI芯片市场的格局未来几年可能会发生变化。

云端AI芯片的格局可能被微软、阿里、IPU改变

微软、阿里云开源项目降低迁移出GPU的难度

目前AI的落地,仍以互联网和云计算为主。因此,科技巨头们很快发现迁移到新平台不能只看峰值算力。 Graphcore高级副总裁兼中国区总经理卢涛表示:“客户考虑为一个新的软硬件平台买单时,首先考虑的是能够获得多少收益。其次考虑的是需要多少成本,这涉及软硬件的迁移成本。”

对于科技巨头们而言,GPU确实是一个好选择,但考虑到成本、功耗以及自身业务的特点,仍然有自研或者迁移到其它高性能芯片的动力。此时,软件成为能否快速、低成本迁移的关键。

将已有的AI模型迁移到新的AI加速器时,现在普遍的做法是在TensorFlow写一些后端集成新硬件,这给社区和AI芯片公司都带来了负担,也增加了迁移的难度和成本。

云端AI芯片的格局可能被微软、阿里、IPU改变

微软亚洲研究院的NNFusion以及阿里云的HALO开源项目,都是希望从AI编译的角度,避免重复性的工作,让用户能够在GPU和其它AI加速器之间尽量平滑迁移,特别是GPU和IPU之间的迁移。

云端AI芯片的格局可能被微软、阿里、IPU改变 云端AI芯片的格局可能被微软、阿里、IPU改变

也就是说,NNFusion和HALO向上跨AI框架,既可以集成TensorFlow生成的模型,也可以集成PyTorch或其他框架生成的模型。向下用户只要通过NNFusion或者HALO的接口就可以在不同的AI芯片上做训练或者推理。

这种调度框架在降低迁移难度和成本的同时,还能提升性能。 根据2020 OSDI(计算机学界最顶级学术会议之一)发布的研究结果,研究者在英伟达和AMD的GPU,还有Graphcore IPU上做了各种测试后得出结果,在IPU上LSTM的训练模型得到了3倍的提升。

当然,这样的收益还是需要开源社区与硬件提供方的紧密合作,比如Graphcore与微软亚洲研究院以及阿里云的合作。

“我们与阿里云HALO和微软NNFusion紧密合作,这两个项目支持的最主要的平台是GPU和IPU。”卢涛表示,“目前在阿里云HALO的GitHub里已经有IPU的完整支持代码odla_PopArt,下载开源代码就已经可以在IPU上使用。”

能够便捷地使用IPU也离不开主流机器学习框架的支持。Graphcore本月最新发布了面向IPU的PyTorch产品级版本与Poplar SDK 1.4。PyTorch是AI研究者社区炙手可热的机器学习框架,与TensorFlow两分天下。

PyTorch支持IPU引起了机器学习大神yann LeCun的关注。之所以引发广泛关注,是因为这个支持对于IPU的广泛应用有着积极意义。

云端AI芯片的格局可能被微软、阿里、IPU改变

Graphcore中国工程总负责人,AI算法科学家金琛介绍,“在PyTorch的代码里,我们引入了一个叫PopTorch的轻量级接口。通过这个接口,用户可以基于他们当前的PyTorch的模型做轻量级封装,之后就可以无缝的在IPU和CPU上运行这个模型。”

这也能更好地与HALO和NNFusion开源社区合作。 金琛告诉雷锋网,“不同的框架会有不同中间表示格式,也就是IR(Intermediate Representation)。我们希望将不同的IR格式转换到我们通用的PopART计算图上,这也是兼容性中最关键的一点。”

据悉,IPU对TensorFlow的支持,是像TPU一样,通过TensorFlow XLA backend接入到TensorFlow的框架,相当于把一个TensorFlow计算图转换成为一个XLA的计算图,然后再通过接入XLA的计算图下沉到PopART的计算图,通过编译,就可以生成可以在IPU上执行的二进制文件。

金琛认为,“各个层级图的转换是一个非常关键的因素,也需要一些定制化工作,因为里面的一些通用算子也是基于IPU进行开发的,这是我们比较特殊的工作。”

除了需要增加对不同AI框架以及AI框架里自定义算子的支持,增强对模型的覆盖度的支持,也能够降低迁移成本。

金琛介绍,对于训练模型的迁移,如果是迁移一个不太复杂的模型,一般一个开发者一周就可以完成,比较复杂的模型则需要两周时间。如果是迁移推理模型,一般只需要1-2天就可以完成。

IPU正面挑战GPU,云端芯片市场或改变

AI时代,软硬件一体化的重要性更加突显。 卢涛说:“AI处理器公司大致可以分为三类,一类公司是正在讲PPT的公司,一类公司是有了芯片的公司,一类公司是真正接近或者是有了软件的公司。”

已经在软件方面有进展的Graphcore,硬件的表现能否也让用户有足够的切换动力?本月,Graphcore发布了基于MK2 IPU的IPU-M2000的多个模型的训练BenchMark,包括典型的CV模型Resnet、基于分组卷积的ResNeXt、EfficientNet、语音模型、BERT-Large等自然语言处理模型,MCMC等传统机器学习模型。

云端AI芯片的格局可能被微软、阿里、IPU改变

云端AI芯片的格局可能被微软、阿里、IPU改变

其中有一些比较大的提升,比如与A100 GPU相比,IPU-M2000的ResNet50的吞吐量大概能实现2.6倍的性能提升,ResNeXt101的吞吐量提升了3.6倍,EfficientNet的吞吐量达到了18倍,Deep Voice 3达到了13倍。

值得一提的还有IPU-POD64训练BERT-Large的时间比1台DGX-A100快5.3倍,比3台DGX-A100快1.8倍。1个IPU-POD64和3个DGX-A100的功率和价格基本相同。

强调IPU训练BERT-Large的成绩不仅因为这是英伟达GPU和谷歌TPU之后第三个发布能够训练这一模型的AI芯片,还因为BERT-Large模型对现在芯片落地的意义。

卢涛说:“在今天,BERT-Large模型不管是对于工业界,还是对研究界都是一个比较好的基准,它在未来至少一年内是一个上线的模型水准。”

不过,这一成绩目前并非MLPerf发布的结果,正式结果需要等待Graphcore在明年上半年正式参与MLPerf性能测试。近期,Graphcore宣布加入MLPerf管理机构MLCommons。

“我觉得我们加入MLCommons和提交MLPerf表明,IPU即将在GPU的核心领域里面和GPU正面PK,表明了IPU除了能做GPU不能做的事情,在GPU最擅长的领域,IPU也能以更好TCO实现相等,甚至更优的表现。”卢涛表示。

微软亚洲研究院、阿里云、Graphcore都在共同推动GPU转向IPU,什么时候会迎来破局时刻?

不是GPU的IPU,为什么更值得英伟达警惕?

直击CPU、GPU弱项!第三类AI处理器IPU正在崛起

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
Docin.com豆丁网

豆丁网是面向全球的中文社会化阅读分享平台,拥有商业,教育,研究报告,行业资料,学术论文,认证考试,星座,心理学等数亿实用文档和书刊杂志。

悬旌万里

《赤壁》端游新服【天下归心】4月12日12:00正式开启,诚邀各路英雄豪杰入驻,体验战斗的热血与激情!新服预约持续进行中,丰厚的礼包,精彩的活动接连登场,千万不要错过噢!4月3日至5月1日玩家可在官网新服专题页进行新服预约,预约成功即可在4月12日开服后在同一页面领取预约礼包。 符合超级老友身份的玩家入驻新服,还可以领取超级老友预约礼包(超级老友认定条件前往专题页查看),内含超级老友专属道具:坐骑玉兰白龙,此坐骑可以使用“风行草”升级为真·玉兰白龙。

火种特训

中山市火种户外运动拓展有限公司是一家从事火种特训,青少年夏令营,企业团建等项目的户外运动拓展公司.我们致力于为客户提供高质量的户外拓展活动,帮助参与者锻炼身体,增强团队合作能力,提升个人自信心.选择我们,您将会获得一次难忘的户外拓展体验.联系方式:18022144944

成都心理医生

成都心理医院,成都心理治疗较好的医院 成都棕南心理咨询中心用心理矫正的理念和正确科学的方法,针对抑郁,强迫,社交恐惧,情感咨询,情绪疏导,职场人际,孩子教育等各种心理问题的矫正

低压空压机

空压机-螺杆空压机-空压机生产厂家选择深圳广汇压缩机械有限公司,一家专注于为压缩空气系统及工业节能等广泛领域的用户提供整体设计、技术咨询、节能改造、运营维护、检验检测等综合性节能解决方案的企业。

江苏华昌公共设施工程有限公司

2014年,江苏华昌公共设施工程有限公司成立,本公司主营业务为:城市家具的设计研发、制作安装。产品主要包括:智能城乡公交候车亭及电子站牌、停车棚、各类多功能岗亭、售货亭、服务亭,移动房屋,宣传栏、导视牌、路名牌、阅报栏、标识标牌,城市雕塑、精神堡垒,环卫设施(智能垃圾箱、智能生活垃圾分类投放箱、房)教学设备,健身器材、交通设施等城市家具、公共设施的设计、制作、安装服务。

病毒细胞转染试剂

和元李记(上海)生物技术有限公司(www.life-ilab.com.cn)是病毒细胞转染试剂,高效细胞转染试剂,低毒细胞转染试剂,真核细胞转染试剂供应商,公司不仅具有精湛的技术水平,更有良好的售后服务和优质的解决方案,欢迎来电洽谈

佛山仙湖实验室

佛山仙湖实验室坚持立足佛山、辐射广东、面向全国、放眼世界,聚焦以氢能和燃料电池等新能源新材料,致力于打造国家氢能与新材料领域的技术研发中心、技术转移与辐射中心、高端人才汇集与国际交流中心、大学生创新创业中心和高科技企业孵化中心,支撑和服务于大湾区经济高质量发展。

防水隔热涂料

【长佑实力厂家】防水防腐隔热,研发生产,防水隔热涂料,降温20℃,防水10年,外露型,可机器施工,可以DIY,铁锈转化剂,10年不返锈,微信13826962396全国招商,水泥屋面,彩钢瓦屋面

铝压铸厂家

佛山市南海区合亿金属制品有限公司主营:铝压铸厂家、铝合金压铸厂家、汽车配件压铸等,主要产品为灯饰、汽车、机车、电机、五金、锁具、家具等配件,客户以德国,英国、日本、澳大利亚、等海外厂商为主。

深圳鼎晟丰科技

深圳市鼎晟丰科技有限公司专注于工业照明领域,为客户制定照明方案,提供1区2区使用的各类型防爆灯具及其他专业类的照明产品.

首证投顾

首证投顾,于1997年成立,国内首批获得投顾牌照的证券投资咨询公司。20年来,提供投资咨询服务,向投资者倡导价值投资理念,传播科学投资方法。首证投顾积极改革创新,协同专业的研发团队,依托互联网技术和精准大数据分析,可靠高效的人工智能,专业顾问服务,权威意见领袖等几大支柱,全力打造全方位一体化的智能化投资顾问平台。

全局底部横幅