舍弃冯诺依曼架构突破内存墙瓶颈的AI芯片 即将轰动市场 (冯诺依曼 死因)

近几年再次兴起的AI热潮,不仅引发了芯片巨头们的AI芯片战,更让科技巨头们纷纷开始了AI芯片的研发。在AI芯片的争夺中,算力首先成为了焦点。不过,算力提升之后,算力与内存的不匹配又成为了阻碍AI向前发展的关键。此时,一家成立于2017年的初创公司提出的存储优先架构(SFA)表示很好地解决了内存墙的问题,事实是否如此?

舍弃冯诺依曼架构突破内存墙瓶颈的AI芯片,即将轰动市场?

AI芯片的真正问题是内存墙

算力、算法、数据被认为是AI向前发展的三个关键因素,更高的算力自然必不可少,这也直接驱动了AI芯片公司们推出更高算力的AI芯片。不过,目前对于AI芯片的定义并没有一个严格和公认的标准,一个非常宽泛的看法是,面向人工智能应用的芯片都可以称为AI芯片。

需要指出,这一轮的AI热潮很大程度是机器学习尤其是深度学习受到了追捧。由于目前常见的芯片类型CPU、GPU、FPGA、ASIC都可以运行深度学习算法,因此这些芯片都可以称为AI芯片。

舍弃冯诺依曼架构突破内存墙瓶颈的AI芯片,即将轰动市场?

这就意味着,如今AI芯片重要的意义在于满足机器学习的算法的需求。但即便是经验丰富的Arm,认识到AI芯片关键的问题也走了一些弯路。Arm机器学习部门商业与市场副总裁Dennis Laudick此前接受雷锋网采访时就表示:“我们第一次看到机器学习时,首先想到的是从已有的处理器类型中的一种开始,因此我们开始用了GPU的方法,但最终发现机器学习处理器面临的不是处理问题而是数据问题,最终取消了GPU的方法,创建了一个全新的处理器专注于数据以及机器学习中的数据类型,可以执行并行指令。”

说的更直白一些,深度学习算法具有高并发、高耦合的特点,不仅有大量的数据参与到整个算法运行的过程中,这些数据之间的耦合性也非常紧密,因此对存储带宽提出了非常高的要求,大规模的数据交换,尤其是芯片与外部DDR(Double> 舍弃冯诺依曼架构突破内存墙瓶颈的AI芯片,即将轰动市场?

深度学习算法的“三高”特点

内存墙问题的4种常见解决方法

上面提到的芯片都基于传统冯·诺伊曼体系结构,这个体系结构是数据从处理单元外的存储器提取,处理完之后在写回存储器。因此,用冯诺依曼体系结构的处理器处理深度学习算法时,提供算力相对简单易行,但当运算部件达到一定的能力,存储器无法跟上运算部件消耗的数据,再增加运算部件也没有用,这无疑阻碍了AI芯片的向前发展。

舍弃冯诺依曼架构突破内存墙瓶颈的AI芯片,即将轰动市场?

为了解决内存墙问题,业界目前有4种常见的解决方法。第一种是加大存储带宽 ,采用高带宽的外部存储,如HBM2,降低对DDR的访问。这种方法虽然看似最简单直接,但问题在于缓存的调度对深度学习的有效性就是一个难点。

第二种方法是直接在芯片里放入大量存储 ,采用分布式片上存储,抛弃DDR,比如集成几十兆字节到上百兆的sram。这种方法看上去也比较简单直接,但成本高昂也是显著的劣势。

第三种方法则是从算法入手,通过设计一些低比特权重的神经网络,比如二值网络,简化数据和需求和管理。 显然,这种方法是以算法精度、应用范畴为代价,难以被大范围应用。

第四种方法是在存储单元内部设计计算单元的新型存储器,进行存算一体化(In Memory Computing) ,这也是目前业内一个比较受关注的方向,具备低成本和低功耗的特点。不过这种方法的可行性以及是否能最终被业界广泛应用仍是未知,因此对于这种方法我们将继续保持关注。

显然,目前常见的解决AI芯片内存墙的方法都还未成功解决这一问题,其中很重要的原因在于, 绝大部分的AI芯片,可以认为其为基于类CPU架构,专注于计算整合,通过提升并行度的方法进行庞大计算力的结构调整,对存储资源的使用和调度,依然依赖于编译器或传统的缓存管理算法,无法解决内存墙问题。

SFA架构如何突破内存墙瓶颈?

想要真正解决内存墙问题,舍弃冯诺依曼架构无疑是更好的方式,但难度也可想而知。不过,成立于2017年的北京探境科技在成立之初就重新思考了存储和计算的关系,以存储驱动计算,设计了与类CPU架构完全不同的计算架构——存储构SFA(Storage First Architecture)。

舍弃冯诺依曼架构突破内存墙瓶颈的AI芯片,即将轰动市场?

2017年业界对AI芯片的关注点更多是算力的提升,意识到要解决内存墙问题的公司还不多,为什么探境科技能更早看到内存对AI芯片的重要性并研发出存储优先架构?探境科技CEO鲁勇接受雷锋网专访时表示:“主要有两方面的原因,一方面是我们的芯片设计团队成员平均拥有15年以上芯片行业设计经验,有足够的芯片设计能力,同时,团队成员还有深挖问题核心本质的思路和能力。所以从能力上和做事的方法上都有这样的条件,我们就坚定的去解决难题。”

舍弃冯诺依曼架构突破内存墙瓶颈的AI芯片,即将轰动市场?

不同于常见的解决内存瓶颈的方法,SFA是以存储调度为核心的计算架构,数据在存储之间的搬移过程之中就完成了计算,计算对于数据来说只是一种演变。

“更具体的说,SFA架构,存储是我们优先的出发点,去考虑数据在搬移过程中做计算,也就是由数据带动计算而非由算子带动数据。与通常计算的先有计算指令然后提供数据相反,SFA架构是先有数据,然后再把算子交给它。”鲁勇进一步解释。

当然,完全舍弃冯诺依曼架构,实现全新的架构方式SFA架构面临不少挑战。鲁勇表示这其中涉及很多硬件的核心点、数据管理、算子节点如何灵活的连接起来都是非常难的问题。不过,他也透露称,SFA架构以图计算为基础,设计了非常精巧且有针对性的架构解决这些难题。这一点与AI大神Lecun所宣称的所有的神经网络都是图计算问题不谋而合。

难题突破之后, SFA架构具备了哪些优势?鲁勇介绍,首先就是芯片的PPA取得了巨大的突破 ,实验数据表明,比较类CPU架构采用的基于总线和指令集的映射方法,在同等条件下,数据访问可降低10~100倍。28nm工艺条件下,系统能效比达到4T OPS/W,计算资源利用率超过80%,DDR带宽占用率降低5倍。

其次,SFA架构可以支持任意神经网络。 也就是说,SFA架构可以支持不同大小的网络模型、不同的数据类型,包括定点型和浮点型,甚至一个神经网络里不同层使用不同的精度也可以支持。我们的AI芯片可以称得上通用型AI芯片,只要在神经网络深度学习框架下,GPU能支持的我们都能支持。

还有,SFA架构非常灵活, 基于它既可以推出本地或云端的推理芯片,也可以用于云端训练的芯片,终端的推理加训练芯片也能用,完全取决于最终产品的定位。

除了内存方面的突破,在算力提升方面SFA架构也有相应的优化。SFA架构的AI芯片不仅可以满足多精度计算,还能做到自适应的稀疏化处理,不需要在离线阶段做剪枝或者压缩处理。

据悉,探境的计算架构也采用了比较独特的无MAC设计方式。

既然SFA架构具有多个优势,那么在探境科技看好的安防监控、工业制造、自动驾驶和语音人机交互市场,落地优势依旧明显吗?鲁勇指出,这几个领域看上去好像差别挺大,但对我们而言背后有一个贯穿一致的逻辑。 也就是核心都是SFA架构,根据不同的市场应用,套上不同的框架,最终变成不同的产品形态。

他强调,不同市场的差别并没有想象那么大。 算法层面,现在的语音和图像算法已经开始融合,都是基于深度学习的卷积神经网络(CNN),并不是原来想的那么泾渭分明。芯片角度,核心都是SFA架构,根据产品的定义不同,外面的接口也相对不同,这并不困难。

去年5月探境宣布完成数千万美元融资时,就已经制订了三年的产品规划,会以行业划分的形式,有节奏的推出产品及整体解决方案。雷锋网了解到,目前探境已经推出了包括语音唤醒、命令词识别、语音理解、通用型降噪的ai语音芯片。值得一提的是,这几款芯片都可以在不联网的情况下实现功能,这是算力和功耗优势的一个体现。

至于为何率先推出AI语音芯片,鲁勇认为物联网时代,语音成为了一种新的交互方式,也是一个入门的交互方式,这个入口非常重要。

看好AI语音市场的不止探境科技,传统的芯片公司杭州国芯、瑞芯微等,以及擅长语音算法的思必驰、出门问问等都推出了AI语音芯片。那么,探境在市场上的竞争力如何?

鲁勇表示,算法公司对芯片的理解程度非常有限, 我认为AI时代的竞争力已经单纯看PPA转移到了软硬结合的能力,只有非常深度的软硬结合才能具备非常核心的竞争力。 在实际的落地过程中,SFA架构对客户非常友好。因为SFA架构不仅不需我们在工具链上不用投入过多的精力,在客户实际使用的时,我们会提供一个非常好用的工具链,通过工具链的转换,可以让客户的算法甚至不用重新训练就可以部署。

而最让鲁勇感到骄傲的是探境AI语音芯片最终体现出的竞争力。他表示,AI芯片的竞争力的直接体现就是成本,探境的AI语音芯片的成本优势还是基于SFA架构,在同样的芯片面积下能提供更高的算力,也就是PPA显著提升。在与客户接触之后,我们的芯片获得了客户的追捧。

探境科技作为一家成立于2017年的初创公司,能够在成立之初就看到AI芯片本质的问题是数据难题就领先了不少的AI芯片公司。并且,从探境公布的数据以及给出的信息来看SFA架构确实是突破内存墙的好方法,实现了许多AI芯片公司希望达成的AI通用芯片的愿望,兼具低功耗、低成本的特点。

只是,鲁勇并未透露探境量产的AI芯片具体的合作伙伴。另外,探境AI芯片的商用也处于相对早期的阶段,能否最终大获成功搅动AI芯片市场我们需要保持关注。相信具有真正独特技术和有实际产品的公司会大概率取得成功。

不可否认的是,鲁勇此前在芯片巨头Marvell十年的工作经历对于其能够把握AI的发展趋势以及聚集人才研发出独特的AI芯片有不小的帮助。还需强调的是,在AI时代,只有软硬更好的结合,才能最终体现出更大的竞争力。

为什么存储器会成为阻碍AI发展的难题?

资本寒冬,这样的AI芯片公司2019年危矣

原创文章,未经授权禁止转载。详情见 转载须知 。

新闻网站导航大全

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

机床数据采集

无锡望天观公司主要研发与销售硬件:如机床采集网关,注塑机网关,各类品牌的PLC协议转换网关和数据采集采集网关,网关支持Modbus通讯与MQTT协议推送;同时承接定制开发软件项目:工业数据采集平台,电力能源采集系统,机床数据采集系统,DNC程序传输系统,TCS刀补写入系统等帮助MES公司和工厂完成自动化工厂和工业数字化项目的落地。

福建兴东方眼镜有限公司

海峡东南眼镜是一家专注于东南眼镜、东南眼镜加盟、眼镜加盟为一体的现代化眼镜企业,是一家集眼镜检查,验光、配镜、隐形眼镜配戴为一体的专业眼镜店。详询13950429652

52pk游戏网

52pk游戏网是中文游戏门户站,汇聚国内外游戏热点报道,为千万网站用户365天提供权威游戏资讯,全方位打造免费中文网游单机游戏下载大全。

善用AI

善用AI,专注AI技术分享的网站,可免费下载ai新手入门教程,AI绘画教程,智能AI写作课程,各种AI视频工具,AI软件经验分享。

42crmo精密钢管,Q345B精密钢管,20cr精密管,16mn精密管,45#精密钢管

聊城市永宝钢管有限公司欢迎咨询:138-6359-169642crmo精密钢管,Q345B精密钢管,20cr精密管,16mn精密管,45#精密钢管等产品的企业,产品性能好,经久耐用,欢迎您的来电。

Flyway

外贸收款:链接/二维码/银行账号收款;免费开通海外银行账号;全球主流币种收款;实时汇率0汇损,阳光结汇安全合规。跨境电商收款:一账号管理多店铺资金,店铺提现效率高,速度快。国际收银台:多个建站平台,对接零门槛;60+支付方式,70+交易币种。全球付:供应商收款信息管理,付款更高效;全球通道布局,付款最快5分钟到账。金融服务:极速提现/超前收款订单回款先拿到手;飞业融安全、合规、高效的快捷融资支持;飞先付可为优质卖家实现信用付款

布袋除尘器厂家,电捕焦油器厂家,冷凝吸附回收厂家,RTO蓄热式焚烧炉厂家

河北浩鹄环保科技有限责任公司是专业的布袋除尘器,电捕焦油器,冷凝吸附回收设备,RTO蓄热式焚烧炉的生产厂家,公司生产的产品质量优,价格实惠,可按客户需求定制所需产品,咨询热线:15097783587!

电抗器

萨顿斯主营电抗器,滤波器,变压器,正弦波滤波器,谐波滤波器,等各类谐波治理产品,非标定制,免费方案设计.采用德国技术,适配各品牌变频,荣获CE/ROSE等各项专利认证!2年质保,免费测试!欢迎致电萨顿斯STS,热线021-64619085/15601797603.

兔展

兔展内容生产,快速制作生成微信H5活动、H5页面、短视频、抽奖、测试、助力、裂变、红包、分销、拼团等小程序、小游戏等