英特尔1亿个神经元的全球最强神经拟态系统 何时改变世界 (英特尔200亿)
2020年,你对AI功能感到满意吗?
如果你想起与AI智能音箱哭笑不得的对话经历,还有站在AI人脸识别闸机口许久才被识别出你是谁,你大概率会给出一个否定的答案。
已经大规模应用的AI,在金融、工业、电力、医疗等应用中已经展现出其重要的价值,但也不可否认,AI还有很大的提升空间。
AI的提升,既可以是对现有芯片和算法持续优化,也可以通过变革性的技术实现跨越式改变,比如越来越被人熟知的神经拟态计算(或称类脑计算)以及量子计算。相比之下,量子计算拥有更高的热度,但最近发布的全球最强的神经拟态系统英特尔Pohoiki Springs以及有嗅觉的神经拟态芯片,一定能让你对神经拟态计算以及AI的未来充满期待。
全球最强的神经拟态系统能做什么?
上周二,《自然-机器智能》杂志报道了英特尔与美国康奈尔大学的科学家共同构建数学算法的研究成果,通过双方的合作,英特尔研究院神经拟态计算小组高级研究科学家Nabil Imam的团队采用了一个由72个化学传感器活动组成的数据集,可对一个风洞实验中循环的10种气体物质(气味)作出反应,包括丙酮、氨和甲烷等有害气体。并且,即使有强烈的环境干扰也能识别出这些气味。
也就是说,英特尔的神经拟态芯片Loihi也拥有“嗅觉”了,这也是化学传感器领域多年来一直寻找的“电子鼻系统”。未来,搭载有“嗅觉”的神经拟态芯片的机器人在环境监测、危险物质检测、工厂质量控制方面有很大的应用潜力。
这其中非常重要的是,使用Loihi仅用一个样本训练就可以达到百分之九十多的高准确率,如果使用传统方法,包括一种深度学习解决方案,要达到与Loihi相同的分类准确率,学习每类气味需要3,000倍以上的训练样本。
仅两天后,英特尔又宣布其最强大的最新神经拟态研究系统Pohoiki Springs已准备就绪,将提供1亿个神经元的计算能力。1亿个神经元相当于一个小型哺乳动物大脑神经元的数量。
说的更容易理解一些,1只瓢虫的大脑大约有25万到50万神经元,蟑螂大脑约有100万神经元,斑马鱼大脑约有1000万神经元,仓鼠大脑约有9000万个神经元。
英特尔Loihi系统的演进历史
比仓鼠大脑神经元数量还多1000万个的Pohoiki Springs是一个数据中心机架式系统,它将768块Loihi神经拟态研究芯片集成在5台标准服务器大小的机箱中,运行时的功率低于500瓦。
Pohoiki Springs系统是英特尔迄今为止开发的最大规模的神经拟态计算系统,当然也是目前全球最强大的的神经拟态系统。 英特尔最新发布的Pohoiki Springs以及此前发布的800万神经元Pohoiki Beach系统仍处于研究阶段,可以为研究人员提供一个工具来开发和表征新的神经启发算法,用于实时处理、问题解决、适应和学习。
这两个令人眼前一亮的神经拟态计算成果,背后都有英特尔2017年开发的代号为Loihi的第一款自主学习神经拟态芯片。
Loihi的设计思路源于人脑,把训练和推断整合到一个芯片上,并实现了计算和存储功能的整合:单芯片中的128个小核各包含1000个神经元硬件设计架构,模拟多个“逻辑神经元”,支持多种学习模式的可扩展的片上学习能力,实现多种不同的神经网络突破。
这种设计的优势非常明显,Loihi能以比传统处理器快1,000倍的速度和高10,000倍的效率处理特定要求的工作负载。
即便优势如此显著,神经拟态的芯片数量也很少。这是因为,全球范围内只有英特尔、IBM等少数大公司,以及为数不多的初创公司在开发。这样的现状与神经拟态计算的历史和技术息息相关,神经拟态计算的概念是在20世纪80年代的时候提出,比量子计算概念的提出更晚。
面对一个全新的概念,特别是在人类对于脑科学研究也有限的情况下,只有为数不多的学校和机构对神经拟态计算进行研究。并且,在看不到应用的时候,神经拟态计算研究员们解决技术挑战的动力也会不足。
神经拟态计算的目标是,理解大脑能够实时处理复杂信息的同时只消耗极少的能量的高效工作机制,并把这些机制用到芯片中去,包括细粒度并行计算、神经动力学、时域编码、基于时间的信息处理等等。
因此,神经形态计算需要的是对计算机体系结构自下而上的重新思考。 英特尔Loihi的正是对计算机体系结构的自下而上的重新思考后的创新设计,让每个Loihi内部有128个小核各包含1000个神经元硬件,这些神经元硬件既有与之计算的部分,也有存储的部分,还有网络管理部分,去模拟逻辑神经元。
架构创新的同时需要考虑,神经拟态芯片如果采用现广泛使用的同步电路设计的方式,功耗依旧面临挑战。CPU、GPU、FPGA都是采用同步电路设计的方式,也就是采用同一个时钟驱动,芯片内的计算单元和存储单元都根据这个共同的时钟同时工作和停止工作,这种设计的好处是可以解决大规模集成电路容易出错的问题,但工作效率不够高。
为此,英特尔Loihi采用了一种新颖的异步脉冲方式,这种方式由多个独立的时钟驱动,根据应用的需求,只让需要工作的部分工作,其它部分处于待机状态,让Loihi的功耗达到了毫瓦级。
但这又带来了新的问题,由于采用异步脉冲的设计方式,当把Loihi大规模互联集成为Pohoiki Beach、Pohoiki Springs神经拟态系统,以期获得性能的线性增长时,能否让一个神经元消息在一个时间片里在上百片芯片间完成所需的信息传递就成为挑战。
英特尔研究院院长宋继强接受采访时表示,可以用Time Step去解决神经拟态计算里的时间序列问题,小型异步电路的这个问题容易解决,但比较大的系统就会有挑战,把多块芯片互联起来也是业界没做有过的事情。
显然,从13万个神经元的Loihi到如今1亿神经元的Pohoiki Springs系统,英特尔所做的并非系统集成这么简单,还解决了异步电路带来的时间序列的关键问题,并且在硬件之上,需要软件层的支持。
“为了在兼顾易用性的同时,支持神经拟态系统的互连计算、分布式计算和灵活分区,需要用软件把硬件连接的差异最大程度减小。这个事情没有人做过的,学术界没有人做过的,英特尔在产业界开始做这个实验。”宋继强表示。
在神经拟态计算的无人区探索并且取得成效之后,英特尔下一步需要做的就是通过工具链去支持开发者做更大规模的动态规划和优化实验支持。 这也是让英特尔的神经计算成为一种新的通用架构,既能应用于前端感知计算,也能满足大规模计算需求,促进神经拟态计算普及的关键。
神经拟态计算何时改变世界?
新技术的发展和大规模应用,非常重要的是找到好的应用导向,神经拟态计算同样如此。一方面,英特尔通过强大的技术专家团队的努力提供更好的神经拟态计算的硬件和软件工具链,另一方面,英特尔联合更多合作伙伴共同推动这一新技术的发展。
因此,在Loihi发布后的2018年,英特尔神经拟态研究社区(INRC)就成立,通过INRC,将其Loihi云系统以及基于Loihi的USB形状的系统Kapoho Bay提供给研究人员进行实际应用的研究工作。
据悉,INRC刚成立的时候只有几十个成员,随着2019年包括埃森哲、空中客车、通用电气、日立在内的首批企业成员,以及全球领先的大学、政府实验室、神经拟态类初创公司的加入,目前社区的成员数量已经接近100个。
“INRC是一个开放的社区,但要加入需要先提案,在我们确定Loihi芯片以及系统能够帮助提案者后,他们就可以加入,并且获得我们后续的技术支持。”宋继强接受雷锋网专访时表示。
目前,正在为Loihi开发的前景极佳且高度可扩展算法示例包括:约束满足、搜索图和模式、优化问题。
宋继强解释,“现在的社交网络,包括未来的AIoT,都会用到大规模图搜索,在这些大规模的图里怎么快速找到一条好的路径,或同时发现几个可能的约束要去满足,用原来高性能计算要花很多计算资源,而神经拟态计算现在有一些非常有效的算法,可以并发地去测试,效果比以前好很多,也是我们社区里的大公司在探索的应用。”
传统的应用领域包括时间序列场景里的行为识别,以及机器人的视觉控制同步的随动跟随,还有嗅觉场景,这些是学校以及初创公司喜欢做的应用。
在这个过程中,既需要英特尔在软件层面持续做大量的工作去连接硬件和软件,更好地满足应用需求,也需要开发者开发出更好的SNN(脉冲神经网络)。
包括Loihi在内的神经拟态芯片都是面向的是下一代AI所需的高性能、低功耗、低成本以及更强持续学习以及在线学习的能力。如果将现在流行的DNN和CNN的网络模型转换运行到神经拟态系统上,也可以构造强化学习的架构,但要最大化神经拟态计算的优势,还需要开发SNN模型。
新的网络也是用Loihi一次训练就能达到很高准确率的应用的关键。 与DNN和CNN只是借鉴了人脑神经元的高度抽象不同,SNN更靠近模拟人脑神经学的概念。DNN和CNN网络有大量的中间层,需要足量和标注好的数据训练网络。 而SNN模型只需要少量数据就可以得到网络的初始值,但它的设计难度比DNN和CNN更高一些。
宋继强表示,英特尔和社区以及国际主要的SNN研究团队都建了和联系,这些团队大部分在欧美。
随着Loihi架构的持续创新,以及上层软件SDK和高层语言接口的持续优化,再加上先进半导体工艺,还有英特尔以及生态合作伙伴的积极推动,我们可以期待神经拟态计算在不远的未来看到神经拟态计算改变世界。
宋继强的观点是,“现在很难判断哪些是神经拟态计算杀手级应用,可能再过一年,我们会有更清晰的想法。”
他同时强调,神经拟态芯片可以和现有芯片很好地共存,并不存在替代的关系。 神经拟态芯片现在主要是去解决希望在比较低功耗下完成一些前端的感知,且需要持续需要学习去提高识别能力的应用,比如约束满足、图搜索。但对于游戏读取或者图像分类、标注等应用,现有的芯片就可以很好满足。
神经拟态计算和量子计算被认为是带领我们进入AI新时代的关键,英特尔作为芯片行业的领军企业,在神经拟态计算和量子计算上依旧都保持着领导力。神经拟态方面,从2017年推出神经拟态芯片Loihi到2018年成立INRC,从2017年底的51万神经元的Wolf Mountain系统,到如今1亿神经元的Pohoiki Springs系统,英特尔不仅用强大且更通用的神经拟态计算系统展示了其领导力,还在与合作伙伴一起努力构建完善的生态系统推动神经拟态计算的商用。
在重磅玩家更多的量子计算领域,英特尔同样保持领导力,去年12月,英特尔携手 QuTech 宣布的面向量子计算的 Horse Ridge 低温控制芯片,这是量子计算商业上可行的一个里程碑。
同时引领神经拟态计算和量子计算的英特尔,未来会给我们带来什么意想不到的惊喜?
英特尔神经拟态系统扩展至1亿个神经元,相当于小型哺乳动物脑神经元数量
量子计算商用新的里程碑?英特尔和 QuTech 推出了用于量子计算的马岭低温控制芯片
摩尔定律失效下,类脑计算为什么成为下一代关键技术?
一研究团队研发的类脑芯片所需能量是最先进计算系统的1/10
原创文章,未经授权禁止转载。详情见 转载须知 。