前博通副总裁创业 9个月流片 性能赶超对手十多年迭代的高端视觉芯片 (博通老总)

文章编号:40624 资讯动态 2024-12-03 爱芯元智aiispisp芯片

想要在资金、技术、人才门槛“三高”的芯片领域沿着领先者走过的路实现弯道超车,可能性微乎其微,创新则可以颠覆传统。

前博通副总裁、紫光展锐CTO仇肖莘2019年5月创立的爱芯元智(原爱芯科技)仅用时一年四个月就量产了一款可以与竞争对手迭代十多年的高端视觉芯片比拼的产品。

“ISP(Image Signal Processor,图像信号处理器)经过十几二十年的发展性能已经达到传统算法的极致,我们引入AI的方式颠覆传统的ISP设计,同时提升ISP的性能天花板。”爱芯元智创始人兼首席执行官仇肖莘对雷锋网表示。

用AI颠覆传统的ISP,有哪些关键?

前博通副总裁创业,9个月流片,性能赶超对手十多年迭代的高端视觉芯片

爱芯元智(原爱芯科技)成立的2019年并非AI芯片初创公司大量成立的时间点,之所以选择在2019年创业, 仇肖莘说,“我非常看好感知+计算芯片的应用前景。ISP是感知的关键,但这个技术沿着传统的方式很难有很大的提升,如果把ISP和AI计算结合起来,不仅能够提升ISP,也有广阔的应用市场,包括智慧交通、智慧城市、运动相机、翻译笔等。”

看好市场的机遇是一方面,仇肖莘的个人经历也决定了爱芯的创立时间。她本硕毕业于清华大学自动化专业,并在美国南加州大学取得了电子工程博士学位。在2018年9月加入紫光展锐任CTO之前,仇肖莘一直在国外工作,曾在AT&T Labs任职并获得研究卓越奖,也曾任博通公司副总裁。2019年,创业并且聚焦感知和计算成为她新的的选择。“我们希望做AI视觉芯片行业的开拓者,同时也坚持长期主义。”仇肖莘说。

明确了目标,坚定了信念后,仇肖莘迅速集结了一批参与过10颗以上的芯片设计和生产的核心成员,业务范围涵盖芯片的设计、生产,软件和硬件。“我现在可以说,爱芯元智已经有非常完整的芯片团队,负责芯片从设计到生产到应用的各个环节。”仇肖莘表示。

团队的完善带来了产品的快速量产。雷锋网了解到,爱芯元智的首颗人工智能视觉芯片AX 630A在2019年8月立项,9个月后的2020年5月流片,7月31号回片后一次成功点亮,12月进入量产状态,今年6月正式风险量产。

前博通副总裁创业,9个月流片,性能赶超对手十多年迭代的高端视觉芯片

“AX630A是我们目前的旗舰产品。这款新品第一版就流片成功,既没有做MPW,也没做任何Metal Fix。”仇肖莘自信的表示。

爱芯元智的首款旗舰产品AX630A功耗约3W,可实现57.6TOPS@800MHz 2w4f算力,等效算力到达28.8TOPS@800MHz INT4。如果对比市场同类产品,竞品以int8运行ResNet50的网络,AX630A以混合精度的方式运行Resnet50,在最终精度几乎相同的情况下,爱芯的芯片每秒处理的图像帧数是竞品的十倍多。

前博通副总裁创业,9个月流片,性能赶超对手十多年迭代的高端视觉芯片

能够实现一个数量级性能差距的关键是爱芯元智自研的混合精度NPU以及联合设计的AI ISP。 要用AI颠覆ISP,首先需要解决AI芯片面临的内存墙挑战。所谓的内存墙,是由于内存性能远小于计算性能,内存不能高效将数据传输到计算核心,带来高功耗和有效率计算性能不高的问题。

目前业内通过多种方式解决内存墙的挑战,包括存算一体、可重构计算等。爱芯解决内存墙挑战的方式是混合精度。

“AI模型有非常多层,在端侧,目前主流的方式是每一层都读取8位整数(int8),但实际上,在最终模型精度不变的情况下,并不是每一层都需要读取8位数,中间层的数据表达4位甚至2位就足够,不同的层用不同的数据精度表达就是混合精度。”仇肖莘表示,

“采用混合精度设计AI芯片可以降低对内存的需求,比如原来每层网络都读取8位数据,用混合精度表示可能平均只需要4位的精度就足够,这样不仅能够在相同的芯片面积下提供更大的算力而且对内存的带宽需求就可以减少为原来的四分之一,也就解决了内存墙的问题。”

要用混合精度的方式设计AI芯片的挑战在于需要芯片和算法的协同设计,既然是协同设计,就需要同时非常了解算法和芯片架构,用算法指导AI芯片的硬件设计,同时又要思考AI芯片的设计反过来对算法实现的影响。

也就是说,硬件可以提升算法的效率,而算法又可以绕过硬件的限制,这是一个在算法灵活性和硬件效率间寻求最佳平衡点的难题。

“我们是业内第一个设计且量产端侧混合精度AI芯片的公司。”仇肖莘说。

解决AI芯片的内存墙挑战只是第一步,接下来需要思考的是如何将AI与ISP结合超越传统ISP,真正实现颠覆。

“传统的ISP流水线(pipeline)有十几到二十个模块,我们将ISP流水线中最重要的几个模块,包括高动态、3D降噪等AI化处理,将AI处理融入到ISP流水线中。”仇肖莘透露。

爱芯元智ISP负责人、系统架构师张兴解释,“用AI的方式实现ISP流水线中的关键模块,我们就能够不断迭代和优化AI模型,不断提升画质。AX630A从去年7月底回片到现在,我们的模型每半个月更新一版效果,效果实现了质的飞跃。”

仇肖莘说:“如果用传统的方式,我们没有办法在第一代芯片就达到行业内迭代了十多年的高端水平。通过AI定义ISP,我们的第一代芯片就赶上了行业高端ISP,并且在某些性能上实现了超越。”

也就是说,传统ISP需要通过芯片按年来迭代的方式,才能不断完善ISP,而爱芯将ISP中的关键模块AI化,ISP的迭代周期大幅缩短到以周来计算,提升了ISP的迭代速度的同时,还提高了ISP的灵活性能够匹配不同传感器。

“如果是没有协同设计的ISP和NPU,很难实现将ISP流水线中的关键模块软件化或者说AI化。我们之所以率先量产AI ISP不仅因为这两个核心IP都是自主研发,联合设计也非常关键。”仇肖莘特别指出。

“高算力的AI ISP有很多好处,比如可以提升图像的信噪比,把原来被埋在噪声里的信号恢复出来。或者,大算力也能够实现大规模的智能分析,用于智慧城市等。还有,大算力能够满足视频流处理需求的同时,实现更好的夜间视频效果。”

前博通副总裁创业,9个月流片,性能赶超对手十多年迭代的高端视觉芯片

要知道,视频流的处理对ISP有较高要求,每帧的处理时间只有33毫秒,这对ISP是极大的考验。

前博通副总裁创业,9个月流片,性能赶超对手十多年迭代的高端视觉芯片

注:视频截图已做人物隐私保护

从爱芯展示的视频看,AX630A在多路视频结构化智能分析、大规模智能分析和夜间视频效果中确实有显著提升。这款芯片也已经被华东地区的大客户采用。

前博通副总裁创业,9个月流片,性能赶超对手十多年迭代的高端视觉芯片

“手机业界已经发现在AI算力的支持下,AI算法已经超越了传统ISP算法的效果,因此目前主流的趋势是用AI算法替代传统算法,或者将AI算法与传统算法结合。”张兴指出。

近来,手机业界也掀起了自研芯片潮流,头部手机公司纷纷研发起ISP,本质原因是影像和显示功能是消费者最容易感知,也最愿意买单的功能,自研ISP能够在提升手机影像相关性能的同时实现差异化,并且相比研发SoC,自研ISP的投入产出比最高。

作为率先量产AI ISP的公司,爱芯不会错过这一市场。爱芯的第二款产品,也是其定位主流的产品AX620A也已经在今年5月流片,7月下旬已经回片,目前一切顺利,预计在2022年第一季度客户会出货搭载AX620A的产品。

AX620A的功耗小于1W,可以实现28.8 TOPS @800MHz 2w4f(等效算力 14.4 TOPS @800MHz INT4)的性能,因其主流产品定位AX620A的性能低于AX630A,但因为ISP和NPU都是新一代,所以在单核性能和能效及图像效果上相比旗舰产品AX630A都有所升级。

仇肖莘透露,“我们设计AX620A的时候还是希望能做手机的前处理ISP,所以功耗控制是一个大的设计目标。在这一应用市场,预计明年会有好消息和大家分享。”

AI ISP应用于手机和智慧城市等场景的效果一旦被市场认可,竞争对手就会迅速跟进,这也促进了爱芯的快速成长。 “我们一定要比别人超前几步,否则很容易被人追上。我们的目标是在初期迅速让产品成系列,并且有相应的客户支持,客户用起来之后,后续的产品迭代就会比较慎重,每一代产品都需要有亮点。”仇肖莘谈及爱芯的产品规划。

雷锋网了解到,随着爱芯芯片的量产,爱芯的团队人数从年初的140多人迅速扩增到了如今的300人,并且软件团队的人数大约是硬件团队人数的1.5倍左右。

“我们的芯片明年会有比较大的出货量。爱芯元智最终的目标还是成为视觉处理领域的头部企业,所以我们一定要成规模。同时,我们现在选择投资人的时候,也更看重可能带来的协同性。”仇肖莘说。

爱芯元智的成立时间早已过了AI最热的时间,但爱芯用技术和定位证明,只要满足市场需求的产品就能够迅速获得市场认可。视觉作为AI落地的重要方向,相比许多AI芯片初创公司仅提供AI加速器的方法,爱芯元智的AI ISP使用的场景以及易用性的更加明确,这也是其产品能迅速落地的关键。

不过,要发挥混合精度NPU和AI ISP的优势,还有很多技术关卡需要持续突破,这对成立不久的爱芯来说,有大量软件层面的工作需要做,对使用的客户来说,也有一定的技术门槛。

爱芯元智已经用自研核心IP表明了其想要在这一市场做大的决心。能否达成,拭目以待。

小米 OV 集体自研 ISP 芯片的背后,真相并不简单

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
刺猬猫阅读

刺猬猫提供最新好看的全本二次元穿越,娘化百合,各种萌化后宫小说在线阅读,综漫小说,动漫小说,火影小说,海贼小说,动漫同人

绘制精美的流程图

A股上市公司万兴科技旗下亿图软件可让您轻松绘制流程图,思维导图,信息图,组织架构图,网络拓扑图,户型图,电路图等210种绘图类型。上万模板免费下载,一定程度可替代Visio。广泛应用于办公教育领域。

北海康辉旅行社

北海康辉旅行社-北海58旅游网_北海康辉旅行社提供北海旅游、北海到涠洲岛旅游、北海到越南旅游,以及北海周边旅游,代订酒店、用车、船票、景点门票等服务。北海康辉旅行社是全国联锁的正规旅行社,北海当地优秀旅行社。北海康辉旅行社联系电话:0779-3209484,18777940289。

苏州冷库安装,冷库维保,空调安装冷库机组

韩易制冷工程设备有限公司是一家专业从事冷库设计安装,维修维护;空调安装保养维修及相关制冷配件销售,制冷技术咨询的专业性制冷公司。

PSP钢塑复合压力管厂家

川环管业是一家专业管材生产厂家,主营PSP钢塑复合压力管、铝合金村塑管、超静音排水管、HDPE钢丝网骨架复合管等产品,专注管道行业16年,因为专注所以专业。

湖北大力专用汽车制造有限公司

湖北大力专业生产铝合金油罐车,盐酸液碱次氯酸钠等化工液体钢衬塑复合罐车,普货供液罐车,危险品厢式车,气瓶车,洒水车,清障车等多种车型,销售电话18407218004

常州物流公司

http://www.xin56.com江苏新迪物流集团是一家经运输局、工商局、税务局联合批准成立的专业物流公司。注册资金1500万元,全国自有39家分公司,主要经营道路货物运输、仓储服务、货物代理服务。

青年创业加盟网

中国青年创业加盟网为想创业的您提供,连锁加盟项目,好生意加盟网涵盖:餐饮、酒店、教育、金融、服装、母婴、汽车、家具等行业品牌招商加盟项目,及新闻资讯,加盟指南,加盟常识等信息,愿好青年创业加盟网为您的创业加盟,品牌招商贡献一份力量。

海口鲜花,海口花店,海口订花送花,海口三花鲜花网

海口市订花快速方便,可先送后付,海口鲜花店不满意可退款,免费400电话订购,送花到海口专人送货,老字号、好服务,优质量,低价格,快反应,海口送鲜花注重品质,热情的送花服务,性价比非常,海口鲜花专业的插花技师,海口三花鲜花网,本地实体花店联盟。

山东新智联数字化科技有限公司官网

山东新智联数字化科技有限公司是做全网整合营销的山东烟台网络公司.提供抖音短视频代运营推广、烟台网站建设制作优化推广、烟台SEO、烟台爱采购、企业互联网营销方案定制,咨询热线400-0177-657。

沈阳鲜花,沈阳花店,沈阳市鲜花速递,沈阳鲜花网

沈阳送鲜花,沈阳本地的实体鲜花店,沈阳市订花1-2小时送达,价格优惠,折扣多多。提供优质服务与高品质花卉,确保质量与准时送达,不满意全额退款,让您购物无忧。

全局底部横幅