DSA架构的AI推理芯片完胜GPU (dsa体系结构)
英伟达GPU在AI领域的成功引来了大量的挑战者。在国外，云端芯片初创公司几乎都采用DSA（Domain Specific Architecture，领域专用架构）挑战英伟达，比如已经被英特尔收购的Habana Labs。在国内，也有多家初创公司用GPGPU的架构研发AI云端芯片。
“用相同的架构竞争，专利就是一个问题。DSA是不同的道路，特别在云端AI推理方面，DSA可以完胜GPU。” 瀚博半导体创始人兼CEO钱军解释了创业前的技术路线思考。
雷锋网 此前的文章 介绍过，钱军有25年以上高端芯片设计经验，离职前在AMD任Senior Director，全面负责GPU（图像处理器）和AI服务器芯片设计和生产，现在市场上的AMD Radeon图像处理器和AI服务器芯片都是由其带队开发。
瀚博半导体创始人兼CEO钱军
瀚博的另一个创始人，也是CTO和总架构师的张磊有23年以上芯片和IP架构设计的丰富经验，2013年晋升为AMD Fellow，负责AI、深度学习，视频编解码和视频处理领域。
外界不少人误以为有多款GPU成功经验的两位创始人会选择用GPU挑战英伟达，但瀚博在2021世界人工智能大会（WAIC 2021）开幕前夕发布的首款产品SV102云端推理芯片采用的是DSA架构，而这款AI芯片获取客户的秘诀是TCO（Total Cost of Ownership，总体拥有成本）。
GPU不是云端推理最好的架构
初创公司要与巨头竞争，差异化是必然的选择。对于芯片公司而言，市场规模和技术路线是关键的考量因素。就云端芯片而言，随着AI模型的成熟，市场对云端AI训练需求的增速会降低，云端AI推理的市场规模将会迅速增加。有数据显示，2021年云端推理芯片市场已经大于训练市场。
云端AI芯片市场的变化是挑战英伟达的一个好机会。根据MLPerf此前发布的基准测试，英伟达在训练测试中一直保持着较高的水平，但在推理测试中，GPU并不如其在训练中的表现那么亮眼。
本月初，英国初创公司Graphcore的IPU首度公开MLPerf基准测结果，结果显示在Inference v1.0基准测试下，IPU相比GPU有1倍多的性价比收益。
“GPU在推理侧不是最好的架构，我们更好的DSA架构，能够在云端推理市场完胜GPU。”钱军表示。
但即便如此，能够定义和推出客户愿意买单的AI推理芯片才能够挑战英伟达。钱军分享了他的一些思考。他表示，计算机视觉占了AI市场的大半壁江山，视频流又占近70%的数据流，未来视频相关的数据只会越来越多，因此基于视频的AI应用首先要有强大的解码能力。
钱军认为，AI芯片视频处理能力可以用三个指标去衡量，包括延迟、吞吐量和能效。
当然，芯片的性能也是核心指标，同时，对于各种数据类型和AI模型的支持也是吸引客户的关键。钱军介绍，“我们的产品对于支持主流AI模型很全面，芯片设计也有前瞻性，支持计算机视觉、自然语言处理、搜索推荐、智能视频处理领域的众多常用神经网络，软件栈支持灵活扩展，支持用户自定义算子。”
云端推理DSA架构芯片完胜GPU
英伟达的众多挑战者中，有底气说出完胜的公司并不多。 雷锋网了解到，瀚博的首款芯片研发周期大概是两年半，这也是业界高性能芯片普遍的研发周期。 2018年底瀚博半导体创立之后，瀚博的团队就开始自主IP的研发，到了今年6月份，首款芯片SV102测试成功。
“SV102开始测试后的8分钟就全部点亮，也就是通过PCIe就能看到所有功能模块，在30多个小时内，所有模块基础测试都提前完成。”钱军说，“这对于一个全新设计的高端芯片是一个奇迹。”
虽然钱军没有具体介绍瀚博的DSA架构，不过CTO张磊用一组数据展示了瀚博首款产品相比GPU的竞争优势。
瀚博SV102是面向云端高性能推理的AI芯片，强调AI推理、视频处理以及可扩展性三大能力。AI推理性能表现在高效、高能耗比和低延时三方面，具体而言，SV102在Int8精度下的峰值性能为200TOPS，在75功耗下，吞吐率是GPU的2-10倍，延时更是不到GPU的5%。
瀚博半导体创始人兼CTO张磊
张磊介绍，SV102采用的是单宽半高半长的设计，存储最高支持32GB，接口是16个PCIe Gen4，采用被动散热的方式。之所以单独给出Int8的性能数据是因为最新和主流云端推理GPU都只用了Int8做推理基准测试，SV102也支持FP16和BF16的数据类型。
从给出的数据可以看到，在Resnet50和BERT两个模型下，瀚博SV102对比英伟达最新的A10和主流的T4有2-10倍的性能优势。
视频处理则是瀚博AI芯片的一大特色。“ 国内外已经推出的云端AI推理芯片几乎都没有内置视频解码功能，如果客户需要做视频解码，就需要用单独的芯片进行解码。 SV102就支持64路以上H.264、H.265或AVS2 1080P解码，支持8K分辨率。”张磊表示。
由此带来的是TCO的优势，这里的TCO主要包含服务器+AI芯片+芯片功耗+运营成本。 张磊给出的测算是，基于SV102的性能、功耗以及尺寸的特性，相比T4的服务器可以节省60%以上的TCO，对比A10的服务器也可以节省50%的成本。在高密度视频处理场景，瀚博给出的数据也显示出其性能和价格的优势。
即便从产品性能层面瀚博有完胜GPU的信心，但客户的认可才是最终的成功。所以，首要问题就是客户的迁移成本。张磊告诉雷锋网：“从AI推理的角度看，迁移到我们的AI芯片上的成本比较小。对于那些有自己算法的客户，迁移的成本也是很小的一部分。 更重要的是要让客户看到TCO的巨大节省，这样对于客户来说才能具有足够的吸引力，应用落地也会非常快。 ”
钱军补充表示：“一定要理解客户的需求，然后针对需求投入精力。”
对于瀚博来说，就是尽快完善软件和生态的建设。瀚博的VastStream软件平台支持TensorFlow、 PyTorch、Caffe2等常见的深度学习框架模型与ONNX格式的模型，借助高度定制的AI编译器可以充分优化模型的执行效率。
钱军介绍，“我们在互联网侧的落地速度更快一些，现已与国内外多家头部互联网公司合作。同时，我们还在大力增加软件团队，未来软件人员的数量会是硬件团队规模的3-5倍。”
虽然钱军没有透露具体的合作客户，不过快手作为瀚博的A轮投资人，双方应该在业务上更容易达成合作。但无论如何，瀚博的首款芯片的大规模落地还有一段距离。
“瀚博今年的产能已经确定，明年大部分的产能也已经提前预知。”钱军透露。
今年四月份第一次和钱军深度对话的时候，对于其产品钱军仅仅透露了技术路线的选择。在首款产品流片和完成测试之后，瀚博对外透露了有限的产品信息，但核心的架构以及内置多路视频解码能力的特性并未公布更多消息，雷锋网认为这些才是瀚博最核心的竞争力。
当然，对于互联网客户以及行业客户而言，TCO以及易用程度才是更直接的考量因素。瀚博能否用TCO打动足够多的客户，仍需观察。但同样值得关注的是，在瀚博的产品规划里，有15瓦到150瓦的硬件产品，覆盖边缘和云端。
原创文章，未经授权禁止转载。详情见 转载须知 。
乐讯社区为用户提供了个人空间、休闲游戏、下载等一系列功能服务,并以手机话题、人文情感为特色的综合性虚拟社区和大型网络社交平台。
豆果美食是最优质的美食菜谱社区,提供各种菜谱大全,食谱大全,家常菜做法大全,丰富的菜谱大全可以让您轻松地学会怎么做美食,展现自己的高超厨艺,开启美好生活！
飞速常识网为广大网友提供各类生活常识、生活百科知识、生活百科知识、世界之最、排行榜、生活知识常识大全,原创生活常识尽在飞速常识网！
永嘉县德莱赛阀门有限公司专业生产及销售蒸汽疏水阀,浮球式疏水阀,圆盘式疏水阀,双金属片疏水阀,热动力式疏水阀,倒吊桶式疏水阀等,精工铸造,质量可靠。欢迎来电咨询:0577-67983777
广州注册公司，做账报税,，手机/微信13697404213，广州成立公司、注销公司,020-86566069、注册地址挂靠托管，注册广州分公司、会计代理记账报税,工商登记，QQ:3732528。
惠州市金达电源电池科技有限公司是广东省蓄电池行业优质供应商之一，专注机车启动电池，电动车动力电池，监护仪蓄电池，蓄电池厂家，储能备用电池，工业仪器用电池20年，一直以来都注重优质产品供应与服务。
赣州百兴网科技有限公司是一家专业提供互联网应用平台和网络技术服务商，主营产品包括G3云全网营销自助应用平台，网站建设推广，SEO网站优化，赣州D音SEO优化，全网品牌营销策划等。
搜学搜课(www.soxsok.com)平台汇集了上万家优秀培训机构,是不错的代理招生机构,每天上万人从这里找到了适合自己的教育培训学校和培训课程,同时提供学校招生信息发布功能和网络招生技巧分享,本网站涵盖:电脑、英语、财会、技能、出国留学、管理、学历等数十万条最新培训班信息,有关于众多培训学校学费,地址,网站,电话,怎么样等相关信息。
电声网是电声工程师,喇叭工程师,音响工程师,耳机工程师,扬声器工程师,结构工程师,生产管理,品质工艺等电声人才及发布招聘、求职的专业平台。
WebVPN是瑞智康诚首创的全新一代VPN产品，用户无需安装任何客户端即能安全访问内网应用，全国市场份额遥遥领先。WebExp应用交付网关能快速接入IPv6和HTTPS，并提供全新的反黑客功能。
菜鸟是电商物流行业的全球领导者，全球最大的跨境电子商务物流提供商，也是中国顶尖的电商综合供应链提供商。凭借出色的“电商和科技”基因，构建了一张全球智慧物流网络，通过不断创新解决方案，满足高速增长的复杂电商物流需求。
无锡斯洛森测控技术发展有限公司(www.sls-sensor.com)主营产品有：在线红外测温仪,大屏幕钢水测温仪,露点分析仪,在线微水仪,CONTRONIX数显表,力值显示控制仪等,本公司不仅具有精湛的技术水平，更有良好的售后服务和优质的解决方案,欢迎来电洽谈
马上就要过年啦，支付宝集五福活动又来了，亲们，你的福字准备好没?今天凌晨，支付宝悄无声息地开始了集五福活动，支付宝客户端首页也更新了大大的，集五福，入口，据支付宝官方微博透露，截止今天凌晨00，37分，已经有三万多人集齐了五福，凌晨00，37支付宝发布微博称，已经三万多人集齐了，你们倒是省着点儿啊，我都有点舍不得扫了，攒着，这离集...。
Excel就像一把天山寒铁淬炼而成的杀猪刀，本身已经很厉害，但具体有多厉害取决于用它的人，Excel最牛逼的地方在于它不是小李飞刀也不是轩辕剑——需要练个10年8年才能用，它只是一把菜刀，老百姓可以用来切菜，高手可以用来刮胡子，绝世高手拿着直接从南天门一直砍刀蓬莱东路，...。
道口烧鸡在市场上的知名度是比较高的，不少创业者都想要从事此行业的发展，但是仍有人对该品牌有所不了解，想要知道道口烧鸡加盟费是多少，针对这一问题，小编就为大家简单的介绍一下，道口烧鸡加盟费是多少，道口烧鸡始创于1661年，其经营的产品种类是比较多样化的，在这里大家可以根据自己的需求自由选择，而且品牌还拥有一支专业的研发团队，不断的迎合市...。
炸串作为特色的小吃类型，出餐方式快捷、食材类型也很齐全，能够满足消费者们多样化的需求，市场中的炸串店品牌众多，燃蹄公子是其中备受欢迎的品牌之一，专注于为消费者们提供各种各样的特色小吃，凭借着不错的美食风味，俘获了广大吃货的芳心，成为了加盟商所关注的品牌，那么燃蹄公子有特色吗，怎么吸引顾客，燃蹄公子有着众多的特色，主要有以下几点，为了满...。
在自动驾驶被热捧之时，ADAS行业显得有些落寞，不是每家公司都能成为Mobileye，最令人唏嘘的是，如Mobileye这样的巨头最终还是逃不脱被收购的命运，但这不是个坏选择，反观国内一大批从事ADAS研究的创业公司，他们未来的出路在哪里，这个问题的最优解似乎已经出现，近日，被，安卓之父，AndyRubin看上的自动驾驶创业公司Nau...。
AI后半场的序幕已经徐徐拉开，一方面，AI企业的上市之路逐渐明晰；另一方面，行业的竞争也从算法精度的比拼走向了落地能力的较量，有人说，AI技术的研发门槛越来越低，AI企业的竞争力也在逐渐下降；有人说，AI的应用还存在许多问题，难以解决真实的需求；还有人说，场景碎片化是AI企业获得高速发展的难以破除的阻碍……究竟在AI的后半场，产业会朝...。
伴随着社会经济发展的趋势和大家生活水平的提升，跟少年儿童有关的消费商品有非常好的发展前途，但是对比早已烂大街的少年儿童母婴用品店、儿童服装店而言，玩具店行业指数看来，发展速率更快一些，因此，这一制造行业吸引了众多加盟者的目光，那么，开儿童玩具网店怎么样，开儿童玩具网店怎么样，根据小编了解到，开儿童玩具网店是一个不错的选择，要想运营好店...。
2004年1月的某天，在纽约州罗彻斯特，这个城市的最高建筑楼下，一群打着素色领带，抱着大个纸箱的公司白领，在出租车等候位置逐渐排起了长队，人们的脸上或挂着失望、或挂着愤怒，或挂着几滴泪水，因为从这一天开始伊士曼柯达公司，宣布在全球范围内裁员1.2万至1.5万人，占公司员工总人数的约20％，而这栋最高建筑正是上世纪末才刚刚建成的柯达总部...。
发表在投影仪评测2019，11，1115，22俗话说得好，房租是租来的，生活却是自己的，一个人在这个繁荣昌盛的城市里打拼，车水马龙的生活已将自己压得快喘不过气来，何况还有着忙碌的工作！当然，最幸福的时刻就是晚上下班忙完一切，在出租小屋里躺在床上舒舒服服的睡上一觉，再欣赏几部小片儿，这就是我简单又幸福的小生活，对出租房这个词来讲，是熟悉...。
首先是警方工作范围内的事务才会通报，比如说涉嫌刑事犯罪或治安案件等等；其次，通报是广而告之，告知大家目前的状况是什么，让公众不信谣不传谣；第三，警方通报也有警示、通缉的效果，一般来说，警情通报是慎重的，基本上犯罪罪名已经确定，但最终认定并判决机关是人民法院，未经人民法院判决，任何单位个人都不能定罪量刑，而协查通报是指上级机关以书面的形...。
备受市场关注的美国，动物安保法，有了最新的停顿，美国众议院于2024年9月9日，美国期间，就拟议，动物安保法，经过了一项编号为H.R.8333的立法草案，这关于中国公司而言，影响多大，9月10日早间，药明康德，603259.SH、02359.HK，在港交所颁布通告称，本次经过的立法草案系基于此前众议院监视与问责委员会于2024年5月1...。
桃木用久了会招鬼，桃木可以辟邪是由于它具备吸纳和化解阴邪之气的作用，所以邪煞之物都比拟怕桃木，但桃木内的阴邪之气饱和后，就很容易招鬼，须要及时改换，或许是送去寺庙从新开光，桃木用久了会招鬼1、桃木在风水外面有着极端关键的位置，那么桃木用久了会招鬼吗，首先须要知道桃树五行属木，自身就具备必定的阴属性，而它之所以能够辟邪关键是由于可以将阴...。
9月8日消息，全新TCL灵速真3D人脸识别锁K9GPro发布，到手价1899元，K9GPro采用3D结构光，配合TCL专研AI自进化人脸算法，大幅提升全家老少、化妆、戴眼镜及复杂光线场景的通过率；采用AI特征点自学习，可根据面部变化，不断学习变化的特征点，K9GPro搭载灵速芯片，采用多种加密算法，保护人脸、指纹等个人隐私数据；内置3...。
从移动通信行业发展的角度，2019年毫无疑问将会是5G元年，在经历了2018年的众多铺垫之后，即将到来的MWC2019，世界移动大会，举办时间为2019年2月25日至2月28日，地点为位于西班牙巴塞罗那的FiraDebarcelonaGranVia展馆，毫无疑问将成为众多通信设备厂商、芯片商和运营商展现其5G实力和进展的舞台，同时也是...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，雷锋网消息今天，沃尔玛中国在其一年一度的发展商大会上宣布，未来5，7年计划在中国新开设500家门店和云仓，包括沃尔玛购物广场、山姆会员商店、沃尔玛社区店多个业态，沃尔玛对中国市场充满信心，持续加大投资发展，除了开设新店，未来3年还将对200家现有门店进行大刀阔斧的升...。
发表在专业问答2020，11，920，03展示机型信息，品牌型号，明基w1120、当贝盒子B1、iPhone11系统版本，null、当贝OS2.0、ios14明基W1120不具备智能操作系统，所以无法投屏，需要使用hdmi线连接一个智能电视盒子，当手机与电视盒连接同一局域网后，手机打开无线投屏功能，搜索连接对应的电视盒子即可投屏，明基...。
一提及儿童，大家能够想到的都是童真童趣，但是现代经济从儿童需求着手便会发现，儿童餐厅项目有着广阔的发展空间，这与国内育儿理念的变化有关，也与儿童数量的增长有关，儿童餐厅的出现，可以让孩子在用餐中享受到更多的乐趣，虽然儿童本身没有消费能力，但在父母的支持下，儿童餐厅依旧产生了不错的市场反响，这便是儿童餐厅数量为什么逐渐增加的原因，今日我...。
