更新慢 地平线提出的MAPS会更好吗 AI基准测试MLPerf模型少 (地平线 更新)

AI算法的算力需求与AI芯片算力增长之间的差距有多大?从增长的速度看,AI算法的算力需求每年是指数级的增长,但AI芯片的算力只能以倍数增长,且难度越来越大。这是业界都非常关注的问题,本月的ccf-GAIR 2020峰会AI芯片专场上,六位大咖都提到了这一挑战。

因此,无论是从AI芯片长远的发展还是促进AI芯片更好落地的角度,业界都期待有一个公认的AI芯片Benchmark(基准测试)。2018年,MLPerf组织成立,为了让MLPerf能够像成熟的CPU、gpu的Benchmark一样,MLPerf囊括该行业中绝大部分知名企业和机构。推出两年的MLPerf还不够成熟,但包括英伟达、谷歌、阿里巴巴在内的大公司都乐于用最新版本的MLPerf基准测试成绩强调其产品实力。

不过,地平线联合创始人兼技术副总裁黄畅在中国计算机学会(CCF)主办,雷锋网、香港中文大学(深圳)联合承办,鹏城实验室、深圳市人工智能与机器人研究院协办的CCF-GAIR 2020 峰会AI芯片专场的演讲中指出, MLPerf有模型更新慢、模型少、模型选择受各种因素影响的挑战。他 也首次提出了新的方法用以评估芯片的AI真实性能——MAPS (Mean Accuracy-guaranteed Processing Speed,在精度有保障范围内的平均处理速度)。

MAPS是评估AI芯片真实性能更好的方法吗?

AI基准测试MLPerf模型少、更新慢,地平线提出的MAPS会更好吗? | CCF-GAIR 2020

地平线联合创始人兼技术副总裁黄畅

每类极具代表性的处理器都有常用的性能评估指标,比如CPU用MIPS,GPU用Texture和Pixel评估性能,高性能计算用浮点运算速度TFLOPS(Floating-point operations per second, 每秒浮点运算次数)。进入AI芯片时代,AI 芯片推理通常不需要浮点计算,而需要大量的整型运算,这样峰值算力TOPS(Tera operations per second,每秒万亿运算次数)成为了AI芯片性能指标最直观的参数。

但问题在于,峰值算力体现的是芯片性能的理论上限,实际使用过程中真正有效的算力与峰值算力差别很大。这是因为,芯片的计算架构、带宽、AI算法、数据重用性等问题都会导致芯片算力的有效利用率与峰值性能之间的巨大差距,有时差别可能高达几十倍。

但有一个业界公认的评价标准又意义重大。 黄畅接受雷锋网采访时表示:“业界有一个AI芯片的评价标准最重要的意义在于让行业形成一种合力,让大家都有一个相对清晰的目标,容易形成共识、形成协力,健康地推动整个行业向前发展。”

MLPerf在2018年顺势推出了MLPerf Inference v0.5,获得全球芯片公司和知名机构的支持, MLPef最新成绩公布总能引发不少关注。作为还不够成熟的Benchmark,MLPerf当然也有很多挑战。

黄畅指出,MLPerf的思路是选定模型比谁快。选定的模型要求不管做量化或其他操作,它和原始浮点的精度差异不能超过1%。也就是说,MLPerf是在保证精度相同的条件下比谁的速度快,模型的选定是一个值得研究的课题。 不容忽视的是,提交者与组织博弈又带来了模型选择受各种因素影响的问题。

AI基准测试MLPerf模型少、更新慢,地平线提出的MAPS会更好吗? | CCF-GAIR 2020

与此同时, MLPerf模型更新慢(图像分类模型在MLPerf Inference v0.5和MLPerf Inference v0.7没有更新)、模型少(仅有两个图像分类模型,只覆盖了70%和76%两个精度)。 学术界图像分类,ImageNet的主流精度范围在[75%,80%]的问题,这让MLPerf无法及时反映算法效率提升、难以反映各种精度下的速度全貌。

“要达成一个所谓的标准是极其困难的,因为大家虽然目标大致相同,但出发点不一样。“黄畅同时指出,评估芯片的AI性能,应该换一个角度,可以从准、快、省这三个维度。”

AI基准测试MLPerf模型少、更新慢,地平线提出的MAPS会更好吗? | CCF-GAIR 2020

“准”是反应实际任务上的算法精度,在不同的任务中,学术界已经有比较多共识。“快”通常有两个维度,延迟和吞吐率。“省”就是成本和功耗。黄畅认为,对于AI芯片的性能评估来讲,准和快是两个非常重要的因素。同一个芯片下,两个因素负相关,快了就会牺牲准确性,准了往往需要付出速度的代价,因此需要放在一起折中考量。

AI芯片性能的评估需要快、准、省,在这三个维度下地平线提出的新的AI芯片性能评估的方法称为MAPS(Mean Accuracy-guaranteed processing speed),意思是在精度有保障的范围评测芯片的平均效能,得到一个全面、完整、客观、真实的评估。

黄畅表示,MAPS对行业有六个创新之处:

MAPS的计算为公式为:MAPS = 所围面积 /(最高精度-最低精度) ,含义为在 ImageNet 的主流精度范围(75%~80%)下,速度最快的模型所代表的点(由精度和帧率确定)所围多边形面积大小即为芯片处理ImageNet AI任务的能力大小。

其代表的真实的AI效能也有对应的公式:MAPS/Watt &MAPS/$=TOPS/ Watt &TOPS/$ X Utilization X MAPS/TOPS

AI基准测试MLPerf模型少、更新慢,地平线提出的MAPS会更好吗? | CCF-GAIR 2020

这三个要素中,第一个TOPS/Watt、TOPS/$是传统的方式。中间的要素有效利用率,是根据架构特点,利用编译器等去统化地解决极其复杂的带约束的离散优化问题,得到一个算法在芯片上运行的实际的利用率,实际是软硬件计算架构的优化目标。第三个要素是AI算法效率,指的是每消耗一个TOPS算力,带来的实际AI算法性能,体现的是AI算法效率的持续提升,过去几年AI算法效率提升非常快。如2014年提出的VGG19计算量是2019年提出的EfficientNet B0的100倍,同时EfficientNet B0精度更高,相对于算法效率每9个月提升一倍,大幅快于18个月翻倍的摩尔定律。

黄畅表示,“三个要素中,第一个反映的是旧摩尔定律,第三个反映的是新摩尔定律。前段时间Open AI Lab以及其他的研究机构都发现, 过去几年算法提升效率非常快,几个月的时间效率就会翻倍。如果我们关注这样的效率的提升,应该把握这三要素中最主要、变化最快的要素,并且根据这个要素去指导处理器架构的设计,进行关键的取舍决策。

地平线为什么要提出MAPS这样的评价指标?黄畅在分享中也提到,“这个概念其实受到了edgeTPU的启发。它在设计之初,并没有充分考虑高效算法的发展趋势。所以当EfficientNet算法出现的时候,并不能很好适配到EdgeTPU上。但谷歌将该算法针对EdgeTPU的特点进行了专门的优化,得到速度更快、精度损失非常少的一组模型EfficientNet-EdgeTPU。 这一点和我们自己的摸索和实践是一致的——算法的选择只是手段,真正的目的应该是其在具体芯片运行所表现出来速度和精度。

AI基准测试MLPerf模型少、更新慢,地平线提出的MAPS会更好吗? | CCF-GAIR 2020

以ImageNet图像分类任务为例,EdgeTPU运行不同模型的精度和帧率

如何理解?为以ImageNet图像分类任务为例 ,如上图所示,横轴表示芯片的处理速度,衡量方式是每秒帧率(FPS),纵轴表示芯片的处理精度,度量方法是Top1分类精度。 因为在边缘应用领域,过高(会过慢)或者过低(会不准)的处理精度都不具备实际的应用价值。不失一般性,MAPS评估方式选择75%~80.5%为精度保障范围。

针对某芯片,将某算法模型运行得到的处理速度和精度用一个点表示在该图上,尝试多种不同的选择,并将精度保障范围内位于最右侧(即速度最快)的若干点和上、下、左边界所围多边形面积大小,除以该多边形的高,即MAPS=所围多边形面积 /(最高精度-最低精度) ,得到该芯片的MAPS值单位仍是FPS,表示在此精度保障范围内的平均处理速度。

AI基准测试MLPerf模型少、更新慢,地平线提出的MAPS会更好吗? | CCF-GAIR 2020

图为MAPS评估方式下主流芯片测试结果,右一折线为地平线最新一代芯片测试结果

黄畅说:“可以看出,同样标称4TOPS算力的芯片的表现差异还是很大的,在MAPS上甚至有将近2倍的差异,地平线即将推出的新一代芯片和11.4TOPS峰值算力的芯片相比,虽然在精度较高的区间上稍有劣势,但是在追求速度和延迟低的场景中会有明显的优势。”

他同时表示,“这只是一组基于EfficientNet模型评估的结果,相信随着算法不断演进,这些曲线会不断地发生变化。我们也希望有更多的软件、算法工作者,在MAPS评估方法的启发下,秉承开放包容的态度,在自己最擅长的能力上持续推动AI芯片能力的发挥。”

AI芯片当下最为关键正是满足应用的需求实现大规模落地,在这个过程中,如果能够有一个标准,既能降低AI芯片的选择难度,也能让业界达成共识朝着相同的目标努力。但正如黄畅接受采访时所说:“达成所谓的标准极其困难,要达成共识最根本的还是用商业化落地的结果,最终回归价值创造本身。”

为此, 地平线提出了MAPS评估方法,其重要核心在于放下成见,包容所有的选择。 MAPS能否获得业界的广泛认可仍有待观察。

最后,还有文章开头提到的AI芯片性能与AI算法需求之间的尖锐矛盾,有人提出了开放硬件的解决方法。对此, 黄畅表示:“无论是我还是地平线,我们都相信开放是一个更好的选择,尤其是把时间轴拉长,把整个价值体系放得更宽,开放一定是更好的选择。因为没有什么比开放更能够汇聚力量。”

注:文中配图来自地平线

新基建浪潮下AI芯片的绝佳机遇 | CCF-GAIR 2020

评价一款AI芯片最关键的指标是什么? | CCF-GAIR 2020

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
重庆网站

重庆网站排名,根据网站的综合值按照不同的重庆网站进行筛选排名结果,通过筛选重庆网站可以看到每个重庆网站里面的网站排名优质的网站是哪些

iPhone/iPad客户端下载

微盘是一款简单易用的网盘,提供超大免费云存储空间,支持电脑、手机等终端的文档存储、在线阅读、免费下载、同步和分享是您工作、学习、生活的必备工具!

马尼拉草坪基地

滁州市南谯区百聪草坪专业合作社位于安徽马尼拉草坪种植基地——滁州市珠龙镇,马尼拉草坪销售热线:15205500909,我们的草坪的品种齐全,质量好,价格优惠。凭着本本分分的生产经营赢得了许多的客户的好评,目前已经辐射到了周边几个省市,生产量可以满足任何客户的需求。主要生产经营的品种有:马尼拉,百慕大,高羊茅,虎皮草(中华结缕)等各种草坪。

电动旋转平台车

苏州奥京物流机械有限公司是从事进口OPK,手动堆高机,油桶倾倒车,不锈钢工作台,手动拖板车,无尘车间耗材,电动旋转平台车,电动滚筒平台车,电动堆高机的销售厂家,业务范围已覆盖江苏,上海,浙江,等地.

福建兴东方眼镜有限公司

海峡东南眼镜是一家专注于东南眼镜、东南眼镜加盟、眼镜加盟为一体的现代化眼镜企业,是一家集眼镜检查,验光、配镜、隐形眼镜配戴为一体的专业眼镜店。详询13950429652

广州傲蓝软件官方网站

傲蓝软件科技公司是一家专注行业管理软件的软件开发公司,提供行业软件开发,自主开发的软件包括冷库管理软件、(管理软件,销售管理软件,销售管理系统,门店连锁管理软件,会员管理软件,租赁管理软件,冷库租赁管理系统,物流管理软件,物流管理系统,仓库管理软件,库存管理软件,行业软件开发,管理软件开发),傲蓝软件官方网站竭诚为大家服务。

安天移动安全

安天移动安全是安天科技集团旗下专注移动用户安全的科技公司,自主创新的安全引擎覆盖全球超20亿移动智能终端,为智能终端的用户生态实现全场景覆盖的移动应用安全治理,对导致用户权益受损的不良行为和黑灰产进行技术响应,并为开发者提供专业安全辅导和配套产品服务

泰安瑞宏机械有限公司

-单体液压支柱密封质量检测仪,三用阀试验台,拆柱机,锚杆预应力检测仪,增扭器,顶板离层仪

河北铸翰教育科技有限公司

河北铸翰教育科技有限公司专注于教育资源的开发与深耕,开发先进的教育产品,提供完善的教育服务,构建专业化的互联网运营平台,书法小状元隶属于铸翰教育旗下,是集教材研发销售、线上书法课程和线下双师课堂于一体的书法教育品牌。

莱安电气│PLC自动化控制箱│PLC变频控制柜│PLC恒压供水控制箱│电气控制柜│游泳池控制箱│精密列头柜控制系统│水泵控制柜│成都配电箱柜│成都成套电气厂│箱柜厂

莱安电气│PLC自动化控制箱│PLC变频控制柜│PLC恒压供水控制箱│电气控制柜│游泳池控制箱│精密列头柜控制系统│水泵控制柜│成都配电箱柜│成都成套电气厂│箱柜厂

吸螺机

淮安小唐渔业机械是一家专业生产吸螺机,田螺捕捞机,田螺捕捞船,吸田螺设备等。现场操作,技术先进,欢迎咨询。

傲科光电子

傲科是一家国际领先的模拟半导体芯片设计厂商,专注于模拟、混合信号和光电集成芯片的设计、开发、制造、销售

全局底部横幅