神经网络压缩与加速竞赛双项冠军技术解读 2019 NeurIPS (神经网络压缩算法)
雷锋网AI开发者讯，日前，神经信息处理系统大会（NeurIPS 2019）于12月8日至14日在加拿大温哥华举行，中国科学院自动化研究所及其南京人工智能芯片创新研究院联合团队在本次大会的神经网络压缩与加速竞赛（MicroNet Challenge）中获得双料冠军！
以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的焦点之一。随着人工智能技术不断地落地到各个应用场景中，在终端上部署深度学习方案面临了新的挑战：模型越来越复杂、参量越来越多，但终端的算力、功耗和内存受限，如何才能得到适用于终端的性能高、速度快的模型？
由Google、Facebook、OpenAI等机构在NeurIPS2019上共同主办的MicroNet Challenge竞赛旨在通过优化神经网络架构和计算，达到模型精度、计算效率、和硬件资源占用等方面的平衡，实现软硬件协同优化发展，启发新一代硬件架构设计和神经网络架构设计等。
MicroNet Challenge竞赛对于人工智能软件、硬件的未来发展都有着非比寻常的意义，此次不仅集结了MIT、加州大学、KAIST、华盛顿大学、京都大学、浙大、北航等国内外著名前沿科研院校，同时还吸引了ARM、IBM、高通、Xilinx等国际一流芯片公司的参与。
MicroNet Challenge竞赛包括ImageNet图像分类、CIFAR-100图像分类和WikiText-103语言模型三个子任务。来自自动化所程健研究员实验室的团队参加了竞争最激烈的ImageNet和CIFAR-100两个子赛道的比拼。历经五个多月的厮杀，团队一举包揽了图像类的全部两项冠军。
团队结合极低比特量化技术和稀疏化技术，在ImageNet任务上相比主办方提供的基准模型取得了20.2倍的压缩率和12.5倍的加速比，在CIFAR-100任务上取得了732.6倍的压缩率和356.5倍的加速比，遥遥领先两个任务中的第二名队伍。
同时，受组织方的邀请，团队在大会以“A Comprehensive Studyof Network Compression for Image Classification”为主题详细介绍了相关的量化和稀疏化压缩和加速技术。
针对比赛任务，团队在报告中给出解决办法：采用量化和稀疏化技术，将深度学习算法模型进行轻量化和计算提速，以大幅降低算法模型对算力、功耗以及内存的需求，让低端设备实现人工智能方案。团队成员冷聪副研究员表示，量化及稀疏化技术也是深度学习软、硬件协同加速方案的突破口。通过将其与人工智能硬件架构设计紧密结合，可以进一步降低人工智能技术落地难度，让AI更为易得易用。
NeruIPS 2019 MicroNet Challenge神经网络压缩与加速竞赛双项冠军技术解读
赛题介绍
本比赛总共包括三个赛道：ImageNet分类、CIFAR-100分类、WikiText-103语言模型。在三个赛道上，参赛团队要求构建轻量级网络，在精度满足官方要求的条件下，尽可能降低网络计算量和存储。对于ImageNet分类，要求至少达到75%的top-1精度，而对于CIFAR-100，top-1精度需要达到80%以上。
评测指标
最终评分指标包括存储压缩和计算量压缩两部分，均采用理论计算量和存储进行计算。
对于存储，所有在推理阶段需要使用的参数均需要计算在内，比如稀疏化中的mask、量化中的字典、尺度因子等。对于存储，32比特位算作一个参数，低于32比特的数按照比例计算，例如8比特数算作1/4个参数。
对于计算量，乘法计算量和加法计算量分别计算。对于稀疏而言，稀疏的位置可以认为计算量为0。对于定点量化，32比特操作算作一个操作，低于32比特的操作按照比例计算。操作的比特数认为是两个输入操作数中较大的那一个，例如一个3比特数和一个5比特数进行计算，输出为7比特数，那么该操作数为5/32。
对于ImageNet，以MobileNet-V2-1.4作为基准（6.9M参数，1170M计算量，精度大约为75%）。所以，如果参数量记为Param，计算量记为Operation，则最终评分Score为：
对于CIFAR-100，以WideResNet-29-10为基准（36.5M参数，10.49B计算量，精度大约为80%），评分公式为：
解决方案
我们主要采用稀疏化+量化的方式，主要包括模型选择、网络剪枝、定点量化、算子融合等操作，实现大规模稀疏和极低比特压缩。
首先是模型选择，复杂的模型往往具有更高的精度，参数量和计算量较大，但同时压缩空间也比较大；轻量级模型精度相对较低，但参数量和计算量相对较小，同时对网络压缩也比较敏感，因此需要再模型复杂度和精度之前进行权衡。我们选择轻量级、同时精度略高于比赛要求的网络。最终在ImageNet上选择了MixNet-S模型（精度75.98%），在CIFAR-100上选择了DenseNet-100（精度81.1%）。
在确定好模型之后，我们先对网络进行剪枝，去掉不重要的参数量和计算。在这之前，我们对每一层进行了鲁棒性分析。具体而言，对于每一层，我们进行稀疏度从0.1到0.9的剪枝，然后测试网络精度。图1显示了网络各层对不同稀疏度的影响，可以看出某几层对网络剪枝特别敏感，而其余一些层对剪枝却很鲁邦。基于此，我们确定了每一层的稀疏度，然后删除不重要的节点，再对剩余连接进行重新训练。我们可以实现在稀疏度大概为60%的情况下，精度损失只有0.4%。
图1 网络各层对剪枝操作的鲁棒性分析
在对网络进行剪枝以后，再对网络进行定点量化。我们采用了均匀量化策略，量化公式如下：
对于激活，每层引入一个浮点数尺度因子；而对于权值，每个3D卷积核引入一个浮点数尺度因子。在给定比特数的情况下，以上优化公式唯一的待求解参数就是尺度因子，即优化目标为
，我们采用迭代优化的方式计算出每一层的尺度因子。在求解尺度因子之后，与网络剪枝类似，我们需要对网络进行微调来恢复精度，在网络微调阶段，我们保持尺度因子一直不变。通过以上方式，我们可以实现在激活7比特，参数大部分为3、4、5比特的情况下，网络精度损失为0.5个点，最终网络模型top-1精度为75.05%。
最后，我们进行了算子融合，把量化中的尺度因子、卷积层偏置、BN层参数等融合成一个Scale层，以进一步降低网络的存储和计算量。最终，我们的方法在ImageNet上只有0.34M参数和93.7M计算量，相对于基准模型实现20.2倍的压缩和12.5倍的加速；而在CIFAR-100上，我们的模型存储仅有49.8K，计算量为29.4M，相对于基准模型压缩732.6倍，加速365.5倍。
雷锋网AI开发者
原创文章，未经授权禁止转载。详情见 转载须知 。
百合网--实名婚恋。免费通信，谈情说爱不再为钱所困。1.2亿会员为爱而来，给你1.2亿的爱情火种。心理学专业恋爱类型测试帮你找到对的TA。
贝安网：前沿科技门户网站。关注智能车电动车、新能源汽车，AR/VR虚拟现实、OpenAI人工智能，手机App应用，苹果iOS/iPadOS、鸿蒙OS、谷歌Android、微软Win11/Win10/Win7/WinXP，Office,紧盯iPhone/iPad、安卓智能设备手机，数码手表等数码潮流。
上海鎏铖科技有限公司主要从事防火门,金属门框,矿物门芯,防火纤维水泥板,膨胀密封条,阻燃防潮密度板等产品销售,帮助了众多客户通过了国内国际防火测试.产品质量优异,防火性能好,价格合理,产品型号规格全,厂家直发,欢迎来电详谈18616658007.
专注分享免费、绿色、无毒、无捆绑的实用软件资源！
童画秀秀——国内最专业的儿童绘画存储、分享和交流平台。2016年6月1日快乐上线后，快速聚集了全国各地喜欢画画的孩子、注重子女美术教育的家长和从事儿童绘画教育的老师，他们本着“原创、童真、分享”的精神，在平台上展示童画作品，分享教育经验，参加绘画比赛，共同打造中国最专业的儿童绘画社交平台。
浙江耀昇工贸有限公司座落于武义县下陈工业区，是一家致力于甲级防盗门的研究、开发、制造、销售为体的专业型企业。公司厂房面积2.5万平方米，员工200多人，产值1亿元。
安徽净化工程设计施工，洁净厂房/净化车间装修就找安徽双佳净化工程公司，电话187-8889-3806全天在线服务，专业承接各类洁净厂房、净化车间装修设计施工，万/千/百级净化工程设计施工EPC总包。
大连广告,大连马拉松,大连LOGO,大连标志,广告设计,平面设计,宣传册,样本设计,企业文化墙,党建活动室,大连网站设计,网站建设,网店装修,域名注册,虚拟主机,企业邮箱,大连文化,大连文创,大连纪念品,体育赛事,策划执行,视频影视FLASH,三维动画,企业宣传片,后期编辑制作,企业年会,礼仪庆典,公关宣传活动,大连整合行销,大连传媒,广告公司,广告营销策划,企划
杭州鹳山西服有限公司距杭州市区约90公里，公路交通方便。30多年来，经过不懈艰苦创业，目前已发展成为一个颇具实力的专业西服制造厂家。
同桌100学习网为中小学生,高中生提供语文,数学,英语,奥数等各学科同步教学视频辅导.其中涵盖北师大版,人教版等多个版本的同步课程.同桌100学习网是您24小时贴心家教.
我们是一家专业从事产品外包装（二次包装）的公司，我们致力于半导体行业，电子行业，电器元件等行业的产品外包装。主要产品有：晶圆包装机、半导体包装机、tray和reel全自动包装机、真空包装机，电磁感应封口机，下走膜包装机。包装耗材：晶圆包装袋，晶圆片运输盒，缓冲材料，干燥剂，湿度卡，防静电胶带。
上海加含工贸有限公司是一家集注塑、纸制品、吸塑一体，拥有模具全套加工设备，专业生产食品包装用品、各式模具的综合型企业。主要产品：直径120至160纸盘、各式塑料刀叉勺、模内贴蛋糕盒、塑料杯、航空杯、生日插片、刀叉盘组、月饼等
雷锋网AI开发者讯，日前，神经信息处理系统大会，NeurIPS2019，于12月8日至14日在加拿大温哥华举行，中国科学院自动化研究所及其南京人工智能芯片创新研究院联合团队在本次大会的神经网络压缩与加速竞赛，MicroNetChallenge，中获得双料冠军！以模型压缩和加速为代表的深度学习计算优化技术是近几年学术界和工业界最为关注的...。
在具有挑战性的环境中，一些人工智能系统通过利用过去经验所提供的世界表象来实现目标，研究人员将这些应用推广到新的情况，使它们能够在以前从未遇到过的环境中完成任务，事实证明，强化学习——一种使用奖励来推动软件策略朝着目标前进的训练技术——特别适合学习一个总结agent经验的世界模型，并通过扩展来促进新行为的学习，雷锋网消息，近日，来自Go...。
雷锋网AI科技评论按，对于机器学习而言，区分异常数据或有显著差异数据至关重要，谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性，AI科技评论将谷歌对该方法的官方解读编译如下，深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常...。
雷锋网AI科技评论按，作为最久负盛名的机器学习顶会之一，今年NeurIPS2019在召开之前就消息不断，在今年论文审稿期间，NeurIPS2019程序委员会主席专门发布声明称，19篇论文因一稿多投被拒收，一时造成热议；而在会议近一个月前，多位黑人参会者们申请加拿大签证被拒的消息引起了AI学者们纷纷为其发声并对近年来签证问题的讨论展开了...。
雷锋网AI科技评论按，本文来自德国Fraunhofer协会IAIS研究所的研究科学家MichaelGalkin，他的研究课题主要是把知识图结合到对话AI中，雷锋网AI科技评论全文编译如下，必须承认，图的机器学习，MachineLearningonGraphs，已经成为各大AI顶会的热门话题，NeurIPS当然也不会例外，在NeurIP...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，雷锋网AI科技评论按，2019年12月8日，14日，机器学习领域国际顶级会议NeurIPS2019于加拿大温哥华拉开帷幕，此次大会共吸引了全球1万余名专家学者共赴盛会，本年度，自然语言处理领域在深度学习浪潮下取得了显著成就，成为大会重要议题之一，百度举办了自然语言处...。
图像分类是一个认为几乎解决了的问题，有趣的是，你必须竭尽所能来提升额外的1%的准确率，当我参加，IntelSceneClassificationChallengehostedbyAnalyticsVidhya，由AnalyticsVidhya主办的英特尔场景分类挑战，我非常喜欢这次比赛，因为我尝试从我的深度学习模型中榨干所有的潜力，...。
AAAI2022的审稿结果千呼万唤始出来，但是，接收率只有15%，距离北京时间12月1日晚公布结果仅不到两天时间，吐槽声遍布全网，其中一个共同的声音认为，15%的录取率对社区是一种伤害，这会迫使大家转向其他领域，去做一些渐进式的工作，因为这类工作比较容易润色，相比之下，NeurIPS26%的接收率就显得合理得多，目前，评论区已经被各种...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，帝国理工学院联合爱奇艺、格灵深瞳、深见网络科技举办了轻量级人脸识别竞赛ICCV2019LFR，LightweightFaceRecognitionChallenge，，它是今年ICCV人脸识别的一项重要竞赛，吸引了来自全球的292支竞赛队伍参加，此次ICCVLFR挑...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，10月27日，11月2日，在ICCV2019Workshop举办的VisionMeetsDrone，AChallenge，简称，VisDrone2019，挑战赛上，云从科技研究院与中科院信息工程研究所葛仕明研究员团队，以下简称，联合研究团队，获得了Task3，单目...。
12月10日，由国际人工智能顶会NeurIPS与FacebookAI联合举办的图像相似匹配竞赛ISC2021落下帷幕，本次比赛共有1635支参赛队伍参加，是今年NeurIPS会议上最具影响力的比赛之一，来自蚂蚁集团的TitanShieldTeam，titanshield2，以超越第二名10个百分点的成绩斩获图像表征赛道冠军，据悉，此次...。
时隔两个月，字节模型遭攻击事件又有新后续，今年10月份，字节商业化内部模型商业化内部模型训练遭实习生攻击一事闹得满城风雨，后这位名为田柯宇的实习生便被开除并被要求赔偿字节的侵权损失800万元及合理支出2万元，本以为这个瓜会以字节的，雷霆手段，告一段落，没想到就在刚刚，事件迎来了大扭转，田柯宇和字节合作的论文竟然被人工智能顶级会议NIP...。
又一名AI大神有了新动向！当地时间3月13日下午3点，何恺明在MIT做学术演讲，据现场网友所述，即便自己提前半小时去到现场，但仍挤不进会场，仅排队就拐了几个弯，MITCSAIL还临时开了隔壁会议室投屏，许多人是挤在小角落里听完全程的，据MITCSAIL实验室此前发布公告显示，本次何恺明的演讲主题是InPursuitofVisualIn...。
佳能中国关厂裁员给出高额赔偿，有员工拿到150万补偿，反被指故意拉高国内企业补偿标准有媒体记者从佳能珠海员工处获得一份，关于协商一致解除劳动合同优待方案的公告，公告显示，补偿金分为五部分，经济补偿金、特别慰劳金、就业支援金、感怀铭记奖金以及春节慰问金，经济补偿金计算标准为N，1，N，是指法定经济补偿金，即员工公司工龄x员工月平均工...。
发表在专业问答2022，1，821，39展示机型信息，品牌型号，iPhone12系统版本，iOS15.2软件版本，腾讯视频8.4腾讯会员一个季的时间是三个月，从开通之日起算，到下月的此日结束为一个月，三个往复为一季，腾讯会员包季度是几个月腾讯会员包季度的时间是三个月，腾讯视频是在线视频平台，拥有流行内容和专业的媒体运营能力，是聚合热播...。
发表在综合交流大区2022，5，2415，32导读，由于特殊的大环境因素现在人居家宅家的情况会比较多，提升居家品质生活也成了年轻人比较关注的点，用投影仪来打造家庭私人影院成乐现在火热的一种方式，投影仪市场品类杂多，有几百元几千元不等价位的产品，这篇文章会提到两千元投影仪性价比排行，给一些预算有两千左右的小伙伴推荐4款2000左右性价比...。
最新方法怎么看电视台，只需要在电视上装一个当贝市场就可以轻松解决，1、下载当贝市场，http，www.dangbei.com，安装包并拷贝到U盘，2、打开东芝电视，按下遥控器的设置键，打开设置界面，点击，更多设置，3、在设置界面找到，通用，选择，商场模式，，把商场模式改为，开启，状态，4、成功开启以后，把U盘接到电视的USB接口...。
