对Xception 2017精彩论文解读 一种深度可分离卷积 CVPR 模型的介绍
雷锋网 AI 科技评论按：虽然CVPR 2017已经落下帷幕，但对精彩论文的解读还在继续。下文是Momenta高级研究员王晋玮对此次大会收录的 Xception：Deep Learning with Depthwise Separable Convolutions
Inception模块是一大类在ImageNet上取得顶尖结果的模型的基本模块，例如GoogLeNet、Inception V2/V3和Inception-ResNet。有别于VGG等传统的网络通过堆叠简单的3*3卷积实现特征提取，Inception模块通过组合1*1，3*3，5*5和pooling等结构，用更少的参数和更少的计算开销可以学习到更丰富的特征表示。
通常，在一组特征图上进行卷积需要三维的卷积核，也即卷积核需要同时学习空间上的相关性和通道间的相关性。将这两种相关性显式地分离开来，是Inception模块的思想之一：Inception模块首先使用1*1的卷积核将特征图的各个通道映射到一个新的空间，在这一过程中学习通道间的相关性；再通过常规的3*3或5*5的卷积核进行卷积，以同时学习空间上的相关性和通道间的相关性。
但此时，通道间的相关性和空间相关性仍旧没有完全分离，也即3*3或5*5的卷积核仍然是多通道输入的，那么是否可以假设它们可以被完全分离？显然，当所有3*3或5*5的卷积都作用在只有一个通道的特征图上时，通道间的相关性和空间上的相关性即达到了完全分离的效果。
若将Inception模块简化，仅保留包含3*3的卷积的分支：
再将所有1*1的卷积进行拼接：
进一步增多3*3的卷积的分支的数量，使它与1*1的卷积的输出通道数相等：
此时每个3*3的卷积即作用于仅包含一个通道的特征图上，作者称之为“极致的Inception（Extream Inception）”模块，这就是Xception的基本模块。事实上，调节每个3*3的卷积作用的特征图的通道数，即调节3*3的卷积的分支的数量与1*1的卷积的输出通道数的比例，可以实现一系列处于传统Inception模块和“极致的Inception”模块之间的状态。
运用“极致的Inception”模块，作者搭建了Xception网络，它由一系列SeparableConv（即“极致的Inception”）、类似ResNet中的残差连接形式和一些其他常规的操作组成：
作者通过TensorFlow实现了Xception，并使用60块NVIDIA K80分别在ImageNet和JFT（Google内部的图像分类数据集，包含17000类共3.5亿幅图像）上进行训练，并分别在ImageNet和FastEval14k上进行测试。在ImageNet上，Xception的准确率相比Inception V3有一定的提升，并比ResNet-152或VGG-16有较多提升（单个模型，单个crop）：
在JFT/FastEval14k上，Xception取得了比ImageNet上相比于Inception V3更多的准确率提升：
同时，和Inception V3相比，Xception的参数量有所下降，而训练时的迭代速度也没有明显变慢:
另外，在ImageNet和JFT上的训练过程都显示，Xception在最终准确率更高的同时，收敛过程也比Inception V3更快：
在Xception中加入的类似ResNet的残差连接机制也显著加快了Xception的收敛过程并获得了显著更高的准确率：
值得注意的是，在“极致的Inception”模块中，用于学习通道间相关性的1*1的卷积和用于学习空间相关性的3*3的卷积之间，不加入任何非线性单元相比于加入ReLU或ELU激活函数将会带来更快的收敛过程和更高的准确率：
这篇文章中提及的Depthwise Convolution操作，即group数、输入通道数和输出通道数相等的卷积层，在最近一年内被多篇CNN模型结构设计方面的工作所使用，包括Factorized Convolutional Neural Networks，Xception，MobileNet和ShuffleNet等，以及ResNeXt一文中使用的大量分group卷积操作也与之有相似之处。它们有的在ImageNet上取得了非常好的结果，有的大幅降低了模型的理论计算量但损失较少的准确度。本文作者从空间相关性和通道间相关性的角度解释Depthwise Convolution，认为这是将学习空间相关性和学习通道间相关性的任务完全分离的实现方式。
事实上，这一操作也可以从低秩角度理解，即将每个输入通道上可学习的卷积参数的秩限制为1。不过潜在的问题是，虽然Depthwise Convolution可以带来准确率的提升或是理论计算量的大幅下降，但由于其计算过程较为零散，现有的卷积神经网络实现中它的效率都不够高，例如本文中Xception的理论计算量是远小于Inception V3的，但其训练时的迭代速度反而更慢一些。期待后续会出现更加高效的Depthwise Convolution实现。
版权文章，未经授权禁止转载。详情见 转载须知 。
网易公开课汇集清华、北大、哈佛、耶鲁等世界名校共上千门课程，覆盖科学、经济、人文、哲学等22个领域，在这里你可以开拓视野看世界，获取有深度的好知识。
广州市人民政府门户网站（网址：www.gz.gov.cn）是由广州市人民政府办公厅主办，广州市政务服务和数据管理局承办，利用政府的设备、网络和信息等资源整合建设而成。它以政府部门网站为依托，以需求为导向，以服务为宗旨，遵循“以人为本”的设计理念，围绕信息公开、在线服务和公众参与三大政府网站功能定位，设置了“政务公开”、“政务服务”、“互动交流”、“营商环境”、“魅力广州”五大频道，以丰富的内容、人性化的服务和强大的功能为用户提供服务。
东方体育是东方网旗下的体育新闻直播门户网站，提供NBA直播、CBA直播、中超|英超|西甲足球直播等体育赛事直播，还有乒乓球、羽毛球、网球、篮球、足球等更多精彩体育赛事新闻报道和视频集锦回放。了解最新足球/篮球等体育赛程，敬请关注东方体育，海量体育新闻，每一秒都有你的世界！
查询百度权重和百度的关键字排名，查询360权重和360的关键字排名
通过关键词排名工具查询，可以快速得到当前网站的关键字在百度的排名情况。
腾讯电脑管家官网网站，提供正版电脑管家软件下载，最大的安全云库，全新的杀毒引擎，深度清理电脑垃圾，为电脑重回巅峰状态，远程控制电脑，保护电脑安全。
海峡东南眼镜是一家专注于东南眼镜、东南眼镜加盟、眼镜加盟为一体的现代化眼镜企业，是一家集眼镜检查，验光、配镜、隐形眼镜配戴为一体的专业眼镜店。详询13950429652
南京东升电炉厂
乐山大佛,乐山大佛门票,乐山大佛旅游，乐山大佛酒店,四川旅游,,拜佛,乐山大佛攻略,乐山美食-乐山大佛旅游网
浙江中诚塑业有限公司成立于2014年11月，是专业生产七层共挤膜、十一层流延膜、气阀袋、单向排气阀袋、压纹膜、发酵饲料袋、冷鲜肉热收缩袋、真空袋等软包装的生产企业。公司拥有标准规范的全封闭式生产车间，配备先进精细的透氧、透水、层厚、拉力、摩擦系数等检测仪器。多年来秉承以诚信为本、以品质为上、以诚意为服务等不断去追求、开拓、创新，同时公司秉承守法，经营合法，依法纳税的经营理念也是公司应尽的责任和义务。
巴洛仕集团为您提供专业的水下清淤机器人服务。化工储罐拆除,储罐拆除公司,储罐拆除资质,储罐拆除施工方案厂家就找巴洛仕储罐拆除一站式解决方案提供者。
广州创仪欣仪器有限公司(www.gzcyxyq.com)是Hysitron纳米压痕仪,电势诱导衰退检测仪PID,电池缺陷测试仪B-LAB供应商,广州创仪欣仪器有限公司有良好的售后服务和优质的解决方案,欢迎来电洽谈
今天，IT职业在线教育平台极客学院获得国际顶级风投SIG和蓝驰创投的2200万美金的投资，前有泡面吧，开课吧，后有极客学院受宠，不得不对IT职业在线教育领域的深思，极客学院作为国内IT职业在线教育的领头羊，自然而言就进入到相关投资人士的眼中，而双方促成此次的融资，可谓是行业里面较大的一次融资与最有价值的融资事件，是一次三赢的交易，从市...。
雷锋网注，本文作者为中国科学院信息工程研究所张晓宇副研究员和电子科技大学李长升研究员，我们先插一段广告，国际图象图形学学术会议，ICIG，想必是大家比较熟悉的一个国际会议了，ICIG创建于2000年，每两年举办一届，迄今已经成功举办九届，是中国图象图形学学会主办的最高级别的系列国际[T1]会议，8月23，25日，ICIG2019将于北...。
9月20日上午，深圳坂田跨境产业园区上空惊现，飞艇，，上面印着，市占率第一，等字样，似乎在向跨境卖家们呐喊，与此同时，在二十公里之外的福田会展中心，2024领星跨境电商卖家峰会正在举行，爆品、品牌、营销、本地化、合规.....10位超10亿级跨境卖家现场分享各类实战经验，链接5000，跨境卖家共聚一堂，这两件看似并无关联却联系紧密的事...。
光学显示是AR眼镜最核心的技术，光波导则是目前巨头们都在追逐的光学显示明星方案，然而，懂光波导技术的人却并不多，不少媒体人、投资人看光波导的项目也是云里雾里，7月7日，AR光学显示技术提供商灵犀微光召开了一场闭门科技体验会，CEO郑昱系统讲解了目前AR显示技术发展的情况、光波导技术能如何促进AR发展、光波导技术面临的几大难题以及对下一...。
500多年前的意大利，政治思想家马基雅维利无法预测到，他极力倡导的，以历史事实和个人经验为依据来研究社会政治问题，的想法在后世会迎来挑战，而这一挑战正是来自于科学体系下产生的数据，基于精准数据来研究社会现实，也让历史上诸多强调个人意志力的理论变成了旧范式，这一切，与当代的技术繁荣分不开，传统的政治结构以及城市治理，形成了信息壁垒与权力...。
11月17日我在拼多多甄蒂Zendier购买了一件连衣裙，11月20日拿到商品的时候发现裙子的拉链我拉不动，第一时间录了商品拉链拉不了的视频发给商家，商家给的售后方案是退货退款，11月23日将商品退回给商家，退货的时候连衣裙是拉链拉不了的问题所以售后我选的是商品有问题申请退货退款，11月25日商家收到退货后以商品没问题拒绝退款，11月...。
[全球网报道记者李梓瑜]据美国有线电视资讯网，CNN，报道，美国特勤局外地期间14日称，目前没有增强对周一，15日，在威斯康星州密尔沃基举行的共和党全国代表大会安保保证措施的方案，要素是对此前的方案，充溢信念，报道称，在密尔沃基举行的资讯颁布会上，特勤局大会协调员奥黛丽·吉布森，奇奇诺说，，咱们将继续口头原来的方案，咱们对这些方案充...。
狗死了，预示找你无中生有的人退场了，口舌之争完毕了，表象心疼狗死了，其实是好的预兆，梦见狗死了是什么意思，周公解梦参考如下，狗的特点是对客人忠心，对死敌犯罪，一方面，它经常意滋味德、自我解放、自我需要和纪律，梦中的狗即是做梦人自己心坎的行为规范、准绳、品德的守卫者，或许或许了解为素日人们所说的，良知，在心坎潜看法中施展作用，在梦中构成...。
随着智能手机的宽泛运行，越来越多的用户开局关注手机的系统权限疑问，在安卓系统中，失掉root权限可以让用户领有更多的自主性和可定制性，但同时也会带来一些潜在的危险，于是一键root权限巨匠应运而生，它可以让疑问技术的用户轻松失掉root权限，但是其安保性和牢靠性也不时遭到争议，本文将会对一键root权限巨匠的适用性与安保性启动剖析，首...。
元，上牌费用500元，置办税元，车船经常使用税4400，如题主想要了解的，奥迪r8多少钱一辆跑车，关系内容引见有以下奥迪R8AudiR8在国际的售价在万到万之间奥迪R8是一款中置引擎双座跑车，由德国汽车制作商奥迪于2006年推出，加快达316kmh奥迪R8是奥迪量，元，上牌费用500元，置办税元，车船经常使用税4400元，交强险95，...。
想购置一辆二手哈弗H2，多少钱大约在5万元左右，但详细还要看车况，以下是评价方法，1.如今市值价=过后新车裸车价×，1，15%，×，1，15%，×，1，15%，，即每年递减15%左右，满几年就乘以多少个，1，15%，；2.思考保险和审车的残余期间，期间越长，费用就按期间比例加下来；3.车辆手续完全，包含购车发票、钥匙、说明书、工具箱、...。
支付宝蚂蚁庄园2022年3月16日的题目为：行车过程中只要是绿灯车辆就可以通行吗？也有例外还是当然是啦？很多小伙伴可能还不太清楚。下面小编就为大家带来了正确答案分享，希望能帮助到
养生就是根据生命发展的规律，采取能够保养身体，减少病痛，增进健康，健康的手段，所进行的保健活动，养生，又称摄生、道生，一词早见于，庄子，内篇，所谓生，就是生命、生存、生长之意；所谓养，即保养、调养、培养、补养、护养之意，养生是经过养精神、调饮食、练形体、慎房事、适寒温等各种方法去实现的，是一种综合性的强身益寿活动，?中医养生学是在中医...。
发表在坚果投影仪2022，10，1209，45坚果微果D1据说是一款重新定义LCD投影仪的设备，那么这款投影仪和价格相近的哈趣K1对比有什么区别呢，下面就通过详细的参数配置对比分析了解两者的区别，看看哪款投影仪更值得入手，一、坚果微果D1和哈趣K1有什么区别1.光学参数对比在亮度方面，坚果微果D1的实际亮度为900ANSI流明，略高于...。
现在大家生活节奏不断的加快，对于快餐美食是由衷的喜爱，市场上快餐店也是出现了许多，这些快餐店里的美食也是备受着大家的好评，麦格热狗在美食上是比较火的，该美食价格实惠，营养物质也高，口味上也是丰富，麦格热狗小吃作为小本经营的快餐行业，很快被一些智慧之选商看中了，也都智慧之选加盟进来了，麦格热狗加盟成本，麦格热狗是一种以热狗为主要食材制作...。
[文，观察者网熊超然]泽连斯基站在特朗普身旁，镜头逐渐拉近到这位乌克兰总统脸上，原本黑色的画面变成黑红色，大把美钞如冷冷的冰雨在他脸上胡乱地拍……，观念，距离你失去零花钱还有38天，POV，You，re38Daysfromlosingyourallowance，这是特朗普的长子小特朗普，于外地时期11月9日在社交媒体Instag...。
网易文娱3月19日报道打造理想生存空间、记载青年人理想生存模式的综艺节目，念念桃花源，正在浙江卫视热播，爱奇艺、优酷同步播出，阮经天、张天爱、周奇在，桃花源，的都市慢生存行将完结，在这段都市慢生存之旅中，三团体对慢生存的了解，也在不时探求与通常中提高，最后一期的收官之行中，他们和航行嘉宾尤长靖以及另一位奥秘嘉宾会用怎样的模式来告别，桃...。
