对Xception 2017精彩论文解读 一种深度可分离卷积 CVPR 模型的介绍
雷锋网 AI 科技评论按：虽然CVPR 2017已经落下帷幕，但对精彩论文的解读还在继续。下文是Momenta高级研究员王晋玮对此次大会收录的 Xception：Deep Learning with Depthwise Separable Convolutions
Inception模块是一大类在ImageNet上取得顶尖结果的模型的基本模块，例如GoogLeNet、Inception V2/V3和Inception-ResNet。有别于VGG等传统的网络通过堆叠简单的3*3卷积实现特征提取，Inception模块通过组合1*1，3*3，5*5和pooling等结构，用更少的参数和更少的计算开销可以学习到更丰富的特征表示。
通常，在一组特征图上进行卷积需要三维的卷积核，也即卷积核需要同时学习空间上的相关性和通道间的相关性。将这两种相关性显式地分离开来，是Inception模块的思想之一：Inception模块首先使用1*1的卷积核将特征图的各个通道映射到一个新的空间，在这一过程中学习通道间的相关性；再通过常规的3*3或5*5的卷积核进行卷积，以同时学习空间上的相关性和通道间的相关性。
但此时，通道间的相关性和空间相关性仍旧没有完全分离，也即3*3或5*5的卷积核仍然是多通道输入的，那么是否可以假设它们可以被完全分离？显然，当所有3*3或5*5的卷积都作用在只有一个通道的特征图上时，通道间的相关性和空间上的相关性即达到了完全分离的效果。
若将Inception模块简化，仅保留包含3*3的卷积的分支：
再将所有1*1的卷积进行拼接：
进一步增多3*3的卷积的分支的数量，使它与1*1的卷积的输出通道数相等：
此时每个3*3的卷积即作用于仅包含一个通道的特征图上，作者称之为“极致的Inception（Extream Inception）”模块，这就是Xception的基本模块。事实上，调节每个3*3的卷积作用的特征图的通道数，即调节3*3的卷积的分支的数量与1*1的卷积的输出通道数的比例，可以实现一系列处于传统Inception模块和“极致的Inception”模块之间的状态。
运用“极致的Inception”模块，作者搭建了Xception网络，它由一系列SeparableConv（即“极致的Inception”）、类似ResNet中的残差连接形式和一些其他常规的操作组成：
作者通过TensorFlow实现了Xception，并使用60块NVIDIA K80分别在ImageNet和JFT（Google内部的图像分类数据集，包含17000类共3.5亿幅图像）上进行训练，并分别在ImageNet和FastEval14k上进行测试。在ImageNet上，Xception的准确率相比Inception V3有一定的提升，并比ResNet-152或VGG-16有较多提升（单个模型，单个crop）：
在JFT/FastEval14k上，Xception取得了比ImageNet上相比于Inception V3更多的准确率提升：
同时，和Inception V3相比，Xception的参数量有所下降，而训练时的迭代速度也没有明显变慢:
另外，在ImageNet和JFT上的训练过程都显示，Xception在最终准确率更高的同时，收敛过程也比Inception V3更快：
在Xception中加入的类似ResNet的残差连接机制也显著加快了Xception的收敛过程并获得了显著更高的准确率：
值得注意的是，在“极致的Inception”模块中，用于学习通道间相关性的1*1的卷积和用于学习空间相关性的3*3的卷积之间，不加入任何非线性单元相比于加入ReLU或ELU激活函数将会带来更快的收敛过程和更高的准确率：
这篇文章中提及的Depthwise Convolution操作，即group数、输入通道数和输出通道数相等的卷积层，在最近一年内被多篇CNN模型结构设计方面的工作所使用，包括Factorized Convolutional Neural Networks，Xception，MobileNet和ShuffleNet等，以及ResNeXt一文中使用的大量分group卷积操作也与之有相似之处。它们有的在ImageNet上取得了非常好的结果，有的大幅降低了模型的理论计算量但损失较少的准确度。本文作者从空间相关性和通道间相关性的角度解释Depthwise Convolution，认为这是将学习空间相关性和学习通道间相关性的任务完全分离的实现方式。
事实上，这一操作也可以从低秩角度理解，即将每个输入通道上可学习的卷积参数的秩限制为1。不过潜在的问题是，虽然Depthwise Convolution可以带来准确率的提升或是理论计算量的大幅下降，但由于其计算过程较为零散，现有的卷积神经网络实现中它的效率都不够高，例如本文中Xception的理论计算量是远小于Inception V3的，但其训练时的迭代速度反而更慢一些。期待后续会出现更加高效的Depthwise Convolution实现。
版权文章，未经授权禁止转载。详情见 转载须知 。
小一步微官网小一步微简介关于我们小一步是一个AI应用与数字化技术普及公益行动。旨在帮助更多的青少年使用和了解数字化工具、AI工具，培养和激发他们在信息化数字化方面的思维能力。小一步，每一步都算数。微简介
【海南售楼热线400-000-9012】买100平送40平，「今日特价」超大景观长廊,大露台赏海,精装现房,天然氧吧,来电享特价,「海南市房子上房歌网」专业可靠,全程陪同看房,免费咨询房产资讯.
安贝瑞尔-首页
美易搭专注软装美学场景落地，以家居软装美学场景SaaS系统为依托、依靠物联网、大数据、云计算和AI人工智能等核心技术打造的家居软装数字化智慧解决方案。
学古诗(www.xuegushi.net)提供古诗大全,古诗词名句,古诗词鉴赏,名诗名句大全,古诗词三百首,唐诗大全,宋词名句,经典古诗文,古诗文大全,古代诗歌大全等古诗古词,尽在学古诗.
主要用于，单位概况，政务公开，网上办事，交流互动，预约服务，专题专栏，其他，数字厦门等信息的发布
黑龙江龙电律师事务所始创于1997年，经过二十余年的不懈努力，已发展成为中国律师行业中优秀的综合性律师事务所之一。
呈云快奇迹网
发卡网是96云店网专注虚拟商品自动发货发卡平台,公司运营资质齐全的发卡平台,拥有电信业务经营许可,支付通道齐全常年无缺,D0当天秒结算,六年品牌老站专注稳定,企业个人软件开发者零售开店首选寄售平台
白衣无尘，亦如初见。在下摘繁华，陇右人士，喜古风与汉服。相互珍重，各自安好。
优学教育网(www.xueba78.com)，我们的团队由经验丰富的教育专家组成，他们将为您提供个性化的建议和解决方案，帮助您实现学业和职业上的目标。无论您正在寻找学习机会、考试准备、职业规划，还是寻求教育领域的最新见解，我们都为您提供全面的支持。期待与您一同探索知识的海洋，共同追求教育和职业生涯的成功。
家具，与人们的居家生活休戚相关，它不仅能够为整个家庭的装修风格平添色彩，而且还能体现出主人的生活品味，在挑选家具时，人们通常会在定制家具和成品家具之间摇摆不定，下面，我们就来看看定制家具和成品家具的区别有哪些吧！定制家具和成品家具的区别1、气定神闲VS四处奔走如果，你打算购买成品家具的话，就得先去把当地的家具建材市场跑一遍，跑完后，你...。
过去一周里，雷锋网参加了业内多个重大会议，包括国内的双创周、极飞科技年度大会，以及国外的IROS2016等，下面我们就来回顾下，这些大会都有哪些看点，IROS2016，见证机器人领域最顶级的国际会议IROS会议今年已经举办到第29届，会议每年会收到约两千多篇论文投稿，而本届会议在韩国大田举办，会有2500位来自约40个国家的全球机器人...。
雷锋网AI科技评论按，对于机器学习而言，区分异常数据或有显著差异数据至关重要，谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性，AI科技评论将谷歌对该方法的官方解读编译如下，深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常...。
雷锋网AI科技评论按，作为最久负盛名的机器学习顶会之一，今年NeurIPS2019在召开之前就消息不断，在今年论文审稿期间，NeurIPS2019程序委员会主席专门发布声明称，19篇论文因一稿多投被拒收，一时造成热议；而在会议近一个月前，多位黑人参会者们申请加拿大签证被拒的消息引起了AI学者们纷纷为其发声并对近年来签证问题的讨论展开了...。
AI科技评论今天给大家介绍一篇已被接收的论文，论文作者来自卡耐基梅隆大学、香港科技大学、北京大学和马萨诸塞大学阿默斯特分校，是MEAL系列作者的一篇最新力作，这是一篇非常特别的文章，其中一个审稿人评价这篇文章是标签平滑和知识蒸馏领域有突破性的一篇文章，并给出了8分的高分，为什么说它特殊呢，因为论文的核心并不是常见的刷点打榜的工作，而...。
雷锋网AI科技评论按，本文来自德国Fraunhofer协会IAIS研究所的研究科学家MichaelGalkin，他的研究课题主要是把知识图结合到对话AI中，雷锋网AI科技评论全文编译如下，必须承认，图的机器学习，MachineLearningonGraphs，已经成为各大AI顶会的热门话题，NeurIPS当然也不会例外，在NeurIP...。
2021年11月12日凌晨，迟迟未公布的CoRL2021论文奖名单终于揭晓，备受关注的论文大奖全部被华人学者包揽，来自麻省理工大学的TaoChen，JieXu，PulkitAgrawal，导师，拿下最佳论文奖；来自哥伦比亚大学的HuyHa，宋舒然，导师，拿下最佳系统论文奖，本次获提名奖的共有七篇论文，四篇最佳论文奖提名，三篇最佳系统论...。
译者，AI研习社，季一帆、，在强化学习中，我们使用奖惩机制来训练agents，Agent做出正确的行为会得到奖励，做出错误的行为就会受到惩罚，这样的话，agent就会试着将自己的错误行为最少化，将自己的正确行为最多化，本文我们将会聚焦于强化学习在现实生活中的实际应用，很多论文都提到了深度强化学习在自动驾驶领域中的应用，在无人驾驶中，需...。
雷锋网AI科技评论按，量子优势，这个概念是科技公司大多公开表达或半公开支持一种说法，即量子计算机的计算性能超越史上最强的经典计算机，在通往，量子优势，这条道路上，IBM可谓是一位超级积极分子，日前，IBM发布博文介绍了其在，自然，上发表的一篇名为，使用量子强化特征空间的监督学习，的论文所提出的一种量子算法，称该算法有望在不远的将来让...。
2月4日至2月9日，旧金山迎来人工智能的国际顶级会议——AAAI2017，AI科技评论作为前赴第一线现场报道的中国媒体，在大会期间为大家梳理了一份AAAI2017的现场精华集锦，内容包括七大部分，让你即便不在现场也能感受一番，故事在手，天下我有，的体验，一、百度、腾讯、华为……哪些国内公司的论文被AAAI收录，今年的AAAI2017上...。
EfficientZero的性能接近DQN，DeepQ，Learning，在2亿帧时的性能，但消耗的数据却减少500倍，近日，一项研究在学术界引起了广泛的关注和热议，有消息称，DeepMind和Google已经在内部关门开会讨论了，粉丝众多的科技向youtube博主Yannickicher甚至专门做了半个小时的视频来讲解这篇论文，学者...。
疫情之后，，旧的世界，将不复存在线上直播将成为学术交流的重要形式2020年4月3日，NLP顶会ACL2020公布录用论文之后，AI科技评论相继与哈工大、复旦大学联合举办两期，ACL系列解读，直播活动，受到广大师生的好评，第一期，ACL2020，哈工大SCIR系列解读第二期，ACL2020，复旦大学系列解读在此基础上，我们在此联合清华大...。
近日，来自德国埃尔兰根，纽伦堡大学的学者提出了一种新颖的神经网络方法，用于3D图像的场景细化和新视图合成，只需要输入点云和相机参数的初始估计，就可以输出由任意相机角度合成的图像，360度旋转都不是问题，研究人员表示，高效的单像素点光栅化让他们能够实时显示超过1亿个像素点的点云场景，一亿个像素点是什么概念，说白了，这些3D图像太逼真了，...。
雷军再次开创了先河，将一场发布会分成两天进行，不仅仅是小米的第一次，在全球各行业发布会中也是极为罕见的一次，2021年3月29日的小米春季发布会，原本打算召开将近5小时，发布16款新品，包括小米MIX、小米11Pro、小米11Ultra、小米11青春版、小米笔记本Pro15、小米自研芯片等，然而，在实际情况中，发布会仅发布了小米11P...。
今年二月，高通推出的最新一代5G调制解调器骁龙X60速度和时延堪比光纤，与5G同时代的Wi，Fi6也不甘示弱，本周五，高通宣布推出最新新一代Wi，Fi6E平台组合，路由器侧的最高规格平台NetworkingPro1610是全球首款16路数据流的Wi，Fi6E平台，最高支持10.8Gbps的连接速率，基本上可以和有线连接速率持平，当然，...。
近期天朝是穹顶之下，十面霾伏，，橙色预警持续响起，当然不是所有雾霾都叫特浓雾霾，这次恶劣天气过程中雾霾没抢上头条，占据头条位置的竟然是一架俄罗斯航空飞机！！！事情得从11月14日那一夜讲起，北京已经发布了雾霾橙色预警，气象部门也发布了特大浓雾预警，受天气影响，首都机场降落条件不行，空管部门联合机场启动了二类盲降，就是不用肉眼，凭借仪表...。
赤木晴子大神级投影控发表于2024，07，25针对1080P投影仪，以下几款投影仪在市场上表现不错，具有高性价比，*坚果J10S，这款投影仪亮度达到了2400ANSI，成像效果出色，采用全新HDR10解码技术，能够呈现出更多的画面细节，*极米H3S，极米H3S投影仪具有2800ANSI高流明，白天黑夜观看都没问题，同时，无损1080P...。
