CVPR 空间 一个降低深度学习时间 经济成本的解决方案 Active 2017 Learning (cvpr空间特征增强)
雷锋网 AI 科技评论按：本文为 CVPR 2017 的论文解读，作者周纵苇（Zongwei Zhou），邮箱：zongweiz@asu.edu，微博：@MrGiovanni。本文首发于 简书 ，经作者授权，雷锋网转载。
下面要介绍的工作发表于，题为「Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally」。它主要解决了一个深度学习中的重要问题：如何使用尽可能少的标签数据来训练一个效果 promising 的分类器。根据我的判断，当遇到两种情况的时候，这篇论文的可以非常强大的指导意义：
这两个情况发生的条件是完全不同的，Situation A 发生在屌丝公司，没有钱拿到精标记的数据集，却也想做深度学习；Situation B 一般发生在高富帅公司，有海量的精标记数据，但是由于目前即使是最牛逼的计算机也不能用深度学习在短时间内一次性地去处理完这些数据（e.g.，内存溢出，或者算上个几年都算不完）。Anyway，我想我已经说清楚应用背景了，读者可以根据实际情况判断是否往后读下去。
感谢你选择继续往下阅读，那么如果觉得下文所传递的思想和方法对你有帮助，请记得一定引用这篇 CVPR 2017 的文章。 Fine-tuning Convolutional Neural Networks for Biomedical Image Analysis: Actively and Incrementally.
1.为什么会想到去解决这个问题？
现在深度学习很火，做的人也越来越多，那么它的门槛可以说是很低的，Caffe，Keras，Torch 等等框架的出现，让该领域的 programming 的门槛直接拆了。所以深度学习真正的门槛变成了很简单概念——钱。这个钱有两个很重要的流向，一是计算机的运算能力（GPU Power），二是标记数据的数量。这儿就引出一个很重要的问题： 是不是训练数据集越多，深度学习的效果会越好呢？ 这个答案凭空想是想不出来的，能回答的人一定是已经拥有了海量的数据，如 Imagenet，Place 等等，他们可以做一系列的实验来回答这个问题。需要呈现的结果很简单，横坐标是训练集的样本数，纵坐标是分类的 performance，如下图所示：
Fig.1 如果答案是左图，那么就没什么可以说的了，去想办法弄到尽可能多的训练数据集就 ok，但是现实结果是右图的红实线，一开始，训练集的样本数增加，分类器的性能快速地在上升，当训练集的样本数达到某一个临界值的时候，就基本不变了，也就是说，当达到了这个临界的数目时，再去标注数据的 ground truth 就是在浪费时间和金钱。有了这个认知，接下来就是想办法让这个临界值变小，也就是用更小的训练集来更快地达到最理想的性能，如右图的红虚线所示。红实线我们认为是在随机地增加训练集，那么红虚线就是用主动学习（Active Learning）的手段来增加训练集，从而找到一个更小的子集来达到最理想的性能。
这里需要说明的一点是，训练样本数的临界点大小和这个分类问题的难度有关，如果这个分类问题非常简单，如黑白图像分类（白色的是 1，黑色的是 0），那么这个临界值就特别小，往往几幅图就可以训练一个精度很高的分类器；如果分类问题很复杂，如判断一个肿瘤的良恶性（良性是 0，恶性是 1），那么这个临界值会很大，因为肿瘤的形状，大小，位置各异，分类器需要学习很多很多的样本，才能达到一个比较稳定的性能。
对于很多从事深度学习的无论是研究员还是企业家都是一个十分有启发性的认知改变。一般来讲，人的惯性思维会引领一个默认的思路，就是训练样本越多越好，如左图所示，这将直接导致许多工作的停滞不前，理由永远是「我们没有足够的数据，怎么训练网络！」进一步的思路是图二的红实线认知：要多少是多啊，先训着再说，慢慢的就会发现即便用自己有的一小部分数据集好像也能达到一个不错的分类性能，这个时候就遇到一个问题： 自己的数据集样本数到底有没有到达临界值呢？ 这个问题也很关键，它决定了要不要继续花钱去找人标注数据了。这个问题我会在第三部分去回答它，这里先假设我们知道了它的答案， 接下来的问题就是如何让这个临界值变小？
2. 如何让临界值变小？
解决方案就是主动学习（Active Learning），去主动学习那些比较 「难的」，「信息量大的」 样本（hard mining）。关键点是每次都挑当前分类器分类效果不理想的那些样本（hard sample）给它训练，假设是训练这部分 hard sample 对于提升分类器效果最有效而快速。 问题是在不知道真正标签的情况下怎么去定义 HARD sample？或者说怎么去描述当前分类器对于不同样本的分类结果的好坏？
定义： 由于深度学习的输出是属于某一类的概率（0～1），一个很直观的方法就是用「 熵（entropy） 」来刻画信息量，把那些预测值模棱两可的样本挑出来，对于二分类问题，就是预测值越靠近 0.5，它们的信息量越大。还有一个比较直观的方法是用「 多样性（diversity） 」来刻画 labeled target="_blank">「Active batch selection via convex rELAxations with guaranteed solution bounds」中被提出。是十分重要的两个 Active Learning 的选择指标。
有了这两个指标来选 hard sample，是比较靠谱了——实验结果表明，这比随机去选已经能更快地达到临界拐点了。
Active Learning 的结构示意图。利用深度学习所带来的优势在于，一开始你可以不需要有标记的数据集。
举例来讲，假设你是一个养狗的大户，你现在想做一个非常偏的（专业化的）分类问题，如 卷毛比雄犬 和 哈瓦那犬 的分类问题，你手头有这两种狗各 50 条，你自己可以很轻松地区分这 100 条狗，现在需要做的是训练一个分类器，给那些不懂狗的人，他们拍了狗的照片然后把照片输入到这个分类器就可以很好地判断这是卷毛比雄犬还是哈瓦那犬。首先你可以给这 100 条狗拍照片，每条狗都有不同形态的 10 张照片，一共拍了 1000 张没有标记的照片。对于这 1000 张照片，你所知道的是哪 10 张对应的是一条狗，其他什么都不知道。
在这个实际分类问题中，你拥有绝对的数据优势，即便是 Google Image 也不能企及，当然一种选择是你把 1000 张图片从头到尾看一遍，标注好，但是你更希望是把大多数简单的分类工作交给分类器，自己尽可能少的做标记工作，并且主要是去标记那些分类器模棱两可的那几张照片来提高分类器的性能。
我们初步提供的解决方案是 (参考或者)：
如所示，每次循环都用不断增加的标记数据集去提升分类器的性能，每次都挑对当前分类器比较难的样本来人为标记。
3. 这个过程什么时候可以停？
以上三种情况都可以让这个循环训练过程中断，第一种就很无奈了，没钱找人标记了... 第二种情况和第三种情况的前提共识是如果难的样本都分类正确了，那么我们认为简单的样本肯定也基本上分类正确了，即便不知道标签。第三种情况，举例来说就是黑白图像分类，结果分类器模棱两可的图像是灰的... 也就是说事实上的确分不了，并且当前的分类器居然能把分不了的样本也找出来，这时我们认为这个分类器的性能已经不错的了，所以循环训练结束。
至此，主要讲了传统的 Active Learning 的思想，接下来会讲讲这篇 CVPR2017 论文的几个工作点。
上面我讲到了 Active Learning 的大概思路，如所示，是一个很有意思的概念，说实话很实用，我在 Mayo Clinic 实习的时候，每次遇到新的数据集，都会想着用一用这个方法，来让给数据标注的专家轻松一点...
Fig.3 暗的表示 unlabeled 的数据，高亮的表示 labeled 的数据，CNN 的结构可以随便挑 SOTA 的无所谓，CNN0 是拍 retrained from ImageNet，得到的第二列表示每个 image 对应的 importance 指标，越红的说明 entropy 越大，或者 diversity 越大，每次挑这些 important 的 sample 给专家标注，这样 labeled 的数据就变多了，用 labeled 的数据训练 CNN，得到新的更强的分类器了，再在 unlabeled target="_blank">Active batch selection via convex relaxations with guaranteed solution bounds」的描述，Diversity 是计算 labeled>
这样的 diversity 就完美了吗？并没有... 读者可以先猜猜哪儿又出问题啦，我在第五部分会指出来。
5. 这次是 target="_blank">Augmentation Lecture讲到的平移 crop，如果我们将它应用到猫的分类问题中，很有可能得到这样的训练样本：
Fig.4 左图是原始的图像，中间的 9 个 patches 是根据平移变化的扩充得到的，restrictions: region must contain objects or part of the object 详见这里，右图是网络得到的对应 patch 的预测值。
可以看出，在这个实例中，对于一个 candidate，网络预测的一致性很低，套用 Diversity 的公式，Diversity 的值很大，也就是说，应该被认为是 hard sample 挑出来。但是仔细观察一下这九个 patches 就不难看出，即便是很好的分类器，对于中间图中的 1，2，3，也是很难分出这个是猫... could be rat, rabbit, etc. 我们把像这三个 patch 的例子叫做从>
至此，主要讲了这篇论文是怎样成功的将 Diversity 这个重要的指标引入到 Active Learning 中来，所有的 Active Selection 部分结束。
6. 如何训练？
既然用了迁移学习，那么一开始的 CNN 测试的效果肯定是一团糟，因为这个 CNN 是从自然图像中学过来的，没有学习过 CT 这种医学影像，所以这个 loop 的启动阶段，Active Learning 的效果会没有 random selecting 好。不过很快，随着 CNN 慢慢地在 labeled 的 CT 上训练，Active Learning 的效果会一下子超过 random selecting。
接下来讨论 Continuous fine-tuning 的细节，随着 labeled target="_blank">here.
Find poster.
Find author.
祝好，
版权文章，未经授权禁止转载。详情见 转载须知 。
工商银行金融服务全面介绍，投资理财信息丰富全面，在线交易方便快捷，满足客户专业化、多元化、人性化的金融服务需求，打造集业务、信息、交易、购物、互动于一体综合性金融服务平台。
盐城万美人力资源有限公司主要提供人力资源外包、劳务派遣、人力资源供应、管理咨询、劳动事务代理等综合服务。手机13222388999
工业除尘设备，工业除尘，唐纳森除尘设备，唐纳森滤筒销售，唐纳森青岛总代理，唐纳森备品备件销售，唐纳森产品售后服务，唐纳森产品的安装服务、唐纳森产品改造服务，唐纳森产品的优化项目服务。公司专注通风/空调、工业除尘设备安装工程的设计、设备供应、安装施工、调试、售后服务，拥有自己专业的工程设计、项目管理、施工安装、售后技术团队，工程现已遍布山东、河北、安徽、贵州、苏州省份近百家企事业单位，涉及重工、铸造、运输、汽车零部件等其他工业产品生产、纺织、食品生产、政府及商业办公写字楼、医院、学校、酒店餐饮等四十余个行业工程施工。青岛海英利环境设备工程有限公司代理产品唐纳森除尘设备、唐纳森产品维护售后,青岛唐纳森产品维护，青岛唐纳森总代理,除尘，除尘器，工业除尘，滤筒除尘，废气处理，进口滤材，达标
东莞市景创电子有限公司,网址:www.dgjce.com,公司主要生产各种高、低频变压器、电感、线圈、滤波器及触发线圈等产品。公司年产各种变压器、线圈可达1000万只以上。公司拥有先进的设备，如：全自动绕线机、1062综合测试仪、真空含浸机等，所有生产、测试设备均从知名的专业厂家购进。目前公司生产的各式变压器、电感、线圈，广泛应用于通讯、UPS逆变电源、开关电源、闪光灯，频闪灯等各领域！产品品质及价格深受客户的好评。
产品独立控制面板,产品综合管理控制面板是提供所有我司互联的用户一个产品管理平台。平台提供了域名管理，虚拟主机管理，企业邮局管理，企业短信管理等多项功能。
玻璃钢储罐维修,玻璃钢管道维修,冷却塔修复,脱硫塔维修,专业维修玻璃钢制品-48小时抢修-质保1年
山东自考,山东自考网,提供山东自考资讯,山东自考报考指南,山东自考政策,山东自考历年试题,山东自考复习资料,山东自考转考免考,山东自考串讲资料,山东自考主考院校,山东自考论坛,山东自考网站,济南自考政策,济南自考报考指南等,努力打造山东最大自考生交流平台！
上海外服作为本土领先的人力资源外包专家，聚焦“人事管理、人才派遣、薪酬福利、招聘及灵活用工和业务外包”五项主营业务。为企业提供全方位的人力资源咨询及解决方案。
西安鸿蒙实业有限公司13700230365现货销售：西安合金管，西安锅炉管，西安无缝管，西安厚壁管，西安大口径无缝管产品，选购管材产品请认准鸿蒙实业
高效研发协作最佳实践，腾讯团队协作理念与敏捷研发精髓沉淀
常德市福建商会是由在常投资兴业的各闽籍企业、驻常闽资机构、个体工商闽籍从业者等自愿组成的非营利性社会组织。电话：0736-7711628
周口市物业服务行业协会
年关将至，幼儿园行业进入了后的冲刺阶段，全国的园长开始抱团取暖寻找2018年的发展机遇，就是在这样的环境下，香港跨世纪国际教育集团的加盟园园长在参加了跨世纪加盟英雄年会后竟然说出了这样的话，园长们究竟说了什么话呢，我们不妨来听听，安徽宿松跨世纪博爱幼儿园园长说，让我们大家能够静下心来好好回顾2017、用心展望2018，跟随跨世纪一起...。
2017年6月2日，丽博橱柜丨全屋定制，大干30天，再下30城，拓展招商启动会在公司总部四楼会议室胜利召开，公司总经理何国平、零售业务总监胡国帅、拓展部经理沈林金以及拓展部的招商精英们共同参加了启动大会，会上，零售业务总监胡国帅对项目执行的各项细节进行了深入的剖析和指导，并视频，亮剑精神，，向全体招商精英们传达了，狼性团队，就是组织严...。
餐饮行业是我国第三产业中的重要组成部分，有相关的数据显示，2017年，我国餐饮行业的市场交易额高达4万亿元，是各行各业中发展比较快的行业之一肠粉是我国一种传统小吃，因为色香味俱全，很受消费者的喜爱，一些智慧之选商想要智慧之选开哦肠粉店，为了降低智慧之选成本，一些智慧之选商不想招聘工人，但是，开肠粉店一个人可以吗，接下来，小编来为大家揭...。
近日，作为空净行业的领军品牌，爱美净品牌运营中心收到一封来自建材行业环境友好与有益健康建筑材料标准化委员会，以下简称标委会，的函件，函件内容表示，根据工业和信息化部，关于印发2017年第二批行业标准制修订计划的通知，[工信厅科，2017，70号]，建材行业标准，室内空气净化功能涂覆材料净化性能，修订，计划编号，2017，0413T...。
尊雅，系列的优雅延续了清新、尊贵的色调，更在于板材之间的巧妙拼接，你会发现真正的诱人魅力散发于整体，带来了生活纯真的艺术感，板材的加厚处理，工艺品质的提升，细节设计的严格把控，对品质的苛刻追求，注重精雕细琢，将舒适品质生活体现的充分，希腊，孕育着西方文明摇篮的雅典，泛着浪漫情调波光的爱琴海，蔚以大海蓝白相间的圣托里尼，还有不能被人忽...。
如今的马路上，常见的汽车除了小轿车，就属SUV了，SUV也叫城市越野车，优点有外形炫酷，功能齐全，载货能力强，舒适度高等，价位也较为宽泛，是深受新一代购车族们喜爱的车型，2017年，市场中出现了无数款SUV，那么哪一款获得了大众的欢心呢，阅读完这份suv销量排行榜2017你就知道了！NO1哈弗H6官方价，H6是汽车行业的一个传奇，因为...。
五.一，前，有数据显示，受多种利好因素激发，2017年我国网络游戏市场规模有了大幅拓展，环比增长超过20%，同比增长40%左右，而和讯网6月2日消息披露，伦敦Atomico公司发布的报告显示，截至2016年，已拥有超过6亿玩家，2016年游戏营收以246亿美元第一次超越美国，成为世界范围内名副其实的，游戏之都，！这些数据的披露，不仅...。
2017年，在全体金职人的共同努力下，金职伟业集团取得了辉煌的战果，为表彰员工及团队，集团总经办决定奖励公司精英团队赴普吉岛旅行，并借此提高团队凝聚力，为2018开启美好的开篇……2018年1月30日下午，金职伟业精英团队50余人在金职伟业董事长彭英女士、总裁潘建明先生的带领下，坐上了飞往普吉岛的包机，开始了为期七天难忘的普吉岛之旅，...。
年关将至，幼儿园行业进入了后的冲刺阶段，全国的园长开始抱团取暖寻找2018年的发展机遇，就是在这样的环境下，香港跨世纪国际教育集团的加盟园园长在参加了跨世纪加盟英雄年会后竟然说出了这样的话，园长们究竟说了什么话呢，我们不妨来听听，安徽宿松跨世纪博爱幼儿园园长说，让我们大家能够静下心来好好回顾2017、用心展望2018，跟随跨世纪一起...。
2017，餐饮市场风云涌动，餐饮外送市场随着大小品牌陆续入驻，竞争日趋激烈，外送业绩上半年也是起伏不定，挑战巨大，作为负责整个公司外送业务的负责人，我深感责任重大，迅速重整外送系统，数据分析，理清工作思路，调整工作计划，制定工作重点，优化，整合，维护，7月份我带领所有餐厅完成了，营业额同比上升43%，环比上升48%的骄人战绩，首先，制...。
市场的行情每年都在变化，去年盛行的行业在今年就极有可能被打入2017什么行业有个好前景成了很多加盟商目前关注的问题，随着饿了么、外卖等软件的开发，外卖行业有了意想不到的兴起，因此，也有很多人在考虑做外卖卖什么生意好，接下来，就让小编来带大家看看这两个问题，2017什么行业有个好前景，1、餐饮业民以食为天，况且在这经济状况日益发展的现下...。
2017年网咖生意不好做，相信是很多网咖业主的共识，尤其是在资金、管理和人才等方面都相对欠缺的个体网咖，就算是乘着吃鸡热潮的大势，更新设备、组织赛事也是不小的成本和挑战，在天津塘沽开网咖的老杨对此深有体会，老杨开网咖也有些年头了，算是当地行业内的，老人，，几年来一直单打独斗，但业绩一直不温不火，每月营业额在8万左右，去掉房租、人员工资...。
近日，我国在量子存储领域取得重大进展，中国科学技术大学郭光灿院士团队研究组李传锋、周宗权首次研制出，按需式读取，的可集成固态量子存储器，存储保真度达到99.3%±0.2%，该成果于12月28日发布在国际知名期刊，物理评论快报，上，这对于实现大容量量子存储、构建量子网络意义重大，超级安全的量子网络量子存储器的一个重要作用就是构建大尺度量...。
今年二月，高通推出的最新一代5G调制解调器骁龙X60速度和时延堪比光纤，与5G同时代的Wi，Fi6也不甘示弱，本周五，高通宣布推出最新新一代Wi，Fi6E平台组合，路由器侧的最高规格平台NetworkingPro1610是全球首款16路数据流的Wi，Fi6E平台，最高支持10.8Gbps的连接速率，基本上可以和有线连接速率持平，当然，...。
面对数字化潮涌而来的时代需求，近年来中国开源产业蓬勃发展，开源参与者数量和增长速度，均位于世界前列，在开源引领技术迭代，赋能千行百业创新的当下，如何紧抓市场机遇，积极探索前景应用，仍是一个重要的行业课题，2024年11月9日，10日，CCF中国开源大会即将在深圳拉开序幕，大会以，湾区聚力开源启智，为主题，将邀请十余位开源及相关领域的院...。
1.兵马俑，探索世界遗产，了解秦朝军事力量，2.大雁塔，参观千年古塔，领略佛教文化，俯瞰城市风光，3.西安城墙，在古城墙上骑行，感受历史的厚重，访问城墙博物馆，4.明城墙遗址公园，互动式遗址探索，享受户外运动乐趣，5.西安博物院，亲子共赏珍贵文物，学习历史知识，6.大唐芙蓉园，穿越唐朝，体验盛唐文化，享受娱乐设施，周边游推荐，1.秦岭...。
下面为大家分享创舟盒子Z1怎么安装软件看电视直播教程，具体方法如下，准备工具，、U盘、电脑1、首先从电脑里下载好当贝市场apk，点击立即下载，和影视快搜，点击立即下载，并拷贝到U盘，然后把U盘连接的USB接口，这时，系统会自动检测到外接移动存储设备；2、也可以打开[移动磁盘]，选择[全部文件]或者安装包，找到之前下载好的当贝市场apk...。
