2019 用图神经网络改善视频的多标签分类 ICCV 论文解读 (2019一2020图)
语音播放文章内容
由深声科技提供技术支持
作者 | 王磊
本文介绍了汽车之家团队在ICCV 2019一篇关于视频理解论文相关的工作。针对视频多标签分类的问题，论文提出了将视频多标签之间相关性特征加入到网络之中，结果证明该方法可以显著的提高视频多标签分类效果。
一、背景介绍
随着视频应用的不断普及，视频内容理解与分析成为计算机视觉领域的一个热门研究方向。2017年，google开源了其大规模视频内容数据集Youtube8M，鼓励研究者通过该数据集利用深度学习技术进行视频理解的研究。
最新的Youtube-8M数据集包括两部分，第一部分为video-level（视频层级）的标注，该部分总计包含610万个已标注的视频，3862个分类，平均每个视频标注了3个标签；第二部分为segment-level（视频片段标注），该部分挑选了1000个分类，对视频中随机抽取的5秒片段进行标注，该部分总共有23.7万个标注数据；值得注意的是，segment-level的数据标注仅标注了抽取的5秒视频片段是否属于某一特定标签，并没有标识该视频片段的所有标签。
二、标签相关性
近年来，视频理解成为计算机视觉领域的一个热点方向。相比较图像内容，视频内容更为复杂多样，因此对于视频内容而言，单个标签很难完整的表征视频的内容，对于视频内容理解分析大多为多标签的分类问题。
在视频标签中，很多标签之间会有一定的相关性并成对出现；如图一所示（标签从Youtube8M数据集中选取），当宝马（BMW）、发动机（Engine）的标签出现时，汽车（Car）的标签大概率也会出现；但是当汽车的标签出现时，宝马标签出现的可能性则非常低。
通过对Youtube8M数据集的部分标签数据进行分析，可以得到一个图来表征各个标签之间的关系，如图二所示。图二中每个不同颜色的节点代表一个独立的标签类别，不同节点之间的连线代表着两个节点之间是否有相关性，节点之间连线上的数值则代表了不同的标签之间联系的紧密程度，数值越大，则联系越高；没有联系的节点之间则不会有线连接。
通过对视频的多标签之间的相关性进行建模分析，并通过图神经网络将标签类别映射为对应类别分类器加入到最终的视频多标签分类网络之中，可以提升整体模型的学习分类能力。
三、图卷积神经网络
如何有效获取目标标签之间的相关性？如何利用这些标签相关性提升网络的特征学习以及分类表现？这是视频多标签分类的两个重要问题。由于图的特点可以很好的表征各个标签之间的相互依赖性，因此我们选择基于图神经网络进行建模学习，并用于最终视频分类网络中。一个图神经网络的基本结构如图三所示：
图3.图神经网络基本结构
Input输入有两个，一个为特征描述矩阵H（n*d），另一个为相关系数矩阵A（n*n），其中n为节点个数，即所有标签的个数，d为特征的维度，特征维度根据采用的CNN结构决定。
相关系数矩阵是GCN网络中表征标签关系的一个矩阵，因此如何构建相关系数矩阵 A 就成了GCN模型中一个非常重要的问题。由于Youtube8M数据集有超过600万的video-level的视频标注数据，因此我们可以通过挖掘标签在数据集中的共现情况来初始化相关系数矩阵A。 为标签i在数据中出现的次数， 为标签i和标签j两个标签一起出现的概率，两者相除便可以得到不同标签之间的条件概率矩阵P。
考虑到标注数据中可能存在不准确的情况以及标签在训练和测试集中共现的次数可能会相差比较大，因此我们设置了一个阈值剔除相关性比较弱的噪声的影响。对于上面得到的矩阵P，只有其值大于某特定值（论文中为0.5）的时候才会考虑，否则矩阵中这两个标签的相关度会设置为0,因此优化后的条件概率矩阵如下所示：
Hidden Layer用来学习节点之间的相关信息并更新节点表示，每一个Hidden Layer都可以用一个非线性函数表示：
Hidden Layer可以有多层，堆叠多个 GCN 层来对节点之间交织的复杂关系进行建模。在本论文中Hidden Layer为两层，通过训练学习便可以得到优化后的表征标签相关性的矩阵Output，并用于帮助视频标签分类。
四、整体网络
最终的完整网络结构如图四所示，我们使用InceptionV3来提取输入视频的特征；NeXtVLAD网络是第二届Youtube8M比赛单模型冠军网络，该网络可以很好的视频的多维度特征进行聚合，并且在降低特征维度的同时还能很好的保证模型性能；在网络的下半部分，我们用一个双层的GCN网络来帮助进行最后的视频标签分类。最终的对比实验中，加入GCN后的视频多标签分类网络MAP（Mean-Average-Precision）提高了接近一个百分点，GCN网络的加入显著性显著的提高了视频多标签的分类能力；也证明了对于多标签分类任务，通过研究多标签之间的相关依赖关系提升网络分类能力是一个很好的方向。
五、结论
视频理解与分析是计算机视觉领域的一个热门问题，针对视频的特征提取以及特征聚合全世界的研究已经做了大量的工作。本文提出了从多标签相关性的视角来提升视频的多标签分类能力并进行了有效的实验验证。通过对视频的图像特征、时序特征、标签相关性特征进行融合的分类网络可以很好的增强神经网络的视频理解能力。
原创文章，未经授权禁止转载。详情见 转载须知 。
凡科网,旗下拥有品牌凡科建站、凡科轻站、凡科小程序、凡科商城、凡科互动、凡科快图、凡科门店通、凡科客户通、凡科教育，全新网络整合营销平台，免费提供自助建站、做网站、快速建站等营销推广服务，免费提供网站模板、小程序模板、商城模板等模板资源，拥有2000万+流量入口，精选优质服务商，7*8在线服务；四大搜索覆盖，快速上线，全网曝光，助力商家完成营销目标。
深圳市创凯荣科技有限公司
上海进口仪器仪表供应站现为华东地区具有影响力的进口仪器仪表选型平台和数据中心，聚集着全球24个国家300多个知名品牌，网站平台现在20000个相关进口仪器仪表产品资料。
四川赛恩思实验室系统工程有限公司
浙江凯士德电气有限公司生产的塑壳断路器,双电源自动切换开关,资质齐全,质量可靠,厂家直接发货,价格优惠,大量现货销售,有塑壳断路器采购需求,欢迎来电咨询:13588995109.
郑州辉航是一家专业生产销售有机肥设备厂家，拥有鸡粪、羊粪、猪粪、牛粪等小型有机肥生产线，及有机肥造粒机、翻抛机、粉碎机、烘干机、搅拌机、等一整套有机肥生产设备,价格实惠,欢迎咨询.
盐城市广德窗业有限公司是盐城专业生产中高端节能门窗的大型门窗生产企业，公司主营铝合金门窗加工批发、铝型材批发、高端系统门窗阳光房成品批发、玻璃深加工批发等。
东莞市澳新软件科技有限公司(以下简称澳新)成立于2011年，专业从事钢材、模具材料、模架、五金配件、玩具等相关行业现代化ERP,App等管理系统及互联网行业方案的提供商和服务商，拥有一支学历高、知识面广，涵盖各行各业均具有10年以上信息化管理经验的优秀团队。主要业务：行业ERP系统、电子商务、APP、微信定制开发、POS系统、模具钢ERP、钢材ERP、模架ERP
风云社官方网站
广东泽源智能装备有限公司
上海助蓝仪器科技有限公司是专业的低温恒温槽,冷水机,玻璃反应釜,恒温水槽,油槽,生化霉菌培养箱,电热培养箱供应商，主营产品有：低温恒温槽,冷水机,玻璃反应釜,恒温水槽,油槽,生化霉菌培养箱,电热培养箱等,上海助蓝仪器科技有限公司不仅具有专业的技术水平，更有良好的售后服务和优质的解决方案,欢迎来电洽谈
微链VLink可以快速搭建一个创作者数字名片，通过一个链接树，聚合分享所有社交主页，还拥有强大的数据分析功能，统计粉丝的行为导向，为数字营销助力。
雷锋网AI科技评论按，本文来自德国Fraunhofer协会IAIS研究所的研究科学家MichaelGalkin，他的研究课题主要是把知识图结合到对话AI中，雷锋网AI科技评论全文编译如下，必须承认，图的机器学习，MachineLearningonGraphs，已经成为各大AI顶会的热门话题，NeurIPS当然也不会例外，在NeurIP...。
经过漫长的等待，ICCV2021终于迎来放榜时刻！最终1617篇论文被接收，接收率为25.9%，相比于2017年，约29%，，保持了和2019年相当的较低水平，而投稿量则依旧逐年大幅增长，从2017年的2143篇，到2109年的4328篇，再到如今的6236篇，相比上一届多了50%左右，你看邮件的时候是这表情吗，官方皮起来也是接地气、...。
腾讯AILabAI影响因子论文腾讯计算机视觉欧洲大会，EuropeanConferenceonComputerVision，简称ECCV，将于9月8日，14日在德国慕尼黑举办，该会议与CVPR、ICCV共称为计算机视觉领域三大顶级学术会议，每年录用论文约300篇，今年是腾讯AILab第二次参加ECCV，共有19篇文章入选，以下为摘要解...。
本文是计算机视觉领域顶级会议ICCV2021入选论文，AnEmpiricalStudyoftheCollapsingProbleminSemi，Supervised2DHumanPoseEstimation，半监督二维人体姿态估计中的模型坍塌问题研究，的解读，该论文由北京大学王亦洲课题组与微软亚洲研究院合作完成，研究了一致性学习算法...。
武汉大学测绘遥感信息工程国家重点实验室RSIDEA团队在变化检测方面的工作，已被ICCV2021接收，针对成对双时相变化检测训练样本标注耗时、收集困难的问题，提出了一种新颖的，其利用非成对单时相遥感影像构造伪双时相监督信号，以学习变化表征；同时提出了一种，其通过核心模块ChangeMixin，可将任意语义分割模型转化为变化检测器，从而...。
汽车文化的普及从少年儿童开始，3月4日下午，第四届青少年汽车无限创意征集活动在北京市第一零九中学举行启动仪式，活动由中国科学技术协会指导，世界新能源汽车大会与中国汽车工程学会主办，汽车之家协办，旨在传播汽车文化，增强青少年对于汽车产业的关注与热爱，启动仪式现场，北京市第一零九中学校长封学英、中国汽车工程学会副秘书长战静静、汽车之家品牌...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，作者，王磊本文介绍了汽车之家团队在ICCV2019一篇关于视频理解论文相关的工作，针对视频多标签分类的问题，论文提出了将视频多标签之间相关性特征加入到网络之中，结果证明该方法可以显著的提高视频多标签分类效果，一、背景介绍随着视频应用的不断普及，视频内容理解与分析成为...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，帝国理工学院联合爱奇艺、格灵深瞳、深见网络科技举办了轻量级人脸识别竞赛ICCV2019LFR，LightweightFaceRecognitionChallenge，，它是今年ICCV人脸识别的一项重要竞赛，吸引了来自全球的292支竞赛队伍参加，此次ICCVLFR挑...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，10月27日，11月2日，在ICCV2019Workshop举办的VisionMeetsDrone，AChallenge，简称，VisDrone2019，挑战赛上，云从科技研究院与中科院信息工程研究所葛仕明研究员团队，以下简称，联合研究团队，获得了Task3，单目...。
雷锋网AI科技评论按，CMU博士、UCSantaBarbara计算机科学系助理教授王威廉，WilliamWang，是一位非常活跃、非常出名的华人学者，他是该校NLP小组的负责人，研究领域涵盖信息提取、社交媒体、语言和视觉、口语处理、机器学习理论和知识图谱等，他是社交媒体红人，他的科研团队也连续有大批论文被近几年的AI，ML，NLP会议...。
近日，在ICCV2019Workshop举办的CVWC2019公布了最终结果，来自深兰科技北京AI研发中心的DeepBlueAI团队斩获了TigerPoseDetection赛道冠军，本文作者深兰科技北京AI研发中心罗志鹏，我们可以通过这篇文章来了解一下DeepBlueAI团队的解决方案，1.CVWC20191.1CVWC介绍CVWC...。
该文章通过对待处理图像的特征图进行几何变换，从而将待处理图像中几何分布差异较大的文本框归一化到一定的几何分布范围内，提高了自然场景下文本测检的效果，一、研究背景随着深度学习的迅速发展，计算机视觉技术对实际生产具有影响越来越重要的影响，对图像中的文本进行检测和识别，有助于计算机理解视觉内容，由于卷积神经网络，CNN，方法的通用性，自然场...。
微信回应封杀山寨ofo小程序6月19日，有媒体报道称，，小黄车ofo，小程序遭到封杀，经核实，被封杀的ofo小程序系山寨ofo，ofo官方也表示，该小程序不是出自本公司，微信官方回应，该小程序注册主体为个人，因涉嫌违规提供，社区，服务，微信平台依据相关规范进行下架处理，同时希望企业如要在小程序内提供服务，建议以企业为主体注册小程序，并...。
成都是一个好地段，是一个天府之国，曾经是蜀国刘备的政治、统治中心，然而成都的饮食德庄火锅还是喊不逊色，在当地也是小有名气的，德庄火锅以县城的盟店为例，一桌的饭菜都能够对半赚的，这中间的营收还是非常大的，从上午十点开门，到晚上十点关门，消费者都是接踵而至的，以此进行推算，便可以得德庄火锅一年能获取的毛营收为还是非常丰厚的，经过上述分析，...。
一、百度搜索，当贝市场，，进入官网下载最新版本apk文件，或点击直接下载，http，dlap1.dbkan.com，update，dangbeimarket.apk，，并拷贝进u盘，附，当贝市场官网，http，www.dangbei.com，，如果官网当贝市场被系统自动删除，请安装该版本，http，ali.znds.com...。
说明，绿色代表为二十四节气日，阳历白色代表为周末，其它加色的为节日，此表为1993年的日历表，含阴阳历、节日、二十四节气等，供大家参看，方法，在你想要保留的月份上单击滑鼠右键，图片另外贮存为，存入你的电脑，阳历1993年1月农历壬申，生肖猴，年壬子月建国44年阳历1993年2月农历壬申，生肖猴，年癸丑月建国44年阳历1993年3月农历...。
2013年无闰月，关系引见，公元2013年，公历闰年，共365天，52周零1天，农历癸巳年，蛇年，，无闰月，共355天，中华人民共和国成立64周年，选择哪一个月做闰月，则依24节气而定，农历月份理论蕴含一个节气和一个中气，如惊蛰，春分等等，若某农历月份只要节气而没有中气，历法便会把该月作为上个月的闰月，裁减资料农历中，为保障每月的头一...。
