2019 用图神经网络改善视频的多标签分类 ICCV 论文解读 (2019一2020图)
语音播放文章内容
由深声科技提供技术支持
作者 | 王磊
本文介绍了汽车之家团队在ICCV 2019一篇关于视频理解论文相关的工作。针对视频多标签分类的问题，论文提出了将视频多标签之间相关性特征加入到网络之中，结果证明该方法可以显著的提高视频多标签分类效果。
一、背景介绍
随着视频应用的不断普及，视频内容理解与分析成为计算机视觉领域的一个热门研究方向。2017年，Google开源了其大规模视频内容数据集Youtube8M，鼓励研究者通过该数据集利用深度学习技术进行视频理解的研究。
最新的Youtube-8M数据集包括两部分，第一部分为video-level（视频层级）的标注，该部分总计包含610万个已标注的视频，3862个分类，平均每个视频标注了3个标签；第二部分为segment-level（视频片段标注），该部分挑选了1000个分类，对视频中随机抽取的5秒片段进行标注，该部分总共有23.7万个标注数据；值得注意的是，segment-level的数据标注仅标注了抽取的5秒视频片段是否属于某一特定标签，并没有标识该视频片段的所有标签。
二、标签相关性
近年来，视频理解成为计算机视觉领域的一个热点方向。相比较图像内容，视频内容更为复杂多样，因此对于视频内容而言，单个标签很难完整的表征视频的内容，对于视频内容理解分析大多为多标签的分类问题。
在视频标签中，很多标签之间会有一定的相关性并成对出现；如图一所示（标签从Youtube8M数据集中选取），当宝马（BMW）、发动机（Engine）的标签出现时，汽车（Car）的标签大概率也会出现；但是当汽车的标签出现时，宝马标签出现的可能性则非常低。
通过对Youtube8M数据集的部分标签数据进行分析，可以得到一个图来表征各个标签之间的关系，如图二所示。图二中每个不同颜色的节点代表一个独立的标签类别，不同节点之间的连线代表着两个节点之间是否有相关性，节点之间连线上的数值则代表了不同的标签之间联系的紧密程度，数值越大，则联系越高；没有联系的节点之间则不会有线连接。
通过对视频的多标签之间的相关性进行建模分析，并通过图神经网络将标签类别映射为对应类别分类器加入到最终的视频多标签分类网络之中，可以提升整体模型的学习分类能力。
三、图卷积神经网络
如何有效获取目标标签之间的相关性？如何利用这些标签相关性提升网络的特征学习以及分类表现？这是视频多标签分类的两个重要问题。由于图的特点可以很好的表征各个标签之间的相互依赖性，因此我们选择基于图神经网络进行建模学习，并用于最终视频分类网络中。一个图神经网络的基本结构如图三所示：
图3.图神经网络基本结构
Input输入有两个，一个为特征描述矩阵H（n*d），另一个为相关系数矩阵A（n*n），其中n为节点个数，即所有标签的个数，d为特征的维度，特征维度根据采用的CNN结构决定。
相关系数矩阵是GCN网络中表征标签关系的一个矩阵，因此如何构建相关系数矩阵 A 就成了GCN模型中一个非常重要的问题。由于Youtube8M数据集有超过600万的video-level的视频标注数据，因此我们可以通过挖掘标签在数据集中的共现情况来初始化相关系数矩阵A。 为标签i在数据中出现的次数， 为标签i和标签j两个标签一起出现的概率，两者相除便可以得到不同标签之间的条件概率矩阵P。
考虑到标注数据中可能存在不准确的情况以及标签在训练和测试集中共现的次数可能会相差比较大，因此我们设置了一个阈值剔除相关性比较弱的噪声的影响。对于上面得到的矩阵P，只有其值大于某特定值（论文中为0.5）的时候才会考虑，否则矩阵中这两个标签的相关度会设置为0,因此优化后的条件概率矩阵如下所示：
Hidden Layer用来学习节点之间的相关信息并更新节点表示，每一个Hidden Layer都可以用一个非线性函数表示：
Hidden Layer可以有多层，堆叠多个 GCN 层来对节点之间交织的复杂关系进行建模。在本论文中Hidden Layer为两层，通过训练学习便可以得到优化后的表征标签相关性的矩阵Output，并用于帮助视频标签分类。
四、整体网络
最终的完整网络结构如图四所示，我们使用InceptionV3来提取输入视频的特征；NextVLAD网络是第二届Youtube8M比赛单模型冠军网络，该网络可以很好的视频的多维度特征进行聚合，并且在降低特征维度的同时还能很好的保证模型性能；在网络的下半部分，我们用一个双层的GCN网络来帮助进行最后的视频标签分类。最终的对比实验中，加入GCN后的视频多标签分类网络MAP（Mean-Average-Precision）提高了接近一个百分点，GCN网络的加入显著性显著的提高了视频多标签的分类能力；也证明了对于多标签分类任务，通过研究多标签之间的相关依赖关系提升网络分类能力是一个很好的方向。
五、结论
视频理解与分析是计算机视觉领域的一个热门问题，针对视频的特征提取以及特征聚合全世界的研究已经做了大量的工作。本文提出了从多标签相关性的视角来提升视频的多标签分类能力并进行了有效的实验验证。通过对视频的图像特征、时序特征、标签相关性特征进行融合的分类网络可以很好的增强神经网络的视频理解能力。
原创文章，未经授权禁止转载。详情见 转载须知 。
智慧社区，北京智慧社区简介：您正在浏览北京智慧社区，我们为您提供了北京智慧社区物业、北京智慧社区养老、北京智慧社区健康、北京智慧社区商业、北京智慧社区金融、北京智慧社区教育、北京智慧社区交通、北京智慧社区旅游、北京智慧社区政务、北京智能家居等信息。欢迎访问北京智慧社区。更多智能体验请用手机下载美邻智慧社区APP
-招聘-人力资源网址
4399越野车小游戏大全收录了国内外越野车类小游戏、疯狂越野车小游戏、沙滩越野车小游戏、山地越野车小游戏、3d越野车小游戏。好玩就拉朋友们一起来玩吧！
免费商标查询网站,拥有及时更新的商标信息查询,与中国商标局保持同步更新.商标申请人可以通过商标信息查询在申请商标前查询商标注册信息状态,可以通过速标网监测商标动态,并做商标管理,速标网拥有全国所有商标的商标公告,所有商标的详细商标档案。一家专门做商标的专业商标搜索引擎,速标网
投资理财知识大全，这里给您介绍最新的外汇投资技巧，一对一的提供理财辅导，实时给您进行白银、黄金、铂金、外汇的投资指导，是您投资理财的首选网站。
15TQ游戏下载提供最新的全平台免费绿色安卓软件游戏下载，全网最新手游资源极速下载，生活软件应有尽有，实时更新手游应用榜单尽在15TQ下载站，超高速下载服务畅享不一样的网上冲浪体验！
上海丰而溢国际货物运输代理有限公司
『法语助手』权威的法语词典软件，为您提供单词真人发音、法语翻译、法语动词变位查询及背诵、法语扩充词库、法语背单词、法语听力、实时法语电台、法语题库、法语输入法等。
武汉新睿实木地板
北方国际信托股份有限公司（简称“北方信托”）是一家以信托业务为主业的国有控股非银行金融机构，主要经营各类信托业务（资金信托、服务信托、公益慈善信托及家族信托等）、自有资金贷款和投资业务、以及财务顾问等中介业务。
嘉兴喜洁来保洁清洗有限公司：嘉兴保洁公司，嘉兴清洗公司，嘉兴地毯清洗，嘉兴石材翻新，嘉兴石材养护，嘉兴烟道清洗，嘉兴外墙清洗，嘉兴水箱清洗，嘉兴开荒保洁公司，嘉兴广告牌清洗，嘉兴地毯清洗公司，嘉兴外墙清洗公司，嘉兴烟道清洗公司
维普论文检测系统,是国内领先的论文查重软件,24小时自助检测.可以快速准确地检测出毕业论文、博士、硕士论文、期刊论文中的不当引用、过度引用、论文抄袭、伪造、篡改等学术不端行为
小明Q3系列投影仪今年更新了三款机型，包括小明Q3、小明Q3MAX、小明Q3Pro，用户在选购的时候可能会有一些疑惑，究竟三款产品之间都有哪些区别，下面小编整理了详细的参数供用户参考，小明Q3，Q3MAX，Q3Pro区别对比，三款投影仪按配置和价格高低来排，小明Q3MAX＞小明Q3Pro＞小明Q3，区别主要有，一、亮度画面亮度值上，小...。
朋友们你们好，我是小胖哥，接着吹上回的牛逼，日拱一卒，相信日积月累的力量，朋友们用你们发财的小手给小胖哥点点在看，点点转发，点点关注，谢谢，很多朋友都在问我，小胖哥商标被驳回了要不要去做个复审?如果说做复审怎么去搞?那么什么是复审，复审就是商标被驳回之后可以在提交在审核，复审过了就可以成功注册该商标，很多朋友都有咨询过一些就是代理商标...。
据路透社3月24日消息，软银集团计划推动旗下芯片设计公司Arm以600亿美元的估值进行首次公开募股，此前，软银曾一度计划将Arm以400亿美元的价格卖给英伟达，但迫于美国和欧洲的反垄断调查，最终该交易流产，随后软银即开启了Arm的IPO计划，高盛或将领投，Arm能否满足软银，大胃口，根据知情人士透露，软银计划选择高盛集团作为Arm首次...。
6月9日，阿里云举办线上峰会，阿里云智能总裁张建锋首次公开阿里云年度战略，并推出了7大重构行业未来的商业重磅发布，话题覆盖数字政府、未来教育、智慧交通、数字金融等领域，针对教育领域，此次峰会公布了两大解决方案，一是针对K12阶段，阿里云智能解决方案部的潘立维联合阿里云通用与电销事业部的霍嘉以及支付宝教育事业部的张亚男共同发布，春雷计划...。
近年来，民用无人机市场异常火爆，其中消费类无人机在过去的2016年得到了长足的发展，各家厂商纷纷发布各种尺寸和功能的无人机，而人工智能技术的踪迹也在消费类无人机上出现，领头羊DJI已经实现了利润与市场份额的大丰收，相比于消费类无人机市场的如火如荼，百家争鸣，行业用无人机因市场还处于萌芽阶段，各种行业需求还有未能标准化、行业背景知识要求...。
zuojun大神级投影控发表于2024，04，08480p、720p和1080p的清晰度区别主要体现在分辨率、显示效果和适用场合上，1.分辨率，1080p的分辨率最高，1080p的分辨率是1920*1080，而480p和720p的分辨率分别只有1440*480或854*480，所以，1080p的分辨率更高，2.显示效果，不同分辨率的显...。
发表在专业问答2022，11，1710，59展示机型信息，品牌型号，索尼X80J系统版本，当贝OS定制版液晶电视画面抖动闪烁可能是电视外接设备有接触不良的情况，可以重新插拔连接线即可；可能是周边有设备干扰导致，可以将发送电磁信号的设备搬走即可；可能是电视的液晶屏故障导致，建议联系专业人员维修，液晶电视画面抖动闪烁液晶电视画面抖动闪烁可...。
近年来，世界经济增长乏力，国际局势动荡不安，针对国际社会和平赤字、发展赤字、治理赤字的严峻挑战，中国以推动人类共同发展为己任，提出了一系列解决全球问题的中国方案，习近平总书记强调坚定不移推进经济全球化，引导好经济全球化走向，提出打造富有活力的增长模式、开放共赢的合作模式、公正合理的治理模式、平衡普惠的发展模式，为全球经济化解矛盾、走出...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
属相和匹配原本是没有任何相关的，附属相来看匹配原本就是封建迷信思维，没有任何的迷信依据，然而由于属相这一说法在国际传达了几千年，尤其在老一辈人的心中占有很关键的位置，每逢匹配嫁娶，属相也就成为了肯定思索的一个方面，依照属相的说法与属兔的人最配的属相是羊、狗、猪，属兔的人与这三个属相的联合是高低等的婚姻，属兔的人气质非凡，清爽脱俗，兴味...。
电脑网络输入法调出五笔，须要在属性设置中，点击五笔拼音混输，共有三步，以下是详细的步骤，工具／原料，联想GeekPro2020、win10、网络五笔输入法5.4.0.2514步骤，1、关上电脑的网络输入法，点击工具箱图标，2、点击上方的属性设置，3、点击五笔拼音混输，点击确定即可，搜狗五笔怎样打字，1、五笔丿，ttl灬，oyyy丨，h...。
企业一般是指以盈利为目的，运用各种生产要素（土地、劳动力、资本、技术和企业家才能等），向市场提供商品或服务，实行自主经营、自负盈亏、独立核算的法人或其他社会经济组织。在商品经济范畴内，作为组织单元的多种模式之一，按照一定的组织规律，有机构成的经济实体，一般以营利为目的，以实现投资人、客户、员工、社会大众的利益最大化为使命，通过提供产品或服务换取收入。它是社会发展的产物，因社会分工的发展而成长壮大。企业是市场经济活动的主要参与者；在社会主义经济体制下，各种企业并存共同构成社会主义市场经济的微观基础。企业存在三类基本组织形式：独资企业、合伙企业和公司，公司制企业是现代企业中最主要的最典型的组织形式。现代经济学理论认为，企业本质上是“一种资源配置的机制”，其能够实现整个社会经济资源的优化配置，降低整个社会的“交易成本”。
新型工业化是将传统工业与新一代信息技术紧密结合，以数字化、网络化、智能化为方向，驱动传统工业走向高效率、高品质、低碳化的工业化道路，是推进数字经济和实体经济融合发展的重要支撑，已成为国家及产业的关注焦点，但当前发展新型工业化仍面临一些亟待突破的问题，如自主核心技术积累弱、IT与OT知识经验跨界融合难、复合性专业人才缺乏等，6月8日，曙...。
随着互联网的快速发展，越来越多的商家选择通过网站广告联盟来推广自己的产品或服务，寻求更广泛的曝光和潜在客户，这种广告形式的确为许多企业带来了显著的增长，但它真的如商家所期望的那样高效、可靠吗，是否有一些潜在的风险和挑战需要商家在选择广告联盟时慎重考虑，本文将通过具体案例分析，探讨网站广告联盟的利与弊，网站广告联盟的运作模式网站广告联盟...。
10月31日消息，美国及全球知名童装品牌的TheChildren，sPlace公司宣布与全球领先的时尚和生活方式在线零售商SHEIN建立开创性的合作伙伴关系，TheChildren，sPlace品牌入驻SHEIN平台，SHEIN自去年深化平台化战略以来，在美国、墨西哥、巴西等各当地加速引入全球商家与品牌，全球化与本地化不断提速，另据媒...。
丽江以旅游著称，在大数据时代，任何一个产业都需要与大数据结合，共促共进，丽江也不例外，近日，云南省丽江规划展览馆大数据中心正式落成，7台松下激光光源投影机PT，FRZ570C见证了项目的精彩！作为丽江规划展览馆大数据中心的主要展项，由松下工程投影机打造的沉浸式展厅采用了三折幕方式营造沉浸式视听感受，为观赏者展示丽江近期和未来的发展方向...。
代码说明，本页面的认证代码为68kv广告联盟专用评测代码，站长需懂简单html知识，直接复制代码粘贴到联盟网站相应页面即可使用，本代码不适用于其他广告联盟网站请勿获取！文字认证，文字链接代码认证适用所有类型的广告联盟，复制代码后放在68kv广告联盟网站首页底部或友情链接位置处，普通认证，普通联盟认证标志适用所有类型的广告联盟，能有效提...。
