目标跟踪最强算法开源 商汤SiamRPN系列解读 (目标跟踪有什么用)
雷锋网 AI 科技评论消息，日前，商汤科技智能视频团队首次开源其目标跟踪研究平台 PySOT。PySOT 包含了商汤科技 SiamRPN 系列算法，以及刚被 CVPR2019 收录为 Oral 的 SiamRPN++。此篇文章将独家解读目标跟踪最强算法 SiamRPN 系列。
背景
由于存在遮挡、光照变化、尺度变化等一些列问题，单目标跟踪的实际落地应用一直都存在较大的挑战。过去两年中，商汤智能视频团队在孪生网络上做了一系列工作，包括将检测引入跟踪后实现第一个高性能孪生网络跟踪算法的 SiamRPN（CVPR 18），更好地利用训练数据增强判别能力的 DAsiamRPN（ECCV 18），以及最新的解决跟踪无法利用到深网络问题的 SiamRPN++（CVPR 19）。其中 SiamRPN++在多个数据集上都完成了 10% 以上的超越，并且达到了 SOTA 水平，是当之无愧的目标跟踪最强算法。
项目地址：
以上动图中，红色框是 SiamRPN++的跟踪效果，蓝色框是 ECCV 2018 上的 UPDT 的结果，可以看出 SiamRPN++的效果更佳，跟踪效果更稳定，框也更准。从这个图也可以看出跟踪的一些挑战：光照急剧变化，形状、大小变化等。
SiamRPN (CVPR18 Spotlight):
在 CVPR18 的论文中（SiamRPN），商汤智能视频团队发现孪生网络无法对跟踪目标的形状进行调节。之前的跟踪算法更多的将跟踪问题抽象成比对问题，但是跟踪问题其实和检测问题也非常类似，对目标的定位与对目标框的回归预测一样重要。
研究人员分析了以往跟踪算法的缺陷并对其进行改进：
1. 大多数的跟踪算法把跟踪考虑成定位问题，但它和检测问题也比较类似 ，对目标的定位和对目标边界框的回归预测一样重要。 为此，SiamRPN 将跟踪问题抽象成单样本检测问题，即需要设计一个算法，使其能够通过第一帧的信息来初始化的一个局部检测器。为此，SiamRPN 结合了跟踪中的孪生网络和检测中的区域推荐网络：孪生网络实现对跟踪目标的适应，让算法可以利用被跟踪目标的信息，完成检测器的初始化；区域推荐网络可以让算法可以对目标位置进行更精准的预测。经过两者的结合，SiamRPN 可以进行端到端的训练。
2. 以往的滤波类的方法，没办法通过数据驱动的形式提升跟踪的性能。而 SiamRPN 可以端到端训练，所以更大规模的数据集 Youtube-BB 也被引入到了训练中， 通过数据驱动的形式提升最终的性能 。
结合以上两点创新，在基线算法 SiamFC 的基础上，SiamRPN 实现了五个点以上的提升（OTB100，VOT15/16/17 数据集）；同时还达到了更快的速度（160fps）、也更好地实现了精度与速度的平衡。
DaSiamRPN (ECCV18):
SiamRPN 虽然取得了非常好的性能，但由于训练集问题，物体类别过少限制了跟踪的性能；同时，在之前的训练方式中，负样本只有背景信息，一定程度上也限制了网络的判别能力，网络只具备区分前景与不含语义的背景的能力。基于这两个问题，DaSiamRPN 设计了两种数据增强方式：
1. 孪生网络的训练只需要图像对，而并非完整的视频，所以 检测图片也可以被扩展为训练数据 。更准确的来说，通过对检测数据集进行数据增强，生成可用于训练的图片对。因此在 DaSiamRPN 中，COCO 和 ImageNet Det 也被引入了训练，极大地丰富了训练集中的类别信息。同时，数据量增大的本身也带来了性能上的提升。
2. 在孪生网络的训练过程中， 通过构造有语意的负样本对来增强跟踪器的判别能力 ，即训练过程中不再让模板和搜索区域是相同目标；而是让网络学习判别能力，去寻找搜索区域中和模版更相似的物体，而并非一个简单的有语义的物体。
经过上述的改进，网络的判别能力变得更强，检测分数也变得更有辨别力，这样就可以根据检测分数判断目标是否消失。基于此，DaSiamRPN 可以将短时跟踪拓展到长时跟踪，并且在 UAV20L 数据集上比之前最好的方法提高了 6 个点。在 ECCV18 的 VOT workshop 上面，DaSiamRPN 取得了实时比赛的冠军， 相比去年的冠军有了 80% 的提升 。
SiamRPN++ (CVPR19 Oral)：
目前，孪生网络中的核心问题在于现有的孪生网络目标跟踪算法只能用比较浅的卷积网络（如 AlexNet）， 无法利用现代化网络为跟踪算法提升精度，而直接引入深网络甚至会使性能大幅衰减。
为了解决深网络这个 Siamese 跟踪器的痛点，商汤智能视频团队基于之前 ECCV2018 的工作（DaSiamRPN），通过分析孪生神经网络训练过程，发现孪生网络在使用现代化深度神经网络存在位置偏见问题，而这一问题是由于卷积的 padding 会破坏严格的平移不变性 。然而深网络并不能去掉 padding，为了缓解这一问题，让深网络能够在跟踪提升性能，SiamRPN++中提出在训练过程中加入 位置均衡的采样策略 。通过修改采样策略来缓解网络在训练过程中的存在的位置偏见问题，让深网络能够发挥出应有的效果。
通过加入这一采样策略，深层网络终于能够在跟踪任务中发挥作用，让跟踪的性能不再受制于网络的容量。同时， 为了更好地发挥深层网络的性能，SiamRPN++中利用了多层融合 。由于浅层特征具有更多的细节信息，而深层网络具有更多的语义信息， 将多层融合起来以后，可以跟踪器兼顾细节和深层语义信息，从而进一步提升性能。
除此之外，研究人员还提出了新的连接部件，深度可分离相关层（Depthwise Correlation，后续简写为 DW）。相比于之前的升维相关层（UpChannel correlation，后续简写为 UP），DW 可以极大地简化参数量，平衡两支的参数量，同时让训练更加稳定，也能更好的收敛。
为了验证以上提出的内容，研究人员做了详细的实验。在比较常用的 VOT 和 OTB 数据集上，SiamRPN++取得了 SOTA 的结果。在 VOT18 的长时跟踪，以及最近新出的一些大规模数据集上如 LaSOT，TrackingNet， SiamRPN++也都取得了 SOTA 的结果 。
传送门：
目前相关代码现已上传至商汤科技开源目标跟踪研究平台 PySOT。PySOT 实现了目前 SOTA 的多个单目标跟踪算法，旨在提供高质量、高性能的视觉跟踪研究代码库，并将其灵活应用于新算法的实现和评估中。欢迎大家使用与交流！
PySOT 开源项目
参考文献：
Bo Li, Wei Wu, Qiang Wang, Fangyi Zhang, Junliang Xing, Junjie Yan, "SiamRPN++: Evolution of Siamese Visual Tracking with Very Deep Networks" (Oral) in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2019
Zheng Zhu, Qiang Wang, Bo Li, Wei Wu, Junjie Yan, "Distractor-aware Siamese Networks for Visual Object Tracking" European Conference on Computer Vision (ECCV) 2018
Bo Li, Junjie Yan, Wei Wu, Zheng Zhu, Xiaolin Hu, "High Performance Visual Tracking with Siamese Region Proposal Network" (Spotlight) in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018
Luca Bertinetto, Jack Valmadre, João F. Henriques, Andrea Vedaldi, Philip H. S. Torr
"Fully-Convolutional Siamese Networks for Object Tracking" in ECCV Workshop 2016
Goutam Bhat, Joakim Johnander, Martin Danelljan, Fahad Shahbaz Khan, Michael Felsberg."Unveiling the Power of Deep Tracking" European Conference on Computer Vision (ECCV) 2018
版权文章，未经授权禁止转载。详情见 转载须知 。
通过该检测可以查出网站是否被做了跳转或者禁止搜索引擎索引，被做跳转或者禁止索引的网站搜索引擎无法正确获取到你网站的信息进行索引导致被K站。
南京物流托运,南京物流公司电话,南京物流公司是一家新型综合物流企业,主要业务有大件运输、专线物流、零担整车物流、物流包装、仓储货运等服务。
长桥展览（上海）有限公司提供专业的上海展台设计，上海展台搭建服务。自营工厂价格优惠搭建质量有保障，创意设计方案新颖，可根据客户不同需求提供量身定制，欢迎咨询！电话：400-157-4273
深圳前海国元基金管理有限公司成立于2015年，注册资本人民币1亿元，注册地深圳前海。公司股东实力雄厚，投资领域广泛。公司通过中国基金业协会备案，主要经营业务是发起设立证券投资基金、基金管理、特定客户资产管理以及证监会批准的其他业务。
佛山市尤尼电池有限公司
东大家教|东大家教中心|东北大学家教网|东大家教网|沈阳家教|沈阳家教网|
北京艺海光音科技有限公司
东莞诃尔迪新材料科技有限公司是一家集科研开发、加工制造、经营销售为一体的专业PE自粘膜、PE复合膜生产企业
我司是一家专业从事生产宠物用品的佼佼者，舒适优雅的生产环境，严格的管理，造就出一批高素质的员工，多年的生产经验，使其开发出一批又一批的新产品。
上海学辰机械设备有限公司致力于向市场提供各型：剪刀车、曲臂车、直臂车、高空作业车、自行式剪叉车等机械设备，以及上海升降机租赁服务，热线-13636309144
中共休宁县委组织部,休宁先锋网,休宁县先锋网
提供螺旋焊管设备、制管设备、焊管设备、制管设备、分条开平设备以及开平板生产线设备的设计、制造，其中螺旋焊管、制管设备、分条开平设备、螺旋焊管的生产技术国际领先，山西兴达通具有科学超前的螺旋焊管设备设计理念，具有行业特色的制管设备技术，分条开平设备和螺旋焊管的生产基地，为公司稳定和扩大国内外市场提供了有力保障。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，10月27日，11月2日，在ICCV2019Workshop举办的VisionMeetsDrone，AChallenge，简称，VisDrone2019，挑战赛上，云从科技研究院与中科院信息工程研究所葛仕明研究员团队，以下简称，联合研究团队，获得了Task3，单目...。
雷锋网AI科技评论消息，计算机视觉和模式识别领域顶级会议CVPR2019于上周在美国落下帷幕，各大企业和科研机构纷纷发布自家最新成果，其中，不乏诸多来自中国的研究成果，接下来，雷锋网AI科技评论将为大家介绍亮风台在CVPR2019上展示的大规模单目标跟踪高质量数据集LaSOT，这一数据集包含超过352万帧手工标注的图片和1400个视频...。
雷锋网AI科技评论消息，日前，商汤科技智能视频团队首次开源其目标跟踪研究平台PySOT，PySOT包含了商汤科技SiamRPN系列算法，以及刚被CVPR2019收录为Oral的SiamRPN，此篇文章将独家解读目标跟踪最强算法SiamRPN系列，背景由于存在遮挡、光照变化、尺度变化等一些列问题，单目标跟踪的实际落地应用一直都存在较...。
需要处理的图像像素过多与芯片算力不足的矛盾，已经成为了当前制约自动驾驶发展的瓶颈之一，为了解决上述问题，事件相机与脉冲神经网络的结合或许会是一个可行的解决方案，卷积神经网络是目前图像目标检测算法的重要手段，以ResNet，152为例，一个152层的卷积神经网络，处理一张224*224大小的图像所需的计算量大约是226亿次，如果这个网络...。
雷锋网AI科技评论按，由电子自动化设计顶级会议DAC2019主办的，低功耗目标检测系统设计挑战赛，于美国拉斯维加斯落下帷幕，在比赛中，西安交通大学人工智能与机器人研究所团队XJTU，Tripler凭借对算法和架构的特殊优化，最终斩获FPGA赛道的亚军；同时作为国内唯一一个进入前三的队伍，他们计划开源比赛相关工具，并且提供后续支持，针对...。
计算机视觉是人工智能技术的重要应用方向，在深度学习时代，大量以ImageNet为代表的数据集被用于训练各种视觉理解模型，从而完成图像分类、目标检测、图像分割、场景理解等任务，在ImageNet数据集中，物体往往单独出现在图像的中央区域，然而，真实的视觉世界则要丰富得多，对于人类视觉和计算机视觉而言，在场景的上下文中理解、建模对象是最重...。
他们提出的目标检测方法，可以检测未见过的新物体，相对于MaskR，CNN有了巨大改进，人类经常会遇到种类新颖的工具、食物或动物，尽管以前从未见过，但人类仍然可以确定这些是新物体，与人类不同，目前最先进的检测和分割方法很难识别新型的物体，因为它们是以封闭世界的设定来设计的，它们所受的训练是定位已知种类，有标记，的物体，而把未知种类，无标...。
据多位知情人士向雷锋网爆料，微软亚洲研究院计算机视觉大牛王井东已离职，或将加入百度，视觉计算组作为微软亚研的灵魂团队，陆续培养出了沈向洋、汤晓鸥、马毅、孙剑、何恺明等老中青三代计算机视觉引领者，只可惜这些人都已远去，王井东原为微软亚洲研究院视觉计算组的首席研究员，研究领域包括神经架构设计、人体姿态估计、语义分割、图像分类、目标检测、大...。
雷锋网AI科技评论消息，CVPR2019，ConferenceonComputerVisionandPatternRecognition，将于6月16，20日在美国长滩举行，目前，会上的各大挑战赛已经开始报名，作为国际上以自动驾驶视觉为核心的顶级评测大赛，CVPRWAD挑战赛，WorkshoponAutonomousDriving，以...。
近日，在国际多目标跟踪领域最具权威的测评平台——MOTChallenge，MultipleObjectTracking，竞赛中，小视科技一举突破谷歌、微软、Facebook、Amazon、NEC、MIT等国际知名机构的垄断地位，提出MiniTrack追踪方案，在8项评价指标的国际排名中位列第一，其中，核心技术指标MOTA、HOTA均位...。
计算机视觉技术在真实世界的应用场景十分广泛，然而，过去主流的小模型方案，难以应对碎片化、多变的长尾需求，限制了技术落地规模，源自自然语言研究的Transformer架构诞生后，视觉模型与之结合，走上一条，从小变大，从N变1，之路，自2022年起，IDEA团队从目标检测出发，打造精准度、通用性、泛化能力兼优的DINO系列视觉大模型，11...。
雷锋网按，在位于中关村的灵雀云办公室LOGO前，左玥特意换上了新的公司文化衫，右手竖起大拇指的动作作为本次专访文章的封面图，文化衫上写着，IDONTSTOPWHENIMTIRED，ISTOPWHENIMDONE，近日，灵雀云宣布获得半年以来的第二笔融资，针对融资细节、用途以及灵雀云的发展问题，雷锋网对话灵雀云CEO左玥获得了第一手消...。
2019WAIC世界人工智能大会近日落幕，自动驾驶，作为AI中备受关注的重要落脚点，也在本次大会集中亮相，一个直观感受是，自动驾驶商业化落地运营加速，国内车规级自动驾驶芯片迎来转折点，虽然这场智能驾驶圈内的阶段性展示已经结束，但公众及业界针对智能驾驶技术的研发以及对于自动驾驶未来的期待仍在继续，自动驾驶商业化落地运营加速人工智能大会期...。
武汉病毒所研究员石正丽接受，科学，杂志专访说道，自新冠疫情暴发以来，武汉病毒研究所成为了舆论焦点，甚至于，美国总统特朗普还曾公开表态，声称新冠病毒是从武汉病毒所泄露，7月15日，在回复，科学，杂志采访问题的邮件中，石正丽首次对质疑声作出正面回应，石正丽表示，新冠病毒是在2019年末才被发现，在此之前从未接触过或研究过这种病毒，也不知道...。
现在日本的寿司，主要是由专门的寿司店制作并出售，店中身着白色工作服的厨师，会根据顾客的要求，将去了皮的鲜鱼切成片和其它好材料码在等宽的米饭块上，由于各类鱼虾的生肉颜色不同，寿司也是五颜六色，十分好看，另外，日本家庭也会在特殊的场合，自制寿司款待宴客，但作法大都比较简单，并可在卷米饭的同时加入烤紫菜或鸡蛋片，咸菜之类，...。
过去一年，中国自动驾驶行业不断加速发展，相关政策的发布，使得开放场景中的自动驾驶商业化开始成为可能，譬如，百度Apollo和小马智行获准在北京开启自动驾驶商业化运营，值得注意的是，相比开放道路，园区、港口及矿区等封闭场景的商业化进展似乎更为稳定迅速，不少玩家将商业化触角伸向海外，正因如此，曾被人忽视的封闭场景开始吸引不少行业玩家的眼球...。
