论文解读 基于强化学习的时间行为检测自适应模型 2018 AAAI (论文解读基于什么理论)

文章编号:43300 资讯动态 2024-12-09 2018AAAI强化学习行为检测

雷锋网 AI 科技评论按 :互联网上以视频形式呈现的内容在日益增多,对视频内容进行高效及时的审核也变得越来越迫切。因此,视频中的行为检测技术也是当下热点研究任务之一。本文主要介绍的就是一种比传统视频行为检测方法更加有效的视频行为检测模型。

在近期雷锋网 gair 大讲堂举办的线上公开上,来自北京大学深圳研究生院信息工程学院二年级博士生黄靖佳介绍了他们团队在 AAAI 2018 上投稿的一篇论文,该论文中提出了一种可以自适应调整检测窗口大小及位置的方法,能对视频进行高效的检测。视频回放地址:

黄靖佳,北京大学深圳研究生院信息工程学院二年级博士生。2016 年毕业于华中科技大学计算机学院信息安全专业,获学士学位。现研究方向为计算机视觉、行为检测、增强学习等。

以下是 AI 科技评论对嘉宾分享的内容回顾。

分享主题 :AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

分享提纲:

分享内容:

大家好,我的分享首先是介绍一下行为检测的应用背景,接下来介绍我们团队提出的 SAP 模型,以及模型在实验数据集上的性能,最后是对本次分享的总结。

行为检测任务的介绍

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

但是这种方法在解决任务时存在两个难点。

首先是对于一个没有切割过的视频,比如在图中这个视频中,所需要检测的目标是一个三级跳运动,三级跳在不同的情况下,根据人的不同,所持续的时间也是不同的。

第二个难点是,目标时间出现的位置是在视频中的任意时间点。

所以说用「两阶段方法」进行目标行为预测,会产生非常多不同尺度,不同位置 proposal。最简单的方法是用不同尺度的滑动窗口,从前到后滑动,产生非常多的 proposal,然后再做分类。这种方法虽然行之有效,但时间复杂度和计算复杂度都相当高,使得在完成这项任务时往往需要花费大量的计算资源。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

为了避免这种低效的检测方法,我们提出了一种可以自适应调整检测窗口大小及位置的方法,对视频进行高效的检测。

我们最开始的想法是能不能仅使用一个滑动窗口,只需要从头到尾滑动一遍就完成 proposal 产生过程呢?

这就必须要求窗口能不断地自适应地根据窗口所覆盖的内容,能够不断调节窗口的大小,最终的窗口大小能精确覆盖目标运动,从而得到检测的窗口区间。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

我们使用增强学习作为背后的模型支撑来完成这样的循环过程,达到我们的目的。下面是 SAP 模型的框架图。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

关于 TEMPoral Pooling Layer

在原有的 C3D 模型中,要求输入的视频帧是固定的,一般是 16 帧或 8 帧。以 16 帧为例,当视频帧多于 16 帧,就需要对视频帧下采样,采样成 16 帧,送到视频中进行处理,这样在采样过程中会丢失非常多细节信息,造成特征表达不准确等问题。

而我们提出的 Temporal Pooling Layer 的输入帧可以是任意长度。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

我们在增强学习中的奖励设置机制。在增强学习中,对于一个 agent,如果 agent 执行了一个动作后,我们认为是执行正确的,就给一个奖励;如果认为是错的,就给一个惩罚。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

SAP 模型的训练过程,可到文末观看嘉宾的视频回放,或关注嘉宾的 GitHub 地址获取相关代码。 AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

SAP 模型的测试

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

实验过程

我们的实验是在 THUMOS'14 数据集展开的,用它的 validation set 训练模型,在 test set 上进行实验评估。我们使用了是以下两个衡量标准。第一个是 recall 值和平均 proposal 数量函数第二个是 recall 和 IoU。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

proposal 做分类后的评判标准是:Average Precison 和 mAP

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

检测性能的结果

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

上图红色圈注的部分比较的是不同的模型,在取相同的 proposal 数量,用同样的分类器做分类,哪个模型的性能会更好。结果发现,在只有 50 个 proposal 的时候,我们的方法表现的最好。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

总结

代码相关资料GitHub地址:

雷锋网GAIR大讲堂视频回放地址:

更多免费直播视频,请关注微信公众号: AI科技评论。

原创文章,未经授权禁止转载。详情见 转载须知 。

AAAI 2018 论文解读:基于强化学习的时间行为检测自适应模型 | 分享总结

全局中部横幅
小游戏,4399小游戏,小游戏大全,双人小游戏大全

4399小游戏大全包含连连看,连连看小游戏大全,双人小游戏大全,H5在线小游戏,4399洛克王国,4399赛尔号,4399奥拉星,4399奥比岛,4399弹弹堂,4399单人小游戏,奥比岛小游戏,造梦西游online,造梦无双等最新小游戏。

筛分机

大汉筛分机厂家生产振动筛分机,旋振筛分机,超声波筛分机,直线筛分机,气流筛分机,直排筛分机,滚筒筛分机等,外形分方形/圆形,材质有不锈钢/碳钢,型号有400mm-2000mm,厂家直销,价格低至3000元.

沈阳华威石油机械制造有限公司

沈阳华威石油机械制造有限公司是集研发、生产、销售、服务于一体的石油设备及井下工具的专业生产企业。经过二十几年的努力和发展,取得了三十余项专利,其中发明专利3项,实用新型专利20余项。公司通过了ISO9001:2015质量管理体系认证、ISO14001:2015环境管理体系认证、ISO45001:2018职业健康安全管理体系认证及GB/T19022-2003/ISO10012-2003测量管理体系认证(AAA),我公司为高新技术企业。

分类信息网

冒泡分类,领先的分类信息网。您可以免费查找各种新鲜的二手物品交易、二手车买卖、房屋租售、招聘、交友及生活服务等分类信息。

超级网站目录简体版

超级网站目录是由人工编辑审核并免费收录各类优秀网站的中文网站目录,根据行业分类提供行业网站目录检索,旨在为网友和搜索引擎提供参考,是站长免费推广网站的最佳平台!

威廉伙伴商业创意

威廉伙伴是总部设在上海,营业范围包括广告代理、文化艺术交流策划、创意服务、公共活动组织策划、企业营销策划等。我们服务于上汽通用五菱、猎豹汽车、君马汽车等众多国内知名车企,从策略、创意、拍摄、制作、媒体投放到车展、年会、线下推广等各业务领域均与客户保持长期合作

心理老师大本营

心理老师联盟,心理老师之家,心理老师大本营,用软件与科技为心理老师分忧解难

趣游网

趣游网专注于手游App及应用软件下载和攻略分享,覆盖各类热门应用,提供便捷的下载渠道。我们还汇聚了最实用的游戏攻略,助您轻松突破游戏各种难关,享受游戏的乐趣发现更多精彩!

云视野

云视野科技有限公司

全局底部横幅