北京大学王亦洲分享 基于对抗博弈的主动跟踪算法研究 (北京大学王亦洲)
IEEE x ATEC科技思享会是由专业技术学会IEEE与前沿科技探索社区ATEC联合主办的技术沙龙。邀请行业专家学者分享前沿探索和技术实践，助力数字化发展。
在社会数字化进程中，随着网络化、智能化服务的不断深入，伴随服务衍生出的各类风险不容忽视。本期分享会的主题是《网络欺诈的风险与对抗》。五位嘉宾将从不同的技术领域和观察视角，围绕网络欺诈场景下的风险及对抗技术展开分享。
以下是王亦洲教授的演讲。
演讲嘉宾 |王亦洲
北京大学博雅特聘教授、前沿计算研究中心副主任
ATEC科技精英赛高级咨询委员会专家
《基于对抗博弈的主动跟踪算法研究》
大家好，我是北京大学的王亦洲。今天我将主要介绍如何构建多智能体博弈机制，以实现鲁棒的主动目标跟踪。具体而言，我将先简要介绍主动目标跟踪任务和虚拟环境等前期工作，再重点介绍四种多智能体博弈机制用于主动目标跟踪。
主动跟踪简介
主动跟踪在日常生活中是一种较为常见的现象和技能，比如自动驾驶的跟车、无人机在天空跟踪一些目标、视频监控时锁定一些目标、云台照相机跟踪动作等。在计算机视觉领域，主动跟踪也是一个比较前沿的研究课题。但要真正实现主动目标跟踪，会遇到很多不同的挑战。比如，在录制一些比较惊险刺激的特技镜头时，摄影师不仅要让相机对准演员，还要同步适应复杂的地形环境，调动四肢跟随演员移动，其技术难度可能要比演员表演特技还高，并且在整个过程中，从感知到动作都需要十分快速精准执行。然而，这对于现阶段的机器人而言，几乎是一件不可能完成的任务。要真正实现复杂场景下的主动目标，我们的模型需要适应多样的工作环境（包括不同的天气、光照条件）；还要克服障碍物遮挡（即避障），比如遇到障碍物时，要找到最短路径绕过障碍物；也要克服动态干扰物的影响，避免混淆。如果是多相机跟踪的场景，还需考虑如何实现高效的多智能体协作，这些都是主动跟踪的一些挑战。传统的方法，主动跟踪分成两个部分，一个是叫这个passive tracker，算法先对这个输入的图像锁定里面的目标物体，比如以bounding box的形式，根据bounding box的运动，然后再输入到控制器里面，调整照相机的运动。
我们提出的方法，是一个端到端(End-to-End)跟踪方法。输入图像序列，直接输出动作。感知和决策可以同步优化，互相适应，对应的中间表示也会更加紧凑。要训练这种端到端的感知—决策网络，当前流行的有两种方法，一种是模仿学习Imitation Learning(IL)，一种是强化学习Reinforcement Learning(RL)。模仿学习样本效率会高一些，但是需要引入专家数据进行训练，且不可避免的存在数据分布的偏差，模型的泛化性会比较差。对于跟踪模型来说，模型的泛化能力是至关重要的。因此我们采用强化学习，我们只需要设计一个简单的奖赏函数，机器人在环境中自主探索，就可以在试错中学习技能。
有效虚拟环境的构建
我们让机器人在一个场景中运动时，如果是一个真实的场景，因为机器人的成本高，机器人在场景中运动时或许会造成一些损坏，实验的负担也比较大，所以代价非常高昂。我们提出构建UnrealCV虚拟环境，让机器人在里面进行主动学习，我们可以从中获取高逼真的视觉观测、精准的ground truth、以及进行实时的交互，包括多智能体的交互。这个项目已经开源。因为我们日常生活中的环境是多变的，在近真实的环境当中可以模拟日常生活环境的一些变化，不光是室内的还有室外的、室外天气的变化、室内光照的变化，环境的各种appearance、各种texture，甚至还有物理属性都可以调整。在虚拟环境中不仅可以学到地球上的物理，甚至可以学习火星上、月球上的物理。所以这种近真实的环境，尽管可能是对真实环境的一种建模、某种意义上的一种简约，但其实它有更丰富的potential，能够更多地改变环境，让机器人能够适应各种变化，在这里面学的技能有可能泛化能力更强。因此，我们认为机器人或智能体所处的环境复杂性决定它最终训练出来的智能水平。
下面我将简单介绍一下，把认知心理学的一些机制引入到主动跟踪场景下，提高跟踪器的跟踪水平的一系列工作。我将介绍四种工作：第一种是一跟一的跟踪；第二种还是一跟一，但是会有一些和目标非常相似的干扰物进来；第三个工作是多个摄像头跟踪一个目标；最后一个是多跟多，比如N个摄像头跟M个目标物体。
一对一的跟踪策略
首先介绍一跟一。在一跟一里面我们引入了Theory of Mind（心智理论），心理学的一种机制，它是人类所具有的能够认知别人的心理状态的一种本领，比如我在跟别人交流过程中我能够知道对方的信念、意图、甚至他的知识。有了这种能力，能够帮助多智能体提高交流的效率。我们将这种机制应用到主动跟踪的过程当中。这里面的目标和跟踪器，是两个进行竞争的agents。目标的任务就是逃跑，从跟踪者的视野当中逃掉；跟踪者要始终锁定目标，他们俩成了一个博弈对。我们在这里面引入了Theory of Mind，产生一个更聪明的逃跑者，它不光要根据自己看到的环境来选择路径，他还能够知道跟踪者现在所观察到的一些景象，猜测跟踪者的策略是什么。即在脑子里猜想你会怎么跟踪我。把Theory of Mind引入到跟踪的博弈当中，我们希望能够训练出Target有更好的摆脱策略。因为它们的能力都是从零开始同步增长的，逃跑者与追踪者在学习的过程当中能力此消彼长。这个博弈机制是非对称的，因为我们的最终目标是为了训练跟踪器，因此我们将围绕如何训练一个更适合跟踪器学习的目标模型改进我们的对抗机制，包括了奖赏函数结构和目标的模型设计。
要实现竞争机制，最关键的是要设计奖赏函数（Reward Structure）。一般来说，纯对抗竞争的奖赏函数，就是一个零和奖赏结构。但如果是零和博弈的话，目标会在一开始就跑的很远，这反而导致跟踪器学习效率降低。因此，我们考虑当目标移动到观测范围外，将在原来的基础上增加一个额外的惩罚项，惩罚项的取值取决于目标与跟踪器的观测边界的距离。为了让目标能够学到有针对性的对抗策略，我们进一步提出了tracker-aware target。它的设计思想就是孙子兵法中的知己知彼，百战不殆的思想。如果从认知心理学的角度来说，就是要去理解预估对手的mental state/ intention，只要比对手多一阶的思考，就可以找到有效的对抗策略。比如说，当跟踪器根据图像推测估计目标要从画面中心往左走时，它就会倾向于向左转。如果此时我们的目标能多思考一阶，能够想到跟踪器有向左转的倾向，那么它就可以反过来输出一个向右转的动作，就可以导致跟踪误差增大。具体实现时，我们就让目标除了其自身的视觉观测外，还额外获得了跟踪器的观测和动作输出作为模型的输入。我们在这里还引入了一个辅助任务，也就是预测跟踪器的即时奖赏值，来对跟踪器的动态特性进行隐式的建模。我们把这个算法放到了包括城市环境、下雪的村庄、地下车库、花园以及城市街道的近真实的虚拟环境中，随后发现，尽管我们是在不真实的虚拟环境下训练的，但是迁移到近真实的虚拟环境下，还是能够非常好的跟踪到目标物体。
一对多的跟踪策略
接下来还是一对一的跟踪，但是有了干扰者的参与，也就形成了一种一对多的博弈机制。例如在足球直播中，跟踪器会将边线裁判的光头误识别成足球。同时，我们在实验中发现，现有的SOTA模型也十分容易被场景中相近的物体误导迷惑，最终导致跟丢。针对此问题，我们提出了一种混合博弈的解决策略，里面包括了Targets和Tracker的竞争关系，还有干扰者和Targets之间的合作关系，即他们要合作起来一起欺骗Tracker。Reward方面，Targets和Tracker，可以是零和博弈或者是前面介绍的混合Reward Structure；Distractor和Target 之间形成一个合作策略。Distractors的奖赏是它是不是能够吸引Tracker的注意，是不是跑到了Tracker视野里比较中心的位置，越靠近中心越说明Tracker把它认成了Target，它这时候获得的Reward就更高。所以在这种Reward Structure下面，我们训练Tracker、Target和Distractors，它们各有各的策略。我们采用了两种训练方法，一种是在抽象的环境下先训练Meta Policies，有了这个Meta Policies以后，它作为一个teacher，这时我们引入视觉输入来训练作为student在真实视觉环境下面如何跟踪。这时候student的跟踪策略要和作为teacher的Meta Policies的策略相接近。我们用K-L Divergence来描述他们的差异，我们要minimize这个差异，通过这两个训练过程，最后训练出三种角色各自的策略。我们发现在训练过程中，出现的干扰现象越来越多。也就是说Distractors越来越会参与干扰了，它的干扰技能提升了。一些SOTA或者一些现有的先进方法在这个过程当中，随着干扰的增多，它们的performance就下降了。我们提出的这个方法，它的performance不太受干扰的一个影响。在混合博弈下面，最后训练出的Tracker和现有的一些方法有明显的优势。
多对一的跟踪策略
接下来是多个摄像机跟踪一个Target，这种场景通常发生在一个video surveillance的情况下。在此场景里有一个可疑人物或目标人物，我们在大范围场景下面布置多台摄像头，场景里面非常复杂、容易有这种障碍物，它能够利用这些障碍物进行隐蔽，这时能不能在多个摄像头下始终不把它给丢掉。这里我们引用了一种心理学的机制，叫Herd mentality（羊群效应），即一种从众心理，就是一个人在人群中决策时，往往会受到多数人的干扰，产生从众心理。假如在这个环境中，我们布置了四个摄像头，如果有三台摄像头能够比较好地看到Target，即使有一个摄像头因为遮挡的原因目前看不到，它根据其他三个摄像头的指向，也能把这个摄像头的角度瞄准到他们指向的位置。这时候，当Target出现时，它就能够很快地恢复跟踪,这样对整个系统的跟踪的稳定性会有所提升。对于这种情况，我们设计了一个模型。跟踪模式分为两种，在可见目标情况下采用基于视觉的跟踪。看不到的情况下，会根据其它摄像头的pose指向的位置决定该跟踪器所指向的位置，有一个switcher决定采用哪个跟踪模式。我们在这个环境当中把它部署下去，发现跟踪的效果也非常好。
多对多的跟踪策略
最后看一下多个摄像头跟踪多个目标的模型。它其实是解决一个coverage的问题，比如四个摄像头要跟踪六个物体时，在资源有限情况下，能够最大程度把这个物体给覆盖住。这里面我们采取的机制是hierarchical机制。在社会形成结构的过程中，有一些是Leader，有一些是稍微处在底层一点的执行者。这种分层机制可以对复杂任务进行结构化分解，具有分工明确、理性决策、权责划分清楚等优点。因此，我们考虑借鉴这种机制，设计一种可计算多智能体分层模型。该框架主要分两层，包括了一个集中式的协调者（coordinator）和多个分布式的执行者（executor）。当运行时，协调者收集各个执行者的观测信息，进行全局规划，为每个执行者分配特定的任务目标, 也就是指定需要跟踪的具体目标；每个执行者在分配到具体任务以后，通过采取一系列基本动作（即左转/右转/保持不变）来成指定的跟踪任务。然后重复这两个步骤。这样，目标覆盖问题将分解为不同时间尺度的两个子任务，也就是目标分配和目标跟踪。此时，协调者和执行者均可以直接采用当前流行的单智能体强化学习方法进行训练优化。这里，协调者的团队奖赏取决于覆盖率；每个执行者的奖赏只跟相机与被分配的目标之间的角度偏差有关。
为了实现可扩展泛化的分层结构，我们仍需要克服两个挑战：1）对于协调者，需要能够灵活处理可变数量的传感器和目标之间分配，因为不同场景下相机网络和目标分布会有很大差异；2）对于执行者，需要能够在给定任何目标组合时，都能表现良好。就像军队中的士兵要无条件服从上级命令，执行任务。为此，我们采取了一系列实用方法来应对这些挑战，采用了自注意力模块来处理变长的输入并获得一个与输入顺序无关的状态表示。为了更好的估计全局价值，我们对每一对传感器——目标分配的边际贡献(marginal contribution)进行了近似估计(approximate marginal contribution, AMC)，从而更精确地估计和分解全局价值，引导协调者学习更有效的分配策略。对于执行者，提出了基于目标条件的过滤器以去除与被分配目标无关的观测信息，从而提高执行者策略的鲁棒性。考虑到训练的稳定性，整体训练策略采用了二阶段分步训练方式进行。对目标集进行采样，生成伪目标来训练执行者策略；然后利用现有的执行者策略来训练协调策略。从而避免共同训练时，协调者和执行者因探索时不可避免的随机性导致训练不稳定。
最后，我们把Theory of Mind也引入到这个工作里面。这种猜想和协商的机制，我们管它叫ToM2C（Target-oriented Multi-agent Communication and Cooperation with Theory of Mind）。要解决一个问题，给定输入以后，我们通过融合其他人的输入来猜想其他人想跟踪的目标，再有选择地和目标不一致的对象进行沟通，最后在Decision Maker的module来最终决定谁跟谁的策略，最终取得了非常好的跟踪效果。
总 结
我们把心理学的认知机制和博弈论结合在一起来解决主动跟踪问题，一系列工作取得了比较好的一个跟踪效果。对于长期目标，我希望融合机器人学、博弈论、信息论、社会心理学等领域知识，最终构建多功能、会合作、有温度的通用机器人，服务人类社会发展。我的报告就到此结束，谢谢大家。
版权文章，未经授权禁止转载。详情见 转载须知 。
百度移动统计是一款专业的移动应用统计分析工具，支持android，ios平台。
罗文LONNWENN联轴器工厂是一家有着十几年历史的高端联轴器生产厂家，本公司技术精湛，设备优良，检测设备齐全,我公司生产的联轴器畅销全国，深受用户的好评，欢迎国内外新老客户莅临指导。
四川汉莫尼机械设备有限公司成立于2000年，是一家集淋釉器研发制造、生产、销售和品牌营运为一体的专业化企业,本公司拥有专业的生产设备和熟练的生产技术，是采用航空技术生产钟罩淋釉器的专业厂家.
强大的数据库和后台服务，为你的作品保驾护航，一经录入，随时查检。大师作品溯源机制，让收藏者后顾无忧。
德邦大件物流公司专业提供德邦长途搬家,德邦电动车托运,德邦钢琴搬运,同城搬家,出国搬家,回国搬家,国际快递,办公室搬迁,国际海运搬家电话:4000562656
艾威数字科技有限公司是一家互联网产品研发与实施的综合性服务企业。秉承诚信、共赢、精益、创新核心价值观，致力用数据和技术发掘商业价值，赋能业务创新，探索商业模式。专注于为客户提供IT资源整合服务,助力各行业企业数字化转型。
澄迈数码科技网_提供深度评测、科技趋势报道以及购买建议，助您更好地了解市场动态。不论您是科技发烧友还是普通用户，数码手机网都将为您呈现有价值的内容和信息。
执一路桥专注于预应力桥梁设备，从事研发、生产、经营！为广大用户提供优质先进的智能张拉设备，智能压浆设备，预应力千斤顶,穿心千斤顶,预应力锚具，穿线机，高频振动器，钢筋弯曲机，钢筋切割机，波纹管制管机，扁管机，挤压机，真空泵，智能喷淋系统及配套设备。
中山市领锋电器有限公司是一家专业从事速热热水器,研发、生产与销售热水器以及热能相关为一体的现代化高新企业,产品覆盖领锋即热热水器，领锋速热热水器材等。
郁清叔叔专业提供情感培训,情感导师解决约会学,恋爱技巧等技能培训
娄诚数字科技，是一家以互联网为基础的广告与电商公司，我们的目标是“通过互联网打破传统广告业的局限性”。在互联网时代下，九创文化传媒致力于新信息电商及大数据管理与营销解决方案。
武汉泰尔制冷是致力于冷水机组、冷库安装行业发展的湖北冷水机组厂家,专注武汉冷水机、工业冷水机组、螺杆式冷水机、风冷水冷冷水机、武汉冰水机、冷库安装建造等制冷设备研发与生产,有非标定制能力和专业的生产基地,欢迎来电咨询。
道口烧鸡在市场上的知名度是比较高的，不少创业者都想要从事此行业的发展，但是仍有人对该品牌有所不了解，想要知道道口烧鸡加盟费是多少，针对这一问题，小编就为大家简单的介绍一下，道口烧鸡加盟费是多少，道口烧鸡始创于1661年，其经营的产品种类是比较多样化的，在这里大家可以根据自己的需求自由选择，而且品牌还拥有一支专业的研发团队，不断的迎合市...。
起初，馒头是北方人爱吃的面食，后来随着人口的流动，南北方的饮食文化开始融合，南方人也开始喜爱上馒头，至此，馒头成为大家都爱吃的面食，紧接着开设馒头店的人也越来越多，而对于那些初次接触馒头店创业的人来说，馒头的收银成为他们关心的问题，今天，小编就以100个馒头为例，简单介绍一下卖100个馒头的收银，卖100个馒头的收银根据目前的市场行情...。
泰式按摩发源於古印度的西部，创始人是古印度王的御医，他至今仍为泰国人民奉为医之父，他的传统医药知识及按摩知识技法由传教的僧人带入泰国，并由泰王召集，广泛吸收他们的传统医药及按摩的宝贵经验，把这些经验铭刻在大理石上，镶嵌於瓦特波的卧佛寺的游廊壁上，此地成为训练传统泰式按摩的基地，...。
男士spa，是指针对男士采用水疗养生保健、抗压减压的养生项目统称，它在提升男士自身品味、改变外表形象，男士spa项目包括，胃肠保养、脊柱保养、十二经络平衡术、全身淋巴排毒、全身芳香理疗、颅内净化减压、背部刮莎滑罐等疗程项目，还有有面部护理、眼部护理外，身体护理部分，还细分为肾部保养、刮痧排毒、塑形、精油按摩、拔火罐等，男士美容SPA...。
从二胎政策正式开放起，新生儿的数量就有了很大的增长，随之而来的教育问题成为了每个家庭关注的核心项目，孩子学不好，就会输在起跑线上，不想形成这样的现象，就要把孩子送往教育培训公司学习，所以，教育机构的开办受到了很多智慧之选者的关注，那么怎么注册教育培训公司呢，让小编来告诉大家吧！首先要确定公司的形式，境内的公司分为有限责任公司和股份有限...。
米线存在市场很多年，一直以来，都是很有人气的美食，这也是大家公认的经济实惠的美食，米线与一般的面条是不一样的，这是一个很受欢迎的美食，一直以来在小吃市场上都是很好的，一直有很高的名气，顾客也是很喜欢这样的小吃，一般品牌店给大家带来的米线口味也是不同的，当下有很多米线的品牌，Hello粉姑娘米线就是很不错的米线品牌，Hello粉姑娘米线...。
创业是大家都很关注的问题，很多人都有这个想法，苦于不知道方向，时间流逝商机流失，这样的事情我们要避免，当下很火的快时尚百货店就是大家智慧之选创业的不错选择，作为智慧之选者有些事情你是要知道了解并实施的，让我们一起来看看，创业智慧之选一家快时尚百货店你该知道哪些?一、前期做好规划，必须要做好调查且量力而行！当创业者确定了快时尚百货店这一...。
一个好的加盟项目一定是要有足够的消费市场，有市场需求才能有发展，且选择项目时，还要考虑所加盟的项目之后的发展状况，当下不少家庭对房间进行重新装修后，需要一些空气清洁产品，尤其是除醛产品，对除醛产品的需求较大，有一些加盟者就抓住了加盟机遇，想要加盟除甲醛产品，并对富思特品牌比较感兴趣，那么在对富思特除甲醛品牌加盟管理经营要点有哪些呢，小...。
其实很多创业者都想要开店做代理，然而由于一直在徘徊观望，让很多创业者捷足先登一步，但在众多行业中创业者想要进军的项目，莫过于中智益健品牌店，毕竟这是一家市场需求量比较大的店面，经营的眼镜也比较先进化，消费的价格也是大众购买起的价位，面向的消费群体也是中老年人群，因此，这么乐观的一个开店项目谁都想要加盟，那么下面就来具体了解一下，中智益...。
中餐市场的发展越来越激烈，虽然如此，由于市场的发展前景较好，依然还会有大批量的创业者选择进入到中餐市场创业，冯不记米坊凭借对产品不断更新的能力，迅速在餐饮市场脱颖而出，让大家也能够记住品牌的存在，如果对项目感兴趣，现在就可以了解，冯不记米坊加盟条件，还可以随时知道公司会给予哪些支持，冯不记米坊加盟条件项目在市场上运营的时候，一直以统一...。
现在鱼肉的制作方法是比较多的，我们今天介绍一个比较创立的鱼肉烹饪方法叫做，，的命名是与现在年轻一代的消费者非常吻合的，同时口味也具有一定的特色，接下来我们就创业者比较关心的问题进行解答，加盟，爱辣屋是个好项目，爱辣屋是由对餐饮行业抱有赤子之心的几个合伙人进行合作的，希望能够为年轻一代的消费者带来比较特色的，现在爱辣屋欢迎全国创业者进行...。
爱美之心，人皆有心，不论性别、年龄、国界，而化妆品，具有明显的扬长避短、提升颜值、锦上添花的功能，由此，市场销量稳健，行业发展稳健，很多创业者被吸引，有心则有加盟以创富，但是，市面上化妆品品牌众多，毕竟是与肌肤直接接触，如何选择呢，化妆品加盟哪家好呢，下面，小编将着重为大家进行品牌推荐，1、梵美诗，——美妆连锁知名品牌，专注于美容日化...。
由于激光光源的降价，这半年来投影显示行业掀起了一片激光光源采用的狂潮，其中最直观的就是激光电视的大降价，以往仅仅作为高端产品的激光电视现在基本上万元左右就可以到手，如果想要百吋的大屏，那么激光电视是一个不错的选择，大屏党福音三款高清高配激光电视推荐那激光电视的优势在哪呢，首先就是激光电视的光源采用激光，在色彩上更加准确，让画面更加出色...。
孙卓孙卓，中国广东人，2003年生于广东省深圳市，南京工业大学在校生，电影，爱戴的，原型，孙陆地失散多年的儿子，2021年12月6日，孙陆地失散...孙陆地孙陆地，1974年出世于湖北省监利市，深圳市悬赏20万寻子当事人，电影，爱戴的，韩德忠人物原型，孙陆地早年曾先后在武汉、三峡等地营生，...南京工业大学南京工业大学，Nanjing...。
华阳陆地钻研核心、中国南海钻研院和中国国内法学会7月11日在京联结发布了，南海仲裁案判决再批驳，报告，所谓，南海仲裁案判决，出台距今已有8年，报告重申了中国对仲裁案以及仲裁判决的立场，强调中国政府不会抵赖仲裁庭作出的合法判决，也不会接受任何基于判决的主张和执行，近日，中方发布，仁爱礁合法，坐滩，军舰破坏珊瑚礁生态系统考查报告，黄岩岛...。
化工油罐车运输食用油事情近日引发关注，廊坊市市场监视治理局7月9日向第一财经记者回应称，目前事情，罐车化工油食用油混装事情，由三河市政府正在考查中，后者会发布最终考查结果，第一财经记者栾立，关系报道评论丨化工油食用油，混运，，要黑名单更要问责清单，红星资讯，日前，关于罐车运输的乱象被曝光，媒体考查发现，有的罐车卸完煤制油间接装食用油...。
两人姓名配对指数实在吗爱与被爱是缘分，想知道你们之间有没有那种觉得，就来测试一下吧，应用两团体的姓名就可以测出你们之间的缘分了，连忙来测一测吧！姓名配对测试婚姻计算的很便捷，将你们姓名笔划的总数作比拟，以大的数字减小的，例如，大雄想知道自己和叮当的相关是什么，要将自己名字的笔划，共15划，和叮当名字的笔划，共21划，相减，即21，15...。
