ICCV2021 (iccv2024)

文章编号:44336 资讯动态 2024-12-09 ICCV2021变化检测器武汉大学
ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器

ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器

武汉大学测绘遥感信息工程国家重点实验室RSIDEA团队 在变化检测方面的工作,已被ICCV 2021接收。
针对成对双时相变化检测训练样本标注耗时、收集困难的问题,提出了一种新颖的 ,其利用非成对单时相遥感影像构造伪双时相监督信号,以学习变化表征;同时提出了一种 ,其通过核心模块ChangeMixin,可将任意语义分割模型转化为变化检测器,从而复用现有的优秀架构,揭示了语义分割与变化检测之间的内在联系。
实验表明,单时相监督下的ChangeStar较Baseline取得显著提升, 在Zero-Shot验证条件下,与强监督模型精度差距缩小到10%以内;在强监督(双时相监督)的设定下,基于FarSeg的ChangeStar在LEVIR-CD数据集上实现了state-of-the-art的精度。



变化无处不在

我们观察到,成对标记的位时图像的重要性在于, 变化检测器需要成对的语义信息来定义对象变化检测的正负样本。 这些正、负样本通常是由两个不同时间的像素在同一地理区域是否具有不同的语义来决定的。位时像素的语义控制着标签分配,而位置一致性条件(两个时相的像素应处于相同的地理位置)仅用于保证独立同分布的训练和推理。可以想象,如果我们松弛位置一致性条件来定义正负样本,那么变化是无处不在的,尤其是在未配对的图像之间。



方法简介
STAR旨在通过带有语义像素标签的任意图像对学习一个可泛化的变化检测器。 为了实现这一点,我们构造了伪双时相图像对,松弛了传统的双时相监督的变化检测学习问题,如下式:

ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器

其中Xi, Xj为真实双时相图像对,对应的Y是其语义像素标签,F ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器 为变化检测器参数。将伪双时相图像对(Xt1, ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器 Xt1)替换为真实双时相图像对,并重新利用逻辑异或运算分配伪双时相图像对的变化标签,从而将原学习问题松弛为下式的仅利用单时相图像即可完成的学习问题:

ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器

为了利用单时相图像提供监督信号,我们提出了一种伪双时相图像对构建技术,其通过对一个训练批次中的图像Xt1进行随机排列得到伪第二时相图像 ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器 Xt1,并且保证每个伪图像对中的图像各不相同。通过观察可以发现,伪双时相图像对的变化标签可用两张图像的语义像素标签(one-hot为二值标签)的逻辑异或表示,这样即可完成伪双时相图像对的正负样本定义。

ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器

图1:模型训练与推理流程

ChangeStar是一个简单而统一的网络,由一个深度语义分割模型和ChangeMixin模块组成。 这种设计的核心思想在于 重用现代语义分割架构 ,因为语义分割和物体变化检测都是密集的预测任务。为此,我们设计了ChangeMixin模块,使任何现成的深度语义分割模型能够检测物体变化。ChangeMixixin模块由若干卷积层和一个时序交换模块组成,其输入由分割模型计算得到的高分辨率语义特征,输出双向的变化检测图用于后续的学习与推理。我们在实验中发现,一个收敛的模型,双向变化检测图相似度极高,因此在推理阶段我们选择其中一个方向的变化检测图作为最终预测值。


主要实验结果

这部分展示了所提出方法在不同训练数据与测试数据下的泛化性实验结果。对比方法采用基于深度语义分割模型的分类后比较法,作为单时相监督的基线。实验结果表明,所提出的方法可有效提升单时相监督下的变化检测性能,具有很好的泛化性能。

ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器

同时为了验证所提出架构的有效性,我们在双时相监督下训练了ChangeStar模型的各种变体。实验结果(表4)表明 ChangeStar架构对已有的分割模型具有良好的兼容性,在相同骨干网络的情况下可取得更加优异的性能。

ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器

为了了解单时相、双时相监督之间的实际差距,我们利用相同模型开展了多组对照实验,从实验结果中可以发现,单时相监督作为一种弱监督信号,与双时相监督这种强监督信号相比仍有一定差距,但差距随着骨干网络容量的提升而减小, 目前F1精度差距最小可缩小到10%以内。 然而本文提出的方法仅仅是在单时相监督上的初步探索,未来还有更大的改进空间,例如使用模型容量更大的transfomer模型作为基础模型、更大的单时相监督数据、更好的单时相监督学习策略都是值得未来探索的研究话题。

ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器

更多的消融实验与讨论可见原文。



总结

在这项工作中,我们提出了 巧妙绕过了传统的双时相监督学习中收集成对标记数据成本高的问题。 STAR提供了一个利用任意图像对中的物体变化作为监督信号的新视角。为了证明STAR的有效性,我们设计了一个简单而有效的多任务架构,称为 用于联合语义分割和变化检测,它可以通过进一步提出的ChangeMixin模块重新使用任何深度语义分割架构。

大量的实验分析表明,提出的方法可以以较弱监督信息学习一个鲁棒的变化检测器;同样双时相监督条件下,超越了目前的state-of-the-art方法。我们希望STAR将作为一个坚实的基线,在未来服务于弱监督变化检测研究。

ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器

版权文章,未经授权禁止转载。详情见 转载须知 。

ICCV2021 |武汉大学提出“变化无处不在”单时相监督的变化检测器

全局中部横幅
贵州治滔语企业管理有限公司

我们公司主要的特色服务是:汽车电瓶,汽车配件,汽车音响等,诚信是我们立足之本,创新是我们生存之源,便捷是我们努力的方向,用户的满意是我们大的收益、用户的信赖是我们大的成果。乘风破浪会有时,直挂云帆济沧海,耐驰人相信,面对新科技革命的激烈竞争,一定会创造出更加优秀的成绩,回报家乡、回报社会、回报祖国。

中国式相亲

《中国式相亲》是内地综艺节目。节目简介:《中国式相亲》把传统相亲玩出花!作为首档代际相亲交友节目,节目不仅着眼于单身族的脱单问题,更将家庭元素融入其中,节目模式设定处处包含小心思:现场测试亲子关系,父母冲锋前台看遍家庭状态等。

旅游网站导航大全

LOL网址导航网是专业的上网导航网站,精心收录各类优质热门网站信息,同时提供天气、快递、违章等各种生活便民查询工具网址,为您提供安全便捷的上网导航服务,现已被众多网友设为上网主页,网址导航大全首选LOL网址导航.

九九信息网

九九信息网为您提供房产、车辆、宠物、生活服务、商务服务、教育培训、招商加盟等分类信息,您可以发布和查看分类信息。

最近上映电影

铜雀网免费提供最近上映电影、2023最新电影排行榜和热播电视剧全集手机在线播放,每天第一时间更新好看的电影、电视剧、动画片和综艺节目,欢迎欣赏2023年的影视剧!

季晨网

季晨网(68jcw.com)是一个免费发布信息的电子商务平台,平台所发布内容信息经过人工审核,证件核实等,才可以免费发布信息,以保证消费者合法权益;为中小企业节省销售成本,免费发布产品信息:方便、快捷,找企业、找客户、做生意就上季晨网!

潍坊净禾环保科技有限公司

潍坊净禾环保科技有限公司主营销售产品有各种高效复合型、正压型二氧化氯发生器、壁挂式二氧化氯发生器、硫酸法和电解法二氧化氯发生器等,产品型号多,选择性大,受到广大用户认可,产品销往全国各地。

首页

专业经营各类耐高温漆,主要产品包括耐高温漆,耐热漆,耐高温涂料,有机硅耐高温漆,无机硅耐高温漆,天津奥仕达化工,耐高温漆公司,耐高温漆厂家,耐高温漆品牌.

软装设计工程

康莉窗帘有限公司是一家集(布艺、家具及装饰品)生产、销售、设计于一体的大型软装公司,提供板房别墅、酒店会所以及销售中心展厅等优质的软装设计服务,实现整套专业配饰。

怡亚通

深圳市怡亚通供应链股份有限公司成立于1997年,是世界500强——深圳市投资控股有限公司旗下企业,中国首家上市供应链公司(股票代码002183),是以“供应链+产业链+孵化器”模式,打造集供应链平台服务、产业链整合运营、品牌营销、数字化商业、企业投融孵等多维一体、具有新时代特色的整合型数字化综合商社。公司在职员工近万人,2023年业务量超1400亿元,2023《财富》中国上市公司500强排名158位。

AVA定制乐器(厂家)

AVA定制乐器(厂家)电古筝电古琴电琵琶电二胡电阮电笛子电箫(竖笛\木笛)电埙(陶笛)电扬琴电独弦琴电小提琴电中提琴电大提琴手工电吉他手工电贝司电竖琴电曼陀铃电班卓电冬不拉电母指钢琴(kalimbasanza)电声鼓原声乐器---古琴唐筝(日本筝KOTO)阿瓦筝手工吉他小竖琴印第安笛尺八木埙木陶笛母指钢琴(kalimbasanza)门琴石笛、石口笛木口笛MIDI乐器---MIDI笛箫MIDI埙、陶笛MIDI古筝MIDI激光筝肩背MIDI鼓激光MIDI键盘相关设备---专用音箱无线传声器效果器

中兴通集团

中兴通集团由七个自然人于1994年投资创建,经过30年的不懈努力,现已发展成为具有一定规模的大型企业集团。集团在北京、兰州、青岛、湖州等地拥有大量的优质物业。业务涉及:财税信息化、股权投资、轨道交通、冰沟河景区、产业地产五大经营领域。

全局底部横幅