• Welcome to the world's largest Chinese hacker forum

    Welcome to the world's largest Chinese hacker forum, our forum registration is open! You can now register for technical communication with us, this is a free and open to the world of the BBS, we founded the purpose for the study of network security, please don't release business of black/grey, or on the BBS posts, to seek help hacker if violations, we will permanently frozen your IP and account, thank you for your cooperation. Hacker attack and defense cracking or network Security

    business please click here: Creation Security  From CNHACKTEAM

Recommended Posts

I. 语义变化检测

语义变化检测是近年来出现的,是对二元变化检测的进一步研究。不仅要知道多时相遥感图像在哪里发生了变化,还要知道土地覆被变化成了什么样。

一些学术机构和企业也开展了相应的比赛,以推动相关工作的发展。

在阅读相关论文时,我发现了一篇关于2021 IEEE GRSS Data Fusion Contest: Track MSD.竞赛的文章。在查看竞赛网站后,我意识到这篇论文是这次竞赛的获胜者。

本文的结构安排如下。首先介绍了语义变化检测,第二部分给出了相关网站,第三部分是对比赛内容的一些总结。因为只是笔记,所以不详细阐述论文内容。

II. 原始网址

Thanks for the data and methodology that are made public.

a. 竞赛网址

2021年IEEE GRSS数据融合竞赛:赛道MSD

b. 论文网址

2021年IEEE GRSS数据融合竞赛高分辨率土地覆盖从低分辨率标签的变化:简单基线

c. 代码网址

DFC 2021-MSD-基线

III. 竞赛内容

a. 文章单词缩写的了解

其实这些缩写多是机构名称、比赛名称等。但如果你看了英文比赛界面,这些缩写往往会被误解为一些专业术语,但如果用中文简单描述,就不用在意了。这里只提到后续内容中出现的缩写可以在本节进行比较。

追踪MSD:多时相(M)语义变化检测挑战(D)

多时语义变化检测挑战跟踪。

IADF TC:图像(I)分析(A)和数据(D)融合(F)技术(T)委员会(C)

图像分析和数据融合技术委员会

GRSS:地球科学和遥感学会

IEEE地球科学和遥感学会

NAIP:国家农业形象计划

国家农业图像计划

NLCD:国家(N)土地(L)覆盖(C)数据库(数据库)

国家土地覆盖数据库

b. 文章内容简括

本节第一行的缩进部分是对原文的总结。对这篇文章的一些理解就放在这条像这样的光线里(而且左边有个|号)。

2021年IEEE GRSS数据融合挑战赛中的多时相语义变化检测挑战赛由GRSS IADF TC和微软的一些部门共同组织。其目的是从多分辨率、多时相和多光谱的角度提升自动的提取地表覆被的变化前后时相变化区域的地表种类发生的变化的遥感图像。

换句话说,语义变化检测可以分为三个部分。第一部分是变化的二值图(类似于建筑物变化检测或其他地物变化检测中的:变化发生在哪里),这是哪里发生了变化;第二部分是语义分割的内容,根据提供的标签对图像进行语义分割(可以查看一些语义变化检测的公开数据,直观的了解为什么可以进行语义分割。因为那些样本实际上提供了语义信息),然后用第一步得到的二值变化检测图作为掩膜,就可以知道变化区域发生了什么样的变化.了

组织者只提供了低分辨率和嘈杂的标签。然而,参与者需要利用这种标签,经过训练后,他们可以获得两个阶段的高分辨率土地利用图。这个要求很严格,但也更现实:亚米级高分辨率影像短则几天,长则几周,总能被大量发射的卫星或无人机获取。

但却不可能有实时的、高精度的土地覆盖图作为label。因此在实际上,经常只能依赖输入的图像做一些非监督的变化检测,或者在一些少量的有噪点还过时的数据label的帮助下进行。

后续有描述到,如果是大范围的变化检测,我们经常性的只能获得modis的30m地表覆盖图,这与10m以内的和亚米级别的遥感影像是不相匹配的。


竞赛的参与者将获得2250个瓦片的遥感数据,覆盖了美国的马里兰州。分别是

  • 1m分辨率:2013年多光谱影像
  • 1m分辨率:2017年多光谱影像
  • 30m分辨率:2013-2017(2013、2014、2015、2016、2017)五年的多光谱卫星遥感影像
  • 30m分辨率:2013年有噪点的地表覆被图
  • 30m分辨率:2016年有噪点的地表覆被图

确实挺接近实际的,过时的、有噪点的、低分辨率的地表覆被图和高分辨率的遥感影像。30m的卫星遥感影像好像在后面被重采样成了1m。

本次比赛的这部分数据,也是我所认为有缺陷的部分。只提供了地表覆被图,但是没有提供二值变化图,这样就无从知道哪里发生了变化。那么是通过何种方法来确定变化区域的?总不能是简单的前后时相的地表覆被图相减或者其他差异对比方法来确定的吧……但这一部分,可能需要阅读公开的文章和代码来查看是如何进行的。


  竞赛的参与者需要推断两个时相(也就是2013和2017年)的土地覆被图,进而推断哪些地区发生了变化。而类别的变化将根据30m的低分辨率的label,利用一些计算策略得到。精度的计算,在后面的"Land cover change"(土地覆盖变化)部分中。

竟然真的是通过自己推断的土地覆被图来推断变化区域。可是这样会造成错误累计的吧?因为如果语义分割的结果错了,那么得到的变化检测的结果不也是不正确的吗?我还是觉得,变化检测和语义分割是应该被分割的两个部分。当然,不提供变化检测的二值图确实是符合实际的,因为实际上确实很少,但在学术研究中,这种注定无法得到很高的精度。如何计算精度在后面的小节中。


  总结一下,竞赛大概可以分成两个部分。第一部分就是确定高分辨率影像上哪些地方发生了变化,第二部分就是确定从哪一类地物变成了哪一类地物。

这一部分倒是和我阅读相关文献后获取的知识有了一定的印证。但是本竞赛的确定了哪里发生了变化是利用的语义分割的结果进行一些运算得到的,而不是通过给定的label训练的(毕竟根本没有提供二值变化的label)。


  本竞赛会在未公开的data-label上测算定量的精度来获得一个客观公正的排名。但本竞赛实际有两个部分,参赛者需要在限定的时间内提供结果,而且只有提交了第一次的结果,才允许参与第二部分的继续竞赛。

  • 第一部分需要提供经过训练的模型预测的土地覆被图,然后才会被许可进入第二部分继续比赛;第二部分中,测试者会被额外提供一组未公开的测试数据,需要在五天之内提交这些测试影像的变化图。最后一共会选择出四个获胜者。

在这五天之内,利用这些影像能作弊吗?万一有人作弊可怎么办唉……

毕竟奖金是不低的,但好像只有前三名有奖金(那为啥要选四个优胜者……),分别是:1w美金、7k美金、3k美金。


  介绍一下数据。命名的规则是{index}-{name}.tif,有325个G的大小。分别再介绍一下各自的大小。

  • 1m分辨率:2013年多光谱影像——大约125GB——来自NAIP
  • 1m分辨率:2017年多光谱影像——大约125GB——来自NAIP
  • 30m分辨率:2013-2017(2013、2014、2015、2016、2017)五年的多光谱卫星遥感影像——大约15GB一副,这是来自于Landsat-8卫星的9波段30m多光谱数据——来自USGS和谷歌地球引擎
  • 30m分辨率:2013年有噪点的地表覆被图——大约0.8GB——30米的16类土地覆被变化,是USGS的NLCD数据
  • 30m分辨率:2016年有噪点的地表覆被图——大约0.8GB——30米的16类土地覆被变化,是USGS的NLCD数据

数据太大了,即便有相应的方法,也不可能去复现,也没有资源去复现结果啊。不过如果想获得最好的结果,肯定要全部数据都要使用的。但如果能利用小样本来获得更高的结果的话,也是一个很好的方向。因为近年来,普遍意识到大量的数据的获取是一个在学术上非常困难的事情。如果没有商业企业的支持,很难获得大量的数据来进行实验,这也是国内大量实验室来进行横向课题的原因。一个方面是获得资金,更多的是获得数据的支持。但并不是所有科研工作者都想做横向给人打工的,因此基于小样本的深度学习的研究在日渐的被获得推广。


  秉承着数据融合竞赛的精神,允许参与者使用其他的公开数据集,但这些数据不应当是特定的针对马里兰州的,比如IMAGENET和OpenStreetMap都是可以的,不然的话图像的泛化性可能会很差。当然虽然说尽量不要用,你用了也没办法,因为我们相信,变化检测任务更重要的是数据,以后我们用你的模型的时候也使用特定的数据就行了。


  下载的链接。

这些数据都存储在国外的网站上,不适合我们下载的。而且太大了,实在太大了。


  Land Cover Change是文中我认为极重要的一部分。主要讲述了一下,竞赛变化检测部分研究的重点。竞赛主要关注4对(共8种)的地表覆被变化:

  • 水water的增/减
  • 树冠tree canopy的增/减
  • 低矮植被low vegetation的增/减
  • 不透水面impervious surfaces的增/减
    这四种简化的地表覆盖类型(USGS NLCD有16类别的变化)捕获了发生在地表各处的有趣的现象。比如,不透水面的总量的增加标识这城市化的进行随时间的发展;发生在河岸两侧的树冠和低矮植被的减少标志着生态的破坏,污染物会更多的流入到湖泊河流中。因此,获得高分辨率影像上的语义变化检测可以帮助我们揭示这些变化过程是由什么导致的。

  在训练变化检测的模型时,NLCD的数据只能做为一个弱监督的样本。首先我们需要将NLCD数据的16类映射到我们规定的4类中,如下是其中一部分的展示(并且其中有两类地表覆被再马里兰不存在,将会被剔除到4类简化地表覆被的映射中):

4g2gpdvccox2929.ico

但多次强调的是,30m的label的像素块中包含的内容实在是太多了,一个像素块,可以被分解为=10% water + 20% tree canopy + 30% low vegetation + 40% impervious surfaces这种等式。因此是很多噪点的,只能作为一个弱监督的样本来使用。

规划到底检测什么,是简化研究的一个重要的部分。越多的变化就越是难以训练,4类或者6类都是一个比较合适的。但是,实际上我们在进行学术研究的时候,为了使得数据有对比性,都是使用的公开数据集,也不可能自己再去重构数据集。

  提交的结果,由什么地物变成了什么地物,其实类似两张土地覆被变化图,可以被编码成13类。如下:

dlakad5otbq2930.ico

前一时相和后一时相的变化总是增减相对的。

  虽然倘若是利用表格来看有点繁琐,但是若是使用可视化的颜色,则很明确。相对应的地区增减的颜色表示,如下:

2fgntfk15vh2931.ico

所得

  数据的组织形式与常见的SCD很不一样,如果说这里使用NLCD的数据作为弱监督,那么在SCD领域中,类似SECOND的数据集就可说是强监督了。我倘若做相关的研究,毫无疑问也是采用类似SECOND的数据集,所以这竞赛的代码和文章,我可能还是需要思量一下是否需要花费大约一两周的时间来看文章和复现代码(复现:只能把公开的代码跑通,但因为数据集的问题,其实也跑不通,只能利用一些小样本来做个样子)。

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now