近日，武汉大学遥感信息工程学院巫兆聪教授和南京航空航天大学李俊副研究员在Remote Sensing of Environment (RSE) (SCI 一区TOP)发表题为“A hybrid generative adversarial network for weakly-supervised cloud detection in multispectral images”(一种融合生成对抗网络的多光谱影像弱监督云检测方法)的研究成果。

云检测是对地观测光学遥感影像处理过程中的关键一步。光学遥感影像中的云严重影响了背景的可见性，大大降低了影像在陆地应用中的可用性。传统的基于阈值、多时相或多光谱信息的方法往往针对特定的卫星传感器。用于云检测的卷积神经网络通常需要标记云掩膜进行训练，获得这些掩膜非常耗时费力。为了克服这些挑战，本文提出了一种基于生成对抗网络(GAN)和基于云物理畸变模型(CDM)协同结合的云检测方法。提出的弱监督GAN-CDM方法(可在https://github.com/Neooolee/GANCDM上获得)只需要块尺度标签进行训练，便可生成像素级的云检测结果。GAN-CDM在新的全球分布式Landsat 8数据集(WHUL8-CDb，https://doi.org/10.5281/zenodo.6420027)上进行训练，包括影像块和相应的块级标签。实验结果表明，在Landsat 8数据上训练的GAN-CDM，不仅在Landsat 8影像(L8 Biome数据集，90.20%)上，而且在Sentinel-2影像像(“S2 Cloud Mask Catalogue”数据集，92.54%)上，获得了比基于对比深度学习方法更高的云检测精度。这表明所提出的方法在Landsat影像中提供了准确的云检测，对Sentinel-2影像具有良好的可移植性，并且可以快速适应不同的光学卫星影像。

为了解决简化云畸变物理模型不能准确描述太阳辐射和云之间关系的问题，本文通过引入一个纠正项，将向下透射和向上透射合并求解，提出顾及云的双向透射的云畸变物理模型TTPM（Physical Model of Cloud Distortion Considering Two-way Transmission）。针对目前全监督的深度学习云检测方法需要手工标记云掩膜的问题，本文在构建云畸变物理模型TTPM的基础上结合生成对抗网络，利用有云/无云影像辅助提取TTPM模型中的云畸变层，提出顾及云的双向透射的云检测模型。

图1 GAN-CDM在Landsat-8(a)和Sentinel-2(b)影像上的云反射率预测结果

现有深度学习云检测方法输出为云概率，一般使用0.5作为默认阈值，由于GAN-CDM方法产生的云反射率值范围为0 ~ 1(图1)，因此需要一个反射率阈值来获得云掩膜。利用手工标记的云检测测试数据集来获取最佳阈值是非常耗时的。GAN-CDM的目标是在实现高云检测精度的同时，减少模型训练的人工劳动。因此，我们提出了一种基于“绝对”像素(TSAP)的阈值选择方法，仅以粗精度且易于得到云掩膜作为辅助数据集获得GAN-CDM最佳阈值。

针对Landsat-8和Sentinel-2影像云检测开发的Fmask 4.0的结果中，云概率越低，该像素为云的可能性越低，因此，可以通过设定阈值来获得云检测结果。Fmask 4.0中Landsat 8和Sentinel-2默认云概率阈值为17.5%和20%，为了获得“绝对”清晰像素， 我们将云概率阈值分别设置为15%和17.5%，通过这种方式，会检出更多的云，这意味着预测的清晰像素是“绝对”清晰的。另一方面，为了获得“绝对”云像素，将云概率阈值分别设置为30%和32.5%，这意味着预测的云像素是“绝对”云。然后将Landsat 8和Sentinel-2 的“绝对”干净和云像素分别合并得到L8_Abs和S2_Abs，作为GAN-CDM最优阈值选择的辅助数据。

使用L8_Abs数据集获得基于GAN-CDM的Landsat 8影像的阈值(图2左)。在L8_Abs数据集上，基于GAN-CDM的模型的最佳阈值随输入波段的不同而不同。基于gan - cdm模型的OA值随着阈值的提高而增加，然后达到平稳期并下降。当阈值为7时，GAN-CDM-6和GAN-CDM的 OA最高。GAN-CDM-4的最佳阈值为11。由于基于GAN-CDM的模型也可以用于Sentinel-2影像云检测，因此使用S2_Abs数据集获取基于GAN-CDM模型的Sentinel-2影像的最优阈值。图2右为GAN-CDM-4、GAN-CDM-6在S2_Abs数据集上的平均OA曲线。可以看出，GAN-CDM-4和GAN-CDM-6的OA曲线趋势相似，GAN-CDM-6的OA始终高于GAN-CDM-4， GAN-CDM-6最优阈值为6，GAN-CDM-4 最优阈值为7。

图2 GAN-CDM方法在L8_Abs（左）和S2-CMC（右）数据集上的OA曲线

图3是所有方法在L8 Biome数据集不同土地覆盖类型上的三个精度指标，雷达图上覆盖的面积越大，相应的方法在各类别上的整体效果越好。可以看出，在输入波段相同的情况下，基于GAN-CDM的模型在OA、F1分数和IoU上的面积总是大于基于WDCD和GCM的模型，这表明基于GAN-CDM的模型对所有类别都比基于WDCD和GCM的模型更有效。对于输入为4个波段，除雪/冰外，GAN-CDM-4在OA、F1分数和IoU上的表现明显优于WDCD-4和GCM-4。当以6个波段作为输入时，GAN-CDM-6在所有土地覆盖类型上的OA、F1分数和IoU的表现均明显优于WDCD-6和GCM-6。

图3 所有方法在L8 Biome数据集不同土地覆盖类型上的精度结果

在S2 CMC数据集上，基于GAN-CDM的模型在不同土地覆盖类型中均比基于WDCD和GCM的模型获得更高的数值，因此在不同土地覆被类型中整体表现更好。GAN-CDM-4在冰雪条件下的表现与WDCD-4基本相同，但在其他土地覆被类型中表现较差，而GAN-CDM-6在所有土地覆被类型中表现均优于WDCD-6和GCM-6，且表现稳定。此外，GAN-CDM-6对WDCD-6和GCM-6的增加值高于GAN-CDM-4对WDCD-4和GCM-4的增加值。基于WDCD、GCM和GAN-CDM的模型均获得了最高的湿地F1-分数和IoU，这意味着在S2 CMC数据集上，最简单的土地覆盖类型不随输入波段的变化而变化。

图4 所有方法在S2 CMC数据集不同土地覆盖类型上的精度结果

本研究基于现有的薄云去除模型CR-GAN-PM进行改进，进提出了一种新的云检测算法GAN-CDM。提出的GAN-CDM和当前的研究显示出关键的优势和结果。首先，与一些基于端到端深度学习的方法不同，这些方法需要像素级标签进行训练，GAN-CDM旨在仅使用影像块和相应的块级标签从输入影像中提取云参数。其次，创建了一个块级标记的全球Landsat 8云检测数据集WHUL8-CDb，并对其进行了协调和标记，以训练提出的基于GAN-CDM的模型。训练数据集、训练好的GAN-CDM模型和代码在线发布(https://doi.org/10.5281/zenodo.6420027和https://github.com/Neooolee/GANCDM)，以提高可复现性。验证数据集的全球分布和不同分辨率证实了基于GAN-CDM的模型在不同土地覆盖类型和分辨率下的良好表现。实验结果的可视化和定量分析表明，在Landsat 8上训练，并在Sentinel-2上测试时，所提出的基于GAN-CDM的模型比基于深度学习的基线模型具有更高的精度和更好的可移植性。

J. Li, Z. Wu, Q. Sheng, B.Wang, Z. Hu, S. Zheng, G. Camps-Vall, M. Molinier, “A hybrid generative adversarial network for weakly-supervised cloud detection in multispectral images,” Remote Sens. Environ., vol. 280, 113197, Oct. 2022. https://doi.org/10.1016/j.rse.2022.113197