近日，武汉大学遥感信息工程学院巫兆聪教授和邓国徽博士在IEEE Transactions on Geoscience and Remote Sensing（IEEE TGRS，SCI中科院分区一区，TOP期刊）发表题为“CCANet: Class-Constraint Coarse-to-Fine Attentional Deep Network for Subdecimeter Aerial Image Semantic Segmentation”（基于类约束下的精细化注意力机制神经网络厘米级航空影像语义分割）的研究成果，同时此文章为ESI高引文章，邓国徽博士为论文第一作者，巫兆聪教授为通讯作者。

随着遥感技术的高速发展，遥感影像的空间分辨率已经迈入厘米级，对高分辨率遥感影像的分割是影像理解的重要手段之一。近些年，深度卷积网络开始在遥感领域大量使用，但是由于厘米级遥感影像中同种地物内部的光谱异质性不断增加，而不同地物之间光谱差异性逐渐减小，因此，一些地物在光谱域的模式下可分性也不断降低。除此之外，基于深度卷积网络的语义分割方法多通过增加感受野的方式去获取上下文信息，但是这种方式获取的上下文信息并不明确。

针对以上问题，在本文提出一种基于类约束下的精细化注意力机制深度神经网络厘米级遥感影像语义分割方法去获得明确的上下文信息进而强化分割效果。特别的是，本文的方法对于有精细结构的地理实体，如汽车和船体有着特别的精度提高表现。具体而言，首先，基于从粗到细（coarse-to-fine）策略，得到一个粗分割结果，然后基于粗分割结果构建图像类别特征库。最后提出基于注意力机制将图像类别特征库来约束像素的所属类别，让影像中不同地理对象的像素自适应的匹配类别特征库中对应类别。同时，本文设计了新的损失函数叫作类约束注意力损失来实现端到端的训练。

图1基于类约束下的精细化注意力机制神经网络框架图

图1展示了CCANet 网络框架。从图中可以看出，CCANet主要包括两个部分：基础网络（backbone）和CCA模块。基础网络用于提取高等级特征。CCA 模块又可以分成两个子模块，分别为类别特征库子模块（Class Feature Library submodule）简写为CFLSM和类注意力子模块（Class Attentional submodule）简写为CASM。CFLSM用于构建图像的类别特征库，CASM用于产生明确上下文信息。为了实现整个网络端到端的训练，我们设计了CCA-Loss，它不仅可以加速网络的训练过程，而且可以在一定程度上减少类别不平衡对结果的影响。

本文在两个广泛使用的高分遥感影像公开数据集进行了大量的实验。两个公开数据集分别为：ISPRS二维语义标准数据集中的Vaihingen 数据集(2017)和2015 IEEE GRSS 数据融合比赛中中的Zeebrugge 数据集。提出的方法在仅仅使用原始影像数据且没有使用任何的后处理方法的情况下，在Vaihingen 数据集取得具有相当竞争力的结果，在Zeebrugge数据集取得了最好的结果（图2和图3）。

图2   CCANet与Vaihingen数据集官方结果之间的定性比较

图3   CCANet与Zeebrugge数据集的常用深度分割模型的定性比较

G. Deng, Z. Wu, C. Wang, M. Xu and Y. Zhong, "CCANet: Class-Constraint Coarse-to-Fine Attentional Deep Network for Subdecimeter Aerial Image Semantic Segmentation," in IEEE Transactions on Geoscience and Remote Sensing, vol. 60, pp. 1-20, 2022, Art no. 4401120, doi: 10.1109/TGRS.2021.3055950.

https://ieeexplore.ieee.org/document/9353671