近日，武汉大学遥感信息工程学院巫兆聪教授和闫钊博士在IEEE Geoscience and Remote Sensing Letters (LGRS) 发表题为“Selection of Optimal Bands for Hyperspectral Local Feature Descriptor”(高光谱局部特征点描述子的最优波段选择方法)的研究成果。

在使用多视角高光谱图像进行三维重建获取场景几何信息过程中，特征点描述子匹配的准确性对于最终重建结果的精度起到了至关重要的作用。该研究针对冗余的高光谱波段信息会降低特征点描述子匹配准确率的问题，提出了一种基于CONCRETE随机变量理论的高光谱波段选择深度神经网络（图1），该网络通过抽取特征点邻域空间和光谱特征信息，生成选择概率分布随机变量，并利用Gumbel SoftMax方法，生成特征选择向量。与现有的波段选择方法相比，该方法可以对每一个特征点，利用其邻域信息，自动选择最适宜该点的特征波段，从而最终提高总体的特征点描述子匹配准确率。

图 2 HyperDesc网络结构

为了对网络进行训练和验证，该研究使用地面高光谱成像仪拍摄了28个场景的多视角高光谱图像，并参照HPatches数据集的构建过程，提取图像间特征点，并分别构建了Easy、Hard、Tough三个不同等级的特征点匹配数据集。

图 3 地面近景高光谱匹配数据集

最后基于该数据集对HyperDesc进行训练和评价，获得在光照变化数据集和视角变化数据集上的结果如图4所示。从结果可以看出，该研究提出的HyperDesc网络在图像匹配和图像检索任务上均显著优于对比方法。特别是在光照变化数据集上，相比于目前最有的SOSNet方法，HyperDesc方法在匹配任务上的准确了提升15.4%。并且是的平均准确率首次超过了50%的界限，可以保证在后续粗差剔除过程中使用相对简单的RANSAC算法即可获得良好的结果。

图 4 特征点描述子在图像匹配和图像检索任务中的准确性。上图为视角变化数据集上的结果，下图为光照变化数据集上的结果。

最后，该研究还展示了实际图像的匹配结果（图 5），结果显示HyperDesc生成的特征点描述子匹配结果分布更加均匀，覆盖图像面积更大，且对于剧烈的光照变化具有极强的鲁棒性，可以保证各种条件下均能获得良好的匹配结果。