近年来多模态遥感智能解译技术通过综合利用不同模态互补信息优势被广泛应用于空天地一体化协同感知、探测、识别等相关产业领域。电子游戏平台 王鹏副教授团队瞄准国家空天信息产业的关键技术难题，近日在光学和SAR图像联合解译领域取得多项进展，团队三篇研究成果被遥感领域的国际顶级期刊IEEE Transactions on Geoscience and Remote Sensing(TGRS，最新影响因子8.6)、ISPRS Journal of Photogrammetry and Remote Sensing (ISPRS，最新影响因子12.2)以及人工智能领域顶级期刊Information fusion(IF,最新影响因子15.5)接收。
王鹏副教授指导硕士研究生刘宇洲与西南交通大学叶沅鑫教授等合作发表的论文“CIRSM-Net: A Cyclic Registration Network for SAR and Optical Images”被TGRS接受，该论文针对现有光学和SAR图像配准深度学习方法难以充分利用雷达成像的物理特性和许多现有的匹配网络通常只执行前向传递，导致模型性能不佳等挑战。提出一种基于循环迭代的SAR机理配准网络。在三个大型的公开数据集上的结果表明，我们提出的方法在不同分辨率以及不同地貌场景下的配准均能够提供卓越的精度和定量评估。该方法的主干网络结构如下所示：
图 1 CIRSM-Net的详细结构图
王鹏副教授指导博士研究生陈永康与朱岱寅教授、香港大学黄波教授以及法国格勒诺布尔理工学院Jocelyn Chanussot教授合作发表的论文“MT_GAN: A SAR-to-optical image translation method for cloud removal”被ISPRS接收，该论文结合了SAR能够穿透云层、降雨和雾以及光学图像包含丰富光谱信息的优势，针对SAR图像中的散斑噪声和光学图像在云层覆盖下往往难以观测的问题。提出一种基于多层翻译生成对抗网络（MT_GAN）的云去除方法。并且在4个数据集上进行实验，其中2个用于图像翻译实验，另外2个用于去云实验。结果表明，我们所提出的方法在无论是在客观评价指标层面还是主观可视化图像展示层面，都能达到优质的效果，并可以有效地去云。该方法的主干网络结构如下所示：
王鹏副教授指导博士研究生何忠臣与朱岱寅教授、香港大学黄波教授等合作发表的论文“DADIGAN: A Dual Attention Blocks-Based Disentangled Iterative Generative Adversarial Network for Cloud and Shadow Removal on SAR and Optical Images”被IF接收,该论文针对现有光学和SAR图像融合去云方法无法充分利用多模态遥感影像的共享特征和私有特征以及特征提取过程缺乏可解释性等挑战，提出一种基于双注意块的解缠结迭代生成对抗网络去除光学图像中的云和阴影。在两个大型的公开数据集上的结果表明，我们提出的方法在不同地表覆盖类型以及不同程度的云层和阴影覆盖下均能提供卓越的视觉效果和定量评估。该方法的主干网络结构如下所示：
图 3 生成器的详细结构图
相关论文地址如下：
Wang P, Liu Y, Liang X, et al. CIRSM-Net: A Cyclic Registration Network for SAR and Optical Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2025.
Wang P, Chen Y, Huang B, et al. MT_GAN: A SAR-to-optical image translation method for cloud removal[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2025, 225: 180-195.
He Z, Wang P, Zou Y, et al. DADIGAN: A dual attention blocks-based disentangled iterative Generative Adversarial Network for cloud and shadow removal on SAR and optical images[J]. Information Fusion, 2025: 103487.
