摘要
提出基于新型深度残差循环生成式对抗网络的异构集成框架。包含前向融合部分和后向退化反馈部分。
- 前向融合部分：从不同观察图像生成融合结果。
- 后向退化反馈部分：考虑影像学退化过程，从融合结果反向重新生成观察图像。
基于提出的网络的支持，集成融合框架能够同时合并互补的多源异构观测的时空谱信息，实现异构时空谱融合、时空融合和异构时空谱融合。
此外，所提出的异构集成融合框架可以用来缓解土地覆盖变化和厚云层两个瓶颈。因此，可以很好地检测和重建由低分辨率成像和云污染引起的表面特征的不明显和不可观测的变化趋势。
介绍
遥感图像融合方法分为不同类
- 空谱融合：PAN/MS、PAN/HS、MS/HS，多是融合同质的光学图像，学者提出的SAR和光学图像融合，利用SAR丰富的空间特征弥补光学图像的空间缺陷。然而方法多由光学图像空谱融合转化而来，不适用于异构信息的转换
- 基于CS
- 基于MRA
- 基于变分模型
- 基于DL
- 时空融合：能捕获物候变化但是在反映土地覆盖变化的时候有瓶颈，尤其是当土地覆盖变化在低分辨率图像上难以察觉时。这是在大空间分辨率差距或恶劣天气条件（如厚云层）下时空融合中的常见问题。
- 基于权重函数
- 基于分解
- 基于贝叶斯
- 基于学习
- 时空谱融合：武汉大学研究室首先提出。后续提出基于最大后验理论的集成关系模型。利用空间域的高自相似性、光谱域的高谱相关性和时间变化开发一个集成稀疏模型。限制于同质的光谱图像，没有考虑异质信息，如SAR和光谱图像。
本文主要贡献有
- 提出基于新型深度残差循环生成式对抗网络的异构集成框架。包含前向融合部分和后向退化反馈部分。其中从正向部分的输入到反向部分的输出形成循环一致性约束。
- 多源异构遥感图像的集成融合第一次被实现，其能实现异构空谱融合，时空融合和异构时空谱融合。
- 所提出的异构集成融合框架可以有效缓解土地覆盖变化和厚云层覆盖的两个瓶颈，不仅可以预测目标时间的高分辨率图像，还可以预测变化。
提出的方法
数据流:X~ Y Z -> X
- X：M N B
- X~：M N B
- X^：M N B
- y：M N B
前向融合部分：前向生成器、前向鉴别器
- 输入：相同空间大小，沿光谱维度级联
后向退化反馈部分：
- 空间关系：模糊、重采样、云掩膜等一系列操作
- 时间和异质关系：生成器进行复杂建模
测试只用前向生成器
提出的网络的结构
损失函数
实验
分辨率提升实验
79360000
83870000
33920000
9000000
40950000
1441792
2332000
厚云去除实验
t2 S-2 MS 数据无云，使用云掩膜增加合成带云数据，用于训练，原始数据用作标签。