摘要
少有学者对时空谱特征关系进行全面的研究。本文提出一种基于半耦合稀疏张量分解的新型时空谱集成融合框架。
- 通过混合多源观测数据来生成合成频繁的高光谱和高空间分辨率图像。
- 将期望的高时空谱分辨率图像视作4维张量，将集成融合问题视为在每个模式下的核心张量和字典估计。
- 使用低维稀疏核心张量联合利用光谱域的高光谱相关系数和时空域的高自相似性（冗余）特征。
- 假设跨观测和期望图像空间的核心张量中的稀疏系数并不严格相同。
- 将核心张量和字典的估计表述为可用异构时空谱遥感观测的半耦合稀疏张量分解。
介绍
遥感图像融合：像素级、特征级、决策级
- 像素级：对配准要求高
遥感图像融合：多视角合成、空谱融合、时空融合
相关工作
多视点空间融合：融合不同视角的低空间分辨率遥感图像序列，以生成具有更高空间分辨率的图像。
多视角空间融合：多时相、多角度。
多时相、多角度是遥感最常见的特征。
现有的多视角空间融合方法大多可利用多帧退化观测的互补信息提高空间分辨率，但由于缺乏高空间分辨率的辅助图像，它们对土地覆盖类型的变化很敏感，提高空间分辨率的能力有限。
空谱融合：高空间低光谱分辨率的图像与高光谱低空间分辨率的图像融合，获取高空谱分辨率图像。
空谱融合：PAN/MS、PAN/HS、MS/HS
PAN/MS（pansharpening）：
- CS：简单高效，光谱失真
- MRA：简单高效，由于错误配准，造成空间失真，振铃效应，走样，偏移，轮廓和纹理模糊
- VO：准确，相对复杂耗时
- DL：比传统效果好，但需要额外监督
HS图像受限于数据采集设备，空间分辨率不足。
PAN/HS、MS/HS：来自PAN/MS改进、贝叶斯推理、矩阵分解
MS/HS：从基于张量的角度出发解决。LSR-HS和HSR-MS的核心张量严格相同的假设过于严格，导致真实数据实验效果差
时空融合：将高空间分辨率低时间频率覆盖图像与低空间分辨率图像的时间变化信息融合，得到高时空分辨率图像
时空融合（根据最优化策略）：
- 权重函数：能够捕捉物候变化。通过像素级处理，保留空间细节。不能充分捕捉土地覆盖类型突然变化的异质区域的光谱变化信息
- 解混合：能够捕捉物候变化。通过像素级处理，保留空间细节。不能充分捕捉土地覆盖类型突然变化的异质区域的光谱变化信息
- 字典对学习：通过建立粗细图像的结构相似度的联系，能够较好的捕获物候和土地覆盖变化。无法准确保持物体形状，特别是当粗细图像分辨率差距过大时
- DL：
时空谱融合：充分利用所有可用的时空谱信息，得到高时空谱分辨率的图像。现有的集成融合多是基于矩阵分解，多维信息将被展开，这将难以使用数据的多互补时空谱相关性
本文提出基于半耦合的稀疏张量分解的融合框架。假设期望图像为4维张量，可以通过塔克分解模型，乘以四种模式的字典（宽度、高度、光谱、时间）分解为核心张量，这被认为是一种高阶主成分分析（PCA）。问题被转换为根据观测图像对核张量和四种模式的字典进行估计。字典的宽度和高度模式代表期望的时间序列图像的空间信息，光谱和时间模式分别代表其光谱和时间信息。四种模式的字典之间的关系由核张量中的系数建模。
高时空谱分辨率的期望图像在空间域、光谱域和时域均低秩且自相似。故对字典和核张量分别增加低秩先验和稀疏约束。由于观测图像和期望图像的的核张量稀疏系数可能不严格相同，存在半耦合映射关系，故将对核张量和字典的估计问题重新定义为半耦合稀疏张量分解模型。
提出的融合框架
张量符号
- 向量：小写字母
- 矩阵：大写字母
- 张量：欧拉字母
- 张量的纤维：保留一维
- 张量的切片：保留两维
- 张量展开：延某一维度展开
- L1归一化、F归一化
- 张量与矩阵的n模乘积：常规计算、模态n的纤维与矩阵相乘计算
- 塔克分解：高阶PCA，沿每个模态将张量分解为核心张量和因子矩阵的连乘
- 核心张量：不同因子矩阵的相互作用水平
- 矩阵形式：Kronecker乘积
- 向量形式
框架描述
Y：空间退化版本
Z：光谱、时间退化版本
问题定义
期望的图像被视为一个四维张量，表示为一个核心张量乘以宽度、高度、光谱和时间模式的字典
X：是低秩结构
提出的基于半耦合稀疏张量分解的集成融合模型
光谱相邻波段相似，空间相邻像素高度相关，期望图像在光谱域、空间域低维且高自相关性
期望图像在时间域也有自相似性特征