欢迎来到，叶子&都安的博客

包含 Conda、pip、Python、Latex、Linux 的一些技巧

TPAMI 25 | MetaEarth: A Generative Foundation Model for Global-scale Remote Sensing Image Generation 论文链接：https://ieeexplore.ieee.org/document/10768939/ 代码链接：https://jiupinjia.github.io/metaearth/ 作者单位：北京航空航天大学 背景（为什么要研究） 生成式基础模型迅猛发展，能够为下游任务提供丰富的高质量样本。目前生成模型多针对自然图像场景，缺乏对遥感图像的适配，分辨率和信息密度有限。本研究致力于拓展生成模型的边界，将其从日常生活场景拓展到全球尺度的遥感观测场景。 问题（现有方法不足） 模型容量有限，无法支持全球的尺度的遥感生成 生成图像的分辨率不可控或固定 无法生成连续无界影图像 动机（从问题到方法的思考过程） 提高模型容量：基于denoising diffusion范式构造了600M参数量的生成模型 生成分辨率可控：收集了大范围的遥感影像与对应地理信息的多分辨率数据集。提出自级联生成框架，逐级从低分辨率生成高分辨率 连续无界图像生成：由于生成所固有的随机性，逐块生成后拼接的方案易产生视觉不连续。因此设计了一种噪声采样策略，通过分析生成条件和初始化噪声以保证风格连续性 方法 自级联框架：使用多阶段策略逐步提高生成的遥感图像的空间分辨率 整体流程：第k+1阶段，接收第k阶段生成的低分辨率图像 $x_0^{(k)} \in \mathbb{R}^{H \times W}$ 和空间分辨率 $s_0^{(k)}$，以 $N=4$ 为倍数提升分辨率，则生成的高分辨率图像大小为 $NH \times NW$ 。第k+m阶段生成的图像大小为 $N^m H \times N^m W$ 单个阶段流程： 编码低分辨率图像 $x_0^{(k)}$ 后上采样，与 $x_t^{(k+1)}$ 对齐并拼接，得到图像条件 用Transformer论文中的正余弦编码方式分别编码分辨率 $s_0^{(k)}$ 和时间步 $t$，分别送入MLP后相加，得到时间和分辨率条件 以上条件变量参与diffusion生成过程 无界图像生成 滑动窗口：重叠1/2，合并时各去掉1/4 噪声采样策略：参考DDIM的生成条件方程 $$ x_{t-1}^{(k)} = \sqrt{\alpha_{t-1}} (\frac{x_t^{(k)} - \sqrt{1-\alpha_t} \epsilon_{\theta}(x_t^{(k)},c_t^{(k)})}{\sqrt{\alpha_{t}}})+\sqrt{1-\alpha_{t-1}-\sigma_{t}^{2}}\cdot\epsilon_{\theta}(x_{t}^{(k)},c_{t}^{(k)})+\sigma_{t}\epsilon_{t} $$ $$ \sigma_{t}=\eta\sqrt{(1-\alpha_{t-1})/(1-\alpha_{t})}\sqrt{1-\alpha_{t}/\alpha_{t-1}}. $$ 当 $\eta=1$ 时为 DDPM，当 $\eta=0$ 时生成的图像完全由初始噪声和条件变量决定，具体实现中设置所有图像块的初始噪声均相同 具体实现 ...

记录开发 EarthSense 过程中的琐碎片段

高光谱数据集信息汇总整理，数据网站汇总

利用时间传播变换器生成端到端视频场景图

同构高分一号卫星平台时空谱融合的扩散模型

基于半耦合稀疏张量分解的遥感图像时空光谱融合集成框架

视频视觉关系检测

用于遥感图像全色锐化的多尺度多深度卷积神经网络

遥感图像时空光谱融合的综合框架