遥感生成 on 叶子&都安的博客

ICLR 21 | Denoising Diffusion Implicit Models

Thu, 11 Jun 2026 08:00:00 +0800

ICLR 21 | Denoising Diffusion Implicit Models

论文链接：https://openreview.net/forum?id=St1giarCHLP
代码链接：https://github.com/ermongroup/ddim
作者单位：斯坦福大学

背景

DDPM 中，将参数 $T$ 设为一个大值能使生成过程更接近高斯分布，实现更好的性能，但会导致生成速度过慢

而 DDPM 的最终损失：$L(\theta):=\mathbb{E}_{t,x_0,\epsilon}[||\epsilon-\epsilon_\theta(\sqrt{\bar{\alpha}_t}x_0+\sqrt{1-\bar{\alpha}_t}\epsilon,t)||^2]$ 仅需按照一步加噪公式，从 $q(x_t \mid x_0)$ 中采样一个 $x_t$，与联合分布 $q(x_{1:T} \mid x_0)$ 无关，

非马尔可夫过程的变分推断

将前向过程按反向方向重写（联合分布可使用任意顺序拆解）构造一组前向分布：

$$ \begin{aligned} q_\sigma(x_{1:T} \mid x_0) &:= q_\sigma(x_T \mid x_0)\prod_{t=2}^Tq_\sigma(x_{t-1} \mid x_t,x_0)\\ q_\sigma(x_T \mid x_0) &= \mathcal{N}(\sqrt{\alpha_T}x_0,(1-\alpha_T)I)\\ q_\sigma(x_{t-1} \mid x_t,x_0) &= \mathcal{N}(\sqrt{\alpha_{t-1}}x_0+\sqrt{1-\alpha_{t-1}-\sigma_t^2} \cdot \frac{x_t-\sqrt{\alpha_t}x_0}{\sqrt{1-\alpha_t}},\sigma_t^2I) \end{aligned} $$

其中，$\sigma\in\mathbb{R}_{\ge 0}^T$ 为分布的索引，当 $\sigma \rightarrow 0$ 时，若给定 $x_0,x_t$ 则 $x_{t-1}$ 固定

NeurIPS 20 | Denoising Diffusion Probabilistic Models

Mon, 01 Jun 2026 08:00:00 +0800

NeurIPS 20 | Denoising Diffusion Probabilistic Models

论文链接：https://proceedings.neurips.cc/paper/2020/hash/4c5bcfec8584af0d967f1ab10179ca4b-Abstract.html
代码链接：https://github.com/hojonathanho/diffusion
作者单位：加州大学伯克利分校

背景知识

期望公式：

连续变量：$E[X] = \int xp(x)\mathrm{d}x$

函数：$E[g(X)] = \int g(x)p(x)\mathrm{d}x$

高斯分布重参数化公式：$x \sim \mathcal{N}(\mu,\sigma^2) \Rightarrow x=\mu+\sigma\epsilon, \epsilon \sim \mathcal{N}(0,1)$

前向过程：

$$ \begin{aligned} x_0 &\sim q(x_0)\\ q(x_{1:T} \mid x_0) &:= \prod_{t=1}^T q(x_t \mid x_{t-1})\\ q(x_t \mid x_{t-1}) &:= \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I)\\ \end{aligned} $$

令 $\alpha_t := 1-\beta_t$，$\bar{\alpha}_t := \prod_{s=1}^t \alpha_s$，有一步加噪公式：

$$ q(x_t \mid x_0) := \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)I) $$

经重参数化后，采样公式为：

ICML 15 | Deep Unsupervised Learning using Nonequilibrium Thermodynamics

Sat, 30 May 2026 08:00:00 +0800

ICML 15 | Deep Unsupervised Learning using Nonequilibrium Thermodynamics

论文链接：http://proceedings.mlr.press/v37/sohl-dickstein15.html
代码链接：https://github.com/Sohl-Dickstein/Diffusion-Probabilistic-Models
作者单位：斯坦福大学

动机

概率模型（probabilistic models）一直在易处理与灵活性之间平衡

我们定义一个逐渐将一种分布转换为另一分布的马尔科夫链，生成式马尔科夫链即使用 diffusion 过程将一个简单的已知分布转换为目标数据分布

在此框架下模型用于估计单一 diffusion 过程中的微小扰动，从而降低处理难度；此外，任一平滑的目标分布均存在 diffusion 过程，因此此方法灵活度较高

方法

前向过程（diffusio 过程）：将目标数据分布转换为简单已知分布
逆向过程：在有限的时间步下，从简单分布中生成目标数据分布

前向过程 $q(x^{(0 \cdots T)})$

目标数据分布 $q(x^{(0)})$，简单已知分布 $\pi(y)$，马尔可夫 diffusion 核 $T_\pi(y \mid y';\beta)$，$\beta$ 为扩散速率，前向过程可以表示为：

$$ \begin{aligned} \pi(y) &= \int \mathrm{d}y' T_\pi(y \mid y';\beta) \pi(y') \\ q(x^{(t)} \mid x^{(t-1)}) &= T_\pi(x^{(t)} \mid x^{(t-1)};\beta_t) \\ q(x^{(0 \cdots T)}) &= q(x^{(0)}) \prod_{t=1}^{T} q(x^{(t)} \mid x^{(t-1)}) \end{aligned} $$

后向过程 $p(x^{(0 \cdots T)})$

条件概率公式：$p(x \mid y) = \frac{p(x,y)}{p(y)}$
链式展开：$p(x_1, \cdots ,x_n) = p(x_1)\prod_{i=2}^{n}p(x_i \mid x_1, \cdots ,x_{i-1})$

边缘概率公式：$p(x) = \int p(x,y) \mathrm{d}y$

贝叶斯公式：$p(x \mid y) = \frac{p(y \mid x) p(x)}{p(y)}$

对于高斯扩散，在时间步数 $T$ 足够大、每一步扩散速率 $\beta$ 足够小时，前向扩散过程接近连续扩散过程。此时其反向转移可以近似采用与前向转移相同的分布族进行建模。因此，若前向扩散变换 $q(x^{(t)} \mid x^{(t-1)})$ 是高斯形式，则反向生成变换 $p(x^{(t-1)} \mid x^{(t)})$ 也可被视为高斯分布。后向过程可表示为：