DDPM vs DDIM

DDPM, Denoising Diffusion Probabilistic Models

DDPM 去噪扩散概率模型的核心是一个“逐步添加噪声破坏数据，再训练网络学习逐步恢复数据”的马尔科夫链过程。

原理 待整理

其最重要的是对训练的简化，即预测噪声而非数据，变分下界。即网络实际学习的是预测前向过程中添加的噪声 $\epsilon_\theta(x_t, t)$，这种参数化方式使训练更稳定。而变分下界简化得到的最终优化目标等价于一个加权的均方误差（MSE）损失：

$$L_{\text{simple}} = \mathbb{E}_{t, x_0, \epsilon} \left[ \| \epsilon - \epsilon_\theta(x_t, t) \|^2 \right]$$

直观上就是让网络学会“看清”被噪声遮盖的真实信号。

DDIM, Denoising Diffusion Implicit Models

DDIM 去噪扩散隐式模型，主要解决的问题是 DDPM 的推理效率与确定性方面的局限。因为 DDPM 是基于马尔可夫过程，其在前向过程需要一步一步的推进，这导致反向去噪必须逐步回溯，导致极高的计算开销。

而 DDIM 的创新就是重构了这个前向过程，它使用了广义的非马尔可夫前向过程，其核心性质是在保证边缘分布 $q(x_{\tau} | x_0)$ 与 DDPM 完全一致的前提下，使 $x_{\tau}$ 可以不仅依赖 $x_{\tau-1}$，而是直接依赖初始状态 $x_0$。其反向采样的公式为：

反向采样公式

在自动驾驶领域，DDIM 相较于 DDPM 的三个优势在于控制频率、控制策略稳定性、潜在空间的解耦与一致性。下面逐个介绍：

1. 控制频率
2. 控制策略稳定性
3. 潜在空间的解耦与一致性

版权所有

版权归属：Duangce

许可证：署名 4.0 国际 (CC-BY-4.0)