reference video：https://www.bilibili.com/video/BV1y1YpejEB4?spm_id_from=333.788.videopod.sections&vd_source=99f7671ebcde2af39207289b67bb7844

常微分方程 ODE

$$ d x_t = f_t(x)\,dt $$

随机微分方程 SDE

$$ dx_t = f_t(x) \, dt + g_t \, dw $$

性质介绍

维纳过程（即布朗运动）$W_t$ 是一种连续时间的随机过程，具有以下主要性质：

• 初始值：$W_0 = 0$
• 连续路径：路径几乎处处连续。
• 独立增量：在不相交的时间区间上，过程的增量是相互独立的。
• 平稳增量与正态性：对任意 $t > s \ge 0$，增量 $W_t - W_s$ 的分布只依赖于时间长度 $t-s$，并且服从正态分布 $\mathcal{N}(0, t-s)$。
  • 物理基础 (中心极限定理)：布朗运动是微小粒子在液体中受到大量随机、独立的分子碰撞产生的随机游走。在足够小的时间间隔内，每次碰撞引起的位移被认为是独立的随机变量。根据中心极限定理，大量独立随机变量的和（即粒子最终的位移）趋向于服从正态分布。
  • 均值 $E[W_t - W_s] = 0$：在没有外部力量驱动下，粒子向任何方向移动的概率相同，因此期望位移为零。
  • 方差 $\text{Var}[W_t - W_s] = t-s$ (扩散特性)：粒子扩散的均方位移在物理学上与时间间隔成正比。维纳过程选择 $\text{Var}[W_t - W_s] = t-s$ 确保了这种线性关系，其中方差 $\sigma^2$ 正好等于时间 $t$。

$w_t$ 是 Wiener 过程 $w_t\sim \mathcal{N}(0,t)$，因此 $w_{t+\delta t}-w_{t} \sim \mathcal{N}(0,\delta t)$，$dw = \sqrt{dt}\ \epsilon$

对于 SDE 方程，可改写为：$x_{t+\Delta t}= x_t + f_t(x) \Delta t + g_t \sqrt{\Delta t} \epsilon$

对比 DDPM 的加噪公式 $x_{t+1} = \sqrt{1-\beta_t} x_t + \sqrt{\beta_t} \epsilon$ $\Rightarrow$ 加噪过程是SDE

对比 DDPM 的去噪公式，已知前向SDE：$P(x_{t+1}|x_t)\sim \mathcal{N}(x_t+f_t(x)\Delta t,g_t^2 \Delta t)$，根据贝叶斯公式：

$$ \begin{aligned} p(x_t|x_{t+\Delta t}) &= \frac{P(x_{t+\Delta t}|x_t)P(x_t)}{P(x_{t+\Delta t})} \\ &= \exp(-\frac{(x_{t+\Delta t}-x_t-f_t(x)\Delta t)^2}{2g_t^2 \Delta t}+\log p(x_t)-\log p(x+\Delta t)) \end{aligned} $$

用泰勒展开可以得到：$\log p(x_t+\Delta t) = \log p(x_t)+(x_{t+\Delta t}-x_t)\nabla_x \log p(x_t)+(t+\Delta t -t )\nabla_t \log p(x_t) + \ldots$