自从人工智能开始火热以来，不断涌现出让人们惊叹的新技术。其中，基于Diffusion的技术突破层出不穷，每一次进展都给人们带来新的震撼。无论是Stable Diffusion、DALL·E 2，还是最近风靡的Sora，都离不开Diffusion的贡献。本教程将从经典的DDPM开始，结合代码和数学推导，一直探讨到最近的SOTA，带领您深入了解这一领域。

注： 假设读者知道贝叶斯定理，以及有高等数学基础。

1. 基于直觉的理解

首先，我们要理解为什么要叫做“扩散”模型，以及为什么他的生成效果和稳定性都比其他生成模型优秀。

这里引用一下谭旭老师的文章。正如图中所示，我们把从Z到X的过程当作数据的生成过程。Diffusion从河右岸过来的航线不是可学习的，而是人工设计的，能保证到达河左岸的码头位置，虽然有些随机性，但是符合一个先验分布（一般是高斯分布），这样方便我们在生成数据的时候选择左岸出发的码头位置。因为训练模型的时候要求我们一步步打卡来时经过的浮标，在生成数据的时候，基本上也能遵守这些潜在的浮标位置，一步步打卡到达右岸码头。

这样一步一个脚印的方式极大地提高了生成过程中的稳定性和准确性，其他的生成方式例如GAN就如同训练一个神射手，其精准度和稳定性不言而喻。但是，凡事都有代价，Diffusion的代价就是生成（采样）速度慢，于是近些年很多研究者针对DIffusion采样慢的问题做了很多工作，最经典的例如DDIM，将会在下一篇文章中讲到。

我们将这一过程放大，得到下面这一过程，其中$x_T$表示符合正态分布的初始噪音，$x_0$表示我们需要的真实图像，$p_{\theta }(x_{t-1}|x_t)$表示生成（采样/降噪）过程，$q(x_t|x_{t-1})$表示训练（增噪）过程。

$p_{\theta }(x_{t-1}|x_t)$中的$\theta$表示这个过程涉及到模型中的参数，结果是由模型估计的。$q(x_t|x_{t-1})$这一过程不涉及模型。$x_T$这一初始噪音为什么要符合正态分布，这一问题会在下文中得到解决。这里的$p$和$q$只是为了将分布区分开，都表示分布，并没有实质区别。

2. 数学公式推导

首先，我们需要知道高斯分布的一些基础知识。

一个均值为$\mu$方差为$\sigma$的高斯分布的概率分布函数为:

$f(x)=\frac{1}{\sqrt{2\pi \sigma }}exp(-\frac{(x-\mu {)}^2}{2{\mu }^2})$ --------------------------------------------------------------------------------（1）

同时，高斯分布有可加性，即：

$X+Y\sim N(\mu (x)+\mu (y),{\sigma }^2(x)+{\sigma }^2(y))$ ------------------------------------------------------------（2）

$X-Y\sim N(\mu (x)-\mu (y),{\sigma }^2(x)+{\sigma }^2(y))$ ------------------------------------------------------------（3）

以及：$aX+b\sim N(a\mu +b,(a\sigma {)}^2)$ ----------------------------------------------------------------------（4）

2.1 加噪过程

首先，一个基本事实是DDPM将加噪过程定义为一个纯粹的马尔可夫过程，即当前状态只取决于上一个状态，可描述为：

$q(x_t|x_{t-1}):=N(x_t;\sqrt[]{{\alpha }_t}{x}_{t-1},(1-{\alpha }_t)\mathbf{I})$ ---------------------------------------------------------------（5）

其中，${\alpha }_t$由加噪程度${\beta }_t=1-{\alpha }_t$定义，${\beta }_t$随$t$的增大而增大（一般0.0001 -> 0.02），这是因为刚开始的加噪只需要一点点噪声就可以制造很有信息量的样本对供模型学习，随着训练的进行需要更多的噪声来突出与之前样本对的变化。另外，$\mathbf{I}$是一个单位矩阵。

利用高斯分布的性质（公式（4）），我们可以得到：

$x_t=\sqrt[]{{\alpha }_t}{x}_{t-1}+\sqrt[]{(1-{\alpha }_t)z_t}$ -------------------------------------------------------------------------------(6)

其中$z_t\sim N(0,\mathbf{I})$。

让我们接着（6）往下推：

$x_{t-1}=\sqrt[]{{\alpha }_{t-1}}{x}_{t1\cdot -1}+\sqrt[]{(1-{\alpha }_t)z_t}$ ----------------------------------------------------------------------- (7)

这个时候我们需要用到高中学到的数学归纳法，将（7）代入（6）得到：

$x_t=\sqrt[]{{\alpha }_t}(\sqrt[]{{\alpha }_{t-1}{x}_{t-2}}{x}_{t-2}+\sqrt[]{1-{\alpha }_{t-1}}{z}_{t-1})+\sqrt[]{1-{\alpha }_t}{z}_t$

化简：

$x_t=\sqrt[]{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+(\sqrt[]{{\alpha }_t(1-{\alpha }_{t-1})}{z}_{t-1}+\sqrt[]{1-{\alpha }_t}{z}_t)$ ---------------------------------------------（8）

再由高斯分布的可加性（公式（2））：

$\sqrt[]{{\alpha }_t(1-{\alpha }_{t-1})}{z}_{t-1}+\sqrt[]{1-{\alpha }_t}{z}_t\sim N(0,{\alpha }_t(1-{\alpha }_{t-1})+1-{\alpha }_t)=N(0,1-{\alpha }_t{\alpha }_{t-1})$--------（9）

最后式（8）可以改写为：

$x_t=\sqrt[]{{\alpha }_t{\alpha }_{t-1}}{x}_{t-2}+\sqrt[]{1-{\alpha }_t{\alpha }_{t-1}}{\overline{z}}_{t-2}$------------------------------------------------------------------（10）

通过递推，我们显然可以得到：

$x_t=\sqrt[]{{\alpha }_t{\alpha }_{t-1}...{\alpha }_1}{x}_0+\sqrt[]{1-{\alpha }_t{\alpha }_{t-1}...{\alpha }_1}{\overline{z}}_0$------------------------------------------------------------（11）

到此，我们可以看出很多信息，之所以把加噪过程设计成式（5）的数学样式，在我看来是为了达到最终式（11）的结果。

由于$0<\alpha <1$，T足够大，因此$\sqrt[]{{\alpha }_t{\alpha }_{t-1}...{\alpha }_1}\to 0$, $\sqrt[]{1-{\alpha }_t{\alpha }_{t-1}...{\alpha }_1}\to 1$。

进一步可以得到，$x_T\sim N(0,\mathbf{I})$。

终于，小船从真实分布出发，到达了名为高斯分布的彼岸，接下来我们需要初始化一个高斯分布，顺着路上我们设立的浮标，回到真实分布。

2.2 去噪过程

那我们该怎么回去呢，这个时候我们就得借助模型，让模型告诉我们怎样找到浮标。

去噪过程实际上就是求$p(x_{t-1}|x_t)$，考虑能不能利用上加噪过程中的信息，这个时候我们自然而然想到贝叶斯定理。

$p(x_{t-1}|x_t)=\frac{p(x_t|x_{t-1})p(x_{t-1})}{p(x_t)}$-------------------------------------------------------------------------------(12)

式（12）中还是有很多变量不知道（当然不知道，如果知道直接数学方法就推过去了，还要模型干嘛），于是我们引入加噪过程中的信息，引入$x_0$。

$p(x_{t-1}|x_t,x_0)=\frac{p(x_t|x_{t-1},x_0)p(x_{t-1}|x_0)}{p(x_t|x_0)}$---------------------------------------------------------------------(13)

这是真实的预测公式，这个时候已经可以看出来等式的右边均已知且符合高斯分布。

我们可以进一步推导，看看到底有没有解：

首先，我们将式（1）展开，得到：

$f(x)=\frac{1}{\sqrt{2\pi }\sigma }exp[-\frac{1}{2}(\frac{1}{{\sigma }^2}{x}^2-\frac{2\mu }{{\sigma }^2}x+\frac{{\mu }^2}{\sigma {}^2})]$-------------------------------------------------------------(14)

接着使用式（14）展开化简式（13）：

(将${\alpha }_t{\alpha }_{t-1}...{\alpha }_1$记为${\overline{\alpha }}_t$)

$p(x_{t-1}|x_t,x_0)=\frac{N(x_t;\sqrt[]{{\alpha }_t}{x}_{t-1},(1-{\alpha }_t)\mathbf{I})N(x_{t-1};\sqrt[]{{\overline{\alpha }}_{t-1}}{x}_0,(1-{\overline{\alpha }}_{t-1})\mathbf{I})}{N(x_t;\sqrt[]{{\overline{\alpha }}_t}{x}_0,(1-{\overline{\alpha }}_t)\mathbf{I})}$-----------------------------------------（15）

$p(x_{t-1}|x_t,x_0)\propto \frac{exp(-\frac{(x_t-\sqrt[]{{\alpha }_t}{x}_{t-1}{)}^2}{2(1-{\alpha }_t)})exp(-\frac{(x_{t-1}-\sqrt[]{{\overline{\alpha }}_{t-1}}{x}_0{)}^2}{2(1-{\overline{\alpha }}_{t-1})})}{exp(-\frac{(x_t-\sqrt[]{{\overline{\alpha }}_t}{x}_0{)}^2}{2(1-{\overline{\alpha }}_t)})}$--------------------------------------------------(16)

$p(x_{t-1}|x_t,x_0)\propto exp[-\frac{1}{2}((\frac{{\alpha }_t}{1-{\alpha }_t}+\frac{1}{1-{\overline{\alpha }}_{t-1}})x_{t-1}^2)-(\frac{2\sqrt[]{\overline{{\alpha }_t}}}{1-{\alpha }_t}{x}_t+\frac{2\sqrt[]{{\overline{\alpha }}_{t-1}}}{1-{\overline{\alpha }}_{t-1}}{x}_0)x_{t-1}+C(x_t,x_0)]$---(17 )

注：$p(x_t|x_{t-1},x_0)=p(x_t|x_{t-1})$是因为 基于马尔科夫假设。

对比式（14）和式（17），比较$x^2$和$x$的系数,可以求得：

${\sigma }^2=\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}(1-{\alpha }_t)$-------------------------------------------------------------------------------------(18)

$\mu =\frac{\sqrt[]{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}{x}_t+\frac{\sqrt[]{{\overline{\alpha }}_{t-1}}(1-{\alpha }_t)}{1-{\overline{\alpha }}_t}{x}_0$----------------------------------------------------------------------(19)

于是，我们得到了真实分布：

$p(x_{t-1}|x_t,x_0)=N(x_{t-1};\frac{\sqrt[]{{\alpha }_t}(1-{\overline{\alpha }}_{t-1})}{1-{\overline{\alpha }}_t}{x}_t+\frac{\sqrt[]{{\overline{\alpha }}_{t-1}}(1-{\alpha }_t)}{1-{\overline{\alpha }}_t}{x}_0,\frac{1-{\overline{\alpha }}_{t-1}}{1-{\overline{\alpha }}_t}(1-{\alpha }_t)\mathbf{I})$-----------------------(20)

通过观察真实分布我们可以发现，方差是一个通过计算就能够得出来的量，如果我们想要让模型去尽可能地接近真实分布，只需要利用模型去对齐均值$\mu$,即：

$argmi{n}_{\theta }||\mu (x_0,x_t),{\mu }_{\theta }(x_t,t)||$-----------------------------------------------------------------------（21）

观察式（19）可以发现，要想对齐均值，只需要利用模型给定$x_t,t$来预测$x_0$即可（这正是加噪过程中创造的大量数据对），这样做确实可以，但是需要很大的算力，DDPM的作者采用了一种方法，让预测原图$x_0$转换成预测噪声${ϵ}_{\theta }(x_t,t)$，神经网络模型似乎天生比较擅长预测残差。

联想到$x_t$、$t$、$x_0$之间存在着联系，将式（11）变形：

$x_0=\frac{1}{{\sqrt[]{\overline{\alpha }}}_t}(x_t-\sqrt[]{1-{\overline{\alpha }}_t}{\overline{z}}_0)$------------------------------------------------------------------------------(22)

将式（22）带入式（19）：

$\mu =\frac{1}{\sqrt[]{{\alpha }_t}}{x}_t-\frac{1-{\alpha }_t}{\sqrt[]{{\alpha }_t}\sqrt[]{1-{\overline{\alpha }}_t}}{\overline{z}}_0$---------------------------------------------------------------------------------(23)

模型就由预测$x_0$转换成预测${\overline{z}}_0$，利用模型给定$x_t,t$来预测${\overline{z}}_0$。

${\overline{z}}_0$表示由公式推导从$x_0$加噪到$x_t$的标准高斯分布，也就是说模型预测的是噪声$f_{\theta }(x_t,t)={ϵ}_{\theta }(x_t,t)\simeq {\overline{z}}_0$。

3. 设计模型

3.1 训练过程

由式（21）可知，我们需要的是在所有时刻，真实加入的噪音与模型预测的噪音差距越小越好，可以使用MSE来作为loss。

既然是所有时刻，只需要在训练时随机一个时间，再随机一个噪音，利用公式（11）得到$x_t$。这样我们获得了模型所需要的所有输入和标签。这里附一张原论文的算法图。

注意：torch.randn函数生成的随机数使用了标准正态分布作为随机数生成的基础分布。

3.2 采样过程

现在，我们已经可以通过模型得到预测的噪音，就可以通过式（23）得到的$p(x_{t-1}|x_t)$的均值$\mu$,它非常贴近真实分布$p(x_{t-1}|x_t,x_0)$。

在下文的实例中，直接将均值加上一个随机噪音作为一个简单的采样点，毕竟在高斯分布中均值的概率是最高的。

4. 从代码理解

代码来自此处，我做了注解，帮助读者理解模型。

4.1 准备工作

早期的Diffusion采用Unet为架构，现在有DiT这样的使用Transformer代替Unet的模型。模型的意义只是为了预测噪音，所以为了方便演示，这里使用Unet。

4.2 Unet主体

注意：DDPM不包含条件生成，这里的context是用于介绍后面的条件生成部分。

4.3 构建模型

4.4 训练

4.5 采样

观察 Epoch 0 采样

观察 Epoch 4 采样

观察 Epoch 8 采样

观察 Epoch 16 采样

观察 Epoch 32 采样