AI绘画能力的起源：通俗理解VAE、扩散模型DDPM、ViT/Swin transformer_v_JULY_v的博客-CSDN博客

标签： | 发表时间：2023-05-03 07:52 | 作者：
出处：https://blog.csdn.net

前言

2018年我写过一篇博客，叫：《 一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如

  • 2014 R-CNN
  • 2015 Fast R-CNN、Faster R-CNN
  • 2016 YOLO、SSD
  • 2017 Mask R-CNN、YOLOv2
  • 2018 YOLOv3

随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代

  • 2020年
    5月 DETR
    6月 DDPM(即众人口中常说的扩散模型diffusion model)
    10月 DDIM、Vision Transformer(简称ViT)
  • 2021年
    1月 CLIP、DALL·E
    3月 Swin Transformer
    11月 MAE、Swin Transformer V2
  • 2022年
    1月 BLIP
    4月 DALL·E 2
    8月 Stable Diffusion、BEiT-3、Midjourney V3
  • 2023年
    1月 BLIP2
    3月 Visual ChatGPT、GPT-4、Midjourney V5
    4月 SAM(Segment Anything Model)

但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行

说到GPT4，便不得不提ChatGPT，实在是太火了，改变了很多行业，使得国内外绝大部分公司的产品、服务都值得用LLM全部升级一遍(比如微软的365 Copilot、阿里所有产品、金山WPS等等)

而GPT4相比GPT3.5或GPT3最本质的改进就是增加了多模态的能力，使得ChatGPT很快就能支持图片的输入形式，从而达到图生文和文生图的效果，而AI绘画随着去年stable diffusion和Midjourney的推出，使得文生图火爆异常，各种游戏的角色设计、网上店铺的商品/页面设计都用上了AI绘画这样的工具，更有不少朋友利用AI绘画取得了不少的创收，省时省力还能赚钱，真香

但面对这么香的技术，其背后的一系列原理到底是什么呢，本文特从头开始，不只是简单的讲一下扩散模型的原理，而是在反复研读相关论文之后，准备把20年起相关的CV多模态模型全部梳理一遍，从VE、VAE、DDPM到ViT/Swin transformer、CLIP/BLIP，再到stable diffusion/Midjourney、GPT4，当然，实际写的时候，会分成两篇甚至多篇文章，比如

  • 第一篇，即本文《AI绘画能力的起源：通俗理解VAE、扩散模型DDPM、ViT/Swin transformer》
  • 第二篇，即下篇《AIGC下的CV多模态原理解析：从CLIP/BLIP到stable diffusion/Midjourney、GPT4》

就当2020年之后的CV视觉发展史了

且过程中会尽可能写透彻每一个模型的原理，举个最简单的例子，网上介绍VAE的文章都太数学化(更怕那种表面正确其实关键的公式是错的误导人)，如果更边推导边分析背后的理论意义(怎么来的 出发点是什么 为什么要这么做 这么做的意义是什么)，则会更好理解，这就跟变介绍原理边coding实现 会更好理解、理解更深 一个道理

第一部分 编码器VE与变分自编码器VAE

1.1 AE：编码器(数据 X压缩为低维表示 z)-解码器(低维表示恢复为原始数据 \hat{X})架构

自编码器(Autoencoder，简称AE)是一种无监督学习的神经网络，用于学习输入数据的压缩表示。具体而言，可以将其分为两个部分：编码器和解码器

  • 编码器：编码器是一个神经网络，负责将输入数据 X（如图像、文本等）压缩为一个低维表示 z，且表示为 z = g(X)

  • 解码器：解码器是另一个神经网络，负责将编码器生成的低维表示恢复为原始数据 \hat{X}，且表示为 \hat{X} = f(z)

从而最终完成这么一个过程： X \rightarrow z \rightarrow \hat{X}，而其训练目标即是最小化输入数据 X与解码器重建数据 \hat{X}之间的差异，所以自编码器常用的一个损失函数为 l = || X - \hat{X} || ^2

这个自编码的意义在于

  1. 模型训练结束后，我们就可以认为编码 z囊括了输入数据 X的大部分信息，也因此我们可以直接利用 z表达原始数据，从而达到数据降维的目的
  2. 解码器只需要输入某些低维向量 z，就能够输出高维的图片数据 \hat{X}，那我们能否 把解码器模型直接当做生成模型，在低维空间中随机生成某些向量 z，再喂给解码器 f(z)来生成图片呢？

对于第二点，理论上可以这么做，但问题在于

  1. 绝大多数随机生成的 z,f(z)只会生成一些没有意义的噪声，之所以如此，原因在于没有显性的对 z的分布 p(z)进行建模，我们并不知道哪些 z能够生成有用的图片
  2. 而且我们用来训练 f(z)的数据是有限的， f可能只会对极有限的 z有响应。而整个低维空间又是一个比较大的空间，如果只在这个空间上随机采样的话，我们自然不能指望总能恰好采样到能够生成有用的图片的 z

有问题自然便得探索对应的解决方案，而VAE(自变分编码器，Variational Autoencoders)则是在AE的基础上， 显性的对 z的分布 p(z)进行建模(比如符合某种常见的概率分布) ，使得自编码器成为一个合格的生成模型

1.2 Variational AutoEncoder (VAE)

1.2.1 VAE：标数据的分布 \hat{X}和目标分布 X尽量接近

VAE和GAN一样，都是从隐变量 Z生成目标数据，具体而言，先用某种分布随机生成一组隐变量 Z = \left \{ Z_1,Z_2,\cdots ,Z_k \right \}(假设隐变量服从正态分布)，然后这个 Z隐变量经过一个生成器生成一组数据 \hat{X} = \left \{ \hat{X_1},\hat{X_2},\cdots ,\hat{X_k} \right \}，具体如下图所示(本1.2节的部分图来自 苏建林)：

而VAE和GAN都希望这组生成数据的分布 \hat{X}和目标分布 X尽量接近，看似美好，但有两个问题

  • 一方面，“尽量接近”并没有一个确定的关于 \hat{X} 和  X的相似度的评判标准，比如KL散度便不行，原因在于KL散度是针对两个已知的概率分布求相似度的，而  \hat{X}和  X 的概率分布目前都是未知(只有一批采样数据 没有分布表达式)
  • 二方面，经过采样出来的每一个 Z_k，不一定对应着每一个原来的 X_k，故最后没法直接最小化 D^2(X_k,\hat{X_k})

实际是怎么做的呢，事实上，与自动编码器由编码器与解码器两部分构成相似，VAE利用两个神经网络建立两个概率密度分布模型：

  • 一个用于原始输入数据 X=\{X_1,...,X_k\}的变分推断，生成隐变量 Z的变分概率分布 p(Z|X_k)，称为推断网络
    而VAE的核心就是，我们不仅假设  p(Z) 是正态分布，而且假设每个 p(Z|X_k)  也是正态分布。什么意思呢？即针对每个采样点 X_k获得一个专属于它和  Z 的一个正态分布 p(Z|X_k)

    换言之，有  k 个  X sample，就有 k个正态分布  p(Z|X_k)，毕竟没有任何两个采样点是完全一致的，而后面要训练一个生成器 \hat{X_k}=f(Z)，希望能够把从分布 p(Z|X_k)采样出来的一个 Z_k还原为 X_k，而如果从 p(Z)中采样一个 Z_k，没法知道这个 Z_k对应于真实的 X_k呢？现在 p(Z|X_k)专属于 X_k，我们有理由说从这个分布采样出来的 Z_k可以还原到对应的 X_k中去

    而如何确定这  k 个正态分布呢，众所周知，确定一个正太分布只需确定其均值 u和方差 \sigma ^2 即可，故可通过已知的 X_k和 假设的 Z去确定均值和方差
    具体可以构建两个神经网络 \mu _k = f_1(X_k)， log \sigma _{k}^{2} = f_2(X_k)去计算。值得一提的是，选择拟合 log \sigma _{k}^{2}而不是直接拟合 \sigma _{k}^{2}，是因为 \sigma _{k}^{2}总是非负的，需要加激活函数处理，而拟合 log \sigma _{k}^{2}不需要加激活函数，因为它可正可负
  • 另一个根据生成的隐变量 Z的变分概率分布 p(Z)，还原生成原始数据的近似概率分布 p(\hat{X}|Z)，称为生成网络 
    因为已经学到了这  k 个正态分布，那可以直接从专属分布 p(Z|X_k)中采样一个 Z_k出来，然后经过一个生成器得到 \hat{X_k} = f(Z_k)，那接下来只需要最小化方差  D^2(X_k,\hat{X_k})就行

仔细理解的时候有没有发现一个问题？为什么在文章最开头，我们强调了没法直接比较  X 与  \hat{X} 的分布，而在这里，我们认为可以直接比较这俩？注意，这里的  Z_k 是专属于或针对于 X_k的隐变量，那么和  \hat{X_k}本身就有对应关系，因此右边的蓝色方框内的“生成器”，是一一对应的生成。

另外，大家可以看到，均值和方差的计算本质上都是encoder。也就是说，VAE其实利用了两个encoder去分别学习均值和方差

1.2.2 VAE的Variational到底是个啥

这里还有一个 非常重要的问题：由于我们通过最小化 D^2(X_k,\hat{X_k})来训练右边的生成器，最终模型会逐渐使得  X_k 和 \hat{X_k}趋于一致。但是注意，因为  Z_k是重新随机采样过的，而不是直接通过均值和方差encoder学出来的，这个生成器的输入  Z是有噪声的

  1. 仔细思考一下，这个噪声的大小其实就用方差来度量。为了使得分布的学习尽量接近，我们希望噪声越小越好，所以我们会尽量使得方差趋于 0
  2. 但是方差不能为 0，因为我们还想要给模型一些训练难度。如果方差为 0，模型永远只需要学习高斯分布的均值，这样就丢失了随机性，VAE就变成AE了…… 这就是为什么VAE要在AE前面加一个Variational：我们希望方差能够持续存在，从而带来噪声！
  3. 那如何解决这个问题呢？其实保证有方差就行，但是VAE给出了一个优雅的答案：不仅需要保证有方差，还要让所有 p(Z|X)趋于标准正态分布 N(0,1)，根据定义可知

    P(Z) = \sum_{X}^{} p(Z|X)p(X) = \sum_{X}^{} N(0,1)p(X) = N(0,1)\sum_{X}p(X) = N(0,1)

    这个式子的关键意义在于告诉我吗：如果所有 p(Z|X)都趋于 N(0,1)，那么我们可以保证 p(Z)也趋于 N(0,1)，从而实现先验的假设，这样就形成了一个闭环！那怎么让所有 p(Z|X)趋于 N(0,1)呢？还是老套路：加loss

    到此为止，我们可以把VAE进一步画成：

现在我们来回顾一下VAE到底做了啥。VAE在AE的基础上

  • 一方面，对均值的encoder添加高斯噪声(正态分布的随机采样)，使得decoder(即生成器)有噪声鲁棒性
  • 二方面，为了防止噪声消失，将所有 p(Z|X)趋近于标准正态分布，将encoder的均值尽量降为 0，而将方差尽量保持住

这样一来，当decoder训练的不好的时候，整个体系就可以降低噪声；当decoder逐渐拟合的时候，就会增加噪声

第二部分 扩散模型DDPM：Denoising Diffusion Probabilistic Models

在写本文之前，我反复看了网上很多阐述DDPM的文章，实话说，一开始看到那种一上来就一堆公式的，起初确实看不下去，虽然后来 慢慢的都看得下去了，但如果对于一个初次接触DDPM的初学者来说，一上来一堆公式确实容易把人绕晕，但如果没有公式，则又没法透彻理解背后的算法步骤，两相权衡，本文将侧重算法每一步的剖析，而公式更多为解释算法原理而服务，说白了，侧重原理 其次公式，毕竟原理透彻了，公式也就自然而然的能写出来了

2020年，UC Berkeley等人的Jonathan Ho等人通过论文《Denoising Diffusion Probabilistic Models》正式提出DDPM

扩散模型的灵感来自非平衡热力学，通过定义了一个扩散步骤的马尔可夫链，以缓慢地将随机噪声添加到数据中，然后学习反转扩散过程以从噪声中构建所需的数据样本

对于噪声的扩散，在数据当中，不断地加入具有高斯分布的噪声，最开始还具有原始图片的特征，但是随着噪声的不断加入，最后会变为一个纯噪声图片。

每一个噪声都是在前一时刻增加噪声而来的（马尔科夫过程），从最开始的 x_0时刻开始，最终得到 x_T时刻的纯噪声图像。不过问题来是为什么要加噪声？

  1. Diffusion的本质是去噪，为了推导出逆向的去噪方法，必须了解增加噪声的原理。同时，添加噪声的过程其实就是不断构建标签的过程。如果在前一时刻可以预测出来后一时刻的噪声，很方便地可以实现还原操作(就和人走路一样，不管你从哪来，哪怕走过万水千山，最后都可按原路返回至原出发点)

  2. 且在噪声的添加过程中，每一步都要保持尽量 相同的噪声扩散幅度。图片前期的分布非常均匀，添加一些噪声便可以将原始分布改变，但到后期，需要添加更多的噪声，方可保证噪声扩散幅度相同(这就像往水中加糖，为了使糖的甜味增长相同，后期需要加更多的糖)

所以DDPM的目标在于：作为一个生成式模型，其目标是从随机噪声直接生成图片，换言之，首先训练一个噪声估计模型，然后将输入随机噪声还原成图片)，相当于就两个关键，一个是训练过程，一个是推理过程

  1. 训练过程：随机生成噪声 \epsilon，经过 T步将噪声扩散到输入原始图片 x_0中，破坏后的图片 x_T，学习破坏图片的预估噪声 \epsilon _\theta (x_t,t)，用L2 loss约束与 \epsilon原始输入噪声的距离
  2. 推理过程：即输入噪声，经过预估噪声模型还原成图片

2.1 DDPM的训练过程：先前向加噪后反向去噪从而建立噪声估计模型

2.1.1 前向过程(加噪)：通过高斯噪音随机加噪——给图片打马赛克

前向过程(forward process)也称为扩散过程(diffusion process)，简单理解就是对原始图片 x_0通过逐步添加「方差为 \beta _t的高斯噪声」变成 x_T，从而达到破坏图片的目的，如下图 

在从 x_{t-1}到 x_t的过程中，其对应的分布 q(x_t|x_{t-1})是一个正太分布，且其均值是 u_t = \sqrt{1-\beta _t }x_{t-1}，方差为 \beta _t，则有 

q(x_t|x_{t-1}) = N(x_t;u_t = \sqrt{1-\beta _t }x_{t-1},\beta _t \mathbb{I})

解释下这里的 \beta _t \mathbb{I}，原因在于我们一般处于多维情况下，而 \mathbb{I}是单位矩阵，表明每个维度有相同的标准偏差 \beta _t

因为是马尔可夫链，所以联合分布就是：

 如下图所示

如果我们定义  \alpha _t = 1 - \beta_t,   预先设定好一个超参数 \left \{ {a_t} \right \}_{t=1}^{T}『被称为Noise schedule，通常是一些列很小的值』，以及  \varepsilon _{t-1} \sim N(0,1)是高斯噪声，便可以得到 x_t的采样值

x_t = \sqrt{a_t}x_{t-1} + \sqrt{1-a_t} \epsilon _{t-1}

这里值得注意下，即两个高斯分布相加仍为一个高斯分布, 新的分布均值为原先两个均值的和, 方差为原先两个方差的和，且把上述公式迭代变换下，可以直接得出  x_0到  x_t的公式，如下：

x_t = \sqrt{\bar{a_t}}x_{0} + \sqrt{1-\bar{a_t}} \epsilon

其中 \bar{a_t} = \prod_{i}^{t} a_i，这是随Noise schedule设定好的超参数， \varepsilon \sim N(0,1)也是一个高斯噪声

换言之，所以  x_t 在  x_0条件下的分布就是均值为  \sqrt{\bar{a_t}}x_0, 方差为 1-\bar{a_t}的正态分布

考虑到可能会有读者对这个 x_0到  x_t的一步到位感到困惑，而一般的同类文章不会展开的特别细，故本文细致展开下(能拆10步则10步 确保阅读无障碍)

  1. 我们从原始公式开始：
    x_t = \sqrt{a_t} x_{t-1} + \sqrt{1-a_t} \epsilon_{t-1}
    然后可以将 x_{t-1}替换为 x_{t-2}的表达式：
    x_{t-1} = \sqrt{a_{t-1}} x_{t-2} + \sqrt{1-a_{t-1}} \epsilon_{t-2}
    代入到 x_t的公式中：
    x_t = \sqrt{a_t} (\sqrt{a_{t-1}} x_{t-2} + \sqrt{1-a_{t-1}} \epsilon_{t-2}) + \sqrt{1-a_t} \epsilon_{t-1}
  2. 继续展开，下一步是将 x_{t-2}替换为 x_{t-3}的表达式：
    x_{t-2} = \sqrt{a_{t-2}} x_{t-3} + \sqrt{1-a_{t-2}} \epsilon_{t-3}
    代入到 x_t的公式中：
    x_t = \sqrt{a_t} (\sqrt{a_{t-1}} (\sqrt{a_{t-2}} x_{t-3} + \sqrt{1-a_{t-2}} \epsilon_{t-3}) + \sqrt{1-a_{t-1}} \epsilon_{t-2}) + \sqrt{1-a_t} \epsilon_{t-1}
  3. 然后继续展开，这次用 x_{t-3}的表达式替换 x_{t-3}：
    x_{t-3} = \sqrt{a_{t-3}} x_{t-4} + \sqrt{1-a_{t-3}} \epsilon_{t-4}
    代入到 x_t的公式中：
    x_t = \sqrt{a_t} (\sqrt{a_{t-1}} (\sqrt{a_{t-2}} (\sqrt{a_{t-3}} x_{t-4} + \sqrt{1-a_{t-3}} \epsilon_{t-4}) + \sqrt{1-a_{t-2}} \epsilon_{t-3}) + \sqrt{1-a_{t-1}} \epsilon_{t-2}) + \sqrt{1-a_t} \epsilon_{t-1}
  4. 继续这个过程，直到用 x_0替换所有的中间变量
    x_t = (\sqrt{a_t} \sqrt{a_{t-1}} \cdots \sqrt{a_1}) x_0 + (\sqrt{a_t} \sqrt{a_{t-1}} \cdots \sqrt{a_2} \sqrt{1-a_1}) \epsilon_0 + \cdots + (\sqrt{a_t} \sqrt{a_{t-1}} \sqrt{a_{t-2}} \sqrt{1-a_{t-3}}) \epsilon_{t-4} + (\sqrt{a_t} \sqrt{a_{t-1}} \sqrt{1-a_{t-2}}) \epsilon_{t-3} + (\sqrt{a_t} \sqrt{1-a_{t-1}}) \epsilon_{t-2} + \sqrt{1-a_t} \epsilon_{t-1}
    然后再把上述公式的后半部分的顺序调整一下，即得
    x_t = (\sqrt{a_t} \sqrt{a_{t-1}} \cdots \sqrt{a_1}) x_0 + \sqrt{1-a_t} \epsilon_{t-1} + (\sqrt{a_t} \sqrt{1-a_{t-1}}) \epsilon_{t-2} + (\sqrt{a_t} \sqrt{a_{t-1}} \sqrt{1-a_{t-2}}) \epsilon_{t-3} + (\sqrt{a_t} \sqrt{a_{t-1}} \sqrt{a_{t-2}} \sqrt{1-a_{t-3}}) \epsilon_{t-4} + \cdots + (\sqrt{a_t} \sqrt{a_{t-1}} \cdots \sqrt{a_2} \sqrt{1-a_1}) \epsilon_0
  5. 每个时间步都会引入一个新的噪声项ε和一个新的混合系数a，为了简化这个表达式，我们引入累积混合系数 \bar{a_t}
    \bar{a_t} = \prod_{i=1}^{t} a_i，即 \sqrt{\bar{a_t}} = \sqrt{a_t} \sqrt{a_{t-1}} \cdots \sqrt{a_1}
  6. 在这个累积混合系数的帮助下，我们可以将 x_t的表达式简化下：
    x_t = \sqrt{\bar{a_t}} x_0 + \sqrt{1-a_t} \epsilon_{t-1} + (\sqrt{a_t} \sqrt{1-a_{t-1}}) \epsilon_{t-2} + \cdots + (\sqrt{\bar{a_t}} \sqrt{1-a_1}) \epsilon_0
  7. 接下来，注意到
    \epsilon_{t-1}的系数是 \sqrt{1-a_t}
    \epsilon_{t-2}的系数是 \sqrt{a_t} \sqrt{1-a_{t-1}}
    \epsilon_{t-3}的系数是 \sqrt{a_t} \sqrt{a_{t-1}} \sqrt{1-a_{t-2}}

    观察这三项，可以发现：每个 \epsilon项的系数都可以表示为 \sqrt{1-a_i} \sqrt{a_{i+1}} \cdots \sqrt{a_t}，其中 i从0到t-1。这是一个递归关系，我们可以使用它来合并所有的 \epsilon项
    设 C_{i-1} = \sqrt{1-a_i} \sqrt{a_{i+1}} \cdots \sqrt{a_t}，那么我们可以将 x_t写成：
    x_t = \sqrt{\bar{a_t}} x_0 + C_{t-1} \epsilon_{t-1} + C_{t-2} \epsilon_{t-2} + \cdots + C_0 \epsilon_0

  8. 可以将所有的 \epsilon项合并成一个项，因为它们都具有相同的递归关系，这意味着它们可以表示为 \sqrt{1-\bar{a_t}} \epsilon，将这些项合并后，最终得到：
    x_t = \sqrt{\bar{a_t}} x_0 + \sqrt{1-\bar{a_t}} \epsilon
     

    可能还是有读者对这最后一步的推导有疑惑，故我还是不厌其烦的耐心解释如下

    由于每个 \epsilon_i的方差都等于 1，我们得到：

    \text{Var}(\xi) = C_{t-1}^2 + C_{t-2}^2 + \cdots + C_0^2

    接下来，我们可以将 x_t的表达式改写为：

    x_t = \sqrt{\bar{a}_t} x_0 + \xi

    我们可以发现 \xi的方差与 1 - \bar{a}_t成比例，即：

    \text{Var}(\xi) = 1 - \bar{a}_t

    为了使 \xi的方差等于 1，我们可以引入一个新的随机变量 \epsilon，其方差也等于 1，并将 \xi与 \epsilon的关系表示为：

    \xi = \sqrt{1 - \bar{a}_t} \epsilon

    最后，我们可以将 x_t的表达式简化为：

    x_t = \sqrt{\bar{a}_t} x_0 + \sqrt{1 - \bar{a}_t} \epsilon

2.1.2 反向过程(去噪)：复原被加噪的图片——使之清晰化

反向过程就是通过估测噪声，多次迭代逐渐将被破坏的  x_t恢复成  x_0，如下图

相当于从 x_t到 x_{t-1}的变化过程，用公式表示为

x_{t-1} = \frac{1}{\sqrt{a_t}} x_t - \frac{\sqrt{1-a_t}}{\sqrt{a_t}} \epsilon _\theta (x_t,t) + \sigma _t

这个公式所表达的含义在于，由于真实噪声 \epsilon在复原过程中不允许被使用，因此本步骤的关键就在于训练一个由 x_t和 t估测噪声的模型 \epsilon _\theta (x_t,t)，其中 \theta就是模型本身需要训练的参数， \sigma_t也是一个高斯噪声且 \sigma_t = N(0,1)，用于估测与实际的差距，且在DDPM中，使用的是U-Net作为估测噪声的模型

好，问题又来了，上面这个公式又是如何一步步推导来的呢？

  1. 首先，通过上一节 我们已经得到了
    x_t = \sqrt{a_t}x_{t-1} + \sqrt{1-a_t} \epsilon _{t-1}
    其中， x_t和 x_{t-1}是在时间步 t和 t-1的数据， \epsilon_t是一个独立的高斯噪声， a_t是一个预先设定的系数
    别忘了，在DDPM中，我们的目标是找到一个去噪函数 \epsilon_\theta (x_t, t)用于在每个时间步去除噪声
  2. 我们现在需要对上述等式进行变换，以便得到 x_{t-1}关于 x_t 和 \epsilon_\theta (x_t, t)的表达式。首先，我们将上述等式除以 \sqrt{a_t}，得到：
    \frac{x_t}{\sqrt{a_t}} = x_{t-1} + \frac{\sqrt{1 - a_t}}{\sqrt{a_t}} \epsilon_{t-1}
  3. 现在我们需要用去噪函数 \epsilon_\theta (x_t, t)替换掉 \epsilon_{t-1}。在DDPM中，去噪函数的目标是从 x_t中恢复出噪声 \epsilon_{t-1}。因此，我们可以写：
    \epsilon_{t-1} = \epsilon_\theta (x_t, t)
  4. 将这个表达式带入上面的等式，我们得到：
    \frac{x_t}{\sqrt{a_t}} = x_{t-1} + \frac{\sqrt{1 - a_t}}{\sqrt{a_t}} \epsilon_\theta (x_t, t)
  5. 最后，我们将等式左边的 x_{t-1}项移到右边，并将其写成 x_{t-1}的表达式：
    x_{t-1} = \frac{1}{\sqrt{a_t}} x_t - \frac{\sqrt{1-a_t}}{\sqrt{a_t}} \epsilon_\theta (x_t, t)
    这就是我们需要的表达式，它描述了如何从时间步 t的数据 x_t和去噪函数 \epsilon_\theta (x_t, t)恢复出时间步 t-1的数据 x_{t-1}。在反向去噪过程中，我们将使用这个表达式逐步回溯到初始时间步，以生成新的样本

更具体而言，正向扩散和逆扩散过程都是马尔可夫，唯一的区别就是正向扩散里每一个条件概率的高斯分布的均值和方差都是已经确定的（依赖于 \beta _t和 x_0），而逆扩散过程里面的均值和方差需要通过网络学出来

怎么个学法呢？如果我们能够逆转前向过程并从 q(x_{t-1}|x_t)采样，就可以从高斯噪声 x_T \sim N( 0, I )还原出原图分布 x_0 \sim q(x)。可证明如果 q(x_t|x_{t-1})满足高斯分布且 \beta _t足够小， q(x_{t-1}|x_t)仍然是一个高斯分布。然现在的问题是，我们无法直接去推断 q(x_{t-1}|x_t)，好在我们可以使用「参数为 θ 的U-Net+attention 结构」去预测这样的一个逆向的分布 p_\theta（类似 VAE）： 

在这里插入图片描述

不过在DDPM的论文中，作者把条件概率 p_\theta (x_{t-1}|x_t)的方差直接取了 \beta _t，而不是上面说的需要网络去估计的 \sum _\theta (x_t, t)，所以说实际上只有均值需要网络去估计。虽然我们无法得到逆转过程的概率分布 q(x_{t-1}|x_t)，但是如果知道 x_0,q(x_{t-1}|x_t, x_0)就可以直接写出

在这里插入图片描述

 故有：

在这里插入图片描述

解释下上面7.1~7.5这5个步骤的推导

  1. 7.1依据的是
    P(A|B) = \frac{P(AB)}{P(B)}

  2. 7.2中，分母部分依据的是
    P(AB) = P(A)P(B|A)
    分子部分依据的是
    P(ABC)=P(A)P(B|A)P(C|AB)
  3. 7.3依据的是分子分母同时除以 q(x_0)
  4. 7.4依据的是
    在这里插入图片描述
    和
      q(x_t|x_{t-1})是一个正太分布，且其均值是 u_t = \sqrt{1-\beta _t }x_{t-1}，方差为 \beta _t，且 \alpha _t = 1 - \beta_t 
  5. 至于7.5
    首先考虑  \frac{1}{2} (ax^2 + bx + c)，可以整理为 \frac{1}{2} a(x + \frac{b}{2a})^2 + C，则其均值为 - \frac{b}{2a}，方差为 \frac{1}{a}，从而有
    在这里插入图片描述

    根据 x_t = \sqrt{\bar{a}_t} x_0 + \sqrt{1 - \bar{a}_t} \epsilon，可知 在这里插入图片描述，代入上式 可得 在这里插入图片描述

    相当于在给定 x_0的条件下，后验条件高斯分布的均值只和超参数 \alpha _t、 x_t、 \varepsilon _t有关，方差只与超参数 \alpha有关，从而通过以上的方差和均值，我们就得到了 q(x_{t-1}|x_t, x_0)的解析形式 

2.1.3 如何训练：建立噪声估计模型 \epsilon _\theta (x_t,t)——最小化估计噪声与真实噪声之间的差距

接下来介绍这个模型要怎么优化，即网络该怎么训练去估计条件概率 p_\theta (x_{t-1}|x_t)的均值 u_\theta (x_t,t)和方差 \sum (x_t,t)

我们要最小化目标分布的负对数似然：

 令

所以  L_{LVB}就是我们的上界，我们要最小化它，接着进行变形

在这里插入图片描述

对于上面公式最后得到的结果

  1. 首先， L_T是和优化无关的(由于前向过程 q 没有可学习参数，而 x_T 则是纯高斯噪声，因此 LT 可以当做常量忽略)，所以不用管，只用看右边的 L_{t-1}
  2. 然后， L_{t-1}是KL散度，则可以看做拉近 2 个分布的距离： 
    第一个分布 q(x_{t-1}|x_T,x_0) 我们已经在上一节推导出其解析形式，这是一个高斯分布，其均值和方差为
    在这里插入图片描述
    第二个分布 p_\theta (x_{t-1},x_t)是我们网络期望拟合的目标分布，也是一个高斯分布，均值用网络估计，方差被设置为了一个和 \beta_t有关的常数
    在这里插入图片描述
    如果有两个分布 p,q 都是高斯分布，则他们的KL散度为
    在这里插入图片描述
    然后因为这两个分布的方差全是常数，和优化无关，所以其实优化目标就是两个分布均值的二范数
  3. 这个时候我们可以直接整个网络出来直接预测  u_\theta (x_t,t) ，且 u_\theta (x_t,t)会尽可能去预测 ，因为 x_t是 u_\theta 的输入的，其它的量都是常熟，所以其中的未知量其实只有 \epsilon，所以我们干脆把 u_\theta (x_t,t)定义成：

    也就是说，不用网络直接预测 \tilde{u_t}(x_t,x_0)，而是用网络 \epsilon _\theta (x_t,t)先预测噪声 \epsilon，然后把预测出来的噪声带入到定义好的表达式中去计算出预测的均值，其实是一样的
  4. 所以，最终把这个公式，带入到 上一公式中得到：
    在这里插入图片描述
    经过这样一番推导之后就是个 L2 loss。网络的输入是一张和噪声线性组合的图片，然后要估计出来这个噪声：
    在这里插入图片描述

由上可知，DDPM的关键是训练  \epsilon _\theta (x_t,t)模型，使其预测的  \hat{\epsilon }与真实用于破坏的 \epsilon 相近，用L2距离刻画相近程度就好，因此我们的Loss就是如下公式

L = ||\epsilon -\epsilon _\theta(x_t,t)|| ^2 \\ = || \epsilon - \epsilon _\theta (\sqrt{\bar{a_t}}x_0 +\sqrt{1-\bar{a_t}}\epsilon ,t) ||^2

而整个训练过程可如下图描述

DDPM论文中对应的伪代码为

相当于训练时，网络输入为  x_t(由 x_0 和噪声  \epsilon 线性组合而成) 和时刻 t ，输出要尽可能的拟合输入的噪声  \epsilon (通过L2 loss约束)：

2.2 通过训练好的DDPM生成图片

在得到噪声估测模型  \epsilon _\theta (x_t,t) 后，想要生成模型就很简单了。从N(0,1)中随机生成一个噪声作为 X_T，然后再用该模型逐步从估测噪声，并用去噪公式逐渐恢复到  x_0 即可，见如下伪代码

相当于推理时，我们从各项独立的高斯分布 X_T 开始，一共  T 步，每一步其实都是用了一次reparameterization trick。

每一步具体来说，我们有了  X_T ， 想要得到 X_{t-1}，因为我们之前逆扩散过程建模有： 

 所以由reparameterization trick我们有：

 每一轮都这样迭代，最终就得到了生成的图片

//又不一小心把本文发布出去了，本来一直在草稿里要修改个把星期的，一方面 下文还有很多内容需要更新，二方面 上文还有很多细节有待补充完善 比如一些公式的拆解，待更..

参考文献与推荐阅读

  1. 变分自编码器（一）：原来是这么一回事
  2. ..
  3. 关于VAE的几篇文章： 一文理解变分自编码器（VAE）、 机器学习方法—优雅的模型（一）：变分自编码器（VAE）、
  4. 苏剑林关于扩散模型的几篇文章： （一）：DDPM = 拆楼 + 建楼、 （二）：DDPM = 自回归式VAE
  5. 怎么理解今年 CV 比较火的扩散模型（DDPM）？

  6. 知乎上关于扩散模型的几篇文章： 全网最简单的扩散模型DDPM教程、 Diffusion扩散模型大白话讲解、 扩散生成模型: 唯美联姻物理概念与机器学习 

  7. Understanding Diffusion Models: A Unified Perspective(另，这是其 PDF版本)
  8. 扩散模型是如何工作的：从0开始的数学原理
  9. What are Diffusion Models?
  10. Introduction to Diffusion Models for Machine Learning
  11. 关于扩散模型的几篇论文
    CVPR 2022 Tutorial: Denoising Diffusion-based Generative Modeling: Foundations and Applications
    ​​​​​​​ Diffusion Models Beat GANs on Image Synthesis
  12. 关于DDPM的几篇文章： DDPM概率扩散模型（原理+代码)、 Denoising Diffusion Probabilistic Models (DDPM)、 从VAE到DDPM、 扩散模型原理解析

相关 [ai 绘画 理解] 推荐：

AI绘画能力的起源：通俗理解VAE、扩散模型DDPM、ViT/Swin transformer_v_JULY_v的博客-CSDN博客

- -
2018年我写过一篇博客，叫：《. 一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如. 随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代.

ControlNet star量破万！2023年，AI绘画杀疯了？

- - 机器之心
从骑马的宇航员到三次元小姐姐，在不到一年的时间里，AI 绘画似乎已经取得了革命性的进展. 这个「骑马的宇航员」由 OpenAI 2022 年 4 月推出的文生图模型 DALL・E 2 绘制. 它的前辈 ——DALL・E 在 2021 年向人们展示了直接用文本生成图像的能力，打破了自然语言与视觉的次元壁.

一个AI小白如何理解近似匹配检索

- -
在AI领域的相似度匹配中通常会接触很多新名词：. ANN、KNN、HNSW、SQ8、Faiss、L2、L1、inner product...你可能会查了很多官方解释，但是：. --> 网上每个名词都告诉了是什么，我知道了他是什么，对，没错，我还是不知道它是什么. --> 根据用户手册，我Step by step成功完成了所有的实验，我依然不知道我在实验什么.

AI vs AI--当AI与自己聊天

- Tim - Solidot
Shawn the R0ck 写道 "最烦人的事情之一莫过于被强迫与一个白痴对话. 但当你发现你最讨厌与之交谈的白痴其实就是你自己的基于人工智能程序的拷贝...康奈尔创造性机器实验室决定看看当AI尝试跟自己交谈会发生什么. 他们的健谈的AI程序Cleverbot与自己进行文本交互，之后朗读出文本并且显示到视频中.

一家公司的 AI 教育观：AI 管「教」，真人来「育」

- - 极客公园
叮咚课堂 App 上线不过八个月，他们一面竭力在竞争异常激烈的在线少儿英语赛道上保持着刻意的低调，一面又疯狂地收获了平均 300% 月度的用户增长率. 这让他们创始人邱明丰对未来信心更盛了. 在艾瑞咨询发布的《2018 年中国在线幼儿启蒙英语行业白皮书》中提到，近年来人工智能在互联网教育领域大规模展开，但在在线幼儿启蒙英语教育中的应用甚少，随着资本的注入和行业的发展，其有望通过人工智能进一步提升用户在线启蒙英语学习的体验和效率.

贪吃蛇AI挑战赛第二季

- 温柔一刀 - 黑客志
如果你对这个活动感兴趣，可以先从这里开始，编写一个AI程序，然后将你的AI程序以及你对平台的改进建议发送到jin.cai20#gmail.com，主办方将会从中选择12名选手参加6月24到25持续一个周末的编程派对，并提供往返交通及住宿费用，下面是活动的详情：. 时间： June 24th – June 26th *.

AI 政策引发失业担忧

- - 最新更新 – Solidot
政府智库——中国发展研究基金会和红杉中国的报告 显示，中国出口制造业省份浙江、江苏和广东的几家公司在这三年内因自动化削减了 30% 至 40% 的劳动力. 北京正在实施雄心勃勃的政策以升级制造技术. 官方媒体对包括人工智能领域在内的政府发展目标的报道都集中在积极因素上. 然而，有关当局悄然对此类政策导致的裁员表示了担忧.

科创板，一瓶AI的卸妆水？

- - IT瘾-tuicool
编者按：本文转自 甲子光年，作者小北. “一级市场估值和泡沫怎么起来的，他们自己心里没点数吗. ”一位券商科技产业分析师在谈起即将到来的科创板时对我们说. “我们反正第一批肯定先不上. ”一位AI独角兽融资负责人面对我们对科创板的提问，回答略显暧昧. “你说那家公司为什么就值这么多钱呢. ”一位国内顶尖券商的投行业务部门负责人也曾反问我们，“反正他们的材料递到我这儿，我不会签字.

AI在运维中的应用

- - IT瘾-geek
要：随着X86分布式技术应用，服务器数量越来越多，网络拓扑结构越来越复杂，运维越来越辛苦，风险越来越高. 智能化运维AIOPS将AI技术应用在运维场景,是DevOps的运维部分，是“开发运维一体化云中心”的重要基础设施之一，其最大的价值在于缩短故障恢复时间，提高IT服务连续性. 本文描述一个运维及在这个场景下对AI的需求，目标是尝试将AI引入运维过程，提高运维效率、缩短故障恢复时间.

当 AI 开始进村养猪

- - PingWest品玩
“母猪杜洛克C7259号，没有怀孕，请在12小时内再次安排配种. ”如今，国内一些猪场工作人员已经能在自己的电脑上看到这样的提醒. 与此同时，长白山精气神养殖基地里，一只母猪在猪栏中的六个食槽一一凑过去， 但都没有通过面部识别. 饲喂机纹丝不动，就是不给投料，它只能落寞地走到墙角趴下. 工程师在 App 上查了一下状态，原来智能饲喂机识别出这头猪的当日进食量已经达到配额，不能再吃了.