当前位置:网站首页 > 技术博客 > 正文

用扩散模型时,转化率为多少



扩散模型之DDPM介绍了经典扩散模型DDPM的原理和实现,那么生成一个样本的次数和训练次数需要一致,导致采样过程很缓慢。这篇文章我们将介绍另外一种扩散模型DDIM(Denoising Diffusion Implicit Models),它两有相同的训练目标,但是它不再限制扩散过程必须是一个马尔卡夫链,这使得DDIM可以采用更小的采样步数来加速生成过程,DDIM的另外是一个特点是从一个随机噪音生成样本的过程是一个确定的过程(中间没有加入随机噪音)。
参考链接:
B站视频: https://www.bilibili.com/video/BV1JY4y1N7dn/
https://zhuanlan.zhihu.com/p/ 扩散模型之DDIM

https://zhuanlan.zhihu.com/p/ 【生成模型(三)】一文读懂DDIM凭什么可以加速DDPM的采样效率

https://blog.csdn.net/weixin_/article/details/ DDIM原理及代码(Denoising diffusion implicit models

https://blog.csdn.net/weixin_/article/details/ IDDPM原理和代码剖析
https://blog.csdn.net/D_Trump/article/details/ 008_SSSS_ Improved Denoising Diffusion Probabilistic Models
https://zhuanlan.zhihu.com/p/ Improved Diffusion代码和理解
https://blog.csdn.net/zzfive/article/details/ IDDPM论文解读

代码:
https://zhuanlan.zhihu.com/p/
Diffusion之DDPM代码简述、MNIST与Fashion-MNIST生成实战及DDIM加速生成应用
https://blog.csdn.net/_/article/details/
扩散模型(Diffusion model)代码详细解读

在这里插入图片描述
前向过程为一个马尔科夫链,上面公式和DDPM原文里面的alpha代表的不一样了,可能是为了方便起见了。通过推导可以得到:
在这里插入图片描述
反向过程也定义为马尔科夫链:
在这里插入图片描述
在这里插入图片描述
之后使用后验概率:
在这里插入图片描述
在这里插入图片描述
解得方差为定值,均值为:
在这里插入图片描述
通过变分推断和KL散度以及简化得到:
在这里插入图片描述
可以发现DDPM仅依赖于边缘分布,因此可以做其他修改。

为了构造非马尔科夫链的扩散过程,并且复用DDPM的训练过程,现在上面的公式变为:
在这里插入图片描述
并且我们自己构造一个分布,只要满足公式
即可。即前向过程具体怎样我们不需要管了。因此通过待定系数法可以得到:
在这里插入图片描述
这就是我们新的反向生成分布,也就是我们新的要去拟合的“终极目标”。
DDIM中定义以下公式:
在这里插入图片描述
在这里插入图片描述
上面这个公式是基于T的。
对于t>=1的时候要满足:
在这里插入图片描述
通过数学归纳法(在论文中有证明过程)可以得到以下边缘分布公式,因此可以使用DDPM去进行训练:
在这里插入图片描述
在这里插入图片描述
通过xt和x0之间的关系(因为不是马尔科夫了,可以进行变换)推导得到以下公式:
在这里插入图片描述
并且通过证明得到DDPM中的Lsimple和DDIM中的损失是一致的。
论文中将方差定义为超参数
在这里插入图片描述
当标准差为0时,生成过程就是确定性的。
DDIM是一种模型,不能加速,但是我们可以使用技巧在DDIM上加速采样。
我们的采样过程是在一个更短的子序列上面进行的。

ddim_sample.py

 

这里面的alpha_next应该是数值更小的。

版权声明


相关文章:

  • java并发编程实战和并发编程的艺术2025-03-13 19:01:04
  • 什么叫json数据的封装2025-03-13 19:01:04
  • linux ntpdate命令不存在2025-03-13 19:01:04
  • windows无法安装usb驱动2025-03-13 19:01:04
  • linux打印错误码2025-03-13 19:01:04
  • python获取某文档的路径2025-03-13 19:01:04
  • sql语句编写技巧2025-03-13 19:01:04
  • 在线编程菜鸟2025-03-13 19:01:04
  • 软件版本编号规则2025-03-13 19:01:04
  • HashMap和Hashtable的区别2025-03-13 19:01:04