Diffusion Model原理与应用：从基础到实践

1. Diffusion Model的核心原理Diffusion Model扩散模型是一种基于马尔可夫链的生成模型其核心思想是通过逐步添加噪声来破坏数据分布再学习如何逆转这个过程。这种破坏-重建的机制使其在图像生成领域展现出强大的潜力。1.1 前向扩散过程前向扩散过程可以看作是一个固定的马尔可夫链它通过T个步骤逐步向数据添加高斯噪声。具体来说给定初始数据分布x₀∼q(x₀)前向过程定义如下q(x₁:T|x₀) ∏[t1→T] q(xₜ|xₜ₋₁)其中每个步骤的转移核是高斯分布q(xₜ|xₜ₋₁) N(xₜ; √(1-βₜ)xₜ₋₁, βₜI)这里βₜ是噪声调度参数控制着每一步添加的噪声量。一个关键特性是我们可以直接计算任意步骤t的噪声数据xₜ √(ᾱₜ)x₀ √(1-ᾱₜ)ε其中αₜ1-βₜᾱₜ∏[s1→t]αₜε∼N(0,I)。这个闭式解大大简化了训练过程。1.2 反向扩散过程反向过程的目标是从噪声数据x_T∼N(0,I)开始逐步去噪恢复原始数据。这需要学习一个参数化的转移核pθ(xₜ₋₁|xₜ) N(xₜ₋₁; μθ(xₜ,t), Σθ(xₜ,t))理论上当βₜ足够小时反向转移核q(xₜ₋₁|xₜ)也是高斯分布。但由于它依赖于整个数据集我们需要训练神经网络来近似这个分布。2. 训练目标与优化2.1 变分下界损失扩散模型的训练目标是最小化负对数似然的变分下界(VLB)L_VLB E_q[log q(x₁:T|x₀)/pθ(x₀:T)]这个目标可以分解为多个KL散度项L_VLB L_T ∑[t1]L_{t-1} L₀其中L_T是常数项因为q(x_T|x₀)是固定分布L_{t-1}比较了反向过程与真实后验的KL散度L₀是最后的重构项2.2 简化训练目标Ho等人发现可以简化训练目标直接预测噪声L_simple E[||ε - εθ(xₜ,t)||²]这种简化不仅计算高效而且在实际中表现更好。其背后的直觉是与其预测整个均值不如专注于预测噪声成分。3. 采样方法与加速3.1 DDPM采样原始DDPM采用完整的马尔可夫链进行采样从x_T∼N(0,I)开始对于tT,...,1采样z∼N(0,I)计算x_{t-1} μθ(xₜ,t) σₜz返回x₀这种方法需要完整的T步计算通常T1000导致采样速度慢。3.2 DDIM加速DDIMDenoising Diffusion Implicit Model通过重新参数化实现了更高效的采样。关键观察是扩散过程可以看作是一个ODE允许使用更大的步长。DDIM采样只需约50步就能达到与DDPM相当的质量。DDIM的更新规则x_{t-1} √(ᾱ_{t-1})fθ(xₜ,t) √(1-ᾱ_{t-1}-σₜ²)εθ(xₜ,t) σₜz其中fθ(xₜ,t)是预测的x₀。当σₜ0时过程变为确定性称为DDIM。4. 条件生成技术4.1 分类器引导Dhariwal等人提出使用预训练分类器来引导生成过程。通过修改噪声预测ε̂θ(xₜ,t,y) εθ(xₜ,t) - √(1-ᾱₜ)∇xₜlog p(y|xₜ)其中分类器梯度∇xₜlog p(y|xₜ)将采样推向目标类别y。权重w控制引导强度ε̂θ εθ - w√(1-ᾱₜ)∇xₜlog p(y|xₜ)4.2 无分类器引导Ho等人提出更优雅的方案联合训练条件和非条件模型通过插值实现引导ε̂θ (1w)εθ(xₜ,t,y) - wεθ(xₜ,t)这种方法不需要额外分类器且在实践中表现更好。5. 潜在扩散模型Rombach等人提出在潜在空间进行扩散LDM显著提升效率使用VAE或VQ-VAE将图像压缩到潜在空间zε(x)在潜在空间进行扩散过程解码器D将生成的z转换回像素空间LDM的优势计算成本大幅降低16×16 latent vs 256×256像素保持生成质量更容易与其他模态如文本结合6. 实际应用技巧6.1 噪声调度选择线性调度βₜ从β₁1e-4线性增加到β_T0.02余弦调度更平滑的噪声变化通常表现更好βₜ clip(1-ᾱₜ/ᾱ_{t-1}, 0.999) ᾱₜ f(t)/f(0), f(t)cos((t/Ts)/(1s)·π/2)²6.2 架构设计要点U-Net是主流选择但需要适当调整增加低分辨率层的深度使用注意力机制处理全局依赖残差连接缩放1/√2稳定训练对于文本条件生成交叉注意力是关键Attention(Q,K,V) softmax(QKᵀ/√d)V Q W_Qφ(z), K W_Kτ(y), V W_Vτ(y)6.3 采样优化使用DDIM加速采样50-100步动态阈值处理避免过饱和计算s为像素绝对值的某个百分位数若s1将预测裁剪到[-s,s]并除以s渐进式蒸馏可进一步减少采样步数7. 常见问题与解决方案7.1 生成图像模糊可能原因及解决方案噪声调度过于激进尝试更平缓的余弦调度模型容量不足增加U-Net通道数或深度训练不充分延长训练时间使用更大的batch size7.2 条件生成不准确改进方法增强条件机制使用交叉注意力而非简单拼接增加无分类器引导权重w检查条件信息的编码质量如CLIP文本嵌入7.3 采样速度慢加速策略采用DDIM采样可减少至20-50步使用渐进式蒸馏训练专用快速模型考虑一致性模型Consistency Model的单步生成8. 前沿发展与展望扩散模型仍在快速发展几个值得关注的方向更快采样方法一致性模型1步生成知识蒸馏技术改进的ODE求解器多模态应用文本到图像如Stable Diffusion音频生成视频生成可控生成更精细的条件控制组合式生成语义编辑理论理解扩散过程的数学特性与其他生成模型的联系采样动力学的深入分析在实际应用中建议从标准DDPM/DDIM开始逐步尝试更先进的技术。对于资源有限的情况预训练的潜在扩散模型如Stable Diffusion是理想起点。