扩散模型、最优传输存在什么关系？法国数学家4页论文引网友围观

机器之心报道

机器之心编辑部

扩散模型和最优传输之间到底存在怎样的联系？对很多人来说还是一个未解之谜。

但有一点很清楚的是：在相似的数据集上训练的不同扩散模型倾向于恢复出相似的映射关系。

这就提出一个问题：如果这些映射关系不是最优传输（OT，Optimal Transport ）映射，那么它们到底在什么意义上是最优呢？

2022 年，博科尼大学助理教授 Hugo Lavenant 与里昂第一大学教授 Filippo Santambrogio 合作，在论文《 THE FLOW MAP OF THE FOKKER-PLANCK EQUATION DOES NOT PROVIDE OPTIMAL TRANSPORT 》中探讨了流模型在最优传输框架中的应用，并提供了一个反例，表明在某些情况下，流模型并不能实现最优传输。

论文地址：https://cvgmt.sns.it/media/doc/paper/5469/counterexample_flow_v3.pdf

在这篇文章的摘要部分，作者表示，Khrulkov 和 Oseledets 在先前研究中（论文：Understanding DDPM Latent Codes Through Optimal Transport）提出了一个猜想，该猜想认为通过积分 Fokker-Planck 方程的 Wasserstein 速度得到的 ODE 流，可以获得一个最优传输映射。

然而，在 Kim 和 Milman 的论文中《A generalization of Caffarelli’s contraction theorem via (reverse) heat flow》，这一结果被认为是错误的，但没有提供证明。Hugo Lavenant、Filippo Santambrogio 的这篇论文正好展示了 Khrulkov 和 Oseledets 所声称的结果不能成立。

但这篇文章过于晦涩难懂，全篇论文看下来几乎都是推导公式且篇幅又长。

为此，法国数学家 Gabriel Peyré 在论文《 Diffusion models and Optimal Transport 》中给出了一个很好的概括，文章重述了 Hugo Lavenant 和 Filippo Santambrogio 关于简洁证明的主要内容，即一般情况下，扩散模型不能定义最优传输映射。

地址：https://github.com/mathematical-tours/mathematical-tours.github.io/blob/971ddb3aab5803c7a4abef122f878292f6a6c25d/book-sources/diffusion-models/note-diffusion-ot.pdf

接下来，我们看看这篇文章讲了什么内容。

生成模型旨在在参考分布 α（通常是各向同性高斯分布）和数据分布 β 之间构建传输映射 T。用 T♯α 表示 α 被 T 向前推进（如果 α 是由 Dirac 质量在 x_i 处构成的，那么 T♯α 是由 Dirac 质量在 T（x_i）处构成的）。

因此，目标是找到 T，使得 T♯α = β 。很明显，对于任何 β，这样的映射总是存在的，但找到 T 的明确构造方法却出奇地困难。

这里有两种标准方法，分别是最优传输和集成扩散过程的逆向积分伴随的平流场。