https://lilianweng.github.io/posts/2018-10-13-flow-models/

Comparison of three generative models

So far，两种生成模型 GAN 和 VAE 都没有明确学习真实数据分布 p(x)

Flow-based deep generative models 借助 normalizing flows 这一强大的密度估计工具，克服了这一难题。良好的估计 p(x) 也使得许多下游任务成为可能

• GAN：将数据生成（一个无监督学习问题）建模为有监督问题
• VAE：通过最大化变分下界 ELBO 来非显示优化数据的对数似然
• Flow-based：由一系列可逆变换构建而成，显示学习数据分布 p(x)

Linear Algebra Basics Recap

Jacobian Matrix

$\mathbf{f}:\mathbb{R}^n \mapsto \mathbb{R}^m$, where $x\in \mathbb{R}^n,y\in \mathbb{R}^m$，雅可比矩阵定义如下：

$$ \mathbf{J} = \mathbf{J}_{\mathbf{f}}(\mathbf{x}) = \frac{\partial \mathbf{y}}{\partial \mathbf{x}} = \begin{pmatrix}\frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} & \cdots & \frac{\partial y_1}{\partial x_n} \\\frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} & \cdots & \frac{\partial y_2}{\partial x_n} \\\vdots & \vdots & \ddots & \vdots \\\frac{\partial y_m}{\partial x_1} & \frac{\partial y_m}{\partial x_2} & \cdots & \frac{\partial y_m}{\partial x_n}\end{pmatrix} $$

雅可比矩阵 J 是在给定点 x 处，对非线性函数 f 的最佳线性近似：$\Delta y \approx \mathbf{J} \Delta x$

补充行列式的知识：det(AB) = det(A) det(B)

Change of Variable Theorem

Given a random variable z and its known probability density function $z\sim \pi(z)$

我们用一个一对一映射构建了 x = f(z)，该函数是可逆的，现在需要推断新变量的概率密度函数 p(x)

已知 $\int p(x) dx = \int \pi(z) dz = 1$，可得：