多元高斯分布之间的KL散度

推导一下两个多元高斯分布之间的KL散度公式

完整推导过程

哎，其实我是傻乎乎地想推导两个多元高斯分布之间的$\beta$和$\gamma$散度，后来发现不可行。在这个过程中顺手推导了一般的KL散度，谨记过程如下。

假定两个多元高斯分布分别为$\mathcal{N}(\mu_1, \Sigma_1)$和$\mathcal{N}(\mu_2, \Sigma_2)$，其概率分布分别表示为$p(x)$和$q(x)$。其中$\mu_1$和$\mu_2$为长度$n$的向量，$\Sigma_1$和$\Sigma_2$为维度$n\times n$的协方差阵。那么$p(x)$和$q(x)$之间的差异可以用KL散度表示，定义为：

$\displaystyle D_{KL}(p(x)||q(x)) = \int p(x)\log \dfrac{p(x)}{q(x)}dx.\tag{1}$

$(1)$式的完整计算过程如下：

$\begin{align} \displaystyle D_{KL}(p(x)||q(x)) &= \int p(x)\log \dfrac{p(x)}{q(x)}dx\\ &= \int p(x)\log \dfrac{\dfrac{1}{(2\pi)^{\frac{n}{2}}|\Sigma_1|^{\frac{1}{2}}}e^{-\frac{1}{2}(x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1)}}{\dfrac{1}{(2\pi)^{\frac{n}{2}}|\Sigma_2|^{\frac{1}{2}}}e^{-\frac{1}{2}(x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2)}}dx \tag{2}\\ &= \int p(x)\log \dfrac{|\Sigma_2|^{\frac{1}{2}}}{|\Sigma_1|^{\frac{1}{2}}} e^{-\frac{1}{2}(x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2}(x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2)}dx \tag{3} \\&= \dfrac{1}{2}\int p(x)\log \dfrac{|\Sigma_2|}{|\Sigma_1|}dx + \dfrac{1}{2}\int p(x)\left[ -(x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2)\right]dx \tag{4} \\ &= \dfrac{1}{2}\log \dfrac{|\Sigma_2|}{|\Sigma_1|} + \dfrac{1}{2}\int p(x)\left[ -tr\left(\Sigma_1^{-1}(x-\mu_1)(x-\mu_1)^T\right) + tr\left(\Sigma_2^{-1}(x-\mu_2)(x-\mu_2)^T\right)\right]dx \tag{5} \\ &= \dfrac{1}{2}\log \dfrac{|\Sigma_2|}{|\Sigma_1|} - \dfrac{1}{2}tr\left[\int p(x)\left[\Sigma_1^{-1}(x-\mu_1)(x-\mu_1)^T\right]dx\right] + \dfrac{1}{2}tr\left[\int p(x)\left[\Sigma_2^{-1}(x-\mu_2)(x-\mu_2)^T\right]dx\right] \tag{6}\\ &= \dfrac{1}{2}\log \dfrac{|\Sigma_2|}{|\Sigma_1|} - \dfrac{1}{2}tr\left(\Sigma_1^{-1}\int p(x)(x-\mu_1)(x-\mu_1)^T dx\right) + \dfrac{1}{2}tr\left(\Sigma_2^{-1}\int p(x)(x-\mu_2)(x-\mu_2)^T dx\right) \tag{7} \\ &= \dfrac{1}{2}\log \dfrac{|\Sigma_2|}{|\Sigma_1|} - \dfrac{1}{2}tr\left(\Sigma_1^{-1}\mathbb{E}_p\left(xx^T -x\mu_1^T - \mu_1 x^T + \mu_1\mu_1^T\right)\right) + \dfrac{1}{2}tr\left(\Sigma_2^{-1}\mathbb{E}_p\left(xx^T -x\mu_2^T - \mu_2 x^T + \mu_2\mu_2^T\right)\right) \tag{8} \\ &= \dfrac{1}{2}\log \dfrac{|\Sigma_2|}{|\Sigma_1|} - \dfrac{1}{2}tr\left(\Sigma_1^{-1}\Sigma_1\right) + \dfrac{1}{2}tr\left(\Sigma_2^{-1}\left(\Sigma_1 - \mu_1\mu_2^T - \mu_2 \mu_1^T + \mu_2\mu_2^T\right)\right) \tag{9} \end{align}$

Emmm，式子太长，编辑器渲染都卡爆了，所以接着上面再推导：

$\begin{align} \displaystyle D_{KL}(p(x)||q(x)) &= \dfrac{1}{2}\log \dfrac{|\Sigma_2|}{|\Sigma_1|} - \dfrac{1}{2}tr\left(I\right) + \dfrac{1}{2}tr\left(\Sigma_2^{-1}\Sigma_1\right) + \dfrac{1}{2}tr\left[\Sigma_2^{-1}\left(\mu_1\mu_1^T -\mu_1\mu_2^T - \mu_2 \mu_1^T + \mu_2\mu_2^T\right)\right] \tag{10} \\ &= \dfrac{1}{2}\left[ \log \dfrac{|\Sigma_2|}{|\Sigma_1|} - n + tr\left(\Sigma_2^{-1}\Sigma_1\right) + tr\left[\Sigma_2^{-1}\left(\mu_1\mu_1^T -\mu_1\mu_2^T - \mu_2 \mu_1^T + \mu_2\mu_2^T\right)\right]\right] \tag{11}\\ &= \dfrac{1}{2}\left[ \log \dfrac{|\Sigma_2|}{|\Sigma_1|} - n + tr\left(\Sigma_2^{-1}\Sigma_1\right) + tr\left(\mu_1^T\Sigma_2^{-1}\mu_1^T\right) - tr\left(\mu_1^T\Sigma_2^{-1}\mu_2^T\right) - tr\left(\mu_2^T\Sigma_2^{-1}\mu_1^T\right)+ tr\left(\mu_2^T\Sigma_2^{-1}\mu_2^T\right)\right] \tag{12} \\ &= \dfrac{1}{2}\left[ \log \dfrac{|\Sigma_2|}{|\Sigma_1|} - n + tr\left(\Sigma_2^{-1}\Sigma_1\right) + tr\left(\mu_1^T\Sigma_2^{-1}\mu_1^T - 2\mu_1^T\Sigma_2^{-1}\mu_2^T + \mu_2^T\Sigma_2^{-1}\mu_2^T\right)\right] \tag{13} \\ &= \dfrac{1}{2}\left[ \log \dfrac{|\Sigma_2|}{|\Sigma_1|} - n + tr\left(\Sigma_2^{-1}\Sigma_1\right) + tr\left[\left(\mu_2-\mu_1\right)^T\Sigma_2^{-1}\left(\mu_2-\mu_1\right)\right]\right] \tag{14} \\ &= \dfrac{1}{2}\left[ \log \dfrac{|\Sigma_2|}{|\Sigma_1|} - n + tr\left(\Sigma_2^{-1}\Sigma_1\right) + \left(\mu_2-\mu_1\right)^T\Sigma_2^{-1}\left(\mu_2-\mu_1\right)\right]. \tag{15}\end{align}$

部分推导细节

在上述推导中有几步需要额外注意，我自己已经在纸上推导好了，这里简要提示一下（具体参见参考文献）：

$(4)$式到$(5)$式：利用标量$\Leftrightarrow$标量的迹和迹的交换性；
$(5)$式到$(6)$式：举个例子展开写就明白了；
$(8)$式到$(9)$式：其实是$(7)$式到$(9)$式，注意对谁求期望和协方差的定义；
$(14)$式到$(15)$式：标量$\Leftrightarrow$标量的迹。

`PyTorch`官方函数的写法

最后$(15)$式中的结果与PyTorch中多元高斯分布KL散度的表达是一致的，half_term1就是$\dfrac{1}{2}\log \dfrac{|\Sigma_2|}{|\Sigma_1|}$，term2就是$tr\left(\Sigma_2^{-1}\Sigma_1\right)$，term3就是$\left(\mu_2-\mu_1\right)^T\Sigma_2^{-1}\left(\mu_2-\mu_1\right)$：

$\beta$散度的想法

其实本来是想计算$\beta$和$\gamma$散度的类似表达的…只是我真的算不出来…估计只能近似了。列个$\beta$散度的定义，有待研究。

$\displaystyle D_{\beta}(p(x)||q(x)) = \dfrac{1}{\beta}\int p(x)^{1+\beta}dx - \dfrac{\beta + 1}{\beta}\int p(x)q(x)^{beta}dx + \int q(x)^{1+\beta}dx. \tag{16}$

完整推导过程

部分推导细节

PyTorch官方函数的写法

$\beta$散度的想法

参考链接列表

`PyTorch`官方函数的写法