KD

KL-Based Divergences 给定两个离散分布$P(\mathcal C)$和$Q(\mathcal C)$，它们的KL散度定义为： $$ \mathcal D_{KL}(P\Vert Q)=\sum_{c\in\mathcal C}P(c)\log\frac{P(c)}{Q(c)} $$ 由于KL散度的不对称性：$\mathcal D_{KL}(P\Vert Q)\neq \mathcal D_{KL}(Q\Vert P)$，定义前向KL散度（forward KL）为$\mathcal D_{KL}(P\Vert Q)$，定义反向KL散度（reverse KL）为$\mathcal D_{KL}(Q\Vert P)$。 ...