接上文：信息论随笔2: 交叉熵、相对熵，及上上文：信息论随笔
在读《数学之美》的时候，相关性那一节对TF-IDF模型有这样一句描述：“其实 IDF 的概念就是一个特定条件下、关键词的概率分布的交叉熵（Kullback-Leibler Divergence)”；
当时尚不明白，等我看懂交叉熵与相对熵之后，再看TF-IDF，略有所获，本想与上一篇合写在一起的，但越写越多，于是单独成文；
文档的信息量
一篇文档由m个词组成
\( d = (w_{1}, w_{2}, w_{3}, ......, w_{m} ) \)
这篇文档d成文的概率是
\( p(d) = p(w_{1}, w_{2}, w_{3}, ......, w_{m}) \)
这篇文档d的自信息量是
\( I(d) = -log_{2}p(d) = -log_{2}p(w_{1}, w_{2}, w_{3}, ......, w_{m}) \)
假设1：每个词的出现是独立事件，则有
\( p(w_{1}, w_{2}, w_{3}, ......, w_{m}) = p(w_{1})p(w_{2})p(w_{3})......p(w_{m}) \)
这篇文档d的自信息量是
\( I(d) = -log_{2}p(w_{1}, w_{2}, w_{3}, ......, w_{m}) = -log_{2}p(w_{1})-log_{2}p(w_{2})-log_{2}p(w_{3}) ...... -log_{2}p(w_{m}) \)
\( = I(w_{1}) + I(w_{2}) + I(w_{3}) + ...... + I(w_{m}) \)
至此，得到一个很显而易见的结论，结论1：在假设1条件下，一篇文档的信息量是组成它的所有词的信息量之和；
再考虑到词可能出现重复，设m个词中共有k个不重复词，每个词的重复次数是\( n_{k} \)，则：
这篇文档d的自信息量是
\( I(d) = n_{1}I(w_{1}) + n_{2}I(w_{2}) + n_{3}I(w_{3}) + ...... + n_{k}I(w_{k}) \)
\( = \sum\limits_{i=1}^{k}n_{i}I(w_{i}) \)
词的概率分布估计
在上面文档信息量公式中，需要计算每个词的自信息量，但事实上这是做不到的，因为一个词在语言中的真实概率分布是不可知的，只能进行估计；
设我们估计得到的词概率分布为q；通常求q的方法可以是统计一个比较大的语料库中各个词的出现概率，为了迎合 IDF是KL散度的一说法，我只能再把《数字之美》中的两个假设拉进来；
假设2：每篇文档大小基本相同，都为m个词；
假设3：一个词如果出现在文档中，则在每个文档中出现的次数都相同；（注：我也觉得这个假设太过理想了）
有了以上假设后，我们可以估计每个词的概率分布进而求解其信息量了；
设共有D篇文档，每篇文档有m个词，其中包含词\(w_{i}\)的文档有\(D(w_{i})\)篇，有：
\( q(w_{i}) = \frac{n_{i}D(w_{i})}{mD}\)
设词\(w_{I}\)在文档d中的真实概率分布为p'，于是：
\( p'(w_{i}) = \frac{n_{i}}{m} \)
然后把p'、q套进相对熵公式：
\( D_{KL}(p' || q) = \sum\limits_{i=1}^{k}p'(w_{i})log_{2}\frac{p'(w_{i})}{q(w_{i})} \)
\( = \sum\limits_{i=1}^{k} \frac{n_{i}}{m} log_{2}\frac{n_{i}/m}{ n_{i}D(w_{i})/mD} \)
\( = \sum\limits_{i=1}^{k} \frac{n_{i}}{m} log_{2}\frac{1}{D(w_{i})/D} \)
\( = \sum\limits_{i=1}^{k} TF(w_{i})IDF(w_{i}) \)
由此得到一个结论，结论2：利用假设1、2、3条件下的词概率分布估计一个文档中某个词W的可能性所多产生的不确定性就是d中所有词的TF-IDF之和；
这个结论2写得有点拗口，只是尽力让结论成一句话，下面试着多写几句话进行解释：
- 首先，这个结论基于特定的条件，即假设1、2、3所设定的条件；
- 在这个特定条件下，我们得到了一种关于词概率分布的估计q；
- 用q去估计文档d中某个词W的可能性是浪费的，因为q几乎不可能与文档d中的真实词概率分布p'相同，交叉熵大于等于信息熵，即相对熵恒大于0；
- 以上相对熵是描述d中的某个词时的相对熵（多出来的不确定度）；重要的事情说三遍，某个词、某个词、某个词；
- 对文档d中的所有词求TF-IDF之和，就是这个相对熵；
- 每个词的TF-IDF，是对这个相对熵的贡献，其中IDF是对相对熵的关键贡献值，TF是个权重；这应该就是吴军在《数学之美》中所讲的“IDF 的概念就是一个特定条件下、关键词的概率分布的交叉熵（Kullback-Leibler Divergence)”，只不过在中英文对照上出了问题，KL散度应该对应是相对熵，而相对熵与交叉熵在很多时候又分不清楚；
- 当这个相对熵（TF-IDF之和）越大，q对文档d的描述越差，说明文档d的内容指向性越强，因为q是对整个语言中所有词的概率分布的估计；当这个相对熵越小（TF-IDF之和）越小，q对文档d的描述越好，说明文档d的内容指向性越差，越可能是随机按q选取词堆砌成文；
词交叉熵与文档估计信息量
上面既然推算出了相对熵，那再来看看交叉熵；
同样将p'、q带入交叉熵公式：
\( H(p', q) = -\sum\limits_{i=1}^{k}p'(w_{i})log_{2}q(w_{i}) \)
\( = \sum\limits_{i=1}^{k} \frac{n_{i}}{m} I'(w_{i}) , 设 I'(w_{i}) = -log_{2}q(w_{i}) \)
\( = \frac{1}{m} \sum\limits_{i=1}^{k} n_{i}I'(w_{i}) \)
\( = \frac{1}{m} I'(d) \)
即：
\( I'(d) = mH(p', q) \)
上面说过了，因为我们无法获知一个词的真实自信息量，所以无法获知文档d的真实自信息量，但我们引入假设2、3条件后，可以用q做估计，从而得到在q概率分布下，文档d的估计信息量，就是这个I'(d)；
这个I'(d)为啥是交叉熵的m倍？还记得上面那个说三遍吗，不管是这里的交叉熵还是相对熵，都是与某个词有关的熵；而文档d有m个词，当然信息量会翻m倍了；
例子：
仍然使用上一篇随笔中的例子：
含有4个字母(A,B,C,D)的数据集，组成了一篇文档d，d的内容只有两个字母“AB”，我们不知道数据集元素的真实分布p，只知在文档d内p‘=(1/2, 1/2, 0, 0)；
如果使用p'来编码，H(p') = 1，每个字母使用一位编码，设定"A" = 0, "B" = 1，则d=01，文档d的编码长度为2；
根据假设2、3条件，共有12篇文档，每篇长度是2（假设2），且每个字母在所有包含它的文档中出现次数都相同（假设3），分别是
AB AC AD
BA BC BD
CA CB CD
DA DB DC
得到估计分布q=(1/4, 1/4, 1/4, 1/4)，使用q来编码，则得到H(p’,q)=2，每个字母需要2位编码来识别，设定"A" = 00, "B" = 01, "C" = 10, "D" = 11；则d=0001，文档d的编码长度为4；
字母的交叉熵是2，相对熵是1，文档d的估计信息量为4；
IDF(A) = log(12/6) = 1，IDF(B) = log(12/6) = 1；
TF(A)*IDF(A) + TF(B) *IDF(B) = 1/2* 1 + 1/2 * 1 = 1，与相对熵相等；