计算固定数据集的两个分类器之间的互信息

Question

搜索完网页后，我无法回答我的问题。例如，有一些公式可以计算两个分类器之间的熵。

如何计算互信息？

Answer 1

考虑我们有两个随机变量X和Y.这两个统计变量之间的相互信息由I(X,Y) = H(X) + H(Y) − H(X,Y)定义，其中H(X)是 熵变X的，H(X,Y)是两个变量的联合熵，并H(Y|X) = H(X,Y) − H(X)是有条件 熵测量变量Y的不确定性给变量的值X。这两个变量之间的MI测量给定另一个变量值的一个变量的不确定性减少量。