为什么我会得到负面的信息收益？

Question

[求助]

我的错误是，我没有意识到如果所有的都是一种类型，熵是0。因此，如果全部都是正的，熵是0，并且如果全部都是负的，它也是零。如果等于正数和负数，熵将为1。

这是没有任何意义的，会得到负面的信息收益。

但是基于这个例子，我得到了负面的信息收益。

这里是数据：

如果我计算的湿度属性的信息增益，我得到这样的：这里

显然我失去了一些东西。编辑： 澄清我如何理解它。

整个系统的熵定义为：

在这种情况下则是：

而且每个属性附加伤害的信息增益定义为：

这对于湿度我估计到：

系统的熵 - （1/4）湿度正常的熵 - 湿度高

按照这个自由报办公室计算器（3/4）熵：

或者是我对属性信息增益公式的理解不正确？

Answer 1

首先，我假设你的S变量是EnjoySport。 （我认为你可以更清楚地描述文本，顺便说一句）。

所以熵的S是0.8113，但这是我同意的最后一部分。

熵的S给出正常为0，因为它是确定性的。

给出高小号的熵是0.91829583405448945，但你需要乘上0.75，因为这是正常的概率。所以这给了你0.68872187554086706。

与预期的不同之处在于非负数。

---

注意，信息增益为expected difference in Entropy，并期望需要考虑的条件概率事件。