结果已知的条件熵

Question

我有一个关于熵和信息流的问题。假设X = {-1,1};这意味着它可以是-1或1，和Y的以下分配：

Y := X * X 

我的问题是，Y的值，分配后，将始终是1，如果X = -1，则Y = 1，如果X = 1，那么Y = 1。知道这一点，我仍然可以假设条件熵H（X/Y）= 0，因为知道X总会告诉你Y的值。另一方面，条件熵H（Y/X）= 1.0，因为知道Y不会给我X的价值。我是否正朝着正确的方向思考？请帮助

Answer 1

你是部分正确的，尽管看起来你已经在你的符号和你的定义中相当“交换”了。

H(X|Y) is entropy of X given Y rather than entropy of Y given X. 

此外，你应该尝试更仔细地看看这里的情况。既然X和Y之间有非常明确的关系，那就意味着Y = f（X）。在这种情况下，就像你所说的那样，条件熵是总是 0（但是你被换成了你的符号）。因此，它应该是

H(Y|X) = 0 

在另一方面，如果你有Y，你完全不知道什么是X和两个-1和1有等于概率线索。所以在这种情况下，

H(X|Y) = 1