information-theory

我想更好地理解压缩算法（如zlib）的输出如何与理论预期进行比较。所以我有几个问题。（1）首先我想检查一下，我是否正确计算了压缩率。说我希望压缩的1000对那些阵列，我可以做以下 # encode the array such that len(s) == 1000 bytes s = np.ones(1000, dtype='uint8').tostring() # compress u

0热度

1回答

在Python中计算信息内容

我需要从两个Python列表中计算信息内容。我明白，如果概率是从列表的直方图计算出来的，我可以使用下面的公式。信息含量= sum_ij P（X_I，y_j）log_2（P（X_I，y_j）/（P（X_I）P（y_j））/ - 。sum_i P（Y_I）log_2 P（Y_I）是否有任何内置在Python API来计算信息内容感谢

0热度

1回答

如何高效地计算R中稀疏矩阵的PPMI？

我会术语和情境（根据条款而─矩阵之间认为R包之间text2vec，tm，quanteda，svs，qlcMatrix和wordspace会有一个函数来计算PPMI（正逐点互信息）长期（背景）共同发生） - 但显然不是，所以我继续前进，自己写了一个。问题是，糖蜜很慢，可能是因为我对稀疏矩阵不太好 - 而且我的tcms大约是10k * 20k，所以它们确实需要稀疏。据我了解，PMI = log(p(

0热度

1回答

Fisher信息矩阵

可以为任何矩阵计算Fisher Fisher信息矩阵吗？我正在做我的工作在图像处理领域的人脸识别。我如何计算我的输入图像上的Fisher信息矩阵（它确实是一个像素矩阵）？

-2热度

1回答

信息理论测量：熵计算

我有一个由数千行组成的语料库。为了简单起见，让我们考虑语料库为： Today is a good day I hope the day is good today It's going to rain today Today I have to study 如何使用上面的语料库计算熵？对熵的公式表示为：这是我的理解至今：皮指其为frequency(P)/(total num of ch

-1热度

1回答

Python中用于实数数据集的信息内容

此问题是对previous question的补充。我需要计算来自两个Python列表的信息内容。这些列表包含实数。我明白，如果概率是从列表的直方图计算出来的，我可以使用下面的公式。 sum_ij p(x_i,y_j) log_2 (p(x_i,y_j)/(p(x_i)p(y_j))/- sum_i p(y_i) log_2 p(y_i) 是否有任何内置的Python API来计算信息内容？