information-theory

1热度

3回答

我正在学习信息论，但有一件事我看起来似乎没有解决。我知道给出的线性码C和生成矩阵MI可以计算出C.的所有可能的码字但是我不明白：什么的奇偶校验矩阵是http://en.wikipedia.org/wiki/Parity-check_matrix 如何使一个奇偶校验矩阵从生成矩阵我会很感激任何指针！谢谢！

2热度

1回答

什么部分的数字有更多的熵？

给出的序列PF号N, N, N...从一些源，而不是一个PRNG但说某种传感器或测井数据，是可以安全地假设处理像这样 Nn/ B = Qň Rem Mn 将导致比顺序M少巡航能力熵序列Q吗？注意：假设B是这样的：Q和M具有相同的大小范围。这与the observation that most real world data sets, regardless or there source,

0热度

3回答

斐波纳契编码

任何人都可以提出一个很好的书/纸/网站/后台阅读有关整数通用代码，尤其是菲波纳契码（在http://en.wikipedia.org/wiki/Fibonacci_code的意义上）？谢谢！编辑：谢谢你的答案也是迄今为止有用的链接！如果我没有让自己完全清楚，我很抱歉：我不是在询问代码（如在编写程序时）来生成或计算斐波纳契数字，而是关于使用的特定代码（如编码或压缩数据）斐波纳契数字。与Google

2热度

2回答

错误校正码上限

如果我想发送一个d位数据包并添加另一个r位用于纠错码（d> r）最多可以找到和纠正多少个错误？

7热度

1回答

请介绍一下信息理论，好吗？

我知道Wikipedia和麦凯的Information Theory, Inference, and Learning Algorithms（这是适合作为教科书？）。从香农的熵开始并经历条件熵和相互信息的教科书被寻求......任何想法？如果你正在大学里学习这样的课程，哪本教科书被使用？谢谢。

1热度

1回答

如何在两步决策中计算信息熵？

我有一个问题，我认为涉及信息理论领域的“条件熵”。我正在试图绕过它，但可以使用一些帮助。考虑一个我们有四座房屋的例子。第一宫有八人，第二宫有四人，第三宫有两人，第四宫有两人。所以，四间房子和十六个人。如果我随便选择这些人中的一个，那么这个选择就是来自十六个人中的一个人的选择，这个选择产生了4比特的信息熵。但现在考虑一个两步筛选中，第一次我选择一个房子在随机的，那么，我选择在选择房子的人之一。所以

0热度

2回答

计算相互信息

假设M是一组对象m，每个对象都有属性X和Y.现在，如果X和Y对于给定的m只能有一个值（即X，Y是随机变量P（X = x_i | M = m_i），P（Y = y_i | M = m_i）），可以计算X和Y的互信息。但是如果X可以一次有多个结果会怎么样呢？即对于m_3 X = {x1，x2} - 通常X的结果是所有可能结果的子集。在这种情况下，可以测量互信息还是其他衡量依赖性的方法？是否有可能将X

7热度

1回答

压缩实例

从我的算法教材：年县赛马带来三个纯种从来没有谁对彼此竞争。兴奋的是，你研究了他们过去的200场比赛，并将这些比赛概括为四个结果的概率分布：第一个（“第一名”），第二名，第三名和其他。 Outcome Aurora Whirlwind Phantasm first 0.15 0.30 0.20 second 0.10 0.05