迭代的条件模式E步骤EM

Question

我想知道在EM算法中使用ICM作为E步骤的近似的数学理由是什么。

正如我在E步骤中所理解的，我们的想法是找到一个等于潜变量后验分布的分布，它保证了可能性增加或从一些简单的分布族中找到最佳可能分布，似然函数的下界增加。

在这样的E步骤中，如何在数学上证明使用ICM？任何参考/派生/笔记都会非常有帮助。

感谢您的帮助。

Answer 1

让我们考虑一个简单的CRF，它代表给定观察（x）的标记（y）的可能性。也假定可能性取决于参数\ theta。在推论中，你只知道x并试图推断y。你简单的做法是应用EM算法以E步找到标记y（argmax P（y | x，\ theta））的方式，M步找到参数\ theta（argmax P（\ theta | x，y）） 。 M步骤可以通过使用任何优化算法来完成，因为\ theta通常不是高维的（至少不高于y的维度）。 E步骤只是对无隐藏变量的MRF/CRF进行推理，因为\ theta是单步优化的。 ICM是一种用于执行推理的算法。如果你想参考，你可以简单阅读墨菲的书http://www.cs.ubc.ca/~murphyk/MLbook/，我想第26章是相当相关的。