GDA（高斯判别分析）的对数似然函数

我无法理解Andrew Ng的CS229笔记中给出的GDA的似然函数。（φ（y（i）| y（i）;μ0，μ1，Σ）p（y（i）;φ ）}GDA（高斯判别分析）的对数似然函数

链路是http://cs229.stanford.edu/notes/cs229-notes2.pdf页面5.

对于线性回归函数是乘积从i到熔点（Y（I）| X（ⅰ）; THETA），其对我有意义。为什么在这里有一个变化，说它是由p（x（i）| y（i）给出的并且它乘以p（y（i）; phi）？在此先感谢

2015-09-06 Sridhar Thiagarajan

第5页是

l(φ,µ0,µ1,Σ) = log <product from i to m> p(x_i, y_i;µ0,µ1,Σ,φ)

留出的参数φ,µ0,µ1,Σ现在，可以简化为

l = log <product> p(x_i, y_i)

使用链式法则，你可以进行转换的任何

l = log <product> p(x_i|y_i)p(y_i)

或

l = log <product> p(y_i|x_i)p(x_i).

在5页式，所述φ移动到p(y_i)，因为只有p(y)依赖于它。

的可能性开始与联合概率分布p(x,y)代替的条件概率分布p(y|x)，这就是为什么GDA被称作生成模型（模型从X到Y和从Y到X），而logistic回归被认为是一种歧视性模型（从x到y的模型，单向）。两者都有其优点和缺点。关于下面的内容似乎有一章。

来源

2015-09-06 18:29:45 aleju

嗨，给予x（可能是矢量）和y值（0或1）的训练集。什么是p（x_i，y_i），即联合概率denssity函数表示它的含义。模型我明白，为了使θ最大化的可能性最大化，我从mp到mp（y_i，x_i）..在这种情况下，可能性是参数mu，phi和sigma。关节pdf在这里表示的是什么.. –

[联合概率分布]（https://en.wikipedia.org/wiki/Joint_probability_distribution）对两个（或更多）随机变量的联合分布建模。例如。如果知道P（X，Y），可以估计p（X = 1，Y = 0），p（X = 15，Y = 1），p（X = ，Y = 1）= p（Y = 1 ），p（X = 1，Y = ），...而在条件分布P（Y | X）中，你不知道X的分布情况。就像有人把你随机的X值和你所能做的就是告诉他们的Y值，也就是说你不能从y向x后退。 – aleju

GDA（高斯判别分析）的对数似然函数

回答

相关问题