2015-10-15 117 views
1

最近,我一直在讲课和课文,并试图理解SVM的使能如何用于更高维空间。支持向量机理解

在正常的逻辑回归中,我们使用这些特征。但是在SVM中,我们使用一个映射帮助我们获得非线性决策边界。

通常情况下,我们直接使用特征..但在内核技巧的帮助下,我们可以在数据中找到使用特征之间的关系。产品之间的关系等。这是正确的

我们在内核的帮助下做到这一点。

Now..i明白,一个多项式核对应于已知功能vector..but我无法理解什么高斯核相当于(有人告诉我vector..but什么无限维特征?)

另外,我无法通过掌握内核是训练样例之间的相似度量的概念。how is this is a part of the SVM's working?

我花了很多时间试图理解这些..但徒然。任何帮助将大大apprecciated!

感谢提前:)

+1

内核只是一个必须满足一些预定义属性(我不想列出它们,你可以自己找到它)的操作。在线性情况下,内核点积在非线性情况下被替换为(比方说)高斯内核。点积也是某种意义上的相似度量,因为如果它们之间的角度减小,则在两个向量之间得到更大的点积的结果。 –

+0

当我们使用svm时,为什么我们需要一个相似性度量值?根据我的理解,使用内核我们可以通过使用更高维特征向量来找到非线性决策边界。 –

+1

相似性是距离的倒数。对于线性情况,距离函数是简单的毕达哥拉斯距离,用线性向量操作实现。 “核心技巧”应用非线性距离函数。另一种考虑它的方式是内核技巧搜索距离度量标准,该距离度量标准将空间转换为分离超平面*为*线性的位置。 – Prune

回答

1

通常我们直接与features..but与核技巧的帮助下,我们可以使用features..product的平方之间etc..is发现数据关系工作这正确吗?

即使使用你仍然与功能工作,你可以简单地利用这些功能更复杂关系的内核。例如在您的示例中 - 多项式内核使您可以访问要素之间的低度多项式关系(例如正方形或要素的乘积)。

Now..i明白,一个多项式核对应于已知功能vector..but我无法理解高斯核对应于(有人告诉我vector..but什么无限维特征?)

高斯内核将您的特征向量映射到未归一化的高斯概率密度函数。换句话说,您将每个点映射到函数的空间,其中您的点现在是一个以此点为中心的高斯(其方差对应于高斯内核的超参数伽玛)。内核始终是向量之间的点产品。特别是,在函数空间L2我们定义了经典的点积作为一个整体在产品,所以

<f,g> = integral (f*g) (x) dx 

其中f,g是高斯分布。幸运的是,对于两个高斯密度,他们积的积分是也是高斯,这就是为什么高斯核与高斯分布的pdf函数如此相似。

此外,我无法理解内核是训练实例之间的相似性度量的概念..这是SVM工作的一部分吗?

如前所述,内核是一个点积,和点积可被视为相似性的量度(当两个矢量具有相同的方向被最大化)。然而,它不会以其他方式工作,您不能将每个相似性度量用作内核,因为不是每个相似性度量都是有效的点积。

+0

因此,我们可以利用原始属性之间的复杂关系。如何将其转化为高斯核心。如果我理解正确,那么应用于2个向量时的内核会给出一个相似度量度。如何在分类任务中提供这种帮助因此? –

+0

它有助于构建复杂的决策边界。支持向量机是一种线性模型,它只能表示线性依赖关系,因此决策边界是一个超平面。使用多项式内核,您可以在诱导空间中获得超平面,这将转化为输入空间中更复杂的决策形状。最后,在函数空间中导致超平面的rbf给出了一个决定边界,它是高斯线性组合(非常非线性) – lejlot