使用knn分类器的边界决策

Question

我想找到边界决策函数来分类我的数据。这是他们的一个例子。

"Distance","Dihedral","Categ" 
    4.083,82.267,C 
    4.132,87.073,C 
    4.713,-80.999,C 
    3.427,-48.144,NC 
    3.663,96.994,C 
    3.99,71.919,C 
    3.484,78.684,C 

到目前为止，我有knn模型，但我想绘制非线性决策边界。在我搜索的例子中，有一些变量我不知道在哪里使用它们或者它们是什么意思。我正在谈论我在“统计学习元素”一书中找到的这个例子

library(ElemStatLearn) 
require(class) 
x <- mixture.example$x 
g <- mixture.example$y 
xnew <- mixture.example$xnew 
mod15 <- knn(x, xnew, g, k=15, prob=TRUE) 
prob <- attr(mod15, "prob") 
prob <- ifelse(mod15=="1", prob, 1-prob) 
px1 <- mixture.example$px1 
px2 <- mixture.example$px2 
prob15 <- matrix(prob, length(px1), length(px2)) 
par(mar=rep(2,4)) 
contour(px1, px2, prob15, levels=0.5, labels="", xlab="", ylab="", main= 
     "15-nearest neighbour", axes=FALSE) 
points(x, col=ifelse(g==1, "coral", "cornflowerblue")) 
gd <- expand.grid(x=px1, y=px2) 
points(gd, pch=".", cex=1.2, col=ifelse(prob15>0.5, "coral", "cornflowerblue")) 
box() 

px1和px2究竟是什么？我是否需要类似的变量来处理特定情况？

非常感谢您的帮助！

Answer 1

我已重写并注释了示例，以说明发生了什么。

该示例构造了一个测试集，它只是一个扩展网格，可以转换整个测试集。因此，px1是描述测试数据网格x分量的向量，px2与y相似。然后xnew是expand.grid()的结果。

请尝试下面的代码，在这里应该合理清楚。我还修改了k值，并提供了一种使用您选择的时间间隔构造xnew的简单方法。

library(ElemStatLearn) 
require(class) 

# Use the training data from mixture.example 
x <- mixture.example$x 
g <- mixture.example$y 

# Construct a test grid using the extent of the training data 
xx_range <- round(range(x[, 1]), 1) 
xy_range <- round(range(x[, 2]), 1) 

nnn <- 0.1 
px1 <- seq(xx_range[1], xx_range[2], by = nnn) # vector with x extent 
px2 <- seq(xy_range[1], xy_range[2], by = nnn) # vector with y extent 
xnew <- as.matrix(expand.grid(px1, px2))  # matrix of new values 

# Train a model 
k <- 10 
mod15 <- knn(x, xnew, g, k=k, prob=TRUE) 
prob <- attr(mod15, "prob") 
prob <- ifelse(mod15=="1", prob, 1-prob) 
prob15 <- matrix(prob, length(px1), length(px2)) 

# Plot the results 
par(mar=rep(2,4)) 
contour(px1, px2, prob15, levels=0.5, labels="", xlab="", ylab="", main= 
      sprintf("%d-nearest neighbour", k), axes=FALSE) 
points(x, col=ifelse(g==1, "coral", "cornflowerblue")) 
points(xnew, pch=".", cex=1.2, col=ifelse(prob15>0.5, "coral", "cornflowerblue")) 
box()