2014-10-05 145 views
2

我想在Python中使用sk-learn运行通常的线性回归,但我有一些分类数据,我不知道如何处理,特别是因为我导入了数据大熊猫read.csv(),我从之前的经验中得知,读到熊猫和sk-learn并没有相处得很好(还)。使用分类变量sklearn的线性回归

我的数据是这样的:使用AtBat

Salary AtBat Hits League EastDivision 
475  315  81  1  0 
480  479  130  0  0 
500  496  141  1  1 

我想预测薪水,命中,联赛和EastDivision,在联赛和EastDivision是绝对的。

如果我通过numpy的loadtext()导入数据,我得到一个numpy数组,理论上我可以使用sklearn,但是当我使用DictVectorizer时出现错误。我的代码是:

import numpy as np 
from sklearn.feature_extraction import DictVectorizer as DV 

nphitters=np.loadtxt('Hitters.csv',delimiter=',', skiprows=1) 
vec = DV(sparse = False) 
catL=vec.fit_transform(nphitters[:,3:4]) 

而我得到的错误,当我运行的最后一行catL=vec.fit_transform(nphitters[:,3:4]),误差

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
    File "/usr/lib/python2.7/dist-packages/sklearn/feature_extraction/dict_vectorizer.py", line 142, in fit_transform 
    self.fit(X) 
    File "/usr/lib/python2.7/dist-packages/sklearn/feature_extraction/dict_vectorizer.py", line 107, in fit 
    for f, v in six.iteritems(x): 
    File "/usr/lib/python2.7/dist-packages/sklearn/externals/six.py", line 268, in iteritems 
    return iter(getattr(d, _iteritems)()) 
AttributeError: 'numpy.ndarray' object has no attribute 'iteritems' 

我不知道如何解决它,而另一件事是,一旦我得到分类数据的工作,我该如何运行回归?就好像分类变量是另一个数字变量一样?

我发现了几个类似于我的问题,但他们都没有真正为我工作。

回答

1

基本上发生的事情是要传递的1和0组成的向量,将采取键和值(如字典)的功能,并创建一个表,你

D = [{'foo': 1, 'bar': 2}, {'foo': 3, 'baz': 1}] 

将成为

array([[ 2., 0., 1.], 
     [ 0., 1., 3.]]) 

|bar|baz|foo |<br> 
|---|---|-----|<br> 
| 2 | 0 | 1 |<br> 
| 0 | 0 | 3 |<br> 

读:http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.DictVectorizer.html

对于您的情况,数据已准备好进行线性回归,因为功能联盟和东区分区已经是假的了。

+0

关于熊猫和sklearn,他们在一起工作得很好。这只是一个习惯它的问题。如果你只想要价值,。数据帧末尾的值 – 2014-10-08 23:39:56

+0

是的,我后来看到我的数据已准备好;并找出了一些使sklearn和熊猫一起工作的方法。非常感谢! – 2014-10-28 22:34:57

+0

嘿,马里奥。小心分享一个描述你可以让Pandas和Sklearn很好地结合在一起的方式的链接?谢谢。 – 2017-04-03 02:24:37

2

它看起来像.fit_transform()预计dict.loadtxt()创建一个numpy数组。

在用pandas读取数据后,您可以使用.to_dict()

0

scikit学习有两个新的功能,这对你

sklearn.preprocessing.LabelBinarizer 
sklearn.preprocessing.LabelEncoder 

如果你想在一行中处理多个值,

sklearn.preprocessing.MultiLabelBinarizer 

做到这一点。例如:

array = [(dog, cat),(dog),(dog,fish)] 
mb = MultiLabelBinarizer() 
mb.fit_transform(array) 

>> array([1, 0, 1, 0, 0, 0], 
     [0, 1, 0, 0, 1, 1], 
     [0, 0, 1, 1, 0, 0]])