NLTK从CSV中删除停用词

Question

虽然这是一个常见问题，但我无法找到适用于我的案例的解决方案。我有数据，这是逗号分隔如下。

['my scientific','data']['is comma-separated','frequency'] 

我试图使用

from nltk.corpus import stopwords 
stopword = stopwords.words('english') 
mynewtext = [w for w in transposed if w not in stopword] 
out_file.writerow(w) 

去除停止词，但它给了我一个错误说“UnicodeWarning：统一等于比较未能两个参数为Unicode转换 - 将它们解释为不平等” 。我不确定我犯了什么错误。我想我的csv文件输出到像

scientific,data 
comma-separated,frequency 

而且，我希望它为这两种情况下，上下工作。 casefield在我的Python版本中不起作用2.7

Answer 1

尝试

# -*- coding: utf-8 -*-, 

在你的源代码中的头。

它告诉Python，您保存的源文件是utf-8。 Python 2的默认值是ASCII（对于Python 3它是utf-8）。这只会影响解释器如何读取文件中的字符。

Answer 2

我认为您在上面的代码中将str object与unicode object进行了比较。

我建议你去看看在链接Python unicode equal comparison failed

>>> s1 = u'Hello' 
>>> s2 = unicode("Hello") 
>>> type(s1), type(s2) 
(<type 'unicode'>, <type 'unicode'>) 
>>> s1==s2 
True 
>>> 
>>> s3='Hello'.decode('utf-8') 
>>> type(s3) 
<type 'unicode'> 
>>> s1==s3 
>>>True