NLTK和语言检测

Question

如何检测使用NLTK编写文本的语言？

我见过的例子使用nltk.detect，但是当我在我的Mac上安装它时，我找不到这个包。

Answer 1

你有没有遇到下面的代码片段？

english_vocab = set(w.lower() for w in nltk.corpus.words.words()) 
text_vocab = set(w.lower() for w in text if w.lower().isalpha()) 
unusual = text_vocab.difference(english_vocab) 

从http://groups.google.com/group/nltk-users/browse_thread/thread/a5f52af2cbc4cfeb?pli=1&safe=active

或者下面的演示文件？

https://web.archive.org/web/20120202055535/http://code.google.com/p/nltk/source/browse/trunk/nltk_contrib/nltk_contrib/misc/langid.py

Answer 2

虽然这不是在NLTK，我曾与另一种基于Python库很大的成绩：

https://github.com/saffsd/langid.py

这是非常简单的导入和包括大量的语言在其模型中。

Answer 3

这个图书馆不是来自NLTK，但肯定有帮助。

$ sudo的PIP安装langdetect

支持Python版本2.6，2.7，3.x的

>>> from langdetect import detect 

>>> detect("War doesn't show who's right, just who's left.") 
'en' 
>>> detect("Ein, zwei, drei, vier") 
'de' 

https://pypi.python.org/pypi/langdetect?

P.S .:不要指望这总是正确的工作：

>>> detect("today is a good day") 
'so' 
>>> detect("today is a good day.") 
'so' 
>>> detect("la vita e bella!") 
'it' 
>>> detect("khoobi? khoshi?") 
'so' 
>>> detect("wow") 
'pl' 
>>> detect("what a day") 
'en' 
>>> detect("yay!") 
'so'