根据URL自动确定网站页面的自然语言

我正在寻找一种方法来自动确定网站页面使用的自然语言，因为它的URL。根据URL自动确定网站页面的自然语言

在Python中，函数，如：

def LanguageUsed (url): 
    #stuff

它返回一个语言说明（例如， 'en' 代表英语， 'JP' 的日本，等...）

汇总结果：我有一个合理的解决方案，使用code from the PyPi for oice.langdet在Python中工作。它在辨别英语与非英语方面做得不错，这是我目前所需要的。请注意，您必须使用Python urllib获取html。另外，oice.langdet是GPL许可证。

有关使用Python中Trigrams的更一般解决方案，请参见Python Cookbook Recipe from ActiveState。

Google Natural Language Detection API工作得很好（如果不是我见过的最好的）。但是，它是Javascript和他们的TOS禁止自动使用它。

来源

2009-07-22 Travis

这通常通过使用字符n-gram模型来完成。您可以找到here Java的最新语言标识符。如果你需要一些帮助将它转换为Python，请问。希望能帮助到你。

来源

2009-07-22 19:28:33

nltk可能会有帮助（如果你必须要处理页面的文本，即如果标题和url本身不能确定你的目的语言足够好）;我不认为NLTK直接提供了一个“告诉我这个文本使用哪种语言”的功能（虽然NLTK很大并且不断增长，所以它实际上可能有），但是你可以尝试根据各种可能的方式解析给定的文本自然语言并根据每种语言的规则检查哪些语言给出了最明智的语法分析，wordset，& c。

来源

2009-07-22 18:53:26

没有一种通用的方法可以单独使用URL。您可以检查top-level domain以获得一些想法，并查找可能指示某种语言（例如两个斜线之间的“en”或“es”）的URL部分，并假设任何未知的内容都是英文的，但它不是'一个完美的解决方案。

据我所知，确定页面使用的自然语言的唯一通用方法是抓取页面的文本并检查每种语言中的某些常见单词。例如，如果页面中出现多次“a”，“an”和“the”，则可能包含英文文本; “el”和“la”可能会提示西班牙语;等等。

来源

2009-07-22 19:00:32

你最好的选择确实是使用Google's natural language detection api。它返回页面语言的ISO代码，并带有概率索引。

见http://code.google.com/apis/ajaxlanguage/documentation/

来源

2009-07-22 19:19:06