Stemming - 代码示例或开源项目？

Question

Stemming是标记系统所需要的。我使用美味，我没有时间管理和修剪我的标签。我对我的博客有点小心，但并不完美。我编写嵌入式系统的软件，如果它们包含词干，它将更加实用（对用户有帮助）。

例如：
解析
分析器
解析

应该都表示我把什么系统他们进入同样的事情。

理想情况下，某处有BSD授权的stemmer，但如果不是，我该如何学习常见算法和技术？

除了BSD stemmers外，还有哪些其他开源许可的stemmers？

- 亚当

Answer 1

Snowball词干（C & JAVA） 我用它的Python绑定，PyStemmer

Answer 2

Lucene在一个词干，我相信（IIRC和它可以让你用你自己的，如果你想）。

编辑：刚才检查，和Lucence指的是Snowball网站这是一个开源的词干库，据我所知。

Answer 3

退房Python编写的nltk toolkit。它有一个非常有用的stemmer。

Answer 4

词干的另一种选择是WordNet，以及one of its APIs。一些basic information on stemming and lemmatization，包括波特干扰算法的描述，可以在网上找到Introduction to Information Retrieval。