2011-01-28 56 views
3

是否有使用人工智能方法(如自然语言处理,社交智能等)防止垃圾邮件,不良语言等在人类输入中的研究/解决方案?使用人工智能预防垃圾邮件

+1

你的意思是http://en.wikipedia.org/wiki/Bayesian_spam_filtering? – 2011-01-28 13:20:12

回答

9

有很多这样的解决方案,我会介绍几个最广泛使用它们。

  1. Bayesian spam filtering是基于Bayesian probability一个经典的方法。这是一种古老的技术,所以如果你想使用它,可以考虑采用不同的启发式方法来改善结果(详见维基百科的文章)。

  2. 语义方法LSA。对于我来说,名为Random Indexing的LSA修改版给出了最好的结果,对于所有电子邮件的30%的训练样本,得分为〜99.3%。还有一种称为PLSA的技术,它结合了LSA和概率论。

  3. Support Vector Machine。与以前的方法相比,这些方法对于任何数量的类都是通用的,这种技术更适合分类到2个类,例如,垃圾邮件而非垃圾邮件。我从来没有尝试过,但许多论文都描述了用SVM进行分类的高效结果。

1

由于其简单性和可扩展性而引人注目的一种方法是crowd sourcing。当它和传统的AI方法一起使用时,它们可以防止几乎任何类型的垃圾邮件。例如,Stackoverflow使用像CAPTCHA这样的传统方法以及诸如投票和声誉之类的众包方法来过滤掉垃圾。

0

你会在ai-class.com上得到一个很好的介绍性的想法。机器学习模块具有用于垃圾邮件分类的视频。