stop-words

0热度

1回答

我很喜欢在MySQL中执行全文搜索，但是我特别感兴趣的单词往往是简短单词或可能会出现的单词在停止列表中。例如，我可能想要搜索以“它是”开头的所有条目。这是最好的方法是什么？我是否应该手动删除所有停用词并将最小词长度设置为0？还是有另一种方法来做到这一点？非常感谢。

3热度

1回答

寻找twit和文本消息风格的停止词

我已经使用R来挖掘tweets，并且我得到了tweets中使用的最频繁的词。然而，最常见的词是这样的： [1] "cant" "dont" "girl" "gonna" "lol" "love" [7] "que" "thats" "watching" "wish" "youre" 我正在寻找趋势和文本中的名称和事件。我想知道是否有方法从语料库中删除这种文本消息风格的单词（如

1热度

2回答

如何从一个文本文件中的R读取停止词列表

可能重复： Read a Text File into R 我有一个自定义停止字，这与换行符分隔的文本文件如何在我的R脚本中使用该文件？代码： my_stopwords <- c(stopwords(),"aint","wanna","gonna",...) 唯一的问题是我想读的，而不是硬编码他们像上面从该文件中的话。我的文本文件看起来像这样： "aint" "wanna" "gonna

0热度

2回答

如何覆盖lucene中的停用词

我在我的文件夹中创建了一个Lucene索引，并将索引txt文件的内容。我希望我的内容没有停用词索引，但是在通过分析器之后，实际上在搜索时将我停用了停用词，但是我都是文本索引。我把下面的代码： IndexWriter writer = new IndexWriter(new SimpleFSDirectory(indexDir), new SpanishAnalyzer(Ver

0热度

2回答

哪些词可以省略？

我正试图在两个句子之间找到一些相似性度量。我使用了两个单词的单个语义相似性。但是我从我的句子中得出的字典中有很多词。我想从句子中删除一些我不认为传达关于内容的信息的单词。首先，我用较少的字母删除单词，但我认为它不可重复使用，因为它也删除了一些内容丰富的单词。看一些句子这里 "Despite the fact that ..." "There's a debate such that ..."

4热度

1回答

在java中使用多个分隔符分割字符串

我正在研究一种数据挖掘算法，我需要使用多个词来标记字符串。我有一个包含所有停用词的单独文件。我需要做的是通过作为分隔符的任何单词（stopword）来标记输入字符串。例如。如果文件中包含禁用词为一个是和是和输入字符串来是 “计算机集群由一组工作松散连接的计算机一起“ 输出为计算机集群包括集合级松散连接的计算机一起工作检查，对所有禁用词串递归会很耗时？有没有什么好的方法呢？

4热度

1回答

Solr的高亮停用词

schema.xml中（部分涉及到我的问题）： <field name="question" stored="true" type="text" multiValued="false" indexed="true"/> <field name="question_highlight" stored="true" type="string" multiValued="false" indexed=

0热度

2回答

Perl从多个文件中删除停止词

我已经阅读了很多关于如何从文件中删除停用词的表单，我的代码删除了很多其他的东西，但我还想包括停用词。这是我到达的距离，但我不知道我错过了什么。请咨询 use Lingua::StopWords qw(getStopWords); my $stopwords = getStopWords('en'); chdir("c:/perl/input"); @files = <*>; forea

2热度

2回答

如果用户查询仅包含停用词，是否可以从Solr返回所有结果？

我希望Solr在用户查询仅包含停用词时返回所有结果，例如q = the，（默认情况下Solr返回0结果）。 Solr配置中是否有任何标志可以打开，或任何可用于实现此目的的Solr查询语法构造？我真的不喜欢在客户端复制停止字逻辑和射击q=*:*如果所有条件都停止字的想法。

1热度

1回答

斯卡拉停止字

我想从我的鸣叫数据删除以下OCCURENCES：任何与@（如@nike）东西开始：// 在我的scala脚本中，我有停用词，但它们必须完全匹配输出。有没有办法添加诸如@ *或：// *这样的停用词，这将解释我想要删除的单词的所有可能性？ val source = CSVFile("output.csv") val tokenizer = { SimpleEnglishTokenizer(