stop-words

0热度

1回答

我已经创建了一个简单的词计数程序，并且试图从我的列表中使用nltk（参见下文）过滤掉常用词。我的问题是如何将我的“停止”过滤器应用到我的“频率”列表？ #Start from nltk.corpus import stopwords import re import string frequency = {} document_text = open('Import.txt', 'r'

0热度

1回答

错误：'文件'对象没有'lower'属性

我正在玩一个停用词过滤器我向脚本提供包含文章的文件的路径。但是我得到的错误： Traceback (most recent call last): File "stop2.py", line 17, in <module> print preprocess(sentence) File "stop2.py", line 10, in preprocess sentence = sent

1热度

1回答

“input string 1 is invalid UTF-8”in removeWords function

我已经浏览了Stack Overflow的所有问题，关于为什么removeWords不工作，对我而言，这不是已经发布的原因。这是我有： setwd("not shown") filenames<-list.files(getwd(),pattern="*.txt") files<-lapply(filenames,readLines) docs<-Corpus(VectorSource(f

-1热度

2回答

从C＃中的文本文件中删除停用词＃

我读了两个文本文件：第一个包含阿拉伯文本，我将它分开。第二个包含停止词。我想删除从第一个文件中的任何停止字（第二档），但我不知道如何做到这一点： FileStream fs = new FileStream(@"H:\\arabictext.txt", FileMode.Open); StreamReader arab = new StreamReader(fs,Encoding.Defaul

1热度

1回答

使用NLTK编码问题

我试图抓取一个非常'右侧'的网站来进行关于仇恨和种族主义检测的研究，所以我的测试内容可能会受到攻击。我试图删除一些停用词和标点符号在Python中，我使用NLTK，但我遇到了一个编码问题...我使用Python 2.7和数据来自一个文件，我填写文章从网站我爬到： stop_words = set(nltk.corpus.stopwords.words("english")) for key,

0热度

1回答

在Fulltextsearch中查找单词'x ++'SQLServer

我试图在我的完全索引字段中为'x ++'这个词编制索引，但我不知道如何。我认为问题在于'+'字符不包含在索引列表字符中。执行查询： SELECT * FROM sys.dm_fts_index_keywords(DB_ID('my_db'), OBJECT_ID('my_table')) 我注意到，这项工作“C++”被索引，所以我认为应该有一种方式来问我的SQLSERVER索引特定的词（“C

3热度

1回答

Solr - 使用最小匹配= 100％配置SeachHandler的SeachComponent，并且仍然忽略搜索查询中的停用词

我们使用solr.StopFilterFactory配置了索引分析器。所以停用词没有编入索引。我们还配置了solr.StopFilterFactory我们的查询分析器，因为我们想停止词从搜索查询项 <analyzer type="query"> <tokenizer class="solr.StandardTokenizerFactory"/> <filter class

9热度

2回答

添加/删除带空格的停用词

添加/删除带有空格的停用词的最佳方式是什么？我正在使用token.is_stop函数，并希望对该集进行一些客户更改。我正在查看文档，但找不到关于停用词的任何内容。谢谢！

3热度

1回答

NLP - 为什么“不”是一个停止词？

我想在执行主题建模之前删除停用词。我注意到一些否定词（通常不是，也不是，没有，等等）通常被认为是停用词。例如，NLTK，spacy和sklearn在他们的停用词列表中包括“不”。但是，如果我们从下面的这些句子中删除“不”，它们将失去重要意义，并且这对于主题建模或情感分析来说是不准确的。 1). StackOverflow is helpful => StackOverflow helpful

1热度

1回答

在java中停止词的去除方法不工作

我正在尝试编写比代码读取全部cran字段的Java代码（Information Retrial中的热门话题），以便进行标记，计数总标记，找到50个常用词并删除预先定义的停用词。它的工作原理除了StopWordsRemoval方法（代码中的最后一个）, 它不会根据需要更改输出，此方法之前/之后的输出是相同的！你能帮我弄清楚是什么问题吗？它是在Java中，我的第一个代码:( import jav