鲜明的词情感分析

Question

我尝试做一个基于7000字的冠词的情感分析。代码在Python中工作，但它选择所有的组合而不是不同的单词。

例如，字典中说enter和文字说enterprise。我怎样才能改变它没有看到这个匹配的代码？

dictfile = sys.argv[1] 
textfile = sys.argv[2] 

a = open(textfile) 
text = string.split(a.read()) 
a.close() 

a = open(dictfile) 
lines = a.readlines() 
a.close() 

dic = {} 
scores = {} 

current_category = "Default" 
scores[current_category] = 0 

for line in lines: 
    if line[0:2] == '>>': 
     current_category = string.strip(line[2:]) 
     scores[current_category] = 0 
    else: 
     line = line.strip() 
     if len(line) > 0: 
      pattern = re.compile(line, re.IGNORECASE) 
      dic[pattern] = current_category 

for token in text: 
    for pattern in dic.keys(): 
     if pattern.match(token): 
      categ = dic[pattern] 
      scores[categ] = scores[categ] + 1 

for key in scores.keys(): 
    print key, ":", scores[key] 

Answer 1

.match()匹配从行的开头。所以，你可以使用锚线的一端在REG例如：

re.compile(line + '$') 

或者你可以使用单词边界：

re.compile('\b' + line + '\b') 

Answer 2

1. 你的缩进是语无伦次。有些级别使用3个空格，有些使用4个空格。

2. 您尝试将字词上的每个单词与字典中的所有7000个单词进行匹配。相反，只需查看字典中的单词即可。如果不在那里，请忽略错误（EAFP原则）。

3. 此外，我不确定在对象方法（"".split()）上是否有使用类方法（string.split()）的优势。

4. Python也有一个defaultdict它自己初始化字典为0。

编辑：

代替.readlines()我使用.read()和.split('\n')。这消除了换行符。

拆分文本不是在默认的空格字符，但在正则表达式'\W+'（一切的不“单词字符”）是我试图摆脱标点符号。

下面我推荐码：

import sys 
from collections import defaultdict 

dictfile = sys.argv[1] 
textfile = sys.argv[2] 

with open(textfile) as f: 
    text = f.read() 

with open(dictfile) as f: 
    lines = f.read() 

categories = {} 
scores = defaultdict(int) 

current_category = "Default" 
scores[current_category] = 0 

for line in lines.split('\n'): 
    if line.startswith('>>'): 
     current_category = line.strip('>') 
    else: 
     keyword = line.strip() 
     if keyword: 
      categories[keyword] = current_category 

for word in re.split('\W+', text): 
    try: 
     scores[categories[word]] += 1 
    except KeyError: 
     # no in dictionary 
     pass 

for keyword in scores.keys(): 
    print("{}: {}".format(keyword, scores[keyword]))