你可以使用字典（文本）正则表达式标记化吗？

Question

我想知道我们是否可以使用文本文件作为标记化的手段。例如，假设有一个文件（字典），并且你想标记你检查第一个字典来标记。

如：

Dict_list = [环境测试中，苹果猫，其余测试]

文本：环境试验是世界苹果猫最好的苹果是在测试休息。

假设文本列表很大，字典也很大，所以如果我们想标记它会标记空格，但是我需要标记整个文本但是我想检查dict_list看看它是否应该是一个标记。

所以令牌应该是：

令牌道： “”， “环境试验”， “是”， “的”， “最好的苹果”， “中”， “中”， “世界”， “苹果猫”，“是”，“该”，“测试休息”。

我希望这是有道理的。

预先感谢您。

Answer 1

这是一种方式，但一种替代方法：

Python3版本：

from nltk.tokenize import regexp_tokenize 

sent = "I like apple fruit but grape fruit more" 
dict_list = ["apple fruit", "grape fruit"] 
newdict = {} 
for item in dict_list: 
    dk = item.replace(" ", "_") 
    newdict[item] = dk 

for key, val in newdict.items(): 
    if key in sent: 
     sent = sent.replace(key, val) 

res = regexp_tokenize(sent, pattern='\S+') 
print(res) 

输出：

[ 'I'， '象'， 'apple_fruit' ，'but'，'grape_fruit'，'more']

如果您愿意，您可以用空格替换所有下划线。

Answer 2

随着nltk.tokenize包，你可以很容易地做到这一点。例如：

>>> tokenizer.tokenize('Testing testing testing one two three'.split()) 
['Testing', 'testing', 'testing', 'one', 'two', 'three'] 

>>> tokenizer = MWETokenizer([('hors', "d'oeuvre")], separator='+') 
>>> tokenizer.tokenize("An hors d'oeuvre tonight, sir?".split()) 
['An', "hors+d'oeuvre", 'tonight,', 'sir?']