定制OpenNLP名称查找在训练集识别数据，而不是测试组

Question

所以我终于OpenNLP纳入我的项目，我已经成功培训了15,000行的训练数据的我的模型，将其存储，并且可以加载它，当我想用它来识别我的程序中的实体！

，我用它来识别井号标签，所以我的训练数据看起来是这样的：

... 
    Jim , I know you to be a fighter <START:HASHTAG> #usmarine <END> @ USMC Kira has your strength & amp ; ours @ t1r1u1t1h R love 2 U , Kira & amp ; 
    What has changed that people from your JAMAT are insulting Hindu GODS and GODDESSES . Calling our Religion names ... . 
    Ibtihaj represented the United States of America at the Olympics and brought home a medal , elevating the status of 
    A story point is a metric used in agile project management and development to determine (or estimate) the difficul 
    I 'm not shy or quiet , I just do n't find your mind appealing in any way shape or form and I 'm not gon na force a conv 
    <START:HASHTAG> #paradisepapers <END> , Canadian Taxpayers Federation (CTF) & amp ; tax reform `` CTF has not uttered even a single shocked-and-a 
    ... 

我发现，如果它传递一个句子并不能直接使用的模型是无法识别的任何主题标签在我的训练集，如：

String paragraph = "Take a shot for #harambe he took one for you!"; 

它将无法识别在这个例子中包括hashtag，即使我检查，并有我的训练数据内使用#harambe的一个实例。

但是，如果我一个句子直接通过它从训练数据：

String nameParagraph = "Idk whats funnier the #harambe or the fact that Im the only one who will see my page https : t.co/2eWjm6mOon "; 

这将能够正确识别它作为一个HASHTAG识别#harambe。

我希望我的模型来识别所有的井号标签，所以我不只是要养活它#harambe主题标签的多个实例，以便它能够识别出单＃标签。

对我怎样才能使我的模型正确识别不在训练集合中的新实体的任何建议？提前致谢！

Answer 1

我不知道你为什么要进行统计建模的问题是确定性的。使用正则表达式jbird7提到的，你还可以：

记号化使用WhitespaceTokenizer

迭代通过串看着字符串的第一个字符数组文本（是＃）。

\\ create a Tokenizer 
Tokenizer tokenizer=WhitespaceTokenizer.INSTANCE 
String[] tokens = tokenizer.tokenize(text) 

\\ use old-style loop for span creation 
List<Span> spans = new ArrayList<Span>() 
for (int i=0;i<tokens.length;i++){ 
    if (token.charAt(0) == '#') spans.add(new Span(i,i+1,"HashTag")) 
} 
Span[] foundTags = spans.toArray(new Span[spans.size]) 

此时，您应该具有与HashTagNameFinder完全相同的输出。对不起，如果有语法错误。代码应该让你知道你想要做什么。