2013-02-14 79 views
3

我有一个文本字段定义,我用copyField来填充各种源字段,目标是这个字段是我用来搜索我的Solr索引。为什么我的领先的通配符搜索在Solr中失败?

此文本字段被定义为使用此自定义字段类型“text_en_splitting_reversed”。我通过复制示例“text_en_splitting”并将ReversedWildcardFilterFactory添加到索引分析器来创建此字段类型。

<!-- Just like text_en_splitting, but with the addition of reversed tokens for leading wildcard matches --> 
<fieldType name="text_en_splitting_reversed" class="solr.TextField" positionIncrementGap="100" autoGeneratePhraseQueries="true"> 
    <analyzer type="index"> 
    <tokenizer class="solr.WhitespaceTokenizerFactory"/> 
    <!-- in this example, we will only use synonyms at query time 
    <filter class="solr.SynonymFilterFactory" synonyms="index_synonyms.txt" ignoreCase="true" expand="false"/> 
    --> 
    <!-- Case insensitive stop word removal. 
     add enablePositionIncrements=true in both the index and query 
     analyzers to leave a 'gap' for more accurate phrase queries. 
    --> 
    <filter class="solr.StopFilterFactory" 
      ignoreCase="true" 
      words="lang/stopwords_en.txt" 
      enablePositionIncrements="true" 
      /> 
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="1" catenateNumbers="1" catenateAll="0" splitOnCaseChange="1" types="word-delim-types.txt" /> 
    <filter class="solr.LowerCaseFilterFactory"/> 
    <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/> 
    <filter class="solr.PorterStemFilterFactory"/> 
    <filter class="solr.ReversedWildcardFilterFactory" withOriginal="true" 
     maxPosAsterisk="3" maxPosQuestion="2" maxFractionAsterisk="0.33"/> 
</analyzer> 
    <analyzer type="query"> 
    <tokenizer class="solr.WhitespaceTokenizerFactory"/> 
    <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/> 
    <filter class="solr.StopFilterFactory" 
      ignoreCase="true" 
      words="lang/stopwords_en.txt" 
      enablePositionIncrements="true" 
      /> 
    <filter class="solr.WordDelimiterFilterFactory" generateWordParts="1" generateNumberParts="1" catenateWords="0" catenateNumbers="0" catenateAll="0" splitOnCaseChange="1" types="word-delim-types.txt" /> 
    <filter class="solr.LowerCaseFilterFactory"/> 
    <filter class="solr.KeywordMarkerFilterFactory" protected="protwords.txt"/> 
    <filter class="solr.PorterStemFilterFactory"/> 
    </analyzer> 
</fieldType> 

我的主要问题:当我使用领先的通配符进行搜索时,我收到意想不到的结果。例如,我知道我为“* car”做的一个特定搜索应该返回一个匹配(文档包含单词“racecar”)。由于这是失败的,我决定在Solr Admin的分析工具中进行调试。下面是我的测试截图:

Leading wildcard issue

我是新来的这个分析工具,但不应该在右侧保留了领先的星号一路走低?为什么不结束匹配?我是否希望对用户输入的关键字进行反向处理?

现在,在我的索引查询配置中,我设置为使用edismax。但是,在管理分析器gui中,我看不到控制它是使用标准分析器还是edismax的方法。 (也许没关系?)

如果此信息可帮助提供更多的情况下,我要为这个特殊的领域跑下来我的目标被索引:

  • 我想*车比赛赛车。 这不起作用。
  • 我想用30美元来匹配包含30美元的文件,但不包含那些包含30美元的文件(前面没有美元符号)。所以我添加了一个types =“”属性,我将$定义为DIGIT。这工作。
  • 我想30匹配包含$ 30的文档。 这不起作用。

回答

1

最终领导通配符的问题是在我们的搜索引擎前端的错误。在将查询提交给Solr之前,我们有一些代码将所有带有引号的关键字或短语包装起来。这样,如果输入了一个短语,它将被引号括起来,并且工作正常。它对常规关键字搜索没有影响。

但显然,如果它是通配符搜索,将引号放在它周围会导致搜索失败,出于某种原因。当我删除引号时,*车匹配包含赛车的帖子,如希望的那样。

关于我的次要问题(为什么“30”不匹配包含文件“$ 30”),我也是在一个单独的StackOverflow的线程解决了这个问题:How do I find documents containing digits and dollar signs in Solr?

顺便说一句,我认为这是一个错误在Solr分析管理gui。在测试领先的通配符搜索时,我永远不会得到任何突出显示,表明会进行匹配......这进一步增加了我试图调试问题的困惑。

1

在你的屏幕截图中,很明显WordDelimiterFilterFactory已经剥离了你的领先*。尝试添加preserveOriginal="1"到您的查询分析器侧即

<filter class="solr.WordDelimiterFilterFactory" 
    preserveOriginal="1" 
    generateWordParts="1" 
    generateNumberParts="1" 
    catenateWords="0" 
    catenateNumbers="0" 
    catenateAll="0" 
    splitOnCaseChange="1" 
    types="word-delim-types.txt" /> 
+0

好的,我补充说,在分析仪工具中,它现在一直显示*汽车一直下到右侧的底部,但左侧列没有任何突出显示。我认为它仍然不匹配,但我也使用我们的实际搜索界面对它进行了测试,事实上,当我搜索*汽车时,它仍然与包含“赛车”的文档不匹配。任何其他想法?谢谢! – 2013-02-14 17:28:59

+0

其实我发现了这个问题,我会在我的答案中提供一个更新。但是,不需要添加preserveOriginal。 – 2013-02-14 19:21:08