2012-03-09 79 views
0

我遇到Solr在完全导入过程中不会清除索引的问题。Solr全新刷新不会清除索引

所有服务器都运行Solr 3.4,配置如同vanilla一样。

我在我们的开发环境和我自己的计算机上的一个实例上试过这个,并且收到了类似的结果。

架构是相当简单的,这些是显着点:

<schema name="System" version="1.4"> 
... 
    </types> 
    <fieldType name="string" class="solr.StrField" sortMissingLast="true" omitNorms="true" /> 
    <fieldType name="long" class="solr.TrieLongField" precisionStep="0" omitNorms="true" positionIncrementGap="0" /> 
    <fieldType name="date" class="solr.TrieDateField" omitNorms="true" precisionStep="0" positionIncrementGap="0" /> 
    <fieldType name="documentKey" class="solr.TextField"> 
     <analyzer type="index"> 
     <tokenizer class="solr.KeywordTokenizerFactory"/> 
     </analyzer> 
     <analyzer type="query"> 
     <tokenizer class="solr.KeywordTokenizerFactory"/> 
     </analyzer> 
    </fieldType> 
    </types> 
    <fields> 
    <field name="document_id" type="documentKey" indexed="true" stored="true" required="true" /> 
    <field name="entity_id" type="long" indexed="true" stored="true" required="true" /> 
    <field name="name" type="string" indexed="true" stored="true" required="true" /> 
    <field name="entity_type" type="string" indexed="true" stored="true" required="false" /> 
    <field name="Timestamp" type="date" indexed="true" stored="true" default="NOW" multiValued="false"/> 
    </fields> 
</schema> 

值得注意的是: - 该DOCUMENT_ID字段是其中用来填充索引物化视图计算,并且是的组合其他字段不在此索引中,但与entity_id无关。它是独一无二的。 - entity_id字段是几个表的关键,对于同一个document_id,它可以在刷新和另一个之间疯狂地改变。

完全刷新之前,如果我查询索引这样:

http://localhost:8080/qq-solr/system/select/?rows=10&q=document_id:%22French_Polynesia/Huahine~4034376%22 

我得到:

<?xml version="1.0" encoding="UTF-8"?> 
    <response> 
    <lst name="responseHeader"> 
     <int name="status">0</int> 
     <int name="QTime">5</int> 
     <lst name="params"> 
     <str name="indent">true</str> 
     <str name="q">document_id:"French_Polynesia/Huahine~4034376"</str> 
     <str name="rows">10</str> 
     </lst> 
    </lst> 
    <result name="response" numFound="1" start="0"> 
    <doc> 
     <date name="Timestamp">2012-03-08T09:47:26.335Z</date> 
     <str name="document_id">French_Polynesia/Huahine~4034376</str> 
     <long name="entity_id">22902728</long> 
     <str name="name">Huahine</str> 
     <str name="type">LOCATION</str> 
    </doc> 
    </result> 
</response> 

然后我刷新:

http://localhost:8080/qq-solr/system/dataimport?command=full-import&clean=true&commit=true&optimize=true 

(我知道干净,提交和优化是多余的,但我用它们只是为了确保),过了一段时间后,我得到了一切都很好的消息。

然后我再次查询索引:

http://localhost:8080/qq-solr/system/select/?rows=10&q=document_id:%22French_Polynesia/Huahine~4034376%22 

我也得到:

<?xml version="1.0" encoding="UTF-8"?> 
    <response> 
    <lst name="responseHeader"> 
     <int name="status">0</int> 
     <int name="QTime">5</int> 
     <lst name="params"> 
     <str name="indent">true</str> 
     <str name="q">document_id:"French_Polynesia/Huahine~4034376"</str> 
     <str name="rows">10</str> 
     </lst> 
    </lst> 
    <result name="response" numFound="1" start="0"> 
    <doc> 
     <date name="Timestamp">2012-03-09T08:31:07.317Z</date> 
     <str name="document_id">French_Polynesia/Huahine~4034376</str> 
     <long name="entity_id">22902728</long> 
     <str name="name">Huahine</str> 
     <str name="type">LOCATION</str> 
    </doc> 
    </result> 
</response> 

但在数据库中的ENTITY_ID是不同的!

我看到Timestamp已更新,因此记录已被触及,但为什么旧值保留?

+0

不回答你的问题,但为什么你使用优化与Solr 3.x?看看[这里](http://www.searchworkings.org/blog/-/blogs/simon-says%3A-optimize-is-bad-for-you),你很可能不需要它,并且它甚至不好!我会使用dih优化= false来避免这种不良的默认行为。 – javanna 2012-03-09 12:30:17

回答

0

我会通过Interactive Development Mode运行您的DataImportHandler(DIH)过程,以便您可以确保您的数据库查询正在检索您期待的entity_id。由于solr条目上的时间戳正在更新,您的DIH进程正在运行,但我猜测原因在于数据被检索的方式。

+0

就像你说的那样,数据看起来不错,但之后核心开始正常工作。奇怪的是,这种行为持续了几次刷新和Tomcat重新启动,并且同一个Solr实例中的另一个内核不会显示相同的行为。我会接受你的回答,因为这是让我进一步前进的一个答案。 – GVdP 2012-03-13 13:12:57