初始sql_last_value的Logstash jdbc-input-plugin配置

我同步Oracle数据库和ElasticSearch实例中的数据。
数据库表"SYNC_TABLE"包含以下列："ID"这是NUMBER，"LAST_MODIFICATION" - TIMESTAMP，"TEXT" - VARCHAR2。初始sql_last_value的Logstash jdbc-input-plugin配置

我使用Logstash和jdbc-input-plugin来定期执行数据同步。

这是Logstash配置文件：

input { 
    jdbc { 
    jdbc_driver_library => "ojdbc6.jar" 
    jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver" 
    jdbc_connection_string => "jdbc:oracle:thin:@localhost:1521:XE" 
    jdbc_user => "******" 
    jdbc_password => "******" 
    schedule => "* * * * *" 
    statement => "SELECT * from SYNC_TABLE where LAST_MODIFICATION >= :sql_last_value" 
    tracking_column => "LAST_MODIFICATION" 
    tracking_column_type => "timestamp" 
    use_column_value => true 
    } 
} 
output { 
    elasticsearch { 
    index => "SYNC_TABLE" 
    document_type => "SYNCED_DATA" 
    document_id => "%{ID}" 
    hosts => "localhost:9200" 
    } 
    stdout { codec => rubydebug } 
}

我想导入在第一次运行的所有数据，然后syncronise只有上次运行和当前时间之间的差异。因此，我希望Logstash做出如下查询：

SELECT * from SYNC_TABLE where LAST_MODIFICATION >= '1 January 1970 00:00'

，然后定期

SELECT * from SYNC_TABLE where LAST_MODIFICATION >= 'time of last run'

Documentation说，初始值应为1970年1月1日，但我在我的日志，与其花见当前时间戳。这是第一个查询：

SELECT * from SYNC_TABLE where LAST_MODIFICATION >= TIMESTAMP '2017-08-14 09:17:00.481000 +00:00'

是否有logstash配置文件中的任何错误，使logstash使用当前的时间戳，而不是默认的（“1970年1月1日00:00”）？

来源

2017-08-14 Ilya Zinkovich

问题出在.logstash_jdbc_last_run文件中，该文件包含之前运行的sql_last_value。我已删除此文件并重新启动logstash。

来源

2017-08-14 14:52:14

初始sql_last_value的Logstash jdbc-input-plugin配置

回答

相关问题