Pandas + SQLite“无法使用索引”错误

Question

我正在使用pandas，sqlite和sqlalchemy搜索一串字符串以获取子字符串。这个项目的灵感来自于this tutorial.

首先，我创建了一个字符串列的sqlite数据库。然后我遍历一个单独的字符串文件并在数据库中搜索这些字符串。

我发现这个过程很慢，所以我做了一些研究，发现我需要在我的专栏上建立一个索引。当我按照sqlite shell中提供的here的说明操作时，一切似乎都正常。

但是，当我尝试在我的python脚本中创建索引时，出现“无法使用索引”错误。

import pandas as pd 
from sqlalchemy import create_engine # database connection 
import datetime as dt 



def load_kmer_db(disk_engine, chunk_size, encoding='utf-8'): 
    start = dt.datetime.now() 
    j = 0 
    index_start = 1 
    for df in pd.read_csv('fake.kmers.csv', chunksize=chunk_size, iterator=True, encoding=encoding): 
     df.index += index_start 
     j += 1 
     df.to_sql('data', disk_engine.raw_connection(), if_exists='append', index=True, index_label='kmer_index') 
     index_start = df.index[-1] + 1 


def search_db_for_subsequence(disk_engine, sequence): 
    """ 

    :param disk_engine: Disk engine for database containing query sequences 
    :param sequence: Sequence for finding subsequences in the database 
    :return: A data frame with the subsequences of sequence 
    """ 
return pd.read_sql_query("SELECT kmer FROM data INDEXED BY kmer_index WHERE '" + sequence + "' LIKE '%' || kmer || '%'", disk_engine) 

if __name__ == "__main__": 
    import argparse 

    parser = argparse.ArgumentParser() 
    parser.add_argument('kmers', type=str, metavar='<kmer_file.txt>', help='text file with kmers') 
    parser.add_argument('reads', type=str, metavar='<reads.fastq>', help='Reads to filter by input kmers') 

    # Get the command line arguments. 
    args = parser.parse_args() 
    kmer_file = args.kmers 
    reads_file = args.reads 

    # Initialize database with filename 311_8M.db 
    disk_engine = create_engine('sqlite:///311_8M.db') # This requires ipython to be installed 

    load_kmer_db(disk_engine, 200) 

    #****** Try explicitly calling the create index command 
    #****** using the sqlite module. 
    import sqlite3 
    conn = sqlite3.connect('311_8M.db') 
    c = conn.cursor() 
    c.execute("CREATE INDEX kmer_index ON data(kmer);") 

    reads = SeqReader(reads_file) 
    for read in reads.parse_fastq(): 
     count += 1 
     sequence = read[1] 
     df = search_db_for_subsequence(
      disk_engine, 
      sequence 
     ) 

可以看到我首先尝试通过将正确的关键字参数传递给to_sql方法来创建索引。当我这样做时，我得到一个错误，指出索引找不到。然后我通过sqlite3模块明确地创建了索引，该模块产生了“无法使用索引”错误。

因此，现在看来我已经创建了索引，但由于某种原因，我无法使用它。为什么会这样？而且，如何使用pandas api创建索引，而不必使用sqlite3模块？

Answer 1

错误消息“无法使用索引”似乎与pd.read_sql_query()调用有关，而不是直接使用sqlite3模块创建索引的部分。

some_col LIKE '%[some term]%'的查询不能使用some_col上的索引。另一方面，some_col LIKE '[some_term]%'的查询可以使用some_col上的索引。