熊猫read_json打开的文件太多错误

Question

我继续做东西的时候像这样得到一个“打开的文件太多”错误：

# read file names 
file_names = [] 
for file_name in os.listdir(path): 
    if '.json' not in file_name: continue 
    file_names.append(file_name) 

# process file names... 

# iter files 
for file_name in file_names: 

    # load file into DF 
    file_path = path + '/' + file_name 
    df = pandas.read_json(file_path) 

    # process the data, etc... 
    # not real var names, just for illustration purposes... 

    json_arr_1 = ... 
    json_arr_2 = ... 

    # save DF1 to new file 
    df_1 = pandas.DataFrame(data=json_arr_1) 
    file_name2 = os.getcwd() + '/db/' + folder_name + '/' + file_name 
    df_1.to_json(file_name2, orient='records') 

    # save DF2 to new file 
    df_2 = pandas.DataFrame(data=json_arr_2) 
    file_name3 = os.getcwd() + '/db/other/' + folder_name + '/' + file_name 
    df_2.to_json(file_name3, orient='records') 

的DF文件没有提到必须处理打开或关闭的文件和我不要以为listdir会保留指向打开文件的指针（应该只返回一个字符串列表）。

我哪里错了？

Answer 1

这似乎是一个系统问题，而不是熊猫问题。

您可能需要增加系统中打开文件的数量。

如何增加数： https://easyengine.io/tutorials/linux/increase-open-files-limit/

以下的问答&答： IOError: [Errno 24] Too many open files: 有关的ulimit，打开文件的

这个问答&一个讨论有关在Linux中打开文件数量的限制讨论： https://unix.stackexchange.com/questions/36841/why-is-number-of-open-files-limited-in-linux