在MySQL中，如何避免加载同样的数据文件导入表，如果已经存在

Question

我使用下面的命令

LOAD DATA INFILE '/sample.txt' INTO TABLE TEST FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'; 

只要执行这个查询，表“TEST”会从样品添加的值.txt文件。

如何避免table.i中的多个条目如果表格尚未加载此文件，则希望加载此文件。

Answer 1

diEcho的评论几乎是正确的 - 识别数据中的唯一列组合，并将它们声明为表格上的唯一索引 - 但重要的是，您还需要修改LOAD DATA语句 - 因为它的立场，它会在首次出现重复记录。您需要添加一个忽略：

LOAD DATA INFILE '/sample.txt' IGNORE INTO TABLE `test` 
    FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n'; 

虽然首选项，你应该考虑加载完整数据集到一个临时表中，然后处理重复多一点优雅。