什么是应用在PostgreSQL表150M更新的最快方法

Question

我们有150M行的文件与这样的命令更新PostgreSQL数据库中只有一个表：

UPDATE "events" SET "value_1" = XX, "value_2" = XX, "value_3" = XX, "value_4" = XX WHERE "events"."id" = SOME_ID; 

所有的ID是唯一的，有没有办法将该更新应用于多个事件。目前，如果我们在psql中使用\i update.sql执行此操作，则需要大约几天的时间。

有没有更快的方法来运行它？

Answer 1

• 最简单的：前加set synchronous_commit=off\i update.sql

• 更好：

  • 斯普利特文件像100000次的更新部分：在平行
    split -l 100000 -a 6 --additional-suffix=.sql update.sql update-part
  • 运行这些更新，每个文件在单笔交易中，例如：
    /bin/ls update-part*.sql \ | xargs --max-procs=8 --replace psql --single-transaction --file={}