根据您的最新评论,内部联接是多余的,因为您要从包含要加入的值的表中删除。实质上,您必须处理b.id_cdr = a.id_cdr
两次,因为cdr_2017
上比较的值数量不会被内部联接更改,只是查询要删除的值的数量。
至于增量缓慢的原因,这是因为您手动执行与SELECT cdr_id FROM cdr_2017 LIMIT 10000 OFFSET x
相同的功能。
也就是说,您的查询必须对cdr_2017
执行全表扫描以确定要删除的id值。在您删除这些值时,SQL优化器必须通过cdr_2017
表进一步移动以检索值。
在
DELETE FROM IN(1,2,3,...10000)
DELETE FROM IN(1,2,3,...20000)
...
DELETE FROM IN(1,2,3,...1000000)
假设cdr_id
得到的是增量的主键,来解决你可以使用从cdr_2017
检索到的最后一个索引来筛选选定的值的问题。 这会更快,因为您现在正在利用查询两侧的索引值,因此不再需要全表扫描来验证连接的记录。
$sql = " SELECT COUNT(a.cdr_id) FROM historisation.cdr_".$annee." a
INNER JOIN transatel.cdr_transatel_v2 b ON a.id_cdr = b.id_cdr ";
$t = $db_transatel->selectAll($sql);
//The number of lines I have to delete
$i = $t[0][0];
//set starting index
$previous = 0;
do {
if ($i < $limit) {
$limit = $i;
}
$selectFromHistoryAndDelete = 'DELETE d
FROM transatel.cdr_transatel_v2 AS d
JOIN (
SELECT @previous := cdr_id AS cdr_id
FROM historisation.cdr_2017
WHERE cdr_id > ' . $previous . '
ORDER BY cdr_id
LIMIT 10000
) AS a
ON a.cdr_id = d.cdr_id';
$db_transatel->exec($selectFromHistoryAndDelete, $params);
//retrieve last id selected in cdr_2017 to use in next iteration
$v = $db_transatel->selectAll('SELECT @previous'); //prefer fetchColumn
$previous = $v[0][0];
$i = $i - $limit;
} while ($i > 0);
//optionally reclaim table-space
$db_transatel->exec('OPTIMIZE TABLE transatel.cdr_transatel_v2', $params);
你也可以重构使用cdr_id > $previous AND cdr_id < $last
的限制条款,这也应该改进性能,删除订单。
虽然我想说明的是,在MyISAM数据库引擎的操作过程中会执行cdr_transatel_v2上的表锁。由于MySQL处理并发会话和查询的方式,以这种方式进行批量删除没有太多收益,并且仅适用于InnoDB和事务。尤其是当使用PHP和FastCGI时,与Apache mod_php相反。由于不在cdr_transatel_v2上的其他查询仍将被执行,并且cdr_transatel_v2上的写入操作仍将排队。如果使用mod_php,我会将限制减少到1,000
记录以减少队列时间。 欲了解更多信息,请参阅https://dev.mysql.com/doc/refman/5.7/en/internal-locking.html#internal-table-level-locking
替代做法。
考虑到需要删除的大量记录,当删除的记录超过保留的记录时,通过使用INSERT
而不是DELETE
来反转操作会更有益。
#ensure the storage table doesn't exist already
DROP TABLE IF EXISTS cdr_transatel_temp;
#duplicate the structure of the original table
CREATE TABLE transatel.cdr_transatel_temp
LIKE transatel.cdr_transatel_v2;
#copy the records that are not to be deleted from the original table
INSERT transatel.cdr_transatel_temp
SELECT *
FROM transatel.cdr_transatel_v2 AS d
LEFT JOIN historisation.cdr_2017 AS b
ON b.cdr_id = d.cdr_id
WHERE b.cdr_id IS NULL;
#replace the original table with the storage table
RENAME TABLE transatel.cdr_transatel_v2 to transatel.backup,
transatel.cdr_transatel_temp to cdr_transatel_v2;
#remove the original table
DROP TABLE transatel.backup;
回滚段。我认为DB保持在某个地方删除行来处理可能的回滚。尝试在每次删除后提交。 – StanislavL
不幸的是,我已经尽力了,但是我的表在MyIASM中,并且它不支持回滚和提交。 – McKenneii
桌子很大时,IN太慢。使用JOIN查找要删除的行要快得多。 – vladatr