如何处理大量的REST API调用？

Question

我必须通过REST API调用导出包含成千上万条记录的站点。

我得到了我需要检索存储在MySQL数据库中的所有记录ID。我有一个PHP脚本获取下一个ID，使用curl进行API调用，保存数据，将ID标记为完整，然后使用a重新加载页面。

这有点慢。任何想法如何加快它？

Answer 1

不幸的是，试图模拟线程级并行性（或者真正的任何级别的并行性）是......在PHP中可笑地讨厌。幸运的是，对于您的特定用例，您只需要http://php.net/manual/en/function.curl-multi-exec.php

它本质上并行执行多个卷曲句柄（至少是检索页面的html内容的I/O）。文档中提供的示例很体面，我想，请告诉我是否需要任何帮助。