并发与速率限制

Question

我们正计划为我们的基于休息的框架实施速率限制器。但是我对于实现哪一个以及哪一个在并发性和速率限制之间更重要有些困惑。我发现在大多数地方，例如apache骆驼人已经实现了速率限制而不是并发。 但对我来说，似乎速率限制实际上没有什么意义，相反，并发是我们总是需要面向多个并发请求的服务？ 请让我知道你的想法。

Answer 1

您当然希望尽可能多地默认为并发请求服务。但是，高于某些请求率，您的服务性能可能会大幅下降。如果发生这种情况，每个客户都会受到影响，而且您不再提供更多请求，而是越来越少，直到您的服务对任何人都无法使用。速率限制允许您不要让新请求以超过某个速率进入系统，因此不会降低性能。您看起来对某些客户而言，但至少有一些客户得到了服务，而且您仍然可以在开始时对您的系统进行操作。过度的交换或垃圾收集，甚至无法连接到SSH时，可以有效地将整个服务器与它连接起来。

特定客户端的速率限制（基于IP例如）可以减轻每个时间单元发出太多请求的“坏”客户端的影响，或尝试拒绝您。

请记住，通过将您的服务置于某种逆向代理（如nginx）后可以调整请求率; it can保持请求等待并且不会进入系统一段时间（并且nginx可以容纳很多这些等待没有性能下降），它可以完全放弃它们，它可以限制基于IP的请求等。