将文件传输到消息代理

Question

我们正在建立一个数据库，其中包含一个前端程序，用于解析csv文件并将其转储到数据库中。文件同时来自多个位置，并且如果出现任何问题需要保留。

像rabbitmq这样的消息代理是一个很好的应用程序吗？我需要一些可以从后端读​​取的排队。

Answer 1

像rabbitmq这样的消息代理是一个很好的应用程序吗？

是的，但我不建议你发送大文件到RabbitMQ，特别是如果你想使用持久性消息。如果是这种情况，我会将文件保存到存储（云，缓存等），并将其名称/路径发送到一条消息中。工作进程会选择一条消息，然后下载一个文件，解析它并将其内容保存到数据库。通过这种方式，您可以在工作进程中分发文件并减少代理负载。它可以让你轻松扩展。