用于文件传输的IBM MQ

Question

我们正面临使用IBM MQ over SFTP进行文件传输的选择。我听说过这种方法的优点，但我从来没有看到任何人将它用于大型文件。

所以主要问题：IMB MQ如何处理大文件传输（最大100 MB）？它稳定吗？它是从大型机到UNIX服务器，如果它确实很重要。

非常感谢。

Answer 1

我已经使用了MQ，文件大小为8GB，没有发生事故。您必须为MQ分配足够的空间来管理它们，但它可以工作。

Answer 2

供应商一直在通过诸如WebSphere MQ之类的消息传递系统进行文件传输超过12年。我没有使用IBM产品。然而，直到最近IBM才知道，转售Metastorm的产品（品牌为PM4Data），直到最近才以第一代产品进入市场。

我见过Metastorm Integration Manager所有时间处理太字节大小的文件;在WebSphere MQ中分解消息并执行缓冲区确认，以避免溢出消息队列或执行大量MQ管理。使用邮件系统的文件传输与SFTP的

其他值得考虑因素包括：

1. 前置和后置的数据移动处理 - 作为一个网络传输，SFTP移动数据（可进行文件传输产品通过WebSphere MQ）。要进行移动前处理或移动后处理，您必须编写自己的监视，触发器，错误处理等。通过消息传递空间进行文件传输的成熟供应商可为您提供开箱即用的基础架构。根据您的应用程序，它们也可以帮助
2. 审计跟踪 - SFTP提供的通常提供系统级日志记录。通常情况下，通过MQ提供文件集成的供应商具有更大的审计功能，包括数据前和数据移动处理。一些供应商还提供安全的基于Web的系统，以向授权用户公开某些集成。
3. 异常处理 - SFTP将提供同步错误消息，然后您可以编写错误逻辑代码。通过MQ提供文件集成的供应商经常提供异常功能，从“这里是队列中的消息，表示发生了问题......祝您好运”，以便内置到基于Web的控制台甚至是BPM系统中。
4. 将文件传输作为服务处理 - 文件传输通常是大型业务流程的一部分。一些供应商利用这一点来链接文件传输，甚至让他们与以人为中心的流程进行协作，以提供点到点文件传输环境下的端到端可视性。此外，使用消息传递系统进行文件传输有助于将组织转变为更加实时的消息驱动方法。

我希望在您的评估中提供更多详细信息。祝你好运！

Answer 3

MQ本身提供程序之间基于消息的通信。您不能直接使用它来传输文件。人们在谈论“通过MQ发送文件”通常意味着他们将自己编写程序来读取文件，通过MQ发送，从MQ接收并写入另一个文件。这听起来似乎很微不足道，但如果你想让它变得健壮的话，它很快会变得非常复杂。不建议。

如果你想在你的文件传输中涉及到MQ，那么你需要做的是使用一个坐落在MQ上的文件传输产品。有很多成熟的产品，我几乎不知道什么，以及正在积极开发并最近宣布更新版本（7.0.1）的IBM本身的新产品（“Websphere MQ File Transfer Edition”）。

为了回答您的具体问题，我个人使用WMQFTE将1000GB的文件从AIX机器传输到Windows机器，所以我不认为您的“大型”100MB文件会成为问题:-) 。我没有像大型机那样参与其中，但它是FTE的核心平台。

Answer 4

在前面的答案之一，有followng声明：

人在谈论“通过MQ发送文件”往往意味着他们会写程序本身从文件中读取的，送过来MQ ，从MQ接收并写入另一个文件。这听起来似乎很微不足道，但如果你想让它变得健壮的话，它很快会变得非常复杂。不建议。

理论上，“通过MQ发送文件”会很好，因为当收件人从队列中获取（读取）文件时，您会收到确认发送（CoD）消息。另一个好处是，当收件人从队列中获取（读取）文件时，该文件将自动从队列中删除。

你也许知道上面（或类似）由MQFTE提供？

Answer 5

Capitalwares Universal File Mover是一个不错的选择。

而且WebSphere Message Broker for Remote Adapter Deployment和WebSphere MQ File Transfer Edition是要考虑的选项。