HDFS到PostgreSQL

Question

我们需要一个过程来定期将数据从Hadoop Distributed File System (HDFS)拉到关系数据库（PostgreSQL）。我们将需要每小时传输数百万条记录，并且正在寻找最佳的行业标准来将数据从HDFS中移出。有没有人有什么建议？ 这个想法是为了一个网络应用程序与PostgreSQL进行交互，这将会有汇总的数据。

Answer 1

Sqoop是为了在关系数据存储和Hadoop之间移动数据而构建的。具体来说，你想要sqoop-export。