将数据传递给映射器

Question

我有几个不支持JDBC的数据库，但我可以从这些数据库中检索数据。我想通过mapreduce程序将这些数据传递给mapper。我努力从“mapreduce.lib.DB”包中的源文件中找出一些东西，但我觉得缺少某些东西。任何人都可以告诉我如何将数据库的输出传递给映射器？

Answer 1

我认为你需要Sqoop。

首先，您必须使用sqoop import命令将数据从rdbms传输到hdfs。

稍后您将编写一个mapreduce程序，该程序将输入路径作为方法setInputpath的参数。

Answer 2

一种简单的方法是将数据从数据库批量导出到文件中，将文件放入HDFS中并使用FileInputFormat读取HDFS中的文件并对其进行处理。