使用sqoop从多个数据库导入数据

Question

我想从多个SQLsever数据库（100+）使用sqoop导入HDFS的某些表。有人可以指导我如何去做？一个自动化脚本将会很好。

Answer 1

这可以通过shell脚本完成。

1）准备一个输入文件，其中包含DBNAME列表.TABLENAME 2）shell脚本将该文件作为输入，逐行迭代并为每行执行sqoop语句。

while read line; 
do 

    DBNAME=`echo $line | cut -d'.' -f1` 
    tableName=`echo $line | cut -d'.' -f2` 


    sqoop import -Dmapreduce.job.queuename=$RM_QUEUE_NAME --connect '$JDBC_URL;databaseName=$DBNAME;username=$USERNAME;password=$PASSWORD' --table $tableName --target-dir $DATA_COLLECTOR/$tableName --fields-terminated-by '\001' -m 1 

done<inputFile