将SQL服务器数据库导入到HDFS或HIVE

Question

我在azure上部署了hdinsight群集。我需要将SQL数据库复制到Hdfs位置或直接复制到配置单元。我是建立这些连接的新手。请让我知道这些建议。谢谢。

Answer 1

看起来你并不清楚你需要什么。你能提供关于这个任务的更多细节吗？

但同时我建议您验证Hive或HDFS的配置文件（.xml）和连接。

下面的链接可能会为调试对您有所帮助： https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-use-hive

https://msdn.microsoft.com/en-us/library/dn749882.aspx#sec3

Answer 2

如果我理解正确你的要求，那么你需要使用Sqoop到SQL数据库导入到HDFS。使用下面的命令（如果已安装Sqoop）。此命令将复制的所有表的模式为默认位置

sqoop import-all-tables \ 
--connect jdbc:mysql://localhost/<schema name> \ 
--username <username> 
--pass<password> 

然后你就可以使用下面的命令来检查已导入的表

hadoop fs -ls 

欲了解更多信息，你可以访问https://sqoop.apache.org/docs/1.4.2/SqoopUserGuide.html#_literal_sqoop_import_all_tables_literal https://community.hortonworks.com/questions/13132/best-practice-to-import-data-from-sql-server-to-hi.html