如何将文件从远程服务器复制到hdfs位置

我想要将文件从使用sftp的远程服务器直接复制到hdfs位置，而无需将文件复制到本地。 hdfs位置是一个安全的群集。请建议这是否可行，以及如何在这种情况下进行。另外我想知道是否有任何其他方式连接和复制除了SFTP。如何将文件从远程服务器复制到hdfs位置

来源

2014-09-04 user3839396

我认为最方便的方法（假设您的远程机器能够连接到hadoop集群）是让远程机器充当HDFS客户端。只是ssh到这台机器，安装Hadoop发行版，适当的配置，然后运行：

hadoop fs -put /local/path /hdfs/path

来源

2014-09-04 08:31:57

远程服务器属于不同的供应商和安装Hadoop发行版的似乎并不可行。你能提出任何其他的解决方法吗？是复制到本地的唯一选项？ – user3839396 2014-09-04 09:00:54

为了将这些文件保存到HDFS中，您需要将它们提供给某些HDFS客户端（您可以运行'hadoop fs -put ...'的某些机器）。为了在特定的机器上实现这一点，如果你没有root权限，应该把所有hadoop的东西放在你的主目录下并从那里运行。有没有守护进程运行，你只需要那些罐子，配置文件和脚本在本地文件系统。 – 2014-09-04 09:09:06

如何将文件从远程服务器复制到hdfs位置

回答

相关问题