从hdfs复制到远程机器

Question

嗨，我在hadoop集群的一个末端节点上运行此命令。 我想将数据从hdfs复制到某个远程机器上。由于本地计算机中的光盘配额有限，我无法在本地存储它。我想运行hdfs dfs -get /data/abc remotemac/abc

Answer 1

但是，您不能直接执行此操作，您可以查看Hoop和WebHDFS REST API。 Hoop使您可以通过HTTP/HTTPS访问HDFS读取和写入。

在Hortonworks上有一个关于WebHDFS HTTP rest access to HDFS的博客。

还有另一种解决方案，使用sshj。这是SSHv2的一个纯Java实现，让您连接到一个sshd服务器，并使用端口转发，文件传输等请参见下面的参考信息：

参考：https://blog.layer4.fr/2013/04/09/transfert-files-from-hadoop-to-a-remote-server-via-ssh/