从HDFS转换源数据并通过Talend进行转换

Question

我们正在尝试使用Web服务从HDFS，Hive，Hbase & Apache Ignite获取数据，并使用Talend进行相关转换，然后将数据加载到下游系统中。

我寻求帮助，如果我们可以用可与Hadoop集群整合特定的软件来帮助我们实现这一

Answer 1

要访问HDFS或蜂房数据，您需要使用WebHcatalog：

WebHCat是REST API为HCatalog，表和存储管理 层Hadoop的

Hcatlog是：

HCatalog的表抽象呈现在Hadoop分布式文件系统（HDFS） 数据的关系视图的用户，并确保 用户不必担心在那里或在他们的数据是 存储

什么格式

Hbase上的数据可通过Hbase Rest api访问，请参阅here，或者您可以通过Hive中的HbaseIntegration功能在Hbase顶部创建Hive表，然后通过WebHcatalog访问它们。