需要通过Spark加载Hana表，没有Spark Vora集成

我有一个要求，我必须将数据从Hadoop加载到SAP Hana。我已经与MySql，DB2和其他一些使用Spark的RDBMS合作，并使用1.5.0版本以上的HSBC Spark Data框架API加载，并且也使用Cassandra和Hive加载，但不支持Hana.is有可能在没有对Hana进行任何修改的情况下进行加载因为无法以任何方式触摸Hana安装。需要通过Spark加载Hana表，没有Spark Vora集成

来源

2016-06-13 Shaad

您可以使用Sqoop，如果您更愿意留在Hadoop端。

具有Hive适配器的SAP BusinessObjects Data Services也可以正常工作。

来源

2016-06-15 04:01:33 Roman

我们已经有了一种基于文件的方法，我们从配置单元中提取数据并将其复制到Hana服务器，然后使用HDBSQL命令将其加载到那里。这种方法非常长，往往效率不高。 Sqoop不会帮助我，您是否可以提供有关SAP业务对象数据服务的更多见解。有一个限制，我们没有太多的权限来使用Hana安装，因此我们必须使用外部的东西加载它。 – Shaad

我不确定你在评论的第一部分内容。 Sqoop绝对能够直接读取Hive数据，而无需事先将其提取到文件中（事实上，Hive本身只是一个接口，从应用程序/配置/仓库或类似的东西中读取有组织的文件）。然后Sqoop使用JDBC将数据直接写入HANA表。 SAP Data Services路径类似：Data Services使用其Hive适配器从Hive读取数据，然后使用JDBC写入HANA。性能非常相似，并且这些选项都不需要HANA更改。 – Roman

那么这个方法涉及到很多业务约束，总之我的需求是我需要使用spark来处理数据并加载到Hana。在处理后将数据加载到Hana的最后一步是这里的主要问题，也是我面临的主要问题。 – Shaad

需要通过Spark加载Hana表，没有Spark Vora集成

回答

相关问题