Q

Sqoop进口蜂巢ORC

hive

2017-04-25 66 views -1 likes

-1

所有，Sqoop进口蜂巢ORC

我有sqooping问题，我sqooping左右为一个表数据的2TB，然后需要写ORC表机智h上。什么是实现

1）sqoop Dir1中的所有文本数据和写HQL加载到ORC表，其中的脚本在卡盘和处理失败的顶点问题

2）sqoop数据并追加到蜂巢表最好的方法（你有没有这样做呢？）

3）sqoop蜂巢进口写所有的数据蜂巢ORC表

这是最好的办法吗？

2017-04-25 freakabhi

+0

请问Google。 SO不是推荐网站！ –

A

回答

0

选项三会更好，因为您不需要创建配置单元表并再次将数据加载到该表中并以orc格式存储该数据，这对于2tb数据来说是一个漫长的过程，因此它最好在sqoop中给出，以便它可以直接将数据推送到采用orc格式的配置单元表中，但是当您将配置单元表中的数据返回给rdbms时，必须使用sqoopserde

2017-04-27 10:46:27 overflow

相关问题