sqoop

0热度

1回答

波纹管Sqoop作业完美无缺。每次执行时，当MySQL中有新数据时，最后一个值会被追加。我的问题是 1）在哪个位置存储最后一个值？ 2）我可以浏览最后一个值的位置？ 3）我可以改变一个值的位置？ sqoop job --create myjob3 \ -- import \ --connect "jdbc:mysql://ip-122-41-11-214:3306/sqoop" \ --us

1热度

1回答

从SAP HANA导入数据时出现sqoop问题

我们目前正在使用sqoop将数据从SAP Hana移动到Hadoop。 SAP Hana表在表名和列名中使用'\'字符。我们的命令sqoop命令正在工作，但是当我使用“Split by”时它失败了。任何人都可以帮忙。代码： /usr/hdp/sqoop/bin/sqoop import \ --connect "jdbc:sap://***-***.**.*****.com:30015" \

0热度

1回答

通过sqoop加载时的时间戳问题

当我们将数据从Teradata添加到配置单元时，我们正面临时间戳列的数据不匹配，并且也仅针对2017-03-12 2:00和00:00之间的时间戳-03-12 3：00：00：00。我认为内部sqoop做时间转换。是否有无论如何我们可以避免时间戳转换，即使从teradata sqooping到文件也是同样的问题。的Teradata -2017-03-12 2点03分55秒的hadoop -20

6热度

1回答

将数据从RDBMS加载到具有多个目标的Hadoop

我们已经实现了一个使用Sqoop将数据从RDBMS加载到我们的hadoop集群的解决方案，仅用于追加数据，它在维度数据到hbase时进入配置单元。现在我们设置两个相同的Hadoop集群，它们是彼此的备份集群。我们想要将来自RDBMS的数据一次加载到两个集群中。 Sqoop不允许我们这样做。我们已经看到了一些流式传输解决方案，如streamsets或nifi，它们允许从一个地方获取数据并一次发送到

0热度

1回答

改变sqoop元数据和将其放置在MySQL数据库

我打算改变sqoop metastore到MySQL数据库（我使用Hadoop 2.65和MySQL 5.7，sqoop 1.4.6）由defalut其中sqoop metastore将存储，就像sqoop作业定义的一样（像hive元数据将被存储在derby db中）。创建sqoop作业的并能够通过sqoop作业看到这些作业--list n也执行这些作业，我如何确认所有元数据是要存储在MySQ

0热度

2回答

Cloudera sqoop在导入时将某些列映射为空值

将某些列转换为导入时仅为null占位符的最佳方式是什么？是否可以使用地图列功能？ Argument Description --map-column-java <mapping> Override mapping from SQL to Java type for configured columns. --map-column-hive <mapping> Override mapping

0热度

1回答

sqoop导出给出java.nio.BufferOverflowException与表（〜120列）

我想导出一个表到maria db;然而，大多数表格工作正常，但有一个约120列的表是越来越bufferoverflow错误。 2017-05-11 13:33:36,674 INFO [main] org.apache.hive.hcatalog.mapreduce.InternalUtil: Initializing org.apache.hadoop.hive.serde2.lazy.Lazy

0热度

1回答

Sqoop --password文件给中差替代误差

我是新来的Hadoop，试图运行以下命令sqoop： sqoop import --connect jdbc:mysql://localhost:3306/vaibhav --table employees --username root --password-file ${user.home}/.password.txt --target-dir /data/sqoop/eg4/ -m 2

0热度

1回答

Sqoop在进行历史加载时在块中加载数据

我想弄清楚一种方法，在做历史加载的同时我可以在块中进行sqoop数据。考虑一个场景，我有3年的数据，当我触发一个sqoop时，它将一次获取所有数据并推入HDFS。我想避免对群集施加压力，而不是以上是否有任何方法可以告诉sqoop在一个月的块中加载数据，而不是一次性加载所有3年的数据。

0热度

1回答

HDFS文件中的分隔符与Hive表格的分隔符值不匹配

我是HDFS，Hive，Sqoop的新手，现在正在学习这些概念。我在这里有一个问题。我创建了一个Hive表格，其中“行格式限定字段终止”，“存储为文本文件” 我已经使用Hive [Hive-import选项]将Hive表导入了一个Oracle表数据我创造了。我希望HDFS中的表格数据文件具有用逗号分隔的列。但事实并非如此。列不用HDFS文件中的逗号分隔。这是默认行为还是我错过了一些东西。请澄清。