2015-03-31 73 views
0

我已经编写了用于将数据从Teradata导入到Hive的sqoop脚本。它运行良好预期,那么,我增加了一个参数给我的脚本如下sqoop脚本中的错误

--connection-manager org.apache.sqoop.teradata.TeradataConnManager

正是--connection经理参数做什么给?我看着sqoop用户指南,但没有运气

这里是我得到

`Error: java.lang.ClassNotFoundException: org.apache.hadoop.hive.serde2.SerDeException 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366) 
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425) 
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) 
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358) 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:190) 
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.FileAlreadyExistsException): /user/temp_110710/part-m-00002 for client 10.2.68.12 already exists 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInternal(FSNamesystem.java:2309) 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFileInt(FSNamesystem.java:2237) 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startFile(FSNamesystem.java:2190) 
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.create(NameNodeRpcServer.java:526) 
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.create(ClientNamenodeProtocolServerSideTranslatorPB.java:354) 
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) 
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585) 
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928) 
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013) 
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:415)` 

请建议

回答

0

它看起来像你越来越不相关的连接管理器异常的错误。它抱怨文件已经存在于HDFS中。

尝试从HDFS(Hive表位置,例如:/ user/hive/warehouse/students /)中删除目录,然后再次执行sqoop。希望能帮助到你。

+0

嘿,我解决了这个问题..这是由于使用连接管理器,而没有指定配置单元库。可以请你帮我理解连接管理器的具体用途吗? – 2015-04-01 11:37:02