hdinsight

    0热度

    1回答

    我需要创建一个脚本,以编程方式调用Azure HDInsight REST API,可以定期从cron作业调用,也可以在用户发起调用后。 我跟着Azure的文档在Service to service calls using client credentials - First case: Access token request with a shared secret页的说明,我注册了一个新的应

    0热度

    1回答

    我在Azure上创建了我的HDInsight并与VS2017上的云资源管理器连接。 我想用Hdinsight猪做一个字计数器。 我创造了我的猪项目,但,当我开始我的script.pig我得到一个错误: Could not copy the file "obj\Debug\Pig" because it was not found.

    0热度

    1回答

    我正在构建一个Spark类库,开发人员在编写它们的Spark作业以访问Azure Data Lake上的数据时将使用它。但认证将取决于他们要求的数据集。我需要从Spark作业中调用一个rest API来获取凭据并通过身份验证从ADLS读取数据。这甚至可能吗?我是新来的火花。

    1热度

    2回答

    新来这里Azure上。我刚刚在一个普通的存储帐户上完成了一个新的HDInsight实例,并创建了一个新的存储实例。我想知道我的webHDFS网址是/我在哪里可以找回它以及我如何访问它。 我不使用Azure的数据存储湖。 (几乎每一个环节,我发现蔚蓝相关导致了一些数据湖链接) 我HDFS-site.xml中: <property> <name>dfs.webhdfs.enabled</na

    0热度

    1回答

    我有一个SQOOP作业,可以将数据直接从Oracle数据库加载到Microsoft Azure HDInsights Hadoop集群上的Hive模式。虽然,当导入char基于字段(如varchar变量)时,我发现它们被导入为字符串。这没有错,它对我来说非常完美。但是,有一个小麻烦,这就是Hive数据库中的字符串字段占用该字段的最大长度。这意味着每次我在该领域执行条件时都会使用TRIM功能。是否有

    0热度

    1回答

    当我使用MapReduce作为Hive后面的执行引擎时,我可以使用备用后端到我的defaultFS.impl。使用类似的语法: LOCATION 'protocol://address:port/dir'; 我想用TEZ执行引擎,而不是MapReduce的,但不能揣摩出加我垫片库(JAR文件),以便TEZ认识我新协议。 这些进入哪个目录?我需要将指令添加到tez-site.conf吗? 附加输入:

    0热度

    1回答

    与对外部ORC表TEZ执行引擎执行查询时,我收到以下错误: Vertex failed, vertexName=Map 6, vertexId=vertex_1504790331090_0008_1_01, diagnostics=[Vertex vertex_1504790331090_0008_1_01 [Map 6] killed/failed due to:ROOT_INPUT_INIT_

    0热度

    2回答

    我正在使用Intellij编写Scala代码,然后将它发送到Azure HDInsight Spark集群以供执行。我收到有关正在运行的作业的日志详细信息,但我没有看到来自我的println()声明的任何输出。 这是正常的吗?有什么方法可以查看程序执行的输出吗?

    0热度

    1回答

    我需要从外部Java应用程序连接到作为Azure上HDinsight一部分启动的Kafka集群。我有3个经纪人实例,3个ZooKeeper和一个ZooKeeper客户端。 现在我的问题:如何指定代理连接字符串。在管理面板上,我可以看到3个经纪人:xxx-1.yyy.zzz.internal.cloudapp.net,xxx-2.yyy.zzz.internal.cloudapp.net - 但这些

    0热度

    1回答

    美好的一天! 是否有任何文档说明如何将Azure SQL配置为HDInsight的外部Sqoop Metastore? 通常HDInsight集群是作为计算资源动态生成的,然后在完成工作后关闭。 这就是为什么Sqoop作业定义需要在群集重新启动或附加新群集之后生存的原因。 理想情况下,外部sqoop metastore应在其创建过程中动态地附加到新的群集。 问候, -Yuriy