火花流访问蔚蓝BLOB

我试着去我的天蓝色Blob存储注册到我的火花流，但得到这个代码&错误： -火花流访问蔚蓝BLOB

代码： -

SparkConf sparkConf = new SparkConf().setAppName("JavaNetworkWordCount"); 
     JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, Durations.seconds(1)); 
     ssc.textFileStream("wasb[s]://[email protected]/"); 
     ssc.start(); 
     ssc.awaitTermination();

不知道应该是什么样的路径WASB链接

https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-hadoop-use-blob-storage#address-files-in-azure-storage

的链接说，我应该给一个路径，但我的容器没有任何路径。图像直接存储在容器中。

错误： -

java.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing to execute 
    at scala.Predef$.require(Predef.scala:224) 
    at org.apache.spark.streaming.DStreamGraph.validate(DStreamGraph.scala:163) 
    at org.apache.spark.streaming.StreamingContext.validate(StreamingContext.scala:513) 
    at org.apache.spark.streaming.StreamingContext.liftedTree1$1(StreamingContext.scala:573) 
    at org.apache.spark.streaming.StreamingContext.start(StreamingContext.scala:572) 
    at org.apache.spark.streaming.api.java.JavaStreamingContext.start(JavaStreamingContext.scala:554) 
    at org.bnr.process_panos.JavaNetworkWordCount.main(JavaNetworkWordCount.java:43) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:498) 
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:736) 
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:185) 
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:210) 
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:124) 
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

来源

2017-09-21 user1050619

您可以使用相对路径或绝对路径。例如，附带HDInsight集群Hadoop的MapReduce的examples.jar文件可以通过使用下列中的一个被称为：

例1：wasb：//[email protected]。净/示例/瓶/ Hadoop的MapReduce的examples.jar

例2： wasb：///example/jars/hadoop-mapreduce-examples.jar

示例3：/示例/瓶/ Hadoop的MapReduce的examples.jar

在DStream上没有输出运算符时，会发生以下错误消息，不会调用任何计算。你需要调用以下任何一种方法。

打印（）

foreachRDD（FUNC）

saveAsObjectFiles（前缀，[后缀]）

saveAsTextFiles（前缀，[后缀]）

saveAsHadoopFiles（pref IX，[后缀]）

详情，请参阅“http://spark.apache.org/docs/latest/streaming-programming-guide.html#output-operations”。

来源

2017-09-22 03:57:41

我可以hdinsight集群内只能使用或我可以使用洞察集群的外侧的保存链接？ – user1050619

火花流访问蔚蓝BLOB

回答

相关问题