Spark-Scala将输出写入文本文件

我在spark中执行wordcount程序并尝试将结果存储在文本文件中。Spark-Scala将输出写入文本文件

我有一个scala脚本来计算单词SparkWordCount.scala。我试图从Spark控制台执行脚本，如下所示。

scala> :load /opt/spark-2.0.2-bin-hadoop2.7/bin/SparkWordCount.scala 
Loading /opt/spark-2.0.2-bin-hadoop2.7/bin/SparkWordCount.scala... 
import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
import org.apache.spark._ 
defined object SparkWordCount 

scala>

程序exectued我收到消息“定义的对象SparkWordCount”但我无法看到文本文件的输出结果之后。

我的字数统计程序如下。

import org.apache.spark.SparkContext 
import org.apache.spark.SparkContext._ 
import org.apache.spark._ 

object SparkWordCount { 
    def main(args: Array[String]) { 

     val sc = new SparkContext("local", "Word Count", "/opt/spark-2.0.2-bin-hadoop2.7",/opt/spark-2.0.2-bin-hadoop2.7/jars,map()) 



     val input = sc.textFile("demo.txt") 


     val count = input.flatMap(line ⇒ line.split(" ")).map(word ⇒ (word, 1)).reduceByKey(_ + _) 
     count.saveAsTextFile("outfile") 

    } 
}

请任何人都可以建议。谢谢。

来源

2017-10-10 Shubham Sahay

一旦定义了对象，就可以调用该方法来执行代码。 Spark-shell不会自动执行主要方法。在你的情况下，你可以使用SparkWordCount.main(Array())来执行你的字数统计程序。

来源

2017-10-10 12:12:12 vindev

Spark-Scala将输出写入文本文件

回答

相关问题