蟒蛇火花流输出

Question

我想执行这个程序，但没有看到任何输出在控制台上写pprint语句。

from __future__ import print_function 
import sys 
from pyspark import SparkContext 
from pyspark.streaming import StreamingContext 
if __name__ == "__main__": 
    if len(sys.argv) != 2: 
     print("Usage: hdfs_wordcount.py <directory>", file=sys.stderr) 
     exit(-1) 
    sc = SparkContext(appName="PythonStreamingHDFSWordCount") 
    ssc = StreamingContext(sc, 1) 
    lines = ssc.textFileStream(sys.argv[1]) 
    counts = lines.flatMap(lambda line: line.split(" "))\ 
        .map(lambda x: (x, 1))\ 
        .reduceByKey(lambda a, b: a+b) 
    counts.pprint() 
    ssc.start() 
    ssc.awaitTermination() 

https://github.com/apache/spark/blob/master/examples/src/main/python/streaming/hdfs_wordcount.py

Answer 1

这一计划将读取目录程序执行

后生成我有关于这种类型的星火计划的一个职位的文件内容。 您还可以检查视频在这篇文章 http://www.neerajbyte.com/post/spark-streaming-from-text-files-using-pyspark-api/

https://youtu.be/bm28UYrYOeE