单个HDFS上的SPARK RDD分区分割

Question

如果我们有一个128MB的文件，HDFS分割为128MB，并且发出sc.textFile（xxx，4），实际上会发生什么？在这种情况下，RDD在分区方面实际上意味着什么？ 4个处理分区仍然还是只有1个？

Answer 1

当你使用这样的代码：

JavaRDD<String> in = sc.textFile(xxx,4); 
in.persist(); 

然后你RDD有4个分区。他们应该有32 MB的大小。然后，你可以做一些喜欢这样的：

rdd.count() 

当你用本地然后运行本地代码[4]，则数会随着并行4个进程（任务）执行。