spark javardd方法collect（）和collectAsync（）之间有什么区别？

Question

我探索火花2.0 Java API和有关于collect() & collectAsync()可供javardd一个疑问。

Answer 1

收集动作基本上是用来查看RDD的内容，基本上它是同步的，而collectAsync（）是它返回一个未来用于检索这个RDD的所有元素异步含义。它允许运行其他RDD并行运行。为了更好的优化，你可以利用公平的调度器进行作业调度。

Answer 2

collect（）：

它返回一个包含此RDD中所有元素的数组。

List<Integer> data = Arrays.asList(1, 2, 3, 4, 5); 
JavaRDD<Integer> rdd = sc.parallelize(data, 1); 
List<Integer> result = rdd.collect(); 
//elements in will be copied to driver in above step and control will 
//wait till the action completes 

---

collectAsync（）：

的异步版本的collect，它返回一个未来（java.util.concurrent.Future），用于检索包含所有在本RDD的元件的阵列。

List<Integer> data = Arrays.asList(1, 2, 3, 4, 5); 
JavaRDD<Integer> rdd = sc.parallelize(data, 1); 
JavaFutureAction<List<Integer>> future = rdd.collectAsync(); 
// retuns only future object but not data (no latency here) 

List<Integer> result = future.get(); 
//Now elements in will be copied to driver 

我们看到我们是如何获得的数据差异同步只是否（线程将等到行动collect()完成）或异步（线程将获得未来的对象，并传递给下一条指令）