我愿做星火其中包括在基准：未压缩数据的星火基准设置
有无10TB的每一行是在这种格式：浮动;浮动;字符串。
作业将基本上做到：上线
- 地图上串
- reduceByKey，其中关键是基于两个浮点数拆分
- 过滤器。
- 将结果存储在HDFS
问题是： - 我应该多少磁盘空间有 - 多少内存 - 什么是这个职位的参数（#EXEC，#core，#mem）和对于纱线site.conf
目前我有10个节点上（16Cores，16GB，存储1.5To）存储的15岁至和失败，如：
错误client.TransportClient：无法发送RPC 6631382768729976966成为nchophadoopslaves1/ABCD：43365：java.nio.channels.ClosedChannelException java.nio.channels.ClosedChannelException 17/07/06 17时05分42秒
WARN netty.NettyRpcEndpointRef：错误发送消息[消息=心跳（41 ，[Lscala.Tuple2; @ 4f4d418，BlockManagerId（41，benchophadoopslaves1,34521））]] 3次尝试 java.io.IOException：无法将RPC 6631382768729976966发送到benchophadoopslaves1/ABCD：43365：java.nio.channels.ClosedChannelException at org.apache.spark.network.client.TransportClient $ 3.operationComplete（TransportClient.java:239） at org.apache.spark.network.client.TransportClient $ 3.operationComplete（TransportClient.java:226） at io.netty。 util.concurrent.DefaultPromise.not ifyListener0（DefaultPromise.java:680）