2014-12-04 45 views
0

我经历了cloudera博客,并收到了一篇文章(下面的链接)。请参阅第三点。通过记录读取器读取虚线

http://blog.cloudera.com/blog/2011/01/lessons-learned-from-clouderas-hadoop-developer-training-course/

按我的理解,如果有2次输入分裂,那么虚线将第一输入分离的记录读者阅读。

如果我得到它是正确的,你能告诉我它是怎么做的,即第一次拆分的记录读取器如何读取输入拆分后的虚线?

回答

1

根据我的理解,如果有2个输入拆分,那么虚线将由第一个输入拆分的记录读取器读取。

是的,这是正确的。

你能告诉我这是如何如何,即先拆的记录阅读器读取虚线过去输入分流

InputSplit不包含原始数据,而是提取数据所需的信息。 A FileInputSplit(这就是你所指的)包含文件的路径以及要在文件中读取的字节偏移量。然后到RecordReader出去读取数据。这意味着它可以读取通过分割定义的结束字节偏移量。

+0

听起来合乎逻辑..现在很清楚..谢谢男人! – 2014-12-05 16:48:13