MapReduce作业中的多个键

我是hadoop新手。我试图运行MapReduce（用Java编程），其中的关键是多个键（文本）。我应该使用哪种类型的数组来存储这些键，然后将它们作为参数传递给outputCollector？谢谢！！！MapReduce作业中的多个键

2013-04-11 LMHadoop

如果列表并不复杂，那么你可以在一个逗号分隔字符串键并将其设置为传递给outputCollector的文本对象。然后在缩减器中分出键来获取多个键的列表。 – Amar 2013-04-11 16:51:40

您应该编写自己的类implements WritableComparable<YourClassName>将键存储在一个简洁的对象中。例如this link就是一个很好的例子。

2013-04-11 14:45:02 Quetzalcoatl

是的，这就是我所做的=））谢谢youuu！ – LMHadoop 2013-04-11 18:28:01

如果它只是一些文本值，我会建议只发送它们作为分隔字符串。它方便和直接。否则你可以按照Quetzalcoatl的建议去做。你可能会发现这2个问题有用： How do i set an Object as the Value for Map output in Hadoop MapReduce? How (in Hadoop),is the data put into map and reduce functions in correct types?

2013-04-11 17:29:40 Tariq

回答