适应地图缩小框架的一些具有挑战性的问题是什么？

Question

我已经开发了约20个地图缩小工作，包括pagerank算法。我从来没有发现任何具有挑战性的问题，以适应网上mapreduce框架。我想提高我的技能。有这样的指导吗？

Answer 1

您在寻找的是数据密集型编程任务。这是已发布在StackOverflow上的similar question。我想建议this project，因为维基百科的语料库很容易找到，但正如你所看到的，它已经在进行中。

运行一个鱿鱼反向代理服务器，并在一段时间内收集这些日志。现在使用这些日志并尝试对这些日志进行有意义的解释并将它们存储在合适的数据库中进行查询。这可能是一个很好的项目。