我尝试为页面排名算法构建一个代码,主要的复杂性是有效地解决矩阵乘法,但是我不明白这个任务是如何执行的,我阅读了一些论文,但那超出了我的范围。我不明白他适用的概念。 那么,你可以给我一个关于矩阵乘法的mapper和reducer函数的概念。提前致谢。hadoop中的矩阵乘法
我读这link
我尝试为页面排名算法构建一个代码,主要的复杂性是有效地解决矩阵乘法,但是我不明白这个任务是如何执行的,我阅读了一些论文,但那超出了我的范围。我不明白他适用的概念。 那么,你可以给我一个关于矩阵乘法的mapper和reducer函数的概念。提前致谢。hadoop中的矩阵乘法
我读这link
您所提供的链接解释了这个比什么都清楚(再加上它包括源代码)。如果你仍然在操作的概念上挣扎,那么你应该先读一些关于矩阵/线性代数的知识,这样你就可以理解底层数学。
这个想法是,你可以打破矩阵乘法成类似于Strassen Algorithm之类的子问题,然后将这些子问题发送到一堆不同的计算机。一旦这些子问题完成后,将不同子问题一起求和到矩阵中,也可以用它来处理。使用Mapreduce的关键是,所有的子问题基本上可以并行计算,这就是... Mapreduce的用途。
几个框架如Apache Hama拥有PageRank的implementation。 Apache Giraph也支持Pagerank。
MapReduce不太适合PageRank,因此Google发布了Pregel paper用于大规模图形计算。
它不回答这个问题,可能更好的评论。 – amit
@amit提问者说“教我矩阵乘法与映射/减少”,我的回应是建议阅读线性代数并理解数学。那怎么不是答案?还是你希望有人发布完整的讲座系列参考和练习? – pap
你能否给我一下mapper和reducer功能的基本概念。 – devsda