5
我正在尝试使用Apache Spark和Python进行矩阵乘法。python的火花矩阵乘法
这里是我的数据
from pyspark.mllib.linalg.distributed import RowMatrix
我的矢量
rows_1 = sc.parallelize([[1, 2], [4, 5], [7, 8]])
rows_2 = sc.parallelize([[1, 2], [4, 5]])
我maxtrix的RDD
mat1 = RowMatrix(rows_1)
mat2 = RowMatrix(rows_2)
我愿做这样的事情:
mat = mat1 * mat2
我写了一个函数来处理矩阵乘法,但我恐怕有一个很长的处理时间。这里是我的功能:
def matrix_multiply(df1, df2):
nb_row = df1.count()
mat=[]
for i in range(0, nb_row):
row=list(df1.filter(df1['index']==i).take(1)[0])
row_out = []
for r in range(0, len(row)):
r_value = 0
col = df2.select(df2[list_col[r]]).collect()
col = [list(c)[0] for c in col]
for c in range(0, len(col)):
r_value += row[c] * col[c]
row_out.append(r_value)
mat.append(row_out)
return mat
我的功能做了很多火花动作(take,collect等)。该功能是否需要大量的处理时间? 如果有人有另一个想法,它会对我有帮助。
谢谢您的回答。但它不适合我。我正在使用Spark 1.5.0。以下是错误消息:** AttributeError:'BlockMatrix'对象没有属性'multiply'** – Raouf
它已在1.6中引入。 – zero323
好的,我明白了。我创建了一个函数来处理它(请参阅上面的帖子)。 – Raouf