1
我需要每个矩阵元素划分(I,J)由对角元素(I,i)和换言之(j,j)的如何在火花中标准化矩阵?
所有我和j的乘积的平方根我需要执行:
mat(i, j) = mat(i, j)/sqrt(mat(i,i)*mat(j,j))
所以矩阵:
4 0 12
0 1 1
12 0 9
变为:
1 0 2
0 1 1
2 0 1
到目前为止,我所拥有的行/列索引对的列表中有一个权重,我将其转换为CoordinateMatrix(以及后来的RowMatrix)。我通过过滤row ==列的元素来提取对角线。
实现这种元素划分的最佳方式是什么?
import org.apache.spark.mllib.linalg.distributed.{CoordinateMatrix, MatrixEntry, RowMatrix}
import scala.math.sqrt
val pairs = Array((0,0,4.0), (0,2,12.0), (1,1,1.0), (2,0,12.0), (2,2,9.0))
val pairs_rdd = sc.parallelize(pairs)
val diagonal = pairs_rdd.filter(r => r._1 == r._2).map(r => (r._2, sqrt(r._3)))
val matrixEntries = pairs_rdd.map(r => MatrixEntry(r._1, r._2, r._3))
val coordinateMatrix: CoordinateMatrix = new CoordinateMatrix(matrixEntries)
val rowMatrix: RowMatrix = coordinateMatrix.toRowMatrix()