Hadoop输入矩阵乘法的SequenceFile

我正在运行在此站点http://www.norstad.org/matrix-multiply/index.html处找到的MapReduce Matrix Multiplication.java程序。
Hadoop输入矩阵乘法的SequenceFile

当我执行它，它说的输入不是SequenceFile

我的输入文件是最近inputA.txt（源代码可以在网站的可见底），它看起来像这样

A,0,1,1.0 
A,0,2,2.0 
A,0,3,3.0 
A,0,4,4.0 
A,1,0,5.0 
A,1,1,6.0 
A,1,2,7.0 
A,1,3,8.0 
A,1,4,9.0

使用格式：MatrixName，row，col，element
当然，它不起作用。

我真的想运行这个源代码，因为它的算法。那么如何在这种情况下生成正确的SequenceFile？
我可以从我已有的.txt文件生成它吗？

来源

2016-11-08 Tungshev

看看在TestMatrixMultiply包含的测试代码（在你提供的链接）应该给你一些东西来处理。

我已经拿出相关的部分让你开始。这个（未经测试的）代码应该创建两个序列文件（参见testIdentity()）。

您可以在writeMatrix方法中看到它如何创建一个SequenceFile和所用的结构，我认为它与实际的mapreduce作业一样。

您可以扩展此代码以读取您的文本文件，正确填充2D矩阵数组，然后编写一个序列文件。

public class TestMatrixMultiply { 

    private static final String DATA_DIR_PATH = "/tmp/MatrixMultiply"; 
    private static final String INPUT_PATH_A = DATA_DIR_PATH + "/A"; 
    private static final String INPUT_OATH_B = DATA_DIR_PATH + "/B"; 

    private static Configuration conf = new Configuration(); 
    private static FileSystem fs; 

    public static void writeMatrix (int[][] matrix, 
       int rowDim, int colDim, String pathStr) throws IOException { 

     Path path = new Path(pathStr); 
     SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf, path, 
     MatrixMultiply.IndexPair.class, IntWritable.class, 
     SequenceFile.CompressionType.NONE); 
     MatrixMultiply.IndexPair indexPair = new MatrixMultiply.IndexPair(); 
     IntWritable el = new IntWritable(); 
     for (int i = 0; i < rowDim; i++) { 
      for (int j = 0; j < colDim; j++) { 
       int v = matrix[i][j]; 
       if (v != 0) { 
        indexPair.index1 = i; 
        indexPair.index2 = j; 
        el.set(v); 
        writer.append(indexPair, el); 
       } 
      } 
     } 
     writer.close(); 
    } 

    public static void main (String[] args) throws Exception { 

     new GenericOptionsParser(conf, args); 
     fs = FileSystem.get(conf); 
     fs.mkdirs(new Path(DATA_DIR_PATH)); 

     A = new int[][] { {1,0}, {0,1}}; 
     B = new int[][] { {1,0}, {0,1}}; 
     writeMatrix(A, 2, 2, INPUT_PATH_A); 
     writeMatrix(B, 2, 2, INPUT_OATH_B); 
    } 
}

您应该注意，对于少量数据，这种方法可以。一旦你开始触及任何比例尺，你可能会想编写一个mapreduce作业，将你的文本文件作为输入并写出一个序列文件。

来源

2016-11-08 21:29:56

Hadoop输入矩阵乘法的SequenceFile

回答

相关问题