可能用缓冲读取计算MD5（或其他）散列？

Question

我需要计算相当大的文件（千兆字节）的校验和。这可以通过以下方法来完成：

private byte[] calcHash(string file) 
    { 
     System.Security.Cryptography.HashAlgorithm ha = System.Security.Cryptography.MD5.Create(); 
     FileStream fs = new FileStream(file, FileMode.Open, FileAccess.Read); 
     byte[] hash = ha.ComputeHash(fs); 
     fs.Close(); 
     return hash; 
    } 

然而，文件通常在缓冲的方式书面只是事先（比如写32MB的一次）。我深信我看到了一个哈希函数的重写，它允许我在写入的同时计算MD5（或其他）哈希，即：计算一个缓冲区的哈希值，然后将得到的哈希值送入下一次迭代。

事情是这样的：（伪-ISH）

byte [] hash = new byte [] { 0,0,0,0,0,0,0,0 }; 
while(!eof) 
{ 
    buffer = readFromSourceFile(); 
    writefile(buffer); 
    hash = calchash(buffer, hash); 
} 

散列现在sililar什么会运行整个文件的calcHash功能来实现。

现在，我无法在.Net 3.5框架中找到任何重写，我在做梦吗？它从来没有存在过，还是我只是在搜索？同时执行写入和校验和计算的原因是由于大文件造成的。

Answer 1

您使用TransformBlock和TransformFinalBlock方法来处理块中的数据。

// Init 
MD5 md5 = MD5.Create(); 
int offset = 0; 

// For each block: 
offset += md5.TransformBlock(block, 0, block.Length, block, 0); 

// For last block: 
md5.TransformFinalBlock(block, 0, block.Length); 

// Get the has code 
byte[] hash = md5.Hash; 

注：它的工作原理（至少与MD5提供商）所有块发送到TransformBlock，然后发送一个空块TransformFinalBlock敲定过程。

Answer 2

的哈希算法，预计来处理这种情况，通常与3个功能实现：

hash_init() - 被叫分配资源，并开始哈希值。
hash_update() - 在新数据到达时调用。
hash_final() - 完成计算和免费资源。

看看http://www.openssl.org/docs/crypto/md5.html或http://www.openssl.org/docs/crypto/sha.html为好，标准例子在C;我相信你的平台有类似的库。

Answer 3

似乎可以使用TransformBlock/TransformFinalBlock，如图此示例中：Displaying progress updates when hashing large files

Answer 4

我喜欢以上但为完整起见答案，并成为一个更通用的解决方案，请参阅CryptoStream类。如果您已经处理了流，则很容易将流包装在CryptoStream中，并将HashAlgorithm作为ICryptoTransform参数传递。

var file = new FileStream("foo.txt", FileMode.Open, FileAccess.Write); 
var md5 = MD5.Create(); 
var cs = new CryptoStream(file, md5, CryptoStreamMode.Write); 
while (notDoneYet) 
{ 
    buffer = Get32MB(); 
    cs.Write(buffer, 0, buffer.Length); 
} 
System.Console.WriteLine(BitConverter.ToString(md5.Hash)); 

您可能必须获得哈希（所以HashAlgorithm知道它做）前关闭流。

Answer 5

我只是不得不做类似的事情，但想要异步读取文件。它使用TransformBlock和TransformFinalBlock，并给出了与Azure一致的答案，所以我认为它是正确的！

private static async Task<string> CalculateMD5Async(string fullFileName) 
{ 
    var block = ArrayPool<byte>.Shared.Rent(8192); 
    try 
    { 
    using (var md5 = MD5.Create()) 
    { 
     using (var stream = new FileStream(fullFileName, FileMode.Open, FileAccess.Read, FileShare.Read, 8192, true)) 
     { 
      int length; 
      while ((length = await stream.ReadAsync(block, 0, block.Length).ConfigureAwait(false)) > 0) 
      { 
       md5.TransformBlock(block, 0, length, null, 0); 
      } 
      md5.TransformFinalBlock(block, 0, 0); 
     } 
     var hash = md5.Hash; 
     return Convert.ToBase64String(hash); 
     } 
    } 
    finally 
    { 
     ArrayPool<byte>.Shared.Return(block); 
    } 
}