2012-01-07 92 views
2

我刚读完Google文件系统(GFS)文件。该文件称,GFS是关于随机写入操作,“附加操作”有哪些例子?

optimized for appending operations rather than random writes. 

鉴于这个特点在整篇论文中都得到了强调,我认为这一点非常重要。

作为一个根本没有工作经验的学生,Google提到的Appending Operations的一些真实的例子是什么?听起来很激烈。

回答

1

这是Google文件系统的中心局限。它与GPFS等通用并行文件系统形成对比。然而,它使设计更容易,例如,复制。由于谷歌能够围绕自己的文件系统设计应用程序,并且由于随机操作本质上很慢(在旋转媒体上),这对他们来说很好。事情

吨的“追加”操作:

  • 新的日志条目附加到一个日志文件。 (GoogleFS也可以附加到一个已经关闭的文件中(有一定的局限性,http://hadoop.apache.org/hdfs/非常类似)
  • 新的网络抓取数据被追加到抓取文件中,而不是覆盖现有的抓取版本文件。
  • 所有MapReduce(你也应该阅读纸)输出写作从开始到最后一个文件,附加键/值对的文件(S)。
  • ...

所有写入文件的文件不会使用seek或pwrite操作在文件中间更新数据,最重要的随机写入的使用是(经典的)数据库后端。