3
我最近开始使用Scribe,Facebooks解决方案来传输和收集来自多个不同服务器的日志数据。Facebook如何存储日志数据?
我无法找到的是Facebook如何存储大量的日志数据(据2009年的演示文稿显示,它每天25TB)。
Facebook是否发布了有关他们如何做的信息? Hadoop HDFS?卡桑德拉?
我最近开始使用Scribe,Facebooks解决方案来传输和收集来自多个不同服务器的日志数据。Facebook如何存储日志数据?
我无法找到的是Facebook如何存储大量的日志数据(据2009年的演示文稿显示,它每天25TB)。
Facebook是否发布了有关他们如何做的信息? Hadoop HDFS?卡桑德拉?
他们在Hadoop之上使用Hive。 Cassandra用于他们的电子邮件/消息传递,而不是日志记录。有些链接:
https://developers.facebook.com/opensource/
http://highscalability.com/blog/2008/11/24/product-scribe-facebooks-scalable-logging-system.html