任何可扩展的OLAP数据库（Web应用程序规模）？

Question

我有一个应用程序需要针对不同级别的聚合进行分析，这就是OLAP工作负载。我也想经常更新我的数据库。

例如，这里是我的更新是什么样子（架构是这样的：时间，DEST，源IP，浏览器 - >访问次数）

(15:00-1-2-2010, www.stackoverflow.com, 128.19.1.1, safari) --> 105 

(15:00-1-2-2010, www.stackoverflow.com, 128.19.2.1, firefox) --> 110 

... 

(15:00-1-5-2010, www.cnn.com, 128.19.5.1, firefox) --> 110 

然后我要问什么是WWW的总访问.stackoverflow.com从上个月的Firefox浏览器。

我知道Vertica系统可以以相对便宜的方式来执行此操作（性能和可扩展性明智，但不是成本明智的）。我在这里有两个问题。

1）有没有一种开源产品可以用来解决这个问题？特别是，Mondrian系统的工作效果如何？ （可伸缩性和性能） 2）是否有HBase或Hypertable基础解决方案（显然，裸体HBase/Hypertable不能这样做）？ - 但是如果有一个基于HBase/Hypertable的项目，可扩展性可能不会成为IMO的问题）？

谢谢！

Answer 1

您可以下载greenplum数据库的免费版本（单节点版本）。我没有尝试过，但我认为/猜测它是一个强大的野兽。这里阅读：http://www.dbms2.com/2009/10/19/greenplum-free-single-node-edition/

另一个选择是MongoDB，它是快速和免费的，你可以用JavaScript编写MapReduce函数来做分析。

我在这里的声望是低到添加一个超级链接到mongodb，所以你必须谷歌。我只能为每个帖子添加一个超链接。

Answer 2

zohmg project旨在使用Hadoop和HBase解决此问题。

Answer 3

Facebook还在Hadoop之上构建了Hive。很简单，开始 - 合理的查询API也是如此。

http://mirror.facebook.net/facebook/hive/

Answer 4

是您的数据模型比这更复杂？如果不是，你可能会为它编写自定义代码。然后你可以真正调整到你的数据。真正的产品必须提供很多灵活性，因此需要很多复杂的工作来实现这一点，并因此而受到影响。

你的问题在一个方面不明确：当你谈论可扩展性时，你的意思是什么？你是从很多网站收集数据，但只有有限的查询用户，或者你也有很多用户？这种情况导致了一种截然不同的模式。