如果我需要存储大量数据,应该使用哪个数据库?大量数据的数据库?
回答
一些世界上最大的数据库是微软的SQL服务器上运行:http://www.microsoft.com/sql/prodinfo/compare/wintercorp.mspx
这里是世界最大的10个数据库的列表(虽然我不知道它是如何准确):
http://www.scribd.com/doc/83088207/The-Top-Ten-Largest-Databases-in-the-World
顶部是世界数据中心与网络数据的220个TB的附加数据
正确配置Oracle或微软的SQL Server应该能够处理任何你在它扔。
又见which db should i select if performance of postgres is low
雅虎使用PostgeSQL - http://postgresqldbnews.blogspot.com/2008/05/world-largest-database-runs-on-postgres.html
谷歌使用MySQL - http://www.mysql.com/customers/customer.php?id=75
我见过的Oracle数据库在数百演出,以同样的TB级
与DB2
我没有亲眼见过SQL Server上的任何东西nto的太字节范围,但它可能很有能力
谷歌并没有像现在这样使用MySQL,有几个博客可以准确地告诉Google做了什么。他们选择了MySQL并在其上编写了所有在下载的MySQL中没有找到的新功能。这就是MySQL为什么要与Google合作以提供新版本的原因。 – balexandre 2008-10-15 17:06:54
有很多terrabyte SQl服务器数据库。 – HLGEM 2008-10-15 17:57:30
与balexandre所说的相似,该文章warren指出,雅虎大量定制了后端,以便对其用途进行优化。这些补充不在普通的PostgreSQL中。 – Powerlord 2008-10-15 18:13:26
取决于你的意思是巨大的。索引将按顺序排列,所做的查询将需要为optimized as best as possible。我曾与Microsoft SQL Server(一家大型全球汽车公司的1100万条记录日志记录事件)以及PostGRES(几百万条记录以及GIS数据)中的巨大数据库一起工作。
的6个PB的气候要获得一个有意义的答案可能辅助性T o知道你考虑的数据量非常大。这也有助于了解它将用于什么以及如何组织。
如果是千兆字节的数据,大多数数据库都可以。
如果它的TB数据我很确信Oracle或SQL Server将不会有问题。如果他们正确配置和设计。
如果它更大......类似bigtable。
可能比了解有多大才是最重要的是要知道你想用数据库做什么。如果它是一个OLTP,那么以前回答的任何主要玩家都可以,但如果是报告工具,那么您可能需要调查Alterian和Sybase IQ。
真的取决于你的想法是什么,以及你想用它做什么。对于类似SQL的访问:
- 千兆字节的数据可以很容易地由任何FOSS或商业产品处理。
- 数百GB +通常意味着类似的Teradata
对于更专业的处理,Hadoop和HBase是适当的。 (有几个类似的产品,其中包括Sector/Sphere和GridGain)。Hadoop是一种基于Google文件系统的云计算架构,可容纳数百PB。 HBase是一个运行在Hadoop上的“数据库”,具有类似的功能。我说“数据库”是因为它是面向列的,与MySQL,PostreSQL,Oracle等面向行的数据库非常不同。
Hadoop/HBase更适合数据仓库,或者您可以预先计算您需要运行的查询,并通过MapReduce将它们带外执行。
记住一个大型数据库比选择数据库要困难得多。所有查询都需要进行优化,索引是至关重要的,您必须拥有能够处理数据的硬件。您可能需要设计一个分区方案来正确分隔数据以确保更好的访问。在较小的数据库中可能遇到的技术和设计不佳会导致大型数据库出现严重问题。如果不投资一个好的性能调优书,不要这样做!在设计数据库之前了解性能调整。
无论您选择哪种数据库,都要确保获得全功能的企业版本。您可能需要这些版本具有的功能,功能较少且价格较低的版本不具备这些功能。
Oracle,SQL Server,db2等将全部处理大型企业数据库。他们是否处理得好取决于你的硬件,设计和查询。对于没有经验的人来说,这不是一项设计任务。
This posting I made a few weeks ago讨论了Oracle和SQL Server对VLDB应用程序的相对优点,这些应用程序通过无共享系统(其中最知名的示例是Teradata)通过没有中央I/O瓶颈而给您提供最佳的可伸缩性。
这可能是一个很好的开始。
我们查看了Sybase IQ(http://en.wikipedia.org/wiki/Sybase_IQ),但我们确定我们的数据仓库不足以保证它。
作为一名DBA,这里是真正的答案。
如果您没有知道如何使用它的人员,世界上最好的数据库平台可能无法处理最小的负载。
一个相当低端的数据库平台可以扩展到巨大的负载,如果你有员工知道内部和外部并解决其弱点。
这就是为什么有人说Oracle不能扩展,为什么其他人会说MySQL可以统治世界。一位优秀的音乐家仍然可以用蹩脚的乐器发出美妙的声音,蹩脚的音乐家无法让最好的乐器听起来不错。
当您决定使用哪个平台进行下一个项目时,请不要掷骰子并使用您没有经验的解决方案。如果您真的需要扩大规模,可以使用内外兼修的解决方案,或聘请一位了解新内容的人。
只要您在阅读而不是写作方面,Sybase IQ就是一个很好的选择。智商对于写作来说并不是特别快,但是对于阅读而言是快速的。 IQ拥有world's biggest data warehouse(1PB)
与Oracle,DB2和SQL Server相比,许可费用也相当低,硬件要求也较低。缺点是支持,文档和工具在地面上有点薄(如同经验丰富的IQ开发人员和DBA)
- 1. 大量数据库
- 2. MongoDB - 大量的数据库
- 3. 正火大量数据库
- 4. 通过PostgreSQL数据库聚合大量(行数)的数据集
- 5. 从Android中的Sqlite数据库加载大量的数据
- 6. 用于大容量数据库的ORM
- 7. 数据库:大量的外键
- 8. 寻找大量数据的FAST和THREADSAFE数据库
- 9. 用于处理大量数据的库/数据结构
- 10. 将大量数据添加到C#中的SQLite数据库
- 11. 插入大量数据的数据库PHP
- 12. 大量异构数据的数据库存储设计
- 13. Java针对大量数据的数据库查询/更新
- 14. 更新数据库中的大量数据
- 15. 查找数据库中大量数据的频率
- 16. 多线程Delphi数据库应用大量数据的
- 17. 针对数据量非常大的数据库设计
- 18. 如何比较数据库中的大量数据?
- 19. PHP - 管理大量的数据没有数据库
- 20. 查询获取数据库的名称,表的数量,索引的数量,数据库的大小和数据库的所有者的大小
- 21. 最大数据库
- 22. 大象数据库
- 23. SQLite数据库最大存储容量
- 24. Javascript数据库大量插入
- 25. C#将大量数据从CSV导入到数据库
- 26. 创建android应用程序数据库数据量大
- 27. 在生产数据库中更新大量数据
- 28. 将大量图形数据结构存储在数据库中
- 29. 存储大量数据:数据库或文件系统?
- 30. 将大量数据加载到Oracle SQL数据库中
Hadoop不是数据库 – skaffman 2009-07-23 16:24:28
也许他的意思是HBase(http://hbase.apache.org/):) – Richie 2011-11-02 12:33:54