2009-07-17 68 views
1

我目前正在做一个研究项目,并且给了我大约400G的数据。他们都是成对的,目前我正在使用mysql的加载数据到我的数据库中。我已经研究了很多mysql插入优化的选项,但是完成时间太长(估计是118天)。良好的数据库要求

然后我看着最好的钥匙,价值存储周围:东京内阁。我非常喜欢它,它速度很快,很简单。但是,它不允许相同的键发生一次以上。这不符合我的要求。

(我的数据是一样的东西 < 1,2> < 1,3> < 1,4> < 2,9> ...等)

人在这里有好东西推荐?最好我想要的东西,有一个PHP的API(因为我会用我的内部用户界面的Web开发)

比mysql更快的东西 (我将运行的唯一查询是“SELECT c1 from table WHERE c2 = X“或”SELECT c2 FROM table WHERE c1 = X“)

我必须插入所有数据一次以允许选择工作。因此插入数据的大小不能超过一周。

(分布式是好的,我有一个集群)。

+0

什么是您的数据的范围和域?为什么你决定将数据插入MySQL数据库? – 2009-07-17 18:11:15

+0

我所做的只是插入: <1, 2> <2, 3> <1, 3> 这样子。只有一个表有两列,其中主键是(c1,c2)和另一个键(c2,c1)用于复制目的 – disappearedng 2009-07-18 03:26:42

回答

1

你以前用过LOAD DATA INFILE吗?这是在MySQL中加载数据的最快方式。 400GB听起来像是118天,听起来好像你在为每一行做一堆INSERT报表......

+0

我正在使用LOAD DATA IN FILE现在 – disappearedng 2009-07-18 03:13:55

0

是的400个数据会让MySQL乞求怜悯。您应该使用Oracle或Microsoft SQL。

即使这样,一旦你将这些数据存入数据库,你打算如何处理它?每个查询都需要几分钟的时间。