将大分隔文件导入到MySQL表

Question

我从USDA's网站获得这个大的（和奇怪格式的txt文件）。这是NUT_DATA.txt文件。

但问题是，它几乎是27MB！我成功导入了其他一些较小的文件，但我的方法是使用file_get_contents，这有助于在我试图阻止27+ MB RAM时抛出错误。

那么如何将这个庞大的文件导入到我的MySQL数据库中而不会遇到超时和内存问题？我试过每次从文件中获得一行，但是这会遇到超时问题。

使用PHP 5.2.0。

这里是旧脚本（DB中的字段都只是数字，因为我想不出什么数字表示什么营养，我发现这个数据非常糟糕的文档很抱歉的代码的丑陋。）：

<? 

    $file = "NUT_DATA.txt"; 

    $data = split("\n", file_get_contents($file)); // split each line 

    $link = mysql_connect("localhost", "username", "password"); 
    mysql_select_db("database", $link); 

    for($i = 0, $e = sizeof($data); $i < $e; $i++) 
    { 
     $sql = "INSERT INTO `USDA` (1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17) VALUES("; 
     $row = split("\^", trim($data[$i])); // split each line by carrot 
     for ($j = 0, $k = sizeof($row); $j < $k; $j++) { 
      $val = trim($row[$j], '~'); 
      $val = (empty($val)) ? 0 : $val; 
      $sql .= ((empty($val)) ? 0 : $val) . ','; // this gets rid of those tildas and replaces empty strings with 0s 
     } 
     $sql = rtrim($sql, ',') . ");"; 
     mysql_query($sql) or die(mysql_error()); // query the db 
    } 

    echo "Finished inserting data into database.\n"; 

    mysql_close($link); 

?> 

Answer 1

如果你必须使用PHP，你可以使用fopen和fgets

<? 

$file = "NUT_DATA.txt"; 
$fh = @fopen($file, "r"); // open the file for reading 
$link = mysql_connect("localhost", "username", "password"); 
mysql_select_db("database", $link); 

while(!feof($fh)) 
{ 
    $data = fgets($fh, 4096);  // read line from file 

    $sql = "INSERT INTO `USDA` (1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17) VALUES("; 
    $row = split("\^", trim($data)); // split each line by carrot 
    for ($j = 0, $k = sizeof($row); $j < $k; $j++) { 
     $val = trim($row[$j], '~'); 
     $val = (empty($val)) ? 0 : $val; 
     $sql .= ((empty($val)) ? 0 : $val) . ','; // this gets rid of those tildas and replaces empty strings with 0s 
    } 
    $sql = rtrim($sql, ',') . ");"; 
    mysql_query($sql) or die(mysql_error()); // query the db 
} 

echo "Finished inserting data into database.\n"; 

fclose($fh); 

mysql_close($link); 

?> 

退房获取更多信息与fgets documentation逐行读取文件中的行

Answer 2

可以增加内存的每个脚本可以通过设置在php.ini这个值使用量：

memory_limit = 64M 

说了：你有使用PHP？其他脚本语言（如python）可能更适合这类任务。

Answer 3

逐行读取文件，这样就不会将整个文件加载到内存中。使用

set_time_limit(0); 

为了避免脚本超时。

http://php.net/manual/en/function.set-time-limit.php