使用PHP分割大文件

Question

我想从PHP代码中分割出大量文件（具体来说，tar.gz文件）。这样做的主要原因是，在32位系统上的php的2GB限制。

因此，我想分割多个部分的大文件，并分别处理每个部分。

这可能吗？如果是，如何？

Answer 1

• 如果要拆分它们 已经在服务器上，你可以做到这一点 文件（简单地使用文件功能FREAD， 的fopen，FWRITE，FSEEK读/写文件的 一部分）。
• 如果你想 拆分文件从 客户端上传，恐怕你不能。

Answer 2

PHP本身可能无法... 如果你能弄清楚如何从你电脑的命令行， 做到这一点你应该能够然后使用exec();

Answer 3

此执行这些命令可能在PHP中可能，但PHP是为Web开发构建的，尝试在一个请求中执行整个操作会导致请求超时。

然而，你可以使用另一种语言，如java或c＃，并建立一个后台进程，你可以通知从PHP执行操作。甚至可以从php运行，具体取决于主机上的安全设置。

Answer 4

HJSPLIT

http://www.hjsplit.org/php/

Answer 5

我的评论被选为了两次，所以也许我的猜测是在东西：P

如果在UNIX环境中，试试这个...

exec('split -d -b 2048m file.tar.gz pieces'); 

split

Your piec ES应该pieces1，pieces2等

你可以得到通过在PHP中使用stat()得到文件的大小容易产生碎片的数量，然后做简单的数学(int) ($stat['size']/2048*1024*1024)（我认为）。

Answer 6

一个简单的方法（如果使用基于Linux的服务器）是使用exec命令并运行split命令：

exec('split Large.tar.gz -b 4096k SmallParts'); // 4MB parts 
/* |  |   |  | | 
     |  |   |______| | 
     App |     | |_____________ 
      The source file |     | 
           The split size Out Filename 
*/ 

在这里看到更多的细节：http://www.computerhope.com/unix/usplit.htm

或者你可以使用： http://www.computerhope.com/unix/ucsplit.htm

exec('csplit -k -s -f part_ -n 3 LargeFile.tar.gz'); 

---

PHP在单个线程内运行，并且增加此线程数的唯一方法是使用fork命令创建子进程。

这不是资源友好的。我所建议的是研究能够快速有效地完成这项工作的语言。我会建议使用node.js.

在服务器上只需安装节点，然后创建一个小的脚本，叫做node_split例如，可以为你做了自己的工作。

但我确实强烈建议您不要使用PHP作为此作业，而是使用exec来允许主机操作系统执行此操作。

Answer 7

function split_file($source, $targetpath='/split/', $lines=1000){ 

    $i=0; 
    $j=1; 
    $date = date("m-d-y"); 
    $buffer=''; 

    $handle = fopen ($_SERVER['DOCUMENT_ROOT'].$source, "r"); 

    while (!feof ($handle)) { 
     $buffer .= fgets($handle, 4096); 
     $i++; 
     if ($i >= $lines) { 
      $fname = $_SERVER['DOCUMENT_ROOT'].$targetpath."part_".$date.$j.".txt"; 

       $fhandle = fopen($fname, "w") or die($php_errormsg); 

      if (!$fhandle) { 
       echo "Cannot open file ($fname)"; 
       //exit; 
      } 


      if (!fwrite($fhandle, $buffer)) { 
       echo "Cannot write to file ($fname)"; 
       //exit; 
      } 
      fclose($fhandle); 
      $j++; 
      $buffer=''; 
      $i=0; 
      $line+=10; // add 10 to $lines after each iteration. Modify this line as required 
     } 
    } 
    fclose ($handle); 
} 

Answer 8

$handle = fopen('source/file/path','r'); 
     $f = 1; //new file number 
     while(!feof($handle)) 
     { 
      $newfile = fopen('newfile/path/'.$f.'.txt','w'); //create new file to write to with file number 
      for($i = 1; $i <= 5000; $i++) //for 5000 lines 
      { 
       $import = fgets($handle); 
       //print_r($import); 
       fwrite($newfile,$import); 
       if(feof($handle)) 
       {break;} //If file ends, break loop 
      } 
      fclose($newfile); 
      $f++; //Increment newfile number 
     } 
     fclose($handle); 

Answer 9

拆分被命名为filename.part0 filename.part1 ...

<?php 
function fsplit($file,$buffer=1024){ 
    //open file to read 
    $file_handle = fopen($file,'r'); 
    //get file size 
    $file_size = filesize($file); 
    //no of parts to split 
    $parts = $file_size/$buffer; 

    //store all the file names 
    $file_parts = array(); 

    //path to write the final files 
    $store_path = "splits/"; 

    //name of input file 
    $file_name = basename($file); 

    for($i=0;$i<$parts;$i++){ 
     //read buffer sized amount from file 
     $file_part = fread($file_handle, $buffer); 
     //the filename of the part 
     $file_part_path = $store_path.$file_name.".part$i"; 
     //open the new file [create it] to write 
     $file_new = fopen($file_part_path,'w+'); 
     //write the part of file 
     fwrite($file_new, $file_part); 
     //add the name of the file to part list [optional] 
     array_push($file_parts, $file_part_path); 
     //close the part file handle 
     fclose($file_new); 
    }  
    //close the main file handle 

    fclose($file_handle); 
    return $file_parts; 
} 
?>