使用Perl进行多文件下载和处理

我在serverA上有一个perl程序，程序需要处理大约500个DOM ip的数据。 DOM文件在serverB上。对于每个DOM，我需要将6个文件下载到某些公式，并将它们插入到MySQL DB中。对于每个DOM大约需要2分钟才能下载文件。我需要在尽可能最短的时间内完成这项工作，因为我必须每两个小时进行一次这个过程。使用Perl进行多文件下载和处理

现在我使用多线程：

my @threads; 
for my $key (keys %dom) ### Have all DOM ip 
{ 
    print "El key es $key\n"; 
    my %data = %{$dom{$key}}; 
    my $t = threads->new(\&sub1, $postD, $preD, $key, $counter, %data); 
    push(@threads,$t); 

    if($counter == 40) 
    { 
     foreach (@threads) { 
      my $num = $_->join; 
      print "done with $num\n"; 
     } 
     $counter = 1; 
     @threads=(); 

    } 
    $counter++; 

} 
foreach (@threads) { 
    my $num = $_->join; 
    print "done with $num\n"; 


sub sub1 
{ 
my ($postD, $preD, $key, $num, %data) = @_; 
my $status = GetRelevantFiles(substr($postD,0,8),substr($preD,0,8),%data) if (!defined($opt_f)); 

if(ref($status) eq 'ERROR') 
{ 
    warnNotify($status->{'message'}); 
} 
return $num; 
}

有时做没有把所有的文件。

我做得很好还是有另一种方法可以做到最好？

非常感谢您的帮助！

来源

2012-08-03 Karem

这应该不会编译。什么是DOM文件？什么是postD，preD等？请发布真实的代码。 – 2012-08-03 14:32:25

嗨，这是变量，我不能把所有的代码，它是约1600线。 – Karem 2012-08-03 14:59:17

对不起，DOM文件是EVDO设备，我忘记了解释 – Karem 2012-08-03 15:00:27

您可以考虑Parallel::ForkManager

至于不下载的所有文件的替换你的主题：

有没有数的一致性不是下载？
是否有任何错误讯息？

来源

2012-08-03 18:26:01

使用Perl进行多文件下载和处理

回答

相关问题