如何让我的Perl脚本为子进程使用多个内核？

Question

我是航空航天工程专业的学生，​​我正在做一个高级顶尖项目。我正在开发的数学模型之一需要XFOIL生成的天文数据量，XFOIL是一种流行的航空航天工具，用于查找翼型上的升力和阻力系数。 （但我正在离题）

切入正题：我有一个Perl脚本，它使用不同的输入参数反复调用XFOIL来生成我需要的数据。我需要XFOIL运行5600次，目前它每次运行平均需要大约100秒。做数学，这意味着它将需要大约6.5天才能完成。

现在，我有一个四核机器，但我作为程序员的经验是有限的，我真的只知道如何使用基本的Perl。我想一次运行4个XFOIL实例，都是在他们自己的核心上。事情是这样的：

while (1){ 
    for (i = 1..4){ 
     if (! exists XFOIL_instance(i)){ 
      start_new_XFOIL_instance(i, input_parameter_list); 
     } 
    } 
} 

所以在程序检查（或最好睡觉，直到XFOIL例如将其唤醒，开始一个新的实例），如果每一个内核的运行XFOIL。如果不是，则退出前一个实例，我们可以使用新的输入参数列表启动一个新实例。

如果任何人有任何想法如何实现，请让我知道。这将大大加快我需要生成数据的时间，并让我在航天项目本身上工作。

感谢您的帮助！

Answer 1

尝试Parallel::ForkManager。这是一个模块，提供了一个简单的界面来分离这样的过程。

下面是一些示例代码：

#!/usr/bin/perl 

use strict; 
use warnings; 
use Parallel::ForkManager; 

my @input_parameter_list = 
    map { join '_', ('param', $_) } 
    (1 .. 15); 

my $n_processes = 4; 
my $pm = Parallel::ForkManager->new($n_processes); 
for my $i (1 .. $n_processes) { 
    $pm->start and next; 

    my $count = 0; 
    foreach my $param_set (@input_parameter_list) {   
     $count++; 
     if (($count % $i) == 0) { 
      if (!output_exists($param_set)) { 
       start_new_XFOIL_instance($param_set); 
      } 
     } 
    } 

    $pm->finish; 
} 
$pm->wait_all_children; 

sub output_exists { 
    my $param_set = shift; 
    return (-f "$param_set.out"); 
} 

sub start_new_XFOIL_instance { 
    my $param_set = shift; 
    print "starting XFOIL instance with parameters $param_set!\n"; 
    sleep(5); 
    touch("$param_set.out"); 
    print "finished run with parameters $param_set!\n"; 
} 

sub touch { 
    my $fn = shift; 
    open FILE, ">$fn" or die $!; 
    close FILE or die $!; 
} 

您需要提供自己的实现为start_new_XFOIL_instance和output_exists功能，你还需要定义自己的参数集传递给XFOIL 。

Answer 2

这看起来像你可以使用齿轮工这个项目。

www.gearman.org

Gearman是一个工作队列。您可以将您的工作流程分成许多小部件。

我会推荐使用amazon.com甚至他们的拍卖能力服务器来完成这个项目。

每个计算小时或更少的时间花费10次，可以显着加速您的项目。

我会在本地使用gearman，确保你有一个“完美”的5-10你的subjobs运行之前，它交给一个亚马逊计算农场。

Answer 3

Perl threads将利用多个内核和处理器。线程的主要功能是在线程之间共享数据并协调其活动，这非常简单。分叉进程不能轻易将数据返回给父进程，也不能自行协调。

Perl线程的主要缺点是与fork相比创建起来相对昂贵，它们必须复制整个程序及其所有数据;你必须把它们编译到你的Perl中;他们可能是越野车，Perl越老，线程越脆弱。如果你的工作很昂贵，创作时间应该不重要。

下面是一个如何与线程一起使用的例子。有很多方法可以做到，这个使用Thread::Queue来创建工作线程可以共享的大量工作列表。当队列为空时，线程退出。主要优点是，它更容易控制有多少线程处于活动状态，并且您不必为每一项工作创建新的昂贵的线程。

本示例将所有工作一次性推送到队列中，但没有理由不能随时添加到队列中。如果你这样做，你会使用dequeue而不是dequeue_nb这将等待更多的输入。

use strict; 
use warnings; 

use threads; 
use Thread::Queue; 

# Dummy work routine 
sub start_XFOIL_instance { 
    my $arg = shift; 
    print "$arg\n"; 
    sleep 1; 
} 

# Read in dummy data 
my @xfoil_args = <DATA>; 
chomp @xfoil_args; 

# Create a queue to push work onto and the threads to pull work from 
# Populate it with all the data up front so threads can finish when 
# the queue is exhausted. Makes things simpler. 
# See https://rt.cpan.org/Ticket/Display.html?id=79733 
my $queue = Thread::Queue->new(@xfoil_args); 

# Create a bunch of threads to do the work 
my @threads; 
for(1..4) { 
    push @threads, threads->create(sub { 
     # Pull work from the queue, don't wait if its empty 
     while(my $xfoil_args = $queue->dequeue_nb) { 
      # Do the work 
      start_XFOIL_instance($xfoil_args); 
     } 

     # Yell when the thread is done 
     print "Queue empty\n"; 
    }); 
} 

# Wait for threads to finish 
$_->join for @threads; 

__DATA__ 
blah 
foo 
bar 
baz 
biff 
whatever 
up 
down 
left 
right 

Answer 4

您是否考虑牛羚并行parallel。 它可以让你用不同的输入运行你的程序的几个安装实例，并且当你的CPU核心开始可用时，它们就会填满你的CPU核心。它通常是实现简单任务并行化的一种非常简单有效的方法。

Answer 5

这是很老，但如果有人还在寻找适合回答这个问题，你可能要考虑的Perl Many-Core-Engine (MCE)