使用具有自定义功能的％dopar％

Question

因此，我有这个功能可以将来自多个探针的测量值归入定义的区域。

HMkit.dmr<-function(Mat,Classes,method.fdr=c("BH","bonferroni"),probe.features) { 

    #Annotate first... 
    require(plyr) 
    require(dplyr) 


    #Filter matrix for testing and stuff... 

    message("Setting up merged table") 
    Mat2<-Mat[match(probe.features$probe,rownames(Mat)),] 

    #Split by classes 

    if(!is.factor(Classes)) { 
     Classes<-as.factor(Classes) 
    } 
    Class.1<-levels(Classes)[[1]] 
    Class.2<-levels(Classes)[[2]] 

    C1.Mat<-Mat2[,Classes==Class.1] 
    C2.Mat<-Mat2[,Classes==Class.2] 

    #Summarise and run wilcoxon's test for each dmr... 
    num.regions<-length(unique(as.character(probe.features$region.id))) 
    pvals.vec<-numeric(length=num.regions) 
    unique.regions<-unique(as.character(probe.features$region.id)) 
    message(num.regions) 
    Meds.1<-numeric(length=num.regions);Meds.2<-numeric(length=num.regions) 

    for (i in 1:num.regions) { 
     region<-probe.features%>%filter(region.id %in% unique.regions[[i]]) 
     Set1.Mat<-as.numeric(C1.Mat[rownames(C1.Mat) %in% region$probe,]) 
     Set2.Mat<-as.numeric(C2.Mat[rownames(C2.Mat) %in% region$probe,]) 
     pvals.vec[[i]]<-wilcox.test(Set1.Mat,Set2.Mat)$p.value 
     Meds.1[[i]]<-median(Set1.Mat) 
     Meds.2[[i]]<-median(Set2.Mat) 
     message(i) 
    } 

    #Output frame 
    dmrs.frame<-data.frame(region=unique.regions,pval=pvals.vec,G1=Meds.1,G2=Meds.2,dB=Meds.1-Meds.2) 
    dmrs.frame$q.val<-p.adjust(dmrs.frame$pval,method=method.fdr) 
    groups.ids<-levels(Classes) 
    return(list(dmrs=dmrs.frame,groups=groups.ids)) 
} 

代码基本上由样品分割矩阵分成两组，然后拉动被定义为在一个区域是所有探针的值，调用一个wilcox.test和中值概要步骤，它使用给填充事先创建的向量。

我试图用foreach包中的doparallel函数替换for循环中的for，但一直没有能够用正确的结果填充矢量。我想知道如何正确使用上述函数的并行化 - 通过修改for循环或修改函数调用，以便区域被分解为并行处理的块。

实例对象按照以下...

Mat<-matrix(runif(200,0,1), ncol=10,nrow=20) 
rownames(Mat)<-paste0("p",1:20) 
colnames(Mat)<-paste0("S",1:10) 

Classes<-as.character(c(rep("G1",6),rep("G2",4))) 
probe.features<-data.frame(probe=paste0("p",1:20),region.id=c(rep("R1",5),rep("R2",3),rep("R3",4),rep("R5",4),rep("R6",4)) 

和功能使用

x<-HMkit.dmr(Mat,Classes,method.fdr=c("BH"),probe.features=probe.features) 

在实践中运行，有30000米的区域我在看，并希望跨parallelise功能Windows上有多个核心，因为串行执行可能需要长达40分钟。我该怎么做呢？

增编 - 我试图与

library(doParallel) 
ncores<-2 
Cl<-makeCluster(2) 
registerDoParallel(Cl) 
x<-foreach(i=1:length(unique(probe.features$region.id)),packages=c("plyr","dplyr"))%dopar%HMkit.dmr(Mat,Classes,probe.features=probe.features,method.fdr="BH") 

但是要做到这一点，这样做只是返回相同的结果串行功能的两个副本，我想要它做的是在probe.features打破地区$ region.id分成不同的核心。

Answer 1

在我看来，你的“for”循环可以很容易并行化。它只是建立三个向量，每次迭代一个元素，每个向量将成为“dmrs.frame”的列。所以每个迭代计算结果的一行。

要使用“foreach”，您可以简单地将这三个值连接成一个向量。该.combine选项用于所有这些向量与“rbind”合并为一个矩阵：

m <- foreach(uregion=unique.regions, .combine='rbind', 
      .packages=c('plyr', 'dplyr')) %dopar% { 
    region<-probe.features%>%filter(region.id %in% uregion) 
    Set1.Mat<-as.numeric(C1.Mat[rownames(C1.Mat) %in% region$probe,]) 
    Set2.Mat<-as.numeric(C2.Mat[rownames(C2.Mat) %in% region$probe,]) 
    c(wilcox.test(Set1.Mat, Set2.Mat)$p.value, 
     median(Set1.Mat), median(Set2.Mat)) 
} 

我摆脱了“我”的变量，因为我认为这是更具可读性简单过的元素迭代“ unique.regions”。

现在你可以创建 “dmrs.frame” 使用矩阵 “M” 列：

dmrs.frame <- data.frame(region=unique.regions, 
     pval=m[,1] G1=m[,2] G2=m[,3], dB=m[,2]-m[,3])