加速查询R data.table - 这个双参数函数可以更迅速地按组应用吗？

是否可以使用data.table在数据集上快速按组应用双参数函数？在一百万行的数据集上，我发现调用下面定义的简单函数超过了11秒，这比我期望的要复杂得多。下面加速查询R data.table - 这个双参数函数可以更迅速地按组应用吗？

自包含的代码概括了什么，我试图做的要领：

# generate data frame - 1 million rows 
library(data.table) 
set.seed(42) 
nn = 1e6 
daf = data.frame(aa=sample(1:1000, nn, repl=TRUE), 
       bb=sample(1:1000, nn, repl=TRUE), 
       xx=rnorm(nn), 
       yy=rnorm(nn), 
       stringsAsFactors=FALSE) 

# myfunc is the function to apply to each group 
myfunc = function(xx, yy) { 
    if (max(yy)>1) { 
    return(mean(xx)) 
    } else { 
    return(weighted.mean(yy, ifelse(xx>0, 2, 1))) 
    } 
} 

# running the function takes around 11.5 seconds 
system.time({ 
    dt = data.table(daf, key=c("aa","bb")) 
    dt = dt[,myfunc(xx, yy), by=c("aa","bb")] 
}) 

head(dt) 
# OUTPUT: 
# aa bb   V1 
# 1: 1 2 -1.02605645 
# 2: 1 3 -0.49318243 
# 3: 1 4 0.02165797 
# 4: 1 5 0.40811793 
# 5: 1 6 -1.00312393 
# 6: 1 7 0.14754417

有没有一种方法，以减少显著为一个函数调用这样的时候？

我感兴趣的是是否有一种更有效的方式来执行上述计算而不完全重写函数调用，或者是否只能通过分解函数并以某种方式将其重写为data.table来加速句法。

非常感谢您的回复。

来源

2017-10-20 Timoji

我已经找到一种方法来获得8倍的进一步加速，从而降低了时间缩短到我的机器上大约0.2秒。见下文。我们不是直接为每个组计算总和（yyw）/ sum（w），而是花费时间，而是计算每个组的数量总和（yyw）和总和（w），并且仅在事后执行除法。魔法！

system.time({ 
    dt <- data.table(daf, key = c("aa","bb")) 
    dt[, w := 1][xx > 0, w := 2] 
    dt[, yyw := yy * w] 
    res <- dt[, .(maxy = max(yy), 
       meanx = mean(xx), 
       wm2num = sum(yyw), 
       wm2den = sum(w)), 
       by = c("aa","bb")] 
    res[, wm2 := wm2num/wm2den]    
    res[, V1 := wm2][maxy > 1, V1 := meanx] 

    res[, c("maxy", "meanx", "wm2num", "wm2den", "wm2") := NULL] 
}) # 0.19 

all.equal(res, dtInitial) 
# [1] TRUE

来源

2017-10-23 17:01:37 Timoji

您的结果：

system.time({ 
    dt = data.table(daf, key = c("aa","bb")) 
    dt = dt[,myfunc(xx, yy), by = c("aa","bb")] 
}) # 21.25 
dtInitial <- copy(dt)

V1：如果NA值不关心你，你可以修改你的函数是这样的：

myfunc2 = function(xx, yy) { 
    if (max(yy) > 1) { 
    return(mean(xx)) 
    } else { 
    w <- ifelse(xx > 0, 2, 1) 
    return(sum((yy * w)[w != 0])/sum(w)) 
    } 
} 

system.time({ 
    dt = data.table(daf, key = c("aa","bb")) 
    dtM = dt[, myfunc2(xx, yy), by = c("aa","bb")] 
}) # 6.69 
all.equal(dtM, dtInitial) 
# [1] TRUE

V2：此外，你可以做得更快喜欢这个：

system.time({ 
dt3 <- data.table(daf, key = c("aa","bb")) 
dt3[, maxy := max(yy), by = c("aa","bb")] 
dt3[, meanx := mean(xx), by = c("aa","bb")] 
dt3[, w := ifelse(xx > 0, 2, 1)] 
dt3[, wm2 := sum((yy * w)[w != 0])/sum(w), by = c("aa","bb")] 
r2 <- dt3[, .(aa, bb, V1 = ifelse(maxy > 1, meanx, wm2))] 
r2 <- unique(r2) 
}) #2.09 
all.equal(r2, dtInitial) 
# [1] TRUE

20 VS瑞典克朗SEK 2我

更新：

还是有点快：

system.time({ 
    dt3 <- data.table(daf, key = c("aa","bb")) 
    dt3[, w := ifelse(xx > 0, 2, 1)] 
    dt3[, yyw := yy * w] 
    r2 <- dt3[, .(maxy = max(yy), 
       meanx = mean(xx), 
       wm2 = sum(yyw)/sum(w)), 
      , by = c("aa","bb")] 
    r2[, V1 := ifelse(maxy > 1, meanx, wm2)] 
    r2[, c("maxy", "meanx", "wm2") := NULL] 
}) # 1.51 

all.equal(r2, dtInitial) 
# [1] TRUE

来源

2017-10-20 11:29:59 minem

你会拿起多一点速度，如果你摆脱ifelse'的'（如'DT3 [，W：= 1] [XX> 0，W：= 2]'） – eddi

这是同样值得注意的是，由于'data.table'优化工作的方式，'dt [，mean（a），by = b]'将比'mymean = function（x）mean（x） ; dt [，mymean（a），by = b]' – eddi

另一种解决方案

system.time({ 
    dat <- data.table(daf, key = c("aa","bb")) 
    dat[, xweight := (xx > 0) * 1 + 1] 
    result <- dat[, list(MaxY = max(yy), Mean1 = mean(xx), Mean2 = sum(yy*xweight)/sum(xweight)), keyby=c("aa", "bb")] 
    result[, FinalMean := ifelse(MaxY > 1, Mean1, Mean2)] 
}) 

    user system elapsed 
    1.964 0.059 1.348

来源

2017-10-20 23:50:43 Ben

加速查询R data.table - 这个双参数函数可以更迅速地按组应用吗？

回答

相关问题