并行方式从DataFrame中提取唯一元素存在吗？

Question

我有一个巨大的数据库;并且一些线路被重复。我可以使用“unique（）”功能，但需要5分钟。有没有办法（也许是一种并行编程方式）做同样的事情？

Answer 1

我不知道这是否会更快，但你可以使用distinct从dplyr这样的：

df %>% distinct(x)

另一种选择是使用group_by（也是从dplyr）：

df %>% group_by(x)

Answer 2

检查data.table包。这里是你可以做什么：

set.seed(1) 
df <- data.frame(col1 = sample(x = 5000, size = 1e6, replace = TRUE), 
       col2 = sample(x = 5000, size = 1e6, replace = TRUE)) 
dt <- copy(df) 
setDT(dt) #here you convert a data.frame object into a data.table one by reference 

unique(dt) 

我们可以检查使用microbenchmark包时间增益：

microbenchmark(unique(df), unique(dt)) 

# Unit: milliseconds 
#  expr  min   lq  mean median  uq  max neval 
# unique(df) 1028.92260 1285.39321 1410.4072 1405.7486 1543.1486 1857.4901 100 
# unique(dt) 83.11946 98.41596 148.0874 119.0889 155.0679 507.4944 100