sparklyr中的游程长度ID

data.table提供了一个rleid函数，我发现它是非常有用的 - 当一个观察变量发生变化时，它会作为一个ticker，由一些其他变量排序。sparklyr中的游程长度ID

library(dplyr) 


tbl = tibble(time = as.integer(c(1, 2, 3, 4, 5, 6, 7, 8)), 
      var = c("A", "A", "A", "B", "B", "A", "A", "A")) 

> tbl 
# A tibble: 8 × 2 
    time var 
    <int> <chr> 
1  1  A 
2  2  A 
3  3  A 
4  4  B 
5  5  B 
6  6  A 
7  7  A 
8  8  A

期望的结果是

> tbl %>% mutate(rleid = data.table::rleid(var)) 
# A tibble: 8 × 3 
    time var rleid 
    <int> <chr> <int> 
1  1  A  1 
2  2  A  1 
3  3  A  1 
4  4  B  2 
5  5  B  2 
6  6  A  3 
7  7  A  3 
8  8  A  3

我在想，如果我可以使用sparklyr提供的工具再现类似的东西。在进行测试时，我发现我能做的最好的事情就是达到我需要做出积极贡献的程度，但却无法实现这一点。

library(sparklyr) 

spark_install(version = "2.0.2") 
sc <- spark_connect(master = "local", 
        spark_home = spark_home_dir()) 


spk_tbl = copy_to(sc, tbl, overwrite = TRUE) 

spk_tbl %>% 
    mutate(var2 = (var != lag(var, 1L, order = time))) %>% # Thanks @JaimeCaffarel 
    mutate(var3 = if(var2) { paste0(time, var) } else { NA }) 

Source: query [8 x 4] 
Database: spark connection master=local[4] app=sparklyr local=TRUE 

    time var var2 var3 
    <int> <chr> <lgl> <chr> 
1  1  A TRUE 1A 
2  2  A FALSE <NA> 
3  3  A FALSE <NA> 
4  4  B TRUE 4B 
5  5  B FALSE <NA> 
6  6  A TRUE 6A 
7  7  A FALSE <NA> 
8  8  A FALSE <NA>

我使用SparkR试过，但是我更喜欢sparklyr界面和易用性的，所以我非常能够做到这一点星火SQL。

我当然可以通过将数据分割成足够小的块，然后运行一个函数并将其发回。

对于上下文来说，我发现rleid有用的原因是我使用了大量的火车数据，并且能够对它的运行进行索引是非常有用的。

感谢所有帮助 AKHIL

来源

2017-02-11 Akhil Nair

我想你可以使用这个：'TBL％> ％mutate（rleid =（var！= lag（var，1，default =“asdf”）））％>％mutate（rleid = cumsum（rleid））'基本上这个解决方案：http://stackoverflow.com/a/33510765/2026277 –

@JaimeCaffarel我没有注意到'cumsum'整齐的做法...不幸的是'cumsum'似乎在Spark-SQL中不起作用（或者至少我不能使它工作）。 mutle（rleid = cumsum（rleid））％>％ mutate（rleid = ）' –

OH！我错了 - 我只需要先将布尔值转换为int。谢谢！考虑添加一个答案+我可以接受。再次感谢 –

在sparklyr一个工作的解决办法是这样的：

spk_tbl %>% 
    dplyr::arrange(time) %>% 
    dplyr::mutate(rleid = (var != lag(var, 1, order = time, default = FALSE))) %>% 
    dplyr::mutate(rleid = cumsum(as.numeric(rleid)))

来源

2017-02-11 12:23:39

试试这个：

tbl %>% mutate(run = c(0,cumsum(var[-1L] != var[-length(var)]))) 
# A tibble: 8 × 3 
    time var run 
    <int> <chr> <dbl> 
1  1  A  0 
2  2  A  0 
3  3  A  0 
4  4  B  1 
5  5  B  1 
6  6  A  2 
7  7  A  2 
8  8  A  2

来源

2017-02-11 12:44:13 hvollmeier

谢谢。只需指出，它仍然会受到spark sql中与原始评论答案中相同的投射问题的困扰。我也更喜欢'lead' /'lag' soln，因为它强制确定性排序！ –

sparklyr中的游程长度ID

回答

相关问题