在一个data.frame中查找具有相同数据的列

Question

我有1个名为A的数据框，其中有5000列。我如何在这个data.frame中找到彼此相等的列。

Answer 1

正如@John所述，使用duplicated时出现问题。我会补充说，在与duplicated比较之前，将data.frame强制转换为相同的数据类型。在一个例子，这里是一个data.frame：

df <- data.frame(a = LETTERS[1:3], 
        b = 1:3, 
        c = as.character(1:3), 
        d = LETTERS[1:3], 
        e = 1:3, 
        f = 1:3) 
df 
# a b c d e f 
# 1 A 1 1 A 1 1 
# 2 B 2 2 B 2 2 
# 3 C 3 3 C 3 3 

注意，列c非常相似e列b，和f，但不是因为不同类型的相同（字符与数字）。 @Jubbles建议的解决方案将忽略这些差异。

相反，在data.frame的列上使用identical函数似乎更合适。您可以比较使用outer两个由两列：

are.cols.identical <- function(col1, col2) identical(df[,col1], df[,col2]) 
identical.mat  <- outer(colnames(df), colnames(df), 
          FUN = Vectorize(are.cols.identical)) 
identical.mat 
# [,1] [,2] [,3] [,4] [,5] [,6] 
# [1,] TRUE FALSE FALSE TRUE FALSE FALSE 
# [2,] FALSE TRUE FALSE FALSE TRUE TRUE 
# [3,] FALSE FALSE TRUE FALSE FALSE FALSE 
# [4,] TRUE FALSE FALSE TRUE FALSE FALSE 
# [5,] FALSE TRUE FALSE FALSE TRUE TRUE 
# [6,] FALSE TRUE FALSE FALSE TRUE TRUE 

在这里，您可以使用集群来识别相同的列组（可能有更好的方法，所以如果您知道的，随意评论，甚至编辑我的答案）

library(cluster) 
distances <- as.dist(!identical.mat) 
tree  <- hclust(distances) 
cut  <- cutree(tree, h = 0.5) 
cut 
# [1] 1 2 3 1 2 2 

split(colnames(df), cut) 
# $`1` 
# [1] "a" "d" 
# 
# $`2` 
# [1] "b" "e" "f" 
# 
# $`3` 
# [1] "c" 

编辑1：忽视的浮点值的差异，可以使用

are.cols.identical <- function(col1,col2) isTRUE(all.equal((df[,col1],df[,col2])) 

编辑2：比聚类进行分组相同列的名称更有效的方法是

cut <- apply(identical.mat, 1, function(x)match(TRUE, x)) 
split(colnames(df), cut) 

Answer 2

如何转置数据帧并使用duplicated()？

B <- as.data.frame(t(A)) 
dup1 <- duplicated(B) 
# if you want to identify all duplicated rows 
dup2 <- duplicated(B, fromLast = TRUE) 
dup_final <- dup1 * dup2 
saved_colnames <- colnames(A)[dup_final] 

Answer 3

这个问题是非常类似于一个here，但与用相同的警告细微的差别。

我将在下面使用digest()，如（感谢@flodel的data.frame和上面一个非常好的建议）

df <- data.frame(a = LETTERS[1:3], 
    b = 1:3, 
    c = as.character(1:3), 
    d = LETTERS[1:3], 
    e = 1:3, 
    f = 1:3) 

dfDig <- sapply(df, digest) 

ansL <- lapply(seq_along(dfDig), function(x) names(which(dfDig == dfDig[x]))) 

unique(ansL) 

# [[1]] 
# [1] "a" "d" 

# [[2]] 
# [1] "b" "e" "f" 

# [[3]] 
# [1] "c" 

这仍然不会1.0和1区分再次建议，但是。

编辑

如由@flodel的意见建议，下面可以交替创建dfDig