randomSplit不尊重特定权重PySpark

Question

我正在使用PySpark，我正在寻找一种方法将RDD随机分为n个公平的部分。下式给出：

RDD = sc.parallelize(range(50)) 

我的代码：

from itertools import repeat 

def split_population_into_parts(rdd): 

    N = 4 

    weight_part = float(1)/float(N) 

    weights_list = list(repeat(weight_part, N)) 

    repartionned_rdd = rdd.randomSplit(weights = weights_list) 

    #And just to check what weights give, I did : 
    for i in repartionned_rdd: 

     print len(i.collect()) 


split_population_into_parts(rdd = RDD) 

明知权重= [0.25，0.25，0.25，0.25]，我的代码可以给为例（如RDD长度）：

9 
19 
11 
11 

为什么randomSplit不尊重这里的权重？我想要例如12,12,12和14作为长度，或者12,12,13和13。什么是最有效的方法来做到这一点？谢谢 ！

Answer 1

等重不保证记录的数量相同。它只保证每个对象有相同的概率分配给一个特定的子集。

如果记录数很少，您会看到像这样的波动。这是正常的行为。