重新组织大熊猫

我有这样一个组织的数据帧无关的数据...重新组织大熊猫

**Name** | **Mealtime** | **Food** 
John | 8:00 am | cereal 
John | 1:00 pm | salad 
John | 6:00 pm | pasta 
Sara | 8:00 am | yogurt 
Sara | 1:00 pm | panini 
Sara | 6:00 pm | steak 
Jake | 8:00 am | coffee 
Jake | 1:00 pm | burrito 
Jake | 6:00 pm | salad

而且我需要它这样

____| 8:00 am | 1:00 pm | 6:00 pm 
John | cereal | salad | pasta 
Sara | yogurt | panini | steak 
Jake | coffee | burrito | salad

我怎么会去这样做组织？请注意，我并不是在寻找一种美学上的改变。最后，我想选择一行数据，以可以从特定食物条目中确定名称的方式将其馈入for循环。例如，抓住“1:00 pm”专栏，“沙拉”会指引我约翰。但如果我抓住了“下午6点”的专栏，“沙拉”会引导我到杰克。

来源

2017-08-02 Will

您需要df.pivot：

In [606]: df.pivot(index='Name', columns='Mealtime', values='Food') 
Out[606]: 
Mealtime 1:00 pm 6:00 pm 8:00 am 
Name        
Jake  burrito salad coffee 
John  salad pasta cereal 
Sara  panini steak yogurt

来源

2017-08-02 21:54:00

选项0
numpy切片与pd.factorize

我将使用pd.factorize生产整数值为每一个独特'Name'和'Mealtime'。除此之外，我也获得了独特的价值。每个整数值都对应于唯一值数组中该整数位置中的元素。

现在我知道唯一名称的数量和独特的进餐时间，所以我知道我最终的枢轴阵列的大小。所以我创建了一个空的，等待分配值。

由于我因式分解和因子是整数位置，我可以使用这些切片我的空阵列分配目的...所以我这样做。最后，我将这一切与一个新的闪亮的数据框放在一起。

fn, un = pd.factorize(df.Name.values) 
fm, um = pd.factorize(df.Mealtime.values) 
v = np.empty((un.size, um.size), dtype=object) 
v[fn, fm] = df.Food.values 
pd.DataFrame(v, un, um) 

    8:00 am 1:00 pm 6:00 pm 
John cereal salad pasta 
Sara yogurt panini steak 
Jake coffee burrito salad

选项1
使用/unstack

df.set_index(['Name', 'Mealtime']).Food.unstack() 

Mealtime 1:00 pm 6:00 pm 8:00 am 
Name        
Jake  burrito salad coffee 
John  salad pasta cereal 
Sara  panini steak yogurt

选项2
使用defaultdict

from collections import defaultdict 

d = defaultdict(dict) 
[d[m].setdefault(n, f) for n, m, f in df.values]; 
pd.DataFrame(d) 

     1:00 pm 6:00 pm 8:00 am 
Jake burrito salad coffee 
John salad pasta cereal 
Sara panini steak yogurt

选项3
蛮力

out = pd.DataFrame(index=df.Name.unique(), columns=df.Mealtime.unique()) 
[out.set_value(n, m, f) for n, m, f in df.values] 
out 

    8:00 am 1:00 pm 6:00 pm 
John cereal salad pasta 
Sara yogurt panini steak 
Jake coffee burrito salad

时序
结论：使用pivot用于与纯大熊猫较大的数据。在这种情况下很难打败它的简单性和完成工作的能力。但是如果你想以鲁莽的速度转弯，试试选项0。

%%timeit 
fn, un = pd.factorize(df.Name.values) 
fm, um = pd.factorize(df.Mealtime.values) 
v = np.empty((un.size, um.size), dtype=object) 
v[fn, fm] = df.Food.values 
pd.DataFrame(v, un, um) 

%timeit df.set_index(['Name', 'Mealtime']).Food.unstack() 
%timeit df.pivot('Name', 'Mealtime', 'Food') 
%timeit d = defaultdict(dict); [d[m].setdefault(n, f) for n, m, f in df.values]; pd.DataFrame(d) 
%timeit out = pd.DataFrame(index=df.Name.unique(), columns=df.Mealtime.unique()); [out.set_value(n, m, f) for n, m, f in df.values]; out

小数据

1000 loops, best of 3: 300 µs per loop 
1000 loops, best of 3: 1.82 ms per loop 
1000 loops, best of 3: 1.11 ms per loop 
1000 loops, best of 3: 541 µs per loop 
1000 loops, best of 3: 656 µs per loop

较大的数据

from string import ascii_letters 

foods = np.array([ 
    'cereal', 'salad', 'pasta', 'yogurt', 
    'panini', 'steak', 'coffee', 'burrito' 
], dtype=object) 
times = pd.date_range(
    pd.datetime.now().date(), periods=24, freq='H' 
).strftime('%-I:00 %p') 
names = list(ascii_letters) 

idx = pd.MultiIndex.from_product([names, times], names=['Name', 'Mealtime']) 
df = pd.DataFrame(dict(
    Food=np.random.choice(foods, idx.size), 
), idx).reset_index() 

1000 loops, best of 3: 383 µs per loop 
1000 loops, best of 3: 1.99 ms per loop 
1000 loops, best of 3: 1.34 ms per loop 
100 loops, best of 3: 2.78 ms per loop 
100 loops, best of 3: 6.6 ms per loop

来源

2017-08-02 21:57:41 piRSquared

尼斯......计划包括一个大型数据集的测试？ –

你走了... – piRSquared

defaultdict方法比我想象的要好！让我印象深刻。 –

重新组织大熊猫

回答

相关问题