熊猫时间戳差值变换

Question

我有一个数据帧与一个整数值，SESSION_ID，事件和TIME_STAMP看起来像这样：

In [41]: df = pd.DataFrame(data={'session_id': np.sort(np.random.choice(np.arange(3), 11)), 'event': np.random.choice(['A', 'B', 'C', 'D'], 11), 'time_stamp': pd.date_range 
    ...: ('1/1/2017', periods=11, freq='S')}).reset_index(drop=True) 

In [42]: df 
Out[42]: 
    event session_id   time_stamp 
0  B   0 2017-01-01 00:00:00 
1  C   0 2017-01-01 00:00:01 
2  D   0 2017-01-01 00:00:02 
3  B   1 2017-01-01 00:00:03 
4  B   1 2017-01-01 00:00:04 
5  D   2 2017-01-01 00:00:05 
6  B   2 2017-01-01 00:00:06 
7  A   2 2017-01-01 00:00:07 
8  B   2 2017-01-01 00:00:08 
9  B   2 2017-01-01 00:00:09 
10  A   2 2017-01-01 00:00:10 

我要计算使用groupby会话长度和lambda功能，但是我想返回一个与原始数据帧相同索引的系列对象，所以我可以将其添加为列。这应该是可能的groupby.transform这样的，但它返回一个奇怪的“不能转换对象numpy的日期时间”的错误：

In [44]: df.groupby('session_id')['time_stamp'].transform(lambda x: x.max() - x.min()) 
--------------------------------------------------------------------------- 
ValueError        Traceback (most recent call last) 
<ipython-input-44-c67ed1d4a90e> in <module>() 
----> 1 df.groupby('session_id')['time_stamp'].transform(lambda x: x.max() - x.min()) 

/Users/hendele/anaconda2/lib/python2.7/site-packages/pandas/core/groupby.pyc in transform(self, func, *args, **kwargs) 
    2843 
    2844    indexer = self._get_index(name) 
-> 2845    result[indexer] = res 
    2846 
    2847   result = _possibly_downcast_to_dtype(result, dtype) 

ValueError: Could not convert object to NumPy datetime 

我想我是不正确的使用。但是，当你使用groupby.agg，它的作品！

In [43]: df.groupby('session_id')['time_stamp'].agg(lambda x: x.max() - x.min()) 
Out[43]: 
session_id 
0 00:00:02 
1 00:00:01 
2 00:00:05 
Name: time_stamp, dtype: timedelta64[ns] 

你能解释一下，如果这是一个错误，如果不是，我做错了什么？谢谢！

p.s.不想使用时间戳索引，因为我可能在实际数据中有重复的时间戳。

Answer 1

为什么agg工作但transform失败？

这两种行为之间的区别在于transform()操作需要返回一个类似索引的操作。为了促进这一点，transform从原始系列的副本开始。然后，在对每个组进行计算之后，将复制系列的适当元素设置为等于结果。此时进行类型比较，并发现timedelta未能投射到datetime。 agg()不执行此步骤，因此不会失败类型检查。

周围的工作：

这个分析表明周围的工作。如果transform的结果是datetime，它将会成功。所以要解决：

base_time = df['time_stamp'][0] 
df.groupby('session_id')['time_stamp'].transform(
    lambda x: x.max() - x.min() + base_time) - base_time 

这是一个错误吗？

我认为这是一个错误，我打算在早上提出问题。我将在此处更新问题链接。

更新：

我已经提交了bug并针对此问题的pull request。