重采样大熊猫据帧到一天取出小时部分

我试图插入采用以分钟为数据导入谷歌BigQuery的大型数据集，而是查询我重新采样数据转换成用大熊猫4个单独的CSV文件时降低我的资源使用情况：分钟，15分钟，每小时和每天。对于前3个，所有重新采样都很好。但是当我尝试重新采样到日期值时，resample函数会删除小时信息（我只需要在00:00）。重采样大熊猫据帧到一天取出小时部分

而且BigQuery的指定时间戳格式YYYY-MM-DD HH：MM：SS，但我只有YYYY-MM-DD的日期值。

下面的代码：

for i, f in enumerate(fluksos): 
print "Flukso {} of {}".format(i+1, len(fluksos)) 
for j, s in enumerate(f.sensors): 
    print "Sensor {} of {}".format(j+1, len(f.sensors)) 
    for week in weekindex: 
     print "week {}, fetching data".format(week), 
     ts = dl.tmpo_series(s.sensor_id, head=week, tail= week + pd.Timedelta(days=7)) 
     if ts is None: 
      print "No data" 
      continue 
     print "success" 
     ts = pd.concat([ts], axis=1) 
     ts.columns = ['consumption'] 

     ts = ts.resample('d', how='mean') 
     ts['meterID'] = s.sensor_id 

     for group in ts.groupby(ts.index.day): 
      filename = "day.{}.{}.csv".format(s.sensor_id,group[1].first_valid_index().date()) 

      #save file locally 
      group[1].to_csv('temp.csv', header=False) 

      if os.path.isfile(os.path.join(path_to_data,filename)) and (filecmp.cmp('temp.csv', os.path.join(path_to_data, filename))): 
       print "file already exists, not saving", 
       continue 
      else: 
       print "saving new file", 
      group[1].to_csv(os.path.join(path_to_data, filename), header=False) 

      print ".", 
     print "week done"

我知道我必须要改变的ts = ts.resample('d', how='mean')线的东西，但我似乎无法找出什么。请记住，我在Python编程方面没有太多的经验。

编辑& FIX：

我能解决这个问题是这样的：

ts = ts.tz_localize('UTC') 
ts = ts.tz_convert('Europe/Brussels') 
ts = ts.resample('d', how='mean')

显然我Dataframes包含时间戳没有时区信息，从而时间戳的小时部分被放弃了。因此，通过重新采样问题之前添加时区固定

来源

2016-03-06 Matteus

我是能够解决这样的问题：

ts = ts.tz_localize('UTC') 
ts = ts.tz_convert('Europe/Brussels') 
ts = ts.resample('d', how='mean')

显然我Dataframes包含时间戳不时区信息，因此时间戳的小时部分被丢弃。所以通过在重新采样之前添加时区，问题得到修复

来源

2017-11-07 13:48:17 Matteus

你确定你正在失去你的时间，或者它只是不显示？

df = pd.DataFrame({'A': [1, 2, 3, 4, 5]}, index=pd.date_range('2016-1-1 23:00', freq='H', periods=5)) 

df2 = df.resample('d') 
>>> df2 
       A 
2016-01-01 1.0 
2016-01-02 3.5 

# Pandas 0.17.1 
>>> df2.index[0] 
Timestamp('2016-01-01 00:00:00', offset='D')

如果你真的只是有天，你也可以这样做：

df2.index = pd.to_datetime(df2.index + ' 00:00:00')

来源

2016-03-06 22:28:46 Alexander

重采样大熊猫据帧到一天取出小时部分

回答

相关问题