dask

1热度

1回答

我有一个DASK数据帧，其中该索引是一个字符串，它看起来像这样： 12/09/2016 00:00;32.0046;-106.259 12/09/2016 00:00;32.0201;-108.838 12/09/2016 00:00;32.0224;-106.004 （其基本上编码的日期时间的字符串;纬度;经度的行）我想拆分，而仍然在dask上下文各个列代表每个领域。我能做到这一点用

0热度

1回答

python：我如何读取和处理18GB的csv文件？

我有一个18GB的csv文件从测量，并希望做一些基于它的计算。我试图用熊猫来做，但似乎永远只是读取这个文件。以下代码是我所做的： df=pd.read_csv('/Users/gaoyingqiang/Desktop/D989_Leistung.csv',usecols=[1,2],sep=';',encoding='gbk',iterator=True,chunksize=1000000)

0热度

1回答

在R和Python之间交叉读取地板文件

我们已经生成了一个地块文件，一个在Dask（Python）中，另一个在R Drill（使用Sergeant数据包）中生成。他们使用不同的parquetsee my other parquet question 我们无法交叉读取文件（python无法读取R文件，反之亦然）。在R环境中读取Python实地图文件时，我们收到以下错误：system error: Illegalstatexception

0热度

2回答

python：如何读取和处理18GB的csv文件？

0热度

1回答

的镶木子文件

当generating the parquet file从相同csv file的Dask数生成具有许多小文件镶木文件（超过200文件与3MB的大小）和R Sergeant生成2个.parquet文件与520 MB和280 MB）。我们尝试使用fastparquet.write和row_group_offset关键字，但没有成功。在Dask中使用partition_on添加了一组分区，但在每个分区

1热度

1回答

Dask在Groupby上复制Pandas值计数

我想要做的是在dask中复制熊猫值计数+ idxmax函数，因为我有很多数据。下面是一个例子数据框： partner_num cust_id item_id revw_ratg_num revw_dt item_qty 0 100 01 5 05/30/2000 0 0 100 03 5 05/30/2000 0 0 100 02 5 05/30/2000 0 1 200 13 4 04/

2热度

1回答

是什么叫dask.distrubuted.Executor和dask.distributed.Client

我有一个关于从DASK文档并发期货要点问题之间的区别：https://gist.github.com/mrocklin/ef9ccd29a6ec5f4de84d6192be95042a 当我们实例化一个执行者，这是否意味着它实例一个调度程序呢？执行人的再版说 <Client: scheduler='tcp://127.0.0.1:60329' processes=4 cores=4> 那么究竟是什

0热度

1回答

使用Dask计算会导致执行挂起

这是一个后续问题，以回答我之前关于使用Dask计算到access one element in a large array的问题之一的可能答案。为什么使用Dask计算会导致执行挂起？这里的工作代码片段： #Suppose you created a scheduler at the ip address of 111.111.11.11:8786 from dask.distribute

2热度

1回答

以Fortran连续顺序重塑dask.array

我想问一下如何在Fortran-contiguous (column-major) order中重塑dask数组，因为np.reshape函数的并行版本尚未得到支持（see here）。

1热度

1回答

`RuntimeError：资源暂时unavailable`为dask.array.map_blocks（）

我有一个函数调用sig2z，我想申请在DASK阵列： def sig2z(da, zr, zi, nvar=None, dim=None, coord=None): """ Interpolate variables on \sigma coordinates onto z coordinates. Parameters ---------- d