实木复合地板创建从熊猫数据框转换为pyarrow表不适用于对象dtype

Question

我想从csv文件创建地板文件。出于测试目的，我有一段代码读取一个文件，并将其转换为熊猫数据帧，然后转换为pyarrow表。此表然后存储在AWS S3上，并希望在表上运行配置单元查询。

Inputfile中的内容：

YEAR|WORD 
2017|Word 1 
2018|Word 2 

代码：

dataFrame=pd.read_csv(inputFile, sep='|') 
print(dataFrame) 
print(dataFrame.dtypes) 
print(dataFrame.columns) 
dataFrame['C1'] = dataFrame['C1'].astype('str') 
print(dataFrame.dtypes) 
table=pa.Table.from_pandas(dataFrame)#,schema=pa.string()) 
pq.write_table(table, outputFile) 

写入pyarrow表后，我询问了拼花文件，以确保数据良好将存储在S3。然而结果很奇怪：

+--------+--------------+ 
| YEAR |  WORD  | 
+--------+--------------+ 
| 2017 | [B@60716d4f | 
| 2018 | [B@36bf8f00 | 
+--------+--------------+ 

不知何故int值显示很好，但是object/str值没有被正确转换。

感谢您对此的帮助。

谢谢。

Answer 1

这个复制对我来说很适合往返。请注明您的平台&版本python，pandas和pyarrow

在3.6/macox（也工作2.7）

In [1]: import pandas as pd 

In [2]: import pyarrow as pa 

In [3]: pd.__version__ 
Out[3]: '0.19.2' 

In [4]: pa.__version__ 
Out[4]: '0.2.0' 

In [5]: data = """YEAR|WORD 
    ...: 2017|Word 1 
    ...: 2018|Word 2 
    ...: """ 

In [6]: df = pd.read_csv(StringIO(data), sep='|') 

In [7]: df 
Out[7]: 
    YEAR WORD 
0 2017 Word 1 
1 2018 Word 2 

In [8]: df.dtypes 
Out[8]: 
YEAR  int64 
WORD object 
dtype: object 

In [9]: table=pa.Table.from_pandas(df) 

In [10]: import pyarrow.parquet as pq 

In [12]: pq.write_table(table, 'foo.pk') 

In [13]: pq.read_table('foo.pk').to_pandas() 
Out[13]: 
    YEAR WORD 
0 2017 Word 1 
1 2018 Word 2 

In [14]: pq.read_table('foo.pk').to_pandas().dtypes 
Out[14]: 
YEAR  int64 
WORD object 
dtype: object