2014-09-12 80 views
2

如何创建将处理avroparquet之间的转换的ScaldingSource将parquet-avro支持添加到烫印

溶液应:

1. Read from parquet format and convert to avro memory representation 
2. Write avro objects into a parquet file 

注:我注意到层叠有利用节俭和实木复合地板的模块。我觉得这将是一个开始寻找的好地方。我还开了google-groups/scalding-dev

回答

4

线程尝试我们的最新变化在这个叉 - https://github.com/epishkin/scalding/tree/parquet_avro/scalding-parquet

+0

这正是我一直在寻找。投影功能是我寻找实木复合地板的原因。我将使用带有这些源代码的Typed API来创建一个漂亮的应用程序。非常感谢! – beefyhalo 2014-09-15 13:57:09

+0

我们一直在努力为Predicates添加支持。我会尽快分享这些代码。但它使用镶木地板1.6.0rc2 - 不是一个发布版本的镶木地板 – Oleksii 2014-09-15 14:34:02

+0

这将是绝对精彩:) – beefyhalo 2014-09-16 03:37:48