2
如何创建将处理avro
和parquet
之间的转换的Scalding
Source
。将parquet-avro支持添加到烫印
溶液应:
1. Read from parquet format and convert to avro memory representation
2. Write avro objects into a parquet file
注:我注意到层叠有利用节俭和实木复合地板的模块。我觉得这将是一个开始寻找的好地方。我还开了google-groups/scalding-dev
这正是我一直在寻找。投影功能是我寻找实木复合地板的原因。我将使用带有这些源代码的Typed API来创建一个漂亮的应用程序。非常感谢! – beefyhalo 2014-09-15 13:57:09
我们一直在努力为Predicates添加支持。我会尽快分享这些代码。但它使用镶木地板1.6.0rc2 - 不是一个发布版本的镶木地板 – Oleksii 2014-09-15 14:34:02
这将是绝对精彩:) – beefyhalo 2014-09-16 03:37:48