猪0.11编译速度慢吗？

Question

有没有人觉得在Pig 0.11上运行脚本很慢？我已经在猪0.11和猪0.8的相同环境下运行脚本。猪0.8总是更快。

评论？

Answer 1

难道是因为你的LOAD陈述USING PigStorage()匹配很多文件？ Pig 0.11中的PigStorage()默认情况下在HDFS上检查匹配文件的模式文件。如果你正在阅读大量的文件，这可能会让它变得非常慢。使用x = LOAD '...' USING PigStorage('...','-noschema')。 使用-noschema将避免查找模式文件，您应该恢复速度。

更多信息here。