减速机的配置方法中的呼叫进度或增加计数器

Question

是否可以这样做？

上下文：我的reducer配置方法需要从DistributedCache中读取一组文件（总大小约为150MB）。然而，我不知道为什么花了这么长时间，尽管有一些减速器已经成功完成，但是哈多普杀死了一些减速器。

我使用旧的API，我只能访问配置方法中的JobConf conf变量。

我的想法是让记者变量字段，然后我可以在配置方法中调用它。但似乎在调用reduce之前调用了配置。

Answer 1

将您的代码转换为使用新的API！

然后在setup()，您可以访问context变量，并调用progress()如下：

@Override 
     protected void setup(Context context) throws IOException, InterruptedException { 
context.progress(); 
}