无法禁用Apache Spark writeAheadLogs

Question

我设置了spark.streaming.receiver.writeAheadLog.enable=false，我的历史记录服务器确认该属性已设置。然而，我仍然看到错误：

16/11/28 15:47:04 ERROR util.FileBasedWriteAheadLog_ReceivedBlockTracker: Failed to write to write ahead log after 3 failures 

我从火花网友跟帖Spark Streaming Data loss on failure to write BlockAdditionEvent failure to WAL是HDFS追加支持必须启用WAL与HDFS工作猜测。我的安装不启用此HDFS功能，所以我想禁用Spark中的WAL。

Answer 1

我假设你在你的代码checkpointinig上的StreamingContext是这样的： -

ssc.checkpoint(directory) 

星火做两分型检查点的： -

1. 元数据检查点从驱动程序故障恢复

2. 接收数据检查点

你只用spark.streaming.receiver.writeAheadLog.enable =假

检查点的元数据接收器禁用检查点还亮着。并且点校验需要hdfs附加功能。

您可以启用HDFS追加通过设置如下属性HDFS-site.xml中： -

dfs.support.append=true