删除气流任务日志

Question

我跑5 DAG的已经产生的base_log_folder 6GB左右，总的日志数据在个月。我刚刚添加了remote_base_log_folder，但它似乎并不排除登录到base_log_folder。

反正是有只在远程存储自动删除旧的日志文件，旋转它们或强制气流无法登录磁盘（base_log_folder）？

Answer 1

我不认为有一个旋转机构，但你可以将它们存储在S3或谷歌云存储作为在这里描述：https://airflow.incubator.apache.org/configuration.html#logs

Answer 2

气流维护者不认为截断日志是气流核心逻辑的一部分，看到this，然后在这个问题上，维护人员建议改变LOG_LEVEL以避免太多的日志数据。

而在this PR中，我们可以学习如何更改airflow.cfg中的日志级别。

祝你好运。

Answer 3

请参阅https://github.com/teamclairvoyant/airflow-maintenance-dags

这个插件有DAG的，可以杀死暂停任务和日志清理。 你可以抓住这些概念，并可以想出一个新的DAG，可以按照你的要求进行清理。