Flink从入门到精通100篇(二十三)-Flink实战应用案例:如何清理过期的 Checkpoint 目录?
生活随笔
收集整理的這篇文章主要介紹了
Flink从入门到精通100篇(二十三)-Flink实战应用案例:如何清理过期的 Checkpoint 目录?
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
目錄
-
Flink Checkpoint 目錄的清除策略
-
生產環境應該選擇哪種清除策略
-
生產環境必須定期腳本清理 Checkpoint 和 Savepoint 目錄
-
RocksDB 增量 Checkpoint 實現原理
-
如何合理地刪除 Checkpoint 目錄?
-
通過解析 Flink Checkpoint 的元數據信息來合理清理 Checkpoint 信息
1. 故障背景
本次故障涉及到的知識面比較多,將從以下多個角度來詳細描述。
1.1 Flink Checkpoint 目錄的清除策略
如下圖所示,紅圈處的一行配置 env.getCheckpointConfig().enableExternalizedCheckpoints() 表示當 Flink 任務取消時,是否保留外部保存的 CheckPoint 信息。
參數有兩種枚舉,分別是:ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION 和 ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION。這兩種枚舉分別代表什么含義呢?看一下源碼中的解釋:
-
DELETE_O
總結
以上是生活随笔為你收集整理的Flink从入门到精通100篇(二十三)-Flink实战应用案例:如何清理过期的 Checkpoint 目录?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Flink从入门到精通100篇(二十二)
- 下一篇: R语言实战应用精讲50篇(十九)-R语言