Flink web.upload.dir
生活随笔
收集整理的這篇文章主要介紹了
Flink web.upload.dir
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
好像很少有人談論這個參數,基本被忽略了,這個參數是Flink少數不能設置為HDFS的參數,默認的web.upload.dir是在web.tmpdir目錄下。以下是官方給出的2個參數的含義:
web.tmpdir System.getProperty("java.io.tmpdir") Flink web directory which is used by the webmonitor. web.upload.dir (none) Directory for uploading the job jars. If not specified a dynamic directory will be used under the directory specified by JOB_MANAGER_WEB_TMPDIR_KEY.放在tmp目錄先肯定是有問題,一旦機器重啟,可能所有上傳的包都丟失了。你可能會修改這個參數為一個永久目錄,即使如此還是有問題,今天就是談論這個問題。
web.upload.dir既然不是HDFS共享目錄,那就肯定是本地目錄了,這個本地目錄根據你的job manager是哪一臺機器,就上傳到哪一臺機器的web.upload.dir.?
按照上面的推測,一旦發生job manager切換,那之前你上傳的包,在新的job manager上是看不到的。這可不是我們想要看到的結果。如果你使用的是yarn-session.sh啟動模式,所有的node manager都有可能是job manager. 如果你用standalone HA同樣道理,一旦切換上傳的包就看不到了。
解決這個問題用NFS比較好,這樣所有的job maanager掛載這個目錄,不管你怎么切換,都能看到web.upload.dir里的包。
總結
以上是生活随笔為你收集整理的Flink web.upload.dir的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 国内7大核心期刊
- 下一篇: 解决 IDEA 使用 AWT 组件中文乱