spark on yarn提交任务后总是accepted以及通过yarn关闭application
生活随笔
收集整理的這篇文章主要介紹了
spark on yarn提交任务后总是accepted以及通过yarn关闭application
小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.
打開鏈接:
http://Desktop:8088/proxy/application_1588324196554_0005/
點擊圖中 Queue后面的default
會看到隊列100%
?
解決方案[1]:
檢查內(nèi)存是否沒釋放
yarn application -list yarn application -kill application_1437456051228_1725${HADOOP_HOME}/logs下面的東西都清掉
如果想要減少accepted,我的經(jīng)驗是,不要在啟動命令中加入一堆參數(shù),例如:
spark-submit --master yarn --deploy-mode cluster xxx.jar
這樣進入RUNNING的速度會更快,原因暫時不明。
Reference:
[1]https://www.cnblogs.com/zlslch/p/6683814.html
?
總結(jié)
以上是生活随笔為你收集整理的spark on yarn提交任务后总是accepted以及通过yarn关闭application的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 没熟的菠萝蜜怎么催熟 买菠萝蜜怎么挑熟的
- 下一篇: 电商商城系统有哪些类型