執行spark on yarn 執行：./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 1G --num-executors 3? ./lib/spark-examples-1.6.3-hadoop2.6.0.jar 10? 命令執行成功后在yarn 資源管理界面查看不了logs

參考博客：https://blog.csdn.net/lisongjia123/article/details/78639058

問題描述

在yarn上跑一個hadoop任務時，通過yarn的web管理后臺(serveraddress:8088)想查看該任務的的任務時，發現提示如下錯誤：

Java.lang.Exception:Unknown container.Container either has not started or has already completed or doesn;t belong to this node at all.

參考博客給出的解放方法

下來查詢官方文檔后，才了解到yarn的日志監控功能默認是處于關閉狀態的，需要我們進行開啟，開啟步驟如下：

Ps:下面配置的文件的位置在hadoop根目錄 etc/haddop文件夾下，比較老版本的Hadoop是在hadoop根目錄下的conf文件夾中

一、在yarn-site.xml文件中添加日志監控支持

該配置中添加下面的配置：

<property><name>yarn.log-aggregation-enable</name><value>true</value> </property>

• 
  

二、在mapred-site.xml文件中添加日志服務的配置

該配置文件中添加如下配置：

<property><!-- 表示提交到hadoop中的任務采用yarn來運行，要是已經有該配置則無需重復配置 --><name>mapreduce.framework.name</name><value>yarn</value> </property> <property><!--日志監控服務的地址，一般填寫為nodenode機器地址 --><name>mapreduce.jobhistroy.address</name><value>master:10020</value> </property> <property><name>mapreduce.jobhistroy.webapp.address</name><value>master:19888</value> </property>

三、將修改后的配置文件拷貝到集群中的其他機器(單機版hadoop可以跳過該步驟)

快捷一點可以使用?scp?命令將配置文件拷貝覆蓋到其他機器

scp yarn-site.xml skyler@slave1:/hadoopdir/etc/hadoop/

scp mapred-site.xml skyler@slave1:/hadoopdir/etc/hadoop/

…其他datanode機器同理

四、重新啟動集群的Hdfs和Yarn服務

在namenode機器上分別對hdfs和yarn服務進行重啟

bin/stop-dfs.sh

bin/start-dfs.sh

bin/stop-yarn.sh

bin/start-yarn.sh

五、 開啟日志監控服務進程

在nodenode機器上執行?sbin/mr-jobhistory-daemon.sh start historyserver?命令，執行完成后使用jps命令查看是否啟動成功，若啟動成功則會顯示出JobHistoryServer服務?

以上內容執行后log 日志還是不能不來：

后來參考博客：https://blog.csdn.net/u012037852/article/details/71405054

在yarn-site 中添加了這個超鏈接就OK 了

</property>
<property>
<name>yarn.log.server.url</name>
<value>http://centos11:19888/jobhistory/logs/</value>

</property>

總結

以上是生活随笔為你收集整理的spark on yarn webUI logs不能查看的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。