成功启动spark集群程序,使用多台电脑进行计算
生活随笔
收集整理的這篇文章主要介紹了
成功启动spark集群程序,使用多台电脑进行计算
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
單獨啟動spark集群(不啟動hadoop集群)
start-spartk-all.sh
spark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://master001:7077 /usr/spark/spark-2.4.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.4.0.jar 1
slave主機的資源使用情況變化(相隔2s左右)
?
master主機的資源使用情況
以前啟動程序運行,總發現slave資源使用情況沒有變化 ,今天總算 放心了?
總結
以上是生活随笔為你收集整理的成功启动spark集群程序,使用多台电脑进行计算的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: alive workers 数量为0的解
- 下一篇: spark集群运行模式理解