下載源碼進(jìn)行編譯

在這一篇中，介紹了如何下載源碼進(jìn)行編譯，編譯好的文件名為spark-2.4.5-bin-2.6.0-cdh5.15.1
對(duì)文件進(jìn)行解壓：tar -xvf spark-2.4.5-bin-2.6.0-cdh5.15.1.tgz -C ~/app

配置環(huán)境變量

修改.bashrc文件：

# SPARK_HOME 2.4.5 SPARK_HOME=/home/iie4bu/app/spark-2.4.5-bin-2.6.0-cdh5.15.1PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SPARK_HOME/bin:$PATH

運(yùn)行l(wèi)ocal模式

使用命令：./spark-shell master local[2]
master 用來指定使用什么模式，這里使用Local模式，[2]表示兩個(gè)線程。


說明運(yùn)行成功！

運(yùn)行StandAlone模式

復(fù)制一個(gè)conf/spark-env.sh：

SPARK_MASTER_HOST=manager SPARK_WORKER_CORES=2 SPARK_WORKER_MEMORY=2g SPARK_WORKER_INSTANCES=1

spark的Standalone模式與Hadoop的HDFS模式類似，是一個(gè)Master加多個(gè)worker。
復(fù)制修改slaves：manager
修改sbin/spark-config.sh，添加JAVA_HOME：

export JAVA_HOME=/home/iie4bu/app/jdk1.8.0_101

運(yùn)行：sbin/start-all.sh:

輸入jps查看：

可以看到有一個(gè)master和一個(gè)worker.
瀏覽器訪問ip:8080可以查看

可以看到Alive Workers: 1，因?yàn)槲覀冎霸O(shè)置了SPARK_WORKER_INSTANCES=1。
當(dāng)我們修改了這個(gè)值：SPARK_WORKER_INSTANCES=2時(shí)，重啟spark：
sbin/start-all.sh，可以看到有兩個(gè)worker

在瀏覽器中可以看到：

看到Alive Worker:2 說明我們的配置生效了。

運(yùn)行一個(gè)Application

運(yùn)行命令：./spark-shell --master spark://manager:7077

可以看到已經(jīng)啟動(dòng)成功，這時(shí)查看瀏覽器：

可以看到已經(jīng)有一個(gè)Application在運(yùn)行了，這個(gè)Application的name是spark-shell，并且這個(gè)Application占用了4個(gè)Cores，和1024M的內(nèi)存。
由于現(xiàn)在的Cores已經(jīng)被這個(gè)spark-shell用光了，所以當(dāng)我們?cè)賳?dòng)一個(gè)spark-shell時(shí)：

這時(shí)查看瀏覽器：

看到第二次啟動(dòng)的spark-shell沒有分配到cores，狀態(tài)是WAITING，無法運(yùn)行。
那么能不能設(shè)置不把core用光呢？
可以：設(shè)置--executor-cores NUM和--executor-memory MEM

總結(jié)

以上是生活随笔為你收集整理的spark-2.4.5-bin-2.6.0-cdh5.15.1环境搭建:Local模式和StandAlone的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。