linux启动Spark本地模式(Local模式)
生活随笔
收集整理的這篇文章主要介紹了
linux启动Spark本地模式(Local模式)
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
首先安裝java環境
下載spark:
wget https://archive.apache.org/dist/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz創建解析文件:
mkdir /opt/input cd /opt/input/ touch wenjian.txt文件中輸入測試內容:
hello az hello spark金庸防火墻:
CentOS7
systemctl stop firewalldCentOS6
service iptables stop啟動Spark
./bin/spark-shell運行WordCount程序
sc.textFile("/opt/input").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect?
總結
以上是生活随笔為你收集整理的linux启动Spark本地模式(Local模式)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: zabbix监控数据存放pg的数据库配置
- 下一篇: Apache seaTunnel的本地启