如何安裝Apache Spark

---

1 Why Apache Spark
2 關于Apache Spark
3 如何安裝Apache Spark
4 Apache Spark的工作原理
5 spark彈性分布式數據集
6 RDD持久性
7 spark共享變量
8 Spark SQL
9 Spark Streaming

原文鏈接：http://blogxinxiucan.sh1.newtouch.com/2017/07/23/%E5%A6%82%E4%BD%95%E5%AE%89%E8%A3%85Apache-Spark/

下表列出了一些重要的鏈接和先決條件：

當前版本1.0.1 @ http://d3kbcqa49mib13.cloudfront.net/spark-1.0.1.tgz

下載頁面	https://spark.apache.org/downloads.html
JDK版本（必填）	1.6以上
Scala版本（必填）	2.10以上
Python（可選）	[2.6,3.0）
簡單構建工具（必需）	http://www.scala-sbt.org
開發版本	git clone git：//github.com/apache/spark.git
Building說明	https://spark.apache.org/docs/latest/building-with-maven.html
Maven	3.0以上

Apache Spark可以配置為獨立運行，也可以在Hadoop V1 SIMR或Hadoop 2 YARN / Mesos上運行。Apache Spark需要Java，Scala或Python中等技能。這里我們將看到如何在獨立配置中安裝和運行Apache Spark。

安裝JDK 1.6+，Scala 2.10+，Python [2.6,3）和sbt

下載Apache Spark 1.0.1發行版

在指定的目錄中解壓縮并解壓縮spark-1.0.1.tgz

akuntamukkala@localhost~/Downloads$ pwd /Users/akuntamukkala/Downloads akuntamukkala@localhost~/Downloads$ tar -zxvf spark- 1.0.1.tgz -C /Users/akuntamukkala/spark

4、 從＃4轉到目錄并運行sbt來構建Apache Spark

akuntamukkala@localhost~/spark/spark-1.0.1$ pwd /Users/akuntamukkala/spark/spark-1.0.1 akuntamukkala@localhost~/spark/spark-1.0.1$ sbt/sbt assembly

5、 啟動Apache Spark獨立REPL對于Scala，請使用：
/ Users / akuntamukkala / spark / spark - 1.0。1 / bin / spark - shell
對于Python，請使用：
/Users/akuntamukkala/spark/spark-1.0.1/bin/ pyspark

6.、轉到SparkUI @ http：// localhost：4040

---

公眾號：it全能程序猿

---

轉載于:https://www.cnblogs.com/xinxiucan/p/7246694.html

總結

以上是生活随笔為你收集整理的3.如何安装Apache Spark的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。