spark在離線計算方面可以類比于mapreduce，它完美的運用內存來進行計算，效率比mapreduce要高得多。
在spark這個大框架下，spark-core和sparksql都是處理離線數據的，但是明顯要比mapreduce要快得多。而sparkstreaming是一個準實時（不是立刻處理，而是有一個batch，間隔一段時間后再獲取數據）的對數據流處理框架，僅僅比storm和flink這樣來一條就立刻處理一條的框架慢一些。
RDD（彈性分布式數據集）
spark中操作的數據最終都會轉成對RDD的操作，RDD會在多個節點上進行保存，RDD也像HDFS那樣，會切分成幾個partition，就像hdfs里的數據被切分成block那樣。
ps：RDD是不可變的，如果要對RDD進行修改，RDD會保存出一個新的RDD，而不會在原來的RDD上直接進行修改，這樣在新的RDD丟失時，可以回退到上一個RDD重新進行數據處理。
在啟動之前，一定要開啟hdfs服務和yarn服務，啟動Spark，先加入到環境變量中，隨后輸入pyspark即可啟動：

總結

以上是生活随笔為你收集整理的Spark（1）——spark基本原理与启动的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。