Spark(2)——小用RDD
生活随笔
收集整理的這篇文章主要介紹了
Spark(2)——小用RDD
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
sparkcontext相當于我們和spark集群出創建好了連接,可以通過sparkcontext這樣的上下文環境來創建RDD,在shell命令行中,spark已經將上下文環境創建好了,當我們輸入sc時:
可見已經用了local模式,沒有使用集群,這樣可以驗證一些基本的代碼appName是我們當前啟動的spark作業,名稱為PySparkShell,我么也可以通過4040端口來查看:
我們可以通過sc的parallelize方法來傳入一些可迭代的對象:
ps:數字5表示給他設定partition的數量,進行reduce計算累加函數,得到結果為13
可以通過可視化界面查看得到:
任務執行成功
總結
以上是生活随笔為你收集整理的Spark(2)——小用RDD的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Spark(1)——spark基本原理与
- 下一篇: Spark(3)——通过本机文件导入到R