??? Spark的代碼是在GitHub上托管的，如果想看源碼，可以訪問：GitHub。至于SparkStreaming等功能，有個測試案例的包，

sparkStreaming的案例地址：https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/streaming

我們以NetworkWordCount.scala? 為例進行測試。注意：我們假設你已經安裝并配置好了spark環境，并在服務器上安裝了瑞士軍刀，即nc。

1、在當前窗口（A窗口）開啟一個nc，端口號使用9999

nc -lk 9999

2、重新打開一個窗口（B窗口），通過spark-submit 提交spark作業

spark-submit --master local[*] --class org.apache.spark.examples.streaming.NetworkWordCount --name wordCount /opt/spark/examples/jars/spark-examples_2.11-2.0.1.jar localhost 9999

注：

1）、--master local[*] 是指通過本地方式提交作業，*是盡可能多的使用線程數，可以改為數字，但是需要大于1，因為master需要一個線程，

而sparkStreaming的每一個Receivers都需要一個線程，所以最少要兩個線程。

2）、--class 為啟動類，--name 為作業名字，再后面是jar文件，

3）、localhost 9999 為參數，具體可以參考NetworkWordCount.scala中的代碼，是指nc的端口和ip地址

3、在窗口A輸入一行文本后，可以看到窗口B會統計單詞頻率

A窗口輸入：

B窗口可以看到

?

　　

轉載于:https://www.cnblogs.com/chenyongxiang/p/8728463.html

總結

以上是生活随笔為你收集整理的通过spark-submit，本地测试SparkStreaming的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。