1 IDEA 打包

示例代碼參考AMPCamp2015之SparkSQL，開發環境使用idea。首先需要將程序打包成jar

選擇project structure --》artifacts ，由于集群已經有了運行依賴的jar包，打包時可以將這些jar包排除出去，以減小打包后的jar包的大小。

點擊ok，然后選擇build --》build artifacts，SparkSQLTest --》build，然后在工程目錄的子目錄下會生成j對應的jar文件：

2 提交任務

首先啟動集群，然后客戶端來到spark-submit目錄：/app/hadoop/spark131/bin

spark-submit通過命令行的方式提交任務，具體參數信息如下參考：

提交示例如下：

在命令行輸入如下命令： ./spark-submit ?--class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3 ?/home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar



在web監控界面可以看到：

3 運行結果

結果如下：

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的Spark-submit提交任务到集群的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。