一.集群環境配置

#調試Master，在master節點的spark-env.sh中添加SPARK_MASTER_OPTS變量

export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"

#調試Worker，在worker節點的spark-env.sh中添加SPARK_WORKER_OPTS變量

export SPARK_WORKER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10001"

#

#調試spark-submit + app

bin/spark-submit --class cn.daxin.spark.WordCount --master spark://node-1.daxin.cn:7077 --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.daxin.cn:9000/words.txt hdfs://node-1.daxin.cn:9000/out2

#調試spark-submit + app + executor

bin/spark-submit --class cn.daxin.spark.WordCount --master spark://node-1.daxin.cn:7077 --conf "spark.executor.extraJavaOptions=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10003" --driver-java-options "-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10002" /root/wc.jar hdfs://node-1.daxin.cn:9000/words.txt hdfs://node-1.daxin.cn:9000/out2

二.idea配置

在我們的idea中，添加兩個Remote啟動項

重要的時刻來了，我們先啟動調試Master，并加上屬于Master代碼的斷點：

可以看到，idea已經連接到了我們Cluster中的Master機器的10000端口，而這正是我們在集群中配置的端口。同理啟動Slave1(Worker)

總結

以上是生活随笔為你收集整理的java 远程调试spark_spark开启远程调试的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。