spark-submit的执行原理
Created by Wang, Jerry on Aug 08, 2015
$ cd dirname $0 和PWD%/* shell變量的一些特殊用法
在命令行狀態下單純執行 $ cd dirname $0 是毫無意義的。因為他返回當前路徑的"."。
這個命令寫在腳本文件里才有作用,他返回這個腳本文件放置的目錄,并可以根據這個目錄來定位所要運行程序的相對位置(絕對位置除外)。
在/home/admin/test/下新建test.sh內容如下:
cd dirname $0
echo pwd
然后返回到/home/admin/執行
sh test/test.sh
運行結果:
/home/admin/test
這樣就可以知道一些和腳本一起部署的文件的位置了,只要知道相對位置就可以根據這個目錄來定位,而可以不用關心絕對位置。這樣腳本的可移植性就提高了,扔到任何一臺服務器,(如果是部署腳本)都可以執行。
$0當前Shell程序的文件名
dirname $0,獲取當前Shell程序的路徑
cd dirname $0,進入當前Shell程序的目錄
實際上是直接執行pwd命令:
使用printf 打印變量的值:
執行結果:
實際上是調用bin folder下的spark-class(也是一個腳本), 輸入參數為org.apache.spark.deploy.sparkSubmit:
–help只顯示help:
真正的執行:
要獲取更多Jerry的原創文章,請關注公眾號"汪子熙":
總結
以上是生活随笔為你收集整理的spark-submit的执行原理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: windows ssh远程登录阿里云遇到
- 下一篇: 哈库呐玛塔塔中文意思