pyspark on yarn启动jupyter连接不上内核
情況說明
centos 7
hadoop 3.1.3
spark 3.1.3
python 3.6.8
我單獨(dú)啟動(dòng)jupyter、單獨(dú)啟動(dòng)pyspark以local模式啟動(dòng)jupyter，沒有任何問題
但是使用pyspark on yarn啟動(dòng)jupyter連接不上內(nèi)核
- jupyter notebook
- pyspark
- PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=“notebook” pyspark
- HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop pyspark --master yarn --deploy-mode client
以上幾種種情況都不會(huì)出現(xiàn)這個(gè)問題，只有下面這個(gè)情況會(huì)報(bào)錯(cuò)
- PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=“notebook” HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop/ MASTER=yarn pyspark
網(wǎng)上找了很多解決方法都對(duì)我這個(gè)無效
我開始以為是因?yàn)閟park的問題，換了spark3.2.2 和spark3.1.3都不行
相關(guān)報(bào)錯(cuò)
- 報(bào)錯(cuò)1
- 報(bào)錯(cuò)2
- 報(bào)錯(cuò)3
解決辦法
雖然不知道為什么，但有時(shí)候折磨你10幾個(gè)小時(shí)的問題解決，就是這么簡單
pip install --upgrade prompt-toolkit==2.0.4轉(zhuǎn)折
2022年10月19日14:35:34
就當(dāng)我中午寫完這篇博客，下午換了個(gè)jupyter-lab測試的時(shí)候，發(fā)生了轉(zhuǎn)折
問題又出現(xiàn)了。。。
經(jīng)過我前后兩次控制變量發(fā)現(xiàn)，當(dāng)我使用自己定義的
jupyter_lab_config.py文件，就會(huì)出現(xiàn)這個(gè)問題，讓我重新生成，或者刪去jupyter_lab_config.py這個(gè)文件，就沒事了……
因此，問題一定出在我修改的部分選項(xiàng)
我改了以下內(nèi)容
c.ServerApp.open_browser = False c.ServerApp.root_dir = '/root/jupyter-workspace' c.ServerApp.allow_root = True c.ServerApp.allow_remote_access = True c.ServerApp.ip = '0.0.0.0' c.ServerApp.port = 8888當(dāng)我設(shè)置下面的選項(xiàng)后，即默認(rèn)打開瀏覽器，問題解決了。。。
c.ServerApp.open_browser = True改成True不一定是解決問題的根本原因，感覺設(shè)置成True后，因?yàn)閤shell自身的問題，會(huì)一直彈這個(gè)窗，卡主我的終端，我點(diǎn)取消又會(huì)彈出來。
但是我發(fā)現(xiàn)我不點(diǎn)取消，后面終端內(nèi)容一直不動(dòng)，點(diǎn)一次取消就出現(xiàn)一點(diǎn)。
當(dāng)我發(fā)現(xiàn)終端提示這部分后
我注意到這是pyspark運(yùn)行的提示信息，我就讓pyspark多跑一會(huì)，晚一點(diǎn)去運(yùn)行ipynb文件
等了30秒左右再運(yùn)行，就好了。。。
解決辦法
不管有沒有設(shè)置
c.ServerApp.open_browser = True看見這條信息之后等個(gè)30秒到1分鐘
等出現(xiàn)這個(gè)提示后再去jupyter上運(yùn)行代碼就ok了
個(gè)人猜測如果提前運(yùn)行，可能是會(huì)導(dǎo)致jupyter內(nèi)部連接內(nèi)核timeout超時(shí)，如果等pyspark運(yùn)行好了，再運(yùn)行就沒事
參考博客
jupyter“到后臺(tái)服務(wù)的連接沒能建立.”
總結(jié)
以上是生活随笔為你收集整理的pyspark on yarn启动jupyter连接不上内核的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
