sublime+virtualenv+pyspark执行的时候报Unable to load native-hadoop library for your platform
生活随笔
收集整理的這篇文章主要介紹了
sublime+virtualenv+pyspark执行的时候报Unable to load native-hadoop library for your platform
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
Unable to load native-hadoop library for your platform這個(gè)報(bào)錯(cuò)在網(wǎng)上有一大堆解決方案,我們會(huì)發(fā)現(xiàn),完全無效。
為什么呢?
因?yàn)榇藭r(shí),sublime里面的虛擬環(huán)境python2.7使用的是virtualenv的site-packages下面的pyspark,不再是我們下載的那個(gè)pyspark源碼包了。
所以解決方案只有一個(gè),
/home/appleyuchi/.virtualenvs/python2.7/lib/python2.7/site-packages/pyspark/conf/spark-env.sh
里面加入:
export HADOOP_HOME=/home/appleyuchi/Hadoop_source/hadoop-2.7.3-src
export LD_LIBRARY_PATH=$HADOOP_HOME/lib
export SPARK_LOCAL_IP=127.0.0.1
總結(jié)
以上是生活随笔為你收集整理的sublime+virtualenv+pyspark执行的时候报Unable to load native-hadoop library for your platform的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Caused by: java.net.
- 下一篇: spark 常用函数介绍(python)