目錄

• • windows 10 下 搭建 pyspark
  • • 所需要的工具
    • 過程與步驟

windows 10 下 搭建 pyspark

所需要的工具

Java JDK 1.8.0
spark-2.2.0-bin-hadoop2.7
hadoop-2.7.3
winutils.exe

還需要有python環(huán)境，我用的是Anaconda 3（默認(rèn)你已經(jīng)裝好此環(huán)境）。

所需工具下載鏈接
鏈接：https://pan.baidu.com/s/1e7YQO1UErH9QFQ90pncAeA
提取碼：ohv8

過程與步驟

安裝 Java JDK，這里默認(rèn)安裝就好，一直下一步下一 步，直到完成。

解壓 Hadoop，Spark，并到所需要的目錄下，這兩個只需要解壓就好，目錄不要有中文與空格等字符。

配置Java，Spark，Hadoop環(huán)境變量。

• JAVA 環(huán)境變量

  • 先在用戶變量新建，然后變量名為JAVA_HOME，變量名為你的JDK的安裝路徑如下圖。下面的Path，添加 %JAVA_HOME%\bin，這樣就設(shè)置好啦。

• Spark 環(huán)境變量

  • 跟JAVA環(huán)境變量設(shè)置一樣，只不過變量名與路徑名要變成SPARK_HOME與你的Spark的路徑。

• Hadoop 環(huán)境變量

  • 跟JAVA環(huán)境變量設(shè)置一樣，只不過變量名與路徑名要變成HADOOP_HOME與你的HADOOP的路徑。

詳細(xì)的配置，請參考下圖。

4. 把winutils.exe 復(fù)制到hadoop 的bin下，并用管理員打開cmd，跟著現(xiàn)在第二個圖操作，利用winutils.exe 修改寫入的權(quán)限。

winutils.exe chmod 777 C:\tmp\hive

一般都沒有什么問題。

• 可能會出現(xiàn)的問題
  • ChangeFileModeByMask error (2): ???
• 解決方法
  • 在C盤下創(chuàng)建tmp\hive的文件夾
  • 如C盤下已經(jīng)有tmp文件夾了，可以在文件夾下添加hive的文件夾，如下圖
    
    修改后再試一下上面winutils.exe的命令。

修改完后權(quán)限后，就是安裝pyspark。這里也可以會翻車。因為現(xiàn)在pyspark更新到3.x啦。pip install pyspark 應(yīng)該是安裝最新的。安裝完后在終端應(yīng)該輸入pyspark，應(yīng)該也會SPARK的圖案了，如下圖。

但是可能用的還是會報如下錯誤，解決辦法，就是安裝pyspark對應(yīng)的版本，后面加的鏈接是阿里云，這樣下載就會快很多。

pip install pyspark=2.2.1 -i https://mirrors.aliyun.com/pypi/simple/

java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CALLBACK_HOST

安裝完后，應(yīng)該就沒有什么問題啦，運(yùn)行如下。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的windows 10下搭建pyspark与遇到的一些问题的解决方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。