前置條件

• spark安裝完畢
• Ancona安裝完畢

為了在jupyter notebook上編寫scala與spark需要安裝Jupyter-Spark與Jupyter-Scala兩個(gè)jupyter核心（kernel）
本人安裝順序?yàn)镴upyter-Spark，然后Jupyter-Scala，文檔編寫順序?yàn)楸救税惭b順序。

開(kāi)始

此處使用Apache toree給notebook安裝scala kernel

第一步，安裝toree

下載toree，

pip install toree

第二步，安裝jupyter-scala，順便啟動(dòng)spark

jupyter toree install --spark_opts='--master=spark://localhost:7077' --user --kernel_name=Spark2.3.2 --spark_home=/home/fonttian/spark-2.3.2-bin-hadoop2.7

此處–master spark地址 --spark_home spark 下載目錄
–kernel_name可以通過(guò)spark-shell 查看

第三步，檢測(cè)jupyter核心，檢測(cè)新建項(xiàng)目

第四步：創(chuàng)建scala項(xiàng)目并運(yùn)行

在jupyter可以直接以腳本形式運(yùn)行scala語(yǔ)句
也可以定義object，然后利用main函數(shù)運(yùn)行。

注意的地方

假如使用jupyter-spark啟動(dòng)scala即使沒(méi)有使用spark，jupyter也會(huì)默認(rèn)啟動(dòng)spark，如果僅僅是想要練習(xí)scala的話建議使用jupyter-scala核心新建項(xiàng)目，下面是jupyter-scala的安裝方法

安裝scala核心

如果你對(duì)scala不熟悉的話，或許你還需要在jupyter上安裝scala核心（一般使用idea）

下載jupyter-scala-cli

請(qǐng)到https://oss.sonatype.org/content/repositories/snapshots/com/github/alexarchambault/jupyter/下載jupyter-scala-cli文件

此處博主使用的是最新的2.11.6版本

添加核心

首先解壓文件，然后按照?qǐng)D中運(yùn)行制定文件進(jìn)行安裝

檢測(cè)核心

jupyter kernelspec list

檢測(cè)新添加的核心

創(chuàng)建Scala項(xiàng)目

如果想要?jiǎng)?chuàng)建object等，并運(yùn)行，與上面描述方法一致，運(yùn)行objectName.main(Array())即可

總結(jié)

以上是生活随笔為你收集整理的Jupyter notebook 编写scala与spark的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。