pyspark基礎教程

下面一段代碼是簡單教程,對與如何向spark 集群提交代碼任務,無論文檔和博客都有很多說法,其實很簡單,只要在腳本中setMaster(“spark://192.168.10.182:7077”),
spark://192.168.10.182:7077是master的url,
192.168.10.182是master的ip
7077是端口號

conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077")

代碼只在本地運行

conf=SparkConf().setAppName("miniProject").setMaster("local[*]")

全部代碼

import pyspark from pyspark import SparkContext as sc from pyspark import SparkConf #conf=SparkConf().setAppName("miniProject").setMaster("local[*]") conf=SparkConf().setAppName("lg").setMaster("spark://192.168.10.182:7077") sc=sc.getOrCreate(conf)#（a）利用list創(chuàng)建一個RDD;使用sc.parallelize可以把Python list，NumPy array或者Pandas Series,Pandas DataFrame轉成Spark RDD。 rdd = sc.parallelize(list(range(10**2))) #print(rdd) #Output:ParallelCollectionRDD[0] at parallelize at PythonRDD.scala:480#（b）getNumPartitions()方法查看list被分成了幾部分 print(rdd.getNumPartitions() )

我的代碼都在anaconda 的spyder里編寫,
如何對spyder 配置spark請看我的這篇博客
如何對spyder 配置spark

總結

以上是生活随笔為你收集整理的pyspark基础教程的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。