根據[1]

?

算子	作用
map	應用于RDD中每個元素
mapPartitions	應用于每個分區

?

根據[2]mapPartitions更容易OOM

?

代碼如下:

//生成10個元素3個分區的rdd a，元素值為1~10的整數（1 2 3 4 5 6 7 8 9 10），sc為SparkContext對象val a = sc.parallelize(1 to 10, 3)//定義兩個輸入變換函數，它們的作用均是將rdd a中的元素值翻倍//map的輸入函數，其參數e為rdd元素值 def myfuncPerElement(e:Int):Int = {println("e="+e)e*2}//mapPartitions的輸入函數。iter是分區中元素的迭代子，返回類型也要是迭代子def myfuncPerPartition ( iter : Iterator [Int] ) : Iterator [Int] = {println("run in partition")var res = for (e <- iter ) yield e*2res}val b = a.map(myfuncPerElement).collectval c = a.mapPartitions(myfuncPerPartition).collect

?

這兩個方法的另一個區別是在大數據集情況下的資源初始化開銷和批處理處理，如果在myfuncPerPartition和myfuncPerElement中都要初始化一個耗時的資源，然后使用，比如數據庫連接。在上面的例子中，myfuncPerPartition只需初始化3個資源（3個分區每個1次），而myfuncPerElement要初始化10次（10個元素每個1次），顯然在大數據集情況下（數據集中元素個數遠大于分區數），mapPartitons的開銷要小很多，也便于進行批處理操作。

?

另外一個例子是這個

?

?

Reference:

[1]spark mapPartition方法與map方法的區別

[2]MapPartition和Map的區別

?

總結

以上是生活随笔為你收集整理的mapPartition方法与map方法的区别(转载)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。