zipWithIndex

def zipWithIndex(): RDD[(T, Long)]

該函數將RDD中的元素和這個元素在RDD中的ID（索引號）組合成鍵/值對。

?

scala>?var?rdd2?=?sc.makeRDD(Seq("A","B","R","D","F"),2)

rdd2:?org.apache.spark.rdd.RDD[String]?=?ParallelCollectionRDD[34]?at makeRDD at?:21

?

scala>?rdd2.zipWithIndex().collect

res27:?Array[(String,?Long)]?=?Array((A,0),?(B,1),?(R,2),?(D,3),?(F,4))

?

zipWithUniqueId

def zipWithUniqueId(): RDD[(T, Long)]

該函數將RDD中元素和一個唯一ID組合成鍵/值對，該唯一ID生成算法如下：

每個分區中第一個元素的唯一ID值為：該分區索引號，

每個分區中第N個元素的唯一ID值為：(前一個元素的唯一ID值) + (該RDD總的分區數)

看下面的例子：

?

scala>?var?rdd1?=?sc.makeRDD(Seq("A","B","C","D","E","F"),2)

rdd1:?org.apache.spark.rdd.RDD[String]?=?ParallelCollectionRDD[44]?at makeRDD at?:21

//rdd1有兩個分區，

?

scala>?rdd1.zipWithUniqueId().collect

res32:?Array[(String,?Long)]?=?Array((A,0),?(B,2),?(C,4),?(D,1),?(E,3),?(F,5))

//總分區數為2

//第一個分區第一個元素ID為0，第二個分區第一個元素ID為1

//第一個分區第二個元素ID為0+2=2，第一個分區第三個元素ID為2+2=4

//第二個分區第二個元素ID為1+2=3，第二個分區第三個元素ID為3+2=5

總結

以上是生活随笔為你收集整理的RDD基本转换操作:zipWithIndex、zipWithUniqueId的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。