Spark 计算人员二度关系
生活随笔
收集整理的這篇文章主要介紹了
Spark 计算人员二度关系
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1、一度人脈:雙方直接是好友2、二度人脈:雙方有一個以上共同的好友,這時朋友網可以計算出你們有幾個共同的好友并且呈現數字給你。你們的關系是: 你->朋友->陌生人3、三度人脈:即你朋友的朋友的朋友就是這個陌生人。你們的關系是 你->朋友->朋友->陌生人4、四度人脈:比三度增加一度,你們的關系是,你->朋友->朋友->朋友->陌生人5、五度人脈:你->朋友->朋友->朋友->朋友->陌生人 ,像上面這張圖片表示的就是一個五度人脈關系。6、六度人脈:你->朋友->朋友->朋友->朋友->朋友->陌生人
數據格式如下:
A,B A,C A,E B,D E,D C,F F,G業務邏輯如下:
1、轉換操作flatMapToPair將行數據變為鍵值對,如A,B表示A和B認識,A可以通過B認識B的朋友,B通過A可以認識A的朋友,轉化結果為{A:A,B}、{B:B,A};
2、轉換操作groupByKey對鍵值對按Key進行分組&#x
總結
以上是生活随笔為你收集整理的Spark 计算人员二度关系的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 关于IE样式兼容问题
- 下一篇: smarty3.1.30 模板引擎的使用