場景

準備換工作開始新的人生道路了：糾結，，，怎么優雅地編寫項目經驗呢？

簡歷

基本信息

姓 名 : 彭宇成 年 齡： xx CET-6 ： xx Scores
學 歷 : 本 科 專 業： 通信工程 畢業院校：xxxx
技術博客： http://blog.csdn.net/pengych_321 個人網站： http://pengych.cool
工作經歷： 2012/5-2014/3 **公司 服務器端開發工程師
2014/3-2016/6 **公司 高級軟件工程師（大數據spark方向）
工作經驗： 3年java服務器端開發經驗; 1年+Spark交互式大數據平臺開發經驗
求職意向： 大數據開發（spark方向） 目前月薪（稅前）：xxxx 期望月薪：xxxxx

技能點

1、良好的數據結構與算法基礎；優秀的英文閱讀能力，能順利閱讀英文專業書籍與開源網站; 善于學習并與團隊分享新技術;優秀的寫作能力。
2、熟悉java，掌握反射、多線程與NIO等java高級特性的使用，并深入理解面向對象編程; 理解函數式編程，迷戀scala并深入理解隱式轉換與類型類等scala高級特性。
3、熟悉常用設計模式的使用;掌握并發處理框架akka、Redis緩存、中間件Rabbit MQ等第三方產品的使用。
4、掌握JSP、Servlet、以及SSH（Struts+Spring+Hibernate）框架的使用;了解HTML、CSS、JavaScript,ajax與報表設計器，工作流設計器，表單設計器的使用 。
5、掌握hive、flume與hdfs等hadoop生態技術圈的相關技術的基本使用 ; 理解Spark工作機制，閱讀過最新spark（1.6.2）內核源碼; 熟練掌握Spark core、Spark sql的開發、了解 Spark Streaming的開發;。
6、理解并熟練掌握spark大數據項目各種性能調優、線上troubleshooting與數據傾斜的解決方案。
7、熟悉mysql/oracle數據庫的使用，掌握oracle存儲過程的編寫;熟悉Linux常用命令的使用，熟悉shell編程。

項目經驗

• 項目名稱：[IFEAP]智能家居數據服務平臺

• 開發工具：Eclipse

• 項目概要描述

智能家居平臺包括三端：app端，數據服務端與家電端，分別由三家公司參與研發。
其中，數據服務端包括兩大子平臺：數據處理平臺 與 交互式大數據家電用戶行為分析平臺。

• 需求概要

數據處理平臺：作為手機app端與家電端的數據通信中轉站，旨在為用戶實現遠程操作與監控家里的電器設備，例如，空調、冰箱、洗衣機、電飯煲與小烤箱等提供平臺支持：接收并分析用戶通過HTTP發送的家電操控指令，進而通過tcp將控制報文下發給家電端。家電端收到報文后，按照自定義的通信協議，解釋報文中的相關命令字段，進而對家電進行具體的操控。

家電用戶行為分析平臺：旨在通過分析用戶的家電操控行為數據與家電運行上報數據，深入了解用戶的家電操作喜好與監控家電設備的運行狀況。為優化公司已有產品提供數據支持，最終為用戶提供更好的家電使用體驗，提升公司價值。

• 技術架構

家電用戶行為分析大數據平臺 概念架構圖

數據處理平臺

1、項目基于servlet+hibernate3.x+spring3.x架構，緩存基于Redis結合Spring AOP實現;中間件采用Rabbit MQ處理業務日志、家電狀態上報與推送等消息類型。

2、包括6大子系統SOPP、SAMS、STPP、SPUSH、STPS、SQTS 以及SManager。其中SOPP負責處理本平臺用戶的請求、TPP負責處理第三方平臺用戶的請求 、SAMS負責分析用戶的請求指令并下發至家電端、PUSH子系統負責處理非用戶的家電操作業務、SQTS負責作業的調度 eg、定時清除相關臨時表中的數據 ;SManager子系統負責查詢統計分析類業務：接收用戶的查詢統計請求，通過Java Runttime API執行關聯的spark作業，完成家電用戶行為分析，并將執行結果，與分析出來的數據寫入mysql供前臺展示用。

家電用戶行為分析大數據平臺

基于spark1.3.x為計算引擎，具體概念架構圖如上圖所示。目前已經實現排名類業務，即時分析與數據挖掘類業務處于預研階段。排名類業務包括用戶操作家電行為分析 與 家電運行狀態分析兩大子業務。

• 責任描述

前期主要負責SOPP與SAMS子系統基礎組件:安全組件、分布式session組件與核心業務模塊;核心業務模塊包括：獲取家庭組家電列表、家電應用數據透傳、與服務器握手等的開發;后期主要負責 大數據平臺 用戶操作家電行為分析子業務模塊的開發。主要的功能點包括 ：

a、按條件篩選session
比如，獲取出近一周內某個城市操作家電類型為空氣凈化器的用戶session。

b、統計篩選session的訪問時長占比
統計出符合條件的session中，訪問時長在1s~3s、4s~6s、7s~9s、10s~30s、30s~60s、1m~3m、3m~10m、10m~30m、30m以上各個范圍內的session占比；功能步長在1~3、4~6、7~9、10~30、30~60、60以上各個范圍內的家電功能點切換占比。 （注 功能步長值：用戶在某一家電類型的功能點之間切換的次數）

c、按時間比例隨機抽取1000個session

d、獲取具體家電類型操作量排名前3的功能點

e、對于排名前3的功能點，分別獲取其最常設置的前3個值

模塊開發中用到的主要spark技術點包括：spark core常用算子的使用，自定義累加器、廣播大變量的使用;二次排序，分組取TopN算法; spark sql自定義函數 UDF 與 UDAF、常用開窗函數的使用（eg、row_num實現分組取topN）等的使用。同時，積累了包括RDD持久化、shuffle調用、使用Kryo序列化、使用fastutil優化數據存取格式等在內的性能調優方法 及常見的線上troubleshooting與數據傾斜解決辦法。

---

總結

God bless me

總結

以上是生活随笔為你收集整理的如何在简历中编写Spark大数据项目经验的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。