80后阿里P10，“关老板”如何带着MaxCompute一路升级？
我是個幸運的人。雖然幸運不能被復(fù)制，但是眼光和努力可以。
關(guān)濤/關(guān)老板，80后的阿里P10，阿里巴巴通用計算平臺負責(zé)人，阿里巴巴計算平臺研究員。12年職場人生，微軟和阿里的選擇。
關(guān)濤的花名取自諧音：觀濤。有種看海觀濤的閑適，但在MaxCompute技術(shù)團隊里，因為團隊既要做核心技術(shù)也要“落地拿結(jié)果”承擔(dān)阿里云的客戶規(guī)模和營收，像一個小的創(chuàng)業(yè)公司，因此大家更喜歡叫他”關(guān)老板”，一下子就世俗親近了起來。
關(guān)老板是個北方人，大高個也帶著些書生氣。因為工作的關(guān)系，帶領(lǐng)著一支跨國團隊，兩岸四地奔波（太平洋兩岸，北京、杭州、西雅圖、加州），說話間偶爾喜歡中英文match一下。
“我是一個興趣驅(qū)動型的人，職業(yè)生涯總的來說，還算挺幸運的，做自己感興趣的事情，走上IT這一行……”
如果有認識關(guān)濤的人，應(yīng)該會忍不住說上一句：這家伙，運勢太好了吧。
一路保送，沒考過什么試，大學(xué)選擇計算機的原因也很任性，喜歡玩游戲。研究生畢業(yè)后就進入了微軟，是微軟最年輕的技術(shù)管理者之一，后來去了阿里云，不到3年時間，已經(jīng)是P10，阿里巴巴通用計算平臺MaxCompute團隊負責(zé)人。
“特別久以前，大概初中的時候有了自己的第一臺電腦，大名鼎鼎的486，帶一個數(shù)學(xué)協(xié)處理器，主頻266MHz，內(nèi)存有4MB。”
喜歡玩游戲的都知道，往往會碰見有些關(guān)卡比較難，闖不過去的情況。當(dāng)時的關(guān)濤就想著：怎么能夠繞開系統(tǒng)這些設(shè)置？于是查了很多雜志也看了很多書，試圖去改游戲存檔，那個階段他第一次知道什么是十六進制，也是最初接觸編程。
最后自己折騰著，操縱游戲角色大殺四方，簡直無敵。讓程序按照自己的意愿運行的感覺，“嘿，還好玩的。”
于是，開始覺得這個專業(yè)（計算機）不錯。到了高中畢業(yè)的時候，因為數(shù)學(xué)競賽被保送到南開大學(xué)，當(dāng)時的一個選擇是可以進數(shù)學(xué)系，南開的王牌專業(yè)，但最后，關(guān)濤還是因為興趣選擇了計算機。
人生的分叉口有很多，有時候做了第1個選擇，后面的路都會開始相通，看似順勢而為，其實都是選擇的結(jié)果。
*從200公里的北京到8000多公里的西雅圖
工作需要定期make a little change*
2006年，關(guān)濤畢業(yè)了。這意味他要開始自己的職業(yè)生涯了，他有些躍躍欲試。
研究生的3年，因為導(dǎo)師有額外要求：不能去實習(xí)，這讓關(guān)濤對于招聘市場并不那么了解，對于微軟同樣是“沒有太多的認知”。但北京有個MSRA，微軟亞洲研究院，據(jù)說是當(dāng)時最好的R&DCenter。
抱著試試看的心態(tài)，經(jīng)歷了一整天的面試后，關(guān)濤順利地拿到了offer。 他回憶：“好像也不是那么難”。
在離家鄉(xiāng)河北承德200公里遠的北京，關(guān)濤一呆就是6年，是微軟Bing搜索北京團隊最初的幾十個人之一。從偏存儲層到計算層，在項目里不斷地去充實自己。他是個興趣驅(qū)動的人，但在工作中愿意變成完美主義者。
在微軟的第一個項目，是做一個分布式KV+ObjectStore系統(tǒng)，用于支持Bing搜索的圖片和視頻存儲。2006年，還沒有Hbase這樣的開源系統(tǒng)，當(dāng)時6個人的小團隊完全手寫一套分布式KV，最終部署在3000臺機器并支持正常線上流量，在實戰(zhàn)中接觸到了分布式系統(tǒng)中的各種挑戰(zhàn)，也學(xué)到了非常多的東西。“這個項目，是個好的機會與開始”。
第二個項目是做搜索后臺的IndexGen Pipeline：一個定制化的存儲與計算系統(tǒng)，用于支持通用搜索100B級別的超大規(guī)模數(shù)據(jù)存儲和處理，后來這個搜索后臺也成為了微軟Bing搜索后臺的第二代架構(gòu)，并服務(wù)至今。
再后來就是牽頭來做大數(shù)據(jù)上交互式查詢（JetScopeOn Cosmos），最后基本微軟一半以上的團隊都在用這個系統(tǒng)。
在關(guān)濤看來，不管是生活還是職業(yè)發(fā)展，定期去make a little change是很好的選擇，保持新鮮感的同時，能看到學(xué)到更多的東西。從被別人帶著寫代碼、到自己獨立負責(zé)一些板塊，再到自己帶項目小組、帶大一點的技術(shù)團隊，這些都需要有一個自我時間界定，把握自己的發(fā)展節(jié)奏。
6年微軟后，他也準備make a bigger change：申請去了美國西雅圖的微軟總部。
8000多公里以外的城市，冬天不太冷，夏天不太熱，還有他最愛的單板滑雪，以至于一直堅持在每年的最后一天自駕去不同的滑雪地。
在美國期間，關(guān)濤繼續(xù)深入做交互式查詢、StructuredData優(yōu)化推動等，也積累了很多跨國技術(shù)團隊管理的經(jīng)驗。 “美國有近40年的歷史，團隊成員比北京的團隊更資深一些，在美國能夠看到不一樣的人，看到不一樣的項目。”
而在微軟的10年時間里，關(guān)濤也關(guān)注到了國內(nèi)以BAT為代表的本土企業(yè)，他們發(fā)展的很好，而且有更高的加速度……
*西雅圖分部第22號員工
10年后的回歸，面對更多的挑戰(zhàn)*
“當(dāng)時海外辦公室剛建起來，我是阿里西雅圖分部的第22號員工。”
“在微軟10年，國內(nèi)是什么情況？”好奇心不斷膨脹，于是在一次偶然的機會，關(guān)濤跳去了阿里，成為了阿里巴巴通用計算平臺MaxCompute團隊里的一員。這是2016年1月。
MaxCompute的前身是ODPS，阿里內(nèi)部統(tǒng)一的大數(shù)據(jù)平臺，目前99%的數(shù)據(jù)存儲以及95%的計算能力都在這個平臺上產(chǎn)生，如果把阿里巴巴集團的數(shù)據(jù)體系比作航母戰(zhàn)斗群，那么MaxCompute就是中間的航空母艦。
面對這樣一個已經(jīng)發(fā)展了近6年的相對成熟、體量極為龐大的平臺，挑戰(zhàn)非常多。而2016年1月入職阿里，2016年年會上就接過了MaxCompute的掌舵者位置，從0到1已經(jīng)做完了，如何做到從1到10？留給關(guān)濤的時間并不多。
他認為，大型系統(tǒng)逐步發(fā)展，是一個不斷自我進化的過程，大數(shù)據(jù)系統(tǒng)也不例外。
微軟的經(jīng)歷給了他一些幫助：包括同樣都是大數(shù)據(jù)引擎（規(guī)模上有較大差異），之前的技術(shù)和工程經(jīng)驗都能復(fù)用。而豐富的跨國技術(shù)團隊管理經(jīng)驗也讓關(guān)濤更加適應(yīng)阿里的工作。
*從MaxCompute1.0到MaxCompute2.0
“我們是在飛行的飛機上換引擎”*
關(guān)濤回憶：“當(dāng)時進來的時候，MaxCompute1.0 其實是在一個技術(shù)的成熟期上，承接了阿里巴巴內(nèi)部和阿里云的核心業(yè)務(wù)，而引擎升級有技術(shù)風(fēng)險和問題（我們稱為Regression，包括功能和性能的）。為了保證對上層透明，我們先做了一個框架升級，支持把引擎的不同版本同時部署在線上，一點一點地把流量切過來，同時觀察效果。”之后再進行引擎層面的大手術(shù)。
有點像是“在飛行的飛機上換引擎”。
如今的MaxCompute2.0相較于1.0版本，規(guī)模達到近10萬臺，性能提升超過1倍以上，每年為阿里巴巴節(jié)省預(yù)算超過20億，同時也讓阿里的大數(shù)據(jù)引擎可以在未來3-5年架構(gòu)上有個相對好的布局。
技術(shù)團隊如何管理
關(guān)濤的看法是：技術(shù)管理者歸根結(jié)底還是一個管理者。
1、首先考慮的不是自己要做什么事情而是幫助團隊做什么事情，更多的有一種“利他”的責(zé)任感。
2、技術(shù)前瞻性，技術(shù)團隊管理者是要帶著團隊有目標地、正確地往前走，把握未來方向非常重要。
3、招聘層面，思考如何招到合適的人，如何進行人才布局。現(xiàn)在是人才在哪辦公地點就在哪的階段。
從大數(shù)據(jù)角度看阿里雙十一
要支持好雙十一，先從兩個統(tǒng)一說起（數(shù)據(jù)統(tǒng)一和資源統(tǒng)一）。
- 數(shù)據(jù)具有1+1大于2的特性，不同的數(shù)據(jù)融合計算能產(chǎn)生更大的價值。而關(guān)鍵就在于如何把數(shù)據(jù)都打通。
幾年前阿里巴巴建設(shè)中臺，把內(nèi)部所有的數(shù)據(jù)放在一起（物理上分布在多地的近10萬臺服務(wù)器上，但邏輯上統(tǒng)一，數(shù)據(jù)的分布和調(diào)度對用戶透明），讓豐富的數(shù)據(jù)幫助產(chǎn)品、業(yè)務(wù)前進。
- 資源的統(tǒng)一化：把所有機器放在一個大的資源池里（內(nèi)部稱為混布項目），資源調(diào)度系統(tǒng)打通，對于機器的效率優(yōu)化和整個系統(tǒng)的容災(zāi)都有非常大的幫助。
做大數(shù)據(jù)的都了解，數(shù)據(jù)可以3年翻5倍，機器卻不行，否則成本太高，不現(xiàn)實。而利用已有的服務(wù)器進行混合部署，“這也是近一年，我們重點投資的一個項目，也就是把不同BU、不同種類的機器部署在同一個資源池中。”
?
有了這兩個統(tǒng)一架構(gòu)的前提，雙十一在洪峰來臨的時候，可以選擇把不那么重要的工作先停掉（在百萬級別的作業(yè)中基于優(yōu)先級和依賴做調(diào)度），讓這些機器都用來支撐洪峰。洪峰過后，又把機器主力轉(zhuǎn)移到計算上，把需要的計算盡快地輸出來。
今年雙十一，大數(shù)據(jù)集群在流量洪峰最高的幾個小時，通過彈性支持了超過1/4的交易業(yè)務(wù)流量。
不增加棋子，僅依靠挪動棋盤上的子，就完成布局守住將軍。當(dāng)然，在此之前，團隊把MaxCompute已經(jīng)從1.0版本切到了2.0版本，性能的提升也是支持雙十一數(shù)據(jù)量的關(guān)鍵。
在硬件只增加不到三分之一的基礎(chǔ)上，處理數(shù)據(jù)相較去年翻了一番，達到單日處理600PB的規(guī)模。可以說，MaxCompute在這一戰(zhàn)役中發(fā)揮得不錯，甚至比去年更為優(yōu)秀。
?
**未來：云化、新硬件、非結(jié)構(gòu)化計算、非關(guān)系型計算、AI是趨勢
DBA或?qū)⒈惶蕴?#xff1f;**
去年的時候，原阿里云總裁胡曉明說：“互聯(lián)網(wǎng)的云計算競爭是世界寡頭經(jīng)濟的全面競爭，在我看來，就是杭州和西雅圖的競爭。誰擁抱技術(shù)，誰就擁抱未來。”場主深以為然。
關(guān)濤認為：目前云計算已經(jīng)從互聯(lián)網(wǎng)企業(yè)向傳統(tǒng)企業(yè)蔓延，例如杭州的城市大腦和“最多跑一次“項目，是2G（To Government）的項目。還有基于工業(yè)大腦的工業(yè)4.0項目等。
從目前的市場態(tài)度來看，企業(yè)或許可以更加開放一些，歡迎和擁抱這種技術(shù)變化，完成自我的數(shù)字化轉(zhuǎn)型。“云計算不會是寡頭反而會是普惠”，關(guān)濤說。
?
前瞻話題：大數(shù)據(jù)處理領(lǐng)域，未來程序員應(yīng)該關(guān)注什么東西？
1、 新硬件的發(fā)展
計算層面越來越與新硬件的創(chuàng)新緊密結(jié)合，硬件會帶來平臺革命。例如芯片類的CPU（AVX、SIMD）、ARM眾核架構(gòu)、GPU，FPGA，ASIC，存儲類的NVM、SSD、SRM，網(wǎng)絡(luò)類的智能網(wǎng)卡和RDMA等新硬件的發(fā)展，新硬件與軟件的配合是值得關(guān)注的發(fā)展方向。
2、 非關(guān)系型計算領(lǐng)域（圖計算）有很多機會
大數(shù)據(jù)現(xiàn)在還是在關(guān)系型的處理層面，包括流和批都是基于關(guān)系型數(shù)據(jù)的計算，事實上，現(xiàn)在非關(guān)系的計算越來越流行了，包括知識圖譜、畫像等越來越有價值，這些數(shù)據(jù)組織不是關(guān)系型表達，而是以點邊的形式用圖的方式表達，更符合物理抽象，比如人和貨的關(guān)系，在風(fēng)控層面，知識圖譜層面，用來描述物理實體的關(guān)系更合適。
明年初，將會推出MaxCompute的圖計算系統(tǒng)MaxGraph，支持圖存儲、查詢、模式匹配和GraphEmbedding等機器學(xué)習(xí)運算。
3、 非結(jié)構(gòu)化數(shù)據(jù)將變成大數(shù)據(jù)的主流
越來越多的短視頻、圖片、語音類數(shù)據(jù)，并隨著IoT的發(fā)展，可能占據(jù)80%的數(shù)據(jù)量，由于這類數(shù)據(jù)的特性在于結(jié)構(gòu)各不相同，且數(shù)據(jù)非常大但是單位價值不高（相比傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)），如何快速高效的解析和處理非結(jié)構(gòu)化數(shù)據(jù)，是計算平臺的關(guān)鍵挑戰(zhàn)。
去年的時候MaxCompute發(fā)布了一個非結(jié)構(gòu)化數(shù)據(jù)處理模塊，能夠用戶自定義的方式處理包括視頻音頻在內(nèi)的數(shù)據(jù)。
4、 Al for Everything（also for BigData）
DBA或?qū)⒈惶蕴?#xff1f;
大數(shù)據(jù)的特點是大，不僅僅是包括數(shù)據(jù)的處理規(guī)模，還包括了整個的海量數(shù)據(jù)的管理和優(yōu)化。傳統(tǒng)數(shù)據(jù)庫領(lǐng)域依靠DBA人力去管理的模式將不再適用。
用Al優(yōu)化數(shù)據(jù)分布、數(shù)據(jù)管理、做計算優(yōu)化和成本優(yōu)化（例如自動SubQuery合并，智能索引建立等）。“讓大數(shù)據(jù)無人駕駛”，這也是未來的趨勢。
?
?
注：想了解更多關(guān)老板和MaxCompute技術(shù)團隊小伙伴在做的阿里巴巴大數(shù)據(jù)計算服務(wù)MaxCompute，可以加入社群一起交流。
原文鏈接
本文來自養(yǎng)碼場專訪，轉(zhuǎn)發(fā)需養(yǎng)碼場授權(quán)。
總結(jié)
以上是生活随笔為你收集整理的80后阿里P10，“关老板”如何带着MaxCompute一路升级？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 特征工程自动化如何为机器学习带来重大变化
- 下一篇： TensorFlow 2.0深度强化学习