程序员是如何评价“双十一”的?
2016年天貓雙十一單日成交記錄,為1207億。今年雖然尚未公布數(shù)據(jù),但是今年電商流量最高峰已經(jīng)結(jié)束,在這個(gè)瘋狂地購(gòu)物節(jié)上,人們?cè)僖淮误w現(xiàn)了中國(guó)人多力量大的特點(diǎn),創(chuàng)造了又一個(gè)電商神話。
每年雙十一電商IT系統(tǒng)架構(gòu)都會(huì)面臨巨大的流量沖擊。電子商務(wù)網(wǎng)站的IT系統(tǒng)包括電子商務(wù)訂單在線交易、后臺(tái)管理,供應(yīng)鏈管理、物流管理和產(chǎn)品數(shù)據(jù)庫(kù)、客服系統(tǒng)等等,都需要有一個(gè)高可靠性、高性能并具有良好彈性擴(kuò)展的IT系統(tǒng)的良好支撐。而這些并不容易,本文將主要講述4個(gè)IT關(guān)鍵技術(shù)與其在系統(tǒng)中的重要性。
分發(fā)作業(yè)的“學(xué)委”:CDN
CDN的重要性有多大?它就像是一個(gè)快遞員,負(fù)責(zé)將“數(shù)據(jù)包裹”從一個(gè)地方送到另一個(gè)地方,距離和速度直接影響了數(shù)據(jù)流的質(zhì)量,影響了視頻觀看的流暢度和剁手是酸爽的痛感強(qiáng)度。
隨著視頻直播的流行,如今CDN正在進(jìn)入黃金發(fā)展期。云計(jì)算、大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)等新興技術(shù)的成熟正在為CDN提供強(qiáng)發(fā)展動(dòng)力。有了CDN的幫助,從深圳下單剁手的流量請(qǐng)求,就不必千里迢迢的來(lái)到北京機(jī)房的服務(wù)器上,而只需要選擇一個(gè)距離用戶(深圳)最近的CDN邊緣節(jié)點(diǎn)來(lái)響應(yīng)用戶請(qǐng)求。
中國(guó)聯(lián)通CDN分發(fā)情況
事實(shí)上, 每年的雙十一狂歡節(jié)都少不了CDN的助陣。分析CDN峰值,甚至可以直接但映出用戶購(gòu)買習(xí)慣。從之前的數(shù)據(jù)來(lái)看,11月10日早上8點(diǎn)起就啟動(dòng)“買買買”模式,而到了11月10日晚上10點(diǎn),將迎來(lái)第一個(gè)高峰,之后流量數(shù)據(jù)不斷攀升,直到11月11日0:30之后,數(shù)據(jù)開(kāi)始下滑,凌晨5點(diǎn)跌入谷底,清晨8點(diǎn)后開(kāi)始回升,直到11月11日的10:30會(huì)迎來(lái)年度最高峰。
從目前國(guó)內(nèi)CDN市場(chǎng)現(xiàn)狀來(lái)看,競(jìng)爭(zhēng)越來(lái)越激烈。11月6日上午,工信部公布了最新獲得CDN拍照的5家企業(yè),至此,獲得CDN拍照的企業(yè)已經(jīng)達(dá)到39家。在阿里云完成對(duì)優(yōu)酷CDN業(yè)務(wù)整合后,整體帶寬史無(wú)前例的達(dá)到40TB,全球節(jié)點(diǎn)超過(guò)1000個(gè),低價(jià)競(jìng)爭(zhēng)開(kāi)始,這進(jìn)一步證明粗放經(jīng)濟(jì)時(shí)代已經(jīng)徹底結(jié)束。
CDN就像是一個(gè)系統(tǒng)中的學(xué)習(xí)委員,它清楚地知道那個(gè)作業(yè)應(yīng)該發(fā)給誰(shuí),怎么走是最近的道路,怎樣才能同時(shí)保證效率與質(zhì)量,還能節(jié)約成本(TCO)。
2會(huì)搞關(guān)系的“外聯(lián)主席”:云計(jì)算
會(huì)搞關(guān)系的“外聯(lián)主席”:云計(jì)算
業(yè)內(nèi)有這樣一種觀點(diǎn):雙十一倒逼云計(jì)算走向成熟。筆者認(rèn)為此言不虛,事實(shí)上不少IT技術(shù)的發(fā)展都是因?yàn)槭艿綇?qiáng)大市場(chǎng)需求影響所致。
若要深追電商平臺(tái)上云的歷史,可能要從2008年王堅(jiān)提出的“去IOE”(在IT建設(shè)過(guò)程中,去除IBM小型機(jī)、Oracle數(shù)據(jù)庫(kù)及EMC存儲(chǔ)設(shè)備)算起,畢竟x86平臺(tái)造就了今天的公有云。這項(xiàng)具有深遠(yuǎn)意義“去IOE”大潮,為阿里帶來(lái)了很多好處,也深遠(yuǎn)影響了國(guó)內(nèi)IT發(fā)展路徑。直至2013年5月17日,阿里集團(tuán)最后一臺(tái)IBM小機(jī)在支付寶下線,阿里的“去IOE”戰(zhàn)略取得階段性成果。
數(shù)據(jù)中心現(xiàn)多為X86架構(gòu)服務(wù)器
但是,并不是每個(gè)企業(yè)都有阿里那樣雄厚的資金支撐“去IOE”戰(zhàn)略,對(duì)于中小型企業(yè)而言,最好的“去IOE”方式就是業(yè)務(wù)上云,用公有云的方式改變企業(yè)IT架構(gòu)。
對(duì)于雙十一這樣一個(gè)流量請(qǐng)求高并發(fā)的節(jié)點(diǎn),云計(jì)算的彈性與可擴(kuò)展性優(yōu)勢(shì)得以充分發(fā)揮。公有云可以通過(guò)建立計(jì)算資源池和靈活的軟件調(diào)控,做到資源充分利用,降低企業(yè)的TCO。
云計(jì)算增強(qiáng)IT彈性
為了保證雙十一期間服務(wù)器不宕機(jī),讓消費(fèi)者更好地享受剁手體驗(yàn),電商平臺(tái)的IT部門一般都會(huì)在雙十一到來(lái)之前做現(xiàn)網(wǎng)壓力測(cè)試,做出大量的系統(tǒng)預(yù)留。從近年的用戶體驗(yàn)來(lái)講, 雙十一的IT保障確實(shí)做的越來(lái)越好了。
一個(gè)人的力量總是有限的,對(duì)于IT系統(tǒng)而言同樣如此,云計(jì)算就像是IT系統(tǒng)中的外聯(lián)主席,總是能夠幫助解決小集體容量不足的問(wèn)題,提高了IT系統(tǒng)的彈性和可擴(kuò)展性。
3分清主次的“班長(zhǎng)”:分布式數(shù)據(jù)庫(kù)
分清主次的“班長(zhǎng)”:分布式數(shù)據(jù)庫(kù)
從2015年已經(jīng)公布的數(shù)據(jù)來(lái)看,雙十一當(dāng)天阿里巴巴自主研發(fā)的OceanBase分布式數(shù)據(jù)庫(kù)看承載了雙十一100%的交易流量,每秒創(chuàng)建14萬(wàn)訂單,完成8.59萬(wàn)筆支付(2014年為4.73萬(wàn)筆)。僅以交易系統(tǒng)為例,在雙十一當(dāng)天寫進(jìn)數(shù)據(jù)庫(kù)的數(shù)據(jù)量達(dá)到了10TB。
正如前面提到的,原來(lái)固有的數(shù)據(jù)庫(kù)一般是甲骨文的Oracle數(shù)據(jù)庫(kù),而在“去IOE”之后,阿里研發(fā)了自己的OceanBase數(shù)據(jù)庫(kù),這也是中國(guó)首個(gè)具有知識(shí)產(chǎn)權(quán)的數(shù)據(jù)庫(kù),也是首個(gè)應(yīng)用在金融業(yè)務(wù)中的分布式數(shù)據(jù)關(guān)系庫(kù)。
分布式數(shù)據(jù)庫(kù)平臺(tái)(現(xiàn)為螞蟻金服所用)
之所以要做分布式數(shù)據(jù)庫(kù)是因?yàn)榘⒗锇桶徒灰紫到y(tǒng)需要強(qiáng)擴(kuò)展性與可用性。為此,阿里秉持這系統(tǒng)擴(kuò)展性高于一切、系統(tǒng)可用性高于一致性與適當(dāng)放寬一致性約束等原則搭建了適用于淘寶等電商平臺(tái)的分布式C2C業(yè)務(wù)。分布式數(shù)據(jù)庫(kù)與混合云(公有云+私有云)架構(gòu)相結(jié)合的方式,讓阿里的IT架構(gòu)成為一個(gè)標(biāo)桿。
對(duì)于網(wǎng)購(gòu)的購(gòu)買者來(lái)說(shuō),有一個(gè)問(wèn)題可能您已經(jīng)習(xí)慣:一致性問(wèn)題。舉個(gè)例子,就是你已經(jīng)下單成功, 并已經(jīng)支付款項(xiàng),但是后臺(tái)卻顯示發(fā)貨失敗。這就是數(shù)據(jù)庫(kù)一致性出了問(wèn)題。為了將數(shù)據(jù)庫(kù)可擴(kuò)展性放在第一位,分布式數(shù)據(jù)庫(kù)自然遇到了一些一致性問(wèn)題。
?
“AP”是大多數(shù)分布式數(shù)據(jù)庫(kù)的選擇
在2000年,美國(guó)科學(xué)家Eric Brewer曾經(jīng)說(shuō)過(guò):當(dāng)技術(shù)架構(gòu)從集中式架構(gòu)向分布式架構(gòu)演進(jìn),會(huì)遇到 “CAP定律”的瓶頸。CAP即一致性(Consistency)、可用性(Availability)與分區(qū)容忍性(Partition Tolerance)的縮寫。Eric Brewer認(rèn)為,一個(gè)數(shù)據(jù)處理系統(tǒng)無(wú)法同時(shí)滿足一致性、可用性和分區(qū)容錯(cuò)性三個(gè)要素,最多只能滿足兩個(gè)要素。對(duì)于分布式數(shù)據(jù)庫(kù)犧牲的正是“一致性”,因此我們?cè)?jīng)遇到付款卻不見(jiàn)發(fā)貨的情況。
有舍方能有得。對(duì)于班長(zhǎng)而言,往往也需要面臨學(xué)習(xí)與班級(jí)事務(wù)之間的選擇,面臨集體榮譽(yù)與個(gè)人利益之間的選擇,分布式數(shù)據(jù)庫(kù)就像是已經(jīng)分清主次,做出選擇的班長(zhǎng),將擴(kuò)展性放在第一位,哪怕會(huì)犧牲掉一致性能力。
4檢查作業(yè)的“老師”:APM
判考卷的“老師”:APM
大概在兩年前,企業(yè)都開(kāi)始認(rèn)識(shí)到移動(dòng)端的力量,無(wú)數(shù)軟件企業(yè)成立,應(yīng)用軟件成為企業(yè)重要的獲客和信息傳播渠道。客戶應(yīng)用體驗(yàn)的重要性再一次被提上日程,APM就是在這個(gè)背景下蓬勃發(fā)展起來(lái)。
APM架構(gòu)圖(圖片來(lái)自網(wǎng)絡(luò))
APM是應(yīng)用性能管理Application Performance Management的縮寫,只對(duì)企業(yè)的關(guān)節(jié)業(yè)務(wù)應(yīng)用進(jìn)行監(jiān)測(cè)、優(yōu)化,提升企業(yè)應(yīng)用的可靠性和質(zhì)量,保證用戶能夠獲得良好的服務(wù),降低TCO(總有用成本),為企業(yè)帶來(lái)更多利益。在雙十一這個(gè)IT的關(guān)鍵節(jié)點(diǎn)上,通過(guò)APM能夠幫助企業(yè)更好地認(rèn)識(shí)到自己的IT優(yōu)勢(shì)和局限。
根據(jù)市場(chǎng)研究機(jī)構(gòu)Gartner的APM報(bào)告來(lái)看,雖然也看到IBM、Dell、微軟這樣的大企業(yè)外,位居領(lǐng)導(dǎo)者象限的企業(yè)還有許多是以APM為主導(dǎo)的SaaS企業(yè),并以外國(guó)企業(yè)為主(注:2015年的魔力象限里中國(guó)企業(yè)聽(tīng)云位列其中)。
APM應(yīng)用性能管理(圖片來(lái)自聽(tīng)云)
通過(guò)前面的介紹大家已經(jīng)了解一個(gè)強(qiáng)大IT系統(tǒng)的復(fù)雜性,它必然包含了服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件、web服務(wù)、頁(yè)面或終端等多層組成,而這就像是串聯(lián)電路,在這個(gè)長(zhǎng)長(zhǎng)的鏈條中任何一個(gè)環(huán)節(jié)都有可能出現(xiàn)故障, 而任何一個(gè)性能瓶頸都會(huì)影響到整個(gè)應(yīng)用的性能。
APM性能管理系統(tǒng)的作用就是一個(gè)主動(dòng)式的管理解決方案,面對(duì)負(fù)載的IT環(huán)境,通過(guò)實(shí)時(shí)性能檢測(cè)分析定位問(wèn)題根源,進(jìn)行性能優(yōu)化。在面臨雙十一流量高峰時(shí)用戶體驗(yàn)尤為重要,出不得分毫差錯(cuò)。以聽(tīng)云為例,根據(jù)以往的雙十一經(jīng)驗(yàn)就做出了防出事兒、快速定位和快速解決,即預(yù)防、診斷、治療三位一體的策略。
但值得注意的是,近兩年隨著微服務(wù)架構(gòu)和容器技術(shù)的成熟,IT系統(tǒng)的靈活性越來(lái)越強(qiáng),但I(xiàn)T環(huán)境也變得更為復(fù)雜,更難監(jiān)控。這就需要APM性能管理系統(tǒng)提供足夠細(xì)顆粒度的監(jiān)控套件,在新環(huán)境下,如何能夠追蹤信息鏈路和系統(tǒng)架構(gòu)拓?fù)渖蠈?dǎo)致性能問(wèn)題的關(guān)鍵,成為未來(lái)APM廠商急需解決的問(wèn)題。
雙十一就是一場(chǎng)IT大考,在這場(chǎng)考試中APM就像是一個(gè)老師,幫助參考者提前做準(zhǔn)備,監(jiān)測(cè)考場(chǎng)情況,并最后做出判斷。當(dāng)然,這個(gè)老師監(jiān)考的目的絕不是抓作弊的人,而是為了幫助考生通過(guò)考試。
5“彼之蜜糖,吾之砒霜”
“彼之蜜糖,吾之砒霜”
從“雙十一購(gòu)物”這個(gè)概念興起開(kāi)始,電商平臺(tái)一年勝于一年,銷售額連年攀升,人們似乎也習(xí)慣了每年打破記錄。同時(shí),IT技術(shù)也不斷提升,可擴(kuò)展性、可用性和可靠性越來(lái)越強(qiáng), 流量高發(fā)期服務(wù)器宕機(jī)導(dǎo)致頁(yè)面崩潰的事件也越來(lái)越少,與之相適應(yīng)的是電商平臺(tái)采購(gòu)的IT設(shè)備(服務(wù)器、存儲(chǔ)等)越來(lái)越多,而程序員小哥、IT工程師和架構(gòu)師們的壓力也越來(lái)越大。
如果大家對(duì)C/C++感興趣的話,可以加一下我們的學(xué)習(xí)交流Q群:637 ?935 ?295,免費(fèi)領(lǐng)取一套學(xué)習(xí)資料和視頻課程喲~
彼之蜜糖,吾之砒霜
馬云曾說(shuō)過(guò):“通過(guò)雙十一,能夠真正提升整個(gè)中國(guó)未來(lái)新零售的技術(shù)、水平,因?yàn)檫@種技術(shù)的能力的提升,真的很難得的,在同一秒鐘,那么多消費(fèi)者進(jìn)來(lái),這種技術(shù),云計(jì)算能力的突破,管理能力的突破,我覺(jué)得是很了不起。”每年的雙十一顯然鍛煉了IT部門對(duì)于高并發(fā)的處理能力,幫助了CDN行業(yè)的不斷提升。
但是,機(jī)遇常常與挑戰(zhàn)并存。雙十一的出現(xiàn)確實(shí)推進(jìn)了網(wǎng)絡(luò)電商的快速發(fā)展,為了支撐龐大的電商技術(shù)需求,IT工程師、程序員、架構(gòu)時(shí)又夜以繼日的對(duì)IT系統(tǒng)進(jìn)行擴(kuò)容和升級(jí),提升了IT能力。
另一方面,在云計(jì)算、大數(shù)據(jù)和人工智能的背景下,雙十一電商節(jié)所產(chǎn)生的大量數(shù)據(jù)不得不稱之為企業(yè)財(cái)富。通過(guò)對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ)、整理和分析,可以得到更多有價(jià)值的營(yíng)銷信息或銷售線索,這些也是實(shí)施精準(zhǔn)營(yíng)銷的必要條件。
作為剁手黨,感謝IT工作人員
“彼之蜜糖,吾之砒霜”,程序員小哥如是說(shuō)。起初,筆者并不理解程序員小哥突然說(shuō)這句話的含義,直至了解了上面的這些技術(shù),發(fā)現(xiàn)雙十一這個(gè)全民狂歡購(gòu)物節(jié)在一個(gè)技術(shù)宅眼里,只是無(wú)數(shù)個(gè)代碼和0、1組成的荒誕劇。這場(chǎng)戲劇的主演是幾億名網(wǎng)友,導(dǎo)演是電商平臺(tái),而真正提供支持的場(chǎng)務(wù)人員、票務(wù)人員、音響師和燈光師們是這些程序員小哥。程序員小哥辛苦,深鞠躬~
總結(jié)
以上是生活随笔為你收集整理的程序员是如何评价“双十一”的?的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 科大星云诗社动态20210324
- 下一篇: 科大星云诗社动态20210323