i 智慧 | 回首30年存储演进之路 再看新数据时代阿里云存储如何革故鼎新?
生活随笔
收集整理的這篇文章主要介紹了
i 智慧 | 回首30年存储演进之路 再看新数据时代阿里云存储如何革故鼎新?
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
戳藍(lán)字“CSDN云計(jì)算”關(guān)注我們哦!
人類(lèi)以日新月異的速度刷新著科技的成果,其中存儲(chǔ)的發(fā)展歷史尤其悠久,堪稱(chēng)萬(wàn)年進(jìn)化史。自文明誕生以來(lái),我們就一直在尋求能夠更有效存儲(chǔ)信息的方式,從4萬(wàn)年前的洞穴壁畫(huà)、6000年前泥板上的楔形文字,到今天普及的SSD/閃存,再到對(duì)量子存儲(chǔ)、DNA存儲(chǔ)技術(shù)的探索,腳步從未停止。據(jù)IDC預(yù)測(cè),2025年全球數(shù)據(jù)將有175 ZettaBytes的總量。如此驚人而又龐大的數(shù)據(jù)量,為存儲(chǔ)市場(chǎng)帶來(lái)機(jī)遇的同時(shí),也帶來(lái)了不小的挑戰(zhàn)。 后摩爾定律時(shí)代 存儲(chǔ)市場(chǎng)唯一不變的是變化 過(guò)去幾年,云計(jì)算市場(chǎng)的持續(xù)狂飆式發(fā)展,對(duì)傳統(tǒng)IT企業(yè)競(jìng)爭(zhēng)格局帶來(lái)了不可逆轉(zhuǎn)的變化。其中,存儲(chǔ)的發(fā)展歷史最悠久,在30多年的發(fā)展,迭代出多種存儲(chǔ)產(chǎn)品。 眾所周知,過(guò)去半個(gè)世紀(jì),摩爾定律始終貫穿著IT產(chǎn)業(yè)的發(fā)展。如今,隨著大數(shù)據(jù)、人工智能、IoT領(lǐng)域新技術(shù)的涌現(xiàn)和應(yīng)用場(chǎng)景的多元化,摩爾定律已無(wú)法滿(mǎn)足太多變數(shù),而存儲(chǔ)市場(chǎng)的變化,恰好證明了后摩爾定律時(shí)代的到來(lái)。 “善變”的存儲(chǔ)市場(chǎng),也正因?yàn)閿?shù)據(jù)時(shí)代下的種種變化而得到了飛速的發(fā)展,這些變化來(lái)自于30%年化增長(zhǎng)的數(shù)據(jù)海量化;5G速率增長(zhǎng)20倍與30%的實(shí)時(shí)數(shù)據(jù), 所帶來(lái)的速度化;80%非結(jié)構(gòu)化與AIOT多種來(lái)源的多樣化;時(shí)刻需要加強(qiáng)的準(zhǔn)確化;以及亟待解決的價(jià)值化。對(duì)此,阿里云存儲(chǔ)負(fù)責(zé)人吳結(jié)生總結(jié)道,“善變”的存儲(chǔ)市場(chǎng),唯一不變的是變化。 應(yīng)對(duì)數(shù)據(jù)時(shí)代的變化,阿里云存儲(chǔ)為用戶(hù)提供了塊存儲(chǔ)、文件存儲(chǔ)與對(duì)象存儲(chǔ)三種上云方式,保證用戶(hù)擁有更多選擇與更多路徑;更有諸如數(shù)據(jù)備份與恢復(fù)、冷熱數(shù)據(jù)分層、無(wú)縫訪問(wèn)本地與云端、多分支機(jī)構(gòu)共享在內(nèi)的混合云存儲(chǔ),助力企業(yè)無(wú)縫上云;并通過(guò)全鏈路加密、密鑰可控與日志透明化的技術(shù),為用戶(hù)提供可靠、可控、可見(jiàn)的數(shù)據(jù)保護(hù)。 綜上,阿里云存儲(chǔ)不僅提供了最為完整的存儲(chǔ)產(chǎn)品與服務(wù),其多元的數(shù)據(jù)應(yīng)用場(chǎng)景,豐富的數(shù)據(jù)管理服務(wù),真正做到了“客戶(hù)第一,需求至上”。 存儲(chǔ)演進(jìn)30年 新一代存儲(chǔ)需滿(mǎn)足五大變化 為了滿(mǎn)足企業(yè)針對(duì)不同業(yè)務(wù)的多樣需求,現(xiàn)代存儲(chǔ)行業(yè)歷經(jīng)30多年的發(fā)展,迭代出多種存儲(chǔ)產(chǎn)品。例如為解決早期數(shù)據(jù)增長(zhǎng)而出現(xiàn)的DAS和SAN,為解決核心應(yīng)用高穩(wěn)定性和高性能而出現(xiàn)的高端存儲(chǔ),為處理非結(jié)構(gòu)化數(shù)據(jù)而產(chǎn)生的NAS和對(duì)象存儲(chǔ),為滿(mǎn)足彈性部署而衍生出來(lái)的軟件定義存儲(chǔ)…… 為了更清晰地探究出云計(jì)算時(shí)代存儲(chǔ)技術(shù)的發(fā)展路徑以及所應(yīng)對(duì)的挑戰(zhàn),阿里云存儲(chǔ)業(yè)務(wù)負(fù)責(zé)人吳結(jié)生,根據(jù)阿里云在存儲(chǔ)領(lǐng)域的發(fā)展經(jīng)驗(yàn),為我們梳理出存儲(chǔ)技術(shù)的發(fā)展與應(yīng)用方向: 第一,存儲(chǔ)與計(jì)算的分離。隨著數(shù)據(jù)處理對(duì)存儲(chǔ)需求和計(jì)算需求在規(guī)模、速度、容量和成本等維度的不斷變化,計(jì)算與存儲(chǔ)分離可以最大限度地解耦這兩類(lèi)不同的關(guān)鍵資源,使得各自相對(duì)獨(dú)立地?cái)U(kuò)展和演進(jìn)。首先,通過(guò)解耦,計(jì)算與存儲(chǔ)這兩方面可以在云數(shù)據(jù)中心分別獨(dú)立擴(kuò)展,提供調(diào)度和資源共享的靈活性,提高資源使用效率,降低成本。其次,計(jì)算和存儲(chǔ)的技術(shù)演進(jìn)空間變大,可以更加靈活的針對(duì)不同的負(fù)載進(jìn)行優(yōu)化。再次,網(wǎng)絡(luò)技術(shù)的高速發(fā)展、個(gè)位數(shù)微秒的延時(shí)(latency)、百G級(jí)別的帶寬、服務(wù)器之間的邊界越來(lái)越模糊,使得計(jì)算和存儲(chǔ)分離、分布式存儲(chǔ)等架構(gòu)在穩(wěn)定性和性能等領(lǐng)域變得更加高效和有生命力。 第二,標(biāo)準(zhǔn)化、服務(wù)化與開(kāi)放化的演進(jìn)路徑。首先,提供諸如塊存儲(chǔ)和文件存儲(chǔ)等標(biāo)準(zhǔn)化的存儲(chǔ)方式,這些類(lèi)型的存儲(chǔ)具備標(biāo)準(zhǔn)化的接口,使客戶(hù)能夠直接遷移數(shù)據(jù),避免了應(yīng)用的大量修改;其次,向服務(wù)化的方向發(fā)展。在傳統(tǒng)的存儲(chǔ)模式下,用戶(hù)需要大量的設(shè)備管理與維護(hù)升級(jí),而在云計(jì)算時(shí)代,云存儲(chǔ)將其演化成一種云服務(wù),用戶(hù)只需要關(guān)心自己的業(yè)務(wù)邏輯與創(chuàng)新即可;另外,更加開(kāi)放。存儲(chǔ)云服務(wù)提供很多管理與控制的API,現(xiàn)在將其開(kāi)放出來(lái),使得用戶(hù)可以通過(guò)編程調(diào)用API,管理與監(jiān)控存儲(chǔ)資源,以及實(shí)現(xiàn)跨平臺(tái)的管理。 第三,垂直領(lǐng)域和典型場(chǎng)景的深度集成設(shè)計(jì)。數(shù)據(jù)庫(kù)、大數(shù)據(jù)處理和分析、人工智能、容器等領(lǐng)域具有自身的特點(diǎn),所以存儲(chǔ)技術(shù)針對(duì)以上典型場(chǎng)景也進(jìn)行了相應(yīng)的集成設(shè)計(jì),結(jié)合場(chǎng)景的特點(diǎn)進(jìn)行適配和優(yōu)化,提高與場(chǎng)景結(jié)合的端到端優(yōu)化能力和存儲(chǔ)的效率。 對(duì)于企業(yè)和用戶(hù)而言,使用云計(jì)算有著諸多好處,云提供了靈活的彈性伸縮、彈性存儲(chǔ)容量、安全可靠、高可用性和穩(wěn)定的性能等能力。但是,云存儲(chǔ)在發(fā)展的過(guò)程中也面臨著諸多挑戰(zhàn),為滿(mǎn)足云時(shí)代發(fā)展的需求,吳結(jié)生為我們總結(jié)了新一代存儲(chǔ)要不斷演進(jìn),跟上需求演進(jìn)的變化,進(jìn)一步通過(guò)技術(shù)牽引去創(chuàng)造更多的變化。
容量海量化,需要持續(xù)的成本優(yōu)化技術(shù)來(lái)滿(mǎn)足數(shù)據(jù)的爆炸式增長(zhǎng)需求;存儲(chǔ)速度化,讀寫(xiě)速度和數(shù)據(jù)處理速度不斷加速;數(shù)據(jù)來(lái)源和數(shù)據(jù)形態(tài)越來(lái)越多樣化;數(shù)據(jù)是新石油,是數(shù)字化經(jīng)濟(jì)的基礎(chǔ);存儲(chǔ)需要加強(qiáng)數(shù)據(jù)清洗、數(shù)據(jù)安全、數(shù)據(jù)處理方面的能力,提供真實(shí)、可信和安全的數(shù)據(jù),幫助企業(yè)或機(jī)構(gòu)挖掘數(shù)據(jù)的價(jià)值,實(shí)現(xiàn)數(shù)字經(jīng)濟(jì)中數(shù)據(jù)價(jià)值。針對(duì)這五個(gè)方向和不斷演進(jìn)的需求變化,阿里云已在存儲(chǔ)領(lǐng)域完成全面布局,包括塊存儲(chǔ)和對(duì)象存儲(chǔ)在內(nèi)的云上存儲(chǔ)家族,混合云存儲(chǔ)陣列、混合云備份和容災(zāi)的混合云存儲(chǔ)服務(wù),以及高性能分布式存儲(chǔ)和數(shù)據(jù)庫(kù)存儲(chǔ)等典型場(chǎng)景存儲(chǔ)方案。 阿里云十一年存儲(chǔ)進(jìn)化史 重新定義下一代存儲(chǔ) 了解了云時(shí)代存儲(chǔ)的發(fā)展路徑過(guò)后,接下來(lái)不妨讓我們看看阿里云存儲(chǔ)的技術(shù)演進(jìn)歷史,從而更直觀地了解云存儲(chǔ)在數(shù)字化轉(zhuǎn)型中的核心價(jià)值。作為阿里云飛天系統(tǒng)中極其重要的一環(huán),阿里云存儲(chǔ)不僅滿(mǎn)足了“雙11”等大規(guī)模業(yè)務(wù)場(chǎng)景對(duì)存儲(chǔ)系統(tǒng)的超高要求,提供豐富完整的公共云和混合云存儲(chǔ)產(chǎn)品矩陣,還通過(guò)客戶(hù)數(shù)據(jù)中心和邊緣局點(diǎn)到云上的整體存儲(chǔ)解決方案,打破了數(shù)據(jù)存儲(chǔ)和流通的邊界,滿(mǎn)足了企業(yè)的多樣化需求,為企業(yè)數(shù)字化轉(zhuǎn)型提供了數(shù)據(jù)核心價(jià)值。 ?“越過(guò)山丘,才發(fā)現(xiàn)那里已無(wú)人等候......”,這是去年阿里云存儲(chǔ)新品發(fā)布會(huì)中的一句話。這句話低調(diào)地彰顯了阿里云的領(lǐng)導(dǎo)者地位,也恰好是阿里云存儲(chǔ)在成長(zhǎng)道路上堅(jiān)守與收獲的寫(xiě)照。 ?
|??2008年,為了探索阿里巴巴集團(tuán)大規(guī)模存儲(chǔ)解決之道,阿里云存儲(chǔ)團(tuán)隊(duì)?wèi)?yīng)運(yùn)而生。 |??2009年,阿里云分布式存儲(chǔ)引擎1.0(盤(pán)古PanGu)正式發(fā)布,為彈性計(jì)算虛擬機(jī)、阿里金融、郵箱、搜索提供通用存儲(chǔ)服務(wù)。 |??2013年,阿里云分布式存儲(chǔ)系統(tǒng)實(shí)現(xiàn)單集群5000臺(tái)服務(wù)器規(guī)模的部署,服務(wù)阿里巴巴電商業(yè)務(wù)和螞蟻支付寶業(yè)務(wù)。 |??2015年,成功實(shí)現(xiàn)了單集群10000臺(tái)服務(wù)器規(guī)模的部署,擁有云計(jì)算產(chǎn)業(yè)中最齊全的存儲(chǔ)產(chǎn)品線,成長(zhǎng)與效率躍居榜首。同年還打破了Sort Benchmark世界記錄,100TB排序完成時(shí)間僅需377秒。 |??2016年,CloudSort項(xiàng)目中,阿里云以1.44$/TB的成績(jī)獲得Indy專(zhuān)用目的排序和Daytona通用目的排序兩個(gè)子項(xiàng)的世界冠軍,打破了AWS在2014年創(chuàng)造的紀(jì)錄4.51$/TB。 |??2018年,面向人工智能、科學(xué)計(jì)算、深度學(xué)習(xí)等未來(lái)存儲(chǔ)場(chǎng)景,阿里云分布式存儲(chǔ)引擎2.0正式發(fā)布,這不僅證明了阿里云存儲(chǔ)歷經(jīng)十年的超強(qiáng)能力,更意味著阿里云存儲(chǔ)再次引領(lǐng)了云存儲(chǔ)與企業(yè)存儲(chǔ)、傳統(tǒng)存儲(chǔ)的破局之爭(zhēng)。 |??2019年,阿里云攜ESSD高性能云盤(pán),領(lǐng)跑微秒存儲(chǔ)時(shí)代,正式吹響了進(jìn)軍企業(yè)存儲(chǔ)市場(chǎng)的號(hào)角。 阿里云存儲(chǔ)在十一年的發(fā)展歷程中,不斷推出重磅新品與取得傲人成績(jī),絕不僅僅是為了快速追趕業(yè)內(nèi)標(biāo)桿廠商。更重要的是,彰顯了阿里云為滿(mǎn)足全球用戶(hù)的業(yè)務(wù)需求,所沉淀的獨(dú)到見(jiàn)解和創(chuàng)新。隨著更多貼近用戶(hù)應(yīng)用的數(shù)據(jù)管理功能的推出以及生態(tài)的構(gòu)建,我們可以感知到阿里云存儲(chǔ)背后的思考。 在安全方面,對(duì)象存儲(chǔ)服務(wù)在國(guó)外成熟市場(chǎng)得到廣泛認(rèn)可,很多企業(yè)的核心業(yè)務(wù)信息都存儲(chǔ)在上面。但是在中國(guó),對(duì)象存儲(chǔ)的普及度還有待提升,數(shù)據(jù)安全的加強(qiáng)有助于改變這一現(xiàn)狀。對(duì)此,阿里云對(duì)象存儲(chǔ)也在更新重點(diǎn),劍指數(shù)據(jù)安全。據(jù)了解,阿里云存儲(chǔ)全線產(chǎn)品都具備全面的“數(shù)據(jù)加密”能力,其中對(duì)象存儲(chǔ)OSS提供包括KMS密鑰、BYOK密鑰、OSS托管密鑰等5種加密方式,完成服務(wù)端數(shù)據(jù)加密和客戶(hù)端線下加密等多種靈活形式。 在性能方面,隨著全閃存的普及和高性能網(wǎng)絡(luò)的發(fā)展,數(shù)據(jù)中心進(jìn)入“微秒時(shí)代”。起初,10萬(wàn)IOPS已是非常高的性能;而十年后的今天,百萬(wàn)、千萬(wàn)IOPS已經(jīng)成為多家廠商宣傳的主題詞。據(jù)介紹,作為全球首個(gè)百萬(wàn)IOPS的企業(yè)級(jí)云盤(pán),阿里云ESSD搭配ECS云服務(wù)器使用,可提供單盤(pán)高達(dá)100萬(wàn)IOPS的隨機(jī)讀寫(xiě)能力,單路寫(xiě)時(shí)延 100 微秒。相比前一代的SSD云盤(pán)性能提升了40倍,讀寫(xiě)時(shí)延降低了70% 。同時(shí),ESSD云盤(pán)支持不停機(jī)擴(kuò)展容量、不停機(jī)提高IO讀寫(xiě)性能上限、數(shù)據(jù)加密等高級(jí)數(shù)據(jù)服務(wù)功能,具備企業(yè)級(jí)存儲(chǔ)的前沿技術(shù)創(chuàng)新能力。 在數(shù)據(jù)智能管理方面,打破數(shù)據(jù)孤島以形成有效的聯(lián)動(dòng)成為當(dāng)務(wù)之急。對(duì)此,阿里云提供了豐富的數(shù)據(jù)管理功能,通過(guò)數(shù)據(jù)分析系統(tǒng)挖掘數(shù)據(jù)價(jià)值。其中日志服務(wù)的AIOps分析功能面向趨勢(shì)預(yù)測(cè)、異常發(fā)現(xiàn)、智能聚類(lèi)和根因分析四個(gè)場(chǎng)景,提升DevOps分析和診斷的效率,幫助運(yùn)維人員提前配置資源,提前預(yù)測(cè)、發(fā)現(xiàn)和解決常見(jiàn)故障。 在降低成本方面,每年雙11創(chuàng)造奇跡的背后,是巨大的成本投入;另一方面,在數(shù)據(jù)時(shí)代,隨著各種大數(shù)據(jù)處理框架不斷涌現(xiàn),成千上萬(wàn)的數(shù)據(jù)分析需求背后是大量的計(jì)算任務(wù),占用了大量的計(jì)算資源。此時(shí),阿里云數(shù)據(jù)中心利用混部技術(shù),將集群混合起來(lái),將不同類(lèi)型的任務(wù)調(diào)度到同一批物理資源上,通過(guò)調(diào)度、資源隔離等控制手段, 在保障SLA的基礎(chǔ)上,充分使用資源,極大降低了成本。 化挑戰(zhàn)為機(jī)遇,阿里云存儲(chǔ)營(yíng)收過(guò)去三年增長(zhǎng)超過(guò)10倍,存儲(chǔ)容量增長(zhǎng)12倍,其中SSD容量增長(zhǎng)超10倍。十余年的存儲(chǔ)進(jìn)化,讓阿里云更新迭代了涵蓋公共云、混合云和邊緣計(jì)算在內(nèi)的全球最完整存儲(chǔ)產(chǎn)品線,面向萬(wàn)物智能時(shí)代,定義下一代存儲(chǔ),更安全、更穩(wěn)定、更優(yōu)化、更智能,讓用戶(hù)無(wú)縫上云。 十年雙十一背后的磨礪:場(chǎng)景越復(fù)雜 越不容有半點(diǎn)差池 跟隨十年阿里云存儲(chǔ)進(jìn)化史,可以發(fā)現(xiàn)每一年阿里云存儲(chǔ)都有所變化,從2008年飛天啟航,經(jīng)過(guò)十年演進(jìn),到2019年,盤(pán)古單集群超10萬(wàn)臺(tái)ESSD,OSS同城冗余。我們可以清晰看到其發(fā)展過(guò)程中,四條主線貫穿始終,第一,規(guī)模化不斷加大;第二,對(duì)可靠性的追求;第三,便捷性,大量產(chǎn)品、服務(wù)與協(xié)議,幫助用戶(hù)更好地使用云存儲(chǔ);第四,軟硬一體的發(fā)展,各種新型設(shè)備都嘗試做好軟硬一體。 阿里雙十一就像是一個(gè)練兵場(chǎng),2009年,700萬(wàn)交易額峰值交易400筆/秒,2018年,2135億交易額峰值交易49.1萬(wàn)筆/秒。吳結(jié)生強(qiáng)調(diào),十年雙十一告訴我們,場(chǎng)景愈加復(fù)雜,挑戰(zhàn)越來(lái)越大,卻更不能有任何差池。也正是因?yàn)榘⒗镌拼鎯?chǔ)團(tuán)隊(duì)始終堅(jiān)持著“今天最好的表現(xiàn)就是明天最低的要求”的信念,使得雙十一、云存儲(chǔ)乃至整個(gè)阿里云都在不斷突破挑戰(zhàn),創(chuàng)造奇跡。 2018年11月,再次以 2135 億元成交總額創(chuàng)造商業(yè)奇跡,10年每秒交易筆數(shù)創(chuàng)建1227.5倍進(jìn)化,其瞬間的流量高峰沖擊與龐大的成交額背后,離不開(kāi)技術(shù)力量和全局基礎(chǔ)設(shè)施的支撐。其中,對(duì)象存儲(chǔ) OSS、文件存儲(chǔ) NAS、表格存儲(chǔ) TableStore、日志服務(wù) SLS 成為了數(shù)據(jù)計(jì)算和存儲(chǔ)的頂梁柱。作為微妙時(shí)代的極致云盤(pán)ESSD,使得過(guò)去業(yè)務(wù)峰值壓力、硬件潛能風(fēng)險(xiǎn)與業(yè)務(wù)增長(zhǎng),所帶來(lái)的SSD云盤(pán)不夠快、本地盤(pán)可靠性以及無(wú)法擴(kuò)容的窘境統(tǒng)統(tǒng)解決,取而代之的是100微妙延遲、可靠性提升百萬(wàn)倍,更提供在線可容、靈活掛載。盤(pán)古 2.0 作為新一代存儲(chǔ)引擎,在云存儲(chǔ)、大數(shù)據(jù)計(jì)算和分析、數(shù)據(jù)庫(kù)、流式計(jì)算、和搜索等眾多領(lǐng)域展現(xiàn)了卓越的實(shí)力,保障了雙十一的十年進(jìn)階之路。 安全可靠、靈活可擴(kuò)展、最佳實(shí)踐的存儲(chǔ),作為阿里云存儲(chǔ)的三大優(yōu)勢(shì)助力其創(chuàng)造更多奇跡。如果說(shuō)2018年阿里云是在布局企業(yè)級(jí)存儲(chǔ)的話,那么2019年阿里云則正式吹響了進(jìn)軍企業(yè)存儲(chǔ)市場(chǎng)的號(hào)角,各項(xiàng)新品的發(fā)布,使其線上線下的存儲(chǔ)邊界正式被打破。 阿里云增長(zhǎng)最快的存儲(chǔ)產(chǎn)品ESSD 映射出飛天盤(pán)古2.0的十年極致進(jìn)化 企業(yè)核心應(yīng)用上云對(duì)存儲(chǔ)的需求是高可靠、高性能、彈性擴(kuò)展與簡(jiǎn)化運(yùn)維,而對(duì)于存儲(chǔ)系統(tǒng)同時(shí)達(dá)到以上四種需求,挑戰(zhàn)巨大。ESSD作為服務(wù)企業(yè)核心業(yè)務(wù)場(chǎng)景的極致云盤(pán),卻能完美的兼顧以上四種需求。ESSD的時(shí)延相較于SSD降低70%,實(shí)際業(yè)務(wù)場(chǎng)景性能加速顯著,只需一步完成快照策略設(shè)置,單盤(pán)快照個(gè)數(shù)擴(kuò)展到512,超強(qiáng)的性?xún)r(jià)比更支持全球可買(mǎi),使得60%的阿里云頭部客戶(hù)都在使用ESSD。 簡(jiǎn)單來(lái)說(shuō),ESSD相當(dāng)于一個(gè)千萬(wàn)平米的巨型數(shù)據(jù)倉(cāng)庫(kù),自帶時(shí)速超過(guò)120公里的超級(jí)高速,僅需1秒就可以完成1部高清電影的傳輸和存儲(chǔ)。 根據(jù)阿里官方公布的數(shù)據(jù),通過(guò)ESSD,上海振華重工加速SAP HANA上云,性能提升3倍的同時(shí),成本降低30%;微博加速?gòu)椥詳U(kuò)容,彈性能力提升3倍,以應(yīng)對(duì)高流量事件;一下科技交互響應(yīng)速度提升100%。 商業(yè)化1個(gè)月,ESSD成為增長(zhǎng)最快的存儲(chǔ)產(chǎn)品,而這背后要得益于飛天盤(pán)古2.0十年的極致進(jìn)化的技術(shù)支持,深度融合的軟硬一體化,靈活高效的分布式架構(gòu)與算法,經(jīng)受阿里經(jīng)濟(jì)體核心業(yè)務(wù)系統(tǒng)與“雙11”的錘煉,使其成為了最耀眼的那顆星。
存儲(chǔ)新常態(tài) 看人工智能如何激活存儲(chǔ)技術(shù)變革 如今,人工智能的高速發(fā)展,徹底改變了人類(lèi)的工作方式、生活方式和思維方式,也實(shí)現(xiàn)了生產(chǎn)力的整體躍升和社會(huì)治理的新變革。隨著計(jì)算力的不斷突破,人工智能的技術(shù)也在日趨成熟,越來(lái)越多的企業(yè)開(kāi)始將人工智能技術(shù)融入行業(yè)應(yīng)用中。而作為傳統(tǒng)行業(yè)的存儲(chǔ),經(jīng)歷了一輪又一輪技術(shù)市場(chǎng)洗牌,而今面對(duì)人工智能技術(shù)時(shí),又將如何撬動(dòng)市場(chǎng)的新需求呢? 對(duì)此,吳結(jié)生表示,在與人工智能的融合中,阿里云存儲(chǔ)正在做兩方面的實(shí)踐與探索:一方面是思考人工智能技術(shù)如何運(yùn)用到存儲(chǔ)系統(tǒng)中;另一方面也在踐行存儲(chǔ)系統(tǒng)如何更好地服務(wù)和支持人工智能計(jì)算,從而更好地普惠人工智能技術(shù)。兩者相互融合,共同促進(jìn)。 借助人工智能技術(shù),在磁盤(pán)、服務(wù)與網(wǎng)絡(luò)等硬件故障的檢測(cè)中,可以更加準(zhǔn)確地預(yù)測(cè)到故障的發(fā)生。在遇到網(wǎng)速變慢等異常狀況時(shí),可以做到及時(shí)有效的規(guī)避,從而使得產(chǎn)品更加穩(wěn)定,大大降低長(zhǎng)尾延遲現(xiàn)象;在智能負(fù)載均衡與調(diào)度中,利用人工智能技術(shù),能夠提前進(jìn)行負(fù)載均衡,避免熱點(diǎn)與不均衡;在數(shù)據(jù)的置放策略中,可以根據(jù)對(duì)冷熱數(shù)據(jù)的分析判斷,以及客戶(hù)訪問(wèn)的規(guī)則與模式,將不同類(lèi)型的數(shù)據(jù)進(jìn)行分類(lèi),安排不同的置放策略,從而提高總體系統(tǒng)效能,以便實(shí)現(xiàn)更加智能的分級(jí)存儲(chǔ)(Tiering)。 同時(shí),阿里云針對(duì)機(jī)器學(xué)習(xí)與人工智能計(jì)算的場(chǎng)景,推出了高性能并行文件系統(tǒng)(CPFS:Cloud?Parallel?File?System),已經(jīng)廣泛應(yīng)用于智能駕駛、生命科學(xué)和基因計(jì)算等場(chǎng)景。CPFS也被廣泛使用在高性能計(jì)算領(lǐng)域,與阿里云的彈性高性能計(jì)算(E-HPC)一起提供服務(wù)化和商業(yè)化的高性能計(jì)算,不僅如此,還承擔(dān)了“國(guó)之重器”之一的“天眼”工程(500米口徑球面射電望遠(yuǎn)鏡 FAST?系統(tǒng))的存儲(chǔ)解決方案,助力人類(lèi)對(duì)宇宙的不懈探索。 另外,隨著圖片和視頻內(nèi)容的不斷產(chǎn)生,急需對(duì)其進(jìn)行智能的分析,阿里云的智能媒體管理系統(tǒng)(IMM)將先進(jìn)的分析算法與存儲(chǔ)相結(jié)合,通過(guò)簡(jiǎn)單便利的調(diào)用接口,使得中小客戶(hù)也可以享用到阿里云和達(dá)摩院的人工智能能力,普惠人工智能技術(shù)。這些智能服務(wù)能力也經(jīng)歷了“雙11”場(chǎng)景的打磨,積累的最佳實(shí)踐轉(zhuǎn)化為產(chǎn)品的能力,復(fù)制到更多的客戶(hù)。 人工智能可以激活存儲(chǔ)的新變革,而借助存儲(chǔ)來(lái)服務(wù)人工智能計(jì)算,又能夠讓人工智能走上普惠的道路,這樣相輔相成的融合可謂絕妙。可預(yù)見(jiàn)的是,存儲(chǔ)技術(shù)將會(huì)與人工智能技術(shù)不斷融合,這也有利于存儲(chǔ)技術(shù)的更新?lián)Q代,更好地支撐業(yè)務(wù)的快速發(fā)展,最終具備技術(shù)擴(kuò)展業(yè)務(wù)邊界以及業(yè)務(wù)向技術(shù)拿紅利的能力。 另外,阿里云存儲(chǔ)將高性能存儲(chǔ)網(wǎng)絡(luò)作為分布式存儲(chǔ)的基石,聯(lián)合整個(gè)阿里云網(wǎng)絡(luò)和基礎(chǔ)設(shè)施團(tuán)隊(duì)進(jìn)行迭代式創(chuàng)新,從25G的網(wǎng)絡(luò)到現(xiàn)在的100G網(wǎng)絡(luò),高性能存儲(chǔ)網(wǎng)絡(luò)已經(jīng)取得了很大的進(jìn)步,在穩(wěn)定性和性能方面將會(huì)持續(xù)創(chuàng)新。最后,在數(shù)據(jù)中心級(jí)別的均衡規(guī)劃中,還需要更高級(jí)別和更大規(guī)模的設(shè)計(jì)。談及阿里云存儲(chǔ)未來(lái)的部署與計(jì)劃時(shí),吳結(jié)生強(qiáng)調(diào),為客戶(hù)創(chuàng)造更多的價(jià)值才能讓阿里云更有價(jià)值。 在快速迭代的技術(shù)面前,阿里云存儲(chǔ)以穩(wěn)定、安全、可靠為立身之本,并利用智能技術(shù)的新元素賦能存儲(chǔ),以普惠智能決策與智能計(jì)算。不難看出,阿里云存儲(chǔ)的創(chuàng)新活力,不僅拓展了云存儲(chǔ)的邊界,更在廣闊的企業(yè)級(jí)存儲(chǔ)市場(chǎng)中創(chuàng)造了更多的可能。從此,存儲(chǔ)不再是性能的瓶頸,在快速迭代的技術(shù)面前,阿里云存儲(chǔ)以穩(wěn)定安全可靠為立生之本,并用不畏挑戰(zhàn)與超高要求,去打破種種瓶頸,從而創(chuàng)造更多奇跡。
福利 掃描添加小編微信,備注“姓名+公司職位”,入駐【CSDN博客】,加入【云計(jì)算學(xué)習(xí)交流群】,和志同道合的朋友們共同打卡學(xué)習(xí)!
作者 |?劉丹
責(zé)編 | 阿禿
出品 | CSDN云計(jì)算(ID:CSDNcloud)
人類(lèi)以日新月異的速度刷新著科技的成果,其中存儲(chǔ)的發(fā)展歷史尤其悠久,堪稱(chēng)萬(wàn)年進(jìn)化史。自文明誕生以來(lái),我們就一直在尋求能夠更有效存儲(chǔ)信息的方式,從4萬(wàn)年前的洞穴壁畫(huà)、6000年前泥板上的楔形文字,到今天普及的SSD/閃存,再到對(duì)量子存儲(chǔ)、DNA存儲(chǔ)技術(shù)的探索,腳步從未停止。據(jù)IDC預(yù)測(cè),2025年全球數(shù)據(jù)將有175 ZettaBytes的總量。如此驚人而又龐大的數(shù)據(jù)量,為存儲(chǔ)市場(chǎng)帶來(lái)機(jī)遇的同時(shí),也帶來(lái)了不小的挑戰(zhàn)。 后摩爾定律時(shí)代 存儲(chǔ)市場(chǎng)唯一不變的是變化 過(guò)去幾年,云計(jì)算市場(chǎng)的持續(xù)狂飆式發(fā)展,對(duì)傳統(tǒng)IT企業(yè)競(jìng)爭(zhēng)格局帶來(lái)了不可逆轉(zhuǎn)的變化。其中,存儲(chǔ)的發(fā)展歷史最悠久,在30多年的發(fā)展,迭代出多種存儲(chǔ)產(chǎn)品。 眾所周知,過(guò)去半個(gè)世紀(jì),摩爾定律始終貫穿著IT產(chǎn)業(yè)的發(fā)展。如今,隨著大數(shù)據(jù)、人工智能、IoT領(lǐng)域新技術(shù)的涌現(xiàn)和應(yīng)用場(chǎng)景的多元化,摩爾定律已無(wú)法滿(mǎn)足太多變數(shù),而存儲(chǔ)市場(chǎng)的變化,恰好證明了后摩爾定律時(shí)代的到來(lái)。 “善變”的存儲(chǔ)市場(chǎng),也正因?yàn)閿?shù)據(jù)時(shí)代下的種種變化而得到了飛速的發(fā)展,這些變化來(lái)自于30%年化增長(zhǎng)的數(shù)據(jù)海量化;5G速率增長(zhǎng)20倍與30%的實(shí)時(shí)數(shù)據(jù), 所帶來(lái)的速度化;80%非結(jié)構(gòu)化與AIOT多種來(lái)源的多樣化;時(shí)刻需要加強(qiáng)的準(zhǔn)確化;以及亟待解決的價(jià)值化。對(duì)此,阿里云存儲(chǔ)負(fù)責(zé)人吳結(jié)生總結(jié)道,“善變”的存儲(chǔ)市場(chǎng),唯一不變的是變化。 應(yīng)對(duì)數(shù)據(jù)時(shí)代的變化,阿里云存儲(chǔ)為用戶(hù)提供了塊存儲(chǔ)、文件存儲(chǔ)與對(duì)象存儲(chǔ)三種上云方式,保證用戶(hù)擁有更多選擇與更多路徑;更有諸如數(shù)據(jù)備份與恢復(fù)、冷熱數(shù)據(jù)分層、無(wú)縫訪問(wèn)本地與云端、多分支機(jī)構(gòu)共享在內(nèi)的混合云存儲(chǔ),助力企業(yè)無(wú)縫上云;并通過(guò)全鏈路加密、密鑰可控與日志透明化的技術(shù),為用戶(hù)提供可靠、可控、可見(jiàn)的數(shù)據(jù)保護(hù)。 綜上,阿里云存儲(chǔ)不僅提供了最為完整的存儲(chǔ)產(chǎn)品與服務(wù),其多元的數(shù)據(jù)應(yīng)用場(chǎng)景,豐富的數(shù)據(jù)管理服務(wù),真正做到了“客戶(hù)第一,需求至上”。 存儲(chǔ)演進(jìn)30年 新一代存儲(chǔ)需滿(mǎn)足五大變化 為了滿(mǎn)足企業(yè)針對(duì)不同業(yè)務(wù)的多樣需求,現(xiàn)代存儲(chǔ)行業(yè)歷經(jīng)30多年的發(fā)展,迭代出多種存儲(chǔ)產(chǎn)品。例如為解決早期數(shù)據(jù)增長(zhǎng)而出現(xiàn)的DAS和SAN,為解決核心應(yīng)用高穩(wěn)定性和高性能而出現(xiàn)的高端存儲(chǔ),為處理非結(jié)構(gòu)化數(shù)據(jù)而產(chǎn)生的NAS和對(duì)象存儲(chǔ),為滿(mǎn)足彈性部署而衍生出來(lái)的軟件定義存儲(chǔ)…… 為了更清晰地探究出云計(jì)算時(shí)代存儲(chǔ)技術(shù)的發(fā)展路徑以及所應(yīng)對(duì)的挑戰(zhàn),阿里云存儲(chǔ)業(yè)務(wù)負(fù)責(zé)人吳結(jié)生,根據(jù)阿里云在存儲(chǔ)領(lǐng)域的發(fā)展經(jīng)驗(yàn),為我們梳理出存儲(chǔ)技術(shù)的發(fā)展與應(yīng)用方向: 第一,存儲(chǔ)與計(jì)算的分離。隨著數(shù)據(jù)處理對(duì)存儲(chǔ)需求和計(jì)算需求在規(guī)模、速度、容量和成本等維度的不斷變化,計(jì)算與存儲(chǔ)分離可以最大限度地解耦這兩類(lèi)不同的關(guān)鍵資源,使得各自相對(duì)獨(dú)立地?cái)U(kuò)展和演進(jìn)。首先,通過(guò)解耦,計(jì)算與存儲(chǔ)這兩方面可以在云數(shù)據(jù)中心分別獨(dú)立擴(kuò)展,提供調(diào)度和資源共享的靈活性,提高資源使用效率,降低成本。其次,計(jì)算和存儲(chǔ)的技術(shù)演進(jìn)空間變大,可以更加靈活的針對(duì)不同的負(fù)載進(jìn)行優(yōu)化。再次,網(wǎng)絡(luò)技術(shù)的高速發(fā)展、個(gè)位數(shù)微秒的延時(shí)(latency)、百G級(jí)別的帶寬、服務(wù)器之間的邊界越來(lái)越模糊,使得計(jì)算和存儲(chǔ)分離、分布式存儲(chǔ)等架構(gòu)在穩(wěn)定性和性能等領(lǐng)域變得更加高效和有生命力。 第二,標(biāo)準(zhǔn)化、服務(wù)化與開(kāi)放化的演進(jìn)路徑。首先,提供諸如塊存儲(chǔ)和文件存儲(chǔ)等標(biāo)準(zhǔn)化的存儲(chǔ)方式,這些類(lèi)型的存儲(chǔ)具備標(biāo)準(zhǔn)化的接口,使客戶(hù)能夠直接遷移數(shù)據(jù),避免了應(yīng)用的大量修改;其次,向服務(wù)化的方向發(fā)展。在傳統(tǒng)的存儲(chǔ)模式下,用戶(hù)需要大量的設(shè)備管理與維護(hù)升級(jí),而在云計(jì)算時(shí)代,云存儲(chǔ)將其演化成一種云服務(wù),用戶(hù)只需要關(guān)心自己的業(yè)務(wù)邏輯與創(chuàng)新即可;另外,更加開(kāi)放。存儲(chǔ)云服務(wù)提供很多管理與控制的API,現(xiàn)在將其開(kāi)放出來(lái),使得用戶(hù)可以通過(guò)編程調(diào)用API,管理與監(jiān)控存儲(chǔ)資源,以及實(shí)現(xiàn)跨平臺(tái)的管理。 第三,垂直領(lǐng)域和典型場(chǎng)景的深度集成設(shè)計(jì)。數(shù)據(jù)庫(kù)、大數(shù)據(jù)處理和分析、人工智能、容器等領(lǐng)域具有自身的特點(diǎn),所以存儲(chǔ)技術(shù)針對(duì)以上典型場(chǎng)景也進(jìn)行了相應(yīng)的集成設(shè)計(jì),結(jié)合場(chǎng)景的特點(diǎn)進(jìn)行適配和優(yōu)化,提高與場(chǎng)景結(jié)合的端到端優(yōu)化能力和存儲(chǔ)的效率。 對(duì)于企業(yè)和用戶(hù)而言,使用云計(jì)算有著諸多好處,云提供了靈活的彈性伸縮、彈性存儲(chǔ)容量、安全可靠、高可用性和穩(wěn)定的性能等能力。但是,云存儲(chǔ)在發(fā)展的過(guò)程中也面臨著諸多挑戰(zhàn),為滿(mǎn)足云時(shí)代發(fā)展的需求,吳結(jié)生為我們總結(jié)了新一代存儲(chǔ)要不斷演進(jìn),跟上需求演進(jìn)的變化,進(jìn)一步通過(guò)技術(shù)牽引去創(chuàng)造更多的變化。
容量海量化,需要持續(xù)的成本優(yōu)化技術(shù)來(lái)滿(mǎn)足數(shù)據(jù)的爆炸式增長(zhǎng)需求;存儲(chǔ)速度化,讀寫(xiě)速度和數(shù)據(jù)處理速度不斷加速;數(shù)據(jù)來(lái)源和數(shù)據(jù)形態(tài)越來(lái)越多樣化;數(shù)據(jù)是新石油,是數(shù)字化經(jīng)濟(jì)的基礎(chǔ);存儲(chǔ)需要加強(qiáng)數(shù)據(jù)清洗、數(shù)據(jù)安全、數(shù)據(jù)處理方面的能力,提供真實(shí)、可信和安全的數(shù)據(jù),幫助企業(yè)或機(jī)構(gòu)挖掘數(shù)據(jù)的價(jià)值,實(shí)現(xiàn)數(shù)字經(jīng)濟(jì)中數(shù)據(jù)價(jià)值。針對(duì)這五個(gè)方向和不斷演進(jìn)的需求變化,阿里云已在存儲(chǔ)領(lǐng)域完成全面布局,包括塊存儲(chǔ)和對(duì)象存儲(chǔ)在內(nèi)的云上存儲(chǔ)家族,混合云存儲(chǔ)陣列、混合云備份和容災(zāi)的混合云存儲(chǔ)服務(wù),以及高性能分布式存儲(chǔ)和數(shù)據(jù)庫(kù)存儲(chǔ)等典型場(chǎng)景存儲(chǔ)方案。 阿里云十一年存儲(chǔ)進(jìn)化史 重新定義下一代存儲(chǔ) 了解了云時(shí)代存儲(chǔ)的發(fā)展路徑過(guò)后,接下來(lái)不妨讓我們看看阿里云存儲(chǔ)的技術(shù)演進(jìn)歷史,從而更直觀地了解云存儲(chǔ)在數(shù)字化轉(zhuǎn)型中的核心價(jià)值。作為阿里云飛天系統(tǒng)中極其重要的一環(huán),阿里云存儲(chǔ)不僅滿(mǎn)足了“雙11”等大規(guī)模業(yè)務(wù)場(chǎng)景對(duì)存儲(chǔ)系統(tǒng)的超高要求,提供豐富完整的公共云和混合云存儲(chǔ)產(chǎn)品矩陣,還通過(guò)客戶(hù)數(shù)據(jù)中心和邊緣局點(diǎn)到云上的整體存儲(chǔ)解決方案,打破了數(shù)據(jù)存儲(chǔ)和流通的邊界,滿(mǎn)足了企業(yè)的多樣化需求,為企業(yè)數(shù)字化轉(zhuǎn)型提供了數(shù)據(jù)核心價(jià)值。 ?“越過(guò)山丘,才發(fā)現(xiàn)那里已無(wú)人等候......”,這是去年阿里云存儲(chǔ)新品發(fā)布會(huì)中的一句話。這句話低調(diào)地彰顯了阿里云的領(lǐng)導(dǎo)者地位,也恰好是阿里云存儲(chǔ)在成長(zhǎng)道路上堅(jiān)守與收獲的寫(xiě)照。 ?
|??2008年,為了探索阿里巴巴集團(tuán)大規(guī)模存儲(chǔ)解決之道,阿里云存儲(chǔ)團(tuán)隊(duì)?wèi)?yīng)運(yùn)而生。 |??2009年,阿里云分布式存儲(chǔ)引擎1.0(盤(pán)古PanGu)正式發(fā)布,為彈性計(jì)算虛擬機(jī)、阿里金融、郵箱、搜索提供通用存儲(chǔ)服務(wù)。 |??2013年,阿里云分布式存儲(chǔ)系統(tǒng)實(shí)現(xiàn)單集群5000臺(tái)服務(wù)器規(guī)模的部署,服務(wù)阿里巴巴電商業(yè)務(wù)和螞蟻支付寶業(yè)務(wù)。 |??2015年,成功實(shí)現(xiàn)了單集群10000臺(tái)服務(wù)器規(guī)模的部署,擁有云計(jì)算產(chǎn)業(yè)中最齊全的存儲(chǔ)產(chǎn)品線,成長(zhǎng)與效率躍居榜首。同年還打破了Sort Benchmark世界記錄,100TB排序完成時(shí)間僅需377秒。 |??2016年,CloudSort項(xiàng)目中,阿里云以1.44$/TB的成績(jī)獲得Indy專(zhuān)用目的排序和Daytona通用目的排序兩個(gè)子項(xiàng)的世界冠軍,打破了AWS在2014年創(chuàng)造的紀(jì)錄4.51$/TB。 |??2018年,面向人工智能、科學(xué)計(jì)算、深度學(xué)習(xí)等未來(lái)存儲(chǔ)場(chǎng)景,阿里云分布式存儲(chǔ)引擎2.0正式發(fā)布,這不僅證明了阿里云存儲(chǔ)歷經(jīng)十年的超強(qiáng)能力,更意味著阿里云存儲(chǔ)再次引領(lǐng)了云存儲(chǔ)與企業(yè)存儲(chǔ)、傳統(tǒng)存儲(chǔ)的破局之爭(zhēng)。 |??2019年,阿里云攜ESSD高性能云盤(pán),領(lǐng)跑微秒存儲(chǔ)時(shí)代,正式吹響了進(jìn)軍企業(yè)存儲(chǔ)市場(chǎng)的號(hào)角。 阿里云存儲(chǔ)在十一年的發(fā)展歷程中,不斷推出重磅新品與取得傲人成績(jī),絕不僅僅是為了快速追趕業(yè)內(nèi)標(biāo)桿廠商。更重要的是,彰顯了阿里云為滿(mǎn)足全球用戶(hù)的業(yè)務(wù)需求,所沉淀的獨(dú)到見(jiàn)解和創(chuàng)新。隨著更多貼近用戶(hù)應(yīng)用的數(shù)據(jù)管理功能的推出以及生態(tài)的構(gòu)建,我們可以感知到阿里云存儲(chǔ)背后的思考。 在安全方面,對(duì)象存儲(chǔ)服務(wù)在國(guó)外成熟市場(chǎng)得到廣泛認(rèn)可,很多企業(yè)的核心業(yè)務(wù)信息都存儲(chǔ)在上面。但是在中國(guó),對(duì)象存儲(chǔ)的普及度還有待提升,數(shù)據(jù)安全的加強(qiáng)有助于改變這一現(xiàn)狀。對(duì)此,阿里云對(duì)象存儲(chǔ)也在更新重點(diǎn),劍指數(shù)據(jù)安全。據(jù)了解,阿里云存儲(chǔ)全線產(chǎn)品都具備全面的“數(shù)據(jù)加密”能力,其中對(duì)象存儲(chǔ)OSS提供包括KMS密鑰、BYOK密鑰、OSS托管密鑰等5種加密方式,完成服務(wù)端數(shù)據(jù)加密和客戶(hù)端線下加密等多種靈活形式。 在性能方面,隨著全閃存的普及和高性能網(wǎng)絡(luò)的發(fā)展,數(shù)據(jù)中心進(jìn)入“微秒時(shí)代”。起初,10萬(wàn)IOPS已是非常高的性能;而十年后的今天,百萬(wàn)、千萬(wàn)IOPS已經(jīng)成為多家廠商宣傳的主題詞。據(jù)介紹,作為全球首個(gè)百萬(wàn)IOPS的企業(yè)級(jí)云盤(pán),阿里云ESSD搭配ECS云服務(wù)器使用,可提供單盤(pán)高達(dá)100萬(wàn)IOPS的隨機(jī)讀寫(xiě)能力,單路寫(xiě)時(shí)延 100 微秒。相比前一代的SSD云盤(pán)性能提升了40倍,讀寫(xiě)時(shí)延降低了70% 。同時(shí),ESSD云盤(pán)支持不停機(jī)擴(kuò)展容量、不停機(jī)提高IO讀寫(xiě)性能上限、數(shù)據(jù)加密等高級(jí)數(shù)據(jù)服務(wù)功能,具備企業(yè)級(jí)存儲(chǔ)的前沿技術(shù)創(chuàng)新能力。 在數(shù)據(jù)智能管理方面,打破數(shù)據(jù)孤島以形成有效的聯(lián)動(dòng)成為當(dāng)務(wù)之急。對(duì)此,阿里云提供了豐富的數(shù)據(jù)管理功能,通過(guò)數(shù)據(jù)分析系統(tǒng)挖掘數(shù)據(jù)價(jià)值。其中日志服務(wù)的AIOps分析功能面向趨勢(shì)預(yù)測(cè)、異常發(fā)現(xiàn)、智能聚類(lèi)和根因分析四個(gè)場(chǎng)景,提升DevOps分析和診斷的效率,幫助運(yùn)維人員提前配置資源,提前預(yù)測(cè)、發(fā)現(xiàn)和解決常見(jiàn)故障。 在降低成本方面,每年雙11創(chuàng)造奇跡的背后,是巨大的成本投入;另一方面,在數(shù)據(jù)時(shí)代,隨著各種大數(shù)據(jù)處理框架不斷涌現(xiàn),成千上萬(wàn)的數(shù)據(jù)分析需求背后是大量的計(jì)算任務(wù),占用了大量的計(jì)算資源。此時(shí),阿里云數(shù)據(jù)中心利用混部技術(shù),將集群混合起來(lái),將不同類(lèi)型的任務(wù)調(diào)度到同一批物理資源上,通過(guò)調(diào)度、資源隔離等控制手段, 在保障SLA的基礎(chǔ)上,充分使用資源,極大降低了成本。 化挑戰(zhàn)為機(jī)遇,阿里云存儲(chǔ)營(yíng)收過(guò)去三年增長(zhǎng)超過(guò)10倍,存儲(chǔ)容量增長(zhǎng)12倍,其中SSD容量增長(zhǎng)超10倍。十余年的存儲(chǔ)進(jìn)化,讓阿里云更新迭代了涵蓋公共云、混合云和邊緣計(jì)算在內(nèi)的全球最完整存儲(chǔ)產(chǎn)品線,面向萬(wàn)物智能時(shí)代,定義下一代存儲(chǔ),更安全、更穩(wěn)定、更優(yōu)化、更智能,讓用戶(hù)無(wú)縫上云。 十年雙十一背后的磨礪:場(chǎng)景越復(fù)雜 越不容有半點(diǎn)差池 跟隨十年阿里云存儲(chǔ)進(jìn)化史,可以發(fā)現(xiàn)每一年阿里云存儲(chǔ)都有所變化,從2008年飛天啟航,經(jīng)過(guò)十年演進(jìn),到2019年,盤(pán)古單集群超10萬(wàn)臺(tái)ESSD,OSS同城冗余。我們可以清晰看到其發(fā)展過(guò)程中,四條主線貫穿始終,第一,規(guī)模化不斷加大;第二,對(duì)可靠性的追求;第三,便捷性,大量產(chǎn)品、服務(wù)與協(xié)議,幫助用戶(hù)更好地使用云存儲(chǔ);第四,軟硬一體的發(fā)展,各種新型設(shè)備都嘗試做好軟硬一體。 阿里雙十一就像是一個(gè)練兵場(chǎng),2009年,700萬(wàn)交易額峰值交易400筆/秒,2018年,2135億交易額峰值交易49.1萬(wàn)筆/秒。吳結(jié)生強(qiáng)調(diào),十年雙十一告訴我們,場(chǎng)景愈加復(fù)雜,挑戰(zhàn)越來(lái)越大,卻更不能有任何差池。也正是因?yàn)榘⒗镌拼鎯?chǔ)團(tuán)隊(duì)始終堅(jiān)持著“今天最好的表現(xiàn)就是明天最低的要求”的信念,使得雙十一、云存儲(chǔ)乃至整個(gè)阿里云都在不斷突破挑戰(zhàn),創(chuàng)造奇跡。 2018年11月,再次以 2135 億元成交總額創(chuàng)造商業(yè)奇跡,10年每秒交易筆數(shù)創(chuàng)建1227.5倍進(jìn)化,其瞬間的流量高峰沖擊與龐大的成交額背后,離不開(kāi)技術(shù)力量和全局基礎(chǔ)設(shè)施的支撐。其中,對(duì)象存儲(chǔ) OSS、文件存儲(chǔ) NAS、表格存儲(chǔ) TableStore、日志服務(wù) SLS 成為了數(shù)據(jù)計(jì)算和存儲(chǔ)的頂梁柱。作為微妙時(shí)代的極致云盤(pán)ESSD,使得過(guò)去業(yè)務(wù)峰值壓力、硬件潛能風(fēng)險(xiǎn)與業(yè)務(wù)增長(zhǎng),所帶來(lái)的SSD云盤(pán)不夠快、本地盤(pán)可靠性以及無(wú)法擴(kuò)容的窘境統(tǒng)統(tǒng)解決,取而代之的是100微妙延遲、可靠性提升百萬(wàn)倍,更提供在線可容、靈活掛載。盤(pán)古 2.0 作為新一代存儲(chǔ)引擎,在云存儲(chǔ)、大數(shù)據(jù)計(jì)算和分析、數(shù)據(jù)庫(kù)、流式計(jì)算、和搜索等眾多領(lǐng)域展現(xiàn)了卓越的實(shí)力,保障了雙十一的十年進(jìn)階之路。 安全可靠、靈活可擴(kuò)展、最佳實(shí)踐的存儲(chǔ),作為阿里云存儲(chǔ)的三大優(yōu)勢(shì)助力其創(chuàng)造更多奇跡。如果說(shuō)2018年阿里云是在布局企業(yè)級(jí)存儲(chǔ)的話,那么2019年阿里云則正式吹響了進(jìn)軍企業(yè)存儲(chǔ)市場(chǎng)的號(hào)角,各項(xiàng)新品的發(fā)布,使其線上線下的存儲(chǔ)邊界正式被打破。 阿里云增長(zhǎng)最快的存儲(chǔ)產(chǎn)品ESSD 映射出飛天盤(pán)古2.0的十年極致進(jìn)化 企業(yè)核心應(yīng)用上云對(duì)存儲(chǔ)的需求是高可靠、高性能、彈性擴(kuò)展與簡(jiǎn)化運(yùn)維,而對(duì)于存儲(chǔ)系統(tǒng)同時(shí)達(dá)到以上四種需求,挑戰(zhàn)巨大。ESSD作為服務(wù)企業(yè)核心業(yè)務(wù)場(chǎng)景的極致云盤(pán),卻能完美的兼顧以上四種需求。ESSD的時(shí)延相較于SSD降低70%,實(shí)際業(yè)務(wù)場(chǎng)景性能加速顯著,只需一步完成快照策略設(shè)置,單盤(pán)快照個(gè)數(shù)擴(kuò)展到512,超強(qiáng)的性?xún)r(jià)比更支持全球可買(mǎi),使得60%的阿里云頭部客戶(hù)都在使用ESSD。 簡(jiǎn)單來(lái)說(shuō),ESSD相當(dāng)于一個(gè)千萬(wàn)平米的巨型數(shù)據(jù)倉(cāng)庫(kù),自帶時(shí)速超過(guò)120公里的超級(jí)高速,僅需1秒就可以完成1部高清電影的傳輸和存儲(chǔ)。 根據(jù)阿里官方公布的數(shù)據(jù),通過(guò)ESSD,上海振華重工加速SAP HANA上云,性能提升3倍的同時(shí),成本降低30%;微博加速?gòu)椥詳U(kuò)容,彈性能力提升3倍,以應(yīng)對(duì)高流量事件;一下科技交互響應(yīng)速度提升100%。 商業(yè)化1個(gè)月,ESSD成為增長(zhǎng)最快的存儲(chǔ)產(chǎn)品,而這背后要得益于飛天盤(pán)古2.0十年的極致進(jìn)化的技術(shù)支持,深度融合的軟硬一體化,靈活高效的分布式架構(gòu)與算法,經(jīng)受阿里經(jīng)濟(jì)體核心業(yè)務(wù)系統(tǒng)與“雙11”的錘煉,使其成為了最耀眼的那顆星。
存儲(chǔ)新常態(tài) 看人工智能如何激活存儲(chǔ)技術(shù)變革 如今,人工智能的高速發(fā)展,徹底改變了人類(lèi)的工作方式、生活方式和思維方式,也實(shí)現(xiàn)了生產(chǎn)力的整體躍升和社會(huì)治理的新變革。隨著計(jì)算力的不斷突破,人工智能的技術(shù)也在日趨成熟,越來(lái)越多的企業(yè)開(kāi)始將人工智能技術(shù)融入行業(yè)應(yīng)用中。而作為傳統(tǒng)行業(yè)的存儲(chǔ),經(jīng)歷了一輪又一輪技術(shù)市場(chǎng)洗牌,而今面對(duì)人工智能技術(shù)時(shí),又將如何撬動(dòng)市場(chǎng)的新需求呢? 對(duì)此,吳結(jié)生表示,在與人工智能的融合中,阿里云存儲(chǔ)正在做兩方面的實(shí)踐與探索:一方面是思考人工智能技術(shù)如何運(yùn)用到存儲(chǔ)系統(tǒng)中;另一方面也在踐行存儲(chǔ)系統(tǒng)如何更好地服務(wù)和支持人工智能計(jì)算,從而更好地普惠人工智能技術(shù)。兩者相互融合,共同促進(jìn)。 借助人工智能技術(shù),在磁盤(pán)、服務(wù)與網(wǎng)絡(luò)等硬件故障的檢測(cè)中,可以更加準(zhǔn)確地預(yù)測(cè)到故障的發(fā)生。在遇到網(wǎng)速變慢等異常狀況時(shí),可以做到及時(shí)有效的規(guī)避,從而使得產(chǎn)品更加穩(wěn)定,大大降低長(zhǎng)尾延遲現(xiàn)象;在智能負(fù)載均衡與調(diào)度中,利用人工智能技術(shù),能夠提前進(jìn)行負(fù)載均衡,避免熱點(diǎn)與不均衡;在數(shù)據(jù)的置放策略中,可以根據(jù)對(duì)冷熱數(shù)據(jù)的分析判斷,以及客戶(hù)訪問(wèn)的規(guī)則與模式,將不同類(lèi)型的數(shù)據(jù)進(jìn)行分類(lèi),安排不同的置放策略,從而提高總體系統(tǒng)效能,以便實(shí)現(xiàn)更加智能的分級(jí)存儲(chǔ)(Tiering)。 同時(shí),阿里云針對(duì)機(jī)器學(xué)習(xí)與人工智能計(jì)算的場(chǎng)景,推出了高性能并行文件系統(tǒng)(CPFS:Cloud?Parallel?File?System),已經(jīng)廣泛應(yīng)用于智能駕駛、生命科學(xué)和基因計(jì)算等場(chǎng)景。CPFS也被廣泛使用在高性能計(jì)算領(lǐng)域,與阿里云的彈性高性能計(jì)算(E-HPC)一起提供服務(wù)化和商業(yè)化的高性能計(jì)算,不僅如此,還承擔(dān)了“國(guó)之重器”之一的“天眼”工程(500米口徑球面射電望遠(yuǎn)鏡 FAST?系統(tǒng))的存儲(chǔ)解決方案,助力人類(lèi)對(duì)宇宙的不懈探索。 另外,隨著圖片和視頻內(nèi)容的不斷產(chǎn)生,急需對(duì)其進(jìn)行智能的分析,阿里云的智能媒體管理系統(tǒng)(IMM)將先進(jìn)的分析算法與存儲(chǔ)相結(jié)合,通過(guò)簡(jiǎn)單便利的調(diào)用接口,使得中小客戶(hù)也可以享用到阿里云和達(dá)摩院的人工智能能力,普惠人工智能技術(shù)。這些智能服務(wù)能力也經(jīng)歷了“雙11”場(chǎng)景的打磨,積累的最佳實(shí)踐轉(zhuǎn)化為產(chǎn)品的能力,復(fù)制到更多的客戶(hù)。 人工智能可以激活存儲(chǔ)的新變革,而借助存儲(chǔ)來(lái)服務(wù)人工智能計(jì)算,又能夠讓人工智能走上普惠的道路,這樣相輔相成的融合可謂絕妙。可預(yù)見(jiàn)的是,存儲(chǔ)技術(shù)將會(huì)與人工智能技術(shù)不斷融合,這也有利于存儲(chǔ)技術(shù)的更新?lián)Q代,更好地支撐業(yè)務(wù)的快速發(fā)展,最終具備技術(shù)擴(kuò)展業(yè)務(wù)邊界以及業(yè)務(wù)向技術(shù)拿紅利的能力。 另外,阿里云存儲(chǔ)將高性能存儲(chǔ)網(wǎng)絡(luò)作為分布式存儲(chǔ)的基石,聯(lián)合整個(gè)阿里云網(wǎng)絡(luò)和基礎(chǔ)設(shè)施團(tuán)隊(duì)進(jìn)行迭代式創(chuàng)新,從25G的網(wǎng)絡(luò)到現(xiàn)在的100G網(wǎng)絡(luò),高性能存儲(chǔ)網(wǎng)絡(luò)已經(jīng)取得了很大的進(jìn)步,在穩(wěn)定性和性能方面將會(huì)持續(xù)創(chuàng)新。最后,在數(shù)據(jù)中心級(jí)別的均衡規(guī)劃中,還需要更高級(jí)別和更大規(guī)模的設(shè)計(jì)。談及阿里云存儲(chǔ)未來(lái)的部署與計(jì)劃時(shí),吳結(jié)生強(qiáng)調(diào),為客戶(hù)創(chuàng)造更多的價(jià)值才能讓阿里云更有價(jià)值。 在快速迭代的技術(shù)面前,阿里云存儲(chǔ)以穩(wěn)定、安全、可靠為立身之本,并利用智能技術(shù)的新元素賦能存儲(chǔ),以普惠智能決策與智能計(jì)算。不難看出,阿里云存儲(chǔ)的創(chuàng)新活力,不僅拓展了云存儲(chǔ)的邊界,更在廣闊的企業(yè)級(jí)存儲(chǔ)市場(chǎng)中創(chuàng)造了更多的可能。從此,存儲(chǔ)不再是性能的瓶頸,在快速迭代的技術(shù)面前,阿里云存儲(chǔ)以穩(wěn)定安全可靠為立生之本,并用不畏挑戰(zhàn)與超高要求,去打破種種瓶頸,從而創(chuàng)造更多奇跡。
福利 掃描添加小編微信,備注“姓名+公司職位”,入駐【CSDN博客】,加入【云計(jì)算學(xué)習(xí)交流群】,和志同道合的朋友們共同打卡學(xué)習(xí)!
推薦閱讀:
總結(jié)
以上是生活随笔為你收集整理的i 智慧 | 回首30年存储演进之路 再看新数据时代阿里云存储如何革故鼎新?的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 阿里面试官整理的JVM面试要点,99%的
- 下一篇: 安卓应用开发顶级框架大盘点,总有一款适合