数云:PolarDB助力数云轻松应对双十一
公司介紹
我們杭州數云信息技術有限公司成立于2011年,伴隨著電子商務、大數據應用和零售企業互聯網化的趨勢快速發展,目前已成為國內領先的數據化營銷軟件產品和服務提供商。我們致力于為消費品牌和零售品牌商提供整合軟件產品、數據模型和專業服務的一站式數據化營銷解決方案。
我們以軟件產品為主線,以營銷效果為導向,幫助企業深度挖掘大數據價值,持續構建自身的核心競爭優勢。實現了以全渠道客戶數據管理平臺為基礎,以CRM(客戶關系管理)和BI(商業智能)為核心應用,并滲透到全渠道數據化營銷、銷售和服務各個接觸點的價值閉環。我們的數據化營銷管理軟件支持公共云SaaS和專有云獨立部署模式。
業務痛點
雙十一當數云訂單量超4億,我們當時只有部分數據服務的功能已遷云,對其他業務產品進行查詢,對流式計算的查詢,過完雙十一開始正式遷移更多功能流量,急需解決以下問題:
- 有大促需求,在618/雙十一等大促期間希望能快速(分鐘級)彈升實例的規格和IOPS能力。
- 涉及商家數據一致性讀取,希望讀寫數據庫的讀節點延遲小,有較大的讀寫比,希望能夠快速增加讀節點。
- 單機存儲瓶頸,傳統數據庫單個實例只能存3T數據,單實例業務數據量大,維護成本高,代碼配置復雜。
- 高并發寫訴求,對高并發狀態下的寫能力有較高要求。
解決方案
架構方案如下:
- 安全接入:DDos高防IP產品用于保障服務器安全,并通過CDN產品實現訪問加速。
- 業務部署:通過SLB將流量均發至多個Nginx服務器集群,同時配備CRM Web服務器集群。
- 數據存儲:存儲產品選用高性能、穩定的對象存儲OSS;通過RDS、PolarDB、MongoDB和Redis進行業務數據處理,并配合MySQL和RDS進行數據ETL和精簡化存儲。
其中,主要通過PolarDB產品解決業務遷云中遇到的痛點問題:
- PolarDB在大促期間可以在20分鐘內完成10TB級數據的集群升配,具備快速彈升IOPS的能力。
- PolarDB主節點和讀節點之間采用物理復制的方式,讀節點與主節點延遲大大低于普通的MySQL數據庫,能滿足對讀節點的延遲要求;同時新增讀節點,5-8分鐘可以完成,保證能快速提升集群的讀能力。
- PolarDB采用共享存儲架構,存儲和計算分離,能夠最大程度的提供單實例的存儲能力,最大可達100TB,對于歷史數據存儲,海量在線數據存儲都有較好的適配能力,降低代碼復雜度和維護成本。
- PolarDB通過引擎的優化和超強的IOPS能力提供高并發狀態下的超強寫能力,32個并發以上,OLTP寫能力能達到普通MySQL的2-3倍。
上云價值
- 天貓聚石塔商家,在雙十一等業務大促時,需要對數據庫計算能力(CPU、內存、IOPS)和存儲量做臨時升配,我們使用傳統的MySQL數據庫的時候,數據庫升配時間會隨著存儲量的大小、宿主機資源的情況而不斷上升,最大的實例可能升配要6-8個小時,當實例數多的時候,升配時間長、升配帶來的運維成本高、由于資源沖突導致升配失敗可能性增加,PolarDB提供節點升配10-20分鐘、增加節點5-8分鐘等高彈性能力,解決客戶大促期間升配的痛點,是客戶選擇PolarDB的最重要原因。
- 我們數云業務是天貓CRM系統提供商,數據庫的部署模式是多租戶部署,即每個實例上會部署一個或多個我們客戶的數據,因此我們使用的數據庫實例數據量都比較大,較大的實例一般是2T-3T,約有上百個實例來滿足該業務需求,數據庫連接使用比較復雜、管理成本較高,也存在單實例存儲瓶頸需要做數據遷移,PolarDB的共享存儲,解決了我們這三個痛點。
- 我們多租戶的數據庫部署模式對單實例數據庫的寫能力有較高要求,PolarDB的高并發寫能力遠超過傳統MySQL,解決了我們高并發寫入的瓶頸問題。
證言
“通過PolarDB的高彈性能力,我們在雙十一之前一兩天做彈性升級,在雙十一結束后彈性降配,滿足數據庫計算能力的分鐘級彈性,在解決了我們大促彈升需求的同時,也幫我們節約了數據庫的成本。同時由于業務數據量較大,單個實例需要較大的數據存儲量,傳統的單機數據庫無法滿足,PolarDB的存儲計算分離能力幫我們解決了這個困擾我們很久的問題。雙十一期間PolarDB的IOPS能力很穩定,連接數使用到當前規格的一半,還可以再承載更大的壓力。”— 數云資深技術總監
相關產品
- 云數據庫PolarDB
PolarDB是阿里巴巴自主研發的下一代關系型分布式云原生數據庫,目前兼容三種數據庫引擎:MySQL、PostgreSQL、高度兼容Oracle語法。
更多關于云數據庫PolarDB的介紹,參見云數據庫PolarDB產品詳情頁。
- 云服務器ECS
云服務器(Elastic Compute Service,簡稱ECS)是阿里云提供的性能卓越、穩定可靠、彈性擴展的IaaS(Infrastructure as a Service)級別云計算服務。云服務器ECS免去了您采購IT硬件的前期準備,讓您像使用水、電、天然氣等公共資源一樣便捷、高效地使用服務器,實現計算資源的即開即用和彈性伸縮。阿里云ECS持續提供創新型服務器,解決多種業務需求,助力您的業務發展。
更多關于云服務器ECS的介紹,參見云服務器ECS產品詳情頁。
- 負載均衡SLB
負載均衡(Server Load Balancer)是將訪問流量根據轉發策略分發到后端多臺云服務器(ECS實例)的流量分發控制服務。負載均衡擴展了應用的服務能力,增強了應用的可用性。
更多關于負載均衡SLB的介紹,參見負載均衡產品詳情頁。
- 內容分發網絡CDN
阿里云內容分發網絡(Content Delivery Network,簡稱CDN)是建立并覆蓋在承載網之上,由分布在不同區域的邊緣節點服務器群組成的分布式網絡。阿里云CDN分擔源站壓力,避免網絡擁塞,確保在不同區域、不同場景下加速網站內容的分發,提高資源訪問速度。
更多關于內容分發網絡CDN的介紹,參見內容分發網絡產品詳情頁。
- DDoS高防IP
DDoS高防IP是針對互聯網服務器(包括非阿里云主機)在遭受大流量DDoS攻擊后導致服務不可用的情況下,推出的付費服務,用戶可通過配置高防IP,將攻擊流量引流到高防IP,確保源站的穩定可靠。
更多關于DDoS高防IP的介紹,參見DDoS高防IP產品詳情頁。
- 云數據庫RDS
阿里云關系型數據庫(Relational Database Service,簡稱RDS)是一種穩定可靠、可彈性伸縮的在線數據庫服務。基于阿里云分布式文件系統和SSD盤高性能存儲,RDS支持MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced Server,高度兼容Oracle數據庫)和MariaDB TX引擎,并且提供了容災、備份、恢復、監控、遷移等方面的全套解決方案,徹底解決數據庫運維的煩惱。
更多關于云數據庫RDS的介紹,參見云數據庫RDS產品文檔。
- 云數據庫 Redis 版
阿里云數據庫Redis版是兼容開源Redis協議標準、提供內存加硬盤混合存儲的數據庫服務,基于高可靠雙機熱備架構及可平滑擴展的集群架構,可充分滿足高吞吐、低延遲及彈性變配的業務需求。
更多關于云數據庫 Redis 版的介紹,參見云數據庫 Redis 版產品詳情頁。
- 對象存儲OSS
阿里云對象存儲服務(Object Storage Service,簡稱 OSS),是阿里云提供的海量、安全、低成本、高可靠的云存儲服務。其數據設計持久性不低于 99.9999999999%(12 個 9),服務設計可用性(或業務連續性)不低于 99.995%。
更多關于對象存儲OSS的介紹,參見對象存儲OSS產品詳情頁。
原文鏈接
本文為云棲社區原創內容,未經允許不得轉載。
總結
以上是生活随笔為你收集整理的数云:PolarDB助力数云轻松应对双十一的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 优酷背后的大数据秘密:资源弹性,可支撑E
- 下一篇: 基于MaxCompute Informa