Snowflake核心技术解读系列——架构设计
簡介:Snowflake取得了巨大的商業成功,技術是如何支撐起它的千億美元市值呢?它技術強在哪?本文為大家傾情解讀Snowflake的核心技術原理。
背景:2020年9月16日,Snowflake成功IPO,交易首日市場估值達到704億美元,募集資金34億美元。Snowflake成為迄今為止規模最大的軟件IPO,市值最高突破1200億美元。Snowflake提供基于云的數據存儲和分析服務,一般被稱為 "數據倉庫即服務",它允許企業用戶使用基于云的硬件和軟件來存儲和分析數據。Snowflake自2014年起在亞馬遜S3上運行,自2018年起在微軟Azure上運行,自2019年起在谷歌云平臺上運行,其Snowflake Data Exchange允許客戶發現、交換和安全地共享數據。[維基百科]
Snowflake取得了巨大的商業成功,技術是如何支撐起它的千億美元市值呢?它技術強在哪?OLAP內核技術愛好者浙川為大家傾情解讀Snowflake的核心技術原理。本文為該系列一。
概覽
Snowflake是完全基于云構建、充分利用云特性的企業級SaaS數據倉庫產品,它不僅具有靈活性(即買即用)、高安全性、極致擴展性和彈性等特點,而且支持多租戶、事務、標準SQL語法和半結構化、非結構化數據。Snowflake在2015年開始上線使用,如今發展成支持每天運行數百萬條查詢的PB級云原生數據倉庫。
圖 1 整體架構圖
整體架構
圖1展示了Snowflake的整體架構。Snowflake設計的最終目的是為用戶提供高易用性、高可操作性,以及高可靠性,基于這樣的前提,Snowflake的內核組件的設計都具有高可靠、高可擴展的特性。組件是互相獨立的,組件之間通過RESTful接口進行通信。Snowflake內核組件從底向上可以分為三個層面:
1)數據存儲。Snowflake的數據存儲是構建在Amazon S3存儲服務至上,主要用來存儲表數據和查詢結果。
2)虛擬倉庫。虛擬倉庫構建在Amazon EC2虛擬機組成的彈性集群之上,負責執行用戶的查詢請求。
3)云服務組件。云服務組件是Snowflake的大腦,它包括并發訪問控制、基礎設施管理、優化器、事務管理、安全管理、元數據管理,其中元數據包含schema信息、表信息、權限認證信息、秘鑰、統計信息等。
本篇文章為開胃菜,先從Snowflake架構設計切入,有個總體的了解。接下來會陸續推出幾篇系列文章,講解包括Snowflake重要的云原生技術及其它的創新之處,云服務組件,面向云的各自特性。
原文鏈接
本文為阿里云原創內容,未經允許不得轉載。
?
總結
以上是生活随笔為你收集整理的Snowflake核心技术解读系列——架构设计的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: MaxCompute跨境访问加速解决方案
- 下一篇: 技术干货 | 应用性能提升 70%,探究