商業云平臺和開源云平臺

Google云平臺

主要云服務

• SaaS：Google文件、Google地圖、Google日歷、Gmail
• PaaS：Google App Engine

需求和設想

• 需求：海量用戶和海量數據，需要具備較強的可伸縮性
• 設想：應用向互聯網遷移；數據向互聯網遷移；計算能力向互聯網遷移； 存儲空間向互聯網遷移

四大法寶

文件存儲:GFS

并行數據處理：MapReduce

結構化數據表：BigTable

分布式鎖：Chubby

Chubby介紹

• 基于松耦合分布式系統的鎖服務：采用Paxos算法，解決一致性問題；粗粒度的鎖，更長的持續時間，可以減少換鎖的系統開銷；建議性的鎖，非強制性的鎖，提供更大的靈活性
• 功能：

服務器端：選舉主服務器

客戶端：與服務器端通過遠程過程調用(RPC)連接，每個應用程序有一個Chubby程序庫

• 分布式、存儲大量小文件的文件系統：服務信息的直接存儲
• 客戶端和主服務器的通信：KeepAlive握手協議

架構

Amazon云平臺(Amazon AWS)

主要云服務

• 簡單存儲服務S3(Simple Storage Service)
• 彈性計算云EC2(Elastic Compute Cloud)
• 簡單數據庫服務SimpleDB(Simple Database)
• 簡單隊列服務SQS(Simple Queue Service)

目的

• 將硬件設備等基礎資源封裝成服務供用戶使用(IaaS)
• 在此基礎上，用戶構建應用層，并進一步開發應用程序

彈性計算云EC2

• 目標：向用戶提供彈性的計算資源
• 特性：

靈活性:允許用戶對運行的實例類型、數量自行配置，選擇實例運行的地理位置，隨時改變實例的使用數量

低成本:按小時收費，不需要購買硬件設備

安全性:提供了基于密鑰對的SSH方式訪問、可配置的防火墻機制等安全措施，允許用戶對應用程序進行監控

易用性:用戶可以利用模塊自由構建應用程序，EC2會自動對服務請求進行負載平衡

容錯性:提供彈性IP的機制，在故障發生時盡可能保證用戶服務的穩定

• 構成

Amazon Machine Image(AMI)：相當于PC中的操作系統(可將用戶的應用程序、配置等一起打包) ，類型有公共AMI，私有AMI，付費AMI，共享AMI

實例：相當于主機，提供計算能力自身攜帶一個存儲模塊，臨時存放用戶數據

Elastic Block Store(EBS)：長期保存或者存儲比較重要的數據，直至用戶刪除

通信機制：公共IP地址負責和外界進行通信；私有IP地址用于實例間通信；彈性IP地址與用戶帳號綁定，可在實例出現故障時將彈性IP地址重新映射到一個新的實例

簡單隊列服務SQS

• 目標：解決低耦合系統間的通信問題；支持分布式計算機系統之間的工作流
• 隊列：存放消息的容器；數量是任意的，但名稱必須唯一
• 消息：一定格式的文本，不超過8KB，盡可能“先進先出”；被冗余存儲，采用基于加權隨機分布的消息取樣
• 用戶查詢消息時，會隨機選擇部分服務器，并返回這些服務器上所保存的查詢隊列中消息的副本

微軟云平臺(Windows Azure)

基本思路

• “云+端”模式
• 軟件+服務(S+S)戰略

體系結構

• PaaS
  

基本介紹

• 作用：可以在微軟數據中心上運行應用程序和存儲應用程序數據
• 組成部分：計算服務，存儲服務，Fabric控制器，內容分發網絡CDN， Windows Azure Connect
• 機制：通過Fabric將機器的處理能力整合為一體；Fabric由位于數據中心的大量機器組成 (5-7臺一組) ；由“Fabric控制器”軟件來管理Fabric；依賴于應用所帶的XML格式配置文件

計算服務

• 目標：支持有大量并行用戶的應用程序

• 運行機制：每個應用程序運行多個實例；每個實例運行自己的虛擬機；每個虛擬機運行一個64位的Windows Server
• 角色

Web Role，提供Web服務的角色(支持 HTTP/HTTPS協議，提供WCF服務)

Worker Role，是在后臺運行的應用程序(可以在后臺訪問任何網絡資源、數據源并進行操作)

VM Role，運行系統提供的Windows Server鏡像，并支持將本地應用移動到Windows Azure

SQL Azure

• 目標：基于SQL Server技術構建，提供關系型數據庫存儲服務

• 數據模型：數據中心 Authority -> Container -> Entity
• 功能：

SQL Azure數據庫，使本地應用和云應用可以在微軟數據中 心上存儲數據

SQL Azure報表服務，在SQL Azure存儲的數據中創建標準 的SSRS(SQL Server Reporting Service)報表

SQL Azure數據同步，同步SQL Azure數據庫與本地SQL Server數據庫中的數據，或在微軟數據中心之間同步不同 SQL Azure數據庫

Windows Azure AppFabric

• 作用：為本地應用和云應用提供分布式的基礎架構服務，使本地應用于云應用進行安全聯接和信息傳遞
• 功能：

互聯網服務總線，簡化云應用的公開終端的訪問

訪問控制上，簡化數字身份認證

采用高速緩存，提升應用對同一數據重復訪問的效率

開源云平臺

Hadoop

• Apache支持，Java語言，參照Google
• 組成：Hadoop Common、Hadoop Distributed File System (HDFS)、Hadoop YARN、Hadoop MapReduce
• 相關項目：Cassandra、Hbase、Hive、Spark、ZooKeeper

Zookeeper

• 目的：大部分分布式應用需要一個主控、協調器或控制器來管理物理分布的子進程(如資源、任務分配等)；缺乏通用的協調程序，需要各自編寫
• 目標：提供通用的分布式協調服務

Zookeeper讀寫機制

• 由多個Server組成的集群：一個Leader，多個Follower

• 每個Server都保存了一份數據副本，全局數據一致
• 分布式讀寫
• 由Leader實施更新請求轉發

Zookeeper使用約定

• 更新請求順序執行：來自同一個Client的更新請求按其發送順序依次執行
• 數據更新原子性：一次數據更新要么成功，要么失敗，不存在部分數據寫入成功或失敗的情況
• 全局唯一數據視圖：Client無論連接哪個Server，數據視圖都是一致的
• 實時性：在一定時間范圍內，Client能讀到最新數據

Zookeeper的功能

• Leader的選舉：在多個節點中選取Master
• 鎖服務：獨占鎖，當分布式應用需要對資源獨占使用；共享鎖，當分布式應用需要對資源非獨占使用
• 小數據存儲

Spark

• Spark是開源的類Hadoop MapReduce的通用的并行計算框架

• Spark基于map reduce算法實現的分布式計算，擁有Hadoop MapReduce所具有的優點
• 不同于MapReduce的是Job中間輸出和結果可以保存在內存中， 從而不再需要讀寫HDFS，因此Spark能更好地適用于數據挖掘與機器學習等需要迭代的map reduce的算法

總結

以上是生活随笔為你收集整理的商业云平台和开源云平台的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。