前言：基于人大的《數據科學概論》第十一章。主要內容為云計算的概念與特點、云計算與大數據處理的關系、云計算類型與典型系統、虛擬化技術與數據中心、主流產品與特點、OpenStack開源虛擬化平臺、主流廠商的云計算產品。

一、云計算的概念與特點

（1）云計算的概念

根據維基百科，云計算也稱為按需計算，它是提供對可配置的、共享的計算資源池的按需存取的一種計算模型，這里的資源包括計算、存儲、網絡等硬件資源。

云計算并不是一種全新的計算模型，它是并行計算、分布式計算、以及網絡計算發展的新階段。

（2）云計算的特點

虛擬化

彈性

成本低廉

高度容錯性和高度可靠性

（3）云計算與并行計算、分布式計算、集群計算、網格計算的區別和聯系

• 并行計算是相對于串行計算來講的，可以分為時間上的并行和空間上的并行
• 分布式計算通過把整個計算任務，分解成一系列的小任務，分布到各個節點（計算機）上分別執行，最后把結果合并，獲得最終結果。分布式計算的側重點，在于任務的劃分。
• 集群計算，通過高速網絡把一組本來松散聯系的節點（計算機），通過軟件緊密聯系起來，協作完成計算工作。
• 我們把網格計算作為集群計算的一種類型。也可以看作是一類分布式計算。網絡計算把大量異構計算節點的資源（CPU計算資源、磁盤存儲資源）組織起來，構成一臺虛擬的、大的計算機，為解決大規模的計算（包括數據處理）問題，提供計算平臺的支持。

云計算是上述技術發展的新階段，其底層的核心技術是虛擬化，即把計算、存儲、網絡等硬件都進行虛擬化。在硬件資源基礎之上，利用虛擬化技術，提供不同層次的對外服務，包括基礎設施作為服務、平臺作為服務、以及軟件作為服務。

二、云計算與大數據處理的關系

大數據具有數據規模大、數據類型多樣、數據生成速度快等幾個主要的特點。

• 把大數據分布到大量的節點上，通過各個節點的并行處理，才能實現大數據的快速有效處理。這是一種橫向擴展的方式。
• 云計算以其動態擴展能力、高度的容錯性能和可靠性，成為大數據處理的理想平臺。

三、云計算類型與典型系統

按照服務類型，云計算可以分為三類

• 基礎設施作為服務（Infrastructure as a Service，簡稱 laaS）
• 平臺作為服務（Platform as a Service，簡稱PaaS）
• 軟件作為服務（Software as a Service，簡稱SaaS）

云計算與Hadoop、Spark是什么關系？

• 一些大數據處理系統，可以安裝到云計算平臺的虛擬節點（或者虛擬集群上），以PaaS的形式提供對外服務。
• 在此，我們認為把物理節點通過虛擬化技術，對外提供laaS服務，可以稱為云計算。
• 但是Hadoop或者Spark軟件本身，不能稱為云計算。他們是支持大數據處理的分布式軟件系統，這些軟件如果安裝在物理機構成的集群上，那么就不能稱為云計算了。

四、虛擬化技術與數據中心

云計算的核心技術是虛擬化技術

（1）服務器虛擬化

服務器虛擬化，指的是把一臺物理服務器虛擬成若干個獨立的邏輯服務器，各個邏輯服務器擁有自己的CPU、內存、以及I/O設備。服務器虛擬化可以采用兩種形式，分別是寄居虛擬化以及裸機虛擬化。

（2）存儲虛擬化

• 存儲虛擬化，其目的是把分散的，異構的存儲設備，想辦法映射成一個統一的、連續編址的邏輯存儲空間。
• 存儲虛擬化有三種不同的實現方式，分別是基于主機的存儲虛擬化、基于存儲設備的存儲虛擬化、以及基于網絡的存儲虛擬化。

（3）網絡虛擬化

網絡虛擬化在不改變數據中心網絡的物理拓撲和布線的情況下，可以虛擬出各層網絡，并且實現互聯，形成統一的交換架構。

網絡虛擬化，包括核心層、接入層、以及虛擬機網絡虛擬化三個層次。

（4）數據中心

• 數據中心首先由Google、Facebook、Amazon等大型互聯網公司，為適應其業務發展的需要而建設。大型的數據中心，可以集中超過10萬臺服務器。
• 數據中心的主要特點和優勢是，通過服務器虛擬化、存儲虛擬化、網絡虛擬化、應用虛擬化等技術，數據中心把各種硬件資源進行整合，對外提供服務，提高設備的利用率。
• 數據中心一般采取了冗余、容錯、容災的設計，提供不間斷的服務，滿足業務連續性的要求

五、主流產品及其特點

• VMWare
• Hyper-V
• KVM
• XEN

六、OpenStack開源虛擬化平臺

Openstack是一款開源的虛擬化平臺軟件

• OpenStack Dashboard(Horizon)，這是Openstack的Web用戶管理界面
• Openstack Compute(Nova)，Nova是虛擬機創建和管理模塊
• Openstack Image Management(Glance)，Glance是Openstack的虛擬機影像(Image)管理模塊
• Openstack Object Store(Swift)，Swift是對象存儲管理器
• Openstack Block Storage(Cinder)，Cinder是Openstack的磁盤塊設備(Block Device)虛擬化軟件模塊
• Openstack Network(Quantum)，Quantum提供了“網絡連接作為服務”(Network Connectivity as a Service)的功能
• Openstack Identity Service(Keystone)，Keystone模塊負責管理用戶，對用戶進行身份認證(Authentication)和授權(Authorization)

七、主流廠商的云計算產品和服務

（1）Amazon

• Dynamo
• EC2
• S3
• SimpleDB
• RDS
• SQS
• Amazon EMR

（2）微軟

• Windows Azure
• SQL Azure
• Azure App Fabric

（3）Google

• GFS
• MapReduce
• Big Table
• percolator
• Pregel
• …

（4）阿里云

• 彈性計算服務

• 數據存儲服務

• 存儲與CDN服務

• 大規模計算服務

• MapReduce

• Big Table

• percolator

• Pregel

• …

（4）阿里云

• 彈性計算服務
• 數據存儲服務
• 存儲與CDN服務
• 大規模計算服務

總結

以上是生活随笔為你收集整理的11.云计算平台（数据科学概论）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。