分布式系统到底是什么
隨著大型網站的各種高并發訪問、海量數據處理等場景越來越多，如何實現網站的高可用、易伸縮、可擴展、安全等目標就顯得越來越重要。為了解決這樣一系列問題，大型網站的架構也在不斷發展。提高大型網站的高可用架構，不得不提的就是分布式。本文主要簡單介紹了分布式系統的概念、分布式系統的特點、常用的分布式方案以及分布式和集群的區別等。
文章目錄
- 分布式系統概述
- 分布式系統的分類
- 分布式一致性問題的理解
- 嚴格意義的數據一致性
- CAP理論和PACELC理論
- CAP&BASE&ACID的關系
- 分布式系統所帶來的技術問題
- 中間件系統及大數據系統
- 本文小結
分布式系統概述
關于什么是分布式系統，有很多文章介紹，其實這個并不難理解，大白話講就是：工廠活多了一個人撐不住，那就多找些工人一起干，要讓這么多人為了一個目標干得快干得好，就需要一些規矩和套路，否則就亂了。從實踐來看分布式系統屬于重要的架構模式，對于互聯網工程架構的演進，簡單提一下為什么會出現分布式系統以及什么是分布式系統：
業務量的迅速增大，普通的單機系統無法滿足要求，要么垂直擴展升級機器硬件，要么水平擴展堆廉價服務器，這也是主流可以想到的解決方法，目前來看互聯網領域選擇了后者-水平擴展。
水平擴展機器多機房部署升級服務集群規模來應對業務的增長，也就出現了分布式系統，這些分布式系統中的物理節點可能是多機房多網絡場景部署的，相互之間通過網絡進行通信和協作。分布式系統就是為了解決巨大業務量和數據量而生的，但是龐大數量的節點來一起正確有序的完成共同的目標是需要理論和實踐來錘打的，這也是分布式系統的重點內容。
分布式系統的分類
一般我們常接觸的分布式系統包括兩大類：分布式存儲和分布式計算。
分布式系統那么多機器要一起協調去完成任務也不是一件容易的事情，所以我們通常認為分布式系統是個熵增過程。
熵是描述一個系統內在混亂程度的物理量，對于一個宏觀熵看孤立的系統來說，在沒有外力干預做功的前提下，系統內在混亂程度是會不斷增加的，也就是熵是增加的。
?
為了讓系統保持有序就必須對其進行外力干涉，對于分布式系統而言，我們必須使用相應的策略和算法使整個系統保持有序和正確，所以認為分布式系統是個熵增過程。
?
這個并不難理解，就像我們為了保持房屋整潔，定期必須打掃，要不然就亂成一鍋粥了。如果對于系統不加以控制和干預，系統將自主走向混亂和無序。
分布式一致性問題的理解
分布式一致性到底是什么一致？
分布式的一致性可以表現在很多方面，這些都是個性問題，然而無論這些個性問題有多少，任何行為和狀態的展示必然是以數據為基礎的，所以這些個性的一致性問題最終都會映射到一個共性問題–分布式數據的一致性。
分布式系統中擁有很多獨立的節點，這些節點一般來說可以獨立進行存儲和計算任務，這兩項是最主要的任務類型，本質上計算和存儲的過程仍然是圍繞數據展開的，所以最終還是數據一致性。
在中心化結構中，存在管理節點和任務節點的區別，也就是每個節點的權利和義務是不一樣的，管理節點可能負責分配任務給下屬節點和收集計算結果等，總體承擔協調者的角色，任務節點主要是承接任務，這樣容易出現管理節點的單點問題。
在去中心化的結構中，各個節點的權利和義務是相同的，盡管沒有單獨指定領導者，在實際的運行中仍然會選舉出領導者和failover動態更新領導者的問題，完全的去中心化系統并不多，相比中心化系統來說，去中心系統更加扁平也更加穩定，像Redis官方集群就是去中心化的實現，任何一個節點的故障都不會帶來特別大的問題，因為節點是平等的。
無論在中心化還是去中心化的分布式系統中，任何一個節點的計算和存儲結果都會對其他節點產生影響，這些獨立的節點通過基礎和特定的網絡協議進行協作，從而形成一個整體。
嚴格意義的數據一致性
經過前面的一些鋪墊，我們開始重點部分的學習-分布式系統數據一致性問題。
我們必須要有個共識：嚴格意義上的分布式數據一致性是不存在的。
為啥不存在呢？
在分布式系統中數據存儲是多節點主從備份的，一般做成讀寫分離，當客戶端將數據通過主庫的代理寫入之后，在極其短暫的瞬間，主節點的數據是無法復制到從節點的，這個瞬間其他客戶端讀取到的從庫數據都是舊數據。
聰明的讀者盆友們可以體會一下瞬間這個詞，當然你可以認為這是相對論的范疇，從物理角度去看可能更能體會。
我們以redis主從節點之間的數據復制來看同步復制和異步復制場景下的數據一致性問題：
一般來說，為了保證服務的高可用，主從節點的數據復制是異步的，因為同步復制延時無法保證，當然有的場景也是同步復制的，這樣整體延時是無法保證的，假如是一主多從就更無法保證了同步復制的延時了。
所以我們不討論嚴苛意義上的數據一致性，而是研究在我們認為可以接受的時間長度下的數據一致性問題，也就是在自身環境約束下的數據一致性。
單機系統的一致性和事務都是比較容易達到的，在分布式系統中由于所有節點的交互都要通過網絡來實現，網絡必然存在不穩定并且龐大系統中的單節點穩定性也是需要考慮的。
前面這段話，讀起來云里霧里，我想表達的意思是：不要過分把對單機系統中的數據一致性要求照搬到分布式系統中，因為兩者的約束不一樣，我們要合理分析從而讓分布式系統的一致性盡量接近單機系統。
CAP理論和PACELC理論
我們知道cap理論描述了一致性、可用性、分區容忍性的關系。
在分布式系統中，由于節點物理分布和網絡穩定性等原因，分區容忍性P是必然存在的，因此分布式系統必然要建立在分布式網絡存在分區P的前提下。
在P的基礎上我們對于C和A進行選擇，當然并不是說在任何時刻我們都必須C和A二選一，在網絡正常的情況下C和A我們也是可以都有的，并且每個系統設計目標也不一樣，需要更加實際要求來進行選擇。
分布式系統中P是必然存在的，我們在設計系統之初就要對C和A做平衡和選擇，在正常的情況下跑出正確的結果是基本要求，在異常情況下仍然可以正常運行是設計重點。
在分布式系統中，我們使用PACELC理論比CAP理論更加合適，因為PACELC理論是CAP理論的擴展，簡單來說PACELC理論的表述是這樣的：
如果分區partition §存在，分布式系統就必須在availability (A) 和consistency ?之間取得平衡作出選擇，否則else (E) 當系統運行在無分區P情況下,系統需要在 latency (L) 和 consistency ?之間取得平衡。
PACELC理論比CAP理論更適合分布式系統，它完全展現了出現網絡分區和正常情況下的取舍平衡問題，特別地引入了L時延因素，來對一致性C進行說明，也就是我們常說的強一致性和弱一致性。
強一致性不必多說，對主從數據的一致性要求很高，一般會犧牲可用性來保證，弱一致性又可以分為最終一致性/會話一致性/單調讀一致性/單調寫一致性等情況，從實用的角度來說我們重點關注弱一致性的最終一致性情況即可。
CAP&BASE&ACID的關系
CAP理論說明了分布式系統中一致性C 、可用性A、分區容錯性P之間的制約關系。
BASE理論和ACID理論可以看做是對CAP理論中三要素進行取舍后的某種情況，也是在單機系統和分布式系統中適用的情況，三者的關系如圖：
分布式系統所帶來的技術問題
那么大家這個時候可以思考一下，如果你的公司是采用這種分布式系統的方式來構建公司的一個大規模系統的，那么這個時候會涉及到哪些技術問題？
（1）分布式服務框架
你如果要讓不同的子系統或者服務之間互相通信，首先必須有一套分布式服務框架。
也就是各個服務可以互相感知到對方在哪里，可以發送請求過去，可以通過HTTP或者RPC的方式。
在這里，最常見的技術就是dubbo以及spring cloud，當然大廠一般都是自己有服務框架
（2）分布式事務
一旦你的系統拆分為了多個子系統之后，那么一個貫穿全局的分布式事務應該怎么來實現？
這個你需要了解TCC、最終一致性、2PC等分布式事務的實現方案和開源技術。
（3）分布式鎖
不同的系統之間如果需要在全局加鎖獲取某個資源的鎖定，此時應該怎么來做？
畢竟大家不是在一個JVM里了，不可能用synchronized來在多個子系統之間實現鎖吧，是不是？
（4）分布式緩存
如果你原來就是個單塊系統，那么你其實是可以在單個JVM里進行本地緩存就可以了，比如搞一個HashMap來緩存一些數據。
但是現在你有很多個子系統，他們如果要共享一個緩存，你應該怎么辦？是不是需要引入Redis等緩存系統？
（5）分布式消息系統
在單塊系統內，就一個JVM進程內部，你可以用類似LinkedList之類的數據結構作為一個本地內存里的隊列。
但是多個子系統之間要進行消息隊列的傳遞呢？那是不是要引入類似RabbitMQ之類的分布式消息中間件？
（6）分布式搜索系統
如果在單塊系統內，你可以比如在本地就基于Lucene來開發一個全文檢索模塊，但是如果是分布式系統下的很多子系統，你還能直接基于Lucene嗎？
明顯不行，你需要在系統里引入一個外部的分布式搜索系統，比如Elasticsearch。
（7）其他很多的技術
比如說分布式配置中心、分布式日志中心、分布式監控告警中心、分布式會話，等等，都是分布式系統場景下你需要使用和了解的一些技術。
因為沿用單塊系統時代的那些技術已經不行了，比如說你單塊系統的時候，直接在本地用一個properties文件存放自己的配置即可，
日志也寫到本地即可。但是分布式時代呢？
你那么多的子系統，怎么共享同一份配置？怎么把各個系統的日志聚合寫到一個地方來查看？
單塊系統的時候，你一個web應用直接基于Servlet API提供的Session會話功能即可，那么分布式時代呢，你有N多個子系統如果要共享會話該怎么做？
中間件系統及大數據系統
分布式系統本身是一個非常復雜的話題，因為剛才說的只是一個分布式業務系統要依賴哪些技術來進行構建。
但是其實比如Kafka、Rocket等中間件，本身他也是分布式的，你要搞明白他們自己是如何實現分布式的，又是一個非常復雜的話題。
此外，像hadoop、spark、hbase等大數據系統，本身也都是世界上最最復雜的分布式系統，這又涉及到大數據領域的話題了，以后有機會可以單獨聊聊。
本文小結
本文還是偏理論，在下一篇文章中會重點介紹2PC/3PC、Paoxs、Raft協議、拜占庭將軍問題等，敬請期待，感謝諸位本次的閱讀。
總結
以上是生活随笔為你收集整理的分布式系统到底是什么的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 分布式系统负载均衡策略分析与研究
- 下一篇： 分布式系统的基本特征