深入浅出LVS：企业集群平台负载均衡的三种模式和算法实现
一、LVS集群常見架構圖
Load Balancer層：位于整個集群系統的最前端，由一臺或多臺負載調度器（Director Server）組成。LVS核心模板IPVS就安裝在Director Server上，而Director的主要作用類似于一個路由器，它含有為完成LVS功能所設定的路由表，通過這些路由表把用戶的請求分發給Server Array層的應用服務器（Real Server）。
?
同時，在Director Server上還要安裝對Real Server的監控模塊Ldirectord，此模塊用于監測各個Real Server服務的健康狀況。在Real Server不可用時可以把它從LVS路由表中剔除，在恢復時重新加入。
?
Server Array層：由一組實際運行應用服務的機器組成，Real Server可以是Web服務器、Mail服務器、FTP服務器、DNS服務器、視頻服務器中的一個或多個，每個Real Server之間通過高速的LAN或分布在各地的WAN相連接。在實際的應用中，Director Server也可以同時兼任Real Server的角色。
?
hared Storage層：是為所有Real Server提供共享存儲空間和內容一致性的存儲區域，一般由磁盤陣列設備組成。，為了提供內容的一致性，一般可以通過NFS網絡文件系統共享數據，但是NFS在繁忙的業務系統中，性能并不是很好，此時可以采用集群文件系統，例如Red hat的GFS文件系統，Oracle提供的OCFS2文件系統等。
?
從整個LVS結構可以看出，Director Server是整個LVS的核心，目前，用于Director Server的操作系統只有Linux和FreeBSD，Linux 2.6內核完全內置了LVS 的各個模塊，不用任何設置就可以支持LVS功能。
?
對于Real Server，幾乎所有的系統平臺，Linux、Windows、Solaris、AIX、BSD系列都能很好地支持。
?
二、負載調度算法
?
負載均衡技術有很多實現方案，有基于DNS域名輪流解析的方法、有基于客戶端調度訪問的方法、有基于應用層系統負載的調度方法，還有基于IP地址的調度方法，在這些負載調度算法中，執行效率最高的是IP負載均衡技術。
?
LVS的IP負載均衡技術是通過IPVS模塊來實現的，IPVS是LVS集群系統的核心軟件，它的主要作用是：安裝在Director Server上，同時在Director Server上虛擬出一個IP地址，用戶必須通過這個虛擬的IP地址訪問服務器。這個虛擬IP一般稱為LVS的VIP，即Virtual IP。訪問的請求首先經過VIP到達負載調度器，然后由負載調度器從Real Server列表中選取一個服務節點響應用戶的請求。
?
在用戶的請求到達負載調度器后，調度器如何將請求發送到提供服務的Real Server節點，而Real Server節點如何返回數據給用戶，是IPVS實現的重點技術。IPVS實現負載均衡的方式有三種，分別是NAT（FULL NAT）、TUN和DR，下面進行詳細介紹。
?
三、DR模式
?
下面是DR模式數據傳輸圖：
?
?
DR模式：?即Virtual Server via Direct Routing，也就是用直接路由技術實現虛擬服務器。這種方式的連接調度和管理與前兩種一樣，但它的報文轉發方法又有所不同，VS/DR通過改寫請求報文的MAC地址，將請求發送到Real Server，而Real Server將響應直接返回給客戶，免去了VS/TUN中的IP隧道開銷。這種方式是三種負載調度方式中性能最好的。
?
下面是DR模式IP包調度過程圖：
?
?
原理圖簡述：
DR模式將報文直接路由給目標真實服務器。在DR模式中，調度器根據各個真實服務器的負載情況，連接數多少等，動態地選擇一臺服務器，不修改目標IP地址和目標端口，也不封裝IP報文，而是將請求報文的數據幀的目標MAC地址改為真實服務器的MAC地址。然后再將修改的數據幀在服務器組的局域網上發送。
?
因為數據幀的MAC地址是真實服務器的MAC地址，并且又在同一個局域網。那么根據局域網的通訊原理，真實復位是一定能夠收到由LB發出的數據包。真實服務器接收到請求數據包的時候，解開IP包頭查看到的目標IP是VIP。
?
此時只有自己的IP符合目標IP才會接收進來，所以我們需要在本地的回環借口上面配置VIP。另：由于網絡接口都會進行ARP廣播響應，但集群的其他機器都有這個VIP的lo接口，都響應就會沖突。所以我們需要把真實服務器的lo接口的ARP響應關閉掉。
?
然后真實服務器做成請求響應，之后根據自己的路由信息將這個響應數據包發送回給客戶，并且源IP地址還是VIP。
?
DR模式小結：
通過在調度器LB上修改數據包的目的MAC地址實現轉發。注意源地址仍然是CIP，目的地址仍然是VIP地址。
請求的報文經過調度器，而RS響應處理后的報文無需經過調度器LB，因此并發訪問量大時使用效率很高（和NAT模式比）
因為DR模式是通過MAC地址改寫機制實現轉發，因此所有RS節點和調度器LB只能在一個局域網里面
RS主機需要綁定VIP地址在LO接口上，并且需要配置ARP抑制。
RS節點的默認網關不需要配置成LB，而是直接配置為上級路由的網關，能讓RS直接出網就可以。
由于DR模式的調度器僅做MAC地址的改寫，所以調度器LB就不能改寫目標端口，那么RS服務器就得使用和VIP相同的端口提供服務。
?
四、NAT/FULL NAT模式
?
?
NAT模式：?即Virtual Server via Network Address Translation，也就是網絡地址翻譯技術實現虛擬服務器。當用戶請求到達調度器時，調度器將請求報文的目標地址（即虛擬IP地址）改寫成選定的Real Server地址，同時將報文的目標端口也改成選定的Real Server的相應端口，最后將報文請求發送到選定的Real Server。
?
在服務器端得到數據后，Real Server將數據返回給用戶時，需要再次經過負載調度器將報文的源地址和源端口改成虛擬IP地址和相應端口，然后把數據發送給用戶，完成整個負載調度過程。
?
下面是NAT模式IP包調度過程圖：
?
?
原理圖簡述：
客戶端請求數據，目標IP為VIP
請求數據到達LB服務器，LB根據調度算法將目的地址修改為RIP地址及對應端口（此RIP地址是根據調度算法得出的。）并在連接HASH表中記錄下這個連接。
數據包從LB服務器到達RS服務器webserver，然后webserver進行響應。Webserver的網關必須是LB，然后將數據返回給LB服務器。
收到RS的返回后的數據，根據連接HASH表修改源地址為VIP、目標地址為CIP，及對應端口80.然后數據就從LB出發到達客戶端。
客戶端收到的就只能看到VIP\DIP信息。
?
NAT模式優缺點：
NAT技術將請求的報文和響應的報文都需要通過LB進行地址改寫，因此網站訪問量比較大的時候LB負載均衡調度器有比較大的瓶頸，一般要求最多之能10-20臺節點
只需要在LB上配置一個公網IP地址就可以了。
每臺內部的realserver服務器的網關地址必須是調度器LB的內網地址。
NAT模式支持對IP地址和端口進行轉換。即用戶請求的端口和真實服務器的端口可以不一致。
?
FULL NAT?模式
?
FULL NATT的基本原理：FULL NAT ?在client請求VIP 時，不僅替換了package 的dst ip，還替換了package的 src ip；但VIP 返回給client時也替換了src ip。
?
?
首先client 發送請求package給VIP； ?
VIP 收到package后，會根據LVS設置的LB算法選擇一個合適的realserver，然后把package 的DST IP 修改為realserver IP；把sorce ip 改成 lvs 集群的LB IP?
realserver 收到這個package后判斷dst ip 是自己，就處理這個package ，處理完后把這個包發送給LVS LB IP。
LVS?收到這個package 后把sorce ip改成VIP的IP，dst ip改成 client ip然后發送給client
?
FULL NAT?模式的注意事項：
-
FULL NAT 模式也不需要 LBIP 和realserver ip 在同一個網段；
-
full nat 跟nat 相比的優點是：保證RS回包一定能夠回到LVS；因為源地址就是LVS--> 不確定
-
full nat ?因為要更新sorce ip 所以性能正常比nat 模式下降 10%
?
五、IP TUNNEL模式
?
?
TUN?：即Virtual Server via IP Tunneling 也就是通過IP隧道技術實現虛擬服務器。在VS/TUN方式中，調度器采用IP隧道技術將用戶請求轉發到某個Real Server，而這個Real Server將直接響應用戶的請求，不再經過前端調度器。此外，對Real Server的地域位置沒有要求，可以和Director Server位于同一個網段，也可以在獨立的一個網絡中。因此，在TUN方式中，調度器將只處理用戶的報文請求，從而使集群系統的吞吐量大大提高。
?
TUN的工作流程圖如下所示：
?
?
它和NAT模式不同的是，它在LB和RS之間的傳輸不用改寫IP地址。而是把客戶請求包封裝在一個IP tunnel里面，然后發送給RS節點服務器，節點服務器接收到之后解開IP tunnel后，進行響應處理。并且直接把包通過自己的外網地址發送給客戶不用經過LB服務器。
?
原理圖過程簡述：
客戶請求數據包，目標地址VIP發送到LB上。
LB接收到客戶請求包，進行IP Tunnel封裝。即在原有的包頭加上IP Tunnel的包頭。然后會根據LVS設置的LB算法選擇一個合適的realserver；并把client發送的package 包裝到一個新的IP包里面；新的IP包的dst是realserver的IP。
RS節點服務器根據IP Tunnel包頭信息收到請求包，realserver 收到這個package后判斷dst ip 是自己，然后解析出來的package的dst是VIP；會檢測我們的網卡上是否綁定了VIP的ip地址；如果綁定了就會處理這個包，如果沒有直接丟掉。 我們一般在realserver上面 lo:0 綁定了VIP的ip地址，就可以處理得到客戶的請求包并進行響應處理。
響應處理完畢之后，RS服務器使用自己的公網線路將這個響應數據包發送給客戶端。源IP地址是VIP地址。
?
IP TUNNEL?模式的注意事項：
-
TUNNEL 模式必須在所有的realserver 機器上面綁定VIP的IP地址
-
TUNNEL 模式的vip ------>realserver 的包通信通過TUNNEL 模式，不管是內網和外網都能通信，所以不需要lvs vip跟realserver 在同一個網段內
-
TUNNEL 模式 realserver會把packet 直接發給client 不會給lvs了
-
TUNNEL?模式走的隧道模式，所以運維起來比較難，所以一般不用。
?
六、LVS負載調度算法
?
Lvs的調度算法決定了如何在集群節點之間分布工作負荷。當director調度器收到來自客戶端訪問VIP的上的集群服務的入站請求時，director調度器必須決定哪個集群節點應該處理請求。Director調度器用的調度方法基本分為兩類：
?
-
固定調度算法：rr，wrr，dh，sh
-
動態調度算法：wlc，lc，lblc，lblcr
?
?
LVS調度算法的生產環境選型：
1.一般的網絡服務，如www，mail，mysql等常用的LVS調度算法為：
基本輪詢調度rr
加權最小連接調度wlc
加權輪詢調度wrc
?
2.基于局部性的最小連接lblc和帶復制的給予局部性最小連接lblcr主要適用于web cache和DB cache
?
3.源地址散列調度SH和目標地址散列調度DH可以結合使用在防火墻集群中，可以保證整個系統的出入口唯一。實際適用中這些算法的適用范圍很多，工作中最好參考內核中的連接調度算法的實現原理，然后根據具體的業務需求合理的選型。
?
經作者同意授權轉載
作者：高俊峰
博客：愛維Linux
本文來自云棲社區合作伙伴"DBAplus"，原文發布時間：2016-06-01
總結
以上是生活随笔為你收集整理的深入浅出LVS：企业集群平台负载均衡的三种模式和算法实现的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 《Adobe Illustrator C
- 下一篇： 《Python数据挖掘：概念、方法与实践