許多企事業(yè)單位的核心業(yè)務(wù)系統(tǒng)通常對(duì)穩(wěn)定性、性能和擴(kuò)展性有很高的要求。應(yīng)用負(fù)載均衡設(shè)備通過(guò)對(duì)服務(wù)器建立有效的健康檢查和負(fù)載均衡機(jī)制，提供一種高性價(jià)比、透明的容錯(cuò)方法擴(kuò)容網(wǎng)絡(luò)設(shè)備和服務(wù)器的帶寬、吞吐量和數(shù)據(jù)處理能力，提高網(wǎng)絡(luò)的靈活性和可用性。這些特性使得應(yīng)用負(fù)載均衡備受青睞。但同時(shí)負(fù)載均衡出的問(wèn)題也會(huì)經(jīng)常讓網(wǎng)管人員“頭痛”。這里我們分享了一個(gè)典型的由于負(fù)載均衡設(shè)備造成的業(yè)務(wù)訪問(wèn)失敗的案例。

與鏈路負(fù)載均衡設(shè)備一樣，作為流量轉(zhuǎn)發(fā)的一環(huán)，應(yīng)用負(fù)載均衡設(shè)備也可能導(dǎo)致業(yè)務(wù)訪問(wèn)失敗。

1.1?? 問(wèn)題描述

1.1.1 故障環(huán)境

客戶端通過(guò)10.189.96.171訪問(wèn)客服web，負(fù)載均衡設(shè)備-1的IP為10.189.96.169，負(fù)載均衡設(shè)備-2的IP為10.189.96.170，負(fù)載均衡設(shè)備-1和負(fù)載均衡設(shè)備-2通過(guò)自身的IP與客服web( 10.191.121.x)通訊，負(fù)載均衡設(shè)備轉(zhuǎn)發(fā)客戶端的請(qǐng)求，然后再將響應(yīng)轉(zhuǎn)發(fā)給客戶端。

1.1.2 故障現(xiàn)象

客戶端通過(guò)189.96.171訪問(wèn)Web服務(wù)器，會(huì)出現(xiàn)404 not found提示：

圖 1?2

客戶端直接訪問(wèn)客服web的IP則不會(huì)出現(xiàn)問(wèn)題，懷疑負(fù)載均衡設(shè)備轉(zhuǎn)發(fā)存在問(wèn)題，需要找到數(shù)據(jù)進(jìn)行驗(yàn)證。

1.2 ? 分析過(guò)程

1.2.1 分析思路

本故障中出404 NOT? FOUND錯(cuò)誤的原因有兩個(gè)：

一個(gè)客戶發(fā)起的請(qǐng)求不存在，

二是負(fù)載均衡設(shè)備轉(zhuǎn)發(fā)客戶端的請(qǐng)求存在問(wèn)題。

原因一的分析確認(rèn)方法：

提取404 NOT FOUND會(huì)話中的客戶端請(qǐng)求，直接訪問(wèn)可以確定客戶的請(qǐng)求是否有效，經(jīng)驗(yàn)證，出現(xiàn)404 NOT FOUND提示的請(qǐng)求直接可以訪問(wèn)，從而排除了第一個(gè)原因。

原因二的分析確認(rèn)方法：

將客戶端的請(qǐng)求與負(fù)載均衡設(shè)備轉(zhuǎn)的請(qǐng)求進(jìn)行對(duì)比分析，確定負(fù)載均衡設(shè)備的轉(zhuǎn)化是否存在問(wèn)題。這也是這次分析的重點(diǎn)。

1.2.2 前期分析準(zhǔn)備

通過(guò)客戶反饋，找出錯(cuò)誤提示的會(huì)話，提取關(guān)鍵字：

圖 1?3

經(jīng)過(guò)與用戶確認(rèn)，每個(gè)出錯(cuò)頁(yè)面的content=“WebLogic Server”；

數(shù)據(jù)流信息包括客戶端IP、sessionID等關(guān)鍵字；

提取正常訪問(wèn)數(shù)據(jù)，為對(duì)比分析做準(zhǔn)備。

客戶端與負(fù)載均衡設(shè)備正常的通訊數(shù)據(jù)：

圖 1?4

客戶端的請(qǐng)求里包括詳細(xì)的get請(qǐng)求，客戶端IP、 sna_cookie和login_cookie信息。

負(fù)載均衡設(shè)備與服務(wù)器的正常通訊分析：

圖 1?5

負(fù)載均衡設(shè)備(10.189.96.70)發(fā)起請(qǐng)求，包含的信息與客戶端發(fā)出的請(qǐng)求信息一致。

1.2.3 分析過(guò)程

由于需要完整抓取客戶端到負(fù)載均衡設(shè)備和負(fù)載均衡設(shè)備到客服web的所有數(shù)據(jù)，而且該現(xiàn)像不定期出現(xiàn)，所以鏡像負(fù)載均衡設(shè)備端口，并部署科來(lái)網(wǎng)絡(luò)回溯分析系統(tǒng)進(jìn)行數(shù)據(jù)采集，等問(wèn)題重現(xiàn)后提取數(shù)據(jù)包分析。

圖 1?6

客戶端與負(fù)載均衡設(shè)備的通訊數(shù)據(jù)分析：

客戶端(10.191.138.210)發(fā)起GET請(qǐng)求，請(qǐng)求數(shù)據(jù)1.601KB，內(nèi)容包括客戶端IP、 sna_cookie和login_cookie等信息，服務(wù)器10.189.96.171響應(yīng)404 NOT FOUND，客戶端的端口為1359。

圖 1?7

再看客戶端與負(fù)載均衡設(shè)備的數(shù)據(jù)流信息驗(yàn)證：

圖 1?8

客戶端的請(qǐng)求里包括詳細(xì)的get請(qǐng)求，客戶端IP、 sna_cookie和login_cookie信息，且服務(wù)器的錯(cuò)誤響應(yīng)包含content=“WebLogic Server”。

負(fù)載均衡設(shè)備與服務(wù)器的通訊分析

提取負(fù)載均衡設(shè)備與服務(wù)器的通訊，設(shè)置高級(jí)過(guò)濾器：(請(qǐng)求里的cookie有客戶端的IP信息，數(shù)據(jù)流包括WebLogic Server，還可以通過(guò)sessionID等)。

圖 1?9

負(fù)載均衡設(shè)備(10.189.96.70)發(fā)起請(qǐng)求，請(qǐng)求數(shù)據(jù)826B，小于客戶端的請(qǐng)求數(shù)據(jù)(未見(jiàn)get請(qǐng)求)，服務(wù)器10.191.121.32響應(yīng)404 NOT FOUND，負(fù)載均衡設(shè)備的端口為1359，與客戶端的端口一樣。

與客戶端的請(qǐng)求綜合對(duì)比分析可知，負(fù)載均衡設(shè)備與服務(wù)器端通訊的請(qǐng)求不完整，未見(jiàn)sna_cookie信息，但通過(guò)login_cookie，客戶端IP，sessionid等信息可以確定這是與客戶端請(qǐng)求負(fù)載均衡設(shè)備的同一會(huì)話，且服務(wù)器的錯(cuò)誤響應(yīng)包含content=“WebLogic Server”。

圖 1?10

1.3 ? 分析結(jié)論與建議

負(fù)載均衡設(shè)備轉(zhuǎn)發(fā)的請(qǐng)求與客戶端發(fā)出的請(qǐng)求不一致，導(dǎo)致客戶端訪問(wèn)客服web出現(xiàn)4O4 NOT FOUND提示，該問(wèn)題與客戶端和服務(wù)器無(wú)關(guān)，應(yīng)是負(fù)載均衡設(shè)備的轉(zhuǎn)發(fā)存在BUG。

1.4 ?價(jià)值

當(dāng)應(yīng)用出現(xiàn)不能訪問(wèn)時(shí)，我們通常會(huì)懷疑是某個(gè)網(wǎng)絡(luò)設(shè)備或端點(diǎn)設(shè)備的問(wèn)題，比如本案例我們懷疑是應(yīng)用負(fù)載均衡的問(wèn)題，但如果缺乏有效的手段和工具，排查問(wèn)題將會(huì)耗費(fèi)大量的時(shí)間。

通過(guò)網(wǎng)絡(luò)分析技術(shù)能夠幫助用戶進(jìn)行數(shù)據(jù)包級(jí)的精細(xì)分析，可以看出數(shù)據(jù)包在傳輸中是否存在異常，迅速定位異常節(jié)點(diǎn)，從而進(jìn)行快速排障。

總結(jié)

以上是生活随笔為你收集整理的服务器负载信息失败,网络故障分析案例：负载均衡系统造成网络业务访问失败...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。