在這篇文章中，我們將詳細(xì)探討導(dǎo)致故障的可能原因以及解決方案，以便更好地理解故障排查的復(fù)雜性和艱巨性，尤其是當(dāng)出現(xiàn)與本次故障表現(xiàn)相似的問(wèn)題時(shí)。

故障的表現(xiàn)

首先，讓我們回顧一下故障的表現(xiàn)。在客戶(hù)端調(diào)用接口時(shí)，發(fā)現(xiàn)一直在轉(zhuǎn)圈等待，而服務(wù)器端卻收到了請(qǐng)求并在返回結(jié)果給客戶(hù)端時(shí)報(bào)了一些錯(cuò)誤，包括java.io.IOException: Broken pipe錯(cuò)誤和Connection reset by peer錯(cuò)誤。盡管整個(gè)查詢(xún)鏈路所需時(shí)間并不長(zhǎng)，大約在2秒左右，但通過(guò)使用grafana監(jiān)控工具，我們發(fā)現(xiàn)Nginx的連接數(shù)超過(guò)了平時(shí)的6倍以上。盡管我們已經(jīng)仔細(xì)檢查了各個(gè)方面的原因，但仍未找到根本問(wèn)題所在。但是，我們最終注意到重啟服務(wù)可以解決問(wèn)題，因此我們將目標(biāo)問(wèn)題的范圍鎖定在服務(wù)器端。

pinpoint錯(cuò)誤請(qǐng)求數(shù)及其分布

Nginx當(dāng)時(shí)的連接數(shù)：當(dāng)時(shí)是個(gè)很正常日子，并沒(méi)什么活動(dòng)

問(wèn)題排查

然而，為什么會(huì)出現(xiàn)這樣的問(wèn)題呢？主要原因在于監(jiān)控手段不足，甚至無(wú)法生成基本的Java dump文件。在排查過(guò)程中，我們只能看到現(xiàn)象而無(wú)法找到具體原因。通過(guò)pinpoint平臺(tái)（類(lèi)似于skywalking），我們發(fā)現(xiàn)了三種基本錯(cuò)誤。第一種是之前提到的java.io.IOException: Broken pipe，第二種是Connection reset by peer，第三種是服務(wù)器訪問(wèn)第三方服務(wù)器時(shí)出現(xiàn)的connection timeout或refuse connection錯(cuò)誤。雖然之前也發(fā)生過(guò)類(lèi)似的問(wèn)題，但都是偶爾出現(xiàn)，并沒(méi)有像這次一樣數(shù)量如此之多，占用了訪問(wèn)量的1/10。因此，在出現(xiàn)問(wèn)題時(shí)，我們沒(méi)有立即重啟，而是進(jìn)行了仔細(xì)排查。然而，最終我們以失敗告終，只能依靠重啟來(lái)解決問(wèn)題。如果你有任何想法，請(qǐng)?jiān)谙路皆u(píng)論區(qū)留言。

首先，我們排除了一些問(wèn)題，如數(shù)據(jù)庫(kù)查詢(xún)、中間鏈路的轉(zhuǎn)發(fā)、第三方服務(wù)器的調(diào)用等，均未發(fā)現(xiàn)問(wèn)題。盡管我們確實(shí)可以確定問(wèn)題出在服務(wù)器節(jié)點(diǎn)上，但具體原因仍然是個(gè)謎。

在繼續(xù)探索之前，讓我們先了解一下故障排查的一般步驟。首先，我們需要收集足夠的信息來(lái)了解故障的具體表現(xiàn)。這包括錯(cuò)誤日志、監(jiān)控指標(biāo)、性能數(shù)據(jù)等。在本次故障中，我們已經(jīng)通過(guò)監(jiān)控工具獲取了一些有用的信息。接下來(lái)，我們需要分析這些信息，并進(jìn)行合理的假設(shè)和推斷。我們還可以嘗試在類(lèi)似的環(huán)境中重現(xiàn)故障，以進(jìn)一步觀察和分析。當(dāng)我們找到可能的原因時(shí)，可以進(jìn)行一系列的測(cè)試和驗(yàn)證，以確定是否解決了問(wèn)題。最后，我們需要記錄和總結(jié)我們的調(diào)查過(guò)程，以便于日后的參考和經(jīng)驗(yàn)積累。

在本次故障排查中，我們遇到了一些挑戰(zhàn)。首先是監(jiān)控手段不足的問(wèn)題，由于JDK版本的問(wèn)題導(dǎo)致無(wú)法生成Java dump文件。這使得我們無(wú)法深入了解故障的具體原因。因此，我們建議在類(lèi)似的情況下，提前準(zhǔn)備好足夠的監(jiān)控工具和技術(shù)手段，以便更好地進(jìn)行故障排查。

另一個(gè)挑戰(zhàn)是故障的復(fù)現(xiàn)。由于問(wèn)題并非每次都發(fā)生，我們無(wú)法簡(jiǎn)單地通過(guò)重現(xiàn)來(lái)解決。在這種情況下，我們嘗試了在生產(chǎn)環(huán)境協(xié)調(diào)客戶(hù)獲取賬號(hào)，并確實(shí)復(fù)現(xiàn)了問(wèn)題所在，最終確定了是某一個(gè)節(jié)點(diǎn)連接數(shù)飆高導(dǎo)致無(wú)法處理請(qǐng)求導(dǎo)致的，但是為什么會(huì)某一個(gè)節(jié)點(diǎn)單獨(dú)飆高就不得而知。

最后，我們需要注意故障排查的方法和技巧。在排查過(guò)程中，我們應(yīng)該保持冷靜和耐心，避免盲目猜測(cè)和隨意嘗試。我們應(yīng)該以科學(xué)的態(tài)度，根據(jù)收集的信息進(jìn)行分析和推理，不斷迭代和驗(yàn)證。同時(shí)，我們還應(yīng)該注重團(tuán)隊(duì)合作和知識(shí)共享，通過(guò)不同的視角和經(jīng)驗(yàn)來(lái)解決問(wèn)題。

總結(jié)

總之，本次故障排查雖然以失敗告終，但我們從中學(xué)到了很多經(jīng)驗(yàn)和教訓(xùn)。故障排查是一項(xiàng)復(fù)雜而重要的任務(wù)，需要我們具備專(zhuān)業(yè)知識(shí)和技術(shù)手段。同時(shí)，我們還需要保持冷靜和耐心，以科學(xué)的態(tài)度進(jìn)行分析和推理。只有這樣，我們才能更好地解決問(wèn)題，并為日后的故障排查積累寶貴的經(jīng)驗(yàn)。

總結(jié)

以上是生活随笔為你收集整理的网络之谜：记一次失败排查的故事的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。