在搭建Kubernetes集群過程中，安裝了kube-dns插件后，運行一個ubuntu容器，發現容器內無法解析集群外域名，一開始可以解析集群內域名，一段時間后也無法解析集群內域名。

$ nslookup kubernetes.default Server: 10.99.0.2 Address 1: 10.99.0.2 kube-dns.kube-system.svc.cluster.local

nslookup: can't resolve 'kubernetes.default' 排查過程 在排查問題前，先思考一下Kubernetes集群中的DNS解析過程，在安裝好kube-dns的集群中，普通Pod的dnsPolicy屬性是默認值ClusterFirst，也就是會指向集群內部的DNS服務器，kube-dns負責解析集群內部的域名，kube-dns Pod的dnsPolicy值是Default，意思是從所在Node繼承DNS服務器，對于無法解析的外部域名，kube-dns會繼續向集群外部的dns進行查詢，過程如圖。

Ubuntu容器是一個普通的Pod，在Linux系統中，/etc/resolv.conf是存儲DNS服務器的文件，普通Pod的/etc/resolv.conf文件應該存儲的是kube-dns的Service IP。

nameserver 10.99.0.2 # 這里存儲的是kube-dns的Service IP search default.svc.cluster.local. svc.cluster.local. cluster.local. options ndots:5 查看后發現/etc/resolv.conf文件中存儲的是kube-dns的Service IP，證明這一步沒有問題，接下來查看一下kube-dns的Pod，先進入kube-dns的Pod中檢查一下/etc/resolv.conf文件，這里存儲的應該是集群外部的DNS服務器地址，查看后發現，這里存儲的地址是127.0.0.53，進一步查看kube-dns Pod的log，發現出現了非常多的i/o timeout錯誤。

2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:38019->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:57567->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:52599->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:42539->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:46885->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:44189->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:56505->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:47320->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:42464->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:49203->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:58103->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:47148->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:36883->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:40968->127.0.0.53:53: i/o timeout 2018/07/11 07:12:47 [ERROR] 2 www.baidu.com. A: unreachable backend: read udp 127.0.0.1:55672->127.0.0.53:53: i/o timeout 現在基本上可以發現問題的原因了，kube-dns只能解析集群內部地址，而集群外部地址應該發給外部DNS服務器進行解析，由于kube-dns Pod中的/etc/resolv.conf文件存儲的DNS服務器地址是127.0.0.53，127...*都是回環地址，也就是集群外域名的DNS解析請求會再次發送回kube-dns，導致形成一個循環，這也是一秒鐘會出現幾十次i/o timeout日志的原因，請求會不斷的在kube-dns中循環，kube-dns就像一個黑洞一樣，吃掉了所有dns解析請求，不斷累積的請求最終會導致整個集群的網絡出現卡頓。

為什么 雖然問題的原因找到了，但是為什么kube-dns Pod中/etc/resolv.conf文件存儲的DNS服務器是127.0.0.53？

kube-dns Pod的dnsPolicy值是Default，查看一下Kubernetes文檔。

"Default": The Pod inherits the name resolution configuration from the node that the pods run on. See related discussion for more details.

所以kube-dns的/etc/resolv.conf文件是從Node中繼承來的，查看Node中的/etc/resolv.conf文件，存儲的DNS服務器地址確實是127.0.0.53，那么下一個問題出現了，在Node中發送DNS解析請求為什么不會產生回環的問題呢？

Node使用的是Ubuntu 18.04 Server，在這個版本的系統中，DNS解析請求并不是直接發給所在網絡的DNS服務器的，Ubuntu 18.04中有一個systemd-resolved服務，為本地應用程序提供了DNS解析服務，例如nslookup localhost，解析程序從/etc/resolv.conf文件中找到DNS服務器127.0.0.53，發送解析請求，systemd-resolved會監聽在53端口上，捕獲到解析請求后，如果是自己可以解析的，例如localhost，會直接返回127.0.0.1，如果不能解析，才會發送給外部服務器，而外部服務器的地址存儲在/run/systemd/resolve/resolv.conf文件中，這個文件是systemd-resolved服務器的配置文件，過程如圖。

怎么破 理解了問題的來龍去脈，解決問題的辦法也就應運而生。在Kubernetes集群中，kubelet是worker組建，負責管理Pod，根據kubernetes文檔，kubelet默認會從Node的/etc/resolv.conf文件讀取DNS服務器地址，使得dnsPolicy是Default的Pod得以繼承，kubelet中的--resolv-conf參數可以指定這個配置文件的地址。在Ubuntu 18.04中，將這個參數設置為systemd-resolved的DNS服務器配置文件/run/systemd/resolve/resolv.conf，Pod就會繼承真正的外部DNS服務器。

root@k8s-16.04:~# ll /etc/resolv.conf lrwxrwxrwx 1 root root 35 11月 23 19:17 /etc/resolv.conf -> /var/run/NetworkManager/r

總結

以上是生活随笔為你收集整理的linux中var的作用,linux中var是什么意思的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。