作者 | 阿里巴巴技術(shù)專家? 溪恒

一、需求來源

為什么需要服務(wù)發(fā)現(xiàn)

在 K8s 集群里面會(huì)通過 pod 去部署應(yīng)用，與傳統(tǒng)的應(yīng)用部署不同，傳統(tǒng)應(yīng)用部署在給定的機(jī)器上面去部署，我們知道怎么去調(diào)用別的機(jī)器的 IP 地址。但是在 K8s 集群里面應(yīng)用是通過 pod 去部署的， 而 pod 生命周期是短暫的。在 pod 的生命周期過程中，比如它創(chuàng)建或銷毀，它的 IP 地址都會(huì)發(fā)生變化，這樣就不能使用傳統(tǒng)的部署方式，不能指定 IP 去訪問指定的應(yīng)用。

另外在 K8s 的應(yīng)用部署里，之前雖然學(xué)習(xí)了 deployment 的應(yīng)用部署模式，但還是需要?jiǎng)?chuàng)建一個(gè) pod 組，然后這些 pod 組需要提供一個(gè)統(tǒng)一的訪問入口，以及怎么去控制流量負(fù)載均衡到這個(gè)組里面。比如說測(cè)試環(huán)境、預(yù)發(fā)環(huán)境和線上環(huán)境，其實(shí)在部署的過程中需要保持同樣的一個(gè)部署模板以及訪問方式。因?yàn)檫@樣就可以用同一套應(yīng)用的模板在不同的環(huán)境中直接發(fā)布。

Service：Kubernetes 中的服務(wù)發(fā)現(xiàn)與負(fù)載均衡

最后應(yīng)用服務(wù)需要暴露到外部去訪問，需要提供給外部的用戶去調(diào)用的。我們上節(jié)了解到 pod 的網(wǎng)絡(luò)跟機(jī)器不是同一個(gè)段的網(wǎng)絡(luò)，那怎么讓 pod 網(wǎng)絡(luò)暴露到去給外部訪問呢？這時(shí)就需要服務(wù)發(fā)現(xiàn)。

在 K8s 里面，服務(wù)發(fā)現(xiàn)與負(fù)載均衡就是 K8s Service。上圖就是在 K8s 里 Service 的架構(gòu)，K8s Service 向上提供了外部網(wǎng)絡(luò)以及 pod 網(wǎng)絡(luò)的訪問，即外部網(wǎng)絡(luò)可以通過 service 去訪問，pod 網(wǎng)絡(luò)也可以通過 K8s Service 去訪問。

向下，K8s 對(duì)接了另外一組 pod，即可以通過 K8s Service 的方式去負(fù)載均衡到一組 pod 上面去，這樣相當(dāng)于解決了前面所說的復(fù)發(fā)性問題，或者提供了統(tǒng)一的訪問入口去做服務(wù)發(fā)現(xiàn)，然后又可以給外部網(wǎng)絡(luò)訪問，解決不同的 pod 之間的訪問，提供統(tǒng)一的訪問地址。

二、用例解讀

下面進(jìn)行實(shí)際的一個(gè)用例解讀，看 pod K8s 的 service 要怎么去聲明、怎么去使用？

Service 語(yǔ)法

首先來看 K8s Service 的一個(gè)語(yǔ)法，上圖實(shí)際就是 K8s 的一個(gè)聲明結(jié)構(gòu)。這個(gè)結(jié)構(gòu)里有很多語(yǔ)法，跟之前所介紹的 K8s 的一些標(biāo)準(zhǔn)對(duì)象有很多相似之處。比如說標(biāo)簽 label 去做一些選擇、selector 去做一些選擇、label 去聲明它的一些 label 標(biāo)簽等。

這里有一個(gè)新的知識(shí)點(diǎn)，就是定義了用于 K8s Service 服務(wù)發(fā)現(xiàn)的一個(gè)協(xié)議以及端口。繼續(xù)來看這個(gè)模板，聲明了一個(gè)名叫 my-service 的一個(gè) K8s Service，它有一個(gè) app:my-service 的 label，它選擇了 app:MyApp 這樣一個(gè) label 的 pod 作為它的后端。

最后是定義的服務(wù)發(fā)現(xiàn)的協(xié)議以及端口，這個(gè)示例中我們定義的是 TCP 協(xié)議，端口是 80，目的端口是 9376，效果是訪問到這個(gè) service 80 端口會(huì)被路由到后端的 targetPort，就是只要訪問到這個(gè) service 80 端口的都會(huì)負(fù)載均衡到后端 app：MyApp 這種 label 的 pod 的 9376 端口。

創(chuàng)建和查看 Service

如何去創(chuàng)建剛才聲明的這個(gè) service 對(duì)象，以及它創(chuàng)建之后是什么樣的效果呢？通過簡(jiǎn)單的命令：

• kubectl apply -f service.yaml

或者是

• kubectl created -f service.yaml

上面的命令可以簡(jiǎn)單地去創(chuàng)建這樣一個(gè) service。創(chuàng)建好之后，可以通過：

• kubectl discribe service

去查看 service 創(chuàng)建之后的一個(gè)結(jié)果。

service 創(chuàng)建好之后，你可以看到它的名字是 my-service。Namespace、Label、Selector 這些都跟我們之前聲明的一樣，這里聲明完之后會(huì)生成一個(gè) IP 地址，這個(gè) IP 地址就是 service 的 IP 地址，這個(gè) IP 地址在集群里面可以被其它 pod 所訪問，相當(dāng)于通過這個(gè) IP 地址提供了統(tǒng)一的一個(gè) pod 的訪問入口，以及服務(wù)發(fā)現(xiàn)。

這里還有一個(gè) Endpoints 的屬性，就是我們通過 Endpoints 可以看到：通過前面所聲明的 selector 去選擇了哪些 pod？以及這些 pod 都是什么樣一個(gè)狀態(tài)？比如說通過 selector，我們看到它選擇了這些 pod 的一個(gè) IP，以及這些 pod 所聲明的 targetPort 的一個(gè)端口。

實(shí)際的架構(gòu)如上圖所示。在 service 創(chuàng)建之后，它會(huì)在集群里面創(chuàng)建一個(gè)虛擬的 IP 地址以及端口，在集群里，所有的 pod 和 node 都可以通過這樣一個(gè) IP 地址和端口去訪問到這個(gè) service。這個(gè) service 會(huì)把它選擇的 pod 及其 IP 地址都掛載到后端。這樣通過 service 的 IP 地址訪問時(shí)，就可以負(fù)載均衡到后端這些 pod 上面去。

當(dāng) pod 的生命周期有變化時(shí)，比如說其中一個(gè) pod 銷毀，service 就會(huì)自動(dòng)從后端摘除這個(gè) pod。這樣實(shí)現(xiàn)了：就算 pod 的生命周期有變化，它訪問的端點(diǎn)是不會(huì)發(fā)生變化的。

集群內(nèi)訪問 Service

在集群里面，其他 pod 要怎么訪問到我們所創(chuàng)建的這個(gè) service 呢？有三種方式：

• 首先我們可以通過 service 的虛擬 IP 去訪問，比如說剛創(chuàng)建的 my-service 這個(gè)服務(wù)，通過 kubectl get svc 或者 kubectl discribe service 都可以看到它的虛擬 IP 地址是 172.29.3.27，端口是 80，然后就可以通過這個(gè)虛擬 IP 及端口在 pod 里面直接訪問到這個(gè) service 的地址。
• 第二種方式直接訪問服務(wù)名，依靠 DNS 解析，就是同一個(gè) namespace 里 pod 可以直接通過 service 的名字去訪問到剛才所聲明的這個(gè) service。不同的 namespace 里面，我們可以通過 service 名字加“.”，然后加 service 所在的哪個(gè) namespace 去訪問這個(gè) service，例如我們直接用 curl 去訪問，就是 my-service:80 就可以訪問到這個(gè) service。
• 第三種是通過環(huán)境變量訪問，在同一個(gè) namespace 里的 pod 啟動(dòng)時(shí)，K8s 會(huì)把 service 的一些 IP 地址、端口，以及一些簡(jiǎn)單的配置，通過環(huán)境變量的方式放到 K8s 的 pod 里面。在 K8s pod 的容器啟動(dòng)之后，通過讀取系統(tǒng)的環(huán)境變量比讀取到 namespace 里面其他 service 配置的一個(gè)地址，或者是它的端口號(hào)等等。比如在集群的某一個(gè) pod 里面，可以直接通過 curl $?取到一個(gè)環(huán)境變量的值，比如取到 MYSERVICESERVICEHOST 就是它的一個(gè) IP 地址，MYSERVICE 就是剛才我們聲明的 MYSERVICE，SERVICEPORT 就是它的端口號(hào)，這樣也可以請(qǐng)求到集群里面的 MY_SERVICE 這個(gè) service。

Headless Service

service 有一個(gè)特別的形態(tài)就是 Headless Service。service 創(chuàng)建的時(shí)候可以指定 clusterIP:None，告訴 K8s 說我不需要 clusterIP（就是剛才所說的集群里面的一個(gè)虛擬 IP），然后 K8s 就不會(huì)分配給這個(gè) service 一個(gè)虛擬 IP 地址，它沒有虛擬 IP 地址怎么做到負(fù)載均衡以及統(tǒng)一的訪問入口呢？

它是這樣來操作的：pod 可以直接通過 service_name 用 DNS 的方式解析到所有后端 pod 的 IP 地址，通過 DNS 的 A 記錄的方式會(huì)解析到所有后端的 Pod 的地址，由客戶端選擇一個(gè)后端的 IP 地址，這個(gè) A 記錄會(huì)隨著 pod 的生命周期變化，返回的 A 記錄列表也發(fā)生變化，這樣就要求客戶端應(yīng)用要從 A 記錄把所有 DNS 返回到 A 記錄的列表里面 IP 地址中，客戶端自己去選擇一個(gè)合適的地址去訪問 pod。

可以從上圖看一下跟剛才我們聲明的模板的區(qū)別，就是在中間加了一個(gè) clusterIP:None，即表明不需要虛擬 IP。實(shí)際效果就是集群的 pod 訪問 my-service 時(shí)，會(huì)直接解析到所有的 service 對(duì)應(yīng) pod 的 IP 地址，返回給 pod，然后 pod 里面自己去選擇一個(gè) IP 地址去直接訪問。

向集群外暴露 Service

前面介紹的都是在集群里面 node 或者 pod 去訪問 service，service 怎么去向外暴露呢？怎么把應(yīng)用實(shí)際暴露給公網(wǎng)去訪問呢？這里 service 也有兩種類型去解決這個(gè)問題，一個(gè)是 NodePort，一個(gè)是 LoadBalancer。

• NodePort 的方式就是在集群的 node 上面（即集群的節(jié)點(diǎn)的宿主機(jī)上面）去暴露節(jié)點(diǎn)上的一個(gè)端口，這樣相當(dāng)于在節(jié)點(diǎn)的一個(gè)端口上面訪問到之后就會(huì)再去做一層轉(zhuǎn)發(fā)，轉(zhuǎn)發(fā)到虛擬的 IP 地址上面，就是剛剛宿主機(jī)上面 service 虛擬 IP 地址。
• LoadBalancer 類型就是在 NodePort 上面又做了一層轉(zhuǎn)換，剛才所說的 NodePort 其實(shí)是集群里面每個(gè)節(jié)點(diǎn)上面一個(gè)端口，LoadBalancer 是在所有的節(jié)點(diǎn)前又掛一個(gè)負(fù)載均衡。比如在阿里云上掛一個(gè) SLB，這個(gè)負(fù)載均衡會(huì)提供一個(gè)統(tǒng)一的入口，并把所有它接觸到的流量負(fù)載均衡到每一個(gè)集群節(jié)點(diǎn)的 node pod 上面去。然后 node pod 再轉(zhuǎn)化成 ClusterIP，去訪問到實(shí)際的 pod 上面。

三、操作演示

下面進(jìn)行實(shí)際操作演示，在阿里云的容器服務(wù)上面進(jìn)去體驗(yàn)一下如何使用 K8s Service。

創(chuàng)建 Service

我們已經(jīng)創(chuàng)建好了一個(gè)阿里云的容器集群，然后并且配置好本地終端到阿里云容器集群的一個(gè)連接。

首先可以通過 kubectl get cs ，可以看到我們已經(jīng)正常連接到了阿里云容器服務(wù)的集群上面去。

今天將通過這些模板實(shí)際去體驗(yàn)阿里云服務(wù)上面去使用 K8s Service。有三個(gè)模板，首先是 client，就是用來模擬通過 service 去訪問 K8s 的 service，然后負(fù)載均衡到我們的 service 里面去聲明的一組 pod 上。

K8s Service 的上面，跟剛才介紹一樣，我們創(chuàng)建了一個(gè) K8s Service 模板，里面 pod，K8s Service 會(huì)通過前端指定的 80 端口負(fù)載均衡到后端 pod 的 80 端口上面，然后 selector 選擇到 run:nginx 這樣標(biāo)簽的一些 pod 去作為它的后端。

然后去創(chuàng)建帶有這樣標(biāo)簽的一組 pod，通過什么去創(chuàng)建 pod 呢？就是之前所介紹的 K8s deployment，通過 deployment 我們可以輕松創(chuàng)建出一組 pod，然后上面聲明 run:nginx 這樣一個(gè)label，并且它有兩個(gè)副本，會(huì)同時(shí)跑出來兩個(gè) pod。

先創(chuàng)建一組 pod，就是創(chuàng)建這個(gè) K8s deployment，通過 kubectl create -f service.yaml。這個(gè) deployment 也創(chuàng)建好了，再看一下 pod 有沒有創(chuàng)建出來。如下圖看到這個(gè) deployment 所創(chuàng)建的兩個(gè) pod 都已經(jīng)在 running 了。通過 kubectl get pod -o wide 可以看到 IP 地址。通過 -l，即 label 去做篩選，run=nginx。如下圖所示可以看到，這兩個(gè) pod 分別是 10.0.0.135 和 10.0.0.12 這樣一個(gè) IP 地址，并且都是帶 run=nginx 這個(gè) label 的。

下面我們?nèi)?chuàng)建 K8s service，就是剛才介紹的通過 service 去選擇這兩個(gè) pod。這個(gè) service 已經(jīng)創(chuàng)建好了。

根據(jù)剛才介紹，通過 kubectl describe svc 可以看到這個(gè) service 實(shí)際的一個(gè)狀態(tài)。如下圖所示，剛才創(chuàng)建的 nginx service，它的選擇器是 run=nginx，通過 run=nginx 這個(gè)選擇器選擇到后端的 pod 地址，就是剛才所看到那兩個(gè) pod 的地址：10.0.0.12 和 10.0.0.135。這里可以看到 K8s 為它生成了集群里面一個(gè)虛擬 IP 地址，通過這個(gè)虛擬 IP 地址，它就可以負(fù)載均衡到后面的兩個(gè) pod 上面去。

現(xiàn)在去創(chuàng)建一個(gè)客戶端的 pod 實(shí)際去感受一下如何去訪問這個(gè) K8s Service，我們通過 client.yaml 去創(chuàng)建客戶端的 pod，kubectl get pod 可以看到客戶端 pod 已經(jīng)創(chuàng)建好并且已經(jīng)在運(yùn)行中了。

通過 kubectl exec 到這個(gè) pod 里面，進(jìn)入這個(gè) pod 去感受一下剛才所說的三種訪問方式，首先可以直接去訪問這個(gè) K8s 為它生成的這個(gè) ClusterIP，就是虛擬 IP 地址，通過 curl 訪問這個(gè) IP 地址，這個(gè) pod 里面沒有裝 curl。通過 wget 這個(gè) IP 地址，輸入進(jìn)去測(cè)試一下。可以看到通過這個(gè)去訪問到實(shí)際的 IP 地址是可以訪問到后端的 nginx 上面的，這個(gè)虛擬是一個(gè)統(tǒng)一的入口。

第二種方式，可以通過直接 service 名字的方式去訪問到這個(gè) service。同樣通過 wget，訪問我們剛才所創(chuàng)建的 service 名 nginx，可以發(fā)現(xiàn)跟剛才看到的結(jié)果是一樣的。

在不同的 namespace 時(shí)，也可以通過加上 namespace 的一個(gè)名字去訪問到 service，比如這里的 namespace 為 default。

最后我們介紹的訪問方式里面還可以通過環(huán)境變量去訪問，在這個(gè) pod 里面直接通過執(zhí)行 env 命令看一下它實(shí)際注入的環(huán)境變量的情況。看一下 nginx 的 service 的各種配置已經(jīng)注冊(cè)進(jìn)來了。

可以通過 wget 同樣去訪問這樣一個(gè)環(huán)境變量，然后可以訪問到我們的一個(gè) service。

介紹完這三種訪問方式，再看一下如何通過 service 外部的網(wǎng)絡(luò)去訪問。我們 vim 直接修改一些剛才所創(chuàng)建的 service。

最后我們添加一個(gè) type，就是 LoadBalancer，就是我們前面所介紹的外部訪問的方式。

然后通過 kubectl apply，這樣就把剛剛修改的內(nèi)容直接生效在所創(chuàng)建的 service 里面。

現(xiàn)在看一下 service 會(huì)有哪些變化呢？通過 kubectl get svc -o wide，我們發(fā)現(xiàn)剛剛創(chuàng)建的 nginx service 多了一個(gè) EXTERNAL-IP，就是外部訪問的一個(gè) IP 地址，剛才我們所訪問的都是 CLUSTER-IP，就是在集群里面的一個(gè)虛擬 IP 地址。

然后現(xiàn)在實(shí)際去訪問一下這個(gè)外部 IP 地址 39.98.21.187，感受一下如何通過 service 去暴露我們的應(yīng)用服務(wù)，直接在終端里面點(diǎn)一下，這里可以看到我們直接通過這個(gè)應(yīng)用的外部訪問端點(diǎn)，可以訪問到這個(gè) service，是不是很簡(jiǎn)單？

我們最后再看一下用 service 去實(shí)現(xiàn)了 K8s 的服務(wù)發(fā)現(xiàn)，就是 service 的訪問地址跟 pod 的生命周期沒有關(guān)系。我們先看一下現(xiàn)在的 service 后面選擇的是這兩個(gè) pod IP 地址。

我們現(xiàn)在把其中的一個(gè) pod 刪掉，通過 kubectl delete 的方式把前面一個(gè) pod 刪掉。

我們知道 deployment 會(huì)讓它自動(dòng)生成一個(gè)新的 pod，現(xiàn)在看 IP 地址已經(jīng)變成 137。

現(xiàn)在再去 describe 一下剛才的 service，如下圖,看到前面訪問端點(diǎn)就是集群的 IP 地址沒有發(fā)生變化，對(duì)外的 LoadBalancer 的 IP 地址也沒有發(fā)生變化。在所有不影響客戶端的訪問情況下，后端的一個(gè) pod IP 已經(jīng)自動(dòng)放到了 service 后端里面。

這樣就相當(dāng)于在應(yīng)用的組件調(diào)用的時(shí)候可以不用關(guān)心 pod 在生命周期的一個(gè)變化。

以上就是所有演示。

四、架構(gòu)設(shè)計(jì)

最后是對(duì) K8s 設(shè)計(jì)的一個(gè)簡(jiǎn)單的分析以及實(shí)現(xiàn)的一些原理。

Kubernetes 服務(wù)發(fā)現(xiàn)架構(gòu)

如上圖所示，K8s 服務(wù)發(fā)現(xiàn)以及 K8s Service 是這樣整體的一個(gè)架構(gòu)。

K8s 分為 master 節(jié)點(diǎn)和 worker 節(jié)點(diǎn)：

• master 里面主要是 K8s 管控的內(nèi)容；
• worker 節(jié)點(diǎn)里面是實(shí)際跑用戶應(yīng)用的一個(gè)地方。

在 K8s master 節(jié)點(diǎn)里面有 APIServer，就是統(tǒng)一管理 K8s 所有對(duì)象的地方，所有的組件都會(huì)注冊(cè)到 APIServer 上面去監(jiān)聽這個(gè)對(duì)象的變化，比如說我們剛才的組件 pod 生命周期發(fā)生變化，這些事件。

這里面最關(guān)鍵的有三個(gè)組件：

• 一個(gè)是 Cloud Controller Manager，負(fù)責(zé)去配置 LoadBalancer 的一個(gè)負(fù)載均衡器給外部去訪問；
• 另外一個(gè)就是 Coredns，就是通過 Coredns 去觀測(cè) APIServer 里面的 service 后端 pod 的一個(gè)變化，去配置 service 的 DNS 解析，實(shí)現(xiàn)可以通過 service 的名字直接訪問到 service 的虛擬 IP，或者是 Headless 類型的 Service 中的 IP 列表的解析；
• 然后在每個(gè) node 里面會(huì)有 kube-proxy 這個(gè)組件，它通過監(jiān)聽 service 以及 pod 變化，然后實(shí)際去配置集群里面的 node pod 或者是虛擬 IP 地址的一個(gè)訪問。

實(shí)際訪問鏈路是什么樣的呢？比如說從集群內(nèi)部的一個(gè) Client Pod3 去訪問 Service，就類似于剛才所演示的一個(gè)效果。Client Pod3 首先通過 Coredns 這里去解析出 ServiceIP，Coredns 會(huì)返回給它 ServiceName 所對(duì)應(yīng)的 service IP 是什么，這個(gè) Client Pod3 就會(huì)拿這個(gè) Service IP 去做請(qǐng)求，它的請(qǐng)求到宿主機(jī)的網(wǎng)絡(luò)之后，就會(huì)被 kube-proxy 所配置的 iptables 或者 IPVS 去做一層攔截處理，之后去負(fù)載均衡到每一個(gè)實(shí)際的后端 pod 上面去，這樣就實(shí)現(xiàn)了一個(gè)負(fù)載均衡以及服務(wù)發(fā)現(xiàn)。

對(duì)于外部的流量，比如說剛才通過公網(wǎng)訪問的一個(gè)請(qǐng)求。它是通過外部的一個(gè)負(fù)載均衡器 Cloud Controller Manager 去監(jiān)聽 service 的變化之后，去配置的一個(gè)負(fù)載均衡器，然后轉(zhuǎn)發(fā)到節(jié)點(diǎn)上的一個(gè) NodePort 上面去，NodePort 也會(huì)經(jīng)過 kube-proxy 的一個(gè)配置的一個(gè) iptables，把 NodePort 的流量轉(zhuǎn)換成 ClusterIP，緊接著轉(zhuǎn)換成后端的一個(gè) pod 的 IP 地址，去做負(fù)載均衡以及服務(wù)發(fā)現(xiàn)。這就是整個(gè) K8s 服務(wù)發(fā)現(xiàn)以及 K8s Service 整體的結(jié)構(gòu)。

后續(xù)進(jìn)階

后續(xù)再進(jìn)階部分我們還會(huì)更加深入地去講解 K8s Service 的實(shí)現(xiàn)原理，以及在 service 網(wǎng)絡(luò)出問題之后，如何去診斷以及去修復(fù)的技巧。

本文總結(jié)

本文的主要內(nèi)容就到此為止了，這里為大家簡(jiǎn)單總結(jié)一下：

為什么云原生的場(chǎng)景需要服務(wù)發(fā)現(xiàn)和負(fù)載均衡，

在 Kubernetes 中如何使用 Kubernetes 的 Service 做服務(wù)發(fā)現(xiàn)和負(fù)載均衡

Kubernetes 集群中 Service 涉及到的組件和大概實(shí)現(xiàn)原理

相信經(jīng)過本文的學(xué)習(xí)與把握，大家能夠通過 Kubernetes Service 將復(fù)雜的企業(yè)級(jí)應(yīng)用快速并標(biāo)準(zhǔn)地編排起來。

“阿里巴巴云原生微信公眾號(hào)（ID：Alicloudnative）關(guān)注微服務(wù)、Serverless、容器、Service Mesh等技術(shù)領(lǐng)域、聚焦云原生流行技術(shù)趨勢(shì)、云原生大規(guī)模的落地實(shí)踐，做最懂云原生開發(fā)者的技術(shù)公眾號(hào)。”

《新程序員》：云原生和全面數(shù)字化實(shí)踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的从零开始入门 | Kubernetes 中的服务发现与负载均衡的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。