當(dāng)前位置：首頁 > 运维知识 > windows >内容正文

windows

一篇可供参考的 K8S 落地实践经验

發(fā)布時(shí)間：2023/12/29 windows 26 coder

生活随笔收集整理的這篇文章主要介紹了一篇可供参考的 K8S 落地实践经验小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

前言

k8s 即 Kubernetes，是一個(gè)開源的容器編排引擎，用來對容器化應(yīng)用進(jìn)行自動(dòng)化部署、擴(kuò)縮和管理
本篇文章將分享 k8s v1.18.8 的安裝，以及其面板，監(jiān)控，部署服務(wù)，使用Ingress-Ningx進(jìn)行負(fù)載均衡的實(shí)踐
因?yàn)楣居玫倪@個(gè)老版本，并且后面要負(fù)責(zé)搭建，擔(dān)心無法復(fù)刻，趁此周末，實(shí)踐一二，確認(rèn)可行，遂與君分享。

虛擬機(jī)準(zhǔn)備

宿主機(jī)：Windows10
虛擬機(jī)工具：Hyper-V 10.0.19041.1
虛擬機(jī) Linux 系統(tǒng)：CentOS 8.5
已安裝軟件：docker (v2.21.0)及 docker compose(24.0.6)
Hyper-V虛擬機(jī)一覽

IP 及主機(jī)名

192.168.123.100 master
192.168.123.101 worker01
192.168.123.102 worker02

CentOS8.5 設(shè)置固定 IP

設(shè)置IP及網(wǎng)關(guān)：vi /etc/sysconfig/network-scripts/ifcfg-eth0

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME=eth0
DEVICE=eth0
ONBOOT=yes
PREFIX=24
IPV6_PRIVACY=no
# 設(shè)置IP及網(wǎng)關(guān)
BOOTPROTO=static
IPADDR=192.168.123.100
GATEWAY=192.168.123.1

CentOS8.5 聯(lián)網(wǎng)檢查

配置好網(wǎng)絡(luò)后先測試 curl 是否可以正常訪問網(wǎng)絡(luò) curl ``http://mirrors.aliyun.com，如果提示： curl: (6) Could not resolve host: ``mirrors.aliyun.com ，則需要檢查dns設(shè)置
cat /etc/resolv.conf 默認(rèn)應(yīng)該是網(wǎng)關(guān)的地址，也可以自行修改為其他公共dns

nameserver 192.168.123.1

CentOS8.5 設(shè)置主機(jī)名

查看主機(jī)信息：hostnamectl，通過導(dǎo)入虛擬機(jī)創(chuàng)建的主機(jī)信息除了mac地址其他基本都一樣
設(shè)置主機(jī)名：hostnamectl set-hostname 主機(jī)名

# 查看hostname
hostnamectl --static
#設(shè)置 hostname 對應(yīng)機(jī)器設(shè)置
# 192.168.123.100
hostnamectl set-hostname master
# 192.168.123.101
hostnamectl set-hostname worker01
# 192.168.123.102
hostnamectl set-hostname worker02

確保每個(gè)節(jié)點(diǎn)上 MAC 地址的唯一性

可以在外部使用 PowerShell 查看 Hyper-V 虛擬機(jī)的地址，在導(dǎo)入時(shí)選擇新注冊會(huì)自動(dòng)生成 Mac 地址，無需更改

centos8.5 查看mac地址：ip link show dev eth0

外部使用 PowerShell 查看：(Get-VMNetworkAdapter -VMName "k8s-master").MacAddress

確保 product_uuid 的唯一性

執(zhí)行 sudo cat /sys/class/dmi/id/product_uuid 查看product_uuid 我這里因?yàn)槎际菑?fù)制的虛擬機(jī)，查出來是一樣的的，所以需要修改

修改需要關(guān)閉虛擬機(jī)后執(zhí)行PowerShell腳本，文章總結(jié)
外部查看Hyper-V虛擬機(jī) UUID

Get-VM "k8s-master" | % { (gwmi -Namespace root\virtualization\v2 -Class msvm_computersystem -Filter ('ElementName="{0}"' -f $_.Name)).GetRelated('msvm_virtualsystemsettingdata') | select BIOSGUID }
Get-VM "k8s-worker01" | % { (gwmi -Namespace root\virtualization\v2 -Class msvm_computersystem -Filter ('ElementName="{0}"' -f $_.Name)).GetRelated('msvm_virtualsystemsettingdata') | select BIOSGUID }
Get-VM "k8s-worker02" | % { (gwmi -Namespace root\virtualization\v2 -Class msvm_computersystem -Filter ('ElementName="{0}"' -f $_.Name)).GetRelated('msvm_virtualsystemsettingdata') | select BIOSGUID }

PowerShell 修改 Hyper-V虛擬機(jī) UUID

#這里假設(shè)虛擬機(jī)的VMname是k8s-master，自行替換即可
$VMname="k8s-master"
$vmx = Get-WmiObject -Namespace root\virtualization\v2 -Class msvm_virtualsystemsettingdata 
#每次操作選擇一臺(tái)虛擬機(jī)
$CurrentSettingsData = $vmx | Where-Object { $_.ElementName -eq $VMname }
#檢查一下老的GUID
$CurrentSettingsData.BIOSGUID
#生成新GUID
$GUID = [System.Guid]::NewGuid()
#重新寫入GUID，注意要帶{}，這是非常重要的細(xì)節(jié)
$CurrentSettingsData.BIOSGUID = "{" + $GUID.Guid.ToUpper() + "}" 
#生成一個(gè)ModifySystemSettings的空對象
$VMMS = Get-WmiObject -Namespace root\virtualization\v2 -Class msvm_virtualsystemmanagementservice
$ModifySystemSettingsParams = $VMMS.GetMethodParameters('ModifySystemSettings')
#配置這個(gè)屬性，需要特殊的轉(zhuǎn)換方式
$ModifySystemSettingsParams.SystemSettings = $CurrentSettingsData.GetText([System.Management.TextFormat]::CimDtd20)
#寫入
$VMMS.InvokeMethod('ModifySystemSettings', $ModifySystemSettingsParams, $null)

開機(jī)后查詢可以看到已經(jīng)修改成功

確保 Machine ID 的唯一性

執(zhí)行 /etc/machine-id 或使用 hostnamectl 發(fā)現(xiàn)機(jī)器id是一樣的

重新生成了機(jī)器id

sudo cp /etc/machine-id /etc/machine-id.backup
sudo rm /etc/machine-id
sudo systemd-machine-id-setup
cat /etc/machine-id

執(zhí)行結(jié)果

檢查端口是否被占用

centos8.5 使用 ss 查詢端口是否使用

ss -tuln | grep -E "6443|2379|2380|10250|10259|10257|30000-32767"

執(zhí)行結(jié)果,無占用

安裝 K8S v1.18.8

都2023年了，為什么還是 v1.18.8？

因?yàn)楣居玫倪@個(gè)版本，并且后面要負(fù)責(zé)搭建，趁此周末，實(shí)踐一二，確認(rèn)可行，遂與君分享。

節(jié)點(diǎn)初始化

執(zhí)行主機(jī)： master ,worker01,worker02
關(guān)閉防火墻
關(guān)閉swap分區(qū)
允許 iptables 檢查橋接流量
添加阿里云 yum 源

# 關(guān)閉防火墻
systemctl stop firewalld
# 設(shè)置永久不開啟防火墻
systemctl disable firewalld

# 關(guān)閉swap 分區(qū) 
swapoff -a   
#永久關(guān)閉
sed -ri 's/.*swap.*/#&/' /etc/fstab

# 將 SELinux 設(shè)置為 permissive 模式（相當(dāng)于將其禁用）
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

# 允許 iptables 檢查橋接流量
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

# 添加阿里云 yum 源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安裝kubeadm&kubelet&kubectl

執(zhí)行主機(jī)： master ,worker01,worker02
kubeadm：用來初始化集群的指令。
kubelet：在集群中的每個(gè)節(jié)點(diǎn)上用來啟動(dòng) Pod 和容器等。
kubectl：用來與集群通信的命令行工具。

# 安裝
yum install -y kubeadm-1.18.8 kubelet-1.18.8 kubectl-1.18.8 ipvsadm
# 自啟
sudo systemctl enable --now kubelet

驗(yàn)證是否安裝完成
- kubelet --version
- kubeadm version
- kubectl version

安裝容器

執(zhí)行主機(jī)： master ,worker01,worker02

在 Docker 19.x 版本之前，Docker 使用自己的容器運(yùn)行時(shí)（稱為 Docker Runtime）。從 Docker 19.x 版本開始，Docker Engine 開始使用 containerd 作為默認(rèn)的容器運(yùn)行時(shí)，以提供更穩(wěn)定、可靠的容器管理功能。

k8s v1.18.8 版本，安裝docker v24 暫未遇到問題
判斷是否啟用:systemctl status containerd
安裝docker及container

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-vault-8.5.2111.repo
rm /etc/yum.repos.d/CentOS-Linux-AppStream.repo -f
rm /etc/yum.repos.d/CentOS-Linux-BaseOS.repo -f
dnf clean all
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
sudo yum install -y docker-ce-3:24.0.0-1.el8 docker-ce-cli-1:24.0.6-1.el8 containerd.io docker-buildx-plugin docker-compose-plugin

可參考 Docker V24 及 Docker Compose V2 的安裝及使用

設(shè)置節(jié)點(diǎn)網(wǎng)絡(luò)的別名

執(zhí)行主機(jī)： master ,worker01,worker02

cat >> /etc/hosts << EOF
192.168.123.100 master
192.168.123.101 worker01
192.168.123.102 worker02
EOF

初始化集群

執(zhí)行主機(jī)： master
--apiserver-advertise-address：指定通訊節(jié)點(diǎn)，使用master節(jié)點(diǎn)即可
--image-repository：k8s官網(wǎng)鏡像庫
--service-cidr: svc網(wǎng)絡(luò)的ip段設(shè)置
--pod-network-cidr:pod的ip段配置，每個(gè)pod都會(huì)有自己的ip kube-flannel.yml 默認(rèn) 10.244.0.0/16

kubeadm init \
  --apiserver-advertise-address=192.168.123.100 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.18.8 \
  --service-cidr=10.10.0.0/16 \
  --pod-network-cidr=10.244.0.0/16 \
  --ignore-preflight-errors=all

執(zhí)行結(jié)果，創(chuàng)建成功

輸出結(jié)果如下

您的Kubernetes控制平面已成功初始化！

要開始使用集群，非root用戶需要使用以下操作：

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

您現(xiàn)在應(yīng)該向集群部署一個(gè)pod網(wǎng)絡(luò)。
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
  
然后，您可以通過以root身份在每個(gè)工作節(jié)點(diǎn)上運(yùn)行以下操作來加入任意數(shù)量的工作節(jié)點(diǎn)：
kubeadm join 192.168.123.100:6443 --token nn9das.wslckjkd1ng3oxui \
    --discovery-token-ca-cert-hash sha256:7b3f413e6bfbd1f91448460426a144741bd14c2bb3119cfa058d07d65ab329fd

配置集群身份驗(yàn)證文件

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

若不配置直接使用 kubectl 相關(guān)命令會(huì)提示：The connection to the server ``localhost:8080`` was refused - did you specify the right host or port?

想要在哪里管理k8s 就要將 .kube 文件夾拷貝到目標(biāo)主機(jī)，即工作節(jié)點(diǎn)需要復(fù)制 .kube 目錄到 $HOME 目錄中

安裝網(wǎng)絡(luò)插件 flannel

下載 kube-flannel.yml
若初始化時(shí)指定了 --pod-network-cidr 則需要修改配置中 net-conf.json:Network 項(xiàng)
執(zhí)行安裝

kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml --insecure-skip-tls-verify

worker節(jié)點(diǎn)配置

執(zhí)行主機(jī)：worker01,worker02
根據(jù)前面的環(huán)境設(shè)置，k8s工具安裝，docker安裝，在worker節(jié)點(diǎn)也執(zhí)行，進(jìn)行初始化
將worker節(jié)點(diǎn)加入集群：執(zhí)行master初始化后輸出的join命令

kubeadm join 192.168.123.100:6443 --token e270ma.bjeg9k1g3e5k1q2h \
    --discovery-token-ca-cert-hash sha256:7beaa6a51994a7d63544ba1d410504ffe8e58a66746c507d3ff09dd15244a813

若找不到或失效可通過：kubeadm token create --print-join-command重新生成join命令
復(fù)制 master 節(jié)點(diǎn)的k8s配置文件 $HOME/.kube/config 到工作節(jié)點(diǎn)
安裝網(wǎng)絡(luò)插件 flannel

khttps://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml --insecure-skip-tls-verify

安裝 Dashboard v2.0.3

Kubernetes Dashboard 是一個(gè)用于管理和監(jiān)控 Kubernetes 集群的 Web 用戶界面。它提供了一個(gè)直觀的圖形界面，可以幫助你查看和管理集群中的各種資源、部署應(yīng)用程序、監(jiān)控集群狀態(tài)等

官方倉庫
執(zhí)行 recommended.yaml, 安裝面板，完全支持的版本為 v2.0.3

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.3/aio/deploy/recommended.yaml

若需要修改token默認(rèn)15分鐘的過期時(shí)間為7天，修改對應(yīng)參數(shù)即可

args:
- --auto-generate-certificates
- --namespace=kubernetes-dashboard
- --token-ttl=604800

默認(rèn)創(chuàng)建的 kubernetes-dashboard 無權(quán)限，所以需要授權(quán)，這里直接創(chuàng)建使用命令創(chuàng)建一個(gè)新用戶 admin 并授權(quán)
創(chuàng)建用戶

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin
  namespace: kubernetes-dashboard
EOF

角色授權(quán)

cat <<EOF | kubectl apply -f -
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin
  namespace: kubernetes-dashboard
EOF

獲取登陸token

kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep kubernetes-dashboard| awk '{print $1}')

[root@master ~]# kubectl -n kubernetes-dashboard describe secret $(kubectl -n kubernetes-dashboard get secret | grep admin | awk '{print $1}')
Name:         admin-token-4nqqz
Namespace:    kubernetes-dashboard
Labels:       <none>
Annotations:  kubernetes.io/service-account.name: admin
              kubernetes.io/service-account.uid: 6f432133-5007-4d8b-9239-8c55efa03826

Type:  kubernetes.io/service-account-token

Data
====
ca.crt:     1025 bytes
namespace:  20 bytes
token:      eyJhbGciOiJSUzI1NiIsImtpZCI6IlUycUl0Zmpnb0Y4Z2FWXzVkbmtjSjR6UngwNW05Z0tDcjVydklLWURYY1EifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi10b2tlbi00bnFxeiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJhZG1pbiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6IjZmNDMyMTMzLTUwMDctNGQ4Yi05MjM5LThjNTVlZmEwMzgyNiIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlcm5ldGVzLWRhc2hib2FyZDphZG1pbiJ9.J8nXyfpWjs9IbnvdfrW5hSq5SkCWy16NL89nphiDk-UGZP0qbcx0xQG_IfmTUfO0lxDQdD84VyZ8EzLENtwtqt3oIVZQyyyUAonOzqnAUfN3l9Jd_uFVbZhS_tfnwC3p4z2htUpDfXNLFoA4hav-2EgT6wY3voIZtnarfNvvBCBCimi-pG4AcCvc34V_udpYRXYpP1IPswS82NMTBVt_T1Y8gm_zKwq8LH6Z4LYr6wdr3MxGT4Fr7H5GK1jVS_wbna06HEK-GI_szNf5u-zRTMP5Si4JOHxnEWwHH4keLG6ez0pwkk5jYTqncczeb91Es_zZE95rvLxn1yh2mzAP5g

暴露到集群外

kubectl patch svc kubernetes-dashboard -n kubernetes-dashboard -p '{"spec":{"type":"NodePort","ports":[{"port":443,"targetPort":8443,"nodePort":30001}]}}'

使用 Chrome 訪問：https://192.168.123.102:30001/#/login

因?yàn)橐蟊仨氁褂胔ttps，所以結(jié)合之前文章前后端都用得上的 Nginx 日常使用經(jīng)驗(yàn)，生成證書并添加域名配置

server {

    listen 80;
    listen       443 ssl;
    server_name k8s.devops.test.com;  # 自行修改成你的域名

    ssl_certificate      /certs/k8s.devops.test.com/server.crt;
    ssl_certificate_key  /certs/k8s.devops.test.com/server.key;
    ssl_session_cache    shared:SSL:1m;
    ssl_session_timeout  5m;
    ssl_ciphers  HIGH:!aNULL:!MD5;
    ssl_prefer_server_ciphers  on;

    location / {
            proxy_pass https://192.168.123.100:30001;
            proxy_http_version 1.1;
            proxy_buffering off;
            proxy_request_buffering off;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection "upgrade";
            proxy_set_header Host $host;
            proxy_set_header X-Forwarded-For $remote_addr;
    }
}

成功使用https+域名訪問

升級(jí)面板版本 v2.2.0，可以更好的顯示 ingress 相關(guān)信息

# 刪除pod
kubectl -n kubernetes-dashboard delete $(kubectl -n kubernetes-dashboard get pod -o name | grep dashboard)
# 重新部署v2.2.0
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.2.0/aio/deploy/recommended.yaml

安裝 Metrics Server v0.3.7

Metrics Server 是一個(gè)用于收集集群中各個(gè)組件的資源使用情況和性能指標(biāo)數(shù)據(jù)的組件。安裝后可以在面板中或使用命令 kubectl top node 查看集群使用情況

官方倉庫
k8s v1.18 對應(yīng)可以使用 v0.3.7 部署文件 metrics-server/deploy/1.8+/
修改配置 metrics-server-deployment.yaml
- 修改鏡像源：registry.aliyuncs.com/google_containers
- 新增command配置跳過證書的驗(yàn)證： -kubelet-insecure-tls
- 設(shè)置首選通信類型：--kubelet-preferred-address-types=InternalDNS,InternalIP,ExternalDNS,ExternalIP,Hostname

# ...
spec:
      serviceAccountName: metrics-server
      volumes:
      # mount in tmp so we can safely use from-scratch images and/or read-only containers
      - name: tmp-dir
        emptyDir: {}
      containers:
      - name: metrics-server
        # 修改鏡像源 image: k8s.gcr.io/metrics-server/metrics-server:v0.3.7
        image: registry.aliyuncs.com/google_containers/metrics-server:v0.3.7
        imagePullPolicy: IfNotPresent
        # 新增command配置
        command:
        - /metrics-server
        # 跳過 Kubernetes API Server 對 Kubelet TLS 證書的驗(yàn)證
        - --kubelet-insecure-tls
        # 通信時(shí)首選的地址類型
        - --kubelet-preferred-address-types=InternalDNS,InternalIP,ExternalDNS,ExternalIP,Hostname

拷貝文件到服務(wù)器或直接在master節(jié)點(diǎn)修改
到考本文件的目錄執(zhí)行命令安裝即可

cd /app/k8s/
kubectl apply -f metrics-server-0.3.7/deploy/1.8+/

執(zhí)行成功

等待pod部署成功后刷新頁面可以看到監(jiān)控就出來了

使用 kubectl top node查看節(jié)點(diǎn)資源使用情況

使用 kubectl top pod -A 查看 Pod 資源使用情況

安裝 Helm v3.13.1

Kubernetes Helm 是一個(gè)包管理工具，用于在 Kubernetes 環(huán)境中簡化應(yīng)用程序的部署和管理。Helm 允許你定義、安裝和升級(jí) Kubernetes 應(yīng)用程序的預(yù)定義軟件包，這些軟件包稱為 Helm Charts。

官方倉庫
安裝v3版本

curl https://raw.githubusercontent.com/helm/helm/master/scripts/get-helm-3 | bash

安裝成功，版本為 v3.13.1

安裝目錄：/usr/local/bin/helm
可以看到有一個(gè)警告說沒有安裝git, 因?yàn)?Helm 在安裝插件(push插件)時(shí)需要使用 Git，所以可以順手安裝一下 git

sudo dnf install git -y

查看Helm倉庫列表：helm repo list ，默認(rèn)為空，如果要按照什么應(yīng)用，需要添加對應(yīng)的倉庫
helm 搜索應(yīng)用：helm search repo ingress-nginx/ingress-nginx --version='<4'
helm 卸載應(yīng)用：helm uninstall -n ingress-nginx ingress-nginx
具體使用可參考下面安裝 ingress-nginx
在 Helm 中修改鏡像源需要使用 --set 或 --set-string 參數(shù)來覆蓋默認(rèn)值。對于 Nginx Ingress Controller，可以通過指定 controller.image.repository 和 controller.image.tag 來修改鏡像源的包地址和版本。這個(gè)在安裝ingress-nginx就有使用，在無法使用官方鏡像的時(shí)候一般都需要替換為國內(nèi)鏡像

使用 K8S 集群部署服務(wù)

常用命令

部署服務(wù)：kubectl apply -f 配置文件名.yml
查看副本集信息：kubectl get replicasets

[root@master tests]# kubectl get replicasets
NAME                  DESIRED   CURRENT   READY   AGE
my-nginx-69448bd7d9   2         2         2       36m

查看 Deployment 信息：kubectl describe deployments my-nginx

查看 Service 信息：kubectl get services my-nginx-service

[root@master tests]# kubectl get services my-nginx-service
NAME               TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)        AGE
my-nginx-service   NodePort   10.10.143.180   <none>        80:30080/TCP   35m

集群中可以使用此服務(wù)IP進(jìn)行通訊

查看部署的 nginx 服務(wù)的 Pod :kubectl get pods --selector=app=my-nginx

[root@master tests]# kubectl get pods --selector=app=my-nginx
NAME                        READY   STATUS    RESTARTS   AGE
my-nginx-69448bd7d9-q8xtl   1/1     Running   0          39m
my-nginx-69448bd7d9-zghxb   1/1     Running   0          30m

刪除服務(wù)：kubectl delete services my-nginx-service
刪除負(fù)載：kubectl delete deployment my-nginx

部署一個(gè) nginx 服務(wù)

配置一個(gè)簡單的 nginx 服務(wù)：nginx.yml
部署了 Deployment 和 Service
暴露了容器的端口：80
暴露集群外的端口：30080
設(shè)置了2個(gè)副本：replicas: 2
完整配置文件

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-nginx
spec:
  replicas: 2
  selector:
    matchLabels:
      app: my-nginx
  template:
    metadata:
      labels:
        app: my-nginx
    spec:
      containers:
        - name: my-nginx
          image: nginx:latest
          ports:
            - containerPort: 80
---
apiVersion: v1
kind: Service
metadata:
  name: my-nginx-service
spec:
  selector:
    app: my-nginx
  type: NodePort
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
      nodePort: 30080

上傳到服務(wù)器執(zhí)行：kubectl apply -f nginx.yml
部署成功后使用節(jié)點(diǎn)IP+端口號(hào)即可訪問

目前部署了兩個(gè)服務(wù)，但是可以目前沒有能夠設(shè)置負(fù)載的地方，所以還需要一個(gè) Ingress 控制器來管理流量和負(fù)載均衡

使用 Ingress-Nginx v3.41進(jìn)行服務(wù)負(fù)載

Kubernetes 默認(rèn)使用的負(fù)載均衡算法是基于 IP 的輪詢（IP-based round-robin），它會(huì)將請求按照源 IP 地址的順序分發(fā)到不同的 Pod 上。如果需要其他負(fù)載均衡算法，可以使用 Ingress 控制器或者自定義的負(fù)載均衡解決方案

如果使用 Kubernetes 1.19 或更高版本，可以使用最新版本的 NGINX Ingress Controller;

如果使用舊版本的 Kubernetes（1.18 或更早版本），則必須使用 Ingress-Nginx Controller 的 0.X 版本（例如 0.49 版本

準(zhǔn)備

官方倉庫
版本選擇說明
ArtifactHub： v3.41
使用 helm 查找 ingress-nginx 包

# 查詢倉庫列表
helm repo list
# 添加倉庫地址
helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
# 搜索包
helm search repo ingress-nginx/ingress-nginx --version='<4'
# ingress-nginx/ingress-nginx     3.41.0          0.51.0          Ingress controller for Kubernetes using NGINX a

安裝

創(chuàng)建 namespace

kubectl create namespace ingress-nginx

安裝 ingress-nginx 源下的 v3.41 版本 ingress-nginx, 指定 namespace 為 ingress-nginx,指定鏡像源為阿里云

helm install ingress-nginx ingress-nginx/ingress-nginx --namespace ingress-nginx --version 3.41.0 --set controller.image.repository=registry.aliyuncs.com/google_containers/nginx-ingress-controller

如果安裝后報(bào)錯(cuò)負(fù)載無法啟動(dòng)，可能是因?yàn)榘鼰o法拉取，可指定鏡像源 --set controller.image.repository 為國內(nèi)源(registry.aliyuncs.com/google_containers/nginx-ingress-controller) 重新安裝（卸載 helm uninstall -n ingress-nginx ingress-nginx）即可
安裝成功，并給出提示應(yīng)該如何使用

如果需要在局域網(wǎng)中使用，還需要修改兩個(gè)配置
修改負(fù)載 ingress-nginx-controller 配置保存后生效
- dnsPolicy: ClusterFirstWithHostNet 策略將首先嘗試使用主機(jī)的 DNS 解析服務(wù)來解析域名，如果主機(jī)的 DNS 無法解析該域名，將會(huì)嘗試使用其他配置的 DNS 解析器
- hostNetwork:true Pod 中的容器將使用主機(jī)的網(wǎng)絡(luò)棧和網(wǎng)絡(luò)配置

使用

通過 Dashboard 右上角直接創(chuàng)建 YAML 文件

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress-nginx-test
  namespace: default
spec:
  rules:
  - host: nginx.k8stest.com
    http:
      paths:
      - backend:
          serviceName: my-nginx-service
          servicePort: 80

保存后將會(huì)轉(zhuǎn)發(fā)域名請求到前面部署的 my-nginx-service 服務(wù)中，此時(shí)將使用 ingress-nginx 進(jìn)行負(fù)載，當(dāng)然，還需要將域名解析到目標(biāo)服務(wù)器，本地局域網(wǎng)可以使用 hosts 或者 dns 設(shè)置
通過 kubectl describe pod ingress-nginx-controller -n ingress-nginx 可獲取到ingress-nginx所在節(jié)點(diǎn)信息，IP為 192.168.123.102

設(shè)置 hosts 192.168.123.102 nginx.k8stest.com,再刷新下dns緩存 ipconfig /flushdns訪問即可，每次刷新都會(huì)請求到不同的pod上面

至此，在局域網(wǎng)中安裝使用 k8s v1.18.8,并進(jìn)行相關(guān)配置已經(jīng)完成，得益與大佬們的分享，耗時(shí)兩天，邊弄邊記，優(yōu)化了一些步驟與細(xì)節(jié)。后續(xù)將嘗試安裝更新的版本，敬請期待。

踩坑記錄

使用yum安裝kubeadm時(shí)報(bào)錯(cuò)，測試發(fā)現(xiàn)curl無法使用，錯(cuò)誤如下，需要檢查設(shè)置dns:cat /etc/resolv.conf 寫入默認(rèn)配置或公告dns: nameserver 192.168.123.1

[root@master ~]# yum install -y kubeadm-1.18.8 kubelet-1.18.8 kubectl-1.18.8 ipvsadm
Repository extras is listed more than once in the configuration
CentOS-8.5.2111 - Base - mirrors.aliyun.com                                                                                                                  0.0  B/s |   0  B     00:00
Errors during downloading metadata for repository 'base':
  - Curl error (6): Couldn't resolve host name for http://mirrors.aliyun.com/centos-vault/8.5.2111/BaseOS/x86_64/os/repodata/repomd.xml [Could not resolve host: mirrors.aliyun.com]
  - Curl error (6): Couldn't resolve host name for http://mirrors.aliyuncs.com/centos-vault/8.5.2111/BaseOS/x86_64/os/repodata/repomd.xml [Could not resolve host: mirrors.aliyuncs.com]
  - Curl error (6): Couldn't resolve host name for http://mirrors.cloud.aliyuncs.com/centos-vault/8.5.2111/BaseOS/x86_64/os/repodata/repomd.xml [Could not resolve host: mirrors.cloud.aliyuncs.com]
Error: Failed to download metadata for repo 'base': Cannot download repomd.xml: Cannot download repodata/repomd.xml: All mirrors were tried

阿里云鏡像源的使用，指定鏡像源時(shí)需要使用 registry.aliyuncs.com/google_containers/metrics-server:v0.3.7
helm 安裝 ingress-nginx 報(bào)錯(cuò)，看是否是因?yàn)榘幌聛恚梢酝ㄟ^指定鏡像源重新安裝（卸載 helm uninstall -n ingress-nginx ingress-nginx）即可：k8s v1.18.8 安裝 ingress-nginx:helm install ingress-nginx ingress-nginx/ingress-nginx --namespace ingress-nginx --version 3.41.0 --set controller.image.repository=``registry.aliyuncs.com/google_containers/nginx-ingress-controller

后語

前前后后嘗試了好幾次搭建k8s,之前基本都看著這座大山，望而卻步，各種理由而終止。當(dāng)時(shí)21立的flag，終于是在這2023的末尾給實(shí)現(xiàn)了。

不積硅步無以至千里，與君共勉

總結(jié)

以上是生活随笔為你收集整理的一篇可供参考的 K8S 落地实践经验的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。