久久精品国产精品国产精品污,男人扒开添女人下部免费视频,一级国产69式性姿势免费视频,夜鲁夜鲁很鲁在线视频 视频,欧美丰满少妇一区二区三区,国产偷国产偷亚洲高清人乐享,中文 在线 日韩 亚洲 欧美,熟妇人妻无乱码中文字幕真矢织江,一区二区三区人妻制服国产

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Kubernetes(k8s)常用资源的使用、Pod的常用操作

發布時間:2024/3/12 编程问答 24 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Kubernetes(k8s)常用资源的使用、Pod的常用操作 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1、K8s是如何運行容器的。

答:k8s是通過定義一個Pod的資源,然后在Pod里面運行容器的。K8s最小的資源單位Pod。

?

2、如何創建一個Pod資源呢?

答:在K8s中,所有的資源單位都可以使用一個yaml配置文件來創建,創建Pod也可以使用yaml配置文件。

?

3、開始,創建一個Pod,先創建一個k8s目錄,然后在k8s里面創建一個pod目錄,然后創建vim nginx_pod.yaml。

1 [root@k8s-master ~]# mkdir k8s 2 [root@k8s-master ~]# cd k8s/ 3 [root@k8s-master k8s]# ls 4 [root@k8s-master k8s]# mkdir pod 5 [root@k8s-master k8s]# ls 6 pod 7 [root@k8s-master k8s]# cd pod/ 8 [root@k8s-master pod]# vim nginx_pod.yaml 9 [root@k8s-master pod]#

配置內容,如下所示:

nginx_pod.yaml的內容,如下所示:

1 # 聲明api的版本。2 apiVersion: v13 # kind代表資源的類型,資源是Pod。4 kind: Pod5 # 資源叫什么名字,是在其屬性metadata里面的。6 metadata:7 # 第一個屬性name的值是nginx,即Pod的名字就叫做Nginx。8 name: nginx9 # 給Pod貼上了一個標簽,標簽是app: web,標簽是有一定的作用的。 10 labels: 11 app: web 12 # spec是詳細,詳細里面定義了一個容器。 13 spec: 14 # 定義一個容器,可以聲明多個容器的。 15 containers: 16 # 容器的名稱叫做nginx 17 - name: nginx 18 # 使用了什么鏡像,可以使用官方公有的,也可以使用私有的。 19 image: nginx:1.13 20 # ports定義容器的端口。 21 ports: 22 # 容器的端口是80,如果容器有多個端口,可以在后面接著寫一行即可。 23 - containerPort: 80

在k8s中,所有的資源單位,只要使用配置文件聲明之后,使用create -f指定nginx_pod.yaml的位置,就可以被創建了。

1 [root@k8s-master pod]# kubectl create -f nginx_pod.yaml 2 Error from server (ServerTimeout): error when creating "nginx_pod.yaml": No API token found for service account "default", retry after the token is automatically created and added to the service account 3 [root@k8s-master pod]#

報錯了,需要修改api-server的配置文件,需要將ServiceAccount禁用掉即可。

1 [root@k8s-master pod]# vim /etc/kubernetes/apiserver

將ServiceAccount禁用掉即可。

由于修改了api-server的配置文件,現在需要重啟api-server。

1 [root@k8s-master pod]# systemctl restart kube-apiserver.service 2 [root@k8s-master pod]#

重啟api-server完畢之后,再次使用命令進行創建。

1 [root@k8s-master pod]# kubectl create -f nginx_pod.yaml 2 pod "nginx" created 3 [root@k8s-master pod]#

現在可以查看創建了那些Pod,get命令是查看資源的列表,如下所示:

1 [root@k8s-master pod]# kubectl get pod 2 NAME READY STATUS RESTARTS AGE 3 nginx 0/1 ContainerCreating 0 1m 4 [root@k8s-master pod]# kubectl get pod nginx 5 NAME READY STATUS RESTARTS AGE 6 nginx 0/1 ContainerCreating 0 1m 7 [root@k8s-master pod]#

查看組件的狀態。

1 [root@k8s-master pod]# kubectl get componentstatus 2 NAME STATUS MESSAGE ERROR 3 controller-manager Healthy ok 4 scheduler Healthy ok 5 etcd-0 Healthy {"health":"true"} 6 [root@k8s-master pod]#

查看node的命令,如下所示:

1 [root@k8s-master pod]# kubectl get node2 NAME STATUS AGE3 k8s-master Ready 22h4 k8s-node2 Ready 22h5 k8s-node3 Ready 21h6 [root@k8s-master pod]# kubectl get nodes7 NAME STATUS AGE8 k8s-master Ready 22h9 k8s-node2 Ready 22h 10 k8s-node3 Ready 21h 11 [root@k8s-master pod]#

仔細觀察這個Pod一直處于ContainerCreating狀態,一直都沒有1/1準備好。

1 [root@k8s-master pod]# kubectl get pod nginx 2 NAME READY STATUS RESTARTS AGE 3 nginx 0/1 ContainerCreating 0 4m 4 [root@k8s-master pod]#

可以使用命令kubectl describe pod nginx,查看具體卡在那里,如下所示:

1 [root@k8s-master pod]# kubectl describe pod nginx2 Name: nginx3 Namespace: default4 Node: k8s-node3/192.168.110.1355 Start Time: Fri, 05 Jun 2020 21:17:18 +08006 Labels: app=web7 Status: Pending8 IP: 9 Controllers: <none> 10 Containers: 11 nginx: 12 Container ID: 13 Image: nginx:1.13 14 Image ID: 15 Port: 80/TCP 16 State: Waiting 17 Reason: ContainerCreating 18 Ready: False 19 Restart Count: 0 20 Volume Mounts: <none> 21 Environment Variables: <none> 22 Conditions: 23 Type Status 24 Initialized True 25 Ready False 26 PodScheduled True 27 No volumes. 28 QoS Class: BestEffort 29 Tolerations: <none> 30 Events: 31 FirstSeen LastSeen Count From SubObjectPath Type Reason Message 32 --------- -------- ----- ---- ------------- -------- ------ ------- 33 7m 7m 1 {default-scheduler } Normal Scheduled Successfully assigned nginx to k8s-node3 34 6m 1m 6 {kubelet k8s-node3} Warning FailedSync Error syncing pod, skipping: failed to "StartContainer" for "POD" with ErrImagePull: "image pull failed for registry.access.redhat.com/rhel7/pod-infrastructure:latest, this may be because there are no credentials on this request. details: (open /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt: no such file or directory)" 35 36 6m 5s 25 {kubelet k8s-node3} Warning FailedSync Error syncing pod, skipping: failed to "StartContainer" for "POD" with ImagePullBackOff: "Back-off pulling image \"registry.access.redhat.com/rhel7/pod-infrastructure:latest\"" 37 38 [root@k8s-master pod]#

可以看到scheduler調度到k8s-node3節點上去了。

也可以使用kubectl get pod nginx -o wide命令,查看調度到那個節點上去了。

1 [root@k8s-master pod]# kubectl get pod nginx -o wide 2 NAME READY STATUS RESTARTS AGE IP NODE 3 nginx 0/1 ContainerCreating 0 10m <none> k8s-node3 4 [root@k8s-master pod]#

可以看到是pull鏡像的時候,就出錯了。從這個地址registry.access.redhat.com/rhel7/pod-infrastructure:latest拉取的鏡像。

可以看到是在k8s-node3節點pull這個鏡像。在k8s-node3節點使用docker pull這個鏡像報錯了,報錯顯示沒有這個文件open /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt: no such file or directory。

1 [root@k8s-node3 ~]# docker pull registry.access.redhat.com/rhel7/pod-infrastructure:latest 2 Trying to pull repository registry.access.redhat.com/rhel7/pod-infrastructure ... 3 open /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt: no such file or directory 4 [root@k8s-node3 ~]#

但是這個證書文件是存在的,但是為什么打不開呢,因為這個證書文件是一個軟鏈接。軟鏈接就不存在,所以就打不開。

1 [root@k8s-node3 ~]# ls /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt 2 /etc/docker/certs.d/registry.access.redhat.com/redhat-ca.crt 3 [root@k8s-node3 ~]#

那么解決這個證書問題就可以解決這個問題了,但是其實并不用解決它,因為你思考一個,為什么啟動一個Pod資源的時候,需要下載這么一個鏡像地址呢,為什么不從別的地方下載呢,這個是由配置文件決定的。

1 [root@k8s-node3 ~]# vim /etc/kubernetes/kubelet

在這個配置文件中定義的鏡像地址是registry.access.redhat.com/rhel7/pod-infrastructure:latest。這個鏡像地址,由于證書錯誤,下載不了,但是可以從其他地方進行下載。可以使用docker search搜索一下這個鏡像,這個是在Docker官方倉庫進行搜索的。

1 [root@k8s-node3 ~]# docker search pod-infrastructure2 INDEX NAME DESCRIPTION STARS OFFICIAL AUTOMATED3 docker.io docker.io/neurons/pod-infrastructure k8s pod 基礎容器鏡像 2 4 docker.io docker.io/tianyebj/pod-infrastructure registry.access.redhat.com/rhel7/pod-infra... 2 5 docker.io docker.io/w564791/pod-infrastructure latest 1 6 docker.io docker.io/xiaotech/pod-infrastructure registry.access.redhat.com/rhel7/pod-infra... 1 [OK]7 docker.io docker.io/092800/pod-infrastructure 0 8 docker.io docker.io/812557942/pod-infrastructure 0 9 docker.io docker.io/cnkevin/pod-infrastructure 0 10 docker.io docker.io/fungitive/pod-infrastructure registry.access.redhat.com/rhel7/pod-infra... 0 11 docker.io docker.io/jqka/pod-infrastructure redhat pod 0 [OK] 12 docker.io docker.io/k189189/pod-infrastructure 0 13 docker.io docker.io/meitham/pod-infrastructure registry.access.redhat.com/rhel7/pod-infra... 0 14 docker.io docker.io/oudi/pod-infrastructure pod-infrastructure 0 [OK] 15 docker.io docker.io/panshx/pod-infrastructure FROM registry.access.redhat.com/rhel7/pod-... 0 16 docker.io docker.io/pkcsloye/pod-infrastructure docker pull registry.access.redhat.com/rhe... 0 [OK] 17 docker.io docker.io/shadowalker911/pod-infrastructure 0 18 docker.io docker.io/singlestep/pod-infrastructure 0 19 docker.io docker.io/statemood/pod-infrastructure Automated build from registry.access.redha... 0 [OK] 20 docker.io docker.io/wangdjtest/pod-infrastructure pod-infrastructure:latest 0 [OK] 21 docker.io docker.io/william198689/pod-infrastructure 0 22 docker.io docker.io/xielongzhiying/pod-infrastructure pod-infrastructure 0 [OK] 23 docker.io docker.io/zdwork/pod-infrastructure 0 24 docker.io docker.io/zengshaoyong/pod-infrastructure pod-infrastructure 0 [OK] 25 docker.io docker.io/zhanghongyang/pod-infrastructure 0 26 docker.io docker.io/zhangspook/pod-infrastructure registry.access.redhat.com/rhel7/pod-infra... 0 [OK] 27 docker.io docker.io/zm274310577/pod-infrastructure 0 28 [root@k8s-node3 ~]#

將鏡像地址docker.io/tianyebj/pod-infrastructure復制拷貝到/etc/kubernetes/kubelet配置文件中。

由于修改了配置文件,所以要重啟讓其kubelet生效。

1 [root@k8s-node3 ~]# systemctl restart kubelet.service 2 [root@k8s-node3 ~]#

重啟結束之后,再次回到Master節點上,看看它的信息描述,看看它有沒有重試。

1 [root@k8s-master pod]# kubectl describe pod nginx

不斷使用上述命令進行觀察,也可以在k8s-node3節點,看看docker的臨時目錄,查看其有沒有重試。

1 [root@k8s-node3 ~]# ls /var/lib/docker/tmp/2 GetImageBlob232005897 GetImageBlob649330130 GetImageBlob6882234443 [root@k8s-node3 ~]# ls /var/lib/docker/tmp/4 GetImageBlob232005897 GetImageBlob649330130 GetImageBlob6882234445 [root@k8s-node3 ~]# ls /var/lib/docker/tmp/6 GetImageBlob232005897 GetImageBlob649330130 GetImageBlob6882234447 [root@k8s-node3 ~]# ll /var/lib/docker/tmp/8 total 163249 -rw-------. 1 root root 9750959 Jun 5 21:49 GetImageBlob649330130 10 -rw-------. 1 root root 201 Jun 5 21:48 GetImageBlob688223444 11 [root@k8s-node3 ~]#

這個/var/lib/docker/tmp/是Docker下載的臨時目錄。可以看到已經超時了,換了下載鏡像的地址也是超時了。

如何解決Docker的IO超時問題呢,熟悉Docker的應該知道Docker國內可以做Docker鏡像的加速。加速方法,如下所示:

由于我的Docker的版本是1.13.1,其加速方法跟最新的1809/1806是不一樣的。

1 [root@k8s-node3 ~]# vim /etc/sysconfig/docker

具體操作,如下所示:

1 # 信任私有倉庫,鏡像加速 2 OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false 3 --registry-mirror=https://registry.docker-cn.com --insecure-registry=192.168.110.133:5000'

然后重啟一下Docker,如下所示:

1 [root@k8s-node3 ~]# systemctl restart docker 2 [root@k8s-node3 ~]#

重啟完Docker之后,Master主節點過段時間會再次重試。可以在主節點使用kubectl describe pod nginx命令查看,在k8s-node3節點使用命令ll -h /var/lib/docker/tmp/進行查看。

我本地是下載下來了,如果下載不下來,也可以將安裝包上傳到服務器。可以使用命令kubectl get pod nginx進行查看,自己的Nginx已經跑起來了。

使用Docker的導入命令,將所需的鏡像導入進去。

1 [root@k8s-node3 ~]# docker load -i pod-infrastructure-latest.tar.gz 1 [root@k8s-node3 ~]# docker load -i docker_nginx1.13.tar.gz

如果剛才的未下載完畢,然后你又將鏡像上傳到了服務器,此時可以使用重啟Docker的命令,然后去主節點Master使用命令進行查看kubectl describe pod nginx,可以看到已經識別出來了。可以使用命令kubectl get pod nginx -o wide,可以看到容器已經跑起來了。此時解決了k8s-node3可以啟動這個容器。

1 [root@k8s-master pod]# kubectl get pod nginx -o wide 2 NAME READY STATUS RESTARTS AGE IP NODE 3 nginx 1/1 Running 1 1h 172.16.13.2 k8s-node3 4 [root@k8s-master pod]#

但是,此時將這個Pod進行刪除,然后再創建這個Pod。

1 [root@k8s-master pod]# kubectl delete pod nginx 2 pod "nginx" deleted 3 [root@k8s-master pod]# kubectl get pod nginx -o wide 4 Error from server (NotFound): pods "nginx" not found 5 [root@k8s-master pod]#

此時,發現這個Pod調度到了k8s-node2節點了。

1 [root@k8s-master pod]# kubectl create -f nginx_pod.yaml 2 pod "nginx" created 3 [root@k8s-master pod]# kubectl get pod nginx -o wide 4 NAME READY STATUS RESTARTS AGE IP NODE 5 nginx 0/1 ContainerCreating 0 20s <none> k8s-node2 6 [root@k8s-master pod]# kubectl get pod nginx -o wide 7 NAME READY STATUS RESTARTS AGE IP NODE 8 nginx 0/1 ContainerCreating 0 37s <none> k8s-node2 9 [root@k8s-master pod]#

此時,需要修改k8s-node2的鏡像地址。因為它還是會從紅帽那里下載,對應本地沒有的鏡像還是再次pull一遍的。這樣對于我們來說,啟動一個容器時間很長,如果網絡不穩定,這個節點上的容器就啟動不起來。如果節點非常多,那么這樣的情況會非常麻煩。如果Node節點很多的時候,應該使用一個私有倉庫,使用私有倉庫可以將已經有的鏡像可以從自己的私有倉庫進行下載,節省時間和網絡資源。

1 [root@k8s-node2 ~]# vim /etc/kubernetes/kubelet

操作,如下所示:

具體內容,如下所示:

1 ###2 # kubernetes kubelet (minion) config3 4 # The address for the info server to serve on (set to 0.0.0.0 or "" for all interfaces)5 # 修改自己的監聽地址,將127.0.0.1修改為192.168.110.1346 KUBELET_ADDRESS="--address=192.168.110.134"7 8 # The port for the info server to serve on9 # kube-let的端口是10250 10 KUBELET_PORT="--port=10250" 11 12 # You may leave this blank to use the actual hostname 13 # 修改自己的主機名稱,將127.0.0.1修改為k8s-node2 14 KUBELET_HOSTNAME="--hostname-override=k8s-node2" 15 16 # location of the api-server 17 # 連接master節點的api-server端口 18 KUBELET_API_SERVER="--api-servers=http://192.168.110.133:8080" 19 20 # pod infrastructure container 21 # KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=registry.access.redhat.com/rhel7/pod-infrastructure:latest" 22 KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=docker.io/tianyebj/pod-infrastructure:latest" 23 24 # Add your own! 25 KUBELET_ARGS=""

可以先讓Node節點從內網Pull鏡像,如果內網沒有鏡像,可以先從外網進行Pull鏡像,鏡像Pull下來之后傳到我們的私有倉庫,僅需要Pull一次鏡像,后來的節點直接從自己的私有倉庫進行Pull鏡像,極大節省時間和流量帶寬。解決這個問題就是自己啟用一個私有倉庫。

1 # 終極解決方法,自己啟用自己的私有倉庫。為了節約硬件配置,使用官方提供的registry私有倉庫。也可以使用其他 2 docker run -d -p 5000:5000 --restart=always --name registry -v /opt/myregistry:/var/lib/registry registry

首先搜索一下這個鏡像。這個是官方的鏡像。

1 [root@k8s-master pod]# docker search registry2 INDEX NAME DESCRIPTION STARS OFFICIAL AUTOMATED3 docker.io docker.io/registry The Docker Registry 2.0 implementation for... 2980 [OK] 4 docker.io docker.io/distribution/registry WARNING: NOT the registry official image!!... 57 [OK]5 docker.io docker.io/stefanscherer/registry-windows Containerized docker registry for Windows ... 31 6 docker.io docker.io/budry/registry-arm Docker registry build for Raspberry PI 2 a... 18 7 docker.io docker.io/deis/registry Docker image registry for the Deis open so... 12 8 docker.io docker.io/anoxis/registry-cli You can list and delete tags from your pri... 9 [OK]9 docker.io docker.io/jc21/registry-ui A nice web interface for managing your Doc... 8 10 docker.io docker.io/vmware/registry 6 11 docker.io docker.io/allingeek/registry A specialization of registry:2 configured ... 4 [OK] 12 docker.io docker.io/pallet/registry-swift Add swift storage support to the official ... 4 [OK] 13 docker.io docker.io/arm32v6/registry The Docker Registry 2.0 implementation for... 3 14 docker.io docker.io/goharbor/registry-photon 2 15 docker.io docker.io/concourse/registry-image-resource 1 16 docker.io docker.io/conjurinc/registry-oauth-server Docker registry authn/authz server backed ... 1 17 docker.io docker.io/ibmcom/registry Docker Image for IBM Cloud private-CE (Com... 1 18 docker.io docker.io/metadata/registry Metadata Registry is a tool which helps yo... 1 [OK] 19 docker.io docker.io/webhippie/registry Docker images for Registry 1 [OK] 20 docker.io docker.io/convox/registry 0 21 docker.io docker.io/deepsecurity/registryviews Deep Security Smart Check 0 22 docker.io docker.io/dwpdigital/registry-image-resource Concourse resource type 0 23 docker.io docker.io/gisjedi/registry-proxy Reverse proxy of registry mirror image gis... 0 24 docker.io docker.io/kontena/registry Kontena Registry 0 25 docker.io docker.io/lorieri/registry-ceph Ceph Rados Gateway (and any other S3 compa... 0 26 docker.io docker.io/pivnet/registry-gcloud-image 0 27 docker.io docker.io/upmcenterprises/registry-creds 0 28 [root@k8s-master pod]#

可以直接將這個鏡像pull下來,也可以進行上傳。

1 [root@k8s-master pod]# docker pull docker.io/registry2 Using default tag: latest3 Trying to pull repository docker.io/library/registry ... 4 latest: Pulling from docker.io/library/registry5 486039affc0a: Pull complete 6 ba51a3b098e6: Pull complete 7 8bb4c43d6c8e: Pull complete 8 6f5f453e5f2d: Pull complete 9 42bc10b72f42: Pull complete 10 Digest: sha256:7d081088e4bfd632a88e3f3bcd9e007ef44a796fddfe3261407a3f9f04abe1e7 11 Status: Downloaded newer image for docker.io/registry:latest 12 [root@k8s-master pod]#

接下來,就可以啟動我們的私有倉庫了。

1 [root@k8s-master pod]# docker run -d -p 5000:5000 --restart=always --name registry -v /opt/myregistry:/var/lib/registry registry 2 a27987d97039c8596ad2a2150cee9e3fbe7580c8131e9f258aea8a922c22a237 3 [root@k8s-master pod]#

我們的私有倉庫已經起來了,可以使用docker ps命令進行查看。

1 [root@k8s-master pod]# docker ps 2 CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 3 a27987d97039 registry "/entrypoint.sh /e..." 39 seconds ago Up 37 seconds 0.0.0.0:5000->5000/tcp registry 4 6d459781a3e5 busybox "sh" 10 hours ago Up 10 hours gracious_nightingale 5 [root@k8s-master pod]#

此時,可以試著想這個私有倉庫上傳我們的鏡像,如下所示:

1 [root@k8s-node3 ~]# docker images 2 REPOSITORY TAG IMAGE ID CREATED SIZE3 docker.io/busybox latest 1c35c4412082 2 days ago 1.22 MB4 docker.io/nginx 1.13 ae513a47849c 2 years ago 109 MB5 docker.io/tianyebj/pod-infrastructure latest 34d3450d733b 3 years ago 205 MB6 [root@k8s-node3 ~]# docker tag docker.io/tianyebj/pod-infrastructure:latest 192.168.110.133:5000/pod-infrastructure:latest7 [root@k8s-node3 ~]# docker push 192.168.110.133:5000/pod-infrastructure8 The push refers to a repository [192.168.110.133:5000/pod-infrastructure]9 Get https://192.168.110.133:5000/v1/_ping: http: server gave HTTP response to HTTPS client 10 [root@k8s-node3 ~]#

由于我的這里報錯了,這個問題可能是由于客戶端采用https,docker registry未采用https服務所致。一種處理方式是把客戶對地址“192.168.110.133:5000”請求改為http。解決方法:在“/etc/docker/”目錄下,創建"daemon.json"文件。在文件中寫入:

1 [root@k8s-node3 ~]# cd /etc/docker/ 2 [root@k8s-node3 docker]# echo '{ "insecure-registries":["192.168.110.133:5000"] }' > /etc/docker/daemon.json 3 [root@k8s-node3 docker]#

重啟docker。問題解決:

1 [root@k8s-node3 docker]# systemctl restart docker 2 [root@k8s-node3 docker]# docker tag docker.io/tianyebj/pod-infrastructure:latest 192.168.110.133:5000/pod-infrastructure:latest 3 [root@k8s-node3 docker]# docker push 192.168.110.133:5000/pod-infrastructure:latest 4 The push refers to a repository [192.168.110.133:5000/pod-infrastructure] 5 ba3d4cbbb261: Pushed 6 0a081b45cb84: Pushed 7 df9d2808b9a9: Pushed 8 latest: digest: sha256:a378b2d7a92231ffb07fdd9dbd2a52c3c439f19c8d675a0d8d9ab74950b15a1b size: 948 9 [root@k8s-node3 docker]#

這里,順便將另外兩臺機器也配置一下,避免出現這種錯誤。

1 [root@k8s-master pod]# echo '{ "insecure-registries":["192.168.110.133:5000"] }' > /etc/docker/daemon.json 1 [root@k8s-node2 ~]# echo '{ "insecure-registries":["192.168.110.133:5000"] }' > /etc/docker/daemon.json

如果其他Node節點需要使用這個私有倉庫都是需要修改Docker的配置文件的。

1 [root@k8s-node2 ~]# vim /etc/sysconfig/docker 1 OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false 2 --registry-mirror=https://registry.docker-cn.com --insecure-registry=192.168.110.133:5000'

具體操作,如下所示:

然后需要重啟Docker。

1 [root@k8s-node2 ~]# systemctl restart docker

為了Node節點從私有倉庫Pull鏡像,還需要修改/etc/kubernetes/kubelet

1 [root@k8s-node2 ~]# vim /etc/kubernetes/kubelet

然后重啟kubelet。

1 [root@k8s-node2 ~]# systemctl restart kubelet.service 2 [root@k8s-node2 ~]#

這里將Ngnix也上傳到私有倉庫里面,如下所示:

1 [root@k8s-node3 docker]# docker tag docker.io/nginx:1.13 192.168.110.133:5000/ngnix:1.13 2 [root@k8s-node3 docker]# docker push 192.168.110.133:5000/ngnix:1.13 3 The push refers to a repository [192.168.110.133:5000/ngnix] 4 7ab428981537: Pushed 5 82b81d779f83: Pushed 6 d626a8ad97a1: Pushed 7 1.13: digest: sha256:e4f0474a75c510f40b37b6b7dc2516241ffa8bde5a442bde3d372c9519c84d90 size: 948 8 [root@k8s-node3 docker]#

此時,可以將k8s-master、k8s-node3節點的kubelet修改為從私有倉庫Pull鏡像。

1 [root@k8s-node3 docker]# vim /etc/kubernetes/kubelet 1 [root@k8s-master pod]# vim /etc/kubernetes/kubelet

具體操作,如下所示:

然后重啟kubelet。

1 [root@k8s-node3 docker]# systemctl restart kubelet.service 2 [root@k8s-node3 docker]# 1 [root@k8s-master pod]# systemctl restart kubelet.service 2 [root@k8s-master pod]#

總結,步驟很多,但是這里需要注意的是,在三臺節點上面,都需要修改docker的配置和kubelet的配置。修改完畢需要進行重啟即可。

1 [root@k8s-master pod]# vim /etc/sysconfig/docker 2 [root@k8s-master pod]# systemctl restart docker

修改內容,如下所示:

1 # 信任私有倉庫,鏡像加速 2 OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false 3 --registry-mirror=https://registry.docker-cn.com --insecure-registry=192.168.110.133:5000'

修改kubelet的配置。

1 [root@k8s-master pod]# vim /etc/kubernetes/kubelet 2 [root@k8s-master pod]# systemctl restart kubelet.service

修改內容,如下所示:

1 KUBELET_POD_INFRA_CONTAINER="--pod-infra-container-image=192.168.110.133:5000/pod-infrastructure:latest"

最后需要,修改一下Pod,讓其從私有倉庫上Pull鏡像。如下所示:

修改內容,如下所示:

看到下面兩個文件的不同了嗎,折騰了一大圈。睡覺去。

1 apiVersion: v12 kind: Pod3 metadata:4 name: nginx5 labels:6 app: web7 spec:8 containers:9 - name: nginx 10 image: 192.168.110.133:5000/nginx:1.13 11 ports: 12 - containerPort: 80 1 apiVersion: v12 kind: Pod3 metadata:4 name: nginx5 labels:6 app: web7 spec:8 containers:9 - name: nginx 10 image: 192.168.110.133:5000/ngnix:1.13 11 ports: 12 - containerPort: 80

最后這里我測試了好幾遍,由于快凌晨了,最后測試成功了,先貼一下吧。我把三臺機器的docker、kubelet都重啟了一遍,因為中間錯了好幾次,不能從私有倉庫下載鏡像。

1 [root@k8s-master pod]# vim nginx_pod.yaml 2 [root@k8s-master pod]# kubectl delete pod nginx3 pod "nginx" deleted4 [root@k8s-master pod]# kubectl describe pod nginx5 Error from server (NotFound): pods "nginx" not found6 [root@k8s-master pod]# kubectl create -f nginx_pod.yaml 7 pod "nginx" created8 [root@k8s-master pod]# kubectl describe pod nginx9 Name: nginx 10 Namespace: default 11 Node: k8s-master/192.168.110.133 12 Start Time: Fri, 05 Jun 2020 23:55:23 +0800 13 Labels: app=web 14 Status: Pending 15 IP: 16 Controllers: <none> 17 Containers: 18 nginx: 19 Container ID: 20 Image: 192.168.110.133:5000/ngnix:1.13 21 Image ID: 22 Port: 80/TCP 23 State: Waiting 24 Reason: ContainerCreating 25 Ready: False 26 Restart Count: 0 27 Volume Mounts: <none> 28 Environment Variables: <none> 29 Conditions: 30 Type Status 31 Initialized True 32 Ready False 33 PodScheduled True 34 No volumes. 35 QoS Class: BestEffort 36 Tolerations: <none> 37 Events: 38 FirstSeen LastSeen Count From SubObjectPath Type Reason Message 39 --------- -------- ----- ---- ------------- -------- ------ ------- 40 3s 3s 1 {default-scheduler } Normal Scheduled Successfully assigned nginx to k8s-master 41 3s 3s 1 {kubelet k8s-master} Warning MissingClusterDNS kubelet does not have ClusterDNS IP configured and cannot create Pod using "ClusterFirst" policy. Falling back to DNSDefault policy. 42 2s 2s 1 {kubelet k8s-master} spec.containers{nginx} Normal Pulling pulling image "192.168.110.133:5000/ngnix:1.13" 43 [root@k8s-master pod]# kubectl get pod nginx 44 NAME READY STATUS RESTARTS AGE 45 nginx 1/1 Running 0 20s 46 [root@k8s-master pod]# kubectl get pod nginx -o wide 47 NAME READY STATUS RESTARTS AGE IP NODE 48 nginx 1/1 Running 0 24s 172.16.77.3 k8s-master 49 [root@k8s-master pod]#

由于上面將Nginx拼寫成了Ngnix造成的問題,我這里將上傳到私有倉庫的鏡像刪除一下,然后將K8s創建的Nginx Pod也刪除了,這里將拼寫正確的上傳到私有倉庫,再從私有倉庫下載一遍。

首先將k8s創建的Nginx Pod刪除掉。

1 [root@k8s-master pod]# kubectl get pod 2 NAME READY STATUS RESTARTS AGE 3 nginx 1/1 Running 0 2d 4 [root@k8s-master pod]# kubectl delete pod nginx 5 pod "nginx" deleted 6 [root@k8s-master pod]# kubectl get pod 7 No resources found. 8 [root@k8s-master pod]#

具體操作,如下所示:

注意:刪除Docker鏡像的時候,需要注意的是Docker有兩個命令的,查看docker的幫助會發現有兩個與刪除有關的命令rm和rmi。rm Remove one or more containers,rmi Remove one or more images,對于images很好理解,跟平常使用的虛擬機的鏡像一個意思,相當于一個模版,而container則是images運行時的的狀態,docker對于運行過的image都保留一個狀態(container),可以使用命令docker ps來查看正在運行的container,對于已經退出的container,則可以使用docker ps -a來查看。 如果你退出了一個container而忘記保存其中的數據,你可以使用docker ps -a來找到對應的運行過的container使用docker commit命令將其保存為image然后運行。

由于image被某個container引用(拿來運行),如果不將這個引用的container銷毀(刪除),那image肯定是不能被刪除。所以想要刪除運行過的images必須首先刪除它的container。

1 container正在運行中(運行docker ps查看),先將其關閉。 2 docker ps -a 3 docker rm CONTAINER ID 4 docker stop CONTAINER ID 5 docker rm CONTAINER ID 6 docker rmi -f IMAGE ID 7 docker images

由于我這里是k8s起Pod用到的,沒有使用Docker部署Nginx,所以我直接將它干掉了。

現在將Docker的鏡像上傳到私有倉庫。

1 [root@k8s-node2 ~]# docker images2 REPOSITORY TAG IMAGE ID CREATED SIZE3 docker.io/busybox latest 1c35c4412082 5 days ago 1.22 MB4 docker.io/nginx 1.13 ae513a47849c 2 years ago 109 MB5 192.168.110.133:5000/pod-infrastructure latest 34d3450d733b 3 years ago 205 MB6 docker.io/tianyebj/pod-infrastructure latest 34d3450d733b 3 years ago 205 MB7 [root@k8s-node2 ~]# docker tag docker.io/nginx:1.13 192.168.110.133:5000/nginx:1.138 [root@k8s-node2 ~]# docker push 192.168.110.133:5000/nginx:1.13 9 The push refers to a repository [192.168.110.133:5000/nginx] 10 7ab428981537: Pushed 11 82b81d779f83: Pushed 12 d626a8ad97a1: Pushed 13 1.13: digest: sha256:e4f0474a75c510f40b37b6b7dc2516241ffa8bde5a442bde3d372c9519c84d90 size: 948 14 [root@k8s-node2 ~]#

記得修改自己的nginx_pod.yaml配置文件,下次創建Nginx可以直接從私有倉庫下載的,速度很快。

1 apiVersion: v12 kind: Pod3 metadata:4 name: nginx5 labels:6 app: web7 spec:8 containers:9 - name: nginx 10 image: 192.168.110.133:5000/nginx:1.13 11 ports: 12 - containerPort: 80

可以看到這次創建的Pod非常的快。

1 [root@k8s-master pod]# kubectl create -f nginx_pod.yaml 2 pod "nginx" created 3 [root@k8s-master pod]# kubectl get pod 4 NAME READY STATUS RESTARTS AGE 5 nginx 1/1 Running 0 8s 6 [root@k8s-master pod]#

?

4、使用docker ps可以查看運行了多少個容器。

1 [root@k8s-node3 ~]# docker ps 2 CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 3 3df24ca19115 192.168.110.133:5000/nginx:1.13 "nginx -g 'daemon ..." 18 minutes ago Up 18 minutes k8s_nginx.536c04d1_nginx_default_c8a6f3d8-a959-11ea-8dbd-000c2919d52d_875fe334 4 652f57e1b9a9 192.168.110.133:5000/pod-infrastructure:latest "/pod" 18 minutes ago Up 18 minutes k8s_POD.cbd802f1_nginx_default_c8a6f3d8-a959-11ea-8dbd-000c2919d52d_de21241c 5 [root@k8s-node3 ~]#

使用命令查看容器的ip地址是多少。需要注意的是Nginx容器和pod是共用ip地址的。

1 [root@k8s-node3 ~]# docker ps2 CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES3 3df24ca19115 192.168.110.133:5000/nginx:1.13 "nginx -g 'daemon ..." 24 minutes ago Up 24 minutes k8s_nginx.536c04d1_nginx_default_c8a6f3d8-a959-11ea-8dbd-000c2919d52d_875fe3344 652f57e1b9a9 192.168.110.133:5000/pod-infrastructure:latest "/pod" 24 minutes ago Up 24 minutes k8s_POD.cbd802f1_nginx_default_c8a6f3d8-a959-11ea-8dbd-000c2919d52d_de21241c5 [root@k8s-node3 ~]# docker inspect 652f57e1b9a9 | grep -i ipaddress6 "SecondaryIPAddresses": null,7 "IPAddress": "172.16.13.2",8 "IPAddress": "172.16.13.2",9 [root@k8s-node3 ~]# docker inspect 3df24ca19115 | grep -i ipaddress 10 "SecondaryIPAddresses": null, 11 "IPAddress": "", 12 [root@k8s-node3 ~]#

可以看到只有pod有ip地址,nginx沒有ip地址的。nginx和pod共用ip地址。

這里可以查看Nginx的網絡類型,可以發現Nginx的網絡類型是container類型的,它和652f57e1b9a9這個容器共用ip地址。

1 [root@k8s-node3 ~]# docker inspect 3df24ca19115 | grep -i network 2 "NetworkMode": "container:652f57e1b9a9d71453d39c40f48c90738b53a66a42888a72f4885b0a69c4a233", 3 "NetworkSettings": { 4 "Networks": {} 5 [root@k8s-node3 ~]#

此處有坑,需要注意,SELinux是「Security-Enhanced Linux」的簡稱,是美國國家安全局「NSA=The National Security Agency」 和SCC(Secure Computing Corporation)開發的 Linux的一個擴張強制訪問控制安全模塊。

問題,我使用k8s創建的nginx pod,使用curl -I 172.16.101.2命令一直卡住不動,應該是那里不通,這里需要將SELinux關閉。

1 # 方法一,查看selinux的狀態 2 [root@k8s-master ~]# /usr/sbin/sestatus -v 3 SELinux status: disabled 4 # 方法二,查看selinux的狀態 5 [root@k8s-master ~]# getenforce 6 Disabled 7 [root@k8s-master ~]#

不關機臨時變更狀態為關閉setenforce 0,這個方法好像不好使的樣子,反正我是不好使。需要關機永久變更狀態為關閉,將SELINUX從enforcing變更為disabled,修改配置文件vim /etc/selinux/config,將SELINUX=enforcing修改為SELINUX=disabled即可。

重啟三臺機器,由于之前將k8s的組件都是設置為開機自啟動了,這里檢測一下他們的狀態,看看創建的Pod是否正常運行,看看k8s的組件是否健康,然后就可以使用curl進行測試了。

剛才在Master主節點使用curl -I 172.16.101.2是可以訪問Nginx的。使用docker ps查看容器列表的時候發現了兩個容器,一個是pod的容器,它的ip地址是172.16.101.2,還有一個是在Pod配置文件中定義的一個容器,它的ip地址是沒有的,它的網絡模式是container共用網絡模式,它和pod容器共用網絡,container類型是共用容器,即他們兩個的ip地址都是172.16.101.2,唯一的差別就是其中一個占用的端口,另一個容器不用占用這個端口了,端口不可以沖突,先到先得。

5、k8s中的pod資源到底是什么?

答:k8s中創建一個pod資源,這個pod資源會控制kuelet,kubelet控制docker至少啟動兩個容器,一個容器是業務容器Nginx,一個容器是pod容器。kubernetes核心功能有自我修復,服務發現和負載均衡,自動部署和回滾,彈性伸縮。

  如果這些高級功能只是靠一個普通的業務容器Nginx,這是不可能做到的,如果想要普通業務容器支持這些功能,就需要進行定制,為了降低你的制作容器鏡像的成本,k8s做好了一個容器,這個容器就是pod,這個pod容器支持k8s的高級功能,那么這個pod容器如何和普通容器綁到一起呢,這里使用的就是網絡類型container。

  k8s的高級功能由pod容器提供,nginx業務容器只需要提供80端口訪問即可,通過container類型將他們綁定到一起,訪問80端口可以正常走nginx容器,其他的k8s的高級功能由pod提供,他們之間相輔相成,最終他們合在一起構建了一個資源,這個資源就叫做pod。在k8s中經常提到pod是一個資源叫做pod,這個pod資源會啟動兩個容器,一個是nginx業務容器,一個是基礎的pod容器。

?

6、K8s中Pod的常用操作。

  K8s的Pod的配置文件是yaml格式的文件,yaml格式里面如果冒號屬性的前面是短橫線的話,就代表這是一個列表資源,可以有多個,這個也就是說k8s中創建一個pod資源,這個pod資源會控制kuelet,kubelet控制docker至少啟動兩個容器,也可以啟動多個容器,只要容器的端口不沖突即可。

1 apiVersion: v12 kind: Pod3 metadata:4 name: test15 labels:6 app: web7 spec:8 containers:9 # 使用鍵盤4yy,然后使用pp就可以粘貼復制的4行。 10 - name: nginx 11 image: 192.168.110.133:5000/nginx:1.13 12 ports: 13 - containerPort: 80 14 # 一個Pod可以啟動至少兩個容器。 15 - name: busybox 16 # 記得加上版本號的哦,這里使用docker里面的鏡像 17 image: docker.io/busybox:latest 18 # 如果是docker默認命令是夯不住的,夯不住就會死掉了,這里使用一些命令讓它夯住。 19 command: ["sleep","3600"] 20 ports: 21 - containerPort: 80

配置如下所示:

然后使用kubectl創建資源,如下所示:

1 [root@k8s-master pod]# vim nginx_pod.yaml 2 [root@k8s-master pod]# kubectl create -f nginx_pod.yaml 3 pod "test1" created 4 [root@k8s-master pod]# kubectl get pod -o wide 5 NAME READY STATUS RESTARTS AGE IP NODE 6 nginx 1/1 Running 1 4h 172.16.101.2 k8s-node3 7 test 1/1 Running 0 3m 172.16.52.2 k8s-node2 8 test1 0/2 ContainerCreating 0 4s <none> k8s-master

發現test1這個Pod里面的兩個沒有全部啟動起來。可以使用kubectl describe pod test1命令查看詳情。

1 [root@k8s-master pod]# kubectl get pod -o wide2 NAME READY STATUS RESTARTS AGE IP NODE3 nginx 1/1 Running 1 4h 172.16.101.2 k8s-node34 test 1/1 Running 0 6m 172.16.52.2 k8s-node25 test1 1/2 ImagePullBackOff 0 3m 172.16.29.2 k8s-master6 [root@k8s-master pod]# kubectl describe pod test17 Name: test18 Namespace: default9 Node: k8s-master/192.168.110.133 10 Start Time: Mon, 08 Jun 2020 19:32:18 +0800 11 Labels: app=web 12 Status: Pending 13 IP: 172.16.29.2 14 Controllers: <none> 15 Containers: 16 nginx: 17 Container ID: 18 Image: 192.168.110.133:5000/nginx:1.13 19 Image ID: 20 Port: 80/TCP 21 State: Waiting 22 Reason: ImagePullBackOff 23 Ready: False 24 Restart Count: 0 25 Volume Mounts: <none> 26 Environment Variables: <none> 27 busybox: 28 Container ID: docker://adb4a9f14d1b0d6ee390923eeabd9269bfa1683f0ef02f094c5a24d4b204db64 29 Image: docker.io/busybox:latest 30 Image ID: docker-pullable://docker.io/busybox@sha256:95cf004f559831017cdf4628aaf1bb30133677be8702a8c5f2994629f637a209 31 Port: 80/TCP 32 Command: 33 sleep 34 3600 35 State: Running 36 Started: Mon, 08 Jun 2020 19:32:45 +0800 37 Ready: True 38 Restart Count: 0 39 Volume Mounts: <none> 40 Environment Variables: <none> 41 Conditions: 42 Type Status 43 Initialized True 44 Ready False 45 PodScheduled True 46 No volumes. 47 QoS Class: BestEffort 48 Tolerations: <none> 49 Events: 50 FirstSeen LastSeen Count From SubObjectPath Type Reason Message 51 --------- -------- ----- ---- ------------- -------- ------ ------- 52 4m 4m 1 {default-scheduler } Normal Scheduled Successfully assigned test1 to k8s-master 53 4m 4m 1 {kubelet k8s-master} spec.containers{busybox} Normal Pulling pulling image "docker.io/busybox:latest" 54 4m 3m 2 {kubelet k8s-master} Warning MissingClusterDNS kubelet does not have ClusterDNS IP configured and cannot create Pod using "ClusterFirst" policy. Falling back to DNSDefault policy. 55 3m 3m 1 {kubelet k8s-master} spec.containers{busybox} Normal Pulled Successfully pulled image "docker.io/busybox:latest" 56 3m 3m 1 {kubelet k8s-master} spec.containers{busybox} Normal Created Created container with docker id adb4a9f14d1b; Security:[seccomp=unconfined] 57 3m 3m 1 {kubelet k8s-master} spec.containers{busybox} Normal Started Started container with docker id adb4a9f14d1b 58 4m 1m 5 {kubelet k8s-master} spec.containers{nginx} Normal Pulling pulling image "192.168.110.133:5000/nginx:1.13" 59 4m 1m 5 {kubelet k8s-master} spec.containers{nginx} Warning Failed Failed to pull image "192.168.110.133:5000/nginx:1.13": Error while pulling image: Get http://192.168.110.133:5000/v1/repositories/nginx/images: dial tcp 192.168.110.133:5000: connect: connection refused 60 3m 1m 5 {kubelet k8s-master} Warning FailedSync Error syncing pod, skipping: failed to "StartContainer" for "nginx" with ErrImagePull: "Error while pulling image: Get http://192.168.110.133:5000/v1/repositories/nginx/images: dial tcp 192.168.110.133:5000: connect: connection refused" 61 62 3m 11s 15 {kubelet k8s-master} spec.containers{nginx} Normal BackOff Back-off pulling image "192.168.110.133:5000/nginx:1.13" 63 3m 0s 16 {kubelet k8s-master} Warning FailedSync Error syncing pod, skipping: failed to "StartContainer" for "nginx" with ImagePullBackOff: "Back-off pulling image \"192.168.110.133:5000/nginx:1.13\"" 64 65 [root@k8s-master pod]#

其實,我的三臺節點上面是有busybox的鏡像的,可以使用docker images進行查看,但是還是失敗了。這里需要配置一下鏡像的默認更新策略,在自己的nginx_pod.yaml配置默認的更新策略imagePullPolicy,默認是Always,可以設置為IfNotPresent如果有就不更新。

1 apiVersion: v12 kind: Pod3 metadata:4 name: test25 labels:6 app: web7 spec:8 containers:9 - name: nginx 10 image: 192.168.110.133:5000/nginx:1.13 11 ports: 12 - containerPort: 80 13 - name: busybox 14 image: docker.io/busybox:latest 15 imagePullPolicy: IfNotPresent 16 command: ["sleep","3600"] 17 ports: 18 - containerPort: 80

然后創建這個Pod,可以看到立馬就創建成功了。

1 [root@k8s-master pod]# vim nginx_pod.yaml 2 [root@k8s-master pod]# kubectl create -f nginx_pod.yaml 3 pod "test2" created4 5 [root@k8s-master pod]# kubectl get pod -o wide6 NAME READY STATUS RESTARTS AGE IP NODE7 nginx 1/1 Running 1 4h 172.16.101.2 k8s-node38 test 1/1 Running 0 29m 172.16.52.2 k8s-node29 test1 1/2 ImagePullBackOff 0 26m 172.16.29.2 k8s-master 10 test2 2/2 Running 0 12s 172.16.101.3 k8s-node3 11 [root@k8s-master pod]#

證明了一個Pod資源里面至少可以啟動兩個容器,也可以啟動多個業務容器的。

?

?

7、查看kubectl的幫助,如下所示:

1 [root@k8s-master ~]# kubectl explain pod

一個Pod的必須屬性,apiVersion、kind、metadata、spec,但是status創建之后,系統自動添加的,不用管它。

我們要找的是pod.spec.containers,可以繼續使用命令進行查找。

1 [root@k8s-master ~]# kubectl explain pod.spec.containers

pod.spec.containers詳細,如下所示:

可以看到command的而寫法是command?? ?<[]string>。參數是中括號,里面是一個字符串,然后里面是一個shell。

1 [root@k8s-master ~]# kubectl explain pod.spec.containers2 RESOURCE: containers <[]Object>3 4 DESCRIPTION:5 List of containers belonging to the pod. Containers cannot currently be6 added or removed. There must be at least one container in a Pod. Cannot be7 updated. More info: http://kubernetes.io/docs/user-guide/containers8 9 A single application container that you want to run within a pod.10 11 FIELDS:12 command <[]string>13 Entrypoint array. Not executed within a shell. The docker image's14 ENTRYPOINT is used if this is not provided. Variable references $(VAR_NAME)15 are expanded using the container's environment. If a variable cannot be16 resolved, the reference in the input string will be unchanged. The17 $(VAR_NAME) syntax can be escaped with a double $$, ie: $$(VAR_NAME).18 Escaped references will never be expanded, regardless of whether the19 variable exists or not. Cannot be updated. More info:20 http://kubernetes.io/docs/user-guide/containers#containers-and-commands21 22 env <[]Object>23 List of environment variables to set in the container. Cannot be updated.24 25 lifecycle <Object>26 Actions that the management system should take in response to container27 lifecycle events. Cannot be updated.28 29 volumeMounts <[]Object>30 Pod volumes to mount into the container's filesystem. Cannot be updated.31 32 stdin <boolean>33 Whether this container should allocate a buffer for stdin in the container34 runtime. If this is not set, reads from stdin in the container will always35 result in EOF. Default is false.36 37 livenessProbe <Object>38 Periodic probe of container liveness. Container will be restarted if the39 probe fails. Cannot be updated. More info:40 http://kubernetes.io/docs/user-guide/pod-states#container-probes41 42 name <string> -required-43 Name of the container specified as a DNS_LABEL. Each container in a pod44 must have a unique name (DNS_LABEL). Cannot be updated.45 46 readinessProbe <Object>47 Periodic probe of container service readiness. Container will be removed48 from service endpoints if the probe fails. Cannot be updated. More info:49 http://kubernetes.io/docs/user-guide/pod-states#container-probes50 51 resources <Object>52 Compute Resources required by this container. Cannot be updated. More info:53 http://kubernetes.io/docs/user-guide/persistent-volumes#resources54 55 workingDir <string>56 Container's working directory. If not specified, the container runtime's57 default will be used, which might be configured in the container image.58 Cannot be updated.59 60 args <[]string>61 Arguments to the entrypoint. The docker image's CMD is used if this is not62 provided. Variable references $(VAR_NAME) are expanded using the container's63 environment. If a variable cannot be resolved, the reference in the input64 string will be unchanged. The $(VAR_NAME) syntax can be escaped with a65 double $$, ie: $$(VAR_NAME). Escaped references will never be expanded,66 regardless of whether the variable exists or not. Cannot be updated. More67 info:68 http://kubernetes.io/docs/user-guide/containers#containers-and-commands69 70 imagePullPolicy <string>71 Image pull policy. One of Always, Never, IfNotPresent. Defaults to Always72 if :latest tag is specified, or IfNotPresent otherwise. Cannot be updated.73 More info: http://kubernetes.io/docs/user-guide/images#updating-images74 75 ports <[]Object>76 List of ports to expose from the container. Exposing a port here gives the77 system additional information about the network connections a container78 uses, but is primarily informational. Not specifying a port here DOES NOT79 prevent that port from being exposed. Any port which is listening on the80 default "0.0.0.0" address inside a container will be accessible from the81 network. Cannot be updated.82 83 tty <boolean>84 Whether this container should allocate a TTY for itself, also requires85 'stdin' to be true. Default is false.86 87 image <string>88 Docker image name. More info: http://kubernetes.io/docs/user-guide/images89 90 securityContext <Object>91 Security options the pod should run with. More info:92 http://releases.k8s.io/HEAD/docs/design/security_context.md93 94 stdinOnce <boolean>95 Whether the container runtime should close the stdin channel after it has96 been opened by a single attach. When stdin is true the stdin stream will97 remain open across multiple attach sessions. If stdinOnce is set to true,98 stdin is opened on container start, is empty until the first client attaches99 to stdin, and then remains open and accepts data until the client 100 disconnects, at which time stdin is closed and remains closed until the 101 container is restarted. If this flag is false, a container processes that 102 reads from stdin will never receive an EOF. Default is false 103 104 terminationMessagePath <string> 105 Optional: Path at which the file to which the container's termination 106 message will be written is mounted into the container's filesystem. Message 107 written is intended to be brief final status, such as an assertion failure 108 message. Defaults to /dev/termination-log. Cannot be updated. 109 110 111 [root@k8s-master ~]#

?

8、K8s中Pod的常用操作。

1 -- 創建Pod資源2 [root@k8s-master pod]# kubectl create -f nginx_pod.yaml 3 4 -- 刪除一個Pod,強制刪除Pod的參數--force --grace-period=05 [root@k8s-master pod]# kubectl delete pod test16 pod "test1" deleted7 [root@k8s-master pod]# kubectl get pod -o wide8 NAME READY STATUS RESTARTS AGE IP NODE9 nginx 1/1 Running 1 4h 172.16.101.2 k8s-node3 10 test 1/1 Running 0 35m 172.16.52.2 k8s-node2 11 test1 1/2 Terminating 0 31m 172.16.29.2 k8s-master 12 test2 2/2 Running 0 5m 172.16.101.3 k8s-node3 13 [root@k8s-master pod]# kubectl get pod -o wide 14 NAME READY STATUS RESTARTS AGE IP NODE 15 nginx 1/1 Running 1 4h 172.16.101.2 k8s-node3 16 test 1/1 Running 0 36m 172.16.52.2 k8s-node2 17 test2 2/2 Running 0 6m 172.16.101.3 k8s-node3 18 [root@k8s-master pod]# kubectl delete pod test --force --grace-period=0 19 warning: Immediate deletion does not wait for confirmation that the running resource has been terminated. The resource may continue to run on the cluster indefinitely. 20 pod "test" deleted 21 [root@k8s-master pod]# kubectl get pod -o wide 22 NAME READY STATUS RESTARTS AGE IP NODE 23 nginx 1/1 Running 1 4h 172.16.101.2 k8s-node3 24 test2 2/2 Running 0 7m 172.16.101.3 k8s-node3 25 [root@k8s-master pod]# 26 27 -- 查看Pod的詳細描述 28 [root@k8s-master pod]# kubectl describe pod nginx 29 30 -- 更新Pod,根據配置文件更新,只能加資源。 31 [root@k8s-master pod]# kubectl apply -f nginx_pod.yaml 32 pod "test4" created 33 [root@k8s-master pod]# kubectl get pod -o wide 34 NAME READY STATUS RESTARTS AGE IP NODE 35 nginx 1/1 Running 1 4h 172.16.101.2 k8s-node3 36 test1 0/1 ImagePullBackOff 0 1m 172.16.29.2 k8s-master 37 test2 2/2 Running 0 23m 172.16.101.3 k8s-node3 38 test4 1/1 Running 0 3s 172.16.52.2 k8s-node2 39 [root@k8s-master pod]#

?

接下來開始學習RC(Replication Controller)咯。

總結

以上是生活随笔為你收集整理的Kubernetes(k8s)常用资源的使用、Pod的常用操作的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

天天燥日日燥 | 中文字幕+乱码+中文字幕一区 | 国产色视频一区二区三区 | 成人无码视频免费播放 | 亚洲精品成人福利网站 | 国产精品对白交换视频 | 欧美精品无码一区二区三区 | 国产suv精品一区二区五 | 欧美熟妇另类久久久久久不卡 | 四虎4hu永久免费 | 国产精品鲁鲁鲁 | 蜜桃av抽搐高潮一区二区 | 无码人妻精品一区二区三区不卡 | 性色av无码免费一区二区三区 | 日韩av无码一区二区三区不卡 | 国产超碰人人爽人人做人人添 | 亚洲精品欧美二区三区中文字幕 | 色妞www精品免费视频 | 国产精品爱久久久久久久 | 国产午夜福利100集发布 | 久久久久se色偷偷亚洲精品av | 亚洲高清偷拍一区二区三区 | aⅴ在线视频男人的天堂 | 任你躁在线精品免费 | a在线亚洲男人的天堂 | 少妇高潮喷潮久久久影院 | 一个人看的视频www在线 | 亚洲精品国偷拍自产在线观看蜜桃 | 日本大香伊一区二区三区 | 无码国模国产在线观看 | 亚洲自偷自偷在线制服 | 久久久久99精品国产片 | 国产亚洲精品久久久ai换 | 日本一本二本三区免费 | 成在人线av无码免观看麻豆 | 成熟女人特级毛片www免费 | 亚洲欧美国产精品久久 | 天天拍夜夜添久久精品 | 两性色午夜视频免费播放 | 亚洲熟女一区二区三区 | 香蕉久久久久久av成人 | 偷窥日本少妇撒尿chinese | 午夜福利不卡在线视频 | 伊人色综合久久天天小片 | 国产精品毛多多水多 | 中文字幕乱码人妻二区三区 | 欧美丰满少妇xxxx性 | av无码电影一区二区三区 | 日韩人妻系列无码专区 | 日本精品少妇一区二区三区 | 久久国内精品自在自线 | 亚洲国产欧美国产综合一区 | 日韩人妻少妇一区二区三区 | 男人的天堂2018无码 | 亚洲第一无码av无码专区 | 精品国产一区av天美传媒 | 丝袜足控一区二区三区 | 欧美精品免费观看二区 | 一本久久伊人热热精品中文字幕 | 久久这里只有精品视频9 | 亚洲精品久久久久avwww潮水 | 丰腴饱满的极品熟妇 | 久久天天躁狠狠躁夜夜免费观看 | 亚洲熟妇色xxxxx欧美老妇 | 欧美日韩亚洲国产精品 | 婷婷五月综合激情中文字幕 | 狠狠躁日日躁夜夜躁2020 | 小鲜肉自慰网站xnxx | 任你躁国产自任一区二区三区 | 男人扒开女人内裤强吻桶进去 | 永久黄网站色视频免费直播 | 日日麻批免费40分钟无码 | 中文字幕久久久久人妻 | 中文字幕av无码一区二区三区电影 | 色一情一乱一伦一视频免费看 | a在线亚洲男人的天堂 | 亚洲成av人影院在线观看 | 内射爽无广熟女亚洲 | 中文字幕+乱码+中文字幕一区 | 久久久久久久久蜜桃 | 精品成在人线av无码免费看 | 激情内射日本一区二区三区 | 奇米综合四色77777久久 东京无码熟妇人妻av在线网址 | 久久久无码中文字幕久... | 国产午夜福利亚洲第一 | 免费播放一区二区三区 | 日韩欧美中文字幕公布 | 国产人妻精品一区二区三区不卡 | 免费观看激色视频网站 | 久热国产vs视频在线观看 | 熟女体下毛毛黑森林 | 无码成人精品区在线观看 | 国产精品美女久久久网av | 少妇被粗大的猛进出69影院 | 日本精品高清一区二区 | 日韩av无码一区二区三区不卡 | 最新国产乱人伦偷精品免费网站 | 四虎永久在线精品免费网址 | 国产亚洲视频中文字幕97精品 | 亚洲精品一区二区三区婷婷月 | 国产成人精品必看 | 国内少妇偷人精品视频免费 | 欧洲极品少妇 | 国产亚洲精品精品国产亚洲综合 | 性生交大片免费看l | 丰满肥臀大屁股熟妇激情视频 | 久激情内射婷内射蜜桃人妖 | 小sao货水好多真紧h无码视频 | 国产深夜福利视频在线 | 国产人妻精品一区二区三区不卡 | 欧美亚洲日韩国产人成在线播放 | 中文字幕无码日韩欧毛 | 中国女人内谢69xxxx | 无码国模国产在线观看 | 亚洲精品国产品国语在线观看 | 成人性做爰aaa片免费看不忠 | 久久精品人人做人人综合 | 亚洲 日韩 欧美 成人 在线观看 | 欧美成人免费全部网站 | 久久久亚洲欧洲日产国码αv | 熟女俱乐部五十路六十路av | 久久亚洲日韩精品一区二区三区 | 最新国产乱人伦偷精品免费网站 | 国产精品a成v人在线播放 | 国产偷抇久久精品a片69 | 成人免费视频一区二区 | 久在线观看福利视频 | 日韩精品一区二区av在线 | 日韩 欧美 动漫 国产 制服 | 又粗又大又硬又长又爽 | 亚洲日韩av片在线观看 | 老熟妇仑乱视频一区二区 | 亚洲の无码国产の无码步美 | 东京无码熟妇人妻av在线网址 | 无码中文字幕色专区 | 亚洲欧美日韩成人高清在线一区 | 欧美老人巨大xxxx做受 | 午夜丰满少妇性开放视频 | 久久精品国产大片免费观看 | 无码人妻丰满熟妇区毛片18 | 亚洲国产一区二区三区在线观看 | 国产特级毛片aaaaaaa高清 | 波多野结衣高清一区二区三区 | 永久免费精品精品永久-夜色 | 少妇无码一区二区二三区 | 欧美性猛交xxxx富婆 | 性欧美牲交xxxxx视频 | 青青草原综合久久大伊人精品 | 成人性做爰aaa片免费看不忠 | 亚洲国产精品无码久久久久高潮 | 国产麻豆精品一区二区三区v视界 | 国产另类ts人妖一区二区 | 99久久久无码国产精品免费 | 欧美国产日产一区二区 | 欧美成人家庭影院 | 亚洲第一无码av无码专区 | 麻豆人妻少妇精品无码专区 | 狠狠亚洲超碰狼人久久 | 免费国产黄网站在线观看 | 国产精品人妻一区二区三区四 | 亚洲伊人久久精品影院 | 无码任你躁久久久久久久 | 偷窥日本少妇撒尿chinese | 丰满人妻被黑人猛烈进入 | 亚洲一区二区三区在线观看网站 | 国产精品沙发午睡系列 | 欧美放荡的少妇 | 人妻少妇精品无码专区二区 | 激情内射亚州一区二区三区爱妻 | 伊人久久大香线焦av综合影院 | 欧美喷潮久久久xxxxx | 女人和拘做爰正片视频 | 精品国产一区二区三区四区 | 300部国产真实乱 | 久久99精品久久久久久动态图 | 男女下面进入的视频免费午夜 | 日韩人妻无码一区二区三区久久99 | 欧美性生交xxxxx久久久 | 男人和女人高潮免费网站 | 久久久久成人精品免费播放动漫 | 在线精品国产一区二区三区 | 中文字幕无码视频专区 | 天天燥日日燥 | 99视频精品全部免费免费观看 | 久久综合九色综合欧美狠狠 | 色一情一乱一伦一区二区三欧美 | 日欧一片内射va在线影院 | 成熟女人特级毛片www免费 | 久久国产自偷自偷免费一区调 | 欧美freesex黑人又粗又大 | 少妇愉情理伦片bd | 久久精品一区二区三区四区 | 在线观看国产午夜福利片 | 99麻豆久久久国产精品免费 | 国产午夜无码视频在线观看 | 无码乱肉视频免费大全合集 | 国产麻豆精品一区二区三区v视界 | 日本丰满护士爆乳xxxx | 欧美日韩精品 | 少妇高潮喷潮久久久影院 | 国产精品高潮呻吟av久久 | 国产香蕉尹人综合在线观看 | 亚洲成a人片在线观看日本 | 日本精品少妇一区二区三区 | 国产成人精品三级麻豆 | 亚洲精品中文字幕久久久久 | 精品国精品国产自在久国产87 | 中文字幕无线码 | 欧美 日韩 人妻 高清 中文 | 国产成人无码一二三区视频 | 一二三四在线观看免费视频 | 国产精品人人爽人人做我的可爱 | 九九综合va免费看 | 国产极品视觉盛宴 | 亚洲国产精品一区二区美利坚 | 亚洲无人区午夜福利码高清完整版 | 少妇人妻偷人精品无码视频 | 国产农村乱对白刺激视频 | 妺妺窝人体色www婷婷 | 丰满少妇女裸体bbw | 99久久精品无码一区二区毛片 | 青草青草久热国产精品 | av无码电影一区二区三区 | 成年美女黄网站色大免费视频 | 男女超爽视频免费播放 | 性做久久久久久久免费看 | 色诱久久久久综合网ywww | 亚洲精品一区二区三区在线观看 | 日本va欧美va欧美va精品 | 麻豆md0077饥渴少妇 | 亚洲精品一区二区三区在线观看 | 国产亚洲精品久久久久久大师 | 亚洲综合无码久久精品综合 | 中国女人内谢69xxxx | 爆乳一区二区三区无码 | 国产免费久久久久久无码 | 精品国偷自产在线视频 | 男女猛烈xx00免费视频试看 | 18禁黄网站男男禁片免费观看 | 午夜福利试看120秒体验区 | 狂野欧美性猛交免费视频 | 麻花豆传媒剧国产免费mv在线 | 精品成人av一区二区三区 | 久久久精品人妻久久影视 | 风流少妇按摩来高潮 | 亚洲经典千人经典日产 | 欧美亚洲国产一区二区三区 | 亚洲综合无码久久精品综合 | 99视频精品全部免费免费观看 | 亚洲人成网站免费播放 | 久久成人a毛片免费观看网站 | 国产亚洲人成a在线v网站 | 中文毛片无遮挡高清免费 | 久久精品丝袜高跟鞋 | 国产精品亚洲一区二区三区喷水 | 强伦人妻一区二区三区视频18 | 在线观看国产一区二区三区 | 国产精品99久久精品爆乳 | 日本又色又爽又黄的a片18禁 | 国产成人精品三级麻豆 | 亚洲日韩av一区二区三区中文 | 国产女主播喷水视频在线观看 | 国产乱人无码伦av在线a | 日本大乳高潮视频在线观看 | 中文字幕无线码免费人妻 | 国产超碰人人爽人人做人人添 | 精品偷拍一区二区三区在线看 | 成人亚洲精品久久久久软件 | 伊在人天堂亚洲香蕉精品区 | 日日摸天天摸爽爽狠狠97 | 无码人妻丰满熟妇区毛片18 | 国产真人无遮挡作爱免费视频 | 国产熟妇高潮叫床视频播放 | 7777奇米四色成人眼影 | 国产两女互慰高潮视频在线观看 | 色婷婷av一区二区三区之红樱桃 | 成人无码精品1区2区3区免费看 | 宝宝好涨水快流出来免费视频 | 日本在线高清不卡免费播放 | 性色欲网站人妻丰满中文久久不卡 | 亚洲爆乳大丰满无码专区 | 精品人妻中文字幕有码在线 | 成人性做爰aaa片免费看不忠 | 日日天日日夜日日摸 | 扒开双腿疯狂进出爽爽爽视频 | 亚洲国产精品毛片av不卡在线 | 亚洲综合无码一区二区三区 | 国产精品久久久久久久影院 | 97久久精品无码一区二区 | 中文字幕无码乱人伦 | 丰满少妇弄高潮了www | 欧美猛少妇色xxxxx | 精品国产麻豆免费人成网站 | 亚洲国产精品一区二区美利坚 | 色一情一乱一伦一区二区三欧美 | 老头边吃奶边弄进去呻吟 | 亚洲码国产精品高潮在线 | 亚洲熟妇色xxxxx欧美老妇y | 精品久久久无码中文字幕 | 亚洲人成无码网www | 精品熟女少妇av免费观看 | 国产亚洲欧美日韩亚洲中文色 | 色诱久久久久综合网ywww | 国产精品高潮呻吟av久久 | 日本一本二本三区免费 | 97se亚洲精品一区 | 天天拍夜夜添久久精品 | 国产美女精品一区二区三区 | 国产无遮挡又黄又爽免费视频 | 午夜免费福利小电影 | 妺妺窝人体色www在线小说 | 精品成在人线av无码免费看 | 天天做天天爱天天爽综合网 | 99riav国产精品视频 | 国精产品一品二品国精品69xx | 亚洲欧美日韩综合久久久 | 内射老妇bbwx0c0ck | 亚洲欧洲日本无在线码 | 欧美丰满熟妇xxxx | 国产成人久久精品流白浆 | 强伦人妻一区二区三区视频18 | 国产又粗又硬又大爽黄老大爷视 | aⅴ亚洲 日韩 色 图网站 播放 | 久久久成人毛片无码 | 免费观看又污又黄的网站 | 精品久久久无码中文字幕 | 精品国产一区二区三区av 性色 | 麻豆国产人妻欲求不满谁演的 | 日韩欧美群交p片內射中文 | 亚洲日本va午夜在线电影 | 亚洲成色在线综合网站 | 97夜夜澡人人双人人人喊 | 亚洲精品午夜国产va久久成人 | 精品无码国产自产拍在线观看蜜 | 无码国产乱人伦偷精品视频 | 天天做天天爱天天爽综合网 | 欧美精品免费观看二区 | 亚洲精品一区三区三区在线观看 | 亚洲成av人综合在线观看 | 亚洲自偷精品视频自拍 | 荫蒂被男人添的好舒服爽免费视频 | 亚洲精品国产第一综合99久久 | 亚洲一区二区三区偷拍女厕 | 狠狠色丁香久久婷婷综合五月 | 玩弄少妇高潮ⅹxxxyw | 国产在线aaa片一区二区99 | 亚洲熟妇色xxxxx亚洲 | 精品少妇爆乳无码av无码专区 | 午夜福利试看120秒体验区 | 自拍偷自拍亚洲精品10p | 日本一卡2卡3卡四卡精品网站 | 久久无码专区国产精品s | 欧美人与禽zoz0性伦交 | 性啪啪chinese东北女人 | 香蕉久久久久久av成人 | 久久久久久九九精品久 | 欧美黑人巨大xxxxx | 亚洲成av人片天堂网无码】 | 东京无码熟妇人妻av在线网址 | 红桃av一区二区三区在线无码av | 性色欲情网站iwww九文堂 | 国产欧美精品一区二区三区 | 国产另类ts人妖一区二区 | 草草网站影院白丝内射 | 免费国产成人高清在线观看网站 | 欧美激情综合亚洲一二区 | 2019nv天堂香蕉在线观看 | 青青久在线视频免费观看 | 久久人人爽人人爽人人片ⅴ | 麻豆成人精品国产免费 | 性欧美牲交在线视频 | 亚洲日韩乱码中文无码蜜桃臀网站 | 国产色在线 | 国产 | 亚洲欧洲日本无在线码 | www国产亚洲精品久久久日本 | 99久久精品日本一区二区免费 | 99久久精品国产一区二区蜜芽 | 国产成人无码av一区二区 | 呦交小u女精品视频 | 1000部啪啪未满十八勿入下载 | 亚洲区欧美区综合区自拍区 | 亚洲欧美国产精品专区久久 | 亚洲阿v天堂在线 | 午夜无码区在线观看 | 久久天天躁夜夜躁狠狠 | 久久99精品国产麻豆 | 日韩av无码一区二区三区 | 亚洲精品中文字幕乱码 | 天天拍夜夜添久久精品大 | 人人澡人人妻人人爽人人蜜桃 | 亚洲精品一区二区三区四区五区 | 成人欧美一区二区三区黑人 | 网友自拍区视频精品 | 国产精品毛多多水多 | 天天摸天天透天天添 | 亚洲日韩一区二区三区 | 无码av免费一区二区三区试看 | 久久精品中文字幕大胸 | 中文字幕无码日韩欧毛 | 999久久久国产精品消防器材 | 在线播放无码字幕亚洲 | 在线欧美精品一区二区三区 | 真人与拘做受免费视频一 | 老子影院午夜伦不卡 | 免费网站看v片在线18禁无码 | 小泽玛莉亚一区二区视频在线 | 亚洲の无码国产の无码步美 | 久久国产精品_国产精品 | 人人妻人人澡人人爽欧美一区 | 亚洲精品综合一区二区三区在线 | 51国偷自产一区二区三区 | 久久久久久九九精品久 | 中文字幕人妻无码一夲道 | 国产精品久久久av久久久 | 久久久www成人免费毛片 | 亚洲 日韩 欧美 成人 在线观看 | 99精品国产综合久久久久五月天 | 国产精品人妻一区二区三区四 | 国产午夜精品一区二区三区嫩草 | 亚洲国产精品毛片av不卡在线 | 97久久精品无码一区二区 | 国产麻豆精品一区二区三区v视界 | 中文精品无码中文字幕无码专区 | 久久亚洲精品中文字幕无男同 | 无码精品国产va在线观看dvd | 精品欧洲av无码一区二区三区 | 中文字幕乱码亚洲无线三区 | 性生交大片免费看女人按摩摩 | 熟女少妇在线视频播放 | 国产真实乱对白精彩久久 | 欧美一区二区三区视频在线观看 | 国产黑色丝袜在线播放 | 久久97精品久久久久久久不卡 | 色一情一乱一伦一区二区三欧美 | 欧美丰满熟妇xxxx性ppx人交 | 中文字幕乱码中文乱码51精品 | аⅴ资源天堂资源库在线 | 水蜜桃色314在线观看 | 亚洲色大成网站www国产 | 激情亚洲一区国产精品 | 午夜精品一区二区三区的区别 | 大色综合色综合网站 | 99国产欧美久久久精品 | 丰满少妇人妻久久久久久 | 中文久久乱码一区二区 | 国产午夜福利亚洲第一 | 国产精品久久久久久久影院 | a片在线免费观看 | 激情国产av做激情国产爱 | 乱码午夜-极国产极内射 | 国产在线精品一区二区高清不卡 | 国产99久久精品一区二区 | 亚洲毛片av日韩av无码 | 色窝窝无码一区二区三区色欲 | 国产明星裸体无码xxxx视频 | 免费国产成人高清在线观看网站 | 久久精品丝袜高跟鞋 | 久久精品国产亚洲精品 | 国产成人无码av片在线观看不卡 | 日本熟妇人妻xxxxx人hd | 日本乱偷人妻中文字幕 | 午夜福利试看120秒体验区 | 亚洲 高清 成人 动漫 | 精品一二三区久久aaa片 | 无码播放一区二区三区 | 亚拍精品一区二区三区探花 | 久久综合网欧美色妞网 | 人妻有码中文字幕在线 | 国产精品人人爽人人做我的可爱 | 大地资源中文第3页 | 亚洲一区av无码专区在线观看 | 国产精品久久久久影院嫩草 | 亚洲欧洲日本无在线码 | 久久亚洲日韩精品一区二区三区 | 亚洲aⅴ无码成人网站国产app | 国产成人无码av在线影院 | 国产农村乱对白刺激视频 | 国产人妻大战黑人第1集 | 精品厕所偷拍各类美女tp嘘嘘 | 成熟妇人a片免费看网站 | 狠狠cao日日穞夜夜穞av | 一二三四在线观看免费视频 | 波多野结衣高清一区二区三区 | 欧洲欧美人成视频在线 | 狠狠色噜噜狠狠狠狠7777米奇 | 国产午夜手机精彩视频 | 中文字幕中文有码在线 | 国产精品久久久久久久9999 | 77777熟女视频在线观看 а天堂中文在线官网 | 国产乱子伦视频在线播放 | 久久99精品国产.久久久久 | 亚洲 日韩 欧美 成人 在线观看 | 久久综合九色综合欧美狠狠 | 久久国内精品自在自线 | 色偷偷av老熟女 久久精品人妻少妇一区二区三区 | 麻豆国产丝袜白领秘书在线观看 | 国产无遮挡吃胸膜奶免费看 | 精品人妻人人做人人爽夜夜爽 | 色婷婷综合中文久久一本 | 大地资源中文第3页 | 两性色午夜免费视频 | 又黄又爽又色的视频 | 精品国产一区二区三区四区 | 午夜熟女插插xx免费视频 | 精品偷自拍另类在线观看 | 无码av岛国片在线播放 | 久久精品中文字幕大胸 | 国产精品无码永久免费888 | 成人影院yy111111在线观看 | 男女下面进入的视频免费午夜 | 2019午夜福利不卡片在线 | 亚洲の无码国产の无码步美 | 欧美日韩一区二区免费视频 | 国产色在线 | 国产 | 人人澡人人透人人爽 | 四虎4hu永久免费 | 高潮毛片无遮挡高清免费视频 | 精品亚洲韩国一区二区三区 | 国产亚洲精品久久久久久久久动漫 | 国产内射爽爽大片视频社区在线 | 日日鲁鲁鲁夜夜爽爽狠狠 | 欧美xxxx黑人又粗又长 | 熟女少妇在线视频播放 | 国产免费观看黄av片 | 日本丰满护士爆乳xxxx | 日本欧美一区二区三区乱码 | 大乳丰满人妻中文字幕日本 | 天堂а√在线中文在线 | 国产亚洲人成在线播放 | 久久婷婷五月综合色国产香蕉 | 国内精品九九久久久精品 | 最近免费中文字幕中文高清百度 | 国产成人av免费观看 | 人人澡人摸人人添 | 欧美乱妇无乱码大黄a片 | 国产农村乱对白刺激视频 | 荫蒂被男人添的好舒服爽免费视频 | 国产成人午夜福利在线播放 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 欧美 亚洲 国产 另类 | 亚洲第一网站男人都懂 | 日韩av无码一区二区三区不卡 | 成人免费视频一区二区 | 玩弄少妇高潮ⅹxxxyw | 欧美日韩一区二区三区自拍 | 久久亚洲日韩精品一区二区三区 | 亚洲精品综合五月久久小说 | 99麻豆久久久国产精品免费 | 日韩在线不卡免费视频一区 | 亚洲中文字幕无码中文字在线 | 亚洲精品一区二区三区在线 | 欧美猛少妇色xxxxx | 国产真实乱对白精彩久久 | 国产精品丝袜黑色高跟鞋 | 精品国产乱码久久久久乱码 | 国产成人无码av在线影院 | 亚洲а∨天堂久久精品2021 | 丰满少妇人妻久久久久久 | 国产午夜亚洲精品不卡下载 | 亚洲一区二区三区 | 少妇无套内谢久久久久 | 好爽又高潮了毛片免费下载 | 人人妻在人人 | 欧洲精品码一区二区三区免费看 | 日本精品久久久久中文字幕 | 成人欧美一区二区三区 | 在线 国产 欧美 亚洲 天堂 | 伊人久久大香线蕉av一区二区 | 88国产精品欧美一区二区三区 | 男女作爱免费网站 | 亚洲成av人片在线观看无码不卡 | 中文字幕+乱码+中文字幕一区 | 国产人成高清在线视频99最全资源 | 在线播放无码字幕亚洲 | 人人妻人人澡人人爽欧美精品 | 亚洲成a人片在线观看无码3d | 国产综合色产在线精品 | 人人妻人人澡人人爽欧美一区九九 | 欧美熟妇另类久久久久久多毛 | 国产成人无码区免费内射一片色欲 | 国产精品久久久久无码av色戒 | 日本丰满护士爆乳xxxx | 麻豆精品国产精华精华液好用吗 | 色妞www精品免费视频 | 精品久久综合1区2区3区激情 | 日本精品人妻无码77777 天堂一区人妻无码 | 狠狠躁日日躁夜夜躁2020 | 日本精品高清一区二区 | 一本久道高清无码视频 | 久久国产36精品色熟妇 | 午夜不卡av免费 一本久久a久久精品vr综合 | 男人的天堂2018无码 | 久久天天躁狠狠躁夜夜免费观看 | 国产三级精品三级男人的天堂 | 国内精品一区二区三区不卡 | 亚洲色偷偷男人的天堂 | 国产av一区二区精品久久凹凸 | 18精品久久久无码午夜福利 | 少妇无套内谢久久久久 | 黑人粗大猛烈进出高潮视频 | 免费无码的av片在线观看 | 秋霞成人午夜鲁丝一区二区三区 | 久久成人a毛片免费观看网站 | 青青久在线视频免费观看 | 色欲人妻aaaaaaa无码 | 国产精品igao视频网 | 日本欧美一区二区三区乱码 | 亚洲国产一区二区三区在线观看 | 乌克兰少妇xxxx做受 | 亚洲欧美日韩国产精品一区二区 | 久久久久久亚洲精品a片成人 | 人妻互换免费中文字幕 | 国产精品.xx视频.xxtv | 一本无码人妻在中文字幕免费 | 久久人人爽人人爽人人片av高清 | 国产超级va在线观看视频 | 亚洲国产精品美女久久久久 | 国产香蕉97碰碰久久人人 | 国产激情一区二区三区 | 97色伦图片97综合影院 | 成人亚洲精品久久久久软件 | 男女猛烈xx00免费视频试看 | 国产人成高清在线视频99最全资源 | 97人妻精品一区二区三区 | 日韩精品久久久肉伦网站 | 人人妻在人人 | 日日碰狠狠躁久久躁蜜桃 | 无码成人精品区在线观看 | 日本护士毛茸茸高潮 | 天堂亚洲免费视频 | 亚洲欧美日韩国产精品一区二区 | 在线播放亚洲第一字幕 | 国产人妻大战黑人第1集 | 老子影院午夜伦不卡 | 一本久久伊人热热精品中文字幕 | 天堂а√在线地址中文在线 | 国产亚洲精品久久久久久久 | 高潮毛片无遮挡高清免费 | 人人妻人人澡人人爽欧美精品 | 午夜精品一区二区三区的区别 | 乌克兰少妇性做爰 | 99久久人妻精品免费二区 | 无套内射视频囯产 | 亚洲精品国产a久久久久久 | 蜜臀av在线播放 久久综合激激的五月天 | 国产凸凹视频一区二区 | 精品人妻人人做人人爽 | 九九热爱视频精品 | 欧美黑人巨大xxxxx | 国産精品久久久久久久 | 免费观看激色视频网站 | 97精品国产97久久久久久免费 | 嫩b人妻精品一区二区三区 | 18禁黄网站男男禁片免费观看 | 在教室伦流澡到高潮hnp视频 | 麻豆精产国品 | 欧美激情内射喷水高潮 | 久久精品人人做人人综合试看 | √天堂资源地址中文在线 | 少妇厨房愉情理9仑片视频 | 国产精品久久久久7777 | 无套内谢老熟女 | 内射爽无广熟女亚洲 | 亚洲大尺度无码无码专区 | 国产精品久久久av久久久 | 国产成人综合美国十次 | 亚洲国产一区二区三区在线观看 | 亚洲精品成人av在线 | 免费观看的无遮挡av | 亚洲中文无码av永久不收费 | 东京无码熟妇人妻av在线网址 | 四虎国产精品一区二区 | 亚洲综合色区中文字幕 | 综合激情五月综合激情五月激情1 | 欧美色就是色 | 国产高清av在线播放 | 婷婷综合久久中文字幕蜜桃三电影 | 亚洲综合无码久久精品综合 | 国产亚洲美女精品久久久2020 | 少妇被黑人到高潮喷出白浆 | 无码国内精品人妻少妇 | 国产精品无码成人午夜电影 | 97夜夜澡人人爽人人喊中国片 | 午夜精品一区二区三区在线观看 | 强开小婷嫩苞又嫩又紧视频 | 亚洲s码欧洲m码国产av | 久久天天躁狠狠躁夜夜免费观看 | 国产精品igao视频网 | 日本护士xxxxhd少妇 | 一本久久伊人热热精品中文字幕 | 日本免费一区二区三区最新 | 国产av无码专区亚洲a∨毛片 | 国产精品无码永久免费888 | 亚洲爆乳精品无码一区二区三区 | 最新国产乱人伦偷精品免费网站 | 九九久久精品国产免费看小说 | 免费男性肉肉影院 | 色婷婷综合中文久久一本 | 一本大道久久东京热无码av | 无套内谢的新婚少妇国语播放 | 人人妻人人澡人人爽人人精品 | 樱花草在线播放免费中文 | 永久免费观看美女裸体的网站 | 麻豆精产国品 | 久久99精品国产麻豆 | 日韩精品a片一区二区三区妖精 | 岛国片人妻三上悠亚 | 好屌草这里只有精品 | 亚洲春色在线视频 | 给我免费的视频在线观看 | 国产av无码专区亚洲a∨毛片 | 久青草影院在线观看国产 | 日本乱偷人妻中文字幕 | 国产av一区二区三区最新精品 | 中文字幕乱码中文乱码51精品 | 色欲av亚洲一区无码少妇 | 国产内射老熟女aaaa | 97久久国产亚洲精品超碰热 | 亚洲日韩av一区二区三区中文 | 无码人妻av免费一区二区三区 | 狠狠综合久久久久综合网 | 日本熟妇人妻xxxxx人hd | 久热国产vs视频在线观看 | 青春草在线视频免费观看 | 国产激情无码一区二区app | 欧美阿v高清资源不卡在线播放 | 欧美性猛交内射兽交老熟妇 | 午夜无码人妻av大片色欲 | 国产成人无码午夜视频在线观看 | 亚洲精品鲁一鲁一区二区三区 | 台湾无码一区二区 | 粗大的内捧猛烈进出视频 | 国产精品高潮呻吟av久久 | 亚洲爆乳精品无码一区二区三区 | 亚洲区小说区激情区图片区 | 国产亚洲精品久久久久久久久动漫 | 国产精品久久久久无码av色戒 | 国产精品久久福利网站 | 粉嫩少妇内射浓精videos | 天堂在线观看www | 国产超碰人人爽人人做人人添 | 成年美女黄网站色大免费视频 | 丰满护士巨好爽好大乳 | 无码一区二区三区在线 | 亚洲精品成a人在线观看 | 免费观看的无遮挡av | 亚洲一区二区观看播放 | 自拍偷自拍亚洲精品被多人伦好爽 | 国产精品嫩草久久久久 | 色一情一乱一伦一视频免费看 | 狠狠色欧美亚洲狠狠色www | 欧美精品无码一区二区三区 | 久精品国产欧美亚洲色aⅴ大片 | 亚洲精品一区三区三区在线观看 | 日日橹狠狠爱欧美视频 | 无码人妻少妇伦在线电影 | 精品国产精品久久一区免费式 | 好爽又高潮了毛片免费下载 | 免费人成在线观看网站 | 两性色午夜免费视频 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 成人欧美一区二区三区 | 国产电影无码午夜在线播放 | 大地资源网第二页免费观看 | 人人妻人人藻人人爽欧美一区 | 精品无人区无码乱码毛片国产 | 国产乱人偷精品人妻a片 | 精品人妻人人做人人爽夜夜爽 | 人人妻人人澡人人爽人人精品 | 中文字幕av无码一区二区三区电影 | 18黄暴禁片在线观看 | 波多野结衣 黑人 | 国産精品久久久久久久 | 东北女人啪啪对白 | 久久久久久久久蜜桃 | 熟女俱乐部五十路六十路av | 欧美 日韩 人妻 高清 中文 | 少妇性l交大片欧洲热妇乱xxx | 亚洲啪av永久无码精品放毛片 | 成人无码精品1区2区3区免费看 | 激情亚洲一区国产精品 | 欧美性猛交内射兽交老熟妇 | 欧美精品国产综合久久 | 成人免费无码大片a毛片 | 久久久无码中文字幕久... | 国产成人人人97超碰超爽8 | 亚洲人成网站色7799 | 国产另类ts人妖一区二区 | 国产高潮视频在线观看 | 成在人线av无码免费 | 欧美 日韩 亚洲 在线 | 少妇被黑人到高潮喷出白浆 | 亚欧洲精品在线视频免费观看 | 亚洲自偷自拍另类第1页 | 国产亚av手机在线观看 | 国产精品人人妻人人爽 | 婷婷色婷婷开心五月四房播播 | 国产特级毛片aaaaaaa高清 | 一本久久伊人热热精品中文字幕 | 国产乱人伦av在线无码 | 一本久道久久综合婷婷五月 | 少妇激情av一区二区 | 日本精品人妻无码免费大全 | 国产精品va在线播放 | 成人欧美一区二区三区黑人免费 | 国产偷国产偷精品高清尤物 | 装睡被陌生人摸出水好爽 | 少妇高潮一区二区三区99 | 国产农村乱对白刺激视频 | 国产av无码专区亚洲a∨毛片 | 日产国产精品亚洲系列 | 色婷婷久久一区二区三区麻豆 | 亚洲中文字幕无码中文字在线 | 国产莉萝无码av在线播放 | 台湾无码一区二区 | 久久精品人人做人人综合试看 | 国产精品a成v人在线播放 | 一本色道婷婷久久欧美 | 国精品人妻无码一区二区三区蜜柚 | 一本久久伊人热热精品中文字幕 | 久久久久久a亚洲欧洲av冫 | 男人和女人高潮免费网站 | 精品国产成人一区二区三区 | 亚拍精品一区二区三区探花 | 大色综合色综合网站 | 国内揄拍国内精品少妇国语 | 女人和拘做爰正片视频 | 无码人妻精品一区二区三区不卡 | 亚洲国产精品毛片av不卡在线 | av无码久久久久不卡免费网站 | 色一情一乱一伦一视频免费看 | 成人一在线视频日韩国产 | 色欲av亚洲一区无码少妇 | 曰韩无码二三区中文字幕 | 日本精品人妻无码免费大全 | 中文字幕日韩精品一区二区三区 | 在线成人www免费观看视频 | 国产成人无码av一区二区 | 欧美喷潮久久久xxxxx | 狠狠色噜噜狠狠狠狠7777米奇 | 久久99国产综合精品 | 特大黑人娇小亚洲女 | av无码电影一区二区三区 | 欧美日韩一区二区综合 | 亚洲精品一区二区三区在线 | 欧美精品国产综合久久 | 欧洲熟妇色 欧美 | 久久精品无码一区二区三区 | 精品国产精品久久一区免费式 | 国产乱人伦av在线无码 | 99精品视频在线观看免费 | 又粗又大又硬毛片免费看 | aⅴ亚洲 日韩 色 图网站 播放 | 亚洲精品鲁一鲁一区二区三区 | 国产亚洲精品久久久久久 | 真人与拘做受免费视频一 | 中文字幕+乱码+中文字幕一区 | 中文字幕乱码亚洲无线三区 | 男女爱爱好爽视频免费看 | 人妻人人添人妻人人爱 | 久久精品无码一区二区三区 | 丰满肥臀大屁股熟妇激情视频 | 成人aaa片一区国产精品 | 99麻豆久久久国产精品免费 | 一二三四在线观看免费视频 | 在线欧美精品一区二区三区 | 蜜桃av抽搐高潮一区二区 | 欧美第一黄网免费网站 | 狠狠色噜噜狠狠狠狠7777米奇 | 中文无码精品a∨在线观看不卡 | 午夜免费福利小电影 | 一本一道久久综合久久 | 国产精品18久久久久久麻辣 | 国产偷抇久久精品a片69 | 国内精品久久久久久中文字幕 | 日本乱人伦片中文三区 | 亚洲va欧美va天堂v国产综合 | 水蜜桃亚洲一二三四在线 | 亚洲经典千人经典日产 | 日本乱人伦片中文三区 | 国产偷抇久久精品a片69 | 99视频精品全部免费免费观看 | 少妇一晚三次一区二区三区 | 日本大乳高潮视频在线观看 | 99国产精品白浆在线观看免费 | 高潮毛片无遮挡高清免费 | 人妻体内射精一区二区三四 | 在线欧美精品一区二区三区 | 日韩人妻少妇一区二区三区 | 国产内射老熟女aaaa | 正在播放老肥熟妇露脸 | 少妇性荡欲午夜性开放视频剧场 | 97无码免费人妻超级碰碰夜夜 | 欧美老人巨大xxxx做受 | 夜精品a片一区二区三区无码白浆 | 亚洲综合色区中文字幕 | 亚洲无人区午夜福利码高清完整版 | 亚洲一区二区三区偷拍女厕 | 东京无码熟妇人妻av在线网址 | 欧美老人巨大xxxx做受 | 国产激情无码一区二区app | 日本一本二本三区免费 | 天堂а√在线地址中文在线 | 国产一精品一av一免费 | 日本成熟视频免费视频 | 欧美日韩色另类综合 | 欧美亚洲日韩国产人成在线播放 | 日本精品高清一区二区 | 人人妻人人澡人人爽人人精品浪潮 | 亚洲 日韩 欧美 成人 在线观看 | 男人的天堂av网站 | 麻豆精品国产精华精华液好用吗 | 亚洲欧美中文字幕5发布 | 国产精品美女久久久网av | 久久综合色之久久综合 | 国产香蕉97碰碰久久人人 | 国产午夜福利亚洲第一 | 76少妇精品导航 | 无码av免费一区二区三区试看 | 久久综合狠狠综合久久综合88 | 国产一区二区三区四区五区加勒比 | 1000部夫妻午夜免费 | 久久久久人妻一区精品色欧美 | 久久精品国产亚洲精品 | 丰满少妇熟乱xxxxx视频 | 免费国产黄网站在线观看 | 国产精品久久久久久久9999 | 精品国偷自产在线视频 | 久久久久成人精品免费播放动漫 | 国产欧美精品一区二区三区 | 久久午夜无码鲁丝片 | 亚洲s码欧洲m码国产av | 国产极品美女高潮无套在线观看 | 日产精品高潮呻吟av久久 | 国产乱子伦视频在线播放 | 亚洲成a人片在线观看日本 | 中文字幕无码免费久久99 | 久久久av男人的天堂 | 亚洲综合在线一区二区三区 | 中国女人内谢69xxxxxa片 | 国产精品理论片在线观看 | 午夜福利不卡在线视频 | 宝宝好涨水快流出来免费视频 | 三上悠亚人妻中文字幕在线 | 99久久久无码国产精品免费 | 波多野结衣aⅴ在线 | 国产成人无码一二三区视频 | 国产av人人夜夜澡人人爽麻豆 | 中国大陆精品视频xxxx | 亚洲熟妇色xxxxx欧美老妇 | 人人妻人人藻人人爽欧美一区 | 人人澡人人透人人爽 | 色诱久久久久综合网ywww | 亚洲中文字幕久久无码 | 亚洲精品一区二区三区大桥未久 | 99久久人妻精品免费一区 | 欧美人与动性行为视频 | 少妇的肉体aa片免费 | 在线播放免费人成毛片乱码 | 国产一区二区三区四区五区加勒比 | 久久精品国产大片免费观看 | 曰本女人与公拘交酡免费视频 | 乱码午夜-极国产极内射 | 国产莉萝无码av在线播放 | 国产美女极度色诱视频www | 久久午夜无码鲁丝片 | 中文字幕色婷婷在线视频 | 国产区女主播在线观看 | 女人被爽到呻吟gif动态图视看 | 亚洲aⅴ无码成人网站国产app | 强奷人妻日本中文字幕 | 夜先锋av资源网站 | 国产在线精品一区二区高清不卡 | 2020久久超碰国产精品最新 | 精品久久久无码人妻字幂 | 亚洲va欧美va天堂v国产综合 | 樱花草在线播放免费中文 | 国产精品毛多多水多 | 成人免费无码大片a毛片 | 天堂久久天堂av色综合 | 色偷偷人人澡人人爽人人模 | 国产香蕉尹人综合在线观看 | 窝窝午夜理论片影院 | 亚洲精品一区二区三区在线观看 | 色综合久久久无码网中文 | 色诱久久久久综合网ywww | 丁香花在线影院观看在线播放 | 99久久精品午夜一区二区 | 国产激情艳情在线看视频 | 免费看男女做好爽好硬视频 | 内射老妇bbwx0c0ck | 少妇高潮一区二区三区99 | 午夜精品久久久久久久久 | 欧美精品一区二区精品久久 | 日产精品99久久久久久 | 日韩视频 中文字幕 视频一区 | 亚洲色在线无码国产精品不卡 | 免费无码肉片在线观看 | 精品成人av一区二区三区 | 久久99精品久久久久久动态图 | 国产 精品 自在自线 | 欧美午夜特黄aaaaaa片 | 久久国产36精品色熟妇 | 亚洲色无码一区二区三区 | 免费国产黄网站在线观看 | 性史性农村dvd毛片 | 国产成人无码区免费内射一片色欲 | 国产真实乱对白精彩久久 | 日韩精品无码一区二区中文字幕 | 黑人巨大精品欧美黑寡妇 | 又粗又大又硬又长又爽 | 国产亚洲精品久久久闺蜜 | 18禁止看的免费污网站 | 欧美熟妇另类久久久久久多毛 | 在线播放亚洲第一字幕 | 亚洲码国产精品高潮在线 | 国产97色在线 | 免 | 久久国产精品萌白酱免费 | 亚洲国产av精品一区二区蜜芽 | 亚洲人成网站免费播放 | 熟女体下毛毛黑森林 | 成人免费无码大片a毛片 | 99国产欧美久久久精品 | 男女爱爱好爽视频免费看 | 无码午夜成人1000部免费视频 | 99精品视频在线观看免费 | 国产成人综合在线女婷五月99播放 | 300部国产真实乱 | 人人澡人人透人人爽 | 日韩人妻系列无码专区 | 男人扒开女人内裤强吻桶进去 | 中文字幕乱码人妻无码久久 | 国产做国产爱免费视频 | 久久久精品欧美一区二区免费 | 白嫩日本少妇做爰 | 免费看男女做好爽好硬视频 | 国产精品无码一区二区三区不卡 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | a片在线免费观看 | 老熟妇仑乱视频一区二区 | 爽爽影院免费观看 | 亚洲日韩av一区二区三区中文 | 亚洲国产精品一区二区美利坚 | 在线а√天堂中文官网 | 国产suv精品一区二区五 | 国产猛烈高潮尖叫视频免费 | 国内揄拍国内精品人妻 | 自拍偷自拍亚洲精品10p | 男女猛烈xx00免费视频试看 | 国产一区二区三区精品视频 | 国产精品久久久久久无码 | av人摸人人人澡人人超碰下载 | 久久伊人色av天堂九九小黄鸭 | 免费看少妇作爱视频 | 少妇无套内谢久久久久 | 国产精品嫩草久久久久 | 欧美老人巨大xxxx做受 | 国精品人妻无码一区二区三区蜜柚 | av香港经典三级级 在线 | 国产成人无码一二三区视频 | 亚洲小说春色综合另类 | 精品日本一区二区三区在线观看 | 国产suv精品一区二区五 | 中国女人内谢69xxxx | 成熟人妻av无码专区 | 亚洲の无码国产の无码步美 | 76少妇精品导航 | 亚洲无人区一区二区三区 | 性开放的女人aaa片 | 久久久久久久久888 | 亚洲人亚洲人成电影网站色 | 无码av免费一区二区三区试看 | 激情国产av做激情国产爱 | 亚洲国产欧美在线成人 | 精品熟女少妇av免费观看 | 丝袜 中出 制服 人妻 美腿 | 蜜桃av抽搐高潮一区二区 | 国产精品二区一区二区aⅴ污介绍 | 国产精品人人妻人人爽 | 丝袜足控一区二区三区 | 99久久亚洲精品无码毛片 | 麻花豆传媒剧国产免费mv在线 | 国产香蕉尹人综合在线观看 | 亚洲日韩中文字幕在线播放 | 亚洲色欲色欲欲www在线 | 亚洲成a人片在线观看无码 | 亚洲s色大片在线观看 | 成人性做爰aaa片免费看不忠 | 久久精品国产大片免费观看 | 成人欧美一区二区三区 | 国产后入清纯学生妹 | 久久久久亚洲精品中文字幕 | 福利一区二区三区视频在线观看 | 精品夜夜澡人妻无码av蜜桃 | 亚洲区欧美区综合区自拍区 | 中文无码伦av中文字幕 | 丰满人妻一区二区三区免费视频 | 欧美人与物videos另类 | 狠狠色丁香久久婷婷综合五月 | 欧美丰满少妇xxxx性 | 国产成人无码区免费内射一片色欲 | 少妇性l交大片 | 搡女人真爽免费视频大全 | 天堂无码人妻精品一区二区三区 | 欧美丰满熟妇xxxx | 国产熟女一区二区三区四区五区 | 亚洲精品综合五月久久小说 | 欧美精品国产综合久久 | 一本久久伊人热热精品中文字幕 | 亚欧洲精品在线视频免费观看 | 日韩亚洲欧美精品综合 | 精品国产一区二区三区四区在线看 | 国产舌乚八伦偷品w中 | 97精品人妻一区二区三区香蕉 | 国产午夜视频在线观看 | 成人试看120秒体验区 | 国产亚洲精品久久久久久久久动漫 | 98国产精品综合一区二区三区 | 久久99久久99精品中文字幕 | 国色天香社区在线视频 | 欧美人与善在线com | 亚洲精品无码国产 | 国产在线无码精品电影网 | 亚无码乱人伦一区二区 | 国产 精品 自在自线 | 西西人体www44rt大胆高清 | 又大又硬又黄的免费视频 | 无遮无挡爽爽免费视频 | 性生交片免费无码看人 | 亚洲中文字幕无码一久久区 | 精品久久8x国产免费观看 | 美女极度色诱视频国产 | 国产成人无码a区在线观看视频app | aⅴ在线视频男人的天堂 | 大色综合色综合网站 | 精品人妻中文字幕有码在线 | 亚洲国产欧美日韩精品一区二区三区 | 大色综合色综合网站 | 色综合久久久无码中文字幕 | 乱人伦人妻中文字幕无码久久网 | 中文字幕无线码免费人妻 | aⅴ亚洲 日韩 色 图网站 播放 | 丁香花在线影院观看在线播放 | 色婷婷欧美在线播放内射 | 午夜成人1000部免费视频 | 丝袜美腿亚洲一区二区 | 对白脏话肉麻粗话av | 亚洲精品中文字幕 | 天天躁日日躁狠狠躁免费麻豆 | 久久五月精品中文字幕 | 无码免费一区二区三区 | 波多野结衣一区二区三区av免费 | 亚洲精品久久久久avwww潮水 | 成年女人永久免费看片 | 久久精品国产一区二区三区肥胖 | 欧美国产日产一区二区 | 少妇一晚三次一区二区三区 | 色综合久久久久综合一本到桃花网 | 国产明星裸体无码xxxx视频 | 在教室伦流澡到高潮hnp视频 | 日韩欧美中文字幕在线三区 | 白嫩日本少妇做爰 | 国产精品va在线播放 | 中文字幕无码视频专区 | 最新国产麻豆aⅴ精品无码 | 强奷人妻日本中文字幕 | 欧美日韩久久久精品a片 | 久久久精品成人免费观看 | 国产亚洲日韩欧美另类第八页 | 精品无码成人片一区二区98 | 一本一道久久综合久久 | 亚洲国产精品美女久久久久 | 一本久道高清无码视频 | 亚洲国产欧美在线成人 | 久久综合给合久久狠狠狠97色 | 国产精品亚洲а∨无码播放麻豆 | 精品成人av一区二区三区 | 丝袜 中出 制服 人妻 美腿 | 四虎国产精品一区二区 | 成熟妇人a片免费看网站 | 国产人妻精品午夜福利免费 | 美女毛片一区二区三区四区 | √天堂资源地址中文在线 | 亚洲小说图区综合在线 | 野狼第一精品社区 | 亚洲精品一区二区三区大桥未久 | 精品一区二区三区波多野结衣 | 领导边摸边吃奶边做爽在线观看 | 国产精品欧美成人 | 国产av人人夜夜澡人人爽麻豆 | 对白脏话肉麻粗话av | 国产亚洲精品久久久闺蜜 | 人妻人人添人妻人人爱 | 中文无码精品a∨在线观看不卡 | 中文字幕日韩精品一区二区三区 | 国产麻豆精品一区二区三区v视界 | 亚洲va中文字幕无码久久不卡 | 国内少妇偷人精品视频免费 | 亚洲精品国产品国语在线观看 | 日韩精品乱码av一区二区 | 少妇人妻av毛片在线看 | 亚洲欧美日韩成人高清在线一区 | av人摸人人人澡人人超碰下载 | 人人妻人人澡人人爽欧美一区九九 | 国产激情无码一区二区app | 福利一区二区三区视频在线观看 | 四虎影视成人永久免费观看视频 | 亚洲精品无码国产 | 骚片av蜜桃精品一区 | 亚洲va欧美va天堂v国产综合 | 日韩精品无码一本二本三本色 | 亚洲日韩中文字幕在线播放 | 大地资源中文第3页 | 国精产品一品二品国精品69xx | 国产凸凹视频一区二区 | 九九久久精品国产免费看小说 | 老熟女重囗味hdxx69 | 欧美 丝袜 自拍 制服 另类 | 国产乱人伦偷精品视频 | av人摸人人人澡人人超碰下载 | 亚洲一区av无码专区在线观看 | 久久精品无码一区二区三区 | 国产三级精品三级男人的天堂 | 欧美激情内射喷水高潮 | 色一情一乱一伦一区二区三欧美 | 亚洲国产精品一区二区第一页 | 娇妻被黑人粗大高潮白浆 | 国产精品第一国产精品 | 久久久精品人妻久久影视 | 大肉大捧一进一出视频出来呀 | ass日本丰满熟妇pics | 丰腴饱满的极品熟妇 | 乌克兰少妇xxxx做受 | 东京热无码av男人的天堂 | 亚洲自偷自拍另类第1页 | 色偷偷av老熟女 久久精品人妻少妇一区二区三区 | 性开放的女人aaa片 | 久久综合九色综合欧美狠狠 | 国产亚洲欧美在线专区 | 狠狠噜狠狠狠狠丁香五月 | 麻豆av传媒蜜桃天美传媒 | 欧洲欧美人成视频在线 | 国产人妻人伦精品1国产丝袜 | 欧美日韩一区二区综合 | 俺去俺来也在线www色官网 | 国产成人av免费观看 | 一本一道久久综合久久 | 又色又爽又黄的美女裸体网站 | 人人妻人人澡人人爽精品欧美 | 国产精品人人爽人人做我的可爱 | 国产亚洲视频中文字幕97精品 | 大肉大捧一进一出好爽视频 | 熟妇女人妻丰满少妇中文字幕 | 天堂亚洲2017在线观看 | 中文字幕无码乱人伦 | 欧美 日韩 人妻 高清 中文 | 精品国产国产综合精品 | 蜜桃无码一区二区三区 | 秋霞成人午夜鲁丝一区二区三区 | 99久久99久久免费精品蜜桃 | 国产在线无码精品电影网 | 国内综合精品午夜久久资源 | 麻豆精品国产精华精华液好用吗 | 狠狠色噜噜狠狠狠7777奇米 | 国产xxx69麻豆国语对白 | 午夜福利不卡在线视频 | 久久99精品国产麻豆蜜芽 | 麻豆精品国产精华精华液好用吗 | 一区二区三区乱码在线 | 欧洲 | 国产偷国产偷精品高清尤物 | 久久国产精品精品国产色婷婷 | 377p欧洲日本亚洲大胆 | 精品一区二区三区波多野结衣 | 国产激情精品一区二区三区 | 性欧美大战久久久久久久 | 久久精品国产精品国产精品污 | 无码av最新清无码专区吞精 | 99精品国产综合久久久久五月天 | 中文字幕乱妇无码av在线 | 日本精品高清一区二区 | 亚洲精品成a人在线观看 | 青青久在线视频免费观看 | 亚洲精品午夜无码电影网 | 激情人妻另类人妻伦 | 国产超级va在线观看视频 | 爆乳一区二区三区无码 | 夜夜夜高潮夜夜爽夜夜爰爰 | 免费无码午夜福利片69 | 亚洲s码欧洲m码国产av | 国产又爽又黄又刺激的视频 | 男女猛烈xx00免费视频试看 | 欧美日韩精品 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 久9re热视频这里只有精品 | 久久伊人色av天堂九九小黄鸭 | 国产免费观看黄av片 | 精品国偷自产在线视频 | 男女超爽视频免费播放 | 亚洲国产精品无码一区二区三区 | 精品成人av一区二区三区 | 国产农村妇女aaaaa视频 撕开奶罩揉吮奶头视频 | av人摸人人人澡人人超碰下载 | 亚洲综合伊人久久大杳蕉 | 亚洲aⅴ无码成人网站国产app | 荫蒂添的好舒服视频囗交 | 日日碰狠狠丁香久燥 | 日产精品99久久久久久 | 欧美性猛交xxxx富婆 | 国产精品丝袜黑色高跟鞋 | 欧美xxxx黑人又粗又长 | 黑人巨大精品欧美黑寡妇 | 又湿又紧又大又爽a视频国产 | 日本乱人伦片中文三区 | 人妻少妇被猛烈进入中文字幕 | 女人被男人爽到呻吟的视频 | 午夜成人1000部免费视频 | 精品国产一区二区三区四区 | 国产一区二区三区四区五区加勒比 | 国产精品无码mv在线观看 | 国产国语老龄妇女a片 | 婷婷色婷婷开心五月四房播播 | 亚洲а∨天堂久久精品2021 | 欧洲熟妇精品视频 | 亚无码乱人伦一区二区 | 人人爽人人爽人人片av亚洲 | 色狠狠av一区二区三区 | 两性色午夜视频免费播放 | 成人三级无码视频在线观看 | 国产无遮挡吃胸膜奶免费看 | 性欧美videos高清精品 | 乱人伦人妻中文字幕无码久久网 | 我要看www免费看插插视频 | 精品国产一区二区三区四区 | 香蕉久久久久久av成人 | 国产精品二区一区二区aⅴ污介绍 | 人妻插b视频一区二区三区 | 日韩视频 中文字幕 视频一区 | 亚洲 另类 在线 欧美 制服 | 欧美性生交xxxxx久久久 | 在线成人www免费观看视频 | 成人一在线视频日韩国产 | 风流少妇按摩来高潮 | 人妻体内射精一区二区三四 | 欧美喷潮久久久xxxxx | 色老头在线一区二区三区 | 又大又紧又粉嫩18p少妇 | 永久免费观看美女裸体的网站 | 在线观看国产一区二区三区 | 精品国产一区二区三区av 性色 | 无码精品国产va在线观看dvd | av在线亚洲欧洲日产一区二区 | 中文字幕av无码一区二区三区电影 | 精品一区二区三区波多野结衣 | 一区二区三区高清视频一 | 捆绑白丝粉色jk震动捧喷白浆 | 青青青爽视频在线观看 | 欧美三级不卡在线观看 | 国产精品内射视频免费 | 国产卡一卡二卡三 | www国产亚洲精品久久网站 | 大乳丰满人妻中文字幕日本 | 亚洲色偷偷男人的天堂 | 日本一本二本三区免费 | 波多野结衣aⅴ在线 | 亚洲男人av天堂午夜在 | 搡女人真爽免费视频大全 | 国产午夜视频在线观看 | 亚洲gv猛男gv无码男同 | 亚洲精品www久久久 | 欧美日韩综合一区二区三区 | 好屌草这里只有精品 | 亚洲一区av无码专区在线观看 | 久久综合给合久久狠狠狠97色 | 日本www一道久久久免费榴莲 | 初尝人妻少妇中文字幕 | 国产精品视频免费播放 | 丝袜 中出 制服 人妻 美腿 | 久久精品中文字幕大胸 | 国产精品第一国产精品 | 免费人成网站视频在线观看 | 久久亚洲精品成人无码 | 久久亚洲中文字幕精品一区 | 六月丁香婷婷色狠狠久久 | 奇米影视888欧美在线观看 | 中文字幕无码av激情不卡 | 国产热a欧美热a在线视频 | 亚洲国精产品一二二线 | 国产精品办公室沙发 | 377p欧洲日本亚洲大胆 | 99久久人妻精品免费二区 | 国内少妇偷人精品视频 | 无码人妻出轨黑人中文字幕 | 在线а√天堂中文官网 | 理论片87福利理论电影 | 无人区乱码一区二区三区 | 精品欧洲av无码一区二区三区 | 精品久久8x国产免费观看 | 中文字幕无码热在线视频 | 亚洲综合伊人久久大杳蕉 | 国产又爽又猛又粗的视频a片 | 中文字幕av日韩精品一区二区 | 亚洲成色www久久网站 | 国内精品人妻无码久久久影院蜜桃 | 女人被爽到呻吟gif动态图视看 | 中文字幕无码日韩专区 | 久久午夜无码鲁丝片秋霞 | 国产色精品久久人妻 | 国产精品亚洲综合色区韩国 | 亚洲色欲色欲天天天www | 玩弄少妇高潮ⅹxxxyw | 国产无遮挡吃胸膜奶免费看 | 日韩少妇白浆无码系列 | 欧美人妻一区二区三区 | 日韩少妇白浆无码系列 | 免费人成在线观看网站 | 亚洲成色在线综合网站 | www国产亚洲精品久久久日本 | 国产手机在线αⅴ片无码观看 | 色综合久久中文娱乐网 | 国产精品无码一区二区三区不卡 | 国产精品久久国产精品99 | 奇米综合四色77777久久 东京无码熟妇人妻av在线网址 | 红桃av一区二区三区在线无码av | 国产一区二区三区精品视频 | 一个人看的www免费视频在线观看 | 国产性生大片免费观看性 | aa片在线观看视频在线播放 | 国产莉萝无码av在线播放 | 欧美丰满熟妇xxxx | 国产亚洲美女精品久久久2020 | 双乳奶水饱满少妇呻吟 | 国产sm调教视频在线观看 | 国产九九九九九九九a片 | 偷窥日本少妇撒尿chinese | 精品久久久久久人妻无码中文字幕 | 国产人成高清在线视频99最全资源 | 国产精品爱久久久久久久 | 久久久久av无码免费网 | 乌克兰少妇性做爰 | 无码国产激情在线观看 | 中文字幕无码人妻少妇免费 | 丰满护士巨好爽好大乳 | 人妻尝试又大又粗久久 | 免费无码午夜福利片69 | 亚洲精品一区三区三区在线观看 | 中文字幕乱码中文乱码51精品 | 色噜噜亚洲男人的天堂 | 亚洲人成影院在线无码按摩店 | 色婷婷久久一区二区三区麻豆 | 最近免费中文字幕中文高清百度 | 熟妇人妻中文av无码 | 强辱丰满人妻hd中文字幕 | 亚洲国产av精品一区二区蜜芽 | 蜜桃视频韩日免费播放 | 久久亚洲a片com人成 | 任你躁国产自任一区二区三区 | 国产97色在线 | 免 | 亚洲精品无码人妻无码 | 国产 浪潮av性色四虎 | 青青久在线视频免费观看 | 国产亚av手机在线观看 | 又大又紧又粉嫩18p少妇 | 在线播放免费人成毛片乱码 | 99视频精品全部免费免费观看 | 国精产品一区二区三区 | av小次郎收藏 | 性色欲情网站iwww九文堂 | 精品久久久久久亚洲精品 | 欧美精品免费观看二区 | aa片在线观看视频在线播放 | 日本饥渴人妻欲求不满 | 亚洲人亚洲人成电影网站色 | 精品无人国产偷自产在线 | 亚洲无人区午夜福利码高清完整版 | 色爱情人网站 | 55夜色66夜色国产精品视频 | 国产精品内射视频免费 | 国产精品自产拍在线观看 | 国内精品人妻无码久久久影院蜜桃 | 国内综合精品午夜久久资源 | 东京一本一道一二三区 | 欧美丰满熟妇xxxx | 综合人妻久久一区二区精品 | 午夜福利试看120秒体验区 | 亚洲欧洲日本综合aⅴ在线 | 少妇无码一区二区二三区 | 久久综合香蕉国产蜜臀av | 人人爽人人爽人人片av亚洲 | av人摸人人人澡人人超碰下载 | 天天摸天天透天天添 | 久久www免费人成人片 | 亚洲aⅴ无码成人网站国产app | 久激情内射婷内射蜜桃人妖 | 国产香蕉尹人视频在线 | 国产精品第一国产精品 | 久久久久久av无码免费看大片 | √天堂资源地址中文在线 | 鲁一鲁av2019在线 | 日韩 欧美 动漫 国产 制服 | 成人毛片一区二区 | 国产超级va在线观看视频 | 成人免费无码大片a毛片 | 亚洲日韩一区二区 | 国产精品内射视频免费 | 成人综合网亚洲伊人 | 俄罗斯老熟妇色xxxx | 亚洲成a人片在线观看日本 | 国产9 9在线 | 中文 | 呦交小u女精品视频 | 成熟女人特级毛片www免费 | 内射巨臀欧美在线视频 | 成人亚洲精品久久久久 | 精品无人区无码乱码毛片国产 | 欧美国产亚洲日韩在线二区 | 无码午夜成人1000部免费视频 | 欧美xxxx黑人又粗又长 | 夜夜高潮次次欢爽av女 | 日本一区二区更新不卡 | 精品一区二区三区无码免费视频 | 九九综合va免费看 | 99er热精品视频 | 亚洲熟妇自偷自拍另类 | 2020久久香蕉国产线看观看 | 在线播放亚洲第一字幕 | 中文精品久久久久人妻不卡 | аⅴ资源天堂资源库在线 | 一二三四在线观看免费视频 | 图片区 小说区 区 亚洲五月 | 亚洲国精产品一二二线 | 亚洲小说春色综合另类 | 免费观看激色视频网站 | 亚洲中文字幕乱码av波多ji | 久久久久亚洲精品中文字幕 | 久久天天躁狠狠躁夜夜免费观看 | 欧美日本免费一区二区三区 | 在线观看国产一区二区三区 | 欧美成人免费全部网站 | 欧美xxxx黑人又粗又长 | 女人被男人躁得好爽免费视频 | 亚洲爆乳精品无码一区二区三区 | 国产麻豆精品一区二区三区v视界 | 人妻互换免费中文字幕 | 人人爽人人澡人人人妻 | 国产成人精品久久亚洲高清不卡 | 国产精品美女久久久 | 亚洲国产高清在线观看视频 | 亚洲中文字幕乱码av波多ji | 亚洲国产欧美日韩精品一区二区三区 | 亚洲欧美国产精品久久 | 特大黑人娇小亚洲女 | 国色天香社区在线视频 | 无码午夜成人1000部免费视频 | 无码播放一区二区三区 | 久久久国产一区二区三区 | а天堂中文在线官网 | 国产精品久久久久7777 | 中文字幕av日韩精品一区二区 | 性生交片免费无码看人 | 国产成人精品优优av | 中文字幕av伊人av无码av | 又紧又大又爽精品一区二区 | 对白脏话肉麻粗话av | 国产免费久久久久久无码 | 无码国产色欲xxxxx视频 | 黑森林福利视频导航 | 一个人免费观看的www视频 | 久激情内射婷内射蜜桃人妖 | 久久午夜夜伦鲁鲁片无码免费 | 国产激情一区二区三区 | 亚洲爆乳大丰满无码专区 | 3d动漫精品啪啪一区二区中 | 最新国产麻豆aⅴ精品无码 | 国产国产精品人在线视 | 欧美 丝袜 自拍 制服 另类 | 永久免费观看美女裸体的网站 | 丝袜 中出 制服 人妻 美腿 | 亚洲乱码中文字幕在线 | 一本久久a久久精品vr综合 | 永久免费精品精品永久-夜色 | 久久久久久av无码免费看大片 | 精品国产一区二区三区四区 | 欧美人与禽猛交狂配 | 狠狠色噜噜狠狠狠狠7777米奇 | 人妻插b视频一区二区三区 | 未满成年国产在线观看 | 久久天天躁狠狠躁夜夜免费观看 | 成人无码影片精品久久久 | 国产熟妇高潮叫床视频播放 | 亚洲中文字幕成人无码 | 亚洲精品中文字幕 | 双乳奶水饱满少妇呻吟 | 国产激情一区二区三区 | 精品水蜜桃久久久久久久 | 亚洲熟妇色xxxxx欧美老妇y | 久久综合九色综合欧美狠狠 | 国产亚洲精品久久久久久 | 精品人妻中文字幕有码在线 | 成在人线av无码免观看麻豆 | 欧美精品国产综合久久 | 性生交片免费无码看人 | 免费乱码人妻系列无码专区 | 欧美精品国产综合久久 | 久久精品国产99久久6动漫 | 熟妇人妻激情偷爽文 | 日本www一道久久久免费榴莲 | 丝袜人妻一区二区三区 | 性欧美大战久久久久久久 | 图片区 小说区 区 亚洲五月 | 日本一区二区三区免费高清 | 精品无码一区二区三区爱欲 | 成人免费无码大片a毛片 | 国产成人无码av片在线观看不卡 | 国产黑色丝袜在线播放 | 欧美 日韩 亚洲 在线 | 国产精品美女久久久久av爽李琼 | 国产猛烈高潮尖叫视频免费 | 人妻少妇被猛烈进入中文字幕 | 亚洲色欲久久久综合网东京热 | 粗大的内捧猛烈进出视频 | 在线精品亚洲一区二区 | 扒开双腿吃奶呻吟做受视频 | 熟女俱乐部五十路六十路av | 亚洲成色www久久网站 | 激情国产av做激情国产爱 | 成人无码视频免费播放 | 国产9 9在线 | 中文 | 思思久久99热只有频精品66 | 国产亲子乱弄免费视频 | 日日干夜夜干 | 日日夜夜撸啊撸 | 福利一区二区三区视频在线观看 | 国产亚洲人成a在线v网站 | 中文字幕 人妻熟女 | 国产成人无码一二三区视频 | 欧美日韩色另类综合 | 午夜熟女插插xx免费视频 | 亚洲阿v天堂在线 | 3d动漫精品啪啪一区二区中 | 亚洲色偷偷男人的天堂 | 网友自拍区视频精品 | 99久久精品无码一区二区毛片 | 日本护士xxxxhd少妇 | 成人精品天堂一区二区三区 | 亚洲a无码综合a国产av中文 | 久久久亚洲欧洲日产国码αv | 丰满少妇人妻久久久久久 | 日本欧美一区二区三区乱码 | 亚洲国产av美女网站 | 九九在线中文字幕无码 | 四十如虎的丰满熟妇啪啪 | 国产无av码在线观看 | 无码午夜成人1000部免费视频 | 偷窥村妇洗澡毛毛多 | 亚洲色欲色欲天天天www | 亚洲性无码av中文字幕 | 婷婷五月综合激情中文字幕 | 亚洲va中文字幕无码久久不卡 | 无码人妻精品一区二区三区不卡 | 精品国偷自产在线 | 亚洲成a人片在线观看无码3d | 欧洲vodafone精品性 | 国产艳妇av在线观看果冻传媒 | 曰韩少妇内射免费播放 | 亚洲gv猛男gv无码男同 | 亚洲国产精品毛片av不卡在线 | 综合人妻久久一区二区精品 | 精品无码国产自产拍在线观看蜜 | 欧美性生交活xxxxxdddd | 国产精品永久免费视频 | 国产人妻精品一区二区三区不卡 | 2019nv天堂香蕉在线观看 | 精品一二三区久久aaa片 | 中文字幕av日韩精品一区二区 | 亚洲天堂2017无码 | 波多野42部无码喷潮在线 | 亚洲精品一区二区三区婷婷月 |