久久精品国产精品国产精品污,男人扒开添女人下部免费视频,一级国产69式性姿势免费视频,夜鲁夜鲁很鲁在线视频 视频,欧美丰满少妇一区二区三区,国产偷国产偷亚洲高清人乐享,中文 在线 日韩 亚洲 欧美,熟妇人妻无乱码中文字幕真矢织江,一区二区三区人妻制服国产

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

K8S之HELM详细介绍

發布時間:2024/4/13 编程问答 32 豆豆
生活随笔 收集整理的這篇文章主要介紹了 K8S之HELM详细介绍 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

文章目錄

  • 一、基本概念
  • 二、 組件架構
  • 三 、工作原理
    • 3.1 、Chart install
    • 3.2 、Chart update
    • 3.3 、Chart Rollback
    • 3.4、Chart處理依賴
  • 四 、安裝部署
    • 4.1、 v2版本安裝
      • 4.1.1 、安裝helm
      • 4.1.2、 初始化tiller
    • 4.2 、helm3 安裝部署
      • 4.2.1 、安裝helm
      • 4.2.2 、使用helm3安裝應用
  • 五 使用
    • 5.1 基礎命令
    • 5.2 、Chart文件組織
    • 5.3、 新建自己的Chart
    • 5.4 、添加模版調用
    • 5.5 、內置對象
    • 5.6 、values文件
    • 5.7 模版函數和管道
    • 5.8 、流程控制
      • 5.8.1 、流程控制
      • 5.8.2、 if/else
      • 5.8.3 、控制空格
      • 5.8.4 、使用 with 修改范圍
      • 5.8.5 、循環 `range` 動作
    • 5.9 、變量
    • 5.10 、命名模版
      • 5.10.1、 partials 和 `_` 文件
      • 5.10.2 、用 `define` 和 `template` 聲明和使用模板
  • 六 實戰
    • 6.1 制作charts
    • 6.2 、配置minio
    • 6.3 、上傳至公共的helm倉庫
  • 七、 相關鏈接

轉載自:https://www.imooc.com/article/291355

一、基本概念

helm 類似于Linux系統下的包管理器,如yum/apt等,可以方便快捷的將之前打包好的yaml文件快速部署進kubernetes內,方便管理維護。

  • helm:一個命令行下客戶端工具,主要用于kubernetes應用chart的創建/打包/發布已經創建和管理和遠程Chart倉庫。
  • Tiller:helm的服務端,部署于kubernetes內,Tiller接受helm的請求,并根據chart生成kubernetes部署文件(helm稱為release),然后提交給 Kubernetes 創建應用。Tiller 還提供了 Release 的升級、刪除、回滾等一系列功能。
  • Chart: helm的軟件包,采用tar格式,其中包含運行一個應用所需的所有鏡像/依賴/資源定義等,還可能包含kubernetes集群中服務定義
  • Release:在kubernetes中集群中運行的一個Chart實例,在同一個集群上,一個Chart可以安裝多次,每次安裝均會生成一個新的release。
  • Repository:用于發布和存儲Chart的倉庫

簡單來說:

  • helm的作用:像centos7中的yum命令一樣,管理軟件包,只不過helm這兒管理的是在k8s上安裝的各種容器。
  • tiller的作用:像centos7的軟件倉庫一樣,簡單說類似于/etc/yum.repos.d目錄下的xxx.repo。

二、 組件架構

三 、工作原理

3.1 、Chart install

  • helm從指定目錄tar文件解析chart結構信息
  • helm將指定的chart結構value信息通過gRPC協議傳遞給tiller
  • tiller根據chart和values生成一個release
  • tiller通過json將release發送給kubernetes,生成release

3.2 、Chart update

  • helm從指定的目錄tar文件解析chart結構信息
  • helm將指定的chart結構和value信息通過gRPC協議傳給tiller
  • tiller生成release并更新指定名稱的release的history
  • tiller將release信息發送給kubernetes用于更新release

3.3 、Chart Rollback

  • helm將會滾的release名稱傳遞給tiller
  • tiller根據release名稱查找history
  • tiller從history中獲取到上一個release
  • tiller將上一個release發送給kubernetes用于替換當前release

3.4、Chart處理依賴

Tiller 在處理 Chart 時,直接將 Chart 以及其依賴的所有 Charts 合并為一個 Release,同時傳遞給 Kubernetes。因此 Tiller 并不負責管理依賴之間的啟動順序。Chart 中的應用需要能夠自行處理依賴關系。

四 、安裝部署

4.1、 v2版本安裝

4.1.1 、安裝helm

# 在helm客戶端主機上,一般為master主機 wget https://get.helm.sh/helm-v2.14.2-linux-amd64.tar.gz tar xf helm-v2.14.2-linux-amd64.tar.gz mv helm /usr/local/bin/ helm version

4.1.2、 初始化tiller

  • 初始化tiller會自動讀取~/.kube目錄,所以需要確保config文件存在并認證成功
  • tiller配置rbac,新建rabc-config.yaml并應用
# 在:https://github.com/helm/helm/blob/master/docs/rbac.md 可以找到rbac-config.yamlcat > rbac-config.yaml <<EOF apiVersion: v1 kind: ServiceAccount metadata:name: tillernamespace: kube-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata:name: tiller roleRef:apiGroup: rbac.authorization.k8s.iokind: ClusterRolename: cluster-admin subjects:- kind: ServiceAccountname: tillernamespace: kube-system EOFkubectl apply -f rbac-config.yaml
  • 制定鏡像
docker pull jessestuart/tiller:v2.14.2yum install socat# yum install socatdocker tag jessestuart/tiller:v2.14.2 gcr.io/kubernetes-helm/tiller:v2.14.2helm init -i gcr.io/kubernetes-helm/tiller:v2.9.0# 需要注意點參數 –client-only:也就是不安裝服務端應用,這在 CI&CD 中可能需要,因為通常你已經在 k8s 集群中安裝好應用了,這時只需初始化 helm 客戶端即可; –history-max:最大歷史,當你用 helm 安裝應用的時候,helm 會在所在的 namespace 中創建一份安裝記錄,隨著更新次數增加,這份記錄會越來越多; –tiller-namespace:默認是 kube-system,你也可以設置為其它 namespace;
  • 修改鏡像
# 由于gfw原因,可以利用此鏡像https://hub.docker.com/r/jessestuart/tiller/tags kubectl edit deployment -n kube-system tiller-deployimage: jessestuart/tiller:v2.14.0
  • 異常處理
Error: Looks like "https://kubernetes-charts.storage.googleapis.com" is not a valid chart repository or cannot be reached: Get https://kubernetes-charts.storage.googleapis.com/index.yaml: read tcp 10.2.8.44:49020->216.58.220.208:443: read: connection reset by peer解決方案:更換源:helm repo add stable https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts然后在helm init注意:tiller可能運行在node節點,將tiller鏡像下載到node節點并修改tag
  • 查看版本
[root@master ~]# helm version Client: &version.Version{SemVer:"v2.14.2", GitCommit:"a8b13cc5ab6a7dbef0a58f5061bcc7c0c61598e7", GitTreeState:"clean"} Server: &version.Version{SemVer:"v2.14.2+unreleased", GitCommit:"d953c6875cfd4b351a1e8205081ea8aabad7e7d4", GitTreeState:"dirty"}

4.2 、helm3 安裝部署

由于國外很多鏡像網站國內無法訪問,例如gcr.io ,建議使用阿里源,https://developer.aliyun.com/hub。

AppHub 是一個托管在國內公有云上、全公益性的 Helm Hub “中國站”,它的后端由阿里云容器平臺團隊的三位工程師利用 20% 時間開發完成。

而這個站點的一個重要職責,就是把所有 Helm 官方 Hub 托管的應用自動同步到國內;同時,自動將 Charts 文件中的 gcr.io 等所有有網絡訪問問題的 URL 替換成為穩定的國內鏡像 URL。

目前helm3已經不依賴于tiller,Release 名稱可在不同 ns 間重用。

4.2.1 、安裝helm

Helm3 不需要安裝tiller,下載到 Helm 二進制文件直接解壓到 $PATH 下就可以使用了。

cd /opt && wget https://cloudnativeapphub.oss-cn-hangzhou.aliyuncs.com/helm-v3.0.0-alpha.1-linux-amd64.tar.gz tar -xvf helm-v3.0.0-alpha.1-linux-amd64.tar.gz mv linux-amd64 helm3 mv helm3/helm helm3/helm3 chown root.root helm3 -R cat > /etc/profile.d/helm3.sh << EOF export PATH=$PATH:/opt/helm3 EOF source /etc/profile.d/helm3.sh[root@master helm3]# helm3 version version.BuildInfo{Version:"v3.0.0-alpha.1", GitCommit:"b9a54967f838723fe241172a6b94d18caf8bcdca", GitTreeState:"clean"}

4.2.2 、使用helm3安裝應用

helm repo add apphub https://apphub.aliyuncs.com helm search guestbook helm install guestbook apphub/guestbook

五 使用

5.1 基礎命令

http://hub.kubeapps.com/completion # 為指定的shell生成自動完成腳本(bash或zsh) create # 創建一個具有給定名稱的新 chart delete # 從 Kubernetes 刪除指定名稱的 release dependency # 管理 chart 的依賴關系 fetch # 從存儲庫下載 chart 并(可選)將其解壓縮到本地目錄中 get # 下載一個命名 release help # 列出所有幫助信息 history # 獲取 release 歷史 home # 顯示 HELM_HOME 的位置 init # 在客戶端和服務器上初始化Helm inspect # 檢查 chart 詳細信息 install # 安裝 chart 存檔 lint # 對 chart 進行語法檢查 list # releases 列表 package # 將 chart 目錄打包成 chart 檔案 plugin # 添加列表或刪除 helm 插件 repo # 添加列表刪除更新和索引 chart 存儲庫 reset # 從集群中卸載 Tiller rollback # 將版本回滾到以前的版本 search # 在 chart 存儲庫中搜索關鍵字 serve # 啟動本地http網絡服務器 status # 顯示指定 release 的狀態 template # 本地渲染模板 test # 測試一個 release upgrade # 升級一個 release verify # 驗證給定路徑上的 chart 是否已簽名且有效 version # 打印客戶端/服務器版本信息 dep # 分析 Chart 并下載依賴 uninstall #卸載一個release。
  • 指定value.yaml部署一個chart
helm install --name els1 -f values.yaml stable/elasticsearch
  • 升級一個chart
helm upgrade --set mysqlRootPassword=passwd db-mysql stable/mysqlhelm upgrade go2cloud-api-doc go2cloud-api-doc/
  • 回滾一個 chart
helm rollback db-mysql 1
  • 刪除一個 release
helm delete --purge db-mysql
  • 只對模板進行渲染然后輸出,不進行安裝
helm install/upgrade xxx --dry-run --debug

5.2 、Chart文件組織

myapp/ # Chart 目錄 ├── charts # 這個 charts 依賴的其他 charts,始終被安裝 ├── Chart.yaml # 描述這個 Chart 的相關信息、包括名字、描述信息、版本等 ├── templates # 模板目錄 │ ├── deployment.yaml # deployment 控制器的 Go 模板文件 │ ├── _helpers.tpl # 以 _ 開頭的文件不會部署到 k8s 上,可用于定制通用信息 │ ├── ingress.yaml # ingress 的模板文件 │ ├── NOTES.txt # Chart 部署到集群后的一些信息,例如:如何使用、列出缺省值 │ ├── service.yaml # service 的 Go 模板文件 │ └── tests │ └── test-connection.yaml └── values.yaml # 模板的值文件,這些值會在安裝時應用到 GO 模板生成部署文件

5.3、 新建自己的Chart

  • 創建自己的mychart
[root@master mychart]# helm create mychart Creating mychart [root@master mychart]# ls mychart [root@master mychart]# tree mychart/ mychart/ ├── charts ├── Chart.yaml ├── templates │ ├── deployment.yaml # 部署相關資源 │ ├── _helpers.tpl # 模版助手 │ ├── ingress.yaml # ingress資源 │ ├── NOTES.txt # chart的幫助文本,運行helm install展示給用戶 │ ├── service.yaml # service端點 │ └── tests │ └── test-connection.yaml └── values.yaml3 directories, 8 files
  • 刪除template下的所有文件,并創建configmap
rm -rf mychart/templates/* # 我們首先創建一個名為 mychart/templates/configmap.yaml:apiVersion: v1 kind: ConfigMap metadata:name: mychart-configmap data:myvalue: "Hello World"
  • 安裝測試

由于創建的yaml文件在template下,tiller讀取此文件,會將其發送給kubernetes。

[root@master mychart]# helm install ./mychart/ NAME: enervated-dolphin LAST DEPLOYED: Sun Jul 21 09:29:13 2019 NAMESPACE: default STATUS: DEPLOYEDRESOURCES: ==> v1/ConfigMap NAME DATA AGE mychart-configmap 1 0s[root@master mychart]# kubectl get cm mychart-configmap NAME DATA AGE mychart-configmap 1 2m6s [root@master mychart]# kubectl describe cm mychart-configmap Name: mychart-configmap Namespace: default Labels: <none> Annotations: <none>Data ==== myvalue: ---- this is my chart configmap Events: <none>[root@master mychart]# helm get manifest enervated-dolphin--- # Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: mychart-configmap data:myvalue: "this is my chart configmap"

該 helm get manifest 命令獲取 release 名稱(enervated-dolphin)并打印出上傳到服務器的所有 Kubernetes 資源。每個文件都以 --- 開始作為 YAML 文檔的開始,然后是一個自動生成的注釋行,告訴我們該模板文件生成的這個 YAML 文檔。

從那里開始,我們可以看到 YAML 數據正是我們在我們的 configmap.yaml 文件中所設計的 。

現在我們可以刪除我們的 release:helm delete enervated-dolphin。

[root@master mychart]# helm delete enervated-dolphin release "enervated-dolphin" deleted

5.4 、添加模版調用

硬編碼 name: 成資源通常被認為是不好的做法。名稱應該是唯一的一個版本。所以我們可能希望通過插入 release 名稱來生成一個名稱字段。

提示: name: 由于 DNS 系統的限制,該字段限制為 63 個字符。因此,release 名稱限制為 53 個字符。Kubernetes 1.3 及更早版本僅限于 24 個字符(即 14 個字符名稱)。

修改下之前的configmap為如下內容

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"

name: 現在這個值發生了變化成了 {{.Release.Name}}-configmap。

模板指令包含在 {{ 和 }} 塊中。

模板指令 {{.Release.Name}} 將 release 名稱注入模板。傳遞給模板的值可以認為是 namespace 對象,其中 dot(.)分隔每個 namespace 元素。

Release 前面的前一個小圓點表示我們從這個范圍的最上面的 namespace 開始(我們將稍微談一下 scope)。所以我們可以這樣理解 .Release.Name:“從頂層命名空間開始,找到 Release 對象,然后在里面查找名為 Name 的對象”。

該 Release 對象是 Helm 的內置對象之一,稍后我們將更深入地介紹它。但就目前而言,這足以說明這會顯示 Tiller 分配給我們發布的 release 名稱。

現在,當我們安裝我們的資源時,我們會立即看到使用這個模板指令的結果:

[root@master mychart]# helm install ./mychart/ NAME: famous-peahen LAST DEPLOYED: Sun Jul 21 09:42:05 2019 NAMESPACE: default STATUS: DEPLOYEDRESOURCES: ==> v1/ConfigMap NAME DATA AGE famous-peahen-confgmap 1 0s[root@master mychart]# helm get manifest famous-peahen--- # Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: famous-peahen-confgmap data:myvalue: "this is my chart configmap"

我們看過了基礎的模板:YAML 文件嵌入了模板指令,通過 。在下一部分中,我們將深入研究模板。但在繼續之前,有一個快速技巧可以使構建模板更快:當您想測試模板渲染,但實際上沒有安裝任何東西時,可以使用 helm install --debug --dry-run ./mychart。這會將 chart 發送到 Tiller 服務器,它將渲染模板。但不是安裝 chart,它會將渲染模板返回,以便可以看到輸出:

5.5 、內置對象

helm內部變量

對象從模板引擎傳遞到模板中。你的代碼可以傳遞對象(我們將在說明 with 和 range 語句時看到示例)。甚至有幾種方法在模板中創建新對象,就像我們稍后會看的 tuple 函數一樣。

對象可以很簡單,只有一個值。或者他們可以包含其他對象或函數。例如,Release 對象包含多個對象(如 Release.Name)并且 Files 對象具有一些函數。

在上一節中,我們使用 {{.Release.Name}} 將 release 的名稱插入到模板中。Release 是可以在模板中訪問的頂級對象之一。

  • Release:這個對象描述了 release 本身。它里面有幾個對象:
  • Release.Name:release 名稱
  • Release.Time:release 的時間
  • Release.Namespace:release 的 namespace(如果清單未覆蓋)
  • Release.Service:release 服務的名稱(始終是 Tiller)。
  • Release.Revision:此 release 的修訂版本號。它從 1 開始,每 helm upgrade 一次增加一個。
  • Release.IsUpgrade:如果當前操作是升級或回滾,則將其設置為 true。
  • Release.IsInstall:如果當前操作是安裝,則設置為 true。
  • Values:從 values.yaml 文件和用戶提供的文件傳入模板的值。默認情況下,Values 是空的。
  • Chart:Chart.yaml 文件的內容。任何數據 Chart.yaml 將在這里訪問。例如 {{.Chart.Name}}-{{.Chart.Version}} 將打印出來 mychart-0.1.0。chart 指南中 Charts Guide 列出了可用字段
  • Files:這提供對 chart 中所有非特殊文件的訪問。雖然無法使用它來訪問模板,但可以使用它來訪問 chart 中的其他文件。請參閱 “訪問文件” 部分。
  • Files.Get 是一個按名稱獲取文件的函數(.Files.Get config.ini)
  • Files.GetBytes 是將文件內容作為字節數組而不是字符串獲取的函數。這對于像圖片這樣的東西很有用。
  • Capabilities:這提供了關于 Kubernetes 集群支持的功能的信息。
  • Capabilities.APIVersions 是一組版本信息。
  • Capabilities.APIVersions.Has $version 指示是否在群集上啟用版本(batch/v1)。
  • Capabilities.KubeVersion 提供了查找 Kubernetes 版本的方法。它具有以下值:Major,Minor,GitVersion,GitCommit,GitTreeState,BuildDate,GoVersion,Compiler,和 Platform。
  • Capabilities.TillerVersion 提供了查找 Tiller 版本的方法。它具有以下值:SemVer,GitCommit,和 GitTreeState。
  • Template:包含有關正在執行的當前模板的信息
  • Name:到當前模板的 namespace 文件路徑(例如 mychart/templates/mytemplate.yaml)
  • BasePath:當前 chart 模板目錄的 namespace 路徑(例如 mychart/templates)。

這些值可用于任何頂級模板。我們稍后會看到,這并不意味著它們將在任何地方都要有。

內置值始終以大寫字母開頭。這符合Go的命名約定。當你創建自己的名字時,你可以自由地使用適合你的團隊的慣例。一些團隊,如Kubernetes chart團隊,選擇僅使用首字母小寫字母來區分本地名稱與內置名稱。在本指南中,我們遵循該約定。

5.6 、values文件

在上一節中,我們看了 Helm 模板提供的內置對象。四個內置對象之一是 Values。該對象提供對傳入 chart 的值的訪問。其內容來自四個來源:

  • chart 中的 values.yaml 文件
  • 如果這是一個子 chart,來自父 chart 的 values.yaml 文件
  • value 文件通過 helm install 或 helm upgrade 的 - f 標志傳入文件(helm install -f myvals.yaml ./mychart)
  • 通過 --set(例如 helm install --set foo=bar ./mychart)

上面的列表按照特定的順序排列:values.yaml 在默認情況下,父級 chart 的可以覆蓋該默認級別,而該 chart values.yaml 又可以被用戶提供的 values 文件覆蓋,而該文件又可以被 --set 參數覆蓋。

值文件是純 YAML 文件。我們編輯 mychart/values.yaml,然后來編輯我們的 ConfigMap 模板。

刪除默認帶的 values.yaml,我們只設置一個參數:

# 編輯values.yaml domain: anchnet.com# 在模版中引用 apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"domain: {{.Values.domain}}

注意我們在最后一行 {{ .Values.domain}} 獲取 domain 的值。

[root@master mychart]# helm install --dry-run --debug ./mychart ''' --- # Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: exciting-manta-confgmap data:myvalue: "this is my chart configmap"domain: anchnet.com
  • 手動利用–set指定

由于 domain 在默認 values.yaml 文件中設置為 anchnet.com,這就是模板中顯示的值。我們可以輕松地在我們的 helm install 命令中通過加一個 --set 添標志來覆蓋:

helm install --dry-run --debug --set domain=51idc.com ./mychart ''' --- # Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: foppish-mule-confgmap data:myvalue: "this is my chart configmap"domain: 51idc.com

由于 --set 比默認 values.yaml 文件具有更高的優先級

  • 刪除默認 key

如果您需要從默認值中刪除一個鍵,可以覆蓋該鍵的值為 null,在這種情況下,Helm 將從覆蓋值合并中刪除該鍵。

helm install stable/drupal --set image=my-registry/drupal:0.1.0 --set livenessProbe.exec.command=[cat,docroot/CHANGELOG.txt] --set livenessProbe.httpGet=null

5.7 模版函數和管道

  • 模版函數

目前為止,我們已經知道如何將信息放入模板中。但是這些信息未經修改就被放入模板中。有時我們想要轉換這些數據,使得他們對我們來說更有用。

讓我們從一個最佳實踐開始:當從. Values 對象注入字符串到模板中時,我們引用這些字符串。我們可以通過調用 quote 模板指令中的函數來實現:

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"drink: {{quote .Values.favorite.drink}}food: {{quote .Values.favorite.food}}

模板函數遵循語法 functionName arg1 arg2...。在上面的代碼片段中,quote .Values.favorite.drink 調用 quote 函數并將一個參數傳遞給它。

Helm 擁有超過 60 種可用函數。其中一些是由 Go 模板語言 Go template language 本身定義的。其他大多數都是 Sprig 模板庫 Sprig template library 的一部分。在我們講解例子進行的過程中,我們會看到很多。

雖然我們將 Helm 模板語言視為 Helm 特有的,但它實際上是 Go 模板語言,一些額外函數和各種包裝器的組合,以將某些對象暴露給模板。Go 模板上的許多資源在了解模板時可能會有所幫助。

  • 管道

模板語言的強大功能之一是其管道概念。利用 UNIX 的一個概念,管道是一個鏈接在一起的一系列模板命令的工具,以緊湊地表達一系列轉換。換句話說,管道是按順序完成幾件事情的有效方式。我們用管道重寫上面的例子。

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"drink: {{.Values.favorite.drink | quote}}food: {{.Values.favorite.food | quote}}

在這個例子中,沒有調用 quote ARGUMENT,我們調換了順序。我們使用管道(|)將 “參數” 發送給函數:.Values.favorite.drink | quote。使用管道,我們可以將幾個功能鏈接在一起:

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"drink: {{.Values.favorite.drink | quote}}food: {{.Values.favorite.food | upper | quote}}

反轉順序是模板中的常見做法。你會看到.val | quote 比 quote .val 更常見。練習也是。

當評估時,該模板將產生如下結果:

# Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: trendsetting-p-configmap data:myvalue: "Hello World"drink: "coffee"food: "PIZZA"

請注意,我們的原來 pizza 現在已經轉換為 "PIZZA"。

當有像這樣管道參數時,第一個評估(.Values.favorite.drink)的結果將作為函數的最后一個參數發送。我們可以修改上面的飲料示例來說明一個帶有兩個參數的函數 repeat COUNT STRING:

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"drink: {{.Values.favorite.drink | repeat 5 | quote}}food: {{.Values.favorite.food | upper | quote}}

該 repeat 函數將回送給定的字符串和給定的次數,所以我們將得到這個輸出:

# Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: melting-porcup-configmap data:myvalue: "Hello World"drink: "coffeecoffeecoffeecoffeecoffee"food: "PIZZA"
  • 使用 default 函數

經常使用的一個函數是 default:default DEFAULT_VALUE GIVEN_VALUE。該功能允許在模板內部指定默認值,以防該值被省略。讓我們用它來修改上面的飲料示例:

drink: {{.Values.favorite.drink | default "tea" | quote}}

如果我們像往常一樣運行,我們會得到我們的 coffee:

# Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: virtuous-mink-configmap data:myvalue: "Hello World"drink: "coffee"food: "PIZZA"

現在,我們將從以下位置刪除喜歡的飲料設置 values.yaml:

favorite:#drink: coffeefood: pizza

現在重新運行 helm install --dry-run --debug ./mychart 會產生這個 YAML:

# Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: fair-worm-configmap data:myvalue: "Hello World"drink: "tea"food: "PIZZA"

在實際的 chart 中,所有靜態默認值應該存在于 values.yaml 中,不應該使用該 default 命令重復(否則它們將是重復多余的)。但是,default 命令對于計算的值是合適的,因為計算值不能在 values.yaml 中聲明。例如:

drink: {{.Values.favorite.drink | default (printf "%s-tea" (include "fullname" .)) }}

在一些地方,一個 if 條件可能比這 default 更適合。我們將在下一節中看到這些。

模板函數和管道是轉換信息并將其插入到 YAML 中的強大方法。但有時候需要添加一些比插入字符串更復雜一些的模板邏輯。在下一節中,我們將看看模板語言提供的控制結構。

  • 運算符函數

對于模板,運算符(eq,ne,lt,gt,and,or 等等)都是已實現的功能。在管道中,運算符可以用圓括號(( 和 ))分組。

將運算符放到聲明的前面,后面跟著它的參數,就像使用函數一樣。要多個運算符一起使用,將每個函數通過圓括號分隔。

{{/* include the body of this if statement when the variable .Values.fooString xists and is set to "foo" */}} {{if and .Values.fooString (eq .Values.fooString "foo") }}{{...}} {{end}}{{/* do not include the body of this if statement because unset variables evaluate o false and .Values.setVariable was negated with the not function. */}} {{if or .Values.anUnsetVariable (not .Values.aSetVariable) }}{{...}} {{end}}

現在我們可以從函數和管道轉向流控制,條件,循環和范圍修飾符。

5.8 、流程控制

5.8.1 、流程控制

控制結構(模板說法中稱為 “動作”)為模板作者提供了控制模板生成流程的能力。Helm 的模板語言提供了以下控制結構:

  • if/else 用于創建條件塊
  • with 指定范圍
  • range,它提供了一個 “for each” 風格的循環

除此之外,它還提供了一些聲明和使用命名模板段的操作:

  • define 在模板中聲明一個新的命名模板
  • template 導入一個命名模板
  • block 聲明了一種特殊的可填寫模板區域

在本節中,我們將談論 if,with 和 range。其他內容在本指南后面的 “命名模板” 一節中介紹。

5.8.2、 if/else

我們要看的第一個控制結構是用于在模板中有條件地包含文本塊。這就是 if/else 塊。

條件的基本結構如下所示:

{{if PIPELINE}}# Do something {{else if OTHER PIPELINE}}# Do something else {{else}}# Default case {{end}}

注意,我們現在討論的是管道而不是值。其原因是要明確控制結構可以執行整個管道,而不僅僅是評估一個值。

如果值為如下情況,則管道評估為 false。

  • 一個布爾型的假
  • 一個數字零
  • 一個空的字符串
  • 一個 nil(空或 null)
  • 一個空的集合(map,slice,tuple,dict,array)

在其他情況下, 條件值為 true 此管道被執行。

我們為 ConfigMap 添加一個簡單的條件。如果飲料被設置為咖啡,我們將添加另一個設置:

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"drink: {{.Values.favorite.drink | default "tea" | quote}}food: {{.Values.favorite.food | upper | quote}}{{if and .Values.favorite.drink (eq .Values.favorite.drink "coffee") }}mug: true{{ end }}

注意 .Values.favorite.drink 必須已定義,否則在將它與 “coffee” 進行比較時會拋出錯誤。由于我們在上一個例子中注釋掉了 drink:coffee,因此輸出不應該包含 mug:true 標志。但是如果我們將該行添加回 values.yaml 文件中,輸出應該如下所示:

# Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: eyewitness-elk-configmap data:myvalue: "Hello World"drink: "coffee"food: "PIZZA"mug: true

5.8.3 、控制空格

在查看條件時,我們應該快速查看模板中的空格控制方式。讓我們看一下前面的例子,并將其格式化為更容易閱讀的格式:

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"drink: {{.Values.favorite.drink | default "tea" | quote}}food: {{.Values.favorite.food | upper | quote}}{{if eq .Values.favorite.drink "coffee"}}mug: true{{end}}

最初,這看起來不錯。但是如果我們通過模板引擎運行它,我們會得到一個錯誤的結果:

$ helm install --dry-run --debug ./mychart SERVER: "localhost:44134" CHART PATH: /Users/mattbutcher/Code/Go/src/k8s.io/helm/_scratch/mychart Error: YAML parse error on mychart/templates/configmap.yaml: error converting YAML to JSON: yaml: line 9: did not find expected key

發生了什么?由于上面的空格,我們生成了不正確的 YAML。

# Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: eyewitness-elk-configmap data:myvalue: "Hello World"drink: "coffee"food: "PIZZA"mug: true

mug 不正確地縮進。讓我們簡單地縮進那行,然后重新運行:

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"drink: {{.Values.favorite.drink | default "tea" | quote}}food: {{.Values.favorite.food | upper | quote}}{{if eq .Values.favorite.drink "coffee"}}mug: true{{end}}

當我們發送該信息時,我們會得到有效的 YAML,但仍然看起來有點意思:

# Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: telling-chimp-configmap data:myvalue: "Hello World"drink: "coffee"food: "PIZZA"mug: true

請注意,我們在 YAML 中收到了一些空行。為什么?當模板引擎運行時,它將刪除 {{ 和 }} 中的空白內容,但是按原樣保留剩余的空白

YAML 中的縮進空格是嚴格的,因此管理空格變得非常重要。幸運的是,Helm 模板有幾個工具可以幫助我們。

首先,可以使用特殊字符修改模板聲明的大括號語法,以告訴模板引擎填充空白。{{-(添加了破折號和空格)表示應該將格左移,而 -}} 意味著應該刪除右空格。注意!換行符也是空格!

確保 - 和其他指令之間有空格。-3 意思是 “刪除左空格并打印 3”,而 -3 意思是 “打印 -3”。

使用這個語法,我們可以修改我們的模板來擺脫這些新行:

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"drink: {{.Values.favorite.drink | default "tea" | quote}}food: {{.Values.favorite.food | upper | quote}}{{- if eq .Values.favorite.drink "coffee"}}mug: true{{- end}}

為了清楚說明這一點,讓我們調整上面的內容,將空格替換為 *, 按照此規則將每個空格將被刪除。一個在該行的末尾的 * 指示換行符將被移除

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"drink: {{.Values.favorite.drink | default "tea" | quote}}food: {{.Values.favorite.food | upper | quote}}* **{{- if eq .Values.favorite.drink "coffee"}}mug: true* **{{- end}}

牢記這一點,我們可以通過 Helm 運行我們的模板并查看結果:

# Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: clunky-cat-configmap data:myvalue: "Hello World"drink: "coffee"food: "PIZZA"mug: true

小心使用 chomping 修飾符。這樣很容易引起意外:

food: {{.Values.favorite.food | upper | quote}}{{- if eq .Values.favorite.drink "coffee" -}}mug: true{{- end -}}

這將會產生 food: "PIZZA"mug:true,因為刪除了雙方的換行符。

有關模板中空格控制的詳細信息,請參閱官方 Go 模板文檔 Official Go template documentation

最后,有時候告訴模板系統如何縮進更容易,而不是試圖掌握模板指令的間距。因此,有時可能會發現使用 indent 函數({{indent 2 "mug:true"}})會很有用。

5.8.4 、使用 with 修改范圍

下一個要看的控制結構是 with。它控制著變量作用域。回想一下,. 是對當前范圍的引用。因此,.Values 告訴模板在當前范圍中查找 Values 對象。

其語法 with 類似于一個簡單的 if 語句:

{{with PIPELINE}}# restricted scope {{end}}

范圍可以改變。with 可以允許將當前范圍(.)設置為特定的對象。例如,我們一直在使用的 .Values.favorites。讓我們重寫我們的 ConfigMap 來改變 . 范圍來指向 .Values.favorites:

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"{{- with .Values.favorite}}drink: {{.drink | default "tea" | quote}}food: {{.food | upper | quote}}{{- end}}

注意,現在我們可以引用 .drink 和 .food 無需對其進行限定。這是因為該 with 聲明設置 . 為指向 .Values.favorite。在 {{end}} 后 . 復位其先前的范圍。

但是請注意!在受限范圍內,此時將無法從父范圍訪問其他對象。例如,下面會報錯:

{{- with .Values.favorite}}drink: {{.drink | default "tea" | quote}}food: {{.food | upper | quote}}release: {{.Release.Name}}{{- end}}

它會產生一個錯誤,因為 Release.Name 它不在 . 限制范圍內。但是,如果我們交換最后兩行,所有將按預期工作,因為范圍在 之后被重置。

{{- with .Values.favorite}}drink: {{.drink | default "tea" | quote}}food: {{.food | upper | quote}}{{- end}}release: {{.Release.Name}}

看下 range,我們看看模板變量,它提供了一個解決上述范圍問題的方法。

5.8.5 、循環 range 動作

許多編程語言都支持使用 for 循環,foreach 循環或類似的功能機制進行循環。在 Helm 的模板語言中,遍歷集合的方式是使用 range 操作子。

首先,讓我們在我們的 values.yaml 文件中添加一份披薩配料列表:

favorite:drink: coffeefood: pizza pizzaToppings:- mushrooms- cheese- peppers- onions

現在我們有一個列表(模板中稱為 slice)pizzaToppings。我們可以修改我們的模板,將這個列表打印到我們的 ConfigMap 中:

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"{{- with .Values.favorite}}drink: {{.drink | default "tea" | quote}}food: {{.food | upper | quote}}{{- end}}toppings: |-{{- range .Values.pizzaToppings}}- {{. | title | quote}}{{- end}}

讓我們仔細看看 toppings:list。該 range 函數將遍歷 pizzaToppings 列表。但現在發生了一些有趣的事. 就像 withsets 的范圍 .,range 操作子也是一樣。每次通過循環時,. 都設置為當前比薩餅頂部。也就是第一次 . 設定 mushrooms。第二個迭代它設置為 cheese,依此類推。

我們可以直接向管道發送 . 的值,所以當我們這樣做時 {{. | title | quote}},它會發送 . 到 title(標題 case 函數),然后發送到 quote。如果我們運行這個模板,輸出將是:

# Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: edgy-dragonfly-configmap data:myvalue: "Hello World"drink: "coffee"food: "PIZZA"toppings: |-- "Mushrooms"- "Cheese"- "Peppers"- "Onions"

現在,在這個例子中,我們碰到了一些棘手的事情。該 toppings: |- 行聲明了一個多行字符串。所以我們的 toppings list 實際上不是 YAML 清單。這是一個很大的字符串。我們為什么要這樣做?因為 ConfigMaps 中的數據 data 由鍵 / 值對組成,其中鍵和值都是簡單的字符串。要理解這種情況,請查看 Kubernetes ConfigMap 文檔.。但對我們來說,這個細節并不重要。

YAML 中的 |- 標記表示一個多行字符串。這可以是一種有用的技術,用于在清單中嵌入大塊數據,如此處所示。

有時能快速在模板中創建一個列表,然后遍歷該列表是很有用的。Helm 模板有一個功能可以使這個變得簡單:tuple。在計算機科學中,元組是類固定大小的列表類集合,但是具有任意數據類型。這粗略地表達了 tuple 的使用方式。

sizes: |-{{- range tuple "small" "medium" "large"}}- {{.}}{{- end}}sizes: |-- small- medium- large

除了list和tuple之外,range還可以用于遍歷具有鍵和值的集合(如map 或 dict)。當在下一節我們介紹模板變量時,將看到如何做到這一點。

5.9 、變量

我們已經了解了函數,管道,對象和控制結構,我們可以在許多編程語言中找到更基本的用法之一:變量。在模板中,它們使用的頻率較低。我們將看到如何使用它們來簡化代碼,并更好地使用 with 和 range。

在前面的例子中,我們看到這段代碼會失敗:

{{- with .Values.favorite}}drink: {{.drink | default "tea" | quote}}food: {{.food | upper | quote}}release: {{.Release.Name}}{{- end}}

Release.Name 不在該 with 塊中限制的范圍內。解決范圍問題的一種方法是將對象分配給可以在不考慮當前范圍的情況下訪問的變量。

在 Helm 模板中,變量是對另一個對象的命名引用。它遵循這個形式 $name。變量被賦予一個特殊的賦值操作符::=。我們可以使用變量重寫上面的 Release.Name。

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"{{- $relname := .Release.Name -}}{{- with .Values.favorite}}drink: {{.drink | default "tea" | quote}}food: {{.food | upper | quote}}release: {{$relname}}{{- end}}

注意,在我們開始 with 塊之前,我們賦值 $relname :=.Release.Name。現在在 with 塊內部,$relname 變量仍然指向發布名稱。

會產生這樣的結果:

# Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: viable-badger-configmap data:myvalue: "Hello World"drink: "coffee"food: "PIZZA"release: viable-badger

變量在 range 循環中特別有用。它們可以用于類似列表的對象以同時捕獲索引和值:

toppings: |-{{- range $index, $topping := .Values.pizzaToppings}}{{$index}}: {{ $topping }}{{- end}}

注意,range 首先是變量,然后是賦值運算符,然后是列表。這將分配整數索引(從零開始)給 $index,值給 $topping。運行它將產生:

toppings: |-0: mushrooms1: cheese2: peppers3: onions

對于同時具有鍵和值的數據結構,我們可以使用 range 來獲得兩者。例如,我們可以對 .Values.favorite 像這樣循環:

apiVersion: v1 kind: ConfigMap metadata:name: {{.Release.Name}}-configmap data:myvalue: "Hello World"{{- range $key, $val := .Values.favorite}}{{$key}}: {{ $val | quote }}{{- end}}

現在在第一次迭代中,$key 是 drink,$val 是 coffee,第二次,$key 是 food,$val 會 pizza。運行上面的代碼會生成下面這個:

# Source: mychart/templates/configmap.yaml apiVersion: v1 kind: ConfigMap metadata:name: eager-rabbit-configmap data:myvalue: "Hello World"drink: "coffee"food: "pizza"

變量通常不是 “全局” 的。它們的范圍是它們所在的塊。之前,我們在模板的頂層賦值 $relname。該變量將在整個模板的范圍內起作用。但在我們的最后一個例子中,$key 和 $val 只會在該 {{range...}}{{end}} 塊的范圍內起作用。

然而,總有一個變量是全局 $ 變量 - 這個變量總是指向根上下文。當你在需要知道 chart 發行名稱的范圍內循環時,這非常有用。

舉例說明:

{{- range .Values.tlsSecrets}} apiVersion: v1 kind: Secret metadata:name: {{.name}}labels:# Many helm templates would use `.` below, but that will not work,# however `$` will work hereapp.kubernetes.io/name: {{template "fullname" $}}# I cannot reference .Chart.Name, but I can do $.Chart.Namehelm.sh/chart: "{{$.Chart.Name}}-{{ $.Chart.Version }}"app.kubernetes.io/instance: "{{$.Release.Name}}"app.kubernetes.io/managed-by: "{{$.Release.Service}}" type: kubernetes.io/tls data:tls.crt: {{.certificate}}tls.key: {{.key}} --- {{- end}}

到目前為止,我們只查看了一個文件中聲明的一個模板。但是Helm模板語言的強大功能之一是它能夠聲明多個模板并將它們一起使用。我們將在下一節中討論。

5.10 、命名模版

現在是開始創建超過一個模板的時候了。在本節中,我們將看到如何在一個文件中定義命名模板,然后在別處使用它們。命名模板(有時稱為部分或子模板)是限定在一個文件內部的模板,并起一個名稱。我們有兩種創建方法,以及幾種不同的使用方法。

在 “流量控制” 部分中,我們介紹了聲明和管理模板三個動作:define,template,和 block。在本節中,我們將介紹這三個動作,并介紹一個 include 函數,與 template 類似功能。

在命名模板時要注意一個重要的細節:模板名稱是全局的。如果聲明兩個具有相同名稱的模板,則最后加載一個模板是起作用的模板。由于子 chart 中的模板與頂級模板一起編譯,因此注意小心地使用特定 chart 的名稱來命名模板。

通用的命名約定是為每個定義的模板添加 chart 名稱:{{define "mychart.labels"}}。通過使用特定 chart 名稱作為前綴,我們可以避免由于同名模板的兩個不同 chart 而可能出現的任何沖突。

5.10.1、 partials 和 _ 文件

到目前為止,我們已經使用了一個文件,一個文件包含一個模板。但 Helm 的模板語言允許創建指定的嵌入模板,可以通過名稱訪問。

在我們開始編寫這些模板之前,有一些文件命名約定值得一提:

  • 大多數文件 templates/ 被視為包含 Kubernetes manifests
  • NOTES.txt 是一個例外
  • 名稱以下劃線(_)開頭的文件被假定為沒有內部 manifest。這些文件不會渲染 Kubernetes 對象定義,而是在其他 chart 模板中隨處可用以供調用。

這些文件用于存儲 partials 和輔助程序。事實上,當我們第一次創建時 mychart,我們看到一個叫做文件 _helpers.tpl。該文件是模板 partials 的默認位置。

5.10.2 、用 define 和 template 聲明和使用模板

六 實戰

6.1 制作charts

  • 將用slate做好的go2cloud-api-doc 利用helm做成charts,方便后續部署
helm create go2cloud-api-doc[root@master go2cloud-api-doc]# tree . ├── charts ├── Chart.yaml ├── templates │ ├── deployment.yaml │ ├── _helpers.tpl │ ├── NOTES.txt │ ├── service.yaml │ └── tests │ └── test-connection.yaml └── values.yaml3 directories, 8 files# 配置 deployment [root@master go2cloud_api_doc_charts]# egrep "^$|^#" -v go2cloud-api-doc/templates/deployment.yaml apiVersion: apps/v1 kind: Deployment metadata:name: {{ include "go2cloud-api-doc.fullname" . }}labels: {{ include "go2cloud-api-doc.labels" . | indent 4 }} spec:replicas: {{ .Values.replicaCount }}selector:matchLabels:app.kubernetes.io/name: {{ include "go2cloud-api-doc.name" . }}app.kubernetes.io/instance: {{ .Release.Name }}template:metadata:labels:app.kubernetes.io/name: {{ include "go2cloud-api-doc.name" . }}app.kubernetes.io/instance: {{ .Release.Name }}spec:imagePullSecrets: - name: {{ .Values.imagePullSecrets }}containers:- name: {{ .Chart.Name }}image: "{{ .Values.image.repository }}:{{ .Values.image.tag }}"imagePullPolicy: {{ .Values.image.pullPolicy }}ports:- name: httpcontainerPort: {{ .Values.service.port }}protocol: TCPlivenessProbe:{{- toYaml .Values.livenessProbe | nindent 12 }}readinessProbe:{{- toYaml .Values.readinessProbe | nindent 12 }}resources:{{- toYaml .Values.resources | nindent 12 }}{{- with .Values.nodeSelector }}nodeSelector:{{- toYaml . | nindent 8 }}{{- end }}{{- with .Values.affinity }}affinity:{{- toYaml . | nindent 8 }}{{- end }}{{- with .Values.tolerations }}tolerations:{{- toYaml . | nindent 8 }}{{- end }}# 配置service [root@master go2cloud_api_doc_charts]# egrep "^$|^#" -v go2cloud-api-doc/templates/service.yaml apiVersion: v1 kind: Service metadata:name: {{ include "go2cloud-api-doc.fullname" . }}labels: {{ include "go2cloud-api-doc.labels" . | indent 4 }} spec:type: {{ .Values.service.type }}ports:- port: {{ .Values.service.port }}targetPort: {{ .Values.service.port }}protocol: TCPname: httpnodePort: {{ .Values.service.nodePort }} selector:app.kubernetes.io/name: {{ include "go2cloud-api-doc.name" . }}app.kubernetes.io/instance: {{ .Release.Name }}# 配置values [root@master go2cloud_api_doc_charts]# egrep "^$|^#|^[[:space:]]+#" -v go2cloud-api-doc/values.yaml replicaCount: 1 image:repository: 10.234.2.218/go2cloud/go2cloud-api-doctag: latestpullPolicy: Always imagePullSecrets: registry-secret nameOverride: "" fullnameOverride: "" service:type: NodePortport: 4567nodePort: 30567 ingress:enabled: falseannotations: {}hosts:- host: chart-example.localpaths: []tls: [] resources: requests:cpu: 1000mmemory: 1280Milimits:cpu: 1000mmemory: 1280Mi livenessProbe:tcpSocket:port: 4567initialDelaySeconds: 10failureThreshold: 2 timeoutSeconds: 10 readinessProbe:httpGet:path: /#introductionport: httpinitialDelaySeconds: 5failureThreshold: 2 timeoutSeconds: 30 nodeSelector: {} tolerations: [] affinity: {}[root@master go2cloud_api_doc_charts]# egrep "^$|^#|^[[:space:]]+#" -v go2cloud-api-doc/Chart.yaml apiVersion: v1 appVersion: "1.0" description: A Helm chart for Kubernetes name: go2cloud-api-doc version: 0.1.0# 部署 [root@master go2cloud_api_doc_charts]# helm install -n go2cloud-api-doc -f go2cloud-api-doc/values.yaml go2cloud-api-doc/ NAME: go2cloud-api-doc LAST DEPLOYED: Wed Jul 31 14:34:21 2019 NAMESPACE: default STATUS: DEPLOYEDRESOURCES: ==> v1/Deployment NAME READY UP-TO-DATE AVAILABLE AGE go2cloud-api-doc 0/1 1 0 0s==> v1/Pod(related) NAME READY STATUS RESTARTS AGE go2cloud-api-doc-7cfb7bb795-clrz8 0/1 ContainerCreating 0 0s==> v1/Service NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE go2cloud-api-doc NodePort 10.96.228.251 <none> 4567:30567/TCP 0sNOTES: 1. Get the application URL by running these commands:export NODE_PORT=$(kubectl get --namespace default -o jsonpath="{.spec.ports[0].nodePort}" services go2cloud-api-doc)export NODE_IP=$(kubectl get nodes --namespace default -o jsonpath="{.items[0].status.addresses[0].address}")echo http://$NODE_IP:$NODE_PORT[root@master go2cloud_api_doc_charts]# helm ls go2cloud-api-doc NAME REVISION UPDATED STATUS CHART APP VERSION NAMESPACE go2cloud-api-doc 1 Wed Jul 31 14:34:21 2019 DEPLOYED go2cloud-api-doc-0.1.0 1.0 default [root@master go2cloud_api_doc_charts]# kubectl get deployment go2cloud-api-doc NAME READY UP-TO-DATE AVAILABLE AGE go2cloud-api-doc 0/1 1 0 10m[root@master go2cloud_api_doc_charts]# kubectl get pods |grep go2cloud-api-doc go2cloud-api-doc-7cfb7bb795-clrz8 0/1 CrashLoopBackOff 7 10m[root@master go2cloud_api_doc_charts]# kubectl get svc go2cloud-api-doc NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE go2cloud-api-doc NodePort 10.96.228.251 <none> 4567:30567/TCP 10m# 打包 [root@master go2cloud_api_doc_charts]# helm package ./go2cloud-api-doc/ Successfully packaged chart and saved it to: /data/go2cloud_api_doc_charts/go2cloud-api-doc-0.1.0.tgz [root@master go2cloud_api_doc_charts]# tree . ├── go2cloud-api-doc │ ├── charts │ ├── Chart.yaml │ ├── templates │ │ ├── deployment.yaml │ │ ├── _helpers.tpl │ │ ├── NOTES.txt │ │ ├── service.yaml │ │ └── tests │ │ └── test-connection.yaml │ └── values.yaml └── go2cloud-api-doc-0.1.0.tgz4 directories, 8 files# 升級副本數量 helm upgrade go2cloud-api-doc --set replicaCount=2 go2cloud-api-doc/

6.2 、配置minio

將制作好的charts存放到minio上,在k8s內部署minio

  • 創建本地chart目錄
mkdir minio-chart
  • 將修改好的chart文件打包
helm package redis
  • 將包拷貝至創建的本地chart目錄中
cp redis-8.0.5.tgz /root/minio-chart/
  • 更新/root/minio-chart/目錄下的index索引
helm repo index minio-chart/ --url http://10.234.2.204:31311/minio/common-helm-repo/
  • 將index.yaml 和chart包上傳至minio
mc cp index.yaml minio/common-helm-repo/ mc cp redis-8.0.5.tgz minio/common-helm-repo/
  • 將制作好的charts上傳至minio
helm repo add monocular https://helm.github.io/monocular helm install -n monocular monocular/monocularmc cp go2cloud-api-doc-0.1.0.tgz minio/common-helm-repo

可以在${HOME}/.mc/config.json中查看ak密鑰信息。

  • 驗證
helm search | grep local

6.3 、上傳至公共的helm倉庫

將制作好的charts包可以上傳至helm倉庫,可以放在自己的自建私有倉庫,流入:kubeapps/Monocular/minior等,可以利用helm命令一鍵安裝。

上傳至公有云公共倉庫,例如國內的阿里目前創建的Apphub等,在現今的云原生生態當中,已經有很多成熟的開源軟件被制作成了 Helm Charts,使得用戶可以非常方便地下載和使用,比如 Nginx,Apache、Elasticsearch、Redis 等等。不過,在開放云原生應用中心 App hub(Helm Charts 中國站) 發布之前,國內用戶一直都很難直接下載使用這些 Charts。而現在,AppHub 不僅為國內用戶實時同步了官方 Helm Hub 里的所有應用,還自動替換了這些 Charts 里所有不可訪問的鏡像 URL(比如 gcr.io, quay.io 等),終于使得國內開發者通過 helm install “一鍵安裝”應用成為了可能。

具體提交自己的charts可以參考:https://github.com/cloudnativeapp/charts/pulls?spm=a2c6h.13155457.1383030.1.3347b579urlAo7

七、 相關鏈接

  • helm githab地址
  • helm 手冊
  • https://whmzsu.github.io/helm-doc-zh-cn/chart_template_guide/control_structures-zh_cn.html
  • https://github.com/helm/monocular
  • Helm3
  • 深入剖析go template:https://www.cnblogs.com/f-ck-need-u/p/10035768.html
  • golang text/template的詳細說明:https://blog.csdn.net/u012386544/article/details/84535586
超強干貨來襲 云風專訪:近40年碼齡,通宵達旦的技術人生

總結

以上是生活随笔為你收集整理的K8S之HELM详细介绍的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

久久精品成人欧美大片 | 色综合久久久无码网中文 | 欧美老人巨大xxxx做受 | 国产精品毛多多水多 | 国产特级毛片aaaaaaa高清 | 无码一区二区三区在线观看 | 成年女人永久免费看片 | 丰满少妇熟乱xxxxx视频 | 97无码免费人妻超级碰碰夜夜 | 亚洲精品一区二区三区在线观看 | 性啪啪chinese东北女人 | 日产精品99久久久久久 | 波多野结衣高清一区二区三区 | 久久99久久99精品中文字幕 | 亚洲乱码国产乱码精品精 | 亚洲无人区一区二区三区 | 动漫av网站免费观看 | v一区无码内射国产 | 国产农村乱对白刺激视频 | 久久国产精品萌白酱免费 | 国产成人av免费观看 | 免费国产黄网站在线观看 | 激情亚洲一区国产精品 | 久久精品99久久香蕉国产色戒 | 强奷人妻日本中文字幕 | 黄网在线观看免费网站 | 亚洲国产精品无码一区二区三区 | 日本成熟视频免费视频 | 亚洲男女内射在线播放 | 久久久久人妻一区精品色欧美 | 欧美日韩一区二区免费视频 | 日本熟妇乱子伦xxxx | 精品人妻中文字幕有码在线 | 久久伊人色av天堂九九小黄鸭 | 丰满岳乱妇在线观看中字无码 | 欧美成人家庭影院 | 免费人成在线视频无码 | 国产又粗又硬又大爽黄老大爷视 | 人人妻人人藻人人爽欧美一区 | a国产一区二区免费入口 | 狠狠色欧美亚洲狠狠色www | 亚洲精品一区二区三区大桥未久 | 国产精品多人p群无码 | 亚洲精品美女久久久久久久 | 国产精品无码mv在线观看 | 国产成人无码一二三区视频 | 国产精品资源一区二区 | 国产人妻人伦精品1国产丝袜 | 大色综合色综合网站 | 国产精品美女久久久 | 少妇一晚三次一区二区三区 | 久久亚洲日韩精品一区二区三区 | 东北女人啪啪对白 | 国产片av国语在线观看 | 夜夜躁日日躁狠狠久久av | 欧美老妇交乱视频在线观看 | 内射巨臀欧美在线视频 | 天天拍夜夜添久久精品大 | 国产69精品久久久久app下载 | 中文字幕日韩精品一区二区三区 | 熟妇人妻无乱码中文字幕 | 图片区 小说区 区 亚洲五月 | 国产口爆吞精在线视频 | 欧美性生交xxxxx久久久 | 久久综合给久久狠狠97色 | 日本大香伊一区二区三区 | 99麻豆久久久国产精品免费 | 亚洲中文字幕久久无码 | 特大黑人娇小亚洲女 | 人人妻人人澡人人爽人人精品 | 丰满岳乱妇在线观看中字无码 | 国产成人午夜福利在线播放 | 蜜臀av在线观看 在线欧美精品一区二区三区 | 欧美 丝袜 自拍 制服 另类 | 初尝人妻少妇中文字幕 | 在线亚洲高清揄拍自拍一品区 | 中文字幕久久久久人妻 | 精品人妻人人做人人爽 | 窝窝午夜理论片影院 | 丝袜人妻一区二区三区 | 欧美熟妇另类久久久久久多毛 | 国产av一区二区精品久久凹凸 | 久精品国产欧美亚洲色aⅴ大片 | √天堂中文官网8在线 | 人人妻人人澡人人爽人人精品 | 亚洲精品成人福利网站 | 一本色道久久综合亚洲精品不卡 | 香港三级日本三级妇三级 | 中国女人内谢69xxxx | 中文字幕 亚洲精品 第1页 | 国产97人人超碰caoprom | 99精品国产综合久久久久五月天 | 中文字幕av日韩精品一区二区 | 国产亚洲精品久久久久久国模美 | 风流少妇按摩来高潮 | 久久久久久国产精品无码下载 | 久久久中文字幕日本无吗 | 日日碰狠狠丁香久燥 | 少妇一晚三次一区二区三区 | 国产成人无码a区在线观看视频app | 亚洲国产精品一区二区美利坚 | 波多野结衣一区二区三区av免费 | 国产成人无码区免费内射一片色欲 | 久久久久国色av免费观看性色 | 国产精品久久久 | 亚洲爆乳大丰满无码专区 | 欧美xxxx黑人又粗又长 | 天海翼激烈高潮到腰振不止 | 在线亚洲高清揄拍自拍一品区 | 亚洲日韩av一区二区三区四区 | 欧美日韩在线亚洲综合国产人 | 香港三级日本三级妇三级 | 性生交大片免费看女人按摩摩 | 兔费看少妇性l交大片免费 | 特黄特色大片免费播放器图片 | 日产国产精品亚洲系列 | 99久久99久久免费精品蜜桃 | 中文字幕乱码人妻二区三区 | 一本久道久久综合狠狠爱 | 亚洲va中文字幕无码久久不卡 | 牛和人交xxxx欧美 | 全黄性性激高免费视频 | 国产精品亚洲综合色区韩国 | 18精品久久久无码午夜福利 | 好爽又高潮了毛片免费下载 | 成人一在线视频日韩国产 | 日本精品少妇一区二区三区 | 欧美日韩久久久精品a片 | 国产偷抇久久精品a片69 | 成人无码精品一区二区三区 | 亚洲日本va午夜在线电影 | 老司机亚洲精品影院 | 天天综合网天天综合色 | 亚洲中文字幕乱码av波多ji | 99久久久无码国产aaa精品 | 成人欧美一区二区三区黑人 | 自拍偷自拍亚洲精品被多人伦好爽 | 国产人妖乱国产精品人妖 | 成人欧美一区二区三区 | 亚洲人交乣女bbw | 亚洲乱码中文字幕在线 | 亚洲爆乳精品无码一区二区三区 | 蜜桃臀无码内射一区二区三区 | 亚洲中文无码av永久不收费 | 鲁大师影院在线观看 | 日日天干夜夜狠狠爱 | 日本丰满熟妇videos | 好爽又高潮了毛片免费下载 | 欧美熟妇另类久久久久久多毛 | 无码国产乱人伦偷精品视频 | 国产xxx69麻豆国语对白 | 无遮无挡爽爽免费视频 | 67194成是人免费无码 | 久久综合激激的五月天 | 免费看少妇作爱视频 | 日韩精品成人一区二区三区 | 亚洲码国产精品高潮在线 | 最新国产乱人伦偷精品免费网站 | 无码一区二区三区在线观看 | 黑人巨大精品欧美一区二区 | 少妇性l交大片 | 99视频精品全部免费免费观看 | 三级4级全黄60分钟 | 四虎影视成人永久免费观看视频 | 欧美性生交活xxxxxdddd | 国内精品人妻无码久久久影院蜜桃 | 久久zyz资源站无码中文动漫 | 水蜜桃色314在线观看 | 国模大胆一区二区三区 | 欧美人与牲动交xxxx | 天堂亚洲免费视频 | 亚洲中文字幕av在天堂 | 又大又硬又爽免费视频 | 大地资源网第二页免费观看 | 亚洲成a人一区二区三区 | 一本大道伊人av久久综合 | 亚洲精品一区三区三区在线观看 | 日韩av激情在线观看 | 成熟人妻av无码专区 | 搡女人真爽免费视频大全 | 最新国产麻豆aⅴ精品无码 | 鲁大师影院在线观看 | 六十路熟妇乱子伦 | 亚洲精品成人福利网站 | 十八禁视频网站在线观看 | 偷窥日本少妇撒尿chinese | 亚洲一区二区三区播放 | 亚洲一区二区三区偷拍女厕 | 国产精品国产自线拍免费软件 | 国产人妻精品一区二区三区 | 在教室伦流澡到高潮hnp视频 | 欧美日韩一区二区免费视频 | 亚洲国产一区二区三区在线观看 | 青青青爽视频在线观看 | 我要看www免费看插插视频 | 好爽又高潮了毛片免费下载 | 丰满妇女强制高潮18xxxx | 亚洲 激情 小说 另类 欧美 | 内射爽无广熟女亚洲 | 夜先锋av资源网站 | 国产成人精品优优av | 精品夜夜澡人妻无码av蜜桃 | 丰满人妻翻云覆雨呻吟视频 | 成熟妇人a片免费看网站 | 久久久久久a亚洲欧洲av冫 | 成人无码精品一区二区三区 | 少妇性俱乐部纵欲狂欢电影 | 麻豆国产97在线 | 欧洲 | 欧美zoozzooz性欧美 | 丰满少妇高潮惨叫视频 | 色噜噜亚洲男人的天堂 | 久久精品国产一区二区三区 | 中文字幕 亚洲精品 第1页 | www国产亚洲精品久久网站 | 沈阳熟女露脸对白视频 | 2019午夜福利不卡片在线 | 久久久久久国产精品无码下载 | 亚洲欧美日韩国产精品一区二区 | 久久久久免费看成人影片 | 在线精品国产一区二区三区 | 兔费看少妇性l交大片免费 | 国产精品亚洲综合色区韩国 | 日本一区二区三区免费播放 | 377p欧洲日本亚洲大胆 | 国产精品视频免费播放 | 久久久中文久久久无码 | 97久久国产亚洲精品超碰热 | 久久国内精品自在自线 | 国产人妻精品一区二区三区 | 乱中年女人伦av三区 | 亚洲s码欧洲m码国产av | 日产国产精品亚洲系列 | 色综合久久中文娱乐网 | 少妇厨房愉情理9仑片视频 | 97色伦图片97综合影院 | 中文字幕乱码亚洲无线三区 | 无遮挡啪啪摇乳动态图 | 中文字幕乱妇无码av在线 | 国产 精品 自在自线 | 国内揄拍国内精品少妇国语 | 国产黑色丝袜在线播放 | 久久这里只有精品视频9 | 亚洲熟妇色xxxxx欧美老妇y | 色综合久久久无码中文字幕 | 乱码午夜-极国产极内射 | 亚洲无人区一区二区三区 | 国产精品久久久久影院嫩草 | √8天堂资源地址中文在线 | 波多野结衣高清一区二区三区 | 国产一区二区三区四区五区加勒比 | 亚洲区小说区激情区图片区 | 欧美人与禽zoz0性伦交 | 人妻互换免费中文字幕 | 国产手机在线αⅴ片无码观看 | 日本饥渴人妻欲求不满 | 午夜精品一区二区三区的区别 | 噜噜噜亚洲色成人网站 | 欧美性生交xxxxx久久久 | 国产亚洲精品久久久久久久 | 久9re热视频这里只有精品 | 欧美日韩人成综合在线播放 | 欧美性猛交内射兽交老熟妇 | 少妇愉情理伦片bd | 久久精品国产99精品亚洲 | 国产成人午夜福利在线播放 | 亚洲无人区午夜福利码高清完整版 | 精品厕所偷拍各类美女tp嘘嘘 | 欧美丰满熟妇xxxx性ppx人交 | 欧美人与牲动交xxxx | 国产suv精品一区二区五 | 图片小说视频一区二区 | 亚洲精品一区二区三区婷婷月 | 欧美性色19p | 国产内射老熟女aaaa | 日韩在线不卡免费视频一区 | 色一情一乱一伦 | 国产熟女一区二区三区四区五区 | 久久99精品久久久久久动态图 | 在线a亚洲视频播放在线观看 | 久久人人爽人人爽人人片ⅴ | 激情五月综合色婷婷一区二区 | 大肉大捧一进一出视频出来呀 | 婷婷丁香六月激情综合啪 | 中文字幕乱码亚洲无线三区 | 一本大道久久东京热无码av | 人妻少妇精品久久 | 亚洲gv猛男gv无码男同 | 性欧美videos高清精品 | 久久久婷婷五月亚洲97号色 | 久久国产精品偷任你爽任你 | 精品欧洲av无码一区二区三区 | 亚洲天堂2017无码 | 亚洲色无码一区二区三区 | 久久久精品欧美一区二区免费 | 精品偷自拍另类在线观看 | 亚洲国产欧美日韩精品一区二区三区 | 无码人妻av免费一区二区三区 | 国产成人精品无码播放 | 欧美第一黄网免费网站 | 一个人免费观看的www视频 | 免费无码肉片在线观看 | 性色欲情网站iwww九文堂 | 国产亚av手机在线观看 | 无码国产乱人伦偷精品视频 | 中文字幕久久久久人妻 | 日韩av无码一区二区三区 | 久久人人爽人人人人片 | 一区二区三区乱码在线 | 欧洲 | 97久久精品无码一区二区 | 少妇的肉体aa片免费 | 久久精品国产99精品亚洲 | 欧美精品国产综合久久 | 免费人成在线观看网站 | 自拍偷自拍亚洲精品10p | 亚洲国产精品无码一区二区三区 | 日本欧美一区二区三区乱码 | av在线亚洲欧洲日产一区二区 | 亚洲一区二区三区播放 | 国产av剧情md精品麻豆 | 国产性生大片免费观看性 | 欧美猛少妇色xxxxx | 精品水蜜桃久久久久久久 | 无遮无挡爽爽免费视频 | 亚洲色欲色欲天天天www | 日韩 欧美 动漫 国产 制服 | 对白脏话肉麻粗话av | 成人免费视频一区二区 | 久久99精品久久久久婷婷 | 高清国产亚洲精品自在久久 | 欧美国产亚洲日韩在线二区 | 亚洲s色大片在线观看 | 人人澡人摸人人添 | 夜先锋av资源网站 | 狂野欧美性猛交免费视频 | 永久免费观看美女裸体的网站 | 婷婷丁香五月天综合东京热 | 樱花草在线社区www | 无码国模国产在线观看 | 在线亚洲高清揄拍自拍一品区 | 牲欲强的熟妇农村老妇女 | www国产精品内射老师 | 亚洲自偷自偷在线制服 | 色 综合 欧美 亚洲 国产 | 强伦人妻一区二区三区视频18 | 中文字幕av日韩精品一区二区 | 自拍偷自拍亚洲精品被多人伦好爽 | 小泽玛莉亚一区二区视频在线 | 中文字幕人妻无码一夲道 | 久久综合给久久狠狠97色 | 扒开双腿吃奶呻吟做受视频 | 夜夜影院未满十八勿进 | 人妻少妇精品久久 | 亚洲欧美综合区丁香五月小说 | 国精品人妻无码一区二区三区蜜柚 | 无码精品国产va在线观看dvd | 成人欧美一区二区三区黑人 | 高清无码午夜福利视频 | 激情综合激情五月俺也去 | 久久www免费人成人片 | 精品无码一区二区三区的天堂 | 性史性农村dvd毛片 | 狠狠色丁香久久婷婷综合五月 | 日本欧美一区二区三区乱码 | 99精品视频在线观看免费 | 国内综合精品午夜久久资源 | 性开放的女人aaa片 | 日本精品久久久久中文字幕 | 熟妇人妻无乱码中文字幕 | 午夜熟女插插xx免费视频 | 欧美激情综合亚洲一二区 | 欧美人与禽zoz0性伦交 | 国产亚洲精品久久久闺蜜 | 色五月五月丁香亚洲综合网 | 久久精品国产一区二区三区肥胖 | 老太婆性杂交欧美肥老太 | 国产成人精品无码播放 | 天堂а√在线中文在线 | а天堂中文在线官网 | 日本护士xxxxhd少妇 | 国产亚洲欧美日韩亚洲中文色 | 狠狠躁日日躁夜夜躁2020 | 亚洲中文字幕在线观看 | 色综合久久久无码中文字幕 | 国产在线无码精品电影网 | 国产在热线精品视频 | 欧洲熟妇精品视频 | 国产精品va在线观看无码 | 色婷婷综合激情综在线播放 | 亚洲欧美中文字幕5发布 | 亚洲一区二区三区香蕉 | 天天燥日日燥 | 日韩欧美成人免费观看 | 欧美日韩久久久精品a片 | 亚洲熟女一区二区三区 | 少妇久久久久久人妻无码 | 国产办公室秘书无码精品99 | 俺去俺来也在线www色官网 | 伊在人天堂亚洲香蕉精品区 | 久久无码人妻影院 | 久久久精品456亚洲影院 | 一区二区三区高清视频一 | 国产精品久久久久9999小说 | av无码电影一区二区三区 | 无码国内精品人妻少妇 | 男女下面进入的视频免费午夜 | 日本精品高清一区二区 | 亚洲一区二区三区在线观看网站 | 丰满少妇高潮惨叫视频 | 久久久中文久久久无码 | 国内精品人妻无码久久久影院 | 丰满人妻翻云覆雨呻吟视频 | 日日麻批免费40分钟无码 | 中文精品久久久久人妻不卡 | 又大又硬又爽免费视频 | 亚洲成a人一区二区三区 | 亚洲狠狠色丁香婷婷综合 | 狂野欧美性猛xxxx乱大交 | 国产一精品一av一免费 | 亚洲日本va中文字幕 | 国产精华av午夜在线观看 | 日韩人妻无码一区二区三区久久99 | 亚洲爆乳无码专区 | 中文毛片无遮挡高清免费 | 丰满岳乱妇在线观看中字无码 | 搡女人真爽免费视频大全 | 久久久亚洲欧洲日产国码αv | 亚洲综合在线一区二区三区 | 国产精品福利视频导航 | 东京无码熟妇人妻av在线网址 | 国产麻豆精品一区二区三区v视界 | 人妻少妇被猛烈进入中文字幕 | 人人妻人人澡人人爽欧美一区九九 | 亚洲欧美精品伊人久久 | 人妻夜夜爽天天爽三区 | 三上悠亚人妻中文字幕在线 | 久久精品国产一区二区三区 | 最新国产乱人伦偷精品免费网站 | 波多野结衣高清一区二区三区 | 日本一区二区三区免费高清 | 午夜福利一区二区三区在线观看 | 国产无遮挡又黄又爽免费视频 | 一二三四在线观看免费视频 | 亚洲精品久久久久久久久久久 | 激情内射亚州一区二区三区爱妻 | 国产高清av在线播放 | 久久久久久a亚洲欧洲av冫 | 国产美女精品一区二区三区 | 成人三级无码视频在线观看 | 兔费看少妇性l交大片免费 | 国产亚洲美女精品久久久2020 | 国产97色在线 | 免 | 免费人成在线视频无码 | 樱花草在线社区www | 大乳丰满人妻中文字幕日本 | 久久久中文字幕日本无吗 | 自拍偷自拍亚洲精品10p | 丰满人妻精品国产99aⅴ | 少妇性俱乐部纵欲狂欢电影 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 东京无码熟妇人妻av在线网址 | 人人澡人人透人人爽 | 四虎影视成人永久免费观看视频 | 亚洲一区二区三区在线观看网站 | 国产精品嫩草久久久久 | 强开小婷嫩苞又嫩又紧视频 | 熟妇人妻无码xxx视频 | 色综合久久网 | 国产精品自产拍在线观看 | 亚洲人成影院在线无码按摩店 | 免费视频欧美无人区码 | 亚洲高清偷拍一区二区三区 | 色综合久久88色综合天天 | 国产做国产爱免费视频 | 99久久婷婷国产综合精品青草免费 | 中文久久乱码一区二区 | 久激情内射婷内射蜜桃人妖 | 中文字幕 亚洲精品 第1页 | 大胆欧美熟妇xx | 亚洲日韩av一区二区三区四区 | 欧美熟妇另类久久久久久多毛 | 国产成人综合美国十次 | 久久99精品国产麻豆蜜芽 | 久久久久久亚洲精品a片成人 | 国产69精品久久久久app下载 | 欧美性黑人极品hd | 最近的中文字幕在线看视频 | 美女黄网站人色视频免费国产 | 人人爽人人爽人人片av亚洲 | 国产国语老龄妇女a片 | 成人精品一区二区三区中文字幕 | 野外少妇愉情中文字幕 | 狠狠色噜噜狠狠狠狠7777米奇 | 99久久精品国产一区二区蜜芽 | 国产精品美女久久久 | 国产成人亚洲综合无码 | 99精品国产综合久久久久五月天 | 又色又爽又黄的美女裸体网站 | 一本久道久久综合婷婷五月 | 女人高潮内射99精品 | 成 人 网 站国产免费观看 | 性欧美疯狂xxxxbbbb | 欧美精品国产综合久久 | 国产麻豆精品一区二区三区v视界 | 东京热男人av天堂 | 久久久久se色偷偷亚洲精品av | 麻花豆传媒剧国产免费mv在线 | 亚洲精品无码国产 | 狠狠色丁香久久婷婷综合五月 | 97se亚洲精品一区 | 国产精品va在线观看无码 | 欧美老妇交乱视频在线观看 | 国产精品久久久午夜夜伦鲁鲁 | 丰满妇女强制高潮18xxxx | 麻豆国产人妻欲求不满 | 亚洲乱码中文字幕在线 | 日本欧美一区二区三区乱码 | 精品无码一区二区三区爱欲 | 国产免费久久久久久无码 | 国产色视频一区二区三区 | 久久熟妇人妻午夜寂寞影院 | 九九综合va免费看 | 国产国语老龄妇女a片 | 亚洲国产精品久久人人爱 | 一本久道久久综合婷婷五月 | 国产 浪潮av性色四虎 | 亚洲午夜福利在线观看 | 国产真实伦对白全集 | 中国女人内谢69xxxx | 六十路熟妇乱子伦 | 国内精品一区二区三区不卡 | 18禁黄网站男男禁片免费观看 | 欧美国产日产一区二区 | 欧美自拍另类欧美综合图片区 | 免费观看黄网站 | 久久视频在线观看精品 | 99久久精品日本一区二区免费 | 青春草在线视频免费观看 | 中文字幕无码av激情不卡 | 国产猛烈高潮尖叫视频免费 | 日本大香伊一区二区三区 | 成人试看120秒体验区 | 久激情内射婷内射蜜桃人妖 | 亚洲aⅴ无码成人网站国产app | 免费国产成人高清在线观看网站 | 亚洲欧美国产精品久久 | 久久97精品久久久久久久不卡 | 欧美性黑人极品hd | 97久久超碰中文字幕 | 国内综合精品午夜久久资源 | 国产超碰人人爽人人做人人添 | 亚洲精品一区二区三区婷婷月 | 色 综合 欧美 亚洲 国产 | 日产精品高潮呻吟av久久 | 少妇一晚三次一区二区三区 | 亚洲综合精品香蕉久久网 | 夜精品a片一区二区三区无码白浆 | 中文字幕乱码人妻二区三区 | 2020久久香蕉国产线看观看 | 夜夜影院未满十八勿进 | 无码精品人妻一区二区三区av | 无码福利日韩神码福利片 | 天天摸天天碰天天添 | 少妇愉情理伦片bd | 欧美精品免费观看二区 | 日韩人妻系列无码专区 | 蜜桃视频韩日免费播放 | 久久久精品欧美一区二区免费 | 一本大道伊人av久久综合 | 中文字幕人妻无码一区二区三区 | 亚洲啪av永久无码精品放毛片 | 在线亚洲高清揄拍自拍一品区 | 亚洲综合伊人久久大杳蕉 | 亚洲人成网站色7799 | 亚洲中文字幕无码一久久区 | 天堂亚洲2017在线观看 | 久久五月精品中文字幕 | 东京热男人av天堂 | 亚洲成av人在线观看网址 | 麻豆精产国品 | 国产精品理论片在线观看 | 久在线观看福利视频 | 日本xxxx色视频在线观看免费 | 97精品人妻一区二区三区香蕉 | 国产97人人超碰caoprom | 久久久久99精品国产片 | 欧美精品在线观看 | 清纯唯美经典一区二区 | 亚洲欧美日韩成人高清在线一区 | 领导边摸边吃奶边做爽在线观看 | 国产农村妇女高潮大叫 | 欧美freesex黑人又粗又大 | 无码国产色欲xxxxx视频 | 久久99精品国产麻豆蜜芽 | 一个人免费观看的www视频 | 成人性做爰aaa片免费看不忠 | 永久黄网站色视频免费直播 | 久久99精品国产.久久久久 | 人妻无码αv中文字幕久久琪琪布 | 日本高清一区免费中文视频 | 久久精品无码一区二区三区 | 国产激情无码一区二区 | 青青青爽视频在线观看 | 色 综合 欧美 亚洲 国产 | 特大黑人娇小亚洲女 | 色 综合 欧美 亚洲 国产 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 人人妻人人澡人人爽精品欧美 | 无码成人精品区在线观看 | 国产精品办公室沙发 | 六十路熟妇乱子伦 | 蜜桃av抽搐高潮一区二区 | 波多野结衣乳巨码无在线观看 | 亚洲中文字幕乱码av波多ji | 欧美日韩一区二区三区自拍 | 亚洲午夜久久久影院 | 亚洲成a人片在线观看无码 | 性欧美熟妇videofreesex | 性色欲网站人妻丰满中文久久不卡 | 午夜性刺激在线视频免费 | 天堂久久天堂av色综合 | 久久综合久久自在自线精品自 | 亚洲成av人片天堂网无码】 | 无码人妻黑人中文字幕 | 红桃av一区二区三区在线无码av | 少妇激情av一区二区 | aa片在线观看视频在线播放 | 黑人巨大精品欧美一区二区 | 日产精品高潮呻吟av久久 | 免费无码的av片在线观看 | 久久五月精品中文字幕 | 久久国产精品精品国产色婷婷 | 久久午夜夜伦鲁鲁片无码免费 | 国产熟妇另类久久久久 | 亚洲熟悉妇女xxx妇女av | 性啪啪chinese东北女人 | 日本高清一区免费中文视频 | 亚洲欧美日韩国产精品一区二区 | 欧美亚洲国产一区二区三区 | 亚洲欧美色中文字幕在线 | 搡女人真爽免费视频大全 | 中文字幕无码视频专区 | 女人和拘做爰正片视频 | 九月婷婷人人澡人人添人人爽 | 四虎国产精品一区二区 | 亚洲经典千人经典日产 | 高清无码午夜福利视频 | 国产美女精品一区二区三区 | 人妻少妇精品无码专区动漫 | 国内精品人妻无码久久久影院 | 无码纯肉视频在线观看 | 麻豆av传媒蜜桃天美传媒 | 久久国产精品精品国产色婷婷 | 综合激情五月综合激情五月激情1 | 一个人看的www免费视频在线观看 | 福利一区二区三区视频在线观看 | 亚洲精品国产第一综合99久久 | 亚洲中文字幕在线无码一区二区 | 成熟人妻av无码专区 | 骚片av蜜桃精品一区 | 天堂久久天堂av色综合 | 中文字幕人妻无码一区二区三区 | 国产亲子乱弄免费视频 | 熟妇人妻激情偷爽文 | 国产手机在线αⅴ片无码观看 | 亚洲精品美女久久久久久久 | 久久综合久久自在自线精品自 | 乱人伦中文视频在线观看 | 无码人中文字幕 | 久久精品女人天堂av免费观看 | 亚洲a无码综合a国产av中文 | 国产xxx69麻豆国语对白 | 久久久久成人精品免费播放动漫 | 高潮毛片无遮挡高清免费 | 老司机亚洲精品影院无码 | 国产情侣作爱视频免费观看 | 国产精品久久久久9999小说 | 乌克兰少妇xxxx做受 | 在线欧美精品一区二区三区 | 亚洲午夜无码久久 | 精品偷自拍另类在线观看 | 3d动漫精品啪啪一区二区中 | 欧美日韩一区二区综合 | 久久99精品国产.久久久久 | 欧美老妇交乱视频在线观看 | 亚洲中文字幕无码中字 | 精品国精品国产自在久国产87 | 人妻aⅴ无码一区二区三区 | yw尤物av无码国产在线观看 | 男女下面进入的视频免费午夜 | 国产精品丝袜黑色高跟鞋 | 免费乱码人妻系列无码专区 | 99久久人妻精品免费一区 | 少妇久久久久久人妻无码 | 老熟妇仑乱视频一区二区 | 又大又硬又黄的免费视频 | 色一情一乱一伦一视频免费看 | 国产人妻人伦精品1国产丝袜 | 久在线观看福利视频 | 中文字幕无线码免费人妻 | 亚洲精品中文字幕久久久久 | 亚洲成a人片在线观看日本 | 久久久久亚洲精品中文字幕 | 宝宝好涨水快流出来免费视频 | 国产一精品一av一免费 | 欧美日韩人成综合在线播放 | 亚洲无人区午夜福利码高清完整版 | 久久熟妇人妻午夜寂寞影院 | 99国产欧美久久久精品 | 国产在线一区二区三区四区五区 | 国产精品a成v人在线播放 | 一区二区三区高清视频一 | 久久国语露脸国产精品电影 | 丰满少妇弄高潮了www | 特黄特色大片免费播放器图片 | 一本精品99久久精品77 | 性欧美熟妇videofreesex | 久久无码专区国产精品s | 亚洲狠狠婷婷综合久久 | 精品一区二区三区波多野结衣 | 九九热爱视频精品 | 精品欧美一区二区三区久久久 | 欧美真人作爱免费视频 | 日本一区二区三区免费高清 | 中文字幕无码免费久久99 | 日韩av激情在线观看 | 亚洲成熟女人毛毛耸耸多 | 日日橹狠狠爱欧美视频 | 国内揄拍国内精品人妻 | 无码一区二区三区在线 | 国产sm调教视频在线观看 | 久久人人爽人人爽人人片av高清 | 日日天干夜夜狠狠爱 | 久久精品国产一区二区三区 | 荫蒂添的好舒服视频囗交 | 亚洲精品一区国产 | 欧洲精品码一区二区三区免费看 | 久久国产自偷自偷免费一区调 | 国产精品毛片一区二区 | 成人亚洲精品久久久久软件 | 无码人妻丰满熟妇区毛片18 | 亚洲一区av无码专区在线观看 | 久久久久久av无码免费看大片 | 亚洲色欲久久久综合网东京热 | 中文字幕 亚洲精品 第1页 | 麻豆精品国产精华精华液好用吗 | 亚洲国产高清在线观看视频 | 波多野结衣一区二区三区av免费 | 午夜理论片yy44880影院 | 亚洲日韩精品欧美一区二区 | 性欧美疯狂xxxxbbbb | 自拍偷自拍亚洲精品被多人伦好爽 | a片免费视频在线观看 | 少女韩国电视剧在线观看完整 | 蜜臀av在线观看 在线欧美精品一区二区三区 | 无码吃奶揉捏奶头高潮视频 | 超碰97人人做人人爱少妇 | 国产精品-区区久久久狼 | 亚洲中文字幕无码中文字在线 | 熟女俱乐部五十路六十路av | 东京热无码av男人的天堂 | 久久久婷婷五月亚洲97号色 | 精品国产aⅴ无码一区二区 | 亚洲精品成人av在线 | 奇米影视7777久久精品人人爽 | 美女扒开屁股让男人桶 | 高潮毛片无遮挡高清免费视频 | 少妇无码一区二区二三区 | 女人被男人爽到呻吟的视频 | 国产精品久久精品三级 | 大乳丰满人妻中文字幕日本 | 久久久久亚洲精品男人的天堂 | 2019午夜福利不卡片在线 | 内射巨臀欧美在线视频 | 天天做天天爱天天爽综合网 | 色一情一乱一伦一视频免费看 | 少妇激情av一区二区 | 漂亮人妻洗澡被公强 日日躁 | 国产xxx69麻豆国语对白 | 亚洲狠狠婷婷综合久久 | 国产成人无码a区在线观看视频app | 国产综合在线观看 | 成年美女黄网站色大免费视频 | 97无码免费人妻超级碰碰夜夜 | 又黄又爽又色的视频 | 人妻少妇精品无码专区二区 | 最新国产麻豆aⅴ精品无码 | 亚洲 激情 小说 另类 欧美 | 成人aaa片一区国产精品 | 国产亚洲tv在线观看 | 国产亚洲精品久久久久久 | www一区二区www免费 | 亚洲国产欧美国产综合一区 | 精品国产一区二区三区四区 | 亚洲毛片av日韩av无码 | 国内精品人妻无码久久久影院蜜桃 | 乱人伦中文视频在线观看 | 99久久婷婷国产综合精品青草免费 | 日韩亚洲欧美中文高清在线 | 中国女人内谢69xxxxxa片 | 97色伦图片97综合影院 | 婷婷综合久久中文字幕蜜桃三电影 | 骚片av蜜桃精品一区 | 国产亚洲精品久久久久久国模美 | 久久99精品国产.久久久久 | 无码精品人妻一区二区三区av | √天堂资源地址中文在线 | 成人无码视频在线观看网站 | 中文字幕乱妇无码av在线 | 国产亚洲精品久久久久久国模美 | 精品国偷自产在线视频 | 水蜜桃亚洲一二三四在线 | 国产在线精品一区二区高清不卡 | √8天堂资源地址中文在线 | 鲁一鲁av2019在线 | 国产情侣作爱视频免费观看 | 日本肉体xxxx裸交 | 最近免费中文字幕中文高清百度 | 欧美丰满少妇xxxx性 | 狠狠综合久久久久综合网 | 久久午夜夜伦鲁鲁片无码免费 | 内射白嫩少妇超碰 | 欧美一区二区三区 | 日本一区二区三区免费高清 | 两性色午夜视频免费播放 | 亚洲小说图区综合在线 | 美女毛片一区二区三区四区 | 欧美丰满熟妇xxxx性ppx人交 | 久久精品人妻少妇一区二区三区 | 欧美野外疯狂做受xxxx高潮 | 伊人久久大香线焦av综合影院 | 桃花色综合影院 | 妺妺窝人体色www在线小说 | 久精品国产欧美亚洲色aⅴ大片 | 欧美日韩综合一区二区三区 | 人妻体内射精一区二区三四 | 在线观看欧美一区二区三区 | 国产av一区二区三区最新精品 | 国产一区二区三区影院 | 高清国产亚洲精品自在久久 | 国产精品沙发午睡系列 | 女人和拘做爰正片视频 | 亚洲色欲久久久综合网东京热 | 精品国产av色一区二区深夜久久 | 无码人妻av免费一区二区三区 | 国产舌乚八伦偷品w中 | 欧美zoozzooz性欧美 | 九九久久精品国产免费看小说 | 中文字幕乱妇无码av在线 | 少妇无码av无码专区在线观看 | 欧美兽交xxxx×视频 | 青青草原综合久久大伊人精品 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 午夜福利试看120秒体验区 | 欧美喷潮久久久xxxxx | 精品成在人线av无码免费看 | 成在人线av无码免观看麻豆 | 永久免费观看美女裸体的网站 | 精品水蜜桃久久久久久久 | 人人妻人人澡人人爽人人精品 | 久久综合激激的五月天 | 国产精品igao视频网 | 曰韩无码二三区中文字幕 | 国产高清不卡无码视频 | 亲嘴扒胸摸屁股激烈网站 | 亚洲国产精品久久人人爱 | 亚洲精品综合五月久久小说 | 免费人成在线视频无码 | 男人扒开女人内裤强吻桶进去 | 精品成在人线av无码免费看 | 熟妇人妻激情偷爽文 | 夜先锋av资源网站 | 亚洲中文字幕无码中字 | 欧美日韩亚洲国产精品 | 色综合久久久无码网中文 | 日韩欧美成人免费观看 | 大屁股大乳丰满人妻 | 高中生自慰www网站 | 久久www免费人成人片 | 国产精品亚洲а∨无码播放麻豆 | 久久亚洲国产成人精品性色 | 草草网站影院白丝内射 | 国产成人无码av片在线观看不卡 | 日韩无套无码精品 | 亚洲乱码中文字幕在线 | 99er热精品视频 | 无遮无挡爽爽免费视频 | 欧美第一黄网免费网站 | 熟女少妇人妻中文字幕 | a在线观看免费网站大全 | 少妇人妻大乳在线视频 | 啦啦啦www在线观看免费视频 | 亚洲国产精品一区二区第一页 | 国产成人一区二区三区别 | 精品一区二区不卡无码av | 亚洲成在人网站无码天堂 | 精品国产一区二区三区av 性色 | 丰满少妇熟乱xxxxx视频 | 亚洲一区二区观看播放 | 久久精品丝袜高跟鞋 | 97久久精品无码一区二区 | 人人妻人人澡人人爽欧美精品 | 久久久久久久人妻无码中文字幕爆 | 国产卡一卡二卡三 | 欧洲极品少妇 | 久久久久亚洲精品男人的天堂 | 无码人妻丰满熟妇区五十路百度 | 丁香花在线影院观看在线播放 | 欧美喷潮久久久xxxxx | 亚洲理论电影在线观看 | 丰满人妻精品国产99aⅴ | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 亚洲人成网站免费播放 | 国产精品人人爽人人做我的可爱 | 97无码免费人妻超级碰碰夜夜 | 亚洲国产欧美在线成人 | 精品厕所偷拍各类美女tp嘘嘘 | 亚洲精品一区二区三区在线观看 | 国产va免费精品观看 | 亚洲gv猛男gv无码男同 | 欧美午夜特黄aaaaaa片 | 国产精品怡红院永久免费 | 熟妇人妻无乱码中文字幕 | 精品无码国产自产拍在线观看蜜 | 一区二区传媒有限公司 | 国内综合精品午夜久久资源 | 亚洲中文字幕无码中文字在线 | 亚洲色大成网站www | 国产两女互慰高潮视频在线观看 | 亚洲中文字幕在线无码一区二区 | 色一情一乱一伦一区二区三欧美 | 亚洲 另类 在线 欧美 制服 | 亚洲日本一区二区三区在线 | 中文字幕亚洲情99在线 | 久久精品国产99久久6动漫 | 精品人妻人人做人人爽夜夜爽 | 精品aⅴ一区二区三区 | 露脸叫床粗话东北少妇 | 亚洲日本一区二区三区在线 | 色欲av亚洲一区无码少妇 | 色 综合 欧美 亚洲 国产 | 妺妺窝人体色www在线小说 | 日产精品高潮呻吟av久久 | 精品久久久久久亚洲精品 | 一本久久伊人热热精品中文字幕 | 亚洲欧美精品aaaaaa片 | 国产精品18久久久久久麻辣 | 丰腴饱满的极品熟妇 | 牲欲强的熟妇农村老妇女视频 | a片免费视频在线观看 | 欧美日韩视频无码一区二区三 | 色欲久久久天天天综合网精品 | 国产精品毛片一区二区 | 性欧美大战久久久久久久 | 亚洲の无码国产の无码步美 | 久久99国产综合精品 | 亚洲精品综合五月久久小说 | ass日本丰满熟妇pics | 欧洲熟妇色 欧美 | 99久久久无码国产精品免费 | 亚洲区小说区激情区图片区 | www一区二区www免费 | 亚洲色欲色欲欲www在线 | 久久国产36精品色熟妇 | 黑人大群体交免费视频 | 欧美性猛交xxxx富婆 | 国产人妖乱国产精品人妖 | 国产极品美女高潮无套在线观看 | 国内精品九九久久久精品 | 亚洲 欧美 激情 小说 另类 | 欧美性生交xxxxx久久久 | √天堂中文官网8在线 | 亚洲中文字幕无码中字 | 精品少妇爆乳无码av无码专区 | 欧美精品一区二区精品久久 | 嫩b人妻精品一区二区三区 | 国产精品久久久av久久久 | 99视频精品全部免费免费观看 | 国产精品无码成人午夜电影 | 色综合久久久久综合一本到桃花网 | 欧美日韩一区二区三区自拍 | 欧美猛少妇色xxxxx | 动漫av网站免费观看 | 久久久久99精品国产片 | 丰满人妻翻云覆雨呻吟视频 | 国产高清不卡无码视频 | 日日摸日日碰夜夜爽av | 粉嫩少妇内射浓精videos | 亚洲の无码国产の无码步美 | 欧美人与物videos另类 | 人妻体内射精一区二区三四 | 久久综合久久自在自线精品自 | 四虎影视成人永久免费观看视频 | 日本精品高清一区二区 | 鲁一鲁av2019在线 | 精品 日韩 国产 欧美 视频 | 在线观看欧美一区二区三区 | 全球成人中文在线 | 精品国产乱码久久久久乱码 | 成熟妇人a片免费看网站 | 四虎国产精品一区二区 | 国产成人亚洲综合无码 | 国产午夜福利100集发布 | 国内少妇偷人精品视频 | 日本饥渴人妻欲求不满 | 最新版天堂资源中文官网 | 国产人成高清在线视频99最全资源 | 亚洲精品一区三区三区在线观看 | 九九在线中文字幕无码 | 日本肉体xxxx裸交 | 国产激情无码一区二区app | 免费播放一区二区三区 | 无码国产色欲xxxxx视频 | 欧美激情一区二区三区成人 | 国产小呦泬泬99精品 | 成人精品一区二区三区中文字幕 | 人妻aⅴ无码一区二区三区 | 国产成人精品优优av | a片在线免费观看 | 啦啦啦www在线观看免费视频 | 一二三四在线观看免费视频 | 精品一区二区三区无码免费视频 | 强开小婷嫩苞又嫩又紧视频 | 无码精品人妻一区二区三区av | 欧美 亚洲 国产 另类 | 欧美亚洲日韩国产人成在线播放 | www一区二区www免费 | 免费播放一区二区三区 | 欧美猛少妇色xxxxx | 久久久精品成人免费观看 | 日本va欧美va欧美va精品 | 玩弄人妻少妇500系列视频 | 日本熟妇乱子伦xxxx | √天堂资源地址中文在线 | 色婷婷综合中文久久一本 | 人人超人人超碰超国产 | 国产午夜福利亚洲第一 | 国产激情无码一区二区app | 无码吃奶揉捏奶头高潮视频 | 真人与拘做受免费视频一 | 日韩精品乱码av一区二区 | 亚洲中文无码av永久不收费 | 影音先锋中文字幕无码 | 福利一区二区三区视频在线观看 | 未满小14洗澡无码视频网站 | 久久久久人妻一区精品色欧美 | 精品夜夜澡人妻无码av蜜桃 | 欧美日韩色另类综合 | 国产精华av午夜在线观看 | 欧美丰满老熟妇xxxxx性 | 亚拍精品一区二区三区探花 | 精品欧美一区二区三区久久久 | 波多野结衣乳巨码无在线观看 | 在线播放免费人成毛片乱码 | 给我免费的视频在线观看 | 久久精品一区二区三区四区 | 精品人人妻人人澡人人爽人人 | 欧美激情一区二区三区成人 | 国产精品久久久久影院嫩草 | 国产97色在线 | 免 | 国产亚洲精品久久久久久 | 国产农村乱对白刺激视频 | 国产精品久久久 | 亚洲精品中文字幕久久久久 | 美女扒开屁股让男人桶 | 国产精品久久久一区二区三区 | 日韩人妻系列无码专区 | 欧美日韩色另类综合 | 国产人成高清在线视频99最全资源 | 激情五月综合色婷婷一区二区 | 自拍偷自拍亚洲精品10p | 熟女少妇人妻中文字幕 | 久久天天躁夜夜躁狠狠 | 中文字幕无码av波多野吉衣 | 亚洲人成网站在线播放942 | 亚洲 日韩 欧美 成人 在线观看 | 天堂亚洲免费视频 | √天堂中文官网8在线 | 国产精品久久久久9999小说 | 女人色极品影院 | 国产电影无码午夜在线播放 | 日本丰满熟妇videos | 亚洲欧洲日本无在线码 | 国产亚洲tv在线观看 | 中文字幕精品av一区二区五区 | 狠狠躁日日躁夜夜躁2020 | 中文字幕无码热在线视频 | 窝窝午夜理论片影院 | 兔费看少妇性l交大片免费 | 小sao货水好多真紧h无码视频 | 精品人人妻人人澡人人爽人人 | 男女超爽视频免费播放 | 日韩欧美中文字幕在线三区 | 精品久久久久久亚洲精品 | 亚洲无人区午夜福利码高清完整版 | 久久久精品人妻久久影视 | 国内少妇偷人精品视频 | 无套内谢老熟女 | 精品国产乱码久久久久乱码 | 又大又硬又爽免费视频 | 欧美怡红院免费全部视频 | 东京热无码av男人的天堂 | 给我免费的视频在线观看 | 一本加勒比波多野结衣 | 在线观看国产午夜福利片 | 国产日产欧产精品精品app | 国产69精品久久久久app下载 | 色情久久久av熟女人妻网站 | 欧美性猛交内射兽交老熟妇 | 亚洲一区二区三区无码久久 | 蜜桃无码一区二区三区 | 午夜无码人妻av大片色欲 | 日日碰狠狠丁香久燥 | 国产又爽又猛又粗的视频a片 | 国产成人午夜福利在线播放 | 久久精品国产日本波多野结衣 | 亚洲精品成人av在线 | 疯狂三人交性欧美 | 国产成人精品久久亚洲高清不卡 | 人妻少妇精品久久 | 天天摸天天透天天添 | 精品偷自拍另类在线观看 | 成人欧美一区二区三区黑人 | 国产在线一区二区三区四区五区 | 亚洲日本va午夜在线电影 | 国产三级久久久精品麻豆三级 | 熟妇人妻中文av无码 | 亚洲色在线无码国产精品不卡 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 又湿又紧又大又爽a视频国产 | a片免费视频在线观看 | 精品人妻人人做人人爽夜夜爽 | 亚洲欧美国产精品久久 | 精品乱码久久久久久久 | 中文精品久久久久人妻不卡 | 欧美国产日韩亚洲中文 | 2020最新国产自产精品 | 日韩av无码中文无码电影 | 大屁股大乳丰满人妻 | 中文字幕无码视频专区 | 四虎4hu永久免费 | 天堂а√在线地址中文在线 | 中国女人内谢69xxxx | 女高中生第一次破苞av | 亚洲一区二区三区播放 | 日韩av无码中文无码电影 | 无码国产激情在线观看 | 性生交大片免费看l | 国产精品自产拍在线观看 | 性欧美熟妇videofreesex | 欧美熟妇另类久久久久久多毛 | 国产内射爽爽大片视频社区在线 | 成人免费视频一区二区 | 国产免费无码一区二区视频 | 性欧美牲交xxxxx视频 | 婷婷综合久久中文字幕蜜桃三电影 | 久久久久久av无码免费看大片 | 未满成年国产在线观看 | 亚洲成在人网站无码天堂 | 成人免费视频在线观看 | 欧美精品免费观看二区 | 丰满岳乱妇在线观看中字无码 | 麻豆精品国产精华精华液好用吗 | 日本精品高清一区二区 | 亚洲日韩av一区二区三区中文 | 男人扒开女人内裤强吻桶进去 | 欧美人与禽猛交狂配 | 日本欧美一区二区三区乱码 | 大肉大捧一进一出好爽视频 | 天天综合网天天综合色 | 精品少妇爆乳无码av无码专区 | 国产色在线 | 国产 | 亚洲最大成人网站 | 国产成人无码av片在线观看不卡 | 中文字幕无码乱人伦 | 久久综合色之久久综合 | 色老头在线一区二区三区 | 久久97精品久久久久久久不卡 | 啦啦啦www在线观看免费视频 | av无码久久久久不卡免费网站 | 亚洲精品综合一区二区三区在线 | 国产精品久久精品三级 | 亚洲精品一区二区三区四区五区 | 日韩无码专区 | 中文字幕av伊人av无码av | 亚洲综合另类小说色区 | 亚洲精品久久久久久一区二区 | 99久久99久久免费精品蜜桃 | 领导边摸边吃奶边做爽在线观看 | 狠狠噜狠狠狠狠丁香五月 | 久青草影院在线观看国产 | 日韩亚洲欧美精品综合 | 亚洲国产精品久久人人爱 | 乱人伦人妻中文字幕无码久久网 | 乌克兰少妇xxxx做受 | 亚洲一区二区三区在线观看网站 | 亚洲中文字幕无码中字 | 久久aⅴ免费观看 | 色综合视频一区二区三区 | 国产手机在线αⅴ片无码观看 | 人妻少妇精品无码专区动漫 | 5858s亚洲色大成网站www | 人妻无码αv中文字幕久久琪琪布 | 国产亚洲精品久久久久久大师 | 丰满少妇熟乱xxxxx视频 | 日本一卡二卡不卡视频查询 | 日日摸天天摸爽爽狠狠97 | 亚洲国产av精品一区二区蜜芽 | 正在播放老肥熟妇露脸 | 中文字幕人成乱码熟女app | 人妻互换免费中文字幕 | 国产精品资源一区二区 | 久久久久se色偷偷亚洲精品av | 无码吃奶揉捏奶头高潮视频 | 99久久久无码国产精品免费 | 亚洲区小说区激情区图片区 | 丰满少妇人妻久久久久久 | 麻豆md0077饥渴少妇 | 福利一区二区三区视频在线观看 | 久久久久久a亚洲欧洲av冫 | 国产人成高清在线视频99最全资源 | 男女爱爱好爽视频免费看 | 午夜福利不卡在线视频 | 成熟人妻av无码专区 | 国产精品亚洲专区无码不卡 | 久久伊人色av天堂九九小黄鸭 | 国产精品沙发午睡系列 | 亚洲日韩乱码中文无码蜜桃臀网站 | 一区二区三区乱码在线 | 欧洲 | 色偷偷av老熟女 久久精品人妻少妇一区二区三区 | 丰满人妻被黑人猛烈进入 | 国产舌乚八伦偷品w中 | 初尝人妻少妇中文字幕 | 国产精品美女久久久网av | 久久国产精品精品国产色婷婷 | 大乳丰满人妻中文字幕日本 | 色欲人妻aaaaaaa无码 | 中文字幕乱码中文乱码51精品 | 丰满少妇高潮惨叫视频 | 在线天堂新版最新版在线8 | 国产成人精品优优av | 无码帝国www无码专区色综合 | 亚洲欧洲日本无在线码 | 7777奇米四色成人眼影 | 精品无人国产偷自产在线 | 国产午夜福利亚洲第一 | 国产午夜亚洲精品不卡 | 国产成人精品无码播放 | 麻花豆传媒剧国产免费mv在线 | 人妻中文无码久热丝袜 | 亚洲国产高清在线观看视频 | 精品国产aⅴ无码一区二区 | 成人三级无码视频在线观看 | 综合网日日天干夜夜久久 | 夜夜夜高潮夜夜爽夜夜爰爰 | 巨爆乳无码视频在线观看 | 鲁鲁鲁爽爽爽在线视频观看 | 亚洲精品国产a久久久久久 | 荫蒂被男人添的好舒服爽免费视频 | 人妻体内射精一区二区三四 | 偷窥村妇洗澡毛毛多 | 国产女主播喷水视频在线观看 | 牲欲强的熟妇农村老妇女视频 | 午夜无码人妻av大片色欲 | 日本xxxx色视频在线观看免费 | 又粗又大又硬又长又爽 | 日韩无码专区 | 中文无码成人免费视频在线观看 | 精品一区二区三区波多野结衣 | 国产无套内射久久久国产 | 99久久无码一区人妻 | 又大又黄又粗又爽的免费视频 | 免费人成在线观看网站 | 欧洲精品码一区二区三区免费看 | 亚洲精品国产精品乱码不卡 | 亚洲精品国产第一综合99久久 | 在线欧美精品一区二区三区 | 四十如虎的丰满熟妇啪啪 | 丰满少妇熟乱xxxxx视频 | 精品一二三区久久aaa片 | а√天堂www在线天堂小说 | 亚洲国产av精品一区二区蜜芽 | 性生交大片免费看l | 骚片av蜜桃精品一区 | a在线观看免费网站大全 | 亚洲 欧美 激情 小说 另类 | 4hu四虎永久在线观看 | 免费中文字幕日韩欧美 | 亚洲精品久久久久avwww潮水 | 久久久久亚洲精品男人的天堂 | 老子影院午夜伦不卡 | 一本一道久久综合久久 | 国产又爽又猛又粗的视频a片 | 日韩av无码一区二区三区不卡 | 亚洲精品综合五月久久小说 | 免费播放一区二区三区 | 中文字幕无码日韩专区 | 麻豆果冻传媒2021精品传媒一区下载 | 色噜噜亚洲男人的天堂 | 综合网日日天干夜夜久久 | 色一情一乱一伦一视频免费看 | 亚洲日韩av一区二区三区四区 | 国产成人无码av片在线观看不卡 | 大地资源中文第3页 | 欧洲熟妇色 欧美 | 久9re热视频这里只有精品 | 亚洲日本va午夜在线电影 | 精品国精品国产自在久国产87 | 久久精品99久久香蕉国产色戒 | 久久99精品国产麻豆 | 精品成在人线av无码免费看 | 色欲综合久久中文字幕网 | 中文字幕 人妻熟女 | 国内揄拍国内精品人妻 | 国产精品人妻一区二区三区四 | 无码播放一区二区三区 | 国产精品无码一区二区桃花视频 | 少妇无套内谢久久久久 | 久久国产精品萌白酱免费 | 男女性色大片免费网站 | 国产真实乱对白精彩久久 | aa片在线观看视频在线播放 | 精品久久久久久亚洲精品 | 88国产精品欧美一区二区三区 | 国产色在线 | 国产 | 国产成人无码av一区二区 | 男人的天堂2018无码 | 人人澡人摸人人添 | 亚洲国产精品久久人人爱 | 国产性生交xxxxx无码 | 男女性色大片免费网站 | 激情爆乳一区二区三区 | 欧美老妇交乱视频在线观看 | 国产成人av免费观看 | 乱人伦中文视频在线观看 | 精品人妻中文字幕有码在线 | 亚洲另类伦春色综合小说 | 亚洲性无码av中文字幕 | 亚洲va欧美va天堂v国产综合 | 久久久久久久久888 | 中文字幕无线码免费人妻 | 六月丁香婷婷色狠狠久久 | 一个人看的www免费视频在线观看 | 亚洲国产高清在线观看视频 | 国产亲子乱弄免费视频 | 国产精品久久久久久久影院 | 亚洲精品一区国产 | 老熟女重囗味hdxx69 | 久久亚洲日韩精品一区二区三区 | 国产莉萝无码av在线播放 | 小sao货水好多真紧h无码视频 | 精品一二三区久久aaa片 | 台湾无码一区二区 | 亚洲精品久久久久久久久久久 | www国产亚洲精品久久网站 | 妺妺窝人体色www在线小说 | 丰腴饱满的极品熟妇 | 欧美人与物videos另类 | 日日天日日夜日日摸 | 亚洲精品国偷拍自产在线麻豆 | 一二三四在线观看免费视频 | 国产精品爱久久久久久久 | 国产亚洲精品久久久久久大师 | 久久99精品久久久久久动态图 | 成人无码影片精品久久久 | 欧美丰满老熟妇xxxxx性 | 精品国产一区二区三区av 性色 | 日日鲁鲁鲁夜夜爽爽狠狠 | 午夜熟女插插xx免费视频 | 国产欧美熟妇另类久久久 | 牲欲强的熟妇农村老妇女视频 | 98国产精品综合一区二区三区 | 人妻天天爽夜夜爽一区二区 | 无码人妻黑人中文字幕 | 女人和拘做爰正片视频 | 狂野欧美性猛xxxx乱大交 | 人妻互换免费中文字幕 | 国产片av国语在线观看 | 国产精品高潮呻吟av久久 | 日日躁夜夜躁狠狠躁 | 久久久久久国产精品无码下载 | 人人澡人人透人人爽 | 国产精品视频免费播放 | 国产午夜亚洲精品不卡下载 | 亚洲男人av香蕉爽爽爽爽 | 欧美自拍另类欧美综合图片区 | 少妇激情av一区二区 | 日韩精品久久久肉伦网站 | 国产日产欧产精品精品app | 亚洲精品国产精品乱码不卡 | 樱花草在线社区www | 亚拍精品一区二区三区探花 | 日本一卡2卡3卡四卡精品网站 | 免费播放一区二区三区 | 永久免费精品精品永久-夜色 | 中文字幕人妻丝袜二区 | 国产精品欧美成人 | 小sao货水好多真紧h无码视频 | 亚洲中文字幕乱码av波多ji | 亚洲成av人片天堂网无码】 | 亚洲熟妇色xxxxx亚洲 | 精品欧洲av无码一区二区三区 | 久久久无码中文字幕久... | 99久久无码一区人妻 | 欧美熟妇另类久久久久久不卡 | 人人妻人人澡人人爽人人精品 | 一本精品99久久精品77 | 亚洲爆乳大丰满无码专区 | av无码久久久久不卡免费网站 | √8天堂资源地址中文在线 | 欧美老人巨大xxxx做受 | 久久久久成人片免费观看蜜芽 | 熟女体下毛毛黑森林 | 少妇厨房愉情理9仑片视频 | 色情久久久av熟女人妻网站 | 成人毛片一区二区 | 中文无码伦av中文字幕 | 日韩在线不卡免费视频一区 | 天堂亚洲免费视频 | 人妻少妇精品久久 | 久久精品国产日本波多野结衣 | 无码播放一区二区三区 | 97精品国产97久久久久久免费 | 熟妇人妻激情偷爽文 | 亚洲爆乳大丰满无码专区 | 国产一区二区三区影院 | 成人影院yy111111在线观看 | 亚洲日韩精品欧美一区二区 | 久久久久亚洲精品中文字幕 | 国产精品丝袜黑色高跟鞋 | 精品久久久无码中文字幕 | 亚洲欧美日韩成人高清在线一区 | 精品乱码久久久久久久 | 国内老熟妇对白xxxxhd | 女人被男人躁得好爽免费视频 | 久久国产精品精品国产色婷婷 | 亚洲中文字幕在线观看 | 亚洲精品国偷拍自产在线观看蜜桃 | 国产香蕉97碰碰久久人人 | 欧美日韩精品 | 成人亚洲精品久久久久软件 | 蜜臀aⅴ国产精品久久久国产老师 | 亚洲人成影院在线无码按摩店 | 亚洲精品午夜无码电影网 | 欧美日本精品一区二区三区 | 欧美精品国产综合久久 | 欧美人与物videos另类 | 国产精品久久久久影院嫩草 | 亚洲精品综合五月久久小说 | 亚洲熟妇色xxxxx欧美老妇y | 97久久国产亚洲精品超碰热 | 搡女人真爽免费视频大全 | 亚洲无人区一区二区三区 | 亚洲精品www久久久 | 精品无码av一区二区三区 | 国产女主播喷水视频在线观看 | 久久国产精品精品国产色婷婷 | 无码一区二区三区在线 | 精品国产福利一区二区 | 熟妇女人妻丰满少妇中文字幕 | 黑人粗大猛烈进出高潮视频 | 国产成人无码av一区二区 | 欧洲熟妇色 欧美 | 国产69精品久久久久app下载 | 熟女体下毛毛黑森林 | 美女极度色诱视频国产 | 18禁黄网站男男禁片免费观看 | 日韩人妻少妇一区二区三区 | 中文字幕av无码一区二区三区电影 | 国产激情无码一区二区 | 最新国产乱人伦偷精品免费网站 | 国产九九九九九九九a片 | 亚洲人成网站色7799 | 精品乱码久久久久久久 | 亚无码乱人伦一区二区 | 曰本女人与公拘交酡免费视频 | 少妇愉情理伦片bd | 国产精品亚洲五月天高清 | 无码乱肉视频免费大全合集 | 国产偷国产偷精品高清尤物 | 好爽又高潮了毛片免费下载 | 亚洲国产精品美女久久久久 | 久久久久久久久888 | 捆绑白丝粉色jk震动捧喷白浆 | 国产sm调教视频在线观看 | 欧美午夜特黄aaaaaa片 | 自拍偷自拍亚洲精品被多人伦好爽 | 久久99精品国产麻豆 | 亚洲 激情 小说 另类 欧美 | 成人女人看片免费视频放人 | 亚洲a无码综合a国产av中文 | 中文字幕无码热在线视频 | 日韩视频 中文字幕 视频一区 | 丝袜足控一区二区三区 | 国产午夜手机精彩视频 | 最近的中文字幕在线看视频 | 国产两女互慰高潮视频在线观看 | 一本色道久久综合亚洲精品不卡 | 水蜜桃av无码 | 亚洲日韩精品欧美一区二区 | 无码av中文字幕免费放 | 麻豆国产人妻欲求不满谁演的 | 久久久婷婷五月亚洲97号色 | 久久综合激激的五月天 | 在教室伦流澡到高潮hnp视频 | 大地资源网第二页免费观看 | 精品熟女少妇av免费观看 | 成人精品视频一区二区 | 久久综合九色综合欧美狠狠 | 久久国产劲爆∧v内射 | 丰满少妇熟乱xxxxx视频 | aa片在线观看视频在线播放 | 野外少妇愉情中文字幕 | 天天av天天av天天透 | 好爽又高潮了毛片免费下载 | 人妻互换免费中文字幕 | 六十路熟妇乱子伦 | 色综合视频一区二区三区 | 夜精品a片一区二区三区无码白浆 | 日韩精品乱码av一区二区 | 亚洲日本在线电影 | 久久综合香蕉国产蜜臀av | 久久综合网欧美色妞网 | 国产亚洲精品久久久久久国模美 | 偷窥村妇洗澡毛毛多 | 国产人成高清在线视频99最全资源 | 黑人巨大精品欧美一区二区 | 久久久精品成人免费观看 | 无码av免费一区二区三区试看 | 一个人免费观看的www视频 | 人人妻人人澡人人爽欧美一区 | 性欧美熟妇videofreesex | 久久精品女人的天堂av | 亚洲人成人无码网www国产 | 亚洲а∨天堂久久精品2021 | 扒开双腿吃奶呻吟做受视频 | 久久亚洲国产成人精品性色 | 四虎4hu永久免费 | 国产av无码专区亚洲a∨毛片 | 国产特级毛片aaaaaa高潮流水 | 97精品国产97久久久久久免费 | 黑人巨大精品欧美一区二区 | 综合人妻久久一区二区精品 | 蜜臀av无码人妻精品 | 国产人妻人伦精品1国产丝袜 | 男女猛烈xx00免费视频试看 | 漂亮人妻洗澡被公强 日日躁 | 丁香花在线影院观看在线播放 | 最近中文2019字幕第二页 | 婷婷五月综合激情中文字幕 | 激情内射亚州一区二区三区爱妻 | 久久国产精品偷任你爽任你 | 久久99国产综合精品 | 久久精品中文字幕大胸 | 国产色视频一区二区三区 | 免费国产成人高清在线观看网站 | 亚洲中文字幕无码中文字在线 | 中文字幕精品av一区二区五区 | 人妻与老人中文字幕 | 亚洲一区av无码专区在线观看 | 国产在线aaa片一区二区99 | 啦啦啦www在线观看免费视频 | 国产精品亚洲综合色区韩国 | 欧美黑人巨大xxxxx | 强奷人妻日本中文字幕 | 丝袜足控一区二区三区 | 亚洲精品久久久久中文第一幕 | 成人无码精品一区二区三区 | 国产午夜精品一区二区三区嫩草 | av在线亚洲欧洲日产一区二区 | 精品欧美一区二区三区久久久 | 蜜桃视频插满18在线观看 | 国产av人人夜夜澡人人爽麻豆 | 亚洲精品成人av在线 | 免费观看激色视频网站 | 亚洲一区二区三区含羞草 | 国产人妖乱国产精品人妖 | 免费观看又污又黄的网站 | 亚洲高清偷拍一区二区三区 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 精品夜夜澡人妻无码av蜜桃 | 亚洲精品美女久久久久久久 | 18精品久久久无码午夜福利 | 亚洲一区av无码专区在线观看 | 97精品人妻一区二区三区香蕉 | 国产亚洲视频中文字幕97精品 | 夜先锋av资源网站 | 无码任你躁久久久久久久 | 久久综合久久自在自线精品自 | 久久国产自偷自偷免费一区调 | 久久久久亚洲精品中文字幕 | 国产成人av免费观看 | 日本www一道久久久免费榴莲 | 日韩人妻少妇一区二区三区 | 中文字幕乱码人妻二区三区 | 波多野结衣高清一区二区三区 | 亚洲中文字幕在线无码一区二区 | 亚洲国产精品久久人人爱 | 精品国产福利一区二区 | 成年美女黄网站色大免费视频 | 在线看片无码永久免费视频 | 撕开奶罩揉吮奶头视频 | 男女爱爱好爽视频免费看 | 亚洲日韩av一区二区三区中文 | 中文精品无码中文字幕无码专区 | 久久国内精品自在自线 | 成人精品视频一区二区三区尤物 | 日本精品人妻无码免费大全 | 国产成人人人97超碰超爽8 | 亚洲成a人片在线观看无码3d | 国产精华av午夜在线观看 | 午夜时刻免费入口 | 欧美xxxx黑人又粗又长 | 国内揄拍国内精品人妻 | 少妇久久久久久人妻无码 | 国产精品久久久久久亚洲影视内衣 | 日产国产精品亚洲系列 | 久久亚洲中文字幕无码 | 国产精品人人妻人人爽 | 六月丁香婷婷色狠狠久久 | 偷窥日本少妇撒尿chinese | 偷窥村妇洗澡毛毛多 | 内射后入在线观看一区 | 人人澡人摸人人添 | 欧美精品国产综合久久 | 欧美日韩人成综合在线播放 | 丝袜足控一区二区三区 | 丰满少妇熟乱xxxxx视频 | 草草网站影院白丝内射 | 国产精品-区区久久久狼 | 国产欧美精品一区二区三区 | 中文字幕av伊人av无码av | 人人妻人人澡人人爽人人精品浪潮 | 国产真实夫妇视频 | 亚洲一区二区三区含羞草 | 亚洲精品欧美二区三区中文字幕 | 国产精品18久久久久久麻辣 | 99久久精品午夜一区二区 | 无码吃奶揉捏奶头高潮视频 | 午夜精品久久久久久久久 | 精品人妻av区 | 18精品久久久无码午夜福利 | 性欧美牲交在线视频 | 久久国产精品二国产精品 | 精品熟女少妇av免费观看 | 亚洲综合另类小说色区 | 国产精品久久久 | 对白脏话肉麻粗话av | 精品久久久久香蕉网 | 国产亚洲精品久久久久久久久动漫 | 久久精品一区二区三区四区 | 自拍偷自拍亚洲精品10p | 18精品久久久无码午夜福利 | 国产亚av手机在线观看 | 精品人妻中文字幕有码在线 | 成人精品视频一区二区三区尤物 | 性色av无码免费一区二区三区 | 久久无码专区国产精品s | 奇米影视7777久久精品 | 日韩精品成人一区二区三区 | 国产精品第一国产精品 | 精品亚洲韩国一区二区三区 | 亚洲一区二区观看播放 | 国产亚洲美女精品久久久2020 | 国产午夜亚洲精品不卡下载 | 在线 国产 欧美 亚洲 天堂 | 国内揄拍国内精品人妻 | 国产午夜亚洲精品不卡下载 | 欧美激情内射喷水高潮 | 无遮无挡爽爽免费视频 | 国产午夜无码精品免费看 | 亚洲一区二区三区播放 | 人妻夜夜爽天天爽三区 | 国产精品免费大片 | 一本久道高清无码视频 | 亚洲色偷偷偷综合网 | 国产精品欧美成人 |