久久精品国产精品国产精品污,男人扒开添女人下部免费视频,一级国产69式性姿势免费视频,夜鲁夜鲁很鲁在线视频 视频,欧美丰满少妇一区二区三区,国产偷国产偷亚洲高清人乐享,中文 在线 日韩 亚洲 欧美,熟妇人妻无乱码中文字幕真矢织江,一区二区三区人妻制服国产

歡迎訪問 生活随笔!

生活随笔

當(dāng)前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Pod 的生命周期及探针

發(fā)布時(shí)間:2023/12/20 编程问答 22 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Pod 的生命周期及探针 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

目錄

?

?

Pod 的生命周期

Pod 生命期

Pod 階段

容器狀態(tài)

Waiting?(等待)

Running(運(yùn)行中)

Terminated(已終止)

容器重啟策略

Pod 狀況

Pod 就緒態(tài)

Pod 就緒態(tài)的狀態(tài)

容器探針

何時(shí)該使用存活態(tài)探針?

何時(shí)該使用就緒態(tài)探針?

何時(shí)該使用啟動(dòng)探針?

Pod 的終止

強(qiáng)制終止 Pod

失效 Pod 的垃圾收集

配置存活、就緒和啟動(dòng)探測(cè)器

準(zhǔn)備開始

定義存活命令

定義一個(gè)存活態(tài) HTTP 請(qǐng)求接口

定義 TCP 的存活探測(cè)

使用命名端口

使用啟動(dòng)探測(cè)器保護(hù)慢啟動(dòng)容器

定義就緒探測(cè)器

配置探測(cè)器

HTTP 探測(cè)

TCP 探測(cè)

探測(cè)器級(jí)別?terminationGracePeriodSeconds

總結(jié)


?

Pod 的生命周期

?Pod 遵循一個(gè)預(yù)定義的生命周期,起始于?Pending?階段,如果至少 其中有一個(gè)主要容器正常啟動(dòng),則進(jìn)入?Running,之后取決于 Pod 中是否有容器以 失敗狀態(tài)結(jié)束而進(jìn)入?Succeeded?或者?Failed?階段。

在 Pod 運(yùn)行期間,kubelet?能夠重啟容器以處理一些失效場(chǎng)景。 在 Pod 內(nèi)部,Kubernetes 跟蹤不同容器的狀態(tài)?并確定使 Pod 重新變得健康所需要采取的動(dòng)作。

在 Kubernetes API 中,Pod 包含規(guī)約部分和實(shí)際狀態(tài)部分。 Pod 對(duì)象的狀態(tài)包含了一組?Pod 狀況(Conditions)。 如果應(yīng)用需要的話,你也可以向其中注入自定義的就緒性信息。

Pod 在其生命周期中只會(huì)被調(diào)度一次。 一旦 Pod 被調(diào)度(分派)到某個(gè)節(jié)點(diǎn),Pod 會(huì)一直在該節(jié)點(diǎn)運(yùn)行,直到 Pod 停止或者 被終止。

Pod 生命期

和一個(gè)個(gè)獨(dú)立的應(yīng)用容器一樣,Pod 也被認(rèn)為是相對(duì)臨時(shí)性(而不是長(zhǎng)期存在)的實(shí)體。 Pod 會(huì)被創(chuàng)建、賦予一個(gè)唯一的 ID(UID), 并被調(diào)度到節(jié)點(diǎn),并在終止(根據(jù)重啟策略)或刪除之前一直運(yùn)行在該節(jié)點(diǎn)。

如果一個(gè)節(jié)點(diǎn)死掉了,調(diào)度到該節(jié)點(diǎn) 的 Pod 也被計(jì)劃在給定超時(shí)期限結(jié)束后刪除。

Pod 自身不具有自愈能力。如果 Pod 被調(diào)度到某節(jié)點(diǎn)?而該節(jié)點(diǎn)之后失效,Pod 會(huì)被刪除;類似地,Pod 無法在因節(jié)點(diǎn)資源 耗盡或者節(jié)點(diǎn)維護(hù)而被驅(qū)逐期間繼續(xù)存活。Kubernetes 使用一種高級(jí)抽象 來管理這些相對(duì)而言可隨時(shí)丟棄的 Pod 實(shí)例,稱作?控制器。

任何給定的 Pod (由 UID 定義)從不會(huì)被“重新調(diào)度(rescheduled)”到不同的節(jié)點(diǎn); 相反,這一 Pod 可以被一個(gè)新的、幾乎完全相同的 Pod 替換掉。 如果需要,新 Pod 的名字可以不變,但是其 UID 會(huì)不同。

如果某物聲稱其生命期與某 Pod 相同,例如存儲(chǔ)卷, 這就意味著該對(duì)象在此 Pod (UID 亦相同)存在期間也一直存在。 如果 Pod 因?yàn)槿魏卧虮粍h除,甚至某完全相同的替代 Pod 被創(chuàng)建時(shí), 這個(gè)相關(guān)的對(duì)象(例如這里的卷)也會(huì)被刪除并重建。

Pod 階段

Pod 的?status?字段是一個(gè)?PodStatus?對(duì)象,其中包含一個(gè)?phase?字段。

下面是?phase?可能的值:

取值描述
Pending(懸決)Pod 已被 Kubernetes 系統(tǒng)接受,但有一個(gè)或者多個(gè)容器尚未創(chuàng)建亦未運(yùn)行。此階段包括等待 Pod 被調(diào)度的時(shí)間和通過網(wǎng)絡(luò)下載鏡像的時(shí)間,
Running(運(yùn)行中)Pod 已經(jīng)綁定到了某個(gè)節(jié)點(diǎn),Pod 中所有的容器都已被創(chuàng)建。至少有一個(gè)容器仍在運(yùn)行,或者正處于啟動(dòng)或重啟狀態(tài)。
Succeeded(成功)Pod 中的所有容器都已成功終止,并且不會(huì)再重啟。
Failed(失敗)Pod 中的所有容器都已終止,并且至少有一個(gè)容器是因?yàn)槭〗K止。也就是說,容器以非 0 狀態(tài)退出或者被系統(tǒng)終止。
Unknown(未知)因?yàn)槟承┰驘o法取得 Pod 的狀態(tài)。這種情況通常是因?yàn)榕c Pod 所在主機(jī)通信失敗。

如果某節(jié)點(diǎn)死掉或者與集群中其他節(jié)點(diǎn)失聯(lián),Kubernetes 會(huì)實(shí)施一種策略,將失去的節(jié)點(diǎn)上運(yùn)行的所有 Pod 的?phase?設(shè)置為?Failed。

容器狀態(tài)

Kubernetes 會(huì)跟蹤 Pod 中每個(gè)容器的狀態(tài),就像它跟蹤 Pod 總體上的階段一樣。 你可以使用容器生命周期回調(diào)?來在容器生命周期中的特定時(shí)間點(diǎn)觸發(fā)事件。

一旦調(diào)度器將 Pod 分派給某個(gè)節(jié)點(diǎn),kubelet?就通過?容器運(yùn)行時(shí)?開始為 Pod 創(chuàng)建容器。 容器的狀態(tài)有三種:Waiting(等待)、Running(運(yùn)行中)和?Terminated(已終止)。

要檢查 Pod 中容器的狀態(tài),你可以使用?kubectl describe pod <pod 名稱>。 其輸出中包含 Pod 中每個(gè)容器的狀態(tài)。

每種狀態(tài)都有特定的含義:

Waiting?(等待)

如果容器并不處在?Running?或?Terminated?狀態(tài)之一,它就處在?Waiting?狀態(tài)。 處于?Waiting?狀態(tài)的容器仍在運(yùn)行它完成啟動(dòng)所需要的操作:例如,從某個(gè)容器鏡像 倉庫拉取容器鏡像,或者向容器應(yīng)用?Secret?數(shù)據(jù)等等。 當(dāng)你使用?kubectl?來查詢包含?Waiting?狀態(tài)的容器的 Pod 時(shí),你也會(huì)看到一個(gè) Reason 字段,其中給出了容器處于等待狀態(tài)的原因。

Running(運(yùn)行中)

Running?狀態(tài)表明容器正在執(zhí)行狀態(tài)并且沒有問題發(fā)生。 如果配置了?postStart?回調(diào),那么該回調(diào)已經(jīng)執(zhí)行且已完成。 如果你使用?kubectl?來查詢包含?Running?狀態(tài)的容器的 Pod 時(shí),你也會(huì)看到 關(guān)于容器進(jìn)入?Running?狀態(tài)的信息。

Terminated(已終止)

處于?Terminated?狀態(tài)的容器已經(jīng)開始執(zhí)行并且或者正常結(jié)束或者因?yàn)槟承┰蚴 ?如果你使用?kubectl?來查詢包含?Terminated?狀態(tài)的容器的 Pod 時(shí),你會(huì)看到 容器進(jìn)入此狀態(tài)的原因、退出代碼以及容器執(zhí)行期間的起止時(shí)間。

如果容器配置了?preStop?回調(diào),則該回調(diào)會(huì)在容器進(jìn)入?Terminated?狀態(tài)之前執(zhí)行。

容器重啟策略

Pod 的?spec?中包含一個(gè)?restartPolicy?字段,其可能取值包括 Always、OnFailure 和 Never。默認(rèn)值是 Always。

restartPolicy?適用于 Pod 中的所有容器。restartPolicy?僅針對(duì)同一節(jié)點(diǎn)上?kubelet?的容器重啟動(dòng)作。當(dāng) Pod 中的容器退出時(shí),kubelet?會(huì)按指數(shù)回退 方式計(jì)算重啟的延遲(10s、20s、40s、...),其最長(zhǎng)延遲為 5 分鐘。 一旦某容器執(zhí)行了 10 分鐘并且沒有出現(xiàn)問題,kubelet?對(duì)該容器的重啟回退計(jì)時(shí)器執(zhí)行 重置操作。

Pod 狀況

Pod 有一個(gè) PodStatus 對(duì)象,其中包含一個(gè)?PodConditions?數(shù)組。Pod 可能通過也可能未通過其中的一些狀況測(cè)試。

  • PodScheduled:Pod 已經(jīng)被調(diào)度到某節(jié)點(diǎn);
  • ContainersReady:Pod 中所有容器都已就緒;
  • Initialized:所有的?Init 容器?都已成功啟動(dòng);
  • Ready:Pod 可以為請(qǐng)求提供服務(wù),并且應(yīng)該被添加到對(duì)應(yīng)服務(wù)的負(fù)載均衡池中。
字段名稱描述
typePod 狀況的名稱
status表明該狀況是否適用,可能的取值有 "True", "False" 或 "Unknown"
lastProbeTime上次探測(cè) Pod 狀況時(shí)的時(shí)間戳
lastTransitionTimePod 上次從一種狀態(tài)轉(zhuǎn)換到另一種狀態(tài)時(shí)的時(shí)間戳
reason機(jī)器可讀的、駝峰編碼(UpperCamelCase)的文字,表述上次狀況變化的原因
message人類可讀的消息,給出上次狀態(tài)轉(zhuǎn)換的詳細(xì)信息

Pod 就緒態(tài)

FEATURE STATE:?Kubernetes v1.14 [stable]

你的應(yīng)用可以向 PodStatus 中注入額外的反饋或者信號(hào):Pod Readiness(Pod 就緒態(tài))。 要使用這一特性,可以設(shè)置 Pod 規(guī)約中的?readinessGates?列表,為 kubelet 提供一組額外的狀況供其評(píng)估 Pod 就緒態(tài)時(shí)使用。

就緒態(tài)門控基于 Pod 的?status.conditions?字段的當(dāng)前值來做決定。 如果 Kubernetes 無法在?status.conditions?字段中找到某狀況,則該狀況的 狀態(tài)值默認(rèn)為 "False"。

這里是一個(gè)例子:

kind: Pod ... spec:readinessGates:- conditionType: "www.example.com/feature-1" status:conditions:- type: Ready # 內(nèi)置的 Pod 狀況status: "False"lastProbeTime: nulllastTransitionTime: 2018-01-01T00:00:00Z- type: "www.example.com/feature-1" # 額外的 Pod 狀況status: "False"lastProbeTime: nulllastTransitionTime: 2018-01-01T00:00:00ZcontainerStatuses:- containerID: docker://abcd...ready: true ...

你所添加的 Pod 狀況名稱必須滿足 Kubernetes?標(biāo)簽鍵名格式。

Pod 就緒態(tài)的狀態(tài)

命令?kubectl patch?不支持修改對(duì)象的狀態(tài)。 如果需要設(shè)置 Pod 的?status.conditions,應(yīng)用或者?Operators?需要使用?PATCH?操作。 你可以使用?Kubernetes 客戶端庫?之一來編寫代碼,針對(duì) Pod 就緒態(tài)設(shè)置定制的 Pod 狀況。

對(duì)于使用定制狀況的 Pod 而言,只有當(dāng)下面的陳述都適用時(shí),該 Pod 才會(huì)被評(píng)估為就緒:

  • Pod 中所有容器都已就緒;
  • readinessGates?中的所有狀況都為?True?值。

當(dāng) Pod 的容器都已就緒,但至少一個(gè)定制狀況沒有取值或者取值為?False,?kubelet?將 Pod 的狀況設(shè)置為?ContainersReady。

容器探針

Probe?是由?kubelet?對(duì)容器執(zhí)行的定期診斷。 要執(zhí)行診斷,kubelet 調(diào)用由容器實(shí)現(xiàn)的?Handler?(處理程序)。有三種類型的處理程序:

  • ExecAction: 在容器內(nèi)執(zhí)行指定命令。如果命令退出時(shí)返回碼為 0 則認(rèn)為診斷成功。

  • TCPSocketAction: 對(duì)容器的 IP 地址上的指定端口執(zhí)行 TCP 檢查。如果端口打開,則診斷被認(rèn)為是成功的。

  • HTTPGetAction: 對(duì)容器的 IP 地址上指定端口和路徑執(zhí)行 HTTP Get 請(qǐng)求。如果響應(yīng)的狀態(tài)碼大于等于 200 且小于 400,則診斷被認(rèn)為是成功的。

每次探測(cè)都將獲得以下三種結(jié)果之一:

  • Success(成功):容器通過了診斷。
  • Failure(失敗):容器未通過診斷。
  • Unknown(未知):診斷失敗,因此不會(huì)采取任何行動(dòng)。

針對(duì)運(yùn)行中的容器,kubelet?可以選擇是否執(zhí)行以下三種探針,以及如何針對(duì)探測(cè)結(jié)果作出反應(yīng):

  • livenessProbe:指示容器是否正在運(yùn)行。如果存活態(tài)探測(cè)失敗,則 kubelet 會(huì)殺死容器, 并且容器將根據(jù)其重啟策略決定未來。如果容器不提供存活探針, 則默認(rèn)狀態(tài)為?Success。

  • readinessProbe:指示容器是否準(zhǔn)備好為請(qǐng)求提供服務(wù)。如果就緒態(tài)探測(cè)失敗, 端點(diǎn)控制器將從與 Pod 匹配的所有服務(wù)的端點(diǎn)列表中刪除該 Pod 的 IP 地址。 初始延遲之前的就緒態(tài)的狀態(tài)值默認(rèn)為?Failure。 如果容器不提供就緒態(tài)探針,則默認(rèn)狀態(tài)為?Success。

  • startupProbe: 指示容器中的應(yīng)用是否已經(jīng)啟動(dòng)。如果提供了啟動(dòng)探針,則所有其他探針都會(huì)被 禁用,直到此探針成功為止。如果啟動(dòng)探測(cè)失敗,kubelet?將殺死容器,而容器依其?重啟策略進(jìn)行重啟。 如果容器沒有提供啟動(dòng)探測(cè),則默認(rèn)狀態(tài)為?Success。

如欲了解如何設(shè)置存活態(tài)、就緒態(tài)和啟動(dòng)探針的進(jìn)一步細(xì)節(jié),可以參閱?配置存活態(tài)、就緒態(tài)和啟動(dòng)探針。

何時(shí)該使用存活態(tài)探針?

FEATURE STATE:?Kubernetes v1.0 [stable]

如果容器中的進(jìn)程能夠在遇到問題或不健康的情況下自行崩潰,則不一定需要存活態(tài)探針;?kubelet?將根據(jù) Pod 的restartPolicy?自動(dòng)執(zhí)行修復(fù)操作。

如果你希望容器在探測(cè)失敗時(shí)被殺死并重新啟動(dòng),那么請(qǐng)指定一個(gè)存活態(tài)探針, 并指定restartPolicy?為 "Always" 或 "OnFailure"。

何時(shí)該使用就緒態(tài)探針?

FEATURE STATE:?Kubernetes v1.0 [stable]

如果要僅在探測(cè)成功時(shí)才開始向 Pod 發(fā)送請(qǐng)求流量,請(qǐng)指定就緒態(tài)探針。 在這種情況下,就緒態(tài)探針可能與存活態(tài)探針相同,但是規(guī)約中的就緒態(tài)探針的存在意味著 Pod 將在啟動(dòng)階段不接收任何數(shù)據(jù),并且只有在探針探測(cè)成功后才開始接收數(shù)據(jù)。

如果你的容器需要加載大規(guī)模的數(shù)據(jù)、配置文件或者在啟動(dòng)期間執(zhí)行遷移操作,可以添加一個(gè) 就緒態(tài)探針。

如果你希望容器能夠自行進(jìn)入維護(hù)狀態(tài),也可以指定一個(gè)就緒態(tài)探針,檢查某個(gè)特定于 就緒態(tài)的因此不同于存活態(tài)探測(cè)的端點(diǎn)。

說明:

請(qǐng)注意,如果你只是想在 Pod 被刪除時(shí)能夠排空請(qǐng)求,則不一定需要使用就緒態(tài)探針; 在刪除 Pod 時(shí),Pod 會(huì)自動(dòng)將自身置于未就緒狀態(tài),無論就緒態(tài)探針是否存在。 等待 Pod 中的容器停止期間,Pod 會(huì)一直處于未就緒狀態(tài)。

何時(shí)該使用啟動(dòng)探針?

FEATURE STATE:?Kubernetes v1.18 [beta]

對(duì)于所包含的容器需要較長(zhǎng)時(shí)間才能啟動(dòng)就緒的 Pod 而言,啟動(dòng)探針是有用的。 你不再需要配置一個(gè)較長(zhǎng)的存活態(tài)探測(cè)時(shí)間間隔,只需要設(shè)置另一個(gè)獨(dú)立的配置選定, 對(duì)啟動(dòng)期間的容器執(zhí)行探測(cè),從而允許使用遠(yuǎn)遠(yuǎn)超出存活態(tài)時(shí)間間隔所允許的時(shí)長(zhǎng)。

如果你的容器啟動(dòng)時(shí)間通常超出?initialDelaySeconds + failureThreshold × periodSeconds?總值,你應(yīng)該設(shè)置一個(gè)啟動(dòng)探測(cè),對(duì)存活態(tài)探針?biāo)褂玫耐欢它c(diǎn)執(zhí)行檢查。?periodSeconds?的默認(rèn)值是 10 秒。你應(yīng)該將其?failureThreshold?設(shè)置得足夠高, 以便容器有充足的時(shí)間完成啟動(dòng),并且避免更改存活態(tài)探針?biāo)褂玫哪J(rèn)值。 這一設(shè)置有助于減少死鎖狀況的發(fā)生。

Pod 的終止

由于 Pod 所代表的是在集群中節(jié)點(diǎn)上運(yùn)行的進(jìn)程,當(dāng)不再需要這些進(jìn)程時(shí)允許其體面地 終止是很重要的。一般不應(yīng)武斷地使用?KILL?信號(hào)終止它們,導(dǎo)致這些進(jìn)程沒有機(jī)會(huì) 完成清理操作。

設(shè)計(jì)的目標(biāo)是令你能夠請(qǐng)求刪除進(jìn)程,并且知道進(jìn)程何時(shí)被終止,同時(shí)也能夠確保刪除 操作終將完成。當(dāng)你請(qǐng)求刪除某個(gè) Pod 時(shí),集群會(huì)記錄并跟蹤 Pod 的體面終止周期, 而不是直接強(qiáng)制地殺死 Pod。在存在強(qiáng)制關(guān)閉設(shè)施的前提下,?kubelet?會(huì)嘗試體面地終止 Pod。

通常情況下,容器運(yùn)行時(shí)會(huì)發(fā)送一個(gè) TERM 信號(hào)到每個(gè)容器中的主進(jìn)程。 很多容器運(yùn)行時(shí)都能夠注意到容器鏡像中?STOPSIGNAL?的值,并發(fā)送該信號(hào)而不是 TERM。 一旦超出了體面終止限期,容器運(yùn)行時(shí)會(huì)向所有剩余進(jìn)程發(fā)送 KILL 信號(hào),之后 Pod 就會(huì)被從?API 服務(wù)器?上移除。如果?kubelet?或者容器運(yùn)行時(shí)的管理服務(wù)在等待進(jìn)程終止期間被重啟, 集群會(huì)從頭開始重試,賦予 Pod 完整的體面終止限期。

下面是一個(gè)例子:

  • 你使用?kubectl?工具手動(dòng)刪除某個(gè)特定的 Pod,而該 Pod 的體面終止限期是默認(rèn)值(30 秒)。

  • API 服務(wù)器中的 Pod 對(duì)象被更新,記錄涵蓋體面終止限期在內(nèi) Pod 的最終死期,超出所計(jì)算時(shí)間點(diǎn)則認(rèn)為 Pod 已死(dead)。 如果你使用?kubectl describe?來查驗(yàn)?zāi)阏趧h除的 Pod,該 Pod 會(huì)顯示為 "Terminating" (正在終止)。 在 Pod 運(yùn)行所在的節(jié)點(diǎn)上:kubelet?一旦看到 Pod 被標(biāo)記為正在終止(已經(jīng)設(shè)置了體面終止限期),kubelet?即開始本地的 Pod 關(guān)閉過程。

  • 如果 Pod 中的容器之一定義了?preStop?回調(diào),?kubelet?開始在容器內(nèi)運(yùn)行該回調(diào)邏輯。如果超出體面終止限期時(shí),preStop?回調(diào)邏輯 仍在運(yùn)行,kubelet?會(huì)請(qǐng)求給予該 Pod 的寬限期一次性增加 2 秒鐘。

    說明:?如果?preStop?回調(diào)所需要的時(shí)間長(zhǎng)于默認(rèn)的體面終止限期,你必須修改?terminationGracePeriodSeconds?屬性值來使其正常工作。

  • kubelet?接下來觸發(fā)容器運(yùn)行時(shí)發(fā)送 TERM 信號(hào)給每個(gè)容器中的進(jìn)程 1。

    說明:?Pod 中的容器會(huì)在不同時(shí)刻收到 TERM 信號(hào),接收順序也是不確定的。 如果關(guān)閉的順序很重要,可以考慮使用?preStop?回調(diào)邏輯來協(xié)調(diào)。

  • 與此同時(shí),kubelet?啟動(dòng)體面關(guān)閉邏輯,控制面會(huì)將 Pod 從對(duì)應(yīng)的端點(diǎn)列表(以及端點(diǎn)切片列表, 如果啟用了的話)中移除,過濾條件是 Pod 被對(duì)應(yīng)的?服務(wù)以某?選擇算符選定。?ReplicaSets和其他工作負(fù)載資源 不再將關(guān)閉進(jìn)程中的 Pod 視為合法的、能夠提供服務(wù)的副本。關(guān)閉動(dòng)作很慢的 Pod 也無法繼續(xù)處理請(qǐng)求數(shù)據(jù),因?yàn)樨?fù)載均衡器(例如服務(wù)代理)已經(jīng)在終止寬限期開始的時(shí)候 將其從端點(diǎn)列表中移除。
  • 超出終止寬限期限時(shí),kubelet?會(huì)觸發(fā)強(qiáng)制關(guān)閉過程。容器運(yùn)行時(shí)會(huì)向 Pod 中所有容器內(nèi) 仍在運(yùn)行的進(jìn)程發(fā)送?SIGKILL?信號(hào)。?kubelet?也會(huì)清理隱藏的?pause?容器,如果容器運(yùn)行時(shí)使用了這種容器的話。

  • kubelet?觸發(fā)強(qiáng)制從 API 服務(wù)器上刪除 Pod 對(duì)象的邏輯,并將體面終止限期設(shè)置為 0 (這意味著馬上刪除)。

  • API 服務(wù)器刪除 Pod 的 API 對(duì)象,從任何客戶端都無法再看到該對(duì)象。

  • 強(qiáng)制終止 Pod

    注意:?對(duì)于某些工作負(fù)載及其 Pod 而言,強(qiáng)制刪除很可能會(huì)帶來某種破壞。

    默認(rèn)情況下,所有的刪除操作都會(huì)附有 30 秒鐘的寬限期限。?kubectl delete?命令支持?--grace-period=<seconds>?選項(xiàng),允許你重載默認(rèn)值, 設(shè)定自己希望的期限值。

    將寬限期限強(qiáng)制設(shè)置為?0?意味著立即從 API 服務(wù)器刪除 Pod。 如果 Pod 仍然運(yùn)行于某節(jié)點(diǎn)上,強(qiáng)制刪除操作會(huì)觸發(fā)?kubelet?立即執(zhí)行清理操作。

    說明:?你必須在設(shè)置?--grace-period=0?的同時(shí)額外設(shè)置?--force?參數(shù)才能發(fā)起強(qiáng)制刪除請(qǐng)求。

    執(zhí)行強(qiáng)制刪除操作時(shí),API 服務(wù)器不再等待來自?kubelet?的、關(guān)于 Pod 已經(jīng)在原來運(yùn)行的節(jié)點(diǎn)上終止執(zhí)行的確認(rèn)消息。 API 服務(wù)器直接刪除 Pod 對(duì)象,這樣新的與之同名的 Pod 即可以被創(chuàng)建。 在節(jié)點(diǎn)側(cè),被設(shè)置為立即終止的 Pod 仍然會(huì)在被強(qiáng)行殺死之前獲得一點(diǎn)點(diǎn)的寬限時(shí)間。

    如果你需要強(qiáng)制刪除 StatefulSet 的 Pod,請(qǐng)參閱?從 StatefulSet 中刪除 Pod?的任務(wù)文檔。

    失效 Pod 的垃圾收集

    對(duì)于已失敗的 Pod 而言,對(duì)應(yīng)的 API 對(duì)象仍然會(huì)保留在集群的 API 服務(wù)器上,直到 用戶或者控制器進(jìn)程顯式地 將其刪除。

    控制面組件會(huì)在 Pod 個(gè)數(shù)超出所配置的閾值 (根據(jù)?kube-controller-manager?的?terminated-pod-gc-threshold?設(shè)置)時(shí) 刪除已終止的 Pod(階段值為?Succeeded?或?Failed)。 這一行為會(huì)避免隨著時(shí)間演進(jìn)不斷創(chuàng)建和終止 Pod 而引起的資源泄露問題

    ?

    ?

    ?

    ?

    ?

    ?

    ?

    配置存活、就緒和啟動(dòng)探測(cè)器

    kubelet?使用存活探測(cè)器來知道什么時(shí)候要重啟容器。 例如,存活探測(cè)器可以捕捉到死鎖(應(yīng)用程序在運(yùn)行,但是無法繼續(xù)執(zhí)行后面的步驟)。 這樣的情況下重啟容器有助于讓應(yīng)用程序在有問題的情況下更可用。

    kubelet 使用就緒探測(cè)器可以知道容器什么時(shí)候準(zhǔn)備好了并可以開始接受請(qǐng)求流量, 當(dāng)一個(gè) Pod 內(nèi)的所有容器都準(zhǔn)備好了,才能把這個(gè) Pod 看作就緒了。 這種信號(hào)的一個(gè)用途就是控制哪個(gè) Pod 作為 Service 的后端。 在 Pod 還沒有準(zhǔn)備好的時(shí)候,會(huì)從 Service 的負(fù)載均衡器中被剔除的。

    kubelet 使用啟動(dòng)探測(cè)器可以知道應(yīng)用程序容器什么時(shí)候啟動(dòng)了。 如果配置了這類探測(cè)器,就可以控制容器在啟動(dòng)成功后再進(jìn)行存活性和就緒檢查, 確保這些存活、就緒探測(cè)器不會(huì)影響應(yīng)用程序的啟動(dòng)。 這可以用于對(duì)慢啟動(dòng)容器進(jìn)行存活性檢測(cè),避免它們?cè)趩?dòng)運(yùn)行之前就被殺掉。

    準(zhǔn)備開始

    你必須擁有一個(gè) Kubernetes 的集群,同時(shí)你的 Kubernetes 集群必須帶有 kubectl 命令行工具。 如果你還沒有集群,你可以通過?Minikube?構(gòu)建一 個(gè)你自己的集群,或者你可以使用下面任意一個(gè) Kubernetes 工具構(gòu)建:

    • Katacoda
    • 玩轉(zhuǎn) Kubernetes

    定義存活命令

    許多長(zhǎng)時(shí)間運(yùn)行的應(yīng)用程序最終會(huì)過渡到斷開的狀態(tài),除非重新啟動(dòng),否則無法恢復(fù)。 Kubernetes 提供了存活探測(cè)器來發(fā)現(xiàn)并補(bǔ)救這種情況。

    ?

    apiVersion: v1 kind: Pod metadata:labels:test: livenessname: liveness-exec spec:containers:- name: livenessimage: k8s.gcr.io/busyboxargs:- /bin/sh- -c- touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600livenessProbe:exec:command:- cat- /tmp/healthyinitialDelaySeconds: 5periodSeconds: 5

    在這個(gè)配置文件中,可以看到 Pod 中只有一個(gè)容器。?periodSeconds?字段指定了 kubelet 應(yīng)該每 5 秒執(zhí)行一次存活探測(cè)。?initialDelaySeconds?字段告訴 kubelet 在執(zhí)行第一次探測(cè)前應(yīng)該等待 5 秒。 kubelet 在容器內(nèi)執(zhí)行命令?cat /tmp/healthy?來進(jìn)行探測(cè)。 如果命令執(zhí)行成功并且返回值為 0,kubelet 就會(huì)認(rèn)為這個(gè)容器是健康存活的。 如果這個(gè)命令返回非 0 值,kubelet 會(huì)殺死這個(gè)容器并重新啟動(dòng)它。

    當(dāng)容器啟動(dòng)時(shí),執(zhí)行如下的命令:

    /bin/sh -c "touch /tmp/healthy; sleep 30; rm -rf /tmp/healthy; sleep 600"

    這個(gè)容器生命的前 30 秒,?/tmp/healthy?文件是存在的。 所以在這最開始的 30 秒內(nèi),執(zhí)行命令?cat /tmp/healthy?會(huì)返回成功代碼。 30 秒之后,執(zhí)行命令?cat /tmp/healthy?就會(huì)返回失敗代碼。

    創(chuàng)建 Pod:

    kubectl apply -f https://k8s.io/examples/pods/probe/exec-liveness.yaml

    在 30 秒內(nèi),查看 Pod 的事件:

    kubectl describe pod liveness-exec

    輸出結(jié)果表明還沒有存活探測(cè)器失敗:

    FirstSeen LastSeen Count From SubobjectPath Type Reason Message --------- -------- ----- ---- ------------- -------- ------ ------- 24s 24s 1 {default-scheduler } Normal Scheduled Successfully assigned liveness-exec to worker0 23s 23s 1 {kubelet worker0} spec.containers{liveness} Normal Pulling pulling image "k8s.gcr.io/busybox" 23s 23s 1 {kubelet worker0} spec.containers{liveness} Normal Pulled Successfully pulled image "k8s.gcr.io/busybox" 23s 23s 1 {kubelet worker0} spec.containers{liveness} Normal Created Created container with docker id 86849c15382e; Security:[seccomp=unconfined] 23s 23s 1 {kubelet worker0} spec.containers{liveness} Normal Started Started container with docker id 86849c15382e

    35 秒之后,再來看 Pod 的事件:

    kubectl describe pod liveness-exec

    在輸出結(jié)果的最下面,有信息顯示存活探測(cè)器失敗了,這個(gè)容器被殺死并且被重建了。

    FirstSeen LastSeen Count From SubobjectPath Type Reason Message --------- -------- ----- ---- ------------- -------- ------ ------- 37s 37s 1 {default-scheduler } Normal Scheduled Successfully assigned liveness-exec to worker0 36s 36s 1 {kubelet worker0} spec.containers{liveness} Normal Pulling pulling image "k8s.gcr.io/busybox" 36s 36s 1 {kubelet worker0} spec.containers{liveness} Normal Pulled Successfully pulled image "k8s.gcr.io/busybox" 36s 36s 1 {kubelet worker0} spec.containers{liveness} Normal Created Created container with docker id 86849c15382e; Security:[seccomp=unconfined] 36s 36s 1 {kubelet worker0} spec.containers{liveness} Normal Started Started container with docker id 86849c15382e 2s 2s 1 {kubelet worker0} spec.containers{liveness} Warning Unhealthy Liveness probe failed: cat: can't open '/tmp/healthy': No such file or directory

    再等另外 30 秒,檢查看這個(gè)容器被重啟了:

    kubectl get pod liveness-exec

    輸出結(jié)果顯示?RESTARTS?的值增加了 1。

    NAME READY STATUS RESTARTS AGE liveness-exec 1/1 Running 1 1m

    定義一個(gè)存活態(tài) HTTP 請(qǐng)求接口

    另外一種類型的存活探測(cè)方式是使用 HTTP GET 請(qǐng)求。 下面是一個(gè) Pod 的配置文件,其中運(yùn)行一個(gè)基于?k8s.gcr.io/liveness?鏡像的容器。

    pods/probe/http-liveness.yaml?

    apiVersion: v1 kind: Pod metadata:labels:test: livenessname: liveness-http spec:containers:- name: livenessimage: k8s.gcr.io/livenessargs:- /serverlivenessProbe:httpGet:path: /healthzport: 8080httpHeaders:- name: Custom-Headervalue: AwesomeinitialDelaySeconds: 3periodSeconds: 3

    在這個(gè)配置文件中,可以看到 Pod 也只有一個(gè)容器。?periodSeconds?字段指定了 kubelet 每隔 3 秒執(zhí)行一次存活探測(cè)。?initialDelaySeconds?字段告訴 kubelet 在執(zhí)行第一次探測(cè)前應(yīng)該等待 3 秒。 kubelet 會(huì)向容器內(nèi)運(yùn)行的服務(wù)(服務(wù)會(huì)監(jiān)聽 8080 端口)發(fā)送一個(gè) HTTP GET 請(qǐng)求來執(zhí)行探測(cè)。 如果服務(wù)器上?/healthz?路徑下的處理程序返回成功代碼,則 kubelet 認(rèn)為容器是健康存活的。 如果處理程序返回失敗代碼,則 kubelet 會(huì)殺死這個(gè)容器并且重新啟動(dòng)它。

    任何大于或等于 200 并且小于 400 的返回代碼標(biāo)示成功,其它返回代碼都標(biāo)示失敗。

    可以在這里看服務(wù)的源碼?server.go。

    容器存活的最開始 10 秒中,/healthz?處理程序返回一個(gè) 200 的狀態(tài)碼。之后處理程序返回 500 的狀態(tài)碼。

    http.HandleFunc("/healthz", func(w http.ResponseWriter, r *http.Request) {duration := time.Now().Sub(started)if duration.Seconds() > 10 {w.WriteHeader(500)w.Write([]byte(fmt.Sprintf("error: %v", duration.Seconds())))} else {w.WriteHeader(200)w.Write([]byte("ok"))} })

    kubelet 在容器啟動(dòng)之后 3 秒開始執(zhí)行健康檢測(cè)。所以前幾次健康檢查都是成功的。 但是 10 秒之后,健康檢查會(huì)失敗,并且 kubelet 會(huì)殺死容器再重新啟動(dòng)容器。

    創(chuàng)建一個(gè) Pod 來測(cè)試 HTTP 的存活檢測(cè):

    kubectl apply -f https://k8s.io/examples/pods/probe/http-liveness.yaml

    10 秒之后,通過看 Pod 事件來檢測(cè)存活探測(cè)器已經(jīng)失敗了并且容器被重新啟動(dòng)了。

    kubectl describe pod liveness-http

    在 1.13(包括 1.13版本)之前的版本中,如果在 Pod 運(yùn)行的節(jié)點(diǎn)上設(shè)置了環(huán)境變量?http_proxy(或者?HTTP_PROXY),HTTP 的存活探測(cè)會(huì)使用這個(gè)代理。 在 1.13 之后的版本中,設(shè)置本地的 HTTP 代理環(huán)境變量不會(huì)影響 HTTP 的存活探測(cè)。

    定義 TCP 的存活探測(cè)

    第三種類型的存活探測(cè)是使用 TCP 套接字。 通過配置,kubelet 會(huì)嘗試在指定端口和容器建立套接字鏈接。 如果能建立連接,這個(gè)容器就被看作是健康的,如果不能則這個(gè)容器就被看作是有問題的。

    apiVersion: v1 kind: Pod metadata:name: goproxylabels:app: goproxy spec:containers:- name: goproxyimage: k8s.gcr.io/goproxy:0.1ports:- containerPort: 8080readinessProbe:tcpSocket:port: 8080initialDelaySeconds: 5periodSeconds: 10livenessProbe:tcpSocket:port: 8080initialDelaySeconds: 15periodSeconds: 20

    如你所見,TCP 檢測(cè)的配置和 HTTP 檢測(cè)非常相似。 下面這個(gè)例子同時(shí)使用就緒和存活探測(cè)器。kubelet 會(huì)在容器啟動(dòng) 5 秒后發(fā)送第一個(gè)就緒探測(cè)。 這會(huì)嘗試連接?goproxy?容器的 8080 端口。 如果探測(cè)成功,這個(gè) Pod 會(huì)被標(biāo)記為就緒狀態(tài),kubelet 將繼續(xù)每隔 10 秒運(yùn)行一次檢測(cè)。

    除了就緒探測(cè),這個(gè)配置包括了一個(gè)存活探測(cè)。 kubelet 會(huì)在容器啟動(dòng) 15 秒后進(jìn)行第一次存活探測(cè)。 與就緒探測(cè)類似,會(huì)嘗試連接?goproxy?容器的 8080 端口。 如果存活探測(cè)失敗,這個(gè)容器會(huì)被重新啟動(dòng)。

    kubectl apply -f https://k8s.io/examples/pods/probe/tcp-liveness-readiness.yaml

    15 秒之后,通過看 Pod 事件來檢測(cè)存活探測(cè)器:

    kubectl describe pod goproxy

    使用命名端口

    對(duì)于 HTTP 或者 TCP 存活檢測(cè)可以使用命名的?ContainerPort。

    ports: - name: liveness-portcontainerPort: 8080hostPort: 8080livenessProbe:httpGet:path: /healthzport: liveness-port

    使用啟動(dòng)探測(cè)器保護(hù)慢啟動(dòng)容器

    有時(shí)候,會(huì)有一些現(xiàn)有的應(yīng)用程序在啟動(dòng)時(shí)需要較多的初始化時(shí)間。 要不影響對(duì)引起探測(cè)死鎖的快速響應(yīng),這種情況下,設(shè)置存活探測(cè)參數(shù)是要技巧的。 技巧就是使用一個(gè)命令來設(shè)置啟動(dòng)探測(cè),針對(duì)HTTP 或者 TCP 檢測(cè),可以通過設(shè)置?failureThreshold * periodSeconds?參數(shù)來保證有足夠長(zhǎng)的時(shí)間應(yīng)對(duì)糟糕情況下的啟動(dòng)時(shí)間。

    所以,前面的例子就變成了:

    ports: - name: liveness-portcontainerPort: 8080hostPort: 8080livenessProbe:httpGet:path: /healthzport: liveness-portfailureThreshold: 1periodSeconds: 10startupProbe:httpGet:path: /healthzport: liveness-portfailureThreshold: 30periodSeconds: 10

    幸虧有啟動(dòng)探測(cè),應(yīng)用程序?qū)?huì)有最多 5 分鐘(30 * 10 = 300s) 的時(shí)間來完成它的啟動(dòng)。 一旦啟動(dòng)探測(cè)成功一次,存活探測(cè)任務(wù)就會(huì)接管對(duì)容器的探測(cè),對(duì)容器死鎖可以快速響應(yīng)。 如果啟動(dòng)探測(cè)一直沒有成功,容器會(huì)在 300 秒后被殺死,并且根據(jù)?restartPolicy?來設(shè)置 Pod 狀態(tài)。

    定義就緒探測(cè)器

    有時(shí)候,應(yīng)用程序會(huì)暫時(shí)性的不能提供通信服務(wù)。 例如,應(yīng)用程序在啟動(dòng)時(shí)可能需要加載很大的數(shù)據(jù)或配置文件,或是啟動(dòng)后要依賴等待外部服務(wù)。 在這種情況下,既不想殺死應(yīng)用程序,也不想給它發(fā)送請(qǐng)求。 Kubernetes 提供了就緒探測(cè)器來發(fā)現(xiàn)并緩解這些情況。 容器所在 Pod 上報(bào)還未就緒的信息,并且不接受通過 Kubernetes Service 的流量。

    說明:?就緒探測(cè)器在容器的整個(gè)生命周期中保持運(yùn)行狀態(tài)。

    注意:?活躍性探測(cè)器?不等待?就緒性探測(cè)器成功。 如果要在執(zhí)行活躍性探測(cè)器之前等待,應(yīng)該使用 initialDelaySeconds 或 startupProbe。

    就緒探測(cè)器的配置和存活探測(cè)器的配置相似。 唯一區(qū)別就是要使用?readinessProbe?字段,而不是?livenessProbe?字段。

    readinessProbe:exec:command:- cat- /tmp/healthyinitialDelaySeconds: 5periodSeconds: 5

    HTTP 和 TCP 的就緒探測(cè)器配置也和存活探測(cè)器的配置一樣的。

    就緒和存活探測(cè)可以在同一個(gè)容器上并行使用。 兩者都用可以確保流量不會(huì)發(fā)給還沒有準(zhǔn)備好的容器,并且容器會(huì)在它們失敗的時(shí)候被重新啟動(dòng)。

    配置探測(cè)器

    Probe?有很多配置字段,可以使用這些字段精確的控制存活和就緒檢測(cè)的行為:

    • initialDelaySeconds:容器啟動(dòng)后要等待多少秒后存活和就緒探測(cè)器才被初始化,默認(rèn)是 0 秒,最小值是 0。
    • periodSeconds:執(zhí)行探測(cè)的時(shí)間間隔(單位是秒)。默認(rèn)是 10 秒。最小值是 1。
    • timeoutSeconds:探測(cè)的超時(shí)后等待多少秒。默認(rèn)值是 1 秒。最小值是 1。
    • successThreshold:探測(cè)器在失敗后,被視為成功的最小連續(xù)成功數(shù)。默認(rèn)值是 1。 存活和啟動(dòng)探測(cè)的這個(gè)值必須是 1。最小值是 1。
    • failureThreshold:當(dāng)探測(cè)失敗時(shí),Kubernetes 的重試次數(shù)。 存活探測(cè)情況下的放棄就意味著重新啟動(dòng)容器。 就緒探測(cè)情況下的放棄 Pod 會(huì)被打上未就緒的標(biāo)簽。默認(rèn)值是 3。最小值是 1。

    ?

    說明:

    在 Kubernetes 1.20 版本之前,exec 探針會(huì)忽略?timeoutSeconds:探針會(huì)無限期地 持續(xù)運(yùn)行,甚至可能超過所配置的限期,直到返回結(jié)果為止。

    這一缺陷在 Kubernetes v1.20 版本中得到修復(fù)。你可能一直依賴于之前錯(cuò)誤的探測(cè)行為, 甚至你都沒有覺察到這一問題的存在,因?yàn)槟J(rèn)的超時(shí)值是 1 秒鐘。 作為集群管理員,你可以在所有的 kubelet 上禁用?ExecProbeTimeout?特性門控?(將其設(shè)置為?false),從而恢復(fù)之前版本中的運(yùn)行行為,之后當(dāng)集群中所有的 exec 探針都設(shè)置了?timeoutSeconds?參數(shù)后,移除此標(biāo)志重載。 如果你有 Pods 受到此默認(rèn) 1 秒鐘超時(shí)值的影響,你應(yīng)該更新 Pod 對(duì)應(yīng)的探針的 超時(shí)值,這樣才能為最終去除該特性門控做好準(zhǔn)備。

    當(dāng)此缺陷被修復(fù)之后,在使用?dockershim?容器運(yùn)行時(shí)的 Kubernetes?1.20+?版本中,對(duì)于 exec 探針而言,容器中的進(jìn)程可能會(huì)因?yàn)槌瑫r(shí)值的設(shè)置保持持續(xù)運(yùn)行, 即使探針返回了失敗狀態(tài)。

    注意:

    如果就緒態(tài)探針的實(shí)現(xiàn)不正確,可能會(huì)導(dǎo)致容器中進(jìn)程的數(shù)量不斷上升。 如果不對(duì)其采取措施,很可能導(dǎo)致資源枯竭的狀況。

    HTTP 探測(cè)

    HTTP Probes?可以在?httpGet?上配置額外的字段:

    • host:連接使用的主機(jī)名,默認(rèn)是 Pod 的 IP。也可以在 HTTP 頭中設(shè)置 “Host” 來代替。
    • scheme?:用于設(shè)置連接主機(jī)的方式(HTTP 還是 HTTPS)。默認(rèn)是 HTTP。
    • path:訪問 HTTP 服務(wù)的路徑。默認(rèn)值為 "/"。
    • httpHeaders:請(qǐng)求中自定義的 HTTP 頭。HTTP 頭字段允許重復(fù)。
    • port:訪問容器的端口號(hào)或者端口名。如果數(shù)字必須在 1 ~ 65535 之間。

    對(duì)于 HTTP 探測(cè),kubelet 發(fā)送一個(gè) HTTP 請(qǐng)求到指定的路徑和端口來執(zhí)行檢測(cè)。 除非?httpGet?中的?host?字段設(shè)置了,否則 kubelet 默認(rèn)是給 Pod 的 IP 地址發(fā)送探測(cè)。 如果?scheme?字段設(shè)置為了?HTTPS,kubelet 會(huì)跳過證書驗(yàn)證發(fā)送 HTTPS 請(qǐng)求。 大多數(shù)情況下,不需要設(shè)置host?字段。 這里有個(gè)需要設(shè)置?host?字段的場(chǎng)景,假設(shè)容器監(jiān)聽 127.0.0.1,并且 Pod 的?hostNetwork?字段設(shè)置為了?true。那么?httpGet?中的?host?字段應(yīng)該設(shè)置為 127.0.0.1。 可能更常見的情況是如果 Pod 依賴虛擬主機(jī),你不應(yīng)該設(shè)置?host?字段,而是應(yīng)該在?httpHeaders?中設(shè)置?Host。

    針對(duì) HTTP 探針,kubelet 除了必需的?Host?頭部之外還發(fā)送兩個(gè)請(qǐng)求頭部字段:?User-Agent?和?Accept。這些頭部的默認(rèn)值分別是?kube-probe/{{ skew latestVersion >}}?(其中?1.21?是 kubelet 的版本號(hào))和?*/*。

    你可以通過為探測(cè)設(shè)置?.httpHeaders?來重載默認(rèn)的頭部字段值;例如:

    livenessProbe:httpGet:httpHeaders:- name: Acceptvalue: application/jsonstartupProbe:httpGet:httpHeaders:- name: User-Agentvalue: MyUserAgent

    你也可以通過將這些頭部字段定義為空值,從請(qǐng)求中去掉這些頭部字段。

    livenessProbe:httpGet:httpHeaders:- name: Acceptvalue: ""startupProbe:httpGet:httpHeaders:- name: User-Agentvalue: ""

    TCP 探測(cè)

    對(duì)于一次 TCP 探測(cè),kubelet 在節(jié)點(diǎn)上(不是在 Pod 里面)建立探測(cè)連接, 這意味著你不能在?host?參數(shù)上配置服務(wù)名稱,因?yàn)?kubelet 不能解析服務(wù)名稱。

    探測(cè)器級(jí)別?terminationGracePeriodSeconds

    FEATURE STATE:?Kubernetes v1.21 [alpha]

    在 1.21 版之前,pod 級(jí)別的?terminationGracePeriodSeconds?被用來終止 未能成功處理活躍性探測(cè)或啟動(dòng)探測(cè)的容器。 這種耦合是意料之外的,可能會(huì)導(dǎo)致在設(shè)置了 pod 級(jí)別的?terminationGracePeriodSeconds?后, 需要很長(zhǎng)的時(shí)間來重新啟動(dòng)失敗的容器。

    在1.21中,啟用特性標(biāo)志?ProbeTerminationGracePeriod?后, 用戶可以指定一個(gè)探測(cè)器級(jí)別的?terminationGracePeriodSeconds?作為探測(cè)器規(guī)格的一部分。 當(dāng)該特性標(biāo)志被啟用時(shí),若同時(shí)設(shè)置了 Pod 級(jí)別和探測(cè)器級(jí)別的?terminationGracePeriodSeconds, kubelet 將使用探測(cè)器級(jí)的值。

    例如,

    spec:terminationGracePeriodSeconds: 3600 # pod-levelcontainers:- name: testimage: ...ports:- name: liveness-portcontainerPort: 8080hostPort: 8080livenessProbe:httpGet:path: /healthzport: liveness-portfailureThreshold: 1periodSeconds: 60# Override pod-level terminationGracePeriodSeconds #terminationGracePeriodSeconds: 60

    探測(cè)器級(jí)別的?terminationGracePeriodSeconds?不能用于設(shè)置就緒態(tài)探針。 它將被 API 服務(wù)器拒絕。

    ?

    ?

    ?

    ?

    ?

    總結(jié)

    StartupProbe:k8s 1.16版本后新加的探測(cè)方式,用于判斷容器內(nèi)應(yīng)用程序是否已經(jīng)啟動(dòng)。如果配置了startupProbe,就會(huì)先禁止其他的探測(cè),直到它成功為止,成功后將不再進(jìn)行探測(cè)。比較適用于容器啟動(dòng)時(shí)間長(zhǎng)的場(chǎng)景。
    LivenessProbe:用于探測(cè)容器是否運(yùn)行,如果探測(cè)失敗,kubelet會(huì)根據(jù)配置的重啟策略進(jìn)行相應(yīng)的處理。若沒有配置該探針,默認(rèn)就是success。
    ReadinessProbe:一般用于探測(cè)容器內(nèi)的程序是否健康,它的返回值如果為success,那么久代表這個(gè)容器已經(jīng)完成啟動(dòng),并且程序已經(jīng)是可以接受流量的狀態(tài)。

    ?

    #???startupProbe: # 可選,檢測(cè)容器內(nèi)進(jìn)程是否完成啟動(dòng) #??????httpGet:??????# httpGet檢測(cè)方式,生產(chǎn)環(huán)境建議使用httpGet實(shí)現(xiàn)接口級(jí)健康檢查,健康檢查由應(yīng)用程序提供。 #????????????path: /api/successStart # 檢查路徑 #????????????port: 80readinessProbe: # 可選,健康檢查httpGet:??????# httpGet檢測(cè)方式,生產(chǎn)環(huán)境建議使用httpGet實(shí)現(xiàn)接口級(jí)健康檢查,健康檢查由應(yīng)用程序提供。path: / # 檢查路徑port: 80????????# 監(jiān)控端口livenessProbe:??# 可選,健康檢查#exec:????????# 執(zhí)行容器命令檢測(cè)方式#command:?#- cat#- /health#httpGet:???????# httpGet檢測(cè)方式#???path: /_health # 檢查路徑#???port: 8080#???httpHeaders: # 檢查的請(qǐng)求頭#???- name: end-user#?????value: Jason?


    二、Pod探針的檢測(cè)方式
    注意:三種檢查方式同時(shí)只能使用一種。

    ExecAction:在容器內(nèi)執(zhí)行一個(gè)命令,如果返回值為0,則認(rèn)為容器健康。
    TCPSocketAction:通過TCP連接檢查容器內(nèi)的端口是否通的,如果是通的就認(rèn)為容器健康。
    HTTPGetAction:通過應(yīng)用程序暴露的API地址檢查程序是否正常,如果狀態(tài)碼為200~400之間,則認(rèn)為容器健康。(常用)

    三、探針檢查參數(shù)配置

    # ?????initialDelaySeconds: 60 ??????# 初始化時(shí)間 # ?????timeoutSeconds: 2 ????# 超時(shí)時(shí)間 # ?????periodSeconds: 5 ?????# 檢測(cè)間隔 # ?????successThreshold: 1 # 檢查成功為1次表示就緒 # ?????failureThreshold: 2 # 檢測(cè)失敗2次表示未就緒

    ?

    ?

    ?

    ?

    ?

    ?

    總結(jié)

    以上是生活随笔為你收集整理的Pod 的生命周期及探针的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

    国产电影无码午夜在线播放 | 亚洲中文字幕va福利 | 日韩少妇内射免费播放 | 成人免费视频视频在线观看 免费 | 一本久久伊人热热精品中文字幕 | 青青青爽视频在线观看 | 中文字幕久久久久人妻 | 欧美日韩视频无码一区二区三 | 欧美精品在线观看 | 色 综合 欧美 亚洲 国产 | 在线成人www免费观看视频 | 久久精品国产大片免费观看 | 亚洲日韩中文字幕在线播放 | 国产无遮挡又黄又爽免费视频 | 帮老师解开蕾丝奶罩吸乳网站 | 熟妇女人妻丰满少妇中文字幕 | 精品久久8x国产免费观看 | 亚洲精品一区三区三区在线观看 | 波多野结衣一区二区三区av免费 | 色五月五月丁香亚洲综合网 | 亚洲a无码综合a国产av中文 | 波多野42部无码喷潮在线 | 97精品国产97久久久久久免费 | 色婷婷久久一区二区三区麻豆 | 成人女人看片免费视频放人 | 国语精品一区二区三区 | 正在播放东北夫妻内射 | 老太婆性杂交欧美肥老太 | 久久精品女人的天堂av | 在线欧美精品一区二区三区 | 午夜精品一区二区三区在线观看 | 欧美亚洲日韩国产人成在线播放 | 免费男性肉肉影院 | 亚洲成a人片在线观看无码 | 国产精品久免费的黄网站 | 欧美国产日韩久久mv | 亚洲中文字幕无码一久久区 | 亚洲熟妇色xxxxx欧美老妇y | 人人妻人人澡人人爽欧美一区 | 强奷人妻日本中文字幕 | 俄罗斯老熟妇色xxxx | 亚洲 欧美 激情 小说 另类 | 色综合久久久久综合一本到桃花网 | 精品无人国产偷自产在线 | 色综合久久久无码网中文 | 国产成人无码a区在线观看视频app | 久久精品人妻少妇一区二区三区 | 亚洲成a人片在线观看无码3d | 国产成人亚洲综合无码 | 久久精品一区二区三区四区 | 中文字幕人妻无码一区二区三区 | 欧美真人作爱免费视频 | 红桃av一区二区三区在线无码av | 成人无码视频免费播放 | 麻豆国产人妻欲求不满谁演的 | 无码福利日韩神码福利片 | 国产精品福利视频导航 | 国产精品亚洲综合色区韩国 | 久久97精品久久久久久久不卡 | 中文字幕无线码免费人妻 | 成人三级无码视频在线观看 | 国产精品久久久久久亚洲影视内衣 | 欧美 丝袜 自拍 制服 另类 | 人人妻人人澡人人爽精品欧美 | 影音先锋中文字幕无码 | 亚洲国产成人a精品不卡在线 | 成人三级无码视频在线观看 | 亚洲另类伦春色综合小说 | 国产9 9在线 | 中文 | 丝袜人妻一区二区三区 | 国产精品沙发午睡系列 | 亚洲人成网站在线播放942 | 日本精品人妻无码免费大全 | 荫蒂被男人添的好舒服爽免费视频 | 久久久久亚洲精品男人的天堂 | 亚洲午夜久久久影院 | 成人精品视频一区二区 | 欧美35页视频在线观看 | 熟妇人妻无码xxx视频 | 丝袜 中出 制服 人妻 美腿 | 精品欧洲av无码一区二区三区 | 久久精品人人做人人综合 | 国产午夜无码视频在线观看 | 久久国产36精品色熟妇 | 亚洲国产av精品一区二区蜜芽 | 精品少妇爆乳无码av无码专区 | 免费观看激色视频网站 | 永久免费观看国产裸体美女 | 国产婷婷色一区二区三区在线 | 久久伊人色av天堂九九小黄鸭 | 永久免费观看美女裸体的网站 | 国产综合色产在线精品 | 51国偷自产一区二区三区 | 国产精品成人av在线观看 | 国产人妻久久精品二区三区老狼 | 中文字幕 人妻熟女 | 男人扒开女人内裤强吻桶进去 | 亚洲精品国偷拍自产在线观看蜜桃 | 日本乱偷人妻中文字幕 | 日日躁夜夜躁狠狠躁 | 无套内射视频囯产 | 西西人体www44rt大胆高清 | 波多野结衣aⅴ在线 | 精品欧洲av无码一区二区三区 | 中文字幕无码热在线视频 | √8天堂资源地址中文在线 | 亚洲精品一区二区三区大桥未久 | 国产深夜福利视频在线 | 精品无码av一区二区三区 | 色婷婷综合中文久久一本 | 夜先锋av资源网站 | √8天堂资源地址中文在线 | 久久久婷婷五月亚洲97号色 | 2020久久香蕉国产线看观看 | aⅴ在线视频男人的天堂 | 日本精品人妻无码77777 天堂一区人妻无码 | 最近免费中文字幕中文高清百度 | 中文字幕日韩精品一区二区三区 | 天天av天天av天天透 | 精品无码一区二区三区的天堂 | 国产人妻精品午夜福利免费 | 久久亚洲日韩精品一区二区三区 | 男女超爽视频免费播放 | 樱花草在线社区www | 国产超碰人人爽人人做人人添 | 欧美性生交xxxxx久久久 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 无码帝国www无码专区色综合 | 欧洲熟妇精品视频 | 亚洲色偷偷偷综合网 | 久久久久99精品国产片 | av小次郎收藏 | 欧美成人高清在线播放 | 高潮毛片无遮挡高清免费 | 国产成人无码av在线影院 | 99精品国产综合久久久久五月天 | 99久久精品午夜一区二区 | 久久精品中文字幕一区 | 久久综合狠狠综合久久综合88 | 人人妻人人澡人人爽人人精品浪潮 | 无码人妻丰满熟妇区五十路百度 | 又湿又紧又大又爽a视频国产 | 中文精品无码中文字幕无码专区 | 99久久精品无码一区二区毛片 | 麻豆精产国品 | 国产精品人人爽人人做我的可爱 | 少妇性荡欲午夜性开放视频剧场 | 久久久国产精品无码免费专区 | 亚洲 欧美 激情 小说 另类 | 无码av中文字幕免费放 | 爱做久久久久久 | 国产在线精品一区二区高清不卡 | 亚洲gv猛男gv无码男同 | 俺去俺来也www色官网 | 成年美女黄网站色大免费全看 | 中文字幕无码日韩欧毛 | 久久亚洲国产成人精品性色 | 久9re热视频这里只有精品 | 久久午夜夜伦鲁鲁片无码免费 | 国产成人精品久久亚洲高清不卡 | 国精产品一区二区三区 | 日韩视频 中文字幕 视频一区 | 任你躁在线精品免费 | 一本色道婷婷久久欧美 | 欧美国产日韩亚洲中文 | 久久午夜无码鲁丝片 | 国产内射爽爽大片视频社区在线 | 99久久人妻精品免费一区 | 国产精品国产自线拍免费软件 | 蜜桃无码一区二区三区 | 无码精品人妻一区二区三区av | 欧美日韩亚洲国产精品 | 亚洲欧美精品aaaaaa片 | 国产乱人偷精品人妻a片 | 国产午夜精品一区二区三区嫩草 | 大肉大捧一进一出视频出来呀 | 一本大道伊人av久久综合 | 强辱丰满人妻hd中文字幕 | 一二三四在线观看免费视频 | av无码电影一区二区三区 | 免费无码午夜福利片69 | 最新版天堂资源中文官网 | 欧洲熟妇精品视频 | 国内少妇偷人精品视频免费 | 亚洲 a v无 码免 费 成 人 a v | 国产午夜亚洲精品不卡下载 | 国产另类ts人妖一区二区 | 女人被男人爽到呻吟的视频 | 日韩精品a片一区二区三区妖精 | 波多野结衣乳巨码无在线观看 | 亚洲日韩一区二区三区 | 亚洲成色www久久网站 | 成人一区二区免费视频 | 性色av无码免费一区二区三区 | 亚洲精品一区二区三区大桥未久 | 成人综合网亚洲伊人 | 欧美精品免费观看二区 | 国产成人无码av一区二区 | 好爽又高潮了毛片免费下载 | 亲嘴扒胸摸屁股激烈网站 | 性色欲情网站iwww九文堂 | 欧美国产日韩亚洲中文 | 97夜夜澡人人双人人人喊 | 四十如虎的丰满熟妇啪啪 | 免费无码av一区二区 | 天天做天天爱天天爽综合网 | 色欲综合久久中文字幕网 | 国产精品丝袜黑色高跟鞋 | 乱人伦人妻中文字幕无码久久网 | 蜜桃视频插满18在线观看 | 天堂久久天堂av色综合 | 亚洲狠狠婷婷综合久久 | 一本久久伊人热热精品中文字幕 | 久久国产精品精品国产色婷婷 | 内射巨臀欧美在线视频 | 久久久久久国产精品无码下载 | 亚洲成a人片在线观看无码3d | 色五月丁香五月综合五月 | 国产美女精品一区二区三区 | 黑人粗大猛烈进出高潮视频 | 99久久精品无码一区二区毛片 | 亚洲精品一区二区三区婷婷月 | 成人aaa片一区国产精品 | 久久国产自偷自偷免费一区调 | 夫妻免费无码v看片 | 丰满人妻精品国产99aⅴ | 一二三四在线观看免费视频 | 狠狠cao日日穞夜夜穞av | 亚洲 欧美 激情 小说 另类 | 亚洲日韩av一区二区三区四区 | 在线亚洲高清揄拍自拍一品区 | 无码福利日韩神码福利片 | 国产一区二区三区精品视频 | 欧美 日韩 亚洲 在线 | 国产成人无码a区在线观看视频app | 久久精品人人做人人综合试看 | 中文字幕人妻无码一区二区三区 | 国产一区二区三区日韩精品 | 欧美自拍另类欧美综合图片区 | √天堂中文官网8在线 | 无码人妻av免费一区二区三区 | 性欧美牲交在线视频 | 国产后入清纯学生妹 | 午夜嘿嘿嘿影院 | 在线a亚洲视频播放在线观看 | 久久伊人色av天堂九九小黄鸭 | 国产无遮挡又黄又爽又色 | 日本精品久久久久中文字幕 | 日韩av激情在线观看 | 美女黄网站人色视频免费国产 | 大肉大捧一进一出视频出来呀 | 久久99久久99精品中文字幕 | 国产午夜亚洲精品不卡下载 | 亚洲爆乳无码专区 | 国产精品毛多多水多 | 2020久久香蕉国产线看观看 | 国产绳艺sm调教室论坛 | 强辱丰满人妻hd中文字幕 | 夜夜夜高潮夜夜爽夜夜爰爰 | 中文字幕+乱码+中文字幕一区 | 18无码粉嫩小泬无套在线观看 | 精品人妻人人做人人爽夜夜爽 | 美女扒开屁股让男人桶 | 亚洲国产精品一区二区美利坚 | 国产人妖乱国产精品人妖 | 日本一区二区三区免费高清 | 欧美大屁股xxxxhd黑色 | 中文字幕人妻无码一区二区三区 | 久久久精品欧美一区二区免费 | 无码精品人妻一区二区三区av | 精品欧洲av无码一区二区三区 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 国产色视频一区二区三区 | 国产人妻人伦精品 | 黑人粗大猛烈进出高潮视频 | 窝窝午夜理论片影院 | 99久久久国产精品无码免费 | 国产精品无码一区二区桃花视频 | 亚欧洲精品在线视频免费观看 | 国产亚洲视频中文字幕97精品 | 国内少妇偷人精品视频 | 奇米影视7777久久精品人人爽 | 亚洲 激情 小说 另类 欧美 | 久久精品国产一区二区三区肥胖 | 无码一区二区三区在线 | 国产精品99久久精品爆乳 | 色妞www精品免费视频 | 国产人妻精品一区二区三区 | 精品一区二区不卡无码av | 青青青手机频在线观看 | 樱花草在线播放免费中文 | 97精品人妻一区二区三区香蕉 | 国产成人无码av片在线观看不卡 | 狂野欧美性猛xxxx乱大交 | 伊人久久大香线焦av综合影院 | 久久久久成人精品免费播放动漫 | 亚洲精品国产第一综合99久久 | 欧美日韩一区二区免费视频 | 久久亚洲国产成人精品性色 | 国产精品沙发午睡系列 | √天堂资源地址中文在线 | 中文字幕日韩精品一区二区三区 | 亚洲码国产精品高潮在线 | 日韩精品a片一区二区三区妖精 | 国产乱人伦av在线无码 | 久久国产自偷自偷免费一区调 | 国产激情精品一区二区三区 | 一本久久a久久精品vr综合 | 亚洲成色在线综合网站 | 麻豆国产97在线 | 欧洲 | 国产精品亚洲а∨无码播放麻豆 | 国产特级毛片aaaaaa高潮流水 | 国产国产精品人在线视 | 成年女人永久免费看片 | 精品一区二区不卡无码av | 亚洲午夜无码久久 | 国产电影无码午夜在线播放 | 狠狠色丁香久久婷婷综合五月 | 亚洲gv猛男gv无码男同 | 老熟妇仑乱视频一区二区 | 亚洲色大成网站www | 丁香啪啪综合成人亚洲 | 亚洲の无码国产の无码影院 | 最新版天堂资源中文官网 | 樱花草在线社区www | 国产婷婷色一区二区三区在线 | 国产成人av免费观看 | 色综合视频一区二区三区 | 精品无人区无码乱码毛片国产 | 丰满人妻翻云覆雨呻吟视频 | 国产精品嫩草久久久久 | 久久人人97超碰a片精品 | 成人亚洲精品久久久久软件 | 老子影院午夜伦不卡 | 国产猛烈高潮尖叫视频免费 | 无码免费一区二区三区 | 激情爆乳一区二区三区 | 国产免费久久久久久无码 | 亚洲人成人无码网www国产 | 亚洲国产日韩a在线播放 | 美女扒开屁股让男人桶 | 国产精品99久久精品爆乳 | 午夜性刺激在线视频免费 | 少妇一晚三次一区二区三区 | 乱码午夜-极国产极内射 | 国产无av码在线观看 | 99久久久无码国产aaa精品 | 久久久久亚洲精品中文字幕 | 亚洲欧洲日本无在线码 | 国产精品免费大片 | 精品国产精品久久一区免费式 | 日本一本二本三区免费 | 奇米综合四色77777久久 东京无码熟妇人妻av在线网址 | 超碰97人人做人人爱少妇 | 亚洲一区二区观看播放 | 日韩成人一区二区三区在线观看 | 亚洲欧美精品aaaaaa片 | 国产精品第一区揄拍无码 | 99麻豆久久久国产精品免费 | 精品乱子伦一区二区三区 | 国产成人无码区免费内射一片色欲 | 曰韩无码二三区中文字幕 | 亚洲国精产品一二二线 | 香港三级日本三级妇三级 | 日本大乳高潮视频在线观看 | 国产av人人夜夜澡人人爽麻豆 | 欧美国产亚洲日韩在线二区 | 欧美老妇与禽交 | 毛片内射-百度 | 国产亚洲精品久久久久久久 | 97久久精品无码一区二区 | 国产精品18久久久久久麻辣 | 少妇性l交大片 | 久久国产精品偷任你爽任你 | 人妻少妇精品视频专区 | 欧美性猛交xxxx富婆 | 在线播放无码字幕亚洲 | 夜夜夜高潮夜夜爽夜夜爰爰 | 亚洲色大成网站www国产 | 欧洲精品码一区二区三区免费看 | 国产又粗又硬又大爽黄老大爷视 | 久久国产自偷自偷免费一区调 | 免费男性肉肉影院 | 人人爽人人爽人人片av亚洲 | 久久久无码中文字幕久... | 中国女人内谢69xxxx | 精品乱子伦一区二区三区 | 成人无码精品1区2区3区免费看 | 无码人妻出轨黑人中文字幕 | 精品熟女少妇av免费观看 | 狠狠色丁香久久婷婷综合五月 | 窝窝午夜理论片影院 | 中文字幕av无码一区二区三区电影 | 午夜精品久久久久久久久 | 男女超爽视频免费播放 | 国产精品久久久久影院嫩草 | 午夜精品一区二区三区在线观看 | 无码人妻丰满熟妇区毛片18 | 欧洲欧美人成视频在线 | 荡女精品导航 | 国产两女互慰高潮视频在线观看 | 大屁股大乳丰满人妻 | 国产无av码在线观看 | 亚洲无人区一区二区三区 | 老司机亚洲精品影院无码 | 中文字幕av无码一区二区三区电影 | 久久人人爽人人爽人人片av高清 | 成人无码影片精品久久久 | 丝袜足控一区二区三区 | 国产成人一区二区三区别 | 国产日产欧产精品精品app | 国产精品资源一区二区 | 久久综合香蕉国产蜜臀av | 亚洲热妇无码av在线播放 | 色综合久久久无码网中文 | 精品日本一区二区三区在线观看 | 中文字幕人妻丝袜二区 | 澳门永久av免费网站 | 精品国精品国产自在久国产87 | 欧洲精品码一区二区三区免费看 | 日韩av无码一区二区三区不卡 | 少妇邻居内射在线 | 国产精品国产三级国产专播 | 国产精品-区区久久久狼 | 国产午夜视频在线观看 | 亚洲成av人在线观看网址 | 久久精品人妻少妇一区二区三区 | av小次郎收藏 | 欧美zoozzooz性欧美 | 天天拍夜夜添久久精品大 | 一本色道久久综合狠狠躁 | 国产一精品一av一免费 | 国产区女主播在线观看 | 国产在线精品一区二区三区直播 | 性生交片免费无码看人 | 伊人色综合久久天天小片 | 又色又爽又黄的美女裸体网站 | 国产成人综合在线女婷五月99播放 | 国产精品二区一区二区aⅴ污介绍 | 久久精品视频在线看15 | 亚洲国产精品成人久久蜜臀 | 亚洲一区二区三区播放 | 国产热a欧美热a在线视频 | 国产亚洲精品久久久久久大师 | 国产真实伦对白全集 | 亚洲成a人一区二区三区 | 欧洲极品少妇 | 日本www一道久久久免费榴莲 | 国产精品美女久久久久av爽李琼 | 永久免费观看美女裸体的网站 | 亚洲日本一区二区三区在线 | 性色欲网站人妻丰满中文久久不卡 | 免费无码av一区二区 | 蜜桃臀无码内射一区二区三区 | 免费人成在线观看网站 | 初尝人妻少妇中文字幕 | 桃花色综合影院 | 国产97在线 | 亚洲 | 国产办公室秘书无码精品99 | 国产香蕉尹人综合在线观看 | 97精品人妻一区二区三区香蕉 | 精品国产福利一区二区 | 免费播放一区二区三区 | 少妇太爽了在线观看 | 一本大道伊人av久久综合 | 亚洲色www成人永久网址 | 丰满少妇人妻久久久久久 | 国产精品亚洲а∨无码播放麻豆 | 久久精品国产日本波多野结衣 | 午夜精品久久久久久久 | 成人试看120秒体验区 | 偷窥日本少妇撒尿chinese | 最新国产乱人伦偷精品免费网站 | 中文字幕乱码人妻二区三区 | 内射后入在线观看一区 | 人人妻人人澡人人爽精品欧美 | 欧美丰满熟妇xxxx | 色欲av亚洲一区无码少妇 | 日本免费一区二区三区最新 | 精品亚洲成av人在线观看 | 日本大乳高潮视频在线观看 | 精品国偷自产在线 | 一区二区传媒有限公司 | 国产亚洲视频中文字幕97精品 | 永久免费精品精品永久-夜色 | 国产偷自视频区视频 | 国产莉萝无码av在线播放 | 国产97色在线 | 免 | 午夜无码区在线观看 | 国产成人精品视频ⅴa片软件竹菊 | 精品国产av色一区二区深夜久久 | 7777奇米四色成人眼影 | 牲欲强的熟妇农村老妇女视频 | 牲欲强的熟妇农村老妇女 | 男人的天堂2018无码 | 婷婷丁香六月激情综合啪 | 俄罗斯老熟妇色xxxx | 日日碰狠狠丁香久燥 | 亚洲成色www久久网站 | 亚洲天堂2017无码 | 麻豆果冻传媒2021精品传媒一区下载 | 性欧美大战久久久久久久 | 日本护士xxxxhd少妇 | 国产亚洲欧美日韩亚洲中文色 | 日韩精品无码一区二区中文字幕 | 亚洲成av人片天堂网无码】 | 成人av无码一区二区三区 | 国产精品美女久久久久av爽李琼 | 亚洲国产精品美女久久久久 | 国产精品香蕉在线观看 | 两性色午夜免费视频 | 色婷婷av一区二区三区之红樱桃 | 亚洲熟悉妇女xxx妇女av | 牲欲强的熟妇农村老妇女视频 | 天天做天天爱天天爽综合网 | 亚洲精品成a人在线观看 | 欧美日韩一区二区免费视频 | 亚洲啪av永久无码精品放毛片 | 国产精品99爱免费视频 | 欧美日韩一区二区三区自拍 | 一本久道久久综合狠狠爱 | 国产精品无码mv在线观看 | 99久久精品无码一区二区毛片 | 国产成人精品优优av | 色综合久久久久综合一本到桃花网 | 日日摸天天摸爽爽狠狠97 | 日日噜噜噜噜夜夜爽亚洲精品 | 无码人妻av免费一区二区三区 | 九九久久精品国产免费看小说 | 亚洲成a人片在线观看无码3d | 久久久久久久人妻无码中文字幕爆 | 一本大道伊人av久久综合 | 欧美人与禽zoz0性伦交 | 亚洲一区av无码专区在线观看 | 国产精品久久久av久久久 | av无码电影一区二区三区 | 精品一区二区三区波多野结衣 | 国产精品99久久精品爆乳 | 国产成人无码区免费内射一片色欲 | 少妇激情av一区二区 | 欧美人与物videos另类 | 亚洲精品一区二区三区大桥未久 | 伊人久久婷婷五月综合97色 | 国产热a欧美热a在线视频 | 久久久久久亚洲精品a片成人 | 国产suv精品一区二区五 | v一区无码内射国产 | 一本一道久久综合久久 | 亚洲精品欧美二区三区中文字幕 | 久久精品丝袜高跟鞋 | 久久久久国色av免费观看性色 | 欧美怡红院免费全部视频 | 国产欧美精品一区二区三区 | 最近的中文字幕在线看视频 | 色综合天天综合狠狠爱 | 久久天天躁狠狠躁夜夜免费观看 | 欧美人与物videos另类 | 国内综合精品午夜久久资源 | 日韩av无码中文无码电影 | 欧美成人午夜精品久久久 | 性色av无码免费一区二区三区 | 国产偷抇久久精品a片69 | 久久人妻内射无码一区三区 | 欧美人与禽zoz0性伦交 | 高潮毛片无遮挡高清免费 | 亚洲小说春色综合另类 | 国产99久久精品一区二区 | 亚洲娇小与黑人巨大交 | av无码久久久久不卡免费网站 | 成人女人看片免费视频放人 | 狂野欧美激情性xxxx | 日本精品人妻无码77777 天堂一区人妻无码 | 又紧又大又爽精品一区二区 | 熟女体下毛毛黑森林 | 夜夜躁日日躁狠狠久久av | 中文字幕无线码免费人妻 | 图片小说视频一区二区 | 亚洲综合伊人久久大杳蕉 | 色婷婷综合中文久久一本 | 亚洲精品国产精品乱码视色 | 日韩人妻无码一区二区三区久久99 | 99久久精品国产一区二区蜜芽 | 大色综合色综合网站 | 天堂在线观看www | 日韩av激情在线观看 | 天天爽夜夜爽夜夜爽 | 国产成人人人97超碰超爽8 | 精品国精品国产自在久国产87 | 中文字幕人成乱码熟女app | 东京热无码av男人的天堂 | 暴力强奷在线播放无码 | 亚洲成av人片在线观看无码不卡 | 亚洲理论电影在线观看 | 装睡被陌生人摸出水好爽 | 粗大的内捧猛烈进出视频 | 国产精品无码成人午夜电影 | 日日天干夜夜狠狠爱 | 色婷婷综合激情综在线播放 | 国产精品-区区久久久狼 | 国产女主播喷水视频在线观看 | 国产成人久久精品流白浆 | 又黄又爽又色的视频 | 欧美猛少妇色xxxxx | 国产人妻精品午夜福利免费 | 国产精品久久久久久久影院 | www国产亚洲精品久久网站 | 99视频精品全部免费免费观看 | 国产特级毛片aaaaaaa高清 | 狂野欧美激情性xxxx | 国产成人精品必看 | 欧美精品国产综合久久 | 亚洲人成网站免费播放 | 亚洲日本va中文字幕 | 免费网站看v片在线18禁无码 | 国产精品va在线观看无码 | 色一情一乱一伦一区二区三欧美 | 无套内谢的新婚少妇国语播放 | 无码av最新清无码专区吞精 | av无码不卡在线观看免费 | 国产精品亚洲一区二区三区喷水 | 久久久久久久久888 | 国产乱子伦视频在线播放 | 国产精品第一国产精品 | 中文久久乱码一区二区 | 国产97人人超碰caoprom | 亚洲日韩av片在线观看 | 久热国产vs视频在线观看 | 国精产品一区二区三区 | 国产激情艳情在线看视频 | 成人欧美一区二区三区黑人 | 永久黄网站色视频免费直播 | 国产人成高清在线视频99最全资源 | v一区无码内射国产 | 亚洲の无码国产の无码影院 | 亚洲国产午夜精品理论片 | 国产做国产爱免费视频 | 亚洲熟熟妇xxxx | 麻豆人妻少妇精品无码专区 | 色婷婷av一区二区三区之红樱桃 | 日日噜噜噜噜夜夜爽亚洲精品 | 亚洲色无码一区二区三区 | 国内揄拍国内精品人妻 | 人妻少妇精品无码专区二区 | 一区二区三区高清视频一 | 成人欧美一区二区三区黑人 | 免费国产黄网站在线观看 | 丝袜人妻一区二区三区 | 日本一卡2卡3卡四卡精品网站 | 免费人成在线视频无码 | 国产精品久久久久久无码 | 久久亚洲精品成人无码 | 天下第一社区视频www日本 | www国产亚洲精品久久久日本 | 欧美真人作爱免费视频 | 日本丰满熟妇videos | 最近的中文字幕在线看视频 | 国产艳妇av在线观看果冻传媒 | 无码午夜成人1000部免费视频 | 亚洲日韩av一区二区三区中文 | 国产精品嫩草久久久久 | 国产精品成人av在线观看 | 午夜性刺激在线视频免费 | 亚洲欧美国产精品专区久久 | 久久综合久久自在自线精品自 | 国产av无码专区亚洲awww | 成人免费视频视频在线观看 免费 | 一本久道高清无码视频 | 精品久久综合1区2区3区激情 | 成熟妇人a片免费看网站 | 女人和拘做爰正片视频 | 欧美日本日韩 | 亚洲一区二区三区四区 | 国产av无码专区亚洲a∨毛片 | 亚洲区欧美区综合区自拍区 | 日本肉体xxxx裸交 | 宝宝好涨水快流出来免费视频 | 激情国产av做激情国产爱 | 国产亚洲精品久久久久久大师 | 内射欧美老妇wbb | 少妇人妻偷人精品无码视频 | 成人亚洲精品久久久久软件 | www成人国产高清内射 | 国产av剧情md精品麻豆 | 欧洲精品码一区二区三区免费看 | 人人妻人人澡人人爽人人精品浪潮 | 内射后入在线观看一区 | 99麻豆久久久国产精品免费 | 亚洲理论电影在线观看 | 国产成人无码av一区二区 | 国产又爽又猛又粗的视频a片 | 午夜免费福利小电影 | 久久99精品久久久久久 | 国产精品亚洲专区无码不卡 | 麻豆精品国产精华精华液好用吗 | 亚洲人成网站免费播放 | 天天爽夜夜爽夜夜爽 | 日本爽爽爽爽爽爽在线观看免 | 色综合久久88色综合天天 | 成年美女黄网站色大免费视频 | 性生交大片免费看女人按摩摩 | 久久综合久久自在自线精品自 | 久久久国产精品无码免费专区 | 国产三级久久久精品麻豆三级 | а√天堂www在线天堂小说 | 亚洲天堂2017无码 | 夜精品a片一区二区三区无码白浆 | 亚洲综合无码一区二区三区 | 亚洲日韩av片在线观看 | 久久精品国产一区二区三区 | 高清国产亚洲精品自在久久 | 日本熟妇大屁股人妻 | 国産精品久久久久久久 | 免费人成网站视频在线观看 | 奇米影视7777久久精品人人爽 | 自拍偷自拍亚洲精品被多人伦好爽 | 国产精品成人av在线观看 | 亚洲无人区午夜福利码高清完整版 | 天堂а√在线中文在线 | 久久精品女人天堂av免费观看 | 久久久久久a亚洲欧洲av冫 | 男女爱爱好爽视频免费看 | 亚洲人成网站免费播放 | 亚洲成a人一区二区三区 | 欧美人与善在线com | 久久久久久久人妻无码中文字幕爆 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 久精品国产欧美亚洲色aⅴ大片 | 国产欧美熟妇另类久久久 | 沈阳熟女露脸对白视频 | 亚洲一区二区观看播放 | 久久99精品久久久久婷婷 | 色 综合 欧美 亚洲 国产 | 久久99精品久久久久婷婷 | 色综合久久久无码网中文 | 乱码av麻豆丝袜熟女系列 | 天堂久久天堂av色综合 | 国产sm调教视频在线观看 | 青青草原综合久久大伊人精品 | 亚洲国产午夜精品理论片 | 成人一区二区免费视频 | 久久国产劲爆∧v内射 | 精品国精品国产自在久国产87 | 久久久婷婷五月亚洲97号色 | 老司机亚洲精品影院无码 | 国产又粗又硬又大爽黄老大爷视 | 欧美色就是色 | ass日本丰满熟妇pics | 巨爆乳无码视频在线观看 | 中文字幕日韩精品一区二区三区 | 亚洲成在人网站无码天堂 | 亚洲精品美女久久久久久久 | 国产电影无码午夜在线播放 | 日本一区二区三区免费播放 | 牛和人交xxxx欧美 | 丰满肥臀大屁股熟妇激情视频 | 精品无人区无码乱码毛片国产 | 午夜福利试看120秒体验区 | 久久人人爽人人爽人人片av高清 | 一区二区三区乱码在线 | 欧洲 | 天干天干啦夜天干天2017 | 亚洲中文字幕av在天堂 | 亚洲国产精品久久久天堂 | 国产精品毛多多水多 | 亚洲小说春色综合另类 | 99久久亚洲精品无码毛片 | 色婷婷香蕉在线一区二区 | 国产亚洲日韩欧美另类第八页 | 国产亚洲精品久久久ai换 | 国产精品国产自线拍免费软件 | 国产精华av午夜在线观看 | 成人三级无码视频在线观看 | 无遮挡国产高潮视频免费观看 | 亚洲a无码综合a国产av中文 | 在线观看国产一区二区三区 | 久久精品视频在线看15 | 99久久久无码国产精品免费 | 久久综合色之久久综合 | 日本精品高清一区二区 | 99久久无码一区人妻 | 欧美日本日韩 | 欧美老妇交乱视频在线观看 | 国产在线精品一区二区三区直播 | 久久精品无码一区二区三区 | 欧美阿v高清资源不卡在线播放 | 欧洲精品码一区二区三区免费看 | 亚洲色www成人永久网址 | 久久久成人毛片无码 | 国产香蕉97碰碰久久人人 | 亚洲理论电影在线观看 | 熟女少妇在线视频播放 | 少妇性荡欲午夜性开放视频剧场 | 日本精品人妻无码77777 天堂一区人妻无码 | 亚洲日韩精品欧美一区二区 | 亚洲成a人片在线观看无码3d | 亚洲娇小与黑人巨大交 | 日韩av无码一区二区三区 | 国产午夜福利100集发布 | 西西人体www44rt大胆高清 | аⅴ资源天堂资源库在线 | 国语精品一区二区三区 | 国产精品成人av在线观看 | 在线а√天堂中文官网 | 亚洲日韩av一区二区三区中文 | 亚洲狠狠色丁香婷婷综合 | 人人妻在人人 | 亚洲国精产品一二二线 | 国产网红无码精品视频 | 国产色在线 | 国产 | 日日干夜夜干 | 国产成人人人97超碰超爽8 | 在线天堂新版最新版在线8 | 亚洲а∨天堂久久精品2021 | 色综合视频一区二区三区 | 天天摸天天透天天添 | 久青草影院在线观看国产 | 粉嫩少妇内射浓精videos | 久久精品国产精品国产精品污 | 欧洲精品码一区二区三区免费看 | 亚洲欧美日韩成人高清在线一区 | 青草视频在线播放 | 内射巨臀欧美在线视频 | 久久综合激激的五月天 | 亚洲欧美中文字幕5发布 | 亲嘴扒胸摸屁股激烈网站 | 久9re热视频这里只有精品 | 野狼第一精品社区 | 狠狠亚洲超碰狼人久久 | 日韩精品a片一区二区三区妖精 | 国产成人精品视频ⅴa片软件竹菊 | 亚洲热妇无码av在线播放 | 大肉大捧一进一出好爽视频 | 大地资源网第二页免费观看 | 国产人妻大战黑人第1集 | 亚洲欧美色中文字幕在线 | 99精品久久毛片a片 | 亚洲成色www久久网站 | 性欧美牲交xxxxx视频 | 国产情侣作爱视频免费观看 | 少妇无码吹潮 | 99久久亚洲精品无码毛片 | 日日麻批免费40分钟无码 | 久久久久se色偷偷亚洲精品av | 色情久久久av熟女人妻网站 | 国产精品亚洲lv粉色 | 国产熟妇高潮叫床视频播放 | 无码人妻精品一区二区三区下载 | 久久久久久亚洲精品a片成人 | 国产人妖乱国产精品人妖 | 全黄性性激高免费视频 | 天堂а√在线中文在线 | 网友自拍区视频精品 | 男人的天堂2018无码 | 香蕉久久久久久av成人 | 人人澡人人妻人人爽人人蜜桃 | 久久精品中文字幕大胸 | 精品成在人线av无码免费看 | 国内精品久久毛片一区二区 | 久久精品国产99精品亚洲 | 高清不卡一区二区三区 | 国内精品一区二区三区不卡 | 激情五月综合色婷婷一区二区 | 久久久www成人免费毛片 | 国产精品a成v人在线播放 | 日本一卡2卡3卡四卡精品网站 | 国内少妇偷人精品视频 | 夜夜躁日日躁狠狠久久av | 在线观看国产一区二区三区 | 国产成人综合色在线观看网站 | 亚洲综合色区中文字幕 | 亚洲日韩一区二区 | 一本久道久久综合婷婷五月 | 真人与拘做受免费视频 | 又紧又大又爽精品一区二区 | 亚洲综合久久一区二区 | 亚洲成a人一区二区三区 | 99精品无人区乱码1区2区3区 | 狠狠色噜噜狠狠狠7777奇米 | 久久zyz资源站无码中文动漫 | 久久久久人妻一区精品色欧美 | 国产精品内射视频免费 | 日日橹狠狠爱欧美视频 | 中文精品无码中文字幕无码专区 | 国产精品久久久久久亚洲影视内衣 | 露脸叫床粗话东北少妇 | 无码人妻丰满熟妇区五十路百度 | 美女毛片一区二区三区四区 | 亚洲午夜久久久影院 | 人人妻人人澡人人爽欧美一区 | 丝袜 中出 制服 人妻 美腿 | 精品国精品国产自在久国产87 | 狠狠躁日日躁夜夜躁2020 | 亚洲精品一区二区三区大桥未久 | 久久99精品国产麻豆 | 成年美女黄网站色大免费全看 | 久久久婷婷五月亚洲97号色 | 红桃av一区二区三区在线无码av | 日本精品人妻无码77777 天堂一区人妻无码 | 欧美日韩在线亚洲综合国产人 | 亚洲一区二区三区四区 | 国产真实伦对白全集 | 国产人妖乱国产精品人妖 | 又紧又大又爽精品一区二区 | 精品国产麻豆免费人成网站 | 熟女少妇人妻中文字幕 | 一本久道高清无码视频 | 成人性做爰aaa片免费看不忠 | 国产又粗又硬又大爽黄老大爷视 | 国産精品久久久久久久 | 国产熟妇另类久久久久 | 欧美日韩在线亚洲综合国产人 | 国产激情无码一区二区app | 最新国产麻豆aⅴ精品无码 | 国产极品美女高潮无套在线观看 | 久久久久久av无码免费看大片 | 久久久久免费看成人影片 | 中文字幕人成乱码熟女app | 97资源共享在线视频 | 中文字幕无码视频专区 | 久久久久99精品成人片 | 国产suv精品一区二区五 | 精品无码一区二区三区爱欲 | 欧美老熟妇乱xxxxx | 国产精品.xx视频.xxtv | 激情五月综合色婷婷一区二区 | 99久久精品午夜一区二区 | 国产精品久久国产三级国 | 任你躁国产自任一区二区三区 | 国产性生大片免费观看性 | 在线精品亚洲一区二区 | 国产艳妇av在线观看果冻传媒 | 人人妻人人藻人人爽欧美一区 | 久久综合激激的五月天 | 图片小说视频一区二区 | 小sao货水好多真紧h无码视频 | ass日本丰满熟妇pics | 亲嘴扒胸摸屁股激烈网站 | 亚洲国产午夜精品理论片 | 亚洲天堂2017无码中文 | 亚洲精品一区二区三区四区五区 | 搡女人真爽免费视频大全 | 国产精品人人妻人人爽 | 亚洲 a v无 码免 费 成 人 a v | 亚洲一区二区三区国产精华液 | 精品国产乱码久久久久乱码 | 日韩av激情在线观看 | 少妇愉情理伦片bd | 久久综合久久自在自线精品自 | 亚洲 另类 在线 欧美 制服 | 一本色道久久综合亚洲精品不卡 | 国产av无码专区亚洲a∨毛片 | 亚洲成av人片在线观看无码不卡 | 天天综合网天天综合色 | 色综合久久久无码中文字幕 | 天下第一社区视频www日本 | 国产又粗又硬又大爽黄老大爷视 | 国产超碰人人爽人人做人人添 | 久久精品无码一区二区三区 | 在线观看欧美一区二区三区 | 亚洲熟女一区二区三区 | 丰满人妻翻云覆雨呻吟视频 | 成人精品视频一区二区 | 欧美人与善在线com | 亚洲色欲色欲欲www在线 | 97久久精品无码一区二区 | 国产九九九九九九九a片 | 蜜臀av无码人妻精品 | 国产精品美女久久久久av爽李琼 | 粗大的内捧猛烈进出视频 | 人人澡人摸人人添 | 精品aⅴ一区二区三区 | 无码午夜成人1000部免费视频 | 国产深夜福利视频在线 | 少妇性l交大片欧洲热妇乱xxx | 无套内谢的新婚少妇国语播放 | 亚洲中文字幕久久无码 | 荫蒂被男人添的好舒服爽免费视频 | 日韩无码专区 | 欧美xxxx黑人又粗又长 | 18精品久久久无码午夜福利 | 少妇性俱乐部纵欲狂欢电影 | 久久无码中文字幕免费影院蜜桃 | 亚洲国产成人a精品不卡在线 | 国产高清av在线播放 | 天天综合网天天综合色 | 亚洲区欧美区综合区自拍区 | 欧美freesex黑人又粗又大 | 在线观看国产午夜福利片 | 老司机亚洲精品影院 | 日韩欧美群交p片內射中文 | 一二三四社区在线中文视频 | 奇米影视7777久久精品人人爽 | 日韩av无码一区二区三区不卡 | 成 人影片 免费观看 | 黑人粗大猛烈进出高潮视频 | 久久亚洲中文字幕无码 | 九月婷婷人人澡人人添人人爽 | 国产性生交xxxxx无码 | 荫蒂添的好舒服视频囗交 | 中文无码精品a∨在线观看不卡 | 午夜精品久久久内射近拍高清 | 少妇激情av一区二区 | 亚洲国产精品成人久久蜜臀 | 成人av无码一区二区三区 | 亲嘴扒胸摸屁股激烈网站 | 黑人巨大精品欧美一区二区 | 亚洲欧美国产精品久久 | 男女下面进入的视频免费午夜 | 高清不卡一区二区三区 | 久久久国产一区二区三区 | 狠狠躁日日躁夜夜躁2020 | 少妇邻居内射在线 | 久久久久久久久888 | 国产猛烈高潮尖叫视频免费 | 东京无码熟妇人妻av在线网址 | 色婷婷综合激情综在线播放 | a在线亚洲男人的天堂 | 欧美人妻一区二区三区 | 亚洲精品国偷拍自产在线麻豆 | 久久精品中文闷骚内射 | 亚洲 另类 在线 欧美 制服 | 精品国偷自产在线视频 | 欧美人与动性行为视频 | √天堂资源地址中文在线 | 欧美激情内射喷水高潮 | www一区二区www免费 | 国产成人av免费观看 | 午夜熟女插插xx免费视频 | 亚洲乱亚洲乱妇50p | 亚洲色无码一区二区三区 | 精品无码一区二区三区的天堂 | 国内综合精品午夜久久资源 | 久久久久99精品成人片 | 国产深夜福利视频在线 | 131美女爱做视频 | 97无码免费人妻超级碰碰夜夜 | 永久黄网站色视频免费直播 | 最近免费中文字幕中文高清百度 | 午夜男女很黄的视频 | 国产高潮视频在线观看 | 久久无码专区国产精品s | 亚洲国产成人av在线观看 | 大色综合色综合网站 | 红桃av一区二区三区在线无码av | 精品国产福利一区二区 | 少妇的肉体aa片免费 | 九九久久精品国产免费看小说 | 国产午夜福利亚洲第一 | 未满小14洗澡无码视频网站 | 给我免费的视频在线观看 | 久久精品无码一区二区三区 | 亚洲国产欧美在线成人 | 丰满少妇女裸体bbw | 成人女人看片免费视频放人 | 性色欲情网站iwww九文堂 | 欧美日韩综合一区二区三区 | 久久久国产精品无码免费专区 | 亚洲精品成a人在线观看 | 精品久久久无码中文字幕 | 久久人人爽人人人人片 | 无人区乱码一区二区三区 | 精品厕所偷拍各类美女tp嘘嘘 | 亚洲色欲久久久综合网东京热 | 国产黄在线观看免费观看不卡 | 欧美丰满少妇xxxx性 | 色一情一乱一伦 | 亚洲精品国产精品乱码不卡 | 成年美女黄网站色大免费视频 | 伊人久久婷婷五月综合97色 | 奇米影视7777久久精品人人爽 | 最新国产麻豆aⅴ精品无码 | 天天拍夜夜添久久精品 | 午夜精品久久久久久久久 | 亚洲の无码国产の无码步美 | 激情综合激情五月俺也去 | 成人精品天堂一区二区三区 | 日韩av无码中文无码电影 | 亚洲日韩精品欧美一区二区 | 妺妺窝人体色www在线小说 | 日本一卡2卡3卡四卡精品网站 | 爱做久久久久久 | 亚洲国产精品一区二区美利坚 | 丰满人妻被黑人猛烈进入 | 无码国产色欲xxxxx视频 | 国产成人无码a区在线观看视频app | 扒开双腿吃奶呻吟做受视频 | 中文字幕久久久久人妻 | 国产精品-区区久久久狼 | 欧美性生交xxxxx久久久 | 免费无码av一区二区 | 樱花草在线播放免费中文 | 亚洲性无码av中文字幕 | 亚洲 a v无 码免 费 成 人 a v | 中文字幕人妻丝袜二区 | 少妇性l交大片欧洲热妇乱xxx | 日日摸日日碰夜夜爽av | 国产成人精品久久亚洲高清不卡 | 天堂а√在线中文在线 | 国产两女互慰高潮视频在线观看 | 欧美性生交xxxxx久久久 | 欧美freesex黑人又粗又大 | 国产亚洲欧美在线专区 | 精品久久久久久人妻无码中文字幕 | 国产麻豆精品精东影业av网站 | 女人高潮内射99精品 | 377p欧洲日本亚洲大胆 | 国产莉萝无码av在线播放 | 在线观看国产午夜福利片 | v一区无码内射国产 | 精品无码国产一区二区三区av | 内射巨臀欧美在线视频 | 日本欧美一区二区三区乱码 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 中文字幕人妻丝袜二区 | 成人影院yy111111在线观看 | 亚洲精品一区三区三区在线观看 | 精品国产一区二区三区四区在线看 | 天天爽夜夜爽夜夜爽 | 国产亚洲欧美在线专区 | 无码国产乱人伦偷精品视频 | 精品偷自拍另类在线观看 | 无码av中文字幕免费放 | 大肉大捧一进一出好爽视频 | 中文字幕乱妇无码av在线 | 久久久久久久久888 | 国产成人精品久久亚洲高清不卡 | 亚洲 日韩 欧美 成人 在线观看 | 亚洲狠狠婷婷综合久久 | 免费无码肉片在线观看 | 亚洲男人av天堂午夜在 | 亚洲码国产精品高潮在线 | 在线播放免费人成毛片乱码 | 亚洲国产欧美在线成人 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 狠狠色欧美亚洲狠狠色www | 天天燥日日燥 | 久久久国产精品无码免费专区 | 永久免费精品精品永久-夜色 | 国产午夜福利亚洲第一 | 中文字幕无码免费久久99 | 精品久久久久久人妻无码中文字幕 | 97无码免费人妻超级碰碰夜夜 | 婷婷色婷婷开心五月四房播播 | 亚洲国产成人a精品不卡在线 | 国产无遮挡又黄又爽免费视频 | 国产精品国产三级国产专播 | 亚洲无人区一区二区三区 | 中文字幕av伊人av无码av | 欧美成人午夜精品久久久 | 一本一道久久综合久久 | 国产午夜视频在线观看 | 亚洲人成影院在线观看 | 无遮挡国产高潮视频免费观看 | 亚洲精品一区二区三区四区五区 | 精品国产aⅴ无码一区二区 | 东京一本一道一二三区 | 亚洲熟妇色xxxxx欧美老妇 | 乱人伦人妻中文字幕无码久久网 | 中文字幕色婷婷在线视频 | 久久国产劲爆∧v内射 | 美女黄网站人色视频免费国产 | 丝袜 中出 制服 人妻 美腿 | 99久久久无码国产精品免费 | 欧美人妻一区二区三区 | 中文字幕无码人妻少妇免费 | 丰满岳乱妇在线观看中字无码 | 18无码粉嫩小泬无套在线观看 | 亚洲人成影院在线观看 | 99麻豆久久久国产精品免费 | √天堂资源地址中文在线 | 久久人人爽人人爽人人片av高清 | 亚洲另类伦春色综合小说 | 女人被男人爽到呻吟的视频 | 国产卡一卡二卡三 | 久久精品中文闷骚内射 | 东京热一精品无码av | 国产极品美女高潮无套在线观看 | 国产精品亚洲lv粉色 | 国产乱码精品一品二品 | 偷窥日本少妇撒尿chinese | 国产精品高潮呻吟av久久 | 精品国产麻豆免费人成网站 | 97精品国产97久久久久久免费 | 中文字幕无码日韩欧毛 | 少妇久久久久久人妻无码 | 少妇太爽了在线观看 | 5858s亚洲色大成网站www | 国产av久久久久精东av | 正在播放东北夫妻内射 | 久久久久久久女国产乱让韩 | 国产精品美女久久久久av爽李琼 | 人人澡人人透人人爽 | 最近免费中文字幕中文高清百度 | 色欲人妻aaaaaaa无码 | 色欲久久久天天天综合网精品 | 人妻无码久久精品人妻 | 日韩 欧美 动漫 国产 制服 | 老熟妇乱子伦牲交视频 | 乱人伦人妻中文字幕无码久久网 | 国产婷婷色一区二区三区在线 | 99久久无码一区人妻 | 亚洲欧美国产精品久久 | 99精品国产综合久久久久五月天 | 国产极品美女高潮无套在线观看 | 婷婷综合久久中文字幕蜜桃三电影 | 大胆欧美熟妇xx | 亚洲国产成人a精品不卡在线 | 亚洲人交乣女bbw | 国内少妇偷人精品视频免费 | 无码纯肉视频在线观看 | 亚洲精品一区二区三区在线观看 | 97精品国产97久久久久久免费 | 国产精品国产自线拍免费软件 | 亚洲色欲久久久综合网东京热 | 欧美 丝袜 自拍 制服 另类 | 激情综合激情五月俺也去 | 精品国偷自产在线视频 | 5858s亚洲色大成网站www | 无码免费一区二区三区 | 国产午夜无码精品免费看 | 少妇无码一区二区二三区 | 最近免费中文字幕中文高清百度 | 国产无套粉嫩白浆在线 | 日韩精品久久久肉伦网站 | 久久久中文字幕日本无吗 | 欧洲欧美人成视频在线 | 2020最新国产自产精品 | 人人妻人人藻人人爽欧美一区 | 无码国产色欲xxxxx视频 | 亚洲综合久久一区二区 | 亚洲精品一区二区三区婷婷月 | 午夜肉伦伦影院 | 国产精品永久免费视频 | 亚洲日韩中文字幕在线播放 | 日韩精品无码一本二本三本色 | 国产在热线精品视频 | 波多野结衣乳巨码无在线观看 | 7777奇米四色成人眼影 | 玩弄中年熟妇正在播放 | 又大又硬又黄的免费视频 | 在线观看国产一区二区三区 | 人妻aⅴ无码一区二区三区 | 色一情一乱一伦一区二区三欧美 | 人人妻人人澡人人爽精品欧美 | 日韩精品无码一区二区中文字幕 | 国产精品内射视频免费 | 国产卡一卡二卡三 | 波多野结衣 黑人 | 亚洲一区二区三区含羞草 | 国产亚洲欧美日韩亚洲中文色 | 日本在线高清不卡免费播放 | 啦啦啦www在线观看免费视频 | 国产av无码专区亚洲awww | av香港经典三级级 在线 | 国产熟女一区二区三区四区五区 | 久久精品国产大片免费观看 | 国产色精品久久人妻 | 综合人妻久久一区二区精品 | 俄罗斯老熟妇色xxxx | 久久久久成人精品免费播放动漫 | 精品久久久无码人妻字幂 | 日本成熟视频免费视频 | 少妇久久久久久人妻无码 | 天天摸天天碰天天添 | 久久久久久国产精品无码下载 | 亚洲熟妇色xxxxx欧美老妇 | 2020最新国产自产精品 | 亚洲一区二区三区偷拍女厕 | 99国产欧美久久久精品 | 亚洲精品无码人妻无码 | 久久精品女人的天堂av | 中文字幕精品av一区二区五区 | 国产成人久久精品流白浆 | 人妻天天爽夜夜爽一区二区 | 妺妺窝人体色www婷婷 | 女人高潮内射99精品 | 欧美黑人性暴力猛交喷水 | aⅴ在线视频男人的天堂 | 日韩av无码中文无码电影 | 伊人久久大香线蕉亚洲 | 巨爆乳无码视频在线观看 | 97久久国产亚洲精品超碰热 | 国产精品久久久午夜夜伦鲁鲁 | 亚洲精品久久久久久一区二区 | 夜夜夜高潮夜夜爽夜夜爰爰 | 中文字幕 亚洲精品 第1页 | 亚洲国产精华液网站w | 国内精品一区二区三区不卡 | 日本精品人妻无码免费大全 | 亚洲精品综合五月久久小说 | 97夜夜澡人人双人人人喊 | 久久精品一区二区三区四区 | 欧美日韩一区二区三区自拍 | 97se亚洲精品一区 | 亚洲精品一区二区三区大桥未久 | 亚洲欧美中文字幕5发布 | 亚洲日韩乱码中文无码蜜桃臀网站 | 国产精品无码一区二区三区不卡 | 少妇的肉体aa片免费 | 俄罗斯老熟妇色xxxx | 帮老师解开蕾丝奶罩吸乳网站 | 国产精品久免费的黄网站 | 国产麻豆精品精东影业av网站 | 国产乱人无码伦av在线a | 人妻少妇被猛烈进入中文字幕 | yw尤物av无码国产在线观看 | 国产国产精品人在线视 | 国产精品99爱免费视频 | 中文字幕无码乱人伦 | 大乳丰满人妻中文字幕日本 | 日本肉体xxxx裸交 | av香港经典三级级 在线 | 亚洲午夜无码久久 | 亚洲无人区午夜福利码高清完整版 | 暴力强奷在线播放无码 | 免费观看又污又黄的网站 | 精品无码一区二区三区爱欲 | 无码av免费一区二区三区试看 | 十八禁真人啪啪免费网站 | 欧美黑人乱大交 | 亚洲综合无码久久精品综合 | 亚洲中文无码av永久不收费 | 国产亚洲精品久久久闺蜜 | 人人妻人人澡人人爽人人精品 | 亚洲人成人无码网www国产 | 熟女体下毛毛黑森林 | 蜜桃视频韩日免费播放 | 久久天天躁狠狠躁夜夜免费观看 | 人人妻人人澡人人爽精品欧美 | 国产亚洲tv在线观看 | 亚洲色无码一区二区三区 | 成人综合网亚洲伊人 | 最近免费中文字幕中文高清百度 | 美女张开腿让人桶 | 熟妇人妻无乱码中文字幕 | 偷窥村妇洗澡毛毛多 | 国产精品亚洲五月天高清 | 精品夜夜澡人妻无码av蜜桃 | 在线成人www免费观看视频 | 夜夜高潮次次欢爽av女 | 久久精品中文闷骚内射 | 波多野结衣高清一区二区三区 | 最近的中文字幕在线看视频 | 日本va欧美va欧美va精品 | 5858s亚洲色大成网站www | 日韩av激情在线观看 | 日本大乳高潮视频在线观看 | av在线亚洲欧洲日产一区二区 | 亚洲人成网站在线播放942 | 国产精品高潮呻吟av久久 | 欧美人与牲动交xxxx | 亚洲一区二区三区偷拍女厕 | 国产熟妇另类久久久久 | 一本色道婷婷久久欧美 | 人人澡人人妻人人爽人人蜜桃 | 国产真人无遮挡作爱免费视频 | 亚洲一区av无码专区在线观看 | 国产精品.xx视频.xxtv | 亚洲精品中文字幕 | 伊人久久大香线蕉亚洲 | 国产乱子伦视频在线播放 | 无码国产乱人伦偷精品视频 | 国产亚洲人成a在线v网站 | 欧美自拍另类欧美综合图片区 | 亚洲一区二区三区香蕉 | 国产一区二区不卡老阿姨 | 成年美女黄网站色大免费全看 | 欧美精品一区二区精品久久 | 福利一区二区三区视频在线观看 | 98国产精品综合一区二区三区 | 中文无码伦av中文字幕 | 小泽玛莉亚一区二区视频在线 | 国产凸凹视频一区二区 | 高中生自慰www网站 | 亚洲综合在线一区二区三区 | 精品人人妻人人澡人人爽人人 | 欧美三级不卡在线观看 | 国产欧美亚洲精品a | 自拍偷自拍亚洲精品被多人伦好爽 | 欧美人与禽zoz0性伦交 | 国产成人无码一二三区视频 | 国产人妻大战黑人第1集 | 中文字幕av无码一区二区三区电影 | 久久精品国产精品国产精品污 | 粉嫩少妇内射浓精videos | 熟女少妇在线视频播放 | 一区二区三区乱码在线 | 欧洲 | 国产三级久久久精品麻豆三级 | 亚洲中文字幕在线无码一区二区 | 午夜性刺激在线视频免费 | 国产xxx69麻豆国语对白 | 无码人妻久久一区二区三区不卡 | 女人高潮内射99精品 | 无码精品国产va在线观看dvd | 特黄特色大片免费播放器图片 | 精品欧美一区二区三区久久久 | 少妇性俱乐部纵欲狂欢电影 | 老司机亚洲精品影院 | 欧美性猛交xxxx富婆 | 人妻少妇精品无码专区二区 | 亚洲の无码国产の无码影院 | 国产精品久久久一区二区三区 | 无遮挡国产高潮视频免费观看 | 十八禁视频网站在线观看 | 天海翼激烈高潮到腰振不止 | 极品尤物被啪到呻吟喷水 | aa片在线观看视频在线播放 | 国产真人无遮挡作爱免费视频 | 少妇无码一区二区二三区 | 鲁大师影院在线观看 | 国产激情无码一区二区app | 国产xxx69麻豆国语对白 | 亚洲精品成人av在线 | 国产av无码专区亚洲a∨毛片 | 久久久久99精品成人片 | 成人精品视频一区二区三区尤物 | a在线观看免费网站大全 | 免费看男女做好爽好硬视频 | 日本一区二区三区免费播放 | 狠狠色噜噜狠狠狠7777奇米 | 无码人妻av免费一区二区三区 | 久久久久99精品国产片 | 成人毛片一区二区 | 亚洲精品午夜国产va久久成人 | 国产人成高清在线视频99最全资源 | 露脸叫床粗话东北少妇 | 牲欲强的熟妇农村老妇女 | 日本熟妇大屁股人妻 | 国产精品国产自线拍免费软件 | 色情久久久av熟女人妻网站 | 欧美35页视频在线观看 | 无码av最新清无码专区吞精 | 麻豆精产国品 | 熟女俱乐部五十路六十路av | 性欧美牲交在线视频 | 丁香花在线影院观看在线播放 | 色婷婷av一区二区三区之红樱桃 | 久久综合色之久久综合 | 亚洲国产高清在线观看视频 | 亚洲aⅴ无码成人网站国产app | 亚洲天堂2017无码 | 给我免费的视频在线观看 | 国产性生交xxxxx无码 | 久久久亚洲欧洲日产国码αv | 国产精品高潮呻吟av久久4虎 | 成人免费视频一区二区 | 99久久精品无码一区二区毛片 | 人妻熟女一区 | 亚洲日韩一区二区三区 | 亚洲欧美日韩国产精品一区二区 | 狠狠亚洲超碰狼人久久 | 天堂久久天堂av色综合 | 国产精品国产三级国产专播 | 亚洲精品一区二区三区婷婷月 | 无码av中文字幕免费放 | 熟女少妇在线视频播放 | 精品一区二区不卡无码av | 人人妻人人藻人人爽欧美一区 | 国产欧美熟妇另类久久久 | 好男人社区资源 | 中文字幕无码日韩欧毛 | 九九综合va免费看 | 又湿又紧又大又爽a视频国产 | 黑森林福利视频导航 | 欧美性生交xxxxx久久久 | 亚洲国产日韩a在线播放 | 欧美一区二区三区视频在线观看 | 东京一本一道一二三区 | 色欲av亚洲一区无码少妇 | 国产亚洲精品久久久久久国模美 | 日日噜噜噜噜夜夜爽亚洲精品 | 国产精品福利视频导航 | 18禁黄网站男男禁片免费观看 | 久久久精品成人免费观看 | 免费人成在线观看网站 | 99久久人妻精品免费二区 | 免费看男女做好爽好硬视频 | 国内精品久久毛片一区二区 | 伊在人天堂亚洲香蕉精品区 | 亲嘴扒胸摸屁股激烈网站 | 中文字幕无码免费久久9一区9 | 51国偷自产一区二区三区 | 亚欧洲精品在线视频免费观看 | 日本精品人妻无码免费大全 | 青青久在线视频免费观看 | 国产免费无码一区二区视频 | 欧美性黑人极品hd | 亚洲国产精品一区二区第一页 | 成人精品一区二区三区中文字幕 | 午夜精品久久久久久久久 | 蜜桃视频韩日免费播放 | 露脸叫床粗话东北少妇 | 99久久久国产精品无码免费 | 欧美 丝袜 自拍 制服 另类 | 鲁鲁鲁爽爽爽在线视频观看 | 国产无遮挡吃胸膜奶免费看 | 国产熟女一区二区三区四区五区 | 国语精品一区二区三区 | 极品尤物被啪到呻吟喷水 | 熟妇女人妻丰满少妇中文字幕 | 俺去俺来也www色官网 | 人妻少妇精品无码专区二区 | 呦交小u女精品视频 | 久久精品中文字幕一区 | 人妻夜夜爽天天爽三区 | 国产精品人人妻人人爽 | 国内丰满熟女出轨videos | 亚洲 欧美 激情 小说 另类 | 亲嘴扒胸摸屁股激烈网站 | 露脸叫床粗话东北少妇 | 色婷婷香蕉在线一区二区 | 日韩视频 中文字幕 视频一区 | 影音先锋中文字幕无码 | 中文无码精品a∨在线观看不卡 | 精品偷拍一区二区三区在线看 | 波多野结衣av一区二区全免费观看 | 2019午夜福利不卡片在线 | 激情五月综合色婷婷一区二区 | 国产午夜亚洲精品不卡下载 | 高清无码午夜福利视频 | 国产真人无遮挡作爱免费视频 | 国产xxx69麻豆国语对白 | 樱花草在线播放免费中文 | 青青久在线视频免费观看 | 老司机亚洲精品影院无码 | 老熟女重囗味hdxx69 | 成人免费无码大片a毛片 | 亚洲小说春色综合另类 | 成人试看120秒体验区 | 在线 国产 欧美 亚洲 天堂 | 国产精品国产自线拍免费软件 | 麻豆精品国产精华精华液好用吗 | 在线播放亚洲第一字幕 | 日本丰满护士爆乳xxxx | 欧洲vodafone精品性 | 日韩在线不卡免费视频一区 | 亚洲区小说区激情区图片区 | 美女毛片一区二区三区四区 | 亚洲人交乣女bbw | 国产乱子伦视频在线播放 | 国产精品久久久 | 国产无套内射久久久国产 | 中文字幕 人妻熟女 | 中文字幕人妻无码一夲道 | 国产精品va在线观看无码 | 内射欧美老妇wbb | 欧美怡红院免费全部视频 | 狠狠色噜噜狠狠狠7777奇米 | 国产激情艳情在线看视频 | 国产性生交xxxxx无码 | 日日麻批免费40分钟无码 | 综合激情五月综合激情五月激情1 | 中文字幕日韩精品一区二区三区 | 在线观看免费人成视频 | 又色又爽又黄的美女裸体网站 | 一本色道久久综合狠狠躁 | 国产精品亚洲综合色区韩国 | 国产卡一卡二卡三 | 国产av无码专区亚洲a∨毛片 | 又大又硬又黄的免费视频 | 蜜桃视频韩日免费播放 | 精品国产一区二区三区四区 | 国产日产欧产精品精品app | 久久精品99久久香蕉国产色戒 | 国产精品免费大片 | 日本www一道久久久免费榴莲 | 亚洲色www成人永久网址 | 国产熟妇另类久久久久 | 国产又爽又猛又粗的视频a片 | 中文字幕精品av一区二区五区 | 国产精品18久久久久久麻辣 | 亚洲人成网站色7799 | 久久精品国产99久久6动漫 | 欧美日韩一区二区综合 | 未满成年国产在线观看 | 日产精品高潮呻吟av久久 | 1000部啪啪未满十八勿入下载 | 九九在线中文字幕无码 | 无码人妻丰满熟妇区毛片18 | 在线a亚洲视频播放在线观看 | 狠狠色色综合网站 | 好男人社区资源 | 色婷婷综合激情综在线播放 | 国产精品久久精品三级 | 伊人色综合久久天天小片 | 久久99精品久久久久婷婷 | 国产精品无码成人午夜电影 | 国产在线一区二区三区四区五区 | 天天摸天天透天天添 | 精品亚洲韩国一区二区三区 | 精品久久久无码人妻字幂 | 麻花豆传媒剧国产免费mv在线 | 国产精品久久久久久久9999 | 色综合久久久久综合一本到桃花网 | 欧美亚洲日韩国产人成在线播放 | 国产欧美熟妇另类久久久 | 精品无人国产偷自产在线 | 久久精品人人做人人综合 | 亚洲 高清 成人 动漫 | 亚洲aⅴ无码成人网站国产app | 亚洲国产成人av在线观看 | 国产乱人伦偷精品视频 | 成人无码视频在线观看网站 | 丰满人妻被黑人猛烈进入 | 亚洲午夜福利在线观看 | 久久久久久av无码免费看大片 | 内射白嫩少妇超碰 | 久久99精品久久久久久动态图 | 天天躁夜夜躁狠狠是什么心态 | 亚洲毛片av日韩av无码 | 日韩精品无码一区二区中文字幕 | 精品国产精品久久一区免费式 | 国产内射爽爽大片视频社区在线 | 嫩b人妻精品一区二区三区 | 欧美性生交xxxxx久久久 | 少妇人妻偷人精品无码视频 | 精品久久8x国产免费观看 | 久久亚洲精品成人无码 | 无码国产色欲xxxxx视频 | 日本肉体xxxx裸交 | 欧洲美熟女乱又伦 | 国产在线一区二区三区四区五区 | 午夜丰满少妇性开放视频 | 中文字幕精品av一区二区五区 | 久久久久久av无码免费看大片 | 狂野欧美激情性xxxx | 中文字幕无码免费久久9一区9 | 国产在线精品一区二区三区直播 | 国产精品无套呻吟在线 | 亚洲欧美中文字幕5发布 | 国产午夜精品一区二区三区嫩草 | www国产精品内射老师 | 亚洲精品一区二区三区大桥未久 | 波多野结衣高清一区二区三区 | 国产成人久久精品流白浆 | 老太婆性杂交欧美肥老太 | 亚洲一区二区三区偷拍女厕 | 国产精品人人妻人人爽 | 免费看少妇作爱视频 | 亚洲人成无码网www | 沈阳熟女露脸对白视频 | 久久久久久九九精品久 | 爆乳一区二区三区无码 | 午夜无码区在线观看 | a国产一区二区免费入口 | 久久久www成人免费毛片 | 日日碰狠狠躁久久躁蜜桃 | 国产办公室秘书无码精品99 | 欧美日本日韩 | 成熟女人特级毛片www免费 | 久久精品国产一区二区三区肥胖 | 日韩av无码一区二区三区 | 精品国产福利一区二区 | 四虎国产精品免费久久 | 亚洲色欲色欲欲www在线 | 久久久av男人的天堂 | 亚洲欧美国产精品久久 | 精品人妻人人做人人爽夜夜爽 | 亚洲欧美精品伊人久久 | 国产卡一卡二卡三 | 九九久久精品国产免费看小说 | 中文字幕无码视频专区 | 精品国产成人一区二区三区 | 高潮毛片无遮挡高清免费视频 | 国产亚洲欧美日韩亚洲中文色 | 99久久精品无码一区二区毛片 | 领导边摸边吃奶边做爽在线观看 | 2019nv天堂香蕉在线观看 | 国产免费久久精品国产传媒 | 国内精品九九久久久精品 | 国产精品亚洲专区无码不卡 | 国产精品二区一区二区aⅴ污介绍 | 亚洲色偷偷男人的天堂 | 西西人体www44rt大胆高清 | 东京热无码av男人的天堂 | 熟女少妇人妻中文字幕 | 水蜜桃色314在线观看 |