久久精品国产精品国产精品污,男人扒开添女人下部免费视频,一级国产69式性姿势免费视频,夜鲁夜鲁很鲁在线视频 视频,欧美丰满少妇一区二区三区,国产偷国产偷亚洲高清人乐享,中文 在线 日韩 亚洲 欧美,熟妇人妻无乱码中文字幕真矢织江,一区二区三区人妻制服国产

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

马士兵 jvm调优

發布時間:2023/12/15 编程问答 35 豆豆
生活随笔 收集整理的這篇文章主要介紹了 马士兵 jvm调优 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

GC和GC Tuning

作者:馬士兵教育 http://mashibing.com

GC的基礎知識

1.什么是垃圾

C語言申請內存:malloc free

C++: new delete

c/C++ 手動回收內存

Java: new ?

自動內存回收,編程上簡單,系統不容易出錯,手動釋放內存,容易出兩種類型的問題:

  • 忘記回收
  • 多次回收
  • 沒有任何引用指向的一個對象或者多個對象(循環引用)

    2.如何定位垃圾

  • 引用計數(ReferenceCount)
  • 根可達算法(RootSearching)
  • 3.常見的垃圾回收算法

  • 標記清除(mark sweep) - 位置不連續 產生碎片 效率偏低(兩遍掃描)
  • 拷貝算法 (copying) - 沒有碎片,浪費空間
  • 標記壓縮(mark compact) - 沒有碎片,效率偏低(兩遍掃描,指針需要調整)
  • 4.JVM內存分代模型(用于分代垃圾回收算法)

  • 部分垃圾回收器使用的模型

    除Epsilon ZGC Shenandoah之外的GC都是使用邏輯分代模型

    G1是邏輯分代,物理不分代

    除此之外不僅邏輯分代,而且物理分代

  • 新生代 + 老年代 + 永久代(1.7)Perm Generation/ 元數據區(1.8) Metaspace

  • 永久代 元數據 - Class
  • 永久代必須指定大小限制 ,元數據可以設置,也可以不設置,無上限(受限于物理內存)
  • 字符串常量 1.7 - 永久代,1.8 - 堆
  • MethodArea邏輯概念 - 永久代、元數據
  • 新生代 = Eden + 2個suvivor區

  • YGC回收之后,大多數的對象會被回收,活著的進入s0
  • 再次YGC,活著的對象eden + s0 -> s1
  • 再次YGC,eden + s1 -> s0
  • 年齡足夠 -> 老年代 (15 CMS 6)
  • s區裝不下 -> 老年代
  • 老年代

  • 頑固分子
  • 老年代滿了FGC Full GC
  • GC Tuning (Generation)

  • 盡量減少FGC
  • MinorGC = YGC
  • MajorGC = FGC
  • 對象分配過程圖
    [外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-suj2fBed-1597918507248)(對象分配過程詳解.png)]

  • 動態年齡:(不重要)
    https://www.jianshu.com/p/989d3b06a49d

  • 分配擔保:(不重要)
    YGC期間 survivor區空間不夠了 空間擔保直接進入老年代
    參考:https://cloud.tencent.com/developer/article/1082730

  • 5.常見的垃圾回收器

    [外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-0Pl9cxAn-1597918507250)(常用垃圾回收器.png)]

  • 垃圾回收器的發展路線,是隨著內存越來越大的過程而演進
    從分代算法演化到不分代算法
    Serial算法 幾十兆
    Parallel算法 幾個G
    CMS 幾十個G - 承上啟下,開始并發回收 -
    .- 三色標記 -
  • JDK誕生 Serial追隨 提高效率,誕生了PS,為了配合CMS,誕生了PN,CMS是1.4版本后期引入,CMS是里程碑式的GC,它開啟了并發回收的過程,但是CMS毛病較多,因此目前任何一個JDK版本默認是CMS
    并發垃圾回收是因為無法忍受STW
  • Serial 年輕代 串行回收
  • PS 年輕代 并行回收
  • ParNew 年輕代 配合CMS的并行回收
  • SerialOld
  • ParallelOld
  • ConcurrentMarkSweep 老年代 并發的, 垃圾回收和應用程序同時運行,降低STW的時間(200ms)
    CMS問題比較多,所以現在沒有一個版本默認是CMS,只能手工指定
    CMS既然是MarkSweep,就一定會有碎片化的問題,碎片到達一定程度,CMS的老年代分配對象分配不下的時候,使用SerialOld 進行老年代回收
    想象一下:
    PS + PO -> 加內存 換垃圾回收器 -> PN + CMS + SerialOld(幾個小時 - 幾天的STW)
    幾十個G的內存,單線程回收 -> G1 + FGC 幾十個G -> 上T內存的服務器 ZGC
    算法:三色標記 + Incremental Update
  • G1(200ms - 10ms)
    算法:三色標記 + SATB
  • ZGC (10ms - 1ms) PK C++
    算法:ColoredPointers + LoadBarrier
  • Shenandoah
    算法:ColoredPointers + WriteBarrier
  • Eplison
  • PS 和 PN區別的延伸閱讀:
    ?https://docs.oracle.com/en/java/javase/13/gctuning/ergonomics.html#GUID-3D0BB91E-9BFF-4EBB-B523-14493A860E73
  • 垃圾收集器跟內存大小的關系
  • Serial 幾十兆
  • PS 上百兆 - 幾個G
  • CMS - 20G
  • G1 - 上百G
  • ZGC - 4T - 16T(JDK13)
  • 1.8默認的垃圾回收:PS + ParallelOld

    常見垃圾回收器組合參數設定:(1.8)

    • -XX:+UseSerialGC = Serial New (DefNew) + Serial Old

      • 小型程序。默認情況下不會是這種選項,HotSpot會根據計算及配置和JDK版本自動選擇收集器
    • -XX:+UseParNewGC = ParNew + SerialOld

      • 這個組合已經很少用(在某些版本中已經廢棄)
      • https://stackoverflow.com/questions/34962257/why-remove-support-for-parnewserialold-anddefnewcms-in-the-future
    • -XX:+UseConc(urrent)MarkSweepGC = ParNew + CMS + Serial Old

    • -XX:+UseParallelGC = Parallel Scavenge + Parallel Old (1.8默認) 【PS + SerialOld】

    • -XX:+UseParallelOldGC = Parallel Scavenge + Parallel Old

    • -XX:+UseG1GC = G1

    • Linux中沒找到默認GC的查看方法,而windows中會打印UseParallelGC

      • java +XX:+PrintCommandLineFlags -version
      • 通過GC的日志來分辨
    • Linux下1.8版本默認的垃圾回收器到底是什么?

      • 1.8.0_181 默認(看不出來)Copy MarkCompact
      • 1.8.0_222 默認 PS + PO

    JVM調優第一步,了解JVM常用命令行參數

    • JVM的命令行參數參考:https://docs.oracle.com/javase/8/docs/technotes/tools/unix/java.html

    • HotSpot參數分類

      標準: - 開頭,所有的HotSpot都支持

      非標準:-X 開頭,特定版本HotSpot支持特定命令

      不穩定:-XX 開頭,下個版本可能取消

      java -version

      java -X

      java -XX:+PrintFlagsWithComments //只有debug版本能用

      試驗用程序:

      <span style="color:#000000"><span style="background-color:#282c34"><code class="language-java"><span style="color:#c678dd">import</span> java<span style="color:#999999">.</span>util<span style="color:#999999">.</span>List<span style="color:#999999">;</span> <span style="color:#c678dd">import</span> java<span style="color:#999999">.</span>util<span style="color:#999999">.</span>LinkedList<span style="color:#999999">;</span><span style="color:#c678dd">public</span> <span style="color:#c678dd">class</span> HelloGC <span style="color:#999999">{</span><span style="color:#c678dd">public</span> <span style="color:#c678dd">static</span> <span style="color:#c678dd">void</span> <span style="color:#61aeee">main</span><span style="color:#999999">(</span>String<span style="color:#999999">[</span><span style="color:#999999">]</span> args<span style="color:#999999">)</span> <span style="color:#999999">{</span>System<span style="color:#999999">.</span>out<span style="color:#999999">.</span><span style="color:#61aeee">println</span><span style="color:#999999">(</span><span style="color:#669900">"HelloGC!"</span><span style="color:#999999">)</span><span style="color:#999999">;</span>List list <span style="color:#669900">=</span> <span style="color:#c678dd">new</span> LinkedList<span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#c678dd">for</span><span style="color:#999999">(</span><span style="color:#999999">;</span><span style="color:#999999">;</span><span style="color:#999999">)</span> <span style="color:#999999">{</span><span style="color:#c678dd">byte</span><span style="color:#999999">[</span><span style="color:#999999">]</span> b <span style="color:#669900">=</span> <span style="color:#c678dd">new</span> byte<span style="color:#999999">[</span><span style="color:#98c379">1024</span><span style="color:#669900">*</span><span style="color:#98c379">1024</span><span style="color:#999999">]</span><span style="color:#999999">;</span>list<span style="color:#999999">.</span><span style="color:#61aeee">add</span><span style="color:#999999">(</span>b<span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#999999">}</span><span style="color:#999999">}</span> </code></span></span>
      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12

    }

    <span style="color:#000000"><span style="background-color:#282c34"><code>1. 區分概念:內存泄漏memory leak,內存溢出out of memory 2. java -XX:+PrintCommandLineFlags HelloGC 3. java -Xmn10M -Xms40M -Xmx60M -XX:+PrintCommandLineFlags -XX:+PrintGC HelloGCPrintGCDetails PrintGCTimeStamps PrintGCCauses 4. java -XX:+UseConcMarkSweepGC -XX:+PrintCommandLineFlags HelloGC 5. java -XX:+PrintFlagsInitial 默認參數值 6. java -XX:+PrintFlagsFinal 最終參數值 7. java -XX:+PrintFlagsFinal | grep xxx 找到對應的參數 8. java -XX:+PrintFlagsFinal -version |grep GC 9. java -XX:+PrintFlagsFinal -version | wc -l 共728個參數### PS GC日志詳解每種垃圾回收器的日志格式是不同的!PS日志格式[外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-7Rc34d7R-1597918507250)(./GC日志詳解.png)]heap dump部分:```java eden space 5632K, 94% used [0x00000000ff980000,0x00000000ffeb3e28,0x00000000fff00000)后面的內存地址指的是,起始地址,使用空間結束地址,整體空間結束地址 </code></span></span>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28

    [外鏈圖片轉存失敗,源站可能有防盜鏈機制,建議將圖片保存下來直接上傳(img-oFKjgwrX-1597918507252)(GCHeapDump.png)]

    total = eden + 1個survivor

    調優前的基礎概念:

  • 吞吐量:用戶代碼時間 /(用戶代碼執行時間 + 垃圾回收時間)
  • 響應時間:STW越短,響應時間越好
  • 所謂調優,首先確定,追求啥?吞吐量優先,還是響應時間優先?還是在滿足一定的響應時間的情況下,要求達到多大的吞吐量…

    問題:

    科學計算,吞吐量。數據挖掘,thrput。吞吐量優先的一般:(PS + PO)

    響應時間:網站 GUI API (1.8 G1)

    什么是調優?

  • 根據需求進行JVM規劃和預調優
  • 優化運行JVM運行環境(慢,卡頓)
  • 解決JVM運行過程中出現的各種問題(OOM)
  • 調優,從規劃開始

    • 調優,從業務場景開始,沒有業務場景的調優都是耍流氓

    • 無監控(壓力測試,能看到結果),不調優

    • 步驟:

    • 熟悉業務場景(沒有最好的垃圾回收器,只有最合適的垃圾回收器)
    • 響應時間、停頓時間 [CMS G1 ZGC] (需要給用戶作響應)
    • 吞吐量 = 用戶時間 /( 用戶時間 + GC時間) [PS]
    • 選擇回收器組合
    • 計算內存需求(經驗值 1.5G 16G)
    • 選定CPU(越高越好)
    • 設定年代大小、升級年齡
    • 設定日志參數
    • -Xloggc:/opt/xxx/logs/xxx-xxx-gc-%t.log -XX:+UseGCLogFileRotation -XX:NumberOfGCLogFiles=5 -XX:GCLogFileSize=20M -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+PrintGCCause
    • 或者每天產生一個日志文件
    • 觀察日志情況
    • 案例1:垂直電商,最高每日百萬訂單,處理訂單系統需要什么樣的服務器配置?

      這個問題比較業余,因為很多不同的服務器配置都能支撐(1.5G 16G)

      1小時360000集中時間段, 100個訂單/秒,(找一小時內的高峰期,1000訂單/秒)

      經驗值,

      非要計算:一個訂單產生需要多少內存?512K * 1000 500M內存

      專業一點兒問法:要求響應時間100ms

      壓測!

    • 案例2:12306遭遇春節大規模搶票應該如何支撐?

      12306應該是中國并發量最大的秒殺網站:

      號稱并發量100W最高

      CDN -> LVS -> NGINX -> 業務系統 -> 每臺機器1W并發(10K問題) 100臺機器

      普通電商訂單 -> 下單 ->訂單系統(IO)減庫存 ->等待用戶付款

      12306的一種可能的模型: 下單 -> 減庫存 和 訂單(redis kafka) 同時異步進行 ->等付款

      減庫存最后還會把壓力壓到一臺服務器

      可以做分布式本地庫存 + 單獨服務器做庫存均衡

      大流量的處理方法:分而治之

    • 怎么得到一個事務會消耗多少內存?

    • 弄臺機器,看能承受多少TPS?是不是達到目標?擴容或調優,讓它達到

    • 用壓測來確定

    優化環境

  • 有一個50萬PV的資料類網站(從磁盤提取文檔到內存)原服務器32位,1.5G
    的堆,用戶反饋網站比較緩慢,因此公司決定升級,新的服務器為64位,16G
    的堆內存,結果用戶反饋卡頓十分嚴重,反而比以前效率更低了
  • 為什么原網站慢?
    很多用戶瀏覽數據,很多數據load到內存,內存不足,頻繁GC,STW長,響應時間變慢
  • 為什么會更卡頓?
    內存越大,FGC時間越長
  • 咋辦?
    PS -> PN + CMS 或者 G1
  • 系統CPU經常100%,如何調優?(面試高頻)
    CPU100%那么一定有線程在占用系統資源,
  • 找出哪個進程cpu高(top)
  • 該進程中的哪個線程cpu高(top -Hp)
  • 導出該線程的堆棧 (jstack)
  • 查找哪個方法(棧幀)消耗時間 (jstack)
  • 工作線程占比高 | 垃圾回收線程占比高
  • 系統內存飆高,如何查找問題?(面試高頻)
  • 導出堆內存 (jmap)
  • 分析 (jhat jvisualvm mat jprofiler … )
  • 如何監控JVM
  • jstat jvisualvm jprofiler arthas top…
  • 解決JVM運行中的問題

    一個案例理解常用工具

  • 測試代碼:

    <span style="color:#000000"><span style="background-color:#282c34"><code class="language-java"><span style="color:#c678dd">package</span> com<span style="color:#999999">.</span>mashibing<span style="color:#999999">.</span>jvm<span style="color:#999999">.</span>gc<span style="color:#999999">;</span><span style="color:#c678dd">import</span> java<span style="color:#999999">.</span>math<span style="color:#999999">.</span>BigDecimal<span style="color:#999999">;</span> <span style="color:#c678dd">import</span> java<span style="color:#999999">.</span>util<span style="color:#999999">.</span>ArrayList<span style="color:#999999">;</span> <span style="color:#c678dd">import</span> java<span style="color:#999999">.</span>util<span style="color:#999999">.</span>Date<span style="color:#999999">;</span> <span style="color:#c678dd">import</span> java<span style="color:#999999">.</span>util<span style="color:#999999">.</span>List<span style="color:#999999">;</span> <span style="color:#c678dd">import</span> java<span style="color:#999999">.</span>util<span style="color:#999999">.</span>concurrent<span style="color:#999999">.</span>ScheduledThreadPoolExecutor<span style="color:#999999">;</span> <span style="color:#c678dd">import</span> java<span style="color:#999999">.</span>util<span style="color:#999999">.</span>concurrent<span style="color:#999999">.</span>ThreadPoolExecutor<span style="color:#999999">;</span> <span style="color:#c678dd">import</span> java<span style="color:#999999">.</span>util<span style="color:#999999">.</span>concurrent<span style="color:#999999">.</span>TimeUnit<span style="color:#999999">;</span><span style="color:#5c6370">/*** 從數據庫中讀取信用數據,套用模型,并把結果進行記錄和傳輸*/</span><span style="color:#c678dd">public</span> <span style="color:#c678dd">class</span> T15_FullGC_Problem01 <span style="color:#999999">{</span><span style="color:#c678dd">private</span> <span style="color:#c678dd">static</span> <span style="color:#c678dd">class</span> CardInfo <span style="color:#999999">{</span>BigDecimal price <span style="color:#669900">=</span> <span style="color:#c678dd">new</span> BigDecimal<span style="color:#999999">(</span><span style="color:#98c379">0.0</span><span style="color:#999999">)</span><span style="color:#999999">;</span>String name <span style="color:#669900">=</span> <span style="color:#669900">"張三"</span><span style="color:#999999">;</span><span style="color:#c678dd">int</span> age <span style="color:#669900">=</span> <span style="color:#98c379">5</span><span style="color:#999999">;</span>Date birthdate <span style="color:#669900">=</span> <span style="color:#c678dd">new</span> Date<span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#c678dd">public</span> <span style="color:#c678dd">void</span> <span style="color:#61aeee">m</span><span style="color:#999999">(</span><span style="color:#999999">)</span> <span style="color:#999999">{</span><span style="color:#999999">}</span><span style="color:#999999">}</span><span style="color:#c678dd">private</span> <span style="color:#c678dd">static</span> ScheduledThreadPoolExecutor executor <span style="color:#669900">=</span> <span style="color:#c678dd">new</span> ScheduledThreadPoolExecutor<span style="color:#999999">(</span><span style="color:#98c379">50</span><span style="color:#999999">,</span><span style="color:#c678dd">new</span> ThreadPoolExecutor<span style="color:#999999">.</span>DiscardOldestPolicy<span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#c678dd">public</span> <span style="color:#c678dd">static</span> <span style="color:#c678dd">void</span> <span style="color:#61aeee">main</span><span style="color:#999999">(</span>String<span style="color:#999999">[</span><span style="color:#999999">]</span> args<span style="color:#999999">)</span> <span style="color:#c678dd">throws</span> Exception <span style="color:#999999">{</span>executor<span style="color:#999999">.</span><span style="color:#61aeee">setMaximumPoolSize</span><span style="color:#999999">(</span><span style="color:#98c379">50</span><span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#c678dd">for</span> <span style="color:#999999">(</span><span style="color:#999999">;</span><span style="color:#999999">;</span><span style="color:#999999">)</span><span style="color:#999999">{</span><span style="color:#61aeee">modelFit</span><span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">;</span>Thread<span style="color:#999999">.</span><span style="color:#61aeee">sleep</span><span style="color:#999999">(</span><span style="color:#98c379">100</span><span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#999999">}</span><span style="color:#999999">}</span><span style="color:#c678dd">private</span> <span style="color:#c678dd">static</span> <span style="color:#c678dd">void</span> <span style="color:#61aeee">modelFit</span><span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">{</span>List<span style="color:#61aeee"><span style="color:#999999"><</span>CardInfo<span style="color:#999999">></span></span> taskList <span style="color:#669900">=</span> <span style="color:#61aeee">getAllCardInfo</span><span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">;</span>taskList<span style="color:#999999">.</span><span style="color:#61aeee">forEach</span><span style="color:#999999">(</span>info <span style="color:#669900">-</span><span style="color:#669900">></span> <span style="color:#999999">{</span><span style="color:#5c6370">// do something</span>executor<span style="color:#999999">.</span><span style="color:#61aeee">scheduleWithFixedDelay</span><span style="color:#999999">(</span><span style="color:#999999">(</span><span style="color:#999999">)</span> <span style="color:#669900">-</span><span style="color:#669900">></span> <span style="color:#999999">{</span><span style="color:#5c6370">//do sth with info</span>info<span style="color:#999999">.</span><span style="color:#61aeee">m</span><span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#999999">}</span><span style="color:#999999">,</span> <span style="color:#98c379">2</span><span style="color:#999999">,</span> <span style="color:#98c379">3</span><span style="color:#999999">,</span> TimeUnit<span style="color:#999999">.</span>SECONDS<span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#999999">}</span><span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#999999">}</span><span style="color:#c678dd">private</span> <span style="color:#c678dd">static</span> List<span style="color:#61aeee"><span style="color:#999999"><</span>CardInfo<span style="color:#999999">></span></span> <span style="color:#61aeee">getAllCardInfo</span><span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">{</span>List<span style="color:#61aeee"><span style="color:#999999"><</span>CardInfo<span style="color:#999999">></span></span> taskList <span style="color:#669900">=</span> <span style="color:#c678dd">new</span> ArrayList<span style="color:#669900"><</span><span style="color:#669900">></span><span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#c678dd">for</span> <span style="color:#999999">(</span><span style="color:#c678dd">int</span> i <span style="color:#669900">=</span> <span style="color:#98c379">0</span><span style="color:#999999">;</span> i <span style="color:#669900"><</span> <span style="color:#98c379">100</span><span style="color:#999999">;</span> i<span style="color:#669900">++</span><span style="color:#999999">)</span> <span style="color:#999999">{</span>CardInfo ci <span style="color:#669900">=</span> <span style="color:#c678dd">new</span> CardInfo<span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">;</span>taskList<span style="color:#999999">.</span><span style="color:#61aeee">add</span><span style="color:#999999">(</span>ci<span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#999999">}</span><span style="color:#c678dd">return</span> taskList<span style="color:#999999">;</span><span style="color:#999999">}</span> <span style="color:#999999">}</span></code></span></span>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
  • java -Xms200M -Xmx200M -XX:+PrintGC com.mashibing.jvm.gc.T15_FullGC_Problem01

  • 一般是運維團隊首先受到報警信息(CPU Memory)

  • top命令觀察到問題:內存不斷增長 CPU占用率居高不下

  • top -Hp 觀察進程中的線程,哪個線程CPU和內存占比高

  • jps定位具體java進程
    jstack 定位線程狀況,重點關注:WAITING BLOCKED
    eg.
    waiting on <0x0000000088ca3310> (a java.lang.Object)
    假如有一個進程中100個線程,很多線程都在waiting on ,一定要找到是哪個線程持有這把鎖
    怎么找?搜索jstack dump的信息,找 ,看哪個線程持有這把鎖RUNNABLE
    作業:1:寫一個死鎖程序,用jstack觀察 2 :寫一個程序,一個線程持有鎖不釋放,其他線程等待

  • 為什么阿里規范里規定,線程的名稱(尤其是線程池)都要寫有意義的名稱
    怎么樣自定義線程池里的線程名稱?(自定義ThreadFactory)

  • jinfo pid

  • jstat -gc 動態觀察gc情況 / 閱讀GC日志發現頻繁GC / arthas觀察 / jconsole/jvisualVM/ Jprofiler(最好用)
    jstat -gc 4655 500 : 每個500個毫秒打印GC的情況
    如果面試官問你是怎么定位OOM問題的?如果你回答用圖形界面(錯誤)
    1:已經上線的系統不用圖形界面用什么?(cmdline arthas)
    2:圖形界面到底用在什么地方?測試!測試的時候進行監控!(壓測觀察)

  • jmap - histo 4655 | head -20,查找有多少對象產生

  • jmap -dump:format=b,file=xxx pid :

    線上系統,內存特別大,jmap執行期間會對進程產生很大影響,甚至卡頓(電商不適合)
    1:設定了參數HeapDump,OOM的時候會自動產生堆轉儲文件(不是很專業,因為多有監控,內存增長就會報警)
    2:很多服務器備份(高可用),停掉這臺服務器對其他服務器不影響
    3:在線定位(一般小點兒公司用不到)

    4:在測試環境中壓測(產生類似內存增長問題,在堆還不是很大的時候進行轉儲)

  • java -Xms20M -Xmx20M -XX:+UseParallelGC -XX:+HeapDumpOnOutOfMemoryError com.mashibing.jvm.gc.T15_FullGC_Problem01

  • 使用MAT / jhat /jvisualvm 進行dump文件分析
    https://www.cnblogs.com/baihuitestsoftware/articles/6406271.html
    jhat -J-mx512M xxx.dump
    http://192.168.17.11:7000
    拉到最后:找到對應鏈接
    可以使用OQL查找特定問題對象

  • 找到代碼的問題

  • jconsole遠程連接

  • 程序啟動加入參數:

    <span style="color:#000000"><span style="background-color:#282c34"><code class="language-shell">java -Djava.rmi.server.hostname<span style="color:#669900">=</span>192.168.17.11 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port<span style="color:#669900">=</span>11111 -Dcom.sun.management.jmxremote.authenticate<span style="color:#669900">=</span>false -Dcom.sun.management.jmxremote.ssl<span style="color:#669900">=</span>false XXX </code></span></span>
    • 1
  • 如果遭遇 Local host name unknown:XXX的錯誤,修改/etc/hosts文件,把XXX加入進去

    <span style="color:#000000"><span style="background-color:#282c34"><code class="language-java"><span style="color:#98c379">192.168</span><span style="color:#98c379">.17</span><span style="color:#98c379">.11</span> basic localhost localhost<span style="color:#999999">.</span>localdomain localhost4 localhost4<span style="color:#999999">.</span>localdomain4 <span style="color:#669900">:</span><span style="color:#669900">:</span><span style="color:#98c379">1</span> localhost localhost<span style="color:#999999">.</span>localdomain localhost6 localhost6<span style="color:#999999">.</span>localdomain6 </code></span></span>
    • 1
    • 2
  • 關閉linux防火墻(實戰中應該打開對應端口)

    <span style="color:#000000"><span style="background-color:#282c34"><code class="language-shell"><span style="color:#61aeee">service</span> iptables stop <span style="color:#61aeee">chkconfig</span> iptables off <span style="color:#5c6370">#永久關閉</span> </code></span></span>
    • 1
    • 2
  • windows上打開 jconsole遠程連接 192.168.17.11:11111

  • jvisualvm遠程連接

    https://www.cnblogs.com/liugh/p/7620336.html (簡單做法)

    jprofiler (收費)

    arthas在線排查工具

    • 為什么需要在線排查?
      在生產上我們經常會碰到一些不好排查的問題,例如線程安全問題,用最簡單的threaddump或者heapdump不好查到問題原因。為了排查這些問題,有時我們會臨時加一些日志,比如在一些關鍵的函數里打印出入參,然后重新打包發布,如果打了日志還是沒找到問題,繼續加日志,重新打包發布。對于上線流程復雜而且審核比較嚴的公司,從改代碼到上線需要層層的流轉,會大大影響問題排查的進度。
    • jvm觀察jvm信息
    • thread定位線程問題
    • dashboard 觀察系統情況
    • heapdump + jhat分析
    • jad反編譯
      動態代理生成類的問題定位
      第三方的類(觀察代碼)
      版本問題(確定自己最新提交的版本是不是被使用)
    • redefine 熱替換
      目前有些限制條件:只能改方法實現(方法已經運行完成),不能改方法名, 不能改屬性
      m() -> mm()
    • sc - search class
    • watch - watch method
    • 沒有包含的功能:jmap

    GC算法的基礎概念

    • Card Table
      由于做YGC時,需要掃描整個OLD區,效率非常低,所以JVM設計了CardTable, 如果一個OLD區CardTable中有對象指向Y區,就將它設為Dirty,下次掃描時,只需要掃描Dirty Card
      在結構上,Card Table用BitMap來實現

    CMS

    CMS的問題

  • Memory Fragmentation

    -XX:+UseCMSCompactAtFullCollection
    -XX:CMSFullGCsBeforeCompaction 默認為0 指的是經過多少次FGC才進行壓縮

  • Floating Garbage

    Concurrent Mode Failure
    產生:if the concurrent collector is unable to finish reclaiming the unreachable objects before the tenured generation fills up, or if an allocation cannot be satisfiedwith the available free space blocks in the tenured generation, then theapplication is paused and the collection is completed with all the applicationthreads stopped

    解決方案:降低觸發CMS的閾值

    PromotionFailed

    解決方案類似,保持老年代有足夠的空間

    –XX:CMSInitiatingOccupancyFraction 92% 可以降低這個值,讓CMS保持老年代足夠的空間

  • CMS日志分析

    執行命令:java -Xms20M -Xmx20M -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC com.mashibing.jvm.gc.T15_FullGC_Problem01

    [GC (Allocation Failure) [ParNew: 6144K->640K(6144K), 0.0265885 secs] 6585K->2770K(19840K), 0.0268035 secs] [Times: user=0.02 sys=0.00, real=0.02 secs]

    ParNew:年輕代收集器

    6144->640:收集前后的對比

    (6144):整個年輕代容量

    6585 -> 2770:整個堆的情況

    (19840):整個堆大小

    <span style="color:#000000"><span style="background-color:#282c34"><code class="language-java"><span style="color:#999999">[</span>GC <span style="color:#999999">(</span>CMS Initial Mark<span style="color:#999999">)</span> <span style="color:#999999">[</span><span style="color:#98c379">1</span> CMS<span style="color:#669900">-</span>initial<span style="color:#669900">-</span>mark<span style="color:#669900">:</span> <span style="color:#61aeee">8511K</span><span style="color:#999999">(</span><span style="color:#98c379">13696</span>K<span style="color:#999999">)</span><span style="color:#999999">]</span> <span style="color:#61aeee">9866K</span><span style="color:#999999">(</span><span style="color:#98c379">19840</span>K<span style="color:#999999">)</span><span style="color:#999999">,</span> <span style="color:#98c379">0.0040321</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.01</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> secs<span style="color:#999999">]</span> <span style="color:#5c6370">//8511 (13696) : 老年代使用(最大)</span><span style="color:#5c6370">//9866 (19840) : 整個堆使用(最大)</span> <span style="color:#999999">[</span>CMS<span style="color:#669900">-</span>concurrent<span style="color:#669900">-</span>mark<span style="color:#669900">-</span>start<span style="color:#999999">]</span> <span style="color:#999999">[</span>CMS<span style="color:#669900">-</span>concurrent<span style="color:#669900">-</span>mark<span style="color:#669900">:</span> <span style="color:#98c379">0.018</span><span style="color:#669900">/</span><span style="color:#98c379">0.018</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.01</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.02</span> secs<span style="color:#999999">]</span> <span style="color:#5c6370">//這里的時間意義不大,因為是并發執行</span> <span style="color:#999999">[</span>CMS<span style="color:#669900">-</span>concurrent<span style="color:#669900">-</span>preclean<span style="color:#669900">-</span>start<span style="color:#999999">]</span> <span style="color:#999999">[</span>CMS<span style="color:#669900">-</span>concurrent<span style="color:#669900">-</span>preclean<span style="color:#669900">:</span> <span style="color:#98c379">0.000</span><span style="color:#669900">/</span><span style="color:#98c379">0.000</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> secs<span style="color:#999999">]</span> <span style="color:#5c6370">//標記Card為Dirty,也稱為Card Marking</span> <span style="color:#999999">[</span>GC <span style="color:#999999">(</span>CMS Final Remark<span style="color:#999999">)</span> <span style="color:#999999">[</span>YG occupancy<span style="color:#669900">:</span> <span style="color:#98c379">1597</span> K <span style="color:#999999">(</span><span style="color:#98c379">6144</span> K<span style="color:#999999">)</span><span style="color:#999999">]</span><span style="color:#999999">[</span>Rescan <span style="color:#999999">(</span>parallel<span style="color:#999999">)</span> <span style="color:#999999">,</span> <span style="color:#98c379">0.0008396</span> secs<span style="color:#999999">]</span><span style="color:#999999">[</span>weak refs processing<span style="color:#999999">,</span> <span style="color:#98c379">0.0000138</span> secs<span style="color:#999999">]</span><span style="color:#999999">[</span><span style="color:#c678dd">class</span> unloading<span style="color:#999999">,</span> <span style="color:#98c379">0.0005404</span> secs<span style="color:#999999">]</span><span style="color:#999999">[</span>scrub symbol table<span style="color:#999999">,</span> <span style="color:#98c379">0.0006169</span> secs<span style="color:#999999">]</span><span style="color:#999999">[</span>scrub string table<span style="color:#999999">,</span> <span style="color:#98c379">0.0004903</span> secs<span style="color:#999999">]</span><span style="color:#999999">[</span><span style="color:#98c379">1</span> CMS<span style="color:#669900">-</span>remark<span style="color:#669900">:</span> <span style="color:#61aeee">8511K</span><span style="color:#999999">(</span><span style="color:#98c379">13696</span>K<span style="color:#999999">)</span><span style="color:#999999">]</span> <span style="color:#61aeee">10108K</span><span style="color:#999999">(</span><span style="color:#98c379">19840</span>K<span style="color:#999999">)</span><span style="color:#999999">,</span> <span style="color:#98c379">0.0039567</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> secs<span style="color:#999999">]</span> <span style="color:#5c6370">//STW階段,YG occupancy:年輕代占用及容量</span><span style="color:#5c6370">//[Rescan (parallel):STW下的存活對象標記</span><span style="color:#5c6370">//weak refs processing: 弱引用處理</span><span style="color:#5c6370">//class unloading: 卸載用不到的class</span><span style="color:#5c6370">//scrub symbol(string) table: </span><span style="color:#5c6370">//cleaning up symbol and string tables which hold class-level metadata and </span><span style="color:#5c6370">//internalized string respectively</span><span style="color:#5c6370">//CMS-remark: 8511K(13696K): 階段過后的老年代占用及容量</span><span style="color:#5c6370">//10108K(19840K): 階段過后的堆占用及容量</span><span style="color:#999999">[</span>CMS<span style="color:#669900">-</span>concurrent<span style="color:#669900">-</span>sweep<span style="color:#669900">-</span>start<span style="color:#999999">]</span> <span style="color:#999999">[</span>CMS<span style="color:#669900">-</span>concurrent<span style="color:#669900">-</span>sweep<span style="color:#669900">:</span> <span style="color:#98c379">0.005</span><span style="color:#669900">/</span><span style="color:#98c379">0.005</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.01</span> secs<span style="color:#999999">]</span> <span style="color:#5c6370">//標記已經完成,進行并發清理</span> <span style="color:#999999">[</span>CMS<span style="color:#669900">-</span>concurrent<span style="color:#669900">-</span>reset<span style="color:#669900">-</span>start<span style="color:#999999">]</span> <span style="color:#999999">[</span>CMS<span style="color:#669900">-</span>concurrent<span style="color:#669900">-</span>reset<span style="color:#669900">:</span> <span style="color:#98c379">0.000</span><span style="color:#669900">/</span><span style="color:#98c379">0.000</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> secs<span style="color:#999999">]</span><span style="color:#5c6370">//重置內部結構,為下次GC做準備</span> </code></span></span>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26

    G1

  • ?https://www.oracle.com/technical-resources/articles/java/g1gc.html
  • G1日志詳解

    <span style="color:#000000"><span style="background-color:#282c34"><code class="language-java"><span style="color:#999999">[</span>GC pause <span style="color:#999999">(</span>G1 Evacuation Pause<span style="color:#999999">)</span> <span style="color:#999999">(</span>young<span style="color:#999999">)</span> <span style="color:#999999">(</span>initial<span style="color:#669900">-</span>mark<span style="color:#999999">)</span><span style="color:#999999">,</span> <span style="color:#98c379">0.0015790</span> secs<span style="color:#999999">]</span> <span style="color:#5c6370">//young -> 年輕代 Evacuation-> 復制存活對象 </span> <span style="color:#5c6370">//initial-mark 混合回收的階段,這里是YGC混合老年代回收</span><span style="color:#999999">[</span>Parallel Time<span style="color:#669900">:</span> <span style="color:#98c379">1.5</span> ms<span style="color:#999999">,</span> GC Workers<span style="color:#669900">:</span> <span style="color:#98c379">1</span><span style="color:#999999">]</span> <span style="color:#5c6370">//一個GC線程</span><span style="color:#999999">[</span>GC Worker Start <span style="color:#999999">(</span>ms<span style="color:#999999">)</span><span style="color:#669900">:</span> <span style="color:#98c379">92635.7</span><span style="color:#999999">]</span><span style="color:#999999">[</span>Ext Root Scanning <span style="color:#999999">(</span>ms<span style="color:#999999">)</span><span style="color:#669900">:</span> <span style="color:#98c379">1.1</span><span style="color:#999999">]</span><span style="color:#999999">[</span>Update RS <span style="color:#999999">(</span>ms<span style="color:#999999">)</span><span style="color:#669900">:</span> <span style="color:#98c379">0.0</span><span style="color:#999999">]</span><span style="color:#999999">[</span>Processed Buffers<span style="color:#669900">:</span> <span style="color:#98c379">1</span><span style="color:#999999">]</span><span style="color:#999999">[</span>Scan RS <span style="color:#999999">(</span>ms<span style="color:#999999">)</span><span style="color:#669900">:</span> <span style="color:#98c379">0.0</span><span style="color:#999999">]</span><span style="color:#999999">[</span>Code Root Scanning <span style="color:#999999">(</span>ms<span style="color:#999999">)</span><span style="color:#669900">:</span> <span style="color:#98c379">0.0</span><span style="color:#999999">]</span><span style="color:#999999">[</span>Object Copy <span style="color:#999999">(</span>ms<span style="color:#999999">)</span><span style="color:#669900">:</span> <span style="color:#98c379">0.1</span><span style="color:#999999">]</span><span style="color:#999999">[</span>Termination <span style="color:#999999">(</span>ms<span style="color:#999999">)</span><span style="color:#669900">:</span> <span style="color:#98c379">0.0</span><span style="color:#999999">]</span><span style="color:#999999">[</span>Termination Attempts<span style="color:#669900">:</span> <span style="color:#98c379">1</span><span style="color:#999999">]</span><span style="color:#999999">[</span>GC Worker Other <span style="color:#999999">(</span>ms<span style="color:#999999">)</span><span style="color:#669900">:</span> <span style="color:#98c379">0.0</span><span style="color:#999999">]</span><span style="color:#999999">[</span>GC Worker Total <span style="color:#999999">(</span>ms<span style="color:#999999">)</span><span style="color:#669900">:</span> <span style="color:#98c379">1.2</span><span style="color:#999999">]</span><span style="color:#999999">[</span>GC Worker End <span style="color:#999999">(</span>ms<span style="color:#999999">)</span><span style="color:#669900">:</span> <span style="color:#98c379">92636.9</span><span style="color:#999999">]</span><span style="color:#999999">[</span>Code Root Fixup<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span> ms<span style="color:#999999">]</span><span style="color:#999999">[</span>Code Root Purge<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span> ms<span style="color:#999999">]</span><span style="color:#999999">[</span>Clear CT<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span> ms<span style="color:#999999">]</span><span style="color:#999999">[</span>Other<span style="color:#669900">:</span> <span style="color:#98c379">0.1</span> ms<span style="color:#999999">]</span><span style="color:#999999">[</span>Choose CSet<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span> ms<span style="color:#999999">]</span><span style="color:#999999">[</span>Ref Proc<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span> ms<span style="color:#999999">]</span><span style="color:#999999">[</span>Ref Enq<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span> ms<span style="color:#999999">]</span><span style="color:#999999">[</span>Redirty Cards<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span> ms<span style="color:#999999">]</span><span style="color:#999999">[</span>Humongous Register<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span> ms<span style="color:#999999">]</span><span style="color:#999999">[</span>Humongous Reclaim<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span> ms<span style="color:#999999">]</span><span style="color:#999999">[</span>Free CSet<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span> ms<span style="color:#999999">]</span><span style="color:#999999">[</span>Eden<span style="color:#669900">:</span> <span style="color:#98c379">0.</span><span style="color:#61aeee">0B</span><span style="color:#999999">(</span><span style="color:#98c379">1024.0</span>K<span style="color:#999999">)</span><span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#98c379">0.</span><span style="color:#61aeee">0B</span><span style="color:#999999">(</span><span style="color:#98c379">1024.0</span>K<span style="color:#999999">)</span> Survivors<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span>B<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#98c379">0.0</span>B Heap<span style="color:#669900">:</span> <span style="color:#98c379">18.</span><span style="color:#61aeee">8M</span><span style="color:#999999">(</span><span style="color:#98c379">20.0</span>M<span style="color:#999999">)</span><span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#98c379">18.</span><span style="color:#61aeee">8M</span><span style="color:#999999">(</span><span style="color:#98c379">20.0</span>M<span style="color:#999999">)</span><span style="color:#999999">]</span><span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> secs<span style="color:#999999">]</span> <span style="color:#5c6370">//以下是混合回收其他階段</span> <span style="color:#999999">[</span>GC concurrent<span style="color:#669900">-</span>root<span style="color:#669900">-</span>region<span style="color:#669900">-</span>scan<span style="color:#669900">-</span>start<span style="color:#999999">]</span> <span style="color:#999999">[</span>GC concurrent<span style="color:#669900">-</span>root<span style="color:#669900">-</span>region<span style="color:#669900">-</span>scan<span style="color:#669900">-</span>end<span style="color:#999999">,</span> <span style="color:#98c379">0.0000078</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>GC concurrent<span style="color:#669900">-</span>mark<span style="color:#669900">-</span>start<span style="color:#999999">]</span> <span style="color:#5c6370">//無法evacuation,進行FGC</span> <span style="color:#999999">[</span>Full GC <span style="color:#999999">(</span>Allocation Failure<span style="color:#999999">)</span> <span style="color:#98c379">18</span>M<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">18M</span><span style="color:#999999">(</span><span style="color:#98c379">20</span>M<span style="color:#999999">)</span><span style="color:#999999">,</span> <span style="color:#98c379">0.0719656</span> secs<span style="color:#999999">]</span><span style="color:#999999">[</span>Eden<span style="color:#669900">:</span> <span style="color:#98c379">0.</span><span style="color:#61aeee">0B</span><span style="color:#999999">(</span><span style="color:#98c379">1024.0</span>K<span style="color:#999999">)</span><span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#98c379">0.</span><span style="color:#61aeee">0B</span><span style="color:#999999">(</span><span style="color:#98c379">1024.0</span>K<span style="color:#999999">)</span> Survivors<span style="color:#669900">:</span> <span style="color:#98c379">0.0</span>B<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#98c379">0.0</span>B Heap<span style="color:#669900">:</span> <span style="color:#98c379">18.</span><span style="color:#61aeee">8M</span><span style="color:#999999">(</span><span style="color:#98c379">20.0</span>M<span style="color:#999999">)</span><span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#98c379">18.</span><span style="color:#61aeee">8M</span><span style="color:#999999">(</span><span style="color:#98c379">20.0</span>M<span style="color:#999999">)</span><span style="color:#999999">]</span><span style="color:#999999">,</span> <span style="color:#999999">[</span>Metaspace<span style="color:#669900">:</span> <span style="color:#98c379">38</span> <span style="color:#98c379">76</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">3876K</span><span style="color:#999999">(</span><span style="color:#98c379">1056768</span>K<span style="color:#999999">)</span><span style="color:#999999">]</span> <span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.07</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.07</span> secs<span style="color:#999999">]</span></code></span></span>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38

    案例匯總

    OOM產生的原因多種多樣,有些程序未必產生OOM,不斷FGC(CPU飆高,但內存回收特別少) (上面案例)

  • 硬件升級系統反而卡頓的問題(見上)

  • 線程池不當運用產生OOM問題(見上)
    不斷的往List里加對象(實在太LOW)

  • smile jira問題
    實際系統不斷重啟
    解決問題 加內存 + 更換垃圾回收器 G1
    真正問題在哪兒?不知道

  • tomcat http-header-size過大問題(Hector)

  • lambda表達式導致方法區溢出問題(MethodArea / Perm Metaspace)
    LambdaGC.java -XX:MaxMetaspaceSize=9M -XX:+PrintGCDetails

    <span style="color:#000000"><span style="background-color:#282c34"><code class="language-java"><span style="color:#669900">"C:\Program Files\Java\jdk1.8.0_181\bin\java.exe"</span> <span style="color:#669900">-</span>XX<span style="color:#669900">:</span>MaxMetaspaceSize<span style="color:#669900">=</span><span style="color:#98c379">9</span>M <span style="color:#669900">-</span>XX<span style="color:#669900">:</span><span style="color:#669900">+</span>PrintGCDetails <span style="color:#669900">"-javaagent:C:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2019.1\lib\idea_rt.jar=49316:C:\Program Files\JetBrains\IntelliJ IDEA Community Edition 2019.1\bin"</span> <span style="color:#669900">-</span>Dfile<span style="color:#999999">.</span>encoding<span style="color:#669900">=</span>UTF<span style="color:#669900">-</span><span style="color:#98c379">8</span> <span style="color:#669900">-</span>classpath <span style="color:#669900">"C:\Program Files\Java\jdk1.8.0_181\jre\lib\charsets.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\deploy.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\access-bridge-64.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\cldrdata.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\dnsns.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\jaccess.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\jfxrt.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\localedata.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\nashorn.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunec.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunjce_provider.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunmscapi.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\sunpkcs11.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\ext\zipfs.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\javaws.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jce.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jfr.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jfxswt.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\jsse.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\management-agent.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\plugin.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\resources.jar;C:\Program Files\Java\jdk1.8.0_181\jre\lib\rt.jar;C:\work\ijprojects\JVM\out\production\JVM;C:\work\ijprojects\ObjectSize\out\artifacts\ObjectSize_jar\ObjectSize.jar"</span> com<span style="color:#999999">.</span>mashibing<span style="color:#999999">.</span>jvm<span style="color:#999999">.</span>gc<span style="color:#999999">.</span>LambdaGC <span style="color:#999999">[</span>GC <span style="color:#999999">(</span>Metadata GC Threshold<span style="color:#999999">)</span> <span style="color:#999999">[</span>PSYoungGen<span style="color:#669900">:</span> <span style="color:#98c379">11341</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">1880K</span><span style="color:#999999">(</span><span style="color:#98c379">38400</span>K<span style="color:#999999">)</span><span style="color:#999999">]</span> <span style="color:#98c379">11341</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">1888K</span><span style="color:#999999">(</span><span style="color:#98c379">125952</span>K<span style="color:#999999">)</span><span style="color:#999999">,</span> <span style="color:#98c379">0.0022190</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Full GC <span style="color:#999999">(</span>Metadata GC Threshold<span style="color:#999999">)</span> <span style="color:#999999">[</span>PSYoungGen<span style="color:#669900">:</span> <span style="color:#98c379">1880</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">0K</span><span style="color:#999999">(</span><span style="color:#98c379">38400</span>K<span style="color:#999999">)</span><span style="color:#999999">]</span> <span style="color:#999999">[</span>ParOldGen<span style="color:#669900">:</span> <span style="color:#98c379">8</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">1777K</span><span style="color:#999999">(</span><span style="color:#98c379">35328</span>K<span style="color:#999999">)</span><span style="color:#999999">]</span> <span style="color:#98c379">1888</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">1777K</span><span style="color:#999999">(</span><span style="color:#98c379">73728</span>K<span style="color:#999999">)</span><span style="color:#999999">,</span> <span style="color:#999999">[</span>Metaspace<span style="color:#669900">:</span> <span style="color:#98c379">8164</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">8164K</span><span style="color:#999999">(</span><span style="color:#98c379">1056768</span>K<span style="color:#999999">)</span><span style="color:#999999">]</span><span style="color:#999999">,</span> <span style="color:#98c379">0.0100681</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.02</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.01</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>GC <span style="color:#999999">(</span>Last ditch collection<span style="color:#999999">)</span> <span style="color:#999999">[</span>PSYoungGen<span style="color:#669900">:</span> <span style="color:#98c379">0</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">0K</span><span style="color:#999999">(</span><span style="color:#98c379">38400</span>K<span style="color:#999999">)</span><span style="color:#999999">]</span> <span style="color:#98c379">1777</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">1777K</span><span style="color:#999999">(</span><span style="color:#98c379">73728</span>K<span style="color:#999999">)</span><span style="color:#999999">,</span> <span style="color:#98c379">0.0005698</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.00</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Full GC <span style="color:#999999">(</span>Last ditch collection<span style="color:#999999">)</span> <span style="color:#999999">[</span>PSYoungGen<span style="color:#669900">:</span> <span style="color:#98c379">0</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">0K</span><span style="color:#999999">(</span><span style="color:#98c379">38400</span>K<span style="color:#999999">)</span><span style="color:#999999">]</span> <span style="color:#999999">[</span>ParOldGen<span style="color:#669900">:</span> <span style="color:#98c379">1777</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">1629K</span><span style="color:#999999">(</span><span style="color:#98c379">67584</span>K<span style="color:#999999">)</span><span style="color:#999999">]</span> <span style="color:#98c379">1777</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">1629K</span><span style="color:#999999">(</span><span style="color:#98c379">105984</span>K<span style="color:#999999">)</span><span style="color:#999999">,</span> <span style="color:#999999">[</span>Metaspace<span style="color:#669900">:</span> <span style="color:#98c379">8164</span>K<span style="color:#669900">-</span><span style="color:#669900">></span><span style="color:#61aeee">8156K</span><span style="color:#999999">(</span><span style="color:#98c379">1056768</span>K<span style="color:#999999">)</span><span style="color:#999999">]</span><span style="color:#999999">,</span> <span style="color:#98c379">0.0124299</span> secs<span style="color:#999999">]</span> <span style="color:#999999">[</span>Times<span style="color:#669900">:</span> user<span style="color:#669900">=</span><span style="color:#98c379">0.06</span> sys<span style="color:#669900">=</span><span style="color:#98c379">0.00</span><span style="color:#999999">,</span> real<span style="color:#669900">=</span><span style="color:#98c379">0.01</span> secs<span style="color:#999999">]</span> java<span style="color:#999999">.</span>lang<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>InvocationTargetExceptionat sun<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>NativeMethodAccessorImpl<span style="color:#999999">.</span><span style="color:#61aeee">invoke0</span><span style="color:#999999">(</span>Native Method<span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>NativeMethodAccessorImpl<span style="color:#999999">.</span><span style="color:#61aeee">invoke</span><span style="color:#999999">(</span>NativeMethodAccessorImpl<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">62</span><span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>DelegatingMethodAccessorImpl<span style="color:#999999">.</span><span style="color:#61aeee">invoke</span><span style="color:#999999">(</span>DelegatingMethodAccessorImpl<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">43</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>lang<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>Method<span style="color:#999999">.</span><span style="color:#61aeee">invoke</span><span style="color:#999999">(</span>Method<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">498</span><span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>instrument<span style="color:#999999">.</span>InstrumentationImpl<span style="color:#999999">.</span><span style="color:#61aeee">loadClassAndStartAgent</span><span style="color:#999999">(</span>InstrumentationImpl<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">388</span><span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>instrument<span style="color:#999999">.</span>InstrumentationImpl<span style="color:#999999">.</span><span style="color:#61aeee">loadClassAndCallAgentmain</span><span style="color:#999999">(</span>InstrumentationImpl<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">411</span><span style="color:#999999">)</span> Caused by<span style="color:#669900">:</span> java<span style="color:#999999">.</span>lang<span style="color:#999999">.</span>OutOfMemoryError<span style="color:#669900">:</span> Compressed <span style="color:#c678dd">class</span> spaceat sun<span style="color:#999999">.</span>misc<span style="color:#999999">.</span>Unsafe<span style="color:#999999">.</span><span style="color:#61aeee">defineClass</span><span style="color:#999999">(</span>Native Method<span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>ClassDefiner<span style="color:#999999">.</span><span style="color:#61aeee">defineClass</span><span style="color:#999999">(</span>ClassDefiner<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">63</span><span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>MethodAccessorGenerator$<span style="color:#98c379">1.</span><span style="color:#61aeee">run</span><span style="color:#999999">(</span>MethodAccessorGenerator<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">399</span><span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>MethodAccessorGenerator$<span style="color:#98c379">1.</span><span style="color:#61aeee">run</span><span style="color:#999999">(</span>MethodAccessorGenerator<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">394</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>security<span style="color:#999999">.</span>AccessController<span style="color:#999999">.</span><span style="color:#61aeee">doPrivileged</span><span style="color:#999999">(</span>Native Method<span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>MethodAccessorGenerator<span style="color:#999999">.</span><span style="color:#61aeee">generate</span><span style="color:#999999">(</span>MethodAccessorGenerator<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">393</span><span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>MethodAccessorGenerator<span style="color:#999999">.</span><span style="color:#61aeee">generateSerializationConstructor</span><span style="color:#999999">(</span>MethodAccessorGenerator<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">112</span><span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>ReflectionFactory<span style="color:#999999">.</span><span style="color:#61aeee">generateConstructor</span><span style="color:#999999">(</span>ReflectionFactory<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">398</span><span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>reflect<span style="color:#999999">.</span>ReflectionFactory<span style="color:#999999">.</span><span style="color:#61aeee">newConstructorForSerialization</span><span style="color:#999999">(</span>ReflectionFactory<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">360</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectStreamClass<span style="color:#999999">.</span><span style="color:#61aeee">getSerializableConstructor</span><span style="color:#999999">(</span>ObjectStreamClass<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">1574</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectStreamClass<span style="color:#999999">.</span>access$<span style="color:#61aeee">1500</span><span style="color:#999999">(</span>ObjectStreamClass<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">79</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectStreamClass$<span style="color:#98c379">3.</span><span style="color:#61aeee">run</span><span style="color:#999999">(</span>ObjectStreamClass<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">519</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectStreamClass$<span style="color:#98c379">3.</span><span style="color:#61aeee">run</span><span style="color:#999999">(</span>ObjectStreamClass<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">494</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>security<span style="color:#999999">.</span>AccessController<span style="color:#999999">.</span><span style="color:#61aeee">doPrivileged</span><span style="color:#999999">(</span>Native Method<span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectStreamClass<span style="color:#999999">.</span><span style="color:#61aeee"><span style="color:#999999"><</span>init<span style="color:#999999">></span></span><span style="color:#999999">(</span>ObjectStreamClass<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">494</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectStreamClass<span style="color:#999999">.</span><span style="color:#61aeee">lookup</span><span style="color:#999999">(</span>ObjectStreamClass<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">391</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectOutputStream<span style="color:#999999">.</span><span style="color:#61aeee">writeObject0</span><span style="color:#999999">(</span>ObjectOutputStream<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">1134</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectOutputStream<span style="color:#999999">.</span><span style="color:#61aeee">defaultWriteFields</span><span style="color:#999999">(</span>ObjectOutputStream<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">1548</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectOutputStream<span style="color:#999999">.</span><span style="color:#61aeee">writeSerialData</span><span style="color:#999999">(</span>ObjectOutputStream<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">1509</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectOutputStream<span style="color:#999999">.</span><span style="color:#61aeee">writeOrdinaryObject</span><span style="color:#999999">(</span>ObjectOutputStream<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">1432</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectOutputStream<span style="color:#999999">.</span><span style="color:#61aeee">writeObject0</span><span style="color:#999999">(</span>ObjectOutputStream<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">1178</span><span style="color:#999999">)</span>at java<span style="color:#999999">.</span>io<span style="color:#999999">.</span>ObjectOutputStream<span style="color:#999999">.</span><span style="color:#61aeee">writeObject</span><span style="color:#999999">(</span>ObjectOutputStream<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">348</span><span style="color:#999999">)</span>at javax<span style="color:#999999">.</span>management<span style="color:#999999">.</span>remote<span style="color:#999999">.</span>rmi<span style="color:#999999">.</span>RMIConnectorServer<span style="color:#999999">.</span><span style="color:#61aeee">encodeJRMPStub</span><span style="color:#999999">(</span>RMIConnectorServer<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">727</span><span style="color:#999999">)</span>at javax<span style="color:#999999">.</span>management<span style="color:#999999">.</span>remote<span style="color:#999999">.</span>rmi<span style="color:#999999">.</span>RMIConnectorServer<span style="color:#999999">.</span><span style="color:#61aeee">encodeStub</span><span style="color:#999999">(</span>RMIConnectorServer<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">719</span><span style="color:#999999">)</span>at javax<span style="color:#999999">.</span>management<span style="color:#999999">.</span>remote<span style="color:#999999">.</span>rmi<span style="color:#999999">.</span>RMIConnectorServer<span style="color:#999999">.</span><span style="color:#61aeee">encodeStubInAddress</span><span style="color:#999999">(</span>RMIConnectorServer<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">690</span><span style="color:#999999">)</span>at javax<span style="color:#999999">.</span>management<span style="color:#999999">.</span>remote<span style="color:#999999">.</span>rmi<span style="color:#999999">.</span>RMIConnectorServer<span style="color:#999999">.</span><span style="color:#61aeee">start</span><span style="color:#999999">(</span>RMIConnectorServer<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">439</span><span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>management<span style="color:#999999">.</span>jmxremote<span style="color:#999999">.</span>ConnectorBootstrap<span style="color:#999999">.</span><span style="color:#61aeee">startLocalConnectorServer</span><span style="color:#999999">(</span>ConnectorBootstrap<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">550</span><span style="color:#999999">)</span>at sun<span style="color:#999999">.</span>management<span style="color:#999999">.</span>Agent<span style="color:#999999">.</span><span style="color:#61aeee">startLocalManagementAgent</span><span style="color:#999999">(</span>Agent<span style="color:#999999">.</span>java<span style="color:#669900">:</span><span style="color:#98c379">137</span><span style="color:#999999">)</span></code></span></span>
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
  • 直接內存溢出問題(少見)
    《深入理解Java虛擬機》P59,使用Unsafe分配直接內存,或者使用NIO的問題

  • 棧溢出問題
    -Xss設定太小

  • 比較一下這兩段程序的異同,分析哪一個是更優的寫法:

    <span style="color:#000000"><span style="background-color:#282c34"><code class="language-java">Object o <span style="color:#669900">=</span> null<span style="color:#999999">;</span> <span style="color:#c678dd">for</span><span style="color:#999999">(</span><span style="color:#c678dd">int</span> i<span style="color:#669900">=</span><span style="color:#98c379">0</span><span style="color:#999999">;</span> i<span style="color:#669900"><</span><span style="color:#98c379">100</span><span style="color:#999999">;</span> i<span style="color:#669900">++</span><span style="color:#999999">)</span> <span style="color:#999999">{</span>o <span style="color:#669900">=</span> <span style="color:#c678dd">new</span> Object<span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">;</span><span style="color:#5c6370">//業務處理</span> <span style="color:#999999">}</span> </code></span></span>
    • 1
    • 2
    • 3
    • 4
    • 5
    <span style="color:#000000"><span style="background-color:#282c34"><code class="language-java"><span style="color:#c678dd">for</span><span style="color:#999999">(</span><span style="color:#c678dd">int</span> i<span style="color:#669900">=</span><span style="color:#98c379">0</span><span style="color:#999999">;</span> i<span style="color:#669900"><</span><span style="color:#98c379">100</span><span style="color:#999999">;</span> i<span style="color:#669900">++</span><span style="color:#999999">)</span> <span style="color:#999999">{</span>Object o <span style="color:#669900">=</span> <span style="color:#c678dd">new</span> Object<span style="color:#999999">(</span><span style="color:#999999">)</span><span style="color:#999999">;</span> <span style="color:#999999">}</span> </code></span></span>
    • 1
    • 2
    • 3
  • 重寫finalize引發頻繁GC
    小米云,HBase同步系統,系統通過nginx訪問超時報警,最后排查,C++程序員重寫finalize引發頻繁GC問題
    為什么C++程序員會重寫finalize?(new delete)
    finalize耗時比較長(200ms)

  • 如果有一個系統,內存一直消耗不超過10%,但是觀察GC日志,發現FGC總是頻繁產生,會是什么引起的?
    System.gc() (這個比較Low)

  • Distuptor有個可以設置鏈的長度,如果過大,然后對象大,消費完不主動釋放,會溢出 (來自 死物風情)

  • 用jvm都會溢出,mycat用崩過,1.6.5某個臨時版本解析sql子查詢算法有問題,9個exists的聯合sql就導致生成幾百萬的對象(來自 死物風情)

  • new 大量線程,會產生 native thread OOM,(low)應該用線程池,
    解決方案:減少堆空間(太TMlow了),預留更多內存產生native thread
    JVM內存占物理內存比例 50% - 80%

  • GC常用參數

    • -Xmn -Xms -Xmx -Xss
      年輕代 最小堆 最大堆 棧空間
    • -XX:+UseTLAB
      使用TLAB,默認打開
    • -XX:+PrintTLAB
      打印TLAB的使用情況
    • -XX:TLABSize
      設置TLAB大小
    • -XX:+DisableExplictGC
      System.gc()不管用 ,FGC
    • -XX:+PrintGC
    • -XX:+PrintGCDetails
    • -XX:+PrintHeapAtGC
    • -XX:+PrintGCTimeStamps
    • -XX:+PrintGCApplicationConcurrentTime (低)
      打印應用程序時間
    • -XX:+PrintGCApplicationStoppedTime (低)
      打印暫停時長
    • -XX:+PrintReferenceGC (重要性低)
      記錄回收了多少種不同引用類型的引用
    • -verbose:class
      類加載詳細過程
    • -XX:+PrintVMOptions
    • -XX:+PrintFlagsFinal -XX:+PrintFlagsInitial
      必須會用
    • -Xloggc:opt/log/gc.log
    • -XX:MaxTenuringThreshold
      升代年齡,最大值15
    • 鎖自旋次數 -XX:PreBlockSpin 熱點代碼檢測參數-XX:CompileThreshold 逃逸分析 標量替換 …
      這些不建議設置

    Parallel常用參數

    • -XX:SurvivorRatio
    • -XX:PreTenureSizeThreshold
      大對象到底多大
    • -XX:MaxTenuringThreshold
    • -XX:+ParallelGCThreads
      并行收集器的線程數,同樣適用于CMS,一般設為和CPU核數相同
    • -XX:+UseAdaptiveSizePolicy
      自動選擇各區大小比例

    CMS常用參數

    • -XX:+UseConcMarkSweepGC
    • -XX:ParallelCMSThreads
      CMS線程數量
    • -XX:CMSInitiatingOccupancyFraction
      使用多少比例的老年代后開始CMS收集,默認是68%(近似值),如果頻繁發生SerialOld卡頓,應該調小,(頻繁CMS回收)
    • -XX:+UseCMSCompactAtFullCollection
      在FGC時進行壓縮
    • -XX:CMSFullGCsBeforeCompaction
      多少次FGC之后進行壓縮
    • -XX:+CMSClassUnloadingEnabled
    • -XX:CMSInitiatingPermOccupancyFraction
      達到什么比例時進行Perm回收
    • GCTimeRatio
      設置GC時間占用程序運行時間的百分比
    • -XX:MaxGCPauseMillis
      停頓時間,是一個建議時間,GC會嘗試用各種手段達到這個時間,比如減小年輕代

    G1常用參數

    • -XX:+UseG1GC
    • -XX:MaxGCPauseMillis
      建議值,G1會嘗試調整Young區的塊數來達到這個值
    • -XX:GCPauseIntervalMillis
      ?GC的間隔時間
    • -XX:+G1HeapRegionSize
      分區大小,建議逐漸增大該值,1 2 4 8 16 32。
      隨著size增加,垃圾的存活時間更長,GC間隔更長,但每次GC的時間也會更長
      ZGC做了改進(動態區塊大小)
    • G1NewSizePercent
      新生代最小比例,默認為5%
    • G1MaxNewSizePercent
      新生代最大比例,默認為60%
    • GCTimeRatio
      GC時間建議比例,G1會根據這個值調整堆空間
    • ConcGCThreads
      線程數量
    • InitiatingHeapOccupancyPercent
      啟動G1的堆空間占用比例

    作業

  • -XX:MaxTenuringThreshold控制的是什么?
    A: 對象升入老年代的年齡
    B: 老年代觸發FGC時的內存垃圾比例

  • 生產環境中,傾向于將最大堆內存和最小堆內存設置為:(為什么?)
    A: 相同 B:不同

  • JDK1.8默認的垃圾回收器是:
    A: ParNew + CMS
    B: G1
    C: PS + ParallelOld
    D: 以上都不是

  • 什么是響應時間優先?

  • 什么是吞吐量優先?

  • ParNew和PS的區別是什么?

  • ParNew和ParallelOld的區別是什么?(年代不同,算法不同)

  • 長時間計算的場景應該選擇:A:停頓時間 B: 吞吐量

  • 大規模電商網站應該選擇:A:停頓時間 B: 吞吐量

  • HotSpot的垃圾收集器最常用有哪些?

  • 常見的HotSpot垃圾收集器組合有哪些?

  • JDK1.7 1.8 1.9的默認垃圾回收器是什么?如何查看?

  • 所謂調優,到底是在調什么?

  • 如果采用PS + ParrallelOld組合,怎么做才能讓系統基本不產生FGC

  • 如果采用ParNew + CMS組合,怎樣做才能夠讓系統基本不產生FGC

    1.加大JVM內存

    2.加大Young的比例

    3.提高Y-O的年齡

    4.提高S區比例

    5.避免代碼內存泄漏

  • G1是否分代?G1垃圾回收器會產生FGC嗎?

  • 如果G1產生FGC,你應該做什么?

  • 擴內存
  • 提高CPU性能(回收的快,業務邏輯產生對象的速度固定,垃圾回收越快,內存空間越大)
  • 降低MixedGC觸發的閾值,讓MixedGC提早發生(默認是45%)
  • 問:生產環境中能夠隨隨便便的dump嗎?
    小堆影響不大,大堆會有服務暫停或卡頓(加live可以緩解),dump前會有FGC

  • 問:常見的OOM問題有哪些?
    棧 堆 MethodArea 直接內存

  • 參考資料

  • https://blogs.oracle.com/jonthecollector/our-collectors
  • https://docs.oracle.com/javase/8/docs/technotes/tools/unix/java.html
  • http://java.sun.com/javase/technologies/hotspot/vmoptions.jsp
  • JVM調優參考文檔:https://docs.oracle.com/en/java/javase/13/gctuning/introduction-garbage-collection-tuning.html#GUID-8A443184-7E07-4B71-9777-4F12947C8184
  • https://www.cnblogs.com/nxlhero/p/11660854.html 在線排查工具
  • https://www.jianshu.com/p/507f7e0cc3a3 arthas常用命令
  • Arthas手冊:
  • 啟動arthas java -jar arthas-boot.jar
  • 綁定java進程
  • dashboard命令觀察系統整體情況
  • help 查看幫助
  • help xx 查看具體命令幫助
  • jmap命令參考: https://www.jianshu.com/p/507f7e0cc3a3
  • jmap -heap pid
  • jmap -histo pid
  • jmap -clstats pid
  • https://blog.csdn.net/chenssy/article/details/78271744?JVM致命錯誤日志(hs_err_pid.log)分析

    總結

    以上是生活随笔為你收集整理的马士兵 jvm调优的全部內容,希望文章能夠幫你解決所遇到的問題。

    如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

    亚洲天堂2017无码中文 | 奇米影视7777久久精品人人爽 | 动漫av一区二区在线观看 | 性生交片免费无码看人 | 国产偷自视频区视频 | 色诱久久久久综合网ywww | 狠狠综合久久久久综合网 | 亚洲国产高清在线观看视频 | 无码人妻精品一区二区三区下载 | 高清无码午夜福利视频 | 露脸叫床粗话东北少妇 | 偷窥日本少妇撒尿chinese | 精品久久综合1区2区3区激情 | 在线精品亚洲一区二区 | 熟妇人妻无乱码中文字幕 | 色情久久久av熟女人妻网站 | 久久精品中文字幕一区 | 荡女精品导航 | 国产真实伦对白全集 | 亚洲成av人综合在线观看 | 狠狠色色综合网站 | 九九综合va免费看 | 无码精品国产va在线观看dvd | 色欲综合久久中文字幕网 | 久久久久国色av免费观看性色 | 无码精品国产va在线观看dvd | 激情内射亚州一区二区三区爱妻 | 精品人人妻人人澡人人爽人人 | 鲁鲁鲁爽爽爽在线视频观看 | 377p欧洲日本亚洲大胆 | 无码成人精品区在线观看 | 一区二区传媒有限公司 | 亚洲日韩av片在线观看 | www国产亚洲精品久久久日本 | 日韩视频 中文字幕 视频一区 | 妺妺窝人体色www婷婷 | 久久久久人妻一区精品色欧美 | 欧美熟妇另类久久久久久不卡 | 精品久久久中文字幕人妻 | 国精产品一区二区三区 | 久久久久久久女国产乱让韩 | 久激情内射婷内射蜜桃人妖 | 牲交欧美兽交欧美 | 少妇性俱乐部纵欲狂欢电影 | 中文字幕乱码人妻二区三区 | 国产精品永久免费视频 | 欧美肥老太牲交大战 | 内射后入在线观看一区 | 中文字幕乱妇无码av在线 | 亚洲精品一区三区三区在线观看 | 欧美人妻一区二区三区 | 中文字幕无码日韩专区 | 亚洲精品午夜无码电影网 | 无码人妻av免费一区二区三区 | 中文无码成人免费视频在线观看 | 亚洲成色www久久网站 | 久久综合给合久久狠狠狠97色 | 东京一本一道一二三区 | 亲嘴扒胸摸屁股激烈网站 | 天堂无码人妻精品一区二区三区 | 初尝人妻少妇中文字幕 | 波多野结衣av一区二区全免费观看 | 亚洲成av人综合在线观看 | 亚洲精品国产品国语在线观看 | 欧美人妻一区二区三区 | 久久99久久99精品中文字幕 | 久久97精品久久久久久久不卡 | 天下第一社区视频www日本 | 国产欧美精品一区二区三区 | 西西人体www44rt大胆高清 | 亚洲 另类 在线 欧美 制服 | 中文字幕无线码 | 日韩精品久久久肉伦网站 | 久久zyz资源站无码中文动漫 | 中文无码伦av中文字幕 | 亚洲国产av美女网站 | 亚洲中文字幕无码中文字在线 | 久久精品国产亚洲精品 | 少妇人妻av毛片在线看 | 国产精华av午夜在线观看 | 思思久久99热只有频精品66 | 亚洲人亚洲人成电影网站色 | 久久久精品国产sm最大网站 | 麻花豆传媒剧国产免费mv在线 | 亚洲色大成网站www国产 | 欧美黑人性暴力猛交喷水 | 亚洲小说图区综合在线 | 欧美 日韩 人妻 高清 中文 | 久久综合久久自在自线精品自 | 成熟妇人a片免费看网站 | 国产精品久久久久久无码 | 夜精品a片一区二区三区无码白浆 | 色情久久久av熟女人妻网站 | 国内精品久久久久久中文字幕 | 青春草在线视频免费观看 | 亚洲一区二区三区无码久久 | 美女黄网站人色视频免费国产 | 国产69精品久久久久app下载 | 亚洲熟妇色xxxxx欧美老妇y | 天天av天天av天天透 | 国产精品沙发午睡系列 | 亚洲熟女一区二区三区 | 国产绳艺sm调教室论坛 | 亚洲va欧美va天堂v国产综合 | 国产精品无码一区二区三区不卡 | 99久久婷婷国产综合精品青草免费 | 国产真实乱对白精彩久久 | 激情五月综合色婷婷一区二区 | 亚洲大尺度无码无码专区 | 国产精品香蕉在线观看 | 中文字幕无码av激情不卡 | 狠狠色丁香久久婷婷综合五月 | 狠狠色色综合网站 | 人人妻在人人 | 国内老熟妇对白xxxxhd | 国产精品福利视频导航 | 久久99热只有频精品8 | 粗大的内捧猛烈进出视频 | 中文字幕人成乱码熟女app | 欧美老妇与禽交 | 色欲久久久天天天综合网精品 | 日本成熟视频免费视频 | 国产在线精品一区二区高清不卡 | 天天做天天爱天天爽综合网 | 一个人看的www免费视频在线观看 | 99国产精品白浆在线观看免费 | 中文字幕无码日韩专区 | 国产一区二区三区精品视频 | 精品成人av一区二区三区 | 国产乱人伦av在线无码 | 国产99久久精品一区二区 | а天堂中文在线官网 | 妺妺窝人体色www在线小说 | 奇米影视7777久久精品 | 国产人妻大战黑人第1集 | 日韩精品久久久肉伦网站 | 少妇高潮喷潮久久久影院 | 久久精品无码一区二区三区 | 亚洲国产精品无码久久久久高潮 | 4hu四虎永久在线观看 | 亚洲中文字幕在线观看 | 亚洲欧洲日本综合aⅴ在线 | 四虎永久在线精品免费网址 | 99久久人妻精品免费一区 | 玩弄少妇高潮ⅹxxxyw | 日韩无套无码精品 | 成人精品天堂一区二区三区 | 亚洲成av人在线观看网址 | 精品久久久无码人妻字幂 | 亚洲精品国产第一综合99久久 | 中文字幕人成乱码熟女app | 久久精品无码一区二区三区 | 5858s亚洲色大成网站www | 妺妺窝人体色www在线小说 | 大肉大捧一进一出视频出来呀 | 中文字幕无码乱人伦 | 欧洲欧美人成视频在线 | 久久成人a毛片免费观看网站 | 欧美三级不卡在线观看 | 欧美激情内射喷水高潮 | 国产精品无码一区二区三区不卡 | 欧美黑人乱大交 | 夜精品a片一区二区三区无码白浆 | 少妇人妻偷人精品无码视频 | 最近的中文字幕在线看视频 | 国产成人精品一区二区在线小狼 | 免费视频欧美无人区码 | 久久综合激激的五月天 | 在线亚洲高清揄拍自拍一品区 | 免费人成在线视频无码 | 国产偷自视频区视频 | 国产9 9在线 | 中文 | 亚洲欧洲中文日韩av乱码 | 妺妺窝人体色www在线小说 | 欧美精品一区二区精品久久 | 日韩精品久久久肉伦网站 | 中文字幕人成乱码熟女app | 亚洲の无码国产の无码步美 | 午夜成人1000部免费视频 | 麻豆精产国品 | 人人妻人人澡人人爽欧美一区九九 | 婷婷丁香六月激情综合啪 | 中文字幕无码人妻少妇免费 | 无遮挡啪啪摇乳动态图 | 国产精品久久久久久无码 | 无套内谢的新婚少妇国语播放 | 亚洲成av人片天堂网无码】 | 久久午夜无码鲁丝片 | 国产av一区二区精品久久凹凸 | 国产高清av在线播放 | 精品无码国产一区二区三区av | 亚洲精品午夜无码电影网 | 东京热一精品无码av | 麻豆国产丝袜白领秘书在线观看 | 欧美日韩人成综合在线播放 | 强奷人妻日本中文字幕 | 国产精品久久国产三级国 | 国产欧美精品一区二区三区 | 噜噜噜亚洲色成人网站 | 天堂一区人妻无码 | 成人欧美一区二区三区黑人免费 | 欧美色就是色 | 日韩亚洲欧美中文高清在线 | 色一情一乱一伦 | 熟妇激情内射com | 欧美变态另类xxxx | 久久久久99精品成人片 | 亚洲小说春色综合另类 | 九月婷婷人人澡人人添人人爽 | 午夜无码人妻av大片色欲 | 97夜夜澡人人爽人人喊中国片 | 东京无码熟妇人妻av在线网址 | 亚洲国产精品一区二区美利坚 | 大地资源网第二页免费观看 | 国产乱人伦av在线无码 | 中文字幕色婷婷在线视频 | 在线成人www免费观看视频 | 亚洲精品一区二区三区四区五区 | 国产综合久久久久鬼色 | 国产激情综合五月久久 | 欧美第一黄网免费网站 | 亚洲色大成网站www国产 | 久久视频在线观看精品 | 少妇一晚三次一区二区三区 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 国产97色在线 | 免 | 久久综合激激的五月天 | 久久国产精品精品国产色婷婷 | 国产性生交xxxxx无码 | 久久久久se色偷偷亚洲精品av | 国产97色在线 | 免 | 2020久久超碰国产精品最新 | 大肉大捧一进一出好爽视频 | 欧美人与禽猛交狂配 | 99久久无码一区人妻 | 亚洲国产综合无码一区 | 久久国语露脸国产精品电影 | 无遮挡啪啪摇乳动态图 | 国产亚av手机在线观看 | 97无码免费人妻超级碰碰夜夜 | 蜜桃av抽搐高潮一区二区 | 成人av无码一区二区三区 | 国产成人一区二区三区在线观看 | 亚洲日韩av一区二区三区四区 | 国产无遮挡又黄又爽免费视频 | 天堂无码人妻精品一区二区三区 | 无码人妻av免费一区二区三区 | 亚洲中文字幕久久无码 | 日本护士毛茸茸高潮 | av在线亚洲欧洲日产一区二区 | 国产熟妇另类久久久久 | 丰满人妻翻云覆雨呻吟视频 | 久久亚洲精品中文字幕无男同 | 麻豆精产国品 | 欧美人与善在线com | 亚洲 欧美 激情 小说 另类 | 亚洲一区二区观看播放 | 狠狠色色综合网站 | 亚洲毛片av日韩av无码 | www国产亚洲精品久久久日本 | 少妇性l交大片 | 国产亚洲视频中文字幕97精品 | 亚洲精品一区二区三区婷婷月 | 九九在线中文字幕无码 | 巨爆乳无码视频在线观看 | 亚洲日本va中文字幕 | 亚洲va中文字幕无码久久不卡 | 内射白嫩少妇超碰 | 久久国内精品自在自线 | www国产亚洲精品久久网站 | 国产综合色产在线精品 | 国产免费观看黄av片 | 成人欧美一区二区三区黑人免费 | 国语精品一区二区三区 | 久久亚洲中文字幕无码 | aa片在线观看视频在线播放 | 正在播放东北夫妻内射 | 亚洲国产精品久久久久久 | 极品尤物被啪到呻吟喷水 | 狠狠cao日日穞夜夜穞av | 九月婷婷人人澡人人添人人爽 | 亚洲经典千人经典日产 | 国产特级毛片aaaaaa高潮流水 | 成人亚洲精品久久久久软件 | 伊在人天堂亚洲香蕉精品区 | 狠狠色噜噜狠狠狠狠7777米奇 | 男女下面进入的视频免费午夜 | 成人无码精品1区2区3区免费看 | 自拍偷自拍亚洲精品被多人伦好爽 | 精品国产精品久久一区免费式 | 曰本女人与公拘交酡免费视频 | 亚洲第一无码av无码专区 | 国产精品国产自线拍免费软件 | 亚洲中文无码av永久不收费 | 一二三四在线观看免费视频 | 久久五月精品中文字幕 | 亚洲精品美女久久久久久久 | 久久天天躁夜夜躁狠狠 | 亚洲中文字幕无码一久久区 | 伊人久久大香线焦av综合影院 | 国产精品理论片在线观看 | 乱人伦人妻中文字幕无码久久网 | 国产精品久久久一区二区三区 | 夜夜影院未满十八勿进 | 亚洲色欲色欲欲www在线 | 婷婷五月综合缴情在线视频 | 亚洲人成网站在线播放942 | 激情国产av做激情国产爱 | 国产精品自产拍在线观看 | 国产亚洲精品久久久久久大师 | 亚洲精品国产品国语在线观看 | 久久久精品国产sm最大网站 | 国产成人无码一二三区视频 | 国产成人无码av一区二区 | 国产后入清纯学生妹 | 人人爽人人澡人人高潮 | 伊人色综合久久天天小片 | 亚洲人交乣女bbw | 久久婷婷五月综合色国产香蕉 | 午夜福利不卡在线视频 | 亚洲中文字幕va福利 | 激情亚洲一区国产精品 | 精品国产麻豆免费人成网站 | 人人爽人人爽人人片av亚洲 | 97精品人妻一区二区三区香蕉 | 中文字幕乱妇无码av在线 | 中文字幕乱妇无码av在线 | 亚洲熟熟妇xxxx | 精品人妻人人做人人爽夜夜爽 | 搡女人真爽免费视频大全 | 国产精品福利视频导航 | 白嫩日本少妇做爰 | 久久久久成人片免费观看蜜芽 | 亚洲国产精品成人久久蜜臀 | 亚洲色欲色欲欲www在线 | 高潮毛片无遮挡高清免费视频 | 狠狠色欧美亚洲狠狠色www | 无码毛片视频一区二区本码 | a国产一区二区免费入口 | 99riav国产精品视频 | 少妇愉情理伦片bd | 欧美性生交活xxxxxdddd | 亚洲欧美国产精品专区久久 | 无码一区二区三区在线 | 熟妇女人妻丰满少妇中文字幕 | 国产热a欧美热a在线视频 | 99麻豆久久久国产精品免费 | 999久久久国产精品消防器材 | 欧美性猛交xxxx富婆 | 自拍偷自拍亚洲精品被多人伦好爽 | 久久综合激激的五月天 | 国产无遮挡又黄又爽又色 | 东京热一精品无码av | 在线成人www免费观看视频 | 欧美日韩一区二区综合 | 亚洲国产精品美女久久久久 | 亚洲а∨天堂久久精品2021 | 青春草在线视频免费观看 | 99riav国产精品视频 | 2020最新国产自产精品 | 波多野结衣乳巨码无在线观看 | 男女下面进入的视频免费午夜 | 亚洲爆乳精品无码一区二区三区 | 三上悠亚人妻中文字幕在线 | 国产精品久免费的黄网站 | 国产性生交xxxxx无码 | 亚洲小说春色综合另类 | 国产片av国语在线观看 | 在线亚洲高清揄拍自拍一品区 | 国产精品爱久久久久久久 | 国内揄拍国内精品少妇国语 | 国产精品毛片一区二区 | 亚洲精品国偷拍自产在线观看蜜桃 | 亚洲 高清 成人 动漫 | 日本爽爽爽爽爽爽在线观看免 | 色偷偷av老熟女 久久精品人妻少妇一区二区三区 | 日本成熟视频免费视频 | 亚洲综合精品香蕉久久网 | 两性色午夜免费视频 | 亚洲欧美精品aaaaaa片 | 一二三四在线观看免费视频 | 久久亚洲日韩精品一区二区三区 | 欧美人与善在线com | 久久久国产精品无码免费专区 | 露脸叫床粗话东北少妇 | 国产高清av在线播放 | 精品无码一区二区三区的天堂 | 熟妇女人妻丰满少妇中文字幕 | 2019nv天堂香蕉在线观看 | 欧美国产亚洲日韩在线二区 | 久久精品国产99精品亚洲 | 精品国产av色一区二区深夜久久 | а√资源新版在线天堂 | 天下第一社区视频www日本 | 久久精品丝袜高跟鞋 | 国产疯狂伦交大片 | 夫妻免费无码v看片 | 久久久久亚洲精品男人的天堂 | 初尝人妻少妇中文字幕 | 波多野42部无码喷潮在线 | 极品尤物被啪到呻吟喷水 | 精品欧洲av无码一区二区三区 | 亚洲一区二区三区偷拍女厕 | 国产熟女一区二区三区四区五区 | www国产精品内射老师 | 亚洲一区二区观看播放 | 夫妻免费无码v看片 | 风流少妇按摩来高潮 | 在线观看国产一区二区三区 | 特黄特色大片免费播放器图片 | 精品一区二区三区无码免费视频 | 人妻夜夜爽天天爽三区 | 精品国产青草久久久久福利 | 亚洲 a v无 码免 费 成 人 a v | 精品国产福利一区二区 | 丰满人妻精品国产99aⅴ | 无码精品人妻一区二区三区av | 亚洲欧洲无卡二区视頻 | 人妻中文无码久热丝袜 | 国产偷国产偷精品高清尤物 | 中国女人内谢69xxxx | 久久久无码中文字幕久... | 国产无套内射久久久国产 | 伊人色综合久久天天小片 | 成人一在线视频日韩国产 | 国产极品美女高潮无套在线观看 | 日韩精品无码一本二本三本色 | 精品熟女少妇av免费观看 | 国产人妻精品一区二区三区不卡 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 内射欧美老妇wbb | ass日本丰满熟妇pics | 玩弄少妇高潮ⅹxxxyw | 人人妻人人藻人人爽欧美一区 | 国产一精品一av一免费 | 草草网站影院白丝内射 | 久久精品中文字幕一区 | 久久99热只有频精品8 | 无码人妻少妇伦在线电影 | 3d动漫精品啪啪一区二区中 | 丰满人妻被黑人猛烈进入 | 亚洲人亚洲人成电影网站色 | 老熟女重囗味hdxx69 | 欧美真人作爱免费视频 | 久久久久久亚洲精品a片成人 | 亚洲欧美国产精品专区久久 | 国产在线精品一区二区三区直播 | 久久精品国产亚洲精品 | 日韩欧美成人免费观看 | 自拍偷自拍亚洲精品10p | 国产国语老龄妇女a片 | 红桃av一区二区三区在线无码av | 免费观看激色视频网站 | 野狼第一精品社区 | 欧洲精品码一区二区三区免费看 | 天堂亚洲免费视频 | 亚洲毛片av日韩av无码 | 亚洲成av人片在线观看无码不卡 | 成人免费视频视频在线观看 免费 | 成人综合网亚洲伊人 | 日韩av无码一区二区三区不卡 | 久久久婷婷五月亚洲97号色 | 动漫av网站免费观看 | 色欲综合久久中文字幕网 | 亚洲精品一区二区三区大桥未久 | 男女作爱免费网站 | 青青青爽视频在线观看 | 四虎国产精品一区二区 | 免费人成在线视频无码 | 妺妺窝人体色www在线小说 | 国产又爽又黄又刺激的视频 | 久久亚洲日韩精品一区二区三区 | 久久久久久av无码免费看大片 | 18禁止看的免费污网站 | 激情爆乳一区二区三区 | 成人三级无码视频在线观看 | 久久久精品456亚洲影院 | 精品一区二区不卡无码av | 国产一区二区三区四区五区加勒比 | 老熟妇乱子伦牲交视频 | 黑人大群体交免费视频 | 无码国模国产在线观看 | 少妇高潮一区二区三区99 | 美女扒开屁股让男人桶 | 久久久婷婷五月亚洲97号色 | 精品亚洲韩国一区二区三区 | 久久久www成人免费毛片 | 亚洲精品成人福利网站 | 欧美日韩在线亚洲综合国产人 | а√资源新版在线天堂 | 粉嫩少妇内射浓精videos | 久久精品国产一区二区三区肥胖 | 性开放的女人aaa片 | 人人澡人人透人人爽 | 99久久精品午夜一区二区 | 亚洲精品欧美二区三区中文字幕 | 亚洲va欧美va天堂v国产综合 | 国产成人精品必看 | 偷窥日本少妇撒尿chinese | 亚洲人成网站在线播放942 | 久久国产精品精品国产色婷婷 | 波多野结衣 黑人 | 亚洲国产精品美女久久久久 | 强奷人妻日本中文字幕 | 国产精品鲁鲁鲁 | 国产人妻精品一区二区三区 | 人人爽人人爽人人片av亚洲 | 亚洲 欧美 激情 小说 另类 | 午夜精品一区二区三区的区别 | 国产特级毛片aaaaaa高潮流水 | 免费无码午夜福利片69 | 天堂无码人妻精品一区二区三区 | 久久人妻内射无码一区三区 | 无遮无挡爽爽免费视频 | 久久天天躁狠狠躁夜夜免费观看 | 波多野结衣乳巨码无在线观看 | 色窝窝无码一区二区三区色欲 | 久久亚洲日韩精品一区二区三区 | 亚洲国产午夜精品理论片 | 久久99精品久久久久婷婷 | 欧美国产日韩久久mv | 国产精品人妻一区二区三区四 | 2020久久超碰国产精品最新 | 亚洲综合精品香蕉久久网 | 久久精品人人做人人综合试看 | 欧美精品国产综合久久 | 在线播放亚洲第一字幕 | 97资源共享在线视频 | 亚洲成av人影院在线观看 | 无码人妻av免费一区二区三区 | 2020久久超碰国产精品最新 | 麻豆国产人妻欲求不满谁演的 | 人人妻人人藻人人爽欧美一区 | 大肉大捧一进一出好爽视频 | 色诱久久久久综合网ywww | 夜夜高潮次次欢爽av女 | 国产熟妇高潮叫床视频播放 | 亚洲欧美国产精品专区久久 | а天堂中文在线官网 | 国产精品久久福利网站 | 久久久www成人免费毛片 | 乱码av麻豆丝袜熟女系列 | 色婷婷综合中文久久一本 | 中文毛片无遮挡高清免费 | 一二三四在线观看免费视频 | 天堂在线观看www | 性欧美大战久久久久久久 | 亚洲乱码国产乱码精品精 | 天干天干啦夜天干天2017 | 强奷人妻日本中文字幕 | 色综合久久久久综合一本到桃花网 | 欧美成人免费全部网站 | 丁香花在线影院观看在线播放 | 55夜色66夜色国产精品视频 | 乱码午夜-极国产极内射 | 无码av最新清无码专区吞精 | 国产性生交xxxxx无码 | 久久精品成人欧美大片 | 乱人伦中文视频在线观看 | 人人爽人人爽人人片av亚洲 | 1000部夫妻午夜免费 | 清纯唯美经典一区二区 | 久久久精品成人免费观看 | 色老头在线一区二区三区 | 国产口爆吞精在线视频 | 久热国产vs视频在线观看 | 欧美怡红院免费全部视频 | 亚洲の无码国产の无码步美 | a国产一区二区免费入口 | 国产亲子乱弄免费视频 | 少妇无码av无码专区在线观看 | 丁香花在线影院观看在线播放 | 无人区乱码一区二区三区 | 97人妻精品一区二区三区 | 99久久精品日本一区二区免费 | 久久婷婷五月综合色国产香蕉 | 人人爽人人爽人人片av亚洲 | 国产麻豆精品一区二区三区v视界 | 一个人看的www免费视频在线观看 | 正在播放老肥熟妇露脸 | 久久综合久久自在自线精品自 | 成人免费视频在线观看 | 精品一区二区三区波多野结衣 | 色婷婷欧美在线播放内射 | 欧美性猛交内射兽交老熟妇 | 亚洲精品久久久久久一区二区 | 日本精品人妻无码77777 天堂一区人妻无码 | 国产色视频一区二区三区 | 日韩欧美群交p片內射中文 | 亚洲s色大片在线观看 | 亚洲成av人在线观看网址 | 成熟妇人a片免费看网站 | 激情综合激情五月俺也去 | 久久97精品久久久久久久不卡 | 精品无码一区二区三区爱欲 | 亚洲精品欧美二区三区中文字幕 | 一本久道久久综合狠狠爱 | 欧美野外疯狂做受xxxx高潮 | 国产激情精品一区二区三区 | www一区二区www免费 | 欧美日本日韩 | 日本肉体xxxx裸交 | 国产av无码专区亚洲a∨毛片 | 97精品人妻一区二区三区香蕉 | 真人与拘做受免费视频一 | 久久国产自偷自偷免费一区调 | 正在播放东北夫妻内射 | 久久久久国色av免费观看性色 | 装睡被陌生人摸出水好爽 | 日日噜噜噜噜夜夜爽亚洲精品 | 成人一区二区免费视频 | 成人精品视频一区二区三区尤物 | 久久精品中文闷骚内射 | 欧美肥老太牲交大战 | 亚洲中文字幕在线无码一区二区 | 欧美 日韩 亚洲 在线 | av无码久久久久不卡免费网站 | 麻花豆传媒剧国产免费mv在线 | 领导边摸边吃奶边做爽在线观看 | 波多野结衣一区二区三区av免费 | 精品久久久无码人妻字幂 | 熟女少妇在线视频播放 | 十八禁视频网站在线观看 | 国产麻豆精品一区二区三区v视界 | 免费乱码人妻系列无码专区 | 亚洲人成网站在线播放942 | 欧美丰满少妇xxxx性 | 扒开双腿疯狂进出爽爽爽视频 | 强伦人妻一区二区三区视频18 | 国产 浪潮av性色四虎 | 呦交小u女精品视频 | 国产女主播喷水视频在线观看 | 国产午夜无码精品免费看 | 国产艳妇av在线观看果冻传媒 | 国产成人无码av片在线观看不卡 | 蜜桃av抽搐高潮一区二区 | 国产精品人妻一区二区三区四 | 欧美丰满熟妇xxxx性ppx人交 | 丰满人妻翻云覆雨呻吟视频 | 欧美一区二区三区视频在线观看 | 日本乱偷人妻中文字幕 | 久久天天躁狠狠躁夜夜免费观看 | 亚洲人成网站色7799 | 亚洲爆乳大丰满无码专区 | 欧美成人免费全部网站 | 国产成人无码av在线影院 | 国产激情艳情在线看视频 | 欧美成人免费全部网站 | 2019nv天堂香蕉在线观看 | 国产无av码在线观看 | 99久久99久久免费精品蜜桃 | 色爱情人网站 | 亚洲国产综合无码一区 | 色噜噜亚洲男人的天堂 | 国产麻豆精品精东影业av网站 | 国产极品美女高潮无套在线观看 | 色欲久久久天天天综合网精品 | 亚洲国产精品无码一区二区三区 | 狂野欧美激情性xxxx | 亚洲男人av天堂午夜在 | 国产精品无码一区二区桃花视频 | 欧美黑人巨大xxxxx | 撕开奶罩揉吮奶头视频 | 国产成人av免费观看 | 日韩av无码中文无码电影 | 性色欲网站人妻丰满中文久久不卡 | 国产精品.xx视频.xxtv | 久久视频在线观看精品 | 国产农村妇女aaaaa视频 撕开奶罩揉吮奶头视频 | 久久人人爽人人爽人人片ⅴ | 久久久久av无码免费网 | 国产成人一区二区三区别 | 国产片av国语在线观看 | 国内揄拍国内精品少妇国语 | 欧美一区二区三区视频在线观看 | 亚洲日韩av一区二区三区中文 | 欧美日韩一区二区三区自拍 | 日韩亚洲欧美精品综合 | 亚洲大尺度无码无码专区 | av无码电影一区二区三区 | 一个人看的www免费视频在线观看 | 日本成熟视频免费视频 | 国产午夜亚洲精品不卡下载 | 巨爆乳无码视频在线观看 | 青草视频在线播放 | 福利一区二区三区视频在线观看 | 清纯唯美经典一区二区 | 牲交欧美兽交欧美 | 大乳丰满人妻中文字幕日本 | 美女张开腿让人桶 | 十八禁真人啪啪免费网站 | 狂野欧美激情性xxxx | 性史性农村dvd毛片 | 无码毛片视频一区二区本码 | 国产在热线精品视频 | 亚洲gv猛男gv无码男同 | 国产精品美女久久久久av爽李琼 | 最近的中文字幕在线看视频 | 欧洲熟妇色 欧美 | av人摸人人人澡人人超碰下载 | 免费看男女做好爽好硬视频 | 红桃av一区二区三区在线无码av | 日韩 欧美 动漫 国产 制服 | 免费人成网站视频在线观看 | 99国产欧美久久久精品 | 性做久久久久久久免费看 | 亚洲精品久久久久中文第一幕 | 免费国产成人高清在线观看网站 | 无码免费一区二区三区 | 牛和人交xxxx欧美 | 亚洲s码欧洲m码国产av | 国产麻豆精品一区二区三区v视界 | 又粗又大又硬毛片免费看 | 亚洲国产欧美国产综合一区 | 性欧美疯狂xxxxbbbb | 精品国产av色一区二区深夜久久 | 国产无av码在线观看 | 色婷婷综合激情综在线播放 | 中文字幕乱码人妻二区三区 | 黑人巨大精品欧美黑寡妇 | 人妻aⅴ无码一区二区三区 | 国产亚洲精品久久久久久 | 亚洲精品综合五月久久小说 | 欧美精品国产综合久久 | 一区二区三区高清视频一 | 国产精品a成v人在线播放 | 亚洲人成人无码网www国产 | 久久精品成人欧美大片 | 少妇太爽了在线观看 | 性生交片免费无码看人 | 国产精品国产自线拍免费软件 | 国产农村乱对白刺激视频 | 亚欧洲精品在线视频免费观看 | 亚洲精品综合五月久久小说 | 无码av免费一区二区三区试看 | 亚洲色www成人永久网址 | 一本加勒比波多野结衣 | 国产亚洲精品久久久久久久久动漫 | 国产乱人偷精品人妻a片 | 欧美猛少妇色xxxxx | 人人妻人人澡人人爽人人精品 | 人妻尝试又大又粗久久 | 色噜噜亚洲男人的天堂 | 国产午夜亚洲精品不卡 | 亚洲理论电影在线观看 | 骚片av蜜桃精品一区 | 午夜精品久久久久久久 | 国产情侣作爱视频免费观看 | 蜜桃视频插满18在线观看 | 99精品久久毛片a片 | 国产成人亚洲综合无码 | 精品久久综合1区2区3区激情 | 人妻天天爽夜夜爽一区二区 | 欧美日韩色另类综合 | 国产 精品 自在自线 | 天天摸天天碰天天添 | 东京一本一道一二三区 | 欧美 亚洲 国产 另类 | 少妇激情av一区二区 | 日韩成人一区二区三区在线观看 | 亚洲日韩av一区二区三区四区 | 日本熟妇人妻xxxxx人hd | 日本xxxx色视频在线观看免费 | 国产亚洲精品久久久久久 | 成人性做爰aaa片免费看不忠 | 亚洲成在人网站无码天堂 | 扒开双腿吃奶呻吟做受视频 | 中文字幕乱码中文乱码51精品 | 一本色道久久综合狠狠躁 | 亚洲色偷偷男人的天堂 | 精品成在人线av无码免费看 | 色欲综合久久中文字幕网 | 亚洲无人区午夜福利码高清完整版 | 无码国内精品人妻少妇 | 亚洲综合无码久久精品综合 | 国产舌乚八伦偷品w中 | 男女超爽视频免费播放 | 亚洲熟妇色xxxxx欧美老妇y | 国产精品亚洲专区无码不卡 | 亚洲国产精品一区二区美利坚 | 欧美人与禽zoz0性伦交 | 99精品无人区乱码1区2区3区 | 99国产欧美久久久精品 | 中文字幕人妻无码一夲道 | 亚洲国产欧美在线成人 | 午夜精品一区二区三区的区别 | 国产成人一区二区三区在线观看 | 久久亚洲中文字幕精品一区 | 97无码免费人妻超级碰碰夜夜 | 亚洲一区二区三区播放 | 老熟女重囗味hdxx69 | 人妻少妇精品无码专区二区 | 天堂无码人妻精品一区二区三区 | 无码免费一区二区三区 | 无码人妻精品一区二区三区下载 | 亚洲成a人片在线观看无码 | 国产精品亚洲五月天高清 | 天堂а√在线中文在线 | 无码毛片视频一区二区本码 | 亚洲中文字幕无码中文字在线 | 久久亚洲国产成人精品性色 | 国产亚洲精品久久久久久大师 | 高清国产亚洲精品自在久久 | 日本肉体xxxx裸交 | 精品夜夜澡人妻无码av蜜桃 | 国产手机在线αⅴ片无码观看 | 精品久久久中文字幕人妻 | 日产精品99久久久久久 | 国产精品丝袜黑色高跟鞋 | 国产又爽又黄又刺激的视频 | 色婷婷欧美在线播放内射 | 最近免费中文字幕中文高清百度 | 清纯唯美经典一区二区 | 99久久人妻精品免费一区 | 国产香蕉尹人综合在线观看 | 久久国语露脸国产精品电影 | 亚洲精品欧美二区三区中文字幕 | 久久久久久a亚洲欧洲av冫 | 99久久亚洲精品无码毛片 | 久久综合狠狠综合久久综合88 | 午夜无码人妻av大片色欲 | 国内少妇偷人精品视频 | 一本色道久久综合狠狠躁 | 国产亚洲视频中文字幕97精品 | 天天摸天天碰天天添 | 无码人妻av免费一区二区三区 | 国内精品九九久久久精品 | 日本丰满熟妇videos | 少妇性l交大片 | 日本乱人伦片中文三区 | 国产人妻人伦精品1国产丝袜 | 久久久久成人精品免费播放动漫 | 亚欧洲精品在线视频免费观看 | 99国产精品白浆在线观看免费 | 精品人人妻人人澡人人爽人人 | 久久久精品国产sm最大网站 | 中文字幕无码视频专区 | 性生交片免费无码看人 | 免费观看激色视频网站 | 老子影院午夜精品无码 | 色狠狠av一区二区三区 | 女人被爽到呻吟gif动态图视看 | 激情国产av做激情国产爱 | 亚洲男人av天堂午夜在 | 在线成人www免费观看视频 | 伊在人天堂亚洲香蕉精品区 | 国产av无码专区亚洲awww | 亚洲理论电影在线观看 | 久久精品国产大片免费观看 | 内射白嫩少妇超碰 | 国产精品久久久久无码av色戒 | 亚洲 a v无 码免 费 成 人 a v | 久久99精品久久久久久动态图 | 99国产欧美久久久精品 | 奇米影视888欧美在线观看 | 天堂а√在线中文在线 | 人妻互换免费中文字幕 | 少妇被黑人到高潮喷出白浆 | 欧美黑人乱大交 | 久久精品人人做人人综合试看 | 鲁鲁鲁爽爽爽在线视频观看 | 99久久无码一区人妻 | 亚洲人交乣女bbw | 亚洲日韩乱码中文无码蜜桃臀网站 | 丝袜足控一区二区三区 | 狠狠色噜噜狠狠狠狠7777米奇 | 无码人妻丰满熟妇区五十路百度 | 亚洲男人av天堂午夜在 | 男女爱爱好爽视频免费看 | 欧美人与禽zoz0性伦交 | 国产综合久久久久鬼色 | 小鲜肉自慰网站xnxx | 爽爽影院免费观看 | 300部国产真实乱 | 婷婷五月综合缴情在线视频 | 伊人久久大香线蕉亚洲 | 欧美大屁股xxxxhd黑色 | 在教室伦流澡到高潮hnp视频 | 人妻少妇精品无码专区动漫 | 日韩精品无码一本二本三本色 | 在线成人www免费观看视频 | 中文字幕无码免费久久99 | 乱人伦人妻中文字幕无码久久网 | 丝袜 中出 制服 人妻 美腿 | 国产av一区二区精品久久凹凸 | 人人妻人人澡人人爽人人精品浪潮 | 人人爽人人澡人人人妻 | 日韩成人一区二区三区在线观看 | 国产午夜手机精彩视频 | 国产亚洲tv在线观看 | 成人三级无码视频在线观看 | 日日橹狠狠爱欧美视频 | 中文字幕乱码亚洲无线三区 | 伊人久久婷婷五月综合97色 | 亚洲爆乳精品无码一区二区三区 | 精品久久久久久人妻无码中文字幕 | 麻豆精品国产精华精华液好用吗 | 亚洲日本va中文字幕 | 丰满岳乱妇在线观看中字无码 | 亚洲国产精华液网站w | 精品人人妻人人澡人人爽人人 | 国产精品怡红院永久免费 | 1000部啪啪未满十八勿入下载 | 国产香蕉尹人视频在线 | 天天拍夜夜添久久精品 | 日本一卡二卡不卡视频查询 | 国产极品美女高潮无套在线观看 | 成人亚洲精品久久久久软件 | 日本www一道久久久免费榴莲 | 日本高清一区免费中文视频 | 狠狠色噜噜狠狠狠狠7777米奇 | 国产深夜福利视频在线 | 啦啦啦www在线观看免费视频 | 久久精品99久久香蕉国产色戒 | 日本熟妇浓毛 | 国产精品久久国产三级国 | 国产xxx69麻豆国语对白 | 高清国产亚洲精品自在久久 | 99精品无人区乱码1区2区3区 | 人人妻人人澡人人爽精品欧美 | 亚洲色在线无码国产精品不卡 | 国产精品手机免费 | 亚洲成a人片在线观看无码 | 99久久99久久免费精品蜜桃 | 亚洲成a人片在线观看无码3d | 蜜桃av抽搐高潮一区二区 | 欧美人与牲动交xxxx | 亚洲精品午夜国产va久久成人 | 欧美三级a做爰在线观看 | 欧美熟妇另类久久久久久不卡 | 四十如虎的丰满熟妇啪啪 | 久久国产36精品色熟妇 | 国产区女主播在线观看 | 亚洲小说图区综合在线 | 国产免费观看黄av片 | 学生妹亚洲一区二区 | 蜜臀av无码人妻精品 | 无码人妻少妇伦在线电影 | 熟女少妇在线视频播放 | 99re在线播放 | 精品成人av一区二区三区 | 亚洲精品国产第一综合99久久 | 综合人妻久久一区二区精品 | 最近免费中文字幕中文高清百度 | 国产人妻人伦精品1国产丝袜 | 欧美zoozzooz性欧美 | 精品水蜜桃久久久久久久 | 成人精品视频一区二区三区尤物 | 国产午夜精品一区二区三区嫩草 | 亚洲高清偷拍一区二区三区 | 宝宝好涨水快流出来免费视频 | 精品夜夜澡人妻无码av蜜桃 | 精品无码国产一区二区三区av | 少妇人妻偷人精品无码视频 | 国产香蕉尹人综合在线观看 | 亚洲乱亚洲乱妇50p | 岛国片人妻三上悠亚 | 国产国语老龄妇女a片 | 欧美激情内射喷水高潮 | 中文字幕 亚洲精品 第1页 | 国内揄拍国内精品少妇国语 | 国产精品高潮呻吟av久久 | 欧美刺激性大交 | 国产三级精品三级男人的天堂 | av人摸人人人澡人人超碰下载 | 青草青草久热国产精品 | 国产av一区二区三区最新精品 | 福利一区二区三区视频在线观看 | 中文字幕av伊人av无码av | 狠狠亚洲超碰狼人久久 | 无码成人精品区在线观看 | 色综合天天综合狠狠爱 | 一区二区三区乱码在线 | 欧洲 | 人人妻人人澡人人爽欧美一区 | 久久婷婷五月综合色国产香蕉 | 国产另类ts人妖一区二区 | 亚洲码国产精品高潮在线 | 亚洲国产高清在线观看视频 | 亚洲日韩av片在线观看 | 国产精品第一区揄拍无码 | 少妇激情av一区二区 | 乌克兰少妇性做爰 | 国产无遮挡又黄又爽又色 | 国产超级va在线观看视频 | 久久久亚洲欧洲日产国码αv | 久久99精品久久久久久动态图 | 俺去俺来也在线www色官网 | 国产色在线 | 国产 | 色综合天天综合狠狠爱 | 国产免费久久精品国产传媒 | 久激情内射婷内射蜜桃人妖 | 18精品久久久无码午夜福利 | aⅴ亚洲 日韩 色 图网站 播放 | 欧美老人巨大xxxx做受 | 在线观看免费人成视频 | 成人精品一区二区三区中文字幕 | 国精产品一品二品国精品69xx | 欧美熟妇另类久久久久久不卡 | 最新国产乱人伦偷精品免费网站 | 国产手机在线αⅴ片无码观看 | 国产一区二区三区日韩精品 | 玩弄少妇高潮ⅹxxxyw | 亚洲欧美国产精品久久 | 亚洲日韩av一区二区三区四区 | 亚洲精品中文字幕久久久久 | 久久久久成人片免费观看蜜芽 | 无码国模国产在线观看 | 久久无码中文字幕免费影院蜜桃 | 亚洲一区二区三区在线观看网站 | 日日干夜夜干 | 亚洲精品美女久久久久久久 | 成人无码影片精品久久久 | 国产精品美女久久久 | 久久久www成人免费毛片 | 六十路熟妇乱子伦 | 亚洲精品国产品国语在线观看 | 亚洲 高清 成人 动漫 | 在线天堂新版最新版在线8 | 亚洲日韩av一区二区三区四区 | 亚洲成a人一区二区三区 | 国产福利视频一区二区 | 欧美精品无码一区二区三区 | 青春草在线视频免费观看 | 麻豆精品国产精华精华液好用吗 | 西西人体www44rt大胆高清 | 亚洲一区二区三区国产精华液 | 无码av最新清无码专区吞精 | 亚洲综合精品香蕉久久网 | 夜夜躁日日躁狠狠久久av | 999久久久国产精品消防器材 | 国产人妻精品午夜福利免费 | 久久人人爽人人爽人人片av高清 | 国产激情艳情在线看视频 | 久久国产精品精品国产色婷婷 | 中文精品无码中文字幕无码专区 | 在线播放免费人成毛片乱码 | 国产色精品久久人妻 | 国产办公室秘书无码精品99 | 18无码粉嫩小泬无套在线观看 | 午夜成人1000部免费视频 | 国产极品美女高潮无套在线观看 | 国产精品鲁鲁鲁 | 一本久道高清无码视频 | 丰满肥臀大屁股熟妇激情视频 | 成 人影片 免费观看 | 亚洲а∨天堂久久精品2021 | 人妻人人添人妻人人爱 | 婷婷六月久久综合丁香 | 国内精品一区二区三区不卡 | 亚洲欧美综合区丁香五月小说 | 国产乱码精品一品二品 | 日韩av无码一区二区三区 | 人妻与老人中文字幕 | 久久综合给合久久狠狠狠97色 | aⅴ亚洲 日韩 色 图网站 播放 | 中文字幕人妻无码一夲道 | 国产亚洲视频中文字幕97精品 | 又大又黄又粗又爽的免费视频 | 久久人妻内射无码一区三区 | 日韩无套无码精品 | 亚洲の无码国产の无码影院 | 欧洲精品码一区二区三区免费看 | 国产内射爽爽大片视频社区在线 | 福利一区二区三区视频在线观看 | 色婷婷香蕉在线一区二区 | 日本一卡2卡3卡四卡精品网站 | 久久久久亚洲精品男人的天堂 | 性欧美疯狂xxxxbbbb | 奇米影视7777久久精品人人爽 | 精品熟女少妇av免费观看 | 国内精品九九久久久精品 | 99国产欧美久久久精品 | 亚洲精品国偷拍自产在线观看蜜桃 | 久热国产vs视频在线观看 | 熟妇人妻无码xxx视频 | 日韩在线不卡免费视频一区 | 奇米影视7777久久精品人人爽 | 啦啦啦www在线观看免费视频 | 亚洲色偷偷偷综合网 | 国产综合色产在线精品 | 亚洲综合色区中文字幕 | 人妻夜夜爽天天爽三区 | 国产精品美女久久久久av爽李琼 | 极品嫩模高潮叫床 | 国产高潮视频在线观看 | 乱人伦人妻中文字幕无码久久网 | 日日天干夜夜狠狠爱 | 男女超爽视频免费播放 | 国产精品理论片在线观看 | 99久久精品日本一区二区免费 | 国产成人精品视频ⅴa片软件竹菊 | 少妇无码吹潮 | 夜夜影院未满十八勿进 | 超碰97人人射妻 | 欧美日韩在线亚洲综合国产人 | 四虎影视成人永久免费观看视频 | 亚洲 高清 成人 动漫 | 无码中文字幕色专区 | 女人被男人躁得好爽免费视频 | 欧美日本精品一区二区三区 | 日本精品人妻无码77777 天堂一区人妻无码 | 国精产品一品二品国精品69xx | 日本精品少妇一区二区三区 | 中文字幕无码人妻少妇免费 | 国产舌乚八伦偷品w中 | 图片区 小说区 区 亚洲五月 | 亚拍精品一区二区三区探花 | 欧美日本精品一区二区三区 | 久久久久成人精品免费播放动漫 | 亚洲国产成人av在线观看 | 又湿又紧又大又爽a视频国产 | 国产av一区二区精品久久凹凸 | 久久久久久国产精品无码下载 | 国产精品自产拍在线观看 | 中文字幕中文有码在线 | 色五月五月丁香亚洲综合网 | 2020最新国产自产精品 | 免费国产成人高清在线观看网站 | 日日噜噜噜噜夜夜爽亚洲精品 | 欧洲熟妇精品视频 | 久久综合香蕉国产蜜臀av | 国产在线一区二区三区四区五区 | 青青青手机频在线观看 | 熟女体下毛毛黑森林 | 亚洲成a人片在线观看日本 | 亚洲精品久久久久avwww潮水 | 青青草原综合久久大伊人精品 | 无码一区二区三区在线观看 | 国产精品免费大片 | 牲欲强的熟妇农村老妇女视频 | 亚洲一区二区三区 | 国产精品久久精品三级 | 国产无遮挡又黄又爽免费视频 | 色综合视频一区二区三区 | 欧美激情一区二区三区成人 | 好屌草这里只有精品 | 国产成人无码av片在线观看不卡 | 亚洲一区二区三区国产精华液 | 亚洲精品中文字幕久久久久 | 亚洲小说春色综合另类 | 亚洲爆乳无码专区 | 国产成人无码午夜视频在线观看 | 少妇性l交大片 | 国产性生交xxxxx无码 | 国产精品办公室沙发 | 蜜桃视频插满18在线观看 | 老司机亚洲精品影院无码 | 在教室伦流澡到高潮hnp视频 | 久激情内射婷内射蜜桃人妖 | 少妇性l交大片欧洲热妇乱xxx | 久久亚洲a片com人成 | 中文字幕av伊人av无码av | 麻豆成人精品国产免费 | 国产精品毛片一区二区 | 久久久国产精品无码免费专区 | 亚洲熟妇色xxxxx欧美老妇 | 嫩b人妻精品一区二区三区 | 久久亚洲中文字幕精品一区 | 少妇性荡欲午夜性开放视频剧场 | 亚洲天堂2017无码中文 | 性色欲网站人妻丰满中文久久不卡 | 欧美日韩亚洲国产精品 | 亚洲熟熟妇xxxx | 欧美 丝袜 自拍 制服 另类 | 精品无码成人片一区二区98 | 在线а√天堂中文官网 | 亚洲精品www久久久 | 久久精品国产99精品亚洲 | 人人妻人人澡人人爽欧美一区 | 国产精品手机免费 | 性史性农村dvd毛片 | 奇米影视7777久久精品 | 男女猛烈xx00免费视频试看 | 乱人伦中文视频在线观看 | 天堂一区人妻无码 | 人人爽人人澡人人高潮 | 亚洲区小说区激情区图片区 | 搡女人真爽免费视频大全 | 永久免费精品精品永久-夜色 | 在线视频网站www色 | 日本大乳高潮视频在线观看 | 久久综合给合久久狠狠狠97色 | 亚洲精品国产第一综合99久久 | 午夜福利不卡在线视频 | 国产成人无码专区 | 99久久精品无码一区二区毛片 | 国产高潮视频在线观看 | 国产成人精品三级麻豆 | 国产亚洲视频中文字幕97精品 | 亚洲欧洲日本无在线码 | 全黄性性激高免费视频 | www国产亚洲精品久久久日本 | 色综合久久久无码网中文 | 精品久久综合1区2区3区激情 | 日日碰狠狠躁久久躁蜜桃 | 欧美国产亚洲日韩在线二区 | 久久久久久亚洲精品a片成人 | 夫妻免费无码v看片 | 国产在线aaa片一区二区99 | 中文字幕乱码人妻无码久久 | 亚洲 欧美 激情 小说 另类 | 中文字幕无码热在线视频 | 日韩人妻少妇一区二区三区 | 蜜桃视频插满18在线观看 | 亚洲成色www久久网站 | 欧洲精品码一区二区三区免费看 | 亚洲日本va午夜在线电影 | 2019nv天堂香蕉在线观看 | 中文字幕无码免费久久9一区9 | 亚洲人成影院在线观看 | 国内精品久久久久久中文字幕 | 欧美日韩综合一区二区三区 | 久久久成人毛片无码 | 国产偷抇久久精品a片69 | 免费观看又污又黄的网站 | 成在人线av无码免费 | 正在播放老肥熟妇露脸 | 久久精品国产亚洲精品 | 亚洲乱码中文字幕在线 | 未满小14洗澡无码视频网站 | 日韩亚洲欧美中文高清在线 | 亚洲va欧美va天堂v国产综合 | 国产亚洲精品精品国产亚洲综合 | 熟妇激情内射com | 亚洲精品国偷拍自产在线麻豆 | 欧美色就是色 | 日韩无码专区 | 国产精品99久久精品爆乳 | 狂野欧美性猛交免费视频 | 国产亚洲精品久久久久久久久动漫 | 久久亚洲中文字幕精品一区 | 亚洲中文字幕无码中文字在线 | 中文无码伦av中文字幕 | 欧美freesex黑人又粗又大 | 精品国产一区二区三区av 性色 | 婷婷色婷婷开心五月四房播播 | 精品国产麻豆免费人成网站 | 国产精品久久久久9999小说 | 久久久久se色偷偷亚洲精品av | 少妇性l交大片欧洲热妇乱xxx | 亚洲国产精品久久久天堂 | 欧美日韩人成综合在线播放 | 正在播放老肥熟妇露脸 | 国产精品免费大片 | 久久人人97超碰a片精品 | 激情亚洲一区国产精品 | 亚洲啪av永久无码精品放毛片 | 久久久久免费精品国产 | 国产成人综合美国十次 | 精品国产福利一区二区 | 亚洲一区二区三区在线观看网站 | 撕开奶罩揉吮奶头视频 | 无码任你躁久久久久久久 | 国产精品久久久av久久久 | 亚洲人成网站色7799 | 人人妻人人澡人人爽人人精品 | 中国女人内谢69xxxxxa片 | 妺妺窝人体色www在线小说 | 亚洲一区二区三区香蕉 | 国产精品美女久久久网av | 免费国产成人高清在线观看网站 | 荫蒂添的好舒服视频囗交 | 国产婷婷色一区二区三区在线 | 精品偷拍一区二区三区在线看 | 丝袜足控一区二区三区 | 亚洲 另类 在线 欧美 制服 | 成年美女黄网站色大免费全看 | 欧美丰满熟妇xxxx性ppx人交 | 欧美 丝袜 自拍 制服 另类 | 久久精品国产一区二区三区 | 精品国产av色一区二区深夜久久 | 又粗又大又硬毛片免费看 | 久久精品国产一区二区三区肥胖 | 亚洲 另类 在线 欧美 制服 | 麻豆蜜桃av蜜臀av色欲av | 俺去俺来也www色官网 | 给我免费的视频在线观看 | 300部国产真实乱 | 奇米影视888欧美在线观看 | 国产色在线 | 国产 | 波多野结衣av一区二区全免费观看 | 午夜性刺激在线视频免费 | 国产真人无遮挡作爱免费视频 | 国产口爆吞精在线视频 | 国产 精品 自在自线 | 偷窥村妇洗澡毛毛多 | 亚洲精品综合五月久久小说 | 永久免费观看国产裸体美女 | 免费无码午夜福利片69 | 色婷婷久久一区二区三区麻豆 | 国产精品无码永久免费888 | 久久精品女人天堂av免费观看 | 人人妻人人澡人人爽欧美一区九九 | 牲欲强的熟妇农村老妇女 | 一本色道婷婷久久欧美 | 夫妻免费无码v看片 | 免费人成网站视频在线观看 | √8天堂资源地址中文在线 | 大地资源网第二页免费观看 | 在线播放无码字幕亚洲 | 欧美性生交活xxxxxdddd | 老子影院午夜精品无码 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 精品无码av一区二区三区 | 日韩成人一区二区三区在线观看 | 1000部夫妻午夜免费 | 国产激情综合五月久久 | 亚洲春色在线视频 | 欧美激情综合亚洲一二区 | 强辱丰满人妻hd中文字幕 | 国语精品一区二区三区 | 无码人妻精品一区二区三区下载 | 亚洲综合无码一区二区三区 | 久久久www成人免费毛片 | 久久久久久国产精品无码下载 | 国产高潮视频在线观看 | 国产无遮挡又黄又爽又色 | 久久久久亚洲精品中文字幕 | 中文字幕无码视频专区 | 亚洲熟悉妇女xxx妇女av | 中文字幕人妻无码一区二区三区 | 乱人伦中文视频在线观看 | 天天综合网天天综合色 | 欧美激情内射喷水高潮 | 亚洲男女内射在线播放 | 久久午夜无码鲁丝片 | 无码吃奶揉捏奶头高潮视频 | 国内精品一区二区三区不卡 | 日本大香伊一区二区三区 | 在线视频网站www色 | 青春草在线视频免费观看 | 99精品国产综合久久久久五月天 | 亚洲一区二区观看播放 | 中文字幕乱码亚洲无线三区 | 亚洲经典千人经典日产 | 欧美日韩视频无码一区二区三 | 综合人妻久久一区二区精品 | 丝袜人妻一区二区三区 | 人妻中文无码久热丝袜 | 女人色极品影院 | 日本熟妇人妻xxxxx人hd | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 国产明星裸体无码xxxx视频 | 中文字幕乱码亚洲无线三区 | 亚洲理论电影在线观看 | 99精品国产综合久久久久五月天 | 色欲久久久天天天综合网精品 | av在线亚洲欧洲日产一区二区 | 午夜成人1000部免费视频 | 免费乱码人妻系列无码专区 | 人妻有码中文字幕在线 | 日日天日日夜日日摸 | 无码国内精品人妻少妇 | 国产精品资源一区二区 | 一个人免费观看的www视频 | 日日碰狠狠躁久久躁蜜桃 | 欧美日韩一区二区综合 | 巨爆乳无码视频在线观看 | 极品嫩模高潮叫床 | 亚洲人成网站免费播放 | 少妇邻居内射在线 | 欧美性猛交内射兽交老熟妇 | 国产一区二区三区精品视频 | 最新国产麻豆aⅴ精品无码 | 久久国产精品_国产精品 | 日本一本二本三区免费 | 欧美老人巨大xxxx做受 | 色情久久久av熟女人妻网站 | 久久久久se色偷偷亚洲精品av | 精品国偷自产在线 | 免费观看又污又黄的网站 | 欧美国产亚洲日韩在线二区 | 日本肉体xxxx裸交 | 日韩精品a片一区二区三区妖精 | 国产热a欧美热a在线视频 | 西西人体www44rt大胆高清 | 丰满少妇熟乱xxxxx视频 | 丰满人妻一区二区三区免费视频 | 久久久亚洲欧洲日产国码αv | 波多野结衣av一区二区全免费观看 | 99久久久无码国产精品免费 | 99麻豆久久久国产精品免费 | 俄罗斯老熟妇色xxxx | 青青青手机频在线观看 | 精品无人国产偷自产在线 | 红桃av一区二区三区在线无码av | 欧美性猛交xxxx富婆 | 丰满人妻翻云覆雨呻吟视频 | 国产乱人伦偷精品视频 | 强伦人妻一区二区三区视频18 | 亚洲国产精品成人久久蜜臀 | 亚洲熟悉妇女xxx妇女av | 性开放的女人aaa片 | 纯爱无遮挡h肉动漫在线播放 | 午夜无码区在线观看 | 97色伦图片97综合影院 | 亚洲精品国产精品乱码视色 | 久久人人爽人人爽人人片ⅴ | 久久久中文久久久无码 | 人妻少妇精品无码专区二区 | 少妇无套内谢久久久久 | 国产精品爱久久久久久久 | 久久婷婷五月综合色国产香蕉 | 精品偷自拍另类在线观看 | 精品aⅴ一区二区三区 | 国产精品办公室沙发 | 高清无码午夜福利视频 | 色婷婷av一区二区三区之红樱桃 | 天天摸天天碰天天添 | 亚洲爆乳精品无码一区二区三区 | 男人的天堂2018无码 | 久久国内精品自在自线 | 亚洲中文字幕va福利 | 婷婷五月综合缴情在线视频 | 国产无av码在线观看 | 九九久久精品国产免费看小说 | 日韩在线不卡免费视频一区 | 国产人妻久久精品二区三区老狼 | 国产亚洲欧美日韩亚洲中文色 | 夫妻免费无码v看片 | 亚洲综合在线一区二区三区 | 老司机亚洲精品影院无码 | 亚洲男女内射在线播放 | 亚洲人成影院在线观看 | 中文字幕乱码亚洲无线三区 | 内射欧美老妇wbb | 激情爆乳一区二区三区 | 欧洲美熟女乱又伦 | 久久久中文字幕日本无吗 | 男女下面进入的视频免费午夜 | 人人妻人人澡人人爽人人精品浪潮 | 亚洲狠狠婷婷综合久久 | 日本一区二区更新不卡 | 久久久久久av无码免费看大片 | 亚洲の无码国产の无码步美 | 亚洲色欲久久久综合网东京热 | 国产成人无码a区在线观看视频app | 性生交大片免费看女人按摩摩 | 亚洲精品无码人妻无码 | 天天摸天天透天天添 | 毛片内射-百度 | 成人精品一区二区三区中文字幕 | 国产极品美女高潮无套在线观看 | 亚洲精品综合一区二区三区在线 | 色偷偷av老熟女 久久精品人妻少妇一区二区三区 | 日本精品高清一区二区 | 国产网红无码精品视频 | 在线成人www免费观看视频 | 无码精品国产va在线观看dvd | 国产乱人伦偷精品视频 | 熟女体下毛毛黑森林 | 久久国语露脸国产精品电影 | 国产三级精品三级男人的天堂 | 国产农村妇女aaaaa视频 撕开奶罩揉吮奶头视频 | 国产绳艺sm调教室论坛 | 国产一区二区三区影院 | 欧美变态另类xxxx | 精品国偷自产在线 | 日本护士xxxxhd少妇 | 国产香蕉尹人综合在线观看 | 婷婷五月综合缴情在线视频 | 日韩成人一区二区三区在线观看 | 少妇性l交大片欧洲热妇乱xxx | 精品久久久久香蕉网 | 免费观看黄网站 | 久久午夜无码鲁丝片秋霞 | 99精品国产综合久久久久五月天 | 国产乱人无码伦av在线a | 鲁鲁鲁爽爽爽在线视频观看 | 成人无码视频免费播放 | 给我免费的视频在线观看 | 丁香花在线影院观看在线播放 | 亚洲s码欧洲m码国产av | 亚洲日本在线电影 | 欧美丰满老熟妇xxxxx性 | 国产精品久久久一区二区三区 | 六十路熟妇乱子伦 | 亚洲人成影院在线观看 | 国产又爽又黄又刺激的视频 | 高清国产亚洲精品自在久久 | 小sao货水好多真紧h无码视频 | 久久久久成人片免费观看蜜芽 | 国产成人一区二区三区别 | 精品久久久无码中文字幕 | 久久精品99久久香蕉国产色戒 | 无套内谢的新婚少妇国语播放 | 无码人妻久久一区二区三区不卡 | 久久亚洲中文字幕精品一区 | 国内揄拍国内精品少妇国语 | 久久久久成人片免费观看蜜芽 | 成年美女黄网站色大免费视频 | 人妻aⅴ无码一区二区三区 | 久久久久久久女国产乱让韩 | 欧美日韩一区二区免费视频 | 黑森林福利视频导航 | 人妻夜夜爽天天爽三区 | 亚洲 a v无 码免 费 成 人 a v | 久久综合狠狠综合久久综合88 | 日韩人妻无码一区二区三区久久99 | 亚洲中文字幕在线无码一区二区 | 国产高潮视频在线观看 | 国产成人综合在线女婷五月99播放 | 无遮挡啪啪摇乳动态图 | 亚洲国产精品久久人人爱 | 色综合天天综合狠狠爱 | 国产乱人偷精品人妻a片 | 精品成人av一区二区三区 | 俄罗斯老熟妇色xxxx | 天堂а√在线地址中文在线 | 伊人久久大香线焦av综合影院 | 亚洲毛片av日韩av无码 | 中文精品无码中文字幕无码专区 | 领导边摸边吃奶边做爽在线观看 | 荫蒂被男人添的好舒服爽免费视频 | 久久国语露脸国产精品电影 | 国产农村妇女aaaaa视频 撕开奶罩揉吮奶头视频 | 亚洲精品一区二区三区大桥未久 | 窝窝午夜理论片影院 | 国产一区二区三区日韩精品 | 精品无码一区二区三区的天堂 | 狂野欧美性猛xxxx乱大交 | 偷窥日本少妇撒尿chinese | 无码吃奶揉捏奶头高潮视频 | 国产午夜亚洲精品不卡下载 | 装睡被陌生人摸出水好爽 | 人妻aⅴ无码一区二区三区 | 亚洲人成人无码网www国产 | 黑人玩弄人妻中文在线 | 中文字幕无码热在线视频 | 午夜理论片yy44880影院 | 亚洲精品国产品国语在线观看 | 亚洲码国产精品高潮在线 | 亚洲中文字幕久久无码 | 2019nv天堂香蕉在线观看 | 中文字幕亚洲情99在线 | 午夜熟女插插xx免费视频 | 麻豆国产人妻欲求不满谁演的 | 中文字幕乱码亚洲无线三区 | 欧洲熟妇精品视频 | 精品夜夜澡人妻无码av蜜桃 | 2020最新国产自产精品 | 欧美性猛交内射兽交老熟妇 | 亚洲熟悉妇女xxx妇女av | 久久精品丝袜高跟鞋 | 欧美肥老太牲交大战 | 亚洲精品一区二区三区大桥未久 | 亚洲自偷自偷在线制服 | 国产亚洲视频中文字幕97精品 | 久激情内射婷内射蜜桃人妖 | 久久精品中文字幕一区 | 好爽又高潮了毛片免费下载 | 又色又爽又黄的美女裸体网站 | 国产香蕉97碰碰久久人人 | 国产亚洲人成在线播放 | 伊人久久婷婷五月综合97色 | 中文字幕无线码 | 亚洲理论电影在线观看 | 俺去俺来也www色官网 | 国产午夜精品一区二区三区嫩草 | 丰满妇女强制高潮18xxxx | 国产成人一区二区三区在线观看 | 精品欧洲av无码一区二区三区 | 亚洲欧美日韩综合久久久 | 久久久久亚洲精品男人的天堂 | 日产精品高潮呻吟av久久 | 强开小婷嫩苞又嫩又紧视频 | 精品久久综合1区2区3区激情 | 午夜时刻免费入口 | 国产人妻精品一区二区三区不卡 | 99久久精品午夜一区二区 | 亚洲国产精品美女久久久久 | 国产亚洲视频中文字幕97精品 | 色五月五月丁香亚洲综合网 | 国内精品九九久久久精品 | 国产成人无码av片在线观看不卡 | 欧美黑人巨大xxxxx | 激情人妻另类人妻伦 | 欧美激情一区二区三区成人 | www国产亚洲精品久久久日本 | 亚洲中文字幕va福利 | 我要看www免费看插插视频 | 亚洲色www成人永久网址 | 香港三级日本三级妇三级 | 精品一区二区不卡无码av | 国产精品无码久久av | 国产精品久久福利网站 | 国产午夜精品一区二区三区嫩草 | 男女作爱免费网站 | 中国女人内谢69xxxxxa片 | 日日橹狠狠爱欧美视频 | 亚洲色欲色欲天天天www | 亚洲国产成人av在线观看 | 动漫av一区二区在线观看 | 疯狂三人交性欧美 | 亚洲中文字幕成人无码 | 男人和女人高潮免费网站 | 色一情一乱一伦一视频免费看 | 又大又硬又黄的免费视频 | 免费人成在线视频无码 | 夫妻免费无码v看片 | 少妇人妻偷人精品无码视频 | 国产综合色产在线精品 | 色偷偷人人澡人人爽人人模 | 亚洲狠狠婷婷综合久久 | 色偷偷人人澡人人爽人人模 | 国产午夜精品一区二区三区嫩草 | 亚洲成a人片在线观看无码3d | 亚洲日韩中文字幕在线播放 | 欧美人与善在线com | 国产乱子伦视频在线播放 | 国内精品九九久久久精品 | 亚洲成a人一区二区三区 | 99久久久无码国产aaa精品 | 精品国产一区二区三区av 性色 | 青青久在线视频免费观看 | 性色欲网站人妻丰满中文久久不卡 | 麻豆av传媒蜜桃天美传媒 | 精品人妻人人做人人爽夜夜爽 | 波多野42部无码喷潮在线 | 内射巨臀欧美在线视频 | 精品一区二区三区波多野结衣 | 国产精品无码一区二区三区不卡 | 无码国产乱人伦偷精品视频 | 精品人妻av区 | 国产在线一区二区三区四区五区 | 在线观看免费人成视频 | 中文字幕乱码人妻二区三区 | 久久综合九色综合欧美狠狠 | 少妇人妻大乳在线视频 | 国产亚洲精品久久久久久国模美 | 久久精品人人做人人综合试看 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 99久久精品无码一区二区毛片 | 久久99国产综合精品 | 国产成人精品三级麻豆 | 欧美精品免费观看二区 | 强辱丰满人妻hd中文字幕 | 久久久久99精品成人片 | 在线播放免费人成毛片乱码 | 国语精品一区二区三区 | 精品人人妻人人澡人人爽人人 | 国产区女主播在线观看 | 99久久久国产精品无码免费 | 国产香蕉97碰碰久久人人 | 国产又爽又猛又粗的视频a片 | 特级做a爰片毛片免费69 | 麻豆国产人妻欲求不满谁演的 | 欧美丰满老熟妇xxxxx性 | 装睡被陌生人摸出水好爽 | 人妻无码久久精品人妻 | 国产综合色产在线精品 | 无人区乱码一区二区三区 | 久久成人a毛片免费观看网站 | 中文字幕乱码中文乱码51精品 | 日本乱偷人妻中文字幕 | 国产性生大片免费观看性 | 日韩人妻无码中文字幕视频 | 一本加勒比波多野结衣 | 水蜜桃亚洲一二三四在线 | 欧美野外疯狂做受xxxx高潮 | 久久久精品欧美一区二区免费 | 亚洲日韩av一区二区三区四区 | 久精品国产欧美亚洲色aⅴ大片 | 成人一在线视频日韩国产 | 熟女体下毛毛黑森林 | 2019nv天堂香蕉在线观看 | 久久久亚洲欧洲日产国码αv | 玩弄中年熟妇正在播放 | 成人无码视频在线观看网站 | 99久久亚洲精品无码毛片 | 国产色在线 | 国产 | 好男人www社区 | 人人妻人人澡人人爽精品欧美 | 国产精品人人爽人人做我的可爱 | 人人爽人人澡人人高潮 | 国产成人精品视频ⅴa片软件竹菊 |