久久精品国产精品国产精品污,男人扒开添女人下部免费视频,一级国产69式性姿势免费视频,夜鲁夜鲁很鲁在线视频 视频,欧美丰满少妇一区二区三区,国产偷国产偷亚洲高清人乐享,中文 在线 日韩 亚洲 欧美,熟妇人妻无乱码中文字幕真矢织江,一区二区三区人妻制服国产

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > 数据库 >内容正文

数据库

oracle数据库延迟执行,如何诊断oracle数据库运行缓慢或hang住的问题

發布時間:2024/7/5 数据库 28 豆豆
生活随笔 收集整理的這篇文章主要介紹了 oracle数据库延迟执行,如何诊断oracle数据库运行缓慢或hang住的问题 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

為了診斷oracle運行緩慢的問題首先要決定收集哪些診斷信息,可以采取下面的診斷方法:

1.數據庫運行緩慢這個問題是常見還是在特定時間出現

如果數據庫運行緩慢是一個常見的問題那么可以在問題出現的時候收集這個時期的awr或者statspack報告(通常收集時間間隔是一個小時).生成awr報告的方法如下:

awr是通過sys用戶來收集持久系統性能統計信息并且這些信息保存在sysaux表空間.缺省情況下快照是一個小時生成一次并且保留7天.awr報告輸出了基于指定快照之間的一系列的統計信息用于性能分析和調查其它問題.

運行基本的報告

可以執行下面的腳本來生成一個awr報告:

$ORACLE_HOME/rdbms/admin/awrrpt.sql

可以根據自己收集awr報告的原因來決定生成一個快照的時間間隔也可以指定生成awr報告的格式(text或html).

生成各種類型的awr報告

可以根據各種要求來運行各種sql腳本來生成各種類型的awr報告.每一種報告都有兩種格式(txt或html):

awrrpt.sql

顯示指定快照范圍內的各種統計信息

awrrpti.sql

顯示一個特定數據庫和實例中指定快照范圍內的各種統計信息

awrsqrpt.sql

顯示一個指定快照范圍內的一個特定的sql語句的統計信息.運行這個報告是為了檢查或調查一個特定sql語句的性能

awrsqrpi.sql

顯示一個特定sql在指定快照范圍內的的統計信息.

awrddrpt.sql

比較在兩個選擇的時間間隔期間內詳細的性能數據和配置情況

awrddrpi.sql

在一個特定的數據庫和平共處實例中比較在兩個選擇的時間間隔期間內詳細的性能數和配置情況

各種awr相關的操作

怎樣修改awr快照的設置:

BEGIN

DBMS_WORKLOAD_REPOSITORY.modify_snapshot_settings(

retention => 43200, -- Minutes (43200 = 30 Days).

-- Current value retained if NULL.

interval => 30); -- Minutes. Current value retained if NULL.

END;

/

創建一個awr基線:

BEGIN

DBMS_WORKLOAD_REPOSITORY.create_baseline (

start_snap_id => 10,

end_snap_id => 100,

baseline_name => 'AWR First baseline');

END;

/

在oracle11G中引入了一個新的dbms_workload_repository.create_baseline_template過程來創建一個awr基線模板

BEGIN

DBMS_WORKLOAD_REPOSITORY.CREATE_BASELINE_TEMPLATE (

start_time => to_date('&start_date_time','&start_date_time_format'),

end_time => to_date('&end_date_time','&end_date_time_format'),

baseline_name => 'MORNING',

template_name => 'MORNING',

expiration => NULL ) ;

END;

/

"expiration=>NULL"這意味著這個基線將永遠保持有效.

刪除一個awr基線

BEGIN

DBMS_WORKLOAD_REPOSITORY.DROP_BASELINE (

baseline_name => 'AWR First baseline');

END;

/

也能從一個老的數據庫中刪除一個awr基線:

BEGIN

DBMS_WORKLOAD_REPOSITORY.DROP_BASELINE (baseline_name => 'peak baseline',

cascade => FALSE, dbid => 3310949047);

END;

/

刪除awr快照:

BEGIN

DBMS_WORKLOAD_REPOSITORY.drop_snapshot_range(

(low_snap_id=>40,

High_snap_id=>80);

END;

/

也可能基于報告時間期間對創建和刪除的awr基線指定一個模板:

BEGIN

DBMS_WORKLOAD_REPOSITORY.CREATE_BASELINE_TEMPLATE (

day_of_week => 'MONDAY',

hour_in_day => 9,

duration => 3,

start_time => to_date('&start_date_time','&start_date_time_format'),

end_time => to_date('&end_date_time','&end_date_time_format'),

baseline_name_prefix => 'MONDAY_MORNING'

template_name => 'MONDAY_MORNING',

expiration => 30 );

END;

/

將會在'&start_date_time'到'&end_date_time'期間的每一個星期一都會生成基線

手動生成的一個awr快照:

BEGIN

DBMS_WORKLOAD_REPOSITORY.create_snapshot();

END;

/

工作負載資料檔案庫視圖:

V$ACTIVE_SESSION_HISTORY - 顯示歷史活動會話信息每秒抽樣一樣

V$METRIC - 顯示度量標準信息

V$METRICNAME - 顯示與每個度量標準組相關的度量標準

V$METRIC_HISTORY - 顯示歷史度量標準

V$METRICGROUP - 顯示所有的度量標準組

DBA_HIST_ACTIVE_SESS_HISTORY - 顯示歷史活動會話的詳細信息

DBA_HIST_BASELINE - 顯示基線信息

DBA_HIST_DATABASE_INSTANCE - 顯示數據庫環境信息

DBA_HIST_SNAPSHOT - 顯示快照信息

DBA_HIST_SQL_PLAN - 顯示sql執行計劃

DBA_HIST_WR_CONTROL - 顯示awr設置情況

如果數據庫運行緩慢在特定時間出現那么可以當問題存在時生成一個awr或statspack報告,報告的時間間隔包含了問題出現的時間.另外為了比較可以收集沒有出現問題而時間間隔相同的數據庫正常運行的報告這樣可以對報告進行比較.

2.數據庫緩慢它影響的是一個會話,幾個會話還是所有會話

如果數據庫緩慢它影響的是一個會話或幾個會話可以對這個會話或幾個會話進行10046跟蹤

如果數據庫緩慢它影響的是所有會話可以收集awr或statspack報告

執行10046跟蹤的方法如下:

收集10046跟蹤文件

10046事件是一種標準的方法用來對oracle會話收集擴展的sql_trace信息

對于查詢性能問題來說通常要求記錄查詢的等待和綁定變量信息.這可以使用級別為12的10046跟蹤來完成.下面的例子說明了在各種情況下設置10046事件.

跟蹤文件的位置

在oracle11g及以上版本中引入了新的診斷架構,跟蹤和核心文件存儲的位置由diagnostic_dest初始化參數來控制.可以使用下面的命令來顯示:

sys@JINGYONG> show parameter diagnostic_dest

NAME TYPE VALUE

------------------------------------ ----------- ------------------------------

diagnostic_dest string /u01/app/oracle

注意:在有些例子中可能設置了'tracefile_identifier'來幫助找到輸出的跟蹤文件

會話跟蹤

可以在用戶會話執行sql語句之前對會話啟用跟蹤,在會話級別收集10046跟蹤

sys@JINGYONG> alter session set timed_statistics=true;

會話已更改。

sys@JINGYONG> alter session set statistics_level=all;

會話已更改。

sys@JINGYONG> alter session set max_dump_file_size=unlimited;

會話已更改。

sys@JINGYONG> alter session set events '10046 trace name context forever,level 1

2';

會話已更改。

sys@JINGYONG> select * from dual;

D

-

X

sys@JINGYONG>exit

如果會話沒有退出可以執行以下語句來禁用10046跟蹤

sys@JINGYONG> alter session set events '10046 trace name context off';

會話已更改。

sys@JINGYONG> select * from v$diag_info ;

INST_ID NAME

---------- ----------------------------------------------------------------

VALUE

--------------------------------------------------------------------------------

--------------------------------------------------------------------------------

----------------------------------------

1 Diag Enabled

TRUE

1 ADR Base

/u01/app/oracle

1 ADR Home

/u01/app/oracle/diag/rdbms/jingyong/jingyong

1 Diag Trace

/u01/app/oracle/diag/rdbms/jingyong/jingyong/trace

1 Diag Alert

/u01/app/oracle/diag/rdbms/jingyong/jingyong/alert

1 Diag Incident

/u01/app/oracle/diag/rdbms/jingyong/jingyong/incident

1 Diag Cdump

/u01/app/oracle/diag/rdbms/jingyong/jingyong/cdump

1 Health Monitor

/u01/app/oracle/diag/rdbms/jingyong/jingyong/hm

1 Default Trace File

/u01/app/oracle/diag/rdbms/jingyong/jingyong/trace/jingyong_ora_2572_10046.trc

1 Active Problem Count

0

1 Active Incident Count

0

已選擇11行。

sys@JINGYONG> select * from v$diag_info where name='Default Trace File';

INST_ID NAME

---------- ----------------------------------------------------------------

VALUE

--------------------------------------------------------------------------------

--------------------------------------------------------------------------------

----------------------------------------

1 Default Trace File

/u01/app/oracle/diag/rdbms/jingyong/jingyong/trace/jingyong_ora_2572_10046.trc

注意:如果會話不是徹底的關閉和禁用跟蹤那么重要的跟蹤信息可能會從跟蹤文件中丟失.

注意:這里statistics_level=all因此它會在這種情況下收集一定程度的統計信息.這個參數有三個參數值.all,typical,basic.為了診斷性能問題會要求獲得一定程度的統計信息.設置為all可能是不必要的但可以使用typical以此來獲得全面的診斷信息.

跟蹤一個已經啟動的進程

如果要跟蹤一個已經存在的會話可以使用oradebug來連接到會話初始化10046跟蹤

1.通過某種方法來確定要被跟蹤的會話

例如在sql*plus中啟動一個會話然后找到這個會話的操作系統進行id(spid):

select p.PID,p.SPID,s.SID

from v$process p,v$session s

where s.paddr = p.addr

and s.sid = &SESSION_ID

/

SPID是操作系統進程標識符

PID是oracle進程標識符

如果你不知道要不得被跟蹤會話的sid可以使用類似于下面的查詢來幫助你識別這個會話:

column line format a79

set heading off

select 'ospid: ' || p.spid ||' pid: '||p.pid || ' # ''' ||s.sid||','||s.serial#||''' '||

s.osuser || ' ' ||s.machine ||' '||s.username ||' '||s.program line

from v$session s , v$process p

where p.addr = s.paddr

and s.username <> ' ';

執行結果如下:

sys@JINGYONG> column line format a79

sys@JINGYONG> set heading off

sys@JINGYONG> select 'ospid: ' || p.spid || ' # ''' ||s.sid||','||s.serial#||'''

'||

2 s.osuser || ' ' ||s.machine ||' '||s.username ||' '||s.program line

3 from v$session s , v$process p

4 where p.addr = s.paddr

5 and s.username <> ' ';

ospid: 2529 # '30,32' Administrator WORKGROUP\JINGYONG SYS sqlplus.exe

注意:在oracle12c中對于多線程進程,在v$process視圖中加入了新的列stid來找到特定的線程.因為oracle會組合多個進程到一個單獨的ospid中.為了找到這個特定的線程使用下面的語法:

oradebug setospid

2.當確定進程的操作系統進程ID后然后可以使用下面的語句來初始化跟蹤:

假設要被跟蹤進程的操作系統進程ID是2529

SQL>connect / as sysdba

sys@JINGYONG> oradebug setospid 2529

Oracle pid: 21, Unix process pid: 2529, image: oracle@jingyong

sys@JINGYONG> oradebug unlimit

已處理的語句

sys@JINGYONG> oradebug event 10046 trace name context forever,level 12

已處理的語句

sys@JINGYONG> select * from dual;

X

sys@JINGYONG> oradebug event 10046 trace name context off

已處理的語句

sys@JINGYONG> oradebug tracefile_name

/u01/app/oracle/diag/rdbms/jingyong/jingyong/trace/jingyong_ora_2529.trc

注意:連接到一個會話也可以使用oradebug setorapid

在這種情況下PID(oracle進程標識符)將被使用(而不是使用SPID):

sys@JINGYONG> oradebug setorapid 21

Oracle pid: 21, Unix process pid: 2529, image: oracle@jingyong

從顯示的信息可知道使用oradebug setorapid 21與oradebug set0spid 2529是一樣的

sys@JINGYONG> oradebug unlimit

已處理的語句

sys@JINGYONG> oradebug event 10046 trace name context forever,level 12

已處理的語句

sys@JINGYONG> select sysdate from dual;

11-11月-13

sys@JINGYONG> oradebug event 10046 trace name context off

已處理的語句

sys@JINGYONG> oradebug tracefile_name

/u01/app/oracle/diag/rdbms/jingyong/jingyong/trace/jingyong_ora_2529.trc

注意:在oracle12c中對于多線程進程,在v$process視圖中加入了新的列stid來找到特定的線程.因為oracle會組合多個進程到一個單獨的ospid中.為了找到這個特定的線程使用下面的語法:

oradebug setospid

跟蹤產生的跟蹤文件名稱類似于_.trc

實例級別的跟蹤

注意:在實例級別啟用跟蹤因為每一個會話都會被跟蹤這樣對性能是有影響的

在設置這個跟蹤參數后產生的每一個會話都會被跟蹤斷開的會話將不會被跟蹤

設置系統級別的10046跟蹤是用于當出現了一個問題會話但不能提前識別這個會話的情況下.在這種情況下跟蹤可以被短時間地啟用,這個問題可能會記錄到跟蹤文件中然后禁用跟蹤在生成的跟蹤文件中找到這個問題的原因

啟用系統級別的10046跟蹤:

alter system set events '10046 trace name context forever,level 12';

對所有會話禁有系統級別的10046跟蹤:

alter system set events '10046 trace name context off';

初始化參數的設置:

當實例重新啟動后對每一個會話啟用10046跟蹤.

event="10046 trace name context forever,level 12"

要禁用實例級別的10046跟蹤可以刪除這個初始化參數然后重啟實例或者使用alter system語句

alter system set events '10046 trace name context off';

編寫登錄觸發器

在有些情況下可能要跟蹤特定用戶的會話活動在這種情況下可以編寫一個登錄觸發器來實現例如:

CREATE OR REPLACE TRIGGER SYS.set_trace

AFTER LOGON ON DATABASE

WHEN (USER like '&USERNAME')

DECLARE

lcommand varchar(200);

BEGIN

EXECUTE IMMEDIATE 'alter session set tracefile_identifier=''From_Trigger''';

EXECUTE IMMEDIATE 'alter session set statistics_level=ALL';

EXECUTE IMMEDIATE 'alter session set max_dump_file_size=UNLIMITED';

EXECUTE IMMEDIATE 'alter session set events ''10046 trace name context forever, level 12''';

END set_trace;

/

注意:為了能跟蹤會話用戶執行觸發器需要顯式的被授予'alter session'權限:

grant alter session to username;

使用SQLT來收集跟蹤信息

什么是SQLTXPLAIN(SQLT)

SQLTXPLAIN也叫作SQLT,它是由專業的oracle服務技術中心提供了一個工具.SQLT輸入一個SQL語句后它會輸出一組診斷文件.這些診斷文件會被用來診斷性能低下的sql語句.SQLT連接到數據庫并收集執行,基于成本優化的統計信息,方案對象元數據,性能統計,配置參數和類似影響SQL性能的元素.

使用SQLTXPLAIN的Xecute選項可以生成10046跟蹤作為SQLT輸出的一部分.

使用dbms_monitor包來進行跟蹤

dbms_monitor是一個新的跟蹤包.跟蹤基于特定的客戶端標識符或者服務名,模塊名和操作名的組合形式來啟用診斷和工作負載管理.在有些情況下可能會生成多個跟蹤文件(例如對于一個模塊啟用服務級別的跟蹤)使用新的trcsess工具來掃描所有的跟蹤文件并將它們合成一個跟蹤文件.在合并這一組跟蹤文件后可以使用標準跟蹤文件分析方法進行分析

查看啟用的跟蹤

可以查詢dba_enabled_traces來檢測什么跟蹤被啟用了.

例如:

sys@JINGYONG>select trace_type, primary_id, QUALIFIER_ID1, waits, binds

from DBA_ENABLED_TRACES;

TRACE_TYPE PRIMARY_ID QUALIFIER_ID1 WAITS BINDS

---------------------- --------------- ------------------ -------- -------

SERVICE_MODULE SYS$USERS SQL*Plus TRUE FALSE

CLIENT_ID HUGO TRUE FALSE

SERVICE v101_DGB TRUE FALSE

在這個數據庫中已經啟用了三個不同的跟蹤狀態

1.第一行記錄顯示將會對在SQL*Plus中執行的所有sql語句進行跟蹤

2.第二行記錄顯示將會對帶有客戶端標識符"HUGO'的所有會話進行跟蹤

3.第三行記錄顯示將會對使用服務"v101_DGB'連接到數據庫的所有程序進行跟蹤

session_trace_enable函數

可以使用session_trace_enable過程來對本地實例的一個指定的數據庫會話啟用sql跟蹤.

語法如下:

啟用sql跟蹤

dbms_monitor.session_trace_enable(session_id => x, serial_num => y,

waits=>(TRUE|FALSE),binds=>(TRUE|FALSE) );

禁止sql跟蹤

dbms_monitor.session_trace_disable(session_id => x, serial_num => y);

其中waits的缺省值是true,binds的缺省值是false.

可以從v$session視圖中查詢會話id和序列號

SQL> select serial#, sid , username from v$session;

SERIAL# SID USERNAME

------- ----- --------------

1 131

18 139

3 140

11 143 SCOTT

然后可以使用下面的命令來對指定的會話啟用跟蹤

SQL> execute dbms_monitor.session_trace_enable(143,11);

跟蹤狀態在數據庫重啟后就會被刪除可以查詢dba_enabled_traces視圖看到沒有記錄

sys@JINGYONG> oradebug tracefile_name

/u01/app/oracle/diag/rdbms/jingyong/jingyong/trace/jingyong_ora_2529.trc

sys@JINGYONG> select trace_type,primary_id,qualifier_id1,waits,binds

2 from dba_enabled_traces;

未選定行

當會話斷開或者使用下面的命令可以禁止跟蹤

SQL> execute dbms_monitor.session_trace_disable(143,11);

client_id_trace_enable函數

在多層架構環境中,一個請求從一個終端客戶端通過中間層分發到不同的數據庫會話.這意味著終端客戶端與數據庫會話的聯系不是靜態的.在oracle10g之前沒有方法可以對一個客戶端跨不同數據庫會話進行跟蹤.端到端的跟蹤可以通過一個新的屬性client_identifier來標識它是唯一標識一個特定的終端客戶端.這個客戶端標識符對應于v$session視圖中的client_identifier列.通過系統上下文也可以查看.

語法如下:

啟用跟蹤

execute dbms_monitor.client_id_trace_enable ( client_id =>'client x',

waits => (TRUE|FALSE), binds => (TRUE|FALSE) );

禁止跟蹤

execute dbms_monitor.client_id_trace_disable ( client_id =>'client x');

其中waits的缺省值是true,binds的缺省值是false.

例如:

可以使用dbms_session.set_identifier函數來設置client_identifier

sys@JINGYONG> exec dbms_session.set_identifier('JY');

PL/SQL 過程已成功完成。

sys@JINGYONG> select sys_context('USERENV','CLIENT_IDENTIFIER') client_id from dual;

JY

sys@JINGYONG> select client_identifier client_id from v$session where sid=30;

JY

sys@JINGYONG> exec dbms_monitor.client_id_trace_enable('JY');

PL/SQL 過程已成功完成。

使用查詢來檢查跟蹤是否已經啟用

sys@JINGYONG> select primary_id,qualifier_id1,waits,binds

2 from dba_enabled_traces where trace_type='CLIENT_ID';

PRIMARY_ID QUALIFIER_ID1 WAITS BINDS

---------------- -------------- -------- --------

JY TRUE FALSE

這個跟蹤在數據庫重啟之后還是有效的你得調用函數來禁用.

sys@JINGYONG> exec dbms_monitor.client_id_trace_disable('JY');

PL/SQL 過程已成功完成。

檢查生成的跟文件

Trace file /u01/app/oracle/diag/rdbms/jingyong/jingyong/trace/jingyong_ora_2529.trc

Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

ORACLE_HOME = /u01/app/oracle/product/11.2.0/db

System name:Linux

Node name:jingyong

Release:2.6.18-164.el5

Version:#1 SMP Tue Aug 18 15:51:54 EDT 2009

Machine:i686

Instance name: jingyong

Redo thread mounted by this instance: 1

Oracle process number: 21

Unix process pid: 2529, image: oracle@jingyong

*** 2013-11-11 11:31:56.737

*** SESSION ID:(30.32) 2013-11-11 11:31:56.737

*** CLIENT ID:() 2013-11-11 11:31:56.737

*** SERVICE NAME:(jingyong) 2013-11-11 11:31:56.737

*** MODULE NAME:(sqlplus.exe) 2013-11-11 11:31:56.737

*** ACTION NAME:() 2013-11-11 11:31:56.737

PARSING IN CURSOR #8 len=96 dep=0 uid=0 oct=3 lid=0 tim=1384150635839986 hv=3018843459 ad='275fa5ec' sqlid='3gg23wktyzta3'

select primary_id,qualifier_id1,waits,binds

from dba_enabled_traces where trace_type='CLIENT_ID'

END OF STMT

在啟用跟蹤后執行的語句被記錄到了跟蹤文件中.

sys@JINGYONG> select primary_id,qualifier_id1,waits,binds

2 from dba_enabled_traces where trace_type='CLIENT_ID';

未選定行

當你使用MTS時有時將會生成多個跟蹤文件,不同的共享服務器進程能執行sql語句這就將會生成多個跟蹤文件.對于RAC

環境也是一樣.

serv_mod_act_trace_enable函數

端到端跟蹤對于使用MODULE,ACTION,SERVICES標識的應用程序能夠進行有效地管理和計算其工作量.service名,module和

action名提供了一種方法來識別一個應用程序中重要的事務.

你可以使用serv_act_trace_enable過程來對由一組service,module和action名指定的全局會話啟用sql跟蹤,除非指定了特定

的實例名.對于一個會話的service名,module名與v$session視圖中的service_name和module列相對應.

語句如下:

啟用跟蹤

execute dbms_monitor.serv_mod_act_trace_enable('Service S', 'Module M', 'Action A',

waits => (TRUE|FALSE), binds => (TRUE|FALSE), instance_name => 'ORCL' );

禁止跟蹤

execute dbms_monitor.serv_mod_act_trace_disable('Service S', 'Module M', 'Action A');

其中waits的缺省值是true,binds的缺省值是false,instance_name的缺省值是null.

例如想要對在數據庫服務器使用SQL*Plus執行的所有sql語句進行跟蹤可以執行以下命令:

sys@JINGYONG> select module,service_name from v$session where sid=25;

MODULE SERVICE_NAME

----------------------------- ---------------------

sqlplus@jingyong (TNS V1-V3) SYS$USERS

sys@JINGYONG> exec dbms_monitor.serv_mod_act_trace_enable('SYS$USERS','sqlplus@j

ingyong (TNS V1-V3)');

PL/SQL 過程已成功完成。

sys@JINGYONG> select primary_id,qualifier_id1,waits,binds

2 from dba_enabled_traces

3 where trace_type='SERVICE_MODULE';

PRIMARY_ID QUALIFIER_ID1 WAITS BINDS

--------------- ------------------- -------- --------

SYS$USERS sqlplus@jingyong (TNS V1-V3) TRUE FALSE

啟用跟蹤后我們執行一個測試語句

SQL> select 'x' from dual;

'

-

x

檢查生成的跟蹤文件名

SQL> select * from v$diag_info where name='Default Trace File';

INST_ID NAME

---------- ----------------------------------------------------------------

VALUE

--------------------------------------------------------------------------------

1 Default Trace File

/u01/app/oracle/diag/rdbms/jingyong/jingyong/trace/jingyong_ora_4411.trc

查看跟蹤內容如下

trace file /u01/app/oracle/diag/rdbms/jingyong/jingyong/trace/jingyong_ora_4411.trc

Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

ORACLE_HOME = /u01/app/oracle/product/11.2.0/db

System name:Linux

Node name:jingyong

Release:2.6.18-164.el5

Version:#1 SMP Tue Aug 18 15:51:54 EDT 2009

Machine:i686

Instance name: jingyong

Redo thread mounted by this instance: 1

Oracle process number: 24

Unix process pid: 4411, image: oracle@jingyong (TNS V1-V3)

*** 2013-11-11 14:34:00.971

*** SESSION ID:(25.412) 2013-11-11 14:34:00.972

*** CLIENT ID:() 2013-11-11 14:34:00.972

*** SERVICE NAME:(SYS$USERS) 2013-11-11 14:34:00.972

*** MODULE NAME:(sqlplus@jingyong (TNS V1-V3)) 2013-11-11 14:34:00.972

*** ACTION NAME:() 2013-11-11 14:34:00.972

WAIT #1: nam='SQL*Net message from client' ela= 152965072 driver id=1650815232 #bytes=1 p3=0 obj#=-1 tim=1384151640937525

CLOSE #1:c=1000,e=521,dep=0,type=0,tim=1384151640973430

=====================

PARSING IN CURSOR #1 len=20 dep=0 uid=0 oct=3 lid=0 tim=1384151640977682 hv=2740543121 ad='275fa9e4' sqlid='04vfkrajpkrnj'

select 'x' from dual

我們執行的測試語句被記錄了在跟蹤文件中.

sys@JINGYONG> exec dbms_monitor.serv_mod_act_trace_disable('SYS$USERS','sqlplus@

jingyong (TNS V1-V3)');

PL/SQL 過程已成功完成。

sys@JINGYONG> select primary_id,qualifier_id1,waits,binds

2 from dba_enabled_traces

3 where trace_type='SERVICE_MODULE';

未選定行

使用trcsess來合并跟蹤文件

從某些跟蹤操作中會得到多個跟蹤文件.在oracle10g之前的版本中你得手動將這些跟蹤文件合并到一起.現在可以使用trcsess工具來幫你合并這些跟蹤文件.

語句如下:

trcsess [output=] [session=] [clientid=] [service=] [action=] [module=]

output=?output destination default being standard output.

session= session to be traced.

Session id is a combination of session Index & session serial number e.g. 8.13.

clientid= clientid to be traced.

service= service to be traced.

action= action to be traced.

module= module to be traced.

Space separated list of trace files with wild card '*' suppor

ted.

[oracle@jingyong trace]$ trcsess output=jingyong_ora_88888888.trc service=jingyong jingyong_ora_2529.trc jingyong_ora_4411.trc

[oracle@jingyong trace]$ ls -lrt jingyong_ora_88888888.trc

-rw-r--r-- 1 oracle oinstall 16219 Nov 11 14:59 jingyong_ora_88888888.trc

dbms_application_info

可以在過程開始一個事務之前使用dbms_application_info.set*過程來注冊一個事務名/客戶端信息/模塊名為以后檢查性能來使用.你應該對以后可能消耗你最多系統資源的活動事務進行指定.

dbms_application_info包有以下過程

SET_CLIENT_INFO ( client_info IN VARCHAR2 );

SET_ACTION ( action_name IN VARCHAR2 );

SET_MODULE ( module_name IN VARCHAR2, action_name IN VARCHAR2 );

例如

sys@JINGYONG> create table emp as select * from scott.emp where 1=0;

表已創建。

sys@JINGYONG> exec dbms_application_info.set_module(module_name=>'add_emp',actio

n_name=>'insert into emp');

PL/SQL 過程已成功完成。

sys@JINGYONG> insert into emp select * from scott.emp;

已創建14行。

sys@JINGYONG> commit;

提交完成。

sys@JINGYONG> exec dbms_application_info.set_module(null,null);

PL/SQL 過程已成功完成。

下面查詢v$sqlarea視圖使用module和action列進行查詢

sys@JINGYONG> select sql_text from v$sqlarea where module='add_emp';

insert into emp select * from scott.emp

sys@JINGYONG> select sql_text from v$sqlarea where action='insert into emp';

insert into emp select * from scott.emp

declare

l_client varchar2(100);

l_mod_name varchar2(100);

l_act_name varchar2(100);

begin

dbms_application_info.read_client_info(l_client);

dbms_application_info.read_module(l_mod_name,l_act_name);

dbms_output.put_line(l_client);

dbms_output.put_line(l_mod_name);

end;

dbms_session包:只能跟蹤當前會話,不能指定會話。

跟蹤當前會話:

SQL> exec dbms_session.set_sql_trace(true);

SQL> 執行sql

SQL> exec dbms_session.set_sql_trace(false);

dbms_session.set_sql_trace相當于alter session set sql_trace,從生成的trace文件可以明確地看alter session set sql_trace語句。

使 用dbms_session.session_trace_enable過程,不僅可以看到等待事件信息還可以看到綁定變量信息,相當于alter session set events '10046 trace name context forever, level 12';語句,從生成的trace文件可以確認。

SQL> exec dbms_session.session_trace_enable(waits=>true,binds=>true);

SQL> 執行sql

SQL> exec dbms_session.session_trace_enable(); --This procedure resets the session-level SQL trace for the session from which it was called.

dbms_support包:不應該使用這種方法,非官方支持。

系統默認沒有安裝這個包,可以手動執行$ORACLE_HOME/rdbms/admin/bmssupp.sql腳本來創建該包。

SQL> desc dbms_support

FUNCTION MYSID RETURNS NUMBER

FUNCTION PACKAGE_VERSION RETURNS VARCHAR2

PROCEDURE START_TRACE

Argument Name Type In/Out Default?

------------------------------ ----------------------- ------ --------

WAITS BOOLEAN IN DEFAULT

BINDS BOOLEAN IN DEFAULT

PROCEDURE START_TRACE_IN_SESSION

Argument Name Type In/Out Default?

------------------------------ ----------------------- ------ --------

SID NUMBER IN

SERIAL NUMBER IN

WAITS BOOLEAN IN DEFAULT

BINDS BOOLEAN IN DEFAULT

PROCEDURE STOP_TRACE

PROCEDURE STOP_TRACE_IN_SESSION

Argument Name Type In/Out Default?

------------------------------ ----------------------- ------ --------

SID NUMBER IN

SERIAL NUMBER IN

SQL> select dbms_support.package_version from dual;

PACKAGE_VERSION

--------------------------------------------------------------------------------

DBMS_SUPPORT Version 1.0 (17-Aug-1998) - Requires Oracle 7.2 - 8.0.5

SQL> select dbms_support.mysid from dual;

MYSID

----------

292

SQL> select * from v$mystat where rownum=1;

SID STATISTIC# VALUE

---------- ---------- ----------

292 0 1

跟蹤當前會話:

SQL> exec dbms_support.start_trace

SQL> 執行sql

SQL> exec dbms_support.stop_trace

跟蹤其他會話:等待事件+綁定變量,相當于level 12的10046事件。

SQL> select sid,serial#,username from v$session where ...;

SQL> exec dbms_support.start_trace_in_session(sid=>sid,serial=>serial#,waits=>true,binds=>true);

SQL> exec dbms_support.stop_trace_in_session(sid=>sid,serial=>serial#);

dbms_system包:9i時使用

跟蹤其他會話:

SQL> select sid,serial#,username from v$session where ...;

SQL> exec dbms_system.set_sql_trace_in_session(sid,serial#,true);

可以等候片刻,跟蹤session執行任務,捕獲sql操作…

SQL> exec dbms_system.set_sql_trace_in_session(sid,serial#,false);

ps:dbms_system這個包在10gR2官方文檔上面沒有找到這個包的說明,但數據庫中有。

SQL> exec sys.dbms_system.SET_BOOL_PARAM_IN_SESSION(sid, serial#, 'sql_trace', TRUE);

SQL> exec sys.dbms_system.SET_BOOL_PARAM_IN_SESSION(sid, serial#, 'sql_trace', FALSE);

使用dbms_system.set_ev設置10046事件

SQL> select sid,serial#,username from v$session where ...;

SQL> exec dbms_system.set_ev(sid,serial#,10046,12,'');

SQL> exec dbms_system.set_ev(sid,serial#,10046,0,'');

最后一個參數只有為''時,才會生成trace文件,否則不報錯,但沒有trace文件生成。

3.數據庫hang住是一個特定會話出現hang住還是幾個會話出現hang住還是所有的會話都出現hang住

如果數據庫是一個會話或幾個會話出現hang住可以對這個會話執行10046跟蹤,可以對這個會話收集一些errorstacks信息,也可以當問題出現時生成一個awr或statspack報告

生成轉儲和errorstack信息的方法如下:

為了轉儲跟蹤和errorstacks信息,可以使用操作系統進程ID或者oracle進程ID.比如可以通過oracle的sid來查詢到操作系統進ID:

SELECT p.pid, p.SPID,s.SID

FROM v$process p, v$session s

WHERE s.paddr = p.addr

AND s.SID = &SID;

SPID是操作系統標識符

SID是oracle會話標識符

PID是oracle進程標識符

比如一個SPID是1254,pid是56如果使用SPID來生成轉儲和errorstacks信息可以執行下面的語句:

connect / as sysdba

ALTER SESSION SET tracefile_identifier = 'STACK_10046';

oradebug setospid 1254

oradebug unlimit

oradebug event 10046 trace name context forever,level 12

oradebug dump errorstack 3

oradebug dump errorstack 3

oradebug dump errorstack 3

oradebug tracefile_name

oradebug event 10046 trace name context off

如果使用PID來生成轉儲和errorstacks信息可以執行下面的語句:

connect / as sysdba

ALTER SESSION SET tracefile_identifier = 'STACK_10046';

oradebug setpid 56

oradebug unlimit

oradebug event 10046 trace name context forever,level 12

oradebug dump errorstack 3

oradebug dump errorstack 3

oradebug dump errorstack 3

oradebug tracefile_name

oradebug event 10046 trace name context off

其中oradebug tracefile_name命令會顯示跟蹤文件的名字和位置,在生成的跟蹤文件名字會包含STACK_10046字符

如果要對當前會話收集errorstacks信息首先要找出當前會話的SPID或PID可以執行如下語句來獲得:

SELECT p.pid, p.SPID,s.SID

FROM v$process p, v$session s

WHERE s.paddr = p.addr

AND s.audsid = userenv('SESSIONID') ;

或者

SELECT p.pid, p.SPID,s.SID

FROM v$process p,v$session s

WHERE s.paddr = p.addr

AND s.SID =

(SELECT DISTINCT SID

FROM V$MYSTAT);

如果數據庫是所有會話出現hang也就是整個數據庫出現hang住了診斷hang住的方法如下:

當一個數據庫出現Hang的問題時從數據庫中收集信息來診斷掛志的根本原因是非常有用的.數據庫Hang的原因往往是孤立的可以使用收集來的診斷信息來解決.另外如果不能解決可以用獲得的信息來避免這個問題的再次重現.

解決方法

診斷數據庫Hang需要什么信息

數據庫Hang的特點是一些進程正在等待另一些進程的完成.通常有一個或多個阻塞進程被困或者正在努力工作但不是迅速的釋放資源.為了診斷需要以下信息:

1.Hanganalyze and Systemstate Dumps

2.數據庫性能的awr/statspack快照

3.及時的RDA

Hanganalyze and Systemstate Dumps

Hang分析和系統狀態轉儲提供了在一個特定時間點的數據庫中的進程信息.Hang分析提供了在Hang鏈表中所有進程的信息,系統狀態提供了數據庫中所有進程的信息.當查看一個潛在的Hang情況時你需要判斷是否一個進程被因或動行緩慢.通過在兩個連續的時間間隔內收集這些轉儲信息如果進程被困這些跟蹤信息可以用于將來的診斷可能幫助你提供一些解決方法.Hang分析用來總結和確認數據庫是真的Hang還是只是緩慢并提供了一致性快照,系統狀態轉儲顯示了數據庫中每一個進程正在做什么

收集Hang分析和系統狀態轉儲信息

登錄系統

使用sql*plus以sysdba身份來登錄

sqlplus '/ as sysdba'

如果連接時出現問題在oracle10gr2中可以使用sqlplus的"preliminary connection'

sqlplus -prelim '/ as sysdba'

注意:從oracle 11.2.0.2開始Hang分析在sqlplus的'preliminary connection'連接下將不會生成輸出因為它要會請求一個進程的狀態對象和一個會話狀態對象.如果正試圖分析跟蹤會輸出:

HANG ANALYSIS:

ERROR: Can not perform hang analysis dump without a process state object and a session state object.

( process=(nil), sess=(nil) )

非rac環境收集Hang分析和系統狀態的收集命令

有些時候數據庫可能只是非常的慢而不是真正的Hang.因此建議收集級別為2的Hang分析和系統狀態轉儲來判斷這些進程是正在執行還是已經停止執行

持起分析

sqlplus '/ as sysdba'

oradebug setmypid

oradebug unlimit

oradebug hanganalyze 3

-- Wait one minute before getting the second hanganalyze

oradebug hanganalyze 3

oradebug tracefile_name

exit

系統轉儲

sqlplus '/ as sysdba'

oradebug setmypid

oradebug unlimit

oradebug dump systemstate 266

oradebug dump systemstate 266

oradebug tracefile_name

exit

rac環境收集Hang分析和系統狀態的收集命令

如果在你的系統中沒有應用相關的補丁程序使用級別為266或267的系統狀態轉儲會有2個bug.因此在沒有應用這些補丁收集這些級別的轉儲是不明智的選擇

補丁信息如下:

Document 11800959.8 Bug 11800959 - A SYSTEMSTATE dump with level >= 10 in RAC dumps huge BUSY GLOBAL CACHE ELEMENTS - can hang/crash instances

Document 11827088.8 Bug 11827088 - Latch 'gc element' contention, LMHB terminates the instance

在修正bug 11800959和bug 11827088的情況下對于rac環境懼訂Hang分析和系統狀態的收集命令如下:

sqlplus '/ as sysdba'

oradebug setorapname reco

oradebug unlimit

oradebug -g all hanganalyze 3

oradebug -g all hanganalyze 3

oradebug -g all dump systemstate 266

oradebug -g all dump systemstate 266

exit

在沒有修正bug 11800959和bug 11827088的情況下對于rac環境懼訂Hang分析和系統狀態的收集命令如下:

sqlplus '/ as sysdba'

oradebug setorapname reco

oradebug unlimit

oradebug -g all hanganalyze 3

oradebug -g all hanganalyze 3

oradebug -g all dump systemstate 258

oradebug -g all dump systemstate 258

exit

在rac環境中會在每一個實例的跟蹤文件中創建所有實例的轉儲信息

對Hang分析和系統狀態轉儲的級別說明

Hang分析級別

level 3(級別3):在oracle11g之前level 3對Hang鏈表中的相關進程也會收集一個簡短的堆棧信息

系統狀態轉儲級別

level 258(級別258)是一個快速的選擇但是會丟失一些鎖的元數據信息

level 267(級別267)它包含了理解成本所需要的額外的緩沖區緩存/鎖元數據信息

其它的方法

如果不能連接到系統時如何收集系統狀態轉儲信息

通常有兩種方法來在系統Hang不能連接時來生成系統狀態轉儲信息

1.alter session set events 'immediate trace name SYSTEMSTATE level 10';

2.$ sqlplus

connect sys/passwd as sysdba

oradebug setospid oradebug unlimit

oradebug dump systemstate 10

(注意:在oradebug中不能使用任何半冒號,如果你的數據庫是比oracle9i還老的版本你將需要使用svrmgrl來連接到內部)

當你使用這兩種方法中的一種時,要確保在兩次轉儲時內部連接斷開.這種方法生成的轉儲將在你的user_dump_dest目錄中是分開的ora_.trc文件

在非常嚴重的情況下不能使用svrmgrl或sqlplus進行連接執行這些必要的命令.在這種情況下仍然有一個后門方法使用調試器比如你的系統有dbx的話可以用dbx來生成系統狀態轉儲信息.被連接到的轉儲核心進程可能會被殺死所以不能連接到一個oracle后臺進程.dbx的語法如下:

dbx -a PID (where PID = any oracle shadow process)

dbx() print ksudss(10)

...return value printed here

dbx() detach

首先你需要找到一個影子進程

(jy) % ps -ef |grep sqlplus

osupport 78526 154096 0 12:11:05 pts/1 0:00 sqlplus scott/tiger

osupport 94130 84332 1 12:11:20 pts/3 0:00 grep sqlplus

(jy) % ps -ef |grep 78526

osupport 28348 78526 0 12:11:05 - 0:00 oracles734 (DESCRIPTION=(LOCAL

osupport 78526 154096 0 12:11:05 pts/1 0:00 sqlplus scott/tiger

osupport 94132 84332 1 12:11:38 pts/3 0:00 grep 78526

這樣將會連接到影子進程PID 28348上.當返回提示符時輸入ksudss(10)命令和detach:

(jy) % dbx -a 28348

Waiting to attach to process 28348 ...

Successfully attached to oracle.

warning: Directory containing oracle could not be determined.

Apply 'use' command to initialize source path.

Type 'help' for help.

reading symbolic information ...

stopped in read at 0xd016fdf0

0xd016fdf0 (read+0x114) 80410014 lwz r2,0x14(r1)

(dbx) print ksudss(10)

2

(dbx) detach

在user_dump_dest目錄中你將會通過跟蹤的pid找到一個系統狀態轉儲文件

(jy) % ls -lrt *28348*

-rw-r----- 1 osupport dba 46922 Oct 10 12:12 ora_28348.trc

core_28348:

total 72

-rw-r--r-- 1 osupport dba 16567 Oct 10 12:12 core

drwxr-xr-x 7 osupport dba 12288 Oct 10 12:12 ../

drwxr-x--- 2 osupport dba 512 Oct 10 12:12 ./

在跟蹤文件中你將會找到常用的頭信息.在oracle7.3.4并行操作系統中在這后面緊跟的是鎖信息然后才是系統轉儲信息.

在oracle8并行操作系統中和非并行操作系統和oracle7.3.4非并行操作系統的系統狀態信息是緊跟頭信息.

在轉儲文件中頭信息如下:

Dump file /oracle/mpp/734/rdbms/log/ora_28348.trc

Oracle7 Server Release 7.3.4.4.1 - Production

With the distributed, replication, parallel query, Parallel Server

and Spatial Data options

PL/SQL Release 2.3.4.4.1 - Production

ORACLE_HOME = /oracle/mpp/734

System name: AIX

Node name: saki

Release: 3

Version: 4

Machine: 000089914C00

Instance name: s734

Redo thread mounted by this instance: 2

Oracle process number: 0

Unix process pid: 28348, image:

ksinfy: nfytype = 0x5

ksinfy: calling scggra(&se)

scggra: SCG_PROCESS_LOCKING not defined

scggra: calling lk_group_attach()

ksinfy: returning

*** SESSION ID:(12.15) 2000.10.10.12.11.06.000

ksqcmi: get or convert

ksqcmi: get or convert

*** 2000.10.10.12.12.08.000

===================================================

SYSTEM STATE

.....

確保在這個文件中有一個end of system state.可以對它使用grep或在vi中搜索.如果沒有那么這個跟蹤文件是不過完整.

可能是因為init.ora文件中的max_dump_file的大小太小了.

對于oracle10g及以后的版本:

在有些情況下不連接到實例是允許的(在有些ora-20的情況下,對于oracle10.1.x,對于sqlplus有一個新選項來允許訪問實例來生成跟蹤文件)sqlplus -prelim / as sysdba

例如

export ORACLE_SID=PROD ## Replace PROD with the SID you want to trace

sqlplus -prelim / as sysdba

oradebug setmypid

oradebug unlimit;

oradebug dump systemstate 10

在rac系統中,Hang分析,系統轉儲和其它一些rac信息可以使用racdiag.sql腳本來進行收集:

-- NAME: RACDIAG.SQL

-- SYS OR INTERNAL USER, CATPARR.SQL ALREADY RUN, PARALLEL QUERY OPTION ON

-- ------------------------------------------------------------------------

-- AUTHOR:

-- Michael Polaski - Oracle Support Services

-- Copyright 2002, Oracle Corporation

-- ------------------------------------------------------------------------

-- PURPOSE:

-- This script is intended to provide a user friendly guide to troubleshoot

-- RAC hung sessions or slow performance scenerios. The script includes

-- information to gather a variety of important debug information to determine

-- the cause of a RAC session level hang. The script will create a file

-- called racdiag_.out in your local directory while dumping hang analyze

-- dumps in the user_dump_dest(s) and background_dump_dest(s) on all nodes.

--

-- ------------------------------------------------------------------------

-- DISCLAIMER:

-- This script is provided for educational purposes only. It is NOT

-- supported by Oracle World Wide Technical Support.

-- The script has been tested and appears to work as intended.

-- You should always run new scripts on a test instance initially.

-- ------------------------------------------------------------------------

-- Script output is as follows:

set echo off

set feedback off

column timecol new_value timestamp

column spool_extension new_value suffix

select to_char(sysdate,'Mondd_hhmi') timecol,

'.out' spool_extension from sys.dual;

column output new_value dbname

select value || '_' output

from v$parameter where name = 'db_name';

spool racdiag_&&dbname&&timestamp&&suffix

set lines 200

set pagesize 35

set trim on

set trims on

alter session set nls_date_format = 'MON-DD-YYYY HH24:MI:SS';

alter session set timed_statistics = true;

set feedback on

select to_char(sysdate) time from dual;

set numwidth 5

column host_name format a20 tru

select inst_id, instance_name, host_name, version, status, startup_time

from gv$instance

order by inst_id;

set echo on

-- WAIT CHAINS

-- 11.x+ Only (This will not work in < v11

-- See Note 1428210.1 for instructions on interpreting.

set pages 1000

set lines 120

set heading off

column w_proc format a50 tru

column instance format a20 tru

column inst format a28 tru

column wait_event format a50 tru

column p1 format a16 tru

column p2 format a16 tru

column p3 format a15 tru

column Seconds format a50 tru

column sincelw format a50 tru

column blocker_proc format a50 tru

column waiters format a50 tru

column chain_signature format a100 wra

column blocker_chain format a100 wra

SELECT *

FROM (SELECT 'Current Process: '||osid W_PROC, 'SID '||i.instance_name INSTANCE,

'INST #: '||instance INST,'Blocking Process: '||decode(blocker_osid,null,'',blocker_osid)||

' from Instance '||blocker_instance BLOCKER_PROC,'Number of waiters: '||num_waiters waiters,

'Wait Event: ' ||wait_event_text wait_event, 'P1: '||p1 p1, 'P2: '||p2 p2, 'P3: '||p3 p3,

'Seconds in Wait: '||in_wait_secs Seconds, 'Seconds Since Last Wait: '||time_since_last_wait_secs sincelw,

'Wait Chain: '||chain_id ||': '||chain_signature chain_signature,'Blocking Wait Chain: '||decode(blocker_chain_id,null,

'',blocker_chain_id) blocker_chain

FROM v$wait_chains wc,

v$instance i

WHERE wc.instance = i.instance_number (+)

AND ( num_waiters > 0

OR ( blocker_osid IS NOT NULL

AND in_wait_secs > 10 ) )

ORDER BY chain_id,

num_waiters DESC)

WHERE ROWNUM < 101; -- Taking Hang Analyze dumps -- This may take a little while... oradebug setmypid oradebug unlimit oradebug -g all hanganalyze 3 -- This part may take the longest, you can monitor bdump or udump to see if -- the file is being generated. oradebug -g all dump systemstate 258 -- WAITING SESSIONS: -- The entries that are shown at the top are the sessions that have -- waited the longest amount of time that are waiting for non-idle wait -- events (event column). You can research and find out what the wait -- event indicates (along with its parameters) by checking the Oracle -- Server Reference Manual or look for any known issues or documentation -- by searching Metalink for the event name in the search bar. Example -- (include single quotes): [ 'buffer busy due to global cache' ]. -- Metalink and/or the Server Reference Manual should return some useful -- information on each type of wait event. The inst_id column shows the -- instance where the session resides and the SID is the unique identifier -- for the session (gv$session). The p1, p2, and p3 columns will show -- event specific information that may be important to debug the problem. -- To find out what the p1, p2, and p3 indicates see the next section. -- Items with wait_time of anything other than 0 indicate we do not know -- how long these sessions have been waiting. -- set numwidth 15 set heading on column state format a7 tru column event format a25 tru column last_sql format a40 tru select sw.inst_id, sw.sid, sw.state, sw.event, sw.seconds_in_wait seconds, sw.p1, sw.p2, sw.p3, sa.sql_text last_sql from gv$session_wait sw, gv$session s, gv$sqlarea sa where sw.event not in ('rdbms ipc message','smon timer','pmon timer', 'SQL*Net message from client','lock manager wait for remote message', 'ges remote message', 'gcs remote message', 'gcs for action', 'client message', 'pipe get', 'null event', 'PX Idle Wait', 'single-task message', 'PX Deq: Execution Msg', 'KXFQ: kxfqdeq - normal deqeue', 'listen endpoint status','slave wait','wakeup time manager') and sw.seconds_in_wait > 0

and (sw.inst_id = s.inst_id and sw.sid = s.sid)

and (s.inst_id = sa.inst_id and s.sql_address = sa.address)

order by seconds desc;

-- EVENT PARAMETER LOOKUP:

-- This section will give a description of the parameter names of the

-- events seen in the last section. p1test is the parameter value for

-- p1 in the WAITING SESSIONS section while p2text is the parameter

-- value for p3 and p3 text is the parameter value for p3. The

-- parameter values in the first section can be helpful for debugging

-- the wait event.

--

column event format a30 tru

column p1text format a25 tru

column p2text format a25 tru

column p3text format a25 tru

select distinct event, p1text, p2text, p3text

from gv$session_wait sw

where sw.event not in ('rdbms ipc message','smon timer','pmon timer',

'SQL*Net message from client','lock manager wait for remote message',

'ges remote message', 'gcs remote message', 'gcs for action', 'client message',

'pipe get', 'null event', 'PX Idle Wait', 'single-task message',

'PX Deq: Execution Msg', 'KXFQ: kxfqdeq - normal deqeue',

'listen endpoint status','slave wait','wakeup time manager')

and seconds_in_wait > 0

order by event;

-- GES LOCK BLOCKERS:

-- This section will show us any sessions that are holding locks that

-- are blocking other users. The inst_id will show us the instance that

-- the session resides on while the sid will be a unique identifier for

-- the session. The grant_level will show us how the GES lock is granted to

-- the user. The request_level will show us what status we are trying to

-- obtain. The lockstate column will show us what status the lock is in.

-- The last column shows how long this session has been waiting.

--

set numwidth 5

column state format a16 tru;

column event format a30 tru;

select dl.inst_id, s.sid, p.spid, dl.resource_name1,

decode(substr(dl.grant_level,1,8),'KJUSERNL','Null','KJUSERCR','Row-S (SS)',

'KJUSERCW','Row-X (SX)','KJUSERPR','Share','KJUSERPW','S/Row-X (SSX)',

'KJUSEREX','Exclusive',request_level) as grant_level,

decode(substr(dl.request_level,1,8),'KJUSERNL','Null','KJUSERCR','Row-S (SS)',

'KJUSERCW','Row-X (SX)','KJUSERPR','Share','KJUSERPW','S/Row-X (SSX)',

'KJUSEREX','Exclusive',request_level) as request_level,

decode(substr(dl.state,1,8),'KJUSERGR','Granted','KJUSEROP','Opening',

'KJUSERCA','Canceling','KJUSERCV','Converting') as state,

s.sid, sw.event, sw.seconds_in_wait sec

from gv$ges_enqueue dl, gv$process p, gv$session s, gv$session_wait sw

where blocker = 1

and (dl.inst_id = p.inst_id and dl.pid = p.spid)

and (p.inst_id = s.inst_id and p.addr = s.paddr)

and (s.inst_id = sw.inst_id and s.sid = sw.sid)

order by sw.seconds_in_wait desc;

-- GES LOCK WAITERS:

-- This section will show us any sessions that are waiting for locks that

-- are blocked by other users. The inst_id will show us the instance that

-- the session resides on while the sid will be a unique identifier for

-- the session. The grant_level will show us how the GES lock is granted to

-- the user. The request_level will show us what status we are trying to

-- obtain. The lockstate column will show us what status the lock is in.

-- The last column shows how long this session has been waiting.

--

set numwidth 5

column state format a16 tru;

column event format a30 tru;

select dl.inst_id, s.sid, p.spid, dl.resource_name1,

decode(substr(dl.grant_level,1,8),'KJUSERNL','Null','KJUSERCR','Row-S (SS)',

'KJUSERCW','Row-X (SX)','KJUSERPR','Share','KJUSERPW','S/Row-X (SSX)',

'KJUSEREX','Exclusive',request_level) as grant_level,

decode(substr(dl.request_level,1,8),'KJUSERNL','Null','KJUSERCR','Row-S (SS)',

'KJUSERCW','Row-X (SX)','KJUSERPR','Share','KJUSERPW','S/Row-X (SSX)',

'KJUSEREX','Exclusive',request_level) as request_level,

decode(substr(dl.state,1,8),'KJUSERGR','Granted','KJUSEROP','Opening',

'KJUSERCA','Cancelling','KJUSERCV','Converting') as state,

s.sid, sw.event, sw.seconds_in_wait sec

from gv$ges_enqueue dl, gv$process p, gv$session s, gv$session_wait sw

where blocked = 1

and (dl.inst_id = p.inst_id and dl.pid = p.spid)

and (p.inst_id = s.inst_id and p.addr = s.paddr)

and (s.inst_id = sw.inst_id and s.sid = sw.sid)

order by sw.seconds_in_wait desc;

-- LOCAL ENQUEUES:

-- This section will show us if there are any local enqueues. The inst_id will

-- show us the instance that the session resides on while the sid will be a

-- unique identifier for. The addr column will show the lock address. The type

-- will show the lock type. The id1 and id2 columns will show specific

-- parameters for the lock type.

--

set numwidth 12

column event format a12 tru

select l.inst_id, l.sid, l.addr, l.type, l.id1, l.id2,

decode(l.block,0,'blocked',1,'blocking',2,'global') block,

sw.event, sw.seconds_in_wait sec

from gv$lock l, gv$session_wait sw

where (l.sid = sw.sid and l.inst_id = sw.inst_id)

and l.block in (0,1)

order by l.type, l.inst_id, l.sid;

-- LATCH HOLDERS:

-- If there is latch contention or 'latch free' wait events in the WAITING

-- SESSIONS section we will need to find out which proceseses are holding

-- latches. The inst_id will show us the instance that the session resides

-- on while the sid will be a unique identifier for. The username column

-- will show the session's username. The os_user column will show the os

-- user that the user logged in as. The name column will show us the type

-- of latch being waited on. You can search Metalink for the latch name in

-- the search bar. Example (include single quotes):

-- [ 'library cache' latch ]. Metalink should return some useful information

-- on the type of latch.

--

set numwidth 5

select distinct lh.inst_id, s.sid, s.username, p.username os_user, lh.name

from gv$latchholder lh, gv$session s, gv$process p

where (lh.sid = s.sid and lh.inst_id = s.inst_id)

and (s.inst_id = p.inst_id and s.paddr = p.addr)

order by lh.inst_id, s.sid;

-- LATCH STATS:

-- This view will show us latches with less than optimal hit ratios

-- The inst_id will show us the instance for the particular latch. The

-- latch_name column will show us the type of latch. You can search Metalink

-- for the latch name in the search bar. Example (include single quotes):

-- [ 'library cache' latch ]. Metalink should return some useful information

-- on the type of latch. The hit_ratio shows the percentage of time we

-- successfully acquired the latch.

--

column latch_name format a30 tru

select inst_id, name latch_name,

round((gets-misses)/decode(gets,0,1,gets),3) hit_ratio,

round(sleeps/decode(misses,0,1,misses),3) "SLEEPS/MISS"

from gv$latch

where round((gets-misses)/decode(gets,0,1,gets),3) < .99

and gets != 0

order by round((gets-misses)/decode(gets,0,1,gets),3);

-- No Wait Latches:

--

select inst_id, name latch_name,

round((immediate_gets/(immediate_gets+immediate_misses)), 3) hit_ratio,

round(sleeps/decode(immediate_misses,0,1,immediate_misses),3) "SLEEPS/MISS"

from gv$latch

where round((immediate_gets/(immediate_gets+immediate_misses)), 3) < .99 and immediate_gets + immediate_misses > 0

order by round((immediate_gets/(immediate_gets+immediate_misses)), 3);

-- GLOBAL CACHE CR PERFORMANCE

-- This shows the average latency of a consistent block request.

-- AVG CR BLOCK RECEIVE TIME should typically be about 15 milliseconds

-- depending on your system configuration and volume, is the average

-- latency of a consistent-read request round-trip from the requesting

-- instance to the holding instance and back to the requesting instance. If

-- your CPU has limited idle time and your system typically processes

-- long-running queries, then the latency may be higher. However, it is

-- possible to have an average latency of less than one millisecond with

-- User-mode IPC. Latency can be influenced by a high value for the

-- DB_MULTI_BLOCK_READ_COUNT parameter. This is because a requesting process

-- can issue more than one request for a block depending on the setting of

-- this parameter. Correspondingly, the requesting process may wait longer.

-- Also check interconnect badwidth, OS tcp settings, and OS udp settings if

-- AVG CR BLOCK RECEIVE TIME is high.

--

set numwidth 20

column "AVG CR BLOCK RECEIVE TIME (ms)" format 9999999.9

select b1.inst_id, b2.value "GCS CR BLOCKS RECEIVED",

b1.value "GCS CR BLOCK RECEIVE TIME",

((b1.value / b2.value) * 10) "AVG CR BLOCK RECEIVE TIME (ms)"

from gv$sysstat b1, gv$sysstat b2

where b1.name = 'global cache cr block receive time' and

b2.name = 'global cache cr blocks received' and b1.inst_id = b2.inst_id

or b1.name = 'gc cr block receive time' and

b2.name = 'gc cr blocks received' and b1.inst_id = b2.inst_id ;

-- GLOBAL CACHE LOCK PERFORMANCE

-- This shows the average global enqueue get time.

-- Typically AVG GLOBAL LOCK GET TIME should be 20-30 milliseconds. the

-- elapsed time for a get includes the allocation and initialization of a

-- new global enqueue. If the average global enqueue get (global cache

-- get time) or average global enqueue conversion times are excessive,

-- then your system may be experiencing timeouts. See the 'WAITING SESSIONS',

-- 'GES LOCK BLOCKERS', GES LOCK WAITERS', and 'TOP 10 WAIT EVENTS ON SYSTEM'

-- sections if the AVG GLOBAL LOCK GET TIME is high.

--

set numwidth 20

column "AVG GLOBAL LOCK GET TIME (ms)" format 9999999.9

select b1.inst_id, (b1.value + b2.value) "GLOBAL LOCK GETS",

b3.value "GLOBAL LOCK GET TIME",

(b3.value / (b1.value + b2.value) * 10) "AVG GLOBAL LOCK GET TIME (ms)"

from gv$sysstat b1, gv$sysstat b2, gv$sysstat b3

where b1.name = 'global lock sync gets' and

b2.name = 'global lock async gets' and b3.name = 'global lock get time'

and b1.inst_id = b2.inst_id and b2.inst_id = b3.inst_id

or b1.name = 'global enqueue gets sync' and

b2.name = 'global enqueue gets async' and b3.name = 'global enqueue get time'

and b1.inst_id = b2.inst_id and b2.inst_id = b3.inst_id;

-- RESOURCE USAGE

-- This section will show how much of our resources we have used.

--

set numwidth 8

select inst_id, resource_name, current_utilization, max_utilization,

initial_allocation

from gv$resource_limit

where max_utilization > 0

order by inst_id, resource_name;

-- DLM TRAFFIC INFORMATION

-- This section shows how many tickets are available in the DLM. If the

-- TCKT_WAIT columns says "YES" then we have run out of DLM tickets which

-- could cause a DLM hang. Make sure that you also have enough TCKT_AVAIL.

--

set numwidth 10

select * from gv$dlm_traffic_controller

order by TCKT_AVAIL;

-- DLM MISC

--

set numwidth 10

select * from gv$dlm_misc;

-- LOCK CONVERSION DETAIL:

-- This view shows the types of lock conversion being done on each instance.

--

select * from gv$lock_activity;

-- INITIALIZATION PARAMETERS:

-- Non-default init parameters for each node.

--

set numwidth 5

column name format a30 tru

column value format a50 wra

column description format a60 tru

select inst_id, name, value, description

from gv$parameter

where isdefault = 'FALSE'

order by inst_id, name;

-- TOP 10 WAIT EVENTS ON SYSTEM

-- This view will provide a summary of the top wait events in the db.

--

set numwidth 10

column event format a25 tru

select inst_id, event, time_waited, total_waits, total_timeouts

from (select inst_id, event, time_waited, total_waits, total_timeouts

from gv$system_event where event not in ('rdbms ipc message','smon timer',

'pmon timer', 'SQL*Net message from client','lock manager wait for remote message',

'ges remote message', 'gcs remote message', 'gcs for action', 'client message',

'pipe get', 'null event', 'PX Idle Wait', 'single-task message',

'PX Deq: Execution Msg', 'KXFQ: kxfqdeq - normal deqeue',

'listen endpoint status','slave wait','wakeup time manager')

order by time_waited desc)

where rownum < 11 order by time_waited desc; -- SESSION/PROCESS REFERENCE: -- This section is very important for most of the above sections to find out -- which user/os_user/process is identified to which session/process. -- set numwidth 7 column event format a30 tru column program format a25 tru column username format a15 tru select p.inst_id, s.sid, s.serial#, p.pid, p.spid, p.program, s.username, p.username os_user, sw.event, sw.seconds_in_wait sec from gv$process p, gv$session s, gv$session_wait sw where (p.inst_id = s.inst_id and p.addr = s.paddr) and (s.inst_id = sw.inst_id and s.sid = sw.sid) order by p.inst_id, s.sid; -- SYSTEM STATISTICS: -- All System Stats with values of > 0. These can be referenced in the

-- Server Reference Manual

--

set numwidth 5

column name format a60 tru

column value format 9999999999999999999999999

select inst_id, name, value

from gv$sysstat

where value > 0

order by inst_id, name;

-- CURRENT SQL FOR WAITING SESSIONS:

-- Current SQL for any session in the WAITING SESSIONS list

--

set numwidth 5

column sql format a80 wra

select sw.inst_id, sw.sid, sw.seconds_in_wait sec, sa.sql_text sql

from gv$session_wait sw, gv$session s, gv$sqlarea sa

where sw.sid = s.sid (+)

and sw.inst_id = s.inst_id (+)

and s.sql_address = sa.address

and sw.event not in ('rdbms ipc message','smon timer','pmon timer',

'SQL*Net message from client','lock manager wait for remote message',

'ges remote message', 'gcs remote message', 'gcs for action', 'client message',

'pipe get', 'null event', 'PX Idle Wait', 'single-task message',

'PX Deq: Execution Msg', 'KXFQ: kxfqdeq - normal deqeue',

'listen endpoint status','slave wait','wakeup time manager')

and sw.seconds_in_wait > 0

order by sw.seconds_in_wait desc;

-- WAIT CHAINS

-- 11.x+ Only (This will not work in < v11

-- See Note 1428210.1 for instructions on interpreting.

set pages 1000

set lines 120

set heading off

column w_proc format a50 tru

column instance format a20 tru

column inst format a28 tru

column wait_event format a50 tru

column p1 format a16 tru

column p2 format a16 tru

column p3 format a15 tru

column seconds format a50 tru

column sincelw format a50 tru

column blocker_proc format a50 tru

column waiters format a50 tru

column chain_signature format a100 wra

column blocker_chain format a100 wra

SELECT *

FROM (SELECT 'Current Process: '||osid W_PROC, 'SID '||i.instance_name INSTANCE,

'INST #: '||instance INST,'Blocking Process: '||decode(blocker_osid,null,'',blocker_osid)||

' from Instance '||blocker_instance BLOCKER_PROC,'Number of waiters: '||num_waiters waiters,

'Wait Event: ' ||wait_event_text wait_event, 'P1: '||p1 p1, 'P2: '||p2 p2, 'P3: '||p3 p3,

'Seconds in Wait: '||in_wait_secs Seconds, 'Seconds Since Last Wait: '||time_since_last_wait_secs sincelw,

'Wait Chain: '||chain_id ||': '||chain_signature chain_signature,'Blocking Wait Chain: '||decode(blocker_chain_id,null,

'',blocker_chain_id) blocker_chain

FROM v$wait_chains wc,

v$instance i

WHERE wc.instance = i.instance_number (+)

AND ( num_waiters > 0

OR ( blocker_osid IS NOT NULL

AND in_wait_secs > 10 ) )

ORDER BY chain_id,

num_waiters DESC)

WHERE ROWNUM < 101;

-- Taking Hang Analyze dumps

-- This may take a little while...

oradebug setmypid

oradebug unlimit

oradebug -g all hanganalyze 3

-- This part may take the longest, you can monitor bdump or udump to see

-- if the file is being generated.

oradebug -g all dump systemstate 258

set echo off

select to_char(sysdate) time from dual;

spool off

-- ---------------------------------------------------------------------------

Prompt;

Prompt racdiag output files have been written to:;

Prompt;

host pwd

Prompt alert log and trace files are located in:;

column host_name format a12 tru

column name format a20 tru

column value format a60 tru

select distinct i.host_name, p.name, p.value

from gv$instance i, gv$parameter p

where p.inst_id = i.inst_id (+)

and p.name like '%_dump_dest'

and p.name != 'core_dump_dest';

v$wait_chains

從oracle11gr1開始,dia0后臺進程開始收集Hang分析信息并存儲在內存中的"hang analysis cache"中.它會每3秒鐘收集一次本地的Hang分析和第10秒鐘收集一次全局(rac)Hang分析信息.這些信息在出現Hang時提供快速查看Hang鏈表的方法.

存儲在"hang analysiz cache"中的數據對于診斷數據庫競爭和Hang是非常有效的

有許多數據庫功能可以利用Hang分析緩存:Hang Management, Resource Manager Idle Blocker Kill,

SQL Tune Hang Avoidance和PMON清除以及外部工具象Procwatcher

下面是oracle11gr2中v$wait_chains視圖的描述:

SQL> desc v$wait_chains

Name Null Type

----------------------------------------- -------- ----------------------

CHAIN_ID NUMBER

CHAIN_IS_CYCLE VARCHAR2(5)

CHAIN_SIGNATURE VARCHAR2(801)

CHAIN_SIGNATURE_HASH NUMBER

INSTANCE NUMBER

OSID VARCHAR2(25)

PID NUMBER

SID NUMBER

SESS_SERIAL# NUMBER

BLOCKER_IS_VALID VARCHAR2(5)

BLOCKER_INSTANCE NUMBER

BLOCKER_OSID VARCHAR2(25)

BLOCKER_PID NUMBER

BLOCKER_SID NUMBER

BLOCKER_SESS_SERIAL# NUMBER

BLOCKER_CHAIN_ID NUMBER

IN_WAIT VARCHAR2(5)

TIME_SINCE_LAST_WAIT_SECS NUMBER

WAIT_ID NUMBER

WAIT_EVENT NUMBER

WAIT_EVENT_TEXT VARCHAR2(64)

P1 NUMBER

P1_TEXT VARCHAR2(64)

P2 NUMBER

P2_TEXT VARCHAR2(64)

P3 NUMBER

P3_TEXT VARCHAR2(64)

IN_WAIT_SECS NUMBER

TIME_REMAINING_SECS NUMBER

NUM_WAITERS NUMBER

ROW_WAIT_OBJ# NUMBER

ROW_WAIT_FILE# NUMBER

ROW_WAIT_BLOCK# NUMBER

ROW_WAIT_ROW# NUMBER

注意:v$wait_chains等價于gv$視圖可能在rac環境中報告多個實例

使用sql來查詢基本信息

SQL> SELECT chain_id, num_waiters, in_wait_secs, osid, blocker_osid, substr(wait_event_text,1,30)

FROM v$wait_chains; 2

CHAIN_ID NUM_WAITERS IN_WAIT_SECS OSID BLOCKER_OSID SUBSTR(WAIT_EVENT_TEXT,1,30)

---------- ----------- ------------ -------------- ------------------------- -----------------------------

1 0 10198 21045 21044 enq: TX - row lock contention

1 1 10214 21044 SQL*Net message from client

查詢top 100 wait chain processs

set pages 1000

set lines 120

set heading off

column w_proc format a50 tru

column instance format a20 tru

column inst format a28 tru

column wait_event format a50 tru

column p1 format a16 tru

column p2 format a16 tru

column p3 format a15 tru

column Seconds format a50 tru

column sincelw format a50 tru

column blocker_proc format a50 tru

column waiters format a50 tru

column chain_signature format a100 wra

column blocker_chain format a100 wra

SELECT *

FROM (SELECT 'Current Process: '||osid W_PROC, 'SID '||i.instance_name INSTANCE,

'INST #: '||instance INST,'Blocking Process: '||decode(blocker_osid,null,'',blocker_osid)||

' from Instance '||blocker_instance BLOCKER_PROC,'Number of waiters: '||num_waiters waiters,

'Wait Event: ' ||wait_event_text wait_event, 'P1: '||p1 p1, 'P2: '||p2 p2, 'P3: '||p3 p3,

'Seconds in Wait: '||in_wait_secs Seconds, 'Seconds Since Last Wait: '||time_since_last_wait_secs sincelw,

'Wait Chain: '||chain_id ||': '||chain_signature chain_signature,'Blocking Wait Chain: '||decode(blocker_chain_id,null,

'',blocker_chain_id) blocker_chain

FROM v$wait_chains wc,

v$instance i

WHERE wc.instance = i.instance_number (+)

AND ( num_waiters > 0

OR ( blocker_osid IS NOT NULL

AND in_wait_secs > 10 ) )

ORDER BY chain_id,

num_waiters DESC)

WHERE ROWNUM < 101;

Current Process:21549 SID RAC1 INST #: 1

Blocking Process: from Instance Number of waiters:1

Wait Event:SQL*Net message from client P1: 1650815232 P2: 1 P3:0

Seconds in Wait:36 Seconds Since Last Wait:

Wait Chaing:1 : 'SQL*Net message from client '< ='enq: TX - row lock contention'

Blocking Wait Chain:

Current Process:25627 SID RAC1 INST #: 1

Blocking Process:21549 from Instance 1 Number of waiters:0

Wait Event:enq: TX - row lock contention P1:1415053318 P2: 524316 P3:50784

Seconds in Wait:22 Seconds Since Last Wait:

Wait Chain:1 : 'SQL*Net message from client '< ='enq: TX - row lock contention'

Blocking Wait Chain:

ospid 25627正等待一個TX lock正被ospid 21549所阻塞

ospid 21549正空閑等待'SQL*Net message from client'

在oracle11gr2中的最終阻塞會話

在oracle11gr2中可能將v$session.final_blocking_session看作是最終的阻塞者.最終的阻會話/進程在top等待鏈表上.

這些會話/進程可能是造成問題的原因.

set pages 1000

set lines 120

set heading off

column w_proc format a50 tru

column instance format a20 tru

column inst format a28 tru

column wait_event format a50 tru

column p1 format a16 tru

column p2 format a16 tru

column p3 format a15 tru

column Seconds format a50 tru

column sincelw format a50 tru

column blocker_proc format a50 tru

column fblocker_proc format a50 tru

column waiters format a50 tru

column chain_signature format a100 wra

column blocker_chain format a100 wra

SELECT *

FROM (SELECT 'Current Process: '||osid W_PROC, 'SID '||i.instance_name INSTANCE,

'INST #: '||instance INST,'Blocking Process: '||decode(blocker_osid,null,'',blocker_osid)||

' from Instance '||blocker_instance BLOCKER_PROC,

'Number of waiters: '||num_waiters waiters,

'Final Blocking Process: '||decode(p.spid,null,'',

p.spid)||' from Instance '||s.final_blocking_instance FBLOCKER_PROC,

'Program: '||p.program image,

'Wait Event: ' ||wait_event_text wait_event, 'P1: '||wc.p1 p1, 'P2: '||wc.p2 p2, 'P3: '||wc.p3 p3,

'Seconds in Wait: '||in_wait_secs Seconds, 'Seconds Since Last Wait: '||time_since_last_wait_secs sincelw,

'Wait Chain: '||chain_id ||': '||chain_signature chain_signature,'Blocking Wait Chain: '||decode(blocker_chain_id,null,

'',blocker_chain_id) blocker_chain

FROM v$wait_chains wc,

gv$session s,

gv$session bs,

gv$instance i,

gv$process p

WHERE wc.instance = i.instance_number (+)

AND (wc.instance = s.inst_id (+) and wc.sid = s.sid (+)

and wc.sess_serial# = s.serial# (+))

AND (s.final_blocking_instance = bs.inst_id (+) and s.final_blocking_session = bs.sid (+))

AND (bs.inst_id = p.inst_id (+) and bs.paddr = p.addr (+))

AND ( num_waiters > 0

OR ( blocker_osid IS NOT NULL

AND in_wait_secs > 10 ) )

ORDER BY chain_id,

num_waiters DESC)

WHERE ROWNUM < 101;

Current Process:2309 SID RAC1 INST #: 1

Blocking Process: from Instance Number of waiters:2

Wait Event:SQL*Net message from client P1: 1650815232 P2: 1 P3:0

Seconds in Wait:157 Seconds Since Last Wait:

Wait Chaing:1 : 'SQL*Net message from client '< ='enq: TM - contention'<='enq: TM - contention'

Blocking Wait Chain:

Current Process:2395 SID RAC1 INST #: 1

Blocking Process:2309 from Instance 1 Number of waiters:0

Final Block Process:2309 from Instance 1 Program: oracle@racdbe1.us.oracle.com (TNS V1-V3)

Wait Event:enq: TX - contention P1:1415053318 P2: 524316 P3:50784

Seconds in Wait:139 Seconds Since Last Wait:

Wait Chain:1 : 'SQL*Net message from client '< ='enq: TM - contention'<='enq: TM - contention'

Blocking Wait Chain:

B.對數據庫性能生成一個awr/statspack快照

C.收集最新的RDA

最新的RDA提供了大量額外關于數據庫配置和性能度量的信息可以用來檢測可能影響性能的熱點的后臺進程問題

有時數據庫不是真正的被hang住可是只是'spinning' cpu.可以使用以下方法來檢查服務器是hang還是spin如果一個操作執行的時間比期待的時間長或者這個操作損害了其它操作的性能時那么最好是檢查v$session_wait視圖.這個視圖顯示了在系統中會話當前正在等待的信息.可以使用下面的腳本來操作.

column sid format 990

column seq# format 99990

column wait_time heading 'WTime' format 99990

column event format a30

column p1 format 9999999990

column p2 format 9999999990

column p3 format 9990

select sid,event,seq#,p1,p2,p3,wait_time

from V$session_wait

order by sid

/

上面的查詢最少應該執行三次并比較其它查詢結果

列意思

sid-- 會話的系統標識符

seq#--序列號.當一個特定會話的等待一個新的事件時這個數字會增加.它能告訴你一個會話是否正在執行

evnet--會話正在等待的或最后等待的操作

p1,p2,p3--它們代表不同的等待值

wait_time--0指示這個會話正在等待的事件.非0指示這個會話最后等待的事件和會話正使用CPU

例如:

SID EVENT SEQ# P1 P2 P3 WTime

---- ------------------------------ ------ ----------- ----------- ----- ------

1 pmon timer 335 300 0 0 0

2 rdbms ipc message 779 300 0 0 0

6 smon timer 74 300 0 0 0

9 Null event 347 0 300 0 0

16 SQL*Net message from client 1064 1650815315 1 0 -1

如果腳本查詢的結果顯示正在等待一個enqueue等待事件那么你將需要檢查與你hang會話相關的鎖信息

column sid format 990

column type format a2

column id1 format 9999999990

column id2 format 9999999990

column Lmode format 990

column request format 990

select * from v$lock

/

Spinning

在spin的情況下事件通常來說是靜態的且會話不會是正在等待一個事件--而是在等待cpu(注意在極少數情況下,這個事件依賴于執行spin的代碼也可能不會靜態的.如果會自豪感是spin它將嚴重使用cpu和內存資源.

對于一個spin的情況重要的是要檢測會話正處于spinning的代碼.從事件的一些跡象說明通常需要對一個進程生成幾次的錯誤堆棧信息用來分析:

connect sys/sys as sysdba

oradebug setospid

oradebug unlimit

oradebug dump errorstack 3

oradebug dump errorstack 3

oradebug dump errorstack 3

這里的spid是操作系統標識符可以從v$process視圖是得到.

Hanging

在正常的情況下在v$session_wait視圖中的值應該是用每個會話執行的不同操作來替換.

在hang住的情況下對于一個或一組特定會話的所有系統事件將會是保持靜態狀態且進程不會消耗任何cpu和內存資源.鑒于會話現在沒有請求鎖定任何資源這就叫hang

在這種情況下可對實例轉儲系統狀態來獲得一些更詳細更有用的信息.

ALTER SESSION SET EVENTS 'IMMEDIATE TRACE NAME SYSTEMSTATE LEVEL XX';

在oralce9.2.0.6或oracle10.1.0.4或在oracle10g中最高的版本的中這里的xx是266.執行上面的命令在你的user_dump_dest目錄中會生成系統狀態跟蹤文件.

通過下面的查詢可以得到問題進程的進程ID

SELECT pid FROM v$process

WHERE addr =

(SELECT paddr FROM v$session

WHERE sid = sid_of_problem_session);

系統狀態轉儲文件包含了每一個進程的信息.可以通過搜索'PROCESS '來找到每一個進程的詳細信息.通過搜索'waiting for'來找到當前正在等待的事件.

總結

以上是生活随笔為你收集整理的oracle数据库延迟执行,如何诊断oracle数据库运行缓慢或hang住的问题的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

国产农村妇女高潮大叫 | 蜜桃av抽搐高潮一区二区 | 精品国偷自产在线 | 亚洲无人区一区二区三区 | 久在线观看福利视频 | 特黄特色大片免费播放器图片 | 国产精品久久久久9999小说 | 亚洲中文字幕av在天堂 | 成人免费无码大片a毛片 | 任你躁在线精品免费 | 欧美精品一区二区精品久久 | 99久久久无码国产精品免费 | 国产另类ts人妖一区二区 | 国产成人午夜福利在线播放 | 成人综合网亚洲伊人 | 日本一本二本三区免费 | 午夜精品一区二区三区的区别 | 婷婷丁香五月天综合东京热 | 少妇人妻大乳在线视频 | 国产成人午夜福利在线播放 | 亚洲国产精品久久久久久 | 久久精品国产日本波多野结衣 | 麻豆md0077饥渴少妇 | 又色又爽又黄的美女裸体网站 | av香港经典三级级 在线 | 岛国片人妻三上悠亚 | 久久久婷婷五月亚洲97号色 | 欧美 丝袜 自拍 制服 另类 | 美女黄网站人色视频免费国产 | 色狠狠av一区二区三区 | 国产97在线 | 亚洲 | 国产无套粉嫩白浆在线 | 人人妻人人澡人人爽欧美精品 | 国产精品嫩草久久久久 | 久久亚洲a片com人成 | 无码免费一区二区三区 | 精品人妻人人做人人爽 | 国产极品美女高潮无套在线观看 | 67194成是人免费无码 | 少妇被黑人到高潮喷出白浆 | 精品一区二区不卡无码av | 国产办公室秘书无码精品99 | 草草网站影院白丝内射 | 亚洲精品国产品国语在线观看 | 欧美 日韩 人妻 高清 中文 | 亚洲成av人片在线观看无码不卡 | 丁香啪啪综合成人亚洲 | 老太婆性杂交欧美肥老太 | 国产香蕉尹人综合在线观看 | 双乳奶水饱满少妇呻吟 | 狠狠综合久久久久综合网 | 日本精品少妇一区二区三区 | 亲嘴扒胸摸屁股激烈网站 | 一本一道久久综合久久 | 久久国产劲爆∧v内射 | 男女下面进入的视频免费午夜 | аⅴ资源天堂资源库在线 | 久久久久久亚洲精品a片成人 | 久久婷婷五月综合色国产香蕉 | 国产亚洲精品精品国产亚洲综合 | 国产午夜福利亚洲第一 | 无码精品国产va在线观看dvd | 国产成人无码区免费内射一片色欲 | 精品无码国产一区二区三区av | 国产亚av手机在线观看 | 中国女人内谢69xxxx | 国产精品毛多多水多 | 日韩av无码中文无码电影 | 伊人久久大香线蕉av一区二区 | 精品无码av一区二区三区 | 在教室伦流澡到高潮hnp视频 | 一个人免费观看的www视频 | 日本丰满护士爆乳xxxx | 兔费看少妇性l交大片免费 | 久久午夜夜伦鲁鲁片无码免费 | 疯狂三人交性欧美 | 日本精品高清一区二区 | 永久免费观看美女裸体的网站 | 亚洲欧美日韩国产精品一区二区 | 人妻人人添人妻人人爱 | 日韩人妻无码一区二区三区久久99 | 99麻豆久久久国产精品免费 | 国产精品无码成人午夜电影 | 国产精品多人p群无码 | 久久久久成人片免费观看蜜芽 | 国产熟女一区二区三区四区五区 | 国产日产欧产精品精品app | 无码成人精品区在线观看 | 日韩精品无码免费一区二区三区 | 日本护士xxxxhd少妇 | 精品日本一区二区三区在线观看 | 色欲人妻aaaaaaa无码 | 久久亚洲中文字幕精品一区 | 国产三级久久久精品麻豆三级 | 国産精品久久久久久久 | 久久 国产 尿 小便 嘘嘘 | 久久亚洲精品中文字幕无男同 | a片在线免费观看 | 青青青手机频在线观看 | 国产特级毛片aaaaaaa高清 | 亚洲精品国产第一综合99久久 | 亚洲va欧美va天堂v国产综合 | 免费无码肉片在线观看 | 99久久久无码国产精品免费 | 动漫av一区二区在线观看 | 久久精品人人做人人综合试看 | 久久精品人妻少妇一区二区三区 | 国产麻豆精品一区二区三区v视界 | 人妻少妇精品无码专区动漫 | 亚洲中文字幕久久无码 | 三上悠亚人妻中文字幕在线 | 秋霞成人午夜鲁丝一区二区三区 | 国产精品久久久午夜夜伦鲁鲁 | 成在人线av无码免观看麻豆 | 俺去俺来也在线www色官网 | 亚洲国产av美女网站 | 无码精品国产va在线观看dvd | 久久久国产一区二区三区 | 亚洲の无码国产の无码影院 | 久久精品女人天堂av免费观看 | 在线观看国产午夜福利片 | 日韩亚洲欧美精品综合 | 国产 浪潮av性色四虎 | 国产精品第一国产精品 | 色婷婷av一区二区三区之红樱桃 | 成人综合网亚洲伊人 | 欧美黑人巨大xxxxx | 亚洲中文字幕无码中字 | 沈阳熟女露脸对白视频 | 日本乱人伦片中文三区 | 色情久久久av熟女人妻网站 | 欧美国产日韩久久mv | 牲欲强的熟妇农村老妇女 | 国产精品久免费的黄网站 | 人人妻人人澡人人爽欧美一区九九 | 国产成人无码av一区二区 | 亚洲乱码国产乱码精品精 | 亚洲男人av天堂午夜在 | 亚洲精品无码国产 | 国产超碰人人爽人人做人人添 | 丰满护士巨好爽好大乳 | 一本一道久久综合久久 | 成人三级无码视频在线观看 | 精品无人国产偷自产在线 | 国产成人综合色在线观看网站 | 日韩人妻无码一区二区三区久久99 | 成年女人永久免费看片 | 国产亚洲人成a在线v网站 | 久久伊人色av天堂九九小黄鸭 | 成年美女黄网站色大免费全看 | 国产成人亚洲综合无码 | 国产亚洲精品久久久ai换 | 国产精品无码久久av | 中文字幕日韩精品一区二区三区 | 鲁一鲁av2019在线 | 亚洲精品国产精品乱码视色 | 日本大香伊一区二区三区 | 久久国产自偷自偷免费一区调 | 99精品国产综合久久久久五月天 | 国产成人人人97超碰超爽8 | 精品乱子伦一区二区三区 | 白嫩日本少妇做爰 | 国产亚洲精品精品国产亚洲综合 | 日本xxxx色视频在线观看免费 | 一个人免费观看的www视频 | 国精品人妻无码一区二区三区蜜柚 | 国产超级va在线观看视频 | 亚洲欧美精品伊人久久 | 2020最新国产自产精品 | 国产人妻人伦精品 | 久久精品国产一区二区三区肥胖 | 无码人妻黑人中文字幕 | 国产成人午夜福利在线播放 | 国产人妻人伦精品1国产丝袜 | 日本va欧美va欧美va精品 | 九月婷婷人人澡人人添人人爽 | 国产成人一区二区三区别 | 人人妻人人藻人人爽欧美一区 | 久久久久久九九精品久 | 中国女人内谢69xxxxxa片 | 人妻互换免费中文字幕 | 亚洲熟悉妇女xxx妇女av | 人人爽人人澡人人人妻 | 成人无码精品一区二区三区 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 野狼第一精品社区 | 无码午夜成人1000部免费视频 | 久久精品国产精品国产精品污 | 久久精品中文字幕大胸 | 日本爽爽爽爽爽爽在线观看免 | 76少妇精品导航 | 亚洲中文字幕在线无码一区二区 | 日本护士毛茸茸高潮 | 国产成人亚洲综合无码 | 无码一区二区三区在线 | 国产午夜精品一区二区三区嫩草 | 国产后入清纯学生妹 | 国产av无码专区亚洲a∨毛片 | 图片小说视频一区二区 | 久久综合色之久久综合 | 亚洲精品综合一区二区三区在线 | 国产深夜福利视频在线 | 久久综合九色综合97网 | 色欲av亚洲一区无码少妇 | 51国偷自产一区二区三区 | 国产乱人无码伦av在线a | 色婷婷av一区二区三区之红樱桃 | 国产精品沙发午睡系列 | 国产精品.xx视频.xxtv | 欧美 丝袜 自拍 制服 另类 | 国产精品久免费的黄网站 | 国产麻豆精品精东影业av网站 | 大胆欧美熟妇xx | 色综合久久88色综合天天 | 野外少妇愉情中文字幕 | 亚洲精品国产精品乱码不卡 | 亚洲天堂2017无码 | 国产人妻大战黑人第1集 | 波多野结衣av在线观看 | 欧美日韩久久久精品a片 | 亚洲国产综合无码一区 | 中文无码伦av中文字幕 | 久久精品99久久香蕉国产色戒 | 51国偷自产一区二区三区 | 秋霞成人午夜鲁丝一区二区三区 | 亚洲精品午夜国产va久久成人 | 亚洲成a人片在线观看无码 | 99久久精品日本一区二区免费 | 国产精品18久久久久久麻辣 | 少妇一晚三次一区二区三区 | 亚洲精品一区二区三区在线观看 | 99久久精品午夜一区二区 | 久久伊人色av天堂九九小黄鸭 | 精品国产aⅴ无码一区二区 | 免费人成网站视频在线观看 | 精品久久久久久人妻无码中文字幕 | 色一情一乱一伦一区二区三欧美 | 中文亚洲成a人片在线观看 | 亚洲精品无码人妻无码 | 日韩精品无码免费一区二区三区 | 99久久精品国产一区二区蜜芽 | 俺去俺来也在线www色官网 | 日本大乳高潮视频在线观看 | 欧美性生交xxxxx久久久 | 学生妹亚洲一区二区 | 狠狠色欧美亚洲狠狠色www | 在线精品亚洲一区二区 | 一本加勒比波多野结衣 | 特黄特色大片免费播放器图片 | 噜噜噜亚洲色成人网站 | 欧美一区二区三区视频在线观看 | 性色av无码免费一区二区三区 | 亚洲国产高清在线观看视频 | 四虎国产精品一区二区 | 天堂无码人妻精品一区二区三区 | 久久婷婷五月综合色国产香蕉 | 国产9 9在线 | 中文 | 日韩精品久久久肉伦网站 | 亚洲 a v无 码免 费 成 人 a v | 99精品无人区乱码1区2区3区 | 欧美人妻一区二区三区 | 国产成人久久精品流白浆 | 亚洲日韩精品欧美一区二区 | 国产成人久久精品流白浆 | 国产办公室秘书无码精品99 | 亚洲伊人久久精品影院 | 国产精品无码mv在线观看 | 樱花草在线播放免费中文 | 亚洲欧美精品aaaaaa片 | 国产在线无码精品电影网 | 国产电影无码午夜在线播放 | 国产av一区二区三区最新精品 | 国产真人无遮挡作爱免费视频 | 国产无遮挡又黄又爽又色 | 国产97人人超碰caoprom | 国产av无码专区亚洲awww | 成人综合网亚洲伊人 | 国产精品福利视频导航 | 人人妻人人澡人人爽人人精品 | 亚洲中文字幕在线无码一区二区 | 成年女人永久免费看片 | 国产免费无码一区二区视频 | 一本久道久久综合狠狠爱 | 亚洲国产精品久久久久久 | 好男人社区资源 | 动漫av网站免费观看 | 久久www免费人成人片 | 3d动漫精品啪啪一区二区中 | 自拍偷自拍亚洲精品被多人伦好爽 | 天堂亚洲免费视频 | 国产免费观看黄av片 | 久久熟妇人妻午夜寂寞影院 | 樱花草在线播放免费中文 | 亚洲欧美国产精品久久 | 国产精品久久久久久无码 | 亚洲一区二区三区偷拍女厕 | 2020久久香蕉国产线看观看 | 荡女精品导航 | 荫蒂被男人添的好舒服爽免费视频 | 久久精品国产一区二区三区 | 国产精品爱久久久久久久 | 一本大道久久东京热无码av | 中文字幕av日韩精品一区二区 | 久久99久久99精品中文字幕 | 天堂久久天堂av色综合 | 亚洲欧洲日本综合aⅴ在线 | 乱码av麻豆丝袜熟女系列 | 精品午夜福利在线观看 | 国产在线精品一区二区三区直播 | 天堂а√在线中文在线 | 狠狠色噜噜狠狠狠狠7777米奇 | 亚洲中文字幕无码中文字在线 | 国产超级va在线观看视频 | 国产精品内射视频免费 | 国产精品国产自线拍免费软件 | 国产在线精品一区二区高清不卡 | 国产精品手机免费 | 人妻少妇精品无码专区动漫 | 日日噜噜噜噜夜夜爽亚洲精品 | 高潮毛片无遮挡高清免费视频 | 又粗又大又硬又长又爽 | 日本熟妇人妻xxxxx人hd | 爆乳一区二区三区无码 | 免费看男女做好爽好硬视频 | 欧美人与善在线com | 四虎影视成人永久免费观看视频 | 久久亚洲日韩精品一区二区三区 | 精品久久久久久人妻无码中文字幕 | 一本久道久久综合婷婷五月 | 国产在线精品一区二区高清不卡 | 午夜不卡av免费 一本久久a久久精品vr综合 | 粉嫩少妇内射浓精videos | 狠狠色欧美亚洲狠狠色www | 日本乱人伦片中文三区 | 成人无码视频免费播放 | 无码一区二区三区在线观看 | 无人区乱码一区二区三区 | 色综合久久久无码中文字幕 | 亚洲国产精品毛片av不卡在线 | 国产黄在线观看免费观看不卡 | 亚洲国产日韩a在线播放 | 久久久中文久久久无码 | 亚洲国产日韩a在线播放 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 国产午夜手机精彩视频 | 久久精品丝袜高跟鞋 | 久久综合九色综合97网 | 精品aⅴ一区二区三区 | 亚洲小说春色综合另类 | 丁香啪啪综合成人亚洲 | 装睡被陌生人摸出水好爽 | 欧美熟妇另类久久久久久多毛 | 久久综合狠狠综合久久综合88 | 日日夜夜撸啊撸 | 国产精品久免费的黄网站 | 久久久国产一区二区三区 | 久久久久国色av免费观看性色 | 天堂亚洲免费视频 | 18黄暴禁片在线观看 | 无遮挡国产高潮视频免费观看 | av香港经典三级级 在线 | 奇米综合四色77777久久 东京无码熟妇人妻av在线网址 | 亚洲男女内射在线播放 | 国产无av码在线观看 | 久久精品人人做人人综合 | 黑人大群体交免费视频 | 国产亚洲精品久久久久久 | 妺妺窝人体色www在线小说 | 亚洲成色www久久网站 | 大乳丰满人妻中文字幕日本 | 亚洲日韩乱码中文无码蜜桃臀网站 | 98国产精品综合一区二区三区 | 国产精品二区一区二区aⅴ污介绍 | 久久人人爽人人人人片 | 国产农村妇女aaaaa视频 撕开奶罩揉吮奶头视频 | 少妇无码av无码专区在线观看 | 婷婷丁香五月天综合东京热 | 色噜噜亚洲男人的天堂 | 亚洲国产av精品一区二区蜜芽 | 国产熟女一区二区三区四区五区 | 内射后入在线观看一区 | 国产精品福利视频导航 | 成人亚洲精品久久久久 | 天天综合网天天综合色 | 欧美性猛交内射兽交老熟妇 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 国产成人精品三级麻豆 | 亚洲精品一区二区三区在线观看 | 婷婷五月综合缴情在线视频 | 中文字幕+乱码+中文字幕一区 | 久久精品国产99久久6动漫 | 国产激情一区二区三区 | 国产亚洲视频中文字幕97精品 | 精品水蜜桃久久久久久久 | 日韩 欧美 动漫 国产 制服 | 国产97在线 | 亚洲 | 欧美性猛交xxxx富婆 | 欧洲精品码一区二区三区免费看 | 国产成人精品视频ⅴa片软件竹菊 | 中文字幕 亚洲精品 第1页 | 2019午夜福利不卡片在线 | 一二三四社区在线中文视频 | 日本va欧美va欧美va精品 | 亚洲中文字幕乱码av波多ji | 最近免费中文字幕中文高清百度 | 国产精品久久久久久亚洲毛片 | 中文毛片无遮挡高清免费 | 精品一二三区久久aaa片 | 99久久精品无码一区二区毛片 | 亚洲综合伊人久久大杳蕉 | 亚洲天堂2017无码中文 | 亚洲а∨天堂久久精品2021 | 丰满妇女强制高潮18xxxx | 蜜臀av无码人妻精品 | 亚洲精品午夜国产va久久成人 | 欧美人与禽zoz0性伦交 | 国内精品人妻无码久久久影院 | 久久精品国产精品国产精品污 | 欧美激情综合亚洲一二区 | 小sao货水好多真紧h无码视频 | 成年女人永久免费看片 | 国产精品毛多多水多 | 18黄暴禁片在线观看 | 99re在线播放 | 亚洲中文字幕乱码av波多ji | 日韩av无码一区二区三区不卡 | 无码av免费一区二区三区试看 | 久久亚洲精品成人无码 | 婷婷五月综合缴情在线视频 | 女人被男人爽到呻吟的视频 | 亚洲爆乳无码专区 | 装睡被陌生人摸出水好爽 | 荫蒂被男人添的好舒服爽免费视频 | 无码人妻少妇伦在线电影 | 中文无码伦av中文字幕 | 亚洲熟妇色xxxxx欧美老妇y | 欧美国产日韩亚洲中文 | 国产精品成人av在线观看 | 国产精品福利视频导航 | 1000部啪啪未满十八勿入下载 | 国产亚洲精品久久久闺蜜 | 少妇的肉体aa片免费 | 国产精品第一区揄拍无码 | 亚洲色大成网站www | 国产激情艳情在线看视频 | 高清无码午夜福利视频 | 亚洲区欧美区综合区自拍区 | 亚洲精品午夜无码电影网 | 日韩欧美中文字幕在线三区 | 在线a亚洲视频播放在线观看 | 天天爽夜夜爽夜夜爽 | 人妻少妇精品视频专区 | 77777熟女视频在线观看 а天堂中文在线官网 | av香港经典三级级 在线 | 帮老师解开蕾丝奶罩吸乳网站 | 好男人社区资源 | 亚洲娇小与黑人巨大交 | 乱码午夜-极国产极内射 | 日本饥渴人妻欲求不满 | 3d动漫精品啪啪一区二区中 | 欧洲熟妇精品视频 | 波多野结衣 黑人 | 精品久久8x国产免费观看 | 伊人色综合久久天天小片 | 亚洲aⅴ无码成人网站国产app | 国产99久久精品一区二区 | 少妇人妻大乳在线视频 | 精品国产成人一区二区三区 | 亚洲成a人一区二区三区 | 99久久精品国产一区二区蜜芽 | 蜜桃视频插满18在线观看 | 国内少妇偷人精品视频免费 | 日本高清一区免费中文视频 | 亚洲国产精品一区二区美利坚 | 日韩精品a片一区二区三区妖精 | 人人妻人人藻人人爽欧美一区 | 性欧美大战久久久久久久 | 无码中文字幕色专区 | 永久黄网站色视频免费直播 | 婷婷色婷婷开心五月四房播播 | 欧美一区二区三区 | 久久亚洲国产成人精品性色 | 特大黑人娇小亚洲女 | 亚洲精品国产品国语在线观看 | 国语自产偷拍精品视频偷 | 亚拍精品一区二区三区探花 | 中文字幕+乱码+中文字幕一区 | 精品国产av色一区二区深夜久久 | 国产人妻精品一区二区三区不卡 | 精品国产av色一区二区深夜久久 | 激情内射日本一区二区三区 | 国产农村乱对白刺激视频 | 精品一区二区不卡无码av | 亚洲精品欧美二区三区中文字幕 | 亚洲综合久久一区二区 | 亚洲一区二区三区播放 | 美女毛片一区二区三区四区 | 久久久久亚洲精品中文字幕 | 免费看少妇作爱视频 | 少妇被粗大的猛进出69影院 | 强奷人妻日本中文字幕 | 性做久久久久久久免费看 | 成人av无码一区二区三区 | 成熟女人特级毛片www免费 | 亚洲中文字幕乱码av波多ji | 日日碰狠狠丁香久燥 | 丰满护士巨好爽好大乳 | 无码人妻丰满熟妇区毛片18 | 天天躁日日躁狠狠躁免费麻豆 | 超碰97人人射妻 | 日日夜夜撸啊撸 | 国产av无码专区亚洲awww | 成人影院yy111111在线观看 | 亚洲国产欧美在线成人 | 小泽玛莉亚一区二区视频在线 | 欧美三级a做爰在线观看 | 国产成人综合色在线观看网站 | 亚洲成色在线综合网站 | 丰满少妇女裸体bbw | www一区二区www免费 | 最新国产麻豆aⅴ精品无码 | 东京热无码av男人的天堂 | 日本一区二区三区免费高清 | 欧美老熟妇乱xxxxx | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 欧美兽交xxxx×视频 | 亚洲热妇无码av在线播放 | 午夜无码人妻av大片色欲 | 久青草影院在线观看国产 | 国产精品人人爽人人做我的可爱 | 中文毛片无遮挡高清免费 | 99久久久国产精品无码免费 | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 少妇高潮喷潮久久久影院 | 夜精品a片一区二区三区无码白浆 | 久久精品人妻少妇一区二区三区 | 中文字幕 亚洲精品 第1页 | 国产在线aaa片一区二区99 | 一个人看的视频www在线 | 九九在线中文字幕无码 | 久久久久久亚洲精品a片成人 | 伊人久久大香线蕉午夜 | 欧美精品在线观看 | 国产人妻人伦精品1国产丝袜 | 一本色道婷婷久久欧美 | 日本熟妇大屁股人妻 | 国产舌乚八伦偷品w中 | 亚洲色偷偷偷综合网 | 永久免费精品精品永久-夜色 | 亚拍精品一区二区三区探花 | 无遮挡啪啪摇乳动态图 | 香港三级日本三级妇三级 | 欧美老妇交乱视频在线观看 | 精品一区二区三区无码免费视频 | 中文字幕+乱码+中文字幕一区 | 国产偷自视频区视频 | 欧美 日韩 亚洲 在线 | 久久99久久99精品中文字幕 | 久久人人爽人人人人片 | 成人无码影片精品久久久 | 人人妻人人澡人人爽欧美精品 | 蜜臀aⅴ国产精品久久久国产老师 | 亚洲综合久久一区二区 | 天干天干啦夜天干天2017 | 欧洲熟妇色 欧美 | 久久zyz资源站无码中文动漫 | 久久久久国色av免费观看性色 | 乌克兰少妇xxxx做受 | 婷婷五月综合激情中文字幕 | 又大又硬又爽免费视频 | 99在线 | 亚洲 | 少妇被黑人到高潮喷出白浆 | 国产成人无码av一区二区 | 丰满少妇女裸体bbw | 桃花色综合影院 | 97人妻精品一区二区三区 | 精品厕所偷拍各类美女tp嘘嘘 | 水蜜桃色314在线观看 | 天天摸天天碰天天添 | 久久精品国产一区二区三区 | 国产精品高潮呻吟av久久4虎 | 国产人妖乱国产精品人妖 | 亚洲娇小与黑人巨大交 | 国产女主播喷水视频在线观看 | 久久精品一区二区三区四区 | 精品一区二区三区波多野结衣 | 人妻天天爽夜夜爽一区二区 | 国产人妻大战黑人第1集 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 久久综合久久自在自线精品自 | 国产绳艺sm调教室论坛 | 亚洲乱码中文字幕在线 | 久久久久免费精品国产 | 97久久国产亚洲精品超碰热 | 欧美日韩综合一区二区三区 | 久久国内精品自在自线 | 青青久在线视频免费观看 | 老子影院午夜伦不卡 | 日韩精品无码一区二区中文字幕 | 无码国模国产在线观看 | 福利一区二区三区视频在线观看 | 亚洲欧美中文字幕5发布 | 中文字幕+乱码+中文字幕一区 | 麻豆国产丝袜白领秘书在线观看 | 国内少妇偷人精品视频 | 国产美女精品一区二区三区 | 九九热爱视频精品 | 亚无码乱人伦一区二区 | 麻豆人妻少妇精品无码专区 | 国产亚洲日韩欧美另类第八页 | 无码精品人妻一区二区三区av | 免费视频欧美无人区码 | 在线 国产 欧美 亚洲 天堂 | 中文久久乱码一区二区 | 亚洲人亚洲人成电影网站色 | 国产在线精品一区二区高清不卡 | 国内丰满熟女出轨videos | 在线播放无码字幕亚洲 | 九九综合va免费看 | 欧美丰满熟妇xxxx性ppx人交 | 一本色道久久综合亚洲精品不卡 | 精品一区二区三区无码免费视频 | 精品一区二区不卡无码av | 国产内射爽爽大片视频社区在线 | 无遮挡啪啪摇乳动态图 | 男人扒开女人内裤强吻桶进去 | 无码人妻精品一区二区三区不卡 | 欧美放荡的少妇 | 大肉大捧一进一出视频出来呀 | 亚洲国产成人av在线观看 | 亚洲精品成人福利网站 | 无码一区二区三区在线观看 | 欧美性猛交内射兽交老熟妇 | 熟妇女人妻丰满少妇中文字幕 | 天天做天天爱天天爽综合网 | 人妻人人添人妻人人爱 | 国产成人无码av一区二区 | 亚洲の无码国产の无码影院 | 日韩人妻少妇一区二区三区 | 国产精品亚洲一区二区三区喷水 | 亚洲精品国偷拍自产在线观看蜜桃 | 中文字幕无码免费久久99 | 无码人妻av免费一区二区三区 | 欧美日本免费一区二区三区 | 国产精品久久久久7777 | av无码电影一区二区三区 | 一本久久a久久精品亚洲 | 99精品视频在线观看免费 | 亚洲狠狠婷婷综合久久 | 国产精品久久久久久亚洲影视内衣 | 亚洲熟妇自偷自拍另类 | 丝袜足控一区二区三区 | 中文字幕中文有码在线 | 国产高清不卡无码视频 | 在线看片无码永久免费视频 | 久久午夜无码鲁丝片秋霞 | av人摸人人人澡人人超碰下载 | 少妇人妻av毛片在线看 | 久久国内精品自在自线 | 5858s亚洲色大成网站www | 未满小14洗澡无码视频网站 | 国内揄拍国内精品人妻 | 午夜精品一区二区三区在线观看 | 鲁一鲁av2019在线 | 午夜成人1000部免费视频 | 久久国产精品二国产精品 | 精品无码av一区二区三区 | 精品久久久中文字幕人妻 | 国产精品亚洲综合色区韩国 | 亚洲国产精品无码一区二区三区 | 亚洲国产精品无码久久久久高潮 | 一本大道伊人av久久综合 | 欧洲极品少妇 | 97精品人妻一区二区三区香蕉 | 亚洲午夜福利在线观看 | 野外少妇愉情中文字幕 | 欧美成人午夜精品久久久 | 亚洲国产综合无码一区 | 欧美日韩人成综合在线播放 | 国内揄拍国内精品少妇国语 | 76少妇精品导航 | 乱人伦人妻中文字幕无码久久网 | 夫妻免费无码v看片 | 国产在线精品一区二区高清不卡 | 久久午夜无码鲁丝片 | 亚洲小说春色综合另类 | 老熟妇乱子伦牲交视频 | 亚洲国产精品一区二区第一页 | 俺去俺来也在线www色官网 | 亚洲精品一区二区三区婷婷月 | 国产绳艺sm调教室论坛 | 国产网红无码精品视频 | 国产熟妇高潮叫床视频播放 | 欧洲熟妇色 欧美 | 奇米影视7777久久精品 | www成人国产高清内射 | 两性色午夜免费视频 | 国产片av国语在线观看 | 久久aⅴ免费观看 | 大肉大捧一进一出好爽视频 | 97久久精品无码一区二区 | 天堂亚洲2017在线观看 | 最新国产乱人伦偷精品免费网站 | 久久综合九色综合97网 | 无码一区二区三区在线 | 大色综合色综合网站 | 成人精品一区二区三区中文字幕 | 国产精品美女久久久网av | 又大又硬又爽免费视频 | 大肉大捧一进一出视频出来呀 | 亚洲精品国产a久久久久久 | 久久精品人妻少妇一区二区三区 | 男女性色大片免费网站 | 亚洲综合精品香蕉久久网 | 国产精品手机免费 | 国产性生大片免费观看性 | 国产疯狂伦交大片 | 国产在线aaa片一区二区99 | 欧美日韩久久久精品a片 | 国产美女精品一区二区三区 | 日本精品高清一区二区 | 亚洲精品一区二区三区四区五区 | 又色又爽又黄的美女裸体网站 | 日韩精品乱码av一区二区 | 国产精品国产三级国产专播 | 精品一区二区三区无码免费视频 | 天堂а√在线中文在线 | 自拍偷自拍亚洲精品被多人伦好爽 | 99麻豆久久久国产精品免费 | 国产亚洲精品精品国产亚洲综合 | 久久久中文字幕日本无吗 | 国产成人一区二区三区在线观看 | 理论片87福利理论电影 | 欧美国产日韩久久mv | 熟妇激情内射com | 欧美一区二区三区视频在线观看 | 欧洲熟妇精品视频 | 成人一区二区免费视频 | 97无码免费人妻超级碰碰夜夜 | aⅴ在线视频男人的天堂 | 婷婷综合久久中文字幕蜜桃三电影 | 国产另类ts人妖一区二区 | 88国产精品欧美一区二区三区 | 国产高清av在线播放 | 日本高清一区免费中文视频 | 久久人人爽人人爽人人片ⅴ | 国产精品爱久久久久久久 | 一二三四社区在线中文视频 | 人妻少妇精品无码专区动漫 | 人人妻人人澡人人爽欧美精品 | 久久人人爽人人爽人人片ⅴ | 久久99久久99精品中文字幕 | 日日摸夜夜摸狠狠摸婷婷 | 无码国内精品人妻少妇 | 久久久久久亚洲精品a片成人 | 色情久久久av熟女人妻网站 | 亚洲 欧美 激情 小说 另类 | 亚洲色欲色欲欲www在线 | 蜜臀aⅴ国产精品久久久国产老师 | 性生交大片免费看l | 成在人线av无码免费 | 无码福利日韩神码福利片 | 亚洲成色在线综合网站 | 一本色道久久综合亚洲精品不卡 | 国产精品美女久久久 | 国产精品igao视频网 | 国产在线精品一区二区三区直播 | 国产一区二区三区日韩精品 | 久久国产精品_国产精品 | 亚洲一区二区三区无码久久 | 国产特级毛片aaaaaa高潮流水 | 免费人成在线观看网站 | www一区二区www免费 | 亚洲国产日韩a在线播放 | 成 人 免费观看网站 | 伊人久久大香线蕉av一区二区 | 日韩欧美群交p片內射中文 | 大肉大捧一进一出好爽视频 | 麻豆精产国品 | 欧美日韩人成综合在线播放 | av人摸人人人澡人人超碰下载 | 亚洲中文字幕乱码av波多ji | 波多野结衣av在线观看 | 欧美日韩在线亚洲综合国产人 | 女人被男人躁得好爽免费视频 | 国产黑色丝袜在线播放 | 中文字幕无码人妻少妇免费 | 国产国语老龄妇女a片 | 99国产欧美久久久精品 | 欧美精品在线观看 | 久久久中文字幕日本无吗 | 久久久久99精品成人片 | 亚洲中文字幕在线无码一区二区 | 欧美精品免费观看二区 | 东北女人啪啪对白 | 国产精品-区区久久久狼 | 久久无码中文字幕免费影院蜜桃 | 久久综合久久自在自线精品自 | 鲁大师影院在线观看 | √天堂资源地址中文在线 | 97无码免费人妻超级碰碰夜夜 | 亚洲精品一区国产 | 婷婷五月综合缴情在线视频 | 波多野结衣av一区二区全免费观看 | 波多野结衣av一区二区全免费观看 | 日韩视频 中文字幕 视频一区 | 任你躁国产自任一区二区三区 | 欧美亚洲国产一区二区三区 | 精品无码一区二区三区爱欲 | 激情人妻另类人妻伦 | 国产莉萝无码av在线播放 | 偷窥日本少妇撒尿chinese | 国产情侣作爱视频免费观看 | 狠狠亚洲超碰狼人久久 | 97久久超碰中文字幕 | 久久亚洲精品中文字幕无男同 | 国产精品久久福利网站 | 成人性做爰aaa片免费看 | 色五月丁香五月综合五月 | 成人无码视频在线观看网站 | 性色欲网站人妻丰满中文久久不卡 | 澳门永久av免费网站 | 亚洲精品一区二区三区四区五区 | 精品水蜜桃久久久久久久 | 国产成人久久精品流白浆 | 国产无套粉嫩白浆在线 | 国产人妻精品一区二区三区 | 成在人线av无码免观看麻豆 | 亚洲日韩精品欧美一区二区 | 男女猛烈xx00免费视频试看 | 久久人人97超碰a片精品 | 天天av天天av天天透 | 精品久久综合1区2区3区激情 | 欧美喷潮久久久xxxxx | 欧洲美熟女乱又伦 | 日韩在线不卡免费视频一区 | www成人国产高清内射 | 男人的天堂av网站 | 人人澡人人透人人爽 | 少妇厨房愉情理9仑片视频 | 97色伦图片97综合影院 | 国产亚洲日韩欧美另类第八页 | 天天做天天爱天天爽综合网 | 美女毛片一区二区三区四区 | 国产乱人伦偷精品视频 | 纯爱无遮挡h肉动漫在线播放 | 日韩少妇白浆无码系列 | 少妇无套内谢久久久久 | 亚洲中文字幕无码中文字在线 | 国产精品第一区揄拍无码 | 少妇性l交大片欧洲热妇乱xxx | 亚洲一区二区观看播放 | 少妇被黑人到高潮喷出白浆 | 色婷婷综合激情综在线播放 | 久久精品中文字幕大胸 | 国产亚洲人成a在线v网站 | 377p欧洲日本亚洲大胆 | 九九热爱视频精品 | 国产亚洲视频中文字幕97精品 | 国产av剧情md精品麻豆 | 在线观看国产一区二区三区 | 小泽玛莉亚一区二区视频在线 | 成人影院yy111111在线观看 | 无码毛片视频一区二区本码 | 在线成人www免费观看视频 | 一本久久伊人热热精品中文字幕 | 色婷婷香蕉在线一区二区 | 亚拍精品一区二区三区探花 | 久久综合给合久久狠狠狠97色 | 乱码av麻豆丝袜熟女系列 | 丰满人妻精品国产99aⅴ | 日韩av激情在线观看 | 成年美女黄网站色大免费全看 | 波多野结衣av一区二区全免费观看 | 久久久久99精品国产片 | 又大又黄又粗又爽的免费视频 | 国产精品第一国产精品 | 131美女爱做视频 | 一本加勒比波多野结衣 | 欧美日韩视频无码一区二区三 | 性欧美牲交在线视频 | 亚洲成av人片在线观看无码不卡 | 中文字幕久久久久人妻 | 国产精品沙发午睡系列 | 老熟女乱子伦 | 国产精品美女久久久网av | 色综合久久88色综合天天 | 国产欧美熟妇另类久久久 | 国产成人综合美国十次 | 亚洲日本va午夜在线电影 | 亚洲精品无码国产 | 人妻插b视频一区二区三区 | 亚洲中文字幕无码一久久区 | 2020久久香蕉国产线看观看 | 亚洲熟女一区二区三区 | 日日夜夜撸啊撸 | 18精品久久久无码午夜福利 | 国产精品办公室沙发 | 亚洲欧洲日本综合aⅴ在线 | 在线精品亚洲一区二区 | 丰满诱人的人妻3 | 色老头在线一区二区三区 | 午夜丰满少妇性开放视频 | 99久久人妻精品免费一区 | 亚洲精品美女久久久久久久 | 成人无码视频在线观看网站 | 国产精品欧美成人 | 欧美变态另类xxxx | 日本一卡2卡3卡四卡精品网站 | 国产精品毛片一区二区 | 免费无码的av片在线观看 | 国产成人无码av片在线观看不卡 | 亚洲爆乳大丰满无码专区 | 白嫩日本少妇做爰 | 伊人久久大香线焦av综合影院 | 鲁鲁鲁爽爽爽在线视频观看 | 欧美 丝袜 自拍 制服 另类 | 欧美激情综合亚洲一二区 | 亚洲 高清 成人 动漫 | 亚洲成av人片天堂网无码】 | 人妻少妇被猛烈进入中文字幕 | 波多野结衣一区二区三区av免费 | 国产成人综合在线女婷五月99播放 | 亚洲欧美中文字幕5发布 | 国产无遮挡又黄又爽免费视频 | 国产成人无码av在线影院 | 精品国偷自产在线 | 国产精品久久久久无码av色戒 | 亚洲一区av无码专区在线观看 | 亚洲欧美日韩国产精品一区二区 | 青草青草久热国产精品 | 亚洲人成网站色7799 | 亚洲精品成人av在线 | 国产精品亚洲а∨无码播放麻豆 | 欧美激情一区二区三区成人 | 成人一在线视频日韩国产 | 最近免费中文字幕中文高清百度 | 亚洲欧美综合区丁香五月小说 | 国产亚洲人成a在线v网站 | 精品水蜜桃久久久久久久 | 天天做天天爱天天爽综合网 | 国产精品二区一区二区aⅴ污介绍 | 67194成是人免费无码 | 久久久久久a亚洲欧洲av冫 | 麻豆蜜桃av蜜臀av色欲av | 乱码午夜-极国产极内射 | 熟妇人妻激情偷爽文 | 久久国产精品二国产精品 | 99麻豆久久久国产精品免费 | 2020久久超碰国产精品最新 | 色一情一乱一伦一区二区三欧美 | 久热国产vs视频在线观看 | 亚洲乱码国产乱码精品精 | 国产舌乚八伦偷品w中 | 国产一精品一av一免费 | 无遮挡啪啪摇乳动态图 | 久久久中文字幕日本无吗 | 日本在线高清不卡免费播放 | 久激情内射婷内射蜜桃人妖 | 国产人妻精品一区二区三区不卡 | 久久天天躁狠狠躁夜夜免费观看 | 国产麻豆精品精东影业av网站 | 一本久久伊人热热精品中文字幕 | 亚洲中文字幕乱码av波多ji | 久久精品中文字幕一区 | 国产情侣作爱视频免费观看 | 双乳奶水饱满少妇呻吟 | 国产一区二区三区四区五区加勒比 | 性欧美牲交xxxxx视频 | 亚洲人成网站色7799 | 麻豆果冻传媒2021精品传媒一区下载 | 无码国模国产在线观看 | 巨爆乳无码视频在线观看 | 成 人影片 免费观看 | 日本精品少妇一区二区三区 | 97精品国产97久久久久久免费 | aⅴ在线视频男人的天堂 | 亚洲精品一区二区三区在线 | 成人综合网亚洲伊人 | 伊在人天堂亚洲香蕉精品区 | 亚洲精品国产第一综合99久久 | 欧洲极品少妇 | 欧美zoozzooz性欧美 | 国产av一区二区三区最新精品 | 欧美人与禽zoz0性伦交 | 曰韩无码二三区中文字幕 | 国产亚洲精品久久久久久国模美 | 中国大陆精品视频xxxx | 国产舌乚八伦偷品w中 | 久精品国产欧美亚洲色aⅴ大片 | 国产一区二区三区影院 | 色婷婷久久一区二区三区麻豆 | 色欲久久久天天天综合网精品 | 精品无码国产一区二区三区av | 极品尤物被啪到呻吟喷水 | 无码人妻出轨黑人中文字幕 | 免费人成网站视频在线观看 | 久久国产精品偷任你爽任你 | 亚洲热妇无码av在线播放 | 欧美丰满熟妇xxxx | 久久国产精品_国产精品 | a在线观看免费网站大全 | 国产片av国语在线观看 | 在线成人www免费观看视频 | 性色欲情网站iwww九文堂 | 精品国产成人一区二区三区 | аⅴ资源天堂资源库在线 | 国产一区二区三区影院 | 色综合天天综合狠狠爱 | 99久久久无码国产aaa精品 | yw尤物av无码国产在线观看 | 国产色视频一区二区三区 | 精品成在人线av无码免费看 | 国产成人精品优优av | 99久久99久久免费精品蜜桃 | 午夜精品一区二区三区的区别 | 亚洲人成网站免费播放 | 人人妻人人澡人人爽人人精品 | 欧美日韩精品 | 丰满人妻翻云覆雨呻吟视频 | 国产精品福利视频导航 | 999久久久国产精品消防器材 | 初尝人妻少妇中文字幕 | 日日鲁鲁鲁夜夜爽爽狠狠 | 少妇高潮一区二区三区99 | 成人女人看片免费视频放人 | 女人被男人躁得好爽免费视频 | 亚洲一区av无码专区在线观看 | 麻豆国产97在线 | 欧洲 | 午夜福利试看120秒体验区 | 精品偷拍一区二区三区在线看 | 国产乱码精品一品二品 | 粉嫩少妇内射浓精videos | 中文字幕av伊人av无码av | 岛国片人妻三上悠亚 | 三上悠亚人妻中文字幕在线 | 图片小说视频一区二区 | 成人精品视频一区二区三区尤物 | 国产激情一区二区三区 | 性生交片免费无码看人 | 成熟女人特级毛片www免费 | 在线 国产 欧美 亚洲 天堂 | 99久久久无码国产aaa精品 | 国产成人无码av一区二区 | 澳门永久av免费网站 | 成人片黄网站色大片免费观看 | 国产在线无码精品电影网 | 亚洲成色www久久网站 | 在线精品亚洲一区二区 | 网友自拍区视频精品 | 欧美日韩一区二区免费视频 | 欧美真人作爱免费视频 | 好屌草这里只有精品 | 最新国产乱人伦偷精品免费网站 | 精品一区二区三区波多野结衣 | 国产美女极度色诱视频www | 欧美高清在线精品一区 | 真人与拘做受免费视频一 | 四虎影视成人永久免费观看视频 | 色欲av亚洲一区无码少妇 | 精品无码av一区二区三区 | 综合人妻久久一区二区精品 | 少妇无套内谢久久久久 | 天天做天天爱天天爽综合网 | 国产人妻久久精品二区三区老狼 | 成熟女人特级毛片www免费 | 国精产品一品二品国精品69xx | 扒开双腿疯狂进出爽爽爽视频 | 精品国产一区二区三区av 性色 | 国产成人一区二区三区在线观看 | 55夜色66夜色国产精品视频 | 欧美日韩一区二区综合 | 狠狠躁日日躁夜夜躁2020 | 熟妇人妻中文av无码 | 丰满少妇女裸体bbw | 国产亚洲精品久久久久久大师 | 国产精品国产自线拍免费软件 | 精品一区二区三区波多野结衣 | 无码人妻丰满熟妇区毛片18 | 国产97人人超碰caoprom | 黑森林福利视频导航 | 成人精品天堂一区二区三区 | 国产午夜亚洲精品不卡下载 | 久久天天躁狠狠躁夜夜免费观看 | 久久久久久国产精品无码下载 | 丰满少妇熟乱xxxxx视频 | 日本肉体xxxx裸交 | 日韩在线不卡免费视频一区 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 国产高清不卡无码视频 | 中文毛片无遮挡高清免费 | 国产免费观看黄av片 | 人妻夜夜爽天天爽三区 | 免费观看黄网站 | 国产成人精品优优av | www国产精品内射老师 | 日本一区二区更新不卡 | 国产亚洲欧美在线专区 | 婷婷丁香六月激情综合啪 | 国产色精品久久人妻 | 黑人大群体交免费视频 | 精品欧美一区二区三区久久久 | 国产黄在线观看免费观看不卡 | 西西人体www44rt大胆高清 | 国产成人精品久久亚洲高清不卡 | 亚洲国产av精品一区二区蜜芽 | 精品无码国产自产拍在线观看蜜 | 国产亚洲欧美在线专区 | 国产精品99久久精品爆乳 | 亚洲成av人在线观看网址 | 欧美丰满少妇xxxx性 | 国产午夜亚洲精品不卡 | 亚洲精品www久久久 | 又大又硬又黄的免费视频 | 中文字幕无码日韩欧毛 | 久久综合九色综合欧美狠狠 | 亚洲国产精品毛片av不卡在线 | 麻豆人妻少妇精品无码专区 | 国产激情无码一区二区app | 国精产品一品二品国精品69xx | 日本大香伊一区二区三区 | 欧美自拍另类欧美综合图片区 | 少妇一晚三次一区二区三区 | 影音先锋中文字幕无码 | 中文无码成人免费视频在线观看 | 色一情一乱一伦一视频免费看 | 国内综合精品午夜久久资源 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 中文字幕无线码免费人妻 | 国产午夜手机精彩视频 | 日本www一道久久久免费榴莲 | 一本色道婷婷久久欧美 | 97人妻精品一区二区三区 | 亚洲午夜久久久影院 | 久久综合九色综合97网 | 欧美老妇交乱视频在线观看 | 欧美兽交xxxx×视频 | 久久午夜无码鲁丝片午夜精品 | 自拍偷自拍亚洲精品被多人伦好爽 | 久久精品国产99久久6动漫 | 色一情一乱一伦一视频免费看 | 亚洲一区二区三区偷拍女厕 | 国内综合精品午夜久久资源 | 疯狂三人交性欧美 | 在线a亚洲视频播放在线观看 | 国产成人无码午夜视频在线观看 | av人摸人人人澡人人超碰下载 | 亚洲国产精品无码一区二区三区 | 久久国产精品_国产精品 | 日本一本二本三区免费 | 色老头在线一区二区三区 | 成熟妇人a片免费看网站 | 久久天天躁夜夜躁狠狠 | 人人超人人超碰超国产 | 久久久国产一区二区三区 | 人人澡人人妻人人爽人人蜜桃 | 377p欧洲日本亚洲大胆 | 欧美成人午夜精品久久久 | 亚洲国产精品一区二区第一页 | 中文字幕亚洲情99在线 | 又大又黄又粗又爽的免费视频 | 中文字幕无码视频专区 | 欧美黑人性暴力猛交喷水 | 国产av久久久久精东av | 131美女爱做视频 | 性色av无码免费一区二区三区 | 少妇性l交大片欧洲热妇乱xxx | 国产亚洲精品久久久久久国模美 | 中国女人内谢69xxxx | 亚洲 欧美 激情 小说 另类 | 婷婷五月综合缴情在线视频 | 秋霞成人午夜鲁丝一区二区三区 | 亚洲国产精品成人久久蜜臀 | 成熟女人特级毛片www免费 | 无遮挡啪啪摇乳动态图 | 免费国产黄网站在线观看 | 黑人粗大猛烈进出高潮视频 | 色综合久久久无码网中文 | 性色欲网站人妻丰满中文久久不卡 | 国产高清av在线播放 | 九月婷婷人人澡人人添人人爽 | 伊人久久大香线蕉亚洲 | 中文字幕日韩精品一区二区三区 | 精品 日韩 国产 欧美 视频 | 亚洲阿v天堂在线 | 狠狠色噜噜狠狠狠狠7777米奇 | 亚洲精品欧美二区三区中文字幕 | 精品 日韩 国产 欧美 视频 | 亚洲 另类 在线 欧美 制服 | 免费无码的av片在线观看 | 伊人久久大香线蕉av一区二区 | 性欧美疯狂xxxxbbbb | 亚洲精品国偷拍自产在线麻豆 | 国产尤物精品视频 | 国产精品亚洲五月天高清 | 国产麻豆精品精东影业av网站 | 中文无码精品a∨在线观看不卡 | 亚洲精品一区二区三区四区五区 | 装睡被陌生人摸出水好爽 | 人妻有码中文字幕在线 | 黑人粗大猛烈进出高潮视频 | 一本色道久久综合亚洲精品不卡 | 天天做天天爱天天爽综合网 | 亚洲人交乣女bbw | 人人澡人人妻人人爽人人蜜桃 | 国产精品亚洲а∨无码播放麻豆 | 国产9 9在线 | 中文 | 丰满肥臀大屁股熟妇激情视频 | 日本一区二区三区免费高清 | 蜜臀aⅴ国产精品久久久国产老师 | 欧美三级a做爰在线观看 | 俄罗斯老熟妇色xxxx | 宝宝好涨水快流出来免费视频 | 国产精品久久久午夜夜伦鲁鲁 | 亚洲熟悉妇女xxx妇女av | 亚洲国产av美女网站 | 国产人妻精品一区二区三区不卡 | 国产激情综合五月久久 | 免费观看又污又黄的网站 | 在线视频网站www色 | 国产av无码专区亚洲a∨毛片 | 中文字幕无线码免费人妻 | 欧美日韩综合一区二区三区 | 欧美人与牲动交xxxx | 国産精品久久久久久久 | 日韩av无码一区二区三区不卡 | 成人欧美一区二区三区黑人 | 日韩欧美成人免费观看 | 日本欧美一区二区三区乱码 | 久久久久成人精品免费播放动漫 | 7777奇米四色成人眼影 | 欧美zoozzooz性欧美 | 国产乱人伦偷精品视频 | 精品国产一区av天美传媒 | 国产舌乚八伦偷品w中 | 久精品国产欧美亚洲色aⅴ大片 | 男人扒开女人内裤强吻桶进去 | 色婷婷综合中文久久一本 | 国产猛烈高潮尖叫视频免费 | 国产精品第一国产精品 | 99精品久久毛片a片 | 天堂а√在线中文在线 | 高清国产亚洲精品自在久久 | 少妇性l交大片 | 中文字幕av日韩精品一区二区 | 亚洲 日韩 欧美 成人 在线观看 | ass日本丰满熟妇pics | 国产精品爱久久久久久久 | 国产午夜亚洲精品不卡下载 | 一本色道婷婷久久欧美 | 精品偷拍一区二区三区在线看 | 无码播放一区二区三区 | 一本色道久久综合亚洲精品不卡 | 国产成人亚洲综合无码 | 亚洲精品国偷拍自产在线麻豆 | 麻豆果冻传媒2021精品传媒一区下载 | 无码人妻丰满熟妇区毛片18 | 国产日产欧产精品精品app | 欧美熟妇另类久久久久久不卡 | 久久久中文久久久无码 | 国产精品美女久久久 | 女人色极品影院 | 亚洲综合在线一区二区三区 | 日本熟妇乱子伦xxxx | 日韩人妻系列无码专区 | 中文字幕av无码一区二区三区电影 | 少妇无码av无码专区在线观看 | 丝袜人妻一区二区三区 | 曰韩无码二三区中文字幕 | 一区二区传媒有限公司 | 四十如虎的丰满熟妇啪啪 | 亚洲国产精品毛片av不卡在线 | 亚洲日韩精品欧美一区二区 | 国产精品亚洲а∨无码播放麻豆 | 国产精品美女久久久 | www国产亚洲精品久久久日本 | 小鲜肉自慰网站xnxx | 一本色道久久综合狠狠躁 | 欧美 丝袜 自拍 制服 另类 | 亚洲欧美色中文字幕在线 | 蜜桃视频韩日免费播放 | 成熟女人特级毛片www免费 | 国产无遮挡又黄又爽又色 | 欧美性黑人极品hd | 亚洲精品一区二区三区大桥未久 | 精品欧洲av无码一区二区三区 | 2020久久香蕉国产线看观看 | 国产精品亚洲а∨无码播放麻豆 | 全球成人中文在线 | 国产69精品久久久久app下载 | 国产精品成人av在线观看 | 日韩精品成人一区二区三区 | 欧美日本免费一区二区三区 | 澳门永久av免费网站 | 日韩精品久久久肉伦网站 | 日本护士毛茸茸高潮 | 国内精品人妻无码久久久影院蜜桃 | 日日干夜夜干 | 久久婷婷五月综合色国产香蕉 | 国产激情综合五月久久 | 久久久久久久人妻无码中文字幕爆 | 成人毛片一区二区 | 2019午夜福利不卡片在线 | 无码国产激情在线观看 | 超碰97人人做人人爱少妇 | 日韩欧美中文字幕公布 | 九九久久精品国产免费看小说 | 国产激情艳情在线看视频 | 欧洲极品少妇 | 国内精品人妻无码久久久影院蜜桃 | 乱人伦人妻中文字幕无码久久网 | 狠狠色欧美亚洲狠狠色www | √天堂中文官网8在线 | 漂亮人妻洗澡被公强 日日躁 | 丰满岳乱妇在线观看中字无码 | 日本精品久久久久中文字幕 | 国产在热线精品视频 | 丰满少妇人妻久久久久久 | 国产精品爱久久久久久久 | 日本肉体xxxx裸交 | 中文字幕av伊人av无码av | 无码一区二区三区在线观看 | 亚洲aⅴ无码成人网站国产app | 久久久久久久人妻无码中文字幕爆 | 日日摸日日碰夜夜爽av | 国产精品国产自线拍免费软件 | 少妇人妻av毛片在线看 | 成年美女黄网站色大免费视频 | 一本久道久久综合婷婷五月 | 亚洲国产精品一区二区第一页 | 国产又爽又猛又粗的视频a片 | 国产成人综合在线女婷五月99播放 | 精品国产福利一区二区 | 精品久久久中文字幕人妻 | 国产成人综合在线女婷五月99播放 | 国产午夜亚洲精品不卡下载 | 亚洲s色大片在线观看 | а√天堂www在线天堂小说 | 宝宝好涨水快流出来免费视频 | 熟女少妇在线视频播放 | 国内综合精品午夜久久资源 | 欧美乱妇无乱码大黄a片 | 日本www一道久久久免费榴莲 | 久久精品一区二区三区四区 | 18黄暴禁片在线观看 | 国产精品多人p群无码 | 久久国语露脸国产精品电影 | 日本免费一区二区三区最新 | 午夜不卡av免费 一本久久a久久精品vr综合 | 动漫av一区二区在线观看 | 97久久精品无码一区二区 | 成人试看120秒体验区 | 国语精品一区二区三区 | av人摸人人人澡人人超碰下载 | 久热国产vs视频在线观看 | 奇米影视7777久久精品人人爽 | 青春草在线视频免费观看 | 亚洲精品一区二区三区在线 | 伊人久久大香线蕉午夜 | 久久精品一区二区三区四区 | 国产av一区二区三区最新精品 | 无码人妻丰满熟妇区毛片18 | 欧美肥老太牲交大战 | 老熟妇乱子伦牲交视频 | 狠狠噜狠狠狠狠丁香五月 | 97色伦图片97综合影院 | 亚洲男女内射在线播放 | 国产精品久久久一区二区三区 | 久久久精品欧美一区二区免费 | 麻豆国产丝袜白领秘书在线观看 | 国产97人人超碰caoprom | 野外少妇愉情中文字幕 | 欧美一区二区三区 | 久久天天躁狠狠躁夜夜免费观看 | 亚洲日本va午夜在线电影 | 夜夜高潮次次欢爽av女 | 国产超碰人人爽人人做人人添 | 丰满岳乱妇在线观看中字无码 | 一本久久a久久精品亚洲 | 欧洲熟妇色 欧美 | 熟妇激情内射com | 影音先锋中文字幕无码 | 亚洲乱码日产精品bd | 激情五月综合色婷婷一区二区 | 娇妻被黑人粗大高潮白浆 | 伊人久久大香线蕉亚洲 | 高清不卡一区二区三区 | 色综合久久久久综合一本到桃花网 | 丝袜 中出 制服 人妻 美腿 | 精品熟女少妇av免费观看 | 欧美第一黄网免费网站 | 精品国精品国产自在久国产87 | 亚洲精品中文字幕久久久久 | 天天拍夜夜添久久精品大 | 国产美女极度色诱视频www | 精品一区二区不卡无码av | 女人和拘做爰正片视频 | 亚洲经典千人经典日产 | 精品久久久久久人妻无码中文字幕 | 特黄特色大片免费播放器图片 | 伊人久久大香线蕉av一区二区 | 色窝窝无码一区二区三区色欲 | 青草青草久热国产精品 | 给我免费的视频在线观看 | 国产 精品 自在自线 | 未满小14洗澡无码视频网站 | 色婷婷欧美在线播放内射 | 人人妻人人澡人人爽欧美一区九九 | 丰满人妻精品国产99aⅴ | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 亚洲 激情 小说 另类 欧美 | 天天做天天爱天天爽综合网 | 欧美性生交活xxxxxdddd | 国产精品久久久久影院嫩草 | 人妻有码中文字幕在线 | 婷婷丁香六月激情综合啪 | 日日碰狠狠丁香久燥 | 国産精品久久久久久久 | 国产亲子乱弄免费视频 | 午夜精品久久久内射近拍高清 | 无码人中文字幕 | 狂野欧美性猛xxxx乱大交 | 亚欧洲精品在线视频免费观看 | 久久午夜无码鲁丝片秋霞 | 欧美成人午夜精品久久久 | 老子影院午夜精品无码 | 亚洲日韩中文字幕在线播放 | 久久人妻内射无码一区三区 | 国产尤物精品视频 | 亚洲第一无码av无码专区 | 88国产精品欧美一区二区三区 | 内射后入在线观看一区 | 国产成人无码午夜视频在线观看 | 国产一精品一av一免费 | 两性色午夜视频免费播放 | 青青久在线视频免费观看 | av小次郎收藏 | 精品亚洲韩国一区二区三区 | 人妻中文无码久热丝袜 | 国产成人精品优优av | 亚洲精品无码国产 | 人人妻人人澡人人爽欧美一区 | 国内精品久久久久久中文字幕 | 扒开双腿疯狂进出爽爽爽视频 | 亚洲色www成人永久网址 | 真人与拘做受免费视频 | 久久精品国产日本波多野结衣 | 亚洲aⅴ无码成人网站国产app | 日韩 欧美 动漫 国产 制服 | 久久人人爽人人爽人人片ⅴ | 中文字幕日产无线码一区 | 老熟妇乱子伦牲交视频 | 秋霞成人午夜鲁丝一区二区三区 | 日日鲁鲁鲁夜夜爽爽狠狠 | 免费国产成人高清在线观看网站 | 国产精品无套呻吟在线 | 丰满肥臀大屁股熟妇激情视频 | 成人试看120秒体验区 | 国产舌乚八伦偷品w中 | 国产又爽又猛又粗的视频a片 | 中文字幕乱妇无码av在线 | 夜夜躁日日躁狠狠久久av | 一个人看的www免费视频在线观看 | 国产午夜亚洲精品不卡 | 国产精品高潮呻吟av久久4虎 | 亚洲日韩乱码中文无码蜜桃臀网站 | √天堂资源地址中文在线 | 蜜桃无码一区二区三区 | 熟妇人妻无乱码中文字幕 | 国产午夜无码视频在线观看 | 成人aaa片一区国产精品 | 4hu四虎永久在线观看 | 乱人伦人妻中文字幕无码久久网 | 99国产精品白浆在线观看免费 | 国产在线aaa片一区二区99 | 亚洲成a人片在线观看日本 | 国产免费久久精品国产传媒 | 自拍偷自拍亚洲精品10p | 色综合久久久无码中文字幕 | 亚洲欧美日韩国产精品一区二区 | 久久亚洲日韩精品一区二区三区 | 欧美精品无码一区二区三区 | 国产成人无码专区 | 亚洲欧洲日本无在线码 | 欧美 日韩 亚洲 在线 | 麻豆国产人妻欲求不满 | 久久精品中文字幕一区 | 成人影院yy111111在线观看 | 国内少妇偷人精品视频 | 人妻无码久久精品人妻 | 内射爽无广熟女亚洲 | 一本无码人妻在中文字幕免费 | 亚洲成熟女人毛毛耸耸多 | 成熟人妻av无码专区 | 黑人巨大精品欧美一区二区 | 亚洲国产精品无码一区二区三区 | 亚洲人成人无码网www国产 | 日日躁夜夜躁狠狠躁 | 性生交片免费无码看人 | 日产国产精品亚洲系列 | 噜噜噜亚洲色成人网站 | 日本护士毛茸茸高潮 | 国产精品-区区久久久狼 | 国产精品视频免费播放 | 国产激情无码一区二区app | 无码av最新清无码专区吞精 | 少妇高潮喷潮久久久影院 | 2020久久香蕉国产线看观看 | 无码人妻精品一区二区三区下载 | 国产精品-区区久久久狼 | 学生妹亚洲一区二区 | 无码精品人妻一区二区三区av | 精品人人妻人人澡人人爽人人 | 精品国产一区二区三区av 性色 | 亚洲 欧美 激情 小说 另类 | 久久久中文字幕日本无吗 | 亚洲国产av精品一区二区蜜芽 | www国产亚洲精品久久网站 | 99久久久国产精品无码免费 | 曰韩少妇内射免费播放 | 亚洲综合在线一区二区三区 | 国产农村妇女高潮大叫 | 日本精品高清一区二区 | √天堂中文官网8在线 | a在线观看免费网站大全 | av人摸人人人澡人人超碰下载 | 一个人免费观看的www视频 | 精品久久久无码人妻字幂 | 人妻少妇精品无码专区动漫 | 国产美女精品一区二区三区 | 国内综合精品午夜久久资源 | 欧美老人巨大xxxx做受 | а√资源新版在线天堂 | 亚洲天堂2017无码 | 国产成人一区二区三区在线观看 | 久久久久亚洲精品男人的天堂 | 蜜桃无码一区二区三区 | 亚洲成av人影院在线观看 | 天天拍夜夜添久久精品 | 色综合久久久无码中文字幕 | 国产综合在线观看 | 久热国产vs视频在线观看 | 东京热无码av男人的天堂 | 未满小14洗澡无码视频网站 | 偷窥日本少妇撒尿chinese | 久久久久亚洲精品中文字幕 | 国产色视频一区二区三区 | 国产一区二区三区影院 | 日韩av无码中文无码电影 | 国产一精品一av一免费 | 久久国内精品自在自线 | 日本乱偷人妻中文字幕 | 伊人久久大香线蕉午夜 | 国产香蕉97碰碰久久人人 | 巨爆乳无码视频在线观看 | 久久精品国产一区二区三区肥胖 | 欧美熟妇另类久久久久久多毛 | 亚洲aⅴ无码成人网站国产app | 黑人玩弄人妻中文在线 | 最新国产乱人伦偷精品免费网站 | 日本丰满熟妇videos | 中文无码成人免费视频在线观看 | 玩弄人妻少妇500系列视频 | 中文字幕乱码中文乱码51精品 | 精品国产一区二区三区四区 | 无码毛片视频一区二区本码 | 夫妻免费无码v看片 | 99在线 | 亚洲 | 中文字幕乱码亚洲无线三区 | 天天爽夜夜爽夜夜爽 | 成人aaa片一区国产精品 | 欧美老熟妇乱xxxxx | 国产激情无码一区二区app | 妺妺窝人体色www婷婷 | 麻豆精品国产精华精华液好用吗 | 欧美熟妇另类久久久久久多毛 | 亚洲成a人片在线观看无码 | 一二三四在线观看免费视频 | 国产精品久免费的黄网站 | 99久久亚洲精品无码毛片 | 亚洲日韩av一区二区三区四区 | 久久精品中文闷骚内射 | 亚洲日韩乱码中文无码蜜桃臀网站 | 国产亚洲美女精品久久久2020 | 亚洲爆乳无码专区 | 荫蒂添的好舒服视频囗交 | 国精品人妻无码一区二区三区蜜柚 | 97色伦图片97综合影院 | 扒开双腿吃奶呻吟做受视频 | 图片小说视频一区二区 | 俄罗斯老熟妇色xxxx | 精品一二三区久久aaa片 | 国产凸凹视频一区二区 | 大胆欧美熟妇xx | 在线 国产 欧美 亚洲 天堂 | 人妻aⅴ无码一区二区三区 | 人妻少妇被猛烈进入中文字幕 | 领导边摸边吃奶边做爽在线观看 | 性色欲网站人妻丰满中文久久不卡 | 天天拍夜夜添久久精品大 | 亚洲中文字幕无码一久久区 | aⅴ在线视频男人的天堂 | 免费人成在线视频无码 | 国精产品一区二区三区 | 在线观看欧美一区二区三区 | 婷婷丁香五月天综合东京热 | 国产成人精品优优av | 欧美亚洲国产一区二区三区 | 老司机亚洲精品影院 | 在线亚洲高清揄拍自拍一品区 | 无码人妻丰满熟妇区毛片18 | 丰满少妇人妻久久久久久 | yw尤物av无码国产在线观看 | 亚洲 另类 在线 欧美 制服 | 无码人妻av免费一区二区三区 | 成人欧美一区二区三区 | 国语自产偷拍精品视频偷 | 亚洲日韩中文字幕在线播放 | 中文字幕无码日韩专区 | 亚洲第一无码av无码专区 | 巨爆乳无码视频在线观看 | 亚洲七七久久桃花影院 | 精品夜夜澡人妻无码av蜜桃 | 波多野42部无码喷潮在线 | 娇妻被黑人粗大高潮白浆 | 久久久精品成人免费观看 | 日本一卡二卡不卡视频查询 | 亚洲国产精品一区二区美利坚 | 无遮挡国产高潮视频免费观看 | 成人一区二区免费视频 | 东京热男人av天堂 | 国产成人精品视频ⅴa片软件竹菊 | 成人欧美一区二区三区黑人 | 日日鲁鲁鲁夜夜爽爽狠狠 | 久久99精品久久久久久 | 一本久道久久综合婷婷五月 | 欧美精品免费观看二区 | 亚洲精品中文字幕 | 亚洲午夜无码久久 | 成熟女人特级毛片www免费 | 久青草影院在线观看国产 | 蜜桃臀无码内射一区二区三区 | 久久国内精品自在自线 | 任你躁国产自任一区二区三区 | 亚洲无人区午夜福利码高清完整版 | 亚洲精品一区二区三区在线 | 久久精品人人做人人综合 | 国产99久久精品一区二区 | 久久久久亚洲精品中文字幕 | 日韩亚洲欧美中文高清在线 | 狠狠色色综合网站 | 欧美人与善在线com | 鲁鲁鲁爽爽爽在线视频观看 | 波多野结衣乳巨码无在线观看 | 亚洲熟妇色xxxxx欧美老妇y | 熟妇激情内射com | 青春草在线视频免费观看 | 国产精品久久久久9999小说 | 99久久亚洲精品无码毛片 | 久久精品中文字幕一区 | 亚洲经典千人经典日产 | 日日摸日日碰夜夜爽av | 精品国产乱码久久久久乱码 | 国产成人无码一二三区视频 | 久久精品成人欧美大片 | 97夜夜澡人人爽人人喊中国片 | 天堂а√在线地址中文在线 | 色偷偷av老熟女 久久精品人妻少妇一区二区三区 | 久久五月精品中文字幕 | 亚无码乱人伦一区二区 | 青草青草久热国产精品 | 无码人妻av免费一区二区三区 | 在线视频网站www色 | 精品一二三区久久aaa片 | 免费无码肉片在线观看 | 香港三级日本三级妇三级 |