久久精品国产精品国产精品污,男人扒开添女人下部免费视频,一级国产69式性姿势免费视频,夜鲁夜鲁很鲁在线视频 视频,欧美丰满少妇一区二区三区,国产偷国产偷亚洲高清人乐享,中文 在线 日韩 亚洲 欧美,熟妇人妻无乱码中文字幕真矢织江,一区二区三区人妻制服国产

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

第3章 NFS基本应用

發布時間:2025/5/22 编程问答 48 豆豆
生活随笔 收集整理的這篇文章主要介紹了 第3章 NFS基本应用 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1.1 概述

類似ext家族、xfs格式的本地文件系統,它們都是通過單個文件名稱空間(name space)來包含很多文件,并提供基本的文件管理和空間分配功能。而文件是存放在文件系統中(上述名稱空間內)的單個命名對象,每個文件都包含了文件實際數據和屬性數據。但是,這些類型的文件系統和其內文件都是存放在本地主機上的。

實際上,還有網絡文件系統。顧名思義,就是跨網絡的文件系統,將遠程主機上的文件系統(或目錄)存放在本地主機上,就像它本身就是本地文件系統一樣。在Windows環境下有cifs協議實現的網絡文件系統,在Unix環境下,最出名是由NFS協議實現的NFS文件系統。

NFS即network file system的縮寫,nfs是屬于用起來非常簡單,研究起來非常難的東西。相信,使用過它或學過它的人都不會認為它的使用有任何難點,只需將遠程主機上要共享給客戶端的目錄導出(export),然后在客戶端上掛載即可像本地文件系統一樣。到目前為止,nfs已經有5個版本,NFSv1是未公布出來的版本,v2和v3版本目前來說基本已經淘汰,v4版本是目前使用最多的版本,nfsv4.1是目前最新的版本。

1.2 RPC不可不知的原理

要介紹NFS,必然要先介紹RPC。RPC是remote procedure call的簡寫,人們都將其譯為"遠程過程調用",它是一種框架,這種框架在大型公司應用非常多。而NFS正是其中一種,此外NIS、hadoop也是使用rpc框架實現的。

1.2.1 RPC原理

所謂的remote procedure call,就是在本地調用遠程主機上的procedure。以本地執行"cat -n ~/abc.txt"命令為例,在本地執行cat命令時,會發起某些系統調用(如open()、read()、close()等),并將cat的選項和參數傳遞給這些函數,于是最終實現了文件的查看功能。在RPC層面上理解,上面發起的系統調用就是procedure,每個procedure對應一個或多個功能。而rpc的全名remote procedure call所表示的就是實現遠程procedure調用,讓遠程主機去調用對應的procedure。

上面的cat命令只是本地執行的命令,如何實現遠程cat,甚至其他遠程命令?通常有兩種可能實現的方式:

(1).使用ssh類的工具,將要執行的命令傳遞到遠程主機上并執行。但ssh無法直接調用遠程主機上cat所發起的那些系統調用(如open()、read()、close()等)。

(2).使用網絡socket的方式,告訴遠程服務進程要調用的函數。但這樣的主機間進程通信方式一般都是daemon類服務,daemon類的客戶端(即服務的消費方)每調用一個服務的功能,都需要編寫一堆實現網絡通信相關的代碼。不僅容易出錯,還比較復雜。

而rpc是最好的解決方式。rpc是一種框架,在此框架中已經集成了網絡通信代碼和封包、解包方式(編碼、解碼)。以下是rpc整個過程,以cat NFS文件系統中的a.sh文件為例。

?? ?

nfs客戶端執行cat a.sh,由于a.sh是NFS文件系統內的文件,所以cat會發起一些procedure調用(如open/read/close),這些procedure對應的ID號碼和對應的參數會發送給rpc client(可能是單個procedure ID,也可能是多個procedure組合在一起一次性發送給rpc client,在NFSv4上是后者),rpc client會將這些數據進行編碼封裝(封裝和解封裝功能由stub代碼實現),封裝后的消息稱為"call message",然后將call message通過網絡發送給rpc server,rpc server會對封裝的數據進行解封提取,于是就得到了要調用的procedures ID和對應的參數,然后將它們交給NFS服務進程,最終調用procedure ID對應的procedure來執行,并返回結果。NFS服務發起procedure調用后,會得到數據(可能是數據本身,可能是狀態消息等),于是將返回結果交給rpc server,rpc server會將這些數據封裝,這部分數據稱為"reply message",然后將reply message通過網絡發送給rpc client,rpc client解封提取,于是得到最終的返回結果。

從上面的過程可以知道,rpc的作用是數據封裝,rpc client封裝待調用的procedure ID及其參數(其實還有一個program ID,關于program,見下文),rpc server封裝返回的數據。

舉個更簡單的例子,使用google搜索時,實現搜索功能的program ID以及涉及到的procedure ID和要搜索的內容就是rpc client封裝的對象,也是rpc server要解封的對象,搜索的結果則是rpc server封裝的對象,也是rpc client要解封的對象。解封后的最終結果即為google搜索的結果。

1.2.2 RPC工具介紹

在CentOS 6/7上,rpc server由rpcbind程序實現,該程序由rpcbind包提供。

[root@xuexi ~]# yum -y install rpcbind[root@xuexi ~]# rpm -ql rpcbind | grep bin/ /usr/sbin/rpcbind /usr/sbin/rpcinfo

其中rpcbind是rpc主程序,在rpc服務端該程序必須處于已運行狀態,其默認監聽在111端口。rpcinfo是rpc相關信息查詢工具。

對于rpc而言,其所直接管理的是programs,programs由一個或多個procedure組成。這些program稱為RPC program或RPC service。

如下圖,其中NFS、NIS、hadoop等稱為網絡服務,它們由多個進程或程序(program)組成。例如NFS包括rpc.nfsd、rpc.mountd、rpc.statd和rpc.idmapd等programs,其中每個program都包含了一個或多個procedure,例如rpc.nfsd這個程序包含了如OPEN、CLOSE、READ、COMPOUND、GETATTR等procedure,rpc.mountd也主要有MNT和UMNT兩個procedure。

對于RPC而言,它是不知道NFS/NIS/hadoop這一層的,它直接管理programs。每個program啟動時都需要找111端口的rpc服務登記注冊,然后RPC服務會為該program映射一個program number以及分配一個端口號。其中每個program都有一個唯一與之對應的program number,它們的映射關系定義在/etc/rpc文件中。以后rpc server將使用program number來判斷要調用的是哪個program中的哪個procedure(因為這些都是rpc client封裝在"call message"中的),并將解包后的數據傳遞給該program和procedure。

例如只啟動rpcbind時。

[root@xuexi ~]# systemctl start rpcbind.service[root@xuexi ~]# rpcinfo -p localhostprogram vers proto port service100000 4 tcp 111 portmapper100000 3 tcp 111 portmapper100000 2 tcp 111 portmapper100000 4 udp 111 portmapper100000 3 udp 111 portmapper100000 2 udp 111 portmapper

其中第一列就是program number,第二列vers表示對應program的版本號,最后一列為RPC管理的RPC service名,其實就是各program對應的稱呼。

當客戶端獲取到rpc所管理的service的端口后,就可以與該端口進行通信了。但注意,即使客戶端已經獲取了端口號,客戶端仍會借助rpc做為中間人進行通信。也就是說,無論何時,客戶端和rpc所管理的服務的通信都必須通過rpc來完成。之所以如此,是因為只有rpc才能封裝和解封裝數據。

既然客戶端不能直接拿著端口號和rpc service通信,那還提供端口號干嘛?這個端口號是為rpc server提供的,rpc server解包數據后,會將數據通過此端口交給對應的rpc service。

1.3 啟動NFS

NFS本身是很復雜的,它由很多進程組成。這些進程的啟動程序由nfs-utils包提供。由于nfs是使用RPC框架實現的,所以需要先安裝好rpcbind。不過安裝nfs-utils時會自動安裝rpcbind。

[root@xuexi ~]# yum -y install nfs-utils[root@xuexi ~]# rpm -ql nfs-utils | grep /usr/sbin /usr/sbin/blkmapd /usr/sbin/exportfs /usr/sbin/mountstats /usr/sbin/nfsdcltrack /usr/sbin/nfsidmap /usr/sbin/nfsiostat /usr/sbin/nfsstat /usr/sbin/rpc.gssd /usr/sbin/rpc.idmapd /usr/sbin/rpc.mountd /usr/sbin/rpc.nfsd /usr/sbin/rpc.svcgssd /usr/sbin/rpcdebug /usr/sbin/showmount /usr/sbin/sm-notify /usr/sbin/start-statd

其中以"rpc."開頭的程序都是rpc service,分別實現不同的功能,啟動它們時每個都需要向rpcbind進行登記注冊。

[root@xuexi ~]# systemctl start nfs.service[root@xuexi ~]# rpcinfo -p localhostprogram vers proto port service100000 4 tcp 111 portmapper100000 3 tcp 111 portmapper100000 2 tcp 111 portmapper100000 4 udp 111 portmapper100000 3 udp 111 portmapper100000 2 udp 111 portmapper100024 1 udp 56229 status100024 1 tcp 57226 status100005 1 udp 20048 mountd100005 1 tcp 20048 mountd100005 2 udp 20048 mountd100005 2 tcp 20048 mountd100005 3 udp 20048 mountd100005 3 tcp 20048 mountd100003 3 tcp 2049 nfs100003 4 tcp 2049 nfs100227 3 tcp 2049 nfs_acl100003 3 udp 2049 nfs100003 4 udp 2049 nfs100227 3 udp 2049 nfs_acl100021 1 udp 48609 nlockmgr100021 3 udp 48609 nlockmgr100021 4 udp 48609 nlockmgr100021 1 tcp 50915 nlockmgr100021 3 tcp 50915 nlockmgr100021 4 tcp 50915 nlockmgr

可以看到,每個program都啟動了不同版本的功能。其中nfs program為rpc.nfsd對應的program,為nfs服務的主進程,端口號為2049。mountd對應的program為rpc.mountd,它為客戶端的mount和umount命令提供服務,即掛載和卸載NFS文件系統時會聯系mountd服務,由mountd維護相關掛載信息。nlockmgr對應的program為rpc.statd,用于維護文件鎖和文件委托相關功能,在NFSv4以前,稱之為NSM(network status manager)。nfs_acl和status,很顯然,它們是訪問控制列表和狀態信息維護的program。

再看看啟動的相關進程信息。

[root@xuexi ~]# ps aux | grep -E "[n]fs|[r]pc" root 748 0.0 0.0 0 0 ? S< Jul26 0:00 [rpciod] rpc 6127 0.0 0.0 64908 1448 ? Ss Jul26 0:00 /sbin/rpcbind -w rpcuser 6128 0.0 0.0 46608 1836 ? Ss Jul26 0:00 /usr/sbin/rpc.statd --no-notify root 6242 0.0 0.0 0 0 ? S< Jul26 0:00 [nfsiod] root 6248 0.0 0.0 0 0 ? S Jul26 0:00 [nfsv4.0-svc] root 17128 0.0 0.0 44860 976 ? Ss 02:49 0:00 /usr/sbin/rpc.mountd root 17129 0.0 0.0 21372 420 ? Ss 02:49 0:00 /usr/sbin/rpc.idmapd root 17134 0.0 0.0 0 0 ? S< 02:49 0:00 [nfsd4] root 17135 0.0 0.0 0 0 ? S< 02:49 0:00 [nfsd4_callbacks] root 17141 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17142 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17143 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17144 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17145 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17146 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17147 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd] root 17148 0.0 0.0 0 0 ? S 02:49 0:00 [nfsd]

其中有一項/usr/sbin/rpc.idmapd進程,該進程是提供服務端的uid/gid <==> username/groupname的映射翻譯服務。客戶端的uid/gid <==> username/groupname的映射翻譯服務則由"nfsidmap"工具實現,詳細說明見下文。

1.4 配置導出目錄和掛載使用

1.4.1 配置nfs導出目錄

在將服務端的目錄共享(share)或者說導出(export)給客戶端之前,需要先配置好要導出的目錄。比如何人可訪問該目錄,該目錄是否可寫,以何人身份訪問導出目錄等。

配置導出目錄的配置文件為/etc/exports或/etc/exports.d/*.exports文件,在nfs服務啟動時,會自動加載這些配置文件中的所有導出項。以下是導出示例:

/www??? 172.16.0.0/16(rw,async,no_root_squash)

其中/www是導出目錄,即共享給客戶端的目錄;172.16.0.0/16是訪問控制列表ACL,只有該網段的客戶端主機才能訪問該導出目錄,即掛載該導出目錄;緊跟在主機列表后的括號及括號中的內容定義的是該導出目錄對該主機的導出選項,例如(rw,async,no_root_squash)表示客戶端掛載/www后,該目錄可讀寫、異步、可保留root用戶的權限,具體的導出選項稍后列出。

以下是可接收的幾種導出方式:

/www1 (rw,async,no_root_squash) # 導出給所有主機,此時稱為導出給world /www2 172.16.1.1(rw,async) # 僅導出給單臺主機172.16.1.1 /www3 172.16.0.0/16(rw,async) 192.168.10.3(rw,no_root_squash) # 導出給網段172.16.0.0/16,還導出給單臺# 主機192.168.10.3,且它們的導出選項不同 /www4 www.a.com(rw,async) # 導出給單臺主機www.a.com主機,但要求能解析該主機名 /www *.b.com(rw,async) # 導出給b.com下的所有主機,要求能解析對應主機名

以下是常用的一些導出選項說明,更多的導出選項見man exports:常見的默認項是:ro,sync,root_squash,no_all_squash,wdelay。

導出選項

(加粗標紅為默認)

選項說明

rw、ro

導出目錄可讀寫還是只讀(read-only)。

sync、async

同步共享還是異步共享。異步時,客戶端提交要寫入的數據到服務端,服務端接收數據后直接響應客戶端,但此時數據并不一定已經寫入磁盤中,而同步則是必須等待服務端已將數據寫入磁盤后才響應客戶端。也就是說,給定異步導出選項時,雖然能提升一些性能,但在服務端突然故障或重啟時有丟失一部分數據的風險。

當然,對于只讀(ro)的導出目錄,設置sync或async是沒有任何差別的。

anonuid

anongid

此為匿名用戶(anonymous)的uid和gid值,默認都為65534,在/etc/passwd和/etc/shadow中它們對應的用戶名為nfsnobody。該選項指定的值用于身份映射被壓縮時。

root_squash

no_root_squash

是否將發起請求(即客戶端進行訪問時)的uid/gid=0的root用戶映射為anonymous用戶。即是否壓縮root用戶的權限。

all_squash

no_all_squash

是否將發起請求(即客戶端進行訪問時)的所有用戶都映射為anonymous用戶,即是否壓縮所有用戶的權限。

對于root用戶,將取(no_)root_squash和(no_)all_squash的交集。例如,no_root_squash和all_squash同時設置時,root仍被壓縮,root_squash和no_all_squash同時設置時,root也被壓縮。

有些導出選項需要配合其他設置。例如,導出選項設置為rw,但如果目錄本身沒有w權限,或者mount時指定了ro掛載選項,則同樣不允許寫操作。

至于別的導出選項,基本無需去關注。

在配置文件寫好要導出的目錄后,直接重啟nfs服務即可,它會讀取這些配置文件。隨后就可以在客戶端執行mount命令進行掛載。

例如,exports文件內容如下:

/vol/vol0 *(rw,no_root_squash) /vol/vol2 *(rw,no_root_squash) /backup/archive *(rw,no_root_squash)

1.4.2 掛載nfs文件系統

然后去客戶端上掛載它們。

[root@xuexi ~]# mount -t nfs 172.16.10.5:/vol/vol0 /mp1 [root@xuexi ~]# mount 172.16.10.5:/vol/vol2 /mp2 [root@xuexi ~]# mount 172.16.10.5:/backup/archive /mp3

掛載時"-t nfs"可以省略,因為對于mount而言,只有掛載nfs文件系統才會寫成host:/path格式。當然,除了mount命令,nfs-utils包還提供了獨立的mount.nfs命令,它其實和"mount -t nfs"命令是一樣的。

mount掛載時可以指定掛載選項,其中包括mount通用掛載選項,如rw/ro,atime/noatime,async/sync,auto/noauto等,也包括針對nfs文件系統的掛載選項。以下列出幾個常見的,更多的內容查看man nfs和man mount。

選項

參數意義

默認值

suid

nosuid

如果掛載的文件系統上有設置了suid的二進制程序,

使用nosuid可以取消它的suid

suid

rw

ro

盡管服務端提供了rw權限,但是掛載時設定ro,則還是ro權限

權限取交集

rw

exec/noexec

是否可執行掛載的文件系統里的二進制文件

exec

user

nouser

是否運行普通用戶進行檔案的掛載和卸載

nouser

auto

noauto

auto等價于mount -a,意思是將/etc/fstab里設定的全部重掛一遍

auto

sync

nosync

同步掛載還是異步掛載

async

atime

noatime

是否修改atime,對于nfs而言,該選項是無效的,理由見下文

?

diratime

nodiratime

是否修改目錄atime,對于nfs而言,該掛載選項是無效的,理由見下文

?

remount

重新掛載

?

以下是針對nfs文件系統的掛載選項。其中沒有給出關于緩存選項(ac/noac、cto/nocto、lookupcache)的說明,它們可以直接采用默認值,如果想要了解緩存相關內容,可以查看man nfs。

選項

功能

默認值

fg/bg

掛載失敗后mount命令的行為。默認為fg,表示掛載失敗時將直接報錯退出,如果是bg,

掛載失敗后會創建一個子進程不斷在后臺掛載,而父進程mount自身則立即退出并返回0狀態碼。

fg

timeo

NFS客戶端等待下一次重發NFS請求的時間間隔,單位為十分之一秒。

基于TCP的NFS的默認timeo的值為600(60秒)。

?

hard/soft

決定NFS客戶端當NFS請求超時時的恢復行為方式。如果是hard,將無限重新發送NFS請求。

例如在客戶端使用df -h查看文件系統時就會不斷等待。

設置soft,當retrans次數耗盡時,NFS客戶端將認為NFS請求失敗,從而使得NFS客戶端

返回一個錯誤給調用它的程序。

hard

retrans

NFS客戶端最多發送的請求次數,次數耗盡后將報錯表示連接失敗。如果hard掛載選項生效,

則會進一步嘗試恢復連接。

3

rsize

wsize

一次讀出(rsize)和寫入(wsize)的區塊大小。如果網絡帶寬大,這兩個值設置大一點能提升傳

輸能力。最好設置到帶寬的臨界值。

單位為字節,大小只能為1024的倍數,且最大只能設置為1M。

?

注意三點:

(1).所謂的soft在特定的環境下超時后會導致靜態數據中斷。因此,僅當客戶端響應速度比數據完整性更重要時才使用soft選項使用基于TCP的NFS(除非顯示指定使用UDP,否則現在總是默認使用TCP)或增加retrans重試次數可以降低使用soft選項帶來的風險。

如果真的出現NFS服務端下線,導致NFS客戶端無限等待的情況,可以強制將NFS文件系統卸載,卸載方法:

umount -f -l MOUNT_POINT

其中"-f"是強制卸載,"-l"是lazy umount,表示將該文件系統從當前目錄樹中剝離,讓所有對該文件系統內的文件引用都強制失效。對于丟失了NFS服務端的文件系統,卸載時"-l"選項是必須的。

(2).由于nfs的客戶端掛載后會緩存文件的屬性信息,其中包括各種文件時間戳,所以mount指定時間相關的掛載選項是沒有意義的,它們不會有任何效果,包括atime/noatime,diratime/nodiratime,relatime/norelatime以及strictatime/nostrictatime等。具體可見man nfs中"DATA AND METADATA COHERENCE"段的"File timestamp maintainence"說明,或者見本文末尾的翻譯。

(3).如果是要開機掛載NFS文件系統,方式自然是寫入到/etc/fstab文件或將mount命令放入rc.local文件中。如果是將/etc/fstab中,那么在系統環境初始化(exec /etc/rc.d/rc.sysinit)的時候會加載fstab中的內容,如果掛載fstab中的文件系統出錯,則會導致系統環境初始化失敗,結果是系統開機失敗。所以,要開機掛載nfs文件系統,則需要在/etc/fstab中加入一個掛載選項"_rnetdev"或"_netdev"(centos 7中已經沒有"_rnetdev"),防止無法聯系nfs服務端時導致開機啟動失敗。例如:

172.16.10.5:/www??? /mnt ???nfs??? defaults,_rnetdev??? 0??? 0

當導出目錄后,將在/var/lib/nfs/etab文件中寫入一條對應的導出記錄,這是nfs維護的導出表,該表的內容會交給rpc.mountd進程,并在必要的時候(mountd接受到客戶端的mount請求時),將此導出表中的內容加載到內核中,內核也單獨維護一張導出表。

1.4.3 nfs偽文件系統

服務端導出/vol/vol0、/vol/vol2和/backup/archive后,其中vol0和vol1是連在一個目錄下的,但它們和archive目錄沒有連在一起,nfs采用偽文件系統的方式來橋接這些不連接的導出目錄。橋接的方式是創建那些未導出的連接目錄,如偽vol目錄,偽backup目錄以及頂級的偽根,如下圖所示。

當客戶端掛載后,每次訪問導出目錄時,其實都是通過找到偽文件系統(文件系統都有id,在nfs上偽文件系統的id稱為fsid)并定位到導出目錄的。

1.5 showmount命令

使用showmount命令可以查看某一臺主機的導出目錄情況。因為涉及到rpc請求,所以如果rpc出問題,showmount一樣會傻傻地等待。

主要有3個選項。

showmount [ -ade] host -a:以host:dir格式列出客戶端名稱/IP以及所掛載的目錄。但注意該選項是讀取NFS服務端/var/lib/nfs/rmtab文件,:而該文件很多時候并不準確,所以showmount -a的輸出信息很可能并非準確無誤的 -e:顯示NFS服務端所有導出列表。 -d:僅列出已被客戶端掛載的導出目錄。

另外showmount的結果是排序過的,所以和實際的導出目錄順序可能并不一致。

例如:

[root@xuexi ~]# showmount -e 172.16.10.5 Export list for 172.16.10.5: /backup/archive * /vol/vol2 * /vol/vol0 * /www 172.16.10.4 [root@xuexi ~]# showmount -d 172.16.10.5 Directories on 172.16.10.5: /backup/archive /vol/vol0 /vol/vol2

1.6 nfs身份映射

NFS的目的是導出目錄給各客戶端,因此導出目錄中的文件在服務端和客戶端上必然有兩套屬性、權限集。

例如,服務端導出目錄中某a文件的所有者和所屬組都為A,但在客戶端上不存在A,那么在客戶端上如何顯示a文件的所有者等屬性。再例如,在客戶端上,以用戶B在導出目錄中創建了一個文件b,如果服務端上沒有用戶B,在服務端上該如何決定文件b的所有者等屬性。

所以,NFS采用uid/gid <==> username/groupname映射的方式解決客戶端和服務端兩套屬性問題。由于服務端只能控制它自己一端的身份映射,所以客戶端也同樣需要身份映射組件。也就是說,服務端和客戶端兩端都需要對導出的所有文件的所有者和所屬組進行映射。

但要注意,服務端的身份映射組件為rpc.idmapd,它以守護進程方式工作。而客戶端使用nfsidmap工具進行身份映射。

服務端映射時以uid/gid為基準,意味著客戶端以身份B(假設對應uid=Xb,gid=Yb)創建的文件或修改了文件的所有者屬性時,在服務端將從/etc/passwd(此處不考慮其他用戶驗證方式)文件中搜索uid=Xb,gid=Yb的用戶,如果能搜索到,則設置該文件的所有者和所屬組為此uid/gid對應的username/groupname,如果搜索不到,則文件所有者和所屬組直接顯示為uid/gid的值。

客戶端映射時以username/groupname為基準,意味著服務端上文件所有者為A時,則在客戶端上搜索A用戶名,如果搜索到,則文件所有者顯示為A,否則都將顯示為nobody。注意,客戶端不涉及任何uid/gid轉換翻譯過程,即使客戶端上A用戶的uid和服務端上A用戶的uid不同,也仍顯示為用戶A。也就是說,客戶端上文件所有者只有兩種結果,要么和服務端用戶同名,要么顯示為nobody。

因此考慮一種特殊情況,客戶端上以用戶B(其uid=B1)創建文件,假如服務端上沒有uid=B1的用戶,那么創建文件時提交給服務端后,在服務端上該文件所有者將顯示為B1(注意它是一個數值)。再返回到客戶端上看,客戶端映射時只簡單映射username,不涉及uid的轉換,因此它認為該文件的所有者為B1(不是uid,而是username),但客戶端上必然沒有用戶名為B1的用戶(盡管有uid=B1對應的用戶B),因此在客戶端,此文件所有者將詭異地將顯示為nobody,其詭異之處在于,客戶端上以身份B創建的文件,結果在客戶端上卻顯示為nobody。

綜上考慮,強烈建議客戶端和服務端的用戶身份要統一,且盡量讓各uid、gid能對應上。

1.7 使用exportfs命令導出目錄

除了啟動nfs服務加載配置文件/etc/exports來導出目錄,使用exportfs命令也可以直接導出目錄,它無需加載配置文件/etc/exports,當然exportfs也可以加載/etc/exports文件來導出目錄。實際上,nfs服務啟動腳本中就是使用exportfs命令來導出/etc/exports中內容的。

例如,CentOS 6上/etc/init.d/nfs文件中,導出和卸載導出目錄的命令為:

[root@xuexi ~]# grep exportfs /etc/init.d/nfs [ -x /usr/sbin/exportfs ] || exit 5action $"Starting NFS services: " /usr/sbin/exportfs -rcnt=`/usr/sbin/exportfs -v | /usr/bin/wc -l` action $"Shutting down NFS services: " /usr/sbin/exportfs -au/usr/sbin/exportfs -r

在CentOS 7上則如下:

[root@xuexi ~]# grep exportfs /usr/lib/systemd/system/nfs.service ExecStartPre=-/usr/sbin/exportfs -r ExecStopPost=/usr/sbin/exportfs -au ExecStopPost=/usr/sbin/exportfs -f ExecReload=-/usr/sbin/exportfs -r

當然,無論如何,nfsd等守護進程是必須已經運行好的。

以下是CentOS 7上exportfs命令的用法。注意, CentOS 7比CentOS 6多一些選項。

-a 導出或卸載所有目錄。 -o options,...指定一系列導出選項(如rw,async,root_squash),這些導出選項在exports(5)的man文檔中有記錄。 -i 忽略/etc/exports和/etc/exports.d目錄下文件。此時只有命令行中給定選項和默認選項會生效。 -r 重新導出所有目錄,并同步修改/var/lib/nfs/etab文件中關于/etc/exports和/etc/exports.d/*.exports的信息(即還會重新導出/etc/exports和/etc/exports.d/*等導出配置文件中的項)。該選項會移除/var/lib/nfs/etab中已經被刪除和無效的導出項。 -u 卸載(即不再導出)一個或多個導出目錄。 -f 如果/prof/fs/nfsd或/proc/fs/nfs已被掛載,即工作在新模式下,該選項將清空內核中導出表中的所有導出項。客戶端下一次請求掛載導出項時會通過rpc.mountd將其添加到內核的導出表中。 -v 輸出詳細信息。 -s 顯示適用于/etc/exports的當前導出目錄列表。

例如:

(1).導出/www目錄給客戶端172.16.10.6。

exportfs 172.16.10.6:/www

(2).導出/www目錄給所有人,并指定導出選項。

exportfs :/www -o rw,no_root_squash

(3).導出exports文件中的內容。

exportfs -a

(4).重新導出所有已導出的目錄。包括exports文件中和exportfs單獨導出的目錄。

exportfs -ar

(5).卸載所有已導出的目錄,包括exports文件中的內容和exportfs單獨導出的內容。即其本質為清空內核維護的導出表。

exportfs -au

(6).只卸載某一個導出目錄。

exportfs -u 172.16.10.6:/www

1.8 RPC的調試工具rpcdebug

在很多時候NFS客戶端或者服務端出現異常,例如連接不上、鎖狀態丟失、連接非常慢等等問題,都可以對NFS進行調試來發現問題出在哪個環節。NFS有不少進程都可以直接支持調試選項,但最直接的調試方式是調試rpc,因為NFS的每個請求和響應都會經過RPC去封裝。但顯然,調試RPC比直接調試NFS時更難分析出問題所在。以下只介紹如何調試RPC。

rpc單獨提供一個調試工具rpcdebug。

[root@xuexi ~]# rpcdebug -vh usage: rpcdebug [-v] [-h] [-m module] [-s flags...|-c flags...]set or cancel debug flags.Module Valid flags rpc xprt call debug nfs auth bind sched trans svcsock svcdsp misc cache all nfs vfs dircache lookupcache pagecache proc xdr file root callback client mount fscache pnfs pnfs_ld state all nfsd sock fh export svc proc fileop auth repcache xdr lockd all nlm svc client clntlock svclock monitor clntsubs svcsubs hostcache xdr all

其中:

-v:顯示更詳細信息 -h:顯示幫助信息 -m:指定調試模塊,有rpc/nfs/nfsd/nlm共4個模塊可調試。:顧名思義,調試rpc模塊就是直接調試rpc的問題,將記錄rpc相關的日志信息;:調試nfs是調試nfs客戶端的問題,將記錄nfs客戶端隨之產生的日志信息;:nfsd是調試nfs服務端問題,將記錄nfsd隨之產生的日志信息;:nlm是調試nfs鎖管理器相關問題,將只記錄鎖相關信息 -s:指定調試的修飾符,每個模塊都有不同的修飾符,見上面的usage中"Valid flags"列的信息 -c:清除或清空已設置的調試flage

例如設置調試nfs客戶端的信息。

rpcdebug -m nfs -s all

當有信息出現時,將記錄到syslog中。例如以下是客戶端掛載nfs導出目錄產生的信息,存放在/var/log/messages中,非常多,所以排解問題時需要有耐心。

Jul 29 11:24:04 xuexi kernel: NFS: nfs mount opts='vers=4,addr=172.16.10.9,clientaddr=172.16.10.3' Jul 29 11:24:04 xuexi kernel: NFS: parsing nfs mount option 'vers=4' Jul 29 11:24:04 xuexi kernel: NFS: parsing nfs mount option 'addr=172.16.10.9' Jul 29 11:24:04 xuexi kernel: NFS: parsing nfs mount option 'clientaddr=172.16.10.3' Jul 29 11:24:04 xuexi kernel: NFS: MNTPATH: '/tmp/testdir' Jul 29 11:24:04 xuexi kernel: --> nfs4_try_mount() Jul 29 11:24:04 xuexi kernel: --> nfs4_create_server() Jul 29 11:24:04 xuexi kernel: --> nfs4_init_server() Jul 29 11:24:04 xuexi kernel: --> nfs4_set_client() Jul 29 11:24:04 xuexi kernel: --> nfs_get_client(172.16.10.9,v4) Jul 29 11:24:04 xuexi kernel: NFS: get client cookie (0xffff88004c561800/0xffff8800364cd2c0) Jul 29 11:24:04 xuexi kernel: nfs_create_rpc_client: cannot create RPC client. Error = -22 Jul 29 11:24:04 xuexi kernel: --> nfs4_realloc_slot_table: max_reqs=1024, tbl->max_slots 0 Jul 29 11:24:04 xuexi kernel: nfs4_realloc_slot_table: tbl=ffff88004b715c00 slots=ffff880063f32280 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_realloc_slot_table: return 0 Jul 29 11:24:04 xuexi kernel: NFS: nfs4_discover_server_trunking: testing '172.16.10.9' Jul 29 11:24:04 xuexi kernel: NFS call setclientid auth=UNIX, 'Linux NFSv4.0 172.16.10.3/172.16.10.9 tcp' Jul 29 11:24:04 xuexi kernel: NFS reply setclientid: 0 Jul 29 11:24:04 xuexi kernel: NFS call setclientid_confirm auth=UNIX, (client ID 578d865901000000) Jul 29 11:24:04 xuexi kernel: NFS reply setclientid_confirm: 0 Jul 29 11:24:04 xuexi kernel: NFS: <-- nfs40_walk_client_list using nfs_client = ffff88004c561800 ({2}) Jul 29 11:24:04 xuexi kernel: NFS: <-- nfs40_walk_client_list status = 0 Jul 29 11:24:04 xuexi kernel: nfs4_schedule_state_renewal: requeueing work. Lease period = 5 Jul 29 11:24:04 xuexi kernel: NFS: nfs4_discover_server_trunking: status = 0 Jul 29 11:24:04 xuexi kernel: --> nfs_put_client({2}) Jul 29 11:24:04 xuexi kernel: <-- nfs4_set_client() = 0 [new ffff88004c561800] Jul 29 11:24:04 xuexi kernel: <-- nfs4_init_server() = 0 Jul 29 11:24:04 xuexi kernel: --> nfs4_get_rootfh() Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=4651240235397459983 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=2 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=0555 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=23 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990255 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=1 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_lease_time: file size=90 Jul 29 11:24:04 xuexi kernel: decode_attr_maxfilesize: maxfilesize=18446744073709551615 Jul 29 11:24:04 xuexi kernel: decode_attr_maxread: maxread=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_maxwrite: maxwrite=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_time_delta: time_delta=1 0 Jul 29 11:24:04 xuexi kernel: decode_attr_pnfstype: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_attr_layout_blksize: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_fsinfo: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: <-- nfs4_get_rootfh() = 0 Jul 29 11:24:04 xuexi kernel: Server FSID: 0:0 Jul 29 11:24:04 xuexi kernel: Pseudo-fs root FH at ffff880064c4ad80 is 8 bytes, crc: 0x62d40c52: Jul 29 11:24:04 xuexi kernel: 01000100 00000000 Jul 29 11:24:04 xuexi kernel: --> nfs_probe_fsinfo() Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_lease_time: file size=90 Jul 29 11:24:04 xuexi kernel: decode_attr_maxfilesize: maxfilesize=18446744073709551615 Jul 29 11:24:04 xuexi kernel: decode_attr_maxread: maxread=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_maxwrite: maxwrite=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_time_delta: time_delta=1 0 Jul 29 11:24:04 xuexi kernel: decode_attr_pnfstype: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_attr_layout_blksize: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_fsinfo: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: set_pnfs_layoutdriver: Using NFSv4 I/O Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_maxlink: maxlink=255 Jul 29 11:24:04 xuexi kernel: decode_attr_maxname: maxname=255 Jul 29 11:24:04 xuexi kernel: decode_pathconf: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: <-- nfs_probe_fsinfo() = 0 Jul 29 11:24:04 xuexi kernel: <-- nfs4_create_server() = ffff88007746a800 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=4651240235397459983 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=2 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=0555 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=23 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990255 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=1 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:38/2 fh_crc=0x62d40c52 ct=1) Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=00 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=4651240235397459983 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=00 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=1 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501989952 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_update_inode(0:38/2 fh_crc=0x62d40c52 ct=2 info=0x26040) Jul 29 11:24:04 xuexi kernel: NFS: permission(0:38/2), mask=0x1, res=0 Jul 29 11:24:04 xuexi kernel: NFS: permission(0:38/2), mask=0x81, res=0 Jul 29 11:24:04 xuexi kernel: NFS: lookup(/tmp) Jul 29 11:24:04 xuexi kernel: NFS call lookup tmp Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=01777 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=5 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990260 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS reply lookup: 0 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:38/391681 fh_crc=0xb4775a3f ct=1) Jul 29 11:24:04 xuexi kernel: --> nfs_d_automount() Jul 29 11:24:04 xuexi kernel: nfs_d_automount: enter Jul 29 11:24:04 xuexi kernel: NFS call lookup tmp Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=01777 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=5 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990260 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS reply lookup: 0 Jul 29 11:24:04 xuexi kernel: --> nfs_do_submount() Jul 29 11:24:04 xuexi kernel: nfs_do_submount: submounting on /tmp Jul 29 11:24:04 xuexi kernel: --> nfs_xdev_mount() Jul 29 11:24:04 xuexi kernel: --> nfs_clone_server(,f199fcb4fb064bf5:a1b7a15af0f7cb47,) Jul 29 11:24:04 xuexi kernel: --> nfs_probe_fsinfo() Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_lease_time: file size=90 Jul 29 11:24:04 xuexi kernel: decode_attr_maxfilesize: maxfilesize=18446744073709551615 Jul 29 11:24:04 xuexi kernel: decode_attr_maxread: maxread=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_maxwrite: maxwrite=131072 Jul 29 11:24:04 xuexi kernel: decode_attr_time_delta: time_delta=1 0 Jul 29 11:24:04 xuexi kernel: decode_attr_pnfstype: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_attr_layout_blksize: bitmap is 0 Jul 29 11:24:04 xuexi kernel: decode_fsinfo: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: set_pnfs_layoutdriver: Using NFSv4 I/O Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_maxlink: maxlink=255 Jul 29 11:24:04 xuexi kernel: decode_attr_maxname: maxname=255 Jul 29 11:24:04 xuexi kernel: decode_pathconf: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: <-- nfs_probe_fsinfo() = 0 Jul 29 11:24:04 xuexi kernel: Cloned FSID: f199fcb4fb064bf5:a1b7a15af0f7cb47 Jul 29 11:24:04 xuexi kernel: <-- nfs_clone_server() = ffff88006f407000 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_supported: bitmask=fdffbfff:00f9be3e:00000000 Jul 29 11:24:04 xuexi kernel: decode_attr_fh_expire_type: expire type=0x0 Jul 29 11:24:04 xuexi kernel: decode_attr_link_support: link support=true Jul 29 11:24:04 xuexi kernel: decode_attr_symlink_support: symlink support=true Jul 29 11:24:04 xuexi kernel: decode_attr_aclsupport: ACLs supported=3 Jul 29 11:24:04 xuexi kernel: decode_server_caps: xdr returned 0! Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=01777 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=5 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990260 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391681 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:40/391681 fh_crc=0xb4775a3f ct=1) Jul 29 11:24:04 xuexi kernel: <-- nfs_xdev_mount() = 0 Jul 29 11:24:04 xuexi kernel: nfs_do_submount: done Jul 29 11:24:04 xuexi kernel: <-- nfs_do_submount() = ffff880064fdfb20 Jul 29 11:24:04 xuexi kernel: nfs_d_automount: done, success Jul 29 11:24:04 xuexi kernel: <-- nfs_d_automount() = ffff880064fdfb20 Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=00 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=16540743250786234113 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0x0/0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=00 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=1 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=-2 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=0 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1501990117 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS: nfs_update_inode(0:40/391681 fh_crc=0xb4775a3f ct=2 info=0x26040) Jul 29 11:24:04 xuexi kernel: NFS: permission(0:40/391681), mask=0x1, res=0 Jul 29 11:24:04 xuexi kernel: NFS: lookup(/testdir) Jul 29 11:24:04 xuexi kernel: NFS call lookup testdir Jul 29 11:24:04 xuexi kernel: --> nfs4_alloc_slot used_slots=0000 highest_used=4294967295 max_slots=1024 Jul 29 11:24:04 xuexi kernel: <-- nfs4_alloc_slot used_slots=0001 highest_used=0 slotid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_type: type=040000 Jul 29 11:24:04 xuexi kernel: decode_attr_change: change attribute=7393570666420598027 Jul 29 11:24:04 xuexi kernel: decode_attr_size: file size=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_fsid: fsid=(0xf199fcb4fb064bf5/0xa1b7a15af0f7cb47) Jul 29 11:24:04 xuexi kernel: decode_attr_fileid: fileid=391682 Jul 29 11:24:04 xuexi kernel: decode_attr_fs_locations: fs_locations done, error = 0 Jul 29 11:24:04 xuexi kernel: decode_attr_mode: file mode=0754 Jul 29 11:24:04 xuexi kernel: decode_attr_nlink: nlink=3 Jul 29 11:24:04 xuexi kernel: decode_attr_owner: uid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_group: gid=0 Jul 29 11:24:04 xuexi kernel: decode_attr_rdev: rdev=(0x0:0x0) Jul 29 11:24:04 xuexi kernel: decode_attr_space_used: space used=4096 Jul 29 11:24:04 xuexi kernel: decode_attr_time_access: atime=1501990266 Jul 29 11:24:04 xuexi kernel: decode_attr_time_metadata: ctime=1497209702 Jul 29 11:24:04 xuexi kernel: decode_attr_time_modify: mtime=1496802409 Jul 29 11:24:04 xuexi kernel: decode_attr_mounted_on_fileid: fileid=391682 Jul 29 11:24:04 xuexi kernel: decode_getfattr_attrs: xdr returned 0 Jul 29 11:24:04 xuexi kernel: decode_getfattr_generic: xdr returned 0 Jul 29 11:24:04 xuexi kernel: nfs4_free_slot: slotid 0 highest_used_slotid 4294967295 Jul 29 11:24:04 xuexi kernel: NFS reply lookup: 0 Jul 29 11:24:04 xuexi kernel: NFS: nfs_fhget(0:40/391682 fh_crc=0xec69f317 ct=1) Jul 29 11:24:04 xuexi kernel: NFS: dentry_delete(/tmp, 202008c) Jul 29 11:24:04 xuexi kernel: NFS: clear cookie (0xffff88005eaf4620/0x (null)) Jul 29 11:24:04 xuexi kernel: NFS: clear cookie (0xffff88005eaf4a40/0x (null)) Jul 29 11:24:04 xuexi kernel: NFS: releasing superblock cookie (0xffff88007746a800/0x (null)) Jul 29 11:24:04 xuexi kernel: --> nfs_free_server() Jul 29 11:24:04 xuexi kernel: --> nfs_put_client({2}) Jul 29 11:24:04 xuexi kernel: <-- nfs_free_server() Jul 29 11:24:04 xuexi kernel: <-- nfs4_try_mount() = 0

1.9 深入NFS的方向

本文僅簡單介紹了一些NFS的基本使用方法,但NFS自身其實是很復雜的,想深入也不是一件簡單的事。例如,以下列出了幾個NFS在實現上應該要解決的問題。

(1).多臺客戶端掛載同一個導出的目錄后,要同時編輯其中同一個文件時,應該如何處理?這是共享文件更新問題,通用的解決方法是使用文件鎖。

(2).客戶端上對文件內容做出修改后是否要立即同步到服務端上?這是共享文件的數據緩存問題,體現的方式是文件數據是否要在各客戶端上保證一致性。和第一個問題結合起來,就是分布式(集群)文件數據一致性問題。

(3).客戶端或服務端進行了重啟,或者它們出現了故障,亦或者它們之間的網絡出現故障后,它們的對端如何知道它已經出現了故障?這是故障通知或重啟通知問題。

(4).出現故障后,正常重啟成功了,那么如何恢復到故障前狀態?這是故障恢復問題。

(5).如果服務端故障后一直無法恢復,客戶端是否能自動故障轉移到另一臺正常工作的NFS服務節點?這是高可用問題。(NFS版本4(后文將簡寫為NFSv4)可以從自身實現故障轉移,當然使用高可用工具如heartbeat也一樣能實現)

總結起來就幾個關鍵詞:鎖、緩存、數據和緩存一致性、通知和故障恢復。從這些關鍵字中,很自然地會聯想到了集群和分布式文件系統,其實NFS也是一種簡易的分布式文件系統,但沒有像集群或分布式文件系統那樣實現幾乎完美的鎖、緩存一致性等功能。而且NFSv4為了體現其特點和性能,在一些通用問題上采用了與集群、分布式文件系統不同的方式,如使用了文件委托(服務端將文件委托給客戶端,由此實現類似鎖的功能)、鎖或委托的租約等(就像DHCP的IP租約一樣,在租約期內,鎖和委托以及緩存是有效的,租約過期后這些內容都無效)。

由此知,深入NFS其實就是在深入分布式文件系統,由于網上對NFS深入介紹的文章幾乎沒有,所以想深入它并非一件簡單的事。如果有深入學習的想法,可以閱讀NFSv4的RFC3530文檔的前9章以及RCP的RFC文檔。以下是本人的一些man文檔翻譯。

?

翻譯:man rpcbind(rpcbind中文手冊) 翻譯:man nfsd(rpc.nfsd中文手冊) 翻譯:man mountd(rpc.mountd中文手冊) 翻譯:man statd(rpc.statd中文手冊) 翻譯:man sm-notify(sm-notify命令中文手冊) 翻譯:man exportfs(exportfs命令中文手冊)

以下是man nfs中關于傳輸方法和緩存相關內容的翻譯。

TRANSPORT METHODSNFS客戶端是通過RPC向NFS服務端發送請求的。RPC客戶端會自動發現遠程服務端點,處理每請求(per-request)的身份驗證,調整當客戶端和服務端之間出現不同字節字節序(byte endianness)時的請求參數,并且當請求在網絡上丟失或被服務端丟棄時重傳請求。rpc請求和響應數據包是通過網絡傳輸的。在大多數情形下,mount(8)命令、NFS客戶端和NFS服務端可以為掛載點自動協商合適的傳輸方式以及數據傳輸時的大小。但在某些情況下,需要使用mount選項顯式指定這些設置。對于的傳統NFS,NFS客戶端只使用UDP傳輸請求給服務端。盡管實現方式很簡單,但基于UDP的NFS有許多限制,在一些通用部署環境下,這些限制項會限制平滑運行的能力,還會限制性能。即使是UDP丟包率極小的情況,也將導致整個NFS請求丟失;因此,重傳的超時時間一般都是亞秒級的,這樣可以讓客戶端從請求丟失中快速恢復,但即使如此,這可能會導致無關的網絡阻塞以及服務端負載加重。但是在專門設置了網絡MTU值是相對于NFS的輸出傳輸大小時(例如在網絡環境下啟用了巨型以太網幀)(注:相對的意思,例如它們成比例關系),UDP是非常高效的。在這種環境下,建議修剪rsize和wsize,以便讓每個NFS的讀或寫請求都能容納在幾個網絡幀(甚至單個幀)中。這會降低由于單個MTU大小的網絡幀丟失而導致整個讀或寫請求丟失的概率。(譯者注:UDP是NFSv2和NFSv3所支持的,NFSv4使用TCP,所以以上兩段不用考慮)現代NFS都默認采用TCP傳輸協議。在幾乎所有可想到的網絡環境下,TCP都表現良好,且提供了非常好的保證,防止因為網絡不可靠而引起數據損壞。但使用TCP傳輸協議,基本上都會考慮設置相關防火墻。在正常環境下,網絡丟包的頻率比NFS服務丟包的頻率要高的多。因此,沒有必要為基于TCP的NFS設置極短的重傳超時時間。一般基于TCP的NFS的超時時間設置在1分鐘和10分鐘之間。當客戶端耗盡了重傳次數(選項retrans的值),它將假定發生了網絡分裂,并嘗試以新的套接字重新連接服務端。由于TCP自身使得網絡傳輸的數據是可靠的,所以,可以安全地使用處在默認值和客戶端服務端同時支持的最大值之間的rszie和wsize,而不再依賴于網絡MTU大小。DATA AND METADATA COHERENCE現在有些集群文件系統為客戶端之間提供了非常完美的緩存一致性功能,但對于NFS客戶端來說,實現完美的緩存一致性是非常昂貴的,特別是大型局域網絡環境。因此,NFS提供了稍微薄弱一點的緩存一致性功能,以滿足大多數文件共享需求。Close-to-open cache consistency一般情況下,文件共享是完全序列化的。首先客戶端A打開一個文件,寫入一些數據,然后關閉文件然后客戶端B打開同一個文件,并讀取到這些修改后的數據。當應用程序打開一個存儲在NFSv3服務端上的文件時,NFS客戶端檢查文件在服務端上是否存在,并通過是否發送GETATTR或ACCESS請求判斷文件是否允許被打開。NFS客戶端發送這些請求時,不會考慮已緩存文件屬性是否是新鮮有效的。當應用程序關閉文件,NFS客戶端立即將已做的修改寫入到文件中,以便下一個打開者可以看到所做的改變。這也給了NFS客戶端一個機會,使得它可以通過文件關閉時的返回狀態碼向應用程序報告錯誤。在打開文件時以及關閉文件刷入數據時的檢查行為被稱為close-to-open緩存一致性,或簡稱為CTO。可以通過使用nocto選項來禁用整個掛載點的CTO。(譯者注:NFS關閉文件時,客戶端會將所做的修改刷入到文件中,然后發送GETATTR請求以確保該文件的屬性緩存已被更新。之后其他的打開者打開文件時會發送GETATTR請求,根據文件的屬性緩存可以判斷文件是否被打開并做了修改。這可以避免緩存無效)Weak cache consistency客戶端的數據緩存仍有幾乎包含過期數據。NFSv3協議引入了"weak cache consistency"(WCC),它提供了一種在單個文件被請求之前和之后有效地檢查文件屬性的方式。這有助于客戶端識別出由其他客戶端對此文件做出的改變。當某客戶端使用了并發操作,使得同一文件在同一時間做出了多次更新(例如,后臺異步寫入),它仍將難以判斷是該客戶端的更新操作修改了此文件還是其他客戶端的更新操作修改了文件。Attribute caching使用noac掛載選項可以讓多客戶端之間實現屬性緩存一致性。幾乎每個文件系統的操作都會檢查文件的屬性信息。客戶端自身會保留屬性緩存一段時間以減少網絡和服務端的負載。當noac生效時,客戶端的文件屬性緩存就會被禁用,因此每個會檢查文件屬性的操作都被強制返回到服務端上來操作文件,這表示客戶端以犧牲網絡資源為代價來快速查看文件發生的變化。不要混淆noac選項和"no data caching"。noac掛載選項阻止客戶端緩存文件的元數據,但仍然可能會緩存非元數據的其他數據。NFS協議設計的目的不是為了支持真正完美的集群文件系統緩存一致性。如果要達到客戶端之間緩存數據的絕對一致,那么應該使用文件鎖的方式。File timestamp maintainenceNFS服務端負責管理文件和目錄的時間戳(atime,ctime,mtime)。當服務端文件被訪問或被更新,文件的時間戳也會像本地文件系統那樣改變。NFS客戶端緩存的文件屬性中包括了時間戳屬性。當NFS客戶端檢索NFS服務端文件屬性時,客戶端文件的時間戳會更新。因此,在NFS服務端的時間戳更新后顯示在NFS客戶端之前可能會有一些延遲。為了遵守POSIX文件系統標準,Linux NFS客戶端需要依賴于NFS服務端來保持文件的mtime和ctime時間戳最新狀態。實現方式是先讓客戶端將改變的數據刷入到服務端,然后再輸出文件的mtime。然而,Linux客戶端可以很輕松地處理atime的更新。NFS客戶端可以通過緩存數據來保持良好的性能,但這意味著客戶端應用程序讀取文件(會更新atime)時,不會反映到服務端,但實際上服務端的atime已經修改了。由于文件屬性緩存行為,Linux NFS客戶端mount時不支持一般的atime相關的掛載選項。特別是mount時指定了atime/noatime,diratime/nodiratime,relatime/norelatime以及strictatime/nostrictatime掛載選項,實際上它們沒有任何效果。Directory entry cachingLinux NFS客戶端緩存所有NFS LOOKUP請求的結果。如果所請求目錄項在服務端上存在,則查詢的結果稱為正查詢結果。如果請求的目錄在服務端上不存在(服務端將返回ENOENT),則查詢的結果稱為負查詢結果。為了探測目錄項是否添加到NFS服務端或從其上移除了,Linux NFS客戶端會監控目錄的mtime。如果客戶端監測到目錄的mtime發生了改變,客戶端將丟棄該目錄相關的所有LOOKUP緩存結果。由于目錄的mtime是一種緩存屬性,因此服務端目錄mtime發生改變后,客戶端可能需要等一段時間才能監測到它的改變。緩存目錄提高了不與其他客戶端上的應用程序共享文件的應用程序的性能。但使用目錄緩存可能會干擾在多個客戶端上同時運行的應用程序,并且需要快速檢測文件的創建或刪除。lookupcache掛載選項允許對目錄緩存行為進行一些調整。如果客戶端禁用目錄緩存,則每次LOOKUP操作都需要與服務端進行驗證,那么該客戶端可以立即探測到其他客戶端創建或刪除的目錄。可以使用lookupcache=none來禁用目錄緩存。如果禁用了目錄緩存,由于需要額外的NFS請求,這會損失一些性能,但禁用目錄緩存比使用noac損失的性能要少,且對NFS客戶端緩存文件屬性沒有任何影響。The sync mount optionNFS客戶端對待sync掛載選項的方式和掛載其他文件系統不同。如果即不指定sync也不指定async,則默認為async。async表示異步寫入,除了發生下面幾種特殊情況,NFS客戶端會延遲發送寫操作到服務端:● 內存壓力迫使回收系統內存資源。● 客戶端應用程序顯式使用了sync類的系統調用,如sync(2),msync(2)或fsync(3)。● 關閉文件時。● 文件被鎖/解鎖。換句話說,在正常環境下,應用程序寫的數據不會立即保存到服務端。(當然,關閉文件時是立即同步的)如果在掛載點上指定sync選項,任何將數據寫入掛載點上文件的系統調用都會先把數據刷到服務端上,然后系統調用才把控制權返回給用戶空間。這提供了客戶端之間更好的數據緩存一致性,但消耗了大量性能。在未使用sync掛載選項時,應用程序可以使用O_SYNC修飾符強制立即把單個文件的數據刷入到服務端。Using file locks with NFS網絡鎖管理器(Network Lock Manager,NLM)協議是一個獨立的協議,用于管理NFSv2和NFSv3的文件鎖。為了讓客戶端或服務端在重啟后能恢復鎖,需要使用另一個網絡狀態管理器(Network Status Manager,NSM)協議。在NFSv4中,NFS直協議自身接支持文件鎖相關功能,所以NLM和NSM就不再使用了。在大多數情況下,NLM和NSM服務是自動啟動的,并且不需要額外的任何配置。但需要配置NFS客戶端使用的是fqdn名稱,以保證NFS服務端可以找到客戶端并通知它們服務端的重啟動作。NLS僅支持advisory文件鎖。要鎖定NFS文件,可以使用待F_GETLK和F_SETLK的fcntl(2)命令。NFS客戶端會轉換通過flock(2)獲取到的鎖為advisory文件鎖。當服務端不支持NLM協議,或者當NFS服務端是通過防火墻但阻塞了NLM服務端口時,則需要指定nolock掛載選項。當客戶端掛載導出的/var目錄時,必須使用nolock禁用NLM鎖,因為/var目錄中包含了NLM鎖相關的信息。(注,因為NLM僅在nfsv2和nfsv3中支持,所以NFSv4不支持nolock選項)當僅有一個客戶端時,使用nolock選項可以提高一定的性能。NFS version 4 caching featuresNFSv4上的數據和元數據緩存行為和之前的版本相似。但是NFSv4添加了兩種特性來提升緩存行為:change attributes以及delegation。(注:nfsv4中取消了weak cache consistency)change attribute是一種新的被跟蹤的文件/目錄元數據信息。它替代了使用文件mtime和ctime作為客戶端驗證緩存內容的方式。但注意,change attributes和客戶端/服務端文件的時間戳的改變無關。文件委托(file delegation)是NFSv4的客戶端和NFSv4服務端之前的一種合約,它允許客戶端臨時處理文件,就像沒有其他客戶端正在訪問該文件一樣。當有其他客戶端嘗試訪問被委托文件時,服務端一定會通知服務端(通過callback請求)。一旦文件被委托給某客戶端,客戶端可以盡可能大地緩存該文件的數據和元數據,而不需要聯系服務端。文件委托有兩種方式:read和write。讀委托意味著當其他客戶端嘗試向委托文件寫入數據時,服務端通知客戶端。而寫委托意味著其他客戶端無論是嘗試讀還是寫,服務端都會通知客戶端。NFSv4上當文件被打開的時候,服務端會授權文件委托,并且當其他客戶端想要訪問該文件但和已授權的委托沖突時,服務端可以在任意時間點重調(recall)委托關系。不支持對目錄的委托。(譯者注:只有讀委托和讀委托不會沖突)為了支持委托回調(delegation callback),在客戶端初始聯系服務端時,服務端會檢查網絡并返回路徑給客戶端。如果和客戶端的聯系無法建立,服務端將不會授權任何委托給客戶端。

總結

以上是生活随笔為你收集整理的第3章 NFS基本应用的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

国产午夜亚洲精品不卡下载 | 天堂а√在线中文在线 | 亚洲理论电影在线观看 | 国产又爽又猛又粗的视频a片 | 国产无av码在线观看 | 久久精品人妻少妇一区二区三区 | 大肉大捧一进一出视频出来呀 | 日韩 欧美 动漫 国产 制服 | 内射白嫩少妇超碰 | 一本久久伊人热热精品中文字幕 | 好男人www社区 | 熟女少妇在线视频播放 | 国产超碰人人爽人人做人人添 | 毛片内射-百度 | 亚洲 欧美 激情 小说 另类 | 精品少妇爆乳无码av无码专区 | 岛国片人妻三上悠亚 | 成人三级无码视频在线观看 | 亚洲综合无码一区二区三区 | 丰满人妻被黑人猛烈进入 | 妺妺窝人体色www婷婷 | 丰满少妇人妻久久久久久 | 亚洲爆乳精品无码一区二区三区 | 熟妇人妻中文av无码 | 亚洲午夜福利在线观看 | 日本大乳高潮视频在线观看 | 亚洲欧美日韩综合久久久 | 久久99久久99精品中文字幕 | 中文毛片无遮挡高清免费 | 国产精品18久久久久久麻辣 | 色婷婷久久一区二区三区麻豆 | 婷婷丁香六月激情综合啪 | 国产av剧情md精品麻豆 | 亚洲国产av精品一区二区蜜芽 | 国产成人一区二区三区在线观看 | 精品欧美一区二区三区久久久 | 国产在线精品一区二区高清不卡 | 久久伊人色av天堂九九小黄鸭 | 夜夜影院未满十八勿进 | 丰满肥臀大屁股熟妇激情视频 | 日本精品人妻无码77777 天堂一区人妻无码 | 人人妻人人澡人人爽人人精品浪潮 | 亚洲色偷偷偷综合网 | 亚洲最大成人网站 | 久久这里只有精品视频9 | 女人被男人爽到呻吟的视频 | 日本一区二区三区免费播放 | 中文字幕久久久久人妻 | 国产精品内射视频免费 | 99精品无人区乱码1区2区3区 | 波多野结衣一区二区三区av免费 | yw尤物av无码国产在线观看 | 一本色道久久综合亚洲精品不卡 | 久9re热视频这里只有精品 | 亚洲国产av美女网站 | 国产精品久久久 | 未满成年国产在线观看 | 日日碰狠狠躁久久躁蜜桃 | 偷窥日本少妇撒尿chinese | 久久五月精品中文字幕 | 精品无码国产一区二区三区av | 久9re热视频这里只有精品 | 九月婷婷人人澡人人添人人爽 | 日本爽爽爽爽爽爽在线观看免 | 天天躁夜夜躁狠狠是什么心态 | 99视频精品全部免费免费观看 | 亚洲熟妇自偷自拍另类 | v一区无码内射国产 | 成人无码视频在线观看网站 | 两性色午夜视频免费播放 | 国产 浪潮av性色四虎 | 天天拍夜夜添久久精品大 | √8天堂资源地址中文在线 | 欧美高清在线精品一区 | 人妻人人添人妻人人爱 | 国产美女极度色诱视频www | 国产精品-区区久久久狼 | 亚洲国产日韩a在线播放 | 丰满护士巨好爽好大乳 | 国内老熟妇对白xxxxhd | 又大又硬又爽免费视频 | 国产绳艺sm调教室论坛 | 欧美真人作爱免费视频 | 无码人中文字幕 | 国产一区二区三区影院 | 亚洲国产午夜精品理论片 | 成人精品一区二区三区中文字幕 | 天下第一社区视频www日本 | 久久久久av无码免费网 | 九一九色国产 | 荡女精品导航 | 沈阳熟女露脸对白视频 | 国产av久久久久精东av | 激情内射日本一区二区三区 | 狠狠cao日日穞夜夜穞av | 人妻少妇精品无码专区动漫 | 久久精品国产亚洲精品 | 久久国内精品自在自线 | 亚洲日韩乱码中文无码蜜桃臀网站 | 成人三级无码视频在线观看 | 成人精品视频一区二区三区尤物 | 国产人妻人伦精品1国产丝袜 | 日韩视频 中文字幕 视频一区 | 亚洲国产精品无码久久久久高潮 | 色综合久久88色综合天天 | 熟女体下毛毛黑森林 | 高清国产亚洲精品自在久久 | 国产精品无码永久免费888 | 麻豆蜜桃av蜜臀av色欲av | 国产精品久久久久久亚洲毛片 | 亚洲一区av无码专区在线观看 | 18禁黄网站男男禁片免费观看 | 99精品久久毛片a片 | 亚洲日韩中文字幕在线播放 | 久久国语露脸国产精品电影 | 精品国产一区av天美传媒 | 精品欧美一区二区三区久久久 | 日日噜噜噜噜夜夜爽亚洲精品 | 国产suv精品一区二区五 | 国产精品亚洲一区二区三区喷水 | 日本爽爽爽爽爽爽在线观看免 | 日韩精品a片一区二区三区妖精 | 一二三四社区在线中文视频 | 日本一卡二卡不卡视频查询 | 国产人妻精品一区二区三区 | 中文字幕无码免费久久99 | 无遮无挡爽爽免费视频 | 欧美丰满熟妇xxxx | 久久久久se色偷偷亚洲精品av | 中文无码精品a∨在线观看不卡 | 强奷人妻日本中文字幕 | 国产真实乱对白精彩久久 | 日本欧美一区二区三区乱码 | 乱人伦人妻中文字幕无码久久网 | 丝袜足控一区二区三区 | aⅴ亚洲 日韩 色 图网站 播放 | 欧美老熟妇乱xxxxx | 中文字幕精品av一区二区五区 | 国产亚洲欧美日韩亚洲中文色 | 国产艳妇av在线观看果冻传媒 | 亚洲 欧美 激情 小说 另类 | 色一情一乱一伦一视频免费看 | 激情人妻另类人妻伦 | 天天躁日日躁狠狠躁免费麻豆 | 免费看少妇作爱视频 | 欧美成人午夜精品久久久 | 亚洲国产成人a精品不卡在线 | 欧美日韩亚洲国产精品 | 国产香蕉尹人视频在线 | 婷婷丁香六月激情综合啪 | 夜夜影院未满十八勿进 | 久久久亚洲欧洲日产国码αv | 婷婷五月综合缴情在线视频 | 国产做国产爱免费视频 | 中文字幕人妻无码一夲道 | 色妞www精品免费视频 | 激情国产av做激情国产爱 | 男女猛烈xx00免费视频试看 | 人妻与老人中文字幕 | 国产精品久久久av久久久 | 欧美猛少妇色xxxxx | 久久精品丝袜高跟鞋 | 成熟人妻av无码专区 | 俺去俺来也在线www色官网 | 欧美人妻一区二区三区 | 婷婷色婷婷开心五月四房播播 | 免费乱码人妻系列无码专区 | 国产美女极度色诱视频www | 国产偷抇久久精品a片69 | 欧美丰满熟妇xxxx性ppx人交 | 欧美日韩视频无码一区二区三 | 国产成人午夜福利在线播放 | 无码午夜成人1000部免费视频 | 成人精品一区二区三区中文字幕 | 蜜桃无码一区二区三区 | 无套内谢的新婚少妇国语播放 | 国产成人一区二区三区别 | 国产亚洲人成a在线v网站 | 国产美女极度色诱视频www | 欧美老妇与禽交 | 国产乱子伦视频在线播放 | 一本久道久久综合狠狠爱 | 国産精品久久久久久久 | 欧美性猛交内射兽交老熟妇 | 欧美刺激性大交 | 丁香花在线影院观看在线播放 | 国内精品人妻无码久久久影院蜜桃 | 蜜臀av无码人妻精品 | 中文字幕久久久久人妻 | 曰韩无码二三区中文字幕 | 午夜男女很黄的视频 | 无码午夜成人1000部免费视频 | 麻豆国产人妻欲求不满 | 日本熟妇乱子伦xxxx | 人人澡人摸人人添 | 国产网红无码精品视频 | 久久99精品国产.久久久久 | 色狠狠av一区二区三区 | 98国产精品综合一区二区三区 | 亚洲色欲色欲欲www在线 | 亚洲 激情 小说 另类 欧美 | 精品国产aⅴ无码一区二区 | 无遮无挡爽爽免费视频 | 亚洲色偷偷偷综合网 | 国产精品嫩草久久久久 | 国产av无码专区亚洲a∨毛片 | 亚洲日本va中文字幕 | 国产精品va在线观看无码 | 内射后入在线观看一区 | 亚洲国产成人av在线观看 | 亚洲精品www久久久 | 狠狠色丁香久久婷婷综合五月 | 欧美怡红院免费全部视频 | 无码人妻出轨黑人中文字幕 | 亚洲熟熟妇xxxx | 青青青手机频在线观看 | 国产成人一区二区三区在线观看 | 无码国模国产在线观看 | 成人免费无码大片a毛片 | 欧美成人家庭影院 | 亚洲欧美中文字幕5发布 | 影音先锋中文字幕无码 | 少妇一晚三次一区二区三区 | 国内丰满熟女出轨videos | 网友自拍区视频精品 | 大胆欧美熟妇xx | 色一情一乱一伦 | 人妻少妇被猛烈进入中文字幕 | 未满成年国产在线观看 | 亚洲人成影院在线观看 | 成人动漫在线观看 | 最近的中文字幕在线看视频 | 中文字幕精品av一区二区五区 | 国产超级va在线观看视频 | 亚洲中文字幕无码中字 | 男人的天堂av网站 | 蜜臀av在线播放 久久综合激激的五月天 | 东京热男人av天堂 | 亚洲精品美女久久久久久久 | 国产手机在线αⅴ片无码观看 | 鲁鲁鲁爽爽爽在线视频观看 | 久久综合给合久久狠狠狠97色 | 天堂а√在线中文在线 | 国产综合在线观看 | 日本护士xxxxhd少妇 | 老熟女乱子伦 | 伊人久久大香线蕉午夜 | 99久久精品午夜一区二区 | 中文无码伦av中文字幕 | 未满小14洗澡无码视频网站 | 婷婷丁香五月天综合东京热 | 久久综合九色综合欧美狠狠 | 亚洲日韩av一区二区三区中文 | 中文精品无码中文字幕无码专区 | 99久久久无码国产精品免费 | 国产精品久久久久影院嫩草 | 亚洲国产精品无码久久久久高潮 | 蜜臀aⅴ国产精品久久久国产老师 | 中文字幕乱码人妻无码久久 | 宝宝好涨水快流出来免费视频 | 国产精品美女久久久网av | 久久99精品久久久久久动态图 | 高清国产亚洲精品自在久久 | 国产精品久久久午夜夜伦鲁鲁 | 牛和人交xxxx欧美 | 日韩 欧美 动漫 国产 制服 | a在线观看免费网站大全 | 国产人妻久久精品二区三区老狼 | 奇米影视888欧美在线观看 | 久久精品人人做人人综合试看 | 日日碰狠狠躁久久躁蜜桃 | 帮老师解开蕾丝奶罩吸乳网站 | 亚洲色欲色欲天天天www | 欧美黑人性暴力猛交喷水 | 色婷婷av一区二区三区之红樱桃 | 永久免费观看美女裸体的网站 | 国产午夜手机精彩视频 | 在线成人www免费观看视频 | 未满小14洗澡无码视频网站 | 精品 日韩 国产 欧美 视频 | 成人一区二区免费视频 | 国产午夜精品一区二区三区嫩草 | 精品熟女少妇av免费观看 | 国产情侣作爱视频免费观看 | 中文字幕无码av激情不卡 | 国产免费久久精品国产传媒 | 色婷婷欧美在线播放内射 | 国产女主播喷水视频在线观看 | 色婷婷av一区二区三区之红樱桃 | 亚洲熟妇色xxxxx欧美老妇y | 少妇高潮一区二区三区99 | 精品人妻人人做人人爽夜夜爽 | 精品人人妻人人澡人人爽人人 | 男人的天堂2018无码 | 国产精品无码成人午夜电影 | 国产后入清纯学生妹 | 久久久成人毛片无码 | 中文无码成人免费视频在线观看 | 中文精品久久久久人妻不卡 | 国产极品视觉盛宴 | 国产精品沙发午睡系列 | 国产亚洲视频中文字幕97精品 | 一二三四在线观看免费视频 | 又粗又大又硬又长又爽 | 欧美性生交活xxxxxdddd | 亚拍精品一区二区三区探花 | 九一九色国产 | 国产人成高清在线视频99最全资源 | 强伦人妻一区二区三区视频18 | 无码福利日韩神码福利片 | 久久无码中文字幕免费影院蜜桃 | 亚洲一区二区三区香蕉 | 高清国产亚洲精品自在久久 | 国产人妻精品一区二区三区 | 欧美日韩亚洲国产精品 | 熟女少妇人妻中文字幕 | 午夜精品一区二区三区在线观看 | 亚洲色欲色欲欲www在线 | 精品无码国产自产拍在线观看蜜 | 我要看www免费看插插视频 | 亚洲欧洲无卡二区视頻 | 久久久久se色偷偷亚洲精品av | 蜜桃av蜜臀av色欲av麻 999久久久国产精品消防器材 | 97se亚洲精品一区 | 色诱久久久久综合网ywww | 一区二区三区乱码在线 | 欧洲 | 国内精品人妻无码久久久影院蜜桃 | 一个人看的视频www在线 | 国产国产精品人在线视 | 人人澡人摸人人添 | 亚洲日韩一区二区 | 久久精品国产一区二区三区 | 在线观看国产午夜福利片 | 日韩欧美中文字幕在线三区 | 无码中文字幕色专区 | 欧洲极品少妇 | 国内精品久久毛片一区二区 | 成熟妇人a片免费看网站 | 18禁黄网站男男禁片免费观看 | 天堂а√在线地址中文在线 | 亚洲中文字幕在线无码一区二区 | 特黄特色大片免费播放器图片 | 久久综合给合久久狠狠狠97色 | 精品 日韩 国产 欧美 视频 | 美女黄网站人色视频免费国产 | 国产麻豆精品一区二区三区v视界 | 亚洲日韩一区二区 | 国产精品a成v人在线播放 | 国产亚洲欧美日韩亚洲中文色 | 欧美国产日产一区二区 | 伊人久久大香线焦av综合影院 | 老熟女乱子伦 | 俺去俺来也在线www色官网 | 欧美freesex黑人又粗又大 | а√资源新版在线天堂 | 久久国语露脸国产精品电影 | 1000部夫妻午夜免费 | 欧美成人家庭影院 | 久久国产精品萌白酱免费 | 亚洲啪av永久无码精品放毛片 | 宝宝好涨水快流出来免费视频 | 亚洲精品无码国产 | 欧美人与牲动交xxxx | 国产亚洲美女精品久久久2020 | 人人妻在人人 | 欧美人与禽猛交狂配 | 亚洲国产精品一区二区美利坚 | 国产成人亚洲综合无码 | 日日鲁鲁鲁夜夜爽爽狠狠 | 精品久久久无码人妻字幂 | 久久97精品久久久久久久不卡 | 国产在线一区二区三区四区五区 | 免费乱码人妻系列无码专区 | 欧美日本日韩 | 一二三四在线观看免费视频 | 日本一本二本三区免费 | 欧美日韩一区二区免费视频 | 国产精品高潮呻吟av久久 | 国产在线aaa片一区二区99 | 中文字幕无码视频专区 | 曰韩无码二三区中文字幕 | 国产午夜无码精品免费看 | 久久国语露脸国产精品电影 | 欧美一区二区三区视频在线观看 | 色噜噜亚洲男人的天堂 | 思思久久99热只有频精品66 | 国产人妻精品午夜福利免费 | 成人免费无码大片a毛片 | 亚洲成色www久久网站 | 国产激情无码一区二区app | 国产电影无码午夜在线播放 | 少妇太爽了在线观看 | 女人色极品影院 | 又黄又爽又色的视频 | 久久久久亚洲精品中文字幕 | 国产又爽又猛又粗的视频a片 | 久久精品中文闷骚内射 | 一本色道久久综合狠狠躁 | 色综合久久网 | 国产一区二区三区四区五区加勒比 | 老熟妇仑乱视频一区二区 | 免费人成网站视频在线观看 | 国产小呦泬泬99精品 | 国产无遮挡又黄又爽又色 | 国产成人无码午夜视频在线观看 | 一个人看的视频www在线 | 任你躁国产自任一区二区三区 | 亚洲欧美国产精品专区久久 | 性色av无码免费一区二区三区 | 色 综合 欧美 亚洲 国产 | 久精品国产欧美亚洲色aⅴ大片 | 国产人妖乱国产精品人妖 | 国产高潮视频在线观看 | 97精品国产97久久久久久免费 | 精品亚洲成av人在线观看 | 久久人人97超碰a片精品 | 国产午夜无码视频在线观看 | 国产亚洲精品精品国产亚洲综合 | 99re在线播放 | 国产乱人无码伦av在线a | 国产精品va在线观看无码 | 动漫av网站免费观看 | 亚洲精品国产精品乱码视色 | 亚洲一区二区三区偷拍女厕 | 丰满诱人的人妻3 | 国产精品久久久av久久久 | 无码播放一区二区三区 | 无遮无挡爽爽免费视频 | 久久精品国产大片免费观看 | 国产农村妇女高潮大叫 | 色偷偷人人澡人人爽人人模 | 亚洲国产精品无码久久久久高潮 | 中文字幕无码av激情不卡 | 亚洲色偷偷男人的天堂 | 国产在线精品一区二区三区直播 | 捆绑白丝粉色jk震动捧喷白浆 | 国产精品久久久久无码av色戒 | 日日麻批免费40分钟无码 | 给我免费的视频在线观看 | 国产特级毛片aaaaaa高潮流水 | 色五月丁香五月综合五月 | 人妻少妇精品视频专区 | 精品无码国产自产拍在线观看蜜 | 纯爱无遮挡h肉动漫在线播放 | 欧美亚洲国产一区二区三区 | 中文字幕日韩精品一区二区三区 | 久久久久99精品成人片 | 欧美变态另类xxxx | 又粗又大又硬毛片免费看 | 特级做a爰片毛片免费69 | 天天躁夜夜躁狠狠是什么心态 | 免费看男女做好爽好硬视频 | a国产一区二区免费入口 | 娇妻被黑人粗大高潮白浆 | 亚洲人成人无码网www国产 | 亚洲国产精品一区二区第一页 | 无码任你躁久久久久久久 | 亚洲欧美日韩国产精品一区二区 | 无码播放一区二区三区 | 国语精品一区二区三区 | 成年美女黄网站色大免费视频 | 日产国产精品亚洲系列 | 日本精品久久久久中文字幕 | 国产xxx69麻豆国语对白 | 熟妇人妻无乱码中文字幕 | 国产乱人偷精品人妻a片 | 国产综合色产在线精品 | 人妻aⅴ无码一区二区三区 | 成人片黄网站色大片免费观看 | 欧洲极品少妇 | 国产av一区二区三区最新精品 | 国产成人一区二区三区在线观看 | 国产精品嫩草久久久久 | 玩弄中年熟妇正在播放 | 日日摸天天摸爽爽狠狠97 | 久久精品中文字幕大胸 | 女人被男人躁得好爽免费视频 | 欧美老熟妇乱xxxxx | 特大黑人娇小亚洲女 | 正在播放老肥熟妇露脸 | 欧美 丝袜 自拍 制服 另类 | 两性色午夜视频免费播放 | 中文字幕乱码人妻二区三区 | 亚洲日本一区二区三区在线 | 国产美女精品一区二区三区 | 在线成人www免费观看视频 | 免费国产黄网站在线观看 | 久久人人97超碰a片精品 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 日韩欧美中文字幕在线三区 | 精品熟女少妇av免费观看 | 国产精品鲁鲁鲁 | 无套内射视频囯产 | 97夜夜澡人人爽人人喊中国片 | 久久国内精品自在自线 | 久久无码中文字幕免费影院蜜桃 | 日韩精品无码一区二区中文字幕 | 伊人久久大香线焦av综合影院 | 国产精品久久久久久无码 | 中文字幕人妻无码一夲道 | 美女黄网站人色视频免费国产 | 乱人伦中文视频在线观看 | 精品国产一区二区三区四区在线看 | 国内丰满熟女出轨videos | 性欧美大战久久久久久久 | 少妇被粗大的猛进出69影院 | 成 人 免费观看网站 | 精品无码一区二区三区的天堂 | 亚洲人成网站在线播放942 | 欧美freesex黑人又粗又大 | 久青草影院在线观看国产 | 成熟女人特级毛片www免费 | 精品无码av一区二区三区 | 成人免费视频视频在线观看 免费 | 久久 国产 尿 小便 嘘嘘 | 亚洲成av人片天堂网无码】 | 国产精品久久久久久久影院 | 色综合久久久无码网中文 | 国产av剧情md精品麻豆 | 5858s亚洲色大成网站www | 国产色视频一区二区三区 | 成人无码影片精品久久久 | 久久国产精品_国产精品 | 亚洲 激情 小说 另类 欧美 | 疯狂三人交性欧美 | 国产精品18久久久久久麻辣 | 国精品人妻无码一区二区三区蜜柚 | 永久免费观看美女裸体的网站 | www成人国产高清内射 | 欧美日韩色另类综合 | 欧美 丝袜 自拍 制服 另类 | 国产人妖乱国产精品人妖 | 久久国产36精品色熟妇 | 久久久中文字幕日本无吗 | 又色又爽又黄的美女裸体网站 | 99久久99久久免费精品蜜桃 | 无码人妻少妇伦在线电影 | 国产xxx69麻豆国语对白 | 国产激情精品一区二区三区 | 在线观看欧美一区二区三区 | 成人免费无码大片a毛片 | 国产农村乱对白刺激视频 | 亚洲国产欧美国产综合一区 | 1000部啪啪未满十八勿入下载 | 日韩av激情在线观看 | 成人av无码一区二区三区 | 亚洲精品综合五月久久小说 | 熟妇人妻无码xxx视频 | 免费观看又污又黄的网站 | 国产成人无码a区在线观看视频app | 国产性生大片免费观看性 | 激情内射亚州一区二区三区爱妻 | 亚洲日韩av一区二区三区中文 | 午夜熟女插插xx免费视频 | 久久99精品国产麻豆蜜芽 | 人妻体内射精一区二区三四 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 少妇被黑人到高潮喷出白浆 | 亚洲精品午夜国产va久久成人 | 中文字幕乱码人妻无码久久 | 国产精品亚洲五月天高清 | 男女超爽视频免费播放 | 一本久道高清无码视频 | 嫩b人妻精品一区二区三区 | 久久97精品久久久久久久不卡 | 四虎永久在线精品免费网址 | 日韩无套无码精品 | 学生妹亚洲一区二区 | 99麻豆久久久国产精品免费 | 国产精品人妻一区二区三区四 | 亚洲熟女一区二区三区 | 久久亚洲中文字幕无码 | 国产超碰人人爽人人做人人添 | 国产精品a成v人在线播放 | 欧美人与善在线com | 一本色道久久综合狠狠躁 | 丁香花在线影院观看在线播放 | 国产在热线精品视频 | 亚洲人成人无码网www国产 | 亚洲中文字幕无码一久久区 | 欧美精品无码一区二区三区 | 国产人妻精品一区二区三区 | 亚洲色欲色欲天天天www | 日日碰狠狠躁久久躁蜜桃 | 亚洲伊人久久精品影院 | 成人精品视频一区二区 | 日本高清一区免费中文视频 | 99国产精品白浆在线观看免费 | 免费乱码人妻系列无码专区 | 风流少妇按摩来高潮 | 亚洲精品国产第一综合99久久 | 精品国产福利一区二区 | 国产精品爱久久久久久久 | 亚洲自偷精品视频自拍 | 性欧美熟妇videofreesex | 久久国产精品精品国产色婷婷 | 久久久久成人片免费观看蜜芽 | 精品国精品国产自在久国产87 | 超碰97人人做人人爱少妇 | 亚洲欧洲日本综合aⅴ在线 | 无码国产乱人伦偷精品视频 | 亚洲人成人无码网www国产 | 最新版天堂资源中文官网 | 欧美一区二区三区 | 日韩少妇内射免费播放 | 俺去俺来也www色官网 | 动漫av一区二区在线观看 | 欧美日韩在线亚洲综合国产人 | 丰满肥臀大屁股熟妇激情视频 | 成人综合网亚洲伊人 | a国产一区二区免费入口 | 欧美成人家庭影院 | 日韩精品无码免费一区二区三区 | 亚洲va中文字幕无码久久不卡 | 99久久久国产精品无码免费 | 国产真实夫妇视频 | 免费男性肉肉影院 | 久久无码人妻影院 | 国产一精品一av一免费 | 我要看www免费看插插视频 | 欧美人与物videos另类 | 国产亚洲精品精品国产亚洲综合 | 一本色道久久综合亚洲精品不卡 | 小sao货水好多真紧h无码视频 | 久久精品一区二区三区四区 | 又色又爽又黄的美女裸体网站 | 人妻无码久久精品人妻 | 国产另类ts人妖一区二区 | 国产9 9在线 | 中文 | 日韩精品久久久肉伦网站 | 国产偷抇久久精品a片69 | 国产综合久久久久鬼色 | 日产精品高潮呻吟av久久 | 国产精品资源一区二区 | 久久久成人毛片无码 | 色欲人妻aaaaaaa无码 | 中文字幕无码日韩欧毛 | 国产免费久久精品国产传媒 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 狂野欧美性猛交免费视频 | 国产亚洲精品久久久久久大师 | 亚洲精品中文字幕久久久久 | 婷婷五月综合激情中文字幕 | 好爽又高潮了毛片免费下载 | 鲁一鲁av2019在线 | 亚洲精品一区二区三区婷婷月 | 乱人伦人妻中文字幕无码久久网 | 欧美激情综合亚洲一二区 | 国产精品亚洲а∨无码播放麻豆 | 内射巨臀欧美在线视频 | 国产精品久久久久久亚洲毛片 | 国产亚洲精品久久久闺蜜 | 玩弄少妇高潮ⅹxxxyw | 麻豆国产人妻欲求不满谁演的 | 成熟女人特级毛片www免费 | 亚洲一区二区三区无码久久 | 亚洲成色www久久网站 | 97se亚洲精品一区 | 成人一在线视频日韩国产 | 国产精品久久久久影院嫩草 | 狠狠噜狠狠狠狠丁香五月 | 老子影院午夜精品无码 | 欧美三级不卡在线观看 | 一区二区三区乱码在线 | 欧洲 | 18禁黄网站男男禁片免费观看 | 国产精品美女久久久网av | 精品一区二区三区波多野结衣 | 全球成人中文在线 | 国产精品怡红院永久免费 | 国产手机在线αⅴ片无码观看 | 国产 浪潮av性色四虎 | 巨爆乳无码视频在线观看 | 日日橹狠狠爱欧美视频 | 久久久国产精品无码免费专区 | 男女下面进入的视频免费午夜 | 国产乱人偷精品人妻a片 | 国产一精品一av一免费 | 国产精品免费大片 | 在线观看免费人成视频 | 亚洲欧美国产精品专区久久 | 精品一区二区不卡无码av | 欧美35页视频在线观看 | 亚洲国产精品毛片av不卡在线 | 亚洲性无码av中文字幕 | 内射老妇bbwx0c0ck | 少妇性荡欲午夜性开放视频剧场 | 欧美人与物videos另类 | 国产激情艳情在线看视频 | 1000部啪啪未满十八勿入下载 | 亚洲综合精品香蕉久久网 | 亚洲午夜无码久久 | 国产综合色产在线精品 | 久久无码专区国产精品s | 亚洲欧美日韩综合久久久 | 77777熟女视频在线观看 а天堂中文在线官网 | 日产国产精品亚洲系列 | 真人与拘做受免费视频一 | 久久亚洲精品成人无码 | 国产精品a成v人在线播放 | 男人的天堂2018无码 | 亚洲综合在线一区二区三区 | 国产婷婷色一区二区三区在线 | 成人免费视频视频在线观看 免费 | 亚洲精品一区二区三区大桥未久 | 欧美日韩视频无码一区二区三 | 亚洲国产精品毛片av不卡在线 | 精品久久久无码人妻字幂 | 久久亚洲日韩精品一区二区三区 | 四虎4hu永久免费 | 国产成人午夜福利在线播放 | 在线精品亚洲一区二区 | 国产又爽又黄又刺激的视频 | 天堂无码人妻精品一区二区三区 | 国产乱子伦视频在线播放 | 日本在线高清不卡免费播放 | 久久久久久久人妻无码中文字幕爆 | 5858s亚洲色大成网站www | 精品成人av一区二区三区 | 中文精品无码中文字幕无码专区 | 国产手机在线αⅴ片无码观看 | 国产无遮挡吃胸膜奶免费看 | 最近的中文字幕在线看视频 | 欧洲欧美人成视频在线 | 秋霞成人午夜鲁丝一区二区三区 | 免费国产黄网站在线观看 | 国产综合色产在线精品 | 亚洲一区二区三区国产精华液 | 亚洲欧美精品伊人久久 | 日本熟妇乱子伦xxxx | 亚洲精品综合五月久久小说 | 亚洲а∨天堂久久精品2021 | 亚洲伊人久久精品影院 | 欧美 日韩 人妻 高清 中文 | 色欲人妻aaaaaaa无码 | 中文字幕av伊人av无码av | 国产乱人伦av在线无码 | 婷婷色婷婷开心五月四房播播 | 麻豆国产人妻欲求不满谁演的 | 国内老熟妇对白xxxxhd | 亚洲成a人片在线观看无码 | 又湿又紧又大又爽a视频国产 | 亚洲成av人片在线观看无码不卡 | 亚洲乱码日产精品bd | 亚洲精品一区二区三区在线 | 麻豆av传媒蜜桃天美传媒 | 国产人妻精品一区二区三区不卡 | 天天拍夜夜添久久精品 | 成人片黄网站色大片免费观看 | 欧美成人午夜精品久久久 | 成人无码视频在线观看网站 | 国产真实伦对白全集 | 狠狠色丁香久久婷婷综合五月 | 清纯唯美经典一区二区 | 少妇人妻av毛片在线看 | 精品乱码久久久久久久 | 欧美老熟妇乱xxxxx | 亚洲精品国产第一综合99久久 | 国产区女主播在线观看 | 亚洲欧美日韩成人高清在线一区 | 国产精品手机免费 | 亚洲色无码一区二区三区 | 俄罗斯老熟妇色xxxx | 97无码免费人妻超级碰碰夜夜 | 女人被男人爽到呻吟的视频 | 无码毛片视频一区二区本码 | 国产av无码专区亚洲awww | 无码国模国产在线观看 | www国产亚洲精品久久久日本 | 乱人伦中文视频在线观看 | 国产人妻精品一区二区三区 | 欧美亚洲国产一区二区三区 | 少妇性俱乐部纵欲狂欢电影 | 老熟妇乱子伦牲交视频 | 国产真人无遮挡作爱免费视频 | 色综合久久中文娱乐网 | 人妻中文无码久热丝袜 | 国产熟女一区二区三区四区五区 | 熟女体下毛毛黑森林 | 久久精品中文闷骚内射 | 亚洲人成人无码网www国产 | 国产成人一区二区三区在线观看 | 欧美人与动性行为视频 | 欧美肥老太牲交大战 | 无码中文字幕色专区 | 日韩精品无码一本二本三本色 | 日日碰狠狠躁久久躁蜜桃 | 免费无码的av片在线观看 | 成人精品天堂一区二区三区 | 人妻少妇精品视频专区 | 无码吃奶揉捏奶头高潮视频 | 国产亚洲精品久久久ai换 | 午夜福利试看120秒体验区 | 国产精品.xx视频.xxtv | 国产又爽又猛又粗的视频a片 | 日本一本二本三区免费 | 日本护士毛茸茸高潮 | 九九综合va免费看 | 人人爽人人澡人人高潮 | 久久综合色之久久综合 | 377p欧洲日本亚洲大胆 | 在线播放免费人成毛片乱码 | 一本色道婷婷久久欧美 | 久久99久久99精品中文字幕 | 欧美人妻一区二区三区 | 综合激情五月综合激情五月激情1 | 一本色道久久综合狠狠躁 | 国模大胆一区二区三区 | 午夜丰满少妇性开放视频 | 熟女少妇人妻中文字幕 | a在线亚洲男人的天堂 | 久久无码专区国产精品s | 性色欲网站人妻丰满中文久久不卡 | 国产精品亚洲五月天高清 | 亚洲日韩av一区二区三区四区 | 久久久久久av无码免费看大片 | 伊人色综合久久天天小片 | 日本精品高清一区二区 | 免费播放一区二区三区 | 风流少妇按摩来高潮 | 亚洲中文字幕乱码av波多ji | 日本精品久久久久中文字幕 | 亚洲男女内射在线播放 | 99精品视频在线观看免费 | 国产偷自视频区视频 | 大色综合色综合网站 | 久久久久久亚洲精品a片成人 | 国产偷国产偷精品高清尤物 | 欧美性生交活xxxxxdddd | 国产精品无码永久免费888 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 久在线观看福利视频 | 亚洲va中文字幕无码久久不卡 | 无码纯肉视频在线观看 | 亚洲国产高清在线观看视频 | 国产成人综合美国十次 | 国产人妻大战黑人第1集 | 中文字幕人妻丝袜二区 | 色欲av亚洲一区无码少妇 | 男女猛烈xx00免费视频试看 | 少妇性l交大片欧洲热妇乱xxx | 又色又爽又黄的美女裸体网站 | 亚洲中文字幕无码一久久区 | 午夜肉伦伦影院 | 国产精品久久久av久久久 | 99久久亚洲精品无码毛片 | 狂野欧美激情性xxxx | 国产电影无码午夜在线播放 | 无码成人精品区在线观看 | 国产精品igao视频网 | 永久黄网站色视频免费直播 | 亚洲国产av精品一区二区蜜芽 | 国产一区二区三区精品视频 | 两性色午夜视频免费播放 | 欧美熟妇另类久久久久久多毛 | 国产色精品久久人妻 | 国产亚av手机在线观看 | 日韩亚洲欧美中文高清在线 | 国产精品第一国产精品 | 国产精品人人妻人人爽 | 中文字幕色婷婷在线视频 | 欧美日韩人成综合在线播放 | 男女猛烈xx00免费视频试看 | 亚洲а∨天堂久久精品2021 | 成人aaa片一区国产精品 | 成人无码精品一区二区三区 | 国产香蕉97碰碰久久人人 | 久久精品国产精品国产精品污 | 中文字幕 人妻熟女 | 国产精品无码成人午夜电影 | 国产精品无码一区二区桃花视频 | 桃花色综合影院 | 日韩精品无码一本二本三本色 | 亚洲精品一区三区三区在线观看 | 国产极品美女高潮无套在线观看 | 日本肉体xxxx裸交 | 国产午夜精品一区二区三区嫩草 | 国产成人一区二区三区别 | 中文精品无码中文字幕无码专区 | 娇妻被黑人粗大高潮白浆 | 国产精品亚洲lv粉色 | 好爽又高潮了毛片免费下载 | 久久精品国产99久久6动漫 | 亚洲呦女专区 | 99精品视频在线观看免费 | 国产凸凹视频一区二区 | 国产午夜视频在线观看 | 国产午夜无码精品免费看 | 人人妻人人澡人人爽欧美一区 | 在线 国产 欧美 亚洲 天堂 | 精品欧洲av无码一区二区三区 | 97se亚洲精品一区 | 狠狠躁日日躁夜夜躁2020 | 激情爆乳一区二区三区 | 99精品国产综合久久久久五月天 | 国产成人精品久久亚洲高清不卡 | 奇米综合四色77777久久 东京无码熟妇人妻av在线网址 | 国产农村妇女高潮大叫 | 国产精品无码mv在线观看 | 小鲜肉自慰网站xnxx | 日韩精品久久久肉伦网站 | 欧美激情一区二区三区成人 | 成 人 网 站国产免费观看 | 熟妇女人妻丰满少妇中文字幕 | 黑人粗大猛烈进出高潮视频 | 嫩b人妻精品一区二区三区 | 东京无码熟妇人妻av在线网址 | 在线欧美精品一区二区三区 | 久久久久亚洲精品中文字幕 | 久久亚洲日韩精品一区二区三区 | 在线a亚洲视频播放在线观看 | www国产精品内射老师 | 久久久成人毛片无码 | 欧美性黑人极品hd | 网友自拍区视频精品 | 俺去俺来也www色官网 | 亚洲aⅴ无码成人网站国产app | 特级做a爰片毛片免费69 | 人妻有码中文字幕在线 | 久久久无码中文字幕久... | 国产精品久久福利网站 | 免费播放一区二区三区 | 日日橹狠狠爱欧美视频 | 天天拍夜夜添久久精品 | 正在播放老肥熟妇露脸 | 精品aⅴ一区二区三区 | 精品人妻av区 | 亚洲aⅴ无码成人网站国产app | 性欧美大战久久久久久久 | 女人被爽到呻吟gif动态图视看 | 国内精品一区二区三区不卡 | 性啪啪chinese东北女人 | 中文字幕av无码一区二区三区电影 | 无码帝国www无码专区色综合 | 2020久久超碰国产精品最新 | 超碰97人人做人人爱少妇 | 国产亚洲人成a在线v网站 | 东京热一精品无码av | 免费国产黄网站在线观看 | 国产女主播喷水视频在线观看 | 亚洲娇小与黑人巨大交 | 久热国产vs视频在线观看 | www国产亚洲精品久久网站 | 日本一区二区三区免费播放 | 日本精品人妻无码免费大全 | 亚洲成av人片天堂网无码】 | 亚洲欧美国产精品久久 | 亚洲色偷偷偷综合网 | 一区二区传媒有限公司 | 性欧美videos高清精品 | 欧美熟妇另类久久久久久多毛 | 装睡被陌生人摸出水好爽 | 又色又爽又黄的美女裸体网站 | 日韩av无码中文无码电影 | 国产日产欧产精品精品app | 亚洲精品一区二区三区婷婷月 | 内射欧美老妇wbb | 秋霞特色aa大片 | 国产精品多人p群无码 | 国产成人精品必看 | 欧美乱妇无乱码大黄a片 | 中文字幕av伊人av无码av | 熟女少妇人妻中文字幕 | 国产人妻久久精品二区三区老狼 | 国产精品久久久 | 亚洲国产精品久久久天堂 | 99久久人妻精品免费一区 | 永久免费观看国产裸体美女 | 久久久国产精品无码免费专区 | 日韩人妻无码一区二区三区久久99 | 日本高清一区免费中文视频 | 久久久久久av无码免费看大片 | 少妇太爽了在线观看 | 日本一本二本三区免费 | 偷窥日本少妇撒尿chinese | 国产色在线 | 国产 | 欧洲vodafone精品性 | 日日干夜夜干 | 无码人妻出轨黑人中文字幕 | 久久午夜无码鲁丝片 | 精品 日韩 国产 欧美 视频 | 精品熟女少妇av免费观看 | 亚洲成a人片在线观看无码 | 在线天堂新版最新版在线8 | 精品无码国产自产拍在线观看蜜 | 人人爽人人爽人人片av亚洲 | 欧美变态另类xxxx | 宝宝好涨水快流出来免费视频 | 亚洲国产精品无码久久久久高潮 | 少妇无套内谢久久久久 | 国产成人人人97超碰超爽8 | 国产精品毛多多水多 | 女人和拘做爰正片视频 | 97久久精品无码一区二区 | √8天堂资源地址中文在线 | 国产激情艳情在线看视频 | 美女极度色诱视频国产 | 精品无码一区二区三区爱欲 | 性开放的女人aaa片 | 午夜福利电影 | 99在线 | 亚洲 | 成人无码影片精品久久久 | 日日摸夜夜摸狠狠摸婷婷 | 色综合久久久无码中文字幕 | 色情久久久av熟女人妻网站 | 久久久久亚洲精品男人的天堂 | 久久99精品国产麻豆 | 人妻插b视频一区二区三区 | 国产精品二区一区二区aⅴ污介绍 | 国产成人精品必看 | 国产精品成人av在线观看 | 久久97精品久久久久久久不卡 | 人妻aⅴ无码一区二区三区 | 国产成人精品优优av | 日日天日日夜日日摸 | 中文无码成人免费视频在线观看 | 欧美午夜特黄aaaaaa片 | 久久精品视频在线看15 | 久久亚洲国产成人精品性色 | 国产成人亚洲综合无码 | 国产精品久久国产精品99 | 亚洲欧美国产精品久久 | 亚洲 高清 成人 动漫 | 亚洲一区二区三区偷拍女厕 | 久久精品中文字幕大胸 | 日韩精品a片一区二区三区妖精 | 一本大道久久东京热无码av | 国产精品二区一区二区aⅴ污介绍 | 国产亚洲视频中文字幕97精品 | 国产精品高潮呻吟av久久4虎 | 精品人妻av区 | 中国女人内谢69xxxx | 成人无码精品1区2区3区免费看 | 午夜性刺激在线视频免费 | 领导边摸边吃奶边做爽在线观看 | 99er热精品视频 | 久久精品中文字幕大胸 | 99久久亚洲精品无码毛片 | 亚洲国产精品久久久久久 | 四虎国产精品免费久久 | 丰满人妻一区二区三区免费视频 | 亚洲伊人久久精品影院 | 亚洲国产精品无码久久久久高潮 | 久久99精品久久久久久动态图 | 国产精品鲁鲁鲁 | 亚洲成色www久久网站 | 精品国产av色一区二区深夜久久 | 一区二区三区高清视频一 | 又大又硬又爽免费视频 | 婷婷丁香五月天综合东京热 | 无码一区二区三区在线观看 | 精品一区二区三区波多野结衣 | 精品久久久无码人妻字幂 | 精品久久久久久人妻无码中文字幕 | 久久国产精品二国产精品 | 一二三四社区在线中文视频 | 露脸叫床粗话东北少妇 | 久久国产精品偷任你爽任你 | 国产在线精品一区二区三区直播 | 亚洲国产日韩a在线播放 | 超碰97人人做人人爱少妇 | 男人的天堂av网站 | 99久久精品午夜一区二区 | 亚洲精品美女久久久久久久 | 欧美日韩人成综合在线播放 | 在线视频网站www色 | 欧美 亚洲 国产 另类 | 国内精品久久毛片一区二区 | 国产熟妇高潮叫床视频播放 | 无遮挡国产高潮视频免费观看 | 老子影院午夜精品无码 | 亚洲国产精品一区二区第一页 | 国产成人精品久久亚洲高清不卡 | 日韩人妻无码一区二区三区久久99 | 中文字幕av无码一区二区三区电影 | 久精品国产欧美亚洲色aⅴ大片 | 黄网在线观看免费网站 | 欧美亚洲日韩国产人成在线播放 | 宝宝好涨水快流出来免费视频 | 老熟女重囗味hdxx69 | 无码人妻丰满熟妇区毛片18 | 久久综合激激的五月天 | 中文毛片无遮挡高清免费 | 久久精品国产99久久6动漫 | 国产真人无遮挡作爱免费视频 | 兔费看少妇性l交大片免费 | 狂野欧美性猛交免费视频 | 欧美成人午夜精品久久久 | 日韩精品久久久肉伦网站 | 色窝窝无码一区二区三区色欲 | 免费网站看v片在线18禁无码 | 欧美乱妇无乱码大黄a片 | 免费无码肉片在线观看 | 无码任你躁久久久久久久 | 久久久精品人妻久久影视 | 亚洲欧美日韩综合久久久 | 色综合天天综合狠狠爱 | 亚洲色偷偷男人的天堂 | 熟女俱乐部五十路六十路av | 天天爽夜夜爽夜夜爽 | 日日橹狠狠爱欧美视频 | 欧美变态另类xxxx | 日日躁夜夜躁狠狠躁 | 久久综合激激的五月天 | 麻豆精品国产精华精华液好用吗 | 蜜桃视频韩日免费播放 | 国产热a欧美热a在线视频 | 精品久久8x国产免费观看 | 丝袜人妻一区二区三区 | 国产办公室秘书无码精品99 | 国产成人综合在线女婷五月99播放 | 色偷偷人人澡人人爽人人模 | 亚洲精品久久久久久一区二区 | 久久午夜无码鲁丝片 | 天天躁日日躁狠狠躁免费麻豆 | 国产婷婷色一区二区三区在线 | 国产在线无码精品电影网 | 中国女人内谢69xxxx | 亚洲精品无码国产 | 嫩b人妻精品一区二区三区 | 97夜夜澡人人爽人人喊中国片 | 丁香花在线影院观看在线播放 | 少妇性l交大片 | 十八禁视频网站在线观看 | 国内丰满熟女出轨videos | 暴力强奷在线播放无码 | 亚洲欧洲日本综合aⅴ在线 | 性生交大片免费看l | 毛片内射-百度 | 99久久人妻精品免费二区 | 中文字幕色婷婷在线视频 | 亚洲国产午夜精品理论片 | 亚洲欧美国产精品专区久久 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 娇妻被黑人粗大高潮白浆 | 国产亚洲精品久久久ai换 | 国产精品久久久一区二区三区 | 波多野结衣乳巨码无在线观看 | 亚洲综合色区中文字幕 | 131美女爱做视频 | 欧洲欧美人成视频在线 | 中文字幕+乱码+中文字幕一区 | 四虎4hu永久免费 | 欧美自拍另类欧美综合图片区 | 免费无码一区二区三区蜜桃大 | 国产真人无遮挡作爱免费视频 | 国产精品.xx视频.xxtv | 国内老熟妇对白xxxxhd | 日韩在线不卡免费视频一区 | 欧美日韩一区二区三区自拍 | 欧美野外疯狂做受xxxx高潮 | 中文字幕日韩精品一区二区三区 | 欧美成人午夜精品久久久 | 国产精品久久久久久久影院 | 久久精品99久久香蕉国产色戒 | 国产精品美女久久久久av爽李琼 | 亚洲精品国偷拍自产在线麻豆 | 久久综合九色综合97网 | 亚洲va欧美va天堂v国产综合 | 人人妻人人澡人人爽人人精品 | 日日摸天天摸爽爽狠狠97 | 日韩精品无码一本二本三本色 | 色情久久久av熟女人妻网站 | 亚洲午夜福利在线观看 | 亚洲国产av精品一区二区蜜芽 | 亚洲精品国产精品乱码不卡 | 一个人免费观看的www视频 | 国产97人人超碰caoprom | 人妻天天爽夜夜爽一区二区 | 亚洲精品一区二区三区婷婷月 | 欧美兽交xxxx×视频 | 国产偷自视频区视频 | 久久国产36精品色熟妇 | 综合激情五月综合激情五月激情1 | 久久精品人妻少妇一区二区三区 | 内射老妇bbwx0c0ck | 亚洲熟妇色xxxxx欧美老妇 | 国产午夜精品一区二区三区嫩草 | 久久视频在线观看精品 | 成人女人看片免费视频放人 | 色 综合 欧美 亚洲 国产 | 六十路熟妇乱子伦 | 激情内射日本一区二区三区 | 国产精品无码一区二区三区不卡 | 白嫩日本少妇做爰 | 2019午夜福利不卡片在线 | 久青草影院在线观看国产 | 亚洲国产精品美女久久久久 | 老司机亚洲精品影院 | 国产精品无码一区二区桃花视频 | 又湿又紧又大又爽a视频国产 | 一本久久a久久精品vr综合 | 亚洲成a人片在线观看无码 | 亚洲精品国产第一综合99久久 | 久久久久人妻一区精品色欧美 | av无码电影一区二区三区 | 久久亚洲日韩精品一区二区三区 | av无码久久久久不卡免费网站 | 丰满少妇女裸体bbw | 国产av一区二区精品久久凹凸 | 精品久久综合1区2区3区激情 | 少妇性荡欲午夜性开放视频剧场 | 熟妇人妻无码xxx视频 | 亚洲精品鲁一鲁一区二区三区 | 99精品无人区乱码1区2区3区 | 国产亚洲视频中文字幕97精品 | 精品国产精品久久一区免费式 | 国产av一区二区精品久久凹凸 | 中文字幕+乱码+中文字幕一区 | 性啪啪chinese东北女人 | 色偷偷人人澡人人爽人人模 | 欧美人妻一区二区三区 | 老太婆性杂交欧美肥老太 | 国产办公室秘书无码精品99 | 澳门永久av免费网站 | 免费乱码人妻系列无码专区 | 乱码av麻豆丝袜熟女系列 | 亚洲中文字幕无码中文字在线 | 三上悠亚人妻中文字幕在线 | 久久久久成人片免费观看蜜芽 | 久久综合激激的五月天 | 国产熟妇高潮叫床视频播放 | 乌克兰少妇xxxx做受 | 国产免费无码一区二区视频 | 久久午夜夜伦鲁鲁片无码免费 | 日韩精品无码一区二区中文字幕 | 国产后入清纯学生妹 | 亚洲国产精品成人久久蜜臀 | 国产无遮挡又黄又爽又色 | 精品少妇爆乳无码av无码专区 | 国产精品免费大片 | 麻豆成人精品国产免费 | 九九在线中文字幕无码 | 国产免费久久久久久无码 | 永久免费观看国产裸体美女 | 国产午夜无码精品免费看 | 小泽玛莉亚一区二区视频在线 | 日韩av无码一区二区三区 | 丰满人妻翻云覆雨呻吟视频 | 精品久久久久久亚洲精品 | 亚欧洲精品在线视频免费观看 | 免费人成在线观看网站 | 亚洲成a人一区二区三区 | 爆乳一区二区三区无码 | 日韩少妇白浆无码系列 | 国产无套内射久久久国产 | 一本一道久久综合久久 | 国产精品对白交换视频 | 国产精品久久久久久无码 | 久久综合九色综合97网 | 亚洲国产日韩a在线播放 | 国产三级精品三级男人的天堂 | 亚洲日韩一区二区 | 亚洲性无码av中文字幕 | 精品国产福利一区二区 | 亚洲精品国产精品乱码视色 | 欧美日本免费一区二区三区 | 蜜桃视频插满18在线观看 | 女高中生第一次破苞av | 青青久在线视频免费观看 | 精品国产aⅴ无码一区二区 | 中文字幕人成乱码熟女app | 97精品国产97久久久久久免费 | 久久视频在线观看精品 | 日本欧美一区二区三区乱码 | 99久久99久久免费精品蜜桃 | 国产精品无码mv在线观看 | 亚洲精品久久久久久一区二区 | 欧美黑人乱大交 | 亚洲国产一区二区三区在线观看 | 97无码免费人妻超级碰碰夜夜 | 亚洲 激情 小说 另类 欧美 | 99re在线播放 | 精品国精品国产自在久国产87 | 巨爆乳无码视频在线观看 | 人妻与老人中文字幕 | 18黄暴禁片在线观看 | 99riav国产精品视频 | 特黄特色大片免费播放器图片 | √天堂中文官网8在线 | 99久久亚洲精品无码毛片 | 女高中生第一次破苞av | 国产九九九九九九九a片 | 高清国产亚洲精品自在久久 | 天堂无码人妻精品一区二区三区 | 妺妺窝人体色www在线小说 | 国精品人妻无码一区二区三区蜜柚 | 51国偷自产一区二区三区 | 麻豆国产丝袜白领秘书在线观看 | 影音先锋中文字幕无码 | 55夜色66夜色国产精品视频 | 亚洲 日韩 欧美 成人 在线观看 | 无码av免费一区二区三区试看 | 亚洲小说春色综合另类 | 亚洲综合久久一区二区 | 国产亚洲精品精品国产亚洲综合 | 夜夜高潮次次欢爽av女 | 久久久精品国产sm最大网站 | 欧美人与物videos另类 | 97久久国产亚洲精品超碰热 | 国产午夜手机精彩视频 | 国产国产精品人在线视 | 亚洲无人区午夜福利码高清完整版 | 一二三四在线观看免费视频 | 婷婷五月综合激情中文字幕 | 学生妹亚洲一区二区 | 国产成人精品久久亚洲高清不卡 | 日日摸日日碰夜夜爽av | 国产亚洲精品久久久久久 | 精品人妻中文字幕有码在线 | 红桃av一区二区三区在线无码av | 日韩人妻无码一区二区三区久久99 | 无码任你躁久久久久久久 | 欧美人与禽zoz0性伦交 | 成人一在线视频日韩国产 | 亚洲综合无码一区二区三区 | 日韩精品一区二区av在线 | 黑人巨大精品欧美黑寡妇 | 精品欧洲av无码一区二区三区 | 亚洲人成网站免费播放 | 中文字幕乱码人妻无码久久 | 中文字幕av无码一区二区三区电影 | 无码免费一区二区三区 | 色妞www精品免费视频 | 中文字幕人成乱码熟女app | 国产国语老龄妇女a片 | 国产精品久久久久久亚洲影视内衣 | 人人妻人人澡人人爽欧美一区九九 | 秋霞特色aa大片 | 免费人成在线观看网站 | 无码人妻丰满熟妇区五十路百度 | 欧美熟妇另类久久久久久多毛 | 老头边吃奶边弄进去呻吟 | 欧美性猛交内射兽交老熟妇 | 丰满岳乱妇在线观看中字无码 | 国产熟女一区二区三区四区五区 | 成人亚洲精品久久久久 | 免费播放一区二区三区 | 亚洲成av人综合在线观看 | 亚洲日韩一区二区 | 精品国精品国产自在久国产87 | 亚洲狠狠色丁香婷婷综合 | 熟妇人妻中文av无码 | 精品久久久中文字幕人妻 | 国产成人精品无码播放 | 久久午夜无码鲁丝片 | 成人av无码一区二区三区 | 国产激情无码一区二区 | 日韩欧美群交p片內射中文 | 欧美日本日韩 | 日日橹狠狠爱欧美视频 | 亚洲日韩中文字幕在线播放 | 国产精品手机免费 | 天天摸天天碰天天添 | 久久精品中文字幕大胸 | 亚洲乱码日产精品bd | 激情爆乳一区二区三区 | 正在播放老肥熟妇露脸 | 中文字幕 人妻熟女 | 免费无码肉片在线观看 | 亚洲熟女一区二区三区 | 日日摸日日碰夜夜爽av | 男女超爽视频免费播放 | 日韩视频 中文字幕 视频一区 | 精品久久久久久人妻无码中文字幕 | 国产在线aaa片一区二区99 | 国内精品久久毛片一区二区 | 久久天天躁狠狠躁夜夜免费观看 | 伦伦影院午夜理论片 | 久久99精品国产麻豆蜜芽 | 亚洲娇小与黑人巨大交 | 51国偷自产一区二区三区 | 国产精品igao视频网 | 国产两女互慰高潮视频在线观看 | 日韩精品成人一区二区三区 | 天干天干啦夜天干天2017 | 成人试看120秒体验区 | 国产偷自视频区视频 | 粉嫩少妇内射浓精videos | 午夜性刺激在线视频免费 | 黑人玩弄人妻中文在线 | 青青草原综合久久大伊人精品 | 国产欧美精品一区二区三区 | 国产成人精品一区二区在线小狼 | 免费国产黄网站在线观看 | 亚洲精品鲁一鲁一区二区三区 | 又黄又爽又色的视频 | 国产小呦泬泬99精品 | 老司机亚洲精品影院无码 | 狠狠cao日日穞夜夜穞av | 九月婷婷人人澡人人添人人爽 | 伊在人天堂亚洲香蕉精品区 | 亚洲一区二区三区国产精华液 | 国产又爽又黄又刺激的视频 | 无码av免费一区二区三区试看 | 成人aaa片一区国产精品 | 老司机亚洲精品影院 | 国产特级毛片aaaaaa高潮流水 | 国产免费无码一区二区视频 | 国产精品18久久久久久麻辣 | 99久久久无码国产aaa精品 | 国产精品第一区揄拍无码 | 黑人大群体交免费视频 | 国产小呦泬泬99精品 | 欧美日本免费一区二区三区 | 成在人线av无码免观看麻豆 | 99久久久无码国产aaa精品 | 狂野欧美性猛xxxx乱大交 | 日韩在线不卡免费视频一区 | 真人与拘做受免费视频 | 又大又紧又粉嫩18p少妇 | 国产人成高清在线视频99最全资源 | www一区二区www免费 | 少妇激情av一区二区 | 亚洲日韩中文字幕在线播放 | 免费无码一区二区三区蜜桃大 | 天天躁日日躁狠狠躁免费麻豆 | 精品人妻中文字幕有码在线 | 国产后入清纯学生妹 | 99久久人妻精品免费二区 | 99久久精品午夜一区二区 | 在线看片无码永久免费视频 | 日日鲁鲁鲁夜夜爽爽狠狠 | 欧美老人巨大xxxx做受 | 欧美自拍另类欧美综合图片区 | 午夜精品久久久久久久久 | 樱花草在线社区www | 未满成年国产在线观看 | 国产综合在线观看 | 亚洲成av人片在线观看无码不卡 | 日本爽爽爽爽爽爽在线观看免 | 色综合天天综合狠狠爱 | 黄网在线观看免费网站 | 我要看www免费看插插视频 | 波多野结衣av一区二区全免费观看 | 中文亚洲成a人片在线观看 | 国产麻豆精品一区二区三区v视界 | 国产乱码精品一品二品 | 精品国产国产综合精品 | 无码吃奶揉捏奶头高潮视频 | 亚洲色在线无码国产精品不卡 | 久久亚洲精品中文字幕无男同 | 丰腴饱满的极品熟妇 | 久久99热只有频精品8 | 国产高潮视频在线观看 | 国产精品久久久午夜夜伦鲁鲁 | 黑人大群体交免费视频 | 天海翼激烈高潮到腰振不止 | 国产人妻人伦精品1国产丝袜 | 宝宝好涨水快流出来免费视频 | 国产xxx69麻豆国语对白 | 日韩亚洲欧美精品综合 | 国产精品a成v人在线播放 | 国产精品鲁鲁鲁 | 亚洲中文无码av永久不收费 | 一区二区三区乱码在线 | 欧洲 | 少妇性荡欲午夜性开放视频剧场 | 极品尤物被啪到呻吟喷水 | 久久成人a毛片免费观看网站 | 亚洲人成网站免费播放 | 欧美三级不卡在线观看 | 又大又紧又粉嫩18p少妇 | 日本饥渴人妻欲求不满 | 水蜜桃亚洲一二三四在线 | 99久久精品日本一区二区免费 | 国产精品对白交换视频 | 最近的中文字幕在线看视频 | 女人被男人爽到呻吟的视频 | 一本色道久久综合狠狠躁 | 欧美freesex黑人又粗又大 | 国产综合色产在线精品 | 国产精品第一区揄拍无码 | 荫蒂被男人添的好舒服爽免费视频 | 亚洲色偷偷男人的天堂 | 狠狠色噜噜狠狠狠7777奇米 | 中文久久乱码一区二区 | 蜜桃臀无码内射一区二区三区 | 亚洲毛片av日韩av无码 | 中文字幕无码乱人伦 | 欧美 日韩 人妻 高清 中文 | 精品一区二区不卡无码av | aⅴ亚洲 日韩 色 图网站 播放 | 丰满少妇高潮惨叫视频 | 国产内射爽爽大片视频社区在线 | 日日噜噜噜噜夜夜爽亚洲精品 | 沈阳熟女露脸对白视频 | 日产精品高潮呻吟av久久 | 丰满人妻翻云覆雨呻吟视频 | 在线观看欧美一区二区三区 | av无码不卡在线观看免费 | 女人和拘做爰正片视频 | 精品乱子伦一区二区三区 | 精品久久久中文字幕人妻 | 天下第一社区视频www日本 | 狂野欧美激情性xxxx | 综合激情五月综合激情五月激情1 | 亚洲成av人在线观看网址 | 少妇无码av无码专区在线观看 | 国产成人精品视频ⅴa片软件竹菊 | 黑人巨大精品欧美黑寡妇 | 成人动漫在线观看 | 55夜色66夜色国产精品视频 | 日韩人妻无码中文字幕视频 | 亚洲国产欧美在线成人 | 国内精品久久毛片一区二区 | 国产性猛交╳xxx乱大交 国产精品久久久久久无码 欧洲欧美人成视频在线 | 亚洲呦女专区 | 99久久亚洲精品无码毛片 | 欧美阿v高清资源不卡在线播放 | 狠狠cao日日穞夜夜穞av | 国产另类ts人妖一区二区 | 国产特级毛片aaaaaaa高清 | 久久天天躁狠狠躁夜夜免费观看 | 无码人妻av免费一区二区三区 | 国产成人亚洲综合无码 | 国产无遮挡又黄又爽免费视频 | a片在线免费观看 | 日韩亚洲欧美中文高清在线 | 久久久精品欧美一区二区免费 | 少妇无码一区二区二三区 | 色五月丁香五月综合五月 | 装睡被陌生人摸出水好爽 | 2020久久超碰国产精品最新 | 日本在线高清不卡免费播放 | 亚洲男女内射在线播放 | 熟女少妇人妻中文字幕 | 国产卡一卡二卡三 | 精品久久8x国产免费观看 | 色综合视频一区二区三区 | 成人无码精品1区2区3区免费看 | 国产精品毛多多水多 | 中文字幕无线码 | 色欲久久久天天天综合网精品 | 国产97色在线 | 免 | 国产午夜无码视频在线观看 | 野狼第一精品社区 | 熟妇人妻无乱码中文字幕 | 伊人久久大香线焦av综合影院 | 国产另类ts人妖一区二区 | 天天摸天天碰天天添 | 国产无遮挡又黄又爽免费视频 | 亚洲精品国偷拍自产在线观看蜜桃 | 欧美国产日产一区二区 | 国产亚洲精品久久久久久大师 | 最近的中文字幕在线看视频 | 无码国产色欲xxxxx视频 | 欧美35页视频在线观看 | 亚洲日韩av一区二区三区中文 | 高清无码午夜福利视频 | 装睡被陌生人摸出水好爽 | 男人扒开女人内裤强吻桶进去 | 无码国模国产在线观看 | 久久无码中文字幕免费影院蜜桃 | 国产艳妇av在线观看果冻传媒 | 免费观看又污又黄的网站 | 中文字幕无码人妻少妇免费 | 奇米影视7777久久精品人人爽 | 一本一道久久综合久久 | 99久久人妻精品免费二区 | 亚洲一区二区观看播放 | 国产成人综合美国十次 | 久久zyz资源站无码中文动漫 | 天堂а√在线中文在线 | 少妇无码吹潮 | 美女黄网站人色视频免费国产 | 亚洲精品www久久久 | 久激情内射婷内射蜜桃人妖 | 亚洲乱码日产精品bd | 亚洲国产午夜精品理论片 | 国产激情一区二区三区 | 亚洲精品一区二区三区婷婷月 | 两性色午夜视频免费播放 | 欧美阿v高清资源不卡在线播放 | 乱人伦人妻中文字幕无码 | 小sao货水好多真紧h无码视频 | 成人性做爰aaa片免费看不忠 | 成人综合网亚洲伊人 | 少妇一晚三次一区二区三区 | 亚洲色欲色欲欲www在线 | 在教室伦流澡到高潮hnp视频 | 国产又爽又猛又粗的视频a片 | а天堂中文在线官网 | 97精品人妻一区二区三区香蕉 | 中文字幕 人妻熟女 | 久久无码中文字幕免费影院蜜桃 | 亚洲精品成人av在线 | 亚洲va欧美va天堂v国产综合 | 久久99精品久久久久婷婷 | 中文亚洲成a人片在线观看 | 日日摸天天摸爽爽狠狠97 | 日韩人妻少妇一区二区三区 | 精品国产一区av天美传媒 | 亚洲精品欧美二区三区中文字幕 | 色噜噜亚洲男人的天堂 | 久久国产精品二国产精品 | 天下第一社区视频www日本 | 曰本女人与公拘交酡免费视频 | 白嫩日本少妇做爰 | 亚洲乱码中文字幕在线 | 亚洲自偷精品视频自拍 | 日产精品高潮呻吟av久久 | 国产精品美女久久久久av爽李琼 | 亚洲无人区午夜福利码高清完整版 | 乱人伦中文视频在线观看 | 娇妻被黑人粗大高潮白浆 | 久久伊人色av天堂九九小黄鸭 | 兔费看少妇性l交大片免费 | 亚洲精品午夜国产va久久成人 | 国产精品亚洲专区无码不卡 | 无码帝国www无码专区色综合 | 久久精品视频在线看15 | 熟女俱乐部五十路六十路av | 女人被爽到呻吟gif动态图视看 | 西西人体www44rt大胆高清 | 最新国产乱人伦偷精品免费网站 | 国产99久久精品一区二区 | 特级做a爰片毛片免费69 | 欧美日韩人成综合在线播放 | 97久久国产亚洲精品超碰热 | 国产成人无码av在线影院 | 亚洲经典千人经典日产 | 久久国内精品自在自线 | 麻花豆传媒剧国产免费mv在线 | 成在人线av无码免观看麻豆 | 成在人线av无码免费 | 国产精品无码一区二区三区不卡 | 无码纯肉视频在线观看 | 18精品久久久无码午夜福利 | 高潮毛片无遮挡高清免费视频 | 无套内谢老熟女 | 亚洲精品一区国产 | 精品国偷自产在线视频 | 色欲综合久久中文字幕网 | 免费无码肉片在线观看 | 亚洲一区二区三区香蕉 | 波多野结衣高清一区二区三区 | 牲交欧美兽交欧美 | 伊人久久大香线蕉亚洲 | 久久天天躁夜夜躁狠狠 | 国产亚洲精品久久久久久 | 成人综合网亚洲伊人 | 中文字幕乱妇无码av在线 | 久久99精品久久久久婷婷 | 亚洲aⅴ无码成人网站国产app | 无码国模国产在线观看 | 午夜福利一区二区三区在线观看 | 久久综合激激的五月天 | 久久99精品国产.久久久久 | 国产人妻精品一区二区三区不卡 | 国产真实伦对白全集 | 免费无码一区二区三区蜜桃大 | 欧美国产亚洲日韩在线二区 | 国产午夜无码精品免费看 | 久久久精品欧美一区二区免费 | 国产乱子伦视频在线播放 | 啦啦啦www在线观看免费视频 | 欧美日韩色另类综合 | 日本www一道久久久免费榴莲 | 中文久久乱码一区二区 | 亚洲精品美女久久久久久久 | 动漫av网站免费观看 | 亚洲色在线无码国产精品不卡 | 欧美人与禽zoz0性伦交 | 日本一本二本三区免费 | 日韩亚洲欧美中文高清在线 | 久久综合激激的五月天 | 对白脏话肉麻粗话av | 377p欧洲日本亚洲大胆 | 亚洲综合伊人久久大杳蕉 | 国产绳艺sm调教室论坛 | 丰腴饱满的极品熟妇 | 成熟女人特级毛片www免费 | 成在人线av无码免观看麻豆 | 88国产精品欧美一区二区三区 | 久久亚洲国产成人精品性色 | 久久精品国产亚洲精品 | 国产精品理论片在线观看 |