久久精品国产精品国产精品污,男人扒开添女人下部免费视频,一级国产69式性姿势免费视频,夜鲁夜鲁很鲁在线视频 视频,欧美丰满少妇一区二区三区,国产偷国产偷亚洲高清人乐享,中文 在线 日韩 亚洲 欧美,熟妇人妻无乱码中文字幕真矢织江,一区二区三区人妻制服国产

歡迎訪問(wèn) 生活随笔!

生活随笔

當(dāng)前位置: 首頁(yè) > 运维知识 > linux >内容正文

linux

鸟哥的Linux私房菜(基础篇)- 第十五章、磁碟配额(Quota)与进阶文件系统管理

發(fā)布時(shí)間:2025/3/21 linux 27 豆豆
生活随笔 收集整理的這篇文章主要介紹了 鸟哥的Linux私房菜(基础篇)- 第十五章、磁碟配额(Quota)与进阶文件系统管理 小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
第十五章、磁碟配額(Quota)與進(jìn)階文件系統(tǒng)管理
最近升級(jí)日期:2009/09/10
如果您的 Linux 服務(wù)器有多個(gè)用戶經(jīng)常存取數(shù)據(jù)時(shí),為了維護(hù)所有使用者在硬盤容量的公平使用,磁碟配額 (Quota) 就是一項(xiàng)非常有用的工具!另外,如果你的用戶常常抱怨磁碟容量不夠用,那么更進(jìn)階的文件系統(tǒng)就得要學(xué)習(xí)學(xué)習(xí)。本章我們會(huì)介紹磁盤陣列 (RAID) 及邏輯卷軸文件系統(tǒng) (LVM),這些工具都可以幫助你管理與維護(hù)使用者可用的磁碟容量喔!

1. 磁碟配額 (Quota) 的應(yīng)用與實(shí)作
  1.1 什么是 Quota:一般用途, 限制, 規(guī)范 (inode/block, soft/hard, grace time)
  1.2 一個(gè) Quota 的實(shí)作范例
  1.3 實(shí)作 Quota 流程-1:文件系統(tǒng)支持 (/etc/fstab, /etc/mtab)
  1.4 實(shí)作 Quota 流程-2:創(chuàng)建 quota 記錄檔 (quotacheck)
  1.5 實(shí)作 Quota 流程-3:啟動(dòng)、關(guān)閉與限制值配置 (quotaon, quotaoff, edquota)
  1.6 實(shí)作 Quota 流程-4:Quota 限制值的報(bào)表 (quota,repquota)
  1.7 實(shí)作 Quota 流程-5:測(cè)試與管理 (測(cè)試,warnquota, setquota)
  1.8 不更動(dòng)既有系統(tǒng)的 Quota 實(shí)例
2. 軟件磁盤陣列 (Software RAID)
  2.1 什么是 RAID: RAID-0, RAID-1,RAID0+1, RAID-5, Spare disk
  2.2 software, hardware RAID
  2.3 軟件磁盤陣列的配置: mdadm --create
  2.4 模擬 RAID 錯(cuò)誤的救援模式: mdadm --manage
  2.5 啟動(dòng)自動(dòng)啟動(dòng) RAID 并自動(dòng)掛載
  2.6 關(guān)閉軟件 RAID(重要!)
3. 邏輯卷軸管理員 (Logical Volume Manager)
  3.1 什么是 LVM: PV, PE, VG, LV 的意義
  3.2 LVM 實(shí)作流程: PV 階段, VG 階段,LV 階段, 文件系統(tǒng)階段
  3.3 放大 LV 容量: resize2fs
  3.4 縮小 LV 容量
  3.5 LVM 的系統(tǒng)快照: 創(chuàng)建, 還原,用於測(cè)試環(huán)境
  3.6 LVM 相關(guān)命令匯整與 LVM 的關(guān)閉
4. 重點(diǎn)回顧
5. 本章習(xí)題
6. 參考數(shù)據(jù)與延伸閱讀
7. 針對(duì)本文的建議:http://phorum.vbird.org/viewtopic.php?t=23888

磁碟配額 (Quota) 的應(yīng)用與實(shí)作

Quota 這個(gè)玩意兒就字面上的意思來(lái)看,就是有多少『限額』的意思啦!如果是用在零用錢上面,就是類似『有多少零用錢一個(gè)月』的意思之類的。如果是在計(jì)算機(jī)主機(jī)的磁碟使用量上呢?以Linux 來(lái)說(shuō),就是有多少容量限制的意思羅。我們可以使用 quota 來(lái)讓磁碟的容量使用較為公平,底下我們會(huì)介紹什么是 quota ,然后以一個(gè)完整的范例來(lái)介紹 quota 的實(shí)作喔!


什么是 Quota

在 Linux 系統(tǒng)中,由於是多人多工的環(huán)境,所以會(huì)有多人共同使用一個(gè)磁盤空間的情況發(fā)生,如果其中有少數(shù)幾個(gè)使用者大量的占掉了磁盤空間的話,那勢(shì)必壓縮其他使用者的使用權(quán)力!因此管理員應(yīng)該適當(dāng)?shù)南拗朴脖P的容量給使用者,以妥善的分配系統(tǒng)資源!避免有人抗議呀!

舉例來(lái)說(shuō),我們使用者的默認(rèn)家目錄都是在 /home 底下,如果 /home 是個(gè)獨(dú)立的 partition ,假設(shè)這個(gè)分割槽有 10G 好了,而 /home 底下共有 30 個(gè)帳號(hào),也就是說(shuō),每個(gè)使用者平均應(yīng)該會(huì)有 333MB 的空間才對(duì)。偏偏有個(gè)使用者在他的家目錄底下塞了好多只影片,占掉了 8GB 的空間,想想看,是否造成其他正常使用者的不便呢?如果想要讓磁碟的容量公平的分配,這個(gè)時(shí)候就得要靠 quota 的幫忙羅!


  • Quota 的一般用途

quota 比較常使用的幾個(gè)情況是:

  • 針對(duì) WWW server ,例如:每個(gè)人的網(wǎng)頁(yè)空間的容量限制!
  • 針對(duì) mail server,例如:每個(gè)人的郵件空間限制。
  • 針對(duì) file server,例如:每個(gè)人最大的可用網(wǎng)絡(luò)磁盤空間 (教學(xué)環(huán)境中最常見(jiàn)!)

上頭講的是針對(duì)網(wǎng)絡(luò)服務(wù)的設(shè)計(jì),如果是針對(duì) Linux 系統(tǒng)主機(jī)上面的配置那么使用的方向有底下這一些:

  • 限制某一群組所能使用的最大磁碟配額 (使用群組限制)
    你可以將你的主機(jī)上的使用者分門別類,有點(diǎn)像是目前很流行的付費(fèi)與免付費(fèi)會(huì)員制的情況,你比較喜好的那一群的使用配額就可以給高一些!呵呵! ^_^...

  • 限制某一使用者的最大磁碟配額 (使用使用者限制)
    在限制了群組之后,你也可以再繼續(xù)針對(duì)個(gè)人來(lái)進(jìn)行限制,使得同一群組之下還可以有更公平的分配!

  • 以 Link 的方式,來(lái)使郵件可以作為限制的配額 (更改 /var/spool/mail 這個(gè)路徑)
    如果是分為付費(fèi)與免付費(fèi)會(huì)員的『郵件主機(jī)系統(tǒng)』,是否需要重新再規(guī)劃一個(gè)硬盤呢?也不需要啦!直接使用 Link 的方式指向 /home (或者其他已經(jīng)做好的 quota 磁碟) 就可以啦!這通常是用在原本磁盤分區(qū)的規(guī)劃不好,但是卻又不想要更動(dòng)原有主機(jī)架構(gòu)的情況中啊!

大概有這些實(shí)際的用途啦!


  • Quota 的使用限制

雖然 quota 很好用,但是使用上還是有些限制要先了解的:

  • 僅能針對(duì)整個(gè) filesystem:
    quota 實(shí)際在運(yùn)行的時(shí)候,是針對(duì)『整個(gè) filesystem』進(jìn)行限制的,例如:如果你的 /dev/sda5 是掛載在 /home 底下,那么在 /home 底下的所有目錄都會(huì)受到限制!

  • 核心必須支持 quota :
    Linux 核心必須有支持 quota 這個(gè)功能才行:如果你是使用 CentOS 5.x 的默認(rèn)核心,嘿嘿!那恭喜你了,你的系統(tǒng)已經(jīng)默認(rèn)有支持 quota 這個(gè)功能羅!如果你是自行編譯核心的,那么請(qǐng)?zhí)貏e留意你是否已經(jīng)『真的』開(kāi)啟了 quota 這個(gè)功能?否則底下的功夫?qū)⑷慷家暈椤喊坠ぁ弧?br />
  • Quota 的記錄檔:
    目前新版的 Linux distributions 使用的是 Kernel 2.6.xx 的核心版本,這個(gè)核心版本支持新的 quota 模塊,使用的默認(rèn)文件 (aquota.user, aquota.group )將不同於舊版本的 quota.user, quota.group !(多了一個(gè) a 呦!) 而由舊版本的 quota 可以藉由 convertquota 這個(gè)程序來(lái)轉(zhuǎn)換呢!

  • 只對(duì)一般身份使用者有效:
    這就有趣了!并不是所有在 Linux 上面的帳號(hào)都可以配置 quota 呢,例如 root 就不能配置 quota ,因?yàn)檎麄€(gè)系統(tǒng)所有的數(shù)據(jù)幾乎都是他的啊! ^_^

所以羅,你不能針對(duì)『某個(gè)目錄』來(lái)進(jìn)行 Quota 的設(shè)計(jì),但你可以針對(duì)『某個(gè)文件系統(tǒng) (filesystem) 』來(lái)配置。如果不明白目錄與掛載點(diǎn)還有文件系統(tǒng)的關(guān)系,請(qǐng)回到第八章去瞧瞧再回來(lái)!


  • Quota 的規(guī)范配置項(xiàng)目:

quota 這玩意兒針對(duì)整個(gè) filesystem 的限制項(xiàng)目主要分為底下幾個(gè)部分:

  • 容量限制或文件數(shù)量限制 (block 或 inode):

    我們?cè)诘诎苏抡劦轿募到y(tǒng)中,說(shuō)到文件系統(tǒng)主要規(guī)劃為存放屬性的 inode 與實(shí)際文件數(shù)據(jù)的 block 區(qū)塊,Quota 既然是管理文件系統(tǒng),所以當(dāng)然也可以管理 inode 或 block 羅!這兩個(gè)管理的功能為:

    • 限制 inode 用量:可以管理使用者可以創(chuàng)建的『文件數(shù)量』;
    • 限制 block 用量:管理使用者磁碟容量的限制,較常見(jiàn)為這種方式。

  • 柔性勸導(dǎo)與硬性規(guī)定 (soft/hard):

    既然是規(guī)范,當(dāng)然就有限制值。不管是 inode/block ,限制值都有兩個(gè),分別是 soft 與 hard。通常 hard 限制值要比 soft 還要高。舉例來(lái)說(shuō),若限制項(xiàng)目為 block ,可以限制 hard 為 500MBytes 而 soft為 400MBytes。這兩個(gè)限值的意義為:

    • hard:表示使用者的用量絕對(duì)不會(huì)超過(guò)這個(gè)限制值,以上面的配置為例,使用者所能使用的磁碟容量絕對(duì)不會(huì)超過(guò) 500Mbytes ,若超過(guò)這個(gè)值則系統(tǒng)會(huì)鎖住該用戶的磁碟使用權(quán);

    • soft:表示使用者在低於 soft 限值時(shí) (此例中為 400Mbytes),可以正常使用磁碟,但若超過(guò) soft 且低於 hard 的限值 (介於 400~500Mbytes 之間時(shí)),每次使用者登陸系統(tǒng)時(shí),系統(tǒng)會(huì)主動(dòng)發(fā)出磁碟即將爆滿的警告信息,且會(huì)給予一個(gè)寬限時(shí)間 (grace time)。不過(guò),若使用者在寬限時(shí)間倒數(shù)期間就將容量再次降低於 soft 限值之下,則寬限時(shí)間會(huì)停止。

  • 會(huì)倒數(shù)計(jì)時(shí)的寬限時(shí)間 (grace time):

    剛剛上面就談到寬限時(shí)間了!這個(gè)寬限時(shí)間只有在使用者的磁碟用量介於 soft 到 hard 之間時(shí),才會(huì)出現(xiàn)且會(huì)倒數(shù)的一個(gè)咚咚!由於達(dá)到 hard 限值時(shí),使用者的磁碟使用權(quán)可能會(huì)被鎖住。為了擔(dān)心使用者沒(méi)有注意到這個(gè)磁碟配額的問(wèn)題,因此設(shè)計(jì)了 soft 。當(dāng)你的磁碟用量即將到達(dá) hard 且超過(guò) soft 時(shí),系統(tǒng)會(huì)給予警告,但也會(huì)給一段時(shí)間讓使用者自行管理磁碟。一般默認(rèn)的寬限時(shí)間為七天,如果七天內(nèi)你都不進(jìn)行任何磁碟管理,那么 soft 限制值會(huì)即刻取代 hard 限值來(lái)作為 quota 的限制

    以上面配置的例子來(lái)說(shuō),假設(shè)你的容量高達(dá) 450MBytes 了,那七天的寬限時(shí)間就會(huì)開(kāi)始倒數(shù),若七天內(nèi)你都不進(jìn)行任何刪除文件的動(dòng)作來(lái)替你的磁碟用量瘦身,那么七天后你的磁碟最大用量將變成 400MBytes (那個(gè) soft 的限制值),此時(shí)你的磁碟使用權(quán)就會(huì)被鎖住而無(wú)法新增文件了。

整個(gè) soft, hard, grace time 的相關(guān)性我們可以用底下的圖示來(lái)說(shuō)明:


圖 1.1.1、soft, hard, grace time 的相關(guān)性

圖中的長(zhǎng)條圖為使用者的磁碟容量,soft/hard 分別是限制值。只要小於 400M 就一切 OK ,若高於 soft 就出現(xiàn) grace time 并倒數(shù)且等待使用者自行處理,若到達(dá) hard 的限制值,那我們就搬張小板凳等著看好戲啦!嘿嘿!^_^!這樣圖示有清楚一點(diǎn)了嗎?


一個(gè) Quota 實(shí)作范例

坐而言不如起而行啊,所以這里我們使用一個(gè)范例來(lái)設(shè)計(jì)一下如何處理 Quota 的配置流程。

  • 目的與帳號(hào):現(xiàn)在我想要讓我的專題生五個(gè)為一組,這五個(gè)人的帳號(hào)分別是 myquota1, myquota2, myquota3, myquota4, myquota5,這五個(gè)用戶的口令都是 password ,且這五個(gè)用戶所屬的初始群組都是 myquotagrp 。其他的帳號(hào)屬性則使用默認(rèn)值。

  • 帳號(hào)的磁碟容量限制值:我想讓這五個(gè)用戶都能夠取得 300MBytes 的磁碟使用量(hard),文件數(shù)量則不予限制。此外,只要容量使用率超過(guò) 250MBytes ,就予以警告 (soft)。

  • 群組的限額:由於我的系統(tǒng)里面還有其他用戶存在,因此我僅承認(rèn) myquotagrp 這個(gè)群組最多僅能使用 1GBytes 的容量。這也就是說(shuō),如果 myquota1, myquota2, myquota3 都用了 280MBytes 的容量了,那么其他兩人最多只能使用(1000MB - 280x3 = 160MB) 的磁碟容量羅!這就是使用者與群組同時(shí)配置時(shí)會(huì)產(chǎn)生的后果。

  • 寬限時(shí)間的限制:最后,我希望每個(gè)使用者在超過(guò) soft 限制值之后,都還能夠有 14 天的寬限時(shí)間。

好了,那你怎么規(guī)范帳號(hào)以及相關(guān)的 Quota 配置呢?首先,在這個(gè)小節(jié)我們先來(lái)將帳號(hào)相關(guān)的屬性與參數(shù)搞定再說(shuō)吧!

# 制作帳號(hào)環(huán)境時(shí),由於有五個(gè)帳號(hào),因此鳥哥使用 script 來(lái)創(chuàng)建環(huán)境! [root@www ~]# vi addaccount.sh #!/bin/bash # 使用 script 來(lái)創(chuàng)建實(shí)驗(yàn) quota 所需的環(huán)境 groupadd myquotagrp for username in myquota1 myquota2 myquota3 myquota4 myquota5 douseradd -g myquotagrp $usernameecho "password" | passwd --stdin $username done[root@www ~]# sh addaccount.sh

接下來(lái),就讓我們來(lái)實(shí)作 Quota 的練習(xí)吧!


實(shí)作 Quota 流程-1:文件系統(tǒng)支持

前面我們就談到,要使用 Quota 必須要核心與文件系統(tǒng)支持才行!假設(shè)你已經(jīng)使用了默認(rèn)支持 Quota 的核心,那么接下來(lái)就是要啟動(dòng)文件系統(tǒng)的支持啦!不過(guò),由於 Quota 僅針對(duì)整個(gè)文件系統(tǒng)來(lái)進(jìn)行規(guī)劃,所以我們得先查一下,/home 是否是個(gè)獨(dú)立的 filesystem 呢?

[root@www ~]# df -h /home Filesystem Size Used Avail Use% Mounted on /dev/hda3 4.8G 740M 3.8G 17% /home <==鳥哥主機(jī)的 /home 確實(shí)是獨(dú)立的![root@www ~]# mount | grep home /dev/hda3 on /home type ext3 (rw)

從上面的數(shù)據(jù)來(lái)看,鳥哥這部主機(jī)的 /home 確實(shí)是獨(dú)立的 filesystem,因此可以直接限制 /dev/hda3 。如果你的系統(tǒng)的 /home 并非獨(dú)立的文件系統(tǒng),那么可能就得要針對(duì)根目錄 (/) 來(lái)規(guī)范了!不過(guò),不太建議在根目錄配置 Quota。此外,由於 VFAT 文件系統(tǒng)并不支持 Linux Quota 功能,所以我們得要使用 mount 查詢一下 /home 的文件系統(tǒng)為何?看起來(lái)是 Linux 傳統(tǒng)的 ext2/ext3 ,這種文件系統(tǒng)肯定有支持 Quota 啦!沒(méi)問(wèn)題!

如果只是想要在這次啟動(dòng)中實(shí)驗(yàn) Quota ,那么可以使用如下的方式來(lái)手動(dòng)加入 quota 的支持:

[root@www ~]# mount -o remount,usrquota,grpquota /home [root@www ~]# mount | grep home /dev/hda3 on /home type ext3 (rw,usrquota,grpquota) # 重點(diǎn)就在於 usrquota, grpquota !注意寫法!

事實(shí)上,當(dāng)你重新掛載時(shí),系統(tǒng)會(huì)同步升級(jí) /etc/mtab 這個(gè)文件,所以你必須要確定 /etc/mtab 已經(jīng)加入 usrquota, grpquota 的支持到你所想要配置的文件系統(tǒng)中。另外也要特別強(qiáng)調(diào),使用者與群組的 quota 文件系統(tǒng)支持參數(shù)分別是:usrquota, grpquota!千萬(wàn)不要寫錯(cuò)了!這一點(diǎn)非常多初接觸 Quota 的朋友常常搞錯(cuò)。

不過(guò)手動(dòng)掛載的數(shù)據(jù)在下次重新掛載就會(huì)消失,因此最好寫入配置檔中啊!在鳥哥這部主機(jī)的案例中,我可以直接修改 /etc/fstab 成為底下這個(gè)樣子:

[root@www ~]# vi /etc/fstab LABEL=/home /home ext3 defaults,usrquota,grpquota 1 2 # 其他項(xiàng)目鳥哥并沒(méi)有列出來(lái)!重點(diǎn)在於第四欄位!於 default 后面加上兩個(gè)參數(shù)![root@www ~]# umount /home [root@www ~]# mount -a [root@www ~]# mount | grep home /dev/hda3 on /home type ext3 (rw,usrquota,grpquota)

還是要再次的強(qiáng)調(diào),修改完 /etc/fstab 后,務(wù)必要測(cè)試一下!若有發(fā)生錯(cuò)誤得要趕緊處理!因?yàn)檫@個(gè)文件如果修改錯(cuò)誤,是會(huì)造成無(wú)法啟動(dòng)完全的情況啊!切記切記!最好使用 vim 來(lái)修改啦!因?yàn)闀?huì)有語(yǔ)法的檢驗(yàn),就不會(huì)讓你寫錯(cuò)字了!啟動(dòng)文件系統(tǒng)的支持后,接下來(lái)讓我們創(chuàng)建起 quota 的記錄檔吧!


實(shí)作 Quota 流程-2:創(chuàng)建 quota 記錄檔

其實(shí) Quota 是透過(guò)分析整個(gè)文件系統(tǒng)中,每個(gè)使用者(群組)擁有的文件總數(shù)與總?cè)萘?#xff0c;再將這些數(shù)據(jù)記錄在該文件系統(tǒng)的最頂層目錄,然后在該記錄檔中再使用每個(gè)帳號(hào)(或群組)的限制值去規(guī)范磁碟使用量的。所以啦,建置這個(gè) Quota 記錄檔就顯的非常的重要。掃瞄有支持 Quota 參數(shù) (usrquota, grpquota) 的文件系統(tǒng),就使用 quotacheck 這個(gè)命令!這個(gè)命令的語(yǔ)法如下:


  • quotacheck :掃瞄文件系統(tǒng)并創(chuàng)建 Quota 的記錄檔
[root@www ~]# quotacheck [-avugfM] [/mount_point] 選項(xiàng)與參數(shù): -a :掃瞄所有在 /etc/mtab 內(nèi),含有 quota 支持的 filesystem,加上此參數(shù)后, /mount_point 可不必寫,因?yàn)閽呙樗械?filesystem 了嘛! -u :針對(duì)使用者掃瞄文件與目錄的使用情況,會(huì)創(chuàng)建 aquota.user -g :針對(duì)群組掃瞄文件與目錄的使用情況,會(huì)創(chuàng)建 aquota.group -v :顯示掃瞄過(guò)程的資訊; -f :強(qiáng)制掃瞄文件系統(tǒng),并寫入新的 quota 配置檔 (危險(xiǎn)) -M :強(qiáng)制以讀寫的方式掃瞄文件系統(tǒng),只有在特殊情況下才會(huì)使用。

quotacheck 的選項(xiàng)你只要記得『 -avug 』一起下達(dá)即可!那個(gè) -f 與 -M 是在文件系統(tǒng)可能已經(jīng)啟動(dòng) quota 了,但是你還想要重新掃瞄文件系統(tǒng)時(shí),系統(tǒng)會(huì)要求你加入那兩個(gè)選項(xiàng)啦 (擔(dān)心有其他人已經(jīng)使用 quota 中)!平時(shí)沒(méi)必要不要加上那兩個(gè)項(xiàng)目。好了,那就讓我們來(lái)處理我們的任務(wù)吧!

# 針對(duì)整個(gè)系統(tǒng)含有 usrquota, grpquota 參數(shù)的文件系統(tǒng)進(jìn)行 quotacheck 掃瞄 [root@www ~]# quotacheck -avug quotacheck: Scanning /dev/hda3 [/home] quotacheck: Cannot stat old user quota file: No such file or directory <==有找到文件系統(tǒng),但尚未制作記錄檔! quotacheck: Cannot stat old group quota file: No such file or directory quotacheck: Cannot stat old user quota file: No such file or directory quotacheck: Cannot stat old group quota file: No such file or directory done <==上面三個(gè)錯(cuò)誤只是說(shuō)明記錄檔尚未創(chuàng)建而已,可以忽略不理! quotacheck: Checked 130 directories and 107 files <==實(shí)際搜尋結(jié)果 quotacheck: Old file not found. quotacheck: Old file not found. # 若運(yùn)行這個(gè)命令卻出現(xiàn)如下的錯(cuò)誤信息,表示你沒(méi)有任何文件系統(tǒng)有啟動(dòng) quota 支持! # quotacheck: Can't find filesystem to check or filesystem not mounted with # quota option.[root@www ~]# ll -d /home/a* -rw------- 1 root root 8192 Mar 6 11:58 /home/aquota.group -rw------- 1 root root 9216 Mar 6 11:58 /home/aquota.user # 在鳥哥的案例中,/home 獨(dú)立的文件系統(tǒng),因此搜尋結(jié)果會(huì)將兩個(gè)記錄檔放在 # /home 底下。這兩個(gè)文件就是 Quota 最重要的資訊了!

這個(gè)命令只要進(jìn)行到這里就夠了,不要反覆的進(jìn)行!因?yàn)榈纫幌挛覀儠?huì)啟動(dòng) quota 功能,若啟動(dòng)后你還要進(jìn)行 quotacheck ,系統(tǒng)會(huì)擔(dān)心破壞原有的記錄檔,所以會(huì)產(chǎn)生一些錯(cuò)誤信息警告你。如果你確定沒(méi)有任何人在使用 quota 時(shí),可以強(qiáng)制重新進(jìn)行 quotacheck 的動(dòng)作。強(qiáng)制運(yùn)行的情況可以使用如下的選項(xiàng)功能:

# 如果因?yàn)樘厥庑枨笮枰獜?qiáng)制掃瞄已掛載的文件系統(tǒng)時(shí) [root@www ~]# quotacheck -avug -mf quotacheck: Scanning /dev/hda3 [/home] done quotacheck: Checked 130 directories and 109 files # 數(shù)據(jù)要簡(jiǎn)潔很多!因?yàn)橛杏涗洐n存在嘛!所以警告信息不會(huì)出現(xiàn)!

這樣記錄檔就創(chuàng)建起來(lái)了!你不用手動(dòng)去編輯那兩個(gè)文件~因?yàn)槟莾蓚€(gè)文件是 quota 自己的數(shù)據(jù)檔,并不是純文字檔啦!且該文件會(huì)一直變動(dòng),這是因?yàn)楫?dāng)你對(duì) /home 這個(gè)文件系統(tǒng)進(jìn)行操作時(shí),你操作的結(jié)果會(huì)影響磁碟吧!所以當(dāng)然會(huì)同步記載到那兩個(gè)文件中啦!所以要?jiǎng)?chuàng)建 aquota.user, aquota.group,記得使用的是 quotacheck 命令!不是手動(dòng)編輯的喔!


實(shí)作 Quota 流程-3:Quota 啟動(dòng)、關(guān)閉與限制值配置

制作好 Quota 配置檔之后,接下來(lái)就是要啟動(dòng) quota 了!啟動(dòng)的方式很簡(jiǎn)單!使用 quotaon ,至於關(guān)閉就用 quotaoff即可


  • quotaon :啟動(dòng) quota 的服務(wù)
[root@www ~]# quotaon [-avug] [root@www ~]# quotaon [-vug] [/mount_point] 選項(xiàng)與參數(shù): -u :針對(duì)使用者啟動(dòng) quota (aquota.user) -g :針對(duì)群組啟動(dòng) quota (aquota.group) -v :顯示啟動(dòng)過(guò)程的相關(guān)信息; -a :根據(jù) /etc/mtab 內(nèi)的 filesystem 配置啟動(dòng)有關(guān)的 quota ,若不加 -a 的話,則后面就需要加上特定的那個(gè) filesystem 喔!# 由於我們要啟動(dòng) user/group 的 quota ,所以使用底下的語(yǔ)法即可 [root@www ~]# quotaon -auvg /dev/hda3 [/home]: group quotas turned on /dev/hda3 [/home]: user quotas turned on# 特殊用法,假如你的啟動(dòng) /var 的 quota 支持,那么僅啟動(dòng) user quota 時(shí) [root@www ~]# quotaon -uv /var

這個(gè)『 quotaon -auvg 』的命令幾乎只在第一次啟動(dòng) quota 時(shí)才需要進(jìn)行!因?yàn)橄麓蔚饶阒匦聠?dòng)系統(tǒng)時(shí),系統(tǒng)的 /etc/rc.d/rc.sysinit 這個(gè)初始化腳本就會(huì)自動(dòng)的下達(dá)這個(gè)命令了!因此你只要在這次實(shí)例中進(jìn)行一次即可,未來(lái)都不需要自行啟動(dòng) quota ,因?yàn)?CentOS 5.x 系統(tǒng)會(huì)自動(dòng)幫你搞定他!


  • quotaoff :關(guān)閉 quota 的服務(wù)
[root@www ~]# quotaoff [-a] [root@www ~]# quotaoff [-ug] [/mount_point] 選項(xiàng)與參數(shù): -a :全部的 filesystem 的 quota 都關(guān)閉 (根據(jù) /etc/mtab) -u :僅針對(duì)后面接的那個(gè) /mount_point 關(guān)閉 user quota -g :僅針對(duì)后面接的那個(gè) /mount_point 關(guān)閉 group quota

這個(gè)命令就是關(guān)閉了 quota 的支持!我們這里需要練習(xí) quota 實(shí)作,所以這里請(qǐng)不要關(guān)閉他喔!接下來(lái)讓我們開(kāi)始來(lái)配置使用者與群組的 quota 限額吧!


  • edquota :編輯帳號(hào)/群組的限值與寬限時(shí)間

edquota 是 edit quota 的縮寫,所以就是用來(lái)編輯使用者或者是群組限額的命令羅。我們先來(lái)看看 edquota 的語(yǔ)法吧,看完后再來(lái)實(shí)際操作一下。

[root@www ~]# edquota [-u username] [-g groupname] [root@www ~]# edquota -t <==修改寬限時(shí)間 [root@www ~]# edquota -p 范本帳號(hào) -u 新帳號(hào) 選項(xiàng)與參數(shù): -u :后面接帳號(hào)名稱。可以進(jìn)入 quota 的編輯畫面 (vi) 去配置 username 的限制值; -g :后面接群組名稱。可以進(jìn)入 quota 的編輯畫面 (vi) 去配置 groupname 的限制值; -t :可以修改寬限時(shí)間。 -p :復(fù)制范本。那個(gè) 范本帳號(hào) 為已經(jīng)存在并且已配置好 quota 的使用者,意義為『將 范本帳號(hào) 這個(gè)人的 quota 限制值復(fù)制給 新帳號(hào) 』!

好了,先讓我們來(lái)看看當(dāng)進(jìn)入 myquota1 的限額配置時(shí),會(huì)出現(xiàn)什么畫面:

范例一:配置 dmtsai 這個(gè)使用者的 quota 限制值 [root@www ~]# edquota -u myquota1 Disk quotas for user myquota1 (uid 710):Filesystem blocks soft hard inodes soft hard/dev/hda3 80 0 0 10 0 0

上頭第一行在說(shuō)明針對(duì)哪個(gè)帳號(hào) (myquota1) 進(jìn)行 quota 的限額配置,第二行則是標(biāo)頭行,里面共分為七個(gè)欄位,七個(gè)欄位分別的意義為:

  • 文件系統(tǒng) (filesystem):說(shuō)明該限制值是針對(duì)哪個(gè)文件系統(tǒng) (或 partition);
  • 磁碟容量 (blocks):這個(gè)數(shù)值是 quota 自己算出來(lái)的,單位為 Kbytes,請(qǐng)不要更動(dòng)他;
  • soft:磁碟容量 (block) 的 soft 限制值,單位亦為 KB
  • hard:block 的 hard 限制值,單位 KB;
  • 文件數(shù)量 (inodes):這是 quota 自己算出來(lái)的,單位為個(gè)數(shù),請(qǐng)不要更動(dòng)他;
  • soft:inode 的 soft 限制值;
  • hard:inode 的 hard 限制值;
  • 當(dāng) soft/hard 為 0 時(shí),表示沒(méi)有限制的意思。好,依據(jù)我們的范例說(shuō)明,我們需要配置的是 blocks 的 soft/hard ,至於 inode 則不要去更動(dòng)他!因此上述的畫面我們將他改成如下的模樣:

    Tips:
    在 edquota 的畫面中,每一行只要保持七個(gè)欄位就可以了,并不需要排列整齊的!
    Disk quotas for user myquota1 (uid 710):Filesystem blocks soft hard inodes soft hard/dev/hda3 80 250000 300000 10 0 0 # 鳥哥使用 1000 去近似 1024 的倍數(shù)!比較好算啦!然后就可以儲(chǔ)存后離開(kāi)羅!

    配置完成之后,我們還有其他 5 個(gè)用戶要配置,由於配置值都一樣,此時(shí)可以使用 quota 復(fù)制喔!

    # 將 myquota1 的限制值復(fù)制給其他四個(gè)帳號(hào) [root@www ~]# edquota -p myquota1 -u myquota2 [root@www ~]# edquota -p myquota1 -u myquota3 [root@www ~]# edquota -p myquota1 -u myquota4 [root@www ~]# edquota -p myquota1 -u myquota5

    這樣就方便多了!然后,趕緊更改一下群組的 quota 限額吧!

    [root@www ~]# edquota -g myquotagrp Disk quotas for group myquotagrp (gid 713):Filesystem blocks soft hard inodes soft hard/dev/hda3 400 900000 1000000 50 0 0 # 記得,單位為 KB 喔!

    最后,將寬限時(shí)間給他改成 14 天吧!

    # 寬限時(shí)間原本為 7 天,將他改成 14 天吧! [root@www ~]# edquota -t Grace period before enforcing soft limits for users: Time units may be: days, hours, minutes, or secondsFilesystem Block grace period Inode grace period/dev/hda3 14days 7days # 原本是 7days ,我們將他給改為 14days 喔!

    透過(guò)這個(gè)簡(jiǎn)單的小步驟,我們已經(jīng)將使用者/群組/寬限時(shí)間都配置妥當(dāng)!接下來(lái)就是觀察到底配置有沒(méi)有生效啦!


    實(shí)作 Quota 流程-4:Quota 限制值的報(bào)表

    quota 的報(bào)表主要有兩種模式,一種是針對(duì)每個(gè)個(gè)人或群組的 quota 命令,一個(gè)是針對(duì)整個(gè)文件系統(tǒng)的 repquota 命令。我們先從較簡(jiǎn)單的 quota 來(lái)介紹!你也可以順道看看你的配置值對(duì)不對(duì)啊!


    • quota :單一用戶的 quota 報(bào)表
    [root@www ~]# quota [-uvs] [username] [root@www ~]# quota [-gvs] [groupname] 選項(xiàng)與參數(shù): -u :后面可以接 username ,表示顯示出該使用者的 quota 限制值。若不接 username ,表示顯示出運(yùn)行者的 quota 限制值。 -g :后面可接 groupname ,表示顯示出該群組的 quota 限制值。 -v :顯示每個(gè)用戶在 filesystem 的 quota 值; -s :使用 1024 為倍數(shù)來(lái)指定單位,會(huì)顯示如 M 之類的單位!# 直接使用 quota 去顯示出 myquota1 與 myquota2 的限額 [root@www ~]# quota -uvs myquota1 myquota2 Disk quotas for user myquota1 (uid 710):Filesystem blocks quota limit grace files quota limit grace/dev/hda3 80 245M 293M 10 0 0 Disk quotas for user myquota2 (uid 711):Filesystem blocks quota limit grace files quota limit grace/dev/hda3 80 245M 293M 10 0 0 # 這個(gè)命令顯示出來(lái)的數(shù)據(jù)跟 edquota 幾乎是一模一樣的!只是多了個(gè) grace 項(xiàng)目。 # 你會(huì)發(fā)現(xiàn) grace 底下沒(méi)有任何數(shù)據(jù),這是因?yàn)槲覀兊氖褂昧?(80) 尚未超過(guò) soft# 顯示出 myquotagrp 的群組限額 [root@www ~]# quota -gvs myquotagrp Disk quotas for group myquotagrp (gid 713):Filesystem blocks quota limit grace files quota limit grace/dev/hda3 400 879M 977M 50 0 0

    由於使用常見(jiàn)的 K, M, G 等單位比較好算,因此上頭我們使用了『 -s 』的選項(xiàng),就能夠以 M 為單位顯示了。不過(guò)由於我們使用 edquota 配置限額時(shí),使用的是近似值 (1000) 而不是實(shí)際的 1024 倍數(shù),所以看起來(lái)會(huì)有點(diǎn)不太一樣喔!由於 quota 僅能針對(duì)某些用戶顯示報(bào)表,如果要針對(duì)整個(gè) filesystem 列出報(bào)表時(shí),那個(gè)可愛(ài)的 repquota 就派上用場(chǎng)啦!


    • repquota :針對(duì)文件系統(tǒng)的限額做報(bào)表
    [root@www ~]# repquota -a [-vugs] 選項(xiàng)與參數(shù): -a :直接到 /etc/mtab 搜尋具有 quota 標(biāo)志的 filesystem ,并報(bào)告 quota 的結(jié)果; -v :輸出的數(shù)據(jù)將含有 filesystem 相關(guān)的細(xì)部資訊; -u :顯示出使用者的 quota 限值 (這是默認(rèn)值); -g :顯示出個(gè)別群組的 quota 限值。 -s :使用 M, G 為單位顯示結(jié)果# 查詢本案例中所有使用者的 quota 限制情況: [root@www ~]# repquota -auvs *** Report for user quotas on device /dev/hda3 <==針對(duì) /dev/hda3 Block grace time: 14days; Inode grace time: 7days <==block 寬限時(shí)間為 14 天Block limits File limits User used soft hard grace used soft hard grace ---------------------------------------------------------------------- root -- 651M 0 0 5 0 0 myquota1 -- 80 245M 293M 10 0 0 myquota2 -- 80 245M 293M 10 0 0 myquota3 -- 80 245M 293M 10 0 0 myquota4 -- 80 245M 293M 10 0 0 myquota5 -- 80 245M 293M 10 0 0Statistics: <==這是所謂的系統(tǒng)相關(guān)資訊,用 -v 才會(huì)顯示 Total blocks: 9 Data blocks: 2 Entries: 22 Used average: 11.000000

    根據(jù)這些資訊,您就可以知道目前的限制情況羅! ^_^!怎樣, Quota 很簡(jiǎn)單吧!你可以趕緊針對(duì)你的系統(tǒng)配置一下磁碟使用的守則,讓你的用戶不會(huì)抱怨磁碟怎么老是被耗光!


    實(shí)作 Quota 流程-5:測(cè)試與管理

    Quota 到底有沒(méi)有效果?測(cè)試看看不就知道了?讓我們使用 myquota1 去測(cè)試看看,如果創(chuàng)建一個(gè)大文件時(shí),整個(gè)系統(tǒng)會(huì)便怎樣呢?

    # 測(cè)試一:利用 myquota1 的身份,建置一個(gè) 270MB 的大文件,并觀察 quota 結(jié)果! [myquota1@www ~]$ dd if=/dev/zero of=bigfile bs=1M count=270 hda3: warning, user block quota exceeded. 270+0 records in 270+0 records out 283115520 bytes (283 MB) copied, 3.20282 seconds, 88.4 MB/s # 注意看,我是使用 myquota1 的帳號(hào)去進(jìn)行 dd 命令的喔!不要惡搞啊! # 然后你可以發(fā)現(xiàn)出現(xiàn)一個(gè) warning 的信息喔!接下來(lái)看看報(bào)表。[root@www ~]# repquota -auv *** Report for user quotas on device /dev/hda3 Block grace time: 14days; Inode grace time: 7daysBlock limits File limits User used soft hard grace used soft hard grace ---------------------------------------------------------------------- myquota1 +- 276840 250000 300000 13days 11 0 0 # 這個(gè)命令則是利用 root 去查閱的! # 你可以發(fā)現(xiàn) myquota1 的 grace 出現(xiàn)!并且開(kāi)始倒數(shù)了!# 測(cè)試二:再創(chuàng)建另外一個(gè)大文件,讓總?cè)萘砍^(guò) 300M ! [myquota1@www ~]$ dd if=/dev/zero of=bigfile2 bs=1M count=300 hda3: write failed, user block limit reached. dd: writing `bigfile2': Disk quota exceeded <==看!錯(cuò)誤信息不一樣了! 23+0 records in <==沒(méi)辦法寫入了!所以只記錄 23 筆 22+0 records out 23683072 bytes (24 MB) copied, 0.260081 seconds, 91.1 MB/s[myquota1@www ~]$ du -sk 300000 . <==果然是到極限了!

    此時(shí) myquota1 可以開(kāi)始處理他的文件系統(tǒng)了!如果不處理的話,最后寬限時(shí)間會(huì)歸零,然后出現(xiàn)如下的畫面:

    [root@www ~]# repquota -au *** Report for user quotas on device /dev/hda3 Block grace time: 00:01; Inode grace time: 7daysBlock limits File limits User used soft hard grace used soft hard grace ---------------------------------------------------------------------- myquota1 +- 300000 250000 300000 none 11 0 0 # 倒數(shù)整個(gè)歸零,所以 grace 的部分就會(huì)變成 none 啦!不繼續(xù)倒數(shù)

    其實(shí)倒數(shù)歸零也不會(huì)有什么特殊的意外啦!別擔(dān)心!只是如果你的磁碟使用量介於 soft/hard 之間時(shí),當(dāng)?shù)箶?shù)歸零那么 soft 的值會(huì)變成嚴(yán)格限制,此時(shí)你就沒(méi)有多余的容量可以使用了。如何解決?就登陸系統(tǒng)去刪除文件即可啦!沒(méi)有想像中那么可怕啦!問(wèn)題是,使用者通常傻傻分不清楚到底系統(tǒng)出了什么問(wèn)題,所以我們可能需要寄送一些警告信 (email) 給用戶比較妥當(dāng)。那么如何處理呢?透過(guò) warnquota 來(lái)處置即可。


    • warnquota :對(duì)超過(guò)限額者發(fā)出警告信

    warnquota字面上的意義就是 quota 的警告 (warn) 嘛!那么這東西有什么用呢?他可以依據(jù) /etc/warnquota.conf 的配置,然后找出目前系統(tǒng)上面 quota 用量超過(guò) soft (就是有 grace time 出現(xiàn)的那些家伙) 的帳號(hào),透過(guò) email 的功能將警告信件發(fā)送到使用者的電子郵件信箱。warnquota 并不會(huì)自動(dòng)運(yùn)行,所以我們需要手動(dòng)去運(yùn)行他。單純運(yùn)行『 warnquota 』之后,他會(huì)發(fā)送兩封信出去,一封給 myquota1 一封給 root !

    [root@www ~]# warnquota # 完全不會(huì)出現(xiàn)任何信息!沒(méi)有信息就是『好信息』! ^_^[root@www ~]# mailN329 root@www.vbird.tsai Fri Mar 6 16:10 27/1007 "NOTE: .... & 329 <==因?yàn)樾滦偶诘?329 封之故 From root@www.vbird.tsai Fri Mar 6 16:10:18 2009 Date: Fri, 6 Mar 2009 16:10:17 +0800 From: root <root@www.vbird.tsai> Reply-To: root@myhost.com Subject: NOTE: You are exceeding your allocated disk space limits To: myquota1@www.vbird.tsai Cc: root@www.vbird.tsai <==注意這三行,分別是標(biāo)題、收件者與副本 (CC)。Your disk usage has exceeded the agreed limits on this server <==問(wèn)題說(shuō)明 Please delete any unnecessary files on following filesystems:/dev/hda3 <==底下這幾行為發(fā)生磁碟『爆表』的資訊啦!Block limits File limits Filesystem used soft hard grace used soft hard grace /dev/hda3 +- 300000 250000 300000 13days 12 0 0root@localhost <==這個(gè)是警告信息發(fā)送者的『簽名數(shù)據(jù)』啦!& exit <==離開(kāi) mail 程序!

    運(yùn)行 warnquota 可能也不會(huì)產(chǎn)生任何信息以及信件,因?yàn)橹挥挟?dāng)使用者的 quota 有超過(guò) soft 時(shí),warnquota 才會(huì)發(fā)送警告信啦!那么上表的內(nèi)容中,包括標(biāo)題、資訊內(nèi)容說(shuō)明、簽名檔等數(shù)據(jù)放在哪里呢?剛剛不是講過(guò)嗎? /etc/warnquota 啦!因?yàn)樯鲜龅臄?shù)據(jù)是英文,不好理解嗎?沒(méi)關(guān)系,你可以自己轉(zhuǎn)成中文喔!所以你可以這樣處理的:

    [root@www ~]# vi /etc/warnquota.conf # 先找到底下這幾行的配置值: SUBJECT = NOTE: You are exceeding your allocated disk space limits <==第10行 CC_TO = "root@localhost" <==第11行 MESSAGE = Your disk usage has exceeded the agreed limits\ <==第21行on this server|Please delete any unnecessary files on following filesystems:| SIGNATURE = root@localhost <==第25行# 可以將他改成如下的模樣啊! SUBJECT = 注意:你在本系統(tǒng)上擁有的文件容量已經(jīng)超過(guò)最大容許限額 CC_TO = "root@localhost" <==除非你要寄給其他人,否則這個(gè)項(xiàng)目可以不改 MESSAGE = 你的磁碟容量已經(jīng)超過(guò)本機(jī)的容許限額,|\請(qǐng)?jiān)谌缦碌奈募到y(tǒng)中,刪除不必要的文件:| SIGNATURE = 你的系統(tǒng)管理員 (root@localhost) # 在 MESSAGE 內(nèi)的 | 代表斷行的意思,反斜線則代表連接下一行;

    如果你重復(fù)運(yùn)行 warnquota ,那么 myquota1 就會(huì)收到類似如下的信件內(nèi)容:

    Subject: 注意:你在本系統(tǒng)上擁有的文件容量已經(jīng)超過(guò)最大容許限額 To: myquota1@www.vbird.tsai Cc: root@www.vbird.tsai你的磁碟容量已經(jīng)超過(guò)本機(jī)的容許限額,請(qǐng)?jiān)谌缦碌奈募到y(tǒng)中,刪除不必要的文件:/dev/hda3Filesystem used soft hard grace used soft hard grace /dev/hda3 +- 300000 250000 300000 none 11 0 0你的系統(tǒng)管理員 (root@localhost)

    不過(guò)這個(gè)方法并不適用在 /var/spool/mail 也爆表的 quota 控管中,因?yàn)槿绻褂谜咴谶@個(gè) filesystem 的容量已經(jīng)爆表,那么新的信件當(dāng)然就收不下來(lái)啦!此時(shí)就只能等待使用者自己發(fā)現(xiàn)并跑來(lái)這里刪除數(shù)據(jù),或者是請(qǐng)求 root 幫忙處理羅!知道了這玩意兒這么好用,那么我們?cè)趺醋屜到y(tǒng)自動(dòng)的運(yùn)行 warnquota 呢?你可以這樣做:

    [root@www ~]# vi /etc/cron.daily/warnquota /usr/sbin/warnquota # 你沒(méi)有看錯(cuò)!只要這一行,且將運(yùn)行檔以絕對(duì)路徑的方式寫入即可![root@www ~]# chmod 755 /etc/cron.daily/warnquota

    那么未來(lái)每天早上 4:02am 時(shí),這個(gè)文件就會(huì)主動(dòng)被運(yùn)行,那么系統(tǒng)就能夠主動(dòng)的通知磁碟配額爆表的用戶羅!您瞧瞧!這玩意兒是否很好用啊!至於為何要寫入上述的文件呢?留待下一章工作排程時(shí)我們?cè)賮?lái)加強(qiáng)介紹羅!


    • setquota :直接於命令中配置 quota 限額

    如果你想要使用 script 的方法來(lái)創(chuàng)建大量的帳號(hào),并且所有的帳號(hào)都在創(chuàng)建時(shí)就給予 quota ,那該如何是好?其實(shí)有兩個(gè)方法可以考慮:

    • 先創(chuàng)建一個(gè)原始 quota 帳號(hào),再以『 edquota -p old -u new 』寫入 script 中;
    • 直接以 setquota 創(chuàng)建用戶的 quota 配置值。

    不同於 edquota 是呼叫 vi 來(lái)進(jìn)行配置,setquota 直接由命令輸入所必須要的各項(xiàng)限制值。他的語(yǔ)法有點(diǎn)像這樣:

    [root@www ~]# setquota [-u|-g] 名稱 block(soft) block(hard) \ > inode(soft) inode(hard) 文件系統(tǒng)# 觀察原始的 myquota5 限值,并給予 soft/hard 分別為 100000/200000 [root@www ~]# quota -uv myquota5 Disk quotas for user myquota5 (uid 714): Filesystem blocks quota limit grace files quota limit grace/dev/hda3 80 250000 300000 10 0 0[root@www ~]# setquota -u myquota5 100000 200000 0 0 /home[root@www ~]# quota -uv myquota5 Disk quotas for user myquota5 (uid 714): Filesystem blocks quota limit grace files quota limit grace/dev/hda3 80 100000 200000 10 0 0 # 看吧!真的有改變過(guò)來(lái)!這就是 quota 的簡(jiǎn)單腳本配置語(yǔ)法!


    不更動(dòng)既有系統(tǒng)的 quota 實(shí)例

    想一想,如果你的主機(jī)原先沒(méi)有想到要配置成為郵件主機(jī),所以并沒(méi)有規(guī)劃將郵件信箱所在的 /var/spool/mail/目錄獨(dú)立成為一個(gè) partition ,然后目前你的主機(jī)已經(jīng)沒(méi)有辦法新增或分割出任何新的分割槽了。那我們知道 quota 是針對(duì)整個(gè) filesystem 進(jìn)行設(shè)計(jì)的,因此,你是否就無(wú)法針對(duì) mail 的使用量給予 quota 的限制呢?

    此外,如果你想要讓使用者的郵件信箱與家目錄的總體磁碟使用量為固定,那又該如何是好?由於 /home 及 /var/spool/mail 根本不可能是同一個(gè) filesystem (除非是都不分割,使用根目錄,才有可能整合在一起),所以,該如何進(jìn)行這樣的 quota 限制呢?

    其實(shí)沒(méi)有那么難啦!既然 quota 是針對(duì)整個(gè) filesystem 來(lái)進(jìn)行限制,假設(shè)你又已經(jīng)有 /home 這個(gè)獨(dú)立的分割槽了,那么你只要:

  • 將 /var/spool/mail 這個(gè)目錄完整的移動(dòng)到 /home 底下;
  • 利用 ln -s /home/mail /var/spool/mail 來(lái)創(chuàng)建連結(jié)數(shù)據(jù);
  • 將 /home 進(jìn)行 quota 限額配置
  • 只要這樣的一個(gè)小步驟,嘿嘿!您家主機(jī)的郵件就有一定的限額羅!當(dāng)然羅!您也可以依據(jù)不同的使用者與群組來(lái)配置quota 然后同樣的以上面的方式來(lái)進(jìn)行 link 的動(dòng)作!嘿嘿嘿!就有不同的限額針對(duì)不同的使用者提出羅!很方便吧!^_^

    Tips:
    朋友們需要注意的是,由於目前新的 distributions 大多有使用 SELinux 的機(jī)制,因此你要進(jìn)行如同上面的目錄搬移時(shí),在許多情況下可能會(huì)有使用上的限制喔!或許你得要先暫時(shí)關(guān)閉 SELinux 才能測(cè)試,也或許你得要自行修改 SELinux 的守則才行喔!

    軟件磁盤陣列 (Software RAID)

    在過(guò)去鳥哥還年輕的時(shí)代,我們能使用的硬盤容量都不大,幾十 GB 的容量就是大硬盤了!但是某些情況下,我們需要很大容量的儲(chǔ)存空間,例如鳥哥在跑的空氣品質(zhì)模式所輸出的數(shù)據(jù)文件一個(gè)案例通常需要好幾 GB ,連續(xù)跑個(gè)幾個(gè)案例,磁碟容量就不夠用了。此時(shí)我該如何是好?其實(shí)可以透過(guò)一種儲(chǔ)存機(jī)制,稱為磁盤陣列(RAID) 的就是了。這種機(jī)制的功能是什么?他有哪些等級(jí)?什么是硬件、軟件磁盤陣列?Linux 支持什么樣的軟件磁盤陣列?底下就讓我們來(lái)談?wù)?#xff01;


    什么是 RAID

    磁盤陣列全名是『 Redundant Arrays of Inexpensive Disks, RAID 』,英翻中的意思是:容錯(cuò)式廉價(jià)磁盤陣列。RAID 可以透過(guò)一個(gè)技術(shù)(軟件或硬件),將多個(gè)較小的磁碟整合成為一個(gè)較大的磁碟裝置;而這個(gè)較大的磁碟功能可不止是儲(chǔ)存而已,他還具有數(shù)據(jù)保護(hù)的功能呢。整個(gè) RAID 由於選擇的等級(jí) (level)不同,而使得整合后的磁碟具有不同的功能, 基本常見(jiàn)的 level 有這幾種(注1):

    • RAID-0 (等量模式, stripe):效能最佳

    這種模式如果使用相同型號(hào)與容量的磁碟來(lái)組成時(shí),效果較佳。這種模式的 RAID 會(huì)將磁碟先切出等量的區(qū)塊 (舉例來(lái)說(shuō), 4KB),然后當(dāng)一個(gè)文件要寫入 RAID 時(shí),該文件會(huì)依據(jù)區(qū)塊的大小切割好,之后再依序放到各個(gè)磁碟里面去。由於每個(gè)磁碟會(huì)交錯(cuò)的存放數(shù)據(jù),因此當(dāng)你的數(shù)據(jù)要寫入 RAID 時(shí),數(shù)據(jù)會(huì)被等量的放置在各個(gè)磁碟上面。舉例來(lái)說(shuō),你有兩顆磁碟組成 RAID-0 ,當(dāng)你有 100MB 的數(shù)據(jù)要寫入時(shí),每個(gè)磁碟會(huì)各被分配到 50MB 的儲(chǔ)存量。RAID-0 的示意圖如下所示:


    圖 2.1.1、 RAID-0 的磁碟寫入示意圖

    上圖的意思是,在組成 RAID-0 時(shí),每顆磁碟 (Disk A 與 Disk B) 都會(huì)先被區(qū)隔成為小區(qū)塊 (chunk)。當(dāng)有數(shù)據(jù)要寫入 RAID 時(shí),數(shù)據(jù)會(huì)先被切割成符合小區(qū)塊的大小,然后再依序一個(gè)一個(gè)的放置到不同的磁碟去。由於數(shù)據(jù)已經(jīng)先被切割并且依序放置到不同的磁碟上面,因此每顆磁碟所負(fù)責(zé)的數(shù)據(jù)量都降低了!照這樣的情況來(lái)看,越多顆磁碟組成的 RAID-0 效能會(huì)越好,因?yàn)槊款w負(fù)責(zé)的數(shù)據(jù)量就更低了!這表示我的數(shù)據(jù)可以分散讓多顆磁碟來(lái)儲(chǔ)存,當(dāng)然效能會(huì)變的更好啊!此外,磁碟總?cè)萘恳沧兇罅?#xff01;因?yàn)槊款w磁碟的容量最終會(huì)加總成為 RAID-0 的總?cè)萘苦?#xff01;

    只是使用此等級(jí)你必須要自行負(fù)擔(dān)數(shù)據(jù)損毀的風(fēng)險(xiǎn),由上圖我們知道文件是被切割成為適合每顆磁盤分區(qū)區(qū)塊的大小,然后再依序放置到各個(gè)磁碟中。想一想,如果某一顆磁碟損毀了,那么文件數(shù)據(jù)將缺一塊,此時(shí)這個(gè)文件就損毀了。由於每個(gè)文件都是這樣存放的,因此 RAID-0 只要有任何一顆磁碟損毀,在 RAID 上面的所有數(shù)據(jù)都會(huì)遺失而無(wú)法讀取

    另外,如果使用不同容量的磁碟來(lái)組成 RAID-0 時(shí),由於數(shù)據(jù)是一直等量的依序放置到不同磁碟中,當(dāng)小容量磁碟的區(qū)塊被用完了,那么所有的數(shù)據(jù)都將被寫入到最大的那顆磁碟去。舉例來(lái)說(shuō),我用 200G 與 500G 組成 RAID-0 ,那么最初的 400GB 數(shù)據(jù)可同時(shí)寫入兩顆磁碟 (各消耗 200G 的容量),后來(lái)再加入的數(shù)據(jù)就只能寫入 500G 的那顆磁碟中了。此時(shí)的效能就變差了,因?yàn)橹皇O乱活w可以存放數(shù)據(jù)嘛!

    • RAID-1 (映射模式, mirror):完整備份

    這種模式也是需要相同的磁碟容量的,最好是一模一樣的磁碟啦!如果是不同容量的磁碟組成 RAID-1 時(shí),那么總?cè)萘繉⒁宰钚〉哪且活w磁碟為主!這種模式主要是『讓同一份數(shù)據(jù),完整的保存在兩顆磁碟上頭』。舉例來(lái)說(shuō),如果我有一個(gè) 100MB 的文件,且我僅有兩顆磁碟組成 RAID-1 時(shí), 那么這兩顆磁碟將會(huì)同步寫入 100MB 到他們的儲(chǔ)存空間去。因此,整體 RAID 的容量幾乎少了 50%。由於兩顆硬盤內(nèi)容一模一樣,好像鏡子映照出來(lái)一樣,所以我們也稱他為 mirror 模式羅~


    圖 2.1.2、 RAID-1 的磁碟寫入示意圖

    如上圖所示,一份數(shù)據(jù)傳送到 RAID-1 之后會(huì)被分為兩股,并分別寫入到各個(gè)磁碟里頭去。由於同一份數(shù)據(jù)會(huì)被分別寫入到其他不同磁碟,因此如果要寫入 100MB 時(shí),數(shù)據(jù)傳送到 I/O 匯流排后會(huì)被復(fù)制多份到各個(gè)磁碟,結(jié)果就是數(shù)據(jù)量感覺(jué)變大了!因此在大量寫入 RAID-1 的情況下,寫入的效能可能會(huì)變的非常差 (因?yàn)槲覀冎挥幸粋€(gè)南橋啊!)。好在如果你使用的是硬件 RAID (磁盤陣列卡) 時(shí),磁盤陣列卡會(huì)主動(dòng)的復(fù)制一份而不使用系統(tǒng)的 I/O 匯流排,效能方面則還可以。如果使用軟件磁盤陣列,可能效能就不好了。

    由於兩顆磁碟內(nèi)的數(shù)據(jù)一模一樣,所以任何一顆硬盤損毀時(shí),你的數(shù)據(jù)還是可以完整的保留下來(lái)的!所以我們可以說(shuō), RAID-1 最大的優(yōu)點(diǎn)大概就在於數(shù)據(jù)的備份吧!不過(guò)由於磁碟容量有一半用在備份,因此總?cè)萘繒?huì)是全部磁碟容量的一半而已。雖然 RAID-1 的寫入效能不佳,不過(guò)讀取的效能則還可以啦!這是因?yàn)閿?shù)據(jù)有兩份在不同的磁碟上面,如果多個(gè) processes 在讀取同一筆數(shù)據(jù)時(shí), RAID 會(huì)自行取得最佳的讀取平衡。

    • RAID 0+1,RAID 1+0

    RAID-0 的效能佳但是數(shù)據(jù)不安全,RAID-1 的數(shù)據(jù)安全但是效能不佳,那么能不能將這兩者整合起來(lái)配置 RAID 呢?可以啊!那就是 RAID 0+1 或 RAID 1+0。所謂的 RAID 0+1 就是: (1)先讓兩顆磁碟組成 RAID 0,并且這樣的配置共有兩組;(2)將這兩組 RAID 0 再組成一組 RAID 1。這就是 RAID 0+1 羅!反過(guò)來(lái)說(shuō),RAID 1+0 就是先組成 RAID-1 再組成 RAID-0 的意思。


    圖 2.1.3、 RAID-0+1 的磁碟寫入示意圖

    如上圖所示,Disk A + Disk B 組成第一組 RAID 0,Disk C + Disk D 組成第二組 RAID 0,然后這兩組再整合成為一組 RAID 1。如果我有 100MB 的數(shù)據(jù)要寫入,則由於 RAID 1 的關(guān)系,兩組 RAID 0 都會(huì)寫入 100MB,但由於 RAID 0 的關(guān)系,因此每顆磁碟僅會(huì)寫入 50MB 而已。如此一來(lái)不論哪一組 RAID 0 的磁碟損毀,只要另外一組 RAID 0 還存在,那么就能夠透過(guò) RAID 1 的機(jī)制來(lái)回復(fù)數(shù)據(jù)。

    由於具有 RAID 0 的優(yōu)點(diǎn),所以效能得以提升,由於具有 RAID 1 的優(yōu)點(diǎn),所以數(shù)據(jù)得以備份。但是也由於 RAID 1 的缺點(diǎn),所以總?cè)萘繒?huì)少一半用來(lái)做為備份喔!

    • RAID 5:效能與數(shù)據(jù)備份的均衡考量

    RAID-5 至少需要三顆以上的磁碟才能夠組成這種類型的磁盤陣列。這種磁盤陣列的數(shù)據(jù)寫入有點(diǎn)類似 RAID-0 ,不過(guò)每個(gè)循環(huán)的寫入過(guò)程中,在每顆磁碟還加入一個(gè)同位檢查數(shù)據(jù) (Parity) ,這個(gè)數(shù)據(jù)會(huì)記錄其他磁碟的備份數(shù)據(jù),用於當(dāng)有磁碟損毀時(shí)的救援。RAID-5 讀寫的情況有點(diǎn)像底下這樣:


    圖 2.1.4、 RAID-5 的磁碟寫入示意圖

    如上圖所示,每個(gè)循環(huán)寫入時(shí),都會(huì)有部分的同位檢查碼 (parity) 被記錄起來(lái),并且記錄的同位檢查碼每次都記錄在不同的磁碟,因此,任何一個(gè)磁碟損毀時(shí)都能夠藉由其他磁碟的檢查碼來(lái)重建原本磁碟內(nèi)的數(shù)據(jù)喔!不過(guò)需要注意的是,由於有同位檢查碼,因此 RAID 5 的總?cè)萘繒?huì)是整體磁碟數(shù)量減一顆。以上圖為例,原本的 3 顆磁碟只會(huì)剩下 (3-1)=2 顆磁碟的容量。而且當(dāng)損毀的磁碟數(shù)量大於等於兩顆時(shí),這整組 RAID 5 的數(shù)據(jù)就損毀了。因?yàn)?RAID 5 默認(rèn)僅能支持一顆磁碟的損毀情況

    在讀寫效能的比較上,讀取的效能還不賴!與 RAID-0 有的比!不過(guò)寫的效能就不見(jiàn)得能夠添加很多!這是因?yàn)橐獙懭?RAID 5 的數(shù)據(jù)還得要經(jīng)過(guò)計(jì)算同位檢查碼 (parity) 的關(guān)系。由於加上這個(gè)計(jì)算的動(dòng)作,所以寫入的效能與系統(tǒng)的硬件關(guān)系較大!尤其當(dāng)使用軟件磁盤陣列時(shí),同位檢查碼是透過(guò) CPU 去計(jì)算而非專職的磁盤陣列卡,因此效能方面還需要評(píng)估。

    另外,由於 RAID 5 僅能支持一顆磁碟的損毀,因此近來(lái)還有發(fā)展出另外一種等級(jí),就是 RAID 6 ,這個(gè) RAID 6 則使用兩顆磁碟的容量作為 parity 的儲(chǔ)存,因此整體的磁碟容量就會(huì)少兩顆,但是允許出錯(cuò)的磁碟數(shù)量就可以達(dá)到兩顆了!也就是在 RAID 6 的情況下,同時(shí)兩顆磁碟損毀時(shí),數(shù)據(jù)還是可以救回來(lái)!

    • Spare Disk:預(yù)備磁碟的功能:

    當(dāng)磁盤陣列的磁碟損毀時(shí),就得要將壞掉的磁碟拔除,然后換一顆新的磁碟。換成新磁碟并且順利啟動(dòng)磁盤陣列后,磁盤陣列就會(huì)開(kāi)始主動(dòng)的重建 (rebuild) 原本壞掉的那顆磁碟數(shù)據(jù)到新的磁碟上!然后你磁盤陣列上面的數(shù)據(jù)就復(fù)原了!這就是磁盤陣列的優(yōu)點(diǎn)。不過(guò),我們還是得要?jiǎng)邮职尾逵脖P,此時(shí)通常得要關(guān)機(jī)才能這么做。

    為了讓系統(tǒng)可以即時(shí)的在壞掉硬盤時(shí)主動(dòng)的重建,因此就需要預(yù)備磁碟 (spare disk) 的輔助。所謂的 spare disk 就是一顆或多顆沒(méi)有包含在原本磁盤陣列等級(jí)中的磁碟,這顆磁碟平時(shí)并不會(huì)被磁盤陣列所使用,當(dāng)磁盤陣列有任何磁碟損毀時(shí),則這顆 spare disk 會(huì)被主動(dòng)的拉進(jìn)磁盤陣列中,并將壞掉的那顆硬盤移出磁盤陣列!然后立即重建數(shù)據(jù)系統(tǒng)。如此你的系統(tǒng)則可以永保安康啊!若你的磁盤陣列有支持熱拔插那就更完美了!直接將壞掉的那顆磁碟拔除換一顆新的,再將那顆新的配置成為 spare disk ,就完成了!

    舉例來(lái)說(shuō),鳥哥之前所待的研究室有一個(gè)磁盤陣列可允許 16 顆磁碟的數(shù)量,不過(guò)我們只安裝了 10 顆磁碟作為 RAID 5。每顆磁碟的容量為 250GB,我們用了一顆磁碟作為 spare disk ,并將其他的 9 顆配置為一個(gè) RAID 5,因此這個(gè)磁盤陣列的總?cè)萘繛?#xff1a; (9-1)*250G=2000G。運(yùn)行了一兩年后真的有一顆磁碟壞掉了,我們后來(lái)看燈號(hào)才發(fā)現(xiàn)!不過(guò)對(duì)系統(tǒng)沒(méi)有影響呢!因?yàn)?spare disk 主動(dòng)的加入支持,壞掉的那顆拔掉換顆新的,并重新配置成為 spare 后,系統(tǒng)內(nèi)的數(shù)據(jù)還是完整無(wú)缺的!嘿嘿!真不錯(cuò)!

    • 磁盤陣列的優(yōu)點(diǎn)

    說(shuō)的口沫橫飛,重點(diǎn)在哪里呢?其實(shí)你的系統(tǒng)如果需要磁盤陣列的話,其實(shí)重點(diǎn)在於:

    • 數(shù)據(jù)安全與可靠性:指的并非資訊安全,而是當(dāng)硬件 (指磁碟) 損毀時(shí),數(shù)據(jù)是否還能夠安全的救援或使用之意;
    • 讀寫效能:例如 RAID 0 可以加強(qiáng)讀寫效能,讓你的系統(tǒng) I/O 部分得以改善;
    • 容量:可以讓多顆磁碟組合起來(lái),故單一文件系統(tǒng)可以有相當(dāng)大的容量。

    尤其數(shù)據(jù)的可靠性與完整性更是使用 RAID 的考量重點(diǎn)!畢竟硬件壞掉換掉就好了,軟件數(shù)據(jù)損毀那可不是鬧著玩的!所以企業(yè)界為何需要大量的 RAID 來(lái)做為文件系統(tǒng)的硬件基準(zhǔn),現(xiàn)在您有點(diǎn)了解了吧?


    software, hardware RAID

    為何磁盤陣列又分為硬件與軟件呢?所謂的硬件磁盤陣列 (hardware RAID) 是透過(guò)磁盤陣列卡來(lái)達(dá)成陣列的目的。磁盤陣列卡上面有一塊專門的芯片在處理 RAID 的任務(wù),因此在效能方面會(huì)比較好。在很多任務(wù) (例如 RAID 5 的同位檢查碼計(jì)算)磁盤陣列并不會(huì)重復(fù)消耗原本系統(tǒng)的 I/O 匯流排,理論上效能會(huì)較佳。此外目前一般的中高階磁盤陣列卡都支持熱拔插,亦即在不關(guān)機(jī)的情況下抽換損壞的磁碟,對(duì)於系統(tǒng)的復(fù)原與數(shù)據(jù)的可靠性方面非常的好用。

    不過(guò)一塊好的磁盤陣列卡動(dòng)不動(dòng)就上萬(wàn)元臺(tái)幣,便宜的在主板上面『附贈(zèng)』的磁盤陣列功能可能又不支持某些高階功能,例如低階主板若有磁盤陣列芯片,通常僅支持到 RAID0 與 RAID1 ,鳥哥喜歡的 RAID 5 并沒(méi)有支持。此外,操作系統(tǒng)也必須要擁有磁盤陣列卡的驅(qū)動(dòng)程序,才能夠正確的捉到磁盤陣列所產(chǎn)生的磁碟機(jī)!

    由於磁盤陣列有很多優(yōu)秀的功能,然而硬件磁盤陣列卡偏偏又貴的很~因此就有發(fā)展出利用軟件來(lái)模擬磁盤陣列的功能,這就是所謂的軟件磁盤陣列 (software RAID)。軟件磁盤陣列主要是透過(guò)軟件來(lái)模擬陣列的任務(wù),因此會(huì)損耗較多的系統(tǒng)資源,比如說(shuō) CPU 的運(yùn)算與 I/O 匯流排的資源等。不過(guò)目前我們的個(gè)人計(jì)算機(jī)實(shí)在已經(jīng)非常快速了,因此以前的速度限制現(xiàn)在已經(jīng)不存在!所以我們可以來(lái)玩一玩軟件磁盤陣列!

    我們的 CentOS 提供的軟件磁盤陣列為 mdadm 這套軟件,這套軟件會(huì)以 partition或 disk 為磁碟的單位,也就是說(shuō),你不需要兩顆以上的磁碟,只要有兩個(gè)以上的分割槽 (partition)就能夠設(shè)計(jì)你的磁盤陣列了。此外, mdadm 支持剛剛我們前面提到的 RAID0/RAID1/RAID5/spare disk 等!而且提供的管理機(jī)制還可以達(dá)到類似熱拔插的功能,可以線上 (文件系統(tǒng)正常使用) 進(jìn)行分割槽的抽換!使用上也非常的方便呢!

    另外你必須要知道的是,硬件磁盤陣列在 Linux 底下看起來(lái)就是一顆實(shí)際的大磁碟,因此硬件磁盤陣列的裝置檔名為/dev/sd[a-p] ,因?yàn)槭褂玫?SCSI 的模塊之故。至於軟件磁盤陣列則是系統(tǒng)模擬的,因此使用的裝置檔名是系統(tǒng)的裝置檔,檔名為 /dev/md0, /dev/md1...,兩者的裝置檔名并不相同!不要搞混了喔!因?yàn)楹芏嗯笥殉3SX(jué)得奇怪,怎么他的 RAID 檔名跟我們這里測(cè)試的軟件 RAID 檔名不同,所以這里特別強(qiáng)調(diào)說(shuō)明喔!


    軟件磁盤陣列的配置

    軟件磁盤陣列的配置很簡(jiǎn)單呢!簡(jiǎn)單到讓你很想笑喔!因?yàn)槟阒灰褂靡粋€(gè)命令即可!那就是 mdadm 這個(gè)命令。這個(gè)命令在創(chuàng)建 RAID 的語(yǔ)法有點(diǎn)像這樣:

    [root@www ~]# mdadm --detail /dev/md0 [root@www ~]# mdadm --create --auto=yes /dev/md[0-9] --raid-devices=N \ > --level=[015] --spare-devices=N /dev/sdx /dev/hdx... 選項(xiàng)與參數(shù): --create :為創(chuàng)建 RAID 的選項(xiàng); --auto=yes :決定創(chuàng)建后面接的軟件磁盤陣列裝置,亦即 /dev/md0, /dev/md1... --raid-devices=N :使用幾個(gè)磁碟 (partition) 作為磁盤陣列的裝置 --spare-devices=N :使用幾個(gè)磁碟作為備用 (spare) 裝置 --level=[015] :配置這組磁盤陣列的等級(jí)。支持很多,不過(guò)建議只要用 0, 1, 5 即可 --detail :后面所接的那個(gè)磁盤陣列裝置的詳細(xì)資訊

    上面的語(yǔ)法中,最后面會(huì)接許多的裝置檔名,這些裝置檔名可以是整顆磁碟,例如 /dev/sdb ,也可以是分割槽,例如 /dev/sdb1 之類。不過(guò),這些裝置檔名的總數(shù)必須要等於 --raid-devices 與 --spare-devices 的個(gè)數(shù)總和才行!鳥哥利用我的測(cè)試機(jī)來(lái)建置一個(gè) RAID 5 的軟件磁盤陣列給您瞧瞧!首先,將系統(tǒng)里面過(guò)去練習(xí)過(guò)而目前用不到的分割槽通通刪除掉:

    [root@www ~]# fdisk -l Disk /dev/hda: 41.1 GB, 41174138880 bytes 255 heads, 63 sectors/track, 5005 cylinders Units = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System /dev/hda1 * 1 13 104391 83 Linux /dev/hda2 14 1288 10241437+ 83 Linux /dev/hda3 1289 1925 5116702+ 83 Linux /dev/hda4 1926 5005 24740100 5 Extended /dev/hda5 1926 2052 1020096 82 Linux swap / Solaris /dev/hda6 2053 2302 2008093+ 83 Linux /dev/hda7 2303 2334 257008+ 82 Linux swap / Solaris /dev/hda8 2335 2353 152586 83 Linux /dev/hda9 2354 2366 104391 83 Linux[root@www ~]# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/hda2 9920624 3858800 5549756 42% / /dev/hda1 101086 21408 74459 23% /boot tmpfs 371332 0 371332 0% /dev/shm /dev/hda3 4956316 1056996 3643488 23% /home # 從上面可以發(fā)現(xiàn),我的 /dev/hda6~/dev/hda9 沒(méi)有用到!將他刪除看看![root@www ~]# fdisk /dev/hda Command (m for help): d Partition number (1-9): 9Command (m for help): d Partition number (1-8): 8Command (m for help): d Partition number (1-7): 7Command (m for help): d Partition number (1-6): 6Command (m for help): pDisk /dev/hda: 41.1 GB, 41174138880 bytes 255 heads, 63 sectors/track, 5005 cylinders Units = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System /dev/hda1 * 1 13 104391 83 Linux /dev/hda2 14 1288 10241437+ 83 Linux /dev/hda3 1289 1925 5116702+ 83 Linux /dev/hda4 1926 5005 24740100 5 Extended /dev/hda5 1926 2052 1020096 82 Linux swap / SolarisCommand (m for help): w[root@www ~]# partprobe # 這個(gè)動(dòng)作很重要!還記得吧!將核心的 partition table 升級(jí)!

    底下是鳥哥希望做成的 RAID 5 環(huán)境:

    • 利用 4 個(gè) partition 組成 RAID 5;
    • 每個(gè) partition 約為 1GB 大小,需確定每個(gè) partition 一樣大較佳;
    • 利用 1 個(gè) partition 配置為 spare disk
    • 這個(gè) spare disk 的大小與其他 RAID 所需 partition 一樣大!
    • 將此 RAID 5 裝置掛載到 /mnt/raid 目錄下

    最終我需要 5 個(gè) 1GB 的 partition 。由於鳥哥的系統(tǒng)僅有一顆磁碟,這顆磁碟剩余容量約 20GB 是夠用的,分割槽代號(hào)僅使用到 5 號(hào),所以要制作成 RAID 5 應(yīng)該是不成問(wèn)題!接下來(lái)就是連續(xù)的建置流程羅!


    • 建置所需的磁碟裝置

    如前所述,我需要 5 個(gè) 1GB 的分割槽,請(qǐng)利用 fdisk 來(lái)建置吧!

    [root@www ~]# fdisk /dev/hda Command (m for help): n First cylinder (2053-5005, default 2053): <==直接按下 [enter] Using default value 2053 Last cylinder or +size or +sizeM or +sizeK (2053-5005, default 5005): +1000M # 上述的動(dòng)作請(qǐng)作五次!Command (m for help): pDisk /dev/hda: 41.1 GB, 41174138880 bytes 255 heads, 63 sectors/track, 5005 cylinders Units = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System /dev/hda1 * 1 13 104391 83 Linux /dev/hda2 14 1288 10241437+ 83 Linux /dev/hda3 1289 1925 5116702+ 83 Linux /dev/hda4 1926 5005 24740100 5 Extended /dev/hda5 1926 2052 1020096 82 Linux swap / Solaris /dev/hda6 2053 2175 987966 83 Linux /dev/hda7 2176 2298 987966 83 Linux /dev/hda8 2299 2421 987966 83 Linux /dev/hda9 2422 2544 987966 83 Linux /dev/hda10 2545 2667 987966 83 Linux # 上面的 6~10 號(hào),就是我們需要的 partition 羅!Command (m for help): w[root@www ~]# partprobe


    • 以 mdadm 建置 RAID

    接下來(lái)就簡(jiǎn)單啦!透過(guò) mdadm 來(lái)創(chuàng)建磁盤陣列先!

    [root@www ~]# mdadm --create --auto=yes /dev/md0 --level=5 \ > --raid-devices=4 --spare-devices=1 /dev/hda{6,7,8,9,10} # 詳細(xì)的參數(shù)說(shuō)明請(qǐng)回去前面看看羅!這里我透過(guò) {} 將重復(fù)的項(xiàng)目簡(jiǎn)化![root@www ~]# mdadm --detail /dev/md0 /dev/md0: <==RAID 裝置檔名Version : 00.90.03Creation Time : Tue Mar 10 17:47:51 2009 <==RAID 被創(chuàng)建的時(shí)間Raid Level : raid5 <==RAID 等級(jí)為 RAID 5Array Size : 2963520 (2.83 GiB 3.03 GB) <==此 RAID 的可用磁碟容量Used Dev Size : 987840 (964.85 MiB 1011.55 MB) <==每個(gè)裝置的可用容量Raid Devices : 4 <==用作 RAID 的裝置數(shù)量Total Devices : 5 <==全部的裝置數(shù)量 Preferred Minor : 0Persistence : Superblock is persistentUpdate Time : Tue Mar 10 17:52:23 2009State : cleanActive Devices : 4 <==啟動(dòng)的(active)裝置數(shù)量 Working Devices : 5 <==可動(dòng)作的裝置數(shù)量Failed Devices : 0 <==出現(xiàn)錯(cuò)誤的裝置數(shù)量Spare Devices : 1 <==預(yù)備磁碟的數(shù)量Layout : left-symmetricChunk Size : 64K <==就是圖2.1.4內(nèi)的小區(qū)塊UUID : 7c60c049:57d60814:bd9a77f1:57e49c5b <==此裝置(RAID)識(shí)別碼Events : 0.2Number Major Minor RaidDevice State0 3 6 0 active sync /dev/hda61 3 7 1 active sync /dev/hda72 3 8 2 active sync /dev/hda83 3 9 3 active sync /dev/hda94 3 10 - spare /dev/hda10 # 最后五行就是這五個(gè)裝置目前的情況,包括四個(gè) active sync 一個(gè) spare ! # 至於 RaidDevice 指的則是此 RAID 內(nèi)的磁碟順序

    由於磁盤陣列的建置需要一些時(shí)間,所以你最好等待數(shù)分鐘后再使用『 mdadm --detail /dev/md0 』去查閱你的磁盤陣列詳細(xì)資訊!否則有可能看到某些磁碟正在『spare rebuilding』之類的建置字樣!透過(guò)上面的命令,你就能夠創(chuàng)建一個(gè) RAID5 且含有一顆 spare disk 的磁盤陣列羅!非常簡(jiǎn)單吧!除了命令之外,你也可以查閱如下的文件來(lái)看看系統(tǒng)軟件磁盤陣列的情況:

    [root@www ~]# cat /proc/mdstat Personalities : [raid6] [raid5] [raid4] md0 : active raid5 hda9[3] hda10[4](S) hda8[2] hda7[1] hda6[0] <==第一行2963520 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU] <==第二行unused devices: <none>

    上述的數(shù)據(jù)比較重要的在特別指出的第一行與第二行部分(注2):

    • 第一行部分:指出 md0 為 raid5 ,且使用了 hda9, hda8, hda7, hda6 等四顆磁碟裝置。每個(gè)裝置后面的中括號(hào) []內(nèi)的數(shù)字為此磁碟在 RAID 中的順序 (RaidDevice);至於 hda10 后面的 [S] 則代表 hda10 為 spare 之意。

    • 第二行:此磁盤陣列擁有 2963520 個(gè)block(每個(gè) block 單位為 1K),所以總?cè)萘考s為 3GB,使用 RAID 5 等級(jí),寫入磁碟的小區(qū)塊 (chunk) 大小為 64K,使用 algorithm 2 磁盤陣列演算法。 [m/n]代表此陣列需要 m 個(gè)裝置,且 n 個(gè)裝置正常運(yùn)行。因此本 md0 需要 4 個(gè)裝置且這 4 個(gè)裝置均正常運(yùn)行。后面的 [UUUU] 代表的是四個(gè)所需的裝置 (就是 [m/n] 里面的 m) 的啟動(dòng)情況,U 代表正常運(yùn)行,若為 _ 則代表不正常。

    這兩種方法都可以知道目前的磁盤陣列狀態(tài)啦!


    • 格式化與掛載使用 RAID

    接下來(lái)就是開(kāi)始使用格式化工具啦!這部分就簡(jiǎn)單到爆!不多說(shuō)了,直接進(jìn)行吧!

    [root@www ~]# mkfs -t ext3 /dev/md0 # 有趣吧!是 /dev/md0 做為裝置被格式化呢![root@www ~]# mkdir /mnt/raid [root@www ~]# mount /dev/md0 /mnt/raid [root@www ~]# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/hda2 9920624 3858820 5549736 42% / /dev/hda1 101086 21408 74459 23% /boot tmpfs 371332 0 371332 0% /dev/shm /dev/hda3 4956316 1056996 3643488 23% /home /dev/md0 2916920 69952 2698792 3% /mnt/raid # 看吧!多了一個(gè) /dev/md0 的裝置,而且真的可以讓你使用呢!還不賴!


    模擬 RAID 錯(cuò)誤的救援模式

    俗話說(shuō)『天有不測(cè)風(fēng)云、人有旦夕禍福』,誰(shuí)也不知道你的磁盤陣列內(nèi)的裝置啥時(shí)會(huì)出差錯(cuò),因此,了解一下軟件磁盤陣列的救援還是必須的!底下我們就來(lái)玩一玩救援的機(jī)制吧!首先來(lái)了解一下 mdadm 這方面的語(yǔ)法:

    [root@www ~]# mdadm --manage /dev/md[0-9] [--add 裝置] [--remove 裝置] \ > [--fail 裝置] 選項(xiàng)與參數(shù): --add :會(huì)將后面的裝置加入到這個(gè) md 中! --remove :會(huì)將后面的裝置由這個(gè) md 中移除 --fail :會(huì)將后面的裝置配置成為出錯(cuò)的狀態(tài)


    • 配置磁碟為錯(cuò)誤 (fault)

    首先,我們來(lái)處理一下,該如何讓一個(gè)磁碟變成錯(cuò)誤,然后讓 spare disk 自動(dòng)的開(kāi)始重建系統(tǒng)呢?

    # 0. 先復(fù)制一些東西到 /mnt/raid 去,假設(shè)這個(gè) RAID 已經(jīng)在使用了 [root@www ~]# cp -a /etc /var/log /mnt/raid [root@www ~]# df /mnt/raid ; du -sm /mnt/raid/* Filesystem 1K-blocks Used Available Use% Mounted on /dev/md0 2916920 188464 2580280 7% /mnt/raid 118 /mnt/raid/etc <==看吧!確實(shí)有數(shù)據(jù)在里面喔! 8 /mnt/raid/log 1 /mnt/raid/lost+found# 1. 假設(shè) /dev/hda8 這個(gè)裝置出錯(cuò)了!實(shí)際模擬的方式: [root@www ~]# mdadm --manage /dev/md0 --fail /dev/hda8 mdadm: set /dev/hda8 faulty in /dev/md0[root@www ~]# mdadm --detail /dev/md0 ....(前面省略)....State : clean, degraded, recoveringActive Devices : 3 Working Devices : 4Failed Devices : 1 <==出錯(cuò)的磁碟有一個(gè)!Spare Devices : 1 ....(中間省略)....Number Major Minor RaidDevice State0 3 6 0 active sync /dev/hda61 3 7 1 active sync /dev/hda74 3 10 2 spare rebuilding /dev/hda103 3 9 3 active sync /dev/hda95 3 8 - faulty spare /dev/hda8 # 看到?jīng)]!這的動(dòng)作要快做才會(huì)看到! /dev/hda10 啟動(dòng)了而 /dev/hda8 死掉了[root@www ~]# cat /proc/mdstat Personalities : [raid6] [raid5] [raid4] md0 : active raid5 hda9[3] hda10[4] hda8[5](F) hda7[1] hda6[0]2963520 blocks level 5, 64k chunk, algorithm 2 [4/3] [UU_U][>.......] recovery = 0.8% (9088/987840) finish=14.3min speed=1136K/sec

    上面的畫面你得要快速的連續(xù)輸入那些 mdadm 的命令才看的到!因?yàn)槟愕?RAID 5 正在重建系統(tǒng)!若你等待一段時(shí)間再輸入后面的觀察命令,則會(huì)看到如下的畫面了:

    # 2. 已經(jīng)藉由 spare disk 重建完畢的 RAID 5 情況 [root@www ~]# mdadm --detail /dev/md0 ....(前面省略)....Number Major Minor RaidDevice State0 3 6 0 active sync /dev/hda61 3 7 1 active sync /dev/hda72 3 10 2 active sync /dev/hda103 3 9 3 active sync /dev/hda94 3 8 - faulty spare /dev/hda8[root@www ~]# cat /proc/mdstat Personalities : [raid6] [raid5] [raid4] md0 : active raid5 hda9[3] hda10[2] hda8[4](F) hda7[1] hda6[0]2963520 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

    看吧!又恢復(fù)正常了!真好!我們的 /mnt/raid 文件系統(tǒng)是完整的!并不需要卸載!很棒吧!


    • 將出錯(cuò)的磁碟移除并加入新磁碟

    首先,我們?cè)賱?chuàng)建一個(gè)新的分割槽,這個(gè)分割槽要與其他分割槽一樣大才好!然后再利用 mdadm移除錯(cuò)誤的并加入新的!

    # 3. 創(chuàng)建新的分割槽 [root@www ~]# fdisk /dev/hda Command (m for help): n First cylinder (2668-5005, default 2668): <==這里按 [enter] Using default value 2668 Last cylinder or +size or +sizeM or +sizeK (2668-5005, default 5005): +1000MCommand (m for help): w[root@www ~]# partprobe # 此時(shí)系統(tǒng)會(huì)多一個(gè) /dev/hda11 的分割槽喔!# 4. 加入新的拔除有問(wèn)題的磁碟 [root@www ~]# mdadm --manage /dev/md0 --add /dev/hda11 --remove /dev/hda8 mdadm: added /dev/hda11 mdadm: hot removed /dev/hda8[root@www ~]# mdadm --detail /dev/md0 ....(前面省略)....0 3 6 0 active sync /dev/hda61 3 7 1 active sync /dev/hda72 3 10 2 active sync /dev/hda103 3 9 3 active sync /dev/hda9 4 3 11 - spare /dev/hda11

    嘿嘿!你的磁盤陣列內(nèi)的數(shù)據(jù)不但一直存在,而且你可以一直順利的運(yùn)行 /mnt/raid 內(nèi)的數(shù)據(jù),即使 /dev/hda8 損毀了!然后透過(guò)管理的功能就能夠加入新磁碟且拔除壞掉的磁碟!注意,這一切都是在上線 (on-line) 的情況下進(jìn)行!所以,您說(shuō)這樣的咚咚好不好用啊! ^_^


    啟動(dòng)自動(dòng)啟動(dòng) RAID 并自動(dòng)掛載

    新的 distribution 大多會(huì)自己搜尋 /dev/md[0-9] 然后在啟動(dòng)的時(shí)候給予配置好所需要的功能。不過(guò)鳥哥還是建議你,修改一下配置檔吧! ^_^。software RAID 也是有配置檔的,這個(gè)配置檔在 /etc/mdadm.conf !這個(gè)配置檔內(nèi)容很簡(jiǎn)單,你只要知道 /dev/md0 的 UUID 就能夠配置這個(gè)文件啦!這里鳥哥僅介紹他最簡(jiǎn)單的語(yǔ)法:

    [root@www ~]# mdadm --detail /dev/md0 | grep -i uuidUUID : 7c60c049:57d60814:bd9a77f1:57e49c5b # 后面那一串?dāng)?shù)據(jù),就是這個(gè)裝置向系統(tǒng)注冊(cè)的 UUID 識(shí)別碼!# 開(kāi)始配置 mdadm.conf [root@www ~]# vi /etc/mdadm.conf ARRAY /dev/md0 UUID=7c60c049:57d60814:bd9a77f1:57e49c5b # RAID裝置 識(shí)別碼內(nèi)容# 開(kāi)始配置啟動(dòng)自動(dòng)掛載并測(cè)試 [root@www ~]# vi /etc/fstab /dev/md0 /mnt/raid ext3 defaults 1 2[root@www ~]# umount /dev/md0; mount -a [root@www ~]# df /mnt/raid Filesystem 1K-blocks Used Available Use% Mounted on /dev/md0 2916920 188464 2580280 7% /mnt/raid # 你得確定可以順利掛載,并且沒(méi)有發(fā)生任何錯(cuò)誤!

    如果到這里都沒(méi)有出現(xiàn)任何問(wèn)題!接下來(lái)就請(qǐng) reboot 你的系統(tǒng)并等待看看能否順利的啟動(dòng)吧! ^_^


    關(guān)閉軟件 RAID(重要!)

    除非你未來(lái)就是要使用這顆 software RAID (/dev/md0),否則你勢(shì)必要跟鳥哥一樣,將這個(gè) /dev/md0 關(guān)閉!因?yàn)樗吘故俏覀冊(cè)谶@個(gè)測(cè)試機(jī)上面的練習(xí)裝置啊!為什么要關(guān)掉他呢?因?yàn)檫@個(gè) /dev/md0 其實(shí)還是使用到我們系統(tǒng)的磁盤分區(qū)槽,在鳥哥的例子里面就是 /dev/hda{6,7,8,9,10,11},如果你只是將 /dev/md0 卸載,然后忘記將 RAID 關(guān)閉,結(jié)果就是....未來(lái)你在重新分割 /dev/hdaX 時(shí)可能會(huì)出現(xiàn)一些莫名的錯(cuò)誤狀況啦!所以才需要關(guān)閉 software RAID 的步驟!那如何關(guān)閉呢?也是簡(jiǎn)單到爆炸!(請(qǐng)注意,確認(rèn)你的 /dev/md0 確實(shí)不要用且要關(guān)閉了才進(jìn)行底下的玩意兒)

    # 1. 先卸載且刪除配置檔內(nèi)與這個(gè) /dev/md0 有關(guān)的配置: [root@www ~]# umount /dev/md0 [root@www ~]# vi /etc/fstab /dev/md0 /mnt/raid ext3 defaults 1 2 # 將這一行刪除掉!或者是注解掉也可以!# 2. 直接關(guān)閉 /dev/md0 的方法! [root@www ~]# mdadm --stop /dev/md0 mdadm: stopped /dev/md0 <==不羅唆!這樣就關(guān)閉了![root@www ~]# cat /proc/mdstat Personalities : [raid6] [raid5] [raid4] unused devices: <none> <==看吧!確實(shí)不存在任何陣列裝置![root@www ~]# vi /etc/mdadm.conf ARRAY /dev/md0 UUID=7c60c049:57d60814:bd9a77f1:57e49c5b # 一樣啦!刪除他或是注解他!
    Tips:
    在這個(gè)練習(xí)中,鳥哥使用同一顆磁碟進(jìn)行軟件 RAID 的實(shí)驗(yàn)。不過(guò)朋友們要注意的是,如果真的要實(shí)作軟件磁盤陣列,最好是由多顆不同的磁碟來(lái)組成較佳!因?yàn)檫@樣才能夠使用到不同磁碟的讀寫,效能才會(huì)好!而數(shù)據(jù)分配在不同的磁碟,當(dāng)某顆磁碟損毀時(shí)數(shù)據(jù)才能夠藉由其他磁碟挽救回來(lái)!這點(diǎn)得特別留意呢!

    邏輯卷軸管理員 (Logical Volume Manager)

    想像一個(gè)情況,你在當(dāng)初規(guī)劃主機(jī)的時(shí)候?qū)?/home 只給他 50G ,等到使用者眾多之后導(dǎo)致這個(gè) filesystem 不夠大,此時(shí)你能怎么作?多數(shù)的朋友都是這樣:再加一顆新硬盤,然后重新分割、格式化,將 /home 的數(shù)據(jù)完整的復(fù)制過(guò)來(lái),然后將原本的 partition 卸載重新掛載新的 partition 。啊!好忙碌啊!若是第二次分割卻給的容量太多!導(dǎo)致很多磁碟容量被浪費(fèi)了!你想要將這個(gè) partition 縮小時(shí),又該如何作?將上述的流程再搞一遍!唉~煩死了,尤其復(fù)制很花時(shí)間ㄟ~有沒(méi)有更簡(jiǎn)單的方法呢?有的!那就是我們這個(gè)小節(jié)要介紹的 LVM 這玩意兒!

    LVM 的重點(diǎn)在於『可以彈性的調(diào)整 filesystem 的容量!』而并非在於效能與數(shù)據(jù)保全上面。需要文件的讀寫效能或者是數(shù)據(jù)的可靠性,請(qǐng)參考前面的 RAID 小節(jié)。LVM 可以整合多個(gè)實(shí)體 partition 在一起,讓這些 partitions 看起來(lái)就像是一個(gè)磁碟一樣!而且,還可以在未來(lái)新增或移除其他的實(shí)體 partition到這個(gè) LVM 管理的磁碟當(dāng)中。 如此一來(lái),整個(gè)磁碟空間的使用上,實(shí)在是相當(dāng)?shù)木哂袕椥园?#xff01;既然 LVM 這么好用,那就讓我們來(lái)瞧瞧這玩意吧!


    什么是 LVM: PV, PE, VG, LV 的意義

    LVM 的全名是 Logical Volume Manager,中文可以翻譯作邏輯卷軸管理員。之所以稱為『卷軸』可能是因?yàn)榭梢詫?filesystem 像卷軸一樣伸長(zhǎng)或縮短之故吧!LVM 的作法是將幾個(gè)實(shí)體的 partitions (或 disk) 透過(guò)軟件組合成為一塊看起來(lái)是獨(dú)立的大磁碟 (VG) ,然后將這塊大磁碟再經(jīng)過(guò)分割成為可使用分割槽 (LV),最終就能夠掛載使用了。但是為什么這樣的系統(tǒng)可以進(jìn)行 filesystem 的擴(kuò)充或縮小呢?其實(shí)與一個(gè)稱為 PE 的項(xiàng)目有關(guān)!底下我們就得要針對(duì)這幾個(gè)項(xiàng)目來(lái)好好聊聊!

    • Physical Volume, PV, 實(shí)體卷軸

    我們實(shí)際的 partition 需要調(diào)整系統(tǒng)識(shí)別碼 (system ID) 成為 8e (LVM 的識(shí)別碼),然后再經(jīng)過(guò)pvcreate 的命令將他轉(zhuǎn)成 LVM 最底層的實(shí)體卷軸 (PV) ,之后才能夠?qū)⑦@些 PV 加以利用!調(diào)整 system ID 的方是就是透過(guò)fdisk 啦!

    • Volume Group, VG, 卷軸群組

    所謂的 LVM 大磁碟就是將許多 PV 整合成這個(gè) VG 的東西就是啦!所以 VG 就是 LVM 組合起來(lái)的大磁碟!這么想就好了。那么這個(gè)大磁碟最大可以到多少容量呢?這與底下要說(shuō)明的 PE 有關(guān)喔~因?yàn)槊總€(gè) VG 最多僅能包含 65534 個(gè) PE 而已。如果使用 LVM 默認(rèn)的參數(shù),則一個(gè) VG 最大可達(dá) 256GB 的容量啊!(參考底下的 PE 說(shuō)明)

    • Physical Extend, PE, 實(shí)體延伸區(qū)塊

    LVM 默認(rèn)使用 4MB 的 PE 區(qū)塊,而 LVM 的 VG 最多僅能含有 65534 個(gè) PE ,因此默認(rèn)的 LVM VG 會(huì)有 4M*65534/(1024M/G)=256G。這個(gè) PE 很有趣喔!他是整個(gè) LVM 最小的儲(chǔ)存區(qū)塊,也就是說(shuō),其實(shí)我們的文件數(shù)據(jù)都是藉由寫入 PE 來(lái)處理的。簡(jiǎn)單的說(shuō),這個(gè) PE 就有點(diǎn)像文件系統(tǒng)里面的 block 大小啦。這樣說(shuō)應(yīng)該就比較好理解了吧?所以調(diào)整 PE 會(huì)影響到 VG 的最大容量喔!

    • Logical Volume, LV, 邏輯卷軸

    最終的 VG 還會(huì)被切成 LV,這個(gè) LV 就是最后可以被格式化使用的類似分割槽的咚咚了!那么 LV 是否可以隨意指定大小呢?當(dāng)然不可以!既然 PE 是整個(gè) LVM 的最小儲(chǔ)存單位,那么 LV 的大小就與在此 LV 內(nèi)的 PE 總數(shù)有關(guān)。為了方便使用者利用 LVM 來(lái)管理其系統(tǒng),因此 LV 的裝置檔名通常指定為『/dev/vgname/lvname 』的樣式!

    此外,我們剛剛有談到 LVM 可彈性的變更 filesystem 的容量,那是如何辦到的?其實(shí)他就是透過(guò)『交換 PE 』來(lái)進(jìn)行數(shù)據(jù)轉(zhuǎn)換,將原本 LV 內(nèi)的 PE 移轉(zhuǎn)到其他裝置中以降低 LV 容量,或?qū)⑵渌b置的 PE 加到此 LV 中以加大容量!VG、LV 與 PE 的關(guān)系有點(diǎn)像下圖:


    圖 3.1.1、PE 與 VG 的相關(guān)性圖示

    如上圖所示,VG 內(nèi)的 PE 會(huì)分給虛線部分的 LV,如果未來(lái)這個(gè) VG 要擴(kuò)充的話,加上其他的 PV 即可。而最重要的 LV 如果要擴(kuò)充的話,也是透過(guò)加入 VG 內(nèi)沒(méi)有使用到的 PE 來(lái)擴(kuò)充的!

    • 實(shí)作流程

    透過(guò) PV, VG, LV 的規(guī)劃之后,再利用 mkfs就可以將你的 LV 格式化成為可以利用的文件系統(tǒng)了!而且這個(gè)文件系統(tǒng)的容量在未來(lái)還能夠進(jìn)行擴(kuò)充或減少,而且里面的數(shù)據(jù)還不會(huì)被影響!實(shí)在是很『福氣啦!』那實(shí)作方面要如何進(jìn)行呢?很簡(jiǎn)單呢!整個(gè)流程由基礎(chǔ)到最終的結(jié)果可以這樣看:


    圖 3.1.2、 LVM 各組件的實(shí)現(xiàn)流程圖示

    如此一來(lái),我們就可以利用 LV 這個(gè)玩意兒來(lái)進(jìn)行系統(tǒng)的掛載了。不過(guò),你應(yīng)該要覺(jué)得奇怪的是,那么我的數(shù)據(jù)寫入這個(gè) LV 時(shí),到底他是怎么寫入硬盤當(dāng)中的?呵呵!好問(wèn)題~其實(shí),依據(jù)寫入機(jī)制的不同,而有兩種方式:

    • 線性模式 (linear):假如我將 /dev/hda1, /dev/hdb1 這兩個(gè) partition 加入到 VG 當(dāng)中,并且整個(gè) VG 只有一個(gè) LV 時(shí),那么所謂的線性模式就是:當(dāng) /dev/hda1 的容量用完之后,/dev/hdb1 的硬盤才會(huì)被使用到,這也是我們所建議的模式。

    • 交錯(cuò)模式 (triped):那什么是交錯(cuò)模式?很簡(jiǎn)單啊,就是我將一筆數(shù)據(jù)拆成兩部分,分別寫入 /dev/hda1 與 /dev/hdb1 的意思,感覺(jué)上有點(diǎn)像 RAID 0 啦!如此一來(lái),一份數(shù)據(jù)用兩顆硬盤來(lái)寫入,理論上,讀寫的效能會(huì)比較好。

    基本上,LVM 最主要的用處是在實(shí)現(xiàn)一個(gè)可以彈性調(diào)整容量的文件系統(tǒng)上,而不是在創(chuàng)建一個(gè)效能為主的磁碟上,所以,我們應(yīng)該利用的是 LVM 可以彈性管理整個(gè) partition 大小的用途上,而不是著眼在效能上的。因此, LVM 默認(rèn)的讀寫模式是線性模式啦!如果你使用 triped 模式,要注意,當(dāng)任何一個(gè) partition 『歸天』時(shí),所有的數(shù)據(jù)都會(huì)『損毀』的!所以啦,不是很適合使用這種模式啦!如果要強(qiáng)調(diào)效能與備份,那么就直接使用 RAID 即可,不需要用到 LVM 啊!


    LVM 實(shí)作流程

    LVM 必需要核心有支持且需要安裝 lvm2 這個(gè)軟件,好佳在的是, CentOS 與其他較新的 distributions 已經(jīng)默認(rèn)將 lvm 的支持與軟件都安裝妥當(dāng)了!所以你不需要擔(dān)心這方面的問(wèn)題!用就對(duì)了!

    鳥哥使用的測(cè)試機(jī)又要出動(dòng)了喔!剛剛我們才練習(xí)過(guò) RAID,必須要將一堆目前沒(méi)有用到的分割槽先殺掉,然后再重建新的分割槽。并且由於鳥哥僅有一個(gè) 40GB 的磁碟,所以底下的練習(xí)都僅針對(duì)同一顆磁碟來(lái)作的。我的要求有點(diǎn)像這樣:

    • 先分割出 4 個(gè) partition ,每個(gè) partition 的容量均為 1.5GB 左右,且 system ID 需要為 8e;
    • 全部的 partition 整合成為一個(gè) VG,VG 名稱配置為 vbirdvg;且 PE 的大小為 16MB;
    • 全部的 VG 容量都丟給 LV ,LV 的名稱配置為 vbirdlv;
    • 最終這個(gè) LV 格式化為 ext3 的文件系統(tǒng),且掛載在 /mnt/lvm 中

    鳥哥就不仔細(xì)的介紹實(shí)體分割了,請(qǐng)您自行參考第八章的 fdisk來(lái)達(dá)成底下的范例:(注意:修改系統(tǒng)識(shí)別碼請(qǐng)使用 t 這個(gè) fdisk 內(nèi)的命令來(lái)處理即可)

    [root@www ~]# fdisk /dev/hda <==其他流程請(qǐng)自行參考第八章處理 [root@www ~]# partprobe <==別忘記這個(gè)動(dòng)作了!粉重要! [root@www ~]# fdisk -l Disk /dev/hda: 41.1 GB, 41174138880 bytes 255 heads, 63 sectors/track, 5005 cylinders Units = cylinders of 16065 * 512 = 8225280 bytesDevice Boot Start End Blocks Id System /dev/hda1 * 1 13 104391 83 Linux /dev/hda2 14 1288 10241437+ 83 Linux /dev/hda3 1289 1925 5116702+ 83 Linux /dev/hda4 1926 5005 24740100 5 Extended /dev/hda5 1926 2052 1020096 82 Linux swap / Solaris /dev/hda6 2053 2235 1469916 8e Linux LVM /dev/hda7 2236 2418 1469916 8e Linux LVM /dev/hda8 2419 2601 1469916 8e Linux LVM /dev/hda9 2602 2784 1469916 8e Linux LVM

    上面的 /dev/hda{6,7,8,9} 這四個(gè)分割槽就是我們的實(shí)體分割槽!也就是底下會(huì)實(shí)際用到的資訊!注意看,那個(gè) 8e 的出現(xiàn)會(huì)導(dǎo)致 system 變成『 Linux LVM 』哩!其實(shí)沒(méi)有配置成為 8e 也沒(méi)關(guān)系,不過(guò)某些 LVM 的偵測(cè)命令可能會(huì)偵測(cè)不到該 partition 就是了!接下來(lái),就一個(gè)一個(gè)的處理各流程吧!


    • PV 階段

    要?jiǎng)?chuàng)建 PV 其實(shí)很簡(jiǎn)單,只要直接使用 pvcreate 即可!我們來(lái)談一談與 PV 有關(guān)的命令吧!

    • pvcreate :將實(shí)體 partition 創(chuàng)建成為 PV ;
    • pvscan :搜尋目前系統(tǒng)里面任何具有 PV 的磁碟;
    • pvdisplay :顯示出目前系統(tǒng)上面的 PV 狀態(tài);
    • pvremove :將 PV 屬性移除,讓該 partition 不具有 PV 屬性。

    那就直接來(lái)瞧一瞧吧!

    # 1. 檢查有無(wú) PV 在系統(tǒng)上,然后將 /dev/hda6~/dev/hda9 創(chuàng)建成為 PV 格式 [root@www ~]# pvscanNo matching physical volumes found <==找不到任何的 PV 存在喔![root@www ~]# pvcreate /dev/hda{6,7,8,9}Physical volume "/dev/hda6" successfully createdPhysical volume "/dev/hda7" successfully createdPhysical volume "/dev/hda8" successfully createdPhysical volume "/dev/hda9" successfully created # 這個(gè)命令可以一口氣創(chuàng)建這四個(gè) partition 成為 PV 啦!注意大括號(hào)的用途[root@www ~]# pvscanPV /dev/hda6 lvm2 [1.40 GB]PV /dev/hda7 lvm2 [1.40 GB]PV /dev/hda8 lvm2 [1.40 GB]PV /dev/hda9 lvm2 [1.40 GB]Total: 4 [5.61 GB] / in use: 0 [0 ] / in no VG: 4 [5.61 GB] # 這就分別顯示每個(gè) PV 的資訊與系統(tǒng)所有 PV 的資訊。尤其最后一行,顯示的是: # 整體 PV 的量 / 已經(jīng)被使用到 VG 的 PV 量 / 剩余的 PV 量# 2. 更詳細(xì)的列示出系統(tǒng)上面每個(gè) PV 的個(gè)別資訊: [root@www ~]# pvdisplay"/dev/hda6" is a new physical volume of "1.40 GB"--- NEW Physical volume ---PV Name /dev/hda6 <==實(shí)際的 partition 裝置名稱VG Name <==因?yàn)樯形捶峙涑鋈?#xff0c;所以空白!PV Size 1.40 GB <==就是容量說(shuō)明Allocatable NO <==是否已被分配,結(jié)果是 NOPE Size (KByte) 0 <==在此 PV 內(nèi)的 PE 大小Total PE 0 <==共分割出幾個(gè) PEFree PE 0 <==沒(méi)被 LV 用掉的 PEAllocated PE 0 <==尚可分配出去的 PE 數(shù)量PV UUID Z13Jk5-RCls-UJ8B-HzDa-Gesn-atku-rf2biN ....(底下省略).... # 由於 PE 是在創(chuàng)建 VG 時(shí)才給予的參數(shù),因此在這里看到的 PV 里頭的 PE 都會(huì)是 0 # 而且也沒(méi)有多余的 PE 可供分配 (allocatable)。

    講是很難,作是很簡(jiǎn)單!這樣就將 PV 創(chuàng)建了兩個(gè)羅!簡(jiǎn)單到不行吧! ^_^!繼續(xù)來(lái)玩 VG 去!


    • VG 階段

    創(chuàng)建 VG 及 VG 相關(guān)的命令也不少,我們來(lái)看看:

    • vgcreate :就是主要?jiǎng)?chuàng)建 VG 的命令啦!他的參數(shù)比較多,等一下介紹。
    • vgscan :搜尋系統(tǒng)上面是否有 VG 存在?
    • vgdisplay :顯示目前系統(tǒng)上面的 VG 狀態(tài);
    • vgextend :在 VG 內(nèi)添加額外的 PV ;
    • vgreduce :在 VG 內(nèi)移除 PV;
    • vgchange :配置 VG 是否啟動(dòng) (active);
    • vgremove :刪除一個(gè) VG 啊!

    與 PV 不同的是, VG 的名稱是自訂的!我們知道 PV 的名稱其實(shí)就是 partition 的裝置檔名,但是這個(gè) VG 名稱則可以隨便你自己取啊!在底下的例子當(dāng)中,我將 VG 名稱取名為 vbirdvg 。創(chuàng)建這個(gè) VG 的流程是這樣的:

    [root@www ~]# vgcreate [-s N[mgt]] VG名稱 PV名稱 選項(xiàng)與參數(shù): -s :后面接 PE 的大小 (size) ,單位可以是 m, g, t (大小寫均可)# 1. 將 /dev/hda6-8 創(chuàng)建成為一個(gè) VG,且指定 PE 為 16MB 喔! [root@www ~]# vgcreate -s 16M vbirdvg /dev/hda{6,7,8}Volume group "vbirdvg" successfully created[root@www ~]# vgscanReading all physical volumes. This may take a while...Found volume group "vbirdvg" using metadata type lvm2 # 確實(shí)存在這個(gè) vbirdvg 的 VG 啦![root@www ~]# pvscan PV /dev/hda6 VG vbirdvg lvm2 [1.39 GB / 1.39 GB free]PV /dev/hda7 VG vbirdvg lvm2 [1.39 GB / 1.39 GB free]PV /dev/hda8 VG vbirdvg lvm2 [1.39 GB / 1.39 GB free]PV /dev/hda9 lvm2 [1.40 GB]Total: 4 [5.57 GB] / in use: 3 [4.17 GB] / in no VG: 1 [1.40 GB] # 嘿嘿!發(fā)現(xiàn)沒(méi)!有三個(gè) PV 被用去,剩下一個(gè) /dev/hda9 的 PV 沒(méi)被用掉![root@www ~]# vgdisplay--- Volume group ---VG Name vbirdvgSystem IDFormat lvm2Metadata Areas 3Metadata Sequence No 1VG Access read/writeVG Status resizableMAX LV 0Cur LV 0Open LV 0Max PV 0Cur PV 3Act PV 3VG Size 4.17 GB <==整體的 VG 容量有這么大PE Size 16.00 MB <==內(nèi)部每個(gè) PE 的大小 Total PE 267 <==總共的 PE 數(shù)量共有這么多!Alloc PE / Size 0 / 0Free PE / Size 267 / 4.17 GBVG UUID 4VU5Jr-gwOq-jkga-sUPx-vWPu-PmYm-dZH9EO # 最后那三行指的就是 PE 能夠使用的情況!由於尚未切出 LV,因此所有的 PE # 均可自由使用。

    這樣就創(chuàng)建一個(gè) VG 了!假設(shè)我們要添加這個(gè) VG 的容量,因?yàn)槲覀冞€有 /dev/hda9 嘛!此時(shí)你可以這樣做:

    # 2. 將剩余的 PV (/dev/hda9) 丟給 vbirdvg 吧! [root@www ~]# vgextend vbirdvg /dev/hda9Volume group "vbirdvg" successfully extended[root@www ~]# vgdisplay ....(前面省略)....VG Size 5.56 GBPE Size 16.00 MB Total PE 356Alloc PE / Size 0 / 0Free PE / Size 356 / 5.56 GBVG UUID 4VU5Jr-gwOq-jkga-sUPx-vWPu-PmYm-dZH9EO # 基本上,不難吧!這樣就可以抽換整個(gè) VG 的大小啊!

    我們多了一個(gè)裝置喔!接下來(lái)為這個(gè) vbirdvg 進(jìn)行分割吧!透過(guò) LV 功能來(lái)處理!


    • LV 階段

    創(chuàng)造出 VG 這個(gè)大磁碟之后,再來(lái)就是要?jiǎng)?chuàng)建分割區(qū)啦!這個(gè)分割區(qū)就是所謂的 LV 羅!假設(shè)我要將剛剛那個(gè) vbirdvg 磁碟,分割成為 vbirdlv ,整個(gè) VG 的容量都被分配到 vbirdlv 里面去!先來(lái)看看能使用的命令后,就直接工作了先!

    • lvcreate :創(chuàng)建 LV 啦!
    • lvscan :查詢系統(tǒng)上面的 LV ;
    • lvdisplay :顯示系統(tǒng)上面的 LV 狀態(tài)啊!
    • lvextend :在 LV 里面添加容量!
    • lvreduce :在 LV 里面減少容量;
    • lvremove :刪除一個(gè) LV !
    • lvresize :對(duì) LV 進(jìn)行容量大小的調(diào)整!
    [root@www ~]# lvcreate [-L N[mgt]] [-n LV名稱] VG名稱 [root@www ~]# lvcreate [-l N] [-n LV名稱] VG名稱 選項(xiàng)與參數(shù): -L :后面接容量,容量的單位可以是 M,G,T 等,要注意的是,最小單位為 PE,因此這個(gè)數(shù)量必須要是 PE 的倍數(shù),若不相符,系統(tǒng)會(huì)自行計(jì)算最相近的容量。 -l :后面可以接 PE 的『個(gè)數(shù)』,而不是數(shù)量。若要這么做,得要自行計(jì)算 PE 數(shù)。 -n :后面接的就是 LV 的名稱啦! 更多的說(shuō)明應(yīng)該可以自行查閱吧! man lvcreate # 1. 將整個(gè) vbirdvg 通通分配給 vbirdlv 啊,要注意, PE 共有 356 個(gè)。 [root@www ~]# lvcreate -l 356 -n vbirdlv vbirdvgLogical volume "vbirdlv" created # 由於本案例中每個(gè) PE 為 16M ,因此上述的命令也可以使用如下的方式來(lái)創(chuàng)建: # lvcreate -L 5.56G -n vbirdlv vbirdvg[root@www ~]# ll /dev/vbirdvg/vbirdlv lrwxrwxrwx 1 root root 27 Mar 11 16:49 /dev/vbirdvg/vbirdlv -> /dev/mapper/vbirdvg-vbirdlv # 看見(jiàn)了沒(méi)有啊!這就是我們最重要的一個(gè)玩意兒了![root@www ~]# lvdisplay--- Logical volume ---LV Name /dev/vbirdvg/vbirdlv <==這個(gè)才是 LV 的全名!VG Name vbirdvgLV UUID 8vFOPG-Jrw0-Runh-ug24-t2j7-i3nA-rPEyq0LV Write Access read/writeLV Status available# open 0LV Size 5.56 GB <==這個(gè) LV 的容量這么大!Current LE 356Segments 4Allocation inheritRead ahead sectors auto- currently set to 256Block device 253:0

    如此一來(lái),整個(gè) partition 也準(zhǔn)備好啦!接下來(lái),就是針對(duì)這個(gè) LV 來(lái)處理啦!要特別注意的是, VG 的名稱為 vbirdvg ,但是 LV 的名稱必須使用全名!亦即是 /dev/vbirdvg/vbirdlv 才對(duì)喔!后續(xù)的處理都是這樣的!這點(diǎn)初次接觸 LVM 的朋友很容易搞錯(cuò)!


    • 文件系統(tǒng)階段

    這個(gè)部分鳥哥我就不再多加解釋了!直接來(lái)進(jìn)行吧!

    # 1. 格式化、掛載與觀察我們的 LV 吧! [root@www ~]# mkfs -t ext3 /dev/vbirdvg/vbirdlv <==注意 LV 全名! [root@www ~]# mkdir /mnt/lvm [root@www ~]# mount /dev/vbirdvg/vbirdlv /mnt/lvm [root@www ~]# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/hda2 9920624 3858984 5549572 42% / /dev/hda3 4956316 1056996 3643488 23% /home /dev/hda1 101086 21408 74459 23% /boot tmpfs 371332 0 371332 0% /dev/shm /dev/mapper/vbirdvg-vbirdlv5741020 142592 5306796 3% /mnt/lvm [root@www ~]# cp -a /etc /var/log /mnt/lvm

    其實(shí) LV 的名稱建置成為 /dev/vbirdvg/vbirdlv 是為了讓使用者直覺(jué)式的找到我們所需要的數(shù)據(jù),實(shí)際上 LVM 使用的裝置是放置到 /dev/mapper/ 目錄下的!所以你才會(huì)看到上表當(dāng)中的特殊字體部分。透過(guò)這樣的功能,我們現(xiàn)在已經(jīng)建置好一個(gè) LV 了!你可以自由的應(yīng)用 /mnt/lvm 內(nèi)的所有資源!


    放大 LV 容量

    我們不是說(shuō) LVM 最大的特色就是彈性調(diào)整磁碟容量嗎?好!那我們就來(lái)處理一下,如果要放大 LV 的容量時(shí),該如何進(jìn)行完整的步驟呢?其實(shí)一點(diǎn)都不難喔!你只要這樣做即可:

  • 用 fdisk 配置新的具有 8e system ID 的 partition
  • 利用 pvcreate 建置 PV
  • 利用 vgextend 將 PV 加入我們的 vbirdvg
  • 利用 lvresize 將新加入的 PV 內(nèi)的 PE 加入 vbirdlv 中
  • 透過(guò) resize2fs 將文件系統(tǒng)的容量確實(shí)添加!
  • 其中最后一個(gè)步驟最重要!我們?cè)诘诎苏庐?dāng)中知道,整個(gè)文件系統(tǒng)在最初格式化的時(shí)候就創(chuàng)建了 inode/block/superblock 等資訊,要改變這些資訊是很難的!不過(guò)因?yàn)槲募到y(tǒng)格式化的時(shí)候建置的是多個(gè) block group ,因此我們可以透過(guò)在文件系統(tǒng)當(dāng)中添加 block group 的方式來(lái)增減文件系統(tǒng)的量!而增減 block group 就是利用 resize2fs 啦!所以最后一步是針對(duì)文件系統(tǒng)來(lái)處理的,前面幾步則是針對(duì) LVM 的實(shí)際容量大小!

    # 1. 處理出一個(gè) 3GB 的新的 partition ,在鳥哥的系統(tǒng)中應(yīng)該是 /dev/hda10 [root@www ~]# fdisk /dev/hda <==其他的動(dòng)作請(qǐng)自行處理 [root@www ~]# partprobe [root@www ~]# fdisk -lDevice Boot Start End Blocks Id System ....(中間省略).... /dev/hda10 2785 3150 2939863+ 8e Linux LVM # 這個(gè)就是我們要的新的 partition 羅!# 2. 創(chuàng)建新的 PV: [root@www ~]# pvcreate /dev/hda10Physical volume "/dev/hda10" successfully created [root@www ~]# pvscanPV /dev/hda6 VG vbirdvg lvm2 [1.39 GB / 0 free]PV /dev/hda7 VG vbirdvg lvm2 [1.39 GB / 0 free]PV /dev/hda8 VG vbirdvg lvm2 [1.39 GB / 0 free]PV /dev/hda9 VG vbirdvg lvm2 [1.39 GB / 0 free] PV /dev/hda10 lvm2 [2.80 GB]Total: 5 [8.37 GB] / in use: 4 [5.56 GB] / in no VG: 1 [2.80 GB] # 可以看到 /dev/hda10 是新加入并且尚未被使用的喔!# 3. 加大 VG ,利用 vgextend 功能! [root@www ~]# vgextend vbirdvg /dev/hda10Volume group "vbirdvg" successfully extended [root@www ~]# vgdisplay--- Volume group ---VG Name vbirdvgSystem IDFormat lvm2Metadata Areas 5Metadata Sequence No 4VG Access read/writeVG Status resizableMAX LV 0Cur LV 1Open LV 1Max PV 0Cur PV 5Act PV 5 VG Size 8.36 GBPE Size 16.00 MBTotal PE 535Alloc PE / Size 356 / 5.56 GB Free PE / Size 179 / 2.80 GBVG UUID 4VU5Jr-gwOq-jkga-sUPx-vWPu-PmYm-dZH9EO # 不但整體 VG 變大了!而且剩余的 PE 共有 179 個(gè),容量則為 2.80G# 4. 放大 LV 吧!利用 lvresize 的功能來(lái)添加! [root@www ~]# lvresize -l +179 /dev/vbirdvg/vbirdlvExtending logical volume vbirdlv to 8.36 GBLogical volume vbirdlv successfully resized # 這樣就添加了 LV 了喔!lvresize 的語(yǔ)法很簡(jiǎn)單,基本上同樣透過(guò) -l 或 -L 來(lái)添加! # 若要添加則使用 + ,若要減少則使用 - !詳細(xì)的選項(xiàng)請(qǐng)參考 man lvresize 羅![root@www ~]# lvdisplay--- Logical volume ---LV Name /dev/vbirdvg/vbirdlvVG Name vbirdvgLV UUID 8vFOPG-Jrw0-Runh-ug24-t2j7-i3nA-rPEyq0LV Write Access read/writeLV Status available# open 1 LV Size 8.36 GBCurrent LE 535Segments 5Allocation inheritRead ahead sectors auto- currently set to 256Block device 253:0[root@www ~]# df /mnt/lvm Filesystem 1K-blocks Used Available Use% Mounted on /dev/mapper/vbirdvg-vbirdlv5741020 261212 5188176 5% /mnt/lvm

    看到了吧?最終的結(jié)果中 LV 真的有放大到 8.36GB 喔!但是文件系統(tǒng)卻沒(méi)有相對(duì)添加!而且,我們的 LVM 可以線上直接處理,并不需要特別給他 umount 哩!真是人性化!但是還是得要處理一下文件系統(tǒng)的容量啦!開(kāi)始觀察一下文件系統(tǒng),然后使用 resize2fs 來(lái)處理一下吧!

    # 5.1 先看一下原本的文件系統(tǒng)內(nèi)的 superblock 記錄情況吧! [root@www ~]# dumpe2fs /dev/vbirdvg/vbirdlv dumpe2fs 1.39 (29-May-2006) ....(中間省略).... Block count: 1458176 <==這個(gè)filesystem的 block 總數(shù) ....(中間省略).... Blocks per group: 32768 <==多少個(gè) block 配置成為一個(gè) block group Group 0: (Blocks 0-32767) <==括號(hào)內(nèi)為 block 的號(hào)碼 ....(中間省略).... Group 44: (Blocks 1441792-1458175) <==這是本系統(tǒng)中最后一個(gè) group ....(后面省略)....# 5.2 resize2fs 的語(yǔ)法 [root@www ~]# resize2fs [-f] [device] [size] 選項(xiàng)與參數(shù): -f :強(qiáng)制進(jìn)行 resize 的動(dòng)作! [device]:裝置的文件名稱; [size] :可以加也可以不加。如果加上 size 的話,那么就必須要給予一個(gè)單位,譬如 M, G 等等。如果沒(méi)有 size 的話,那么默認(rèn)使用『整個(gè) partition』的容量來(lái)處理!# 5.3 完整的將 LV 的容量擴(kuò)充到整個(gè) filesystem 吧! [root@www ~]# resize2fs /dev/vbirdvg/vbirdlv resize2fs 1.39 (29-May-2006) Filesystem at /dev/vbirdvg/vbirdlv is mounted on /mnt/lvm; on-line resizing Performing an on-line resize of /dev/vbirdvg/vbirdlv to 2191360 (4k) blocks. The filesystem on /dev/vbirdvg/vbirdlv is now 2191360 blocks long. # 可怕吧!這一版的 lvm 竟然還可以線上進(jìn)行 resize 的功能哩!真好![root@www ~]# df /mnt/lvm Filesystem 1K-blocks Used Available Use% Mounted on /dev/mapper/vbirdvg-vbirdlv8628956 262632 7931368 4% /mnt/lvm [root@www ~]# ll /mnt/lvm drwxr-xr-x 105 root root 12288 Mar 11 16:59 etc drwxr-xr-x 17 root root 4096 Mar 11 14:17 log drwx------ 2 root root 16384 Mar 11 16:59 lost+found # 剛剛復(fù)制進(jìn)去的數(shù)據(jù)可還是存在的喔!并沒(méi)有消失不見(jiàn)!

    嘿嘿!真的放大了吧!而且如果你已經(jīng)有填數(shù)據(jù)在 LVM 磁區(qū)當(dāng)中的話!這個(gè)數(shù)據(jù)是不會(huì)死掉的喔!還是繼續(xù)存在原本的磁區(qū)當(dāng)中啦!整個(gè)動(dòng)作竟然這么簡(jiǎn)單就完成了!原本的數(shù)據(jù)還是一直存在而不會(huì)消失~您說(shuō), LVM 好不好用啊!

    此外,如果你再以 dumpe2fs 來(lái)檢查 /dev/vbirdvg/vbirdlv 時(shí),就會(huì)發(fā)現(xiàn)后續(xù)的 Group 添加了!如果還是搞不清楚什么是 block group 時(shí),請(qǐng)回到第八章看一下該章內(nèi)圖1.3.1的介紹吧!


    縮小 LV 容量

    上一小節(jié)我們談到的是放大容量,現(xiàn)在來(lái)談到的是縮小容量喔!假設(shè)我們想將 /dev/hda6 抽離出來(lái)!那該如何處理啊?就讓上一小節(jié)的流程倒轉(zhuǎn)過(guò)來(lái)即可啊!我們就直接來(lái)玩吧!

    # 1. 先找出 /dev/hda6 的容量大小,并嘗試計(jì)算文件系統(tǒng)需縮小到多少 [root@www ~]# pvdisplay--- Physical volume ---PV Name /dev/hda6VG Name vbirdvg PV Size 1.40 GB / not usable 11.46 MBAllocatable yes (but full)PE Size (KByte) 16384 Total PE 89Free PE 0Allocated PE 89PV UUID Z13Jk5-RCls-UJ8B-HzDa-Gesn-atku-rf2biN # 從這里可以看出 /dev/hda6 有多大,而且含有 89 個(gè) PE 的量喔! # 那如果要使用 resize2fs 時(shí),則總量減去 1.40GB 就對(duì)了![root@www ~]# pvscanPV /dev/hda6 VG vbirdvg lvm2 [1.39 GB / 0 free]PV /dev/hda7 VG vbirdvg lvm2 [1.39 GB / 0 free]PV /dev/hda8 VG vbirdvg lvm2 [1.39 GB / 0 free]PV /dev/hda9 VG vbirdvg lvm2 [1.39 GB / 0 free]PV /dev/hda10 VG vbirdvg lvm2 [2.80 GB / 0 free]Total: 5 [8.36 GB] / in use: 5 [8.36 GB] / in no VG: 0 [0 ] # 從上面可以發(fā)現(xiàn)如果扣除 /dev/hda6 則剩余容量有:1.39*3+2.8=6.97# 2. 就直接降低文件系統(tǒng)的容量吧! [root@www ~]# resize2fs /dev/vbirdvg/vbirdlv 6900M resize2fs 1.39 (29-May-2006) Filesystem at /dev/vbirdvg/vbirdlv is mounted on /mnt/lvm; on-line resizing On-line shrinking from 2191360 to 1766400 not supported. # 容量好像不能夠?qū)懶?shù)點(diǎn)位數(shù),因此 6.9G 是錯(cuò)誤的,鳥哥就使用 6900M 了。 # 此外,放大可以線上直接進(jìn)行,縮小文件系統(tǒng)似乎無(wú)法支持!所以要這樣做:[root@www ~]# umount /mnt/lvm [root@www ~]# resize2fs /dev/vbirdvg/vbirdlv 6900M resize2fs 1.39 (29-May-2006) Please run 'e2fsck -f /dev/vbirdvg/vbirdlv' first. # 他要我們先進(jìn)行磁碟檢查!不羅唆!那就直接進(jìn)行吧![root@www ~]# e2fsck -f /dev/vbirdvg/vbirdlv e2fsck 1.39 (29-May-2006) Pass 1: Checking inodes, blocks, and sizes Pass 2: Checking directory structure Pass 3: Checking directory connectivity Pass 4: Checking reference counts Pass 5: Checking group summary information /dev/vbirdvg/vbirdlv: 2438/1087008 files (0.1% non-contiguous), [root@www ~]# resize2fs /dev/vbirdvg/vbirdlv 6900M resize2fs 1.39 (29-May-2006) Resizing the filesystem on /dev/vbirdvg/vbirdlv to 1766400 (4k) blocks. The filesystem on /dev/vbirdvg/vbirdlv is now 1766400 blocks long. # 再來(lái) resize2fs 一次就能夠成功了!如上所示啊![root@www ~]# mount /dev/vbirdvg/vbirdlv /mnt/lvm [root@www ~]# df /mnt/lvm Filesystem 1K-blocks Used Available Use% Mounted on /dev/mapper/vbirdvg-vbirdlv6955584 262632 6410328 4% /mnt/lvm

    然后再來(lái)就是將 LV 的容量降低!要注意的是,我們想要抽離的是 /dev/hda6,這個(gè) PV 有 89 個(gè) PE (上面的 pvdisplay 查詢到的結(jié)果)。所以要這樣進(jìn)行:

    # 3. 降低 LV 的容量,同時(shí)我們知道 /dev/hda6 有 89 個(gè) PE [root@www ~]# lvresize -l -89 /dev/vbirdvg/vbirdlvWARNING: Reducing active and open logical volume to 6.97 GBTHIS MAY DESTROY YOUR DATA (filesystem etc.) Do you really want to reduce vbirdlv? [y/n]: yReducing logical volume vbirdlv to 6.97 GBLogical volume vbirdlv successfully resized # 會(huì)有警告信息!但是我們的實(shí)際數(shù)據(jù)量還是比 6.97G 小,所以就 y 下去吧![root@www ~]# lvdisplay--- Logical volume ---LV Name /dev/vbirdvg/vbirdlvVG Name vbirdvgLV UUID 8vFOPG-Jrw0-Runh-ug24-t2j7-i3nA-rPEyq0LV Write Access read/writeLV Status available# open 1 LV Size 6.97 GBCurrent LE 446Segments 5Allocation inheritRead ahead sectors auto- currently set to 256Block device 253:0

    很簡(jiǎn)單吧!這樣就將 LV 縮小了!接下來(lái)就要將 /dev/hda6 移出 vbirdvg 這個(gè) VG 之外羅!我們得要先確定 /dev/hda6 里面的 PE 完全不被使用后,才能夠?qū)?/dev/hda6 抽離!所以得要這樣進(jìn)行:

    # 4.1 先確認(rèn) /dev/hda6 是否將 PE 都移除了! [root@www ~]# pvdisplay--- Physical volume ---PV Name /dev/hda6VG Name vbirdvgPV Size 1.40 GB / not usable 11.46 MBAllocatable yes (but full)PE Size (KByte) 16384Total PE 89 Free PE 0Allocated PE 89PV UUID Z13Jk5-RCls-UJ8B-HzDa-Gesn-atku-rf2biN ....(中間省略)....--- Physical volume ---PV Name /dev/hda10VG Name vbirdvgPV Size 2.80 GB / not usable 6.96 MBAllocatable yesPE Size (KByte) 16384Total PE 179 Free PE 89Allocated PE 90PV UUID 7MfcG7-y9or-0Jmb-H7RO-5Pa5-D3qB-G426Vq # 搞了老半天,沒(méi)有被使用的 PE 竟然在 /dev/hda10 !此時(shí)得要搬移 PE 羅![root@www ~]# pvmove /dev/hda6 /dev/hda10 # pvmove 來(lái)源PV 目標(biāo)PV ,可以將 /dev/hda6 內(nèi)的 PE 通通移動(dòng)到 /dev/hda10 # 尚未被使用的 PE 去 (Free PE)。# 4.2 將 /dev/hda6 移出 vbirdvg 中! [root@www ~]# vgreduce vbirdvg /dev/hda6Removed "/dev/hda6" from volume group "vbirdvg"[root@www ~]# pvscanPV /dev/hda7 VG vbirdvg lvm2 [1.39 GB / 0 free]PV /dev/hda8 VG vbirdvg lvm2 [1.39 GB / 0 free]PV /dev/hda9 VG vbirdvg lvm2 [1.39 GB / 0 free]PV /dev/hda10 VG vbirdvg lvm2 [2.80 GB / 0 free] PV /dev/hda6 lvm2 [1.40 GB]Total: 5 [8.37 GB] / in use: 4 [6.97 GB] / in no VG: 1 [1.40 GB][root@www ~]# pvremove /dev/hda6Labels on physical volume "/dev/hda6" successfully wiped

    很有趣吧!這樣你的文件系統(tǒng)以及實(shí)際的 LV 與 VG 通通變小了,而且那個(gè) /dev/hda6 還真的可以拿出來(lái)!可以進(jìn)行其他的用途啦!非常簡(jiǎn)單吧!


    LVM 的系統(tǒng)快照

    現(xiàn)在你知道 LVM 的好處咯,未來(lái)如果你有想要添加某個(gè) LVM 的容量時(shí),就可以透過(guò)這個(gè)放大、縮小的功能來(lái)處理。那么 LVM 除了這些功能之外,還有什么能力呢?其實(shí)他還有一個(gè)重要的能力,那就是系統(tǒng)快照 (snapshot)。什么是系統(tǒng)快照啊?快照就是將當(dāng)時(shí)的系統(tǒng)資訊記錄下來(lái),就好像照相記錄一般!未來(lái)若有任何數(shù)據(jù)更動(dòng)了,則原始數(shù)據(jù)會(huì)被搬移到快照區(qū),沒(méi)有被更動(dòng)的區(qū)域則由快照區(qū)與文件系統(tǒng)共享。用講的好像很難懂,我們用圖解說(shuō)明一下好了:


    圖 3.5.1、LVM 系統(tǒng)快照區(qū)域的備份示意圖(虛線為文件系統(tǒng),長(zhǎng)虛線為快照區(qū))

    左圖為最初建置系統(tǒng)快照區(qū)的狀況,LVM 會(huì)預(yù)留一個(gè)區(qū)域 (左圖的左側(cè)三個(gè) PE 區(qū)塊) 作為數(shù)據(jù)存放處。此時(shí)快照區(qū)內(nèi)并沒(méi)有任何數(shù)據(jù),而快照區(qū)與系統(tǒng)區(qū)共享所有的 PE 數(shù)據(jù),因此你會(huì)看到快照區(qū)的內(nèi)容與文件系統(tǒng)是一模一樣的。等到系統(tǒng)運(yùn)行一陣子后,假設(shè) A 區(qū)域的數(shù)據(jù)被更動(dòng)了 (上面右圖所示),則更動(dòng)前系統(tǒng)會(huì)將該區(qū)域的數(shù)據(jù)移動(dòng)到快照區(qū),所以在右圖的快照區(qū)被占用了一塊 PE 成為 A,而其他 B 到 I 的區(qū)塊則還是與文件系統(tǒng)共享!

    照這樣的情況來(lái)看,LVM 的系統(tǒng)快照是非常棒的『備份工具』,因?yàn)樗挥袀浞萦斜桓鼊?dòng)到的數(shù)據(jù),文件系統(tǒng)內(nèi)沒(méi)有被變更的數(shù)據(jù)依舊保持在原本的區(qū)塊內(nèi),但是 LVM 快照功能會(huì)知道那些數(shù)據(jù)放置在哪里,因此『快照』當(dāng)時(shí)的文件系統(tǒng)就得以『備份』下來(lái),且快照所占用的容量又非常小!所以您說(shuō),這不是很棒的工具又是什么?

    那么快照區(qū)要如何創(chuàng)建與使用呢?首先,由於快照區(qū)與原本的 LV 共享很多 PE 區(qū)塊,因此快照區(qū)與被快照的 LV 必須要在同一個(gè) VG 上頭。但是我們剛剛將 /dev/hda6 移除 vbirdvg了,目前 vbirdvg 剩下的容量為 0 !因此,在這個(gè)小節(jié)里面我們得要再加入 /dev/hda6 到我們的 VG 后,才能繼續(xù)創(chuàng)建快照區(qū)羅!底下的動(dòng)作趕緊再來(lái)玩玩看!


    • 快照區(qū)的創(chuàng)建

    底下的動(dòng)作主要在添加需要的 VG 容量,然后再透過(guò) lvcreate -s 的功能創(chuàng)建快照區(qū)

    # 1. 先觀察 VG 還剩下多少剩余容量 [root@www ~]# vgdisplay--- Volume group ---VG Name vbirdvg ....(其他省略)....VG Size 6.97 GBPE Size 16.00 MBTotal PE 446Alloc PE / Size 446 / 6.97 GB Free PE / Size 0 / 0 <==沒(méi)有多余的 PE 可用!# 2. 將剛剛移除的 /dev/hda6 加入這個(gè) VG 吧! [root@www ~]# pvcreate /dev/hda6Physical volume "/dev/hda6" successfully created [root@www ~]# vgextend vbirdvg /dev/hda6Volume group "vbirdvg" successfully extended [root@www ~]# vgdisplay--- Volume group ---VG Name vbirdvg ....(其他省略)....VG Size 8.36 GBPE Size 16.00 MBTotal PE 535Alloc PE / Size 446 / 6.97 GB Free PE / Size 89 / 1.39 GB <==多出了 89 個(gè) PE 可用羅!# 3. 利用 lvcreate 創(chuàng)建系統(tǒng)快照區(qū),我們?nèi)∶麨?vbirdss,且給予 60 個(gè) PE [root@www ~]# lvcreate -l 60 -s -n vbirdss /dev/vbirdvg/vbirdlvLogical volume "vbirdss" created # 上述的命令中最重要的是那個(gè) -s 的選項(xiàng)!代表是 snapshot 快照功能之意! # -n 后面接快照區(qū)的裝置名稱, /dev/.... 則是要被快照的 LV 完整檔名。 # -l 后面則是接使用多少個(gè) PE 來(lái)作為這個(gè)快照區(qū)使用。[root@www ~]# lvdisplay--- Logical volume ---LV Name /dev/vbirdvg/vbirdssVG Name vbirdvgLV UUID K2tJ5E-e9mI-89Gw-hKFd-4tRU-tRKF-oeB03aLV Write Access read/writeLV snapshot status active destination for /dev/vbirdvg/vbirdlvLV Status available# open 0 LV Size 6.97 GB <==被快照的原 LV 磁碟容量Current LE 446 COW-table size 960.00 MB <==快照區(qū)的實(shí)際容量COW-table LE 60 <==快照區(qū)占用的 PE 數(shù)量Allocated to snapshot 0.00%Snapshot chunk size 4.00 KBSegments 1Allocation inheritRead ahead sectors auto- currently set to 256Block device 253:1

    您看看!這個(gè) /dev/vbirdvg/vbirdss 快照區(qū)就被創(chuàng)建起來(lái)了!而且他的 VG 量竟然與原本的 /dev/vbirdvg/vbirdlv 相同!也就是說(shuō),如果你真的掛載這個(gè)裝置時(shí),看到的數(shù)據(jù)會(huì)跟原本的 vbirdlv 相同喔!我們就來(lái)測(cè)試看看:

    [root@www ~]# mkdir /mnt/snapshot [root@www ~]# mount /dev/vbirdvg/vbirdss /mnt/snapshot [root@www ~]# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/hda2 9920624 3859032 5549524 42% / /dev/hda3 4956316 1056996 3643488 23% /home /dev/hda1 101086 21408 74459 23% /boot tmpfs 371332 0 371332 0% /dev/shm /dev/mapper/vbirdvg-vbirdlv6955584 262632 6410328 4% /mnt/lvm /dev/mapper/vbirdvg-vbirdss6955584 262632 6410328 4% /mnt/snapshot # 有沒(méi)有看到!這兩個(gè)咚咚竟然是一模一樣喔!我們根本沒(méi)有動(dòng)過(guò) # /dev/vbirdvg/vbirdss 對(duì)吧!不過(guò)這里面會(huì)主動(dòng)記錄原 vbirdlv 的內(nèi)容![root@www ~]# umount /mnt/snapshot # 最后將他卸載!我們準(zhǔn)備來(lái)玩玩有趣的東西!


    • 利用快照區(qū)復(fù)原系統(tǒng)

    首先,我們來(lái)玩一下,如何利用快照區(qū)復(fù)原系統(tǒng)吧!不過(guò)你要注意的是,你要復(fù)原的數(shù)據(jù)量不能夠高於快照區(qū)所能負(fù)載的實(shí)際容量。由於原始數(shù)據(jù)會(huì)被搬移到快照區(qū),如果你的快照區(qū)不夠大,若原始數(shù)據(jù)被更動(dòng)的實(shí)際數(shù)據(jù)量比快照區(qū)大,那么快照區(qū)當(dāng)然容納不了,這時(shí)候快照功能會(huì)失效喔!所以上面的案例中鳥哥才給予 60 個(gè) PE (共 900MB) 作為快照區(qū)存放數(shù)據(jù)用。

    我們的 /mnt/lvm 已經(jīng)有 /mnt/lvm/etc, /mnt/lvm/log 等目錄了,接下來(lái)我們將這個(gè)文件系統(tǒng)的內(nèi)容作個(gè)變更,然后再以快照區(qū)數(shù)據(jù)還原看看:

    # 1. 先將原本的 /dev/vbirdvg/vbirdlv 內(nèi)容作些變更,增增減減一些目錄吧! [root@www ~]# df /mnt/lvm Filesystem 1K-blocks Used Available Use% Mounted on /dev/mapper/vbirdvg-vbirdlv6955584 262632 6410328 4% /mnt/lvm[root@www ~]# ll /mnt/lvm drwxr-xr-x 105 root root 12288 Mar 11 16:59 etc drwxr-xr-x 17 root root 4096 Mar 11 14:17 log drwx------ 2 root root 16384 Mar 11 16:59 lost+found[root@www ~]# rm -r /mnt/lvm/log [root@www ~]# cp -a /boot /lib /sbin /mnt/lvm [root@www ~]# ll /mnt/lvm drwxr-xr-x 4 root root 4096 Dec 15 16:28 boot drwxr-xr-x 105 root root 12288 Mar 11 16:59 etc drwxr-xr-x 14 root root 4096 Sep 5 2008 lib drwx------ 2 root root 16384 Mar 11 16:59 lost+found drwxr-xr-x 2 root root 12288 Sep 5 2008 sbin # 看起來(lái)數(shù)據(jù)已經(jīng)不一樣了![root@www ~]# lvdisplay /dev/vbirdvg/vbirdss--- Logical volume ---LV Name /dev/vbirdvg/vbirdssVG Name vbirdvg ....(中間省略).... Allocated to snapshot 12.22% ....(底下省略).... # 從這里也看得出來(lái),快照區(qū)已經(jīng)被使用了 12.22% !因?yàn)樵嫉奈募到y(tǒng)有異動(dòng)過(guò)!# 2. 利用快照區(qū)將原本的 filesystem 備份 [root@www ~]# mount /dev/vbirdvg/vbirdss /mnt/snapshot [root@www ~]# df Filesystem 1K-blocks Used Available Use% Mounted on /dev/mapper/vbirdvg-vbirdlv6955584 370472 6302488 6% /mnt/lvm /dev/mapper/vbirdvg-vbirdss6955584 262632 6410328 4% /mnt/snapshot # 看吧!兩者確實(shí)不一樣了!開(kāi)始將快照區(qū)內(nèi)容復(fù)制出來(lái)吧![root@www ~]# mkdir -p /backups <==確認(rèn)真的有這個(gè)目錄! [root@www ~]# cd /mnt/snapshot [root@www snapshot]# tar -jcv -f /backups/lvm.tar.bz2 * # 此時(shí)你就會(huì)有一個(gè)備份數(shù)據(jù),亦即是 /backups/lvm.tar.bz2 了!

    為什么要備份呢?為什么不可以直接格式化 /dev/vbirdvg/vbirdlv 然后將 /dev/vbirdvg/vbirdss 直接復(fù)制給 vbirdlv 呢?要知道 vbirdss 其實(shí)是 vbirdlv 的快照,因此如果你格式化整個(gè) vbirdlv 時(shí),原本的文件系統(tǒng)所有數(shù)據(jù)都會(huì)被搬移到 vbirdss。那如果 vbirdss 的容量不夠大 (通常也真的不夠大),那么部分?jǐn)?shù)據(jù)將無(wú)法復(fù)制到 vbirdss 內(nèi),數(shù)據(jù)當(dāng)然無(wú)法全部還原啊!所以才要在上面表格中制作出一個(gè)備份文件的!了解乎?

    而快照還有另外一個(gè)功能,就是你可以比對(duì) /mnt/lvm 與 /mnt/snapshot 的內(nèi)容,就能夠發(fā)現(xiàn)到最近你到底改了啥咚咚!這樣也是很不賴啊!您說(shuō)是吧! ^_^!接下來(lái)讓我們準(zhǔn)備還原 vbirdlv 的內(nèi)容吧!

    # 3. 將 vbirdss 卸載并移除 (因?yàn)槔锩娴膬?nèi)容已經(jīng)備份起來(lái)了) [root@www ~]# umount /mnt/snapshot [root@www ~]# lvremove /dev/vbirdvg/vbirdss Do you really want to remove active logical volume "vbirdss"? [y/n]: yLogical volume "vbirdss" successfully removed[root@www ~]# umount /mnt/lvm [root@www ~]# mkfs -t ext3 /dev/vbirdvg/vbirdlv [root@www ~]# mount /dev/vbirdvg/vbirdlv /mnt/lvm [root@www ~]# tar -jxv -f /backups/lvm.tar.bz2 -C /mnt/lvm [root@www ~]# ll /mnt/lvm drwxr-xr-x 105 root root 12288 Mar 11 16:59 etc drwxr-xr-x 17 root root 4096 Mar 11 14:17 log drwx------ 2 root root 16384 Mar 11 16:59 lost+found # 是否與最初的內(nèi)容相同啊!這就是透過(guò)快照來(lái)還原的一個(gè)簡(jiǎn)單的方法羅!


    • 利用快照區(qū)進(jìn)行各項(xiàng)練習(xí)與測(cè)試的任務(wù),再以原系統(tǒng)還原快照

    換個(gè)角度來(lái)想想,我們將原本的 vbirdlv 當(dāng)作備份數(shù)據(jù),然后將 vbirdss 當(dāng)作實(shí)際在運(yùn)行中的數(shù)據(jù),任何測(cè)試的動(dòng)作都在 vbirdss 這個(gè)快照區(qū)當(dāng)中測(cè)試,那么當(dāng)測(cè)試完畢要將測(cè)試的數(shù)據(jù)刪除時(shí),只要將快照區(qū)刪去即可!而要復(fù)制一個(gè) vbirdlv 的系統(tǒng),再作另外一個(gè)快照區(qū)即可!這樣是否非常方便啊?這對(duì)於教學(xué)環(huán)境中每年都要幫學(xué)生制作一個(gè)練習(xí)環(huán)境主機(jī)的測(cè)試,非常有幫助呢!

    Tips:
    以前鳥哥老是覺(jué)得使用 LVM 的快照來(lái)進(jìn)行備份不太合理,因?yàn)檫€要制作一個(gè)備份檔!后來(lái)仔細(xì)研究并參考徐秉義老師的教材(注3)后,才發(fā)現(xiàn) LVM 的快照實(shí)在是一個(gè)棒到不行的工具!尤其是在虛擬機(jī)器當(dāng)中建置多份給同學(xué)使用的測(cè)試環(huán)境,你只要有一個(gè)基礎(chǔ)的環(huán)境保持住,其他的環(huán)境使用快照來(lái)提供即可。即時(shí)同學(xué)將系統(tǒng)搞爛了,你只要將快照區(qū)刪除,再重建一個(gè)快照區(qū)!這樣環(huán)境就恢復(fù)了!天吶!實(shí)在是太棒了! ^_^
    # 1. 創(chuàng)建一個(gè)大一些的快照區(qū),讓我們將 /dev/hda6 的 PE 全部給快照區(qū)! [root@www ~]# lvcreate -s -l 89 -n vbirdss /dev/vbirdvg/vbirdlvLogical volume "vbirdss" created[root@www ~]# lvdisplay /dev/vbirdvg/vbirdss--- Logical volume ---LV Name /dev/vbirdvg/vbirdssVG Name vbirdvgLV UUID as0ocQ-KjRS-Bu7y-fYoD-1CHC-0V3Y-JYsjj1LV Write Access read/writeLV snapshot status active destination for /dev/vbirdvg/vbirdlvLV Status available# open 0LV Size 6.97 GBCurrent LE 446 COW-table size 1.39 GBCOW-table LE 89Allocated to snapshot 0.00%Snapshot chunk size 4.00 KBSegments 1Allocation inheritRead ahead sectors auto- currently set to 256Block device 253:1 # 如何!這個(gè)快照區(qū)不小吧!# 2. 隱藏 vbirdlv 掛載 vbirdss [root@www ~]# umount /mnt/lvm [root@www ~]# mount /dev/vbirdvg/vbirdss /mnt/snapshot [root@www ~]# df /mnt/snapshot Filesystem 1K-blocks Used Available Use% Mounted on /dev/mapper/vbirdvg-vbirdss7192504 265804 6561340 4% /mnt/snapshot# 3. 開(kāi)始惡搞! [root@www ~]# rm -r /mnt/snapshot/etc /mnt/snapshot/log [root@www ~]# cp -a /boot /lib /sbin /mnt/snapshot/ [root@www ~]# ll /mnt/snapshot drwxr-xr-x 4 root root 4096 Dec 15 16:28 boot drwxr-xr-x 14 root root 4096 Sep 5 2008 lib drwx------ 2 root root 16384 Mar 11 16:59 lost+found drwxr-xr-x 2 root root 12288 Sep 5 2008 sbin <==與原本數(shù)據(jù)有差異了[root@www ~]# mount /dev/vbirdvg/vbirdlv /mnt/lvm [root@www ~]# ll /mnt/lvm drwxr-xr-x 105 root root 12288 Mar 11 16:59 etc drwxr-xr-x 17 root root 4096 Mar 11 14:17 log drwx------ 2 root root 16384 Mar 11 16:59 lost+found # 不論你在快照區(qū)惡搞啥咚咚,原本的 vbirdlv 里面的數(shù)據(jù)安好如初啊! # 假設(shè)你將 vbirdss 搞爛了!里面的數(shù)據(jù)不再需要!那該如何是好?# 4. 還原原本快照區(qū)的數(shù)據(jù),回到與原文件系統(tǒng)相同的資訊 [root@www ~]# umount /mnt/snapshot [root@www ~]# lvremove /dev/vbirdvg/vbirdss Do you really want to remove active logical volume "vbirdss"? [y/n]: yLogical volume "vbirdss" successfully removed[root@www ~]# lvcreate -s -l 89 -n vbirdss /dev/vbirdvg/vbirdlv [root@www ~]# mount /dev/vbirdvg/vbirdss /mnt/snapshot [root@www ~]# ll /mnt/snapshot drwxr-xr-x 105 root root 12288 Mar 11 16:59 etc drwxr-xr-x 17 root root 4096 Mar 11 14:17 log drwx------ 2 root root 16384 Mar 11 16:59 lost+found # 數(shù)據(jù)這樣就復(fù)原了!

    老實(shí)說(shuō),上面的測(cè)試有點(diǎn)無(wú)厘頭~因?yàn)榭煺諈^(qū)損毀了就刪除再建一個(gè)就好啦!何必還要測(cè)試呢?不過(guò),為了讓您了解到快照區(qū)也能夠這樣使用,上面的測(cè)試還是需要存在的啦!未來(lái)如果你有接觸到虛擬機(jī)器,再回到這里來(lái)溫習(xí)一下肯定會(huì)有收獲的!


    LVM 相關(guān)命令匯整與 LVM 的關(guān)閉

    好了,我們將上述用過(guò)的一些命令給他匯整一下,提供給您參考參考:

    任務(wù)PV 階段VG 階段LV 階段
    搜尋(scan)pvscanvgscanlvscan
    創(chuàng)建(create)pvcreatevgcreatelvcreate
    列出(display)pvdisplayvgdisplaylvdisplay
    添加(extend)?vgextendlvextend (lvresize)
    減少(reduce)?vgreducelvreduce (lvresize)
    刪除(remove)pvremovevgremovelvremove
    改變?nèi)萘?resize)??lvresize
    改變屬性(attribute)pvchangevgchangelvchange

    至於文件系統(tǒng)階段 (filesystem 的格式化處理) 部分,還需要以 resize2fs 來(lái)修訂文件系統(tǒng)實(shí)際的大小才行啊! ^_^。至於雖然 LVM 可以彈性的管理你的磁碟容量,但是要注意,如果你想要使用 LVM 管理您的硬盤時(shí),那么在安裝的時(shí)候就得要做好 LVM 的規(guī)劃了,否則未來(lái)還是需要先以傳統(tǒng)的磁碟添加方式來(lái)添加后,移動(dòng)數(shù)據(jù)后,才能夠進(jìn)行 LVM 的使用啊!

    會(huì)玩 LVM 還不行!你必須要會(huì)移除系統(tǒng)內(nèi)的 LVM 喔!因?yàn)槟愕膶?shí)體 partition 已經(jīng)被使用到 LVM 去,如果你還沒(méi)有將 LVM 關(guān)閉就直接將那些 partition 刪除或轉(zhuǎn)為其他用途的話,系統(tǒng)是會(huì)發(fā)生很大的問(wèn)題的!所以羅,你必須要知道如何將 LVM 的裝置關(guān)閉并移除才行!會(huì)不會(huì)很難呢?其實(shí)不會(huì)啦!依據(jù)以下的流程來(lái)處理即可:

  • 先卸載系統(tǒng)上面的 LVM 文件系統(tǒng) (包括快照與所有 LV);
  • 使用 lvremove 移除 LV ;
  • 使用 vgchange -a n VGname 讓 VGname 這個(gè) VG 不具有 Active 的標(biāo)志;
  • 使用 vgremove 移除 VG:
  • 使用 pvremove 移除 PV;
  • 最后,使用 fdisk 修改 ID 回來(lái)啊!
  • 好吧!那就實(shí)際的將我們之前創(chuàng)建的所有 LVM 數(shù)據(jù)給刪除吧!

    [root@www ~]# umount /mnt/lvm [root@www ~]# umount /mnt/snapshot [root@www ~]# lvremove /dev/vbirdvg/vbirdss <==先處理快照 Do you really want to remove active logical volume "vbirdss"? [y/n]: yLogical volume "vbirdss" successfully removed [root@www ~]# lvremove /dev/vbirdvg/vbirdlv <==再處理原系統(tǒng) Do you really want to remove active logical volume "vbirdlv"? [y/n]: yLogical volume "vbirdlv" successfully removed[root@www ~]# vgchange -a n vbirdvg0 logical volume(s) in volume group "vbirdvg" now active[root@www ~]# vgremove vbirdvgVolume group "vbirdvg" successfully removed[root@www ~]# pvremove /dev/hda{6,7,8,9,10}Labels on physical volume "/dev/hda6" successfully wipedLabels on physical volume "/dev/hda7" successfully wipedLabels on physical volume "/dev/hda8" successfully wipedLabels on physical volume "/dev/hda9" successfully wipedLabels on physical volume "/dev/hda10" successfully wiped

    最后再用 fdisk 將磁碟的 ID 給他改回來(lái) 83 就好啦!整個(gè)過(guò)程就這樣的啦! ^_^


    重點(diǎn)回顧
    • Quota 可公平的分配系統(tǒng)上面的磁碟容量給使用者;分配的資源可以是磁碟容量(block)或可創(chuàng)建文件數(shù)量(inode);
    • Quota 的限制可以有 soft/hard/grace time 等重要項(xiàng)目;
    • Quota 僅能針對(duì)整個(gè) filesystem 進(jìn)行限制,不是針對(duì)目錄喔!
    • Quota 的使用必須要核心與文件系統(tǒng)均支持。文件系統(tǒng)的參數(shù)必須含有 usrquota, grpquota
    • Quota 實(shí)作的命令有 quotacheck, quotaon, edquota, repquota 等命令;
    • 磁盤陣列 (RAID) 有硬件與軟件之分,Linux 操作系統(tǒng)可支持軟件磁盤陣列,透過(guò) mdadm 套件來(lái)達(dá)成;
    • 磁盤陣列建置的考量依據(jù)為『容量』、『效能』、『數(shù)據(jù)可靠性』等;
    • 磁盤陣列所建置的等級(jí)常見(jiàn)有的 raid0, raid1, raid0+1, raid5 及 raid6
    • 硬件磁盤陣列的裝置檔名與 SCSI 相同,至於 software RAID 則為 /dev/md[0-9]
    • 軟件磁盤陣列的狀態(tài)可藉由 /proc/mdstat 文件來(lái)了解;
    • LVM 強(qiáng)調(diào)的是『彈性的變化文件系統(tǒng)的容量』;
    • 與 LVM 有關(guān)的組件有: PV/VG/PE/LV 等組件,可以被格式化者為 LV
    • LVM 擁有快照功能,快照可以記錄 LV 的數(shù)據(jù)內(nèi)容,并與原有的 LV 共享未更動(dòng)的數(shù)據(jù),備份與還原就變的很簡(jiǎn)單;
    • Ext3 透過(guò) resize2fs 命令,可以彈性的調(diào)整文件系統(tǒng)的大小

    本章習(xí)題
    ( 要看答案請(qǐng)將鼠標(biāo)移動(dòng)到『答:』底下的空白處,按下左鍵圈選空白處即可察看 )
    • 情境模擬題一:由於 LVM 可以彈性調(diào)整 filesystem 的大小,但是缺點(diǎn)是可能沒(méi)有加速與硬件備份(與快照不同)的功能。而磁盤陣列則具有效能與備份的功能,但是無(wú)法提供類似 LVM 的優(yōu)點(diǎn)。在此情境中,我們想利用『在 RAID 上面建置 LVM』的功能,以達(dá)到兩者兼顧的能力。

      • 目標(biāo):測(cè)試在 RAID 磁碟上面架構(gòu) LVM 系統(tǒng);
      • 需求:需要具有磁碟管理的能力,包括 RAID 與 LVM;
      • 前提:將本章與之前章節(jié)練習(xí)所制作的分割槽全部刪除,剩下默認(rèn)的分割槽即可。

      那要如何處理呢?如下的流程一個(gè)步驟一個(gè)步驟的實(shí)施看看吧:

    • 復(fù)原系統(tǒng)時(shí),你必須要:

      • 利用 umount 先卸載之前掛載的文件系統(tǒng);
      • 修改 /etc/fstab 里面的數(shù)據(jù),讓啟動(dòng)不會(huì)自動(dòng)掛載;
      • 利用 fdisk 將該分割槽刪除。

      最終你的系統(tǒng)應(yīng)該會(huì)只剩下如下的模樣:
      [root@www ~]# fdisk -lDevice Boot Start End Blocks Id System /dev/hda1 * 1 13 104391 83 Linux /dev/hda2 14 1288 10241437+ 83 Linux /dev/hda3 1289 1925 5116702+ 83 Linux /dev/hda4 1926 9382 59898352+ 5 Extended /dev/hda5 1926 2052 1020096 82 Linux swap / Solaris

    • 創(chuàng)建 RAID ,假設(shè)我們利用五個(gè) 1GB 的分割槽創(chuàng)建 RAID-5 ,且具有一個(gè) spare disk ,那么你應(yīng)該要如何進(jìn)行?首先,請(qǐng)自行使用 fdisk 建置好如下的分割槽狀態(tài):
      [root@www ~]# fdisk -l ....(前面省略).... /dev/hda6 2053 2175 987966 83 Linux /dev/hda7 2176 2298 987966 83 Linux /dev/hda8 2299 2421 987966 83 Linux /dev/hda9 2422 2544 987966 83 Linux /dev/hda10 2545 2667 987966 83 Linux
      接下來(lái)開(kāi)始創(chuàng)建 RAID 吧!創(chuàng)建的方法可以如下簡(jiǎn)單處理即可:
      [root@www ~]# mdadm --create --auto=yes /dev/md0 --level=5 \ > --raid-devices=4 --spare-devices=1 /dev/hda{6,7,8,9,10}
      若無(wú)出現(xiàn)任何錯(cuò)誤信息,此時(shí)你已經(jīng)具有 /dev/md0 這個(gè)磁盤陣列裝置了!接下來(lái)讓我們處理 LVM 吧!

    • 開(kāi)始處理 LVM ,現(xiàn)在我們假設(shè)所有的參數(shù)都使用默認(rèn)值,包括 PE ,然后 VG 名為 raidvg ,LV 名為raidlv ,底下為基本的流程:
      [root@www ~]# pvcreate /dev/md0 <==創(chuàng)建 PV [root@www ~]# vgcreate raidvg /dev/md0 <==創(chuàng)建 VG [root@www ~]# lvcreate -L 2.82G -n raidlv raidvg <==創(chuàng)建 LM [root@www ~]# lvdisplay--- Logical volume ---LV Name /dev/raidvg/raidlvVG Name raidvgLV UUID zQsKqW-8Bt2-kpJF-8rCI-Cql1-XQYT-jw1mfHLV Write Access read/writeLV Status available# open 0LV Size 2.82 GBCurrent LE 722Segments 1Allocation inheritRead ahead sectors auto- currently set to 256Block device 253:0
      這樣就搞定了 LVM 了!而且這個(gè) LVM 是架構(gòu)在 /dev/md0 上面的喔!然后就是文件系統(tǒng)的創(chuàng)建與掛載了!

    • 嘗試創(chuàng)建成為 Ext3 文件系統(tǒng),且掛載到 /mnt/raidlvm 目錄下:
      [root@www ~]# mkfs -t ext3 /dev/raidvg/raidlv [root@www ~]# mkdir /mnt/raidlvm [root@www ~]# mount /dev/raidvg/raidlv /mnt/raidlvm

    • 上述就是 LVM 架構(gòu)在 RAID 上面的技巧,之后的動(dòng)作都能夠使用本章的其他管理方式來(lái)管理,包括 RAID 熱拔插機(jī)制、LVM 放大縮小機(jī)制等等。測(cè)試完畢之后請(qǐng)務(wù)必要關(guān)閉本題所創(chuàng)建的各項(xiàng)資訊。
      [root@www ~]# umount /mnt/raidlvm <==卸載文件系統(tǒng) [root@www ~]# lvremove /dev/raidvg/raidlv <==移除 LV [root@www ~]# vgchange -a n raidvg <==讓 VG 不活動(dòng) [root@www ~]# vgremove raidvg <==移除 VG [root@www ~]# pvremove /dev/md0 <==移除 PV [root@www ~]# mdadm --stop /dev/md0 <==關(guān)閉 /dev/md0 RAID [root@www ~]# fdisk /dev/hda <==還原原本的分割槽

    簡(jiǎn)答題部分:
    • 在前一章的第一個(gè)大量新增帳號(hào)范例中,如果我想要讓每個(gè)用戶均具有 soft/hard 各為 40MB/50MB 的容量時(shí),應(yīng)該如何修改這個(gè) script ? 你得先要依據(jù)本章的作法,先將 /home 制作好 quota 的環(huán)境然后,你可以在 do...done 內(nèi)的最后一行,新增一行內(nèi)容為:
      setquota -u $username 40000 50000 0 0 /home
      這樣就可以在制作用戶時(shí),指定升級(jí)口令且給予 quota 的限制!
    • 如果我想要讓 RAID 具有保護(hù)數(shù)據(jù)的功能,防止因?yàn)橛布p毀而導(dǎo)致數(shù)據(jù)的遺失,那我應(yīng)該要選擇的 RAID 等級(jí)可能有哪些?(請(qǐng)以本章談到的等級(jí)來(lái)思考即可) 具有備份數(shù)據(jù)的有: RAID-1, RAID-5, RAID-6
    • 在默認(rèn)的 LVM 配置中,請(qǐng)問(wèn) LVM 能否具有『備份』的功能? 是有的,就是那個(gè)快照 (snopshot) 的功能,此功能即可進(jìn)行數(shù)據(jù)的備份!
    • LVM 內(nèi)的 LV 據(jù)說(shuō)僅能達(dá)到 256 GB 的容量,請(qǐng)問(wèn)如何克服此一容量問(wèn)題? LV 的容量與 PE 這個(gè)數(shù)據(jù)有關(guān),由於默認(rèn) PE 為 4MB ,所以才會(huì)有此限制。若要修改這個(gè)限制值,則需要在建置 VG 時(shí)就給予 -s 的選項(xiàng)來(lái)進(jìn)行 PE 數(shù)值的配置。若給到 PE = 16MB 時(shí),則 LV 的最大總量就能夠達(dá)到 1TB 的容量了。
    • 如果你的計(jì)算機(jī)主機(jī)有提供 RAID 0 的功能,你將你的三顆硬盤全部在 BIOS 階段使用 RAID 芯片整合成為一顆大磁碟,則此磁碟在 Linux 系統(tǒng)當(dāng)中的檔名為何? 由於硬件磁盤陣列是在 BIOS 階段完成的,因此 Linux 系統(tǒng)會(huì)捉到一個(gè)完整的大的 RAID 磁碟,此磁碟的檔名就會(huì)是『 /dev/sda 』!

    參考數(shù)據(jù)與延伸閱讀
    • 注1:若想對(duì) RAID 有更深入的認(rèn)識(shí),可以參考底下的連結(jié)與書目:
      http://www.tldp.org/HOWTO/Software-RAID-HOWTO.html
      楊振和、『操作系統(tǒng)導(dǎo)論:第十一章』、學(xué)貫出版社,2006
    • 注2:詳細(xì)的 mdstat 說(shuō)明也可以參考如下網(wǎng)頁(yè):
      http://linux-raid.osdl.org/index.php/Mdstat
    • 注3:徐秉義老師在網(wǎng)管人雜志 (http://www.babyface.idv.tw/NetAdmin/) 的投稿文章:
      磁碟管理:SoftRAID 與 LVM 綜合實(shí)做應(yīng)用 (上)
      http://www.babyface.idv.tw/NetAdmin/16200705SoftRAIDLVM01/
      磁碟管理:SoftRAID 與 LVM 綜合實(shí)做應(yīng)用 (下)
      http://www.babyface.idv.tw/NetAdmin/18200707SoftRAIDLVM02/

    2002/07/14:第一次完成
    2003/02/10:重新編排與加入 FAQ
    2003/09/02:加入 quotacheck 發(fā)生錯(cuò)誤時(shí)的解決方法。
    2005/09/06:將舊的文章移動(dòng)到 此處 。
    2005/09/06:進(jìn)行版面風(fēng)格的轉(zhuǎn)換,并且進(jìn)行數(shù)據(jù)的查詢,加入 repquota 的簡(jiǎn)單說(shuō)明而已!
    2009/03/04:將原本舊的基於 FC4 的文件移動(dòng)到 此處 。
    2009/03/06:加入 warnquota 這玩意兒!挺有趣的哩!
    2009/03/12:加入了 software RAID 與 LVM 的加強(qiáng)說(shuō)明,尤其是 LVM 的快照 (snapshot) 的說(shuō)明!

    2009/09/10:修改一些字樣之外,添加情境模擬,以及后續(xù)的簡(jiǎn)答題部分題目。


    出處:http://vbird.dic.ksu.edu.tw/linux_basic/0420quota.php

    總結(jié)

    以上是生活随笔為你收集整理的鸟哥的Linux私房菜(基础篇)- 第十五章、磁碟配额(Quota)与进阶文件系统管理的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。

    如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò),歡迎將生活随笔推薦給好友。

    中文字幕无码视频专区 | 未满成年国产在线观看 | 熟女少妇人妻中文字幕 | 在线精品国产一区二区三区 | 97se亚洲精品一区 | 久久久久久亚洲精品a片成人 | 一本大道伊人av久久综合 | av无码久久久久不卡免费网站 | 国产精品无码成人午夜电影 | 狂野欧美性猛交免费视频 | 久久久av男人的天堂 | 色妞www精品免费视频 | 亚洲国产精品无码久久久久高潮 | 九九在线中文字幕无码 | 久久国产精品精品国产色婷婷 | 老子影院午夜伦不卡 | 极品尤物被啪到呻吟喷水 | 麻豆国产人妻欲求不满 | 亚洲精品国偷拍自产在线观看蜜桃 | 国产无av码在线观看 | 亚洲aⅴ无码成人网站国产app | 中文字幕人妻无码一夲道 | 荫蒂添的好舒服视频囗交 | 国产极品视觉盛宴 | 无码精品国产va在线观看dvd | www国产精品内射老师 | 免费看男女做好爽好硬视频 | 女人色极品影院 | 久久久av男人的天堂 | 少妇人妻偷人精品无码视频 | 亚洲精品国偷拍自产在线麻豆 | 亚洲精品久久久久久久久久久 | 国产国语老龄妇女a片 | 波多野结衣一区二区三区av免费 | 捆绑白丝粉色jk震动捧喷白浆 | 亚洲日韩av一区二区三区四区 | 人妻人人添人妻人人爱 | 久久亚洲日韩精品一区二区三区 | 伊人色综合久久天天小片 | 美女黄网站人色视频免费国产 | 日本精品少妇一区二区三区 | 欧洲美熟女乱又伦 | 性做久久久久久久久 | 日本精品人妻无码免费大全 | 在线精品国产一区二区三区 | 免费网站看v片在线18禁无码 | 国产亚洲精品久久久久久久 | 中文字幕久久久久人妻 | 亚洲精品综合一区二区三区在线 | 欧美日韩一区二区综合 | 国产亚洲人成a在线v网站 | 人人妻在人人 | 国产精品亚洲一区二区三区喷水 | 精品人妻人人做人人爽夜夜爽 | 宝宝好涨水快流出来免费视频 | 精品国产青草久久久久福利 | 欧洲精品码一区二区三区免费看 | 图片小说视频一区二区 | 国产热a欧美热a在线视频 | 麻豆成人精品国产免费 | 天堂亚洲免费视频 | 国产精品久久久久久亚洲影视内衣 | 荡女精品导航 | 欧美日韩一区二区综合 | 日韩人妻无码一区二区三区久久99 | 麻豆果冻传媒2021精品传媒一区下载 | 国产麻豆精品一区二区三区v视界 | 国产精品无码mv在线观看 | 亚洲s码欧洲m码国产av | 麻豆av传媒蜜桃天美传媒 | 婷婷丁香六月激情综合啪 | 四虎国产精品免费久久 | 伊人久久大香线蕉亚洲 | 国内精品一区二区三区不卡 | 中文字幕无码免费久久99 | 荫蒂添的好舒服视频囗交 | 国产精品久久国产精品99 | 天堂久久天堂av色综合 | 人人爽人人澡人人高潮 | 西西人体www44rt大胆高清 | 国产精品va在线播放 | 日韩欧美中文字幕公布 | 人妻少妇精品无码专区二区 | 奇米影视7777久久精品人人爽 | 国产亚洲精品久久久久久久 | 色一情一乱一伦一区二区三欧美 | 国产无遮挡吃胸膜奶免费看 | 国产成人无码av在线影院 | 麻豆国产人妻欲求不满 | 精品成人av一区二区三区 | 奇米影视7777久久精品 | 国产精品久久久久9999小说 | 国产一精品一av一免费 | 欧洲vodafone精品性 | 99麻豆久久久国产精品免费 | 粉嫩少妇内射浓精videos | ass日本丰满熟妇pics | 久久综合香蕉国产蜜臀av | 亚洲一区av无码专区在线观看 | 久久视频在线观看精品 | 亚洲精品国偷拍自产在线麻豆 | 丰满少妇人妻久久久久久 | 中文字幕无码人妻少妇免费 | 国产精品久久福利网站 | 亚洲欧洲日本综合aⅴ在线 | 夜夜影院未满十八勿进 | 乱中年女人伦av三区 | 丰腴饱满的极品熟妇 | 97夜夜澡人人双人人人喊 | 人人妻人人澡人人爽欧美一区九九 | 亚洲色www成人永久网址 | 欧洲vodafone精品性 | 在线亚洲高清揄拍自拍一品区 | 麻豆精品国产精华精华液好用吗 | 青青草原综合久久大伊人精品 | 久久国产自偷自偷免费一区调 | 国产凸凹视频一区二区 | 精品国产精品久久一区免费式 | 日韩欧美成人免费观看 | 国产无遮挡吃胸膜奶免费看 | 亚洲综合在线一区二区三区 | 亚洲人成网站色7799 | 男女性色大片免费网站 | 极品嫩模高潮叫床 | 国产精品人人爽人人做我的可爱 | 亚洲日韩av片在线观看 | 无码一区二区三区在线 | 永久免费观看国产裸体美女 | 日本在线高清不卡免费播放 | 亚洲理论电影在线观看 | 亚洲の无码国产の无码步美 | 国产特级毛片aaaaaa高潮流水 | 中文字幕日韩精品一区二区三区 | 无码av岛国片在线播放 | 亚洲码国产精品高潮在线 | 四虎4hu永久免费 | 娇妻被黑人粗大高潮白浆 | 色噜噜亚洲男人的天堂 | 东京无码熟妇人妻av在线网址 | 日日摸天天摸爽爽狠狠97 | 撕开奶罩揉吮奶头视频 | 精品欧美一区二区三区久久久 | 波多野42部无码喷潮在线 | 无码帝国www无码专区色综合 | 中文无码精品a∨在线观看不卡 | 中文无码精品a∨在线观看不卡 | 免费无码的av片在线观看 | 国产精品丝袜黑色高跟鞋 | 永久免费精品精品永久-夜色 | 日本一卡2卡3卡四卡精品网站 | 在线亚洲高清揄拍自拍一品区 | 18黄暴禁片在线观看 | 国产成人人人97超碰超爽8 | 国产国语老龄妇女a片 | 亚洲va中文字幕无码久久不卡 | 国产sm调教视频在线观看 | 免费无码一区二区三区蜜桃大 | 亚洲天堂2017无码 | √天堂中文官网8在线 | 亚洲精品国偷拍自产在线麻豆 | 欧美成人家庭影院 | 国产内射老熟女aaaa | 久久国产精品萌白酱免费 | 亚洲の无码国产の无码影院 | 嫩b人妻精品一区二区三区 | 捆绑白丝粉色jk震动捧喷白浆 | 纯爱无遮挡h肉动漫在线播放 | 国产成人精品久久亚洲高清不卡 | 日韩少妇白浆无码系列 | 亚洲第一网站男人都懂 | 丰满少妇人妻久久久久久 | 少妇一晚三次一区二区三区 | 黑人巨大精品欧美黑寡妇 | 曰本女人与公拘交酡免费视频 | 精品厕所偷拍各类美女tp嘘嘘 | 精品熟女少妇av免费观看 | 成在人线av无码免费 | 精品偷自拍另类在线观看 | 丰满人妻翻云覆雨呻吟视频 | 无码人妻出轨黑人中文字幕 | 亚洲一区二区三区国产精华液 | 无码国模国产在线观看 | 亚洲精品www久久久 | 免费国产黄网站在线观看 | 国产成人无码一二三区视频 | 捆绑白丝粉色jk震动捧喷白浆 | 国内精品人妻无码久久久影院蜜桃 | 日本va欧美va欧美va精品 | 国产人妻精品一区二区三区 | 奇米影视7777久久精品人人爽 | 日本饥渴人妻欲求不满 | 国产小呦泬泬99精品 | 99久久人妻精品免费一区 | 欧美日韩视频无码一区二区三 | yw尤物av无码国产在线观看 | 日本丰满熟妇videos | 久久久久久亚洲精品a片成人 | 国产九九九九九九九a片 | 久久久久亚洲精品男人的天堂 | 国产精品99久久精品爆乳 | 初尝人妻少妇中文字幕 | 久精品国产欧美亚洲色aⅴ大片 | 香蕉久久久久久av成人 | 美女张开腿让人桶 | 日产精品99久久久久久 | 久久精品国产99久久6动漫 | 狠狠色丁香久久婷婷综合五月 | 无码人妻久久一区二区三区不卡 | 无码av岛国片在线播放 | 色婷婷香蕉在线一区二区 | 欧美一区二区三区视频在线观看 | 亚洲熟熟妇xxxx | 亚洲日本va午夜在线电影 | 精品国产麻豆免费人成网站 | 国产成人精品优优av | 国产特级毛片aaaaaaa高清 | 久久天天躁夜夜躁狠狠 | 中文字幕乱码中文乱码51精品 | 少妇久久久久久人妻无码 | 国产高清av在线播放 | 性生交大片免费看l | 3d动漫精品啪啪一区二区中 | 亚洲一区av无码专区在线观看 | 中文字幕av日韩精品一区二区 | 激情内射亚州一区二区三区爱妻 | 精品乱码久久久久久久 | 亚洲成av人片天堂网无码】 | 久久久久久av无码免费看大片 | 噜噜噜亚洲色成人网站 | 极品嫩模高潮叫床 | 在线播放无码字幕亚洲 | 日韩成人一区二区三区在线观看 | 中文字幕无码免费久久99 | 色一情一乱一伦 | 国产热a欧美热a在线视频 | 亚洲国产欧美在线成人 | 成人欧美一区二区三区 | 熟女体下毛毛黑森林 | 99久久久无码国产aaa精品 | 国产超级va在线观看视频 | 在线看片无码永久免费视频 | 久久综合九色综合欧美狠狠 | 领导边摸边吃奶边做爽在线观看 | 麻豆国产97在线 | 欧洲 | 欧美日韩在线亚洲综合国产人 | 成人毛片一区二区 | 中文字幕乱妇无码av在线 | 国产肉丝袜在线观看 | 在线观看国产午夜福利片 | 免费观看的无遮挡av | 人人爽人人澡人人人妻 | 欧美日韩一区二区综合 | 欧美真人作爱免费视频 | 7777奇米四色成人眼影 | 国产无套粉嫩白浆在线 | 国内精品久久毛片一区二区 | 夜夜躁日日躁狠狠久久av | 午夜嘿嘿嘿影院 | 亚洲精品一区二区三区大桥未久 | 国产99久久精品一区二区 | 日产精品99久久久久久 | 久久99久久99精品中文字幕 | 日韩人妻少妇一区二区三区 | 人妻体内射精一区二区三四 | 国产极品视觉盛宴 | 任你躁在线精品免费 | 精品久久久无码人妻字幂 | 台湾无码一区二区 | 色综合视频一区二区三区 | 99精品无人区乱码1区2区3区 | 牲欲强的熟妇农村老妇女视频 | 一本久道久久综合婷婷五月 | 男人的天堂av网站 | 久精品国产欧美亚洲色aⅴ大片 | 牲欲强的熟妇农村老妇女视频 | 精品人妻av区 | 99久久久无码国产aaa精品 | 99久久久无码国产aaa精品 | 全球成人中文在线 | 国产亚洲精品久久久闺蜜 | 国产午夜视频在线观看 | 丰满人妻翻云覆雨呻吟视频 | 大色综合色综合网站 | 国产人妻久久精品二区三区老狼 | 久久久久久久久蜜桃 | 国产色精品久久人妻 | 国产精品对白交换视频 | 性欧美疯狂xxxxbbbb | 男人扒开女人内裤强吻桶进去 | 无码人妻出轨黑人中文字幕 | 无码国产乱人伦偷精品视频 | 超碰97人人做人人爱少妇 | 日韩av无码一区二区三区不卡 | 成人毛片一区二区 | 国产精品毛片一区二区 | 九月婷婷人人澡人人添人人爽 | 午夜福利一区二区三区在线观看 | 国产精品毛片一区二区 | 熟女少妇人妻中文字幕 | 久久熟妇人妻午夜寂寞影院 | 少妇太爽了在线观看 | 好爽又高潮了毛片免费下载 | 撕开奶罩揉吮奶头视频 | 亚洲熟妇色xxxxx欧美老妇 | 日日摸天天摸爽爽狠狠97 | 国产成人精品一区二区在线小狼 | 樱花草在线播放免费中文 | 亚洲精品国产精品乱码不卡 | 久久国语露脸国产精品电影 | 欧美日韩一区二区综合 | 亚洲成a人片在线观看日本 | 精品熟女少妇av免费观看 | 亚洲中文字幕在线无码一区二区 | 亚洲の无码国产の无码步美 | 国产一区二区三区影院 | 亚洲色偷偷男人的天堂 | 成人免费视频一区二区 | 欧美性猛交xxxx富婆 | 国产区女主播在线观看 | 国产xxx69麻豆国语对白 | 三上悠亚人妻中文字幕在线 | 亚洲成av人综合在线观看 | 欧美阿v高清资源不卡在线播放 | 丰满人妻一区二区三区免费视频 | 九九热爱视频精品 | 少妇性荡欲午夜性开放视频剧场 | 97久久超碰中文字幕 | 久久久久久a亚洲欧洲av冫 | 久久无码人妻影院 | 色婷婷久久一区二区三区麻豆 | 国产精品久久久久无码av色戒 | 精品无人国产偷自产在线 | 国产欧美亚洲精品a | 天天燥日日燥 | 老子影院午夜伦不卡 | 亚洲精品一区二区三区婷婷月 | 午夜理论片yy44880影院 | 午夜熟女插插xx免费视频 | 亚洲区欧美区综合区自拍区 | 自拍偷自拍亚洲精品被多人伦好爽 | 精品人人妻人人澡人人爽人人 | 亚洲中文字幕久久无码 | aⅴ在线视频男人的天堂 | 日韩av无码一区二区三区 | 婷婷丁香六月激情综合啪 | 99久久精品无码一区二区毛片 | 日本饥渴人妻欲求不满 | 国产极品美女高潮无套在线观看 | 国色天香社区在线视频 | 国产麻豆精品一区二区三区v视界 | 亚洲另类伦春色综合小说 | 国产办公室秘书无码精品99 | 大地资源网第二页免费观看 | 97无码免费人妻超级碰碰夜夜 | 国产后入清纯学生妹 | 国产av无码专区亚洲awww | 色婷婷久久一区二区三区麻豆 | 俄罗斯老熟妇色xxxx | 东京一本一道一二三区 | 成人无码精品一区二区三区 | 亚洲另类伦春色综合小说 | 99久久精品无码一区二区毛片 | 久久久久成人精品免费播放动漫 | 国产精品国产三级国产专播 | 国产成人无码av在线影院 | 国产xxx69麻豆国语对白 | 亚洲色大成网站www国产 | 亚洲乱码国产乱码精品精 | 搡女人真爽免费视频大全 | 在线视频网站www色 | 日本饥渴人妻欲求不满 | 欧美日本精品一区二区三区 | 亚洲熟熟妇xxxx | 日日鲁鲁鲁夜夜爽爽狠狠 | 国产精品第一区揄拍无码 | 成人无码视频在线观看网站 | 婷婷丁香五月天综合东京热 | 99久久精品日本一区二区免费 | 国内精品人妻无码久久久影院蜜桃 | 成人精品一区二区三区中文字幕 | 熟妇激情内射com | 国产午夜精品一区二区三区嫩草 | 无码任你躁久久久久久久 | 亲嘴扒胸摸屁股激烈网站 | 强辱丰满人妻hd中文字幕 | 欧美日本日韩 | 天天综合网天天综合色 | 波多野结衣av在线观看 | 国产成人综合在线女婷五月99播放 | 成人精品一区二区三区中文字幕 | 亚洲午夜福利在线观看 | 少妇太爽了在线观看 | 中文字幕av无码一区二区三区电影 | 亚洲成a人一区二区三区 | 免费中文字幕日韩欧美 | 亚洲日韩一区二区 | 人妻夜夜爽天天爽三区 | 亚洲自偷精品视频自拍 | 无码一区二区三区在线观看 | 色综合久久88色综合天天 | 日本精品人妻无码免费大全 | 亚洲中文字幕在线无码一区二区 | 亚洲人亚洲人成电影网站色 | 中文字幕无码av波多野吉衣 | 又湿又紧又大又爽a视频国产 | 国产另类ts人妖一区二区 | 巨爆乳无码视频在线观看 | 久久人妻内射无码一区三区 | 国产精品无码一区二区桃花视频 | 麻豆精品国产精华精华液好用吗 | 少妇性荡欲午夜性开放视频剧场 | 日本护士xxxxhd少妇 | 天天综合网天天综合色 | 国产亚洲精品久久久ai换 | 亚洲大尺度无码无码专区 | 久久精品人妻少妇一区二区三区 | 5858s亚洲色大成网站www | 国产偷国产偷精品高清尤物 | 国产成人精品优优av | 亚洲 日韩 欧美 成人 在线观看 | 美女毛片一区二区三区四区 | 久久综合网欧美色妞网 | 精品成在人线av无码免费看 | 国产精品高潮呻吟av久久 | 日本又色又爽又黄的a片18禁 | 亚洲综合另类小说色区 | 久久久婷婷五月亚洲97号色 | 日韩无套无码精品 | 亚洲精品成人av在线 | 国产特级毛片aaaaaaa高清 | 无码人妻少妇伦在线电影 | 国产精品无码成人午夜电影 | 中文字幕人妻丝袜二区 | 无码人妻出轨黑人中文字幕 | 国产口爆吞精在线视频 | 久久亚洲国产成人精品性色 | 精品欧美一区二区三区久久久 | 国产69精品久久久久app下载 | 少妇激情av一区二区 | 日韩人妻少妇一区二区三区 | 久久午夜无码鲁丝片 | 99久久精品午夜一区二区 | 欧洲欧美人成视频在线 | 亚洲日韩av一区二区三区四区 | 波多野结衣 黑人 | 亚洲日韩av片在线观看 | 国产激情综合五月久久 | 十八禁真人啪啪免费网站 | 玩弄少妇高潮ⅹxxxyw | 久久精品人妻少妇一区二区三区 | 亚洲爆乳大丰满无码专区 | 奇米影视7777久久精品人人爽 | 亚洲精品一区二区三区婷婷月 | 国内精品久久毛片一区二区 | 久久国产自偷自偷免费一区调 | 熟女体下毛毛黑森林 | 亚洲色在线无码国产精品不卡 | 日本精品人妻无码免费大全 | 无码成人精品区在线观看 | 牲欲强的熟妇农村老妇女 | 在线a亚洲视频播放在线观看 | 国产在线一区二区三区四区五区 | 18黄暴禁片在线观看 | 日本大乳高潮视频在线观看 | 久久久久av无码免费网 | 国精产品一品二品国精品69xx | 精品熟女少妇av免费观看 | 1000部啪啪未满十八勿入下载 | 国产综合色产在线精品 | 99精品国产综合久久久久五月天 | 女人被男人爽到呻吟的视频 | 国内精品久久久久久中文字幕 | 欧美 丝袜 自拍 制服 另类 | 成人欧美一区二区三区黑人 | 曰本女人与公拘交酡免费视频 | 98国产精品综合一区二区三区 | 日韩人妻无码一区二区三区久久99 | 国内揄拍国内精品少妇国语 | 免费网站看v片在线18禁无码 | 中文字幕精品av一区二区五区 | 精品少妇爆乳无码av无码专区 | 久久99精品久久久久久动态图 | 久久亚洲精品中文字幕无男同 | 亚洲精品欧美二区三区中文字幕 | 久久99精品久久久久久动态图 | 丰满护士巨好爽好大乳 | 中文字幕久久久久人妻 | 久久国产自偷自偷免费一区调 | 国产成人综合美国十次 | 色综合久久久无码网中文 | 搡女人真爽免费视频大全 | 午夜免费福利小电影 | 久久久久99精品成人片 | 在线观看欧美一区二区三区 | 国产亚洲精品久久久ai换 | 色偷偷人人澡人人爽人人模 | 国产一区二区不卡老阿姨 | 精品国产国产综合精品 | 成人免费无码大片a毛片 | 久久人妻内射无码一区三区 | 51国偷自产一区二区三区 | 永久免费观看美女裸体的网站 | 久久综合狠狠综合久久综合88 | 成年美女黄网站色大免费视频 | 天下第一社区视频www日本 | 国产特级毛片aaaaaaa高清 | 动漫av网站免费观看 | 国产乱子伦视频在线播放 | 奇米影视7777久久精品 | 成熟妇人a片免费看网站 | 欧美猛少妇色xxxxx | 任你躁在线精品免费 | 99久久久无码国产精品免费 | 国产熟妇另类久久久久 | 成人精品一区二区三区中文字幕 | 成人无码精品一区二区三区 | 欧美成人高清在线播放 | 国产精品第一区揄拍无码 | 又色又爽又黄的美女裸体网站 | 狠狠综合久久久久综合网 | 国产精品视频免费播放 | 日欧一片内射va在线影院 | 无码人妻丰满熟妇区五十路百度 | 日本xxxx色视频在线观看免费 | 亚洲精品久久久久avwww潮水 | 亚洲中文字幕无码中字 | 精品无人国产偷自产在线 | 中国女人内谢69xxxxxa片 | 成年美女黄网站色大免费全看 | 蜜桃视频韩日免费播放 | а天堂中文在线官网 | 国产片av国语在线观看 | √8天堂资源地址中文在线 | 久久久久国色av免费观看性色 | 香蕉久久久久久av成人 | 99久久精品无码一区二区毛片 | 久久久久人妻一区精品色欧美 | 人妻与老人中文字幕 | 亚洲午夜福利在线观看 | 国语自产偷拍精品视频偷 | 亚洲日韩精品欧美一区二区 | 国产黑色丝袜在线播放 | 亚洲欧洲日本无在线码 | 成人aaa片一区国产精品 | 国产激情无码一区二区 | 天天综合网天天综合色 | 18无码粉嫩小泬无套在线观看 | 一本久道高清无码视频 | 18无码粉嫩小泬无套在线观看 | 国产综合在线观看 | 天堂亚洲免费视频 | 免费人成在线观看网站 | 亚洲精品久久久久中文第一幕 | 精品国产青草久久久久福利 | 任你躁国产自任一区二区三区 | 理论片87福利理论电影 | 久久这里只有精品视频9 | 美女毛片一区二区三区四区 | 国产精品久久精品三级 | 久在线观看福利视频 | 久久久国产一区二区三区 | 纯爱无遮挡h肉动漫在线播放 | 亚洲精品欧美二区三区中文字幕 | 亚洲男女内射在线播放 | 亚洲啪av永久无码精品放毛片 | 成人试看120秒体验区 | 四十如虎的丰满熟妇啪啪 | 国产国语老龄妇女a片 | 无码精品人妻一区二区三区av | 欧美人与物videos另类 | 欧美亚洲日韩国产人成在线播放 | 久久久精品成人免费观看 | 欧美黑人巨大xxxxx | 亚洲综合伊人久久大杳蕉 | 亚洲一区二区三区在线观看网站 | 三级4级全黄60分钟 | 国内精品久久久久久中文字幕 | 亚洲成a人一区二区三区 | 丰满肥臀大屁股熟妇激情视频 | 久久精品中文字幕一区 | 亚洲国产日韩a在线播放 | 久久视频在线观看精品 | 亚洲gv猛男gv无码男同 | 中文字幕无码av激情不卡 | 亚洲 a v无 码免 费 成 人 a v | 久久视频在线观看精品 | 永久黄网站色视频免费直播 | 日本xxxx色视频在线观看免费 | 无码人妻av免费一区二区三区 | 日日天干夜夜狠狠爱 | 亚洲色大成网站www国产 | 精品一区二区不卡无码av | 天天摸天天碰天天添 | 色狠狠av一区二区三区 | 国产农村乱对白刺激视频 | 国产精品资源一区二区 | 亚洲 激情 小说 另类 欧美 | 国产精品99久久精品爆乳 | 国产熟妇另类久久久久 | 狠狠躁日日躁夜夜躁2020 | 色综合天天综合狠狠爱 | 波多野结衣一区二区三区av免费 | 国产电影无码午夜在线播放 | 色一情一乱一伦一区二区三欧美 | 国产精品国产三级国产专播 | 亚欧洲精品在线视频免费观看 | 国产97在线 | 亚洲 | 婷婷综合久久中文字幕蜜桃三电影 | 日日摸夜夜摸狠狠摸婷婷 | 亚洲理论电影在线观看 | 亚洲精品久久久久avwww潮水 | 久久99精品国产麻豆 | 18无码粉嫩小泬无套在线观看 | 色狠狠av一区二区三区 | 亚洲人成影院在线无码按摩店 | 一本色道久久综合狠狠躁 | 日本丰满熟妇videos | 久久久精品成人免费观看 | 中文字幕色婷婷在线视频 | 日本一区二区三区免费高清 | 国产亚洲日韩欧美另类第八页 | 日本护士xxxxhd少妇 | 中文字幕无码日韩专区 | 欧美成人免费全部网站 | 欧美喷潮久久久xxxxx | 无码一区二区三区在线观看 | 99riav国产精品视频 | 国产精品办公室沙发 | 丰满岳乱妇在线观看中字无码 | а√资源新版在线天堂 | 日韩精品一区二区av在线 | 国产亚洲视频中文字幕97精品 | 伦伦影院午夜理论片 | 国产乱人伦偷精品视频 | 久久亚洲a片com人成 | 久久伊人色av天堂九九小黄鸭 | 色婷婷综合中文久久一本 | 欧美日韩一区二区综合 | 亚洲国产精品无码一区二区三区 | 欧美激情一区二区三区成人 | 天堂а√在线地址中文在线 | 日韩欧美群交p片內射中文 | 55夜色66夜色国产精品视频 | 亚洲无人区午夜福利码高清完整版 | 亚洲欧洲中文日韩av乱码 | 国内丰满熟女出轨videos | 麻豆国产丝袜白领秘书在线观看 | 午夜无码区在线观看 | 风流少妇按摩来高潮 | 最近中文2019字幕第二页 | 人人爽人人爽人人片av亚洲 | 亚洲国产精品成人久久蜜臀 | 国产成人精品三级麻豆 | 亚洲精品成人福利网站 | 日本一区二区更新不卡 | 久久精品99久久香蕉国产色戒 | 国产亚洲精品久久久久久大师 | 国产超碰人人爽人人做人人添 | 性史性农村dvd毛片 | 亚洲中文字幕av在天堂 | 在线看片无码永久免费视频 | 蜜桃臀无码内射一区二区三区 | 1000部啪啪未满十八勿入下载 | 99久久精品日本一区二区免费 | 97久久超碰中文字幕 | 久久亚洲精品成人无码 | 成人性做爰aaa片免费看不忠 | 国产精品多人p群无码 | 狠狠躁日日躁夜夜躁2020 | 精品国产一区二区三区四区在线看 | 国产亚洲精品久久久久久久久动漫 | 欧美35页视频在线观看 | 国产97色在线 | 免 | 国产在热线精品视频 | 四虎国产精品免费久久 | 国产精品久久久 | 狠狠躁日日躁夜夜躁2020 | 欧美怡红院免费全部视频 | av在线亚洲欧洲日产一区二区 | 亚洲成色在线综合网站 | 男女猛烈xx00免费视频试看 | 久久精品国产一区二区三区肥胖 | 久久久婷婷五月亚洲97号色 | 欧美日韩一区二区免费视频 | 少妇一晚三次一区二区三区 | 中文字幕+乱码+中文字幕一区 | 国产一区二区三区日韩精品 | 日本饥渴人妻欲求不满 | 未满成年国产在线观看 | 婷婷五月综合激情中文字幕 | 国产精品二区一区二区aⅴ污介绍 | 国产日产欧产精品精品app | 伊人色综合久久天天小片 | 亚洲国产精品无码久久久久高潮 | 日韩人妻无码一区二区三区久久99 | 美女黄网站人色视频免费国产 | 无码毛片视频一区二区本码 | 成人三级无码视频在线观看 | av无码不卡在线观看免费 | 中文无码精品a∨在线观看不卡 | 天下第一社区视频www日本 | 亚洲aⅴ无码成人网站国产app | 欧美性猛交内射兽交老熟妇 | 无套内谢的新婚少妇国语播放 | 超碰97人人射妻 | 真人与拘做受免费视频 | 精品久久久久久人妻无码中文字幕 | 无码国产色欲xxxxx视频 | 日本大乳高潮视频在线观看 | 国精产品一品二品国精品69xx | 98国产精品综合一区二区三区 | 国产精品久久久午夜夜伦鲁鲁 | 中文字幕无码人妻少妇免费 | 亚洲成a人一区二区三区 | 天天摸天天透天天添 | 日本一区二区三区免费高清 | 中文精品久久久久人妻不卡 | 我要看www免费看插插视频 | 亚洲爆乳无码专区 | √天堂中文官网8在线 | 国产精品亚洲五月天高清 | 亚洲成a人一区二区三区 | 亚欧洲精品在线视频免费观看 | 中文精品久久久久人妻不卡 | 国产无套粉嫩白浆在线 | 亚洲va中文字幕无码久久不卡 | 久久精品女人天堂av免费观看 | 2019nv天堂香蕉在线观看 | 日本肉体xxxx裸交 | 欧美日韩人成综合在线播放 | 奇米影视888欧美在线观看 | 极品尤物被啪到呻吟喷水 | 一个人看的www免费视频在线观看 | 300部国产真实乱 | 粗大的内捧猛烈进出视频 | 中文字幕色婷婷在线视频 | 日韩av无码一区二区三区不卡 | 成 人 免费观看网站 | 国产97在线 | 亚洲 | 国产精品欧美成人 | 黄网在线观看免费网站 | 国产在线一区二区三区四区五区 | 樱花草在线社区www | 色婷婷综合激情综在线播放 | 亚洲色偷偷偷综合网 | 久久成人a毛片免费观看网站 | 久久久久国色av免费观看性色 | 国产色精品久久人妻 | 久久亚洲日韩精品一区二区三区 | 中国女人内谢69xxxx | 大乳丰满人妻中文字幕日本 | 欧洲精品码一区二区三区免费看 | 国产色视频一区二区三区 | 国产人成高清在线视频99最全资源 | 国产激情精品一区二区三区 | 丝袜人妻一区二区三区 | 精品国精品国产自在久国产87 | 亚洲小说春色综合另类 | 波多野42部无码喷潮在线 | 国产xxx69麻豆国语对白 | 国产 精品 自在自线 | 精品厕所偷拍各类美女tp嘘嘘 | 精品国产av色一区二区深夜久久 | 欧美日韩综合一区二区三区 | 成人aaa片一区国产精品 | 水蜜桃色314在线观看 | 亚洲中文字幕av在天堂 | 午夜性刺激在线视频免费 | 中文字幕乱妇无码av在线 | 双乳奶水饱满少妇呻吟 | 亚洲国产精华液网站w | 色窝窝无码一区二区三区色欲 | 鲁鲁鲁爽爽爽在线视频观看 | 在线观看国产午夜福利片 | 日韩欧美中文字幕公布 | 狂野欧美性猛交免费视频 | 精品国产一区二区三区四区在线看 | 久久精品一区二区三区四区 | 午夜免费福利小电影 | 中文字幕av日韩精品一区二区 | 乱人伦人妻中文字幕无码 | 欧美熟妇另类久久久久久不卡 | 少妇无码一区二区二三区 | 亚洲区欧美区综合区自拍区 | 亚洲天堂2017无码中文 | 一个人免费观看的www视频 | 国产黑色丝袜在线播放 | 国产精品人人爽人人做我的可爱 | 任你躁国产自任一区二区三区 | 丁香花在线影院观看在线播放 | 国产欧美亚洲精品a | 乱码午夜-极国产极内射 | 人人妻人人藻人人爽欧美一区 | 精品国偷自产在线 | 免费国产成人高清在线观看网站 | 亚洲s色大片在线观看 | 永久黄网站色视频免费直播 | 久久国产36精品色熟妇 | 人妻人人添人妻人人爱 | 国产又爽又黄又刺激的视频 | 亚洲国产精品美女久久久久 | 黑人玩弄人妻中文在线 | 一二三四社区在线中文视频 | 夜先锋av资源网站 | 一本色道久久综合狠狠躁 | 亚洲熟妇自偷自拍另类 | 伊人久久婷婷五月综合97色 | 人妻少妇精品视频专区 | 中文精品无码中文字幕无码专区 | 亚洲日韩一区二区 | 亚洲日韩中文字幕在线播放 | 精品一二三区久久aaa片 | 麻豆md0077饥渴少妇 | 久久 国产 尿 小便 嘘嘘 | 曰韩少妇内射免费播放 | 亚洲s色大片在线观看 | 亚洲精品鲁一鲁一区二区三区 | 欧美阿v高清资源不卡在线播放 | 蜜桃视频韩日免费播放 | 鲁一鲁av2019在线 | 亚洲国产精品一区二区美利坚 | 永久黄网站色视频免费直播 | 国产熟女一区二区三区四区五区 | 亚洲成色www久久网站 | 国精产品一区二区三区 | 国产精品a成v人在线播放 | 久久精品99久久香蕉国产色戒 | 无码任你躁久久久久久久 | 国产乡下妇女做爰 | 中文无码精品a∨在线观看不卡 | 毛片内射-百度 | 狠狠cao日日穞夜夜穞av | 国内精品一区二区三区不卡 | 日韩精品无码免费一区二区三区 | 香港三级日本三级妇三级 | 亚洲日韩精品欧美一区二区 | 亚洲精品国产a久久久久久 | 麻豆av传媒蜜桃天美传媒 | 中文字幕无码人妻少妇免费 | 久久精品女人的天堂av | 亚洲精品国产a久久久久久 | 精品国产aⅴ无码一区二区 | 97久久国产亚洲精品超碰热 | 成人精品视频一区二区 | 丝袜美腿亚洲一区二区 | 亚洲日韩精品欧美一区二区 | 国产精品高潮呻吟av久久4虎 | 国产特级毛片aaaaaaa高清 | 午夜丰满少妇性开放视频 | 亚洲精品成人福利网站 | 国产97人人超碰caoprom | 亚洲男人av天堂午夜在 | 六月丁香婷婷色狠狠久久 | 亚洲成av人影院在线观看 | 成人无码精品一区二区三区 | 少妇无套内谢久久久久 | 国产亚洲欧美日韩亚洲中文色 | 熟女少妇在线视频播放 | 久久午夜夜伦鲁鲁片无码免费 | 国产黑色丝袜在线播放 | 2019nv天堂香蕉在线观看 | 少女韩国电视剧在线观看完整 | 蜜桃臀无码内射一区二区三区 | 又粗又大又硬又长又爽 | 2020最新国产自产精品 | 一区二区三区高清视频一 | 亚洲日韩乱码中文无码蜜桃臀网站 | 国产亚洲欧美日韩亚洲中文色 | 色婷婷综合激情综在线播放 | 国产av无码专区亚洲a∨毛片 | 一本久久a久久精品亚洲 | 亚洲国产综合无码一区 | 国产成人综合色在线观看网站 | 午夜性刺激在线视频免费 | 欧美 亚洲 国产 另类 | 高清国产亚洲精品自在久久 | 野狼第一精品社区 | 久久久久se色偷偷亚洲精品av | 在线观看国产一区二区三区 | 久久久av男人的天堂 | 亚洲欧美精品aaaaaa片 | 免费看少妇作爱视频 | 丰满人妻翻云覆雨呻吟视频 | 国产一区二区三区日韩精品 | 97资源共享在线视频 | 国内丰满熟女出轨videos | 无套内谢的新婚少妇国语播放 | 一本色道久久综合狠狠躁 | 久久综合久久自在自线精品自 | www国产亚洲精品久久久日本 | 亚洲中文字幕无码中字 | 99re在线播放 | 麻花豆传媒剧国产免费mv在线 | 青青青手机频在线观看 | 中文字幕无码免费久久99 | 男人扒开女人内裤强吻桶进去 | 麻豆国产97在线 | 欧洲 | 国产香蕉97碰碰久久人人 | 国产成人无码av一区二区 | 天堂а√在线中文在线 | 无码人妻丰满熟妇区五十路百度 | 国产成人精品一区二区在线小狼 | 乱人伦人妻中文字幕无码久久网 | 国产亚av手机在线观看 | 丰满少妇女裸体bbw | 亚洲成a人片在线观看无码 | 欧美一区二区三区视频在线观看 | 曰韩少妇内射免费播放 | 欧美变态另类xxxx | 一个人看的www免费视频在线观看 | 中文无码精品a∨在线观看不卡 | 日韩av无码一区二区三区 | 国产亚洲欧美日韩亚洲中文色 | 丁香啪啪综合成人亚洲 | 精品无码国产一区二区三区av | 人人妻人人澡人人爽人人精品浪潮 | 久久久国产精品无码免费专区 | 欧美国产日产一区二区 | 亚洲成av人在线观看网址 | 俄罗斯老熟妇色xxxx | 国产亚洲tv在线观看 | 日韩精品无码一区二区中文字幕 | 久久久中文久久久无码 | 夜夜夜高潮夜夜爽夜夜爰爰 | 日韩人妻无码中文字幕视频 | 国产精品久久久久无码av色戒 | 亚洲国产精华液网站w | 夜夜影院未满十八勿进 | 福利一区二区三区视频在线观看 | 久久亚洲a片com人成 | 男人扒开女人内裤强吻桶进去 | aⅴ在线视频男人的天堂 | 国产sm调教视频在线观看 | 一本色道久久综合亚洲精品不卡 | 丝袜足控一区二区三区 | 国产办公室秘书无码精品99 | 亚洲精品一区二区三区在线观看 | 在线播放无码字幕亚洲 | 久久天天躁夜夜躁狠狠 | 日本精品人妻无码免费大全 | 亚洲色偷偷男人的天堂 | 青青青手机频在线观看 | 国产精品无码永久免费888 | 国产激情无码一区二区 | 无码一区二区三区在线 | 亚洲色欲色欲天天天www | 思思久久99热只有频精品66 | √天堂资源地址中文在线 | 蜜桃臀无码内射一区二区三区 | 老司机亚洲精品影院无码 | 无码乱肉视频免费大全合集 | 国产精品久久久久久亚洲影视内衣 | 欧美人与禽zoz0性伦交 | 欧美变态另类xxxx | 亚洲综合色区中文字幕 | 在线欧美精品一区二区三区 | 久久久精品456亚洲影院 | 日本熟妇大屁股人妻 | 国产xxx69麻豆国语对白 | 国产精品亚洲а∨无码播放麻豆 | 久久人妻内射无码一区三区 | 欧美激情内射喷水高潮 | 亚洲成在人网站无码天堂 | 日日碰狠狠躁久久躁蜜桃 | 中文字幕无码热在线视频 | 精品无人国产偷自产在线 | 超碰97人人射妻 | 国产肉丝袜在线观看 | 久久99精品久久久久久动态图 | 亚洲爆乳大丰满无码专区 | а天堂中文在线官网 | 性欧美疯狂xxxxbbbb | 在线亚洲高清揄拍自拍一品区 | 午夜肉伦伦影院 | 亚洲 激情 小说 另类 欧美 | 欧美 丝袜 自拍 制服 另类 | 亚洲精品久久久久久一区二区 | 精品无码国产一区二区三区av | 亚洲一区二区三区含羞草 | 欧美日韩在线亚洲综合国产人 | 亚洲人成网站色7799 | 国产熟女一区二区三区四区五区 | 亚洲国产精华液网站w | 国内精品久久久久久中文字幕 | 日本精品久久久久中文字幕 | 小sao货水好多真紧h无码视频 | 国产精品久久国产精品99 | 亚洲理论电影在线观看 | 国产精品国产自线拍免费软件 | 国产九九九九九九九a片 | 久久成人a毛片免费观看网站 | 国产激情艳情在线看视频 | 婷婷六月久久综合丁香 | 日韩精品无码一本二本三本色 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 国产成人精品必看 | 一个人免费观看的www视频 | 亚洲国产精品无码久久久久高潮 | www国产亚洲精品久久网站 | 扒开双腿疯狂进出爽爽爽视频 | 亚洲娇小与黑人巨大交 | 兔费看少妇性l交大片免费 | www国产精品内射老师 | 亚洲国产精品一区二区第一页 | 欧美性生交xxxxx久久久 | 51国偷自产一区二区三区 | 国产成人精品一区二区在线小狼 | 99久久无码一区人妻 | 亚洲欧美国产精品久久 | 国产97在线 | 亚洲 | 精品人妻av区 | 亚洲精品中文字幕久久久久 | 欧美老熟妇乱xxxxx | 77777熟女视频在线观看 а天堂中文在线官网 | 成人亚洲精品久久久久软件 | 国产97人人超碰caoprom | 国产亚洲美女精品久久久2020 | 国产精品久久久久久亚洲毛片 | 色五月丁香五月综合五月 | 中文字幕av无码一区二区三区电影 | 人人妻人人澡人人爽精品欧美 | 特黄特色大片免费播放器图片 | 99精品国产综合久久久久五月天 | 少妇无码吹潮 | 国产99久久精品一区二区 | 久久国产精品二国产精品 | 欧美丰满老熟妇xxxxx性 | 亚洲精品鲁一鲁一区二区三区 | 疯狂三人交性欧美 | 99久久亚洲精品无码毛片 | 国产成人一区二区三区在线观看 | 强开小婷嫩苞又嫩又紧视频 | 亚洲国产精品一区二区第一页 | 国产精品丝袜黑色高跟鞋 | 激情人妻另类人妻伦 | 对白脏话肉麻粗话av | av小次郎收藏 | 午夜熟女插插xx免费视频 | 成 人 网 站国产免费观看 | √天堂资源地址中文在线 | 3d动漫精品啪啪一区二区中 | 国产人妻久久精品二区三区老狼 | 精品人妻中文字幕有码在线 | 三上悠亚人妻中文字幕在线 | 久久久精品国产sm最大网站 | 无遮无挡爽爽免费视频 | 久久亚洲国产成人精品性色 | 国产另类ts人妖一区二区 | 人人妻人人澡人人爽欧美一区 | 国产sm调教视频在线观看 | 日本精品久久久久中文字幕 | 激情内射亚州一区二区三区爱妻 | 无遮无挡爽爽免费视频 | 天堂亚洲2017在线观看 | 在线精品亚洲一区二区 | 久久99精品国产.久久久久 | 永久免费观看美女裸体的网站 | 日韩精品a片一区二区三区妖精 | 2020最新国产自产精品 | 久激情内射婷内射蜜桃人妖 | 久久精品99久久香蕉国产色戒 | 国产sm调教视频在线观看 | 免费人成在线观看网站 | 精品日本一区二区三区在线观看 | 少妇被粗大的猛进出69影院 | 色综合久久久久综合一本到桃花网 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 18禁黄网站男男禁片免费观看 | 亚洲精品一区三区三区在线观看 | ass日本丰满熟妇pics | 在线播放无码字幕亚洲 | 激情五月综合色婷婷一区二区 | 日本在线高清不卡免费播放 | 日本肉体xxxx裸交 | 久久精品视频在线看15 | 亚洲人成网站免费播放 | 国产一区二区不卡老阿姨 | 亚洲啪av永久无码精品放毛片 | 精品国产一区二区三区av 性色 | 亚洲成av人在线观看网址 | 日韩视频 中文字幕 视频一区 | 国产色xx群视频射精 | 欧美熟妇另类久久久久久不卡 | 亚洲精品综合一区二区三区在线 | 欧美放荡的少妇 | 中文字幕无码热在线视频 | 99久久婷婷国产综合精品青草免费 | 老子影院午夜精品无码 | 日韩成人一区二区三区在线观看 | 国产乱人伦app精品久久 国产在线无码精品电影网 国产国产精品人在线视 | 久久人人爽人人爽人人片av高清 | 欧美刺激性大交 | 中文字幕+乱码+中文字幕一区 | 亚洲午夜福利在线观看 | 日本欧美一区二区三区乱码 | 欧美人与动性行为视频 | 亚洲日韩乱码中文无码蜜桃臀网站 | 成人一在线视频日韩国产 | 成人动漫在线观看 | 欧美老熟妇乱xxxxx | 粗大的内捧猛烈进出视频 | 国产欧美亚洲精品a | 欧美日韩亚洲国产精品 | 最近的中文字幕在线看视频 | 2020久久香蕉国产线看观看 | 亚洲精品中文字幕乱码 | 精品人妻人人做人人爽夜夜爽 | 久久天天躁夜夜躁狠狠 | 免费中文字幕日韩欧美 | 欧美怡红院免费全部视频 | 国产熟女一区二区三区四区五区 | 日韩精品a片一区二区三区妖精 | 欧美黑人巨大xxxxx | 成在人线av无码免观看麻豆 | 日本爽爽爽爽爽爽在线观看免 | 国产精品视频免费播放 | 国产精品.xx视频.xxtv | 国产97人人超碰caoprom | 强奷人妻日本中文字幕 | 色综合久久久久综合一本到桃花网 | 亚洲午夜久久久影院 | 日本精品人妻无码免费大全 | 日韩人妻少妇一区二区三区 | 网友自拍区视频精品 | 在线成人www免费观看视频 | 日本成熟视频免费视频 | 欧美 亚洲 国产 另类 | 亚洲天堂2017无码 | 精品人妻av区 | 荫蒂被男人添的好舒服爽免费视频 | 色老头在线一区二区三区 | 成人免费无码大片a毛片 | 欧美国产日产一区二区 | 中文精品久久久久人妻不卡 | 黑人巨大精品欧美一区二区 | 成 人 免费观看网站 | 丰满诱人的人妻3 | 乱码av麻豆丝袜熟女系列 | 亚洲欧美国产精品久久 | 熟妇人妻激情偷爽文 | 中文字幕人成乱码熟女app | 国产av人人夜夜澡人人爽麻豆 | 国产色视频一区二区三区 | 夜夜躁日日躁狠狠久久av | 国产真实伦对白全集 | 真人与拘做受免费视频一 | 少女韩国电视剧在线观看完整 | 久久久无码中文字幕久... | 无码av岛国片在线播放 | 日本一卡2卡3卡四卡精品网站 | 性欧美大战久久久久久久 | 国产精品人人爽人人做我的可爱 | 国产偷抇久久精品a片69 | 国产麻豆精品精东影业av网站 | 欧美第一黄网免费网站 | 成年女人永久免费看片 | 蜜桃av抽搐高潮一区二区 | 亚洲a无码综合a国产av中文 | 日韩人妻无码一区二区三区久久99 | 一本大道久久东京热无码av | 成人欧美一区二区三区 | 少妇性俱乐部纵欲狂欢电影 | 国产精品久久久久无码av色戒 | 国内精品人妻无码久久久影院蜜桃 | 又紧又大又爽精品一区二区 | 丰满诱人的人妻3 | 中文字幕色婷婷在线视频 | 久久熟妇人妻午夜寂寞影院 | 澳门永久av免费网站 | 狠狠色噜噜狠狠狠狠7777米奇 | 精品人妻av区 | 国产精品国产三级国产专播 | 人人澡人摸人人添 | 精品国产av色一区二区深夜久久 | 欧美真人作爱免费视频 | 久精品国产欧美亚洲色aⅴ大片 | 97夜夜澡人人双人人人喊 | 熟妇女人妻丰满少妇中文字幕 | 国产免费无码一区二区视频 | 国产精品久久久一区二区三区 | 又粗又大又硬又长又爽 | 国产精品美女久久久 | 色综合视频一区二区三区 | 奇米影视888欧美在线观看 | 性欧美videos高清精品 | 中文精品久久久久人妻不卡 | 狂野欧美性猛xxxx乱大交 | 自拍偷自拍亚洲精品被多人伦好爽 | 国产莉萝无码av在线播放 | 欧美 日韩 亚洲 在线 | 波多野结衣aⅴ在线 | 国产精品a成v人在线播放 | 亚洲成a人片在线观看日本 | 日本一区二区三区免费播放 | 十八禁真人啪啪免费网站 | 国产熟女一区二区三区四区五区 | 人人妻人人藻人人爽欧美一区 | 熟女体下毛毛黑森林 | 欧美大屁股xxxxhd黑色 | 76少妇精品导航 | 亚洲精品一区二区三区四区五区 | 一本色道久久综合狠狠躁 | 欧美性猛交内射兽交老熟妇 | 亚洲人成影院在线观看 | 成人欧美一区二区三区 | 国产无遮挡又黄又爽免费视频 | 黑人巨大精品欧美一区二区 | 麻豆人妻少妇精品无码专区 | 久久99精品国产麻豆蜜芽 | 国产激情无码一区二区 | 欧美日韩在线亚洲综合国产人 | 欧美国产日韩久久mv | 午夜福利不卡在线视频 | 国产农村妇女aaaaa视频 撕开奶罩揉吮奶头视频 | 在线看片无码永久免费视频 | 成人亚洲精品久久久久 | 精品国产精品久久一区免费式 | 国产成人亚洲综合无码 | 亚洲熟妇色xxxxx亚洲 | 亚洲熟悉妇女xxx妇女av | 丝袜 中出 制服 人妻 美腿 | 日本精品少妇一区二区三区 | 国产精品久久久久久久9999 | 内射巨臀欧美在线视频 | 国产在热线精品视频 | 无码人妻少妇伦在线电影 | 亚洲欧美综合区丁香五月小说 | 欧美xxxx黑人又粗又长 | 国产9 9在线 | 中文 | 色婷婷久久一区二区三区麻豆 | 欧美人与禽zoz0性伦交 | 天堂在线观看www | 又色又爽又黄的美女裸体网站 | 日日摸天天摸爽爽狠狠97 | 最近免费中文字幕中文高清百度 | av无码电影一区二区三区 | 亚洲码国产精品高潮在线 | 性做久久久久久久免费看 | www国产精品内射老师 | 成 人 免费观看网站 | 国产亚洲美女精品久久久2020 | 最近的中文字幕在线看视频 | 亚洲日本va午夜在线电影 | 成人精品一区二区三区中文字幕 | 色综合久久久无码中文字幕 | 中文亚洲成a人片在线观看 | 噜噜噜亚洲色成人网站 | 最近中文2019字幕第二页 | 久久五月精品中文字幕 | 久久视频在线观看精品 | 奇米影视7777久久精品人人爽 | 久久久无码中文字幕久... | 久久国产精品_国产精品 | 欧美 日韩 亚洲 在线 | 色妞www精品免费视频 | 日本在线高清不卡免费播放 | 高潮毛片无遮挡高清免费视频 | 国产亚洲tv在线观看 | 久久精品国产精品国产精品污 | 东京热男人av天堂 | 欧洲欧美人成视频在线 | 国产午夜福利亚洲第一 | 久久五月精品中文字幕 | 亚洲人成影院在线无码按摩店 | 国产精品久久久久9999小说 | 丰满人妻一区二区三区免费视频 | 内射巨臀欧美在线视频 | 西西人体www44rt大胆高清 | 欧美日韩精品 | 国产绳艺sm调教室论坛 | 理论片87福利理论电影 | av香港经典三级级 在线 | 精品欧洲av无码一区二区三区 | 亚洲精品一区三区三区在线观看 | 日韩精品久久久肉伦网站 | 国产精品人妻一区二区三区四 | 最近免费中文字幕中文高清百度 | 亚洲一区二区三区偷拍女厕 | 久精品国产欧美亚洲色aⅴ大片 | 六十路熟妇乱子伦 | av在线亚洲欧洲日产一区二区 | 天天av天天av天天透 | 亚洲无人区午夜福利码高清完整版 | 熟女俱乐部五十路六十路av | 日本丰满熟妇videos | 亚洲色在线无码国产精品不卡 | 1000部夫妻午夜免费 | 亚洲精品久久久久久一区二区 | 久久精品人妻少妇一区二区三区 | 夫妻免费无码v看片 | 久久伊人色av天堂九九小黄鸭 | 亚洲欧美综合区丁香五月小说 | 亚洲精品国产a久久久久久 | 国产人成高清在线视频99最全资源 | 99国产精品白浆在线观看免费 | 亚洲国产精品一区二区第一页 | а天堂中文在线官网 | 午夜精品久久久内射近拍高清 | 国产熟女一区二区三区四区五区 | 国产办公室秘书无码精品99 | 六月丁香婷婷色狠狠久久 | 日韩少妇白浆无码系列 | 欧美放荡的少妇 | www国产亚洲精品久久久日本 | 久久精品无码一区二区三区 | 国精产品一区二区三区 | 宝宝好涨水快流出来免费视频 | 无码乱肉视频免费大全合集 | 免费观看又污又黄的网站 | 久久久久久亚洲精品a片成人 | 中文字幕人妻无码一区二区三区 | 老太婆性杂交欧美肥老太 | 美女毛片一区二区三区四区 | 美女毛片一区二区三区四区 | 欧美日本免费一区二区三区 | 成人精品天堂一区二区三区 | 噜噜噜亚洲色成人网站 | 欧美 日韩 人妻 高清 中文 | 人妻少妇精品久久 | 国产成人亚洲综合无码 | 亚洲精品国偷拍自产在线观看蜜桃 | 未满成年国产在线观看 | 国产成人精品一区二区在线小狼 | 国产疯狂伦交大片 | 粉嫩少妇内射浓精videos | 婷婷综合久久中文字幕蜜桃三电影 | 老熟女乱子伦 | 国产亚洲tv在线观看 | 天堂在线观看www | 国产小呦泬泬99精品 | 狠狠噜狠狠狠狠丁香五月 | 中国女人内谢69xxxxxa片 | 国产无套内射久久久国产 | 强开小婷嫩苞又嫩又紧视频 | 欧美人妻一区二区三区 | 最近的中文字幕在线看视频 | 亚洲乱码国产乱码精品精 | 久久综合网欧美色妞网 | 男人和女人高潮免费网站 | 国产97人人超碰caoprom | 日本高清一区免费中文视频 | 亚洲成a人片在线观看无码3d | 国产三级久久久精品麻豆三级 | 久久国产36精品色熟妇 | 国产舌乚八伦偷品w中 | 久久精品国产精品国产精品污 | 一本色道久久综合狠狠躁 | 国产特级毛片aaaaaaa高清 | 无码人妻精品一区二区三区不卡 | 中文字幕无码视频专区 | 亚洲啪av永久无码精品放毛片 | 久久久www成人免费毛片 | 丰满人妻一区二区三区免费视频 | 麻豆国产人妻欲求不满 | 麻豆md0077饥渴少妇 | 欧美真人作爱免费视频 | 久久久国产精品无码免费专区 | 国产色xx群视频射精 | 国产人妻精品午夜福利免费 | 久久www免费人成人片 | 未满成年国产在线观看 | 亚洲色无码一区二区三区 | 精品无码成人片一区二区98 | 国产香蕉尹人综合在线观看 | 少妇激情av一区二区 | 久久久国产精品无码免费专区 | 少妇无码av无码专区在线观看 | 国产精品丝袜黑色高跟鞋 | 两性色午夜视频免费播放 | 无码国产色欲xxxxx视频 | 久久久中文久久久无码 | 在线亚洲高清揄拍自拍一品区 | 久久精品国产日本波多野结衣 | 亚洲一区二区三区 | 日日夜夜撸啊撸 | 国产情侣作爱视频免费观看 | 亚洲熟妇色xxxxx欧美老妇y | 人妻人人添人妻人人爱 | 久久亚洲中文字幕无码 | 国产人妻精品一区二区三区 | 丰满人妻精品国产99aⅴ | 国产成人精品视频ⅴa片软件竹菊 | 99在线 | 亚洲 | 久久精品人妻少妇一区二区三区 | 天天综合网天天综合色 | 熟妇人妻无码xxx视频 | 国产精品沙发午睡系列 | 日本熟妇大屁股人妻 | 国产免费久久久久久无码 | 国产精品无套呻吟在线 | 99久久精品国产一区二区蜜芽 | 成人无码影片精品久久久 | 国产欧美亚洲精品a | 少妇无码一区二区二三区 | 亚洲另类伦春色综合小说 | 亚洲自偷自拍另类第1页 | 亚洲乱码日产精品bd | 午夜男女很黄的视频 | 无码人妻丰满熟妇区五十路百度 | 日本一卡2卡3卡4卡无卡免费网站 国产一区二区三区影院 | 亚洲成a人片在线观看无码 | 亚洲国产午夜精品理论片 | 男女超爽视频免费播放 | 精品国产成人一区二区三区 | 亚洲成av人综合在线观看 | 久久精品国产精品国产精品污 | 天堂在线观看www | 色综合久久88色综合天天 | 国产小呦泬泬99精品 | 国产精品久久久久7777 | 欧美性黑人极品hd | 午夜精品久久久久久久久 | 少妇无套内谢久久久久 | 妺妺窝人体色www在线小说 | 四虎影视成人永久免费观看视频 | 无码人中文字幕 | 亚洲欧美国产精品专区久久 | 国产精品无码成人午夜电影 | 国产又爽又黄又刺激的视频 | 久久国产劲爆∧v内射 | 欧美亚洲国产一区二区三区 | 中文字幕中文有码在线 | 亚洲成a人片在线观看无码3d | 亚洲欧美日韩综合久久久 | 青草青草久热国产精品 | 国产精品无码久久av | 国产一区二区三区影院 | 欧美人与禽猛交狂配 | 久久99久久99精品中文字幕 | 国产女主播喷水视频在线观看 | 波多野结衣av一区二区全免费观看 | 欧洲熟妇色 欧美 | 国产无套内射久久久国产 | 久久久久成人片免费观看蜜芽 | 国产办公室秘书无码精品99 | 99国产欧美久久久精品 | 捆绑白丝粉色jk震动捧喷白浆 | 99久久婷婷国产综合精品青草免费 | 久久综合激激的五月天 | 人妻无码αv中文字幕久久琪琪布 | 99国产欧美久久久精品 | 大屁股大乳丰满人妻 | 午夜丰满少妇性开放视频 | 欧美国产日韩久久mv | 久久精品国产99精品亚洲 | 久久99精品国产麻豆蜜芽 | 久久婷婷五月综合色国产香蕉 | 18无码粉嫩小泬无套在线观看 | 亚洲欧美精品伊人久久 | 国产超级va在线观看视频 | 国产精品人人爽人人做我的可爱 | 免费乱码人妻系列无码专区 | 曰韩少妇内射免费播放 | 亚洲色欲色欲欲www在线 | 中文字幕无码乱人伦 | 中文字幕人成乱码熟女app | 国产精品丝袜黑色高跟鞋 | 国产成人人人97超碰超爽8 | 午夜福利不卡在线视频 | 在线观看国产一区二区三区 | 亚洲国产午夜精品理论片 | 日本饥渴人妻欲求不满 | 色婷婷综合激情综在线播放 | 国产精品无码久久av | 成人亚洲精品久久久久软件 | 亚洲日本在线电影 | 成人无码精品一区二区三区 | 骚片av蜜桃精品一区 | av在线亚洲欧洲日产一区二区 | 一本久久a久久精品亚洲 | 影音先锋中文字幕无码 | 人人妻人人澡人人爽欧美精品 | 人人妻人人澡人人爽欧美一区 | 欧美日韩人成综合在线播放 | 东京无码熟妇人妻av在线网址 | 亚洲精品一区国产 | 国产疯狂伦交大片 | 国产两女互慰高潮视频在线观看 | 亚洲精品一区二区三区四区五区 | 水蜜桃色314在线观看 | 国产精品久免费的黄网站 | 亚洲中文无码av永久不收费 | 97无码免费人妻超级碰碰夜夜 | 国内老熟妇对白xxxxhd | 骚片av蜜桃精品一区 | 久久 国产 尿 小便 嘘嘘 | 亚洲春色在线视频 | 无码福利日韩神码福利片 | 精品久久久久久人妻无码中文字幕 | 国产亚av手机在线观看 | 欧美高清在线精品一区 | 精品国产一区二区三区四区 | 一本大道久久东京热无码av | 欧美人与动性行为视频 | 色窝窝无码一区二区三区色欲 | 欧洲美熟女乱又伦 | 欧美 丝袜 自拍 制服 另类 | 亚洲中文字幕在线无码一区二区 | 俄罗斯老熟妇色xxxx | 亚洲国产精品无码一区二区三区 | 日本熟妇人妻xxxxx人hd | 天堂在线观看www | 国产精品无码久久av | 亚洲精品鲁一鲁一区二区三区 | 成人综合网亚洲伊人 | 国产香蕉97碰碰久久人人 | 一本色道婷婷久久欧美 | 无码人妻少妇伦在线电影 | 久久久久久国产精品无码下载 | 日韩亚洲欧美中文高清在线 | 三上悠亚人妻中文字幕在线 | 2020最新国产自产精品 | 国产精品无码一区二区桃花视频 | 九九热爱视频精品 | 欧美丰满熟妇xxxx | 中文字幕av伊人av无码av | 久久久久久国产精品无码下载 | 国产疯狂伦交大片 | 九九久久精品国产免费看小说 | 日本一卡2卡3卡四卡精品网站 | 激情内射亚州一区二区三区爱妻 | 日韩精品无码一区二区中文字幕 | 久久精品国产大片免费观看 | 一本久道久久综合婷婷五月 | 天天摸天天碰天天添 | 黑人玩弄人妻中文在线 | 无码一区二区三区在线 | 国产精品va在线播放 | 免费国产成人高清在线观看网站 | 天天拍夜夜添久久精品大 | 日本大乳高潮视频在线观看 | 黑人巨大精品欧美一区二区 | 国产网红无码精品视频 | 日日躁夜夜躁狠狠躁 | 国产成人无码av一区二区 | 99精品国产综合久久久久五月天 | 国产偷自视频区视频 | 性生交大片免费看女人按摩摩 | 国产卡一卡二卡三 | 夜夜躁日日躁狠狠久久av | 波多野结衣一区二区三区av免费 | 无码av最新清无码专区吞精 | 欧美日韩亚洲国产精品 | 国产女主播喷水视频在线观看 | 一本色道久久综合亚洲精品不卡 | 99精品国产综合久久久久五月天 | 蜜桃视频韩日免费播放 | 国产av无码专区亚洲a∨毛片 | 极品尤物被啪到呻吟喷水 | 国产精品毛多多水多 | 久久亚洲中文字幕精品一区 | 无码一区二区三区在线观看 | 在线а√天堂中文官网 | 久久久av男人的天堂 | 女人被男人爽到呻吟的视频 | 婷婷综合久久中文字幕蜜桃三电影 | 香蕉久久久久久av成人 | 成人免费无码大片a毛片 | 日本一卡2卡3卡四卡精品网站 | 国产人成高清在线视频99最全资源 | 亚洲熟悉妇女xxx妇女av | 一二三四在线观看免费视频 | 久久国产36精品色熟妇 | 亚洲成a人片在线观看日本 | 麻豆成人精品国产免费 | 狠狠cao日日穞夜夜穞av | 亚欧洲精品在线视频免费观看 | 天天拍夜夜添久久精品大 | 亚洲欧洲无卡二区视頻 | 亚洲中文字幕va福利 | 亚洲娇小与黑人巨大交 | 一本色道久久综合狠狠躁 | 国产凸凹视频一区二区 | 女人被男人躁得好爽免费视频 | 国产两女互慰高潮视频在线观看 | 强开小婷嫩苞又嫩又紧视频 | 人妻互换免费中文字幕 | 国产片av国语在线观看 | 东京热无码av男人的天堂 | 国产农村妇女高潮大叫 | 国产一区二区三区四区五区加勒比 | 久久午夜夜伦鲁鲁片无码免费 | 色妞www精品免费视频 | 亚洲gv猛男gv无码男同 | 国产精品亚洲综合色区韩国 | 夜夜影院未满十八勿进 | 国产suv精品一区二区五 | 国产精品无码一区二区三区不卡 | 3d动漫精品啪啪一区二区中 | 亚洲欧美精品伊人久久 | 国产极品美女高潮无套在线观看 | 人人妻人人澡人人爽人人精品 | 激情人妻另类人妻伦 | 成人欧美一区二区三区黑人 | 俺去俺来也在线www色官网 | 精品国产国产综合精品 | 久久aⅴ免费观看 | 亚洲一区二区三区 | 熟女俱乐部五十路六十路av | 国模大胆一区二区三区 | 亚洲精品国产第一综合99久久 | 亚洲啪av永久无码精品放毛片 | 99久久无码一区人妻 | 无码任你躁久久久久久久 | 熟妇人妻无码xxx视频 | 亚洲国产av精品一区二区蜜芽 | 欧美性黑人极品hd | 久久精品成人欧美大片 | 国产亲子乱弄免费视频 | 任你躁国产自任一区二区三区 | 午夜无码人妻av大片色欲 | 亚洲欧美日韩成人高清在线一区 | 宝宝好涨水快流出来免费视频 | 色婷婷久久一区二区三区麻豆 | 久在线观看福利视频 | 97精品人妻一区二区三区香蕉 | 无码av最新清无码专区吞精 | 美女黄网站人色视频免费国产 | 国产情侣作爱视频免费观看 | 久久人妻内射无码一区三区 | 熟妇人妻无乱码中文字幕 | a国产一区二区免费入口 | 国产三级久久久精品麻豆三级 | 无码人妻少妇伦在线电影 | 日本在线高清不卡免费播放 | 久久精品国产99久久6动漫 | 天海翼激烈高潮到腰振不止 | 一本加勒比波多野结衣 | 少妇性l交大片 | 色综合天天综合狠狠爱 | 亚洲一区二区三区 | 乱中年女人伦av三区 | 自拍偷自拍亚洲精品10p | 国产av剧情md精品麻豆 | 好屌草这里只有精品 | 日韩无码专区 | 免费观看黄网站 | 国色天香社区在线视频 | 好男人www社区 | 少妇无码吹潮 | 日日橹狠狠爱欧美视频 | 曰本女人与公拘交酡免费视频 | 丰满人妻精品国产99aⅴ | 国产乱人无码伦av在线a | 欧美老熟妇乱xxxxx | 色窝窝无码一区二区三区色欲 | 国产内射爽爽大片视频社区在线 | 自拍偷自拍亚洲精品被多人伦好爽 | 一本久道高清无码视频 | 婷婷六月久久综合丁香 | 99精品视频在线观看免费 | 熟妇人妻无乱码中文字幕 | 精品人妻中文字幕有码在线 | 精品欧洲av无码一区二区三区 | 丝袜 中出 制服 人妻 美腿 | av在线亚洲欧洲日产一区二区 | 精品久久久久久人妻无码中文字幕 | 亚洲欧美色中文字幕在线 | 夫妻免费无码v看片 | 亚洲区小说区激情区图片区 | 国产色视频一区二区三区 | 俄罗斯老熟妇色xxxx | 男女下面进入的视频免费午夜 | 国产在线精品一区二区高清不卡 | 国产高潮视频在线观看 | 性色av无码免费一区二区三区 | 人妻无码久久精品人妻 | 欧美日韩视频无码一区二区三 | 色婷婷久久一区二区三区麻豆 | 老熟妇仑乱视频一区二区 | 成 人 网 站国产免费观看 | 正在播放老肥熟妇露脸 | 国产精品人人妻人人爽 | 人妻体内射精一区二区三四 | 麻豆人妻少妇精品无码专区 | 亚洲精品久久久久中文第一幕 |