轉自：http://idcnews.net/html/edu/20080425/300802.html

???最近實驗室有幾個學生在研究md的代碼，我聽了講座也比較感興趣，也準備著手讀一下md，在開始讀代碼之前，發現在通用塊層提供的一個devicemapper機制是raid能夠成為raid的根源，下面的是轉自上面網址的一點devicemapper的資料，讓我對通用的虛擬塊層有了更深的了解：

?

?? 本文結合具體代碼對Linux 內核中的 device mapper 映射機制進行了介紹。Device mapper 是 Linux 2.6內核中提供的一種從邏輯設備到物理設備的映射框架機制，在該機制下，用戶能夠很方便的根據自己的需要定制實現存儲資源的管理策略，當前比較流行的Linux 下的邏輯卷管理器如 LVM2（Linux Volume Manager 2version)、EVMS(Enterprise Volume Management System)、dmraid(DeviceMapper RaidTool)等都是基于該機制實現的。理解該機制是進一步分析、理解這些卷管理器的實現及設計的基礎。通過本文也能夠進一步理解 Linux系統塊一級 IO的設計和實現。
Device Mapper 是 Linux2.6內核中支持邏輯卷管理的通用設備映射機制，他為實現用于存儲資源管理的塊設備驅動提供了一個高度模塊化的內核架構，如圖 1。

圖1 Device Mapper的內核體系架構
在內核中他通過一個一個模塊化的 target driver 插件實現對 IO 請求的過濾或重新定向等工作，當前已實現的 targetdriver 插件包括軟 raid、軟加密、邏輯卷條帶、多路徑、映像、快照等，圖中linear、mirror、snapshot、multipath 表示的就是這些 target driver。Devicemapper 進一步體現了在 Linux內核設計中策略和機制分離的原則，將任何和策略相關的工作放到用戶空間完成，內核中主要提供完成這些策略所需要的機制。Devicemapper用戶空間相關部分主要負責配置具體的策略和控制邏輯，比如邏輯設備和哪些物理設備建立映射，怎么建立這些映射關系等等，而具體過濾和重定向IO 請求的工作由內核中相關代碼完成。因此整個 device mapper 機制由兩部分組成--內核空間的 device mapper驅動、用戶空間的device mapper 庫連同他提供的 dmsetup工具。在下文中，我們分內核和用戶空間兩部分進行介紹。
內核部分
Device mapper 的內核相關代碼已作為 Linux 2.6 內核發布版的一部分集成到內核源碼中了，相關代碼在內核源碼的driver/md/ 目錄中，其代碼文檔能夠劃分為實現 device mapper 內核中基本架構的文檔和實現具體映射工作的target driver 插件文檔兩部分。文章下面的分析結果主要是基于上述源碼文檔得到的。
重要概念
Device mapper 在內核中作為一個塊設備驅動被注冊的，他包含三個重要的對象概念，mappeddevice、映射表、target device。Mapped device是個邏輯抽象，能夠理解成為內核向外提供的邏輯設備，他通過映射表描述的映射關系和 target device 建立映射。從 Mappeddevice 到一個 target device 的映射表由一個多元組表示，該多元組由表示 mapped device邏輯的起始地址、范圍、和表示在 target device 所在物理設備的地址偏移量連同target類型等變量組成（這些地址和偏移量都是以磁盤的扇區為單位的，即 512 個字節大小）。Target device 表示的是 mappeddevice 所映射的物理空間段，對 mapped device所表示的邏輯設備來說，就是該邏輯設備映射到的一個物理設備。Device mapper 中這三個對象和 target driver插件一起構成了一個可迭代的設備樹。在該樹型結構中的頂層根節點是最終作為邏輯設備向外提供的 mapped device，葉子節點是target device 所表示的底層物理設備。最小的設備樹由單個 mapped device 和 target device組成。每個 target device 都是被mapped device 獨占的，只能被一個 mapped device 使用。一個mapped device 能夠映射到一個或多個 target device 上，而一個 mapped device 又能夠作為他上層mapped device的 target device 被使用，該層次在理論上能夠在 device mapper架構下無限迭代下去。

圖2 Device mapper 內核中各對象的層次關系
在圖2 中我們能夠看到 mapped device1 通過映射表和 a、b、c 三個 target device 建立了映射關系，而target device a 又是通過 mapped device 2 演化過來，mapped device 2 通過映射表和target device d 建立映射關系。
我們進一步看一下上述三個對象在代碼中的具體實現，dm.c 文檔定義的 mapped_device 結構用于表示 mappeddevice，他主要包括該 mapped device相關的鎖，注冊的請求隊列和一些內存池連同指向他所對應映射表的指針等域。Mapped device 對應的映射表是由dm_table.c 文檔中定義的 dm_table 結構表示的，該結構中包含一個 dm_target結構數組，dm_target結構具體描述了 mapped_device 到他某個 target device 的映射關系。而在 dm_table 結構中將這些dm_target 按照 B 樹的方式組織起來方便 IO 請求映射時的查找操作。Dm_target 結構具體記錄該結構對應target device 所映射的 mapped device 邏輯區域的開始地址和范圍，同時還包含指向具體 targetdevice 相關操作的 target_type 結構的指針。Target_type 結構主要包含了 target device對應的 target driver 插件的名字、定義的構建和刪除該類型target device的方法、該類targetdevice對應的IO請求重映射和結束IO的方法等。而表示具體的targetdevice的域是dm_target中的private域，該指針指向mapped device所映射的具體targetdevice對應的結構。表示target device的具體結構由于不同的target類型而不同，比如最簡單的線性映射target類型對應targetdevice的結構是dm-linear.c文檔中定義的linear_c結構。其定義如下：
struct linear_c {
struct dm_dev *dev;
sector_t start;
};
該targetdevice的定義相當簡單，就只包括了表示對應物理設備的dm_dev結構指針和在該物理設備中以扇區為單位的偏移地址start。上述幾個數據結構關系如圖3所示：

圖3 device mapper中幾個重要數據結構的關系
內核中建立過程
在下面我們結合具體的代碼簡要介紹下在內核中創建一個mapped device的過程：
1、 根據內核向用戶空間提供的ioctl 接口傳來的參數，用dm-ioctl.c文檔中的dev_create函數創建相應的mappeddevice結構。這個過程很簡單，主要是向內核申請必要的內存資源，包括mappeddevice和為進行IO操作預申請的內存池，通過內核提供的blk_queue_make_request函數注冊該mappeddevice對應的請求隊列dm_request。并將該mapped device作為磁盤塊設備注冊到內核中。
2、 調用dm_hash_insert將創建好的mapped device插入到devicemapper中的一個全局hash表中，該表中保存了內核中當前創建的任何mapped device。
3、 用戶空間命令通過ioctl調用table_load函數，該函數根據用戶空間傳來的參數構建指定mappeddevice的映射表和所映射的targetdevice。該函數先構建相應的dm_table、dm_target結構，再調用dm-table.c中的dm_table_add_target函數根據用戶傳入的參數初始化這些結構，并且根據參數所指定的target類型，調用相應的target類型的構建函數ctr在內存中構建targetdevice對應的結構，然后再根據所建立的dm_target結構更新dm_table中維護的B樹。上述過程完畢后，再將建立好的dm_table添加到mappeddevice的全局hash表對應的hash_cell結構中。
4、 最后通過ioctl調用do_resume函數建立mappeddevice和映射表之間的綁定關系，事實上該過程就是通過dm_swap_table函數將當前dm_table結構指針值賦予mapped_device相應的map域中，然后再修改mapped_device表示當前狀態的域。
通過上述的4個主要步驟，device mapper在內核中就建立一個能夠提供給用戶使用的mappeddevice邏輯塊設備。
IO流
Device mapper本質功能就是根據映射關系和target driver描述的IO處理規則，將IO請求從邏輯設備mappeddevice轉發相應的target device上。Devicemapper處理任何從內核中塊一級IO子系統的generic_make_request和submit_bio接口，定向到mappeddevice的任何塊讀寫IO請求。IO請求在devicemapper的設備樹中通過請求轉發從上到下地進行處理。當一個bio請求在設備樹中的mappeddeivce向下層轉發時，一個或多個bio的克隆被創建并發送給下層targetdevice。然后相同的過程在設備樹的每一個層次上重復，只要設備樹足夠大理論上這種轉發過程能夠無限進行下去。在設備樹上某個層次中，targetdriver結束某個bio請求后，將表示結束該bio請求的事件上報給他上層的mappeddevice，該過程在各個層次上進行直到該事件最終上傳到根mapped device的為止，然后devicemapper結束根mapped device上原始bio請求，結束整個IO請求過程。
Bio在devicemapper的設備樹進行逐層的轉發時，最終轉發到一個或多個葉子target節點終止。因為一個bio請求不能夠跨多個targetdevice(亦即物理空間段)， 因此在每一個層次上，device mapper根據用戶預先告知的mapped device的target映射信息克隆一個或多個bio，將bio進行拆分后轉發到對應的targetdevice上。這些克隆的bio先交給mapped device上對應的target driver上進行處理，根據targetdriver中定義的IO處理規則進行IO請求的過濾等處理，然后再提交給targetdevice完成。上述過程在dm.c文檔中的dm_request函數中完成。Targetdriver能夠對這些bio做如下處理：
１、 將這些bio在本驅動內部排隊等待以后進行處理；
２、 將bio重新定向到一個或多個target device上或每個target device上的不同扇區；
３、 向device mapper返回error 狀態。
IO請求就按照上文中描述的過程在圖2中所示的設備樹中逐層進行處理，直到IO請求結束。
小結
Devicemapper在內核中向外提供了一個從邏輯設備到物理設備的映射架構，只要用戶在用戶空間定制好映射策略，按照自己的需要編寫處理具體IO請求的targetdriver插件，就能夠很方便的實現一個類似LVM的邏輯卷管理器。Devicemapper以ioctl的方式向外提供接口，用戶通過用戶空間的device mapper庫，向devicemapper的字符設備發送ioctl命令，完成向內的通信。他還通過ioctl提供向往的事件通知機制，允許targetdriver將IO相關的某些事件傳送到用戶空間。
用戶空間部分
Device mapper在用戶空間相對簡單，主要包括device mapper庫和dmsetup工具。Devicemapper庫就是對ioctl、用戶空間創建刪除devicemapper邏輯設備所需必要操作的封裝，dmsetup是個提供給用戶直接可用的創建刪除devicemapper設備的命令行工具。因為他們的功能和流程相對簡單，在本文中對他們的細節就不介紹了，用戶空間主要負責如下工作：
1、 發現每個mapped device相關的target device；
2、 根據配置信息創建映射表；
3、 將用戶空間構建好的映射表傳入內核，讓內核構建該mapped device對應的dm_table結構；
4、 保存當前的映射信息，以便未來重新構建。
以下我們主要通過實例來說明dmsetup的使用，同時進一步說明devicemapper這種映射機制。用戶空間中最主要的工作就是構建并保存映射表，下面給出一些映射表的例子：
1)
0 1024 linear /dev/sda 204
1024 512 linear /dev/sdb 766
1536 128 linear /dev/sdc 0
2) 0 2048 striped 2 64 /dev/sda 1024 /dev/sdb 0
3) 0 4711 mirror core 2 64 nosync 2 /dev/sda 2048 /dev/sdb1024
例子1中將邏輯設備0~1023扇區、1024~1535扇區連同1536~1663三個地址范圍分別以線形映射的方式映射到/dev/sda設備第204號扇區、/dev/sdb設備第766號扇區和/dev/sdc設備的第0號扇區開始的區域。
例子2中將邏輯設備從0號扇區開始的，長度為2048個扇區的段以條帶的方式映射的到/dev/sda設備的第1024號扇區連同/dev/sdb設備的第0號扇區開始的區域。同時告訴內核這個條帶類型的targetdriver存在2個條帶設備和邏輯設備做映射，并且條帶的大小是64個扇區，使得驅動能夠該值來拆分跨設備的IO請求。
例子3中將邏輯設備從0號扇區開始的，長度為4711個扇區的段以映像的方式映射到/dev/sda設備的第2048個扇區連同/dev/sdb設備的第1024號扇區開始的區域。
映射表確定后，創建、刪除邏輯設備的操作就相對簡單，通過dmsetup如下命令就能夠完成相應的操作。
dmsetup create 設備名 映射表文檔
dmsetup reload 設備名 映射表文檔
dmsetup remove 設備名

圖4 根據例子1中映射表在內核中建立的邏輯設備
當用戶空間根據映射表下達創建邏輯設備命令后，devicemapper在內核中就根據傳入的參數和映射關系建立邏輯地址到物理地址的映射關系。根據映射表例子1中的映射關系建立的設備如圖4所示，圖中的下半部分就抽象地描繪出了按照該映射表在內核中建立的邏輯地址到物理地址的映射關系。
Devicemapper的用戶空間部分對研發者要實現自己的存儲管理工具來說是可選的，事實上，很多我們常見的邏輯卷管理器，比如LVM2、dmraid等工具都利用devicemapper的提供的devicemapper用戶空間庫，根據自己的管理需求建立單獨的一套管理工具，而并沒有使用他提供的dmsetup工具，甚至IBM的開源項目企業級的邏輯卷管理系統-EVMS，在實現中都沒有采用devicemapper的用戶空間庫，完全根據內核中的ioctl定義實現了一套自己的函數庫。
Target Driver
Device mapper提供了一個統一的架構，通過target driver插件的方式允許用戶根據實際的需要指定自己的IO處理規則，因此target driver充分體現了devicemapper的靈活性。在上文中我們已不止一次的提到過target driver，也描述過targetdriver的功能，在這里我們結合最簡單的linear target driver具體介紹targetdriver的實現。
Target driver主要定義對IO請求的處理規則，在device mapper中對targetdriver的操作已定義好了統一的接口，在實現中該接口由我們上文提到的target_type結構中定義，他定義了以下targetdriver的方法：
１、 構建target device 的方法；
２、 刪除target device 的方法；
３、 Target的映射IO請求的方法；
４、 Target結束IO請求的方法；
５、 暫停target device讀寫的方法；
６、 恢復target device讀寫的訪問；
７、 獲取當前target device狀態的訪問；
８、 Target 處理用戶消息的方法；
用戶能夠根據具體需求選擇性地實現上述方法，但一般最少要實現前3種方法，否則在device mapper下不能夠正常的工作。lineartargetdriver就只實現了前3種方法和方法7，他完成邏輯地址空間到物理地址空間的線性映射，能夠將多個物理設備以線性連接的方式組成一個邏輯設備，就如圖4中描述的那樣，通過lineartarget driver將/dev/sda、/dev/sdb、/dev/sdc的三段連續空間組成了一個大的邏輯塊設備。Lineartarget的實現很簡單，他的創建和刪除方法主要完成申請和釋放描述linear targetdevice所用結構的內存資源；IO映射處理方法的實現更是簡單，如下代碼所示：
static int linear_map(struct dm_target *ti, struct bio *bio,
? ?????unionmap_info *map_context)
{
struct linear_c *lc = (struct linear_c *)ti->private;
bio->bi_bdev =lc->dev->bdev;
bio->bi_sector = lc->start +(bio->bi_sector - ti->begin);
return 1;
}
該映射方法就是將發送給邏輯設備mapped device的bio請求，根據映射關系以線性的方式重新定向到linear targetdevice所表示物理設備的相應位置，如代碼所示具體實現方法就是修改bio的bi_bdev設備指針為targetdevice對應的設備指針，并根據target device的起始地址和該bio請求在mappeddevice設備上的偏移值改變IO請求開始的扇區號bi_sector，從而完成IO請求的重定向。其他targetdriver的實現也都大同小異，按照devicemapper所定義的接口規范，結合自己需要的功能進行實現即可，這里就不一一介紹了，有興趣的讀者能夠看內核中具體的targetdriver代碼。

總結

以上是生活随笔為你收集整理的device mapper机制详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。