?詳細解析FCoE協議

FCoE標準是博科首先提出來的。FCoE是由包括Brocade、IBM, HP,EMC, NetApp, Cisco, Emulex, Broadcom, Intel, Nuova, QLogic, and Sun廠商所共同支持與貢獻T11標準委員會的協議。協議的具體內容是指FCoE直接在增強型無損以太網基礎設施上傳輸光纖信道信號的功能的協議。FCoE可以提供標準的光纖通道原有的多種服務如發現、全局名稱命名、分區等，而且這些服務都可以照標準原有的運作，保有FC原有的低延遲性、高性能。FCoE采用增強型以太網作為物理網絡傳輸架構，能夠提供標準的光纖通道有效內容載荷。因此，廠商也已經開發了針對無損10Gb以太網的數據中心架構。而此以太網標準被稱為“聚合增強型以太網（CEE）”，可以避免類似TCP/IP協議的開銷和數據包損失。

?

?

在過去的十年中，光纖通道作為存儲局域網的一項連接技術取得了很大的成功。在這個過程中，光纖通道提供了廣泛的全新存儲解決方案，包括更好的塊傳送性能，高可用性的存儲存取，先進的數據中心備份及數據保護，基于虛擬化的高層存儲服務以及高級管理工具。不過在近幾年中，總是有各種各樣的新興技術，例如InfiniBand、NAS和iSCSI，不時地引發人們對于光纖通道(Fibre Channel，簡稱FC)發展未來的爭論。

　　要不是能夠推動成本或性能優勢的發展，新技術很難取代已有的的成熟技術。例如，盡管令牌環(TokenRing)相較以太網有更高的性能(16Mb/s vs. 10Mb/s)和更強的功能，但以太網依仗其規模經濟優勢在局域網傳輸領域上順利取代了令牌環。相比較之下，ATM網絡也無法取代以太網成為桌面系統的連接標準，這主要是由于它無法與以太網龐大的安裝基礎相兼容。ATM的LANE(局域網仿真)實在存在太多問題。盡管InfiniBand以高性能的服務器集群應用證明了它在高端用戶中的價值，但是它一直無法在局域網或存儲局域網傳輸上與其它技術相抗衡。InfiniBand獨特的布線方式和高速傳輸模式下的距離限制使得IT管理者們紛紛放棄高攀的念頭。

作為存儲業內著名的技術專家與出版了許多有關SAN技術書籍的作家，Tom Clark曾擔任全球網絡存儲工業協會(SNIA)的理事與McDATA公司解決方案和技術總監，現為博科(Brocade)公司技術市場部的首席工程師。Tom Clark擁有近二十年的系統工程和設計實踐經驗，而且掌握廣泛的數據通訊和聯網專門技術。上圖即為TomClark 2005年來華主講“存儲網絡虛擬化研討會”后接收本站記者專訪時照片(手中的書就是他當年探討存儲虛擬化技術的新作)。

　　光纖通道作為一項成功的技術解決了許多與高性能數據塊傳輸相關的難題。畢竟，光纖通道是一種模擬數據中心大型機環境的傳輸架構。大多的傳輸通道往往都是以高帶寬和低負荷為手段，在最大程度上實現數據中心環境中大量數據的高效傳輸。為了保持穩定一致的性能，光纖通道借助包括Buffer-to-bufferCredit等在內的內部機制來降低網絡阻塞的潛在影響。如果丟失一個幀，光纖通道不會像TCP一樣馬上停止直到恢復丟失的幀，而是以數千兆的傳輸速率重新發送整個序列的幀。光纖通道擁有一系列領先的存儲機制，例如自動尋址、設備發現、光纖架構和狀態變更通知等，這些機制為主機(服務器)和目標設備(存儲系統)之間的交換處理提供了便利。

　　光纖通道也為高可靠和高可用性架構引進了一系列更高層的服務。光纖路由協議、基于策略的路由、基于硬件的中繼、虛擬光纖網絡、光纖網絡安全以及故障隔離等服務都成為了實現穩定傳輸的基礎。針對存儲虛擬化和數據保護所提供的，基于光纖網絡的應用服務也進一步促進了存儲管理的簡化及自動化。光纖通道標準和符合標準的產品均針對存儲數據進行了優化，最大程度上提高了數據的性能和可用性。因此，基于光纖通道的SAN為全球主要的企業和學院提供著強大的技術支持。

　　最近業內發布了一項新的光纖通道標準，以實現在以太網上運行光纖通道協議。這項名為FCoE(FibreChannel over Ethernet )協議希望能在現有光纖通道的成功基礎上，借助于以太網的力量重新保持自身在數據中心存儲局域網中的霸主地位。一些業內分析人士表示，FCoE是光纖通道廠商與iSCSI陣營進行競爭的新嘗試。畢竟iSCSI也是通過以太網傳輸數據存儲塊。然而當我們拿FCoE與iSCSI做比較時會發現，實際上這兩個協議解決是完全不同的問題。iSCSI通過TCP/IP協議在可能產生損耗或阻塞的局域網和寬帶網上傳送數據存儲塊。相比之下，FCoE則只是利用了以太網的拓展性，并保留了光纖通道在高可靠性和高效率方面的優勢。屆時這些優勢還將在10G以太網上有更好的體現。我們目前暫且將其稱為CEE(Converged EnhancedEthernet)。

　　FCoE并不是要代替傳統的光纖通道技術，而是在不同連接傳輸層上對光纖通道進行拓展。正如圖1所示，FCoE的價值在于在同樣的網絡基礎體系上用戶有權利選擇是將整個邏輯網絡全部當成傳輸存儲數據與信號的專用局域網，或是作為混合存儲數據、信息傳送、網絡電話、視頻流以及其它數據傳輸的共用網絡。FCoE的目標是在繼續保持用戶對光纖通道SAN所期望的高性能和功能性的前提下，將存儲傳輸融入以太網架構。FCoE還特別針對刀片服務器平臺提供了一種簡化接口和布線的方法。

　　

　　圖一 ：在普通的以太網架構上支持多協議

　　FCoE目前已經正式提交給了管理光纖通道標準的官方組織--美國國家標準委員會(ANSI)T11 委員會進行審批。并且會收錄到新的FibreChannel Backbone Generation 5 (FC-BB-5)規范中。由于FCoE具備了新一代增強形以太網的眾多優勢，所以這項標準的審批需要與管理以太網技術標準的美國電氣與電子工程師協會(Instituteof Electrical and Electronics Engineers，IEEE)保持密切合作

早期業內就在以太網存儲協議的標準化方面做過很多努力，但限于當時百兆或千兆以太網性能而均未能如愿。例如在2001年，Nishan Systems公司開發了針對局域網或數據中心的mFCP(metroFibre Channel Protocol)協議以及針對廣域應用的Internet光纖通道協議(iFCP)。mFCP 支持在基于以太網的光纖通道上應用UDP和IP協議，但是mFCP中缺少TCP中其它的用于數據包恢復的協議。mFCP 協議假設以太網基礎體系本身的設計已經可以避免網絡阻塞，并且具備基本的流量控制機制將丟幀減到最低。如果確實發生了丟幀，mFCP協議將會借助上層的光纖通道協議對適當的幀序列做出重傳的回應。除IP路由層之外，mFCP 協議的實際運作與光纖通道Class-3的未確認服務(Unacknowledged Service)相類似。

　　盡管iFCP 協議被廣泛地應用于災難恢復及其它遠程存儲應用，但由于10G以太網還在建設之中，所以mFCP無法在1 Gb/s的速率下得很好的效果。但mFCP 的主要優點在于它可以整合以太網和光纖通道SAN，提高光纖通道協議棧的效率。

　　此外還有一些其它的小眾協議試圖將存儲協議直接與以太網相結合，如AoE協議和HyperSCSI以太網存儲協議。但這些技術標準僅限定于低性能存儲應用。例如HyperSCSI借助SCSI協議來驗證和恢復傳輸錯誤，所以在數據中心領域缺乏光纖通道協議的優勢。

　　基于以太網的蛻變

　　光纖通道和以太網傳輸都是使用的數據鏈路層協議(第二協議層)。在OSI七層模型中，第一協議層是傳輸網絡信號的物理媒介，第二協議層是成幀協議(FramingProtocol )，當上層協議處理網絡路由和會話管理等更高層級服務時，本層協議會立即作用于下層介質。因為每個附加協議層都會帶來更多的協議處理和開銷，所以第二協議層是從一個網絡節點向另一個網絡節點快速傳輸數據的最為快捷的途徑。

　　光纖通道作為鏈路層傳輸協議，最初是專門被設計用來保證數據中心傳輸通道的高效率。這其中多方面原因的。首先，在千兆或數千兆的速率下，網絡需要一個流控機制來避免網絡阻塞引起的丟幀問題。光纖通道借助Buffer-to-bufferCredit解決了流控制問題。一端設備只有當接收方的緩沖區已清空并且發出接收準備信號((R_RDY))后才能發送附加幀。其次，光纖通道結構從本質上來說是一個獨立的子網，專門處理在數據中心內的主機與目標設備之間的數據通訊問題。盡管現在光纖通道有SAN到SAN交流的輔助路由能力，但光纖通道路由使用的是網絡地址轉換協議(Network Address Translation，NAT)，而不是上面第三層的路由協議。

　　光纖通道技術在這幾年時間中，發展出了很多更適用于存儲需求的更高層功能。例如，基于每臺光纖通道交換機都配備的簡單域名服務(SimpleName Service，SNS)，就為發起者尋找目標資源提供了設備發現機制。基于端口或WWN(World Wide Name)的分區實現了不同存儲單位間的彼此隔離，防止未授權服務器與特定存儲資產之間通信。注冊狀態變化通告(Registeredstate change notifications，RSCNs)提供了一種將服務器與存儲網絡中存儲系統相鏈接的方式。通信重路由(Fabric Shortest Path First ，FSPF)協議可在多臺交換機架構下建立最佳的路徑。并允許多在多臺交換機之間進行多重連接，以提高帶寬。具備故障隔離的光纖路由實現了各個獨立SAN間的資源共享。虛擬光纖網絡技術可以使不同部門或應用程序之間共享一個公共的SAN，而相互不受影響與限制。

　　為了保持此前光纖通道所具備的傳輸優勢和以存儲為中心的特征，FCoE需要對傳統的以太網和相應的控制器進行重大的改進，以提供設備發現、通知(Notification)、安全和其他高級存儲服務。如果以太網可以滿足數據中心的苛刻要求的話，那么通過以太網封裝光纖通道幀的FCoE協議就完全能夠成為終端到終端傳輸(FCoE發起者與FCoE目標直接通信)或網關應用(FCoE發起者通過網關與光纖通道目標設備通信)最簡單直接的解決方法。但是為了使用戶實施成為可行，那些光纖通道上的高級服務必須得到保留。

防止丟包

　　FCoE發展過程中所遇到的第一個挑戰是將通過本地光纖通道的Buffer-to-bufferCredits特性所實現的流控制機制得以延續。雖然以太網交換機沒有相對應的緩沖到緩沖機制，但以太網標準可以通過支持MAC控制幀來調節流入的信息量。IEEE 802.3x 流量控制標準是基于暫停幀流量控制技術的。這個技術會使得發送者后面的傳輸內容延遲一段特定的時間再發送，如果接收設備在這段時間過去之前清除緩沖，那么它會重新發送暫停幀，同時將終止時間歸零。這使發送者可以重新傳送直至接收到另一個暫停幀。

　　因為FCoE機制必須支持存儲數據的讀寫，所以所有網絡存儲路徑下的終端設備和以太網交換機必須支持雙向IEEE802.3x流控制。盡管這樣的效果可能不如Buffer-to-bufferCredits機制那么理想，但是IEEE 802.3x暫停幀可以提供對應的功能性，來調節存儲流量并防止阻塞和緩沖區溢出引起的丟幀。

　　IEEE中的IEEE802.3ar阻塞管理研究小組和IEEE 802.1au阻塞通知研究小組負責以太網阻塞問題的研究工作。特別是對于存儲事務來說，這有助于增強流控機制的服務層級質量，使得最關鍵的任務的數據流在可能發生阻塞的情況下獲得最高優先權。

　　冗余路徑和故障切換

　　光纖通道高可用性的特點主要是得益于其可提供的主機與目標設備之間冗余路徑的Flat或CORE/EDGE的拓撲網絡。從主路徑到輔路徑的主機總線適配卡、鏈路、交換機端口、交換機或存儲端口，其中任何一點發生故障就會引發整個網絡的故障。在某些情況下，這兩條路徑都是動態的并且兼備高性能和可用性。光纖通道架構中的光纖最短路徑優先協議用來決定光纖交換機間傳輸的最佳路徑，其判斷基于交換機的鏈路帶寬與流量負荷。

　　以太網基礎體系必須為FCoE提供相應的耐障礙性來保證存儲訪問的暢通無阻。當多以太網交換機通過交換機內鏈路(例如以完全網路拓撲)連接時，IEEE802.1D快速生成樹協議在網絡上建立主路徑，避免幀的發送形成無止境的環形回路。交換機之間的動態橋接端口處于推進狀態，非動態失效切換橋接端口處于阻塞狀態。但由于阻塞的連接不能用于數據的傳輸，所以網路中的阻塞連接都表示未利用和閑置的資源。快速生成樹通過網橋協議數據單元來監控所有橋接端口的情況，如果連接、橋接端口或交換失效的話，快速生成樹協議啟動必要的失效切換橋接端口，在網絡上建立選擇路徑。

　　此外，IEEE 802.1s 多生成樹協議(MultipleSpanning Tree Protocol，MSTP)和IEEE 802.1Q-2003虛擬LAN(VLAN)技術定義了另外的增強以太網路徑切換的機制。與光纖通道的硬分區技術相類似，VLAN 標記可實現多達4096個群集節點組共存于一個公共的以太網基礎體系內。在多業務傳輸平臺上對生成樹的增強可以使每個VLAN組中有一個單獨的生成樹。因此，一個虛擬局域網阻塞模式下的橋接端口可以調節成另一個虛擬局域網的轉發模式，并且實現對所有網絡互連性更充分的利用。

　　即使有多業務傳輸設備的增強，已使用的網絡連接仍不可避免地導致了快速生成樹協議對轉發和阻塞狀態的依賴。越來越多復雜的第三層路由協議，例如開放最短路徑優先協議(OpenShortest Path First，OSPF)，在跳躍計數、帶寬、延遲時間和其他測量標準的基礎上選擇末端節點之間的最佳路徑，并且實現多路徑上的負載均衡。即時串流傳輸協議(RSTP)作為第二層協議無法支持這樣的附加功能性而保持向后兼容。需要設法找到將負載均衡、多點接入(例如一個節點有接入同一以太網網段的兩條動態鏈路)、多播技術和廣播技術引入第二層以太網的方法。

從光纖通道到以太網的映射

　　FCoE也必須解決以太網和光纖通道各自所傳輸的幀之間的差異。通常一個以太網的幀最大為1518字節。而一個典型的光纖通道幀最大為大約2112字節。因此在以太網上打包光纖幀時需要進行分段發送，然后在接收方進行重組。這會導致更多的處理開銷，阻礙FCoE端到端傳輸的流暢性。

　　因此需要一個更大的以太網幀來平衡光纖通道和以太網幀大小上的差異。有一個稱為"巨型幀"的實質標準，盡管不是正式的IEEE標準，但它允許以太網幀在長度上達到9k字節。在使用"巨型幀"時需要注意，所有以太網交換機和終端設備必須支持一個公共的"巨型幀"格式。

　　最大的巨型幀(9K字節)可以實現在一個以太網幀下封裝四個光纖通道幀。但是這會使光纖通道連接層恢復以及應用802.3x暫停指令的緩沖流量控制變得更加復雜。如圖2所示，FCoE向一個巨型以太網幀內封裝一個完整的光纖幀(不使用循環冗余校驗)。因為以太網已經提供了幀檢驗序列(FCS)來檢驗傳輸數據的完整性，所以不需要光纖幀的循環冗余校驗(CRC)。這進一步降低了傳輸層所需的處理開銷，同時提高通道的性能。由于光纖幀可能包括拓展的、可選擇的信頭或虛擬光纖標記信息，所以以太網"巨型幀"的大小就不合適，并且會隨著封裝光纖幀的需要而發生變化。

　　

　　圖2 在以太網封裝一個光纖幀

　　FCoE幀是使用六字節MAC硬件目的地址和源地址的本地第二層以太網幀。但MAC地址是存儲透明的，并且只能用于從源到目的地幀的交換。以FCoE幀中保留了存儲事務中需要的光纖通道尋址，所以需要從FCID(Fibre Channel ID)到以太網MAC地址映射的方法。可以選擇一個與地址解析協議(ARP)相類似的協議來實現FCID到MAC的地址映射。例如，在第三層IP環境下，地址解析協議用于從上層IP網絡地址到第二層硬件MAC地址映射。此外，光纖通道使用一些較為熟知的地址來獲得存儲服務(例如通過SNS發現設備機制)。FCoE要求有相應的功能性來完成從熟知的地址到對應MAC地址的映射。

　　在傳統光纖通道中，HBA或存儲端口在連接到以太網交換機時會接收FCID。FCoE設備無法確保通用以太網交換機提供專門的存儲服務，所以必須依靠可用于FCoE交換機內部的域控制器和存儲服務引擎來提供光纖通道登陸、尋址和其它高級服務。未來的數據中心導向器將會在一個高可靠性、多協議平臺上將以太網、光纖通道和FCoE存儲服務融合為一體。

FCoE、iSCSI和FCIP

　　FCoE、iSCSI和FCIP都是可以在以太網上進行塊數據傳輸的存儲協議。然而每一個當初都是以不同的目標和設計標準發展起來。由于FCoE是由專門的數據中心存儲協議發展而來，其中包含有FC和數據中心以太網協議。iSCSI是設計用來在包括局域網和廣域網在內的任何基于IP的系統上可靠地傳輸存儲數據。如圖3所示，iSCSI借助位于第三層的整個TCP/IP協議棧來實現路由和數據包恢復，所以iSCSI可以用于可能存在潛在的網絡帶寬損耗。相比之下，FCIP被設計為用于遠程連接FC SAN的隧道協議。象iSCSI一樣，FCIP亦承擔TCP/IP的處理開銷，因此它的設計不適合本地高性能數據中心應用。

　　

　　圖3 以太網、光纖通道和iSCSI協議棧

　　iSCSI主要作用在于其經濟性，發揮空閑的驅動器、以太網卡、以太網交換機和IP路由器，在服務器和存儲之間傳輸SCSI數據塊。盡管服務器接入和網絡基礎系統成本較低，但是iSCSI存儲目標成本會隨著是否使用廉價磁盤驅動和是否配置基于硬盤或基于軟盤的控制器而改變。因為沒有專門的本地iSCSI磁盤驅動，iSCSI目標必須依靠某種形式的協議橋接(從iSCSI 到SAS/SATA或從iSCSI到FC)控制器來存儲和檢索數據塊。所以iSCSI并不等同于那些有時用于部門級FC SAN中的JBOD。

　　在1Gb以太網中，iSCSI不需花費很多就可實現通過網關將低性能的二級服務器整合到現有的數據中心的FC SAN中，或為部門使用提供共享存儲。但是在10G以太網中，iSCSI就漸漸失去了廣泛宣揚的成本優勢。在服務器上使用10G以太網意味著主程序要求高性能和可靠性。盡管標準NIC卡可在10G下使用，但10G的iSCSI服務器通過例如TCP可卸載適配器等輔助設備來增強性能，并通過iSER logic來避免從接口到應用存儲器的SCSI數據的多存儲副本。設計精密的10GBiSCSI適配器增加了成本，但使iSCSI 可以在主機上將CPU開支減到最低，來更充分地利用更大的帶寬。

總結

　　介于龐大的安裝基礎，早已成熟的光纖通道技術已經具備了眾多的存儲特性和管理工具，這大大利于對數據中心內的共享存儲系統進行各種配置。聚合增強以太網(CEE)技術使用戶可以在公共以太網基礎體系數據中心將存儲、信息傳送、網絡電話、視頻和其它數據結合在一起。FCoE是實現以太網高效率塊存儲的組件技術。FCoE不是光纖通道的替代物而是光纖通道的拓展，并且將與光纖通道SAN共存。

　　因為FCoE是對以太網的進一步增強，所以它的發展需要光纖通道和以太網的技術專家和標準組織之間的相互協調。盡管流控制和以太網生成樹協議等連接層問題是一個重大的挑戰，但是還需要提出更多的解決方案來繼續保留用戶正有效配置的光纖通道高級服務。即使是在10G網絡傳輸速率下，仍需要對今天的以太網技術進行深入研究以適合數據中心存儲的應用。作為光纖通道架構技術的先驅，博科公司在保留數據中心性能、可靠性和高級存儲服務所提供的優勢的同時，也向FCoE引入了專業技術以降低其他解決方案的復雜性。

　　關于作者

　　Tom Clark是博科公司技術市場部的首席工程師。作為市場、研發和用戶之間溝通的重要橋梁，Tom 專注于確保存儲網絡技術有效配置的特性。他是全球網絡存儲工業協會成員、SNIA 互操作委員會前任聯合主席。他發表了許多有關存儲網絡的文章和白皮書，其中有DesigningStorage Area Networks Second Edition (Addison-Wesley， 2003)，IPSANs： A Guide to iSCSI， iFCP and FCIP Protocols for Storage Area Networks(Addison-Wesley， 2001)，以及Storage Virtualization: Technologies for SimplifyingData Storage and Management (Addison-Wesley 2005)。

?

總結

以上是生活随笔為你收集整理的FCoE协议详细解析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。