Facebook 竟然把服务 27 亿人的 AI 硬件系统开源了？！
全世界只有3.14 %?的人關注了
數據與算法之美
一直以來，社區對 Facebook 的硬件研究比較關注。在今日的開放計算項目全球峰會上，Facebook 技術策略主管 Vijay Rao 開源了全新的 AI 硬件：面向 AI 訓練與推理的硬件系統 Zion 與 Kings Canyon，以及針對視頻轉碼的 Mount Shasta。這篇博客內容對此進行了詳細介紹。
Facebook 的基礎設施現在每月為其整個應用和服務系統上超過 27 億的人提供服務。他們的工程師設計并創建了高級、高效的系統來擴大這一基礎設施，但是隨著工作負載的增長，單靠通用處理器已經無法滿足這些系統的需求。晶體管增長的速度已大大放緩，這就需要開發出專門的加速器和整體的系統級解決方案來提高性能、功率和效率。
為基礎設施創建高效的解決方案需要共同設計優化了工作負載的硬件。為此，Facebook 一直與合作伙伴共同開發針對 AI 推理、AI 訓練和視頻轉碼的解決方案。這幾個都是其發展最快的服務。今天，Facebook 發布了其用于 AI 訓練的下一代硬件平臺 Zion、針對 AI 推理的新定制芯片設計 Kings Canyon 以及用于視頻轉碼的 Mount Shasta。
AI 硬件
AI 工作負載的使用貫穿 Facebook 的架構，使其服務相關性更強，并改善用戶使用服務的體驗。通過大規模部署 AI 模型，Facebook 每天可以提供 200 萬億次推測以及超過 60 億次語言翻譯。Facebook 使用 35 億多公開圖像來構建或訓練其 AI 模型，使它們更好地識別和標記內容。AI 被應用于各種各樣的服務中，幫助人們進行日常互動，并為其提供獨特的個性化服務。
Facebook 上的大多數 AI 流程都是通過其 AI 平臺 FBLeaner 進行管理的，該平臺包含集中處理各部分問題的工具，如特征庫、訓練工作流程管理以及推理機。與設計并發布到 Open Compute Project（OCP）的硬件相結合，這將能夠促使 Facebook 大規模、高效地部署模型。從一個穩定的基礎開始，Facebook 專注于創建與供應商無關的整合硬件設計，并且為實現工作效率最大化，繼續堅持分解設計原則。結果就是 Facebook 推出了用于工作負載訓練和推理的下一代硬件。
AI 訓練系統 Zion
Zion 是 Facebook 下一代大存儲統一訓練平臺，設計上能夠高效處理一系列神經網絡，包括 CNN、LSTM 和 SparseNN。Zion 平臺能夠為其嚴重的工作負載提供高存儲能力和帶寬、靈活高速的相連、強大的計算能力。
Zion 采用了 Facebook 全新的、與供應商無關的 OCP 加速模塊（OAM）。OAM 形狀系數讓 Facebook 的合作伙伴（包括 AMD、Haban、GraphCore 和 Nvidia）可以在 OCP 通用規范上開發自己的解決方案。通過單個機架使用 TOR 網絡轉換，Zion 架構讓 Facebook 能夠在每個平臺上自由擴展到多個服務器。隨著 Facebook AI 訓練工作負載的規模和復雜性不斷增長，Zion 平臺也會隨之擴展。
Zion 系統分為三個部分：
8 插槽服務器
8 加速器平臺
OCP 加速器模塊
AI 訓練解決方案基礎模塊
Zion 連接模塊圖解
Zion 將系統的內存、計算和網絡密集型組件分離，使每部分都可單獨擴展。該系統為 8 個 NUMA CPU 插槽提供了一個大型 DDR 存儲池，以滿足工作負載存儲容量密集型組件的需求，例如 SparseNN 的嵌入表。對?CNN?或者 SparseNN 密集部分這樣的存儲-帶寬密集型和計算密集的工作負載，每個 CPU 插槽都連接了 OCP 加速模塊。
系統有兩個高速結構：連接所有 CPU 的相干結構和連接所有加速器的結構。因為加速器存儲帶寬高但存儲容量低，因此通過以這樣的方式對模型進行分區來有效利用可用的總存儲容量，從而使訪問頻率較高的數據駐留在加速器上，訪問頻率較低的數據駐留在具有 CPU 的 DDR 內存上。所有 CPU 和加速器之間的計算和通信都是平衡的，并且通過高速和低速相連有效地進行。
通過 Kings Canyon 執行推理
一旦我們訓練完模型，就需要將其部署到生產環境中，從而處理 AI 流程的數據，并響應用戶的請求。這就是推理（inference）——模型對新數據執行預測的過程。推理的工作負載正急劇增加，這反映了訓練工作的大量增加，目前標準 CPU 服務器已經無法滿足需求了。Facebook 正與 Esperanto、Intel、Marvell 和 Qualcomm 等多個合作伙伴合作，開發可在基礎設施上部署和擴展的推理 ASIC 芯片。這些芯片將為工作負載提供 INT8 半精度的運算，從而獲得理想的性能，同時也支持 FP16 單精度的運算，從而獲得更高的準確率。
整個推理服務器的解決方案分為四個不同的部分，它們會利用已發布到 OCP 的現有構建塊。利用現有組件可以加快開發進度，并通過通用性降低開發風險。該設計的四個主要組成部分為：
Kings Canyon 推理 M.2 模塊
Twin Lakes 單插槽（single-socket）服務器
Glacier Point v2 承載卡（carrier card）
Yosemite v2 機架
AI 推理解決方案模塊
AI 推理解決方案連接模塊圖解
在系統級別，每個服務器都結合了 M.2 Kings Canyon 加速器和 Glacier Point v2 承載卡，后者主要連接到 Twin Lakes 服務器。一般可以將兩組前面的組件安裝到更新的 Yosemite v2 機架中，然后通過多主機 NIC 連接到 TOR 交換機。更新版的 Yosemite sled 是目前現存 Yosemite v2 sled 的迭代升級，它將 Twin Lakes 主機的其他 PCIe 通道連接到 NIC，以獲得更高的網絡帶寬。每個 Kings Canyon 模塊都包含 ASIC、相關內存和其它支持組件，其中 CPU 主機通過 PCIe 通道與加速器模塊通信。Glacier Point v2 包括一個集成的 PCIe 交換機，允許服務器同時訪問所有模塊。
深度學習模型有很高的儲存要求。例如，SparseNN 模型具有非常大的嵌入表征表，它會占用好幾 GB 的存儲空間，并且還可能會持續增長。這樣的大模型可能不適合加載到單獨設備的內存中，不論是 CPU 還是加速器都不行，所以這就要求在多個設備內存上進行模型分割（model partitioning）。當數據位于另一個設備的內存中時，分割將產生很多通信成本。因此，好的圖分割（graph-partitioning）算法將嘗試捕獲局部的概念，從而降低通信成本。
通過合適的模型分割，我們可以運行非常大的深度學習模型。例如 SparseNN 模型，如果單節點的內存能力不足以支持給定的模型，我們可以考慮在兩個節點中共享模型，并提升模型能訪問的內存量。這兩個節點可以通過多主機 NIC 連接，并支持高速信息處理。這將增加整體的通信成本，但我們可以利用跨多個嵌入表存在訪問差異的事實，相應地對表進行排序而降低通信延遲。
神經網絡硬件加速器編譯器
ASIC 不運行通用代碼，因為它們需要特定的編譯器才能將圖轉化為在這些加速器上執行的指令。Glow 編譯器的目標是將供應商的特定硬件從更高級的軟件堆棧中抽象出來，使基礎設施不受供應商限制。它接受來自框架（如 PyTorch 1.0）的計算圖，并為這些機器學習加速器生成高度優化的代碼。
Glow 編譯器
使用 Mount Shasta 進行視頻轉碼
自 2016 年以來，Facebook Live 直播的平均數量每年翻一番。自 2018 年 8 月在全球推出以來，Facebook Watch 的月瀏覽量已經超過 4 億，每天有 7500 萬人使用。為了優化所有這些視頻，使其能適應多種網絡環境，Facebook 生成了多個輸出質量和分辨率（或比特率），這個過程稱為視頻轉碼。完成這個轉碼過程所需要的計算是高度密集型的，通用 CPU 無法滿足 Facebook 日益增長的視頻需要。為了走在需求的前面，Facebook 與博通和芯原合作，設計為轉碼負載進行優化的定制 ASIC。
視頻轉碼流程被分解為許多不同的步驟，下面將給出更詳細的介紹。這些步驟都是在今天的軟件中運行的，所以為了提高效率，Facebook 與供應商合作，為轉碼工作流程的每個階段創建了包含專用芯片的定制 ASIC。使用定制化的硬件來完成這些工作負載使得這一過程的能源使用更加高效，并支持實時 4K 60fps 流媒體等新功能。單個視頻編解碼器是標準化的，而且不經常修改，因此在這種情況下，定制芯片內在缺乏靈活性并不是一個顯著的缺點。
視頻轉碼的第一個階段稱為解碼，在解碼過程中，上傳的文件被解壓，以獲得由一系列圖像表示的原始視頻數據。然后，可以對這些未壓縮的圖像進行操作，以更改它們的分辨率（稱為縮放），接下來再次使用優化設置進行編碼，將它們重新壓縮到視頻流中。將輸出視頻與原始視頻進行比較，計算質量指標，這些指標代表了相對于原始上傳視頻的質量變化。一般所有的視頻都采取這種做法，以確保所用的編碼設置可以產生高質量的輸出。視頻編碼和解碼使用的標準稱為視頻編碼方式；H.264、VP9 和 AV1 是目前使用的主流編碼協議。
在 ASIC 上，除了每個軟件算法都被芯片內的專用部件所取代外，其他步驟都是相同的。平均而言，Facebook 希望這一視頻加速器比其目前的服務器效率高很多倍。他們希望業界的目標編碼在 10W 功耗內至少處理 2x 4K 分辨率和 60fps 的并行輸入流。ASIC 還需要支持多種分辨率（從 480p 到 60fps 的 4K）和多種編碼格式（從 H.264 到 AV1）。
視頻轉碼 ASIC 通常有以下主要邏輯塊：
解碼器：接收上傳的視頻；輸出解壓縮的原始視頻流
縮放器（Scaler）：縮放解壓縮的視頻
編碼器：輸出壓縮（編碼）視頻
質量度量：衡量編碼步驟之后的視頻質量損失
PHY：芯片與外界的接口；連接到服務器的 PCIe 和內存的 DDR
控制器：運行固件并協調轉碼流程的通用塊
視頻轉碼解決方案基礎模塊
與推理一樣，Facebook 利用現有的 OCP 構件在數據中心部署這些轉碼 ASIC。ASIC 將安裝在帶有集成散熱器的 M.2 模塊上，因為這種常見的電氣外形可以在不同硬件平臺上重復利用。它們被安裝在 Glacier Point v2 (GPv2) 載體卡中，該載體卡可以容納多個 M.2 模塊。這個 GPv2 載體卡具有和 Twin Lakes 服務器一樣的物理外形，意味著它可以適配 Yosemite v2 機架，并在其中與 Twin Lakes 服務器配對。
因為轉碼 ASIC 功耗低、體積小，Facebook 希望通過將盡可能多的芯片與單個服務器相連接來節約成本。高密度的 GPv2 實現了這一點，同時還提供了足夠的冷卻能力來承受數據中心的運行溫度。
一旦完成軟件集成工作，Facebook 將平衡分布在不同數據中心位置上異質硬件 fleet 的視頻轉碼工作負載。為了在與各種機器學習和視頻空間供應商的合作過程中擴大規模，他們還努力確保軟件以開放的形式開發，并推廣和采用通用的界面和框架。
參考鏈接：https://code.fb.com/data-center-engineering/accelerating-infrastructure/
https://venturebeat.com/2019/03/14/facebook-open-sources-hardware-for-ai-model-training-and-inference/
轉載請在公眾號中，回復“轉載”
版權歸原作者所有，轉載僅供學習使用，不用于任何商業用途
如有侵權請留言聯系刪除，感謝合作。
超模君準備了幾份?數學思維好物
《超模定制筆記本》《數學原來會說謊》
《數學的故事》《簡單微積分》......
免費?送給大家，參與就有機會獲得
總結
以上是生活随笔為你收集整理的Facebook 竟然把服务 27 亿人的 AI 硬件系统开源了？！的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 清华体质优良可降5分录取；窃取密钥者奖百
- 下一篇： 每日一笑 | 哪个男人到底是谁？！