pfc

概述

Priority Flow Control (PFC) IEEE 802.1Qbb applies pause functionality to specific classes of traffic on the Ethernet link. It provides an enhancement to the existing pause flow control mechanism as described in 802.1x.

When the receive buffer on a switch interface fills to a threshold, the switch transmits a pause frame to the sender (the connected peer) to temporarily stop the sender from transmitting more frames. The buffer threshold must be low enough so that the sender has time to stop transmitting frames and the receiver can accept the frames already on the wire before the buffer overflows.

PFC prevents buffer overflow by pausing the upstream sending entity when buffer occupancy exceeds a specified threshold.

pfc發生場景

RoCE的流量需要保證運行在無損隊列中，無損隊列是指使用了PFC技術，能針對某一隊列發送pause幀，迫使上游停流。

接收方在網卡緩存達到某個水位閾值，會向上游反壓pfc幀（tx pfx），讓上游停流。

pfc幀上游首先到匯聚路由器，由于路由器自身有緩存，所以接收方反壓的PFC不會立刻向發送方反壓，而是將發送方的流量存儲在自身的緩存里。等pfc pause時間過了之后再向接收方發送。

如果匯聚路由器的緩存也被打爆，則會向發送方反壓pfc(rx pfc)

什么場景容易觸發pfc？

接收方網卡承受了超過極限的流量壓力，導致網卡buffer被打爆

接收方網卡buffer通過dma將數據轉移到內存的速度較慢，導致網卡buffer一直維持在一個很高的水位

• 比如100G網卡，插在Gen3X16插槽上，總共可用帶寬只有125G，但是200G的rdma網卡產生很多PCIe Internal Back Pressure事件，導致網卡buffer降的比較慢。

多打一ibv_srq_pingpong測試

• 寫請求占用了一部分rdma網卡資源，導致網卡處理讀請求的速度變慢

DCQCN

網絡擁塞控制是一個很復雜的課題，這里只講一些基本的設計思路。
RoCE使用的擁塞控制算法是DCQCN，*《Congestion Control for Large-Scale RDMA Deployments》*這篇論文很詳細地描述了該算法。

這里先簡單的描述下這個算法：維護這個算法的節點是服務器，也就是流量的兩端，中間的交換機作為傳輸節點，通告是否擁塞。發送方叫Reaction Point，簡稱RP；接收方叫Notification Point，簡稱NP；中間交換機叫 Congestion Point，簡稱CP。發送方（RP）以最高速開始發送，沿途過程中如果有擁塞，會被標記ECN顯示擁塞，當這個被標記的報文轉發到接收方（NP）的時候，接收方（NP）會回應一個CNP報文，通知發送方（RP）。收到CNP報文的發送方（RP），就會開始降速。當發送方沒有收到CNP報文時，就開始又提速了。

參考鏈接

Priority Flow Control (PFC)

Understanding CoS Flow Control (Ethernet PAUSE and PFC)

802.1Qbb – Priority-based Flow Control

Revisiting Network Support for RDMA - Extended version of the SIGCOMM 2018 paper論文挺好的，很多基本概念也有，比如NACK： negative acknowledgement

RDMA over Commodity Ethernet at Scale SIGCOMM 2016 paperguochuanxiong的論文，談到了pfc的產生原因和應對方法

Congestion Control for Large-Scale RDMA deployments 2015 sigcomm，首篇提到DCQCN的論文

UCloud高性能RoCE網絡設計

總結

以上是生活随笔為你收集整理的浅谈RDMA流控设计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。