摘要

聯邦學習使多方能夠在不交流本地數據的情況下協作訓練機器學習模型。 聯邦學習的一個關鍵挑戰是處理各方本地數據分布的異質性。 盡管已經提出了許多研究來應對這一挑戰，但我們發現它們無法在具有深度學習模型的圖像數據集中實現高性能。 在本文中，我們提出了 MOON：模型對比聯邦學習。 MOON 是一個簡單而 有效的聯邦學習框架。 MOON 的關鍵思想是利用模型表示之間的相似性來糾正各個方的局部訓練，即在模型級別進行對比學習。 我們的大量實驗表明，MOON 在各種圖像分類任務上明顯優于其他最先進的聯邦學習算法。

1、簡介

深度學習需要數據。模型訓練可以從大型且具有代表性的數據集（例如 ImageNet [6] 和 COCO [31]）中受益很多。然而，數據在實踐中通常分散在不同的各方（例如，移動設備和公司）之間。由于越來越多的隱私問題和數據保護法規 [40]，各方無法將他們的私人數據發送到中央服務器來訓練模型。 為了解決上述挑戰，聯邦學習 [20, 44, 27, 26] 使多方能夠在不交換本地數據的情況下共同學習機器學習模型。 一種流行的聯邦學習算法是 FedAvg [34]。在每一輪 FedAvg 中，更新各方的本地模型被傳送到服務器，服務器進一步聚合本地模型以更新全局模型。在學習過程中不交換原始數據。聯邦學習已經成為一個重要的機器學習領域并吸引了許多研究興趣 [34, 28, 22, 25, 41, 5, 16, 2, 11]。此外，它已應用于許多應用，例如醫學成像 [21, 23]、物體檢測 [32] 和地標分類 [15]。 聯邦學習的一個關鍵挑戰是不同方數據分布的異質性 [20]。在許多實際應用中，數據可能會在各方之間以不同的方式分布，這會降低聯邦學習的性能 [22, 29, 24]。當各方更新其本地模型時，其本地目標可能與全局目標相距甚遠。因此，平均全局模型遠離全局最優。有一些研究試圖解決本地訓練階段的非 IID 問題 [28, 22]。 FedProx [28] 直接通過“2-范數距離”限制局部更新，而 SCAFFOLD [22] 通過方差減少 [19] 校正局部更新。 然而，正如我們在實驗中所展示的（參見第 4 節），這些方法無法在具有深度學習模型的圖像數據集上實現良好的性能，這可能與 FedAvg 一樣糟糕。
在這項工作中，我們基于直觀觀察從一個新穎的角度解決了非 IID 問題：在整個數據集上訓練的全局模型能夠學習比在偏斜子集上訓練的局部模型更好的表示。 具體來說，我們提出了模型對比學習（MOON），它通過最大化當前局部模型學習的表示與全局模型學習的表示的一致性來糾正局部更新。 與傳統的對比學習方法 [3, 4, 12, 35] 通過比較不同圖像的表示在學習視覺表示方面達到最先進的結果不同，MOON 通過比較表示在模型級別進行對比學習 通過不同的模型學習。 總的來說，MOON 是一個簡單有效的聯邦學習框架，并且 通過基于模型的對比學習的新穎設計解決了非 IID 數據問題。
我們進行了大量實驗來評估 MOON 的有效性。 MOON 在包括 CIFAR-10、CIFAR-100 和 Tiny-Imagenet 在內的各種圖像分類數據集上明顯優于其他最先進的聯邦學習算法 [34、28、22]。 僅對 FedAvg 進行輕量級修改，MOON 在大多數情況下比現有方法的準確率至少高出 2%。 此外，在某些設置上，MOON 的改進非常顯著。 例如，在 100 方的 CIFAR-100 數據集上，MOON 達到了 61.8% 的 top-1 準確率，而現有研究的最佳 top-1 準確率是 55%。

2、背景及相關工作

2.1.聯邦學習

FedAvg [34] 一直是聯邦學習的一種事實上的方法。 FedAvg的框架如圖1所示，每輪FedAvg有四個步驟。首先，服務器向各方發送一個全局模型。其次，雙方執行隨機梯度下降 (SGD) 以在本地更新他們的模型。第三，本地模型被發送到中央服務器。最后，服務器對模型權重進行平均以生成用于下一輪訓練的全局模型。 有相當多的研究試圖改進非 IID 數據的 FedAvg。這些研究可以分為兩類：局部訓練的改進（即圖 1 的步驟 2）和聚合（即圖 1 的步驟 4）。 本研究屬于第一類。至于改進本地培訓的研究，FedProx [28] 在本地培訓期間將近端項引入目標。近端項是根據當前全局模型和當前全局模型之間的“2-范數距離”計算得出的。 本地模式。因此，局部模型更新在局部訓練期間受到近端項的限制。 SCAFFOLD [22] 通過引入控制變量來糾正局部更新。與訓練模型一樣，控制變量也在局部訓練期間由各方更新。局部控制變量和全局控制變量之間的差異用于校正局部訓練中的梯度。然而，FedProx 僅展示了多項邏輯回歸在 MNIST 和 EMNIST 上的實驗，而 SCAFFOLD 僅展示了帶有邏輯回歸和 2 層全連接層的 EMNIST 實驗。 FedProx 和 SCAFFOLD 在具有深度學習模型的圖像數據集上的有效性尚未得到很好的探索。正如我們的實驗所示，這些研究與 FedAvg 相比幾乎沒有優勢，甚至沒有優勢，這促使這項研究采用一種新的方法來處理具有深度學習模型的非 IID 圖像數據集。我們還注意到，在準備這篇論文時，還有其他相關的當代工作 [1, 30, 43]。我們將 MOON 與這些當代作品之間的比較留作未來研究。 對于改進聚合階段的研究，FedMA [41] 利用貝葉斯非參數方法以分層方式匹配和平均權重。 FedAvgM [14] 在更新服務器上的全局模型時應用動量。最近的另一項研究 FedNova [42] 在平均之前對本地更新進行了標準化。我們的研究與它們是正交的，當我們在本地訓練階段工作時，可能會與這些技術相結合。另一個研究方向是個性化聯邦學習 [8, 7, 10, 47, 17]，它試圖為每一方學習個性化的本地模型。在本文中，我們研究了典型的聯邦學習，它試圖為所有各方學習一個單一的全局模型。

2.2.對比學習

自監督學習 [18, 9, 3, 4, 12, 35] 是最近的一個熱門研究方向，它試圖從未標記的數據中學習良好的數據表示。在這些研究中，對比學習方法 [3, 4, 12, 35] 在學習視覺表示方面取得了最先進的結果。對比學習的關鍵思想是減少同一圖像的不同增強視圖（即正對）的表示之間的距離，并增加不同圖像（即，負對）的增強視圖的表示之間的距離。一個典型的對比學習框架是 SimCLR [3]。給定圖像 x，SimCLR 首先使用不同的數據增強算子創建該圖像的兩個相關視圖，表示為$x_i$和$x_j$。訓練基本編碼器 f(·) 和投影頭 g(·) 分別提取表示向量并將表示映射到潛在空間。然后，對比損失（即 NT-Xent [38]）應用于投影向量 g(f(·))，它試圖最大化同一圖像的不同增強視圖之間的一致性。具體來說，給定 2N 個增強視圖和同一圖像的一對視圖 $x_i$和$x_j$，這對的對比損失定義為

其中 sim(·;·) 是余弦相似度函數，$\tau$ 表示溫度參數。最終的損失是通過對小批量中相同圖像的所有對的對比損失求和來計算的。 除了 SimCLR，還有其他對比學習框架，如 CPC [36]、CMC [39] 和 MoCo [12]。我們選擇 SimCLR 是因為它在許多計算機視覺任務中的簡單性和有效性。盡管如此，對比學習的基本思想在這些研究中是相似的：從不同圖像獲得的表征應該彼此遠離，從同一圖像獲得的表征應該彼此相關。這個想法很直觀，并且已被證明是有效的。 最近的一項研究 [46] 將聯邦學習與對比學習相結合。他們專注于無監督學習環境。與 SimCLR 一樣，他們使用對比損失來比較不同圖像的表示。在本文中，我們專注于監督學習設置并提出模型對比學習來比較不同模型學習的表示。

3. 模型對比聯邦學習

3.1. 問題陳述

假設有 N 個參與方，記為$P_1$… $P_N$ 。 Party $P_i$ 有一個本地數據集$D^i$。 我們的目標是在中央服務器的幫助下，在數據集 D, Si2[N] Di 上學習機器學習模型 w，同時不交換原始數據。 目標是解決

其中 Li(w) = E(x;y)～Di[‘i(w; (x; y))] 是 Pi 的經驗損失。

3.2.動機

MOON 基于一個直觀的想法：在整個數據集上訓練的模型能夠提取比在偏斜子集上訓練的模型更好的特征表示。例如，給定一個在狗和貓圖像上訓練的模型，我們不能期望模型學習到的特征能夠區分訓練期間從未存在過的鳥類和青蛙。 為了進一步驗證這種直覺，我們對 CIFAR-10 進行了一個簡單的實驗。具體來說，我們首先在 CIFAR-10 上訓練一個 CNN 模型（詳細結構見第 4.1 節）。我們使用 t-SNE [33] 來可視化來自測試數據集的圖像的隱藏向量，如圖 2a 所示。然后，我們以不平衡的方式將數據集劃分為 10 個子集（有關劃分策略，請參見第 4.1 節）并在每個子集上訓練一個 CNN 模型。圖 2b 顯示了 t-SNE 隨機選擇的模型的可視化。顯然，在子集上訓練的模型學習的特征很差。大多數類的特征表示甚至是混合的，無法區分。然后，我們在 10 個子集上運行 FedAvg 算法，并在圖 2c 中顯示全局模型學習的表示和圖 2d 中選擇的局部模型（基于全局模型訓練）學習的表示。我們可以觀察到，與圖 2c 相比，圖 2d 中具有相同類別的點更加發散（例如，參見第 9 類）。由于偏斜的局部數據分布，局部訓練階段甚至導致模型學習到更糟糕的表示。這進一步驗證了全局模型應該能夠比局部模型學習更好的特征表示，并且局部更新存在漂移。因此，在非 IID 數據場景下，我們應該控制漂移并彌合局部模型和全局模型學習的表示之間的差距。

3.3.方法

基于上述直覺，我們提出了 MOON。 MOON 被設計為一種基于 FedAvg 的簡單有效的方法，僅在本地訓練階段引入輕量級但新穎的修改。由于局部訓練總是存在漂移，全局模型學習到的表示比局部模型更好，MOON旨在減少局部模型學習到的表示與全局模型學習的表示之間的距離，并增加與局部模型學習的表示之間的距離。本地模型學習到的表示和之前的本地模型學習到的表示。我們從對比學習的靈感中實現了這一點，對比學習現在主要用于學習視覺表示。下面，我們介紹網絡架構、本地學習目標和學習過程。最后，我們討論了對比學習的關系。

3.3.1 網絡架構

該網絡由三個組件組成：基本編碼器、投影頭和輸出層。 基本編碼器用于從輸入中提取表示向量。 像[3]一樣，引入了一個額外的投影頭來將表示映射到具有固定維度的空間。 最后，當我們研究監督設置時，輸出層用于為每個類生成預測值。 為了便于表示，使用模型權重 w，我們使用 Fw(·) 表示整個網絡，使用 Rw(·) 表示輸出層之前的網絡（即，Rw(x) 是輸入 x 的映射表示向量）

3.3.2 局部目標

如圖 3 所示，我們的局部損失由兩部分組成。 第一部分是監督學習中的典型損失項（例如交叉熵損失），表示為“sup”。 第二部分是我們提出的模型對比損失項，表示為“con”。 假設派派正在進行本地培訓。 它從服務器接收全局模型 wt 并在本地訓練階段將模型更新為 wt i。 對于每個輸入 x，我們從全局模型 wt（即 zglob = Rwt(x)）中提取 x 的表示，從上一輪 wt?1 i 的局部模型中提取 x 的表示（即 zprev = Rwt?1 i (x))，以及來自正在更新的本地模型的 x 表示 w i（即 z = Rwt i (x)）。 由于全局模型應該能夠提取更好的表示，我們的目標是減少 z 和 zglob 之間的距離，并增加 z 和 z prev 之間的距離。 與 NT-Xent 損失 [38] 類似，我們將模型對比損失定義為

其中 τ 表示溫度參數。 aninput (x; y) 的損失由下式計算

其中 μ 是控制模型對比損失權重的超參數。 局部目標是最小化

整體的聯邦學習算法如算法1所示。在每一輪中，服務器向各方發送全局模型，從各方接收本地模型，并使用加權平均更新全局模型。 在局部訓練中，每一方使用隨機梯度下降用其局部數據更新全局模型，而目標在等式中定義。 (5).

為簡單起見，我們在算法 1 中不應用采樣技術來描述 MOON。當每輪只有一組樣本方參與聯邦學習時，MOON 仍然適用。 與 FedAvg 一樣，每一方都維護其本地模型，該模型將被全局模型取代，并且只有在該方被選中參與一輪時才會更新。 MOON 只需要該方擁有的最新本地模型，即使它可能不會在第 (t-1) 輪中更新（例如，wt-1 i = wit-2）。
值得注意的是，考慮到理想情況下局部模型足夠好并且學習（幾乎）與全局模型相同的表示（即 zglob = zprev），模型對比損失將是一個常數（即 - log 1 2)。 因此，MOON 將產生與 FedAvg 相同的結果，因為不存在異質性問題。 從這個意義上說，無論漂移量如何，我們的方法都是穩健的。

3.4. 與對比學習的比較

MOON 和 SimCLR 之間的比較如圖 4 所示。模型對比損失比較了不同模型學習的表示，而對比損失比較了不同圖像的表示。 我們還強調了 MOON 與傳統對比學習之間的主要區別：MOON 目前用于聯邦環境中的監督學習，而對比學習用于集中環境中的無監督學習。 從對比學習中汲取靈感，MOON 是一種新的學習方法，用于處理聯邦學習中各方之間的非 IID 數據分布。

4. 實驗

4.1. 實驗裝置

我們將 MOON 與三種最先進的方法進行比較，包括 (1) FedAvg [34]、(2) FedProx [28] 和 (3) SCAFFOLD [22]。我們還比較了一種名為 SOLO 的基線方法，其中每一方都使用其本地數據訓練模型，而無需聯合學習。我們在三個數據集上進行了實驗，包括 CIFAR-10、CIFAR-100 和 Tiny-Imagenet1（100,000 張圖像，200 個類別）。此外，我們嘗試了兩種不同的網絡架構。對于 CIFAR-10，我們使用 CNN 網絡作為基本編碼器，它有兩個 5x5 卷積層，然后是 2x2 最大池化（第一個具有 6 個通道，第二個具有 16 個通道）和兩個具有 ReLU 激活的全連接層（第一個120 個單位，第二個單位為 84 個單位）。對于 CIFAR-100 和 Tiny-Imagenet，我們使用 ResNet-50 [13] 作為基本編碼器。對于所有數據集，如 [3]，我們使用 2 層 MLP 作為投影頭。投影頭的輸出尺寸默認設置為256。請注意，為了公平比較，所有基線都使用與 MOON 相同的網絡架構（包括投影頭）。

我們使用 PyTorch [37] 來實現 MOON 和其他基線。該代碼是公開可用的2。我們對所有方法使用學習率為 0.01 的 SGD 優化器。 SGD 權重衰減設置為 0.00001，SGD 動量設置為 0.9。批量大小設置為 64。 SOLO 的本地 epoch 數設置為 300。除非明確指定，否則所有聯合學習方法的本地 epoch 數都設置為 10。 CIFAR-10/100 的通信輪數設置為 100，Tiny-ImageNet 的通信輪數設置為 20，其中所有聯合學習方法在更多通信時幾乎沒有或沒有準確度增益。對于 MOON，我們將溫度參數默認設置為 0.5，如 [3]。
與之前的研究 [45, 41] 一樣，我們使用 Dirichlet 分布來生成各方之間的非 IID 數據分區。具體來說，我們對 pk ～ DirN(β) 進行采樣，并將 k 類實例的 pk;j 比例分配給第 j 方，其中 Dir(β) 是具有濃度參數 β（默認為 0.5）的狄利克雷分布。通過上述劃分策略，每一方在某些類別中可以擁有相對較少（甚至沒有）的數據樣本。默認情況下，我們將參與方的數量設置為 10。默認設置下各方的數據分布如圖5所示，更多實驗結果請參考附錄。

4.2. 精度比較

對于 MOON，我們從 f0:1 調整 μ； 1; 5; 10g并報告最佳結果。 CIFAR-10、CIFAR-100 和 Tiny-Imagenet 的最佳 MOON μ 分別為 5、1 和 1。 請注意，FedProx 還有一個超參數 μ 來控制其近端項的權重（即 LF edP rox = ‘F edAvg + μ‘prox）。 對于 FedProx，我們從 f0:001 調整 μ； 0:01; 0:1; 1g（范圍也在之前的論文[28]中使用）并報告最佳結果。 用于 CIFAR-10、CIFAR-100 和 Tiny-Imagenet 的 FedProx 的最佳 μ 分別為 0:01、0:001 和 0:001。 除非明確指定，否則我們將這些 μ 設置用于所有剩余的實驗。

表 1 顯示了具有上述默認設置的所有方法的 top-1 測試精度。 在非 IID 設置下，SOLO 表現出比其他聯邦學習方法差得多的準確性。 這證明了聯邦學習的好處。 比較不同的聯邦學習方法，我們可以觀察到 MOON 始終是所有任務中最好的方法。 它可以在所有任務的平均準確率上超過 FedAvg 2.6%。 對于 FedProx，其準確性非常接近 FedAvg。 FedProx 中的近端項對訓練幾乎沒有影響，因為 μ 很小。 但是，當 μ 沒有設置為非常小的值時，FedProx 的收斂速度非常慢（參見第 4.3 節），并且 FedProx 的準確性很差。 對于 SCAFFOLD，它在 CIFAR-100 和 Tiny-Imagenet 上的準確度比其他聯邦學習方法要差得多。

4.3.溝通效率

圖 6 顯示了訓練期間每一輪的準確率。正如我們所看到的，模型對比損失項對最佳 μ 的收斂速度幾乎沒有影響。 MOON 的準確率提升速度與開始時的 FedAvg 幾乎相同，但后期可以從模型對比損失中獲得更好的準確率。由于 FedProx 中的最佳 μ 值通常較小，因此具有最佳 μ 的 FedProx 非常接近 FedAvg，尤其是在 CIFAR-10 和 CIFAR-100 上。然而，當設置 μ = 1 時，由于附加的近端項，FedProx 變得非常慢。這意味著限制局部模型和全局模型之間的“2-范數距離”不是有效的解決方案。我們的模型對比損失可以在不減慢收斂速度的情況下有效提高準確性。

我們在表 2 中顯示了與在 CIFAR-10/100 上運行 FedAvg 100 輪或在 Tiny-Imagenet 上運行 20 輪相同精度的通信輪數。我們可以觀察到，在 MOON 中通信輪數顯著減少。月亮
與 FedAvg 相比，在 CIFAR-100 和 Tiny-Imagenet 上需要大約一半的通信輪數。在 CIFAR-10 上，MOON 的加速比甚至接近 4。MOON 的通信效率比其他方法高得多。

4.4.本地時代的數量

我們研究了局部時期數對最終模型準確性的影響。結果如圖7所示，當local epochs為1時，local update很小。因此，在通信輪數相同的情況下，訓練速度較慢，準確度相對較低。所有方法都具有接近的準確性（MOON 仍然是最好的）。當局部 epoch 數變得太大時，所有方法的準確度都會下降，這是由于局部更新的漂移，即局部最優與全局最優不一致。盡管如此，MOON 顯然優于其他方法。這進一步驗證了 MOON 可以有效減輕過多局部更新帶來的漂移的負面影響。

4.5.可擴展性

為了展示 MOON 的可擴展性，我們在 CIFAR-100 上嘗試了更多的參與方。具體來說，我們嘗試了兩種設置：（1）我們將數據集劃分為 50 方，每一方都參與聯邦學習。 (2) 我們將數據集劃分為 100 方，每輪隨機抽取 20 方參與聯邦學習（FedAvg [34] 中引入的客戶端采樣技術）。這
結果顯示在表 3 和圖 8 中。對于 MOON，我們顯示了 μ = 1（第 4.2 節中的最佳 μ）和 μ = 10 的結果。對于 MOON (μ = 1)，它的性能優于 FedAvg 和 FedProx 超過 2% 50 方的 200 輪準確率和 100 方的 500 輪準確率 3%。此外，對于 MOON (μ = 10)，雖然大的模型對比損失在開始時減慢了訓練速度，如圖 8 所示，但 MOON 可以通過更多的通信輪次遠遠優于其他方法。與 FedAvg 和 FedProx 相比，MOON 在 50 方的 200 輪和 100 方的 500 輪時的準確率提高了約 7%。 SCAFFOLD 的準確性較低，參與方相對較多。

4.6. 異質性

我們通過改變 Dirichlet 分布的濃度參數 β 來研究數據異質性對 CIFAR-100 的影響。 對于較小的β，分區將更加不平衡。 結果如表 4 所示。 MOON 在三個不平衡級別中始終達到最佳精度。當不平衡級別降低時（即 β = 5），FedProx 比 FedAvg 差，而 MOON 仍然以 2% 以上的精度優于 FedAvg。 實驗證明了 MOON 的有效性和魯棒性。

4.7.損失函數

為了最大化全局模型學習到的表示與局部模型學習到的表示之間的一致性，我們的模型對比損失’con 是受 NT-Xent 損失 [3] 的啟發而提出的。另一個直觀的選擇是使用‘2正則化，局部損失為
‘ = ‘
sup + μ kz ? zglobk2 (6)
在這里，我們比較了使用不同類型的損失函數來限制表示的方法：沒有附加項（即 FedAvg：L = ‘sup）、‘2 范數和我們的模型對比損失。結果如表 5 所示。我們可以觀察到，與 CIFAR-10 上的 FedAvg 相比，僅使用 2 范數甚至無法提高準確性。使用‘2范數可以提高在 CIFAR-100 和
Tiny-Imagenet，準確率還是低于MOON。我們的模型對比損失是約束表示的有效方法。
我們的模型對比損失從兩個方面影響局部模型。首先，局部模型學習到全局模型的近似表示。其次，局部模型也學習到比前一個更好的表示，直到局部模型足夠好（即 z = zglob 并且“con”成為一個常數）。

5. 結論

聯邦學習已成為解決醫學成像、對象檢測和地標分類等許多領域中數據孤島難題的一種很有前途的方法。非 IID 是聯邦學習有效性的關鍵挑戰。為了提高聯合深度學習模型在非 IID 數據集上的性能，我們提出了模型對比學習 (MOON)，這是一種簡單有效的聯合學習方法。 MOON 引入了一個新的學習概念，即模型級的對比學習。我們廣泛的實驗表明，在各種圖像分類任務上，MOON 比最先進的方法取得了顯著的改進。由于 MOON 不要求輸入為圖像，因此它可能適用于非視覺問題。

致謝

這項研究由新加坡國家研究基金會根據其人工智能新加坡計劃（AISG 獎號：AISG2-RP-2020-018）提供支持。本材料中表達的任何意見、發現和結論或建議均為作者的觀點，并不反映新加坡國家研究基金會的觀點。感謝Jianxin Wu、Chaoyang He、Shixuan Sun、Yaqi Xie 和 Yuhang Chen 的反饋。作者還要感謝趙玉志、王偉和莫莎對計算資源的支持。

總結

以上是生活随笔為你收集整理的（Model-Contrastive Federated Learning）模型对比联邦学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。