基于深度学习的IRS辅助MIMO通信系统的CSI压缩及恢复研究
基于深度學(xué)習(xí)的IRS輔助MIMO通信系統(tǒng)的CSI壓縮及恢復(fù)研究
人工智能技術(shù)與咨詢
來(lái)源：《無(wú)線通信?》?，作者黃富鏗等
關(guān)鍵詞:?智能反射面；深度學(xué)習(xí)；信道狀態(tài)信息反饋；
摘要:?智能反射面(IRS, Intelligent Reflecting Surface)因成本低、功耗低、可提升通信質(zhì)量等優(yōu)點(diǎn)被廣泛研究。在采用正交頻分復(fù)用作為多載波調(diào)制方案的IRS輔助頻分雙工多輸入多輸出(MIMO, Multiple input Multiple Output)通信系統(tǒng)中，為了提升系統(tǒng)的系統(tǒng)增益，用戶端(UE, User Equipment)需要將多個(gè)信道的信道狀態(tài)信息(CSI, Channel State Information)通過(guò)反饋鏈路發(fā)送至基站端(BS, Base Station)。因此，相比于傳統(tǒng)的MIMO系統(tǒng)，該系統(tǒng)中CSI的數(shù)據(jù)量和反饋開(kāi)銷(xiāo)無(wú)疑將會(huì)是更加巨大的。針對(duì)此問(wèn)題，本文提出了一種基于注意力機(jī)制的深度殘差網(wǎng)絡(luò)IARNet (Inception-Attention-Residual-Net)來(lái)對(duì)大數(shù)據(jù)量的CSI進(jìn)行壓縮重建。該網(wǎng)絡(luò)在傳統(tǒng)的Inception網(wǎng)絡(luò)結(jié)構(gòu)上結(jié)合了多卷積特征融合、混合注意力機(jī)制以及殘差等子模塊，這種混合結(jié)構(gòu)可以有效地將大數(shù)據(jù)量的CSI進(jìn)行壓縮重建。仿真結(jié)果表明，與現(xiàn)有的2種深度學(xué)習(xí)網(wǎng)絡(luò)相比，IARNet在基于熱身法的模型訓(xùn)練方案加持下可以顯著提高大數(shù)據(jù)量CSI的重建質(zhì)量。
1. 引言
隨著5G通信網(wǎng)絡(luò)進(jìn)入商業(yè)化階段，為了獲得更快和更可靠的數(shù)據(jù)傳輸，6G通信技術(shù)已經(jīng)處于研究狀態(tài)，其中智能反射面(IRS, Intelligent Reflecting Surface)技術(shù)因其成本低、易部署、功耗低、可提升通信質(zhì)量等特點(diǎn)被應(yīng)用到各種無(wú)線通信系統(tǒng)。IRS是一種有大量無(wú)源反射單元的表面，該表面的反射單元可以將入射信號(hào)進(jìn)行被動(dòng)反射，通過(guò)調(diào)整IRS的反射系數(shù)還可以進(jìn)一步提高反射信號(hào)的傳輸質(zhì)量。因?yàn)镮RS十分輕巧，所以人們可以輕易地將其部署在建筑外墻、廣告面板和樓頂?shù)鹊胤健Ｔ谛盘?hào)反射的過(guò)程中，由于IRS除了控制反射單元以外無(wú)需消耗額外能量的特點(diǎn)，因此IRS被業(yè)界廣泛視作為一種綠色、環(huán)保以及有前景的技術(shù)。基于上述優(yōu)點(diǎn)，IRS技術(shù)很好地契合了現(xiàn)階段人們對(duì)6G的愿景，即智能、融合、綠色 [1] [2] [3] [4] [5]。
深度學(xué)習(xí)是一種通過(guò)構(gòu)造深層網(wǎng)絡(luò)自動(dòng)地提取出數(shù)據(jù)內(nèi)在特征和規(guī)律的人工智能技術(shù)。自從2012年Geoffrey Hinton等人使用深度學(xué)習(xí)技術(shù)并以絕對(duì)優(yōu)勢(shì)獲得了ImageNet圖像識(shí)別比賽的冠軍以來(lái)，越來(lái)越多的研究者參與對(duì)深度學(xué)習(xí)的研究并取得了巨大進(jìn)展。最近研究表明，深度學(xué)習(xí)技術(shù)不僅在圖像識(shí)別領(lǐng)域有杰出表現(xiàn)，而且在自然語(yǔ)言處理和圖像壓縮等領(lǐng)域也取得了不俗的成績(jī) [6] - [18]。近年來(lái)有很多通信領(lǐng)域的研究者將深度學(xué)習(xí)技術(shù)應(yīng)用在了通信相關(guān)領(lǐng)域，和傳統(tǒng)的通信算法相比，深度學(xué)習(xí)在信道估計(jì)、信號(hào)檢測(cè)和CSI (CSI, Channel State Information)反饋等方向上獲取了更好的表現(xiàn)。
針對(duì)CSI反饋開(kāi)銷(xiāo)過(guò)大的問(wèn)題，文獻(xiàn) [15] 首次提出了使用深度學(xué)習(xí)技術(shù)將CSI進(jìn)行壓縮再重建，并提出了名為CsiNet的深度學(xué)習(xí)網(wǎng)絡(luò)。相比于傳統(tǒng)壓縮感知的方法，CsiNet有更好的重建質(zhì)量和重建速度。文獻(xiàn) [16] 在CsiNet的基礎(chǔ)上引入了Inception模塊，提出了多分辨率體系結(jié)構(gòu)的網(wǎng)絡(luò)：CRNet。相比于CsiNet，CRNet可以在網(wǎng)絡(luò)參數(shù)變化不大的情況下進(jìn)一步提升重建的質(zhì)量。文獻(xiàn) [17] 在CsiNet的基礎(chǔ)上引入了Dense Block模塊，提出了有極致殘差模塊的網(wǎng)絡(luò)：DS-NLCsiNet。相比于CsiNet，DS-NLCsiNet進(jìn)一步提高了重建質(zhì)量和恢復(fù)精讀。文獻(xiàn) [18] 在CsiNet基礎(chǔ)上引入了量化模塊，提出了QuanCsiNet。相比于CsiNet，QuanCsiNet可以進(jìn)一步壓縮反饋的CSI。此外文獻(xiàn) [18] 在訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)的時(shí)候還使用了基于真實(shí)信道的數(shù)據(jù)集，這進(jìn)一步表明了基于深度學(xué)習(xí)的CSI壓縮反饋確實(shí)是有效的。
但是現(xiàn)有的網(wǎng)絡(luò)和工作都是在壓縮和重建數(shù)據(jù)量較小的CSI，數(shù)據(jù)量一般都不超過(guò)2048個(gè)32位浮點(diǎn)數(shù)。在IRS輔助的頻分雙工(FDD, Frequency Division Duplex)模式下的多輸入多輸出(MIMO, Multiple input Multiple Output)通信系統(tǒng)中采用正交頻分復(fù)用(OFDM, Orthogonal Frequency Division Multiplexing)作為多載波的傳輸方案。該系統(tǒng)中下行鏈路反饋的CSI不僅包括基站端(BS, Base Station)到用戶端(UE, User Equipment)的CSI，還需要包括BS到IRS的CSI以及IRS到UE的CSI，因此該系統(tǒng)的反饋開(kāi)銷(xiāo)將會(huì)是更加巨大的，同時(shí)使用深度學(xué)習(xí)將CSI進(jìn)行壓縮和重建的時(shí)候數(shù)據(jù)量也會(huì)大大增加。在本系統(tǒng)中壓縮和重建的數(shù)據(jù)量超過(guò)了一般工作研究的4倍，達(dá)8704個(gè)32位浮點(diǎn)數(shù)。現(xiàn)有的網(wǎng)絡(luò)在本系統(tǒng)中對(duì)數(shù)據(jù)量更大的CSI進(jìn)行壓縮重建的時(shí)候會(huì)出現(xiàn)重建質(zhì)量低下的問(wèn)題。因此需要針對(duì)數(shù)據(jù)量更大的CSI設(shè)計(jì)出一種新的深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)將CSI壓縮和重建，以提升系統(tǒng)的重建質(zhì)量。
本文針對(duì)IRS輔助的通信系統(tǒng)中反饋開(kāi)銷(xiāo)更加巨大的問(wèn)題提出了一種新的深度學(xué)網(wǎng)絡(luò)IARNet以及基于熱身法的模型訓(xùn)練方案 [7]。IARNet在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)上采用了多卷積特征融合、混合注意力機(jī)制以及殘差等模塊。通過(guò)仿真發(fā)現(xiàn)：與現(xiàn)有的深度學(xué)習(xí)網(wǎng)絡(luò)相比，IARNet在基于熱身法的模型訓(xùn)練方案加持下可以顯著提高CSI重建質(zhì)量，即使是在較低壓縮比下IARNet仍能很好地將CSI恢復(fù)出來(lái)。本文的貢獻(xiàn)總結(jié)如下：
1) 研究了在IRS輔助下的MIMO通信系統(tǒng)的CSI壓縮及重建問(wèn)題，并提出了相關(guān)系統(tǒng)模型。
2) 針對(duì)一般深度學(xué)習(xí)網(wǎng)絡(luò)在大數(shù)據(jù)量CSI壓縮重建過(guò)程中出現(xiàn)重建質(zhì)量低下的問(wèn)題，本文在傳統(tǒng)卷積網(wǎng)絡(luò)的基礎(chǔ)上加入了多卷積特征融合、混合注意力機(jī)制以及殘差等模塊，提出了深度學(xué)習(xí)網(wǎng)絡(luò)IARNet，實(shí)驗(yàn)表明，在基于熱身法的模型訓(xùn)練方案加持下可以顯著提高CSI重建質(zhì)量。
3) 進(jìn)一步研究了基于熱身法的學(xué)習(xí)率調(diào)整策略與三種傳統(tǒng)的學(xué)習(xí)率調(diào)整策略在1/8壓縮比下對(duì)網(wǎng)絡(luò)的性能影響，實(shí)驗(yàn)表明：相比于傳統(tǒng)方法基于熱身法的學(xué)習(xí)率調(diào)整策略可以進(jìn)一步提高CSI的重建質(zhì)量，重建質(zhì)量至少提升24.9%。
2. 系統(tǒng)模型
本文研究IRS輔助下的MIMO FDD通信系統(tǒng)，它采用OFDM作為多載波的傳輸方案，系統(tǒng)模型如圖1所示。
在該系統(tǒng)中，配置有?NiNi?個(gè)反射單元的IRS輔助有?NtNt?根天線的BS與有?NrNr?根天線的UE進(jìn)行通信，而OFDM的子載波數(shù)量則設(shè)置為?NcNc。那么UE處第?mm?根天線在第?cc?個(gè)子載波接收到的信號(hào)?ym,cym,c?可以表達(dá)為：
Figure 1. A IRS-assisted MIMO FDD communication system model
圖1. IRS輔助下的MIMO FDD通信系統(tǒng)模型
BS需要設(shè)計(jì)合理的預(yù)編碼向量?vcvc?才能消除用戶間干擾進(jìn)而提升通信質(zhì)量。然而在FDD模式下，BS需要獲得精確的下行鏈路CSI才能對(duì)路預(yù)編碼向量進(jìn)行合理設(shè)計(jì)。在該系統(tǒng)中，完整維度的下行鏈路的CSI?H′H′?包括BS到UE信道的CSI?H1∈CNt×Ni×NcH1∈CNt×Ni×Nc?、BS到IRS信道的CSI?H2∈CNi×Nr×NcH2∈CNi×Nr×Nc?、IRS到UE信道的CSI?H3∈CNt×Nr×NcH3∈CNt×Nr×Nc，即?H′=[H1,H2,H3]H′=[H1,H2,H3]。完整的CSI數(shù)據(jù)如圖2所示。
Figure 2. Schematic of the complete CSI data
圖2. 完整的CSI數(shù)據(jù)示意圖
因?yàn)闀r(shí)延擴(kuò)展的有限性，CSI中會(huì)有大量的0值，所以放入IARNet的CSI矩陣可以將CSI截?cái)嗖⒅槐Ａ羟?N?cN?c?行的有效數(shù)據(jù)，階段后的CSI可以表示為?
本文主要研究深度學(xué)習(xí)在IRS輔助下通信系統(tǒng)CSI壓縮與恢復(fù)，因此假設(shè)UE已經(jīng)獲得了反饋的所有CSI，即忽略信道估計(jì)誤差，同時(shí)假設(shè)BS也能完整地接收到UE反饋的所有信息。
本系統(tǒng)在UE和BS分別設(shè)置了編碼器和譯碼器，UE處的編碼器可以將原始的?JJ?維的CSI?HH?壓縮成?KK?維向量?cc，壓縮比可以表示為：?η=K/Jη=K/J，其中?(K<J)(K<J)。編碼過(guò)程可以表示為：
式中：?H?H^?表示重建后的CSI矩陣；?fdefde?表示譯碼器；?ΘdeΘde?表示譯碼器的深度學(xué)習(xí)網(wǎng)絡(luò)參數(shù)。
為了評(píng)估本系統(tǒng)的重建質(zhì)量，本系統(tǒng)使用歸一化均方誤差(NMSE, Normalized Mean Squared Error)作為判斷標(biāo)準(zhǔn)，NMSE可以評(píng)估原始CSI與重建后的CSI之間的誤差，這個(gè)值越小表示系統(tǒng)重建質(zhì)量越佳，因此本文主要的目標(biāo)是通過(guò)優(yōu)化系統(tǒng)模型最小化該值。其中NMSE定義為：
式中：?∥?∥2‖?‖2?表示L2范數(shù)。
3. IARNet的結(jié)構(gòu)
本文所提出的IARNet深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，其由UE處的編碼器和BS處的解碼器構(gòu)成。IARNet的輸入是信道CSI?HH，?HH?的具體尺寸為?128×16×6128×16×6，其中128表示角度，16表示截?cái)嗪蟮淖虞d波數(shù)，6表示三個(gè)CSI的虛數(shù)和實(shí)數(shù)。IARNet的輸出是重建后的CSI?H?H^，尺寸和?HH?一致。
Figure 3. Architecture of IARNet
圖3. IARNet的架構(gòu)
在編碼器側(cè)。模型首先將?HH?放入混合注意力模塊進(jìn)行特征提取。該模塊同時(shí)提取了CSI在空間和通道上的數(shù)據(jù)，經(jīng)過(guò)該模塊后深度學(xué)習(xí)網(wǎng)絡(luò)可以更專注于信息量大的數(shù)據(jù)，提升數(shù)據(jù)權(quán)重，反之降低信息量小的數(shù)據(jù)權(quán)重，加強(qiáng)了特征表達(dá)能力。然后，將數(shù)據(jù)放入編碼器復(fù)合模塊處理。該模塊主要是借鑒了Inception網(wǎng)絡(luò)的思想，將多個(gè)尺寸卷積后的結(jié)果直接進(jìn)行拼接處理，這可以讓拼接后的結(jié)果具有多維度特征信息的特點(diǎn)。此外該模塊還引入了分組卷積的處理方法以降低訓(xùn)練參數(shù)。接著再利用混合注意力模塊進(jìn)行特征提取，進(jìn)一步加強(qiáng)了特征表達(dá)能力。接著，將數(shù)據(jù)Reshape成長(zhǎng)度為?128×16×6=12288128×16×6=12288?的一維向量并將其輸入到神經(jīng)元數(shù)量為?8704×η8704×η?的全連接層神經(jīng)網(wǎng)絡(luò)中進(jìn)行壓縮，其中8704表示?HH?的有效數(shù)據(jù)，為了對(duì)齊6個(gè)通道的尺寸，?H′3H′3?需要補(bǔ)0處理，具體見(jiàn)第五章仿真部分。最后，通過(guò)反饋鏈路將壓縮后的數(shù)據(jù)發(fā)送給BS端的解碼器。
在解碼器側(cè)。模型首先將長(zhǎng)度為?8704×η8704×η?的一維向量Reshape成?HH?尺寸大小的矩陣。然后，用解碼器復(fù)合模塊將數(shù)據(jù)進(jìn)行處理。該模塊與編碼器復(fù)合模塊類似，但是更輕量化。其中該模塊引入了比例殘差的設(shè)計(jì)，相比一般的殘差網(wǎng)絡(luò)，網(wǎng)絡(luò)性能更佳。最后，解碼器輸出重建后的CSI矩陣?H?H^。
混合注意力模塊主要由通道注意力模塊和空間注意力模塊兩部分組成。通道注意力模塊中，首先通過(guò)兩種并行的平面平均池化和平面最大池化的處理，接著再將它們分別送入MLP神經(jīng)網(wǎng)絡(luò)之中，最后通過(guò)Sigmoid函數(shù)輸出結(jié)果。通過(guò)通道注意力模塊處理讓模型關(guān)注到通道之間的關(guān)系并自動(dòng)學(xué)習(xí)到不同通道特征的重要程度。空間注意力模塊中，將通道注意力模塊輸出的數(shù)據(jù)作為輸入，首先通過(guò)兩個(gè)并行的通道平均池化和通道最大池化處理并將兩個(gè)處理結(jié)果進(jìn)行通道拼接，然后通過(guò)卷積操作將通道降為一維，最后進(jìn)行Sigmoid激活函數(shù)處和殘差處理。通過(guò)通道注意力模塊處理，模型會(huì)關(guān)注到同一通道上不同數(shù)據(jù)位置的關(guān)系并自動(dòng)學(xué)習(xí)到不同空間特征的重要程度。混合注意力模塊的結(jié)構(gòu)如圖4所示。混合注意力模塊的輸入為?128×16×6128×16×6?的特征，其中6表示為輸入特征通道數(shù)；16表示特征的高度即子載波數(shù)；128表示特征的寬度即角度；?1×61×6?表示MLP神經(jīng)網(wǎng)絡(luò)的神經(jīng)元個(gè)數(shù)；????表示矩陣乘法；?⊕⊕?表示矩陣加法；
混合注意力模塊同時(shí)關(guān)注到了通道信息和空間信息的重要關(guān)系，增大了有效通道和空間的權(quán)重，減少了無(wú)效通道和空間的權(quán)重，進(jìn)而提升了網(wǎng)絡(luò)性能。同時(shí)混合注意力模塊還可以很輕易地集成到現(xiàn)有的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)上去，輸入與輸出的特征尺寸完全一致，這讓網(wǎng)絡(luò)的配置更加簡(jiǎn)單和便捷。
Figure 4. Architecture of hybrid attention module
圖4. 混合注意力模塊的架構(gòu)
復(fù)合網(wǎng)絡(luò)模塊的結(jié)構(gòu)
編碼器復(fù)合模塊及解碼器復(fù)合模塊如圖5所示，其中每個(gè)方框附近的小數(shù)字表示此步的通道數(shù)(卷積核個(gè)數(shù))，在數(shù)據(jù)處理的過(guò)程中CSI的長(zhǎng)寬不變，即保持為?128×16128×16?尺寸的數(shù)據(jù)，通道數(shù)隨著卷積核變化。
文獻(xiàn)?[15] 中已經(jīng)證明基于?3×33×3?卷積和殘差網(wǎng)絡(luò)的CsiNet在信道壓縮中的應(yīng)用是有效的。但CsiNet是一種固定卷積尺寸的網(wǎng)絡(luò)，固定尺寸卷積處理下的網(wǎng)絡(luò)并不能很好地同時(shí)提取稀疏矩陣和密集矩陣的特征。如果想較好地同時(shí)提取稀疏矩陣和密集矩陣的特征，就需要考慮同時(shí)用不同尺寸卷積處理CSI。小尺寸的卷積處理(如?3×33×3?卷積)可以提取CSI更加精細(xì)的特征，在處理密集CSI的時(shí)候小尺寸的卷積有更好的效果。大尺寸的卷積處理(如?9×99×9?卷積)可以提供更大的感受視野，在處理稀疏CSI的時(shí)候這種卷積有更好的效果。因此在編碼器復(fù)合模塊和解碼器復(fù)合模塊中大量使用了多支路并行的多尺寸卷積處理，然后將不同支路上的結(jié)果在通道上直接拼接起來(lái)，這樣可以將不同尺寸卷積處理下的結(jié)果進(jìn)行多卷積特征融合，讓輸出擁有更加豐富的特征。特別是在編碼器復(fù)合模塊中，為了更好提取原始CSI的特征，編碼器復(fù)合模塊在中同時(shí)使用了?3×33×3?卷積、?5×55×5?卷積、?7×77×7?卷積和殘差的并行處理，這將極大地豐富了輸出特征。此外，每個(gè)卷積模塊進(jìn)行卷積處理前都進(jìn)行了一次批歸一化處理。
Figure 5. Composite module of encoder (left) and decoder (right)
圖5. 編碼器復(fù)合模塊(左)及解碼器復(fù)合模塊(右)
為減少?gòu)?fù)合網(wǎng)絡(luò)模塊中的參數(shù)數(shù)量和運(yùn)算復(fù)雜度，模型還引入了分組卷積的處理方法。在分組卷積中通過(guò)以下步驟來(lái)分解?M×MM×M?卷積。首先，設(shè)置組數(shù)?gg?并將原來(lái)的特征通道數(shù)平均分解成?gg?組，每個(gè)小組的特征通道數(shù)為原來(lái)的?1/g1/g，每一個(gè)小組的卷積核個(gè)數(shù)也為原來(lái)的?1/g1/g，保持長(zhǎng)寬不變。然后，每個(gè)小組進(jìn)行?M×MM×M?的卷積計(jì)算。最后，將每個(gè)小組的結(jié)果進(jìn)行通道拼接，最終輸出的特征尺寸不變。而且由于將標(biāo)準(zhǔn)的?M×MM×M?卷積拆分成了更小規(guī)模的子運(yùn)算，這可以大幅度降低運(yùn)算復(fù)雜度，減少設(shè)備的運(yùn)行要求。
此外，為了解決梯度消失的問(wèn)題，提高系統(tǒng)的性能，復(fù)合網(wǎng)絡(luò)模塊還加入了大量的殘差網(wǎng)絡(luò)。特別是在解碼器復(fù)合模塊的末端還利用了比例殘差的網(wǎng)絡(luò)，即將主干的輸出乘以一個(gè)小于1的系數(shù)(本網(wǎng)絡(luò)采用0.7)，調(diào)整主干的輸出比例。經(jīng)此設(shè)計(jì)，IARNet的性能有進(jìn)一步的提升。
4. 學(xué)習(xí)率及其調(diào)整策略
在深度學(xué)習(xí)模型的訓(xùn)練過(guò)程中，模型訓(xùn)練方案對(duì)模型的最終呈現(xiàn)效果有著決定性的影響。在一些基于深度學(xué)習(xí)的信道壓縮反饋研究中，其模型訓(xùn)練方案是相對(duì)簡(jiǎn)要的，沒(méi)有針對(duì)特定的系統(tǒng)模型進(jìn)一步優(yōu)化模型訓(xùn)練方案。如在CsiNet和DS-NLCsiNet的文章中，模型的batch size、epochs和初始學(xué)習(xí)率分別直接設(shè)置為200、1000和0.001，也沒(méi)有設(shè)置學(xué)習(xí)率調(diào)整策略。這些文章都省略了對(duì)模型訓(xùn)練方案的介紹，特別是學(xué)習(xí)率及其調(diào)整策略上，而這恰恰是十分重要的。
如果學(xué)習(xí)率設(shè)置過(guò)高，雖然系統(tǒng)訓(xùn)練會(huì)加快，但是在采用梯度下降算法來(lái)尋找全局最優(yōu)解的過(guò)程中，損失函數(shù)將不會(huì)收斂至全局最小值附近。如果學(xué)習(xí)率設(shè)置過(guò)小，雖然網(wǎng)絡(luò)可以尋找到全局最優(yōu)解，但是這會(huì)花費(fèi)大量的訓(xùn)練時(shí)間并且很容易陷入局部最優(yōu)解。另外學(xué)習(xí)率調(diào)整策略對(duì)系統(tǒng)訓(xùn)練也有很大的影響，一般采用的策略有固定法、步衰減法(Step Decay)法以及余弦衰減法(Cosine Decay)等。固定法需要多次試驗(yàn)才能找到較好的學(xué)習(xí)率，而且網(wǎng)絡(luò)也很容易陷入局部最優(yōu)解。衰減類的方法可以在較高的學(xué)習(xí)率上加速網(wǎng)絡(luò)訓(xùn)練，然后在低學(xué)習(xí)率上尋找到全局最優(yōu)解 [19]。在IARNet的模型訓(xùn)練方案上采用基于熱身法的余弦衰減學(xué)習(xí)率調(diào)整策略。由于深度學(xué)習(xí)網(wǎng)絡(luò)在剛開(kāi)始訓(xùn)練的時(shí)候非常不穩(wěn)定，所以我們需要將初始的學(xué)習(xí)率設(shè)置得很低，這可以讓深度學(xué)習(xí)網(wǎng)絡(luò)緩慢地趨向于穩(wěn)定。當(dāng)網(wǎng)絡(luò)趨于穩(wěn)定的時(shí)候再升高學(xué)習(xí)率，這可以讓網(wǎng)絡(luò)可以快速地收斂，這個(gè)過(guò)程就稱之為熱身，熱身完之后將采用余弦衰減的方法減少學(xué)習(xí)率。這樣就可以讓整個(gè)訓(xùn)練過(guò)程變得平穩(wěn)、快速，同時(shí)也提高了網(wǎng)絡(luò)性能。本方案的學(xué)習(xí)率調(diào)整策略可以表達(dá)為：
Figure 6. Learning rate adjustment strategy of cosine decay based on the warm-up method
圖6. 基于熱身法的余弦衰減學(xué)習(xí)率調(diào)整策略
5. 仿真結(jié)果
仿真過(guò)程中BS的天線數(shù)設(shè)置為4，IRS的反射單元數(shù)設(shè)置為32，UE的天線數(shù)設(shè)置為4，子載波數(shù)設(shè)置為128。仿真采用COST 2100信道模型 [20] 在中心頻率為5.3GHz的頻帶的室內(nèi)場(chǎng)景下生成數(shù)據(jù)集。其中BS到IRS之間信道用發(fā)射天線數(shù)為4、接收天線為32的信道替代，IRS到UE之間信道用發(fā)射天線數(shù)為32、接收天線為4的信道模型替代。然后將BS到IRS、IRS到UE以及BS到UE的CSI在通道上拼接起來(lái)。因?yàn)闀r(shí)延擴(kuò)展的有限性，CSI中會(huì)有大量的0值，所以將CSI截?cái)嗖⒅槐Ａ羟?6行的有效數(shù)據(jù)。然后將截?cái)嗪驝SI中的6個(gè)通道的特征尺寸補(bǔ)齊，即BS到UE的CSI由?16×1616×16?用0值擴(kuò)展至?128×16128×16。6個(gè)通道保持?128×16128×16?的尺寸，其中有效數(shù)據(jù)為8704，其余數(shù)據(jù)為對(duì)齊CSI補(bǔ)的0值，壓縮比是按照有效數(shù)據(jù)8704與壓縮后的數(shù)據(jù)量計(jì)算。補(bǔ)齊后CSI的尺寸為：?128×16×6128×16×6。其中128表示為角度；16為子載波；6分別為BS到IRS的CSI、IRS到UE的CSI以及BS到UE的CSI的虛數(shù)和實(shí)數(shù)。
使用COST 2100模型生成10萬(wàn)個(gè)數(shù)據(jù)集，然后按照4:1的比例將數(shù)據(jù)集分成訓(xùn)練集和測(cè)試集。模型訓(xùn)練時(shí)，采用均方誤差(MSE, Mean Squared Error)作為系統(tǒng)的損失函數(shù)，使用Adam算法 [21] 更新參數(shù)。batch size設(shè)置為150，epoch設(shè)置為100，初始學(xué)習(xí)率設(shè)置為0.0045并使用基于熱身法的模型訓(xùn)練方法，?epoch′epoch′?設(shè)置為20。
本文比較了IARNet與CRNet與CsiNet在不同壓縮比下的性能表現(xiàn)，結(jié)果如表1所示，加粗表示為該壓縮比下的最佳性能表現(xiàn)。仿真結(jié)果表明，IARNet在大數(shù)據(jù)量CSI壓縮場(chǎng)景下對(duì)比其他基于深度學(xué)習(xí)的CSI重建算法有更好的性能表現(xiàn)，即使是在1/32的壓縮比下IARNet仍能將CSI較好地重建起來(lái)，這主要得益于IARNet采用了多卷積特征融合、混合注意力機(jī)制以及比例殘差等方法并進(jìn)行了聯(lián)合優(yōu)化，在優(yōu)化過(guò)程中盡量避免了不必要的計(jì)算開(kāi)銷(xiāo)，這讓網(wǎng)絡(luò)保持性能的同時(shí)也更輕量化。
| 壓縮比 | 深度學(xué)習(xí)網(wǎng)絡(luò) | NMSE |
| 1/2 | CsiNet CRNet IARNet | 1.0889 0.5529 0.0273 |
| 1/4 | CsiNet CRNet IARNet | 1.0894 0.5537 0.0281 |
| 1/8 | CsiNet CRNet IARNet | 1.0902 0.5625 0.0680 |
| 1/16 | CsiNet CRNet IARNet | 1.0910 0.6172 0.1740 |
| 1/32 | CsiNet CRNet IARNet | 1.0919 0.6578 0.3841 |
| 1/64 | CsiNet CRNet IARNet | 1.2300 0.8266 0.6076 |
Table 1. Comparison of NMSE performance of IARNet with CRNet and CsiNet
表1. IARNet與CRNet和CsiNet算法的NMSE性能比較
圖7是IARNet、CRNet和CsiNet在壓縮比為1/8下系統(tǒng)的NMSE隨著epoch變化的曲線。由圖7所示，在訓(xùn)練過(guò)程中，CsiNet的NMSE始終保持較高的水平，NMSE從最初的25.112收斂至1.0902，這表明數(shù)據(jù)集超出了系統(tǒng)的學(xué)習(xí)能力，CsiNet無(wú)法學(xué)習(xí)和重建大數(shù)據(jù)量的CSI。CRNet的NMSE從最初的3.11可以收斂至0.5625，但是33個(gè)epoch后系統(tǒng)的NMSE基本不變，這表明CRNet可以學(xué)習(xí)和重建部分CSI的數(shù)據(jù)，但是重建質(zhì)量不佳。IARNet的NMSE從最初的0.9912可以收斂至0.0680，NMSE曲線在整個(gè)訓(xùn)練過(guò)程中都趨于下降，在90個(gè)epoch后逐漸平穩(wěn)，這表明IARNet可以很好地學(xué)習(xí)和重建大部分的CSI數(shù)據(jù)，重建質(zhì)量佳。
Figure 7. NMSE variation curves of three networks at 1/8 compression ratio during the training process
圖7. 訓(xùn)練過(guò)程中三種網(wǎng)絡(luò)在1/8壓縮比下的NMSE變化曲線
圖8是IARNet在壓縮比為1/8下系統(tǒng)的測(cè)試集損失函數(shù)和訓(xùn)練集的損失函數(shù)隨著epoch變化的曲線。由圖7可見(jiàn)，測(cè)試集損失函數(shù)和訓(xùn)練集的損失函數(shù)隨著epoch增加而逐漸減少，測(cè)試集損失函數(shù)在訓(xùn)練集損失函數(shù)附近波動(dòng)。訓(xùn)練結(jié)束后，訓(xùn)練集的損失函數(shù)可以收斂至0.03附近，訓(xùn)練集的損失函數(shù)可以收斂至0.05附近，這說(shuō)明IARNet有輕微的過(guò)擬合，但是整體上可以忽略不計(jì)。
Figure 8. Comparison of the loss functions of the training and test sets
圖8. 訓(xùn)練集和測(cè)試集的損失函數(shù)對(duì)比
此外本文還比較了四種學(xué)習(xí)率調(diào)整策略配合其最佳初始學(xué)習(xí)率在壓縮比為1/8情況下對(duì)IARNet性能的影響。第一種是本方案采用基于熱身法的余弦衰減方案，最佳初始學(xué)習(xí)率為0.0045。第二種方案是固定法，最佳初始學(xué)習(xí)率為：0.0002。第三種方案是步衰減法，最佳初始學(xué)習(xí)率為：0.001。第四種方案是余弦衰減法，最佳初始學(xué)習(xí)率為0.0003。NMSE隨著訓(xùn)練過(guò)程推進(jìn)的仿真變化曲線如圖9所示。由圖9仿真結(jié)果表明，相比于傳統(tǒng)的學(xué)習(xí)率調(diào)整策略，本方案采用的方法可以讓系統(tǒng)有更好的重建性能，NMSE收斂至更低的水平，可達(dá)0.0683。而固定法、步衰減法和余弦衰減法訓(xùn)練后的系統(tǒng)分別收斂至0.1572、0.0903和0.1822。相比傳統(tǒng)的方法基于熱身法學(xué)習(xí)率調(diào)整策略的重建質(zhì)量至少提升24.9%。
Figure 9. NMSE variation curves of four learning rate adjustment strategies during training
圖9. 訓(xùn)練過(guò)程中四種學(xué)習(xí)率調(diào)整策略的NMSE變化曲線
另外表2比較了IARNet與CRNet和CsiNet在不同壓縮比下的參數(shù)量，M表示百萬(wàn)。IARNet除了在1/64壓縮比下參數(shù)量高于CRNet和CsiNe以外，其他壓縮比下的參數(shù)量均小于IARNet和CRNet，因此IARNet可以較易地被部署在各類設(shè)備里面，節(jié)省設(shè)備存儲(chǔ)空間。
| 壓縮比 | 1/2 | 1/4 | 1/8 | 1/16 | 1/32 | 1/64 | |
| 參數(shù)量 | CsiNet | 67.22M | 33.63M | 16.82M | 16.82M | 4.26M | 2.21M |
| CRNet | 67.13M | 33.57M | 16.79M | 16.79M | 4.21M | 2.11M | |
| IARNet | 40.95M | 24.17M | 15.78M | 15.78M | 3.91M | 2.86M |
Table 2. Comparison of the number of parameters of IARNet with CRNet and CsiNet at different compression ratios
表2. IARNet與CRNet和CsiNet在不同壓縮比下的參數(shù)量比較
6. 結(jié)論
本文針對(duì)IRS輔助的通信系統(tǒng)中反饋開(kāi)銷(xiāo)更加巨大的問(wèn)題提出了一種新的深度學(xué)網(wǎng)絡(luò)IARNet。該網(wǎng)絡(luò)在傳統(tǒng)的Inception網(wǎng)絡(luò)結(jié)構(gòu)上結(jié)合了多卷積特征融合、混合注意力機(jī)制以及殘差等子模塊，這種混合結(jié)構(gòu)可以有效地將大數(shù)據(jù)量的CSI進(jìn)行壓縮重建。計(jì)算機(jī)仿真結(jié)果顯示IARNet在IRS通信系統(tǒng)中對(duì)大數(shù)據(jù)量的CSI進(jìn)行壓縮重建有更好的表現(xiàn)，并且基于熱身法的模型訓(xùn)練方案優(yōu)于傳統(tǒng)的固定法和衰減類法。
我們的服務(wù)類型
公開(kāi)課程
人工智能、大數(shù)據(jù)、嵌入式? ? ? ? ? ? ??? ?? ?
內(nèi)訓(xùn)課程
普通內(nèi)訓(xùn)、定制內(nèi)訓(xùn)? ? ? ? ? ? ? ?? ??? ? ??
項(xiàng)目咨詢
技術(shù)路線設(shè)計(jì)、算法設(shè)計(jì)與實(shí)現(xiàn)（圖像處理、自然語(yǔ)言處理、語(yǔ)音識(shí)別）
?
總結(jié)
以上是生活随笔為你收集整理的基于深度学习的IRS辅助MIMO通信系统的CSI压缩及恢复研究的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 论文阅读课1-Attention Gui
- 下一篇： 往年笔试题