本文出自于論文Edge Intelligence: On-Demand Deep Learning Model Co-Inference with Device-Edge Synergy ，主要介紹了一種移動(dòng)設(shè)備與邊緣協(xié)同作用的DNN協(xié)同推理框架。

文章目錄

• • 一、簡(jiǎn)介和相關(guān)工作
  • 二、背景及研究動(dòng)機(jī)
  • 三、框架
  • 四、實(shí)驗(yàn)評(píng)估
  • 五、結(jié)論

一、簡(jiǎn)介和相關(guān)工作

在資源受限的移動(dòng)設(shè)備上運(yùn)行DNN會(huì)帶來(lái)高能耗，而將DNNs卸載到云上執(zhí)行時(shí)，由于無(wú)法控制長(zhǎng)時(shí)間廣域網(wǎng)延遲，其性能也難以預(yù)測(cè)。為了解決這些挑戰(zhàn)，在本文中我們提出來(lái)Edgent，一個(gè)協(xié)同和按需的DNN協(xié)同推理框架，它將設(shè)備與邊緣協(xié)同作用。Edgent包含兩個(gè)關(guān)鍵點(diǎn)：（1）自適應(yīng)地將DNN計(jì)算劃分在設(shè)備和邊緣之間的DNN分區(qū)，利用相鄰的混合計(jì)算資源進(jìn)行實(shí)時(shí)的DNN推理；（2）通過(guò)在適當(dāng)?shù)闹虚gDNN層提前退出來(lái)加速DNN推理，從而進(jìn)一步降低計(jì)算延遲。

DNN處理的傳統(tǒng)方式是將移動(dòng)設(shè)備生成的輸入數(shù)據(jù)發(fā)送到云端進(jìn)行處理，推理后將結(jié)果發(fā)送回移動(dòng)設(shè)備。然而以云端為中心的方案，大量數(shù)據(jù)需要借助長(zhǎng)時(shí)間的廣域網(wǎng)數(shù)據(jù)傳輸來(lái)上傳到云，導(dǎo)致高度端到端延遲和移動(dòng)設(shè)備能耗。為了減輕以云為中心方法的延遲和能量瓶頸，一個(gè)更好的方案是利用新型的邊緣計(jì)算范式，邊緣計(jì)算支持低延遲和高效的DNN推理。

Edgent進(jìn)一步結(jié)合了DNN分區(qū)和DNN的正確規(guī)模，通過(guò)在中間DNN層的早期退出來(lái)加速DNN推理。但是早期退出會(huì)導(dǎo)致部分精度損失，因此Edgent通過(guò)隨需應(yīng)變的方式聯(lián)合優(yōu)化DNN分區(qū)和正確規(guī)模。

我們采取一種向外擴(kuò)展的方案，來(lái)釋放邊緣和移動(dòng)設(shè)備之間的協(xié)作優(yōu)勢(shì)智能，從而緩解終端設(shè)備的性能和能量瓶頸。在另一方面，DNN分區(qū)不足以滿足關(guān)鍵任務(wù)應(yīng)用程序的嚴(yán)格及時(shí)性要求。因此，我們進(jìn)一步應(yīng)用了DNN的大小調(diào)整方法來(lái)加速DNN推理。

---

二、背景及研究動(dòng)機(jī)

DNN劃分：將DNN劃分成兩部分，然后以較低的傳輸開(kāi)銷將計(jì)算密集型的一部分轉(zhuǎn)移到服務(wù)器，于是減少了端到端延遲。通過(guò)在設(shè)備和邊緣之間的DNN劃分，我們能夠協(xié)作混合計(jì)算資源在靠近低延遲的DNN推理。

DNN正確大小：為了進(jìn)一步降低延遲，我們可以將DNN正確調(diào)整大小的方法與DNN劃分相結(jié)合。DNN的適當(dāng)大小可以通過(guò)提前退出機(jī)制來(lái)加速模型推理。直觀來(lái)說(shuō)，DNN的適當(dāng)調(diào)整進(jìn)一步減少了DNN推理任務(wù)所需的計(jì)算量。

問(wèn)題描述：給定預(yù)定義的和嚴(yán)格的延遲目標(biāo)，我們?cè)诓贿`背截止日期要求的前提下要最大化精度。本文要解決的問(wèn)題可以概括如下：給定一個(gè)預(yù)定義的延遲要求，為了最大化DNN推理精度，應(yīng)當(dāng)如何聯(lián)合優(yōu)化DNN劃分和正確大小的決定。

---

三、框架

Edgent的初步設(shè)計(jì)：一個(gè)框架可以自動(dòng)地和智能地選擇一個(gè)DNN模型的最佳劃分點(diǎn)和退出點(diǎn)來(lái)使精度最大化，同時(shí)滿足執(zhí)行延遲的要求。Edgent由三個(gè)階段組成：離線訓(xùn)練階段，在線優(yōu)化階段和協(xié)作推理階段。在離線訓(xùn)練階段，Edgent執(zhí)行兩個(gè)初始化：（1）分析移動(dòng)設(shè)備和邊緣服務(wù)器來(lái)生成對(duì)不同類型DNN層的基于回歸的性能預(yù)測(cè)模型；（2）使用BrachyNet來(lái)訓(xùn)練帶有不同退出點(diǎn)的DNN模型，使部分樣本可以提前退出。在在線優(yōu)化階段，DNN優(yōu)化器選擇DNNs的最佳劃分點(diǎn)和早期退出點(diǎn)，從而使精度最大化，同時(shí)在端到端延遲上提供性能保證。在協(xié)作推理階段，根據(jù)劃分和早期退出安排，邊緣服務(wù)器將在劃分點(diǎn)和其余將在移動(dòng)設(shè)備上運(yùn)行前執(zhí)行網(wǎng)絡(luò)層。

層延遲預(yù)測(cè)：在估計(jì)DNN的運(yùn)行時(shí)，Edgent對(duì)每層的延遲進(jìn)行建模，而不是在整個(gè)DNN的粒度上建模，這極大減小了分析開(kāi)銷。基于每層的以上輸入，我們建立了一個(gè)回歸模型來(lái)預(yù)測(cè)基于分析的每層延遲。

DNN劃分和正確大小的聯(lián)合優(yōu)化：在在線優(yōu)化階段，DNN優(yōu)化器收到了來(lái)自移動(dòng)設(shè)備的延遲需求，然后尋找訓(xùn)練過(guò)的branchynet模型的最佳出口點(diǎn)和劃分點(diǎn)。

Edgent構(gòu)建算法描述：

---

四、實(shí)驗(yàn)評(píng)估

當(dāng)最佳劃分點(diǎn)可能變化時(shí)，我們可以看到最佳退出點(diǎn)隨著帶寬提升也在變得更高，這意味著更高的帶寬會(huì)帶來(lái)更高的精度。

當(dāng)帶寬增加時(shí)，模型的運(yùn)行時(shí)間首先會(huì)大幅下降然后會(huì)突然上升。這表明我們提出的基于回歸的延遲方案可以很好地預(yù)估實(shí)際的DNN模型運(yùn)行時(shí)延遲。

隨著延遲需求的增加，最佳退出點(diǎn)會(huì)變得更高，這意味著一個(gè)較大的延遲目標(biāo)給予精度提升更大的空間。

---

五、結(jié)論

在這項(xiàng)工作中，我們提出來(lái)Edgent，一個(gè)協(xié)作和隨需應(yīng)變的基于設(shè)備-邊緣協(xié)同的DNN協(xié)同推理框架。針對(duì)低延遲邊緣智能，Edgent引入了兩個(gè)設(shè)計(jì)關(guān)鍵點(diǎn)來(lái)調(diào)整DNN模型的延遲：（1）DNN分區(qū)支持邊緣和移動(dòng)設(shè)備之間的協(xié)作；（2）DNN正確大小決定了DNN的計(jì)算要求。

總結(jié)

以上是生活随笔為你收集整理的Edgent：移动设备与边缘的协同推理的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。