這個世界上有兩種極具難度的工程：第一種是把很平常的東西做到最大，例如把語言模型擴大成能夠寫詩寫文寫代碼的GPT-3；而另一種恰恰相反，是把很平常的東西做到最小。? ? ? ? ? ? ? ?----王蘇語錄

GPT3自從誕生以來，便受到了學術界、工業界乃至行外大眾的夸張式吹捧（我都怕哪天我媽突然讓我給她講GPT3是啥），當然，其中也不乏批評和質疑的聲音。不過，本文不討論GPT3的是是非非，而是討論另一個相反的極端——邊緣計算！用人話講，你考慮過在51單片機上跑BERT嗎？

回到十年前，那是4G還未普及，“物聯網”、“智能穿戴設備”概念大熱的時代。我甚至依稀記得某次在高速公路上堵車時，看到高速旁邊空地上竟然立著一塊巨大的廣告牌都在宣傳物聯網概念。

不過，盡管當時的相關產品口口聲聲喊著“智能”，但其實跟今天的智能比起來，其實就是一段if-else的代碼╮(￣▽￣"")╭而當時的主流觀點認為物聯網的技術瓶頸可能更多的是通信技術、低功耗技術等，很少有人將其與剛剛爆發的深度學習技術聯系起來。

而如今，小度小度為代表的智能音箱走入千家萬戶，開始真的連接燈泡、空調、窗簾等家電家居用品了，才發現，原來物聯網缺少的是一個能聽懂人話、與人交互的設備控制中樞。但物聯網就只能止步于智能家居了嗎？

考慮更為極端的場景，假如一個設備，無法像小度音箱那樣接入外部電源呢？而是只依賴一塊很小的電池，只擁有一個很慢但省電的CPU，以及一塊非常捉襟見肘的內存和閃存，它能像小度一樣擁有一個云端計算的大型語音識別模型和對話模型/系統嗎？

存不下...
算不動...
費電...

哪怕是放在手機這個相對性能強勁的端設備，主流的CV、NLP模型也是辦不到的。

而打開這個想象力的AI技術方向就是邊緣計算。邊緣計算方面最新的一項學術前沿成果是前不久王蘇推過的EdgeBERT，不過，本文不過多關注該技術的理論進展，而是談談大部分工程師/AI愛好者更關心的應用問題。

讓邊緣計算落地！

邊緣計算是個比較新的研究課題，如果是本著自己DIY一些邊緣計算應用的想法，哪怕是行內人員也會被一堆模型+工程問題折騰的夠嗆。具體來說有包括但不限于以下麻煩：

端設備的硬件/芯片種類繁多，操作系統版本多樣，自行適配不僅成本高，且往往難以發揮芯片最佳性能

自行將大模型壓縮成支持端設備的“微模型”會面臨非常嚴苛的算法挑戰，精度與速度/資源消耗難以兩全

端設備部署流程復雜，工程量大

不過幸運的是，得益于對AI to B的深刻理解，百度飛槳前瞻性的打造了一個工業級的邊緣計算框架——EasyEdge，全稱是“端與邊緣AI服務平臺”。

EasyEdge是基于百度飛槳輕量化推理框架Paddle Lite研發的端與邊緣AI服務平臺，能夠幫助深度學習開發者將自建模型快速部署到設備端。只需上傳模型，最快2分種即可獲得適配終端硬件/芯片的模型。

先吹一波這個框架的NB之處。

首先，EasyEdge不僅支持上傳本地經Pytorch、Tensorflow、PaddlePaddle等多種深度學習框架訓練得到的多種網絡結構的深度學習模型，而且還可以直接使用飛槳豐富的開源模型庫和EasyDL/BML定制得到的模型。換句話說，無論是經典任務還是定制化任務，都能輕松支持！這些來源廣泛的模型經過轉換、面向設備的兼容和加速、封裝，可以直接輸出得到支持各類芯片的端/邊緣計算服務。

此外，為了能實現多種神經網絡在不同芯片的高效部署，EasyEdge后臺提供了非常多的優化，如模型格式轉換、圖優化、芯片優化、模型低精度量化、模型裁剪和壓縮等等。這些都是EasyEdge后臺根據用戶的選擇自動幫用戶完成的，開發者只需選擇框架，上傳自己的模型，選擇需要適配的硬件，即可自動生成適配目標芯片的SDK和開發者套件。開發者套件的使用也十分簡單便捷，無需關注深度學習、具體硬件等底層邏輯，只需關注輸入圖片和輸出的識別結果即可。

比如，我們可以將一個訓好的圖像識別、物體檢測模型丟進EasyEdge，轉化成端模型SDK遷移到手機中，這樣你就能輕松的在手機上打造依賴人臉識別、物體檢測技術的相關APP啦！

再比如，我們將EasyEdge生成的SDK丟進監控設備，就可以輕松實現實時生產環境安全監控、交通巡檢等應用了。

總之，EasyEdge是打開萬物聯網智能化世界的一把鑰匙，更是有想法、有創意的AI應用開發者/從業者的落地神器。想法有多瘋狂，EasyEdge的“出貨”速度就能讓你多驚喜！

EasyEdge怎么玩？

下面講講怎樣用EasyEdge神器框架實現零代碼生成高性能端/邊緣計算模型，進而打造一個邊緣計算應用。

EasyEdge不需要開發者具備深厚的代碼能力，僅需3步即可獲取端計算模型SDK：

上傳本地模型/使用飛槳開源模型

選擇本地的硬件/芯片與操作平臺，生成適配的模型

獲取適配的離線模型部署包SDK，可下載DemoApp體驗

在EasyEdge模型中心可以查看、管理本地上傳的所有模型，以及平臺內置的豐富模型

▲我的模型▲開源模型

比如我們點擊上傳本地模型，如圖所示，按照頁面指引，即可快速上傳模型：

▲上傳模型

而后，在離線計算SDK頁面，點擊「發布離線SDK」：

在發布頁面，依次：

選擇模型中心的模型

選擇并添加“芯片/硬件”、“操作系統”的組合（支持添加多種組合）

如需SDK支持離在線混合，需勾選同意EasyEdge在云端加密部署模型

提交發布

SDK發布成功后，即可在離線計算SDK頁面下載SDK或下載Demo APP體驗：

這里官方還貼心的給出了百度超輕量級中文OCR模型的Demo APP體驗案例，感興趣的小伙伴可以試試將一個OCR模型變成安卓/IOS APP部署到自己的手機里試試哦。

傳送門：
https://ai.baidu.com/ai-doc/EASYEDGE/5kiiisurq

效果圖：

好了，從此開發安卓/IOS乃至linux、windows應用也能輕松接入AI技術啦，快去試試這個落地神器叭！

尋求報道、約稿、文案投放：
添加微信xixiaoyao-1，備注“商務合作”

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

總結

以上是生活随笔為你收集整理的别只关注GPT3！细如发丝的模型更具现实杀伤力！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。