人工智能微控制器體系結構

Microcontroller architectures evolve for AI

如果把人工智能和物聯網交叉，會得到什么？AIoT是一個簡單的答案，但是也可以為微控制器提供一個巨大的新應用領域，這是由于神經網絡技術的進步，這意味著機器學習不再局限于超級計算機的世界。如今，智能手機應用處理器可以（也確實）為圖像處理、推薦引擎和其復雜功能執行人工智能推理。

一個數十億物聯網設備的生態系統將在未來幾年內獲得機器學習能力

將這種能力帶給不起眼的微控制器代表著一個巨大的機會。想象一下，一個助聽器可以使用人工智能過濾談話中的背景噪音，智能家用電器可以識別用戶的臉并切換到個性化設置，還有一個支持人工智能的傳感器節點，可以用最小的電池運行數年。在端點處理數據提供了不可忽視的延遲、安全性和隱私優勢。

然而，用微控制器級設備實現有意義的機器學習并非易事。例如，作為人工智能計算的一個關鍵標準，內存常常受到嚴重限制。但是，數據科學正在迅速發展以縮小模型尺寸，設備和IP供應商正在通過開發工具和結合為現代機器學習需求量身打造的功能做出回應。

一個數十億物聯網設備的生態系統將在未來幾年內獲得機器學習能力

將這種能力帶給不起眼的微控制器代表著一個巨大的機會。想象一下，一個助聽器可以使用人工智能過濾談話中的背景噪音，智能家用電器可以識別用戶的臉并切換到個性化設置，還有一個支持人工智能的傳感器節點，可以用最小的電池運行數年。在端點處理數據提供了不可忽視的延遲、安全性和隱私優勢。

然而，用微控制器級設備實現有意義的機器學習并非易事。例如，作為人工智能計算的一個關鍵標準，內存常常受到嚴重限制。但是，數據科學正在迅速發展以縮小模型尺寸，設備和IP供應商正在通過開發工具和結合為現代機器學習需求量身打造的功能做出回應。

TinyML Takes Off

TinyML起飛了

作為這個行業快速增長的一個標志，TinyML峰會（本月早些時候在硅谷舉行的一個新的行業盛會）正在變得越來越強大。據主辦方介紹，去年舉行的首屆峰會有11家贊助公司，而今年的活動有27家，展位早就賣完了，還表示，全球設計師月度見面會的會員人數大幅增長。

TinyML委員會聯合主席、高通公司的Evgeni
Gousev在展會開幕致辭中說：“看到了一個新的世界，擁有數萬億臺由TinyML技術支持的智能設備，這些設備能夠感知、分析并自主行動，為所有人創造一個更健康、更可持續的環境。”。

Gousev將這種增長歸因于更節能的硬件和算法的開發，以及更成熟的軟件工具。指出，公司和風投投資正在增加，創業和并購活動也在增加。

今天，TinyML委員會認為，這項技術已經得到驗證，在微控制器中使用機器學習的初始產品將在2-3年內投放市場。“殺手級應用”被認為還有3-5年的時間。

去年春天，谷歌首次為微控制器演示了TensorFlow框架版本，這是技術驗證的一個重要部分。用于微控制器的TensorFlow Lite被設計為在只有數千字節內存的設備上運行（核心運行時在Arm Cortex M3上可容納16 KB，并且有足夠的操作員運行語音關鍵字檢測模型，總共占用22 KB）。只支持推理（不支持訓練）。

Big Players

大玩家

大的微控制器制造商當然在關注著TinyML社區的發展。隨著研究使神經網絡模型變得更小，機會也越來越大。

大多數都支持機器學習應用程序。例如，STMicroelectronics有一個擴展包STM32立方體.AI，可以在基于Arm Cortex-M的STM32系列微控制器上映射和運行神經網絡。

Renesas有其e-AI開發環境，允許在微控制器上實現AI推理。有效地將模型轉換為可在其E2工作室中使用的形式，與C/C++項目兼容。

NXP表示，有客戶將其低端Kinetis和LPC MCU用于機器學習應用。該公司正在用硬件和軟件解決方案擁抱人工智能，盡管主要面向更大的應用處理器和交叉處理器（應用處理器和微控制器之間）。

Strong Arm-ed

超強的ARM

在微控制器領域的大多數老牌公司都有一個共同點：Arm。嵌入式處理器核心巨頭Cortex-M系列在微控制器市場占據主導地位。該公司最近發布了全新的Cortex-M55內核，該內核專為機器學習應用而設計，尤其是與Ethos-U55 AI加速器結合使用時。兩者都是為資源受限的環境而設計的。

Arm的Cortex-M55和Ethos-U55串聯使用，在手勢識別、生物識別和語音識別等應用中有足夠的處理能力

但是創業公司和小公司如何在這個市場上與大公司競爭呢？

“不是通過建立基于Arm的SOC！因為做得很好，”XMOS首席執行官馬克·利佩特笑著說。“與這些公司競爭的唯一方法是擁有架構優勢……[這意味著]Xcore在性能方面的內在能力，以及靈活性。”

當XMOS’ Xcore.ai公司其最新發布的語音接口交叉處理器將不會直接與微控制器競爭，這種觀點仍然成立。任何一家制造基于ARM的SoC來與大公司競爭的公司最好在秘密策略中有一些非常特別的東西。

標度電壓和頻率

初創公司Eta Compute在TinyML展會上發布了備受期待的超低功耗設備。可用于在功耗預算為100μW的圖像處理和傳感器融合應用程序中進行機器學習。該芯片使用Arm Cortex-M3內核和NXP DSP內核，其中一個或兩個內核都可用于ML工作負載。該公司的秘密醬有幾種成分，但關鍵是如何在連續的基礎上，為兩個核心調整時鐘頻率和電壓。這節省了大量的功率，尤其是在沒有鎖相環的情況

Eta Compute的ECM3532使用Arm Cortex-M3內核和NXP CoolFlux DSP內核。機器學習的工作量可以由其中一個或兩個來處理

現在有了可行的競爭對手，包括RISC-V基金會提供的即將到來的指令集架構，為什么ETA計算選擇使用ARM核來實現超低功耗機器學習加速？

“簡單的答案是，Arm的生態系統發展得非常好，”特克斯伯里告訴《電子時報》。“與RISC-V相比，（使用Arm）投入生產要容易得多。這種情況將來可能會改變……RISC-V有自己的一系列優勢；當然，這對中國市場是有利的，但目前主要著眼于國內和歐洲市場（設備）的生態系統。”

特克斯伯里指出，AIoT面臨的主要挑戰是應用的廣泛性和多樣性。市場相當分散，許多相對不錯的應用程序只占少量。然而，加在一起，這個領域可能會擴展到數十億個設備。

Tewksbury說：“開發人員面臨的挑戰是，無法投入時間和金錢為每個用例開發定制解決方案。”。“這就是靈活性和易用性變得絕對重要的地方。這也是選擇Arm的另一個原因—因為生態系統在那里，工具也在那里，而且客戶很容易快速開發產品并將其快速推向市場，而無需大量定制。”

幾十年來，Arm一直對ISA嚴格保密，去年10月，Arm終于宣布，將允許客戶為處理機器學習等專業工作負載構建自己的定制指令。這種能力，掌握在正確的人手中，也可能提供進一步降低功耗的機會。

Eta計算還不能利用這一點，因為不適用于現有的Arm核心，因此不適用于Eta正在使用的M3核心。但是，在未來幾代產品中，Tewksbury能否看到Eta使用Arm定制指令來計算，從而進一步降低功耗呢？

“當然，是的，”說。

Alternative ISAs

RISC-V今年備受關注。開源的ISA允許處理器的設計不需要支付許可費，而基于RISC-visa的設計可以像任何其類型的IP一樣受到保護。設計者可以選擇要添加的擴展，也可以添加自己定制的擴展。

法國初創企業GreenWaves是幾家使用RISC-V內核瞄準超低功耗機器學習空間的公司之一。設備GAP8和GAP9分別使用8核和9核計算集群。

GreenWaves的GAP9超低功耗AI芯片的架構現在使用10個RISC-V核
GreenWaves負責業務開發的副總裁martincroome向EETimes解釋了公司為什么使用RISC-V內核。

“第一個原因是RISC-V使能夠在指令集級別定制核心，這是大量使用的，”Croome說，解釋說自定義擴展用于降低機器學習和信號處理工作負載的能力。“當公司成立時，如果想用其處理器架構來實現這一目標，那要么是不可能的，要么就是要花掉一大筆錢。而所要付出的財富，基本上就是投資者的錢流向了另一家公司，這很難證明這一點。”

GreenWaves的定制擴展使其核心的能耗比未經修改的RISC-V內核提高了3.6倍。但Croome也表示，RISC-V僅僅是因為是新的，所以有基本的技術優勢。

“這是一個非常干凈、現代的指令集。沒有任何行李。所以從實現的角度來看，RISC-V內核實際上是一個更簡單的結構，簡單意味著功耗更低。”。

Croome還提到控制是一個重要因素。GAP8設備在其計算集群中有8個核心，GreenWaves需要對核心執行進行非常細致的控制，以實現最大的功率效率。說，RISC-V實現了這一點。

開玩笑說：“最后，如果能用Arm完成所有這些，也會用Arm來完成所有這些，這將是一個更符合邏輯的選擇……因為從來沒有人因為購買Arm而被解雇。”。“軟件工具的成熟度遠高于RISC-V……但也就是說，現在人對RISC-V的關注太多了，以至于這些工具的成熟度正在迅速提高。”

總之，雖然有人認為Arm在微處理器市場上的地位正在減弱，部分原因是RISC-V的競爭加劇，但該公司的回應是允許一些定制的擴展，并從一開始就開發用于機器學習的新內核。

事實上，在超低功耗機器學習應用市場上，有Arm和非Arm設備。隨著TinyML社區繼續致力于減小神經網絡模型的規模，開發專用框架和工具，這一領域將發展成為一個健康的應用領域，將支持各種不同的設備類型。

總結

以上是生活随笔為你收集整理的人工智能微控制器体系结构的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。