谷歌Edge TPU：将机器学习引入边缘，撬动边缘计算/IOT大“地球”
近期，谷歌在Cloud Next會議上推出其最新產品，Edge TPU芯片和Cloud IOT Edge軟件，并將于10月推出Edge TPU開發套件。作為Cloud TPU的補充，目前Edge TPU僅用于推理，專為在邊緣運行TensorFlow Lite ML模型而設計。
Edge TPU芯片是谷歌邊緣計算“兩條腿”走路的重要支撐硬件，谷歌正在“兩手抓” -一手抓硬件，一手抓軟件 - 將數據分析和機器學習功能帶到邊緣網絡，甚至是個人物聯網（IoT）設備，以更好地處理越來越多的物聯網設備產生的數據。谷歌在邊緣計算邁出的第一步是將其Cloud IoT軟件平臺的功能擴展到邊緣網絡。第二步是推出Edge TPU微型芯片，芯片可集成到物聯網設備上，并在傳輸前處理設備收集的數據。
據IOT Google Cloud副總裁Injong Rhee稱，這些產品使谷歌成為唯一一家擁有集成軟件和定制硬件堆棧的云服務提供商，利用該芯片，許多計算無需全部發送到數據中心，可以直接在設備上進行，降低了成本和能耗方面的開銷，提高了效率。據悉，除自用外，谷歌Edge TPU也將提供給其他廠商使用，這將進一步把開發者鎖定在谷歌生態系統，或對整個智能云計算市場帶來巨大沖擊，進一步促進谷歌搶占邊緣計算市場的戰略。
在物聯網場景下，每個智能設備都會產生大量的數據，這意味著將有大量數據將被發送回數據中心。
例如，一輛自動駕駛汽車每天可能會產生4TB的數據，主要來自傳感器，但根據Vertiv全球邊緣和集成解決方案副總裁Martin Olsen的說法，其中96%的數據是真正有用的，最后4%的內容是無需回傳到中央數據中心的。
如果Olsen的4%理論可以在網絡邊緣而不是在中央數據中心進行處理，那么這樣就可以減少帶寬需求，并且比將其發送到中央服務器處理更快。
邊緣計算可以在網絡邊緣對數據進行分類，將部分數據放在邊緣處理，從而減少到中央存儲庫的回程流量，這樣可以加快數據處理與傳送的速度，減少延遲，實現實時的數據處理。
從上可以看到，提前對海量數據進行分析與推理，按照分析結果對數據進行處理對邊緣計算至關重要。
如何對邊緣產生的網絡數據進行預測和分析呢？機器學習（Machine Learning，簡稱ML）提供了一條思路，機器學習主要研究的是如何使計算機能夠模擬人類的學習行為從而獲得新的知識和技能，并且重新組織已學習到的知識和和技能，使之在應用中能夠不斷完善自身的缺陷與不足。簡單來說，機器學習就是讓計算機從大量的數據中學習到相關的規律和邏輯，然后利用學習來的規律來預測以后的未知事物。將機器學習算法和預測分析應用于在網絡數據分析已不再罕見，Corvil Analytics、HPE、諾基亞和谷歌都有利用AI分析網絡數據的經驗。
今年7月，制作收集網絡數據的Corvil Analytics設備的Corvil宣布了一款名為Intelligence Hub的新軟件產品。Intelligence Hub使用機器學習來發現異常，并從Corvil捕獲的網絡數據中提取業務相關信息。Corvil從通過設備的每個數據包中收集元數據并為其添加時間戳。Corvil還可以從數據包代理中提取數據包，也可以作為完整的數據包捕獲設備。Intelligence Hub從Corvil設備獲取源，并將機器學習算法和預測分析應用于網絡數據。機器學習算法建立正常行為的基線，然后可以監視異常情況并發出警報。
2017年2月，HPE收購Niara公司，旨在提升網絡安全性。Niara是一個專注于用戶和實體行為分析（UEBA）的公司。將Niara的解決方案與HPE現有的Aruba ClearPass產品組合相結合，利用大數據分析和機器學習幫助企業更好地保護企業免受下一代網絡攻擊。通過這次新的收購，HPE顯然將自己定位為處于邊緣安全前沿的公司。同年9月，HPE Aruba在澳門威尼斯人劇院正式發布了Aruba 360 Secure Fabric產品。這款新產品是一個對網絡攻擊進行360度檢測及應對的安全框架，能夠幫助組織在當今的網絡威脅中減少潛在風險。其中Aruba IntroSpect高級版比標準版具備更多網絡安全功能，如威脅追蹤、搜索、深度取證。高級版包含了100多個兼具監督學習與無監督學習的機器學習模型，對數據包、流量、記錄、警報、終端、移動流量、云流量、物聯網流量進行分析、取證，提高了組織識別風險的效率。
2018年7月6日，諾基亞和中國移動建立聯合AI * 5G實驗室，以便在5G網絡中使用人工智能和機器學習進行進一步研究。中國上海 - 諾基亞和中國移動簽署了一份合約，以人工智能（AI）和機器學習的潛力，以優化未來的網絡并實現新的Edge Cloud和5G服務。兩家公司將在中國杭州共同建立一個實驗室，開發使用諾基亞5G Future X架構驗證技術用例的演示系統，而中國移動將在場景選擇，需求確認，開放API標準化和解決方案定義方面領導研究。
據IDC估計，到2025年，互聯網設備產生的數據總量將超過40萬億字節。如前文所述，屆時，海量的數據及數據實時處理的特性，對數據處理的技術手段提出新的要求，而這正是高級數據分析和人工智能系統可以提供幫助的地方。在這些設備連接到網絡的點上（也稱為“邊緣”），引入人工智能進行智能實時決策將會帶來很多好處。
邊緣網絡中的人工智能意味著人工智能算法在硬件設備上進行局部處理。使用邊緣人工智能的設備無需連接即可正常工作、獨立處理數據并做出決策。邊緣人工智能允許實時操作，包括數據創建、決策和在毫秒間起作用的操作。邊緣人工智能將降低數據通信的成本，通過在本地處理數據，可以避免將大量數據存儲到云中的問題。隨著連接設備的爆炸性增長，以及對隱私/機密性、低延遲和帶寬限制的需求，云中的AI模型越來越需要在邊緣運行。
物聯網谷歌云副總裁Injong Rhee稱：“Edge TPU將以極低的成本和功率效率為您的嵌入式設備帶來大腦，而不會影響性能，”Rhee說。“我相信這將改變游戲規則。”
Edge TPU 及其配套軟件
Edge TPU
Edge TPU是專門設計的加速器芯片，用于在邊緣運行TensorFlow Lite機器學習模型。它能夠在較小的物理和功耗范圍內提供高性能，可在邊緣部署高精度AI。Edge TPU可以在邊緣部署高質量的機器學習推理。它增強了Google的Cloud TPU和Cloud IoT，以提供端到端（云到邊緣，硬件+軟件）基礎設施，促進客戶基于AI的解決方案的部署。
Edge TPU性能雖然遠不如一般 TPU，不過勝在功耗及體積大幅縮小，適合物聯網設備采用。Edge TPU可以自己運行計算，而不需要與多臺強大計算機相連，因此應用程序可以更快、更可靠地工作。它們可以在傳感器或網關設備中與標準芯片或微控制器共同處理AI工作。
Edge TPU有非常多的工業用例，例如預測性維護、異常檢測、機器視覺、機器人、語音識別等等。在制造業、內部部署、醫療、零售、智能空間、交通等領域有廣泛應用。
Cloud IoT Edge
Cloud IoT Edge軟件將Google Cloud強大的數據處理和機器學習能力擴展到網關、照相機和終端設備，使物聯網應用更智能、更安全、更可靠。它允許在Edge TPU或基于GPU和CPU的加速器上執行在Google Cloud中訓練的ML模型。Cloud IoT Edge可以運行在Android設備或基于Linux OS的設備上，其關鍵組件包括：
用于網關類設備（至少有一個CPU）的運行時，可以本地存儲、處理并從邊緣數據中獲取智能信息，同時與Cloud IoT平臺的其余部分進行無縫互操作。
Edge IoT Core運行時，可以更安全地將邊緣設備連接到云，支持軟件和固件的更新，并管理與cloud IoT Core的數據交換。
基于TensorFlow Lite的Edge ML運行時，使用預先訓練的模型執行本地ML推理，顯著減少延遲并增加邊緣設備的通用性。由于Edge ML運行時接口使用了TensorFlow Lite，因此它可以在網關類設備中的CPU、GPU或Edge TPU上執行ML推斷，也可以在終端設備（如攝像頭）中執行ML推理。
最后，開發套件包括一個模塊系統（SOM），它結合了Edge TPU，NXP CPU，wi-fi和Microchip的安全元件，將在10月份提供給開發人員。
Google 云端物聯網產品管理負責人Antony Passemard 指出，“Edge TPU 是一種超低功耗的 ASIC 芯片，比 1 美分銅板還小，搭配 Cloud IoT Edge 軟件并針對 TensorFLow 機器學習模型優化，如此一來部分計算就不需等待遠程服務器回應，直接在設備完成。Edge TPU 以極低成本讓設備產生計算力，并將改變現有的系統架構，使現代云計算能真正實用化。”
對企業而言，將機器學習帶到邊緣，企業可以獲得如下好處：
提高運營可靠性
由于可以本地存儲、處理并從邊緣的數據中獲取智能信息，因此用戶可以在內部構建強大的物聯網解決方案，無需擔心間歇性云連接。這對于需要實時處理的視頻和音頻應用，或設備無法可靠連接到外部網絡或Internet的情況非常有用。
更快的實時預測
通過運行設備上的機器學習模型，帶有Edge TPU的Cloud IoT Edge可為關鍵物聯網應用提供比通用物聯網網關更快的預測，同時確保數據隱私和機密性。此外，Cloud IoT Edge和Edge TPU已經過廣泛測試，可以本地運行開源參考模型，如MobileNet和Inception V3。
提高設備和數據的安全性
Cloud IoT Edge可以在邊緣設備上本地處理和分析圖像、視頻、手勢、音響和運動，無需將原始數據發送到云，然后等待響應。這種本地處理可滿足某些天特定行業的需求，并降低了數據隱私風險。Cloud IoT Edge使用JSON Web令牌對邊緣設備進行身份驗證，這樣私鑰就永遠不會離開設備。
行業人士評價
對于谷歌的Cloud IoT Edge和Edge TPU，業內人士給予了積極的評價。
“我們的智能視覺檢測解決方案使我們能夠在LG各制造部門的工廠運營中提供更高的質量和效率。借助Google Cloud AI，Google Cloud IoT Edge和Edge TPU，結合我們傳統的MES系統和多年的經驗，我們相信智能工廠將變得越來越智能，”LG CNS首席技術官Shingyoon Hyun說。“通過智能視覺檢測，我們渴望創造一個更好的工作場所，提高產品質量，每年節省數百萬美元。LG CNS技術結合Google Cloud AI和物聯網技術使這一切成為可能。”
“智能停車使我們的客戶無論在街道還是非街道情況下都能夠部署和管理無摩擦停車服務。我們非常高興能夠使用Cloud IoT Edge和Edge TPU為我們的客戶構建ML停車體驗， ”Smart Parking首席技術官John Heard說。”在Smart Parking，我們的使命是為每個解決方案用戶重新創造停車體驗。Cloud IoT Edge和Google Cloud IoT的引入使我們能夠以新的方式在我們的SmartSpot網關產品中實現這一承諾。“
IT市場觀察員CCS Insight的企業研究副總裁Nicholas McQuire表示，谷歌在物聯網和邊緣計算領域已經落后于其他云計算巨頭，但由于邊緣計算市場仍處于起步階段，因此谷歌有足夠的時間可以趕上。谷歌可以幫助企業在邊緣進行機器學習，這對其他競爭者來說也是一大威脅。
2016年6月，Google透露了自己研發了一款在云端使用的專用AI芯片，TPU（Tensor Processing Unit），第一代TPU主要用于推理。后來Google公布了第二代TPU，用媒體的話說“…stoleNvidia’s recent Volta GPU thunder…”。TPU2.0既能做訓練也能做推理，從公布不多的細節來看，TPU2.0指標看起來很不錯，而且具有非常好的可擴展性，但是它并不對外銷售，只能以TPU Cloud的方式供大家使用。同年9月下旬，Google的軟件大神Jeff Dean參加了HotChip會議，他介紹了TPU和TPU2的情況，把它們作為新的計算生態中重要的一環。今天5月，谷歌在I/O大會上發布了TPU 3.0，性能進一步提升。
谷歌TPU1 A無散熱片 B有散熱片
谷歌TPU2
谷歌曾多次表示不會對外銷售TPU，而是將TPU與谷歌云Google Cloud Platform（GCP）和TensorFlow綁定，讓使用GCP和TF的用戶享受TPU帶來的計算優勢。現在，Edge TPU則不同了。據CNBC報道，消費電子制造商LG正在一個顯示器玻璃檢測系統中測試谷歌Edge TPU，以更快地發現制造缺陷。據LG CNS集團CTO Shingyoon Hyun 表示，檢測精度從原來的約50％提高到了99.9％，這為下一步的廣泛商用奠定了基礎。
環顧周圍，其他“選手”其實也早已競相在物聯網、AI 及云端計算提出新解決方案。微軟將自己定位為邊緣計算的領先公司。他們專門推出了Azure IoT Edge，這是一個動態軟件平臺，可為邊緣設備提供云服務，使混合云和邊緣物聯網解決方案成為現實。微軟還宣布與高通建立合作伙伴關系，合作構建一個運行Azure IoT Edge的可視化人工智能開發人員工具包。
AWS發布了多項與物聯網相關的軟件服務，甚至為邊緣設備開發了自己的操作系統。AWS的邊緣計算平臺AWS Greengrass以機器學習推理支持的形式進行了改版，憑借Greengrass對機器學習的最新支持，客戶將能夠構建自己的DeepLens設備，并在邊緣進行推理。
IBM正在創建一種新的點對點網絡技術，使任何移動設備都可以直接與另一個移動設備進行通信而無需無線連接。他們與The Weather Company合作，將Mesh網絡警報帶到現場，即使沒有互聯網連接，也可以提供天氣信息警報。
相較于AWS或微軟Azure早已揭露物聯網邊緣計算布局，Google一直都只有Google Iot Core服務，作為物聯網云端管理之用，而沒有進一步切入邊緣計算市場，直到今年Next大會第二天，Google才正式公開了自家搶攻物聯網邊緣計算市場的武器-Cloud IoT Edge產品線，包括了Edge IoT Core和Edge ML兩個runtime組件。除了Edge IoT軟件之外，Google也同時推出了邊緣計算專用AI芯片Edge TPU，甚至還要在10月推出Edge TPU開發版，不只從軟件，也要從硬件端來搶攻物聯網邊緣計算市場。以TPU為契機，谷歌正在打造其物聯網和邊緣計算生態圈。谷歌正在與Arm，Harting，日立數據系統（Hitachi Vantara），新漢（Nexcom），諾基亞和恩智浦等制造商合作，希望普及至開發者社群，建立獨有的生態。Google 的野心不僅是在單一硬件持續突破，更傾向于提供完整終端服務體驗。可以想見，未來谷歌Edge TPU在邊緣計算、物聯網以及智能終端設備中的巨大使用空間，以及對物聯網芯片市場的沖擊。
總結
邊緣計算對網絡邊緣對數據進行分類，將部分數據放在邊緣處理，減少延遲，實現實時的數據處理。而機器學習可以用來優化網絡性能，識別系統，設備和用戶的異常行為，識別安全威脅。谷歌將機器學習和芯片Edge TPU用于邊緣計算，對未來的邊緣市場或許是一個推動。
總結
以上是生活随笔為你收集整理的谷歌Edge TPU：将机器学习引入边缘，撬动边缘计算/IOT大“地球”的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 买农村旧房子需要多少钱一平方米的？
- 下一篇： 常州国五停止上牌时间？