導語 |?AR（增強現實）技術正在成為新一代基礎設施建設中的重要組成部分。營銷、教育、娛樂、會展等行業已大量使用AR技術提升用戶體驗，獲得更好的傳播效果。制造業也正陸續采用AR技術應用于設備巡檢、操作指導和遠程協助等場景，提升效率、降低出錯率。美軍一直重視AR技術在軍事上的應用。計算機視覺技術+移動互聯網通訊技術+人機交互，在公共安全領域也有著廣泛的應用場景。本文是對TVP韓磊老師的直播演講整理，分享AR在公共安全及應急指揮中的應用?！窽VP思享」專欄，凝結大咖思考，匯聚專家分享，收獲全新思想，歡迎長期關注。（編輯：云加社區 濤濤）

一、AR的概念與歷史

1. AR的概念

了解什么是AR（增強現實），不妨先來看一段視頻。

這段視頻來自電影《蜘蛛俠：英雄遠征》。蜘蛛俠戴上了鋼鐵俠給他的眼鏡，上面裝載了一套叫做EDITH的系統。該系統可以調用全球屬于該集團的軍事力量進行攻擊。

雖然是科幻片，但這一幕場景很正確地講清楚了AR的概念。蜘蛛俠帶上眼鏡后，可以透過眼鏡看到人的身份，可以看到人們在通訊網絡里面的交流。甚至在后面的場景，可以調用無人機去作戰?？雌饋砗芸苹?#xff0c;但已經切中了AR的一些本質。

AR的本質原理和VR不一樣。VR是完全制造一個沉浸式的虛擬世界，AR是在真實世界里疊加虛擬的數字化內容。

在AR的生成過程中，首先要有一個攝像機獲取真實世界的視頻畫面，通過計算機的識別運算，再做一些疊加的操作，最后通過渲染引擎重新呈現出來。這個過程幾乎是實時的。

整個流程里有輸入、輸出、計算三個環節，有很多可用的設備。

在輸入的部分，可以用手機攝像頭、AR眼鏡攝像頭、其他PC攝像頭等，以及非視覺的采集工具，如紅外攝像頭、深度攝像頭、超聲波攝像頭......

所有這些視頻或者非視頻的視覺畫面，獲取后首先要通過一些計算：

第一部分：識別

識別人臉、識別手勢、識別人的動作，識別一個人從A點到B點中間的軌跡，或者識別整個空間是怎樣構成的。經過運算之后，從某種意義上已經初步理解了要計算的對象，它的形象、動作、意圖等。

第二部分：疊加數字信息

計算在識別對象的畫面上疊加什么樣的數字信息，也包括了渲染的環節在內。

第三部分：輸出。

渲染完成后是輸出，在手機屏幕、眼鏡屏幕、其他屏幕上看到識別、疊加、渲染的效果。

在上文的視頻片段里，我們可以看到，蜘蛛俠在眼鏡中看見了輸出的畫面。但在別的場景里，可以用其他的設備，比如手機就有計算能力，也能輸出。除了AR app外，微信現在也支持AR。

對于眼鏡這樣的輸出形態，可能不見得每一個朋友都親自體驗過。來看看一臺分體式AR眼鏡的構成：

該眼鏡用了安卓7.0系統。綜合其CPU、系統以及其他參數，可以這樣理解：AR眼鏡幾乎就是一臺安卓手機。只不過它對輸入輸出部分，做了一些分解。還有一個重要的點是，眼鏡是橫屏顯示，而且具備3D顯示的能力。

圖片展示的這副眼鏡，屬于分體式的眼鏡。

AR眼鏡有兩個形態，一種是一體式的眼鏡，把CPU、內存、電池等等所有的運算單元和操作單元都集成在眼鏡端。它的特點是比較酷，但是會比較重。

另一種是分體式眼鏡，把電池、cpu、內存、硬盤等單元放到手持端，再通過一條線，和眼鏡端連接。

常常有一些合作伙伴問我們：想要在眼鏡上做開發要具備什么樣的能力，需要哪些SDK或開發文檔？其實在沒有調用我們特有接口的情況下，如果想在AR眼鏡上做開發，很多時候只需要具備安卓手機開發的能力就可以了。

增強現實技術是由計算機視覺和人機交互兩個部分組成的。

我們在談論增強現實的時候，往往會過多強調計算機視覺，而忽略了人機交互。如果沒有人機交互，其實增強現實是不成立的。

為什么呢？因為我們對現實的增強最后是要給人類來使用的。它是為了提供給人看見更多東西、做更多操作的能力而存在的。

所以判斷一個增強現實產品到底好不好，除了強大的識別算法以外，還要看它和人之間的交互達到什么樣的標準。

2. AR的歷史

回顧增強現實的歷史，先來看看硬件方面。

其實早在1960年左右，這個世界就已經出現了第一臺增強現實的設備：sensorama。

它是一個實驗室的設備，可以讓使用者透過屏幕看到立體幾何的圖形。

在之后的幾十年里一直有不同的設備出現，也有很多人在不同領域做嘗試。

但直到1992年才有人真正把增強現實這個詞帶到世界上來，這就是波音公司的工程師Thomas Caudell。他和他的同事在IEEE發表了一篇論文，討論增強現實技術是如何應用在飛機裝配的過程。

波音飛機或者其他飛行器的裝備是非常復雜的，有成千上萬條線束要對接，對錯一個飛機都是要出問題的。不管是用紙質或者電子的說明書，進行裝配操作的指引，常常會發生錯誤操作的情況。

Thomas Caudell就設想：如果讓工程師佩戴一副只能眼鏡，透過眼鏡去查看要裝備的對象，跟著眼鏡屏幕上頭出現的指引，讓工程師可以正確的裝配飛機的線束，從而變得非常高效和準確。

他把這樣一種技術叫做Augmented Reality，也就是增強現實。

2014年谷歌推出一款智能眼鏡，或者說是智能眼鏡的早期形態。它是單目的，也就是單個鏡片，還有一個攝像頭，構成了整個機體的主要部分。當然里頭還有運算單元、電池等。

這樣一個產品，在2015年就被谷歌放棄了。當然它涉及到的很多技術用在了谷歌其他的一些產品上，到現在也有類似這種形態的產品，但主要不是面向消費者的，而是面向工業市場的。

當時，Google Glasses出來之后在業界引起了一陣熱潮，其實中國在AR眼鏡上沒有落后世界多大的距離，包括亮風臺在內的一系列國產廠商從2015年到現在，都有推出不同的頭戴式AR設備，和國外的友商大概是在一個水平線上，這一點是足夠我們AR從業者自豪的。

2016年，Microsoft Hololens產品橫空出世，在我看來 Hololens直到現在，仍然是業界的標桿產品。不管是顯示效果，還是提供的軟件能力，都堪稱標桿，是我們學習的對象。

但Hololens的壞處是，它是一體式設備，佩戴起來會有一些不便，第二個是在中國用的時候會受到一些限制，這個話題就不展開講了。

AR在軟件方面的發展情況，主要分成兩部分，一個是應用，一個是SDK。

應用部分不用多說，市面上有很多，大家可能最有印象的是一款叫Pokemon Go精靈寶可夢的游戲。

接下來講SDK方面，也就是我們開發者能夠拿來做自己應用的框架和開發包。

最早的AR SDK是1999年一個日本人和他同事一起推出的ARToolKit。這一套套件目前仍然被很多人使用，它是開放源代碼的。

這是一個劃時代的產品，因為開發者不用從頭去做一切事情，可以用一個套件集成到自己的應用就可以讓你的應用具備識別二維圖像，并在上面疊加數字內容等能力。

1999年，Intel帶頭做了一個套件叫OpenCV。CV指的是computer vision（計算機視覺），OpenCV顧名思義，它是一個開放的套件庫。

迄今為止，它某種意義上已經成為業界的一個小的標準。很多開發者也在用它做自己的應用，包括很多研究者也在用它做一些科研方面工作。

對業界具有標志性意義的是：2017年蘋果發布Apple ARKit，和18年谷歌發布ARCore，這兩個AR SDK的發布為什么有重大的意義呢？

因為這兩個套件的發布意味著巨頭進入到這個市場。也就是說，這個市場開始從最早期的探索階段，進入到規模市場化的階段，因此我認為這件事具有標志性的意義。

事實也正是如此，18年之后，Facebook包括國內的很多平臺廠商也進入到AR市場，整個市場的規模在不斷擴大。

但從整個市場的發展趨勢來說，目前AR市場還是處于一個非常早期的階段。

二、AR的核心價值

AR到底給我們帶來什么，是單純好玩兒還是真的有些價值呢？

我認為AR的核心的價值是：賦能于人。

像前文講到的，AR是關注人機交互的，而我認為人和機器在未來世界里一定是共同進化。而不是說無人的一些先進設備、機器人能完全替代人，人的創造性和計算機的智能性結合起來，能夠獲得更大的一些能力。

具體來說就是讓人能夠看見原本看不見的，看懂原來看不懂的，做原來做不到的事情。

三、AR在工業、營銷等領域的應用

1. AR在工業領域的典型應用

工業的概念很大，不妨先聚焦在制造業，那么AR在制造業主要用在哪幾個場景呢？

（1）操作指導

就像前面提到的波音公司使用AR眼鏡幫助工程師做線束對接或裝配的工作，基于識別技術，讓工人能夠按圖索驥，做好維修和裝配的操作。

（2）遠程協作

通過AR眼鏡，一線的工程師和遠端專家可以實時的溝通，獲得一些指引。

（3）設備巡檢

當你在巡檢某些設備或者產生的過程中，通過物聯網的傳感器或者計算機視覺的檢測結果,在AR眼鏡上直接可以看到某個機器哪些地方出了問題。

我們之前做過一個跟物聯網結合的應用，城市的管理人員戴上眼鏡在路上巡查的時候，能夠看到地面下管道的運行狀況，比如供水、供電的狀況等，那么他是如何看到的呢？

是因為我們從物聯網的傳感器獲得了很多的信息，在AR眼鏡上呈現出來，就像給地面照X光一樣。

2. AR在營銷領域中的應用

（1）包裝識別

如果各位平常留意的話，就會發現有時候用手機掃描商品包裝，界面上會浮現疊加的一些視頻動畫，然后用戶可以領券，或者跳接到網店地址等，完成營銷的閉環，這是目前大家可能最常見的應用。

（2）使用說明書

比如現在有一些手機應用，通過它們可以觀察到汽車的中控儀表盤等使用說明。

（3）物聯網體驗

比如，我們之前做過一個手機應用，可以看到空調的風是怎樣流動。同時通過在空調上面裝上攝像頭和一些芯片模組，可以實現風吹向/避開人體的功能。

四、AR在公共安全領域的應用

公共安全是一個大的話題，不光指公安局也包括其他跟安全有關的行業。

1. 公共安全領域常見的幾種應用

（1）人車識別

對人臉和車牌的識別，進行身份核查，基于對人臉的檢測識別、圖像處理、文字識別等技術。

采集到信息后，跟信息庫中預置的數據來做比對分析，最終反饋結果。

（2）指揮調度

方便指揮中心和前線人員可以實現一個基于數字地圖和實景相結合的雙向溝通，掌握現場的情況來部署作戰方針。

（3）跟無人機結合的應用

把無人機和AR做結合，將無人機錄制回來的畫面做一些計算機視覺方面的處理，再用在指揮調度等方面。

2. 應用的案例

（1）昆明機場應用

如果大家去昆明長水機場就可以留意到，有些巡邏的民警佩戴了很酷的眼鏡，就是AR眼鏡在安全領域內的應用。

這套系統在公安那邊叫云眼智識，它用來干什么的呢？

第一，前線的警員佩戴AR眼鏡獲取現場人員和車牌的信息，同時調用云南數千萬人的臉庫防控信息來指導公安現場做一些措施。

第二，實時畫面可以回傳到指揮中心，指揮中心可以就一些突發事件做實時指揮，而不再需要對講機。

這個系統上線后，在去年的四月份到七月份三個月的時間里，通過AR系統幫助公安人員抓到冒用偽造證件200多人。其中有一些是在逃的通緝人員，包括涉毒26個人、黑惡勢力7人。

在交通樞紐我們也常?？吹揭恍┵u假貨或者拉客的人，這些人的信息其實都在一個重點處置庫里。但并不是每一位民警都認識這些人，那么就可以用AR眼鏡去幫助民警，處置這些賣假貨、拉客、擾亂秩序的人。

（2）廣州天河公安無人機指揮調度系統

當無人機飛在空中的時候，它的攝像頭畫面實時去做識別和處理，疊加了一些重要信息。幫助后端的指揮人員立刻知道無人機的位置、朝向以及下面的一些需要重點關注的目標物、目標建筑。

下圖展示的是無人機的應用場景，大家可以看到在畫面上有一些拱形的紅褐色的標志。這是指揮中心在無人機常規的畫面上繪制路線，指揮現場警員按這條路線去巡邏或者更快接近目標，現場的警員佩戴AR眼鏡也可以看到無人機的畫面以及畫面上的相應指引。

大家在圖中能夠看到一些帶箭頭的紅色圓圈，其實就是警員所在的位置。這樣無人機在天上往下看的時候，指揮中心的領導就可以如何部署警力了。

以往的情況是：領導不在現場，他是很難知道每個人的位置，即使通過對講機告訴溝通，還得去跟地圖做一一對應。

但是有了無人機上這樣的自動識別技術以后，隨身佩戴VR眼鏡或者其他的設備的警員，它們的位置信息，可以和無人機的捕獲畫面很好的結合在一起，這樣指揮中心就能立刻知道哪里有多少警員，實現更高效的調用警力處置突發事件。

這套系統目前在其他的一些地方也有應用，比如消防領域。比如以往撲滅森林山火，即使領導在現場也很難知道哪一個小隊的人在哪一個位置，而且也不容易實時的了解到整個山火的范圍是怎樣的。

通常會派直升機或者無人機將畫面傳過來，大家再去做辨別。而上了這一套無人機的系統之后，因為每一個撲救人的位置，都是確定而且看得見的，可以幫助指揮員做更好的調度，同樣也能夠幫助現場人員避開危險。

（3）貴陽機場“透明裝卸監管系統”

大家坐飛機的時候，可能不太留意，我們的行李是怎樣裝上去和卸下來的呢？我相信大家一定遇到過行旅箱被野蠻裝卸摔壞了的情況。還會發生旅客的行李被偷竊的情況，并不是整個行李被拎走，而只是從包里偷走了部分物品，這個投訴率特別高。

為此，貴陽機場安裝了透明裝卸監管系統，用來避免這些問題。

機場搬運工在工作的時候，會用到一個頭戴式的攝像頭，它會把搬運工的操作全程以第一人稱的視角記錄下來，實時的回傳到后端指揮中心。當每個人的操作都被記錄下來的時候，自然就沒有人敢亂來了。

就是這樣很簡單的一個小應用，卻給當地的機場帶了很大的幫助。除了佩戴攝像頭的搬運工，在現場負責監控裝卸的人員也可以佩戴AR眼鏡，實時接收后臺的指引，減少的暴力作業、行李丟失的情況。

五、應急管理中的AR應用

應急管理大家平時可能接觸不多，但實際上它是保障社會安全的一個很重要的部門體系。

應急管理一般分作兩個場景，一個是平時，另一個就是戰時。當然這里的戰時不代表真正的戰爭時期，而指的是：很多突發事件的處置對應急管理方來說就是一場戰斗。

1. 平時防區的巡查、安全監管、安全培訓

比如說消防，我們在公司都有消防設備，隔一段時間就會有消防系統或者應急系統的人來做檢查。

這個過程當中，如果使用AR眼鏡或者頭戴式的一些設備，再加上隨身的手機。就可以幫助巡查人員自動的識別檢查、監管的場景。在做安全培訓的時候也可以通過剛才提到的遠程協作系統，幫助受訓人員去理解操作步驟等。

2. 應對突發事件

在戰時，也可以把上文提到的指揮調度系統用在應急管理的場景里面去，像消防就是應急管理得到一種。

再比如現在的肺炎疫情，這也是應急管理里很重要的場景。當發生突發的重大公共安全衛生事件的時候，社區、衛生系統、公安系統的人全都到各個地方去，如何知道每一個終端的工作狀況呢？

我們在一些新聞事件中可以看到，因為工作人員或管理人員的處置不力，導致了很多悲劇。

如果把指揮調度這樣的AR應用給他們裝備上后，整個過程就能夠得到取證，在后端的指揮人也能看到每一個末端發生的事情來輔助他們進行決策。

應急管理，尤其是在疫情發生的情況下，還有一個特別AR的應用，就是AR眼鏡測溫。測溫這件事我相信現在每個人都很熟悉了，每到一個出入口就會有人拿測溫槍對你的頭部進行測溫。

但是用測溫槍是有風險的，因為檢測人員和受測人員離得太近了，本身有被感染的風險。

如果佩戴裝有紅外模塊的AR眼鏡，離受測人員三米開外一眼就能看出來誰的額頭溫度是不是超出允許的范圍。

在相對固定環境下，經過調教之后能夠達到±0.3度的范疇。相對于近距離測溫的風險來說，誤差度是可以接受的，起碼可以幫助檢測人員做一個初步的篩查。

六、AR研發人員能力模型

如果你想成為一名AR行業的軟件技術人員，你需要具備哪些能力呢？

首先要了解AR這個技術。它是由哪些部分構成的，有哪些層面？最下面的IaaS的平臺，大多數AR的從業人員不會太接觸到，基本上我們也是用運營商或平臺廠商的一些基礎設施。

往上面看是通訊數據包括引擎和應用，也就是從DaaS到PaaS的層面都是需要各個方面的軟件技術人員來參與的。

1. 算法

在AR里用到的算法，常見的像人臉識別、肢體的識別、運動跟蹤、目標的檢測、語義識別、交互理解、圖形渲染、空間標志等，都是跟算法有關的。

2. 移動端開發

如果想做AR的移動端開發，懂安卓和iOS的開發基本上就夠了。在這基礎上，因為AR是在真實世界的場景上疊加虛擬內容的一項技術，而這個虛擬內容實現了虛實結合的人機體驗。

這樣就會用到3D模型，業界最廣泛使用的3D套件是Unity，各個廠商都有服務Unity的SDK， SDK整合Unity就可以方便地進行3D應用的API開發。

再深入一點，還需要對這個開發工具進行改進。比如，我們用Unreal、GamePlay或者用其他的有源代碼工具的時候，需要改進它的一些渲染能力，或者讓它的渲染引擎變得更加小。

一個套件的3D渲染部分原來有幾十兆，如果你有對源代碼進行改造的話，有可能把它縮成幾兆大。對于移動應用將會產生巨大的差距。

3. Web AR

Web AR，就是基于網頁的AR，微信新的版本里也開始支持了。當然，微信沒有提供關于識別和渲染這方面的完整SDK，還是需要調用第三方的AR能力。

具體來說就是AR的云能力，通過微信小程序里獲取到攝像機的畫面，再上傳到云端，從云端得到識別的結果再疊加相應的效果。

如果要從事Web AR，腳本語言肯定是需要掌握的，還有關于通信、網頁渲染的一些知識也是需要的。

總的來說，在應用端做AR開發不是一件特別高精尖的技術。但里頭有很多小的坑，只有在長期開發的過程中才可以發現。

4. 云平臺與網絡通訊

因為現在AR的識別能力，有的在客戶端做，有的是在云端做，就會出現云端應用開發能力的問題。

如果要想從事這方面的工作，首先要做一些具備企業級云端應用開發能力的準備工作。所謂企業級指的不是QQ這樣的面向數億人在線使用的量級，而是指面向企業應用的企業級。

同時有數萬的訪問就已經夠用了，其次是企業級通訊軟件的開發能力，這個要求會比較高，因為它涉及到一些基礎的通訊的技術，這里就不展開講了。

七、Q&A

Q：我經常要給一些數據中心做BCM方案，里面會有巡查環節，是否能在巡查和事件初步評估和緊急應急措施的時候用一些AR技術？老師有什么建議？

A：這個就是非常典型的技術應用的場景，在前文所描述的工業場景里頭，設備的巡檢是特別重要的一種使用的方法。

第一，可以佩戴AR眼鏡進行巡查，眼鏡當中出現機器的運行狀況，可以通過視覺識別或者通過物聯網傳感器的方法來獲得它的運行狀況。在眼鏡的視野里浮出一個標注告訴觀察者，設備現在的溫度是多少，是不是運行有問題了等等。

第二，還可以用手機來做相關的應用，相對于AR眼鏡，成本更低，實用性也很強。

講師簡介

韓磊，騰訊云最具價值專家（TVP），廣州亮風臺信息科技有限公司總經理 。新媒體和社區運營專家，技術圖書作、譯者。?2001年創辦CoDelphi.com網站。?2003年加入CSDN，歷任網絡總監、副總經理、總編輯等職。?2010年加入廣東21世紀傳媒集團，歷任信息中心CTO、新媒體事業部總經理、新媒體中心CTO等職。?2017年起擔任亮風臺廣州公司總經理。?擁有美國Borland公司“Delphi產品專家”稱號。和劉韌合著有《網絡媒體教程》，與戴飛合譯有《Beginning C# Objects：對象到代碼》，譯有《夢斷代碼》、《C#編程風格》、《代碼整潔之道》等。

點擊文末「閱讀原文」，即可觀看直播精彩回放。

關注云加社區公眾號，回復“TVP直播課”，即可獲取老師演講PPT。

本周直播日歷

互動有禮：參與課程直播在線互動，直播間提問就有機會獲得騰訊云定制U盤、騰訊云藍牙音箱和騰訊公仔等精美禮品哦～

添加TcloudM【學習君】,提前加入課程交流群

推薦閱讀

聚焦【技術應變力】云加社區沙龍online重磅上線！

總結

以上是生活随笔為你收集整理的AR公共安全及应急指挥中的应用 | TVP思享的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。