matlab控制realsense,RealSense开发学习--1.初识RealSense
RealSense
3D實感技術是Intel研發的一項新的技術。這項技術利用攝像頭,紅外投影傳感設備及紅外捕捉設備獲取外界的深度信息,彩色視頻信息以及其它信息。并基于此完成獲取深度圖像,彩色圖像,手勢識別,面部識別,語音識別,三維重建等工作。
之前2年時間學習,畢業設計和工作接觸了Kinect
1代和2代。2014年末參加Intel實感技術全球挑戰賽,也接觸過一段時間RealSense。?相較于Kinect,RealSense與Kinect有許多相同點:捕捉外界深度信息,彩色信息并基于此完成許多不同的工作。然而RealSense(F200)與目前的Kinect相比,也有許多優劣勢,先說說劣勢吧,
1.RealSense官方說明提供的有效識別范圍是0.2m-1.2m,實際使用時經過測試發現1m之內的效果比較好,超過1m效果不是很好。另外手勢識別和臉部識別的距離更短,只有幾十cm。而Kinect由于設計初衷就是為XBox設計的體感游戲外設,所以它的檢測距離在40cm到3m之間,范圍非常大。
2.由于捕捉的范圍?非常的大,Kinect可以捕捉人體20個關節節點(2代Kinect可以捕捉25個),所以Kinect可以識別各種人體動作,比如走路,揮手等。而RealSense則由于探測距離的原因無法識別人體全部骨骼,只能識別近距離的手部關節和面部關節。
再說下RealSense的優勢吧,由于距離近,所以RealSense
SDK提供了對手部節點的識別以及手勢識別,這點Kinect SDK并沒有提供,此外RealSense也提供了面部特征識別。
另外,由于RealSense的芯片較小,所以已經被集成到了Laptop(筆記本)上面,這無疑大大增加了RealSense的可擴展性,不需要額外的空間也可以開發小范圍的手勢體感應用。?
下面就來介紹下RealSense體感設備,先從RealSense設備本身開始:
如圖所示為RealSense設備
?在觀察RealSense設備后可以發現在設備上有三個傳感攝像頭,其中位于中間的攝像頭是RGB彩色攝像頭;而位于左側的是紅外捕捉攝像頭,位于右邊的是紅外投影儀,這兩者結合可以獲取外界的深度信息。
?官方文檔中提供的數據說明了彩色相機和深度相機的參數:
分辨率方面彩色相機可以達到1080P@30FPS,而深度數據可以達到640X480@60FPS(VGA),@120FPS(HVGA)。
?彩色相機的寬高比(Aspect
Ratio)為16:9,深度相機的寬高比為4:3。
?
彩色相機的照射范圍是77° x 43° x
70°(Diagonal X Vertical X Horizontal),深度相機的范圍是90° x 59° x 73°(對角 X
垂直 X 水平)。
RealSense原始數據的捕捉范圍是在0.2m -
1.2m之間。?可以再室內或室外環境,取決于外部光照等條件。
RealSense提供的手勢識別距離很近:HVGA模式范圍是20-55cm,而VGA模式提供的范圍是20-60cm。
RealSense提供的面部追蹤有2中模式,分別是2D面部追蹤和3D面部追蹤,2D面部追蹤的有效范圍是35-120cm,3D面部追蹤提供的有效范圍是35-70cm。?
RealSense官方介紹中也提示開發者及用戶要在有效的視區中操作,識別,離開識別視野后就無法正常使用了。
?以上大致介紹完RealSense的硬件及其范圍,下面說下RealSense的SDK架構。這里需要用到一張官方文檔中的結構圖:
RealSense
SDK 結構圖
?
SDK
core是模塊的基礎,它的一個工作就是管理IO模塊和Capability(功能)模塊。IO模塊負責從設備獲取數據,然后將數據傳輸至輸出設備或Capability模塊;Capability模塊則包括了不同的模式檢測和識別算法,比如面部追蹤和識別,手部追蹤,手勢識別以及聲音識別和集成。
? ? SDK
core的另一個工作是組織執行管道(Execution
pipeline),或許在管道中同時會有很多模塊,所以有必要有一個管理類。如果需要多臺設備,則需要多管道。
?
底層模塊被封裝成了不同平臺的接口,包括c#接口,Unity接口,Java接口,c++接口等,以方便不同的開發者使用。
SDK架構介紹完后,需要說明下RealSense所需要的軟件平臺和硬件平臺:
處理器:至少需要Intel第四代Core處理器
?OS : Microsoft Windows
8.1
支持語言:
C++,C#,Java,JavaScript
集成開發環境:Microsoft Visual Studio 2010 - 2013
支持開發工具:Microsoft .Net 4.0 Framework for c#
Unity* pro
4.1.0 or late
Processing
2.2.1 or late
Java JDK
1.7.0 or higher?
以上介紹完了RealSense的基本情況,由于篇幅關系,有不完善的地方。總的來說RealSense是?Intel的一次大膽嘗試,現在的應用App較少,但前景樂觀,不論從商業開發App還是學術領域研究識別算法,圖像處理以及三維重建都有著較高的拓展性。在隨后我將去了解及學習RealSense的開發環境部署以及深度,視頻,手勢及面部識別等功能的開發。
總結
以上是生活随笔為你收集整理的matlab控制realsense,RealSense开发学习--1.初识RealSense的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: php通过url传递变量,PHP:如何在
- 下一篇: 格式怎么转换_爱奇艺下载的视频怎么转换成