Video for Linux

two(Video4Linux2)簡稱V4L2，是V4L的改進版。V4L2是linux操作系統(tǒng)下用于采集圖片、視頻和音頻數(shù)據(jù)的API接口，配合適當?shù)囊曨l采集設(shè)備和相應(yīng)的驅(qū)動程序，可以實現(xiàn)圖片、視頻、音頻等的采集。在遠程會議、可視電話、視頻監(jiān)控系統(tǒng)和嵌入式多媒體終端中都有廣泛的應(yīng)用。

一、Video for Linux two

在Linux下，所有外設(shè)都被看成一種特殊的文件，成為“設(shè)備文件”，可以象訪問普通文件一樣對其進行讀寫。一般來說，采用V4L2驅(qū)動的攝像頭設(shè)備文件是/dev/v4l/video0。為了通用，可以建立一個到/dev/video0的鏈接。V4L2支持兩種方式來采集圖像：內(nèi)存映射方式

(mmap)和直接讀取方式(read)。V4L2在include/linux/videodev.h文件中定義了一些重要的數(shù)據(jù)結(jié)構(gòu)，在采集圖像的過程中，就是通過對這些數(shù)據(jù)的操作來獲得最終的圖像數(shù)據(jù)。Linux系統(tǒng)V4L2的能力可在Linux內(nèi)核編譯階段配置，默認情況下都有此開發(fā)接口。

V4L2從Linux 2.5.x版本的內(nèi)核中開始出現(xiàn)。

V4L2規(guī)范中不僅定義了通用API元素(Common API Elements)，圖像的格式(Image

Formats)，輸入/輸出方法(Input/Output)，還定義了Linux內(nèi)核驅(qū)動處理視頻信息的一系列接口(Interfaces)，這些接口主要有：

視頻采集接口——Video Capture Interface;

視頻輸出接口—— Video Output Interface;

視頻覆蓋/預(yù)覽接口——Video Overlay Interface;

視頻輸出覆蓋接口——Video Output Overlay Interface;

編解碼接口——Codec Interface。

二、應(yīng)用程序通過V4L2進行視頻采集的原理

V4L2支持內(nèi)存映射方式(mmap)和直接讀取方式(read)來采集數(shù)據(jù)，前者一般用于連續(xù)視頻數(shù)據(jù)的采集，后者常用于靜態(tài)圖片數(shù)據(jù)的采集，本文重點討論內(nèi)存映射方式的視頻采集。

應(yīng)用程序通過V4L2接口采集視頻數(shù)據(jù)分為五個步驟：

首先，打開視頻設(shè)備文件，進行視頻采集的參數(shù)初始化，通過V4L2接口設(shè)置視頻圖像的采集窗口、采集的點陣大小和格式;

其次，申請若干視頻采集的幀緩沖區(qū)，并將這些幀緩沖區(qū)從內(nèi)核空間映射到用戶空間，便于應(yīng)用程序讀取/處理視頻數(shù)據(jù);

第三，將申請到的幀緩沖區(qū)在視頻采集輸入隊列排隊，并啟動視頻采集;

第四，驅(qū)動開始視頻數(shù)據(jù)的采集，應(yīng)用程序從視頻采集輸出隊列取出幀緩沖區(qū)，處理完后，將幀緩沖區(qū)重新放入視頻采集輸入隊列，循環(huán)往復(fù)采集連續(xù)的視頻數(shù)據(jù);

第五，停止視頻采集。

1.視頻采集的參數(shù)初始化

在Linux下，攝像頭硬件已經(jīng)被映射為設(shè)備文件“/dev/video0”，用open函數(shù)打開這個設(shè)備文件，獲得其文件描述符fd_v4l2，然后對這個文件描述符進行參數(shù)初始化。

(1) 設(shè)置視頻的采集窗口參數(shù)

設(shè)置采集窗口就是在攝像頭設(shè)備的取景范圍之內(nèi)設(shè)定一個視頻采集區(qū)域。主要是對結(jié)構(gòu)體v4l2_crop賦值，v4l2_crop由一個

v4l2_buffer_type枚舉類型的type和v4l2_rect類型的結(jié)構(gòu)體c構(gòu)成，來描述視頻采集窗口的類型和大小。type設(shè)置為視頻采集

類型V4L2_BUF_TYPE_VIDEO_CAPTURE。c是表示采集窗口的大小的結(jié)構(gòu)體，它的成員Left和Top分別表示視頻采集區(qū)域的起始橫

坐標和縱坐標，width和height分別表示采集圖像的寬度和高度。賦值后，用ioctl函數(shù)通過這個結(jié)構(gòu)體對fd_v4l2進行設(shè)置。

struct v4l2_crop { enum v4l2_buf_type type;

struct v4l2_rect c;

};

(2)設(shè)置視頻點陣格式和點陣大小

主要是對結(jié)構(gòu)體v4l2_format進行賦值，它由type和聯(lián)合體fmt構(gòu)成，來描述視頻設(shè)備當前行為和數(shù)據(jù)的格式。

把type賦值為視頻采集類型V4L2_BUF_TYPE_VIDEO_CAPTURE，表示定義了一個視頻采集流類型的buffer。fmt

中，pix為表示圖形格式的v4l2_pix_format型結(jié)構(gòu)體。需要設(shè)定pix里的幾個變量，pixelformat表示采集格式，設(shè)置為

V4L2_PIX_FMT_YUV420;width、height表示圖像的寬度、高度，以字節(jié)為單位;sizeimage表示圖像所占的存儲空間大

小，以字節(jié)為單位;bytesperline表示每一行的字節(jié)數(shù)。賦值后，用ioctl函數(shù)通過這個結(jié)構(gòu)體對fd_ v4l2進行設(shè)置。

struct v4l2_format

{ enum v4l2_buf_type type;

union

{ struct v4l2_pix_format pix; // V4L2_BUF_TYPE_VIDEO_CAPTURE

struct v4l2_window win; // V4L2_BUF_TYPE_VIDEO_OVERLAY

__u8 raw_data[200]; // user-defined

} fmt;

};

(3)設(shè)置視頻采集的幀率

結(jié)構(gòu)體v4l2_streamparm來描述視頻流的屬性，它由type和聯(lián)合體parm構(gòu)成。type同上，由于選的是

V4L2_BUF_TYPE_VIDEO_CAPTURE，所以僅需設(shè)定parm中的v412_capture型結(jié)構(gòu)體capture即可。在其中，

v4l2_fract型結(jié)構(gòu)體timeperframe表示平均每一幀所占的時間，由其元素numerator和denominator共同決定，該時長

為numerator/denominator;而capturemode則表示采集模式，采集高質(zhì)量圖片值為1，一般設(shè)為0。賦值之后，用ioctl函

數(shù)通過這個結(jié)構(gòu)體對fd_ v4l2進行設(shè)置。

struct v4l2_streamparm

{ enum v4l2_buf_type type;

union

{ struct v4l2_captureparm capture;

struct v4l2_outputparm output;

__u8 raw_data[200]; /* user-defined */

} parm;

};

2.申請并設(shè)置視頻采集的幀緩沖區(qū)

前期初始化完成后，只是解決了一幀視頻數(shù)據(jù)的格式和大小問題，而連續(xù)視頻幀數(shù)據(jù)的采集需要用幀緩沖區(qū)隊列的方式來解決，即要通過驅(qū)動程序在內(nèi)存中申請幾個幀緩沖區(qū)來存放視頻數(shù)據(jù)。

應(yīng)用程序通過API接口提供的方法(VIDIOC_REQBUFS)申請若干個視頻數(shù)據(jù)的幀緩沖區(qū)，申請幀緩沖區(qū)數(shù)量一般不低于3個，每個幀緩沖區(qū)存放一幀視頻數(shù)據(jù)，這些幀緩沖區(qū)在內(nèi)核空間。

應(yīng)用程序通過API接口提供的查詢方法(VIDIOC_QUERYBUF)查詢到幀緩沖區(qū)在內(nèi)核空間的長度和偏移量地址。

應(yīng)用程序再通過內(nèi)存映射方法(mmap)，將申請到的內(nèi)核空間幀緩沖區(qū)的地址映射到用戶空間地址，這樣就可以直接處理幀緩沖區(qū)的數(shù)據(jù)。

(1)將幀緩沖區(qū)在視頻輸入隊列排隊，并啟動視頻采集

在驅(qū)動程序處理視頻的過程中，定義了兩個隊列：視頻采集輸入隊列(incoming queues)和視頻采集輸出隊列(outgoing queues)，前者是等待驅(qū)動存放視頻數(shù)據(jù)的隊列，后者是驅(qū)動程序已經(jīng)放入了視頻數(shù)據(jù)的隊列。如圖2所示。

應(yīng)用程序需要將上述幀緩沖區(qū)在視頻采集輸入隊列排隊(VIDIOC_QBUF)，然后可啟動視頻采集。

(2)循環(huán)往復(fù)，采集連續(xù)的視頻數(shù)據(jù)

啟動視頻采集后，驅(qū)動程序開始采集一幀數(shù)據(jù)，把采集的數(shù)據(jù)放入視頻采集輸入隊列的第一個幀緩沖區(qū)，一幀數(shù)據(jù)采集完成，也就是第一個幀緩沖區(qū)存滿

一幀數(shù)據(jù)后，驅(qū)動程序?qū)⒃搸彌_區(qū)移至視頻采集輸出隊列，等待應(yīng)用程序從輸出隊列取出。驅(qū)動程序接下來采集下一幀數(shù)據(jù)，放入第二個幀緩沖區(qū)，同樣幀緩沖區(qū)

存滿下一幀數(shù)據(jù)后，被放入視頻采集輸出隊列。

應(yīng)用程序從視頻采集輸出隊列中取出含有視頻數(shù)據(jù)的幀緩沖區(qū)，處理幀緩沖區(qū)中的視頻數(shù)據(jù)，如存儲或壓縮。

最后，應(yīng)用程序?qū)⑻幚硗陻?shù)據(jù)的幀緩沖區(qū)重新放入視頻采集輸入隊列,這樣可以循環(huán)采集，如圖1所示。

圖1 視頻采集輸入和輸出隊列示意圖

(3)最終停止采集，釋放內(nèi)存幀緩沖區(qū)

3.用V4L2采集視頻的程序流程和相關(guān)API

V4L2采集視頻操作基本按照打開視頻設(shè)備、設(shè)置視頻格式、啟動視頻采集，循環(huán)處理視頻數(shù)據(jù)、停止視頻采集、關(guān)閉視頻設(shè)備，具體操作通過ioctl等函數(shù)來實現(xiàn)。一般操作流程如下：

(1)打開視頻設(shè)備文件。int fd=open("/dev/video0",O_RDWR);

(2)查詢視頻設(shè)備的能力，比如是否具有視頻輸入,或者音頻輸入輸出等。ioctl(fd_v4l, VIDIOC_QUERYCAP, &cap)

(3)設(shè)置視頻采集的參數(shù)

設(shè)置視頻的制式，制式包括PAL/NTSC，使用ioctl(fd_v4l, VIDIOC_S_STD, &std_id)

設(shè)置視頻圖像的采集窗口的大小，使用ioctl(fd_v4l, VIDIOC_S_CROP, &crop)

設(shè)置視頻幀格式，包括幀的點陣格式，寬度和高度等，使用ioctl(fd_v4l, VIDIOC_S_FMT, &fmt)

設(shè)置視頻的幀率，使用ioctl(fd_v4l, VIDIOC_S_PARM, &parm)

設(shè)置視頻的旋轉(zhuǎn)方式，使用ioctl(fd_v4l, VIDIOC_S_CTRL, &ctrl)

(4)向驅(qū)動申請視頻流數(shù)據(jù)的幀緩沖區(qū)

請求/申請若干個幀緩沖區(qū)，一般為不少于3個,使用ioctl(fd_v4l, VIDIOC_REQBUFS, &req)

查詢幀緩沖區(qū)在內(nèi)核空間中的長度和偏移量 ioctl(fd_v4l, VIDIOC_QUERYBUF, &buf)

(5)應(yīng)用程序通過內(nèi)存映射，將幀緩沖區(qū)的地址映射到用戶空間，這樣就可以直接操作采集到的幀了，而不必去復(fù)制。

buffers[i].start = mmap (NULL, buffers[i].length, PROT_READ | PROT_WRITE, MAP_SHARED, fd_v4l, buffers[i].offset);

(6)將申請到的幀緩沖全部放入視頻采集輸出隊列，以便存放采集的數(shù)據(jù)。ioctl (fd_v4l, VIDIOC_QBUF, &buf)

(7)開始視頻流數(shù)據(jù)的采集。 ioctl (fd_v4l, VIDIOC_STREAMON, &type)

(8) 驅(qū)動將采集到的一幀視頻數(shù)據(jù)存入輸入隊列第一個幀緩沖區(qū)，存完后將該幀緩沖區(qū)移至視頻采集輸出隊列。

(9)應(yīng)用程序從視頻采集輸出隊列中取出已含有采集數(shù)據(jù)的幀緩沖區(qū)。ioctl (fd_v4l, VIDIOC_DQBUF, &buf) ，應(yīng)用程序處理該幀緩沖區(qū)的原始視頻數(shù)據(jù)。

(10)處理完后，應(yīng)用程序的將該幀緩沖區(qū)重新排入輸入隊列,這樣便可以循環(huán)采集數(shù)據(jù)。ioctl (fd_v4l, VIDIOC_QBUF, &buf)

重復(fù)上述步驟8到10，直到停止采集數(shù)據(jù)。

(11)停止視頻的采集。ioctl (fd_v4l, VIDIOC_STREAMOFF, &type)

(12)釋放申請的視頻幀緩沖區(qū)unmap，關(guān)閉視頻設(shè)備文件close(fd_v4l)。

以上的程序流程，包含了視頻設(shè)備采集連續(xù)的視頻數(shù)據(jù)的邏輯關(guān)系。而在實際運用中，往往還要加入對視頻數(shù)據(jù)進行處理(如壓縮編碼)的工作，否則，視頻流數(shù)據(jù)量相當大，需要很大的存儲空間和傳輸帶寬。

上述過程中，每一個幀緩沖區(qū)都有一個對應(yīng)的狀態(tài)標志變量，其中每一個比特代表一個狀態(tài)

V4L2_BUF_FLAG_UNMAPPED 0B0000

V4L2_BUF_FLAG_MAPPED 0B0001

V4L2_BUF_FLAG_ENQUEUED 0B0010

V4L2_BUF_FLAG_DONE 0B0100

緩沖區(qū)的狀態(tài)轉(zhuǎn)化如圖2所示。

圖2 緩沖區(qū)的狀態(tài)標志轉(zhuǎn)化圖

三、結(jié)束語

V4L2是Linux環(huán)境下開發(fā)視頻采集設(shè)備驅(qū)動程序的一套規(guī)范(API)，它為驅(qū)動程序的編寫提供統(tǒng)一的接口，并將所有的視頻采集設(shè)備的驅(qū)動程序都納入其的管理之中。V4L2不僅給驅(qū)動程序編寫者帶來極大的方便，同時也方便了應(yīng)用程序的編寫和移植，具有廣泛的應(yīng)用價值。

總結(jié)

以上是生活随笔為你收集整理的linux视频采集软件,嵌入式LINUX环境下视频采集的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。