2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

SDL和視頻
為了在屏幕上顯示，我們將使用SDL.SDL是Simple Direct Layer的縮寫。它是一個(gè)出色的多媒體庫(kù)，適用于多平臺(tái)，并且被用在許多工程中。你可以從它的官方網(wǎng)站的網(wǎng)址 http://www.libsdl.org/上來(lái)得到這個(gè)庫(kù)的源代碼或者如果有可能的話你可以直接下載開發(fā)包到你的操作系統(tǒng)中。按照這個(gè)指導(dǎo)，你將需要 編譯這個(gè)庫(kù)。（剩下的幾個(gè)指導(dǎo)中也是一樣）
SDL庫(kù)中有許多種方式來(lái)在屏幕上繪制圖形，而且它有一個(gè)特殊的方式來(lái)在屏幕上顯示圖像――這種方式叫做YUV覆蓋。YUV（從技術(shù)上來(lái)講并不叫YUV而 是叫做YCbCr）是一種類似于RGB方式的存儲(chǔ)原始圖像的格式。粗略的講，Y是亮度分量，U和V是色度分量。（這種格式比RGB復(fù)雜的多，因?yàn)楹芏嗟念?色信息被丟棄了，而且你可以每2個(gè)Y有1個(gè)U和1個(gè)V）。SDL的YUV覆蓋使用一組原始的YUV數(shù)據(jù)并且在屏幕上顯示出他們。它可以允許4種不同的 YUV格式，但是其中的YV12是最快的一種。還有一個(gè)叫做YUV420P的YUV格式，它和YV12是一樣的，除了U和V分量的位置被調(diào)換了以外。 420意味著它以4：2：0的比例進(jìn)行了二次抽樣，基本上就意味著1個(gè)顏色分量對(duì)應(yīng)著4個(gè)亮度分量。所以它的色度信息只有原來(lái)的1/4。這是一種節(jié)省帶寬 的好方式，因?yàn)槿搜鄹杏X不到這種變化。在名稱中的P表示這種格式是平面的――簡(jiǎn)單的說(shuō)就是Y，U和V分量分別在不同的數(shù)組中。FFMPEG可以把圖像格式 轉(zhuǎn)換為YUV420P，但是現(xiàn)在很多視頻流的格式已經(jīng)是YUV420P的了或者可以被很容易的轉(zhuǎn)換成YUV420P格式。
于是，我們現(xiàn)在計(jì)劃把指導(dǎo)1中的SaveFrame()函數(shù)替換掉，讓它直接輸出我們的幀到屏幕上去。但一開始我們必需要先看一下如何使用SDL庫(kù)。首先我們必需先包含SDL庫(kù)的頭文件并且初始化它。
#include <SDL.h>
#include <SDL_thread.h>
if(SDL_Init(SDL_INIT_VIDEO | SDL_INIT_AUDIO | SDL_INIT_TIMER)) {
fprintf(stderr, "Could not initialize SDL - %s/n", SDL_GetError());
exit(1);
}
SDL_Init()函數(shù)告訴了SDL庫(kù)，哪些特性我們將要用到。當(dāng)然SDL_GetError()是一個(gè)用來(lái)手工除錯(cuò)的函數(shù)。
創(chuàng)建一個(gè)顯示
現(xiàn)在我們需要在屏幕上的一個(gè)地方放上一些東西。在SDL中顯示圖像的基本區(qū)域叫做面surface。
SDL_Surface *screen;
screen = SDL_SetVideoMode(pCodecCtx->width, pCodecCtx->height, 0, 0);
if(!screen) {
fprintf(stderr, "SDL: could not set video mode - exiting/n");
exit(1);
}
這就創(chuàng)建了一個(gè)給定高度和寬度的屏幕。下一個(gè)選項(xiàng)是屏幕的顏色深度――0表示使用和當(dāng)前一樣的深度。（這個(gè)在OS X系統(tǒng)上不能正常工作，原因請(qǐng)看源代碼）
現(xiàn)在我們?cè)谄聊簧蟻?lái)創(chuàng)建一個(gè)YUV覆蓋以便于我們輸入視頻上去：
SDL_Overlay *bmp;
bmp = SDL_CreateYUVOverlay(pCodecCtx->width, pCodecCtx->height,
SDL_YV12_OVERLAY, screen);
正如前面我們所說(shuō)的，我們使用YV12來(lái)顯示圖像。
顯示圖像
前面那些都是很簡(jiǎn)單的。現(xiàn)在我們需要來(lái)顯示圖像。讓我們看一下是如何來(lái)處理完成后的幀的。我們將原來(lái)對(duì)RGB處理的方式，并且替換SaveFrame() 為顯示到屏幕上的代碼。為了顯示到屏幕上，我們將先建立一個(gè)AVPicture結(jié)構(gòu)體并且設(shè)置其數(shù)據(jù)指針和行尺寸來(lái)為我們的YUV覆蓋服務(wù)：
if(frameFinished) {
SDL_LockYUVOverlay(bmp);
AVPicture pict;
pict.data[0] = bmp->pixels[0];
pict.data[1] = bmp->pixels[2];
pict.data[2] = bmp->pixels[1];
pict.linesize[0] = bmp->pitches[0];
pict.linesize[1] = bmp->pitches[2];
pict.linesize[2] = bmp->pitches[1];
// Convert the image into YUV format that SDL uses
img_convert(&pict, PIX_FMT_YUV420P,
(AVPicture *)pFrame, pCodecCtx->pix_fmt,
pCodecCtx->width, pCodecCtx->height);
SDL_UnlockYUVOverlay(bmp);
}
首先，我們鎖定這個(gè)覆蓋，因?yàn)槲覀儗⒁ジ膶懰＿@是一個(gè)避免以后發(fā)生問題的好習(xí)慣。正如前面所示的，這個(gè)AVPicture結(jié)構(gòu)體有一個(gè)數(shù)據(jù)指針指向一 個(gè)有4個(gè)元素的指針數(shù)據(jù)。由于我們處理的是YUV420P，所以我們只需要3個(gè)通道即只要三組數(shù)據(jù)。其它的格式可能需要第四個(gè)指針來(lái)表示alpha通道或 者其它參數(shù)。行尺寸正如它的名字表示的意義一樣。在YUV覆蓋中相同功能的結(jié)構(gòu)體是像素pixel和程度pitch。（程度pitch是在SDL里用來(lái)表 示指定行數(shù)據(jù)寬度的值）。所以我們現(xiàn)在做的是讓我們的覆蓋中的pict.data中的三個(gè)指針有一個(gè)指向必要的空間的地址。類似的，我們可以直接從覆蓋中 得到行尺寸信息。像前面一樣我們使用img_convert來(lái)把格式轉(zhuǎn)換成PIX_FMT_YUV420P。
繪制圖像
但我們?nèi)匀恍枰嬖VSDL如何來(lái)實(shí)際顯示我們給的數(shù)據(jù)。我們也會(huì)傳遞一個(gè)表明電影位置、寬度、高度和縮放大小的矩形參數(shù)給SDL的函數(shù)。這樣，SDL為我們做縮放并且它可以通過顯卡的幫忙來(lái)進(jìn)行快速縮放。
SDL_Rect rect;
if(frameFinished) {
// Convert the image into YUV format that SDL uses
img_convert(&pict, PIX_FMT_YUV420P,
(AVPicture *)pFrame, pCodecCtx->pix_fmt,
pCodecCtx->width, pCodecCtx->height);
SDL_UnlockYUVOverlay(bmp);
rect.x = 0;
rect.y = 0;
rect.w = pCodecCtx->width;
rect.h = pCodecCtx->height;
SDL_DisplayYUVOverlay(bmp, &rect);
}
現(xiàn)在我們的視頻顯示出來(lái)了！
讓我們?cè)倩ㄒ稽c(diǎn)時(shí)間來(lái)看一下SDL的特性：它的事件驅(qū)動(dòng)系統(tǒng)。SDL被設(shè)置成當(dāng)你在SDL中點(diǎn)擊或者移動(dòng)鼠標(biāo)或者向它發(fā)送一個(gè)信號(hào)它都將產(chǎn)生一個(gè)事件的驅(qū) 動(dòng)方式。如果你的程序想要處理用戶輸入的話，它就會(huì)檢測(cè)這些事件。你的程序也可以產(chǎn)生事件并且傳遞給SDL事件系統(tǒng)。當(dāng)使用SDL進(jìn)行多線程編程的時(shí)候， 這相當(dāng)有用，這方面代碼我們可以在指導(dǎo)4中看到。在這個(gè)程序中，我們將在處理完包以后就立即輪詢事件。現(xiàn)在而言，我們將處理SDL_QUIT事件以便于我 們退出：
SDL_Event event;
av_free_packet(&packet);
SDL_PollEvent(&event);
switch(event.type) {
case SDL_QUIT:
SDL_Quit();
exit(0);
break;
default:
break;
}
讓我們?nèi)サ襞f的冗余代碼，開始編譯。如果你使用的是Linux或者其變體，使用SDL庫(kù)進(jìn)行編譯的最好方式為：
gcc -o tutorial02 tutorial02.c -lavutil -lavformat -lavcodec -lz -lm /
`sdl-config --cflags --libs`
這里的sdl-config命令會(huì)打印出用于gcc編譯的包含正確SDL庫(kù)的適當(dāng)參數(shù)。為了進(jìn)行編譯，在你自己的平臺(tái)你可能需要做的有點(diǎn)不同：請(qǐng)查閱一下SDL文檔中關(guān)于你的系統(tǒng)的那部分。一旦可以編譯，就馬上運(yùn)行它。
當(dāng)運(yùn)行這個(gè)程序的時(shí)候會(huì)發(fā)生什么呢？電影簡(jiǎn)直跑瘋了！實(shí)際上，我們只是以我們能從文件中解碼幀的最快速度顯示了所有的電影的幀。現(xiàn)在我們沒有任何代碼來(lái)計(jì) 算出我們什么時(shí)候需要顯示電影的幀。最后（在教程5），我們將花足夠的時(shí)間來(lái)探討同步問題。但一開始我們會(huì)先忽略這個(gè)，因?yàn)槲覀冇懈又匾氖虑橐幚?#xff1a; 音頻！?

轉(zhuǎn)載于:https://my.oschina.net/mexiaobai1315/blog/805932

總結(jié)

以上是生活随笔為你收集整理的ffmpeg 和 SDL 教程2：输出到屏幕的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。