=====================================================

基于最簡單的FFmpeg封裝工藝的系列文章上市：

最簡單的基于FFmpeg的封裝格式處理：視音頻分離器簡化版（demuxer-simple）

最簡單的基于FFmpeg的封裝格式處理：視音頻分離器（demuxer）

最簡單的基于FFmpeg的封裝格式處理：視音頻復用器（muxer）

最簡單的基于FFMPEG的封裝格式處理：封裝格式轉換（remuxer）

=====================================================

簡介

打算記錄一下基于FFmpeg的封裝格式處理方面的樣例。包括了視音頻分離，復用，封裝格式轉換。有關封轉格式轉換的樣例在之前的文章：《最簡單的基于FFMPEG的封裝格式轉換器（無編解碼）》中已經有過記錄。不再反復。

因此計劃寫3篇文章分別記錄視音頻的復用器（Muxer）和分離器（Demuxer）。當中視音頻分離器（Demuxer）記錄2篇：一篇簡單的，一篇標準的。

簡單的版本號更適合剛開始學習的人學習。

本文是第1篇。

首先記錄一個基于FFmpeg的視音頻分離器簡單版（Simplest FFmpeg Demuxer Simple）。視音頻分離器（Demuxer）即是將封裝格式數據（比如MKV）中的視頻壓縮數據（比如H.264）和音頻壓縮數據（比如AAC）分離開。

如圖所看到的。在這個過程中并不涉及到編碼和解碼。

本文記錄的程序將一個FLV封裝的文件（當中視頻編碼為H.264，音頻編碼為MP3）分離成為兩個文件：一個H.264編碼的視頻碼流文件，一個MP3編碼的音頻碼流文件。

須要注意的是。本文介紹的是一個簡單版的視音頻分離器（Demuxer）。

該分離器的優點是代碼十分簡單，非常好理解。

可是缺點是并不適用于一些格式。

對于MP3編碼的音頻是沒有問題的。可是在分離MP4/FLV/MKV等一些格式中的AAC編碼的碼流的時候，得到的AAC碼流是不能播放的。

原因是存儲AAC數據的AVPacket的data字段中的數據是不包括7字節ADTS文件頭的“砍頭”的數據，是無法直接解碼播放的（當然假設在這些數據前面手工加上7字節的ADTS文件頭的話，就能夠播放了）。

參考文章：使用FFMPEG類庫分離出多媒體文件里的音頻碼流

分離某些封裝格式中的H.264

分離某些封裝格式（比如MP4/FLV/MKV等）中的H.264的時候。須要首先寫入SPS和PPS，否則會導致分離出來的數據沒有SPS、PPS而無法播放。H.264碼流的SPS和PPS信息存儲在AVCodecContext結構體的extradata中。

須要使用ffmpeg中名稱為“h264_mp4toannexb”的bitstream filter處理。有兩種處理方式：

（1）使用bitstream filter處理每一個AVPacket（簡單）

把每一個AVPacket中的數據（data字段）經過bitstream filter“過濾”一遍。關鍵函數是av_bitstream_filter_filter()。演示樣例代碼例如以下。

	AVBitStreamFilterContext* h264bsfc =  av_bitstream_filter_init("h264_mp4toannexb"); while(av_read_frame(ifmt_ctx, &pkt)>=0){if(pkt.stream_index==videoindex){av_bitstream_filter_filter(h264bsfc, ifmt_ctx->streams[videoindex]->codec, NULL, &pkt.data, &pkt.size, pkt.data, pkt.size, 0);fwrite(pkt.data,1,pkt.size,fp_video);//...}av_free_packet(&pkt);}av_bitstream_filter_close(h264bsfc);  

上述代碼中。把av_bitstream_filter_filter()的輸入數據和輸出數據（分別相應第4,5,6,7個參數）都設置成AVPacket的data字段就能夠了。

須要注意的是bitstream filter須要初始化和銷毀，分別通過函數av_bitstream_filter_init()和av_bitstream_filter_close()。

經過上述代碼處理之后，AVPacket中的數據有例如以下變化：

*每一個AVPacket的data加入了H.264的NALU的起始碼{0,0,0,1}

*每一個IDR幀數據前面加入了SPS和PPS

（2）手工加入SPS。PPS（略微復雜）

將AVCodecContext的extradata數據經過bitstream filter處理之后得到SPS、PPS。拷貝至每一個IDR幀之前。以下代碼演示樣例了寫入SPS、PPS的過程。

FILE *fp=fopen("test.264","ab");
AVCodecContext *pCodecCtx=...  
unsigned char *dummy=NULL;   
int dummy_len;  
AVBitStreamFilterContext* bsfc =  av_bitstream_filter_init("h264_mp4toannexb");    
av_bitstream_filter_filter(bsfc, pCodecCtx, NULL, &dummy, &dummy_len, NULL, 0, 0);  
fwrite(pCodecCtx->extradata,pCodecCtx-->extradata_size,1,fp);  
av_bitstream_filter_close(bsfc);    
free(dummy);  

然后改動AVPacket的data。把前4個字節改為起始碼。

演示樣例代碼例如以下所看到的。

char nal_start[]={0,0,0,1};
memcpy(packet->data,nal_start,4);

經過上述兩步也能夠得到能夠播放的H.264碼流，相對于第一種方法來說復雜一些。

參考文章：使用FFMPEG類庫分離出多媒體文件里的H.264碼流

當封裝格式為MPEG2TS的時候，不存在上述問題。

流程

程序的流程例如以下圖所看到的。

從流程圖中能夠看出，將每一個通過av_read_frame()獲得的AVPacket中的數據直接寫入文件就可以。

簡介一下流程中各個重要函數的意義：
avformat_open_input()：打開輸入文件。
av_read_frame()：獲取一個AVPacket。
fwrite()：依據得到的AVPacket的類型不同。分別寫入到不同的文件里。

代碼

以下貼上代碼：

/*** 最簡單的基于FFmpeg的視音頻分離器（簡化版）* Simplest FFmpeg Demuxer Simple** 雷霄驊 Lei Xiaohua* leixiaohua1020@126.com* 中國傳媒大學/數字電視技術* Communication University of China / Digital TV Technology* http://blog.csdn.net/leixiaohua1020** 本程序能夠將封裝格式中的視頻碼流數據和音頻碼流數據分離出來。* 在該樣例中， 將FLV的文件分離得到H.264視頻碼流文件和MP3* 音頻碼流文件。** 注意：* 這個是簡化版的視音頻分離器。與原版的不同在于，沒有初始化輸出* 視頻流和音頻流的AVFormatContext。而是直接將解碼后的得到的* AVPacket中的的數據通過fwrite()寫入文件。這樣做的優點是流程比* 較簡單。

壞處是對一些格式的視音頻碼流是不適用的，比方說 * FLV/MP4/MKV等格式中的AAC碼流（上述封裝格式中的AAC的AVPacket中 * 的數據缺失了7字節的ADTS文件頭）。 * * * This software split a media file (in Container such as * MKV, FLV, AVI...) to video and audio bitstream. * In this example, it demux a FLV file to H.264 bitstream * and MP3 bitstream. * Note: * This is a simple version of "Simplest FFmpeg Demuxer". It is * more simple because it doesn't init Output Video/Audio stream's * AVFormatContext. It write AVPacket's data to files directly. * The advantages of this method is simple. The disadvantages of * this method is it's not suitable for some kind of bitstreams. For * example, AAC bitstream in FLV/MP4/MKV Container Format(data in * AVPacket lack of 7 bytes of ADTS header). * */ #include <stdio.h> #define __STDC_CONSTANT_MACROS #ifdef _WIN32 //Windows extern "C" { #include "libavformat/avformat.h" }; #else //Linux... #ifdef __cplusplus extern "C" { #endif #include <libavformat/avformat.h> #ifdef __cplusplus }; #endif #endif //'1': Use H.264 Bitstream Filter #define USE_H264BSF 1 int main(int argc, char* argv[]) { AVFormatContext *ifmt_ctx = NULL; AVPacket pkt; int ret, i; int videoindex=-1,audioindex=-1; const char *in_filename = "cuc_ieschool.flv";//Input file URL const char *out_filename_v = "cuc_ieschool.h264";//Output file URL const char *out_filename_a = "cuc_ieschool.mp3"; av_register_all(); //Input if ((ret = avformat_open_input(&ifmt_ctx, in_filename, 0, 0)) < 0) { printf( "Could not open input file."); return -1; } if ((ret = avformat_find_stream_info(ifmt_ctx, 0)) < 0) { printf( "Failed to retrieve input stream information"); return -1; } videoindex=-1; for(i=0; i<ifmt_ctx->nb_streams; i++) { if(ifmt_ctx->streams[i]->codec->codec_type==AVMEDIA_TYPE_VIDEO){ videoindex=i; }else if(ifmt_ctx->streams[i]->codec->codec_type==AVMEDIA_TYPE_AUDIO){ audioindex=i; } } //Dump Format------------------ printf("\nInput Video===========================\n"); av_dump_format(ifmt_ctx, 0, in_filename, 0); printf("\n======================================\n"); FILE *fp_audio=fopen(out_filename_a,"wb+"); FILE *fp_video=fopen(out_filename_v,"wb+"); /* FIX: H.264 in some container format (FLV, MP4, MKV etc.) need "h264_mp4toannexb" bitstream filter (BSF) *Add SPS,PPS in front of IDR frame *Add start code ("0,0,0,1") in front of NALU H.264 in some container (MPEG2TS) don't need this BSF. */ #if USE_H264BSF AVBitStreamFilterContext* h264bsfc = av_bitstream_filter_init("h264_mp4toannexb"); #endif while(av_read_frame(ifmt_ctx, &pkt)>=0){ if(pkt.stream_index==videoindex){ #if USE_H264BSF av_bitstream_filter_filter(h264bsfc, ifmt_ctx->streams[videoindex]->codec, NULL, &pkt.data, &pkt.size, pkt.data, pkt.size, 0); #endif printf("Write Video Packet. size:%d\tpts:%lld\n",pkt.size,pkt.pts); fwrite(pkt.data,1,pkt.size,fp_video); }else if(pkt.stream_index==audioindex){ /* AAC in some container format (FLV, MP4, MKV etc.) need to add 7 Bytes ADTS Header in front of AVPacket data manually. Other Audio Codec (MP3...) works well. */ printf("Write Audio Packet. size:%d\tpts:%lld\n",pkt.size,pkt.pts); fwrite(pkt.data,1,pkt.size,fp_audio); } av_free_packet(&pkt); } #if USE_H264BSF av_bitstream_filter_close(h264bsfc); #endif fclose(fp_video); fclose(fp_audio); avformat_close_input(&ifmt_ctx); if (ret < 0 && ret != AVERROR_EOF) { printf( "Error occurred.\n"); return -1; } return 0; }

結果

輸入文件為：
cuc_ieschool.flv：FLV封裝格式數據。

輸出文件為：
cuc_ieschool.h264：H.264視頻碼流數據。
cuc_ieschool.mp3：Mp3音頻碼流數據。

下載

simplest ffmpeg format

項目主頁

SourceForge：https://sourceforge.net/projects/simplestffmpegformat/

Github：https://github.com/leixiaohua1020/simplest_ffmpeg_format

開源中國：http://git.oschina.net/leixiaohua1020/simplest_ffmpeg_format

CSDN下載地址：

http://download.csdn.net/detail/leixiaohua1020/8005317

工程中包括4個樣例：

simplest_ffmpeg_demuxer_simple：視音頻分離器（簡化版）。

simplest_ffmpeg_demuxer：視音頻分離器。

simplest_ffmpeg_muxer：視音頻復用器。

simplest_ffmpeg_remuxer：封裝格式轉換器。

更新-1.1==================================================

修復了以下問題：
(1)Release版本號下的執行問題
(2)simplest_ffmpeg_muxer封裝H.264裸流的時候丟失聲音的錯誤

CSDN下載

http://download.csdn.net/detail/leixiaohua1020/8284309

更新-1.2 (2015.2.13)=========================================

這次考慮到了跨平臺的要求，調整了源碼。經過這次調整之后。源碼能夠在以下平臺編譯通過：

VC++：打開sln文件就可以編譯。無需配置。

cl.exe：打開compile_cl.bat就可以命令行下使用cl.exe進行編譯，注意可能須要依照VC的安裝路徑調整腳本里面的參數。編譯命令例如以下。

::VS2010 Environment
call "D:\Program Files\Microsoft Visual Studio 10.0\VC\vcvarsall.bat"
::include
@set INCLUDE=include;%INCLUDE%
::lib
@set LIB=lib;%LIB%
::compile and link
cl simplest_ffmpeg_demuxer_simple.cpp /link avcodec.lib avformat.lib avutil.lib ^
avdevice.lib avfilter.lib postproc.lib swresample.lib swscale.lib /OPT:NOREF

MinGW：MinGW命令行下執行compile_mingw.sh就可以使用MinGW的g++進行編譯。編譯命令例如以下。

g++ simplest_ffmpeg_demuxer_simple.cpp -g -o simplest_ffmpeg_demuxer_simple.exe \
-I /usr/local/include -L /usr/local/lib -lavformat -lavcodec -lavutil

GCC：Linux或者MacOS命令行下執行compile_gcc.sh就可以使用GCC進行編譯。編譯命令例如以下。

gcc simplest_ffmpeg_demuxer_simple.cpp -g -o simplest_ffmpeg_demuxer_simple.out \
-I /usr/local/include -L /usr/local/lib -lavformat -lavcodec -lavutil

PS：相關的編譯命令已經保存到了工程目錄中

CSDN下載地址：http://download.csdn.net/detail/leixiaohua1020/8445303

SourceForge它已被更新了。

版權聲明：本文博主原創文章，博客，未經同意不得轉載。

總結

以上是生活随笔為你收集整理的基于最简单的FFmpeg包封过程：视频和音频分配器启动（demuxer-simple）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。