文章目錄

• 安卓直播推流專欄博客總結(jié)
• 一、 NV21 圖像數(shù)據(jù)中的 YUV 數(shù)據(jù)簡介
• 二、向 x264 編碼圖片
• 三、 提取 NV21 數(shù)據(jù)中的灰度數(shù)據(jù) Y
• 四、 提取 NV21 數(shù)據(jù)中的飽和度數(shù)據(jù) U 和 色彩值數(shù)據(jù) V
• 五、 圖像編碼操作
• 六、 x264 視頻數(shù)據(jù)編碼代碼示例

安卓直播推流專欄博客總結(jié)

---

Android RTMP 直播推流技術(shù)專欄 :

0 . 資源和源碼地址 :

• 資源下載地址 : 資源下載地址 , 服務(wù)器搭建 , x264 , faac , RTMPDump , 源碼及交叉編譯庫 , 本專欄 Android 直播推流源碼 ;
• GitHub 源碼地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服務(wù)器 : 下面的博客中講解了如何在 VMWare 虛擬機中搭建 RTMP 直播推流服務(wù)器 ;

• 【Android RTMP】RTMP 直播推流服務(wù)器搭建 ( Ubuntu 18.04.4 虛擬機 )

2. 準(zhǔn)備視頻編碼的 x264 編碼器開源庫 , 和 RTMP 數(shù)據(jù)包封裝開源庫 :

• 【Android RTMP】RTMPDumb 源碼導(dǎo)入 Android Studio ( 交叉編譯 | 配置 CMakeList.txt 構(gòu)建腳本 )

• 【Android RTMP】Android Studio 集成 x264 開源庫 ( Ubuntu 交叉編譯 | Android Studio 導(dǎo)入函數(shù)庫 )

3. 講解 RTMP 數(shù)據(jù)包封裝格式 :

• 【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | 文件頭 Header 分析 | 標(biāo)簽 Tag 分析 | 視頻標(biāo)簽 Tag 數(shù)據(jù)分析 )

• 【Android RTMP】RTMP 數(shù)據(jù)格式 ( FLV 視頻格式分析 | AVC 序列頭格式解析 )

4. 圖像數(shù)據(jù)采集 : 從 Camera 攝像頭中采集 NV21 格式的圖像數(shù)據(jù) , 并預(yù)覽該數(shù)據(jù) ;

• 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 視頻采集相關(guān)概念 | 攝像頭預(yù)覽參數(shù)設(shè)置 | 攝像頭預(yù)覽數(shù)據(jù)回調(diào)接口 )

• 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉(zhuǎn) I420 算法 )

• 【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( 圖像傳感器方向設(shè)置 | Camera 使用流程 | 動態(tài)權(quán)限申請 )

5. NV21 格式的圖像數(shù)據(jù)編碼成 H.264 格式的視頻數(shù)據(jù) :

• 【Android RTMP】x264 編碼器初始化及設(shè)置 ( 獲取 x264 編碼參數(shù) | 編碼規(guī)格 | 碼率 | 幀率 | B幀個數(shù) | 關(guān)鍵幀間隔 | 關(guān)鍵幀解碼數(shù)據(jù) SPS PPS )

• 【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( Camera 圖像數(shù)據(jù)采集 | NV21 圖像數(shù)據(jù)傳到 Native 處理 | JNI 傳輸字節(jié)數(shù)組 | 局部引用變量處理 | 線程互斥 )

• 【Android RTMP】x264 圖像數(shù)據(jù)編碼 ( NV21 格式中的 YUV 數(shù)據(jù)排列 | Y 灰度數(shù)據(jù)拷貝 | U 色彩值數(shù)據(jù)拷貝 | V 飽和度數(shù)據(jù)拷貝 | 圖像編碼操作 )

6. 將 H.264 格式的視頻數(shù)據(jù)封裝到 RTMP 數(shù)據(jù)包中 :

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 封裝 SPS / PPS 數(shù)據(jù)包 )

• 【Android RTMP】RTMPDump 封裝 RTMPPacket 數(shù)據(jù)包 ( 關(guān)鍵幀數(shù)據(jù)格式 | 非關(guān)鍵幀數(shù)據(jù)格式 | x264 編碼后的數(shù)據(jù)處理 | 封裝 H.264 視頻數(shù)據(jù)幀 )

• 【Android RTMP】RTMPDump 推流過程 ( 獨立線程推流 | 創(chuàng)建推流器 | 初始化操作 | 設(shè)置推流地址 | 啟用寫出 | 連接 RTMP 服務(wù)器 | 發(fā)送 RTMP 數(shù)據(jù)包 )

7. 階段總結(jié) : 阿里云服務(wù)器中搭建 RTMP 服務(wù)器 , 并使用電腦軟件推流和觀看直播內(nèi)容 ;

• 【Android RTMP】RTMP 直播推流 ( 阿里云服務(wù)器購買 | 遠程服務(wù)器控制 | 搭建 RTMP 服務(wù)器 | 服務(wù)器配置 | 推流軟件配置 | 直播軟件配置 | 推流直播效果展示 )

• 【Android RTMP】RTMP 直播推流階段總結(jié) ( 服務(wù)器端搭建 | Android 手機端編碼推流 | 電腦端觀看直播 | 服務(wù)器狀態(tài)查看 )

8. 處理 Camera 圖像傳感器導(dǎo)致的 NV21 格式圖像旋轉(zhuǎn)問題 :

• 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 問題描述 | 圖像順時針旋轉(zhuǎn) 90 度方案 | YUV 圖像旋轉(zhuǎn)細節(jié) | 手機屏幕旋轉(zhuǎn)方向 )

• 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 圖像旋轉(zhuǎn)算法 | 后置攝像頭順時針旋轉(zhuǎn) 90 度 | 前置攝像頭順時針旋轉(zhuǎn) 90 度 )

9. 下面這篇博客比較重要 , 里面有一個快速搭建 RTMP 服務(wù)器的腳本 , 強烈建議使用 ;

• 【Android RTMP】NV21 圖像旋轉(zhuǎn)處理 ( 快速搭建 RTMP 服務(wù)器 Shell 腳本 | 創(chuàng)建 RTMP 服務(wù)器鏡像 | 瀏覽器觀看直播 | 前置 / 后置攝像頭圖像旋轉(zhuǎn)效果展示 )

10. 編碼 AAC 音頻數(shù)據(jù)的開源庫 FAAC 交叉編譯與 Android Studio 環(huán)境搭建 :

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( 音頻數(shù)據(jù)采集編碼 | AAC 高級音頻編碼 | FAAC 編碼器 | Ubuntu 交叉編譯 FAAC 編碼器 )

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 頭文件與靜態(tài)庫拷貝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音頻采樣 PCM 格式 )

11. 解析 AAC 音頻格式 :

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( AAC 音頻格式解析 | FLV 音頻數(shù)據(jù)標(biāo)簽解析 | AAC 音頻數(shù)據(jù)標(biāo)簽頭 | 音頻解碼配置信息 )

12 . 將麥克風(fēng)采集的 PCM 音頻采樣編碼成 AAC 格式音頻 , 并封裝到 RTMP 包中 , 推流到客戶端 :

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 音頻編碼參數(shù)設(shè)置 | FAAC 編碼器創(chuàng)建 | 獲取編碼器參數(shù) | 設(shè)置 AAC 編碼規(guī)格 | 設(shè)置編碼器輸入輸出參數(shù) )

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻解碼信息 | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )

• 【Android RTMP】音頻數(shù)據(jù)采集編碼 ( FAAC 編碼器編碼 AAC 音頻采樣數(shù)據(jù) | 封裝 RTMP 音頻數(shù)據(jù)頭 | 設(shè)置 AAC 音頻數(shù)據(jù)類型 | 封裝 RTMP 數(shù)據(jù)包 )

---

Android 直播推流流程 : 手機采集視頻 / 音頻數(shù)據(jù) , 視頻數(shù)據(jù)使用 H.264 編碼 , 音頻數(shù)據(jù)使用 AAC 編碼 , 最后將音視頻數(shù)據(jù)都打包到 RTMP 數(shù)據(jù)包中 , 使用 RTMP 協(xié)議上傳到 RTMP 服務(wù)器中 ;

Android 端中主要完成手機端采集視頻數(shù)據(jù)操作 , 并將視頻數(shù)據(jù)傳遞給 JNI , 在 NDK 中使用 x264 將圖像轉(zhuǎn)為 H.264 格式的視頻 , 最后將 H.264 格式的視頻打包到 RTMP 數(shù)據(jù)包中 , 上傳到 RTMP 服務(wù)器中 ;

本篇博客中介紹如下內(nèi)容 , Java 層將 Camera 采集的 NV21 格式的數(shù)據(jù)傳入 JNI 層 , 在 JNI 中使用 x264 編碼器將 NV21 圖像數(shù)據(jù)編碼為 H.264 視頻數(shù)據(jù) ;

一、 NV21 圖像數(shù)據(jù)中的 YUV 數(shù)據(jù)簡介

---

Camera 采集的數(shù)據(jù)是 NV21 格式的 ;

NV21 是 YUV 格式中的一種 , Y 代表灰度 , U 代表色彩值 , V 代表色彩的飽和度 ;

NV21 格式數(shù)據(jù)在內(nèi)存中的表示 : 以 $4\times 4$ 大小的圖片為例 , 先存放 $16$ 個像素的灰度值 Y 數(shù)據(jù) , 然后 $4$ 組色彩值 V 數(shù)據(jù)和飽和度 U 數(shù)據(jù)交替存放 ;

byte[] data = {y1 , y2 , y3 , y4 ,y5 , y6 , y7 , y8 ,y9 , y10, y11, y12,y13, y14, y15, y16,v1 , u1 , v2 , u2 , v3 , u3 , v4 , u4 , }

【Android RTMP】Android Camera 視頻數(shù)據(jù)采集預(yù)覽 ( NV21 圖像格式 | I420 圖像格式 | NV21 與 I420 格式對比 | NV21 轉(zhuǎn) I420 算法 ) 博客中詳細介紹了 NV21 數(shù)據(jù)中的 YUV 數(shù)據(jù)格式 ;

二、向 x264 編碼圖片

---

1 . x264 編碼圖片引入 : x264 編碼器對圖像數(shù)據(jù)進行編碼 , 要先將 NV21 的圖像數(shù)據(jù)中的 YUV 數(shù)據(jù)分別存儲到 x264 編碼圖片中 ;

2 . x264_picture_t 結(jié)構(gòu)體 : 該結(jié)構(gòu)體代表了 x264 編碼圖片 , 該結(jié)構(gòu)體定義在 x264.h 中 ;

typedef struct x264_picture_t {// ...// 存儲要編碼的圖片數(shù)據(jù)x264_image_t img;// ... } x264_picture_t;

3 . x264 編碼圖片使用 :

① 聲明 x264_picture_t 指針變量 : C++ 堆內(nèi)存中的對象必須使用指針接收 ;

// x264 需要編碼的圖片 x264_picture_t *x264EncodePicture = 0;

② 初始化 x264_picture_t 對象 : 首先創(chuàng)建 x264_picture_t 對象 , 設(shè)置編碼方式為 I420 , 以及圖片的寬度 x264Param.i_width , 和圖片高度 x264Param.i_height ;

// 初始化 x264 編碼圖片 x264EncodePicture = new x264_picture_t; // 為 x264 編碼圖片分配內(nèi)存 x264_picture_alloc(x264EncodePicture, X264_CSP_I420, x264Param.i_width, x264Param.i_height);

③ 釋放 x264_picture_t 對象 : 調(diào)用 x264_picture_clean 方法釋放資源 , 然后銷毀對象 ;

// 只要調(diào)用該方法, x264_picture_t 必須重新進行初始化 // 因為圖片大小改變了, 那么對應(yīng)的圖片不能再使用原來的參數(shù)了 // 釋放原來的 x264_picture_t 圖片, 重新進行初始化 // 析構(gòu)函數(shù)中也要進行釋放 if (x264EncodePicture) {x264_picture_clean(x264EncodePicture);delete x264EncodePicture;x264EncodePicture = 0; }

三、 提取 NV21 數(shù)據(jù)中的灰度數(shù)據(jù) Y

---

1 . 計算灰度數(shù)據(jù)的個數(shù) : 灰度數(shù)據(jù)的個數(shù) , 就是像素的個數(shù) , 每個像素點都有一個灰度數(shù)據(jù) ;

// 灰色值的個數(shù), 單位字節(jié) YByteCount = width * height;

2 . 將灰度數(shù)據(jù)存儲到 x264_picture_t 中 : 在 NV21 格式的圖像數(shù)據(jù)中 , 前 YByteCount 個數(shù)據(jù)是 YByteCount 個像素點的灰度數(shù)據(jù) , 將這些灰度數(shù)據(jù)拷貝到 x264 編碼圖像中 ;

3 . 數(shù)據(jù)接收方 : x264_picture_t* x264EncodePicture 圖像的 img 成員的 plane[0] 指針指向的地址 , 接收 YByteCount 個灰度數(shù)據(jù) ;

4 . 代碼示例 :

// 從 Camera 采集的 NV21 格式的 data 數(shù)據(jù)中// 將 YUV 中的 Y 灰度值數(shù)據(jù), U 色彩值數(shù)據(jù), V 色彩飽和度數(shù)據(jù)提取出來memcpy(x264EncodePicture->img.plane[0], data, YByteCount);

四、 提取 NV21 數(shù)據(jù)中的飽和度數(shù)據(jù) U 和 色彩值數(shù)據(jù) V

---

1 . 計算飽和度數(shù)據(jù) U 的個數(shù) : 飽和度數(shù)據(jù) U 的個數(shù) , 與色彩值數(shù)據(jù) V 的個數(shù)相同 , 是灰度值數(shù)據(jù) Y 個數(shù)的 $\frac{1}{4}$ ;

// 灰色值的個數(shù), 單位字節(jié) YByteCount = width * height; // U 色彩值, V 飽和度 個數(shù) UVByteCount = YByteCount / 4;

2 . 將灰度數(shù)據(jù)存儲到 x264_picture_t 中 : 在 NV21 格式的圖像數(shù)據(jù)中 , 色彩值數(shù)據(jù) V , 飽和度數(shù)據(jù) U , 交替存儲 , V 在前 ( 偶數(shù)位置 ), U 在后 ( 奇數(shù)位置 ) ;

① U 色相 / 色彩值數(shù)據(jù) : 存儲在 YByteCount 后的奇數(shù)索引位置

② V 色彩飽和度數(shù)據(jù) : 存儲在 YByteCount 后的偶數(shù)索引位置

3 . 代碼示例 :

// 取出 NV21 數(shù)據(jù)中交替存儲的 VU 數(shù)據(jù)// V 在前 ( 偶數(shù)位置 ), U 在后 ( 奇數(shù)位置 ), 交替存儲for(int i = 0; i < UVByteCount; i ++){// U 色相 / 色彩值數(shù)據(jù), 存儲在 YByteCount 后的奇數(shù)索引位置*(x264EncodePicture->img.plane[1] + i) = *(data + YByteCount + i * 2 + 1);// V 色彩飽和度數(shù)據(jù), 存儲在 YByteCount 后的偶數(shù)索引位置*(x264EncodePicture->img.plane[2] + i) = *(data + YByteCount + i * 2);}

五、 圖像編碼操作

---

1 . 圖片編碼 :

① 普通幀 : 一般情況下, 一張圖像編碼出一幀數(shù)據(jù) , pp_nal 是一幀數(shù)據(jù), pi_nal 表示幀數(shù)為 1

② 關(guān)鍵幀 : 如果這個幀是關(guān)鍵幀, 那么 pp_nal 將會編碼出 3 幀數(shù)據(jù) , pi_nal 表示幀數(shù)為 3

③ 關(guān)鍵幀數(shù)據(jù) : SPS 幀, PPS 幀, 畫面幀 ;

2 . 編碼方法函數(shù)原型 :

int x264_encoder_encode( x264_t *, x264_nal_t **pp_nal, int *pi_nal, x264_picture_t *pic_in, x264_picture_t *pic_out );

① x264_t * 參數(shù) : x264 視頻編碼器

② x264_nal_t **pp_nal 參數(shù) : 編碼后的幀數(shù)據(jù), 可能是 1 幀, 也可能是 3 幀

③ int *pi_nal 參數(shù) : 編碼后的幀數(shù), 1 或 3

④ x264_picture_t *pic_in 參數(shù) : 輸入的 NV21 格式的圖片數(shù)據(jù)

⑤ x264_picture_t *pic_out 參數(shù) : 輸出的圖片數(shù)據(jù)

3 . 圖像編碼代碼示例 :

// 編碼后的數(shù)據(jù), 這是一個幀數(shù)據(jù), 1 幀或 3幀x264_nal_t *pp_nal;// 編碼后的數(shù)據(jù)個數(shù), 幀的個數(shù), 1 或 3int pi_nal;// 輸出的圖片數(shù)據(jù)x264_picture_t pic_out;// 編碼核心操作x264_encoder_encode(x264VedioCodec, &pp_nal, &pi_nal, x264EncodePicture, &pic_out);

六、 x264 視頻數(shù)據(jù)編碼代碼示例

---

x264 編碼器將 NV21 圖像數(shù)據(jù)編碼為 H.264 代碼 :

/*** 視頻數(shù)據(jù)編碼* 接收 int8_t 類型的原因是, 這里處理的是 jbyte* 類型參數(shù)* jbyte 類型就是 int8_t 類型* @param data 視頻數(shù)據(jù)指針*/ void VedioChannel::encodeCameraData(int8_t *data) {// 加鎖, 設(shè)置視頻編碼參數(shù) 與 編碼互斥pthread_mutex_lock(&mMutex);// 參數(shù)中的 data 是 NV21 格式的// 前面 YByteCount 字節(jié)個 Y 灰度數(shù)據(jù)// 之后是 UVByteCount 字節(jié)個 VU 數(shù)據(jù)交替存儲// UVByteCount 字節(jié) V 數(shù)據(jù), UVByteCount 字節(jié) U 數(shù)據(jù)// 從 Camera 采集的 NV21 格式的 data 數(shù)據(jù)中// 將 YUV 中的 Y 灰度值數(shù)據(jù), U 色彩值數(shù)據(jù), V 色彩飽和度數(shù)據(jù)提取出來memcpy(x264EncodePicture->img.plane[0], data, YByteCount);// 取出 NV21 數(shù)據(jù)中交替存儲的 VU 數(shù)據(jù)// V 在前 ( 偶數(shù)位置 ), U 在后 ( 奇數(shù)位置 ), 交替存儲for(int i = 0; i < UVByteCount; i ++){// U 色相 / 色彩值數(shù)據(jù), 存儲在 YByteCount 后的奇數(shù)索引位置*(x264EncodePicture->img.plane[1] + i) = *(data + YByteCount + i * 2 + 1);// V 色彩飽和度數(shù)據(jù), 存儲在 YByteCount 后的偶數(shù)索引位置*(x264EncodePicture->img.plane[2] + i) = *(data + YByteCount + i * 2);}// 下面兩個是編碼時需要傳入的參數(shù), 這兩個參數(shù)地址, x264 編碼器會想這兩個地址寫入值// 編碼后的數(shù)據(jù), 這是一個幀數(shù)據(jù)x264_nal_t *pp_nal;// 編碼后的數(shù)據(jù)個數(shù), 幀的個數(shù)int pi_nal;// 輸出的圖片數(shù)據(jù)x264_picture_t pic_out;/*int x264_encoder_encode( x264_t *, x264_nal_t **pp_nal, int *pi_nal,x264_picture_t *pic_in, x264_picture_t *pic_out );函數(shù)原型 :x264_t * 參數(shù) : x264 視頻編碼器x264_nal_t **pp_nal 參數(shù) : 編碼后的幀數(shù)據(jù), 可能是 1 幀, 也可能是 3 幀int *pi_nal 參數(shù) : 編碼后的幀數(shù), 1 或 3x264_picture_t *pic_in 參數(shù) : 輸入的 NV21 格式的圖片數(shù)據(jù)x264_picture_t *pic_out 參數(shù) : 輸出的圖片數(shù)據(jù)普通幀 : 一般情況下, 一張圖像編碼出一幀數(shù)據(jù), pp_nal 是一幀數(shù)據(jù), pi_nal 表示幀數(shù)為 1關(guān)鍵幀 : 如果這個幀是關(guān)鍵幀, 那么 pp_nal 將會編碼出 3 幀數(shù)據(jù), pi_nal 表示幀數(shù)為 3關(guān)鍵幀數(shù)據(jù) : SPS 幀, PPS 幀, 畫面幀*/x264_encoder_encode(x264VedioCodec, &pp_nal, &pi_nal, x264EncodePicture, &pic_out);// 后續(xù)還有操作, 本博客中暫時省略 ... // 解鎖, 設(shè)置視頻編碼參數(shù) 與 編碼互斥pthread_mutex_unlock(&mMutex); }

總結(jié)

以上是生活随笔為你收集整理的【Android RTMP】x264 图像数据编码 ( NV21 格式中的 YUV 数据排列 | Y 灰度数据拷贝 | U 色彩值数据拷贝 | V 饱和度数据拷贝 | 图像编码操作 )的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。