轉載于http://m.blog.csdn.net/faihung/article/details/73008742，如有侵權，請告知刪除。

1 系統工作原理

系統以Hi3516A開發平臺（由高分辨率1080 p的AR0330攝像頭模塊和帶千兆以太網功能的Hi3516A控制器模塊組成硬件平臺，并在硬件平臺上燒寫了U-Boot、Linux內核和加載了相關 驅動）作為基礎，在該平臺上開發應用程序。

首先，進程A獲取來自AR0330攝像頭模塊的YUV原始視頻圖像，并使用H265壓縮編碼算法進行壓縮編碼獲 得H265格式碼流，該過程通過使用海思提供的媒體處理平臺（MPP）實現；

其次，進程B負責響應網絡客戶端的請求，將進程A的輸出碼流通過千兆以太網接 口實時地發送出去，該過程通過對LIVE555開源代碼（該代碼原本只支持文件發送功能，而不支持內存實時數據發送功能）二次開發實現；

此外，進程A與進 程B之間的數據交換使用共享內存進程通信方式，節約了CPU資源和時間成本。

2 功能實現

2.1 視頻捕捉與編碼

選擇在 Hi3516A開發平臺上開發體現了在視頻捕捉和編碼過程中的很多優勢。

Hi3516A是專用于HD IP攝像機的多媒體芯片，具有高性能Cortex-A7處理器和內部集成的硬件H265視頻標準編碼器；此外，海思提供的MPP對應用軟件屏蔽了芯 片相關的復雜的底層處理，提供給應用程序方便的接口，這樣不僅大大縮短了開發周期，還降低了開發難度。對于應用程序開發者，只需要使用MPP所提供的接口 實現特定功能，滿足應用。

MPP主要由視頻輸入（VI）、視頻處理（VPSS）、視頻編碼（VENC）、視頻解碼（VDEC）、視頻輸出（VO）、視頻偵測分析（VDA）、 區域管理（REGION）等模塊組成。本系統用到VI、VPSS、VENC和REGION模塊完成視頻采集、處理、信息疊加和壓縮編碼工作，最終得到目標 碼流。

首先，調用系統控制模塊的媒體處理平臺編程接口（MPI）完成硬件和MPP初始化，它實現的重要功能是分配視頻緩存池；

其次，調用VI模塊的MPI創建視頻輸入設備和視頻物理通道并設置參數；

然后，調用VPSS模塊的MPI創建組和通道，并設置組和通道參數，輸出期望分辨率的視頻數據；

最后，調用REGION模塊的MPI，在原始圖像上疊加用戶信息，并調用VENC模塊的MPI對YUV原始圖像進行H265壓縮編碼，得到 H265格式碼流。

完成以上工作后，創建一個線程不斷從編碼通道獲取實時H265碼流。整個過程都通過調用各模塊的MPI實現，難度較低。

2.2 H265實時碼流傳輸

本系統中，H265實時流媒體數據的傳輸在LIVE555 C++開源項目的基礎上實現。Live555 是一個為流媒體提供解決方案的跨平臺的C++開源項目，它實現了對標準流媒體傳輸協議如RTP/RTCP、RTSP、SIP等的支持。Live555實現 了對多種音視頻編碼格式的音視頻數據的流化、接收和處理等支持，包括MPEG、H.263+、DV、JPEG視頻和多種音頻編碼。同時由于良好的設 計，Live555非常容易擴展對其他格式的支持。目前，Live555已經被用于多款播放器的流媒體播放功能的實現，如VLC(VideoLan)、 MPlayer。

LIVE555默認只支持發送音視頻文件，而不支持從媒體設備獲取的實時碼流。需要修改LIVE555源代碼以實現H265碼流實時發送功能。

一 種方法是通過有名管道（FIFO）實現，這種方法不需要修改LIVE555源代碼，只需在視頻捕捉與編碼源進程中創建一個FIFO，并不斷把實時H265 碼流寫入FIFO中即可。LIVE555服務器端用發送音視頻文件的方式獲取FIFO中數據，完成實時直播。這種方法容易實現，使用較多，但是當視 頻碼流率較大時監控端的延時較大，并存在卡頓、馬賽克等現象，效果較差。

另一種方法是通過修改LIVE555源代碼，從實現RTSP服務的相關基類派生出 H265碼流直播的類，重寫類的成員方法來實現。該方法通過共享內存進程通信方式實現與視頻捕捉和編碼進程的碼流交互。這種方法的實現比較復雜，但在數據 處理過程中比第一種方式少了多次數據寫入和拷貝工作，從而監控端能夠以較大碼流率實時、流暢地播放高清視頻圖像。

LIVE555主要通過任務調度機制和 RTSP服務機制兩個部分實現流媒體服務器功能。其中任務調度機制主要通過TaskScheduler類庫實現，它完成網絡套接字任務、延時任務和 觸發事件三種任務的循環調度，從而構成了系統運行框架。而RTSP服務機制通過工程的liveMedia目錄下的類庫實現，通過把RTSP協議加入到運行 框架中，實現了流媒體服務器。下面具體分析RTSP服務機制的實現過程。

首先，建立RTSPServer，監聽客戶端的連接請求，響應客戶 端請求建立連接后，創建RTSPClientSession，RTSP協議就是在RTSPClientSession中實現的。

然后是RTSP協議的實現 過程，客戶端向服務器端發送RTSP描述命令（DESCRIBE），服務器查找到對應的ServerMediaSession（對應某個媒體設備或某種格 式文件），并生成會話描述協議（SDP）信息進行回應；

接著，客戶端發送RTSP建立命令（SETUP），服務器端建立RTP/RTCP套接字，并建立特 定的Source和Sink，為數據的獲取、封包和發送做準備；

完成以上步驟后，客戶端發送播放命令（PLAY），服務器端響應請求，循環調用 Source對象的成員方法獲取數據并通過Sink對象的成員方法進行封包和發送，實現流媒體服務器的功能；在播放過程中，客戶端可以發送終止命令 （TERADOWN）結束流媒體會話。

從RTSP協議實現過程可知，為了支持H265實時流媒體數據傳輸，需要實現用戶自定義類 ServerMediaSubssion、Source和Sink。自定義的類可以繼承H265VideoFileServer MediaSubsession、H265VideoRTPSink和H265VideoStreamFramer中能共用的方法，重寫H265實時流媒 體處理特有的方法。具體實現方法是添加H265LiveVideoServerMediaSubssion：public H265VideoFileServerMediaSubsession類，并重寫createNewStreamSource成員方法。該成員方法的關 鍵段代碼段如下：

estBitrate=1000； H265FramedLiveSource*liveSource=H265FramedLiveSource：：createNew（envir）； if（liveSource==NULL）{return NULL；} return H265VideoStreamFramer：：createNew（envir，liveSource）；

該 代碼段的主要工作是把ByteStreamFileSource替換為用戶自定義的H265FramedLiveSource，用于獲取高清攝像頭上的實 時視頻數據。H265FramedLiveSource的成員方法H265FramedLiveSource：：doGetNextFrame就實現了從 H265編碼輸出端獲取H265格式視頻數據并送到H265VideoRTPSink端的過程。

其中，進程之間數據交換采用共享內存方式，用有名信號量實現進程對共享內存的同步訪問。該成員方法的關鍵代碼段如下：

static int niHaveReadSize=0； if（Framed_dosent==true）{if（0==niHaveReadSize）sem_wait（semr）；fFrameSize=（Framed_datasize->niHaveReadSize->fMaxSize）fMaxSize：Framed_datasize-niHaveReadSize；memcpy（fTo，shm_add+niHaveReadSize，fFrameSize）；niHaveReadSize+=fFrameSize；if（niHaveReadSize==Framed_datasize）{sem_post（semw）；niHaveReadSize=0；} } 這樣，當服務器端收到客戶端PLAY命令時，不斷調用H265FramedLiveSource：：doGetNextFrame讀取H265格式視頻數據，封包和發送出去，實現H265碼流實時傳輸功能。

在主函數中，只需在創建ServerMediaSession時加入H265LiveVideoServerMediaSubssion，并向RTSPServer中注冊該ServerMediaSession即可。

3 結果分析

H265碼流實時傳輸的程序通過海思平臺的交叉編譯工具鏈編譯，生成可執行文件，并在海思Hi3516A開發平臺下運行，完成服務器搭建工作。

客 戶端通過安裝Windows系統下的VLC播放器實現。打開VLC播放器，在“打開網絡串流”選項中輸入 rtsp：//192.168.1.116：8554/H265LiveVideo，點擊播放，就可以看到來自高清攝像頭的視頻圖像，并長期穩定工作。與 常用的FIFO方式作效果對比，當碼流率較大時，視頻圖像延遲更短，視頻畫面更加完整和流暢。

實際上Darwin確實在架構以及性能方面較live555略勝一籌，但是LIVE555 是更為廉價和快捷的開發方式。

總結

以上是生活随笔為你收集整理的基于Hi3516A的H265 IPC LIVE555 开发基本原理的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。