HLS，Http?Live?Streaming?是由Apple公司定義的用于實時流傳輸的協議，HLS基于HTTP協議實現，傳輸內容包括兩部分，一是M3U8描述文件，二是TS媒體文件。

1、M3U8文件

???用文本方式對媒體文件進行描述，由一系列標簽組成。

#EXTM3U

#EXT-X-TARGETDURATION:5

#EXTINF:5,

./0.ts

#EXTINF:5,

./1.ts

#EXTM3U：每個M3U8文件第一行必須是這個tag。

#EXT-X-TARGETDURATION：指定最大的媒體段時間長度（秒），#EXTINF中指定的時間長度必須小于或等于這個最大值。該值只能出現一次。

#EXTINF：描述單個媒體文件的長度。后面為媒體文件，如./0.ts?

?

2、ts文件

??? ts文件為傳輸流文件，視頻編碼主要格式h264/mpeg4，音頻為acc/MP3。

???ts文件分為三層：ts層Transport Stream、pes層 Packet Elemental Stream、es層 Elementary Stream. es層就是音視頻數據，pes層是在音視頻數據上加了時間戳等對數據幀的說明信息，ts層就是在pes層加入數據流的識別和傳輸必須的信息

注： 詳解如下

?（1）ts層??? ?ts包大小固定為188字節，ts層分為三個部分：ts header、adaptation field、payload。ts header固定4個字節；adaptation field可能存在也可能不存在，主要作用是給不足188字節的數據做填充；payload是pes數據。

ts header

sync_byte	8b	同步字節，固定為0x47
transport_error_indicator	1b	傳輸錯誤指示符，表明在ts頭的adapt域后由一個無用字節，通常都為0，這個字節算在adapt域長度內
payload_unit_start_indicator	1b	負載單元起始標示符，一個完整的數據包開始時標記為1
transport_priority	1b	傳輸優先級，0為低優先級，1為高優先級，通常取0
pid	13b	pid值
transport_scrambling_control	2b	傳輸加擾控制，00表示未加密
adaptation_field_control	2b	是否包含自適應區，‘00’保留；‘01’為無自適應域，僅含有效負載；‘10’為僅含自適應域，無有效負載；‘11’為同時帶有自適應域和有效負載。
continuity_counter	4b	遞增計數器，從0-f，起始值不一定取0，但必須是連續的

? ? ?ts層的內容是通過PID值來標識的，主要內容包括：PAT表、PMT表、音頻流、視頻流。解析ts流要先找到PAT表，只要找到PAT就可以找到PMT，然后就可以找到音視頻流了。PAT表的PID值固定為0。PAT表和PMT表需要定期插入ts流，因為用戶隨時可能加入ts流，這個間隔比較小，通常每隔幾個視頻幀就要加入PAT和PMT。PAT和PMT表是必須的，還可以加入其它表如SDT（業務描述表）等，不過hls流只要有PAT和PMT就可以播放了。

• PAT表：他主要的作用就是指明了PMT表的PID值。

• PMT表：他主要的作用就是指明了音視頻流的PID值。

• 音頻流/視頻流：承載音視頻內容。

adaption

adaptation_field_length	1B	自適應域長度，后面的字節數
flag	1B	取0x50表示包含PCR或0x40表示不包含PCR
PCR	5B	Program Clock Reference，節目時鐘參考，用于恢復出與編碼端一致的系統時序時鐘STC（System Time Clock）。
stuffing_bytes	xB	填充字節，取值0xff

? ? ?自適應區的長度要包含傳輸錯誤指示符標識的一個字節。pcr是節目時鐘參考，pcr、dts、pts都是對同一個系統時鐘的采樣值，pcr是遞增的，因此可以將其設置為dts值，音頻數據不需要pcr。如果沒有字段，ipad是可以播放的，但vlc無法播放。打包ts流時PAT和PMT表是沒有adaptation field的，不夠的長度直接補0xff即可。視頻流和音頻流都需要加adaptation field，通常加在一個幀的第一個ts包和最后一個ts包里，中間的ts包不加。

PAT格式

table_id	8b	PAT表固定為0x00
section_syntax_indicator	1b	固定為1
zero	1b	固定為0
reserved	2b	固定為11
section_length	12b	后面數據的長度
transport_stream_id	16b	傳輸流ID，固定為0x0001
reserved	2b	固定為11
version_number	5b	版本號，固定為00000，如果PAT有變化則版本號加1
current_next_indicator	1b	固定為1，表示這個PAT表可以用，如果為0則要等待下一個PAT表
section_number	8b	固定為0x00
last_section_number	8b	固定為0x00
開始循環	?	?
program_number	16b	節目號為0x0000時表示這是NIT，節目號為0x0001時,表示這是PMT
reserved	3b	固定為111
PID	13b	節目號對應內容的PID值
結束循環	?	?
CRC32	32b	前面數據的CRC32校驗碼

PMT格式

table_id	8b	PMT表取值隨意，0x02
section_syntax_indicator	1b	固定為1
zero	1b	固定為0
reserved	2b	固定為11
section_length	12b	后面數據的長度
program_number	16b	頻道號碼，表示當前的PMT關聯到的頻道，取值0x0001
reserved	2b	固定為11
version_number	5b	版本號，固定為00000，如果PAT有變化則版本號加1
current_next_indicator	1b	固定為1
section_number	8b	固定為0x00
last_section_number	8b	固定為0x00
reserved	3b	固定為111
PCR_PID	13b	PCR(節目參考時鐘)所在TS分組的PID，指定為視頻PID
reserved	4b	固定為1111
program_info_length	12b	節目描述信息，指定為0x000表示沒有
開始循環	?	?
stream_type	8b	流類型，標志是Video還是Audio還是其他數據，h.264編碼對應0x1b，aac編碼對應0x0f，mp3編碼對應0x03
reserved	3b	固定為111
elementary_PID	13b	與stream_type對應的PID
reserved	4b	固定為1111
ES_info_length	12b	描述信息，指定為0x000表示沒有
結束循環	?	?
CRC32	32b	前面數據的CRC32校驗碼

（2）pes層

? ? ?pes層是在每一個視頻/音頻幀上加入了時間戳等信息，pes包內容很多，我們只留下最常用的。

pes start code	3B	開始碼，固定為0x000001
stream id	1B	音頻取值（0xc0-0xdf），通常為0xc0 視頻取值（0xe0-0xef），通常為0xe0
pes packet length	2B	后面pes數據的長度，0表示長度不限制， 只有視頻數據長度會超過0xffff
flag	1B	通常取值0x80，表示數據不加密、無優先級、備份的數據
flag	1B	取值0x80表示只含有pts，取值0xc0表示含有pts和dts
pes data length	1B	后面數據的長度，取值5或10
pts	5B	33bit值
dts	5B	33bit值

? ? ?pts是顯示時間戳、dts是解碼時間戳，視頻數據兩種時間戳都需要，音頻數據的pts和dts相同，所以只需要pts。有pts和dts兩種時間戳是B幀引起的，I幀和P幀的pts等于dts。如果一個視頻沒有B幀，則pts永遠和dts相同。從文件中順序讀取視頻幀，取出的幀順序和dts順序相同。dts算法比較簡單，初始值 + 增量即可，pts計算比較復雜，需要在dts的基礎上加偏移量。

? ? ?音頻的pes中只有pts（同dts），視頻的I、P幀兩種時間戳都要有，視頻B幀只要pts（同dts）。打包pts和dts就需要知道視頻幀類型，但是通過容器格式我們是無法判斷幀類型的，必須解析h.264內容才可以獲取幀類型。

舉例說明：

? ? ? ? ? ? ? ? ? ? ? ? ?I ? ? ? ? ?P ? ? ? ? ?B ? ? ? ? ?B ? ? ? ? ?B ? ? ? ? ?P

讀取順序： ? ? ? ? 1 ? ? ? ? 2 ? ? ? ? ?3 ? ? ? ? ?4 ? ? ? ? ?5 ? ? ? ? ?6

dts順序： ? ? ? ? ? 1 ? ? ? ? 2 ? ? ? ? ?3 ? ? ? ? ?4 ? ? ? ? ?5 ? ? ? ? ?6

pts順序： ? ? ? ? ? 1 ? ? ? ? 5 ? ? ? ? ?3 ? ? ? ? ?2 ? ? ? ? ?4 ? ? ? ? ?6

點播視頻dts算法：

dts = 初始值 +?90000 / video_frame_rate，初始值可以隨便指定，但是最好不要取0，video_frame_rate就是幀率，比如23、30。

pts和dts是以timescale為單位的，1s = 90000 time scale , 一幀就應該是90000/video_frame_rate 個timescale。

用一幀的timescale除以采樣頻率就可以轉換為一幀的播放時長

點播音頻dts算法：

dts = 初始值 +?(90000 * audio_samples_per_frame) / audio_sample_rate，audio_samples_per_frame這個值與編解碼相關，aac取值1024，mp3取值1158，audio_sample_rate是采樣率，比如24000、41000。AAC一幀解碼出來是每聲道1024個sample，也就是說一幀的時長為1024/sample_rate秒。所以每一幀時間戳依次0，1024/sample_rate，...，1024*n/sample_rate秒。

直播視頻的dts和pts應該直接用直播數據流中的時間，不應該按公式計算。

（3）es層

? ? ?es層指的就是音視頻數據，我們只介紹h.264視頻和aac音頻。

h.264視頻：

? ? ?打包h.264數據我們必須給視頻數據加上一個nalu（Network Abstraction Layer unit），nalu包括nalu header和nalu type，nalu header固定為0x00000001（幀開始）或0x000001（幀中）。h.264的數據是由slice組成的，slice的內容包括：視頻、sps、pps等。nalu type決定了后面的h.264數據內容。

F	1b	forbidden_zero_bit，h.264規定必須取0
NRI	2b	nal_ref_idc，取值0~3，指示這個nalu的重要性，I幀、sps、pps通常取3，P幀通常取2，B幀通常取0
Type	5b	參考下表

nal_unit_type	說明
0	未使用
1	非IDR圖像片，IDR指關鍵幀
2	片分區A
3	片分區B
4	片分區C
5	IDR圖像片，即關鍵幀
6	補充增強信息單元(SEI)
7	SPS序列參數集
8	PPS圖像參數集
9	分解符
10	序列結束
11	碼流結束
12	填充
13~23	保留
24~31	未使用

? ? ?紅色字體顯示的內容是最常用的，打包es層數據時pes頭和es數據之間要加入一個type=9的nalu，關鍵幀slice前必須要加入type=7和type=8的nalu，而且是緊鄰。

?

總結

以上是生活随笔為你收集整理的hls之m3u8、ts流格式详解的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。