音视频专有名词总结
音視頻專(zhuān)有名詞總結(jié)
版本說(shuō)明
| 0.1 | loon | 2019.1.29 | 初稿 |
目錄
文章目錄
- 音視頻專(zhuān)有名詞總結(jié)
- 版本說(shuō)明
- 目錄
- 一、初衷
- 二、常用音視頻名詞
- 1、D1、D2、D3、D4、D5
- 2、幀、幀數(shù)、fps
- 3、kbps、碼率、Mbps、Gbps
- 4、I幀、P幀、B幀
- 5、720P、1080P、CIF、QCIF
- 6、VGA
- 7、RTSP
- 8、G.711
- 9、IPC、NVR、DVR
- 10、ES、PES、PTS、DTS、PS、TS流
- 11、AAC
- 12、H264、H265
- 13、IVS
一、初衷
目前在開(kāi)發(fā)IPC（IP Camera），所以對(duì)于音視頻方面的知識(shí)必須有一定程度的了解，否則在程序開(kāi)發(fā)以及一些需求文檔閱讀時(shí)將會(huì)非常困難。
二、常用音視頻名詞
注：以下大多來(lái)自百度百科，主要是為了統(tǒng)一總結(jié)
1、D1、D2、D3、D4、D5
D1是數(shù)字電視系統(tǒng)顯示格式的標(biāo)準(zhǔn)，共分為5種規(guī)格，其中D1 和D2標(biāo)準(zhǔn)是我們一般模擬電視的最高標(biāo)準(zhǔn)。
D1：480i格式（525i）：720×480（水平480線，隔行掃描），和NTSC模擬電視清晰度相同，行頻為15.25kHz，相當(dāng)于我們所說(shuō)的4CIF（704×576）
D2：480P格式（525p）：720×480（水平480線，逐行掃描），較D1隔行掃描要清晰不少，和逐行掃描DVD規(guī)格相同，行頻為31.5kHz
D3：1080i格式（1125i）：1920×1080（水平1080線，隔行掃描），高清放松采用最多的一種分辨率，分辨率為1920×1080i/60Hz，行頻為33.75kHz
D4：720p 格式（750p）：1280×720（水平720線，逐行掃描），雖然分辨率較D3要低，但是因?yàn)橹鹦袙呙?#xff0c;市面上更多人感覺(jué)相對(duì)于 1080I（實(shí)際逐次540線）視覺(jué)效果更加清晰。不過(guò)個(gè)人感覺(jué)來(lái)說(shuō)，在最大分辨率達(dá)到1920×1080的情況下，D3要比D4感覺(jué)更加清晰，尤其是文 字表現(xiàn)力上，分辨率為1280×720p/60Hz，行頻為45kHz
D5：1080p格式（1125p）：1920×1080（水平1080線，逐行掃描），目前民用高清視頻的最高標(biāo)準(zhǔn)，分辨率為1920×1080P/60Hz,行頻為67.5KHZ。
2、幀、幀數(shù)、fps
幀——就是影像動(dòng)畫(huà)中最小單位的單幅影像畫(huà)面，相當(dāng)于電影膠片上的每一格鏡頭。 一幀就是一副靜止的畫(huà)面，連續(xù)的幀就形成動(dòng)畫(huà)，如電視圖象等。
我們通常說(shuō)幀數(shù)，簡(jiǎn)單地說(shuō)，就是在1秒鐘時(shí)間里傳輸?shù)膱D片的幀數(shù)，也可以理解為圖形處理器每秒鐘能夠刷新幾次，通常用fps表示。每一幀都是靜止的圖象，快速連續(xù)地顯示幀便形成了運(yùn)動(dòng)的假象。高的幀率可以得到更流暢、更逼真的動(dòng)畫(huà)。每秒鐘幀數(shù) (fps) 愈多，所顯示的動(dòng)作就會(huì)愈流暢。
3、kbps、碼率、Mbps、Gbps
kbps千比特每秒，又稱(chēng)千比特率，指的是數(shù)字信號(hào)的傳輸速率，也就是每秒鐘傳送多少個(gè)千位的信息（k表示千，kb表示的是多少千個(gè)位）；kbps也可以表示網(wǎng)絡(luò)的傳輸速度，為了在直觀上顯得網(wǎng)絡(luò)的傳輸速度較快，一般公司都使用kb（千位）來(lái)表示。如果是大寫(xiě)B(tài)的kBps，則表示每秒傳送多少千字節(jié)。1kByte/s=8kbit/s(一般簡(jiǎn)寫(xiě)為1kB/s=8kb/s)。
碼率我們用的單位是kbps即千位每秒。
通俗一點(diǎn)的理解就是取樣率，單位時(shí)間內(nèi)取樣率越大，精度就越高，處理出來(lái)的文件就越接近原始文件，但是文件體積與取樣率是成正比的，所以幾乎所有的編碼格式重視的都是如何用最低的碼率達(dá)到最少的失真，圍繞這個(gè)核心衍生出來(lái)的cbr（固定碼率）與vbr（可變碼率），都是在這方面做的文章，不過(guò)事情總不是絕對(duì)的，從音頻方面來(lái)說(shuō)，碼率越高，被壓縮的比例越小，音質(zhì)損失越小，與音源的音質(zhì)越接近。
類(lèi)似的單位還有兆位每秒（又稱(chēng)兆比特每秒，megabit per second, Mbps），Gbps（俗稱(chēng)千兆）。
4、I幀、P幀、B幀
I幀又稱(chēng)幀內(nèi)編碼幀，是一種自帶全部信息的獨(dú)立幀，無(wú)需參考其他圖像便可獨(dú)立進(jìn)行解碼，可以簡(jiǎn)單理解為一張靜態(tài)畫(huà)面。視頻序列中的第一個(gè)幀始終都是I幀，因?yàn)樗顷P(guān)鍵幀。
P幀又稱(chēng)幀間預(yù)測(cè)編碼幀，需要參考前面的I幀才能進(jìn)行編碼。表示的是當(dāng)前幀畫(huà)面與前一幀（前一幀可能是I幀也可能是P幀）的差別。解碼時(shí)需要用之前緩存的畫(huà)面疊加上本幀定義的差別，生成最終畫(huà)面。與I幀相比，P幀通常占用更少的數(shù)據(jù)位，但不足是，由于P幀對(duì)前面的P和I參考幀有著復(fù)雜的依耐性，因此對(duì)傳輸錯(cuò)誤非常敏感。
B幀又稱(chēng)雙向預(yù)測(cè)編碼幀，也就是B幀記錄的是本幀與前后幀的差別。也就是說(shuō)要解碼B幀，不僅要取得之前的緩存畫(huà)面，還要解碼之后的畫(huà)面，通過(guò)前后畫(huà)面的與本幀數(shù)據(jù)的疊加取得最終的畫(huà)面。B幀壓縮率高，但是對(duì)解碼性能要求較高。
I幀只需考慮本幀；P幀記錄的是與前一幀的差別；B幀記錄的是前一幀及后一幀的差別,能節(jié)約更多的空間,視頻文件小了,但相對(duì)來(lái)說(shuō)解碼的時(shí)候就比較麻煩。因?yàn)樵诮獯a時(shí),不僅要用之前緩存的畫(huà)面,而且要知道下一個(gè)I或者P的畫(huà)面,對(duì)于不支持B幀解碼的播放器容易卡頓。
視頻監(jiān)控系統(tǒng)中預(yù)覽的視頻畫(huà)面是實(shí)時(shí)的，對(duì)畫(huà)面的流暢性要求較高。采用I幀、P幀進(jìn)行視頻傳輸可以提高網(wǎng)絡(luò)的適應(yīng)能力，且能降低解碼成本所以現(xiàn)階段的視頻解碼都只采用I幀和P幀進(jìn)行傳輸。
5、720P、1080P、CIF、QCIF
720P是美國(guó)電影電視工程師協(xié)會(huì)（SMPTE）制定的高等級(jí)高清數(shù)字電視的格式標(biāo)準(zhǔn)，有效顯示格式為：1280×720.SMPTE（美國(guó)電影電視工程協(xié)會(huì)）將數(shù)字高清信號(hào)數(shù)字電視掃描線的不同分為1080P、1080I、720P(i是interlace,隔行的意思，p是Progressive,逐行的意思)。720P是一種在逐行掃描下達(dá)到1280×720的分辨率的顯示格式。是數(shù)字電影成像技術(shù)和計(jì)算機(jī)技術(shù)的融合。
1080P是兩百萬(wàn)像素的，分辨率達(dá)到1920*1080
720P是一百萬(wàn)像素的，分辨率達(dá)到960*720/1280*720
D1的分辨率達(dá)到704*576
CIF的分辨率達(dá)到352*288
QCIF的分辨率達(dá)到176*144
6、VGA
VGA(Video Graphics Array)是IBM在1987年隨PS/2機(jī)一起推出的一種視頻傳輸標(biāo)準(zhǔn)，具有分辨率高、顯示速率快、顏色豐富等優(yōu)點(diǎn)，在彩色顯示器領(lǐng)域得到了廣泛的應(yīng)用。不支持熱插拔，不支持音頻傳輸。
7、RTSP
RTSP（Real Time Streaming Protocol），RFC2326，實(shí)時(shí)流傳輸協(xié)議，是TCP/IP協(xié)議體系中的一個(gè)應(yīng)用層協(xié)議，由哥倫比亞大學(xué)、網(wǎng)景和RealNetworks公司提交的IETF RFC標(biāo)準(zhǔn)。該協(xié)議定義了一對(duì)多應(yīng)用程序如何有效地通過(guò)IP網(wǎng)絡(luò)傳送多媒體數(shù)據(jù)。RTSP在體系結(jié)構(gòu)上位于RTP和RTCP之上，它使用TCP或UDP完成數(shù)據(jù)傳輸。HTTP與RTSP相比，HTTP請(qǐng)求由客戶(hù)機(jī)發(fā)出，服務(wù)器作出響應(yīng)；使用RTSP時(shí)，客戶(hù)機(jī)和服務(wù)器都可以發(fā)出請(qǐng)求，即RTSP可以是雙向的。RTSP是用來(lái)控制聲音或影像的多媒體串流協(xié)議，并允許同時(shí)多個(gè)串流需求控制，傳輸時(shí)所用的網(wǎng)絡(luò)通訊協(xié)定并不在其定義的范圍內(nèi)，服務(wù)器端可以自行選擇使用TCP或UDP來(lái)傳送串流內(nèi)容，它的語(yǔ)法和運(yùn)作跟HTTP 1.1類(lèi)似，但并不特別強(qiáng)調(diào)時(shí)間同步，所以比較能容忍網(wǎng)絡(luò)延遲。而前面提到的允許同時(shí)多個(gè)串流需求控制（Multicast），除了可以降低服務(wù)器端的網(wǎng)絡(luò)用量，更進(jìn)而支持多方視訊會(huì)議（Video Conference）。因?yàn)榕cHTTP1.1的運(yùn)作方式相似，所以代理服務(wù)器〈Proxy〉的快取功能〈Cache〉也同樣適用于RTSP，并因RTSP具有重新導(dǎo)向功能，可視實(shí)際負(fù)載情況來(lái)轉(zhuǎn)換提供服務(wù)的服務(wù)器，以避免過(guò)大的負(fù)載集中于同一服務(wù)器而造成延遲。
8、G.711
G.711是一種由國(guó)際電信聯(lián)盟（ITU-T）制定的音頻編碼方式，又稱(chēng)為ITU-T G.711。G.711 標(biāo)準(zhǔn)下主要有兩種壓縮算法。一種是**μ-law algorithm** （又稱(chēng)often u-law, ulaw, mu-law），主要運(yùn)用于北美和日本；另一種是A-law algorithm，主要運(yùn)用于歐洲和世界其他地區(qū)。其中，后者是特別設(shè)計(jì)用來(lái)方便計(jì)算機(jī)處理的。
9、IPC、NVR、DVR
NVR是(Network Video Recorder即網(wǎng)絡(luò)硬盤(pán)錄像機(jī))的縮寫(xiě)。NVR最主要的功能是通過(guò)網(wǎng)絡(luò)接收IPC（網(wǎng)絡(luò)攝像機(jī)）設(shè)備傳輸?shù)臄?shù)字視頻碼流， 并進(jìn)行存儲(chǔ)、管理，從而實(shí)現(xiàn)網(wǎng)絡(luò)化帶來(lái)的分布式架構(gòu)優(yōu)勢(shì)。 簡(jiǎn)單來(lái)說(shuō)，通過(guò)Nvr，可以同時(shí)觀看、瀏覽、回放、管理、存儲(chǔ)多個(gè)網(wǎng)絡(luò)攝像機(jī)。擺脫了電腦硬件的牽絆，再也不用面臨安裝軟件的繁瑣。如果所有攝像機(jī)網(wǎng)絡(luò)化，那么必經(jīng)之路就是有一個(gè)集中管理核心出現(xiàn)。
近幾年，隨著IP網(wǎng)絡(luò)的快速發(fā)展，視頻監(jiān)控行業(yè)也進(jìn)入了全網(wǎng)絡(luò)化時(shí)代。全網(wǎng)絡(luò)化時(shí)代的視頻監(jiān)控行業(yè)正逐步表現(xiàn)出IT行業(yè)的特征，作為網(wǎng)絡(luò)化監(jiān)控的核心產(chǎn)品NVR(Network Video Recorder即網(wǎng)絡(luò)視頻錄像機(jī))，從本質(zhì)上已經(jīng)變成了IT產(chǎn)品。NVR最主要的功能是通過(guò)網(wǎng)絡(luò)接收IPC（網(wǎng)絡(luò)攝像機(jī)）、DVS（視頻編碼器）等設(shè)備傳輸?shù)臄?shù)字視頻碼流， 并進(jìn)行存儲(chǔ)、管理。
dvr，全稱(chēng)為Digital Video Recorder（硬盤(pán)錄像機(jī)），即數(shù)字視頻錄像機(jī)，相對(duì)于傳統(tǒng)的模擬視頻錄像機(jī)，采用硬盤(pán)錄像，故常常被稱(chēng)為硬盤(pán)錄像機(jī)，也被稱(chēng)為DVR。它是一套進(jìn)行圖像計(jì)算存儲(chǔ)處理的計(jì)算機(jī)系統(tǒng)，具有對(duì)圖像/語(yǔ)音和動(dòng)態(tài)幀等進(jìn)行長(zhǎng)時(shí)間錄像、錄音、遠(yuǎn)程監(jiān)視和控制的功能，DVR集合了錄像機(jī)、畫(huà)面分割器、云臺(tái)鏡頭控制、報(bào)警控制、網(wǎng)絡(luò)傳輸?shù)任宸N功能于一身，用一臺(tái)設(shè)備就能取代模擬監(jiān)控系統(tǒng)一大堆設(shè)備的功能，而且在價(jià)格上也逐漸占有優(yōu)勢(shì)和人氣。
10、ES、PES、PTS、DTS、PS、TS流
https://blog.csdn.net/huangblog/article/details/8740571
**ES–Elementary Streams (原始流）**是直接從編碼器出來(lái)的數(shù)據(jù)流，可以是編碼過(guò)的視頻數(shù)據(jù)流（H.264,MJPEG等），音頻數(shù)據(jù)流（AAC），或其他編碼數(shù)據(jù)流的統(tǒng)稱(chēng)。
PES–Packetized? Elementary?Streams? (分組的ES)，ES形成的分組稱(chēng)為PES分組，是用來(lái)傳遞ES的一種數(shù)據(jù)結(jié)構(gòu)。PES流是ES流經(jīng)過(guò)PES打包器處理后形成的數(shù)據(jù)流，在這個(gè)過(guò)程中完成了將ES流分組、打包、加入包頭信息等操作（對(duì)ES流的第一次打包）。PES流的基本單位是PES包。PES包由包頭和payload組成。
**PTS–PresentationTime Stamp（顯示時(shí)間標(biāo)記）**表示顯示單元出現(xiàn)在系統(tǒng)目標(biāo)解碼器（H.264、MJPEG等）的時(shí)間。
**DTS–Decoding Time Stamp（解碼時(shí)間標(biāo)記）**表示將存取單元全部字節(jié)從解碼緩存器移走的時(shí)間。
**PS–Program Stream(節(jié)目流)**PS流由PS包組成，而一個(gè)PS包又由若干個(gè)PES包組成（到這里，ES經(jīng)過(guò)了兩層的封裝）。PS包的包頭中包含了同步信息與時(shí)鐘恢復(fù)信息。
**TS–Transport Stream（傳輸流）**由定長(zhǎng)的TS包組成（188字節(jié)），而TS包是對(duì)PES包的一個(gè)重新封裝（到這里，ES也經(jīng)過(guò)了兩層的封裝）。PES包的包頭信息依然存在于TS包中。
11、AAC
AAC（Advanced Audio Coding），中文名：高級(jí)音頻編碼，出現(xiàn)于1997年，基于MPEG-2的音頻編碼技術(shù)。由Fraunhofer IIS、杜比實(shí)驗(yàn)室、AT&T、Sony等公司共同開(kāi)發(fā)，目的是取代MP3格式。2000年，MPEG-4標(biāo)準(zhǔn)出現(xiàn)后，AAC重新集成了其特性，加入了SBR技術(shù)和PS技術(shù)，為了區(qū)別于傳統(tǒng)的MPEG-2 AAC又稱(chēng)為MPEG-4 AAC。
12、H264、H265
https://blog.csdn.net/fireroll/article/details/77827156
H.264，同時(shí)也是MPEG-4第十部分，是由ITU-T視頻編碼專(zhuān)家組（VCEG）和ISO/IEC動(dòng)態(tài)圖像專(zhuān)家組（MPEG）聯(lián)合組成的聯(lián)合視頻組（JVT，Joint Video Team）提出的高度壓縮數(shù)字視頻編解碼器標(biāo)準(zhǔn)。這個(gè)標(biāo)準(zhǔn)通常被稱(chēng)之為H.264/AVC（或者AVC/H.264或者H.264/MPEG-4 AVC或MPEG-4/H.264 AVC）而明確的說(shuō)明它兩方面的開(kāi)發(fā)者。
H264標(biāo)準(zhǔn)各主要部分有Access Unit delimiter（訪問(wèn)單元分割符），SEI（附加增強(qiáng)信息），primary coded picture（基本圖像編碼），Redundant Coded Picture（冗余圖像編碼）。還有Instantaneous Decoding Refresh（IDR，即時(shí)解碼刷新）、Hypothetical Reference Decoder（HRD，假想?yún)⒖冀獯a）、Hypothetical Stream Scheduler（HSS，假想碼流調(diào)度器）。
H.265是ITU-T VCEG繼H.264之后所制定的新的視頻編碼標(biāo)準(zhǔn)。H.265標(biāo)準(zhǔn)圍繞著現(xiàn)有的視頻編碼標(biāo)準(zhǔn)H.264，保留原來(lái)的某些技術(shù)，同時(shí)對(duì)一些相關(guān)的技術(shù)加以改進(jìn)。新技術(shù)使用先進(jìn)的技術(shù)用以改善碼流、編碼質(zhì)量、延時(shí)和算法復(fù)雜度之間的關(guān)系，達(dá)到最優(yōu)化設(shè)置。具體的研究?jī)?nèi)容包括：提高壓縮效率、提高魯棒性和錯(cuò)誤恢復(fù)能力、減少實(shí)時(shí)的時(shí)延、減少信道獲取時(shí)間和隨機(jī)接入時(shí)延、降低復(fù)雜度等。H.264由于算法優(yōu)化，可以低于1Mbps的速度實(shí)現(xiàn)標(biāo)清（分辨率在1280P720以下）數(shù)字圖像傳送；H.265則可以實(shí)現(xiàn)利用1~2Mbps的傳輸速度傳送720P（分辨率1280720）普通高清音視頻傳送。
13、IVS
IVS，是基于DSP的單路視頻編碼器，同時(shí)內(nèi)嵌了智能視覺(jué)監(jiān)控功能，其自動(dòng)檢測(cè)、即時(shí)報(bào)警通告和即時(shí)視頻確認(rèn)等功能可以大幅提高安全監(jiān)控水平，同時(shí)基于三維視場(chǎng)檢測(cè)，能自動(dòng)區(qū)分目標(biāo)種類(lèi)、大小、速度、移動(dòng)方向等特征，具有出色的非平坦地形上的目標(biāo)檢測(cè)能力，能可靠的檢測(cè)遙遠(yuǎn)距離的目標(biāo)，采用先進(jìn)的模式識(shí)別技術(shù)和特定的行為分析算法，保持高檢測(cè)率(99.9%)的同時(shí)只有很低的誤報(bào)率*（少于1個(gè)/天）*。IVS結(jié)合監(jiān)控?cái)z像機(jī)或PTZ球機(jī)可對(duì)智能視覺(jué)分析數(shù)據(jù)聯(lián)網(wǎng)進(jìn)行報(bào)警運(yùn)營(yíng)，實(shí)現(xiàn)“事先預(yù)警+事中處置+事后取證”，是“智能視覺(jué)+物聯(lián)網(wǎng)”的真正的物聯(lián)網(wǎng)。
總結(jié)
- 上一篇： 微信分享公共js
- 下一篇： 2022 年红队工具和模拟工具包