本文內容整理自「智能媒體生產」系列課程第二講：視頻AI與智能生產制作，由阿里云智能視頻云高級技術專家分享視頻AI原理，AI輔助媒體生產，音視頻智能化能力和底層原理，以及如何利用阿里云現有資源使用音視頻AI能力。課程回放見文末。
?

01 算法演進：視頻AI原理

?
在媒體生產的全生命周期中，AI算法輔助提升內容生產制作效率，為創作保駕護航。
?

智能生產全鏈路

?
智能生產全鏈路可分為五大部分。傳統的媒體生產包含采集、編輯、存儲、管理和分發五個流程，隨著人工智能技術的興起，五大流程涉及到越來越多的機器參與，其中最主要的便是AI技術的應用。以下舉例說明：

l 采集

在攝像機拍攝時同步進行綠幕摳圖，這在演播室或者影視制作場景中是比較常見的。

l 編輯

編輯過程運用到很多技術，比如橫轉豎、提取封面、疊加字幕等，同時這些字幕還可以通過語音識別的方式提取出來再疊加在畫面上。

l 存儲

視頻在采集和編輯之后，需要存儲下來進行結構化分析，像智能標簽就是運用在存儲場景，從視頻中提取出相應的標簽，進行結構化的存儲，并把視頻庫中的視頻進行結構化關聯。

l 管理

存儲下來的視頻如何管理？如何通過關鍵詞檢索到對應的視頻？在管理環節，AI可以幫助進行多模態的檢索，比如人物搜索等。

l 分發

在存儲和管理之后，視頻分發也運用到AI技術，比如音視頻DNA、溯源水印等版權保護應用。如果通過直播流的方式對廣大用戶進行直播，那么分發環節還會涉及到直播審核，以免出現直播故障。
?

?
基于智能生產全鏈路，媒體AI全景圖應運而生，共分為四個層次：

最上面的層次表達媒體生產的應用場景，包含智能媒資管理、內容智能生產以及視頻版權保護。

往下是產品能力，即AI組合達成的能力，比如視頻分類、智能封面、智能摳圖等。

再往下是AI原子能力，比如語音識別、自然語言處理這些底層的AI能力。

最下是支撐AI能力的基礎底座，如編解碼和GPU加速等。以上組合起來，生成一張AI運用在智能生產中的全景圖。
?

?

視頻AI原理

?
視頻AI的底層原理究竟是什么？

人工智能發源于機器學習，而機器學習最早只是一種統計手段，像決策樹、支持向量機、隨機森林等各種數學方法。

隨著時代發展，科學家提出一種人工神經網絡的計算方法，或者說算法，后來發現人工神經網絡可以變得更大、層次變得更深，經過進一步探索發展，在二十多年前提出了深度學習的觀點和概念。

所謂深度學習，就是在原先的人工神經網絡上，把中間的層次（我們稱之為隱含層）擴展成兩個層次、三個層次，甚至發展到現在的幾十個層次，即可得到更多的輸入層和輸出層節點。

當神經網絡變得更大、更深的時候，機器學習就演化成深度學習，也就是我們現在俗稱的AI。

隨之而來產生一個問題：如何將AI運用到視頻和圖像中？

假如有一個1080P的視頻，視頻大小為1920?1080，此時一張圖像上就存在百萬個像素。如果把百萬個像素點都放入神經網絡中，會產生巨大的計算量，遠遠超出常規計算機所能達到的上限。

因此，在把圖像放入神經網絡前需要進行處理，研究人員提出了卷積神經網絡，而這也是現在所有圖像和視頻AI的基礎。

?

?
在卷積神經網絡的標準模型中，圖像進入神經網絡之前需要進行兩步操作：

第一步是卷積層。所謂卷積就是拿一個卷積核（可以簡單理解為一個矩陣）和原始圖像的每一個卷積核大小的矩陣進行矩陣層的操作，最后得到一個特征圖像。由于有多個卷積核，所以一張圖片可以提取出多個特征圖像。

特征圖像直接放入神經網絡還是太大，因此，需要進行第二步池化層操作，池化層的作用就是下采樣，可采取多種方式，比如把方格中的最大值、平均值或者加權平均值作為最終輸出值，形成下采樣數據。

在上述例子中，一張圖像的大小降低為原先的四分之一，輸入到神經網絡之后，極大降低了原始數據量，即可進行圖像神經網絡處理。由此可見，用通俗的話來講，視頻或圖像的AI模型必須是由大數據喂出來的。

大數據天然地長在云上，云和AI天然的結合，可以使AI在云上得到較好的發展與運用。

了解視頻AI原理之后，如何反過來評價AI的效果？

以典型的分類問題舉例，假如有100個視頻，需要找出其中出現過人的視頻，那么有兩個指標可以評價AI模型的好壞：一個是精度，另一個是召回率。

所謂的精度是指，假設AI算法最終找出50個視頻，但是檢查之后發現，其中只有40個是真正有人的，那么精度計算為40?50=0.8。

召回率是指，假設這100個視頻中真正有人的一共有80個，而AI找出了其中40個，那么召回率計算為0.5。

可以發現，精度和召回率是一對矛盾。假如想提高精度，只要找出來的視頻少一點，就可以保證每個找出來的視頻都是對的，即精度上升，但此時召回率一定會下降。

現階段的AI并不完美，也就是說，目前AI還只能輔助視頻生產，生產視頻的主體還是人。
?

AI輔助生產

?
AI輔助生產可以由以下兩個示例進行說明。

示例一：通過圖片搜索相關圖片或視頻。Demo顯示，輸入一張周星馳的圖片后，機器雖然不認識這是誰，但是能夠從圖片中提取此人的外貌特征，然后在視頻庫里做相應搜索，找出一堆包含周星馳的視頻。

示例二：智能橫轉豎。傳統電影和電視劇均為橫屏播放，隨著移動互聯網興起，這些電影和電視劇需要在手機端進行投放，由此誕生了智能橫轉豎這樣的AI算法，將大量的橫屏視頻轉換成豎屏視頻，幫助橫屏視頻在手機端分發。

電視劇橫轉豎效果

新聞橫轉豎效果
?

02 智能進階：視頻內容理解

?

智能標簽

?
智能標簽基于AI對于視頻內容的理解，自動提取視頻中的標簽、關鍵詞等信息，分析詳情會展示為四部分：

第一部分是視頻標簽，獲取視頻的類目，視頻出現過哪些人物，人物出現的時間點以及在視頻中的位置，人物的相似度等。

第二部分是文本標簽，會提煉出一些關鍵詞，包括視頻文本中出現過的組織機構，比如央視等。

后面兩部分為文字識別和語音識別，分別通過圖片OCR技術和語音云識別技術實現。

具體示例可在AI體驗館中進行體驗，同時，也提供API接入文檔進行參考。

體驗中心：https://retina.aliyun.com/#/Label

API接入文檔：https://help.aliyun.com/document_detail/163485.html

AI是如何從視頻中提取出信息的呢？從視頻標簽的流程圖中可以看到，輸入一個視頻，分別進行兩部分操作：

一部分是對視頻做抽幀處理，抽幀得到的圖像通過人像識別、場景識別、物體識別、地標識別、OCR等圖像AI識別模型，提煉出視頻標簽。

另一部分是把視頻中的音頻提取出來，然后通過ASR得到文本結果，最后再經過NLP（自然語言處理），提取出文本標簽。
?

?

智能審核

?
視頻審核的技術原理與視頻標簽相同，唯一不同的是，視頻標簽可以理解為一個正向的視頻內容理解，而視頻審核是負向的，審核需要識別出一些不合規的、有問題的內容，比如鑒黃、暴恐涉政、違規、二維碼、不良場景等信息。

?

視頻檢索

?
視頻檢索的核心技術點是利用標簽結果進行視頻的分析和查詢。

視頻檢索架構圖顯示，媒資系統中的視頻通過媒資特征入庫模塊，導入到智能標簽分析中，并得到一系列的標簽，包括視頻標簽、文本標簽，原始的ASR、OCR結果等，將這些結果連同視頻的元數據信息比如標題、描述等，利用ElasticSearch開源服務進行文本信息的倒排索引和查詢。

視頻檢索過程中會涉及到精排模塊，這需要由業務層來實現。如果只是從ES中把符合檢索條件的結果提取出來，不一定能滿足業務層需求，比方說業務層面對政治新聞場景時，會要求把某些人物的搜索結果更靠前排序，而這就是精排模塊所需要做的工作。

檢索系統一般都會根據業務層排序，接入業務接口模塊，由此一個基本的檢索系統搭建完成。但是，現在的檢索系統只能按照文本檢索視頻。如何通過一張圖片，檢索到相似的圖片或視頻呢？

這涉及到視頻DNA檢索技術。所謂的視頻DNA，就是把視頻里面的關鍵幀或者某一鏡頭提煉出關鍵信息，我們把它稱之為DNA，并把這些信息放入向量數據庫中進行檢索，更多內容可通過體驗中心和接入文檔進行拓展了解。

體驗中心：https://retina.aliyun.com/#/DNA

API接入文檔：https://help.aliyun.com/document_detail/93553.html

?

?

03 能力升級：音視頻智能處理

?
基于視頻內容理解，如何對視頻進行智能處理？
?

綠幕摳圖

?
綠幕摳圖是在視頻拍攝或者采集時，把背景替換成電腦制作的畫面。在演播室場景中，實際拍攝時根據需求，在主持人的背后放置綠幕背景或者藍幕背景。

影視制作場景同樣運用到綠幕摳圖，比如科幻片中無法實景拍攝的部分，會在后期進行背景疊加或其他處理工作，通過在人物背后放置綠幕的方式，把人物主體提取出來。

綠幕摳圖要求輸入的是藍幕或者綠幕視頻，分辨率不超過4K，同時輸入一張背景圖片，即可輸出替換背景后的視頻。以下為示例說明：一個人從綠幕前走過，替換背景后，變成此人在背景前走路，整體效果非常自然。

?

視頻鏈接：https://v.youku.com/v_show/id_XNTk0MDc4Mjc3Mg==.html

?

視頻鏈接： https://v.youku.com/v_show/id_XNTk0MDc4Mjc5Ng==.html
?
如何評價綠幕摳圖的質量？首先要處理好邊緣溢色，比如在頭發邊緣，由于原始的圖像背景是綠幕，頭發縫邊緣必然會染上一些綠色，技術上需要把這些邊緣溢色擦除掉。

此外，如何真實地呈現透明度，并疊加背后的內容，還有運動模糊，地面陰影等，均是綠幕摳圖質量好壞的評價點。
?

橫轉豎

?
橫轉豎是在移動互聯網上分發視頻的必備處理手段。

傳統人工制作橫轉豎視頻的難點在于：一，需要專業的剪輯軟件和制作人員，成本高，速度慢；二，在目標移動比較快的場景中，需要逐幀剪裁，工作量巨大；三，剪裁目標區域后，前后幀難以對齊。因此，橫轉豎視頻更適合由機器制作實現。

智能橫轉豎的算法流程是：首先對視頻進行鏡頭分割，所謂的鏡頭分割就是在視頻制作中，按照不同拍攝機位的轉變，識別鏡頭的切換，并把不同鏡頭分割開來。
?

視頻鏈接：https://v.youku.com/v_show/id_XNTk0MDg4MjA0NA==.html
?
其次是主體選擇，在主體選擇時，一般選擇畫面中最醒目的人作為目標，在上述舞蹈場景中，主體就是這個正在跳舞的人。

然后是鏡頭追蹤，每幀圖像做好初期選擇之后，下一幀都要跟隨目標，即框定的圖像跟隨這個人進行移動。

最后是路徑平滑，鏡頭追蹤完成之后，最終生成的豎屏視頻必須是平滑的，不能出現翹邊等不良效果。更多內容可參見官網：

體驗中心：https://retina.aliyun.com/#/H2V

API接入文檔：https://help.aliyun.com/document_detail/169896.html
?

其他視頻智能處理能力

?
目前，阿里云視頻云提供的視頻智能處理能力，可分為以下四類：

ROI提取，即感興趣區域提取，包括綠幕摳圖和橫轉豎；

智能擦除，比如去圖標、去字幕；

關鍵信息提煉，比如智能封面，即從視頻中提取出最能表現視頻的一張圖片；視頻摘要，提取出視頻中最能表現視頻的簡短視頻；

結構化分析，比如字幕提取，把嵌入在圖像中的字幕自動提取出來；PPT拆條，可以將一個課程視頻自動拆成段落。

?

?
講完視頻智能處理能力，接下來介紹兩項音頻智能處理能力：副歌識別和節奏檢測。
?

副歌識別

?
副歌是指歌曲中的高潮片段。副歌識別有何應用場景？比如，很多音樂APP的試聽功能，會直接播放歌曲中的高潮片段，人為進行提取相當麻煩，而副歌識別就能很好地完成任務。

副歌識別的算法流程為：輸入歌曲之后，首先進行音樂段落檢測，然后提取副歌段落，并進行精調使之更貼合，最后再生成副歌片段。

?

?
副歌識別的示例顯示，通過調用之后，算法會返回兩個結果值，即副歌的開始時間點和結束時間點。
?

?
大家可以對返回的結果和音頻進行對照，從72秒副歌開始，到102秒副歌結束，副歌識別結果還是非常準確的。
?

節奏檢測

?
節奏檢測即識別音樂中的節奏點，其主要應用場景為視頻制作和音樂推薦，比如，通過識別出音樂節奏點，進行鬼畜視頻的制作；通過識別音樂的節拍類型，是四三拍還是四四拍，幫助進行音樂分類等。

繼續以上述音頻示例，節奏檢測算法輸出兩個結果：第一個是節拍時間點，如0.46秒、0.96秒均為節拍時間點；第二個是downbeat時間點，在樂理中解釋為重拍，其中0.46秒為第一拍，2.46秒為第五拍，也就是說每四拍為一個小節，每小節的第一拍為重拍，由此檢測出該音樂的節奏。
?

?

其他音頻智能處理能力

?
此外，視頻云還提供其他音頻智能處理能力，包括混音，ASR語音識別和TTS語音合成。混音即把兩個音樂片段進行疊加，其中涉及到音量增益和自動控制算法。

這些能力進行組合，還可以實現更多玩法，比如歌曲串燒，首先通過副歌識別，把幾首歌曲的副歌部分提取出來，然后進行節奏檢測，把合適的節拍點合在一起，最終組合成一首完整的歌曲串燒。
?

04 開箱即用：阿里云媒資服務

?
基于視頻AI原理以及效果，阿里云利用現有資源，提供更方便、更高效的音視頻AI使用能力。
?

MPS服務

?
MPS是媒體處理的英文簡稱。阿里云提供針對多媒體的數據處理服務，將媒體處理過程抽象成兩種模式：一種是輸入音視頻等多媒體文件，經過智能化媒體處理，生成一個新的媒體文件，比如之前提到的智能橫轉豎。

另一種模式是輸入一個媒體文件，輸出經過媒體處理分析后的一系列結構化數據，比如智能標簽或智能審核。

MPS支持多項音視頻智能處理能力，此外，MPS的媒體文件類型，既可以輸入OSS文件，也支持輸入網絡URL地址。

?

?
MPS接口調用的流程為：

第一步，開通MPS產品，在開通的過程中，控制臺會引導進行增加權限等相關操作。

開通MPS產品：https://www.aliyun.com/product/mts

第二步，調用MPS的Open API接口，獲得Access Key，包括AK的ID和密鑰。所有阿里云的Open API都要通過AK和SK訪問。

使用RAM服務獲取AccessKey：https://ram.console.aliyun.com/manage/ak

第三步，認真閱讀MPS提供的API文檔：https://help.aliyun.com/document_detail/29210.html

第四步，針對開發需要，選用不同編程語言，并安裝依賴模塊：https://help.aliyun.com/document_detail/188024.html

第五步，編寫代碼。

阿里云MPS服務提供的智能化能力可以分為四個維度：

一是視頻內容理解，包含智能標簽，智能審核，媒體DNA，媒體DNA是視頻檢索中的重要組成部分，還有智能封面、視頻摘要等。

二是視頻智能處理，像橫轉豎、去圖標、去字幕、字幕提取等，從電視劇或電影中抽取出字幕，并輸出TXT或者SRT格式，此外，也包括綠幕摳圖和PPT拆條等。

三是音頻智能處理，包含副歌檢測、混音處理、節奏檢測和音質檢測等。

四是圖片智能處理，包含橫轉豎、去圖標和人像風格化。人像風格化可以把一張人像圖片風格化成不同的形式，比如把人像進行卡通化，或者進行3D處理。
?

?

IMS服務

?
IMS服務是阿里云近年來新上的服務，全稱是智能媒體服務，和MPS服務的區別在于：

IMS服務圍繞直播和點播場景，是針對媒體處理的全流程服務，可認為是MPS服務的重大產品迭代和升級。

第一，IMS不僅針對于單個媒體處理過程，而是對于媒體服務全流程、全生產周期的管理和制作；

第二，IMS的集成度更高，不光可以進行單個原子能力的音視頻處理，還可以進行媒資管理、工作流觸發等，讓開發者更方便地使用音視頻智能化能力；

第三，IMS更智能，后續所有智能化能力升級后都會集中體現在IMS服務中。

?

?
IMS控制臺融合了媒資管理，媒資庫中的音頻視頻文件，包括圖片、輔助的媒資，都可以通過IMS服務進行展示和管理。

利用多模檢索的智能化能力，IMS可以實現多媒體文件的智能化檢索。傳統的音視頻文件檢索，只能針對標題或者簡介進行，而IMS支持對上傳的音視頻文件做AI自動分類，并根據分類結果進行搜索，同時，也支持對視頻中的文字進行自動識別檢索。

比如，新聞聯播的畫面中出現了“康輝”兩個字樣，雖然視頻文件的標題和簡介里都沒有出現過“康輝”，但在搜索“康輝”時，AI還是可以搜索識別出此視頻文件，這就是多模檢索的能力。

?

?

Retina多媒體AI體驗中心

?
上述MPS和IMS服務的智能化能力，都需要通過Open API調用或者控制臺開通使用，而Retina體驗中心可以讓大家更方便快捷地進行體驗，只需上傳視頻或圖片，就可以直觀地得到經過智能化處理后的結果。

例如，在Retina平臺，你可以體驗人像卡通化的效果，只需上傳一張人像圖片，經過自動處理，就能獲得童話風格的卡通人像圖片，更多體驗就在：http://retina.aliyun.com/

?
隨著視頻與AI技術的發展和演進，AI在媒體生產領域中發揮著越來越重要的作用，以更快的速度、更高的效率完成之前難以實現的事情。

未來，AI將從輔助媒體生產，逐漸轉變為直接生產有意義、有價值、有情感的視頻，進一步加速媒體生產制作全自動處理進程。

更多完整內容詳見課程回放 ??
?

視頻鏈接：https://v.youku.com/v_show/id_XNTk0MjQ4Mjk5Mg==.html

總結

以上是生活随笔為你收集整理的云端智创 | 基于视频AI原理的音视频智能处理技术的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。