如今，90、00后一代成為消費主力，補貼、打折、優惠等“價格戰”已很難建立起忠誠度，如何與年輕人建立更深層次的情感共鳴？互動就是一種很好的方式，它能讓用戶更深度的參與品牌/平臺呈現的內容，提供更深層的參與感，提升用戶對品牌/平臺的認同感和滿意度。

今天，我們一起看看這些趣味互動技術背后的秘密。

一. 背景

最近一年以來，阿里巴巴搜索事業部和浙江大學宋明黎教授團隊聯合打造了手淘視頻互動平臺(AliPlayStudio)，分別落地線上互動、線下大屏互動多個場景(線上手淘APP的拍立淘、掃一掃、搜索關鍵詞入口；線下商場大屏、影院互動大屏等)。接入阿里集團內天貓品牌、阿里影業、優酷IP、淘寶網紅，行業營銷等各類資源，在線上線下讓用戶互動，打通線上公域場景 、手淘APP 、線下商超這3個流量場。以新穎的視頻化互動方式，利用用戶對明星、紅人、IP、新奇的玩法所產生的好奇心及聚眾心理，創造全新的AI互動營銷方式，同時結合權益發放、店鋪加粉、商品推薦等手段，將互動用戶自然轉化為真正的消費者。

下面是18年雙11期間上線的“明星猜拳PK”互動：

下面是結合了人像語義切割、用戶年齡/性別預測的的18年天貓黑5“刷臉”活動:

下面是人臉融合的玩法：

下面是基于實時人體關鍵點檢測的《西虹市首富》宣發互動玩法:

下面是和“黃小鹿”互動大屏在線下商場部署的“明星合圖”活動：用戶通過在大屏上自拍，經過人像切割后跟明星合照，用手淘掃碼導流到線上關注店鋪，完成照片打印。

為了打造AliPlayStudio視頻互動平臺，我們從基礎圖像算法能力到系統層面的端上模型推理加速、客戶端native實現(視頻、圖片，Camera多輸入源渲染)、H5玩法模塊化等，做了大量研發工作。

本文主要介紹圖像算法這塊的研發工作。

端上互動用到的手勢識別、POSE檢測、人像語義切割等能力，涉及計算機視覺分類、檢測、語義切割幾個核心問題。隨著這幾年深度學習的發展，目前這些任務比較好的解法都是基于深度學習方法。我們的業務場景(手淘)要求模型一般能夠大規模部署到手機和低性能的嵌入式設備上。這些任務盡管解決的Pipeline不一樣，都會面臨一個共性的問題：設計一個面向低性能平臺的輕量級高效神經網絡，并且能在 cpu、gpu、dsp等混合環境有高效的實現部署、運行，讓網絡在保持不錯的性能下，盡量降低計算代價和帶寬需求。

在神經網絡加速方面，目前業界常用的一些方法有網絡減支和參數共享、網絡量化、知識蒸餾以及模型結構優化等。關于剪枝方面的研究在大模型上做的比較多，效果也比較好。但是我們模型的backbone一般是采用MobileNet/ShuffleNet這類很小的網絡，剪枝在小網絡上精度損失比較大，加速收益比不高。目前我們主要采用模型結構優化和知識蒸餾來提升網絡性能。

我們研發的視覺互動基礎算法能力中，人臉識別、人臉關鍵點檢測，用戶年齡性別預測等是已經有較好解決方案的任務，人像語義切割、手勢識別、人體關鍵點識別、圖像風格化、人臉融合這幾個目前業界還沒有成熟方案的任務。我們的工作重點也主要投入在后面幾個任務上。

二. 人像語義切割

圖像語義分割任務(Semantic Segmentation)根據物體的不同類別進行像素級別的標記。針對人這個特殊的類別，Human Parsing將人的各個部位(臉部/頭發/四肢等)進行像素級別的區分。我們分別從數據、模型、框架優化三面著手，整體提升分割效果和體驗。

在數據層面，語義切割的樣本標注非常貴，我們通過圖片合成創造更多樣本。為了模擬真實的數據分布，分別采用了顏色遷移算法調整前背景光照、通過人位置的分布統計將人貼到合理的位置。通過人工合成高質量的數據，我們能夠獲得相比原來數十倍的分割樣本。

在模型層面，我們分別針對圖片分割場景和視頻分割場景訓練了高精度模型和實時模型：

語義分割網絡大都采用Encoder-Decoder結構，Encoder負責提取高層語義信息，Decoder負責還原邊緣分割細節。對于高精度模型，在backbone選取方面，我們采用了Inception結構。為了獲得更大的感受野，我們參考DeepLab系列工作的思路，引入了ASPP(Atrous Spatial Pyramid Pooling)。

在Decoder設計上，我們參考UNet系列工作的思路，將前層的特征進行融合，以獲得更好的邊緣細節。整體的網絡結構如下圖所示：

實時模型需要做到精度 / 速度的相對平衡。因此模型設計的整體原則是：Encoder盡量精簡、Decoder盡量恢復細節。Encoder模塊針對backbone分析耗時瓶頸，進行模型裁剪，減少channels數目；采用fast downsample，使得feature maps的大小盡可能早的縮小，以節省計算量；不固定輸入大小，在不同機型下可以使用不同大小的輸入。

Decoder網絡在精簡的基礎上盡可能多的融合前層特征，提高網絡整體并行度：采用類似UNet的結構，融入淺層特征；在Decoder部分也采用較大的卷積核來進一步擴大感受野；引入殘差結構增加信息流動。

通過以上優化，我們的模型大小在1.7MB左右(量化后0.5M)，miou 0.94，在中端Android機型(高通625)、320*240輸入下，能達到25FPS，滿足實時化要求。

此外針對人這個特定的類別，我們嘗試加入更多關于人的先驗知識來提升分割效果。分別嘗試了Pose Estimation-Human Segmentation聯合訓練和Human Parsing- Human Segmentation聯合訓練。通過聯合訓練的方式，不同任務之間能夠相互作用從而提高各個任務的精度。

下面是手機端實時切割的效果(同時加上了手勢檢測，識別剪刀手勢來實時換背景)：

下面是商場場景下的切割效果：

三. 猜拳游戲：手勢識別

18年雙11期間我們在手淘上線了“明星猜拳大戰”玩法，受到用戶大量好評。這是業界首次在手機端上實現的實時猜拳玩法。

猜拳互動要求實時檢測用戶的手勢(剪刀/石頭/布/其他)，我們需要從用戶視頻的每一幀中找到手的位置，然后再對其進行分類，這也就是目標檢測要做的事情。

雖然目標檢測在近幾年得到了飛速的發展，但是直接將現有模型算法用在猜拳游戲上還是會遇到一些挑戰。首先由于手是非剛體，形變極大，同一個手勢會表現出很多形態，再加上角度等問題，使得我們幾乎不可能窮舉所有可能的情況。另外，用戶在切換手勢的過程中會出現很多中間形態，這些形態的類別也很難確定。此外我們需要在手淘app覆蓋的絕大部分中低端機型上做到實時運行，這對我們的模型運行速度提出很大挑戰。

為此我們從模型架構、主干網絡、特征融合、損失函數、數據等層面進行了全方位的優化，保證游戲能夠在大部分移動端上都能夠正常運行。具體的，在模型架構上我們采用了經典的SSD框架，因為SSD速度快、效果好、易擴展；主干網絡借鑒了最新的MNasNet，進行了深度的優化，使其速度和精度進一步提升；特征融合用的是改進版的特征金字塔FPN，使其融合能力更強更高效。最終我們的模型優化到只有1.9M，雙十一手淘的線上ios設備平均運行時間17ms，在測試集上的AP(IoU=0.5)達到了0.984。

四. 人體關鍵點檢測

人體關鍵點檢測任務是針對RGB圖片或視頻輸入，檢測其中人物的頭、頸、肩、腕、肘、髖、膝、踝等骨骼關鍵點。傳統的基于視覺的關鍵點檢測技術一般需借助Kinect等特殊的攝像頭設備，解決方案成本高，且不易擴展。而近年來學術界利用深度學習的相關工作又重在追求精度，模型設計復雜，速度比較慢且需要占用大量存儲空間。 我們在平衡計算量和精度上做了大量探索和實驗，提出一個能在手機端上實時運行的高精度人體關鍵點檢測模型。具體來說，我們借鑒了語義分割中的Encoder-Decoder模型，引入MobileNet系列輕量級網絡作為backbone提取高層語義信息，然后decoder使用轉置卷積進行上采樣恢復稠密輸出，同時也使用了open pose工作的PAF(Part Affinity Fields)模塊進行兩路輸出預測。

模型在高通驍龍845上運行單幀圖片(320*320輸入)只需要11ms，在RK3399這種低端嵌入式芯片上也可以跑到15fps，預測精度能夠很好的支持我們線上線下的互動場景，且模型大小僅2.5M。下面是我們多人實時關鍵點識別在RK3399上跑的效果:

五.圖像風格化

圖像風格化算法的目標是在保持內容圖的高級語義信息不變的情況下，將風格圖的風格遷移到內容圖。 風格化算法一般有2類：慢速、快速風格化，我們的互動場景下只適合后者： 對特定風格圖訓練前向神經網絡模型，在測試的時候只需要一次前向即可得到響應結果。雖然快速圖像風格化算法的速度較快，但是與此同時帶來的一個缺點是風格遷移過程中很多因素變得不可控，比如筆觸大小。 給定一個預訓練好的網絡和一張固定大小的內容圖，輸出的風格化結果圖的筆觸大小是固定的，無法讓用戶進行筆觸大小的靈活控制， 即無法實現精細的任意連續筆觸大小控制。針對此問題，我們和浙江大學宋明黎老師團隊合作，提出了一個筆觸大小可控的圖像風格化遷移算法。

我們設計了一個筆觸金字塔結構，通過筆觸金字塔（StrokePyramid），把整個網絡劃分為了很多不同筆觸分支，下面的分支通過在前一分支的基礎上增加卷積層的方式獲得了更大的感受，并利用不同的感受野，使用不同尺度大小的風格圖進行訓練，之后通過在特征空間進行筆觸特征插值（stroke interpolation），來實現任意的連續筆觸大小控制。在測試階段，筆觸金字塔通過門函數來控制網絡的感受野，從而產生出與感受野對應的不同的筆觸大小。

下面是我們在明星合圖活動上應用的不同筆觸風格遷移效果。

對于1024×1024 大小的測試圖，我們的模型在NVIDIA Quadro M6000上只需要0.09s的時間，模型大小為0.99MB。

我們的工作發表于ECCV 2018上，具體見論文:Stroke Controllable Fast Style Transfer with Adaptive Receptive Fields.

六.人臉融合

人臉融合是將用戶自拍圖片的人臉與模板圖的人臉進行融合，融合以后，模板圖的人臉呈現出用戶人臉的五官特征與臉型輪廓，并保持原模板圖的發飾、穿著，以此達到以假亂真的效果，實現“換臉”。 簡單實現人臉融合并不困難，但是，如果想使得絕大多數的用戶圖片都能呈現滿意的效果并不容易，有許多細節問題，其中最主要的兩個問題是人臉變形與圖像融合：

用戶在自拍的時候，拍攝的角度多種多樣，無法做到與模板圖的人臉保持相同的角度。如果只做簡單的變形就將用戶的人臉貼到模板上，會造成十分詭異的效果。

用戶所使用的拍照設備各異，拍照環境各異，會產生不同的像素與光照環境的圖片，這些圖片中存在大量白平衡失調、皮膚高光等的錯誤。

如何對這些質量不足的圖片進行處理，使得融合后仍然能夠產生高質量的融合圖片，是人臉融合中必須解決的問題。 我們的方法獲得了完善的用戶臉部關鍵點，在盡可能保持用戶五官臉部形狀的同時，利用關鍵點插值對其進行變換，保證了五官的和諧，同時，針對用戶不同的臉型，如圓臉、尖臉，對模板圖進行了變換，使得融合后得到的結果與用戶更加相似。 為了解決用戶照片質量各異的問題，我們利用皮膚在顏色空間上的特征值，采用預定義的LUT(LookUpTable)，將用戶的膚色與模特膚色進行了統一，并有效處理了高光的問題，使得低質量的圖片也能夠得到良好的融合效果，并且觀感上更加受用戶喜愛。

七. 總結

從18年3月份以來，我們以活動營銷的方式，在手機淘寶app內拍立淘、掃一掃、搜索等產品落地了十多場視覺互動IP營銷活動。

譬如《西虹市首富》《碟中諜6》的影視IP宣發、雙11《明星猜拳大戰》、天貓國際黑5“刷臉”活動、雙12"AI看相"、元旦"淘公仔"新年簽活動。新鮮的AI互動技術結合有趣的創意，受到用戶好評，引發在微博等平臺上大量自發參與、傳播討論。

同時我們也與線下互動大屏場景鹿合作，其線下拍照互動產品“黃小鹿”部署在全國各大商場。我們為其提供了基礎的人像語義切割等能力，從18年8月份開始陸續上線了健樂多、彈個車、婚博會糖類、貝殼租房等品牌宣傳活動以及雙十一天貓線下快閃店、萬圣節等活動。 后面我們將通用互動提煉，進行平臺化沉淀。讓更多的品牌，尤其是中小品牌能夠通過平臺快速配置產出一套AI互動營銷活動，再借助其站外推廣資源引導用戶回流，提升活動參與熱度，贏得平臺內更多推廣資源。既能給品牌客戶提供強有力的營銷抓手，實現“財丁兩旺“，又能為平臺帶來用戶增量，從而實現雙贏。

?

原文鏈接
本文為云棲社區原創內容，未經允許不得轉載。

總結

以上是生活随笔為你收集整理的天啦噜！在家和爱豆玩quot;剪刀石头布quot;，阿里工程师如何办到？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。