深度學(xué)習(xí)在各個(gè)領(lǐng)域的成功

深度學(xué)習(xí)在圖像和音頻等方向比傳統(tǒng)方向有大的提升，導(dǎo)致很多產(chǎn)品能快速落地

第一行三張圖片代表圖片和音頻方向相比傳統(tǒng)提升30%-50%，第二行第一張代表深度學(xué)習(xí)在自然語言處理方面方向的應(yīng)用(相比傳統(tǒng)學(xué)習(xí)方法有提升，但是提升效果有限)，后兩張代表生成式模型(生成圖片比較火的是GAN)

例如：寫好故事框架有時(shí)間地點(diǎn)等，GAN自動(dòng)生成視頻(未來)

ctr:點(diǎn)擊率

給定用戶商品看用戶點(diǎn)擊的概率是多少

User、Movie采用one-hot編碼，黃色部分代表歷史看過電影向量

傳統(tǒng)預(yù)測(cè)CTR方法：

LR和線性模型關(guān)系：LR是sigmoid函數(shù)，將數(shù)值壓縮到0-1之間

LR模型

? ? ?優(yōu)點(diǎn)：簡(jiǎn)單、可解釋(權(quán)值大)、易擴(kuò)展、效率高、易并行

? ? ?缺點(diǎn)：難以捕獲特征組合(公式?jīng)]有特征相關(guān)聯(lián)部分)

針對(duì)缺點(diǎn)改進(jìn)：

特征兩兩組合，一共有n方種可能，缺點(diǎn)：泛化能力弱(訓(xùn)練數(shù)據(jù)沒看見特征組合權(quán)值為0，將來預(yù)測(cè)時(shí)候權(quán)值還是0)

改進(jìn)泛化能力強(qiáng)一些：

改動(dòng)地方是標(biāo)紅的地方，原來是某個(gè)數(shù)值，現(xiàn)在是低維向量?jī)?nèi)積

GBDT很容易找到有效組合特征，GBDT先找到有效的組合特征加到LR模型當(dāng)中

目前最好的效果之一

FM：有n個(gè)特征有n*n種特征組合，GBDT找到有效的組合，降低不必要的組合，增加效率

深度學(xué)習(xí)基礎(chǔ)模型

MLP

隱層神經(jīng)元：加權(quán)求和、非線性變換

現(xiàn)在用的比較多的激活函數(shù)：RELU

層數(shù)比較多，用上述傳統(tǒng)的激活函數(shù)，前面淺層權(quán)重學(xué)不到東西，所以用的比較多的是RELU，導(dǎo)數(shù)是常數(shù)

CNN(主要用于圖片)

解釋：輸出一張圖片，卷積層、下采樣、卷積層、下采樣、全連接、輸出層

對(duì)整體模型參數(shù)量有效的降低，參數(shù)數(shù)量少不容易過擬合

每個(gè)卷積核捕獲什么特征那

最底層學(xué)到線段 、高層圖片紋理、再高一層模式、部件、實(shí)際物體輪廓

?

RNN(一維序列型數(shù)據(jù)，適合解決序列問題)

輸入層、隱層、輸出層，不同之處隱層之間有個(gè)傳遞過程(第t步不僅包括當(dāng)前步的輸入還包括上一層的輸出)

RNN改進(jìn)：

LSTM:

深度學(xué)習(xí)ctr預(yù)估模型

離散特征輸入問題解決啦

Wide&Deep是目前比較低級(jí)的結(jié)構(gòu)，由于上述幾個(gè)原因

低階特征曬到模型當(dāng)中

?

加個(gè)attention對(duì)特征組合賦予一定的權(quán)重，表示哪些重要，哪些特征組合不重要，對(duì)特征組合做個(gè)甄別(AFM思想)

經(jīng)驗(yàn)：

某些模型需要預(yù)訓(xùn)練

平行結(jié)構(gòu)或菱形結(jié)構(gòu)效果比較好(可能跟數(shù)據(jù)集有關(guān))

深度網(wǎng)絡(luò)深度(一般ctr兩層或三層，不需要層數(shù)太多)

值得研究的地方是FM_Function這個(gè)部分到底怎么做？

深度學(xué)習(xí)做ctr模型比較單一

CTR預(yù)估案例：

目的：視頻推薦用戶能看，高點(diǎn)擊率

問題：在幾億中找到用戶喜歡的東西，進(jìn)行推送，時(shí)間要求比較高

解決該問題分兩步：

? ? ? ? 第一步：初篩，篩選可能感興趣的內(nèi)容，為后面篩選一個(gè)小集合

? ? ? ? 第二步：排序，排序，特征比較多，要求精度比較高

初篩

輸入：用戶歷史行為(看過某個(gè)視頻列表的輸入向量轉(zhuǎn)化dense)，搜索詞、群體性統(tǒng)計(jì)特征(性別、中老年等)

歸為兩大類：行為特征、統(tǒng)計(jì)特征

average把輸入向量搞成定長(zhǎng)的

給用戶推薦信息，目前只有用戶歷史信息

給定用戶興趣向量對(duì)視頻1000萬視頻進(jìn)行投票，轉(zhuǎn)化為一個(gè)分類問題

學(xué)用戶的興趣怎么用向量來表達(dá)

初篩：向量表達(dá)用戶興趣(篩選出50個(gè))

訓(xùn)練過程：某個(gè)用戶的embedding 、某個(gè)視頻的embedding，之后算余弦，排序

預(yù)測(cè)用戶觀看時(shí)長(zhǎng)架構(gòu)如下：(時(shí)間越長(zhǎng)越排到前面推薦給用戶)

一個(gè)人多種興趣，多種興趣某一時(shí)刻只體現(xiàn)某一興趣(局部激活)

流程：線上收集很多用戶歷史數(shù)據(jù)，點(diǎn)過哪些、看過哪些、買過哪些、建模，之后對(duì)用戶興趣進(jìn)行了解，有很多廣告，把最可能點(diǎn)的廣告進(jìn)行推送

收集的用戶特征：

基礎(chǔ)模型：

推送廣告和歷史進(jìn)行算一下距離

出發(fā)點(diǎn)：剛才出發(fā)點(diǎn)怎么改進(jìn)模型讓ctr效果更好，jd 圖片信息能否柔到模型當(dāng)中

兩階段：初篩：精度不要求那么高，但是要求快；排序：精排，選取k個(gè)

網(wǎng)絡(luò)結(jié)構(gòu)

右面一部分：深度網(wǎng)絡(luò)，可以認(rèn)為是wide & deep 網(wǎng)絡(luò)

左側(cè)一部分：圖片信息，怎么柔到模型當(dāng)中，1-N表示過去點(diǎn)過N個(gè)商品圖片，CNN提取圖片特征

A｜B test對(duì)比7天對(duì)比結(jié)果，引入圖片對(duì)效果增大比較大

相同商品通過聚類，都可以聚到一類

總結(jié)

以上是生活随笔為你收集整理的深度学习在CTR预估的应用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。