ML之FE：數據處理—特征工程之高維組合特征的處理案例(矩陣分解)——基于LoR算法的廣告點擊預估問題

?

?

?

?

?

目錄

特征工程之高維組合特征的處理思路

1、原始數據：語?言和類型兩種離散特征

2、為了提高擬合能力，語言和類型可以組成二階特征

3、以邏輯回歸算法為例例

4、所有的特征，才開始看起來沒有任何問題

問題出現

問題解決

---

?

?

?

?

特征工程之高維組合特征的處理思路

1、原始數據：語?言和類型兩種離散特征

2、為了提高擬合能力，語言和類型可以組成二階特征

?

3、以邏輯回歸算法為例例

<x_i,x_j>表示x_i和x_j的組合特征，w_ij的維度等于 |x_i|*|x_j| = 2*2 = 4

?

4、所有的特征，才開始看起來沒有任何問題

但當引入ID類型的特征時，就會出現大規模數據。

(1)、?用戶ID和物品ID對點擊的影響

(2)、用戶ID和物品ID的組合特征對點擊的影響

?

問題出現

若用戶的數量=m，物品的數量為n，那么學習的參數的規模mxn。但是可是，在互聯?網環境下，數量
都可以達到千萬量級，幾乎無法學習這么大規模的參數。

問題解決

有效的方法就是將用戶和物品分別用k維的低維向量表示（k<<m, k<<n），其中$x_i^’$ 和 $x_j^’$分別表示
x_i和x_j對應的低維向量。

? ?需要學習的參數的規模變成m*k+n*k （實質上就是等價于矩陣分解）。

?

?

?

?

總結

以上是生活随笔為你收集整理的ML之FE：数据处理—特征工程之高维组合特征的处理案例(矩阵分解)——基于LoR算法的广告点击预估问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。