導讀：用戶標簽是個性化推薦、計算廣告、金融征信等眾多大數據業務應用的基礎，它是原始的用戶行為數據和大數據應用之間的橋梁，本文會介紹用戶標簽的構建方法，也就是用戶畫像技術。

作者：馬海平 于俊 呂昕 向海

來源：大數據DT（ID：hzdashuju）

01?用戶畫像概述

1. 什么是用戶畫像

現代交互設計之父Alan Cooper很早就提出了Persona的概念：Persona是真實用戶的虛擬代表，是建立在一系列真實數據之上的目標用戶模型，用于產品需求挖掘與交互設計。

通過調研和問卷去了解用戶，根據他們的目標、行為和觀點的差異，將他們區分為不同的類型，然后從每種類型中抽取出典型特征，賦予名字、照片、人口統計學要素、場景等描述，就形成了一個Persona。Persona就是最早對用戶畫像的定義，隨著時代的發展，用戶畫像早已不再局限于早期的這些維度，但用戶畫像的核心依然是真實用戶的虛擬化表示。

在大數據時代，用戶畫像尤其重要。我們通過一些手段，給用戶的習慣、行為、屬性貼上一系列標簽，抽象出一個用戶的全貌，為廣告推薦、內容分發、活動營銷等諸多互聯網業務提供了可能性。它是計算廣告、個性化推薦、智能營銷等大數據技術的基礎，毫不夸張地說，用戶畫像是大數據業務和技術的基石。

用戶畫像的核心工作就是給用戶打標簽，標簽通常是人為規定的高度精煉的特征標識，如年齡、性別、地域、興趣等。由這些標簽集合能抽象出一個用戶的信息全貌，如圖10-1所示是某個用戶的標簽集合，每個標簽分別描述了該用戶的一個維度，各個維度相互聯系，共同構成對用戶的一個整體描述。

▲圖10-1 用戶標簽集合

2. 為什么需要用戶畫像

Cooper最初建立Persona的目的是讓團隊成員將產品設計的焦點放在目標用戶的動機和行為上，從而避免產品設計人員草率地代表用戶。產品設計人員經常不自覺地把自己當作用戶代表，根據自己的需求設計產品，導致無法抓住實際用戶的需求。往往對產品做了很多功能的升級，用戶卻覺得體驗變差了。

在大數據領域，用戶畫像的作用遠不止于此。如圖10-2所示，用戶的行為數據無法直接用于數據分析和模型訓練，我們也無法從用戶的行為日志中直接獲取有用的信息。而將用戶的行為數據標簽化以后，我們對用戶就有了一個直觀的認識。同時計算機也能夠理解用戶，將用戶的行為信息用于個性化推薦、個性化搜索、廣告精準投放和智能營銷等領域。

▲圖10-2 用戶標簽化

對于一個產品，尤其是互聯網產品，建立完善的用戶畫像體系，有著重大的戰略意義。基于用戶畫像能夠構建一套分析平臺，用于產品定位、競品分析、營收分析等，為產品的方向與決策提供數據支持和事實依據。在產品的運營和優化中，根據用戶畫像能夠深入用戶需求，從而設計出更適合用戶的產品，提升用戶體驗。

02 用戶畫像流程

用戶畫像的核心工作就是給用戶打“標簽”，構建用戶畫像的第一步就是搞清楚需要構建什么樣的標簽，而構建什么樣的標簽是由業務需求和數據的實際情況決定的。下面介紹構建用戶畫像的整體流程和一些常用的標簽體系。

1. 整體流程

對構建用戶畫像的方法進行總結歸納，發現用戶畫像的構建一般可以分為目標分析、標簽體系構建、畫像構建三步，下面詳細介紹每一步的工作。

1）目標分析

用戶畫像構建的目的不盡相同，有的是實現精準營銷，增加產品銷量；有的是進行產品改進，提升用戶體驗。明確用戶畫像的目標是構建用戶畫像的第一步，也是設計標簽體系的基礎。

目標分析一般可以分為業務目標分析和可用數據分析兩步。目標分析的結果有兩個：

• 一個是畫像的目標，也就是畫像的效果評估標準；

• 另一個是可用于畫像的數據。

畫像的目標確立要建立在對數據深入分析的基礎上，脫離數據制定的畫像目標是沒有意義的。

2）標簽體系構建

分析完已有數據和畫像目標之后，還不能直接進行畫像建模工作，在畫像建模開始之前需要先進行標簽體系的制定。對于標簽體系的制定，既需要業務知識，也需要大數據知識，因此在制定標簽體系時，最好有本領域的專家和大數據工程師共同參與。

在制定標簽體系時，可以參考業界的標簽體系，尤其是同行業的標簽體系。用業界已有的成熟方案解決目標業務問題，不僅可以擴充思路，技術可行性也會比較高。

此外，需要明確的一點是：標簽體系不是一成不變的，隨著業務的發展，標簽體系也會發生變化。例如電商行業的用戶標簽，最初只需要消費偏好標簽，GPS標簽既難以刻畫也沒有使用場景。隨著智能手機的普及，GPS數據變得易于獲取，而且線下營銷也越來越注重場景化，因此GPS標簽也有了構建的意義。

3）畫像構建

基于用戶基礎數據，根據構建好的標簽體系，就可以進行畫像構建的工作了。用戶標簽的刻畫是一個長期的工作，不可能一步到位，需要不斷地擴充和優化。一次性構建中如果數據維度過多，可能會有目標不明確、需求相互沖突、構建效率低等問題，因此在構建過程中建議將項目進行分期，每一期只構建某一類標簽。

畫像構建中用到的技術有數據統計、機器學習和自然語言處理技術（NLP）等，如圖10-3所示。具體的畫像構建方法會在本文后面的部分詳細介紹。

▲圖10-3 用戶畫像的構建技術

2. 標簽體系

目前主流的標簽體系都是層次化的，如圖10-4所示。首先標簽分為幾個大類，每個大類再進行逐層細分。在構建標簽時，只需要構建最下層的標簽，就能夠映射出上面兩級標簽。

上層標簽都是抽象的標簽集合，一般沒有實用意義，只有統計意義。例如我們可以統計有人口屬性標簽的用戶比例，但用戶有人口屬性標簽，這本身對廣告投放沒有任何意義。

▲圖10-4 互聯網大數據領域常用標簽體系

用于廣告投放和精準營銷的一般是底層標簽，對于底層標簽有兩個要求：一個是每個標簽只能表示一種含義，避免標簽之間的重復和沖突，便于計算機處理；另一個是標簽必須有一定的語義，方便相關人員理解每個標簽的含義。

此外，標簽的粒度也是需要注意的，標簽粒度太粗會沒有區分度，粒度過細會導致標簽體系太過復雜而不具有通用性。

下文列舉了各個大類常見的底層標簽。

• 人口標簽：性別、年齡、地域、教育水平、出生日期、職業、星座

• 興趣特征：興趣愛好、使用App/網站、瀏覽/收藏內容、互動內容、品牌偏好、產品偏好

• 社會特征：婚姻狀況、家庭情況、社交/信息渠道偏好

• 消費特征：收入狀況、購買力水平、已購商品、購買渠道偏好、最后購買時間、購買頻次

最后介紹一下構建各類標簽的優先級。對此需要綜合考慮業務需求、構建難易程度等，業務需求各有不同，這里介紹的優先級排序方法主要依據構建的難易程度和各類標簽的依存關系，優先級如圖10-5所示。

▲圖10-5 各類標簽的構建優先級

1）事實標簽

基于原始數據首先構建的是事實標簽，事實標簽可以從數據庫直接獲取（如注冊信息），或通過簡單的統計得到。這類標簽構建難度低、實際含義明確，且部分標簽可用作后續標簽挖掘的基礎特征（如產品購買次數可用來作為用戶購物偏好的輸入特征數據）。

事實標簽的構造過程，也是對數據加深理解的過程。對數據進行統計的同時，不僅完成了數據的處理與加工，也對數據的分布有了一定的了解，為高級標簽的構造做好了準備。

2）模型標簽

模型標簽是標簽體系的核心，也是用戶畫像中工作量最大的部分，大多數用戶標簽的核心都是模型標簽。模型標簽的構建大多需要用到機器學習和自然語言處理技術，下文介紹的標簽構建主要指的是模型標簽構建，具體的構造算法會在下文中詳細介紹。

3）高級標簽

最后構造的是高級標簽，高級標簽是基于事實標簽和模型標簽進行統計建模得出的，它的構造多與實際的業務指標緊密聯系。只有完成基礎標簽的構建，才能夠構造高級標簽。構建高級標簽使用的模型，可以是簡單的數據統計模型，也可以是復雜的機器學習模型。

03 構建用戶畫像

我們把標簽分為三類，這三類標簽有較大的差異，構建時所用技術的差別也很大。

• 第一類是人口屬性，這一類標簽比較穩定，一旦建立很長一段時間基本不用更新，標簽體系也比較固定；

• 第二類是興趣屬性，這類標簽隨時間變化很快，標簽有很強的時效性，標簽體系也不固定；

• 第三類是地理屬性，這一類標簽的時效性跨度很大，如GPS軌跡標簽需要做到實時更新，而常住地標簽一般可以幾個月不用更新，所用的挖掘方法和前面兩類也大有不同，如圖10-6所示。

▲圖10-6 三類標簽屬性

1. 人口屬性畫像

人口屬性包括年齡、性別、學歷、人生階段、收入水平、消費水平、所屬行業等。這些標簽基本是穩定的，構建一次可以很長一段時間不用更新，標簽的有效期都在一個月以上。同時標簽體系的劃分也比較固定，表10-2是中國無線營銷聯盟對人口屬性的一個劃分。

大部分主流的人口屬性標簽都和這個體系類似，有些在分段上有一些區別。

▼表10-2 人口標簽

很多產品（如QQ、Facebook等）都會引導用戶填寫基本信息，這些信息就包括年齡、性別、收入等大多數的人口屬性，但完整填寫個人信息的用戶只占很少一部分。對于無社交屬性的產品（如輸入法、團購App、視頻網站等），用戶信息的填充率非常低，有的甚至不足5%。

在這種情況下，一般會用填寫了信息的用戶作為樣本，把用戶的行為數據作為特征訓練模型，對無標簽的用戶進行人口屬性的預測。這種模型把有標簽用戶的標簽傳給與他行為相似的用戶，可以認為是對人群進行了標簽擴散，因此常被稱為標簽擴散模型。

下面使用視頻網站性別年齡畫像的例子來說明標簽擴散模型是如何構建的。

某個視頻網站希望了解自己的用戶組成，于是對用戶的性別進行畫像。通過數據統計，有大約30%的用戶在注冊時填寫了個人信息，將這30%的用戶作為訓練集，以構建全量用戶的性別畫像，所用數據如表10-3所示。

▼表10-3 視頻網站用戶數據

下面來構建特征。通過分析發現男性和女性對于影片的偏好是有差別的，因此使用用戶觀看的影片列表預測用戶性別有一定的可行性。此外，還可以考慮用戶的觀看時間、瀏覽器、觀看時長等，為了簡化，這里只使用用戶觀看的影片特征。

由于觀看影片特征是稀疏特征，所以可以調用MLlib，使用LR、線性SVM等模型進行訓練。考慮到注冊用戶填寫的用戶信息的準確性不高，所以可以從30%的樣本集中提取準確性較高的部分（如用戶信息填寫較完備的）用于訓練，因此整體的訓練流程如圖10-7所示。

對于預測性別這樣的二分類模型，如果行為的區分度較好，一般準確率和覆蓋率都可以達到70%左右。

▲圖10-7 訓練流程

對于人口屬性標簽，只要有一定的樣本標簽數據，并找到能夠區分標簽類別的用戶行為特征，就可以構建標簽擴散模型。其中使用的技術方法主要是機器學習中的分類技術，常用的模型有LR、FM、SVM、GBDT等。

2. 興趣畫像

興趣畫像是互聯網領域中使用最廣泛的畫像，互聯網廣告、個性化推薦、精準營銷等領域最核心的標簽都是興趣標簽。興趣畫像主要是從用戶海量的行為日志中進行核心信息抽取、標簽化和統計，因此在構建用戶興趣畫像之前需要先對用戶有行為的內容進行內容建模。

內容建模需要注意粒度，過細的粒度會導致標簽沒有泛化能力和使用價值，過粗的粒度會導致標簽沒有區分度。

• 例如用戶在購物網上點擊查看了一雙“Nike AIR MAX跑步鞋”，如果用單個商品作為粒度，畫像的粒度就過細，結果是只知道用戶對“Nike AIR MAX跑步鞋”有興趣，在進行商品推薦時，也只能給用戶推薦這雙鞋；

• 而如果用大品類作為粒度，如“運動戶外”，將無法發現用戶的核心需求是買鞋，從而會給用戶推薦所有的運動用品，如乒乓球拍、籃球等，這樣的推薦缺乏準確性，用戶的點擊率就會很低。

為了保證興趣畫像既有一定的準確性又有較好的泛化性，我們會構建層次化的興趣標簽體系，其中同時用幾個粒度的標簽去匹配用戶興趣，既保證了標簽的準確性，又保證了標簽的泛化性。下面以用戶的新聞興趣畫像舉例，介紹如何構建層次化的興趣標簽。

新聞興趣畫像的處理難度要比購物興趣畫像困難，購物標簽體系基本固定，如圖10-8所示，京東頁面已經有成熟的三級類目體系。

▲圖10-8 三級類目體系

1）內容建模

新聞數據本身是非結構化的，首先需要人工構建一個層次化的標簽體系。考慮如圖10-9所示的一篇新聞，看看哪些內容可以表示用戶的興趣。

▲圖10-9 新聞例子

首先，這是一篇體育新聞，體育這個新聞分類可以表示用戶興趣，但是這個標簽太粗了，因為用戶可能只對足球感興趣，所以體育這個標簽就顯得不夠準確。

其次，可以使用新聞中的關鍵詞，尤其是里面的專有名詞（人名、機構名），如“桑切斯”“阿森納”“厄齊爾”，這些詞也表示了用戶的興趣。關鍵詞的主要問題在于粒度太細，如果某天的新聞里沒有這些關鍵詞，就無法給用戶推薦內容。

最后，我們希望有一個中間粒度的標簽，既有一定的準確度，又有一定的泛化能力。于是我們嘗試對關鍵詞進行聚類，把一類關鍵詞當成一個標簽，或者拆分一個分類下的新聞，生成像“足球”這種粒度介于關鍵詞和分類之間的主題標簽。我們可以使用文本主題聚類完成主題標簽的構建。

至此，就完成了對新聞內容從粗到細的“分類-主題-關鍵詞”三層標簽體系的內容建模，新聞的三層標簽如表10-4所示。

▼表10-4? 三層標簽體系

可能讀者會有疑問，既然主題的準確度和覆蓋率都不錯，我們只使用主題不就可以了嗎？為什么還要構建分類和關鍵詞這兩層標簽呢？這么做是為了針對用戶進行盡可能精確和全面的內容推薦。

當用戶的關鍵詞命中新聞時，顯然能夠給用戶更準確的推薦，這時就不需要再使用主題標簽；而對于比較小眾的主題（如體育類的冰上運動主題），若當天沒有新聞覆蓋，就可以根據分類標簽進行推薦。層次標簽兼顧了刻畫用戶興趣的覆蓋率和準確性。

2）興趣衰減

在完成內容建模以后，就可以根據用戶點擊，計算用戶對分類、主題、關鍵詞的興趣，得到用戶興趣標簽的權重。最簡單的計數方法是，用戶點擊一篇新聞，就把用戶對該篇新聞的所有標簽興趣值上加1，用戶對每個詞的興趣計算使用如下的公式：

score_i+1=score_i+ C×weight

其中，詞在這次瀏覽的新聞中出現，則C=1，否則C=0, weight表示詞在這篇新聞中的權重。

這樣做有兩個問題：一個是用戶的興趣累加是線性的，數值會非常大，老的興趣權重會特別高；另一個是用戶的興趣有很強的時效性，對一篇新聞昨天的點擊要比一個月之前的點擊重要的多，線性疊加無法突出用戶的近期興趣。

為了解決這個問題，需要對用戶興趣得分進行衰減，可使用如下的方法對興趣得分進行次數衰減和時間衰減。

次數衰減的公式如下：

score_i+1=α×score_i+ C×weight, 0<α<1

其中，α是衰減因子，每次都對上一次的分數做衰減，最終得分會收斂到一個穩定值，α取0.9時，得分會無限接近10。

時間衰減的公式如下：

score_day+1=score_day×β, 0<β<1

它表示根據時間對興趣進行衰減，這樣做可以保證時間較早期的興趣會在一段時間以后變得非常弱，同時近期的興趣會有更大的權重。根據用戶興趣變化的速度、用戶活躍度等因素，也可以對興趣進行周級別、月級別或小時級別的衰減。

3. 地理位置畫像

地理位置畫像一般分為兩部分：一部分是常駐地畫像；一部分是GPS畫像。這兩類畫像的差別很大，常駐地畫像比較容易構造且標簽比較穩定，GPS畫像需要實時更新。

常駐地包括國家、省份、城市三級，一般只細化到城市粒度。在常駐地挖掘中，對用戶的IP地址進行解析，并對應到相應的城市，再對用戶IP出現的城市進行統計就可以得到常駐城市標簽。用戶的常駐城市標簽不僅可以用來統計各個地域的用戶分布，還可以根據用戶在各個城市之間的出行軌跡識別出差人群、旅游人群等。

GPS數據一般從手機端收集，但很多手機App沒有獲取用戶GPS信息的權限。能夠獲取用戶GPS信息的主要是百度地圖、滴滴打車等出行導航類App，此外收集到的用戶GPS數據比較稀疏。

百度地圖使用該方法并結合時間段數據，構建了用戶公司和家的GPS標簽。此外百度地圖還基于GPS信息，統計各條路上的車流量，進行路況分析，圖10-10所示是北京市某天的實時路況圖，紅色表示擁堵線路。

▲圖10-10 北京的實時路況圖

04 用戶畫像評估和使用

人口屬性畫像的相關指標比較容易評估，而興趣畫像的標簽比較模糊，所以人為評估比較困難，對于興趣畫像的常用評估方法是設計小流量的A/B測試進行驗證。

可以篩選一部分打了標簽的用戶，給這部分用戶進行和標簽相關的推送，看他們對相關內容是否有更好的反饋。例如，在新聞推薦中，我們給用戶構建了興趣畫像，從體育類興趣用戶中選取一小批用戶，給他們推送體育類新聞，如果這批用戶對新聞的點擊率和閱讀時長明顯高于平均水平，就說明標簽是有效的。

1. 效果評估

評估使用用戶畫像的效果最直接的方法就是，看其提升了多少實際業務，如在互聯網廣告投放中，用戶畫像的使用效果主要是看它提升了多少點擊率和收入，在精準營銷過程中，主要是看使用用戶畫像后銷量提升了多少等。

但是如果把一個沒有經過效果評估的模型直接用在線上，風險是很大的，因此我們需要一些在上線前可計算的指標來衡量用戶畫像的質量。

用戶畫像的評估指標主要是準確率、覆蓋率、時效性等。（篇幅有限，這里不詳細介紹，有需要的同學可以看《Spark機器學習進階實戰》一書第10.4.1節）

2. 用戶畫像使用

構建好用戶畫像并做了評估之后，就可以在業務中使用它。對此，一般需要一個可視化平臺，對標簽進行查看和檢索。用戶畫像的可視化過程中，一般使用餅圖、柱狀圖等對標簽的覆蓋人數、覆蓋比例等指標做形象的展示，如圖10-11所示是用戶畫像的一個可視化界面。

▲圖10-11 用戶畫像的可視化界面

此外，對于所構建的用戶畫像，還可以使用不同維度的標簽，進行高級的組合分析，產出高質量的分析報告。用戶畫像可以應用在智能營銷、計算廣告、個性化推薦等領域，具體的使用方法與應用領域緊密結合，在此不再詳細介紹。

關于作者：馬海平，科大訊飛大數據研究院研究主管，中國科學與技術大學計算機技術博士，專注數據挖掘和人工智能算法的研究，及其在計算廣告和個性化教育等方向的落地應用。

于俊，科大訊飛大數據專家，專注大數據和人工智能應用方案設計、基于Spark的大數據分析和價值挖掘，在大數據算法工程化實現方面具有豐富經驗。

呂昕，科大訊飛大數據專家，專注大數據和人工智能技術在消費者業務中的應用、基于Spark的大數據分析和算法建模，在用戶畫像、內容推薦和精準營銷領域有豐富的實踐。

向海，邂智科技算法負責人，前科大訊飛大數據專家。專注Spark機器學習在智能客服中的應用，在NLP與對話機器人應用方面有豐富經驗。

本文摘編自《Spark機器學習進階實戰》，經出版方授權發布。

延伸閱讀《Spark機器學習進階實戰》

點擊上圖了解及購買

轉載請聯系微信：DoctorData

推薦語：科大訊飛大數據專家撰寫，從基礎到應用，面面俱到。

劃重點????

干貨直達????

• 終于有人把數據安全講明白了
  

• 35歲的程序員，真的要轉管理嗎？
  

• 數據中臺、標簽、數據資產相關的15個名詞解釋
  

• 圖靈獎得主都寫過哪些書？

更多精彩????

在公眾號對話框輸入以下關鍵詞

查看更多優質內容！

PPT?|?讀書?|?書單?|?硬核?|?干貨?|?講明白?|?神操作

大數據?|?云計算?|?數據庫?|?Python?|?爬蟲?|?可視化

AI?|?人工智能?|?機器學習?|?深度學習?|?NLP

5G?|?中臺?|?用戶畫像?|?1024?|?數學?|?算法?|?數字孿生

據統計，99%的大咖都關注了這個公眾號

????

總結

以上是生活随笔為你收集整理的终于有人把用户画像的流程、方法讲明白了的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。