A/B 测试:以变应变,给用户更好的体验“宠爱”
?伴隨著企業數字化轉型進程的加速及用戶行為分析理念的深入,各種各樣的數據分析模型,比如件分析、漏斗分析、留存分析等,早已成為企業日常運營不可或缺的“小助手”。
作為大數據分析與營銷科技服務提供商,神策數據在過去 6 年累計服務了 30 多個行業的 1500+ 企業,在這個過程中我們逐漸意識到,數據分析只是企業數字化轉型過程中的一環,要想讓數據真正對企業產生價值,應該將基于數據流的決策、行動與反饋統統加入進來,也就是基于數據流的企業運營框架 SDAF,即 Sense(感知)、Decision(決策)、Action(行動)、Feedback(反饋),形成一個完整的業務價值產出閉環。
當我們進一步思考,為什么 SDAF 是個環,而且是多個持續不斷的環呢?這時候我們會發現,這是因為普遍存在兩個痛點:一是目標不精確,可能會導致行動失準、產出失效;二是手段不精確,可能會導致最終產出小于投入。這不僅是因為我們自身的認知有限,用戶本身也十分“善變”。
也正是因此,神策數據推出 A/B 測試,結合用戶行為分析,為企業帶來應對用戶變化的解決方案,最大化提升價值產出與效率,持續優化、持續迭代,給用戶帶來更好的體驗“寵愛”。
那么,我們如何應用行為分析和 A/B 測試,達到良好融合、最大化提升價值產出的效率呢?用通俗的話語進行描述,那就是:“像投資人一樣找杠桿,像科學家一樣做試驗。”而要找到杠桿,首先得理解我們的目標是什么。如果從用戶行為的角度來描述目標,可以分為一次性行為和周期性行為。
一次性行為:我們希望用戶盡可能發生單個目標行為,且這類行為通常非常關鍵,可以為后續的產品使用打下堅實基礎,常見如用戶注冊、首單支付、實名認證等等。這類行為對應著我們的業務目標是“轉化”,即讓更多用戶沿著正確路徑達成目標事件。
周期性行為:我們希望用戶盡可能多次發生某個行為,或者發生的程度更深,通常是體現產品核心價值的行為,常見如支付訂單、瀏覽內容等等。這類問題通常對應的業務目標是“參與度”或“留存”,即讓用戶更多更深入地做某件事情。
接下來我們將基于神策數據提出的 SDAF 運營框架,詳細為大家介紹 A/B 測試與用戶行為相結合的應用實踐。
Sense:使用行為分析模型,感知用戶行為
對于用戶的一次性行為,我們的業務目標是讓更多的用戶沿著正確的路徑做某個事情。可以通過以下模型進行觀測:
漏斗分析:嚴格規定的路徑上,用戶流失情況如何?
路徑分析:用戶群體的實際行為路徑如何分流?
行為序列:用戶個體的實際行為路徑如何跳轉?
對于周期性的行為,我們的業務目標是讓用戶更多更持久地做某件事,并形成習慣。可以通過以下模型進行觀測:
留存分析:用戶行為的發生在時間上的持續性如何?
分布分析:用戶行為的發生頻次(強度)如何?
Decision:基于觀測數據,正確使用數據做決策
只有數據是很難產生價值的,所以完成了 Sense 之后,需要做進一步的解讀與決策。我將數據應用總結為以下三點:
1.有限還原場景。從抽象過的、框架化的角度還原用戶的整個決策過程,比如通過漏斗分析、用戶路徑分析,就可以描繪用戶的整體行為情況。
2.做為診斷依據。感知用戶行為,通過時間或分類維度的橫向豎向比較,可以大致確定是否存在問題。
3.進行杠桿排序。知曉當前哪個比較重要,哪個暫時不那么重要,雖然問題可能很多,但事兒還得一件一件干。
除此之外,比數據應用重要的事情是知道事情怎么做?要描述好這個事情,我通常會列出兩張表。
第一張表叫做:為什么?如果我們對于要解決的問題有更準確的認識,解決起來的效果當然是較好的,因此可以從動力、阻力、時機等角度羅列可能的原因,并做一些主觀上的排序。
第二張表叫做:怎么辦?針對于這些具體原因,我們可以列出可能的方案或者方案的方向。最終使用 ICE 模型(Impact 影響范圍、Confidence 自信程度、Ease 實現難易)進行主觀排序,確定最近的一段時間,我們要做的試驗是什么。
比如針對電商場景,我們可以梳理出電商的核心路徑,并找到核心路徑上的薄弱環節,或者杠桿指標,并進一步定位我們的關注點。
當定位到某個問題頁面或者模塊之后,我們會進一步列出為什么和怎么辦。比如我們在數據分析中診斷出某電商的輪播圖模塊存在轉化問題,該模塊靠后的幾張廣告的滲透率急劇下降,且經評估我們認為該模塊的重要度比較高,我們就可以進一步針對其列出以下列表:
Action:基于業務決策,實施 A/B 測試
當我們已經有了比較具體的試驗方向,就可以進一步設計試驗本身的細節,去羅列出試驗實施的幾個要素:
試驗的假設:我們所認為的目標和手段之間的因果關系。(改動什么會影響什么?原因是什么?)
試驗的變量:具體的改動元素,通常是單一元素,方便歸因。
試驗的指標:評估試驗成敗的指標及其相關指標。
試驗的受眾:具體實施試驗的用戶對象。
Feedback:分析試驗數據,獲取反饋與認知
“反饋”的字面含義,指的是我們從試驗結果中獲得的直接結論,即各試驗組是否有差異,哪組策略更好或是更壞。而“認知”卻是更深一層的,即我們學到的、可以被沉淀的知識。
比如在我司客戶的某個電商場景中,對于奢侈品的圖片加上各種相關標語的大圖版本,從數據上來看轉化率是更差的,這是“反饋”。而奢侈品類產品的大圖中加上標語,對用戶來說受到了注意力干擾,影響到體驗產品的美感,這是“認知”。
商品圖源于網絡
在統計學中講到,“即使數據上存在顯著差異,我們無論接不接受新的方案,都是有概率犯錯誤的。”也就是說,反饋可能是錯誤的。更要命的是,即使我們得到的反饋是對的,也可能在認知上犯錯誤。比如我們錯誤的認為,奢侈品的大圖上不加標語是更好的,但實際上,只是不能只加優惠政策類標語,因為這看起來會很山寨,影響客戶的信任度,恰當添加標語也可以提升信任度。
商品圖源于網絡
基于反饋,我們可以判定最近的試驗是否有效,基于認知,我們也可以沉淀更多可累積的經驗。
就像企業一直追求的精細化運營,其背后就是這種聚沙成塔式累積的效應,能夠幫助我們累積得更多,走得更遠!
???
【更多內容】
A/B 測試搞定超 60% 會員增長
神策數據 A/B 測試五大亮點
總結
以上是生活随笔為你收集整理的A/B 测试:以变应变,给用户更好的体验“宠爱”的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 20+ 家标杆车企实践总结,数字化转型的
- 下一篇: 神策数据入选 Facebook 全球合作