微信黑科技-推荐系统,一文带你看懂为什么微信推荐这么快?
生活随笔
收集整理的這篇文章主要介紹了
微信黑科技-推荐系统,一文带你看懂为什么微信推荐这么快?
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言
隨著推薦系統的強勢發展,特征檢索的使用場景越來越廣泛。而作為基礎組件,除了要擁有支持億級索引的基本素養外,在功能特性上也需要不斷迎合業務的發展。
01 背景
在一些推薦系統、圖片檢索、文章去重等場景中,對基于特征數據進行 k 近鄰檢索有著廣泛的需求:
-
支持億級索引的檢索,同時要求非常高的檢索性能;
-
支持索引的批量實時更新;
-
支持多模型、多版本以靈活開展 ABTest 實驗;
-
支持過濾器、過期刪除以排除不符合特定條件的數據。
在經過調研后,發現已有的解決方案存在以下問題:
-
在學術界中,已經存在有成熟并開源的 ANN 搜索庫,然而這些搜索庫僅僅是作為單機引擎存在,而不能作為高性能、可依賴、可拓展的分布式組件為推薦系統提供服務;
-
在業界中,大多數的組件都是基于 ANN 搜索庫做一層簡單的封裝,在可拓展、高可用上的表現達不到在線系統的要求;而對于少數在實現上已經較為成熟的分布式檢索系統,在功能上卻難以做到緊跟業務發展;
-
而在更新機制上,很多組件都是要么只支持離線更新、要么只支持在線接口更新,無法滿足在微信側小至秒級千數量、大至小時級億數量的索引更新需求,因此需要可以兼顧近實時更新及離線大批量更新的分布式系統。
基于上述的這些要求以及業內組件的限制,我們借助 WFS 和 Chubby 設計并實現了 SimSvr,它是一個高性能、功能豐富的特征檢索組件,具有以下特點:
總結
以上是生活随笔為你收集整理的微信黑科技-推荐系统,一文带你看懂为什么微信推荐这么快?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 机器学习从入门到精通系列之BP神经网络理
- 下一篇: 【毕业求职季】-听说你想去大厂看学妹,带