當(dāng)前位置：首頁 > 人文社科 > 生活经验 >内容正文

生活经验

深度树匹配模型(TDM)

發(fā)布時(shí)間：2023/11/28 生活经验 32 豆豆

生活随笔收集整理的這篇文章主要介紹了深度树匹配模型(TDM) 小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

深度樹匹配模型(TDM)
算法介紹
Tree-based Deep Match（TDM）是由阿里媽媽精準(zhǔn)定向廣告算法團(tuán)隊(duì)自主研發(fā)，基于深度學(xué)習(xí)上的大規(guī)模（千萬級(jí)+）推薦系統(tǒng)算法框架。在大規(guī)模推薦系統(tǒng)的實(shí)踐中，基于商品的協(xié)同過濾算法（Item-CF）是應(yīng)用較為廣泛的，而受到圖像檢索的啟發(fā)，基于內(nèi)積模型的向量檢索算法也嶄露頭角，這些推薦算法產(chǎn)生了一定的效果，但因?yàn)槭芟抻谒惴Ｐ捅旧淼睦碚撓拗?#xff0c;推薦的最終結(jié)果并不十分理想。近些年，深度學(xué)習(xí)技術(shù)逐漸興起，在包括如圖像、自然語言處理、語音等領(lǐng)域的應(yīng)用產(chǎn)生了巨大的效果推動(dòng)。受制于候選集合的大規(guī)模，在推薦系統(tǒng)里全面應(yīng)用深度學(xué)習(xí)，進(jìn)行計(jì)算存在效果低下的問題。TDM原創(chuàng)性的提出了以樹結(jié)構(gòu)組織大規(guī)模候選，建立目標(biāo)（興趣）的層次化依賴關(guān)系，并通過逐層樹檢索的方式進(jìn)行用戶對(duì)目標(biāo)（興趣）的偏好計(jì)算，從而實(shí)現(xiàn)用戶目標(biāo)（興趣）的最終推薦。無論是在公開數(shù)據(jù)集上離線測(cè)試結(jié)果[1]，還是在阿里媽媽實(shí)際業(yè)務(wù)的在線測(cè)試上，TDM都取得了非常顯著的效果提升。
基礎(chǔ)知識(shí)
寫在最前面
本文主要面向推薦系統(tǒng)的學(xué)術(shù)愛好者，實(shí)際從業(yè)者，介紹TDM系統(tǒng)的組成原理，TDM開源項(xiàng)目的使用指導(dǎo)，以及如何將TDM算法應(yīng)用到使用者實(shí)際業(yè)務(wù)中去。下述介紹假定讀者具備一定的推薦系統(tǒng)/深度學(xué)習(xí)的概念了解，基本的數(shù)據(jù)結(jié)構(gòu)與算法理解，以及基本編程語言（C++，Python）的掌握，如果讀者對(duì)這些技術(shù)的了解存在疑慮，可參考下述知識(shí)點(diǎn)進(jìn)行學(xué)習(xí)。
需要的前提知識(shí)
? 基本概念
o 推薦系統(tǒng)：推薦技術(shù)提供用戶對(duì)某個(gè)目標(biāo)（興趣）的偏好程度預(yù)測(cè)能力，基于偏好預(yù)測(cè)排序輸出用戶喜好的目標(biāo)（興趣）集合。
o 深度學(xué)習(xí)：基于深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的機(jī)器學(xué)習(xí)算法分支。
? 數(shù)據(jù)結(jié)構(gòu)與算法
o 樹：樹是計(jì)算機(jī)科學(xué)中數(shù)據(jù)結(jié)構(gòu)的經(jīng)典類型，在數(shù)據(jù)組織上具有良好的效率。
o BeamSearch算法：一種啟發(fā)式的貪心搜索方法。
o Kmeans聚類算法：一種基于向量量化的無監(jiān)督聚類算法。
? 語言基礎(chǔ)
o C++語言：通用編程語言。
o Python語言：通用腳本編程語言。
文檔內(nèi)容說明
本文旨在介紹TDM以及如何使用TDM開源項(xiàng)目進(jìn)行實(shí)際業(yè)務(wù)生產(chǎn)所用，閱讀完成后，可以了解到：
? TDM的基本系統(tǒng)組成
? TDM開源代碼的運(yùn)行和使用
? 應(yīng)用TDM到具體實(shí)踐的方法
受限于篇幅以及主旨，以下內(nèi)容本文不涉及，或請(qǐng)參閱相關(guān)文檔：
? XDL訓(xùn)練平臺(tái)的系統(tǒng)組成和使用。
? 公開數(shù)據(jù)集(UserBehavior)的下載、使用和授權(quán)。
TDM適用的范圍
TDM面向解決的是大規(guī)模推薦問題，自主提出的以樹方式組織大規(guī)模候選建立層次關(guān)系進(jìn)而支撐層次檢索的框架，具有普遍的適用性和優(yōu)秀的實(shí)驗(yàn)效果。TDM算法具有極高的業(yè)務(wù)適用性，在包括如視頻推薦、商品推薦、新聞推薦等業(yè)務(wù)領(lǐng)域已經(jīng)成功應(yīng)用，并取得了非常可觀的業(yè)務(wù)效果。更多的業(yè)務(wù)領(lǐng)域TDM應(yīng)用實(shí)踐正在開展中，本文后續(xù)會(huì)不斷更新TDM的業(yè)務(wù)實(shí)踐效果。
TDM框架介紹
算法原理
TDM是為大規(guī)模推薦系統(tǒng)設(shè)計(jì)的、能承載任意先進(jìn)模型來高效檢索用戶興趣的推薦算法解決方案。TDM基于樹結(jié)構(gòu)，提出了一套對(duì)用戶興趣度量進(jìn)行層次化建模與檢索的方法論，使得系統(tǒng)能直接利高級(jí)深度學(xué)習(xí)模型，在全庫范圍內(nèi)檢索用戶興趣。詳細(xì)的算法介紹，參見TDM在KDD會(huì)議上的論文，其基本原理是使用樹結(jié)構(gòu)對(duì)全庫item進(jìn)行索引，然后訓(xùn)練深度模型以支持樹上的逐層檢索，從而將大規(guī)模推薦中全庫檢索的復(fù)雜度由O(n)（n為所有item的量級(jí)）下降至O(log n)。
系統(tǒng)組成
樹結(jié)構(gòu)
樹在TDM框架中承擔(dān)的是索引結(jié)構(gòu)的角色，即全庫item都會(huì)通過樹結(jié)構(gòu)被索引起來。
樹中的每一個(gè)葉節(jié)點(diǎn)對(duì)應(yīng)庫中的一個(gè)item；非葉節(jié)點(diǎn)表示item的集合。這樣的一種層次化結(jié)構(gòu)，體現(xiàn)了粒度從粗到細(xì)的item架構(gòu)。此時(shí)，推薦任務(wù)轉(zhuǎn)換成了如何從樹中檢索一系列葉節(jié)點(diǎn)，作為用戶最感興趣的item返回。值得一提的是，雖然圖中展示的樹結(jié)構(gòu)是一個(gè)二叉樹，但在實(shí)際應(yīng)用中并無此限制。
基于樹的檢索算法
在一些傳統(tǒng)的樹狀索引如二叉搜索樹、B-樹等結(jié)構(gòu)中，檢索過程往往是使用鍵值在樹上進(jìn)行逐層往下的top 1檢索，最終找到一個(gè)滿足條件的葉節(jié)點(diǎn)并返回。而在TDM框架中，基于樹結(jié)構(gòu)進(jìn)行大規(guī)模推薦的方法，是每一個(gè)用戶尋找K個(gè)最感興趣的葉節(jié)點(diǎn)。因此，檢索過程也做了相應(yīng)的改變：在逐層往下的檢索過程中，每一層都保留K個(gè)節(jié)點(diǎn)并往下擴(kuò)展，即經(jīng)典的BeamSearch方法。這一檢索方案兼具效率與精度，剩下的問題是如何得到每層內(nèi)精準(zhǔn)的興趣判別器，來找到每層內(nèi)的K個(gè)最感興趣的節(jié)點(diǎn)。
深度網(wǎng)絡(luò)模型
深度網(wǎng)絡(luò)在TDM框架中承擔(dān)的是用戶興趣判別器的角色，其輸出的（用戶，節(jié)點(diǎn)）對(duì)的興趣度，將被用于檢索過程作為尋找每層Top K的評(píng)判指標(biāo)。由于TDM框架具備高效的剪枝能力，因此其能兼容任意先進(jìn)的深度網(wǎng)絡(luò)模型來進(jìn)行全庫檢索。
上述網(wǎng)絡(luò)結(jié)構(gòu)中，在用戶特征方面僅使用了用戶歷史行為，并對(duì)歷史行為根據(jù)其發(fā)生時(shí)間，進(jìn)行了時(shí)間窗口劃分。在節(jié)點(diǎn)特征方面，使用的是節(jié)點(diǎn)經(jīng)過embedding后的向量作為輸入。此外，模型借助attention結(jié)構(gòu)，將用戶行為中和本次判別相關(guān)的那部分篩選出來，以實(shí)現(xiàn)更精準(zhǔn)的判別。
網(wǎng)絡(luò)與樹結(jié)構(gòu)的聯(lián)合訓(xùn)練
樹索引結(jié)構(gòu)在TDM框架中起到了兩方面的作用，一是在訓(xùn)練過程提供了上溯正采樣樣本和平層負(fù)采樣樣本；二是在檢索過程中決定了選擇與剪枝方案。因此，良好的樹結(jié)構(gòu)應(yīng)該能為訓(xùn)練提供易于區(qū)分的上層樣本，并盡量體現(xiàn)真實(shí)的用戶興趣層級(jí)結(jié)構(gòu)來幫助檢索。基于數(shù)據(jù)驅(qū)動(dòng)的索引學(xué)習(xí)及檢索模型、索引結(jié)構(gòu)聯(lián)合訓(xùn)練的出發(fā)點(diǎn)，TDM框架進(jìn)行了一種嘗試：使用學(xué)習(xí)得到的葉節(jié)點(diǎn)（即item）embedding向量進(jìn)行層次化聚類，來生成新的樹索引結(jié)構(gòu)。
檢索模型訓(xùn)練、樹索引結(jié)構(gòu)學(xué)習(xí)過程迭代進(jìn)行，最終得到穩(wěn)定的結(jié)構(gòu)與模型。
評(píng)測(cè)指標(biāo)
TDM主要采用召回率、準(zhǔn)確率兩種評(píng)價(jià)指標(biāo)：
? 召回率：R = size({預(yù)測(cè)集合} ∩ {真集}) / size({真集})
? 準(zhǔn)確率：P = size({預(yù)測(cè)集合} ∩ {真集}) / size({預(yù)測(cè)集合})
TDM訓(xùn)練示例
單機(jī)試驗(yàn)小數(shù)據(jù)集
用戶依照以下步驟可以在隨機(jī)dummy小數(shù)據(jù)集上快速驗(yàn)證流程，此dummy數(shù)據(jù)集為隨機(jī)生成，僅作快速驗(yàn)證流程使用。如果需要拿到效果，試驗(yàn)一個(gè)具有實(shí)際意義的數(shù)據(jù)集（例如UserBehavior數(shù)據(jù)集）
? 準(zhǔn)備工作目錄
WORKPATH=’/your/path/work/tdm_mock’ # 自選一個(gè)工作目錄
git clone --recursive https://github.com/alibaba/x-deeplearning.git
cd x-deeplearning

git submodule update --init --recursive # 如果clone時(shí)沒有–recursive，那么需要執(zhí)行本行命令

cp -r XDL-Algorithm-Solution/TDM/script/tdm_ub_att_ubuntu/ “ $KaTeX parse error: Expected 'EOF', got '#' at position 101: \dotsu-mxnet1.3' #? 選擇docker鏡像地址 s\dots$ DOCKER_PATH”

下列命令啟動(dòng)一個(gè)名為tdm-mock的容器，當(dāng)然這個(gè)名字可以自行指定，但不能與本機(jī)上已有的容器重名

sudo docker run -it --net=host --volume $H O M E :$ HOME -w $H O M E ‘ c u r l ? s h t t p : / / l o c a l h o s t : 3476 / d o c k e r / c l i ‘ ? ? n a m e t d m ? m o c k "$ DOCKER_PATH"

sudo docker exec -ti tdm-mock bash # 再次進(jìn)入docker使用該命令，注意tdm-mock應(yīng)與上述啟動(dòng)容器命令中指定的名字相同

用戶需要安裝并配置HADOOP

source /etc/profile # 設(shè)置hadoop，以及將當(dāng)前路徑添加到PATH
? 編譯安裝TDM
apt-get install swig # 如果已經(jīng)安裝則無需安裝
cd XDL-Algorithm-Solution/TDM/src
mkdir build
cd build
cmake …
make
cp -r …/python/store/store/ “ $WORKPATH" cp -r ../python/dist_tree/dist_tree/ "$ WORKPATH”
cp -r …/python/cluster/ “ $W O R K P A T H " c p t d m / l i b ? . s o "$ WORKPATH”
? 分隔數(shù)據(jù)集，生成原始樣本csv
cd “ $KaTeX parse error: Undefined control sequence: \ at position 45: …_cutter.py \? ? --input mock.…$ CSV_HDFSPATH” # 確認(rèn)該目錄之前不存在，若存在則刪掉或換個(gè)目錄
hadoop fs -mkdir “ $CSV_HDFSPATH" hadoop fs -put mock_train.csv "$ CSV_HDFSPATH”
hadoop fs -put mock_test.csv “ $CSV_HDFSPATH" ? 樣本產(chǎn)出及樹初始化 cd "$ WORKPATH”
UPLOAD_HDFSPATH=‘hdfs://your/dist_tree/upload/hdfs/path/tree_data’ # 指定樣本及樹的產(chǎn)出目錄
hadoop fs -ls “ $KaTeX parse error: Expected 'EOF', got '#' at position 21: \dotsD_HDFSPATH" #? 確認(rèn)該目錄之前不存在，若存在\dots$ UPLOAD_HDFSPATH”
EMB_HDFSPATH=‘hdfs://your/emb_converted/hdfs/path’ # 指定訓(xùn)練的embedding結(jié)果產(chǎn)出目錄
hadoop fs -ls “ $KaTeX parse error: Expected 'EOF', got '#' at position 21: \dotsDFSPATH" #? 確認(rèn)該目錄之前不存在，若存在\dots$ EMB_HDFSPATH”
vim data/tdm.json # train_rawdata_url 修改為 $CSV_HDFSPATH/mock_train.csv 的完整hdfs路徑
# test_rawdata_url 修改為 $CSV_HDFSPATH/mock_test.csv 的完整hdfs路徑
# upload_url 修改為 $UPLOAD_HDFSPATH 的完整hdfs路徑，此為樹及樣本生成目錄的hdfs路徑
# model_url 修改為 $KaTeX parse error: Expected 'EOF', got '#' at position 112: \dots_mock_init' #? 指定樣本產(chǎn)出及樹初始化的ck\dots$ INIT_CKPT_HDFS_PATH"
hadoop fs -mkdir “ $KaTeX parse error: Expected 'EOF', got '#' at position 25: \dots_HDFS_PATH" #? 如果目錄不存在，則創(chuàng)建 ha\dots$ INIT_CKPT_HDFS_PATH/checkpoint” # 否則刪除其中的checkpoint目錄
vim config.tree_init.json # dependent_dirs 修改為 $WORKPATH 的完整路徑
# docker_image 修改為 $DOCKER_PATH
# checkpoint.output_dir 修改為 $INIT_CKPT_HDFS_PATH/checkpoint python tree_init.py hadoop fs -ls "$ UPLOAD_HDFSPATH/data"
? 訓(xùn)練
cd “ $KaTeX parse error: Expected 'EOF', got '#' at position 74: \dotsmock_train' #? 指定訓(xùn)練的ckpt目錄 ha\dots$ TRAIN_CKPT_HDFS_PATH”
hadoop fs -mkdir “ $KaTeX parse error: Expected 'EOF', got '#' at position 26: \dots_HDFS_PATH" #? 如果目錄不存在，則創(chuàng)建 ha\dots$ TRAIN_CKPT_HDFS_PATH/checkpoint” # 否則刪除其中的checkpoint目錄
vim config.train.json # dependent_dirs 修改為 $WORKPATH 的完整路徑
# docker_image 修改為 $DOCKER_PATH
# checkpoint.output_dir 修改為 $KaTeX parse error: Expected 'EOF', got '#' at position 53: \dotsata/tdm.json #? 因?yàn)槭切?shù)據(jù)集，因此參數(shù)做些\dots$ TRAIN_CKPT_HDFS_PATH/checkpoint" # 查看訓(xùn)練保存的ckpt
hadoop fs -ls “ $KaTeX parse error: Expected 'EOF', got '#' at position 18: \dotsB_HDFSPATH" #? 查看生成的 item_emb\dots$ WORKPATH”
CLUSTER_CKPT_HDFS_PATH=‘hdfs://your/hdfs/path/tdm_mock_cluster’ # 指定聚類的ckpt目錄
hadoop fs -ls “ $CLUSTER_CKPT_HDFS_PATH" hadoop fs -mkdir "$ CLUSTER_CKPT_HDFS_PATH” # 如果目錄不存在，則創(chuàng)建
hadoop fs -rm -r “$CLUSTER_CKPT_HDFS_PATH/checkpoint” # 否則刪除其中的checkpoint目錄
vim config.tree_cluster.json # dependent_dirs 修改為 $WORKPATH 的完整路徑
# docker_image 修改為 $DOCKER_PATH
# checkpoint.output_dir 修改為 $CLUSTER_CKPT_HDFS_PATH/checkpoint python tree_cluster.py hadoop fs -ls "$ UPLOAD_HDFSPATH/data"
? 再次訓(xùn)練
同上
? 離線評(píng)測(cè)
在任意一次訓(xùn)練產(chǎn)出ckpt后即可按需進(jìn)行評(píng)測(cè)。
cd “ $KaTeX parse error: Expected 'EOF', got '#' at position 74: \dotsmock_train' #? 指定訓(xùn)練的ckpt目錄用于離\dots$ TRAIN_CKPT_HDFS_PATH”
vim config.predict.json # dependent_dirs 修改為 $WORKPATH 的完整路徑
# docker_image 修改為 $DOCKER_PATH
# checkpoint.output_dir 修改為 $TRAIN_CKPT_HDFS_PATH/checkpoint
vim train.py # 修改predict的代碼中DataIO的參數(shù) namenode=“hdfs://your/namenode/hdfs/path:9000”，注意和上面train不是同一處
# 最下面修改為 is_training=False
# 因?yàn)槭切?shù)據(jù)集，因此參數(shù)做些相應(yīng)調(diào)整如下：
# key_value[“pr_test_each_layer_retrieve_num”] = “40”
# key_value[“pr_test_final_layer_retrieve_num”] = “20”
python train.py --run_mode=local --config=config.predict.json
分布式試驗(yàn)小數(shù)據(jù)集
? 準(zhǔn)備任務(wù)調(diào)度目錄
可以直接使用上面單機(jī)試驗(yàn)小數(shù)據(jù)集的工作目錄，額外需要做的修改都在下面給出。注意docker應(yīng)安裝并配置HADOOP。
WORKPATH=’/your/path/work/tdm_mock’
DISTPATH=’/your/path/dist/tdm_mock’

將單機(jī)運(yùn)行docker中的工作目錄 $WORKPATH 拷貝至分布式任務(wù)調(diào)度機(jī)器上的目錄 $DISTPATH ，用于提任務(wù)。

cd “$DISTPATH/data”

目錄中僅保留三個(gè)文件 tdm.json、userbehavoir_fc.json、userbehavoir_stat.dat，其余文件刪除

這些其余文件是單機(jī)運(yùn)行時(shí)產(chǎn)出的，雖然不會(huì)導(dǎo)致運(yùn)行結(jié)果出錯(cuò)，但提任務(wù)時(shí)因?yàn)橐蟼髡麄€(gè)目錄，若不刪除則會(huì)拖慢上傳速度

? 分隔數(shù)據(jù)集，生成原始樣本csv
該步驟如上單機(jī)產(chǎn)出即可，分布式實(shí)驗(yàn)時(shí)直接使用。
? 樣本產(chǎn)出及樹初始化
cd “ $KaTeX parse error: Expected 'EOF', got '#' at position 72: \dots_mock_init' #? 指定樣本產(chǎn)出及樹初始化的ck\dots$ INIT_CKPT_HDFS_PATH”
hadoop fs -mkdir “ $KaTeX parse error: Expected 'EOF', got '#' at position 25: \dots_HDFS_PATH" #? 如果目錄不存在，則創(chuàng)建 ha\dots$ INIT_CKPT_HDFS_PATH/checkpoint” # 否則刪除其中的checkpoint目錄
vim config.tree_init.json # dependent_dirs 修改為 $DISTPATH 的完整路徑
# checkpoint.output_dir 修改為 $INIT_CKPT_HDFS_PATH/checkpoint xdl_submit.py --config config.tree_init.json ? 訓(xùn)練 cd "$ DISTPATH"
TRAIN_CKPT_HDFS_PATH=‘hdfs://your/hdfs/path/tdm_mock_train’ # 指定訓(xùn)練的ckpt目錄
hadoop fs -ls “ $TRAIN_CKPT_HDFS_PATH" hadoop fs -mkdir "$ TRAIN_CKPT_HDFS_PATH” # 如果目錄不存在，則創(chuàng)建
hadoop fs -rm -r “$TRAIN_CKPT_HDFS_PATH/checkpoint” # 否則刪除其中的checkpoint目錄
vim data/tdm.json # 因?yàn)槭切?shù)據(jù)集，因此參數(shù)做些相應(yīng)調(diào)整如下：
# train_batch_size 修改為 3000
# save_checkpoint_interval 修改為 100
vim config.train.json # dependent_dirs 修改為 $DISTPATH 的完整路徑
# checkpoint.output_dir 修改為 $KaTeX parse error: Expected 'EOF', got '#' at position 57: \dots #? 因?yàn)槭切?shù)據(jù)集，因此計(jì)算資源\dots$ DISTPATH"
CLUSTER_CKPT_HDFS_PATH=‘hdfs://your/hdfs/path/tdm_mock_cluster’ # 指定聚類的ckpt目錄
hadoop fs -ls “ $CLUSTER_CKPT_HDFS_PATH" hadoop fs -mkdir "$ CLUSTER_CKPT_HDFS_PATH” # 如果目錄不存在，則創(chuàng)建
hadoop fs -rm -r “$CLUSTER_CKPT_HDFS_PATH/checkpoint” # 否則刪除其中的checkpoint目錄
vim config.tree_cluster.json # dependent_dirs 修改為 $DISTPATH 的完整路徑
# checkpoint.output_dir 修改為 $CLUSTER_CKPT_HDFS_PATH/checkpoint xdl_submit.py --config config.tree_cluster.json ? 再次訓(xùn)練同上 ? 離線評(píng)測(cè) 在任意一次訓(xùn)練產(chǎn)出ckpt后即可按需進(jìn)行評(píng)測(cè)。 cd "$ DISTPATH"
TRAIN_CKPT_HDFS_PATH=‘hdfs://your/hdfs/path/tdm_mock_train’ # 指定訓(xùn)練的ckpt目錄用于離線評(píng)測(cè)
vim config.predict.json # dependent_dirs 修改為 $DISTPATH 的完整路徑
# checkpoint.output_dir 修改為 $TRAIN_CKPT_HDFS_PATH/checkpoint
# checkpoint.output_dir 修改為 $TRAIN_CKPT_HDFS_PATH/checkpoint
# 因?yàn)槭切?shù)據(jù)集，因此計(jì)算資源申請(qǐng)參數(shù)做相應(yīng)調(diào)整如下：
# “worker”: {
# “instance_num”: 2,
# “cpu_cores”: 8,
# “gpu_cores”: 1,
# “memory_m”: 20000
# },
# “ps”: {
# “instance_num”: 1,
# “cpu_cores”: 8,
# “gpu_cores”: 0,
# “memory_m”: 16000
# },
vim train.sh # 最下面修改為 is_training=False
xdl_submit.py --config config.predict.json
分布式試驗(yàn)UB數(shù)據(jù)集
? 準(zhǔn)備任務(wù)調(diào)度目錄
DOCKER_PATH=‘registry.cn-hangzhou.aliyuncs.com/xdl/xdl:ubuntu-gpu-mxnet1.3’ # 選擇docker鏡像地址
DISTPATH=’/your/path/dist/tdm_ub_att_ubuntu’
git clone --recursive XDL-Algorithm-Solution.git

git submodule update --init --recursive # 如果clone時(shí)沒有–recursive，那么需要執(zhí)行本行命令

cp -r XDL-Algorithm-Solution/TDM/script/tdm_ub_att_ubuntu/ “ $D I S T P A T H " ? 分隔數(shù) 據(jù) 集，生成原始樣本 c s v 該步驟見上面。 ? 樣本產(chǎn) 出及樹初始化 c d "$ DISTPATH”
UPLOAD_HDFSPATH=‘hdfs://your/dist_tree/upload/hdfs/path/tree_data’ # 指定樣本及樹的產(chǎn)出目錄
hadoop fs -ls “ $KaTeX parse error: Expected 'EOF', got '#' at position 21: \dotsD_HDFSPATH" #? 確認(rèn)該目錄之前不存在，若存在\dots$ UPLOAD_HDFSPATH”
EMB_HDFSPATH=‘hdfs://your/emb_converted/hdfs/path’ # 指定訓(xùn)練的embedding結(jié)果產(chǎn)出目錄
hadoop fs -ls “ $KaTeX parse error: Expected 'EOF', got '#' at position 21: \dotsDFSPATH" #? 確認(rèn)該目錄之前不存在，若存在\dots$ EMB_HDFSPATH”
vim data/tdm.json # train_rawdata_url 修改為 $CSV_HDFSPATH/mock_train.csv 的完整hdfs路徑
# test_rawdata_url 修改為 $CSV_HDFSPATH/mock_test.csv 的完整hdfs路徑
# upload_url 修改為 $UPLOAD_HDFSPATH 的完整hdfs路徑，此為樹及樣本生成目錄的hdfs路徑
# model_url 修改為 $KaTeX parse error: Expected 'EOF', got '#' at position 110: \dotsdm_ub_init' #? 指定樣本產(chǎn)出及樹初始化的ck\dots$ INIT_CKPT_HDFS_PATH"
hadoop fs -mkdir “ $KaTeX parse error: Expected 'EOF', got '#' at position 25: \dots_HDFS_PATH" #? 如果目錄不存在，則創(chuàng)建 ha\dots$ INIT_CKPT_HDFS_PATH/checkpoint” # 否則刪除其中的checkpoint目錄
vim config.tree_init.json # dependent_dirs 修改為 $DISTPATH 的完整路徑
# docker_image 修改為 $DOCKER_PATH
# checkpoint.output_dir 修改為 $KaTeX parse error: Expected 'EOF', got '#' at position 60: \dots #? 計(jì)算資源申請(qǐng)參數(shù)可根據(jù)用戶實(shí)\dots$ UPLOAD_HDFSPATH/data"
? 訓(xùn)練
cd “ $KaTeX parse error: Expected 'EOF', got '#' at position 72: \dotsm_ub_train' #? 指定訓(xùn)練的ckpt目錄 ha\dots$ TRAIN_CKPT_HDFS_PATH”
hadoop fs -mkdir “ $KaTeX parse error: Expected 'EOF', got '#' at position 26: \dots_HDFS_PATH" #? 如果目錄不存在，則創(chuàng)建 ha\dots$ TRAIN_CKPT_HDFS_PATH/checkpoint” # 否則刪除其中的checkpoint目錄
vim data/tdm.json # train_epochs 設(shè)置為樣本需要訓(xùn)練的輪數(shù)
vim config.train.json # dependent_dirs 修改為 $DISTPATH 的完整路徑
# docker_image 修改為 $DOCKER_PATH
# checkpoint.output_dir 修改為 $KaTeX parse error: Expected 'EOF', got '#' at position 57: \dots #? 計(jì)算資源申請(qǐng)參數(shù)可根據(jù)用戶實(shí)\dots$ TRAIN_CKPT_HDFS_PATH/checkpoint" # 查看訓(xùn)練保存的ckpt
hadoop fs -ls “ $KaTeX parse error: Expected 'EOF', got '#' at position 18: \dotsB_HDFSPATH" #? 查看生成的 item_emb\dots$ DISTPATH”
CLUSTER_CKPT_HDFS_PATH=‘hdfs://your/hdfs/path/tdm_ub_cluster’ # 指定聚類的ckpt目錄
hadoop fs -ls “ $CLUSTER_CKPT_HDFS_PATH" hadoop fs -mkdir "$ CLUSTER_CKPT_HDFS_PATH” # 如果目錄不存在，則創(chuàng)建
hadoop fs -rm -r “$CLUSTER_CKPT_HDFS_PATH/checkpoint” # 否則刪除其中的checkpoint目錄
vim config.tree_cluster.json # dependent_dirs 修改為 $DISTPATH 的完整路徑
# docker_image 修改為 $DOCKER_PATH
# checkpoint.output_dir 修改為 $KaTeX parse error: Expected 'EOF', got '#' at position 67: \dots #? 計(jì)算資源申請(qǐng)參數(shù)可根據(jù)用戶實(shí)\dots$ UPLOAD_HDFSPATH/data"
? 再次訓(xùn)練
同上
? 離線評(píng)測(cè)
在任意一次訓(xùn)練產(chǎn)出ckpt后即可按需進(jìn)行評(píng)測(cè)。
cd “$DISTPATH”
TRAIN_CKPT_HDFS_PATH=‘hdfs://your/hdfs/path/tdm_ub_train’ # 指定訓(xùn)練的ckpt目錄用于離線評(píng)測(cè)
vim config.predict.json # dependent_dirs 修改為 $DISTPATH 的完整路徑
# docker_image 修改為 $DOCKER_PATH
# checkpoint.output_dir 修改為 $TRAIN_CKPT_HDFS_PATH/checkpoint
# checkpoint.output_dir 修改為 $TRAIN_CKPT_HDFS_PATH/checkpoint
# 計(jì)算資源申請(qǐng)參數(shù)可根據(jù)用戶實(shí)際情況調(diào)整
vim train.py # 修改predict的代碼中DataIO的參數(shù) namenode=“hdfs://your/namenode/hdfs/path:9000”，注意和上面train不是同一處
# 最下面修改為 is_training=False
xdl_submit.py --config config.predict.json # 該步驟耗時(shí)約5-15分鐘，與實(shí)際計(jì)算資源有關(guān)
數(shù)據(jù)處理
本小結(jié)會(huì)簡(jiǎn)要描述數(shù)據(jù)處理階段主要完成的功能以及輸入輸出格式，主要包括生成訓(xùn)練樣本、測(cè)試樣本、初始樹.
初始數(shù)據(jù)準(zhǔn)備
在進(jìn)行數(shù)據(jù)處理之前,先要準(zhǔn)備原始訓(xùn)練數(shù)據(jù)以及原始測(cè)試數(shù)據(jù), 這兩份數(shù)據(jù)格式均為以逗號(hào)分隔的文本文件, 每行文本為一個(gè)行為記錄. 比如下面的示例數(shù)據(jù)為id為1的用戶的5條點(diǎn)擊行為(以逗號(hào)分隔的各字段含義為user_id, item_id, category_id, behavior_type, timestamp).
1,2268318,2520377,pv,1511544070
1,2333346,2520771,pv,1511561733
數(shù)據(jù)處理腳本
? 生成樣本格式
生成的樣本為文本文件, 每行為一個(gè)行為序列, 格式為:
sample id | group id | features | dense | label | ts
其中features為; 分隔的Key@Value序列
下面是行為序列樣本示例:
619706_13|619706_13|train_unit_id@3829251:1.0;item_55@1180190;item_53@2964905;item_54@4871;item_56@2416791;item_57@1420124;item_58@1165085;item_59@33793;item_65@917114;item_64@4080531;item_67@3915603;item_66@511224;item_61@2694865;item_60@5159307;item_63@2638297;item_62@511224;item_69@917114;item_68@1400292;item_52@629303||1.0|
239290_1|239290_1|train_unit_id@4075487:1.0;item_65@4940273;item_64@3654350;item_67@1314642;item_66@1042927;item_69@345076;item_68@2365838||1.0|
273937_1|273937_1|train_unit_id@2137809:1.0;item_65@170544;item_64@3433418;item_67@848255;item_66@2127356;item_69@3699491;item_68@2122609||1.0|
? 特征配置文件示例
{
“features”: {
“item_1”: {
“start”: 0,
“end”: 10,
“value”: 1
},
“item_2”: {
“start”: 10,
“end”: 20,
“value”: 1
}
}
此特征配置文件表示將用戶的第0個(gè)到第10個(gè)行為序列作為一個(gè)特征組，命名為item_1;將用戶的第10個(gè)到第20個(gè)行為序列作為一個(gè)特征組，命名為item_2;
? 數(shù)據(jù)處理流程
數(shù)據(jù)處理分為數(shù)據(jù)讀取, 生成訓(xùn)練樣本, 生成概率統(tǒng)計(jì)文件, 生成測(cè)試樣本, 生成初始化樹(PB格式), 整個(gè)流程可以用下面的流程圖描述.
? 擴(kuò)展及修改
數(shù)據(jù)處理階段的主要邏輯都在generator.py腳本中, 腳本按上述流程組織成模塊, 在需要時(shí)候非常易于擴(kuò)展及修改, 下面簡(jiǎn)單描述下各流程的主要邏輯及可能的修改.

Read And Parse Raw Data
該流程讀取并解析原始輸入的訓(xùn)練或者測(cè)試數(shù)據(jù), 并返回一個(gè)按列組織的字典, 及每個(gè)Key是一個(gè)列名, 對(duì)應(yīng)的Value是該列所有的數(shù)據(jù)(實(shí)際存儲(chǔ)為一個(gè)numpy array). 這部分邏輯比較簡(jiǎn)單, 主要就是按行讀取, 并按逗號(hào)(可以擴(kuò)展為其他分隔符)分割, 并將各列Parse成指定的數(shù)據(jù)類型. 用戶實(shí)際使用時(shí)候, 可以根據(jù)自己的數(shù)據(jù)格式修改相應(yīng)的讀取及解析邏輯, 比如支持其他的輔助列.

Generate Train Sample
這一部分生成用戶行為序列, 并寫入樣本文件中, 樣本格式見上文. 這一部分邏輯分為兩步: 先將各用戶的行為聚合起來, 實(shí)際上就是生成一個(gè)以用戶id為Key, 用戶點(diǎn)擊Item Id列表為Value的字典, 注意這里會(huì)對(duì)各用戶的點(diǎn)擊的Item進(jìn)行排序, 排序的依據(jù)是點(diǎn)擊行為發(fā)生的時(shí)間戳; 完成用戶行為聚合后, 再將用戶的行為按樣本序列長(zhǎng)度切割成樣本.

Generate Stat Info
該模塊的功能為統(tǒng)計(jì)各Item在訓(xùn)練樣本中出現(xiàn)的概率, 并將其寫入統(tǒng)計(jì)文件.
Generate Test Sample
該模塊邏輯基本和Generate Train Sample相同, 略.
Init Tree
該模塊生成初始化樹, 實(shí)際是一個(gè)逐層聚類過程, 將所有的Item按其屬性不斷的進(jìn)行二分聚類, 直至每個(gè)類只有單個(gè)的Item屬性, 聚類的最終效果是形成了一顆多層的二叉樹, 所有的item均屬于葉子節(jié)點(diǎn), 所有的葉子結(jié)點(diǎn)從左到右相當(dāng)于形成了一個(gè)有序的序列. 在實(shí)際的處理, 我們采用直接按Item的Category進(jìn)行排序, 并在排序之后不斷二分來形成初始化樹, 樹的格式及存儲(chǔ)見下面樹構(gòu)建部分.在用戶實(shí)際業(yè)務(wù)中用戶可根據(jù)自己的業(yè)務(wù)場(chǎng)景修改相應(yīng)的排序邏輯以支持不同的樹初始化方式.
樹構(gòu)建
樹構(gòu)建階段主要完成聚類樹的生成, 該階段的輸入是根據(jù)初始樹聯(lián)合訓(xùn)練生成的item的向量, 并對(duì)向量進(jìn)行聚類生成新的聚類樹.
輸入數(shù)據(jù)及格式
樹構(gòu)建階段的輸入是用初始樹聯(lián)合訓(xùn)練產(chǎn)生的向量, 輸入的格式為文本格式, 每一行描述一個(gè)Item對(duì)應(yīng)的id和向量, 均為數(shù)值類型, 各數(shù)值之間以逗號(hào)分隔, 下面為截選的部分輸入數(shù)據(jù).
2515040,-0.508644402027,-0.016029631719,-0.20682746172,-0.397063672543,-0.00334448833019,-0.960261583328,0.316593915224,-0.636762738228,-0.217385306954,0.0592824667692,0.35680475831,-0.43331822753,-0.369034737349,0.351467847824,0.0969775170088,0.265370905399,0.0815298631787,-0.389724433422,-0.339153647423,0.273165374994,-0.00598054006696,-0.488672584295,0.405939608812,-0.492451280355
235900,-0.0178719386458,0.117409579456,0.0135170938447,0.208914965391,0.270535558462,-0.295207798481,-0.177082359791,-0.312212228775,0.449806898832,0.338447093964,0.0621097162366,0.327057540417,0.126456350088,0.0875944793224,0.577477931976,-0.351881921291,0.138958856463,-0.538168728352,0.329808682203,-0.239835038781,0.19346319139,0.393561393023,0.111480668187,0.317542433739
3148360,0.359621971846,-0.127544790506,-0.297782152891,-0.368366599083,0.223647251725,-0.104716196656,-0.306075185537,-0.406704396009,0.10038292408,0.712464630604,0.195787191391,-0.0189999304712,-0.146252155304,0.15387006104,-0.297544956207,0.317622750998,0.0184208322316,-0.128658607602,0.0909625515342,-0.0311253629625,0.260530024767,-0.622160255909,0.687025904655,-0.309245109558
生成樹存儲(chǔ)結(jié)構(gòu)及格式
聚類產(chǎn)生的是一個(gè)編碼樹, 并以Key Value的形式存儲(chǔ)在任意分布式或本地Key Value存儲(chǔ)中。
其中Key是各個(gè)節(jié)點(diǎn)的編碼, Value則以PB的形式存儲(chǔ)各種屬性是信息, 節(jié)點(diǎn)存儲(chǔ)信息的PB描述如下.
message Node {
required int64 id = 1;
required float probality = 2;
required int32 leaf_cate_id = 3;
required bool is_leaf = 4;
repeated float embed_vec = 5;
optional bytes data = 6;
}
在Key Value存儲(chǔ)之上, 樹提供各種豐富的接口, 可以訪問樹的祖先, 兄弟, 孩子, 并能按層進(jìn)行迭代。

總結(jié)

以上是生活随笔為你收集整理的深度树匹配模型(TDM)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇： X-Deep Learning功能模块
下一篇：腾讯 angel 3.0：高效处理模型