主题模型LDA
轉自:主題模型TopicModel:主題模型LDA的應用
http://blog.csdn.net/pipisorry/article/details/45665779
主題模型LDA的應用
拿到這些topic后繼續后面的這些應用怎么做呢:
除了推斷出這些主題,LDA還可以推斷每篇文章在主題上的分布。例如,X文章大概有60%在討論“空間探索”,30%關于“電腦”,10%關于其他主題。
這些主題分布可以有多種用途:
聚類: 主題是聚類中心,文章和多個類簇(主題)關聯。聚類對整理和總結文章集合很有幫助。參看Blei教授和Lafferty教授對于Science雜志的文章生成的總結。點擊一個主題,看到該主題下一系列文章。
特征生成:LDA可以生成特征供其他機器學習算法使用。如前所述,LDA為每一篇文章推斷一個主題分布;K個主題即是K個數值特征。這些特征可以被用在像邏輯回歸或者決策樹這樣的算法中用于預測任務。
降維:每篇文章在主題上的分布提供了一個文章的簡潔總結。在這個降維了的特征空間中進行文章比較,比在原始的詞匯的特征空間中更有意義。
排序:The very best ways to sort large databases of unstructured text is to use a technique called Latent Dirichlet allocation (LDA).
皮皮blog
應用于推薦系統
在使用LDA(Latent Dirichlet Allocation)計算物品的內容相似度時,我們可以先計算出物品在話題上的分布,然后利用兩個物品的話題分布計算物品的相似度。比如,如果兩個物品的話題分布相似,則認為兩個物品具有較高的相似度,反之則認為兩個物品的相似度較低。計算分布的相似度可以利用KL散度來計算:
DKL(p||q)=∑i∈Xp(i)ln(p(i)/q(i),其中p和q是兩個分布,KL散度越大說明分布的相似度越低。
[基于主題模型的學術論文推薦系統研究]
隱語義模型LFM和LSI,LDA,Topic Model其實都屬于隱含語義分析技術,是一類概念,他們在本質上是相通的,都是找出潛在的主題或分類。這些技術一開始都是在文本挖掘領域中提出來的,近些年它們也被不斷應用到其他領域中,并得到了不錯的應用效果。比如,在推薦系統中它能夠基于用戶的行為對item進行自動聚類,也就是把item劃分到不同類別/主題,這些主題/類別可以理解為用戶的興趣。
對于一個用戶來說,他們可能有不同的興趣。就以作者舉的豆瓣書單的例子來說,用戶A會關注數學,歷史,計算機方面的書,用戶B喜歡機器學習,編程語言,離散數學方面的書, 用戶C喜歡大師Knuth, Jiawei Han等人的著作。那我們在推薦的時候,肯定是向用戶推薦他感興趣的類別下的圖書。那么前提是我們要對所有item(圖書)進行分類。那如何分呢?大家注意到沒有,分類標準這個東西是因人而異的,每個用戶的想法都不一樣。拿B用戶來說,他喜歡的三個類別其實都可以算作是計算機方面的書籍,也就是說B的分類粒度要比A小;拿離散數學來講,他既可以算作數學,也可當做計算機方面的類別,也就是說有些item不能簡單的將其劃歸到確定的單一類別;拿C用戶來說,他傾向的是書的作者,只看某幾個特定作者的書,那么跟A,B相比它的分類角度就完全不同了。
顯然我們不能靠由單個人(編輯)或team的主觀想法建立起來的分類標準對整個平臺用戶喜好進行標準化。
此外我們還需要注意的兩個問題:
? R矩陣是user-item矩陣,矩陣值Rij表示的是user i 對item j的興趣度,這正是我們要求的值。對于一個user來說,當計算出他對所有item的興趣度后,就可以進行排序并作出推薦。LFM算法從數據集中抽取出若干主題,作為user和item之間連接的橋梁,將R矩陣表示為P矩陣和Q矩陣相乘。其中P矩陣是user-class矩陣,矩陣值Pij表示的是user i對class j的興趣度;Q矩陣式class-item矩陣,矩陣值Qij表示的是item j在class i中的權重,權重越高越能作為該類的代表。所以LFM根據如下公式來計算用戶U對物品I的興趣度
我們發現使用LFM后,?
那么,接下去的問題就是如何計算矩陣P和矩陣Q中參數值。一般做法就是最優化損失函數來求參數。在定義損失函數之前,我們需要準備一下數據集并對興趣度的取值做一說明。
數據集應該包含所有的user和他們有過行為的(也就是喜歡)的item。所有的這些item構成了一個item全集。對于每個user來說,我們把他有過行為的item稱為正樣本,規定興趣度RUI=1,此外我們還需要從item全集中隨機抽樣,選取與正樣本數量相當的樣本作為負樣本,規定興趣度為RUI=0。因此,興趣的取值范圍為[0,1]。
采樣之后原有的數據集得到擴充,得到一個新的user-item集K={(U,I)},其中如果(U,I)是正樣本,則RUI=1,否則RUI=0。損失函數如下所示:
上式中的 是用來防止過擬合的正則化項,λ需要根據具體應用場景反復實驗得到。損失函數的優化使用隨機梯度下降算法:
其中,α是學習速率,α越大,迭代下降的越快。α和λ一樣,也需要根據實際的應用場景反復實驗得到。本書中,作者在 MovieLens 數據集上進行實驗,他取分類數F=100,α=0.02,λ=0.01。
? ? ? ? ? ? ? ?【注意】:書中在上面四個式子中都缺少了
綜上所述,執行LFM需要:
LFM的偽代碼可以表示如下:
總結來說,LFM具有成熟的理論基礎,它是一個純種的學習算法,通過最優化理論來優化指定的參數,建立最優的模型。
[使用LFM(Latent factor model)隱語義模型進行Top-N推薦]
[主題模型LDA及其在微博推薦&廣告算法中的應用]
皮皮blog
LDA主題模型用于BUG修復人推薦
[缺陷修復人預測(Bug Triaging)]
[LDA主題模型用于BUG修復人推薦《DRETOM: developer recommendation based on topic models for bug resolution》]
[主題模型在文本挖掘中的應用.pdf]
ref:?
http://blog.csdn.net/pipisorry/article/details/45771045
LDA的python實現
從0開始實現
Shuyo的github代碼:實現語言,Python,實現模型,LDA,Dirichlet Process Gaussian Mixture Model,online HDP,HDPLDA,Interactive Topic Model,Labeled LDA
地址:https://github.com/shuyo/iir/tree/master/lda
arongdari的github代碼:實現語言,Python,實現模型,LDA,Correlated Topic Model,Relational topic model,Author-Topic model,HMM-LDA,Discrete Infinite logistic normal,Supervised Topic Model,Hierarchical Dirichlet process,Hierarchical Dirichlet scaling process
地址:https://github.com/arongdari/python-topic-model
ahmaurya的github代碼:實現語言,Python,實現模型,Topic Over Time
github代碼地址:https://github.com/ahmaurya/topics_over_time
Blei實驗室的代碼:實現語言,Python,實現模型,online lda,online HDP,turbo topic model,topic model visualization engine,實現語言,C,實現模型,correlated topic model,discrete infinite logistic normal,HLDA,lda,實現語言C++,實現模型,ctr,class-slda,Dynamic Topic model and the influence model,實現語言R,實現模型 lda
github代碼地址:http://www.cs.columbia.edu/~blei/topicmodeling_software.html
gensim實現[主題模型TopicModel:通過gensim實現LDA?]
[Latent Dirichlet Allocation in Python
Latent Dirichlet Allocation in?Python
Online LDA的python實現
github:python-topic-model
Multicore LDA in Python: from over-night to over-lunch]
[Getting started with Latent Dirichlet Allocation in Python?install?lda]
pyspark實現LDA
[Spark:聚類算法之LDA主題模型算法?]
LDA的c/c++實現
GibbsLDA++: A C/C++ Implementation of Latent Dirichlet Allocation (LDA) using Gibbs Sampling for Parameter Estimation and Inference
GibbsLDA++: A C/C++ Gibbs Sampling LDA | SourceForge.net
plda - A parallel C++ implementation of fast Gibbs sampling of Latent Dirichlet Allocation - Google Project Hosting
Latent Dirichlet Allocation in C
Latent?Dirichlet?Allocation(LDA)主題模型算法實現及源碼解析_AriannaChen_新浪博客
皮皮Blog
LDA的java實現
MALLET:實現語言,Java,實現模型,LDA,HLDA,Pachinko Allocation Model,此外,還實現了HMM,最大熵馬爾科夫模型和條件隨機場;
yangliuy/LDAGibbsSampling · GitHub
JGibbLDA: A Java Implementation of Latent Dirichlet Allocation (LDA) using Gibbs Sampling for Parameter Estimation and Inference
概率語言模型及其變形系列(5)-LDA Gibbs Sampling 的JAVA實現 - Coding for Dreams - 博客頻道 - CSDN.NET
http://www.arbylon.net/projects/LdaGibbsSampler.java
LDA的R實現
R下用GlossEx做關鍵詞抽取和主題分析
from:http://blog.csdn.net/pipisorry/article/details/45771045
ref:?主題模型及其變種的實現代碼匯總
總結
- 上一篇: WinRAR 4.0 简体中文正式版美化
- 下一篇: 绘制自己的人际关系图_攒人脉,建圈子,从