Incorporating External Knowledge into Crowd Intelligence for More Specific Knowledge Acquisition

關(guān)鍵知識(shí)：眾包、加權(quán)投票、WordNet

引自：Han T , Sun H , Song Y , et al. Incorporating External Knowledge into Crowd Intelligence for More Specific Knowledge Acquisition[C]// IJCAI2016. AAAI Press, 2016.

摘要：

? 眾包已經(jīng)成為一種有效的機(jī)制，可以利用人類智能為明確的任務(wù)獲取有用的知識(shí)。然而，當(dāng)基于當(dāng)前開發(fā)的投票算法對(duì)群體知識(shí)進(jìn)行聚合時(shí)，通常會(huì)無法推理出符合預(yù)期的統(tǒng)一知識(shí)。在本文中，我們考慮通過眾包收集盡可能具體的知識(shí)的問題。借助WordNet等外部知識(shí)庫，將備選答案之間的語義關(guān)系納入概率模型，以確定哪個(gè)答案更具體。在考慮工人能力和任務(wù)難度的基礎(chǔ)上，建立了概率模型，并用期望最大化算法求解。實(shí)驗(yàn)結(jié)果表明，當(dāng)期望得到更具體的答案時(shí)，我們的方法比多數(shù)投票法提高了35.88%。

1. Introduction

? 眾包已經(jīng)成功地用于利用人類智能來執(zhí)行計(jì)算機(jī)目前無法完成的任務(wù)。它已應(yīng)用于許多應(yīng)用，如命名實(shí)體分辨率、圖像注釋、音頻識(shí)別、視頻注釋等。然而，當(dāng)眾包技術(shù)應(yīng)用于知識(shí)獲取時(shí)，如信息提取和圖像標(biāo)注，就會(huì)產(chǎn)生一個(gè)需要獲取何種知識(shí)的問題。據(jù)我們所知，大多數(shù)眾包結(jié)果的聚集算法都基于多數(shù)投票或其變體。在投票方法中，最終的聚合答案通常用基本級(jí)概念的常識(shí)知識(shí)表示。對(duì)于對(duì)象識(shí)別，機(jī)器可以用基本級(jí)概念識(shí)別對(duì)象，這與人類更為一致。然而，對(duì)于知識(shí)獲取，更具體的概念往往是首選。一方面，更具體的知識(shí)意味著對(duì)一個(gè)實(shí)例或一個(gè)問題有更多具體的注解或答案。另一方面，當(dāng)我們有足夠的分類學(xué)知識(shí)庫時(shí)，我們可以很容易地將特定的概念映射到更普遍的概念中。然而，在計(jì)算機(jī)在運(yùn)行中卻很難將一般概念實(shí)例化為更具體的概念。例如，如果我們想要注釋蜂鳥的圖片，大多數(shù)工作人員將其標(biāo)記為鳥，投票算法將其注釋為鳥，那么就沒有機(jī)會(huì)獲得蜂鳥的知識(shí)，因?yàn)橐呀?jīng)做出了決定。

? 在本文中，我們主要關(guān)注如何從眾包結(jié)果中生成更具體的知識(shí)。這個(gè)問題有兩大挑戰(zhàn)。首先，與普通知識(shí)相比，更具體的答案往往被貼上更少的工人標(biāo)簽。因此，不太可能直接從投票結(jié)果中獲得此類信息。盡管如此，如果我們有一些外部知識(shí)表明某些概念是更高層次概念的子接受，那么我們可以得出一個(gè)模型，將這些知識(shí)納入投票中，以重新加權(quán)更具體的概念。一些知識(shí)庫對(duì)這種概念接受關(guān)系有廣泛的覆蓋，而我們?cè)谶@里使用WordNet作為外部知識(shí)。

? 其次，由于人的行為包含策略、錯(cuò)誤和惡意，如何從這些不可靠的多重答案中總結(jié)出可信的答案是眾包中的一個(gè)重要問題。不同的工人可能有不同的回答能力，而不同的任務(wù)可能對(duì)不同的工人有不同的難度。因此，研究表明，將員工能力和任務(wù)難度納入眾包決策可以顯著提高結(jié)果。對(duì)于更具體的知識(shí)，工作人員的能力和任務(wù)難度是更為關(guān)鍵的問題，因?yàn)楸姲脚_(tái)通常不針對(duì)任何特定領(lǐng)域開發(fā)，平臺(tái)上的工作人員可能不是領(lǐng)域?qū)＜?。因?#xff0c;在決策模型中考慮這兩個(gè)因素更為重要。例如，在我們的案例中，我們需要考慮這些因素如何與外部知識(shí)交互。

? 考慮到上述挑戰(zhàn)和考慮，我們提出了一種概率模型，稱為具有外部知識(shí)的簡(jiǎn)單性能力估計(jì)模型（SEEK），其中我們將任務(wù)難度、工作能力和外部知識(shí)方面最具體的可信標(biāo)簽的條件概率分解為因子。在這里，我們使用“任務(wù)簡(jiǎn)單性”而不是“困難性”來使這個(gè)因素與工人的能力相一致。然后采用期望最大化算法對(duì)模型進(jìn)行求解。在獲取二元關(guān)系以構(gòu)建概念分類法方面，已有一些重大研究，并使用分類法根據(jù)多標(biāo)簽分類法對(duì)項(xiàng)目進(jìn)行分類。與在分類法中提出任何二進(jìn)制問題并智能地選擇由控制算法提出哪些問題的方法相比，我們的方法要求工作人員輸入一個(gè)標(biāo)簽，并決定在所有標(biāo)簽中哪一個(gè)更具體。

本文的貢獻(xiàn)總結(jié)如下：

• 提出了一個(gè)眾包問題，目標(biāo)是從工人那里獲得更具體的知識(shí)。
• 提出了一種決策算法，可以評(píng)估任務(wù)的簡(jiǎn)單性、用戶能力，并結(jié)合外部知識(shí)來解決問題。
• 進(jìn)行了一系列實(shí)驗(yàn)，以證明與最先進(jìn)的方法相比，表明工作的有效性和優(yōu)勢(shì)。

2. Problem Formulation

? 在本節(jié)中，我們將介紹我們通過眾包獲取知識(shí)的問題。

2.1 Definition of KAC

? 我們一般將我們的問題稱為利用眾包的知識(shí)獲取（Knowledge Acquisition with Crowdsourcing，KAC）問題。

? 例如，如果有100個(gè)任務(wù)、10個(gè)工作人員和4個(gè)候選標(biāo)簽供工作人員選擇，那么聚合算法將確定一個(gè)以10010標(biāo)簽矩陣為輸入，以100維標(biāo)簽向量為輸出的函數(shù)。標(biāo)簽向量的每個(gè)元素都是4個(gè)候選標(biāo)簽之一中對(duì)應(yīng)任務(wù)的最終答案。。

2.2 Definition of HKAC

? 當(dāng)員工的替代答案之間存在概念上的次接受關(guān)系時(shí)，我們稱之為“眾包分層知識(shí)獲取”（Hierarchical Knowledge Acquisition with Crowdsourcing，HKAC）。在這種情況下，標(biāo)簽具有如圖1所示的層次樹形結(jié)構(gòu)。如果標(biāo)簽是另一個(gè)標(biāo)簽的父節(jié)點(diǎn)，這意味著第一個(gè)標(biāo)簽的概念比第二個(gè)標(biāo)簽的概念更通用。相反，如果標(biāo)簽是另一個(gè)標(biāo)簽的子節(jié)點(diǎn)之一，這意味著第一個(gè)標(biāo)簽的概念比第二個(gè)標(biāo)簽的概念更具體。HKAC問題是選擇一個(gè)盡可能具體的標(biāo)簽，即使工人提供的標(biāo)簽比相對(duì)具體的標(biāo)簽更常見。由于投票不能幫助我們選擇更具體的標(biāo)簽，我們建議使用外部知識(shí)庫，即WordNet，來識(shí)別替代標(biāo)簽之間的語義關(guān)系。

2.3 Workflow

? 為了整合層次知識(shí)，我們提出了如圖2所示的眾包工作流程。

? 與一般的眾包工作流程不同，我們整合了外部知識(shí)，以克服標(biāo)簽與共同知識(shí)的融合。本工作流程的步驟如下所示。

• 步驟1：請(qǐng)求者將任務(wù)發(fā)布到眾包平臺(tái)，例如Crowdflower。
• 步驟2：平臺(tái)根據(jù)其調(diào)度策略和用戶指定的約束將任務(wù)分配給工人。
• 步驟3：對(duì)于每個(gè)接收到的任務(wù)，工作人員提供一個(gè)標(biāo)簽，她/他認(rèn)為最好描述對(duì)象或回答相應(yīng)任務(wù)中的問題。
• 步驟4：從工人那里收集所有標(biāo)簽之后，我們使用外部知識(shí)庫運(yùn)行模型，以推斷每個(gè)任務(wù)的聚合結(jié)果。最后，所有的聚合結(jié)果都返回給請(qǐng)求者。

3. SEEK Model

? 在本節(jié)中，我們首先展示了從外部知識(shí)庫wordnet派生的關(guān)系函數(shù)。然后，我們提出了一個(gè)簡(jiǎn)單的修改過的多數(shù)投票算法，以納入外部知識(shí)。我們進(jìn)一步引入概率模型，使外部知識(shí)與任務(wù)難度和工人能力相互作用。最后，我們完成了搜索模型，并用EM算法給出了解決方案。

3.1 External Knowledge

? 我們使用出一個(gè)關(guān)系函數(shù)覆蓋基于外部知識(shí)的標(biāo)簽域，以此來描述標(biāo)簽的語義關(guān)系：

? 其中，Dist是WordNet圖上兩個(gè)節(jié)點(diǎn)之間的標(biāo)準(zhǔn)化距離。它被計(jì)算為**從較淺的節(jié)點(diǎn)到根的路徑長(zhǎng)度上兩個(gè)節(jié)點(diǎn)到它們的共同祖先的最短路徑的長(zhǎng)度**。

3.2 Majority Voting with External Knowledge

? 在最初的多數(shù)投票中，我們根據(jù)標(biāo)簽的頻率對(duì)其進(jìn)行評(píng)估。

? 其中，i是一個(gè)指標(biāo)函數(shù)。在加權(quán)多數(shù)投票中，我們稱之為能力加權(quán)多數(shù)投票（MWW）算法，我們用工人i的能力ai （我們可以簡(jiǎn)單地使用聚合標(biāo)簽置信度）來計(jì)算工作能力對(duì)每個(gè)標(biāo)簽進(jìn)行加權(quán)。

? 在給定關(guān)系函數(shù)的情況下，我們可以得到一個(gè)簡(jiǎn)單的基于外部知識(shí)的多數(shù)投票算法，如算法1所示。給定標(biāo)簽集L和關(guān)系矩陣R，它推斷出每個(gè)任務(wù)的答案。

3.3 Probabilistic Modeling

? MWK以簡(jiǎn)單的方式考慮外部知識(shí)和工人能力?，F(xiàn)在，我們引入了一個(gè)更通用、更精細(xì)的模型，將工作能力和任務(wù)簡(jiǎn)單性結(jié)合起來。從概率論的觀點(diǎn)來看，我們把 R(xk,xl) 看作是標(biāo)簽 lij=xk 概率的非負(fù)單調(diào)遞增函數(shù)，給定聚合標(biāo)簽 ，即

? 其中g(shù)(·)是單調(diào)函數(shù)。

3.4 Inference

? 根據(jù)之前的討論，我們正式引入了圖3所示的Seek模型。我們將 作為標(biāo)簽域j中的觀察標(biāo)簽，未觀察到的變量是“完美”標(biāo)簽、能力參數(shù)、簡(jiǎn)單參數(shù)、優(yōu)勢(shì)和的條件概率變量。

? 為了簡(jiǎn)單起見，我們忽略了a和s的先驗(yàn)，并使用EM算法獲得和參數(shù)的最大似然估計(jì)，EM算法總結(jié)在算法2中。

4. Evaluation

? 在本節(jié)中，我們報(bào)告了提出的SEEK模型在正確性和有效性方面的評(píng)估結(jié)果。

4.1 Data Preparation

? 我們使用了LEVAN (learn everything about anything)項(xiàng)目中使用的圖像，該項(xiàng)目提供了不同概念顆粒度的多種圖像類別。我們使用的概念選自以下一組靠前的概念{bird, dog, cat, crow, horse, sheep}。我們用不同的概念對(duì)圖像進(jìn)行了爬取，并過濾掉無效URL的圖像，最終得到631張清晰的實(shí)驗(yàn)圖像。

? 我們遵循基于Crowdflower的工作流程，通過雇傭平臺(tái)中工人的最高級(jí)別的3級(jí)工人來確保標(biāo)簽的質(zhì)量。我們給了工人一個(gè)簡(jiǎn)短的指示，讓他們盡可能地提供具體的標(biāo)簽。對(duì)于每項(xiàng)任務(wù)，都要求工人在文本框中填寫他們?yōu)閳D像提供的標(biāo)簽。

? 最初，我們計(jì)劃在Crowdflower上用WordNet中的相應(yīng)概念呈現(xiàn)候選標(biāo)簽集。然而，Crowdflower不支持從WordNet動(dòng)態(tài)提取概念，我們必須要求工人在文本框中輸入標(biāo)簽。因此，在檢索到這631個(gè)任務(wù)及其6310個(gè)標(biāo)簽（其中每個(gè)任務(wù)有10個(gè)標(biāo)簽）并手動(dòng)更正拼寫錯(cuò)誤后，我們使用WordNet檢查了這些標(biāo)簽，并保留了WordNet中可以找到的標(biāo)簽。

? 對(duì)于評(píng)估而言，“Groundtruth”不是Levan提供的正確類別，而是包含每個(gè)圖像最具體知識(shí)的最佳類別。而且，對(duì)最特別的類別的原始LEVAN的注釋還不夠好。因此，我們手動(dòng)地從任務(wù)的標(biāo)簽域中修正了標(biāo)簽的Groundtruth。每項(xiàng)任務(wù)都由我們實(shí)驗(yàn)室的兩名同事貼上標(biāo)簽，只有他們雙方同意的標(biāo)簽被保留為基本事實(shí)。然后還有344個(gè)任務(wù)，其中有142個(gè)任務(wù)的標(biāo)簽域只包含一個(gè)標(biāo)簽，這意味著不需要聚合。因此，我們進(jìn)一步篩選了344個(gè)任務(wù)中的142個(gè)任務(wù)，最終有202個(gè)任務(wù)需要評(píng)估。在我們的標(biāo)簽過程中，我們發(fā)現(xiàn)確定“Groundtruth”的挑戰(zhàn)在于難以區(qū)分概念上非常相似的標(biāo)簽。例如，ecrow and raven,eagle and hawk等沖突案例。
? 在選定的202個(gè)任務(wù)中，有1789個(gè)標(biāo)簽由154名工人標(biāo)注，唯一標(biāo)簽的數(shù)量為92個(gè)，這與其他眾包標(biāo)記任務(wù)相比相當(dāng)大。這些標(biāo)簽的部分分布如圖4所示。我們按照原始工人標(biāo)簽的頻率的降序對(duì)唯一標(biāo)簽進(jìn)行分類，圖中顯示為“Total”。我們還將在同一個(gè)圖中顯示由我們固定的“Groundtruth”標(biāo)簽。通過對(duì)標(biāo)簽分布的比較，我們可以看出，在原工人的標(biāo)簽結(jié)果中，高頻標(biāo)簽是最平常的知識(shí)。相反，“Groundtruth”集合中的標(biāo)簽是更具體的標(biāo)簽。

【注：即工人所標(biāo)記的大多為一般性知識(shí)標(biāo)簽；而groundtruth標(biāo)記的大多是更具體的知識(shí)標(biāo)簽】

4.2 Comparison Results

? 我們實(shí)施了六種比較算法：我們的SEEK算法、多數(shù)投票（MV）、能力權(quán)重多數(shù)投票（MWW）、外部知識(shí)多數(shù)投票（MWK）、Zhou的極大極小熵法和基于DAWID和SKENE方法（DS）。在這些算法中，SEEK和MWK結(jié)合了外部知識(shí)。MWK以一種本地的方式使用知識(shí)，同時(shí)SEEK通過“學(xué)習(xí)”ai和sj的參數(shù)。

? 所有算法的精度如表1所示。由于在我們的整體問題中，我們有一組更大的獨(dú)特標(biāo)簽，因此問題比之前工作中評(píng)估過的問題更為困難。從表1可以看出，Zhou和DS的精度與MV和MWW的精度相當(dāng)，因?yàn)樗鼈儽举|(zhì)上是同一類算法它們之間的區(qū)別在于如何結(jié)合工人的能力和任務(wù)的簡(jiǎn)單性。然而，對(duì)于我們的問題，如何評(píng)價(jià)這些參數(shù)的差異并不會(huì)對(duì)最終結(jié)果產(chǎn)生太大的影響。由于他們不考慮標(biāo)簽的特殊性，當(dāng)模型過于復(fù)雜時(shí)，單純地估計(jì)工人的能力和任務(wù)的簡(jiǎn)單性甚至可能損害結(jié)果。MWW還考慮了通過工人“能力”來增強(qiáng)大多數(shù)標(biāo)簽影響的權(quán)重。由于數(shù)據(jù)的稀缺性，因此，MWW估計(jì)能力的方式根本不影響結(jié)果，而MWW和MV結(jié)果的準(zhǔn)確性完全相同。最后我們可以看到，Seek的精度為61.88%，與多數(shù)投票相比提高了35.88%。有趣的是，MWK也明顯優(yōu)于多數(shù)投票。這意味著對(duì)于我們的問題，整合外部知識(shí)可能比整合工人能力和任務(wù)簡(jiǎn)單性更有用。盡管如此，評(píng)估工人能力和任務(wù)簡(jiǎn)單性的方法以及與知識(shí)的交互方式也有幫助，這導(dǎo)致尋求優(yōu)于MWK。

? 我們最后在圖5和圖6中報(bào)告了結(jié)果標(biāo)簽分布。在圖5中，我們分別比較不同算法的分布，其中水平軸表示圖4中所示的相同標(biāo)簽。由于空間限制，我們只顯示標(biāo)簽的ID，而不顯示標(biāo)簽本身。我們可以看到MV/MWW、Zhou和DS的分布主要集中在高頻標(biāo)簽上，這表明它們傾向于在所有數(shù)據(jù)中選擇通用標(biāo)簽。對(duì)于SEEK和MWK，它們的尾分布比MV/MWW長(zhǎng)。然而，由于數(shù)據(jù)的稀缺性，對(duì)標(biāo)簽總分布的估計(jì)似乎還不夠完善。我們也在圖6中顯示了更詳細(xì)的部分分布，在這里我們只比較MV、MWW和“Groundtruth”標(biāo)簽。我們可以看到，對(duì)于像“鷹”、“藍(lán)鳥”和“海鷗”這樣的低頻標(biāo)簽，SEEK的結(jié)果更接近于“基本事實(shí)”。

5. Comparison Results

? 本文提出了一個(gè)基于眾包的知識(shí)獲取新問題，并提出了一種新的概率模型，可以利用外部知識(shí)庫中的知識(shí)，如wordnet。在概率模型中，我們自動(dòng)學(xué)習(xí)工人的能力和任務(wù)的簡(jiǎn)單性來定制算法以適應(yīng)數(shù)據(jù)。研究結(jié)果表明，利用外部知識(shí)可以大大提高員工的投票能力，學(xué)習(xí)員工的能力和任務(wù)簡(jiǎn)單性也有助于提高員工的績(jī)效，而不是對(duì)員工能力進(jìn)行簡(jiǎn)單的加權(quán)。因此，我們可以得出結(jié)論，對(duì)于使用眾包獲取更具體的知識(shí)的問題，外部知識(shí)和眾包具體參數(shù)（如工人能力和任務(wù)簡(jiǎn)單性）都很重要。

? 還有一個(gè)問題是，當(dāng)我們?cè)O(shè)計(jì)眾包任務(wù)時(shí)，工人們看不到外部知識(shí)庫。我們假設(shè)，如果我們能夠向工人展示知識(shí)庫，或者工人能夠與知識(shí)庫交互，最終的結(jié)果可能會(huì)比當(dāng)前的結(jié)果更好。另一個(gè)問題是，多數(shù)投票仍然受到數(shù)據(jù)稀缺的困擾。在我們的問題中，與以前的眾包任務(wù)相比，我們有許多獨(dú)特的標(biāo)簽，并且每項(xiàng)任務(wù)可能比傳統(tǒng)的眾包問題更困難（如果我們將共同概念與更具體的概念進(jìn)行比較）。因此，每項(xiàng)任務(wù)可能需要更多的工人來投票以獲得良好的結(jié)果。因此，如果我們?cè)试S更多的工人在同一個(gè)任務(wù)上貼上標(biāo)簽，多數(shù)人的投票結(jié)果也會(huì)得到改善。然而，在這種情況下，眾包成本也會(huì)增加。以前的眾包被證明對(duì)更簡(jiǎn)單的任務(wù)更有用。通過將眾包和傳統(tǒng)知識(shí)庫結(jié)合起來，這項(xiàng)工作可以被視為第一次嘗試解決更困難問題的嘗試之一。

總結(jié)

以上是生活随笔為你收集整理的将外部知识整合到群体智能中，以获得更具体的知识的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。