譯者: alex
?
摘要
MapReduce是一個編程模型，也是一個處理和生成超大數(shù)據(jù)集的算法模型的相關實現(xiàn)。用戶首先創(chuàng)建一個Map函數(shù)處理一個基于key/value pair的數(shù)據(jù)集合，輸出中間的基于key/value pair的數(shù)據(jù)集合；然后再創(chuàng)建一個Reduce函數(shù)用來合并所有的具有相同中間key值的中間value值。現(xiàn)實世界中有很多滿足上述處理模型的例子，本論文將詳細描述這個模型。
?
MapReduce架構的程序能夠在大量的普通配置的計算機上實現(xiàn)并行化處理。這個系統(tǒng)在運行時只關心：如何分割輸入數(shù)據(jù)，在大量計算機組成的集群上的調度，集群中計算機的錯誤處理，管理集群中計算機之間必要的通信。采用MapReduce架構可以使那些沒有并行計算和分布式處理系統(tǒng)開發(fā)經(jīng)驗的程序員有效利用分布式系統(tǒng)的豐富資源。
?
我們的MapReduce實現(xiàn)運行在規(guī)模可以靈活調整的由普通機器組成的集群上：一個典型的MapReduce計算往往由幾千臺機器組成、處理以TB計算的數(shù)據(jù)。程序員發(fā)現(xiàn)這個系統(tǒng)非常好用：已經(jīng)實現(xiàn)了數(shù)以百計的MapReduce程序，在Google的集群上，每天都有1000多個MapReduce程序在執(zhí)行。
1、介紹
在過去的5年里，包括本文作者在內的Google的很多程序員，為了處理海量的原始數(shù)據(jù)，已經(jīng)實現(xiàn)了數(shù)以百計的、專用的計算方法。這些計算方法用來處理大量的原始數(shù)據(jù)，比如，文檔抓取（類似網(wǎng)絡爬蟲的程序）、Web請求日志等等；也為了計算處理各種類型的衍生數(shù)據(jù)，比如倒排索引、Web文檔的圖結構的各種表示形勢、每臺主機上網(wǎng)絡爬蟲抓取的頁面數(shù)量的匯總、每天被請求的最多的查詢的集合等等。大多數(shù)這樣的數(shù)據(jù)處理運算在概念上很容易理解。然而由于輸入的數(shù)據(jù)量巨大，因此要想在可接受的時間內完成運算，只有將這些計算分布在成百上千的主機上。如何處理并行計算、如何分發(fā)數(shù)據(jù)、如何處理錯誤？所有這些問題綜合在一起，需要大量的代碼處理，因此也使得原本簡單的運算變得難以處理。
?
為了解決上述復雜的問題，我們設計一個新的抽象模型，使用這個抽象模型，我們只要表述我們想要執(zhí)行的簡單運算即可，而不必關心并行計算、容錯、數(shù)據(jù)分布、負載均衡等復雜的細節(jié)，這些問題都被封裝在了一個庫里面。設計這個抽象模型的靈感來自Lisp和許多其他函數(shù)式語言的Map和Reduce的原語。我們意識到我們大多數(shù)的運算都包含這樣的操作：在輸入數(shù)據(jù)的“邏輯”記錄上應用Map操作得出一個中間key/value pair集合，然后在所有具有相同key值的value值上應用Reduce操作，從而達到合并中間的數(shù)據(jù)，得到一個想要的結果的目的。使用MapReduce模型，再結合用戶實現(xiàn)的Map和Reduce函數(shù)，我們就可以非常容易的實現(xiàn)大規(guī)模并行化計算；通過MapReduce模型自帶的“再次執(zhí)行”（re-execution）功能，也提供了初級的容災實現(xiàn)方案。
?
這個工作(實現(xiàn)一個MapReduce框架模型)的主要貢獻是通過簡單的接口來實現(xiàn)自動的并行化和大規(guī)模的分布式計算，通過使用MapReduce模型接口實現(xiàn)在大量普通的PC機上高性能計算。
?
第二部分描述基本的編程模型和一些使用案例。第三部分描述了一個經(jīng)過裁剪的、適合我們的基于集群的計算環(huán)境的MapReduce實現(xiàn)。第四部分描述我們認為在MapReduce編程模型中一些實用的技巧。第五部分對于各種不同的任務，測量我們MapReduce實現(xiàn)的性能。第六部分揭示了在Google內部如何使用MapReduce作為基礎重寫我們的索引系統(tǒng)產品，包括其它一些使用MapReduce的經(jīng)驗。第七部分討論相關的和未來的工作。
2、編程模型
MapReduce編程模型的原理是：利用一個輸入key/value pair集合來產生一個輸出的key/value pair集合。MapReduce庫的用戶用兩個函數(shù)表達這個計算：Map和Reduce。
?
用戶自定義的Map函數(shù)接受一個輸入的key/value pair值，然后產生一個中間key/value pair值的集合。MapReduce庫把所有具有相同中間key值I的中間value值集合在一起后傳遞給reduce函數(shù)。
?
用戶自定義的Reduce函數(shù)接受一個中間key的值I和相關的一個value值的集合。Reduce函數(shù)合并這些value值，形成一個較小的value值的集合。一般的，每次Reduce函數(shù)調用只產生0或1個輸出value值。通常我們通過一個迭代器把中間value值提供給Reduce函數(shù)，這樣我們就可以處理無法全部放入內存中的大量的value值的集合。
2.1、例子
例如，計算一個大的文檔集合中每個單詞出現(xiàn)的次數(shù)，下面是偽代碼段：
map(String key, String value):
??? // key: document name
??? // value: document contents
??? for each word w in value:
??????? EmitIntermediate(w, “1″);
reduce(String key, Iterator values):
??? // key: a word
??? // values: a list of counts
??? int result = 0;
??? for each v in values:
??????? result += ParseInt(v);
??? Emit(AsString(result));
?
Map函數(shù)輸出文檔中的每個詞、以及這個詞的出現(xiàn)次數(shù)(在這個簡單的例子里就是1)。Reduce函數(shù)把Map函數(shù)產生的每一個特定的詞的計數(shù)累加起來。
?
另外，用戶編寫代碼，使用輸入和輸出文件的名字、可選的調節(jié)參數(shù)來完成一個符合MapReduce模型規(guī)范的對象，然后調用MapReduce函數(shù)，并把這個規(guī)范對象傳遞給它。用戶的代碼和MapReduce庫鏈接在一起(用C++實現(xiàn))。附錄A包含了這個實例的全部程序代碼。
2.2、類型
盡管在前面例子的偽代碼中使用了以字符串表示的輸入輸出值，但是在概念上，用戶定義的Map和Reduce函數(shù)都有相關聯(lián)的類型：
map(k1,v1) ->list(k2,v2)
? reduce(k2,list(v2)) ->list(v2)
比如，輸入的key和value值與輸出的key和value值在類型上推導的域不同。此外，中間key和value值與輸出key和value值在類型上推導的域相同。

（alex注：原文中這個domain的含義不是很清楚，我參考Hadoop、KFS等實現(xiàn)，map和reduce都使用了泛型，因此，我把domain翻譯成類型推導的域）。
我們的C++中使用字符串類型作為用戶自定義函數(shù)的輸入輸出，用戶在自己的代碼中對字符串進行適當?shù)念愋娃D換。
2.3、更多的例子
這里還有一些有趣的簡單例子，可以很容易的使用MapReduce模型來表示：

??? 分布式的Grep：Map函數(shù)輸出匹配某個模式的一行，Reduce函數(shù)是一個恒等函數(shù)，即把中間數(shù)據(jù)復制到輸出。
??? 計算URL訪問頻率：Map函數(shù)處理日志中web頁面請求的記錄，然后輸出(URL,1)。Reduce函數(shù)把相同URL的value值都累加起來，產生(URL,記錄總數(shù))結果。
??? 倒轉網(wǎng)絡鏈接圖：Map函數(shù)在源頁面（source）中搜索所有的鏈接目標（target）并輸出為(target,source)。Reduce函數(shù)把給定鏈接目標（target）的鏈接組合成一個列表，輸出(target,list(source))。
??? 每個主機的檢索詞向量：檢索詞向量用一個(詞,頻率)列表來概述出現(xiàn)在文檔或文檔集中的最重要的一些詞。Map函數(shù)為每一個輸入文檔輸出(主機名,檢索詞向量)，其中主機名來自文檔的URL。Reduce函數(shù)接收給定主機的所有文檔的檢索詞向量，并把這些檢索詞向量加在一起，丟棄掉低頻的檢索詞，輸出一個最終的(主機名,檢索詞向量)。
??? 倒排索引：Map函數(shù)分析每個文檔輸出一個(詞,文檔號)的列表，Reduce函數(shù)的輸入是一個給定詞的所有（詞，文檔號），排序所有的文檔號，輸出(詞,list（文檔號）)。所有的輸出集合形成一個簡單的倒排索引，它以一種簡單的算法跟蹤詞在文檔中的位置。
??? 分布式排序：Map函數(shù)從每個記錄提取key，輸出(key,record)。Reduce函數(shù)不改變任何的值。這個運算依賴分區(qū)機制(在4.1描述)和排序屬性(在4.2描述)。

3、實現(xiàn)
MapReduce模型可以有多種不同的實現(xiàn)方式。如何正確選擇取決于具體的環(huán)境。例如，一種實現(xiàn)方式適用于小型的共享內存方式的機器，另外一種實現(xiàn)方式則適用于大型NUMA架構的多處理器的主機，而有的實現(xiàn)方式更適合大型的網(wǎng)絡連接集群。
本章節(jié)描述一個適用于Google內部廣泛使用的運算環(huán)境的實現(xiàn)：用以太網(wǎng)交換機連接、由普通PC機組成的大型集群。在我們的環(huán)境里包括：
1.x86架構、運行Linux操作系統(tǒng)、雙處理器、2-4GB內存的機器。
2.普通的網(wǎng)絡硬件設備，每個機器的帶寬為百兆或者千兆，但是遠小于網(wǎng)絡的平均帶寬的一半。 （alex注：這里需要網(wǎng)絡專家解釋一下了）
3.集群中包含成百上千的機器，因此，機器故障是常態(tài)。
4.存儲為廉價的內置IDE硬盤。一個內部分布式文件系統(tǒng)用來管理存儲在這些磁盤上的數(shù)據(jù)。文件系統(tǒng)通過數(shù)據(jù)復制來在不可靠的硬件上保證數(shù)據(jù)的可靠性和有效性。
5.用戶提交工作（job）給調度系統(tǒng)。每個工作（job）都包含一系列的任務（task），調度系統(tǒng)將這些任務調度到集群中多臺可用的機器上。
3.1、執(zhí)行概括
通過將Map調用的輸入數(shù)據(jù)自動分割為M個數(shù)據(jù)片段的集合，Map調用被分布到多臺機器上執(zhí)行。輸入的數(shù)據(jù)片段能夠在不同的機器上并行處理。使用分區(qū)函數(shù)將Map調用產生的中間key值分成R個不同分區(qū)（例如，hash(key) mod R），Reduce調用也被分布到多臺機器上執(zhí)行。分區(qū)數(shù)量（R）和分區(qū)函數(shù)由用戶來指定。
圖1展示了我們的MapReduce實現(xiàn)中操作的全部流程。當用戶調用MapReduce函數(shù)時，將發(fā)生下面的一系列動作（下面的序號和圖1中的序號一一對應）：
1.用戶程序首先調用的MapReduce庫將輸入文件分成M個數(shù)據(jù)片度，每個數(shù)據(jù)片段的大小一般從 16MB到64MB(可以通過可選的參數(shù)來控制每個數(shù)據(jù)片段的大小)。然后用戶程序在機群中創(chuàng)建大量的程序副本。 （alex：copies of the program還真難翻譯）
2.這些程序副本中的有一個特殊的程序–master。副本中其它的程序都是worker程序，由master分配任務。有M個Map任務和R個Reduce任務將被分配，master將一個Map任務或Reduce任務分配給一個空閑的worker。
3.被分配了map任務的worker程序讀取相關的輸入數(shù)據(jù)片段，從輸入的數(shù)據(jù)片段中解析出key/value pair，然后把key/value pair傳遞給用戶自定義的Map函數(shù)，由Map函數(shù)生成并輸出的中間key/value pair，并緩存在內存中。
4.緩存中的key/value pair通過分區(qū)函數(shù)分成R個區(qū)域，之后周期性的寫入到本地磁盤上。緩存的key/value pair在本地磁盤上的存儲位置將被回傳給master，由master負責把這些存儲位置再傳送給Reduce worker。
5.當Reduce worker程序接收到master程序發(fā)來的數(shù)據(jù)存儲位置信息后，使用RPC從Map worker所在主機的磁盤上讀取這些緩存數(shù)據(jù)。當Reduce worker讀取了所有的中間數(shù)據(jù)后，通過對key進行排序后使得具有相同key值的數(shù)據(jù)聚合在一起。由于許多不同的key值會映射到相同的Reduce任務上，因此必須進行排序。如果中間數(shù)據(jù)太大無法在內存中完成排序，那么就要在外部進行排序。
6.Reduce worker程序遍歷排序后的中間數(shù)據(jù)，對于每一個唯一的中間key值，Reduce worker程序將這個key值和它相關的中間value值的集合傳遞給用戶自定義的Reduce函數(shù)。Reduce函數(shù)的輸出被追加到所屬分區(qū)的輸出文件。
7.當所有的Map和Reduce任務都完成之后，master喚醒用戶程序。在這個時候，在用戶程序里的對MapReduce調用才返回。
?

在成功完成任務之后，MapReduce的輸出存放在R個輸出文件中（對應每個Reduce任務產生一個輸出文件，文件名由用戶指定）。一般情況下，用戶不需要將這R個輸出文件合并成一個文件–他們經(jīng)常把這些文件作為另外一個MapReduce的輸入，或者在另外一個可以處理多個分割文件的分布式應用中使用。
3.2、Master數(shù)據(jù)結構
Master持有一些數(shù)據(jù)結構，它存儲每一個Map和Reduce任務的狀態(tài)（空閑、工作中或完成)，以及Worker機器(非空閑任務的機器)的標識。
?
Master就像一個數(shù)據(jù)管道，中間文件存儲區(qū)域的位置信息通過這個管道從Map傳遞到Reduce。因此，對于每個已經(jīng)完成的Map任務，master存儲了Map任務產生的R個中間文件存儲區(qū)域的大小和位置。當Map任務完成時，Master接收到位置和大小的更新信息，這些信息被逐步遞增的推送給那些正在工作的Reduce任務。
3.3、容錯
因為MapReduce庫的設計初衷是使用由成百上千的機器組成的集群來處理超大規(guī)模的數(shù)據(jù)，所以，這個庫必須要能很好的處理機器故障。
worker故障
master周期性的ping每個worker。如果在一個約定的時間范圍內沒有收到worker返回的信息，master將把這個worker標記為失效。所有由這個失效的worker完成的Map任務被重設為初始的空閑狀態(tài)，之后這些任務就可以被安排給其他的worker。同樣的，worker失效時正在運行的Map或Reduce任務也將被重新置為空閑狀態(tài)，等待重新調度。
?

當worker故障時，由于已經(jīng)完成的Map任務的輸出存儲在這臺機器上，Map任務的輸出已不可訪問了，因此必須重新執(zhí)行。而已經(jīng)完成的Reduce任務的輸出存儲在全局文件系統(tǒng)上，因此不需要再次執(zhí)行。
?
當一個Map任務首先被worker A執(zhí)行，之后由于worker A失效了又被調度到worker B執(zhí)行，這個“重新執(zhí)行”的動作會被通知給所有執(zhí)行Reduce任務的worker。任何還沒有從worker A讀取數(shù)據(jù)的Reduce任務將從worker B讀取數(shù)據(jù)。
?
MapReduce可以處理大規(guī)模worker失效的情況。比如，在一個MapReduce操作執(zhí)行期間，在正在運行的集群上進行網(wǎng)絡維護引起80臺機器在幾分鐘內不可訪問了，MapReduce master只需要簡單的再次執(zhí)行那些不可訪問的worker完成的工作，之后繼續(xù)執(zhí)行未完成的任務，直到最終完成這個MapReduce操作。
?
master失敗
一個簡單的解決辦法是讓master周期性的將上面描述的數(shù)據(jù)結構（alex注：指3.2節(jié)）的寫入磁盤，即檢查點（checkpoint）。如果這個master任務失效了，可以從最后一個檢查點（checkpoint）開始啟動另一個master進程。然而，由于只有一個master進程，master失效后再恢復是比較麻煩的，因此我們現(xiàn)在的實現(xiàn)是如果master失效，就中止MapReduce運算。客戶可以檢查到這個狀態(tài)，并且可以根據(jù)需要重新執(zhí)行MapReduce操作。
?
在失效方面的處理機制
（alex注：原文為”semantics in the presence of failures”）
當用戶提供的Map和Reduce操作是輸入確定性函數(shù)（即相同的輸入產生相同的輸出）時，我們的分布式實現(xiàn)在任何情況下的輸出都和所有程序沒有出現(xiàn)任何錯誤、順序的執(zhí)行產生的輸出是一樣的。
?
我們依賴對Map和Reduce任務的輸出是原子提交的來完成這個特性。每個工作中的任務把它的輸出寫到私有的臨時文件中。每個Reduce任務生成一個這樣的文件，而每個Map任務則生成R個這樣的文件（一個Reduce任務對應一個文件）。當一個Map任務完成的時，worker發(fā)送一個包含R個臨時文件名的完成消息給master。如果master從一個已經(jīng)完成的Map任務再次接收到到一個完成消息，master將忽略這個消息；否則，master將這R個文件的名字記錄在數(shù)據(jù)結構里。
?
當Reduce任務完成時，Reduce worker進程以原子的方式把臨時文件重命名為最終的輸出文件。如果同一個Reduce任務在多臺機器上執(zhí)行，針對同一個最終的輸出文件將有多個重命名操作執(zhí)行。我們依賴底層文件系統(tǒng)提供的重命名操作的原子性來保證最終的文件系統(tǒng)狀態(tài)僅僅包含一個Reduce任務產生的數(shù)據(jù)。
?

使用MapReduce模型的程序員可以很容易的理解他們程序的行為，因為我們絕大多數(shù)的Map和Reduce操作是確定性的，而且存在這樣的一個事實：我們的失效處理機制等價于一個順序的執(zhí)行的操作。當Map或/和Reduce操作是不確定性的時候，我們提供雖然較弱但是依然合理的處理機制。當使用非確定操作的時候，一個Reduce任務R1的輸出等價于一個非確定性程序順序執(zhí)行產生時的輸出。但是，另一個Reduce任務R2的輸出也許符合一個不同的非確定順序程序執(zhí)行產生的R2的輸出。
?
考慮Map任務M和Reduce任務R1、R2的情況。我們設定e(Ri)是Ri已經(jīng)提交的執(zhí)行過程（有且僅有一個這樣的執(zhí)行過程）。當e(R1)讀取了由M一次執(zhí)行產生的輸出，而e(R2)讀取了由M的另一次執(zhí)行產生的輸出，導致了較弱的失效處理。
3.4、存儲位置
在我們的計算運行環(huán)境中，網(wǎng)絡帶寬是一個相當匱乏的資源。我們通過盡量把輸入數(shù)據(jù)(由GFS管理)存儲在集群中機器的本地磁盤上來節(jié)省網(wǎng)絡帶寬。GFS把每個文件按64MB一個Block分隔，每個Block保存在多臺機器上，環(huán)境中就存放了多份拷貝(一般是3個拷貝)。MapReduce的master在調度Map任務時會考慮輸入文件的位置信息，盡量將一個Map任務調度在包含相關輸入數(shù)據(jù)拷貝的機器上執(zhí)行；如果上述努力失敗了，master將嘗試在保存有輸入數(shù)據(jù)拷貝的機器附近的機器上執(zhí)行Map任務(例如，分配到一個和包含輸入數(shù)據(jù)的機器在一個switch里的worker機器上執(zhí)行)。當在一個足夠大的cluster集群上運行大型MapReduce操作的時候，大部分的輸入數(shù)據(jù)都能從本地機器讀取，因此消耗非常少的網(wǎng)絡帶寬。
3.5、任務粒度
如前所述，我們把Map拆分成了M個片段、把Reduce拆分成R個片段執(zhí)行。理想情況下，M和R應當比集群中worker的機器數(shù)量要多得多。在每臺worker機器都執(zhí)行大量的不同任務能夠提高集群的動態(tài)的負載均衡能力，并且能夠加快故障恢復的速度：失效機器上執(zhí)行的大量Map任務都可以分布到所有其他的worker機器上去執(zhí)行。
?

但是實際上，在我們的具體實現(xiàn)中對M和R的取值都有一定的客觀限制，因為master必須執(zhí)行O(M+R)次調度，并且在內存中保存O(M*R)個狀態(tài)（對影響內存使用的因素還是比較小的：O(M*R)塊狀態(tài)，大概每對Map任務/Reduce任務1個字節(jié)就可以了）。
?
更進一步，R值通常是由用戶指定的，因為每個Reduce任務最終都會生成一個獨立的輸出文件。實際使用時我們也傾向于選擇合適的M值，以使得每一個獨立任務都是處理大約16M到64M的輸入數(shù)據(jù)（這樣，上面描寫的輸入數(shù)據(jù)本地存儲優(yōu)化策略才最有效），另外，我們把R值設置為我們想使用的worker機器數(shù)量的小的倍數(shù)。我們通常會用這樣的比例來執(zhí)行MapReduce：M=200000，R=5000，使用2000臺worker機器。
3.6、備用任務
影響一個MapReduce的總執(zhí)行時間最通常的因素是“落伍者”：在運算過程中，如果有一臺機器花了很長的時間才完成最后幾個Map或Reduce任務，導致MapReduce操作總的執(zhí)行時間超過預期。出現(xiàn)“落伍者”的原因非常多。比如：如果一個機器的硬盤出了問題，在讀取的時候要經(jīng)常的進行讀取糾錯操作，導致讀取數(shù)據(jù)的速度從30M/s降低到1M/s。如果cluster的調度系統(tǒng)在這臺機器上又調度了其他的任務，由于CPU、內存、本地硬盤和網(wǎng)絡帶寬等競爭因素的存在，導致執(zhí)行MapReduce代碼的執(zhí)行效率更加緩慢。我們最近遇到的一個問題是由于機器的初始化代碼有bug，導致關閉了的處理器的緩存：在這些機器上執(zhí)行任務的性能和正常情況相差上百倍。
?
我們有一個通用的機制來減少“落伍者”出現(xiàn)的情況。當一個MapReduce操作接近完成的時候，master調度備用（backup）任務進程來執(zhí)行剩下的、處于處理中狀態(tài)（in-progress）的任務。無論是最初的執(zhí)行進程、還是備用（backup）任務進程完成了任務，我們都把這個任務標記成為已經(jīng)完成。我們調優(yōu)了這個機制，通常只會占用比正常操作多幾個百分點的計算資源。我們發(fā)現(xiàn)采用這樣的機制對于減少超大MapReduce操作的總處理時間效果顯著。例如，在5.3節(jié)描述的排序任務，在關閉掉備用任務的情況下要多花44%的時間完成排序任務。
?
4、技巧

雖然簡單的Map和Reduce函數(shù)提供的基本功能已經(jīng)能夠滿足大部分的計算需要，我們還是發(fā)掘出了一些有價值的擴展功能。本節(jié)將描述這些擴展功能。
4.1、分區(qū)函數(shù)
MapReduce的使用者通常會指定Reduce任務和Reduce任務輸出文件的數(shù)量（R）。我們在中間key上使用分區(qū)函數(shù)來對數(shù)據(jù)進行分區(qū)，之后再輸入到后續(xù)任務執(zhí)行進程。一個缺省的分區(qū)函數(shù)是使用hash方法(比如，hash(key) mod R)進行分區(qū)。hash方法能產生非常平衡的分區(qū)。然而，有的時候，其它的一些分區(qū)函數(shù)對key值進行的分區(qū)將非常有用。比如，輸出的key值是URLs，我們希望每個主機的所有條目保持在同一個輸出文件中。為了支持類似的情況，MapReduce庫的用戶需要提供專門的分區(qū)函數(shù)。例如，使用“hash(Hostname(urlkey)) mod R”作為分區(qū)函數(shù)就可以把所有來自同一個主機的URLs保存在同一個輸出文件中。
4.2、順序保證
我們確保在給定的分區(qū)中，中間key/value pair數(shù)據(jù)的處理順序是按照key值增量順序處理的。這樣的順序保證對每個分成生成一個有序的輸出文件，這對于需要對輸出文件按key值隨機存取的應用非常有意義，對在排序輸出的數(shù)據(jù)集也很有幫助。
4.3、Combiner函數(shù)
在某些情況下，Map函數(shù)產生的中間key值的重復數(shù)據(jù)會占很大的比重，并且，用戶自定義的Reduce函數(shù)滿足結合律和交換律。在2.1節(jié)的詞數(shù)統(tǒng)計程序是個很好的例子。由于詞頻率傾向于一個zipf分布(齊夫分布)，每個Map任務將產生成千上萬個這樣的記錄<the,1>。所有的這些記錄將通過網(wǎng)絡被發(fā)送到一個單獨的Reduce任務，然后由這個Reduce任務把所有這些記錄累加起來產生一個數(shù)字。我們允許用戶指定一個可選的combiner函數(shù)，combiner函數(shù)首先在本地將這些記錄進行一次合并，然后將合并的結果再通過網(wǎng)絡發(fā)送出去。
?
Combiner函數(shù)在每臺執(zhí)行Map任務的機器上都會被執(zhí)行一次。一般情況下，Combiner和Reduce函數(shù)是一樣的。Combiner函數(shù)和Reduce函數(shù)之間唯一的區(qū)別是MapReduce庫怎樣控制函數(shù)的輸出。Reduce函數(shù)的輸出被保存在最終的輸出文件里，而Combiner函數(shù)的輸出被寫到中間文件里，然后被發(fā)送給Reduce任務。
?

部分的合并中間結果可以顯著的提高一些MapReduce操作的速度。附錄A包含一個使用combiner函數(shù)的例子。
4.4、輸入和輸出的類型
MapReduce庫支持幾種不同的格式的輸入數(shù)據(jù)。比如，文本模式的輸入數(shù)據(jù)的每一行被視為是一個key/value pair。key是文件的偏移量，value是那一行的內容。另外一種常見的格式是以key進行排序來存儲的key/value pair的序列。每種輸入類型的實現(xiàn)都必須能夠把輸入數(shù)據(jù)分割成數(shù)據(jù)片段，該數(shù)據(jù)片段能夠由單獨的Map任務來進行后續(xù)處理(例如，文本模式的范圍分割必須確保僅僅在每行的邊界進行范圍分割)。雖然大多數(shù)MapReduce的使用者僅僅使用很少的預定義輸入類型就滿足要求了，但是使用者依然可以通過提供一個簡單的Reader接口實現(xiàn)就能夠支持一個新的輸入類型。
?

Reader并非一定要從文件中讀取數(shù)據(jù)，比如，我們可以很容易的實現(xiàn)一個從數(shù)據(jù)庫里讀記錄的Reader，或者從內存中的數(shù)據(jù)結構讀取數(shù)據(jù)的Reader。

類似的，我們提供了一些預定義的輸出數(shù)據(jù)的類型，通過這些預定義類型能夠產生不同格式的數(shù)據(jù)。用戶采用類似添加新的輸入數(shù)據(jù)類型的方式增加新的輸出類型。
4.5、副作用
在某些情況下，MapReduce的使用者發(fā)現(xiàn)，如果在Map和/或Reduce操作過程中增加輔助的輸出文件會比較省事。我們依靠程序writer把這種“副作用”變成原子的和冪等的（alex注：冪等的指一個總是產生相同結果的數(shù)學運算）。通常應用程序首先把輸出結果寫到一個臨時文件中，在輸出全部數(shù)據(jù)之后，在使用系統(tǒng)級的原子操作rename重新命名這個臨時文件。
?

如果一個任務產生了多個輸出文件，我們沒有提供類似兩階段提交的原子操作支持這種情況。因此，對于會產生多個輸出文件、并且對于跨文件有一致性要求的任務，都必須是確定性的任務。但是在實際應用過程中，這個限制還沒有給我們帶來過麻煩。
4.6、跳過損壞的記錄
有時候，用戶程序中的bug導致Map或者Reduce函數(shù)在處理某些記錄的時候crash掉，MapReduce操作無法順利完成。慣常的做法是修復bug后再次執(zhí)行MapReduce操作，但是，有時候找出這些bug并修復它們不是一件容易的事情；這些bug也許是在第三方庫里邊，而我們手頭沒有這些庫的源代碼。而且在很多時候，忽略一些有問題的記錄也是可以接受的，比如在一個巨大的數(shù)據(jù)集上進行統(tǒng)計分析的時候。我們提供了一種執(zhí)行模式，在這種模式下，為了保證保證整個處理能繼續(xù)進行，MapReduce會檢測哪些記錄導致確定性的crash，并且跳過這些記錄不處理。
?

每個worker進程都設置了信號處理函數(shù)捕獲內存段異常（segmentation violation）和總線錯誤（bus error）。在執(zhí)行Map或者Reduce操作之前，MapReduce庫通過全局變量保存記錄序號。如果用戶程序觸發(fā)了一個系統(tǒng)信號，消息處理函數(shù)將用“最后一口氣”通過UDP包向master發(fā)送處理的最后一條記錄的序號。當master看到在處理某條特定記錄不止失敗一次時，master就標志著條記錄需要被跳過，并且在下次重新執(zhí)行相關的Map或者Reduce任務的時候跳過這條記錄。
4.7、本地執(zhí)行
調試Map和Reduce函數(shù)的bug是非常困難的，因為實際執(zhí)行操作時不但是分布在系統(tǒng)中執(zhí)行的，而且通常是在好幾千臺計算機上執(zhí)行，具體的執(zhí)行位置是由master進行動態(tài)調度的，這又大大增加了調試的難度。為了簡化調試、profile和小規(guī)模測試，我們開發(fā)了一套MapReduce庫的本地實現(xiàn)版本，通過使用本地版本的MapReduce庫，MapReduce操作在本地計算機上順序的執(zhí)行。用戶可以控制MapReduce操作的執(zhí)行，可以把操作限制到特定的Map任務上。用戶通過設定特別的標志來在本地執(zhí)行他們的程序，之后就可以很容易的使用本地調試和測試工具（比如gdb）。
4.8、狀態(tài)信息
master使用嵌入式的HTTP服務器（如Jetty）顯示一組狀態(tài)信息頁面，用戶可以監(jiān)控各種執(zhí)行狀態(tài)。狀態(tài)信息頁面顯示了包括計算執(zhí)行的進度，比如已經(jīng)完成了多少任務、有多少任務正在處理、輸入的字節(jié)數(shù)、中間數(shù)據(jù)的字節(jié)數(shù)、輸出的字節(jié)數(shù)、處理百分比等等。頁面還包含了指向每個任務的stderr和stdout文件的鏈接。用戶根據(jù)這些數(shù)據(jù)預測計算需要執(zhí)行大約多長時間、是否需要增加額外的計算資源。這些頁面也可以用來分析什么時候計算執(zhí)行的比預期的要慢。
?

另外，處于最頂層的狀態(tài)頁面顯示了哪些worker失效了，以及他們失效的時候正在運行的Map和Reduce任務。這些信息對于調試用戶代碼中的bug很有幫助。
4.9、計數(shù)器
MapReduce庫使用計數(shù)器統(tǒng)計不同事件發(fā)生次數(shù)。比如，用戶可能想統(tǒng)計已經(jīng)處理了多少個單詞、已經(jīng)索引的多少篇German文檔等等。
?
為了使用這個特性，用戶在程序中創(chuàng)建一個命名的計數(shù)器對象，在Map和Reduce函數(shù)中相應的增加計數(shù)器的值。例如：
Counter* uppercase;
uppercase = GetCounter(“uppercase”);

map(String name, String contents):
?for each word w in contents:
? if (IsCapitalized(w)):
?? uppercase->Increment();
? EmitIntermediate(w, “1″);
這些計數(shù)器的值周期性的從各個單獨的worker機器上傳遞給master（附加在ping的應答包中傳遞）。master把執(zhí)行成功的Map和Reduce任務的計數(shù)器值進行累計，當MapReduce操作完成之后，返回給用戶代碼。
?
計數(shù)器當前的值也會顯示在master的狀態(tài)頁面上，這樣用戶就可以看到當前計算的進度。當累加計數(shù)器的值的時候，master要檢查重復運行的Map或者Reduce任務，避免重復累加（之前提到的備用任務和失效后重新執(zhí)行任務這兩種情況會導致相同的任務被多次執(zhí)行）。
?
有些計數(shù)器的值是由MapReduce庫自動維持的，比如已經(jīng)處理的輸入的key/value pair的數(shù)量、輸出的key/value pair的數(shù)量等等。
?

計數(shù)器機制對于MapReduce操作的完整性檢查非常有用。比如，在某些MapReduce操作中，用戶需要確保輸出的key value pair精確的等于輸入的key value pair，或者處理的German文檔數(shù)量在處理的整個文檔數(shù)量中屬于合理范圍。
5、性能
本節(jié)我們用在一個大型集群上運行的兩個計算來衡量MapReduce的性能。一個計算在大約1TB的數(shù)據(jù)中進行特定的模式匹配，另一個計算對大約1TB的數(shù)據(jù)進行排序。
?
這兩個程序在大量的使用MapReduce的實際應用中是非常典型的 — 一類是對數(shù)據(jù)格式進行轉換，從一種表現(xiàn)形式轉換為另外一種表現(xiàn)形式；另一類是從海量數(shù)據(jù)中抽取少部分的用戶感興趣的數(shù)據(jù)。
5.1、集群配置
所有這些程序都運行在一個大約由1800臺機器構成的集群上。每臺機器配置2個2G主頻、支持超線程的Intel Xeon處理器，4GB的物理內存，兩個160GB的IDE硬盤和一個千兆以太網(wǎng)卡。這些機器部署在一個兩層的樹形交換網(wǎng)絡中，在root節(jié)點大概有100-200GBPS的傳輸帶寬。所有這些機器都采用相同的部署（對等部署），因此任意兩點之間的網(wǎng)絡來回時間小于1毫秒。
?

在4GB內存里，大概有1-1.5G用于運行在集群上的其他任務。測試程序在周末下午開始執(zhí)行，這時主機的CPU、磁盤和網(wǎng)絡基本上處于空閑狀態(tài)。
5.2、GREP
這個分布式的grep程序需要掃描大概10的10次方個由100個字節(jié)組成的記錄，查找出現(xiàn)概率較小的3個字符的模式（這個模式在92337個記錄中出現(xiàn)）。輸入數(shù)據(jù)被拆分成大約64M的Block（M=15000），整個輸出數(shù)據(jù)存放在一個文件中（R=1）。

圖2顯示了這個運算隨時間的處理過程。其中Y軸表示輸入數(shù)據(jù)的處理速度。處理速度隨著參與MapReduce計算的機器數(shù)量的增加而增加，當1764臺worker參與計算的時，處理速度達到了30GB/s。當Map任務結束的時候，即在計算開始后80秒，輸入的處理速度降到0。整個計算過程從開始到結束一共花了大概150秒。這包括了大約一分鐘的初始啟動階段。初始啟動階段消耗的時間包括了是把這個程序傳送到各個worker機器上的時間、等待GFS文件系統(tǒng)打開1000個輸入文件集合的時間、獲取相關的文件本地位置優(yōu)化信息的時間。
5.3、排序
排序程序處理10的10次方個100個字節(jié)組成的記錄（大概1TB的數(shù)據(jù)）。這個程序模仿TeraSort benchmark[10]。
?
排序程序由不到50行代碼組成。只有三行的Map函數(shù)從文本行中解析出10個字節(jié)的key值作為排序的key，并且把這個key和原始文本行作為中間的key/value pair值輸出。我們使用了一個內置的恒等函數(shù)作為Reduce操作函數(shù)。這個函數(shù)把中間的key/value pair值不作任何改變輸出。最終排序結果輸出到兩路復制的GFS文件系統(tǒng)（也就是說，程序輸出2TB的數(shù)據(jù)）。
?
如前所述，輸入數(shù)據(jù)被分成64MB的Block（M=15000）。我們把排序后的輸出結果分區(qū)后存儲到4000個文件（R=4000）。分區(qū)函數(shù)使用key的原始字節(jié)來把數(shù)據(jù)分區(qū)到R個片段中。
?

在這個benchmark測試中，我們使用的分區(qū)函數(shù)知道key的分區(qū)情況。通常對于排序程序來說，我們會增加一個預處理的MapReduce操作用于采樣key值的分布情況，通過采樣的數(shù)據(jù)來計算對最終排序處理的分區(qū)點。

圖三（a）顯示了這個排序程序的正常執(zhí)行過程。左上的圖顯示了輸入數(shù)據(jù)讀取的速度。數(shù)據(jù)讀取速度峰值會達到13GB/s，并且所有Map任務完成之后，即大約200秒之后迅速滑落到0。值得注意的是，排序程序輸入數(shù)據(jù)讀取速度小于分布式grep程序。這是因為排序程序的Map任務花了大約一半的處理時間和I/O帶寬把中間輸出結果寫到本地硬盤。相應的分布式grep程序的中間結果輸出幾乎可以忽略不計。
?
左邊中間的圖顯示了中間數(shù)據(jù)從Map任務發(fā)送到Reduce任務的網(wǎng)絡速度。這個過程從第一個Map任務完成之后就開始緩慢啟動了。圖示的第一個高峰是啟動了第一批大概1700個Reduce任務（整個MapReduce分布到大概1700臺機器上，每臺機器1次最多執(zhí)行1個Reduce任務）。排序程序運行大約300秒后，第一批啟動的Reduce任務有些完成了，我們開始執(zhí)行剩下的Reduce任務。所有的處理在大約600秒后結束。
?
左下圖表示Reduce任務把排序后的數(shù)據(jù)寫到最終的輸出文件的速度。在第一個排序階段結束和數(shù)據(jù)開始寫入磁盤之間有一個小的延時，這是因為worker機器正在忙于排序中間數(shù)據(jù)。磁盤寫入速度在2-4GB/s持續(xù)一段時間。輸出數(shù)據(jù)寫入磁盤大約持續(xù)850秒。計入初始啟動部分的時間，整個運算消耗了891秒。這個速度和TeraSort benchmark[18]的最高紀錄1057秒相差不多。
?

還有一些值得注意的現(xiàn)象：輸入數(shù)據(jù)的讀取速度比排序速度和輸出數(shù)據(jù)寫入磁盤速度要高不少，這是因為我們的輸入數(shù)據(jù)本地化優(yōu)化策略起了作用 — 絕大部分數(shù)據(jù)都是從本地硬盤讀取的，從而節(jié)省了網(wǎng)絡帶寬。排序速度比輸出數(shù)據(jù)寫入到磁盤的速度快，這是因為輸出數(shù)據(jù)寫了兩份（我們使用了2路的GFS文件系統(tǒng)，寫入復制節(jié)點的原因是為了保證數(shù)據(jù)可靠性和可用性）。我們把輸出數(shù)據(jù)寫入到兩個復制節(jié)點的原因是因為這是底層文件系統(tǒng)的保證數(shù)據(jù)可靠性和可用性的實現(xiàn)機制。如果底層文件系統(tǒng)使用類似容錯編碼[14](erasure coding)的方式而不是復制的方式保證數(shù)據(jù)的可靠性和可用性，那么在輸出數(shù)據(jù)寫入磁盤的時候，就可以降低網(wǎng)絡帶寬的使用。
5.4、高效的backup任務
圖三（b）顯示了關閉了備用任務后排序程序執(zhí)行情況。執(zhí)行的過程和圖3（a）很相似，除了輸出數(shù)據(jù)寫磁盤的動作在時間上拖了一個很長的尾巴，而且在這段時間里，幾乎沒有什么寫入動作。在960秒后，只有5個Reduce任務沒有完成。這些拖后腿的任務又執(zhí)行了300秒才完成。整個計算消耗了1283秒，多了44%的執(zhí)行時間。
5.5、失效的機器
在圖三（c）中演示的排序程序執(zhí)行的過程中，我們在程序開始后幾分鐘有意的kill了1746個worker中的200個。集群底層的調度立刻在這些機器上重新開始新的worker處理進程（因為只是worker機器上的處理進程被kill了，機器本身還在工作）。
?
圖三（c）顯示出了一個“負”的輸入數(shù)據(jù)讀取速度，這是因為一些已經(jīng)完成的Map任務丟失了（由于相應的執(zhí)行Map任務的worker進程被kill了），需要重新執(zhí)行這些任務。相關Map任務很快就被重新執(zhí)行了。整個運算在933秒內完成，包括了初始啟動時間（只比正常執(zhí)行多消耗了5%的時間）。
6、經(jīng)驗
我們在2003年1月完成了第一個版本的MapReduce庫，在2003年8月的版本有了顯著的增強，這包括了輸入數(shù)據(jù)本地優(yōu)化、worker機器之間的動態(tài)負載均衡等等。從那以后，我們驚喜的發(fā)現(xiàn)，MapReduce庫能廣泛應用于我們日常工作中遇到的各類問題。它現(xiàn)在在Google內部各個領域得到廣泛應用，包括：

??? 大規(guī)模機器學習問題
??? Google News和Froogle產品的集群問題
??? 從公眾查詢產品（比如Google的Zeitgeist）的報告中抽取數(shù)據(jù)。
??? 從大量的新應用和新產品的網(wǎng)頁中提取有用信息（比如，從大量的位置搜索網(wǎng)頁中抽取地理位置信息）。
??? 大規(guī)模的圖形計算。

圖四顯示了在我們的源代碼管理系統(tǒng)中，隨著時間推移，獨立的MapReduce程序數(shù)量的顯著增加。從2003年早些時候的0個增長到2004年9月份的差不多900個不同的程序。MapReduce的成功取決于采用MapReduce庫能夠在不到半個小時時間內寫出一個簡單的程序，這個簡單的程序能夠在上千臺機器的組成的集群上做大規(guī)模并發(fā)處理，這極大的加快了開發(fā)和原形設計的周期。另外，采用MapReduce庫，可以讓完全沒有分布式和/或并行系統(tǒng)開發(fā)經(jīng)驗的程序員很容易的利用大量的資源，開發(fā)出分布式和/或并行處理的應用。

在每個任務結束的時候，MapReduce庫統(tǒng)計計算資源的使用狀況。在表1，我們列出了2004年8月份MapReduce運行的任務所占用的相關資源。
6.1、大規(guī)模索引
到目前為止，MapReduce最成功的應用就是重寫了Google網(wǎng)絡搜索服務所使用到的index系統(tǒng)。索引系統(tǒng)的輸入數(shù)據(jù)是網(wǎng)絡爬蟲抓取回來的海量的文檔，這些文檔數(shù)據(jù)都保存在GFS文件系統(tǒng)里。這些文檔原始內容（alex注：raw contents，我認為就是網(wǎng)頁中的剔除html標記后的內容、pdf和word等有格式文檔中提取的文本內容等）的大小超過了20TB。索引程序是通過一系列的MapReduce操作（大約5到10次）來建立索引。使用MapReduce（替換上一個特別設計的、分布式處理的索引程序）帶來這些好處：

??? 實現(xiàn)索引部分的代碼簡單、小巧、容易理解，因為對于容錯、分布式以及并行計算的處理都是MapReduce庫提供的。比如，使用MapReduce庫，計算的代碼行數(shù)從原來的3800行C++代碼減少到大概700行代碼。
??? MapReduce庫的性能已經(jīng)足夠好了，因此我們可以把在概念上不相關的計算步驟分開處理，而不是混在一起以期減少數(shù)據(jù)傳遞的額外消耗。概念上不相關的計算步驟的隔離也使得我們可以很容易改變索引處理方式。比如，對之前的索引系統(tǒng)的一個小更改可能要耗費好幾個月的時間，但是在使用MapReduce的新系統(tǒng)上，這樣的更改只需要花幾天時間就可以了。
??? 索引系統(tǒng)的操作管理更容易了。因為由機器失效、機器處理速度緩慢、以及網(wǎng)絡的瞬間阻塞等引起的絕大部分問題都已經(jīng)由MapReduce庫解決了，不再需要操作人員的介入了。另外，我們可以通過在索引系統(tǒng)集群中增加機器的簡單方法提高整體處理性能。

7、相關工作
很多系統(tǒng)都提供了嚴格的編程模式，并且通過對編程的嚴格限制來實現(xiàn)并行計算。例如，一個結合函數(shù)可以通過把N個元素的數(shù)組的前綴在N個處理器上使用并行前綴算法，在log N的時間內計算完[6，9，13]（alex注：完全沒有明白作者在說啥，具體參考相關6、9、13文檔）。MapReduce可以看作是我們結合在真實環(huán)境下處理海量數(shù)據(jù)的經(jīng)驗，對這些經(jīng)典模型進行簡化和萃取的成果。更加值得驕傲的是，我們還實現(xiàn)了基于上千臺處理器的集群的容錯處理。相比而言，大部分并發(fā)處理系統(tǒng)都只在小規(guī)模的集群上實現(xiàn)，并且把容錯處理交給了程序員。
?
Bulk Synchronous Programming[17]和一些MPI原語[11]提供了更高級別的并行處理抽象，可以更容易寫出并行處理的程序。MapReduce和這些系統(tǒng)的關鍵不同之處在于，MapReduce利用限制性編程模式實現(xiàn)了用戶程序的自動并發(fā)處理，并且提供了透明的容錯處理。
?
我們數(shù)據(jù)本地優(yōu)化策略的靈感來源于active disks[12,15]等技術，在active disks中，計算任務是盡量推送到數(shù)據(jù)存儲的節(jié)點處理（alex注：即靠近數(shù)據(jù)源處理），這樣就減少了網(wǎng)絡和IO子系統(tǒng)的吞吐量。我們在掛載幾個硬盤的普通機器上執(zhí)行我們的運算，而不是在磁盤處理器上執(zhí)行我們的工作，但是達到的目的一樣的。
?
我們的備用任務機制和Charlotte System[3]提出的eager調度機制比較類似。Eager調度機制的一個缺點是如果一個任務反復失效，那么整個計算就不能完成。我們通過忽略引起故障的記錄的方式在某種程度上解決了這個問題。
?
MapReduce的實現(xiàn)依賴于一個內部的集群管理系統(tǒng)，這個集群管理系統(tǒng)負責在一個超大的、共享機器的集群上分布和運行用戶任務。雖然這個不是本論文的重點，但是有必要提一下，這個集群管理系統(tǒng)在理念上和其它系統(tǒng)，如Condor[16]是一樣。
?
MapReduce庫的排序機制和NOW-Sort[1]的操作上很類似。讀取輸入源的機器（map workers）把待排序的數(shù)據(jù)進行分區(qū)后，發(fā)送到R個Reduce worker中的一個進行處理。每個Reduce worker在本地對數(shù)據(jù)進行排序（盡可能在內存中排序）。當然，NOW-Sort沒有給用戶自定義的Map和Reduce函數(shù)的機會，因此不具備MapReduce庫廣泛的實用性。
?
River[2]提供了一個編程模型：處理進程通過分布式隊列傳送數(shù)據(jù)的方式進行互相通訊。和MapReduce類似，River系統(tǒng)嘗試在不對等的硬件環(huán)境下，或者在系統(tǒng)顛簸的情況下也能提供近似平均的性能。River是通過精心調度硬盤和網(wǎng)絡的通訊來平衡任務的完成時間。MapReduce庫采用了其它的方法。通過對編程模型進行限制，MapReduce框架把問題分解成為大量的“小”任務。這些任務在可用的worker集群上動態(tài)的調度，這樣快速的worker就可以執(zhí)行更多的任務。通過對編程模型進行限制，我們可用在工作接近完成的時候調度備用任務，縮短在硬件配置不均衡的情況下縮小整個操作完成的時間（比如有的機器性能差、或者機器被某些操作阻塞了）。
?
BAD-FS[5]采用了和MapReduce完全不同的編程模式，它是面向廣域網(wǎng)（alex注：wide-area network）的。不過，這兩個系統(tǒng)有兩個基礎功能很類似。（1）兩個系統(tǒng)采用重新執(zhí)行的方式來防止由于失效導致的數(shù)據(jù)丟失。（2）兩個都使用數(shù)據(jù)本地化調度策略，減少網(wǎng)絡通訊的數(shù)據(jù)量。
?

TACC[7]是一個用于簡化構造高可用性網(wǎng)絡服務的系統(tǒng)。和MapReduce一樣，它也依靠重新執(zhí)行機制來實現(xiàn)的容錯處理。
8、結束語
MapReduce編程模型在Google內部成功應用于多個領域。我們把這種成功歸結為幾個方面：首先，由于MapReduce封裝了并行處理、容錯處理、數(shù)據(jù)本地化優(yōu)化、負載均衡等等技術難點的細節(jié)，這使得MapReduce庫易于使用。即便對于完全沒有并行或者分布式系統(tǒng)開發(fā)經(jīng)驗的程序員而言；其次，大量不同類型的問題都可以通過MapReduce簡單的解決。比如，MapReduce用于生成Google的網(wǎng)絡搜索服務所需要的數(shù)據(jù)、用來排序、用來數(shù)據(jù)挖掘、用于機器學習，以及很多其它的系統(tǒng)；第三，我們實現(xiàn)了一個在數(shù)千臺計算機組成的大型集群上靈活部署運行的MapReduce。這個實現(xiàn)使得有效利用這些豐富的計算資源變得非常簡單，因此也適合用來解決Google遇到的其他很多需要大量計算的問題。
?

我們也從MapReduce開發(fā)過程中學到了不少東西。首先，約束編程模式使得并行和分布式計算非常容易，也易于構造容錯的計算環(huán)境；其次，網(wǎng)絡帶寬是稀有資源。大量的系統(tǒng)優(yōu)化是針對減少網(wǎng)絡傳輸量為目的的：本地優(yōu)化策略使大量的數(shù)據(jù)從本地磁盤讀取，中間文件寫入本地磁盤、并且只寫一份中間文件也節(jié)約了網(wǎng)絡帶寬；第三，多次執(zhí)行相同的任務可以減少性能緩慢的機器帶來的負面影響（alex注：即硬件配置的不平衡），同時解決了由于機器失效導致的數(shù)據(jù)丟失問題。
9、感謝
（alex注：還是原汁原味的感謝詞比較好，這個就不翻譯了）Josh Levenberg has been instrumental in revising and extending the user-level MapReduce API with a number of new features based on his experience with using MapReduce and other people’s suggestions for enhancements. MapReduce reads its input from and writes its output to the Google File System [8]. We would like to thank Mohit Aron, Howard Gobioff, Markus Gutschke, David Kramer, Shun-Tak Leung, and Josh Redstone for their work in developing GFS. We would also like to thank Percy Liang and Olcan Sercinoglu for their work in developing the cluster management system used by MapReduce. Mike Burrows, Wilson Hsieh, Josh Levenberg, Sharon Perl, Rob Pike, and Debby Wallach provided helpful comments on earlier drafts of this paper.The anonymous OSDI reviewers, and our shepherd, Eric Brewer, provided many useful suggestions of areas where the paper could be improved. Finally, we thank all the users of MapReduce within Google’s engineering organization for providing helpful feedback, suggestions, and bug reports.
10、參考資料
[1] Andrea C. Arpaci-Dusseau, Remzi H. Arpaci-Dusseau,David E. Culler, Joseph M. Hellerstein, and David A. Patterson.High-performance sorting on networks of workstations.In Proceedings of the 1997 ACM SIGMOD InternationalConference on Management of Data, Tucson,Arizona, May 1997.
[2] Remzi H. Arpaci-Dusseau, Eric Anderson, NoahTreuhaft, David E. Culler, Joseph M. Hellerstein, David Patterson, and Kathy Yelick. Cluster I/O with River:Making the fast case common. In Proceedings of the Sixth Workshop on Input/Output in Parallel and Distributed Systems (IOPADS ’99), pages 10.22, Atlanta, Georgia, May 1999.
[3] Arash Baratloo, Mehmet Karaul, Zvi Kedem, and Peter Wyckoff. Charlotte: Metacomputing on the web. In Proceedings of the 9th International Conference on Parallel and Distributed Computing Systems, 1996. [4] Luiz A. Barroso, Jeffrey Dean, and Urs H¨olzle. Web search for a planet: The Google cluster architecture. IEEE Micro, 23(2):22.28, April 2003.
[5] John Bent, Douglas Thain, Andrea C.Arpaci-Dusseau, Remzi H. Arpaci-Dusseau, and Miron Livny. Explicit control in a batch-aware distributed file system. In Proceedings of the 1st USENIX Symposium on Networked Systems Design and Implementation NSDI, March 2004.
[6] Guy E. Blelloch. Scans as primitive parallel operations.IEEE Transactions on Computers, C-38(11), November 1989.
[7] Armando Fox, Steven D. Gribble, Yatin Chawathe, Eric A. Brewer, and Paul Gauthier. Cluster-based scalable network services. In Proceedings of the 16th ACM Symposium on Operating System Principles, pages 78. 91, Saint-Malo, France, 1997.
[8] Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung. The Google file system. In 19th Symposium on Operating Systems Principles, pages 29.43, Lake George, New York, 2003. To appear in OSDI 2004 12
[9] S. Gorlatch. Systematic efficient parallelization of scan and other list homomorphisms. In L. Bouge, P. Fraigniaud, A. Mignotte, and Y. Robert, editors, Euro-Par’96. Parallel Processing, Lecture Notes in Computer Science 1124, pages 401.408. Springer-Verlag, 1996.
[10] Jim Gray. Sort benchmark home page. http://research.microsoft.com/barc/SortBenchmark/.
[11] William Gropp, Ewing Lusk, and Anthony Skjellum. Using MPI: Portable Parallel Programming with the Message-Passing Interface. MIT Press, Cambridge, MA, 1999.
[12] L. Huston, R. Sukthankar, R.Wickremesinghe, M. Satyanarayanan, G. R. Ganger, E. Riedel, and A. Ailamaki. Diamond: A storage architecture for early discard in interactive search. In Proceedings of the 2004 USENIX File and Storage Technologies FAST Conference, April 2004.
[13] Richard E. Ladner and Michael J. Fischer. Parallel prefix computation. Journal of the ACM, 27(4):831.838, 1980.
[14] Michael O. Rabin. Efficient dispersal of information for security, load balancing and fault tolerance. Journal of the ACM, 36(2):335.348, 1989.
[15] Erik Riedel, Christos Faloutsos, Garth A. Gibson, and David Nagle. Active disks for large-scale data processing. IEEE Computer, pages 68.74, June 2001.
[16] Douglas Thain, Todd Tannenbaum, and Miron Livny. Distributed computing in practice: The Condor experience. Concurrency and Computation: Practice and Experience, 2004.
[17] L. G. Valiant. A bridging model for parallel computation. Communications of the ACM, 33(8):103.111, 1997.
[18] Jim Wyllie. Spsort: How to sort a terabyte quickly. http://alme1.almaden.ibm.com/cs/spsort.pdf.
?
附錄A、單詞頻率統(tǒng)計
本節(jié)包含了一個完整的程序，用于統(tǒng)計在一組命令行指定的輸入文件中，每一個不同的單詞出現(xiàn)頻率。
#include “mapreduce/mapreduce.h”

// User’s map function
class WordCounter : public Mapper {
?public:
? virtual void Map(const MapInput& input) {
?? const string& text = input.value();
?? const int n = text.size();
?? for (int i = 0; i < n; ) {
??? // Skip past leading whitespace
??? while ((i < n) && isspace(text[i]))
???? i++;

?? // Find word end
?? int start = i;
?? while ((i < n) && !isspace(text[i]))
??? i++;
?? if (start < i)
??? Emit(text.substr(start,i-start),”1″);
? }
?}
};

REGISTER_MAPPER(WordCounter);

// User’s reduce function
class Adder : public Reducer {
?virtual void Reduce(ReduceInput* input) {
? // Iterate over all entries with the
? // same key and add the values
? int64 value = 0;
? while (!input->done()) {
?? value += StringToInt(input->value());
?? input->NextValue();
? }

? // Emit sum for input->key()
? Emit(IntToString(value));
?}
};

REGISTER_REDUCER(Adder);

int main(int argc, char** argv) {
?ParseCommandLineFlags(argc, argv);
?
?MapReduceSpecification spec;
?
?// Store list of input files into “spec”
?for (int i = 1; i < argc; i++) {
? MapReduceInput* input = spec.add_input();
? input->set_format(“text”);
? input->set_filepattern(argv[i]);
? input->set_mapper_class(“WordCounter”);
?}

?// Specify the output files:
?// /gfs/test/freq-00000-of-00100
?// /gfs/test/freq-00001-of-00100
?// …
?MapReduceOutput* out = spec.output();
?out->set_filebase(“/gfs/test/freq”);
?out->set_num_tasks(100);
?out->set_format(“text”);
?out->set_reducer_class(“Adder”);
?
?// Optional: do partial sums within map
?// tasks to save network bandwidth
?out->set_combiner_class(“Adder”);

?// Tuning parameters: use at most 2000
?// machines and 100 MB of memory per task
?spec.set_machines(2000);
?spec.set_map_megabytes(100);
?spec.set_reduce_megabytes(100);
?
?// Now run it
?MapReduceResult result;
?if (!MapReduce(spec, &result)) abort();
?
?// Done: ‘result’ structure contains info
?// about counters, time taken, number of
?// machines used, etc.
?return 0;
}

?

總結

以上是生活随笔為你收集整理的三篇论文之Google MapReduce中文版的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。