對于全文檢索，lucene是目前最流行的搜索庫。以前我們都需要學(xué)習(xí)使用lucene,基于lucene做相關(guān)的開發(fā)，學(xué)習(xí)倒排索引的原理，而現(xiàn)在，我們可以直接使用現(xiàn)成的搜索框架了，因為現(xiàn)在很多這種搜索框架底層都是直接基于lucene的分布式搜索引擎，例如elasticsearch就是其中最典型的代表，我們親切的簡稱其為es。

?

現(xiàn)在分布式搜索基本已經(jīng)成為大部分互聯(lián)網(wǎng)行業(yè)的java體系的標(biāo)配，其中尤為流行的就是es，記得我2014年的時候還在用用solr，估計那個時候大部分小伙伴也是一樣。但是最近幾年基本都開始轉(zhuǎn)向es了。

elasticsearch設(shè)計的理念就是分布式搜索引擎，底層其實還是基于lucene的。

elasticsearch通過在多臺機器上啟動多個進程實例，然后通相同的集群名稱自動加入同一個集群組成了一個es集群。

?

es基礎(chǔ)存儲結(jié)構(gòu)

es中存儲數(shù)據(jù)的基本單位是索引index，比如我們可以創(chuàng)建訂單索引order_index，然后創(chuàng)建一個type，所有的訂單數(shù)據(jù)就都寫到這個索引下的type里面去了，如果硬要和mysql進行類比的話，es中一個索引可以類比為mysql中的一個庫，類型可以類比為mysql里的一張表，因此理論上一個索引index可以對應(yīng)多個type。不過隨著es版本的更新迭代，一般都是建議一個索引index只對應(yīng)一個type。es中結(jié)構(gòu)由大到小順序大致為index -> type -> mapping -> document -> field。

?

比如：一個訂單index里面一般就是一個訂單type，只存放一種類型。

?

每個type都有一個mapping結(jié)構(gòu)，mapping就是這個type的結(jié)構(gòu)定義，這個結(jié)構(gòu)定義就相當(dāng)于你在mysql中創(chuàng)建一個表，要定義表結(jié)構(gòu)和字段，以及類型。

?

而在es中mapping就代表了這個type的表結(jié)構(gòu)定義，定義了這個type中每個字段名稱，字段是什么類型的，然后還有這個字段的各種配置。

?

然后你向index中的type寫的一條數(shù)據(jù)，就相當(dāng)于一個document對象，一個document對象就代表了mysql中某個表里的一行記錄，每個document有多個field，每個field就代表了這個document中的一個字段的值

?

es的分布式架構(gòu)

借圖說話

?

?

根據(jù)es的分布式架構(gòu)，es的每個索引都會被拆分成多個shard分片，每個shard分片只存儲部分?jǐn)?shù)據(jù)。

?

然后每個shard分片都是有副本的，其中主分片即primary shard負(fù)責(zé)寫入數(shù)據(jù)， primary shard寫入數(shù)據(jù)之后，會將數(shù)據(jù)同步到其他幾個副本分片replica shard上去。通過這種副本機制達到es的高可用。

?

es集群中是有多個節(jié)點的，它們會自動選舉一個節(jié)點做為master節(jié)點，master節(jié)點相當(dāng)于一個協(xié)調(diào)管理者，用于維護索引元數(shù)據(jù)，切換primary shard和replica shard身份之類的。

?

如果master節(jié)點宕機了，其余節(jié)點會重新選舉一個節(jié)點為master節(jié)點。

?

如果是非master節(jié)點宕機了，那么會由master節(jié)點，讓那個宕機節(jié)點上的primary shard的身份轉(zhuǎn)移到其他機器上的replica shard。然后如果該宕機節(jié)點修復(fù)重啟了之后，master節(jié)點會將缺失的replica shard分配過去，同步主從分片數(shù)據(jù)，讓集群恢復(fù)正常。

?

這就是elasticsearch作為一個分布式搜索引擎最基本的一個架構(gòu)設(shè)計，后續(xù)會持續(xù)探討es搜索和寫入的內(nèi)部原理和流程，以及實際項目中我們怎么使用elasticsearch實現(xiàn)全文檢索，聚合統(tǒng)計相關(guān)功能。

?

總結(jié)

以上是生活随笔為你收集整理的elasticsearch的分布式架构原理的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。