文章目錄

• 什么是ES？
• ES的核心概念
• ES倒排索引

什么是ES？

ES是Elasticsearch的簡稱，Elasticsearch是一個分布式可擴展的實時搜索和分析引擎，一個建立在全文搜索引擎 Apache Lucene? 基礎上的搜索引擎。Lucene只是一個框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene，學習成本高，且Lucene確實非常復雜。

特點：

分布式實時文件存儲，并將每一個字段都編入索引，使其可以被搜索

實時分析的分布式搜索引擎

可以擴展到上百臺服務器，處理PB級別的結構化或非結構化數據

ES的核心概念

索引（Index）
ES將數據存儲于一個或多個索引中。類比傳統的關系型數據庫領域來說，索引相當于SQL中的一個數據庫，或者一個數據存儲方案(schema)。索引由其名稱(必須為全小寫字符)進行標識。一個ES集群中可以按需創建任意數目的索引。

類型（Type）
類型是索引內部的邏輯分區(category/partition)，一個索引內部可定義一個或多個類型(type)。類比傳統的關系型數據庫領域來說，類型相當于“表”。

文檔（Document）
文檔是索引和搜索的原子單位，它是包含了一個或多個域（Field）的容器，每個域擁有一個名字及一個或多個值，有多個值的域通常稱為“多值域”，文檔基于JSON格式進行表示。每個文檔可以存儲不同的域集，但同一類型下的文檔至應該有某種程度上的相似之處。

集群（Cluster）
一個或者多個擁有相同cluster.name配置的節點組成， 它們共同承擔數據和負載的壓力。

節點（Node）
一個運行中的 Elasticsearch 實例稱為一個節點。
ES集群中的節點有三種不同的類型：
主節點：負責管理集群范圍內的所有變更，例如增加、刪除索引，或者增加、刪除節點等。 主節點并不需要涉及到文檔級別的變更和搜索等操作。可以通過屬性node.master進行設置。
數據節點：存儲數據和其對應的倒排索引。默認每一個節點都是數據節點（包括主節點），可以通過node.data屬性進行設置。
協調節點：如果node.master和node.data屬性均為false，則此節點稱為協調節點，用來響應客戶請求，均衡每個節點的負載。

ES倒排索引

什么是倒排索引: 倒排索引也叫反向索引，通俗來講正向索引是通過key找value，反向索引則是通過value找key。

假設有3條文檔數據:

那么Elasticsearch建立的索引如下:

Elasticsearch分別為每個field都建立了一個倒排索引，24，Kate, John Female這些叫term，而[1,2]就是Posting List倒排列表。Posting list就是一個int的數組，倒排列表記錄了出現過某個單詞的所有文檔的文檔列表及單詞在該文檔中出現的位置信息，每條記錄稱為一個倒排項(Posting)。根據倒排列表，即可獲知哪些文檔包含某個單詞。

思考：如果這里有上千萬的記錄呢？如何通過term來查找呢？這就需要了解一下Term Dictionary和Term Index的概念

Term Dictionary：
Elasticsearch為了能快速找到某個term，將所有的term排個序，二分法查找term，logN的查找效率，就像通過字典查找一樣，這就是Term Dictionary。現在再看起來，似乎和傳統數據庫通過B-Tree的方式類似，為什么說比B-Tree的查詢快呢？

Term Index：
B-Tree通過減少磁盤尋道次數來提高查詢性能，Elasticsearch也是采用同樣的思路，直接通過內存查找term，不讀磁盤，但是如果term太多，term dictionary也會很大，放內存不現實，于是有了Term Index，就像字典里的索引頁一樣，A開頭的有哪些term，分別在哪頁，可以理解term index是一顆樹

這棵樹不會包含所有的term，它包含的是term的一些前綴。通過term index可以快速地定位到term dictionary的某個offset，然后從這個位置再往后順序查找

所以term index不需要存下所有的term，而僅僅是他們的一些前綴與Term Dictionary的block之間的映射關系，再結合FST(Finite State Transducers)的壓縮技術，可以使term index緩存到內存中。從term index查到對應的term dictionary的block位置之后，再去磁盤上找term，大大減少了磁盤隨機讀的次數。

總結

以上是生活随笔為你收集整理的ES简介及倒排索引的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。