面試題

es 寫入數據的工作原理是什么啊？es 查詢數據的工作原理是什么啊？底層的 lucene 介紹一下唄？倒排索引了解嗎？

面試官心理分析

問這個，其實面試官就是要看看你了解不了解 es 的一些基本原理，因為用 es 無非就是寫入數據，搜索數據。你要是不明白你發起一個寫入和搜索請求的時候，es 在干什么，那你真的是......

對 es 基本就是個黑盒，你還能干啥？你唯一能干的就是用 es 的 api 讀寫數據了。要是出點什么問題，你啥都不知道，那還能指望你什么呢？

面試題剖析

es 寫數據過程

客戶端選擇一個 node 發送請求過去，這個 node 就是coordinating node（協調節點）。

coordinating node對 document 進行路由，將請求轉發給對應的 node（有 primary shard）。

實際的 node 上的primary shard處理請求，然后將數據同步到replica node。

coordinating node如果發現primary node和所有replica node都搞定之后，就返回響應結果給客戶端。

es-write

es 讀數據過程

可以通過doc id來查詢，會根據doc id進行 hash，判斷出來當時把doc id分配到了哪個 shard 上面去，從那個 shard 去查詢。

客戶端發送請求到任意一個 node，成為coordinate node。

coordinate node對doc id進行哈希路由，將請求轉發到對應的 node，此時會使用round-robin隨機輪詢算法，在primary shard以及其所有 replica 中隨機選擇一個，讓讀請求負載均衡。

接收請求的 node 返回 document 給coordinate node。

coordinate node返回 document 給客戶端。

es 搜索數據過程

es 最強大的是做全文檢索，就是比如你有三條數據：

java真好玩兒啊

java好難學啊

j2ee特別牛

你根據java關鍵詞來搜索，將包含java的document給搜索出來。es 就會給你返回：java真好玩兒啊，java好難學啊。

客戶端發送請求到一個coordinate node。

協調節點將搜索請求轉發到所有的 shard 對應的primary shard或replica shard，都可以。

query phase：每個 shard 將自己的搜索結果（其實就是一些doc id）返回給協調節點，由協調節點進行數據的合并、排序、分頁等操作，產出最終結果。

fetch phase：接著由協調節點根據doc id去各個節點上拉取實際的document數據，最終返回給客戶端。

寫數據底層原理

es-write-detail

先寫入內存 buffer，在 buffer 里的時候數據是搜索不到的；同時將數據寫入 translog 日志文件。

如果 buffer 快滿了，或者到一定時間，就會將內存 buffer 數據refresh到一個新的segment file中，但是此時數據不是直接進入segment file磁盤文件，而是先進入os cache。這個過程就是refresh。

每隔 1 秒鐘，es 將 buffer 中的數據寫入一個新的segment file，每秒鐘會產生一個新的磁盤文件segment file，這個segment file中就存儲最近 1 秒內 buffer 中寫入的數據。

但是如果 buffer 里面此時沒有數據，那當然不會執行 refresh 操作，如果buffer里面有數據，默認 1 秒鐘執行一次 refresh 操作，刷入一個新的 segment file 中。

操作系統里面，磁盤文件其實都有一個東西，叫做os cache，即操作系統緩存，就是說數據寫入磁盤文件之前，會先進入os cache，先進入操作系統級別的一個內存緩存中去。只要buffer中的數據被 refresh 操作刷入os cache中，這個數據就可以被搜索到了。

為什么叫 es 是準實時的？NRT，全稱near real-time。默認是每隔 1 秒 refresh 一次的，所以 es 是準實時的，因為寫入的數據 1 秒之后才能被看到。可以通過 es 的restful api或者java api，手動執行一次 refresh 操作，就是手動將 buffer 中的數據刷入os cache中，讓數據立馬就可以被搜索到。只要數據被輸入os cache中，buffer 就會被清空了，因為不需要保留 buffer 了，數據在 translog 里面已經持久化到磁盤去一份了。

重復上面的步驟，新的數據不斷進入 buffer 和 translog，不斷將buffer數據寫入一個又一個新的segment file中去，每次refresh完 buffer 清空，translog保留。隨著這個過程推進，translog 會變得越來越大。當 translog 達到一定長度的時候，就會觸發commit操作。

commit 操作發生第一步，就是將 buffer 中現有數據refresh到os cache中去，清空 buffer。然后，將一個commit point寫入磁盤文件，里面標識著這個commit point對應的所有segment file，同時強行將os cache中目前所有的數據都fsync到磁盤文件中去。最后清空現有 translog 日志文件，重啟一個 translog，此時 commit 操作完成。

這個 commit 操作叫做flush。默認 30 分鐘自動執行一次flush，但如果 translog 過大，也會觸發flush。flush 操作就對應著 commit 的全過程，我們可以通過 es api，手動執行 flush 操作，手動將 os cache 中的數據 fsync 強刷到磁盤上去。

translog 日志文件的作用是什么？你執行 commit 操作之前，數據要么是停留在 buffer 中，要么是停留在 os cache 中，無論是 buffer 還是 os cache 都是內存，一旦這臺機器死了，內存中的數據就全丟了。所以需要將數據對應的操作寫入一個專門的日志文件translog中，一旦此時機器宕機，再次重啟的時候，es 會自動讀取 translog 日志文件中的數據，恢復到內存 buffer 和 os cache 中去。

translog 其實也是先寫入 os cache 的，默認每隔 5 秒刷一次到磁盤中去，所以默認情況下，可能有 5 秒的數據會僅僅停留在 buffer 或者 translog 文件的 os cache 中，如果此時機器掛了，會丟失5 秒鐘的數據。但是這樣性能比較好，最多丟 5 秒的數據。也可以將 translog 設置成每次寫操作必須是直接fsync到磁盤，但是性能會差很多。

實際上你在這里，如果面試官沒有問你 es 丟數據的問題，你可以在這里給面試官炫一把，你說，其實 es 第一是準實時的，數據寫入 1 秒后可以搜索到；可能會丟失數據的。有 5 秒的數據，停留在 buffer、translog os cache、segment file os cache 中，而不在磁盤上，此時如果宕機，會導致 5 秒的數據丟失。

數據寫入 segment file 之后，同時就建立好了倒排索引。

刪除/更新數據底層原理

如果是刪除操作，commit 的時候會生成一個.del文件，里面將某個 doc 標識為deleted狀態，那么搜索的時候根據.del文件就知道這個 doc 是否被刪除了。

如果是更新操作，就是將原來的 doc 標識為deleted狀態，然后新寫入一條數據。

buffer 每次 refresh 一次，就會產生一個segment file，所以默認情況下是 1 秒鐘一個segment file，這樣下來segment file會越來越多，此時會定期執行 merge。每次 merge 的時候，會將多個segment file合并成一個，同時這里會將標識為deleted的 doc 給物理刪除掉，然后將新的segment file寫入磁盤，這里會寫一個commit point，標識所有新的segment file，然后打開segment file供搜索使用，同時刪除舊的segment file。

底層 lucene

簡單來說，lucene 就是一個 jar 包，里面包含了封裝好的各種建立倒排索引的算法代碼。我們用 Java 開發的時候，引入 lucene jar，然后基于 lucene 的 api 去開發就可以了。

通過 lucene，我們可以將已有的數據建立索引，lucene 會在本地磁盤上面，給我們組織索引的數據結構。

倒排索引

在搜索引擎中，每個文檔都有一個對應的文檔 ID，文檔內容被表示為一系列關鍵詞的集合。例如，文檔 1 經過分詞，提取了 20 個關鍵詞，每個關鍵詞都會記錄它在文檔中出現的次數和出現位置。

那么，倒排索引就是關鍵詞到文檔ID 的映射，每個關鍵詞都對應著一系列的文件，這些文件中都出現了關鍵詞。

舉個栗子。

有以下文檔：

對文檔進行分詞之后，得到以下倒排索引。

另外，實用的倒排索引還可以記錄更多的信息，比如文檔頻率信息，表示在文檔集合中有多少個文檔包含某個單詞。

那么，有了倒排索引，搜索引擎可以很方便地響應用戶的查詢。比如用戶輸入查詢Facebook，搜索系統查找倒排索引，從中讀出包含這個單詞的文檔，這些文檔就是提供給用戶的搜索結果。

總結

以上是生活随笔為你收集整理的es 删除数据_es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。