fsimage文件丢失_Fsimage 与 EditLog定义及合并过程
fsimage文件:即命名空間映像文件,是內存中的元數據在硬盤上的checkpoint,包含文件系統中的所有目錄和文件inode的序列化信息。
edits:文件系統的寫操作首先把它記錄在edit中。
合并過程:
1.secondary namenode通過周期性(五分鐘),通過getEditLog獲取editlog大小,當其達到合并的大小時通過RollEditLog方法進行合并。
2.namenode停止使用edits文件,并生成一個新的臨時的edits.new文件。
3.Secondarynamenode通過namenode內建的Http服務器,以get的方式獲取edits與fsimage文件。Get方法中攜帶著fsimage與edits的路徑。
4.Secondaryname將fsimage載入內存并逐一執行edits中的操作,生成新的fsimage文件。
5.執行結束后,會向namenode發送http請求,告知namenode合并結束,namenode通過http post的方式獲取新fsimage文件。
6.Namenode更新fsimage文件中記錄檢查點執行的時間,并改名為fsimage文件。
7.Edit.new文件更名為edit文件。
注:由此可知namenode 與 secondarynamenode 有著相似的內存需求,因為secondarynamenode也會將fsimage載入內存,因此secondarynamenode需要運行在一臺專門機器上。
總結
以上是生活随笔為你收集整理的fsimage文件丢失_Fsimage 与 EditLog定义及合并过程的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 轨迹匹配地图 python_基于地图的视
- 下一篇: 查询已有链表的hashmap_源码分析系