【数据平台】关于Hadoop集群namenode format安全事故
生活随笔
收集整理的這篇文章主要介紹了
【数据平台】关于Hadoop集群namenode format安全事故
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1、問題:重啟namenode后提示連接失敗,居然執行了format命令,出現了很嚴重的安全事故。
2、教訓:對于生產集群,一定要建立運維安全體系,對于高危命令要做權限控制。
3、對于備份的理解:
? ? ? 1)由于所操作的集群namenode和secondary namenode是同一臺機子,secondary只發揮在namenode當機下充當namenode的作用,而沒有獨立保存元數據結構和日志,導致無法從secondary恢復數據。
? ? ? 2)對于dfs.namenode.name.dir路徑下namenode保存的fsimage_和edits_要預先做備份,最好是設置雙路徑,以便從fsimage_和edits_中恢復。
hdfs-site.xml
<property> <name>dfs.namenode.name.dir</name><value>/data/hadoop-2.7.2/current/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>/data/hadoop-2.7.2/current/data</value></property>core-site.xml<property><name>hadoop.tmp.dir</name><value>/data/hadoop-2.7.2/current/tmp</value></property>
? ? ? 上面三個路徑的數據在format前要注意備份。
4、對于format前的工作,要先前上面三個路徑備份后再執行。
5、hadoop的集群有不同的情況,生產的集群和研發的集群在安全級別上有不同的管理。
6、checkpoint參考:http://www.cnblogs.com/hanyuanbo/archive/2012/07/25/2608698.html
? ??
總結
以上是生活随笔為你收集整理的【数据平台】关于Hadoop集群namenode format安全事故的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【正一专栏】读《江村经济》——献给妻子的
- 下一篇: 【数据平台】sqoop支持hive和my