kylin备份元数据(用于清除不用的数据方式)
轉:https://blog.csdn.net/jiangshouzhuang/article/details/51290239
Kylin組織它所有的元數據(包括cube descriptions and instances, projects, inverted index description and instances,jobs, tables and dictionaries)作為一個層次的文件系統。
然而,Kylin使用HBase來進行存儲,而不是普通的文件系統。
我們可以從Kylin的配置文件kylin.properties中查看到:
## The metadata store in hbase kylin.metadata.url=kylin_metadata@hbase表示Kylin的元數據被保存在HBase的kylin_metadata表中。
備份Kylin的元數據
這將備份元數據到本地目錄KYLIN_HOME/metadata_backps下面,目錄的命名格式為:
KYLIN_HOME/meta_backups/meta_year_month_day_hour_minute_second
比如我的Kylin的家目錄為/var/lib/kylin/kylin,那么備份數據的目錄為:
我們來查看一下目錄:
[kylin@SZB-L0023777kylin]$ cd /var/lib/kylin/kylin/meta_backups/meta_2016_05_01_11_50_32[kylin@SZB-L0023777meta_2016_05_01_11_50_32]$ lltotal 44drwxrwxr-x 2 kylin kylin 4096 May 1 11:50 cubedrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 cube_descdrwxrwxr-x 4 kylin kylin 4096 May 1 11:50 cube_statisticsdrwxrwxr-x 6 kylin kylin 4096 May 1 11:50 dictdrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 executedrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 execute_outputdrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 model_descdrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 projectdrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 tabledrwxrwxr-x 2 kylin kylin 4096 May 1 11:50 table_exddrwxrwxr-x 5 kylin kylin 4096 May 1 11:50 table_snapshot恢復元數據
假如你的Kylin元數據掛掉了,那么我們就可以使用之前備份的數據進行恢復:
1. 首先reset當前Kylin的元數據存儲,這將清理掉所有存儲在HBase中的Kylin元數據,確保在此之前做過備份
從Kylin元數據中清理掉無用的資源
隨著時間的推移,有些資源,比如字典,表的快照等變得無用了(cube的segment被刪除或合并了),但是他們仍然占用空間。可以執行如下命令查找和清理無用的元數據:
將需要被刪除的資源(resources)羅列出來
總結
以上是生活随笔為你收集整理的kylin备份元数据(用于清除不用的数据方式)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 发动机冒黑烟的检测步骤?
- 下一篇: 17年朗动手动高配多少钱?