2013年11月22-23日，作為國內(nèi)唯一專注于hadoop技術(shù)與應(yīng)用分享的大規(guī)模行業(yè)盛會，2013 Hadoop中國技術(shù)峰會(China Hadoop Summit 2013)于北京福朋喜來登集團(tuán)酒店隆重舉行。來自國內(nèi)外各行業(yè)領(lǐng)域的近千名CIO、CTO、架構(gòu)師、IT經(jīng)理、咨詢顧問、工程師、Hadoop技術(shù)愛好者，以及從事Hadoop研究與推廣的IT廠商和技術(shù)專家將共襄盛舉。

在SQL&NoSQL專場，來自小米的資深工程師劉紹輝做了《從關(guān)系型Mysql到Nosql HBase的遷移實(shí)踐》演講。詳細(xì)介紹了HBase，以及HBase在小米的使用，小米開發(fā)的重要特性和未來的開發(fā)計(jì)劃。

首先，劉紹輝在介紹HBase，他談到，小米從去年開始調(diào)研測試，目前已經(jīng)十幾個業(yè)務(wù)接入到了HBase上，包括米聊消息的全存儲、MiCloud上短信通話記錄的同步、小米Push服務(wù)、以及一些離線的數(shù)據(jù)分析業(yè)務(wù)。

劉紹輝談到，典型的HBase集群包含了3到5個控制節(jié)點(diǎn)，5到n個的數(shù)據(jù)節(jié)點(diǎn)?？刂乒?jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)的主要區(qū)別在磁盤上，控制節(jié)點(diǎn)對磁盤的容量要求并不是很高，主要是要求磁盤要穩(wěn)定。

▲典型的HBase集群

劉紹輝繼續(xù)介紹到，整個系統(tǒng)的自動化部署是小米自己開發(fā)的minos工具，直接在命令行操作，可以很簡單的創(chuàng)建集群、修改配置文件、升級集群、刪除集群等功能。同時，minos也集成了一個監(jiān)控的功能。目前，這款工具已經(jīng)在github上開源，小米內(nèi)部使用的版本和開源版本基本上是一致的(https://github.com/xiaomi/Minos)。

介紹到最佳實(shí)踐，劉紹輝說，“我們在原生的HBase Client基礎(chǔ)上封裝了一層小米的HBase Client。這主要是實(shí)現(xiàn)了四件事，一是保證線程的安全，二是在HBase Client中可以自動添加性能指標(biāo)，三是跨表、跨集群操作對用戶來說是一致的，四是可以做到動態(tài)的更新客戶端配置。”

對于一些數(shù)據(jù)比較重要的業(yè)務(wù)，我們使用了雙主復(fù)制，并實(shí)現(xiàn)了主備集群的自動切換。當(dāng)我們確認(rèn)需要切換集群的時候只要簡單的修改一個配置，新的讀寫請求就會被切換到備集群上。

▲最佳實(shí)踐

另外，在其他方面也有了一些優(yōu)化，如平滑升級，使用基于move region腳本減少不可用時間;Full GC，每天低峰期觸發(fā)Full GC;Compaction，提升寫的性能;四是Shortcircuit Read;安全，Kerberos認(rèn)證。

在最后談到未來的開發(fā)計(jì)劃，劉紹輝介紹到，我們希望能做到同步復(fù)制，跨行跨表的原子性，全局二級索引，以及做一些Compaction優(yōu)化， Failover相關(guān)的優(yōu)化，多租戶共享集群與共有云，HMaster重構(gòu)。在與社區(qū)共同發(fā)展方面，劉紹輝繼續(xù)談到，我們也會參與HBase修改反饋回社區(qū)，以及會緊跟社區(qū)最新進(jìn)展，積極參與社區(qū)方案設(shè)計(jì)和討論。

總結(jié)

以上是生活随笔為你收集整理的mysql 迁移 nosql_从关系型Mysql到Nosql HBase的迁移实践的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。