文章目錄

• 術(shù)語
• • Table
  • Row
  • Column Family（列簇或列族）
  • Column
  • Column Qualifier
  • Cell
  • Timestamp
• 標識設計要點
• • hbase與關(guān)系型數(shù)據(jù)庫對比
  • 設計時考慮因素
  • 設計要點
  • • 行鍵rowkey設計
    • 列簇設計
  • 列簇屬性
• 總結(jié)

術(shù)語

Table

• Hbase的table由多個行組成。

Row

• 一個行在Hbase中由一個或多個有值的列組成。Row按照字母進行排序，因此行鍵的設計非常重要。這種設計方式可以讓有關(guān)系的行非常的近，通常行鍵的設計是網(wǎng)站的域名反轉(zhuǎn)，比如(org.apache.www, org.apache.mail, org.apache.jira)，這樣的話所有的Apache的域名就很接近。

Column Family（列簇或列族）

• 列簇在物理上包含了許多的列與列的值，每個列簇都有一些存儲的屬性可配置。例如是否使用緩存，壓縮類型，存儲版本數(shù)等。在表中，每一行都有相同的列簇，盡管有些列簇什么東西也沒有存。

Column

• 列由列簇加上列的標識組成，一般是“列簇：列標識”，創(chuàng)建表的時候不用指定列名（列標識）

Column Qualifier

• 列簇的限定詞，理解為列的唯一標識。但是列標識是可以改變的，因此每一行可能有不同的列標識

Cell

• Cell是由row，column family,column qualifier包含時間戳與值組成的，一般表達某個值的版本。

Timestamp

• 時間戳一般寫在value的旁邊，代表某個值的版本號，默認的時間戳是寫入數(shù)據(jù)的那一刻，也可以在寫入數(shù)據(jù)的時候指定不同的時間戳

標識設計要點

• 只要是數(shù)據(jù)庫都存在，模式設計的問題，關(guān)系型中有模式設計的范式，Hbase作為列式存儲數(shù)據(jù)庫，其模式設計也非常重要。

hbase與關(guān)系型數(shù)據(jù)庫對比

屬性hbaseRDBMS

數(shù)據(jù)類型	只有字符串	豐富的數(shù)據(jù)類型
數(shù)據(jù)操作	增刪改查，不支持join	各種各樣的函數(shù)與表連接
存儲模式	基于列式存儲	基于表結(jié)構(gòu)和行式存儲
數(shù)據(jù)保護	更新后仍然保留舊數(shù)據(jù)	數(shù)據(jù)替換
可伸縮性	輕易增加節(jié)點	需要中間層，犧牲性能

設計時考慮因素

• Hbase關(guān)鍵概念：表，rowkey，列簇，時間戳
  • 這個表應該有多少列簇
  • 列簇使用什么數(shù)據(jù)
  • 每個列簇有有多少列
  • 列名是什么，盡管列名不必在建表時定義，但讀寫數(shù)據(jù)是要知道的
  • 單元應該存放什么數(shù)據(jù)
  • 每個單元存儲多少時間版本
  • 行鍵(rowKey)結(jié)構(gòu)是什么，應該包含什么信息

設計要點

行鍵rowkey設計

• 說明
  • 行鍵是關(guān)鍵部分，直接關(guān)系到后續(xù)服務的訪問性能。如果行鍵設計不合理，后續(xù)查詢服務效率會成倍的遞減。
• 細節(jié)
  • rowkey全局唯一，如果重復添加數(shù)據(jù)會覆蓋。
  • 避免單調(diào)的遞增行鍵，因為Hbase的行鍵是有序排列的，這樣可能導致一段時間內(nèi)大部分寫入集中在某一個Region上進行操作，負載都在一臺節(jié)點上。可以設計成： [metric_type][event_timestamp]，不同的metric_type可以將壓力分散到不同的region上
  • 行鍵短到可讀即可，因為查詢短鍵比長鍵性能好些，所以設計時要權(quán)衡長度，最好不要超過16個字節(jié)。
  • 行鍵不能改變，唯一可以改變的方式是先刪除后插入

列簇設計

• 說明
  • 列簇是一些列的集合，一個列簇的成員有相同的前綴，以冒號(:)作為分隔符。
• 細節(jié)
  • 當前Hbase不能很好處理2~3個以上的列簇，所以盡可能讓列簇少一些，如果表有多個列簇，列簇A有100萬行數(shù)據(jù)，列簇B有10億行，那么列簇A會分散到很多的Region導致掃描列簇A的時候效率底下。
  • 列簇名的長度要盡量小，一個為了節(jié)省空間，另外加快效率，比如d表示data，v表示value

列簇屬性

• HFile數(shù)據(jù)塊，默認是64KB，數(shù)據(jù)庫數(shù)據(jù)的大小影響數(shù)據(jù)塊索引的大小。數(shù)據(jù)塊大的話一次加載進內(nèi)存的數(shù)據(jù)越多，掃描查詢效果越好。但是數(shù)據(jù)塊小的話，隨機查詢性能更好
• 數(shù)據(jù)塊緩存，數(shù)據(jù)塊緩存默認是打開的，如果一些比較少訪問的數(shù)據(jù)可以選擇關(guān)閉緩存
• 數(shù)據(jù)壓縮，壓縮會提高磁盤利用率，但是會增加CPU的負載，看情況進行控制

總結(jié)

• 了解hbase設計是影響hbase查詢效率的關(guān)鍵因素，信息的排列方式，決定數(shù)據(jù)的聚集性，使用時根據(jù)實際場景設計，如數(shù)據(jù)多對一時，增加索引表，實現(xiàn)多種信息規(guī)則關(guān)聯(lián)。如復雜計算過濾查詢，可使用Elasticsearch作為hbase查詢?nèi)肟凇?/li>
• 實踐出真知，任何理論知識必須經(jīng)歷實際場景的考驗，才能真正學會，融匯貫通。

總結(jié)

以上是生活随笔為你收集整理的HBase数据模型和表设计的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。