HBase讀寫操作

讀和寫是Hbase的兩種常見的基本操作，這兩種操作都會(huì)涉及到Hfile和Meta表，我們依次看看

Hfile

HFile是Hbase在HDFS中存儲(chǔ)數(shù)據(jù)的格式，它有如下特性：

• 主標(biāo)識是一個(gè)行健
• key按照有序的方式進(jìn)行存儲(chǔ)
• HFile僅僅分配給一個(gè)Region
• 行存儲(chǔ)在Hfile上面，通過排好序的KeyValue存儲(chǔ)在磁盤上
• 當(dāng)MemStore超過它的限制的時(shí)候，會(huì)新產(chǎn)生一個(gè)HFile
• 在搜索數(shù)據(jù)的時(shí)候，不需要加載整個(gè)Hfile，可以使用Hfile的多層索引
• HDFS復(fù)制WAL和Hfile塊，并且這是自動(dòng)的
• 在每個(gè)Hfile中，最高的序列號被存儲(chǔ)為meta Field

Meta表

在讀數(shù)據(jù)的時(shí)候，Hbase需要知道要訪問那個(gè)Region Server，因此在讀數(shù)據(jù)的時(shí)候需要通過Meta表。

• Meta表也是一張Hbase的表，但是內(nèi)部是一系列Region的信息
• 它的結(jié)構(gòu)如下：
  • Key：Region起始的key，Region Id
  • Value: RegionServer信息

首次讀寫

首先到ZooKeeper中找到meta表對應(yīng)的Region Server地址

客戶端再去RegionServer中，從meta表中獲取對應(yīng)rowkey位于哪個(gè)RegionServer上，客戶端會(huì)緩存這個(gè)信息還有meta表的信息。

客戶端從對應(yīng)的RegionServer找到row。

后續(xù)的讀過程，客戶端會(huì)直接從之前緩存的Meta表中檢索。

?

image.png

image.png

參考

HBase Operations: Read and Write Operations
HBase原理－數(shù)據(jù)讀取流程解析
An In-Depth Look at the HBase Architecture
圖解Hbase讀取流程
一條數(shù)據(jù)的HBase之旅，簡明HBase入門教程-Write全流程

總結(jié)

以上是生活随笔為你收集整理的HBase读写操作流程介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。