傳統(tǒng)業(yè)務(wù)采取隔天隔天將數(shù)據(jù)抽取到OLAP的方式，帶來了兩個(gè)問題

1， 報(bào)表往往需要隔天才能出來，無法滿足業(yè)務(wù)需要；

2，帶來了多副本的問題； OLTP里面至少三個(gè)副本； OLAP里面又至少3個(gè)副本； OLAP分析后轉(zhuǎn)存數(shù)據(jù)集市又有多個(gè)副本；造成資源大量的浪費(fèi)；

?HTAP要求：

可擴(kuò)展性

• 分布式事物
• 分布式存儲(chǔ)

實(shí)時(shí)性

• 行存和列存實(shí)時(shí)同步

同時(shí)支持OLTP和OLAP

• 同時(shí)支持行存和列存
• OLAP和OLTP業(yè)務(wù)隔離

?

?TiDB的HTAP特性

• 行列混合
  • 列存TiFlash支持基于主鍵的實(shí)時(shí)更新
  • TiFlash作為列存副本
  • OLAP和OLTP業(yè)務(wù)隔離
• 智能選擇
• MPP架構(gòu)

TiDB的MPP (Massively Parallel Processing)?

• 大量數(shù)據(jù)的JOIN+聚合查詢
• 所有MPP計(jì)算都在TiFlash節(jié)點(diǎn)的內(nèi)存中完成
• 目前只支持等值連接
• enforce_mpp幫助驗(yàn)證是否可以使用MPP

MPP過程
例如執(zhí)行下面的OLAP查詢：

select count(*) from order,product where order.pid = product.pid and sub_str(order.dic,3) = '7c0' and product.pic_date > '2022-01-31' group by order.state;

1， 根據(jù)where條件，將order.dic前3個(gè)字符等于'7c0'的， product.pic_date > '2022-01-31'的數(shù)據(jù)放入內(nèi)存；

2， 進(jìn)行數(shù)據(jù)交換，將order.pid和product.pid相等的數(shù)據(jù)放入同一個(gè)節(jié)點(diǎn)；

3， 進(jìn)行數(shù)據(jù)連接，此時(shí)連接會(huì)發(fā)生在節(jié)點(diǎn)內(nèi)部，從而減少了巨大的網(wǎng)絡(luò)開銷；連接可以并行執(zhí)行；

4，聚合提速： 對(duì)State進(jìn)行HASH，將HASH相等的數(shù)據(jù)放入同一個(gè)節(jié)點(diǎn)；

5， 對(duì)數(shù)據(jù)進(jìn)行聚合，聚合查詢?cè)诠?jié)點(diǎn)內(nèi)部即可完成，得到結(jié)果，且并行執(zhí)行；

6， 將各個(gè)tiflash結(jié)果返回到TiDB Server進(jìn)行匯總返回給用戶；

總結(jié)

以上是生活随笔為你收集整理的HTAP技术的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。