mysql分表规则(转)
author:skate
time:2013/05/14
Mysql分表準則
在大量使用mysql時,數據量大、高訪問時,為了提高性能需要分表處理,簡介下mysql分表的標準,后續會繼續補充
?
環境:
業務類型:OLTP
硬件:
cpu:8cpu 2.4GHZ
mem:48G
磁盤:raid5 6×sas
?
什么樣的表需要拆分:根據表的體積、表的行數、訪問特點來衡量表是否需要拆分
一.拆分標準是:
? 1.表的體積大于2G或行數大于1000w,以單表主鍵等簡單形式訪問數據,這個時候需要分表
? 2.表的體積大于2G或行數大于500W,以兩表jion,小范圍查詢(結果集小100行)等形式訪問數據,這個時候需要分表
? 3.表的體積大于2G或行數大于200w,以多表join,范圍查詢,order by,group by,高頻率等復雜形式訪問數據,尤其DML,這個時候需要分表
? 4.表的字段中含有text等大字段的、varchar(500)以上的、很少使用的字符型字段拆分成父子表,這種分表可以和以上聯合使用
? 5.數據有時間過期特性的,需要做數據分表歸檔處理
?
只要達到上面任何一個標準,都需要做分表處理
?
二.分表方法:
? 1.冷熱數據分表:適用小訪問量,冷數據很少使用
???? 1.1 單表字段很多,把頻繁使用整型字段的和非頻繁使用的字符型字段或大字段拆到兩個表中
???? 1.2 表數據具有時間過期性,把過期數據拆分到歷史表里或者按時間梯度分表
? 2.橫向分表:適用大訪問量
???? 2.1 如哈希等分切表或其他基于對某數字取余的切表,優點是方便數據分布,缺點是無法再擴展
???? 2.2 按主鍵id遞增分表,比如每100w個id一個分表,優點是方便擴展,缺點是壓力不均
???? 2.3 按日期分表,比如每天、每月、每年一個分表,優點是方便擴展,缺點是壓力不均
??????
說明
1.表的體積如何預估
CREATE TABLE `td_skate` (
????? `valid` BIGINT(20) NOT NULL AUTO_INCREMENT COMMENT '值id',
????? `propertyid` BIGINT(20) NULL DEFAULT NULL COMMENT '屬性id',
????? `text` VARCHAR(400) NULL DEFAULT NULL,
????? `entext` VARCHAR(400) NULL DEFAULT NULL,
????? `picurl` VARCHAR(200) NULL DEFAULT NULL COMMENT '屬性值說明圖片,保存圖片相對地址',
????? `isother` BIGINT(20) NULL DEFAULT NULL COMMENT '是否是other值, 0? 否? 1? 是',
????? `createtime` DATETIME NULL DEFAULT NULL COMMENT '創建時間',
????? `createuser` BIGINT(20) NULL DEFAULT NULL COMMENT '創建用戶',
????? `lastmodify` DATETIME NULL DEFAULT NULL COMMENT '最后修改時間',
????? `updatetimeuser` BIGINT(20) NULL DEFAULT NULL COMMENT '最后修改人',
????? `deletetime` DATETIME NULL DEFAULT NULL COMMENT '刪除時間',
????? `deleteuser` BIGINT(20) NULL DEFAULT NULL COMMENT '刪除人',
????? `description` VARCHAR(4000) NULL DEFAULT NULL COMMENT '產品描述',
????? `isdelete` INT(11) NULL DEFAULT '0',
????? PRIMARY KEY (`valid`),
????? INDEX `fk_td_prodline_attrval_td_prodline_attr` (`propertyid`),
????? CONSTRAINT `fk_td_prodline_attrval_td_prodline_attr` FOREIGN KEY (`propertyid`) REFERENCES `td_prodline_attr` (`propertyid`)
)
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=2491650;
把表的所有字段占用字節數相加,再乘以預估行數就是表的體積,比如上面的表,預估有1000W,那他的體積是
(8+8+400+400+200+8+8+8+8+8+8+8+4000+8)×10000000=50.8G,可以看到這個表設計非常不合理,可以修改如下:
int替代bigint
timestamp替代datetime
狀態位isdelete用tinyint替代
根據業務特點看能否把varchar(4000)放到一個字表中
優化后表大小:(4+4+400+400+200+4+4+4+4+4+4+4+1)×10000000=10.37G,如果要進一步提升性能,需要刪除外鍵,分表,保證單表在2G以下。
如果需要查看description信息,通過主鍵關聯查看子表,只會掃描有效的子表信息, 性能將會提升非常大。??
2.表的行數預估就很簡單,根據業務特點,訪問量等預估
類型 占用字節
tinyint 1
smallint 2
mediumint 3
int 4
bigint 8
這是決定存儲需要占用多少字節
tinyint(M), M默認為4;
SMALLINT(M), M默認為6;
MEDIUMINT(M), M默認為9;
INT(M),M默認為11;
BIGINT(M),M默認為20.
轉載地址:http://blog.csdn.net/wyzxg/article/details/8930658
轉載于:https://www.cnblogs.com/wangchunlan1299/p/7495331.html
總結
以上是生活随笔為你收集整理的mysql分表规则(转)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: javascript函数调用的各种方法!
- 下一篇: Angular Redux