Mycat分库路由规则
一、Mycat分庫(kù)路由分為連續(xù)路由和離散路由。
1、連續(xù)路由：
（1）、常用的路由方式：auto-sharding-long、sharding-by-date、sharding-by-month
（2）、優(yōu)點(diǎn)：擴(kuò)容無需遷移數(shù)據(jù)；范圍條件查詢消耗資源少。
（3）、缺點(diǎn)：存在數(shù)據(jù)熱點(diǎn)的可能性；并發(fā)訪問能力受限于單一或少量的DataNode
2、離線路由：
（1）、常用的路由方式：sharding-by-intfile、sharding-by-murmur、mod-long(取模)、crc32slot(取模)
（2）、優(yōu)點(diǎn)：并發(fā)訪問能力增強(qiáng)。
（3）、缺點(diǎn)：數(shù)據(jù)擴(kuò)容比較困難，涉及到數(shù)據(jù)遷移問題；數(shù)據(jù)庫(kù)鏈接消耗資源多。
二、auto-sharding-long：
1、路由規(guī)則：
<tableRule name="auto-sharding-long-userid">
? ? ? <rule>
? ? ? ? ? ? ?<columns>userid</columns>
? ? ? ? ? ? ?<algorithm>rang-long-userid</algorithm>
? ? ? </rule>
</tableRule>
?
<function name="rang-long-userid"
??????? class="io.mycat.route.function.AutoPartitionByLong">
??????? <property name="mapFile">autopartition-long-userid.txt</property>
</function>
[root@host01 conf]# more autopartition-long-userid.txt
# range start-end ,data node index
# K=1000,M=10000.
0-1000=0
1001-2000=1
2001-3000=2
3001-4000=3
4001-5000=4
5001-6000=5
2、例子：
CREATE TABLE tb_user_detail_t (
? userid bigint not null primary key,
? name varchar(64) DEFAULT NULL,
? createtime datetime DEFAULT CURRENT_TIMESTAMP,
? moditytime datetime DEFAULT CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
?
寫入數(shù)據(jù)
insert into tb_user_detail_t(userid,name) values(999,'name999');
insert into tb_user_detail_t(userid,name) values(1999,'name999');
insert into tb_user_detail_t(userid,name) values(2999,'name999');
insert into tb_user_detail_t(userid,name) values(3999,'name999');
insert into tb_user_detail_t(userid,name) values(4999,'name999');
insert into tb_user_detail_t(userid,name) values(5999,'name999');
三、sharding-by-date：
1、路由規(guī)則：
<tableRule name="sharding-by-date-test">
<rule>
?????? <columns>createtime</columns>
?????? <algorithm> partbydate </algorithm>
</rule>
</tableRule>
<function name=" partbydate" class="io.mycat.route.function.PartitionByDate">
??? <property name="dateFormat"> yyyy-MM-dd HH:mm:ss </property>
??? <property name="sBeginDate">2016-01-01 00:00:00</property>
?? ?<property name="sPartionDay">2</property>
</function>
分片日期從2016-01-01開始,每2天一個(gè)分片。
2、例子：
CREATE TABLE `tb_user_partbydate` (
? `id` varchar(32) NOT NULL,
? `name` varchar(64) DEFAULT NULL,
? `createtime` varchar(10)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
?
insert into tb_user_partbydate (id,name,createtime) values('a0001','name1','2016-01-01 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0002','name1','2016-01-02 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0003','name1','2016-01-03 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0004','name1','2016-01-04 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0005','name1','2016-01-05 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0006','name1','2016-01-06 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0007','name1','2016-01-07 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0005','name1','2016-01-08 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0006','name1','2016-01-09 00:01:00');
insert into tb_user_partbydate (id,name,createtime) values('a0007','name1','2016-01-10 00:01:00');
四、sharding-by-month：
1、路由規(guī)則：
<tableRule name="sharding-by-month">
??????? <rule>
??????????????? <columns>createtime</columns>
??????????????? <algorithm>partbymonth</algorithm>
??????? </rule>
</tableRule>
<function name="partbymonth"
??????? class="io.mycat.route.function.PartitionByMonth">
??????? <property name="dateFormat">yyyy-MM-dd HH:mm:ss</property>
??????? <property name="sBeginDate">2015-01-01 00:00:00</property>
</function>
dateFormat為日期格式,sBeginDate為開始日期。
2、例子：
CREATE TABLE ` tb_partbymonth ` (
? `id` varchar(32) NOT NULL,
? `name` varchar(64) DEFAULT NULL,
? `createtime` datetime DEFAULT CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
?
寫入數(shù)據(jù)(注意這里不能使用now函數(shù))
insert into tb_partbymonth(id,name,createtime) values('a0001','name1','2015-01-01 10:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0002','name1','2015-02-02 10:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0003','name1','2015-03-01 00:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0004','name1','2015-04-01 00:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0005','name1','2015-05-01 10:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0006','name1','2015-06-02 10:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0007','name1','2015-07-01 00:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0008','name1','2015-08-01 00:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0009','name1','2015-09-01 10:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0010','name1','2015-10-02 10:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0011','name1','2015-11-01 00:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0012','name1','2015-12-01 00:00:00');
insert into tb_partbymonth(id,name,createtime) values('a0013','name1','2016-01-01 00:00:00');
五、sharding-by-intfile(枚舉)：
1、路由規(guī)則：
<tableRule name="sharding-by-intfile-provcode">
??????? <rule>
??????????????? <columns>provcode</columns>
??????????????? <algorithm>hash-int-provcode</algorithm>
??????? </rule>
</tableRule>
?
<function name="hash-int-provcode"
??????? class="io.mycat.route.function.PartitionByFileMap">
??????? <property name="mapFile">partition-hash-int-provcode.txt</property>
??????? <property name="type">0</property>
</function>
type=0 代表×××
type=1 代表字符串類型
[root@host01 conf]# more partition-hash-int-provcode.txt
1=0
2=1
3=2
4=3
5=4
6=5
7=0
8=1
9=2
10=3
11=4
12=5
DEFAULT_NODE=0 ##找不到省份匹配的情況下,默認(rèn)放到數(shù)據(jù)庫(kù)1
這里是6個(gè)庫(kù),序號(hào)0-5,將不同的省份映射到對(duì)應(yīng)的庫(kù)。所有的省份和庫(kù)哦對(duì)應(yīng)關(guān)系都要枚舉出來。
2、例子：
CREATE TABLE `tb_user_t` (
? id bigint auto_increment not null primary key,
? `name` varchar(64) DEFAULT NULL,
?? provcode int ,
? `createtime` datetime DEFAULT CURRENT_TIMESTAMP,
? `moditytime` datetime DEFAULT CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
發(fā)現(xiàn)分庫(kù)情況下定義自動(dòng)增長(zhǎng)的id不管用，因?yàn)槊總€(gè)庫(kù)都有自己的自增長(zhǎng)id,通過mycat查詢的話會(huì)有重復(fù)的id.
如下:
mysql> select * from tb_user_t order by id;
+----+----------+----------+---------------------+---------------------+
| id | name???? | provcode | createtime????????? | moditytime????????? |
+----+----------+----------+---------------------+---------------------+
|? 1 | name0005 |??????? 5 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |
|? 1 | name0001 |??????? 1 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |
|? 1 | name0004 |??????? 4 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |
|? 1 | name0002 |??????? 2 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |
|? 1 | name0003 |??????? 3 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |
|? 1 | name0006 |??????? 6 | 2017-08-09 10:54:44 | 2017-08-09 10:54:44 |
|? 2 | name0011 |?????? 11 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |
|? 2 | name0007 |??????? 7 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |
|? 2 | name0010 |?????? 10 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |
|? 2 | name0008 |??????? 8 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |
|? 2 | name0009 |??????? 9 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |
|? 2 | name0012 |?????? 12 | 2017-08-09 10:54:53 | 2017-08-09 10:54:53 |
|? 3 | name0013 |?????? 13 | 2017-08-09 11:12:17 | 2017-08-09 11:12:17 |
+----+----------+----------+---------------------+---------------------+
六、sharding-by-murmur：
murmur算法是將字段進(jìn)行hash后分發(fā)到不同的數(shù)據(jù)庫(kù),字段類型支持int和varchar.
1、路由規(guī)則：
<tableRule name="sharding-by-murmur-userid">
??????? <rule>
??????????????? <columns>userid</columns>
??????????????? <algorithm>murmur</algorithm>
??????? </rule>
</tableRule>
?
<function name="murmur"
class="io.mycat.route.function.PartitionByMurmurHash">
<property name="seed">0</property><!-- 默認(rèn)是0 -->
<property name="count">6</property><!-- 要分片的數(shù)據(jù)庫(kù)節(jié)點(diǎn)數(shù)量，必須指定，否則沒法分片 -->
<property name="virtualBucketTimes">160</property><!-- 一個(gè)實(shí)際的數(shù)據(jù)庫(kù)節(jié)點(diǎn)被映射為這么多虛擬節(jié)點(diǎn)，默認(rèn)是160倍，也就是虛擬節(jié)點(diǎn)數(shù)是物理節(jié)點(diǎn)數(shù)的160倍 -->
<!-- <property name="weightMapFile">weightMapFile</property> 節(jié)點(diǎn)的權(quán)重，沒有指定權(quán)重的節(jié)點(diǎn)默認(rèn)是1。以properties文件
的格式填寫，以從0開始到count-1的整數(shù)值也就是節(jié)點(diǎn)索引為key，以節(jié)點(diǎn)權(quán)重值為值。所有權(quán)重值必須是正整數(shù)，否則以1代替 -->
<!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property>
用于測(cè)試時(shí)觀察各物理節(jié)點(diǎn)與虛擬節(jié)點(diǎn)的分布情況，如果指定了這個(gè)屬性，會(huì)把虛擬節(jié)點(diǎn)的murmur hash值與物理節(jié)點(diǎn)的映
射按行輸出到這個(gè)文件，沒有默認(rèn)值，如果不指定，就不會(huì)輸出任何東西 -->
</function>
2、例子：
CREATE TABLE `tb_user_murmur_string_t` (
? `userid` varchar(32) NOT NULL,
? `name` varchar(64) DEFAULT NULL,
? `createtime` datetime DEFAULT CURRENT_TIMESTAMP,
? `moditytime` datetime DEFAULT CURRENT_TIMESTAMP,
? PRIMARY KEY (`userid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
?
?
寫入數(shù)據(jù)
insert into tb_user_murmur_string_t(userid,name) values('user002','name002');
insert into tb_user_murmur_string_t(userid,name) values('user003','name003');
insert into tb_user_murmur_string_t(userid,name) values('user004','name004');
insert into tb_user_murmur_string_t(userid,name) values('user005','name005');
insert into tb_user_murmur_string_t(userid,name) values('user006','name006');
insert into tb_user_murmur_string_t(userid,name) values('user007','name007');
insert into tb_user_murmur_string_t(userid,name) values('user008','name008');
insert into tb_user_murmur_string_t(userid,name) values('user009','name009');
insert into tb_user_murmur_string_t(userid,name) values('user010','name010');
七、crc32slot：
crs32算法,分庫(kù)字段類型支撐int和varchar.
1、路由規(guī)則：
<tableRule name="crc32slot">
? ? ? ?<rule>
? ? ? ? ? ?<columns>id</columns>
? ? ? ? ? ?<algorithm>crc32slot</algorithm>
? ? ? ?</rule>
?</tableRule>
?<function name="crc32slot"?class="io.mycat.route.function.PartitionByCRC32PreSlot">
? ? ? ? <property name="count">6</property><!-- 要分片的數(shù)據(jù)庫(kù)節(jié)點(diǎn)數(shù)量，必須指定，否則沒法分片 -->
?</function>
count=6指定需要分庫(kù)的個(gè)數(shù).
2、例子：
CREATE TABLE `tb_user_crc32slot_t` (
? `id` varchar(32) NOT NULL,
? `name` varchar(64) DEFAULT NULL,
? `createtime` datetime DEFAULT CURRENT_TIMESTAMP,
? `moditytime` datetime DEFAULT CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
?
寫入數(shù)據(jù):
insert into tb_user_crc32slot_t(id,name) values('a0002','name1');
insert into tb_user_crc32slot_t(id,name) values('a0003','name1');
insert into tb_user_crc32slot_t(id,name) values('a0004','name1');
insert into tb_user_crc32slot_t(id,name) values('a0005','name1');
insert into tb_user_crc32slot_t(id,name) values('a0006','name1');
insert into tb_user_crc32slot_t(id,name) values('a0007','name1');
insert into tb_user_crc32slot_t(id,name) values('a0008','name1');
insert into tb_user_crc32slot_t(id,name) values('a0009','name1');
insert into tb_user_crc32slot_t(id,name) values('a0010','name1');
insert into tb_user_crc32slot_t(id,name) values('a0011','name1');
insert into tb_user_crc32slot_t(id,name) values('a0012','name1');
insert into tb_user_crc32slot_t(id,name) values('a0013','name1');
insert into tb_user_crc32slot_t(id,name) values('a0014','name1');
insert into tb_user_crc32slot_t(id,name) values('a0015','name1');
八、mod-long：
1、路由規(guī)則：對(duì)十進(jìn)制數(shù)進(jìn)行按照節(jié)點(diǎn)取模。
<tableRule name="mod-long">
? ? ? ?<rule>
? ? ? ? ? ?<columns>id</columns>
? ? ? ? ? ?<algorithm>mod-long</algorithm>
? ? ? ?</rule>
?</tableRule>
?<function name="mod-long"?class="io.mycat.route.function.PartitionByMod">
? ? ? ? <property name="count">3</property>
? ? ? ? ?<!--?要分片的數(shù)據(jù)庫(kù)節(jié)點(diǎn)數(shù)量，必須指定，否則沒法分片,即對(duì)十進(jìn)制數(shù)進(jìn)行按照節(jié)點(diǎn)取模，將數(shù)據(jù)離散的分散到各個(gè)數(shù)據(jù)節(jié)點(diǎn)上 -->
?</function>
九、mycat分庫(kù)規(guī)則E/R規(guī)則 ：
1、路由規(guī)則：
E/R規(guī)則通過childTable設(shè)定之后，父子表相同的Id會(huì)落在相同的庫(kù)，這樣的避免關(guān)聯(lián)的時(shí)候跨庫(kù)進(jìn)行關(guān)聯(lián).
joinKey="order_id" 是子表的order_id字段
parentKey="id" ? ? 是父表的id字段
即子表通過order_id字段跟父表的id字段進(jìn)行關(guān)聯(lián)
2、例子
（2.1）、創(chuàng)建表語(yǔ)句:
create table orders
(
? id int not null,
? order_name varchar(64),
? createtime datetime DEFAULT CURRENT_TIMESTAMP,
? moditytime datetime DEFAULT CURRENT_TIMESTAMP,
? PRIMARY KEY (id)
);
create table orders_cargo
(
? order_id int not null,
? cargo_name varchar(64),
? createtime datetime DEFAULT CURRENT_TIMESTAMP,
? moditytime datetime DEFAULT CURRENT_TIMESTAMP,
? PRIMARY KEY (order_id) ?
);
（2.2）、客戶Custermer和訂單Order
????每個(gè)客戶和每個(gè)客戶的訂單最好在同一個(gè)庫(kù)中。
????
3、如果把父表最為全局表也能解決join的效率問題。
轉(zhuǎn)載于:https://blog.51cto.com/8757576/2054714
總結(jié)
以上是生活随笔為你收集整理的Mycat分库路由规则的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 最全面的关于LINUX与UNIX下的dd
- 下一篇： NoSQL为什么需要模式自由的ETL工具