javascript
SpringBoot 2.x ShardingSphere分库分表实战
本文轉(zhuǎn)載自微信公眾號：李浩東的博客
一. 項目需求
在之前我做項目的時候，數(shù)據(jù)量比較大,單表千萬級別的,需要分庫分表，于是在網(wǎng)上搜索這方面的開源框架,最常見的就是mycat,sharding-sphere,最終我選擇后者,用它來做分庫分表比較容易上手。
二. 簡介sharding-sphere
官網(wǎng)地址: https://shardingsphere.apache.org/
ShardingSphere是一套開源的分布式數(shù)據(jù)庫中間件解決方案組成的生態(tài)圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（計劃中）這3款相互獨立的產(chǎn)品組成。他們均提供標準化的數(shù)據(jù)分片、分布式事務和數(shù)據(jù)庫治理功能，可適用于如Java同構(gòu)、異構(gòu)語言、容器、云原生等各種多樣化的應用場景。
ShardingSphere定位為關(guān)系型數(shù)據(jù)庫中間件，旨在充分合理地在分布式的場景下利用關(guān)系型數(shù)據(jù)庫的計算和存儲能力，而并非實現(xiàn)一個全新的關(guān)系型數(shù)據(jù)庫。它與NoSQL和NewSQL是并存而非互斥的關(guān)系。NoSQL和NewSQL作為新技術(shù)探索的前沿，放眼未來，擁抱變化，是非常值得推薦的。反之，也可以用另一種思路看待問題，放眼未來，關(guān)注不變的東西，進而抓住事物本質(zhì)。關(guān)系型數(shù)據(jù)庫當今依然占有巨大市場，是各個公司核心業(yè)務的基石，未來也難于撼動，我們目前階段更加關(guān)注在原有基礎(chǔ)上的增量，而非顛覆。
sharding-jdbc 定位為輕量級Java框架，在Java的JDBC層提供的額外服務。它使用客戶端直連數(shù)據(jù)庫，以jar包形式提供服務，無需額外部署和依賴，可理解為增強版的JDBC驅(qū)動，完全兼容JDBC和各種ORM框架。
適用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC?；谌魏蔚谌降臄?shù)據(jù)庫連接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。支持任意實現(xiàn)JDBC規(guī)范的數(shù)據(jù)庫。目前支持MySQL，Oracle，SQLServer和PostgreSQL。
三. 項目實戰(zhàn)
本項目基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 實現(xiàn)分庫分表
1. pom.xml引入依賴
<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.5.RELEASE</version> <relativePath/> </parent> <groupId>com.xd</groupId> <artifactId>spring-boot-sharding-table</artifactId> <version>0.0.1-SNAPSHOT</version> <name>spring-boot-sharding-table</name> <description>基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 實現(xiàn)分庫分表</description> <properties> <java.version>1.8</java.version> </properties> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> <!--mysql--> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <scope>runtime</scope> </dependency> <!--Mybatis-Plus--> <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>3.1.1</version> </dependency> <!--shardingsphere start--> <!-- for spring boot --> <dependency> <groupId>io.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>3.1.0</version> </dependency> <!-- for spring namespace --> <dependency> <groupId>io.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-namespace</artifactId> <version>3.1.0</version> </dependency> <!--shardingsphere end--> <!--lombok--> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <version>1.18.8</version> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build> </project>2. 創(chuàng)建數(shù)據(jù)庫和表
ds0
├── user_0
└── user_1
ds1
├── user_0
└── user_1
既然是分庫分表 庫結(jié)構(gòu)與表結(jié)構(gòu)一定是一致的 數(shù)據(jù)庫: ds0
CREATE DATABASE IF NOT EXISTS `ds0` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */;
USE `ds0`;
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;
-- ----------------------------
-- Table structure for user_0
-- ----------------------------
DROP TABLE IF EXISTS `user_0`;
CREATE TABLE `user_0` (
`id` int(11) NOT NULL,
`name` varchar(255) DEFAULT NULL,
`age` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
-- ----------------------------
-- Table structure for user_1
-- ----------------------------
DROP TABLE IF EXISTS `user_1`;
CREATE TABLE `user_1` (
`id` int(11) NOT NULL,
`name` varchar(255) DEFAULT NULL,
`age` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
SET FOREIGN_KEY_CHECKS = 1;
數(shù)據(jù)庫: ds1
CREATE DATABASE IF NOT EXISTS `ds1` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */;
USE `ds1`;
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;
-- ----------------------------
-- Table structure for user_0
-- ----------------------------
DROP TABLE IF EXISTS `user_0`;
CREATE TABLE `user_0` (
`id` int(11) NOT NULL,
`name` varchar(255) DEFAULT NULL,
`age` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
-- ----------------------------
-- Table structure for user_1
-- ----------------------------
DROP TABLE IF EXISTS `user_1`;
CREATE TABLE `user_1` (
`id` int(11) NOT NULL,
`name` varchar(255) DEFAULT NULL,
`age` int(11) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
SET FOREIGN_KEY_CHECKS = 1;
3. application.properties (重點)
# 數(shù)據(jù)源 ds0,ds1
sharding.jdbc.datasource.names=ds0,ds1
# 第一個數(shù)據(jù)庫
sharding.jdbc.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
sharding.jdbc.datasource.ds0.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds0.jdbc-url=jdbc:mysql://localhost:3306/ds0?characterEncoding=utf-8
sharding.jdbc.datasource.ds0.username=root
sharding.jdbc.datasource.ds0.password=root
# 第二個數(shù)據(jù)庫
sharding.jdbc.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
sharding.jdbc.datasource.ds1.driver-class-name=com.mysql.jdbc.Driver
sharding.jdbc.datasource.ds1.jdbc-url=jdbc:mysql://localhost:3306/ds1?characterEncoding=utf-8
sharding.jdbc.datasource.ds1.username=root
sharding.jdbc.datasource.ds1.password=root
# 水平拆分的數(shù)據(jù)庫（表） 配置分庫 + 分表策略 行表達式分片策略
# 分庫策略
sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=id
sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=ds$->{id % 2}
# 分表策略 其中user為邏輯表 分表主要取決于age行
sharding.jdbc.config.sharding.tables.user.actual-data-nodes=ds$->{0..1}.user_$->{0..1}
sharding.jdbc.config.sharding.tables.user.table-strategy.inline.sharding-column=age
# 分片算法表達式
sharding.jdbc.config.sharding.tables.user.table-strategy.inline.algorithm-expression=user_$->{age % 2}
# 主鍵 UUID 18位數(shù) 如果是分布式還要進行一個設(shè)置 防止主鍵重復
#sharding.jdbc.config.sharding.tables.user.key-generator-column-name=id
# 打印執(zhí)行的數(shù)據(jù)庫以及語句
sharding.jdbc.config.props..sql.show=true
spring.main.allow-bean-definition-overriding=true
我這次使用配置文件方式實現(xiàn)分庫以及分表
以上配置說明:
邏輯表 user
水平拆分的數(shù)據(jù)庫（表）的相同邏輯和數(shù)據(jù)結(jié)構(gòu)表的總稱。例：用戶數(shù)據(jù)根據(jù)主鍵尾數(shù)拆分為2張表，分別是user0到user1，他們的邏輯表名為user。
真實表
在分片的數(shù)據(jù)庫中真實存在的物理表。即上個示例中的user0到user1
分片算法:
Hint分片算法
對應HintShardingAlgorithm，用于處理使用Hint行分片的場景。需要配合HintShardingStrategy使用。
分片策略:
行表達式分片策略 對應InlineShardingStrategy。使用Groovy的表達式，提供對SQL語句中的=和IN的分片操作支持，只支持單分片鍵。對于簡單的分片算法，可以通過簡單的配置使用，從而避免繁瑣的Java代碼開發(fā)，如: user$->{id % 2} 表示user表根據(jù)id模2，而分成2張表，表名稱為user0到user_1。
自增主鍵生成策略
通過在客戶端生成自增主鍵替換以數(shù)據(jù)庫原生自增主鍵的方式，做到分布式主鍵無重復。采用UUID.randomUUID()的方式產(chǎn)生分布式主鍵?；蛘?SNOWFLAKE
4. 實體類
package com.xd.springbootshardingtable.entity;
import com.baomidou.mybatisplus.annotation.TableName;
import com.baomidou.mybatisplus.extension.activerecord.Model;
import groovy.transform.EqualsAndHashCode;
import lombok.Data;
import lombok.experimental.Accessors;
/**
* @Classname User
* @Description 用戶實體類
* @Author 李號東 lihaodongmail@163.com
* @Date 2019-05-26 17:24
* @Version 1.0
*/
@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
@TableName("user")
public class User extends Model<User> {
/**
* 主鍵Id
*/
private int id;
/**
* 名稱
*/
private String name;
/**
* 年齡
*/
private int age;
}
5. dao層
package com.xd.springbootshardingtable.mapper;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.xd.springbootshardingtable.entity.User;
/**
* user dao層
* @author lihaodong
*/
public interface UserMapper extends BaseMapper<User> {
}
6. service層以及實現(xiàn)類
UserService
package com.xd.springbootshardingtable.service;
import com.baomidou.mybatisplus.extension.service.IService;
import com.xd.springbootshardingtable.entity.User;
import java.util.List;
/**
* @Classname UserService
* @Description 用戶服務類
* @Author 李號東 lihaodongmail@163.com
* @Date 2019-05-26 17:31
* @Version 1.0
*/
public interface UserService extends IService<User> {
/**
* 保存用戶信息
* @param entity
* @return
*/
@Override
boolean save(User entity);
/**
* 查詢?nèi)坑脩粜畔?/span>
* @return
*/
List<User> getUserList();
}
UserServiceImpl
package com.xd.springbootshardingtable.service.Impl;
import com.baomidou.mybatisplus.core.toolkit.Wrappers;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.xd.springbootshardingtable.entity.User;
import com.xd.springbootshardingtable.mapper.UserMapper;
import com.xd.springbootshardingtable.service.UserService;
import org.springframework.stereotype.Service;
import java.util.List;
/**
* @Classname UserServiceImpl
* @Description 用戶服務實現(xiàn)類
* @Author 李號東 lihaodongmail@163.com
* @Date 2019-05-26 17:32
* @Version 1.0
*/
@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements UserService {
@Override
public boolean save(User entity) {
return super.save(entity);
}
@Override
public List<User> getUserList() {
return baseMapper.selectList(Wrappers.<User>lambdaQuery());
}
}
7. 測試控制類
package com.xd.springbootshardingtable.controller;
import com.xd.springbootshardingtable.entity.User;
import com.xd.springbootshardingtable.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;
/**
* @Classname UserController
* @Description 用戶測試控制類
* @Author 李號東 lihaodongmail@163.com
* @Date 2019-05-26 17:36
* @Version 1.0
*/
@RestController
public class UserController {
@Autowired
private UserService userService;
@GetMapping("/select")
public List<User> select() {
return userService.getUserList();
}
@GetMapping("/insert")
public Boolean insert(User user) {
return userService.save(user);
}
}
四. 測試
啟動項目
打開瀏覽器 分別訪問:
http://localhost:8080/insert?id=1&name=lhd&age=12
http://localhost:8080/insert?id=2&name=lhd&age=13
http://localhost:8080/insert?id=3&name=lhd&age=14
http://localhost:8080/insert?id=4&name=lhd&age=15
則執(zhí)行插數(shù)據(jù) 然后查看控制臺日志:
根據(jù)分片算法和分片策略 不同的id以及age取模落入不同的庫表 達到了分庫分表的結(jié)果
有的人說 查詢的話 該怎么做呢 其實也幫我們做好了 打開瀏覽器 訪問:
http://localhost:8080/select
控制臺打印:
分別從ds0數(shù)據(jù)庫兩張表和ds1兩張表查詢結(jié)果 然后匯總結(jié)果返回
之前有朋友問我單表數(shù)據(jù)量達千萬,想做水平分割,不分庫,也可以的吧?
是完全可以的 只要修改配置文件的配置即可 非常靈活
通過代碼大家也可以看到,我的業(yè)務層代碼和平時單表操作是一樣的,只需要引入sh配置和邏輯表保持現(xiàn)有的不便即可,使用無侵入我們的代碼 可以在原有的基礎(chǔ)上改動即可 可以說是非常方便
????后面更新如何讀寫分離以及分庫分表結(jié)合使用
????項目地址:?https://github.com/LiHaodong888/SpringBootLearn
有道無術(shù)，術(shù)可成；有術(shù)無道，止于術(shù)
歡迎大家關(guān)注Java之道公眾號
總結(jié)
以上是生活随笔為你收集整理的SpringBoot 2.x ShardingSphere分库分表实战的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： NYOJ 300 hdu 2276
- 下一篇： 读了鸿蒙 OS 的代码后，我发现优秀项目