當前位置：首頁 > 编程资源 > 编程问答 >内容正文

编程问答

分库分表介绍和Sharding-JDBC快速入门

發布時間：2025/3/20 编程问答 24 豆豆

生活随笔收集整理的這篇文章主要介紹了分库分表介绍和Sharding-JDBC快速入门小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1.分庫分表介紹

垂直分表：可以把一個寬表的字段按訪問頻次、是否是大字段的原則拆分為多個表，這樣既能使業務清晰，還能提升部分性能。拆分后，盡量從業務角度避免聯查，否則性能方面將得不償失。

比如我們可以將訪問頻次低的商品描述信息單獨存放在一張表中，訪問頻次較高的商品基本信息單獨放在一張表中。

垂直分庫：可以把多個表按業務耦合松緊歸類，分別存放在不同的庫，這些庫可以分布在不同服務器，從而使訪問壓力被多服務器負載，大大提升性能，同時能提高整體架構的業務清晰度，不同的業務庫可根據自身情況定制優化方案。但是它需要解決跨庫帶來的所有復雜問題。

比如我們可以有商品庫，訂單庫，配置中心庫等。

水平分庫：可以把一個表的數據(按數據行)分到多個不同的庫，每個庫只有這個表的部分數據，這些庫可以分布在不同服務器，從而使訪問壓力被多服務器負載，大大提升性能。它不僅需要解決跨庫帶來的所有復雜問題，還要解決數據路由的問題(數據路由問題后邊介紹)。

它帶來的提升是：

解決了單庫大數據，高并發的性能瓶頸。
提高了系統的穩定性及可用性。

當一個應用再細粒度的垂直切分，或切分后數據量行數巨大，存在單庫讀寫、存儲性能瓶頸，這時候就需要進行水平分庫了，經過水平切分的優化，往往能解決單庫存儲量及性能瓶頸。但由于同一個表被分配在不同的數據庫，需要額外進行數據操作的路由工作，因此大大提升了系統復雜度。

水平分表：可以把一個表的數據(按數據行)分到多個同一個數據庫的多張表中，每個表只有這個表的部分數據，這樣做能小幅提升性能，它僅僅作為水平分庫的一個補充優化。

它帶來的提升是：優化單一表數據量過大而產生的性能問題避免IO爭搶并減少鎖表的幾率庫內的水平分表，解決了單一表數據量過大的問題，分出來的小表中只包含一部分數據，從而使得單個表的數據量變小，提高檢索性能

2.水平分庫分表示例

下面我們簡單給個水平分庫和水平分表的示例：

比如我們先這樣有一個用戶的操作日志表，由于數據庫巨大，我們需要將日志按某個規則進行分庫分表的拆分。

我們的日志主庫為bc。

方法1：

我們首先進行水平分庫。按用戶的id的最后一位對2取余，如果是單數，則放到bc_0庫中，如果是雙數，則放到bc_1庫中。

然后我們將日志中的create_time進行格式化為yyyy-MM-dd的格式，在bc_0和bc_1中按時間進行水平分表，具體如下圖：

方法2：

我們按用戶id將日志拆分到10個數據庫中，分別為bc_0到bc_9。然后對id對10取余，水平分庫到不同的數據庫中，然后在每個數據庫中，我們都設置100張表，分別為balance_log_0到balance_log_100。當用戶分到對應的數據庫中后，在對100取余，分到對應的表中。具體如下圖：

3.分庫分表帶來的問題

分庫分表能有效的緩解了單機和單庫帶來的性能瓶頸和壓力，突破網絡IO、硬件資源、連接數的瓶頸，同時也帶來了一些問題。

（1）事務一致性問題

由于分庫分表把數據分布在不同庫甚至不同服務器，不可避免會帶來分布式事務問題。

（2）跨節點關聯查詢

在沒有分庫前，我們檢索商品時可以通過以下SQL對店鋪信息進行關聯查詢：

SELECT p.*,r.[地理區域名稱],s.[店鋪名稱],s.[信譽] FROM [商品信息] p LEFT JOIN [地理區域] r ON p.[產地] = r.[地理區域編碼] LEFT JOIN [店鋪信息] s ON p.id = s.[所屬店鋪] WHERE...ORDER BY...LIMIT...

但垂直分庫后[商品信息]和[店鋪信息]不在一個數據庫，甚至不在一臺服務器，無法進行關聯查詢。

可將原關聯查詢分為兩次查詢，第一次查詢的結果集中找出關聯數據id，然后根據id發起第二次請求得到關聯數據，最后將獲得到的數據進行拼裝。

（3）跨節點分頁、排序函數

跨節點多庫進行查詢時，limit分頁、order by排序等問題，就變得比較復雜了。需要先在不同的分片節點中將數據進行排

序并返回，然后將不同分片返回的結果集進行匯總和再次排序。

如進行水平分庫后的商品庫，按ID倒序排序分頁，取第一頁：

以上流程是取第一頁的數據，性能影響不大，但由于商品信息的分布在各數據庫的數據可能是隨機的，如果是取第N頁，

需要將所有節點前N頁數據都取出來合并，再進行整體的排序，操作效率可想而知。所以請求頁數越大，系統的性能也會

越差。

在使用Max、Min、Sum、Count之類的函數進行計算的時候，與排序分頁同理，也需要先在每個分片上執行相應的函數，

然后將各個分片的結果集進行匯總和再次計算，最終將結果返回。

（4）主鍵避重

在分庫分表環境中，由于表中數據同時存在不同數據庫中，主鍵值平時使用的自增長將無用武之地，某個分區數據庫生成

的ID無法保證全局唯一。因此需要單獨設計全局主鍵，以避免跨庫主鍵重復問題。

4.公共表

實際的應用場景中，參數表、數據字典表等都是數據量較小，變動少，而且屬于高頻聯合查詢的依賴表。例子中地理區域

表也屬于此類型。

可以將這類表在每個數據庫都保存一份，所有對公共表的更新操作都同時發送到所有分庫執行。由于分庫分表之后，數據

被分散在不同的數據庫、服務器。因此，對數據的操作也就無法通過常規方式完成，并且它還帶來了一系列的問題。好

在，這些問題不是所有都需要我們在應用層面上解決，市面上有很多中間件可供我們選擇，其中Sharding-JDBC使用流行

度較高，我們來了解一下它。

5.Sharding-JDBC介紹

Sharding-JDBC是當當網研發的開源分布式數據庫中間件，從 3.0 開始Sharding-JDBC被包含在 Sharding-Sphere中，之

后該項目進入進入Apache孵化器，4.0版本之后的版本為Apache版本。

ShardingSphere是一套開源的分布式數據庫中間件解決方案組成的生態圈，它由Sharding-JDBC、ShardingProxy和

Sharding-Sidecar（計劃中）這3款相互獨立的產品組成。他們均提供標準化的數據分片、分布式事務和數據庫治理功

能，可適用于如Java同構、異構語言、容器、云原生等各種多樣化的應用場景。

官方地址：https://shardingsphere.apache.org/document/current/cn/overview/

咱們目前只需關注Sharding-JDBC，它定位為輕量級Java框架，在Java的JDBC層提供的額外服務。它使用客戶端直連數

據庫，以jar包形式提供服務，無需額外部署和依賴，可理解為增強版的JDBC驅動，完全兼容JDBC和各種ORM框架。

Sharding-JDBC的核心功能為數據分片和讀寫分離，通過Sharding-JDBC，應用可以透明的使用jdbc訪問已經分庫分表、

讀寫分離的多個數據源，而不用關心數據源的數量以及數據如何分布。

適用于任何基于Java的ORM框架，如： Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。
基于任何第三方的數據庫連接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。
支持任意實現JDBC規范的數據庫。目前支持MySQL，Oracle，SQLServer和PostgreSQL。

6.Sharding-JDBC快速入門

1.需求說明

人工創建兩張表，t_order_1和t_order_2，這兩張表是訂單表拆分后的表，通過Sharding-Jdbc向訂單表插入數據，按照一

定的分片規則，主鍵為偶數的進入t_order_1，另一部分數據進入t_order_2，通過Sharding-Jdbc 查詢數據，根據 SQL語

句的內容從t_order_1或t_order_2查詢數據。

2.創建數據庫

--創建訂單庫order_db ? CREATE DATABASE `order_db` CHARACTER SET 'utf8' COLLATE 'utf8_general_ci'; ? --在order_db中創建t_order_1、t_order_2表 ? DROP TABLE IF EXISTS `t_order_1`; CREATE TABLE `t_order_1` ( `order_id` bigint(20) NOT NULL COMMENT '訂單id', `price` decimal(10, 2) NOT NULL COMMENT '訂單價格', `user_id` bigint(20) NOT NULL COMMENT '下單用戶id', `status` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '訂單狀態', PRIMARY KEY (`order_id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic; DROP TABLE IF EXISTS `t_order_2`; CREATE TABLE `t_order_2` ( `order_id` bigint(20) NOT NULL COMMENT '訂單id', `price` decimal(10, 2) NOT NULL COMMENT '訂單價格', `user_id` bigint(20) NOT NULL COMMENT '下單用戶id', `status` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '訂單狀態', PRIMARY KEY (`order_id`) USING BTREE ) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

3.引入maven依賴

? ? ? ?<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId></dependency> ?<dependency><groupId>org.mybatis.spring.boot</groupId><artifactId>mybatis-spring-boot-starter</artifactId></dependency> ?<dependency><groupId>com.alibaba</groupId><artifactId>druid-spring-boot-starter</artifactId></dependency> ?<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId></dependency> ?<dependency><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-spring-boot-starter</artifactId></dependency>

4.分片規則配置

分片規則配置是sharding-jdbc進行對分庫分表操作的重要依據，配置內容包括：數據源、主鍵生成策略、分片策略等。

在application.properties中配置：

server.port=56081 ? spring.application.name = sharding-jdbc-simple-demo ? server.servlet.context-path = /sharding-jdbc-simple-demo spring.http.encoding.enabled = true spring.http.encoding.charset = UTF-8 spring.http.encoding.force = true ? spring.main.allow-bean-definition-overriding = true ? mybatis.configuration.map-underscore-to-camel-case = true ? #sharding-jdbc分片規則配置 #數據源 spring.shardingsphere.datasource.names = m1 ? spring.shardingsphere.datasource.m1.type = com.alibaba.druid.pool.DruidDataSource spring.shardingsphere.datasource.m1.driver-class-name = com.mysql.jdbc.Driver spring.shardingsphere.datasource.m1.url = jdbc:mysql://localhost:3306/order_db?useUnicode=true spring.shardingsphere.datasource.m1.username = root spring.shardingsphere.datasource.m1.password = root ? # 指定t_order表的數據分布情況，配置數據節點 m1.t_order_1,m1.t_order_2 spring.shardingsphere.sharding.tables.t_order.actual-data-nodes = m1.t_order_$->{1..2} ? # 指定t_order表的主鍵生成策略為SNOWFLAKE spring.shardingsphere.sharding.tables.t_order.key-generator.column=order_id spring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE ? # 指定t_order表的分片策略，分片策略包括分片鍵和分片算法 spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column = order_id spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression = t_order_$->{order_id % 2 + 1} ? # 打開sql輸出日志 spring.shardingsphere.props.sql.show = true ? swagger.enable = true ? logging.level.root = info logging.level.org.springframework.web = info logging.level.com.itheima.dbsharding ?= debug logging.level.druid.sql = debug ?

（1）首先定義數據源m1，并對m1進行實際的參數配置。

（2）指定t_order表的數據分布情況，他分布在m1.t_order_1，m1.t_order_2

（3）指定t_order表的主鍵生成策略為SNOWFLAKE，SNOWFLAKE是一種分布式自增算法，保證id全局唯一

（4）定義t_order分片策略，order_id為偶數的數據落在t_order_1，為奇數的落在t_order_2，分表策略的表達式為

t_order_$->{order_id % 2 + 1}

5.數據操作

@Mapper @Component public interface OrderDao { ?/*** 插入訂單* @param price* @param userId* @param status* @return*/@Insert("insert into t_order(price,user_id,status)values(#{price},#{userId},#{status})")int insertOrder(@Param("price")BigDecimal price,@Param("userId")Long userId,@Param("status")String status); ?/*** 根據id列表查詢訂單* @param orderIds* @return*/@Select("<script>" +"select" +" * " +" from t_order t " +" where t.order_id in " +" <foreach collection='orderIds' open='(' separator=',' close=')' item='id'>" +" #{id} " +" </foreach>" +"</script>")List<Map> selectOrderbyIds(@Param("orderIds") List<Long> orderIds); } ?

6.測試

? ?@Testpublic void testInsertOrder(){for(int i=1;i<20;i++){orderDao.insertOrder(new BigDecimal(i),1L,"SUCCESS");}} ?

通過日志可以發現order_id為奇數的被插入到t_order_2表，為偶數的被插入到t_order_1表，達到預期目標。

? ?@Testpublic void testSelectOrderbyIds(){List<Long> ids = new ArrayList<>();ids.add(373897739357913088L);ids.add(373897037306920961L); ?List<Map> maps = orderDao.selectOrderbyIds(ids);System.out.println(maps);}

通過日志可以發現，根據傳入order_id的奇偶不同，sharding-jdbc分別去不同的表檢索數據，達到預期目標。

7.流程分析

通過日志分析，Sharding-JDBC在拿到用戶要執行的sql之后干了哪些事兒：

（1）解析sql，獲取片鍵值，在本例中是order_id

（2）Sharding-JDBC通過規則配置 t_order_$->{order_id % 2 + 1}，知道了當order_id為偶數時，應該往t_order_1表插數

據，為奇數時，往t_order_2插數據。

（3）于是Sharding-JDBC根據order_id的值改寫sql語句，改寫后的SQL語句是真實所要執行的SQL語句。

（4）執行改寫后的真實sql語句

（5）將所有真正執行sql的結果進行匯總合并，返回。

8.SpringBoot的另外3種集成方式

（1）yml配置

server:port: 56081servlet:context-path: /sharding-jdbc-simple-demo spring:application:name: sharding-jdbc-simple-demohttp:encoding:enabled: truecharset: utf-8force: truemain:allow-bean-definition-overriding: trueshardingsphere:datasource:names: m1m1:type: com.alibaba.druid.pool.DruidDataSourcedriverClassName: com.mysql.jdbc.Driverurl: jdbc:mysql://localhost:3306/order_db?useUnicode=trueusername: rootpassword: rootsharding:tables:t_order:actualDataNodes: m1.t_order_$->{1..2}tableStrategy:inline:shardingColumn: order_idalgorithmExpression: t_order_$->{order_id % 2 + 1}keyGenerator:type: SNOWFLAKEcolumn: order_idprops:sql:show: true mybatis:configuration:map-underscore-to-camel-case: true swagger:enable: true logging:level:root: infoorg.springframework.web: infocom.itheima.dbsharding: debugdruid.sql: debug

（2）java配置

@Configuration public class ShardingJdbcConfig { ?//配置分片規則// 定義數據源Map<String, DataSource> createDataSourceMap() {DruidDataSource dataSource1 = new DruidDataSource();dataSource1.setDriverClassName("com.mysql.jdbc.Driver");dataSource1.setUrl("jdbc:mysql://localhost:3306/order_db?useUnicode=true");dataSource1.setUsername("root");dataSource1.setPassword("root");Map<String, DataSource> result = new HashMap<>();result.put("m1", dataSource1);return result;}// 定義主鍵生成策略private static KeyGeneratorConfiguration getKeyGeneratorConfiguration() {KeyGeneratorConfiguration result = new KeyGeneratorConfiguration("SNOWFLAKE","order_id");return result;} ?// 定義t_order表的分片策略TableRuleConfiguration getOrderTableRuleConfiguration() {TableRuleConfiguration result = new TableRuleConfiguration("t_order","m1.t_order_$->{1..2}");result.setTableShardingStrategyConfig(new InlineShardingStrategyConfiguration("order_id", "t_order_$->{order_id % 2 + 1}"));result.setKeyGeneratorConfig(getKeyGeneratorConfiguration()); ?return result;}// 定義sharding-Jdbc數據源@BeanDataSource getShardingDataSource() throws SQLException {ShardingRuleConfiguration shardingRuleConfig = new ShardingRuleConfiguration();shardingRuleConfig.getTableRuleConfigs().add(getOrderTableRuleConfiguration());//spring.shardingsphere.props.sql.show = trueProperties properties = new Properties();properties.put("sql.show","true");return ShardingDataSourceFactory.createDataSource(createDataSourceMap(), shardingRuleConfig,properties);} ? }

由于采用了配置類所以需要屏蔽原來application.properties文件中spring.shardingsphere開頭的配置信息。

還需要在SpringBoot啟動類中屏蔽使用spring.shardingsphere配置項的類：

@SpringBootApplication(exclude = {SpringBootConfiguration.class}) public class ShardingJdbcSimpleDemoBootstrap {....}

（3）xml配置

<?xml version="1.0" encoding="UTF‐8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema‐instance" xmlns:p="http://www.springframework.org/schema/p" xmlns:context="http://www.springframework.org/schema/context" xmlns:tx="http://www.springframework.org/schema/tx" xmlns:sharding="http://shardingsphere.apache.org/schema/shardingsphere/sharding" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring‐beans.xsd http://shardingsphere.apache.org/schema/shardingsphere/sharding http://shardingsphere.apache.org/schema/shardingsphere/sharding/sharding.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring‐context.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring‐tx.xsd"> <context:annotation‐config /> <!‐‐定義多個數據源‐‐> <bean id="m1" class="com.alibaba.druid.pool.DruidDataSource" destroy‐method="close"> <property name="driverClassName" value="com.mysql.jdbc.Driver" /> <property name="url" value="jdbc:mysql://localhost:3306/order_db_1?useUnicode=true" /> <property name="username" value="root" /> <property name="password" value="root" /> </bean> <!‐‐定義分庫策略‐‐> <sharding:inline‐strategy id="tableShardingStrategy" sharding‐column="order_id" algorithm‐ expression="t_order_$‐>{order_id % 2 + 1}" /> <!‐‐定義主鍵生成策略‐‐> <sharding:key‐generator id="orderKeyGenerator" type="SNOWFLAKE" column="order_id" /> <!‐‐定義sharding‐Jdbc數據源‐‐> <sharding:data‐source id="shardingDataSource"> <sharding:sharding‐rule data‐source‐names="m1"> <sharding:table‐rules> <sharding:table‐rule logic‐table="t_order" table‐strategy‐ ref="tableShardingStrategy" key‐generator‐ref="orderKeyGenerator" /> </sharding:table‐rules> </sharding:sharding‐rule> </sharding:data‐source> </beans>

總結

以上是生活随笔為你收集整理的分库分表介绍和Sharding-JDBC快速入门的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： Spring基于配置方式实现自定义条件装
下一篇：在Centos7安装mysql