您好,登錄后才能下訂單哦!
本篇文章給大家分享的是有關Springboot2.x中怎么利用ShardingSphere實現分庫分表,小編覺得挺實用的,因此分享給大家學習,希望大家閱讀完這篇文章后可以有所收獲,話不多說,跟著小編一起來看看吧。
章中我們講了基于Mysql8的讀寫分離(文末有鏈接),這次來說說分庫分表的實現過程。
概念解析
垂直分片
按照業務拆分的方式稱為垂直分片,又稱為縱向拆分,它的核心理念是專庫專用。 在拆分之前,一個數據庫由多個數據表構成,每個表對應著不同的業務。而拆分之后,則是按照業務將表進行歸類,分布到不同的數據庫中,從而將壓力分散至不同的數據庫。 下圖展示了根據業務需要,將用戶表和訂單表垂直分片到不同的數據庫的方案。
垂直分片往往需要對架構和設計進行調整。通常來講,是來不及應對互聯網業務需求快速變化的;而且,它也并無法真正的解決單點瓶頸。 垂直拆分可以緩解數據量和訪問量帶來的問題,但無法根治。如果垂直拆分之后,表中的數據量依然超過單節點所能承載的閾值,則需要水平分片來進一步處理。
水平分片
水平分片又稱為橫向拆分。 相對于垂直分片,它不再將數據根據業務邏輯分類,而是通過某個字段(或某幾個字段),根據某種規則將數據分散至多個庫或表中,每個分片僅包含數據的一部分。 例如:根據主鍵分片,偶數主鍵的記錄放入0庫(或表),奇數主鍵的記錄放入1庫(或表),如下圖所示。
水平分片從理論上突破了單機數據量處理的瓶頸,并且擴展相對自由,是分庫分表的標準解決方案。
開發準備
分庫分表常用的組件就是shardingsphere,目前已經是apache頂級項目,這次我們使用springboot2.1.9 + shardingsphere4.0.0-RC2(均為最新版本)來完成分庫分表的操作。
假設有一張訂單表,我們需要將它分成2個庫,每個庫三張表,根據id字段取模確定最終數據的位置,數據庫環境配置如下:
172.31.0.129
blog t_order_0 t_order_1 t_order_2
172.31.0.131
blog t_order_0 t_order_1 t_order_2
三張表的邏輯表為t_order,大家可以根據建表語句準備好其他所有數據表。
DROP TABLE IF EXISTS `t_order_0;CREATE TABLE `t_order_0` ( `id` bigint(20) NOT NULL, `name` varchar(255) DEFAULT NULL COMMENT '名稱', `type` varchar(255) DEFAULT NULL COMMENT '類型', `gmt_create` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '創建時間', PRIMARY KEY (`id`)) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;
注意,千萬不能將主鍵的生成規則設置成自增長,需要按照一定規則來生成主鍵,這里使用shardingsphere中的SNOWFLAKE俗稱雪花算法來生成主鍵
代碼實現
修改pom.xml,引入相關組件
<properties> <java.version>1.8</java.version> <mybatis-plus.version>3.1.1</mybatis-plus.version> <sharding-sphere.version>4.0.0-RC2</sharding-sphere.version> </properties> <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.0.1</version> </dependency> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>8.0.15</version> </dependency> <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>${mybatis-plus.version}</version> </dependency> <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-boot-starter</artifactId> <version>${sharding-sphere.version}</version> </dependency> <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>sharding-jdbc-spring-namespace</artifactId> <version>${sharding-sphere.version}</version> </dependency> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <optional>true</optional> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin</artifactId> </plugin> </plugins> </build>
配置mysql-plus
@Configuration @MapperScan("com.github.jianzh6.blog.mapper") public class MybatisPlusConfig { /** * 攻擊 SQL 阻斷解析器 */ @Bean public PaginationInterceptor paginationInterceptor(){ PaginationInterceptor paginationInterceptor = new PaginationInterceptor(); List<ISqlParser> sqlParserList = new ArrayList<>(); sqlParserList.add(new BlockAttackSqlParser()); paginationInterceptor.setSqlParserList(sqlParserList); return new PaginationInterceptor(); } /** * SQL執行效率插件 */ @Bean // @Profile({"dev","test"}) public PerformanceInterceptor performanceInterceptor() { return new PerformanceInterceptor(); } }
編寫實體類Order
@Data @TableName("t_order") public class Order { private Long id; private String name; private String type; private Date gmtCreate; }
編寫DAO層,OrderMapper
/** * 訂單Dao層 */ public interface OrderMapper extends BaseMapper<Order> { }
編寫接口及接口實現
public interface OrderService extends IService<Order> { } /** * 訂單實現層 * @author jianzh6 * @date 2019/10/15 17:05 */ @Service public class OrderServiceImpl extends ServiceImpl<OrderMapper, Order> implements OrderService { }
配置文件(配置說明見備注)
server.port=8080 # 配置ds0 和ds1兩個數據源 spring.shardingsphere.datasource.names = ds0,ds1 #ds0 配置 spring.shardingsphere.datasource.ds0.type = com.zaxxer.hikari.HikariDataSource spring.shardingsphere.datasource.ds0.driver-class-name = com.mysql.cj.jdbc.Driver spring.shardingsphere.datasource.ds0.jdbc-url = jdbc:mysql://192.168.249.129:3306/blog?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false spring.shardingsphere.datasource.ds0.username = root spring.shardingsphere.datasource.ds0.password = 000000 #ds1 配置 spring.shardingsphere.datasource.ds1.type = com.zaxxer.hikari.HikariDataSource spring.shardingsphere.datasource.ds1.driver-class-name = com.mysql.cj.jdbc.Driver spring.shardingsphere.datasource.ds1.jdbc-url = jdbc:mysql://192.168.249.131:3306/blog?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false spring.shardingsphere.datasource.ds1.username = root spring.shardingsphere.datasource.ds1.password = 000000 # 分庫策略 根據id取模確定數據進哪個數據庫 spring.shardingsphere.sharding.default-database-strategy.inline.sharding-column = id spring.shardingsphere.sharding.default-database-strategy.inline.algorithm-expression = ds$->{id % 2} # 具體分表策略 # 節點 ds0.t_order_0,ds0.t_order_1,ds1.t_order_0,ds1.t_order_1 spring.shardingsphere.sharding.tables.t_order.actual-data-nodes = ds$->{0..1}.t_order_$->{0..2} # 分表字段id spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column = id # 分表策略 根據id取模,確定數據最終落在那個表中 spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression = t_order_$->{id % 3} # 使用SNOWFLAKE算法生成主鍵 spring.shardingsphere.sharding.tables.t_order.key-generator.column = id spring.shardingsphere.sharding.tables.t_order.key-generator.type = SNOWFLAKE #spring.shardingsphere.sharding.binding-tables=t_order spring.shardingsphere.props.sql.show = true
編寫單元測試,查看結果是否正確
public class OrderServiceImplTest extends BlogApplicationTests { @Autowired private OrderService orderService; @Test public void testSave(){ for (int i = 0 ; i< 100 ; i++){ Order order = new Order(); order.setName("電腦"+i); order.setType("辦公"); orderService.save(order); } } @Test public void testGetById(){ long id = 1184489163202789377L; Order order = orderService.getById(id); System.out.println(order.toString()); } }
以上就是Springboot2.x中怎么利用ShardingSphere實現分庫分表,小編相信有部分知識點可能是我們日常工作會見到或用到的。希望你能通過這篇文章學到更多知識。更多詳情敬請關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。