Spring Boot 2 实战:使用 Flyway 管理你数据库的版本变更 - SegmentFault 思否

标签: | 发表时间:2022-01-16 12:27 | 作者:
出处:https://segmentfault.com

1. 前言

随着项目的不断迭代,数据库表结构、数据都在发生着变化。甚至有的业务在多环境版本并行运行。数据为王的时代,管理好数据库的版本也成为了迫切的需要。如何能做到像 Git之类的版本控制工具来管理数据库? Java项目中常用 FlywayLiquibase来管理数据库版本。其中 Flyway相对来说比较受欢迎。

2. Flyway 的特点

Flyway大受欢迎是因为它具有以下优点:

  • 简单非常容易安装和学习,同时迁移的方式也很容易被开发者接受。
  • 专一 Flyway专注于搞数据库迁移、版本控制而并没有其它副作用。
  • 强大专为连续交付而设计。让Flyway在应用程序启动时迁移数据库。

3. Flyway 的工作机制

Flyway需要在 DB中先创建一个 metadata表 (缺省表名为 flyway_schema_history), 在该表中保存着每次 migration(迁移)的记录, 记录包含 migration脚本的版本号和 SQL脚本的 checksum值。下图表示了多个数据库版本。

对应的 metadata表记录:

installed_rank version description type script checksum installed_by installed_on execution_time success
1 1 Initial Setup SQL V1__Initial_Setup.sql 1996767037 axel 2016-02-04 22:23:00.0 546 true
2 2 First Changes SQL V2__First_Changes.sql 1279644856 axel 2016-02-06 09:18:00.0 127 true

Flyway扫描文件系统或应用程序的类路径读取 DDLDML以进行迁移。根据 metadata表进行检查迁移。 如果脚本声明的版本号小于或等于标记为当前版本的版本号之一,将忽略它们。其余迁移是待处理迁移:可用,但未应用。最后按版本号对它们进行排序并按顺序执行 并将执行结果写入 metadata 表。

对应的 metadata表记录:

installed_rank version description type script checksum installed_by installed_on execution_time success
1 1 Initial Setup SQL V1__Initial_Setup.sql 1996767037 axel 2016-02-04 22:23:00.0 546 true
2 2 First Changes SQL V2__First_Changes.sql 1279644856 axel 2016-02-06 09:18:00.0 127 true
3 2.1 Refactoring JDBC V2_1__Refactoring axel 2016-02-10 17:45:05.4 251 true

Flyway 支持命令行(需要下载命令行工具)和 Java Api,也支持构建工具 MavenGradle。这里我们将目光放在 Java Api上。

3. Flyway 的规则

Flyway是如何比较两个 SQL文件的先后顺序呢?它采用 采用左对齐原则, 缺位用 0 代替。举几个例子:

1.0.1.1 比 1.0.1 版本高。

1.0.10 比 1.0.9.4 版本高。

1.0.10 和 1.0.010 版本号一样高, 每个版本号部分的前导 0 会被忽略。

FlywaySQL文件分为 VersionedRepeatableUndo三种:

  • Versioned用于版本升级, 每个版本有唯一的版本号并只能执行一次.
  • Repeatable可重复执行, 当 Flyway检测到 Repeatable类型的 SQL脚本的 checksum有变动, Flyway就会重新应用该脚本. 它并不用于版本更新, 这类的 migration总是在 Versioned执行之后才被执行。
  • Undo用于撤销具有相同版本的版本化迁移带来的影响。但是该回滚过于粗暴,过于机械化,一般不推荐使用。一般建议使用 Versioned模式来解决。

这三种的命名规则如下图:

naming.png

  • Prefix可配置,前缀标识,默认值 V表示 Versioned, R表示 Repeatable, U表示 Undo
  • Version标识版本号, 由一个或多个数字构成, 数字之间的分隔符可用点 .或下划线 _
  • Separator可配置, 用于分隔版本标识与描述信息, 默认为两个下划线 __
  • Description描述信息, 文字之间可以用下划线 _或空格 分隔
  • Suffix可配置, 后续标识, 默认为 .sql

4. Spring Boot 集成 Flyway

Spring Boot提供了对 Flyway的自动配置 。使我们可以开箱即用 Flyway进行数据库版本控制。

4.1 Flyway 依赖

你只需要引入依赖:

    <!-- 无需版本号 -->
 <dependency>
      <groupId>org.flywaydb</groupId>
      <artifactId>flyway-core</artifactId>
 </dependency>

当然你要集成你的相关数据库环境。这里我们采用 H2数据库来演示,其它数据库同理只不过方言不同。不熟悉 H2数据库的可参阅我的专题文章 Spring Boot 2 实战:H2数据库集成以及使用

4.2 Flyway 配置

为了直观的讲解配置,首先在 Spring Boot配置文件 application.yml我们配置 H2数据库为:

    spring:
   datasource:
     #  h2 驱动
     driver-class-name: org.h2.Driver
     # h2  数据库 持久化到磁盘D:/h2 库名: flyway  mysql模式
     url: jdbc:h2:file:D:/h2/flyway;MODE=MySQL;DATABASE_TO_LOWER=TRUE
   h2:
     #    开启console 访问 默认false
     console:
       enabled: true
       settings:
         #      开启h2 console 跟踪 方便调试  默认 false
         trace: true
         #      允许console 远程访问 默认false
         web-allow-others: true
       #  h2 访问路径上下文
       path: /h2-console

对应Flyway的配置为:

    # flyway 配置
spring:
  flyway:
    # 启用或禁用 flyway
    enabled: true
    # flyway 的 clean 命令会删除指定 schema 下的所有 table, 生产务必禁掉。这个默认值是 false 理论上作为默认配置是不科学的。
    clean-disabled: true
    # SQL 脚本的目录,多个路径使用逗号分隔 默认值 classpath:db/migration
    locations: classpath:db/migration
    #  metadata 版本控制信息表 默认 flyway_schema_history
    table: flyway_schema_history
    # 如果没有 flyway_schema_history 这个 metadata 表, 在执行 flyway migrate 命令之前, 必须先执行 flyway baseline 命令
    # 设置为 true 后 flyway 将在需要 baseline 的时候, 自动执行一次 baseline。
    baseline-on-migrate: true
    # 指定 baseline 的版本号,默认值为 1, 低于该版本号的 SQL 文件, migrate 时会被忽略
    baseline-version: 1
    # 字符编码 默认 UTF-8
    encoding: UTF-8
    # 是否允许不按顺序迁移 开发建议 true  生产建议 false
    out-of-order: false
    # 需要 flyway 管控的 schema list,这里我们配置为flyway  缺省的话, 使用spring.datasource.url 配置的那个 schema,
    # 可以指定多个schema, 但仅会在第一个schema下建立 metadata 表, 也仅在第一个schema应用migration sql 脚本.
    # 但flyway Clean 命令会依次在这些schema下都执行一遍. 所以 确保生产 spring.flyway.clean-disabled 为 true
    schemas: flyway
    # 执行迁移时是否自动调用验证   当你的 版本不符合逻辑 比如 你先执行了 DML 而没有 对应的DDL 会抛出异常
    validate-on-migrate: true

请务必仔细阅读 Flyway相关配置的说明。

4.3 编写 SQL 初始化脚本

我们先编写一个初始化 SQL文件,向 H2数据库已经自动初始化的 schema flyway添加一张 sys_user表。 请注意命名规则。脚本名称为 V1.0.1__Add_table_user.sqlSQL脚本的位置在配置的 spring.flyway.locations下。内容为:

    use `flyway`;
CREATE TABLE `sys_user`
(
    `user_id`         int(10) unsigned NOT NULL AUTO_INCREMENT,
    `username`        varchar(1024)    NOT NULL unique ,
    `encode_password` varchar(1024)       NOT NULL,
    `age`             int(3)           NOT NULL,
    PRIMARY KEY (`user_id`)
) ENGINE = InnoDB
  DEFAULT CHARSET = utf8mb4;

insert into  flyway.sys_user values (1,'Felordcn','{noop}12345',18);

启动 Spring Boot应用 。打开 H2数据库控制台 http://localhost:8080/h2-console,在 JDBC URL一栏粘贴 jdbc:h2:file:D:/h2/flyway;MODE=MySQL;DATABASE_TO_LOWER=TRUE并点击 Connect按钮会进入以下界面:

这里 -1是因为我们缺省了 Flyway需要的 flyway_schema_history表 。 0是因为 H2数据库自动初始化了 Schema flyway,其它数据库可能需要你手动来建立。

4.4 编写 SQL 变更脚本

我们编写一个 V1.0.0__Delete_sysuser_felordcn.sql来删除 V1.0.1__Add_table_user.sql中初始化的用户。 你会发现启动报错了,因为我们开启了校验,所以对于逻辑错误的版本会抛出异常。我们将版本号更改为 V1.0.2__Delete_sysuser_felordcn.sql再次启动。通过 H2数据库控制台我们会发现多了一条变更记录:

同时 sys_user表的数据也没有了,符合预期。

5. Flyway 最佳实践

通过上面的介绍相信你很快就会使用 Flyway进行数据库版本控制了。这里总结了一些在实际开发中的使用经验:

  1. 生产务必禁 spring.flyway.cleanDisabled=false
  2. 尽量避免使用 Undo 模式。
  3. 开发版本号尽量根据团队来进行多层次的命名避免混乱。比如 V1.0.1__ProjectName_{Feature|fix}_Developer_Description.sql,这种命名同时也可以获取更多脚本的开发者和相关功能的信息。
  4. spring.flyway.outOfOrder取值 生产上使用 false,开发中使用 true
  5. 多个系统公用一个 数据库 schema时配置 spring.flyway.table为不同的系统设置不同的 metadata表名而不使用缺省值 flyway_schema_history

6. 总结

今天我们对 Flyway 数据库版本迁移管理工具进行了介绍并将之与 Spring Boot 相结合。这将大大规范我们的数据库管理,提高生产效率。同时也分享了一些相当有用的生产实践经验。

相关的 DEMO 可通过关注公众号: Felordcn回复 flyway进行获取。

关注公众号:Felordcn 获取更多资讯

个人博客:https://felord.cn

相关 [spring boot flyway] 推荐:

Spring Boot 2 实战:使用 Flyway 管理你数据库的版本变更 - SegmentFault 思否

- -
随着项目的不断迭代,数据库表结构、数据都在发生着变化. 甚至有的业务在多环境版本并行运行. 数据为王的时代,管理好数据库的版本也成为了迫切的需要. Git之类的版本控制工具来管理数据库. Liquibase来管理数据库版本. Flyway相对来说比较受欢迎. Flyway大受欢迎是因为它具有以下优点:.

flyway

- - I want jing jing
自己写的SQL忘了在所有环境执行. 别人写的SQL我们不能确定是否都在所有环境执行了. 有人修改了已经执行过的SQL,期望再次执行. 每次发版需要手动控制先发DB版本,再发布应用版本. 在项目resources中添加目录. cd 你的目录/resources. 在项目配置中添加flyway配置. # 如果数据库不是空表,需要设置成 true,否则启动报错.

Spring boot传统部署

- - 企业架构 - ITeye博客
使用spring boot很方便,一个jar包就可以启动了,因为它里面内嵌了tomcat等服务器. 但是spring boot也提供了部署到独立服务器的方法. 如果你看文档的话,从jar转换为war包很简单,pom.xml的配置修改略去不讲. 只看source的修改,很简单,只要一个配置类,继承自SpringBootServletInitializer, 并覆盖configure方法.

值得使用的Spring Boot

- - ImportNew
2013年12月12日,Spring发布了4.0版本. 这个本来只是作为Java平台上的控制反转容器的库,经过将近10年的发展已经成为了一个巨无霸产品. 不过其依靠良好的分层设计,每个功能模块都能保持较好的独立性,是Java平台不可多得的好用的开源应用程序框架. Spring的4.0版本可以说是一个重大的更新,其全面支持Java8,并且对Groovy语言也有良好的支持.

Spring Boot配置多个DataSource

- - 廖雪峰的官方网站
使用Spring Boot时,默认情况下,配置 DataSource非常容易. Spring Boot会自动为我们配置好一个 DataSource. 如果在 application.yml中指定了 spring.datasource的相关配置,Spring Boot就会使用该配置创建一个 DataSource.

Spring boot executable jar/war 原理

- - ImportNew
spring boot里其实不仅可以直接以 Java -jar demo.jar的方式启动,还可以把jar/war变为一个可以执行的脚本来启动,比如./demo.jar. 把这个executable jar/war 链接到/etc/init.d下面,还可以变为Linux下的一个service. 只要在spring boot maven plugin里配置:.

Spring Boot Starter是什么?

- - 技术,永无止境
在工作中我们经常能看到各种各样的springboot starter,如spring-cloud-netflix、spring-cloud-alibaba等等. 这些starter究竟有什么作用呢. 在了解这些starter之前,我们需要先大概知道Spring MVC与Spring Boot的关系.

SPRING BOOT OAUTH2 + KEYCLOAK - service to service call

- - BlogJava-首页技术区
employee-service调用department-service,如果要按OAUTH2.0流程,只需要提供client-id和client-secrect即可. 在KEYCLOAK中引入service-account,即配置该employee-service时,取消standard-flow,同时激活service-account.

spring boot与spring batch、postgres及elasticsearch整合

- - 互联网 - ITeye博客
当系统有大量数据需要从数据库导入elasticsearch时,使用sping batch可以提高导入的效率. 这篇文章使用spring batch将数据从postgres导入elasticsearch. 本文使用spring data jest连接ES(也可以使用spring data elasticsearch连接ES),ES版本为5.5.3.

Spring Boot使用redis做数据缓存

- - ITeye博客
SysUser.class)); //请注意这里. 3 redis服务器配置. /** *此处的dao操作使用的是spring data jpa,使用@Cacheable可以在任意方法上,*比如@Service或者@Controller的方法上 */ public interface SysUserRepo1 extends CustomRepository {.