MySQL的无锁变更(Online Schema Change)是指在对数据库进行结构变更(如添加、删除或修改列,添加索引等)时,不需要对整个表进行锁定,从而允许在变更过程中继续进行数据的读写操作。这种能力对于需要高可用性和最小化维护时间的业务来说非常重要。

在传统的数据库操作中,对表结构的修改通常需要获取表级锁(table-level lock),这会阻塞其他对该表的所有读写操作,直到结构变更完成。这种锁定方式在低并发或者业务允许短暂中断的情况下是可行的,但在高并发或者对业务连续性要求较高的场景中,可能会导致服务中断,影响用户体验。

MySQL提供了一些机制来实现无锁变更,例如:

  1. ALTER TABLE:在某些情况下,MySQL的ALTER TABLE命令可以实现无锁变更。例如,当你添加一个新列时,MySQL可以创建一个新的临时表,将旧表中的数据复制到新表中,然后删除旧表并重命名新表为原来的表名。在这个过程中,对于某些存储引擎(如InnoDB),可以最小化锁的粒度。
  2. pt-online-schema-change:这是Percona Toolkit中的一个工具,它提供了一种在生产环境中进行在线DDL(数据定义语言)操作的方法。它通过创建一个新表,将旧表的数据复制到新表中,并在后台进行数据迁移,从而允许在变更过程中继续对旧表进行读写操作。
  3. gh-ost:GitHub开发的在线 schema 迁移工具,全称是“GitHub Orchestrated Schema Transactions”。它支持高并发的在线变更,并且可以与GitHub的API集成,用于自动化数据库迁移流程。
  4. OnlineDDL:一些云服务提供商,如AWS RDS,Google Cloud SQL等,提供了自己的在线DDL服务,允许在不影响数据库可用性的情况下进行结构变更。

操作

Mysql online DDL 线上无锁添加索引

只能通过ALTER TABLE不能create index

ALTER TABLE tbl_name ADD PRIMARY KEY (column), ALGORITHM=INPLACE, LOCK=NONE;
ALGORITHM=INPLACE
更优秀的解决方案,在当前表加索引,步骤:
1.创建索引(二级索引)数据字典
2.加共享表锁,禁止DML,允许查询
3.读取聚簇索引,构造新的索引项,排序并插
入新索引
4.等待打开当前表的所有只读事务提交
5.创建索引结束
 
ALGORITHM=COPY
通过临时表创建索引,需要多一倍存储,还有更多的IO,步骤:
1.新建带索引(主键索引)的临时表
2.锁原表,禁止DML,允许查询
3.将原表数据拷贝到临时表
4.禁止读写,进行rename,升级字典锁
5.完成创建索引操作
 
LOCK=DEFAULT:默认方式,MySQL自行判断使用哪种LOCK模式,尽量不锁表
LOCK=NONE:无锁:允许Online DDL期间进行并发读写操作。如果Online DDL操
作不支持对表的继续写入,则DDL操作失败,对表修改无效
LOCK=SHARED:共享锁:Online DDL操作期间堵塞写入,不影响读取
LOCK=EXCLUSIVE:排它锁:Online DDL操作期间不允许对锁表进行任何操作

case


# 增加索引
ALTER TABLE `zzbitem`.`modify_item_log` ADD INDEX `IDX_MODIFYTIME`(`modifytime`) USING BTREE;

ALTER TABLE `zzbitem`.`publishbaby_fail_log` ADD INDEX `IDX_PUBLISHTIME`(`publish_time`) USING BTREE;

ALTER TABLE `zzbitem`.`poster_numiid` ADD INDEX `IDX_CREATETIME`(`createtime`) USING BTREE;

# mysql原生无锁
ALTER TABLE `zzbitem`.`modify_item_log` ADD INDEX `IDX_MODIFYTIME`(`modifytime`) , ALGORITHM=INPLACE, LOCK=NONE;
ALTER TABLE `zzbitem`.`publishbaby_fail_log` ADD INDEX `IDX_PUBLISHTIME`(`publish_time`) , ALGORITHM=INPLACE, LOCK=NONE;
ALTER TABLE `zzbitem`.`poster_numiid` ADD INDEX `IDX_CREATETIME`(`createtime`) , ALGORITHM=INPLACE, LOCK=NONE;