Mysql

关注公众号 jb51net

关闭
首页 > 数据库 > Mysql > Mysql 分批加索引

Mysql 分批加索引的详细方法

作者：土掉渣的二傻子

文章主要介绍了在生产环境中为千万级数据表分批次创建索引的策略和方法,包括使用临时表、分区表、ONLINE选项、分批ALTER TABLE、pt-online-schema-change工具等,并提供了详细的步骤和注意事项,感兴趣的朋友一起看看吧

1. 分批次创建索引怎么创建

在生产环境中，分批次创建索引 是一种有效的策略，尤其适用于处理大型数据表（如千万级数据），目的是减少对系统性能的影响，并避免长时间锁表。分批创建索引通常可以分为以下几种方法：

方法 1：使用临时表分批创建索引

这种方法通过创建一个临时表，将原表的数据按批次分批插入到临时表中，并在临时表上添加索引，最后再交换原表和临时表。这种方法不会影响生产表的查询操作。

步骤：

创建临时表： 创建一个与原表结构相同的表，并在临时表上添加索引。

CREATE TABLE temp_table LIKE original_table;
CREATE INDEX idx_column_name ON temp_table (column_name);

分批插入数据： 将原表数据分批插入到临时表中。为了避免一次性插入过多数据导致长时间锁定，可以按批次（比如每 10000 行）分批执行插入操作。

INSERT INTO temp_table (columns) SELECT columns FROM original_table
WHERE condition LIMIT 10000 OFFSET 0;
INSERT INTO temp_table (columns)
SELECT columns FROM original_table WHERE condition LIMIT 10000 OFFSET 10000;

切换临时表和原表： 在所有数据都插入到临时表并且索引已创建完成后，你可以通过重命名表的方式将临时表替换为原表：

RENAME TABLE original_table TO backup_table, temp_table TO
original_table;

如果操作成功完成，你可以删除原来的备份表 backup_table，但保留数据和索引。

方法 2：使用分区表分批创建索引

按分区处理数据： 你可以选择一个分区进行索引创建，确保不会锁定整个表。

CREATE INDEX idx_column_name ON original_table PARTITION (p1)
(column_name);

逐个分区创建索引： 如果表是基于某个字段分区的，你可以为每个分区单独创建索引，逐个执行每个分区上的索引创建操作。

CREATE INDEX idx_column_name ON original_table PARTITION (p1)
(column_name); CREATE INDEX idx_column_name ON original_table
PARTITION (p2) (column_name);

方法 3：在后台创建索引 (使用 ONLINE 选项)

如果使用的数据库引擎支持 ONLINE 索引创建（如 InnoDB），则可以避免在索引创建过程中锁住整个表。ONLINE 索引创建可以在不锁表的情况下进行，从而对生产环境的影响较小。

使用 ONLINE 创建索引： 在创建索引时加上 ALGORITHM=INPLACE 和 LOCK=NONE，以便在索引创建过程中避免对表的锁定。

CREATE INDEX idx_column_name ON original_table (column_name) ALGORITHM=INPLACE, LOCK=NONE;

渐进式创建索引： 如果需要创建多个索引，可以分批次逐个创建。例如，先为 column1 创建索引，创建完成后再为 column2 创建索引，等等。

CREATE INDEX idx_column1 ON original_table (column1) ALGORITHM=INPLACE, LOCK=NONE;
CREATE INDEX idx_column2 ON original_table (column2) ALGORITHM=INPLACE, LOCK=NONE;

这样做可以在索引创建期间保持表的可用性，并且对性能的影响较小。

方法 4：分批次执行 ALTER TABLE

如果你使用 ALTER TABLE 来创建索引，也可以分批次执行。在大表上创建索引时，通常会发生锁表操作（尤其是在没有使用 ONLINE 选项的情况下），因此在此情况下，要谨慎操作。

你可以通过将大表拆分成多个小表或者通过分批更新来减少锁表的时间。

ALTER TABLE original_table ADD INDEX idx_column_name (column_name);

如果表的行数非常大，执行时间可能会较长，可能需要根据实际业务负载选择合适的时间窗口。

方法 5：使用 MySQL 的 pt-online-schema-change 工具

pt-online-schema-change 是 Percona Toolkit 中的一个工具，用于在生产环境中在线修改 MySQL 表结构，包括创建索引，而不影响系统的可用性。这个工具会在后台执行表修改操作，并创建一个临时表，确保整个过程不会影响到生产数据库的使用。

pt-online-schema-change --alter "ADD INDEX idx_column_name (column_name)" --execute D=your_db,t=original_table

总结

分批次创建索引是一个优化操作，在生产环境中尤为重要，尤其是在数据量大的情况下。常用的分批策略包括：

2. 千万级的数据表加索引

1.评估需要索引的字段

2.选择合适的索引类型

3. 评估影响并准备备份

创建索引会占用系统资源，可能会锁定表或造成性能瓶颈，尤其是在大表上。为了确保安全，备份当前数据是非常重要的。如果索引创建失败或操作过程中出现问题，可以通过恢复备份来恢复数据。

4. 索引创建策略

4.1 使用 ONLINE 选项（如果支持）

MySQL 5.6 及以上版本支持使用 ONLINE 选项创建索引，可以在不锁定表的情况下创建索引。这有助于避免对查询和插入的干扰。

CREATE INDEX idx_column_name ON table_name (column_name) ONLINE;

4.2 分批次创建索引

4.3 低流量时段执行索引创建

在生产环境中，通常有低流量时段，可以通过定时任务在低峰期执行索引创建。

4.4 逐步添加索引

对于已经有索引的大表，逐步添加索引可以避免一次性创建多个索引造成的负载过高。每次添加一个索引后，评估系统性能，确保没有重大性能瓶颈后再添加下一个。

4.5 使用 pt-online-schema-change 工具

Percona Toolkit 提供的 pt-online-schema-change 工具可以在不中断服务的情况下安全地对表结构进行更改（如创建索引）。该工具通过创建一个新的表来实现更改，并通过触发器同步数据，这样对生产环境的影响较小。

pt-online-schema-change --alter “ADD INDEX idx_column_name
(column_name)” D=your_db,t=your_table --execute

5. 监控性能影响

创建索引的过程中，监控数据库的性能非常重要。特别是在生产环境中，创建索引可能会导致：

6. 创建索引时注意事项

7. 测试

在生产环境部署前，建议在开发或测试环境中进行充分的测试，模拟生产环境的负载和查询模式，确保新添加的索引不会对系统性能产生负面影响。

测试内容包括：

- 测试创建索引所需的时间和资源消耗。

- 测试新索引对查询性能的提升（或者可能带来的性能问题）。

- 测试索引创建过程中的系统资源消耗和响应时间。

8. 优化索引策略

在数据量不断增长的情况下，索引的设计也需要随之调整。考虑以下方面来持续优化：

总结

到此这篇关于Mysql 分批加索引的文章就介绍到这了,更多相关Mysql 分批加索引内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:
阅读全文