Mysql

关注公众号 jb51net

关闭
首页 > 数据库 > Mysql > MySQL慢查询日志

从配置到性能优化全面解析MySQL慢查询日志

作者:Reboot

这篇文章将和大家深入探讨MySQL慢查询日志的配置、分析和优化实践,帮助数据库开发和管理人员有效识别和解决数据库性能问题,有需要的小伙伴可以了解下

1. 慢查询日志概述

1.1 什么是慢查询日志

MySQL慢查询日志是MySQL数据库提供的一种性能诊断工具,用于记录执行时间超过指定阈值的SQL查询语句。通过分析慢查询日志,开发人员和DBA可以:

1.2 慢查询日志的重要性

在数据库性能优化中,慢查询日志是不可或缺的工具。据统计,80%的数据库性能问题都是由少数几个执行效率低下的SQL语句引起的。通过慢查询日志,我们可以精准定位这些问题SQL,实现"精准打击"。

2. 慢查询日志的配置与管理

2.1 检查当前状态

在配置慢查询日志之前,首先需要检查当前的相关配置状态:

-- 检查慢查询日志是否开启
SHOW VARIABLES LIKE 'slow_query_log';

-- 查看慢查询日志文件路径
SHOW VARIABLES LIKE 'slow_query_log_file';

-- 查看慢查询时间阈值
SHOW VARIABLES LIKE 'long_query_time';

-- 检查是否记录未使用索引的查询
SHOW VARIABLES LIKE 'log_queries_not_using_indexes';

-- 查看累计慢查询数量
SHOW GLOBAL STATUS LIKE 'Slow_queries';

2.2 开启慢查询日志

临时开启(重启后失效)

-- 开启慢查询日志
SET GLOBAL slow_query_log = 'ON';

-- 设置慢查询时间阈值为2秒
SET GLOBAL long_query_time = 2;

-- 指定日志文件路径
SET GLOBAL slow_query_log_file = '/var/lib/mysql/mysql-slow.log';

-- 可选:记录未使用索引的查询(生产环境慎用)
SET GLOBAL log_queries_not_using_indexes = 'ON';

永久开启(修改配置文件)

修改MySQL配置文件(my.cnf或my.ini),在[mysqld]部分添加以下配置:

[mysqld]
# 开启慢查询日志
slow_query_log = 1

# 慢查询日志文件路径
slow_query_log_file = /var/lib/mysql/mysql-slow.log

# 慢查询时间阈值,单位:秒
long_query_time = 2

# 记录未使用索引的查询(可选,生产环境慎用)
log_queries_not_using_indexes = 0

# 慢查询日志记录时区(MySQL 8.0+)
log_timestamps = SYSTEM

修改完成后需要重启MySQL服务使配置生效。

2.3 配置参数详解

参数名默认值说明建议
slow_query_logOFF慢查询日志开关生产环境建议开启
long_query_time10.0慢查询阈值(秒)生产环境2-5秒,开发环境0.5-1秒
slow_query_log_filehost_name-slow.log日志文件路径建议指定绝对路径
log_queries_not_using_indexesOFF是否记录未使用索引的查询性能测试时开启,生产环境关闭
min_examined_row_limit0记录检查行数下限可根据业务特点调整
log_slow_admin_statementsOFF是否记录管理语句按需开启
log_outputFILE日志输出方式建议使用FILE

3. 慢查询日志内容解析

3.1 日志格式详解

一条完整的慢查询日志记录通常包含以下部分:

# Time: 2023-10-25T08:15:30.123456Z
# User@Host: user1[app_user] @  [192.168.1.100]  Id: 123456
# Query_time: 5.123456  Lock_time: 0.001234 Rows_sent: 150  Rows_examined: 500000
SET timestamp=1698221730;
SELECT * FROM orders o 
JOIN customers c ON o.customer_id = c.id 
WHERE o.create_date > '2023-01-01' 
  AND o.status = 'pending' 
  AND c.country = 'US' 
ORDER BY o.create_date DESC;

3.2 关键字段说明

字段含义性能分析意义
Time查询发生的时间戳用于分析慢查询的时间分布
User@Host执行查询的用户和主机定位问题用户或应用
Query_time查询总执行时间核心性能指标,直接反映SQL性能
Lock_time表锁等待时间锁竞争严重时需要关注
Rows_sent返回客户端的行数查询结果集大小
Rows_examined服务器扫描的行数关键指标,反映索引效率
SQL语句完整的SQL文本优化分析的对象

3.3 执行时间分析

Query_time字段是慢查询日志中最重要的指标,它精确记录了SQL在数据库服务器上的实际执行时间。这个时间包括:

4. 慢查询日志分析工具

4.1 使用mysqldumpslow分析

mysqldumpslow是MySQL官方提供的慢查询日志分析工具:

# 按执行时间排序,显示最慢的10个查询
mysqldumpslow -s t -t 10 /path/to/slow.log

# 按出现次数排序,显示最常见的10个慢查询
mysqldumpslow -s c -t 10 /path/to/slow.log

# 按累计执行时间排序
mysqldumpslow -s at -t 10 /path/to/slow.log

# 分析特定用户的慢查询
mysqldumpslow -a -g "user1" /path/to/slow.log

# 详细模式,显示完整的SQL语句
mysqldumpslow -a -s t -t 5 /path/to/slow.log

4.2 使用pt-query-digest分析

Percona Toolkit中的pt-query-digest是更强大的分析工具:

# 基本用法
pt-query-digest /path/to/slow.log

# 输出到文件
pt-query-digest /path/to/slow.log > slow_report.txt

# 分析最近12小时的慢查询
pt-query-digest --since=12h /path/to/slow.log

# 按特定维度分析
pt-query-digest --group-by=fingerprint --order-by=query_time:sum /path/to/slow.log

# 对比两个时间段的慢查询
pt-query-digest --since=2023-10-01 --until=2023-10-02 /path/to/slow.log

4.3 自定义SQL分析

对于输出到表的慢查询日志,可以直接使用SQL进行分析:

-- 查询最慢的10个SQL语句
SELECT db, query_time, lock_time, rows_sent, rows_examined, sql_text
FROM mysql.slow_log
ORDER BY query_time DESC
LIMIT 10;

-- 分析各数据库的慢查询分布
SELECT db, COUNT(*) as slow_count, AVG(query_time) as avg_time
FROM mysql.slow_log
WHERE start_time > NOW() - INTERVAL 1 DAY
GROUP BY db;

-- 查找扫描行数过多的查询
SELECT sql_text, rows_examined, rows_sent,
       ROUND(rows_examined/rows_sent) as ratio
FROM mysql.slow_log
WHERE rows_sent > 0 AND rows_examined > 10000
ORDER BY ratio DESC
LIMIT 10;

5. 基于慢查询日志的性能优化实践

5.1 优化流程

5.2 常见问题及解决方案

案例1:缺少合适的索引

-- 慢查询日志中的原始SQL
# Query_time: 4.234567  Lock_time: 0.001000 Rows_sent: 1  Rows_examined: 500000
SELECT * FROM orders WHERE customer_id = 100 AND status = 'completed';

-- 优化方案:添加复合索引
ALTER TABLE orders ADD INDEX idx_customer_status (customer_id, status);

案例2:低效的LIKE查询

-- 慢查询日志中的原始SQL
# Query_time: 3.123456  Lock_time: 0.002000 Rows_sent: 50  Rows_examined: 1000000
SELECT * FROM products WHERE name LIKE '%apple%';

-- 优化方案:使用全文索引或调整查询方式
ALTER TABLE products ADD FULLTEXT(name);
SELECT * FROM products WHERE MATCH(name) AGAINST('apple' IN NATURAL LANGUAGE MODE);

案例3:大表分页查询

-- 慢查询日志中的原始SQL
# Query_time: 2.987654  Lock_time: 0.003000 Rows_sent: 20  Rows_examined: 100020
SELECT * FROM orders ORDER BY create_date DESC LIMIT 100000, 20;

-- 优化方案:使用游标分页或子查询优化
SELECT * FROM orders 
WHERE id > (SELECT id FROM orders ORDER BY create_date DESC LIMIT 100000, 1)
ORDER BY create_date DESC LIMIT 20;

5.3 索引优化策略

基于慢查询日志的常见索引优化:

6. 生产环境最佳实践

6.1 配置建议

6.2 性能考量

开启慢查询日志对数据库性能有一定影响,主要体现在:

建议在高并发业务高峰期适当调整阈值,或使用采样方式记录。

6.3 与其他工具结合

慢查询日志应与其他监控工具结合使用:

7. 总结

MySQL慢查询日志是数据库性能优化中不可或缺的工具,它提供了SQL执行时间的精确记录。通过合理配置慢查询日志,结合专业的分析工具,我们可以:

记住,慢查询日志只是起点,真正的价值在于基于日志分析结果采取有效的优化措施,持续提升数据库性能。建议将慢查询日志分析纳入日常的数据库维护流程,建立从监控、分析到优化的完整闭环。

以上就是从配置到性能优化全面解析MySQL慢查询日志的详细内容,更多关于MySQL慢查询日志的资料请关注脚本之家其它相关文章!

您可能感兴趣的文章:
阅读全文