mysql大数据查询优化经验分享(推荐)

 更新时间:2018年03月09日 10:36:57   投稿:mrr  
这篇文章主要介绍了mysql大数据查询优化经验分享,真的是正儿八经的mysql优化技巧,非常不错,具有参考借鉴价值,需要的朋友可以参考下

GPT4.0+Midjourney绘画+国内大模型 会员永久免费使用!
如果你想靠AI翻身,你先需要一个靠谱的工具!

正儿八经mysql优化!

mysql数据量少,优化没必要,数据量大,优化少不了,不优化一个查询10秒,优化得当,同样查询10毫秒。

这是多么痛的领悟!

mysql优化,说程序员的话就是:索引优化和where条件优化。

实验环境:MacBook Pro MJLQ2CH/A,mysql5.7,数据量:212万+

ONE:

1
2
3
4
5
6
7
8
9
10
11
12
13
select * from article
 INNER JOIN (
 SELECT id
 FROM article
 WHERE
  length(content_url) > 0 and
  (select status from source where id = article.source_id)=1 and
  (select status from category where id = article.category_id)=1 and
  status = 1 and id < 2164931
 order by stick desc,pub_time desc
 limit 240,15
 ) AS t
USING(id);

咋一看,大佬肯定会想杀了我,没事做啥自关联,还是inner join。XX楼的,把我的杀猪刀拿来,我要宰了博主!!!

说实话,早上出门我的脑袋没被门挤,我也不想这样的。

1.数据量大了,你要做offset很大的分页查询,还真的这样提速,原因 ---> 用join子表中的id覆盖到全表,避免全表扫描。

看我的order by(细语:不就是个order by,TM谁不会写),你把这个order by换成你自己的表中的字段desc or explain看看。Extra ---> filesort ! shit !

2.针对这种多个条件的order by,通常我们会直接给两个字段分别加index,然而还是会Extra ---> filesort。另辟蹊径,给order by后面的所有条件加一个联合索引,注意顺序一定要和你的order by顺序一致。这样Extra就只剩下where了。

再看看where,(select status from source where id = article.source_id)=1 and ...又啥JB写法!

3.想过用join+index的方式,最后测试出来,和这种方式几乎无差别。生产环境是这样写的,那就这样吧,还能少两个索引(source_id,category_id),懒病犯了谁都阻挡不了,以后吃亏了又回来继续优化呗。

4.这个点是我昨晚才get到的,where条件的满足顺序是优先满足最后一个条件,从右到左,经过删除index测试,确实有效果,能从6秒降到4秒,优化了index之后再次测试发现顺序对耗时影响几乎可以忽略不计,0.X毫秒。

TWO:

1
2
3
4
5
6
7
select * from article
INNER JOIN (
SELECT id FROM article WHERE INSTR(ifnull(title,''),'战狼') > 0 and status != 9
order by pub_time desc
limit 100,10
 
) AS t USING(id);

嗯——又是inner join.......

1
INSTR(ifnull(title,''),'战狼') > 0,为啥不用like......

1.考虑到这是管理平台的搜索,没有去搜索引擎上搜,搜索引擎是一个小时才同步一次数据,数据不全。管理人员搜索时只管他要的结果,like %XX%不能走索引,效率比instr低了5倍,又测试了regexp '.*XX*.',还是比instr耗时多一点,索性.....

1
desc or explain看看,filesort.....给pub_time加个index看看,还是filesort.....

2.这种情况有另外一种方案,SELECT id FROM article force index(pub_time),指定使用这个索引。但是这种写法太缺灵活性了,OUT!百度一下,有高人指点迷津:把status和pub_time建个联合索引(pub_time_status,order的条件在前),让where查询的时候,把这个index自动force上。

THREE:

1
2
select * from article where status != 9 order by pub_time desc limit 100000,25;
desc or explain,还是filesort.....前面不是给status和pub_time建了联合索引了吗,tell me why......

好吧,我也不知道,把status和pub_time再建个联合索引status_pub_time,这次where条件在前,explain没filesort了,但是这个index却没有被使用,它勾搭出了pub_time_status。搞不懂啊

同时我又explain了TWO的SQL,都是如下图:

这二者中删除任何一个都不行,删除一个,就有sql会filesort!

FOUR:

1
2
3
4
5
6
7
8
9
10
11
12
SELECT * from follow
 where (((SELECT status FROM source WHERE id=follow.source_id)=1 and follow.type=1) or ((select status from topic WHERE id=follow.source_id)=1 and follow.type=2)) AND user_id=10054
 ORDER BY sort limit 15,15;
 SELECT * from follow inner join(
 SELECT id from follow
 where (((SELECT status FROM source WHERE id=follow.source_id)=1 and follow.type=1) or ((select status from topic WHERE id=follow.source_id)=1 and follow.type=2)) AND user_id=10054
 ORDER BY sort limit 15,15
 ) as t using(id);
 (SELECT id, source_id, user_id, temporary, sort, follow_time, read_time,type from follow where (SELECT status FROM source WHERE id=follow.source_id)=1 and follow.type=1 and user_id=10054)
 union all
 (SELECT id, source_id, user_id, temporary, sort, follow_time, read_time,type from follow where (select status from topic WHERE id=follow.source_id)=1 and follow.type=2 and user_id=10054)
 ORDER BY sort limit 15,15;

看看这三句sql,interesting,是不是!

为了公平起见,我已经优化了索引,user_id_sort(user_id,sort),让where在用user_id判断时force上这个索引。

第一句:0.48ms

第二句:0.42ms

第三句:6ms,导致时间长那么多的原因是union(查询两次表,合并成子表)后不能用index覆盖到order by的sort上

有的时候union不一定比or快。

总结

以上所述是小编给大家分享的mysql大数据查询优化经验,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

蓄力AI

微信公众号搜索 “ 脚本之家 ” ,选择关注

程序猿的那些事、送书等活动等着你

相关文章

  • mysql表物理文件被误删的解决方法

    mysql表物理文件被误删的解决方法

    最近因为失误不小心误删了mysql表的物理文件,这个时候该怎么办呢?然后抓紧从网上找解决的方法,终于解决了,现在将解决的方法及过程分享给大家,有需要的朋友们可以参考借鉴,感兴趣的朋友们下面来一起学习学习吧。
    2016-11-11
  • 游戏和服备忘问题简析

    游戏和服备忘问题简析

    这篇文章主要介绍了游戏和服备忘问题简析,小编觉得挺不错的,这里分享给大家,希望给大家一个参考。
    2017-10-10
  • MySQL中如何重建表

    MySQL中如何重建表

    这篇文章主要介绍了MySQL中如何重建表问题。具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-02-02
  • 详解mysql DML语句的使用

    详解mysql DML语句的使用

    这篇文章主要介绍了详解mysql DML语句的使用,帮助大家更好的理解和学习mysql,感兴趣的朋友可以了解下
    2020-08-08
  • Mysql数据库使用concat函数执行SQL注入查询

    Mysql数据库使用concat函数执行SQL注入查询

    这篇文章主要介绍了Mysql数据库使用concat函数执行SQL注入查询,concat函数在SQL注入查询中会有意想不到的作用,本文就起讲解它的使用,需要的朋友可以参考下
    2015-04-04
  • mysql中格式化日期详解

    mysql中格式化日期详解

    最近因为工作需要,要使用mysql查询记录可如果有时间戳字段时,查看结果不方便,不能即时看到时间戳代表的含义,所以这篇文章就提供mysql格式换时间函数,可以方便的看到格式化后的时间。有需要的朋友们可以参考借鉴,下面来一起看看吧。
    2016-11-11
  • MySQL分支和循环结构方式

    MySQL分支和循环结构方式

    在MySQL中,IF函数用于根据条件返回不同的值,类似于Java的三目运算符,CASE语句则提供了两种形式:简单CASE函数和搜索CASE函数,分别类似于Java中的switch-case结构和多重if判断,这些控制流函数在数据库查询和数据处理中非常有用,可以实现复杂的逻辑判断
    2024-10-10
  • MySQL之索引结构解读

    MySQL之索引结构解读

    这篇文章主要介绍了MySQL之索引结构解读,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2023-04-04
  • MySQL/MariaDB中如何支持全部的Unicode

    MySQL/MariaDB中如何支持全部的Unicode

    MySQL/MariaDB中,utf8字符集并不是对Unicode的真正实现,那么MySQL/MariaDB中如何支持全部的Unicode,感兴趣的朋友可以了解一下
    2021-08-08
  • SQL计算timestamp的差值的方法

    SQL计算timestamp的差值的方法

    这篇文章主要介绍了SQL计算timestamp的差值的方法的相关资料,需要的朋友可以参考下
    2017-05-05

最新评论