• 售前

  • 售后

热门帖子
入门百科

Mysql大数据量查询优化的思路

[复制链接]
温室小书生室d 显示全部楼层 发表于 2022-1-13 03:16:04 |阅读模式 打印 上一主题 下一主题
项目场景:

Mysql大表查询优化,理论上千万级别以下的数据量Mysql单表查询性能处理都是可以的。

原因分析:


  • 首先说一下日志查询,在Mysql中如果索引加的比较合适,走索引情况下千万级别查询不会超过一秒,Mysql查询的速度和检索的数据条数有关。在Mybatis中,分页查询是先执行Count记录总数,再执行limit a,b 的方式来进行的,而Mysql的Count计数方式是将所有的数据过滤一遍进行累加,因此当日志表数据过千万时,统计一次就是十几秒钟的时间(这里是服务器环境,本地情况下甚至是几分钟)。
  • limit a,b的方式也一样,Mysql查询时会先一条一条数到第a条,然后向后再数b条作为查询结果,因此当起始行数越来越大时查询同样会变得很慢,也就是当你点第一页时可能一下就查出来了,当你点最后一页的时候可能几十秒才能查出来。
  • 黑名单库查询优化同理,也是需要通过条件优化。
  • 在进行大批量数据落库时,使用的Mybatis批量插入,发现当批次数据超过3000时速度会急剧变慢,这是一个Mybatis娘胎里自带的问题,也需要进行解决。

帖子地址: 

回复

使用道具 举报

分享
推广
火星云矿 | 预约S19Pro,享500抵1000!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

草根技术分享(草根吧)是全球知名中文IT技术交流平台,创建于2021年,包含原创博客、精品问答、职业培训、技术社区、资源下载等产品服务,提供原创、优质、完整内容的专业IT技术开发社区。
  • 官方手机版

  • 微信公众号

  • 商务合作