mysql 数据量大的表如何做分页查询

发布网友发布时间：2022-04-19 21:50

我来回答

共2个回答

懂视网时间：2022-04-07 19:25

mysql分页查询的方法：

简述

通常在MySQL中通过limit #{limit},#{offset}来进行分页查询。

当表中记录较多且页数（#{limit}）较大时，分页查询效率变慢。

变慢的原因时，分页查询时，会先查询出limit + offset条记录，然后截取后面的offset记录。

本文以实际1.4亿的表big_table为例，记录如何优化分页查询。

测试说明

测试表：big_table，数据量：1.4亿。

原始SQL（4500ms）

-- 原始分页查询，耗时：4500ms
select * 
from big_table
limit 2000000,10;

慢的原因：

1、查询条件为*

2、limit = 2000000太大

优化一（推荐）：用具体字段代替*（1600ms）

-- 用明确字段代替*，耗时：1600ms
select id,uid,media_id,media_name,news_id,comment 
from big_table
limit 2000000,10;

优化二：先查寻索引（450ms）

-- 方法1：先对索引进行分页查询，耗时：450ms
select * from big_table AS h inner join
 (select id from big_table
 limit 2000000,10) AS ss 
 on h.id = ss.id;
-- 方法2：先查询出起始位置的索引，耗时：450ms
select * from big_table
where id > (
select id from big_table limit 2000000,1
)
limit 10;

优化三：between … and（5ms）

限制：id必须是连续递增的。

-- 上一页保留最后一条记录所在id，耗时：5ms
select * from big_table
where id between 4882489 and 4882489 + 10 ;

优化四（推荐）：保留上一页记录所在id（5ms）

限制：需要保留上一页的最后一条记录所在id

-- 上一页需要保留最后一条记录所在id，耗时：5ms
select * from big_table
where id > 4882488
limit 10;

更多相关免费学习推荐：mysql教程(视频)

热心网友时间：2022-04-07 16:33

直接用limit start, count分页语句，也是我程序中用的方法：
select * from proct limit start, count
当起始页较小时，查询没有性能问题，我们分别看下从10， 100， 1000， 10000开始分页的执行时间（每页取20条），如下：
select * from proct limit 10, 20 0.016秒
select * from proct limit 100, 20 0.016秒
select * from proct limit 1000, 20 0.047秒
select * from proct limit 10000, 20 0.094秒
我们已经看出随着起始记录的增加，时间也随着增大，这说明分页语句limit跟起始页码是有很大关系的，那么我们把起始记录改为40w看下（也就是记录的一般左右） select * from proct limit 400000, 20 3.229秒
再看我们取最后一页记录的时间
select * from proct limit 866613, 20 37.44秒
难怪搜索引擎抓取我们页面的时候经常会报超时，像这种分页最大的页码页显然这种时
间是无法忍受的。
从中我们也能总结出两件事情：
1）limit语句的查询时间与起始记录的位置成正比
2）mysql的limit语句是很方便，但是对记录很多的表并不适合直接使用。

首页

文章

mysql 数据量大的表如何做分页查询