Orderby 排序优化

简介: 在日常的业务开发中,order by 排序是少不了的。但要写出高效的排序SQL,需要先花点精力和时间来了解排序的底层原理,这样才能找到优化排序的好策略。

orderBy排序优化.png

排序的方式

index(索引排序,性能最佳)

尽可能使用索引字段来排序

filesort(文件排序)

2.1 双路排序

MySQL4.1 之前的版本,通过两次扫描磁盘,最终得到数据
先从磁盘中读取行指针和 order by 列,并对它们进行排序,然后扫描已经排好序的列表,按照列表中的值重新从列表中读出(再一次从磁盘中读),要对磁盘进行两次扫描,I\O是很耗时的。

2.2 单路排序

MySQL4.1 之后,增加的更优排序算法
从磁盘读取查询需要的所有列,按照order by列在buffer(缓冲区)对它们进行排序,然后扫描排序后的列表进行输出
它的效率要更快一些,避免了第二次读取数据(从磁盘读)并且把随机I\O变成了顺序I\O
但是它会使用过多空间,因为它把每一行都保存在内存中了
不足:
在sort_buffer中,单路算法比双路算法要多占用很多空间
因为单路算法是把所有字段都取出,所以有可能取出的数据总大小超出了 sort_buffer(MySQL会给每个线程分配一块内存用于排序) 的容量,导致每次只能取 sort_buffer 容量大小的数据,进行排序(创建tmp文件,多路合并),排完再取出
sort_buffer容量太小,再排......从而多次I\O操作
本想着省一次I\O操作,反而导致了大量的I\O操作,反而得不偿失。
使用单路排序满足的条件:
1. 查询语句所取出的字段类型大小总和要小于 max_length_for_sort_data
2. 排序字段中不包含text和blob类型

优化策略

order by时,只query需要的字段

1. 当query的字段大小总和小于max_length_for_sort_data,而且排序字段不是TEXT|BLOB类型,会使用单路排序算法,否则使用多路排序算法
2. 两种算法的数据都有可能超出sort_buffer的容量,超出之后,创建tmp文件进行合并排序,导致多次的I\O,但是使用单路排序的风险更大,所以要提高sort_buffer_size

尝试提高sort_buffer_size

不管使用哪种算法,提高这个参数都会提高效率
要根据系统的自身能力去提高,因为这个参数是针对每个进程的

尝试提高max_length_for_sort_data

提高这个参数,会增加用改进算法的概率。
但如果设置得太高,数据总容量超出sort_buffer_size的概率会增大,明显症状是高的磁盘I\O活动和低的处理器使用率

实例

数据表

*************************** ***************************
       Table: user
Create Table: CREATE TABLE `user` (
  `id` int(10) unsigned NOT NULL AUTO_INCREMENT,
  `name` varchar(20) NOT NULL,
  `age` int(10) NOT NULL DEFAULT '0',
  `city` varchar(20) NOT NULL,
  `addr` varchar(50) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `idx_name_age_city` (`name`,`age`,`city`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci

order by能使用索引最左前缀

* select id,name,age,city from user order by name;
* select id,name,age,city from user order by name,age,city;
* explain select id,name,age,city from user order by name desc,age desc,city desc;

Orderby 排序优化

Orderby 排序优化

Orderby 排序优化

如果where使用索引的最左前缀定义为常量,则order by 能使用索引

* select * from user where name = 'zhangsan' order by age,city;
* select * from user where name = 'zhangsan' and age = 20 order by city;
* select * from user where name = 'zhangsan' and age > 20 order by age,city;

Orderby 排序优化

Orderby 排序优化

Orderby 排序优化

不能使用索引进行排序

select * from user order by name,age,city;//query*字段
select * from user order by addr;//非索引字段排序
select * from user order by name,addr;//含有非索引字段
select * from user where age = 20 order by city;//跳过了name字段,违反最左前缀法则
select * from user where name = 'zhangsan' order by city;//跳过了age字段,违反最左前缀法则
select * from user where name = 'zhangsan' order by age,addr;//含有非索引字段

Orderby 排序优化

Orderby 排序优化

Orderby 排序优化

Orderby 排序优化

Orderby 排序优化

目录
相关文章
|
3天前
|
数据采集 人工智能 安全
|
12天前
|
云安全 监控 安全
|
4天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
1074 151
|
17天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1745 9
|
9天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
689 152
|
11天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
656 12
|
6天前
|
SQL 自然语言处理 调度
Agent Skills 的一次工程实践
**本文采用 Agent Skills 实现整体智能体**,开发框架采用 AgentScope,模型使用 **qwen3-max**。Agent Skills 是 Anthropic 新推出的一种有别于mcp server的一种开发方式,用于为 AI **引入可共享的专业技能**。经验封装到**可发现、可复用的能力单元**中,每个技能以文件夹形式存在,包含特定任务的指导性说明(SKILL.md 文件)、脚本代码和资源等 。大模型可以根据需要动态加载这些技能,从而扩展自身的功能。目前不少国内外的一些框架也开始支持此种的开发方式,详细介绍如下。
420 4