MySQL基础应用拓展、索引及执行计划

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: MySQL基础应用拓展、索引及执行计划

屏幕截图 2023-08-28 195743.png

目录

1.

2. 扩展类内容-元数据获取

索引及执行计划

1. 索引的作用

2. 索引的分类(算法)

3. BTREE索引算法演变(了解)

4. Btree索引功能上的分类

5. 辅助索引细分

6. 索引树高度

7. 索引的命令操作

8. 压力测试准备

9. 执行计划分析


1.

1.1 group by name

1.2 关于group by的sql_mode

only_full_group_by

说明:

   在5.7版本中MySQL sql_mode参数中自带,5.6没有

   在带有group by 字句的select中,select 后的条件列(非主键列),要么是group by后的列,要么需要在函数中包裹

实例:导入world库

use world;
select name,population from city group by district; #报错违反only_full_group_by
关闭only_full_group_by:
select @@sql_mode;    #查看当前sql_mode;
显示信息为:only_full_group_by,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
仅复制only_full_group_by后面的字段,然后修改mysql配置文件。
vim /etc/my.cnf
在[mysqld]中添加一行:
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
保存退出
systemctl restart mysqld

1.3  group_concat

列转行聚合函数

mysql> select user,group_concat(host)  from mysql.user group by user;

1.4 concat

做列值拼接

mysql> select concat(user,"@",host)  from mysql.user;

1.5 关于多表连接语法规则 ***

   首先找涉及到的所有表

   找到表和表之间的关联列

   关联条件写在on后面    A join B  on 关联列

   所有需要查询的信息放在select后

   其他的过滤条件where  group by  having order by  limit 往最后放

   注意:对多表连接中,驱动表选择数据行少的表。后续所有表的关联列尽量是主键或唯一键(表设计),至少建立一个索引。

1.6 别名

表别名    from 表名 as 表别名

列别名  select 列名 as 列别名

1.7 distinct

mysql> select count(distinct countrycode)  from city;

1.8 select 执行顺序

select  user ,count(name)  from  表   where  列   group by user  having 聚合函数   order by  列 limit 3  offset 1 ;

2. 扩展类内容-元数据获取

2.0 元数据介绍及获取介绍

元数据是存储在"基表"中。

通过专用的DDL语句,DCL语句进行修改

通过专用视图和命令进行元数据的查询

information_schema中保存了大量元数据查询的视图

show 命令是封装好功能,提供元数据查询基础功能

2.1 information_schema的基本应用 ***

tables 视图的应用

mysql> use information_schema;
mysql> desc tables;
TABLE_SCHEMA        表所在的库名
TABLE_NAME        表名
ENGINE            存储引擎
TABLE_ROWS        数据行
AVG_ROW_LENGTH        平均行长度
INDEX_LENGTH        索引长度

例子:

USE information_schema;

DESC TABLES;

-- 1. 显示所有的库和表的信息

SELECT table_schema,table_name FROM information_schema.tables;

-- 2. 以以下模式 显示所有的库和表的信息

-- world     city,country,countrylanguage
SELECT table_schema,GROUP_CONCAT(table_name) 
FROM information_schema.tables
GROUP BY table_schema;

-- 3. 查询所有innodb引擎的表

SELECT table_schema,table_name ,ENGINE
FROM information_schema.tables 
WHERE ENGINE='innodb';

-- 4. 统计world下的city表占用空间大小 ****

-- 表的数据量=平均行长度*行数+索引长度

-- AVG_ROW_LENGTH*TABLE_ROWS+INDEX_LENGTH
SELECT table_name,(AVG_ROW_LENGTH*TABLE_ROWS+INDEX_LENGTH)/1024
FROM information_schema.TABLES
WHERE table_schema='world' AND table_name='city';

-- 5. 统计world库数据量总大小 ****

SELECT table_schema,SUM((AVG_ROW_LENGTH*TABLE_ROWS+INDEX_LENGTH))/1024
FROM information_schema.TABLES
WHERE table_schema='world';

-- 6. 统计每个库的数据量大小,并按数据量从大到小排序 ****

SELECT table_schema,SUM((AVG_ROW_LENGTH*TABLE_ROWS+INDEX_LENGTH))/1024 AS total_KB
FROM information_schema.TABLES
GROUP BY table_schema
ORDER BY total_KB DESC ;

2.2 配合concat()函数拼接语句或命令

例子:

-- 1. 模仿以下语句,进行数据库的分库分表备份。

备份world库下city表:

mysqldump -uroot -p123 world city >/bak/world_city.sql 
SELECT
CONCAT("mysqldump -uroot -p ",table_schema," ",table_name
," >/bak/",table_schema,"_",table_name,".sql")
FROM information_schema.tables;

-- 2. 模仿以下语句,进行批量生成对world库下所有表进行操作

ALTER TABLE world.city DISCARD TABLESPACE;
SELECT 
CONCAT("ALTER TABLE ",table_schema,".",table_name," DISCARD TABLESPACE;")
FROM information_schema.tables
WHERE table_schema='world';

2.2 show介绍*****

show databases;                查看数据库名
show tables;                    查看表名
show create database xx;      查看建库语句
show create table xx;        查看建表语句
show processlist;            查看所有用户连接情况
show charset;                查看支持的字符集
show collation;                查看所有支持的校对规则
show grants for xx;            查看用户的权限信息
show variables like 'innodb%'  查看参数信息
show engines;                查看所有支持的存储引擎类型
show index from city;            查看表的索引信息
show engine innodb status\G     查看innoDB引擎详细状态信息
show binary logs ;            查看二进制日志的列表信息
show binlog events in ''    查看二进制日志的事件信息
show master status ;        查看mysql当前使用二进制日志信息
show slave status\G         查看从库状态信息
show relaylog events in ''    查看中继日志的事件信息
show status like ''        查看数据库整体状态信息(%innodb_rows_update%:更新次数;%innodb_rows_inserted% 插入次数;  %innodb_rows_read% 读取次数;%innodb_rows_delete% 删除次数)

索引及执行计划

1. 索引的作用

类似于一本书中的目录,通过索引可以快速定位到数据具体的物理存储位置,起到优化查询的作用。

2. 索引的分类(算法)

B树    默认使用的索引类型(原型:平衡二叉树算法)

R树

Hash

FullText

GIS 索引

3. BTREE索引算法演变(了解)

B- 叶子节点无水平指针

B+ 叶子节点有水平指针,可以方便范围查询

B* 枝节点有水平指针,mysql当前默认

4. Btree索引功能上的分类

4.1 聚集索引(唯一性) ***

(1)MySQL 会自动选择主键作为聚集索引列,没有主键会选择唯一键,如果都没有会生成隐藏的.

(2)MySQL进行存储数据时,会按照聚集索引列值的顺序,有序存储数据行

(3)聚集索引直接将原表数据页,作为叶子节点,然后提取聚集索引列向上生成枝和根

4.2 辅助索引(多个) ***

(1) 提取索引列的所有值,进行排序

(2) 将排好序的值,均匀的存放在叶子节点,进一步生成枝节点和根节点

(3) 在叶子节点中的值,都会对应存储主键ID

4.3 聚集索引和辅助索引的区别 *****

(1) 表中任何一个列都可以创建辅助索引,在你有需要的时候,只要名字不同即可

(2) 在一张表中,聚集索引只能有一个,一般是主键.

(3) 辅助索引,叶子节点只存储索引列的有序值+聚集索引列值.

(4) 聚集索引,叶子节点存储的时有序的整行数据.

(5) MySQL 的表数据存储是聚集索引组织表,辅助索引查询表。

注:mysql的查询过程就是通过辅助索引找到主键索引的id号,再通过主键索引查数据行

5. 辅助索引细分

5.1 单列辅助索引

5.2 联合索引(覆盖索引) *****

5.3 唯一索引

6. 索引树高度

索引树高度应当越低越好,一般维持在3-4最佳

6.1 数据行数较多

分区: partition  用的比较少了.

分片,分布式架构.

6.2 字段长度

业务允许,尽量选择字符长度短的列作为索引列

业务不允许,采用前缀索引.

6.3 数据类型

char 和 varchar

enum

7. 索引的命令操作

7.1  查询索引

desc city;

PRI   ==> 主键索引

MUL   ==> 辅助索引

UNI   ==> 唯一索引

mysql> show index from city\G

7.2 创建索引

单列的辅助索引:

mysql> alter table city add index idx_name(name);

多列的联合索引:

mysql> alter table city add index idx_c_p(countrycode,population);

唯一索引:

mysql> alter table city add unique index uidx_dis(district);
mysql> select count(district) from city;
mysql> select count(distinct district) from city;

前缀索引

mysql> alter table city add index idx_dis(district(5));

7.3 删除索引

mysql> alter table city drop index idx_name;
mysql> alter table city drop index idx_c_p;
mysql> alter table city drop index idx_dis;

8. 压力测试准备

mysql> source /tmp/t100w.sql

8.1 未做优化之前测试

mysqlslap --defaults-file=/etc/my.cnf \
--concurrency=100 --iterations=1 --create-schema='world' \
--query="select * from t100w where k2='MN89'" engine=innodb \
--number-of-queries=2000 -uroot -p123.com -verbose
mysqlslap: [Warning] Using a password on the command line interface can be insecure.
Benchmark
    Running for engine rbose
    Average number of seconds to run all queries: 755.861 seconds
    Minimum number of seconds to run all queries: 755.861 seconds
    Maximum number of seconds to run all queries: 755.861 seconds
    Number of clients running queries: 100
    Average number of queries per client: 20

8.2 索引优化后

创建k2列索引:

alter table t100w add index idx_k2(k2);

再次并发测试:

mysqlslap --defaults-file=/etc/my.cnf \
--concurrency=100 --iterations=1 --create-schema='world' \
--query="select * from t100w where k2='MN89'" engine=innodb \
--number-of-queries=2000 -uroot -p -verbose
mysqlslap: [Warning] Using a password on the command line interface can be insecure.
Benchmark
    Running for engine rbose
    Average number of seconds to run all queries: 1.678 seconds
    Minimum number of seconds to run all queries: 1.678 seconds
    Maximum number of seconds to run all queries: 1.678 seconds
    Number of clients running queries: 100
    Average number of queries per client: 20

9. 执行计划分析

9.1 作用

将优化器 选择后的执行计划 截取出来.便于管理管判断语句得执行效率.

9.2 获取执行

desc   SQL语句
explain SQL 语句
mysql> 
mysql> desc select * from t100w where k2='MN89';
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+
| id | select_type | table | partitions | type | possible_keys | key  | key_len | ref  | rows    | filtered | Extra       |
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+
|  1 | SIMPLE      | t100w | NULL       | ALL  | NULL          | NULL | NULL    | NULL | 1027638 |    10.00 | Using where |
+----+-------------+-------+------------+------+---------------+------+---------+------+---------+----------+-------------+

9.3 分析执行计划

9.3.1 table                

表名

9.3.2 type                

查询的类型:

全表扫描:     ALL

索引扫描:

           index        全索引扫描

           range        范围

           ref            等值

           eq_ref        联合等值

           const(system)    主键等值

           NULL        没有索引

index: 全索引扫描

mysql> desc select countrycode  from city;
range: 索引范围扫描(> < >= <= , between and ,or,in,like )
mysql> desc select * from city where id>2000;
mysql> desc select  * from city where countrycode like 'CH%';
对于辅助索引来讲,!= 和not in等语句是不走索引的
对于主键索引列来讲,!= 和not in等语句是走range
===
mysql> desc select  * from city where countrycode='CHN' or countrycode='USA';
mysql> desc select  * from city where countrycode in ('CHN','USA');
一般改写为 union all 
desc 
select  * from city where countrycode='CHN' 
union all 
select  * from city where countrycode='USA';
ref: 辅助索引等值查询
desc 
select  * from city where countrycode='CHN' 
union all 
select  * from city where countrycode='USA';
eq_ref : 多表连接时,子表使用主键列或唯一列作为连接条件
A join B 
on a.x = B.y 
desc select b.name,a.name ,a.population  
from city as a 
join country as b 
on a.countrycode=b.code 
where a.population<100;
const(system) : 主键或者唯一键的等值查询
mysql> desc select * from  city where id=100;


相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
6天前
|
存储 自然语言处理 关系型数据库
MySQL高级篇——索引的创建与设计原则
索引的分类与使用、MySQL8.0索引新特性、适合创建索引的情况、不适合创建索引的情况
MySQL高级篇——索引的创建与设计原则
|
6天前
|
存储 SQL 关系型数据库
MySQL高级篇——索引失效的11种情况
索引优化思路、要尽量满足全值匹配、最佳左前缀法则、主键插入顺序尽量自增、计算、函数导致索引失效、类型转换(手动或自动)导致索引失效、范围条件右边的列索引失效、不等于符号导致索引失效、is not null、not like无法使用索引、左模糊查询导致索引失效、“OR”前后存在非索引列,导致索引失效、不同字符集导致索引失败,建议utf8mb4
MySQL高级篇——索引失效的11种情况
|
15天前
|
存储 关系型数据库 MySQL
MySQL基础:索引
MySQL中的索引是一种数据结构,能大幅提升数据库查询效率和减少I/O成本,类似于书的目录帮助快速定位内容。其优势包括提高检索效率和降低排序成本,但会占用空间并影响更新表的效率。鉴于查询远多于更新,索引仍被推荐使用。索引分为多种类型,如B+树和哈希索引,其中B+树因其较低的高度和稳定的查询开销成为常用选择。创建和删除索引需谨慎,以免影响性能。
40 4
MySQL基础:索引
|
19天前
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
115 4
|
6天前
|
存储 SQL 关系型数据库
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
MySQL调优主要分为三个步骤:监控报警、排查慢SQL、MySQL调优。 排查慢SQL:开启慢查询日志 、找出最慢的几条SQL、分析查询计划 。 MySQL调优: 基础优化:缓存优化、硬件优化、参数优化、定期清理垃圾、使用合适的存储引擎、读写分离、分库分表; 表设计优化:数据类型优化、冷热数据分表等。 索引优化:考虑索引失效的11个场景、遵循索引设计原则、连接查询优化、排序优化、深分页查询优化、覆盖索引、索引下推、用普通索引等。 SQL优化。
【MySQL调优】如何进行MySQL调优?从参数、数据建模、索引、SQL语句等方向,三万字详细解读MySQL的性能优化方案(2024版)
|
6天前
|
存储 缓存 关系型数据库
MySQL高级篇——存储引擎和索引
MyISAM:不支持外键和事务,表锁不适合高并发,只缓存索引,内存要求低,查询快MyISAM提供了大量的特性,包括全文索引、压缩、空间函数(GIS)等,但MyISAM不支持事务、行级锁、外键,有一个毫无疑问的缺陷就是崩溃后无法安全恢复。5.5之前默认的存储引擎优势是访问的速度快,对事务完整性没有要求或者以SELECT、INSERT为主的应用针对数据统计有额外的常数存储。故而 count(*) 的查询效率很高表名.frm 存储表结构;表名.MYD 存储数据 (MYData);
MySQL高级篇——存储引擎和索引
|
6天前
|
存储 关系型数据库 MySQL
MySQL高级篇——覆盖索引、前缀索引、索引下推、SQL优化、主键设计
覆盖索引、前缀索引、索引下推、SQL优化、EXISTS 和 IN 的区分、建议COUNT(*)或COUNT(1)、建议SELECT(字段)而不是SELECT(*)、LIMIT 1 对优化的影响、多使用COMMIT、主键设计、自增主键的缺点、淘宝订单号的主键设计、MySQL 8.0改造UUID为有序
MySQL高级篇——覆盖索引、前缀索引、索引下推、SQL优化、主键设计
|
20天前
|
SQL 关系型数据库 MySQL
SQL Server、MySQL、PostgreSQL:主流数据库SQL语法异同比较——深入探讨数据类型、分页查询、表创建与数据插入、函数和索引等关键语法差异,为跨数据库开发提供实用指导
【8月更文挑战第31天】SQL Server、MySQL和PostgreSQL是当今最流行的关系型数据库管理系统,均使用SQL作为查询语言,但在语法和功能实现上存在差异。本文将比较它们在数据类型、分页查询、创建和插入数据以及函数和索引等方面的异同,帮助开发者更好地理解和使用这些数据库。尽管它们共用SQL语言,但每个系统都有独特的语法规则,了解这些差异有助于提升开发效率和项目成功率。
88 0
|
3天前
|
NoSQL 关系型数据库 MySQL
微服务架构下的数据库选择:MySQL、PostgreSQL 还是 NoSQL?
在微服务架构中,数据库的选择至关重要。不同类型的数据库适用于不同的需求和场景。在本文章中,我们将深入探讨传统的关系型数据库(如 MySQL 和 PostgreSQL)与现代 NoSQL 数据库的优劣势,并分析在微服务架构下的最佳实践。
|
5天前
|
存储 SQL 关系型数据库
使用MySQL Workbench进行数据库备份
【9月更文挑战第13天】以下是使用MySQL Workbench进行数据库备份的步骤:启动软件后,通过“Database”菜单中的“管理连接”选项配置并选择要备份的数据库。随后,选择“数据导出”,确认导出的数据库及格式(推荐SQL格式),设置存储路径,点击“开始导出”。完成后,可在指定路径找到备份文件,建议定期备份并存储于安全位置。
65 11

热门文章

最新文章