MySQL的前缀索引及Oracle的类似实现

简介:

MySQL有一个很有意思的索引类型,叫做前缀索引,它可以给某个文本字段的前面部分单独做索引,从而降低索引的大小。

其实,Oracle也有类似的实现,对于文本,它可以通过substr的函数索引,实现同样甚至更多的功能。另外,经过探索,我们发现,原来数字和时间字段,在Oracle也可以实现类似的功能。

MySQL的前缀索引

MySQL的前缀索引指的是对指定的栏位的前面几位建立的索引。

Altertable Table_Name add key(column_name(prefix_len));

或者

Createindex index_name on Table_Name(column_name(prefix_len));

建立前缀索引后,可以直接当做普通索引进行过滤。

Select ..from table_name where column_name=’…’;

前缀索引的最大的好处是降低索引的大小。另外,由于InnoDB单列索引长度不能超过767bytes,如果是text或者blob字段,直接建立索引可能会报错,而前缀索引可以绕过这一限制。

做个测试看一下。

delimiter;;

dropFUNCTION if exists random_str;;

CREATEFUNCTION random_str(n int) RETURNS varchar(30000)  

begin         

declarereturn_str varchar(30000) default "";         

declare iint default 0; 

whilelength(return_str) < n do         

setreturn_str=concat(return_str,md5(rand())); 

endwhile;         

returnsubstring(return_str,1,n);     

end;;

首先,创建一个生成超过1000长度的随机字符串的函数。

创建测试表

CREATETABLE TEST_PREFIX_IND (

       ID INT(10) PRIMARY KEY AUTO_INCREMENT,

       NORMAL_STR VARCHAR(20) ,

       LONG_STR VARCHAR(1000),

       TEXT_STR TEXT,

       BLOB_STR BLOB

 );

插入10000行记录:

drop  procedure if exists init_test_prefix_ind;;

createprocedure init_test_prefix_ind(n int)

begin         

declare iint default 0; 

while i< n do         

insertinto test_prefix_ind(NORMAL_STR,long_str,  TEXT_STR,BLOB_STR)

values(random_str(20),random_str(rand()*1000+1),random_str(rand()*1000+1),random_str(rand()*300+1));

seti=i+1;

endwhile;         

end;;

callinit_test_prefix_ind(10000);;

尝试在类型为varchar(1000)的LONG_STR创建索引

altertable test_prefix_ind add key(LONG_STR);;

成功了,但是Sub_part显示为767,表示系统自动创建了前缀长度为767的前缀索引;

5191bc643f543324db32581afa0b5567c14a0af5

看看大小: 8992k

0f50d03db66feb32ceba80cc478dc16b929ba800

尝试在TEXT和BLOB的栏位上直接创建索引

mysql> alter table test_prefix_ind add key(text_str);

ERROR 1170 (42000): BLOB/TEXT column 'text_str' used in key specification without a key length

mysql> alter table test_prefix_ind add key(blob_str);;

ERROR 1170 (42000): BLOB/TEXT column 'blob_str' used in key specification without a key length

在TEXT和BLOB栏位上建立索引,必须指定前缀长度。

alter table test_prefix_ind add key(text_str(30));;

看看大小,528k(9520-8992), 远远小于LONG_STR的8992k.

5ddc3d1e1f9a779ce3b6d496c578e7de0f0e834c

alter table test_prefix_ind add key(blob_str(30));;

看看大小,544k(10064-9520)。

fcb60da8d86f7de9acf48cb7aea0e81783870396

看看几个表的前缀长度和大小。前缀长度显著降低了索引的大小。

8f8aa9edd198219e42db5c3422aa35a521162984

看看查询是否能正常进行:

184ad0e01ec08b4d86b625dbb72d3ded00ff757f

可以使用上索引。

前缀索引长度的选择

对于一个可能挺长的栏位,怎么判断合适的前缀索引呢?

简单做法:

Select count(distinct substr(long_str,1,5))/count(*) from test_prefix_ind;

炫一点的写法,通过一些小技巧,可以在同一个SQL里遍历多个值,同时查看多个值的选择度。

select R,count(distinct substr(long_str,1,R))/count(*)

from

(SELECT @rownum:=ceil(@rownum*1.4) AS  R

 FROM (SELECT @rownum:=1) r,test_prefix_ind limit 1,10

 ) R,test_prefix_ind T

 group by R;;

44c529cbd56f92d6c97b0c8d6dd96e5e40bebe80

对于这个表,由于数据是随机的,所以,前5位已经足够好。

我们创建一个前缀长度为5的前缀索引。

alter table test_prefix_ind add key(long_str(5));

看看大小,仅仅258k(10320-10064),远低于最早创建的8992k

c01f71dce86a9a91bc5012451a9bd28a3ec5eeff

测试一下性能,有前缀索引时:

29050a558b3023b0abf0d3671b024b29c4f03fab

删除索引后,性能差距很明显:

f4298e7bd2799bde6c8d725f4ec2a3421ec3df1b

Oracle的类似实现

从前面的做法中,我们可以发现,前缀索引本质上就是把栏位的前N位作为索引,这个看起来,很像Oracle的函数索引。类似于:

Create index index_name on table_name(substr(column_name,1,<length>) );

对于Oracle的函数索引,我们一个比较深的印象就是,where条件必须和函数索引里的表达式一致,才能利用上函数索引。但既然MySQL可以用前缀索引,作为老前辈的Oracle, 似乎应该也能实现才对。

我们来看看,在Oracle里面,是否能够实现同样的功能。

创建表格:

Create table test_substr as

select object_id,object_name||dbms_random.string('x',dbms_random.value(1,1000) as object_name,created from all_objects ,

(select * from dual connect by level < 100)

where rownum < 10000;

创建substr的函数索引:

Create index test_substr_inx on test_substr(substr(object_name,1,5));

看看执行计划:

ca4af3e20da82cfff9b8e2b6593a4f8d46f3d0f9

神奇的事情发生了,的确走了索引,Oracle也支持前缀索引~~

我们可以看到,找谓词中,增加了一个原来语句中没有的东西:

47274310272193667855e7f110a459966db76a10

换成绑定变量看看:

2c512d1487ca7cc095183cc81d4eea9304fe4f4c

可以看到,谓词中变成了:

083c2b39807b12230ec028a5e27b5d1e243c4a46

为什么多了这个东西?因为,从逻辑上来说:

select * from test_substr where object_name=:a;

select * from test_substr where object_name=:a and substr(object_name,1,5)=substr(:a,1,5);

是百分百等价的。Oracle相当于自动做了语义上的优化。

有兴趣的,可以做个10053。Oracle内部实际进行执行计划解析的,就是这样一个SQL。

SELECT * FROM TEST_SUBSTR WHERE OBJECT_NAME=:A AND SUBSTR(OBJECT_NAME,1,5)=SUBSTR(:A,1,5);

看看如果创建普通索引,空间占用是多少。

Create index test_substr_inx2 on test_substr(object_name);

311f2ed90b53239ddf124fde6e2b66115a3cee87

大小分别是7M256K.

但Oracle仅止于此吗?我们在来试试看另一个SQL, 这次,我们在条件上也使用substr,但是长度不为5。

603b53cb0ab37247950ea7a2cb6ba586e00dfaa7

果然还是可以的。因为逻辑上来说

select * from test_substr

 where substr(object_name,1,<N>)=:a;

在N>=5的时候,

select * from test_substr

where substr(object_name,1,<N>)=:a and substr(object_name,1,5)=substr(:a,1,5);

还是等价的。所以优化器还是可以继续加一个谓词。

当然,如果把WHERE条件中substr换成小于5的值,就不再能用得上索引。因为无法直接换为等价的、又带有substr(object_name,1,5)的语句。

Oracle时间、数字上的前缀索引

仅仅就这样吗?除了字符类型之外,数字类型和时间类型是否也支持?

我们再看看。

在刚才的表的基础上,创建时间类型上的trunc函数索引。

Create index test_trunc_date_inx on test_substr(trunc(created));

看看执行计划:

e963270c93485619c4283d22099d9730a28898ed

没问题,还是可以的。

创建数字类型上的trunc函数索引:

create index test_trunc_number on TEST_SUBSTR(trunc(object_id));

b204c297a755c992c92d60974e163c3bdf90fee4

实际上,问题的关键在于等价与优化器的内部改写。

我们最后再看另一个例子。

建另一个表,相当栏位长度最长为5。

create table test_scale (object_name varchar2(5));

insert into test_scale select substr(object_name,1,5) from all_objects;

create index test_scale_str_inx in test_scale(object_name);

来看看这个语句的执行效果

select * from  test_scale where object_name = 'DBA_TABLES';

655236aad640716e53139f62c12fbb67dd2e21cd

神奇的事情再次发生,autotrace中db block gets/consistent gets都为0,这代表数据库根本就没去访问表。

原因很简单,‘DBA_TABLES’这个值长度大于5, 超出了表定义中的varchar2(5)了。object_name = ‘DBA_TABLES’就等价于恒否的条件了。这个,在10053里也找不到,但的确存在。


原文发布时间为:2018-01-10
本文作者:罗海雄 
本文来自云栖社区合作伙伴“数据和云”,了解相关信息可以关注“ 数据和云 ”微信公众号
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
网络协议 前端开发 Java
SpringBoot 整合 WebSocket
WebSocket是基于TCP协议的一种网络协议,它实现了浏览器与服务器全双工通信,支持客户端和服务端之间相互发送信息。在有WebSocket之前,如果服务端数据发生了改变,客户端想知道的话,只能采用定时轮询的方式去服务端获取,这种方式很大程度上增大了服务器端的压力,有了WebSocket之后,如果服务端数据发生改变,可以立即通知客户端,客户端就不用轮询去换取,降低了服务器的压力。目前主流的浏览器都已经支持WebSocket协议了。
SpringBoot 整合 WebSocket
|
5月前
|
消息中间件 负载均衡 中间件
⚡ 构建真正的高性能即时通讯服务:基于 Netty 集群的架构设计与实现
本文介绍了如何基于 Netty 构建分布式即时通讯集群。随着用户量增长,单体架构面临性能瓶颈,文章对比了三种集群方案:Nginx 负载均衡、注册中心服务发现与基于 ZooKeeper 的消息路由架构。最终选择第三种方案,通过 ZooKeeper 实现服务注册发现与消息路由,并结合 RabbitMQ 支持跨服务器消息广播。文中还详细讲解了 ZooKeeper 搭建、Netty 集群改造、动态端口分配、服务注册、负载均衡及消息广播的实现,构建了一个高可用、可水平扩展的即时通讯系统。
603 0
|
存储 人工智能 搜索推荐
详解MySQL字符集和Collation
MySQL支持了很多Charset与Collation,并且允许用户在连接、Server、库、表、列、字面量多个层次上进行精细化配置,这有时会让用户眼花缭乱。本文对相关概念、语法、系统变量、影响范围都进行了详细介绍,并且列举了有可能让字符串发生字符集转换的情况,以及来自不同字符集的字符串进行比较等操作时遵循的规则。对于最常用的基于Unicode的字符集,本文介绍了Unicode标准与MySQL中各个字符集的关系,尤其详细介绍了当前版本(8.0.34)默认字符集utf8mb4。
|
缓存 监控 前端开发
WEB前端三大主流框架:React、Vue与Angular
在Web前端开发中,React、Vue和Angular被誉为三大主流框架。它们各自具有独特的特点和优势,为开发者提供了丰富的工具和抽象,使得构建复杂的Web应用变得更加容易。
3548 6
|
消息中间件 Java 中间件
第十六章 Spring cloud stream应用
第十六章 Spring cloud stream应用
427 0
|
前端开发 JavaScript 安全
Web前端开发中的三大主流框架
Web前端开发中的三大主流框架
|
网络协议 JavaScript Java
|
Java
SpringBoot:第七篇 websocket(消息推送)
SpringBoot:第七篇 websocket(消息推送)
288 0
|
前端开发 JavaScript Java
springboot websocket通信
springboot websocket通信
1242 1
|
SQL 关系型数据库 MySQL
MySQL FEDERATED引擎介绍
前言: 在实际工作中,我们可能会遇到需要操作其他数据库实例的部分表,但又不想系统连接多库。此时我们就需要用到数据表映射。如同Oracle中的DBlink一般,使用过Oracle DBlink数据库链接的人都知道可以跨实例来进行数据查询,同样的,Mysql自带的FEDERATED引擎完美的帮我们解决了该问题。
3103 0