【DB吐槽大会】第35期 - “富人”的烦恼?PG 不会自动选择索引类型

简介: 大家好,这里是DB吐槽大会,第35期 - “富人”的烦恼?PG 不会自动选择索引类型

背景


1、产品的问题点

  • PG 不会自动选择索引类型

2、问题点背后涉及的技术原理

  • PG 支持很多种类的索引, hash, btree, gin, gist, sp-gist, brin, bloom, 还有外置的rum, pase, zombodb等.
  • 每种索引的存储结构都不一样, 可以加速的场景也不一样
  • 《PostgreSQL 9种索引的原理和应用场景》
  • btree,适合任意单值类型,可用于=, >, <, >=, <=以及排序。
  • hash,当字段超过单个索引页的1/4时,不适合b-tree索引。如果业务只有=的查询需求,使用hash index效率更高.
  • gin,倒排存储,(column value: row IDs tree|list)。适合多值列,也适合单值列。例如数组、全文检索、JSON、HSTORE等类型。
  • gist,适合数据有交错的场景,例如 全文检索、range类型、空间类型(点、线、面、多维对象... ...)。
  • sp-gist,空间分区索引类型,适合不平衡数据集(例如xxxyyyzzz??????组成的VALUE,xxx, yyy, zzz,每个值包含一些数据集,每个数据集的数据量不平衡可能导致TREE不平衡)。
  • brin,块级索引,记录每个或每连续N个数据块的数据边界。
  • bloom,支持被索引字段的任意组合的等值搜索。
  • rum,支持全文检索类型,支持单值列+全文检索列,支持近似文本搜索。
  • zombodb,PG与ES搜索引擎结合的一种索引,在PG数据库中透明使用ES。
  • bitmap,支持1000~10000个唯一值的列。适合多个值的 与或 条件搜索。

3、这个问题将影响哪些行业以及业务场景

  • 通用, 但是这是富人的烦恼, 别的库没这么多索引种类

4、会导致什么问题?

  • 一般用户不懂那么多, 通常只使用默认的btree, 使得无法达到最优化的数据库使用, 浪费资源

5、业务上应该如何避免这个坑

  • 自己掌握这些索引的原理, 根据实际的业务需要进行选择.

6、业务上避免这个坑牺牲了什么, 会引入什么新的问题

  • 学习门槛

7、数据库未来产品迭代如何修复这个坑



相关文章
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课15 集成DeepSeek等大模型
本文介绍了如何在PolarDB数据库中接入私有化大模型服务,以实现多种应用场景。实验环境依赖于Docker容器中的loop设备模拟共享存储,具体搭建方法可参考相关系列文章。文中详细描述了部署ollama服务、编译并安装http和openai插件的过程,并通过示例展示了如何使用这些插件调用大模型API进行文本分析和情感分类等任务。此外,还探讨了如何设计表结构及触发器函数自动处理客户反馈数据,以及生成满足需求的SQL查询语句。最后对比了不同模型的回答效果,展示了deepseek-r1模型的优势。
1066 3
|
存储 关系型数据库 分布式数据库
PolarDB开源数据库进阶课13 单机版转换为集群版
本文介绍如何将“本地存储实例”转换为“共享存储实例”,依赖于先前搭建的实验环境。主要步骤包括:准备PFS二进制文件、格式化共享盘为pfs文件系统、启动pfsd服务、停库并拷贝数据到pfs内、修改配置文件,最后启动实例。通过这些操作,成功实现了从本地存储到共享存储的转换,并验证了新实例的功能。相关系列文章和视频链接提供了更多背景信息和技术细节。
447 0
|
9月前
|
人工智能 IDE 开发工具
AI编程之手把手教你安装Qoder
Qoder是一款基于VSCode开发的AI编程工具,安装简单,界面熟悉。注册账号后下载对应系统版本,按提示完成安装即可。适合开发者快速上手,配合教程视频更易掌握。
6620 0
|
存储 人工智能 搜索推荐
Tablestore OpenMemory MCP : 跨会话、跨模型的智能记忆解决方案
本文介绍了Mem0的原理与应用场景,并基于Mem0构建了Tablestore OpenMemory MCP服务,实现个性化旅行规划助理。Mem0是一种为大型语言模型设计的智能记忆层,通过向量数据库持续学习用户交互信息,实现跨会话的个性化记忆管理。该服务提供多种MCP工具,便于集成到各类AI应用中。最后演示了个性化旅行规划应用,并介绍了服务的运行与配置方式。
1563 0
|
存储 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 1 架构解读
PolarDB 是阿里云研发的云原生分布式数据库,基于 PostgreSQL 开源版本,旨在解决传统数据库在大规模数据和高并发场景下的性能和扩展性问题。其主要特点包括: 1. **存储计算分离架构**:通过将计算与存储分离,实现极致弹性、共享一份数据以降低成本、透明读写分离。 2. **HTAP 架构**:支持混合事务处理和分析处理(HTAP),能够在同一系统中高效执行 OLTP 和 OLAP 查询。 3. **优化的日志复制机制**:采用只复制元数据的方式减少网络传输量,优化页面回放和 DDL 锁回放过程。 4. **并行查询与索引创建**:引入 MPP 分布式执行引擎。
761 8
|
关系型数据库 分布式数据库 PolarDB
PolarDB开源数据库进阶课9 读写分离
本文介绍了如何配置读写分离工具pgpool-II for PolarDB,使应用程序能够透明地实现读写分离。
582 1
|
存储 关系型数据库 分布式数据库
PolarDB 开源基础教程系列 8 数据库生态
PolarDB是一款开源的云原生分布式数据库,源自阿里云商业产品。为降低使用门槛,PolarDB携手伙伴打造了完整的开源生态,涵盖操作系统、芯片、存储、集成管控、监控、审计、开发者工具、数据同步、超融合计算、ISV软件、开源插件、人才培养、社区合作及大型用户合作等领域。通过这些合作伙伴,PolarDB提供了丰富的功能和服务,支持多种硬件和软件环境,满足不同用户的需求。更多信息请访问[PolarDB开源官方网站](https://openpolardb.com/home)。
816 4
|
Java 关系型数据库 MySQL
mysql5.7 jdbc驱动
遵循上述步骤,即可在Java项目中高效地集成MySQL 5.7 JDBC驱动,实现数据库的访问与管理。
3240 1
|
负载均衡 关系型数据库 PostgreSQL
【一文搞懂PGSQL】6. PostgreSQL + pgpool-II 实现读写分离
本文介绍了如何使用 PostgreSQL 和 pgpool-II 实现读写分离。pgpool-II 支持连接池、负载均衡等功能,适用于多种模式。文中详细描述了安装、配置及启动过程,并提供了示例命令,帮助读者快速搭建并验证读写分离环境。通过配置 `pgpool.conf` 文件指定监听地址、端口及节点信息等参数,确保系统的高效运行与故障转移。