PostgreSQL 分区表、继承表 记录去重方法

简介: 标签PostgreSQL , 分区表 , 继承表 , 去重 , only背景当使用数据库分区或继承功能,在PK层面上出现分区与分区,或分区与主表出现了重复的键值时,可以通过tableoid进行甄别,同时通过ONLY TABLE的操作方法进行删除。

标签

PostgreSQL , 分区表 , 继承表 , 去重 , only


背景

当使用数据库分区或继承功能,在PK层面上出现分区与分区,或分区与主表出现了重复的键值时,可以通过tableoid进行甄别,同时通过ONLY TABLE的操作方法进行删除。

select tableoid::regclass  
  
delete|select|update|truncate only  

例子

创建测试表、继承分区,PK约束在独立的分区或主表上

postgres=# create table p (id int primary key, info text, crt_time timestamp);  
CREATE TABLE  
postgres=# create table p0 (like p including all) inherits(p);  
NOTICE:  merging column "id" with inherited definition  
NOTICE:  merging column "info" with inherited definition  
NOTICE:  merging column "crt_time" with inherited definition  
CREATE TABLE  
postgres=# create table p1 (like p including all) inherits(p);  
NOTICE:  merging column "id" with inherited definition  
NOTICE:  merging column "info" with inherited definition  
NOTICE:  merging column "crt_time" with inherited definition  
CREATE TABLE  
postgres=# create table p2 (like p including all) inherits(p);  
NOTICE:  merging column "id" with inherited definition  
NOTICE:  merging column "info" with inherited definition  
NOTICE:  merging column "crt_time" with inherited definition  
CREATE TABLE  
postgres=# create table p3 (like p including all) inherits(p);  
NOTICE:  merging column "id" with inherited definition  
NOTICE:  merging column "info" with inherited definition  
NOTICE:  merging column "crt_time" with inherited definition  
CREATE TABLE  

往不同的分区写入PK重复的数据

postgres=# insert into p values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p0 values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p1 values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p2 values (1,'test',now());  
INSERT 0 1  

查询,你可能会不知道记录属于哪个表

postgres=# select * from p;  
 id | info |          crt_time            
----+------+----------------------------  
  1 | test | 2018-10-22 09:26:55.456769  
  1 | test | 2018-10-22 09:26:58.441338  
  1 | test | 2018-10-22 09:27:01.149731  
  1 | test | 2018-10-22 09:27:03.389089  
(4 rows)  

通过tableoid进行甄别

postgres=# select tableoid::regclass,* from p;  
 tableoid | id | info |          crt_time            
----------+----+------+----------------------------  
 p        |  1 | test | 2018-10-22 09:26:55.456769  
 p0       |  1 | test | 2018-10-22 09:26:58.441338  
 p1       |  1 | test | 2018-10-22 09:27:01.149731  
 p2       |  1 | test | 2018-10-22 09:27:03.389089  
(4 rows)  

直接指定PK删除主表时,会将所有记录删除。

postgres=# delete from p where id=1;  
DELETE 4  
postgres=# select tableoid::regclass,* from p;  
 tableoid | id | info | crt_time   
----------+----+------+----------  
(0 rows)  

delete|select|update|truncate only 清除指定分区的数据

https://www.postgresql.org/docs/11/static/sql-delete.html

通过only关键字,可以指定只操作当前表,不包括继承或子继承的表.

postgres=# insert into p values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p0 values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p1 values (1,'test',now());  
INSERT 0 1  
postgres=# insert into p2 values (1,'test',now());  
INSERT 0 1  
postgres=# delete from only p where id=1;  
DELETE 1  
postgres=# select tableoid::regclass,* from p;  
 tableoid | id | info |          crt_time            
----------+----+------+----------------------------  
 p0       |  1 | test | 2018-10-22 09:27:47.510151  
 p1       |  1 | test | 2018-10-22 09:27:49.366293  
 p2       |  1 | test | 2018-10-22 09:27:51.255673  
(3 rows)  
  
postgres=# delete from only p2 where id=1;  
DELETE 1  
postgres=# select tableoid::regclass,* from p;  
 tableoid | id | info |          crt_time            
----------+----+------+----------------------------  
 p0       |  1 | test | 2018-10-22 09:27:47.510151  
 p1       |  1 | test | 2018-10-22 09:27:49.366293  
(2 rows)  

如果是单张表内的数据去重,请参考末尾连接。

参考

《PostgreSQL 数据去重方法大全》

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍如何基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
目录
相关文章
|
6月前
|
存储 关系型数据库 测试技术
拯救海量数据:PostgreSQL分区表性能优化实战手册(附压测对比)
本文深入解析PostgreSQL分区表的核心原理与优化策略,涵盖性能痛点、实战案例及压测对比。首先阐述分区表作为继承表+路由规则的逻辑封装,分析分区裁剪失效、全局索引膨胀和VACUUM堆积三大性能杀手,并通过电商订单表崩溃事件说明旧分区维护的重要性。接着提出四维设计法优化分区策略,包括时间范围分区黄金法则与自动化维护体系。同时对比局部索引与全局索引性能,展示后者在特定场景下的优势。进一步探讨并行查询优化、冷热数据分层存储及故障复盘,解决分区锁竞争问题。
807 2
|
9月前
|
关系型数据库 测试技术 Linux
PostgreSQL配置文件修改及启用方法
总的来说,修改和启用PostgreSQL的配置文件是一个直接而简单的过程。只需要找到配置文件,修改你想要改变的选项,然后重启服务器即可。但是,你需要注意的是,不正确的配置可能会导致服务器性能下降,甚至导致服务器无法启动。因此,在修改配置文件之前,你应该充分理解每个选项的含义和影响,如果可能的话,你应该在测试环境中先进行试验。
724 72
|
SQL 监控 关系型数据库
PostgreSQL普通表转换成分区表
如何使用pg_rewrite扩展将普遍表转换成分区表
|
SQL 关系型数据库 Linux
在CentOS 6上安装和使用PostgreSQL的方法
在CentOS 6上安装和使用PostgreSQL的方法
286 2
|
Ubuntu 关系型数据库 数据库
在Ubuntu 18.04上安装和使用PostgreSQL的方法
在Ubuntu 18.04上安装和使用PostgreSQL的方法
332 1
|
Ubuntu 关系型数据库 Linux
在Ubuntu 14.04上安装和使用PostgreSQL的方法
在Ubuntu 14.04上安装和使用PostgreSQL的方法
208 1
|
关系型数据库 Linux 数据库
在CentOS 7上安装和使用PostgreSQL的方法
在CentOS 7上安装和使用PostgreSQL的方法
1962 0
|
关系型数据库 数据库 PostgreSQL
|
SQL 关系型数据库 MySQL
postgresql |数据库 |数据库的常用备份和恢复方法总结
postgresql |数据库 |数据库的常用备份和恢复方法总结
500 0
|
关系型数据库 分布式数据库 数据库
沉浸式学习PostgreSQL|PolarDB 1: 短视频推荐去重、UV统计分析场景
本实验场景:短视频推荐去重、UV统计分析场景. 欢迎一起来建设数据库沉浸式学习教学素材库, 帮助开发者用好数据库, 提升开发者竞争力, 为企业降本提效. 本文的实验可以使用永久免费的云起实验室来完成. https://developer.aliyun.com/adc/scenario/exp/f55dbfac77c0467a9d3cd95ff6697a31 如果你本地有docker环境也可以把镜像拉到本地来做实验.
636 0

相关产品

  • 云原生数据库 PolarDB
  • 推荐镜像

    更多