【学习视频】第5期2019-PG天天象上沙龙纪录 - 适合DBA

本文涉及的产品
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
云原生数据库 PolarDB MySQL 版,通用型 2核8GB 50GB
简介: 大家好,这里是阿里巴巴 PostgreSQL、社区生态;PG开发者指南、原理、案例、管理优化实践《学习资料、视频》;《PG天天象上》沙龙纪录 - 珍藏级

背景


PG是一个纯社区化的企业级开源数据库,没有任何一个国家和公司控制PG。开源许可非常友好,在遵循许可(COPY 2段话)的情况下可以任意使用和分发。功能、稳定性、性能和ORACLE对齐,是去O的首选数据库。

其他大多数的开源数据库背后都有商业公司控制,开源许可通常不是特别友好,使用不当可能踩坑。

《PostgreSQL 社区分析 - 为什么PostgreSQL社区几乎不可能被任何一个商业公司、国家所控制?》

1、PG天天象上沙龙回顾,视频。

天天象上活动,每个月一场,全国巡回。旨在建立各地企业生态圈子,建立各地企业与PG数据库社区的联系,切实的帮助企业解决技术、商业、生态层面的问题。

xx摩擦、ZxE事件、以及近期某银行收到Oracle6亿罚单等等的热点事件,引发了企业对核心技术安全合规、自主可控的深度思考。对于数据库来说,安全合规、自主可控,成本等也已经成为绝大多数企业迫在眉睫要解决的问题。

什么数据库最适合替代Oracle,同时在技术架构上领先于传统数据库,并且可以支持企业的蓬勃发展?除了需要考虑Oracle兼容性、企业特性(可靠、可用、安全、可扩展、性能、稳定、功能)还需要考虑产品的开源许可,多模特性,混合场景能力等等。

PostgreSQL作为最先进的企业级开源数据库(BSD like开源许可,自用和分发都不需要担心法律风险,不需要担心PG被收购,不用担心PG被一家独大的公司控制。),覆盖OLTP,OLAP,NoSQL,搜索,时空,流,图,图像等应用场景。应用场景丰富,并且在稳定性、性能、可用性、可靠性、容灾、安全性、扩展性等方面不亚于商用数据库Oracle,被业界称为“开源界的Oracle”。在企业数据库自主可控、安全合规、成本几个方面,PG毫无疑问的成为了企业的最佳选择。

为帮助企业掌握去O能力。阿里云数据库团队、PG社区、云栖社区、云栖技术日、阿里云技术创新中心共同推出《PG天天象上》活动,涵盖《PostgreSQL 应用案例、原理、最佳实践》、《PPAS + ADAM Oracle 迁移上云》、《企业数据库安全、自主可控》、《各行业的TOP软件开发商分享》、《数据库服务提供商、集成商的分享》、《企业圆桌深入研讨》等系列主题。

2018年9月开始,《PG天天象上》活动陆续在“杭州,北京,郑州、广州、深圳、上海、南京、合肥、长沙、成都、温州、武汉”等多地开展,活动在线上与线下覆盖人数已达数万人次,出席活动的参会者汇聚了银行,证券,互联网,人工智能,高校,医疗,新制造,电商,游戏,政府,电力,物流等行业的开发者,DBA,架构师,CTO,CIO。

欢迎就近选择参加。

2、(阿里巴巴 PostgreSQL、社区生态;PG开发者指南、原理、案例、管理优化实践《学习资料、视频》)。

《PostgreSQL 2~3 天培训PDF和视频》

一、PG天天象上

1 PG天天象上活动内容简介

1、PostgreSQL 社区工作汇报。

2、阿里云ADAM+PPAS(POLARDB for Oracle)的企业去O实践

3、PostgreSQL 数据库架构、原理(物理架构、进程结构、逻辑架构、流复制架构、HA架构、多副本架构;权限体系、存储引擎原理、索引结构等)。

4、PostgreSQL 理论基础,管理、开发实践,优化方法,PG学习参考资料

5、PostgreSQL在OLTP|OLAP、空间数据管理、图式搜索、全文检索、文本搜索、特征搜索、时序应用、流式数据处理、用户画像分析等场景的应用案例。

案例横跨 物联网、电商、生物科技、游戏、传统企业、CRM、ERP、ZF、GA、物流、音视频、BI、社交、金融、证券、手机、天文等行业。

6、PostgreSQL 大型行业TOP企业用户分享

7、PostgreSQL 行业软件开发商、服务提供商、中间件厂商用户分享

8、企业深入圆桌研讨会议,企业数据库辩论赛

涉及内容较多,案例涉及到详细的架构设计、代码、原理等内容,请参阅本视频提供的PDF内的URL链接。

2 PG 天天象上 往期讲师介绍

digoal @ 阿里云

中国开源软件推进联盟PostgreSQL分会,特聘资深领域专家。

PostgreSQL 中国社区发起人之一、常委、兼任社区大学校长。

中国信息通信研究院主办、中国通信标准化协会支持的"OSCAR云计算开源产业大会"评选:2018届OSCAR开源尖峰人物之一

阿里云数据库首席专家团队成员,提供数据库首席专家服务

30项数据库专利。(截至2018-01)

致力于PostgreSQL数据库在中国的技术落地与推广、人才培养。

About digoal

唐修 @ 阿里云

凌策 @ 阿里云

高铭杰 @ 阿里云

图贲 @ 阿里云

赵振平 @ PG社区 主席

唐成 @ PG社区 副主席

周飞 @ HELLOBIKE

赵志强 @ 天数智芯

陈河堆 @ 中兴

陈华军 @ 苏宁

董红禹 @ 乘数科技

张勤建 @ 云贝

梅白帆 @ 北京国网富达

杨栋 @ 神州飞象

3 PG天天象上活动往期回顾

1 20180121期天天象上(杭州-娃哈哈赞助)

报名人数:80

重要议题:阿里云PG产品线生态介绍,PG案例,PG的原理、应用场景、优化、管理等内容等。

企业辩论赛回顾:

1、用户的某个业务系统,开放了公网以及0.0.0.0的链路权限,在运行一段时间后,发现数据库的几个进程CPU 100%,如何排查这种问题?

找到造成CPU 100%的进程号,以及对应的父进程,发现父进程为数据库postmaster进程,所以断定是PG发起的进程。

排查pg_stat_activity没有发现对应会话,开启连接审计,排查pg_log的日志,找到了诡异的连接记录,同时发现数据库被创建了几个非业务用户,同时通过大对象植入了C代码到PG实例中,创建了一些异常函数(死循环,一直耗费CPU)。

显然数据库可能被黑。

《Hacking PostgreSQL》

升级PG版本解决,同时建议pg_hba.conf(数据库ACL配置)不要开放0.0.0.0即使需要开放0.0.0.0也不要开放所有用户,建议限定普通用户通过远程连接。

2、用户使用MYSQL时,发现跑group by,即使数据量只有百万级别,也要跑很久很久。而换到PG后,即使数据表有千万甚至亿级别,也可以秒出结果。为什么?

PG支持更好的聚合方法,HASHAGG, GROUPAGG,同时支持更好的并行计算能力,使得PG在处理大量数据的时候,比MYSQL占优很多,与ORACLE并肩。

3、PG的SQL执行过程?

解析用户协议包

parser sql

判断是否为DML,DSL的请求,如果是则

rewrite query

generate path

generate plan

jit (可选)

execute plan

如果是绑定变量的请求:

bind parameter

execute prepared statement

4、如何查看SQL的执行计划。

对于历史SQL,使用auto_explain插件,记录超过指定执行时间的SQL的执行计划,通过查看LOG日志可以看到历史SQL的执行计划。

使用explain,可以查看当前SQL的执行计划。

5、如何在plpgsql存储过程或函数中创建函数。

使用execute 'SQL string'动态调用的方法,可以在函数中创建函数。

6、如何修改数据库ACL

通过数据库pg_hba.conf配置文件,配置数据库访问链路ACL。

7、postgresql.auto.conf与postgresql.conf的区别?

postgresql.auto.conf是数据库alter system动态修改数据库参数的配置文件,alter system配置的参数会写入postgresql.auto.conf,优先级高于postgresql.conf

扩展问题

为什么postgresql.auto.conf优先级高于?

因为先加载postgresql.conf后加载postgresql.auto.conf,后加载的覆盖了先加载的参数。

如何配置了多个重名的参数,哪个为准?

后加载的覆盖先加载的参数。

参数配置的地方,以及优先级:

《PostgreSQL 参数优先级讲解》

8、PostgreSQL如何防止绑定变量的执行计划倾斜。

数据库前5次执行计划都是custom plan,即每一次都要generate path,generate plan,并记录下custom plan的平均成本,以及customplan发生的次数。第五次后会生成generic plan,当有新的bind时,先使用generic plan计算新的bind 的cost,如果cost比custom plan的平均成本相差较大(代码内写死相差的比例),则会发起新的custom plan,并且统计到custom plan的平均COST和计数中。

如果成本相差不大,则继续使用generic plan.

通过以上方法防止倾斜。

《PostgreSQL 11 preview - 增加强制custom plan GUC开关(plancache_mode),对付倾斜》

《PostgreSQL plan cache 源码浅析 - 如何确保不会计划倾斜》

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
7月前
|
机器学习/深度学习 算法 数据挖掘
技术经验分享:DTW和DBA
技术经验分享:DTW和DBA
80 0
|
关系型数据库 MySQL 数据库
啥?阿里DBA团队总监把MySQL 性能调优 金字塔,写进了800页笔记?
MySQL之所以能成为现在最流行的开源数据库,这跟它的开放性、包容性是分不开的。它的入门门槛低到用一条命令就能把MySQL安装起来,你能在程序开发的入门资料中很容易就找到MySQL的配套使用教程,你可以不用付任何费用就能在自己的环境中部署起来对外承载业务。
|
存储 关系型数据库 数据库
从小白到专家 PostgreSQL技术大讲堂 - Part 5:PG数据库结构
从小白到专家 PostgreSQL技术大讲堂 - Part 5:PG数据库结构
364 0
从小白到专家 PostgreSQL技术大讲堂 - Part 5:PG数据库结构
|
Ubuntu 关系型数据库 Unix
从小白到专家 PG 技术大讲堂 - Part 1:PG 简介
从小白到专家 PG 技术大讲堂 - Part 1:PG 简介
351 2
|
存储 SQL 自然语言处理
【重新发现PG之美】 - 系列视频
大家好 ,这里是重新发现PG之美 - 系列视频
|
SQL 运维 数据库
最受DBA欢迎的250篇学习文档
最受DBA欢迎的250篇学习文档
|
存储 监控 Oracle
【DB吐槽大会】第29期 - PG 表空间容易达到文件系统天花板
大家好,这里是DB吐槽大会,第29期 - PG 表空间容易达到文件系统天花板
|
AliSQL 关系型数据库 MySQL
【直播结束,已更新回放】PG、MySQL到底哪个好?云栖说这次请来五位专家撕了一下
云栖说邀请到了Postgres李元佳、阿里云数据库高级技术专家德哥、阿里云数据库技术组高级专家彭立勋、阿里云数据库技术组资深专家丁奇,彻底放开谈谈Postgres、MySQL和AliSQL领域的问题。
40307 0
|
关系型数据库 MySQL 数据库
专访探探DBA张文升:PG在互联网应用中同样也跑的很欢畅
他是如何从一名路人变成一个使用者,并逐渐成为PG社区核心成员和志愿者的?对PG,张文升又有什么不一样的经验和看法?
11515 1
|
SQL 关系型数据库 Java
PgSQL · 应用案例 · PostgreSQL flashback(闪回) 功能实现与介绍
背景 闪回的需求往往是救命的需求,因为通常情况下数据库正常运行是不需要闪回的,往往是出现了误操作,被攻击,被注入后,数据库的数据被删除或恶意纂改并且纂改的事务已提交,也就是说纂改已经被持久化了。 这种情况下需要闪回来救命,回到被破坏前的状态。
3313 0