数据库大讲堂·第一期 云时代DBA会失业么?——《云时代的DBA职业规划&数据库上云新玩法》

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
简介: 本次分享邀请了阿里云数据库产品经理姜皓楠(昊楠)为大家介绍对云数据库时代DBA职业规划的个人见解,分享职业生涯中的重要决策点。并详细为大家解读传统DBA价值以及云数据库时代的DBA发展方向,讲解阿里云数据库现状以及数据库上云新玩法。

演讲嘉宾简介:姜皓楠(昊楠),阿里云数据库产品事业部 | 数据库产品经理。具有10年以上数据库从业经验,对于Oracle内存管理、性能调优有深入理解。先后负责过SQL Server、Redis、MongoDB等数据库产品经理职责。目前负责MongoDB与云数据库专属集群MyBase产品的规划及商业推广。

以下内容根据演讲视频以及PPT整理而成。点击观看回放
更多课程请进入数据库大讲堂”了解

本次分享主要围绕以下五个方面:

    一、个人职业生涯介绍
    二、数据库发展历史介绍
    三、DBA职业定位
    四、云数据库时代现状
    五、数据库上云新玩法——专属集群MyBase
一、个人职业生涯介绍

姜皓楠职业生涯前半段进行了单一产品线技术积累,后半段进行跨行业积累,该种职业经历的累加带来了很高的附加值。对自己的职业规划有清晰认识的同学可以考虑此方向,但是仁者见仁智者见智,仅作为参考建议,希望大家对职业规划有更清晰的认识。
image.png

1.单一产品线技术积累

姜皓楠2008年本科毕业之后在选择了数据库领域做Oracle软件开发,进行Oracle性能诊断工具研发。在公司影响下对Oracle进行了非常深入的学习,包括Oracle内核、内存管理、性能调优等。同时公司收集性能数据的技术要求对数据库的内存结构、工作原理等具有深刻的认识。此段经历为姜皓楠打下了非常好的技术基础。

2014年回国后在甲骨文(Oracle公司)中国原厂做Oracle GCS售后工程师。当时Oracle相关人员的市场价格大约1.5W~2W/月,但是MySQL价格约3W~4W/月。从产品层面看,Oracle比MySQL优秀数十数百倍,价值却与MySQL差距甚大。现在来看,产品的不足正需要人为解决,亦是DBA核心价值所在。在当时Oracle走下坡路,互联网新兴发展的情况下,MySQL工程师十分稀缺,自然薪酬更高。由此可见,在进行职业规划时,不仅要关注工作本身,还需要关注市场需求。

2017年开始转型做产品经理。2014年有过转型想法,但是Oracle早期不认可云市场,后来云转型并不很成功,直至今日Oracle在云市场仍然落后很多。Oracle无法在公共云上做产品规划,姜皓楠可选路径是RDS,商业性关系型数据库公共云可选的只有SQL Server,因此转型为SQL Server产品经理。当时利用一个月时间研读官网文档,对SQL Server的基本工作原理、工作方式做到了快速上手。

至此姜皓楠的前半段职业生涯是在单一产品线进行深入技术积累。姜皓楠认为,如果大家想走技术路线,打深打通单一产品线非常有优势,精通某一领域后,后期转型学习其他相关领域技术或产品时也可以快速上手。

2.行业积累

2018年姜皓楠转型为Redis产品经理。从RDS转型为Redis的跨度非常大,存在一些技术壁垒。所幸Redis相对而言比较简单,利用小半年时间对Redis进行了深入学习。

2019年转型MongoDB轻松了很多,尤其是MongoDB 4.0之后与RDS做市场暨合,有许多相似之处。2020年接手MyBase产品。

二、数据库发展历史介绍

该部分介绍数据库发展历史与祛湿茶,大家可以根据自身经历确定自己踩在哪个时间节点,对自身职业规划得到更清晰的认识。
image.png

1.商业关系型数据库

数据库起源于1960s。数据库的本质是解决数据提取、计算和存储的问题。计算机的本质是解决计算、存储以及计算和存储之间通信的问题。数据库和计算机的本质是重叠,而数据库对计算机的附加值是帮助业务快速进行的数据归档管理以及快速进行数据提取,亦是数据库的本源。

最早设计数据库时其目的就是简单解决数据的编排、存储、快速提取问题。在此背景下,1970s时IBM设计了System R系统(R即Relational,指代关系型数据库), 该系统即为关系型数据库的雏形。但是当时IBM并未认识其商业前景,未能将其快速商业化。后Oracle公司老板Larry Ellison基于System R系统设计了关系型数据库Oracle,并进行推广,最终抢占了数据库市场。

1990s 商业数据库市场格局基本确立。三巨头为Oracle、Microsoft SQL Server、DB2(System R),并且市场分层清晰。Oracle主打商业级、企业级数据库市场,Microsoft SQL Server主打中低端商业关系型数据库市场,DB2主打金融级线下市场。

2.NoSQL数据库

2000s互联网新兴,互联网泡沫破裂后,互联网行业、数据量爆炸式增长,大量数据催生了互联网数据库的发展。

传统的数据库市场是一款数据库解决大部分的业务场景,但是难以解决NoSQL问题。NoSQL不是某一个数据库,而是一类数据库的集合。NoSQL难以定义,不是关系型的,能解决互联网行业垂直领域的一些问题的数据库都可以归类为NoSQL。NoSQL产品系列主要基于Google的GFS、MR、BigTable三篇论文衍生而来,主要解决分布式存储、分布式计算、大数据等场景的问题。2020s另一个比较重要的历史性事件是Amazon推出AWS服务,Amazon Webservice。

该时期可视为云市场的原点,此后云经过将近20年的市场教育才发展到如今云市场的现状。随着NoSQL的发展细分出了许多产品,如Key-value解决K/V缓存、降低延迟、提升并发,Redis,以及以文档数据库为代表的MongoDB,图数据库,HBase、Open TSDB等产品都在垂直领域扎下根。

3.云托管数据库

中国云市场的起源在去ioe背景下开始。阿里云第一款产品是2009年在去ioe背景下产生的数据库服务。 起初是由于阿里巴巴已经将Oracle用到了极致,无法支撑扩展,需要内部去Oracle系统,需要走分布式承担集团业务,于是内部孵化了收个数据库产品。基于此,将该产品开放给一般客户,面向大众提供服务,逐渐引申出了云服务。

2009年,数据库发展到云托管时代,该时代将商业数据库或开源第三方数据库进行服务化的包装、加工,在平台上提供数据库服务。

4.云原生数据库

数据库发展到今天已经走入云原生数据库时代,可将云数据库的弹性、资源池化等特性发挥到极致,其本质就是资源池化、计算存储分离解耦,以此催生弹性、扩展性、灵活性等能力。

云原生数据库发展到今天,阿里云、Polar DB、ADB、MyBase等产品都可以提供非常好的云上数据库使用服务。

三、DBA职业定位

该部分为姜皓楠从个人主观角度解读DNA职业定位,仅供大家结合个人认识参考理解。

1.传统数据库DBA

姜皓楠认为数据库是在现有算力不足以支撑复杂数据提取、计算、查询等情况下,降低数据提取成本,提升效率。 DBA的核心价值是在复杂业务场景下借助DBA的能力与经验,通过人工干预优化并提升数据库计算能力,降低数据提取成本。

首先DBA需要让系统工作起来,如安装部署,包括账户设置等,让数据能进行存储、提取。 第二是优化系统。第三,当系统比较稳定,企业发展到一定阶段后需要考虑压缩成本,亦是传统行业一般DBA核心职能所在。当然在业务高速发展的情况下DBA可能会频繁部署系统,后来也可能会发展出自己的业务中台甚至自动化管控部署等,在出问题时去解决问题。

2.云时代DBA

云时代DBA的价值已经悄悄发生了改变。例如早期数据库出现性能问题,可能是由于烂SQL、资源不足、并发能力不强,无法分散业务导致的热点问题等。早期解决思路是优化SQL、 增加资源、提升分布式。在云时代,开通、变配等能力都是自动化的,也在逐渐接受自动调优等优化方式。因此DBA在该方面的价值可能越来越弱。同时云时代数据库成本毫无疑问逐年递减,包括其规模化、摩尔定律、硬件成本等,将来降本也可以通过云服务实现。

如今DBA的在技术层面仍然有一定价值,但是该价值在未来会愈加弱化。许多线下客户、运维leader、CPU等必定带着业务属性甚至带着业务优化进行DBA架构设计,对行业打深打透之后才能够体现DBA的价值,或许是云时代DBA的发展方向。当然以上是主观见解,大家可结合自身认识考虑。
image.png

四、云数据库时代现状

时至今日,云发展近20年,从最初不被认可发展到现在被广泛接受,从各种角度来看,云的概念已经深入人心。无非是何时上云、何时全面上云、是否彻底上云的问题。

下图所示为O’REILLY于2020年1月对技术岗上云现状的统计结果。第一个数字是上云企业占比达88% 可见大家对云的接受程度非常高。另一个数字是线下数据库市场份额达90%,占比非常高。意味着大部分人都用云,但是核心业务还在线下。根据采样对象的公司员工规模进行分层分析发现,超过1万员工的企业云接受程度相对低, 而轻量公司如不到100人的公司,云接受程度相对高很多,甚至100%业务上云的公司比例达50%。大公司云接受程度低也很好理解,大公司可能发展了几年甚至十数年,在其发展初期没有云概念,因此重资产、机房、供应链的建设甚至技术栈的积累发展到今天,难以做到短期快速上云,但是企业云转型已经非常明显。
image.png
整个云市场的现象是大部分人接受云,但是大型企业上云较慢,转型成本较高,也有多种上云阻力。另一方面,从Gartner线下市场、云增长分析来看,可以预见未来数据库市场一定是属于云的。Gartner认为到2022年,75%的数据库将跑到云上,增长率非常高。
image.png

五、数据库上云新玩法——专属集群MyBase

数据库市场从线上到线下的同比增长十分快速,约为20%,其中公共云数据库市场以非常高的比例拉动着线下市场的增长。因此数据库未来上云是必然趋势。

云服务的本质是对传统商业数据库或开源数据库进行封装、管理、托管到云上以提供云数据库服务。云数据库本质是将开通、变配、安全监控、告警、备份、怀疑等传统DBA重复的工作进行封装化、包装化,以服务化方式提供给客户,让客户专注于自身业务,减少数据库管理,降低用户使用数据库的门槛。

数据库早期属于Pass服务,发展到今天,许多大客户的上云阻力是Pass服务相对来说不够透明。比如出现问题时由于Pass服务考虑安全风险无法开放后台,DBA不能登录系统查找解决问题。大客户对业务灵活性要求高,对自己系统的接受程度,包括DBA团队技术积累往往需要灵活的数据库管理能力,因此阿里云针对该背景推出了云数据库专属集群MyBase产品形态。

image.png
目前云厂商没有类似产品,MyBase是商业模式的创新。MyBase核心简单来说是在公有云上开辟一块逻辑区域,建立一个逻辑集群,在该集群中以主机粒度进行资源分配。比如向逻辑集群加主机,主机加进去即为一个资源池,以此进行资源池化。可在该资源池中开通任意数据库服务。开通数据库服务只需要在控制台一键点击开通,自动搭建高可用架构,降低开通数据库服务的成本。

底层提供管控调度层,例如实例迁移、资源变配、监控告警、信息采集等。底层主机开放OS,客户可以通过安全网络登录到OS上进行安装、资源收集以及诊断、运维、管理等操作,方式十分灵活。

MyBase将自建的灵活性与云数据库服务的应用性进行完美结合,面向大客户提供灵活的数据库管理模式。MyBase模式是阿里云2020年初上线的产品形态,目前在大客户上云方面拥有良好时间,客户反响很好。MyBase灵活易用,可灵活对接线下系统,并保留客户原有管理模式,同时通过主机的资源超卖提升资源利用率,降低成本,从多种角度满足大客户综合TCO考量。

MyBase适合中大型企业级客户进行上云部署。目前MyBase系统针对企业级阿里云客户提供免费试用。企业级认证的账号可直接在MyBase产品主页开通产品,一次可购买两个规格的产品进行上云部署,试用期为一个月,欢迎大家试用。

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
6月前
|
数据库 SQL Cloud Native
DBA福利:云原生分布式数据库 PolarDB-X 操作指南
【6月更文挑战第2天】简述如何使用PXD工具一键安装PolarDB-X操作
72062 10
|
缓存 关系型数据库 数据库
PostgreSQL技术大讲堂 - 第32讲:数据库参数调整
从零开始学PostgreSQL技术大讲堂 - 第32讲:数据库参数调整
617 2
|
4月前
|
缓存 NoSQL 数据库
救命!DBA找上门了,数据库cpu飙到60%
这篇文章讲述了作者如何通过优化数据库查询和引入二级缓存架构,成功解决了数据库CPU使用率规律性飙升的问题,提高了系统稳定性。
救命!DBA找上门了,数据库cpu飙到60%
|
7月前
|
人工智能 Serverless 数据库
在云时代下,开发者需要什么样的数据库?
近两年技术圈的蓬勃发展,大家有目共睹,尤其是在云计算、大数据和人工智能等技术的快速发展下,数据库技术也正经历和面临着一次划时代的转变。大家都知道,随着Serverless架构的崛起和人工智能的应用,数据库开发者需要面对的需求和挑战也日益增多,实际开发中的问题也是层出不穷、日新月异。作为开发者,尤其是在日常开发中结合云原生,需要使用什么样的数据库才算符合我们的开发需求呢?那么本文就来简单讨论一下在云时代下,开发者需要什么样的数据库,讨论DBA(数据库管理员)的工作是否会被人工智能取代,以及探寻当前最需要的数据库类型。通过深入了解这些话题,我们可以更好地应对数据库技术的发展和变革。
79 1
在云时代下,开发者需要什么样的数据库?
|
7月前
|
关系型数据库 分布式数据库 数据库
|
7月前
|
SQL BI 数据库
数据库慢查询:DBA的挑战与应对策略
NineData的慢查询分析功能。它可以自动采集并记录数据库中的所有慢查询,比较亮眼的是它通过对每一条慢查询进行性能诊断,最终提供优化建议,包含添加或修改索引、调整表结构等,同时还可以根据业务类型配置SQL开发规范,配置完成后,系统还会基于这些规范诊断慢SQL。
1057 2
数据库慢查询:DBA的挑战与应对策略
|
7月前
|
存储 SQL 关系型数据库
探索数据库的世界:DB、DBMS、DBA、DBS的全面介绍
探索数据库的世界:DB、DBMS、DBA、DBS的全面介绍
924 0
|
数据库 数据库管理 OceanBase
OceanBase数据库中,角色的权限是由数据库管理员(DBA)设置的
OceanBase数据库中,角色的权限是由数据库管理员(DBA)设置的
158 1
|
运维 关系型数据库 MySQL
MySQL DBA的必备参考,两位数据库资深专家呕心沥血之作
互联网发展至今,开源软件已经深入人心,并且受到广泛的支持和响应,很多公司在使用开源软件的同时也输出了一些好的开源产品。MySQL 作为当今世界.上最受欢迎的开源数据库产品之一,在很多互联网企业里起到了不可或缺的作用。由于MySQL的诸多特性,比如开源免费、灵活、轻量简单且越来越多的企业开始使用MySQL,在业界诞生了一大批相关从业者,他们研究MySQL的原理,探讨MySQL的架构,完善MySQL的运维,丰富MySQL的工具,促进MySQL的发展,我们称这些人为MySQL DBA,而本人也是其中之一,深感荣幸。
|
运维 关系型数据库 MySQL
GitHub无抗手!MySQL DBA攻坚指南一出,阿里数据库专家都解脱了
大家可能并不觉得,数据库其实非常重要,每个业内巨头,每个成熟的互联网产品都有多个数据库系统,能保证大量并发场景下不出错,并非易事。尤其是银行、电商、电信、电力、航空等实时交易重要的环境中,可靠的数据库是重中之重,稳定压倒一切。