在数据治理实践方面,元数据管理平台(如Datahub,Atlas)是我主要研究的一个方向。但是数据治理理论方面的学习,我也一直在继续,因为我一直相信大数据、数据治理终有一天会融合发展,大数据技术也将与数据治理理论相结合,而我们只有将两者融会贯通,才能在企业的大数据与数据治理发展中大显身手。
所以,今天就来聊一聊数据治理理论该如何学习。
本文共5000字,将从数据治理概述、数据治理国内外学习框架、数据治理认证考试三个方面来进行介绍,希望能帮助您对数据治理有一个初步的了解。
文章结构如下:
一、数据治理概述
随着业务的不断发展和信息化的不断深入,需建设的业务系统越来越多,
随着业务系统的数据种类不断丰富完善, 数据量的不断增大,如果不采取有效手段解决问题,
随着信息化建设的深入,下列的问题会越积越多。
数据治理的定义有很多。国际数据管理协会(DAMA)给出的定义是:“数据治理是对数据资产管理行使权力和控制的活动集合。”
国际数据治理研究所(DGI)给出的定义是:“数据治理是一个通过一系列与信息相关的过程来实现决策权和职责分工的系统,这些过程按照达成共识的模型来执行,该模型描述了谁(Who)能根据什么信息,在什么时间(When)和情况(Where)下,用什么方法(How),采取什么行动(What)。”
“数据治理”的历史可以发展分为三个阶段。
第一阶段早期探索,早在1988年由麻省理工学院的两位教授启动了全面数据质量管理计划(TDQM),可以认为是数据治理最初的雏形,同年,DAMA(国际数据管理组织协会)成立。时间一直走到2002年,数据治理概念首次出现在学术界,美国两位学者发表题为《数据仓库治理》的研究探讨了Blue Cross和Blue Shield of North Carolina两家公司的最佳实践,由此拉开了“数据治理”在企业管理中的大幕。
第二阶段理论研究,在美国学者发表《数据仓库治理》的第二年,2003年DGI(国际数据治理研究所)成立,研究数据治理理论框架,与ISO国际标准化组织对数据管理与数据治理进行定义。直到2009年,DAMA国际发布DMBOK《数据管理知识体系指南》[15](以下简称《DAMA指南》),至此数据治理的理论框架基本固定。2020年DAMA国际发布DMBOK《数据管理知识体系指南原书第二版》[16](以下简称《DAMA指南第二版》)。
第三阶段广泛接受与应用,伴随着数据仓库的建设,主数据管理与BI的实施,国内也逐步开始接受并利用数据治理的概念进行推广实践。我国数据治理之路在DMBOK基础上不断延伸和扩展,里程碑事件为在2015年提出了《数据治理白皮书》国际标准研究报告。
这里基本都是定义一些概念性的东西。
2018年6月7日,国家市场监督管理总局和国家标准化管理委员会发布《中华人民共和国国家标准公告(2018年第9号)》,批准《信息技术服务治理第5部分:数据治理规范》国家标准发布实施,标准号为GB/T 34960.5-2018,实施日期为2019年1月1日。《数据治理规范》是我国信息技术服务标准(ITSS)体系中的“服务管控”领域标准,属于《信息技术服务治理》的第5部分。
这个规范之前也有过分享。
金融等行业也在实践的过程中形成了自己的治理体系,比如银行在2018年发布了《银行业金融机构数据治理指引》,这也标志着数据治理在我国银行金融机构中全面实践时代的到来,华为2020年出了本书《华为数据之道》,可以看到数据治理在企业中也开始发挥出越来越重要的作用。
上面提到的这些资料和文件,之前我也都做过分享,随着数据治理的发展,这些政策法规文件也会不断的颁布,我们也是保持持续的关注。
二、数据治理国内外学习框架
相信学过不同领域知识体系的同学会比较熟悉学习框架这个词。对于特别复杂的知识体系来说,学习难免会枯燥、找不到方向、出现遗漏。那么这个时候框架就显得尤为重要。在数据治理的发展过程中,国内外也形成了很多种学习框架。
国际数据治理框架
国际上,主流的数据治理框架主要有ISO数据治理标准、DGI数据治理框
架、DAMA数据管理框架等。对国际主流数据治理框架的理解有助于我们建立
符合企业自身业务需求的数据治理体系。
ISO/IEC 38505标准的数据治理方法论
该标准提出了数据治理的“E(评估)-D(指导)-M(监督)”方法论,通过评估现状和将来的数据利用情况,编制和执行数据战略和政策,以确保数据的使用服务于业务目标,指导数据治理的准备和实施,并监督数据治理实施的符合性等。
DGI(数据治理研究所)是业内最早、最知名的研究数据治理的专业机构。
DGI于2004年推出DGI数据治理框架,为企业根据数据做出决策和采取行动的复杂活动提供新方法。
DGI数据治理框架的设计采用“5W1H”法则,将数据治理分为人员与治理组
织、规则、流程3个层次,共10个组件。
DAMA(国际数据管理协会)是一个由全球性数据管理和业务专业的志愿
人士组成的非营利协会,致力于数据管理的研究和实践。其出版的《DAMA数
据管理知识体系指南》(简称DAMA-DMBOK)一书被业界奉为“数据管理的
圣经”,目前已出版第2版,即DAMA-DMBOK2。
国内数据治理
在数据治理框架和标准体系的研究方面,国内起步相对较晚,目前主要有
GB/T 34960和DCMM两个标准。
我国发布的信息化标准GB/T34960《信息技术服务治理》中包含五部分内
容。
第1部分:通用要求。
第2部分:实施指南。
第3部分:绩效评价。
第4部分:审计导则。
第5部分:数据治理规范。
其中,第5部分《数据治理规范》(GB/T 34960.5—2018)中提出了数据治
理的总则和要求,为企业数据治理体系的建设提供了参考。
GB/T 36073—2018《数据管理能力成熟度评估模型》(Data Management Capability Maturity Assessment Model,DCMM)是在国家标准化管理委员会指导下,由全国信息技术标准化技术委员会编制的一份国家标准,于2018年发布并实施。
DCMM按照组织、制度、流程、技术对数据管理能力进行了分析和总结,提炼出组织数据管理的8个过程域,即数据战略、数据治理、数据架构、数据应用、数据安全、数据质量、数据标准、数据生存周期。
DCMM将组织的数据能力成熟度划分为初始级、受管理级、稳健级、量化管理级和优化级共5个发展等级,以帮助组织进行数据管理能力成熟度的评价。
一些理论方面的东西,这里不做赘述。但是目前最权威,也最接地气的,还是DAMA数据管理体系,这也是大家在学习数据治理的时候,为什么会频繁的听到DAMA相关词汇的原因。
作为最权限的数据治理框架,我们只要掌握了DAMA相关知识,最结合实践。做到数据治理的最基本入门是没有问题的,在经过几年企业中的积累,您也可以成为数据治理专家。
三、数据治理认证考试
虽然说有些考试过于形式化,但是有一个证书确实对于证明你在数据治理相关领域的专业度很有帮助。
其实现在关于数据治理的认证很多,我之前也分享过一些。比如某数据治理认证、某某数据管理师认证等等。
由于目前我们国家工信部还没有出大数据或者数据治理的专业资格认证,类似于注册**工程师这种,所以现在比较权威的数据治理认证还是国际的数据治理认证,这个国外国内都是比较认可的。
DAMA数据管理专业认证CDMP
也请大家一定要记住这个拼写CDMP,这个才是国际专业的数据治理认证。
一共分为四级,当然大部分公司对于等级没有要求,拿到A级就是很高的水平了。
这四级的区别如下:
这门考试考的内容也比较干货,也就是说在准备考试的过程中,确确实实能学到很多的数据治理知识。
当然,近几年随着数据治理的发展,及与大数据的融合,大数据方面的知识也在逐年增加,这也是我们的优势。
最后提醒一下大家,这门考试需要在国外的CDMP网站认证进行,需要有一些方法访问该网站,考试中也有很多英文,有一定难度。考试的费用是311美元,证书有效期三年。当然这个是官方限定的有效期,通过考试的话,可以得到这样的一个证书,这其实足以证明你在数据治理方面的学习能力了。
考试通过后,将得到该认证证书,证书长这样:
大家可以自己报名参加考试,也可以参加国内的一些培训。由于需要获取国外的一些信息,在流程上有一些难度,还需要做一些翻译插件的设置。
所以,我这边的建议是如果大家想考这个证书,你本身英文不错,自学能力和自制力都很强,完全可以自学通过该考试。