AI 助理
备案控制台
开发者社区 大数据 文章 正文

数据治理之元数据管理的利器——Atlas入门宝典（一）

2022-05-28 1664
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
数据管理 DMS，安全协同 3个实例 3个月
推荐场景：
学生管理系统数据库
服务治理 MSE Sentinel/OpenSergo，Agent数量 不受限
云原生网关 MSE Higress，422元/月
简介： 随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为Hadoop生态最紧密的元数据管理与发现工具，Atlas在其中扮演着重要的位置。但是其官方文档不是很丰富，也不够详细。所以整理了这份文档供大家学习使用。

本文档共分为8个部分，层级结构如下图所示。

image.png


一、数据治理与元数据管理

背景

为什么要做数据治理？业务繁多，数据繁多，业务数据不断迭代。人员流动，文档不全，逻辑不清楚，对于数据很难直观理解，后期很难维护。

在大数据研发中，原始数据就有着非常多的数据库，数据表。

而经过数据的聚合以后，又会有很多的维度表。

近几年来数据的量级在疯狂的增长，由此带来了系列的问题。作为对人工智能团队的数据支撑，我们听到的最多的质疑是 “正确的数据集”，他们需要正确的数据用于他们的分析。我们开始意识到，虽然我们构建了高度可扩展的数据存储，实时计算等等能力，但是我们的团队仍然在浪费时间寻找合适的数据集来进行分析。

也就是我们缺乏对数据资产的管理。事实上，有很多公司都提供了开源的解决方案来解决上述问题，这也就是数据发现与元数据管理工具。

元数据管理

简单地说，元数据管理是为了对数据资产进行有效的组织。它使用元数据来帮助管理他们的数据。它还可以帮助数据专业人员收集、组织、访问和丰富元数据，以支持数据治理。

三十年前，数据资产可能是 Oracle 数据库中的一张表。然而，在现代企业中，我们拥有一系列令人眼花缭乱的不同类型的数据资产。可能是关系数据库或 NoSQL 存储中的表、实时流数据、 AI 系统中的功能、指标平台中的指标，数据可视化工具中的仪表板。

现代元数据管理应包含所有这些类型的数据资产，并使数据工作者能够更高效地使用这些资产完成工作。

所以，元数据管理应具备的功能如下：

  • 搜索和发现：数据表、字段、标签、使用信息
  • 访问控制：访问控制组、用户、策略
  • 数据血缘：管道执行、查询
  • 合规性：数据隐私/合规性注释类型的分类
  • 数据管理：数据源配置、摄取配置、保留配置、数据清除策略
  • AI 可解释性、再现性：特征定义、模型定义、训练运行执行、问题陈述
  • 数据操作：管道执行、处理的数据分区、数据统计
  • 数据质量：数据质量规则定义、规则执行结果、数据统计

架构与开源方案

下面介绍元数据管理的架构实现，不同的架构都对应了不同的开源实现。

下图描述了第一代元数据架构。它通常是一个经典的单体前端（可能是一个 Flask 应用程序），连接到主要存储进行查询（通常是 MySQL/Postgres），一个用于提供搜索查询的搜索索引（通常是 Elasticsearch），并且对于这种架构的第 1.5 代，也许一旦达到关系数据库的“递归查询”限制，就使用了处理谱系（通常是 Neo4j）图形查询的图形索引。

image.png

很快，第二代的架构出现了。单体应用程序已拆分为位于元数据存储数据库前面的服务。该服务提供了一个 API，允许使用推送机制将元数据写入系统。

image.png

第三代架构是基于事件的元数据管理架构，客户可以根据他们的需要以不同的方式与元数据数据库交互。

元数据的低延迟查找、对元数据属性进行全文和排名搜索的能力、对元数据关系的图形查询以及全扫描和分析能力。

image.png

Apache Atlas 就是采用的这种架构，并且与Hadoop 生态系统紧密耦合。

下图是当今元数据格局的简单直观表示：

（包含部分非开源方案）

image.png

其他方案可作为调研的主要方向，但不是本文讨论的重点。


二、Apache Atlas简介

简介

在当今大数据的应用越来越广泛的情况下，数据治理一直是企业面临的巨大问题。

大部分公司只是单纯的对数据进行了处理，而数据的血缘，分类等等却很难实现，市场上也急需要一个专注于数据治理的技术框架，这时Atlas应运而生。

Atlas官网地址：https://atlas.apache.org/

Atlas是Hadoop的数据治理和元数据框架。

Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效，高效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。

Apache Atlas为组织提供了开放的元数据管理和治理功能，以建立其数据资产的目录，对这些资产进行分类和治理，并为数据科学家，分析师和数据治理团队提供围绕这些数据资产的协作功能。

如果想要对这些数据做好管理，光用文字、文档等东西是不够的，必须用图。Atlas就是把元数据变成图的工具。

image.png

特性

  • Atlas支持各种Hadoop和非Hadoop元数据类型
  • 提供了丰富的REST API进行集成
  • 对数据血缘的追溯达到了字段级别，这种技术还没有其实类似框架可以实现
  • 对权限也有很好的控制

Atlas包括以下组件：

  • 采用Hbase存储元数据
  • 采用Solr实现索引
  • Ingest/Export 采集导出组件 Type System类型系统 Graph Engine图形引擎 共同构成Atlas的核心机制
  • 所有功能通过API向用户提供，也可以通过Kafka消息系统进行集成
  • Atlas支持各种源获取元数据：Hive，Sqoop，Storm。。。
  • 还有优秀的UI支持

效果图

image.png


三、整体架构

架构图

Atlas架构图如下：

image.png

Core层

Atlas核心包含以下组件：

类型(Type)系统: Atlas允许用户为他们想要管理的元数据对象定义模型。该模型由称为“类型”的定义组成。称为“实体”的“类型”实例表示受管理的实际元数据对象。Type System是一个允许用户定义和管理类型和实体的组件。开箱即用的Atlas管理的所有元数据对象（例如Hive表）都使用类型建模并表示为实体。要在Atlas中存储新类型的元数据，需要了解类型系统组件的概念。

需要注意的一个关键点是Atlas中建模的一般特性允许数据管理员和集成商定义技术元数据和业务元数据。也可以使用Atlas的功能定义两者之间的丰富关系。

图形引擎: Atlas在内部使用Graph模型持久保存它管理的元数据对象。这种方法提供了很大的灵活性，可以有效地处理元数据对象之间的丰富关系。图形引擎组件负责在Atlas类型系统的类型和实体之间进行转换，以及底层图形持久性模型。除了管理图形对象之外，图形引擎还为元数据对象创建适当的索引，以便可以有效地搜索它们。Atlas使用JanusGraph存储元数据对象。

采集/导出：采集组件允许将元数据添加到Atlas。同样，“导出”组件将Atlas检测到的元数据更改公开为事件。消费者可以使用这些更改事件来实时响应元数据的变更。

Integration层

在Atlas中，用户可以使用以下的两种方式管理元数据：

API: Atlas的所有功能都通过REST API向最终用户暴露，该API允许创建，更新和删除类型和实体。它也是查询和发现Atlas管理的类型和实体的主要机制。

Messaging: 除了API之外，用户还可以选择使用基于Kafka的消息传递接口与Atlas集成。这对于将元数据对象传递到Atlas以及使用Atlas使用可以构建应用程序的元数据更改事件都很有用。如果希望使用与Atlas更松散耦合的集成来实现更好的可伸缩性，可靠性等，则消息传递接口特别有用.Atlas使用Apache Kafka作为通知服务器，用于钩子和元数据通知事件的下游消费者之间的通信。事件由钩子和Atlas写入不同的Kafka主题。

Metadata sources层

Atlas支持开箱即用的多种元数据源集成。未来还将增加更多集成。目前，Atlas支持从以下来源提取和管理元数据：

  • HBase
  • Hive
  • Sqoop
  • Storm
  • Kafka

集成意味着两件事：Atlas定义的元数据模型用于表示这些组件的对象。Atlas提供了从这些组件中摄取元数据对象的组件（在某些情况下实时或以批处理模式）。

Applications层

Atlas管理的元数据被各种应用程序使用，以满足许多治理需求。

Atlas Admin UI: 该组件是一个基于Web的应用程序，允许数据管理员和科学家发现和注释元数据。这里最重要的是搜索界面和类似SQL的查询语言，可用于查询Atlas管理的元数据类型和对象。Admin UI使用Atlas的REST API来构建其功能。

Tag Based Policies:Apache Ranger是Hadoop生态系统的高级安全管理解决方案，可与各种Hadoop组件进行广泛集成。通过与Atlas集成，Ranger允许安全管理员定义元数据驱动的安全策略以实现有效的治理。Ranger是Atlas通知的元数据更改事件的使用者。


四、编译、部署与安装

Atlas的安装坑较多。本教程将详细介绍Atlas2.1.0整个安装过程。

比较难受的是 ，Atlas不提供安装包，下载的是源码包 ，需要自行编译打包。

下载

请前往官网 https://atlas.apache.org/#/Downloads

image.png

下载对应版本的源码包 本文使用的是 2.1.0版本

国内站点 速度要快一些

https://mirrors.tuna.tsinghua.edu.cn/apache/atlas/2.1.0/apache-atlas-2.1.0-sources.tar.gz

安装maven

注意，需要先安装maven，因为这是使用maven开发的java web工程。maven3.6.3版本即可

一些下载地址

http://maven.apache.org/download.cgi

https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/apache-maven-3.6.3-bin.tar.gz

上传到linux的/usr/local目录

cd /usr/local

解压文件

tar -zxvf apache-maven-3.6.3-bin.tar.gz

配置环境变量

vi /etc/profile
export MAVEN_HOME=/usr/local/apache-maven-3.6.3
export PATH=MAVEN_HOME/bin:PATH

刷新环境变量

source /etc/profile

检查版本

mvn -v

image.gifimage.png

配置好maven的环境变量 注意国内需要配置好maven的国内镜像，一般使用阿里，华为，清华等镜像 vi /usr/local/apache-maven-3.6.3/conf/settings.xml

<mirror>
    <id>alimaven</id>
    <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    <mirrorOf>central</mirrorOf>
</mirror>

把这个setting.xml 拷贝到 ~/.m2/

cp settings.xml .m2/

编译Atlas

解压源码包

tar -zxvf apache-atlas-2.1.0-sources.tar.gz
1.修改atlas源码工程的pom.xml

将hbase zookeeper hive等依赖的版本修改成自己环境中一致的版本（或者兼容的版本）

父工程pom文件
<zookeeper.version>3.4.14</zookeeper.version>
<hbase.version>2.2.3</hbase.version>
<solr.version>7.7.2</solr.version>
2.执行maven编译打包

atlas可以使用内嵌的hbase-solr作为底层索引存储和搜索组件，也可以使用外置的hbase和solr 如果要使用内嵌的hbase-solr，则使用如下命令进行编译打包 cd apache-atlas-sources-2.1.0/ export MAVEN_OPTS="-Xms2g -Xmx2g" mvn clean -DskipTests package -Pdist,embedded-hbase-solr

不用内置就这样 mvn clean -DskipTests package -Pdist

改完路径还会非常快的 耐心等待

image.png

atlas的webui子模块中依赖了nodejs，会从nodejs的中央仓库去下载相关依赖库

编译完成之后，会产生打包结果，所在位置是：源码目录中的新出现的distro/target目录

  • 注意，这里产出的有压缩包也有解压后的包。这里面的hook包，可以看到有各种平台的hook包。
  • 顾名思义，这就是钩子包，也就是各个大数据框架会提供各种生命周期回调函数，并且将相关信息以数据方式提供出来。这些钩子就可以去监听和接收数据

如果没有错误 并看到一排success就是成功了

image.png

安装Atlas

在完成Atlas编译以后，就可以进行Atlas的安装了。Atlas的安装主要是安装Atlas的Server端，也就Atlas的管理页面，并确保Atlas与Kafka Hbase Solr等组件的集成。

Atlas的系统架构如下，在确保 底层存储与UI界面正常后，之后就可以进行与Hive等组件的集成调试了。

在完成Atlas编译以后，就可以进行Atlas的安装了。Atlas的安装主要是安装Atlas的Server端，也就Atlas的管理页面，并确保Atlas与Kafka Hbase Solr等组件的集成。

在确保 底层存储与UI界面正常后，之后就可以进行与Hive等组件的集成调试了。

1、环境准备

安装之前 先要准备好

JDK1.8

Zookeeper

Kafka

Hbase

Solr

在启动Atlas时会配置这些环境变量的地址，所以一定要确保以上组件正常运行。

由于在编译时可以选择内部集成，所以这些Atlas是可以自带的，但是JDK一定要安装好。

在安装Altas中，需要Solr 预先创建好collection

bin/solr create -c vertex_index -shards 3 -replicationFactor 2
 bin/solr create -c edge_index -shards 3 -replicationFactor 2
bin/solr create -c fulltext_index -shards 3 -replicationFactor 2

在solr中验证创建成功。

2、安装Atlas

到编译好的包的路径下 apache-atlas-sources-2.1.0/distro/target

将生成好的安装包 apache-atlas-2.1.0-server.tar.gz 拷贝到目标路径下。

解压：

tar -zxvf apache-atlas-2.1.0-server.tar.gz

3、修改配置

进入conf目录下：

vi  atlas-env.sh

在此指定JAVA_HOME和是否要用内嵌启动

export JAVA_HOME=/opt/jdk1.8.0_191/
export MANAGE_LOCAL_HBASE=true
export MANAGE_LOCAL_SOLR=true

如果使用内嵌，那么配置结束，直接去 启动Atlas

但是大部分时候，需要使用已经有的组件进行集成，所以设置为false。

export JAVA_HOME=/opt/jdk1.8.0_191/
export MANAGE_LOCAL_HBASE=false
export MANAGE_LOCAL_SOLR=false 
#注意修改Hbase配置文件路径
export HBASE_CONF_DIR=/opt/hbase/conf

修改其他配置

vim atlas-application.properties

这里就是设置Hbase Solr等配置

#Hbase地址  就是Hbase配置的zookeeper地址
atlas.graph.storage.hostname=slave01:2181,slave02:2181,slave03:2181
atlas.audit.hbase.zookeeper.quorum=slave01:2181,slave02:2181,slave03:2181
#solr服务器地址
atlas.graph.index.search.solr.http-urls=http://slave01:8984/solr
#kafka地址
atlas.notification.embedded=false
atlas.kafka.zookeeper.connect=slave01:2181,slave02:2181,slave03:2181
atlas.kafka.bootstrap.servers=slave01:9092,slave02:9092,slave03:9092
#atlas地址
atlas.rest.address=http://slave01:21000

启动Atlas

bin/atlas_start.py

启动成功后访问：

http://slave01:21000

admin/admin登录

image.png


文章标签：
数据管理
云消息队列 Kafka 版
云数据库HBase版
微服务引擎
消息中间件
分布式计算
atlas
Hbase
Kafka
Hadoop
API
存储
分布式数据库
数据管理
关键词：
数据管理数据
数据管理atlas
数据管理治理
数据管理入门
相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS，并使用DMS图形化工具创建数据库表。
大数据流动
目录
相关文章
土木林森
|
3月前
|
物联网 数据管理 Apache
拥抱IoT浪潮，Apache IoTDB如何成为你的智能数据守护者？解锁物联网新纪元的数据管理秘籍！
【8月更文挑战第22天】随着物联网技术的发展，数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计，在IoT领域脱颖而出。相较于传统数据库，IoTDB采用树形数据模型高效管理实时数据，具备轻量级结构与高并发能力，并集成Hadoop/Spark支持复杂分析。在智能城市等场景下，IoTDB能处理如交通流量等数据，为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程，并支持细致的权限管理确保数据安全。综上所述，IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
土木林森
104 1
数据库小能手
|
8天前
|
关系型数据库 分布式数据库 数据库
云栖大会｜从数据到决策：AI时代数据库如何实现高效数据管理？
在2024云栖大会「海量数据的高效存储与管理」专场，阿里云瑶池讲师团携手AMD、FunPlus、太美医疗科技、中石化、平安科技以及小赢科技、迅雷集团的资深技术专家深入分享了阿里云在OLTP方向的最新技术进展和行业最佳实践。
数据库小能手
26 4
瓴羊Dataphin
|
23天前
|
存储 人工智能 安全
【荣誉奖项】荣获2024数据治理优秀产品！瓴羊Dataphin联合DAMA发布数据管理技能认证
瓴羊Dataphin连续俩年获得DAMA年度优秀数据治理产品奖，本次与DAMA联合发布“DAMA x 瓴羊 数据管理技能认证”，助力提升全民数据素养。
瓴羊Dataphin
129 0
【荣誉奖项】荣获2024数据治理优秀产品！瓴羊Dataphin联合DAMA发布数据管理技能认证
1442573646622176
|
1月前
|
数据采集 安全 数据管理
通信行业数据治理：如何实现高效、安全的数据管理？
在未来的发展中，通信行业的企业应加强数据治理意识，提高数据治理能力；同时，积极开展跨行业的合作创新，共同推动行业的繁荣与发展。相信在不久的将来，通信行业将迎来更加美好的明天。
1442573646622176
79 0
土木林森
|
3月前
|
JSON 数据管理 关系型数据库
【Dataphin V3.9】颠覆你的数据管理体验！API数据源接入与集成优化，如何让企业轻松驾驭海量异构数据，实现数据价值最大化？全面解析、实战案例、专业指导，带你解锁数据整合新技能！
【8月更文挑战第15天】随着大数据技术的发展，企业对数据处理的需求不断增长。Dataphin V3.9 版本提供更灵活的数据源接入和高效 API 集成能力，支持 MySQL、Oracle、Hive 等多种数据源，增强 RESTful 和 SOAP API 支持，简化外部数据服务集成。例如，可轻松从 RESTful API 获取销售数据并存储分析。此外，Dataphin V3.9 还提供数据同步工具和丰富的数据治理功能，确保数据质量和一致性，助力企业最大化数据价值。
土木林森
167 1
土木林森
|
3月前
|
Java 测试技术 容器
从零到英雄：Struts 2 最佳实践——你的Web应用开发超级变身指南！
【8月更文挑战第31天】《Struts 2 最佳实践：从设计到部署的全流程指南》深入介绍如何利用 Struts 2 框架从项目设计到部署的全流程。从初始化配置到采用 MVC 设计模式，再到性能优化与测试，本书详细讲解了如何构建高效、稳定的 Web 应用。通过最佳实践和代码示例，帮助读者掌握 Struts 2 的核心功能，并确保应用的安全性和可维护性。无论是在项目初期还是后期运维，本书都是不可或缺的参考指南。
土木林森
49 0
土木林森
|
3月前
|
SQL 存储 数据管理
掌握SQL Server Integration Services (SSIS)精髓：从零开始构建自动化数据提取、转换与加载(ETL)流程，实现高效数据迁移与集成——轻松上手SSIS打造企业级数据管理利器
【8月更文挑战第31天】SQL Server Integration Services (SSIS) 是 Microsoft 提供的企业级数据集成平台，用于高效完成数据提取、转换和加载（ETL）任务。本文通过简单示例介绍 SSIS 的基本使用方法，包括创建数据包、配置数据源与目标以及自动化执行流程。首先确保安装了 SQL Server Data Tools (SSDT)，然后在 Visual Studio 中创建新的 SSIS 项目，通过添加控制流和数据流组件，实现从 CSV 文件到 SQL Server 数据库的数据迁移。
土木林森
155 0
三分钟热度的鱼
|
4月前
|
SQL NoSQL 数据管理
数据管理DMS使用问题之如何批量导入MongoDB的数据文件
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能，助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
三分钟热度的鱼
70 3
三分钟热度的鱼
|
4月前
|
运维 数据管理 数据库
数据管理DMS操作报错合集之数据归档时，遇到报错："DMS获取内容为空，无须备份"，该怎么办
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能，助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
三分钟热度的鱼
56 6
冲冲冲c
|
5月前
|
SQL 关系型数据库 数据管理
数据管理DMS产品使用合集之归档数据至其它MySQL数据库时，如何指定目的库
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能，助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。
冲冲冲c
67 1

热门文章

最新文章

  • 1
    Data Fabric：一站式数据管理与服务
  • 2
    十年磨一剑，阿里巴巴企业级数据管理平台：iDB
  • 3
    数据管理(DMS)：让你轻松管理云端数据
  • 4
    MySQL数据管理5
  • 5
    Docker数据管理
  • 6
    运维平台的建设思考-元数据管理（二）
  • 7
    运维平台的建设思考-元数据管理（四）
  • 8
    阿里云DMS数据管理控制台通过钉钉机器人方式发送通知
  • 9
    《云数据管理：挑战与机遇》一第1章
  • 10
    小微企业阿里云最佳实践系列（二）：RDS 数据库与DMS 数据库管理（数据管理）
  • 1
    扁平数据转树形结构，让数据管理更清晰
    165
  • 2
    数据管理的艺术：PolarDB开源版详评与实战部署策略（二）
    223631
  • 3
    新一代数据库技术：融合AI的智能数据管理系统
    311
  • 4
    数据管理的艺术：PolarDB开源版详评与实战部署策略（一）
    235182
  • 5
    现代化数据管理：面向未来的数据库技术发展
    74
  • 6
    数据管理DMS产品使用合集之想要实现在 DMS 中执行事务，我该怎么操作
    90
  • 7
    数据管理DMS产品使用合集之阿里云DMS提供API接口来进行数据导出功能吗
    180
  • 8
    数据管理DMS产品使用合集之DMS包月的收费规则是怎样的
    84
  • 9
    数据管理DMS产品使用合集之在阿里云DMS中，想对数据精度进行校验，有什么方法
    107
  • 10
    数据管理DMS产品使用合集之数据归档功能可以在 DMS 上自动分批次执行吗
    94

    • 相关课程

    更多
  • 数据管理 DMS产品介绍及Data Copilot演示教程智能助手 DMS Data Copilot简介
  • 存储应用与数据管理
  • 数据分析系统之数据管理与数据仓库
  • 阿里云实时数仓实战 - 项目介绍及架构设计
  • 企业运维训练营之大数据EMR原理与实践
  • 大数据Spark2020版（知识精讲与实战演练）第四阶段

    • 相关电子书

    更多
  • 金融行业高频交易数据管理解决方案
  • 基于Spark的统一数据管理与数据探索平台
  • INFINIDATA:基于Spark的统一数据管理与探索平台

    • 相关实验场景

    更多
  • 借助OSS搭建在线教育视频课程分享网站
  • 快速搭建移动端可视化看板
  • 每个IT人都想学的“Web应用上云经典架构”实战
  • 基于DTS构建一站式实时数据服务
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
  • 倚天大数据电商数据分析快速实践
    • 下一篇
    无影云桌面