元数据是数据的描述信息,包括数据的结构、属性、关系等。在数据库中,元数据包括数据库对象(如表、视图、存储过程等)的定义信息、访问权限信息、索引信息等。收集和查看元数据可以帮助我们更好地了解数据库的结构和内容,从而更好地进行数据库管理和优化。
要开启元数据收集,需要先确定数据库管理系统(DBMS)支持哪些元数据收集方法。不同的DBMS可能有不同的元数据收集方式和工具。在Oracle数据库中,可以使用以下方法收集元数据:
使用Oracle Data Dictionary视图:Oracle数据库中有许多Data Dictionary视图,这些视图包含了数据库对象的定义信息、访问权限信息、索引信息等。可以使用这些视图来查询元数据信息。
使用Oracle Enterprise Manager:Oracle Enterprise Manager是Oracle提供的一个数据库管理工具,可以通过它来收集和查看元数据信息。
使用PL/SQL程序:可以编写PL/SQL程序来查询Data Dictionary视图,从而收集元数据信息。
在收集元数据后,可以使用各种工具来查看元数据信息。例如,可以使用SQL Developer、Toad等工具来查看Oracle数据库的元数据信息。这些工具提供了丰富的功能,可以帮助我们更好地了解数据库的结构和内容。
在DataWorks中,元数据收集是通过元数据采集器来实现的。元数据采集器可以采集各种数据源的元数据信息,并将其存储到DataWorks的元数据管理库中,方便用户进行元数据的查看和管理。以下是元数据收集的具体步骤:
开启元数据收集功能:在DataWorks的项目管理页面中,选择“元数据管理”->“元数据采集器”,点击“启用”按钮即可开启元数据收集功能。
添加数据源:在元数据采集器页面中,选择需要采集的数据源类型,如MySQL、MaxCompute、Hive等,然后添加相应的数据源信息,包括数据源名称、连接地址、用户名、密码等。
开始采集:添加完数据源后,点击“开始采集”按钮,元数据采集器就会开始自动采集该数据源的元数据信息。
查看元数据:在元数据管理页面中,可以查看已经采集的元数据信息,包括表、字段、分区等信息。
需要注意的是,元数据收集功能需要在DataWorks的工作空间和项目中开启,并且需要为每个需要采集元数据的数据源添加相应的数据源信息。此外,元数据采集器也需要配置合适的权限,以便正常采集元数据信息。
进入数据发现页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。单击左上方的 图标,选择全部产品 > 数据治理 > 数据地图。在顶部菜单栏,单击数据发现。在E-MapReduce元数据采集页面,单击新建采集器。在新增采集器对话框中,选择引擎实例后,单击前往开启授权。在E-MapReduce控制台中所选引擎实例的元数据页面,单击开启元数据收集。 在确认开关变更对话框中,单击确定。成功开启元数据收集后,返回数据地图中的新增采集器对话框,单击刷新。授权状态刷新为已授权后,单击提交,即可开启元数据收集。在E-MapReduce元数据采集页面,单击新建的采集器后的运行全量获取。单击页面右上角的刷新,待EMR采集实例的运行状态显示为收集成功即可。说明 全量采集E-MapReduce元数据后,系统会开启自动增量采集,自动同步表中新增的元数据。 https://help.aliyun.com/document_detail/146699.html ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。