带你读《企业级云原生白皮书项目实战》——5.2.1 开始使用(2)

本文涉及的产品
大数据开发治理平台DataWorks,Serverless资源组抵扣包300CU*H
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
密钥管理服务KMS,1000个密钥,100个凭据,1个月
简介: 带你读《企业级云原生白皮书项目实战》——5.2.1 开始使用(2)

《企业级云原生白皮书项目实战》——第五章 大数据——5.2 云原生大数据计算服务 MaxCompute——5.2.1 开始使用(1) https://developer.aliyun.com/article/1228621?groupCode=supportservice


5.2.1.2 项目创建

项目(Project)是MaxCompute的基本组织单元,是进行多用户隔离和访问控制的主要边界。开通MaxCompute服务后,需要通过项目使用MaxCompute。

5.2.1.2.1 主账号进行创建

创建MaxCompute项目后,具备项目内所有内容的操作权限。其它账号均需要授权后使用。

5.2.1.2.2 子账号进行创建

子账号需要同时有AliyunDataWorksFullAccess/AliyunBSSOrderAccess权限策略,否则在开通步骤即提示:子账号需要主账号授予权限策略AliyunDataWorksFullAccess/AliyunBSSOrderAccess才能购买。

此时,该RAM子账号,系统会默认赋予该项目的super_administrator角色,如果DataWorks为标准模式(双环境),仅赋予开发环境对应项目的super_administrator角色。

5.2.1.2.3 数据类型

MaxCompute包含1.0数据类型、2.0数据类型和Hive兼容类型,三种数据类型。底层实际由3个project级别的flflag进行控制,分别是:

1.odps.sql.type.system.odps2 -- MaxCompute 2.0数据类型

2.odps.sql.decimal.odps2 -- Decimal 2.0数据类型

3.odps.sql.hive.compatible -- Hive兼容模式

1684999275646.png


以上数据类型,以及复杂类型 (ARRAY, MAP, STRUCT 等),是否能在MaxCompute关联组件或产品中兼容,需要具体查阅:组件与数据类型的兼容。

例如:开源DataX,并不支持2.0数据类型,而作为其商业版的DataWorks (数据集成) 提供了对于2.0数据类型的支持,可以实现2.0数据类型的表数据同步。


5.2.1.2.4数据加密

若企业有较高的监管和安全合规需求,可选择在新建项目时开启数据加密功能,目前也支持存量项目进行数据加密的开启,但需要额外通过工单或企业支持钉群等方式反馈,由后台进行开启操作。

在考虑是否启用数据加密选项时,主要考虑以下限制项:

1.如您有使用Hologres,使用外表方式进行数据查询,开启加密后,Hologres版本必须为V1.1及以上

2.如选择BYOK方式,对自带秘钥 (BYOK) 的禁用或删除等操作,将会影响到MaxCompute数据的读写,操作需十分慎重(KMS的相关操作,由于缓存,一般在24小时内生效产生影响)

3.对MaxCompute数据加解密实际是一个调用KMS服务API的过程,将产生API调用等费用,具体需关注KMS产品计费文档,MaxCompute自身的数据加密功能不收取费用

5.2.1.2.5访问身份

正如下文 开始使用MaxCompute 提到,MaxCompute提供的服务,可以通过各种类型客户端或IDE进行访问,这里就需要设置客户端所使用的身份信息,进行最基本的认证和鉴权。

•账号

•① 静态:主账号

•② 静态:指定一个RAM子账号 (ram account)

•③ 动态:根据实际任务的责任人

•角色

•④ RAM角色 (ram role)

使用限制

•简单模式DataWorks,四种访问身份均可选

•标准模式DataWorks,开发环境只能是任务执行者 ③;生产环境支持:①、② 和 ④,不支持任务责任人

5.2.1.3开始使用MaxCompute

MaxCompute作为数据仓库服务,除自身提供 odpscmd 客户端工具外,还与DataWorks深度结合。不仅可以使用 odpscmd 执行各种SQL命令和授权命令,也可以在DataWorks的数据分析、数据开发中执行。除此之外,MaxCompute扩展了生态支持,提供JDBC驱动,提供给了用户更多连接和使用MaxCompute的选择。

• JDBC 程序代码连接

JDBC BI工具连接

Tableau

FineBI

..

JDBC 数据库管理工具连接

DBeaver

DataGrip

SQL Workbech/J

...

image.png

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
4月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
270 1
|
6月前
|
Cloud Native 安全 大数据
云原生与大数据
【8月更文挑战第27天】云原生与大数据
80 5
|
29天前
|
编解码 弹性计算 大数据
软硬结合助力倚天云原生算力再进化,加速大数据、视频转码上云步伐
本文介绍了云原生算力的进化,重点讨论了倚天710 CPU在大数据和视频转码场景中的应用与优势。倚天710采用ARM架构,通过物理核设计和CIPU加速卡优化,显著提升了高负载下的性能稳定性,并在实际应用中帮助客户实现了20%-40%的性能提升和成本降低。此外,文章还探讨了操作系统、编译器等底层软件的优化,以及如何通过龙蜥社区和阿里云平台支持更多应用场景,助力企业实现高效迁移和性能优化。
|
3月前
|
数据采集 分布式计算 OLAP
最佳实践:AnalyticDB在企业级大数据分析中的应用案例
【10月更文挑战第22天】在数字化转型的大潮中,企业对数据的依赖程度越来越高。如何高效地处理和分析海量数据,从中提取有价值的洞察,成为企业竞争力的关键。作为阿里云推出的一款实时OLAP数据库服务,AnalyticDB(ADB)凭借其强大的数据处理能力和亚秒级的查询响应时间,已经在多个行业和业务场景中得到了广泛应用。本文将从个人的角度出发,分享多个成功案例,展示AnalyticDB如何助力企业在广告投放效果分析、用户行为追踪、财务报表生成等领域实现高效的数据处理与洞察发现。
207 0
|
6月前
|
分布式计算 大数据 数据处理
【大数据管理新纪元】EMR Delta Lake 与 DLF 深度集成:解锁企业级数据湖的无限潜能!
【8月更文挑战第26天】随着大数据技术的发展,Apache Spark已成为处理大规模数据集的首选工具。亚马逊的EMR服务简化了Spark集群的搭建和运行流程。结合使用Delta Lake(提供ACID事务保证和数据版本控制)与DLF(加强数据访问控制及管理),可以显著提升数据湖的可靠性和性能。本文通过一个电商公司的具体案例展示了如何在EMR上部署集成Delta Lake和DLF的环境,以及这一集成方案带来的几大优势:增强的可靠性、细粒度访问控制、性能优化以及易于管理的特性。这为数据工程师提供了一个高效且灵活的数据湖平台,简化了数据湖的建设和维护工作。
75 1
|
6月前
|
分布式计算 搜索推荐 物联网
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
|
6月前
|
人工智能 分布式计算 架构师
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
|
6月前
|
机器学习/深度学习 搜索推荐 算法
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
飞天大数据平台产品问题之AIRec在阿里巴巴飞天大数据平台中的功能如何解决
|
6月前
|
存储 机器学习/深度学习 数据采集
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
深入解析大数据核心概念:数据平台、数据中台、数据湖与数据仓库的异同与应用
|
6月前
|
存储 运维 Cloud Native
"Flink+Paimon:阿里云大数据云原生运维数仓的创新实践,引领实时数据处理新纪元"
【8月更文挑战第2天】Flink+Paimon在阿里云大数据云原生运维数仓的实践
315 3