《企业级云原生白皮书项目实战》——第五章 大数据——5.2 云原生大数据计算服务 MaxCompute——5.2.1 开始使用(1) https://developer.aliyun.com/article/1228621?groupCode=supportservice
5.2.1.2 项目创建
项目(Project)是MaxCompute的基本组织单元,是进行多用户隔离和访问控制的主要边界。开通MaxCompute服务后,需要通过项目使用MaxCompute。
5.2.1.2.1 主账号进行创建
创建MaxCompute项目后,具备项目内所有内容的操作权限。其它账号均需要授权后使用。
5.2.1.2.2 子账号进行创建
子账号需要同时有AliyunDataWorksFullAccess/AliyunBSSOrderAccess权限策略,否则在开通步骤即提示:子账号需要主账号授予权限策略AliyunDataWorksFullAccess/AliyunBSSOrderAccess才能购买。
此时,该RAM子账号,系统会默认赋予该项目的super_administrator角色,如果DataWorks为标准模式(双环境),仅赋予开发环境对应项目的super_administrator角色。
5.2.1.2.3 数据类型
MaxCompute包含1.0数据类型、2.0数据类型和Hive兼容类型,三种数据类型。底层实际由3个project级别的flflag进行控制,分别是:
1.odps.sql.type.system.odps2 -- MaxCompute 2.0数据类型
2.odps.sql.decimal.odps2 -- Decimal 2.0数据类型
3.odps.sql.hive.compatible -- Hive兼容模式
以上数据类型,以及复杂类型 (ARRAY, MAP, STRUCT 等),是否能在MaxCompute关联组件或产品中兼容,需要具体查阅:组件与数据类型的兼容。
例如:开源DataX,并不支持2.0数据类型,而作为其商业版的DataWorks (数据集成) 提供了对于2.0数据类型的支持,可以实现2.0数据类型的表数据同步。
5.2.1.2.4数据加密
若企业有较高的监管和安全合规需求,可选择在新建项目时开启数据加密功能,目前也支持存量项目进行数据加密的开启,但需要额外通过工单或企业支持钉群等方式反馈,由后台进行开启操作。
在考虑是否启用数据加密选项时,主要考虑以下限制项:
1.如您有使用Hologres,使用外表方式进行数据查询,开启加密后,Hologres版本必须为V1.1及以上
2.如选择BYOK方式,对自带秘钥 (BYOK) 的禁用或删除等操作,将会影响到MaxCompute数据的读写,操作需十分慎重(KMS的相关操作,由于缓存,一般在24小时内生效产生影响)
3.对MaxCompute数据加解密实际是一个调用KMS服务API的过程,将产生API调用等费用,具体需关注KMS产品计费文档,MaxCompute自身的数据加密功能不收取费用
5.2.1.2.5访问身份
正如下文 开始使用MaxCompute 提到,MaxCompute提供的服务,可以通过各种类型客户端或IDE进行访问,这里就需要设置客户端所使用的身份信息,进行最基本的认证和鉴权。
•账号
•① 静态:主账号
•② 静态:指定一个RAM子账号 (ram account)
•③ 动态:根据实际任务的责任人
•角色
•④ RAM角色 (ram role)
使用限制
•简单模式DataWorks,四种访问身份均可选
•标准模式DataWorks,开发环境只能是任务执行者 ③;生产环境支持:①、② 和 ④,不支持任务责任人
5.2.1.3开始使用MaxCompute
MaxCompute作为数据仓库服务,除自身提供 odpscmd 客户端工具外,还与DataWorks深度结合。不仅可以使用 odpscmd 执行各种SQL命令和授权命令,也可以在DataWorks的数据分析、数据开发中执行。除此之外,MaxCompute扩展了生态支持,提供JDBC驱动,提供给了用户更多连接和使用MaxCompute的选择。
• JDBC 程序代码连接
JDBC BI工具连接
Tableau
FineBI
..
�JDBC 数据库管理工具连接
DBeaver
DataGrip
SQL Workbech/J
...