带你读《企业级云原生白皮书项目实战》——5.2.7 运维

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 带你读《企业级云原生白皮书项目实战》——5.2.7 运维

5.2.7 运维


5.2.7.1 元数据信息

5.2.7.1.1 项目级别元数据

各个集群的元数据信息实际上是存储在各个集群的information_schema这个project中。project的owner为产品的服务账号。如5.2.2.2.4中介绍,此种场景,产品设计上正是通过package的授权模式,将元数据信息开放给到各个租户使用。


通过安装命令,获得当前项目的原数据信息:

install package Information_Schema.systables;


查看Information Schema所提供的视图列表:

describe package Information_Schema.systables;

应用场景举例:

1.当前项目为myproject1,在myproject1中,执行如下命令查询当前myproject1中所有表的元数据信息

odps@myproject1>select * from Information_Schema.tables;

2.查询当前项目内的作业历史信息。可添加日期分区进行过滤

odps@myproject1>select * from Information_Schema.tasks_history where ds='yyyymmdd' limit 100;


5.2.7.1.2 租户级别元数据

前面提到一个集群实际上有一个元数据的project——information_schema。这里的集群在MaxCompute的产品设计上,和元数据中心是一对一的概念。元数据中心分类如下:

•中国内地地域(上海、杭州、北京、深圳、成都、张家口)为一个元数据中心

•中国香港为一个元数据中心

•海外的每一个地域为一个元数据中心

•金融云(上海金区、深圳金区)为一个元数据中心

•政务云(北京)为一个元数据中心

有许多用户会有分析和查看自己租户下所有project的元数据信息,而在原来的项目级别的元数据方法下,是无法实现的。因此,产品目前已经推出租户级别元数据(当前仅在中国内地地域,邀测开放)。


5.2.7.2 MaxCompute计算资源运维

MaxCompute管家是运维中最为重要的模块。它是提供作业信息查看、资源消耗查看(包含存储和CU资源)、项目查看及调整、配额组增删改查等涉及日常运维能力的管理平台。当然此处主要是针对包年包月预付费形式的MaxCompute项目。其中涉及到的最重要的概念是:配额组(Quota)。配额组是MaxCompute的计算资源(CPU及内存)。在MaxCompute中支持根据计算作业对计算资源的需求,指定匹配的Quota,助力您高效使用计算资源。


5.2.7.2.1 MaxCompute project级别指定配额组

如开篇5.2.1.1.1中所解释,在创建MaxCompute项目时可以指定三种规格类型的其中一种。但由于项目开发生命周期的推进,目前想要从按量付费切换为包年包月的配额组(已经购买的前提下),则可以在DataWorks的 工作空间配置 � 计算引擎信息 中进行 Quota组切换,选到您想要分配给该项目的配额组即可。

另外,如果只是需要包年包月配额组的切换,则可以通过CU管家来完成(CU管家暂不支持三种规格类型间进行切换)。在CU管家左侧的导航栏选择 项目运维 �包年包月项目 操作栏点击“修改” 即可进行切换配额组的操作。


5.2.7.2.2 作业级别指定配额组

除了通过project级别关联配额组外,MaxCompute还支持单个作业通过在SQL前增加命令的方式,来指定单个作业运行的配额组。

在作业的Query前使用如下命令指定Quota。

set odps.task.wlm.quota=;

此处,quotaname即为Quota名称。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4月前
|
边缘计算 运维 Kubernetes
云原生时代的运维转型之路
【8月更文挑战第29天】 在数字化转型的浪潮中,企业IT部门正面临前所未有的挑战。本文将探讨如何通过拥抱云原生技术,实现运维工作的现代化,提升系统稳定性和效率,同时降低运营成本。我们将分享实际案例,揭示成功转型的关键因素,并展望未来运维的发展趋势。
63 3
|
2月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
104 1
|
4月前
|
Cloud Native 安全 大数据
云原生与大数据
【8月更文挑战第27天】云原生与大数据
63 5
|
15天前
|
存储 运维 关系型数据库
开源新发布|PolarDB-X v2.4.1 增强企业级运维能力
PolarDB-X 是阿里云推出的云原生分布式数据库,自2021年10月开源以来,持续迭代升级,至2024年4月发布的v2.4.1版本,重点增强了企业级运维能力,如无锁变更、物理扩缩容、数据TTL等,提供金融级高可用、透明分布式、HTAP一体化等特性。PolarDB-X 支持集中式和分布式一体化形态,兼容MySQL生态,适用于金融、通信、政务等行业。
|
19天前
|
存储 Cloud Native 块存储
EBS深度解析:云原生时代企业级块存储
企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。
|
1月前
|
数据采集 分布式计算 OLAP
最佳实践:AnalyticDB在企业级大数据分析中的应用案例
【10月更文挑战第22天】在数字化转型的大潮中,企业对数据的依赖程度越来越高。如何高效地处理和分析海量数据,从中提取有价值的洞察,成为企业竞争力的关键。作为阿里云推出的一款实时OLAP数据库服务,AnalyticDB(ADB)凭借其强大的数据处理能力和亚秒级的查询响应时间,已经在多个行业和业务场景中得到了广泛应用。本文将从个人的角度出发,分享多个成功案例,展示AnalyticDB如何助力企业在广告投放效果分析、用户行为追踪、财务报表生成等领域实现高效的数据处理与洞察发现。
53 0
|
3月前
|
运维 监控 Cloud Native
云原生时代的运维策略:从反应式到自动化
在云计算的浪潮下,运维领域经历了翻天覆地的变化。本文将带你领略云原生时代下的运维新风貌,探索如何通过自动化和智能化手段,实现从传统的反应式运维向主动、智能的运维模式转变。我们将一起见证,这一变革如何助力企业提升效率,保障服务的连续性与安全性,以及运维人员如何适应这一角色的转变,成为云原生时代的引领者。
58 8
|
3月前
|
弹性计算 运维 Cloud Native
云原生时代的运维转型之路
在云计算飞速发展的今天,传统的运维模式已难以满足现代企业的需求。本文旨在探讨如何在云原生时代下进行有效的运维转型,从传统运维到云运维的转变不仅仅是技术的升级,更是思维和方法论的革新。通过实际案例分析,我们将深入了解这一转型过程中可能遇到的挑战与解决策略,以及如何利用云原生技术提高运维效率,保障系统稳定性和安全性,从而为企业带来持续的业务创新和价值增长。
45 6
|
3月前
|
运维 Cloud Native Devops
云原生架构的崛起与实践云原生架构是一种通过容器化、微服务和DevOps等技术手段,帮助应用系统实现敏捷部署、弹性扩展和高效运维的技术理念。本文将探讨云原生的概念、核心技术以及其在企业中的应用实践,揭示云原生如何成为现代软件开发和运营的主流方式。##
云原生架构是现代IT领域的一场革命,它依托于容器化、微服务和DevOps等核心技术,旨在解决传统架构在应对复杂业务需求时的不足。通过采用云原生方法,企业可以实现敏捷部署、弹性扩展和高效运维,从而大幅提升开发效率和系统可靠性。本文详细阐述了云原生的核心概念、主要技术和实际应用案例,并探讨了企业在实施云原生过程中的挑战与解决方案。无论是正在转型的传统企业,还是寻求创新的互联网企业,云原生都提供了一条实现高效能、高灵活性和高可靠性的技术路径。 ##
217 3
|
3月前
|
运维 监控 Cloud Native
云原生时代的运维新范式
在数字化转型的浪潮中,云原生技术成为推动企业IT架构现代化的重要力量。本文将探讨如何在云原生时代下重新定义运维工作,包括自动化部署、微服务治理、容器化管理以及DevOps实践等关键领域,旨在为读者提供一套适应新时代运维需求的新思路和新方法。