带你读《企业级云原生白皮书项目实战》——5.2.7 运维

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 带你读《企业级云原生白皮书项目实战》——5.2.7 运维

5.2.7 运维


5.2.7.1 元数据信息

5.2.7.1.1 项目级别元数据

各个集群的元数据信息实际上是存储在各个集群的information_schema这个project中。project的owner为产品的服务账号。如5.2.2.2.4中介绍,此种场景,产品设计上正是通过package的授权模式,将元数据信息开放给到各个租户使用。


通过安装命令,获得当前项目的原数据信息:

install package Information_Schema.systables;


查看Information Schema所提供的视图列表:

describe package Information_Schema.systables;

应用场景举例:

1.当前项目为myproject1,在myproject1中,执行如下命令查询当前myproject1中所有表的元数据信息

odps@myproject1>select * from Information_Schema.tables;

2.查询当前项目内的作业历史信息。可添加日期分区进行过滤

odps@myproject1>select * from Information_Schema.tasks_history where ds='yyyymmdd' limit 100;


5.2.7.1.2 租户级别元数据

前面提到一个集群实际上有一个元数据的project——information_schema。这里的集群在MaxCompute的产品设计上,和元数据中心是一对一的概念。元数据中心分类如下:

•中国内地地域(上海、杭州、北京、深圳、成都、张家口)为一个元数据中心

•中国香港为一个元数据中心

•海外的每一个地域为一个元数据中心

•金融云(上海金区、深圳金区)为一个元数据中心

•政务云(北京)为一个元数据中心

有许多用户会有分析和查看自己租户下所有project的元数据信息,而在原来的项目级别的元数据方法下,是无法实现的。因此,产品目前已经推出租户级别元数据(当前仅在中国内地地域,邀测开放)。


5.2.7.2 MaxCompute计算资源运维

MaxCompute管家是运维中最为重要的模块。它是提供作业信息查看、资源消耗查看(包含存储和CU资源)、项目查看及调整、配额组增删改查等涉及日常运维能力的管理平台。当然此处主要是针对包年包月预付费形式的MaxCompute项目。其中涉及到的最重要的概念是:配额组(Quota)。配额组是MaxCompute的计算资源(CPU及内存)。在MaxCompute中支持根据计算作业对计算资源的需求,指定匹配的Quota,助力您高效使用计算资源。


5.2.7.2.1 MaxCompute project级别指定配额组

如开篇5.2.1.1.1中所解释,在创建MaxCompute项目时可以指定三种规格类型的其中一种。但由于项目开发生命周期的推进,目前想要从按量付费切换为包年包月的配额组(已经购买的前提下),则可以在DataWorks的 工作空间配置 � 计算引擎信息 中进行 Quota组切换,选到您想要分配给该项目的配额组即可。

另外,如果只是需要包年包月配额组的切换,则可以通过CU管家来完成(CU管家暂不支持三种规格类型间进行切换)。在CU管家左侧的导航栏选择 项目运维 �包年包月项目 操作栏点击“修改” 即可进行切换配额组的操作。


5.2.7.2.2 作业级别指定配额组

除了通过project级别关联配额组外,MaxCompute还支持单个作业通过在SQL前增加命令的方式,来指定单个作业运行的配额组。

在作业的Query前使用如下命令指定Quota。

set odps.task.wlm.quota=;

此处,quotaname即为Quota名称。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
6月前
|
边缘计算 运维 Kubernetes
云原生时代的运维转型之路
【8月更文挑战第29天】 在数字化转型的浪潮中,企业IT部门正面临前所未有的挑战。本文将探讨如何通过拥抱云原生技术,实现运维工作的现代化,提升系统稳定性和效率,同时降低运营成本。我们将分享实际案例,揭示成功转型的关键因素,并展望未来运维的发展趋势。
77 3
|
4月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
270 1
|
6月前
|
Cloud Native 安全 大数据
云原生与大数据
【8月更文挑战第27天】云原生与大数据
80 5
|
6月前
|
运维 监控 Cloud Native
自动化运维的魔法书云原生之旅:从容器化到微服务架构的演变
【8月更文挑战第29天】本文将带你领略自动化运维的魅力,从脚本编写到工具应用,我们将一起探索如何通过技术提升效率和稳定性。你将学会如何让服务器自主完成更新、监控和故障修复,仿佛拥有了一本能够自动翻页的魔法书。
|
29天前
|
编解码 弹性计算 大数据
软硬结合助力倚天云原生算力再进化,加速大数据、视频转码上云步伐
本文介绍了云原生算力的进化,重点讨论了倚天710 CPU在大数据和视频转码场景中的应用与优势。倚天710采用ARM架构,通过物理核设计和CIPU加速卡优化,显著提升了高负载下的性能稳定性,并在实际应用中帮助客户实现了20%-40%的性能提升和成本降低。此外,文章还探讨了操作系统、编译器等底层软件的优化,以及如何通过龙蜥社区和阿里云平台支持更多应用场景,助力企业实现高效迁移和性能优化。
|
2月前
|
机器学习/深度学习 人工智能 运维
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
|
4月前
|
机器学习/深度学习 人工智能 运维
智能运维:大数据与AI的融合之道###
【10月更文挑战第20天】 运维领域正经历一场静悄悄的变革,大数据与人工智能的深度融合正重塑着传统的运维模式。本文探讨了智能运维如何借助大数据分析和机器学习算法,实现从被动响应到主动预防的转变,提升系统稳定性和效率的同时,降低了运维成本。通过实例解析,揭示智能运维在现代IT架构中的核心价值,为读者提供一份关于未来运维趋势的深刻洞察。 ###
149 10
|
6月前
|
运维 Cloud Native Devops
一线实战:运维人少,我们从 0 到 1 实践 DevOps 和云原生
上海经证科技有限公司为有效推进软件项目管理和开发工作,选择了阿里云云效作为 DevOps 解决方案。通过云效,实现了从 0 开始,到现在近百个微服务、数百条流水线与应用交付的全面覆盖,有效支撑了敏捷开发流程。
19400 30
|
3月前
|
数据采集 分布式计算 OLAP
最佳实践:AnalyticDB在企业级大数据分析中的应用案例
【10月更文挑战第22天】在数字化转型的大潮中,企业对数据的依赖程度越来越高。如何高效地处理和分析海量数据,从中提取有价值的洞察,成为企业竞争力的关键。作为阿里云推出的一款实时OLAP数据库服务,AnalyticDB(ADB)凭借其强大的数据处理能力和亚秒级的查询响应时间,已经在多个行业和业务场景中得到了广泛应用。本文将从个人的角度出发,分享多个成功案例,展示AnalyticDB如何助力企业在广告投放效果分析、用户行为追踪、财务报表生成等领域实现高效的数据处理与洞察发现。
207 0
|
5月前
|
运维 监控 Cloud Native
云原生时代的运维策略:从反应式到自动化
在云计算的浪潮下,运维领域经历了翻天覆地的变化。本文将带你领略云原生时代下的运维新风貌,探索如何通过自动化和智能化手段,实现从传统的反应式运维向主动、智能的运维模式转变。我们将一起见证,这一变革如何助力企业提升效率,保障服务的连续性与安全性,以及运维人员如何适应这一角色的转变,成为云原生时代的引领者。
90 9