使用CloudLens for OSS构建Bucket资产可观测性实践

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,内容安全 1000次 1年
简介: 本文介绍通过CloudLens for OSS计量日志的自定义查询分析,来构建不同Bucket之间资产趋势可观测性对比分析。

1. CloudLens for OSS介绍

日志服务联合阿里云OSS推出CloudLens for OSS,支持Bucket粒度的统一管理视图,支持资源用量、访问分析、异常检测、安全分析等可视化分析能力,提供场景化运维管理,实现Bucket资产的可观测性。
本文介绍通过CloudLens for OSS计量日志的自定义查询分析,来构建不同Bucket之间资产趋势可观测性对比分析。

2. 需求场景描述

通常使用OSS时,不同的Bucket用于存放业务系统中不同应用的数据。需要在一个视图上能够看到OSS中,某一时间段内不同Bucket之间整体存储容量的趋势对比,用于判断不同应用Bucket数据量走势,从而进行相应的业务应用规划操作。
但是在OSS控制台概览的【存储用量】界面,只能看到所有Bucket的总存储容量趋势,无法看到所有单个Bucket纬度的存储容量对比趋势,如下图所示。
image.png
在Cloud Lens for OSS【报表中心】中【资源用量】的界面,同样也是只能看到所有Bucket存储容量综合趋势,无法看到各Bucket之间的对比趋势,如下入所示。
image.png

3. 解决方案呈现

3.1 前置资源准备

  • 已开通阿里云对象存储OSS服务
  • 已创建不同的Bucket并上传相应的文件
  • 已开通阿里云日志服务SLS
  • 已开通SLS的CloudLens for OSS的功能

注:在开通CloudLens for OSS时,会默认开通计量日志和时序监控数据日志的功能,访问明细日志需要手动单独开通。CloudLens for OSS支持计量日志(最近60天免费)、时序监控数据(最近60天免费)、访问明细日志(最近7天免费,限额900GB/天的日志写入额度(如果一条日志为1KB,约为9亿条))的查询分析。超出部分,由日志服务单独收费。

3.2 解决方案内容

由于查看OSS的存储容量趋势,需要对OSS的计量日志进行查询和统计分析,因此需要在Cloud Lens for OSS【查询分析】功能中的【计量日志】界面,对OSS的计量日志进行自定义查询和分析。
可以自定义查询分析所有Bucket或指定Bucket之间的存储容量趋势对比,相应的查询分析语句如下。
image.png
返回的结果如下图所示,在统计图表中可以到,在本周内所有Bucket之间存储容量的对比趋势。
image.png
image.png
返回的结果如下图所示,在统计图表中可以到,在本周内重点关注的4个业务应用的Bucket:bucket1、bucket2、bucket3和bucket4之间的存储容量对比趋势。
image.png
以上便通过SLS的Cloud Lens for OSS功能,实现了在一个界面中能够看到OSS,某一时间段内不同Bucket之间存储容量的趋势对比,从而可以以此为依据,对业务系统中不同应用的发展趋势进行对比和分析。

4. 方案推广举一反三

通常除了有分析OSS 不同Bucket存储容量对比趋势的需求之外,用户还比较关心的是各个Bucket的外网流传流量、CDN流出流量和GET请求次数。在OSS计量日志中,上述参数对应的日志字段如下图所示,全部字段详情参考日志字段详情
image.png
只需要在SLS的Cloud Lens for OSS功能中,【计量日志】自定义查询分析的输入框里,把之前查询分析存储容量SQL语句中的round(sum(storage/1024/1024), 2) as "存储容量"修改为查询相应参数的语句即可。如统计分析指定Bucket GET请求的趋势,语句可修改为round(sum(get_request), 2) as "GET请求次数",具体SQL语句如下。
image.png
返回的结果即为不同Bucket的GET请求之间的趋势对比。
image.png
同样,也可以对OSS不同Bucket的外网流出流量趋势等参数,通过SLS的Cloud Lens for OSS自定义查询分析,进行统计分析和趋势对比,从而能够让日志数据更好地反哺和赋能于业务的发展。

5. 总结

日志服务SLS的CloudLens for OSS,不仅可以通过对【计量日志】进行自定义查询分析(存储容量、流出流量、请求次数等),用来构建Bucket级别资产可观测性;还可以通过对【访问明细日志】进行自定义查询分析(并发请求数,响应延迟,带宽占用等),用来构建服务端性能指标的可观测。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
6月前
|
监控 安全 BI
CloudLens for OSS全新升级助力OSS 安全审计
CloudLens for OSS支持OSS Bucket粒度的统一管理视图,支持资源用量、访问分析、异常检测、安全分析等可视化分析能力,提供场景化运维管理,实现Bucket资产的可观测性。
77312 0
|
6月前
|
存储 搜索推荐 对象存储
OSS绑定自定义域名至Bucket默认域名
OSS绑定自定义域名至Bucket默认域名
153 1
|
4月前
|
存储 弹性计算 监控
建设云上稳定性问题之为什么要在云效平台创建发布流水线并将源代码编译环节替换为从OSS下载构建部署物
建设云上稳定性问题之为什么要在云效平台创建发布流水线并将源代码编译环节替换为从OSS下载构建部署物
|
3月前
|
弹性计算 JavaScript Ubuntu
ECS 挂载 OSS 多Bucket
ECS 挂载 OSS 多Bucket
72 0
|
5月前
|
监控 Serverless 持续交付
阿里云云效产品使用问题之如何让流水线支持构建 flutter web 应用到 OSS
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
5月前
|
存储 域名解析 前端开发
云上攻防-云服务篇&对象存储&Bucket桶&任意上传&域名接管&AccessKey泄漏
云上攻防-云服务篇&对象存储&Bucket桶&任意上传&域名接管&AccessKey泄漏
172 8
|
4月前
|
持续交付 开发工具 对象存储
阿里云云效产品使用合集之构建物如何上传到阿里云OSS
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
6月前
|
存储 数据管理 Java
基于OSS、NFS构建高性能可扩展的遥感智能解译系统实践之路
该文探讨了构建高性能、可扩展的遥感智能解译系统的架构演进过程。作者强调架构应根据业务场景而定,而非追求单一的“最佳”架构。文章分为五个部分,介绍了从初步的业务场景分析到逐步优化的架构设计。 1. 业务场景描述了服务于地理信息行业的遥感数据管理平台,包括数据湖和遥感智能解译系统的功能和架构设计。 2. 初代系统解决了数据管理和智能解译的基本需求,但存在数据同步效率低下的问题。 3. 自动化阶段通过消息推送和数据接收模块减少了人工干预,将处理时间减半,但仍存在效率和稳定性问题。 4. 高性能阶段引入数据订阅/推送和数据接收Agent,实现了稳定、高速的数据传输,性能提升了6倍。
48820 2
|
6月前
|
安全 Go 开发工具
对象存储OSS产品常见问题之go语言SDK client 和 bucket 并发安全如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
131 9
|
6月前
|
存储 域名解析 安全
对象存储OSS产品常见问题之控制台概览显示的流量信息和bucket的不一致如何解决
对象存储OSS是基于互联网的数据存储服务模式,让用户可以安全、可靠地存储大量非结构化数据,如图片、音频、视频、文档等任意类型文件,并通过简单的基于HTTP/HTTPS协议的RESTful API接口进行访问和管理。本帖梳理了用户在实际使用中可能遇到的各种常见问题,涵盖了基础操作、性能优化、安全设置、费用管理、数据备份与恢复、跨区域同步、API接口调用等多个方面。
174 0