使用SLS告警为你的OSS保驾护航

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
文件存储 NAS,50GB 3个月
简介: SLS告警作为一站式运维告警平台,也为OSS的访问提供了定制化的告警规则,用户只需要一键开启,即可完成对OSS访问指标的监控,并可以在指标出现异常时及时收到告警。本文主要介绍如何使用在OSS访问日志上开启SLS告警及配置方法。

背景

OSS作为阿里云的对象存储产品,具有非常广泛的应用场景,可以在OSS存储网站,App上的图片,视频,文件等。具有安全,低成本,高可靠等特点。在使用OSS的过程中,开发运维人员往往需要关注OSS的一些访问情况,比如一些流量数据,性能数据等。在一些指标,比如流量等出现异常时,也希望能够收到一些告警通知,便于及时查看相关的异常。


SLS告警作为一站式运维告警平台,也为OSS的访问提供了定制化的告警规则,用户只需要一键开启,即可完成对OSS访问指标的监控,并可以在指标出现异常时及时收到告警。本文主要介绍如何使用在OSS访问日志上开启SLS告警及配置方法。


本文主要包括如下部分:

  • 开启OSS访问日志
  • 查看OSS专属仪表盘
  • 开启OSS定制化告警

开启OSS访问日志

OSS访问日志主要记录了OSS的访问数据,批量删除数据和每小时计量数据。访问日志主要记录对OSS Bucket和Object的操作记录,例如增删Bucket,列举/上传/复制文件等,同时也会记录客户端的访问IP,请求的方法,大小,响应时间,大小等信息,通过这些信息可以对OSS的访问进行流量,统计,性能等分析。下面介绍下开通OSS访问日志的步骤。

在OSS控制台首页,点击某个Bucket进去,找到左边的日志管理,点击实时查询,如果之前还没有开通实时查询,这里会显示立即开通。image.png

对家存馆

实时查询

Bucket列表

1/李东2(上淘)

日志转存

实时查询

楼货

实时日志查询

用量查询

立即开走

文件查理

风收营理

起配设置

>

几余与容错

>

传编管理

>

日志置理

数属处理

我糕安全

开通后,OSS会在SLS侧创建一个该区域的OSS Bucket专属的Project和Logstore。Project与Logstore名称格式为:

Project: oss-log-阿里云账号ID-地域ID

Logstore: oss-log-store

已经开通过OSS访问日志的界面如下:

image.png

在原始日志的查询页面,可以使用SLS查询分析语法对日志进行分析,同时也可以在SLS控制台找到oss-log-阿里云账号ID-地域ID的Project,然后进行查询分析查看仪表盘,创建告警等。


查看仪表盘

除了OSS访问日志外,SLS在访问日志的基础上提供了四个专属仪表盘,仪表盘主要包括一些流量展示,流量分布,性能数据和运维数据,仪表盘可以让用户对OSS的访问有一个全面的认识,并且可以发现其中的一些异常。仪表盘详情如下:

仪表盘 说明
访问中心 展示总体运营状况信息,包括PV、UV、流量以及外网访问地图分布等。
审计中心 展示文件操作的统计信息,包括读、写、删除文件等操作。
运维中心 展示OSS的运维信息,包括请求数量、操作失败的分布统计等。
性能中心 展示OSS性能的统计信息,包括外网下载/上传性能分布、不同网络与文件大小的传输性能、文件下载差异列表等。


在OSS控制台访问日志的日志报表标签页可以看到这四个仪表盘,在SLS控制台相应的Project下也可以查看四个仪表盘列表。

image.png

运维中心仪表盘

image.png

吐运维中心

相领

:订同

0告

全屏

9盛宣期垢

用户请末布蚊丰1小甜(海期)

1.682K

20

99.95

509.17.

5.145Mil

99.99%

100.64%

110.37%

今日阿比炸日

今日天站讯

育有镇置

有日:网设件

今户网配虾

Buckot访与外布1大(他川)

Bucket有请外布(G日)1天()

00952006

10706

07A0L"..

060v200g..

0.00%

oa.0oox

62.71%

用户请鼎有效丰就供语期)

用户清求PV与有效性枕势村料

9a

HNMND

99.8

25k)

99A

99>

20K

微户请源叙

1bk

98

5Ok)

GA

地s.g1s.i..

心地

防同美康枕泰性势州科商2

用户请未桂果分有时(购)

35K

访问中心仪表盘

image.png

image.png

内界外再人南出意童技梦小时(相力

津量路若快(相对)

25斤

2.5

DINN清

2k

1.5K

1.5K

IMBI

1)

IMEI

L3

?内玖人荣

[酥E)

内物叶餐M品

50c

址8址

50712919:55

Q7129159502291615

Sie9155Qe1

有效CET/P05T方法访拉势时桐烤

35k

itpni

30k

30k

25K

1ac

20K

PIEI方油)

80

PYPUT

15K

40

姓k

4G

ww.批

性能中心仪表盘

image.png

性岚中心

0售篮

日置时间

:订门

3分亨

编辑

全国

性旋热势4小时(图网

各同塔性店写+小科1133)

Buckot开表1天173川)

12

址UM州川刘美N

10

内下

外播上

止车

精南程

咖er.mee.apm..0日..Dea.0mm.

..0am.@aapa.

咖en-@pa.0am..

apm.tr..@p..@za..@a..@o..om.@omo

l.aae.@tpa-

aea:

@ra:

07a.

外网上传性解分布小时(相财)

外阳下性性能分高小付时(组购)

审计中心仪表盘

image.png

C现所

日重直时间

牙亭

全导

市计中心

小合罚

识博

文性体款送储)

美立文作担个食送图对

文蚌绿炸欢微天(

Q

5.134Mil

5.866K

240.56K

240.935K

0

1.006%

1.036%

1.039%

1.037%

100%

今日问比开日

今口:同物市口

今日/手上除目

今三用轮日

今日关2日

0

29K

5k

Q7241340

8.82%

总霜

12K

914K

通过以上四个仪表盘,我们可以对OSS的访问情况有一个整体的了解,比如访问分布,访问性能,访问热点等,同时我们也可以基于仪表盘创建告警,在某些指标出现异常时我们可以及时收到通知,便于我们通知告警。创建告警的方式可以参考之前的一篇文章


配置告警

除了自定义告警对OSS的访问日志进行监控之外,SLS还提供了一批开箱即用的告警规则,只需要鼠标点几下,即可对OSS访问日志进行告警配置。SLS内置的OSS告警规则目前包含23个,还在不断地增加中。规则主要包括操作合规类,数据安全类和流量安全类,基本覆盖了在OSS访问中可能出现的异常告警,这些内置规则由SLS维护更新,其中一些规则用到了SLS的机器学习算法,使告警更加智能可靠。

内置规则列表(不断扩充中)

OSS操作合规(4)

  • OSS Bucket加密关闭告警
  • OSS Bucket访问日志记录关闭告警
  • OSS新创建的Bucket访问日志记录未开启告警
  • OSS新创建的Bucket加密未开启告警

OSS数据安全(6)

  • OSS账号访问控制
  • OSS文件权限变更告警
  • OSS错误操作检测
  • OSS Bucket删除告警
  • OSS频繁删除对象告警
  • OSS跨区域复制开关检测

OSS流量安全(13)

  • OSS外网访问检测
  • OSS匿名访问检测
  • OSS高频访问IP检测
  • OSS请求平均响应延迟过高告警
  • OSS Bucket有效请求率过低告警
  • OSS访问PV同比昨日变化率过高告警
  • OSS访问UV同比昨日变化率过高告警
  • OSS访问流量同比昨日变化率过高告警
  • OSS流量异常检测
  • OSS流入流量异常检测
  • OSS流出流量异常检测
  • OSS访问PV异常检测
  • OSS访问UV异常检测

使用方法

在SLS控制台找到oss-log-阿里云账号ID-地域ID的Project,点击左侧的告警图标,右边会展示告警规则列表。SLS会自动加载OSS访问日志内置的告警规则列表。

image.png

盘标570

告启中心

营台青浴业寨售世动非三号发气一181556高灯日装

?

逸.

C

暂停中1日河万中1间

2

输入横天红dw啡Q

#4语

古世空生商开

来也啡

51110551055

冰店时

4C1开启

*红

*L

外E型量1055/O55HUF片

净国情

肃请津

对;:10551055家根安主机

c卫开品

肃旗消

5SHT9495587110

2:1开品

禾旗津

专意江业创设开专达供售警

承候林

黑香林

在告警规则列表页可以看到每个分类下告警规则,我们可以对其进行开启设置添加操作。光标置于每个规则后的问号会显示规则的详细信息。

image.png

在规则的左边有+号,表示该规则支持多实例配置,一般情况下是该规则允许配置不同的告警触发阈值,不同的Bucket名称或者异常点个数;可以更加灵活的控制告警。


多实例规则

以OSS流量异常检测规则为例,点击右侧的“添加”按钮,我们可以在参数设置页面配置不同的参数。在参数页面我们可以设置该告警实例的严重度,异常点个数阈值,阿里云账号和Bucket名称的正则过滤,还有行动策略(在这里配置发送渠道)

image.png

单实例规则

以OSS匿名访问检测告警为例,这里只需要开启告警即可,会创建一个该规则下是告警实例,这是由告警本身的性质决定,没有使用阿里云账号/子账号或者AccessKey对OSS的访问是不需要创建多份实例的。比如有匿名访问时,同时创建一个严重度高和严重度中的告警实例没有必要。

image.png

0Ss匿名访问检测

开启设置

S流量安全展开

未创建

C

添加开启

规则详情

ID:sls_app_audittlow_atoss_anony_visit

添加开启

C

名称:oSs匿名访问检测

播述:0SSBuCke被展名说间时@0ss的访问没有使用网里云账号账号者Acceskey,触发告害.

添加开启

C

类别:云平台,阿里云,对象存储(oss),OSS流量安全

版本:1

添加开启

image.png

OSS访问PV同比昨日变化率过高告警

这里以OSS访问PV同比昨日变化率过高告警为例,开启一个告警并且配置通知。

首先,点击右侧的添加按钮。

image.png

配置参数:
  • 选择严重度:包括严重,高,中,低,报告
  • 增长率阈值和下降率阈值:表示当前10分钟的pv相对于昨天相同时段的增长率或者下降率的阈值,注意,下降率这里填写正数。
  • Bucket名称:允许使用正则对访问日志中的不同Bucket进行监控
  • 行动策略:可以选择默认的SLS OSS内置行动策略

image.png

配置行动策略

点击上方的行动策略选择,查看配置详情,弹出页面,默认行动组为空,需要添加行动组。image.png

编辑行动策略

ID:

sls.app.oss.bulltin

19/60

名称:

sLso内置行动策略

13/40

第一行动列表

第二行动列表

Q

开始

结束

这里我们添加一个钉钉的通知渠道,如果需要更多的行动策略配置,可以参考【链接】。

image.png

开启告警

点击设置并开启,可以看到一个告警实例已经开启成功。

image.png

接收告警

这里是默认的告警模板,如果需要定制化的内容模板,也可以进行设置,参考【链接】。

image.png

SLS告警

阿里云账号:

16

告警规则名称:OSS访问PV同比昨日变化率过高告

告警严重度:高级

告警标题:OSS访问PV同比昨日变化率过高告警

告警内容:账号16!

0下的Bucket

product过去10分钟的访问PV同比前一

report-ir

天变化率过大,变化率:-10.34%

告警首次触发时间:2021-07-2921:50:51

此次评估的触发时间:2021-07-2921:50:51

触发告警的实例D:c1f74d901e98d157-

5c8436415c6d3-50544be

告警规则所在Project:

osS-log-

150-cn-hangzhou

16

告警状态:触发

[详情][设置]


总结

通过开启OSS访问日志,可以直接拥有SLS的专属Project和专属Logstore,借助SLS强大的实时查询分析能力,可以进行一些问题的排查和统计;同时还有四个定制仪表盘供用户对OSS进行监控分析和运行情况进行总览;在告警方面,SLS内置了一批非常实用的告警规则,无需过多配置,可以一键开启告警,在后面SLS还将提供更多告警规则,以满足更多的场景需求,敬请关注。


SLS告警作为一站式云原生智能告警运维平台,提供对日志、时序等各类数据的告警监控,亦可接受三方告警,对告警进行降噪、事件管理、通知管理等,充分考虑研发、运维、安全以及运营人员的告警监控运维需求。


本文也通过一个实例演示了如何使用SLS内置告警规则来对OSS进行告警配置,实现了对OSS流量的监控告警。


参考

  • 开通OSS访问日志【链接
  • 监控OSS访问日志【链接
  • SLS告警-行动策略【链接
  • 通知内容定制【链接

进一步参考


相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
18天前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
50 9
|
4月前
|
SQL 分布式计算 监控
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程,包括数据开发和生产调度以及交互式查询等场景。
56571 7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
3月前
|
运维 Serverless API
Serverless 应用引擎产品使用合集之sls日志告警调用函数计算,出现抛出的结果异常,是什么原因
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
3月前
|
存储 运维 Serverless
函数计算产品使用问题之日志告警不生效,一般是由于什么造成的
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
4月前
|
存储 运维 监控
运维编排最佳实践:将运维编排任务执行记录投递到OSS/SLS
运维编排服务(Operation Orchestration Service),简称OOS,是全面、免费的云上自动化运维平台,提供运维任务的管理和执行。典型使用场景包括:事件驱动运维,批量操作运维,定时运维任务,跨地域运维等,OOS为重要运维场景提供审批,通知等功能。OOS帮您实现标准化运维任务,从...
运维编排最佳实践:将运维编排任务执行记录投递到OSS/SLS
|
4月前
|
存储 分布式计算 监控
操作审计最佳实践:将阿里云操作日志持续投递到您的 SLS/OSS
操作审计(ActionTrail)帮助您监控并记录阿里云账号的活动,包括通过阿里云控制台、OpenAPI、开发者工具对云上产品和服务的访问和使用行为,记录为操作日志。 操作审计支持所有阿里云账号的免开通服务,默认为所有账号记录并存储近 90 天的日志。但在实际应用中,受法律法规和企业审计标准的要求,...
273 0
|
4月前
|
机器学习/深度学习 运维 监控
用SLS配置日志关键字告警的N种方法
本文由日志关键词告警出发,介绍了使用SLS进行关键词监控告警配置,并且介绍了几种常见的配置方法,可以覆盖关键词监控的大部分场景。
316 0
用SLS配置日志关键字告警的N种方法
|
4月前
|
存储 运维 监控
使用Terraform玩转SLS告警
本文主要介绍使用Terraform来操作SLS告警监控,告警管理。
90 0
使用Terraform玩转SLS告警
|
4月前
|
存储 运维 监控
通过 SLS 实现日志大数据入湖 OSS
数据湖技术在日志生态中扮演不可或缺的角色,而打通日志从生产端到数据湖的链路却比较复杂。本文将介绍基于 SLS 方案为日志入湖提供端到端(End-to-End)支持,帮助用户提升接入效率,并在费用、运维上有效降低成本。
225 1
通过 SLS 实现日志大数据入湖 OSS
|
4月前
|
运维 监控 安全
SLS相同监控规则太多?试试告警监控模板
本文主要介绍了SLS自定义告警监控模板的使用场景以及最佳实践。
107 0
SLS相同监控规则太多?试试告警监控模板

热门文章

最新文章

相关产品