RDS审计日志采集方案升级--RDS审计中心发布

本文涉及的产品
对象存储 OSS,20GB 3个月
云备份 Cloud Backup,100GB 3个月
文件存储 NAS,50GB 3个月
简介: 数据库是企业业务的数据核心,其安全方面的问题已经成为数据泄漏和被篡改的重要根源。因此,对数据库的操作行为尤其是全量 SQL 执行记录的审计日志,就显得尤为重要。

背景

数据库是企业业务的数据核心,其安全方面的问题已经成为数据泄漏和被篡改的重要根源。因此,对数据库的操作行为尤其是全量 SQL 执行记录的审计日志,就显得尤为重要。


RDS SQL审计日志记录了对数据库执行的所有操作,这些信息是系统通过网络协议分析所得,对系统CPU消耗极低,不影响SQL执行效率。RDS SQL审计日志包括但不限于如下操作:

  • 数据库的登录和退出操作。
  • DDL(Data Definition Language)操作:对数据库结构定义的SQL语句,包括CREATE、ALTER DROP、TRUNCATE、COMMENT等。
  • DML(Data Manipulation Language)操作:SQL操作语句,包括SELECT、INSERT、UPDATE、DELETE等。
  • 其他SQL执行操作,包括任何其他通过SQL执行的控制,例如回滚、控制等。
  • SQL执行的延迟、执行结果、影响的行数等信息。

审计日志采集现状

目前,已支持“接入数据-RDS审计”和日志审计服务两种接入方式。

  • 接入数据-RDS审计”提供了简单的可视化采集方式。但是以采集目标project/logstore为第一视角,且有region化限时,对实例维度的采集不友好;project或实例较多时操作复杂。
  • 日志审计服务提供了自动化的采集能力,但是缺失了交互式的采集以及实例粒度的视图。


鉴于以上的场景上的缺失,我们推出了RDS审计中心,提供可视化的交互式采集能力、自动化采集能力及采集实例对象、存储库的管理视图。


三种采集方式的差异及使用场景

RDS审计中心方式和接入数据-RDS审计方式中的采集配置是互通的。日志审计服务中的RDS SQL审计日志采集配置为独立的采集渠道,不受另外两种采集方式影响。


  • RDS审计中心
  • 入口:在日志服务控制台首页的日志应用区域,单击RDS审计中心
  • 推荐场景:建议在单账号采集场景下使用。
  • 日志审计服务,之前有文章《基于SLS构建RDS审计合规监控》详细介绍了审计场景下的使用。
  • 入口:在日志服务控制台首页的日志应用区域,单击日志审计服务
  • 推荐场景:建议在跨账号、跨地域采集场景下使用。
  • 入口:在日志服务控制台首页的接入数据区域,单击RDS审计
  • 推荐场景:无,可由RDS审计中心代替。
属性 接入数据-RDS审计 RDS审计中心 日志审计服务
指定RDS实例粒度 支持 支持 支持
灵活指定存储目标库 支持 支持 不支持
跨地域采集 不支持 不支持 支持
跨账号采集 不支持 不支持 支持
自动采集 不支持 支持 支持
手动采集 支持 支持 不支持
查看采集状态视图 不支持 支持 不支持


接下来重点介绍RDS审计中心APP。

RDS审计中心

功能简介

image.png

RDS审计中心

RDS实例

SLS存储库

采集管理

北京

北京

RDS实例管理面板(交互式采集)

自动化采集配置

上海

上海

存储目标库管理面板

新加坡

新加坡

审计方式支持

灵活可视化

告警通知

实时查询

  • 采集管理
  • 支持集中管理RDS SQL审计日志的采集状态。
  • 支持自动采集现有或未来新增RDS实例的SQL审计日志。
  • 支持集中管理存储目标库(Project、Logstore)。
  • 日志审计
  • 提供RDS SQL审计日志的实时存储、查询与分析。
  • 提供丰富的可视化报表,支持报表邮件、钉钉群订阅。
  • 提供丰富的内置告警规则,支持灵活配置告警策略,及时精准地发送告警消息。

开启前提

开启RDS审计中心必须创建两个角色:

  • SLS日志审计服务关联角色AliyunServiceRoleForSLSAudit。开启RDS审计中心时,会自动创建该系统角色。

image.png

  • 已创建系统角色AliyunLogArchiveRole。

实例采集状态查询

开启后,点击数据接入,进入RDS审计日志接入视图。

  • 查看RDS实例信息。例如,实例ID、实例名、地域、数据库类型、标签、SQL洞察状态、采集状态、采集目标库等。

image.png

RDS审计中心

数据接入

数据接入

RDS审计日志接入

关闭服务关联角色(SLR)授权

查询

自动化采集配置

存储目标库

3个区域

?

告警

RDS实例

O4个区城

3

4

报表

已配置

存储目标库个数

日志采失实例数

实例总数

审计运营中心

可在面外中的年药州手自动中的在菜

审计安全中心

话输入实例ID/名称按索

例自动开启投递.

审计性能中心

Y

采生目标库(project/iogstore)

数据库类型

采集

SQL河察采集状态

标签

实例ID

地域

华南3广州)

开启

正常采朱中

mysql8.0

Erds-prod

m-7x

-cn-gu

onv:prod

angzhou

开启

正常采东中

华东1(杭州)

mysqlB.0

Erds-test-

m-bp

cn-han

ttt:111..

gzhou

开启

23

正常采荣中

华北5(呼和治特)

mysql8.0

rds-test-

-cn-huh

mi

env:test

开启

(硅谷)

美国

采生已关团

m-ri9

mysql8.0

t:t

8

上一页

总页数4

下一页

每贡显示:

20

  • 查看存储目标库信息。
  • 支持查看存储目标库的地域、数据保存时间。
  • 支持数据保存时间的调整。

image.png

RDS审计中心

数据接入

数据接入

RDS审计日志接入

关闭服务关联角色(SLR)授权

查询

自动化采集配雪

RDS实例

存储目标库

4个区域

告警

日3个区域

4

3

报表

已配置

实例总数

日志采集实例数

存储目标库个数

审计运营中心

审计安全中心

此列表展示所有已配为投递目标的日志库.

审计性能中心

9

数据保存时间(天)

目标

地域

7已

华北5(呼和活特)

Erds-test

cn-huhehaote

目rdslog

7飞

华南3(广州)

Erds-prod-

-cn-guangzhou

Brds_log

10飞

华东1(杭州)

Erds-test

cn-hangzhou

自rdslop

采集配置

手动采集

  • 对未开启的实例进行开启采集操作,支持自定义选择存储目标库。

image.png

RDS审计中心

数据接入

数据接入

RDS审计日志接入

关闭服务关联角色(SL月)授权

都查询

RDS实例

4个区域

选择存储目标库

3

报表

实例总数

日志采集实例数

投速实例(mqg1n4xa563a8oap)下日志库,也将自动开实例的sQL洞系功:

审计运营中心

件的现在或未来实x

您可在下面列表中的(采集播

地域

美国(硅谷)

审计安全中心

诗输入实例ID/名称搜索

例自动开自役递.

审计性能中心

拆津

项目

tost-yomo-us

菜集目标库(prdject/logstore)

实例ID

状态

采生绿作

Erds-prod-1293284105955578-cn-gu

E常果集中

m-7xvroy29xug3tq33u

--

日志库

ttt

angzhou

E常菜集中

m-bp16ban6283qp98v9

Erds-test-12932B4105955578-cn-an

XXX

gzhou

确认

取消

主常采集中

Erds-test-1293284105955578-cn-hu

m-hp3p340g89pw12p23

ehaote

(硅谷)

开启

采集已关团

开启

m-n91n4xa563aBoa8p

mysql8.0

t:t

  • 对于已开启采集的实例:支持变更存储目标库和关闭采集。

注意:如果后续自动化采集配置了强制性策略,会导致一些操作受限。

自动化采集

数据接入页签中,单击自动化采集配置。自动化配置提供了图形化的配置界面,有两种节点类型:条件节点、自动化采集配置节点。

  • 条件节点

可以使用阿里云账号ID、地域、实例ID、实例名、DB类型、DB版本号、标签等属性设置采集条件。

标准模式下各个条件之间为且关系。高级模式下,您可以灵活组合与嵌套条件。

  • 自动化采集配置节点
参数 说明
自动化采集类型 选择自动化采集类型,具体说明如下:
  • 自定义存储目标库:自动采集符合条件的RDS实例的审计日志到目标Logstore中。如果存储目标库(Project、Logstore)不存在,会自动创建对应的日志库目标。
  • 采集保持不变:选择采集保持不变时,无需设置地域ProjectLogstore不一致策略参数。
    • 符合条件的RDS实例,如果未开启采集,则不会自动开启。
    • 符合条件的RDS实例,如果已开启采集,则不会改变其目标日志库。
地域 系统自动默认选择目标RDS实例所在地域,无法修改。
Project 在RDS实例所在地域,自动创建一个名为rds-xxx-${主账号ID}-${地域}的Project。例如rds-test-12345674523-cn-hangzhou。
Logstore 在名为rds-xxx-${主账号ID}-${地域}的Project下,自动创建一个名为rds_log的Logstore。
不一致策略 当此次设置的存储目标库与当前已生效的存储目标库不一致时,系统将根据如下选择进行判断,具体说明如下:
  • 忽略:以当前已生效的存储目标库为准。
  • 覆盖:以此次设置的存储目标库为准。


自动化采集举例:

  • 绑定env==prod标签的RDS MySQL实例的审计日志投递到名为rds-prod-${主账号ID}-${地域}的Project下的rds_log Logstore中。
  • 绑定env==test标签的RDS MySQL实例的审计日志投递到名为rds-test-${主账号ID}-${地域}的Project下的rds_log Logstore中。
  • 其他RDS实例的审计日志的存储目标库以当前已生效的存储目标库为准。

image.png

自动化采集配置

自定义存储目标库

自动化采集类型

条件

地城

与采集对象相同地域

等于

标签.env

prod

结束

-主账号ID-S(地域]

rds-

Project

prod

0

rds_log

Logstore

爱盖

不一致策略

自动化采集配置

自动化采集类型

自定义存储目标库

条件

地城

与采集对象相同地域

等于

标签.env

test

结束

$[主账号ID-s(地域)

test

Project

rds-

rdslog

Logstore

爱盖

不一致荣略

自动化采集配置

自动化采集类型

采集保持不变

查询分析

image.png

报表

仪表盘 说明
RDS审计运营中心 展示整体访问情况、活跃数据库等信息,包括操作的数据库数量、操作表格数、执行错误、累计插入行数、累计更新行数、累计删除行数、累计查询行数等。
RDS审计性能中心 展示运维可靠性相关指标,包括SQL执行峰值、查询带宽峰值、插入开端峰值、更新带宽峰值、删除带宽峰值、SQL平均时间、查询SQL平均时间、更新SQL平均时间、删除SQL平均时间等。
RDS审计安全中心 展示数据库安全相关指标,包括错误数、登录失败次数、大批量删除事件、大批量修改事件数、危险SQL执行次数、错误操作类型分布、出错客户端外网分布、错误最多的客户端等。


例如,RDS审计运营中心。可以方便在所有存储目标库之间切换,查看内置报表。

image.png

告警监控

RDS审计中心中已内置告警规则、SLS审计内置告警策略、SLS审计内置行动策略、SLS审计内置用户组和SLS审计内置内容模板。

常见的告警如下:


使用者只需要配置简单的用户信息即可在异常发生时接收到告警通知。详细操作,见链接

  • 用户管理中,添加用户信息

image.png

RDS审计中心

告警

数据接入

告答中心

规则/事务

告警管理

新版告警(公测)介绍功能览使用限制定价常见问

查询

告窖管理

状态:

规则状态

有新版本(0)

无异常(17)

有异常(O)

品规则视图

出其他

告等大盘

用户管理

报表

产品

留类别:

用户管理

告警英路

告告链路中心

审计运营中心

监控规则中心

用户组管理

行动英路

告等排障中心

值班组管理

内容模版

输入模版ID或模版描述筛选

审计安全中心

关闭

开启

临时关

告警中心日志

资源数据

全局默认日历

渠道额度

Webhook荣成

审计性能中心

操作

类别

外部配适

开放告警

云数据库RDS

RDS慢SQL检测

已开启(4)

+

关闭临时关闭删除

展开

云数据库RDS数据库安全

+

已开启(4)

白名单

关闭临时关闭删除

RDS外网访问检测

展开

云数据库RDS数据库安全

+

未创建

RDS大批数据删除告警?

开启

展开

云敬据库RDS数据库安全

RDS危险的SQL执行告蜜

+

开启

未创建

展开

云数抱库RDS数据库安全

未创建

RDS高频访问IP检测?

开启

+

展开

云数据库RDS数据库安全

RDSSQL执行错误数过多告警?

未创建

开启

+

展开

云数据库RDS数据库安全

RDS大批量数据修改事件告警?

开启

未创建

展开

image.png

  • 将用户加到“SLS审计内置用户组”中。

image.png

image.png

告警中心

新版告警(公测介绍功能概览使用限制定价常见问题

用户组管理

规则/事务

用户组管理

请输入完整的标识符或姓名

刷新

批呈添加

创建

上次修改时间小

成员

状态

标识符

创建时间上

操作

名称

修改售制删除

1个

SLS审计内置用户组

2020-09-2407:58:02

正常

2021-06-2916:09:10

sls.app.audit.builtin


审计场景应用

下面以RDS慢日志监控为例,说明下端到端的审计流程。


  • 查看审计性能中心报表,发现最近执行的慢SQL结果。

image.png

  • 一键开启 “RDS慢SQL检测”告警规则。
  • 告警规则上的红色框,可以针对所有的logstore一键开启告警监控。
  • project列表上的蓝色框,可以仅开启部分logstore的告警监控。

image.png

  • 监控到异常并以邮件(或其他形式)形式通知

image.png

百阿里云

管理控制台用户中心帮助中心

备案专区

联系客服

产品服务

首页

尊敬的用户:

您的日志服务有一组新的告警(1条),详情如下:

阿里云账号:

告警规则名称:RDS慢SQL检测

告警等级:高级

告警标题:RDS慢SQL告警

p989下的数据库null过去2分钟内出现1次慢SQL执行.

告警内容:RDS实例mm-bp1o

此次告警的触发时间:2021-06-2919:36:26

告警规则所在Project:rds-test-1

55578-cn-hangzhou

阿里云计算有限公司

此为系统邮件请勿回复

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
10天前
|
SQL 缓存 关系型数据库
MySQL原理简介—7.redo日志的底层原理
本文介绍了MySQL中redo日志和undo日志的主要内容: 1. redo日志的意义:确保事务提交后数据不丢失,通过记录修改操作并在系统宕机后重做日志恢复数据。 2. redo日志文件构成:记录表空间号、数据页号、偏移量及修改内容。 3. redo日志写入机制:redo日志先写入Redo Log Buffer,再批量刷入磁盘文件,减少随机写以提高性能。 4. Redo Log Buffer解析:描述Redo Log Buffer的内存结构及刷盘时机,如事务提交、Buffer过半或后台线程定时刷新。 5. undo日志原理:用于事务回滚,记录插入、删除和更新前的数据状态,确保事务可完整回滚。
|
12天前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
22天前
|
监控 Oracle 关系型数据库
Mysql、Oracle审计日志的开启
通过上述步骤,可以在 MySQL 和 Oracle 数据库中启用和配置审计日志。这些日志对于监控数据库操作、提高安全性和满足合规性要求非常重要。确保正确配置审计参数和策略,定期查看和分析审计日志,有助于及时发现并处理潜在的安全问题。
40 11
|
25天前
|
监控 关系型数据库 MySQL
Aurora MySQL负载突增应对策略与优化方案
通过以上策略,企业可以有效应对 Aurora MySQL 的负载突增,确保数据库在高负载情况下依然保持高性能和稳定性。这些优化方案涵盖了从架构设计到具体配置和监控的各个方面,能够全面提升数据库的响应速度和处理能力。在实际应用中,应根据具体的业务需求和负载特征,灵活调整和应用这些优化策略。
51 22
|
26天前
|
Java 关系型数据库 MySQL
MySQL 分库分表方案
本文总结了数据库分库分表的相关概念和实践,针对单张表数据量过大及增长迅速的问题,介绍了垂直和水平切分的方式及其适用场景。文章分析了分库分表后可能面临的事务支持、多库结果集合并、跨库join等问题,并列举了几种常见的开源分库分表中间件。最后强调了不建议水平分库分表的原因,帮助读者在规划时规避潜在问题。
130 20
|
1月前
|
存储 SQL 关系型数据库
云端问道20期方案教学-体验RDS通用云盘核心能力
本文整理自杨浩磊(木信)老师在云端问道20期方案教学中的分享,主要介绍了RDS通用云盘的核心能力。内容涵盖四个方面:1) 初识RDS通用云盘,介绍其多级存储架构和工作原理;2) 核心能力,包括IO加速、IO突发和数据归档;3) 方案及应用案例,展示如何通过RDS通用云盘提升性能并降低成本;4) 线上活动与权益,提供免费试用和超值礼包等优惠信息。RDS通用云盘通过缓存层、数据层和冷存层的结合,实现了高性能与低成本的平衡,帮助企业有效应对数据库运维挑战。
云端问道20期方案教学-体验RDS通用云盘核心能力
|
1月前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
2月前
|
关系型数据库 MySQL Linux
MySQL版本升级(8.0.31->8.0.37)
本次升级将MySQL从8.0.31升级到8.0.37,采用就地升级方式。具体步骤包括:停止MySQL服务、备份数据目录、下载并解压新版本的RPM包,使用`yum update`命令更新已安装的MySQL组件,最后启动MySQL服务并验证版本。整个过程需确保所有相关RPM包一同升级,避免部分包遗漏导致的问题。官方文档提供了详细指导,确保升级顺利进行。
237 16
|
2月前
|
存储 缓存 关系型数据库
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
MySQL的存储引擎是其核心组件之一,负责数据的存储、索引和检索。不同的存储引擎具有不同的功能和特性,可以根据业务需求 选择合适的引擎。本文详细介绍了MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案。
【MySQL进阶篇】存储引擎(MySQL体系结构、InnoDB、MyISAM、Memory区别及特点、存储引擎的选择方案)
|
2月前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!
《MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!》介绍了MySQL中的三种关键日志:二进制日志(Binary Log)、重做日志(Redo Log)和撤销日志(Undo Log)。这些日志确保了数据库的ACID特性,即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改,保证事务持久性;Undo Log记录事务的逆操作,支持回滚和多版本并发控制(MVCC)。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异,强调了InnoDB在高并发和事务处理中的优势。通过这些机制,MySQL能够在事务执行、崩溃和恢复过程中保持
125 3

相关产品

  • 日志服务