日志审计:开启RDS/PolarDB错误日志采集

简介: 本文主要介绍如何在日志审计中开启RDS错误日志以及Polardb错误日志的采集与监控

1.背景

1.1 日志审计

日志审计服务App是阿里云日志服务SLS(Simple Log Service)旗下的一款应用,它在继承了日志服务SLS的全部功能以外,还有强大的多账号管理及跨地域采集功能,支持通过资源目录(Resource Directory)的方式有组织性地统一地管理和记录多账号下云产品实例的日志信息,可以便于用户进行统一分析,问题排查,回溯复盘等操作。日志审计APP可以自动化、中心化地采集云产品日志并进行审计,其服务覆盖基础(操作审计、k8s)、存储(OSS、NAS)、网络(SLB、ALB、API网关、VPC)、数据库(RDS、PolarDB-X1.0,PolarDB)、安全(WAF、DDOS、SAS、CPS)等产品,还支持审计所需的存储、查询及信息汇总等功能。

1.2 RDS/PolarDB错误日志

日志审计原已支持RDS、PolarDB的审计日志类型、慢日志类型(mysql版)和性能日志类型(mysql版), 支持RDS错误日志和PolarDB错误的采集是补全日志审计数据库日志类型版图的重要一步。同数据库类其他日志类型一样,日志审计可以跨账号地自动化地采集RDS的错误日志和Polardb的错误日志,如果有数据库实例更新,将会自动化跟进其错误日志的采集,并支持采集策略配置使得可以对采集对象进行精细过滤和控制。同时日志审计还可以还具备强大的跨域能力,可以将采集的日志汇总到同一中心project下,方便用户的中心化查询分析和管理。

2 开启错误日志采集

2.1. 开启自动采集

2.2 多账号及跨域、自动采集能力

2.2.1 多账号汇总

日志审计对资源目录和自定义鉴权的支持使得其天然具备同时采集多账号下的日志信息的能力,下图是同时采集多个账号下RDS错误日志和PolarDB错误日志的一些示例。

通过日志审计多账号配置,可以将1023*账号所属的plardb实例*9a1o的错误日志采集到148中心账号下的project下。

2.2.2 跨地域与中心化

在日志审计下开启RDS/PolarDB错误日志采集之后,日志审计将自动将多账号、多地域下的日志通过直接采集汇总到是sls下名为slsaudit-center-${center_account}-${region} 的project的rds_log中。下图是一个RDS错误日志采集结果的一个示例,可以看到rds来自杭州地域实例的错误日志和来自上海地域实例的错误日志都被采集到同一中央project的logstore中。



2.2.3 自动采集能力

日志审计开启RDS/PolarDB错误日志采集功能之后,对于新创建的RDS/PolarDB实例,将会自动将其错误日志写入日志审计。日志审计下RDS日志字段参见RDS日志字段,PolarDB的日志字段参见PolarDB日志字段

2.3 精细化日志采集粒度

日志审计支持对RDS实例进行精细化采集粒度控制,用户可以通过账号、地域、实例ID、实例名、标签等属性进行精准采集设置。具体的采集策略可以参考日志审计采集策略一节。


云产品

采集对象

属性

说明

RDS

RDS实例

账号:account.id

RDS实例所属的阿里云账号ID

地域:region

RDS实例所属的地域,例如:cn-shanghai

实例ID:instance.id

RDS实例ID

实例名:instance.name

RDS实例名

DB类型:instance.db_type

RDS实例所属的DB类型

DB版本号:instance.db_version

DB版本号,例如:8.0。

标签:tag.*

用户自定义的标签名。

tag.*中的星号(*)替换为您自定义的标签名。

采集策略说明

云产品

采集对象

属性

说明

PolardDB

PolarDB集群

账号:account.id

PolarDB集群所属的阿里云账号ID。

地域:region

PolarDB集群所属的地域,如cn-shanghai。

集群ID:cluster.id

PolarDB集群ID。

集群名:cluster.name

PolarDB集群名称。

集群兼容的DB类型:cluster.db_type

PolarDB集群兼容的DB类型,目前只支持MySQL。

集群兼容的DB版本:cluster.db_version

DB版本号,可选值为8.0、5.7和5.6。

标签:tag.*

用户自定义的标签名。

tag.*中的星号(*)替换为您自定义的标签名。

下面将进行几个简单的采集策略示例帮助用户理解如何进行精细化RDS错误日志的采集。

# --------------example 1 ----------------

#only scan ap region

keep region == "ap-*"


# accept by default

accept "*"



#-------------example 2-------------------

# accept all high level instances and if not only accept rds instance that name starts with prod


accept tag.level == "high"


# only scan rds instance name start with “test”

keep instance.name == "prod*"


# accept by default

accept "*"

3.参考链接

日志审计

日志服务

资源目录

采集策略

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
7月前
|
监控 Kubernetes Go
日志采集效能跃迁:iLogtail 到 LoongCollector 的全面升级
LoongCollector 在日志场景中实现了全面的重磅升级,从功能、性能、稳定性等各个方面均进行了深度优化和提升,本文我们将对 LoongCollector 的升级进行详细介绍。
602 87
|
5月前
|
数据采集 存储 大数据
大数据之路:阿里巴巴大数据实践——日志采集与数据同步
本资料全面介绍大数据处理技术架构,涵盖数据采集、同步、计算与服务全流程。内容包括Web/App端日志采集方案、数据同步工具DataX与TimeTunnel、离线与实时数仓架构、OneData方法论及元数据管理等核心内容,适用于构建企业级数据平台体系。
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
1098 21
|
6月前
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文总结了日志管理中的六大反模式及优化建议,涵盖日志轮转、存储选择、并发写入等常见问题,帮助提升日志采集的完整性与系统可观测性,适用于运维及开发人员优化日志管理策略。
242 7
|
2月前
|
数据采集 缓存 大数据
【赵渝强老师】大数据日志采集引擎Flume
Apache Flume 是一个分布式、可靠的数据采集系统,支持从多种数据源收集日志信息,并传输至指定目的地。其核心架构由Source、Channel、Sink三组件构成,通过Event封装数据,保障高效与可靠传输。
227 1
|
3月前
|
存储 Kubernetes 监控
Kubernetes日志管理:使用Loki进行日志采集
通过以上步骤,在Kubernetes环境下利用LoKi进行有效率且易于管理地logs采集变成可能。此外,在实施过程中需要注意版本兼容性问题,并跟进社区最新动态以获取功能更新或安全补丁信息。
285 16
|
7月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
4月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
537 1
|
8月前
|
监控 算法 测试技术
突破极限: 高负载场景下的单机300M多行正则日志采集不是梦
在当今数字化时代,日志数据已成为企业 IT 运营和业务分析的关键资源。然而,随着业务规模的扩大和系统复杂度的提升,日志数据的体量呈现爆发式增长,给日志采集和处理系统带来了巨大挑战。
574 99

相关产品

  • 日志服务
  • 推荐镜像

    更多