MySQL--使用通用日志实现数据库审计

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
日志服务 SLS,月写入数据量 50GB 1个月
简介: MySQL的通用日志会记录数据库中所有执行的sql语句及用户名和ip地址,可以用于数据库审计。

1 MySQL通用日志是什么?

      MySQL通用日志记录用户的连接和断开连接的行为,记录从客户端收到的每一台sql语句。通用日志里记录的信息包括连接的用户名和IP地址,语句执行的时间。在某些场景下可以用于数据库审计。

     MySQL通用日志的主要问题是没有过滤或者选择选项,记录的信息量过大,可能会对存储空间造成压力和io造成压力,对数据库的性能也有一定的影响。当怀疑数据库内运行的语句有问题时,可以短时开启,定位到具体的语句、用户和IP地址。

2 怎样MySQL通用日志的开启?

     通过设置变量general-log来开启MySQL通用日志,general-log是动态变量,可以在数据库运行时开启。在数据库启动时用命令行开启的命令如下:

mysqld_safe --user=mysql --general-log=on  --datadir=/mysqldata &

开启后general-log变量值如下

mysql> show variables like'%general%';+------------------+----------------------------------------+| Variable_name    | Value                                  |+------------------+----------------------------------------+| general_log      |ON|| general_log_file |/mysqldata/iZ2ze0t8khaprrpfvmevjiZ.log|+------------------+----------------------------------------+2 rows inset(0.00 sec)

general_log_file变量的值可以看到,产生的通用日志(也称为为通用查询日志)一般也称为查询日志。位于操作系统的文件内,也可以查询日志存储在MySQL数据库的表内,设置以下变量即可。

mysql>set global log_output='TABLE';  Query OK,0 rows affected (0.00 sec)

设置了这个变量值,慢查询日志也会存储到MySQL数据库的表内,查询日志存储在mysql数据库下名为general_log的表内,

mysql> show tables like'%general%';+-----------------------------+| Tables_in_mysql (%general%)|+-----------------------------+| general_log                 |+-----------------------------+1 row inset(0.01 sec)

3 怎样查看产生的慢查询日志

       mysql数据库下general_log表的信息如下

mysql>desc general_log;+--------------+---------------------+------+-----+----------------------+--------------------------------+| Field        | Type                |Null| Key | Default              | Extra                          |+--------------+---------------------+------+-----+----------------------+--------------------------------+| event_time   |timestamp(6)| NO   || CURRENT_TIMESTAMP(6)|onupdate CURRENT_TIMESTAMP(6)|| user_host    |mediumtext| NO   ||NULL||| thread_id    |bigint(21)unsigned| NO   ||NULL||| server_id    |int(10)unsigned| NO   ||NULL||| command_type |varchar(64)| NO   ||NULL||| argument     |mediumblob| NO   ||NULL||+--------------+---------------------+------+-----+----------------------+--------------------------------+6 rows inset(0.00 sec)

查询这个表即可获得数据库的查询日志

mysql>select*from general_log limit10;+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+| event_time                 | user_host                     | thread_id | server_id | command_type | argument                                                                                        |+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+|2022-09-1414:47:00.066478| root[root] @ localhost []|3|0| Query        |select*from general_log                                                                       ||2022-09-1414:49:00.988472| root[root] @ localhost []|3|0| Query        | GRANT ALL PRIVILEGES ON*.* TO 'test'@'%' IDENTIFIED WITH 'mysql_native_password'AS'<secret>'||2022-09-1414:49:18.585143| root[root] @ localhost []|3|0| Query        | flush privileges                                                                                ||2022-09-1414:53:15.055589|[test] @  [100.104.224.3]|4|0| Connect      | test@100.104.224.3on information_schema using TCP/IP                                           ||2022-09-1414:53:15.057256| test[test] @  [100.104.224.3]|4|0| Query        |SET autocommit=true||2022-09-1414:53:15.060085| test[test] @  [100.104.224.3]|4|0| Query        |/* rds internal mark *//* hdm internal mark */SELECT/*+ MAX_EXECUTION_TIME(2000) */1||2022-09-1414:53:15.061626| test[test] @  [100.104.224.3]|4|0| Quit         |||2022-09-1414:53:19.873779|[test] @  [100.104.224.3]|5|0| Connect      | test@100.104.224.3on information_schema using TCP/IP                                           ||2022-09-1414:53:19.875503| test[test] @  [100.104.224.3]|5|0| Query        |SET autocommit=true||2022-09-1414:55:12.879961| test[test] @  [100.104.224.3]|5|0| Query        |/* rds internal mark *//* hdm internal mark */SELECT/*+ MAX_EXECUTION_TIME(2000) */1|+----------------------------+-------------------------------+-----------+-----------+--------------+-------------------------------------------------------------------------------------------------+10 rows inset(0.00 sec)

4 怎样清理通用日志?

      由于通用日志的存储量非常大,需要定期清理,释放存储存储空间,最简单的清理办法是使用truncate命令清空表。

     使用truncate命令清空表之前表占用的空间

mysql> system ls-l /mysqldata/mysql/general*
-rw-r-----1 mysql mysql    35 Sep 1414:38 /mysqldata/mysql/general_log.CSM
-rw-r-----1 mysql mysql 10264 Sep 1414:44 /mysqldata/mysql/general_log.CSV
-rw-r-----1 mysql mysql  8776 Aug  914:07 /mysqldata/mysql/general_log.frm

运行truncate命令

mysql> truncate table general_log;    Query OK,0 rows affected (0.00 sec)

清空后表占用的存储空间

mysql> system ls -l /mysqldata/mysql/general*-rw-r----- 1 mysql mysql   35 Sep 14 14:47 /mysqldata/mysql/general_log.CSM-rw-r----- 1 mysql mysql   97 Sep 14 14:47 /mysqldata/mysql/general_log.CSV-rw-r----- 1 mysql mysql 8776 Aug  9 14:07 /mysqldata/mysql/general_log.frm

其中general_log.CSV为表的数据文件,可以看出,空间已被清除。




相关文章
|
6天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤,包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时,文章还对比了编译源码安装与使用 RPM 包安装的优缺点,帮助读者根据需求选择最合适的方法。通过具体案例,展示了编译源码安装的灵活性和定制性。
40 2
|
9天前
|
存储 关系型数据库 MySQL
MySQL vs. PostgreSQL:选择适合你的开源数据库
在众多开源数据库中,MySQL和PostgreSQL无疑是最受欢迎的两个。它们都有着强大的功能、广泛的社区支持和丰富的生态系统。然而,它们在设计理念、性能特点、功能特性等方面存在着显著的差异。本文将从这三个方面对MySQL和PostgreSQL进行比较,以帮助您选择更适合您需求的开源数据库。
41 4
|
14天前
|
存储 关系型数据库 MySQL
如何在MySQL中创建数据库?
【10月更文挑战第16天】如何在MySQL中创建数据库?
|
18天前
|
SQL Oracle 关系型数据库
安装最新 MySQL 8.0 数据库(教学用)
安装最新 MySQL 8.0 数据库(教学用)
86 4
|
17天前
|
存储 SQL 关系型数据库
【入门级教程】MySQL:从零开始的数据库之旅
本教程面向零基础用户,采用通俗易懂的语言和丰富的示例,帮助你快速掌握MySQL的基础知识和操作技巧。内容涵盖SQL语言基础(SELECT、INSERT、UPDATE、DELETE等常用语句)、使用索引提高查询效率、存储过程等。适合学生、开发者及数据库爱好者。
34 0
【入门级教程】MySQL:从零开始的数据库之旅
|
4天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型,以及如何创建和维护索引,结合实战案例分析查询执行计划,帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
19 0
|
5天前
|
监控 关系型数据库 MySQL
数据库优化:MySQL索引策略与查询性能调优实战
【10月更文挑战第26天】数据库作为现代应用系统的核心组件,其性能优化至关重要。本文主要探讨MySQL的索引策略与查询性能调优。通过合理创建索引(如B-Tree、复合索引)和优化查询语句(如使用EXPLAIN、优化分页查询),可以显著提升数据库的响应速度和稳定性。实践中还需定期审查慢查询日志,持续优化性能。
25 0
|
14天前
|
存储 关系型数据库 MySQL
MySQL中的Redo Log、Undo Log和Binlog:深入解析
【10月更文挑战第21天】在数据库管理系统中,日志是保障数据一致性和完整性的关键机制。MySQL作为一种广泛使用的关系型数据库管理系统,提供了多种日志类型来满足不同的需求。本文将详细介绍MySQL中的Redo Log、Undo Log和Binlog,从背景、业务场景、功能、底层实现原理、使用措施等方面进行详细分析,并通过Java代码示例展示如何与这些日志进行交互。
16 0
|
14天前
|
存储 监控 关系型数据库
MySQL并发控制与管理:优化数据库性能的关键
【10月更文挑战第17天】MySQL并发控制与管理:优化数据库性能的关键
57 0
|
14天前
|
存储 SQL 关系型数据库
MySQL Workbench支持哪些数据库引擎
【10月更文挑战第17天】MySQL Workbench支持哪些数据库引擎
11 0