半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计

简介: 半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计。本教程介绍如何使用日志服务创建模拟数据任务(NGINX访问日志),并对数据进行脱敏和审计。专家支持:阿里云日志服务技术专家 灵圣

好运集市 春天好运会发芽🌱

半天掌握日志存储,云启实验室系等你来!

好运集市.jpeg

4月21日-4月29日,完成以下课程学习即可参与抽奖,100%中奖,云小宝、双肩包、VR眼镜等你来。
点击实验室课程链接:https://developer.aliyun.com/adc/series/activity/sls-1

云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计 实验简介

本场景主要涉及以下云产品和服务:
• 日志服务:
日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。

实验后您将收获到
• 创建模拟数据任务。
• 数据脱敏。
• 数据审计。

云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计 实验手册

创建原始数据

本步骤将指导您如何创建NGINX模拟数据。

  1. 双击打开虚拟桌面的Firefox ESR浏览器
  2. 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码用户密码输入框,单击登录
  3. 复制下方地址,在Firefox ESR浏览器打开新页签,粘贴并访问日志服务控制台。
https://sls.console.aliyun.com/
  1. 日志服务控制台下方的Project列表中,选择Project资源所在地域,然后单击Project名称。

说明 :您可以在云产品资源列表中查看Project资源所在地域和Project名称。

img

  1. 在日志存储页面左侧,单击日志库下的img 图标。

img

  1. 创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定

参数说明:

  • Logstore名称:输入nginx-access-log。
  • WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

img

  1. 创建成功对话框中,单击取消

img

  1. 在日志存储页面左侧,选择日志库>您的Logstore>数据接入>模拟接入,然后单击img 图标。

img

  1. 快速接入面板中,单击NGINX访问日志下的模拟

img

  1. 模拟接入页面,单击开始导入

img

  1. 模拟接入页面,等待大约一分钟,模拟数据生成后,单击开始使用

img

返回如下页面,您可以看到生成的NGINX模拟数据,数据中的客户端IP字段remote_addr和访问者用户名字段remote_user没有脱敏,信息安全隐患非常大。

img

数据脱敏

本步骤将指导您如何创建数据加工任务,对原数据进行脱敏。

  1. 在日志存储页面左侧,单击日志库下的img 图标。

img

  1. 创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定

说明 :该Logstore用来存储脱敏后的数据。

参数说明:

  • Logstore名称:输入nginx-access-log-fmt。
  • WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

img

  1. 创建成功对话框中,单击取消

img

  1. 在日志存储页面左侧,单击nginx-access-log-fmt

img

  1. 错误对话框中,单击确定

img

  1. nginx-access-log-fmt页签右上方,单击开启索引

img

  1. 查询分析面板中,打开全文索引,单击确定

img

  1. 查询分析设置对话框中,单击确认

img

  1. nginx-access-log-fmt页签左侧,单击nginx-access-log

img

  1. nginx-access-log页签,单击数据加工

img

  1. nginx-access-log数据加工页签,输入如下加工语句,单击保存数据加工
e_set("remote_addr", regex_replace(v("remote_addr"), grok("(%{IP})"), replace=r"*.*.*.*"))
e_set("remote_user", regex_replace(v("remote_user"), r"(\S)\S+", replace=r"\1****"))

img

  1. 创建数据加工规则面板,输入规则名称,单击添加,然后配置存储目标,时间范围选择为所有,单击确定

参数说明:

  • 规则名称:自定义规则名称,例如mask-sensitive-info。
  • 目标名称:存储目标的名称,输入nginx-access-log-fmt。
  • 目标Region:选择您的Project资源所在地域。
  • 目标Project:选择您的Project名称。
  • 目标库:选择nginx-access-log-fmt。
  • 时间范围:选择所有。

img

img

  1. 创建结果对话框中,单击确认

img

  1. nginx-access-log页签左侧,单击nginx-access-log-fmt

img

  1. nginx-access-log-fmt页签右上方,单击查询/分析

img

返回如下页面,您可以看到NGINX模拟数据中的客户端IP字段remote_addr和访问者用户名字段remote_user已经脱敏。

img

查看数据加工任务及开启监控告警

本步骤将指导您如何查看数据加工任务及开启监控告警。

  1. 在日志存储页面左侧,选择日志库>nginx-access-log>数据处理>加工>您的数据加工任务(例如下图的mask-sensitive-info)

img

返回如下页签,您可以看到数据加工任务详情和执行状态。

img

  1. 在数据加工概览页签的执行状态区域,单击开启监控

img

  1. 告警中心页签,选择所有监控规则,单击开启

img

  1. 提示对话框中,单击确定

img

返回如下页面,当状态为已开启时,表示您已成功开启监控,日志服务会在数据加工存在异常时,为您发送告警通知,便于您快速发现数据加工过程中的异常问题。

img

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
|
存储 数据可视化 开发工具
【Application Insights】Application Insights存储的Function App的日志存在"Operation Link" 为空的情况
在将 Azure Functions 升级到 .NET 8 和 Isolated Worker 模式后,Application Insights 的请求日志中 `operation_Link` 字段为空,导致分布式追踪无法正常关联。解决方法包括:确保引用正确的 SDK 包(如 `Microsoft.Azure.Functions.Worker.ApplicationInsights`),正确配置 Application Insights 服务,移除默认日志过滤规则,并使用最新依赖包以支持分布式追踪。通过这些步骤,可恢复端到端事务视图的可视化效果。
266 11
|
存储 监控 API
【Azure App Service】分享使用Python Code获取App Service的服务器日志记录管理配置信息
本文介绍了如何通过Python代码获取App Service中“Web服务器日志记录”的配置状态。借助`azure-mgmt-web` SDK,可通过初始化`WebSiteManagementClient`对象、调用`get_configuration`方法来查看`http_logging_enabled`的值,从而判断日志记录是否启用及存储方式(关闭、存储或文件系统)。示例代码详细展示了实现步骤,并附有执行结果与官方文档参考链接,帮助开发者快速定位和解决问题。
390 22
|
SQL 缓存
【YashanDB知识库】YashanDB run.log中有slow log queue is full信息
【YashanDB知识库】YashanDB run.log中有slow log queue is full信息
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
636 4
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
373 1
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
5076 32
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
634 9
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1347 55

相关产品

  • 日志服务