使用模拟日志轻松上手日志服务——数据实验室实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 数据实验室是日志服务(Log Service,简称 SLS)最新推出的工具,为用户提供各种场景的模拟日志数据,以及各种公共数据集数据。同时也根据场景建立对应的报表模板,方便用户从这些数据和报表模版入手以熟悉日志服务的查询,报表编辑等各种操作。

简介

数据实验室是日志服务(Log Service,简称 SLS)最新推出的工具,为用户提供各种场景的模拟日志数据,以及各种公共数据集数据。同时也根据场景建立对应的报表模板,方便用户从这些数据和报表模版入手以熟悉日志服务的查询,报表编辑等各种操作。

第一期实验室中提供了网站访问日志和 rds 操作日志两种模拟数据场景,并接入了疫情数据集。

入口

image

用户权限

日志模拟写入需要用户授权,AliyunLogArchiveRole

image

完成权限授权之后,正式进入数据实验室的界面。

场景介绍

image

数据分为模拟数据和数据集。
目前提供网站访问,数据库审计两种模拟数据场景,同时也接入了疫情场景数据。
在场景选择界面,用户可以选择需要的数据场景,并点击初始化。

模拟数据:根据模拟配置生成的数据,可以按照需要对部分字段做配置,并随时间推移不断产生新数据。
数据集:来自于各种场景的真实日志数据。

网站访问日志

提供网站访问日志场景,包括网站访问的模拟日志以及预制的网站访问报表。
可以通过查看报表的设置来学习报表的配置方法,并且也可以直接动手进行改动与编辑。

image

在查询界面可以对模拟日志进行查询等日志服务常规操作。

image

数据库审计日志

提供 rds 审计日志场景的模拟,同样包含预制的审计报表等。

新冠疫情数据集

与日志服务之前提供的疫情数据一致,用户可以查看每日更新的疫情实时数据。

image

模拟数据设置

目前的数据模拟借由数据加工任务实现,根据场景不同,默认配置了模拟日志的字段与类型。

image

用户可以对部分字段的配置进行调整,例如对于 String 类型的字段:

image

该行表示字段名字为 scheme,字段的类型为 string,内容为 https 和 http,两者的概率权重是 9:1。点击增减按钮可以增减内容,并重新设定权重。

与字段类型类似,还有 Number 类型,可以设置为数字的随机范围与权重。

频率范围

image

在频率范围设置中,可以通过时间范围设定来指定模拟数据生成的起点时间与介绍时间,默认为当前时间的一小时前。如果不指定结束时间,那么模拟数据会一直持续生成。

分布模型分为:随机,周期与线性
异常点:是指在上文数据量分布模式中所确定的数据量基础上,随机选择某些周期,这些周期内的数据量会出现异常变化,变化的倍率用户指定。

可以指定多个独立异常选项,每个数据周期最多只会出现一个异常点,优先模拟排在前面的异常选项。
异常点的两个值分别为出现概率和倍数。

日志生成

image

点击开始导入之后,会为用户创建数据实验室专用的 project 以及对应场景的 logstore。
数据模拟服务启动需要大约 1 分钟的时间,之后就可以直接开始使用了。
点击开始使用后,默认我们会为用户跳转到每个场景的报表中心,

image

用户可以马上开始查看我们预先为每个场景准备的报表,并且可以进行查询与分析操作。
除了在实验室界面中进行查询等操作以外,用户同样也可以进入 datalab 的项目界面进行直接操作。

场景删除

image

在删除场景时,默认会将数据模拟任务停止,同时也可以选择是否要删除对应的 logstore 以及 dashboard。

收费与限制

目前提供的三个场景都可以免费使用,数据保留 7 天,shard 数为 1。但是用户无法对 logstore 进行数据写入,index 编辑等操作。数据实验室提供的 logstore 只可以用于模拟数据的存储。

后续与展望

数据实验室之后会上线更多的日志场景与数据集,同时会与我们之前上线的 SQL 案例中心进行联动,让用户可以非常方便的执行各种 SQL 语句。

并且我们在之后会开放用户自定义模拟的功能,让用户可以完全模拟自己需要的日志。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
29天前
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
131 10
|
3月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
903 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
2月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
6天前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
22天前
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
1月前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
2月前
|
存储 数据采集 监控
云上数据安全保护:敏感日志扫描与脱敏实践详解
随着企业对云服务的广泛应用,数据安全成为重要课题。通过对云上数据进行敏感数据扫描和保护,可以有效提升企业或组织的数据安全。本文主要基于阿里云的数据安全中心数据识别功能进行深入实践探索。通过对商品购买日志的模拟,分析了如何使用阿里云的工具对日志数据进行识别、脱敏(3 种模式)处理和基于 StoreView 的查询脱敏方式,从而在保障数据安全的同时满足业务需求。通过这些实践,企业可以有效降低数据泄漏风险,提升数据治理能力和系统安全性。
440 11
云上数据安全保护:敏感日志扫描与脱敏实践详解
|
2月前
|
存储 监控 安全
网络安全视角:从地域到账号的阿里云日志审计实践
日志审计的必要性在于其能够帮助企业和组织落实法律要求,打破信息孤岛和应对安全威胁。选择 SLS 下日志审计应用,一方面是选择国家网络安全专用认证的日志分析产品,另一方面可以快速帮助大型公司统一管理多组地域、多个账号的日志数据。除了在日志服务中存储、查看和分析日志外,还可通过报表分析和告警配置,主动发现潜在的安全威胁,增强云上资产安全。
|
3月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
197 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
2月前
|
存储 监控 安全
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
110 2

相关产品

  • 日志服务