使用模拟日志轻松上手日志服务——数据实验室实践

本文涉及的产品
对象存储 OSS,20GB 3个月
阿里云盘企业版 CDE,企业版用户数5人 500GB空间
云备份 Cloud Backup,100GB 3个月
简介: 数据实验室是日志服务(Log Service,简称 SLS)最新推出的工具,为用户提供各种场景的模拟日志数据,以及各种公共数据集数据。同时也根据场景建立对应的报表模板,方便用户从这些数据和报表模版入手以熟悉日志服务的查询,报表编辑等各种操作。

简介

数据实验室是日志服务(Log Service,简称 SLS)最新推出的工具,为用户提供各种场景的模拟日志数据,以及各种公共数据集数据。同时也根据场景建立对应的报表模板,方便用户从这些数据和报表模版入手以熟悉日志服务的查询,报表编辑等各种操作。

第一期实验室中提供了网站访问日志和 rds 操作日志两种模拟数据场景,并接入了疫情数据集。

入口

image

用户权限

日志模拟写入需要用户授权,AliyunLogArchiveRole

image

完成权限授权之后,正式进入数据实验室的界面。

场景介绍

image

数据分为模拟数据和数据集。
目前提供网站访问,数据库审计两种模拟数据场景,同时也接入了疫情场景数据。
在场景选择界面,用户可以选择需要的数据场景,并点击初始化。

模拟数据:根据模拟配置生成的数据,可以按照需要对部分字段做配置,并随时间推移不断产生新数据。
数据集:来自于各种场景的真实日志数据。

网站访问日志

提供网站访问日志场景,包括网站访问的模拟日志以及预制的网站访问报表。
可以通过查看报表的设置来学习报表的配置方法,并且也可以直接动手进行改动与编辑。

image

在查询界面可以对模拟日志进行查询等日志服务常规操作。

image

数据库审计日志

提供 rds 审计日志场景的模拟,同样包含预制的审计报表等。

新冠疫情数据集

与日志服务之前提供的疫情数据一致,用户可以查看每日更新的疫情实时数据。

image

模拟数据设置

目前的数据模拟借由数据加工任务实现,根据场景不同,默认配置了模拟日志的字段与类型。

image

用户可以对部分字段的配置进行调整,例如对于 String 类型的字段:

image

该行表示字段名字为 scheme,字段的类型为 string,内容为 https 和 http,两者的概率权重是 9:1。点击增减按钮可以增减内容,并重新设定权重。

与字段类型类似,还有 Number 类型,可以设置为数字的随机范围与权重。

频率范围

image

在频率范围设置中,可以通过时间范围设定来指定模拟数据生成的起点时间与介绍时间,默认为当前时间的一小时前。如果不指定结束时间,那么模拟数据会一直持续生成。

分布模型分为:随机,周期与线性
异常点:是指在上文数据量分布模式中所确定的数据量基础上,随机选择某些周期,这些周期内的数据量会出现异常变化,变化的倍率用户指定。

可以指定多个独立异常选项,每个数据周期最多只会出现一个异常点,优先模拟排在前面的异常选项。
异常点的两个值分别为出现概率和倍数。

日志生成

image

点击开始导入之后,会为用户创建数据实验室专用的 project 以及对应场景的 logstore。
数据模拟服务启动需要大约 1 分钟的时间,之后就可以直接开始使用了。
点击开始使用后,默认我们会为用户跳转到每个场景的报表中心,

image

用户可以马上开始查看我们预先为每个场景准备的报表,并且可以进行查询与分析操作。
除了在实验室界面中进行查询等操作以外,用户同样也可以进入 datalab 的项目界面进行直接操作。

场景删除

image

在删除场景时,默认会将数据模拟任务停止,同时也可以选择是否要删除对应的 logstore 以及 dashboard。

收费与限制

目前提供的三个场景都可以免费使用,数据保留 7 天,shard 数为 1。但是用户无法对 logstore 进行数据写入,index 编辑等操作。数据实验室提供的 logstore 只可以用于模拟数据的存储。

后续与展望

数据实验室之后会上线更多的日志场景与数据集,同时会与我们之前上线的 SQL 案例中心进行联动,让用户可以非常方便的执行各种 SQL 语句。

并且我们在之后会开放用户自定义模拟的功能,让用户可以完全模拟自己需要的日志。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
223 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
2月前
|
Rust 前端开发 JavaScript
Tauri 开发实践 — Tauri 日志记录功能开发
本文介绍了如何为 Tauri 应用配置日志记录。Tauri 是一个利用 Web 技术构建桌面应用的框架。文章详细说明了如何在 Rust 和 JavaScript 代码中设置和集成日志记录,并控制日志输出。通过添加 `log` crate 和 Tauri 日志插件,可以轻松实现多平台日志记录,包括控制台输出、Webview 控制台和日志文件。文章还展示了如何调整日志级别以优化输出内容。配置完成后,日志记录功能将显著提升开发体验和程序稳定性。
99 1
Tauri 开发实践 — Tauri 日志记录功能开发
|
2月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
279 3
|
28天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
132 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
16天前
|
存储 数据采集 监控
云上数据安全保护:敏感日志扫描与脱敏实践详解
随着企业对云服务的广泛应用,数据安全成为重要课题。通过对云上数据进行敏感数据扫描和保护,可以有效提升企业或组织的数据安全。本文主要基于阿里云的数据安全中心数据识别功能进行深入实践探索。通过对商品购买日志的模拟,分析了如何使用阿里云的工具对日志数据进行识别、脱敏(3 种模式)处理和基于 StoreView 的查询脱敏方式,从而在保障数据安全的同时满足业务需求。通过这些实践,企业可以有效降低数据泄漏风险,提升数据治理能力和系统安全性。
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1674 14
|
28天前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的联机重做日志文件与数据写入过程
在Oracle数据库中,联机重做日志文件记录了数据库的变化,用于实例恢复。每个数据库有多组联机重做日志,每组建议至少有两个成员。通过SQL语句可查看日志文件信息。视频讲解和示意图进一步解释了这一过程。
|
2月前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
41 2
|
3月前
|
设计模式 SQL 安全
PHP中的设计模式:单例模式的深入探索与实践在PHP的编程实践中,设计模式是解决常见软件设计问题的最佳实践。单例模式作为设计模式中的一种,确保一个类只有一个实例,并提供全局访问点,广泛应用于配置管理、日志记录和测试框架等场景。本文将深入探讨单例模式的原理、实现方式及其在PHP中的应用,帮助开发者更好地理解和运用这一设计模式。
在PHP开发中,单例模式通过确保类仅有一个实例并提供一个全局访问点,有效管理和访问共享资源。本文详细介绍了单例模式的概念、PHP实现方式及应用场景,并通过具体代码示例展示如何在PHP中实现单例模式以及如何在实际项目中正确使用它来优化代码结构和性能。
49 2
|
2月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
39 0

相关产品

  • 日志服务