日志服务数据加工:功能概述

本文涉及的产品
对象存储 OSS,OSS 加速器 50 GB 1个月
简介: 日志服务数据加工:功能概述

概述

日志服务的数据加工功能是一个托管的、高可用、可扩展的数据加工服务,广泛适用于数据的规整、富化、分发、汇总、重索引等场景。

条件

  • 区域:所有Region

主要支持场景

场景1 – 数据规整(一对一)

对数据进行规范化、富化、重索引等:

image

场景2 – 数据分派(一对多)

对数据进行规整后做动态分发:
image

场景3 – 多源汇集(多对一)

支持跨账号同Region下操作数据,并汇总数据:
image

场景4 – 常规数据加工场景

全面覆盖数据加工的典型模式,包括过滤、分裂、转换、富化等。

提供了200多个内置高阶函数以及400多个正则表达式模式,不需要写代码即可完成大部分的数据加工任务,同时提供灵活自定义函数(UDF)的能力,满足各种场景:image

  • 过滤(filter):将特定的日志去掉
  • 分裂(split):将一条日志变成多条
  • 转换(transform):字段操作、内容转换等
  • 富化(enrich):关联外部资源,丰富字段信息等
  • 聚合(Rollup)(待上线):特定维度做聚集,减少日志量
  • 自定义操作(待上线):以上自定义操作,如SQL模式解析、自定义Agg操作等

优势

  1. 一站式托管的数据加工方案,实时可靠, 高性能, 免运维、自动扩展。
  2. 更快速简单的接入:通过各种渠道,只需要用最简单的方式接入一个无索引,短期存储的logstore即可。
  3. 更快的查询与更灵活的分析:通过开箱即用的规则与简单的语法,即可完成复杂的加工,并使得加工好的数据基于索引可以更快的分析;
  4. 更多业务场景的可能:通过数据加工的富化、自定义加工等,可以进一步挖掘数据的价值,构建更高级的业务。
  5. 更灵活的投递与生态对接:可以更简单地配置符合生态需要的规则。

其他常见问题

费用问题

  • 读取源logstore与写入目标logstore按照日志服务的标准正常收取,加工服务本身消耗的机器与网络资源目前免费。
  • 根据情况,可以关闭源logstore的索引,并设置较短的保存时间。

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
5月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
1200 82
|
5月前
|
数据采集 运维 监控
不重启、不重写、不停机:SLS 软删除如何实现真正的“无感数据急救”?
SLS 全新推出的「软删除」功能,以接近索引查询的性能,解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
534 40
|
9月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
本文介绍了阿里集团A+流量分析平台的日志查询优化方案,针对万亿级日志数据的写入与查询挑战,提出基于Flink、Paimon和StarRocks的技术架构。通过Paimon存储日志数据,结合StarRocks高效计算能力,实现秒级查询性能。具体包括分桶表设计、数据缓存优化及文件大小控制等措施,解决高并发、大数据量下的查询效率问题。最终,日志查询耗时从分钟级降至秒级,显著提升业务响应速度,并为未来更低存储成本、更高性能及更多业务场景覆盖奠定基础。
|
6月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
862 1
|
10月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
687 117
|
6月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL(预写日志)是保证数据完整性的关键技术。在数据修改前,系统会先将日志写入WAL,确保宕机时可通过日志恢复数据。它减少了磁盘I/O,提升了性能,并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下,采用16进制命名规则。此外,PostgreSQL提供pg_waldump工具解析日志内容。
621 0
|
6月前
|
数据采集 运维 监控
|
8月前
|
存储 NoSQL MongoDB
Docker中安装MongoDB并配置数据、日志、配置文件持久化。
现在,你有了一个运行在Docker中的MongoDB,它拥有自己的小空间,对高楼大厦的崩塌视而不见(会话丢失和数据不持久化的问题)。这个MongoDB的数据、日志、配置文件都会妥妥地保存在你为它精心准备的地方,天旋地转,它也不会失去一丁点儿宝贵的记忆(即使在容器重启后)。
1015 4
|
11月前
|
存储 SQL Oracle

相关产品

  • 日志服务