AI 助理
文档备案控制台
开发者社区 云存储 文章 正文

日志服务数据加工最佳实践: 解析syslog各种标准格式

2019-08-02 5567
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
对象存储 OSS，OSS 加速器 50 GB 1个月
简介： 本篇介绍日志服务数据加工最佳实践: 解析syslog各种标准格式的整体结构, 覆盖RFC524, RFC3164以及RSyslog的标准配置格式: TraditionalFormat, FileFormat, RSYSLOG_SyslogProtocol23Format, RSYSLOG_Debug.

概况

syslog是一种工业标准的协议，可用来记录设备的日志。在UNIX系统，路由器、交换机等网络设备中，系统日志(System Log)记录系统中任何时间发生的大小事件。管理者可以通过查看系统记录，随时掌握系统状况。UNIX的系统日志是通过syslogd这个进程记录系统有关事件记录，也可以记录应用程序运作事件。通过适当的配置，还可以实现运行syslog协议的机器间通信，通过分析这些网络行为日志，藉以追踪掌握与设备和网络有关的状况。

问题

在Unix类操作系统上，syslog广泛应用于系统日志。syslog日志消息既可以记录在本地文件中，也可以通过网络发送到接收syslog的服务器。接收syslog的服务器可以对多个设备的syslog消息进行统一的存储，或者解析其中的内容做相应的处理。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。
但是，长期以来，没有一个标准来规范syslog的格式，导致syslog的格式是非常随意的。最坏的情况下，根本就没有任何格式，导致程序不能对syslog 消息进行解析，只能将它看作是一个字符串。对syslog日志解析一直是比较令人头疼的事情，本篇介绍如何使用LOG DSL中的grok高效快捷的去解析不同格式的syslog日志

解决方案

syslog协议标准

目前业界存在常见两种syslog日志协议，一个是2009年起草协议RFC524，另外一个是2001年的RFC3164协议。以下，为大家介绍这两种协议的不同之处，以便能够在以后实践中能够灵活应用grok解析syslog日志。

RFC5424协议

RFC5424协议包含以下字段信息，具体信息可以参考官方协议（https://tools.ietf.org/html/rfc5424）

PRI VERSION SP TIMESTAMP SP HOSTNAME SP APP-NAME SP PROCID SP MSGID

以下通过几个示例来解释以上字段代表信息：

"""
Example1:
<34>1 2019-07-11T22:14:15.003Z aliyun.example.com ali - ID47 - BOM'su root' failed for lonvick on /dev/pts/8
"""
PRI -- 34
VERSION -- 1
TIMESTAMP -- 2019-07-11T22:14:15.003Z
HOSTNAME -- aliyun.example.com
APP-NAME -- ali
PROCID -- 无
MSGID -- ID47
MESSAGE -- 'su root' failed for lonvick on /dev/pts/8
"""
Example-2:
<165>1 2019-07-11T22:14:15.000003-07:00 192.0.2.1 myproc 8710 - - %% It's time to make the do-nuts.
"""
PRI -- 165
VERSION -- 1
TIMESTAMP -- 2019-07-11T05:14:15.000003-07:00
HOSTNAME -- 192.0.2.1
APP-NAME -- myproc
PROCID -- 8710
STRUCTURED-DATA -- “-”
MSGID -- “-”
MESSAGE -- "%% It's time to make the do-nuts."
"""
Example3: - with STRUCTURED-DATA
<165>1 2019-07-11T22:14:15.003Z aliyun.example.com
           evntslog - ID47 [exampleSDID@32473 iut="3" eventSource=
           "Application" eventID="1011"] BOMAn application
           event log entry...
"""
PRI -- 165
VERSION -- 1
TIMESTAMP -- 2019-07-11T22:14:15.003Z
HOSTNAME -- aliyun.example.com
APP-NAME -- evntslog
PROCID -- "-"
MSGID -- ID47
STRUCTURED-DATA -- [exampleSDID@32473 iut="3" eventSource="Application" eventID="1011"]
MESSAGE -- An application event log entry...

RFC3164协议

RFC3164协议包含以下字段信息，具体信息可以参考官方协议（https://tools.ietf.org/html/rfc3164）

PRI HEADER[TIME HOSTNAME] MSG

以下通过几个示例来解释以上字段代表信息：

"""
<30>Oct 9 22:33:20 hlfedora auditd[1787]: The audit daemon is exiting.
"""
PRI -- 30
HEADER
- TIME -- Oct 9 22:33:20
- HOSTNAME -- hlfedora
MSG
- TAG -- auditd[1787]
- Content --The audit daemon is exiting.

grok解析syslog常见格式

以上内容介绍了syslog，接下来进入实践解析阶段。在syslog配置文件中为用户定制了几种常用格式的syslog，以下使用grok一一解析。此外，syslog采集到logstore上要使用文本格式采集。
具体的grok规则可参考grok模式参考:

TraditionalFormat格式

日志内容形式如下：

May  5 10:20:57 iZbp1a65x3r1vhpe94fi2qZ systemd: Started System Logging Service.

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: May  5 10:20:57 iZbp1a65x3r1vhpe94fi2qZ systemd: Started System Logging Service.
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: May  5 10:20:57 iZbp1a65x3r1vhpe94fi2qZ systemd: Started System Logging Service.
    timestamp: May  5 10:20:57
    logsource: iZbp1a65x3r1vhpe94fi2qZ
    program: systemd
    message: Started System Logging Service.
"""
e_regex('content', grok('%{SYSLOGBASE} %{GREEDYDATA:message}'))

FileFormat格式

日志内容形式如下：

2019-05-06T09:26:07.874593+08:00 iZbp1a65x3r1vhpe94fi2qZ root: 834753

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: 2019-05-06T09:26:07.874593+08:00 iZbp1a65x3r1vhpe94fi2qZ root: 834753
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: 2019-05-06T09:26:07.874593+08:00 iZbp1a65x3r1vhpe94fi2qZ root: 834753
    timestamp: 2019-05-06T09:26:07.874593+08:00
    hostname: iZbp1a65x3r1vhpe94fi2qZ
    program: root
    message: 834753
"""
e_regex('content',grok('%{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{SYSLOGPROG} %{GREEDYDATA:message}'))

RSYSLOG_SyslogProtocol23Format格式

日志内容形式如下：

<13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ root - - - twish

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ root - - - twish
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ root - - - twish
    priority: 13
    version: 1
    timestamp: 2019-05-06T11:50:16.015554+08:00
    hostname: iZbp1a65x3r1vhpe94fi2qZ
    program: root
    message: twish
"""
e_regex('content',grok('%{POSINT:priority}>%{NUMBER:version} %{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{PROG:program} - - - %{GREEDYDATA:message}'))

RSYSLOG_DebugFormat格式

日志内容形式如下：

2019-05-06T14:29:37.558854+08:00 iZbp1a65x3r1vhpe94fi2qZ root: environment

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: 2019-05-06T14:29:37.558854+08:00 iZbp1a65x3r1vhpe94fi2qZ root: environment
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: 2019-05-06T14:29:37.558854+08:00 iZbp1a65x3r1vhpe94fi2qZ root: environment
    timestamp: 2019-05-06T14:29:37.558854+08:00 
    hostname: iZbp1a65x3r1vhpe94fi2qZ
    program: root
    message: environment
"""
e_regex('content',grok('%{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{SYSLOGPROG} %{GREEDYDATA:message}'))

自此，syslog配置文件常见log日志文件格式解析已解析完成，接下来介绍两种FluentSyslog日志格式。

FluentRFC5424格式

日志内容形式如下：

<16>1 2013-02-28T12:00:00.003Z 192.168.0.1 fluentd 11111 ID24224 [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211] Hi, from Fluentd!

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: <16>1 2019-02-28T12:00:00.003Z 192.168.0.1 aliyun 11111 ID24224 [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211] Hi, from Fluentd!
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: <16>1 2019-02-28T12:00:00.003Z 192.168.0.1 aliyun 11111 ID24224 [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211] Hi, from aliyun!
    priority: 16
    version: 1
    timestamp: 2019-02-28T12:00:00.003Z
    hostname: 192.168.0.1
    ident: aliyun
    pid: 1111
    msgid: ID24224
    extradata: [exampleSDID@20224 iut='3' eventSource='Application' eventID='11211]
    message: Hi, from aliyun!
"""
e_regex('content',grok('%{POSINT:priority}>%{NUMBER:version} %{TIMESTAMP_ISO8601:timestamp} %{SYSLOGHOST:hostname} %{WORD:ident} %{NUMBER:pid} %{USERNAME:msgid} (?P<extradata>(\[(.*)\]|[^ ])) %{GREEDYDATA:message}'))

FluentRFC3164格式

日志内容形式如下：

<6>Feb 28 12:00:00 192.168.0.1 fluentd[11111]: [error] Syslog test

LOG DSL编排规则处理:

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: <6>Feb 28 12:00:00 192.168.0.1 aliyun[11111]: [error] Syslog test
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: <6>Feb 28 12:00:00 192.168.0.1 aliyun[11111]: [error] Syslog test
    priority: 6
    timestamp: Feb 28 12:00:00
    hostname: 192.168.0.1
    ident: aliyun
    pid: [1111]
    level: [error]
    message: Syslog test
"""
e_regex('content', grok('%{POSINT:priority}>%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:hostname} %{WORD:ident}(?P<pid>(\[(\d+)\]|[^:])): (?P<level>(\[(\w+)\]|[^ ])) %{GREEDYDATA:message}'))

对priority做进一步解析

针对，以上解析过后的日志内容还可以对priority进一步解析，并且匹配出解析出来的facility和serverity信息，使用RFC5424协议更多参考e_syslogrfc函数，如下：

"""
处理前日志格式：
    receive_time: 1558663265
    __topic__:
    content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ root - - - twish
    priority: 13
    version: 1
    timestamp: 2019-05-06T11:50:16.015554+08:00
    hostname: iZbp1a65x3r1vhpe94fi2qZ
    program: root
    message: twish
处理后日志格式：
    receive_time: 1558663265
    __topic__:
    content: <13>1 2019-05-06T11:50:16.015554+08:00 iZbp1a65x3r1vhpe94fi2qZ root - - - twish
    priority: 13
    version: 1
    timestamp: 2019-05-06T11:50:16.015554+08:00
    hostname: iZbp1a65x3r1vhpe94fi2qZ
    program: root
    message: twish
    _facility_: 1
    _severity_: 5
    _severitylabel_: Notice: normal but significant condition
    _facilitylabel_: user-level messages
"""
e_syslogrfc("priority","SYSLOGRFC5424")

总结

通过以上内容，覆盖了syslog各种常见日志解析。syslog格式还有很多种，解析方法还是推荐使用LOG DSL的grok解析效率更快更高。grok还可以解析其他类型的log内容，比如Apache、Http错误日志等等。
如果解析出来之后的message或者body. 还需要进一步解析的，有各种方式：grok, 正则或者CSV等等

进一步参考

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:
image

文章标签：
日志服务
云解析DNS
监控
Unix
关键词：
日志服务数据
日志服务最佳实践
日志服务解析
日志云解析DNS
云解析DNS最佳实践
相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
成喆
目录
相关文章
阿里云云原生
|
7月前
|
SQL 人工智能 监控
SLS Copilot 实践：基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践，展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
阿里云云原生
1955 99
阿里云云原生
|
7月前
|
数据采集 运维 监控
不重启、不重写、不停机：SLS 软删除如何实现真正的“无感数据急救”？
SLS 全新推出的「软删除」功能，以接近索引查询的性能，解决了数据应急删除与脏数据治理的痛点。2 分钟掌握这一数据管理神器。
阿里云云原生
756 49
HELLO程序员
|
7月前
|
Prometheus 监控 Java
日志收集和Spring 微服务监控的最佳实践
在微服务架构中，日志记录与监控对系统稳定性、问题排查和性能优化至关重要。本文介绍了在 Spring 微服务中实现高效日志记录与监控的最佳实践，涵盖日志级别选择、结构化日志、集中记录、服务ID跟踪、上下文信息添加、日志轮转，以及使用 Spring Boot Actuator、Micrometer、Prometheus、Grafana、ELK 堆栈等工具进行监控与可视化。通过这些方法，可提升系统的可观测性与运维效率。
HELLO程序员
648 1
日志收集和Spring 微服务监控的最佳实践
运维有小邓
|
7月前
|
负载均衡 监控 安全
5 个 IIS 日志记录最佳实践
IIS日志记录是监控Web服务器性能与安全的关键。本文介绍启用日志、应用池配置、负载均衡、敏感数据防护、日志集中管理及保留策略等五大最佳实践，助力高效分析与合规审计。
运维有小邓
397 1
墨祤
|
8月前
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集：万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台，致力于通过埋点、采集、计算构建流量数据闭环，助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战，平台采用Flink+Paimon+StarRocks技术方案，实现高吞吐写入与秒级查询，优化存储成本与扩展性，提升日志分析效率。
墨祤
1047 1
赵渝强老师
|
8月前
|
存储 关系型数据库 数据库
【赵渝强老师】PostgreSQL数据库的WAL日志与数据写入的过程
PostgreSQL中的WAL（预写日志）是保证数据完整性的关键技术。在数据修改前，系统会先将日志写入WAL，确保宕机时可通过日志恢复数据。它减少了磁盘I/O，提升了性能，并支持手动切换日志文件。WAL文件默认存储在pg_wal目录下，采用16进制命名规则。此外，PostgreSQL提供pg_waldump工具解析日志内容。
赵渝强老师
743 0
游客gtkntzrnvinvk
|
8月前
|
数据采集 运维 监控
还在被日志折磨过？防火墙日志分析自动化工具，助力解析各类日志数据
一款防火墙日志分析自动化工具
游客gtkntzrnvinvk
439 0
蓝易云
|
算法 测试技术 C语言
深入理解HTTP/2：nghttp2库源码解析及客户端实现示例
通过解析nghttp2库的源码和实现一个简单的HTTP/2客户端示例，本文详细介绍了HTTP/2的关键特性和nghttp2的核心实现。了解这些内容可以帮助开发者更好地理解HTTP/2协议，提高Web应用的性能和用户体验。对于实际开发中的应用，可以根据需要进一步优化和扩展代码，以满足具体需求。
蓝易云
1213 29
疯狂的猿
|
前端开发 数据安全/隐私保护 CDN
二次元聚合短视频解析去水印系统源码
二次元聚合短视频解析去水印系统源码
疯狂的猿
504 4

云存储

热门文章

最新文章

  • 1
    OSS PostObject错误及排查
  • 2
    阿里技术女神的成长之路（有生活素颜照哦）
  • 3
    OSS跨域资源共享(CORS)错误及排除
  • 4
    开放分布式追踪（OpenTracing）入门与 Jaeger 实现
  • 5
    使用阿里云极速型NAS构建高可用的GitLab
  • 6
    现代IM系统中消息推送和存储架构的实现
  • 7
    使用日志服务LogHub替换Kafka
  • 8
    OSS重磅推出OSS Select——使用SQL选取文件的内容
  • 9
    《Kafka Stream》调研：一种轻量级流计算模式
  • 10
    10分钟精通Nginx访问日志分析统计
  • 1
    在阿里云上搭建低延迟行情监控系统（WebSocket实战）
    162
  • 2
    最佳实践：OSS AP 和云网络 Gateway Endpoint
    265
  • 3
    阿里云网盘 Skill 上线，附 OpenClaw 配置网盘空间实操教程
    490
  • 4
    2026年装配行业MES选型的三大核心维度与四大AI场景
    113
  • 5
    OpenClaw 挂载阿里云PDS网盘最佳实践：部署+大模型配置+权限隔离+权限管控与AI任务输出完整方案
    290
  • 6
    最佳实践：为OpenClaw配置网盘空间
    620
  • 7
    阿里云 Tablestore 基于 Mem0 为 OpenClaw 构建记忆系统最佳实践
    897
  • 8
    OSS 向量 Bucket 最佳实践：快速构建多模态图片语义检索
    151
  • 9
    使用 OSS-Vectors-Embed-CLI 工具三步搭建多模态语义检索系统
    256
  • 10
    如何给公众号文章添加附件，3步解决，可多端操作
    175

    • 相关产品

  • 日志服务
    文档详情 产品详情

    • 相关课程

    更多
  • 基于MongoDB构建实时日志分析平台
  • 日志服务SLS 构建可观测体系实战
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析

    • 相关电子书

    更多
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接
  • 智能化日志中心

    • 推荐镜像

    更多
  • DNS
    • 下一篇
    PHP：将本地文件上传到阿里云OSS存储