SLS数据加工对Json数据解析与更新

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 本文档介绍对于包含Json格式字段的日志如何进行解析。## 场景一:Json对象展开与提取日志中包含Json对象,通过e_json进行字段展开与对象提取**示例1: Json一层展开*** 原始日志```data: {"k1": "v1", "k2": {"k3": "v3", "k4": "v4"}}```* 加工规则```pythone_json("data", de

本文档介绍对于包含Json格式字段的日志如何进行解析。

场景一:Json对象展开与提取

日志中包含Json对象,通过e_json进行字段展开与对象提取

示例1: Json一层展开

  • 原始日志
data: {"k1": "v1", "k2": {"k3": "v3", "k4": "v4"}}
  • 加工规则
e_json("data", depth=1)
  • 加工结果
data: {"k1": "v1", "k2": {"k3": "v3", "k4": "v4"}}
k1: v1
k2: {"k3": "v3", "k4": "v4"}

示例2: Json完全展开

  • 原始日志
data: {"k1": "v1", "k2": {"k3": "v3", "k4": "v4"}}
  • 加工规则
e_json("data")
  • 加工结果
data:{"k1": "v1", "k2": {"k3": "v3", "k4": "v4"}}
k1:v1
k3:v3
k4:v4

示例3: 指定名称精确提取Json对象

  • 原始日志
data: {
    "foo": {
        "bar": "baz"
    },
    "peoples": [{
        "name": "xh",
        "sex": "girl"
    }, {
        "name": "xm",
        "sex": "boy"
    }]
}
  • 加工规则
e_json("data", jmes="foo", output="foo")
e_json("data", jmes="foo.bar", output="bar")
e_json("data", jmes="peoples[0].name", output="name")
e_json("data", jmes="peoples[*].name", output="names")
  • 加工结果
data:{"foo": {"bar": "baz"}, "peoples": [{"name": "xh", "sex": "girl"}, {"name": "xm", "sex": "boy"}]}
foo:{"bar": "baz"}
bar:baz
name:xh
names:["xh", "xm"]

场景二:获取Json对象值

日志中包含Json对象,通过dct_get提取Json字段值

示例1: Json对象包含目标字段

  • 原始日志
data: {"k1":"v1","k2":"v2"}
  • 加工规则
e_set("key1", dct_get(v("data"), "k1"))
  • 加工结果
data:{"k1": "v1", "k2": "v2"}
key1:v1

示例2: Json对象不包含目标字段,设置默认值

  • 原始日志
data: {"k1":"v1","k2":"v2"}
  • 加工规则
e_set("key3", dct_get(v("data"), "k3", default="default"))
  • 加工结果
data:{"k1": "v1", "k2": "v2"}
key3:default

场景三:更新Json字段

日志中包含Json对象,通过dct_update更新Json对象字段值
示例1: 修改Json对象字段值

  • 原始日志
data: {"k1":"v1","k2":"v2"}
  • 加工规则
e_set("data", dct_update(v("data"), {"k1": "new_k1"}))
  • 加工结果
data:{"k1": "new_k1", "k2": "v2"}

示例2: 为Json对象增加字段

  • 原始日志
data: {"k1":"v1","k2":"v2"}
  • 加工规则
e_set("data", dct_update(v("data"), {"k3": "k3"}))
  • 加工结果
data:{"k1": "v1", "k2": "v2", "k3": "k3"}

场景四:删除Json字段

日志中包含Json对象,通过dct_delete删除Json对象字段

示例1:

  • 原始日志
data: {"k1":"v1","k2":"v2", "k3": "v3"}
  • 加工规则
e_set("data", dct_delete(v("data"), "k1", "k2"))
  • 加工结果
data:{"k3": "v3"}

场景五:将值解析为Json对象

示例1: 将字符串解析为Json对象

  • 原始日志
data: "pre{ \"k1\": \"v1\", \"k2\": \"v2\"}"
  • 加工规则
e_set("json_object", json_parse(op_slice(v("data"), 3, 28)))
  • 加工结果
data:pre{ "k1": "v1", "k2": "v2"}
json_object:{"k1": "v1", "k2": "v2"}
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
消息中间件 存储 缓存
十万订单每秒热点数据架构优化实践深度解析
【11月更文挑战第20天】随着互联网技术的飞速发展,电子商务平台在高峰时段需要处理海量订单,这对系统的性能、稳定性和扩展性提出了极高的要求。尤其是在“双十一”、“618”等大型促销活动中,每秒需要处理数万甚至数十万笔订单,这对系统的热点数据处理能力构成了严峻挑战。本文将深入探讨如何优化架构以应对每秒十万订单级别的热点数据处理,从历史背景、功能点、业务场景、底层原理以及使用Java模拟示例等多个维度进行剖析。
75 8
|
9天前
|
JSON 前端开发 搜索推荐
关于商品详情 API 接口 JSON 格式返回数据解析的示例
本文介绍商品详情API接口返回的JSON数据解析。最外层为`product`对象,包含商品基本信息(如id、name、price)、分类信息(category)、图片(images)、属性(attributes)、用户评价(reviews)、库存(stock)和卖家信息(seller)。每个字段详细描述了商品的不同方面,帮助开发者准确提取和展示数据。具体结构和字段含义需结合实际业务需求和API文档理解。
|
2天前
|
JSON 小程序 UED
微信小程序 app.json 配置文件解析与应用
本文介绍了微信小程序中 `app.json` 配置文件的详细
29 12
|
2天前
|
JSON 缓存 API
解析电商商品详情API接口系列,json数据示例参考
电商商品详情API接口是电商平台的重要组成部分,提供了商品的详细信息,支持用户进行商品浏览和购买决策。通过合理的API设计和优化,可以提升系统性能和用户体验。希望本文的解析和示例能够为开发者提供参考,帮助构建高效、可靠的电商系统。
20 12
|
6天前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
31 7
|
22天前
|
JSON JavaScript 前端开发
一次采集JSON解析错误的修复
两段采集来的JSON格式数据存在格式问题,直接使用PHP的`json_decode`会报错。解决思路包括:1) 手动格式化并逐行排查错误;2) 使用PHP-V8JS扩展在JavaScript环境中解析。具体方案一是通过正则表达式和字符串替换修复格式,方案二是利用V8Js引擎执行JS代码并返回JSON字符串,最终实现正确解析。 简介: 两段采集的JSON数据因掺杂JavaScript代码导致PHP解析失败。解决方案包括手动格式化修复和使用PHP-V8JS扩展在JavaScript环境中解析,确保JSON数据能被正确处理。
|
2月前
|
数据采集 自然语言处理 搜索推荐
基于qwen2.5的长文本解析、数据预测与趋势分析、代码生成能力赋能esg报告分析
Qwen2.5是一款强大的生成式预训练语言模型,擅长自然语言理解和生成,支持长文本解析、数据预测、代码生成等复杂任务。Qwen-Long作为其变体,专为长上下文场景优化,适用于大型文档处理、知识图谱构建等。Qwen2.5在ESG报告解析、多Agent协作、数学模型生成等方面表现出色,提供灵活且高效的解决方案。
264 49
|
1月前
|
XML JSON JavaScript
HttpGet 请求的响应处理:获取和解析数据
HttpGet 请求的响应处理:获取和解析数据
|
2月前
|
存储 分布式计算 Java
存算分离与计算向数据移动:深度解析与Java实现
【11月更文挑战第10天】随着大数据时代的到来,数据量的激增给传统的数据处理架构带来了巨大的挑战。传统的“存算一体”架构,即计算资源与存储资源紧密耦合,在处理海量数据时逐渐显露出其局限性。为了应对这些挑战,存算分离(Disaggregated Storage and Compute Architecture)和计算向数据移动(Compute Moves to Data)两种架构应运而生,成为大数据处理领域的热门技术。
88 2
|
2月前
|
数据采集 存储 自然语言处理
基于Qwen2.5的大规模ESG数据解析与趋势分析多Agent系统设计
2022年中国上市企业ESG报告数据集,涵盖制造、能源、金融、科技等行业,通过Qwen2.5大模型实现报告自动收集、解析、清洗及可视化生成,支持单/多Agent场景,大幅提升ESG数据分析效率与自动化水平。
156 0

推荐镜像

更多