字典和表格是数据富化（映射）过程中主要使用的两种数据结构，本文主要介绍这两种数据结构的常见构建方式，并对比不同构建方式的优缺点。

字典构建

直接构建

e_dict_map({"400": "错误", "200": "正常", "*": "其他"}, "status", "message")

优点: 直观、简单、方便.

从任务配置资源构建

e_dict_map(res_local("http_code_map"), "status", "message")

其中http_code_map是任务高级配置项, 值为:

{"400": "错误", "200": "正常", "*": "其他"}

优点: 如果内容较多, 且经常修改的话, 更易于维护.

从表格构建

使用tab_to_dict从表格构建, 而表格的构建参考本文后续的表格构建.

e_dict_map(tab_to_dict(tab_parse_csv("status_code,status_info\n400,错误\n200,正常\n*,其他"), "status_code", "status_info"), "status", "message")

优点: 高级场景下使用. 维护机制更灵活.

从字典函数构建

e_dict_map(dct_make("400", "错误", "200",  "正常", "*",  "其他"), "status", "message")

优点: 高级场景下可以实现特定效果, 因为dct_make还可以接受其他函数的返回值. 具体参考字典函数

从其他表达式构建

e_dict_map(json_parse(v("http_code_map")), "status", "message")

这里从源日志的字段http_code_map中获取映射关系.

优点：可以从日志事件的字段中动态提取映射关系，并构建字典。

不同字典构建方式对比

表格构建

从文本构建

e_table_map(tab_parse_csv("city,name,age\nshanghai,aliyun,10\ncity:nanjing,Maki,18"), "name",["city", "age"])

优点: 直观、简单、方便.

从任务配置资源构建

e_search_table_map(tab_parse_csv(res_local("table_info")), "name",["city", "age"])

其中table_info是加工规则的任务配置项, 值为:

content,name,age
shanghai,aliyun,10
nanjing,Maki,18

优点: 如果内容较多, 且经常修改的话, 较为易于维护.

从RDS资源中构建

e_table_map(tab_parse_csv(res_rds_mysql(...database="db", table="city")), "name",["city", "age"])

RDS表格city的内容为:

content,name,age
shanghai,aliyun,10
nanjing,Maki,18

优点: 如果内容较多, 且经常修改的话, 易于维护, 且会自动刷新.

从其他Logstore资源构建

e_table_map(res_log_logstore_pull(..., project="project_name", logstore="logstore_name", fields=["city","name","age"]),, "name",["city", "age"])

对应logstore中日志事件为:

"日志1"
{
  "city": "shanghai",
  "name": "aliyun",
  "age": "10"
}
"日志2"
{
  "city": "city:nanjing and data > 100",
  "name": "Maki",
  "age": "18"
}

优点: 支持实时读取, 维护机制更灵活. 高级场景下使用.

不同表格构建方式对比

进一步参考

• 日志服务最佳实践汇总(持续更新)
• 完整DSL语法介绍与参考PDF下载(持续更新)

• 数据加工指南

  • 介绍:

    • 功能概述
    • 概念
    • 原理

  • 快速开始:

    • 快速开始（SLB日志加工实战）
    • 控制台操作
    • 源与目标访问秘钥配置
    • 作业诊断指南
    • 性能指南
    • 成本优化指南

  • 语法:

    • DSL语法介绍
    • 查询字符串语法
    • JMES语法介绍

  • 管理配置:

    • 子账号授权配置

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持: