简介
SLS 数据加工提供了预览功能,以便用户可以在发布运行之前,对 DSL 脚本进行调试,保证 DSL 的正确性和完整性。数据加工提供了2种预览方式,快速预览和高级预览。
- 快速预览可免费、快速检验数据加工脚本语法正确性,验证加工规则的输出结果是否符合预期,并且支持自定义测试数据或者从Logstore中选取特定日志进行测试。快速预览不能真正连接到资源函数(res_local、res_rds_mysql、res_log_logstore_pull、res_oss_file)所指定的资源,如果在加工过程中涉及到函数资源,您可以在维表页签中输入测试数据进行预览。
- 高级预览会产生一定的流量,计入数据加工费用。建议您通过快速预览确认输出结果符合预期后,使用高级预览完整测试资源函数的配置准确性。
下表是这两种预览方式的对比:
预览方式 | 计费 | 预览速度 | 自定义输入数据 | 完整加工流程 |
---|---|---|---|---|
快速预览 | 免费 | 极快 | 支持 | 否(不会连接资源函数指定的资源) |
高级预览 | 按流量 | 一般 | 不支持 | 是 |
快速预览
- 在右上角选择“快速”选项。
- 加工脚本编辑器左下方,在“原始日志”标签页中,我们可以看到当前logstore内存储的原始数据。
- 对于每一条原始数据,我们都可以选择将其“加入预览数据”。
- 选择好原始数据以后,选择“测试数据”标签页,这里面包含了“数据”和“维表”两个子标签页。
- 选择“数据”子标签页,这里可以看到,已经从原始数据中选择的数据条目。我们特可以输入自定义数据
说明:
单次预览的测试数据大小不超过1 MB。
多条测试数据之间用空行分隔。
跨行字段值使用Markdown编辑格式,通过`
,识别整个字段。
在数据页签中配置的测试数据可以为KV格式或者JSON格式,其中KV格式数据使用冒号(:)连接字段名和字段值。
样例:包含2条测试数目,第1条是KV格式(包含1个跨行字段traceback),第2条是JSON格式。
time_local: 25/May/2020:01:56:22
user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18
"request:method": GET
{
"time_local": "25/May/2020:01:56:22",
"user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18",
"request:method": "GET",
"remote user": "john"
}
- 选择“维表”子标签页,如果加工脚本里面包含了资源函数,我们可以在这里指定每个资源函数对应的资源内容。
说明 在维表页签中配置的测试数据,如果是res_rds_mysql、res_log_logstore_pull资源函数对应的数据样例必须为CSV格式,如果是res_oss_file、res_local资源函数对应的数据样例可以为CSV格式,也可以为JSON格式。
样例:包含2条测试数据,第1条是CSV格式,第2条是JSON格式。
ip,country,province
127.0.0.1,China,Shanhai
192.168.0.0,China,Zhejiang
[
{
"ip": "127.0.0.1",
"country": "China",
"province": "Shanhai"
},
{
"ip": "192.168.0.0",
"country": "China",
"province": "Zhejiang"
}
]
- 点击右上角“预览数据”按钮,开始预览任务。
- 在“加工结果”标签页中,我们可以看到经过加工脚本处理以后的数据条目,和本次预览的统计信息。
高级预览
- 在右上角选择“高级”选项。
- 点击右上角“预览数据”按钮,开始预览任务。
- 在“加工结果”标签页中,我们可以看到经过加工脚本处理以后的数据条目,和本次预览的统计信息。
因为高级预览会执行完整的数据加工流程,所以需要授权 SLS 读取源 logstore 内存储的数据作为教工的原始数据。授权配置参考官方文档。
后记
以上就是使用 SLS【数据加工】功能时,需要为数据加工授权的详细步骤。如果您在使用 SLS 过程中有任何问题,请加入我们钉钉服务群,也欢迎关注 SLS 的微信技术公众号和B站视频号。