请问用dataworks集成任务拉sls任务的时候,系统自带__receive_time__可以拉到数据,但是__time__不行。这是为什么呢
在阿里云数加平台的 DataWorks 中,如果您使用 SLS(Simple Log Service)作为数据源,可以通过集成任务来将 SLS 中的数据同步到 DataWorks 中进行处理。在 SLS 中,每条日志都有一个时间戳字段,可以通过该字段来进行数据的时间范围查询和过滤。
关于您提到的问题,SLS 中包含两个特殊字段 receive_time 和 time,它们的含义如下:
receive_time:表示 SLS 服务接收到日志的时间戳,即 SLS 服务的接收时间。该字段的值是 SLS 自动添加的,与日志内容无关。
time:表示日志内容中自定义的时间戳字段,即日志的生成时间。该字段的值是由应用程序添加到日志中的。
在 DataWorks 中,当您使用集成任务来拉取 SLS 数据时,系统默认会将 receive_time 字段作为时间戳字段进行数据的时间范围查询和过滤。如果您想使用自定义的时间戳字段(如 time)来进行数据的时间范围查询和过滤,可以在集成任务中进行配置。
具体来说,您需要在 DataWorks 的集成任务中选择 SLS 数据源,并在数据源设置中选择对应的 SLS 项目和日志库。然后,在数据源设置中的“高级配置”中,可以找到“时间属性”设置项,将“时间属性”设置为您想要使用的时间戳字段(如 time),并保存配置即可。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。