开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

请问用dataworks集成任务拉sls任务的时候,系统自带__receive_time__可以拉

请问用dataworks集成任务拉sls任务的时候,系统自带__receive_time__可以拉到数据,但是__time__不行。这是为什么呢

展开
收起
游客3oewgrzrf6o5c 2022-08-15 17:37:22 391 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在阿里云数加平台的 DataWorks 中,如果您使用 SLS(Simple Log Service)作为数据源,可以通过集成任务来将 SLS 中的数据同步到 DataWorks 中进行处理。在 SLS 中,每条日志都有一个时间戳字段,可以通过该字段来进行数据的时间范围查询和过滤。

    关于您提到的问题,SLS 中包含两个特殊字段 receive_time 和 time,它们的含义如下:

    receive_time:表示 SLS 服务接收到日志的时间戳,即 SLS 服务的接收时间。该字段的值是 SLS 自动添加的,与日志内容无关。

    time:表示日志内容中自定义的时间戳字段,即日志的生成时间。该字段的值是由应用程序添加到日志中的。

    在 DataWorks 中,当您使用集成任务来拉取 SLS 数据时,系统默认会将 receive_time 字段作为时间戳字段进行数据的时间范围查询和过滤。如果您想使用自定义的时间戳字段(如 time)来进行数据的时间范围查询和过滤,可以在集成任务中进行配置。

    具体来说,您需要在 DataWorks 的集成任务中选择 SLS 数据源,并在数据源设置中选择对应的 SLS 项目和日志库。然后,在数据源设置中的“高级配置”中,可以找到“时间属性”设置项,将“时间属性”设置为您想要使用的时间戳字段(如 time),并保存配置即可。

    2023-06-23 11:17:17
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
    Kubernetes下日志实时采集、存储与计算实践 立即下载
    日志数据采集与分析对接 立即下载