开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks开发环境执行离线同步,怎么显示今日新增,明日数据更新,没有立即更新数据了?

DataWorks开发环境执行离线同步,怎么显示今日新增,明日数据更新,没有立即更新数据了?image.png

展开
收起
真的很搞笑 2023-12-17 07:40:43 72 0
3 条回答
写回答
取消 提交回答
  • 是这样的哈 显示有一定的延迟 不影响查询计算 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-17 23:53:16
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    对于DataWorks开发环境执行离线同步不立即更新数据的问题,可能的原因有多个。首先,可能是因为离线同步任务的调度设置问题。例如,如果离线同步任务的调度周期设置为每天或每周,那么数据并不会立即更新,而是会在设定的调度周期到达时才进行更新。其次,离线同步任务长时间运行未释放资源也可能导致其他任务被阻塞,进而影响数据的及时更新。

    对于如何查看今日新增和明日数据更新,您可以通过配置增量同步规则来实现。例如,您可以使用STR_TO_DATE函数和DATE_ADD函数来筛选出今日新增和明日更新的数据。此外,如果您想要查看离线同步任务的执行情况,可以登录DataWorks控制台,单击左侧导航栏的"数据建模与开发" > "数据开发",在下拉框中选择对应工作空间后单击进入数据开发。然后,单击左侧导航栏中的"函数列表",即可查看相应的函数。同时,也可以通过查看离线同步任务执行过程中的日志来获取详细的任务执行情况。

    2023-12-17 15:05:42
    赞同 展开评论 打赏
  • 在DataWorks的开发环境中,执行离线同步任务后,并不会立即更新数据。离线同步是根据预定的调度时间和频率来进行数据同步的。

    要了解今日新增和明日数据更新等最新数据情况,您可以通过以下方式查看:

    1. 查看同步任务的调度配置:在DataWorks控制台的相应项目空间中,选择"数据开发" > "任务开发",找到您的同步任务。点击任务名称进入任务详情页面,然后点击"调度配置"选项卡,查看任务的调度时间和频率设置。

    2. 查看同步任务的运行日志:在任务详情页面中,点击"运行记录"选项卡,可以查看任务的历史运行记录。运行记录将显示每次同步任务的开始时间、结束时间和状态。

    3. 检查同步任务的输出结果:在任务详情页面中,点击"实例管理"选项卡,选择最近一次成功运行的实例,然后点击"查看日志"按钮。在日志中,您可以查看同步任务的输出结果,包括具体的同步数据和变更情况。

    2023-12-17 14:47:17
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多