开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks是odps的,就是简单的从oss csv文件同步到odps表中。这个tunnel?

DataWorks是odps的,就是简单的从oss csv文件同步到odps表中。这个tunnel指的是什么,我看我的任务也不是24小时一到就被kill,而是26小时到35小时不等?image.png

展开
收起
真的很搞笑 2023-08-20 08:50:47 113 0
1 条回答
写回答
取消 提交回答
  • 全栈JAVA领域创作者

    在DataWorks中,如果需要从OSS CSV文件同步到ODPS表中,可以使用ODPS数据集成任务来实现。在ODPS数据集成任务中,可以配置数据源、数据目标、同步任务等信息,以实现数据的同步和更新。
    关于您提到的tunnel问题,如果您的任务在运行过程中出现了kill的情况,可能是由于任务运行时间过长、任务并发度过高、任务调度等因素引起的。建议您可以尝试以下操作:

    优化任务的运行时间,例如通过加入数据过滤、数据聚合等操作来减少数据量。
    调整任务的并发度,例如通过设置任务的并发度为1来避免任务过度并发。
    调整任务的调度方式,例如通过设置任务的调度方式为按需调度来避免任务运行时间过长。
    同时,如果您在使用DataWorks过程中遇到其他问题,可以随时联系DataWorks官方客服或者技术支持,以获取更准确的帮助和解决方案。

    2023-08-22 14:25:23
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载