开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks如何同步数据生成txt文件?

问题1:DataWorks如何同步数据生成txt文件? 问题2:服务器或本地是不支持的是吗,写入文件时支持文件滚动吗(当文件大于某个size时切换成新文件)

展开
收起
真的很搞笑 2023-06-29 08:13:51 123 0
2 条回答
写回答
取消 提交回答
  • 问题1:DataWorks如何同步数据生成txt文件?

    答:在DataWorks中,可以通过以下步骤同步数据生成txt文件:

    在DataWorks中创建一个任务,选择数据源和数据生成的方式,例如使用MaxCompute作为数据源,使用SQL语句生成数据。 在任务配置中,选择输出路径和文件名,可以将数据生成到指定的txt文件中。 点击“同步”按钮,DataWorks会根据配置将数据生成到指定的txt文件中。 问题2:服务器或本地是不支持的吗,写入文件时支持文件滚动吗(当文件大于某个size时切换成新文件)?

    答:DataWorks支持在服务器和本地进行数据生成,具体取决于您使用的数据源和生成方式。例如,使用MaxCompute作为数据源时,可以在服务器上生成数据;使用MySQL、MongoDB等数据库作为数据源时,可以在本地生成数据。

    在写入文件时,DataWorks支持文件滚动,可以根据配置设置文件大小或文件数量进行切换成新文件。您可以在任务配置中选择输出路径和文件名,并设置文件大小或文件数量等参数,以便实现文件滚动。

    2023-06-29 18:32:47
    赞同 1 展开评论 打赏
  • 回答1:是需要写入oss还是?https://help.aliyun.com/document_detail/181656.html 回答2:写入ftp看是否符合预期 ,看了下 没有相关的参数,目前是根据并发数来生成对应的文件数 image.png ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-06-29 08:17:17
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载