开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks可以建flink任务吗?

dataworks可以建flink任务吗?

展开
收起
真的很搞笑 2023-12-31 08:34:35 100 0
3 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,DataWorks确实支持使用Flink进行实时计算。在DataWorks中,您可以通过两种方式使用Flink:

    1. 使用流式计算任务:DataWorks支持使用阿里云实时计算(RealtimeCompute)来快速构建Flink应用程序,该平台可以无缝集成DataWorks的数据开发、数据管理、数据集成等模块。

    2. 创建Flink项目:在Flink集群中创建一个项目,并根据需要添加所需的资源,如JAR包、配置文件等;然后根据业务需求,设置Flink作业运行的参数,例如streaming data源、转换算子、sink。

    此外,DataWorks V3.0全面支持了实时计算引擎,推出了一站式实时计算开发平台Stream Studio,提供可视化拖拽式构建Flink任务的能力,即DAG开发模式。同时支持DAG与Flink SQL互相转换,大大降低了Flink任务开发门槛,提高了开发效率。

    2023-12-31 12:07:56
    赞同 展开评论 打赏
  • 是的,阿里云DataWorks支持创建和管理Flink任务。用户可以在DataWorks中基于Ververica Flink引擎创建并运行实时计算任务,包括但不限于Flink SQL作业。通过DataWorks可以进行一站式开发、调度、运维等操作,方便地配置和管理Flink作业的相关参数,如数据源、转换算子、sink数据汇等,并且能够监控作业状态,查看指标以及进行日志分析。

    具体步骤可能包括:

    1. 确保项目已开启实时计算引擎(即Flink引擎)服务。
    2. 配置好Ververica Flink计算源。
    3. 根据业务需求编写Flink SQL或者Java/Scala的Flink程序代码。
    4. 在DataWorks中创建相应的Flink任务,并设置相关的资源、并发度、依赖关系等属性。
    5. 提交任务并发布到生产环境,根据调度策略执行任务。

    通过这种方式,开发者能够在DataWorks平台上实现对Flink实时计算任务的有效管理和高效运行。

    2023-12-31 11:06:22
    赞同 展开评论 打赏
  • 不支持哈 建议使用flink自己的开发平台 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-12-31 10:58:13
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载