初窥Apache DolphinScheduler

简介: 初窥Apache DolphinScheduler

前言

拥抱开源,始终关注新兴技术是技术人的必备技能,因此我写了这篇初窥Apache DolphinScheduler

Apache DolphinScheduler是什么?

Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。

有什么特性

概括:

高可靠性

简单易用

丰富的使用场景

高拓展性

快速入门

快速上手

管理员用户登录

地址:http://192.168.xx.xx:12345/dolphinscheduler

用户名密码:admin/dolphinscheduler123

创建队列

创建租户

创建普通用户

创建告警组

创建Worker分组

创建token令牌

使用普通用户登录

点击右上角用户名“退出”,重新使用普通用户登录。

项目管理->创建项目->点击项目名称

点击工作流定义->创建工作流定义->上线工作流定义

运行工作流定义->点击工作流实例->点击工作流实例名称->双击任务节点->查看任务执行日志

总结

适合什么人使用?

如果第一公司不想花大价钱购买商业ETL工具及调度器,

第二公司也没规划人力自研调度器,那么DolphinScheduler将是不错的选择;

  因为确实也存在很优秀的商业调度器,唯一的缺点就是贵嘛;而DolphinScheduler在目前的开源调度器中,如Azkaban,XXL-Job,Ozzie,AirFlow等对比,确实略胜一筹,如果自研开源调度器,人力成本也是需要估量的,因为DolphinScheduler完全开源,也可以借鉴DolphinScheduler。

以上便是初窥Apache DolphinScheduler的全部内容,具体使用体验等待我上手后再写一篇文章


目录
相关文章
|
7月前
|
SQL 资源调度 分布式计算
Apache DolphinScheduler 【安装部署】
Apache DolphinScheduler 【安装部署】
|
8月前
|
Apache 调度 数据库
Apache DolphinScheduler VS WhaleScheduler
Apache DolphinScheduler VS WhaleScheduler
778 59
|
人工智能 资源调度 大数据
Apache DolphinScheduler 在大数据环境中的应用与调优
Apache DolphinScheduler 在大数据环境中的应用与调优
286 0
|
SQL 分布式计算 监控
EMR Workflow 开启公测,100%兼容开源 Apache DolphinScheduler
EMR Workflow 是一个全托管的工作流和任务调度服务,100%兼容开源 Apache DolphinScheduler。它提供了易于使用的调度服务,您可以通过可视化的操作界面轻松地管理工作流和任务,高效构建数据仓库,并为生产任务的稳定运行提供保障。
698 1
|
存储 Kubernetes JavaScript
大数据任务调度工具 Apache DolphinScheduler
大数据任务调度工具 Apache DolphinScheduler
751 1
|
存储 分布式计算 Cloud Native
阿里云 EMR 基于 Apache DolphinScheduler 产品技术实践和社区贡献
本文整理自阿里云 EMR 数据开发团队负责人孙一凡(Evans 忆梵),在 Apache Spark & DS Meetup 的分享
阿里云 EMR 基于 Apache DolphinScheduler 产品技术实践和社区贡献
|
分布式计算 大数据 Apache
直播预约|Apache Spark + DolphinScheduler Meetup 1月11日正式上线
洞悉 Spark 任务调度新能力|Apache Spark + DolphinScheduler Meetup 将于 1 月 11 日在线上举办
229 1
直播预约|Apache Spark + DolphinScheduler Meetup 1月11日正式上线
|
SQL Kubernetes 数据可视化
Apache DolphinScheduler 毕业成为 Apache 首个由国人主导的大数据工作流调度领域顶级项目
Apache DolphinScheduler 毕业成为 Apache 首个由国人主导的大数据工作流调度领域顶级项目
Apache DolphinScheduler 毕业成为 Apache 首个由国人主导的大数据工作流调度领域顶级项目
|
1月前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
337 33
The Past, Present and Future of Apache Flink
|
3月前
|
SQL Java API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布,这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进,包括存算分离状态管理、物化表、批作业自适应执行等,同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈,但不建议在生产环境中使用。
935 13
Apache Flink 2.0-preview released