Azkaban的基本介绍之三个重要组件

简介: Azkaban的三个重要组件

Azkaban包括三个重要组件:
1)关系数据库(目前仅支持mysql)
2)web管理服务器-AzkabanWebServer
3)执行服务器-AzkabanExecutorServer

Azkaban使用MySQL来存储它的状态信息,Azkaban Executor Server和Azkaban Web Server均使用到了MySQL数据库。
AzkabanExecutorServer使用到了数据库的地方:
获取project的信息
执行工作流
存储工作流运行日志
如果一个工作流在不同的执行器上运行,它将从DB中获取状态。
AzkabanWebServer使用到了数据库的地方:
Project管理
跟踪工作流执行进度
访问历史工作流的运行信息
定时执行工作流任务
记录所有sla规则
AzkabanWebServer:
AzkabanWebserver是整个Azkaban工作流系统的主要管理者,它负责project管理、用户登录认证、定时执行工作流、跟踪工作流执 行进度等一系列任务。同时,它还提供Web服务操作的接口,利用该接口,用户可以使用curl或其他ajax的方式,来执行azkaban的相关操作。
操作包括:
用户登录、
创建project、
上传workflow、
执行workflow、
查询workflow的执行进度、
杀掉workflow等一系列操作
且这些操作的返回结果均是json的格式。
AzkabanExecutorServer:
之所以将AzkabanWebServer和AzkabanExecutorServer分开,主要是因为在某个任务流失败后,可以更方便的将重新执行。而且也更有利于Azkaban系统的升级。

相关文章
|
8月前
|
SQL 分布式计算 Hadoop
Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
【2月更文挑战第6天】Azkaban【基础 01】核心概念+特点+Web界面+架构+Job类型(一篇即可入门Azkaban工作流调度系统)
603 0
|
数据可视化 Java Linux
手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI
手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI
1186 0
|
SQL 分布式计算 资源调度
CDH+Kylin三部曲之二:部署和设置
上一篇文章完成了所有准备工作,现在可以来部署和启动Kylin了
214 5
CDH+Kylin三部曲之二:部署和设置
|
SQL 资源调度 分布式计算
CDH+Kylin三部曲之三:Kylin官方demo
本文是《CDH+Kylin三部曲》系列的终篇,一起来实践kylin官方的demo
121 2
CDH+Kylin三部曲之三:Kylin官方demo
|
Java 关系型数据库 MySQL
azkaban使用方法大全
azkaban自动化流程
|
大数据 调度 开发者
Azkaban--使用实战--定时任务调度 | 学习笔记
快速学习 Azkaban--使用实战--定时任务调度
1668 0
Azkaban--使用实战--定时任务调度 | 学习笔记
|
SQL 关系型数据库 MySQL
Azkaban--介绍、架构、部署模式 | 学习笔记
快速学习 Azkaban--介绍、架构、部署模式
756 0
Azkaban--介绍、架构、部署模式 | 学习笔记
|
存储 关系型数据库 MySQL
电商项目之 Azkaban 安装(Exec 参数配置)|学习笔记
快速学习电商项目之 Azkaban 安装(Exec 参数配置)
电商项目之 Azkaban 安装(Exec 参数配置)|学习笔记
|
SQL 缓存 中间件
Mycat概述及基本使用
Mycat概述及基本使用
Mycat概述及基本使用
|
数据采集 监控 Java
无事来学学--Kettle的安装和基本概念了解(上)
什么是ETL? ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以了解并掌握一种etl工具的使用,必不可少
403 0