Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验 | 学习笔记

简介: 快速学习 Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验

开发者学堂课程【Azkaban 大数据调度系统课程精讲Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验 学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/721/detail/12875


Azkaban--安装部署--solo server 模式安装--azkaban 使用初体验


内容介绍:

一、节点规划

二、解压配置

三、启动验证

四、登陆 web 页面

五、初体验测试

六、小结


一、节点规划

HOST

角色

node-1

Web ServerExecutor Server 同一进程

1、azkaban 当中 solo server 模式部署方式,这个模式称之为单节点模式,web 服务器和 Executor 服务器在同一个进程当中,主要用于测试和体验环节,通过这个模式更多的感受 azkaban 完整的工作流开发过程。

针对集群做一个规划,只有一台机器,在 node-1 服务器上安装 solo Server 服务器,当 Web Server Executor Server 都会在同一进程中,在这种模式下所需要的安装包只有一个叫做 azkaban solo server,其他的都不需要。

image.png


二、解压配置

打开服务器,cd 到常见的安装软件包的路径,把 azkaban solo Serve 拖拽进来,注意当下模式只需要这一个包,连数据库都不需要,因为它使用自带的数据库,上传完成后,做解压操作,cd 到解压后的目录中,针对单节点模式,配置比较简单,首先配置 azkaban.properties,修改时区,因为当下在中国开发,默认都是东8区,直接复制命令。

mkdir /export/servers/azkaban

tar -zxvf azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz-C /export/servers/azkaban/

vim conf/azkaban.properties

默认的时区是美国洛杉矶,要改成上海,日期格式不能随便写,大小写有规定,注意当数字粘贴完成后不要多打空格。

default.timezone.id= Asia/Shanghai #修改时区

Vim pluqins/jobtypes/commonprivate.properties

添加: memCheck.enabled =false 避免虚拟机中内存不足出现问题。

azkaban 默认需要3G 的内存,剩余内存不足则会报异常,在体验时可以做相应的修改。

database.type=h2数据库类型 h2

h2. path=. /h2路径在安装包的根目录下

h2. create. table s=true

不用创建,直接使用即可,非常方便。


三、启动验证

在安装包的根目录下直接 bin/start-solo 启动,注意,它告诉启动的命令在b目录下,如果到目录下启动,会发现启动成功但是没有进程。所以要求必须在安装包的根目录下启动,cd..返回到上一级,bin/start 进行启动,使用 jps,就会发现多了一个 AzkabanSingleServer。

cd azkaban-solo-server-0.1.0-SNAPSHOT/

bin/start-solo.sh

注:启动/关闭必须进到 azkaban-solo-server-0.1.0-SNAPSHOT/目录下。

AzkabanSingleServer(对于 Azkaban solo-server 模式, Exec Server 和 Web Server 在同一个进程中)


四、登陆 web 页面

访问 Web Server=>http://node-1:8081/默认用户名密码 azkaban

输入用户名和密码。

image.png

登陆到 Azkaban web 页面。从左到右依次是工程,在 Azkaban 中项目是以工程存在的。

image.png

当前正在调度的工程。

image.png

正在执行的工程。

image.png

执行完毕的工程。

image.png

所有操作基于工程进行相关的创建。


五、初体验测试

http://node-1:8081/index 登录=>Create Project=>Upload zip =>execute flow 执行一步步操作即可。

创建两个文件 one.job two.job,内容如下,打包成 zip 包。

打开参考资料,在资料中安装部署配置 solo 模式。

image.png

第一个是 one.job,右键点击。

#one. job

type=command 类型

Command=echo "this is job one"命令,show 命令,输出一句话

第二个 two.job,右键点击。

# two.job

type= command

Dependencies=one依赖于 one,根据后面的名字进行寻找,依赖于它,它执行完后再执行,任何一个软件只要最后能转化成 command 稀有脚本,都可以调度执行。把两个配置文件达成 zip 的压缩包。

command=echo "this is job two"

cat one.job

type=command

command=echo "this is job one"

cat two.job

type=command

dependencies=one

command=echo "this is job two"

创建工程:azkaban_ demo

image.png

点击 upload 上传压缩包,solo.zip

image.png

点击查看,列举出当前工程的依赖。

image.png

点击右上角按钮 Schedule/Execute Flow 调用或执行,打开后如果点击左边就是调度,点击右边就是执行。点击执行。

image.png

通过 job list 查看,时间曲线百分之百是先一后二,如果出错,可以点击 details,查看相关信息,this is job onethis is job two,完成调度。

image.png


六、小结

1、安装部署

1)单节点部署模式,注意时区,内存检测的关闭。

2)启动时候必须在安装包的根目录下进行启动。

bin/start-solo.sh 正确

./start-solo.sh 错误

2azkaban 开发流程

1)编写 job 的配置文件 xxxx.job

type=command

command=xxxx

2)把所有 job 配置打成一个 zip 的压缩包。

3)登录页面 node-1:8081创建工程(默认用户名密码都是 azkaban)

4)上传 zip 压缩包。

5)选择调度 schduler 或者立即执行 executor 工程。

相关文章
|
缓存 安全 Java
|
运维 Java Nacos
nacos常见问题之读取不到配置文件如何解决
Nacos是阿里云开源的服务发现和配置管理平台,用于构建动态微服务应用架构;本汇总针对Nacos在实际应用中用户常遇到的问题进行了归纳和解答,旨在帮助开发者和运维人员高效解决使用Nacos时的各类疑难杂症。
7345 2
|
Web App开发 Linux
只需五步,在Linux安装chrome及chromedriver(CentOS)
只需五步,在Linux安装chrome及chromedriver(CentOS)
5994 1
|
存储 SQL 缓存
Hadoop入门(一篇就够了)
Hadoop入门(一篇就够了)
31933 4
Hadoop入门(一篇就够了)
|
应用服务中间件 Apache
Apache Zookeeper 下载和安装
Apache ZooKeeper 是一个开发和维护开源服务器的项目,它支持高度可靠的分布式协调。 下载地址 北京理工大学 开源软件镜像服务 https://mirror.bit.edu.cn/web/ 清华大学开源软件镜像站 | Tsinghua Open Source Mirror https://mirrors.tuna.tsinghua.edu.cn/ 北京外国语大学开源软件镜像站 | BFSU Open Source Mirror https://mirrors.bfsu.edu.cn/ zookeeper-3.4.14 下载地址 https://mirrors.bfsu.edu.cn
1809 0
Apache Zookeeper 下载和安装
|
Oracle Java 关系型数据库
Oracle jdk 的国内下载镜像
Oracle jdk 的国内下载镜像
56671 0
|
7月前
|
机器学习/深度学习 JSON 算法
京东拍立淘图片搜索 API 接入实践:从图像识别到商品匹配的技术实现
京东拍立淘图片搜索 API 是基于先进图像识别技术的购物搜索接口,支持通过上传图片、URL 或拍摄实物搜索相似商品。它利用机器学习和大数据分析,精准匹配商品特征,提供高效、便捷的搜索体验。接口覆盖京东海量商品资源,不仅支持外观、颜色等多维度比对,还结合用户行为数据实现智能推荐。请求参数包括图片 URL 或 Base64 编码,返回 JSON 格式的商品信息,如 ID、价格、链接等,助力消费者快速找到心仪商品,满足个性化需求。
538 18
|
9月前
|
人工智能 固态存储 iOS开发
5分钟搞定Photoshop 2025安装:官方下载+许可证激活避坑指南
Adobe Photoshop 2025 是 Adobe 公司推出的最新图像处理软件,广泛应用于平面设计、摄影后期和 UI 设计等领域。其核心功能包括智能 AI 工具(一键抠图、生成填充等)、高效工作流(优化图层管理与色彩调整)、跨平台兼容(支持 Windows 11 和 macOS 15)以及云协作功能(与 Adobe Creative Cloud 集成)。本文详细介绍软件的安装流程、系统要求、正版激活方法及常见问题解决方案,并提供扩展学习资源,帮助用户更好地掌握这款强大工具。
34815 3