Azkaban--安装部署--two server 模式安装--服务器配置下 | 学习笔记

简介: 快速学习 Azkaban--安装部署--two server 模式安装--服务器配置下

开发者学堂课程【Azkaban 大数据调度系统课程精讲Azkaban--安装部署--two server 模式安装--服务器配置下学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/721/detail/12877


Azkaban--安装部署--two server 模式安装--服务器配置下


内容介绍:

一、web server 服务器配置

二、ec server  服务器配置

三、集群启动  

四、通过页面来使用 Azkaba

五、注意事项


一、web server 服务器配置

在 web 服务器的根目录下 web server 在根目录下找到 mkdir-p plugin/jobtypes 复制操作 在路径下创建

vim commonprivate.properties

并且复制,输入

cd plugins/jobtypes

在这个路径下采用 vim 编辑这个文件 ,然后设置 3个属性,内存检测本地库,用户,设置为 false,

azkaban.native.lib=false

execute.as.user=false

memCheck.enbled=false

复制这3个属性即可,之后保存即可。

image.png


二、exec server  服务器配置

重点配置 conf/azkaban.properties  下面的文件,使用 notepad++ 编辑选择 conf/azkaban.properties  下面 exec 执行服务器当中选择 conf 下面 azkaban.properties  打开文件更改里面的时区,选择亚洲上海,复制替代里面的美国洛杉矶,其次 web 服务器的路径的 http 开启了 S 认证所以改为 https note-2 刚端配置的是 8443 端口保持一致。

接下来就是数据库相关的配置,选择 mysql  在 note-1 端口是3356 服务器数据库的名字复制操作,用户 root 用户密码 hadhop 这样完成了数据库配置,最后复制服务器端口  12321

default . timezone . id - Asia / Shanghal

azkabanwebserver . url =https://node-2:8443

mysql .porta3306

mysql . hosts=node -1

mysql . database = azkaban _ two _ server

mysql . usera=root

mysql . pasSword = hadoop

xecutor . port =12321

image.png


三、集群启动

1.先启动  exec - server

首先启动一下 exec 执行服务器

cd / export / servers / azkaban /ExecutorServer

在根目录下使用并下面StartOK启动完成之后使用JPS可以查看一下当前的进程,发现有一个叫做 azkaban ExecutorServer

如果出错的话可以在当前路径下发现有日志,可以看一下当面里面有没有什么信息出错,而且这边有个文件很重要需要做excutor.port 端口等。这个文件非常有帮助。

接下来再去启动 web 服务器

cd ./ azkaban - web - server -0.1.0-SNAPSHOT/

这里面也是采用并启动 bin 下的启动,Start -web.sh。启动完之后我们 jps,发现 web server 进程没有了,意味着启动失败了。接下来,在他路径下也有一个日志文件这里面可以帮你去验证到底有什么问题。使用 cat 命令做一个查看web server 发现当中报了错误信息叫 No active executor found 找不到一个活跃的 executor 服务器

2.再启动  web - server

启动  webServer 之后进程失败消失,可通过安装包根目录下对应启动日志进行排查。

No active executor found

3.需要手动激活 executor

那么,刚才明明启动了一个jps可以发现这个进程确实存在 azkaban。启动的时候需要我们自己去手动的激活引出的这个服务。

cd / export / servers / azkaban / execserver

curl - G " node -2:S(</ executor . port )/ executor ? action =activate "&& echo

4.  然后重新启动  webServer  就可以了


四、通过页面来使用 Azkaban

image.png

现在这个私密连接还没有进行认证可能不安全,这个就是 ssl 需要一个数字签名的问题,感兴趣可以去了解一下。直接点击下面的高级按钮转到,点击“继续前往“ 用户名 Azkaban ,密码也是 Azkaban

image.png

接下来可以对它做一个简单测试,创建一个工程叫做 demo description itcast

image.png

选择刚才创建好的一个压缩包 solo 点击上传,依然可以发现它可以有2个 ,选择立即执行看一下效果 发现是非常成功的。

image.png

那么这样就完成了第2种部署模式 to server。


五、注意事项

第一点,two server 模式部署特点是 web 服务器和 exec executor 服务器分别位于不同的进程。第二点是使用第三方数据库进行数据的保存。

使用的是叫做 mysql 在安装部署时注意几点注意事项:第一,要先对 mysql 进行初始化的操作。

第二叫做配置 Azkaban.properties。注意里面的时区数据库地址 ,mysql 相关信息。最后一点在启动的时候注意需要自己手动的激活服务器。而且是要在根目录下启动。强调的是如果启动错误,只能通过安装包根目录下的日志进行。最后一点需要强调的是我们访问的页面叫做 HTTPS。这就是我们 two server 模式的部署在其当中这是一个比较常见的一个部署模式。

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
2月前
|
Shell Linux 网络安全
宝塔服务器面板部署安装git通过第三方应用安装收费怎么办—bash: git: command not found解决方案-优雅草卓伊凡
宝塔服务器面板部署安装git通过第三方应用安装收费怎么办—bash: git: command not found解决方案-优雅草卓伊凡
504 3
宝塔服务器面板部署安装git通过第三方应用安装收费怎么办—bash: git: command not found解决方案-优雅草卓伊凡
|
2月前
|
Java Linux Apache
在CentOS服务器上编译并部署NiFi源码
部署Apache NiFi在CentOS上是一个涉及细节的过程,需要注意Java环境、源码编译、配置调整等多个方面。遵循上述步骤,可以在CentOS服务器上成功部署和配置Apache NiFi,从而高效地处理和分发数据。
184 17
|
2月前
|
弹性计算 人工智能 前端开发
在阿里云ECS上部署n8n自动化工作流:U2实例实战
本文介绍如何在阿里云ECS的u2i/u2a实例上部署开源工作流自动化平台n8n,利用Docker快速搭建并配置定时任务,实现如每日抓取MuleRun新AI Agent并推送通知等自动化流程。内容涵盖环境准备、安全组设置、实战案例与优化建议,助力高效构建低维护成本的自动化系统。
634 5
|
3月前
|
Ubuntu 安全 关系型数据库
安装MariaDB服务器流程介绍在Ubuntu 22.04系统上
至此, 您已经在 Ubuntu 22.04 系统上成功地完成了 MariadB 的标准部署流程,并且对其进行基础但重要地初步配置加固工作。通过以上简洁明快且实用性强大地操作流程, 您现在拥有一个待定制与使用地强大 SQL 数据库管理系统。
298 18
|
3月前
|
Ubuntu 安全 关系型数据库
安装MariaDB服务器流程介绍在Ubuntu 22.04系统上
至此, 您已经在 Ubuntu 22.04 系统上成功地完成了 MariadB 的标准部署流程,并且对其进行基础但重要地初步配置加固工作。通过以上简洁明快且实用性强大地操作流程, 您现在拥有一个待定制与使用地强大 SQL 数据库管理系统。
314 15
|
3月前
|
弹性计算 安全 Linux
使用阿里云服务器安装Z-Blog博客网站流程,新手一键部署教程
本教程教你如何在阿里云99元服务器上,通过宝塔Linux面板一键部署Z-Blog博客。基于CentOS 7.9系统,从远程连接、安装宝塔面板、开放端口到部署Z-Blog全流程详解,操作简单,新手也能轻松搭建个人博客网站。
473 13
|
3月前
|
弹性计算 定位技术 数据中心
阿里云服务器选择方法:配置、地域及付费模式全解析
2025阿里云服务器选购指南:就近选择地域以降低延迟,企业用户优选2核4G5M带宽u1实例,仅199元/年;个人用户可选2核2G3M带宽ECS,99元/年起。长期稳定业务选包年包月,短期或波动场景用按量付费,轻松搭建网站首选高性价比配置。
|
2月前
|
弹性计算 运维 安全
阿里云轻量应用服务器与云服务器ECS啥区别?新手帮助教程
阿里云轻量应用服务器适合个人开发者搭建博客、测试环境等低流量场景,操作简单、成本低;ECS适用于企业级高负载业务,功能强大、灵活可扩展。二者在性能、网络、镜像及运维管理上差异显著,用户应根据实际需求选择。
281 10
|
2月前
|
运维 安全 Ubuntu
阿里云渠道商:服务器操作系统怎么选?
阿里云提供丰富操作系统镜像,涵盖Windows与主流Linux发行版。选型需综合技术兼容性、运维成本、安全稳定等因素。推荐Alibaba Cloud Linux、Ubuntu等用于Web与容器场景,Windows Server支撑.NET应用。建议优先选用LTS版本并进行测试验证,通过标准化镜像管理提升部署效率与一致性。