电商项目之 AzKaban 案例(2.X 案例2)|学习笔记

简介: 快速学习电商项目之 AzKaban 案例(2.X 案例2)

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 AzKaban 案例(2.X 案例2)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10509


电商项目之 AzKaban 案例(2.X 案例2)


内容介绍

一、建立依赖关系

二、工作调度


一、建立依赖关系

案例是通过任务的依赖,这种依赖是第一个任务和第二个任务是有一个关系,只有当第一个任务执行完之后才能执行第二个任务。创建第一个文档,文件名为 foo.job 。

然后创建第二个文档,文件名为 bar.job 。

想要两个文件形成依赖关系,则需要进行配置。依次点击两个文件,然后在 foo.job文件第一行输入 type=command ,第二行输入 command=echo “Hello  123”;在 bar.job 文件第一行输入 type=command ,第三行输入 command=echo “Hello  456”,要想两者联系起来,在第二行输入 dependencies=foo ,然后对两个文件进行保存。

退回计算机首页对两个文件进行压缩,然后压缩包名称进行更改,命名为 dep.zip 。然后上传文件,进入 Azkaban Test 首页,在 personal 右侧点击 Azkban Test 会弹出 Login 页面,分别在一二行输入 admin 后点击下方 Login 。

点击 upload ,找到压缩包并打开,形成浏览模式,再点击 Upload 就上传了。点击 Execute Flow 可看到两个形成的依赖关系, foo 在前,bar 在后。

再点击 Execute 和 Continue 按钮,执行即完成。

 

二、工作调度

工作流在调度时,可以调度或使用 sdys 的命令,使用 sdys 命令需要写绝对例子不要些相对例子,还可以执行其他命令。

可以进行尝试,创建一个新的文件,名称为 hdfs.job ,打开文件,在第一行输入

type=command ,

第二行输入

command=/usr/local/hadoop-267.6/bin/haddoop fs-mkdir/Azkban ,进行保存。

注意:要对其进行检查。

然后进行压缩 形成一个压缩包,然后上传。打开 Azkban Test ,点击右上角 Upload 找到压缩包,打开文件,再点击 Upload 。点击 Execute Flow 和 Continue 开始执行。

在右上角可看到 End Time ,这里没有结束时间,可以选择点击 kill 除去它。

image.png

每一个执行时都需要时间,有时需要等待,如果想要查看是否执行成功,在浏览器搜索 node 1:50070/explorer.html#/ 进行查看。因为有时因为网络原因,已经执行成功了,但依然进度条在运作,有延迟现象。

相关文章
|
JSON JavaScript 数据格式
JS 将 json 对象转成字符串并保留格式 - JSON.stringify()
JS 将 json 对象转成字符串并保留格式 - JSON.stringify()
654 0
|
存储 定位技术 Swift
Swift 中的枚举与结构体,包括它们的定义、特性、使用场景及示例
本文深入探讨了 Swift 中的枚举与结构体,包括它们的定义、特性、使用场景及示例。枚举适合表示有限的、离散的状态或选项,结构体则适用于具有特定属性和行为的数据结构。两者在存储方式、继承性和灵活性上有所不同,但在实际开发中常结合使用,以充分发挥各自优势。
310 3
|
8月前
|
传感器 安全 物联网
《分布式软总线:解锁未来柔性电子设备互联新境界》
柔性电子设备正以前所未有的速度融入生活,从可折叠手机到智能穿戴设备,其轻薄便携、可变形特性为人们带来全新体验。然而,设备间互联互通的需求日益迫切,分布式软总线技术应运而生。该技术融合Wi-Fi、蓝牙、NFC等优势,实现设备自发现与自组网,屏蔽通信协议差异,优化数据传输效率。它在智能家居、智能医疗及可穿戴设备领域展现出巨大潜力,助力设备协同工作,提升用户体验。尽管面临兼容性与安全性挑战,未来结合AI、区块链等技术,分布式软总线将推动柔性电子设备进入更智能化、安全化的全新时代。
328 3
|
9月前
|
消息中间件 NoSQL 关系型数据库
去哪面试:1Wtps高并发,MySQL 热点行 问题, 怎么解决?
去哪面试:1Wtps高并发,MySQL 热点行 问题, 怎么解决?
去哪面试:1Wtps高并发,MySQL 热点行 问题, 怎么解决?
|
测试技术 API 数据库
性能测试概念
**性能测试评估系统在负载下的表现,关注响应时间、吞吐量、并发用户数和资源利用率。关键指标包括RT、HPS、TPS、QPS、RPS等。并发数可由QPS和平均响应时间计算。提升压力的技术手段涉及多进程、多线程,各有优劣。P90、P95、P99等分位数用于描述数据分布,揭示不同负载场景下的系统性能。**
|
11月前
|
Ubuntu 计算机视觉 C++
Ubuntu系统下编译OpenCV4.8源码
通过上述步骤,你可以在Ubuntu系统上成功编译并安装OpenCV 4.8。这种方法不仅使你能够定制OpenCV的功能,还可以优化性能以满足特定需求。确保按照每一步进行操作,以避免常见的编译问题。
345 43
|
10月前
|
存储 开发工具 数据安全/隐私保护
iOS各个证书生成细节
在iOS开发中,证书和标识符的配置至关重要。CSR(证书签名请求)由私钥生成,提交给苹果获取`.cer`证书。P12文件由`.cer`证书和私钥导出,用于开发环境。App ID确保应用唯一性。流程包括创建App ID、生成CSR、申请证书并导出P12。主P12和推送P12可使用不同CSR。
489 3
|
存储 API 数据库
使用Python和Flask构建简单的RESTful API
使用Python和Flask构建简单的RESTful API
312 2
|
存储 数据采集 大数据
Flink实时湖仓,为汽车行业数字化加速!
本文由阿里云计算平台产品专家李鲁兵(云觉)分享,聚焦汽车行业大数据应用。内容涵盖市场趋势、典型大数据架构、产品市场地位及能力解读,以及典型客户案例。文章详细介绍了新能源汽车市场的快速增长、大数据架构分析、实时湖仓方案的优势,以及Flink和Paimon在车联网中的应用案例。
768 8
Flink实时湖仓,为汽车行业数字化加速!
|
人工智能 API 开发者
插件开发最佳实践:以必应(Bing)搜索插件开发为例
插件是Botnow中增强Bot功能的关键工具,可通过添加各类插件如新闻阅读、效率工具等,扩展Bot的知识与技能。本文以开发“必应搜索”插件为例,详细介绍从登录控制台开始,经过创建插件、定义接口、设置认证信息直至在Bot中实际运用插件的全过程。遵循最佳实践,开发者能构建高质量插件,显著提升Bot的服务能力。
362 0