电商项目之 AzKaban 案例(2.X 案例3)|学习笔记

简介: 快速学习电商项目之 AzKaban 案例(2.X 案例3)

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 AzKaban 案例(2.X 案例3)】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10510


电商项目之 AzKaban 案例(2.X案例3)

 

内容介绍

一、 新建脚本

二、调度操作

 

一、 新建脚本

新建一个文件脚本,也就是 名称+.job 形式,把 sqoop 中的命令或代码转移到脚本中。

因此,需要新建一个 sqoop 文件,提前写好命令。

 

二、调度操作

在 job 中第一行输入 type=command ,

在第二行输入 command=sh sqoop.sh 。注意文件名称 。

在编写 sqoop ,要与脚本相对应。第一行输入  #!/bin/bash 第三行后输入sqoop import \

--connect jdbc:mysql://192.168.0.2:3306/nshop \

--username root\

--password 1234561\

--table customer\

--hive-import \

--hive-overwrite\

--hive-table ods_ nshop.ods_ 02_ customer \

-m 1

注意:

要把下方 windows(CRLF) 换成Unix 。

image.png

然后对两个文件进行打包,然后压缩成一个包 命名为 sqoop.zip ,然后在浏览器中打开 Azkban Test ,点击  Upload 找到还压缩包,打开再点击 Upload 。

点击 Execute Flow 打开页面,点击下方 Excute 让其执行。然后等待执行结果,如果有错误在进行修改。

image.png

如图,说明任务成功。

相关文章
|
Cloud Native Java 数据库
阿里云spring脚手架的优势
阿里云spring脚手架的优势
1822 2
|
消息中间件 IDE Java
阿里云spring脚手架
阿里云spring脚手架
4892 1
|
5月前
|
SQL 前端开发 Java
JavaWeb 学习日记案例详解及 javaweb 完整项目案例实战指南
本文介绍了一个基于Spring Boot的JavaWeb企业员工管理系统完整案例,涵盖部门管理、员工管理、登录、异常处理、事务管理及AOP等核心功能实现,结合CSDN相关技术文章,提供详细技术方案与应用实例,适合JavaWeb开发者学习与参考。
257 0
|
Cloud Native IDE Java
阿里云spring脚手架如何接入
阿里云spring脚手架如何接入
1177 2
|
存储 Java 测试技术
一文彻底搞懂阿里开源TransmittableThreadLocal的原理和使用
【10月更文挑战第2天】在Java多线程编程中,线程本地变量(ThreadLocal)是一个非常有用的工具,它能够在每个线程中保存一个独立的变量副本,从而避免多线程环境下的数据竞争问题。然而,在使用线程池等高级多线程技术时,ThreadLocal却面临着一些挑战。为了解决这个问题,阿里巴巴开源了TransmittableThreadLocal(TTL),它扩展了ThreadLocal的功能,使其能够在复杂的多线程环境中正确传递值。本文将深入探讨TTL的原理和使用,帮助读者彻底理解这一技术干货。
2134 0
|
SQL 存储 Apache
Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
4929 59
|
前端开发 安全 JavaScript
中小企业快速迭代首选:基于spring boot的脚手架,GitHub标星6K+
简介 一个基于spring boot的脚手架,并提供完善社区文档教程,中小企业可以用来快速迭代。 您可以阅读文档快速部署上手: 社区文档 项目模块介绍 本地开发部署教程 工具集
|
Docker 容器
IDEA中连接虚拟机 管理Docker
IDEA中连接虚拟机、IDEA中SFTP连接、IDEA中连接Docker
384 1
IDEA中连接虚拟机 管理Docker
|
分布式计算 资源调度 Ubuntu
spark完全分布式部署
spark完全分布式部署
|
JavaScript 前端开发 Java
vue3.0 响应式原理(超详细)
彻底弄清楚 Vue 响应式原理