电商项目之 Sqoop 安装配置|学习笔记

简介: 快速学习电商项目之 Sqoop 安装配置

开发者学堂课程【新电商大数据平台2020最新课程电商项目之 Sqoop 安装配置】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/640/detail/10502


电商项目之 Sqoop 安装配置


内容介绍

一、Sqoop 的安装

二、Sqoop 的配置

三、Sqoop 的验证

 

一、Sqoop 的安装、配置

1、首先在文档中找到 Sqoop 文件

2、将其复制进来后进行解压并执行到一个文件夹中

image.png

输入:

[root@node1 ~]# tar -zxvf sqoop-1.4.7.tar.gz -c /usr/local/  进行解压,解压完成后进入到 Sqoop 中


二、Sqoop 的配置

1、输入进入命令:[root@node1~]# cd /usr/local/

[root@node1 local]# ls 可得到

image.png

2、其中需要更改一些配置,第一步更改 conf ,输入 cd conf/得到

对 sqoop-env-template.sh进行修改,修改之前配置其变量,输入:vim /etc/profile 得到

image.png

然后分别添加指令

export SQOOP _HOME=/usr/local/sqoop-1.4.7;

bin:$SQOOP_HOME/bin

image.png

3、输入 wo配置 sqoop ,再输入sourse /etc/profile使其生效,输入 jps (任务),再配置 env,并对其重命名为:

mv sqoop-env-template.sh sqoop-env.sh ,在这其中配置 vim sqoop-env.sh 得到

image.png

其中先配置 HIVE,输入:/usr/local/hive-2.1.1 ,

再配置 /usr/local/hadoop-2.7.6 ,然后保存

4、image.png

5、保存好后,对 sqoop-site 进行更改,也可以不改前提是打开免密功能,

输入:[root@node1 conf]# vim sqoop-site-template.xml 打开免密,找到<property>后释放

image.png


三、Sqoop 的验证

1、配置 sqoop 的驱动并验证,输入 sqoop version,出现图示即为配置完成

image.png

2、输入:

vim conf/sqoop-site.xml 对连接密码进行修改,整个过程就完成了

image.png

相关文章
|
分布式计算 运维 大数据
盘点下近几年退役的顶级 Apache 大数据项目 - 继 Sentry,Sqoop 之后,Ambari 正式退役!
盘点下近几年退役的顶级 Apache 大数据项目 - 继 Sentry,Sqoop 之后,Ambari 正式退役!
|
SQL 关系型数据库 MySQL
电商项目之 Sqoop 脚本编写数据导入|学习笔记
快速学习电商项目之 Sqoop 脚本编写数据导入
电商项目之 Sqoop 脚本编写数据导入|学习笔记
|
关系型数据库 MySQL 大数据
电商项目之 Sqoop 的 Shell 脚本编写|学习笔记
快速学习电商项目之 Sqoop 的 Shell 脚本编写
电商项目之 Sqoop 的 Shell 脚本编写|学习笔记
|
7月前
|
SQL 分布式计算 监控
Sqoop数据迁移工具使用与优化技巧:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入解析Sqoop的使用、优化及面试策略。内容涵盖Sqoop基础,包括安装配置、命令行操作、与Hadoop生态集成和连接器配置。讨论数据迁移优化技巧,如数据切分、压缩编码、转换过滤及性能监控。此外,还涉及面试中对Sqoop与其他ETL工具的对比、实际项目挑战及未来发展趋势的讨论。通过代码示例展示了从MySQL到HDFS的数据迁移。本文旨在帮助读者在面试中展现Sqoop技术实力。
525 2
|
数据采集 SQL 分布式计算
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
数据处理 、大数据、数据抽取 ETL 工具 DataX 、Kettle、Sqoop
1447 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
69 3
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
96 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-23 Sqoop 数据MySQL到HDFS(部分) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
43 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-22 Sqoop 数据MySQL到HDFS(全量) SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
56 0
|
6月前
|
SQL 关系型数据库 MySQL
基于Hive的天气情况大数据分析系统(通过hive进行大数据分析将分析的数据通过sqoop导入到mysql,通过Django基于mysql的数据做可视化)
基于Hive的天气情况大数据分析系统(通过hive进行大数据分析将分析的数据通过sqoop导入到mysql,通过Django基于mysql的数据做可视化)
215 0