开发者学堂课程【新电商大数据平台2020最新课程:电商项目之 Sqoop 脚本编写数据导入】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/640/detail/10503
电商项目之 Sqoop 脚本编写数据导入
内容介绍
一、Sqoop 的数据导入
二、Sqoop 脚本编写
三、数据导入验证
一、Sqoop 的数据导入
1、首先编写一个 sqoop 脚本,输入 sqoop help 可以看到 sqoop 命令的介绍从中获得帮助 (本次以 Mysql 导入到Hive 中为例)
二、Sqoop 脚本编写
1、编写脚本并运行
输入:
sqoop import --connect jdbc:mysql//192.168.0.103/nshop --driver com.mysql.jdbc.Driver --username root --password 123456 --table customer --hive-import -- hive-overwrite --hive-table ods_nshop.ods_02_customer-m 1
通过运行得到
需要将其导入到执行包,否侧数据无法进入到 Hive 中
2、(1)输入:cp /usr/local/hive-2.1.1/lib/hive-exec-2.1.1.jar lib/ (导入到lib中)得到
输入:
hdfs dfs -rmr /user/root/* 删除 user/root下的所有运行任务
(2)删空后需要重新导入,输入编写的脚本:
sqoop import --connectjdbc:mysql//192.168.0.103/nshop --driver com.mysql.jdbc.Driver --username root --password 123456 --table customer --hive-import -- hive-overwrite --hive-table ods_nshop.ods_02_customer-m 1
(导入时注意填写表的全名)
三、数据导入验证
1、运行完成进入后可以进入 ods 表中查看数据是否存在
可看到数据存在
2、进入 hive 查看是否有数据
可以看到数据存在,那么整个过程就完成了