0-介绍
DataX 是一个异构数据源离线同步工具，可以实现关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
1-安装环境
jdk
1.首先执行以下命令查看可安装的jdk版本： yum -y list java* 2.选择自己需要的jdk版本进行安装，比如这里安装1.8，执行以下命令： yum install -y java-1.8.0-openjdk-devel.x86_64 3.安装完成之后，查看安装的jdk版本，输入以下指令： java -version
python
安装python yum install -y python27 查看python版本号 python --version
2.datax安装
- 将dataX.zip上传到服务器目录，命令unzip dataX.zip进行文件解压
- mv dataX ../software/ ,将解压后的文件夹复制到某个目录下
- 运行测试脚本，测试datax是否安装成功
[root@instance-co02m7eu package]# unzip dataX.zip [root@instance-co02m7eu package]# mv dataX ../software/ [root@instance-co02m7eu bin]# python datax.py /root/software/dataX/job/job.json
3.安装datax-web
3.1解压安装包及还原库文件
#datax-web-2.1.2.zip上传到服务器后进行解压 [root@node-1 pacakge]# unzip datax-web-2.1.2.zip #移动解压后的文件夹到挪个路径下 [root@node-1 pacakge]# mv datax-web-2.1.2/ ../software/ #文件夹赋予权限 [root@node-1 datax-web-2.1.2]# chmod -R 777 * [root@instance-co02m7eu bin]# pwd /root/software/datax-web-2.1.2/bin # 执行安装命令，执行之前赋权限 [root@instance-co02m7eu bin]# ./install.sh
命令执行后，按y继续，然后输入数据库相关信息
.sql文件如果未成功导入，需要到文件夹下手工导入
手动导入库文件：
[root@instance-co02m7eu db]# pwd /root/software/datax-web-2.1.2/bin/db 进入mysql 注意：需要预先创建好dataxweb数据库 mysql> use dataxweb; mysql> source datax_web.sql;
3.2修改配置文件
# 修改datax-web-2.1.2/modules/datax-admin/conf路径下的application.yml文件： [root@instance-co02m7eu conf]# pwd /root/software/datax-web-2.1.2/modules/datax-admin/conf #修改为dataxweb库所在mysql的账号密码 [root@instance-co02m7eu conf]# vi application.yml 第一张图 #修改dataxweb库所在mysql数据库相关信息 [root@instance-co02m7eu conf]# vi bootstrap.properties 第二张图 #修改datax.py路径 ，datax-web-2.1.2/modules/datax-executor/bin下 [root@instance-co02m7eu bin]# pwd /root/software/datax-web-2.1.2/modules/datax-executor/bin [root@instance-co02m7eu bin]# vi env.properties 第三张图
4.启动服务和访问
- 进入datax-web-2.1.2/bin目录下，./start-all.sh
[root@instance-co02m7eu bin]# ./start-all.sh # 执行完后输入jps回车，出现以上两个服务证明datax-web已经启动 [root@lx01 bin]# jps 4741 DataXExecutorApplication 4478 DataXAdminApplication 4783 Jps
- 部署完成后，在浏览器中输入 http://服务器IP:9527/index.html 就可以访问对应的主界面（ip为datax-admin部署所在服务器ip,port为为datax-admin 指定的运行端口，默认端口号为9527）
- 输入用户名 admin 密码 123456 就可以直接访问系统
