datax:总结

简介: datax:总结

一、写在前面
从接触datax到现在已经有一段时间,期间经历了以下几个阶段

1、能够把datax使用起来:能够利用脚本将datax调用起来,并用于生产环境
2、根据datax实现自己的插件:根据业务需求,实现自己的插件,如kafka、es等
3、按照需求更新相关模块&修复相关bug:将datax最终的统计信息落入DB用于数据分析&修复hdfs reader读orc丢数据的bug等
4、基于datax实现自己的传输工具:完全抛弃datax,实现自己分布式工具

二、对于datax的总结主要分为以下几个部分

1、如何使用datax
2、如何根据datax实现自己的插件
3、datax源码阅读
  1)代码主流程
  2)job切分
  3)task执行

三、相关问题

目录
相关文章
|
7月前
|
SQL 分布式计算 Oracle
数据同步工具DataX的安装
数据同步工具DataX的安装
1312 0
|
4月前
|
Java 关系型数据库 DataX
DATAX数据同步
DATAX数据同步
612 0
|
SQL 分布式计算 Oracle
Datax 环境搭建
datax、环境搭建、数据同步
386 1
|
存储 SQL 关系型数据库
74 sqoop的数据导入
74 sqoop的数据导入
51 2
|
分布式计算 DataX MaxCompute
DataX使用指南——ODPS to ODPS
1. DataX是什么 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
47903 2
|
存储 SQL JSON
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
|
JSON 缓存 关系型数据库
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(二)
|
SQL JSON 分布式计算
spark/Flink 导入导出starrocks
spark/Flink 导入导出starrocks
spark/Flink 导入导出starrocks
|
Oracle 关系型数据库 大数据
|
数据采集 监控 关系型数据库
DataX学习笔记
DataX学习笔记
681 0
DataX学习笔记