阿里云开源离线同步工具DataX3.0介绍
阿里云开源离线同步工具DataX3.0介绍
一. DataX3.0概览
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
ODPS数据迁移指南
1. 背景调研
1.1 ODPS源与目的集群
调研项
内容
ODPS源集群版本
ODPS目的集群版本
ODPS源与目的是否在一个集群/可使用相同账号
ODPS源集群AccessKeyId
ODPS源集群AccessKeySecret
ODPS目的集群AccessKeyId
ODPS目的集群AccessKeyIdSecret
1.2 预迁移数据统计
所属Project
表名
大小
是否要迁移增量
Project1
Table1
Desc查看表大小
2. 工具选择与方案确定
目前有四种方式可用于ODPS的数据迁移。
向分析型数据库ADS中导入数据
ADS是阿里云提供的分析性数据库，实现百亿数据毫秒级计算。
在使用ADS进行分析之前，需要先将数据导入到ADS中。
1 两种方法
ADS导入分为两种：批量导入和实时导入。这两种导入方式，是在建表的时候确定的。
1.1 批量导入
数据迁移工具DataX部署与使用
概述
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
机器学习笔记之K-means聚类
K-means聚类是聚类分析中比较基础的算法，属于典型的非监督学习算法。其定义为对未知标记的数据集，按照数据内部存在的数据特征将数据集划分为多个不同的类别，使类别内的数据尽可能接近，类别间的数据相似度比较大。用于衡量距离的方法主要有曼哈顿距离、欧氏距离、切比雪夫距离，其中欧氏距离较为常用。
[Phoenix] 十二、数据迁移
数据迁移工具是否丰富，也在一定程度上决定了数据库的流行程度和它的生态圈。了解其相关工具，能让我们的数据迁移工作更加高效。本文主要介绍 Phoenix 的数据导入导出工具，希望给准备在 Phoenix 上做数据迁移的同学一些帮助。