【OSS】从HDFS迁移数据到OSS

背景信息

在传统大数据领域，HDFS经常作为大规模数据的底层存储。在进行数据迁移、数据拷贝的场景中，最常用的是Hadoop自带的DistCp工具。但是该工具不能很好利用对象存储OSS的特性，导致效率低下并且不能保证数据一致性。此外，该工具提供的功能选项也比较简单，不能很好的满足用户的需求。

阿里云Jindo DistCp（分布式文件拷贝工具）是用于大规模集群内部或集群之间拷贝文件的工具。它使用MapReduce实现文件分发，错误处理和恢复，把文件和目录的列表作为map/reduce任务的输入，每个任务会完成源列表中部分文件的拷贝。全量支持HDFS之间、HDFS与OSS之间、以及OSS之间的数据拷贝场景，提供多种个性化拷贝参数和多种拷贝策略。

相对于Hadoop DistCp，使用阿里云Jindo DistCp从HDFS迁移数据到OSS具有以下优势：

• 效率高，在测试场景中最高可达到1.59倍的加速。
• 基本功能丰富，提供多种拷贝方式和场景优化策略。
• 深度结合OSS，对文件提供直接归档和低频、压缩等操作。
• 实现No-Rename拷贝，保证数据一致性。
• 场景全面，可完全替代Hadoop DistCp，目前支持Hadoop2.7+和Hadoop3.x。

前提条件

• 如果您使用的是自建ECS集群，需要具备Hadoop2.7+或Hadoop3.x环境以及进行MapReduce作业的能力。
• 如果您使用的是阿里云E-MapReduce：

• 对于EMR3.28.0/bigboot2.7.0及以上的版本，可以通过Shell命令的方式使用Jindo DistCp。详情请参见Jindo DistCp使用说明。
• 对于EMR3.28.0以下的版本，可能会存在一定的兼容性问题，您可以通过提交工单申请处理。

步骤1：下载JAR包

• 下载针对Hadoop 2.7+的JAR包
• 下载针对Hadoop 3.x的JAR包

步骤2：配置OSS的访问密钥AccessKey

您可以通过以下任意方式配置AccessKey：

• 在命令中指定--key、--secret、--endPoint参数选项来指定AccessKey。示例命令如下：

hadoop jar jindo-distcp-2.7.3.jar --src /data/incoming/example_file --dest oss://example_folder/example_file --key yourAccessKeyId --secret yourAccessKeySecret --endPoint oss-cn-hangzhou.aliyuncs.com

• --src：指定源文件路径，该示例为/data/incoming/example_file。
• --dest：指定目标文件路径，该示例为oss://example_folder/example_file。
• --key：您的AccessKey ID。关于AccessKey ID的介绍请参见创建AccessKey。
• --secret：您的AccessKey Secret。关于AccessKey Secret的介绍请参见创建AccessKey。
• --endPoint：目标文件的Bucket所在地域（Region）对应的访问域名（Endpoint），该示例为oss-cn-hangzhou.aliyuncs.com。关于OSS支持的地域和对应的访问域名列表信息，请参见访问域名和数据中心。

• 将OSS的--key、--secret、--endPoint预先配置在Hadoop的core-site.xml文件里。配置如下：

<configuration>
    <property>
        <name>fs.jfs.cache.oss-accessKeyId</name>
        <value>yourAccessKeyId</value>
    </property>
    <property>
        <name>fs.jfs.cache.oss-accessKeySecret</name>
        <value>yourAccessKeySecret</value>
    </property>
    <property>
        <name>fs.jfs.cache.oss-endpoint</name>
        <value>Endpoint</value>
    </property>
</configuration>

• 配置免密功能，避免明文保存AccessKey，提高安全性。详情请参见使用JindoFS SDK免密功能。

步骤3：设置相关参数

Jindo DistCp提供多种实用功能及其对应的参数选择。参数含义及其示例如下表所示。详细的使用方法和完整的命令示例请参见Jindo DistCp使用指南。