《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(3)

简介: 《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(3)

《CDP企业数据云平台从入门到实践》——HBase 迁移到 CDP(2) https://developer.aliyun.com/article/1226637?groupCode=ClouderaCDP


三、 HBase 迁移演示


从 CDH 的 HBase 迁移数据到 CDP 的 HBase 中。演示源和目标都启用了 Kerberos

的安全集群中。


测试环境:


• 源集群 CDH6,启用 Kerberos

• 目标集群 CDP7.1.6,启用 Kerberos


1. 配置两个集群的互信


1) 分别在两个集群 krb5.conf 中添加 realms。

image.png

集群:CDH.COM;目标集群:GROCERY.COM

2) 为两个 KDC 创建相同的 krbtgt 用户和密码。

image.png

3) 互信验证,两个集群都能正常访问表示互相配置成功。

image.png

4) 在 CM 界面>Administration>配置>搜索 domain>添加 Domain Name(s)。

image.png

5) 在 CM 界面>Cluster>HDFS>配置>搜索 Kerberos>添加受信任的 Kerberos 域。

image.png

6) 重启配置生效。


2. 在源端端启Replication


image.png

3. Ranger 进行授权


HDFS 权限给分做数据/user 读写限;对复制用etl_user /hbase 读写

image.png


HDFS 中,Ranger 管理能,需要去启能,否则Ranger 置将无法


image.png

HBase 表权限给分做数据HBase 赋予所有读、创建行、管理的限.


image.png

4. 模拟


1) 在源端创建表,表中有 2 条记录。

image.png

2) 源端启用 Replication。

image.png

3) 在目标端创建和源端同样的表,同时启用KEEP_DELETED_CELLS=>'true'参数来复制。

image.png

4) 在源集群的 HBase Shell 中运行 add_peer 命令,将目标集群添加为 peer,然进行 disable

image.png

5) 在源端创建并查看快照。

image.png

也可以在 CM 中做

image.png

6) 在源集群的 HBase Shell 中运行 ExportSnapshot 命令,将快照从源端导出到目标端。

image.png

7) 启用源集群和目标集群中的 peer。

image.png

8) 在目标端 disable 掉表,进行数据恢复;然后将表 enable,查看表数据。

image.png

9) 在源端模拟增加数据,在目标端可以看到数据会持续同步过来。

image.png



目录
相关文章
|
监控 安全 数据可视化
java基于微服务的智慧工地管理云平台SaaS源码 数据大屏端 APP移动端
围绕施工现场人、机、料、法、环、各个环节,“智慧工地”将传统建筑施工与大数据物联网无缝结合集成多个智慧应用子系统,施工数据云端整合分析,提供专业、先进、安全的智慧工地解决方案。
437 1
|
机器学习/深度学习 算法 数据可视化
基于Google Earth Engine云平台构建的多源遥感数据森林地上生物量AGB估算模型含生物量模型应用APP
基于Google Earth Engine云平台构建的多源遥感数据森林地上生物量AGB估算模型含生物量模型应用APP
904 0
|
存储 分布式数据库 数据库
Hbase学习二:Hbase数据特点和架构特点
Hbase学习二:Hbase数据特点和架构特点
730 0
|
缓存 监控 Shell
如何使用 HBase Shell 进行数据的实时监控和备份?
如何使用 HBase Shell 进行数据的实时监控和备份?
413 5
|
Shell 分布式数据库 Hbase
如何使用 HBase Shell 进行数据的批量导入和导出?
如何使用 HBase Shell 进行数据的批量导入和导出?
1297 5
|
弹性计算 Linux 网络安全
使用阿里云服务器迁移中心SMC将其他云平台业务迁移至阿里云教程参考
现在越来越多的个人和企业用户选择将其他云平台或者服务商的业务迁移到阿里云,但是如何快速且安全完成迁移是很多用户比较关注的问题,我们可以选择使用阿里云提供的服务器迁移中心(Server Migration Center,简称SMC),这个产品是阿里云提供给您的迁移平台,专注于提供能力普惠、体验一致、效率至上的迁移服务,满足您在阿里云的迁移需求。本文为大家展示使用阿里云服务器迁移中心SMC将其他云平台业务迁移至阿里云的教程,以供参考。
使用阿里云服务器迁移中心SMC将其他云平台业务迁移至阿里云教程参考
|
安全 Linux 网络安全
其他云平台的业务迁移到阿里云最新优惠,使用服务器迁移中心SMC快速迁移简介
越来越多的个人和企业希望将部署在其他云平台或者IDC企业的业务迁移到阿里云上,对于这部分用户来说,最为关注的问题就是迁移到阿里云有没有什么优惠,迁移过程是否麻烦,针对这部分用户的需求,阿里云推出了5亿算力补贴,针对迁移用户做出补贴优惠,在迁移过程中,用户可以自行做数据传输迁移,也可以使用阿里云的服务器迁移中心,快速完成迁移。本文为大家介绍其他云服务商的业务迁移到阿里云最新优惠政策,以及使用服务器迁移中心实现快速迁移的方法。
其他云平台的业务迁移到阿里云最新优惠,使用服务器迁移中心SMC快速迁移简介
|
缓存 监控 Shell
使用 HBase Shell 进行数据的实时监控和备份
使用 HBase Shell 进行数据的实时监控和备份
644 6
|
Shell 分布式数据库 Hbase
使用 HBase Shell 进行数据的批量导入和导出
使用 HBase Shell 进行数据的批量导入和导出
1464 6
|
存储 NoSQL 分布式数据库
【HBase入门与实战】一文搞懂HBase!
该文档介绍了HBase,一种高吞吐量的NoSQL数据库,适合处理大规模数据。HBase具备快速读写、列式存储和天然支持集群部署的特点,常用于高并发场景。NoSQL与关系型数据库的主要区别在于数据模型、查询语言和可伸缩性。HBase的物理架构包括Client、Zookeeper、HMaster和RegionServer,其中RegionServer管理数据存储。HBase的读写流程利用MemStore和Bloom Filter提高效率。此外,文档还提到了HBase的应用,如时间序列数据、消息传递和内容服务。
4112 2
【HBase入门与实战】一文搞懂HBase!