开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

麻烦问下dataworks的数据集成功能支持自建的hbase集群的数据同步么?

麻烦问下dataworks的数据集成功能支持自建的hbase集群的数据同步么?

展开
收起
wenti 2023-03-14 18:52:12 348 0
2 条回答
写回答
取消 提交回答
  • 确认了下 不保证支持哈 ——该回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-03-15 13:50:14
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。

    是的,DataWorks的数据集成功能支持自建的HBase集群的数据同步。具体操作流程如下:

    1. 在DataWorks中,创建HBase数据源,同时填写自建HBase集群的连接信息,如HBase集群的Zookeeper地址、端口号、Kerberos认证信息等。
    2. 配置HBase的表格式信息,如表名、列簇、列等,并进行元数据的同步,以便在DataWorks中管理和使用这些数据。需要注意的是,若HBase中使用了复合主键,则需要在DataWorks中额外配置“虚拟字段”和“表属性”等关键信息,以支持后续的数据同步。
    3. 新建基于HBase数据源的同步任务,并按照实际的同步需求,进行同步配置,如同步全量或增量数据、选择同步时间段、设置同步频率等参数。
    4. 检查同步配置,并设置HBase与DataWorks之间的数据映射关系,以便完成数据同步和转换。
    2023-03-14 19:15:12
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载

    相关实验场景

    更多