开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks配置查看整库离线同步任务创建整库离线同步任务怎么操作?

dataworks配置查看整库离线同步任务创建整库离线同步任务怎么操作?

展开
收起
爱喝咖啡嘿 2022-12-26 17:48:51 504 0
1 条回答
写回答
取消 提交回答
  • 登录并进入数据集成页面,单击同步解决方案 > 任务列表,进入同步解决方案页面。操作详情可参见进入同步解决方案。在解决方案任务列表页面,单击右上方的新建任务。在新建同步解决方案对话框中,单击整库离线同步至Elasticsearch。完成方案名称等基本信息配置。在基本配置区域,配置各项参数。 image.png 参数 描述 方案名称 同步解决方案的名称,最多支持50个字符。 描述 对当前方案进行简单描述,最多支持50个字符。 目标任务存放位置 默认创建一个新的业务流程,所有任务均以clone_database_源端数据源名称+to+目标数据源名称的命名方式存放至数据集成目录下。 您也可以取消自动建立工作流程,在选择位置下拉列表中指定存放目标任务的路径。选择来源数据源并配置同步规则。在数据来源区域,选择类型和数据源。说明 仅支持选择MySQL、SQLServer、PolarDB类型的数据源。在选择同步的源表区域,选中需要同步的源表,单击图标,将其移动至已选源表。 image.png 该区域会为您展示所选数据源下所有的表,您可以选择同步目标数据源的部分或全部表。注意 如果选中的表没有主键,则在创建源表和目标Elasticsearch索引的映射关系时,需要为该表自定义主键(例如,使用非主键的一个或几个字段的联合代替主键)进行同步数据时去重,详情请参见选择目标数据源并配置目标索引。在设置表名到索引名的映射规则区域,单击添加规则,选择相应的规则进行添加。同步规则包括源表名和目标索引名转换规则和目标索引名规则:源表名和目标索引名转换规则:转换源表名为目标索引名,进行字符串替换。目标索引名规则:支持对转换后的索引名添加前缀和后缀。单击下一步。选择目标数据源并配置目标索引。在设置目标索引页签,选择目标Elasticsearch数据源。 https://help.aliyun.com/document_detail/198908.html——此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2022-12-27 17:17:32
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多