1、进入节点管理列表。
登录DataWorks控制台,选择需要同步的项目,在项目中进入节点管理列表。
2、选择同步方向。
在节点管理列表中,首先选择同步方向为“新增/修改MaxCompute元数据“。选择后,页面中会出现“同步依赖关系”选项和“修改表结构“选项。
3、配置同步依赖关系。
如果数据同步中需要进行依赖关系的同步,则需要在“同步依赖关系“选项中进行配置。例如,如果有一个表A和B都存在依赖关系,需要进行同步,则需要在配置中明确指定。
4、配置表结构修改。
如果需要修改MaxCompute表的结构,则需要在“修改表结构“选项中进行配置。在该选项中,用户可以定义新增,修改或者删除表字段的操作。
5、运行同步任务。
完成以上配置后,可以点击“运行“按钮,启动同步任务。在任务运行后,即可全局同步MaxCompute所有数据。
"在同步解决方案页面的右上角单击新建任务。在新建任务页面选择数据同步的来源与去向后,选择可用的同步方案。支持的来源数据源与去向数据源,可参见支持的数据源,当前支持的同步方案如下所示。 根据数据同步的目的数据源类型进行分类,当前DataWorks数据同步支持以下几种数据同步方案:同步数据至DataHub:当前支持的数据同步解决方案为一键实时同步至DataHub。同步数据至Elasticsearch:当前支持的数据同步解决方案为一键实时同步至Elasticsearch。同步数据至Hologres:当前支持的数据同步解决方案为一键实时同步至Hologres。同步数据至AnalyticDB MySQL3.0:当前支持的数据同步解决方案为一键实时同步至AnalyticDB MySQL3.0。同步数据至MaxCompute:当前支持的数据同步解决方案为一键实时同步至MaxCompute整库离线同步至MaxCompute(周期性全量)整库离线同步至MaxCompute(周期性增量)整库离线同步至MaxCompute(一次性全量)整库离线同步至MaxCompute(一次性增量)整库离线同步至MaxCompute(一次性全量周期增量) https://help.aliyun.com/document_detail/171765.html 此回答整理自钉群“DataWorks交流群(答疑@机器人)”"
楼主你好,根据你的描述有两个方案:一是业务数据和行为日志通过Kafka,再通过Flume 上传到Datahub,以及Max Compute,最终在QuickBI进行展示。二是业务数据和行为日志通过Kafka以及DataWorks,MaxCompute,最终在QuickBI当中展示。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。