开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中如何采集数据新建表?

DataWorks中如何采集数据新建表?

展开
收起
真的很搞笑 2023-07-22 14:55:05 114 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    DataWorks中,可以通过以下步骤采集数据并新建表:

    登录DataWorks控制台。

    进入目标项目:选择你要操作的项目,在项目列表中点击进入。

    进入数据集成模块:在项目首页,点击左侧导航栏的「数据集成」。

    创建数据源:如果需要采集数据源并新建表,首先需要创建数据源。点击页面上方的「新建数据源」按钮,选择适合的数据源类型,并按照提示填写相关连接信息。

    创建同步任务:在数据集成模块,点击页面上方的「新建任务」按钮,选择「同步任务」。

    配置任务源和目的地:在同步任务配置页面,选择之前创建的数据源作为任务的源和目的地,即将要采集数据的源数据源和目标表所在的数据源。

    配置字段映射和转换:根据源数据和目标表的结构,配置字段映射和转换规则,确保数据能够正确地映射到目标表中。

    配置调度和调优:根据需要,配置任务的调度策略和性能调优选项。

    启动任务:完成任务配置后,点击页面上方的「启动任务」按钮,将任务提交并开始采集数据,并根据配置定期执行任务。

    2023-07-30 17:58:22
    赞同 展开评论 打赏
  • 在DataWorks中,可以通过数据采集模块来实现新建表并进行数据采集的操作。以下是在DataWorks中采集数据并新建表的步骤:

    1. 登录DataWorks控制台:使用你的账号登录DataWorks控制台(https://workbench.data.aliyun.com/console)。

    2. 进入项目空间:选择包含要进行数据采集的项目空间。

    3. 进入数据集成页面:在项目空间中,点击左侧导航栏的"数据集成",进入数据集成页面。

    4. 新建数据源:在数据集成页面,点击右上角的"新建数据源"按钮,选择数据源类型,并配置相关连接信息。根据需要,可以选择不同的数据源类型,如RDBMS、HDFS、OSS等,以适应不同的数据源。

    5. 创建数据表:在数据源配置完成后,点击数据源对应的"新建数据表"按钮,填写表名、字段信息和其他相关配置。这将会创建一个新的表结构。

    6. 配置数据采集任务:在新建的表中,点击"新建任务"按钮,选择数据采集或同步任务,并配置数据源和目标表等相关参数。

    7. 设置字段映射和转换:根据需要,在任务配置界面中设置字段映射和数据转换规则,确保源数据能正确映射到目标表的字段。

    8. 保存并发布任务:完成任务配置后,点击"保存"按钮保存任务,并按照需要进行发布操作,以便让任务生效。

    通过上述步骤,你可以在DataWorks中创建一个数据采集任务来新建表并采集数据。根据实际需求,可选择合适的数据源类型、配置表结构和字段映射规则,确保数据能够正确地被采集到新建的表中。

    请注意,以上步骤仅涵盖了基本的设置流程。具体的操作细节可能因DataWorks版本和功能更新而有所变化。建议参阅DataWorks官方文档或向技术支持团队获取更详细的指导。

    2023-07-23 13:05:56
    赞同 展开评论 打赏
  • 在数据开发页面打开新建的业务流程,右键单击MaxCompute,选择新建 > 表。在新建表对话框中,输入表名,单击提交。此处需要创建两张表(ods_raw_log_d和ods_user_info_d),分别存储同步过来的OSS日志数据和RDS日志数据。注意 表名必须以字母开头,不能包含中文或特殊字符,且不能超过64个字符。通过DDL模式新建表。image.png
    新建ods_raw_log_d表。在表的编辑页面单击DDL模式,输入下述建表语句。image.png
    --创建OSS日志对应目标表CREATE TABLE IF NOT EXISTS ods_raw_log_d (col STRING)PARTITIONED BY (dt STRING);新建ods_user_info_d表。在表的编辑页面单击DDL模式,输入下述建表语句。--创建RDS对应目标表CREATE TABLE IF NOT EXISTS ods_user_info_d (uid STRING COMMENT '用户ID',gender STRING COMMENT '性别',age_range STRING COMMENT '年龄段',zodiac STRING COMMENT '星座')PARTITIONED BY (dt STRING);单击生成表结构,并确认覆盖当前操作。返回建表页面,在基本属性中输入表的中文名。完成设置后,分别单击提交到开发环境和提交到生产环境。
    https://help.aliyun.com/document_detail/146754.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-22 15:09:06
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks高效数据分析最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多