开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

dataworks拉取mysql的数据,是拉binlog的数据吗?

dataworks拉取mysql的数据,是拉binlog的数据吗?

展开
收起
真的很搞笑 2023-10-17 10:51:32 53 0
2 条回答
写回答
取消 提交回答
  • 实时任务是拉取的binlog 离线任务是执行的查询sql,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-18 18:00:15
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    DataWorks可以从MySQL数据库中拉取数据,但并不直接拉取binlog数据。DataWorks支持多种数据源,包括关系型数据库(如MySQL、Oracle、SQL Server等)、NoSQL数据库(如MongoDB、Cassandra等)、文件系统(如HDFS、FTP等)等。用户可以通过DataWorks的ETL任务从这些数据源中拉取数据,并进行清洗、转换和加载等操作。
    在拉取MySQL数据时,DataWorks通常使用JDBC连接池来连接MySQL数据库,并通过JDBC API来执行SQL查询语句,获取需要的数据。因此,DataWorks并不直接拉取binlog数据,而是通过查询数据库中的表数据来获取所需的数据。

    2023-10-17 13:23:32
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多