AI 助理
文档备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 文章 正文

FlinkCdc抽取Oracle数据时问题求解

2023-11-22 192
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： FlinkCdc抽取Oracle数据时问题求解

在抽取Oracle数据库的单表数据时出现一直在进行检查点的操作且占用了很大的cpu和内存，执行2分钟检查点后就开始超时进行连接重试，300万条的单表数据无法进行分片查询而270万的数据量就可以进行单表查询（图片左边是有问题的，右边是没有问题的）

文章标签：
实时计算 Flink版
关系型数据库
Oracle
数据库
关键词：
Oracle数据库一键上云数据
抽取Oracle数据库一键上云
抽取Oracle数据库一键上云数据
flinkcdc Oracle数据库一键上云
Oracle数据库一键上云flinkcdc
相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（以DataV为例），实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 极客训练营产品、技术专家齐上阵，从开源 Flink功能介绍到实时计算 Flink 优势详解，现场实操，5天即可上手！ 欢迎开通实时计算 Flink 版： https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍： Flink Forward 是由 Apache 官方授权，Apache Flink Community China 支持的会议，通过参会不仅可以了解到 Flink 社区的最新动态和发展计划，还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验，是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与，一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况，Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
游客j44irxpzwohgw
目录
相关文章
游客i44trsbieewte
|
存储 Oracle 关系型数据库
【YashanDB 知识库】YMP 校验从 yashandb 同步到 oracle 的数据时，字段 timestamp(0) 出现不一致
在YMP校验过程中，从yashandb同步至Oracle的数据出现timestamp(0)字段不一致问题。原因是yashandb的timestamp(x)存储为固定6位小数，而Oracle的timestamp(0)无小数位，同步时会截断yashandb的6位小数，导致数据差异。受影响版本：yashandb 23.2.7.101、YMP 23.3.1.3、YDS联调版本。此问题会导致YMP校验数据内容不一致。
游客i44trsbieewte
192 0
游客kufrkwrbkmpsa
|
Oracle 关系型数据库 Java
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
本文介绍通过Flink CDC实现Oracle数据实时同步至崖山数据库（YashanDB）的方法，支持全量与增量同步，并涵盖新增、修改和删除的DML操作。内容包括环境准备（如JDK、Flink版本等）、Oracle日志归档启用、用户权限配置、增量日志记录设置、元数据迁移、Flink安装与配置、生成Flink SQL文件、Streampark部署，以及创建和启动实时同步任务的具体步骤。适合需要跨数据库实时同步方案的技术人员参考。
游客kufrkwrbkmpsa
382 1
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
游客pb5c4iyea3ani
|
存储 Oracle 关系型数据库
【YashanDB 知识库】YMP 校验从 yashandb 同步到 oracle 的数据时，字段 timestamp(0) 出现不一致
【YashanDB 知识库】YMP 校验从 yashandb 同步到 oracle 的数据时，字段 timestamp(0) 出现不一致
游客pb5c4iyea3ani
241 12
游客kufrkwrbkmpsa
|
Oracle 关系型数据库 Linux
【YashanDB知识库】通过dblink查询Oracle数据时报YAS-07301异常
【YashanDB知识库】通过dblink查询Oracle数据时报YAS-07301异常
游客kufrkwrbkmpsa
151 3
游客kufrkwrbkmpsa
|
存储 Oracle 关系型数据库
【YashanDB知识库】YMP校验从yashandb同步到oracle的数据时，字段timestamp(0)出现不一致
【YashanDB知识库】YMP校验从yashandb同步到oracle的数据时，字段timestamp(0)出现不一致
游客kufrkwrbkmpsa
193 0
爱笑的架构师
|
SQL Oracle 关系型数据库
oracle数据库带或不带数据导入导出操作大全
oracle数据库带或不带数据导入导出操作大全
爱笑的架构师
1821 0
技术小阿哥
|
Oracle 关系型数据库 数据库
ORACLE 数据的导入和导出
技术小阿哥
1389 0
技术小胖子
|
Oracle 关系型数据库 数据库
ORACLE数据导入导出
技术小胖子
1127 0
技术小美
|
Oracle 关系型数据库 数据库
oracle 数据导入和导出(原创)
技术小美
964 0
科技小能手
|
SQL Oracle 关系型数据库
oracle数据的导入与导出
科技小能手
1140 0
大数据与机器学习

实时计算 Flink

热门文章

最新文章

  • 1
    数据仓库介绍与实时数仓案例
  • 2
    独家专访阿里集团副总裁贾扬清：我为什么选择加入阿里巴巴？
  • 3
    Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 4
    阿里云实时计算产品案例&解决方案汇总
  • 5
    流计算精品翻译: The Dataflow Model
  • 6
    接着！！Apache Flink 全领域干货合集（持续更新）
  • 7
    Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 8
    Apache Flink 的迁移之路，2 年处理效果提升 5 倍
  • 9
    基于实时计算（Flink）打造一个简单的实时推荐系统
  • 10
    广告场景下的实时计算
  • 1
    Flink CDC 3.6.0：支持 Flink 1.20/2.2, MySQL/PostgreSQL入湖入流支持Schema Evolution
    102
  • 2
    Apache Flink Agents 0.2.1 发布公告
    106
  • 3
    （二）走进阿里云实时计算Flink版-场景案例篇
    255
  • 4
    （一）走进阿里云实时计算Flink版-产品能力篇
    281
  • 5
    Flink 实时计算 x SLS 存储下推：阿里云 OpenAPI 网关监控平台实践
    602
  • 6
    基于Flink CDC的企业级日志实时入湖入流解决方案
    348
  • 7
    Apache Flink Agents 0.2.0 发布公告
    577
  • 8
    StarRocks + Paimon： 构建 Lakehouse Native 数据引擎
    488
  • 9
    在 OpenAI 打造流处理平台：超大规模实时计算的实践与思考
    274
  • 10
    Forrester发布流式数据平台报告：Flink 创始团队跻身领导者行列，实时AI能力获权威认可
    349

    • 相关电子书

    更多
  • PostgresChina2018_樊文凯_ORACLE数据库和应用异构迁移最佳实践
  • PostgresChina2018_王帅_从Oracle到PostgreSQL的数据迁移
  • Oracle云上最佳实践

    • 推荐镜像

    更多
  • oracle
    • 下一篇
    OSS图形化管理工具使用