开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC里mysql->doris,报错 ,这个什么原因?

Flink CDC里mysql->doris,报错 ,这个什么原因?数据列数太多,还是说数据里面有特殊字符?还是其他原因?30d1aa18655b7c40b6d83d31efe7ab2e.png1df535a484860cb8503bc9159ffd136c.png我用Doris官方推荐的整库同步可以成功同步,flinkcdc的pipeline整库同步就是上面的报错。我想的是这个表列数过多,或者字段内容中有特殊字符导致的。

展开
收起
小小鹿鹿鹿 2024-04-02 22:14:24 83 0
1 条回答
写回答
取消 提交回答
  • 太多被过滤的列,应该是某些原因导致数据无法插入doris。看一下这个地址里的内容56a819d082f26237bd2dc3c739813f99.pngdoris、starocks的字符串的长度和mysql的不一样,一般是doris、starocks最好按照mysql字段的3倍长度来建表。doris/starrocks. VARCHAR(n)

    a. 变长字符串,长度范围为:1-65533 字节长度,以 UTF-8 编码存储的,因此通常英文字符占 1 个字节,中文字符占 3 个字节。这里的n指的是字节数

    MySQL中varchar(n)表示n个字符,无论汉字和英文。此回答来自钉群Flink CDC 社区 。

    2024-04-03 11:55:35
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载

    相关镜像