备案控制台

开发者社区> 问答> 正文

flink sql 消费kafka 消息写入Hive不提交分区

我这边从kafka消费信息，然后写入到Hive中，目前发现不提交分区，不提交分区的原因是watemark是负数的，不清楚这个负数的watermark是怎么出现的？ http://apache-flink.147419.n8.nabble.com/file/t1257/E4142DB1-E410-43e8-8653-2B90D0A998EA.png 我代码也指定了watermark,但是debug的时候好像没有起作用*来自志愿者整理的flink邮件归档

展开

收起

毛毛虫雨 2021-12-08 11:50:27 1070 0

0 条回答

写回答

取消提交回答

问答分类：

SQL 消息中间件 Kafka HIVE 流计算实时计算 Flink版云消息队列 Kafka 版

问答标签：

flink SQL 实时计算 Flink版SQL 实时计算 Flink版kafka 云消息队列 Kafka 版分区 SQL hive

问答地址：

开发者社区 > 大数据 > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

flink sql输出到upsert kafka 下游再消费一般是upsert 还是 json呀？

66

0

0

Flink读取ODPS设置了startPartition但是没有读取新分区

34

1

0

flinkcdcSQL处理Kafka数据，json数据是数组的，建表结构该怎么写？[{},{}]。？

73

0

0

flink cdc里 Oracle to kafka sql的提交方式咋还有序列化错误？

49

0

0

flink cdc datastream方式同步mysql数据到kafka，多分区怎么保证有序性？

70

1

0

flink sql作业中，计算结果可以动态写入kafka不同主题吗？

33

1

0

DataWorks中odps+flink数据同步，odps在数据地图上已经能看到分区了？

52

0

0

在Flink CDC中这种配置，会自动删除超过30天前的hive分区吗？

47

0

0

在Flink CDC中MySQL整库同步，Kafka Pipeline 不支持指定分区吗？

70

1

0

在Flink CDC中写入kafka，这个默认是根据什么分区的，表的主键吗？

52

1

0

问答排行榜

最热

最新

1 【大咖问答】对话PostgreSQL 中国社区发起人之一，阿里云数据库高级专家德哥 1819226

2 据说在家办公的程序员是这样写代码的？ 1793423

3 阿里云开放端口权限 690431

4 如何升级配置 536385

5 【藏经阁一起读（27）】本周推荐《Apache Flink案例集（2022版）》，你有哪些心得？ 523029

6 【精品问答】python技术1000问(1) 514183

7 Flink Forward Asia 2021 有奖问答 512956

8 OceanBase 使用动画（持续更新） 359411

9 阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本 329834

10 OSS存储服务-客户端工具 321684

11 为体验实验室取一个新名字。 307537

12 企业邮箱发送邮件时，若出现投递失败产生退信，内容提示包含如下： the mta server of * reply:550 failed to meet SPF requirements 或者 the mta server of 163.com — 163mx01.mxmail.netease.com(220.181.14.141) reply:550 MI:SPF mx14,QMCowECpA0qTiftVaeB3Cg—.872S2 1442548128 http://mail.163.com/help 304188

13 Win Server 2003-2016 加密勒索事件必打补丁合集 295381

14 FLASH播放器，在IE浏览器下显示请确定您的域名已完成备案和CNAME绑定 284340

15 安全组详解，新手必看教程 277392

16 写code还是做管理，开发者如何进行职业规划？ 269361

17 惊喜翻倍：免费ECS+免费环境配置~！(ECS免费体验6个月活动3月31日结束) 255907

18 支付宝H5 下载的时候，提示【请确保该下载文件来源安全,如需浏览,请长按网址复制后使用浏览器访问】 235955

19 阿里云手机和阿云浏览器连接问题专帖 235722

20 请问阿里云邮箱如何开启SMTP服务啊！ 225949

1 DeepSeek API 调用没反应，超时后报错 500，这是啥意思，按照对接文档调用的啊 850

2 钉钉机器人发送群消息消息，突然不能@人了，昨天还正常，代码没有任何调整，是有什么配置或者服务到期了吗 208

3 大模型数据处理vs人工数据处理，哪个更靠谱？ 1576

4 AI年味，创意新年，你认为AI能否为春节活动增添新意呢？ 1543

5 点击VS Code通义灵码插件，无法加载出对话窗口，并报错 204

6 在使用vscode和idea 中的通义灵码时，均无法应用AI程序员的修改 101

7 AI程序员功能有一个严重的问题，严重到基本可以认为AI程序员无法发挥任何作用。 293

8 在VS code中使用AI程序员修改建议无法直接应用，点击接受后提示操作失败。 132

9 赶紧把通义灵码idea插件自动生成流程图功能给关了吧。太难用了。 148

10 在海量用户中，将如何快速定位到目标人群进行个性化营销？ 1078

11 你认为哪些领域的知识对开发者来说特别重要？ 833

12 使用安全体检功能，看看你有多少未修复的安全问题？ 3561

13 通义灵码的AI程序员问题 208

14 强烈建议宜搭手机端改版，现在都展示些什么乱七八糟的内容。 352

15 AI时代，聊聊如何从海量数据中挖掘金矿？ 1484

16 2025阿里云服务器租用价格表(一年/按月/按小时报价明细) 322

17 阿里云域名优惠口令，2025年最新分享 260

18 关于qwen2-vl微调最佳实践 337

19 7、如何在阿里云ECS服务器上进行数据备份？ 392

20 3、如何登录 ECS 管理控制台来查询阿里云服务器的基本信息，有哪些具体操作步骤？ 159

相关课程

更多

实时计算 Flink 版产品入门与实操

4045

10

去学习

开源 Flink 极速上手教程

1886

7

去学习

分布式消息系统 Kafka 快速入门

1003

24

去学习

大数据实时计算框架Spark快速入门

1040

93

去学习

大数据Hive教程精讲

1035

25

去学习

Apache Flink 入门

5159

9

去学习

推荐问答

乘风问答官招募中！机械键盘免费拿

相关电子书

更多

Java Spring Boot开发实战系列课程【第16讲】：Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载

MaxCompute技术公开课第四季之如何将Kafka数据同步至MaxCompute 立即下载

消息队列kafka介绍 立即下载

相关实验场景

更多