BIGO ClickHouse是如何实现二阶段提交事务机制来支持Exactly-Once语义的？
BIGO ClickHouse是如何实现二阶段提交事务机制来支持Exactly-Once语义的？
展开
收起
1
条回答
写回答
写回答
-
"BIGO ClickHouse实现了一个二阶段提交事务机制来支持Exactly-Once语义。具体步骤如下：
临时写入：当需要写入数据到ClickHouse时，首先将数据以temporary模式写入，表示这些数据是临时的。
记录Insert ID：数据插入完成后，返回一个Insert ID，用于后续的提交操作。
批量提交：在两次checkpoint之间，可能会有多次insert操作产生多个Insert ID。当checkpoint完成时，将这些Insert ID批量提交，将临时数据转为正式数据。
Failover处理：如果作业出现Failover，Flink作业重启后会从最近一次完成的checkpoint恢复状态。对于未提交的Insert ID，会进行重试提交。而那些已经写入但Insert ID未记录的数据，由于是临时数据，会被ClickHouse的过期清理机制清理掉，从而避免数据重复。"2024-07-23 09:50:48赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
