开发者社区> 问答> 正文

在湖仓一体架构中,你们遇到了哪些稳定性和数据正确性的问题,并如何解决?

在湖仓一体架构中,你们遇到了哪些稳定性和数据正确性的问题,并如何解决?

展开
收起
萝卜丝丸子 2024-08-07 19:10:49 28 0
1 条回答
写回答
取消 提交回答
  • 在湖仓一体架构中,我们遇到了访问Hive Metastore异常的问题,这是由于Hadoop集群启用了Kerberos机制且Hive config的过渡方法被误用导致的。我们修复了这个问题,并反馈给社区。此外,我们还遇到了Hive Metastore锁机制导致的问题,当Flink进程意外退出时,锁无法释放。我们通过引入基于zk的分布式锁替换默认的Hive Metastore锁机制,解决了这个问题。

    2024-08-07 19:56:18
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
MaxCompute架构升级及开放性解读 立即下载
MaxCompute Serverless 架构演进 立即下载
阿里云消息队列的 Serverless架构演进 立即下载