hudi出错了,修复之后(重新编译了hudi源码),重启spark就遇到了这个问题。。。有人知道怎么解决吗?Caused by: java.lang.IllegalArgumentException: Cannot use marker based rollback strategy on completed instant:[20220725194000553__commit__COMPLETED]
你在使用Hudi时遇到了一个异常,其中的错误信息提示不能在已完成的实例上使用基于标记的回滚策略。这可能是由于你在修改Hudi源码后重新构建并重启Spark时,之前已经提交的Hudi实例被视为已完成,而你的更改与之不兼容,导致出现了该异常。
要解决这个问题,你可以尝试以下几种方法:
清除已完成的Hudi实例:在Hudi控制台中,你可以手动清除已完成的实例,并重新运行你的任务。这样可以避免你的更改与之前已完成的实例发生冲突。
重新构建和部署:你可以重新构建和部署你的Hudi应用程序,以确保你的更改与之前的实例兼容。在重新部署之前,你需要清除之前版本的应用程序和实例。
检查更改的兼容性:在修改Hudi源码后,你需要确保你的更改与之前的实例兼容。可以尝试使用Hudi提供的单元测试和集成测试,以确保你的更改不会导致异常或错误。
联系Hudi社区:如果以上方法都无法解决问题,你可以联系Hudi社区,寻求帮助和建议。Hudi社区可以提供更详细的调试信息和技术支持,帮助你解决问题。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。