在richfunction中的open方法中定义一个线程,这个线程主要是去hive中获取相关数据,这个线程我自己不手动结束,会一直存在吗?我的richmap有600个并发度,如果同时访问hive,hive能撑住吗?
如果在open方法中定义了一个线程去获取数据并没有手动结束,那么这个线程会一直存在直到close方法被调用。这可能会导致线程资源的浪费,因此建议在获取完数据后手动结束线程,在close方法中释放相关资源。
关于Hive能否承受600个并发访问的问题,需要考虑以下几个方面:
1、Hive集群的规模和硬件性能:Hive集群的规模和硬件性能将直接影响其处理并发请求的能力。如果集群规模太小或硬件性能较弱,则可能无法承受大量并发的请求。
2、并发访问的数据规模和复杂度:如果每个并发请求需要处理的数据量较大或数据复杂度较高,那么会占用更多的集群资源,进而影响集群的处理能力。
3、Hive的优化配置:对于Hive集群,可以通过一些优化配置来提升其并发处理能力,例如增加任务调度器的数量、调整YARN的资源配额等。
因此,在实际应用中,需要根据具体情况进行测试和优化,以确保Hive集群能够承受并发请求并保持稳定运行。
这要看你配置,但是总觉得 hive的并发支持应该不是很好 毕竟是做批处理的。此回答整理自钉钉群”【③群】Apache Flink China社区“
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。