Spark on yarn/K8s限制条件都有什么呢？
Spark on yarn/K8s限制条件都有什么呢？
展开
收起
1
条回答
写回答
写回答
-
首先，开源模式需要确认支持数据源操作的jar包是否存在。在常规做Spark作业开发分析时，需要需要考虑数据的来源以及去向，即Spark支不支持对对应的数据库进行读写访问。在开源开发模式下，需要将对应数据源支持的jar包加进去，在代码引用时则可以对对应的数据库进行读写访问。其次，开源模式还需要保证平台环境网络是否可打通。尽管代码层面上的接口都可以调用访问对应的库，但还需要检查Spark集群所运行的环境。如果作业是在集群中运行，在Hadoop中将作业提交上去，Work接点里面跑出来，在Spark并发跑的时候，拉取数据时要保证集群能访问到数据库，否则作业里会报连接超时的错误。云上环境网络连通上如常见的云上ECS搭建、自建Hadoop、k8s容器服务、EMR或者常见的VPC环境。如果VPC环境下集群和数据库之间要在网络评估的话，需要在同一个VPC下，否则默认情况下内网不通。
2021-12-11 17:06:07赞同 展开评论 打赏
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
问答排行榜
最热
最新
推荐问答
