在DataWorks中,Spark节点访问公网的限制取决于所使用的资源组以及网络配置。一般来说,独享数据服务资源组支持访问公网环境、阿里云VPC网络环境以及IDC网络环境下的数据源。
如果Spark节点需要访问公网,首先需要检查使用的资源组是否支持公网访问。其次,需要确保网络配置允许公网访问。这可能涉及到防火墙和安全组规则的设置。
另外,如果专有网络(VPC)已配置为能够访问公网,那么需要在Spark作业级别配置公网访问白名单以及ENI开关。
最后,请确保使用的独享调度资源组和EMR集群是最新的。如果使用的是2021年6月10日之前创建的资源组,可能需要提交工单进行相关组件的升级。
可以参考看下这里https://help.aliyun.com/zh/maxcompute/user-guide/faq-about-spark-on-maxcompute?spm=a2c4g.11186623.0.0.67e065c9Y8CgYk#section-xc2-mf2-mxd
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks中的Spark节点访问公网的能力取决于所使用的资源组以及网络配置。独享数据服务资源组支持访问公网环境、阿里云VPC网络环境以及IDC网络环境下的数据源。在创建EMR Spark SQL节点时,需要选择与数据源测试连通性成功的调度资源组。
另外,如果您的专有网络(VPC)已配置为能够访问公网,那么您需要在Spark作业级别配置公网访问白名单以及ENI开关。此外,确保您使用的独享调度资源组和EMR集群是最新的,如果使用的是2021年6月10日之前创建的资源组,可能需要提交工单进行相关组件的升级。
\
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。