sparksession在操作算子中使用 本地可以正常跑通 但是部署到集群上会报错

各位 我遇到一个问题 sparksession在操作算子中使用 本地可以正常跑通 但是部署到集群上会报错 。哪位大佬给指点一下 方向

这种方式 在本地ok 在集群不可以，指定了--master yarn

我这是在操作算子中使用sparksession 报这个错 玄奎

代码里没有setmaster

我这是main（）方法里面声明的 但是我还需要在操作算子里面再声明一个 为了在算子里面使用sparksession

放外面 操作算子使用 会报空指针异常 sparksession会报空指针

把sparksession广播出去 也不行

刚刚使用广播的方式 结果 在本地还是可以 集群就不行

本地跑 设置master了， 打包到集群 出现有问题

userTagDataFrame.sparkSession就能拿到session了，不用再创建，再创建是新的，必须指定master

创建一个schame，rdd+schame就是df

本问题来自阿里云开发者社区的【11大垂直技术领域开发者社群】。https://developer.aliyun.com/article/706511 点击链接欢迎加入感兴趣的技术领域群。