Spark和页面交互,如何显示结果
Spark 运行算子的原理是这样的.首先,会把自己开发的算子(就是java类或者scala类所在的jar)分发到分配的节点上去,当client执行一系列操作的时候,其实是相关的算子发送到各个节点去执行,client本地其实不运行,计算运算完成以后,将结果返回给client.
您只需要把您的web项目当成client就可以实现这个功能.sparl 本身也提供api,支持在代码中提交任务.原理就是把本地的算子直接上传到集群,集群在分发到分配的节点上去.
当然这种需求往往是想利用Spark做实时计算,其实有点偏离Spark的初衷, Spark其实还是一个离线任务运行的工具.并不适合提交大量的任务上去运行(并发比较高的场景).
可以
赞0
踩0