开发者社区> 问答> 正文

请教下,spark缓存rdd,前端应用是否可以直接查询这个rdd?

请教下,spark缓存rdd,前端应用是否可以直接查询这个rdd?

展开
收起
hbase小能手 2019-01-01 14:00:51 1856 0
3 条回答
写回答
取消 提交回答
  • 是可以直接查询这个RDD数据,但是需要谨慎,如果rdd的数据特别大,会导致前端缓存不够或者请求超时的情况

    2019-07-17 23:24:18
    赞同 展开评论 打赏
  • 1、对于同步的前端请求,不建议,一般rdd cache了,如果处理查询处理逻辑复杂也还是要几十秒才能返回
    2、对于异步的前端请求,是可以的

    2019-07-17 23:24:18
    赞同 展开评论 打赏
  • 那你rdd对象要常驻内存不销毁,才行

    2019-07-17 23:24:18
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
spark替代HIVE实现ETL作业 立即下载
Spark介绍及Spark多数据源分析 立即下载
Spark,GraphX,and blockchains 立即下载