开发者社区> 问答> 正文

Spark中的获取RDD的方法有什么?

Spark中的获取RDD的方法有什么?

展开
收起
游客k7rjnht6hbtk6 2021-12-10 14:06:29 494 0
1 条回答
写回答
取消 提交回答
  • 1.从共享的文件系统获取,(如:HDFS)

    2.通过已存在的RDD转换

    3.将已存在scala集合(只要是Seq对象)并行化 ,通过调用SparkContext的parallelize方法实现

    4.改变现有RDD的持久性,RDD是懒散,短暂的。(RDD的固化:cache缓存至内错;save保存到分布式文件系统)

    2021-12-10 14:07:09
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载