开发者社区> 问答> 正文

针对收敛到Push Shuffle的关键设计,阿里云RSS是如何选择的?

针对收敛到Push Shuffle的关键设计,阿里云RSS是如何选择的?

展开
收起
游客tbwjb5xynyh2u 2022-05-08 17:33:34 444 0
来自:阿里技术
1 条回答
写回答
取消 提交回答
  • 独立服务。考虑到将RSS集成到Spark内部无法满足存算分离架构,阿里云RSS将作为独立服务提供Shuffle服务。 Master-Worker架构。通过Master节点做服务状态管理非常必要,基于etcd的状态状态管理能力受限。 多种存储方式。目前支持本地盘/DFS等存储方式,主打本地盘,将来会往分层存储方向发展。 服务端做Replication。Client多推会额外消耗计算节点的网络和计算资源,在独立部署或者服务化的场景下对计算集群不友好。

    2022-05-09 16:42:26
    赞同 展开评论 打赏
问答地址:
来源圈子
更多
收录在圈子:
+ 订阅
问答排行榜
最热
最新

相关电子书

更多
Blade优化技术在广告计算中的应用优化 立即下载
图计算优化技术探索 立即下载
Quanta:Quora的HBase分层计数系统 立即下载