开发者社区> 问答> 正文

MRACC-Spark如何利用eRDMA近网络优化插件来提升性能?

MRACC-Spark如何利用eRDMA近网络优化插件来提升性能?

展开
收起
花开富贵111 2024-07-23 15:58:50 14 0
1 条回答
写回答
取消 提交回答
  • MRACC-Spark通过eRDMA近网络优化插件,将shuffle阶段的数据交换优化为memory-network-memory的模式,充分利用了RDMA的低延时和低CPU消耗特性,最终在TPCxhs等端到端benchmark上获得了30%的性能提升。image.png

    2024-07-23 16:19:41
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载