视频介绍
Spark Shuffle RPMem扩展提供了一个基于PMem 和RDMA 来加速Shuffle的方案，它采用PMem 作为Shuffle的存储介质，利用PMDK 用户态编程库进行数据读写，减小用户态、内核态切换与文件系统开销；用基于RDMA网络协议异构的传输层实现高性能数据传输；还将RDMA直接注册在PMem上，减少内存拷贝。
本次直播介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。
讲师介绍：
张建，英特尔亚太研发有限公司大数据部门的软件工程经理，专注于大数据和机器学习中存储方案优化
相关视频
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
-
JindoFS概述：云原生的大数据计算存储分离方案23196
-
HBase ThriftServer Kerberos认证8376
-
通过可视化更好的了解你的Spark应用5892
-
为什么选择ali-E-MapReduce4616
-
Spark SQL 性能优化再进一步：CBO 基于代价的优化4808
-
都是default惹的祸-yarn调度（一）-fair调度器drf调度策略作业不执行问题的调查和源码分析4052
-
在E-MapReduce集群内运行Spark GraphX作业2647
-
Apache Spark Meetup China 第1期 最全资料下载2306
-
TalkingData的Spark On Kubernetes实践2758
-
E-MapReduce集群脚本-包年包月集群修改软件环境的利器1933
展开全部
-
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？594
-
StarRocks有字符集的概念吗？有utf8和utf8mb4吗？有字符集的概念吗？有utf8和ut1114
-
starRock 一定要 达到 8核，16核的要求 才能部署吗？4核 64G内存，行不行？519
-
请问flink sql 写oss有个报错该怎么办？1500
-
想问下，maxcomputer 创建的SQL脚本 可以用shell 调用运行吗1133
-
Delta Lake事务日志在文件层面的实现？649
-
Spark on k8s的核心概念是什么？802
-
数据湖存储OSS是什么？2536
-
cdh（6.3.2版本）集群访问oss存储的配置步骤8438
-
乐观并发控制和悲观并发控制是区别是什么？404
展开全部
来源圈子
更多
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br>
微信公众号：Apache Spark技术交流社区
为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅