视频介绍
Spark Shuffle RPMem扩展提供了一个基于PMem 和RDMA 来加速Shuffle的方案，它采用PMem 作为Shuffle的存储介质，利用PMDK 用户态编程库进行数据读写，减小用户态、内核态切换与文件系统开销；用基于RDMA网络协议异构的传输层实现高性能数据传输；还将RDMA直接注册在PMem上，减少内存拷贝。
本次直播介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。
讲师介绍：
张建，英特尔亚太研发有限公司大数据部门的软件工程经理，专注于大数据和机器学习中存储方案优化
相关视频
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
-
阿里封神谈hadoop生态学习之路49539
-
如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue12896
-
阿里封神-大数据处理技术漫谈11857
-
JindoFS概述：云原生的大数据计算存储分离方案23138
-
助力云上开源生态 - 阿里云开源大数据平台的发展11801
-
开源大数据周刊-第90期9728
-
Apache Spark 3.0 将内置支持 GPU 调度10527
-
Flume NG 简介及配置实战9643
-
使用Ranger对Hive数据进行脱敏8518
-
E-MapReduce上如何采集Kafka客户端Metrics6658
展开全部
-
Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？2042
-
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？529
-
hdfs使用Jindo SDK 4.6.10 往oss迁数据时候问题，oss类型归档存储278
-
我想问一下阿里云E-MapReduce，为什么会报错这个信息呢？199
-
大佬，可以请教下，有没有遇到 com.aliyun.oss1192
-
想问下，maxcomputer 创建的SQL脚本 可以用shell 调用运行吗1102
-
Mlflow的四个核心功能解决了机器学习工作流中的哪些痛点？453
-
阿里云E-MapReduce notebook 大概什么时候会正式上线？280
-
Mem usage has exceed the limit of BE - com.mysql.j1462
-
starrocks压缩 比是多少呀？602
展开全部
来源圈子
更多
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br>
微信公众号：Apache Spark技术交流社区
为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅
相关文章
更多
Spark Driver和Executor数据传递使用问题
流数据湖平台Apache Paimon（六）集成Spark之DML插入数据
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day30】——Spark数据调优(文末附完整文档)
【大数据技术】Spark+Flume+Kafka实现商品实时交易数据统计分析实战（附源码）
【大数据技术】流数据、流计算、Spark Streaming、DStream的讲解（图文解释 超详细）
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解（附源码 超详细）
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍（图文解释 超详细）
Spark SQL【基于泰坦尼克号生还数据的 Spark 数据分析处理】
大数据Spark Streaming实时处理Canal同步binlog数据
Spark学习---5、SparkSQL（概述、编程、数据的加载和保存）（二)