视频介绍
主要探讨如何在Spark上使用持久内存这一新技术来进一步提速性能。具体会介绍基于Plasma的共享内存方案来提速SQL数据源访问的性能以及利用持久内存扩展Spark现有内存磁盘存储层级来提速RDD cache在迭代式计算中的效果。
讲师介绍：
纪琨尚，英特尔亚太研发有限公司大数据部门的软件工程师，专注于Spark计算框架上基于Optane PMEM的优化
叶宇强，英特尔亚太研发有限公司大数据部门的资深软件工程师，专注于Spark计算框架上基于Optane PMEM的优化
相关视频
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
-
阿里封神谈hadoop生态学习之路49539
-
如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue12896
-
阿里封神-大数据处理技术漫谈11857
-
JindoFS概述：云原生的大数据计算存储分离方案23138
-
助力云上开源生态 - 阿里云开源大数据平台的发展11801
-
开源大数据周刊-第90期9728
-
Apache Spark 3.0 将内置支持 GPU 调度10527
-
Flume NG 简介及配置实战9643
-
使用Ranger对Hive数据进行脱敏8518
-
E-MapReduce上如何采集Kafka客户端Metrics6658
展开全部
-
Databricks 和 Dataworks 都是一站式的数据分析平台，两者的区别是什么？2042
-
hdfs 文件块过多（1亿）每个datanode 占3000万块(分16G内),某时刻内存陡然增加？529
-
hdfs使用Jindo SDK 4.6.10 往oss迁数据时候问题，oss类型归档存储278
-
我想问一下阿里云E-MapReduce，为什么会报错这个信息呢？199
-
大佬，可以请教下，有没有遇到 com.aliyun.oss1192
-
想问下，maxcomputer 创建的SQL脚本 可以用shell 调用运行吗1102
-
Mlflow的四个核心功能解决了机器学习工作流中的哪些痛点？453
-
阿里云E-MapReduce notebook 大概什么时候会正式上线？280
-
Mem usage has exceed the limit of BE - com.mysql.j1462
-
starrocks压缩 比是多少呀？602
展开全部
来源圈子
更多
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br>
微信公众号：Apache Spark技术交流社区
为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅
相关文章
更多
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
杭州 Meetup｜ Apache Kyuubi & Celeborn，助力 Spark 拥抱云原生
Apache Kyuubi & Celeborn (Incubating) 助力 Spark 拥抱云原生
Apache Celeborn 让 Spark 和 Flink 更快更稳更弹性
Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native
HBase实操 | 使用Spark通过BulkLoad快速导入数据到HBase
Spark学习[一] Spark IntelliJ IDEA 开发环境搭建（Scala项目）- Hello World
Hive、MapReduce、Spark分布式生成唯一数值型ID
【Spark Summit EU 2016】使用Flame Graphs提升Spark 2.0性能的研究
Intellij idea下spark开发HelloWorld