直播间直达链接：（回看链接）
时间
7月31日19:00
主讲人：
辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作
简介：
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。 
7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】
2019-07-29
1145
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
相关文章
|
3月前
|
分布式计算
关系型数据库
MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
60
3
3
|
2天前
|
存储
SQL
监控
计算效率提升 10 倍，存储成本降低 60%，灵犀科技基于 Apache Doris 建设统一数据服务平台
灵犀科技早期基于 Hadoop 构建大数据平台，在战略调整和需求的持续扩增下，数据处理效率、查询性能、资源成本问题随之出现。为此，引入 [Apache Doris](https://doris.apache.org/) 替换了复杂技术栈，升级为集存储、加工、服务为一体的统一架构，实现存储成本下降 60%，计算效率提升超 10 倍的显著成效。
13
0
0
|
3月前
|
分布式计算
大数据
Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
70
1
1
|
3月前
|
存储
缓存
分布式计算
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
53
4
4
|
5月前
|
存储
消息中间件
运维
招联金融基于 Apache Doris 数仓升级：单集群 QPS 超 10w，存储成本降低 70%
招联内部已有 40+ 个项目使用 Apache Doris ，拥有超百台集群节点，个别集群峰值 QPS 可达 10w+ 。通过应用 Doris ，招联金融在多场景中均有显著的收益，比如标签关联计算效率相较之前有 6 倍的提升，同等规模数据存储成本节省超 2/3，真正实现了降本提效。
140
11
11
|
5月前
|
存储
分布式计算
Java
|
5月前
|
分布式计算
监控
大数据
|
5月前
|
存储
缓存
分布式计算
|
5月前
|
分布式计算
Apache
数据安全/隐私保护
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
72
1
1
|
5月前
|
分布式计算
Hadoop
大数据
大数据处理框架在零售业的应用：Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
89
0
0
热门文章
最新文章
1
阿里封神谈hadoop生态学习之路
2
如何在E-MapReduce中玩转OSS
3
开源深度学习库BigDL在阿里云E-MapReduce上的实践
4
YARN中的CPU资源隔离-CGroups
5
使用EMR-Kafka Connect进行数据迁移
6
通过可视化更好的了解你的Spark应用
7
利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制
8
阿里云大数据+AI技术沙龙上海站回顾 | 揭秘TPC-DS 榜单第一名背后的强大引擎
9
欢迎加入Spark中国社区
10
为什么选择ali-E-MapReduce
1
搭建设计一个校园交友系统源码该怎么入手？售后一对一+全开源码教程+全面指南
15
2
EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
19
3
年轻人如果运用圈子系统进行扩列，社交圈子论坛app扩列的好处，兴趣行业圈子提升社交技能
35
4
拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
38
5
有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
81
6
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
465
7
【赵渝强老师】部署Hadoop的本地模式
58
8
EMR Serverless Spark：一站式全托管湖仓分析利器
200
9
降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
425
10
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
147