AI 助理
备案控制台

Spark

首页 标签 Spark
# Spark #
关注
9112内容
最新 热门 文章 问答 课程
雨客
|
博文
Spark On YARN内存分配
# 日志服务 # 分布式计算 # 资源调度 # Java # Spark # 容器
machongmc
|
博文
Spark计算过程分析
### 基本概念 ---------- Spark是一个分布式的内存计算框架，其特点是能处理大规模数据，计算速度快。Spark延续了Hadoop的MapReduce计算模型，相比之下Spark的计算过程保持在内存中，减少了硬盘读写，能够将多个操作进行合并后计算，因此提升了计算速度。同时Spark也提供了更丰富的计算API。 MapReduce是Hadoop和Spark的计算模型，其特点
# 分布式计算 # 资源调度 # 调度 # Spark
周志湖
|
博文
Spark修炼之道（进阶篇）——Spark入门到精通：第三节 Spark Intellij IDEA开发环境搭建
作者：周志湖 网名：摇摆少年梦 微信号：zhouzhihubeyond 本节主要内容 Intellij IDEA 14.1.4开发环境配置 Spark应用程序开发 1. Intellij IDEA 14.1.4开发环境配置 Intellij IDEA 功能十分强大，能够开发JAVA、Scala等相关应用程序，在依赖管理 智能提示等方面做到了极致，大家可
# 分布式计算 # Java # Scala # 开发工具 # Spark
封神
|
博文
|
来自： 数据库
2016年杭州第四次spark meetup见闻
此次会议有spark2.0、mllib、streaming及CarbonData，内容还是很丰富的。
# 云数据库HBase版 # 存储 # 分布式计算 # 流计算 # Spark
开源大数据EMR
|
博文
|
来自： 大数据与机器学习
是时候放弃 Spark Streaming, 转向 Structured Streaming 了
正如在之前的那篇文章中 Spark Streaming 设计原理 中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少，Spark 2.4 版本的 Release Note 里面果然一个 Spark Streaming 相关的 ticket 都没有。
# 开源大数据平台 E-MapReduce # 云消息队列 Kafka 版 # 实时计算 Flink版 # 存储 # 分布式计算 # API # 流计算 # Spark
青衫无名
|
博文
《Spark 官方文档》Spark配置（二）
# 云消息队列 Kafka 版 # 日志服务 # 缓存 # 分布式计算 # Java # Spark # 流计算 # 资源调度 # 调度 # 数据安全/隐私保护 # 消息中间件 # Kafka
身行
|
博文
专访阿里云高级技术专家吴威：Kafka、Spark和Flink类支持流式计算的软件会越来越流行
大数据领域一定会朝着更加实时、更加智能、数据更加多样化的方向前进。Kafka、Spark和Flink之类的支持流式计算的软件会越来越流行，同时各类机器学习平台和工具也会越来越成熟。
# 云消息队列 Kafka 版 # 实时计算 Flink版 # 云原生大数据计算服务 MaxCompute # 消息中间件 # 分布式计算 # 大数据 # Spark # 流计算 # Hadoop # 运维 # Kafka # 云栖大会 # 弹性计算
祝威廉
|
博文
CarbonData集群模式体验
官方提供了一个快速上手的 Quick-Start ，不过是采用spark-shell local模式的。我这里在实际集群环境做了下测试，并且记录了下过程，希望对大家有所帮助。
# 云数据库 RDS MySQL 版 # SQL # 分布式计算 # Java # HIVE # Spark # Hadoop # 存储 # 数据安全/隐私保护 # 5G # 开发工具
多云
|
博文
Spark的RDD原理以及2.0特性的介绍（转）
Spark的RDD原理以及2.0特性的介绍
# 云解析DNS # SQL # 分布式计算 # API # HIVE # Spark
许鹏
|
博文
Apache Spark源码走读（九）如何进行代码跟读&使用Intellij idea调试Spark源码
今天不谈Spark中什么复杂的技术实现，只稍为聊聊如何进行代码跟读。本文讲解如何进行代码跟读及使用Intellij idea调试Spark源码。
# 日志服务 # 分布式计算 # Apache # Scala # 开发工具 # Spark
免费试用