【Spark Summit East 2017】从容器化Spark负载中获取的经验

简介: 本讲义出自Tom Phelan在Spark Summit East 2017上的演讲,Tom Phelan探讨了如何实现高可用性的分布式大数据应用和数据中心主机,并分享了学到的经验教训,并对于如何在一个可靠的、可伸缩的、高性能的环境将大数据应用程序容器化给出了一些提示。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps


本讲义出自Tom Phelan在Spark Summit East 2017上的演讲,主要介绍了在Spark集群上部署分布式大数据应用程序面对的容器生命周期管理、智能调度优化资源利用率、网络配置和安全以以及性能等诸多挑战,Tom Phelan探讨了如何实现高可用性的分布式大数据应用和数据中心主机,并分享了学到的经验教训,并对于如何在一个可靠的、可伸缩的、高性能的环境将大数据应用程序容器化给出了一些提示。


aa086cfd0ca85e22e6b6969c9b8003bce38aef15

248293a9b2bda56d11d6f37a6622641241181e66

f55d68645e6405060b52082a7adc5f15f50b4b13

c555b163aedd01a122466b7dabeecc95ee142da0

8bb05e07aa3140916eefaa3b2e2ed001b489d0b7

9d39c8b27086e5d91e19c6bceca6749d1617fe30

d719024d8ef22d6b1d56b30e5711449796ace480

80763d94afc0ccbb9db9bc3959aed51e66cd4bee

6857f80a917cd3af91f86bcb2c18ba01a13b31b5

439e18c4e0af31fcde2b4722fec0c929d91d53ae

33aa13334a53ed382667fa05545732cbf26092e0

9a11b0995abf5c3915cd2a86287f11bdac162ca2

3c7612ef9e38bcfe8d1bb0320c00798f8d594bba

f267b29b2f1cfa9b4e6d279681fbbec3fbd17395

6a4be138295f16145920fced485ce5db89084e33

f112ec6f811a68bc603599d6b76867becb541dfa

63746de2d37e12e48d69b8e4d74a5acb74273f9e

21cd2662a3c54143e630b971c258589a6f19b0de

a6b62011cbb8a64662383ffc365fc90fe7d93bec

039aed429e310573af0b7a402e72efc4ea304dd7

2ccce4a6db5d5a3bb80f05e7b210897751fc351f

bc199e7ced4cd986c51f6995702fc3e97568da40

460d1087a9c38edbc986f6b9bfe01f2c9e747d35

7829dd43e1afe41dd0c5f5e96169e35ef4a09abf

8692d875744933841f5cc28413a3fde82408191b

e030239d553d331474c9f28b1d6a1f452b9cff25

712c88f2e5dd9bf05f7530e352cfae56af288025

54a3bded79095498339df82e2ca8c748e1289cd2

e011c6b5ab597c356ed208ca9e34cffb2f615593

a749436d96d3826740b0674aba54f96cbf7bd6f9

6f7a721488da4f0854167b2ca1f8154db53a615e

023a706ddb0197a0a0e3163d0667c209018f9142

790eec804049fcf4e2ebf42dde08fa9bb814aee6

ccc25750fea9aa3550f52f48f74e296c04016163

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
分布式计算 Kubernetes 监控
容器服务Kubernetes版产品使用合集之怎么实现把 spark 跑在k8s
容器服务Kubernetes版,作为阿里云提供的核心服务之一,旨在帮助企业及开发者高效管理和运行Kubernetes集群,实现应用的容器化与微服务化。以下是关于使用这些服务的一些建议和合集,涵盖基本操作、最佳实践、以及一些高级功能的使用方法。
202 1
|
资源调度 分布式计算 Hadoop
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
大数据平台搭建(容器环境)——Spark3.X on Yarn安装配置
|
弹性计算 Kubernetes Cloud Native
非容器应用与 K8s 工作负载服务网格化实践|学习笔记(二)
快速学习非容器应用与 K8s 工作负载服务网格化实践
非容器应用与 K8s 工作负载服务网格化实践|学习笔记(二)
|
弹性计算 Kubernetes 开发者
非容器应用与 k8s工作负载的服务网格化实践(二)|学习笔记
快速学习非容器应用与 k8s工作负载的服务网格化实践(二)
289 0
非容器应用与 k8s工作负载的服务网格化实践(二)|学习笔记
|
弹性计算 Kubernetes 监控
非容器应用与K8s工作负载的服务网格化实践|学习笔记
快速学习非容器应用与K8s工作负载的服务网格化实践
296 0
非容器应用与K8s工作负载的服务网格化实践|学习笔记
|
Kubernetes Cloud Native 应用服务中间件
云原生容器实战(四)-Kubernetes工作负载资源之Deployment
云原生容器实战(四)-Kubernetes工作负载资源之Deployment
532 0
云原生容器实战(四)-Kubernetes工作负载资源之Deployment
|
Kubernetes Cloud Native Perl
云原生容器实战(三)-Kubernetes工作负载资源PodReplicaSet
本文详解 Kubernetes 中 ReplicaSet 的工作原理与使用场景,确保指定数量的 Pod 副本始终运行。通过选择算符、副本数和 Pod 模板定义,ReplicaSet 动态调整 Pod 状态。尽管 ReplicaSet 强大,但推荐使用更高级的 Deployment 进行管理,以获得声明式更新和其他功能。文中还包含实战示例,演示 ReplicaSet 创建、删除 Pod 的自动恢复机制。
228 0
云原生容器实战(三)-Kubernetes工作负载资源PodReplicaSet
|
存储 运维 Kubernetes
Longhorn,企业级云原生容器分布式存储 - 支持 ReadWriteMany (RWX) 工作负载(实验性功能)
Longhorn,企业级云原生容器分布式存储 - 支持 ReadWriteMany (RWX) 工作负载(实验性功能)
825 0
|
Kubernetes Cloud Native 网络协议
非容器应用与K8s工作负载的服务网格化实践-7 基于ASM的POD和VM可观测性实践
服务网格的可观测性能力是通过Sidecar实现的,对于业务服务源代码来说是近零侵入的。可观测性包括数据采集、数据存储、数据展示和聚合分析。主要有三个维度:Metrics、Logging、Tracing,分别用于可聚合数据、离散事件、请求链路的可观测性。相应地,阿里云生态下,ASM打通了ARMS(https://www.aliyun.com/product/arms)、Log Service(https://www.aliyun.com/product/sls)、TracingAnalysis(https://www.aliyun.com/product/xtrace),供用户使用服务网格的可观
4362 0
|
弹性计算 负载均衡 Kubernetes
非容器应用与K8s工作负载的服务网格化实践-6 基于ASM的VM应用动态落迁实践
在完成了POD和VM之间互访验证后,本篇将进入VM中,重点关注两个常用的流量管理能力: - 应用通过标签进行分组 - 每个分组的多个副本可以动态落组和迁出
2899 0
非容器应用与K8s工作负载的服务网格化实践-6 基于ASM的VM应用动态落迁实践