AI 助理
文档备案控制台
开发者社区 云原生 容器服务 文章 正文

【Spark Summit East 2017】为容器优化Spark部署：隔离、安全与性能

2017-02-19 2111
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自William Benton在Spark Summit East 2017上的演讲，主要分享了容器的Linux安全性、分布式调度以及Java虚拟机以及安全性影响等，并介绍了对于容器化的Spark应用程序进行调优和编排，并分享了数据处理工作负载，以及代理的最佳实践和技巧等。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自William Benton在Spark Summit East 2017上的演讲，主要分享了容器的Linux安全性、分布式调度以及Java虚拟机以及安全性影响等，并介绍了对于容器化的Spark应用程序进行调优和编排，并分享了数据处理工作负载，以及代理的最佳实践和技巧等。


a57b74a7762abaeeacec4c4267619975342eb251

927a459d65093bf86a034069a6ac053e4a57d7a3

2ba11f9ddbc89a9b2c14150d1762db3510cfcc52

8bb35262ba5e1ecdf9fcda40d0127de8da8e66c1

3848c46260fefb73ae9e44d94b3891c701e59748

d87afd2f0fbde564e3f2f339ccffbee7b39209b9

dfcbb89bd6e10d83cf57e6322dd5677bba808a1e

8cb771ffaddb46cee3425579cb419aeac06f3655

66ed18bc798fd1a02396e936a4e7cbc91f15d45e

da5acdf9c5174432c016a3f83fb5b35630032668

ad545f665c498b71c205c9d8c4d18a5f6f4dd682

fcaa90546065303efd69cfe98b76ca1f7d01a650

c8a2db798087ccbde8af07a1246dd111b45957d5

431485d3f09d63a95c1c6fafd0ac8765d7d7def0

58e53dcb44d8df84fab44346d6eae53ce55d8ff4

578ada2ca2738326510538e0dec45e04c5d2091b

77852c8df59e7950423390e0332e2e57a3e55ec7

99d9f5fbe525d1b516b959cbeac888c23a8a7787

7d37f718b1bfa6ceafea25556c88867f54e169bb

f98613df8c8b31c588eae230e291d3cf983b8e47

3a63f9b413e0070b2e70d94816bde85c2145baad

803ac9e5c0c1e80533038b1d52ac240b0a45c758

2eb7cf6b026f6cc7c4a5d47db483fc07561dff57

a76004c3c269665f0d955614d9c754518172ca8b

4821ed8f89409a3fd0cebac50d40509390edf720

72dc197298b8b48cedc12a5df952b91dde9c030f

310c7348c0b5028677b9f7c9941267942959191a

cfd35588ebc8f19192ab5920d9a7ded0ee52736c

3b86c5bdec3a2a39355669896dbc2584538e0899

271d1168fd9b46858f8f11e9fdf370305dcbedb8

6393cefff5e51509e7033aa7d2bc3c75ea3f34ed

a3afa27a3a75aaaf94dfc459dc8cf0c6cf4dc43b

39172cebb54d2c6d4f4be7ea103118cc58d11fd6

4a13ba0b23a5b0c4e611338bd6f1b1a814998207

2004a5cc2fafaf45bdcd9c5cf7a521ed0d798d13

e92b4980e749f519004c0cb74cef79e9b51cc678

文章标签：
Java
容器
Linux
安全
大数据
关键词：
容器性能
容器部署
apache spark性能
apache spark优化
容器安全
小猫吃鱼569
目录
相关文章
啦啦啦191
|
6月前
|
Kubernetes Docker Python
Docker 与 Kubernetes 容器化部署核心技术及企业级应用实践全方案解析
本文详解Docker与Kubernetes容器化技术，涵盖概念原理、环境搭建、镜像构建、应用部署及监控扩展，助你掌握企业级容器化方案，提升应用开发与运维效率。
啦啦啦191
1026 108
游客szolpe7lr4a3g
|
6月前
|
运维 监控 数据可视化
小白也能部署应用，3个免费的容器化部署工具测评
本文对比了三款容器化部署工具：Docker Compose、Portainer 和 Websoft9。Docker Compose 适合开发者编排多容器应用，Portainer 提供图形化管理界面，而 Websoft9 则面向中小企业和非技术人员，提供一键部署与全流程运维支持，真正实现“开箱即用”。三款工具各有定位，Websoft9 更贴近大众用户需求。
游客szolpe7lr4a3g
741 0
小白也能部署应用，3个免费的容器化部署工具测评
程序员成长之路
|
8月前
|
运维 监控 数据可视化
容器化部署革命：Docker实战指南
容器化部署革命：Docker实战指南
程序员成长之路
396 95
javaercn
|
4月前
|
存储 关系型数据库 MySQL
MySQL Docker 容器化部署全指南
MySQL是一款开源关系型数据库，广泛用于Web及企业应用。Docker容器化部署可解决环境不一致、依赖冲突问题，实现高效、隔离、轻量的MySQL服务运行，支持数据持久化与快速迁移，适用于开发、测试及生产环境。
javaercn
773 5
程序员成长之路
|
8月前
|
存储 运维 安全
Docker化运维：容器部署的实践指南
Docker化运维：容器部署的实践指南
程序员成长之路
488 85
HONG_YANG
|
6月前
|
运维 数据可视化 C++
2025 热门的 Web 化容器部署工具对比：Portainer VS Websoft9
2025年热门Web化容器部署工具对比：Portainer与Websoft9。Portainer以轻量可视化管理见长，适合技术团队运维；Websoft9则提供一站式应用部署与容器管理，内置丰富开源模板，降低中小企业部署门槛。两者各有优势，助力企业提升容器化效率。
HONG_YANG
464 1
2025 热门的 Web 化容器部署工具对比：Portainer VS Websoft9
我们是幸福一家人
|
5月前
|
存储 Kubernetes 持续交付
为什么Docker容器化改变了开发与部署？
为什么Docker容器化改变了开发与部署？
我们是幸福一家人
120 6
探索云世界动手实践
|
12月前
|
人工智能 Kubernetes jenkins
容器化AI模型的持续集成与持续交付（CI/CD）：自动化模型更新与部署
在前几篇文章中，我们探讨了容器化AI模型的部署、监控、弹性伸缩及安全防护。为加速模型迭代以适应新数据和业务需求，需实现容器化AI模型的持续集成与持续交付（CI/CD）。CI/CD通过自动化构建、测试和部署流程，提高模型更新速度和质量，降低部署风险，增强团队协作。使用Jenkins和Kubernetes可构建高效CI/CD流水线，自动化模型开发和部署，确保环境一致性并提升整体效率。
探索云世界动手实践
1163 5
赵渝强老师
|
9月前
|
关系型数据库 MySQL 数据库
【赵渝强老师】数据库不适合Docker容器化部署的原因
本文介绍了在Docker中部署MySQL数据库并实现数据持久化的方法，同时分析了数据库不适合容器化的原因。通过具体步骤演示如何拉取镜像、创建持久化目录及启动容器，确保数据安全存储。然而，由于数据安全性、硬件资源争用、网络带宽限制及额外隔离层等问题，数据库服务并不完全适合Docker容器化部署。文中还提到数据库一旦部署通常无需频繁升级，与Docker易于重构和重新部署的特点不符。
赵渝强老师
485 19
【赵渝强老师】数据库不适合Docker容器化部署的原因
云原生

容器服务

热门文章

最新文章

  • 1
    Docker CE 镜像源站
  • 2
    Minikube - Kubernetes本地实验环境
  • 3
    Docker的Windows容器初体验
  • 4
    Docker学习路线图 (持续更新中)
  • 5
    当 Kubernetes 遇到阿里云
  • 6
    基于Docker容器的，Jenkins、GitLab构建持续集成CI
  • 7
    谈谈 Docker Volume 之权限管理（一）
  • 8
    容器镜像服务 Docker镜像的基本使用
  • 9
    使用阿里云容器服务Jenkins 2.0实现持续集成之Pipeline篇(updated on 2016.12.23)
  • 10
    理解Docker容器的进程管理
  • 1
    最全的docker命令参数解释及命令用法
    272
  • 2
    最全的kubectl命令用法
    118
  • 3
    一文讲解kubernetes的gateway Api的功能、架构、部署、管理及使用
    230
  • 4
    xkube v4.0发布，完全开发源代码并新增k8s网关、亲和性很多k8s实用功能
    101
  • 5
    Docker教程
    192
  • 6
    一文掌握pod亲和性及调度策略
    149
  • 7
    一文掌握k8s容器的资源限制
    206
  • 8
    一文掌握k8s容器的生命周期
    179
  • 9
    在 Kubernetes 中实现 NFS 动态存储供应：生产级实践指南
    312
  • 10
    一文掌握k8s的升级更新策略
    117

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    第五届伏魔挑战赛如约来袭，诚邀各路高手来战！