DockerCon 2016 深度解读:容器定义存储一窥
谁说Docker只能运行无状态的应用?本次DockerCon大会,众多容器存储解决方案的厂商齐聚一堂。有很早就推出开源容器数据管理Flocker的ClusterHQ,传统存储巨头EMC,初创公司Portworx,另外华为推出了自己的容器存储Elara,阿里云也支持通过数据卷来管理存储。
Docker --format 格式化输出概要操作说明
Docker CLI 的 --format 参数提供了基于 Go模板 的日志格式化输出辅助功能,并提供了一些内置的增强函数。 本文结合 docker 日志输出格式化的具体操作示例,先简要介绍 Go模板的常用语法,再介绍 Docker 内置增强函数的使用。
学习Docker的User Namespace
本文假设你已经了解了Linux Container,CGroup和基本的Namespace概念。 User Namespace是Linux 3.8新增的一种namespace,用于隔离安全相关的标识和属性。使用了user namespace之后,进程在namespace内部和外部的uid/gid可
docker学习(3) 容器的启动过程
这一节我们来稍微了解下docker原理性的东西 docker run -i -t ubuntu /bin/bash 输入上面这行命令,启动一个ubuntu容器时,到底发生了什么? 大致过程可以用下图描述: 首先系统要有一个docker daemon的后台进程在运行,当刚才这行命令敲下时, 1.
《自己动手写Docker》书摘之三: Linux UnionFS
UnionFS unionfs是一种为Linux,FreeBSD和NetBSD操作系统设计的把其他文件系统联合到一个联合挂载点的文件系统服务。它使用branch把不同文件系统的文件和目录“透明地”覆盖,形成一个单一一致的文件系统。
API网关为K8S容器应用集群提供强大的接入能力
我们可以看到Kubernetes集群是有足够理由作为应用服务的首选,但是Kubernetes集群没有足够的接入能力,特别在大型应用中,它是不能够直接对用户提供服务的,否则会有非常大的安全风险。而API网关作为成熟的云产品,已经集成了非常丰富的接入能力,把API网关放在Kubernetes集群前面作为应用集群的接入服务使用,将大大提高Kubernetes集群的服务能力,可以作为标准的大型互联网应用的标准架构。
Docker应用问题诊断与性能调优指南(一)- 先谈谈容器化性能调优
前言 性能调优是一个老生常谈的话题,通常情况下,一个应用在上线之前会进行容量规划、压力测试并进行验证,而性能调优则是在容量规划与验证结果之间出现差异时会进行的必然手段。从某种角度来讲,性能调优是一个非常需要经验的领域,需要调优人员对应用的架构、调用的链路、使用的语言、操作系统的差异、内核的参数表现等等都有完整的了解。
kubernetes API 访问控制在阿里云容器服务(ACK)上的实践
提起K8s API的访问控制,很多同学应该都会想到RBAC,这是K8s用来做权限控制的方法,但是K8s对API的访问控制却不止于此,今天我们就来简单介绍下K8s的访问控制以及ACK如何利用这套方法提供便捷的访问控制管理 访问控制简要说明 控制流程如上图所示,我们今天关注点在前两步,也就是图中的Au.
阿里云容器Kubernetes监控(七) - Prometheus监控方案部署
前言 Prometheus是一款面向云原生应用程序的开源监控工具,作为第一个从CNCF毕业的监控工具而言,开发者对于Prometheus寄予了巨大的希望。在Kubernetes社区中,很多人认为Prometheus是容器场景中监控的第一方案,成为容器监控标准的制定者。
如何设置 Kubernetes 资源限制
Kubernetes 作为当下最流行的的容器集群管理平台,需要统筹集群整体的资源使用情况,将合适的资源分配给pod容器使用,既要保证充分利用资源,提高资源利用率,又要保证重要容器在运行周期内能够分配到足够的资源稳定运行。
阿里云容器服务中国最佳,进入Forrester报告强劲表现者象限
近日,全球知名市场调研机构Forrester发布首个企业级公共云容器平台报告。其中,阿里云容器服务的市场表现位居全球前三、中国第一,同时创造中国企业最好成绩,进入强劲表现者象限。 报告显示,阿里云容器服务市场表现为中国第一,与谷歌云并列全球第三。
Kubeflow实战系列:阿里云上小试TFJob
`tf-operator`是Kubeflow的第一个CRD实现,解决的是TensorFlow模型训练的问题,它提供了广泛的灵活性和可配置,可以与阿里云上的NAS,OSS无缝集成,并且提供了简单的UI查看训练的历史记录。
容器日志采集利器Log-Pilot
容器时代越来越多的传统应用将会逐渐容器化,而日志又是应用的一个关键环节,那么在应用容器化过程中,如何方便快捷高效地来自动发现和采集应用的日志,如何与日志存储系统协同来高效存储和搜索应用日志,本文将主要跟大家分享下如何通过Log-Pilot来采集容器的标准输出日志和容器内文件日志。
容器服务中使用ELK
容器服务中使用ELK 日志是IT系统的重要组成部分,记录了系统在什么时候发生了什么事情。我们可以根据日志排查系统故障,也可以做统计分析。通常日志存放在本机的日志文件里,需要查看日志的时候,登录到机器上,用grep等工具过滤关键字。但是当应用要部署在多台机器上的时候,这种方式查看日志就很不方便了,为
Docker multi-stage build机制
随着17.05版本的发布,Docker对于镜像构建这块也作了一项重要更新,那就是 multi-stage build(多阶段构建),这对于长期因为构建镜像太大而困扰的小伙伴们来说真是雪中送炭。
开源工具GPU Sharing:支持Kubernetes集群细粒度
问题背景 全球主要的容器集群服务厂商的Kubernetes服务都提供了Nvidia GPU容器调度能力,但是通常都是将一个GPU卡分配给一个容器。这可以实现比较好的隔离性,确保使用GPU的应用不会被其他应用影响;对于深度学习模型训练的场景非常适合,但是如果对于模型开发和模型预测的场景就会比较浪费。
如何在Kubernetes集群动态使用 NAS 持久卷
介绍: 本文介绍的动态生成NAS存储卷的方案:在一个已有文件系统上,自动生成一个目录,这个目录定义为目标存储卷; 镜像地址:registry.cn-hangzhou.aliyuncs.com/acs/alicloud-nas-controller:v1.11.5.4-433631d-aliyun 默认生成资源:生成的PV名字为:pvc-${pvc-uid}生成目录的名字:namespace-pvcname-pvname 可以再pvc的annotations中如下声明,自定义名字:生成的pv、目录名字为下面定义的名字。
阿里云Kubernetes Service Mesh实践进行时(2): 通过示例深入Istio
我们可以利用阿里云Kubernetes容器服务,快速搭建一套用于连接、管理以及安全化微服务的开放平台Istio,为应用引入和配置多个相关服务。本文通过一个官方示例来演示了如何部署应用到上述Istio环境中,后续文章使用此示例来尝试 Istio 的流量路由、故障注入、速率限制、流量转移等功能。
容器中 Java 应用程序的内存和 CPU 如何分配?看这一篇就够了!
随着2018年的结束,我们将回顾排名前五的最受读者欢迎的文章。今天分享的第一篇文章,将帮助那些在容器中运行 Java 虚拟机(JVM)时遇到内存和 CPU 大小调整/使用困难的人,本文将解释如何在 Docker Desktop(Mac或Windows)和 Docker Enterprise 环境中改进 Docker 容器与 Java 10的集成。
【DockerCon2017最新技术解读】使用Moby工具和Linuxkit定制容器系统
在云栖TechDay34期:DockerCon2017最新的技术解读中,阿里巴巴技术专家王炳燊为大家解读了在DockerCon2017中新发布的Moby项目和Linuxkit项目,为大家详细地介绍了Moby与Docker的区别,以及Linuxkit的优势所在,并通过示例介绍了如何利用Moby工具和Linuxkit定制容器系统。
在阿里云容器服务上开发基于Docker的Spring Cloud微服务应用(四)
本文演示了Spring Cloud应用如何利用HTTP进行同步通信,在数据库访问一节,讨论如何通过docker compose文件配置对MySQL或RDS的访问。
DockerCon 2017 Day2: 安全、生态、敏捷-Docker企业应用的全方位升级
如往年的DockerCon一样,第一天的重点在Docker技术上的布局,无论是LinuxKit还是新的Moby项目。而第二天则会由Docker的CEO Ben介绍Docker的商业拓展和企业级市场。 如果说去年的Docker在企业生产环境可用只是一个开始,而今年Docker则憋了一个大招,展示了大量企业安全特性和成功客户故事。
连接阿里云和容器技术生态 - 阿里云开源容器项目汇总
为了更好地连接阿里云和容器技术,培育开发者生态,容器服务团队为Kubernetes/Docker提供了众多的开源组件来优化容器技术和阿里云的集成,降低用户容器化复杂度。 这些开源组件涵盖了docker/swarm、kubernetes、networking、logs、应用容器化、serverless、AI等多个方向。
基于容器技术的阿里云区块链优势和实现方法
在2017年北京云栖大会的“开发者服务专场”上,阿里云高级技术专家余珊带来了《敏捷智连——基于容器技术的区块链业务创新》的精彩分享。分享中,他重点从阿里云容器服务和区块链项目解决方案等方面介绍了阿里云区块链技术优势。
CICD联动阿里云容器服务Kubernetes实践之GitLab CI篇(一)
本文主要演示如何在阿里云Kubernetes容器服务中安装、注册GitLab Runner并添加kubernetes类型的executor来执行构建,并以此为基础完成一个java源码示例项目从编译构建、镜像打包到应用部署的CICD过程。
阿里云容器服务支持Swarm Mode
Swarm Mode是Docker 1.12版开始推出的新功能,它将Docker Dngine、swarm的集群管理和容器编排功能集成在一起,并新增了service概念及基于LVS的4层负载均衡功能(Routing Mesh)。
在容器中使用AliSQL
### AliSQL容器 #### ALISQL AliSQL是基于MySQL官方版本的一个分支,由阿里云数据库团队维护,目前也应用于阿里巴巴集团业务以及阿里云数据库服务。该版本在社区版的基础上做了大量的性能与功能的优化改进。尤其适合电商、云计算以及金融等行业环境。
Istio Gateway与Kubernetes Ingress Controller对比
在Kubernetes环境中,Kubernetes Ingress用于配置需要在集群外部公开的服务。但是在Istio服务网格中,更好的方法是使用新的配置模型,即Istio Gateway。Gateway允许将Istio流量管理的功能应用于进入集群的流量。
K8S中手动扩容云盘数据卷
K8S中手动扩容云盘数据卷 介绍: 云盘数据卷扩容包括以下几个部分: 云盘物理空间扩容,需要在云盘控制台操作;文件系统扩容,需要挂载云盘到一个物理节点手动操作;PV、PVC Size更新,需要更新StorageClass、PVC; 注意:扩容云盘前需要为云盘打快照,以预防升级失败导致数据丢失; 云盘目前无法做到在线扩容,需要重启应用才可以实现,可以通过两种方法实现云盘扩容。
阿里云Kubernetes容器服务Istio实践之Sidecar自动注入
本文重点介绍在阿里云Kubernetes容器服务中如何启用或者禁用Sidecar自动注入,并分析自动注入Sidecar的原理机制。使用该自动注入能力,可以简化部署应用的逻辑。同时,阿里云Kubernetes容器服务也提供了可配置选型,让用户可以根据自己的需要配置是否启用该能力。
阿里云Kubernetes服务 - Service Broker快速入门指南
4月底阿里云容器服务上线了基于Kubernetes集群的服务目录功能。阿里云的容器的服务目录遵循Open Service Broker API标准,提供了一系列的服务代理组件,实现了对主流开源服务如MySQL、MariaDB、Spark、RabbitMQ等的完美支持,同时提供了管理阿里云RDS服务的RDS broker功能。
容器Docker详解
一、概述 1.1 基本概念: Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从Apache2.0协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。
Kubernetes的Device Plugin设计解读
Kubernetes的生态地位已经确立,可扩展性将是其发力的主战场。异构计算作为非常重要的新战场,Kubernetes非常重视。而异构计算需要强大的计算力和高性能网络,需要提供一种统一的方式与GPU、FPGA、NIC、InfiniBand等高性能硬件集成。
[翻译]Macvlan 网络驱动入门
Macvlan 网络驱动入门 Macvlan网络驱动是为了在Docker的用户的使用场景中提供一个稳定的,生产可用,高性能的网络驱动。本文翻译自Docker官方的macvlan文档, 原文链接:https://docs.
Java程序在K8S容器部署CPU和Memory资源限制相关设置
背景 在k8s docker环境中执行Java程序,因为我们设置了cpu,memory的limit,所以Java程序执行时JVM的参数没有跟我们设置的参数关联,导致JVM感知到的cpu和memory是我们k8s的work node上的cpu和memory大小。
windows7上使用docker容器
windows7上使用docker容器 1.安装 下载DockerToolbox,并安装。 下载地址:https://dn-dao-github-irror.daocloud.io/docker/toolbox/releases/download/v17.06.2-ce/DockerToolbox-17.06.2-ce.exe。
Learn Jenkins the hard way (1) - 从源码运行Jenkins开始
## 前言 在上一篇文章中,总结了Jenkins的罪与罚。从本文开始,我们将迈入Jenkins的源码学习部分。学习源码的方式有很多种,对于Jenkins而言,网上关于源码的学习非常有限,比较建议大家先阅读官方关于如何成为contributor的文档,了解大体的结构后再逐步深入。
【云周刊】第135期:云栖大会珍贵技术资料:20+覆盖容器技术、智能工业、大数据、开源数据库
云栖大会珍贵技术资料合集:覆盖容器技术、智能工业、大数据、开源数据库等,阿里公开内部超大规模分布式机器学习平台,机器学习能为你的业务做什么?有些事情你肯定猜不到!...更多精彩技术资讯,尽在云周刊!
通过阿里云容器服务K8S Ingress Controller实现gRPC服务访问
gRPC是Google开源的一个高性能RPC通信框架,其通过Protocol Buffers作为其IDL,可以在不同语言开发的平台上使用,同时基于HTTP/2协议实现,继而提供了连接多路复用、头部压缩、流控等特性,极大地提高了客户端与服务端的通信效率。
《自己动手写Docker》书摘之二: Linux Cgroups
Linux Cgroups介绍 上面是构建Linux容器的namespace技术,它帮进程隔离出自己单独的空间,但Docker又是怎么限制每个空间的大小,保证他们不会互相争抢呢?那么就要用到Linux的Cgroups技术。
OpenTelemetry-可观察性的新时代
Ops领域两个网红项目OpenTracing和OpenCensus终于走到了一起,可观察性统一的标准化已经扬帆起航。这篇文章旨在抛砖引玉,希望能够和更多的同学一起交流可观察性相关的内容。
容器服务VPC网络使用指南
前言 在使用容器服务的过程中,很多场景下需要使用到VPC网络。但是,目前在用户跟踪过程中发现,大家对于VPC网络的使用存在一点的误区,偶尔会导致一些意外情况的发生,导致使用受挫。该篇文章不会去详细介绍VPC网络的原理,只从容器服务使用VPC网络的角度来介绍如何在容器服务中正确的使用VPC网络以及相应的注意事项。
所谓的"新姿势之Docker Remote API未授权访问漏洞分析和利用"
最近乌云上出现了一篇文章 http://drops.wooyun.org/papers/15892。这种作者就一个好,写文章比谁都快,可惜从来不愿意踏踏实实的分析,非得搞个大新闻,把Docker/Swarm批判一番。 先说结论,Docker采用C/S结构,但是它的client和server用的是同
chart 目录结构 - 每天5分钟玩转 Docker 容器技术(164)
chart 由一系列文件组成,这些文件描述了 Kubernetes 部署应用时所需要的资源,比如 Service、Deployment、PersistentVolumeClaim、Secret、ConfigMap 等。