容器引擎Docker
在前面的学习中,我们掌握了微服务的服务注册与发现(nacos)、配置中心(nacos)、远程服务调用(feign)、网关(gateway),同时借助Idea编译工具多次完成本地服务启动、部署和验证。但是我们假想下面场景:
开发人员A写好的代码-->开发人员B的电脑上运行,B必须保证跟A一样的系统环境(JDK/MySQL等)
系统代码部署从DEV-->TEST-->PRE-->PROD,每个环节都必须保证一样的系统环境(同上)
分布式系统中依赖组件非常多,组件与组件之间的部署往往会产生一些冲突(端口/依赖/环境等)
这样的版本一致保证会耗费我们大量的时间和精力,同时万一有问题产生,我们也很难第一时间考虑到是因为版本不一致导致的问题。因此我们需要一套可以平滑切换的部署引擎,这就是本节我们学习的Docker。
1.认识Docker
1.1 什么是Docker
1-Docker解决依赖兼容
Docker为了解决依赖的兼容问题的,采用了两个手段:
【依赖打包】将应用的Libs(函数库)、Deps(依赖)、配置与应用一起打包
【部署隔离】将每个应用放到一个隔离容器去运行,避免互相干扰
此时打包好的应用包(不再是原来的jar包)既包含应用本身,也包含应用所需的Libs、Deps,无需在操作系统上安装,自然不存在应用间的兼容问题。
虽然解决了不同应用的兼容问题,但是开发、测试等多个环境,不同的操作系统版本之间也会有差异,这个不解决一样会面临开篇所说的问题,想了解这个必须先了解下操作系统的结构。
2-Docker解决操作系统环境差异
以一个ubuntu操作系统为例,如下:
其结构包括:
计算机硬件:如CPU、内存、磁盘等
系统内核:所有Linux发行版内核都是Linux,如CentOS/Ubuntu/Fedora等,内核与计算机硬件交互,对外提供内核指令,用于操作计算机硬件。
系统应用:操作系统本身提供的应用、函数库。这些函数是对内核指令的封装,使用更方便。
应用与计算机交互的流程大致如下:
应用(外部应用如redis/web应用等)调用操作系统应用(函数库),实现各种功能
系统函数库是对内核指令集的封装,会调用内核指令
内核指令操作计算机硬件
如Ubuntu和CenOS虽然都是基于Linux内核,无非是系统应用不同,提供函数库有差异,如下:
但就是这种差异,当一个Ubuntu版本的MySQL尝试安装到CentOS系统时,MySQL还是调用的Ubuntu函数库,会出现找不到或者不匹配的情况,从而导致报错,即出现我们上面提到的系统环境差异导致的不兼容问题:
我们来看下Docker是如何处理这种环境间的差异的:
Docker将应用程序与所需调用的系统(如Ubuntu)函数库一起打包
Docker运行到不同操作系统时,直接基于打包的函数库,借助于操作系统Linux内核来运行
3-小结
Docker如何解决大型项目依赖关系复杂,不同组件依赖的兼容性问题?
Docker允许开发中将应用、依赖、函数库、配置一起打包,形成可移植镜像
Docker应用运行在容器中,使用沙箱机制,相互隔离
Docker如何解决开发、测试、生产环境有差异的问题?
Docker镜像中包含完整运行环境,包括系统函数库,仅依赖系统的Linux内核,因此可以在任意Linux操作系统上运行
Docker是一个快速交付应用、运行应用的技术,具备下列优势:
可以将程序及其依赖、运行环境一起打包为一个镜像,可以迁移到任意Linux操作系统
运行时利用沙箱机制形成隔离容器,各个应用互不干扰
启动、移除都可以通过一行命令完成,方便快捷
1.2 Docker和虚拟机的区别
如果对虚拟机有了解的读者(也可以在一个操作系统中运行另一个操作系统,从而达到保护系统中的应用),那么Docker听起来也是这样的环境隔离,二者有什么区别?为什么现在主流是使用Docker呢?
虚拟机:在操作系统中模拟硬件设备,然后运行另一个操作系统,比如在 Windows 系统里面运行 Ubuntu 系统,这样就可以运行任意的Ubuntu应用了。
Docker:仅是封装函数库,并没有模拟完整的操作系统,即共享同一个底层硬件设备。
相较于传统虚拟机而言,二者主要区别如下:
特性
容器
虚拟机
启动
秒级
分钟级
硬盘使用
一般为 MB
一般为 GB
性能
接近原生
弱于
系统支持量
单机支持上千个容器
一般几十个
总结如下:
docker是一个系统进程;虚拟机是在操作系统中的操作系统
docker体积小、启动速度快、性能好;虚拟机体积大、启动速度慢、性能一般
1.3 Docker架构
1-基本概念
镜像
特殊的文件系统,除了提供容器运行时所需的程序、库、资源、配置等文件外,还包含了一些为运行时准备的一些配置参数(如匿名卷、环境变量、用户等)。镜像不包含任何动态数据,其内容在构建之后也不会被改变。
分层存储
镜像构建时,会一层层构建,前一层是后一层的基础。每一层构建完就不会再发生改变,后一层上的任何改变只发生在自己这一层。比如,删除前一层文件的操作,实际不是真的删除前一层的文件,而是仅在当前层标记为该文件已删除。在最终容器运行的时候,虽然不会看到这个文件,但是实际上该文件会一直跟随镜像。因此,在构建镜像的时候,需要额外小心,每一层尽量只包含该层需要添加的东西,任何额外的东西应该在该层构建结束前清理掉。
总结
Docker将应用程序及其所需的依赖、函数库、环境、配置等文件打包在一起,称为镜像。
容器
镜像和容器的关系,就像是面向对象程序设计中的类和实例一样,镜像是静态的定义,容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。
容器本质是进程,但与直接在宿主执行的进程不同,容器进程运行在属于自己独立的命名空间。因此容器可以有自己的文件系统、网络配置、进程空间。容器内的进程是运行在一个隔离环境里,也正是因为这种隔离的特性,让跟多初学Docker的人混淆容器和虚拟机。
容器存储层
跟镜像的分层存储类似,容器也是如此。每个容器运行时,是以镜像为基础层,在其上创建一个当前容器的层出层,我们可以称这个为容器运行时读写而准备的存储层为容器存储层。其生命周期与容器一样,容器消亡时,容器存储层也随之消失。
按Docker最佳实践,容器不应该向其存储层写入任何数据,容器存储层都要保持无状态。所有文件写入操作都应该使用数据卷(Volume)、或者绑定宿主目录,这些读写直接对宿主产生,性能和稳定性更高。
总结
镜像中的应用程序运行后形成的进程就是容器,只是Docker会给容器进程做隔离,对外不可见。
仓库
镜像构建完成后,可以很容易在当前宿主机运行,但是想要在其他服务器上使用这个镜像,我们就需要一个集中的存储、分发镜像的服务,Docker Registry就是这样一个服务。
一个Docker Registry可以包含多个仓库(Repository);每个仓库可以包含多个标签(Tag);每个标签对应一个镜像。通常一个仓库会包含一个软件的不同版本镜像,标签用于区分版本,如不给出标签,默认latest作为标签。
Docker Registry公开服务
开发给用户使用、允许用户管理镜像的Registry服务,可避免重复劳动,如Redis/Nginx等
官方的Docker镜像的托管平台:Docker Hub。
国内代理的DcokerHub公开服务:网易云镜像服务、DaoCloud 镜像市场、阿里云镜像库 等。
Docker Registry私有服务
公司内部使用、迭代的镜像Registry服务,需要用户自己完成代码打包、镜像上传。
小结
三者关系如上所示,注意:镜像都是只读的。
例如你下载了一个QQ,如果我们将QQ在磁盘上的运行文件及其运行的操作系统依赖打包,形成QQ镜像。然后你可以启动多次,双开、甚至三开QQ,跟多个妹子聊天。
2-Docker架构
Docker是一个CS架构的程序,底层由Go 语言进行开发实现,由两部分组成
服务端(server):Docker守护进程,负责处理Docker指令,管理镜像、容器等
客户端(client):通过命令或RestAPI向Docker服务端发送指令。可以在本地或远程向服务端发送指令
1.4 Docker安装
企业生产一般都是在Linux环境下部署Docker,其中CentOS发行版最多,因此我们也将在CentOS环境下安装Docker,如未安装请跳转:windows安装centos7
1-卸载(可选)
如果之前安装过旧版本的Docker,可以使用下面命令卸载:
2-安装docker
首先需要虚拟机联网,接着安装yum工具
接着更新本地镜像为aliyun,否则拉取国外的会失败
输入指令开始安装,这里我们安装的ce(社区免费版本)
3-启动Dokcer
Docker应用后续会用到的端口非常多,建议大家直接关闭防火墙,一定要关闭,一定要关闭。
命令启动Docker
输入命令查看启动状态
输入命令查看Docker版本
4-配置镜像加速
docker官方镜像仓库网速较差,我们需要设置国内镜像服务:
参考阿里云的镜像加速文档:https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors
也可直接依次参照执行:
2.Docker基本操作
2.1 镜像操作
1-镜像名称
首先来看下镜像的名称组成
镜名称一般分两部分组成:[repository]:[tag]。
在没有指定tag时,默认是latest,代表最新版本的镜像
这里mysql就是repository,5.7就是tag,合一起就是镜像名称,代表5.7版本的MySQL镜像。
2-镜像命令
常见的镜像操作命令如图:
3-案例(拉取、查看镜像)
需求:从DockerHub中拉取一个nginx镜像并查看
1)首先去镜像仓库搜索nginx镜像,比如DockerHub:
2)根据查看到的镜像名称,拉取自己需要的镜像,通过命令:docker pull nginx
3)通过命令:docker images 查看拉取到的镜像
4-案例(保存、导入镜像)
需求:利用docker save将nginx镜像导出磁盘,然后再通过load加载回来
1)docker xx --help命令查看docker save和docker load的语法
例如,查看save命令用法,可以输入命令:
结果:
命令格式:
2)docker save导出镜像到磁盘
运行命令:
结果如图:
3)docker load加载镜像
先删除本地的nginx镜像:
然后运行命令,加载本地文件:
结果:
5-实战案例(Redis镜像拉取、加载)
1)去DockerHub搜索Redis镜像
2)查看Redis镜像的名称和版本
3)利用docker pull命令拉取镜像
docker pull redis
4)利用docker save命令将 redis:latest打包为一个redis.tar包
docker save -o redis.tar redis:latest
5)利用docker rmi 删除本地的redis:latest
docker rmi redis:latest
6)利用docker load 重新加载 redis.tar文件
docker load -i redis.tar
2.2 容器操作
容器操作的命令如图:
容器保护三个状态:
运行:进程正常运行
暂停:进程暂停,CPU不再运行,并不释放内存
停止:进程终止,回收进程占用的内存、CPU等资源
1-常用指令
命令
描述
docker run
创建并运行一个容器,处于运行状态
docker pause
让一个运行的容器暂停
docker unpause
让一个容器从暂停状态恢复运行
docker stop
停止一个运行的容器
docker start
让一个停止的容器再次运行
docker rm
删除一个容器
2-案例(创建并运行容器)
创建并运行nginx容器的命令:
命令解读
docker run :创建并运行一个容器
--name : 给容器起一个名字,比如叫做nginx
-p :将宿主机端口与容器端口映射,冒号左侧是宿主机端口,右侧是容器端口
-d:后台运行容器
nginx:镜像名称,例如nginx
这里的-p参数,是将容器端口映射到宿主机端口。默认情况下,容器是隔离环境,我们直接访问宿主机的80端口,肯定访问不到容器中的nginx。现在,将容器的80与宿主机的80关联起来,当我们访问宿主机的80端口时,就会被映射到容器的80,这样就能访问到nginx了:
3-案例(进入容器并修改文件)
需求:进入Nginx容器,修改HTML文件内容,添加“传智教育欢迎您”
提示:进入容器要用到docker exec命令。
步骤:
1)进入容器。进入我们刚刚创建的nginx容器的命令为:
命令解读
docker exec :进入容器内部,执行一个命令
-it : 给当前进入的容器创建一个标准输入、输出终端,允许我们与容器交互
nginx :要进入的容器的名称
bash:进入容器后执行的命令,bash是一个linux终端交互命令
2)进入nginx的HTML所在目录 /usr/share/nginx/html
容器内部会模拟一个独立的Linux文件系统,看起来如同一个linux服务器一样:
nginx的环境、配置、运行文件全部都在这个文件系统中,包括我们要修改的html文件。查看DockerHub网站中的nginx页面,可以知道nginx的html目录位置在/usr/share/nginx/html
我们执行命令,进入该目录:
查看目录下文件:
3)修改index.html的内容
容器内没有vi命令,无法直接修改,我们用下面的命令来修改:
在浏览器访问自己的虚拟机地址(注意IP),例如我的是:http://192.168.150.101,即可看到结果:
2.3 数据卷
在之前的nginx案例中,修改nginx的html页面时,需要进入nginx内部。并且因为没有编辑器,修改文件也很麻烦。这就是因为容器与数据(容器内文件)耦合带来的后果。
要解决这个问题,必须将数据与容器解耦,这就要用到数据卷了。
1-什么是数据卷
数据卷(volume)是一个虚拟目录,指向宿主机文件系统中的某个目录。
一旦完成数据卷挂载,对容器的一切操作都会作用在数据卷对应的宿主机目录了。这样,我们操作宿主机的/var/lib/docker/volumes/html目录,就等于操作容器内的/usr/share/nginx/html目录了。
2- 数据集操作命令
数据卷操作的基本语法如下:
docker volume [COMMAND]
docker volume命令是数据卷操作,根据命令后跟随的command来确定下一步的操作:
create 创建一个volume
inspect 显示一个或多个volume的信息
ls 列出所有的volume
prune 删除未使用的volume
rm 删除一个或多个指定的volume
3-创建和查看数据卷
需求:创建一个数据卷,并查看数据卷在宿主机的目录位置
1) 创建数据卷
2)查看所有数据
结果:
3)查看数据卷详细信息卷
结果:
可以看到我们创建的html数据卷关联的宿主机目录为/var/lib/docker/volumes/html/_data目录。
4-挂载数据卷
在创建容器时,可以通过 -v 参数来挂载一个数据卷到某个容器内目录,命令格式如下:
这里的-v就是挂载数据卷的命令:
-v html:/root/htm :把html数据卷挂载到容器内的/root/html这个目录中
5-案例(给nginx挂载数据卷)
需求:创建一个nginx容器,修改容器内的html目录内的index.html内
分析:上个案例中,我们进入nginx容器内部,已经知道nginx的html目录所在位置/usr/share/nginx/html ,我们需要把这个目录挂载到html这个数据卷上,方便操作其中的内容。
提示:运行容器时使用 -v 参数挂载数据卷
步骤:
1)创建容器并挂载数据卷到容器内的HTML目录
2)进入html数据卷所在位置,并修改HTML内容
6-案例(给MySQL挂载本地目录)
容器不仅仅可以挂载数据卷,也可以直接挂载到宿主机目录上。关联关系如下:
带数据卷模式:宿主机目录 --> 数据卷 ---> 容器内目录
直接挂载模式:宿主机目录 ---> 容器内目录
如图:
语法:
目录挂载与数据卷挂载的语法是类似的:
-v [宿主机目录]:[容器内目录]
-v [宿主机文件]:[容器内文件]
需求:创建并运行一个MySQL容器,将宿主机目录直接挂载到容器
实现思路如下:
1)在将课前资料中的mysql.tar文件上传到虚拟机,通过load命令加载为镜像
2)创建目录/tmp/mysql/data
3)创建目录/tmp/mysql/conf,将课前资料提供的hmy.cnf文件上传到/tmp/mysql/conf
4)去DockerHub查阅资料,创建并运行MySQL容器,要求:
① 挂载/tmp/mysql/data到mysql容器内数据存储目录
② 挂载/tmp/mysql/conf/hmy.cnf到mysql容器的配置文件
③ 设置MySQL密码
3.DockerFile自定义镜像
3.1 镜像结构
镜像是将应用程序及其需要的系统函数库、环境、配置、依赖打包而成。我们以MySQL为例,来看看镜像的组成结构:
简单来说,镜像就是在系统函数库、运行环境基础上,添加应用程序文件、配置文件、依赖文件等组合,然后编写好启动脚本打包在一起形成的文件。我们要构建镜像,其实就是实现上述打包的过程。
3.2 Dockerfile语法
构建自定义的镜像时,并不需要一个个文件去拷贝,打包。我们只需要告诉Docker,我们的镜像的组成,需要哪些BaseImage、需要拷贝什么文件、需要安装什么依赖、启动脚本是什么,将来Docker会帮助我们构建镜像。而描述上述信息的文件就是Dockerfile文件。
Dockerfile就是一个文本文件,其中包含一个个的指令(Instruction),用指令来说明要执行什么操作来构建镜像。每一个指令都会形成一层Layer。
更加详细语法说明,请参考官网文档: https://docs.docker.com/engine/reference/builder
3.3 构建Java项目
1-基于Ubuntu构建Java项目
需求:基于Ubuntu镜像构建一个新镜像,运行一个java项目
步骤1:新建一个空文件夹docker-demo
步骤2:拷贝课前资料中的docker-demo.jar文件到docker-demo这个目录
步骤3:拷贝课前资料中的jdk8.tar.gz文件到docker-demo这个目录
步骤4:拷贝课前资料提供的Dockerfile到docker-demo这个目录
其中的内容如下:
步骤5:进入docker-demo将准备好的docker-demo上传到虚拟机任意目录,然后进入docker-demo目录下
步骤6:运行命令:
2-基于java8构建Java项目
虽然我们可以基于Ubuntu基础镜像,添加任意自己需要的安装包,构建镜像,但是却比较麻烦。所以大多数情况下,我们都可以在一些安装了部分软件的基础镜像上做改造。
例如:构建java项目的镜像,可以在已经准备了JDK的基础镜像基础上构建。
需求:基于java:8-alpine镜像,将一个Java项目构建为镜像
思路:
① 新建一个空的目录,然后在目录中新建一个文件,命名为Dockerfile
② 拷贝课前资料提供的docker-demo.jar到这个目录中
③ 编写Dockerfile文件:
a )基于java:8-alpine作为基础镜像
b )将app.jar拷贝到镜像中
c )暴露端口
d )编写入口ENTRYPOINT
内容如下:
④ 使用docker build命令构建镜像
⑤ 使用docker run创建容器并运行
3.4 小结
Dockerfile的本质是一个文件,通过指令描述镜像的构建过程
Dockerfile的第一行必须是FROM,从一个基础镜像来构建
基础镜像可以是基本操作系统,如Ubuntu。也可以是其他人制作好的镜像,例如:java:8-alpine
4.Docker-Compose
Docker Compose可以基于Compose文件帮我们快速的部署分布式应用,而无需手动一个个创建和运行容器!
4.1 认识DockerCompose
Compose文件是一个文本文件,通过指令定义集群中的每个容器如何运行。格式如下:
上面的Compose文件就描述一个项目,其中包含两个容器
mysql:一个基于mysql:5.7.25镜像构建的容器,并且挂载了两个目录
web:一个基于docker build临时构建的镜像容器,映射端口时8090
DockerCompose的详细语法参考官网:https://docs.docker.com/compose/compose-file/
其实DockerCompose文件可以看做是将多个docker run命令写到一个文件,只是语法稍有差异
4.2 安装DockerCompose
1-下载
Linux下需要通过命令下载:
如果下载速度较慢,或者下载失败,可以使用课料提供的docker-compose文件:
上传到/usr/local/bin/目录也可以。
2-修改文件权限
修改文件权限:
4.3 部署微服务集群
需求:将之前学习的cloud-demo微服务集群利用DockerCompose部署
实现思路:
① 查看课前资料提供的cloud-demo文件夹,里面已经编写好了docker-compose文件
② 修改自己的cloud-demo项目,将数据库、nacos地址都命名为docker-compose中的服务名
③ 使用maven打包工具,将项目中的每个微服务都打包为app.jar
④ 将打包好的app.jar拷贝到cloud-demo中的每一个对应的子目录中
⑤ 将cloud-demo上传至虚拟机,利用 docker-compose up -d 来部署
1-compose文件
查看课前资料提供的cloud-demo文件夹,里面已经编写好了docker-compose文件,而且每个微服务都准备了一个独立的目录
内容如下:
可以看到,其中包含5个service服务:
nacos:作为注册中心和配置中心
image: nacos/nacos-server: 基于nacos/nacos-server镜像构建
environment:环境变量
MODE: standalone:单点模式启动
ports:端口映射,这里暴露了8848端口
mysql:数据库
image: mysql:5.7.25:镜像版本是mysql:5.7.25
environment:环境变量
MYSQL_ROOT_PASSWORD: 123:设置数据库root账户的密码为123
volumes:数据卷挂载,这里挂载了mysql的data、conf目录,其中有我提前准备好的数据
userservice、orderservice、gateway:都是基于Dockerfile临时构建的
查看mysql目录,可以看到其中已经准备好了cloud_order、cloud_user表:
查看微服务目录,可以看到都包含Dockerfile文件:
内容如下:
2-修改微服务配置
因为微服务将来要部署为docker容器,而容器之间互联不是通过IP地址,而是通过容器名。这里我们将order-service、user-service、gateway服务的mysql、nacos地址都修改为基于容器名的访问。
如下所示:
3-打包
接下来需要将我们的每个微服务都打包。因为之前查看到Dockerfile中的jar包名称都是app.jar,因此我们的每个微服务都需要用这个名称。
可以通过修改pom.xml中的打包名称来实现,每个微服务都需要修改:
打包后:
4-拷贝jar包到部署目录
编译打包好的app.jar文件,需要放到Dockerfile的同级目录中。注意:每个微服务的app.jar放到与服务名称对应的目录,别搞错了。
user-service:
order-service:
gateway:
5-部署
最后,我们需要将文件整个cloud-demo文件夹上传到虚拟机中,理由DockerCompose部署。上传到任意目录:
部署:
进入cloud-demo目录,然后运行下面的命令:
注意
运行前一定要把之前测试的mysql容器删除掉
等启动完成之后,去nacos注册中心看看微服务是否启动成功
http://192.168.101.68:8848/nacos/
docker restart cloud-demo_userservice_1 cloud-demo_gateway_1 cloud-demo_orderservice1
重启之后,再去nacos看看,有了之后就可以访问下面的地址
验证(以自己IP为准):
5.Docker镜像仓库
搭建镜像仓库可以基于Docker官方提供的DockerRegistry来实现。官网地址:https://hub.docker.com//registry
5.1 简化版镜像仓库(本次不实操)
Docker官方的Docker Registry是一个基础版本的Docker镜像仓库,具备仓库管理的完整功能,但是没有图形化界面。
搭建方式比较简单,命令如下:
命令中挂载了一个数据卷registry-data到容器内的/var/lib/registry 目录,这是私有镜像库存放数据的目录。
访问http://YourIp:5000/v2/_catalog 可以查看当前私有镜像服务中包含的镜像
5.2 配置Docker信任地址
我们的私服采用的是http协议,默认不被Docker信任,所以需要做一个配置:
注意需要改成自己本地对应IP
注意原有的后面追加逗号
重启完原来所有的服务进程都被杀死(类似于电脑重启),如需访问需要再次启动
5.3 带有图形化界面版本
使用DockerCompose部署带有图象界面的DockerRegistry,命令如下:
tmp文件夹下新建文件夹:registry-ui
文件夹中新建文件:touch docker-compose.yml
粘贴下述配置到文件中
YAML
复制代码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
version: '3.0'
services:
registry:
image: registry
volumes:
- ./registry-data:/var/lib/registry
ui:
image: joxit/docker-registry-ui:static
ports:
- 8080:80
environment:
- REGISTRY_TITLE=传智教育私有仓库
- REGISTRY_URL=http://registry:5000
depends_on:
- registry
docker-compose up -d 启动
访问:http://192.168.206.128:8080/
5.4 推送、拉取镜像
推送镜像到私有镜像服务必须先tag,步骤如下:
① 重新tag本地镜像,名称前缀为私有仓库的地址:192.168.206.128:8080/
Shell
运行代码
复制代码
1
docker tag nginx:latest 192.168.206.128:8080/nginx:1.0
② 推送镜像
Shell
运行代码
复制代码
1
docker push 192.168.206.128:8080/nginx:1.0
③ 拉取镜像
Shell
运行代码
复制代码
1
docker pull 192.168.206.128:8080/nginx:1.0
6.推荐阅读资料
Docker官网:https://docs.docker.com/
Docker中文官网:https://yeasy.gitbook.io/docker_practice/