企业实战(5) Docker私有镜像仓库Harbor的部署与使用详解

本文涉及的产品
云数据库 Tair(兼容Redis),内存型 2GB
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
日志服务 SLS,月写入数据量 50GB 1个月
简介: 企业实战(5) Docker私有镜像仓库Harbor的部署与使用详解

Harbor简介:


 Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器,通过添加一些企业必需的功能特性,例如安全、标识和管理等,扩展了开源Docker Distribution。作为一个企业级私有Registry服务器,Harbor提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor支持安装在多个Registry节点的镜像资源复制,镜像全部保存在私有Registry中, 确保数据和知识产权在公司内部网络中管控。另外,Harbor也提供了高级的安全特性,诸如用户管理,访问控制和活动审计等。


Harbor特性:


 基于角色的访问控制 :用户与Docker镜像仓库通过“项目”进行组织管理,一个用户可以对多个镜像仓库在同一命名空间(project)里有不同的权限。


 镜像复制 :镜像可以在多个Registry实例中复制(同步)。尤其适合于负载均衡,高可用,混合云和多云的场景。


 图形化用户界面 :用户可以通过浏览器来浏览,检索当前Docker镜像仓库,管理项目和命名空间。


 AD/LDAP 支持 :Harbor可以集成企业内部已有的AD/LDAP,用于鉴权认证管理。


 审计管理 :所有针对镜像仓库的操作都可以被记录追溯,用于审计管理。


 国际化 :已拥有英文、中文、德文、日文和俄文的本地化版本。更多的语言将会添加进来。


 RESTful API :RESTful API 提供给管理员对于Harbor更多的操控, 使得与其它管理软件集成变得更容易。


 部署简单 :提供在线和离线两种安装工具, 也可以安装到vSphere平台(OVA方式)虚拟设备。


Harbor组件:


Harbor在架构上主要由6个组件构成:


  • Proxy:Harbor的registry, UI, token等服务,通过一个前置的反向代理统一接收浏览器、Docker客户端的请求,并将请求转发给后端不同的服务。



  • Registry:负责储存Docker镜像,并处理docker push/pull 命令。由于我们要对用户进行访问控制,即不同用户对Docker image有不同的读写权限,Registry会指向一个token服务,强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token 进行解密验证。


  • Core services:这是Harbor的核心功能,主要提供以下服务:


  • UI:提供图形化界面,帮助用户管理registry上的镜像(image), 并对用户进行授权。


  • webhook:为了及时获取registry 上image状态变化的情况, 在Registry上配置webhook,把状态变化传递给UI模块。


  • token 服务:负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token,会被重定向到这里,获得token后再重新向Registry进行请求。


  • Database:为core services提供数据库服务,负责储存用户权限、审计日志、Docker image分组信息等数据。


  • Job Services:提供镜像远程复制功能,可以把本地镜像同步到其他Harbor实例中。


  • Log collector:为了帮助监控Harbor运行,负责收集其他组件的log,供日后进行分析。


各个组件之间的关系如下图所示:

13.png

环境介绍:

CentOS 7.5
Docker 19.03.8
Docker Engine 19.03.8
Docker-compose 1.25.4
Harbor 1.5.0

下载Harbor:


低版本,速度快:http://harbor.orientsoft.cn/


版本全,速度慢:https://github.com/goharbor/harbor/releases


安装Harbor:


1.下载解压

[root@localhost harbor]# wget http://harbor.orientsoft.cn/harbor-v1.5.0/harbor-offline-installer-v1.5.0.tgz
[root@localhost harbor]# ls
harbor-offline-installer-v1.5.0.tgz
[root@localhost harbor]# tar -xvf harbor-offline-installer-v1.5.0.tgz
[root@localhost harbor]# cd harbor
[root@localhost harbor]# ls
common                    docker-compose.notary.yml  ha          harbor.v1.5.0.tar.gz  LICENSE  prepare
docker-compose.clair.yml  docker-compose.yml         harbor.cfg  install.sh            NOTICE

2.修改配置文件

[root@localhost harbor]# vim harbor.cfg 
...
#DO NOT use localhost or 127.0.0.1, because Harbor needs to be accessed by external clients.
hostname = 192.168.2.195   
 //设置访问地址,可以是ip、主机名,不可以设置为127.0.0.1或localhost
ui_url_protocol = http        //不使用https就改为http
[root@localhost harbor]# ./prepare     //执行官方自带脚本更新配置文件

3.开始安装


 修改完配置文件后,在当前目录执行./install.sh,Harbor服务就会根据当前目录下的docker-compose.yml开始下载依赖的镜像,检测并按照顺序依次启动各服务。

[root@localhost harbor]# ./install.sh 
[Step 0]: checking installation environment ...
Note: docker version: 19.03.8
Note: docker-compose version: 1.25.4
[Step 1]: loading Harbor images ...
52ef9064d2e4: Loading layer [==================================================>]  135.9MB/135.9MB
...
...
[Step 2]: preparing environment ...
Generated and saved secret to file: /data/secretkey
Generated configuration file: ./common/config/nginx/nginx.conf
Generated configuration file: ./common/config/adminserver/env
Generated configuration file: ./common/config/ui/env
Generated configuration file: ./common/config/registry/config.yml
Generated configuration file: ./common/config/db/env
Generated configuration file: ./common/config/jobservice/env
Generated configuration file: ./common/config/jobservice/config.yml
Generated configuration file: ./common/config/log/logrotate.conf
Generated configuration file: ./common/config/jobservice/config.yml
Generated configuration file: ./common/config/ui/app.conf
Generated certificate, key file: ./common/config/ui/private_key.pem, cert file: ./common/config/registry/root.crt
The configuration files are ready, please use docker-compose to start the service.
[Step 3]: checking existing instance of Harbor ...
[Step 4]: starting Harbor ...
Creating network "harbor_harbor" with the default driver
Creating harbor-log ... done
Creating registry           ... done
Creating redis              ... done
Creating harbor-db          ... done
Creating harbor-adminserver ... done
Creating harbor-ui          ... done
Creating harbor-jobservice  ... done
Creating nginx              ... done
✔ ----Harbor has been installed and started successfully.----
Now you should be able to visit the admin portal at http://192.168.2.195. 
For more details, please visit https://github.com/vmware/harbor .

查看生成的容器:

[root@localhost harbor]# docker-compose ps
       Name                     Command                  State                             Ports                       
-----------------------------------------------------------------------------------------------------------------------
harbor-adminserver   /harbor/start.sh                 Up (healthy)                                                     
harbor-db            /usr/local/bin/docker-entr ...   Up (healthy)   3306/tcp                                          
harbor-jobservice    /harbor/start.sh                 Up                                                               
harbor-log           /bin/sh -c /usr/local/bin/ ...   Up (healthy)   127.0.0.1:1514->10514/tcp                         
harbor-ui            /harbor/start.sh                 Up (healthy)                                                     
nginx                nginx -g daemon off;             Up (healthy)   0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp,     
                                                                     0.0.0.0:80->80/tcp                                
redis                docker-entrypoint.sh redis ...   Up             6379/tcp                                          
registry             /entrypoint.sh serve /etc/ ...   Up (healthy)   5000/tcp

说明:


  • nginx:nginx负责流量转发和安全验证,对外提供的流量都是从nginx中转,所以开放https的443端口,它将流量分发到后端的ui和正在docker镜像存储的docker registry。


  • harbor-jobservice:harbor-jobservice 是harbor的job管理模块,job在harbor里面主要是为了镜像仓库之前同步使用的;


  • harbor-ui:harbor-ui是web管理页面,主要是前端的页面和后端CURD的接口;


  • registry:registry就是docker原生的仓库,负责保存镜像。


  • harbor-adminserver:harbor-adminserver是harbor系统管理接口,可以修改系统配置以及获取系统信息。


  • harbor-db:harbor-db是harbor的数据库,这里保存了系统的job以及项目、人员权限管理。由于本harbor的认证也是通过数据,在生产环节大多对接到企业的ldap中;


  • harbor-log:harbor-log是harbor的日志服务,统一管理harbor的日志。通过inspect可以看出容器统一将日志输出的syslog。

这几个容器通过Docker link的形式连接在一起,在容器之间通过容器名字互相访问。对终端用户而言,只需要暴露proxy (即Nginx)的服务端口。


常用命令:

docker-compose up -d (相当于 build + start ):构建(容器)并启动(容器)整个project的所有service
docker-compose down -v(相当于 stop + rm ):停止并移除整个project的所有services
docker-compose start [serviceName]:启动已存在但停止的所有service
docker-compose stop [serviceName]:停止运行的service
docker-compose restart [serviceName]: 重启服务
docker-compose images:列出所用的镜像
docker-compose ps:查看正在运行的镜像

停止Harbor:


 docker-compose down -v:停止并移除整个project的所有services

[root@localhost harbor]# docker-compose down -v
Stopping harbor-jobservice  ... done
Stopping nginx              ... done
Stopping harbor-ui          ... done
Stopping harbor-adminserver ... done
Stopping redis              ... done
Stopping harbor-db          ... done
Stopping registry           ... done
Stopping harbor-log         ... done
Removing harbor-jobservice  ... done
Removing nginx              ... done
Removing harbor-ui          ... done
Removing harbor-adminserver ... done
Removing redis              ... done
Removing harbor-db          ... done
Removing registry           ... done
Removing harbor-log         ... done
Removing network harbor_harbor

启动Harbor:


 docker-compose up -d    :构建(容器)并启动(容器)整个project的所有service

[root@localhost harbor]# docker-compose up -d
Creating network "harbor_harbor" with the default driver
Creating harbor-log ... done
Creating harbor-adminserver ... done
Creating registry           ... done
Creating harbor-db          ... done
Creating redis              ... done
Creating harbor-ui          ... done
Creating harbor-jobservice  ... done
Creating nginx              ... done

注意:


 执行Harbor 启动 / 停止、docker-compose ps等命令都必须在Harbor安装目录下执行才可以,否则会报错。

[root@localhost ~]# docker-compose ps
ERROR: 
        Can't find a suitable configuration file in this directory or any
        parent. Are you in the right directory?
        Supported filenames: docker-compose.yml, docker-compose.yaml

端口占用处理:


 如果端口占用,我们需要修改Harbor安装目录下的docker-compose.yml文件,做对应服务的端口映射。(端口变化后修改配置文件带上端口)

[root@localhost harbor]# vim docker-compose.yml
...
proxy:
    image: vmware/nginx-photon:v1.5.0
    container_name: nginx
    restart: always
    volumes:
      - ./common/config/nginx:/etc/nginx:z
    networks:
      - harbor
    ports:
      - 80:80           //修改此处为新端口,如:59:80
      - 443:443
      - 4443:4443
    depends_on:
      - mysql
      - registry
      - ui
      - log
    logging:
      driver: "syslog"
      options:
        syslog-address: "tcp://127.0.0.1:1514"
        tag: "proxy"
networks:
  harbor:
    external: false

访问Harbor


 启动完成后,我们访问刚才设置的hostname即:http://192.168.2.195,默认是80端口。

14.png

输入用户名:admin,默认密码:Harbor12345 登录系统。

15.png

管理员系统各个模块如下:


  • 项目:新增/删除项目,查看镜像仓库,给项目添加成员、查看操作日志、复制项目等


  • 日志:仓库各个镜像create、push、pull等操作日志


  • 系统管理


  用户管理:新增/删除用户、设置管理员等


  复制管理:新增/删除从库目标、新建/删除/启停复制规则等


  配置管理:认证模式、复制、邮箱设置、系统设置等


  • 其他设置


  用户设置:修改用户名、邮箱、名称信息


  修改密码:修改用户密码


注意:


 非系统管理员用户登录,只能看到有权限的项目和日志,其他模块不可见。


使用私有仓库push和pull镜像:


 新建私有项目

16.png

 上传(push)镜像

[root@localhost harbor]# docker tag nginx:latest 192.168.2.195/test/nginx:test
[root@localhost harbor]# docker push 192.168.2.195/test/nginx:test
[root@localhost harbor]# docker tag gatwayjar:latest 192.168.2.195/test/gatewayjar:test
[root@localhost harbor]# docker push 192.168.2.195/test/gatewayjar:test
The push refers to repository [192.168.2.195/test/gatewayjar]
7fa55cc3a370: Pushed 
6d9807a29efe: Pushed 
a52fcbff5465: Pushing [========================>                          ]  59.56MB/121.6MB
767f936afb51: Pushed

下载(pull)镜像

[root@localhost harbor]# docker pull 192.168.2.195/test/gatewayjar:test
test: Pulling from test/gatewayjar
169185f82c45: Already exists 
4346af5b5a4f: Already exists 
4094eab2320e: Already exists 
c63e245a220a: Extracting [============>                                      ]   11.3MB/46.36MB

17.png

相关报错解决:


Docker login Harbor报错解决:https://blog.csdn.net/qq_44895681/article/details/105573702


相关实践学习
通过容器镜像仓库与容器服务快速部署spring-hello应用
本教程主要讲述如何将本地Java代码程序上传并在云端以容器化的构建、传输和运行。
Kubernetes极速入门
Kubernetes(K8S)是Google在2014年发布的一个开源项目,用于自动化容器化应用程序的部署、扩展和管理。Kubernetes通常结合docker容器工作,并且整合多个运行着docker容器的主机集群。 本课程从Kubernetes的简介、功能、架构,集群的概念、工具及部署等各个方面进行了详细的讲解及展示,通过对本课程的学习,可以对Kubernetes有一个较为全面的认识,并初步掌握Kubernetes相关的安装部署及使用技巧。本课程由黑马程序员提供。   相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
11天前
|
Docker 容器
将本地的应用程序打包成Docker镜像
将本地的应用程序打包成Docker镜像
|
27天前
|
人工智能 API 数据安全/隐私保护
使用 Docker 一键免费部署 63.8k 的私人 ChatGPT 网页应用
NextChat 是一个可以在 GitHub 上一键免费部署的私人 ChatGPT 网页应用,支持 GPT3、GPT4 和 Gemini Pro 模型。该项目在 GitHub 上获得了 63.8k 的 star 数。部署简单,只需拉取 Docker 镜像并运行容器,设置 API Key 后即可使用。此外,NextChat 还提供了预设角色的面具功能,方便用户快速创建对话。
118 22
使用 Docker 一键免费部署 63.8k 的私人 ChatGPT 网页应用
|
1月前
|
Java 应用服务中间件 Linux
【Docker容器化技术】docker安装与部署、常用命令、容器数据卷、应用部署实战、Dockerfile、服务编排docker-compose、私有仓库
本文主要讲解了Docker的安装与部署、常用命令、容器数据卷、应用部署实战、Dockerfile、服务编排docker-compose、私有仓库以及Docker容器虚拟化与传统虚拟机比较。
377 11
【Docker容器化技术】docker安装与部署、常用命令、容器数据卷、应用部署实战、Dockerfile、服务编排docker-compose、私有仓库
|
12天前
|
数据库 Docker 容器
Docker在现代软件开发中扮演着重要角色,通过Dockerfile自动化构建Docker镜像,实现高效、可重复的构建过程。
Docker在现代软件开发中扮演着重要角色,通过Dockerfile自动化构建Docker镜像,实现高效、可重复的构建过程。Dockerfile定义了构建镜像所需的所有指令,包括基础镜像选择、软件安装、文件复制等,极大提高了开发和部署的灵活性与一致性。掌握Dockerfile的编写,对于提升软件开发效率和环境管理具有重要意义。
30 9
|
1月前
|
缓存 Linux 网络安全
docker的镜像无法下载如何解决?
【10月更文挑战第31天】docker的镜像无法下载如何解决?
1322 29
|
12天前
|
存储 缓存 运维
Docker镜像采用分层存储,每层代表镜像的一部分,如基础组件或应用依赖,多层叠加构成完整镜像
Docker镜像采用分层存储,每层代表镜像的一部分,如基础组件或应用依赖,多层叠加构成完整镜像。此机制减少存储占用,提高构建和传输效率。Docker还通过缓存机制提升构建和运行效率,减少重复工作。文章深入解析了Docker镜像分层存储与缓存机制,包括具体实现、管理优化及实际应用案例,帮助读者全面理解其优势与挑战。
32 4
|
11天前
|
Java 应用服务中间件 Docker
将基于 Spring 的 WAR 应用程序部署到 Docker:详尽指南
将基于 Spring 的 WAR 应用程序部署到 Docker:详尽指南
19 2
|
17天前
|
Java Linux Docker
什么是 Docker?如何将 Spring Boot 应用程序部署到 Docker?
什么是 Docker?如何将 Spring Boot 应用程序部署到 Docker?
32 3
|
1月前
|
SQL 关系型数据库 数据库
国产数据实战之docker部署MyWebSQL数据库管理工具
【10月更文挑战第23天】国产数据实战之docker部署MyWebSQL数据库管理工具
114 4
国产数据实战之docker部署MyWebSQL数据库管理工具
|
24天前
|
机器学习/深度学习 数据采集 Docker
Docker容器化实战:构建并部署一个简单的Web应用
Docker容器化实战:构建并部署一个简单的Web应用