(七) DockerUI与Shipyard以及InfluxDB+cAdvisor+Grafana配置监控

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
简介: 一、DockerUI基于DockerAPI实现的镜像容器仓库管理 docker run -d -p 59000:9000 --privileged -v /var/run/docker.sock:/var/run/docker.sock uifd/ui-for-docker 三大优点:1:可以对运行着的容器进行批量操作2:在容器网络中-会显示容器与容器间的网络关系3:在Volumes中显示了所有挂载目录对我当前需求而言,好想dockerui 和 shipyard能和二为一呀。

一、DockerUI
基于DockerAPI实现的镜像容器仓库管理

docker run -d -p 59000:9000 --privileged -v /var/run/docker.sock:/var/run/docker.sock uifd/ui-for-docker

三大优点:
1:可以对运行着的容器进行批量操作
2:在容器网络中-会显示容器与容器间的网络关系
3:在Volumes中显示了所有挂载目录
对我当前需求而言,好想dockerui 和 shipyard能和二为一呀。
一个致命的缺点:
不支持多主机
容我想一下,如果我有N台docker主机时-我就需要一台台的用dockerui进行管理,想想都觉得麻烦。
就单台主机而言,dockerui是一款不错的管理工具。

二、Shipyard以及docker集群的监控
介绍一下接下来用到的各组件
1、docker
Docker daemon引擎
2、consul
服务发现和配置共享的服务软件
3、swarm
基于docker的集群调度管理软件,docker 1.2版本中已经自动集成集群功能了。
4、rethinkdb
RethinkDB是一个完全支持Memcached协议、数据可持久化的工业级key-value存储系统,它自带了cluster和web资源管理功能。
5、shipyard
docker可视化资源管理平台
6、registrator
服务自动注册
7、nginx
web服务代理软件
8、consultemplate
docker服务自动发现软件,这个要结合nginx使用,当我们在宿主机上启动一个容器服务时,这时候consultemplate就会自动从consul服务上发现在这个容器,并更新nginx配置文件。
9、cadvisor
google公司开源的docker容器资源监控软件。通过宿主机的/proc /sys /var/lib/docker等目录收取容器运行信息。
10、influxdb
InfluxDB 是一个开源分布式时序、事件和指标数据库。使用 Go 语言编写,无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。用来存储cadvisor的信息。
11、grafana
图表展现服务,功能非常强大。
12、graylog+ Elasticsearch
具有报警选项的可插入日志和事件分析服务器

Shipyard一款WEB界面的docker管理工具,使用过程中涉及到几个模块-通讯方式,如下图:

image

一:proxy从/var/run/docker.sock这个unixsocket获取数据,并被动等待swarm-agent查询
二:swarm-agent通过proxy获取数据,并向etcd推送
以上两个 装在需要被管理的服务器上
三:etcd被动等待swarm-agent推送Docker主机的注册信息
四:swarm-manager使用etcd(shipyard-discovery)获取基本数据
五:shipyard 跟rethinkdb和swarm-manager进行通讯

官方提供的安装命令

#123服务器
docker run -ti -d --restart=always --name shipyard-rethinkdb rethinkdb
docker run -ti -d -p 54001:4001 -p 57001:7001 --restart=always --name shipyard-discovery  microbox/etcd -name discovery
docker run -ti -d -p 2375:2375 --hostname=192.168.220.123 --restart=always --name shipyard-proxy -v /var/run/docker.sock:/var/run/docker.sock -e PORT=2375 shipyard/docker-proxy:latest
docker run -ti -d --restart=always --name shipyard-swarm-manager swarm:latest manage --host tcp://0.0.0.0:3375 etcd://192.168.220.123:54001
docker run -ti -d --restart=always --name shipyard-swarm-agent swarm:latest join --addr 192.168.220.123:2375 etcd://192.168.220.123:54001
docker run -ti -d --restart=always --name shipyard-controller --link shipyard-rethinkdb:rethinkdb --link shipyard-swarm-manager:swarm  -p 58081:8080 shipyard/shipyard:latest server -d tcp://swarm:3375
#127服务器,shipyard有两个节点 一个是自己本身,一个是127
docker run -ti -d -p 2375:2375 --hostname=192.168.220.127 --restart=always --name shipyard-proxy -v /var/run/docker.sock:/var/run/docker.sock -e PORT=2375 shipyard/docker-proxy:latest
docker run -ti -d --restart=always --name shipyard-swarm-agent swarm:latest join --addr 192.168.220.127:2375 etcd://192.168.220.123:54001

IE访问:http://192.168.220.123:58081/
登录:admin/Shipyard

镜像和容器都自动加载啦,功能模块:容器、镜像、节点、仓库、账号、事件等,重点在容器和镜像的管理。
容器-查看启动信息


以及重启、停止、暂停、销毁、重命名、进控制台、复制启动容器(scale)等操作
当有多个节点时,使用pull images,会在每个节点上都下载images
点评:功能很实用,基本符合实际要求。

来,现在开始搞监控

创建influxdb数据库 用于存cadviser的采集的数据

docker run -d -p 8083:8083 -p 8086:8086 --expose 8090 --expose 8099 --name influxsrv tutum/influxdb

![这里写图片描述](http://img.blog.csdn.net/20171112171648536?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvcXFfMTU4MDAzNjM=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/SouthEast)
在网页API里面:
CREATE DATABASE "cadvisor" #建库
CREATE USER "username" WITH PASSWORD 'password' #建用户

创建cadvisor采集指标

docker run --volume=/:/rootfs:ro --volume=/var/run:/var/run:rw --volume=/sys:/sys:ro --volume=/var/lib/docker/:/var/lib/docker:ro --publish=8080:8080 --detach=true --link influxsrv:influxsrv --name=cadvisor google/cadvisor:latest -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086

再访问宿主机8081端口

image

cpu 内存 网络 容器信息 都可以看到了

grafana的展示

docker run -d -p 3000:3000 -e INFLUXDB_HOST=192.168.0.202  -e INFLUXDB_PORT=8086 -e INFLUXDB_NAME=cadvisor -e INFLUXDB_USER=influxdb -e INFLUXDB_PASS=influxdb --link influxsrv:influxsrv --name grafana grafana/grafana

image

Shipyard:
https://www.shipyard-project.com/
增加宿主机之后可以注册到etcd里面发现节点后用shipyard进行管理 小规模shipyard还是比较好用的

相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
相关文章
|
21天前
|
Prometheus 监控 Cloud Native
prometheus学习笔记之Grafana安装与配置
prometheus学习笔记之Grafana安装与配置
|
21天前
|
Prometheus 监控 数据可视化
Grafana 插件生态系统:扩展你的监控能力
【8月更文第29天】Grafana 是一个流行的开源平台,用于创建和共享统计数据的仪表板和可视化。除了内置的支持,Grafana 还有一个强大的插件生态系统,允许用户通过安装插件来扩展其功能。本文将介绍一些 Grafana 社区提供的插件,并探讨它们如何增强仪表盘的功能性。
37 1
|
21天前
|
存储 Prometheus 监控
Grafana 与 Prometheus 集成:打造高效监控系统
【8月更文第29天】在现代软件开发和运维领域,监控系统已成为不可或缺的一部分。Prometheus 和 Grafana 作为两个非常流行且互补的开源工具,可以协同工作来构建强大的实时监控解决方案。Prometheus 负责收集和存储时间序列数据,而 Grafana 则提供直观的数据可视化功能。本文将详细介绍如何集成这两个工具,构建一个高效、灵活的监控系统。
88 1
|
21天前
|
Prometheus 监控 Cloud Native
Grafana 入门指南:快速上手监控仪表盘
【8月更文第29天】Grafana 是一款开源的数据可视化和监控工具,它允许用户轻松地创建美观的仪表盘和图表,以便更好地理解和监控数据。无论您是需要监控系统性能指标、应用程序日志还是业务关键指标,Grafana 都能提供灵活而强大的解决方案。本指南将带领您快速上手 Grafana,包括安装、配置以及创建第一个监控面板。
70 1
|
1月前
|
存储 Linux 数据库
性能工具之JMeter + Grafana + InfluxDB 性能平台搭建
【8月更文挑战第7天】性能工具之JMeter + Grafana + InfluxDB 性能平台搭建
51 1
性能工具之JMeter + Grafana + InfluxDB 性能平台搭建
|
1月前
|
Prometheus Kubernetes 监控
Kubernetes(K8S) 监控 Prometheus + Grafana
Kubernetes(K8S) 监控 Prometheus + Grafana
123 2
|
16天前
|
运维 Kubernetes 监控
Loki+Promtail+Grafana监控K8s日志
综上,Loki+Promtail+Grafana 监控组合对于在 K8s 环境中优化日志管理至关重要,它不仅提供了强大且易于扩展的日志收集与汇总工具,还有可视化这些日志的能力。通过有效地使用这套工具,可以显著地提高对应用的运维监控能力和故障诊断效率。
33 0
|
2月前
|
SQL 监控 数据库
grafana 配置自定义dashboard
grafana 配置自定义dashboard
236 0
grafana 配置自定义dashboard
|
1月前
|
数据采集 监控 Unix
性能监控之Telegraf+InfluxDB+Grafana实现结构化日志实时监控
【8月更文挑战第1天】性能监控之Telegraf+InfluxDB+Grafana实现结构化日志实时监控
164 0
|
2月前
|
监控 数据可视化 关系型数据库
PolarDB产品使用问题之如何使用Grafana采集PolarDB的指标并进行可视化监控
PolarDB产品使用合集涵盖了从创建与管理、数据管理、性能优化与诊断、安全与合规到生态与集成、运维与支持等全方位的功能和服务,旨在帮助企业轻松构建高可用、高性能且易于管理的数据库环境,满足不同业务场景的需求。用户可以通过阿里云控制台、API、SDK等方式便捷地使用这些功能,实现数据库的高效运维与持续优化。