AI 助理
备案控制台
开发者社区 云原生 容器服务 文章 正文

Docker进阶-容器监控cAdvisor+InfluxDB+Granfana

2019-08-20 1860
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
容器镜像服务 ACR，镜像仓库100个 不限时长
简介： 概述前面文章介绍使用docker compose组合应用并利用scale快速对容器进行扩容。由于docker compose启动的服务都在同一台宿主机上，对于一个宿主机上运行多个容器应用时，容器的运行情况如：CPU使用率、内存使用率、网络状态、磁盘空间等一系列随时间变化的时序数据信息，都是需要去了解，因此监控是必须的。

概述

前面文章介绍使用docker compose组合应用并利用scale快速对容器进行扩容。

由于docker compose启动的服务都在同一台宿主机上，对于一个宿主机上运行多个容器应用时，容器的运行情况如：CPU使用率、内存使用率、网络状态、磁盘空间等一系列随时间变化的时序数据信息，都是需要去了解，因此监控是必须的。

容器监控方案选择

对于容器的监控方案可谓多种多样，本身自带命令docker stats命令，Scout,Data Dog,Sysdig Cloud,Sensu Monitoring Framework,CAdvisor等。

通过docker stats命令可以很方便的看到当前宿主机上所有容器的CPU,内存以及网络流量等数据。但是docker stats命令的缺点就是统计的只是当前宿主机的所有容器，而获取的监控数据是实时的，没有地方存储,也没有报警功能。

docker stats

而Scout、Sysdig Cloud、Data Dog虽然都提供了较完善的服务，但是它们都是托管的服务而且都收费，Sensu Monitoring Framework集成度较高，也免费，但是部署过于复杂。综合考虑，我们选择了CAdvisor做容器监控工具。

CAdvisor谷歌出品，优点是开源产品，监控指标齐全，部署方便，而且有官方的docker镜像。缺点是集成度不高，默认只在本地保存2分钟数据。不过可以加上InfluxDB存储数据，对接Grafana展示图表，比较便利地搭建好了容器监控系统，数据收集和图表展示效果良好，对系统性能也几乎没有什么影响。

CAdvisor

CAdvisor是一个容器资源监控工具,包括容器的内存,CPU,网络IO,磁盘IO等监控,同时提供了一个WEB页面用于查看容器的实时运行状态。CAdvisor默认存储2分钟的数据,而且只是针对单物理机。不过，CAdvisor提供了很多数据集成接口,支持InfluxDB,Redis,Kafka,Elasticsearch等集成,可以加上对应配置将监控数据发往这些数据库存储起来。

CAdvisor功能主要有两点：

  • 展示Host和容器两个层次的监控数据。
  • 展示历史变化数据。

InfluxDB

InfluxDB是用Go语言编写的一个开源分布式时序、事件和指标数据库,无需外部依赖。

前面说到,CAdvisor默认只在本机保存最近2分钟的数据，为了持久化存储数据和统一收集展示监控数据，需要将数据存储到InfluxDB中。InfluxDB是一个时序数据库,专门用于存储时序相关数据，很适合存储CAdvisor的数据。而且，CAdvisor本身已经提供了InfluxDB的集成方法，丰启动容器时指定配置即可。

InfluxDB主要功能:

  • 基于时间序列,支持与时间有关的相关函数(如最大、最小、求和等);
  • 可度量性:你可以实时对大量数据进行计算;
  • 基于事件:它支持任意的事件数据;

InfluxDB主要特点:

  • 无结构(无模式);
  • 可以是任意数量的列;
  • 可拓展的;
  • 支持min,max,sum,count,mean,median等一系列函数,方便统计;
  • 原生的HTTP支持,内置HTTP API;
  • 强大的类SQL语法;
  • 自带管理界面,方便使用

Granfana

Grafana是一个开源的数据监控分析可视化平台,支持多种数据源配置(支持的数据源包括InfluxDB,MySQL,Elasticsearch,OpenTSDB,Graphite等)和丰富的插件及模板功能,支持图表权限控制和报警。

Grafan主要特性:

  • 灵活丰富的图形化选项
  • 可以混合多种风格
  • 支持白天和夜间模式
  • 多个数据源

CAdvisor+InfluxDB+Granfana

CAdvisor:负责收集容器的随时间变化的数据
InfluxDB:负责存储时序数据
Grafana:负责分析和展示时序数据

安装部署

部署InfluxDB服务

docker run -d --name influxdb -p 8086:8086 \
-v /data/influxdb:/var/lib/influxdb \
--hostname=influxdb \
influxdb

说明：

  • --name:启运容器分配名字influxdb
  • -p:映射端口，8083端口为influxdb管理端口，8086端口是influxdb的数据端口
  • -v:挂载数据 -d:后台运行此容器
  • influxdb:通过这个容器来运行的，默认会在docker官方仓库pull下来

1、浏览器访问influxdb的管理端，http://ip:8083

2、创建test的数据库与root用户，这个用于后期配granfa

docker exec it influxdb influx

CREATE DATABASE "test"
CREATE USER "root" WITH PASSWORD 'root' WITH ALL PRIVILEGES

部署CAdvisor服务

谷歌的cadvisor可以用于收集Docker容器的时序信息，包括容器运行过程中的资源使用情况和性能数据。

docker run --volume=/:rootfs:ro --volume=/var/run:/var/run:ro\
--volume=/sys:/sys:ro --volume=/var/lib/docker/:/var/lib/docker:ro\
--volume=/dev/disk/:/dev/disk:ro --volume=/cgroup:/cgroup:ro \
--publish=8080:8080 --detach=true --privileged=true --name=cadvisor \
google/cadvisor:latest\
-storage_driver=influxdb-storage_driver_host=influxdb:8086\
-storage_driver_db=test-storage_driver_user=root\
-storage_driver_password=root

说明：

  • -d:后台运行此容器
  • --name:启动容器分配名字cadvisor
  • -p:映射端口8080
  • --mount:把宿主机的相关目录绑定到容器中，这些目录都是cadvisor需要采集的目录文件 和监控内容
  • -storage_driver:需要指定cadvisor的存储驱动、数据库主机、数据库名

通过ip:8080端口访问测试一下

部署Granfana服务

grafana是一款开源的时序数据分析工具，而且界面专业简单。

docker run -d -p 3000:3000 \
-v /data/grafana:/var/lib/grafana \
--link=influxdb:influxdb\
--name grafana  grafana/grafana

注意：如果使用-v把数据挂载出来会出现容器启动失败，错误为mkdir:cannot create directory '/var/lib/grafana/plugins':Permission denied,此时可以使用docker run --entrypoint "id" grafana/grafana得到uid,gid,groups(默认是472);

接着使用chown -R 472:472 /data/grafana/修改目录权限就可以启动成功。

通过ip:3000端口来访问grafana的web服务，第一次访问需要修改admin用户密码，默认用户名/密码为admin/admin

docker-compose快速部署

version: '3.1'

volumes:
  grafana_data: {}

services:
 influxdb:
  image: tutum/influxdb:0.9
  #image: tutum/influxdb
  #image: influxdb
  restart: always
  #user: 
  environment:
    - PRE_CREATE_DB=cadvisor
  ports:
    - "8083:8083"
    - "8086:8086"
  expose:
    - "8090"
    - "8099"
  volumes:
    - ./data/influxdb:/data

 cadvisor:
  #image: google/cadvisor:v0.29.0
  image: google/cadvisor
  links:
    - influxdb:influxsrv
  command: -storage_driver=influxdb -storage_driver_db=cadvisor -storage_driver_host=influxsrv:8086
  restart: always
  ports:
    - "8080:8080"
  volumes:
    - /:/rootfs:ro
    - /var/run:/var/run:rw
    - /sys:/sys:ro
    - /var/lib/docker/:/var/lib/docker:ro

 grafana:
  #image: grafana/grafana:2.6.0
  user: "104"
  image: grafana/grafana
  user: "104"
  #user: "472"
  restart: always
  links:
    - influxdb:influxsrv
  ports:
    - "3000:3000"
  volumes:
    - grafana_data:/var/lib/grafana
  environment:
    - HTTP_USER=admin
    - HTTP_PASS=admin
    - INFLUXDB_HOST=influxsrv
    - INFLUXDB_PORT=8086
    - INFLUXDB_NAME=cadvisor
    - INFLUXDB_USER=root
    - INFLUXDB_PASS=root

启动docker-compose文件

docker-compose up

查看三个服务容器是否启动

浏览grafana服务，http://ip:3000

登陆grafana服务

浏览influxdb服务，http://ip:8083/

配置grafana工具

1、配置数据源

选择influxdb数据源

具体配置如下


配置完成后，如下图

2、配置面板

选择面板类型

选择图形

配置查询条件

配置完后，效果如下图

grafana支持查询条件，可以从influxdb中了解

浏览cAdvisor服务，http://ip:8080/

文章标签：
可观测可视化 Grafana 版
容器
时序数据库
监控
Docker
存储
Go
NoSQL
数据安全/隐私保护
Redis
数据库
关键词：
Docker容器
容器docker
Docker监控
容器监控
容器进阶
相关实践学习
通过可观测可视化Grafana版进行数据可视化展示与分析
使用可观测可视化Grafana版进行数据可视化展示与分析。
小码农薛尧
目录
相关文章
刘大猫.
|
3天前
|
监控 NoSQL 时序数据库
《docker高级篇（大厂进阶）：7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括：原生命令、是什么、compose容器编排，一套带走
《docker高级篇（大厂进阶）：7.Docker容器监控之CAdvisor+InfluxDB+Granfana》包括：原生命令、是什么、compose容器编排，一套带走
刘大猫.
118 77
我是快乐的嘟嘟
|
11天前
|
监控 Docker 容器
在Docker容器中运行打包好的应用程序
在Docker容器中运行打包好的应用程序
我是快乐的嘟嘟
101 64
蓝易云
|
5天前
|
数据建模 应用服务中间件 nginx
docker替换宿主与容器的映射端口和文件路径
通过正确配置 Docker 的端口和文件路径映射，可以有效地管理容器化应用程序，确保其高效运行和数据持久性。在生产环境中，动态替换映射配置有助于灵活应对各种需求变化。以上方法和步骤提供了一种可靠且易于操作的方案，帮助您轻松管理 Docker 容器的端口和路径映射。
蓝易云
30 3
dufadayang
|
11天前
|
Prometheus 监控 Cloud Native
如何监控Docker Swarm集群的性能？
如何监控Docker Swarm集群的性能？
dufadayang
48 8
龙大吉
|
11天前
|
存储 缓存 监控
Docker容器性能调优的关键技巧，涵盖CPU、内存、网络及磁盘I/O的优化策略，结合实战案例，旨在帮助读者有效提升Docker容器的性能与稳定性。
本文介绍了Docker容器性能调优的关键技巧，涵盖CPU、内存、网络及磁盘I/O的优化策略，结合实战案例，旨在帮助读者有效提升Docker容器的性能与稳定性。
龙大吉
41 7
东方睿赢
|
11天前
|
存储 Prometheus 监控
Docker容器内进行应用调试与故障排除的方法与技巧，包括使用日志、进入容器检查、利用监控工具及检查配置等，旨在帮助用户有效应对应用部署中的挑战，确保应用稳定运行
本文深入探讨了在Docker容器内进行应用调试与故障排除的方法与技巧，包括使用日志、进入容器检查、利用监控工具及检查配置等，旨在帮助用户有效应对应用部署中的挑战，确保应用稳定运行。
东方睿赢
23 5
东方睿赢
|
11天前
|
开发框架 安全 开发者
Docker 是一种容器化技术，支持开发者将应用及其依赖打包成容器，在不同平台运行而无需修改。
Docker 是一种容器化技术，支持开发者将应用及其依赖打包成容器，在不同平台运行而无需修改。本文探讨了 Docker 在多平台应用构建与部署中的作用，包括环境一致性、依赖管理、快速构建等优势，以及部署流程和注意事项，展示了 Docker 如何简化开发与部署过程，提高效率和可移植性。
东方睿赢
32 4
龙大吉
|
11天前
|
负载均衡 网络协议 算法
Docker容器环境中服务发现与负载均衡的技术与方法，涵盖环境变量、DNS、集中式服务发现系统等方式
本文探讨了Docker容器环境中服务发现与负载均衡的技术与方法，涵盖环境变量、DNS、集中式服务发现系统等方式，以及软件负载均衡器、云服务负载均衡、容器编排工具等实现手段，强调两者结合的重要性及面临挑战的应对措施。
龙大吉
32 3
龙大吉
|
11天前
|
存储 安全 数据中心
Docker 容器凭借轻量级和高效的特性，成为应用部署的重要工具
Docker 容器凭借轻量级和高效的特性，成为应用部署的重要工具。本文探讨了 Docker 如何通过 Namespace 和 Cgroups 实现 CPU、内存、网络和存储资源的隔离，提高系统安全性和资源利用率，以及面临的挑战和应对策略。
龙大吉
29 1
小周sir
|
16天前
|
Kubernetes Linux 开发者
深入探索容器化技术——Docker 的实战应用
深入探索容器化技术——Docker 的实战应用
小周sir
46 5
云原生

容器服务

热门文章

最新文章

  • 1
    Docker 镜像加速器
  • 2
    Docker CE 镜像源站
  • 3
    Docker学习路线图 (持续更新中)
  • 4
    谈谈 Docker Volume 之权限管理（一）
  • 5
    理解Docker容器的进程管理
  • 6
    在阿里云容器服务上开发基于Docker的Spring Cloud微服务应用
  • 7
    Docker Engine 镜像源站
  • 8
    Docker社区版中Kubernetes开发
  • 9
    使用阿里云容器服务Jenkins实现持续集成和Docker镜像构建(updated on 2017.3.3)
  • 10
    阿里云容器服务K8S Ingress Controller日志采集实践
  • 1
    canal-starter 监听解析 storeValue 不一样，同样的sql 一个在mybatis执行 一个在数据库操作，导致解析不出正确对象
    35
  • 2
    【Docker最新版教程】一文带你快速入门Docker常见用法，实现容器编排和自动化部署上线项目
    137
  • 3
    【最新版正确姿势】Docker安装教程（简单几步即可完成）
    664
  • 4
    ​​国内 5 个最佳的控制面板，可轻松管理服务器
    105
  • 5
    【赵渝强老师】K8s的有状态控制器StatefulSet
    49
  • 6
    【赵渝强老师】K8s中Deployment控制器与StatefulSet控制器的区别
    37
  • 7
    【赵渝强老师】K8s的Job控制器多工作队列的并行方式
    33
  • 8
    【赵渝强老师】K8s的周期性任务控制器CronJob
    41
  • 9
    【赵渝强老师】K8s中Job控制器单工作队列的串行方式
    32
  • 10
    【赵渝强老师】K8s中的Deployment控制器
    31

    • 相关课程

    更多
  • 深入解析Docker容器化技术
  • 基于Docker与Jenkins实现自动化部署
  • Docker 快速入门
  • Docker完全自学手册图文教程
  • AI开发者的Docker实践
  • Docker 入门

    • 相关电子书

    更多
  • 应用 Docker 进行持续交付：用技术改变交付路程
  • 从Docker到容器服务
  • Docker@Alibaba——超大规模Docker化的实战经验

    • 相关实验场景

    更多
  • 部署并使用Docker（AlibabaCloud Linux 3）
  • 通过容器镜像仓库与容器服务快速部署spring-hello应用
  • Docker Compose部署案例
  • Docker Compose入门
  • 容器中的volume卷
  • 容器的文件系统挂载

    • 推荐镜像

    更多
  • docker-ce
  • docker-toolbox
  • kubernetes
    • 下一篇
    阿里云对象存储OSS收费标准：存储、流量和请求等多个计费项详解