如何快速实现一个基于Nginx的网站监控场景

如何快速实现一个基于Nginx的网站监控场景 – 操作篇

2017-07-05 8547

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

日志服务 SLS，月写入数据量 50GB 1个月

应用实时监控服务ARMS - 应用监控，每月50GB免费额度

简介： 还记得小明的老板给他布置的任务吗？本文将具体阐述，如何实现Nginx的监控场景，快来围观，看小明如何破局。

本文介绍ARMS如何实现Nginx的监控场景，对于ARMS本文主要解决的问题，还记得小明的老板给他布置的任务吗？需求回顾

1. ARMS的Nginx监控方案概述和准备

目前在监控领域上比较流行的数据处理方法有很多种，例如，搜索引擎，时间序列数据库，实时计算，甚至是大数据离线计算，等。

ARMS采用的是实时计算+列式存储。这种方案的优势是数据实时性高，而且对于固定的数据查询接口查询效率非常快。在Nginx的监控方案中，其架构概要如下所示, 蓝色部分为ARMS所集成的Nginx监控开箱即用的黑盒。

由于ARMS的分析是针对Nginx的accee.log日志，因此对Nginx日志有一定要求，需要用户在nginx.config中配置出打印内容，包括：“$upstream_response_time” “$request_time”等代表请求消耗时间的日志信息。如下例：

 log_format   main '$remote_addr - $remote_user [$time_local]  $status '
'"$request" $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"'
'"$upstream_response_time" "$request_time" "$ user_cookie_id"' ;

这样的话，打印出的日志，大致如下表所示。

58.211.119.29 144288 - [16/Mar/2017:21:47:07 +0800] "POST http://arms.console.aliyun.com/api/query.json?action=DataQueryAction&eventSubmitDoQueryData=1" 200 594 "https://arms.console.aliyun.com/" "127.0.0.1:8080" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.79 Safari/537.4" "0.144" "0.144" "EX866MB1-Y70JO57WM37ST3HWDVFK3-JWPNH30J-Z"
58.211.119.29 148219 - [16/Mar/2017:21:47:08 +0800] "POST http://arms.console.aliyun.com/api/query.json?action=DataQueryAction&eventSubmitDoQueryData=1" 200 583 "https://arms.console.aliyun.com/" "127.0.0.1:8080" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.4 (KHTML, like Gecko) Chrome/22.0.1229.79 Safari/537.4" "0.148" "0.148" "EX866MB1-Y70JO57WM37ST3HWDVFK3-JWPNH30J-Z"

查看详细要求

完成上述日志配置定制以后，即可开始在ARMS上进行配置。以下篇幅从ARMS数据集，报警，和交互大盘，三个部分进行配置概要描述。关于数据源如何添加到ARMS可参见文档，在此不赘述。

2. 基于ARMS的Nginx监控数据集实现

在Nginx监控模板中，用户数据分为两类，一类是指标，相当于数据仓库中的Measure；一类是维度，相当于数据仓库中的Dimension。

对于Nginx监控，最常见的指标为以下几类指标:

页面的PV, UV

PV: 页面的PV通过对access.log中的每一条日志做count来统计，
UV: 通过日志中代表用户ID的对应的$cookie_id来做count distinct来统计。对应的cookie_id需要开发人员进行手动统计。

页面响应时间

平均页面响应时间: 在ARMS中通过对$request_time做sum操作来统计出total_request_time，然后在通过total_request_time / pv来得到某维度下的平均响应时间。
最大响应时间: 则对单条日志request_time进行max统计。

页面流量

平均页面流量和最大页面流量：针对 $body_bytes_sent来进行统计。统计方式和页面响应时间类似，不赘述。

对于Nginx监控，最常见的维度有以下几类:

页面URL: $request。用户可以针对特定URL进行访问统计，甚至可以在不同URL之间进行访问排行。
页面返回状态：$status。用户可以针对不同的返回值维度进行统计，如仅统计200返回值的正常页面访问情况，或是非200返回值的错误页面访问情况。
浏览器类型：根据 $http_user_agent 统计出的用户的浏览器客户端，如Chrome, Sofari, IE, Firefox, 甚至Curl命令，等。用户可以根据此类维度统计客户端的分布情况。
用户ID：根据 $cook_id 统计出的用户的使用习惯，如哪一类页面被哪一些用户经常访问，等。

对于ARMS的数据集设计，其实就是针对用户感兴趣的Nginx监控结果，进行各类维度的排列组合。