【入门指南】使用阿里云Elasticsearch搭建ELK日志系统

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: 本文介绍了基于阿里云Elasticsearch搭建ELK日志系统的基本步骤,并对kibana和ES的日志检索和分析做简要介绍,可作为新手入门指导。


1. 搭建专用网络

1.1 登录专有网络管理控制台

阿里云Elasticsearch是搭建在专有网络上的,所以我们先开通阿里云专有网络, 点击开通 .

fa31e46bac3e39cb65c56f9669944f55f2ac3b5e

1.2 创建专有网络


点击创建专有网络


66594936cf1e67543726345b48e63ff4615aabd4

专有网络名称和交换机上写好名字,后续在购买es和ecs时候对应需要。

参考链接:https://helpcdn.aliyun.com/document_detail/65430.html


2. 购买Elasticsearch服务

2.1 购买入口


9c5e34b0a5b4ef2a1ef1c1119bd2cff7050ed58a

2.2 购买服务


在订单页面上选择已经创建的专有网络并设置登录密码

8af1d288e9c9117c69c02e9c98d8df2e04feade6购买页面的登录账号默认为“elastic”,密码可自行设置,与登录Kibana的账号密码是一致的。

2.3 控制台查看状态


成功购买之后进入阿里云控制台选择大数据(数加)->阿里云Elasticsearch


443eb1202e5ce1eb3d61a651c2320fe9568ab960

2.4 登录kibana控制台


从控制台点击实例之后可以看到kibana控制台,并用购买时候的用户名和密码进行登录

c66bef07f71e3faf52c4689db4e6a747092516f0
2a17022449eae8cd8c17b07429decc1cabcbff62

4d8d4eb0d6ad0547040d6451acb92daf64dc9cec

2.5 测试Elasticsearch


通过以上步骤已经创建了Elasticsearch实例,做简单的测试可以通过Kibana的DevTools进行命令发送,但在此我们为了通过logstash抓取日志并推送到es中,因此还需要购买ecs实例安装logstash并与elasticsearch打通。

[点击参考详细测试步骤]( https://help.aliyun.com/document_detail/57877.html)。


3. 购买ECS实例


在专有网络控制台选择交换机,并选择购买ECS实例

9aeec36da466dee3a3f99f166dc22370d9e341fc

购买ecs步骤省略。

ssh root@49.52.196.12

8aebe365384055e40876258e9a1a50eb8043c93e

测试是否与es网络通畅

69b5249aa1cfb2bef066754c22719119384504e0

4. 安装logstash


4.1 安装logstash


b627bee5a7db2b4c77a41eeda4e885a6146428aa


wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.3.tar.gz

tar -xzvf logstash-5.5.3.tar.gz

mv logstash-5.5.3 /usr/share/

ln –sf /usr/share/logstash/bin/logstash /bin/

4.2 创建索引



因为阿里云默认关闭了elasticsearch的自动创建索引功能,因此需要先创建好索引
curl -u elastic:elastic -XPUT http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index -d '{
	"blog_index":{
		"settings" : {
            "number_of_shards" : "1",
            "number_of_replicas" : "1"
          }
        },
        "mappings" : {
            "blog_type" : {
                "properties" : {
                    "uid" : {
                        "type" : "long"
                    },
                    "name" : {
                        "type" : "text"
                    },
                    "create_time" : {
                      "type" : "long"
                    }
                }
           }
       }
	}
}'



c11ba89021497c6f4777de3a7dba3b8293156e97

4.3 添加文档



curl -u elastic:elastic -XPOST http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index/blog_type -d '{"uid":100000, "name": "ruby","create_time":12121212121}'

 

{"_index":"blog_index","_type":"blog_type","_id":"AWIO9S2KAoLK5rH2_0Oy","_version":1,"result":"created","_shards":{"total":2,"successful":2,"failed":0},"created":true}



941152980abfe7590345f3bb41ce6c32a99a2f8e


4.4 连接elasticsearch


4.4.1 启动logstash并监听标准输入


logstash -e 'input { stdin { } } output { elasticsearch {

hosts => ["es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200"]

user => ["elastic"]

password => ["elastic"]

index => ["blog_index"]

} stdout { codec => rubydebug }}'

4.4.2 输入文档


{"uid":200000, "name": "ruby2","create_time":122121212121}

c9c95b543e194da007e4a07bf7cf45d448b2ca95


058a76026c3b77966e200bbb48661ae75e3e12ef


4.5 logstash监听log4j


4.5.1 使用配置文件启动logstash



vim /etc/logstash/conf.d/elk.conf

添加一下内容

input { stdin { } }

output { elasticsearch {

hosts => ["es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200"]

user => ["elastic"]

password => ["elastic"]

index => ["blog_index"]

} stdout { codec => rubydebug }

}


启动

logstash –f /etc/logstash/conf.d/elk.conf

添加文档

{"uid":300000, "name": "ruby3","create_time":122121212121}


1047e8ccf41355da4cf7d1d0e2fccb0874088f09


4.5.2 输入源配置log4j日志文件


vi /etc/logstash/conf.d/elk.conf

编辑配置添加一下配置

input {

file{

path => "/var/log/messages"

type => "system"

start_position => "beginning"

}

stdin { } }

output {

elasticsearch {

hosts => ["es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200"]

user => ["elastic"]

password => ["elastic"]

index => ["blog_index"]

}

stdout { codec => rubydebug }

}

 

启动

logstash -f /etc/logstash/conf.d/elk.conf

logstash将日志文件中内容全部采集到elasticsearch中


bd70e0086bb27168bd509de10e786c48afd217a9



5.Elasticsearch的日志检索介绍

文章上半部分已对elk的入门搭建进行了介绍,下面我们将学习如何使用es进行文档检索。


5.1 基本概念


5.1.1 Node和Cluster


Elastic 本质上是一个分布式数据库,允许多台服务器协同工作,每台服务器可以运行多个 Elastic 实例。

单个 Elastic 实例称为一个节点(node)。一组节点构成一个集群(cluster)。

5.1.2 Index


Elastic 会索引所有字段,经过处理后写入一个反向索引(Inverted Index)。查找数据的时候,直接查找该索引。

所以,Elastic 数据管理的顶层单位就叫做 Index(索引)。它是单个数据库的同义词。每个 Index (即数据库)的名字必须是小写。

下面的命令可以查看当前节点的所有 Index。

curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/_cat/indices?v


5.1.3 Document


Index 里面单条的记录称为 Document(文档)。许多条 Document 构成了一个 Index。

 


{

  "uid": "10000",

  "name": "ruby",

  " create_time ": "10293822737"

}


同一个 Index 里面的 Document,不要求有相同的结构(scheme),但是最好保持相同,这样有利于提高搜索效率。

 

5.1.4 Type


Document 可以分组,比如上面执行过程中我们分别通过命令行执行添加文档,通过logstash标准输入添加文档,监听日志文件添加文档,从kibana可以看出分别用3种type进行了分类

954b270337172cecb61a7e10dc97d171b3aea30b

不同的 Type 应该有相似的结构(schema),举例来说,id字段不能在这个组是字符串,在另一个组是数值。这是与关系型数据库的表的一个区别。性质完全不同的数据(比如products和logs)应该存成两个 Index,而不是一个 Index 里面的两个 Type(虽然可以做到)。

 

下面的命令可以列出每个 Index 所包含的 Type。


curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/_mapping?pretty=true | more

5.1.5 文档检索


5.1.5.1 返回所有记录


curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index/logs/_search



{

       "took": 3,

       "timed_out": false,

       "_shards": {

              "total": 5,

              "successful": 5,

              "failed": 0

       },

       "hits": {

              "total": 2,

              "max_score": 1.0,

              "hits": [{

                     "_index": "blog_index",

                     "_type": "logs",

                     "_id": "AWIO_AUMoaPK_6mTOPor",

                     "_score": 1.0,

                     "_source": {

                            "@timestamp": "2018-03-10T08:17:00.138Z",

                            "@version": "1",

                            "host": "iZbp1bc4zyc7sxa8jhwur3Z",

                            "message": "{\"uid\":200000, \"name\": \"ruby2\",\"create_time\":122121212121}"

                     }

              }, {

                     "_index": "blog_index",

                     "_type": "logs",

                     "_id": "AWIPFPLeAoLK5rH2_0VU",

                     "_score": 1.0,

                     "_source": {

                            "@timestamp": "2018-03-10T08:44:13.854Z",

                            "@version": "1",

                            "host": "iZbp1bc4zyc7sxa8jhwur3Z",

                            "message": "{\"uid\":300000, \"name\": \"ruby3\",\"create_time\":122121212121}"

                     }

              }]

       }

}

 

上面代码中,返回结果的 took字段表示该操作的耗时(单位为毫秒),timed_out字段表示是否超时,hits字段表示命中的记录,里面子字段的含义如下。

total:返回记录数,本例是2条。

max_score:最高的匹配程度,本例是1.0。

hits:返回的记录组成的数组。

返回的记录中,每条记录都有一个_score字段,表示匹配的程序,默认是按照这个字段降序排列。

 

5.1.5.2 全文搜索


查询语法:https://www.elastic.co/guide/en/elasticsearch/reference/5.5/query-dsl.html

 

使用条件搜索


curl -u elastic:elastic -XGET http://es-cn-4590ijkny001dmjfy.elasticsearch.aliyuncs.com:9200/blog_index/logs/_search -d '

{

     "query" : { "match" : { "message" : "ruby3" }},

"from":1,

"size":1

}

匹配条件为

message字段里包含 ruby3,

size为返回条数,

from为开始位置,可用户分页查询

结果为:


{

       "took": 6,

       "timed_out": false,

       "_shards": {

              "total": 5,

              "successful": 5,

              "failed": 0

       },

       "hits": {

              "total": 1,

              "max_score": 6.061471,

              "hits": [{

                     "_index": "blog_index",

                     "_type": "logs",

                     "_id": "AWIPFPLeAoLK5rH2_0VU",

                     "_score": 6.061471,

                     "_source": {

                            "@timestamp": "2018-03-10T08:44:13.854Z",

                            "@version": "1",

                            "host": "iZbp1bc4zyc7sxa8jhwur3Z",

                            "message": "{\"uid\":300000, \"name\": \"ruby3\",\"create_time\":122121212121}"

                     }

              }]

       }

}
 

5.1.5.3 逻辑运算

或查询示例:


"query" : { "match" : { "message" : "ruby3 ruby2" }}

结果中包含ruby3 或则 ruby2

与查询示例:


"query" : {

       "bool":{

              "must":[

                     "match" : { "message" : "ruby2" }},

                    "match" : { "message" : "ruby3" }}

              ]

       }

}

6.kibana的分析功能介绍


6.1 创建索引


左边导航上选择Management->Kibana(Index Patterns),此处需要先手动命令行创建索引,然后再kibana中建立视图;


89abc45168e27d97a7285e0c793ac4168ba770c5


6.2 Discover


此功能是通过搜索查看文档数据,可通过添加过滤器或则填写表达式来进行搜索;

92b06d7e07c42469c29ade24cce472463b7df7af


6.3 Visualize


此功能是将查询出的数据进行可视化展示;

478501b3684b9b189db3de99507c5b7e5374eed8

03bc156c0d8b4f7a7bce75e038568dc6311dbbc3


6.4 Dashboard


这里主要对筛选条件进行组合并保存;

在“Dashboard” 菜单界面中,我们可以自由排列一组已保存的可视化数据。

点击左侧 “Dashboard” 菜单,再点击界面中间的 “Create a dashboard” 按钮进行创建;


1ca2eaccef3102e6ad51ee27df1973a9bdd285ed

6.5 Timelion


Timelion 是一个时间序列数据的可视化,可以结合在一个单一的可视化完全独立的数据源。它是由一个简单的表达式语言驱动的,用来检索时间序列数据,进行计算,找出复杂的问题的答案,并可视化的结果。

0cc36c0ea1f9bab0a8d829ecc3e8c6e83417b239

加入钉钉技术讨论群

fd66fe6dfb293dc9cd7e02122200196dd063f45e

阿里云Elasticsearch已正式发布啦,Elastic开源官方联合开发,集成5.5商业版本XPack功能,欢迎开通使用。

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
相关文章
|
1月前
|
存储 监控 安全
|
1月前
|
存储 Linux Docker
centos系统清理docker日志文件
通过以上方法,可以有效清理和管理CentOS系统中的Docker日志文件,防止日志文件占用过多磁盘空间。选择合适的方法取决于具体的应用场景和需求,可以结合手动清理、logrotate和调整日志驱动等多种方式,确保系统的高效运行。
26 2
|
2月前
|
XML JSON 监控
告别简陋:Java日志系统的最佳实践
【10月更文挑战第19天】 在Java开发中,`System.out.println()` 是最基本的输出方法,但它在实际项目中往往被认为是不专业和不足够的。本文将探讨为什么在现代Java应用中应该避免使用 `System.out.println()`,并介绍几种更先进的日志解决方案。
56 1
|
2月前
|
监控 网络协议 安全
Linux系统日志管理
Linux系统日志管理
54 3
|
2月前
|
监控 应用服务中间件 网络安全
#637481#基于django和neo4j的日志分析系统
#637481#基于django和neo4j的日志分析系统
37 4
|
2月前
|
存储 JSON 监控
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
大数据-167 ELK Elasticsearch 详细介绍 特点 分片 查询
54 4
|
2月前
|
监控 Linux 测试技术
Linux系统命令与网络,磁盘和日志监控总结
Linux系统命令与网络,磁盘和日志监控总结
60 0
|
2月前
|
监控 Linux 测试技术
Linux系统命令与网络,磁盘和日志监控三
Linux系统命令与网络,磁盘和日志监控三
43 0
|
3月前
|
JSON 缓存 fastjson
一行日志引发的系统异常
本文记录了一行日志引发的系统异常以及作者解决问题的思路。
|
3月前
使用装饰器实现自动化日志系统
使用装饰器实现自动化日志系统
23 0

相关产品

  • 检索分析服务 Elasticsearch版