如何快速搭建一个ELK日志框架?

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: 如何快速搭建一个ELK日志框架?

elasticsearch + logstash + kibana
使用logstash收集日志,将日志输出到elasticsearch后,通过kibana作可视化查询
以windows环境为例

准备以下安装包

elasticsearch-7.16.2
logstash-7.16.2
kibana-7.16.2

1.启动elasticsearch

解压elasticsearch-7.16.2
进入bin目录,运行elasticsearch.bat,默认启动端口为9200
启动完成后,访问localhost:9200测试是否启动成功
image.png

返回集群名称、版本等信息说明启动成功

2.启动kibana

解压kibana-7.16.2
进入bin目录,运行kibana.bat,默认连接es地址为localhost:9200,默认启动端口为5601
启动完成后,访问localhost:5601

image.png

进入上图页面即启动成功

3.启动logstash

解压logstash-7.16.2
复制一份config文件夹下的logstash-sample.conf,命名为logstash.conf
修改其中的配置

input {
   
   
tcp {
   
   
    host => "0.0.0.0"
    port => 5044
    mode => "server"
    codec => json_lines
}
}

output {
   
   
elasticsearch {
   
   
    hosts => ["http://localhost:9200"]
    index => "elk-demo-log-%{+YYYY.MM.dd}"
    #user => "elastic"
    #password => "changeme"
}
}

以上文件配置了一个input,即从哪里取数据,使用tcp协议,将logstash作为一个服务,端口为5044,编码格式为json,定义了一个output,表示将数据输出到哪里,配置一个elasticsearch,指定es服务器与索引名,使用日志的年月日作为索引名。
指定配置文件启动logstash

.\bin\logstash.bat -f .\config\logstash.conf

ELK都启动完成后,建立一个SpringBoot项目作为日志数据源
pom文件中加入logstash依赖

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.3</version>
</dependency>

建立一个控制器打印一些日志

@RestController
@RequestMapping
public class Api {
   
   

    Logger log = LoggerFactory.getLogger(Api.class);

    @GetMapping("/api")
    public String api(String str) {
   
   
        log.info(str);
        return str;
    }
}

调几次/api接口打印一些日志

image.png

访问localhost:5601进入kibana
选择Discover菜单

image.png

在上方输入KQL语句查询某个时间段的日志,可以看到ES中加进来了三条刚刚发送的日志doc
左边Available fields可以加进来显示的字段,左上的Selected fields为选择展示的字段。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
8天前
|
Java
日志框架log4j打印异常堆栈信息携带traceId,方便接口异常排查
日常项目运行日志,异常栈打印是不带traceId,导致排查问题查找异常栈很麻烦。
|
10天前
|
运维 NoSQL Java
SpringBoot接入轻量级分布式日志框架GrayLog技术分享
在当今的软件开发环境中,日志管理扮演着至关重要的角色,尤其是在微服务架构下,分布式日志的统一收集、分析和展示成为了开发者和运维人员必须面对的问题。GrayLog作为一个轻量级的分布式日志框架,以其简洁、高效和易部署的特性,逐渐受到广大开发者的青睐。本文将详细介绍如何在SpringBoot项目中接入GrayLog,以实现日志的集中管理和分析。
50 1
|
23天前
|
消息中间件 Kafka 开发工具
rsyslog+ELK收集Cisco日志
rsyslog+ELK收集Cisco日志
|
1月前
|
XML Java Maven
Spring5入门到实战------16、Spring5新功能 --整合日志框架(Log4j2)
这篇文章是Spring5框架的入门到实战教程,介绍了Spring5的新功能——整合日志框架Log4j2,包括Spring5对日志框架的通用封装、如何在项目中引入Log4j2、编写Log4j2的XML配置文件,并通过测试类展示了如何使用Log4j2进行日志记录。
Spring5入门到实战------16、Spring5新功能 --整合日志框架(Log4j2)
|
1月前
|
Java 数据库连接 数据库
后端框架的学习----mybatis框架(6、日志)
这篇文章介绍了如何在MyBatis框架中使用日志功能,包括配置MyBatis的日志实现、使用log4j作为日志工具,以及如何通过配置文件控制日志级别和输出格式。
|
1月前
|
运维 监控 Ubuntu
一键启动日志魔法:揭秘ELK自动安装脚本的神秘面纱!
【8月更文挑战第9天】在数据驱动时代,高效处理日志至关重要。ELK Stack(Elasticsearch、Logstash、Kibana)是强大的日志分析工具,但其复杂的安装配置常让初学者望而却步。本文介绍如何编写ELK自动安装脚本,简化部署流程。脚本适用于Ubuntu系统,自动完成ELK下载、安装及基本配置,包括依赖项安装、服务启动及自启设置,极大降低了使用门槛,助力运维人员和开发者轻松构建日志分析平台。
92 6
|
1月前
|
存储 缓存 监控
【嵌入式SD NAND】基于FATFS/Littlefs文件系统的日志框架实现
综上所述,构建一个基于FATFS/Littlefs文件系统的日志框架需要对文件系统的操作有深入理解,并以此为基础设计一套完整的日志处理机制。这样的框架不仅能够确保日志数据的完整性和系统的鲁棒性,同时还能够满足嵌入式系统对于性能和资源使用的严格要求。
71 4
|
20天前
|
人工智能 Java Spring
Spring框架下,如何让你的日志管理像‘AI’一样智能,提升开发效率的秘密武器!
【8月更文挑战第31天】日志管理在软件开发中至关重要,不仅能帮助开发者追踪问题和调试程序,还是系统监控和运维的重要工具。在Spring框架下,通过合理配置Logback等日志框架,可大幅提升日志管理效率。本文将介绍如何引入日志框架、配置日志级别、在代码中使用Logger,以及利用ELK等工具进行日志聚合和分析,帮助你构建高效、可靠的日志管理系统,为开发和运维提供支持。
27 0
|
22天前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
1月前
|
存储 应用服务中间件 nginx
部署ELK+filebeat收集nginx日志
部署ELK+filebeat收集nginx日志
部署ELK+filebeat收集nginx日志