loki日志收集全网最全教程(强推)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: loki日志收集全网最全教程(强推)

640.gif

全网最全loki全流程描述,网上有很多教程都是不对的哈!这个是生产环境校验过的哈!

相关匹配及字段转换规则我已经给大家写好了。


部署架构:


loki_service:  使用docker_compose部署loki.yml

k8s_master_deploy:去k8s的master节点部署。


部署流程:



在k8s master节点


一、执行下面命令:


kubectl apply -f promtail_configmap.yaml
promtail_configmap.yaml  是promtail的配置文件和参数。以及创建namespaces。


二、执行下面命令:


kubectl apply -f promtail_deploy.yaml 
promtail_deploy.yaml  是部署promtail的pod,采用DaemonSet方式部署,每个节点一个pod

需要部署不同的环境需要调整deploy配置116行

           -"-client.url=http://192.168.77.21:3100/loki/api/v1/push"


将IP及端口替换成loki的server端的地址即可。

640.png

三、查看loki部署运行情况,如下图为正常。


kubectl get pods -n loki

640.png

server端配置:

640.png

基本不用配置,直接拉起


需要赋予映射的目录777权限,否则回报权限不够的错误

###############################################


基础界面展示登录后:


做如下选择:

640.jpg

整体界面:

640.jpg


直接在这里选择想要查看的数据信息:

640.jpg


选择相应的错误类别日志:

640.jpg


右上角是时间过滤选:

自动刷新间隔:

640.jpg


简单过滤日志案例:

640.jpg


Grafana 添加loki数据源可以限制行数

之前查询结果受行数限制只能查询1000行的问题予以解释:

640.jpg


在查询结尾填写想要显示的行数,行数越多,显示越慢。

640.jpg


查询时间格式为:2020-11-05 11:50:03

640.jpg


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
存储 监控 Serverless
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
阿里泛日志设计与实践问题之Grafana Loki在日志查询方案中存在哪些设计限制,如何解决
|
1月前
|
Prometheus Cloud Native Perl
评测Loki日志工具
评测Loki日志工具
50 0
|
16天前
|
运维 Kubernetes 监控
Loki+Promtail+Grafana监控K8s日志
综上,Loki+Promtail+Grafana 监控组合对于在 K8s 环境中优化日志管理至关重要,它不仅提供了强大且易于扩展的日志收集与汇总工具,还有可视化这些日志的能力。通过有效地使用这套工具,可以显著地提高对应用的运维监控能力和故障诊断效率。
33 0
|
1月前
|
应用服务中间件 nginx Docker
[loki]轻量级日志聚合系统loki快速入门
[loki]轻量级日志聚合系统loki快速入门
|
2月前
|
存储 Web App开发 Java
《手把手教你》系列基础篇(九十五)-java+ selenium自动化测试-框架之设计篇-java实现自定义日志输出(详解教程)
【7月更文挑战第13天】这篇文章介绍了如何在Java中创建一个简单的自定义日志系统,以替代Log4j或logback。
260 5
|
2月前
|
XML Java 测试技术
《手把手教你》系列基础篇(九十一)-java+ selenium自动化测试-框架设计基础-Logback实现日志输出-下篇(详解教程)
【7月更文挑战第9天】在Java项目中,使用Logback配置可以实现日志按照不同包名输出到不同的文件,并且根据日志级别分开记录。
69 4
|
2月前
|
XML 测试技术 数据格式
《手把手教你》系列基础篇(八十五)-java+ selenium自动化测试-框架设计基础-TestNG自定义日志-下篇(详解教程)
【7月更文挑战第3天】TestNG教程展示了如何自定义日志记录。首先创建一个名为`TestLog`的测试类,包含3个测试方法,其中一个故意失败以展示日志。使用`Assert.assertTrue`和`Reporter.log`来记录信息。接着创建`CustomReporter`类,继承`TestListenerAdapter`,覆盖`onTestFailure`, `onTestSkipped`, 和 `onTestSuccess`,在这些方法中自定义日志输出。
42 6
|
2月前
|
XML Java 测试技术
《手把手教你》系列基础篇(九十)-java+ selenium自动化测试-框架设计基础-Logback实现日志输出-中篇(详解教程)
【7月更文挑战第8天】这篇教程介绍了如何使用Logback将Java应用的日志输出到文件中。首先,通过创建`logback.xml`配置文件,设置`FileAppender`来指定日志文件路径和格式。然后,提供了一个`RollingFileAppender`的例子,用于每日生成新的日志文件并保留一定天数的历史记录。文中包含配置文件的XML代码示例,并展示了控制台输出和生成的日志文件内容。教程最后提到了一些可能遇到的问题及解决建议。
31 0
《手把手教你》系列基础篇(九十)-java+ selenium自动化测试-框架设计基础-Logback实现日志输出-中篇(详解教程)
|
2月前
|
Java 关系型数据库 测试技术
《手把手教你》系列基础篇(八十九)-java+ selenium自动化测试-框架设计基础-Logback实现日志输出-上篇(详解教程)
【7月更文挑战第7天】Apache Log4j2的安全漏洞促使考虑使用logback作为替代的日志框架。Logback由log4j创始人设计,提供更好的性能,更低的内存使用,并且能够自动重载配置文件。它分为logback-core、logback-classic(实现了SLF4J API)和logback-access(用于Servlet容器集成)三个模块。配置涉及Logger、Appender(定义日志输出目的地)和Layout(格式化日志)。
48 1
|
2月前
|
Java 测试技术 Apache
《手把手教你》系列基础篇(八十六)-java+ selenium自动化测试-框架设计基础-Log4j实现日志输出(详解教程)
【7月更文挑战第4天】Apache Log4j 是一个广泛使用的 Java 日志框架,它允许开发者控制日志信息的输出目的地、格式和级别。Log4j 包含三个主要组件:Loggers(记录器)负责生成日志信息,Appenders(输出源)确定日志输出的位置(如控制台、文件、数据库等),而 Layouts(布局)则控制日志信息的格式。通过配置 Log4j,可以灵活地定制日志记录行为。
44 4