09-ELK环境搭建

简介: 本文介绍ELK环境搭建全过程,基于ElasticSearch 8.15.0部署日志系统,使用Filebeat采集日志,通过Pipeline解析,Kibana展示与搜索。涵盖服务器配置、系统参数调优、防火墙设置、证书生成、用户密码配置及Kibana中文界面设置,实现高效日志管理。

09-ELK环境搭建

环境说明方案:使用ElasticSearch保存日志,使用Kibana进行日志展示、搜索、过期删除,使用 ElasticSearch 的pipeline进行日志的解析,使用 filebeat 采集日志发送给ElasticSearch。使用服务器192.168.xxx.xxx进行部署。准备:从官网下载 ElasticSearch(elasticsearch-8.15.0-linux-x86_64.tar.gz)上传到服务器从官网下载 kibana(kibana-8.15.0-linux-x86_64.tar.gz)上传到服务器从官网下载 elastic/filebeat 的docker镜像,推送到cce镜像仓库部署环境环境检查检查vm.max_map_count的大小,要求该值至少为262144:

如果该值不满足要求,可以修改/etc/sysctl.conf文件,在该文件中新增一行或者修改vm.max_map_count:检查ulimit的值:修改ulimit的值为65536:配置防火墙:部署ElasticSearch将 ElasticSearch 解压:调整 ElasticSearch的配置文件:config/elasticsearch.yml:创建对应的文件夹:/home/elk/elasticsearch-workspace/data:数据文件夹/home/elk/elasticsearch-workspace/logs:日志文件夹生成证书:生成CA:通过CA生成证书:启动ElasticSearch:配置用户密码:访问ElasticSearch:http://192.168.xxx.xxx:9200如果提示需要用户密码,输入用户elastic,密码123456(即上面设置的密码)关闭elasticsearch:部署kibana解压Kibana:

1

tar -zxvf kibana-8.15.0-linux-x86_64.tar.gz

调整Kibana配置文件:config/kibana.yml


# 端口号,默认5601

server.port: 5601

# 设置为0.0.0.0,允许访问

server.host: "0.0.0.0"


# 填写elastic的地址、用户、密码等信息

elasticsearch.hosts: ["http://localhost:9200"]

elasticsearch.username: "kibana"

elasticsearch.password: "123456"

# 设置publicBaseUrl,最后面不要带斜杠

server.publicBaseUrl: "http://192.168.xxx.xxx:5601"


# 设置国际化语言中文

i18n.locale: "zh-CN"

启动kibana:

1

2

# nohup方式访问

nohup ./bin/kibana &

访问kibana:http://192.168.xxx.xxx:5601/如果提示需要用户密码,输入用户elastic,密码123456(即elasticsearch设置的密码)关闭Kibana:

1

2

# kibana会启动一个node进程,查看node相关进程,进行kill

ps -ef | grep node

配置项目的日志格式调整项目的日志格式,使其成为固定格式,例如:

1

2

<!--按空格拆分:[0 1]时间-date [2]追踪ID [3]用户 [4]线程名称-thread [5]日志等级-level [6]logger类名-class [7]主要信息-message   -->

<property name="ENCODER_PATTERN" value="%d{yyyy-MM-dd HH:mm:ss.SSS} [%X{log_opid}] [%X{log_userid }] [%thread] %-5level %logger{80} - %msg%n" />

调整日志的输出路径、日志名称、日志级别等信息

相关文章
|
1天前
|
数据采集 人工智能 安全
|
11天前
|
云安全 监控 安全
|
2天前
|
自然语言处理 API
万相 Wan2.6 全新升级发布!人人都能当导演的时代来了
通义万相2.6全新升级,支持文生图、图生视频、文生视频,打造电影级创作体验。智能分镜、角色扮演、音画同步,让创意一键成片,大众也能轻松制作高质量短视频。
983 151
|
2天前
|
编解码 人工智能 机器人
通义万相2.6,模型使用指南
智能分镜 | 多镜头叙事 | 支持15秒视频生成 | 高品质声音生成 | 多人稳定对话
|
16天前
|
机器学习/深度学习 人工智能 自然语言处理
Z-Image:冲击体验上限的下一代图像生成模型
通义实验室推出全新文生图模型Z-Image,以6B参数实现“快、稳、轻、准”突破。Turbo版本仅需8步亚秒级生成,支持16GB显存设备,中英双语理解与文字渲染尤为出色,真实感和美学表现媲美国际顶尖模型,被誉为“最值得关注的开源生图模型之一”。
1685 8
|
8天前
|
人工智能 自然语言处理 API
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸
一句话生成拓扑图!next-ai-draw-io 结合 AI 与 Draw.io,通过自然语言秒出架构图,支持私有部署、免费大模型接口,彻底解放生产力,绘图效率直接爆炸。
630 152
|
10天前
|
人工智能 安全 前端开发
AgentScope Java v1.0 发布,让 Java 开发者轻松构建企业级 Agentic 应用
AgentScope 重磅发布 Java 版本,拥抱企业开发主流技术栈。
601 15
|
9天前
|
人工智能 自然语言处理 API
Next AI Draw.io:当AI遇见Draw.io图表绘制
Next AI Draw.io 是一款融合AI与图表绘制的开源工具,基于Next.js实现,支持自然语言生成架构图、流程图等专业图表。集成多款主流大模型,提供智能绘图、图像识别优化、版本管理等功能,部署简单,安全可控,助力技术文档与系统设计高效创作。
679 151