前几天同事对公司的实时日志分析平台感兴趣,讨论了实现的方案,感觉不过瘾于是搞一波。
“ELK”是三个开源项目的首字母缩写,这三个项目分别是:Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到诸如 Elasticsearch 等“存储库”中。Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。
安装环境
- CentOS 7.8
- Elasticsearch、Logstash、Kibana 7.14.0
安装 Elasticsearch
通过 rpm 安装并启动 elasticsearch 服务
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.14.0-x86_64.rpm
sudo rpm -i elasticsearch-7.14.0-x86_64.rpm
# 启动 elasticsearch
sudo systemctl start elasticsearch
# 设置开机自启动
sudo systemctl enable elasticsearch.service
查看服务状态
systemctl status elasticsearch
curl http://127.0.0.1:9200
修改配置文件,记得养成先备份再修改的好习惯喔 vim /etc/elasticsearch/elasticsearch.yml
# 打开外网访问
network.host: 0.0.0.0
# 集群中节点地址列表
discovery.seed_hosts: ["127.0.0.1"]
# 默认主节点
cluster.initial_master_nodes: ["node-1"]
保存 systemctl restart elasticsearch
, 重启 elasticsearch
安装 Kibana
同样也是通过 rpm 安装并启动
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.14.0-x86_64.rpm
sudo rpm --install kibana-7.14.0-x86_64.rpm
# 开启外网访问
echo "server.host: \"0.0.0.0\"" >> /etc/kibana/kibana.yml
# 启动服务
systemctl start kibana
在浏览器中访问 http://ip:5601
,若出现以下界面,则表示 Kibana 安装成功。
安装 Logstash
通过 yum 安装
sudo cat > /etc/yum.repos.d/logstash.repo << EOF
[logstash-7.x]
name=Elastic repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF
sudo yum install -y logstash
启动服务
sudo systemctl start logstash.service
OK,至此安装完毕。
Tips
上面 rpm 源如果安装速度比较慢可以选择一些国内的源,这里 Elasticsearch 选择的就是华为云的源:
参考:
https://www.elastic.co/guide/en/elastic-stack-get-started/current/get-started-elastic-stack.html