ElasticSearch + Kibana for Kubernetes 硬气功实践 2

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介: ElasticSearch + Kibana for Kubernetes 硬气功实践 2

ElasticSearch + Kibana for  Kubernetes 硬气功实践 2


一、概述

Elasticsearch 是一个基于 Lucene 的搜索引擎。它提供了具有 HTTP Web 界面和无架构 JSON 文档的分布式,多租户能力的全文搜索引擎。Elasticsearch 是用 Java 开发的,根据 Apache 许可条款作为开源发布。

网络异常,图片无法展示
|

官方文档:

https://www.elastic.co/guide/en/elasticsearch/reference/master/getting-started.html

GitHub:

https://github.com/elastic/elasticsearch

也可以参考这篇文章:分布式实时搜索和分析引擎:Elasticsearch

https://www.cnblogs.com/liugp/p/16508196.html

二、Elasticsearch 编排部署

地址:

https://artifacthub.io/packages/helm/elastic/elasticsearch

1)添加源并下载编排部署包

helm repo add elastic https://helm.elastic.cohelm pull elastic/elasticsearch --version 7.17.3tar -xf elasticsearch-7.17.3.tgz

2)构建镜像

Elasticsearch 各版本下载地址:

https://www.elastic.co/cn/downloads/past-releases#elasticsearch 这里就不重新构建镜像了,有不知道怎么构建镜像的小伙伴可以给我留言或私信,这里是将远程的镜像推送到我们本地 harbor,加速拉取镜像。

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.17.3
docker tag docker.elastic.co/elasticsearch/elasticsearch:7.17.3  myharbor.com/bigdata/elasticsearch:7.17.3
# 上传镜像docker push myharbor.com/bigdata/elasticsearch:7.17.3
# 删除镜像docker rmi myharbor.com/bigdata/elasticsearch:7.17.3crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3

3)修改 yaml 编排

  • elasticsearch/values.yaml
image: "myharbor.com/bigdata/elasticsearch"
...
...### 去掉这几行volumeClaimTemplate:  accessModes: ["ReadWriteOnce"]  resources:    requests:      storage: 30Gi....
persistence:  enabled: true  labels:    # Add default labels for the volumeClaimTemplate of the StatefulSet    enabled: false  annotations: {}  accessModes:    - ReadWriteOnce  size: 1Gi  storageClass: "elasticsearch-local-storage"  local:  - name: elasticsearch-0    host: "local-168-182-110"    path: "/opt/bigdata/servers/elasticsearch/data/data1"  - name: elasticsearch-1    host: "local-168-182-111"    path: "/opt/bigdata/servers/elasticsearch/data/data1"  - name: elasticsearch-2    host: "local-168-182-112"    path: "/opt/bigdata/servers/elasticsearch/data/data1"
...
protocol: httphttpPort: 9200transportPort: 9300service:  enabled: true  type: NodePort  nodePort: 30920  httpPortName: http
  • elasticsearch/templates/storage-class.yaml
kind: StorageClassapiVersion: storage.k8s.io/v1metadata:  name: {{ .Values.persistence.storageClass }}provisioner: kubernetes.io/no-provisioner
  • elasticsearch/templates/pv.yaml
{{- range .Values.persistence.local }}---apiVersion: v1kind: PersistentVolumemetadata:  name: {{ .name }}  labels:    name: {{ .name }}spec:  storageClassName: {{ $.Values.persistence.storageClass }}  capacity:    storage: {{ $.Values.persistence.size }}  accessModes:  {{- range $.Values.persistence.accessModes }}    - {{ . | quote }}  {{- end }}  local:    path: {{ .path }}  nodeAffinity:    required:      nodeSelectorTerms:        - matchExpressions:            - key: kubernetes.io/hostname              operator: In              values:                - {{ .host }}---{{- end }}
  • elasticsearch/templates/statefulset.yaml
spec:  volumeClaimTemplates:    spec:# 去掉这行{{ toYaml .Values.volumeClaimTemplate | indent 6 }}
# 新增以下内容:      accessModes:      {{- range .Values.persistence.accessModes }}      - {{ . | quote }}      {{- end }}      resources:        requests:          storage: {{ .Values.persistence.size | quote }}    {{- if .Values.persistence.storageClass }}    {{- if (eq "-" .Values.persistence.storageClass) }}      storageClassName: ""    {{- else }}      storageClassName: "{{ .Values.persistence.storageClass }}"    {{- end }}    {{- end }}

4)开始部署

# 先创建本地存储目录mkdir -p /opt/bigdata/servers/elasticsearch/data/data1chmod -R 777 /opt/bigdata/servers/elasticsearch/data/data1
helm install my-elasticsearch ./elasticsearch -n elasticsearch --create-namespace# 查看helm get notes my-elasticsearch -n elasticsearchkubectl get pods,svc -n elasticsearch -owide

NOTES

NAME: my-elasticsearchLAST DEPLOYED: Wed Oct 12 23:47:17 2022NAMESPACE: elasticsearchSTATUS: deployedREVISION: 1NOTES:1. Watch all cluster members come up.  $ kubectl get pods --namespace=elasticsearch -l app=elasticsearch-master -w2. Test cluster health using Helm test.  $ helm --namespace=elasticsearch test my-elasticsearch


网络异常,图片无法展示
|

5)测试验证

curl http://192.168.182.110:30920/curl http://192.168.182.110:30920/_cat/nodescurl http://192.168.182.110:30920/_cat/health?pretty


网络异常,图片无法展示
|

6)elasticsearch-head

elasticsearch-head GitHub 下载地址:

https://github.com/mobz/elasticsearch-head

Google 浏览器 elasticsearch-head 插件,链接:

https://pan.baidu.com/s/1kYcTjBDPmSWVzsku2hEW7w?pwd=67v4

网络异常,图片无法展示
|

7)卸载

helm uninstall my-elasticsearch -n elasticsearchkubectl delete ns elasticsearch --force
rm -fr /opt/bigdata/servers/elasticsearch/data/data1/*ssh local-168-182-111 "rm -fr /opt/bigdata/servers/elasticsearch/data/data1/*"ssh local-168-182-112 "rm -fr /opt/bigdata/servers/elasticsearch/data/data1/*"
docker rmi myharbor.com/bigdata/elasticsearch:7.17.3crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3ssh local-168-182-111 "crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3"ssh local-168-182-112 "crictl rmi myharbor.com/bigdata/elasticsearch:7.17.3"

三、Kibana 编排部署

地址:

https://artifacthub.io/packages/helm/bitnami/kibana?modal=install

1)添加源并下载编排部署包

helm repo add bitnami https://charts.bitnami.com/bitnamihelm pull bitnami/kibana --version 10.2.6tar -xf kibana-10.2.6.tgz

2)构建镜像

这里也不重新构建镜像了,只是将镜像推送到本地 harbor 加速,对构建镜像不清楚的可以留言或私信。【注意】版本号需要跟 ES 相对应,版本不一样,可能会存储不兼容的情况。

docker pull docker.io/bitnami/kibana:7.17.3docker tag docker.io/bitnami/kibana:7.17.3 myharbor.com/bigdata/kibana:7.17.3
# 上传镜像docker push myharbor.com/bigdata/kibana:7.17.3
# 删除镜像docker rmi myharbor.com/bigdata/kibana:7.17.3crictl rmi myharbor.com/bigdata/kibana:7.17.3

3)修改 yaml 编排

  • kibana/values.yaml
image:  registry: myharbor.com  repository: bigdata/kibana  tag: 8.4.3-debian-11-r1
...
replicaCount: 1
...
persistence:  enabled: true  accessModes:    - ReadWriteOnce  size: 1Gi  storageClass: "kibana-local-storage"  local:  - name: kibana-0    host: "local-168-182-111"    path: "/opt/bigdata/servers/kibana/data/data1"
...
service:  ports:    http: 5601  type: NodePort  nodePorts:    http: "30601"
...
elasticsearch:  hosts:    - elasticsearch-master.elasticsearch  port: "9200"
  • kibana/templates/values.yaml
{{- range .Values.persistence.local }}---apiVersion: v1kind: PersistentVolumemetadata:  name: {{ .name }}  labels:    name: {{ .name }}spec:  storageClassName: {{ $.Values.persistence.storageClass }}  capacity:    storage: {{ $.Values.persistence.size }}  accessModes:  {{- range $.Values.persistence.accessModes }}    - {{ . | quote }}  {{- end }}  local:    path: {{ .path }}  nodeAffinity:    required:      nodeSelectorTerms:        - matchExpressions:            - key: kubernetes.io/hostname              operator: In              values:                - {{ .host }}---{{- end }}
  • kibana/templates/storage-class.yaml
kind: StorageClassapiVersion: storage.k8s.io/v1metadata:  name: {{ .Values.persistence.storageClass }}provisioner: kubernetes.io/no-provisioner
  • kibana/templates/pv.yaml
{{- range .Values.persistence.local }}---apiVersion: v1kind: PersistentVolumemetadata:  name: {{ .name }}  labels:    name: {{ .name }}spec:  storageClassName: {{ $.Values.persistence.storageClass }}  capacity:    storage: {{ $.Values.persistence.size }}  accessModes:  {{- range $.Values.persistence.accessModes }}    - {{ . | quote }}  {{- end }}  local:    path: {{ .path }}  nodeAffinity:    required:      nodeSelectorTerms:        - matchExpressions:            - key: kubernetes.io/hostname              operator: In              values:                - {{ .host }}---{{- end }}

4)开始部署

# 先创建本地存储目录mkdir -p /opt/bigdata/servers/kibana/data/data1chmod -R 777 /opt/bigdata/servers/kibana/data/data1
helm install my-kibana ./kibana -n kibana --create-namespace# 查看helm get notes my-kibana -n kibanakubectl get pods,svc -n kibana -owide

NOTES

NAME: my-kibanaLAST DEPLOYED: Thu Oct 13 22:43:30 2022NAMESPACE: kibanaSTATUS: deployedREVISION: 1TEST SUITE: NoneNOTES:CHART NAME: kibanaCHART VERSION: 10.2.6APP VERSION: 8.4.3
** Please be patient while the chart is being deployed **######################################################################################################### ERROR: You did not provide the Elasticsearch external host or port in your 'helm install' call #########################################################################################################
Complete your Kibana deployment by running:
  helm upgrade --namespace kibana my-kibana my-repo/kibana \    --set elasticsearch.hosts[0]=YOUR_ES_HOST,elasticsearch.port=YOUR_ES_PORT
Replacing "YOUR_ES_HOST" and "YOUR_ES_PORT" placeholders by the proper values of your Elasticsearch deployment.


网络异常,图片无法展示
|

5)测试验证

web:

http://192.168.182.111:30601

网络异常,图片无法展示
|

6)卸载

helm uninstall my-kibana -n kibanakubectl delete ns kibana --force
ssh local-168-182-111 rm -fr /opt/bigdata/servers/kibana/data/data1/*
docker rmi myharbor.com/bigdata/bigdata:8.4.3-debian-11-r1crictl rmi myharbor.com/bigdata/bigdata:8.4.3-debian-11-r1

elasticsearch-on-k8s 下载地址:

https://gitee.com/hadoop-bigdata/elasticsearch-on-k8s

kibana-on-k8s 下载地址:

https://gitee.com/hadoop-bigdata/kibana-on-k8s


相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
25天前
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署,以及Kubernetes集群管理的基础操作,帮助初学者快速入门云原生的世界。通过实际案例分析,我们将深入探讨这些技术在现代IT架构中的应用与影响。
80 2
|
25天前
|
Kubernetes 监控 负载均衡
深入云原生:Kubernetes 集群部署与管理实践
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术以其弹性、可扩展性成为企业IT架构的首选。本文将引导你了解如何部署和管理一个Kubernetes集群,包括环境准备、安装步骤和日常维护技巧。我们将通过实际代码示例,探索云原生世界的秘密,并分享如何高效运用这一技术以适应快速变化的业务需求。
60 1
|
1月前
|
存储 监控 安全
|
1月前
|
Kubernetes 负载均衡 Cloud Native
云原生应用:Kubernetes在容器编排中的实践与挑战
【10月更文挑战第27天】Kubernetes(简称K8s)是云原生应用的核心容器编排平台,提供自动化、扩展和管理容器化应用的能力。本文介绍Kubernetes的基本概念、安装配置、核心组件(如Pod和Deployment)、服务发现与负载均衡、网络配置及安全性挑战,帮助读者理解和实践Kubernetes在容器编排中的应用。
76 4
|
1月前
|
Kubernetes 监控 Cloud Native
云原生应用:Kubernetes在容器编排中的实践与挑战
【10月更文挑战第26天】随着云计算技术的发展,容器化成为现代应用部署的核心趋势。Kubernetes(K8s)作为容器编排领域的佼佼者,以其强大的可扩展性和自动化能力,为开发者提供了高效管理和部署容器化应用的平台。本文将详细介绍Kubernetes的基本概念、核心组件、实践过程及面临的挑战,帮助读者更好地理解和应用这一技术。
63 3
|
2月前
|
Kubernetes 监控 开发者
专家级实践:利用Cloud Toolkit进行微服务治理与容器化部署
【10月更文挑战第19天】在当今的软件开发领域,微服务架构因其高可伸缩性、易于维护和快速迭代的特点而备受青睐。然而,随着微服务数量的增加,管理和服务治理变得越来越复杂。作为阿里巴巴云推出的一款免费且开源的开发者工具,Cloud Toolkit 提供了一系列实用的功能,帮助开发者在微服务治理和容器化部署方面更加高效。本文将从个人的角度出发,探讨如何利用 Cloud Toolkit 来应对这些挑战。
40 2
|
2月前
|
Kubernetes 持续交付 Docker
探索DevOps实践:利用Docker与Kubernetes实现微服务架构的自动化部署
【10月更文挑战第18天】探索DevOps实践:利用Docker与Kubernetes实现微服务架构的自动化部署
91 2
|
27天前
|
Kubernetes 负载均衡 调度
Kubernetes集群管理与编排实践
Kubernetes集群管理与编排实践
|
27天前
|
Kubernetes Cloud Native 前端开发
Kubernetes入门指南:从基础到实践
Kubernetes入门指南:从基础到实践
42 0
|
2月前
|
Kubernetes Cloud Native 云计算
云原生之旅:Kubernetes 集群的搭建与实践
【8月更文挑战第67天】在云原生技术日益成为IT行业焦点的今天,掌握Kubernetes已成为每个软件工程师必备的技能。本文将通过浅显易懂的语言和实际代码示例,引导你从零开始搭建一个Kubernetes集群,并探索其核心概念。无论你是初学者还是希望巩固知识的开发者,这篇文章都将为你打开一扇通往云原生世界的大门。
131 17