k8s相关服务与负载均衡
一,服务基础
1,多容器集群,多副本会自动分配到不同的计算节点上(2副本实验)
[root@master config]# vim pod-apache.yaml
replicas: 2 #副本数改成2
[root@master config]# kubectl apply -f pod-apache.yaml
[root@master config]# kubectl get pod -o wide #查看,此时运行两个资源都在zsl节点上
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
my-apache-695fd775fd-jpsgr 1/1 Running 0 27s 10.244.2.30 zsl <none> <none>
my-apache-695fd775fd-x8c4d 1/1 Running 0 27s 10.244.2.29 zsl <none> <none>
2,会变化的pod资源,当发现某一个pod不能使用的时候,RS会在其他节点上再创建一个相同的pod,及其对应的容器。
例:模拟其中一个资源容器不可用,此时会再创建出一个新的pod资源,而且可以在任何节点上生成,且ip地址也会发生改变。
[root@master config]# kubectl delete pod my-apache-695fd775fd-x8c4d #删除其中一个资源
[root@master config]# kubectl get pod -o wide #再次查看,又新生一个pod资源在node节点上
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
my-apache-695fd775fd-4bng8 1/1 Running 0 16s 10.244.1.13 node <none> <none>
my-apache-695fd775fd-jpsgr 1/1 Running 0 6m53s 10.244.2.30 zsl <none> <none>
3,service服务
①,pod存在生命周期,每个一段时间,pod就会自动重新创建,ip地址也会发生变化,所以直接对pod中的服务产生很大影响,因为访问地址在不断地变化。
②,service服务作用是创建一个cluster ip,也可以实现pod的负载均衡。用户访问web服务时,先访问service的cluster ip,由service代替用户找到对应的pod,最后访问pod中的web服务器。
③,会变化的pod给我们带来了诸多的不变,service就是解决这一问题的方法,会创建一个cluster ip,这个地址对应资源地址,且不会变化,会在多个服务上实现负载均衡的访问效果。
④,service服务通过port、nodeport、targetport将访问的请求最终映射到pod的容器内部服务上。
4,service服务端口
①,port:是service暴露在cluster ip上的端口,是提供给集群内部客户访问service的入口,供集群内部服务访问使用。
②,targetport:是pod上容器服务监听的端口,从port或nodeport上到来的数据最终经过kube-proxy流入到后端pod的targetport上进入容器,从而达到访问pod容器内部服务的目的。
5,service服务资源文件
①,作修改
[root@master config]# vim pod-apache.yaml #修改Apache资源文件
matchLabels: #匹配具体的东西
app: mytest #更改标签名字,与下面的labels相同
replicas: 2
template:
metadata:
labels:
app: mytest #更改标签名字
②,编辑
[root@master config]# vim pod-service.yaml #编辑新的yaml资源文件
---
apiVersion: v1
kind: Service
metadata:
name: httpd-service
spec:
ports:
- protocol: TCP
port: 80 #设置端口
targetPort: 80
selector:
app: mytest #要和上面pod-apache.yaml文件的标签一致
type: ClusterIP
[root@master config]# kubectl delete -f pod-apache.yaml #删除原来的
[root@master config]# kubectl apply -f pod-apache.yaml #运行修改后的
[root@master config]# kubectl apply -f pod-service.yaml #运行新创建的
③,查看k8s集群中service信息
[root@master config]# kubectl get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
httpd-service ClusterIP 10.96.79.49 <none> 80/TCP 64s
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 2d1h
④,此时直接使用10.96.79.49这个ip地址是访问不了的,需要进入到容器访问。
创建一个资源类型为pod的资源文件
[root@master config]# vim pod-httpd.yaml
---
apiVersion: v1 #版本
kind: Pod #资源类型
metadata:
name: my-pod
labels:
app: mypod
spec:
containers:
- name: my-pod-httpd #容器名字
image: 192.168.1.134:5000/myapache:httpd #指定镜像
stdin: true #开启交互式和终端
tty: true
#ports: #注释掉端口和协议
#- protocol: TCP
# containerPort: 80
⑤,创建资源
[root@master config]# kubectl apply -f pod-httpd.yaml
pod/my-pod created
[root@master config]# kubectl get pod -o wide #查看,pod下两个容器在运行
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
my-apache-f9b95d95f-jn4vv 1/1 Running 0 10m 10.244.2.32 zsl <none> <none>
my-apache-f9b95d95f-skjh7 1/1 Running 0 10m 10.244.2.31 zsl <none> <none>
my-pod 1/1 Running 0 2m46s 10.244.1.14 node <none> <none>
[root@master config]# kubectl get service #查看集群中service服务信息
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
httpd-service ClusterIP 10.96.79.49 <none> 80/TCP 11m
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 2d1h
⑥,进入容器
[root@master config]# kubectl exec -it my-pod -- /bin/bash
[root@my-pod html]#
⑦,访问成功
[root@my-pod html]# curl 10.96.79.49 #访问的是service服务中的httpd服务地址
[root@my-pod html]# curl 10.96.79.49/info.php #访问成功,多访问几次,此时是轮询的,可以看到php_host: 处的变化,不同的容器在提供服务
<pre>
Array
(
[REMOTE_ADDR] => 10.244.1.14
[REQUEST_METHOD] => GET
[HTTP_USER_AGENT] => curl/7.29.0
[REQUEST_URI] => /info.php
)
php_host: my-apache-f9b95d95f-skjh7
1229
二,服务自动发现
1,创建服务:kubectl apply -f 资源文件
2,查询服务:kubectl get service
3,服务自动发现:cluster ip是集群分配的服务ip,供集群访问,在集群内部也可以通过服务的名称访问,服务的名称是通过coredns解析的,每个服务在创建的过程中都会完成自动注册。
服务名称:<服务名称>.<名称空间>.svc.cluster.local
4,在刚才的容器里,直接访问服务名称
[root@my-pod html]# curl httpd-service #服务名称,从service查看
[root@my-pod /]# curl httpd-service.default.svc.cluster.local #也可以加上后缀访问
[root@my-pod /]# cat /etc/resolv.conf #后缀所在文件
nameserver 10.96.0.10
search default.svc.cluster.local svc.cluster.local cluster.local
options ndots:5
5,多资源文件,多个资源可以写到同一个文件中,使用---分割
[root@master config]# cat pod-apache.yaml > web.apache.yaml
[root@master config]# cat pod-service.yaml >> web.apache.yaml #写到一个文件中
[root@master config]# kubectl delete -f pod-apache.yaml #删除资源
[root@master config]# kubectl delete -f pod-service.yaml #删除资源
[root@master config]# kubectl get pod -o wide #查看,还剩一个pod资源在运行
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
my-pod 1/1 Running 0 90m 10.244.1.14 node <none> <none>
6,查看并创建运行资源
[root@master config]# vim web.apache.yaml
#tty: true
ports:
- protocol: TCP
containerPort: 80
--- #两个资源文件,分割
apiVersion: v1
kind: Service
metadata:
name: httpd-service
[root@master config]# kubectl apply -f web.apache.yaml #一次创建出两个
deployment.apps/my-apache created
service/httpd-service created
[root@master config]# kubectl get service #查看
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
httpd-service ClusterIP 10.96.211.116 <none> 80/TCP 50s
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 2d2h
[root@master config]# kubectl get pod #查看
NAME READY STATUS RESTARTS AGE
my-apache-f9b95d95f-8m8qv 1/1 Running 0 56s
my-apache-f9b95d95f-zfkhh 1/1 Running 0 56s
my-pod 1/1 Running 0 95m
三,服务原理
1,代理模式:
k8s v1.0服务支持userspace代理模式
k8s v1.1服务支持iptables代理模式
k8s v1.8服务支持IPVS代理模式
在k8s v1.2中,kube-proxy的iptables模式成为模式设置,现在默认使用IPVS,如果不能满足,要求退回至iptables模式
2,userspace用户空间代理模式:
用户访问的还是cluster ip,cluster ip并不是把请求转发给后端的容器,而是把请求转发给kube-proxy,再由kube-proxy转发给后端的容器,各个服务中,此时由于所有的请求都给了kube-proxy,对于这个软件的要求就比较高,性能很差,为了解决这个问题,就需要使用其他模式。
3,iptables模式:
此模式在用户访问的时候发生了变化,用户访问到cluster ip之后,由iptables实现端口映射,把请求转发到后端,此时kube-proxy只是设置负载均衡映射的访问策略和端口转发规则,但是算法有限,更多的功能支持不了,此时就有了IPVS模式,此模式架构不变,只是用户访问的是lvs模块。
4,IPVS模式:与iptables模式架构相同,只是用户访问的是lvs模块。
四,在外部访问集群
1,service允许指定一个type类型,默认是cluster ip。
2,type类型:
①,cluster ip:通过集群的内部ip暴露服务,服务只能够在集群内部可以访问,这就是默认的servicetype。
②,nodeport:通过每个node的ip和静态端口(nodeport)暴露服务,nodeport服务会路由到cluster ip服务。
③,loadbalancer:使用云提供商的负载均衡器,外部的负载均衡器可以路由到nodeport服务和cluster ip服务。
3,nodeport:是提供给集群外部用户访问service入口的一种方式,是提供给集群外部用户访问service的入口。
五,对外发布服务
1,之前构建的服务已经可以在集群内部运转起来了,但集群外部还是无法访问集群内部的服务。
2,有时候服务可能来自第三方或者其他团队,无法把所有服务都放入集群内部,这时候就需要集群内部和集群外部的服务实现互访。
①,loadbalancer:使用外部的云服务(需要支持,externallps)
②,nodeport:基于端口对外提供服务(四层)
③,lngress:使用ingress规则控制器(七层)
例:修改服务类型
[root@master config]# vim pod-service.yaml
app: mytest
type: NodePort #改为nodeport,基于端口对外提供服务
[root@master config]# kubectl apply -f pod-apache.yaml#运行Apache资源
[root@master config]# kubectl apply -f pod-service.yaml #创建资源
[root@master config]# kubectl get service #查看
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
httpd-service NodePort 10.96.161.244 <none> 80:30552/TCP 49s
kubernetes ClusterIP 10.96.0.1 <none> 443/TCP 2d3h
测试访问,都可以访问成功
访问:curl 节点主机名(IP地址):服务映射端口,任何节点都可以
[root@master config]# curl node:30552
[root@master config]# curl zsl:30552
[root@master config]# curl node:30552/info.php
<pre>
Array
(
[REMOTE_ADDR] => 10.244.1.0
[REQUEST_METHOD] => GET
[HTTP_USER_AGENT] => curl/7.29.0
[REQUEST_URI] => /info.php
)
php_host: my-apache-f9b95d95f-thtrp
1229
五,headless服务
1,有时不需要或不想要负载均衡,以及单独的cluster ip,遇到这种情况,我们可以创建headless服务。
2,headless服务会把ip通过多个A记录的形式解析到具体的容器ip上面,多用于有状态的服务。
3,测试,复制service服务资源文件
[root@master config]# cp pod-service.yaml headless.yaml
[root@master config]# vim headless.yaml
---
apiVersion: v1
kind: Service
metadata:
name: headless #名字可改可不改
spec:
ports:
- protocol: TCP
port: 80
targetPort: 80
selector:
app: mytest
type: ClusterIP #更改为ClusterIP类型
clusterIP: None #设置为none,不设置ip
4,创建资源
[root@master config]# kubectl apply -f headless.yaml #运行headless资源文件
[root@master config]# kubectl apply -f pod-httpd.yaml#运行pod类型资源文件
[root@master config]# kubectl exec -it my-pod -- /bin/bash #进入容器
5,安装需要的软件
[root@my-pod html]# cd /etc/yum.repos.d/ #这里需要配置yum源
[root@my-pod yum.repos.d]# ls
dv
[root@my-pod yum.repos.d]# vim dvd.repod.repo
[dvd]
name=dvd
baseurl=http://192.168.1.134/mnt #去访问另外一个节点的挂载点,需要把挂载点放到/var/www/html下
enabled=1
gpgcheck=0
[root@my-pod ~]# yum -y install bind-utils #安装软件
6,访问测试
[root@my-pod yum.repos.d]# host headless #如果访问不了,是dns域名解析失败
六,lngress控制器
1,lngress公开了集群外部到集群内部的service路由。
2,可以将lngress配置为提供服务、外部可访问的URL负载均衡流量。
3,lngress控制器通常由负载均衡器来实现。
4,必须具有ingress控制器才能满足lngress的要求,仅创建资源无效。
5,lngress:是从集群外部访问集群内部的路由。
6,lngress控制器接收用户的域名访问请求,将请求分发给集群中的service服务,由service服务以负载均衡的方式,将请求分发给pod,由pod中的容器提供对应的服务。
7,安装lngress
我这里已经准备好了ingress的安装tar包
[root@master ~]# cd ingress/
[root@master ingress]# ls
ingress-example.yaml ingress-nginx.tar.gz ingress-service.yaml mandatory.yaml
[root@master ingress]# docker load -i ingress-nginx.tar.gz #恢复镜像
[root@master ingress]# docker tag quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.30.0 192.168.1.134:5000/nginx-ingress:0.30.0 #打标签
[root@master ingress]# docker push 192.168.1.134:5000/nginx-ingress:0.30.0 #传到私有仓库
[root@master ingress]# curl 192.168.1.134:5000/v2/_catalog #查看,已上传到私有仓库
{"repositories":["centos","myapache","nginx","nginx-ingress","redis","ububtu"]}
8,编辑安装ingress的资源文件
[root@master ingress]# vim mandatory.yaml
221 image: 192.168.1.134:5000/nginx-ingress:0.30.0 #改成私有仓库地址
[root@master ingress]# kubectl apply -f mandatory.yaml #创建资源
9,验证是否成功,需要指定命名空间,因为ingress创建的有自己的命名空间
[root@master ingress]# kubectl -n ingress-nginx get pod
NAME READY STATUS RESTARTS AGE
nginx-ingress-controller-5cdb8dbb4c-rz5qp 0/1 CrashLoopBackOff 2 40s
10,创建
[root@master ~]# kubectl delete -f config/web.apache.yaml #把原来的资源停掉
[root@master ~]# kubectl apply -f config/web.apache.yaml #重新创建
[root@master ~]# kubectl apply -f ingress/ingress-example.yaml #创建ingress资源
[root@master ~]# kubectl get ingresses #查看
NAME CLASS HOSTS ADDRESS PORTS AGE
my-app <none> * 80 23s
11,访问,任何一个节点的ip都可以访问了,公开了内部、外部之间的路由
[root@master ~]# curl 192.168.1.133
[root@master ~]# curl 192.168.1.134
[root@master ~]# curl 192.168.1.135