【运维知识进阶篇】集群架构体系及虚拟机准备工作

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS AI 助手,专业版
简介: 【运维知识进阶篇】集群架构体系及虚拟机准备工作

写在开头

       我计划发表四个篇章的博文,难度由浅入深,分别是基础篇的Linux系统,进阶篇的web架构,高级篇的shell编程、代码上线,大神篇的数据库、Docker、k8s。思考许久,还是决定直接开始进阶篇的博文,离开了近两周很是抱歉,因为现实需要处理一些事情,这次回归,干脆就开启新的篇章,先前介绍的运维知识基础篇的内容,好像就差一个网络了,等有空的时候再做补充,我们直接开始集群架构的学习。

转变思维      

  进阶篇的学习不同于基础篇,先前的学习,知识点比较零散,我们只有反复练习,才能把它弄熟练。但是今后我们要学的东西,是一个框架,需要先学框架体系,再学习里面的内容。另外进阶篇的知识理解要大于操作,如果你跳槽,框架体系都是一样的,个别业务不一样,简单业务熟悉了也能上手。

架构体系

在服务器上部署网站服务,需要有数据库,NFS存储,运维人员。

公司一开始部署时,不知道流量大小,先部署一台,这样优势是成本低,劣势是用户多,服务器抗压能力弱,如果一台服务器出现某些问题导致无法访问,我们就称它是单点故障。

一台服务器的硬件会受到限制,cpu,内存,磁盘,数量不会太多,所以我们就需要用多台服务器去装业务。比如传统行业的官网、访问量少的网站,不是特别重要的网站,一台服务器就OK,挂了我们再恢复,顶多是一段时间无法访问。

像一些存在交易性质的网站,无时无刻不再交易,所以不能挂掉。需要用多台服务器去抗流量,抗并发。

LNMP框架:Linux操作系统,Nginx,MySQL数据库,PHP代码

也可以是:Linux,Nginx,MySQL,Python

LNMP框架:Linux,Nginx,MySQL,Tomcat(java)

LAMP框架:Linux,Apache,MySQL,PHP,Python

用户访问流程:

1.用户通过网络访问到达防火墙,这里centos6是Iptable,centos7是Firewalld,也有WAF防火墙,用于阻挡web层面的攻击。

2.再通过负载均衡,把流量分布到服务器中,这里的软件有Nginx,Haproxy,LVS,硬件有F5。

3.服务器中服务有Nginx、Tomcat、Apache、PHP(web服务器用于连接数据库的服务)

4.此时看请求是什么,请求热点的数据用Redis缓存服务器,如果是请求动态数据,就去找数据库,如果是请求静态数据,就找文件存储服务器(NFS、NAS、OSS),文件储存服务器也有缓存,叫CDN,不在自己的web服务器上去拿数据。

5.这些运行过程都可以通过ELK服务(日志展示平台)展示出来。还会用到zabbix监控,出现问题及时发现。可以用Ansible批量化管理。这些服务可能会部署到以下地方。

1、Vmware虚拟机(教学使用)

2、公有云(阿里云、腾讯云、亚马逊云平台)

3、私有云平台,自己公司购买服务器组成虚拟化平台Openstack

4、硬件/托管到idc机房,基于硬件的Docker Kubeneters

代码上线相关,开发写完代码扔到代码管理平台gitlab或者github,再用Jenkins进行拉取代码质量检测,检测有没有bug或漏洞,检测完之后通知相关人员,没有问题后,运维再用Jenkins先部署到一台服务器测试(人工、工具检测,指标反馈)

虚拟机准备

我们先创建一个模板机,正常创建虚拟机即可,不会创建看下面文章。

如何在VMware上创建Linux系统(CentOS7.9)

创建好后我们连接Xshell进行虚拟机优化,不会连接看下面文章。

如何用Xshell连接VMware虚拟机及排查问题

优化linux系统流程

1、修改默认YUM仓库和扩展epel仓库

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

添加扩展仓库:

yum -y install wget

wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo

2、安装常用命令

yum -y install net-tools lrzsz wget tree vim unzip bash-completion bash-completion-extra ntpdate

3、增加一块内网网卡,并将网卡命名为eth1

 

vim /etc/sysconfig/network-scripts/ifcfg-eth0,优化网卡文件,删除多余部分

详细可见此文章:优化网卡配置文件

cp ifcfg-eth0 ifcfg-eth1 #复制成eth1网卡文件

vim ifcfg-eth1 #修改成如下状态

4、优化服务器

systemctl disable firewalld

systemctl stop firewalld

5、关闭selinux

6、调整进程最大打开文件数量

echo '* - nofile 65535' >> /etc/security/limits.conf

7、reboot重启虚拟机

优化过后我们可以通过检查防火墙状态或者查看命令是否可以用等方式测试下是否优化好。

没有问题后,我们关机,做个快照,进行克隆。

克隆虚拟机流程

以准备Rsync备份服务器为例:

我们使用链接克隆,要保证模板机一直可以用,否则克隆机也用不了了。

克隆好后,我们把克隆机打开,修改IP地址、修改主机名称、重启、创建新的xshell会话、做快照(可以开着做,不用挂起)

1. [root@formwork ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0
2. TYPE=Ethernet
3. BOOTPROTO=none
4. NAME=eth0
5. DEVICE=eth0
6.   BOOT=yes
7. IPADDR=10.0.0.41
8. PREFIX=24
9. GATEWAY=10.0.0.2
10. DNS1=223.5.5.5
11. ~                                                   
12. ~                                                   
13. ~                                                   
14. ~                                                   
15. ~                                                   
16. ~                                                   
17. <pts/ifcfg-eth0" 9L, 121C written 
18. [root@formwork ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth1
19. TYPE=Ethernet
20. BOOTPROTO=none
21. NAME=eth0
22. DEVICE=eth0
23. ONBOOT=yes
24. IPADDR=172.16.1.41
25. PREFIX=24
26. ~                                                   
27. ~                                                   
28. ~                                                   
29. ~                                                   
30. ~                                                   
31. ~                                                   
32. ~                                                   
33. ~                                                   
34. <ipts/ifcfg-eth1" 7L, 91C written 
35. [root@formwork ~]#

hostnamectl set-hostname backup


我是koten,10年运维经验,持续分享运维干货,感谢大家的阅读和关注!

目录
相关文章
|
9月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
7月前
|
消息中间件 负载均衡 中间件
⚡ 构建真正的高性能即时通讯服务:基于 Netty 集群的架构设计与实现
本文介绍了如何基于 Netty 构建分布式即时通讯集群。随着用户量增长,单体架构面临性能瓶颈,文章对比了三种集群方案:Nginx 负载均衡、注册中心服务发现与基于 ZooKeeper 的消息路由架构。最终选择第三种方案,通过 ZooKeeper 实现服务注册发现与消息路由,并结合 RabbitMQ 支持跨服务器消息广播。文中还详细讲解了 ZooKeeper 搭建、Netty 集群改造、动态端口分配、服务注册、负载均衡及消息广播的实现,构建了一个高可用、可水平扩展的即时通讯系统。
854 0
|
5月前
|
存储 监控 NoSQL
Redis高可用架构全解析:从主从复制到集群方案
Redis高可用确保服务持续稳定,避免单点故障导致数据丢失或业务中断。通过主从复制实现数据冗余,哨兵模式支持自动故障转移,Cluster集群则提供分布式数据分片与水平扩展,三者层层递进,保障读写分离、容灾切换与大规模数据存储,构建高性能、高可靠的Redis架构体系。
|
10月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
10月前
|
存储 NoSQL Redis
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
|
11月前
|
并行计算 PyTorch 算法框架/工具
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。
1026 3
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
|
11月前
|
存储 SQL 并行计算
【赵渝强老师】达梦数据库MPP集群的架构
达梦数据库提供大规模并行处理(MPP)架构,以低成本实现高性能并行计算,满足海量数据存储和复杂查询需求。DM MPP采用完全对等无共享体系,消除主节点瓶颈,通过多节点并行执行提升性能。其执行流程包括主EP生成计划、分发任务、各EP并行处理及结果汇总返回。为确保高可用性,建议结合数据守护部署。
429 0
|
4月前
|
人工智能 运维 监控
运维安全还能靠“人盯人”?别闹了,聊聊自动化处理的真功夫
运维安全还能靠“人盯人”?别闹了,聊聊自动化处理的真功夫
205 17
|
9月前
|
数据采集 机器学习/深度学习 人工智能
运维人的“福音”?AI 驱动的自动化网络监控到底香不香!
运维人的“福音”?AI 驱动的自动化网络监控到底香不香!
1088 0
|
6月前
|
人工智能 运维 安全
运维老哥的救星?AI 驱动的自动化配置管理新趋势
运维老哥的救星?AI 驱动的自动化配置管理新趋势
350 11

热门文章

最新文章