分布式系统详解--架构(Hadoop-克隆服务器)

简介: 分布式系统详解--架构(Hadoop-克隆服务器)

      分布式系统详解--架构(Hadoop-克隆服务器)

        分布式系统上一个呢,写了一下分布式系统的单机版安装教程,并且对于hadoop来说进行了一个单机版的应用测试。我们这篇文章主要讲解一下利用hadoop来进行分布式搭建。当然在搭建分布式集群之前也要仔细的了解一下hadoop的一些原理,比如说:HDFS原理和YARN原理

一、克隆服务器(基于虚拟机VMware)


右键服务器--> 管理-->克隆 (下一步)录制小视频~~

二、克隆后配置(修改新创建的服务器信息)


2.1 修改主机名

A. 临时修改 hostname centos01 这个重启之后就会失效。

B. 保存修改  /etc/sysconfig/network添加HOSTNAME=centos01

2.2 修改网卡信息

vi /etc/udev/rules.d/70-persistent-net.rules

看到两个几乎相似的信息,删掉上面的,留着下面的。将NAME="eth1"改为NAME="eth0"。

2.3 修改ip信息


vi /etc/sysconfig/network-scripts/ifcfg-eth0

1,修改UUID将其设置为另外一个十六进制的数

2,HWADDR数值为该服务器中网络适配器里面高级设置中的MAC地址。

3,IPADDR的值是IP 地址,我的虚拟机中服务器为233,将233设置为了234。自己可以自行修改

2.4 修改映射

vi /etc/hosts

根据上面的MyLinux 添加centos01的映射。

2.5 重启网卡

service network restart

倘若重启失败,最后一个出现了失败,那就重启一下服务器,再重新测试一下。

这样我们就克隆一个服务器完成。

2.6 重新克隆一个服务器,叫做centos02 ip地址是192.168.71.235


2.7 互相ping命令,看是否能进行ping通


OK。进行到这儿我们就可以进行下一步配置了,就是hadoop的集群配置,这个放在下一个来说~~

目录
相关文章
|
5天前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
28 7
|
12天前
|
机器学习/深度学习 弹性计算 人工智能
阿里云服务器ECS架构区别及选择参考:X86计算、ARM计算等架构介绍
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别,本文主要简单介绍下这些架构各自的主要性能及适用场景,以便大家了解不同类型的架构有何不同,主要特点及适用场景有哪些。
|
17天前
|
存储 人工智能 运维
面向AI的服务器计算软硬件架构实践和创新
阿里云在新一代通用计算服务器设计中,针对处理器核心数迅速增长(2024年超100核)、超多核心带来的业务和硬件挑战、网络IO与CPU性能增速不匹配、服务器物理机型复杂等问题,推出了磐久F系列通用计算服务器。该系列服务器采用单路设计减少爆炸半径,优化散热支持600瓦TDP,并实现CIPU节点比例灵活配比及部件模块化可插拔设计,提升运维效率和客户响应速度。此外,还介绍了面向AI的服务器架构挑战与软硬件结合创新,包括内存墙问题、板级工程能力挑战以及AI Infra 2.0服务器的开放架构特点。最后,探讨了大模型高效推理中的显存优化和量化压缩技术,旨在降低部署成本并提高系统效率。
|
25天前
|
运维 数据挖掘 索引
服务器数据恢复—Lustre分布式文件系统服务器数据恢复案例
5台节点服务器,每台节点服务器上有一组RAID5阵列。每组RAID5阵列上有6块硬盘(其中1块硬盘设置为热备盘,其他5块硬盘为数据盘)。上层系统环境为Lustre分布式文件系统。 机房天花板漏水导致这5台节点服务器进水,每台服务器都有至少2块硬盘出现故障。每台服务器中的RAID5阵列短时间内同时掉线2块或以上数量的硬盘,导致RAID崩溃,服务器中数据无法正常读取。
|
2月前
|
机器学习/深度学习 弹性计算 人工智能
阿里云服务器架构有啥区别?X86计算、Arm、GPU异构、裸金属和高性能计算对比
阿里云ECS涵盖x86、ARM、GPU/FPGA/ASIC、弹性裸金属及高性能计算等多种架构。x86架构采用Intel/AMD处理器,适用于广泛企业级应用;ARM架构低功耗,适合容器与微服务;GPU/FPGA/ASIC专为AI、图形处理设计;弹性裸金属提供物理机性能;高性能计算则针对大规模并行计算优化。
108 7
|
2月前
|
存储 缓存 弹性计算
Codota的服务器存储架构
Codota的服务器存储架构
37 5
|
3月前
|
监控 网络协议 安全
DNS服务器故障不容小觑,从应急视角谈DNS架构
DNS服务器故障不容小觑,从应急视角谈DNS架构
85 4
|
3月前
|
机器学习/深度学习 监控 Serverless
无服务器架构(Serverless)
无服务器架构(Serverless)
119 4
|
3月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
213 6
|
3月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
99 2

热门文章

最新文章