分布式集群环境之域名映射与免密码登录

简介: 分布式集群环境之域名映射与免密码登录

0x00 教程内容


  1. 当前集群说明及目标
  2. 集群域名映射配置
  3. 集群免密码登录配置

0x01 当前集群说明及目标


1. 当前分布式集群说明

a. 目前已经克隆好了三台主机,除了hostname与ip,其他均一致

b. 全部均已经新建好hadoop-sny用户,密码是shaonaiyi

c. 全部俊已经配置好了NAT网络环境,ip分别为:


主机master的ip:192.168.128.131

主机slave1的ip:192.168.128.132

主机slave2的ip:192.168.128.133


d. 每台主机(主机又称为服务器)可以互相ping通,可以上外网


2. 当前集群目标说明

a. 配置好三台服务器的域名映射

意义:可以用用户名代替长长的ip地址,有利于操作和以后集群的迁移、运维等等

b. 配置好三台服务器可以免密码登录到对方

意义:以后的大数据环境需要用到,不然无法操作


0x02 集群域名映射配置


1. 域名映射

a. 编辑文件hosts并添加映射内容(三台服务器均需要操作

sudo vi /etc/hosts

192.168.128.131 master
192.168.128.132 slave1
192.168.128.133 slave2


image.png


b. 查看一遍是否添加成功(三台服务器均可以操作一下

cat /etc/hosts


image.png


2. 校验域名映射

a. 每台机器都跑一下下面三个指令,即用用户名代替了ip地址,一般不会出问题的)

ping master

ping slave1

ping slave2


image.png


0x03 集群免密码登录配置


1. 生成三台服务器的秘钥

a. 生成服务器密钥(输入指令后,连按三次回车

ssh-keygen

PS:三台机器均需要操作,注意本教程是用hadoop-sny用户操作


image.png


2. 配置公钥到authorized_keys文件

a. master上执行(将公钥id_rsa.pub写入到authorized_keys文件)


说明:生成的秘钥默认是在~/.ssh目录下,该目录下有公钥与私钥,我们将公钥写到authorized_keys中,相当于一个钥匙袋的功能,等一下要聚合slave1、slave2的钥匙到此处。


cd ~/.ssh

cat id_rsa.pub >> authorized_keys


image.png


b. slave1上执行(将公钥id_rsa.pub写入到authorized_keys1文件)

cd ~/.ssh

cat id_rsa.pub >> authorized_keys1


c. 将slave1的authorized_keys1文件拷贝到master节点的~/.ssh目录(如没有scp指令,master、slave1、slave2均执行yum install -y openssh-clients安装)

scp authorized_keys1 hadoop-sny@master:~/.ssh/

PS:第一次用scp指令需要输入密码,输入yes,然后输入master的hadoop-sny用户的密码:shaonaiyi即可显示拷贝成功!输入错就再输入一遍哈哈哈~


image.png


d. slave2上执行(将公钥id_rsa.pub写入到authorized_keys2文件)

cd ~/.ssh

cat id_rsa.pub >> authorized_keys2


e. 将slave2的authorized_keys2文件拷贝到master节点的~/.ssh目录

scp authorized_keys2 hadoop-sny@master:~/.ssh/


3. 聚合三台服务器的公钥到authorized_keys文件

a. 此时回到master查看,发现~/.ssh目录已经有三台服务器的公钥了,但是还没有聚合


image.png


b. 聚合公钥(其实就是把slave1、slave2的放到钥匙袋,目前master的已经在了)

cat authorized_keys1 >> authorized_keys

cat authorized_keys2 >> authorized_keys

c. 查看authorized_keys文件,发现有三台服务器的公钥了

cat authorized_keys


image.png


4. 分发钥匙袋到slave1、slave2服务器

a. 钥匙袋即authorized_keys文件

scp authorized_keys hadoop-sny@slave1:~/.ssh/

scp authorized_keys hadoop-sny@slave2:~/.ssh/


5. 校验免密码登录

a. 三台服务器均执行下面几句话:

ssh master

exit

ssh slave1

exit

ssh slave2

exit


image.png


PS:如果不用输入密码也能登录进彼此就说明成功了!

b. 注意:

一定要在测试完后要用exit退出回到之前的账号,不然可能会自己忘记了,没退出,导致之后操作的内容是在别的服务器操作的。

c. 提示:

一定要三台机器都测试,而且是这样的格式:ssh 用户名,不然后面用Hadoop等的使用过程中会出现要输入密码的情况。



0xFF 总结


为了方便,可以自己写一个校验校验的脚本,脚本可以参考教程:D002 复制粘贴玩大数据之便捷配置 的 0x03 编写查看各节点进程脚本 1. jps_all.sh脚本

域名映射与免密码登录,是学习大数据的基础。

a. 如果觉得大数据环境太复杂,可以参考本专栏:复制粘贴玩转大数据系列专栏,学习用Docker搭建大数据环境。

b. 如果基础好的话,可以直接学习此篇文章:

D012 复制粘贴玩大数据之Dockerfile安装Kafka集群

半个小时搭建好已经装好了hadoop、spark、zookeeper、hbase、hive、flume、kafka等的大数据环境!


相关文章
|
9月前
|
存储 负载均衡 NoSQL
【赵渝强老师】Redis Cluster分布式集群
Redis Cluster是Redis的分布式存储解决方案,通过哈希槽(slot)实现数据分片,支持水平扩展,具备高可用性和负载均衡能力,适用于大规模数据场景。
650 2
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
阿里云PolarDB云原生数据库在TPC-C基准测试中以20.55亿tpmC的成绩刷新世界纪录,展现卓越性能与性价比。其轻量版满足国产化需求,兼具高性能与低成本,适用于多种场景,推动数据库技术革新与发展。
|
Cloud Native 关系型数据库 分布式数据库
登顶TPC-C|云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
云原生数据库PolarDB技术揭秘:Limitless集群和分布式扩展篇
|
存储 分布式计算 负载均衡
分布式计算模型和集群计算模型的区别
【10月更文挑战第18天】分布式计算模型和集群计算模型各有特点和优势,在实际应用中需要根据具体的需求和条件选择合适的计算架构模式,以达到最佳的计算效果和性能。
904 162
|
并行计算 PyTorch 算法框架/工具
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
本文探讨了如何通过技术手段混合使用AMD与NVIDIA GPU集群以支持PyTorch分布式训练。面对CUDA与ROCm框架互操作性不足的问题,文章提出利用UCC和UCX等统一通信框架实现高效数据传输,并在异构Kubernetes集群中部署任务。通过解决轻度与强度异构环境下的挑战,如计算能力不平衡、内存容量差异及通信性能优化,文章展示了如何无需重构代码即可充分利用异构硬件资源。尽管存在RDMA验证不足、通信性能次优等局限性,但该方案为最大化GPU资源利用率、降低供应商锁定提供了可行路径。源代码已公开,供读者参考实践。
1343 3
融合AMD与NVIDIA GPU集群的MLOps:异构计算环境中的分布式训练架构实践
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
域名解析 网络协议 安全
反向DNS解析是从IP地址到域名的映射,主要作用于验证和识别,提高通信来源的可信度和可追溯性
在网络世界中,反向DNS解析是从IP地址到域名的映射,主要作用于验证和识别,提高通信来源的可信度和可追溯性。它在邮件服务器验证、网络安全等领域至关重要,帮助识别恶意行为,增强网络安全性。尽管存在配置错误等挑战,但正确管理下,反向DNS解析能显著提升网络环境的安全性和可靠性。
887 3
|
存储 监控 大数据
构建高可用性ClickHouse集群:从单节点到分布式
【10月更文挑战第26天】随着业务的不断增长,单一的数据存储解决方案可能无法满足日益增加的数据处理需求。在大数据时代,数据库的性能、可扩展性和稳定性成为企业关注的重点。ClickHouse 是一个用于联机分析处理(OLAP)的列式数据库管理系统(DBMS),以其卓越的查询性能和高吞吐量而闻名。本文将从我的个人角度出发,分享如何将单节点 ClickHouse 扩展为高可用性的分布式集群,以提升系统的稳定性和可靠性。
1590 0
|
9月前
|
存储 缓存 NoSQL
【📕分布式锁通关指南 12】源码剖析redisson如何利用Redis数据结构实现Semaphore和CountDownLatch
本文解析 Redisson 如何通过 Redis 实现分布式信号量(RSemaphore)与倒数闩(RCountDownLatch),利用 Lua 脚本与原子操作保障分布式环境下的同步控制,帮助开发者更好地理解其原理与应用。
760 6
|
10月前
|
存储 缓存 NoSQL
Redis核心数据结构与分布式锁实现详解
Redis 是高性能键值数据库,支持多种数据结构,如字符串、列表、集合、哈希、有序集合等,广泛用于缓存、消息队列和实时数据处理。本文详解其核心数据结构及分布式锁实现,帮助开发者提升系统性能与并发控制能力。