CDH 搭建_仓库搭建_配置仓库服务器和源|学习笔记

简介: 快速学习 CDH 搭建_仓库搭建_配置仓库服务器和源

开发者学堂课程【2020版大数据实战项目之 DMP 广告系统(第二阶段) CDH 搭建_仓库搭建_配置仓库服务器和源】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/677/detail/11768


CDH 搭建_仓库搭建_配置仓库服务器和源


内容介绍:

一、安装 HTTP 服务器软件

二、创建 Yum 仓库的 HTTP 目录

三、在三台主机上配置 Yum 源

 

上节课已经把仓库整理完成并提供给大家,大家直接上传到虚拟机里即可。目前已经下载了 cloudera 的源,即在仓库下载步骤中将源放进 yum 源的配置目录里。接下来,搭建一个本地的 Yum 仓库服务器,就需要从服务器当中下载相应的包供别人进行使用。第一步,搭建 HTTP 的服务器, Yum 其实就是 Python 写的一个客户端软件,它能够管理系统里各种各样的安装包,并使用HTTP协议下载安装包。这样就需要去安装仓库的 HTTP 服务器。第二步,创建 HTTP 目录,把仓库放到目录当中。第三步,在三台主机上分别配置 Yum 源,指向创建的服务器,上述内容是大致的创建步骤。

 

一、安装 HTTP 服务器软件

首先,进入到 mobile xterm 当中,输入 cd 回到目录, clear 清空。接下来,输入 yum install -y httpd 安装 Apache 服务器。如下图。

image.png

装 nts 也能够提供文件下载服务。但是,如果需要进行一些配置还是比较麻烦的。这时开始安装,完成后可以看到启动成功。成功安装了 httpd Apache HTTP 的服务器,因为 HTTP 服务器默认情况下会占用80端口对外提供 HTTP 服务,并且会有一个默认的 HTTP 目录,在访问时就会直接到达该目录中。如何进行相应的配置?虽然成功下载 HTTPD ,但是还需要通过 service httpd start ,去运行 HTTP 服务,并且使用 chkconfig httpd on 进行开机自动加载。其他工具不用开机自动加载,因为 httpd 一般都会用到,所以在这里进行自动加载。如下图。

image.png

打开浏览器选中192.168.169.101,就可以直接访问到。如下图。

image.png

可以发现 Apache 服务器给出默认页面。有兴趣的可以看服务器说明页面。这时会默认跟踪目录,输入 mkdir -p /var/www/html/cdh/5, /var/www/html/ 是默认的会访问到Apache 服务器加载跟踪的目录。如下图。

image.png

 

二、创建 Yum 仓库的 HTTP 目录

创建 cdh 5的两个目录,也就是创建两级目录,就可以通过相应的浏览器进行访问、查看。进入浏览器当中,在 url 后直接输入 cdh ,可以发现它自动呈现目录。如下图。

image.png

点击文件5,可以看到下图。

image.png

会发现其实它是比较类似于一个普通的文件服务器。回到窗口, mv cloudera -cdh5/RPMS 的文件夹,拷贝到 /var/www/html/cdh/5 的目录中。拷贝完成之后进行相应的查看,输入 cd /var/www/html/cdh/5 ,去查看 RPMS 是否已经完成拷贝。如下图。

image.png

再次打开浏览器,进行刷新,就会发现 RPMS 的文件夹,如下图。

image.png

进入点击 noarch ,可以发现这些文件都是可以下载的。如下图。

image.png

比如下载 avro-doc ,完成后它就处于下载目录中,这就是 rpm 服务器的搭建。到此为止,就可以通过 url 去下载文件, yum-repo 仓库搭建成功。接下来配置 Yum 源;首先,修改配置文件, cloudera  Yum 源的配置文件在 /etc/ yum.repos.d 中,叫做 cloudera-cdh5.repo 。接下来,修改该文件,将 baseurl=https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/5/ 修改为 baseurl=http://cdh 01/cdh/5/。这就是默认的IP地址,此时相应步骤已完成。如下图。

image.png

这时可以使用刚才搭建的 Yum 源。理论上,现在使用 yum install -y avro 就可以直接进行安装。但是在 cdh5 的目录中,它不是一个下载服务器,也不是Yum源的服务器。要使用 createrepo . 的命令,这个点就是当前的 repo 目录,它提供了一些可以供外部进行相应查看的功能。如下图。

image.png

这时输入 repo 等待仓库的创建。仓库索引创建完成之后输入 ls 查看。这时发现多了一个叫做 repodata 的目录。如下图。

image.png 

此时 HTTP 的整个服务创建成功。


三、在三台主机上配置 Yum 源

但是现在只配置了 cdh 01的源,还要在 cdh 02中配置源。配置步骤是进入到用户目录下,打开笔记,找到第一步骤。把 wegt https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/cloudera-cdh5.repo 、 mv cloudera -cdh5.repo /ETC/yum.repos.d/ 初始源先下载,放在源的配置文件中。如下图。

image.png

接着直接右击 Paste 执行,这时没有 wget ,所以需要输入 yum install - y wget 。如下图。

image.png

接下来,等待安装同时进入到 cdh 03中输入 yum install - y wget 。之后回到 cdh 02中,下载完成后,再次拷贝刚才的内容。下载完成后把 cloudera-cdh5.repo 文件移动到 Yum 仓库的原配置文件夹 yum.repos.d 中。如下图。

image.png

移动完成后,直接修改 yum.repos.d ,找到 cloudera-cdh5.repo 。

image.png

修改要做的是将 baseurl=https://archive.cloudera.com/cdh 5/redhat/6/x86_64/cdh/5/ 修改为 baseurl=http://cdh 01/cdh/5/ 即可。 接下来,在 cdh 03中进行 Paste ,打开笔记重新复制,粘贴,执行。这是第一步下载。下载完成后把它移动进去,修改 vi /etc/yum.repos.d/cloudera-cdh5.repo 。接着修改 baseurl 的最后一个位置,修改为 cdh 01的仓库地址。这时,三台机器的 Yum 源就已经配置完成。接下来再安装其他组件时,就可以直接通过 Yum cdh 01的 Yum 仓库里进行相应的下载。

 

相关文章
|
2月前
|
弹性计算 ice
阿里云4核8G云服务器配置价格:热门ECS实例及CPU处理器型号说明
阿里云2025年4核8G服务器配置价格汇总,涵盖经济型e实例、计算型c9i等热门ECS实例,CPU含Intel Xeon及AMD EPYC系列,月费159元起,年付低至1578元,按小时计费0.45元起,实际购买享折扣优惠。
564 1
|
2月前
|
Shell 网络安全 开发工具
服务器已经搭建好的项目如何关联至gitee对应仓库并且将服务器的项目代码推送至gitee-优雅草卓伊凡
服务器已经搭建好的项目如何关联至gitee对应仓库并且将服务器的项目代码推送至gitee-优雅草卓伊凡
219 5
|
2月前
|
弹性计算 定位技术 数据中心
阿里云服务器配置选择方法:付费类型、地域及CPU内存配置全解析
阿里云服务器怎么选?2025最新指南:就近选择地域,降低延迟;长期使用选包年包月,短期灵活选按量付费;企业选2核4G5M仅199元/年,个人选2核2G3M低至99元/年,高性价比爆款推荐,轻松上云。
193 11
|
2月前
|
存储 弹性计算 网络协议
超详细的阿里云服务器购买流程,ECS自定义购买配置教程
本文详细图解阿里云ECS服务器自定义购买全流程,涵盖付费模式、地域选择、网络配置、实例规格、镜像、存储、安全组及登录设置等核心步骤,助您轻松掌握专业级云服务器搭建方法。
|
2月前
|
存储 弹性计算 监控
阿里云渠道商:如何挑选阿里云服务器配置?
本文详解通用型、计算型、内存型等实例适用场景,结合性能评估与成本优化策略,助力用户按需选择。以日均1万访问企业网站为例,2核4G+3M带宽月费约200元,性价比高。合理配置更省钱。
|
2月前
|
弹性计算
阿里云ECS云服务器8核16G配置收费价格,多种ECS实例CPU及费用清单
阿里云8核16G云服务器价格因实例类型而异。计算型c9i约743元/月,一年6450元(7折);通用算力型u1仅673元/月,一年4225元(5.1折)。实际价格享时长折扣,详情见ECS官网。
|
2月前
|
弹性计算 Windows
阿里云香港服务器收费价格:香港ECS和轻量应用服务器配置介绍
2025年阿里云香港服务器优惠汇总:ECS 2核4G+5M带宽仅199元/年;轻量服务器30M带宽24元/月起,200M峰值带宽25元/月起。轻量性价比高,适合个人及中小企业建站、跨境业务,具体配置价格详见官方活动页。
1111 1
|
3月前
|
弹性计算 定位技术 数据中心
阿里云服务器选择方法:配置、地域及付费模式全解析
2025阿里云服务器选购指南:就近选择地域以降低延迟,企业用户优选2核4G5M带宽u1实例,仅199元/年;个人用户可选2核2G3M带宽ECS,99元/年起。长期稳定业务选包年包月,短期或波动场景用按量付费,轻松搭建网站首选高性价比配置。

热门文章

最新文章