大数据集群安装手册之服务安装篇

简介: 在大数据集群的安装前准备工作完成后,就可以开始正式安装服务了。Centos7下,HDP(ambari)集群的服务安装篇

大数据集群安装手册之服务安装篇

(大数据集群安装手册之准备工作篇

1.安装Ambari服务

1.1.安装Ambari
1.在服务器主机上执行ambari服务
yum install ambari-server
2.当提示确认安装和相关性检查时,输入y。
Installing : postgresql-libs-9.2.18-1.el7.x86_64 1/4
Installing : postgresql-9.2.18-1.el7.x86_64 2/4
Installing : postgresql-server-9.2.18-1.el7.x86_64 3/4
Installing : ambari-server-2.6.1.5-3.x86_64 4/4
Verifying : ambari-server-2.6.1.5-3.x86_64 1/4
Verifying : postgresql-9.2.18-1.el7.x86_64 2/4
Verifying : postgresql-server-9.2.18-1.el7.x86_64 3/4
Verifying : postgresql-libs-9.2.18-1.el7.x86_64 4/4

Installed:
ambari-server.x86_64 0:2.6.1.5-3
Dependency Installed:
postgresql.x86_64 0:9.2.18-1.el7
postgresql-libs.x86_64 0:9.2.18-1.el7
postgresql-server.x86_64 0:9.2.18-1.el7
Complete!

1.2.配置Ambari服务
在启动ambari服务器之前,必须设置ambari服务。安装程序将为ambari服务配置与数据库的连接,安装JDK,并允许自定义用于运行ambari服务守护程序的用户帐户。
在ambari服务器主机上运行以下命令以启动配置过程。
ambari-server setup
在弹出的输入提示中作出响应
1.如果没有禁用SELinux,可能会收到警告。接受默认值(Y),然后继续。
2.默认情况下,Ambari服务器以root用户运行。在Ambari服务守护进程的自定义用户帐户提示下接受默认值(n),以root用户身份继续。
3.如果没有暂时禁用防火墙,可能会收到警告。输入y继续。
4.选择要使用的JDK版本。输入1下载Oracle JDK 1.8。或者,可以选择自定义JDK。如果选择自定义JDK,则必须手动在所有主机上安装JDK,并指定Java Home路径。
5.在高级数据库配置选项时选择n,使用默认的嵌入式PostgreSQL数据库。PostgreSQL数据库的默认名称是ambari。默认用户名和密码是ambari/bigdata。否则,要使用现有的PostgreSQL、MySQL/Mariadb或Oracle数据库,请选择Y。
6.在继续配置远程数据库连接属性[Y/N]时,选择Y。
7.安装完成。

2.安装、配置、部署HDP集群

2.1.启动Ambari服务
在服务主机上执行以下命令
ambari-server start
检查Ambari 服务状态
ambari-server status
停止Ambari 服务
ambari-server status

2.2.登录Ambari页面
登录Ambari配置页前需确保Ambari服务已经启动。
1.使用网页浏览器访问:
http://<your.ambari.server>:
<your.ambari.server> 是Ambari服务器主机的域名
2.先使用默认的用户名/密码:admin/admin,登录Ambari服务页面。
从安全角度考虑,一定要修改为强密码。

2.3.启动Ambari集群安装向导(界面配置部分)

1.为集群取名
在集群名称(Name your cluster)中,键入要创建的集群的名称。名称中不能使用空格或特殊字符。

2.选择安装版本
选择软件包栈
选择版本

3.选择配置本地源
依据当前的操作系统和版本,选择已经配置好的安装库源路径。

4.安装选项
确认主机
选择安装的服务
分配各服务的Master
分配各服务的Slaves和Clients
自定义服务配置项
检查配置信息
开始安装、启动、测试
总结
完成集群部署

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
4月前
|
存储 数据采集 搜索推荐
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
本篇文章探讨了 Java 大数据在智慧文旅景区中的创新应用,重点分析了如何通过数据采集、情感分析与可视化等技术,挖掘游客情感需求,进而优化景区服务。文章结合实际案例,展示了 Java 在数据处理与智能推荐等方面的强大能力,为文旅行业的智慧化升级提供了可行路径。
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
|
7月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
5月前
|
分布式计算 搜索推荐 算法
Java 大视界 -- Java 大数据在智慧养老服务需求分析与个性化服务匹配中的应用(186)
本篇文章探讨了Java大数据技术在智慧养老服务需求分析与个性化服务匹配中的应用。通过整合老年人健康数据与行为数据,结合机器学习与推荐算法,实现对老年人健康风险的预测及个性化服务推荐,提升养老服务的智能化与精准化水平,助力智慧养老高质量发展。
|
5月前
|
SQL 缓存 监控
大数据之路:阿里巴巴大数据实践——实时技术与数据服务
实时技术通过流式架构实现数据的实时采集、处理与存储,支持高并发、低延迟的数据服务。架构涵盖数据分层、多流关联,结合Flink、Kafka等技术实现高效流计算。数据服务提供统一接口,支持SQL查询、数据推送与定时任务,保障数据实时性与可靠性。
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
267 5
|
8月前
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
存储 数据采集 监控
大数据技术:开启智能决策与创新服务的新纪元
【10月更文挑战第5天】大数据技术:开启智能决策与创新服务的新纪元
zdl
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评:实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比,涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务,显著降低了运维成本,提供了强大的集成能力和弹性扩展,特别适合中小型团队和业务波动大的场景。文中还提出了改进建议,并探讨了与其他产品的联动可能性。总结指出,实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色,是大数据实时计算的优选方案。
zdl
565 56
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
203 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
SQL 存储 大数据
单机顶集群的大数据技术来了
大数据时代,分布式数仓如MPP成为热门技术,但其高昂的成本让人望而却步。对于多数任务,数据量并未达到PB级,单体数据库即可胜任。然而,由于SQL语法的局限性和计算任务的复杂性,分布式解决方案显得更为必要。esProc SPL作为一种开源轻量级计算引擎,通过高效的算法和存储机制,实现了单机性能超越集群的效果,为低成本、高效能的数据处理提供了新选择。

热门文章

最新文章