大数据集群安装手册之服务安装篇

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生数据库 PolarDB MySQL 版,通用型 2核4GB 50GB
云原生数据库 PolarDB PostgreSQL 版,标准版 2核4GB 50GB
简介: 在大数据集群的安装前准备工作完成后,就可以开始正式安装服务了。Centos7下,HDP(ambari)集群的服务安装篇

大数据集群安装手册之服务安装篇

(大数据集群安装手册之准备工作篇

1.安装Ambari服务

1.1.安装Ambari
1.在服务器主机上执行ambari服务
yum install ambari-server
2.当提示确认安装和相关性检查时,输入y。
Installing : postgresql-libs-9.2.18-1.el7.x86_64 1/4
Installing : postgresql-9.2.18-1.el7.x86_64 2/4
Installing : postgresql-server-9.2.18-1.el7.x86_64 3/4
Installing : ambari-server-2.6.1.5-3.x86_64 4/4
Verifying : ambari-server-2.6.1.5-3.x86_64 1/4
Verifying : postgresql-9.2.18-1.el7.x86_64 2/4
Verifying : postgresql-server-9.2.18-1.el7.x86_64 3/4
Verifying : postgresql-libs-9.2.18-1.el7.x86_64 4/4

Installed:
ambari-server.x86_64 0:2.6.1.5-3
Dependency Installed:
postgresql.x86_64 0:9.2.18-1.el7
postgresql-libs.x86_64 0:9.2.18-1.el7
postgresql-server.x86_64 0:9.2.18-1.el7
Complete!

1.2.配置Ambari服务
在启动ambari服务器之前,必须设置ambari服务。安装程序将为ambari服务配置与数据库的连接,安装JDK,并允许自定义用于运行ambari服务守护程序的用户帐户。
在ambari服务器主机上运行以下命令以启动配置过程。
ambari-server setup
在弹出的输入提示中作出响应
1.如果没有禁用SELinux,可能会收到警告。接受默认值(Y),然后继续。
2.默认情况下,Ambari服务器以root用户运行。在Ambari服务守护进程的自定义用户帐户提示下接受默认值(n),以root用户身份继续。
3.如果没有暂时禁用防火墙,可能会收到警告。输入y继续。
4.选择要使用的JDK版本。输入1下载Oracle JDK 1.8。或者,可以选择自定义JDK。如果选择自定义JDK,则必须手动在所有主机上安装JDK,并指定Java Home路径。
5.在高级数据库配置选项时选择n,使用默认的嵌入式PostgreSQL数据库。PostgreSQL数据库的默认名称是ambari。默认用户名和密码是ambari/bigdata。否则,要使用现有的PostgreSQL、MySQL/Mariadb或Oracle数据库,请选择Y。
6.在继续配置远程数据库连接属性[Y/N]时,选择Y。
7.安装完成。

2.安装、配置、部署HDP集群

2.1.启动Ambari服务
在服务主机上执行以下命令
ambari-server start
检查Ambari 服务状态
ambari-server status
停止Ambari 服务
ambari-server status

2.2.登录Ambari页面
登录Ambari配置页前需确保Ambari服务已经启动。
1.使用网页浏览器访问:
http://<your.ambari.server>:
<your.ambari.server> 是Ambari服务器主机的域名
2.先使用默认的用户名/密码:admin/admin,登录Ambari服务页面。
从安全角度考虑,一定要修改为强密码。

2.3.启动Ambari集群安装向导(界面配置部分)

1.为集群取名
在集群名称(Name your cluster)中,键入要创建的集群的名称。名称中不能使用空格或特殊字符。

2.选择安装版本
选择软件包栈
选择版本

3.选择配置本地源
依据当前的操作系统和版本,选择已经配置好的安装库源路径。

4.安装选项
确认主机
选择安装的服务
分配各服务的Master
分配各服务的Slaves和Clients
自定义服务配置项
检查配置信息
开始安装、启动、测试
总结
完成集群部署

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
相关文章
|
4月前
|
分布式计算 运维 数据挖掘
MaxCompute是一个强大的云数据仓库服务
【4月更文挑战第1天】MaxCompute是一个强大的云数据仓库服务
85 1
|
29天前
|
DataWorks Kubernetes 大数据
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
|
4月前
|
存储 分布式计算 算法
【底层服务/编程功底系列】「大数据算法体系」带你深入分析MapReduce算法 — Shuffle的执行过程
【底层服务/编程功底系列】「大数据算法体系」带你深入分析MapReduce算法 — Shuffle的执行过程
72 0
|
22天前
|
机器学习/深度学习 分布式计算 BI
MaxCompute 与阿里云其他服务的协同工作
【8月更文第31天】在当今的数据驱动时代,企业需要处理和分析海量数据以获得有价值的洞察。阿里云提供了一系列的服务来满足不同层次的需求,从数据存储到高级分析。MaxCompute(原名 ODPS)作为阿里云的大规模数据处理平台,提供了强大的计算能力和丰富的功能,可以与阿里云的其他服务无缝集成,形成完整的大数据解决方案。本文将探讨 MaxCompute 如何与其他阿里云服务协同工作,包括存储服务 OSS、数据分析服务 Quick BI 以及机器学习平台 PAI。
19 0
|
1月前
|
监控 数据可视化 前端开发
【前端】政务服务大数据可视化监控平台(源码+html+css+js)
【前端】政务服务大数据可视化监控平台(源码+html+css+js)
|
1月前
|
分布式计算 大数据 Hadoop
最快方式搭建docker大数据 测试集群
【8月更文挑战第5天】快速搭建Docker大数据测试集群可采用预构建镜像与Compose文件、利用云服务如AWS的ECS、自动化工具如Ansible或参考在线教程。只需简单配置如内存分配及路径,运行`docker-compose up`即可启动含NameNode、DataNode等组件的Hadoop集群。根据需求与资源选择合适方法。
|
2月前
|
存储 SQL 机器学习/深度学习
阿里云数加大数据计算服务MaxCompute学习路线图:从入门到精通
将所学知识应用于实际工作中并不断进行实践和创新是提升技术能力的关键所在。用户可以结合业务需求和技术发展趋势积极探索新的应用场景和解决方案,并在实践中不断总结经验和教训以提升自己的技术水平和实践能力。
|
2月前
|
人工智能 自然语言处理 小程序
政务VR导航:跨界融合AI人工智能与大数据分析,打造全方位智能政务服务
政务大厅引入智能导航系统,解决寻路难、指引不足及咨询台压力大的问题。VR导视与AI助手提供在线预览、VR路线指引、智能客服和小程序服务,提高办事效率,减轻咨询台工作,优化群众体验,塑造智慧政务形象。通过线上线下结合,实现政务服务的高效便民。
90 0
政务VR导航:跨界融合AI人工智能与大数据分析,打造全方位智能政务服务
|
2月前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之如何确定是否需要更改MC的Endpoint服务接入架构
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
2月前
|
运维 监控 大数据
部署-Linux01,后端开发,运维开发,大数据开发,测试开发,后端软件,大数据系统,运维监控,测试程序,网页服务都要在Linux中进行部署
部署-Linux01,后端开发,运维开发,大数据开发,测试开发,后端软件,大数据系统,运维监控,测试程序,网页服务都要在Linux中进行部署