ESC使用体验

简介: 需要使用云服务器搭建Hadoop集群,比较了阿里云和腾讯云后,选择了阿里云的飞天加速计划

本人是一名的大三的软件工程(大数据技术方向)的学生,由于本学期需要学习大数据原理与实践,而学习这门课首先要学习Hadoop的搭建和使用,所以我使用了三台本地虚拟机来搭建了Hadoop集群,但是因为后期需要搭建网站收集网络数据进行学习计算,所以我需要一台云服务器来搭建Hadoop集群。由于跟随企业老师的学习需要用时两个月,而其他的云服务器只能领取一个月,于是我选择了阿里云的飞天加速计划,阿里云的飞天加速计划预计可以领取两个月的云服务器使用,足够支撑我完成学习Hadoop,感谢阿里云的飞天加速计划
阿里云的云服务器管理控制台很好用,不仅可以详细的监控云服务器、设置云服务器的防火墙端口等相关参数,它还会实时报警一些云服务器的风险,使得你能更好的掌控自己的服务器。
在这里分享一下搭建伪分布式Hadoop的过程和遇到的问题:1:上传合适的jdk和Hadoop安装包,上传完成后解压到相应的路径2:配置jdk和Hadoop的环境变量,配置主机映射3:配置core-site.xml文件,指定namenode的地址和Hadoop数据的存储目录4:配置hdfs—site.xml文件,指定namenode的访问地址和Secondarynamenode的地址和HDFS副本数量为15:配置mapred-site.xml文件,指定MapReduce程序运行在Yarn上6:配置yarn-site.xml文件,指定MR走shuffle、指定ResourceManager的地址、继承环境变量7:初始化HDFS、启动HDFS和YARN
也分享一下搭建环境时遇到的问题:我在配置完环境后,发现进程全部运行正常,但是访问不了namenode的客户端,一番排查之后解决了:需要在阿里云控制台开放namenode设置的端口,还有就是云服务器是有一个共网IP和一个私网IP,如果在配置完hadoop集群并成功启动后发现无法在浏览器访问客户端,除了没开放端口外,也可能是配置时搞错了IP,导致浏览器不能正确的指向客户端。
通过这次使用ECS搭建Hadoop的过程,我学习到了Hadoop和云服务器的使用,了解到了ESC的原理和运行过程,感谢阿里云的飞天加速计划

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
消息中间件 开发者 微服务
构建高效代码:模块化设计原则的实践与思考
【2月更文挑战第14天】在软件开发的世界中,编写可维护、可扩展且高效的代码是每个开发者追求的目标。本文将探讨如何通过应用模块化设计原则来提升代码质量,分享一些实践中的经验教训以及对未来技术趋势的思考。
434 1
|
存储 安全 机器人
如何下载阿里云视频点播数据
如何下载阿里云视频点播(VOD)数据
984 0
|
数据可视化 JavaScript 图形学
Threejs实现音乐节奏表演
这篇文章详细介绍了如何使用Three.js结合音频频谱分析来创建一个随着音乐节奏变化的3D视觉表演,提供了实现音乐可视化效果的具体步骤和代码示例。
375 60
Threejs实现音乐节奏表演
|
存储 自然语言处理 供应链
跨境电商团队如何高效管理项目?这5款协作工具值得尝试
跨境电商团队面临的全球化供应链、跨文化沟通、时区差异及语言障碍等挑战,可通过选择合适的协作工具来克服。推荐工具包括板栗看板、Trello、Slack、Asana和Zoom,它们分别在任务管理、即时通讯、项目跟踪和视频会议等方面提供强大支持,帮助团队提升效率、确保任务高效执行和顺畅沟通。
跨境电商团队如何高效管理项目?这5款协作工具值得尝试
|
运维 Kubernetes Docker
深入理解容器化技术:Docker与Kubernetes的协同工作
深入理解容器化技术:Docker与Kubernetes的协同工作
400 14
|
Linux 开发工具
linux文本管理命令
本文档介绍了Linux系统中常用的文本处理命令,包括`echo`、`cat`、`head`、`tail`、`wc`、`less`、`grep`以及重定向符号的使用方法和练习题。此外,还详细讲解了VIM编辑器的特点、工作模式、常用快捷键和高级技巧,帮助用户高效地进行文本编辑和处理。
311 4
|
设计模式 Java Spring
这个无敌设计,可以解析并运算任意数学表达式
下面用解释器模式来实现一个数学表达式计算器,包含加、减、乘、除运算。 首先定义抽象表达式角色IArithmeticInterpreter接口。
437 0
|
安全 Ubuntu 测试技术
l4re Getting started
l4re Getting started
790 0
|
运维 DataWorks 安全
DataWorks产品使用合集之如何查看空间资源、CPU、内存和存储空间容量
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。