ESC使用体验

简介: 需要使用云服务器搭建Hadoop集群,比较了阿里云和腾讯云后,选择了阿里云的飞天加速计划

本人是一名的大三的软件工程(大数据技术方向)的学生,由于本学期需要学习大数据原理与实践,而学习这门课首先要学习Hadoop的搭建和使用,所以我使用了三台本地虚拟机来搭建了Hadoop集群,但是因为后期需要搭建网站收集网络数据进行学习计算,所以我需要一台云服务器来搭建Hadoop集群。由于跟随企业老师的学习需要用时两个月,而其他的云服务器只能领取一个月,于是我选择了阿里云的飞天加速计划,阿里云的飞天加速计划预计可以领取两个月的云服务器使用,足够支撑我完成学习Hadoop,感谢阿里云的飞天加速计划
阿里云的云服务器管理控制台很好用,不仅可以详细的监控云服务器、设置云服务器的防火墙端口等相关参数,它还会实时报警一些云服务器的风险,使得你能更好的掌控自己的服务器。
在这里分享一下搭建伪分布式Hadoop的过程和遇到的问题:1:上传合适的jdk和Hadoop安装包,上传完成后解压到相应的路径2:配置jdk和Hadoop的环境变量,配置主机映射3:配置core-site.xml文件,指定namenode的地址和Hadoop数据的存储目录4:配置hdfs—site.xml文件,指定namenode的访问地址和Secondarynamenode的地址和HDFS副本数量为15:配置mapred-site.xml文件,指定MapReduce程序运行在Yarn上6:配置yarn-site.xml文件,指定MR走shuffle、指定ResourceManager的地址、继承环境变量7:初始化HDFS、启动HDFS和YARN
也分享一下搭建环境时遇到的问题:我在配置完环境后,发现进程全部运行正常,但是访问不了namenode的客户端,一番排查之后解决了:需要在阿里云控制台开放namenode设置的端口,还有就是云服务器是有一个共网IP和一个私网IP,如果在配置完hadoop集群并成功启动后发现无法在浏览器访问客户端,除了没开放端口外,也可能是配置时搞错了IP,导致浏览器不能正确的指向客户端。
通过这次使用ECS搭建Hadoop的过程,我学习到了Hadoop和云服务器的使用,了解到了ESC的原理和运行过程,感谢阿里云的飞天加速计划

相关实践学习
使用操作系统智能助手OS Copilot解锁操作系统运维与编程
在本实验场景中,将在阿里云ECS上体验OS Copilot产品。OS Copilot是阿里云操作系统团队基于大模型构建的OS智能助手。它具有自然语言问答、辅助命令执行、系统运维调优等功能,帮助用户更好地使用Linux,提升阿里云的使用体验。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
消息中间件 开发者 微服务
构建高效代码:模块化设计原则的实践与思考
【2月更文挑战第14天】在软件开发的世界中,编写可维护、可扩展且高效的代码是每个开发者追求的目标。本文将探讨如何通过应用模块化设计原则来提升代码质量,分享一些实践中的经验教训以及对未来技术趋势的思考。
467 1
|
前端开发
前端通过input标签封装Upload组件实现文件上传
前端通过input标签封装Upload组件实现文件上传
615 0
|
存储 安全 机器人
如何下载阿里云视频点播数据
如何下载阿里云视频点播(VOD)数据
1030 0
|
存储 自然语言处理 供应链
跨境电商团队如何高效管理项目?这5款协作工具值得尝试
跨境电商团队面临的全球化供应链、跨文化沟通、时区差异及语言障碍等挑战,可通过选择合适的协作工具来克服。推荐工具包括板栗看板、Trello、Slack、Asana和Zoom,它们分别在任务管理、即时通讯、项目跟踪和视频会议等方面提供强大支持,帮助团队提升效率、确保任务高效执行和顺畅沟通。
跨境电商团队如何高效管理项目?这5款协作工具值得尝试
|
数据可视化 前端开发 JavaScript
GoView:Start14.6k,上车啦上车啦,Vue3低代码平台GoView,零代码+全栈框架
GoView 是一个Vue3搭建的低代码数据可视化开发平台,将图表或页面元素封装为基础组件,无需编写代码即可完成业务需求。 它的技术栈为:Vue3 + TypeScript4 + Vite2 + NaiveUI + ECharts5 +VChart + Axios + Pinia2 + PlopJS
347 0
|
运维 Kubernetes Docker
深入理解容器化技术:Docker与Kubernetes的协同工作
深入理解容器化技术:Docker与Kubernetes的协同工作
453 14
|
JSON 前端开发 Java
【Java笔记+踩坑】SpringMVC基础
springmvc简介、入门案例、bean加载控制、PostMan工具的使用、普通和JSON和日期格式请求参数传递、响应JSON或jsp或文本、Rest风格
【Java笔记+踩坑】SpringMVC基础
|
设计模式 Java Spring
这个无敌设计,可以解析并运算任意数学表达式
下面用解释器模式来实现一个数学表达式计算器,包含加、减、乘、除运算。 首先定义抽象表达式角色IArithmeticInterpreter接口。
453 0
|
安全 Ubuntu 测试技术
l4re Getting started
l4re Getting started
838 0

热门文章

最新文章