集成 Hadoop 服务—页面操作使用 | 学习笔记

简介: 快速学习 集成 Hadoop 服务—页面操作使用

开发者学堂课程【Hue 大数据可视化终端课程集成 Hadoop 服务—页面操作使用学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/719/detail/12850


集成 Hadoop 服务—页面操作使用


内容介绍:

一、HDFS 整合

二、YARN 集群


一、HDFS 整合

完成 YARN 文件的 scp 拷贝后,重启 YARN 的集群。

当前的环境中 YARN 并没有启动,所以不需要关闭,直接重新启动。输入 Start-yarn.sh 后按回车键。启动后需要输入mr-jobhistory-daemon.sh start history server 单独开启 job history 的服务。开启服务后可以按回车键查看历史的执行信息日志。如果启动出错,可以到对应的日志路径上查看。

那么 YARN 重启后,接下来重启 Hue。按 Ctrl C 中断 hue,会弹出叫做 keyboardInterrupt 的单词,意思为键盘的中断。中断后,再次执行刚才的启动命令输入 build/env/bin/supervisor,按回车键。启动检查,打印日志出现意味着启动服务成功。

回到页面,打开浏览器,重新点击刷新,等待加载。加载完成后弹出的其它软件的整合未完成的报错暂时不用处理,点击 hdfs 的图标打开 Hue 和 HDFS 的浏览窗口。弹出的窗口会显示根目录的文件夹,有文件则会显示文件。

image.png

验证显示的文件夹是否正确:打开 node-150070进行验证,原生的浏览目录与根目录下属内容一致,说明是正确的。

文件夹并不仅仅有显示的功能。选择一个文件夹之后,右键选择 open in browser,会弹出一个较大的文件浏览器窗口,与原生的最大区别在于它可以进行在线编辑。

如何编辑:在根目录下,点击 new 去创建一个新的文件或文件夹。例如创建文件夹,叫 hue_hdfs,点击 create;创建一个文件,叫 hello. txt,点击 create。左边几个选项按钮代表:下载、浏览文件的路径、刷新、在线编辑。点击Edit file 进行在线编辑,点击 save 进行保存。hue整合后的功能比原生的强大。

image.png

如果想修改文件,点击 Actions,它可以重命名、移动、拷贝、下载、改变权限、改变拥有者、压缩,都不需要自己敲命令,包括备份复制及压缩。删除文件点击 delete forever,弹出的窗口点击 yes。完成整合。

image.png


二、YARN 集群

YARN 集群是各种 mr 程序执行 job 的浏览。打开原生集群,输入 node-1,端口默认是8088。如果有程序执行,yarn job 的执行情况。

模拟提交程序 example 计算圆周率,输入 hadoop jar Hadoop-mapreduce­­­-examples-2.7.5.jar pi 按回车键,刷新原生页面,在原生页面上刷新后会显示执行的相关情况。

image.png

查看 hue 整合后的情况入口:点击 Jobs,进入 job 浏览器当中,浏览器会显示 MR 程序执行的相关情况,包括执行是否成功,历史日志等内容,集中整合后非常方便。

image.png

主要内容是两大块,一个是文件存储系统,叫做 HDFS 整合,通过它可以在线地浏览编辑。

另外一个是 YARN,相当于集中浏览执行的 job

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
10月前
|
前端开发 安全 开发工具
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
687 90
【11】flutter进行了聊天页面的开发-增加了即时通讯聊天的整体页面和组件-切换-朋友-陌生人-vip开通详细页面-即时通讯sdk准备-直播sdk准备-即时通讯有无UI集成的区别介绍-开发完整的社交APP-前端客户端开发+数据联调|以优雅草商业项目为例做开发-flutter开发-全流程-商业应用级实战开发-优雅草Alex
|
Java Maven Windows
使用Java创建集成JACOB的HTTP服务
本文介绍了如何在Java中创建一个集成JACOB的HTTP服务,使Java应用能够调用Windows的COM组件。文章详细讲解了环境配置、动态加载JACOB DLL、创建HTTP服务器、实现IP白名单及处理HTTP请求的具体步骤,帮助读者实现Java应用与Windows系统的交互。作者拥有23年编程经验,文章来源于稀土掘金。著作权归作者所有,商业转载需授权。
337 2
使用Java创建集成JACOB的HTTP服务
|
8月前
|
人工智能 API 开发工具
GitHub官方开源MCP服务!GitHub MCP Server:无缝集成GitHub API,实现Git流程完全自动化
GitHub MCP Server是基于Model Context Protocol的服务器工具,提供与GitHub API的无缝集成,支持自动化处理问题、Pull Request和仓库管理等功能。
1689 2
GitHub官方开源MCP服务!GitHub MCP Server:无缝集成GitHub API,实现Git流程完全自动化
|
存储 数据可视化 Java
基于MicrometerTracing门面和Zipkin实现集成springcloud2023的服务追踪
Sleuth将会停止维护,Sleuth最新版本也只支持springboot2。作为替代可以使用MicrometerTracing在微服务中作为服务追踪的工具。
679 2
|
机器学习/深度学习 人工智能 自然语言处理
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
Voice-Pro是一款开源的多功能音频处理工具,集成了语音转文字、文本转语音、实时翻译、YouTube视频下载和人声分离等多种功能。它支持超过100种语言,适用于教育、娱乐和商业等多个领域,为用户提供一站式的音频处理解决方案,极大地提高工作效率和音频处理的便捷性。
1071 10
Voice-Pro:开源AI音频处理工具,集成转录、翻译、TTS等一站式服务
|
存储 Java 开发工具
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
阿里云OSS(Object Storage Service)是一种安全、可靠且成本低廉的云存储服务,支持海量数据存储。用户可通过网络轻松存储和访问各类文件,如文本、图片、音频和视频等。使用OSS后,项目中的文件上传业务无需在服务器本地磁盘存储文件,而是直接上传至OSS,由其管理和保障数据安全。此外,介绍了OSS服务的开通流程、Bucket创建、AccessKey配置及环境变量设置,并提供了Java SDK示例代码,帮助用户快速上手。最后,展示了如何通过自定义starter简化工具类集成,实现便捷的文件上传功能。
3671 7
【三方服务集成】最新版 | 阿里云OSS对象存储服务使用教程(包含OSS工具类优化、自定义阿里云OSS服务starter)
|
安全 测试技术 数据安全/隐私保护
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
原生鸿蒙应用市场开发者服务的技术解析:从集成到应用发布的完整体验
|
开发框架 .NET API
Windows Forms应用程序中集成一个ASP.NET API服务
Windows Forms应用程序中集成一个ASP.NET API服务
279 9
|
安全 Java 测试技术
ToB项目身份认证AD集成(二):快速搞定window server 2003部署AD域服务并支持ssl
本文详细介绍了如何搭建本地AD域控测试环境,包括安装AD域服务、测试LDAP接口及配置LDAPS的过程。通过运行自签名证书生成脚本和手动部署证书,实现安全的SSL连接,适用于ToB项目的身份认证集成。文中还提供了相关系列文章链接,便于读者深入了解AD和LDAP的基础知识。
671 0
|
编解码 Linux 开发工具
Linux平台x86_64|aarch64架构RTMP推送|轻量级RTSP服务模块集成说明
支持x64_64架构、aarch64架构(需要glibc-2.21及以上版本的Linux系统, 需要libX11.so.6, 需要GLib–2.0, 需安装 libstdc++.so.6.0.21、GLIBCXX_3.4.21、 CXXABI_1.3.9)。
539 0