Hadoop学习(二) 配置Hadoop的Eclipse的编程环境

简介: 测试Java连接hadoop 编程实现读取一个分布式文件。

Eclipse版本,Juno (4.2) 。先去网上下载Eclipse的Plugin插件,org.apache.hadoop.eclipse.plugins.1.0.3.jar 放到eclipse/dropins下,重启eclipse会自动找到插件。

在Eclipse的偏好设定-Hadoop下设定本地的Hadoop安装路径。

在Windows->Open Perspective中,选择Other,在弹出框中选择Map/Reduce,点击OK。进入Map/Reduce视图。

点击右键,新建一个Location,在弹出框内设定名称和端口号9000。

点击Finish,完成后,在左边的Project Explore视图中,即可看到已经建立后的目录结构。

本地创建一个文件,命名为a01.dat,编辑a01.dat,输入:Hello,hadoop! 保存退出。

在Project Explore视图中,点击右键,选择Upload files to DFS,将a01.dat文件上传。

在新建项目向导中,新建一个Map/Reduce的项目。

在src路径下,新建一个普通的Java类,源代码如下:

  import java.io.FileNotFoundException;  
  import java.io.IOException;  
  import java.net.URI;
  import java.net.URISyntaxException;  
  import org.apache.hadoop.conf.Configuration;
  import org.apache.hadoop.fs.FSDataInputStream;  
  import org.apache.hadoop.fs.FileSystem;
  import org.apache.hadoop.fs.Path;  
  import org.apache.hadoop.io.IOUtils;  
  import org.apache.hadoop.security.AccessControlException;  

  public class test {  
     public static void main(String[] args) throws AccessControlException,  
        FileNotFoundException, IOException, URISyntaxException {  
   
        String dst = "hdfs://localhost:9000/a01.dat";
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(dst), conf);
        FSDataInputStream hdfsInStream = fs.open(new Path(dst));
    IOUtils.copyBytes(hdfsInStream, System.out, 4090, false);  
   }  
 }  

选择Run As - Run on Hadoop
出现结果:Hello,hadoop!

目录
相关文章
|
2月前
|
Java Android开发
Eclipse Debug 配置
Eclipse Debug 配置
34 3
|
2月前
|
Java Android开发
Eclipse 运行配置(Run Configuration)
Eclipse 运行配置(Run Configuration)
92 1
|
3月前
|
Java 关系型数据库 MySQL
【编程基础知识】Eclipse连接MySQL 8.0时的JDK版本和驱动问题全解析
本文详细解析了在使用Eclipse连接MySQL 8.0时常见的JDK版本不兼容、驱动类错误和时区设置问题,并提供了清晰的解决方案。通过正确配置JDK版本、选择合适的驱动类和设置时区,确保Java应用能够顺利连接MySQL 8.0。
336 1
|
3月前
|
Java Android开发 开发者
【编程进阶知识】精细调控:掌握Eclipse JVM参数配置的艺术
本文详细介绍了如何在Eclipse中配置JVM参数,包括内存的初始和最大值设置。通过具体步骤和截图演示,帮助开发者掌握JVM参数的精细调控,以适应不同的开发和测试需求。
65 1
|
3月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
105 1
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
66 4
|
3月前
|
SQL
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(二)
57 2
|
3月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
64 0
|
5月前
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。随着云计算技术的发展,越来越多的企业开始利用云平台的优势来部署Hadoop集群,以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群,并提供具体的部署策略和代码示例。
217 0

相关实验场景

更多

推荐镜像

更多