解决Eclipse中运行WordCount出现 java.lang.ClassNotFoundException: org.apache.hadoop.examples.WordCount$TokenizerMapper问题

简介: 原文:http://tonymomo.pixnet.net/blog/post/62329497 1 package org.apache.hadoop.examples; 2 3 import java.

原文:http://tonymomo.pixnet.net/blog/post/62329497

 1 package org.apache.hadoop.examples;
 2 
 3 import java.io.File;
 4 import java.io.FileInputStream;
 5 import java.io.FileOutputStream;
 6 import java.io.IOException;
 7 import java.net.URL;
 8 import java.net.URLClassLoader;
 9 import java.util.ArrayList;
10 import java.util.List;
11 import java.util.jar.JarEntry;
12 import java.util.jar.JarOutputStream;
13 import java.util.jar.Manifest;
14 
15 public class EJob {
16 
17     // To declare global field
18     private static List<URL> classPath = new ArrayList<URL>();
19 
20     // To declare method
21     public static File createTempJar(String root) throws IOException {
22         if (!new File(root).exists()) {
23             return null;
24         }
25         Manifest manifest = new Manifest();
26         manifest.getMainAttributes().putValue("Manifest-Version", "1.0");
27         final File jarFile = File.createTempFile("EJob-", ".jar", new File(
28                 System.getProperty("java.io.tmpdir")));
29 
30         Runtime.getRuntime().addShutdownHook(new Thread() {
31             public void run() {
32                 jarFile.delete();
33             }
34         });
35 
36         JarOutputStream out = new JarOutputStream(
37                 new FileOutputStream(jarFile), manifest);
38         createTempJarInner(out, new File(root), "");
39         out.flush();
40         out.close();
41         return jarFile;
42     }
43 
44     private static void createTempJarInner(JarOutputStream out, File f,
45             String base) throws IOException {
46         if (f.isDirectory()) {
47             File[] fl = f.listFiles();
48             if (base.length() > 0) {
49                 base = base + "/";
50             }
51             for (int i = 0; i < fl.length; i++) {
52                 createTempJarInner(out, fl[i], base + fl[i].getName());
53             }
54         } else {
55             out.putNextEntry(new JarEntry(base));
56             FileInputStream in = new FileInputStream(f);
57             byte[] buffer = new byte[1024];
58             int n = in.read(buffer);
59             while (n != -1) {
60                 out.write(buffer, 0, n);
61                 n = in.read(buffer);
62             }
63             in.close();
64         }
65     }
66 
67     public static ClassLoader getClassLoader() {
68         ClassLoader parent = Thread.currentThread().getContextClassLoader();
69         if (parent == null) {
70             parent = EJob.class.getClassLoader();
71         }
72         if (parent == null) {
73             parent = ClassLoader.getSystemClassLoader();
74         }
75         return new URLClassLoader(classPath.toArray(new URL[0]), parent);
76     }
77 
78     public static void addClasspath(String component) {
79 
80         if ((component != null) && (component.length() > 0)) {
81             try {
82                 File f = new File(component);
83 
84                 if (f.exists()) {
85                     URL key = f.getCanonicalFile().toURL();
86                     if (!classPath.contains(key)) {
87                         classPath.add(key);
88                     }
89                 }
90             } catch (IOException e) {
91             }
92         }
93     }
94 
95 }

mian方法中添加:

File jarFile = EJob.createTempJar("bin");

EJob.addClasspath("/usr/hadoop/conf");

ClassLoader classLoader = EJob.getClassLoader();

Thread.currentThread().setContextClassLoader(classLoader);

。。。

((JobConf) job.getConfiguration()).setJar(jarFile.toString()); 

如果本文对您有帮助,点一下右下角的“推荐”
目录
相关文章
|
3月前
|
Java
Java关键字 —— super 详细解释!一看就懂 有代码实例运行!
文章详细解释了Java关键字`super`的用途,包括访问父类的成员变量、调用父类的构造方法和方法,并提供了相应的代码实例。
228 5
Java关键字 —— super 详细解释!一看就懂 有代码实例运行!
|
3月前
|
Java Apache Maven
Java百项管理之新闻管理系统 熟悉java语法——大学生作业 有源码!!!可运行!!!
文章提供了使用Apache POI库在Java中创建和读取Excel文件的详细代码示例,包括写入数据到Excel和从Excel读取数据的方法。
68 6
Java百项管理之新闻管理系统 熟悉java语法——大学生作业 有源码!!!可运行!!!
|
4月前
|
Java Linux
java基础(3)安装好JDK后使用javac.exe编译java文件、java.exe运行编译好的类
本文介绍了如何在安装JDK后使用`javac.exe`编译Java文件,以及使用`java.exe`运行编译好的类文件。涵盖了JDK的安装、环境变量配置、编写Java程序、使用命令行编译和运行程序的步骤,并提供了解决中文乱码的方法。
96 2
|
2月前
|
Java Android开发
Eclipse Java 构建路径
Eclipse Java 构建路径
42 3
|
3月前
|
分布式计算 大数据 Java
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
52 1
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
|
3月前
|
IDE Java 编译器
Java:如何确定编译和运行时类路径是否一致
类路径(Classpath)是JVM用于查找类文件的路径列表,对编译和运行Java程序至关重要。编译时通过`javac -classpath`指定,运行时通过`java -classpath`指定。IDE如Eclipse和IntelliJ IDEA也提供界面管理类路径。确保编译和运行时类路径一致,特别是外部库和项目内部类的路径设置。
243 5
|
3月前
|
SQL 存储 分布式计算
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
67 3
|
3月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
131 3
|
3月前
|
分布式计算 资源调度 Hadoop
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
Hadoop-05-Hadoop集群 集群WordCount 超详细 真正的分布式计算 上传HDFS MapReduce计算 YRAN查看任务 上传计算下载查看
69 1
|
3月前
|
Java
Java关键字 —— super 与 this 详细解释!一看就懂 有代码实例运行!
本文介绍了Java中this和super关键字的用法,包括在构造方法中使用this来区分参数和成员变量、使用super调用父类构造方法和方法,以及它们在同一个方法中同时使用的场景。
178 0
Java关键字 —— super 与 this 详细解释!一看就懂 有代码实例运行!

推荐镜像

更多