[jjzhu学hadoop]之hadoop2.7.3源码编译eclipse项目

简介: 编译环境必须的安装包安装jdk安装mvn配置本地仓库路径更换阿里云maven镜像强烈推荐更换Native librariesProtocolBuffer 250可选的安装包Snappy compressionBzip2Jansson C Library for JSONLinux FUSE编译eclipse plugin切换到

编译环境

  1. ubuntu 16.04 64bit
  2. jdk 1.7.0_79
  3. maven 3.3.9
  4. hadoop-2.7.3-src

必须的安装包

安装jdk

tar zxf jdk-7u79-linux-x64.tar.gz
sudo vim /etc/profile
export JAVA_HOME=/opt/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
java -version

安装mvn

tar zxf apache-maven-3.3.9-bin.tar.gz
sudo vim /etc/profile
export MAVEN_HOME=/opt/maven3.3.9
export PATH=$MAVEN_HOME/bin
source /etc/profilr
mvn -version

配置本地仓库路径

<localRepository>/opt/mava-3.3.9/repository</localRepository>

更换阿里云maven镜像(强烈推荐更换)

<mirrors>
     <mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>*</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror> 
  </mirrors>

Native libraries

sudo apt-get -y install build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev

ProtocolBuffer 2.5.0

sudo apt-get -y install libprotobuf-dev protobuf-compiler

这里有坑,安装的2.6.1的
安装好了以后可以查看下具体安装的版本

protoc --verison

如果输出的不是

libprotoc 2.5.0

可以看后面的ProtocolBuffer版本解决办法

可选的安装包

Snappy compression

sudo apt-get install snappy libsnappy-dev

Bzip2

sudo apt-get install bzip2 libbz2-dev

Jansson (C Library for JSON)

sudo apt-get install libjansson-dev

Linux FUSE

sudo apt-get install fuse libfuse-dev

编译eclipse plugin

切换到root,编译hadoop-maven-plugins

su root
>不切换会报错的(hadoop-maven-plugins/target/antrun/build-main.xml(No sucn file or directory))
cd HADOOP_SRC/hadoop-maven-plugins
mvn install

生成eclipse项目

cd ..
mvn eclipse:eclipse -DskipTests

image

ProtocolBuffer版本问题解决办法

如果安装的不是2.5.0版本的ProtocolBuffer,在编译的时候会报错

protoc version is 'libprotoc 2.6.1', expected version is '2.5.0'

先卸载libbprotoc

sudo apt-get purge libprotobuf-dev protobuf-compiler

下载protobuf-2.5.0.tar.gz

protobuf-2.5.0.tar.gz

解压,安装

sudo tar zxf protobuf-2.5.0.tar.gz
./configure
make
make check
make install

查看版本

protoc --version

如果正确安装的话
报错

protoc: error while loading shared libraries: libprotoc.so.8:cannot open shared object file:No such file or directory

protobuf的默认安装路径是/usr/local/lib,而/usr/local/lib不在ubuntu体系默认的LD_LIBRARY_PATH里,所以就找不到lib
需要让系统找到protobuf

cd /etc/ld.so.conf.d/
sudo vim bprotobuf.conf

输入一下内容

/usr/local/lib

保存并退出,输入如下命令,重新加载配置文件

sudo ldconfig

再次输入

protoc --version

可以得到输出

libprotoc 2.5.0

编译好的源码(eclipse可直接导入)

下载链接:http://pan.baidu.com/s/1kVdk3tH,密码:9q7m
eclipse->import->Existing Maven Projects

目录
相关文章
|
2月前
|
Java Android开发
eclipse导入项目时,报错:One or more cycles were detected in the build path of project ....
eclipse导入项目时,报错:One or more cycles were detected in the build path of project ....
118 3
|
1月前
|
Java Maven Android开发
eclipse创建maven项目
本文介绍了在Eclipse中创建Maven项目的步骤,包括打开Eclipse、选择Java项目、完成项目创建以及自动下载插件的过程。
78 2
eclipse创建maven项目
|
1月前
|
Java Maven Android开发
eclipse如何导入springboot项目
本文介绍了如何在Eclipse中导入Spring Boot项目。
25 1
eclipse如何导入springboot项目
|
1月前
|
Java 应用服务中间件 Android开发
Eclipse创建Spring项目
本文介绍了在Eclipse中创建Spring项目的步骤,包括如何配置Tomcat服务器、创建项目、部署项目到Tomcat以及添加Spring框架所需的JAR包。
48 1
Eclipse创建Spring项目
|
1月前
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
49 2
|
1月前
|
Java Maven Android开发
eclipse搭建springboot项目
本文介绍了如何使用Spring Initializr官网生成Spring Boot项目并用Eclipse打开和运行该项目,包括配置项目信息、添加依赖、下载依赖以及启动项目的步骤。
49 1
|
3月前
|
缓存 Java 应用服务中间件
支付宝 网站支付Demo 案例【沙箱环境】IDEA如何配置启动Eclipse项目
该博客文章讲述了如何在IntelliJ IDEA中配置和启动一个使用Eclipse开发的支付宝网站支付Demo案例。文章详细记录了从导入项目到配置Tomcat,再到解决启动过程中遇到的问题的步骤。作者还分享了在IDEA中遇到的一些常见问题,如项目配置、依赖库添加、编码问题等,并提供了相应的解决方案。此外,文章还提供了支付效果的展示以及一些支付宝案例文档中需要修改的参数信息。
支付宝 网站支付Demo 案例【沙箱环境】IDEA如何配置启动Eclipse项目
|
3月前
|
Java 网络安全 开发工具
新手入门Java。如何下载Eclipse、写出最基本的“Hello word”以及如何连接github并且上传项目。
新手入门Java。如何下载Eclipse、写出最基本的“Hello word”以及如何连接github并且上传项目。
55 0
|
3月前
|
应用服务中间件 定位技术 Android开发
Eclipse部署虚拟项目目录
Eclipse部署虚拟项目目录
36 0
WXM
|
4月前
|
Java 应用服务中间件 网络安全
Eclipse运行SSM/SSH项目教程
Eclipse运行SSM/SSH项目教程
WXM
133 0