sh_jepson
sh_jepson_个人页
sh_jepson
文章
178
问答
0
视频
0
个人介绍
遇之问题，与之斗争，穷尽方法，提高自己，重新再来。 https://github.com/Hackeruncle
擅长的技术
-
发表了文章 2016-03-06
Hadoop2.7实战v1.0之添加DataNode节点后,更改文件复制策略dfs.replication
1.查看当前系统的复制策略dfs.replication为3,表示文件会备份成3份a.通过查看hdfs-site.xml 文件 点击(此处)折叠或打开 [root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.
-
发表了文章 2016-03-05
Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向
一.环境 IP Host 及安装软件 部署模块 ...
-
发表了文章 2016-03-04
Hadoop 2.x HDFS和YARN的启动方式
一.三种启动方式介绍 方式一：逐一启动（实际生产环境中的启动方式） hadoop-daemon.sh start|stop namenode|datanode| journalnode yarn-daemon.
-
发表了文章 2016-02-28
Hadoop MapReduce之wordcount(词频统计)
1.创建test.log 点击(此处)折叠或打开 [root@sht-sgmhadoopnn-01 mapreduce]# more /tmp/test.
-
发表了文章 2016-02-27
Hadoop2.x常用端口及定义方法
Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。
-
发表了文章 2016-02-27
Hadoop常见错误2
问题1：在程序的日志中看到，在reduce阶段出现了异常：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ，程序里需要打开文件，系统默认为1024，也可以通过ulimit -a查看 编辑文件/etc/security/limits.
-
发表了文章 2016-02-27
Hadoop2.x 参数汇总
linux参数 以下参数最好优化一下： 文件描述符ulimit -n 用户最大进程 nproc （hbase需要 hbse book） 关闭swap分区 ...
-
发表了文章 2016-02-26
部署Hadoop,需和Linux操作系统位数一致
本次实验的环境：linux 64位+hadoop2.7.2 64位. HADOOP_HOME=/hadoop/hadoop-2.7 点击(此处)折叠或打开 [root@sht-sgmhadoopnn-...
-
发表了文章 2016-02-26
Hadoop常见错误1
1 关于 Warning: $HADOOP_HOME is deprecated. hadoop 1.0.0版本，安装完之后敲入hadoop命令时，老是提示这个警告： Warning: $HADOOP_HOME is deprecated. 经查hadoop-1.0.0/bin/hadoop脚本和"hadoop-config.sh"脚本，发现脚本中对HADOOP_HOME的环境变量设置做了判断，笔者的环境根本不需要设置HADOOP_HOME环境变量。
-
发表了文章 2016-02-26
Hadoop资料整理导向
一、Hadoop快速入门 分布式计算开源框架Hadoop_入门实践 一篇不错的hadoop介绍文章 用 Hadoop 进行分布式数据处理---- 入门 Hadoop入门实验 Hadoop入门 一...
-
发表了文章 2016-02-25
【实验】Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)
Hadoop-2.7.2+Zookeeper-3.4.6完全分布式环境搭建 一.版本 组件名 版本 ...
-
发表了文章 2016-02-25
jps报27342 -- process information unavailable
/tmp目录下,删除 hsperfdata_为开头的文件夹。 点击(此处)折叠或打开 [root@sht-sgmhadoopnn-01 ~]# jps 8952 Jps ...
-
发表了文章 2016-02-21
配置多台机器SSH相互通信信任
1.5台机器执行 ssh-keygen [root@sht-sgmhadoopnn-01 ~]# ssh-keygen Generating public/private rsa key pair.
-
发表了文章 2016-02-21
Hadoop常用下载地址
组件地址: Apache Hadoop下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/ CDH Hadoop下载地址：http://archive.
-
发表了文章 2016-02-21
【实验】/etc/hadoop/*和/var/run/cloudera-scm-agent/process/*关系
Hi,Sir Recently,I'm learning CDH5,I'm not very understand that the relation between /etc/hadoop/* directory and /var/run/cloudera-scm-agent/process/* directory.
-
发表了文章 2016-02-20
MySQL备份与恢复
为了保障数据的安全，需要定期对数据进行备份。备份的方式有很多种，效果也不一样。一旦数据库中的数据出现了错误，就需要使用备份好的数据进行还原恢复。从而将损失降到最低。
-
发表了文章 2016-02-20
史上最全的 MSSQL 复习笔记
阅读目录 1.什么是SQL语句 2.使用sql语句创建数据库和表 3.
-
发表了文章 2016-02-20
Hadoop管理员认证大纲
模块内容 提纲 状态 关于 Apache Hadoop u 为什么是 Hadoop? ...
-
发表了文章 2016-02-20
Hadoop中NameNode、DataNode、SecondaryNameNode、JobTracker、TaskTracker介绍
问题导读：1.job的本质是什么？ 2.任务的本质是什么？ 3.文件系统的Namespace由谁来管理，Namespace的作用是什么？ 4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么？ 5.
-
发表了文章 2016-02-20
CDH5 快速入门手册v1.0
...
-
发表了文章 2016-02-19
CDH5之Trash
参考:http://my.oschina.net/cloudcoder/blog/179381 http://www.linuxidc.com/Linux/2012-02/55102.
-
发表了文章 2016-02-11
CDH5之Unexpected error.Unable to verify database connection
在部署好CDH5(HDFS+MapReduce+Zookeeper)后,某一天想要通过web界面来添加Hive或者Oozie服务。 添加Hive组件服务:1.报错:Unexpected error.
-
发表了文章 2016-02-11
【实验】Hadoop2.6.0的伪分布安装
hadoop-2.6.0.tar.gz: http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.
-
发表了文章 2016-02-11
Hadoop 在Windows7操作系统下使用Eclipse来搭建hadoop开发环境
网上有一些都是在Linux下使用安装Eclipse来进行hadoop应用开发，但是大部分Java程序员对linux系统不是那么熟悉，所以需要在windows下开发hadoop程序，所以经过试验，总结了下如何在windows下使用Eclipse来开发hadoop程序代码。
-
发表了文章 2016-02-11
Hadoop 调试第一个mapreduce程序过程详细记录总结
开发环境搭建参考 ：http://blog.itpub.net/26230597/viewspace-1370205/ 1，程序代码如下： package wc; import java.
-
发表了文章 2016-02-11
win7 64 eclipse 导入hadoop2.6.0 源码
Software：链接: http://pan.baidu.com/s/1jHba8To 密码: t8ti 一、安装ant、maven （1）首先下载ant，maven的安装包 apache-ant-1.
-
发表了文章 2016-02-11
【整理】Hadoop学习资料
Hadoop视频资料: http://pan.baidu.com/s/1o7YPdTC 注:有些视频是转载的，没有解压密码！so sorry!!!Hadoop运维全纪录: http://blog.51cto.com/zt/505加入群【cloudera hadoop】：258669058 不定期发布资料的word文档、个人在工作中的遇见的bug和心得! Hadoop 的调优和运维对于 Hadoop 来说是很重要的一个环节。
-
发表了文章 2016-02-10
Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA）
1.YARN的基础架构是什么？2.哪一进程防止Yarn早就web攻击？3.Zookeeper主进程是哪个？4.如何下载cdh包？本文搭建Hadoop CDH5.0.1 分布式系统，包括NameNode ，ResourceManger HA，忽略了Web Application Proxy 和Job HistoryServer。
暂无更多信息
-
发表了文章
2018-04-09
-
发表了文章
2018-04-08
Batch containing 11 record(s) expired due to timeout while requesting metadata
-
发表了文章
2017-11-28
【记录】:CentOS清理swap和buffer/cache
-
发表了文章
2017-10-24
java.io.IOException: Connection reset by peer
-
发表了文章
2017-08-14
maven报错：找不到符号
-
发表了文章
2017-07-06
Kubernetes node的防火墙问题导致pod ip无法访问
-
发表了文章
2017-04-25
Maven-3.3.9 Install and Oozie-4.3.0 Compile
-
发表了文章
2017-04-21
Azkaban Install and Schedule Job
-
发表了文章
2017-04-19
记录CDH安装的一个坑:could not contact scm server at localhost:7182, giving up
-
发表了文章
2017-03-31
25【在线日志分析】之基于Flume-ng Exec Source开发自定义插件ExecSource_JSON
-
发表了文章
2017-03-31
24【在线日志分析】之Tomcat的支持log4j,日志输出为json格式
-
发表了文章
2017-03-31
23【在线日志分析】之改造CDH的HDFS的NN,DN进程，日志输出为json格式
-
发表了文章
2017-03-31
22【在线日志分析】之项目第二阶段概述
-
发表了文章
2017-03-30
记录自定义kafka的parcel库,CDH安装kafka服务,无法安装过去的排雷过程
-
发表了文章
2017-03-10
记录CDH5.10一个clients.NetworkClient: Bootstrap broker ip:9092 disconnected问题
-
发表了文章
2017-03-02
记录CDH Spark2的spark2-submit的一个No such file or directory问题
-
发表了文章
2017-02-21
21【在线日志分析】之记录一个flume-ng的tail -f参数所诱发的血案
-
发表了文章
2017-02-21
Spark常见问题解决办法
-
发表了文章
2017-02-21
使用阿里云的Maven仓库加速Spark编译过程
-
发表了文章
2017-02-19
20【在线日志分析】之记录一次Spark Streaming+Spark SQL的数据倾斜
滑动查看更多
暂无更多信息
暂无更多信息