sh_jepson
sh_jepson_个人页
sh_jepson
文章
178
问答
0
视频
0
个人介绍
遇之问题，与之斗争，穷尽方法，提高自己，重新再来。 https://github.com/Hackeruncle
擅长的技术
-
发表了文章 2016-06-26
检查Hadoop是32位还是64位
1.从哪些地方可以识别hadoop是32位还是64位？2.hadoop本地库在什么位置？ hadoop在安装的时候，我们需要知道hadoop版本是32位还是64位。
-
发表了文章 2016-06-21
重新编译hadoop-2.7.2-src的native以支持Snappy解压压缩库
1. 下载所需要的源码包 snappy-1.1.1.tar.gz、protobuf-2.5.0.tar.gz、hadoop-2.7.2-src.tar.gz [root@sht-sgmhadoopnn-01 ~]# cd /hadoop [root@sht-sg...
-
发表了文章 2016-06-21
yum安装xxx包时出错，提示No package xxx available.
1.查看系统版本 [root@hadoopnn-01 yum.repos.d]# lsb_release -a LSB Version: :base-4.0-amd64:base-4.
-
发表了文章 2016-06-20
JVM快速调优手册v1.0之四:堆内存分配的CMS公式解析
一.JVM 堆内存组成 Java堆由Perm区和Heap区组成，Heap区由Old区和New区（也叫Young区）组成，New区由Eden区、From区和To区（Survivor）组成。
-
发表了文章 2016-06-19
JVM快速调优手册v1.0之三:内存分配策略
内存分配策略 了解GC其中很重要一点就是了解JVM的内存分配策略：即对象在哪里分配和对象什么时候回收。 Java技术体系中所提倡的自动内存管理可以归结于两个部分：给对象分配内存以及回收分配给对象的内存。
-
发表了文章 2016-06-19
线上应用故障排查之一：高memory占用
前一篇介绍了线上应用故障排查之一：高CPU占用，这篇主要分析高内存占用故障的排查。 搞Java开发的，经常会碰到下面两种异常： 1、java.lang.OutOfMemoryError: PermGen space 2、java.lang.OutOfMemoryError: Java heap space 要详细解释这两种异常，需要简单重提下Java内存模型。
-
发表了文章 2016-06-19
Hadoop2.7实战v1.0之Hive-2.0.0的Hiveserver2服务和beeline远程调试
0.环境Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装: http://blog.itpub.net/30089851/viewspace-2082805/机器 hadoop-01:192.
-
发表了文章 2016-06-18
JVM快速调优手册v1.0之二:常见的垃圾收集器
如果说收集算法是内存回收的方法论，那么垃圾收集器就是内存回收的具体实现。 Java虚拟机规范中对垃圾收集器应该如何实现并没有任何规定，因此不同的厂商、不同版本的虚拟机所提供的垃圾收集器都可能会有很大差别，并且一般都会提供参数供用户根据自己的应用特点和要求组合出各个年代所使用的收集器。
-
发表了文章 2016-06-13
JVM快速调优手册v1.0之一:内存结构(堆内存和非堆内存)
图为Java虚拟机运行时的数据区: 1.方法区 也称"永久代” 、“非堆”， 它用于存储虚拟机加载的类信息、常量、静态变量、是各个线程共享的内存区域。
-
发表了文章 2016-06-13
JVM快速调优手册v1.0
1.JVM内存结构(堆内存和非堆内存)2.常见的垃圾收集器3.内存分配策略4.堆内存分配的CMS公式解析5.ParNew收集器+CMS收集器组合的产品案例分析(响应时间优化)6.垃圾收集器常见参数 具体在博客搜索: jvm
-
发表了文章 2016-06-10
MapReduce1和Yarn的工作机制
Hadoop中的MapReduce的工作机制分为两种： MapReduce 1 也就是Hadoop 2.0之前的工作机制 YARN MapReduce 1 构成 MapReduce 1最主要的其实就是jobtracker和tasktracker： jobtracker，用来协调作业的运行。
-
发表了文章 2016-06-10
线上应用故障排查之一：高CPU占用
以我们最近出现的一个实际故障为例，介绍怎么定位和解决这类问题。 根据top命令，发现PID为28555的Java进程占用CPU高达200%，出现故障。
-
发表了文章 2016-06-09
Hadoop2.7实战v1.0之Eclipse+Hive2.0.0的JDBC案例(最详细搭建)
一.环境搭建(Hadoop+Hive) window7: eclipse4.5.1 linux: hadoop-01 192.
-
发表了文章 2016-06-06
理解 JMeter 聚合报告（Aggregate Report）
Aggregate Report 是 JMeter 常用的一个 Listener，中文被翻译为“聚合报告”。今天再次有同行问到这个报告中的各项数据表示什么意思，顺便在这里公布一下，以备大家查阅。
-
发表了文章 2016-06-06
Linux下使用Jmeter进行性能测试
一、Linux下安装Jmeter 1. Linux下首先安装Jdk； 2. 下载apache-jmeter-2.13.tgz，复制到Linux系统中的/opt目录下； 3.
-
发表了文章 2016-05-31
JVisualVM之GC插件+错误"not supported for this jvm"+命令jstatd
插件安装 tools->plugin->Available Plugin 会有值得安装的插件，如：VisualGC 插件列表：https://visualvm.
-
发表了文章 2016-05-31
Java程序性能分析工具Java VisualVM（Visual GC）
VisualVM 是一款免费的\集成了多个JDK 命令行工具的可视化工具，它能为您提供强大的分析能力，对 Java 应用程序做性能分析和调优。这些功能包括生成和分析海量数据、跟踪内存泄漏、监控垃圾回收器、执行内存和 CPU 分析，同时它还支持在 MBeans 上进行浏览和操作。
-
发表了文章 2016-05-31
CDH4/5配置文件之深度解析
一.目录 二.实验1.web 界面,直接修改MapReduce的mapreduce.job.counters.max参数,从120改为150,单击【保存更改】按钮,直接修改到数据库, 而不同步更新到/ect/hado...
-
发表了文章 2016-05-22
Flume1.6.0之Error-protobuf-This is supposed to be overridden by subclasses
1.场景:Apache Flume: Agent 【http-->memory-->hdfs(CDH4)】 (http发送请求,通过内存,然后写到cdh4的hdfs上)当前flume agent机器有【CDH4】环境的文件(而没有Apache hadoop环...
-
发表了文章 2016-05-22
Hadoop2.7实战v1.0之Flume1.6.0搭建(Http Source-->Memory Chanel --> Hdfs Sink)
Hadoop2.7实战v1.0之Flume1.6.0搭建(Http Source-->Memory Chanel --> Hdfs Sink) 1.
-
发表了文章 2016-05-09
CCAH-CCA-500-6题:You want YARN to launch no more than 16 containers per node.
6.What should you do?Each node in your Hadoop cluster, running YARN, has 64GB memory and 24 cores.
-
发表了文章 2016-05-09
CCAH-CCA-500-5题:How will the Fair Scheduler handle these two jobs?
5.How will the Fair Scheduler handle these two jobs?You have a cluster running with the fair Scheduler enabled.
-
发表了文章 2016-05-02
Cloudera编译好的各种hadoop,oozie等组件压缩包URL
由于Apache官方有些组件只提供源代码,需要我们编译,很不方便,而且往往还有兼容性问题！！！所以我们可以使用cloudera公司给我们编译好的组件(基本和Apache一样的)。
-
发表了文章 2016-04-30
CCAH-CCA-500-4题:Where are Hadoop task log files stored?
4.Where are Hadoop task log files stored? For each YARN job, the Hadoop framework generates task log file.
-
发表了文章 2016-04-30
CCAH-CCA-500-3题:Table schemas in Hive are?
3.Table schemas in Hive are: A. Stored as metadata on the NameNode B. Stored along with the data in HDFS C.
-
发表了文章 2016-04-30
Hadoop2.7实战v1.0之Linux参数调优
Hadoop2.7实战v1.0之Linux参数调优 1.增大文件描述符nofile（查看当前的lsof |wc -l） 和 用户最大进程nproca>.调整Linux的最大文件打开数和进程数。
-
发表了文章 2016-04-17
CCAH-CCA-500-2题:what is the maximum number of NameNode daemons.....
2.Assuming you’re not running HDFS Federation, what is the maximum number of NameNode daemons you should run on your cluster in order ...
-
发表了文章 2016-04-17
CCAH-CCA-500-1题:What is the maximum amount of virtual memory allocated......
1. What is the maximum amount of virtual memory allocated for each map task before YARN will kill its Container? Your cluster’s mapred-start.
-
发表了文章 2016-04-17
alternatives命令用法
alternatives是Linux下的一个功能强大的命令。只能在root权限下执行。如系统中有几个命令功能十分类似，却又不能随意删除，那么可以用 alternatives 来指定一个全局的设置。
-
发表了文章 2016-04-17
Hadoop2.7实战v1.0之Hive-2.0.0+MySQL远程模式安装
环境:Apache Hadoop2.7分布式集群环境(HDFS HA,Yarn HA,HBase HA) 元数据库mysql部署在hadoop-01机器上 user:hive password:...
-
发表了文章 2016-04-15
CDH5之Found class jline.Terminal, but interface was expected
一.背景: 公司CDH5集群已经部署完毕,需要通过web界面添加hive组件,一般来说通过web界面来添加,会报两个错误, 一个是配置hive的元数据的/usr/share/java/mysql-connector-java.
-
发表了文章 2016-04-05
CDH5之Exhausted available authentication methods
1.机器环境:前几天,要在 阿里环境装两套CDH的产品环境,其中一套CDH5在安装过程就抛错"Exhausted available authentication methods" 其中的抛错的机器是运维从stage环境机器上,copy的镜像做的新的机器。
-
发表了文章 2016-04-03
Hadoop2.7实战v1.0之Hive-2.0.0+MySQL本地模式安装
已有环境:Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) Active namenode:sht-sgmhadoopnn-01 Hive服务端客户端、元数据库mysql部署在 active namenode机器上 User:hive Database:hive_local_meta 1.
-
发表了文章 2016-03-29
Hive和HBase区别
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。
-
发表了文章 2016-03-27
Hbase shell 常用命令1
下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下： 名称 命令表达式 ...
-
发表了文章 2016-03-23
CDH集群调优：内存、Vcores和DRF
吐槽 最近“闲”来无事，通过CM把vcores使用情况调出来看了一眼，发现不论集群中有多少个任务在跑，已分配的VCores始终不会超过120。而集群的可用Vcores是360（15台机器×24虚拟核）。
-
发表了文章 2016-03-22
hadoop 集群 跨 版本数据迁移
忙着做hadoop 1.x 到 2.x 的数据迁移. hadoop 系统提供 了一个 命令 distcp 可以跨版本 迁移数据. 具体的命令格式: 在新的hadoop 版本上执行 .
-
发表了文章 2016-03-22
hadoop 2.7.1 jdk 1.7 时区问题以及解决方案.
安装搭建hadoop 2.7.1 不在支持jdk 1.6 了, 采用了jdk1.7.0_45 .在系统搭建后后出现一个奇怪的现象. hadoop 日志, hhbase 等这些java 应用的日志无一例外的都采用了UTC 时间,而不是东8区.
-
发表了文章 2016-03-21
Hadoop2.7实战v1.0之HBase1.1.5 HA分布式搭建
1.已有环境:Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA) 2.下载解压hbase-1.2.0-bin.tar.
-
发表了文章 2016-03-18
HDFS－Architecture剖析
1.概述 从HDFS的应用层面来看，我们可以非常容易的使用其API来操作HDFS，实现目录的创建、删除，文件的上传下载、删除、追加（Hadoop2.x版本以后开始支持）等功能。
-
发表了文章 2016-03-11
Hadoop 2.0 NameNode HA和Federation实践
一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久以来都被单点故障的问题所困扰，直到Apache Hadoop在2012年5月发布了2.0的alpha版本，其中MRv2还很不成熟，可HDFS的新功能已经基本可用，尤其是其中的的High Availability(以下简称HA)和Federation。
-
发表了文章 2016-03-10
Cloudera Certified Administrator for Apache Hadoop(CCAH认证)
Exam Sections and Blueprint 1. HDFS (17%) Describe the function of HDFS daemons Describe the normal operatio...
-
发表了文章 2016-03-10
Hadoop2.7实战v1.0之动态添加DataNode和NodeManager节点(不修改dfs.replication)
Hadoop2.7实战v1.0之动态添加DataNode和NodeManager节点(不修改dfs.replication)【终极版】 0.
-
发表了文章 2016-03-09
Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡
Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡【修正版】 适用场景： a.
-
发表了文章 2016-03-08
CDH5之Balancer难以在快速增长的集群上平衡大量的数据
背景： 公司在线上使用了CDH5集群，一开始由于疏忽，忘记了在计划任务中定期执行Balancer来平衡各节点的数据。 后来，在引入大量的Job之后，数据增长非常迅猛，有很多节点开始出现利用率超过99.9%的情况，部分Job甚至开始Failed。
-
发表了文章 2016-03-07
转载|如何利用客户端在itpub发博客
今天无意中看到http://blog.itpub.net/25508077/viewspace-1067624/文章，之前还为这些问题烦恼而不太愿意更新博客的，觉得有必要收藏以以便今后查找方便。
-
发表了文章 2016-03-07
Hadoop2.7实战v1.0之动态删除DataNode(含NodeManager)节点(修改dfs.replication)
动态删除DataNode(含NodeManager)节点(修改dfs.replication)【终极版】 1.ActiveNameNode修改hdfs-site.
-
发表了文章 2016-03-06
Hadoop2.x运维实战之入门手册v1.0
Hadoop2.x运维实战之入门手册V1.0 0.Hadoop2.x生态圈介绍1.常用组件介绍(体系结构+进程) 1.1HDFS 1.
-
发表了文章 2016-03-06
Hadoop2.7实战v1.0之YARN HA
YARN HA实战v1.0 当前环境:hadoop+zookeeper(namenode,resourcemanager HA) resourcemanager ...
-
发表了文章 2016-03-06
Hadoop2.7实战v1.0之HDFS HA
HDFS HA实战v1.0 当前环境:hadoop+zookeeper(namenode,resourcemanager HA) namenode serviceId ...
暂无更多信息
-
发表了文章
2018-04-09
-
发表了文章
2018-04-08
Batch containing 11 record(s) expired due to timeout while requesting metadata
-
发表了文章
2017-11-28
【记录】:CentOS清理swap和buffer/cache
-
发表了文章
2017-10-24
java.io.IOException: Connection reset by peer
-
发表了文章
2017-08-14
maven报错：找不到符号
-
发表了文章
2017-07-06
Kubernetes node的防火墙问题导致pod ip无法访问
-
发表了文章
2017-04-25
Maven-3.3.9 Install and Oozie-4.3.0 Compile
-
发表了文章
2017-04-21
Azkaban Install and Schedule Job
-
发表了文章
2017-04-19
记录CDH安装的一个坑:could not contact scm server at localhost:7182, giving up
-
发表了文章
2017-03-31
25【在线日志分析】之基于Flume-ng Exec Source开发自定义插件ExecSource_JSON
-
发表了文章
2017-03-31
24【在线日志分析】之Tomcat的支持log4j,日志输出为json格式
-
发表了文章
2017-03-31
23【在线日志分析】之改造CDH的HDFS的NN,DN进程，日志输出为json格式
-
发表了文章
2017-03-31
22【在线日志分析】之项目第二阶段概述
-
发表了文章
2017-03-30
记录自定义kafka的parcel库,CDH安装kafka服务,无法安装过去的排雷过程
-
发表了文章
2017-03-10
记录CDH5.10一个clients.NetworkClient: Bootstrap broker ip:9092 disconnected问题
-
发表了文章
2017-03-02
记录CDH Spark2的spark2-submit的一个No such file or directory问题
-
发表了文章
2017-02-21
21【在线日志分析】之记录一个flume-ng的tail -f参数所诱发的血案
-
发表了文章
2017-02-21
Spark常见问题解决办法
-
发表了文章
2017-02-21
使用阿里云的Maven仓库加速Spark编译过程
-
发表了文章
2017-02-19
20【在线日志分析】之记录一次Spark Streaming+Spark SQL的数据倾斜
滑动查看更多
暂无更多信息
暂无更多信息