涂作权_高分内容_个人页-阿里云开发者社区

发表了文章 2017-06-13

Flume监听文件夹中的文件变化，并把文件下沉到hdfs

1、采集目录到HDFS 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去根据需求，首先定义以下3大要素采集源，即source——监控文件目录 : spooldir 下沉目标，即sink——HDFS文件系统 : hdfs sink source和sink之间的传递通道——channel，可用file chann

发表了文章 2017-06-13

模拟使用Flume监听日志变化，并且把增量的日志文件写入到hdfs中

1.采集日志文件时一个很常见的现象采集需求：比如业务系统使用log4j生成日志，日志内容不断增加，需要把追加到日志文件中的数据实时采集到hdfs中。 1.1.根据需求，首先定义一下3大要素：采集源，即source—监控日志文件内容更新：exec ‘tail -F file’ 下沉目标，即sink—HDFS文件系统：hdfs sink Source和sink之

发表了文章 2017-06-13

Flume安装部署，采集方案配置文件编写案例，启动agent采集数据

1.2 Flume实战案例 1.2.1 Flume的安装部署 1、Flume的安装非常简单，只需要解压即可，当然，前提是已有hadoop环境上传安装包到数据源所在节点上然后解压 tar -zxvf apache-flume-1.6.0-bin.tar.gz，最终解压到的位置是：/home/tuzq/software/apache-flume-1.6.0-bi

发表了文章 2017-06-13

日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）

1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概述 1.Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 2.Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中 3.一般的采集需求，通过对flume的简单配置即可实现

发表了文章 2017-06-13

Hive内置运算函数，自定义函数(UDF)和Transform

4.Hive函数 4.1 内置运算符内容较多，见《Hive官方文档》 4.2 内置函数内容较多，见《Hive官方文档》 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 测试各种内置函数的快捷方法： 1、创建一个dual表 create table dual(id string); 2、loa

发表了文章 2017-06-11

Hive常用运算(关系运算)、逻辑运算与数学运算、数值运算、日期函数、条件函数、字符串函数

hive 常用运算第一部分：关系运算 Hive支持的关系运算符 •常见的关系运算符 •等值比较: = •不等值比较: <> •小于比较: < •小于等于比较: <= •大于比较: > •大于等于比较: >= •空值判断: IS NULL •非空判断: IS NOT NULL •LIKE比较: LIKE •JAVA的LIKE操作: RLIKE •REGEXP

发表了文章 2017-06-11

Hive分区、分桶操作及其比较（转自：http://blog.csdn.net/epitomizelu/article/details/41911657）

1，Hive分区。是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字段的值就可以直接从该分区查找。

发表了文章 2017-06-11

函数分类，HIVE CLI命令，简单函数，聚合函数，集合函数，特殊函数(窗口函数，分析函数，混合函数，UDTF)，常用函数Demo

1.1．函数分类 1.2． HIVE CLI命令显示当前会话有多少函数可用 SHOW FUNCTIONS; 显示函数的描述信息 DESC FUNCTION concat; 显示函数的扩展描述信息 DESC FUNCTION EXTENDED concat; 1.3．简单函数函数的计算粒度为单条记录。关系运算数学运算逻辑运算数值计算类型转换日期函数条件函数字

发表了文章 2017-06-10

HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令

1.上传tar包这里我上传的是apache-hive-1.2.1-bin.tar.gz2.解压 mkdir -p /home/tuzq/software/hive/ tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /home/tuzq/software/hive/3.安装mysql数据库（切换到root用户）（装在哪里没有限制，只有能联通

发表了文章 2017-06-10

Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储（来自学习资料）

1.1 Hive简介 1.1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.1.2 为什么使用Hive Ø 直接使用hadoop所面临的问题人员学习成本太高项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 Ø 为什么要使用Hive 操作接口采用类SQ

发表了文章 2017-06-10

hdfs haadmin使用，DataNode动态上下线，NameNode状态切换管理，数据块的balance,HA下hdfs-api变化（来自学习资料）

1.2.4集群运维测试 HA集群中两个namenode状态的管理命令 [root@mini2 hadoop-2.6.4]# bin/hdfs haadmin Usage: DFSHAAdmin [-ns <nameserviceId>] [-transitionToActive <serviceId> [--forceactive]] [-

发表了文章 2017-06-10

hadoop-HA集群搭建，启动DataNode，检测启动状态，执行HDFS命令，启动YARN，HDFS权限配置，C++客户端编程，常见错误

本篇博文为整理网络上Hadoop-HA搭建后出来的博客，参考网址为：http://blog.chinaunix.net/uid-196700-id-5751309.html 3. 部署 3.1. 机器列表共5台机器（zookeeper部署在这5台机器上），部署如下表所示： NameNode JournalNode DataNode ZooKeeper 192.168.106

发表了文章 2017-06-08

Hadoop的HA机制

Hadoop的HA机制前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制 1.1HA的运作机制（1）hadoop-HA集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务）实现高可用最关键的是消除单点故障 hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA （2）HDFS的HA机制详解通过双namenode消除单

发表了文章 2017-06-04

MapReduce多个job同时使用的方式(从网上找到的案例，原始博文：http://www.cnblogs.com/yjmyzz/p/4540469.html)

复杂的MapReduce处理中，往往需要将复杂的处理过程，分解成多个简单的Job来执行，第1个Job的输出做为第2个Job的输入，相互之间有一定依赖关系。以上一篇中的求平均数为例，可以分解成三个步骤： 1. 求Sum 2. 求Count 3. 计算平均数每1个步骤看成一个Job，其中Job3必须等待Job1、Job2完成，并将Job1、Job2的输出结果做为输入，下面的代码演示了如何将这3个

发表了文章 2017-06-04

MapReduce 计数器简介（转载自：http://www.tuicool.com/articles/qqyIBr）

1、计数器简介在许多情况下，一个用户需要了解待分析的数据，尽管这并非所要执行的分析任务的核心内容。以统计数据集中无效记录数目的任务为例，如果发现无效记录的比例相当高，那么就需要认真思考为何存在如此多无效记录。是所采用的检测程序存在缺陷，还是数据集质量确实很低，包含大量无效记录？如果确定是数据集的质量问题，则可能需要扩大数据集的规模，以增大有效记录的比例，从而进行有意义的分析。计

发表了文章 2017-06-04

Mapreduce和Yarn概念，参数优化，作用，原理，MapReduce计数器 Counter,MapReduce 多job串联之ControlledJob(来自学习资料)

3.3. MapReduce与YARN 3.3.1 YARN概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序 3.3.2 YARN的重要概念 1、 yarn并不清楚用户提交的程序的运行机制 2、 yarn只提供运算资源的调度（用户程序向yarn申请资源，yarn就负责

发表了文章 2017-06-04

Hadoop中通过ToolRunner和Configured实现直接读取命令行动态出入reduce task数量，jar文件等

一个典型的实现Tool的程序： /** MyApp 需要从命令行读取参数，用户输入命令如， $bin/hadoop jar MyApp.jar -archives test.tgz arg1 arg2 -archives 为hadoop通用参数，arg1 ,arg2为job的参数 */ public class MyApp extends Configured imple

发表了文章 2017-06-04

MapReduce将小文件合并成大文件，并设置每个切片的大小的案例

测试代码： package cn.toto.bigdata.combinefile; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; imp

发表了文章 2017-06-03

通过MapReduce统计每个单子在每个文件中出现的次数（FileSplit的使用），单词作为key，所在文本和次数作为value进行统计

代码如下： package cn.toto.bigdata.mr.index; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import

发表了文章 2017-06-03

MapTask并行度决定机制、FileInputFormat切片机制、map并行度的经验之谈、ReduceTask并行度的决定、MAPREDUCE程序运行演示（来自学笔记）

1.3 MapTask并行度决定机制 maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度那么，mapTask并行实例是否越多越好呢？其并行度又是如何决定呢？ 1.3.1mapTask并行度的决定机制一个job的map阶段并行度由客户端在提交job时决定而客户端对map阶段并行度的规划的基本逻辑为：将待处理数据执行逻辑切片（即按照一个特定切片大小，

发表了文章 2017-06-03

mapreduce的shuffle机制（来自学习笔记）

3. MAPREDUCE原理篇（2） 3.1 mapreduce的shuffle机制 3.1.1 概述： v mapreduce中，map阶段处理的数据如何传递给reduce阶段，是mapreduce框架中最关键的一个流程，这个流程就叫shuffle； v shuffle: 洗牌、发牌——（核心机制：数据分区，排序，缓存） v 具体来说：就是将maptask输出的处理结果数据，分发给re

发表了文章 2017-06-02

技术主管和架构师的职责

技术主管的职责要求：技术职责研发任务管理工作量评估任务分解、分配代码审核风险识别技术能力提升代码规范制定和推广生产力工具研发和推广最佳实践总结和推广关键代码实现组织职责协调沟通招聘面试教练指导复盘总结架构师看完上面关于技术主管的职责能力要求，想必你会有些疑惑，感觉好像很多条目对架构师也是这么要求的。对，你的感觉没错，技术主管的角色与架构师这

发表了文章 2017-06-02

使用Mapreduce案例编写用于统计文本中单词出现的次数的案例、mapreduce本地运行等，Combiner使用及其相关的知识，流量统计案例和流量总和以及流量排序案例，自定义Partitioner

工程结构：在整个案例过程中，代码如下： WordCountMapper的代码如下： package cn.toto.bigdata.mr.wc; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable;

发表了文章 2017-06-02

MapReduce原理与设计思想（转载：http://blog.jobbole.com/80619/）

简单解释 MapReduce 算法一个有趣的例子你想数出一摞牌中有多少张黑桃。直观方式是一张一张检查并且数出有多少张是黑桃？ MapReduce方法则是：给在座的所有玩家中分配这摞牌让每个玩家数自己手中的牌有几张是黑桃，然后把这个数目汇报给你你把所有玩家告诉你的数字加起来，得到最后的结论拆分 MapReduce合并了两种经典函数：映射（Mapping）对集合里的每个目标

发表了文章 2017-06-01

模拟MapReduce编程的程序案例(用于统计文本中单词出现频率)

本案例要实现的目标： 1、模拟修改配置，通过发指令的方式统计一个文件中出现的单词的字数。案例代码结构如下：在整个案例中需要有以下几类文件： A:worker服务端，用于类似Mapreduce接收jar，接收配置文件，执行业务逻辑 B:程序客户端、用于组装配置文件、发送业务执行的命令(听过socket发送jarfile、jobconf、和job2run的命令) 代码结构，每个包和代码作用

发表了文章 2017-05-31

Hadoop-rpc调用案例，服务端，客户端代码案例

１. Hadoop-rpc框架在hadoop中提供了一个rpc框架，通过这个rpc框架可以编写一个rpc服务端程序，然后发布出去供客户端调用。 1.1.服务端代码其中服务端（example-hadoop-rpc-server），其中代码结果如下：代码说明： ClientNamenodeProtocal 接口定义 NameNode 接口的实现 ServerPublishe

发表了文章 2017-05-30

NAMENODE工作机制，元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明（来自学习资料）

NAMENODE工作机制学习目标：理解namenode的工作机制尤其是元数据管理机制，以增强对HDFS工作原理的理解，及培养hadoop集群运营中“性能调优”、“namenode”故障问题的分析解决能力问题场景： 1、集群启动后，可以查看目录，但是上传文件时报错，打开web页面可看到namenode正处于safemode状态，怎么处理？解释： safemode是namenode的一种

发表了文章 2017-05-30

HDFS的工作机制,HDFS写数据流程,HDFS读数据流程（来自学习资料）

4.hdfs的工作机制（工作机制的学习主要是为加深对分布式系统的理解，以及增强遇到各种问题时的分析解决能力，形成一定的集群运维能力）注：很多不是真正理解hadoop技术体系的人会常常觉得HDFS可用于网盘类应用，但实际并非如此。要想将技术准确用在恰当的地方，必须对技术有深刻的理解 4.1 概述 1. HDFS集群分为两大角色：NameNode、DataNode (Se

发表了文章 2017-05-30

HDFS的API调用,创建Maven工程,创建一个非Maven工程,HDFS客户端操作数据代码示例,文件方式操作和流式操作

１. HDFS的java操作 hdfs在生产应用中主要是客户端的开发，其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件１.1 搭建开发环境１.1.1创建Maven工程快速创建一个Maven工程和目录结构的方式是执行下面的命令： mvn archetype:generate

发表了文章 2017-05-30

HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍

3.HDFS的shell(命令行客户端)操作 3.1 HDFS命令行客户端使用 HDFS提供shell命令行客户端，使用方法如下： [toto@hadoop hadoop-2.8.0]$ hdfs dfs -ls / （推荐使用这种方式，hdfs现在这种是最新的一种方式） Found 4 items drwxr-xr-x - toto supergroup

发表了文章 2017-05-29

Linux下快速搭建ntp时间同步服务器（转载：http://www.linuxidc.com/Linux/2014-07/104371.htm）

背景：服务器多了，时间是否一致以及是否准备就显得格外重要，虽然这个问题总是被忽略，但是统一时间是很有必要的，因为时间问题导致服务出现问题也是司空见惯，本文简单介绍Linux下ntp的快速搭建和使用。 CentOS NTP服务器安装与配置 http://www.linuxidc.com/Linux/2014-01/95258.htm Linux实战部署系列之NTP服务器 http://www.

发表了文章 2017-05-29

datenode节点超时时间设置，Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机架感知配置

1.Hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * heartbeat.rec

发表了文章 2017-05-29

HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo

26 集群使用初步 HDFS的设计思路 l 设计思想分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析； l 在大数据系统中作用：为各类分布式运算框架（如：mapreduce，spark，tez，……）提供数据存储服务 l 重点概念：文件切块，副本存放，元数据 26.1 HDFS使用 1、查看集群状态命令： h

发表了文章 2017-05-29

Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误

25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起 HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode / DataNode YARN集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManag

发表了文章 2017-05-28

本地编译Hadoop2.8.0源码总结和问题解决(转自：http://blog.csdn.net/young_kim1/article/details/50324345)

编译准备 1、下载所需的软件先去官网下载hadoop2.8.0源码并解压，打开解压目录下的BUILDING.txt，编译过程和需要的软件其实就是根据这个文档里的描述来的。

发表了文章 2017-05-27

通过源码的方式编译hadoop的安装文件

Hadoop2.4.0 重新编译 64 位本地库原创作者：大鹏鸟时间：2014-07-28环境：虚拟机 VirtualBox，操作系统 64 位 CentOS 6.4下载重新编译需要的软件包apache-ant-1.9.4-bin.tar.gzfindbugs-3.0.0.tar.gzprotobuf-2.5.0.tar.gzapache-maven-3.0.5-bin.tar.gz下载

发表了文章 2017-05-26

分布式系统概述（来自学习资料）

2 分布式系统概述注：由于大数据技术领域的各类技术框架基本上都是分布式系统，因此，理解hadoop、storm、spark等技术框架，都需要具备基本的分布式系统概念 2.1 分布式软件系统(Distributed Software Systems) ² 该软件系统会划分成多个子系统或模块，各自运行在不同的机器上，子系统或模块之间通过网络通信进行协作，实现最终的整体功能 ² 比如分布式操作

发表了文章 2017-05-26

什么是HADOOP、产生背景、在大数据、云计算中的位置和关系、国内外HADOOP应用案例介绍、就业方向、生态圈以及各组成部分的简介（学习资料中的文档材料）

1. HADOOP背景介绍 1． 1.1 什么是HADOOP 1. HADOOP是apache旗下的一套开源软件平台 2. HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 3. HADOOP的核心组件有 A. HDFS（分布式文件系统） B. YARN（运算资源调度系统） C.

发表了文章 2017-05-26

dubbo控制中心部署，权重配置，以及管控台中各个配置的简单查看

dubbo给我们提供了现成的后台管理网站，专门管理这些服务，应用，路由规则，动态配置，访问控制、权重控制、负载均衡等等，还可以查看系统日志，系统状态，系统环境等等，功能很是强大，通过这个后台，可以可视化控制你的服务和应用。接下来我们来简单的看看后台系统，以及简单修改下权重控制啥的看看效果吧！我们将dubbo-admin-2.5.4.war包放到tomcat容器中（如果没有dubbo-admi

发表了文章 2017-05-26

Maven+SpringMVC+Dubbo+zookeeper 简单的入门demo配置

参考：http://blog.csdn.net/aixiaoyang168/article/details/51362675 dubbo是一个分布式服务框架，致力于提供高性能和透明化的RPC远程服务调用方案，是阿里巴巴SOA服务化治理方案的核心框架，每天为2,000+个服务提供3,000,000,000+次访问量支持，并被广泛应用于阿里巴巴集团的各成员站点（其他的详细介绍可以查看dubbo的

发表了文章 2017-05-26

sonarqube官网地址

https://www.sonarqube.org/

发表了文章 2017-05-25

mongo-connector导入数据到Elasticsearch

当前测试环境下Elasticsearch版本为2.3。不同版本的mongo-connector、elastic-doc-manager/elastic2-doc-manager所支持的Elasticsearch版本不同，安装时注意版本的选择。安装mongo-connector 测试机上Python的默认版本为2.6，由于我采用anonacoda作为Python开发环境，Python默认版

发表了文章 2017-05-24

Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC

转载：（http://blog.csdn.net/zeroso/article/details/70592179）错误现象： java.lang.IllegalArgumentException: Invalid character found in the request target. The valid characters are defined in RFC 7230 and RF

发表了文章 2017-05-24

Introduction | Elasticsearch权威指南(中文版)

https://es.xiaoleilu.com/170_Relevance/10_Scoring_theory.html

发表了文章 2017-05-10

xxx项目接口文档模板

XXX项目接口版本编写人员备注 1 站点信息接口 1.1 接口描述查询填报单位信息及栏目信息 1.2 接口参数提交路径：测试:ht

发表了文章 2017-05-06

XDocReport 的简单使用操作word 替换变量，动态图片，指定操作指令（程序）扩展（转自：http://www.cnblogs.com/fish-in-sky/p/4973237.html）

XDocReport 主要是操作word，如动态插入数字、汉字、图片，也可以通过指令形式去执行程序输出结果。 1，模版变量定义。 1）新建word； 2）替换简单动态变量：Ctrl + F9 编辑域选择MergeField 编辑域代码如图： 3）替换动态图片： 4）指令扩展： 2，代码 /** * 根据模板导出word文件 * * @para

发表了文章 2017-05-05

Oracle数据库表信息，序列，视图等导出，导入。（数据库备份和恢复）

数据导出 1、打开PL/SQL，找到选择表、将用户相关的索引，序列、用户信息等导出来 2、找到Exporttable 选择要导出的表的数据等，注意：导成dmp格式的数据文件数据导入 1.以管理员方式登录 2.将数据库导入下面是表结构， 3、数据导入的过程

发表了文章 2017-05-05

redis安装，redis项目以来，redis和spring整合，redis的service，redis的service实现类

一．redis安装： Redis-3.2.6.tar.gz安装，参考方式：用源码工程来编译安装 1、到官网下载最新stable版，这里使用的是：redis-3.2.6.tar.gz 2、 cd /usr/local 3、 make redis-src 4、 tar -zxvf redis-3.2.6.tar.gz -C ./redis-src/

发表了文章 2017-05-05

Nginx安装，Nginx静态缓存，Nginx Gzip压缩，Nginx负载均衡，Nginx方向代理，Nginx+Tomcat+Redis做session共享

Nginx安装 nginx-1.10.1.tar.gz安装，参考http://blog.csdn.net/tototuzuoquan/article/details/47381907。修改nginx.conf的配置文件 #user nobody; worker_processes 8; error_log logs/error.log; error_log logs

发表了文章 2017-05-03

freemarker语法

freemarker中显示某对象使用${name}. 但如果name为null，freemarker就会报错。如果需要判断对象是否为空： <#if name??> …… </#if> 当然也可以通过设置默认值${name!''}来避免对象为空的错误。如果name为空，就以默认值（“!”后的字符）显示。对象user，name为user的属性的情况，user，

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

涂作权_个人页

个人介绍

擅长的技术

Flume监听文件夹中的文件变化，并把文件下沉到hdfs

模拟使用Flume监听日志变化，并且把增量的日志文件写入到hdfs中

Flume安装部署，采集方案配置文件编写案例，启动agent采集数据

日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）

Hive内置运算函数，自定义函数(UDF)和Transform

Hive常用运算(关系运算)、逻辑运算与数学运算、数值运算、日期函数、条件函数、字符串函数

Hive分区、分桶操作及其比较（转自：http://blog.csdn.net/epitomizelu/article/details/41911657）

函数分类，HIVE CLI命令，简单函数，聚合函数，集合函数，特殊函数(窗口函数，分析函数，混合函数，UDTF)，常用函数Demo

HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令

Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储（来自学习资料）

hdfs haadmin使用，DataNode动态上下线，NameNode状态切换管理，数据块的balance,HA下hdfs-api变化（来自学习资料）

hadoop-HA集群搭建，启动DataNode，检测启动状态，执行HDFS命令，启动YARN，HDFS权限配置，C++客户端编程，常见错误

Hadoop的HA机制

MapReduce多个job同时使用的方式(从网上找到的案例，原始博文：http://www.cnblogs.com/yjmyzz/p/4540469.html)

MapReduce 计数器简介（转载自：http://www.tuicool.com/articles/qqyIBr）

Mapreduce和Yarn概念，参数优化，作用，原理，MapReduce计数器 Counter,MapReduce 多job串联之ControlledJob(来自学习资料)

Hadoop中通过ToolRunner和Configured实现直接读取命令行动态出入reduce task数量，jar文件等

MapReduce将小文件合并成大文件，并设置每个切片的大小的案例

通过MapReduce统计每个单子在每个文件中出现的次数（FileSplit的使用），单词作为key，所在文本和次数作为value进行统计

MapTask并行度决定机制、FileInputFormat切片机制、map并行度的经验之谈、ReduceTask并行度的决定、MAPREDUCE程序运行演示（来自学笔记）

mapreduce的shuffle机制（来自学习笔记）

技术主管和架构师的职责

使用Mapreduce案例编写用于统计文本中单词出现的次数的案例、mapreduce本地运行等，Combiner使用及其相关的知识，流量统计案例和流量总和以及流量排序案例，自定义Partitioner

MapReduce原理与设计思想（转载：http://blog.jobbole.com/80619/）

模拟MapReduce编程的程序案例(用于统计文本中单词出现频率)

Hadoop-rpc调用案例，服务端，客户端代码案例

NAMENODE工作机制，元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明（来自学习资料）

HDFS的工作机制,HDFS写数据流程,HDFS读数据流程（来自学习资料）

HDFS的API调用,创建Maven工程,创建一个非Maven工程,HDFS客户端操作数据代码示例,文件方式操作和流式操作

HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍

Linux下快速搭建ntp时间同步服务器（转载：http://www.linuxidc.com/Linux/2014-07/104371.htm）

datenode节点超时时间设置，Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机架感知配置

HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo

Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误

本地编译Hadoop2.8.0源码总结和问题解决(转自：http://blog.csdn.net/young_kim1/article/details/50324345)

通过源码的方式编译hadoop的安装文件

分布式系统概述（来自学习资料）

什么是HADOOP、产生背景、在大数据、云计算中的位置和关系、国内外HADOOP应用案例介绍、就业方向、生态圈以及各组成部分的简介（学习资料中的文档材料）

dubbo控制中心部署，权重配置，以及管控台中各个配置的简单查看

Maven+SpringMVC+Dubbo+zookeeper 简单的入门demo配置

sonarqube官网地址

mongo-connector导入数据到Elasticsearch

Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC

Introduction | Elasticsearch权威指南(中文版)

xxx项目接口文档模板

XDocReport 的简单使用 操作word 替换变量，动态图片，指定操作指令（程序）扩展（转自：http://www.cnblogs.com/fish-in-sky/p/4973237.html）

Oracle数据库表信息，序列，视图等导出，导入。（数据库备份和恢复）

redis安装，redis项目以来，redis和spring整合，redis的service，redis的service实现类

Nginx安装，Nginx静态缓存，Nginx Gzip压缩，Nginx负载均衡，Nginx方向代理，Nginx+Tomcat+Redis做session共享

freemarker语法

Flume监听文件夹中的文件变化，并把文件下沉到hdfs

模拟使用Flume监听日志变化，并且把增量的日志文件写入到hdfs中

Flume安装部署，采集方案配置文件编写案例，启动agent采集数据

日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）

Hive内置运算函数，自定义函数(UDF)和Transform

Hive常用运算(关系运算)、逻辑运算与数学运算、数值运算、日期函数、条件函数、字符串函数

Hive分区、分桶操作及其比较（转自：http://blog.csdn.net/epitomizelu/article/details/41911657）

函数分类，HIVE CLI命令，简单函数，聚合函数，集合函数，特殊函数(窗口函数，分析函数，混合函数，UDTF)，常用函数Demo

HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令

Hive简介、什么是Hive、为什么使用Hive、Hive的特点、Hive架构图、Hive基本组成、Hive与Hadoop的关系、Hive与传统数据库对比、Hive数据存储（来自学习资料）

hdfs haadmin使用，DataNode动态上下线，NameNode状态切换管理，数据块的balance,HA下hdfs-api变化（来自学习资料）

hadoop-HA集群搭建，启动DataNode，检测启动状态，执行HDFS命令，启动YARN，HDFS权限配置，C++客户端编程，常见错误

Hadoop的HA机制

XDocReport 的简单使用操作word 替换变量，动态图片，指定操作指令（程序）扩展（转自：http://www.cnblogs.com/fish-in-sky/p/4973237.html）