sjf0115
sjf0115_个人页
sjf0115
文章
776
问答
0
视频
0
个人介绍
Stay Hungry, Stay Foolish---我们必须用谦虚者的自觉，饥饿者的渴望的求职态度，来拥抱我们的未来。
擅长的技术
获得更多能力
通用技术能力：
暂时未有相关通用技术能力~
云产品技术能力：
-
ACP
-
阿里云大数据工程师ACP认证（Alibaba Cloud Certified Professional - Big Data）
获得于2022-03-27 23:15:12
-
阿里云大数据工程师ACP认证（Alibaba Cloud Certified Professional - Big Data）
阿里云技能认证
详细说明-
发表了文章 2017-06-08
[Spark]那些年我们遇到的Spark的坑
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72922155 1.
-
发表了文章 2017-06-08
[Hadoop]Hadoop本地调试
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72912058 1.
-
发表了文章 2017-06-05
[Zeppelin]设置访问登录权限
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72869679 1.
-
发表了文章 2017-06-05
[Zeppelin]Zeppelin安装与初体验
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72869094 1.
-
发表了文章 2017-06-01
[Redis]Redis指南一 安装与启动
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72828391 在安装...
-
发表了文章 2017-05-31
[Redis]Redis指南一 数据类型
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72824092 1. 字符串 1.1 SET与GET SET key value GET key Redis中的字符串是一个字节序列。
-
发表了文章 2017-05-27
[ElasticSearch2.x]原理之分布式搜索
这个要比基本的创建-读取-更新-删除（CRUD）请求要难一些。CRUD操作是处理的单个文档。这就意味着我们明确的知道集群中的哪个分片存储我们想要的文档。
-
发表了文章 2017-05-25
[ElasticSearch]嵌套对象之嵌套类型
nested类型是一种特殊的对象object数据类型(specialised version of the object datatype )，允许对象数组彼此独立地进行索引和查询。
-
发表了文章 2017-05-25
[ElasticSearch2.x]嵌套对象
考虑到在Elasticsearch中创建，删除和更新的单个文档是原子操作的，因此在相同文档中存储紧密相关的实体是有意义的。 例如，我们可以在一个文档中存储一个订单和其所有的订单线(order lines)，或者我们可以通过...
-
发表了文章 2017-05-22
[ElasticSearch]分析之Analysis(分析)
分析(analysis)是将文本（如任何电子邮件的正文）转换为添加到倒排索引中进行搜索的tokens或terms的过程。 分析由分析器analyzer执行，分析器可以是内置分析器或者每个索引定制的自定义分析器。
-
发表了文章 2017-05-19
[ElasticSearch]Search之分页
之前的文章[ElasticSearch]搜索我们知道，我们的空搜索匹配到集群中的13个文档。 但是，命中数组中只有10个文档（文章只显示了2条数据，故意省略掉）。
-
发表了文章 2017-05-19
[ElasticSearch]搜索
1. 空搜索 测试数据: https://gist.github.com/clintongormley/8579281 1.
-
发表了文章 2017-05-17
[ElasticSearch2.x]Filter之Cache
过滤器(Filter)的核心实际是采用一个bitset记录与过滤器匹配的文档。当Elasticsearch确定一个bitset可能会在将来被重用时，它将被直接缓存在内存中供以后使用。
-
发表了文章 2017-05-17
[ElasticSearch2.x]Filter之Filter原理
1. ElasticSearch 2.0 变动 1.1 Queries与filters合并 查询(Queries)和过滤器(filters)进行合并 - 所有过滤器子句现在都是查询子句( all filter clauses are now query clauses.)。
-
发表了文章 2017-05-15
[ElasticSearch2.x]Queries vs Filters
1. 查询与过滤 Elasticsearch 使用的查询语言（DSL） 拥有一套查询组件(queries)，这些组件可以以无限组合的方式进行搭配(mixed and matched)。
-
发表了文章 2017-05-10
[ElasticSearch2.x]副本分片
1. 副本分片 到目前为止，我们只讨论了主分片，但是我们还有另一个工具：副本分片。 副本分片的主要目的是为了故障转移（failover），如深入集群生命周期所述：如果持有主分片的节点死亡，则将其副本提升为主分片的角色。
-
发表了文章 2017-05-02
[Guava源码日报]（11）BiMap
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/71080423 BiMap提供了一种新的集合类型，它提供了key和value的双向关联的数据结构。
-
发表了文章 2017-05-02
[Guava源码日报]（10）Iterables
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/71080353 1. 简介 Iterables类包含了一系列的静态方法，来操作或返回Iterable对象。
-
发表了文章 2017-05-02
[Guava源码日报]（9）Closeables
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/71080196 它的作用是收集可以关闭的资源并在合适的时候关闭它们。
-
发表了文章 2017-05-02
[Guava源码日报]（8）ImmutableCollection
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/71080164 不可变集合，顾名思义就是说集合是不可被修改的。
-
发表了文章 2017-05-02
[Guava源码日报]（7）Throwables分析
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/71079798 有时候，你会想把捕获到的异常再次抛出。
-
发表了文章 2017-05-02
[Guava源码分析]（6）Objects分析
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/71079778 1.
-
发表了文章 2017-05-02
[Guava源码日报]（5）Optional分析
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/71079708 大多数情况下，开发人员使用null表明的是某种缺失情形：可能是已经有一个默认值，或没有值，或找不到值。
-
发表了文章 2017-05-02
[Guava源码日报]（4）Preconditions
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/71079631 Preconditions是guava提供的用于进行代码校验的工具类，其中提供了许多重要的静态校验方法，用来简化我们工作或开发中对代码的校验或预 处理，能够确保代码符合我们的期望，并且能够在不符合校验条件的地方，准确的为我们显示出问题所在，接下来，我们就来学习使用Preconditions 进行代码校验。
-
发表了文章 2017-05-02
[Guava源码日报]（3）Joiner分析
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/71079070 把任意的字符串，通过一些分隔符将它们连接起来是大多数程序员经常处理东西。
-
发表了文章 2017-04-14
[Hive]JsonSerde使用指南
注意： 重要的是每行必须是一个完整的JSON，一个JSON不能跨越多行，也就是说，serde不会对多行的Json有效。 因为这是由Hadoop处理文件的工作方式决定，文件必须是可拆分的，例如，Hadoop将在行尾分割文本文件。
-
发表了文章 2017-03-17
[Hive]Lateral View使用指南
1. 语法 lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (',' columnAlias)* fromClause: FROM baseTable (lateralView)* 2. 描述 Lateral View一般与用户自定义表生成函数（如explode()）结合使用。
-
发表了文章 2017-03-07
[Hive]Union使用指南
1. union语法 select_statement UNION [ALL | DISTINCT] select_statement UNION [ALL | DISTINCT] select_statement ... UNION将多个SELECT语句的结果集合并为一个独立的结果集。
-
发表了文章 2017-03-02
[Spark]Spark Streaming 指南四 输入DStreams和Receivers
1. 输入DStream与Receiver 输入DStreams表示从源中获取输入数据流的DStreams。在指南一示例中，lines表示输入DStream，它代表从netcat服务器获取的数据流。
-
发表了文章 2017-03-01
[Spark]Spark Streaming 指南三 DStreams
离散流或者DStreams是Spark Streaming提供的基本抽象，它代表一个连续的数据流。从源中获取输入流，或者是输入流通过转换算子生成的处理后的数据流。
-
发表了文章 2017-03-01
[Spark]Spark Streaming 指南二 初始化StreamingContext
为了初始化Spark Streaming程序，一个StreamingContext对象必需被创建，它是Spark Streaming所有流操作的主要入口。
-
发表了文章 2017-03-01
[Spark]Spark Streaming 指南一 Example
1. 概述 Spark streaming是Spark核心API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。
-
发表了文章 2017-02-22
[Hive]分析函数 RANK ROW_NUMBER CUME_DIST CUME_DIST
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/56488568 1. 常用分析函数 下表列出了一些分析函数以及描述信息： 分析函数 描述 RANK 返回数据项在分区中的排名。
-
发表了文章 2017-02-22
[Hive]窗口函数LEAD LAG FIRST_VALUE LAST_VALUE
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/56484919 窗口函数（window functions）对多行进行操作，并为查询中的每一行返回一个值。
-
发表了文章 2017-02-22
[Hive]窗口函数与分析函数
本文介绍了用于窗口函数和分析函数的Hive QL增强功能。所有窗口和分析函数操作都按照SQL标准。 当前版本支持以下窗口函数和分析函数： 1 窗口函数 窗口函数 描述 LAG() LAG()窗口函数返回分区中当前行之前行（可以指定第几行）的值。
-
发表了文章 2017-02-16
[Spark]Spark 应用程序部署工具spark-submit
1. 简介 Spark的bin目录中的spark-submit脚本用于启动集群上的应用程序。 可以通过统一的接口使用Spark所有支持的集群管理器，因此不必为每个集群管理器专门配置你的应用程序（It can use all of Spark’s supported cluster managers through a uniform interface so you don’t have to configure your application specially for each one）。
-
发表了文章 2017-02-09
图片保存
图片保存
-
发表了文章 2017-01-22
[Hadoop]数据复制DistCp
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/54668028 1.需求 我们项目中需要复制一个大文件，最开始使用的是hadoop cp命令，但是随着文件越来越大，拷贝的时间也水涨船高。
-
发表了文章 2017-01-22
[Shell]命令行选项解析
1.概述 getopts从符合标准POSIX.2选项语法的参数列表中获取选项及其参数（也就是，单个字母前面带有 - ，可能后跟参数值;单个字母可以分组）。
-
发表了文章 2017-01-11
[Hadoop]MapReduce中的InputSplit
在查看数据块的如何处理之前，我们需要更仔细地了解Hadoop如何存储数据。在Hadoop中，文件由一个一个的记录组成，最终由mapper任务一个一个的处理。
-
发表了文章 2017-01-08
[Hadoop]Reducer总是能复用为Combiner？
Combiner函数是一个可选的中间函数，发生在Map阶段，Mapper执行完成后立即执行。使用Combiner有如下两个优势： Combiner可以用来减少发送到Reducer的数据量，从而提高网络效率。
-
发表了文章 2017-01-07
[Hadoop]MapReduce中的Partitioner与Combiner
Partitioners负责划分Maper输出的中间键值对的key，分配中间键值对到不同的Reducer。Maper输出的中间结果交给指定的Partitioner，确保中间结果分发到指定的Reduce任务。
-
发表了文章 2017-01-03
[Hadoop]MapReduce中的Partitioner
partitioner在处理输入数据集时就像条件表达式(condition)一样工作。分区阶段发生在Map阶段之后，Reduce阶段之前。
-
发表了文章 2016-12-30
[Hadoop]MapReducer工作过程
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/53939546 1. 从输入到输出 一个MapReducer作业经过了input，map，combine，reduce，output五个阶段，其中combine阶段并不一定发生，map输出的中间结果被分到reduce的过程成为shuffle（数据清洗）。
-
发表了文章 2016-12-26
[Hadoop]Hadoop Archives
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/53889284 1. 什么是Hadoop archives? Hadoop archives是特殊的档案格式。
-
发表了文章 2016-12-26
[Hadoop]Hadoop上Data Locality
Hadoop上的Data Locality是指数据与Mapper任务运行时数据的距离接近程度（Data Locality in Hadoop refers to the“proximity” of the data with respect to the Mapper tasks working on the data.） 1. why data locality is imporant? 当数据集存储在HDFS中时，它被划分为块并存储在Hadoop集群中的DataNode上。
-
发表了文章 2016-12-25
[Hadoop]大量小文件问题及解决方案
1. HDFS上的小文件问题 小文件是指文件大小明显小于HDFS上块（block）大小（默认64MB）的文件。如果存储小文件，必定会有大量这样的小文件，否则你也不会使用Hadoop（If you’re storing small files, then you probably have lots of them (otherwise you wouldn’t turn to Hadoop)），这样的文件给hadoop的扩展性和性能带来严重问题。
-
发表了文章 2016-12-21
[Hadoop]输入路径过滤，通配符与PathFilter
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/53786397 1. 丢失文件路径过滤 应用场景：我们想查询一个月以来度假的订单数据，但是HDFS中可能因为业务故障，导致某一天的订单数据不存在： FileInputFormat.setInputPaths(job, inputPath); 上述代码在遇到路径不存在的时候会报错。
-
发表了文章 2016-12-08
[Hadoop]Hadoop单元测试MRUnit
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/53523652 在MapReduce中，map函数和reduce函数的独立测试是非常方便的，这是由函数风格决定的 。
-
发表了文章 2016-12-06
[Hadoop]MapReduce多输出
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/53486203 FileOutputFormat及其子类产生的文件放在输出目录下。
暂无更多信息
-
发表了文章
2018-05-10
Hadoop Yarn上的调度器
-
发表了文章
2018-03-07
Flink1.4 用于外部数据访问的异步IO
-
发表了文章
2018-03-07
Stream 分布式数据流的轻量级异步快照
-
发表了文章
2018-03-05
Flink1.4 窗口触发器与Evictors
-
发表了文章
2018-03-05
Flink1.4 HDFS Connector
-
发表了文章
2017-12-22
Hadoop Trash回收站使用指南
-
发表了文章
2017-10-29
[Flink]Flink1.3 Stream指南八 图解事件时间与Watermarks
-
发表了文章
2017-10-29
[Flink]Flink1.3 Stream指南七 理解事件时间与Watermarks
-
发表了文章
2017-10-27
[Flink]Flink1.3 Stream指南六 事件时间与处理时间
-
发表了文章
2017-10-25
[Flink]Flink1.3 Stream指南五 窗口触发器与驱逐器
-
发表了文章
2017-10-24
[Flink]Flink1.3 Stream指南四 窗口函数
-
发表了文章
2017-10-24
[Flink]Flink1.3 Batch指南二 集群运行
-
发表了文章
2017-10-24
[Flink]Flink1.3 Stream指南三 窗口分配器
-
发表了文章
2017-10-23
[Flink]Flink1.3 指南五 指定keys
-
发表了文章
2017-10-23
[Flink]Flink1.3 指南四 命令行接口
-
发表了文章
2017-10-23
[Flink]Flink1.3 Batch指南一 本地运行
-
发表了文章
2017-10-18
[Flink]Flink1.3 指南二 安装与启动
-
发表了文章
2017-10-18
[Hive]Hive使用指南七 空值与NULL
-
发表了文章
2017-10-16
[ElasticSearch]ElasticSearch,Kibana安装与启动
-
发表了文章
2017-08-29
[Maven]maven-shade-plugin使用指南
滑动查看更多
暂无更多信息
暂无更多信息