nicenelly_个人页

Flink运行时之统一的数据交换对象

统一的数据交换对象 在Flink的执行引擎中，流动的元素主要有两种：缓冲（Buffer）和事件（Event）。Buffer主要针对用户数据交换，而Event则用于一些特殊的控制标识。但在实现时，为了在通信层统一数据交换，Flink提供了数据交换对象——BufferOrEvent。

Flink运行时之通信层API

上图中红框部分即为通信层API。 通信层API 通信层API介于任务执行与通信细节之间，主要用于对上层任务执行提供记录的读写服务同时屏蔽底层的通信细节。主要包括三个部件：将记录写入结果分区的写入器、将数据从输入网关中读出并反序列化为记录的读取器以及周旋在记录和二进制的Buffer数据之间对数据表示进行转换的序列化器。

Flink运行时之生产端结果分区

生产端结果分区 生产者结果分区是生产端任务所产生的结果。以一个简单的MapReduce程序为例，从静态的角度来看，生产端的算子（Map）跟消费端的算子（Reduce），两者之间交换数据通过中间结果集（IntermediateResult）。

Flink运行时之结果分区消费端

结果分区消费端 在前一篇，我们讲解了生产者分区，生产者分区是生产者任务生产中间结果数据的过程。消费者任务在获得结果分区可用的通知之后，会发起对数据的请求。我们仍然以生产者分区的例子作为假设，其在消费端示意图如下： 可以看到在生产端和消费端存在对等的模型，具体ResultSubpartition中的数据如何被消费，我们将在本篇进行深入剖析。

Flink运行时之基于Netty的网络通信上

概述 本文以及接下来的几篇文章将介绍Flink运行时TaskManager间进行数据交换的核心部分——基于Netty通信框架远程请求ResultSubpartition。作为系列文章的第一篇，先列出一些需要了解的基础对象。

Flink运行时之基于Netty的网络通信中

PartitionRequestClient 分区请求客户端（PartitionRequestClient）用于发起远程PartitionRequest请求，它也是RemoteChannel跟Netty通信层之间进行衔接的对象。

Flink运行时之基于Netty的网络通信(下)

客户端核心处理器 这一篇，我们分析一下客户端协议栈中的核心的处理器PartitionRequestClientHandler，该处理器用于处理服务端的响应消息。 我们以客户端获取到响应之后回调该处理器的channelRead方法为入口来进行分析： public void channelRead(C.

Flink运行时之TaskManager执行Task

TaskManager执行任务 当一个任务被JobManager部署到TaskManager之后，它将会被执行。本篇我们将分析任务的执行细节。 submitTask方法分析 一个任务实例被部署所产生的实际影响就是JobManager会将一个TaskDeploymentDescriptor对象封装在SubmitTask消息中发送给TaskManager。

Flink运行时之流处理程序生成流图

流处理程序生成流图 DataStream API所编写的流处理应用程序在生成作业图（JobGraph）并提交给JobManager之前，会预先生成流图（StreamGraph）。 什么是流图 流图（StreamGraph）是表示流处理程序拓扑的数据结构，它封装了生成作业图（JobGraph）的必要信息。

Flink运行时之合久必分的特定任务

合久必分的特定任务 前面我们谈到了TaskManager对每个Task实例会启动一个独立的线程来执行。在分析线程执行的核心代码时，我们看到最终执行的是AbstractInvokable这样执行体的invoke方法。

Flink批处理优化器之Interesting Properties

Interesting Properties（以下简称IP）用来表述在对生成的计划进行分析时一些可能对优化产生重要影响的属性。网络上关于IP的资料并不多，但在Flink的论文里多次出现，Flink在它的一些论文中声明其借鉴自《Goetz Graefe.

Flink运行时之批处理程序生成计划

批处理程序生成计划 DataSet API所编写的批处理程序跟DataStream API所编写的流处理程序在生成作业图（JobGraph）之前的实现差别很大。流处理程序是生成流图（StreamGraph），而批处理程序是生成计划（Plan）并由优化器对其进行优化并生成优化后的计划（OptimizedPlan）。

Flink运行时之生成作业图

生成作业图 在分析完了流处理程序生成的流图（StreamGraph）以及批处理程序生成的优化后的计划（OptimizedPlan）之后，下一步就是生成它们面向Flink运行时执行引擎的共同抽象——作业图（JobGraph）。

Flink之CEP-API简介

CEP API的核心是Pattern API，它允许你快速定义复杂的事件模式。每个模式包含多个阶段（stage）或者我们也可称为状态（state）。为了从一个状态切换到另一个状态，用户可以指定条件，这些条件可以作用在邻近的事件或独立事件上。

Flink之CEP案例分析-网络攻击检测

上一篇我们介绍了Flink CEP的API，这一篇我们将以结合一个案例来练习使用CEP的API编写应用程序，以强化对API的理解。所选取的案例是对网络遭受的潜在攻击进行检测并给出告警。当下互联网安全形势仍然严峻，网络攻击屡见不鲜且花样众多，这里我们以DDOS（分布式拒绝服务攻击）产生的流入流量来作为遭受攻击的判断依据。

Flink-CEP论文与源码解读之状态与状态转换

Flink CEP的论文与设计 Flink的CEP设计与实现重度参考了论文《Efficient Pattern Matching over Event Streams》。下面我们就来结合论文谈谈Flink CEP的设计。

Flink-CEP之带版本的共享缓冲区

带版本的共享缓冲区 当股票模式以一个事件流作为输入时，状态转换将会作用于事件流从而引起事件的状态变化。结合窗口对参与匹配的事件的限制以及模式中结合事件上下文（状态）的过滤条件，同一事件流随着时间的流动或者多次运行都会产生多种不同的匹配结果。

Flink-CEP之NFA

NFAb 模型包含两个阶段：第一个阶段是模式匹配阶段，在这个阶段它将会向最终态过渡并随着事件被选择而扩展缓冲区；第二个阶段是匹配提取阶段，该阶段发生在超时或者到达最终态时，将会从缓冲区中检索所产生的匹配。

Flink-CEP之模式流与运算符

之前我们分析了CEP的API，接下来我们将分析CEP API的内部实现包括模式流与运算符。 模式流 模式流（PatternStream）是CEP模式匹配的流抽象，一个PatternStream对象表示模式检测到的序列所对应的流。

Flink-CEP之NFA编译器

NFAb 编译器的作用是将模式对象编译成NFA或者NFAFactory（用来创建多种NFA对象）。这个编译的过程，需要对模式进行拆分从而构建状态以及根据条件构建状态转换信息，最终根据构建好的状态集合来创建NFA。

Flink批处理优化器之成本估算

成本估算 在基于成本的优化器中，成本估算非常重要，它直接影响着候选计划的生成。在Flink中成本估算依赖于每个不同的运算符所提供的自己的“预算”，本篇我们将分析什么是成本、运算符如何提供自己的预算以及如何基于预算估算成本。

Flink运行时之客户端提交作业图-上

客户端提交作业图 作业图（JobGraph）是Flink的运行时所能理解的作业表示，无论程序通过是DataStream还是DataSet API编写的，它们的JobGraph提交给JobManager以及之后的处理都将得到统一。

Flink运行时之客户端提交作业图-下

submitJob方法分析 JobClientActor通过向JobManager的Actor发送SubmitJob消息来提交Job，JobManager接收到消息对象之后，构建一个JobInfo对象以封装Job的基本信息，然后将这两个对象传递给submitJob方法： case SubmitJo.

Flink批处理优化器之范围分区重写

为最终计划应用范围分区重写 Flink的批处理程序允许用户使用partitionByRange API来基于某个（或某些）字段进行按范围分区且可以选择性地指定排序顺序，示例代码如下： final ExecutionEnvironment env = ExecutionEnvironment.

Flink批处理优化器之范围分区重写采用算法

采样算法 上一篇我们分析了RangePartitionRewriter的数据处理分支，接下来我们开始分析采样分支，采样分支的核心在于采样算法。因为范围分区输入端每个分区的数据量无从得知，也就是说我们无法得出采样比例。

浅谈Flink批处理优化器之Join优化

跟传统的关系型数据库类似，Flink提供了优化器“hint”（提示）以告诉优化器选择一些执行策略。目前优化提示主要针对批处理中的连接（join）。在批处理中共有三个跟连接有关的转换函数： join：默认为等值连接（Equi-join），维基百科将其归类为内连接（inner join）的一种 https://en.

Flink批处理优化器之数据属性

在一段时间之前我们已介绍过IP（Interesting Property）对于优化器的意义以及它将对优化器的优化决策产生的影响。本篇我们将介绍Flink的批处理优化器中涉及到的所有的IP，我们将其统称为数据属性。

Flink批处理中的增量迭代

对某些迭代而言并不是单次迭代产生的下一次工作集中的每个元素都需要重新参与下一轮迭代，有时只需要重新计算部分数据同时选择性地更新解集，这种形式的迭代就是增量迭代。增量迭代能够使得一些算法执行得更高效，它可以让算法专注于工作集中的“热点”数据部分，这导致工作集中的绝大部分数据冷却得非常快，因此随后的迭代面对的数据规模将会大幅缩小。

Flink-Table-SQL系列之source

source作为Table&SQL API的数据源，同时也是程序的入口。当前Flink的Table&SQL API整体而言支持三种source：Table source、DataSet以及DataStream，它们都通过特定的API注册到Table环境对象。

Flink关系型API简介

在接触关系型API之前，用户通常会采用DataStream、DataSet API来编写Flink程序，它们都提供了丰富的处理能力，以DataStream为例，它有如下这些优点： 富有表现力的流处理，包括但不限于：转换数据，更新状态，定义窗口、聚合，事件时间语义，有状态且保证正确性等； 高度自定义.

Flink关系型API的公共部分

关系型程序的公共部分 下面的代码段展示了Table&SQL API所编写流式程序的程序模式： val env = StreamExecutionEnvironment.getExecutionEnvironment //创建TableEnvironment对象 val tableEnv = TableEnvironment.

Uber Athenax项目核心技术点剖析

本文剖析一下Uber Athenax项目的核心技术点。 overview 以下这段介绍摘自项目官方文档。 AthenaX是一个流式分析平台，它可以让用户运行SQL来进行大规模可扩展的流式分析。

为梦想起航

注册CSDN有段时间了，今天正式决定在此开博，书写我崭新的一页。。。。。。   喜欢上CSDN并不是因为我是学计算机的，而是偶然间看到网上红极一时的，有关描写程序员奋斗历程的励志小说——《疯狂的程序员》，之后便开始喜欢上了逛社区，喜欢和别人交流问题，喜欢聆听“牛人”们的独到见解，之后游荡于CSDN就成为并将继续成为我生活的一部分。

GridView控件自定义分页的实现

前人栽树，后人乘凉，话不多说，代码如下：     实现方式一： .aspx: [c-sharp] view plain copy <form id="form1" runat="server">       <table style="width: 605px">         .

asp.net的缓存机制

缓存是把应用程序中的需要频繁、快速访问的数据保存在内存中的编程技术，通常用来提高网络的响应速度。在ASP.NET中使用Cache类来管理缓存。下面详述控件级数据缓存功能和页面级数据缓存功能的实现：   (1)数据库缓存依赖 数据库缓存依赖由SqlCacheDependency类管理； 数据库缓存依赖的优点： 1、提高数据呈现速度，每次获取数据后，系统根据用户设置的缓存时间，在有效期内，将数据保存在本地，用户请求数据结果时，系统不是从数据库中获取，而是直接从本地获取，从而提高了数据的获取速度。

asp.net显示高清缩略图

如题：   添加命名空间如下： using System.Drawing; using System.Drawing.Drawing2D; using System.Drawing.Imaging; using System.

asp.net:AJAX+LINQ+TreeView 动态填充多级节点

演示示例为一个学生信息查看菜单：先选择部门，再选择班级，最后选择学生姓名，查看学生信息； 效果图：      采用TreeView的SelectedNodeChanged事件作为一个包含用来显示学生信息的Lable的UpdatePanel的触发器，如下： [xhtml] view plai.

《C#面向对象设计模式纵横谈》——1、面向对象设计模式与原则|第一讲

设计模式描述了软件设计过程中某一类常见问题的一般性的解决方案。   面向对象设计模式描述了面向对象设计过程中、特定场景下、类与相互通信的对象之间常见的组织关系。   示例场景： 我们需要设计一个人事管理系统，其中的一个功能是对各种不同类型的员工，计算其当月的工资——不同类型的员工，拥有不同的薪金计算制度。

《C#2.0锐利体验系列课程》第一讲——泛型

一个简单的泛型示例： 定义： class Stack<T> {         private T[] store;         private int size;         public Stack()        {                 store = new T[10.

使用强类型数据集进行有效编码——转载

曾经有人告诉我优秀的开发人员的特点是希望能够有效地利用时间。开发人员不断追求更容易更快速的编码方式，以及减少错误数量的方法。使用 ADO.NET 中的强类型数据集对象可以帮助您做到这一点。 本月我将从正反两方面来讨论使用强类型数据集对象开发基于 Microsoft® .NET Framework 的应用程序。

C#如何识别引用的真实类型(一)——转载

知识储备,如果您已经十分熟习这些,可以跳过 1 什么是引用?  引用是一个数据结构,包含了一个计算机内存堆地址的值,就类似C++中的指针一样,本文中所有出现有关"引用"字句,读者都可以把它理解成C,C++中的指针   再说一遍,引用 与 指针 是不同的,例如 GC在回收内存的时候,会修改引用的值,.

关于更清楚地了解.net的垃圾回收机制

对非托管资源的隐式控制是由析构方法提供的，它会在对象销毁时由垃圾回收器调用。 析构方法应该只释放对象占用的资源，而不应该引用其他对象。请注意，如果只有托管引用，就无需也不应该实现析构方法，它只适用于处理非托管资源。

大象之关于对UML的一些理解

最近比较不闲，要读的书实在是太多，我也是看了这本丢那本。这实在不是一个好的习惯，我会渐渐改正，不多废话，以下是再读《大象》后整理的一部分(因为暂时只读到这儿)认为值得回味的内容： 面向过程的前提：过程是稳定的，结果是预设的。

C#编码规范——转载

1. 简介 本规范为一套编写高效可靠的 C# 代码的标准、约定和指南。它以安全可靠的软件工程原则为基础，使代码易于理解、维护和增强，提高生产效率。同时，将带来更大的一致性，使软件开发团队的效率明显提高。

IT早报网今日起在SAE试运行，欢迎大家多多提建议

苹果又一新专利 可通过监测用户使用习惯来省电

IPHONE省电省流量技巧 & 电池状况查询

云服务掀起价格战 用户成真正受益方

快播关闭服务器，你怎么看？

IOS7.1.1真的像网上流传的那么好？没有任何问题么？？