kettle开发篇-分组

简介: kettle开发篇-分组

前言:


昨天我们讲了记录集连接,我们可以通过记录集连接实现了多个输入的连接。实现类似数据库的全连接、左连接、右连接的操作。今天我们来学习一个新的分类,统计中的分组。分组首先想到了就是类似数据库中的group by那实际上的分组又是怎么个操作呢?


一、分组


分组是按照某一个或某几个进行分组,同时可以将其余字段按照某种规则进行合并,从字面意思来看,分组不但是分组而且还进行了合并操作。 同样需要注意的是我们进行分组之前需要将数据进行排序。

分组我们的主要需要注意的是,我们需要首先指定分组的字段,然后指定聚合后的新字段,如下图所示count就是按照group字段分组后,聚合的新字段。 需要注意的是我们在完成聚合字段后需要指定聚合字段的类型,如是求和、平均、最大、最小还是计数。


二、任务实操


为了加深理解,这边我们一起来做一个实操,从Excel读取数据,按照group 进行分组统计,把结果保存到Excel。

最终我们的转换包括,Excel输入、排序记录、分组和Excel输出。其中Excel输入和Excel输出我们在前面讲过多次了。Excel输入就是获取Excel的位置并获取对应的字段和数据,Excel输出为获取数据输出的位置及字段。排序记录为我们将Excel输入的数据按照字段进行升序或者降序排序。

对应的分组需要注意的是我们首先需进行排序,并指定分组字段,然后运行转换即可看到我们需要的结果。

这里特别注意的是,我们排序的字段是我们分组的字段,因为只有这种排序才是有价值的,因此在本次任务中,我们排序的字段是group。

相关文章
|
6月前
|
数据库连接 数据库
kettle开发篇-流查询
kettle开发篇-流查询
160 0
|
6月前
|
数据库
kettle开发篇-合并记录
kettle开发篇-合并记录
228 0
|
6月前
|
SQL
kettle开发篇-参数
kettle开发篇-参数
130 0
|
6月前
|
SQL 算法 网络协议
实时计算 Flink版产品使用合集之kettle找不到表输入控件如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
133 1
|
6月前
|
数据库
kettle开发篇-映射
kettle开发篇-映射
146 0
|
6月前
|
存储
kettle开发篇-列拆分为多行
kettle开发篇-列拆分为多行
265 0
|
缓存 算法 数据库连接
Kettle查询与连接(七)
Kettle查询与连接(七)
399 0
Kettle查询与连接(七)
|
数据库
无事来学学--Kettle中查询,流程,连接组件的使用(下)
查询组件 查询是转换里面的第七个分类。查询是用来查询数据源里的数据并合并到主数据流中。
421 0
|
数据库连接 数据库
无事来学学--Kettle中查询,流程,连接组件的使用(上)
查询组件 查询是转换里面的第七个分类。查询是用来查询数据源里的数据并合并到主数据流中。
558 0