kettle开发篇-分组

简介: kettle开发篇-分组

前言:


昨天我们讲了记录集连接,我们可以通过记录集连接实现了多个输入的连接。实现类似数据库的全连接、左连接、右连接的操作。今天我们来学习一个新的分类,统计中的分组。分组首先想到了就是类似数据库中的group by那实际上的分组又是怎么个操作呢?


一、分组


分组是按照某一个或某几个进行分组,同时可以将其余字段按照某种规则进行合并,从字面意思来看,分组不但是分组而且还进行了合并操作。 同样需要注意的是我们进行分组之前需要将数据进行排序。

分组我们的主要需要注意的是,我们需要首先指定分组的字段,然后指定聚合后的新字段,如下图所示count就是按照group字段分组后,聚合的新字段。 需要注意的是我们在完成聚合字段后需要指定聚合字段的类型,如是求和、平均、最大、最小还是计数。


二、任务实操


为了加深理解,这边我们一起来做一个实操,从Excel读取数据,按照group 进行分组统计,把结果保存到Excel。

最终我们的转换包括,Excel输入、排序记录、分组和Excel输出。其中Excel输入和Excel输出我们在前面讲过多次了。Excel输入就是获取Excel的位置并获取对应的字段和数据,Excel输出为获取数据输出的位置及字段。排序记录为我们将Excel输入的数据按照字段进行升序或者降序排序。

对应的分组需要注意的是我们首先需进行排序,并指定分组字段,然后运行转换即可看到我们需要的结果。

这里特别注意的是,我们排序的字段是我们分组的字段,因为只有这种排序才是有价值的,因此在本次任务中,我们排序的字段是group。

相关文章
|
7月前
|
数据库连接 数据库
kettle开发篇-流查询
kettle开发篇-流查询
173 0
|
7月前
kettle开发篇-空操作
kettle开发篇-空操作
132 0
|
7月前
|
SQL
kettle开发篇-参数
kettle开发篇-参数
146 0
|
7月前
|
Oracle 前端开发 关系型数据库
kettle开发篇-更新
kettle开发篇-更新
204 1
|
3月前
|
消息中间件 Kafka 搜索推荐
|
6月前
|
DataWorks Java 调度
DataWorks产品使用合集之进行离线同步时,如何使用DataX的Reader插件来实现源端过滤
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
73 0
DataWorks产品使用合集之进行离线同步时,如何使用DataX的Reader插件来实现源端过滤
|
7月前
|
存储 监控 数据库
Flink CDC产品常见问题之Lookup Join之后再分组聚合部分数据从零开始如何解决
Flink CDC(Change Data Capture)是一个基于Apache Flink的实时数据变更捕获库,用于实现数据库的实时同步和变更流的处理;在本汇总中,我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答,目的是辅助用户更好地理解和应用这一技术,优化实时数据处理流程。
|
7月前
|
存储
kettle开发篇-列拆分为多行
kettle开发篇-列拆分为多行
297 0
|
7月前
|
数据库
kettle开发篇-映射
kettle开发篇-映射
160 0
|
7月前
kettle开发篇-行转列
kettle开发篇-行转列
436 0