kettle开发篇-列拆分为多行

简介: kettle开发篇-列拆分为多行

前言:


在前一节,我们学习了拆分字段,即将一个字段的值拆分为多个字段值进行存储,相当于我们从一列字段拆分为多列了,如本来是一个数据列的name通过我们的拆分,拆分为firstname和lastname两列,但原来的name列不在数据流之中了。今天我们来学习一个相对应的操作怎么将一行数据拆分为多行。


一、列拆分为多行


实例,如我们将一个信息录入为1行,其中包括ID、name、age、sex、hobby,其中ID、name、age、sex均只有一个值,只有我了的爱好hobby是通过分号;分隔的,其中包括eat;basketball;football;sing等四个爱好,因此我们将hobby拆分后就得到了四条记录即。ID、name、age、sex、hobby1(eat),ID、name、age、sex、hobby1(basketball),ID、name、age、sex、hobby1(football),ID、name、age、sex、hobby1(sing)如下图所示。

列拆分为多行操作实例,从列拆分组件操作界面我们可以看到列拆分为多行组件,主要包括要拆分的字段、分隔符、新字段名。新字段名需手工录入。

最终我们的转换包括EXCEL输入、列拆分为多行、EXCEL输出。

其中EXCEL输入还是和前面说的一样,选择要处理的文件位置,添加文件位置、或者对应的输入字段。我们重点来讲下列拆分为多行,如图所示我们需要选择要拆分的字段,对应的分隔符,分隔符默认为;如果你的数据不是;的话需要手工输入处理,然后就是新字段名的名字。

从EXCEL输出中我们可以看到获取字段时会带出原来所有的字段并带出新增的字段。这和拆分字段不同的是会保存原有的数据。最后我们点击运行就可以看出输出结果为4行。这个组件还是非常有用的,如果我们需要将一个列的数据拆分其实在SQ里面处理也是蛮复杂的,而且数据量大了性能也不高,因此当我们遇到这种需求时,可以考虑采用列拆分为多行来处理哦,轻松处理你复杂的数据需求。

相关文章
|
4月前
|
数据库
kettle开发篇-合并记录
kettle开发篇-合并记录
190 0
|
SQL Oracle 关系型数据库
hive中将单行拆分成多行总结
hive 中实现拆分字段到多行
8392 0
|
4月前
|
SQL 算法 网络协议
实时计算 Flink版产品使用合集之kettle找不到表输入控件如何解决
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
存储 SQL 关系型数据库
(二十三)MySQL分表篇:该如何将月增上亿条数据的单表处理方案优雅落地?
前面《分库分表的正确姿势》、《分库分表的后患问题》两篇中,对数据库的分库分表技术进行了全面阐述,但前两篇大多属于方法论,并不存在具体的实战实操,而只有理论没有实践的技术永远都属纸上谈兵,所以接下来会再开几个单章对分库分表各类方案进行落地。
100 3
|
2月前
|
Kubernetes 关系型数据库 MySQL
实时计算 Flink版操作报错合集之一张大表主键是多个字段组成的,按第一个主键的column划分出现了数据倾斜,该如何解决
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3月前
|
SQL 数据采集 DataWorks
DataWorks产品使用合集之如何把两列字符串拼接的数据各自拆分成多行并组合
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
26 0
|
4月前
|
数据库
kettle开发篇-分组
kettle开发篇-分组
131 0
|
4月前
kettle开发篇-行转列
kettle开发篇-行转列
287 0
|
4月前
|
存储
kettle开发篇-列转行
kettle开发篇-列转行
208 0
|
4月前
|
数据库
kettle开发篇-映射
kettle开发篇-映射
123 0