《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)

简介: 《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(2)

《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(1) https://developer.aliyun.com/article/1230885?groupCode=tech_library



二、 工业OT域场景描述


在工业业务场景下,在生产产线上存在大量的IOT 设备的测点数据,和IT 域数据相比,这类数据量很大,但格式比较统一,核心字段包括设备ID、时间戳、测点值、数据类型几个,数据类型可以分为两种,第一类为模拟量数据,例如设备的温度、电流、电压、喂料量等,这类数据为一个连续值,第二类数据为开关量数据,当设备开机时上报1 信号,设备关机时上报0 信号。


对于这些原始IOT 数据,存在大量指标计算的需求,相比于传统的维度建模,这类指标计算模式相对比较固定,指标大致可以分为单点位测点值的聚合计算和多点位测点值的公式计算两种,对于聚合计算就是统计一段周期内的最大、最小、平均值之类的指标。公式计算带具体的业务含义,例如电流*电压*运行时长等于电量消耗,喂料量*产量系数/运行时长等于台时产量。



1. 工业OT 域场景特点


从前面的描述可以看出,在工业OT 数据域的特点是指标的量很大,但是计算方式相对比较简单,且可以枚举或者归纳。


工业OT 数据域下,一个车间往往就有上万个设备点位,每个点位的数据都需要做聚合计算,且存在大量的通过类似电流电压运行时长等于电量消耗这种公式计算的指标,因此做成千上万个指标计算是常态。参考维度建模中的指标分类,可以把原始的测点值定义为原子指标,将周期的聚合计算结果定义为派生指标,带有具体业务含义的公式计算得到的指标定义为衍生指标。


分析可以发现,这里的原子指标虽然量很大,但是其格式是固定的。派生指标的计算可枚举,都是最大、最小、平均值之类的周期聚合计算。而衍生指标,虽然计算公式不可枚举,但是其计算形式都是一样的,基本都是通过一个四则运算的公式进行计算。


2. 工业OT 域指标计算现状


对于工业OT 域的指标分类和计算,目前行业内有一些各自的实现。例如某公司的ETL 过程将指标计算明确分为两步,第一步为单点位的聚合计算,将原始点位数据的周期内最大、最小、平均值、差值等聚合指标定义为一次指标,第二步为多点位的公式融合计算,将基于一次指标进行公式计算后的结果定义为二次参数。阿里的工业数据应用平台将指标定义为数据转换和数据统计两类,数据转换可以对原始的点位数据进行各种清洗转换操作,数据统计可以设置统计周期,计算统计周期内的数据统计量(包括聚合计算和公式计算)。


可以看出对于OT 域的指标计算需求是比较清晰的,各自的实现也有相似之处,但相比于标准的维度建模,现在并没有一个很统一定义,以及实现方案。例如上面的某公司虽然将指标比较清晰的分成了两类,但在最后计算完成后所有的指标都存放在同一张表中,并没有模型分层的概念,同时整个过程基本不涉及数据治理的动作;阿里目前的工业数据应用平台能力比较强,能实现各种数据转换和计算,且把计算动作分成了转换和统计,但同样的并没有做指标的分层定义,从建模的角度来看是稍显混乱的。




《全链路数据治理-智能数据建模 》——客户案例:工业OT 域数据最佳实践(3) https://developer.aliyun.com/article/1230882?groupCode=tech_library

相关文章
|
数据采集 存储 分布式计算
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
29016 2
一篇文章搞懂数据仓库:数据治理(目的、方法、流程)
|
消息中间件 Java Kafka
Flink与Kafka版本对应关系
Flink与Kafka版本对应关系
1949 0
Flink与Kafka版本对应关系
|
10月前
|
人工智能 运维 安全
从“裸奔”到“金钟罩”:AI身份凭据安全的进化之路
构建身份权限安全,护航企业数据合规
1987 37
|
11月前
|
负载均衡 网络性能优化
了解EMQ
EMQ通过MQTT协议的QoS机制保障消息可靠传输,支持QoS 0、1、2三个等级,分别实现消息最多一次、至少一次和恰好一次传递。对于延迟消息,EMQ X支持通过特殊主题前缀`$delayed/{DelayInterval}`实现延迟发布。点对点通信可通过不带群组的共享订阅(如`$queue/t/1`)实现,结合负载均衡策略如随机、轮询等,确保消息仅由一个订阅者接收;发布订阅模式则通过带群组的共享订阅(如`$share/组名称/t/1`)实现,确保每组一个订阅者收取消息。
|
SQL 分布式计算 Hadoop
Hive on Tez 的安装配置
Hive on Tez 的安装配置
1190 0
Hive on Tez 的安装配置
|
分布式计算 Hadoop Java
Hadoop添加环境变量
【7月更文挑战第16天】
837 3
|
数据建模 数据挖掘 BI
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(3)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(3)
715 0
|
数据建模 数据挖掘 物联网
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
《全链路数据治理-智能数据建模 》——客户案例:汽车行业数据建模最佳实践(1)
696 0
|
SQL 存储 数据采集
DataWorks数据建模 - 一揽子数据模型管理解决方案 | 《一站式大数据开发治理DataWorks使用宝典》
在当下的商业环境中,正确的数据治理策略对于数据增值是非常重要的。据统计,企业的数据一直都在以每年50%的速度增长,因此企业数据治理与整合的难度就不断加大了。 DataWorks一直以来都致力于成为用户更方便、更快捷地进行数据开发与数据治理的好帮手。此次发布的数据建模,是对已有数据治理领域能力的补齐,为用户带来了在数据开发前,实施事前治理的能力。
3182 0
DataWorks数据建模 - 一揽子数据模型管理解决方案 | 《一站式大数据开发治理DataWorks使用宝典》
|
存储 架构师 搜索推荐
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
《全链路数据治理-智能数据建模 》——数仓建模理论与规范(2)
1035 0