助力工业物联网,工业大数据之油站事实指标需求分析【十九】

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 助力工业物联网,工业大数据之油站事实指标需求分析【十九】

01:油站事实指标需求分析

  • 目标掌握DWB层油站事实指标表的需求分析
  • 路径
  • step1:目标需求
  • step2:数据来源
  • 实施
  • 目标需求:基于油站信息及设备数据构建油站主题事实的油站个数、停用个数、新增个数、设备个数等
  • 油站数量:1个油站就是一条数据,这个值默认就为1
  • 已停用油站数量:停用状态,判断油站的状态是什么状态
  • 有效油站数量:使用状态,判断油站的状态是什么状态
  • 当日新增油站:判断之前有没有这个油站
  • 历史记录表:oil_history:记录了当前所有油站的信息
  • id、name
  • 今日新数据:oil_current:记录了今天所有油站的信息
  • id、name
  • left join
oil_current a  left join oil_history b on  a.id = b.id
where b.id is null
  • 当日停用油站:判断当日状态
  • 油站设备数量:得到这个油站的所有设备信息,按照油站id分组统计设备个数
  • 数据来源
  • ciss_base_oilstation:油站信息表
select
   id os_id         --油站id
   , name os_name       --油站名称
   , code os_code       --油站编码
   , province province_id   --油站省份
   , city city_id       --油站城市
   , region county_id     --油站区域
   , status status_id     --油站状态
   , customer_classify cstm_type_id   --客户分类id
   , 1 os_num             --油站数量:默认为1
   , case when status = 2 then 1 else 0 end invalid_os_num    --停用油站数量:1-停用,0-启用
   , case when status = 1 then 1 else 0 end valid_os_num    --有效油站数量:1-有效,0-无效
from ciss_base_oilstation;
  • ciss_base_oilstation_history:油站历史记录表
  • 模拟油站历史记录
create table if not exists one_make_dwd.ciss_base_oilstation_history
stored as orc
as select * from one_make_dwd.ciss_base_oilstation
where dt < '20210102';
  • 查询历史油站信息
--获取当前的油站是否是一个新增油站
select
    oil.id
    , case when oil.id = his.id then 0 else 1 end current_new_os_num
--今日油站数据表
from one_make_dwd.ciss_base_oilstation oil
--历史油站数据表
left outer join one_make_dwd.ciss_base_oilstation_history his
on oil.id = his.id where oil.dt = '20210101';
  • ciss_base_device_detail:油站设备信息表
-- 设备信息表中按照油站id分组聚合设备id:每个油站的设备个数
select
    oil.id, count(dev.id) device_num 
from one_make_dwd.ciss_base_oilstation oil
left join one_make_dwd.ciss_base_device_detail dev on oil.id = dev.oilstation_id
where oil.dt = '20210101'
group by oil.id;
  • 小结
  • 掌握DWB层油站事实指标表的需求分析

02:油站事实指标构建

  • 目标实现DWB层油站事实指标表的构建
  • 实施
  • 建表
-- 创建油站事实表
drop table if exists one_make_dwb.fact_oil_station;
create table if not exists one_make_dwb.fact_oil_station(
    os_id string comment '油站id'
    , os_name string comment '油站名称'
    , os_code string comment '油站编码'
    , province_id string comment '省份id'
    , city_id string comment '城市id'
    , county_id string comment '县id'
    , status_id int comment '状态id'
    , cstm_type_id int comment '客户分类id'
    , os_num int comment '油站数量 默认为1'
    , invalid_os_num int comment '已停用油站数量(状态为已停用为1,否则为0)'
    , valid_os_num int comment '有效油站数量(状态为启用为1,否则为0)'
    , current_new_os_num int comment '当日新增油站(新增油站为1,老油站为0)'
    , current_invalid_os_num int comment '当日停用油站(当天停用的油站数量)'
    , device_num int comment '油站设备数量' 
)
comment "油站事实表"
partitioned by (dt string)
stored as orc
location '/data/dw/dwb/one_make/fact_oil_station';
  • 抽取
insert overwrite table one_make_dwb.fact_oil_station partition(dt = '20210101')
select
   oil.id os_id         --油站id
   , name os_name       --油站名称
   , code os_code       --油站编码
   , province province_id   --油站省份
   , city city_id       --油站城市
   , region county_id     --油站区域
   , status status_id     --油站状态
   , customer_classify cstm_type_id   --客户分类id
   , 1 os_num             --油站数量:默认为1
   , case when status = 2 then 1 else 0 end invalid_os_num    --停用油站数量:1-停用,0-启用
   , case when status = 1 then 1 else 0 end valid_os_num    --有效油站数量:1-有效,0-无效
   , current_new_os_num         --当日新增油站数量,1-新增,0-老油站
   , case when current_invalid_os_num is null then 0 else current_invalid_os_num end current_invalid_os_num --当日停用油站数量
   , device_num             --油站设备数量
   --油站信息表
from one_make_dwd.ciss_base_oilstation oil
     left join (
       --关联历史油站表,判断是否为新增油站
         select 
         oil.id
       , case when oil.id = his.id then 0 else 1 end current_new_os_num 
     from one_make_dwd.ciss_base_oilstation oil
         left outer join one_make_dwd.ciss_base_oilstation_history his 
     on oil.id = his.id where oil.dt = '20210101'
     ) oilnewhis on oil.id = oilnewhis.id
     left join (  
         --关联停用油站数据,统计今日停用油站个数 
         select 
         oil.id, count(oil.id) current_invalid_os_num 
     from one_make_dwd.ciss_base_oilstation oil 
     where oil.dt = '20210101' and oil.status = 2 group by oil.id
     ) invalidos on oil.id = invalidos.id
     left join (
     --关联油站设备信息表,统计油站设备个数
         select 
         oil.id, count(dev.id) device_num from one_make_dwd.ciss_base_oilstation oil
         left join one_make_dwd.ciss_base_device_detail dev on oil.id = dev.oilstation_id
         where oil.dt = '20210101'
         group by oil.id
     ) devinfo on oil.id = devinfo.id;
  • 小结
  • 实现DWB层油站事实指标表的构建


相关实践学习
钉钉群中如何接收IoT温控器数据告警通知
本实验主要介绍如何将温控器设备以MQTT协议接入IoT物联网平台,通过云产品流转到函数计算FC,调用钉钉群机器人API,实时推送温湿度消息到钉钉群。
阿里云AIoT物联网开发实战
本课程将由物联网专家带你熟悉阿里云AIoT物联网领域全套云产品,7天轻松搭建基于Arduino的端到端物联网场景应用。 开始学习前,请先开通下方两个云产品,让学习更流畅: IoT物联网平台:https://iot.console.aliyun.com/ LinkWAN物联网络管理平台:https://linkwan.console.aliyun.com/service-open
目录
相关文章
|
28天前
|
分布式计算 搜索推荐 物联网
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
大数据及AI典型场景实践问题之通过KafKa+OTS+MaxCompute完成物联网系统技术重构如何解决
|
2月前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用合集之如何实现嵌入式设备到物联网平台再到PAI DSW的云边结合
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4月前
|
存储 数据挖掘 大数据
大数据数仓建模基础理论【维度表、事实表、数仓分层及示例】
数据仓库建模是组织和设计数据以支持数据分析的过程,包括ER模型和维度建模。ER模型通过实体和关系描述数据结构,遵循三范式减少冗余。维度建模,特别是Kimball方法,用于数据仓库设计,便于分析和报告。事实表存储业务度量,如销售数据,分为累积、快照、事务和周期性快照类型。维度表提供描述性信息,如时间、产品、地点和客户详情。数仓通常分层为ODS(源数据)、DWD(明细数据)、DIM(公共维度)、DWS(数据汇总)和ADS(应用数据),以优化数据管理、质量、查询性能和适应性。
|
3月前
|
传感器 机器学习/深度学习 监控
物联网技术在工业自动化中的实时故障诊断与维护
物联网技术在工业自动化中的实时故障诊断与维护
|
4月前
|
传感器 机器学习/深度学习 算法
LabVIEW开发工业物联网状态监测
LabVIEW开发工业物联网状态监测
56 2
|
4月前
|
传感器 人工智能 供应链
工业物联网(IIoT)及其在制造业的应用
【5月更文挑战第31天】工业物联网(IIoT)驱动制造业变革,实现设备预测性维护、生产流程优化、供应链智能化及质量控制。Python示例展示数据获取,但面临数据安全、设备兼容性挑战。IIoT将结合AI、大数据,推动制造业创新与转型,助力企业提升竞争力,为制造业可持续发展注入新动力。
94 0
|
4月前
|
监控 物联网 大数据
智慧工地管理平台系统源码基于物联网、云计算、大数据等技术
智慧工地平台APP通过对施工过程人机料法环的全面感知、互联互通、智能协同,提高施工现场的生产效率、管理水平和决策能力,实现施工管理的数字化、智能化、精益化。
94 0
|
4月前
|
NoSQL 物联网 大数据
【补充】助力工业物联网,工业大数据之AirFlow安装
【补充】助力工业物联网,工业大数据之AirFlow安装
82 1
|
15天前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
62 11
|
21天前
|
存储 分布式计算 大数据
MaxCompute 数据分区与生命周期管理
【8月更文第31天】随着大数据分析需求的增长,如何高效地管理和组织数据变得至关重要。阿里云的 MaxCompute(原名 ODPS)是一个专为海量数据设计的计算服务,它提供了丰富的功能来帮助用户管理和优化数据。本文将重点讨论 MaxCompute 中的数据分区策略和生命周期管理方法,并通过具体的代码示例来展示如何实施这些策略。
51 1

热门文章

最新文章