IoT设备数据的存储、解析和价值挖掘实践

简介: 本实践以一个道路交通场景下设备运营管理的真实需求为背景来介绍如何使用物联网平台的数据服务完成对设备数据的存储、备份、预处理和深度分析,以达到企业经营提效的效果。

业务背景

随着物联网技术的快速发展成熟,物联网设备从一开始的传感器类感知设备向智能化设备升级,传统企业也开始将自身设备产生的数据作为企业的重要资产进行管理,如何稳妥的存储和备份这些设备数据资产,并在关键问题出现时进行回溯,以及通过对这些设备数据的深度分析来帮助企业实现经营提效变的尤为关键。

本实践以一个道路交通场景下设备运营管理的真实需求为背景来介绍如何使用物联网平台的数据服务完成对设备数据的存储、备份、预处理和深度分析,以达到企业经营提效的效果。


业务问题

设备数据量大,存储成本过高

当企业的设备规模达到十万甚至百万以上时,设备实时产生的数据量会非常大,如果企业有对数据长周期存储和追溯的需求,产生的数据存储成本会非常高,同时设备数据量大了以后也会对数据读写的性能和稳定性造成影响,带来额外的资源和运维成本。

设备种类繁多,数据格式不统一

道路交通场景下的设备种类丰富多样,如一体化锥桶、一体化快速封路器、收费站主动预警灯、车载预警LED屏等,不同类型的设备可能是由不同的生产商提供或者由不同的技术团队开发的,设备上报的数据格式千差万别难以统一,存储也无法实现标准化、结构化的存储,为企业后续的数据处理、分析和治理带来了很大的困扰。

缺少数据分析,价值难以挖掘

企业将设备数据采集上来以后,缺少专业的分析工具,无法对设备数据进行多维度的聚合分析,隐藏在数据中的业务价值也就难以挖掘,导致设备数据上云反而徒增了成本,没有起到经营提效的效果,也没有真正实现企业进行设备智能化升级的业务目标。


实践步骤


数据存储/备份 - 实现设备数据冷热分离,大幅降低存储成本


阿里云物联网平台提供了设备数据存储和备份的完整解决方案,减少了数据流转和中间存储带来的额外成本开销和架构复杂度。同时基于阿里云强大成熟的云计算底座,支持可扩展的海量数据存储、超高的数据压缩比和冷热数据存储分离等能力,可极大降低数据存储和备份的成本。


操作步骤概要

1.进入物联网平台控制台,开通企业版实例,和数据服务相关的是如下4个规格。

控制台地址:https://iot.console.aliyun.com

1.png

2.png

开通完成后,点击企业版实例卡片进入实例详情页,再点击数据服务进入数据相关的功能页。

3.png2.进入数据服务-数据存储的热数据存储功能页,实时保存设备上报的时序数据。

4.png

l  创建热数据存储规则

5.pngl  配置数据源Topic(支持通配)

6.pngl  配置自定义存储脚本

7.pngl  启动热数据存储规则

8.png3.进入数据服务-数据接入功能页,开启产品级别的冷数据备份,低成本长周期保存设备数据。

9.png

l  配置产品备份(会备份产品下所有设备的数据)

10.png4.进入数据服务-数据存储的冷数据存储功能页,查看产品备份任务状态。

11.png

l  查看产品备份状态

12.png


相关产品文档

如您想要了解更细节的产品功能使用指南,可以访问物联网平台的官网产品文档。

l  热数据存储:https://help.aliyun.com/document_detail/464047.html

l  冷数据备份:https://help.aliyun.com/document_detail/188662.htm

l  冷数据配置:https://help.aliyun.com/document_detail/464053.html



数据解析 - 实现不同类型设备异构数据的统一化和预处理


IoT设备数据比起IT数据有如下3个特点:1. IoT数据是时序的,通常是基于时间范围分析,而且随着时间流逝数据价值衰减更明显,特别是监控场景下,对数据处理的实时性要求高;2. 数据质量不稳定,设备上报的数据可能会受所处网络或者复杂工况影响,与典型的互联网数据对比往往需要进行数据预处理,比如插值计算和降采样等;3. 碎片化比较严重,不同类型的设备或者同一类型不同生产商的设备在数据格式的定义上都完成不一样,给后续的数据处理带来了很大的麻烦。
阿里云物联网平台针对以上IoT数据的特点,提供了组件式的数据解析服务,包括可自定义解析脚本的数据格式转换,以及窗口聚合、超时插值、相邻消息计算、函数转化等内置算子,助力客户快速完成对设备数据的预处理。


操作步骤概要

1.进入数据服务-数据解析功能页,创建数据解析任务。

13.png14.png2.点击查看进入任务编辑画布,配置数据源节点,选择设备上报数据的Topic(支持通配)。

15.png3.编写自定义解析脚本(源节点需要将数据格式选择为原始数据),对设备数据进行处理。16.png17.png除了可在自定义节点编写数据解析脚本外,也可以在数据源节点配置其他类型数据格式的转换,如下图所示。18.png

4.配置数据目标节点,将解析后的数据写入自定义存储表(解析后的数据字段需要和自定义存储表中的一致)。

19.png5.配置完成后,将数据解析任务启动并发布上线。
20.png

21.png


相关产品文档

如您想要了解更细节的产品功能使用指南,可以访问物联网平台的官网产品文档。
数据解析:
https://help.aliyun.com/document_detail/307080.html


分析洞察 - 实现设备数据的实时和离线分析,深度挖掘业务价值


设备数据经过数据解析并输出到自定义存储表后,可以使用SQL开发工作台来分析这些数据,比如设备新增/活跃分析、设备工况和经营统计等,深度挖掘设备数据的业务价值。

分析洞察的结果配置为自定义服务API后,可以被客户的业务系统集成调用,客户只需专注于业务开发,无需关注设备数据的存储、备份、分析和API开放等技术细节,大大加快了业务应用的开发。

 

操作步骤概要

1.进入数据服务-分析洞察功能页,创建SQL分析任务,再点击进入SQL开发工作台。

22.png23.png2.SQL开发工作台编写SQL语句,对自定义存储表中的设备数据进行深度分析。

24.png3.将分析后的数据存入另一张自定义存储表。

25.png4.进入数据服务-数据应用功能页,创建自定义服务API,客户业务系统可通过SDK查询分析结果。

26.png27.png28.png


数据API地址:https://help.aliyun.com/document_detail/135195.html

SDK下载地址:https://help.aliyun.com/document_detail/386372.html


相关产品文档

如您想要了解更细节的产品功能使用指南,可以访问物联网平台的官网产品文档。

分析洞察:https://help.aliyun.com/document_detail/325548.html

自定义服务APIhttps://help.aliyun.com/document_detail/253902.html

目录
相关文章
|
10天前
|
JSON 前端开发 搜索推荐
关于商品详情 API 接口 JSON 格式返回数据解析的示例
本文介绍商品详情API接口返回的JSON数据解析。最外层为`product`对象,包含商品基本信息(如id、name、price)、分类信息(category)、图片(images)、属性(attributes)、用户评价(reviews)、库存(stock)和卖家信息(seller)。每个字段详细描述了商品的不同方面,帮助开发者准确提取和展示数据。具体结构和字段含义需结合实际业务需求和API文档理解。
|
3天前
|
JSON 缓存 API
解析电商商品详情API接口系列,json数据示例参考
电商商品详情API接口是电商平台的重要组成部分,提供了商品的详细信息,支持用户进行商品浏览和购买决策。通过合理的API设计和优化,可以提升系统性能和用户体验。希望本文的解析和示例能够为开发者提供参考,帮助构建高效、可靠的电商系统。
21 12
|
5天前
|
存储 人工智能 NoSQL
Tablestore深度解析:面向AI场景的结构化数据存储最佳实践
《Tablestore深度解析:面向AI场景的结构化数据存储最佳实践》由阿里云专家团队分享,涵盖Tablestore十年发展历程、AI时代多模态数据存储需求、VCU模式优化、向量检索发布及客户最佳实践等内容。Tablestore支持大规模在线数据存储,提供高性价比、高性能和高可用性,特别针对AI场景进行优化,满足结构化与非结构化数据的统一存储和高效检索需求。通过多元化索引和Serverless弹性VCU模式,助力企业实现低成本、灵活扩展的数据管理方案。
36 12
|
7天前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
34 7
|
1月前
|
机器学习/深度学习 人工智能 算法
深入解析图神经网络:Graph Transformer的算法基础与工程实践
Graph Transformer是一种结合了Transformer自注意力机制与图神经网络(GNNs)特点的神经网络模型,专为处理图结构数据而设计。它通过改进的数据表示方法、自注意力机制、拉普拉斯位置编码、消息传递与聚合机制等核心技术,实现了对图中节点间关系信息的高效处理及长程依赖关系的捕捉,显著提升了图相关任务的性能。本文详细解析了Graph Transformer的技术原理、实现细节及应用场景,并通过图书推荐系统的实例,展示了其在实际问题解决中的强大能力。
231 30
|
1月前
|
存储 网络协议 编译器
【C语言】深入解析C语言结构体:定义、声明与高级应用实践
通过根据需求合理选择结构体定义和声明的放置位置,并灵活结合动态内存分配、内存优化和数据结构设计,可以显著提高代码的可维护性和运行效率。在实际开发中,建议遵循以下原则: - **模块化设计**:尽可能封装实现细节,减少模块间的耦合。 - **内存管理**:明确动态分配与释放的责任,防止资源泄漏。 - **优化顺序**:合理排列结构体成员以减少内存占用。
168 14
|
1月前
|
机器学习/深度学习 自然语言处理 监控
智能客服系统集成技术解析和价值点梳理
在 2024 年的智能客服系统领域,合力亿捷等服务商凭借其卓越的技术实力引领潮流,它们均积极应用最新的大模型技术,推动智能客服的进步。
106 7
|
1月前
|
监控 搜索推荐 测试技术
电商API的测试与用途:深度解析与实践
在电子商务蓬勃发展的今天,电商API成为连接电商平台、商家、消费者和第三方开发者的重要桥梁。本文深入探讨了电商API的核心功能,包括订单管理、商品管理、用户管理、支付管理和物流管理,并介绍了有效的测试技巧,如理解API文档、设计测试用例、搭建测试环境、自动化测试、压力测试、安全性测试等。文章还详细阐述了电商API的多样化用途,如商品信息获取、订单管理自动化、用户数据管理、库存同步、物流跟踪、支付处理、促销活动管理、评价管理、数据报告和分析、扩展平台功能及跨境电商等,旨在为开发者和电商平台提供有益的参考。
69 0
|
2月前
|
安全 物联网 物联网安全
揭秘区块链技术在物联网(IoT)安全中的革新应用
揭秘区块链技术在物联网(IoT)安全中的革新应用
|
2月前
|
传感器 存储 物联网
在物联网(IoT)快速发展的今天,C语言作为物联网开发中的关键工具,以其高效、灵活、可移植的特点
在物联网(IoT)快速发展的今天,C语言作为物联网开发中的关键工具,以其高效、灵活、可移植的特点,广泛应用于嵌入式系统开发、通信协议实现及后端服务构建等领域,成为推动物联网技术进步的重要力量。
66 1

推荐镜像

更多