Python中利用长短期记忆模型LSTM进行时间序列预测分析 - 预测电力消耗数据

简介: Python中利用长短期记忆模型LSTM进行时间序列预测分析 - 预测电力消耗数据

此示例中,神经网络用于使用2011年4月至2013年2月期间的数据预测都柏林市议会公民办公室的能源消耗。

每日数据是通过总计每天提供的15分钟间隔的消耗量来创建的。


LSTM简介

LSTM(或长期短期存储器网络)允许分析具有长期依赖性的顺序或有序数据。当涉及到这项任务时,传统的神经网络不足,在这方面,LSTM将用于预测这种情况下的电力消耗模式。

与ARIMA等模型相比,LSTM的一个特殊优势是数据不一定需要是固定的(常数均值,方差和自相关),以便LSTM对其进行分析 - 即使这样做可能会导致性能提升。


自相关图,Dickey-Fuller测试和对数变换

为了确定我们的模型中是否存在平稳性

  1. 生成自相关和部分自相关图
  2. 进行Dickey-Fuller测试
  3. 对时间序列进行对数变换,并再次运行上述两个过程,以确定平稳性的变化(如果有的话)

首先,这是时间序列图:

据观察,波动性(或消费从一天到下一天的变化)非常高。在这方面,对数变换可以用于尝试稍微平滑该数据。在此之前,生成ACF和PACF图,并进行Dickey-Fuller测试。


自相关图

偏自相关图

自相关和部分自相关图都表现出显着的波动性,这意味着时间序列中的几个区间存在相关性。

运行Dickey-Fuller测试时,会产生以下结果:

当p值高于0.05时,不能拒绝非平稳性的零假设。

STD1
954.7248
4043.4302
0.23611754 


同样,在对数数据上生成ACF和PACF图,并再次进行Dickey-Fuller测试。


自相关图

偏自相关图

Dickey-Fuller测试

... print('\ t%s:%。3f'%(key,value))
1%:-3.440
5%:-  2.866
10%:-  2.569 


Dickey-Fuller检验的p值降至0.0576。虽然这在技术上没有输入拒绝零假设所需的5%显着性阈值,但对数时间序列已显示基于CV度量的较低波动率,因此该时间序列用于LSTM的预测目的。


LSTM的时间序列分析

现在,LSTM模型本身用于预测目的。


数据处理

首先,导入相关库并执行数据处理


LSTM生成和预测

模型训练超过100个时期,并生成预测。


#生成LSTM网络
model = Sequential()
model.add(LSTM(4,input_shape =(1,previous)))
 model.fit(X_train,Y_train,epochs = 100,batch_size = 1,verbose = 2)

#生成预测
trainpred = model.predict(X_train)

#将预测转换回正常值
trainpred = scaler.inverse_transform(trainpred)

#calculate RMSE
trainScore = math.sqrt(mean_squared_error(Y_train [0],trainpred [:,0]))
 
#训练预测
trainpredPlot = np.empty_like(dataset)
 
#测试预测

#绘制所有预测
inversetransform,= plt.plot(scaler.inverse_transform(dataset))

准确性

该模型显示训练数据集的均方根误差为0.24,测试数据集的均方根误差为0.23。平均千瓦消耗量(以对数格式表示)为8.27,这意味着0.23的误差小于平均消耗量的3%。

以下是预测消费与实际消费量的关系图:

有趣的是,当在原始数据上生成预测(未转换为对数格式)时,会产生以下训练和测试错误:

在每天平均消耗4043千瓦的情况下,测试分数的均方误差占总日均消耗量的近20%,并且与对数数据产生的相比非常高。

也就是说,重要的是要记住,使用1天的先前数据进行预测,即Y表示时间t的消耗,而X表示时间t-1的消耗,由代码中的前一个变量设置先前。让我们来看看这增加到个究竟1050天。

10天

50天

我们可以看到测试误差在10天和50天期间显着降低,并且考虑到LSTM模型在预测时考虑了更多的历史数据,消耗的波动性得到了更好的捕获。

鉴于数据是对数格式,现在可以通过获得数据的指数来获得预测的真实值。

例如,testpred变量用(1,-1)重新整形:


testpred.reshape(1,-1)
 array([[7.7722197,8.277015,8.458941,8.455311,8.447589,8.445035,
 ......
8.425287,8.404881,8.457063,8.423954,7.98714,7.9003944,
8.240862,8.41654,8.423854,8.437414,8.397851,7.9047146]],
dtype = float32)

结论

对于这个例子,LSTM被证明在预测电力消耗波动方面非常准确。此外,以对数格式表示时间序列允许平滑数据的波动性并提高LSTM的预测准确度。

相关文章
|
17天前
|
数据采集 JSON 数据处理
抓取和分析JSON数据:使用Python构建数据处理管道
在大数据时代,电商网站如亚马逊、京东等成为数据采集的重要来源。本文介绍如何使用Python结合代理IP、多线程等技术,高效、隐秘地抓取并处理电商网站的JSON数据。通过爬虫代理服务,模拟真实用户行为,提升抓取效率和稳定性。示例代码展示了如何抓取亚马逊商品信息并进行解析。
抓取和分析JSON数据:使用Python构建数据处理管道
|
2天前
|
图形学 Python
SciPy 空间数据2
凸包(Convex Hull)是计算几何中的概念,指包含给定点集的所有凸集的交集。可以通过 `ConvexHull()` 方法创建凸包。示例代码展示了如何使用 `scipy` 库和 `matplotlib` 绘制给定点集的凸包。
9 1
|
3天前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
|
3天前
|
数据采集 Web App开发 iOS开发
如何使用 Python 语言的正则表达式进行网页数据的爬取?
使用 Python 进行网页数据爬取的步骤包括:1. 安装必要库(requests、re、bs4);2. 发送 HTTP 请求获取网页内容;3. 使用正则表达式提取数据;4. 数据清洗和处理;5. 循环遍历多个页面。通过这些步骤,可以高效地从网页中提取所需信息。
|
27天前
|
数据处理 Python
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
这篇文章介绍了如何使用Python读取Excel文件中的数据,处理后将其保存为txt、xlsx和csv格式的文件。
44 3
Python实用记录(十):获取excel数据并通过列表的形式保存为txt文档、xlsx文档、csv文档
|
27天前
|
计算机视觉 Python
Python实用记录(九):将不同的图绘制在一起、将不同txt文档中的数据绘制多条折线图
这篇文章介绍了如何使用Python的OpenCV库将多张图片合并为一张图片显示,以及如何使用matplotlib库从不同txt文档中读取数据并绘制多条折线图。
41 3
Python实用记录(九):将不同的图绘制在一起、将不同txt文档中的数据绘制多条折线图
|
15天前
|
数据可视化 算法 JavaScript
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
本文探讨了如何利用图论分析时间序列数据的平稳性和连通性。通过将时间序列数据转换为图结构,计算片段间的相似性,并构建连通图,可以揭示数据中的隐藏模式。文章介绍了平稳性的概念,提出了基于图的平稳性度量,并展示了图分区在可视化平稳性中的应用。此外,还模拟了不同平稳性和非平稳性程度的信号,分析了图度量的变化,为时间序列数据分析提供了新视角。
35 0
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
|
24天前
|
自然语言处理 算法 数据挖掘
探讨如何利用Python中的NLP工具,从被动收集到主动分析文本数据的过程
【10月更文挑战第11天】本文介绍了自然语言处理(NLP)在文本分析中的应用,从被动收集到主动分析的过程。通过Python代码示例,详细展示了文本预处理、特征提取、情感分析和主题建模等关键技术,帮助读者理解如何有效利用NLP工具进行文本数据分析。
42 2
|
2天前
|
索引 Python
SciPy 空间数据1
SciPy 通过 `scipy.spatial` 模块处理空间数据,如判断点是否在边界内、计算最近点等。三角测量是通过测量角度来确定目标距离的方法。多边形的三角测量可将其分解为多个三角形,用于计算面积。Delaunay 三角剖分是一种常用方法,可以对一系列点进行三角剖分。示例代码展示了如何使用 `Delaunay()` 函数创建三角形并绘制。
8 0
|
25天前
|
JSON 安全 数据安全/隐私保护
深度剖析:Python如何运用OAuth与JWT,为数据加上双保险🔐
【10月更文挑战第10天】本文介绍了OAuth 2.0和JSON Web Tokens (JWT) 两种现代Web应用中最流行的认证机制。通过使用Flask-OAuthlib和PyJWT库,详细展示了如何在Python环境中实现这两种认证方式,从而提升系统的安全性和开发效率。OAuth 2.0适用于授权过程,JWT则简化了认证流程,确保每次请求的安全性。结合两者,可以构建出既安全又高效的认证体系。
39 1

热门文章

最新文章