以自动储备池学习机器实现高维场景预测,陈洛南/刘锐团队合作研究登Nature子刊

简介: 在实际应用中,仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了更大的挑战。所以,在本文中,研究者们提出了一种新型 ARNN 框架,它能够把高维空间数据映射到目标变量的未来时间信息,使得通过高维短序列时间序列数据的预测成为可能。

2020 年 9 月 11 日,国际学术期刊《Nature Communications》发表了中国科学院生物化学与细胞生物学研究所陈洛南(Luonan Chen)研究组与华南理工大学刘锐(Rui Liu)团队合著的新论文《Autoreservoir Computing for Multistep Ahead Prediction Based on the Spatiotemporal Information Transformation》,其中他们提出了基于空时信息变换的自动储备池方法及时间序列预测方法。该研究使得通过高维短序列时间序列数据的预测成为可能。

微信图片_20211204173920.jpg

论文链接https://www.nature.com/articles/s41467-020-18381-0

具体来讲,该成果建立了基于非线性动力学的空时信息变换理论与具有对称结构的自动储备池计算框架(Auto-Reservoir Neural Network, ARNN),基于 ARNN 的一对共轭空时信息变换方程组将高维空间信息转化成某个目标变量的时间信息,求解该方程组能获得目标变量的未来信息(如下图 1 所示)。

微信图片_20211204173925.jpg

图 1. 时空转换方程与自动储备池(储层)的计算框架。
该研究的参与者包括中国科学院陈洛南教授、华南理工大学刘锐教授和陈培博士,以及东京大学 Kazuyuki Aihara 教授。


ARNN 框架概述


在时间序列分析中,一般认为在获得低维系统的大量长时间序列数据后,系统的重构或者预测是可行的,这也是传统机器学习方法得以通过大量样本进行学习和训练的前提。

然而,在很多实际应用中,仅能采集到短时序列数据(如临床数据),系统也通常具有高度的时变性(如天气数据)。因此,仅用近期的短期数据来描述或预测一个复杂系统未来的状态对数据挖掘与分析方法提出了挑战。

该研究提出的 ARNN 框架直接将观测到的高维动态信息转化为储层(即),把高维空间数据映射到目标变量的未来时间信息,有如下的 ARNN 共轭方程(或图 1c 中方程的向量形式)

微信图片_20211204173930.jpg

其中 F 是非线性矢量函数,即多层神经网络,

微信图片_20211204173932.jpg

通过同时求解 ARNN 共轭方程 Eq. (1),可以得到未知的权重矩阵 A 和 B ,以及目标变量 y 的未来信息微信图片_20211204173937.jpg(如图 1b 中矩阵 Y 的红色部分),从而实现了精确、快速、多步地预测目标变量的未来信息。这里 y^t 可以是高维观测变量中的任何一个,如 微信图片_20211204173945.jpg;  L-1 是预测步长;D 是观测变量的个数;m 是观测数据点的个数。

有趣的是,该计算框架具有类 Autoencoder(信息流 X^t → Y^t X^t)的结构,即 ARNN 的信息流方向是:微信图片_20211204173949.jpg(ARNN 把微信图片_20211204173955.jpg编码成为 Y^t,再将 Y^t 解码成为 微信图片_20211204173957.jpg,如图 2 所示)。

其次,ARNN 共轭方程中的主方程可以写成传统的 Reservoir computing 形式

微信图片_20211204174006.jpg


其中
微信图片_20211204174010.jpg

号 “ ' ” 代表对向量的转置。
显然,所要预测的未来信息是通过同时求解空时信息转换方程 Eq. (1) 得到的,在满足微信图片_20211204174337.jpg和 D>L 的情况下,Eq. (1) 是一个超定方程组,可以通过一种最小二乘法对权重矩阵反复更新从而进行求解。


另外,由于多层神经网络的权重是随机给定并固定的,不需要对大量的参数进行训练,因此 ARNN 具有快速、耗费资源较少的优势。

微信图片_20211204174015.jpg

图 2. ARNN 具有类 Autoencoder 的框架


ARNN 框架的应用


ARNN 成功地应用于一系列高维的实际场景(如下图 3),成功地对气象指数进行了预测(包括风速、日照强度、温度、气压和台风风眼位置等),对与节律有关的基因表达值进行了预测、对实时记录的交通流量等进行了预测。

以下是 ARNN 框架预测交通流量的动态示意图:

微信图片_20211204174024.gif


以下是 ARNN 框架预测台风眼的动态示意图:

微信图片_20211204174028.gif


这些应用表明,ARNN 在数据受噪声干扰和系统时变的情况下,均能表现出良好的多步预测性能。

该研究从数学上解释了储层计算的动力学机理,这种 ARNN 变换等价地扩大了样本量,解决了传统机器学习算法面对单个短时序列数据时遇到的过拟合问题,因此,该计算方法在人工智能和机器学习等领域具有很大的实际应用潜力。

微信图片_20211204174032.jpg

图 3. 自动储备池方法(ARNN)在某些实际场景的预测应用

相关文章
|
Linux
Linux(5)WIFI/BT调试笔记
Linux(5)WIFI/BT调试笔记
1360 0
|
存储 人工智能 OLAP
LangChain+通义千问+AnalyticDB向量引擎保姆级教程
本文以构建AIGC落地应用ChatBot和构建AI Agent为例,从代码级别详细分享AI框架LangChain、阿里云通义大模型和AnalyticDB向量引擎的开发经验和最佳实践,给大家快速落地AIGC应用提供参考。
132022 94
|
1月前
|
存储 人工智能 大数据
|
1月前
|
存储 机器学习/深度学习 自然语言处理
Transformer参数规模深度解析:从模型聪明说到实际影响
Transformer参数规模显著影响模型能力,参数越多,知识容量与模式识别能力越强,但存在边际效应和过拟合风险。现代大模型通过混合专家、量化压缩等技术提升参数效率,未来趋势是优化参数使用而非盲目扩大规模,实现性能与效率的平衡。(238字)
|
编解码 前端开发 JavaScript
OpenLayers入门-第一篇、基本概念与核心组件
OpenLayers入门-第一篇、基本概念与核心组件
631 3
Zerotier+Parsec五分钟实现外网远程访问校园或公司内网
本文介绍了如何通过Zerotier和Parsec软件在五分钟内实现外网对校园或公司内网的远程访问,包括安装软件、配置内网穿透和实现远程控制的详细步骤。
1429 3
Zerotier+Parsec五分钟实现外网远程访问校园或公司内网
|
传感器 机器学习/深度学习
如何下载DVS Gesture数据集?解决tonic.datasets.DVSGesture错误HTTP Error 403: Forbidden
本文介绍了如何解决在使用tonic库下载DVSGesture数据集时遇到的HTTP Error 403 Forbidden错误,建议从Figshare的链接下载完整数据集并解压到指定目录,以便成功加载数据集进行手势识别研究。
513 1
|
机器学习/深度学习 调度 知识图谱
TimeDART:基于扩散自回归Transformer 的自监督时间序列预测方法
近年来,深度神经网络成为时间序列预测的主流方法。自监督学习通过从未标记数据中学习,能够捕获时间序列的长期依赖和局部特征。TimeDART结合扩散模型和自回归建模,创新性地解决了时间序列预测中的关键挑战,在多个数据集上取得了最优性能,展示了强大的泛化能力。
532 0
TimeDART:基于扩散自回归Transformer 的自监督时间序列预测方法
|
Linux Python
Linux 中某个目录中的文件数如何查看?这篇教程分分钟教会你!
在 Linux 系统中,了解目录下文件数量是常见的需求。本文介绍了四种方法:使用 `ls` 和 `wc` 组合、`find` 命令、`tree` 命令以及编程实现(如 Python)。每种方法都附有详细说明和示例,适合不同水平的用户学习和使用。掌握这些技巧,可以有效提升系统管理和日常使用的效率。
4456 6
|
SQL 关系型数据库 MySQL
(十八)MySQL排查篇:该如何定位并解决线上突发的Bug与疑难杂症?
前面《MySQL优化篇》、《SQL优化篇》两章中,聊到了关于数据库性能优化的话题,而本文则再来聊一聊关于MySQL线上排查方面的话题。线上排查、性能优化等内容是面试过程中的“常客”,而对于线上遇到的“疑难杂症”,需要通过理性的思维去分析问题、排查问题、定位问题,最后再着手解决问题,同时,如果解决掉所遇到的问题或瓶颈后,也可以在能力范围之内尝试最优解以及适当考虑拓展性。
1213 3