RNN实战：股市预测-阿里云开发者社区

完整的工作代码可在github.com/lilianweng/stock-rnn找到。如果你不知道什么是循环神经网络（RNN）或长短期记忆网络（LSTM）单元，可以翻阅作者之前的文章，或者查看云栖翻译小组其他文章

互联网上也有很多类似教程，比如：

· 使用Tensorflow实现RNN-LSTM的noob指南

· TensorFlow RNN教程

· LSTM通过使用Tensorflow的示例

· 如何在TensorFlow中构建RNN

· Tensorflow中的RNN，实用指南和未记载的特征

· 使用循环神经网络（LSTM）和TensorFlow进行序列预测

· 任何人都可以学习在Python中编写LSTM-RNN

· 如何使用RNN，TensorFlow和Cloud ML Engine进行时间序列预测

但是作者仍然坚持写出这篇文章主要有三个原因：

1. 技术在发展，早期的教程不能应付新版本。

2. 大多数教程使用的事例是合成数据，而作者在这该文中所用事例数据皆来源于现实生活。

3. 有些教程如果你事先了解关于Tensorflow API的一些信息，这将使得在理解它们时存在困难。

文中，作者以宾夕法尼亚大学（Penn Tree Bank，PTB）数据集上的官方例子为起点。虽然PTB示例以漂亮的模块化设计模式展示RNN模型，但在理解模型结构中会有些难度，为此，作者建立了易于理解的图表。

数据准备：

股票价格是长度为N的时间序列，定义为p0，p1，... ，pN- 1，其中pi是指在第i日的收盘价，0≤i<N。试想一下，我们有一个固定大小的滑动窗口w（下文将其称为input_size），为了保障所有的滑动窗口中的数据之间不重叠，我们需要每次将窗口向右移动w个单位。

b42e9b719c11277f4aa3ff16b009d3efc278b9b1

上图为标准普尔500价格。我们在一个滑动窗口中使用内容来预测下一个，而在两个连续的窗口之间没有重叠。

将建立的RNN模型中LSTM单元作为基本的隐藏单元。我们使用在时间t内从第一个滑动窗口W0到窗口Wt的值：

W0=(p0,p1,...,pw-1)

W1=(pw,pw+1,...p2w-1)

...

Wt=(ptw,ptw+1,...,p(t+1)w-1)

来预测下一个窗口Wt+1的值：

Wt+1=(p(t+1)w,p(t+1)w+1,...,p(t+2)w-1)

以上类似于在学习一个近似函数f（W0，W1，... ，Wt）≈Wt+1。

9ce4762e83768a1837b3df118497ddfa4fcf71c0

考虑到反向传播（BPTT）的工作方式的，我们通常将RNN训练成一个“展开”版本，这样我们就不需要做太多的传播计算，而且可以节省训练的复杂性。

价格的顺序首先被分成不重叠的小窗口。每个都包含input_size数字，每个都被认为是一个独立的输入元素。然后，任何num_steps连续的输入元素被分组到一个训练输入中，形成一个在Tensorfow上进行训练的“非滚动”版本的RNN。相应的标签就是它们后面的输入元素。

例如，如果input_size=3和num_steps=2，前几个训练的示例如下所示：

e49574daee9f43dff701c08481a8646bf24120de

准备数据的完整代码在这里。

数据标准化

以下我们以最新的10%的数据作为测试数据。S&P500指数随着时间的推移而增加，导致测试集中大部分数值超出训练集的范围，也就是说该模型必须预测一些以前从未见过的数字。

a84297336cf6fb8a823e5e0def8d1cd60b11c88d

图： RNN模型必须预测训练数据的规模之外的数字

为解决这一问题，作者将任务变成预测相对变化率而不是绝对值。在t时刻的标准化滑动窗口W't中，所有的值除以最后一个滑动窗口Wt-1中的未知价格价格：

2d719e8de631bfb0ae8e4f54a2aa310c2596702b

建立模型：

定义参数：

lstm_size：一个LSTM图层中的单元数量。

num_layers：堆叠的LSTM层的数量。

keep_prob：单元格单元在退出操作中保留的百分比。

init_learning_rate：开始学习的速率。

learning_rate_decay：后期训练时期的衰减率。

init_epoch：使用常量init_learning_rate的时期数。

max_epoch：训练中的时期总数

input_size：滑动窗口的大小/一个训练数据点

batch_size：在一个小批量中使用的数据点的数量。

LSTM模型是具有num_layers堆叠的LSTM层，每层包含lstm_size数量的LSTM单元。然后将保留概率为keep_prob的退出掩码应用于每个LSTM单元的输出。退出的目标是消除潜在的强烈具有依赖性维度，以防止过度拟合。

训练总共需要max_epoch 时期（epoch）；一个时期（epoch）指所有训练数据点的一个完整通过。在一个时期（epoch）中，训练数据点被分成小批量batch_size的规模。我们发送一小批量的到一个BPTT学习的模型。学习速率在第一个init_epoch时期被设置为init_learning_rate，然后在每个后续时期learning_rate_decay使学习速率衰减。

# Configuration is wrapped in one object for easy tracking and passing.
class RNNConfig():
    input_size=1
    num_steps=30
    lstm_size=128
    num_layers=1
    keep_prob=0.8
    batch_size = 64
    init_learning_rate = 0.001
    learning_rate_decay = 0.99
    init_epoch = 5
max_epoch = 50
config = RNNConfig()

定义图形

tf.Graph没有依附于任何真实的数据。它主要用于处理数据和运行计算流程。如果用tf.session提供的数据，这时计算的数据是真实的。

（1）首先初始化一个新的图表。

import tensorflow as tf
tf.reset_default_graph()
lstm_graph = tf.Graph()

（2）图表的工作原理应在其范围内定义。

with lstm_graph.as_default():

（3）定义计算所需的数据。在这里需要三个输入变量，全部定义为tf.placeholder。

1.inputs：训练数据X，形状张量（＃数据例子num_steps，input_size）; 数据示例的数量是未知的，所以是None。就这个示例而言，在训练中它将是batch_size。如果感到困惑，请查看输入格式示例。

2.targets：训练标签y，形状张量（＃数据例子input_size）。

3.learning_rate：一个简单的浮点数。

# Dimension = (
  # number of data examples, 
  # number of input in one computation step, 
  # number of numbers in one input
  # )
  # We don't know the number of examples beforehand, so it is None.
  inputs = tf.placeholder(tf.float32, [None, config.num_steps, config.input_size])
  targets = tf.placeholder(tf.float32, [None, config.input_size])
  learning_rate = tf.placeholder(tf.float32, None)

（4）该函数返回一个 LSTMCell 有无退出操作。

def _create_one_cell():
    return tf.contrib.rnn.LSTMCell(config.lstm_size,state_is_tuple=True)
        if config.keep_prob < 1.0:
            return tf.contrib.rnn.DropoutWrapper(lstm_cell, output_keep_prob=config.keep_prob)

（5）如果需要的话，我们可以将单元格堆叠成多层。MultiRNNCell有助于依次连接多个简单单元来组成一个单元。

cell = tf.contrib.rnn.MultiRNNCell(
        [_create_one_cell() for _ in range(config.num_layers)], 
        state_is_tuple=True
    ) if config.num_layers > 1 else _create_one_cell()

（6）tf.nn.dynamic_rnn是由cell（RNNCell）指定的循环神经网络构建的。状态是指LSTM单元的当前状态，在这里没有消耗。

val, _ = tf.nn.dynamic_rnn(cell, inputs, dtype=tf.float32)

（7）tf.transpose输出的维度从（batch_size，num_steps，lstm_size）转换为（num_steps，batch_size，lstm_size），然后将其输出。

# Before transpose, val.get_shape() = (batch_size, num_steps, lstm_size)
    # After transpose, val.get_shape() = (num_steps, batch_size, lstm_size)
    val = tf.transpose(val, [1, 0, 2])
    # last.get_shape() = (batch_size, lstm_size)
    last = tf.gather(val, int(val.get_shape()[0]) - 1, name="last_lstm_output")

（8）定义隐藏层和输出层之间的权重和偏差。

weight = tf.Variable(tf.truncated_normal([config.lstm_size, config.input_size]))
    bias = tf.Variable(tf.constant(0.1, shape=[targets_width]))
    prediction = tf.matmul(last, weight) + bias

（9）我们使用均方误差作为损失度量和RMSPropOptimizer算法进行梯度下降优化。

 loss = tf.reduce_mean(tf.square(prediction - targets))
    optimizer = tf.train.RMSPropOptimizer(learning_rate)
    minimize = optimizer.minimize(loss)

训练阶段

（1）要开始用真实数据训练图表，我们需要先从一个tf.session开始。

with tf.Session(graph=lstm_graph) as sess:

（2）按照定义初始化变量。

tf.global_variables_initializer().run()

（3）训练时期的学习率应该预先计算好。指数是指epoch指数。

learning_rates_to_use = [
    config.init_learning_rate * (
        config.learning_rate_decay ** max(float(i + 1 - config.init_epoch), 0.0)
    ) for i in range(config.max_epoch)]

（4）下面的每个循环完成一次epoch训练。

for epoch_step in range(config.max_epoch):
        current_lr = learning_rates_to_use[epoch_step]
        # Check https://github.com/lilianweng/stock-rnn/blob/master/data_wrapper.py
        # if you are curious to know what is StockDataSet and how generate_one_epoch() 
        # is implemented.
        for batch_X,batch_y in stock_dataset.generate_one_epoch(config.batch_size):
            train_data_feed = {
                inputs: batch_X, 
                targets: batch_y, 
                learning_rate: current_lr
            }
            train_loss, _ = sess.run([loss, minimize], train_data_feed)

（5）下面的每个循环完成一次epoch训练。

saver = tf.train.Saver()
    saver.save(sess, "your_awesome_model_path_and_name", global_step=max_epoch_step)

使用TensorBoard

在没有可视化的情况下构建图形，非常模糊和容易出错。Tensorboard提供的图形结构和学习过程简单可视，查看这个实践教程。

小结

1.用于with [tf.name_scope]

(https://www.tensorflow.org/api_docs/python/tf/name_scope)("your_awesome_module_name"):将包含在类似目标上的元素一起打包。

2.许多tf.*方法接受name=参数。分配一个定制的名字可以让你阅读图表时更容易。

3.类似tf.summary.scalar和tf.summary.histogram的方法可以帮助跟踪迭代期间图中变量的值。

4.在训练课程中，用tf.summary.FileWriter定义一个日志文件：

with tf.Session(graph=lstm_graph) as sess:
    merged_summary = tf.summary.merge_all()
    writer = tf.summary.FileWriter("location_for_keeping_your_log_files", sess.graph)
    writer.add_graph(sess.graph)

之后，将训练进度和总结结果写入文件。

_summary = sess.run([merged_summary], test_data_feed)writer.add_summary(_summary, global_step=epoch_step)  # epoch_step in range(config.max_epoch)

上图由示例代码构建的RNN图。“训练”模块已经“从主图表中删除”，因为它在预测时间内不是模型的实际部分。

单击“output_layer”模块将其展开并详细检查结构。

完整的工作代码可在github.com/lilianweng/stock-rnn中找到。

结果

作者在示例中使用了以下配置。

num_layers=1

keep_prob=0.8

batch_size = 64

init_learning_rate = 0.001

learning_rate_decay = 0.99

init_epoch = 5

max_epoch = 100

num_steps=30

e15b2844f7733882f88d52cfbba5ad11294216ea

上图是在测试数据中最近200天的预测结果。使用input_size = 1和lstm_size = 32来训练模型。

上图是在测试数据中最近200天的预测结果。模型使用input_size = 1和lstm_size = 128进行训练。

上图在测试数据中的最近200天的预测结果。使用input_size = 5，lstm_size = 128和max_epoch = 75（替代50）训练模型。

如果您想进一步了解本教程中的示例代码可在github.com/lilianweng/stock-rnn:scripts中找到。

本文由北邮@爱可可-爱生活老师推荐，阿里云云栖社区组织翻译。

文章原标题《Predict Stock Prices Using RNN: Part 1》

作者：Lilian Weng

译者：乌拉乌拉，审校：袁虎。

文章为简译，更为详细的内容，请查看原文

RNN实战：股市预测

训练阶段

使用TensorBoard

结果

热门文章

最新文章

相关课程

相关电子书

相关实验场景

热门

活动广场

任务中心

开发者评测

高校计划

乘风者计划

训练营

阿里云MVP

话题

直播

下载

镜像站

技术资料

插件

RNN实战：股市预测

训练阶段

使用TensorBoard

结果

热门文章

最新文章

相关课程

相关电子书

相关实验场景