tushare实战LSTM实现黄金价格预测

拉取数据

老样子，之前tushare实战分析黄金与美元收益率关系的时候也是这样,注意: pro_api中的东西是tushare的token

# 导入tushare
import tushare as ts
# 初始化pro接口
pro = ts.pro_api('xxx')

# 拉取数据
df = pro.fx_daily(**{
    "ts_code": "XAUUSD.FXCM",
    "trade_date": "",
    "start_date": 20160910,
    "end_date": 20210910,
    "exchange": "FXCM",
    "limit": "",
    "offset": ""
}, fields=[
    "ts_code",
    "trade_date",
    "bid_open",
    "bid_close",
    "bid_high",
    "bid_low",
    "ask_open",
    "ask_close",
    "ask_high",
    "ask_low",
    "tick_qty"
])
print(df)
df.set_index('trade_date',inplace=True)
df.to_csv('黄金数据2016-9-10至2021-9-10.csv')

数据预处理

LSTM模型的核心是用一个序列数据去预测未来的数据，序列数据的构造思路: 构造一个队列，将每日的数据视为一个个体，当后一个个体进入队列的时候，就会挤出队首的个体，然后在每个时刻都‘拍照’记录下队列的情况，就可以得到一个三维数据（len, men_day, attribute）其中len是序列的个数，假设数据集中有100条数据，我们将5天作为一个序列，那么就会有100-5+1=96个序列，men_day就是那个5天的5，表示序列的长度，attribute则是原数据的协变量（就是数据的特征）；

了解了输入数据后，我们就要处理输出数据，假设我们想用截止到今天的数据去预测未来五天的价格，那么构造训练集的时候，就要将价格数据作为标签，向前shift5天；也就是在一条数据中，除了那些他原本就有的数据，还会多一个5天之后的价格。按照这个思路，写出数据预处理函数，其中deque表示的就是那个队列

mem_his_days就是序列的长度，pre_days就是预测未来几天的价格

def Stock_Price_LSTM_Data_Precesing(df,mem_his_days,pre_days):
    df.dropna(inplace=True)
    df.sort_index(inplace=True)
    df.drop(columns='ts_code',inplace=True)

    # 将ask_open向前移动了pre_days天
    df['label'] = df['ask_open'].shift(-pre_days)


    from sklearn.preprocessing import StandardScaler
    scaler = StandardScaler()
    sca_X = scaler.fit_transform(df.iloc[:,:-1])

    from collections import deque
    deq = deque(maxlen=mem_his_days)

    X = []
    for i in sca_X:
        deq.append(list(i))
        if len(deq)==mem_his_days:
            X.append(list(deq))

    X_lately = X[-pre_days:]
    X = X[:-pre_days]

    y = df['label'].values[mem_his_days-1:-pre_days]

    import numpy as np
    X = np.array(X)
    y = np.array(y)

    return X,y,X_lately

训练模型

终于到我们熟悉的调参环节，我调了好一会儿，最终选定的是mem_days、Lstm层数、隐藏层数、隐层神经元个数分别是5、3、2、64，朋友们也可以自己取调一调

pre_days = 5
# mem_days = [5,10,15]
# lstm_layers = [1,2]
# dense_layers = [1,2,3]
# units = [16,32]
mem_days = [5]
lstm_layers = [3]
dense_layers = [2]
units = [64]
from tensorflow.keras.callbacks import ModelCheckpoint
for the_mem_days in mem_days:
    for the_lstm_layers in lstm_layers:
        for the_dense_layers in dense_layers:
            for the_units in units:
                filepath = './models_only_problem/{val_mape:.2f}_{epoch:02d}_'+f'men_{the_mem_days}_lstm_{the_lstm_layers}_dense_{the_dense_layers}_unit_{the_units}'
                checkpoint = ModelCheckpoint(
                    filepath=filepath,
                    save_weights_only=False,
                    monitor='val_mape',
                    mode='min',
                    save_best_only=True)

                X,y,X_lately = Stock_Price_LSTM_Data_Precesing(golden,the_mem_days,pre_days)
                from sklearn.model_selection import train_test_split
                X_train, X_test, y_train, y_test = train_test_split(X,y,shuffle=False,test_size=0.1)

                from tensorflow.keras.models import Sequential
                from tensorflow.keras.layers import LSTM, Dense, Dropout
                model = Sequential()
                model.add(LSTM(the_units,input_shape=X.shape[1:],activation='relu',return_sequences=True))
                model.add(Dropout(0.1))
                
                for i in range(the_lstm_layers):
                    model.add(LSTM(the_units,activation='relu',return_sequences=True))
                    model.add(Dropout(0.1))

                model.add(LSTM(the_units,activation='relu'))
                model.add(Dropout(0.1))

                for i in range(the_dense_layers):
                    model.add(Dense(the_units,activation='relu'))
                    model.add(Dropout(0.1))

                model.add(Dense(1))

                model.compile(optimizer='adam',
                             loss='mse',
                             metrics=['mape'])

                model.fit(X_train,y_train,batch_size=32,epochs=50,validation_data=(X_test,y_test),callbacks=[checkpoint])

模型会被保存在models_only_problem文件夹下，第一个数值表示的就是预测的精度，越小越好，后面跟的就是那些超参数的值，只要找到前面数值最小的那些超参数的值，固定这些超参数即可，我的mape数值最小是1.66

模型预测及查看效果

将刚才训练好的最好的模型拿下来，加载模型，把需要预测的数据扔进去

先看整体情况

from tensorflow.keras.models import load_model
import matplotlib.pyplot as plt
best_model = load_model('./models_only_problem/1.66_28_men_5_lstm_3_dense_2_unit_64')

pre = best_model.predict(X)
print(len(pre))
plt.plot(y,color='red',label='price')
plt.plot(pre,color='green',label='predict')
plt.show()

选取特定的一小段查看

x_time1 = y[200:300]
pre_time1 = pre[200:300]
plt.plot(x_time1,color='red',label='price')
plt.plot(pre_time1,color='green',label='predict')
plt.legend()
plt.show()

结果分析

从总体上看，LSTM的拟合效果还是不错的，可是在一个较短的时间内，预测数据竟然滞后于实际价格，这有可能带来投资的偏差，一种可行的办法就是，在数据中加入更多的属性，数据的质量决定了最终神经网络预测的质量