基于小波分析的Arima-Transformer组合模型的比特币价格预测

莫世冰 林晖竣 陈云伟 梁毅 王振坤

摘  要：金融商品价格作为一種经典的时间序列，其变化通常表现为非线性、非平稳性及高波动性，使用单一的模型较难实现对金融商品价格的准确预测。文章基于小波分析建立ARIMA-Transformer组合模型，从不同维度分析时间序列的随机波动、循环变化、周期变化等变化规律，对比特币的价格进行时间窗口滚动式预测，预测结果与实际的比特币价格走势大致相同，表明该模型可作为交易者的参考投资模型。

关键词：Transformer模型;多头注意力模型;小波分析;比特币预测

中图分类号：TP391         文献标识码：A文章编号：2096-4706（2022）03-0032-04

Bitcoin Price Prediction of Arima-Transformer Combination Model Based on Wavelet Analysis

MO Shibing， LIN Huijun， CHEN Yunwei， LIANG Yi， WANG Zhenkun

（South China Agricultural University， Guangzhou  510000， China）

Abstract： As a kind of classical time series， the price change of financial goods usually shows nonlinear， non-stationary and high volatility. It is difficult to accurately predict the price of financial goods by using a single model. This paper establishes ARIMA-Transformer combination model based on wavelet analysis， analyzes the change laws of random fluctuation， cyclic change and periodic change of time series from different dimensions， makes time window rolling prediction of bitcoin price. The prediction results are roughly the same as the actual price trend of bitcoin， indicating that this model can be used as a reference investment model for traders.

Keywords： Transformer model; multi-head attention model; wavelet analysis; bitcoin forecast

0  引  言

随着数据化的发展，现代货币呈现出虚拟化的特性，以比特币为代表的一些数据取得了快速的发展[1，2]，但由于政策、经济形势以及许多不确定因素的影响，比特币的交易价格呈现出非线性、非平稳性以及高波动性的变化特点，这为比特币价格的预测提出一个极大的难题。

对于金融商品的预测，一些研究通过结合神经网络深度学习，建立多层LSTM及双向LSTM模型，与传统的ARIMA、LSTM、SVM模型相比，多层LSTM及双向LSTM模型可以有效地对黄金期货价格做出预测[3]。张宁、Chandrasekar Ravi等学者建立了基于LSTM的混合模型，对比特币价格的变动趋势做出较为准确的预测[4，5]。此外，一些研究通过结合小波分析，从不同纬度分析价格变化，实现对比特币价格走势的准确预测[6，7]。

总而言之，建立深度学习组合预测模型[8]，并且结合分解重构算法对数据进行多维度的时序分析，是目前较为主流的预测方法，可以提高比特币价格预测的准确性。

原始Transformer模型因其出色的注意力机制，常被应用于自然语言处理、图像处理等领域并取得很好的效果，但因其点积注意力机制（Dot-product self-attention）对本地上下文不敏感，这可能使模型在时间序列中容易出现异常，空间复杂度随着输入序列的延长呈二次增长，这也导致对长时间序列建模不可行，对此，李等人创新地采用了改进的Transformer模型进行时间序列预测。

1  基于小波分析的ARIMA-Transformer预测模型

1.1  小波分析

1.1.1  小波分解

如果存在ψ（t）∈L?（R），L?（R）是由一组平方可积的函数构成的函数空间，且ψ（t）满足容许性条件，满足-INF～+INF的积分为0，即，此时ψ称为一个基波函数。基波函数是指具有震荡性，能够迅速减小到0的一类函数，是小波分析的关键。通过对ψ调整平移因子和伸缩因子，将原始信号分解成相互正交时频信号，即近似系数和细节系数，近似系数代表了价格数据的低频信息部分，细节系数代表了价格数据的高频信息部分。

假设C0是时间序列数据，采用Python算法对价格进行分解，分解公式为：

其中，Cj+1（k）为第j+1层低频系数，h为低频分解滤波器，m、k为平移系数，Cj（m）为第j层低频系数，Dj+1（k）为第j+1层高频系数，g为高频分解滤波器，Dj（m）为第j层高频系数。

1.1.2  小波重构2BE22783-D69A-47F0-93D0-1EB02B3C6EA3

小波重构是小波分解的反向过程，通过对處理后的低高频信号进行重构，可以预测出黄金、比特币价格的走势，从而更好地制定交易策略。重构的公式可表示为：

其中，为低频重构滤波器，为高频重构滤波器。

1.2  差分自回归移动平均模型

1.2.1  模型原理

如果时间序列记为{Xt}，则ARIMA（p，d，q）模型的表达式为：

其中，p为自回归阶数，d为差分阶数，q为移动平均阶数，Xt为时间序列中第t期的值，L为时间序列中每一期的滞后算子，为AR参数，而为MA参数。

1.2.2  模型求解过程

如图1所示，ARIMA模型的参数p、q、d将通过Q检验、平稳性检验以及AIC和BIC准则来选择。在每次预测之前，对时间序列进行Q检验，然后设定尽可能选择较低的差分次数d，以达到平稳性的要求，再利用AIC原则判断p、q的值，从而选定所使用的ARIMA模型。

1.3  Transformer模型

常规的transformer模型一般用于解决翻译问题，也就是给定一个词语x，通过训练得到的transformer映射为y。记transformer处理数据过程为f，那么就有f：x—y。假设有一个序列[x1，x2，x3…xn]，其经过f映射得到[y1，y2，y3…yn]，这种情况下，x与y的位置是一一对应的，它不具有预测的能力，也就是不可能映射出现yn+1，若需要对序列进行预测，也就是给定序列[x1，x2，x3…xn]由f映射得到[xn+1，xn+2，xn+2…x2n]，在训练transformer时可以对给定的序列进行错位操作，如图2所示，也就是以[x1，x2…xn-1]作为训练集，以[x2，x3…xn]作为标签，这样transformer就可以从x1预测得到x2，从x2预测得到x3。

根据比特币指数的走向，可判断出比特币未来的走向只与短期内的历史值有关，在得知前t天的历史值，并且知道当天、第t天真实值的情况下，可以将由前t天的历史值组成的序列x作为训练样本，将由前t-1天与第t天的真实值组成的序列y作为标签。经过训练得到的transformer模型权重以y作为输入，即可实现预测后t天的值。

1.3.1  transformer模型结构原理

如图3所示，模型分为Input、Encoder Block、Decoder Block和Output四个部分，在输入模块输入一个序列X=[x1，x2…xn]，Encoder Block、Decoder Block利用输入序列X=[x1，x2…xn]进行线性变换，softmax函数向输出模块提供一个状态集Y=[y1，y2…yn]，yn∈（0，1）。

1.3.2  transformer encoder

1.3.2.1  位置编码

若要挖掘序列的顺序信息，需要将序列xi∈X的相对和绝对位置信息注入到模型中去。因此在输入的基础上增添了位置编码，位置编码的计算公式为：

1.3.2.2  注意力模型

图4是注意力模型的基本结构，注意力是利用key和value记录已学习的参数，同时查找query得到模型的输出。每个value的权重是根据query和相应的key通过以下公式计算出来的：

score=Q · KT

注意力函数输出矩阵可以按照以下公式计算：

2  实例分析

2.1  比特币价格预测

为了验证系统模型的有效性，本文选择2016-9-11至2021-9-11的比特币价格数据作为模型运算数据，实验用的处理器为Intel（R） Core（TM） i5-9300H CPU @ 2.40 GHz，内存为8.00 GB，操作系统为Windows10 64位操作系统。

模型利用过去t天的价格数据，对未来f天的价格走势进行窗口滚动式的时间序列预测。以下是采用Python语言和db4小波基对比特币价格原始序列进行小波分解得到的结果，图5、图6、图7、图8为比特币价格时序图及小波分解的结果图。

分解后的序列不但使信息更加集中清晰，而且保存了信息的时频特征。图6低频信息体现了比特币价格的大致走势，图7、图8体现了比特币价格的随机波动、循环变化以及周期变化。

2.2  单支重构

2.2.1  ARIMA模型对高频信号的预测

对于价格高频细节的分析，首先通过Q检验进行时间序列的白噪声检验，然后选择t日内的数据（t=7）进行平稳性分析，确定差分系数d，再通过比较模型的AIC与BIC来最终确定适用的ARIMA（p，d，q）模型，对之后的f天进行预测。以此为基本单元，滚动模型工作窗口，遍历所有的天数从而得到每一日往后f天的高频序列预测。以下是t=7时，模型对比特币价格高频序列进行预测得到的结果。

如图9、图10是当选取f=7时，ARIMA模型对某日的比特币价格高频信号未来7天的趋势预测，红线为真实值，蓝线为预测值，结果能够反映所建立的模型能够很好地预测出高频信号的变化规律。

2.2.2  Transformer模型对低频信号的预测

Transformer模型采用的参数如表1所示。

如图11所示，当选取f=7时，Transformer神经网络框架对某日的比特币价格低频信号未来7天的走势预测，实线为真实值，虚线为预测值，结果表明所建立的模型能够很好地预测出高频信号的变化规律。

2.3  重构信息实现价格预测2BE22783-D69A-47F0-93D0-1EB02B3C6EA3

对t天内高低频分量的预测结果进行小波重构，就可以将价格高低频信号预测的未来f天的结果进行整合，从而实现对当日未来f天比特币价格的预测。将所有天数的预测数据进行组合，结果如图12所示，可以看出小波重构的比特币预测价格走势与比特币真实价格走势基本一致，满足预测要求，为实现最佳交易决策的制定提供良好的数据条件。

3  结  论

金融商品价格作为一种经典的时间序列，通常表现出非线性、非平稳和高波动性，用单一的模型难以实现预测目的，目前主流的研究方法主要有深度学习和多模型组合预测。本文基于小波分析，从多维度分析序列信息，建立Arima-Transformer模型进行窗口滚动预测，对比特币价格的预测效果较好，可作为研究金融商品价格走势的参考。

参考文献：

[1] 甘珂.比特币价格影响因素分析 [D].武汉：华中师范大学，2021.

[2] 郑步高，徐海东，李姗晏.数字货币的价格影响分析——以比特币为例 [J].价格月刊，2021（8）：10-17.

[3] 劉璐，娄磊，刘先俊，等.基于LSTM的COMEX黄金期货价格预测对比研究 [J].长春理工大学学报（自然科学版），2021，44（2）：129-135.

[4] 张宁，方靖雯，赵雨宣.基于LSTM混合模型的比特币价格预测 [J].计算机科学，2021，48（S2）：39-45.

[5] RAVI C. Fuzzy Crow Search Algorithm-Based Deep LSTM for Bitcoin Prediction [J]. International Journal of Distributed Systems and Technologies （IJDST），2020，11（4）：53-71.

[6] 景志刚，施国良.基于小波分析的LS-SVM—ARIMA组合模型的黄金价格预测 [J].黄金，2017，38（5）：5-8+14.

[7] 段格格.基于ARIMA模型的比特币价格预测研究 [J].现代营销（下旬刊），2021（1）：27-29.

[8] 梁秋，王凡彬，余龙秀，等.基于小波分析的比特币价格预测 [J].内江科技，2015，36（5）：129-130.

作者简介：莫世冰（2000.02—），男，汉族，广东湛江人，本科在读，研究方向：通信技术、深度学习、视频压缩编码;林晖竣（2000.03—），男，汉族，广东韶关人，本科在读，研究方向：MRI图像重建、深度学习;陈云伟（2000.06—），男，汉族，广东深圳人，本科在读，研究方向：图像处理、数据分析、单片机;梁毅（2000.11—），男，汉族，广东佛山人，本科在读，研究方向：电子信息;王振坤（2001.10—），男，汉族，海南海口人，本科在读，研究方向：通信工程。2BE22783-D69A-47F0-93D0-1EB02B3C6EA3