基于跨模态大模型的交易预测分析

［宋彦 黄俊楚］

1 引言

随着交易规模的增长，市场结构逐步优化，中国的金融交易市场日趋成熟。金融交易市场的繁荣也离不开大数据与人工智能的支撑[1～4]。在认知心理学中，人类心态信息的表达方式和方法往往是多个维度的，人类情感的表达方式也相对比较丰富。而在众多表达方法中，图像和文本数据可以高效地刻画人类的心态信息。图像和文本信息能够很好地刻画心态信息的情况，提取高质量的心态特征对心态信息的准确把握是至关重要的，但不同模态数据特征之间的相关度较低，为了获取高性能的模型往往需要采集大量的数据样本和相应地对其进行标注和复杂的网络结构设计[5]。在跨模态大模型（Cross-Modal Large Model，CMLM）中，CLIP（Contrastive Language-Image Pre-Training，对比语言-图像预训练）模型可以作为不同模态数据的特征提取器，以减少对数据标注代价的依赖并获取高质量的特征表达，是极具潜力的抽取心态高层语义信息的新兴关键技术[6]-[10]。在此基础上，将该技术应用于抽取心态高层语义信息，将心态信息和交易预测信息进行融合，从而实现心态与交易决策信息的融合是极具实际运用意义的。

本文研究了一种基于CLIP 的交易预测方法。在预测模型中引入心态信息进行分析决策。首先以桑坦德客户交易预测问题为例，建立一个桑坦德客户交易预测模型。其次是建立心态信息获取模块，心态信息包括跨模态的特征提取与融合，将图像和文本信息描述进行有效地融合。文本描述可以是对市场环境心理的描述，比如当前投资环境对客户心理的影响，也可以是客户本身的情绪描述等，心态监督信息则划分为积极和消极两个部分，积极的心态对交易决策起着积极的作用，消极的心态对交易决策起着消极的作用。最后建立基于心态的交易决策模型，将心态信息融合进决策模型，对比加入心态信息前后交易预测结果的变化。实验结果表明，本文提出的基于CLIP 的交易预测模型能够有效结合心态信息对决策影响的优势，更好的做出相应的决策。

2 系统建模

2.1 模型基础框架

基于CLIP 的交易预测模型的整体框架如图1 所示，包括三个方面，分别是心态信息获取模块，交易决策模块和基于心态的交易决策模块。心态信息包括图像和文本信息描述，图像信息可以是客户的表情图片，如开心、失望等等，反映了客户对于投资市场的心理预期；文本描述可以是对市场环境心理的描述，比如当前投资环境对客户心理的影响，也可以是客户本身的情绪描述等。心态监督信息则划分为积极和消极两个部分，积极的心态对交易决策起着积极的作用。桑坦德实际客户信息则作为决策判断的监督信息，模型基于客户提供的信息进行学习并进行判断。基于心态的决策模型包括心态信息的获取和与决策模型的融合。

图1 基于CLIP 的交易预测模型整体框架

2.2 心态信息获取模块理论

在认知心理学中，人类心态信息的表达方式和方法往往是多个维度的，人类情感的表达方式也相对比较丰富。而在众多表达方法中，图像和文本数据可以高效地刻画人类的心态信息，因而本节采用这两个维度的信息对心态特征进行描述。图像和文本信息能够很好地刻画心态信息的情况，提取高质量的心态特征对心态信息的准确把握是至关重要的，但不同模态数据特征之间的相关度较低，为了获取高性能的模型往往需要采集大量的数据样本和相应地对其进行标注和复杂的网络结构设计。CLIP 模型相较于其他跨模态大模型具备更强的泛化能力和解释性，此外CLIP 模型采用了对比学习和预训练的方法使得模型能够在大规模无标注数据上进行训练，不需要大量的标注数据。因此，本节利用跨模态的大模型CLIP 为不同模态数据的特征提取器，以减少对数据标注代价的依赖和获取高质量的特征表达。

假设收集到客户i的文本描述和图像数据分别为Ti和Ij，分别经过CLIP 的文本和图像特征提取器以得到更好的特征表达，可得到对应的特征为fi和gi。虽然图像和文本特征描述的都是心态信息，但其描述的内容及特征上存在差异，因而需要对不同模态的数据信息进行有效地融合。本节对不同模态数据的特征进行拼接，从而有效地保持了不同模态特征的信息，对拼接后的跨模态特征将其经过后续神经网络进行处理。对不同模态的数据进行拼接可得到其融合的跨模态特征mi，可以描述为：

CLIP 模型经过大规模的图像-文本对的训练，因而其能够提取到强大的特征表达。但在具体的任务上，如果不借助有效的监督信息，其性能很难达到较优的情况。本节利用少量的标注信息使得该模型对具体的任务的性能进一步提升，因而设计了跨模态的分类模块，将上述心态的图像和文本数据进行标注并训练。假设标签为yi，其中0代表消极心态，1 代表积极心态。通过网络的训练可以使不同模态的数据获取到其对应的心态信息，跨模态融合网络表示为，则网络的训练损失为：

公式2 为标准的交叉熵损失函数，经过网络的训练，模型能够对提取的文本描述和图像信息进行有效的判断，对积极心态的图像和文本描述，其输出响应接近1，而对于消极心态的文本描述，其输出响应接近0，少量样本经过网络的监督训练能够从而有利于对心态信息的高层语义信息的抽取。将心态的响应加入模型作为决策的参考并与其他文本信息综合做决策，最终判定结果为0 和1 分别代表交易和不交易。

2.3 交易决策模块理论

以桑坦德交易决策任务为例，该任务依据客户的年龄，收入情况，工作单位，居住地点等对其交易决策进行预测，数据集中包含了200 维的特征并进行了信息脱敏和主成分分析。由于该数据特征的维度相对较低，不同于图像数据集上万的维度，难以直接采用当前深度学习的基线网络进行学习，为此本节设计了一个高效的神经网络以处理这个问题。

整个网络共7 层，包括四个全连接层和三个Relu 激活层，其中激活函数层可以为网络引入较强的非线性，从而使得模型能够处理非线性问题。桑坦德客户交易数据共包括20 万个样本，其中14 万个数据用于训练，6 万个数据用于测试。数据集中进行交易的样本和不进行交易的样本之间的比例大约为1:9，呈现出明显的类别不均衡问题，这将导致模型严重过拟合于不进行交易的数据样本，难以有效学习。因此本节对数据集按照7:3 的原则切分为训练集和测试集，并采用类别均衡的训练方法，以缓解数据集存在的类别不均衡问题。

训练数据中的正样本（进行交易的数据样本）和负样本（不进行交易的数据样本）分别标记为x+和x-，交易监督信息为实际交易中是否进行，0 代表不交易，1 代表交易。网络表示为，利用标记信息对正负样本进行均衡采样，即训练过程中采样的小批量正样本和负样本的数量是一样的，网络的训练目标函数为：

网络的训练过程中分别采样正负样本，正样本的采样频率得以增加，通过采样的方式调整不同数据分布的差异，使得不同类别的数据在样本规模差异较大的背景下也能获得较好的泛化性能。

2.4 基于心态的交易决策模块理论

交易决策模型中能够把握客户的绝大多数关键特征，从而对其交易决策进行有效的预测，然而客户的决策往往也跟心态有着密切的关系，为此本节提出将心态信息融合进决策模型，并提出了基于心态的决策模型。由于深度神经网络的特征提取是层层递进的，较高层级的特征具备更高的语义特性，接近分类层的特征能够更能够反映心态信息的语义信息，因此本节将心态信息和交易预测信息进行融合，从而实现心态与交易决策信息的融合。客户交易数据经过网络训练之后参数是确定的，且训练数据和测试数据是同分布的，因此其可直接用于测试数据。对于客户数据样本x而言，经过网络提取的交易决策特征为h(x)，而多模态心态数据融合的特征为c(mi)，结合心态信息对决策特征进行修正并考虑心态信息对最终决策行为影响的程度，本节采用心态信息和决策特征凸组合的方式，对决策行为进行修正，修正后的决策特征可以表示为：

其中λ为超参数，可以控制心态信息在交易决策中的比重。经过心态信息修正后的决策特征为2 维的向量，对其进行softmax 激活之后可以得到决策行为的概率判断，假设其第一维的特征为r(x)0，第二维的特征为r(x)1，经过softmax 激活函数的归一化处理之后其决策概率可以表示为：

其中p代表决策为不交易的概率，1-p代表决策为交易的概率。当p大于1-p时，交易决策为不交易，反之则决策为进行交易。将心态信息和决策信息的特征进行融合，能够直接将心态信息融合进行决策模型中，并可通过实际任务学习到适当的超参权重λ，从而更好地建模实际交易决策中心态数据的影响。

3 软件架构

3.1 整体网络设计

本节提出的基于心态的交易决策模型包括三个模块，一是心态信息获取模块，二是交易预测模块，三是基于心态决策的交易预测模块。所有网络模型都基于Pytorch 框架实现，且可以通过自动求导机制高效地求解。

3.2 心态信息获取模块

心态信息的输入包括心态信息对应的图像和文本描述数据。网络架构上除了利用CLIP 模型作为特征提取模块之外，还需要设计跨模态融合模块以提高心态信息的提取能力。

3.2.1 特征提取模块

CLIP 模型具有强大的特征表达能力，因此适合作为本项目中的跨模态数据处理模块的特征提取器。图2 展示了CLIP 模型的细节，不同模态的数据经过不同的编码网络提取特征，再利用视觉和文本特征做相关，使得不同模态的数据特征得以联合学习。由于CLIP 模型已经经过4亿个图像文本对的训练，因而已经具备了较强的特征学习能力。网络采用Transformer 结构，将输入图像和文本切割成序列进行输入，经过Transformer Encoder 作为特征提取器得到其不同模态数据的特征。由于CLIP 已经得到了很好地训练，因此在网络搭建时这部分的参数是不进行更新的，可以直接利用大模型为不同模态的数据进行特征的提取。

图2 CLIP 模型结构细节图

3.2.2 跨模态数据融合模块的设计

心态决策模型的输入包含了不同模态的数据，而不同模态数据之间的差异较大，为了最大化保持不同模态数据的特性，本节将其特征进行了拼接并设计了对应的特征融合模块。实际上由于文本和图像的在表达方式上的差异性较大，模型如果提取的不同类型数据的特征表达差异过大，这将不利于模型的训练稳定和学习。将文本和图像对进行关联所需要的训练数据的规模较大，这也造成心态模型训练的代价加大。为了解决上述问题，本节设计的网络框架通过全连接层和权重归一化层，对融合特征进行处理，以满足少数据情况下的网络微调。CLIP 模型输出的图像特征维度为512 维，文本特征维度也为512 维，拼接之后的特征维度为1 024 维，因此全连接层的参数为1 024x2,将文本特征和图像特征融合后直接进行预测。同时采用权重归一化层使得模型避免过拟合。通过监督训练的方法微调，从而使得心态模型在最终决策部分给出精准的指导。

3.3 基于心态的交易决策预测模块

3.3.1 数据预处理

桑坦德客户交易决策数据的原始数据各个维度的取值范围差异较大，如果直接利用这些数据进行学习会导致网络过拟合在少数几个特征上，在实际测试数据的泛化性能将降低。为了避免这一点，本节采用0-1 归一化的方式，利用该维度取值的最大最小值对特征进行预处理，即：

交易决策模块需要直接对客户数据的决策进行预测，Resnet 是当前图像类别预测中使用最为广泛的深度学习模型，能够对大量的训练数据进行有效地学习，并且提取到具备判别性信息的特征[11～15]，但由于其处理的往往是图像这种高维度数据，而对于客户数据200 维度的分析，Resnet 并不能展现出其优势。为了处理交易决策信息，本节设计了7 层的神经网络，用于处理低维数据。网络的具体结构细节如图3 所示。

图3 网络结构设计细节图

图4 心态信息对交易决策的影响

图5 超参数的选择对交易决策行为的影响程度图

全连接层可以对特征进行有效地处理，而Relu 激活函数通过引入非线性的特性，使得网络能够处理非线性的问题。Relu 函数的表达式为

经过多层Relu 激活函数的处理，网络能够学习到决策数据的关键特征进而降低交易决策预测的难度。

4 实验结果分析

4.1 数据描述

本文实验采用桑坦德交易决策任务数据集，训练数据为14 万桑坦德实际客户交易数据。该数据集包含了客户的年龄，收入情况，工作单位，居住地点等信息，共200维的特征，并进行了信息脱敏和主成分分析。此外，本文实验中采用的预训练模型为VIB-B-32。

4.2 实验分析

首先研究了交易人数在加入心态信息时变化的情况，即心态信息对交易决策的影响。设置神经网络超参数的学习率设定为0.01，训练迭代次数为200 000，测试数据为6 万个数据样本。

其次研究了超参数选取对决策行为的影响，即心态特征信息与决策特征的比重对交易决策行为的影响程度，如

图6 研究了超参数选择对交易决策预测准确率的影响程度。图中横坐标表示超参数λ的取值，纵坐标表示分别加入积极和消极心态特征信息之后预测客户进行交易决策的准确率。当不加入心态信息时，即λ=0，准确率为90.4%。当加入积极的心态信息，且占比为10%(λ=0.1)时，准确率下降为87.5%。若继续增大心态特征信息的比例至20%(λ=0.2)时，准确率下降为46.6%。图中结果显示当增大心态特征信息的比例至40%以上(λ＞0.4)时准确率保持不变，达到10.2%，这也说明心态特征信息在交易决策中的影响已经远远超过其他特征信息了，已经成为交易决策的主导因素。当加入消极心态信息时，当心态特征信息的比例至30%以上(λ＞0.3)时，准确率维持在89.8%不变。因此在基于心态的交易决策模型中，结合心态特征信息占所有决策特征的比重对交易决策行为准确率的影响程度以及对交易决策行为的影响程度，可以选取合适的超参数以建模决策模型中心态因素的影响。

图6 超参数的选择对交易决策准确率的影响程度

进一步为了展示客户交易预测概率的影响，图7 展示了挑选的19 个客户在加入心态信息时交易预测模型预测其进行交易的概率。从图中可以看出当不加入心态信息时，绝大多数客户的预测是不进行交易，加入积极的心态信息之后，客户选择进行交易的概率基本都提升了，加入消极心态之后，客户选择进行交易的概率大部分都有所下降，这表明心态信息对不同客户的影响存在差异，其交易决策还与其原本的特征高度相关，因而能够很好地保留原始交易决策模型的特征。

图7 加入心态信息对预测客户交易的影响

5 结语

伴随着人工智能在业界的广泛应用，金融领域的投资者已不再满足于以往基于金融专家的决策制定，各种深度学习算法与金融工程领域的结合应运而生。基于此，本文针对客户交易预测模型的需求，在预测模型中引入心态信息进行分析决策。首先设计了一个高效的神经网络以建立一个桑坦德客户交易预测模型。其次建立心态信息获取模块，包括图像和文本信息描述。最后建立基于心态的交易决策模型，将心态信息融合进决策模型，对比加入心态信息前后交易预测结果的变化。实验结果表明，本文所提出的基于CLIP 的交易预测模型能够有效结合心态信息对决策影响的优势，更好的做出相应的决策。