基于单向流模型的自适应张量链式学习算法

马宝泽，李国军，邢隆，叶昌荣

（1.重庆邮电大学光电工程学院，重庆 400065；2.重庆邮电大学超视距可信信息传输研究所，重庆 400065）

0 引言

随着传感器的广泛应用和物联网的迅猛发展，泛在的实时信号和数据不断产生，并催生了大数据智能、信息流处理、泛在感知等新兴研究热点，推动新生业态的数字、信息技术飞速发展。在数字经济赋能各行各业的大背景下，人们对高维实时/在线数据流自适应处理的需求处于持续增长状态[1]。特别是，大量的应用程序在某一维度上随着时间的推移将产生庞大的在线信号，及时有效地分析基于单向流模型的海量实时数据信息，实现信号在线自适应处理成为当前研究的热点[2]。然而，信号流的数据规模越来越大、传输速度越来越快、潜在成分越来越复杂，这些固有的问题都给实时信号流处理带来了挑战。此外，信息技术的飞速发展使数据形式逐渐趋向高维化，通常需用张量的形式表征[3]。因此，利用张量分析的相关技术处理实时的信号流数据成为一种潜在研究手段。

张量分解技术已经得到了广泛的应用，成为解决高维信息分析处理的有效方法[4-5]，并成功应用于神经科学[6-7]、无线通信[8-9]、社交网络[10-11]等诸多领域。当使用张量表示信号/数据流时，张量分析技术通常被称为张量跟踪或自适应在线/实时流张量分解。CP（CANDECOMP/ PARAFAC）分解[12]和Tucker分解[13]作为经典的张量分解方法，均为张量奇异值分解（SVD,singular value decomposition）的扩展形式。为了解决CP分解中的秩估计难题和克服Tucker分解中的数据维度灾难缺点，Cichocki 等[14-15]扩展了2 种典型的多维张量分析模型，对张量网络进行了全面的研究。其中，张量链式（TT,tensor train）分解[3,16]表现出处理高阶张量的强大能力，成为多维信号处理和大规模数据分析领域的有效分析手段。然而，传统张量分解方法均属于批处理范畴，并不能对单向流模型下的多维信号流数据进行有效处理。

面向多维信号流数据的自适应分解问题，Nion 和Sidiropoulos[17]在传统CP 分解的基础上提出了基于同步对角化和加权最小二乘准则的2 种解决方案，为后续自适应张量学习算法的分析研究奠定了理论基础。随后，Mardani 等[18]提出了一种基于核范数正则化的指数加权最小二乘准则的在线子空间估计方法，通过跟踪低秩子空间揭示了潜在的高阶结构。Zhou 等[19]提出了一种有效的高阶在线学习算法，可实现具有任意阶数的动态张量CP 分解，突破了张量阶数对自适应算法的限制。Nguyen 等[20]针对单向流的三阶张量，提出了基于交替最小二乘法结合牛顿型优化技术的快速自适应CP 分解算法。Kasai[21]假设数据位于低秩线性子空间中，提出了基于张量CP 分解的在线低秩子空间跟踪算法。文献[17-21]均是在传统CP 分解的基础上探究的自适应张量分解方法，为克服CP 分解中的秩估计难题，Liu 等[22]针对TT 分解框架介绍了一种增量TT 学习算法用于分解切块随时间递增的张量模型；Wang 等[23]则研究了能够分解工业物联网张量流的 TT 方法。然而，上述2 种改进的TT 分解技术可以归纳为增量式批处理学习方法，缺乏对张量切片数据的自适应处理能力，并且存在跟踪时变张量流数据较敏感的问题。

为了解决单向流模型中的高阶张量实时分析问题，同时解决CP 秩选取难题且具备计算时变切片增量的在线分析能力，本文研究了一种自适应TT 学习算法。该算法在理论上可以处理任意阶数的单向张量流数据，推导出时变增量对时序TT 核张量估计及TT 非时序核张量更新的影响，构造具有遗忘因子和正则项的指数权重最小二乘目标函数，利用块坐标下降（BCD,block coordinate descent）学习策略依次估计出时序TT核并对非时序TT 核进行更新，从而实现对切片和切块等增量式实时数据的自适应分析研究。在模拟数据实验中，采用随机生成的四阶张量分别验证了所提算法在增量大小、不同TT 秩、噪声强度和时变强度等条件下的重构性能，并且利用三阶张量进行了平均相对误差和平均运算时间的对比实验。此外，通过实测视频数据验证了多种算法对人体运动图像/视频实时分析的能力。

1 问题描述

1.1 传统TT 分解模型

TT 分解对高阶张量数据的处理具有以下优点：1) 给定任意张量X，能够找到一系列TT 核和TT 秩满足TT 分解的要求；2) 相对于CP 秩的确定难题，TT 分解可以稳定有效地估计TT 核张量；3) TT 分解为高阶张量提供了一种节省内存的表示方式，并且能够克服张量的维度灾难缺点。然而，传统的TT 分解属于全量式批处理框架，在分析增量式自适应数据时存在重复计算和效率不高等问题。因此，在传统TT 分解算法的基础上开发能够处理在线数据流的自适应张量分解方法具有重要的研究意义。

1.2 单向流模型

一般来说，时序增量 Yt可以表示为

其中，Lt表示时序增量的低秩成分，Nt表示噪声张量，σ表示噪声强度。低秩项Lt可以用向量、矩阵、核张量等形式表示，能够应用于静态和时变场景。综上所述，单向流张量跟踪问题可形式化表达如下：在第t时刻给定时序增量 Yt和 Xt-1的先前估计（核张量或张量因子），则需要及时跟踪得到新的估计。

1.3 自适应TT 分解模型

在单向流模型中，实时张量 Xt在含噪声环境下的TT 分解形式可以表示为

图1 TT 张量流分解示意

2 算法说明

2.1 构建目标函数

由于在线数据流固有的时变性和非平稳性，传统批处理TT 分解方法在计算复杂度和数据存储方面没有优势，故需要研究一种能避免重复计算且有效跟踪的自适应高阶数据流分析方法。在自适应TT分解框架中，核张量的估计是研究重点。不考虑噪声的情况下，估计TT 核张量的广义目标函数可表示为

根据式(2)和自适应策略[17,20]可以将式(6)目标函数改写为指数权重最小二乘的形式[18,21]，表示为

其中，ρ∈(0,1]表示遗忘因子，旨在降低观测数据间距离的影响，并提高在动态环境中的跟踪速度；μ表示正则化参数，旨在控制相邻的连续时刻对应TT 核的时变程度。当ρ=1且μ=0时，式(6)和式(7)中的2 个目标函数是等价的。

2.2 核张量的学习策略

其中，A 和B 为虚拟张量，分别定义为

2.3 具体步骤

2.3.1估计时序TT 核

在给定时序张量 Yt和解析张量 Ut-1的情况下，

2.3.2依次计算非时序TT 核

其中，ρ∈(0,1]表示遗忘因子，μ表示正则化参数。为方便计算，将式(15)改写为矩阵形式，可表示为

3 实验分析

3.1 模拟数据仿真

令四阶张量的维度为[10 15 20 1000]，且假设最后一个维度时变，可称为时序点数，TT秩固定为[5 5 5]，噪声强度固定为σ=10-3，时变强度固定为ε=10-3，增量大小分别为J={7,5,3,1}，并在时序点数为550 时增加突变干扰，即此刻的突变强度为1。不失一般性，鉴于参数选取不是本文研究的重点内容，故设定所提算法的遗忘因子ρ=0.5，正则化参数η=1，μ=1，且仿真结果均是算法迭代30 次的平均值。非平稳条件下，增量大小对算法性能的影响如图2所示。由图2 可知，算法在J=1时比在J={7,5,3}时的相对误差收敛速度更快且稳态误差更小。随着时序增量的增加，张量分解相对误差收敛速度变慢、稳态误差也随之变大，说明所提算法在处理时序切块方面的性能还有待提升。此外，所提算法表现出对张量切片较强的学习能力，符合自适应算法对数据逐点处理的要求，故其余实验均采用张量切片J=1作为时序增量。

图2 增量大小对算法性能的影响

固定时序增量为时序切片，选取TT 秩分别为[2 2 2]、[4 4 4]、[6 6 6]和[8 8 8]，其余实验条件和参数不变。TT 秩对算法性能的影响如图3 所示。由图3 可知，当TT 秩为[8 8 8]时，所提算法在时序突变后出现了难以收敛的情况，说明较大的TT 秩会限制TT 分解的低秩表征能力。此外，当TT 秩较小时，算法虽然收敛速度快但稳态误差不理想波动较大。因此，综合考虑收敛速度和稳态误差两方面因素，TT 秩的选取不宜过大或过小，需根据张量最小维度值选择，故令模拟数据仿真实验中的TT 秩为[5 5 5]。

图3 TT 秩对算法性能的影响

为了验证所提算法的抗噪性，分别选取噪声强度σ={10-4,10-3,10-2,10-1}进行鲁棒性实验，其余仿真条件和参数不变。噪声强度对算法性能的影响如图4所示。由图4 可知，选取的4 个噪声强度对算法的收敛速度影响不大，其收敛曲线基本一致。但当σ=10-1时，算法的稳态误差明显比其他噪声强度大，说明在噪声强度为σ={10-4,10-3,10-2}时所提算法表现出了较好的鲁棒性。此外，所提算法对较大的噪声强度敏感，当噪声强度较小时算法性能变化不大，并且不同噪声强度下算法在突变前收敛速度也比较接近。

图4 噪声强度对算法性能的影响

固定实验的其余仿真条件和参数，分别选取时变强度ε={10-4,10-3,10-2,10-1}验证所提算法性能。时变强度对算法性能的影响如图5 所示。由图5 可知，时变强度越大，算法的稳态误差也越大，且在突变干扰后收敛速度主要受强时变的影响，如ε=10-1。当ε={10-4,10-3}时，算法的性能比较理想，因此不断提升算法的抗时变能力是自适应张量分解研究的优化方向。

图5 时变强度对算法性能的影响

上述实验分别从增量大小、TT 秩选取、噪声强度和时变强度几个方面验证了所提算法的性能，接下来将4 种自适应张量分解方法作为对比算法，分别为PARAFAC-RLST[17]、PARAFAC-SDT[17]、TeCPSGD[18]和SOAP[20]，来分析随机生成的在线三阶张量。其中，张量维度为[150 200 1200]，噪声强度和时变强度均固定为 10-3，增量J=1，在时序点数为600 时增加突变干扰，且对比算法的秩均为10，所提算法的TT 秩为[10 10]。5 种算法估计张量流的相对误差对比如图6 所示。由图6 可知，PARAFAC-RLST 和PARAFAC-SDT 具有相似的收敛速度和稳态误差，突变后的稳态误差均不理想，但突变前后的收敛速度较快。TeCPSGD 收敛速度最慢，且稳态误差较大，算法收敛困难。SOAP 在突变前表现出与PARAFAC-RLST 和PARAFAC-SDT 相似的算法性能，但突变后相对误差几乎不变，说明SOAP 方法不适用于存在突变的数据分析或者信号处理应用。相较于对比算法，所提算法在突变前后均表现出了良好的收敛速度和稳态误差。

图6 5 种算法估计张量流的相对误差对比

不同算法处理模拟数据的平均运算时间如图7所示。由图7 可知，PARAFAC-RLST 平均运算时间最长，其次分别为 TeCPSGD、SOAP 和PARAFAC-SDT，所提算法平均运算时间最短，说明BCD 学习策略中仅处理时序增量的方式在算法运算时间方面具有优势。综上所述，不同于对比算法仅能处理三阶张量，所提算法能够处理任意阶数的张量数据。此外，综合考虑相对误差指标和平均运算时间可知，所提算法更新非时序TT 核张量的并行学习策略不仅能够缩短算法运算时间，而且可以获取稳健的估计性能。

图7 不同算法处理模拟数据的平均运算时间

3.2 实测数据实验

将视频信号[24]作为实测数据验证算法张量重构性能，选取数据库中名为‘eli_wave1’的视频作为自适应张量算法的输入信号。其中，视频属性包括：数据时长为5 s，帧率为25 frame/s，帧的高度为144，帧的宽度为180，每个像素的位数为24，视频格式为RGB24，则视频流中的帧数为125。为了更公平地验证算法性能，将每个视频帧数据对应的RGB 图像转换为灰度图像，故输入信号的维度为144×180×125。将视频帧作为时序增量，不同算法处理视频数据的平均相对误差如图8 所示。由图8 可知，PARAFAC-RLST收敛速度较快，但相对误差较大；PARAFAC-SDT收敛速度最慢，在90 帧左右才收敛；所提算法性能明显优于对比算法，其次是 SOAP 和TeCPSGD。对比图6 可知，实测数据的时变强度小，因而所有算法的性能曲线均波动小且平滑，且算法的相对误差明显变差。

图8 不同算法处理视频数据的平均相对误差

不失一般性，选取各算法重构后张量的第80 帧进行可视化，人体运动部分以虚线椭圆形标注，可视化灰度图如图9 所示。所提算法重构的可视化灰度图与原始视频帧的灰度图最接近，基本可以分辨出人体轮廓。而SOAP 算法仅能识别出人体位置，难以辨别动作状态，其余3 种对比算法可视化灰度图较差。图9 的可视化结果与图8 中虚线方框对应，即当相对误差ξ＞10-1时，自适应张量分解算法重构的张量切片可视化不理想，难以识别人体动作，不能应用于人体运动图像/视频实时分析。此外，所提算法在实测视频数据的实验中表现出了优于对比算法的张量切片重构能力。

图9 第80 帧的可视化灰度图

4 结束语

由于泛在的实时信号/数据大多呈现高维结构，将给传统批处理张量分解方法和受阶数限制的自适应张量分析方法带来挑战，因此本文研究了一种基于单向流模型的自适应TT 学习算法。通过推导单向流时序增量对TT 核更新的影响，将核张量分为时序和非时序两类，并构造相应的目标函数利用BCD 学习策略分别估计更新。实验表明，所提方法能够处理三阶和四阶的模拟数据，在平均相对误差和平均运算时间方面优于对比算法，且在视频实时分析研究中重构张量数据具有一定的意义。此外，在现有工作基础上研究基于多向流模型的自适应张量学习算法将是下一步重点探究方向。