支持张量回归在分类中的应用

张建光　安达　陈慧

摘 要：多媒体分类已经成为多媒体处理领域的重要研究内容。传统基于向量的分類算法需要将多媒体向量化。向量化的过程导致多媒体空间信息的丢失和高维向量数据的产生。为了解决向量化带来问题，张量作为多媒体的自然表达，成为多媒体分类问题的研究热点。本文基于张量的Tucker分解，提出了支持张量回归分类模型，用来直接进行张量多媒体数据的分类操作。通过在两个2阶灰度图数据集构造分类实验，验证了本文所提方法在多媒体分类上的有效性。

关键词：多媒体分类；张量；Tucker分解

一、引言

目前，很多基于向量的多媒体分类方法被提出，比如：支持向量回归（Support Vector Regression，SVR）分类模型[1]。但是这些方法存在两个问题。（1）向量化会导致“维度灾难”问题[2]。（2）向量化会破坏多媒体数据的空间结构[3]，因此降低了分类准确率。

为了解决多媒体向量化导致的问题，本文提出了一个基于Tucker分解的张量学习模型。该模型是对支持向量回归的张量扩张，因此称为支持Tucker回归（Support Tucker Regression， STuR）。本文利用两个模型进行张量多媒体的分类处理，用以分析两个模型的有效性。

二、支持Tucker回归算法

式（2）中有N+1个参数需要进行训练估计，式（2）对N+1个参数不是联合凸函数，但是当固定其他参数，式（2）对任意一个参数是凸函数，因此可以采用交叉优化的方法对式（2）进行优化。

当获得G；U1，U2，…，UN以后，即可重构参数张量。最终获得核张量维度为R的张量参数W，即可进行分类处理。

三、实验结果及分析

本节将对本文提出的支持Tucker回归算法（STuR）进行评估。在两个2阶灰度图像数据集上（binary alpha digits（BAd）①，USPS②），与SVR算法[1]和逻辑回归（logistic regression，LR）算法[4]进行对比。每一幅灰度图的大小被定义为12×12个像素。我们将灰度图数据集随机分为训练数据和测试数据两部分。每一类随机选取1一个图像作为训练数据，其他图像作为测试数据。随机测试5次，以5次的平均值作为最终结果。

实验中使用所有类的平均准确率（Average accuracy）来评估算法的效果.所有算法的参数调试范围设置在{10-6，10-5，…，105，106}范围内，然后选取最优的结果作为最终结果。

（一）实验结果比较

表1表示本文提出的算法STuR与对比算法在2个不同数据集上的对比结果。最优的结果使用黑色字体标出。从表1的平均准确率比较结果中，我们能够看到：与向量算法RR，SVR相比，STuR取得了更好的分类精度，原因在于张量的学习方法能避免向量化带来的空间结构的损失，充分利用图像数据的张量空间信息。

（二）参数分析

图1本文算法STuR在两个数据集上的对参数λ的分析。（a）BAd，（b）USPS。

通过调整本文算法STuR的参数λ，两个数据集的调参结果如图1所示。我们在图1中发现：算法STuR取得最优值时，参数λ的取值分别是：BAd：λ=0.01，USPS：λ=0.1。

四、结论

在本文中，我们提出了基于Tucker分解的支持张量回归算法。通过和当前流行的向量算法进行比较，表明本文提出的方法在平均准确率上分类性能更好。（作者单位：衡水学院数学与计算机科学学院）

注解：

① http：//algoval.essex.ac.uk/.

② http：//www.cad.zju.edu.cn/home/dengcai/Data/MLData.html.

参考文献：

[1] Cortes，C.Vapnik，V.Support vector machine.Machine learning，1995，20（3），273–297.

[2] Guo，W.Kotsia，I.Patras，I.Tensor learning for regression.IEEE Trans Image Process，2012，21（2）：816–827.

[3] Zhang，Jianguang and Han，Yahong and Jiang，Jianmin，Tucker decomposition-based tensor learning for human action recognition.Multimedia Systems，DOI：10.1007/s00530-015-0464-7，2015

[4] Genkin，A.Lewis，D.Madigan，D.Large-scale bayesian logistic regression for text categorization.Technometrics，2007，49（3），291–304.