基于类内超平面距离度量模糊支持向量机的语音情感识别

张波 张雪英 陈桂军 孙颖

摘 要： 在智能人?机交互系统中，语音情感识别是目前的研究热点之一，支持向量机方法被广泛用于语音情感识别。然而，支持向量机方法存在噪声和野值敏感问题，往往难以进行精确识别。为了解决该问题，通过对隶属度函数进行深入研究，设计一种新的基于样本到类内超平面距离的隶属度函数，并基于该隶属度函数优化了模糊支持向量机分类超平面，从而提高了支持向量机的抗噪性和泛化能力。在多种情感语音库上进行实验仿真测试，结果表明，所提出的方法能够有效利用样本间的紧密度、边界样本点和过样本类中心的超平面来构造最优超平面，从而提高语音情感识别的准确率。

关键词： 语音情感识别； 模糊支持向量机； 隶属度函数； 孤立点； 类内超平面； 精确识别

中图分类号： TN912.34?34； TP181 文献标识码： A 文章编号： 1004?373X（2018）16?0163?05

Abstract： In the intelligent human?machine interaction system， speech emotion recognition is one of the current research hotspots. The support vector machine method is widely used in speech emotion recognition， but it has problems of noises and wild value sensitiveness， resulting in difficulty of accurate identification. Therefore， a novel membership function based on the distance from samples to the intra?class hyperplane is designed by means of the in?depth study of the membership function， based on which the classification hyperplane is optimized by using the fuzzy support vector machine， so as to improve the anti?noise and generalization capabilities of the support vector machine. An experiment and simulation test were carried out by using various emotion speech libraries. The experimental results show that the proposed method can effectively utilize the sample compactness， boundary sample points， and the hyperplane passing through the center of the sample class to construct the optimal hyperplane， which can improve the accuracy of speech emotion recognition.

Keywords： speech emotion recognition； fuzzy support vector machine； membership function； isolated point； intra?class hyperplane； accurate recognition

0 引 言

随着人机交互技术的发展，情感识别技术已经日益成为科研人员研究的焦点，比如智能人机交互[1?2]、疾病诊断和测谎仪等。

语音信号的情感识别方法有很多，常用的情感分析方法有混合高斯模型法（GMM）、隐马尔科夫模型法（HMM）[3?4]、人工神经网络方法（ANN）[5]以及支持向量机（SVM）等。其中SVM情感分析方法在解决非线性、小样本以及高维模式识别问题中有着良好的分类效果，但是从本质上来说SVM是一种不适当问题的正则化理论和非线性规划计算方法，在情感混淆程度较大的情况下，往往难以进行精确识别。

文献[6]将隶属度的概念引入到SVM分类中，提出了模糊支持向量机。其原理在于给不同的样本赋予不等的权值，而且能更好地减少野值和噪声点带来的影响，提高分类精度。在模糊支持向量机理论中，最为关键的步骤就是隶属度函数的设计，文献[7]通过类向心度思想设计紧密度的度量，但其方法不适用于样本类多的情况。

文献[8]引入控制因子定义半径，配合类中心定义超球，对超球内样本进行不等的权值赋予。文献[9]提出了一种改进近似支持向量机算法，赋予正负样本不同惩罚因子并在约束条件中加入新的参数，使分类面更具灵活性，提高分类精度。文献[10]通过使用一种高效去边缘方法对训练样本进行预处理，优化样本个数提高训练速度。

文献[11]选择对样本做筛选，选择部分样本进行隶属度赋予。文献[12]在确定样本的隶属度时，对类中心距离方法进行了改进。文献[13?15]通过用类内超平面取代类中心的方法加强支持向量的作用。本文使用样本点到类内超平面距离的线性函数作为隶属度函数，克服了以往方法中用样本点到类中心的距离度量隶属度而导致泛化能力不足的问题，能够更加精确地对每个样本点进行不同隶属度值的赋予，使得构造的分类决策面更加准确。

如图2所示，定义一个半径控制因子，做实线圆，在圆内的样本分别设计隶属度函数的赋予，通过计算正类样本到正类类中心的最大距离作为虚线圆的半径，实线圆以外，虚线圆以内的样本看作是孤立点，单独对样本赋予隶属度[σ] ，实线圆内的样本通过正类样本到负类类中心超平面的距离[d1i+] 与两个类中心的距离T做比较，如果前者距离[d1i+T]，则正类样本到正类类中心超平面的距离越大，样本被赋予的隶属度值就越小。

以往的隶属度函数设计方法如文献[7]、文献[8]和文献[11]等并不能对所有的樣本点做出精确的权值赋予。单纯通过样本点到类中心距离的隶属度函数设计方法更是使得部分对分类超平面贡献相同的样本点，由于到类中心的距离不同被赋予不同的隶属度值。本文设计的隶属度函数设计方法通过合理增加限制条件，寻求平行于分类超平面的过样本类中心的超平面，提出用样本到过类中心的超平面距离来代替以往样本到类中心的距离，根据样本点对分类面的贡献，对类内的每个样本点做出精确的权值赋予，对孤立点进行单独的隶属度值赋予，从而更加有效地加强支持向量的作用，减弱非支持向量与孤立点的作用，提高分类准确率。

3 实验与结果分析

3.1 数据语料与特征提取

为了验证模糊支持向量机新型隶属度函数设计方法的有效性，并使其与之前已有的隶属度函数设计方法做对比，本文选取了柏林情感语音库EMO?DB，TYUT 2.0情感语音数据库分别做情感识别。

两种情感语音库数据分布呈现标准的球形分布，并且各类样本的数目相近。三种情感库都以18 kHz采样，18 bit量化，wav格式存储。实验所选取的情感特征相同，情感特征为基音频率、韵律特征、12阶MFCC，对应的统计特征值为最大值、最小值、均值、方差、标准差。对情感特征进行归一化处理，数据集的具体信息如表1所示。

实验在1台PC机（CPU，3.40 GHz；内存，4 GB）上进行，操作系统为Windows 7，实验工具是Matlab 2014a。实验的核函数采用高斯径向基核函数。

3.2 参数选择影响分析

对于惩罚系数[C]的取值，分别取0.01，0.1，1，10，20，30，40，50，100，200共10个值，取其中最好的结果。在本文算法中，通过[ε] 值来确定样本点是否是孤立点，文献[15]提出令[ε=ρR++R-T] ，其中[ρ>0]。隶属度的作用是通过算法的分类准确率体现的，在新型隶属度函数的设计中通过改变[ε] 值进行测试。本节将对在不同的参数[ε] 值下，文献[8]中的NFSVM隶属度设计方法、文献[14]中RFSVM隶属度函数设计方法与本文的ZFSVM的分类准确率做比较。图3，图4别给出了柏林情感语音库，TYUT 2.0情感语音库两组数据集的实验结果。

3.3 分类准确率对比分析

对本文的ZFSVM方法与常规SVM、文献[8]中的NFSVM隶属度设计方法、文献[14]中RFSVM隶属度函数设计方法进行比较。每种方法选取相应分类准确率最高的ε值。

选取柏林情感语音库、TYUT 2.0两种情感语音库做情感分类准确率的比较。图5、图6分别表示对柏林情感语音库，太原理工大学TYUT 2.0语音库做识别的最后试验结果。

从图5、图6可以看出，相比于NFSVM，RFSVM隶属度函数设计方法，本文提出的ZFSVM方法对于三种情感语音库的识别率最高，对于柏林情感语音库的情感识别结果为85.89%，较其他两种方法识别率分别提高6.72%，3.54%。对于TYUT 2.0库情感的分类也有显著提升，为75.89%，较其他两种方法平均识别结果提升4%。其识别率得到提高的理论如下：两种情感语音库数据呈球形分布， ZFSVM在削弱孤立点的同时，更加有效地加强了支持向量在构建最优分类面中的作用，使得分类识别率得到提高。随着样本数的增多，NFSVM和RFSVM方法会将部分对超平面贡献相同的样本赋予不同的权值，甚至会给部分对超平面贡献较大而距离类中心较远的样本赋予小的隶属度值，影响分类结果。综合上述结果表明，在样本呈球形分布，各类样本数目相近的情况下，情感语音库的样本数目越大，ZFSVM的识别效果越显著。

4 结 语

本文基于类内超平面距离度量对模糊支持向量机进行了改进并应用于语音情感识别，利用样本间的紧密度、边界样本点和过样本类中心的超平面来重新设计隶属度函数，根据样本分布情况定义球半径，通过比较正类样本点到过负类类中心超平面的距离与两类样本类中心间的距离，再结合样本周围的紧密度对每个样本进行隶属度值的赋予。超球外的样本视为孤立点，单独赋予隶属度值，这种方法能更加准确地体现出样本点对分类面的贡献，使得每类样本点被赋予最精确地权值，从而更加有效地加强支持向量的作用，减弱非支持向量与孤立点的作用，提高了支持向量机的抗噪性和泛化能力。实验结果表明，本文提出的基于类内超平面距离度量的模糊支持向量机方法在对语音情感的分类性能上有着显著的提高。

参考文献

[1] 张石清，李乐民，赵知劲.人机交互中的语音情感识别研究进展[J].电路与系统学报，2013，18（2）：440?451.

ZHANG Shiqing， LI Lemin， ZHAO Zhijin. A survey of speech emotion recognition in human computer interaction [J]. Journal of circuits and systems， 2013， 18（2）： 440?451.

[2] AYADI M E， KAMEL M S， KARRAY F. Survey on speech emotion recognition： features， classification schemes， and databases [J]. Pattern recognition， 2011， 44（3）： 572?587.

[3] 林奕琳，韦岗，杨康才.语音情感识别的研究进展[J].电路与系统学报，2007，12（1）：90?98.

LIN Yilin， WEI Gang， YANG Kangcai. A survey of emotion recognition in speech [J]. Journal of circuits and systems， 2007， 12（1）： 90?98.

[4] 尤鸣宇.语音情感识别的关键技术研究[D].杭州：浙江大学，2007.

YOU Mingyu. Research on key technologies of speech emotion recognition [D]. Hangzhou： Zhejiang University， 2007.

[5] KHANCHANDANI K B， HUSSAIN M A. Emotion recognition using multilayer perceptron and generalized feed forward neural network [J]. Journal of scientific & industrial research， 2009， 68（5）： 367?371.

[6] LIN C F， WANG S D. Fuzzy support vector machines with automatic membership setting [J]. Support vector machines： theory and applications， 2005， 177： 233?254.

[7] 许翠云，业宁.基于类向心度的模糊支持向量机[J].计算机工程与科学，2014，36（8）：1623?1628.

XU Cuiyun， YE Ning. A novel fuzzy support vector machine based on the class centripetal degree [J]. Computer engineering and science， 2014， 36（8）： 1623?1628.

[8] 刘开旻，吴小俊.一种基于新隶属度函数的模糊支持向量机[J].计算机工程，2016，42（4）：155?159.

LIU Kaimin， WU Xiaojun. A fuzzy support vector machine based on new membership function [J]. Computer engineering， 2016， 42（4）： 155?159.

[9] 刘艳，钟萍，陈静，等.用于处理不平衡样本的改进近似支持向量机新算法[J].计算机应用，2014，34（6）：1618?1621.

LIU Yan， ZHONG Ping， CHEN Jing， et al. Modified proximal support vector machine algorithm for dealing with unbalanced samples [J]. Journal of computer applications， 2014， 34（6）： 1618?1621.

[10] 彭桂兵.两种改进的模糊支持向量机[D].保定：河北大学，2010.

PENG Guibing. Two improved fuzzy support vector machines [D]. Baoding： Hebei University， 2010.

[11] LIN C F， WANG S D. Fuzzy support vector machines [J]. IEEE transactions on neural networks， 2002， 13（2）： 464?471.

[12] 陈小娟，刘三阳，满英，等.一种新的模糊支持向量机方法[J].西安文理学院学报（自然科学版），2008，11（1）：1?4.

CHEN Xiaojuan， LIU Sanyang， MAN Ying， et al. A new fuzzy supportive vector machine algorithm [J]. Journal of Xian University of Arts and Sciences： Natural science edition， 2008， 11（1）： 1?4.

[13] WU Jianxin. Power mean SVM for large scale visual classification [C]// Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S.l.]： IEEE， 2012： 2344?2351.

[14] 刘三阳，杜喆.一种改进的模糊支持向量机算法[J].智能系统学报，2007，2（3）：30?33.

LIU Sanyang， DU Zhe. An improved fuzzy support vector machine method [J]. CAAI transactions on intelligent systems， 2007， 2（3）： 30?33.

[15] 杜喆.几类支持向量机变型算法的研究[D].西安：西安电子科技大学，2009.

DU Zhe. Research on several kinds of support vector machine variant algorithms [D]. Xian： Xidian University， 2009.