基于情感的家庭音乐相册自动生成研究

邵 曦，刘君芳，季茜成

(南京邮电大学 通信与信息工程学院，南京 210003)

随着互联网的飞速发展，电子相册服务逐渐成为互联网基础服务之一.近年来随着低存储成本以及高分辨率性能的多媒体技术的发展，数字图像的数量也得到了爆炸式的增长.Facebook(www.facebook.com)和Flickr(www.flickr.com)的相册就是典型的代表.截至2013年9月，Flickr已拥有超60亿张的图片.而很多其他的社交网站如Facebook，甚至拥有更大规模的图片数量.截至2012年5月，Facebook拥有约9亿用户，截至2013年11月每天会上传大约3.5亿张照片.此外，这些年来随着移动互联网平台的不断发展，用户们更多地倾向于使用智能手机或平板拍摄照片并添加相册.这一切都使得电子相册的数量得到迅猛地增长.总之，不管是在个人电脑领域，线上服务，或者是移动平台，电子相册服务都占着相当重要的位置.因而在改进其用户体验以及完善其功能上，也具有很大的研究发展空间.

除了相册的发布与共享，一些软件例如iphoto还能提供为相册选择背景音乐的功能.当用户在浏览相册时，如果能同时欣赏到符合照片情境的背景音乐，也会带来与众不同的感受.比如，为婚礼的图片搭配浪漫的背景音乐；为篮球比赛的图片搭配紧张刺激的音乐.在这种氛围下浏览图片，会带来更美妙的视觉听觉感受.但让用户亲手选择背景音乐也存在费时费力不够专业的缺点.因此，若能自动生成音乐相册则可以解决上述的一系列问题，提高浏览电子相册时的用户体验.但是如何跨越音乐与图片之间的语义鸿沟是个很困难的问题.无论是一张图片还是一段音乐都包含了一段故事，而这段故事包含了相关的情感.根据两者之间这一共通点，可以联想到跨模态检索，其研究对象是不同模态的多媒体数据，这些数据的特征有各自不同的表示方法和提取方法，因而具有异构性，但是在情感语义上又相互关联，即不同模态的特征可以表征同一个情感语义概念，比如一张图片或者一段音乐都能同时感受出“愉快”的感觉.由此可以看出多媒体时代的数据呈现出多模态数据混合并存，不同类型的多媒体数据表达相似情感且数据结构复杂的特性[1].由于多媒体数据的这种特性，不同模态的多媒体数据之间的相似性度量就变得非常困难.另一方面，从不同模态提取出来的特征向量往往维数不同，具有异构性和不可比拟性，不能直接进行相似性计算.所以若能实现音乐相册的自动生成研究，则也是实现了跨越不同模态处理多媒体数据的检索，即跨模态检索.

1 国内外研究现状

目前大部分的图像浏览系统如美图看看，Picasa等都是传统的幻灯片形式，人们浏览了一定数量的图片之后难免会产生审美疲劳.虽然也有不少软件拥有制作电子相册的功能，其主要目的是把一张张图像集合成幻灯片模式自动播放，也有手动为其添加背景音乐的功能.例如iphoto能提供让用户为相册指定背景音乐的功能，用户通过搜索手机中存在的音乐为相册添加背景音乐.然而当要添加背景音乐过多时，会显得繁琐.人们一直在寻求更加智能便捷的方式，使得在浏览相册的同时获得更好的用户体验.

尽管现代的演示系统提供强大的编辑和组织的功能，连续的浏览模式依然很难满足视觉和听觉的要求.因此，在过去的几十年中，有相当数量的研究[2-3]已经对视觉和听觉进行了关联，按关联类型，大致可分为两种： 1) 以音乐为中心的关联；2) 以图片为中心的关联.

1) 以音乐为中心的关联

这种类型是给定一个音乐片段，为它关联图片.目前广泛使用的有Winamp和微软的媒体播放器，但它只是在播放音乐的同时生成简单的图像.这些视觉动画不一定与播放的音乐内容相关.Chen等[4]提出一种音乐可视化系统，它在播放用户选取的音乐片段的同时，播放一组基于视觉和听觉相似性的图像.其想法与本文大致相似，只是在实验时先对图像进行情感的分类，再将情感标签与音乐的情感相联系，并没有对其底层特征进行相似性的研究.Xiang等[5]挖掘美学能量作为媒介建立一个自动的图片浏览系统.美学能量的基本思想是“听见颜色，看见声音”.Hua等[6]提出了一种家庭视频自动编辑系统.在这个系统中，用户可以指定一个音乐片段，然后系统会按一定的编辑规则自动提取一系列的视频片段.尽管上述提到的一系列研究在一定程度上将图像和音乐进行了关联，这类系统的功能被限定在某些特定的情感空间，因为一个音乐片段包含了某些固定的情感.因此，照片的类型也总是收敛到一个特定的类型，并且一(音乐)对多(照片)的展示方式可能会让用户感到无聊.

2) 以图片为中心的关联

与上一种关联模式相比，以图片为中心的关联模式则以图片开始，展示了一组与图片相关的音乐伴奏.多对多的关联关系使这种类型的系统更加复杂，但这比以音乐为中心的关联模式更加有趣.Wu等[7-8]提出根据图像的视觉特征生成音乐的方法.Chen等[9]提出以平铺幻灯片方式显示照片，将照片和用户选择的音乐进行瓦状方式的组合.Su等[10]提出了一种基于情感的视听演示系统，利用分类器来识别视觉和听觉中的情绪.Li等[11-12]提出基于情感的专门针对印象派绘画和古典音乐片段的视听演示系统.在文献[11]中，具有相似情感的绘画被分为一个集群.对每个集群挑选相对应的音乐片段作为背景音乐.文献[7-8]为一张图片生成音乐并不是我们的目标.对于文献[9]，这项工作的主要观点是设计自适应照片布局.此外，该研究中背景音乐是手动选择的.对于文献[10]，简单的对应方式导致音乐和图像的组合局限在一个有限的情感空间.对于文献[11]，主要的问题是在实际应用中计算成本太高.另外在这种关联模式中，最大的一个难点在于如何处理不同音乐片段之间的平滑衔接问题.

此外，近几年多媒体情感分析[12-13]一直是一个热门话题.在图片情感分析方面，Wang等[14]定义了一个三维情感空间，并且为艺术作品设计了3种情感因素.Mehrabian[15]通过颜色直方图，基于心理物理学的特征和基于情感色彩的特征来描述图像的全局外观.Yoo[16]提出情感量表来查询访问图像.Solli等[17-18]提出几种来自于心理物理学实验的颜色情感度量，从而进行基于内容的图像检索.Shin等[19]提出一种基于小林规模[20]的概率模型来预测图像的情感.在音乐情感分析方面，Myint等[21]根据情感的变化分割音乐片段，并据此对片段添加心情标签.

我们所提出的基于情感的家庭音乐相册自动生成研究的框架如图1所示.在训练阶段，分别对图像和音乐提取合适的情感特征，并选择合适的情感模型与情感分类标准建立训练集，然后，通过典型相关算法分析具有相同情感的图像特征与音频特征之间潜在的相关性，从而得出每种情感类别的子空间映射模型.在音乐相册自动生成阶段，通过对一段输入的未知情感的音频片段，先进行情感的判别，再根据情感判别结果和训练阶段学习到的子空间映射模型，在待筛选的测试图像库中，得出与音频片段情感表达最接近的图像序列来生成家庭相册.下面将分别介绍本文音乐特征提取和图像特征提取方法，以及使用典型相关分析(Canonical Correlation Analysis, CCA)算法进行子空间映射的方法.

图1 音乐相册自动生成研究框架Fig.1 The framework of music album generation

2 音视频特征提取

2.1 音乐特征提取

本文主要分析图像与音频特征之间的典型相关性，因而在特征提取上，未进行过多的讨论研究，根据文献[22]的研究结果，提取典型的梅尔频率频谱系数(Mel-Frequency Cepstrum Coefficients, MFCC)特征和在感知线性预测(Perceptual Linear Predictive, PLP)基础之上引出的相关谱感知线性预测(RelAtive SpecTrA-Perceptual Linear Predictive, RASTA-PLP)特征，实验表明，这两种特征在音乐情感表征上具有较好的效果.对于一段30s左右的音乐片段，我们取20阶MFCC系数特征，21阶PLP频谱参数，9阶PLP倒谱参数RASTA-PLP，计算其均值和方差，获得100维的特征值，将其组成最终的特征向量来描述一个音乐片段.

2.2 图像特征提取

在图像蕴含的众多信息中，最直观的是颜色特征，而人对颜色的敏锐程度会直接影响人的感受，如图2(见第152页)所示.近几年，在颜色心理学的理论基础上，研究者们更加深入地探讨了不同的颜色与其产生的不同情感之间的关系，获得了很大的收获.

从色调上，人们一般把颜色分成暖色和冷色.所说的颜色冷暖其实是心理上的一种感受，和真实的温度并没有直接的联系.暖色即为当人们在看到红色、黄色、橙色以及类似的颜色时，内心会产生愉快、调皮、温暖的感受.而冷色即为在看到蓝色、紫色、白色及类似的颜色时，会产生一种清冷、高贵、神圣的感觉[23].此外，红颜色象征着火热与激情，会让人激昂、愉悦、兴奋；橙颜色给人充满活力和温暖的感觉；黄颜色像太阳一样给人希望与光明，象征智慧之光；绿颜色让人联想青山绿水，给人舒适、朝气蓬勃，充满生命力的感觉；蓝颜色让人联想起大海，蓝天，给人纯净、清新自然的感觉；紫颜色让人联想紫气东来，九五至尊，给人虔诚和雍容华贵的感觉；白颜色常与雕像、白鸽、医生联系，给人纯洁高尚和干净清爽的感觉；黑颜色让人想起黑夜、阴谋、死亡，给人以肃穆、恐怖、神秘的感觉[24].

图2 颜色与情感的图像举例Fig.2 Examples of color and emotion

此外，人们对于不同饱和度的颜色也会产生不一样的感受，颜色的纯度越高，给人的视觉冲击力越大，越会引发更加强烈的感官刺激，如大红、大绿等，颜色越鲜艳，越能吸引人的注意.人们常说的中性色算是一种纯度较低的颜色，如灰红、灰蓝等给人的视觉冲击力较弱，给人柔和、平易朴实的感觉，颜色相对较暗，但是别有一番韵味.就颜色的明度来说，明亮色让人感到轻松，暗色让人感到厚重；此外，不同的颜色叠加对情感也会产生一定程度的影响，如红蓝黄一起叠加后的颜色会使人感觉协调、愉悦，互补色使人感到宁静舒适，而非互补色会使人感觉恶心[25].

考虑到颜色特征在图像情感研究中的重要性,我们选取颜色矩以及文献[26]提出的颜色对比度作为图像特征.具体特征抽取过程如下： 将输入图像分成5×5=25张大小相等的子图，将每张子图的图像数据从RGB(Red, Green, Blue)空间转换到HSV(Hue, Saturation, Value)空间.颜色矩为计算每一张子图在HSV空间各个分量上的一阶矩(均值)、二阶矩(方差)和三阶矩(偏度).

此外，本文还提取了颜色对比度作为其特征之一，颜色对比空间(Opponent Color Space, OPP)计算公式如下：

(1)

式中：r,g,b为RGB颜色空间内任意像素点的R、G、B通道的值，取值范围为0～1.颜色对比度定义如下：

(2)

通过该方法提取每张子图在色调，饱和度，明度分量上的均值、方差和偏度，以及颜色对比度，即3×3×25=225个颜色特征值和25个颜色对比度值，由此一张图像可以由250维特征向量来描述.

3 典型相关分析

一般在多模态分析中，人们普遍使用语义标签作为连接桥梁，即将音乐特征与基于内容的语义标签对应，分析之间的对应关系，从而实现音乐底层特征与高层语义的关联.图像问题也是如此.本文直接研究图像特征和音乐特征之间的关系，并将其归结为典型相关分析问题.一般地，假设两组变量的数据x=(x1,x2,…,xp)和y=(y1,y2,…,yq)，典型相关分析就是分析两组变量之间的相关性.

分析相关性最普通的方法是对两组中的所有变量都计算一下它们两两之间的相关性，最终求得p×q个相关系数，利用求得的系数来描述这两组变量之间的相关性特点，但这种做法常导致数据量太大；另一种方法与主分量分析法相似，取每组变量的线性组合，组成典型变量，这样只需要研究几个典型的变量，就可以描绘出两者总体的关系，并且确保这些典型变量之间是不相关，如此做法既能降低数据的维度又对变量之间的典型相关关系进行分析.在实际使用中，一般只需针对几组相关性较强的变量进行分析，因为它们基本上涵盖了所有的变量间的相关信息.图3(a)是典型相关分析的示意图，我们需要找到两个变换a和b，使得数据x经过a变换后的变量u(u=〈a,x〉)和数据y经过b变换后的变量v(v=〈b,y〉)之间的相关度最大.这样，不同模态之间的特征向量通过变换被映射到了同一维度的子空间，而同一模态具有相似特征的向量就会被映射到子空间的临近区域，从而不同模态之间的相似性就有了衡量的依据.

然而，典型相关分析的前提是基于假定的线性空间，考虑到实际中不同模态数据之间存在非线性相关的特点，我们提出使用核化典型相关分析(Kernel Canonical Correlation Analysis, KCCA)来解决这个问题.核化典型相关分析的示意图如图3(b)所示.先将特征向量x和y分别经过非线性映射Φ(·)从低维映射到高维，然后再对高维向量Φ(x)和Φ(y)做典型相关分析.

图3 典型相关分析与核化典型相关分析示意图Fig.3 The diagrams of CCA and KCCA approach

4 实验及结果

4.1 实验数据集

4.1.1 音乐数据集

本文根据MIREX(the Music Information Retrieval Evaluation eXchange)的5类情感分类标准建立音乐数据集和图像数据集，如表1(见第154页)所示.第2列表示每个类别的中心情感词，其他的词都是对中心词的相近描述.这样描述比用单一标签的方法更精确.

在音乐情感识别领域，目前还没有通用的中文音乐情感数据库，因此本文所有的训练测试数据都是自行搜集和筛选的.具体步骤如下：

1) 找10位同学，根据表1的5类音乐情感描述，在百度音乐库中下载每类情感对应的歌曲，每人20首，对音乐进行分割，选取每首歌中最能表达情感的30s片段，从而获得5个类别共计1000个音乐片段.

2) 由于对音乐情感标注存在很大的主观性，为了增强音乐数据集的可信度，本文采用多人同时标注的办法.让10名同学对这1000个音乐片段进行判定，对同一音乐片段有5人以上标注为同一情感的，则认定该音乐片段属于此类情感.否则放弃该片段数据.经此步骤筛选出了800个音乐片段，每类160首.

3) 让10位同学对第2)步产生的音乐片段进行VA(Valence，Arousal)值的标注，每人800首，为实验方便，VA值的范围取{-1,-0.8,-0.6,…,0,…,0.8,1}，标注后再取平均值.

4) 对标注后的800个音乐片段进行筛选，划定每类情感的VA值范围如表2(见第154页)所示，删除超出范围的音乐片段，选取500个音乐片段作为实验数据集，每类100个音乐片段.

5) 用格式转换软件，将音乐片段统一为采样率16kHz，wav格式，单声道.每次实验时，在每个类别中随机选取90首作为训练数据，测试时从剩下的10首中选择作为测试数据.另外在百度音乐库上任意下载50首歌曲，不进行任何情感标注处理，只摘取其中最体现情感的30s片段组成测试库.至此，音乐训练库共有音乐片段450首，测试库有已知情感的音乐片段50首和未知情感的音乐片段50首.

表1 MIREX的5类情感分类标准

表2 5类音乐情感的VA值范围

4.1.2 图像数据集

为了实现基于典型相关分析的音乐相册自动生成研究，本文采用两个图像数据集： 从共享网站上下载的艺术类图像集[27]和国际情绪图像系统(the International Affective Picture System, IAPS)[28]数据库.IAPS图像库是由美国研究中心和国立精神卫生研究所花费多年时间收集的，包含大多数情感的图像库.图像库中涵盖了许多描述起来复杂的关于自然场景的记录型图像，例如昆虫、人脸表情、疾病、车祸灾难、优美风景、猎狗、蟒蛇、攻击场景等等.Mikels等[29]、Lang[30]从中挑选了394幅具有显著代表性的图像组成图像库，进行情感分类相关的研究，他们把图像细分成8类，包括愤怒(A)、厌恶(D)、害怕(F)、敬畏(Aw)、悲伤(S)、满足(C)、娱乐(Am)和兴奋(E).

本文实验为了与音乐的情感相对应，在图像上同样采用MIREX的5类情感分类标准.由于IAPS中对每一幅图像都有Valance和Arousal的标注，因此给本文的数据库准备带来了很大的方便.根据文献[31]提出IAPS图像在Valance和Arousal轴上的映射，可以看出图像情感VA值所处范围为1～9，与音乐数据集的VA值相对应，本文界定出5类图像情感的VA值范围如表3所示.

根据表3，在图像库中摘录表1中所列5种情感类别下，满足该表标准的图像作为样本来构建图像数据集，图像数据集的情况如表4所示.训练集中共有图像样本450张，测试集中共有图像样本255张.

表3 5类图像情感对应的VA值

表4 图像训练数据集和测试数据集

4.2 实验评价指标

实验评价指标分为客观评价指标和主观评价指标.

客观评价指标我们采用查准率，这是评价一般系统最常用、最直接的指标，它最能反映实验结果的准确程度和可靠性，定义为

(3)

其中“正确返回的图像数目”是指该返回图像与输入的音乐属于同一个情感类别.

主观评价指标我们采用邀请学生打分的方式，共邀请20名同学对实验结果进行评价.对于为歌曲推荐出的图像，所有这20名同学按以下规则做标记：

5分： 如果认为系统推荐的所有图像都符合音乐所表达的情感，则标记为5.

4分： 如果认为系统推荐的所有图像中有80%都符合音乐所表达的情感，则标记为4.

3分： 如果认为系统推荐的所有图像中有60%都符合音乐所表达的情感，则标记为3.

2分： 如果认为系统推荐出的所有图像中有40%符合音乐所表达的情感，则标记为2.

1分： 如果认为系统推荐出的所有图像中有20%符合音乐所表达的情感，则标记为1.

0分： 如果认为系统推荐出的所有图像中没有一张符合音乐所表达的情感，则标记为0.

定义每一类情感的满意度r为所有实验数据的标记分值的平均值占的比例，计算如下：

(4)

式中：τi为第i个音乐测试样本的平均得分；t为音乐测试样本的总数.

4.3 实验结果及分析

首先，对于查准率返回图像个数M的取值实验.本文考虑到有可能是检索图像的数量影响最终的查准率，因而对实验进行验证，在不同检索需求下，分析实验查准率的差别.实验结果如图4所示.由图4可以看出，实验返回在5张图像时，查准率普遍较高，主要是因为KCCA能有效地描述音乐特征与图像特征之间的相关性，根据欧氏距离返回与音乐情感最接近的图像时，距离最短的图像也就是与测试音乐情感最接近的.但由于数据过少，实验存在的偶然偏差性也会更大，因而选择10张图像，在该点处的实验结果普遍具有较高的查准率，因为随着返回数量逐渐增加时，每一情感类别查准率会越来越低.

我们通过查准率来观察KCCA方法的有效性，对测试音乐在情感已知和未知两种情况下进行实验对比.实验返回10张与测试音乐情感表达最接近的图像，查准率为返回的10张图像中与测试音乐情感相同的图像所占比例.实验结果的数据均取多次实验的平均值，如图5所示.

图4 不同返回个数M下的查准率对比Fig.4 Accurancy comparison with different number of returned images

图5 KCCA方法与CCA方法的查准率对比Fig.5 Accurancy comparison of KCCA and CCA

由图5结果可以看出，总体而言，KCCA的方法查准率高于纯CCA方法.在测试音乐情感已知的情况下，本文提出的KCCA方法的查准率相对较高，其中第1，4，5类的查准率分别达到77.27%，77.78%，74.54%，主要是由于这3类情感下的图像与音乐训练集的特征区分度较高，且KCCA在分析两者的相关性上，得出了较准确的映射模型，并且情感分类器对测试音乐的情感识别和分类方面在这几类中效果较好.在测试音乐情感未知的前提下，由于测试音乐需要先经过情感分类器进行情感的分类，再分别输入到不同的KCCA映射模型，情感分类的偏差也会导致实验结果的偏差.但总体差距并不大，说明本文采用的情感分类器以及KCCA算法都具有有效性，同时也表明图像特征与音乐特征之间的非线性相关性模型要优于线性相关模型.

在主观评测实验中，我们将实验结果与以下3种方法进行比较.

1) Lower Bound(LB)： 输入一段音乐片段，随机推荐本文测试图像数据集中的图像.由于是随机推荐，其实验结果应该作为本实验的下限.

2) Manually Selection(MS)： 输入一段音乐片段，人工推荐测试图像数据集中的图像.

3) CCA： 输入一段音乐片段，采用经典CCA方法推荐图像.

本文将此衡量方法应用于所有的测试音乐，每个测试音乐都通过随机推荐、本文提出的KCCA方法、经典CCA方法以及人工推荐这4种方法来推荐相应的图像，各位同学在评价时并不知道所看到的图像是来自哪种推荐算法，在这个前提下根据本文提出的标记方法进行标记，得到最后的满意度结果.表5显示了随机推荐的LB方法、本文的KCCA方法、传统CCA方法和人工推荐的MS方法得到的满意度结果.从表中可以看出，采用KCCA方法在人工评价时得到了69.45%的满意度，这一数值与随机推荐方法(满意度平均在31.6%左右)和传统CCA方法相比有明显地提升，但与人工推荐的结果(满意度平均在78.09%左右)还有一定差距，然而差距并不大.由此可以表明，本文采用KCCA方法确实能够提高音乐相册自动生成的效果，为用户推荐出一组满意度较高的图像.

5 结论与未来工作展望

本文主要进行了基于情感的家庭音乐相册自动生成研究，采用KCCA方法分析图像与音乐特征之间潜在的相关性，实现了为音乐推荐出与其情感表达相近的图像，并与人工推荐和随机推荐等方法进行比较，实验结果表明本文采用KCCA方法具有一定的有效性，同时也表明本文提取的图像特征与音乐特征之间存在着一定的相关性.

对于未来可以继续展开的工作，有以下几点：

1) 音乐情感数据库是根据MIREX提出的情感分类标准创建的，但该标准采用英文进行描述情感的类别，经中文翻译后所表达的情感也许产生误差.另外由于目前还没有统一的音乐情感数据库，仅仅依靠少数同学创建，获得的音乐库只代表了一部分人的意愿，并不具有权威性.所以希望在未来的研究中，可以创建一个更完整、更有权威的中文音乐情感数据库.

2) 本文在图像特征提取时，提取的是图像在色调、饱和度以及亮度分量上的均值、方差和偏度，还有图像的颜色对比度特征.在以后的实验中可以尝试挖掘图像更多能表征情感的特征.

3) 本文在音乐特征提取方面，未进行更多的挖掘，只是选取现有的MFCC特征参数和RASTA-PLP的倒谱和频谱特征参数来描述音乐片段.在以后的研究中，可以进行更多的实验与筛选，寻找更准确的特征来表达音乐的情感.

[1] ZHANG H, ZHUANG Y, WU F.Cross-modal correlation learning for clustering on image-audio dataset [C]∥The 15th ACM International Conference on Multimedia. Augsburg, Germany： ACM，2007： 1245-1344.

[2] HANJALIC A. Extracting moods from pictures and sounds： Towards truly personalized TV [J].JournalofIEEESignalProcessingMagazine，2006，23(2)： 90-100.

[3] YANG Y H, WANG J C, JHUO I H,etal. The acoustic visual emotion Guassians model for automatic generation of music video [C]∥Proceedings of the 20th ACM International Conference on Multimedia. Nara, Japan： ACM，2012： 1379-1380.

[4] CHEN C H, WENG M F, JENG S K. Emotional-based music visualization using photos [C]∥Proceedings of the 14th International Conference on Advances in Multimedia Modeling. Kyoto, Japan： Springer，2008： 358-368.

[5] XIANG Y, KANKANHALLI M S. A synesthetic approach for image slideshow generation [C]∥IEEE International Conference on Multimedia & Expo.Melbourne, Australia： IEEE，2012： 985-990.

[6] HUA X S, LU L, ZHANG H J. Optimization-based automated home video editing system [J].IEEETransactionsonCircuitandSystemsforVideoTechnology，2004，14(5)： 572-583.

[7] WU X, LI Z N. Exploring visual-auditory associations for generating music from image [C]∥Proceedings of International Conference on Multimedia.Vancouver, Canada： ACM，2008： 1122-1125.

[8] WU X, LI Z N. A study of image-based composition [C]∥Proceedings of IEEE International Conference on Multimedia & Expo.Hannover, Germany： ICME，2008： 1345-1348.

[9] CHEN J C, CHU W T, KUO J H. Tiling slideshow： An audio visual presentation method for consumer photos [C]∥Proceedings of ACM Multimedia.Santa Barbara, USA： ACM，2006： 36-45.

[10] SU J H, HSIE M H, MEI T. Photosense： Make sense of your photos with enriched harmonic music via emotion association [C]∥Proceedings of IEEE International Conference on Multimedia & Expo. Barcelona, Spain： IEEE，2011： 1-6.

[11] LI C T, SHAN M K. Emotion-based impressionism slideshow with automatic music accompaniment [C]∥Proceedings of the 15th International Conference on Multimedia. Augsburg, Germany： ACM，2007： 839-842.

[12] MACHAJDIK J, HANBURY A. Affective image classification using features inspired by psychology and art theory [C]∥Proceedings of the International Conference on Multimedia. Firenze, Italy： ACM，2010： 83-92.

[13] LU L, LIU D, ZHANG H J. Automatic mood detection and tracking of music audio signals [J].IEEETransactionsonAudio,Speech,andLanguageProcessing，2006，14(1)： 5-18.

[14] WANG W N, YU Y L, JIANG S M. Image retrieval by emotional semantics： A study of emotional space and feature extraction [C]∥Proceedings of IEEE International Conference on Systems, Man and Cybernetics. Papeete, French： IEEE，2006： 3534-3539.

[15] MEHRABIAN A. Framework for a comprehensive description and measurement of emotionalstates [J].GeneticSocialandGeneralPsychologyMonographs，1995，121(3)： 339-361.

[16] YOO H W. Visual-based emotional descriptor and feedback mechanism for image retrieval [J].JournalofInformationScienceandEngineering，2006，22(5)： 1205-1227.

[17] SOLLI M, LENZ R. Color based bags-of-emotions [C]∥Proceedings of the 13th International Conference on Computer Analysis of Images and Patterns. Münster, Germany： IEEE，2009： 573-580.

[18] SOLLI M, LENZ R. Color emotion for image classification and retrieval [C]∥Proceedings of IS &Ts Conference on Color in Graphics, Imaging, and Vision(CGIV). Terrassa, Spain： CGIV，2008： 367-371.

[19] SHIN Y, KIM E Y. Affective prediction in photographic images using probabilistic affective model [C]∥Proceedings of the ACM International Conference on Image and Video Retrieval. Xi’an, China： ACM，2010： 390-397.

[20] KOBAYASHI S. Color image scale [M]. Tokyo, Japan： Publishing of Kodansha，1991.

[21] MYINT E E P, PWINT M. An approach for multi-label music mood classification [C]∥Proceedings of International Conference on Signal Processing System. Dalian, China： IEEE，2010： 290-294.

[22] 查美丽.基于情感的音乐分类系统的研究与实现 [D].南京： 南京邮电大学，2014.

[23] HAYASHI T, HAGIWARA M. Image query by impression words—The IQI system [J].IEEETransactionsonConsumerElectronics,1998，44(2)： 347-352.

[24] 古大治.色彩与图形视觉原理 [M].北京： 科学出版社，2000.

[25] JONHANNES I. 色彩艺术——色彩的主观经验与客观原理(The Art of Color) [M]. 滕守尧译.上海： 上海人民美术出版社, 1985.

[26] RUIZ-DEL-SOLAR J, JOCHMANN M. On determining human description of textures [C]∥Proceedings of SCIA 2001 Scandinavian Conference on Image Analysis. Bergen, Norway： SCIA, 2001： 288-294.

[27] LANG P J, BRADLEY M M, CUTHBERT B N. International affective picture system(IAPS)： Affective ratings of pictures and instruction manual [R]. Gainesville, FL： University of Florida，2008： A-8.

[28] YANULEVSHAYA V, VAN GEMERT J C, ROTH K. Emotional valence categorization using holistic image features [C]∥Proceedings of IEEE International Conference on Image Processing(ICIP’08). San Diego, CA, USA： IEEE，2008： 101-104.

[29] MIKELS J A, FREDRICKSON B L, LARKIN G R,etal.Emotional category data on images from the international affective picture system [J].BehaviorResearchMethods，2005，37(4)： 626-630.

[30] LANG P J. The emotion probe studies of motivation and attention [J].AmericanPsychologist，1995，50(5)： 372-385.

[31] ANWER R M, VAZQUEZ D, LOPEZ A M. Opponent colors for human detection [M]∥VITRIJ, SANCHES J D, HERNNDEZ M. Pattern Recognition and Image Analysis. New York, USA: Springer Science & Business Media, 2011: 363-370.