基于语音信号处理和文本识别技术的汉英口语翻译自动评分方法

汪斐， 王婧锦

(1.商洛学院 人文学院， 陕西 商洛 726000； 2.陕西中医药大学 外语学院， 陕西 咸阳 712046)

0 引言

英语教学的重点是培养大学生的听说读写能力，其中口语翻译在培养大学生的听说读写能力，在大学生更好地开展国际交流中发挥着至关重要的作用。对汉英口语翻译自动评分可以将评分的结果及时反馈给学习者，使学习者了解自身存在的不足，从而达到“以测促学”的目的。目前，汉英口语翻译的评分主要依赖于人工，这使得评分结果具有较大的主观性，评分结果的客观性无法保证，“以测促学”的目的不能够达到。同时，对汉英口语翻译的人工评分也需要投入大量的人力、物力和财力资源，导致汉英口语考试的成本比较大。语音信号处理技术和文本识别技术的快速发展为大规模汉英口语翻译自动评分提供了解决方案，通过设计自动评分系统，学习者可以及时了解自身在汉英口语翻译中存在的不足，提升自身的汉英口语翻译能力，同时也可以节省大量的人力、物力和财力资源。尹立言等[1]采用双路奇异值分解算法对语音信号进行降噪处理，从双路奇异向量的相关性出发来确定低阶噪声奇异向量的位置，将剩余的奇异值和奇异向量重构得到优化估计的降噪信号。张胜斌[2]对基于答题关键信息的汉英口语翻译题自动评分方法进行了研究，采用CNN对语音信号进行处理。田艳[3]对深度学习技术在英译汉即时自动评分中的应用进行了研究，通过学生输入译文和标准译文的相似度计算，达到自动评分的目的。前人对汉英口语翻译自动评分往往单纯是从语音信号处理或者文本识别的角度出发，这使得自动评分系统具有一定的局限性。基于此，本文联合语音信号处理技术和文本识别技术来设计汉英口语翻译自动评分系统，达到即时自动评分的目的。

1 汉英口语翻译自动评分系统设计

1.1 汉英口语翻译自动评分

对汉英口语翻译的自动评分可以从两个角度开展，即通过对口语翻译的语音信号处理进行自动评分和将语音信号转化为文本，通过文本识别技术来自动评分。不论是单纯地采用哪一种方法，都受到信号处理技术或文本识别技术的限制，自动评分的准确性不高。基于此，本文将两者进行联合，构建汉英口语翻译自动评分的回归模型，从而达到发挥两者优势的目的。汉英口语翻译自动评分模型如图1所示。

图1 汉英口语翻译自动评分模型

由图1可知，对汉英口语翻译自动评分是分别采用文本识别技术提取相似度特征和语音信号处理技术提取语音特征，通过对得到的相似度特征和语音特征用线性回归模型进行权重训练，最终得到汉英口语翻译自动评分方法。令Y为口语翻译人工评分的平均值;ai(i=0，1,…,n)为特征向量权重;Xi(i=1,…,n)为特征向量，那么线性回归模型为式(1)。

Y=a0+a1X1+…+anXn

(1)

对线性回归分析模型基于均方误差最小进行训练，获得特征向量的权重ai。

1.2 相似度特征提取

在英语考试中，口语翻译和写作均属于主观题，但是两者也存在很大的不同。写作的范围比较广，无标准答案，而口语翻译是对特定的汉语句子翻译成英语，有标准答案，这使得对汉英口语翻译自动评分成为可能。对汉英口语翻译自动评分的关键在于判断考生译文和标准译文之间的相似度[4]。相似度越高，那么考生翻译的准确性越高，即得分越高。本文选择词频余弦相似度、Dice系数、Jaccard相似度、关键词覆盖率来反映考生译文样本和标准答案样本之间的相似度。

词频余弦相似度也称为词频余弦相似性，通过计算两个样本向量的余弦值来判断两个样本之间的相似度。由数学知识可知，词频相似度最大值为1，最小值为-1。两个样本向量的词频相似度越接近1，其向量的方向越接近，那么考生的译文和标准答案越接近。设A和B为给定的两个样本集合，其词频余弦相似度计算式[5]为式(2)。

(2)

Dice系数是衡量两个字符串相似度的特征量，如果两个字符串的Dice系数越大，那么这两个字符串的相似度越高；反之，两个字符串的相似度越低。将汉英口语翻译考生的答案看做字符串A，将标准答案看做字符串B，那么字符串A和字符串B的Dice系数计算式[6]为式(3)。

(3)

其中，comm(A,B)表示字符串A与B中所包含的相同字符个数；leng(·)表示字符串长度。

Jaccard相似度是衡量集合相似度的特征量，如果两个集合的Jaccard值越大，那么这两个集合的相似度越大；反之，这两个集合的相似度越小。将汉英口语翻译考生的答案和标准答案分别看做两个集合，计算考生答案集合和标准答案集合的Jaccard相似度。设A和B分别为考生答案集合和标准答案集合，Jaccard相似度计算式[7]为式(4)。

(4)

关键词覆盖率反映的是考生翻译答案中所包含关键词的个数占标准答案中关键词个数的比例。关键词覆盖率越高，那么考生翻译答案和标准答案之间越接近，其评分也就越高。假定考生汉英口语翻译答案中包含n个关键词，标准答案中包含m个关键词，关键词覆盖率F计算式[8]为式(5)。

(5)

1.3 语音特征提取

汉英口语翻译的语音信号往往包含有大量的噪声，这些噪声的存在将在很大程度上影响到后续处理的性能，因此需要先对考生口语翻译的语音信号进行降噪处理。矩阵的奇异值具有良好的稳定性，通过矩阵奇异值分解(SVD)可以达到信号降噪处理的目的，本文采用SVD对语音信号降噪处理。采用SVD对语音信号降噪处理的一般步骤[9]如下。

(1) 构造H矩阵：语音信号的长度N为奇数时，H矩阵的行数m为(N+1)/2；语音信号的长度N为偶数时，H矩阵的行数m为N/2，H矩阵的列数n=N-m+1；

(2) SVD分解：对H矩阵进行SVD分解，可以得到两个标准化的正交矩阵Um×m、Vn×n和对角矩阵Dm×n，满足H=UDV；

HΔ=UD′V

(6)

(5) 获得降噪后信号：选择HΔ第一行的所有元素和第二行第n列到第m行第n列的m-1个元素，这样就可以获得降噪后的语音信号。

采用SVD对考生汉英口语翻译语言信号进行降噪处理，得到降噪后波形信号。原始语音信号和降噪后语音信号如图2所示。

(a) 降噪前波形

(b) 降噪后波形

提取汉英口语翻译语音信号的关键信息完整性特征和发音流利度特征来衡量翻译质量。关键信息完整性特征反映了考生翻译语音所包含的翻译关键点。采用基于SLN-DTW的关键词检出方法对关键词匹配得出的最小局部平均累积距离，将其作为关键信息完整性特征[10]。发音流利度反映了汉英口语翻译的流利程度。考生口语翻译越流利，其口语翻译评分也越高。流利度一般用单位时间内口语翻译结果的单词个数来衡量。

2 实例分析

2.1 数据来源

采集陕西省某示范院校外国语学院英语专业期末汉英口语翻译的300名学生语音信号，对采集到的信号进行语音识别得到对应的文本数据，计算文本数据的相似度特征，同时对采集到的信号采用SVD进行降噪处理，对降噪处理后的信号提取语音特征。汉英口语翻译自动评分的性能采用自动评分与专家评分的相关系数来衡量，相关系数越大，自动评分系统的性能越好。通过选择15名汉英口语翻译评分专家对考生口语翻译评分结果进行统计分析，其平均相关系数为0.872。

2.2 自动评分结果

提取300名考生语音信号的相似度特征和语音特征，分别计算词频余弦相似度、Dice系数、Jaccard相似度、关键词覆盖率、关键信息完整性、发音流利度共6个特征和专家评分之间的相关性，结果如表1所示。

表1 提取特征与专家评分相关性

由表1可知，相似性特征与语音特征均与专家评分之间具有比较好的相关性。利用相关系数的大小由大到小将6个特征依次加入到汉英口语翻译自动评分系统中，加入特征对自动评分系统性能的影响如图3所示。

(a) 相关系数

(b) 平均分差

由图3可知，汉英口语翻译自动评分与专家评分之间的相关系数整体趋势为上升，平均分差整体趋势为下降。第2、5特征加入对汉英口语翻译自动评分系统的影响比较小，可以直接删除。为了进一步说明汉英口语翻译自动评分的性能，将自动评分系统与专家评分进行对比，结果如表2所示。

表2 自动评分与专家评分对比

由表2可知，在去除第2、5特征这两个冗余特征之后，汉英口语翻译自动评分系统的性能得到了明显改善，即选择4个特征得到汉英口语翻译自动评分系统。

3 总结

汉英口语翻译自动评分系统在确保评分客观性、提高评分效率、降低测试投入方面发挥着至关重要作用。将考生口语翻译语音信号转化为文本，提取4个相似度特征，同时采用SVD对语音信号降噪，提取降噪后语音信号的2个语音特征，最终利用线性回归分析得到口语翻译自动评分系统。通过对陕西省某师范院校外国语学院汉英口语翻译自动评分实例的分析，结果表明去除第2、5特征的自动评分系统性能得到明显提升。本文对汉英口语翻译自动评分的研究具有一定的参考价值。