唇读信息对正常人语句识别的影响△

曹宇 王枫 郗昕 赵乌兰 吴事儒

人类的语言认知过程是一个多通道的感知过程［1］。声音是语言学习和交流的重要来源，此外，通过注视对方的口型和表情变化等来准确地理解说话者的意思，也是人类语言认知过程的方法之一，这种方法即为唇读（lip－reading）［2］，是指聋人利用视觉信息感知言语的一种特殊方式和技能，看话人通过观察说话人的口唇发音动作、肌肉活动及面部表情，形成连续的视知觉，并与头脑中储存的词语表象相比较和联系，进而理解说话者的内容。可见唇读源于听力障碍者学习、了解正常人表达意思的一种技巧。听力障碍者把唇读作为一种重要的语言感知手段，有的甚至可以达到完美听觉程度［3］。本研究拟通过比较听力正常者单视觉、单听觉以及视觉听觉结合三种信息传递方式下的语句识别率，了解日常生活中唇读对正常听力者语句识别的获益情况，进而了解唇读对语言感知的重要性。

1 资料与方法

1.1 研究对象 研究对象为27例正常听力青年大学生，男15例，女12例，年龄19～23岁，平均21.59±1.08岁，双耳各频率裸耳纯音听阈均小于或等于10dB HL。

1.2 研究方法

1.2.1 语句识别率测试材料 测试标准为解放军总医院研发的新编中文普通话版嘈杂语噪声下语句识别表，该表由27张词表组成，共包含1 350个关键词。测试时每人测试的词表顺序都是随机的。

1.2.2 语句识别率测试方法 所有测试均在校准的隔声室中进行，背景噪声≤30dB（A）。扬声器放置于参考点（受试者的鼻尖位置）正前方1米处，信号和噪声均来自同一扬声器，显示器置于扬声器上方。通过笔记本电脑播放言语测试材料，言语信号强度48dB HL，噪声为多人说话的言语噪声，信噪比（SNR）为－6dB。测试前给予详细指导，每人预先练习4张表格（2张单视频、2张单听觉），理解和熟悉方法后进行正式测试。测试分单看视频（即唇读）、只播放声音（单听觉）、同时播放声音和视频（视觉听觉结合）三部分，每部分均测试9张词表，要求受试者进行复述。测试中不提供结果反馈并鼓励猜测，根据每句关键词是否复述正确来计分，计数每张表中正确复述的词数，测试成绩（%）＝（正确复述数／测听内容总数）×100%。受试者一次性完成27张词表，耗时约1个小时，为避免受试者疲劳，测试过程中允许受试者适当休息。

1.3 统计学方法 利用SPSS13.0软件对实验结果进行双因素（状态和表号）方差分析。

2 结果

在单视觉、单听觉以及视觉听觉结合三种情况下，27例受试者的平均言语识别率分别为33.1%±10.1%、40.8%±10.6%、91.5%±3.9%，视觉听觉结合情况下的平均言语识别率显著高于单视觉、单听觉，差异有统计学意义（均为P＜0.05）。

27例受试者三种测试方法得出的语句识别率分布见图1。

图1 27位受试者三种测试方法的语句识别率比较

3 讨论

唇读是打开聋儿和社会隔阂的心智之钥匙［3］，有关研究显示，若聋儿的唇读能力比较强，可以利用其唇读能力来加强听能训练；即便是正常人也会利用视觉信息来提高语言感知度，尤其是在嘈杂环境和一些音素在语音上难以区别而在视觉上却容易分辨的情况下（例如m／n单元音）。Reisberg 通过实验证明即使在非噪声环境下，通过观察说话者的脸部表情和口型，可以更好地感知言语［4］。

3.1 语句识别率测试中得分方式 本研究所用语句测试材料中所选择的关键词是反映语句意义的主要词语，只有受试者听懂测试句子的全部关键词，才能掌握句子的意思，如果漏听关键词，语句就难以理解，故本研究根据每句关键词是否复述正确来计分，本研究使用的测试语句均取自新编中文普通话版嘈杂语噪声下语句识别材料，更接近日常生活中的言语交流，能够代表正常的言语频谱分布，并具有日常交流的动态特性。

3.2 测试表顺序 本研究要求受试者一次性完成27张词表，耗时较长，受试者容易疲劳，研究表明这种疲劳会造成言语识别测试得分降低［5］。因此，本研究测试过程中允许受试者适当休息，以避免产生疲劳现象从而影响得分。在测试过程中，打乱词表顺序，使每人测试的词表顺序都是随机的，这样可以避免出现刚开始测试时由于受试者对测试比较陌生而得分相对较低的状况，以此达到测试结果均衡。在临床应用中，也可采取随机抽取测试表的方式，从而避免因测试表顺序带来的影响［6］。

3.3 三种条件下语句识别率分析 理论上，在进行言语交流时，听力正常者主要是凭听觉接收对方的交流信息，但是在实际交流过程中，说话者口部的动作、面部表情、手势以及周围环境等都是有价值的潜在信息源［7］。本研究结果也表明，受试者确实通过单视觉（唇读）方式获得了一定量的信息完成言语理解。然而，由于正常青年在日常生活中很少通过视觉观察来获得言语信息，所以单视觉（唇读）方式对于正常听力者获得言语信息的帮助是有限的，故本研究中其言语识别率得分较低。另外，尽管本研究中的受试者都是听力正常的青年大学生，其年龄、文化程度和语言环境都比较接近，但每个人三种条件下的得分均有一定差异，可能与个体差异有关，每个人的唇读能力各异，它受个体的认知能力、情境因素、语言经验、音素的可见性程度等的影响［8］。本研究进行单听觉条件下测试时，语句信号与多人言语噪声同时输出，使之更接近于日常的聆听环境［9］。从研究结果看，单听觉条件下言语识别率比单视觉（唇读）条件下略高，这可能与日常生活环境中单听觉环境较多有关，如“未闻其人，先闻其声”、使用随声听等无视频音乐播放器等，而单视觉环境对于正常人来说非常罕见，因而缺少适应和锻炼。视觉听觉结合条件下，利用计算机控制下的音视频同时播放技术，可以做到音视频完全同步，所以测试结果的准确度较高。本研究结果显示，视觉听觉结合情况下的语句识别率显著高于单视觉和单听觉情况下，平均语句识别率高达91.5%，说明听力正常者在噪声情况下利用唇读来辅助理解言语信息，能大大提高语句识别率。

总之，唇读在人类的语言认知过程中有重要作用，视觉语言信息可以使听者把注意力集中到一个特定人的声音，而“屏蔽”掉其它声音信息源；在非噪声环境中，人类完全可以依靠听觉通道获得信息，视觉语言信息是一种冗余信息；在噪声环境中，视觉语言信息可以补充听觉信息，甚至成为占主导地位的信息源［10］。因此，研究唇读信息对语句识别的效应对听障人士有非常重要的意义，尤其对聋儿的语训帮助非常大，同时也有助于正常听力人士在嘈杂环境下理解说话者的意思等。此外，唇读还有许多潜在的应用，近年来已渐渐成为一个比较受关注的领域。但单视觉（唇读）作用对听障人士的帮助本研究并未涉及，这将是今后的研究方向之一。

1 Stork DG，Hennecke ME.Speechreading by humans and machines［M］.Berlin，Germany：Springer，2001.13～15.

2 朴永馨.特殊教育辞典［M］.北京：华夏出版社，2006.203～204.

3 陈蓉，姚鸿勋.视觉单通道唇读系统的有效性［J］.计算机工程与应用，2007，43：29.

4 Reisberg D，Mclean J.A lip－reading advantage with intact auditory stimuli［J］.In Dodd and Coampbell，2002（54）：97.

5 Katz J，Speech A.Handbook of clinical audiology［M］.5th ed.Philadelphia：Lippincott Williams ＆ Wilkins，2002.96～110.

6 陈静，张华.普通话语句测试句表等价性测试［J］.听力学及言语疾病杂志，2006，14：247.

7 雷江华，王庭照，方俊明，等.聋生唇读语音识别中熟悉效应的实验研究［J］.心理科学，2005，28：1 120.

8 雷江华，张凤琴，方俊明，等.字词条件下聋儿唇读汉字语音识别的实验研究［J］.中国特殊教育，2004，11：3.

9 Mendel LL，Danhauer JL.Audiologic evaluation and speech perception assessment［M］.San Diego，London；Singular Publishing Group，Inc，1997.15～95.

10 谢国明，李刚.唇读技术的研究及其应用［J］.电子学报，2006，27：110.