基于AES的大学英语写作教学模式研究

赵慧 唐建敏

摘 要：英语写作能力培养一直是大学英语教学的重点和难点，目前自动作文评分AES（Automated Essay Scoring）技术已得到广泛应用，但如何将其与大学英语写作教学有效结合仍有待深入研究。鉴于此，根据我国大学英语写作教学现状，结合L2（Second Language）语言学习特点，在分析AES技术相关原理基础上，对大学英语写作教学模式进行分析研究。结果表明，当前中国大学英语写作教学需结合AES技术和L2语言学习特点，构建基于AES的大学英语教学模式，以激发学生学习兴趣，提升学生英语写作能力。

关键词：自动作文评分;英语写作教学;教学模式;自然语言处理

0 引言

大学英语“听说读写译”5种能力培养中，写作能力培养难度相对较大，必要的训练和有效的反馈是提升学生写作能力的有效途径[1-2]。文献[1]表明教师反馈非常受学生欢迎，特别是在错误处标注错误类型等相关反馈;文献[2]探讨了评阅中指出错误类型可能产生的效果。然而，与选择题、翻译题、填空题等题型相比，写作练习往往只有参考答案，甚至没有答案，只有分数的评阅反馈或没有针对性的反馈往往难以促进学生写作能力提升。详尽的作文评阅反馈往往需要耗费大量人力，这在当前我国大学英语教学中较难实现[3]。

近年来，自动作文评分AES（Automated Essay Scoring）技术也称AWS（Automated Writing Scoring）或ATS（Automated Text Scoring）受到高度关注，并在GRE、TOEFL等考试中得到了成功应用[4]，极大减少了评阅者的工作量。文獻[4]就提升AES预测分数相关性展开研究，主要面向以英语为第一语言的学习者;文献[5]总结了AES技术的发展历程及各阶段的主要特点;文献[6]基于多元回归、K近邻和支持向量机3种方法对AES作了分析;文献[7]以英语议论文为研究对象分析了AES和人工反馈对作文修改的影响;文献[8]基于AES对大学英语写作能力提升及写作教学过程变化展开了研究;文献[9]则对基于AES的自主写作、多维反馈进行了研究分析。已有研究对AES技术应用于英语写作教学持肯定态度，但都没有将教学模式和AES技术特点相结合加以综合考虑和研究。随着自然语言处理技术的飞速发展，AES技术也获得了长足进步[10-18]。本文针对大学英语写作教学现状，结合L2语言学习特点，在分析AES技术相关原理的基础上，对大学英语写作教学模式进行分析研究。

1 问题提出

从20世纪80年代开始，我国高校非英语专业的英语写作教学一般采用教师讲授、批改为主，学生自我练习为辅的模式。在这种教学模式中，教师是教学活动的中心，教师根据学生水平、教学内容等选择合适的写作题目，由学生完成后逐篇批改，然后有选择地进行解析，并回答学生提问。学生也可以根据自己的兴趣和条件自主开展写作练习，但一般不容易获得反馈评价。在上述英语写作教学模式中，教学程序完全由教师掌控，评价、反馈也完全依赖于教师。随着大学生规模的扩大，教师工作量加大，这种教学模式的效果也难以得到保证。

进入21世纪后，智能评阅技术AES开始应用于大学英语教学中。在国外，AES主要用于各类英语考试，如ETS的作文评阅[3-4];国内高校正致力于将自动作文评分AES技术与大学英语写作教学相结合，并探究相应的教学模式，以激发学生学习兴趣，提升学生英语写作能力。

2 相关概念及原理

2.1 基于统计的AESS

最早出现的AES技术大多基于统计的方法，这种技术大多借用了从小样本数据获取信息的思想[11]。AESS（AES based on Statistics）工作流程如图1所示。整个流程可分为3部分：首先是前期准备，其核心是作文评分标准需要由经验丰富的教师完成，再根据评分标准确定选择哪些文本表示特征以及评分准则，并建立相应的例程库，这需要由软件研发者与英语教师共同完成;其次由任课教师有选择性地挑选特定数量的优秀作文集合{e}，然后在{e}上提取相关表示特征并建立AESS模型及其评分准则（例如采用多元回归或K-近邻方法等），再由该模型完成每一份试卷{s}的判别;再次由任课教师对基于AESS技术的作文评阅结果进行监督。

从图1可以看出，AESS系统中对最终结果的准确度具有决定性影响的是由教师制定的作文评判标准以及据此标准选择的特征。美国ETS（Educational Testing Service）中心制定了分别适用于TOEFL、GRE、TOEIC等不同类型考试的整体标准，并将其应用于E-rater系统中[3]。教学实践中，大学英语作文评分标准通常可以映射为如下4类表示特征：①基本统计特征，包括但不局限于：作文的单词数目、长单词数目、每个句子的平均单词个数、句子数目等;②句法特征，主要使用PoS（Part of Speech）标签[12]进行衡量;③单词拼写错误和句法错误，前者的实现较为简单，而后者需要根据上下文无关句法模型进行句法树搜索确定[13];④语义相关性特征，可以通过分析测试作文与优秀作文之间的距离，如余弦相似距离确定。

AESS是早期自动评阅技术的主流，但由于体现评分标准的特征没有覆盖语义、聚合度等深层作文特征，因此很容易被学生通过书写长句、长单词等方法欺骗。

2.2 基于机器学习的AESML

一个典型的AESML（AES based on Machine Learning）如图2所示。与图1所示的AESS不同，图2中的AESML技术虽然也需要教师参与选择并确定作文的表示特征，但其由计算机自动建立作文评分模型，前提是需要提前获得大量由教师批改过的且最好是由两个或两个以上教师的评分作文作为训练样本集合{e}（后文称其为标签样本）。这些标签样本需要涵盖“优、良、中、差”等所有不同级别的作文。在使用机器学习方法对标签样本进行训练时，可以采用SVM（Supported Vector Machine）[14-15]、RF（Random Forest）[14，16]等不同的方法，或者将这些方法结合起来的Adaboost等[14]。不同的机器学习训练方法对最后的评分准确度也有不同程度的影响。

2.3 基于深度学习的AESDL

AESDL（AES based on Deep Learning）比AESS评分相关度更好。但AESML也存在两个问题：一是AESML输出分数与教师标注分数仍有一定距离;二是仍然需要手工选择作文的表示特征。这两个问题从本质上看具有深刻的内在联系：低分作文的特征往往可以较好地归类，而很多高分作文往往很难用事先指定的特征模型描述。例如优秀作文中“文字优美”的标准，反映到表示特征上，基本要求是没有错误单词，但这仅仅只是初步要求，“优美”如何定义呢？最近几年开始出现的AESDL解决了该问题。

如图3所示，与AESS和AESML不同，AESDL不需要人工确定使用哪些表示特征。AESDL采用端到端（end-to-end）的学习方式，将大量经过人工批阅具有标签（分数）的作文作为训练样本，系统会自动根据这些标签数据对神经网络模型进行训练。AESDL一般可以使用RNN（Recurrent Neural Network）或LSTM（Long Short-Term Memory）神经网络[17-18]构建。对AESDL完成训练后，输入需要批阅的作文，系统会给出该作文相应的分数。相关研究表明，在ASAP数据集合上[15]使用LSTM的AESDL英语作文评阅系统的QWK（Quadratic Weighted Kappa）系数可以达到0.7，而皮尔逊相关系数则可以达到0.8甚至超过0.9[17-18]。这表明设计良好的AESDL系统所给出的评分与测试标签之间的相关性可能在某些情况下高于某些教师的评阅分数相关性。

但是AESDL也存在一些问题：首先训练所需要的数据往往非常多，如ASAP（Automated Student Assessment Prize）数据集[20]包括8个种类，作文总数超过了12 000份，每份作文都有两位或多位教师给出评分;其次，训练往往要花费很长时间。笔者将基于LSTM的AESDL系统应用于ASAP数据集上，当参数epoch设为200时，在PC上（CPU I7 3770， 内存8G，显卡NVida Gtx660 2G显存）的训练时间超过了20小时。

3 大學英语写作教学模式

本文从AESS 、AESML 、AESDL 这3种自动作文评分系统的优缺点入手，研究大学英语写作教学模式。

3.1 3种AES方法优缺点

从考试作文评分角度看，3种方法在评分精度上越来越高。但从高校英语写作教学角度看，它们则各有优缺点，如表1所示。

从作文评分相关性角度看，AESDL是最优的，但从教学角度看，AESDL提供的反馈往往只有一个分数，不利于学生写作能力提升。换言之，从反馈角度看，除分数外学生更需要明确的、有针对性的解释，比如作文哪些方面还需改进。因此，从该角度看，AESS和AESML反而具有更大优势。此外，在教学过程中评分标准也需要根据具体的教学对象、教学阶段进行灵活调整。比如，学生备考四、六级等阶段或者其它学期特殊阶段，AESDL、AESML由于需要的训练样本多，训练也非常耗时，反而不易实施。相对而言，AESS可以手动调整参数，需要的训练样本数也较容易满足。因此，大学英语写作教学需要综合上述3种方法各自优点进行。

3.2 本文模式

结合上述分析，本文设计了一种新的基于AES的大学英语写作教学模式，其工作流程如图4所示。主要包括如下阶段：

（1）教师准备阶段。该阶段需要由教师根据当前教学对象、教学进度和教学目标设定当前英语作文“优、良、中、差”等各级别的评分标准，并根据评分标准选择所需要使用的作文表示特征集合，同时还需要积累各类标签数据。

（2）标签样本训练建模阶段。对搜集到的标签数据提取相应特征，完成训练工作。在此阶段需要根据标签数据的数量决定使用何种AES技术。考虑到作文解析的教学要求，所有情况下都要包含AESS模型。当标签数据较少时，例如不超过50份，只能使用AESS方法;当标签数据小于400时，建议使用ASEML方法;当标签数据较多时，推荐使用AESDL方法。

（3）作文评分阶段。使用选定的AES方法对输入的作文进行评分，并输出各种统计数据、错误标注等信息，包括整体信息和个体信息。

（4）评价阶段。评价是促进学生水平提升的重要手段和途径[1，6，7，20]，包括教师评价和学生评价。教师首先对评阅结果进行评价，包括评分是否准确、错误反馈是否准确、是否有未包含的错误等，然后将修正后的评阅结果反馈给学生。学生对获得的评阅结果进行评价，重点是该评阅结果是否有助于提高学生写作能力。

（5）反馈修正阶段。教师根据学生反馈进行调整，优化模型参数、表示特征等，并再次布置题目。

3.3 需注意的问题

整个教学实施过程中需注意以下问题：

（1）根据教学目标分阶段设定评分准则。准确的分数有利于衡量学生写作水平，但是不同层次的学生水平不同，不能使用同一个标准。因此需要建立与当前教学对象相适应的多套评分准则。不同的评分准则意味着需要不同阶段的大量标签样本。

（2）标签样本收集。目前比较完备的英语作文标签数据集来自ASAP[20]，但这些数据基本上都是以英语为母语的美国学生的作文，用于我国大学英语日常教学的AES训练模型，可能会有较大偏差[21]。虽然文献[22]提供了有效数据达9 864篇的中国学生英语作文，但这些作文都是没有评分的。因此，需要不断积累标签数据才能使AES模型更为有效。

（3）从实施角度讲，本文基于AES的英语写作教学模式更适用于学生自主练习，与教师布置的题目互为补充，从而更好地提升学生英语写作能力。教师在AES评价基础上形成的最终评价往往对学生具有关键指引作用，但如何实现仍有待深入研究。

4 结语

将自动作文评分相关技术引入大学英语写作教学中，结合AES技术和L2语言学习特点，建立基于AES的大学英语写作教学新模式，有助于激发学生自主学习热情，提升学生英语写作能力，并摆脱过去大学英语教学中的“哑巴”英语陷阱。目前，相关技术尚处于初步应用阶段，不管是理论和操作程序上，还是评价方法和标准方面，都需继续在实践中进一步完善。

参考文献：

[1] 金晓宏. 非英语专业大学生对不同形式英语写作评改反馈的接受程度研究[J]. 外语研究，2016（5）：58-62.

[2] 左年念. 外语作文评阅与学生写作能力提高之间的关系——研究综述[J]. 外语教学与研究，2002，34（5）：55-59.

[3] 葛诗利，陈潇潇. 大学英语作文自动评分研究中的问题及对策[J]. 山东外语教学，2009，30（3）：21-26.

[4] ATTALI Y，BURSTEIN J. Automated essay scoring with e-rater[R] V.2.[J]. Journal of Technology Learning & Assessment，2006，4（2）：1-21.

[5] 王勃然，金檀，赵雯. 自动写作评价研究与实践五十年——从单一、合作到交互[J]. 外语研究，2015（5）：50-56.

[6] 葛诗利. 大学英语作文自动评分方法比较研究[J]. 广东外语外贸大学学报，2010，21（3）：87-90.

[7] 武永. 作文自动评阅和人工反馈对大学生英语议论文修改的影响[D]. 北京：清华大学，2016.

[8] 唐锦兰， 吴一安. 写作自动评价系统在大学英语教学中的应用研究[J]. 外语与外语教学， 2012（4）：56-62.

[9] 唐锦兰. 探究写作自动评价系统在英语教学中的应用模式[J]. 外语教学理论与实践，2014（1）：49-57.

[10] BURSTEIN J，MARCU D. Benefits of modularity in an automated essay scoring system [C]. Luxembourg：Proceedings from the Workshop on Using Toolsets and Architectures to Build NLP Systems， 18th International Conference on Computational Linguistics， 2000.

[11] FORMAN G，COHEN I. Learning from little： comparison of classifiers given little training， knowledge discovery in databases：PKDD [M]. Berlin： Springer， 2004.

[12] KRISTINA T，DAN K，CHRISTOPHER M，et al. Feature-rich part-of-speech tagging with a cyclic dependency network[C]. Proceedings of HLT-NAACL，2003：252-259.

[13] RONAN C，JASON W，LéON B，et al. natural language processing （almost） from scratch[J]. Journal of Machine Learning Research （JMLR），2011（12）：2493-2537.

[14] LARKEY，L S. Automatic essay grading using text categorization techniques[C]. Melbourne：Proceedings of the 21st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval，1998：90-95.

[15] HAYKIN， SIMON.Neural networks and learning machines[M]. 申富饒，徐烨等，译. 北京：机械工业出版社，2009.

[16] MITCHELL TOM M. Machine Learning[M]. 曾华军，张银奎，等，译. 北京：机械工业出版社，2013.

[17] TAGHIPOUR K，NG H T. A neural approach to automated essay scoring[C]. Austin：Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing，2016： 1882-1891.

[18] ALIKANIOTIS D，YANNAKOUDAKIS H，REI M. Automatic text scoring using neural networks[C]. Berlin： In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics，2016.

[19] PICARD M. Second language learning theories（review）[J]. Language，2001，77（1）：178-179.

[20] ASAP data [EB/OL].  https：//www.kaggle.com/c/asap-aes/.

[21] 朱彦. 透过“反馈”之镜，倾听课堂之音——大学英语学习者对口头纠错反馈的信念探究[J]. 外语与外语教学，2016（1）：33-40.

[22] 许家金. “中国学生万篇英语作文语料库”介绍[J]. 语料库语言学， 2016（2）：108-112.

（责任编辑：孙 娟）