基于自动评分系统的在线作文自我修改特征研究
来源:用户上传
作者:
摘要：自然语言处理技术、人工智能及语料库技术的发展使得自动评价系统（AES系统）逐渐被应用于二语写作教学，为学习者提供基于网络的写作环境、实时评分和诊断性反馈。通过对中国学习者在线写作的初稿、终稿及自动评分系统给出的相应反馈进行对比分析，探究学生在线作文自我修改的特征，并就AES系统辅助写作教学给出了参考建议。
关键词：在线作文自我修改 自动评分系统 英语写作
中图分类号：H319 文献标识码：A 文章编号：1009-5349（2020）15-0157-02
英语写作在英语学习中起着非常重要的作用。随着过程写作方法被引入到第二语言写作领域，反馈成了写作教学的重要组成部分[1]。而研究表明，使用AES系统不仅能够提高教师批改作文的效率，而且能提升作文质量和提高学习者的英语写作能力[2]。本研究的数据主要来源于“句酷批改网”。“句酷批改网”是目前国内较有代表性的作文自動评分系统之一。
一、研究背景
Carroll（1994）将语言输入分成两类：一类输入和二类输入。前者指学习者从周围环境中获得的正确的目的语语言输入;后者则指包括清楚的或含蓄的反馈在内的否定输入，主要是对学习者有关语言学习的假设进行修正的输入。即自主进行对比分析，意识到其中的不同或错误，从而引发对其已有知识的再分析与再建构，错误也就促进了变化和学习的发生[3]。因此，反馈也是一种语言输入，且只有学习者自己的识别能使反馈有意义。同Schmidt（1990）提出的注意假说——只有被学习者注意到的语言信息才能被吸收[4]。
因此，本研究中，将学习者在获得AES反馈后进行的进一步反馈，即二类输入，称为自我反馈。在线作文自我修改即学习者通过不断地自我反馈来反复修改作文的过程。假设学习者可以注意到来自AES系统的反馈，并有效地进行自我反馈，则可习得语言。如此，学习者是否能注意到AES系统提供的信息继而进行有效的自我反馈？在线作文自我修改过程存在哪些特征？如何有效使用AES系统辅助写作教学？这些问题就显得尤为重要。然而，国内目前鲜有这方面的研究。已有的研究发现，AES系统可以激发更多的自我修改，因为存在学生不信任AES反馈的情况[5]。围绕以上问题，本研究采用对比分析法，对学生在线写作的初稿、终稿及相应的AES反馈进行了分析，以期能为将来的在线作文自我修改和AES反馈相关研究提供参考和启发。
二、数据收集与分析
本研究中使用的原始数据来自“句酷批改网”的“四川百万同题数据”。在开展“四川百万同题数据”线上英语写作活动期间，学生在“句酷批改网”上就同一主题进行写作、修改和提交作文，并进行自主学习。学生可不断修改和提交作文直到满意为止。本研究选用的作文题目“How Will AI Affect Our Life”由北京大学提供，此题主要关注中国学生在大数据时代背景下对人工智能的思考与态度。
研究中使用的180份作文样本（初稿和终稿）均来自优秀组织学校。筛选条件如下：（1）修改次数不少于30;（2）不存在抄袭嫌疑。最终数据文件包含每篇作文的以下信息：初稿、终稿、提交次数、作文编号及初稿和终稿分数。研究者对每篇作文的初稿、终稿及相应的AES反馈进行了人工分析。分析内容主要为词汇部分，包括拼写错误、词汇误用、警示信息、修改建议及拓展内容等。
三、结果与讨论
研究发现，“句酷批改网”给出的所有词汇错误反馈中，最常见且准确的是拼写错误。但系统无法根据语境判断词汇是否使用正确，且该网给出的反馈信息也并不完全正确，部分信息较模糊，甚至会重复提示同一个错误。当句子较为复杂或句中错误较多时，系统基本无法识别拼写以外的错误。部分典型修改案例如表1（见下页）所示。
文本03初稿句3.2的反馈并未提示句中存在多余的单词is的问题。其终稿中句子中的terrible被用于修饰代词，却被警示为“terrible疑为形容词误用为副词”。但学生仅删除了is，并且未修改terrible。从文本07句4.6的修改信息来看，学生对系统未识别的错误进行了修改。文本34初稿句1.1的时态错误被系统误判为名词错误，而学生通过自我反馈将change改为convert，但最终系统和学生都没有意识到真正的错误。文本55初稿句1.4的反馈反复提示情态动词误用，但因为反馈信息模糊，导致学生错误地删除了will。初稿句2.3中单词collection被误用作动词，但是系统并未给出提示，其终稿反馈中提示了collection的误用问题，但学生并未进行修改。
结果显示，学生基本能根据反馈更正拼写错误等易识别的错误。但并非所有修改行为都是按照AES系统反馈进行的，部分学生能够根据已有知识识别并忽略部分错误反馈信息，或对系统没有识别出的错误进行正确修改。这表明学生在修改过程中实现了有效的自我反馈，并不完全依赖AES反馈。但也存在学生被错误或模糊的反馈信息误导的情况。因为部分学生完全信任AES反馈或缺乏相关英语知识，所以无法辨别反馈信息的对错。此外，研究还发现，学生在线作文修改过程中，通常只关注错误提示的相关反馈，而忽略建议和警示内容。不排除大部分学生只想快速更正错误并完成自己的作文的可能性。
四、结语
本研究通过对90篇在线作文的初稿、终稿及对应的AES反馈进行分析发现，AES系统对词汇部分的反馈，最常见且准确的是拼写错误。但系统给出的反馈信息并非完全可靠。针对在线作文自我修改过程的特征，得出如下结论：（1）学习者能够注意到AES反馈信息并修改易识别的词汇错误，如拼写错误;（2）学习者并不完全依赖AES反馈，且能进行有效的自我反馈;（3）AES反馈在某种程度上对学习者的自我反馈有负面影响;（4）学习者通常只关注对写作错误的反馈，易忽略系统给出的建议和警示信息。
因此，AES系统更适用于作文修改的初始阶段，用于识别简单的词汇拼写和搭配错误等。这不但可以促使学生进行自我修改，还可以节省教师的时间，使其有更多精力去关注作文内容和结构。但在使用AES系统辅助写作教学之前，教师需指导学生正确地使用AES系统进行在线写作。同时，教师应让学生知道AES反馈并非完全可信，应将已学知识和系统反馈相结合来修改作文。最后，教师应引导学生更多地关注AES系统提供的建议和警示部分，以扩展学生的语言知识面，培养学生的自主学习能力。
参考文献：
[1]郭翠红，秦晓晴.国外二语学习者作文书面反馈研究[J].解放军外国语学院学报，2006（5）：59-63.
[2]杨晓琼，戴运财.基于批改网的大学英语自主写作教学模式实践研究[J].外语电化教学，2015（2）：17-23.
[3]Carroll S，Swain M. Explicit and Implicit Negative Feedback：An empirical study of the learning of linguistic generalizations[J].Studies in Second Language Acquisition，1993（15）：357-386.
[4]Schmidt R.The Role of Consciousness in Second Language Learning[J].Applied Linguistics，1990（11）：129-158.
[5]武永，张文霞.作文自动评价系统和教师反馈对大学生英语作文修改的影响研究[J].中国外语教育，2016（1）：12-19，91.
责任编辑：张蕊
转载注明来源:https://www.xzbu.com/7/view-15322507.htm
