英语作文电脑智能自动评分系统的使用和启示

上传者：网友
|

翻新时间：2014-01-26

收藏到账号

全屏

英语作文电脑智能自动评分系统的使用和启示

在英语作文教学中，对学生作文进行批改一直被师生共识为提高写作能力的有效手段。但是，考虑到时间、精力、作文收发等方面，又不得不承认效率不高。在大规模语言考试中，作文又是必不可少的题型，阅卷工作量和阅卷的信度等问题一直以来都不能让我们如意。针对这一难题，电脑智能自动评分系统提供了可以信赖、值得期盼的解决方案。

在PEG、IEA、E-rater、冰果、MY Access、IntelliMetric等几种智能评分系统中，本文选取IntelliMetric系统进行研究，对其评价标准进行理论分析，对其所评分的作文进行跟踪评析，发现其通过对学生作文按照若干评分标准问题进行回应和打分的方法能够快速、有效地解决了作文评分的效率问题，可靠性和准确性不亚于人工评分的水平，完全可以作为人工评分的补充手段。由此看来，智能评分系统的发展值得期盼。

一、IntelliMetric系统概述

IntelliMetric系统发布于1998年1月，是第一个提供给教育机构的智能作文评分软件，相比传统的人工评阅具有许多优点，如：准确度大于个人评分，尤其大于单人人工评分；提供即时反馈等等。发布以后，系统得到了广泛的应用。

IntelliMetric系统作为一个智能评分系统，充分模拟了人工评分的过程。系统开发时经过了大量的测试培训，即不断通过人工纠正其自动认定的给分点，直至契合。值得提出的是，系统不是将所有的给分点简单地相加，而是通过分析给分点之间的聚合关系，模拟人工从整体上看待作文并给出判断，这一点上跟人工评分的过程是一致的。

对于每一个给分点刺激和提示，IntelliMetric系统创建了一个独特的解决方案，主要的给分点、次要的给分点、聚群给分点和分散给分点，都有不同的分数赋值。每一个刺激或提示，这相当于人工阅卷时我们先将作文的得分点做上标记，然后回过头来审视通篇看所有的这些给分点是否形成整体，主题是否突出，连贯是否流畅。正因为如此，IntelliMetric系统能够实现令人满意的高匹配的评阅结果。

二、IntelliMetric系统评分依据

IntelliMetric系统的评分依据主要根据其对作文进行的300多个变量的分析，这些变量包括语义学、造句法等与主题有关的一切因素，其数量和认定的准确度还在发展当中。概括起来，IntelliMetric系统评分依据从宏观到微观具有几个方面功能特征：

首先是聚焦度（Focus）和整体性（Unity），系统高度关注指向写作目的的聚焦度和一致性，对给分点的聚合关系赋值有统筹考虑，同时，也不排斥出现的单个观点的出现，注意到意义的关联度，做到点和面的全盘考虑。

其次是深化（Development）和拓展（Elaboration），系统关注文章内容的广度和概念的拓展深度，关注对主题的深化表述论述过程，注意意义点之间的线性关联，做到点与点的流程考虑。

三、IntelliMetric系统局限性及关于智能评分系统的思考

IntelliMetric系统再好，它还是属于工具，少不了它的局限性。首先，系统测试时大大依赖于标准的人工评阅专家。系统需要明确的给分点提示和整体把握流程，而这样的专家往往也是仁者见仁智者见智的，很难取得统一。输入不够导致输出局限，使用系统进行机评时我们会发现系统遗漏了给分点或整体把握不灵的情况。

从目前各种智能评分系统的使用看来，各种系统的设计都利用了多种现代信息处理技术，主要包括自然语言微观和宏观处理技术、检索技术和统计分析技术等，但由于所使用的各种技术成熟程度不同，主要由于对自然语言处理微观宏观标准的建立和人工智能化程度还远远不够，系统的分析能力难免存在较大局限性。目前，由于涉及专利问题，各种智能评分系统所采用的自然语言处理微宏技术都还没有公开，这是一个遗憾，对我们进一步开展研究很不利。

智能评分系统在对评分模型进行训练并建立基础数据库、形成建模，是提高其工作质量，即作文评分的信度的关键。接下来，我们应充分借鉴语言测试领域的成果，充分发展自然语言处理微宏技术，在语言表述、思想内容和结构等方面进行联动赋值，并植入智能系统。还要在程序上进一步模拟人工流程，对自动评分模型进行反复训练调试，才能提高机评的信度，为语言教学提供强有力的辅助。