超越常规评价方法:网络世界的成绩认定

【摘 要】基于网络的评价形式涉及面更加广泛，有了这种形式的评价，考试和审查将会是多余的，而电子档案袋和开放徽章仅仅代表第一波基于网络的评价形式。本文讨论了基于网络的能力自动发展和认定(network-based automated competency development and recognition)领域的新进展给传统机构带来的挑战，和给真正自主的开放学习带来的机会。本文还探讨了与学习分析和评价相关的道德规范问题以及另类证书的发展情况，在此基础上提出基于社交和社区环境所产生的内容对个人学习进行评价的一种机制。

【关键词】 网络;学习;评价;社交媒体;分析技术;道德规范

导读：本文是加拿大学者、慕课创始人之一史蒂芬・道恩斯(Stephen Downes)为本刊撰写的系列文章之三，三篇文章分别阐述作者对网络世界的开放学习、个人学习和成绩认定的批判性思考。

《超越常规评价方法：网络世界的成绩认定》首先通过发生在几年前的一个真实事例对传统学习评价方式的客观性和准确性提出质疑。2007年，美国麻省理工学院招生办主任在工作28年后获得该校最高荣誉奖但却被揭发伪造学历(没有获得过学位)，于是被迫辞职。道恩斯有感而发提出一系列值得深思的问题：何谓成功?成功的标准是什么?学位的价值有多大?作者认为评价的目的是为了了解技能差距，即个人已经具备的技能与“应该具备”的技能之间的差距。从现实看，传统正规教育培养出来的人才不能满足要求，因此有机构(比如Canada2020)提出一系列缩小技能差距的措施。文章在第三节阐述了传统评价方式的不足，首先是混淆教育结果(考试成绩)与教育过程，作者认为“用测试、成效为本的方法发展教育并非难事，但是一旦这样做，教育体系的根基就会受到破坏”。换言之，简单化学习过程的评价(考核)无助于学习效果的提高，也无助于客观评价学习效果。其次，为了方便考核，使考核具有可操作性，我们经常杜撰一些有违事实或说不清道不明的概念，比如“能力”――这是当代教育的一个热词，能力为本的教育更是一种时髦，但是什么是某门课程或某个职位必备的能力?这个问题貌似多余――这些不是清楚列出来的吗?但作者认为这样做缺乏理据。正因为如此，各种另类认定方式已经悄然出现。换言之，正规教育体系的成绩考核方法正在受到越来越多“另类”评价方式的挑战。

那么，什么才是评价的内容和目标呢?文章第四节指出重点在理解和做。我们不能光看“懂”多少实事、理论、规则等等，而是要看能否准确“识别”――做，也就是说要强调教育的过程――如何学习“做”。何谓评价?第五节指出评价是一项(模式)识别任务，在科学技术高度发达的今天，我们要发挥技术的作用，作为一项识别任务，评价“涉及神经网络的工作，涉及我们如何设计和建设界面，涉及我们与物联网的交互”。因此，我们要注意避免在网络交互中无意泄露自己的情感变化(反应)，要注意数据挖掘与分析的道德规范。但现实的情况是，个人数据难以得到妥善保护，因此我们必须保护好个人隐私。

文章最后一节阐述一种新的评价系统，或者说是作者对新的评价系统的“设想”。它的基本运作机制是使用个人服务器，用户能有效管控自己的资料和身份。这个系统跟神经网络一样是一种模式识别器;人人都是策展者，每个人所做的一切，其他人都能看到、识别、传播和评论等。

本文所阐述的成绩评价在很大程度上已经超越一般意义的学习成绩考核，涉及对人的综合评价。也许我们觉得道恩斯的观点和设想显得过于超前、不甚现实或在现实中可行性不大(至少从目前的情况看，尤其是考虑到正规教育评价体系的根深蒂固和普罗大众人才观的根深蒂固)，但是本文对于现行成绩认定或人才评价方法的批判不是空穴来风，现实的确存在，我们早已“习以为常”而“熟视无睹”，但又经常隐约感到“不对劲”的“顽疾”。这就是为什么人才培养模式改革一直都是各国教育改革的出发点和落脚点。但是，毋庸讳言，教育改革成效甚微――全世界都如此。道恩斯在这篇文章中对此作了专门的批判并探讨了其中的原因。我们现在经常批评学生高分低能，动手能力差，其实这涉及我们应该评价什么这个根本问题。从社会对人才的评价看，的确也存在很多值得深思的问题。比如说，在其他国家和地区，包括我国港澳地区，银行前台柜员的任职条件通常是高中毕业外加相关从业资格证书，而在中国大陆，银行在招聘柜员时通常都提出应聘者必须具备本科或以上学历。现在中国大学生在校最后一年的主要任务是找工作，赶集似地参加各种招聘会、笔试、面试，这从某种意义上讲只能说明社会的人才观与教育界的人才观脱节了，谁是谁非难以理清，但我们不能让无辜的学生“买单”，学生最不应该成为“受害者”!

在“另类”成绩认定或人才评价方法逐渐被人所接受的今天，专门从事远程开放教育的我们是否比传统正规教育机构更具优势?我们能够在哪些方面扮演更加积极的角色?我们的教育模式或人才培养模式又该朝哪个方向发展?我们的课程体系、管理体系和评价体系等又该如何与时俱进?凡此种种，都值得我们深思和探索。

道恩斯是“名人”，但是，从向他发出稿约到这三篇文章的完稿，历时8个月。在此期间，我们说不清有过多少次邮件往来，磋商、讨论、释疑和商榷――不厌其烦，委实难能可贵。我们谨再次向史蒂芬・道恩斯致以衷心感谢!(肖俊洪)

一、何谓成功

麻省理工学院的招生办主任为学校服务28年后获得学院的“领导变革卓越奖”，然而人们发现她竟然没有任何学位(Lewin， 2007)。这位主任已经被迫辞职，她当初不该伪造学历，但有趣的是即使没有受过正规大学教育，她在招生办主任这个岗位上干得非常出色，因此而获得享誉世界的麻省理工学院颁发的最高荣誉奖。这件事促使我们思考学位的价值。

教育对经济发展和个人发展仍然至关重要，教育是为了进一步提高技能(Pearson， 2014)。人们认为教育是积累起来的，好像是把事实累加在一起，但我们知道教育不是这样。有报告指出，一个国家里儿童上学的时间与这个国家工人的生产力直接相关。对此，我想从另一个角度说明教育的重要性：教育程度越高，幸福感越高，社会越发达。

我认为我们的主要问题是把教育结果(比如考试成绩等)与教育过程混淆在一起。关注过程就是关注上学时间，而非考试成绩。相对于教育过程而言，要证明考试成绩与经济发展或生产力成正比，难度要大得多。是否达到学习目标是很难通过考试检验的。比如“理解”和“领会”这样的学习目标几乎无法下定义(Talbert， 2014)，从某种意义上讲，不可言喻。

上文把文化比喻为语言，以说明学习的不可言喻性。我们无法用言语表达学习一种语言究竟是一种什么经历，语言知识、结构和规则等都不同于学习的过程。同理，没有一系列清晰易懂的概念和原理可用于说明什么是“理解”，因此我们只能通过行为性的结果(比如“展示”“背诵”和“定义”等)来证明能够理解，但是这些行为性结果靠的是死记硬背，可以造假，这正是考试的问题：考试可以造假。

加德纳・坎贝尔(Campbell， 2014)指出：“妥善处理事物的复杂性才是重要的。如果用自信、通俗、简单、有条理的方法解决一件复杂事情，我听到的就不再是小斧头砍树的声音，而是我坐在上面的那棵树枝折断的咔擦声。”用测试、成效为本的方法发展教育并非难事，但是一旦这样做，教育体系的根基就会受到破坏。

2. 有心理过程这种东西吗

我们左右两难：一方面不能依靠考试，另一方面，知识储存在大脑里，很难提取出来。我们该怎么办(Watters， 2014)?是继续采用黑匣子方法(建立在“背诵”“定义”等基础上)(McLeod， 2014)，还是采用休姆(Hume)所说的“为了方便而凭空杜撰的东西”来掩盖我们的无知。

我为什么用“杜撰”一词呢?大脑需要某种方法来决定对什么进行编码、如何编码，以便在需要时能取回这些东西。大脑根据情绪反应对信息进行编码，解决了上述问题(Shackleton-Jones， 2014)。这是我们熟悉的理论。然而，什么是“情绪反应”?即使能给出一个定义，这个定义具有可操作性吗?能观察得到吗?这就是杜撰的东西。说“大脑需要某种方法来决定对什么进行编码……”，我们怎么知道这是大脑所需要的?这只不过是一个假设，假设大脑在进行某种活动，而实际并非如此。

史蒂芬・塔尔伯特(Talbott， 2014)说我们喜欢把人体、人体系统(包括思维和诸如血循环系统这样的东西)当成机器。比如，我们习惯把心脏比作“泵”，认为心脏把血液输送到血循环系统。他认为如果真是这样，心脏施加在血循环系统上的压力会导致小血管破裂。事实上，血循环系统更像潮汐，牵涉血管里的液体和身体其他部位的液体，像潮水般流动。

如图2所示，心脏是一个调节器。血液的流动不仅仅靠心脏，身体其他器官也在发挥作用，比如大腿的静脉将血液送回心脏。事实上，我们全身作为一个系统在促使血液流动，心脏只是这个系统的一员。

图2 心脏不仅仅是一个泵

3. 有能力这种东西吗

能力为本的教育(competency-based education)是当代e-learning的主要趋势(Tamburri， 2014)。这种教育根据学生展示的水平给他们颁发资格证书(Eduvation， 2014;Shapiro， 2014)。批评者认为能力为本的教育更像是培训，过于强调结果。这也许有点道理。但我认为这种教育把一个大难题(比如评判某个人是否具备当牙医的资格)分解为若干小难题，每一个小难题跟原来的大难题一样都不好解决。

我甚至怀疑个人学习是否需要能力这种东西。难道我们需要把某个学习领域分解成一系列定义清晰的能力才能掌握这个领域的知识和技能吗?我们在讨论某个领域的学习时难道需要同时讨论在这个领域所学到的能力吗?比如，如果一个人获得了我们所制定的物理学家必备的那些能力，这个人就成为物理学家了吗?从某种意义上讲的确如此(Mind/Shift， 2014)。有人认为如果对能力没有共识就不可能有个人学习，比如我们必须知道物理学家应该知道什么。但是，我们根据什么来界定物理学家应该知道什么?这时，能力为本的教育显得力不从心，因为要界定物理学家必不可少的全部能力非常困难。只在某些情况下，我们才需要知道和要求某些共同的核心能力，这时个人学习才需要能力这种东西，但这是例外情况，不是常态。

加拿大安大略高等教育质量委员会(Higher Education Quality Council)对能力为本的教育的一项研究显示，目前还没有系统和全面研究证明能力为本的教育的哪些技能在实践中得以体现(Abner， Bartosh， &Ungerleider， 2014)。因此，有人问：我们的实际工作究竟需要哪些能力?高中教育必须能培养学生哪些能力才算是合格教育?我们以为自己知道这些基本的能力，但事实上我们并不知道。于是，我们杜撰了各种能力，然后在没有充分根据的情况下声称这些是基本能力。

4. 另类证书

过去我们仅有中学毕业证书，学士、硕士和博士学位证书和一些专业证书，而现在“另类”认定方式的种类越来越多。比如：

・ Qualt(http：//www.qualt.com/)与诸多专业机构合作(如专业会计员协会[Association of Accounting Technicians]、谷歌、直销与数字营销研究所[the Institute of Direct and Digital Marketing]等)提供职业技能慕课并颁发相应证书。

在这方面，隐私和分析技术这两个世界相互交叉(Heath， 2014)。用户留下痕迹，有人则专门分析这些痕迹，了解用户的内心――最真实的东西。我们有权利这样做吗?或者说，我们有权利要回我们留下的痕迹，即抹掉我们的数字存在吗?从某种意义上讲，这是不可能的。打比方说，十分钟前你跟我见面，我不可能因为我当时状态不佳而否认这个事实。

脸谱(Facebook)曾经在用户不知情的情况下试验689，003名用户的情感反应，以证明情感状态具有传染性(Kramer， Guillory， & Hancock， 2014)。有研究表明，如果提供给人们的只是犯罪故事，他们可能会认为犯罪率很高;即使实际上犯罪率是在下降，因为人们看到的都是犯罪故事，他们会以为犯罪率在上升。这也是脸谱的试验内容，只不过它不告知用户。有些人得知这件事后想退出脸谱，改用推特(Globe and Mail， 2014)。然而，推特比脸谱更加道德吗?雅虎和谷歌宣布启动“防止跟踪”机制(Marvin， 2014);去年4月谷歌宣布停止出于可能的广告目的扫描学生Gmail账户(Bout， 2014;Molnar， 2014)。换句话说，此前他们一直在干这种事。有时信息泄露会造成非常恶劣的影响(Biemiller， 2014)，比如美国弗吉尼亚大学法学院收集学生成绩信息并向潜在雇主发布，包括班级排名、政治倾向、工作经验和推荐者，甚至女朋友住在什么地方(Zaretsky， 2014)!这些都是个人隐私的信息，学生自己可能不全知道，但雇主却了如指掌。

4. 应对办法

我们该怎么办?一种办法是删除我们所有社交媒体账户(Bussing， 2014;Suarez， 2014)，但这不现实，我们离不开脸谱(Elliott， 2014)、谷歌和领英，它们的服务大有用处。这些服务有助于我们了解朋友近况、自己的情况和世界正在发生的事情。尽管如此，一些机构开始感到妥善处理这个问题的必要性。盖茨(Gates)资助inBloom机构(Thompson， 2014)，负责为客户集中保存学生数据，但是竟然有那么多方面能够获取这些数据(如图4所示)。由于民众对此反应强烈，inBloom最终关闭了(Korach， 2014;Solove， 2014)。具有讽刺意味的是，现在人们担心自己的数据会出现“斯诺登效应” (Grealish， 2014)。

图4 inBloom

加拿大刚刚通过《反垃圾邮件法》，但就我而言，作用甚微(Davison， 2014)。在这个法律通过之前，很多人给我发邮件，请求我同意他们继续给我发送邮件，我没有理会他们。可是，时至今日，垃圾邮件照样源源不断，虽然我们已经有了《反垃圾邮件法》。人们越来越担心个人隐私的安全。比如，有些人认为不该在课堂录音录像，因为课堂是一个隐私空间。但是，对课堂进行录音录像现在越来越常见(Opidee， 2014)，不管是公开的，还是私下的。Mozilla基金会的道格・贝尔肖(Belshaw， 2014)提出要保证共同的空间是公共空间，不能由某些人为所欲为，但是我们现在的公共空间却没有隐私，不管我们身居何处，似乎都无法摆脱政府和企业的监控，我们私下的谈话都可能成为它们的产品或商品。

5. 保护个人隐私

即使我们不让亿万富豪们插手这些事，而是交由政府负责，我们的隐私仍然无法得到保证，因为斯诺登事件会重演。个人隐私和非正式评价密切相关。大数据和学习分析这些东西与个人隐私互不相容，因此前者必定遭遇来自后者的阻力。显而易见，我们都很在乎个人隐私。例如，Seedmatch众筹网为一种能防止美国国家安全局监控的个人服务器募款(Russia Today， 2014)，他们只需7.5万欧元，然而活动仅进行89分钟就募集到75万欧元!

现在，越来越多的人转移到能保护隐私的个人网络上了，比如Privatext、TigerText、Whisper、 Cyber Dust、Ansa、Omelette和Diaspora (Bourne， 2014)。

六、一种新的评价系统

1. 新系统的运作机制

新系统使用的是个人服务器，因此用户资料不必存放在学习管理系统、脸谱或领英上，而是存放在自己可以控制和拥有的网络上(BCNet， 2014)。这个系统会有一个公共空间，用户可以在这里发布愿意跟他人分享的信息。这是用户的公共面孔，如同衣服一样。这个系统会对身份进行管理，但是个人负责控制自己的身份。脸谱坚持一个用户只能拥有一个身份，然而在现实生活中，我们是有多重身份的――对不同人扮演不同身份角色。

我们在网上所做的一切都会被汇集成各种内容网络，这叫作个人产生的内容(Waters， 2014)(图5)。这些内容网络是一个全面内容过滤系统，一个全面感知系统。该系统的功能跟神经网络一样，是一种模式识别器。在这个系统里，人人都是策展者，他们理解、修订、重新搭配内容以及改变用途，等等。这已经超出策展的范围。换言之，对于每个人所做的一切，其他人都能看到、认出、传播和评论等。

图5 个人产生的内容

第一个层面是社交网络(Andrade， 2014)，负责评价个人的资格。比如，一个由量子物理学家组成的社交网络，主要成员都彼此认识、相互交流、评论彼此的论文、一起参加会议、彼此直呼其名……如果我想冒充量子物理学家加入这个网络，只要他们跟我聊一聊我便露馅，因为真正的量子物理学家能轻而易举地识别冒牌货。由此可见，这种人际网络是一种甄别资格的感知机制。一个人有什么学历并不是真的很重要，重要的是他如何与他人交往和互动。这在今天的网络世界尤为重要。

各行各业都有自己的网上社区，这些都是开放式网络，它们类似于实践社区，但又不尽然，可能还有诸如游戏、爱好等社区的特点(Nisnevich， 2014)。我们可以对社区成员交互的产物(比如交谈)进行分析，以此评价他们的资格(Salmons， 2014)。比如面试，求职者只需接受专业面试官的一次面试，然后把面试的录像和转写成文字的面试内容放到网上，想录用他的公司便可以使用自己的系统根据公司制定的标准评价求职者，决定是否录用。

未来的评价会从根本上重新定义我们现在所说的“作品”(Bentley， 2014)。一般而言，作品指的是一个人的正式出版物，比如专著、画作和电影等，今后可能是指我们在公共因特网上的一切行为，包括通信交流和活动。这是好事，因为我们能够更加准确、仔细地评价一个人，判断哪些方面有待充实，而这正是评价的目的之一。

2. 新系统的可行性

有人认为这种方法不见得比现行的能力地图(competency maps)更好。能力地图没什么不好，问题是这种地图在教育体系中扮演什么角色。我们现在所提出的那些能力只不过是一种指南――帮助我们了解完成某项工作需要什么能力，但是这些能力究竟是什么却难以清晰界定(参见“三、传统的评价方式 3. 有能力这种东西吗”)。

我们可以采用不同方法制作地图。一种方法是派人带着星盘和指南针出海，沿着海岸线航行，一路绘制地图。这是老掉牙的办法，费用高且不准确。现在是通过卫星拍照绘制地图，虽然比旧方法好，但仍然有待改进。比如，用GPS绘制卫星实景地图，提高准确性，当然这也不是最好的办法，也可能会出错(比如，有人按照GPS导航的指引结果把车开到河里)。同样，人工绘制能力地图费用高且不准确，因此我们需要一种能自动识别能力的机制。事实上，我们有这样一个课题――能力自动发展和认定(automated competency development and recognition)。这个系统类似卫星拍照，对社交功能基础设施(social infrastructure)进行全面搜索，分析各种链接，根据人们在网上的实际行为绘制出一种“地图”。

我们可能认为人工干预能保证其准确性，但实际上这反而可能导致这种“地图”更不准确。比如，所有人都可以参加开放街道地图(OpenStreetMap)(http：//www.openstreetmap.org)的绘制，人口密集的地方在地图上可能有很详细的信息，而人烟稀少的地方可能就没有人去绘制详细的地图。因此，总的来看它不如谷歌地图(Google Maps)准确。当然，机器可能有盲区，对数据分析的设计也可能存在盲区。人的感知也如此，有时会出错。一些人可能是色盲，一些人可能只是关注他们想看的东西。因此，感知不是一个完美的机制。过去的社会感知机制是专家、学者和记者等通过研究、观察、拍照、写文章和发表作品等体现，总的来看运行情况良好，但也有一些明显不足，比如机构可以控制报纸或影响研究结果。这里提出的新系统虽然也不完美，但可能优于旧机制，特别是在迫使我们质疑自己是否能正确理解世界这方面――这不是我们所擅长的。我们不擅长自我纠错，因为自我纠错需要自我意识、自我反思的全局性机制。

3. 其他相关问题

首先是费用。买单的总是作为用户的我们。脸谱提供免费服务，但众所周知，我们不是脸谱的客户，我们是一种产品，脸谱把我们卖给真正顾客――广告商、营销商和公司等。

我们可以用两种方法应对这个问题。一是把它看成是一个技术问题――如何设计自我组织(self-organization)以便通过这个系统公平分配收入和工作;二是通过社会过程(social processes)分配收入和工作。第一种方法能使大家有工作、有收入，而第二种的结果却难以预料，我们最终可能一无所有。

另一个相关的问题是控制权。机构总是希望掌控一切。比如，我所在的机构(政府部门)提出任何数据都不能外泄，虽然从实际来看这是不可能的。当今的世界更有渗透性，因为我们不可能身处一个完全与世隔绝的网络，同时又希望能与外界交流。控制权的问题不是三言两语可以讲清楚的，它归根结底是一个权力问题。当今个人与雇主之间的权力关系正在发生变化，但这已经超出本文范畴。

今后，能改变事物的是人的自我组织能力、快速和高效寻找所需人才(包括个人和承包商)的能力。因此，我们必将更具移动性和推销自己的能力――向全世界各式各样的雇主推销自己的作品。雇员与雇主将会是两个平等主体，而不是哪一方以强欺弱支配一切。这是上文提到的技术解决方案，只有这样才有可能讨论数据的拥有权和管理问题。但是，这种方案会遭遇社会阻力，雇主们不喜欢它，当权者不喜欢它，他们必定会抵制它。