简介:1985年《教育与心理测验标准》(第5版)出版之前,效度研究的核心概念是“效标(criterion)”,效度研究被视为一种用“效标”对测验的效度进行证明(verify)、对测验分数做出有效(valid)解释的过程。1985年以后,效度研究的核心概念是“证据(evidence)”,效度研究被视为一种通过积累证据对测验的效度进行支持(suppo~)、对测验分数做出合理(reasonable)解释的过程。关于效度的这种理解,突出体现在1999年出版的《教育与心理测验标准》(第6版)中。美国教育协会和美国国家教育测量学会共同组织编写的《教育测量》在业内被称为“教育测量领域的《圣经》”。2006年《教育测量》(第4版)出版以后,效度研究的核心概念演变为“理由(warrant)”,效度研究被视为一种通过构造“理由系统”和“理由网络”对效度进行“论证(argument)”、对测验分数做出可接受的(plausible)解释的过程。本文结合笔者的考试实践,介绍了效度概念的新发展。
简介:本文基于Weir“基于证据的效度验汪理论框架”,结合教学大纲和考试大纲对听力理解的要求,提出一个针对高等学校应用能力考试A级(PRETCO—A)听力部分的具体效度验证框架。作者依照该框架从五个方面对该测试的效度进行了分析探究。在环境效度方面,从材料长度和朗读速度、话题、听力材料真实性、试题类型等方面进行分析;在基于理论效度方面,对试题所考查的语言知识进行分析;存评分效度方面。从项目分析和内部一致性角度进行讨论;在效标关联效度方面,验证不同年份听力部分成绩之间以及其与CET4听力部分成绩的相关性;在后果效度方面,通过问卷调查对考试的课堂教学反拨效应进行研究。
简介:复旦英语水平考试(FET)是一项标准参照的学术英语水平考试,考试对象为复旦大学的在读本科生。本文介绍了FET考试的考察内容与试题结构,并且报告了2011年12月首次FET考试的数据分析情况。对首次FET考试的数据分析结果表明,FET考试的内部一致性信度比较理想;考生在考试各个部分的成绩相关情况也比较理想。方差分析的结果表明,虽然各考生群体的考试成绩之间存在着显著差异,但是差异的实际意义很小;探索性因子分析的结果表明,特征值超过1的因子共有两个,分别为“产出性英语能力”与“接受性英语能力”。数据分析在一定程度上说明了FET考试的效度。在将来的研究中,我们将进一步完善FET考试开发、实施等各个环节的质量控制措施,并且进一步开展FET考试的相关研究。
简介:本文从审题过程和考生成绩角度来检验学业考试的效度。针对阅读学业考试,采用专家判断法和内省法收集审题过程中的数据,并使用Rasch模型分析考生成绩的数据。具体而言,阅读课程组i名教师和两名研究生助教参与本次的定性研究实验。一名教师从阅读课程配套材料中选取了一篇阅读材料及试题,另外两名教师和两名助教独立解答题目并记录解题思路。采用方便抽样,英语专业二年级75名学生在这篇阅读题目中的答题记录作为定量研究的数据。实验表明,学业考试能够较好地考核命题人员预期的认知技能,但是某些题型的考点设计尚有改进的余地。其次,试题的内容效度虽然比较理想,但是需要结合学生的实际水平不断打磨,减少偏易或者偏难的题目。