使用同一测验,在同样条件下对同一组被试者前后施测两次测验,求两次得分间的相关系数,叫重测又叫称冠性系数。
如果复本信度考虑到两个复本实施的时间间隔,并且两个复本的相隔一段时间,则称重测复本信度、稳定与等值系数。
复本信度的缺点有如果测量的行为易受练习的影响,则复本信度只能减少而不能完全消除这种影响;由于第二个测验只改变了题目的内容,已经掌握的解题原则可以很容易地迁移到同类问题;对于许多测验来说,建立复本是十分困难的。
随机抽取若干份测验卷,由两位评分者按评分标准分别给分,然后再根据每份测验卷的两个分数计算相关,即得评分者信度;所有题目看起来好像测量同一特质,但相关很低或为负相关时,则测验为异质的;人的多数心理特征如智力、性格、兴趣等,具有相对的稳定性,间隔一段时间,不会有很大变化;不同信度反映测验误差的不同来源。
Rxx信度系数。Rxx=0;Rxx=1.00属于极端情况。信度系数在解释个人分数的意义时的作用是估计真实分数的范围;了解实利分数再测时可能的变化情形。
一般来说,在一个测验中增加同质的题目,可以使信度提高。测验越长,测验的测题取样或内容取样就越有代表性;被试者受猜测因素的影响就越小;测验大长,有时反而会引起被试者的疲劳和反感而降低可靠性。
效度具有相对性,因此,在评鉴测验的效度时,必须考虑测验的目的与功能。信度与效度的关系可表述为信度是效度的必要而非充分条件;效度是受信度的制约的;效度是信度的充要条件。
美国心理学会在1974年发行的《教育与心理测量之标准》一书中将效度分为几个大类:内容效度、构想效度、效标关联效度。内容效度的评估方法有专家判断法、统计分析法、经验推测法。
为了使内容效度的确定过程更为客观,弥补不同地同一测验的判断可能不一致,可采用的步骤是定义好测验内容的总体范围、编制双向细目表、制定评定量表测验的整个效度。
除了描述性语言外,内容效度的确定也可采用统计分析法,如计算两个评分者一致性、复本相关、专家推测。
构想效度是构思效度,,主要涉及的是心理学的理论概念问题;指测验能够测量到理论上的构想或特质的程度;测验的结果是否能证实或解释某一理论的假设、术语或构想,解释的程度如何。构想效度的估计方法包括对测验本身的分析;测验间的相互比较;效标效度的研究证明;实验法和观察法证实。
可以作为构思效度的证据有测验的内容效度;测验的内部一致性指标;分析被试者对题目的反应特点。可以作为构思效度的测验间比较的有相容效度、区分效度、因素分析法。
效标效度反映的是测验预测个体在某种情境下行为表现的有效性程度。可分为同时效度、预测效度。
在检验一个测验的效标效度时,难点在于找到合适的效标。因此效标的选择至关重要,一个好的效标效度必须具备能最有效地反映测验的目标,即效测量本身必须有效;具有较高的信度,稳定可靠,不随时间等因素而变化;效标可以客观地加以测量,可用数据等级来表示;效标测量的方法简单,省时省力,经济实用。
效标效度的主要评估方法有命中率法、区分法、相关法。
树敌支是求测验分数与效标资料之间的相关,这一相关系数称为效度系数。根据变量的不同,可选用计算的方法有积差相关、点二列相关公式、二列相关公式、贾斯朋多系列相关公式。
命中率法是当测验用来做取舍的依据时,用其正确决定的比例作为效度指标的一种方法。命中的情况是指预测成功而且实际成功的;预测失败而且实际失败的情况。
要保证测验具有较高效度,测验本身的因素要做到对整个内容具有代表性;尽量避免容易引起误差的题型;具有较高的区分度;难度在适中;长度要恰当,别题的排列应先易后难。
测验实施中的干扰因素包括主试者的影响因素,测验情境,其他干扰因素,被试者的影响因素。
美国心理学家吉赛利提出了如何找出干涉变量的一套方法,它们是用回归方程求得每个人的预测效标分数,将该分数与实际效标分数相比较,获得差异分数D,如果D的绝对值很大,说明测验中可能存在干涉变量;根据样本团体的组成分析,找出对照组,分别计算效度,从而找出干涉变量;对于预测团体,根据某些易见的干涉变量将其区分为预测性高和预测性低的两个亚团体,对于预测性高的团体,获得的测验效度会有所提高。
一般来说,测验的项目区分度包括定性分析和定量分析。
项目的定性分析包括考虑项目的内容效度,题目编写的恰当性和有效性。计算区分度的最常用的方法是相关法、点二列相关、二列相关、积差相关、∮相关。
在编制测验前首先要明确测量的对象,也就是该测验编成后要用于哪些团体。只有对受测者的年龄、受教育程度、阅读水痘、社会经济水平等心中有数,编制测验才能有的放矢。
测验的用途不同,编制测验时的取材范围以及试题难度等也不尽相同。在测验编制前就应明确所编出的测验是要对被试者做描述、诊断、选拔、预测。
显示性测验是指测验题目和亿要测量的心理特征相似的测验,古德纳夫曾经将其分样本测验和标记测验。心理测验的目标分析以测验不同而异,一秀可分为工作分析、对特定概念下定义、确定测验的具体内容。
对于选拔和预测功用的预测性测验,它的主要任务就是要对所预测的行为活动作具体分析,我们称之为任务可工作分析。它包括确定哪些心理特征和行为可以使要预测的活动达到成功;建立衡量被试者是否成功的标准,这个标准我们称为效标。心理测验命题的一般原则可以从内容、文字、理解、社会敏感性。命题在内容方面的主要要求是内容符合测验的目的;避免贪多而乱出题;内容取样要有代表性;题目间内容相互独立。
心理测验命题在文字方面的主要要求是使用准确的当代语言;除创造力测验和人格测验外不庆具有引起的争议的可能;内容不要超出受测团体的知识水平和理解能力;格式要不被人误解。
在些测验必须涉及一些社会敏感性问题,菲力普列举了值得参考的命题时假定被试者具有某种行为;涉及社会禁忌或个人隐私的题目不使用;指出该行为是常见的,虽然是违规的等策略。
选择题要编好题干,也要编好选项,必须注意题与问题明确,避免与迁项用词一致;选项简明扼要,长度相等;每题只给一个正确答案;选项最好用同一形式。
编制是非题应注意内容以有意义的概念、事实或基本原则为基础;每道题只能包含一个概念;尽量避免否定的儒术,尤其是双重否定;是非题的数目应基本相等,随机排列。
编制操作测验的原则有明确所要测量的目标,并将其操作化;尽量选择真实性程度较高的项目;指导语要简明扼要;制订评分标准,确定计分方法。
在选择题目形式时,需要考虑测验的目的、材料的性质、接受测验的团体的特点、各种实际因素。
审定试题要注意题目的范围应与测验计划的双向细目表相一致;数量要比最后所需的数目多一倍至几倍;难度必须符合测验目的的需要;说明必须清楚明白。
测题常见的排列方式有并列直进式,混合螺旋式。预测应注意对象应取自将来正式测验准备应用的群体;实施过程与情境应力求与将来正式测验时的情况相近似;时限可放宽一些,最好使每个被试者都能将题目做完;预测过程中,随时记录被试者的反应情形。
测验指导手册的内容有测验的目的和功用;编制的理论背景,选材的原则、方法;实施测验的说明,测验的标准答案和记分标准;测验的心理计量学特征、常模资料。
主试者的知识结构是指开展心理测验工作所必须的具备的心理学基础知识;心理学专业理论知识;本行业的专业知识;心理测验专业技能。
主试者的心理测验专业理论知识,具体言之包括对心理测验的特点、性质和作用的认识;对心理测验局限性的认识;了解测验基本特征;熟悉保证心理测验标准化的必要性。
主试者必须具有实际操作心理测验的专业技能和经验,接受严格、系统的心理测验专业训练,熟悉有关测验的内容、适用范围、测验程序、记分方法等。