1、测验题目的质量
2、测验的长度。(一般而言,增加测验的长度通常可以提高测验的信度,而信度又制约着效度,因此增加测验的长度也能提高测验的效度。)
测验实施中的干扰因素
1、主试的影响因素。测验实施过程中主试的因素会影响效度。对于效标效度,测验与效标二者实施时间间隔时间越长,测验与效标越容易受到很多机遇因素的影响,因此所求的相关必然很低。测验情镜,如场地的布置、材料的准备、测验场所有无噪音和其他干扰因素等也会影响到测验的效度。
2、被试的影响因素。被试在测验时的兴趣、动机、情绪、态度和身心状况、健康状态等都会影响测验的效度。(被试的反应定势也会降低测验的效度。)
样本团体的性质
1、样本团体的异质性。与信度系数一样,如果其它条件相同,样本团体越同质,分数分布范围越小,测验效度就越低;样本团体越异质,分数分布范围越大测验效度就越高。(1)只以选拔上的被试为样本团体参加效度研究,降低了测验的效度。(2)选拔标准太高,样本团体的同质性增高,降低了测验的效度。
2、干涉变量。样本团体的性质对效度的影响还表现在:对于同性质的团体,同一测验的效度会有很大的不同。这些样本团体的特质包括:年龄、性别、教育水平、智力、动机、职业和任何有关的特征。由于这写特征的影响,使得测验对于不同的团体具有不同的预测能力,故测量学上称这些特征为干涉变量。
吉赛利提出的如何找出干涉变量的一套方法:
①用回归方程求得每个人的预测效标分数,将该分数与实际效标分数想比较,获得差异分数D.如果D的绝对值很大,说明测验中可能存在干涉变量。
②根据样本团体的组成分析,找出对照组,分别计算效度,从而象上述关于出租汽车司机的例子一样,找出干涉变量。
③对于欲测团体,根据某些易见的干涉变量将其区分为预测性高和预测性低的两个亚团体。对于预测性高的团体,获得的测验效度会有所提高。
效标的性质
(1)效标与测验分数之间的关系是否线性关系是一个很重要的因素。皮尔逊剂差相关系数的前题是假设两个变量的关系是线性的分布。
(2)效标测量本身的可靠性如何亦是值得考虑的一个问题。
项目分析
一般来说,测验的项目分析包括定性分析和定量分析两个方面。
难度分析
难度是指项目的难易程度。在能力测验中通常需要一个反映难度水平的指标,在非能力测验(人格测验)中,类似的指标是“通俗性”,即取自相同总体的样本中,能在答案方向上回答该题的人数。(名词解释)
一、难度的指标:难度的指标通常以通过率表示,即以答对或通过该题的人数百分比来表示。
(公式5-1)
二、难度的计算
1、二分法记分的项目:心理测验的项目大多为选择题,通过记1分,不通过记0分。当被试人数较多时,可根据测验总成绩将被试分为三组:分数最高的27%被试为高分组( ),分数最低的27%被试为低分组( )中间46%的被试为中间组。分别计算高分组和低分组的通过率,以两组通过率的平均值作为每一题的难度。
由于选择题允许猜测,所以通过率可能因机遇作用而变大。备选答案的数目越少,机遇的作用越大,越不能真正反映测验的难度。为此,吉尔福特提出了一个P值校正公式。
例题:假定某题有75%的被试通过,若该题有5个备选答案,则校正后的通过率为:
(当有4个备选答案时,CP=0.67;有3个,CP=0.63;有2个,CP=0.54)
2、非二分记分的项目:如果人为地明确通过每一题的分数线,也可以用公式5-2计算难度。但此种方法的缺点在于,采用不同的分数线会得到不同的难度值,因此不常用。
三、难度水平的确定
1、项目难度的确定:进行难度分析的主要目的是为了筛选项目,项目的难度多高合适,取决于测验的目的、性质以及项目的形式。为了使测验具有更大的区别力,应选择难度在0.50左右的试题比较合适。但是在实际各种中并得非如此简单。在选择题目时,最好使试题的平均难度接近0.50,而各题难度在0.50 0.20之间。当测验用于选拔或诊断时,应该比较多地选择难度值接近录取率的项目。对于选择题来说,P值一般应大于概率水平。
2、测验难度的确定:测验的难度直接依赖于组成测验的项目的难度。通过考察测验分数的分布,可以对测验的难度做出直观检验。