第四章 培训与开发
第三节 培训评估
一、评估方案设计的要素
大多数人力资源开发培训项目都对业绩进行对比。可以将某一组学员的业绩与下列对象进行对比。
(一)对照组
在设计中往往会出现对照组和实验组。对照组的学员与实验组的学员具有相同的特点,但并不参加将要评估的人力资源开发培训项目,它代表的是培训前的情况。而实验组的学员却是参加培训的学员。两个组惟一的差别就是,一个参加培训,而另一个不参加培训。因此,两个组的业绩对比就可以反映出人力资源开发培训项目的效果。
(二)评估手段的时间选择
在评估中,评估手段的时间选择是个棘手的问题。评估手段被定义为数据收集工具的应用,如问卷、调查、测试或面谈。有时被说成是测试的这些衡量手段,可以用在培训项目之前、之中和培训之后的某段间隔时间之后。设计中的事后测试部分是万万不能省略的,因为它将直接对培训项目的结果加以衡量。
1.事前测试。
在确定何时以及如何进行事前和事后测试时要特别注意。关于何时进行事前测试的问题(或培训项目之前的评估),这里特推荐四种基本的指导原则。
(1)当事前测试影响学员的业绩表现时,就应该避免进行事前测试。事前测试旨在衡量人力资源开发培训项目开始之前的情况,测试本身不应该影响业绩的表现。如果有迹象表明,这种测试将对业绩表现产生影响时,也许应该对事前测试进行调整,在培训项目开始之前的一段时间内应该尽量减少它的这种影响,或者是放弃这种测试。
(2)当事前测试没有什么意义时,要避免使用。当传授全新的知识或提供学员根本就不知道的信息时,事前测试也许就毫无意义。因为测试的结果将表明学员在这方面的知识、技能或能力是一片空白。例如,在外语培训项目中,如果学员对这门外语一无所知,对他们进行事前测试就是毫无意义的。相反,在培训项目结束之后进行事后测试,了解学员对外语技能的掌握程度,这是比较合适的。
(3)事前测试和事后测试的内容要一致或大体相同,所设定的分数要有一个共同的基础,以便对比。同样的测试可以用于事前和事后,尽管当学员参加第二次测试时,这会影响他们的测试结果,类似的或大体相同的测试也许更适合事后测试。
(4)事前测试和事后测试应该在同样的或类似的条件下进行。测试所需要的时间和条件要大体相同。
2.在项目实施过程中的测评。
事前测试和事后测试是指衡量培训项目前和培训项目刚刚结束后的业绩表现情况,有时候在培训项目进行的过程中实施测试评估也是很有必要的。在有些情况下,这类测评可以获得有关知识、技能的掌握情况和态度的变化情况。在另外一些情况下,这些测评会衡量出培训项目实施过程中学员的反应。在培训项目实施的过程中,可以衡量完成培训目标的进展情况,也可以获得有关部门的反馈信息,以便做出适当的调整。在培训项目实施过程中的测评注重了解学员的反应和学习情况。
3.多重测评。
有时候在培训项目实施前后要进行多重测评。如果切实可行,并且可以得到相关的数据,就应该采取多重测评的方法。在培训项目实施之前进行多重测评,是为了衡量培训项目实施前的某种趋势。这些测评主要着眼于三级和四级评估的数据,以便确定技能和知识在实际工作中的应用情况,以及给企业业绩所带来的变化情况。在培训项目实施之后进行多重测评,是为了衡量技能的使用和应用的程度,了解整个培训项目内容的应用进展情况,以及该培洲项目所产生的长期效果。多重测评方法是指了解培训项目前后某些趋势的变化情况,这对做出预测或比较是非常重要的。
4.培训结束后跟踪活动的时间选择。
在培训项目结束后的某个预定的时间内实施评估很有意义。这将为学员提供机会,以便他们在实际工作中运用培训项目中所学到的东西。在跟踪阶段,可以收集到三种数据:
第一,可以收集到二级评估数据,以便确定学员对培训项目所传授的知识或技能的掌握情况。当学员做好某项工作必须要掌握这些知识和技能时,对学习的掌握尤其重要。例如,在一些关键性的工作岗位(尤其是那些涉及安全和健康的工作岗位),学员要了解如何去工作就显得尤其重要。对学习反馈跟踪活动的时间选择,取决于评估是否可行,以及对学员进行继续测试的材料是否具备。
第二,对三级评估数据的跟踪可以确定知识和技能在实际工作中的应用情况。对于新的技能,重要的是及时应用和定期强化。因此,三级跟踪的时间选择往往是在培训结束之后不久,大约几个星期之内进行。例如,在某个客户服务培训项目中,也许在培训后的两到三周来确定技能的应用情况比较合适。研究表明,如果技能得不到及时的应用,对知识的保持力可能会锐减,对技能的实际应用的可能性就会大大降低。在有些培训项目中,三级跟踪的时间选择取决于应用这些技能的机会。例如,如果学员所学的技能在一到两个月内才可以得到运用,那么实施跟踪的时间就应该选择在一到两个月之后,以便学员有机会应用这些技能和有机会报告其进步情况。
第三,对四级评估数据的跟踪所需要的时间间隔往往要比实施三级跟踪所需要的时间间隔长。所学技能和知识的应用结果(三级评估),反映出企业业绩测评的变化。因此,在技能应用和反映培训效果的数据之间存在着时间滞后的情况。在有些情况下,这种时间差很大,它取决于数据收集的过程。例如,在客户服务培训项目中,技能的应用可以在两到三周之内迅速发生,而对客户的实际影响(从客户满意调查中获得该信息)要在六个月后才能体现出来。因此,在作四级评估跟踪时,要考虑收集数据所需要的时间,也要考虑应用技能来产生企业业绩变化时的时间滞后的情况。在多数情况下,实施四级跟踪评估往往要在三到六个月的时间内进行。
(三)影响有效性的因素
在讨论各种评估设计优点的同时,有必要讨论一下有效性问题。一些问题的出现会削减评估设计的有效性,从而改变某个培训项目的结果。
1.时间或历史。时间会让事情改变。即使没有人力资源开发培训项目,随着时间的流逝,业绩也会得到改进,态度也会发生变化。当考察人力资源开发培训项目的结果时,经常要问这样一个问题:“如果没有实施人力资源开发培训项目,会产生同样的结果吗?”通过对评估设计的修改,可以避免这种影响有效性的因素。
2.测试的影响。即使没有实施人力资源开发的培训项目,某种真实的测试或其他手段,也有可能对工作表现或态度产生影响。当事前测试和事后测试相同时,最容易产生这样的影响。学员对事前测试材料进行思考,也许想就那些令他们感兴趣的问题得出答案。同时,当学员了解到培训项目的整个范围和培训目的之后,他们有可能对事后测试提供更加有利的回答,这是由于对期望的了解,而不是基于所学到的知识。用一种特殊的评估设计就可以避免测试所带来的影响。
3.选择。选择参加过人力资源开发培训项目的学员,可能对评估结果产生影响。很自然,有的学员要比别的学员表现好一些。如果某个样本中表现好和表现差的比例过大,评估的结果就会走样或不具备代表性。如果可行的话,用随机抽样的办法就可以避免这种问题的发生。
4.流失率。由于种种原因,学员会中途退出培训。如果使用事前和事后测试,参加两次测试的学员人数就会有所不同。这种变化给比较这两次测试的结果带来了困难,表现不好的学员往往会中途退出培训,这使得情况更加复杂。当实施培训后的跟踪评估时,如果相当一部分学员做的不是同一种工作,评估也会有所折扣。