2015年高级人力资源管理师考试复习讲义1

 　　第四章 培训与开发

　　第三节 培训评估

　　一、评估方案设计的要素

　　大多数人力资源开发培训项目都对业绩进行对比。可以将某一组学员的业绩与下列对象进行对比。

　　(一)对照组

　　在设计中往往会出现对照组和实验组。对照组的学员与实验组的学员具有相同的特点，但并不参加将要评估的人力资源开发培训项目，它代表的是培训前的情况。而实验组的学员却是参加培训的学员。两个组惟一的差别就是，一个参加培训，而另一个不参加培训。因此，两个组的业绩对比就可以反映出人力资源开发培训项目的效果。

　　(二)评估手段的时间选择

　　在评估中，评估手段的时间选择是个棘手的问题。评估手段被定义为数据收集工具的应用，如问卷、调查、测试或面谈。有时被说成是测试的这些衡量手段，可以用在培训项目之前、之中和培训之后的某段间隔时间之后。设计中的事后测试部分是万万不能省略的，因为它将直接对培训项目的结果加以衡量。

　　1.事前测试。

　　在确定何时以及如何进行事前和事后测试时要特别注意。关于何时进行事前测试的问题(或培训项目之前的评估)，这里特推荐四种基本的指导原则。

　　(1)当事前测试影响学员的业绩表现时，就应该避免进行事前测试。事前测试旨在衡量人力资源开发培训项目开始之前的情况，测试本身不应该影响业绩的表现。如果有迹象表明，这种测试将对业绩表现产生影响时，也许应该对事前测试进行调整，在培训项目开始之前的一段时间内应该尽量减少它的这种影响，或者是放弃这种测试。

　　(2)当事前测试没有什么意义时，要避免使用。当传授全新的知识或提供学员根本就不知道的信息时，事前测试也许就毫无意义。因为测试的结果将表明学员在这方面的知识、技能或能力是一片空白。例如，在外语培训项目中，如果学员对这门外语一无所知，对他们进行事前测试就是毫无意义的。相反，在培训项目结束之后进行事后测试，了解学员对外语技能的掌握程度，这是比较合适的。

　　(3)事前测试和事后测试的内容要一致或大体相同，所设定的分数要有一个共同的基础，以便对比。同样的测试可以用于事前和事后，尽管当学员参加第二次测试时，这会影响他们的测试结果，类似的或大体相同的测试也许更适合事后测试。

　　(4)事前测试和事后测试应该在同样的或类似的条件下进行。测试所需要的时间和条件要大体相同。

　　2.在项目实施过程中的测评。

　　事前测试和事后测试是指衡量培训项目前和培训项目刚刚结束后的业绩表现情况，有时候在培训项目进行的过程中实施测试评估也是很有必要的。在有些情况下，这类测评可以获得有关知识、技能的掌握情况和态度的变化情况。在另外一些情况下，这些测评会衡量出培训项目实施过程中学员的反应。在培训项目实施的过程中，可以衡量完成培训目标的进展情况，也可以获得有关部门的反馈信息，以便做出适当的调整。在培训项目实施过程中的测评注重了解学员的反应和学习情况。

　　3.多重测评。

　　有时候在培训项目实施前后要进行多重测评。如果切实可行，并且可以得到相关的数据，就应该采取多重测评的方法。在培训项目实施之前进行多重测评，是为了衡量培训项目实施前的某种趋势。这些测评主要着眼于三级和四级评估的数据，以便确定技能和知识在实际工作中的应用情况，以及给企业业绩所带来的变化情况。在培训项目实施之后进行多重测评，是为了衡量技能的使用和应用的程度，了解整个培训项目内容的应用进展情况，以及该培洲项目所产生的长期效果。多重测评方法是指了解培训项目前后某些趋势的变化情况，这对做出预测或比较是非常重要的。

　　4.培训结束后跟踪活动的时间选择。

　　在培训项目结束后的某个预定的时间内实施评估很有意义。这将为学员提供机会，以便他们在实际工作中运用培训项目中所学到的东西。在跟踪阶段，可以收集到三种数据：

　　第一，可以收集到二级评估数据，以便确定学员对培训项目所传授的知识或技能的掌握情况。当学员做好某项工作必须要掌握这些知识和技能时，对学习的掌握尤其重要。例如，在一些关键性的工作岗位(尤其是那些涉及安全和健康的工作岗位)，学员要了解如何去工作就显得尤其重要。对学习反馈跟踪活动的时间选择，取决于评估是否可行，以及对学员进行继续测试的材料是否具备。

　　第二，对三级评估数据的跟踪可以确定知识和技能在实际工作中的应用情况。对于新的技能，重要的是及时应用和定期强化。因此，三级跟踪的时间选择往往是在培训结束之后不久，大约几个星期之内进行。例如，在某个客户服务培训项目中，也许在培训后的两到三周来确定技能的应用情况比较合适。研究表明，如果技能得不到及时的应用，对知识的保持力可能会锐减，对技能的实际应用的可能性就会大大降低。在有些培训项目中，三级跟踪的时间选择取决于应用这些技能的机会。例如，如果学员所学的技能在一到两个月内才可以得到运用，那么实施跟踪的时间就应该选择在一到两个月之后，以便学员有机会应用这些技能和有机会报告其进步情况。

　　第三，对四级评估数据的跟踪所需要的时间间隔往往要比实施三级跟踪所需要的时间间隔长。所学技能和知识的应用结果(三级评估)，反映出企业业绩测评的变化。因此，在技能应用和反映培训效果的数据之间存在着时间滞后的情况。在有些情况下，这种时间差很大，它取决于数据收集的过程。例如，在客户服务培训项目中，技能的应用可以在两到三周之内迅速发生，而对客户的实际影响(从客户满意调查中获得该信息)要在六个月后才能体现出来。因此，在作四级评估跟踪时，要考虑收集数据所需要的时间，也要考虑应用技能来产生企业业绩变化时的时间滞后的情况。在多数情况下，实施四级跟踪评估往往要在三到六个月的时间内进行。

　　(三)影响有效性的因素

　　在讨论各种评估设计优点的同时，有必要讨论一下有效性问题。一些问题的出现会削减评估设计的有效性，从而改变某个培训项目的结果。

　　1.时间或历史。时间会让事情改变。即使没有人力资源开发培训项目，随着时间的流逝，业绩也会得到改进，态度也会发生变化。当考察人力资源开发培训项目的结果时，经常要问这样一个问题：“如果没有实施人力资源开发培训项目，会产生同样的结果吗?”通过对评估设计的修改，可以避免这种影响有效性的因素。

　　2.测试的影响。即使没有实施人力资源开发的培训项目，某种真实的测试或其他手段，也有可能对工作表现或态度产生影响。当事前测试和事后测试相同时，最容易产生这样的影响。学员对事前测试材料进行思考，也许想就那些令他们感兴趣的问题得出答案。同时，当学员了解到培训项目的整个范围和培训目的之后，他们有可能对事后测试提供更加有利的回答，这是由于对期望的了解，而不是基于所学到的知识。用一种特殊的评估设计就可以避免测试所带来的影响。

　　3.选择。选择参加过人力资源开发培训项目的学员，可能对评估结果产生影响。很自然，有的学员要比别的学员表现好一些。如果某个样本中表现好和表现差的比例过大，评估的结果就会走样或不具备代表性。如果可行的话，用随机抽样的办法就可以避免这种问题的发生。

　　4.流失率。由于种种原因，学员会中途退出培训。如果使用事前和事后测试，参加两次测试的学员人数就会有所不同。这种变化给比较这两次测试的结果带来了困难，表现不好的学员往往会中途退出培训，这使得情况更加复杂。当实施培训后的跟踪评估时，如果相当一部分学员做的不是同一种工作，评估也会有所折扣。　　二、常见的培训评估方案

　　培训项目评估方案的设计是评估规划重要的组成部分之一。在这一阶段，培训评估所要

　　解决的主要问题是：在充分考虑各种可行因素的基础之上选择恰当的评估方案。评估方案的

　　选择，直接决定了评估对非培训因素的剔除能力，从而能够更加准确地回答所关注的问题：

　　培训产生了何种客观的影响：

　　是否能确立培训活动与影响之间的因果关系;

　　是否能确认培训的作用机制：

　　是否能确认项目产出与其最终效果之间的作用机制。

　　在实践中，常见的培训评估方案可归为以下几类：实验设计、准实验设计和非实验设计。

　　利用下图，可以清晰地将这三者加以区分：(见图4—8)。

　　(一)非实验设计

　　非实验设计往往着眼于目标群体纵向的变化，它以项目涉及的整个目标群体作为参照，而不涉及专门的控制组或对照组。

　　非实验设计通常被运用于以下场合：

　　1.在培训项目涉及的范围十分广泛时，准确地确认具有建设意义的控制组和对照组别是不大可能的，它的实际困难在于：你无法或至少是很难定义不参与的人群。

　　2.许多项目的目标群体包容了特定地域内的所有人员，通常也会采用非实验设计。

　　图4—8实验设计、准实验设计和非实验设计之间的关系

　　3.在许多情形之下，有把握确认培训项目实施前后的目标群体在所有相关方面保持一致，也就是说假设没有培训项目的干预，前测和后测的结果应该是一样的。此种情形下，通常采用非实验设计。

　　在实践中，常用的非实验设计方案包括单组别前测后测设计和简单时间序列设计。

　　(二)实验设计

　　实验设计被认为是最具科学性、也最有说服力的评估设计。它具有以下几个特点：

　　1.随机实验(实验的参与者与控制组成员都是严格地根据随机原则抽取的)是项目评估领域中的旗舰，因为它们能够使项目本身在一个很高的置信度上对项目的结果(或无结果)做出解释。

　　2.它们的研究结果都能在项目干预活动和实际结果之间建立起某种因果关系，因此，随机实验的结论广泛地为政策制定者、项目人员以及公众所信赖。

　　3.实验设计的关键在于保证随机性。

　　在实践中，常用的实验设计方案包括前测一后测控制组设计;索罗门四小组设计：单一后测控制组设计;要素评估设计。

　　(三)准实验设计

　　准实验设计与实验设计的关键区别在于随机性。在实验设计中，样本的随机分配形成了具有完全可比性的两个组别：实验组和控制组。准实验设计用对照组取代了实验设计中的控制组。研究者努力创造一个与实验组在所有重要方面都尽可能相似的对照组，但与随机分配产生的控制组而言，它的可比性已经大为逊色了。

　　准实验设计通常都是回溯性的，即评估的决定是在培训结束之后做出的。这时，无法按随机性的原则产生控制组，实验设计也就不可能实现了。当然，没有随机性的保证，的确无法确立全等价的控制组，但是设计恰当的准实验设计同样会一个比勉强的实验设计更准确有效。

　　在实践中，常用的准实验设计方案包括前测一后测对照组设计;时间序列设计对照组设计和单一后测对照组设计。

　　三、选择适当的评估设计方案

　　选择适当的评估设计方案是评估策略中的重要组成部分。下面介绍几种最常用的评估设计以及每种设计的优点和缺点。

　　(一)一次性项目评估的设计

　　最常用的评估设计就是“一次性”培训项目的评估设计。这种方法只涉及一个小组，在培训之前没有收集任何数据。在培训之后对该小组只进行一次评估。有许多难以控制的因素会影响评估的结果，使得用这种设计所取得的结果失去效用。然而，为了提高这种方式的有效性，可以用某种策略对这种从“一次性”评估中得到的数据进行调整和分析，这种策略将在后面关于如何分解培训效果的章节中讨论。

　　当事前没有用任何方法来评估业绩表现或当培训项目实施之前没有足够的知识、技能或能力时，用这种方法来评估某个小组的业绩表现是很有用的。例如，有一组国际销售代表参加一个培训项目，以便了解将要在墨西哥市场销售的全新产品的情况。在培训之前试图了解他们对该新产品的了解情况，这是没有意义的。而在培训结束之后来了解他们对该产品的了解情况是比较合适的。

　　当受到财务、组织或时间方面的限制，而无法收集培训前的数据时，图4—9中所展示的这种一次性培训项目评估设计就会有一定的帮助。由于这种设计的效用最差，在评估中的参考价值最小，因而，只有在万不得己的情况下才使用。

　　图4—9一次性培训项目的评估设计

　　(二)单一小组、事前测试和事后测试的设计

　　如图4一lO所示，单一小组、事前测试和事后测试的设计，可以解决没有数据进行对比的问题。在人力资源开发培训项目之前和之后收集数据，这种设计要比一次性设计进了一步。将培训之前的知识、技能或态度与培训之后的知识、技能或行为进行比较，就可以确定改进的情况。

　　图4一10 单一小组、事前测试和事后测试的设计

　　这种设计的一个缺点就是事前测试的影响问题。事前测试有可能促使学员去研究所介绍的主题或所提出的问题。其结果是，事后测试的结果变化也许不是由于人力资源开发培训项目所产生的，而是由于学员参加的事前测试所导致的。这种设计的另一个缺点就是外部因素的影响，如组织、环境、工作条件或其他因素会导致业绩表现的变化。要消除测试的影响和外部因素的影响是十分困难的事情。

　　(三)单一小组、多重测评的设计

　　有一种非常流行的评估设计被称为单一小组、多重测评设计。这种用来评估人力资源开发培训项目的设计涉及培训前后一系列的评估。在这种设计中，实验组又是自己的对照组。在培训之前实施多重测评就会避免因不用对照组而产生的问题。事后采取重复性评估，不仅可以对原始结果进行比较，而且也可以对培训项目的长期效果进行评估。图4一l l所展示的这种设计，可以包括任何适当的评估方法。单一小组、多重测评的设计可以消除许多时间和选择对有效性的影响，但是不能避免流失率所带来的不利影响。

　　如图4一12所示，一个多重测评的设计会有几个结果。在结果A中，人力资源开发培训项目显然没有什么效果，在所评估的项目中没有发生任何变化。在结果B中有变化，这显然是培训项目引起的变化。在结果C中也有一些培训项目引起的微小变化，然而，学员又同到了以前的评估水平。显然，这个培训项目没有产生长期的效果。

　　图4一12 多重测评设计的结果

　　注：M代表测评，l～5代表测试的间隔

　　当作为组织业绩报告一部分的测评数据容易得到时，就适合实施多重测评设计。用这种设计，可以将人力资源开发培训项目所产生的影响与较长时间以前的业绩表现进行比较。

　　(四)对照组的设计

　　这种设计将涉及两个组的比较，即实验组和对照组的比较，被称之为对照组的设计，见图4—13所示。

　　实验组参加人力资源开发的培训，而对照组不参加这种培训。两个组的数据是在培训前和培训后收集到的。与对照组相比较，实验组的结果表明了人力资源开发培训项目的效果。

　　只有通过恰当的选择标准而选择出来的两个组的情况相同时，才能使用这种设计。每个小组中的学员，他们的工作级别大致相同，他们的经历、能力、工作条件甚至所在的地域都要大致相同。例如，将一线的主管与中层经理相比较就是不妥当的，这种差异就不能对培训后的业绩表现进行实质性的分析。

　　图4—13 对照组设计

　　随机抽样是对照组的理想选择方法。如果两个组中的学员来自相同的群体，并且可以随机抽样，那么这样的评估设计就成为真正的对照组设计。随机选择不仅能在培训开始之前使两个小组得到平衡，而且也使得评估的结果对于其他小组具有普遍性。然而，从实践的角度来看，对学员的选择很难做到随机抽样。如果情况真是这样，在报告评估结果时要承认这种设计的缺点。

　　真正的对照组的设计，是目前可用的最有效的评估设计之一。除测试的影响外，这种设计可以避免其他不利因素对有效性的影响。由于两个小组都要参加事前测试，因此对业绩表现的影响不大。

　　(五)理想化的实验设计

　　如图4—1 4所示，该评估设计展示了一种更加理想化的状况。这个综合性的设计涉及三个部分：对学员的随机抽样、对所选择的小组进行事前和事后测评。

　　图4—1 4 理想化的实验设计

　　如图4—14所示，小组A参加某个培训，接受事前测评和事后测评。对照组不参加该培训，但接受事前测评和事后测评。小组B参加该培训，不接受事前测评，但接受事后测评。

　　对照组消除了时间和流失率对有效性的影响。对于对照组来说，如果其事前测评和事后测评的结果相同，那么就可以得出结论，这两个因素对结果没有产生影响。而随机抽样所组成的小组又消除了选择给有效性所带来的影响。

　　用小组B是为了消除事前测评对人力资源开发培训结果的影响，真正意义上的对照组的设计缺点已经在前面讨论过了。如果小组A和B的事后测评结果相同，那么就说明事前测评对业绩表现没有产生影响。

　　在实施设计中，这种设计是最好的。然而，从实际来看，要得到三个随机选择的抽样小组是很困难的，这种操作所用的时间、费用、不便之处和管理程序等，将使之不能付诸实施。

　　(六)只有事后测评的对照设计

　　图4一15所展示的是一个成本低、实用性强的理想化实验设计，称之为只有事后测评的对照设计。

　　对随机抽样选择的实验组和对照组，只进行事后测评，这就减少了事前测评对学员所产生的影响。排除了事前测试，就可以减少前面所谈的评估设计的时间和成本问题。