这是今年ASTD大会上的一幕:和他的仰慕者照完相后,Tony Kirkpatrick收拾好资料,按按裤子口袋,生怕掉了什么东西,然后从讲台上缓缓走下来。在环顾四周之际,他的助理拉着拉杆箱也来了,于是两人一起离开了会场。
或许连Kirkpatrick本人也记不清楚这是他的第几次演讲了,作为培训四级评估的创始人,从1959年创建该理论模型到今天,时间已经整整过了51个年头,他的专著《Evaluating Training Program》已经发行到了第四版。去年,ASTD为纪念该理论发表50周年,还重新发表他在1996年写的《Great Ideas Revisited》一文。
昨天刚听完一个培训公司的演讲,在电梯口碰到两位女士在讨论培训评估的事儿,其中一位向另一位就推荐了Kirkpatrick.当然她也不忘附带一句:其实真正要做到这样的评估是很困难的。
这也是Kirkpatrick经常遇到业内业外挑战的原因。
那些业务部门负责人,他们认为四级中1级—反应(Reaction)、2级—学习(Learning)、3级—行为(Behaviors)都不是他们关注的重点,只要4级—结果(Result)才有意义。但很多培训并不能马上给企业带来绩效。
而来自于培训业内的挑战声音则更具影响力。举例而言,在四级评估收集数据的过程中,我们习惯于将收集的数据平均。譬如,如果是5级评分制,5分为最好,1为最差。如果一个班40个学员给培训评分,可能会出现多种情况,一种情况是20个学员打了5分,20个学员打了1分,那么平均分就是3分;另外一种情况是每人给你打了3分,那平均分也是3分。
想象一下,这两种结果是一样的吗?很显然不一样。如果每个人打3分,那肯定这堂培训一般。这样的评分“尴尬”一直是四级评估需要面对的问题。尤其是针对3级、4级评估,收集数据本身就很困难,即使数据能收集,这样的数据处理结果对培训有意义吗?我们业务部门会在意吗?结果也是显而易见的。
那么,问题出在什么地方呢?
我们还是回到培训中来看。大家都知道,影响培训的因素有很多,基本上可以分为两大块:一块是培训本身,如培训课程的设置、培训师、教室安排等;另外一块是与培训相关的因素,或称之为培训的利益相关者,这其中包括参加人员是否合适、参加培训人员的直接主管对于培训的态度、公司高层对培训项目的态度等等。那么对培训效果影响最大的是什么呢?调查的结果和我们平时实际的感觉也是吻合的——不是培训本身,培训的利益相关者对培训效果的影响最大,这个比例高达80%.假如学员的直接主管对培训态度冷淡,学员行为就很难得到改变(3级),更遑论绩效的提高(4级)。
所以,四级培训评估第一个问题在于:培训评估对象的错误。四级评估评估的对象主要是学员对课程的反应,而这恰恰不是对培训效果产生最大影响的因素。
四级评估另外一个问题是没有和绩效相关的评估指标,所以业务部门觉得培训和“我”的关联不大。譬如销售指标中一项是“销售线索增加50%”,但我想很少有培训老师会把这一条放到评估中去。
再回到刚才的例子中,聪明的培训师肯定会进一步要思考下面这些问题:为什么会出现这么大的反差?为什么有20个学员说我好?好在什么地方?
为什么有20个学员会说我很差?差又差在什么地方?
说我好的20个学员会真正接受我所教的东西吗?如何来界定呢?谁是使用这些技能后的真正的获益者?
说我差的20个学员,如果不用我所教的东西,也能获得同样的结果吗?他们最终的绩效如何?
很显然,这个时候,你就有一种探究的欲望,想去发现这背后到底发生了什么,而且到底会发生什么。
这也是我在今年全美培训年会上的收获和感悟,姑且称之为“窥一斑而知全豹”的评估方法。其中重要的思路是:与其煞费苦心地收集表面的数据,还不如重点观察为什么同一个培训在部分学员身上会产生成功,而在另一部分学员身上却遭遇失败;哪些成功的因素是可以复制的,哪些失败的因素是可以避免的。
这种评估方法的好处在于不需要收集大量的无用的数据——业务部门不关注的数据,抓住了真正影响培训成功的利益相关者。关注绩效,同时使培训部门能够真正成为业务部门的伙伴。