프로그램 평가의 미래 : 더 좋은 도구상자와 더 좋은 망치(Kirkpatrick 4 level model, 커크패트릭 4단계 모형)

(출처 : http://www.kirkpatrickpartners.com/OurPhilosophy/TheKirkpatrickModel/tabid/302/Default.aspx)

손에 쥔게 망치밖에 없으면, 모든 문제가 못으로 보인다. - 에이브러햄 매슬로

I suppose it is tempting, if you only have a hammer, you tend to see every problem as a nail - Abraham Maslow (1966)

'도구의 법칙'이라 불리는 위 명제는, 망치의 문제를 말하려는 것이 아니라, 망치에 대한 우리의 과도한 의존성을 지적하는 것이다. 이 개념은 근래의 보건의료 교육에 대한 프로그램 평가에 적용될 수 있을 것이다. 결과중심의(outcomes-driven) 커크패트릭 4단계 모형은 보건의료 교육 프로그램을 평가하는데 주로 사용되는 모델이다.

Known as the law of the instrument, the metaphor does not cast a poor light on the hammer, but on our over-reliance on it. This concept is currently applicable to the field of programme evaluation in health care education. Currently, the four-level, outcomes-driven Kirkpatrick model is the dominant model used to evaluate health care education programming.

그러나 우리는 이 한계가 뚜렷한 모델에 과도하게 의존하고 있다. 여기에 대해서 우리는 "이 커크패트릭 모형을 발전시켜야 할까? 아니면 우리의 '도구상자', 즉 우리의 사고를 더 확장시켜서 어떻게 복잡한 프로그램이 의도한(또는 의도치 않은) 결과를 야기하는지를 이해하도록 노력해야 할까?" 라는 두 가지 질문을 모두 해볼 필요가 있다.

However, we have become over-reliant on this limited outcomes-driven model, which leads to the query; are we to continue to improve our use of Kirkpatrick (build better hammers) or do we expand our thinking, and thus our ‘toolbox’, to understand how complex programmes work to bring about both intended and unintended outcomes?

지금까지 보건의료 교육 프로그램을 평가하기 위한 모형은 수백가지가 있었지만, 네 단계를 모두 평가하는 것이 여전히 프로그램 평가의 기준처럼 생각되고 있다.

To date, the model has been used to evaluate hundreds of health care education programmes and the measurement at all four levels is still considered the reference standard in programme evaluation.2

커크패트릭이 원래 그러한 의도로 만든 것은 아니겠지만, 이 모델은 기본적으로 인과관계를 상정한다는 한계가 있다. 각 단계의 성과가 소위 '더 높고 가치로운' 단계를 예측할 수 있다는 인과관계를 가정하는 한, 이 모델은 문제가 있다. 최근의 조직개발과 관련한 연구 결과를 보면 3단계의 성과는 훈련 그 자체보다 외부적 요인에 의해서 더 잘 예측된다는 결과가 있다.

Although not Kirkpatrick’s original intent, the model’s shortcomings lie in its conceptualisation as causal; that outcomes at each level can predict outcomes at the so-called ‘higher and more valuable’ levels. With this conceptualisation, the model is flawed. Recent work in the field of organisational development found that changes in Level 3 outcomes were better predicted by factors external to the training itself.3

이 모델의 한계점은 이미 잘 알려져있기 때문에, 그것을 발전시키기 위한 노력이 끊임없이 있었다는 사실도 전혀 놀라울 것이 없다. 1단계에서는 반응(reaction)보다는 동기와 참여(motivation and engagement)를 측정해야한다는 점, 1단계를 측정하는 방법이 향상될 여지가 있으며, 3단계 측정은 행동(behavior)보다는 수행능력(performance)라는 점 등이다.

Challenges with this model have been known for some time, so it is perhaps not surprising that efforts continue to improve it; arguing that Level 1 should measure motivation and engagement rather than reaction,4 methods to measure Level 1 can be improved1 and Level 3 should measure performance rather than behaviour.5

또한 이 모델을 변형한 모델도 많다.

Furthermore, variations of the model are countless

하지만 모델을 개선시키거나 적용시키려는 노력에도 불구하고 최고 단계의 성과를 측정하기 위한 노력은 여전히 엇갈린다.

Despite efforts to improve or adapt this model, our attempts to measure outcomes at the highest levels are mixed at best.6

의학교육 분야에 대한 최근의 담론은 왜 이것이 이러한지를 보여준다. 의학교육 프로그램과 그 프로그램이 수행되는 시스템은 너무 복잡하고, 그래서 의학교육 연구에 대해서는 이러한 복잡성을 반영할 수 있는 새로운 패러다임이 필요하다는 것이다.

A recent conversation in the field of medical education can shed light on why this is. It has been argued that medical education programming and the system in which it lives is complex and that we need to consider alternative paradigms in medical education research that reflect that complexity.7

1950년대에 스푸트니크호의 발사에 따라, 미국 정부는 전(全) 시스템적 교과과정의 개혁을 시도했고, 이 새로운 교과과정의 평가를 의무적으로 수행하도록 했다. 그러나 이와 같은 결과중심적 평가에 대한 노력이 실패하면서, 1960년대에 수행 평가(practice evaluate)에 대해 새로운 생각을 하게 된 분수령이 되었다.

In response to the launch of the Sputnik satellite in the 1950s, the US Government engaged in system-wide curriculum reform and created legislation that mandated the evaluation of this new curricula. 9 The failure of these outcomes-driven evaluation efforts to generate information that was useful for curriculum developers contributed to a watershed decade in the 1960s around new ways to think about and practice evaluation. 

이 때 등장한 프레임이 프로그램의 과정(process)와 성과(outcome)을 같이 측정하는 것이다. 이 프레임에서는 어떻게 프로그램이 관찰된 성과를 유발시켰는지를 조사함으로써, 이해관계자들이 평가와 프로그램 개발을 포괄하여 프로그램에 대한 의사결정을 내릴 수 있게 도와주었다.

Frameworks emerged that measured both a programme’s processes and outcomes, examined how the programme worked to bring about observed outcomes and helped stakeholders make decisions about their programmes by seamlessly interweaving evaluation and programme development. 10 

프로그램 평가에서 '복잡성'에 대한 개념은 1990년대에 와서야 등장했다. Michael Patton은 "만약 인과관계 라는 것이 '모기와 모기에 물린 자국'의 관계라면, 프로그램 평가에 대한 우리의 사고는 귀인(행동의 변화가 프로그램에 의한 것인가?)에서 기여(우리가 지금 보고있는 결과에 대해서 이 프로그램은 무슨 역할을 했는가?)로 바뀌어야 한다.

The concept of complexity in programme evaluation emerged in the 1990s. Michael Patton, an advocate of complexity thinking in programme evaluation, argues, if ‘causality is the relationship between mosquitos and mosquito bites’, then our questions in the field of programme evaluation need to shift from questions of attribution (‘can we attribute behaviour change to our programme?’ or ‘did we meet our intended outcomes?’) to questions of contribution (‘what role did our programme play in the outcomes that we are noticing?’).

여기서 주장하는 것은 커크패트릭 모델을 더 이상 사용하지 말자고 하는 것도 아니고, 도구상자에서 망치는 빼버려야 한다고 말하는 것도 아니다. 오히려 반대로, 더 나은 망치를 만들고 어떤 도구를 사용해야하는지 이해하자는 말이다.

This is not a plea to do away with the Kirkpatrick model, or advocating that any toolbox should do away with a hammer. On the contrary, it is about building a better hammer and understanding when you need to use one in the first place.

커크패트릭 모델은 프로그램개발의 시작 단계에서는 효과적으로 사용될 수 있다. 하지만 여기에만 의존하는 것은 다양한 이해관계자가 얽혀 있는 프로그램에 못할 짓을 하는 것이다.

The Kirkpatrick model can be used effectively at the start of a programme’s development, but to rely on it solely to render judgement is doing a disservice to the value programmes have to their diverse stakeholders

'이것 또는 저것'이 아니라 '이것과 저것' 이라는 말의 정신을 되살리자면, 우리에게 중요한 것은 프로그램 평가를 발전시키는 것이지, 더 나은 망치만 만들거나, 더 나은 도구상자만 만드는 것이 아니다.

In the spirit of the quote ‘it’s not either/or but both/and’, what is important to the evolution of programme evaluation is not only building a better hammer, but building a better toolbox.

---

Med Educ. 2013 May;47(5):440-2. doi: 10.1111/medu.12185.

A better hammer in a better toolbox: considerations for the future of programme evaluation.

Parker K.

Source

Holland Bloorview Kids Rehabilitation Hospital, 150 Kilgour Road, Toronto, Ontario M4G 1R8, Canada. kparker@hollandbloorview.ca

Comment on

• 'What would my classmates say?' An international study of the prediction-based method of course evaluation. [Med Educ. 2013]