새로운 커크패트릭 모델은 평가를 위한 더 나은 망치인가? (Med Teach, 2017)

새로운 커크패트릭 모델은 평가를 위한 더 나은 망치인가? (Med Teach, 2017)

Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox?

Katherine A. Moreaua,b,c

aFaculty of Education, University of Ottawa, Ottawa, Canada; bCentre for Research on Educational and Community Services, University of

Ottawa, Ottawa, Canada; cChildren’s Hospital of Eastern Ontario Research Institute, Ottawa, Canada

도입

Introduction

프로그램 평가 문헌에는 수많은 평가 모델이 있지만(Frye & Hemmer 2012; Stufflebeam2001), 커크패트릭의 원래 4단계 평가 프로그램(반응, 학습, 행동, 결과)은 광범위하게 사용된다. 그럼에도 불구하고, 그것은 비판의 대상이다. Frye와 Hemmer(2012년)는 Kirkpatrick의 원래 모델이 왜 교육적 프로그램이 작용하는지, 그 자체로는 보여주지 못하고 있다고 지적했습니다. 마찬가지로, 파커(2013년)는 우리가 Kirkpatrick(더 나은 해머 제작)을 사용할 수 있도록 개선할 필요가 있다고 주장합니다. [또한] 우리의 사고방식과 그에 따른 우리의 '툴박스'가 얼마나 복잡한 프로그램이 동작하는지 이해하기 위해 확장된다."(p. 440). 

While there are numerous evaluation models within the program evaluation literature (Frye & Hemmer 2012; Stufflebeam2001), Kirkpatrick’s original four-level (reaction, learning,behavior, results) outcome-focused model is widely usedto evaluate medical education programs. Nevertheless, it is subject to criticism. Acknowledging its shortcomings,Frye and Hemmer (2012) note that Kirkpatrick’s original model, on its own, fails to show why educational pro-grams work. Likewise, Parker (2013) argues that we need“improve to our use of Kirkpatrick (build better hammers) … [as well as] expand our thinking, and thus our ‘toolbox’, to understand how complex programmes work …” (p. 440). 

비판 1: Kirkpatrick은 레벨 3(Behavior) 및 레벨 4(Results)를 평가하는 데 어려움을 줍니다. 

Criticism 1: Kirkpatrick makes evaluating Levels 3(Behavior) and 4 (Results) challenging 

Kirkpatrick의 원래 모델의 사용에 대한 검토 결과, 의학 분야의 대부분의 연구자들이 레벨 2(학습)에서 평가를 중단한 것으로 나타났다(Yardley & Dornan 2012).

Reviews on the use of Kirkpatrick’s original model reveal that most investigators in medical education cease evaluations at Level 2 (Learning) (Yardley & Dornan 2012).

잠재적인 해결책으로 NWKM은 비순차적으로 또는 동시에 또는 역방향으로(즉, 레벨 4~1)(Kerkpatrick & Kirkpatrick 2016) 수준을 평가할 것을 제안한다. 또한, Kirkpatrick과 Kirkpatrick(2016)은 모든 프로그램에 "전체 평가 패키지"가 필요한 것은 아니라고 지적합니다(페이지 22). 그들은 프로그램 이해당사자들과 협력하여 가장 중요하고 유용하며 가치 있는 수준을 결정한 다음 이러한 수준만 평가할 것을 권고한다. 

As a potential solution the NWKM suggests evaluating the levels non-sequentially, concurrently, or in reverse (i.e. Levels 4 to 1)(Kirkpatrick & Kirkpatrick 2016). In addition, Kirkpatrick and Kirkpatrick (2016) note that not all programs require the“full evaluation package” (p. 22). They recommend collaborating with program stakeholders to determine the levels that are most important, useful, and evaluable and then only evaluating these levels. 

Kirkpatrick의 원래 모델에 대한 비판자들은 또한 일부 조사자들이 레벨 3과 레벨 4를 평가하기에 너무 어렵다고 느낀다는 것을 지적한다.

The critics of Kirkpatrick’s original model also note that some investigators find Levels 3 and 4 too hard to evaluate(Yardley & Dornan 2012).

Kirkpatrick과 Kirkpatrick(2016)은 이러한 어려움이 종종 프로그램 계획 중에 고려되는 것이 아니라, 사후에 고려되기 때문이거나, 레벨 3과 레벨 4의 식별된 결과가 프로그램과 무관하기 때문이라고 설명한다. 이러한 곤경을 피하기 위해, Kirkpatrick과 Kirkpatrick(2016)은 프로그램 계획 중에 프로그램 이해당사자들과 협력하여 행동과 결과 지향적 결과를 파악하고, 그들을 위한 지표들을 개발하고, 프로그램 자체에 그 자료를 수집하기 위한 메커니즘을 내장하는 것이 중요하다고 강조한다. 

Kirkpatrick and Kirkpatrick (2016)imply that this difficulty is often because the evaluation is an afterthought rather than something considered during program planning, or because the identified outcomes for Levels 3 and 4 are irrelevant to the program and its stakeholders. In order to avoid this quandary, Kirkpatrick and Kirkpatrick (2016) emphasize that it is important to identify the behavior and results-oriented outcomes in collaboration with program stakeholders during program planning, develop indicators for them, and embed mechanisms for collecting the data into the program itself. 

그들은 또한 레벨 4가 교육 프로그램이 조직의 목표나 수익bottom lines에 기여하는 것을 평가하는 데 초점을 맞춰야 한다고 추론한다. 따라서 환자성과가 꼭 레벨4의 초점이 되어야 하는 것은 아니다.

They also infer that Level 4 should focus on evaluating the contribution that educational programs make to organizations’ targeted goals or bottom lines (Kirkpatrick & Kirkpatrick 2016) and thus, patient outcomes do not need to be the foci of this level.

비판 2: 커크패트릭은 교란 변수를 무시한다.

Criticism 2: Kirkpatrick neglects confounding variables

NWKM은 학습자 특성과 조직 리소스 및 활동이 프로그램의 성공(또는 실패)에 미치는 영향을 인식합니다. 예를 들어, 레벨 3(Behavior)에서 Kirkpatrick과 Kirkpatrick(2016)은 평가를 위해 다음을 추가하여 원래 모델을 확장했습니다.

The NWKM acknowledges the impact that learner characteristics as well as organizational resources and activities have on the successes (or failures) of programs. For example, at Level 3 (Behavior), Kirkpatrick and Kirkpatrick (2016) expanded the original model by adding the following for evaluation:

1. 학습자가 학습한 지식/기술을 적용하도록 강화, 모니터링, 장려, 보상하는 프로세스

2. 정규 프로그램 외부에서 이루어지는 학습, [학습자가 학습한 지식/기술의 적용을 지원하는 프로그램 이후에 제공되는 멘토]뿐만 아니라 [프로그램을 위해 학습자를 준비하기 위해 조직이 하고 있는 작업 포함].(OTJ 학습)

3. 실천의 개선 또는 변경을 위한 학습자의 책임감과 동기 부여(OTJ 학습)

1. The processes that reinforce, monitor, encourage, and reward learners to apply the learned knowledge/skills (Required Drivers);

2. The learning that occurs outside the formal program, including what organizations are doing to prepare learners for programs as well as mentorship provided after programs to assist learners in applying learned knowledge/skills (On-the-Job Learning);

3. Learners’ sense of responsibility and motivation to improve or change their practice (also under On-theJob Learning).

레벨 2(학습) 측면에서 Kirkpatrick 및 Kirkpatrick(2016)은 범위를 확장하여 학습자의 다음을 평가합니다.

In terms of Level 2 (Learning), Kirkpatrick and Kirkpatrick (2016) expanded the scope to evaluate the extent to which learners:

1. 학습한 지식/기술을 실제로 적용할 수 있다고 인식하는 정도(자신감)

2. 지식/기술을 적용하려고 하는 정도(헌신)

1. Perceive that they will be able to actually apply the learned knowledge/skills (Confidence);

2. Intend to apply the knowledge/skills (Commitment). 

레벨 1(반응)의 경우, Kirkpatrick과 Kirkpatrick(2016)은 다음에 초점을 맞추는 방법을 추가했습니다.

Lastly, for Level 1 (Reaction), Kirkpatrick and Kirkpatrick (2016) added how evaluations should focus on the degree to which learners:

1. 학습 경험에 참여하고 기여하는 정도(참여).

2. 학습한 내용을 사용하거나 적용할 수 있는 기회에 대한 기대(관련성).

1. Are engaged in and contributing to the learning experience (Engagement);

2. Expect to have opportunities to use or apply what they learned (Relevance).

비판3: 커크패트릭의 인과관계 사슬은 근거가 없다.

Criticism 3: Kirkpatrick’s causal chain is unfounded

Bates(2004)는 Kirkpatrick의 원래 모델에 포함된 인과관계를 뒷받침할 수 있는 증거가 제한적이라고 강조합니다. NWKM은 이러한 연결의 문제를 인식합니다. Kirkpatrick과 Kirkpatrick(2016)은 "수준이 인과관계 또는 순차적이지 않다" (p.36)와 학습자의 지식/기술 획득이 실제로 이를 적용하는 능력을 예측하지 못하고 있다고 말합니다. 따라서, 우리는 그 수준을 어떤 순서로든 사용할 수 있다.

Bates (2004) highlights the limited evidence to support the causal chain embedded within Kirkpatrick’s original model. The NWKM recognizes the problems in these linkages. Kirkpatrick and Kirkpatrick (2016) discuss how “the levels are not causal or sequential” (p. 36) and that learners’ acquisition of knowledge/skill is not predictive of their abilities to apply it in practice. Therefore, we can use the levels in any order.

또한 NWKM은 인과관계망(2016년)보다는 근거의 사슬을 구축하고 평가하는 데 초점을 맞추고 있다. 이러한 증거사슬은 우리에게 모든 요소를 식별할 것을 요구하며, 주어진 성과에 변화를 가져왔다면, 프로그램 외부의 요인이라고 할지라도 적절한 credit을 줄 것을 요구한다. 

Additionally, the NWKM focuses on building and evaluating chains of evidence rather than causal chains (2016). These chains of evidence require us to identify and give appropriate credit to all factors, even those outside our programs, which bring about changes in the given outcomes (Mayne 2012).

전반적으로, NWKM은 Kirkpatrick의 원래 모델보다 반가운 발전이다.

Overall, the NWKM is a welcomed improvement from Kirkpatrick’s original model,

이전 모델보다 더욱 협력적이고 유연해 보입니다. 원래 모델과 비교하여, 그것은 또한 교육 프로그램의 맥락, 과정, 그리고 복잡성을 더 잘 수용하는 것처럼 보인다. 이것은 컨텍스트-입력-프로세스-제품 (CIPP) 모델 (Stufflebeam 2004)을 포함한 다른 평가 모델과의 유사성을 증가시킨다.

it appears to be more collaborative and flexible than its predecessor. In comparison with the original model, it also seems to better embrace the context, process, and complexity of educational programs, which increases its similarity with other evaluation models including the context–input–process– product (CIPP) model (Stufflebeam 2004).

Kirkpatrick JD, Kirkpatrick WK. 2016. Kirkpatrick's four levels of training evaluation. Alexandria (VA): ATD Press. 

---

Med Teach. 2017 Sep;39(9):999-1001. doi: 10.1080/0142159X.2017.1337874. Epub 2017 Jun 26.

Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox?

Moreau KA1,2,3.

Author information

1

a Faculty of Education , University of Ottawa , Ottawa , Canada.

2

b Centre for Research on Educational and Community Services , University of Ottawa , Ottawa , Canada.

3

c Children's Hospital of Eastern Ontario Research Institute , Ottawa , Canada.

Abstract

Although Kirkpatrick's original outcome-focused model is widely used to evaluate medical education programs, it is subject to criticism. To combat this criticism and address the complexities of learning environments, the New World Kirkpatrick Model has emerged. This brief article describes key aspects of the New World Kirkpatrick Model for program evaluation. Specifically, it highlights three major criticisms of Kirkpatrick's original model and discusses the ways in which this new model attempts to rebut them. By doing so, this article hopes to encourage medical teachers to try the New World Kirkpatrick Model in the evaluation of their complex educational programs and investigate its strengths and weaknesses.

PMID:

 

28649887

 

DOI:

 

10.1080/0142159X.2017.1337874