의학교육에서 에드가 데일의 배움의 피라미드: 신화의 확장(Med Educ, 2019)

Edgar Dale's Pyramid of Learning in medical education: Further expansion of the myth

Ken Masters

도입

1 | INTRODUCTION

에드가 데일의 학습 피라미드

1.1 | Edgar Dale's learning pyramid

교육 문헌에서, 학생들에게 학습 보존율을 보여주는, 그리고 보통 Edgar Dale (또는 NTL [National Training Laboratory])에 귀속되는 학습의 피라미드는 흔히 나타난다.1

In educational literature, a Pyramid of Learning, giving student learning retention rates and usually attributed to Edgar Dale (or the National Training Laboratories [NTL]), is a common feature.1

저자가 실시한 2013년 문헌 검토 결과 피라미드와 그 통계는 천문학, 생화학, 화학, 일반교육, 공학, 국제정치, 도서관학, 관리, 물리학, 가금류 과학 및 수의학 분야의 다양한 교육 문헌에 걸쳐 인용되었다. 또한 피라미드는 세계보건기구(WHO) 문서와 같은 비학문 문헌에서도 인용되었다.

A 2013 literature review conducted by the author1 showed that the Pyramid and its statistics had been cited across a diverse range of educational literature in astronomy, biochemistry, chemistry, general education, engineering, international politics, library science, management, physics, poultry science and veterinary science. In addition, the Pyramid had been cited in nonacademic literature, such as World Health Organisation (WHO) documentation.

피라미드의 가장 큰 문제는 피라미드가 전혀 증거에 기초하지 않는다는 것이다.

The chief problem with the Pyramid is that it is based on no evidence at all.

피라미드의 역사

1.2 | History of the Pyramid

피라미드의 역사를 정확히 추적하기는 어렵지만 몇 가지 포인터가 존재한다. 사물을 기억하는 가장 좋은 방법은 (듣거나 읽는 것이 아니라) 이미지를 보는 것이라는 주장은 적어도 170년 전에 제시되었다.2 그러나 이 저자가 교수법에 근거하여 학생 유지의 비율을 설명할 수 있는 가장 이른 언급은 1906년 찰스 로드스3의 글이다. 그는 "우리는 듣는 것의 10분의 1을 기억하고, 보는 것의 10분의 5을 기억하고, 우리가 하는 일의 10분의 9을 기억한다."고 주장한다. 도로들은 이 문장을 인용부호로 표시하지만, 출처를 알려주지 않기 때문에, 인용부호는 그것이 일반적인 표현이라는 것을 나타낼 수 있다.

It is difficult to trace exactly the history of the Pyramid, but a few pointers exist. The argument that the best way to remember things is to see images (rather than hearing or reading) was presented at least 170 years ago.2 The earliest reference that this author can find ascribing proportions of student retention based upon methods of teaching, however, is a 1906 article by Charles Roads,3 who argues that, “We remember one tenth of what we hear, five tenths of what we see, seven tenths of what we say, [and] nine tenths of what we do.” Roads places this sentence in quotation marks, but does not give any source, so the quotation marks possibly indicate that it is a common expression.

1913년부터 Socony Vacuum 정유회사가 백분율로 차트를 만든 20세기 중반까지 숫자4의 다양성이 있었다.5 이후, NTL은 그 수치와 함께 자체 차트를 제작했고, NTL에 따르면, 그 결과에 대한 원래의 연구는 없었지만, NTL은 그 수치를 가지고 "학습 피라미드"를 NTL에 귀속시켰다. 피라미드의 토대가 되는 original research는 지금까지 발견된 적이 없다.6

From 1913, there were variations of the numbers4 until the mid20th century, when the SoconyVacuum Oil Company produced a chart with the percentages.5 Later, “during the 1950s and 1960s” the NTL produced their own chart with their figures and “the Learning Pyramid became attributed to NTL,”6 although, according to the NTL, no original research on which to base the Pyramid has ever been found.6

미국 교육자인 에드거 데일이 피라미드와 그 수치와 어떻게 연관되었는지는 불확실하다. NTL에 따르면, "1954년 뉴욕에서 Edgar Dale Dryden Press가 출판한 "Audio-Visual Methods in Teaching"이라는 책의 43페이지에 약간 다른 숫자를 가진 유사한 피라미드가 나타났다."6 불행하게도, 다양한 판에서 데일의 Audio-Visual Methods를 자세히 읽어본 결과, 그러한 피라미드도 없고, 그런 수치도 나타나지 않았다. 이 텍스트에서 학습 피라미드에 가장 가까운 대상은 "경험의 원뿔"이다. 이 원뿔은 "각자가 제공할 수 있는 상대적 수준의 명료성에 따라 다양한 유형의 교재들을 분류한다"고 한다. 이는 모델일 뿐이며 학습 유지 비율도 없다. 사실, 그것은 학습 보존을 전혀 언급하지 않는다.

It is uncertain how Edgar Dale, an American Educator, became associated with the Pyramid and its figures. According to the NTL, “a similar pyramid with slightly different numbers appeared on page 43 of a book called Audio-Visual Methods in Teaching, published by Edgar Dale Dryden Press in New York, in 1954.”6 Unfortunately, a close reading of Dale's Audiovisual Methods in Teaching in its various editions7-9 has shown no such Pyramid and no such figures. In those texts, the object closest to a Learning Pyramid is a “Cone of Experience.” This Cone “classifies various types of instructional materials according to the relative degree of concreteness that each can provide.”9 It is a model only, and has no percentages of learning retention; in fact, it does not reference learning retention at all.

피라미드와 피라미드의 관련 비율은 완전히 신화적이라고 해도 무방하다.

it is safe to say that the Pyramid and its associated percentages are entirely mythical.

의학교육에서 학습 피라미드

1.3 | The Learning Pyramid in medical education

이 연구의 목적은 이러한 일이 일어나고 있는지 여부를 결정하고 질문에 답하는 것이다. 5년 만에 무엇이 달라졌는가?

The aim of this study is to determine whether or not this is happening and to answer the question: What has changed in 5 years?

방법

2 | METHODS

전체적인 방법은 이전 검토에서 수행된 검색을 반복하는 것이었다.

The overall method was to repeat the search that had been performed in the previous review.

결과

3 | RESULTS

전반

3.1 | Overall

(see Figure 1).

문헌과 출처

3.2 | Articles and their sources

표 1은 발견된 기사의 요약을 보여준다. 예상대로 에드거 데일과 NTL은 이 수치들의 주요 출처로 언급되고 있다. 그러나 뜻밖에도 이제는 구체적으로 피라미드를 반박하는 새로운 출처조차 피라미드를 지지하는 근거로 등장한다.

Table 1 shows a summary of the articles found. As expected, Edgar Dale and the NTL are cited as the main sources of the figures. Unexpectedly, however, new sources that specifically refute the Pyramid now also appear as supporting the Pyramid.

백분율

3.3 | The percentages

대부분의 저자들은 백분율을 인용한다(표 2 참조).

Most of the authors quote percentages (see Table 2).

증가하는 인용

3.4 | Increased citing

발견된 많은 수의 기사(그림 1)와 기사의 날짜(표 1)는 피라미드를 인용하는 경향이 증가하는 것을 나타내는 것으로 보인다. 실제로 2013년 리뷰의 의학 기사와 이 리뷰의 기사의 발행 일자를 도표로 나타낸다면, 그림 2에 도표가 표시되어 있다.

The high number of articles found (Figure 1) and the dates of the articles (Table 1) appear to indicate an increasing trend in citing the Pyramid. Indeed, if one plots the publication dates of the medical articles in the 2013 review and the articles in this review, one has the chart depicted in Figure 2.

마지막으로, 일부 연구자들은 피라미드가 심각한 한계를 가지고 있다는 것을 알고 있고, 심지어 피라미드의 신화적 지위에 대해서도 알고 있으면서도, 그들은 여전히 그것을 인용하고 있다.

Finally, even though some researchers are aware that the Pyramid has severe limitations, and they may even be aware of its mythical status, they are still citing it.

고찰

4 | DISCUSSION

조사 결과: 

• 피라미드를 인용하는 추세가 지속되고 심지어 증가했다고 한다. 

• 피라미드의 출처 수가 증가했다는 것. 

• 피라미드를 반박refutation하는 몇 가지 근거가 반대로 피라미드를 지지confirmation하는 것처럼 인용된다는 것, 

• 피라미드에 이의를 제기할 때에도 피라미드를 지지하는 것으로 인용되고 있다는 것이다.

It has found: 

• that the trend of citing the Pyramid has continued, and even increased; 

• that the number of sources of the Pyramid has increased; 

• that several refutations of the Pyramid are cited as confirmations of the Pyramid; and, 

• finally, that even when the sources dispute the Pyramid, they are still being cited in support of the Pyramid.

인용 트렌드

4.1 | Citation trend

첫 번째 연구 질문은 다음과 같았다. 2013년 검토 이후 피라미드에 대한 참조의 수는 사용량이 감소, 일정 또는 증가하는 추세를 나타내는가?

The first research question was the following: Do the number of references to the Pyramid since that 2013 review indicate a trend of decreasing, constant or increasing usage?

유행이 급격히 증가하고 있다. 이것은 부분적으로 의학 교육 간행물의 증가의 결과일 것이지만, 피라미드가 점점 더 많이 인용되고 있다는 것은 부인할 수 없는 사실이다.

the trend is increasing dramatically. This will, in part, be a result of increased medical education publication overall, but the fact remains that the Pyramid is being increasingly cited.

피라미드의 출처

4.2 | Sources of the Pyramid

두 번째 연구 질문은 다음과 같았다. 피라미드의 출처가 2013년 이전과 동일한가, 아니면 새로운 출처가 나타났는가? 요컨대 피라미드의 출처의 수가 증가했다.

The second research question was: Are the sources for the Pyramid the same as before 2013, or have new sources emerged? In short: the number of sources of the Pyramid has increased.

더 걱정스러운 것은 피라미드를 반박하는 여러 논문들이 현재 피라미드를 지지하는 증거로 인용되고 있다는 사실이다. 예를 들어, 표 1은 피라미드 인용의 흐름을 가로막는 마스터스 20131보다는, 현재 피라미드를 지지하는 최소 3개의 논문이 인용하였기 때문에, 실제로 이 문제에 기여했음을 보여준다.24-26

More worrying is the fact that several papers that are refutations of the Pyramid are now being cited as evidence supporting the Pyramid. For example, rather than Masters 20131 stemming the tide of Pyramid citations, Table 1 shows that it has actually contributed to the problem, as it has now been cited by at least three papers in support of the Pyramid.24-26

왜 반박 출처를 거론하는지 알 수 없다. 연구자들이 초록만 읽고 있거나, 피라미드를 찾아 기사에서 찾은 다음, 그 주위에 있는 어떤 글도 읽지 않는 것인지도 모른다.

It is difficult to know why the citing of refuting sources is happening. It may be that researchers are reading the abstracts only, or that they search for the Pyramid, find it in an article, and then do not read any of the text around it.

4.3 | 신뢰성이 없음에도 불구하고 숫자 인용

4.3 | Citing of the figures in spite of their unreliability

또 다른 걱정스러운 경향은 피라미드가 믿을 수 없다는 사실을 연구자들이 인정함에도 불구하고 여전히 연구자들에 의해 인용되고 있다는 사실이다. 아마도 여기서 문제는 학문적 작업에 있어서 너무 공손한 표현일 것이다: 피라미드를 반박하는 작가들은 그것이 쓰레기라고 구체적으로 말하지 않았고, 그들은 그것을 할 필요가 있다.

Another worrying trend is the fact that the Pyramid is still being cited by researchers in spite of the fact that those researchers acknowledge that it is not to be trusted. Perhaps the problem here is the too polite phrasing in academic work: authors who refute the Pyramid have not stated specifically that it is rubbish, and they need to do that.

2013년 평론에서 너무 공손한 언어가 그 예다. 나는 논문의 본문에 "배움의 피라미드는, 그 퍼센티지를 가진, 신빙성이 떨어지며, 어떤 의학 교육 문헌에서도 받아들여서는 안 된다"라고 꽤 노골적으로 썼다.

An example is the too polite language of the 2013 review. In the body of the paper, I wrote quite plainly: “The Pyramid of Learning, with its percentages, is discredited, and should not be accepted in any medical education literature.”

이것은 메네 외 연구진 33이 그 검토에서 피라미드를 인용하고 "이 피라미드 건설에 대한 과학적 원천은 논쟁의 여지가 있다"고 말하는 이유를 설명할 수 있을 것이다. 텐 케이트와 더닝은 그것을 "흔히 인용되었지만 잘 확립되지 않은 교수법의 계층구조"라고 묘사하고 있다.17 그리고 더 최근에는 "정확한 비율들이 광범위하게 논의되고 있다"고 언급하면서도, 그 수치를 인용하고 있다.

This might explain why Menet et al33 cite the Pyramid from that review and say that “scientific sources for the construction of this pyramid are debatable.” Ten Cate and Durning describe it as an “often cited, but not well founded hierarchy of teaching methods…”17 and, more recently, an editorial in the Journal of Vascular Surgery34 quotes the figures, in spite of noting that “these exact percentages are widely debated.”

따라서, 이제는 논문의 초록에서조차 예의 바른 학문적 발언speak을 중지할 때가 되었다. 결과적으로, 모호함이 없도록 정보를 명확하게 말하는 것이 가장 좋다.

it is time to put a stop to polite academic speak, especially in the article's Abstract. As a result, it is best to state the information clearly so that there is no ambiguity,

그리고, 이것이 (초록에서 반복한) 진술이다: 피라미드는 쓰레기고, 피라미드의 숫자(통계)도 쓰레기다. 그리고 그것들은 에드거 데일에서 나온 것이 아니다. NTL이 원래의 연구에 대한 세부사항을 제공할 수 있을 때까지, 그들의 버전은 또한 쓰레기처럼 취급되어야 한다.

And so, this is the statement (to be repeated in the Abstract): The Pyramid is rubbish, the statistics are rubbish, and they do not come from Edgar Dale. Until the NTL can provide details about the original research, their version must also be treated as rubbish.

4.4 | 낮은 수준의 연구논문 및 의학교육에 미치는 영향

4.4 | Poor research writing and its implications for medical education

연구자들이 1차 출처를 따르지 않고 기사를 제대로 읽지 않는 등 문제의 상당 부분이 잘못된 참고 기술에서 비롯된다는 것은 그 결과에서 명백하다.

It is apparent from the Results that much of the problem stems from poor referencing techniques: researchers’ not following through to primary sources and not reading articles properly.

의학 교육 연구원들은 순수 의학에서 기대할 수 있는 정확성, 근면성, 증거의 동일한 기준을 고수해야 한다. Edgar Dale이 원래 말했던 "경험의 원뿔"는 버려져서는 안 된다. 왜냐하면 그것은 "각자가 제공할 수 있는 상대적 수준의 concreteness에 따른 다양한 유형의 교육 자료"의 분류 체계로서 유용하기 때문이다. 그리고 전문적인 경험과 관찰을 바탕으로 의학 교육에서 하나의 대상으로 받아들여진다.

medical education researchers should hold themselves to the same standards of accuracy, diligence and evidence that one would expect in pure medicine.35-38 Edgar Dale's original Cone of Experience should not be dismissed out of hand, for it is useful as a classification system of “various types of instructional materials according to the relative degree of concreteness that each can provide”9 and is acceptable in medical education as an object based on professional experience and observation.35

4.5 | 피라미드 신화는 왜 지속되는가?

4.5 | Why does the Pyramid myth persist?

오히려 이 논문의 범위를 벗어나기는 하지만, 왜 아직도 신화가 인용되고 있는가를 되돌아보는 것이 유용할 수도 있다. 우리는 이미 연구자들이 그들이 인용하고 있는 출처를 읽지 않거나, 기껏해야 그들을 잠깐 노려보는 문제가 있다는 것을 보았다. 그러나 그 이면에는 능동적인 학습이 수동적인 학습보다 더 가치 있다고 느낄 가능성이 높고, 다소 직관적인 느낌이 있다. 위의 2-4를 인용한 19세기 및 20세기 초반의 출처는 이러한 느낌이 한동안 존재해왔으며, (특히 역사적으로 disadvantaged 그룹에 대해) 능동적 학습에 대한 증거가 있음을 나타낸다.39-42 이러한 영향은 강의실 배치가 능동적인 학습을 위해 특별히 설계된 경우 가장 두드러진다.43 따라서, 이것들이 피라미드의 타당성을 뒷받침하기 위해 결합되었을 가능성이 매우 높다. 가장 결정적으로 피라미드에 존재하는 활동의 깔끔한 숫자 대괄호numerical bracket의 매력을 무시할 수 없다.

Although it is rather beyond the scope of this paper, it might be useful to reflect on why the myth is still being cited. We have already seen that there is the problem of researchers’ not reading the sources they are citing or, at most, glancing briefly at them. Behind that, however, is the likely, and somewhat intuitive, feeling that active learning is more valuable than passive. The 19th-century and early 20th-century sources cited above2-4 indicate that this feeling has existed for some time and there is current evidence in favour of active learning methods, especially for historically disadvantaged groups.39-42 This impact is most noticeable if the classroom arrangement is specifically designed for active learning.43 So, it is very likely that these have combined to support the validity of the Pyramid. Most crucially, one cannot ignore the appeal of the neat numerical brackets of activities that exist in the Pyramid.

그러나 교육 분야에서 일하는 사람이라면 누구나 경종을 울려야 하는 것이 바로 이러한 깔끔한 수치이다. 나는 이 수치들을 어린 교육생으로 처음 보았고 나의 즉각적인 반응은 "그래? 모든 문화, 모든 연령, 모든 주제, 항상 일관되게? 그게 어떻게 막연히 가능한가?" 나는 아직도 어떻게 교육학자가 브라질에서 수학을 공부하는 10세 소년의 학습 보유율이 일본의 제2외국어로서 영문학 공부를 하는 60세 여성의 그것과 동일할 수 있고, 또한 24세 아이비리그 공학 학생과도 동일할 수 있다고 믿을 수 있는지 당혹스럽다. 자신의 개인적 경험을 통해 스스로에게 다음과 같이 물어보십시오. 단순히 남을 가르쳐보면, 배운 모든 것의 90%를 정말로 기억하는가? 이 피라미드를 바탕으로, 세계의 모든 선생님들은 그들이 가르친 모든 것의 90%를 기억한다. 그것은 확실히 "직관"을 환상으로 멀리까지 확장시키는 것이다.

But it is surely those very neat numerical brackets that must set off alarm bells for anybody who works in education. I first saw these figures as a young education student and my immediate reaction was “Really? Across all cultures, all ages, all subjects, consistently for all time? How is that even vaguely possible?” I am still rather perplexed at how an educationist could believe that the learning retention rates for a 10-year-old boy studying mathematics in Brazil could be identical to those of a 60-year-old woman studying English Literature as a second language in Japan, and could also be identical to a 24-year-old Ivy League Engineering student. From your own personal experience, ask yourself: Do you really remember 90% of all that you have learned simply because you taught it? Based on this Pyramid, every teacher in the world remembers 90% of everything they have ever taught. That is surely stretching “intuition” far into fantasy.

피라미드 신화의 더 큰 맥락은 물론 교육에서 몇몇 다른 신화의 시작과 지속이다. 아마도 가장 주제적인 신화는 "학습 스타일"에 관한 것일 것이다. 학습스타일을 매우 간략하게 요약하자면, (복잡한 범위의 이론적 기초와 접근으로) 학생들이 다른 유형의 미디어를 선호하면 학습 보존과 효과의 차이를 초래한다고 주장한다. 학습스타일은 교육에 광범위하게 사용되고 있다. 학습 스타일은 그것의 사용에 반대하거나, (적어도) 신중하고 신중한 사용에 대해 논쟁하는 몇 가지 상세한 연구에도 불구하고 계속 사용된다. 피라미드와 학습 양식 모두에서, 신화를 진압하는 가장 좋은 방법은 이론의 기초가 되는 경험적 증거를 요구하는 것으로 보인다. 경험적 증거가 없거나, 경험적 증거가 오해된 것일 수도 있다.50

The larger context of the Pyramid myth is, of course, the beginning and persistence of several other myths in education. Perhaps the most topical myth concerns that of “learning styles,” which, in very brief summary, argues that students’ preference for different types of media leads to differences in learning retention and effectiveness, with a complex range of theoretical underpinnings and approaches, and is used extensively in education.44-46 The use of learning styles continues, in spite of several detailed studies arguing against their use or for (at best) circumspect and cautious usage.44,45,47-49 In both the Pyramid and learning styles, it appears that the best way to squash the myth is to call for the empirical evidence underlying the theory. It may be that there is no empirical evidence, or that the empirical evidence has been misunderstood.50

4.6 | 본 연구의 한계

4.6 | Limitations of this study

4.7 | 포스트스크립트

4.7 | Postscript

위에 인용된 수치 외에도 2018년도는 피라미드를 인용한 기사가 더 늘었다는 것을 알 수 있다.

In addition to the figures cited above, it is apparent that 2018 shows a further increase in the number of articles citing the Pyramid.

5 | CONCLUSIONS

Med Educ. 2019 Oct 1. doi: 10.1111/medu.13813. [Epub ahead of print]

Edgar Dale's Pyramid of Learning in medical education: Further expansion of the myth.

의학교육에서 에드가 데일의 배움의 피라미드: 문헌 고찰(Med Teach, 2013)

Edgar Dale’s Pyramid of Learning in medical education: A literature review

KEN MASTERS

도입

Introduction

교육훈련서적, 컨퍼런스 리포트, 동료 리뷰 저널 기사에서는 문제 기반 학습(북)과 같은 활동에 참여하는 학생들의 체류율을 설명할 때까지 학생들이 듣는 것의 10%, 읽은 것의 20%, 그리고 이러한 보유 비율의 10배 증가를 기억한다는 것이 널리 인용되고 있다.목재 외, 2003; 우드 2004; 우즈 2006; 예 외, 2011), 컴퓨터 기반 훈련 및 시뮬레이션(Barnes 2001; Buler 외, 2001; Chen et al. 2007; Krain & Lantis 2006) 사례 기반 학습(Golich et al. 2000년) 및 기타 구성주의 활동(Harker 2008; Khan et al. 2012; Pinto et al. 2012).

In education and training books, conference papers and peer-reviewed journal articles, it is widely cited that students remember 10% of what they hear, 20% of what they read, and these percentages of retention increase in multiples of 10 until they describe the retention rates of students involved in activities such as problem-based learning (Northwood et al. 2003; Wood 2004; Woods 2006; Yeh et al. 2011), computer-based training and simulation (Barnes 2001; Buehler et al. 2001; Chen et al. 2007; Krain & Lantis 2006) case-based learning (Golich et al. 2000) and other constructivist activities (Harker 2008; Khan et al. 2012; Pinto et al. 2012).

이러한 컨퍼런스 및 저널 기사의 비율은 WHO(PAHO 1997), 유네스코(Obana 2010), 세계은행(n.d.), 유럽생명공학 가상캠퍼스(Kybartaite et al. 2007), 뉴캐슬 온 타이인 대학(2004) 및 주립 대학, 주립 지원 뉴스레터들 (Iowa Department on Aging 2009) 등과 같은 유명 비학문 자료에서도 나타난다.

The percentages from these conference and journal articles are also supported in documents from well-respected, non-academic sources such as the WHO (PAHO 1997), UNESCO (Obanya 2010), the World Bank (n.d.), the European Virtual Campus for Biomedical Engineering (Kybartaite et al. 2007), the University of Newcastle Upon Tyne (2004) and even State sponsored newsletters (Iowa Department on Aging 2009).

이 퍼센트의 근거가 되는 연구를 인용할 때, 저자들은 때때로 이차적 출처를 인용한다(Lagowski 1990; Golich 등). 2000; Buler 등; 2001; Joss 2001; Obana 2010; Pinto 등. 2012) 또는 전혀 출처가 없는 경우도 있다.(PAHO 1997; Barnes 2001; Iowa Department on Aging 2009; Martinez & Jaganathan 2010).

When citing the research on which these percentages are based, authors sometimes cite secondary sources (Lagowski 1990; Golich et al. 2000; Buehler et al. 2001; Joss 2001; Obanya 2010; Pinto et al. 2012) or no sources at all (PAHO 1997; Barnes 2001; Iowa Department on Aging 2009; Martinez & Jagannathan 2010).

이 연구의 가장 흔한 두 가지 주요 원천은 응용 행동과학의 학습 피라미드(Kybartite et al. 2007; World Bank n.d)를 위한 국립 훈련 연구소(NTL)와 에드거 데일의 학습 원뿔 또는 학습 피라미드 (Campbell 1993; Bernardo 2003; Learning Northwood et al.; Krain & 2006; Wood et; 2006; 2006; 2006; Wood 첸 등이다.007; Harker 2008; Elouarat 외, 2011; Yeh 외, 2011; Khan 외, 2012; Pinto 외, 2012). 때때로 소코니-진공 석유 회사의 연구도 인용된다(Golich et al. 2000).

The two most common primary sources of the research are the National Training Laboratories (NTL) for Applied Behavioral Science’s Pyramid of Learning (Kybartaite et al. 2007; World Bank n.d.), and Edgar Dale’s Cone of Learning or (Campbell 1993; Bernardo 2003; Pyramid of Learning Northwood et al. 2003; Krain & Lantis 2006; Woods 2006; Chen et al. 2007; Harker 2008; Elouarat et al. 2011; Yeh et al. 2011; Khan et al. 2012; Pinto et al. 2012). Occasionally, the Socony-Vacuum Oil Company’s research is also cited (Golich et al. 2000).

이 퍼센트의 분명한 신뢰성이 확고히 확립되어 있기 때문에, 의심받을 만한 것은 아무것도 없어 보인다. 그러나 이러한 백분율을 대충 훑어보는 것은 분명히 경보를 유발해야 한다. 인간의 행동은 거의 모든 경우에 5 또는 10의 배수로 깔끔한 비율로 분류될 수 없다.

With the apparent credibility of these percentages firmly established, there appears nothing to be questioned. A cursory glance at these percentages, however, should surely trigger an alarm: human behaviour can seldom, if ever, be classified into neat percentages in multiples of 5 or 10.

피라미드를 지지하는 증거를 검토하는 것은 매우 중요하며, 분명한 출발점은 피라미드의 주요 출처에 상세히 기술된 연구다.

it is crucial to examine the evidence supporting the Pyramid, and the obvious starting point is the research detailed in the primary sources of the Pyramid.

피라미드의 출처와 백분율

The sources of the Pyramid and the percentages

이러한 백분율의 첫 번째 가능한 주요 출처인 NTL은 이 피라미드를 지원하는 출판되거나 출판되지 않은 연구 데이터를 가지고 있지 않다. NTL(Raymond 2012)의 이메일 서신에 따르면, 학습의 피라미드는 자체 연구에 기초하고 있다고 한다. 그러나 이 연구가 어디있는지 찾을 수 없었고 이 연구의 세부사항을 제공할 수 없다고 답했다. 그럼에도 불구하고, NTL은 "'학습 피라미드'가 변형된 것으로 보이며, 오랫동안 NTL의 결과로 귀속되어 왔다"고 설명한다. NTL 학습 피라미드(때로는 약간 다른 백분율로 표시됨)는 [그림 1]과 같다.(레이몬드 2012)

The first possible primary source of these percentages, the NTL, does not have any research data, published or unpublished, supporting its Pyramid. According to email correspondence from the NTL (Raymond 2012), its Pyramid of Learning is based upon its own research, although it has never been able to locate this research and has not been able to provide details of this research. Nevertheless, the NTL explains that ‘‘the Learning Pyramid as such seems to have been modified and has long been attributed to NTL. The NTL Learning Pyramid, sometimes with slightly different percentages, appears as [Figure 1].’’ (Raymond 2012)

NTL은 또한 에드거 데일이 1954년(레이몬드 2012) 본문에서 '조금 다른 숫자들을 가진 비슷한 피라미드'를 제작했다는 것을 인정한다. NTL에 따르면, "다음 [그림 2]는 Edgar Dale의 강의에서 시청각적 방법에 기인한 피라미드다." (레이몬드 2012).

The NTL further acknowledges that Edgar Dale produced ‘‘a similar pyramid with slightly different numbers’’ in his 1954 text (Raymond 2012). Audio-Visual Methods in Teaching According to the NTL, ‘‘The following [Figure 2] is the pyramid attributed to Edgar Dale’s Audio-Visual Methods in Teaching.’’ (Raymond 2012).

그러나 이 두 번째 (잠정적) 1차 출처를 보면 뭔가 다른 것을 볼 수 있다. Edgar Dale은 교수법에 관한 그의 책, 시청각 방법에서(Dale 1946, 1954, 1969), 에드가 데일은 '경험의 원뿔'(그림 3)을 제시하였지, 피라미드를 제기한 것이 아니다. (그의 텍스트의 다른 판들을 통해 텔레비전의 포함과 같은 몇 가지 업데이트가 있었을 뿐이다). 가장 중요한 것은 NTL에 의해 데일에 귀속된 학습의 피라미드와는 달리 데일의 경험론은 숫자나 백분율이 없으며, 특정 유형의 입력 소스나 활동에서 또는 어떤 기간 동안 또는 어떤 입력 소스나 활동으로부터도 정보를 보존할 수 있는 제안도 없다.

When we look at this second possible primary source, however, we see something different. In his text Audiovisiual methods in teaching (Dale 1946, 1954, 1969), Edgar Dale presents a ‘‘Cone of Experience’’ (Figure 3), and not a Pyramid of Learning. (Through the different editions of his text, there were some updates, such as the inclusion of television.) Most importantly, unlike the Pyramid of Learning attributed to Dale by the NTL, Dale’s Cone of Experience has no numbers or percentages, and no suggestion of retention of information from any input source or activity of any type, or for any length of time.

데일의 경험론은 단지 분류 도표일 뿐이다. 이 원뿔은 '각각의 경험이 제공할 수 있는 상대적 수준의 concreteness에 따라 다양한 유형의 교육 자료를 분류'한 것이다(1969년 데일). 데일은 자신의 경험담을 '모형일 뿐'이라고 말하며, "시각적 아날로지"로서 두뇌의 기능을 이해하기 위한 컴퓨터의 비유와 비교한다.

Dale’s Cone of Experience is merely a classification diagram. It ‘‘classifies various types of instructional materials according to the relative degree of concreteness that each can provide.’’ (Dale 1969). Dale presents his Cone of Experience as ‘‘only a model,’’ a ‘‘visual analogy,’’ comparing it to the analogy of the computer for understanding the functioning of the brain.

또한 일반적으로 인용되는 학습의 피라미드와 달리, 원뿔의 하단부에 있는 경험이 상단부에 있는 경험보다 우수하다는 암시도 없다. 반대로 데일의 토론에서는, 비록 모든 학습이 그렇게 이루어지는 것은 아니지만, 암시적으로 원하는 지향하는 방향을 굳이 말하자면, 상단부apex의 경험이 추상화abtraction를 지향하는 경향이 있다.

In addition, unlike the Pyramid of Learning commonly cited, there is no suggestion that the experience at the base is superior to the experience at the apex. On the contrary, in Dale’s discussion, if there is an implied desired direction of movement, it tends towards the abstraction at the apex, although not all learning happens like that.

데일은 '직접적이고 직접적인 경험'이 우리 학문의 기초를 이루는 가치를 기술하지만, 그는 또한 '물론 인간의 삶은 직접적이고, 구체적이며, 감각적인 수준에서 독점적으로 살 수 없다'고 분명히 언급하고 있으며, 많은 경우 학습은 더 높은 수준의 추상화를 지향하는 경향이 있다. 원뿔은 '교육 메시지instructional message를 얼마나 더 혹은 덜 추상적인가의 관점에서만 분류'하고 있을 뿐이며, 이것은 '학습 과정의 실제적인 서열'이 아니다. 교수자와 학습자는 모든 단계를 통과할 수 있어야 한다.

While Dale describes the value of the ‘‘direct, firsthand experiences that make up the foundation of our learning,’’ he also makes it clear that ‘‘human life cannot, of course, be lived exclusively on the direct, concrete, sensory level,’’ and frequently learning tends towards higher levels of abstraction. The Cone ‘‘classifies instructional messages only in terms of greater or lesser concreteness or abstractness,’’ and it is not an ‘‘exact rank order of learning processes.’’ The teacher and learner must be able to move through all levels.

요컨대(상식과 모순되는 것은 둘째치고라도) 이러한 비율의 숫자도 의심스럽다.

In short (apart from contradicting common-sense), these percentages are questionable

그렇다면 피라미드 구조와 퍼센티지는 그 어떤 실질적인 것에도 기초하고 있지 않은 것으로 보인다.

It appears, then, that the pyramid structure and the percentages are based on nothing substantial.

의학교육의 문제

The problem for medical education

의학교육을 뒷받침하기 위한 강력한 교육 연구와 이론의 필요성은 잘 알려져 있다(Pauli et al. 2000, 콜린스 2006, 깁스 외 2011). 게다가 의료 교육 관행은 가정과 잘못된 가정이 아니라 진정한true 연구에 기초해야 한다는 것이다.

The need for strong education research and theory to underpin medical education is well-recognised (Pauli et al. 2000; Collins 2006; Gibbs et al. 2011). It follows, moreover, that medical education practice must be based on true research, and not on suppositions and invalid assumptions.

방법

Methods

학습의 피라미드는 (실제 피라미드 없이 포함) 다양한 방법으로 표시될 수 있고, 다양한 출처로부터 참조될 수 있기 때문에 검색 용어는 넓었다.

Because the Pyramid of Learning might be displayed in a variety of ways (including without an actual pyramid), and might be referenced from a range of sources, the search terms were broad.

결과

Results

전반

Overall

피라미드의 기원과 적용가능성에 대해 의문을 제기하는 논문은 단 하나만 찾을 수 있었다. 갤러거 외 연구진(2012년)은 '학습 보존 피라미드'의 권한과 기원에 대해 일부에서 논란이 되고 있다고 지적하고 랄리와 밀러(2007년)를 인용한다. 그럼에도 불구하고 갤러거 외 연구진은 여전히 피라미드의 백분율을 워크숍에서 토론을 자극하기 위해 사용했다.

This search could find only one article that questioned the origin and applicability of the Pyramid. Gallagher et al. (2012) noted that the ‘‘authority and origins of the [Learning Retention Pyramid] are disputed in some quarters,’’ and cite Lalley and Miller (2007). Nevertheless, Gallagher et al. still used the percentages in the Pyramid to stimulate discussion in their workshop.

기사 및 그 출처

Articles and their sources

표 1은 발견된 기사의 요약을 제시한다.

Table 1 gives a summary of the articles found.

데일의 1차 텍스트(Dale 1946, 1954, 1969년) 외에도 편집된 텍스트에서 그의 피라미드 복제에 대한 언급은 세 가지가 있다.

In addition to Dale’s primary text (Dale 1946, 1954, 1969), there are three references to a replication of his Pyramid in an edited text.

본문을 점검한 결과, Donald Stewart(1969)의 한 챕터를 발견하게 되는데, 이 장에서는 Dale의 경험론에 대해 상세히 설명하고 자신의 해석 도표를 제공한다(그림 5).

Upon inspecting the text, one finds a chapter by Donald Stewart (1969) in which he elaborates on Dale’s Cone of Experience and supplies a diagram of his own interpretation (Figure 5).

백분율

The percentages

Hazlett(2009년)를 제외한 모든 저자들은 백분율을 인용한다.

All of the authors, apart from Hazlett (2009), quote percentages.

그러나 연구자들이 제시한 퍼센트는 표 2에 제시되어 있지만, 다양한 활동을 통해 몇 퍼센트의 정보를 보유하는지에 대해서는 합의가 이루어지지 않은 것으로 보인다. 

The percentages, as given by the researchers, are given in Table 2.  however,  it appears that there is no agreement on what percentage of information is retained through the different activities. 

고찰

Discussion

2012년에 논문의 상당 부분이 출판되었다는 사실은 피라미드와 그 비율이 현재 의학 교육 문헌에서 여전히 인용되고 있다는 것을 보여준다. 또한, 의학교육을 다루는 새로운 기사와 책을 통해 오류는 더 강화되고 있다(Frith 2013; Risavi et al. 2013; Sewell 2013).

The fact that a sizable proportion of the articles was published in 2012 indicates that the Pyramid and its percentages are still currently being cited in medical education literature. Further, the error is being reinforced in new articles and books dealing with medical education (Frith 2013; Risavi et al. 2013; Sewell 2013).

형편없는 참고문헌

Poor referencing

일부 작가들은 선의로 존경할 만한 2차 자료를 인용하고 있는 것이 분명하다. 2차 출처를 언급하는 것은 거의 권장되지 않지만, 반드시 받아들일 수 없는 학문적 관행을 나타내는 것은 아니다. 마찬가지로, 몇몇 저자들은 NTL 도표를 주요 소스로 인용했고, 따라서, 그 피라미드에 존재할 수 있는 오류에 대해서까지 비난할 수는 없다.

It is apparent that some authors are citing respectable secondary sources in good faith. While citing secondary sources is seldom advisable, it does not necessarily indicate an unacceptable academic practice. Similarly, several authors have cited the NTL diagram as a primary source, and, therefore, cannot be blamed for errors that may exist in that Pyramid.

그러나 다른 많은 경우에서는 부실한 참고문헌 인용 패턴이 발견되었다. 이는 연구를 저해하고 모순된 비율에 기여하기도 한다. 이것들은 사소한 인쇄상의 오류나 잘못 배치된 구두점 오류가 아니라 더 깊은 무언가에 대한 증거다. '사기'라는 단어는 아마도 너무 지나칠지 몰라도, 연구 결과는 명백히 학문적으로 만족스럽지 못한 모습을 보여주고 있다. 

In many other cases, however, there is a pattern of poor referencing, and this serves to undermine the research and also contributes to the contradictory percentages. These are not minor typographical errors or misplaced punctuation errors (for which students are routinely berated), but evidence of something deeper. The word ‘‘fraud’’ is probably too strong, but the evidence does point to something academically unsatisfactory. 

또한 일부 저자들이 2차 출처(예: Pei 2003)를 인용한 경우에는, 그 2차 출처문헌 자체가 존재하지 않기 때문에 저자들이 그 text를 consult했을 가능성은 낮다. 

In addition, where some authors have cited secondary sources (e.g. Pei 2003 citing Lagowski 1990), it is unlikely that the authors had consulted the text, as it does not exist. 

2차 출처가 존재하는 경우에서도, 여러 문헌들은 학술 논문의 주장을 뒷받침하는 텍스트로서 의심스럽다. 일부 경우(예: Gordon 1996; Murphy 1998; Kumar et al. 2009), 백분율은 아무런 언급이나 인용 없이 제시되기도 하는데, 이 말은 그 백분율이 자명하게 정확하다는 것을 함축한다. 이러한 텍스트는 그 후에 또다시 다른 텍스트(예: Keulers & Spauwen 2003)의 데이터 출처가 된다.

In cases where the secondary sources do exist, many are questionable as texts supporting arguments in an academic paper. In some cases (e.g. Gordon 1996; Murphy 1998; Kumar et al. 2009), the percentages are given without any reference or citation, and the implication is that they are self-evidently correct. These texts then become a source of data for other texts (e.g. Keulers & Spauwen 2003).

의학교육의 시사점

Implication for medical education

증거의 질에 대한 하든 외 연구진(1999)의 논의에 따르면, 에드거 데일의 경험의 원뿔(Cone of Experience)은 그의 전문적인 경험과 관찰에 기초하고 있기 때문에 여전히 분류 체계로서의 가치를 지닐 수 있다. 그러나 단순한 분류 체계를 넘어, 학습에서 retention 비율까지 적용하는 지점으로 이동하면, 이는 어떤 종류의 '측정'을 가정하고 있는 것이다. 즉, 우리는 이 비율에 대해 질문을 해야 한다. '이 측정은 어떻게 수행되었는가?’’

Harden et al.’s (1999) discussion of the quality of evidence supports the idea that Edgar Dale’s Cone of Experience still has value as a classification system, as it is based on his professional experience and observation. A move to a point at which we apply percentages of learning retention, however, assumes measurement, and we should ask the pertinent question that we would ask of any medical research: ‘‘howwas this measurement performed?’’

학습의 피라미드나 그 비율이 연구에 근거하는 것으로 검증될 수 있을 때까지, 의료 교육 연구자들은 이와 관련된 정보를 사용하는 것을 경계할 필요가 있다. 또한 아제르 외 연구진(2012년)이 지적한 바와 같이, 의료 교육 저널의 동료 검토자들이 참고문헌이 정확하게 보고되도록 할 필요가 있다.

Until the Pyramid of Learning or its percentages can be verified as grounded in research, there is a need for medical education researchers to be wary of using the information associated with them. There is also a need, as noted by Azer et al. (2012), for peer-reviewers of medical education journals to ensure that references are accurately reported.

이 연구를 통해, NTL을 인용하든, Edgar Dale을 인용하든 간에 학습의 피라미드는 실체가 없다는 것은 명백하다.

From this study, it is obvious from the background that, whether citing the NTL or Edgar Dale, the Pyramid of Learning has no substance.

함의

Implication for the NTL

적어도 연구자들과의 교신에서, 존재하지 않는 에드거 데일의 학습 피라미드에 대한 언급은 중단해야 한다.

At the very least, it should stop referring to Edgar Dale’s non-existent Pyramid of Learning in its correspondence with researchers.

Limitations

Conclusion

Edgar Dale's Pyramid of Learning in medical education: a literature review.

멀티미디어 설계 원칙을 이용하여 수업 진행한 효과(Med Educ, 2013)

Teaching for understanding in medical classrooms using multimedia design principles

Nabil Issa,1 Richard E. Mayer,2 Mary Schuller,1 Edward Wang,1 Michael B. Shapiro1 & Debra A. DaRosa1

도입

INTRODUCTION

메이어의 멀티미디어 원칙의 사용4는 대학생들의 retention(표시된 것을 기억)와 transfer(새로운 문제를 해결하기 위해 배운 것을 적용)을 향상시키는 것으로 나타났다.5–7

use of Mayer’s multimedia principles4 has been shown to improve retention (remembering what was presented) and transfer (applying what was learned to solve novel problems) in undergraduate college students.5–7

'멀티미디어'라는 용어는 시각 자료(예: 삽화와 같은 정적 이미지 또는 애니메이션과 같은 동적 이미지)와 언어 자료(예: 인쇄된 단어 또는 구어)의 존재를 말하며, 이러한 맥락에서 학습자에게 새로운 지식을 알리고 설명하는 데 사용된다.

The term ‘multimedia’ refers to the presence of both visual material (i.e. static images suchas illustrations or dynamic images such as animation) and verbal material (i.e. printed words or spoken words), which, in this context, are used to inform and explain new knowledge to learners.

교육자들은 빠르게 진화하는 기술을 교육의 새로운 잠재적 환경으로 사용하는 것의 중요성을 인식했다.8–10

Educators have recognised the importance of using rapidly evolving technologies as new potential environments for education.8–10

효과적인 멀티미디어 교육 자료의 설계는 인간이 어떻게 정보를 배우고 보유하는지에 관련된 선천적인 인지 프로세스를 강화해야 한다.8-10 잘못 설계된 멀티미디어 자료는 학습자들을 압도하고 혼란스럽게 할 수 있다.1 멀티미디어 학습의 인지 이론은 효과적인 증거 기반 멀티미디어 메시지를 개발하기 위한 원칙을 제공한다. 이 이론은 Mayer4에 의해 인지 부하 이론 12와 이중 채널 코딩 이론 13,14에 의해 개발되었으며, 경험적 연구15와 실제 적용에 의해 뒷받침된다.8,16,17

The design of effective multimedia educational materials should enhance the innate cognitive processes involved in how humans learn and retain information.8–10 Poorly designed multimedia materials may overwhelm and confuse learners.11 The cognitive theory of multimedia learning provides principles for developing effective, evidence-based multimedia messages. The theory was developed by Mayer4 based on cognitive load theory12 and dualchannel coding theory,13,14 and is backed by empirical research15 and real-world applications.8,16,17

초기 연구18,19는 rote learning이 즉각적인 보유 후 테스트에서 좋은 성과를 얻는 반면, 의미 있는 학습은 지연된 보유 후 테스트와 즉각적이고 지연된 이전 테스트에서 좋은 성과를 이끌어 낸다는 것을 보여주었다.20,21

Early research18,19 showed that rote learning leads to good performance on immediate retention post-tests, whereas meaningful learning leads to good performance on delayed retention post-tests and on immediate and delayed transfer post-tests.20,21

이전의 연구에서, 5 우리는 메이어의 멀티미디어 설계 원리에 따라 강의 슬라이드를 수정하는 것이 강의 완료 후 1시간 이내에 주어진 체재 후 시험에서 의대생들의 성과를 현저하게 향상시킨다는 것을 발견했다.4

In a previous study,5 we found that revising lecture slides according to Mayer’s multimedia design principles significantly improved medical students’ performance on a post-test of retention given within an hour of lecture completion.4

방법들

METHODS

참가자 및 설계

Participants and design

참가자는 외과 임상실습을 통해 진행 중인 사립 중서부의 한 의대 3학년 학생 80명이었다. 총 학급 크기는 156명이었고, 모든 학생들은 12주간의 외과 임상실습에서 교대로 수업을 받아야 했다.

The participants were 80 third year medical school students at a private, midwestern medical school progressing through their surgery clerkship. Total class size was 156 students, with all students having to rotate through the 12 week surgery clerkship.

재료 및 절차

Materials and procedure

매주 열리는 필수 핵심 커리큘럼 강의 시리즈가 이 연구의 장으로 작용했다. 초점은 쇼크라는 주제에 대한 1시간 강의였다. 이 강의의 전통적인 슬라이드는 Mayer의 멀티미디어 설계 원리를 배우기 전에 강사lecturer가 개발했으며, 대부분 글자가 글머리 기호 형식으로 포함되었다. 수정된 슬라이드는 강사instructor가 개발했으며, 그 후 다른 콘텐츠 전문가(MSh)와 함께 멀티미디어 원칙(REM)의 권위 및 교육자(DD)와 함께 변경 사항을 검토했다.

The required weekly core curriculum didactic lecture series served as the venue for this research. The focus was a 1-hour lecture on the topic of shock. The traditional slides for this lecture had been developed by the lecturer before learning about Mayer’s multimedia design principles and included mostly text in a bullet point format.4 The modified slides were developed by the instructor and changes were then reviewed with another content expert (MSh), as well as with an authority in multimedia principles (REM) and an educator (DD).

강사instructor는 전통적인 강의에서 각 슬라이드의 핵심 사항이나 메시지를 분석한 다음 관련 멀티미디어 원칙을 적용하여 이해를 증진하기 위해 어떻게 변경할 수 있는지 결정했다. 두 강의가 동일한 학습 목표에 대해 미리 제시되었기 때문에 각 슬라이드의 교육 포인트를 변경하지 않고 메이어의 설계 원칙을 적용하는 데 초점을 맞췄다.4

The instructor analysed the key point or message of each slide in the traditional lecture and then determined how it could be changed to enhance understanding through the application of relevant multimedia principles. The modification process focused on adapting Mayer’s design principles without changing each slide’s teaching points as both lectures were premised on the same learning objectives.4

50분 강의의 학습 목표에는 쇼크의 정의, 쇼크의 세포 기능 장애 메커니즘, 쇼크의 aetiology와 분류, 쇼크의 진단 및 관리 원칙이 포함되었다.

Learning objectives for the 50-minute lecture included: definition of shock; mechanisms of cellular dysfunction in shock; aetiology and classification of shock, and principles of diagnosis and management of shock.

그림 1은 Mayer의 설계 원칙을 사용한 수정 프로세스의 대표적인 슬라이드를 보여주고 있다. 

글머리 기호 텍스트가 시각적 표현으로 대체되었다.4 이것은 멀티미디어 원리로 알려져 있다. 

• 메이어의 일관성 원칙에 따라 내용과는 직접 관련이 없는 모든 사진과 텍스트를 삭제했다. 

• 우리는 메이어의 신호 전달 원리에 기초해 더 큰 글꼴과 다른 색상을 사용하여 중요한 교육 포인트를 강조하였다. 

• 그래프와 관련 텍스트는 공간적 인접성 원리에 따라 화면에 인접하게 나타났다. 

• 폐동맥 카테터를 띄울 때 발생하는 전파나 산소전달, 소비, 조직추출의 관계 등 복잡한 내용을 보여주는 슬라이드를 그림이나 그래프의 형태로 시각적 표현으로 제시하였고, 모달리티 원리에 따라 음성 내레이션을 사용하여 이러한 복잡한 현상을 설명하였다.

Figure 1 shows a representative slide for the modification process using Mayer’s design principles. 

• Bulleted text was replaced by visual representation.4 This is known as the multimedia principle. 

• All pictures and text not directly related to the content were deleted based on Mayer’s coherence principle. We highlighted important teaching points by using a larger font and a different colour based on Mayer’s signalling principle. 

• Graphs and related text appeared contiguously on the screen in accordance with the spatial contiguity principle. 

• Slides reflecting complex materials, such as the electric waves generated when floating a pulmonary artery catheter, or the relationships between oxygen delivery, consumption and tissue extraction, were presented as a visual representation in the form of a picture or graph, and used vocal narration to explain these complex phenomena based on the modality principle. 

슬라이드 수정 프로세스를 거치며 기존 슬라이드 세트의 총 35개의 슬라이드에서 수정된 슬라이드 세트의 28개의 슬라이드로 전체 슬라이드 수를 줄이는 데 도움이 되었다(그림 2).

The process of slide modification helped to decrease the total slide count from a total of 35 slides in the traditional slide set to 28 slides in the modified slide set (Fig. 2).

강사는 두 세션 동안 필수적인 자료 처리와 이해를 관리하기 위해 대화 방식의 전달 방식을 사용했다. 두 가지 조건 모두에서 강사는 강의가 끝날 때 데이터가 점진적으로 공개되는 임상 vignette를 제시했다. 각 데이터가 제시된 후, 학생들은 진단에 도달하거나 개입을 하고 그들의 대답에 대한 적절한 정당성을 제시하도록 요청받았다. 강사는 학생들이 주제에 대한 세대적 이해를 증진할 수 있도록 돕기 위해 in-time 피드백을 제공했다. 이전 연구에서 사용된 것과 유사한 방식으로, 두 개의 강의 형식은 강사의 스타일 차이를 통제하기 위해 동일한 강사에 의해 진행되었다.

The lecturer used a conversational style of delivery during both sessions to help manage essential processing and understanding of the material. In both conditions, at the end of the lecture, the lecturer presented a clinical vignette in which data were progressively disclosed. After each set of data had been presented, students were asked to reach a diagnosis or provide an intervention and give appropriate justification for their answer. In-time feedback was provided by the lecturer to help students foster generative understanding of the topic. In a manner similar to that used in our previous research,5 both lecture formats were given by the same lecturer to control for lecturer style differences.

종이로 된 시험 자료에는 종전에 개발된 5항목 보유시험과 5항목 이전시험이 포함되었다.5 

• Retention 시험은 '충격의 정의' '충격의 종류별 열거' '폐동맥 카테터가 제공하는 수치변수는 무엇인가?'와 같은 개방형 질문을 사용하여 평가되었다. 

• Transfer 시험질문도 개방형이었고 응답자는 제시된 정보를 담낭염에 대한 환자성 패혈성 쇼크 2차 임상 증상에 적용해야 했다.

The paper-based test materials included the previously developed five-item retention test and five-item transfer test.5 

• Retention was assessed using open-ended questions, such as: ‘Define shock’; ‘Enumerate the different types of shock’, and ‘What are the numerical variables provided by the pulmonary artery catheter?’ 

• Transfer test questions were also open-ended and required respondents to apply the presented information to a clinical vignette of a patient inseptic shock secondary to cholangitis.

보유 및 이전 시험 문제는 강의 직전(사전 시험)과 강의 후 1시간(즉시 시험) 후 1시간 후에 1회 시험으로 관리되었다. 테스트는 1주, 4주 후에 다시 등록되었다(후 테스트 지연). 같은 시험이 도처에서 사용되었다. 학생들은 10분 동안 시험을 끝마쳤다. 테스트 형식과 질문 유형은 Mayer의 연구에서 멀티미디어 학습 효과에 대한 질문 형식을 사용하여 개발되었다.4 각각의 질문에 대해 1점, 반점 또는 무점이 주어졌다.

The retention and transfer test questions were administered as one examination just before (pre-test) and 1 hour after the lecture (immediate post-test). The tests were re-administered 1 week and 4 weeks later (delayed post-tests). The same examination was used throughout. Students were given 10 minutes to complete the examination. The test format and question types were developed using the question format published in Mayer’s studies on the effects of multimedia learning.4 One point, half a point or no point was given for each of the questions.

이전 연구에서 테스트와 해당 응답 키가 모두 개발 및 현장 테스트되었음.5 원래 연구5에서 시험을 채점한 두 명의 컨텐츠 전문가(NI와 MSc)도 첫 번째 연구를 위해 개발한 채점 루빅을 사용하여 이번 연구에서 점수를 매겼다.

Both the tests and corresponding answer keys were developed and field-tested in our previous study.5 The two content experts (NI and MSc) who scored the tests in the original study5 also scored the tests in the current study using the scoring rubric they had developed for the first study.

본 연구에서는 모든 시험 문제를 한 연구자가 채점했으며 무작위로 선택한 20%의 표본은 다른 임상 연구자에 의해 독립적으로 재점화하여 층간 합의를 검증하였다.

In the current study, all test questions were scored by one researcher and a randomly chosen sample of 20% of the scored tests were re-scored independently by another clinician-researcher to verify inter-rater agreement.

통계학적 분석

Statistical analysis

또한 시험 전 점수를 공변량으로서 사용하여 시험 후 시험 점수의 그룹 차이를 비교하기 위해 공분산(ANCOVA) 분석을 수행했다. 마지막으로, 그룹, 시간 및 그룹*시간 상호작용을 고정 효과로 사용한 일반화된 혼합 효과 모델을 채택하고, 수정 조건 그룹과 기존 조건 그룹 간의 시간에 따른 시험 점수의 변화 궤적을 비교하기 위해 요격을 무작위 효과로 채택했다.

We further conducted analysis of covariance (ANCOVA) to compare the group differences in transfer and retention post-test scores using the pre-test score as a covariate. Finally, we employed a generalised mixed-effects model using group, time and the group*time interaction as fixed effects, and intercept as a random effect to compare the trajectory of change in test scores over time between the modified and the traditional condition groups.

결과

RESULTS

표 1은 사전 테스트, 즉석 테스트, 1주 후 테스트 및 4주 후 테스트의 두 그룹에 대한 전송 테스트의 평균 ± SD 점수를 보여준다.

Table 1 shows the mean ± SD scores on the transfer test for the two groups on the pre-test, immediate post-test, 1-week post-test and 4-week post-test.

그림 3에서 알 수 있듯이, 강의 직후 기존 조건군은 이전(d = 0.61, p < 0.01)과 보유(d = 1.89, p < 0.01) 점수의 유의한 증가를 보였으며, 이와 유사하게 수정된 조건군은 이전 테스트(d = 1.25, p < 0.01)와 보유(d = 유지)에 대한 즉각적인 사후 테스트(d = 1.25, p < 0.01))로 유의한 증가를 보였다. 2.67, p < 0.01>.

As Fig. 3 shows, immediately after lectures, the traditional condition group showed a significant increase in transfer (d = 0.61, p < 0.01) and retention (d = 1.89, p < 0.01) scores; similarly, the modified condition group showed a significant increase from the pre-test to the immediate post-test on transfer (d = 1.25, p < 0.01) and retention (d = 2.67, p < 0.01).

고찰

DISCUSSION

현재의 연구는 멀티미디어 학습의 인지 이론에 기초한 설계 원리를 적용하면 의대생들의 장기 보유와 전이가 개선된다는 것을 보여주었다. 단기 retention 및 transfer과 관련된 우리의 연구 결과는 메이어의 이전 연구와 일치한다.

The current study showed that applying design principles based on the cognitive theory of multimedia learning improves medical students’ long-term retention and transfer. Our findings regarding shortterm retention and transfer are consistent with those noted in Mayer’s earlier work

현재의 연구는 의대생들에게 주어진 멀티미디어 강의에 메이어의 디자인 원칙4를 적용하면 단기 retention뿐만 아니라, 학생들 사이에서 의미 있는 학습의 중요한 지표가 되는 연구 자료의 장기 transfer을 개선할 수 있다는 것을 보여줌으로써 그러한 초기 발견들에 대해 확대한다.

The current study expands on those early findings by showing that applying Mayer’s design principles4 to a multimedia lecture given to medical students improves not just short-term retention, but also longterm transfer of the study material, which researchers have identified as an important indicator of meaningful learning among students.

현재의 연구에는 몇 가지 한계가 있었다. 이번 연구는 단일 학술기관에서 강의 주제와 강사 1명을 이용해 진행됐으며, 강의 발표에 무의식적인 편견을 도입했을 가능성이 있다. 그러나 학생들의 강의 등급은 다르지 않았다. 5.00점 만점에 4.73점, 4.67점이라는 등급은 각각 변형된 조건군과 전통적인 조건군에서 얻었다.

There were several limitations to the current study. The study was carried out at a single academic institution using a single lecture topic and a single lecturer, which may have introduced unconscious bias into the lecture presentations. Ratings of the lectures by the students, however, did not differ; ratings of 4.73 and 4.67 out of 5.00 were obtained from the modified condition group and the traditional condition group, respectively

이 연구를 구축하거나 복제하는 데 관심이 있는 연구원들은 두 그룹의 테스트에 대해서 평가자가 완전히 blind 하기 위해 연구자에 의해 그룹 유형을 지정하도록 코드화되었는지 확인해야 한다.

Researchers interested in building or replicating this research should ensure that the tests from both groups are coded to designate group type by a researcher in order to ensure graders are completely blinded.

멀티미디어 원칙의 채택 정도에 관계없이, 교육 개입에 대한 어떤 종류의 검토와 피드백이든 학습 성과에 차이를 일으킬 가능성이 있다.

It is plausible that any kind of review and feedback on any teaching intervention will cause differences in learning outcomes, regardless of the extent to which multimedia principles were employed.

현재 연구 설계는 독립 변수로서의 시간 인자를 강화하기 위해 이전 연구5에서 사용된 방법론과 자료에 충실했다. 따라서, 시험 문제는 데이터 수집 지점들 사이에 차이가 없었으며, 이는 일부 학생들이 자신의 답을 기억하고 수정하지 않는 것을 선택할 수 있게 했을 수도 있다. 동일한 코호트 학습자에게 동일한 테스트 자료를 반복적으로 사용하는 것은 테스트 효과를 도입했을 수 있다. 기존 연구에서, 학습자는 자료를 단순히 두 번 학습하는 것보다, 자료를 공부하고 연습 시험을 보는 상황에서 지연 시험delayed test(유지 및 전달 기능 모두)를 더 잘 수행하는 것으로 나타났다. 이 연구들의 연구결과는 [시험이 학습에 더 큰 영향을 미친다는 것]을 시사하고 있으며, [시험을 일종의 교육 도구로 채택하는 것]을 옹호하고 있다.

The current study design remained faithful to the methodology and materials used in the earlier study5 in order to enhance the factor of time as the independent variable. Thus, the test questions did not vary between the data collection points, which may have allowed some students to remember their own answers and choose not to revise them. Using the same test material in a repeated fashion for the same cohort of learners may have introduced a testing effect. Learners have been shown to perform better on delayed tests (for both retention and transfer functions) after studying the material and taking a practice test than after studying the material twice.24,25 The findings of those studies24,25 suggest that tests have an enhancing effect on learning and advocate for the adoption of tests as a teaching tool.

본 연구에서, 두 그룹의 학생들 모두 그들이 세션에서 배운 것을 기억했지만, 수정된 강의 조건의 학생들은 전통적인 강의 조건의 학생들보다 훨씬 더 높은 수준의 학습 증가와 지속적 학습을 보여주었다. 이러한 데이터는 교수진이 멀티미디어 원칙을 배우고 이를 강의실 강의나 원격 학습 모듈에 포함하도록 동기를 부여할 수 있는 설득력 있는 증거를 제공해야 한다.

In the present study, students in both groups remembered what they had learned in the session, but students in the modified lecture condition demonstrated increased and sustained learning to a greater extent than students in the traditional lecture condition. These data should provide convincing evidence to motivate faculty staff to learn about multimedia principles and to include them in their classroom lectures or distance learning modules.

3 Association of American Medical Colleges. Effective Use of Educational Technology in Medical Education. Candler C, ed. Institute for Improving Medical Education. Washington, DC: AAMC, 2007.

Med Educ. 2013 Apr;47(4):388-96. doi: 10.1111/medu.12127.

Teaching for understanding in medical classrooms using multimedia design principles.

가르침을 배움 프로세스에 맞추기 (Acad Med, 2004)

Orienting Teaching Toward the Learning Process

Olle ten Cate, PhD, Linda Snell, MD, Karen Mann, PhD, and Jan Vermunt, PhD

의료 커리큘럼의 급속한 진화는 교사들의 혼란을 초래할 수 있다. 커리큘럼 내용과 과정이 교육 이론에 의해 보다 중앙에서 통제되고 지도됨에 따라, 교사들은 커리큘럼 변화의 기초가 되는 철학을 파악하여 그것들을 매일 실천하는 데 어려움을 겪을 수 있다. 예를 들어, 학생 중심의 교육은 많은 경험 있는 교사들에게는 좋은 접근법으로 들릴 수도 있지만, 일상적 연습에 쉽게 도입되지는 않는다.

The rapid evolution in medical curricula can lead to confusion in teachers. As curricular content and process become more centrally controlled and guided by educational theory, teachers may have difficulty grasping the philosophies underlying curricular change and putting them into daily practice. Student-centered teaching, for example, may sound to many experienced teachers like a laudable approach, but not easily put into day-to-day practice.

이 글에서, 우리는 교사들에게 [무엇이 학생들에게 동기를 부여하고 왜 학습자가 교육 활동의 중심이 되어야 하는지]를 이해하는 데 도움을 줄 수 있는 가르치는 모델을 제안한다.

In this article, we propose a model for teaching that can help teachers understand what motivates students and why learners should be the central focus of teaching activities.

교육이 학습을 촉진하기 위한 것이라면, 분명히, 교육 활동은 학습 과정을 지향해야 한다. 우리 모델의 중심에는 두 가지 차원이 있다. 

• (1) 학습 과정의 핵심 특징 분석과 이러한 특징과 교사 기능의 연결, 그리고 

• (2) 학습의 외부 규제와 자율 규제 사이의 상호 작용이다.

If teaching is to facilitate learning, clearly, teacher activities should be oriented toward the learning process.1 Two dimensions are central to our model: 

• (1) the analysis of critical features of the learning process and the linking of teacher functions to these features, and 

• (2) the interplay between external regulation and self-regulation of learning.

DIMENSION 1: 관련 절차의 중요 구성 요소

DIMENSION 1: CRITICAL COMPONENTS OF THE LEARNING PROCESS

몇몇 저자들은 Bloom의 교육목표 영역을 연상시키는 학습의 인지적 요소, 정서 요소, 그리고 메타인지적 요소들을 구별한다.7–9 최근 메이어는 효과적인 문제해결에 필요한 기술, 의지 및 메타스킬10에 대해 자세히 설명하였다. 이는 우리의 초점의 요소들과 명확하게 상응하며, 우리의 학습중심교육(LOT) 모델에서 핵심 요소들이다.

Several authors distinguish among cognitive, affective, and metacognitive components of learning reminiscent of Bloom’s domains of educational objectives.7–9 More recently, Mayer elaborated on the skill, will, and metaskill10 needed for effective problem solving, which clearly parallel the components of our focus and are core elements in our learning-oriented teaching (LOT) model.

학습 프로세스의 인지 구성요소

Cognitive Component of the Learning Process

본질적으로, 학습자는 책, 생활 사례, 인터넷, 다른 매체 등 방대한 외부 지식체로부터 (무엇을 배울지) 선택을 해야 한다. 이러한 학습의 측면은 "무엇을 배워야 하는가?"라는 질문으로 요약할 수 있다. 즉, 학습의 내용이나 목표는 무엇이며, 이 내용을 어디에서 찾아야 하며, 정보를 적절하게 처리하기 위해 어떻게 구성되어야 하는가?

Essentially, the learner must make a selection from the vast external body of knowledge—from books, living examples, the Internet, other media, etc. This aspect of learning can be summarized by the question “What should be learned?” That is, what is the content or objective of the learning, where should this content be found, and how should it be structured to adequately process the information?

학습 프로세스의 영향력 있는 구성 요소

Affective Component of the Learning Process

학습의 영향을 주는 요소는 집중적인 학습을 시작하고 지속하려는 학습자의 동기를 다룬다. 이 구성 요소는 외재적이거나 내재적인 동기, 학습내용과의 감정적 관계, 그리고 공부할 준비와 관련이 있다. 영향을 미치는 구성 요소는 "왜 배우는가?"라는 질문으로 요약할 수 있다.

The affective component of learning deals with the learner’s motivation to start and persist in concentrated learning. This component pertains to extrinsic and intrinsic motivation, to emotional relationship to the content materials, and to readiness to study. The affective component may be summarized with the question “Why learn?”

학습 과정의 인지 구성요소

Metacognitive Component of the Learning Process

학생이 배울 수 있는 충분한 동기 부여와 함께 인지 능력과 정보의 존재는 학생이 배우는 방법을 모른다면 적절한 학습 과정을 초래하지 않을 수 있다. 정보를 처리하기 위해 학습자는 메타인지 능력이 필요하다: 학습 활동을 계획하고, 진행 상황을 모니터링하고 평가하며, 개인의 지식 부족을 진단하고 해결할 수 있어야 한다. 이것들은 또한 메타인지적 조절활동이라고 불려왔다.14

The presence of cognitive skills and information combined with sufficient motivation to learn may not result in an adequate learning process if the student does not know how to learn. A learner needs metacognitive skills to process information: he or she must be able to plan study activities, to monitor and evaluate progress, to diagnose and address personal lack of knowledge. These have also been called metacognitive regulation activities.14

표 1은 학습자의 매크로 및 마이크로 관점에서 세 가지 구성 요소 모두에 대한 이러한 질문의 예를 제시한다. 우리는 6개의 라벨을 선택했는데, 그 중 대부분은 배움의 내용 개념, 배움의 목적 개념, 그리고 배움의 방법 개념이다.

Table 1 gives examples of these questions on all three components, from the learners’ macro and micro perspectives. We have chosen six labels in the cells, most of which were adapted from the work of Vermunt15: the content conception of learning, the purpose conception of learning , and the method conception of learning

• 거시적 관점은 학습자의 성격 특성과 의견을 반영하고 지배적인 학습 스타일을 형성하는 반면, 

• 미시적 관점은 반드시 달성해야 하는 특정 학습 활동과 관련이 있다.

• The macro perspective reflects personality characteristics and opinions of the learner and shapes a dominant learning style, whereas 

• the micro perspective pertains to specific learning activities that must be accomplished.

설명 2: 학습의 외부규제 및 자기규제의 상호작용

DIMENSION 2: THE INTERPLAY BETWEEN EXTERNAL REGULATION AND SELF-REGULATION OF LEARNING

교육은 두 가지 주요 목적에 기여한다. 

• (1) 학생들에게 도메인 의존적 지식과 기술을 창출하는 것과 

• (2) 학생들이 독자적으로 더 발전할 수 있는 지역사회의 성인 책임 있는 구성원으로 발전하는 것을 돕는 것(즉, 교사나 학교의 지도 없이)

후자의 목적은 대개 많은 교사들에게 받아들여지는 암묵적인 목표인 경향이 있지만, 커리큘럼에서 구체적인 관심을 덜 받게 된다.

Education serves at least two major two purposes: 

• (1) generating domain-dependent knowledge and skills in students, and 

• (2) helping them develop into adult, responsible members of the community, who can further develop independently (i.e., without guidance by a teacher or a school). 

The latter purpose usually tends to be an implicit goal, accepted by many teachers, but given less specific attention in the curriculum.

학생들을 사회에 대비시키려면 교사와 [학교에 의한 학생 학습 과정의 규제]에서 [배움의 자율화]로 전환해야 한다. 고등교육에 들어가기 전에, 대부분의 학생들은 무엇을, 왜, 어떻게 배워야 하는지에 대한 제한된 생각을 가지고 있다. 대학 수준의 교육은 졸업생들의 훈련 영역뿐만 아니라 더 넓은 의미에서의 독립적 기능independent functioning을 목표로 한다.

If we want to prepare our students for society, a shift from a regulation of the student learning process by teachers and school to self-regulation of learning should therefore take place during the period of formal education. Before entering higher education, most students have limited ideas of what, why, and how to learn.16 Education at the university level aims at independent functioning of graduates, not only in the domain of their training, but also in a broader sense.

우리는 의학 교육에서 의대에서 인턴쉽으로의 전환될 때 학생들은 완전히 훈련받은 않은 책임에 갑작스럽게 당면하게 된다는 것을 알고 있다. 학생 스스로 학습목표를 정하도록 하는 PBL에서도 주제와 자료는 여전히 치밀하게 계획되어 있으며, 학습목표는 커리큘럼의 일반적인 목표에 맞게 설계되어 있다. 따라서 외부-지도에서 자기-지도로의 더 부드러운 전환은 공식적인 교육의 목표가 되어야 한다.

We know that in medical education, the transition from medical school to internship is a sudden confrontation with responsibilities for which students have only partially been trained. Even in PBL, where students are asked to set their own learning goals, the themes and materials are still carefully planned, and learning goals are designed to fit within the general objectives of the curriculum. A better shift from external guidance to self-guidance should therefore be a goal of formal education.

교육심리에 따르면, 학생들은 자기조절학습 능력이나 독립을 성장에 대한 능력이 서로 다르다. 그 결과로, 필요 이상으로 많은 지침guidance을 받는 것은 에너지 낭비로 이어질 수 있으며, 부작용도 발생할 수 있다.

According to educational psychology, students vary in their capability for self-regulated learning and growth towards independence.17 Consequently, their need for external guidance may differ. Receiving more guidance than needed will lead to wasted energy, and adverse effects may result.

Guidance과 self-regulation 사이에서 균형을 찾아야 한다. Vermunt와 Verloop은 이것을 학문과 교수 사이의 건설적인 마찰에 대한 탐색이라고 불렀다. 이는 Vygotsky의 근위부 발달 구역에 필적할 만한 것이다: [독립적인 문제 해결 능력에 의해 결정되는 실제 개발 수준]과 [다른 사람의 도움을 받는 잠재적 개발 수준] 사이의 거리.18. 건설적 마찰constructive friction은 학생들에게 일상적인 활동보다 더 많은 지적 노력을 요구함으로써 새로운 지식과 기술을 익히려는 노력으로 이어지게끔 한다.

A balance should be found between guidance and self-regulation. Vermunt and Verloop have called this the search for constructive friction between learning and teaching, comparable to Vygotsky’s zone of proximal development: the distance between the actual developmental level as determined by independent problem solving capability, and the level of potential development with the assistance of others.18 Constructive friction leads to an effort by the student to master new knowledge and skills, by demanding more intellectual effort than routine activities take.

학생의 요구에 비해 너무 적거나 너무 많은 지도는 파괴적인 마찰destructive friction로 이어질 것이며, 따라서 불충분한 학습은 분명히 우리의 목표는 학생들의 자기주도 능력에 최적의 민감성을 유지하면서 완전한 외부 규제에서 학습의 자율규제로 전환하는 것이다..이 변화를 어떻게 실현할 수 있을까?

Too little or too much guidance, relative to the needs of the student, will result in what has been called destructive frictions and, therefore, inadequate learning.11 Clearly, our goal is a transition from full external regulation to self-regulation of learning, while maintaining an optimal sensitivity for the student’s capacity for self-direction. How can we realize this transition?

Shared Guidance의 개념

THE CONCEPT OF SHARED GUIDANCE

이제 선생님이 사진 속으로 들어온다. 현대의학 커리큘럼은 그들 자신의 학습에 대한 학생들의 개인적인 책임을 강조한다. 더 작은 그룹 학습과 더 많은 자기 주도적인 학습으로 바뀌면서, 학생들에게 성숙한 학습 능력이 요구된다. 구성주의 철학(즉, 학습자가 이미 알고 있는 것에 근거하여 자신의 지식을 "구축"한다)19은 커리큘럼의 발견학습 접근방식을 정당화하기 위해 사용될 수 있다. 즉, 학생들은 배우는 법을 배워야 한다. 교사들이 할 수 있는 일은 과제 제공, 독립적인 학습 시간 스케줄링, 또는 임상적 순환에서 학생들을 스케줄링하는 것 외에 무엇인가?

Now the teacher comes into the picture. Modern medical curricula emphasize the personal responsibility of students for their own learning. With a shift towards more small-group learning and more self-directed learning, mature studying skills are required of students. A constructivist philosophy (i.e., learners “construct” their own knowledge on the basis of what they already know)19 may be used to justify a discovery-learning approach in the curriculum: students should learn to learn. What can teachers do besides providing assignments, scheduling independent learning time, or scheduling students in clinical rotations?

전통적인 커리큘럼은 많은 학생들에게 비효율적인 것으로 보일 수 있다. 왜냐하면 정보의 제시와 계획 요건이 학생들의 요구를 충족시키기 부족하기 때문이다. 반대로 커리큘럼은 또한 너무 많은 학생들에게 요구함으로써 해를 끼칠 수도 있다. 두 가지 모두 역량과 요구 사이의 "파괴적 마찰"을 초래할 수 있다.

A traditional curriculum may be viewed as inefficient for many students because the presentation of information and the planning requirements are insufficiently geared to the students’ needs; however, a curriculum may also do harm by asking too much of students. Both may result in “destructive friction” between competence and demands.

이상적으로는 교사와 학생이 함께 일하는 학습과정의 공유지침 단계가 있다. Collins 등.3은 이 단계를 코칭 또는 비계라고 부른다; Vermunt는 배움의 규제에 대한 공유된 통제에 대해 말한다.20

Ideally, there is a stage of shared guidance of the learning process in which the teacher and the student work together. Collins et al.3 call this stage coaching or scaffolding; Vermunt speaks of shared control over the regulation of learning.20

Shared guidance은 학생들이 무엇을 알고 있는지, 무엇을 추진하는지, 그리고 그들이 어떤 인지능력을 가지고 있는지에 대한 인식을 필요로 하며, 건설적인 마찰로 이어지는 교육 환경을 조성해야 한다. 학습의 초기 단계에서 건설적인 마찰은 훈련의 후반 단계에서 발견되는 요구와는 상당히 다른 요구에서 비롯되기 때문에, shared guidance은 고정된 일련의 교육 활동으로 이어지지 않는다. 대신, shared guidance은 학생들과의 대화, 진행 상황의 모니터링, 그리고 그들의 인식된 필요에 따라 가르치는 것이 필요하다.

Shared guidance requires awareness of what students know, what drives them and what metacognitive skills they possess, to generate an educational environment that leads to constructive friction. Shared guidance does not lead to a fixed set of teaching activities, since constructive friction at early stages of learning stems from demands that are quite different from those found in late stages of training. Instead, shared guidance requires a dialogue with students, a monitoring of their progress, and an adapting of the teaching to their perceived needs.

교수자의 기능을 학습에 지향시키기

ORIENTING THE TEACHER’S FUNCTIONS TOWARD LEARNING

우리는 어떻게 선생님들이 배움을 이해하고 쉽게 할 수 있도록 도울 수 있을까?

How can we help teachers to understand and facilitate learning?

"무엇을 공부할 것인가?"는 주제, 책, 주제, 기타 등등, 또한 습득해야 할 지식과 기술의 본질에 관한 것이다. 간단히 말해서 학교는 물론 학생에 의해 정해진 모든 교육적 목표. 이에 따른 교사들의 활동은 발표presenting로 요약된다. 여기에는 구두 설명, 교육 목적 정의, 독서 자료 선택, 관련 시험 항목 생성, 환자와의 모델 상호작용, 보고서나 프레젠테이션 내용에 대한 피드백 등이 포함될 수 있다. 이러한 활동은 또한 적절한 학습 환경을 선택하는 것을 포함할 수 있다. 특히 이는 임상실습과 같이 맥락이 학습할 내용의 일부인 경우 그러하다. 요컨대, 콘텐츠 문제의 적절한 제공과 관련된 모든 활동을 포함한다.

“Study what?” pertains to topics, books, subject matter and the like, but also to the nature of the knowledge and skills to be acquired; in short all educational objectives that are set by the school as well as the student. The parallel teachers’ activities are summarized as presenting. This may include 

• verbal explanations, 

• defining of educational objectives, 

• selection of reading materials, 

• generation of relevant test items, 

• modeling interactions with a patient, 

• giving feedback on the content of papers, presentations, etc. 

These activities may also include choosing an appropriate learning environment, if that context is deliberately part of what is to be learned, such as is the case in clinical clerkships. In short, all activities that pertain to the adequate provision of content matter are included.

"왜 공부하는가"는 공부 활동의 시작과 유지와 관련된 모든 감정을 말한다. 그러므로 동기부여는 

• 시험 기획에서부터 

• 강의실에서 학생들에게 열정을 전달하는 것, 

• 설득력 있는 경험을 조직하는 것, 

• 학생들이 자기효능감을 습득하는 것을 돕는 것, 

• 현재의 행동에 따른 미래의 결과를 생각하도록 돕는 것, 그리고 

• 공부 활동의 중요성을 강조하는 것까지 다양할 수 있다.

“Why study?” refers to all feelings that are related to starting and maintaining study activities. Motivating, therefore, may range from 

• planning tests, to 

• conveying enthusiasm to students in a lecture hall, 

• organizing compelling experiences, 

• helping students to acquire self-efficacy, 

• helping them think of future consequences of current behavior, and 

• stressing the importance of study activities.

마지막으로, "어떻게 배우는가?"은 학습을 조절하는 것과 관련된 모든 메타인지적 활동을 포함한다. 우리는 "instructing"이라는 용어를 [학생의 메타인지적 활동과 기술을 돕는 모든 교사 기능을 포함하는 의미]로서 선택했다. 우리는 이 용어를 교육 문헌에서 일반적으로 행해지는 것보다 더 엄격한 의미로 사용하며, 현재적 요소와 동기적 요소를 제외하고 그것의 교육의 "how to" 특성만을 강조하기 위해 사용한다.21

Finally, “How to learn?” includes all relevant metacognitive activities that regulate learning. We have chosen the term instructing to include all teacher functions that help students with such metacognitive activities and techniques as 

• devising learning tasks, 

• explaining how to go about acquiring knowledge and skills, 

• organizing or giving personal feedback, etc. 

We use this term in a more strict sense than is usually done in educational literature, to stress the instrumental “how to” nature of it, excluding presentational and motivational elements.21

학습-지향 교육 모델

THE LEARNING-ORIENTED TEACHING MODEL

Table 4.

인지 수준에서의 전환

Transitions at the Cognitive Level

입학하는 학생들은 교육목표가 정해지고 교육내용이 결정되기를 기대할 것이다. 그들은 교사들이 과목에 대해 설명하는 것을 듣고, 학습에 가장 관련성이 있는 문제들로 신중하게 구성된 학습 자료를 기대하고, 학습 과제를 반영하는 시험을 예상할 준비가 되어 있다. 교사들은 중요한 역할 모델로서 행동할 수도 있고 예시 역할을 할 수도 있지만, 무엇보다도 그들은 선택된 주제 내에서 무엇을 공부하고 우선순위를 정하는 데 앞장선다. 좀 더 시간이 지나게 되면, 학생들은 개인적인 학습 목표를 세우고 피드백을 받도록 요청받을 수 있다. 독서 과제는 [제안된 참고문헌]이 아니라 [학생들이 스스로 찾은 정보 출처에서 탐구해야 할 주제]로 바뀔 수 있다. 

Entering students will expect educational objectives to be set and the content of the education to be determined for them. They are prepared to listen to teachers explaining subject matter, expect study materials that are carefully composed of the most relevant issues for learning, and anticipate examinations that reflect learning assignments. Teachers may act as important role models and serve as examples, but above all they take the lead in determining what to study and prioritizing within the chosen subject matter. Later, students can be asked to generate personal learning objectives and receive feedback. Reading assignments can shift via suggested literature references to topics to be explored from sources of information the students themselves find. 

따라서 교사의 Guidance는 학생들이 검색하고 발견한 주제를 검증하는 데 초점을 맞출 수 있으며, 이는 다음과 같은 질문에 대한 피드백을 내포한다:

• 이 문제들은 내 교육에 적합한가? 

• 획득한 정보가 정확하고, 품질이 우수하며, 최신 상태인가? 

• 어떤 대체 정보원이 존재하는가? 

• 이 정보가 어떻게 나의 학습 문제를 해결하거나 나의 학습 요구를 해결하는데 적용될 수 있는가?

Guidance may then focus on validating the subject matter searched for and found by students, which implies feedback on questions such as: 

• Are these relevant issues for my education? 

• Is the obtained information correct, of high quality, and up to date? 

• What alternative information sources exist? 

• How can this information be applied to solving my learning problem or addressing my learning need?

정서 수준에서의 전환

Transitions at the Affective Level

학습을 위한 외부 동기에는 필수 출석, 필기 시험, 논문, 프레젠테이션 및 외부적으로 규정된 다른 모든 과정 요건과 같은 과제가 포함된다. 선생님들과 교육 기관들은 이 모든 것들을 제공할 수 있다. 따라서, 그러한 학교가 제시하는 요건을 넘어서지만 아직 학생들이 자신의 학습에 전적으로 책임이 있다고 생각하지 않는 학습 동기로는 다음의 것들을 사용할 수 있다.

• 사회적 인센티브(예: PBL의 공유 과제, 동료 교육 준비), 

• 명백한 비학문적 보상(교사와의 개인적 접촉), 

• 미래의 practice 맥락을 통해 동기 부여적 경험에 노출

• 열정적인 롤모델에 노출 

지속적인 학습에 대한 현실적인 필요성을 느끼도록 하기 위해, 점차적으로 고급 학생들에게 제한된 직업적 책임을 부여할 수 있다.

External motivations for learning include required attendance, written examinations, and assignments such as papers, presentations, and all other course requirements that are externally prescribed. Teachers and the educational institution can provide all these. Subsequently, motives for learning that extend beyond such school requirements but do not yet consider students fully responsible for their own learning may include the use of 

• social incentives (e.g., shared tasks as in PBL, peer teaching arrangements), 

• overt nonacademic rewards (personal contact with teachers), 

• exposure to motivating experiences in contexts of future practice, and 

• exposure to enthusiastic role models. 

Limited professional responsibilities can gradually be given to advanced students to create the feeling of the realistic need for continued learning.

교사들은 내적 동기의 출현이 장려될 수 있도록 의대 졸업 전에 학생들에게 입원환자 치료, 과학 연구 또는 기타 미래의 역할 등 진정한genuine 책임을 부여해야 한다. 이것은 자기 결정 이론과 일치한다.

Teachers should give students genuine responsibilities—inpatient care, scientific research, or any other future role—before the end of medical school so that the emergence of internal motives can be encouraged. This accords with self-determination theory,

메타인지 수준에서의 전환

Transitions at the Metacognitive Level

학생들은 초기 단계에서 다소 다양한 학습 능력과 전략을 가질 수 있다. 이는 명확한 지침을 통해 보상될 수 있다(예: 사전 준비자, 요약, 키워드 목록, 세부 학습 목표, 학습 텍스트의 레이아웃 기능, 형태별 테스트 및 기타 피드백).

Students may have rather variable learning skills and strategies in the early stages. These can be compensated by explicit guidelines (e.g., advance organizers, summaries, keyword lists, detailed learning objectives, lay-out features in study texts, formative tests and other feedback).

나중에, 공부 기술에 대한 도움은 학생들의 학습 과정의 발전과 정교함을 촉진할 수 있다. 이는 학습자가 자신의 사고 과정을 (예를 들어 개념 맵을 사용하여) 명확히 할 때 학습자에게 도움과 피드백을 제공함으로써 그들의 지식 기반 개발과 조직을 평가하고 촉진할 수 있도록 함을 의미한다. 학생들은 특히 새로운 지식과 경험이 기존 지식과 어떻게 관련되는지, 그리고 새로운 지식이 어떻게 적용될 수 있는지에 대해 성찰하는 법을 배워야 한다.

Later on, help with study skills may foster development and refinement of students’ learning process. This implies providing help and feedback to learners when making their thought processes explicit (e.g., with concept maps), so the development and organization of their knowledge base can be assessed and facilitated. Students should learn to reflect, particularly upon how new knowledge and experience relate to existing knowledge and upon how new knowledge can be applied.

졸업생은 지식의 결함을 확인할 수 있어야 하며, 이러한 결함을 시정할 수 있는 방법을 찾는 데 능숙해야 한다. 개인 지식의 결핍을 인식하기 위한 메타인지적 기술은 습득하기 어려우며, 이를 수정하기 위한 동기 부여는 오랜 기간 동안의 shared guidance을 필요로 할 수 있다. 추가 지식을 습득하기 위해 학습과 계획을 평가하는 학생의 능력은 성숙하고, 내면화되고, 메타인지적인 기술의 집합으로 간주될 수 있다. 

The graduate should be capable of identifying knowledge deficits and be proficient in finding ways to correct these. The metacognitive skill to recognize personal knowledge deficiencies is difficult to acquire, and the motivation to correct these maybe hard to generate; this may require a long period of shared guidance. The student’s ability to assess his or her learning and planning for acquiring further knowledge may be considered a collection of mature, internalized, metacognitive skills.24 

LOT모델을 실천으로 옮기기

PUTTING THE LOT MODEL INTO PRACTICE

모델의 중요한 특징은 타임라인이 정의되어 있지 않다는 것이다. 외부규제에서 내부규제으로의 전환은 수년에 걸쳐 커리큘럼 수준에서 이루어질 수 있지만, 며칠 이내에 과정 수준에서 이루어질 수 있으며, [크고 넓거나] [작거나 구체적]일 수 있는 교육의 대상에 따라 동시에 일어날 수도 있다. 동시에 학습자는 한 분야의 전문가가 될 수 있지만 다른 분야의 초보자가 될 수 있다.

An important feature of the model is that a timeline is not defined. Transition from external to internal regulation may take place at the curricular level over several years, but at the course level within days, and it may even happen simultaneously, depending on the object of education, which may be large and broad or small and specific. Learners can, at the same time, be experts in one field but novices in another field.

예시

EXAMPLES

예 1: 커리큘럼 레벨에서 학습 지향적 학습 접근법

Example 1: A Learning-Oriented Teaching Approach at the Curricular Level

예 2: 과정 레벨에서 학습 지향적 학습 접근 방식

Example 2: A Learning-Oriented Teaching Approach at the Course Level

예 3: 세션 레벨에서 학습 지향적 접근 방식

Example 3: A Learning-Oriented Approach at the Session Level

LOT 모델의 관점에서 베드사이드 교육을 고려할 수 있다. 1시간에서 2시간 동안 임상 지도 교사 또는 주치의가 학습자 및 환자와 상호 작용한다. 

• 임상 문제를 논의한다. 

• 의료 이력 및 신체 검사를 관찰하거나 시연한다. 

• 임상 데이터를 종합하고 

• 임상 환경에 기초과학 원리를 적용하고, 

• 문제 목록, 차등 진단 및 

• 조사나 경영을 계획하다33

Bedside teaching may be considered from the perspective of the LOT model. During these one- to two-hour sessions, a clinical tutor or attending physician–teacher interacts with learners and a patient to 

• discuss the clinical problem, 

• observe or demonstrate medical history-taking and physical examination, 

• synthesize the clinical data, 

• apply basic science principles to the clinical setting, and 

• develop a problem list, differential diagnosis, and 

• plan for investigation or management.33 

학습자는 서로다른 레벨(예: 하위 또는 상급 학생, 인턴, 주니어 또는 선임 레지던트 또는 동료로 구성된 병동 팀)이거나 명목상 모두 동일한 레벨(예: 3-6명의 상급 임상 학생 또는 사무원)일 수 있다. 그러나 실제로는 모든 학습자가 다양한 배경과 임상 경험을 가지고 있으며, 외부 지침(즉, 내부 지침의 가변 능력)에 대한 가변적 필요성뿐만 아니라 서로 다른 인지적 필요성, 학습 동기 및 학습 기술과 전략을 가진 동일한 환자 및 임상 문제에 접근한다.

The learners may be at different levels (e.g., a ward team consisting of junior or senior students, interns, junior or senior residents, or fellows) or may all be nominally at the same level (e.g., three to six senior clinical students or clerks). However, in reality, all learners come with varied backgrounds and clinical experiences, and they will approach the same patient and clinical problem with different cognitive needs, motives to learn, and learning skills and strategies, as well as variable needs for external guidance (i.e., variable competence at internal guidance).

외부 지침이 필요한 주니어 학생은 튜터가 환자와 주제(예: 일반적인 신체 검사를 효율적으로 수행하는 방법, 일반적인 임상 문제의 진단 및 관리에 대한 접근 방법)를 선택하고 토론을 지시하고 임상 역할 모델 역할을 하며 질문을 통해 학생의 사고 과정을 촉진하는 경우에 가장 잘 배울 수 있다. 

Junior students, in need of external guidance, may learn best if the tutor chooses the patient and topics (e.g., how to perform a general physical examination efficiently, the approach to the diagnosis and management of a common clinical problem), directs the discussion, acts as a clinical role model and prompts the student’s thinking process with questions.

반면에 시니어 레지던트는 자신의 특정한 학습 필요성(예: 이 치료가 환자의 즉각적인 치료나 향후 관행에 적합한지 여부를 알기 위해 신체 검사에서 어려운 기술을 정비하는 방법)을 가지고 세션에 올 수 있다. 그들은 의료 문헌을 검색하고 컨설턴트를 사용하여 대부분의 환자 관련 질문을 하고 대답할 수 있으며, "주니어 동료"로서 스스로 정의내린 시점에 대해서만, 아주 작은, 구체적인 지침만 필요할 수 있다. 그들은 주로 인지적, 정서적, 그리고 메타인지적 수준에서 내면화된 지도internalized guidance를 통해 배운다. BST에서 가르치는 동안 그들은 학습을 할 수 있고, 동시에 후배들을 위한 역할 모델 역할을 할 수도 있다.

Senior residents, on the other hand, may come to the session with their own specific learning needs (e.g., how to refine a difficult maneuver in the physical examination to find out whether this treatment will be appropriate on their patient) relevant to the immediate care of their patient or to their future practice. They may ask and answer most of their own patient-related questions by searching the medical literature and using consultants and may need—as “junior colleagues”—only scarce and specific guidance at self-defined moments. They learn predominantly through internalized guidance, at the cognitive, affective and metacognitive levels. During the bedside teaching session they may learn, and act as role models for junior students, at the same time.

"중간" 학습자(예: 상급생, 주니어 레지던트)는 이 두 극 사이의 어딘가에 있을 수 있으며, 학습의 세 가지 구성 요소에 관여할 때 shared guidacne가 필요할 수 있다. 교사는 인턴에게 사례 기반 질문을 작성하고 집중하도록 한 다음, 인턴이 답을 평가하고 적용하도록 도울 수 있다. 인턴은 선생님의 열성 때문에 혹은 그것이 "팀" 활동으로 인식되기 때문에 침대 머리맡에 있는 세션에 참석하기를 원할 수도 있다. 교사는 지식과 추론 능력이 명시적으로 설명될 수 있도록 인턴에게 "think out loud"를 요청할 수 있다. 인턴에게 자신의 학습 과정을 되돌아보라고 한다면, 메타인지적 요소가 도입되는 것이다.

“Intermediate” learners (e.g., senior students, junior residents) may be somewhere between these two poles, needing shared guidance when involved in the three components of learning. The teacher may ask an intern to generate and focus case-based questions, and then help the intern to appraise and apply the answers. The intern may want to attend a bedside session because of the teacher’s enthusiasm or because it is perceived as a “team” activity. The teacher may ask the intern to “think out loud” so that knowledge and reasoning skills can be addressed explicitly. If the intern is also asked to reflect on his or her learning process, a metacognitive element has been introduced.

문제를 더 혼란스럽게 만드는 것은, 모든 학습자는 학습 과정의 각 구성 요소에 대해 외부-내부 연속체의 다른 지점에 있을 수 있다는 것이다. 심지어 이는 이전의 경험이나 향후 계획에 따라서, 또는 당면한 사례 자료에 따라서도 달라질 수 있다. 시니어 학생이라면 제2형 당뇨병에 걸린 환자를 다루는 데 전문지식을 가지고 있을 수 있고, 여기에 대한 지도는 거의 필요하지 않지만, 동시에 자살성 우울증을 앓고 있는 환자들을 다루는 데는 초보자일 수도 있다. 이러한 상황이 임상튜터에게 어려울 수 있으며, 동시에 다른 학습자에게 서로 다른 지원을 제공해야 하며, 동일한 학습자의 역할이 일련의 세션 과정에서 변할 수 있다. 그러나 다른 수준의 학습 과정과 지도에 대한 다양한 필요성에 대한 인식은 이러한 복잡성을 다루는 지도자의 민감성과 능력을 향상시킬 것이다.

To confound the issue further, any single learner may be at a different point of the external–internal continuum for each of the components of the learning process (e.g., be at the shared-guidance point for the cognitive component, the external-guidance point for the metacognitive component, and the internal-guidance point for the affective component), and these may vary according to the case material at hand, depending on prior experiences or future plans. A senior student may have expertise in handling a patient with type 2 diabetes, needing little guidance here, while being a novice in dealing with patients with a suicidal depression. This can prove challenging for the clinical tutor, who must provide different support for different learners at the same time, and whose role with the same learner may change over the course of a series of sessions. Awareness of different levels of the learning process and variable needs for guidance, however, will enhance the tutor’s sensitivity and ability to deal with these complexities.

고찰

DISCUSSION

이러한 개념은 전통적인 교사-강의자(표 4의 왼쪽 상단 셀에 표시됨)에서 [학생들의 지도 필요성에 민감하게 반응하는 학습 과정의 세 가지 요소 모두에 대한 기술을 가진 교사]로 이동하면서 [교사의 특성과 행동을 재정의]하는 것으로 이어질 수 있다.

These concepts may, lead to a redefinition of the teacher’s characteristics and actions, moving from the traditional teacher–lecturer (indicated in the upper-left cell of Table 4) to a teacher with skills in all three components of the learning process, who has sensitivity to students’ need for guidance.

이 모델은 학습과 교수 사이의 상호 작용에 초점을 맞추고 있지만, 어느 한 과정에 대해서도 완전한 설명을 하지는 않는다. 예를 들어 인지 처리는 정보의 선택뿐만 아니라 사실과 통찰력의 인코딩, 처리, 기억, 회수까지 포함한다.

The model focuses on the interplay between learning and teaching, but does not give a complete description of either process. For example cognitive processing includes not only selection of information, but also encoding, processing, remembering, and recall of facts and insights.

한 가지 실제적인 적용은 이 모델을 진단 기구로 사용할 수 있다는 것이다. 불만족스러운 과정이나 단일 교육 세션에서는 모델의 모든 면에서 문제를 분석하려고 할 수 있다. 학습 과정의 각 구성 요소에 적절한 과제가 있는가? 지침이 너무 적거나 너무 많이 제공되었는가?

One practical application is that the model could be used as a diagnostic instrument. In unsatisfactory courses or a single teaching session, one may try to analyze problems in all facets of the model: Are adequate challenges present in each of the components of the learning process? Is too little or too much guidance provided?

여기에 기술된 모델은 제시된 예에서 보듯이 커리큘럼과 과정 개발 및 실제 교실 교육의 프레임워크 역할을 할 수 있다. 또한, 우리가 배우고 관찰할 수 있는 발표, 동기 부여 및 교육 수준에서 교사 행동을 기술하는데 성공한다면, 이 모델은 교사 훈련과 교사 평가에 사용하는 것이 도움이 될 수 있다. 학생들이 필요로 하는 지도의 양(즉, 원하는 건설적 마찰량)을 측정할 수 있다면, 외부-내부 지도의 차원을 현실화할 수 있을 것이다.

The model described here could serve as a framework for curriculum and course development and actual classroom teaching as shown in the examples presented. In addition, teacher training and teacher evaluation may profit from the use of this model, if we succeed in describing teacher behaviors at presentational, motivational, and instructional levels that can be learned and observed. If we can measure the amount of guidance students need (i.e., the desired amount of constructive friction), it might be possible to actualize the dimension of external–internal guidance.

Acad Med. 2004 Mar;79(3):219-28.

Orienting teaching toward the learning process.

PBL의 문제: 의학교육에서 변혁적 비판적 교육을 향하여(Perspect Med Educ, 2019)

Problems of problem-based learning: Towards transformative critical pedagogy in medical education

Alice Cavanagh1,2 · Meredith Vanstone3,4 · Stacey Ritz5,6

의료 행위를 통해 건강의 불평등을 해결하라는 요구는 19세기에 비르초우가 설명한 인도적이고, 정치적, 사회적 의술에 더 가까이 의료 행위를 옮길 수 있는 가능성을 가진 전문 교육에 대한 새로운 접근법을 찾는 데 박차를 가하고 있다[1]. 이러한 노력은 제한된 성공을 달성했다. 비록 '건강 옹호'가 의료 학습자의 핵심 역량으로 인정되었지만[2–4], 교육자와 훈련자에게는 이 역할과 관련된 책임의 범위가 불명확하다[5, 6]. 비록 사회적 책임에 대한 의무는 의과대학의 공식적인 의무[7]에서 공통적이지만, 의대생들은 그들을 발생시키는 정치적 현실을 이해하지 않고 건강상의 불균형을 '인식'하도록 교육 받는다[8].

Calls to address health inequity through medical practice have spurred a search for new approaches to professional training with the potential to shift medical practice closer to the humane, political, social medicine described by Virchow in the nineteenth century [1]. These efforts have achieved limited success: although ‘health advocacy’ has been recognized as a core competency for medical learners [2–4], the scope of responsibilities attached to this role remain unclear to educators and trainees [5, 6]; although commitments to social accountability are common in medical schools’ formal mandates [7], medical students are taught to be ‘aware’ of health disparities without understanding political realities that give rise to them [8].

비판적 교육학의 관점이 의학 교육에 큰 영향을 미치지는 않았지만, 우리는 Paolo Freire의 문제 제기 교육 모델이 현대 의학 교육자들에게 많은 것을 제공할 것이라고 주장한다. 사회문화적, 정치적, 환경적 결정요인이 인간의 건강에 미치는 영향을 인정하면서, Freire의 중요한 교육학은 훈련생들을 사회정의에 봉사하는 데 그들의 비상한 전문적 힘을 사용하는데 참여하도록 하는 노력에 중추적인 개입을 나타낼 수 있다.

While perspectives from critical pedagogy have not made significant inroads in medical education, we argue that Paolo Freire’s model of problem-posing education has much to offer contemporary medical educators. Acknowledging the influence of sociocultural, political, and environmental determinants on human health, Freire’s critical pedagogy could represent a pivotal intervention in efforts to engage trainees in using their emergent professional power in service of social justice.

'억압당한 자의 페다고지' 소개

Introducing the ‘Pedagogy of the Oppressed’

처음 출판된 지 50년이 지난 지금, 프리레의 '억압당한 자의 페다기'는 현대 교육에 있어 중요한 요소로 남아 있다. Freire의 연구의 핵심에는 급진적인 명제가 있다. 교육은 그 학습자들 사이에서 '비판적 인식'을 발전시키는 '자유 실천'이 되어야 한다[9]. Freire에게 이것은 교사들이 실제로 그들의 학생들의 마음에 지식을 '예탁'하는 교육에 대한 전통적인 '은행' 접근방식을 특징짓는 규율과 암기를 거부하는 것을 의미한다. 대신, 프리어는 사회적 불평등을 유발하는 조건을 탐구하면서 학생들에게 자기 주도적인 조사에 참여하도록 요구하는 '문제제기 교육'(PPE)을 상상한다[9]. 

Fifty years after its initial publication, Freire’s Pedagogy of the Oppressed remains a vital force in contemporary education. At the heart of Freire’s work lies a radical proposition: education must become a ‘practice of freedom’ that develops ‘critical consciousness’ amongst its learners [9]. For Freire, this means rejecting the discipline and rote memorization that characterize conventional ‘banking’ approaches to education, in which teachers didactically ‘deposit’ knowledge into the minds of their students. Instead, Freire imagines a ‘problem-posing education’ (PPE) that asks students to engage in self-directed inquiry, exploring conditions responsible for social inequities [9]. 

이를 위해 Freire는 학생들과 교사들이 '세상에 의해 중재되어, 서로 가르치고' 있는 전통적인 계층 구조를 뒤집은 교실을 상상한다[9]. Freire에 따르면, 이러한 평등주의적인 재구성은 학습자들이 자신들이 지역사회로부터 고립되어 있거나, 변화를 가져올 수 없다는 인식을 없애는 데 도움이 된다. 오히려 학생들은 그들 공동체의 운명에 대한 책임을 분담하면서 스스로를 학습과 행동의 유능한 주체agent으로 보게 된다[9].

To this end, Freire imagines classrooms that upend traditional hierarchies, where students and teachers ‘teach each other, mediated by the world’ [9]. According to Freire, this egalitarian reconfiguration helps learners dispel the perception that they are isolated from their communities, or are unable to effect change; rather, students come to view themselves as capable agents of learning and action, holding a share of responsibility for the fate of their communities [9].

비록 억압받는 자의 페다기학이 수십 년 이상 학자들에게 반향을 일으켰지만, 비평가들은 오랫동안 프리어의 빈곤에 대한 집중이 나쁜 건강 결과를 초래할 수 있는 다른 유형의 억압을 모호하게 만드는 효과가 있다고 주장해왔다[10–12].

Although Pedagogy of the Oppressed has resonated with scholars over decades, critics have long argued that Freire’s focus on poverty works to obscure other types of oppression that can result in poor health outcomes [10–12].

우리는 Freire의 작품을 재해석한 것이 의학 교육자와 학습자에게 많은 것을 제공할 것이라고 주장한다: Freire가 설명한 은행 모델과 유사하게, 의학교육은 오래 전부터 '라이프스타일 선택'을 형성하는 사회적 맥락을 인정하지 않고, 환자의 건강악화에 대한 개인적 책임을 강조하는 방향으로 학생들을 암묵적으로 사회화시킨 혐의를 받아왔다[17, 18].

We contend that this reinterpretation of Freire’s work has much to offer medical educators and learners: akin to the banking model described by Freire, medical education has long been charged with tacitly socializing students to stress patients’ personal responsibility for poor health, without acknowledging the social contexts that shape their ‘lifestyle choices’ [17, 18]. 

우리는 Freire의 '압박받는 사람들에 대한 페다고지'을 연습생-의사들만큼 특권을 가진 사회 집단을 위해 구현하는 것은 그 나름의 과제를 가지고 있을 수 있다는 것을 알고 있다[19–21]. 그러나 의대생들에게 전문적인 배제의 사회적 패턴과 나쁜 건강의 구조적 원인에 대해 비판적으로 생각해 보라고 요구함으로써, 우리는 전문적 지지에 대한 학습자들의 비판적 성찰적 헌신을 촉진할 수 있는 비옥한 기회를 보게 된다.

We are aware that implementing Freire’s ‘pedagogy of the oppressed’ for a social group as privileged as trainee-physicians may have its own challenges [19–21]. However, by asking medical students to think critically about social patterns of professional exclusion and the structural causes of ill health, we see fertile opportunities for fostering learners’ critically reflexive commitments to professional advocacy.

의료 교육을 위한 문제기반 및 문제제기 교육 과정

Problem-based and problem-posing pedagogies for medical education

Freire의 문제 제기적 교육 접근은 1960년대 후반에 등장한 교육에 대한 급진적인 개입만이 아니었다. 문제 기반 학습(PBL) 모델은 1969년 맥매스터 대학에서 처음 시행되었고, 당시 의학교육을 위한 의료 혁신의 가속화에 대한 해답으로 등장했다. PBL의 지지자들은 독특하고 진행 중인 사례 연구를 중심으로 의학 학습을 구조화하는 것이 새로운 의사들이 '변화하는 개념과 새로운 지식을 따라갈 수 있도록' 준비했고, 자기 주도적인 연구와 평생 학습을 위한 기술을 개발했다고 주장했다[23]. 50년 후, 문제 기반 커리큘럼은 전 세계 의료 제공자를 위한 교육 프로그램에서 구현되었다[24–26]. 메타 분석과 체계적인 리뷰는 의료 교육의 모델로서 PBL을 많이 지원한다[22, 27, 28]. 문제 기반 교육 기관은 더 나은 비판적 사고자[30], 더 효과적인 팀 작업 [31] 및 임상 사례에서 발생하는 공중 보건 우려에 더 부합하는 훈련 내과의로 인정받았다[32].

Freire’s problem-posing approach to education was not the only radical intervention in education to emerge during the late 1960s. First implemented at McMaster University in 1969 [22], the problem-based learning (PBL) model for medical education emerged as an answer to the accelerating pace of innovation in healthcare. Advocates for PBL argued that structuring medical learning around unique, progressing case studies prepared new physicians ‘to keep up with changing concepts and new knowledge’ [23], developing skills for self-directed research and life-long learning. Fifty years later, problem-based curricula have been implemented in training programs for healthcare providers worldwide [24–26]. Meta-analyses and systematic reviews plentifully support PBL as a model for medical education [22, 27, 28], and the competence of graduates of problem-based medical programs is comparable to their conventionally trained colleagues [29]. Problem-based pedagogies have been credited with training physicians who are better critical thinkers [30], more effective working in teams [31], and more attuned to public health concerns that arise in their clinical practice [32].

PBL과 Freire의 PPE는 일시적 유사점 이상의 것을 공유한다. 두 페다고지는 [학생들의 수동성과 직위에 대한 반응성을 단념하며], [자기 주도적인 탐색이 커리큘럼의 중심]에 있다, 두 페다고지는 강의에 기초한 콘텐츠 전달을 거부하고 학습자의 탐구를 지원하는 교사로서의 역할을 다시 생각해낸다. 

PBL and Freire’s PPE share more than a passing resemblance: both pedagogies renounce student passivity and position responsive, self-directed inquiry at the heart of their curricula; both pedagogies reject lecture-based content delivery, and re-imagine the role of teachers as supportive facilitators of learners’ exploration. 

그러나 도구적 방법으로 두 가지 접근방식은 서로 달라져 의학교육에 매우 다른 의미를 갖게 된다. 아래에서는 Freire의 교육학을 의학 교육에 통합하는 것의 가치를 예시하는 문제점과 문제 기반 접근법을 비교하는 세 가지 예를 제공한다.

In instrumental ways, however, the two approaches diverge, resulting in profoundly different implications for medical education. Below, we offer three examples comparing problem-posing and problem-based approaches to medical learning that illustrate the value of incorporating Freire’s pedagogy into medical education.

예제 1: 문제 재구성

Example one: reconceptualizing problems

PBL과 PPE 사이의 차이점 중 하나는 각 모델이 각 교육학의 중심에 있는 '문제'를 어떻게 개념화하느냐에 있다[33]. PBL에서 매주, 문제는 짧은 사례의 형태로 나타나며, 제시된 환자의 이야기와 그들의 의료 기록을 간략하게 스케치한다. 이러한 사례연구는 이중의 목적에 기여하며, 학생들이 각 사례를 이해하기 위해 의학지식 학습 목표를 설정하도록 하는 동시에, 의학의 사고 관행에 맞춰 '인식적 견습'에 참여하게 한다[34]. 

One central point of divergence between PBL and PPE lies in how each model conceptualizes the ‘problems’ at the heart of each pedagogy [33]. Week-to-week in PBL, problems come in the form of short case vignettes, briefly sketching the story of a presenting patient and their medical history. These case-studies serve a dual purpose, prompting students to set medical knowledge learning objectives in order to understand each case while enlisting them into a ‘cognitive apprenticeship’ that acculturates them‘into the thinking practices of medicine’ [34]. 

이러한 틀은, 가족이나 생활 환경으로부터 대부분 추상화된, 개별 환자의 생명 의학적인 문제로서, 문제 해결사의 역할에 연습생-의사들을 캐스팅한다. PBL은 학습자와 교사 사이의 계층을 불안정하게 하지만, 전문 기관의 힘이 어떻게 임상적 접점을 형성하는지 또는 질병의 구조적 원인을 해결하기 위한 모든 요법의 의료 개입의 좁은 능력을 형성하는지에 대해서는 거의 문제 삼지 않는다[35].

This framing—of individual patients as biomedical problems, largely abstracted fromtheir family or life circumstances—by definition casts trainee-physicians in the role of problem-solvers. Although PBL destabilizes the hierarchy between learners and teachers, it does little to problematize how the power of professional authority shapes the clinical encounter or the narrow capacity of allopathic medical interventions to address structural causes of ill-health [35].

이와는 대조적으로, 의학 학습에 대한 PPE 접근방식에서 학생들은 인구 건강 불균형을 야기하는 정치적 맥락의 문제화 및 환자 치료에 대한 협력적 접근방식에 대한 학습을 담당할 것이다[33]. PPE를 통해, 치료 제공자의 역할은 '가장 책임 있는 문제 해결자'에서 통찰력과 대리력을 갖춘 다수의 situated actor 중 한 명으로 재구성될 수 있으며, 환자와의 협력 관계를 촉진할 수 있다[35].

By contrast, in a PPE approach to medical learning, students would be tasked with problematizing political contexts that give rise to population health disparities, and learning about collaborative approaches to patient care [33]. Through PPE, the role of care provider could be reconfigured from that of ‘most responsible problem-solver’ to one of multiple situated actors with insight and agency, promoting collaborative engagement with patients [35].

예를 들어, 치료에 '부적합'한 당뇨병 환자를 대상으로 한 사례 연구에서 PPE 강사는 학생들이 좋지 않은 글리카메믹 제어의 생물학적 영향 외에 규정된 치료 요법으로 환자의 사회적 맥락을 형성하는 후속 조치를 취하도록 도울 것이다[36, 37]. 자신의 직업적 정체성과 개인적 정체성이 임상적 만남을 어떻게 형성하는지 탐구하도록 요청받은 학생들은 또한 그들의 경력 동안 지속되는 성찰적 실천의 습관을 기르도록 격려받을 것이다[38]. 훈련 초기부터 의학 인식론의 기원, 누락, 함축적 의미를 비평하는 연습을 함으로써, PPE 교육을 받은 의사들은 그들 지역사회의 질병의 기원을 파악하고 정책 변화를 옹호하기 위해 잘 갖춰진 의대를 졸업할 것이다.

In a case study featuring a diabetic patient who is ‘nonadherent’ to treatment, for instance, PPE tutors would help students interrogate social contexts shaping patients’ follow-through with prescribed treatment regimens, in addition to biomedical implications of poor glycaemic control [36, 37]. Asked to explore how their professional and personal identities shape clinical encounters, students would also be encouraged to forge habits of reflexive practice that last throughout their careers [38]. Practised in critiquing the origins, omissions and implications of medical epistemology from their earliest days of training, PPE-trained physicians would graduate medical school well-equipped to identify the origins of ill-health in their communities and to advocate for policy change.

예제 2: 지식 재구성

Example two: reconceptualizing knowledge

PPE와 PBL 사이의 또 다른 긴장점은 knowledge과 kknower 사이의 관계에 있다. PBL에서 학생들은 출처를 평가할 때 증거 기반 의학(EBM)의 원리를 이용하여 자기 주도 연구[23]를 통해 기초 의학 지식을 배운다. PBL은 비판적 연구 평가와 응답성 조사를 가르치는 유용성에 대해 찬사를 받아왔으나[39], 학생들이 과학적 지식의 우월성을 뒷받침하는 객관성과 일반성의 가정에 대해 비판적으로 생각하도록 장려하지는 않는다[40].

Another point of tension between PPE and PBL lies in the relationship each understands between knowledge and the knower. In PBL, students learn foundational medical knowledge through self-directed research [23], using principles of evidence-based medicine (EBM) in their evaluation of sources [39]. Although PBL has been lauded for its utility teaching critical research appraisal and responsive inquiry [39], it does not encourage students to think critically about assumptions of objectivity and generalizability that support the supremacy of scientific knowledge over other ways of approaching health problems [40].

억압된 자의 페다지학에서 프리어는 과학이 (그 권위의 기초인) 내부 논리가 '의문의 여지없이 강력한' 것으로 가려질 때 억압의 도구가 된다고 이 비판을 presage한다[9]. EBM에서는 집계된 연구가 가치 계층에 따라 순위를 매긴 후, 연구 결과를 임상적 맥락에서 광범위한 적용 지침으로 재구성하는데, 이 과정에서 생물 의학적 '사실fact'은 그 fact가 생성된 상황에서 소외alienated된다. 과학적 지식은 sedimented 되고, 그것의 과학적 권위의 복합적인 힘을 바탕으로 점점 더 도전에 대한 저항력을 갖는다[40].

In Pedagogy of the Oppressed, Freire presages this critique, writing that science becomes an instrument of oppression when its internal logics—the basis for its authority—are obscured as ‘unquestionably powerful’ [9]. In EBM, after aggregated studies are ranked according to hierarchies of value, research findings are reformulated as guidelines for broad application in the clinical context; through this process, biomedical ‘fact’ is alienated from the circumstances in which it was generated. Scientific knowledge becomes sedimented, and increasingly resistant to challenge through the compounded force of its scientific authority [40].

성별 기반 분석을 배제한 우울증 치료에 대한 무작위 통제 실험은 이러한 현상의 한 가지 예를 제공한다. 즉, 연구는 EBM의 원칙에 따라 '고품질'으로 간주되는 방법론적 기준을 충족할 수 있는 반면, 여전히 우울증 증상학 및 치료 효과에 있어 두드러진 차이를 모호하게 한다.임상 실습에 대한 원인의 함축적 의미 [41]. 따라서 PPE에서 학생들은 (의학적 성차별, 인종 차별, 그리고 역사적으로나 현대의학 연구 관행에 고착된 능력주의 유산을 포함하여) 생물 의학 지식이 어떻게 구성되는지에 대한 사회적, 정치적 의미를 고려하는 임무를 맡게 될 것이다[42, 43].

Randomized controlled trials of treatment for depression that exclude gender-based analyses offer one example of this phenomenon at work: research can meet methodological criteria to be deemed ‘high quality’ according to the principles of EBM, while still obscuring gendered differences in depression symptomatology and treatment effects that have profound implications for clinical practice [41]. In PPE, therefore, students would be tasked with considering the social and political implications of how biomedical knowledge is constructed, including the legacies of medical sexism, racism and ableism entrenched in historical and contemporary medical research practices [42, 43]. 

생물 의학 연구를 [사회적으로 구성된 것으로서, 연구가 실제로 사용되는 동안에도 지속적인 revision의 대상이 되는 것]으로 간주하도록 훈련된다면, 문제제기적 의학 훈련PPE의 졸업생들은, 지식을 권력의 한 형태로 여기며, 그 권력을 사회 정의에 봉사하는 데 활용하는 연구 의제를 개발하기에 적합할 것이다.

Trained to consider biomedical research as socially constructed and subject to continual revision even as they use it in their practice, graduates of problem-posing medical training would be well-equipped to develop research agendas that account for knowledge as a form of power and that harness that power in service of social justice.

예제 3: 환자 재구성

Example three: reconceptualizing patients

PBL과 PPE의 마지막 차이점은, 의료의 핵심에서 환자의 삶과 건강을 이해하기 위해 건강 프레임워크의 사회적 결정요인을 사용하는 것이다. PBL에서, 건강의 사회적 결정 요인은 종종 학생들이 환자의 개인 특성이 그들의 병을 어떻게 형성하고 있는지를 고려하도록 장려한다[16, 44]. 이 분석은 학생들에게 질병의 역학 및 사회적 불평등의 위치와 어떻게 일치하는지를 고려할 수 있는 기회를 제공하지만, 이러한 대화를 고무시키기 위한 사례 설명은 실제 환자의 사회적 정체성에 대한 주목할 만한 질감과 매우 일치하지 않는다.

A final point of difference between PBL and PPE lies in the use of social determinants of health frameworks to understand the lives and ill-health of patients at the heart of medicine. In PBL, the social determinants of health are often invoked to encourage students to consider how a patient’s individual characteristics might be shaping their illness [16, 44]. Although this analysis affords students an opportunity to consider the epidemiology of illness and how it aligns with positions of social inequity, case descriptions meant to inspire these conversations fall well short of matching the appreciable texture of real patients’ social identities.

이러한 (PBL의) 접근법은 학생들이 인종 차별, 소외, 문화적으로 관련된 의료 서비스에 대한 접근성의 결여로 인해 초래되는 건강에 대한 해악을 탐구할 기회가 거의 없게 한다. 이러한 [정체성에 대한 사려깊음의 부재]는 다음과 같은 가정을 부채질한다. 즉, 건강상의 불평등은 [강압적인 정치적 강요에 의한 유동, 진화, 구축되는 것]이 아니라, 역사적 또는 생물학적으로 불가피한 것이라고 보는것이다 [44]

This approach leaves students with little opportunity to explore harms to health borne of racism, marginalization, and lack of access to culturally relevant healthcare services. The absence of thoughtfulness about these identity features fuels assumptions that embodied health inequities are trans-historical or biologically inevitable rather than fluid, evolving, and forged by oppressive politically imposed structures [44]. 

이 모든 것을 강조하는 것은 PBL 학생들이 사건을 해독해야 하는 현실이며, 이 때 질병의 사회적 맥락을 이해하는 것은 종종 의학적 학습 목표를 숙달하는 것에 밀려난다. 사회적 맥락은 '인지recognize'하거나 '인정acknowledge'할 것이 되며, 전문적 개입이나 advocacy해야 할 것이 아니게 된다.

Underscoring all this lies the reality that when PBL students are tasked with deciphering a case, understanding the social context of illness often falls second to mastering biomedical learning objectives. The social context becomes something to ‘recognize’ or ‘acknowledge’ as opposed to a site of possible professional intervention or advocacy. 

이와는 대조적으로, PPE 교실의 학생들은 그들의 직업적, 개인적 역할뿐만 아니라 사회정치적 구조도 이러한 건강 격차를 유지하는 데 어떻게 관련되어 있는지에 대해 의문을 제기하면서, 그들이 진료소에 구현되어 있는 건강의 구조적 원인을 조사하도록 장려될 것이다. 학생들은 인종, 성별, 이민 지위, 그리고 사회적 정체성의 다른 측면들이 어떻게 그들의 환자에게 영향을 미치는지에 대한 더 풍부한 이해를 개발해야 할 것이다. 궁극적으로, PPE 교실에 있는 학생들은 그들의 모든 사회 현실을 우연히 보게 되면서, 사회의 가장 아픈 사람들과의 연대 속에서, 그들의 전체 사회 현실을 우연히 보게 될 것이다.

By contrast, students in PPE classrooms would be encouraged to probe the structural causes of ill health they see embodied in the clinic, questioning how their professional and personal roles, as well socio-political structures, are implicated in upholding these disparities in health. Students would be tasked with developing a richer understanding of how lived experiences of race, gender, migration status and other facets of social identity combine to affect their patients. Ultimately, students in a PPE classroom would challenge deterministic conceptions of health, coming to see their whole social reality as contingent—a site of activist intervention, in solidarity with the sickest in society.

문제 제기 의료 교육으로 나아가다

Moving towards a problem-posing medical education

이러한 목적을 달성하기 위해 PPE의 학생들은 그들의 생물학적 지식과의 관계를 복잡하게 하고, 클리닉의 계층적 역학 관계를 재고하고, 그들의 미래의 의료 및 의학 연구의 핵심에 질병의 사회적 원인에 대한 투쟁을 다시 집중하도록 요청받을 것이다.

To achieve this end, students of PPE would be asked to complicate their relationships to biomedical knowledge, reconsider hierarchical dynamics in the clinic, and re-centre the struggle against social causes of illness at the heart of their future practices of medicine and medical research.

Perspect Med Educ. 2019 Feb;8(1):38-42. doi: 10.1007/s40037-018-0489-7.

Problems of problem-based learning: Towards transformative critical pedagogy in medical education.

공손함, 체면, 피드백: 기관의 피드백 문화가 피드백 실천에 미치는 영향 (Acad Med, 2018)

About Politeness, Face, and Feedback: Exploring Resident and Faculty Perceptions of How Institutional Feedback Culture Influences Feedback Practices

Subha Ramani, MBBS, MMEd, MPH, Karen D. Könings, PhD, Karen V. Mann, PhD, Emily E. Pisarski, MSc, and Cees P.M. van der Vleuten, PhD

피드백은 학습자의 자기평가에 inform하고, 수행능력에 영향을 줄 때 가장 효과적이다.1–5 점점 더 피드백의 초점이 제공자의 피드백 제공 기술에서 벗어나 [수신자의 수용, 통합 및 행동 변화]로 바뀌고 있다.2,6,7 그러나 피드백 대화는 (제공자와 수신자 사이에 공유된 정신적 모델이 부족하면) 방어, 분노 또는 심지어 정보에 대한 거부로 이어질 수 있는 복잡한 대인 교환interpersonal exchange이다.

Feedback is most effective when it informs learners’ self-assessment and influences performance.1–5 Increasingly, the focus of feedback is shifting away from providers’ feedback-giving skills toward receivers’ acceptance, incorporation, and behavior change.2,6,7 However, feedback conversations are complex interpersonal exchanges, where the lack of a shared mental model between the provider and receiver may result in defensiveness, anger, or even rejection of the information.8–11

사회문화적 요인도 피드백을 주고 받는 방법에 영향을 미칠 수 있다. 다음이 포함된다.

• 자존감과 자율성에 대한 위협 인식

• 관계를 해칠까 봐 두려움

• 출처의 신빙성에 대한 회의적 견해

• 자체 평가와 피드백 데이터의 불일치

또한 기관의 학습 문화도 영향을 준다.

Sociocultural factors—including perceived threats to self-esteem and autonomy, fear of damaging relationships, skepticism about the credibility of the source, and incongruence of feedback data with self-assessments,11–18 as well as the institutional learning culture9,19,20—can also impact how feedback is given and received.

조직문화, 이미지 및 아이덴티티

Organizational Culture, Image, and Identity

조직문화는 그들의 인식과 행동을 지도guide하는 공동체의 신념을 말한다.22,23 셰린22는 조직의 행동에 영향을 미치는 세 가지 수준을 묘사했다.

• 가정과 믿음, 문화의 기초를 이룬다. (레벨 1)

• 옹호되는 가치, 이는 조직의 목적과 바람직한 이미지를 강조한다 (레벨 2)

• 눈으로 보이는 일상적 행동, 흔히 명시된 가치와 실제적인 필요성 사이에서 타협한다 (레벨 3) 

Organizational culture refers to the beliefs of a community, which guide their perceptions and behavior.22,23 Schein22 described three levels of culture that influence organizational behavior: 

assumptions and beliefs that form the foundation of the culture (level 1), 

espoused values that underscore the organization’s purpose and desired image (level 2), and visible day-to-day behavior, which is often a compromise between stated values and practical needs (level 3).

교육기관은 전반적인 조직문화 외에도, 직업에서 [학습자의 교육을 설계하는 방법을 뒷받침하는 공유된 믿음, 실천, 가치]로 정의되는 학습문화를 가지고 있다.

In addition to an overall organizational culture, educational institutions have a learning culture, defined by Watling and colleagues19 and Watling20 as the shared beliefs, practices, and values that underpin how the profession designs the education of its learners.

피드백에 대한 얼굴 및 연관성의 개념

The Concept of Face and Relevance to Feedback

고프만26은 [승인된 사회규범에 따라 자신의 이미지가 어떻게 구성되는지]를 설명하기 위해 "체면face"이라는 용어를 만들어냈으며, 따라서 전문직업적 행동은 다른 사람들에게 긍정적인 이미지를 투영하려는 욕구에 의해 유도될 수도 있다. 브라운과 레빈슨27은 face 개념을 확장하여 

• 긍정적인 face을 자기 확인이나 자기 효능감에 대한 욕망으로, 

• 부정적인 face을 행동의 자유나 자율에 대한 욕망으로 규정하였다. 

Goffman26 coined the term “face” to describe how an image of oneself is constructed per approved social norms, hence professional behavior may be guided by the desire to project a positive image to others. Brown and Levinson27 expanded on the concept of face, defining 

• positive face as a desire for self-affirmation or self-efficacy and 

• negative face as a desire for freedom of action or autonomy. 

브라운과 레빈슨에 의해 묘사된 공손함 이론은 [대부분의 대화가 듣는 사람이나 말하는 사람에게 위협적일 수 있다고 가정]하며, 공손함을 [체면을 위협하는 행동을 완화하기 위한 시도]로 본다.

Politeness theory, as described by Brown and Levinson,27 assumes that most conversations can be face threatening to either the hearer or speaker and views politeness as an attempt to mitigate face-threatening acts.

체면 또한 개인보다는 관계적인 것으로 묘사되어 왔으며, 다른 사람들과의 관계를 통해 자신의 자아 감각이 발달한다.28 긍정적인 얼굴, 부정적인 얼굴, 그리고 체면의 관계적 개념화는 [팀과 팀 구성원이 서로 의지하여 전문적으로 성장하는] 임상 환경과 관련이 있다.    

Face has also been described as relational rather than individual, where one’s sense of self develops through relationships with others.28 Positive face, negative face, and the relational conceptualization of face are relevant to clinical settings where patient care and learning occur on teams and members of the team rely on each other to grow professionally.

긴스버그와 동료29,30은 훈련생 성과에 대한 서면 논평에서, 교수들이 모호한 언어를 사용하는 것에 대한 한 가지 설명으로 기존의 간접성의 공손성 개념을 도입한다. 그들은 ITER에 나오는 교수진 서술이 종종 모호하고, nonliteral한 언어를 포함하고 있으며, 다른 교수진들은 종종 "행간을 읽음"으로서 이 말을 해독한다고 보고한다.

Ginsburg and colleagues29,30 invoke the politeness concept of conventional indirectness as one possible explanation for vague language used by faculty in written comments about trainee performance. They report that faculty narratives on in-training evaluation reports frequently contain vague and nonliteral language, and that other faculty often decode this language by “reading between the lines.”

예를 들어, 다른 연구에서는 "좋은good"이라는 표현이 성적이 낮은 연습생을 지칭할 수 있고 "뛰어난excellent"라는 표현도 가장 우수한 수행자를 지칭하지 않을 수 있다는 것을 발견했다.31 그러나 평가에 비특정nonspecific 언어를 사용하는 것은 연습생이 평가 언어를 잘못 해석하는 결과를 초래할 수 있다.29 학습자가 단어 그대로 평가를 해석한다면, 셀프이미지는 보존하지만 진짜 메시지를 놓칠 수 있다. 반대로 행간을 읽는다면 체면이 깎일 수 있다.30

For example, another study found that “good” may refer to underperforming trainees and “excellent” may not refer to the highest performers.31 However, the use of nonspecific language in assessments could result in trainees misinterpreting the assessment language.29 If learners take the comments literally, they may miss the message and preserve their self-image; if they read between the lines, they could lose face.30

피드백을 긍정적으로 프레이밍 하는 것은 학습자의 만족도와 자기 효율을 향상시키기 때문에,  피드백 제공자는 학습자의 자존심을 위협할 수 있는 언어를 피하려고 하는 반면, 학습자는 자신의 자기 효율성(긍정적 체면) 또는 자율성(부정적 체면)을 위협하는 정보를 거부할 수 있다.26 긍정적이고 부정적인 체면의 개념은 위계적 학습 환경에서 양방향 피드백에 직접적인 위협이다. 숨겨진 코드, 위험회피, 간접성과 같은 것이 면대면 대화 중에 증폭될 수 있다.30 또한 피드백 언어는 피드백 대화에 대한 (암묵적이거나 명시적인) 기대와 상충되는 기관적 또는 전문적 문화에 의해서도 영향을 받을 수 있다.22,33

Because positive framing of feedback enhances learner satisfaction and self-efficacy,32 feedback providers may avoid language that could threaten learners’ self-esteem, while learners could reject information that threatens their self-efficacy (positive face) or autonomy (negative face).26 The concepts of positive and negative face are also direct threats to bidirectional feedback in a hierarchical learning environment. Hidden codes, hedging, and indirectness may well be amplified during face-to- face conversations.30 Further, feedback language may also be influenced by institutional or professional culture with conflicting implicit and explicit expectations for such conversations.22,33

방법

Method

구성주의 기반 이론 접근법,37–39를 사용하여, 우리는 기관 피드백 문화에 대한 그들의 견해를 탐구하기 위해 주민들과의 집중 그룹 토론, 집중 그룹 토론 및 교수들과의 개별 인터뷰를 실시했다.

Using a constructivist grounded theory approach,37–39 we conducted focus group discussions with residents, and focus group discussions and individual interviews with faculty, to explore their views on institutional feedback culture.

세팅

Setting

하버드 의과대학의 교수 계열인 브리검 및 여성병원의 내과 레지던트 프로그램은 많은 훈련 트랙에 걸쳐 약 160명의 레지던트로 구성된 대규모 도시 훈련 프로그램이다. (예: 연구, 글로벌 보건, 1차 진료, 관리 및 리더십, 의료 교육, 의료-피디아틱스).

The internal medicine residency program in the Department of Medicine at Brigham and Women’s Hospital, a teaching affiliate of Harvard Medical School, is a large urban training program consisting of approximately 160 residents across many training tracks (e.g., research, global health, primary care, management and leadership, medical education, medicine–pediatrics).

프레임워크, 참가자 및 샘플링

Framework, participants, and sampling

우리는 참여자의 서술로부터 의미를 반복적으로 분해하고 재구성하는 구성주의 기반 이론 접근법이 피드백 관행에 대한 기관 문화의 영향에 관한 이론을 개발하는 데 가장 적합하다고 믿었다.

We believed that a constructivist grounded theory approach, which iteratively deconstructs and reconstructs meaning from participant narratives, was most appropriate to develop a theory regarding the influence of institutional culture on feedback practices.40–42

세부전공 교수로 포커스 그룹을 소집하는 것은 불가능했기 때문에, 교수진이 만날 수 있는 시간에 개별 인터뷰를 실시했다(샘플 질문은 디지털 부록 1 참조. http://links.lww.com/ACADMED/A537).44,45

It was not feasible to convene focus groups with subspecialist faculty, so we conducted individual interviews at times when faculty were available to meet (for sample questions, see Supplemental Digital Appendix 1 at ).44,45

데이터 수집

Data collection

개방형 질문을 사용하여, 우리는 무엇이 피드백 문화를 구성하는지, 기관 피드백 문화(예절 개념 포함)가 피드백 품질과 영향, 피드백 탐색, 피드백에 대한 수용성 및 양방향 피드백에 어떻게 영향을 미칠 수 있는지에 대한 그들의 인식을 탐구했다.

Using open-ended questions, we explored participant perspectives on what constitutes feedback culture, their perceptions of how institutional feedback culture (including politeness concepts) might influence the quality and impact of feedback, feedback seeking, receptivity to feedback, and bidirectional feedback.

포커스 그룹 토론은 약 60분이었고 인터뷰는 약 30분이었다. 1차 조사관(S.R)이 논의를 주도했고, 연구 보조자가 그룹 상호작용을 관찰하고 현장 메모를 했다. 연구팀이 사전에 논의한 트리거 질문을 사용하여 대화를 개시했다(목록 1). 응답은 조사되었고, 토론의 내용이 연구 질문을 다루는지 확인하기 위해 더 많은 개방형 질문들이 제기되었다. 참가자들이 자발적으로 피드백 문화, 피드백 추구 및 수용성, 양방향 피드백 등 세 가지 주요 분야를 다루었다면 추가 질문은 제기되지 않았다.

Focus group discussions were approximately 60 minutes, and interviews were approximately 30 minutes. The primary investigator (S.R.) led the discussions while a research assistant observed group interactions and made field notes. Trigger questions, discussed in advance by the research team, were used to initiate conversations (List 1). Responses were probed, and further open-ended questions were posed to ensure that the content of the discussions covered the study questions. Further questions were not posed if participants spontaneously covered three main areas: feedback culture, feedback seeking and receptivity, and bidirectional feedback.

Reflexivity은 구성주의적 접근방식에 필수적이기 때문에 샘플링, 데이터 수집 및 분석에 대한 접근방식에서 연구자 역할과 가정들의 영향을 반영했다성찰2,46

Because reflexivity is essential for a constructivist approach, we reflected on the influence of researcher roles and assumptions in our approach to sampling, data collection, and analysis.42,46

그 학과 교수인 주저자는 프로그램 관리자로서 레지던트의 승진이나 졸업 결정을 하지 않으며, 동료 교수에 대한 지배적 위치에 있지도 않다. 그녀의 협력자는 비의학자로 외부 기관(C.P.M.V, K.V.M., K.D.K)의 전문가 건강 전문가와 연구원들을 포함한다. 연구팀에는 두 명의 연구 보조자(한 명은 포커스 그룹을 관찰하고 현장 메모를 했으며, 다른 한 명은 독립 데이터 분석[E.E.P]에 참여하였다.) 우리는 관찰자와 조사자 사이에 토론 후 토론을 벌였고, 질문이 공개되었고 다양한 의견의 표현이 허용되었는지 확인하기 위해 각 녹취록을 검토했다.

The lead author (S.R.), a faculty physician in the department, is neither a program director responsible for promotion or graduation decisions for residents nor in a position of power over fellow faculty. Her collaborators are nonphysicians and include expert health professions educators and researchers from outside institutions (C.P.M.V., K.V.M., K.D.K.). The team also included two research assistants (one observed the focus groups and took field notes, and the other participated in independent data analysis [E.E.P.]). We held postdiscussion debriefings between the observer and investigator and examined each transcript to ensure that questions were open-ended and allowed for the expression of a wide range of opinions.

자료 분석

Data analysis

우리는 어떤 이름도 포함하지 않고 포커스 그룹 토론과 인터뷰를 감사하고 기록했으며, 근거이론 연구에 필요한 지속적인 비교 접근법을 사용하여 동시 데이터 수집과 분석을 수행했다.37,38,40–42 트리거 질문 및 탐침을 관련 주제로서 향후 토론에 필요에 따라 수정했다. 우리의 연구 문제와 관련된 중요한 추가적인 주제를 얻지 못하고 이론적 이해를 구축하기에 적절한 정보가 있을 때 데이터 수집이 중단되었다.47 두 명의 조사관(S.R, E.E.P)이 처음 세 개의 기록을 독립적으로 검토하여 코드화했다. 

We audiotaped and transcribed focus group discussions and interviews verbatim without inclusion of any names, and performed concurrent data collection and analysis using the constant comparative approach required for grounded theory research.37,38,40–42 Trigger questions and probes were modified as needed for future discussions as relevant themes were identified. Data collection was stopped when we did not obtain significant additional themes related to our study questions and there was adequate information to construct a theoretical understanding.47 Two investigators (S.R., E.E.P.) independently reviewed and coded the first three transcripts. 

이 세 개의 녹취록은 다른 수사관들 중 한 명(C.P.M.V., K.V.M., K.D.K)에 의해서도 코드화되었다. 그들의 코드를 비교하고 논의함으로써, 팀은 나머지 데이터 세트의 코딩 시스템에 대한 합의를 이루었는데, 이 시스템은 NVivo 10 Pro for Windows(QSR International Pty)를 사용하여 분석 및 구성되었다. S.R.과 E.E.P. 현장 노트와 조사관 관찰은 유사한 전략을 사용하여 코드화되었고 주제 생성에 기여하였다. 이러한 해석은 member checking으로 confirm하고 참여자의 quote로 backed되었다. 

These three transcripts were also coded by one of the other investigators (C.P.M.V., K.V.M., K.D.K.). By comparing and discussing their codes, the team reached consensus on a coding system for the rest of the dataset, which was analyzed and organized using NVivo 10 Pro software for Windows (QSR International Pty. Ltd., Melbourne, Australia) by S.R. and E.E.P. Field notes and investigator observations were coded using a similar strategy and contributed to the generation of themes; these interpretations were confirmed by member checking and backed by participant quotes. 

1단계 코딩 중에 특정 이슈를 참조하는 각 데이터 유닛에 체내(참가자의 단어 사용) 코드가 할당되었다. 2단계 코딩 동안 주요 주제 영역별로 코드를 그룹화한 코딩 카테고리를 설정하여 코드 수를 줄였다. 그런 다음 우리는 사전 가설보다는 참가자 서술어에 기반을 둔 주요 주제를 식별하기 위해 주제 분석을 수행했다.48 식별된 테마를 전체 연구팀과 논의했고 추가적인 포커스 그룹 토론 및 인터뷰 질문을 통해 후속 데이터 수집에 영향을 미쳤다. 

During first-level coding, each data unit referring to a specific issue was assigned an in vivo (using participants’ words) code. During second-level coding, the number of codes was reduced by establishing coding categories which grouped codes by major subject areas. We then performed thematic analysis to identify major themes grounded in participant narratives rather than through a priori hypotheses.48 Identified themes were discussed with the entire research team and influenced subsequent data collection through additional focus group discussion and interview questions. 

일단 완전한 데이터 세트를 코드화한 후, 우리는 범주적 수준(의견과 신념 탐색)에서 개념적 수준(범주 간 관계 탐색 및 의미 이해)으로 이동했다.41,42 코딩과 주제 생성에 있어서의 의견 불일치 또는 불일치는 연구팀 회의에서 합의로 해결되었다. 마지막으로, 우리는 예의 이론26과 조직 문화의 렌즈를 통해 우리의 분석을 고려했다,22,23 우리의 발견이 어떻게 이러한 구성들과 일치하는지 또는 어떻게 도전하는지 탐구한다.

Once we coded the complete dataset, we moved from the categorical level (exploring opinions and beliefs) to the conceptual level (exploring relationships between categories and understanding meaning).41,42 Ambiguities or disagreements in coding and generation of themes were resolved by consensus at research team meetings. Finally, we considered our analysis through the lens of politeness theory26 and organizational culture,22,23 exploring how our findings aligned with or challenged these constructs.

결과

Results

초청 대상자 중 레지던트 29명과 일반내과 교수 22명이 포커스 그룹 토론에 참여했고, 8명의 세부전공 교수들이 인터뷰에 참여했다(표 1).

Of those we invited, 29 residents and 22 general medicine faculty participated in focus group discussions, and 8 subspecialty faculty participated in interviews (Table 1).

우리는 보다 광범위한 문화적 맥락 안에 위치한 세 가지 핵심 테마를 발견했다. 즉, 

• 성장의 문화를 촉진하기 위한 건설적인 피드백을 정상화하는 것, 

• 피드백을 추구하기 위해 정신적 블록을 극복하는 것

• 양방향 피드백을 방해하는 계층적 문화.

We discovered three key themes situated within the broader cultural context: 

• normalizing constructive feedback to promote a culture of growth, 

• overcoming the mental block to feedback seeking, and 

• hierarchical culture impeding bidirectional feedback.

이러한 주제와 각 주제에 대해 보고된 장벽 및 촉진자는 그림 1에 나타나 있다.

These themes as well as reported barriers and facilitators for each theme are depicted in Figure 1.

문화적 배경: 제도적 피드백 문화

Cultural context: The institutional feedback culture

많은 참여자들은 피드백 문화를 [정기적인 양방향 피드백 대화를 촉진하는 명확한 기관의 기대를 전달하는 문화]로 정의했다.

Many participants defined a feedback culture as one that communicated clear institutional expectations promoting regular two-way feedback conversations.

교직원과 레지던트 모두 피드백 문화의 정의에서 양방향적인 측면을 강조했다.

both faculty and residents emphasized the bidirectional aspect in their definition of feedback culture.

예의 문화.

Culture of politeness.

대부분의 레지던트와 교직원들 사이에서는 그 기관이 레지던트들의 자존심에 잠재적으로 위협적일 수 있는 피드백 언어를 암묵적으로 단념시키는 강한 예의 문화를 가지고 있다는 것에 대한 일반적인 합의가 있었다. 교직원은 레지던트를 위한 [따뜻하고 안락한 고치]라고 했고, 레지던트는 '가족 같은 분위기'라고 표현했다.

There was general agreement among most residents and faculty that the institution had a strong culture of politeness that implicitly discouraged feedback language that might be potentially threatening to residents’ self-esteem. It was described by faculty as a “warm and fuzzy cocoon” for residents and by residents as a “family- like atmosphere.”

임상 교육 환경과 대조적으로, 몇몇 교수들은 연구 훈련생들에게 건설적인 피드백을 제공하는 것이 덜 어렵다고 말했다. 임상 연수생에 대한 피드백은 의사소통 기술이나 전문성과 같은 복잡한 역량과 관련되기 때문에, 이러한 역량에 대한 건설적인 피드백을 제공하는 것은 이러한 수련생들에게 더 위협적일 수 있고, 연구 연수생들에 대한 피드백보다 받아들이기가 더 어려울 수 있다고 느꼈다.

In contrast to the clinical teaching environment, a few faculty stated that it was less challenging to provide constructive feedback to research trainees. It was felt that because feedback to clinical trainees involves complex competencies, such as communication skills and professionalism, giving constructive feedback on these skills could be more threatening for these trainees and harder for them to accept than is feedback for research trainees.

[의미 있고 건설적인 피드백을 제공하고자 하는 욕구]와 [대인관계를 해칠 염려] 사이의 긴장이 자주 언급되었다.

The tension between the desire to provide meaningful, constructive feedback and the fear of damaging interpersonal relationships was alluded to frequently.

탁월함의 문화

Culture of excellence.

그 문화는 또한 그 기관의 뛰어난 학문적 명성과 그 훈련생들의 혈통 때문에 건설적인 피드백이 억제되는 문화로 묘사되었다.

The culture was also described as one where the institution’s outstanding academic reputation and the pedigree of its trainees inhibited constructive feedback.

교수진은 레지던트들의 자기효능을 위협할 수 있는 건설적인 발언을 할 경우 비난받을take to task 수 있다는 우려를 나타냈다.

Faculty expressed concern about being taken to task if they provided constructive comments that could be threatening to residents’ self-efficacy.

교수진은 또 유명 기관 레지던트들이 임포스터 콤플렉스에 시달릴 수 있고 부정적 발언이 가뜩이나 취약한 자존심을 위협할 수 있다고 지적했다.

Faculty also alluded to the possibility that residents at prestigious institutions may suffer from an imposter complex and that “negative” comments could threaten their already fragile self-esteem.

교직원들은 레지던트의 "pedigree"와 [탁월성에 대한 의심의 여지가 없다는 가정]이 건설적인 피드백을 제공하는 데 상당한 장벽으로 간주했다.

The “pedigree” of residents and unquestioned assumptions of their excellence were viewed by faculty as significant barriers to providing constructive feedback.

주제 1: 성장문화를 촉진하기 위한 건설적 피드백의 정상화

Theme 1: Normalizing constructive feedback to promote a culture of growth

기관 피드백 문화는 건설적인 피드백의 장벽으로 주목되었지만, 레지던트들과 교수진 참여자들은 부정적인 암시가 없는 대화를 하는 것이 중요하다고 생각했다.

Though the institutional feedback culture was noted to be a barrier to constructive feedback, both residents and faculty participants felt that it was important to have those conversations without negative connotations.

레지던트 훈련 중에 흔히 볼 수 있는 짧은 업무 관계는 건설적이고 목표 지향적인 피드백 대화의 주요 장애물로 간주되었다. 교수진은 또 [종단적 관계가 없는 레지던트의 성장]에 대해서는 오너십이 떨어진다고 지적했다.

Short working relationships, common during residency training, were viewed as a major obstacle to constructive, goal- directed feedback conversations. Faculty also indicated that they felt a decreased sense of ownership for a resident’s growth without a longitudinal relationship.

직접적인 성과관찰이 의미 있는 피드백에 기여할 수 있는 정도는 많은 레지던트와 교직원을 놀라게 하는 것 같았다.

The degree to which direct performance observation could contribute to meaningful feedback seemed to surprise many residents and faculty.

그러나 일부 레지던트들은 교수진 관찰자의 존재를 침해적이고 자율성에 대한 잠재적 위협으로 보았다.

However, a few residents saw the presence of a faculty observer as intrusive and a potential threat to autonomy.

건설적인 피드백 교환과 전반적인 성장 문화를 촉진하기 위한 제안에는

• 언어에 대한 주의와 피드백 톤, 

• 종적 관계, 

• 자율성을 위협하지 않고 직접적인 성과 관찰, 

• 목표 지향 피드백, 

• 개선을 위한 조치 계획 및 

• 건설적인 피드백 교환을 정상화

Suggestions for promoting constructive feedback exchanges and an overall culture of growth included 

• attention to language and tone of feedback, 

• longitudinal relationships, 

• direct performance observation without threatening autonomy, 

• goal-directed feedback, 

• action plans for improvement, and 

• normalizing constructive feedback exchanges.

주제 2: 피드백을 구하는 데 있어 정신적 블록 극복

Theme 2: Overcoming the mental block to feedback seeking

적극적으로 피드백을 구하는 것은 전반적으로 비교적 드문 일이었다. PGY-1 레지던트들은 정신적으로 피드백을 구할 준비가 되어 있지 않았는데, 그들은 일반적으로 피드백을 비판과 동일시했다. 이는 그들이 정신없는 임상 약속에 압도되었기 때문이다.

Active feedback seeking was a relatively rare occurrence overall. PGY-1 residents were mentally unprepared to seek feedback, which they generally equated to criticism, because they were overwhelmed by hectic clinical commitments.

시니어 레지던트일수록 이런 정서에 공감했다. 그들 역시 약간의 두려움을 가지고 피드백 대화에 접근했기 때문이다.

The more senior residents empathized with these sentiments as they too approached feedback conversations with some trepidation.

그러나 PGY-2와 PGY-3 레지던트들도 인턴십 기간 동안 피드백을 구하는 데 좀 더 적극적으로 임했어야 했다고 생각했다. 아이러니하게도, 그들의 기술과 역량에 관한 불확실성은 특히 PGY-3에 접근하여 독립적 실천practice을 향해 나아가면서 증가하는 것처럼 보였고, 따라서 그들은 그들의 강점과 개선될 수 있는 분야를 평가하기 위해 더 자주 피드백을 구했다.

However, PGY-2 and PGY-3 residents also wished that they had been more proactive at seeking feedback during internship. Ironically, uncertainty regarding their skills and competence seemed to rise especially as they approached PGY-3 and were heading toward independent practice, and thus, they sought feedback more frequently to assess their strengths and areas in which they could improve.

몇몇 교직원들은 학습 목표와 관련된 구체적인 피드백을 제공할 수 있다고 생각했기 때문에 레지던트가 피드백을 seeking하면 환영했다.

Several faculty welcomed feedback seeking from residents as they felt it allowed them to provide specific feedback related to learning goals.

레지던트들은 직접적인 수행 관찰과 목표 지향 피드백이 피드백의 신뢰성과 수용성을 높일 것이라고 지적했다.

Residents indicated that direct performance observation and goal- directed feedback would enhance the credibility and acceptability of feedback.

피드백 훈련에는 피드백을 구하고 받기 위한 전략과 피드백을 제공하는 기술에만 집중하기보다는 수용성을 높이기 위한 프레임 피드백이 포함될 것이 권고되었다.

It was recommended that feedback training include strategies for seeking and receiving feedback, and framing feedback to enhance receptivity rather than focusing solely on the techniques of providing feedback.

PGY-1 주민들은 건설적인 피드백을 받을 준비가 되어 있지 않은 것 같았다. 참가자들에 따르면, 성과 관련 피드백을 수행할 인지 및 감정적 공간을 개선하는데는 다음이 도움될 것이다.

• 명백한 제도적 기대, 

• 피드백 탐색 및 수신에 대한 교육, 

• 성찰 전용 시간, 

• 피드백을 구하고 받는 교수진 모델링, 

• 성과 개선 계획을 이행할 기회

PGY-1 residents seemed mentally unprepared to seek and receive constructive feedback. According to participants, this lack of cognitive and emotional space to engage in performance-related feedback could benefit from 

• explicit institutional expectations, 

• training in feedback seeking and receiving, 

• dedicated time for reflection, 

• faculty modeling seeking and receiving feedback, and 

• opportunities to implement performance improvement plans.

주제 3: 양방향 피드백을 방해하는 계층적 문화

Theme 3: Hierarchical culture impeding bidirectional feedback

대부분의 레지던트들은 가장 nurturing한 분위기의 임상 환경조차도 근본적으로 위계적이라고 말했으며, 이는 윗사람에 대한 건설적인 피드백의 제공을 방해한다고 말했다.

Most residents stated that even the most nurturing clinical environment is fundamentally hierarchical, which impedes the provision of constructive feedback to upper levels.

레지던트들 사이에는 주치의들이 건설적인 피드백을 수용하지 않거나 그들의 행동을 기꺼이 바꾸지 않을 것이라는 인식이 공통적으로 있었다.

There was a common perception among residents that attendings would not be receptive to constructive feedback or willing to change their behaviors.

교직원들이 피드백을 구했을 때 레지던트들은 여전히 대화에 어떻게 접근해야 할지 몰랐다.

On those occasions when faculty sought feedback, residents still did not know how to approach the conversation.

교직원들이 대화를 시작했다는 전제 하에, 양방향 피드백 문화를 촉진하는 데 찬성하는 많은 레지던트들이 있었다.

There were many residents in favor of promoting a culture of bidirectional feedback provided that faculty initiated the dialogue.

주치의 의사의 성격과 그들의 팀 상호작용 방식은 양방향 피드백에 영향을 미치는 것으로 여겨졌다. 레지던트들은 또한 기관의 teaching expectation를 아는 것이 교수진에게 보다 구체적인 피드백을 제공하는 데 도움이 될 수 있다고 말했다.

The personality of attending physicians and the manner of their team interactions were believed to influence bidirectional feedback. Residents also stated that knowing institutional teaching expectations could help them to provide more specific feedback to their faculty.

반면 교수진은 피드백을 구할 때도 솔직하거나 구체적인 언급을 받지 못했다고 밝혔다.

Faculty, on the other hand, stated that even when they sought feedback, they did not get honest or specific comments.

교수진들은 레지던트들의 피드백을 얻는데 더 많은 노력을 기울이는 것 같았다. 한 교수 참여자는 자신의 한계를 인정하는 것이 계층적 장벽을 허물고 레지던트가 피드백을 제공할 수 있도록 하는 경향이 있다고 말했다.

Faculty seemed willing to engage more in seeking feedback from residents. One faculty participant stated that admitting his own limitations tended to break down hierarchical barriers and allow residents to provide feedback:

양방향 피드백이 레지던트과 교수진의 피드백 문화의 정의에 포함되었음에도 불구하고, 양방향 피드백에 대한 개방성의 정도는 다양했다. 그러나 교수진이 적극적으로 피드백을 구하고, 피드백을 계층 위로 장려하고 촉진하는 제도적 피드백 문화가 존재한다면 전반적으로 레지던트들은 기꺼이 참여하였다.

There were varying degrees of openness to bidirectional feedback despite its inclusion in the definition of a feedback culture by residents and faculty. However, overall residents were willing to engage provided that faculty actively sought feedback and there was an institutional feedback culture that encouraged and promoted feedback up the hierarchy.

고찰

Discussion

몇몇 교직원과 레지던트 참여자들은 "우수함의 문화"와 "예의 문화"라는 용어를 사용했다. 

• 우수함의 문화란 그 기관의 뛰어난 학문적 명성과 수련자의 혈통을 말하며, 이는 건설적인 피드백을 억제할 수 있다. 

• 예의 문화는 자존심에 부정적인 영향을 미칠 가능성이 있는 언어를 사용하는 것을 억제하는 collegial하고 supportive한 업무 환경을 말한다.

Several faculty and resident participants used the terms “culture of excellence” and “culture of politeness.” 

• The culture of excellence refers to the outstanding academic reputation of the institution and pedigree of its trainees, which can inhibit constructive feedback. 

• The culture of politeness refers to the collegial and supportive work environment that could prevent the use of language that has the potential to adversely affect self-esteem.

이러한 설명과 테마를 사용하여 건설적인 피드백 교환, 피드백 탐색 및 양방향 피드백에 대한 상주 및 교직원의 개방성 정도를 기반으로 그림 2에 표시된 프레임워크를 개발했다(축과 사분면에 대한 설명은 그림 범례 참조).

Using these descriptions and themes, we developed the framework shown in Figure 2, based on varying degrees of resident and faculty openness to constructive feedback exchanges, feedback seeking, and bidirectional feedback (see the figure legend for an explanation of the axes and quadrants).

우리의 틀에서, 교직원과 레지던트가 피드백을 구하는 것, 건설적인 피드백 교환, 양방향 피드백에 관여하는 것을 주저하는 하단 왼쪽 사분면의 제목은 "가정된 우수성의 문화"이다. 이러한 유형의 문화에서는 학문적 우수성과 임상적 우수성에 대한 제도적 명성으로 인해서, [그 기관의 모든 사람이 뛰어나며, 피드백 대화에서 "부정적" 진술은 허용되지 않는다는 가정]으로 이어지는 것으로 보인다. 종단적 관계의 결여와 위계적 기관문화 또한 그러한 문화에서 정직하고 의미 있는 대화의 장벽이 될 것이다. 또한, 보복에 대한 두려움은 교직원들에 대한 레지던트들의 피드백을 억제할 수 있고, 자신감의 결여나 사기꾼 콤플렉스는 피드백을 구하고 수용하는 것의 부족을 뒷받침할 수 있다. 이러한 요소들은 개방적인 피드백 문화를 촉진하기 위해 탐구하고 다루는데 중요하다.

In our framework, the bottom left quadrant, where faculty and residents hesitate to engage in feedback seeking, constructive feedback exchanges, and bidirectional feedback, is titled the “culture of assumed excellence.” In this type of culture, the institutional reputation for academic and clinical excellence appears to lead to assumptions that everyone is outstanding and that “negative” statements are not permitted in feedback conversations. A lack of longitudinal relationships and a hierarchical institutional culture would also be barriers to honest and meaningful dialogue in such a culture.4,9,49 Further, a fear of retaliation would inhibit feedback from residents to faculty, and an underlying lack of self-confidence or the imposter complex could underlie the lack of feedback seeking and receptivity. These factors are important to explore and address to promote an open feedback culture.

우측 하단의 사분면은 레지던트가 피드백을 구하고 양방향 피드백을 제공하지만 교직원들이 건설적이고 양방향 피드백을 참여하기를 꺼리는 것이 특징이다. 이 조합은 긍정적인 체면이나 자존심을 유지하는 데 초점을 맞추어 비특정적인 대화를 촉진할 수 있다. 긍정적인 얼굴을 유지하는 것, 다른 사람의 승인을 받고자 하는 욕망, 그리고 피드백 상호작용에서 언어 사용을 형성하는 방법은 이 연구의 결과와 매우 관련이 있다. 다른 조사자들은 또한 이런 종류의 문화에 적용될 건설적인 피드백을 교환하는 데 있어 주요한 장벽으로 피드백 수신자의 감정을 상하게 하고 업무 관계를 손상시킬 수 있다는 두려움을 보고했다. 흥미롭게도, 우리의 연구에서, 일부 교수진들은 레지던트들의 자존심에 위협적인 것으로 인식되는 피드백을 제공했다는 이유로 부서 지도부의 질책을 들었다고 말했다. 이러한 보복에 대한 두려움은 정직하고 건설적인 피드백의 제공을 방해할 것이다.

The bottom right quadrant can be characterized by residents’ openness to feedback seeking and bidirectional feedback but faculty reluctance to engage in constructive and bidirectional feedback. This combination could promote nonspecific conversations with a focus on preserving positive face or self-esteem. Preserving positive face, the desire to be approved by others, and how it shapes language use in feedback interactions are very relevant to the findings of this study.26,27 Other investigators have also reported the fear of hurting feedback receivers’ feelings and damaging working relationships as major barriers to the exchange of constructive feedback, which would apply in this type of culture.4,10,50 Interestingly, in our study, some faculty stated that providing feedback perceived as threatening to residents’ self-esteem had led to admonishment from departmental leadership; this fear of retaliation would impede the provision of honest, constructive feedback.

왼쪽 상단 사분면은 교수진은 피드백을 구하고 양방향 피드백을 받는 것에 개방적이지만, 레지던트들은 건설적인 피드백을 구하고 받기를 꺼린다. (실제하는 것이든 인식만 그렇든) 위계적 학습 문화, 그리고 건설적인 피드백을 받기 위한 인지 및 감정적 공간의 부족은 또한 이러한 유형의 문화에서 피드백을 구하고 수용하는 것을 방해할 것이다. 레지던트가 수용적이지 않은 것으로 인식될 경우, 교수진은 레지던트의 자율성에 대한 위협(즉 부정적인 얼굴)을 피하여 대화를 시작할 것이다.26 와틀링51과 와틀링과 동료4는 의학교육에서 자율성과 자주적 실천에 대한 강조는 교수진의 [직접적인 수행 관찰]을 방해하고, [개방적 피드백 문화의 장벽] 역할을 하는 경우가 많다고 보고했다. 피드백 제공자가 자존감이나 자율성을 보존하기 위한 예의 바른 언어를 사용하여 메시지를 암호화하는 경우, 피드백 수신자는 원래의 메시지와 상반되는 의미를 해독하고 구성할 수 있다.28 긴즈버그와 동료29,30에 의해 기술된 hedging and hidden code는 그러한 문화에서 직접 피드백 대화에 매우 적용된다.

The top left quadrant is characterized by faculty openness to engage in feedback seeking and bidirectional feedback but residents’ reluctance to seek and receive constructive feedback. A hierarchical learning culture, real or perceived, and a lack of cognitive and emotional space to receive constructive feedback would also impede feedback seeking and receptivity in this type of culture. If residents are perceived as not receptive, faculty might initiate conversations that avoid any threat to resident autonomy—that is, negative face.26 Watling51 and Watling and colleagues4 reported that the emphasis on autonomy and independent practice in medical education often prevents direct observation of performance by faculty and acts as a barrier to an open feedback culture. If feedback providers encode their messages using polite language aimed at preserving self-esteem or autonomy, the feedback receiver may decode and construct a meaning that contradicts the original message.28 The hedging and hidden code described by Ginsburg and colleagues29,30 are very applicable to in-person feedback conversations in such a culture.

우리는 상단 우측 사분면에 피드백을 구하고 양방향 피드백을 얻기 위해 한 레지던트가 사용한 용어인 "성장의 문화"라는 제목을 붙였다. 이러한 행동들은 [전문적 목표, 목표 지향적 피드백, 개선을 위한 행동 계획의 토론과 교환]을 자극하는 교육적 동맹 구축의 기조를 설정한다.52 이러한 문화가 먹히려면 교직원들과 레지던트들 모두가 스스로를 취약하게 만들고, 그들의 약점들에 대한 토론에 개방적이어야 하며, 이를 통해 그들은 전문직업적 성장을 포용할 수 있다.

We titled the top right quadrant the “culture of growth,” a term used by one resident participant, to indicate openness to feedback seeking and bidirectional feedback on both sides. These behaviors set the tone for educational alliance building, which stimulates discussion and exchange of professional goals, goal-directed feedback, and action plans for improvement.52 For this culture to work, both faculty and residents need to make themselves vulnerable and open to discussion of their weaknesses so that they can embrace professional growth.

기존 피드백 문화에 대한 거주자 및 교직원 인식에 대한 Schein의 수준 적용 

• 근원적 가정은 평판에 존재하는 예의와 기관적 자긍심을 포함할 수 있다(레벨 1). 

• 제시된 가치는 정기적인 피드백과 전문성 성장에 대한 서면 기대일 수 있다(레벨 2) 그러나, 

• 보다 눈에 띄는 일상 행동은 체면을 지키고자 하는 욕구가 지배할 수 있다(레벨 3). 

Applying Schein’s22 levels of culture to resident and faculty perceptions of the existing feedback culture, 

• underlying assumptions may involve politeness and institutional pride in its reputation (level 1), and 

• espoused values may be the written expectations of regular feedback and professional growth (level 2); however, 

• the more visible day-to- day behaviors may be dominated by the desire to preserve face (level 3). 

이 개념은 "피드백에 대한 가치와 필요성은 전달되지만 의도를 행동으로 옮기는 데는 차이가 있다"는 교수 참여자의 논평에 반영된다. 세 가지 수준의 문화 사이의 불일치를 다루지 않으면, 변화 전략은 성공적이지 못할 수 있다.

This concept is reflected in a faculty participant comment, “the value and need for feedback is communicated but there is a gap in translating the intent to action.” Without addressing the mismatch between the three levels of culture,22 change strategies may not be successful.

한계와 강점

Limitations and strengths

수술과 마취과 같은 학과에서 배우는 문화는 내과와 현저하게 다를 것이다. 예를 들어, 수술에서, 핵심 학습 설정은 문화가 더 계층적이고, 감독자와 훈련자 사이의 접촉은 절차의 기간으로 제한되며, 주로 건설적일 수 있는 특정한 기술 기반 피드백에 초점을 맞춘다. 

learning cultures in departments such as surgery and anesthesiology would be markedly different from internal medicine. For example, in surgery, a key learning setting is the operating room where the culture is more hierarchical, contact between supervisors and trainees is limited to the duration of the procedure, and the focus would be on specific skills-based feedback that would likely mostly be constructive.53,54

우리는 발견된 주제가 한 명의 조사자의 가정이나 편견에 의해 유도되지 않도록 하기 위해 복수의 데이터 소스를 사용하여 조사 결과를 삼각측량하고 두 명 이상의 조사자에 의한 독립적인 데이터 분석을 통해 조사 결과의 신뢰성을 높이려고 노력해왔다. 그 결과는 피드백에 영향을 미치는 사회문화적 요인을 기술한 기존의 피드백 문헌과 일치하는 것으로 보인다.4,10,11,15,16,18,51

We have tried to enhance the credibility of the findings by using multiple data sources to triangulate the findings and independent data analysis by two or more investigators to ensure that the discovered themes were not guided by a single investigator’s assumptions or biases. The findings appear to resonate with existing feedback literature describing sociocultural factors that influence feedback.4,10,11,15,16,18,51

추가 연구를 위한 제안

Suggestions for further research

피드백 이니셔티브가 적극적으로 피드백을 추구하는 행동을 촉진하고, 건설적인 피드백 교환을 정상화하며, 후배 학습자가 상급 레벨에 피드백을 제공할 수 있도록 하고, 모든 레벨에서 제한사항에 대한 인식을 장려하더라도, 후배 연습생들은 여전히 [평가 중 총괄적 피드백]과 [전문직업적 성장을 목표로 하는 형성적 피드백]을 구별하지 못할 수 있다. 따라서, 그들은 경쟁적인 업무 환경에서 미래의 동료 관계나 직업 전망을 망칠 것을 우려하여 교수진에게 형식적인 피드백을 주는 것을 피할 수 있다.

Even if feedback initiatives actively promote feedback-seeking behaviors, normalize constructive feedback exchanges, empower junior learners to give feedback to senior levels, and encourage acknowledgment of limitations at all levels, junior trainees still may not distinguish between summative feedback during assessment and formative feedback aimed at professional development. Thus, they may avoid giving formative feedback to faculty for fear of ruining future fellowship or career prospects in competitive work settings.

Conclusions

About Politeness, Face, and Feedback: Exploring Resident and Faculty Perceptions of How Institutional Feedback Culture Influences Feedback Practices.

학습목표 개발에서 Informed self-assessment의 영향(Med Teach, 2017)

The impact of informed self-assessment on the development of medical students’ learning goals

Margaret Wolffa,b, Jennifer Stojanb,c, James Cranfordd, Laurie Whitmane, Stacie Bucklere, Gruppen Larryf and

Sally Santena,f

도입

Introduction

불행하게도 많은 practicing physician들이 학습에 정체되고 새로운 임상적 도전에 적응하지 못하여 시간이 지남에 따라 점점 더 큰 practice gap를 야기한다(Reger, Mylopoulos et al. 2016). 이러한 정체 경향은 다요소적이지만, 부분적으로는 [결함 있는 자기 평가(SA)]가 [미래 학습에 대한 준비 부족]과 결합하기 때문이다(Cordes 1984; Friedman et al. 2005; Davis et al. 2006; Eva and Regehr 2008; Regehr and Mylopoulos 2008; Mylopoulos et al. 2016; Gude et al. 2017). 이는 [가장 숙련되지 않고 가장 자신감 있는 의사]가 낮은 자기 평가 능력을 가지고 있다는 발견에 의해 더욱 복잡해진다(Davis et al. 2006).

Unfortunately, many practicing physicians stagnate in their learning and fail to adapt to new clinical challenges, creating increasingly large practice gaps over time (Regehr and Mylopoulos 2008; Mylopoulos et al. 2016). This tendency to stagnate is multi-factorial, but is due in part to poor preparation for future learning paired with flawed self-assessment (SA) (Cordes 1984; Friedman et al. 2005; Davis et al. 2006; Eva and Regehr 2008; Regehr and Mylopoulos 2008; Mylopoulos et al. 2016; Gude et al. 2017). This is further compounded by the finding that physicians who are the least skilled and the most confident have a limited ability to self-assess (Davis et al. 2006).

미래 학습을 위한 준비는 "새로운 정보를 배우고, 자원을 효과적이고 혁신적으로 사용하며, 실제로 학습과 문제 해결을 위한 새로운 전략을 개발하는 능력"으로 정의된다(Mylopoulos et al. 2016).

Preparation for future learning is defined as “the capacity 

• to learn new information, 

• to use resources effectively and innovatively, and 

• to invent new strategies for learning and problem solving in practice” (Mylopoulos et al. 2016).

정기적인 피드백이 없으면 의사는 [실제 약점이 있는 영역을 강점 영역으로 인지]하거나, 반대로 [이미 지식이 있는 영역에서 학습을 추구]하는 식으로 제한된 시간을 허비할 수 있다(Eva et al. 2004; Davis 등, 2006).

Without regular feedback, physicians may perceive areas of strength in areas of actual weakness or conversely spend their limited time pursuing learning opportunities in areas in which they are already knowledgeable (Eva et al. 2004; Davis et al. 2006).

실천 기반 학습 및 개선(PBLI) 역량 영역은 자기 주도 학습의 개념을 포함한다(Knowles 1975; ACGME 2011; Burke et al. 2014).

the practice-based learning and improvement (PBLI) competency domain encompasses the tenets of self-directed learning: 

• identification of strengths and deficiencies, 

• goal-setting, 

• systematically analyzing performance, and 

• incorporating formative feedback into daily practice (Knowles 1975; ACGME 2011; Burke et al. 2014).

Informed SA는 "명확하고 시기적절하며 구체적이며 건설적인" 외부 피드백을 통합하는 것이며, 이상적으로는 "신뢰되고 신뢰할 수 있는" 출처를 통해 trainee의 SA에 inform한다 (Sargeant et al. 2010).

Informed SA incorporates external feedback that is “clear, timely, specific, and constructive” and ideally is given by “trusted, credible” sources to inform a trainee’s SA (Sargeant et al. 2010).

SA가 학습 목표(LG) 생성(Eva et al. 2010; Chang et al. 2011; Bounds et al. 2013)에서 주요 역할을 한다는 것을 뒷받침할 수 있는 몇 가지 증거가 있지만, 연습생들의 외부 피드백을 어떻게 인지하고 피드백을 LG에 통합할 것인지를 결정하는 방법에 대해서는 덜 알려져 있다(Chang et al. 2011; Bounds et al. 2013).

There is some evidence to support that SA plays a predominant role in learning goal (LG) generation (Eva et al. 2010; Chang et al. 2011; Bounds et al. 2013), but less is known about how trainees’ perceive external feedback and determine when to incorporate the feedback into their LGs (Chang et al. 2011; Bounds et al. 2013).

방법

Methods

스터디 설정 및 모집단

Study setting and population

SA, 피드백, LG 개발의 근거로 표준화된 환자(SP) 시나리오를 이용한 다단계 교육 개입 연구를 실시했다.

We performed a multi-step educational intervention study using a standardized patient (SP) scenario as the basis for SA, feedback, and development of LGs.

스터디 프로토콜

Study protocol

기초적인 임상 기술 과정에 등록한 졸업생들은 금연 상담에 초점을 맞춘 formative SP 만남에 참여했다. 그림 1은 학생들의 경험을 개략적으로 보여준다. 학생들은 표준화된 체크리스트를 사용하여 SP에 의해 의사소통 기술, 동기식 인터뷰 기법 사용, 금연 요법에 대한 지식을 평가받았다.

Preclerkship students enrolled in a foundational clinical skills course participated in a formative SP encounter focused on smoking cessation counseling. Figure 1 outlines the student experience. Students were assessed on communication skills, use of motivational interviewing techniques, and knowledge of smoking cessation therapies by SPs using standardized checklists.

이 만남 이후, 학생들은 수행된 행동의 체크리스트, 전지구적 등급 척도 및 선택적 서술 부분을 포함하는 SA를 완료했다. 글로벌 등급 척도 점수는 학생들의 성적 인식을 위한 자료로 사용되었다. 그 직후 각 학생은 자신이 인터뷰한 SP를 만나 개별화된 언어 성과 피드백을 받았다. 그리고 나서 각 SP는 그들이 학생들에게 준 피드백을 기록했다.

Following this encounter, students completed a SA that included a checklist of performed behaviors, a global rating scale, and an optional narrative portion. The global rating scale score was used as the data for the student perception of performance. Immediately following this, each student met with the SP they had interviewed and received individualized verbal performance feedback. Each SP then recorded the feedback they gave the student.

다음으로, 학생들은 에바 외(2010년)에서 개정한 5개 질문 피드백 등급 양식을 사용하여 SP로부터 받은 피드백의 효과를 평가하였다. 양식에 대한 첫 4개의 질문은 학생들에게 효과적인 피드백(예: SP가 얼마나 건설적인 방식으로 긍정적인 피드백과 부정적인 피드백을 균형있게 사용했는가?) 마지막 질문은 학생들에게 SP가 피드백을 제공하는 데 있어 전반적인 효과에 대해 평가하도록 했다. 1은 "나쁘다"고, 5는 "뛰어난" 것이다. 피드백 점수의 전체적인 효과는 데이터 분석의 목적으로 사용되었다.

Next, students rated the effectiveness of the feedback received from the SP using a five-question feedback rating form adapted from Eva et al. (2010) The first four questions on the form primed the students to the qualities of effective feedback (e.g. “To what extent did the SP use a balance of positive and negative feedback in a constructive manner”?). The final question asked students to rate the overall effectiveness of the SP at providing feedback rated on a five-point Likert scale with 1 being “poor” and 5 being “excellent”. The overall effectiveness of feedback score was used for the purposes of data analysis.

그 후, 학생들은 LG 개발에 관한 서면 지침, SMART(특정, 측정 가능, 달성 가능, 현실적, 시간적)의 예시를 받고, 하나의 완성된 SMART LG를 작성하도록 지침을 받았다. (Li et al. 2010) 학생 LG의 프롬프트는 다음과 같다. "이번 SP 조우를 바탕으로, 당신의 임상 기술을 발전시킬 수 있는 SMART LG를 하나 만들어주십시오. 이 목표는 당신이 훌륭한 의사가 되기 위해 중요하다고 생각하는 것이어야 하며, 그 과정이 끝날 때까지 성취할 수 있어야 한다." 각각의 학생들은 후에 LG를 만들었다.

Following this, students were given written guidelines on LG development, examples of SMART (Specific, Measurable, Attainable, Realistic, and Timely) LG and instructions to complete one SMART LG. (Li et al. 2010) The prompt for the student LG was: “Based on this SP encounter, please create one SMART LG that will help you further your clinical skills development. This goal should be something that you consider important for you to be an excellent doctor and should be achievable by the end of the course”. Each student subsequently created a LG.

SA의 기여와 SP의 외부 피드백, 임상 기술 개발, 리콜 및 자체 생성 LG에 대한 평가 후 조사하였다.

We investigated the contributions of SA and external feedback from a SP, on the development, recall, and of clinical skills implementation self-generated LGs after assessments.

LG는 Bounds 외 (2013)에서 제안한 다음과 같은 범주로 분류되었다. 

• (i) 학생의 SA만 해당, 

• (ii) SP 피드백을 통해 확인된 SA, 

• (iii) SP 피드백과 일치하지 않는 SA, 

• (iv) SP 피드백만 또는 

• (v) SA와 불일치하는 SP 피드백 

LGs were further categorized into the following categories proposed by Bounds et al. (2013): 

• (i) student’s SA only, 

• (ii) SA confirmed by SP feedback, 

• (iii) SA in disagreement with SP feedback, 

• (iv) SP feedback only, or 

• (v) SP feedback in disagreement with SA. 

또한, 데이터 분석을 위해 두 개의 별도 그룹을 만들었다. 즉, SA와 관련된 총 LG와 피드백과 관련된 총 LG가 그것이다.

In addition, two separate groups were created for the purposes of data analysis: 

• total LG associated with SA and 

• total LG associated with feedback.

SA 그룹은 세 가지 범주로 분류되었다: 

• SA only, 

• 피드백에 의해 확인된 SA

• 피드백과 불일치하는 SA. 

The SA group included three categories: SA only, SA confirmed by feedback, and SA in disagreement with feedback. 

피드백 그룹은 SP 피드백, 피드백을 통해 확인된 SA 피드백 및 SA와의 불일치 피드백에서만 LG로 구성되었다. 2주 후, 학생들은 LG를 상기시키고 다음 형태별 기술 평가 과정에서 배포된 서면 양식에 따라 이 목표를 달성하기 위해 취한 조치를 기술하도록 요청받았다.

The feedback group consisted of LGs from SP feedback only, from SA confirmed by feedback, and from feedback in disagreement with SA. Two weeks later, students were asked to recall their LG and describe any actions taken to achieve this goal on a written form distributed during the next formative skills assessment in their clinical skills course.

데이터 분석

Data analysis

결과

Results

LG의 출처

Source of LGs

모든 학생들이 LG를 썼다. 표 1의 결과는 LG 5개 카테고리의 참가자 비율이 같지 않다는 것을 보여준다. 가설로 세운 것처럼, 참가자들은 주로 자신의 SA를 기반으로 LG를 만들었다. SA(즉, SA만 해당, SP 피드백으로 확인된 SA, SP 피드백과 불일치한 SA)는 생성된 LG의 82.8%에 영향을 미쳤다.

All students wrote a LG. Results in Table 1 show that the percentage of participants across all five LG categories was not equal, as hypothesized, participants created LGs primarily based on their own SA with SA (i.e. SA only, SA confirmed by SP feedback, SA in disagreement with SP feedback) influencing LG generation 82.8% of the time.

학생들은 disconfirming 피드백을 받았을 때 SA를 기반으로 한 LG를 거의 만들지 않았다 (5.4%)

Students rarely generated LG based on SA when they received disconfirming feedback (5.4%);

LG생성에 대한 영향요인

Factors affecting the generation of LGs

SA는 학생 성적이나 전반적인 피드백 효과에 대한 인식에 관계없이 LG의 주요 원천으로 남아있다.

SA remained the predominant source of LGs irrespective of student performance or perception of overall effectiveness of feedback

그러나 이러한 요인과 관련하여 LG의 다른 공급원들 사이에 차이점이 지적되었다. 첫째, LG의 출처와 학생의 수행능력 사이에는 통계적으로 중요한 연관성이 있었다.

There were, however, differences noted amongst the other sources of LGs in association with these factors. First, there was a statistically significant association between student performance and source of LG,

[평균 성적(55/111, 49.5%)이나 높은 성적(12/25, 48%)보다] "성적이 저조한" 학생은 LG(10/32, 31.3%)에 피드백을 통합할 가능성이 적었다. 또 [평균(1.8%)이나 성적이 높은(0%) 학생보다] 성적이 좋지 않은 학생은 SP 피드백(21.9%)으로 disconfirmed된 SA를 기반으로 LG를 만들 가능성이 높았다.

Students who performed poorly were less likely to incorporate feedback into their LG (10/32, 31.3%) than students with average performance (55/111, 49.5%) or high performance (12/25, 48%). In addition, students who performed poorly were more likely to make LG based on SA that was disconfirmed by SP feedback (21.9%) than students with average (1.8%) or high (0%) performance.

둘째, [학생들의 수행능력에 대한 전반적 인식]과 [LG의 출처] 사이에 통계적으로 중요한 연관성이 있었다.

Second, there was a statistically significant association between student global perception of performance and source of LG,

[평균(35/71%, 49.3%), 우수(1/7, 14.3%)로 인식한 학생에 비해] 성적이 나쁘다고 "느낀" 학생은 LG(6/8, 75%)에 피드백을 통합할 가능성이 높았다.

Students who perceived they had performed poorly were more likely to incorporate feedback into their LG (6/8, 75%) compared to those that perceived their performance as average (35/71, 49.3%) or excellent (1/ 7, 14.3%).

셋째, 전반적인 피드백 효과와 LG의 출처 사이의 연관성은 통계적으로 유의하지 않았으며, 이는 피드백 효과가 LG의 출처에 영향을 미치지 않았음을 보여준다. 이는 표준화된 성격을 고려할 때 피드백의 variability가 매우 낮음을 반영할 수 있다.

Third, the association between perceived overall effectiveness of feedback and source of LG was not statistically significant, indicating that effectiveness of feedback did not influence source of LG. This may reflect the minimal variability of feedback given the standardized nature.

LG 회상 및 시행

LG recall and implementation

[SA를 기반으로 LG를 만든 학습자에 비해] SP 피드백만으로 LG를 만든 학습자는 LG를 회상할 가능성이 높았다.

Learners who created LG based solely on SP feedback (SP feedback only or SP feedback in disagreement with SA) were, compared to those who created LG based on SA, more likely to recall their LG,89.7 versus 67.6%

SP 피드백만으로 LG를 만든 학습자는 추가 변수를 제어한 결과 LG에 대한 리콜이 높았다.

After controlling for these additional variables, learners who created LG based solely on SP feedback had higher recall of their LG

SP 피드백만으로 LG를 만든 학습자가 LG를 구현할 가능성이 더 높았다.

Learners who created LG based solely on SP feedback were also more likely to implement their LG, 72.4 versus 48.9%

SP 피드백만으로 LG를 만든 학습자들은 LG를 구현할 가능성이 더 높았다.

learners who created LG based solely on SP feedback were more likely to implement their LGs

게다가, 피드백 품질은 통계적으로 유의미하게 LG전자의 구현가능성 증가와 연관되어 있다.

In addition, quality of feedback remained statistically significantly associated with higher odds of LG implementation,

고찰

Discussion

이 연구는 임상 기술 평가 후 초보 학습자가 ...

• [(실제) 성과, 성과에 대한 전반적 인식 또는 피드백 효과에 대한 인식에 관계없이] 자신의 SA를 기반으로 LG를 가장 많이 만든다는 것을 보여주었다. 

• 하지만, 그들의 LG를 피드백에 근거하는 학생들은 그들의 LG를 기억하고 행동할 가능성이 더 많았다. 

• [피드백 효과에 대한 전반적 인식]은 학생들의 LG의 출처에 영향을 미치지 않았지만, 그들이 더 효과적인 피드백을 받았다고 인식하는 사람들은 그들의 LG에 대해 행동할 가능성이 더 높았다. 

• 게다가, 자신들이 최고의 성적을 거뒀다고 믿는 학습자들은(즉, 높은 SA를 가지고 있었다) 그들의 LG에 대해 행동할 가능성이 더 높았다. 

이러한 결과는 비록 SA가 정확하지 않지만, 목표 설정과 후속 조치에서 필수적이라는 것을 시사한다.

This study demonstrated that following a clinical skills assessment, novice learners most often created LGs based on their own SAs regardless of performance, global perception of performance or perception of effectiveness of feedback. However, students who based their LGs on feedback were more likely to recall and take action on their LGs. While perception of overall effectiveness of feedback did not influence the source of students’ LGs, those who perceived they had received more effective feedback were more likely to act on their LGs. In addition, learners who believed they had performed the best (i.e. had a high SA) were more likely to act on their LGs. These findings suggest that although SAs are inaccurate, they are essential in goal setting and subsequent action.

이전 연구들은 보다 advanced 학습자들에게 LG 생성에 SA의 영향이 크다는 것을 보여주었다(Eva et al. 2010; Chang et al. 2011; Bounds et al. 2013). 바운스 외 연구진(2013년)은 표준화된 구술 보드 시나리오에 따라 응급의학 노인들에 의해 만들어진 LG의 출처를 조사했다. 우리의 연구와 일관되게, 이들 학습자들은 SA를 기반으로 LG의 대다수를 만들었고, 피드백을 통합한 LG에 대해 행동할 가능성이 더 높았다.

Prior studies have demonstrated the profound influence of SA in the generation of LGs in more advanced learners (Eva et al. 2010; Chang et al. 2011; Bounds et al. 2013). Bounds et al. (2013) examined the source of LGs made by senior emergency medicine residents following a standardized oral board scenario with feedback. Consistent with our study, these learners created the majority of LG based on SA and were more likely to act on LG that incorporated feedback.

에바 외(2010년)는 의대 2학년 때 LG 세대에게 외부 대 내부 요인이 미치는 영향을 조사했다. 이들은 LG 개발에서 SA가 차지하는 근본적인 역할도 입증했지만 LG의 구현은 평가하지 않았다.

Eva et al. (2010) investigated the influence of external versus internal factors on generation of LG in second year medical students. These authors also demonstrated the fundamental role SA plays in development of LG but did not evaluate the implementation of LG.

다른 의학 교육 연구자들은 LG의 구현에 기여하는 요소들을 탐구했다(Li et al..2010; Li et al. 2011; Lockspeiser et al. 2016). 개인적 성찰, 상충하는 요구, 환경적 부담의 어려움은 LG 달성에 있어 상당한 장벽으로 보인다. 성공적인 전략에는 학습자가 우선순위를 정하고 구체적이고, 측정 가능하고, 현실적인 LG의 개발이 포함된다(Li et al. 2010). LG 구현의 또 다른 필수 요소는 레지던트들이 LG를 개발하고 구현하도록 책임을지도록 하는 프로그램 서포트였다(Lockspeer et al. 2016). 

Other medical education researchers have explored factors that contribute to implementation of LGs (Li et al.2010; Li et al. 2011; Lockspeiser et al. 2016). Difficulty with personal reflection, competing demands, and environmental strain appear to be significant barriers in achieving LGs. Successful strategies include development of relevant LG that are prioritized by the learner and are specific, measurable, and realistic (Li et al. 2010). Another essential factor in implementing LGs was program support to help develop LG and hold residents accountable to implementation (Lockspeiser et al. 2016). 

이처럼 여러 문헌에서 점차 LG 개발의 복잡성과 후속 조치를 강조하고 있으며, LG의 실행은 어느 요인만으로는 예측할 수 없다는 것을 보여준다. 커터 외(2017년)에 의해 제안된 최근에 개발된 마스터 어댑티브 학습자 개념 체계는 이러한 연구 결과를 더 해독하는 데 도움이 될 수 있다. 이는 자기조절학습에 뿌리를 둔 4단계 과정(계획, 학습, 평가, 조정)으로, 자기주도학습자가 되기 위해 "의과대학생에게 필요한 기술과 프로세스의 육성을 위한 노력을 지도하기 위해 개발"되었다(White et al. 2014; Cutreet al. 2017)

This growing body of work highlights the complexities of LG development and subsequent action and demonstrates that implementation cannot be predicted by anyone factor alone. The recently developed Master Adaptive Learner conceptual framework proposed by Cutrer et al.(2017) may help to decipher these findings further. This is a four-phased process rooted in self-regulated learning: planning, learning, assessing, and adjusting that was “developed to guide efforts in fostering medical student development of the skills and processes necessary” to become self-directed learners (White et al. 2014; Cutreret al. 2017)

우리의 연구는 주로 임상 기술 강좌에서 진료를 받기 전의 의대생들 사이의 [계획 단계]에 초점을 맞추었다. 계획 단계는 학습 격차의 확인, 학습 기회 선택, 학습 자원의 식별 등으로 구성된다. 이 단계의 첫 번째 부분, [격차의 식별]에서 학습자는 SA를 수행한 다음 SP와의 피드백 세션을 수행했다. 그 후, 모든 학습자들은 LG를 만들었다. 그러나 LG를 구현하기 위해 행동한 학생은 일부에 불과했다. 이러한 행동action과 비행동inaction의 차이는 부분적으로 LG의 우선순위 결정과 관련한 서로 다른 결정differing decision으로 설명될 가능성이 있다.

Our study focused primarily on the planning stage amongst preclerkship medical students in a clinical skills course. The planning phase consists of identification of learning gaps, selecting an opportunity for learning, and identification of learning resources. In the first part of this phase, identification of gaps, learners performed a SA followed by a feedback session with a SP. Following this, all learners created a LG.However, only some took action to implement the LG. This difference in action and inaction is likely explained in part by differing decisions regarding prioritization of LGs.

예를 들어, 자신의 성적에 대한 전반적 인식이 가장 낮은 학생들은 실제 성과에 관계없이 목표를 달성할 가능성이 가장 낮았고, 반면 SA가 가장 높은 학생들은 목표를 달성할 가능성이 가장 높았다. 폭스 외 연구진(1989)이 기술한 바와 같이, 많은 노력을 요하는 목표는 완수될completed 가능성이 적다. 

For example, students with the lowest global perception of their performance were the least likely to follow through on their goals irrespective of actual performance while those with the highest SA were most likely to follow through on their goals. As Fox et al. (1989) described, goals requiring a large effort are less likely to be completed. 

(SA가 낮은) 학습자들은 이 과제를 극복할 수 없는 노력이 필요하다고 볼 수 있으며, 따라서 LG를 deprioritize할 수 있다.

These learners may view the task as requiring an insurmountable effort and therefore deprioritize this LG

반면, [더 큰 인지 부조화를 인지한 학생]들은 [피드백을 통합하지 않은 학습자들보다] LG에 대한 조치를 취했을 가능성이 더 높다. 개인이 인지 부조화를 깊게 느낄수록, 더 많은 동기 부여가 되어 그 학습 격차를 메우는 것을 우선시한다(Cordes 1984).

On the other hand, students who perceived a larger cognitive dissonance were also more likely to have taken action on their LGs than learners who did not incorporate feedback. The more deeply an individual feels cognitive dissonance, the more motivated an individual is to take action, thereby prioritizing filling that learning gap (Cordes 1984). 

Med Teach. 2018 Mar;40(3):296-301. doi: 10.1080/0142159X.2017.1406661. Epub 2017 Nov 27.

The impact of informed self-assessment on the development of medical students' learning goals.

피드백에 대한 성찰: 루프를 닫기(Med Teach, 2015)

Reflections on feedback: Closing the loop 

SUBHA RAMANI

최근, 나는 의학 교육의 피드백에 대해 많은 성찰을 한다. 사람들은 이것이 새로울 것이 없는 낡은 모자라고 생각할지도 모르지만, 그것은 사실과 거리가 멀다.

Lately, I have been reflecting a lot about feedback in medical education. One might think this is old hat with no new avenues for exploration, but that would be far from the truth.

의대생과 레지던트들은 교사들이 주는 피드백이 드물거나 효과적이지 않다고 보고한다(Bing-You & Trowbridge 2009; Delva et al. 2013). 피드백을 주기 위한 기법에 관한 많은 내용이 작성되었고 바로 이 주제에 대해 더 많은 교수진 개발 워크샵이 조직되고 있는데 왜 이러한 추세가 계속되는가(van de Ridder et al. 2008; Krackov 2011; Krackov & Pohl 2011).

Medical students and residents report that feedback given by their teachers is both infrequent and/or ineffective (Bing-You & Trowbridge 2009; Delva et al. 2013). Why does this trend continue when so much has been written about techniques for giving feedback and more faculty development workshops are being organized on this very topic (van de Ridder et al. 2008; Krackov 2011; Krackov & Pohl 2011).

내 초점은 피드백 루프를 탐색하는 것으로 바뀌었다. 이 루프는 피드백 대화가 계획되기 전에 이미 시작된다. 그것은 선생님과 학습자가 처음 만났을 때 시작된다.

My focus has turned to exploring the feedback loop; The loop starts well before the feedback conversation is planned. It begins when the teacher and learner meet for the first time,

학습 환경의 중요성

The importance of the learning environment

향후 피드백 교환을 위한 단계가 설정되는 도입부부터 긍정적인 학습 환경이 구축된다. 적절한 환경은 학습과 실수와 실수로부터의 학습을 conducive하고, 양 쪽의 한계를 솔직하게 인정하고, 모든 수준에서 배우려는 의지가 된다. 또한 교사들과 학습자들 사이에 신뢰를 구축한다. 신뢰는 피드백이 양방향 교환이 되도록 보장하며, 항상 전문적인 성장과 개선을 교환의 목표로 하여 장단점에 대한 논의를 포함한다(Krackov & Pohl 2011; Lombarts et al. 2014).

A positive learning environment is established at that introduction where the stage is set for future feedback exchange. A congenial environment is conducive to learning, making mistakes and learning from them, honest admission of limitations on both sides and a willingness to learn from all levels; it also establishes trust between teachers and learners. The trust ensures that feedback is a two-way exchange, includes discussion of strengths and weaknesses, always with professional growth and improvement as the goal of the exchange (Krackov & Pohl 2011; Lombarts et al. 2014).

학습 목표의 중요성

The importance of learning goals

모든 사람은 천재다. 그러나 나무에 오를 수 있는 능력으로 물고기를 판단한다면, 물고기는 자신이 바보라고 믿고 평생을 살 것이다. – 알버트 아인슈타인.

Everyone is a genius. But if you judge a fish on its ability to climb a tree, it will live its whole life believing it is stupid – Albert Einstein.

이 인용문은 우리가 의학 교육에서 학습자에게 피드백이 어떻게 제공되는지를 고려할 때 매우 적절하다. 일단 긍정적인 학습 분위기가 확립되면, 분명한 다음 단계는 학습 목표의 소통일 것이다. (창 외, 2011) 교육 리더는 로테이션의 목적과 목표를 가르치는 사람들에게 전달해야 하며, 교사는 이러한 목표를 학습자와 학습자가 그들 자신의 학습 목표를 설정하고 이를 교사에게 전달해야 하는 구체적인 행동으로서 전달해야 한다. 교사들과 학습자들은 함께, 성취한 목표와 아직 달성되지 않은 목표를 calibrate하기 위해 다양한 단계에서 그들의 성과를 교정할 수 있다.

This quote is very apt when we consider how feedback is provided to learners in medical education. Once a climate is positive learning established, the obvious next step would be communication of learning goals (Chang et al. 2011). Educational leaders need to communicate goals and objectives of the rotation or course to those who teach, teachers should communicate these goals as specific behaviours to learners and learners should establish their own learning goals and communicate these to their teachers. Together, teachers and learners can calibrate their performance at various stages to determine goals achieved and those yet to be achieved.

반성의 중요성

The importance of reflection

학생들에게 피드백을 받기 전에 [자신의 작업에 대해 생각하라]고 요청하면, 뇌에 있는 토양이 긁혀 피드백 씨앗이 정착하고 성장할 수 있는 장소가 된다 – Jan Chappuis

Asking students to think about their work before receiving feedback scratches up the soil in their brain so the feedback seeds have a place to settle in and grow – Jan Chappuis

강점과 약점에 대한 자기 성찰을 장려하는 것은 성찰적인 의사들을 훈련시키는데 필수적인 요소다(Cantillon & Sargeant 2008; Van Hell et al. 2009; Krackov & Pohl 2011; Chappuis 2014). 나는 피드백 교환의 중심에 자기 평가를 두는 펜들턴 접근방식을 좋아한다(Pendleton 1984). 나는 의학적 훈련생들이 overachiever로서, 자기자신에 대해서는 과도하게 엄한 경향이 있다는 것을 발견했다; 나는 종종 그들의 우울한 자기 평가를 반박하고 긍정적인 면을 부각시킨다. 따라서 자기 성찰로 대화를 시작하는 것은 잠재적으로 분노, 부정적인 감정, 시정 피드백에 대한 수용성의 부족을 최소화할 수 있다(Sargeant et al. 2008; Van Hell et al. 2009; Delva et al. 2013).

Encouraging self-reflection on strengths and weaknesses is an essential factor in training reflective practitioners (Cantillon & Sargeant 2008; van Hell et al. 2009; Krackov & Pohl 2011; Chappuis 2014). I like the Pendleton approach which places self-assessment at the centre of a feedback exchange (Pendleton 1984). I have found that medical trainees are overachievers and tend to be their own worst critics; frequently I end up refuting their gloomy self- appraisals expanding on and highlighting the positives. Thus, starting a conversation with self-reflection can potentially minimise anger, negative emotions and lack of receptivity to corrective feedback (Sargeant et al. 2008; van Hell et al. 2009; Delva et al. 2013).

계획의 중요성

The importance of plans

피드백이 학습 성과 측면에서 개선이 필요한 특정 장점과 분야를 열거하지 않고, 전문적 개선 계획을 기술하지 않는 경우는 아무런 소용이 없다(Boud & Molloy 2013; Watching 2014a, b). 이를 달성하기 위해 피드백은 특정한 행동, 세심한 관찰, 그리고 전문적인 발전의 동기를 부여하는 것을 목표로 하는 것이 가장 좋다. 이렇게 하면 피드백 루프가 완료된다.

Feedback serves no purpose if recipients do not list their specific strengths and areas that need improvement in terms of learning outcomes and describe professional improvement plans (Boud & Molloy 2013; Watling 2014a, b). To achieve this, feedback is best based on specific behaviours, close observation and aimed at motivating professional development. This completes the feedback loop.

그리고 마지막으로...

And finally...

피드백을 받는 사람들은 피드백 대화의 마지막에 다음 세 가지 질문에 답할 수 있어야 한다.

(1) 여기가 어디인가? – 개선을 위한 성능, 강점 및 영역의 보정

(2) 나는 어디에 있어야 하는가? – 달성해야 할 결과 - 지식, 기술 및 태도

(3) 거기까지 어떻게 가는가? – 반성, 자체 평가 및 실행 계획

Those receiving feedback, should be able to answer the following three questions at the end of a feedback conversation:

(1) Where am I? – Calibration of performance, strengths and areas for improvement

(2) Where do I need to be? – Outcomes to be achieved- knowledge, skills and attitudes

(3) How do I get there? – Reflection, self-assessment and action plan

Med Teach. 2016;38(2):206-7. doi: 10.3109/0142159X.2015.1044950. Epub 2015 Jun 1.

Reflections on feedback: Closing the loop.

성찰적 퍼포먼스 피드백의 촉진: 근거 및 이론기반 모델 R2C2 (Acad Med, 2015)

Facilitated Reflective Performance Feedback: Developing an Evidence- and Theory-Based Model That Builds Relationship, Explores Reactions and Content, and Coaches for Performance Change (R2C2)

Joan Sargeant, PhD, Jocelyn Lockyer, PhD, Karen Mann, PhD, Eric Holmboe, MD,

Ivan Silver, MD, MEd, FRCPC, Heather Armson, MD, Erik Driessen, PhD,

Tanya MacLeod, MSc, Wendy Yen, MA, Kathryn Ross, MSc, and Mary Power, MBA

피드백을 주고 받는 것은 이제 복잡한 과정으로 이해된다. 핵심요소에는 

• 피드백 제공자와 수령자 간의 상호 작용, 

• 수령자의 능동적 역할, 

• 개선을 위한 수령자의 집중적인 계획이 포함된다.1–3

Giving and receiving feedback is now understood to be a complex process. Central elements include the 

• interaction between the feedback provider and recipient, 

• the recipient’s active role, and 

• the recipient’s focused planning for improvement.1–3

피드백의 현재 관점은 학습자(또는 수신자), 교사(또는 제공자) 및 환경 간의 관계를 이해하기 위해 사회문화 렌즈를 사용한다.

Current perspectives of feedback use a sociocultural lens to understand the relationships among the learner (or recipient), the teacher (or provider), and the environment.

사회문화 렌즈를 사용하면 피드백 수용과 사용에 영향을 미치는 수많은 요인들이 조명된다. 이러한 요인으로는 

• 피드백의 적시성과 구체성, 

• 피드백의 성격이나 가치(긍정적, 부정적), 

• 피드백 신뢰성에 대한 인식, 

• 제공자-수령적 관계, 

• 컨텍스트와 문화, 

• 수령자의 개인적 목표, 

• 수령자의 자기효능감 

...등이 있다.8–14 성과 피드백의 수령자가 항상 이를 수용하고 사용하는 것은 아니다. 그리고 중요한 것은 피드백이 수령자의 자기 인식을 혼란스럽게 할 경우 감정적인 반응을 불러일으킬 수 있다는 것이다.8–16

Using a sociocultural lens illuminates numerous factors that influence feedback acceptance and use. These factors include, 

• feedback timeliness and specificity, 

• the nature or valence (positive, negative) of the feedback, 

• perceptions of feedback credibility, 

• provider–recipient relationship, 

• context and culture, 

• the recipient’s personal goals, and 

• the recipient’s self-efficacy.8–14 

Recipients of performance feedback do not always accept and use the feedback, and, importantly, the feedback can evoke emotional reactions if it disconfirms the recipient’s self-perceptions.8–16

피드백 대화의 촉진은 피드백의 수용과 사용에 긍정적인 영향을 미칠 수 있다.21,22 [피드백의 촉진]은 수신자를 적극적으로 [자신이 받은 피드백과 자신의 성과에 대한] 성찰적이고 의도적인 대화에 참여시켜서, 이 두가지를 더 잘 이해하게 만드는 것이다.

facilitation of the feedback conversation can have a positive effect on the acceptance and use of feedback.21,22 Facilitation of feedback means actively engaging recipients in a reflective, intentional conversation about their performance and the feedback they receive with the goal of increasing their understanding of both.

레지던트들은 피드백 촉진이 피드백을 명확하게 하고 이를 수용하고 사용할 수 있게 할 수 있다고 말했다. 피드백의 제공과 사용 사이에 격차가 존재하지만, 근거에 따르면, 촉진으로 피드백 사용을 향상시킬 수 있음을 시사한다.

residents reported that feedback facilitation can clarify the feedback and enable their acceptance and use of it.21–23 Although gaps exist between the provision and use of feedback, such evidence suggests that facilitation can enhance feedback use.

피드백 모델 개발: 이론적 전망과 증거

Developing a Feedback Model: Theoretical Perspectives and Evidence

세 가지 이론적 및 증거 기반 접근법

Three theoretical and evidence-based approaches

(1) 개인이 피드백 소유권, 목표 설정 및 조치 계획에 관여하는 휴머니스트 또는 사람 중심의 접근방식24 

(1) humanist or person-centered approaches which engage the individual in feedback ownership, goal setting, and action planning24; 

(2) 성과에 대한 자기 인식과 외부 피드백을 쉽게 통합할 수 있는 정보화된 자체 평가 접근법18 및 

(2) informed self-assessment approaches that facilitate integration of external feedback with self-perceptions of performance18; and 

(3) 행동 변화 과학, 피드백 사용과 변화에 대한 장벽을 평가하고 해결하기 위한 심리적 영역의 프레임워크.25

(3) the science of behavior change, a framework of psychological domains for assessing and addressing barriers to feedback use and change.25

휴머니스트 또는 사람 중심의 접근 방식

Humanist or person-centered approaches

휴머니즘과 사람 중심의 접근방식은 인지 및 행동 과학에서 출발한다. 목표는 개인의 자각과 관여를 향상시키는 것이다. 피드백을 받는 사람은 단지 정보를 받는 사람이 아니라 토론의 파트너다.24,26 촉진자는 FR이 [자신의 성과, 개인적 목표, 피드백의 통합, 개선 및 개발에 대한 계획]에 대해 받은 피드백에 대해 성찰하도록 안내한다.21,22,26 촉진자는 코칭을 사용하여 FR의 자기인식을 높이고, 자기주도성을 높인다. 촉진자는 FR의 개인적 발전과 목표 달성을 지원한다. 휴머니스트적인 기술인 코칭은 두 가지를 모두 포함한다. [변화목표를 식별하도록 촉진하는 것], [목표한 변화를 달성하기 위한 계획을 세우는 것]

Humanism and person-centered approaches draw on the cognitive and behavioral sciences; the goal is to enhance individual self-awareness and engagement. The feedback recipient is a partner in the discussion, not just a receiver of information.24,26 Facilitators guide the recipients’ reflection on the feedback they have received about their performance, their personal goals, their integration of the feedback, and their plans for improvement and development.21,22,26 Facilitators use coaching to increase the recipient’s self-awareness and self-direction; they support the recipient’s personal development and goal achievement. Coaching, a humanist technique, involves both facilitating the feedback recipient’s identification of goals for change and developing a plan to meet them.15,27–30

자체 평가 접근 방식 실행

Informed self-assessment approaches

두 번째 개념적 프레임워크인 "정보적 자체 평가"는 개인이 외부 및 내부 데이터(즉, 피드백)를 사용하여 자신의 성과를 평가할 수 있다는 것을 인정한다.14,18–20,31 외부 데이터는 비공식적인 구두 피드백에서 공식적인 직장 기반 평가에 이르는 다양한 형태를 취한다. 내부 자료에는 자신의 성과 감정 상태에 대한 자기 인식이 포함되어 있다. 외부 피드백은 정보에 입각한 자체 평가에 필수적이며, 반성은 피드백 수용에 종종 필수적이라는 것이 명백하다. 컨텍스트, 문화, 관계는 개인의 인식과 감정 상태와 함께 외부 피드백을 수용하고 사용하는 것에 모두 영향을 미친다.

The second conceptual framework, “informed self-assessment,” recognizes that individuals can use external and internal data (i.e., feedback) to generate an appraisal of their own performance.14,18–20,31 External data take many forms ranging from informal verbal feedback to formal workplace- based assessments. Internal data include self-perceptions of one’s performance and one’s emotional state. It is now evident that external feedback is essential to informed self-assessment, and reflection is frequently integral to feedback acceptance. Context, culture, and relationships, along with individual perceptions and emotional state, all influence the recipient’s acceptance and use of external feedback.

행동변화의 과학

The science of behavior change

마지막으로 행동 변화의 과학을 이해하는 것은 외부 피드백에 대응하여 개인의 변화와 개선을 촉진하고 지도하는 데 매우 중요하다. 지식, 기술, 동기부여, 자기효율성, 환경요소 및 사회적 영향을 포함한 여러 개인 및 사회적 요인들이 행동과 변화에 영향을 미친다.25,32 피드백 대화에서 이들을 체계적으로 탐구하면 성과 변화에 기여할 수 있다.

Finally, understanding the science of behavior change is critical to facilitating and coaching individual change and improvement in response to external feedback. Multiple individual and social factors influence behavior and change including knowledge, skills, motivation, self-efficacy, environmental elements, and social influences.25,32 Exploring these systematically in the feedback conversation can contribute to performance change.

방법

Method

설계.

Design

우리는 두 개의 인정된 연구 프레임워크에 의해 guide되는 반복적이고 다단계적이며 질적인 연구를 수행했다. 첫 번째는 복잡한 중재 연구를 위한 영국의료연구위원회(UK-MRC) 지침이다. 그 4단계는 

• (1) 모델링 프로세스와 결과를 포함한 개발, 

• (2) 타당성 시험, 

• (3) 효과성 평가, 

• (4) 지속 가능성이다.34

We undertook an iterative, multistage, qualitative study guided by two recognized research frameworks. The first is the UK Medical Research Council (UK-MRC) guideline for studying complex interventions. Its four stages are (1) development, including modeling process and outcomes; (2) feasibility testing; (3) evaluation of effectiveness; and (4) sustainability.34

연구를 guide하는 두 번째 관점은 "실제주의 평가"로, 개입 자체뿐만 아니라 개입이 일어나는 사회 시스템이나 맥락을 연구한다.35 현실주의 평가는 개입의 개별 요소들이 어떻게 작용하는지 그리고 그들이 관련된 맥락 안에서 어떻게 상호작용하는지를 이해하고자 한다. 이 질문은 다음과 같다. "무엇이 누구에게, 어떤 조건에서 효과가 있는가?"

The second perspective guiding the research is “realist evaluation,” which studies the social system or context in which an intervention occurs as well as the intervention itself.35 Realist evaluation seeks to understand how the individual components of an intervention work and how they interact with the people and within the context involved. It asks the question, “What works for whom and under what conditions?”

참여 인구 및 조직

Participating populations and organizations

연구 단계, 데이터 수집 및 분석

Research stages, data collection, and analysis

1단계: 모델링. 1단계에는 두 가지 하위 단계가 포함되었다. 첫째, 피드백 모델에 대한 구두 검토와 비평, 둘째, 모델을 사용하는 세션을 촉진하고, 그 다음에 설명 인터뷰가 있었다.

Stage 1: Modeling. Stage 1 involved two substeps: first, a verbal review and critique of the feedback model and, second, facilitated sessions using the model, followed by debriefing interviews.

2단계: 촉진자 준비(워크숍) 1단계에서 진행자 및 참가자의 개선 사항을 고려하고 통합한 후, 우리는 모두 20년 이상 실무에 종사하고 학생과 레지던트를 감독한 8명의 지원자를 추가로 모집했다.

Stage 2: Facilitator preparation (workshop). After considering and incorporating the refinements from the facilitators and participants in Stage 1, we recruited an additional eight volunteer physician facilitators who had all been in practice for over 20 years and had supervised students and residents.

3단계: 모델 타당성 시험(모델을 이용한 촉진된 피드백 세션 및 디브리핑 인터뷰) 우리는 최근 공식적인 성과 평가 보고서에 대한 신속한 피드백 토론에 참여하기 위해 8명의 의사 지원자를 모집했다.

Stage 3: Model feasibility testing (facilitated feedback sessions using the model and debriefing interviews). We recruited eight physician volunteers to participate in a facilitated feedback discussion about their recent formal performance assessment report.

분석. 모델과 각 단계와 효과성을 더 잘 이해하고 각 단계에 유용한 문구를 식별하기 위해 콘텐츠 및 주제 분석을 사용하여 피드백 세션의 녹취록과 브리핑 인터뷰를 분석했다.

Analysis. We analyzed the transcripts of the feedback sessions and debriefing interviews using content and thematic analysis36 to better understand the model, its phases, and their effectiveness, and to identify useful phrases for each phase.

4단계: 모델 다듬기. 모델을 다듬기 위해 전체 연구진은 정기적으로 전자우편과 텔레컨퍼런스를 통해 만나 분석 결과를 논의하고, 연구를 안내하는 이론적 관점에 비추어 결과를 질의하며, 각 단계에서 촉진자가 사용하는 유용한 문구들의 inventory를 확인하였다.

Stage 4: Model refinement. To refine the model, the full research team met regularly through e-mail and teleconference to discuss the results of the analyses, to query findings in light of the theoretical perspectives guiding the study, and to confirm the inventory of helpful phrases used by facilitators in each phase.

결과

Results

4단계는 (1) 관계 구축, (2) 반응 탐색, (3) 내용 탐색, (4) 성과 변경 코칭이다. 따라서, 우리는 그것을 R2C2 진행형 피드백 모델이라고 부른다. 표 2는 각 단계의 목표, 대표적인 촉진구 및 지침노트를 제공한다.

The four phases are 

(1) build rapport and relationship, 

(2) explore reactions, 

(3) explore content, and 

(4) coach for performance change. 

Hence, we refer to it as the R2C2 Facilitated Feedback Model. Table 2 provides the goal of each phase, representative facilitation phrases, and guiding notes.

일부 촉진자는 단계를 더 선형적으로 사용한다고 보고한 반면에, 다른 촉진자는 토론 내내 반복적이고 개방적인 방식으로 단계를 사용했다.

Whereas some facilitators reported using the phases more linearly, others used them in an iterative and open manner throughout the discussion.

1단계: 관계 구축

Phase 1: Build rapport and relationship

피드백 수령자는 [공식적으로 평가되는 것과 성과 보고서를 받는 것 둘 다] 민감하고 종종 위협적인 활동이라는 것에 일관되게 동의했다. 따라서, 피드백 대화는 사려깊음을 필요로 한다. 그들은 촉진자가 시간을 내어 

• 수령인과의 관계를 구축하고, 

• 수령인의 practice의 맥락과 과제challenge에 대해 배우고, 

• 평가 과정에 대해 가질 수 있는 우려를 탐구해야 한다고 강조했다. 

촉진자와 FR들은 상호 존중과 신뢰를 구축하고 유지하는 것이 성과 평가에 관한 의미 있는 대화의 토대라고 강조했다.

Feedback recipients consistently shared that both being formally assessed and receiving performance reports are sensitive and often intimidating activities. Hence, the feedback conversation requires thoughtfulness. They stressed that the facilitator should take the time to 

• build a relationship with the recipient, 

• learn about his or her practice context and challenges, and 

• explore any concerns he or she might have regarding the assessment process. 

Facilitators and recipients emphasized that building and maintaining mutual respect and trust was the foundation for meaningful conversation about performance assessment.

2단계: 성능 데이터에 대한 반응 탐색

Phase 2: Explore reactions to the performance data

[피드백 보고서 및 공개된 특정 항목에 대한] 수령자의 일반적인 반응을 탐색하니, 보고서가 그들의 성과에 대한 그들 자신의 견해(즉, 그들 자신의 평가)를 confirm하는지 여부를 드러내었다. 촉진자들은 다음과 같은 열린, 비판단적 질문을 함으로써 수신자가 피드백 데이터에 대한 개인적인, 심지어 감정적인 반응을 편하게 공유할 수 있었음을 알아내었다.

• "보고서에 대한 초기 반응은 어땠나요?" 

• "보고서에 깜짝 놀랄 만한 내용이 있었나?" 

• "이 자료들은 당신이 스스로에 대해서 생각하고 있던 것과 어떻게 비교가 되는가?" 

수령자는 이 결과를 confirm하였고, 이러한 접근방식이 효과적이라고 보고하였다. 즉, 촉진자의 개방적이고 존중하는 질문과 성찰적인 청취가 정직한 반응을 공유할 수 있는 안전하고 존경스러운 환경을 조성한 것이다.

Exploring recipients’ general reactions to their feedback report and to specific items revealed whether the report confirmed their own views of their performance (i.e., their own self-assessments). Facilitators found that asking open, nonjudgmental questions, such as “What were your initial reactions to the report?” “Did anything surprise you in your report?” or “How do these data compare with how you thought you were doing?” enabled recipients to feel comfortable sharing personal, even emotional, reactions to the feedback data. Recipients confirmed this finding and reported that the approach was effective—that is, the facilitators’ open and respectful questions and reflective listening created a safe, respectful environment for sharing honest reactions.

3단계: 컨텐츠에 대한 이해도 탐색

Phase 3: Explore understanding of the content

이 단계에서 피드백 대화는 [리포트에 대한 FR의 반응을 요청하는 것]에서 [보고서의 내용을 확실히 이해하고, 그것이 변화와 학습에 제공할 수 있는 기회]로 전환된다. 촉진자는 명확하지 않을 수 있는 데이터를 명확히 하고, FR이 강점을 인식할 뿐만 아니라, 수행능력의 gap과 변화의 기회를 파악할 수 있도록 지도한다. 목표는 의사가 [피드백 데이터에서 발생하는 한 두 개의 구체적인 기회를 식별할 수 있도록 하는 것]이다.

At this phase, the feedback conversation transitions from soliciting the physician’s reactions to the report to ensuring a clear understanding of the report’s content and the opportunities it affords for change and learning. The facilitator seeks to clarify any data that might be unclear and to guide the physician in recognizing strengths, as well as performance gaps and opportunities for change. The goal is to enable physicians to identify one or two specific opportunities arising from the feedback data that are especially important to them and which they wish to address.

4단계: 성능 변경 코칭

Phase 4: Coach for performance change

4단계에서는 FR을 위한 [현실적인 목표개발]과 [목표를 향한 행동 계획]에 초점이 있다. 이 과정은 촉진자의 코칭을 통해서 enable된다. 이 단계에서 촉진자-수령자 대화는 다음을 다룬다. 

• 피드백 수령자의 목표, 

• 취해야 할 조치, 

• 구현을 가능하게 하거나 방해할 요소 

• 특히 장애요인에 대처하기 위한 구체적인 전략

In Phase 4, the focus is the physician’s development of realistic goals and an accompanying action plan to work toward the goals, enabled through the facilitator’s coaching. Facilitator–recipient dialogue at this phase concerns the nature of 

• the feedback recipient’s goals, 

• actions to be taken, 

• factors that will enable and hinder implementation, and 

• specific strategies to address these, especially the barriers.

촉진자는 코칭 역할에 대해 덜 준비되었다고 느낀다고 보고한 반면, 피드백 수령자는 이 활동이 그들이 변화할 수 있도록 하는 데 중심적이며 더 많은 관심을 필요로 한다고 보고하였다.

Whereas facilitators reported feeling least prepared for the coaching role, feedback recipients reported that this activity was central to enabling them to be able to change and required more attention.

요약하자면, 촉진된 피드백 세션의 전체적인 결과는 FR이 자신의 평가 데이터를 imposed threat이나 risk같이 부정적인 것으로 인식하지 않고, 개인적 기회로서 긍정적으로 인식할 수 있도록 하는 것으로 보였다. 촉진자 역할은 피드백 수령자가 자신의 성과 데이터에 대한 오너십을 향상시키는 것처럼 보였다. 촉진된 피드백은 피드백에서 확인된 practice change를 계획할 수 있도록 하는 것처럼 보였다.

In summary, an overall result of the facilitated feedback session appeared to be to enable physicians to recognize their performance assessment data positively as a personal opportunity and not negatively as an imposed threat or risk. The facilitator role seemed to enhance the feedback recipients’ ability to take ownership of their performance data; facilitated feedback seemed to empower physicians to plan to make the identified practice change(s).

내 생각에 평가받는 의사에는, 이런 것이 중요하다. [모든 것이 그 미팅을 통해 처리되는 한], 수세에 몰리지 않고 어느 정도 통제력을 느끼는 것, 그들이 토론하고 싶은 것에 대한 대화를 통제할 수 있다고 느끼는 것이 중요하다고 생각한다. 그래서 동료가 조언을 해주는 것 같은 분위기가 조성되어야 한다. 이것은 (뭔가 도움이 필요할지도 모르는 사람에게) 마치 같은 사무실에 있는 두 사람이 코칭이나 조언을 해주는 것과 같다. 협박의 분위기가 아니라 동료-대-동료의 상의consultation처럼 말이다. (2장, 수취인 2)

I think it’s important for the assessed doctor to feel somewhat in control and not on the defensive, and to feel that they can control the conversation about what they want to discuss, as long as everything gets addressed through the meeting. So there should be an atmosphere created such that it’s a peer giving advice, as if two people in the same office just coaching or giving advice to someone who maybe needs a little help with something. Like a colleague-to-colleague consultation and not an atmosphere of intimidation. (Site 2, Recipient 2)

고찰

Discussion

R2C2 진행형 피드백 모델 및 4단계

The R2C2 Facilitated Feedback Model and its four phases

1단계, 공감대 형성 및 관계 구축은 의사 수혜자에 대한 진정한 관심을 입증하고 존중과 신뢰를 조성하는 데 초점을 맞춘 휴머니즘적이고 사람 중심적인 접근방식에 초점을 맞췄다.24,26 참가자들은 opening question을 던지고, 서로를 알아가는 것이 피드백을 주고 받는 것을 더 쉽게 만든다고 지적했다.

Phase 1, building rapport and relationship, drew on humanistic and person-centered approaches that focus on demonstrating a genuine interest in the physician recipient and creating respect and trust.24,26 The participants indicated that asking opening questions and getting to know one another made giving and receiving feedback easier.

2단계에서는 반응을 탐구하면서 사람 중심의 접근법이 계속 대화를 유도했다. 구체적으로, 정보에 입각한 자체 평가의 개념은 보고서에 대한 피드백 수령자의 반응을 탐구하도록 유도하였다.18 수령자가 [자신의 반응과 견해가 중요하게 받아들여진다는 것]을 아는 것이 중요했다.

In Phase 2, exploring reactions, person- centered approaches continued to guide the conversation. Specifically, the concepts of informed self-assessment led to the exploration of the feedback recipients’ reactions to the report.18 It was important for recipients to know that their reactions and views were taken seriously.

3단계 내용 탐색은 또한 사람 중심의 접근법에 의해 유도되었는데, 이 접근법에서는 촉진자가 피드백 수령자에게 성과 보고서를 이해하는지, 아니면 질문이 있는지, 그리고 그들에게 어떤 데이터가 가장 중요한지 고려하도록 요청하였다.24,26 이 단계는 (정보에 입각한 자체 평가와 일관되게) 이 단계는 [피드백 수령자가 다루기를 꺼려할 수도 있는] 성과 격차와 그 격차에 영향을 미치는 요소를 고려하도록 장려했다.

Phase 3, exploring content, was also guided by person-centered approaches, in which facilitators asked feedback recipients to consider the performance report, whether they understood it or had any questions, and what data were of most importance to them.24,26 This phase, in keeping with informed self-assessment, encouraged feedback recipients to consider performance gaps that they may be reluctant to address, plus any factors influencing the gaps.

마지막으로, 4단계에서 퍼포먼스 변화를 위한 코칭, 촉진자는 목표 확인identifying과 실행 계획 수립에서 피드백 수령자의 코칭에 [사람 중심의 접근법]과 [행동 변화 원칙]을 성공적으로 적용했다.

Finally, in Phase 4, coaching for performance change, facilitators successfully applied person-centered approaches24,26 and principles of behavior change25 to coaching the feedback recipient in identifying goals and developing an action plan.

R2C2 피드백 프로세스의 핵심 목적은 의사가 자신의 성능 데이터에 대한 소유권과 사용에 대한 책임을 갖도록 하는 것이다.

The central intent of the R2C2 feedback process is to empower physicians to take ownership of their performance data and responsibility for their use.

성찰 및 코칭

Reflection and coaching

피드백 모델은 피드백의 효과에 영향을 미치는 요소들을 탐구하는 이전의 연구에 기초한다. 여기에는 관계와 문화, 피드백에 대한 감정적 반응, 자기 평가와 피드백 assimilation을 informing하는 촉진과 토론의 역할, 성찰과 코칭의 역할, 피드백 토론의 형식이 포함된다. 특히 성찰과 코칭이라는 두 가지 요소가 기여한 것은 더 많은 관심을 받을 만하다.

The feedback model builds on earlier research exploring factors influencing the effectiveness of feedback. These include relationships and culture,1,5,6 emotional reactions to feedback,22,38 the role of facilitation and discussion in informing self-assessment and feedback assimilation,22,39 the roles of reflection21,22,24 and coaching,29,30 and the format of the feedback discussion.21,28,40 The contributions of two elements in particular, reflection and coaching, deserve further attention.

명시적으로 명시되지는 않았지만, R2C2 모델의 각 단계는 [피드백 데이터에 대한 촉진된 성찰]과 [피드백을 받는 사람에게 그 데이터가 갖는 의미]를 통해 중재moderate된다. 이전의 연구자들은 이 기법을 사람 중심의 상담 접근에 효과적인 것으로 발견했다. 성찰은 학습의 전략으로서, "개인을 새로운 이해와 appreciation으로 이끌기 위한 목적의 활동으로서, 자신의 경험을 탐구하기 위해 참여하는 intellectual and affective 활동"이다. R2C2 모델에 사용된 개방형 질문은 각 단계에서 단지 그러한 이해와 appreciation를 장려하기 위해 고안되었다. 즉, 

• 개인의 practice와 맥락을 설명하고, 

• 피드백에 대한 반응을 탐구하고, 

• 피드백을 해석하며, 

• 변화에 영향을 미치는 요소와 옵션들을 고려하는 것이다.

Although not explicitly stated, each phase of the R2C2 model is moderated through facilitated reflection on the feedback data and the data’s meaning to the feedback- receiving physician. Previous researchers have found this technique (facilitated reflection) to be effective in person- centered counseling approaches.24,26 Reflection is a strategy for learning, “an intellectual and affective activity in which individuals engage to explore their experiences in order to lead to new understandings and appreciations.”41(p19) The open-ended questions used in the R2C2 model are designed to encourage just such understandings and appreciation at each phase: 

• explaining one’s practice and context, 

• exploring reactions to the feedback,22,26 

• interpreting the feedback,31,41,42 and 

• considering options for and factors influencing change.15,43

퍼실리테이터들은 코칭이 의사들이 변화를 일으킬 수 있도록 하는 데 도움이 되지만 상대적으로 익숙하지 않은 기술이라고 언급했다. 경영진 코칭은 조직에서 리더십 향상과 기술 개발을 지원하기 위해 사용된다.27,29 자신의 개인 퍼포먼스 데이터를 바탕으로 한 의사들의 전문적 개발을 촉진하기 위한 코칭은 다음의 촉진을 포함한다.

• 변화의 필요성을 인정

• 관련 목표를 식별

• 목표를 달성하기 위한 계획을 수립

Facilitator participants noted that coaching was a helpful and relatively unfamiliar skill to enable physicians to make changes. Executive coaching is used in organizations to support leadership improvement and skill development.27,29 Coaching to foster physicians’ professional development, based on their own personal performance data, involves facilitating 

• their acknowledgment of a need for change, 

• identification of related goals, and 

• development of a plan to achieve the goals.15,44

중요한 것은, R2C2 피드백 모델에서, 코칭은 [관계 형성] 및 [피드백 수신자의 반응 탐색], 그리고 [자신의 퍼포먼스 피드백 데이터에 대한 이해] 뒤에 따라온다는 것이다. 피드백 받는 사람들은 코칭이 도움이 된다고 보고한 반면, 진행자들은 일반적으로 그것이 저절로 생기는 기술은 아니라고 보고했다. 코칭은 보다 전통적인 지시적인directive 가르침과 다르며, 촉진자들은 준비 워크숍에서 코칭 기술에 더 많은 관심을 요청했다.

Importantly, in the R2C2 Facilitated Feedback Model, coaching follows relationship building and exploring the recipient’s reaction to and understanding of his or her performance feedback data. Feedback recipients reported finding the coaching helpful, whereas facilitators generally reported that it was a skill that did not come naturally to them. Coaching differs from more traditional directive teaching, and facilitators requested more attention to coaching skills in their preparation workshop.

추가 연구를 위한 한계 및 영역

Limitations and areas for further research

연구 결과는 R2C2 진행형 피드백 모델의 실용적 사용과 지속가능성에 관한 질문을 제기한다. 모델은 피드백 세션에 대해 촉진자와 수령자 모두에게 시간 약속(약 45분)을 요구한다. 교수개발 워크숍(약 2시간)에도 참여한다. 워크숍에는 경험적 연습 시간이 포함되어야 하며 코칭 기법을 강조해야 한다.

study results raise questions regarding practical use and sustainability of the R2C2 Facilitated Feedback Model. The model requires a time commitment of facilitators and recipients alike (about 45 minutes) for the feedback session. Facilitators also participate in a faculty development workshop (about two hours). The workshop should include experiential practice time, and it should emphasize coaching techniques.

지속가능성에 대한 접근법(영국-MRC 지침의 4단계)에 inform하기 위해, 세션 및 교수개발의 다양한 모델을 엄격하게 탐구할 것을 제안한다. 예를 들어, 

To inform approaches to sustainability (Stage 4 of the UK-MRC guidelines34), we propose rigorously exploring varied models of providing the sessions and faculty development—for example, 

• through professional and regulatory associations, 

• during professional and continuing education conferences, 

• through initiating peer feedback, and 

• through coaching programs in which physicians identify a trusted colleague for the coaching.

Facilitated Reflective Performance Feedback: Developing an Evidence- and Theory-Based Model That Builds Relationship, Explores Reactions and Content, and Coaches for Performance Change (R2C2).

성장형 마음가짐을 동반한 피드백 문화를 만들기 위한 열두가지 팁(Med Teach, 2019)

Twelve tips to promote a feedback culture with a growth mind-set: Swinging the feedback pendulum from recipes to relationships

Subha Ramania , Karen D. K€oningsb, Shiphra Ginsburgc,d and Cees P. M. van der Vleutenb

도입

Introduction

피드백 교육 이니셔티브는 [제공자의, 기술 중심의 접근 방식]에서 [수신자의, 목표 및 영향 중심 접근 방식]으로 점차 전환되고 있다(Telio et al. 2015; Sarliment et al. 2015a; Bing-You et al. 2017b). 그러나, 교직원과 학습자는 피드백의 적절성과 품질에 대한 생각이 서로 같지 않을 수 있다. 교직원들이 의미 있고 구체적인 피드백을 제공했다고 생각하는 경우에도, 학습자는 교직원의 피드백이 모호하고 실행 불가능하다고 보고하는 경우가 자주 있다. (Bing-You and Trowbridge 2009; Anderson 2012; Ramani et al. 2017a, 2017a, 2017b)

Feedback training initiatives are gradually shifting away from provider technique-focused approaches to receiver goals and impact-focused approaches (Telio et al. 2015; Sargeant et al. 2015a; Bing-You et al. 2017b). Yet, teachers and learners may not agree on the adequacy and quality of feedback, with learners frequently reporting vague and non-actionable faculty feedback even when faculty believe they have provided meaningful and specific feedback (Bing-You and Trowbridge 2009; Anderson 2012; Ramani et al. 2017a, 2017b).

지난 10년 동안 의료 교육자들은 대화 내용에 대한 관계, 신뢰성에 대한 인식 및 제도적 학습 문화와 피드백에 대한 학습자의 수용성 등과 같은 사회문화적 요인의 영향에 더 큰 중점을 두기 시작했다(Mann et al. 2011; Sargeant et al. 2011a; Eva et al. 2012). 텔리오 외 연구진(2015, 2016)은 효과적인 피드백 상호작용을 위해서는 [학습자가 강력하게 참여하는 교사와 학습자 사이의 교육적 동맹]이 필요하다고 제안했다. Sarland 등(2015a, 2017a, 2017b)은 피드백 대화에 완전한 학습자 참여를 강조하는 R2C2 모델(관계, 반응, 콘텐츠 및 코칭)에 대해 설명했다.

Over the last decade, medical educators have begun to place greater emphasis on the influence of sociocultural factors, such as relationships, perceptions of credibility and institutional learning culture on the content of the conversation and learner receptivity to feedback (Mann et al. 2011; Sargeant et al. 2011a; Eva et al. 2012). Telio et al. (2015, 2016) proposed that effective feedback interactions require an educational alliance between teachers and learners with a strong learner involvement in the process. Sargeant et al. (2015a, 2017a, 2017b) described the R2C2 model (relationship, reaction, content and coaching) emphasizing full learner engagement in the feedback conversation.

예의바름이라는 기관적 문화는 학습과 동료적 활동에 도움이 되지만, 그것은 평가와 건설적인 피드백에 대한 솔직한 서술적 코멘트를 방해할 수 있다(Ginsburg 등, 2015; Ramani 등, 2017a).

While an institutional culture of politeness is conducive to learning and collegial work; it could hinder honest narrative comments on evaluations and constructive feedback (Ginsburg et al. 2015, 2016; Ramani et al. 2017a).

셰린이 설명한 3단계 조직문화는 의료교육의 피드백문화(Schein 2017)에 적용 가능하다. 

• 가장 깊은 레벨은 조직이 외부세계에 의해 어떻게 보이는가에 대한 문서화되지 않은 가치와 가정을 가리킨다(여기서 일이 돌아가는 방식). 

• 중간 수준은 문서화된 가치와 기대를 말하며, 사명문 및 커리큘럼 문서가 있다.

• 가시적인 수준은 그 구성원들이 세계에 보여지는 이미지를 유지하기 위해 매일 어떻게 행동하느냐에 의해 특징지어진다. 

각 레벨은 [피드백 동맹과 관련이 있기에] 해부하고 이해해야 할 필요가 있다.

The three levels of organizational culture described by Schein are applicable to the feedback culture in medical education (Schein 2017). 

• The deepest level refers to unwritten values and assumptions of how the organization is viewed by the outside world (that’s the way things are done here). 

• The mid-level refers to written values and such expectations as mission statements and curricular documents. 

• The visible level is characterized by how its members behave day to day to maintain the image presented to the world. 

Each level, as it relates to feedback alliances, would need to be dissected and understood

Figure 1

피드백 제공자

Feedback providers

팁 1 긍정적인 학습 환경을 구축하고 전문적인 역할 모델이 됨

Tip 1 Establish a positive learning climate and be a professional role-model

많은 교사들과 학습자들은 다가오는 피드백 대화에 두려움을 느끼며 반응한다. 피드백 제공자들은 [긍정적인 학습 환경을 능동적으로 설정하고, 목표와 관찰된 성과에 초점을 맞춘 빈번하고 형태적인 피드백 대화를 촉진할 것이라는 기대를 설정함으로써] 이러한 부정적인 측면을 완화시킬 수 있다. 업무 관계의 기간이 짧더라도, 적절한 학습 환경을 구축하면 더 생산적인 피드백 대화를 할 수 있다. 교사들이 모두를 존중하고, 여러 의견을 기꺼이 받아들이며, 자신의 한계와 오류를 인정할 준비가 되어 있다는 것을 증명하는 롤모델 역할을 할 때, 이것은 성장 촉진 피드백을 위한 장을 마련하게 될 것이고, 따라서 학습자들에게 더욱 수용될 것이다(Skeff and Mutha 1998; Srinivasan et al. 2011). 학습자로부터 피드백을 받는 교사들의 개방성을 강조하면서 양방향 피드백 대화의 개념도 논의될 수 있다.

Many teachers and learners react to upcoming feedback conversations with trepidation. Feedback providers can alleviate some of this negativity by proactively establishing a positive learning climate and setting expectations that they would facilitate frequent, formative feedback conversations that focus on goals and observed performance. Even if the duration of the working relationship is short, establishing a congenial learning environment could lead to more productive feedback conversations. When teachers serve as role-models in demonstrating respect for all, willingness to welcome multiple opinions, and readiness to admit own limitations and errors, this would set the stage for growth-enhancing feedback and thus more acceptable to learners (Skeff and Mutha 1998; Srinivasan et al. 2011). The concept of two-way feedback conversations can also be discussed, emphasizing teachers’ openness to receiving feedback from learners.

팁 2 성능 직접 관찰을 사용하여 피드백 데이터 생성

Tip 2 Use direct observation of performance to generate feedback data

피드백의 신뢰성에 대한 학습자의 인식은 피드백의 출처, 피드백 제공자와의 관계, 커뮤니케이션 방식, 자체 평가와의 일치 등 몇 가지 요인에 의해 영향을 받을 수 있다(Mann et al. 2011; Watling et al. 2013b; Watling 2014a). 성과에 대한 직접적인 관찰은 신뢰성의 중요한 결정요소로 보인다. 임상 학습자는 환자 또는 직원과의 상호작용 중에 교수진이 관찰하는 경우가 거의 없다(Kogan et al. 2012, 2017). 음악이나 스포츠의 코칭 문화와 달리, 임상 교사는 (특히 시니어 학습자가 데이터를 수집한 경우) 학습자를 직접 관찰하지 않고도 학습자 사례 프레젠테이션의 정확성을 받아들이는 경우가 많다(Walker et al. 2017; Watling et al., 2014). 임상 교사들이 학습자를 직접 그리고 자주 관찰하고 성과에 대한 구체적인 피드백을 제공함으로써 학습자의 신뢰성에 대한 인식을 높이는 것이 중요하다.

Learners’ perception of the credibility of feedback can be influenced by several factors including the source of feedback, their relationship with the feedback provider, the manner of its communication, and congruence with their own self-assessment (Mann et al. 2011; Watling et al. 2013b; Watling 2014a). Direct observation of performance appears to be one significant determinant of credibility. Clinical learners are rarely observed by faculty during their interactions with patients or staff (Kogan et al. 2012, 2017). In contrast to the coaching culture in music or sports, clinical teachers often accept the accuracy of learner case presentations without direct observation of data gathering, particularly from more senior learners (Walker et al. 2017; Watling et al., 2014, 2016). It is important that clinical teachers observe their learners directly and frequently, and provide specific feedback on performance, thus enhancing learners’ perception of its credibility.

팁 3 반성을 촉진하고 정보에 입각한 자체 평가

Tip 3 Facilitate reflection and informed self-assessment

학습자는 자기평가와 상충되는 피드백은 거부하는 경향이 있다.

Learners tend to reject feedback that conflicts with their self-assessment;

교육 전문가들은 정확한 자기 평가를 위해 복수 출처의 외부 데이터를 자기 성찰과 결합해야 한다고 주장해왔다(Eva and Regehr 2008; Sargeant et al. 2009, 2010; Mann et al. 2011). 또한, 대화를 자기평가로 시작하는 것은 교사들이 학습자의 장단점에 대한 통찰력(또는 부족)을 진단하고, 건설적인 피드백을 강화하는 출발점이 될 수 있다.

Educational experts have argued that external data from multiple sources should be combined with self-reflection for accurate self-appraisal (Eva and Regehr 2008; Sargeant et al. 2009, 2010; Mann et al. 2011). Additionally, initiating conversations with selfassessment can help teachers to diagnose learners’ insights (or lack of) into their strengths and weaknesses, and serve as a starting point for reinforcing as well as constructive feedback.

심리학자들에 의해 대인 커뮤니케이션에서 자아 인식을 향상시키기 위해 기술된 프레임워크인 Johari 창은 피드백에 대한 강력한 모델 역할을 할 수 있다(Luft talks 1969). 피드백에 이 모델 적용: 

• 강점을 강화하고 자기 효율을 높이면 개방된 사분면이 확장될 수 있다. 

• 학습 목표 지향 및 피드백을 촉진하는 것은 시각장애인 사분면을 다룰 수 있다. 

• 교육 제휴와 신뢰 관계 구축은 숨겨진 사분면을 좁힐 수 있다. 

• 자기발견 정신을 자극하면 미지의 사분면을 좁힐 수 있다(Ramani et al. 2017c).

The Johari window, a framework described by psychologists to enhance self-awareness in interpersonal communications, can serve as a robust model for feedback (Luft conversations 1969). Applying this model to feedback: 

• reinforcing strengths and enhancing self-efficacy can expand the open quadrant; 

• promoting a learning goal-orientation and feedback seeking can address the blind quadrant; 

• building educational alliances and trusting relationships can narrow the hidden quadrant; and 

• stimulating a spirit of self-discovery can shrink the unknown quadrant (Ramani et al. 2017c).

피드백 수신인용

For feedback recipients

팁 4 학습자 사이에 성장형 마인드셋을 구축하십시오.

Tip 4 Foster a growth mind-set among learners

Dweck는 고정형 마인드셋과 성장형 마인드셋이라는 두 가지 유형의 마인드셋을 설명했다(Dweck 1990, 2006). 성장 마인드셋은 학습자가 피드백을 찾고, 건설적인 피드백을 더 수용하며, 피드백을 일상적 성과에 통합할 수 있도록 한다. 교사들은 단순히 칭찬이나 판단(예: "뛰어난 직업, 형편없는 환자 의사소통")보다는 성과에 초점을 맞춘 언어를 사용하여 성장 마인드를 자극하는 데 중요한 역할을 한다. 기관은 건설적인 피드백을 정상화시키고, 모든 수준에서 전문적 개발을 우선시하며, 피드백을 받고 성과에 동화시키는 훈련을 제공함으로써 성장 마인드 설정을 장려해야 한다.

Two types of mind-sets have been described by Dweck, a fixed mind-set and a growth mind-set (Dweck 1990, 2006). A growth mind-set would allow learners to engage in feedback seeking, be more receptive to constructive feedback, and incorporate feedback into daily performance. Teachers have an important role to play in stimulating a growth mind-set by using language that focuses on performance rather than words that simply praise or judge (e.g. “excellent job, poor patient communication”). Institutions should encourage a growth mind-set by normalizing constructive feedback, prioritizing professional development at all levels, and providing training in receiving and assimilating feedback into performance.

팁 5 피드백 탐색 행동 권장

Tip 5 Encourage feedback seeking behavior

학습자는 현재 성과와 원하는 성과 사이의 차이를 보정하는 데 도움이 되는 능동적 피드백 탐색을 통해 개선이 필요한 자신의 강점과 영역에 대한 인식을 얻을 수 있다(Crommelinck 및 Anseel 2013). 

• 성과 목표 지향성을 가진 전문가들은 좋은 인상을 주는 성과에 초점을 맞추고 있으며, 한계를 드러내고 이미지를 위협할 수 있는 피드백을 환영하지 않을 수 있다. 이러한 경향은 "게임을 한다playing the game"이라고 언급되었다(Gaunt 등, 2017). 

• 반면에, 학습 목표 지향성을 가진 전문가들은 그들의 분야에서 숙달된 것을 성취하는데 초점을 맞추고 있으며, 그들이 성장하는데 도움이 되는 건설적인 피드백을 찾고 받아들일 가능성이 더 높다.

Learners can gain awareness of their strengths and areas needing improvement through active feedback-seeking which helps in calibrating the gap between their current performance and desired performance (Crommelinck and Anseel 2013). 

• Professionals with a performance goal-orientation focus on performance that creates a good impression, and may not welcome feedback that might reveal limitations and threaten their image. This tendency has been referred to as “playing the game” (Gaunt et al. 2017). 

• On the other hand, professionals with a learning goal-orientation focus on achieving mastery in their field, and are more likely to seek and accept constructive feedback that helps them grow.

팁 6 행동 변화에 대한 학습자 시작 작업 계획 촉진

Tip 6 Promote learner initiated action plans for behavior change

의학 학습자들은 교사로부터의 피드백이 종종 "행동할 수 없는" 경우가 많고 전형적인 피드백 대화는 성과 개선 계획으로 끝나지 않는다고 말한다(Bing-You and Trowbridge 2009; Anderson 2012; Ramani et al. 2017a, 2017b). 그러나 교사들이 구체적인 행동 계획을 권고한다 하더라도, 학습자들이 그들의 관행을 바꿀 것이라고 가정할 수는 없다. 성인 학습자가 다음과 같이 한다면 행동 변화가 더 쉽다.  

• 자신의 학습 목표를 수립하고, 

• 이를 교사와 소통하며

• 이러한 목표의 관점에서 보정하고, 

• 이러한 목표를 달성하기 위한 단계를 기술한다 

Medical learners state that feedback from their teachers is often not “actionable” and a typical feedback conversation does not conclude with a performance improvement plan (Bing-You and Trowbridge 2009; Anderson 2012; Ramani et al. 2017a, 2017b). Even if teachers recommend specific action plans, it cannot be assumed that learners would change their practice. Behavior change is more likely if adult learners 

• formulate their own learning goals, 

• communicate these to their teachers, 

• calibrate where they are in terms of these goals and 

• describe steps to achieve these goals. 

성인 학습자와 미래 성찰 실천자로서, 실행 계획은 성과 개선을 위해 학습자가 가장 잘 개시initiate할 수 있다.

As adult learners and future reflective practitioners, action plans are best initiated by learners for performance improvement.

피드백 관계

The feedback relationship

팁 7 교육 동맹 수립

Tip 7 Establish an educational alliance

피드백 대화는 단순한 일방적 교환보다는 복잡한 대인 커뮤니케이션이다.

Feedback conversations are complex interpersonal communications rather than simple one-way exchanges

• 텔리오 외 연구진(2015, 2016)은 치료 제휴를 모델로 하여 피드백 대화를 구성하기 위한 "교육 동맹" 프레임워크를 제안했다. 학습자와 동맹을 맺는 것은 교육자가 학습자 성과에 대한 더 의미 있는 이해를 개발하고 구체적이고 유용한 피드백을 제공할 수 있게 할 것이다. 

• 마찬가지로, Sarland 등(2015b, 2017b)은 R2C2 모델에 대해 관계 설정, 반응 탐색, 콘텐츠에 대한 이해 확인, 성장 코칭 등의 제안 단계를 설명했다. 

• 빙유 외 연구진(2017b)은 탱고 춤을 은유로 삼아 정적 일방적인 피드백 레시피에서 역동적인 파트너십 기반의 대화로 나아갔다.

• Using the therapeutic alliance as a model, Telio et al. (2015, 2016) proposed an “educational alliance” framework to construct feedback conversations. Forming an alliance with their learners would allow educators to develop a more meaningful understanding of the context of learner performance and provide specific and useful feedback. 

• Similarly, Sargeant et al. (2015b, 2017b) described the R2C2 model with the following suggested steps: establish relationships, explore reaction, check understanding of the content and coach for growth. 

• Bing-You et al. (2017b) used the tango dance as a metaphor to move from a static one-sided feedback recipe to a dynamic partnership-based conversation.

팁 8단계 교사 및 학습자가 행동 변화를 위한 학습 기회를 공동 창출하도록 권장

Tip 8 Encourage teachers and learners co-create learning opportunities for behavior change

학습자는 피드백을 동화시킬 수 있는 시간과 실천을 바꿀 기회를 가져야 한다.

Learners must have time to assimilate feedback and opportunities to change practice.

우리는 다음과 같이 구성된 피드백 대화를 위한 참여형 설계 루프를 제안한다. 

• 학습자와 선생님에 의한 목표 설정, 

• 교사들의 직접적인 성과 관찰, 

• 자기성찰의 촉진을 포함하는 피드백 대화, 

• 피드백과 변화 행동을 통합할 수 있는 학습/작업 기회 창출 

• 새로운 성과에 대한 보고 

• 교사와 학습자의 새로운 목표에 대한 논의를 통해 순환에 들어간다. 

이것은 그림 2에 묘사되어 있다.

We propose a participatory design loop for a feedback conversation comprising: 

• establishment of goals by learners and teachers, 

• direct observation of performance by teachers, 

• feedback conversation that includes facilitated self-reflection, 

• creating learning/work opportunities to incorporate feedback and change behavior, 

• debriefing of new performance, and 

• reentering the cycle through discussion of new goals by teachers and learners. This is depicted in Figure 2.

제도적 맥락

The institutional context

팁 9 학습자 자신의 효율성에 적절한 주의를 기울이십시오.

Tip 9 Ensure appropriate attention to learner self-efficacy

"체면"는 개인이 외부 세계에 투영하고자 하는 이미지를 묘사하는 데 사용되는 용어다(Brown and Levinson 1987). 체면은 긍정적이거나 부정적이다(팁 10 참조). 여기서 긍정적인 체면은 affirmation이나 자기효능감을 갖고자 하는 개인의 욕망이다. 의료 교사들은 종종 학습자의 감정을 상하게 하거나 자존심이 상할 것을 우려해 건설적인 피드백을 제공하는 것을 꺼린다(Sarling et al. 2008; Watchling et al. 2013a; Watchling 2014b; Bing-You et al. 2017a).

“Face” is a term used to describe the image individuals desire to project to the outside world (Brown and Levinson 1987). Face is further classified as positive and negative (see tip 10), where positive face is an individual’s desire for affirmation or self-efficacy. Medical teachers are often reluctant to provide constructive feedback, for fear of hurting learners’ feelings or damaging their self-esteem (Sargeant et al. 2008; Watling et al. 2013a; Watling 2014b; Bing-You et al. 2017a). 

학습자들은 건설적인 피드백이 실무의 변화에 더 도움이 된다고 보고하지만, 그들은 또한 긍정적인 피드백을 추구하는 경향이 있고, 종합적 작업장에 기초한 평가 환경에서 자신의 자아나 이미지를 손상시킬 수 있는 피드백을 회피하는 경향이 있다(Gaunt et al. 2017).

Though learners report that constructive feedback is more instrumental in changing practice, they too tend to seek positive feedback and avoid feedback that could damage their ego or image in summative workplace based assessment settings (Gaunt et al. 2017).

행동과의 대립이 행동 변화의 첫 단계로 식별되었기 때문에(van den Eertwegh et al. 2015), 형성적 평가 세팅은 학습자가 자아 비용(건설적 피드백에 따른 부정적인 느낌)과 자아(보강 피드백에 따른 자부심 증가)의 균형을 더 잘 맞출 수 있도록 도울 수 있다. 이는 결국 건설적인 피드백 수용을 높여줄 수 있다 (Gaunt 등, 2017). 건설적인 피드백은 [그것이 어떻게 표현되든 상관없이] 학습자들을 화나게 할 가능성이 있지만, 그들의 발전과 다음 단계로 나아가는 데는 필수적이다.

Since confrontation with one’s behavior has been identified as the first step to the change of behavior (van den Eertwegh et al. 2015), a formative assessment setting could help learners to better balance ego costs (negative feelings resulting benefits from constructive feedback) and ego (increased self-esteem resulting from reinforcing feedback) leading to increased acceptance of constructive feedback (Gaunt et al. 2017). Hearing constructive feedback will likely upset learners regardless of how it is phrased, but it is essential for their development and progression to the next level.

팁 10 감독과 자율성의 최적 균형 촉진

Tip 10 Promote optimal balance of supervision and autonomy

부정적 체면이라는 용어는 "자신의 행동이 다른 사람들에 의해 방해 받지 않고자 하는, 모든 유능한 성인 구성원의 요구"로 정의되었다(Brown and Levinson 1987). 임상 훈련의 핵심 목표는 학습자가 독립적인 실천으로 나아갈 수 있도록 돕는 것이지만, 환자의 안전과 품질에 대한 우려는 학습자의 감독을 필요로 한다(Ramani et al. 2017b; Watling et al. 2013a). 따라서 임상 교사들은 [감독과 자율성의 균형]을 맞추는 것이 중요하다. 

The term negative face has been defined as “the want of every competent adult member that his actions be unimpeded by others” (Brown and Levinson 1987). A key goal of clinical training is to help learners proceed towards independent practice, yet patient safety and quality concerns necessitate supervision of learners (Ramani et al. 2017b; Watling et al. 2013a). Thus, it is important for clinical teachers to balance supervision with autonomy. 

텐케이트 등 (2004)은 교사가 [학습자를 위한 완전한 외부 가이드]로부터 [공유된 가이드]로 나아가고, 최종적으로는 학습자가 독립적인 실천을 할 수 있는 경우에는 [완전한 학습자 내부의 가이드]로 이동할 수 있어야 한다고 묘사했다. 학습자의 필요와 목표는 훈련의 단계마다 다르기 때문에, 공유 지침shared guidance은 다음을 필요로 한다.

• 학습자와의 지속적인 대화, 

• 진행 상황 모니터링 및 

• 학습 요구에 대한 교육의 적응을 

Ten Cate et al. (2004) described the concept of shared guidance where teachers can move along a spectrum of full external guidance of learners to shared guidance and finally full internal guidance when learners are capable of independent practice. Since needs and goals of learners are different at different stages of their training, shared guidance requires 

• an ongoing dialog with learners, 

• monitoring of their progress, and 

• adapting teaching to their learning needs.

임상 학습은 교사, 동료 및 다학제 전문가를 포함한 팀과의 사회적 상호작용 중에 발생하므로, (자율적 학습보다는) 공동 규제co-regulated 학습 모델이 대학원 의학 교육에 더 도움이 될 수 있다.

clinical learning occurs during social interactions with a team including teachers, peers, and multidisciplinary professionals, therefore a model of co-regulated learning (rather than self-regulated learning) may better serve postgraduate medical education,

팁 11 지속적인 실천 개선 환경 구축

Tip 11 Establish a continuous practice improvement environment

의료 교육에서 피드백을 흔히 긍정 또는 부정적 피드백으로 구분하며, 재교육은 용어를 성능 향상 계획을 기술하는 데 사용한다. 따라서 건설적인 피드백은 (피드백 제공자와 수령자 모두에게) 부정적인 의미를 가질 수 있다.

In medical education, feedback is often referred to as positive or negative and the term remediation is used to describe performance improvement plans. Thus, constructive feedback can have negative connotations for both feedback providers and recipients.

플러스 델타 접근방식은 린 건설 연구소에서 기술한 형태별 평가 과정이다(http://leanconstruction.org/ media/learning_laboratory/Plus_Delta/Plus-Delta.pdf). 이 접근방식은 긍정적이거나 부정적인 판단 언어(좋은, 나쁜, 나쁜, 나쁜, 형편없는, 만족스럽지 못한, 그리고 만족스럽지 못한)보다는 개선 언어(여러분은 무엇을 바꾸거나 다르게 할 것인가, 당신의 관행을 어떻게 개선할 것인가)로 프레임되어있다.

The Plus Delta approach is a formative evaluation process described by the Lean Construction Institute (http://leanconstruction.org/media/learning_laboratory/Plus_Delta/Plus-Delta.pdf). This approach is framed in improvement language (what would you change or do differently, how would you improve your practice) rather than positive or negative judgmental language (good, bad, did well, did poorly, satisfactory, and unsatisfactory).

지속적인 연습 개선에서 언어 프레임language framed 접근법을 사용하는 교사들과 학습자들을 훈련시키는 것은 건설적인 피드백을 정상화할 수 있고, 따라서 학습자들이 더 수용 가능한 의미 있는 건설적인 피드백의 교환을 촉진할 수 있다.

Training teachers and learners in the use of language framed approach in a continuous practice improvement could normalize constructive feedback, thereby encouraging exchange of meaningful constructive feedback which is more acceptable to learners.

팁 12 전문성장을 강화하는 피드백 문화 강조

Tip 12 Emphasize a feedback culture that enhances professional growth

교육 기관은 학습 문화가 모든 수준에서 성장 촉진 피드백에 도움이 된다는 것을 명시적으로 확립하는 것이 중요하다. 그러한 문화는 다음을 강조할 것이다. 

• 지속적인 형성적 피드백에 대한 명시적 지침 

• 학습자와 교사의 강점과 개선 영역을 정규화하는 학습 환경 

• 학습자와 교사 사이의 종적 및 신뢰 관계 

• 성능 직접 관찰 

• 교사 및 학습자 사이에서 원하는 피드백 

• 목표 지향적이고 실행 가능한 피드백 대화에 대한 교육

It is important for institutions to explicitly establish a that learning culture is conducive to growth enhancing feedback at all levels. Such a culture would emphasize: 

• explicit guidelines for ongoing formative feedback; 

• a learning environment that normalizes strengths as well as areas for improvement among learners and teachers; 

• longitudinal and trusting relationships between learners and teachers; 

• direct observation of performance; 

• feedback seeking among teachers and learners; and 

• training in goal-directed and actionable feedback conversations.

(http://www.royalcollege.ca/rcsite/cbd/implementation/wbas/coaching-wbas-e).

결론

Conclusions

대화 중에 사용되는 언어는 컨텍스트, 학습자, 관계, 성능 수준 등에 따라 달라질 수 있으며, "만병통치약"은 없다.

Language used during conversations can vary based on the context, the learners, the relationship, level of performance, etc., there is no “one-size-fits-all”.

Sargeant J, Lockyer J, Mann K, Armson H, Warren A, Zetkulic M, Sokladaris S, Konings K, Ross K, Silver I, et al. 2017a. The R2C2 model in residency education: How does it improve feedback use? Acad Med. [accessed 2018 Jan 16]. https://doi.org/10.1097/ACM. 0000000000002131  XXX

Sargeant J, Lockyer J, Mann K, Holmboe E, Silver I, Armson H, Driessen E, Macleod T, Yen W, Ross K, et al. 2015a. Facilitated reflective performance feedback: developing an evidence- and theory-based model that builds relationship, explores reactions and content, and coaches for performance change (R2C2). Acad Med. 90:1698–1706.

Sargeant J, Mann K, Manos S, Epstein I, Warren A, Shearer C, Boudreau M. 2017b. R2C2 in action: testing an evidence-based model to facilitate feedback and coaching in residency. J Grad Med Educ. 9:165–170. 

Med Teach. 2019 Jun;41(6):625-631. doi: 10.1080/0142159X.2018.1432850. Epub 2018 Feb 7.

Twelve tips to promote a feedback culture with a growth mind-set: Swinging the feedback pendulum from recipes to relationships.

알려지지 않은 것을 드러나게 하기: 전공의 교육에서 피드백의 문화에 자기인식이 미치는 영향(Med Teach, 2017)

Uncovering the unknown: A grounded theory study exploring the impact of self-awareness on the culture of feedback in residency education

Subha Ramania, Karen K€oningsb, Karen V. Mannc and Cees van der Vleutenb

도입

Introduction

성과에 대한 정확한 자기-보정은 다른 사람의 RIA와 ROA, 자기평가, 타인으로부터의 피드백을 필요로 한다(B 1995 1995; Eva and Regehr 2007, 2008).

Accurate self-calibration of performance requires reflection in and on action, self-assessment and feedback from others (Boud 1995; Eva and Regehr 2007, 2008).

아래에서는 피드백 대화에 자기 평가와 반성을 통합하기 위해 Johari 창을 사용하는 방법을 설명한다.

Below, we describe how the Johari window could be used to incorporate self-assessment and reflection into feedback conversations.

Johari 창은 1955년 Joseph Luft와 Harry Ingham에 의해 개발된 심리적 매트릭스로, 대인관계 중 자신의 행동, 감정, 상호작용 동기에 대한 인식과 이해를 가능하게 한다(Luft 1969). 또한 이 모델은 개인-환경 상호작용에도 적용되며 전문적 개발에서 자기 인식의 역할을 설명한다. 네 개의 사분면으로 나눠진다.

The Johari window is a psychological matrix developed by Joseph Luft and Harry Ingham in 1955, to enable awareness and understanding of own behaviors, feelings and interactions motivation during interpersonal (Luft 1969). The model also applies to person–environment interactions and explains the role of self-awareness in professional development. There are four quadrants,

우리는 이 매트릭스를 피드백, 피드백 찾기, 수용성 및 성과에 대한 영향의 문화에 대한 체계적인 질문을 유도하기 위한 효과적인 프레임워크로 제안한다.

we propose this matrix as an effective framework to guide systematic inquiries into the culture of feedback, feedback seeking, receptivity and impact on performance.

첫 번째 전략은 자기 평가인데, 전통적으로 자신의 능력을 평가하기 위한 unguided, self-generated 전략으로 간주된다. 그러나 전문가의 자기 평가 능력은 외부 관측치보다 정확하지 않은 것으로 보고되었으며, 최하의 수행자들은 자신의 오류에 대한 통찰력 부족으로 자신의 능력을 과대평가하는 경향이 있다(Kruger and Dunning 1999; Dunning et al. 2004; Eva and Regehr 2005; Davis 등, 2006; Ehrlinger et al. 2008; Sarlinger et al. 2008b. 이러한 부조화는 다른 사람의 데이터가 자기이미지와 상충되거나, 학습자가 출처가 신뢰성이 결여된 것으로 보는 경우 증폭된다(Sargeant et al. 2008a; Mann et al. 2011).

The first strategy is self-assessment, traditionally viewed as an unguided, self-generated strategy to assess one’s own abilities. However, professionals’ ability to self-assess has been reported as less accurate than external observations, with suboptimal performers tending to overestimate their competence due to lack of insight into their errors (Kruger and Dunning 1999; Dunning et al. 2004; Eva and Regehr 2005; Davis et al. 2006; Ehrlinger et al. 2008; Sargeant et al. 2008b). This incongruence is amplified when data from others conflict with impressions of self or if learners view the source as lacking credibility (Sargeant et al. 2008a; Mann et al. 2011).

자체 평가에 대한 보다 최근의 정의는 외부 출처의 데이터를 포함하는 것을 강하게 강조한다. 

• 바우드(1995)는 자기 평가를 [자신의 성과에 대한 내외부의 데이터를 필요로 하는 과정]으로서, 이를 [표준과 비교하여 자신의 성과에 대한 판단을 내리는 과정]이라고 설명한다. 

• Mann et al. (2011)은 내부 및 외부 데이터를 자체 평가에 통합하는 것으로 정의하면서 informed self-assessment라는 용어를 만들었다. 

• 자기 주도적 평가 탐색이라는 용어는 자신의 현재 수준의 성과에 대한 형태적 평가와 종합적 평가를 외부로 보는 교육학적 활동을 말한다(Eva and Regehr 2008). 

이처럼 자기평가를 (개인 차원의 전략이 아니라) 상호작용적 전략으로 설명하는 것은 피드백 탐색, 수용, 그리고 행동에 대한 영향과 더 관련이 있다.

More recent definitions of self-assessment strongly emphasize inclusion of data from external sources. Boud (1995) describes self-assessment as a process that requires internal and external data about one’s performance and comparing these with a standard to make a judgment about one’s performance. Mann et al. (2011) coined the term informed self-assessment, defining it as the incorporation of internal and external data into self-appraisal. The term self-directed assessment seeking refers to the pedagogical activity of looking outward for formative and summative assessments of one’s current level of performance (Eva and Regehr 2008). These descriptions of self-assessment as an interactive rather than individual strategy are more relevant to feedback seeking, acceptance and impact on behavior.

두 번째 중요한 전략은 성찰인데, 이를 성찰적 학습과 성찰적 실천으로 분류할 수 있다. 

• 성찰적 학습은 지식, 기술 및 태도의 성장에 inform하기 위하여 자신의 경험과 성과에 대해 비판적으로 사고하고 분석하는 것을 말한다(Moon 2004; Chaffey et al. 2012; Hayton et al. 2015). 

• 성찰적 실천은, 의료 전문가의 핵심 신조로서, 지속적인 전문적 개발을 위해 자신의 행동을 성찰하는 능력이다(Sho€n 1983).

The second important strategy is reflection, which can be categorized as reflective learning and practice. 

• Reflective learning refers to critical thinking and analysis of own experience and performance to inform growth in knowledge, skills and attitudes (Moon 2004; Chaffey et al. 2012; Hayton et al. 2015). 

• Reflective practice, a core tenet for healthcare professionals, is the ability to reflect on one’s actions to enable continuing professional development (Scho€n 1983).

부드 외 연구진은 다음과 같이 말한다. "성찰은 사람들이 자신의 경험을 recapture하고, 생각하고, 숙고하고, 평가하는 중요한 인간의 활동이다. 성찰은 [경험을 가지고 work]하는 것이며, 이는 학습에 중요하다."(Boud et al. 1985).

Boud et al. state that: “Reflection is an important human activity in which people recapture their experience, think about it, mull it over and evaluate it. It is this working with experience that is important in learning” (Boud et al. 1985).

이전 연구의 주요 결과는 기관 문화가 피드백 교환의 내용과 신뢰성에 상당한 영향을 미친다는 것을 보여주었다. 전공의와 교직원들도 예의바름의 문화가 정직한 피드백, 특히 건설적인 피드백을 가로막는 장애물이었다고 보고했다.

Key results from the previous studies indicated that institutional culture had a significant impact on the content and credibility of feedback exchanges. Residents and faculty also reported that the institutional culture of politeness was a barrier to honest, especially constructive feedback.

방법

Methods

연구 세팅

Study setting

이 연구는 약 160명의 레지던트들이 참가한 대규모 도시 훈련 프로그램에서 실시되었다. 3~4년 훈련 트랙에 있는 레지던트들은 입원 및 외래환자 환경에서 일한다.

The study was conducted at a large, urban training program with approximately 160 residents. Residents on a 3- to 4-year training track work in inpatient and outpatient settings.

질적 접근 및 샘플링

Qualitative approach and sampling

가설 생성에 적합한 구성주의 근거이론 접근방식을 사용하여 임상 성과 및 전문 성장에 대한 피드백, 정보에 입각한 자체 평가 및 성찰에 대한 참여자의 관점을 탐구했다(Kennedy and Lingard 2006; Watling and Lingard 2012; Charmaz 2014). 자발적인 샘플링 전략을 사용하여, 우리는 포커스 그룹 토론을 위해 거주자와 교수진을 모집했다. 용도의 샘플링 전략은 대표적인 그룹을 대상으로 하며, 이 경우 병동이나 연속성 클리닉을 로테이션하는 레지던트와 대부분의 임상 감독과 가르침을 제공하는 제너럴리스트 교수진을 대상으로 한다(Creswell 및 Creswell 2013; Ramani and Mann 2016).

A constructivist grounded theory approach, appropriate for hypothesis generation, was used to explore participant views on the role of feedback seeking, informed self-assessment and reflection on clinical performance and professional growth (Kennedy and Lingard 2006; Watling and Lingard 2012; Charmaz 2014). Using a purposive sampling strategy, we recruited residents and faculty for focus group discussions. Purposive sampling strategies target representative groups, in this case residents who rotate on inpatient and continuity clinic settings and generalist faculty who provide most of the clinical supervision and teaching (Creswell and Creswell 2013; Ramani and Mann 2016).

자료 수집

Data collection

개방형 질문은 기관 피드백 문화에 대한 참여자의 의견, 피드백 추구, 수용성 및 양방향 피드백에 영향을 미치는 요소들을 탐구했다.

Open-ended questions explored participant opinions on the institutional feedback culture, factors impacting feedback seeking, receptivity and bidirectional feedback.

연구팀에서 사전에 논의된 개방형 질문을 대화의 계기로 삼았으며, 필요에 따라 명확화 및 추가 정밀화를 모색하였다(표 1).

Open-ended questions, discussed in advance by the research team, were used as triggers to initiate conversations, and clarification and further elaboration were sought as required (Table 1).

자료 분석

Data analysis

11개의 포커스 그룹 녹취록은 (Johari 창 모델을 사용하여) 새로운 프레임워크 기반 정성 분석을 위한 데이터를 제공했다. 개념적 주제 분석을 수행하여 조하리 창의 각 사분면에 대한 우리의 발견이 어떻게 정렬되거나 도전적인 구조와 일치하는지 탐구하였다. 자기평가나 성찰과 관련된 주제 및 프레임워크에 적용할 수 있는 주제만 식별되었다.

Eleven focus group transcripts provided data for a new framework-based qualitative analysis, using the Johari window model. A conceptual thematic analysis was carried out to explore how our findings aligned with or challenged constructs for each quadrant of the Johari window. Only themes related to self-assessment and reflection and applicable to the framework were identified.

성찰성을 보장하기 위해, 우리는 샘플링, 데이터 수집 및 분석에 대한 연구자들의 접근방식에 대한 연구자들의 영향을 반영하고 인정했다(Watt 2007; Watling and The Lingard 2012). 주임 저자(SR)는, 레지던트의 승진이나 졸업 결정이나 교직원의 직위에 대한 파워를 갖지 않는다. 그녀의 공동 연구자들은 비의사들로, 연구가 수행된 기관과 관련이 없으며, 건강 전문 교육 연구 전문가들이다. 이 팀은 또한 두 명의 연구 보조자를 포함했는데, 그 중 한 명은 포커스 그룹을 관찰하고 현장 메모를 했으며 다른 한 명은 독립적인 데이터 분석(LW, EP)에 참여했다. 각 녹취록을 검토하여 질문이 공개되고 광범위한 의견을 표현할 수 있도록 하였다.

To ensure reflexivity, we reflected on and acknowledged any influence of researchers in their approach to sampling, data collection and analysis (Watt 2007; Watling and The the Lingard 2012). lead author (SR), a faculty in Department of Medicine, is not responsible for promotion or graduation decisions for residents or in a position of power over faculty. Her collaborators are nonphysicians, not affiliated with the institution where the research was conducted, and experts in health professions education research (CV, KK). The team also included two research assistants, one of whom observed the focus groups and took field notes and the other participated in independent data analysis (LW, EP). Each transcript was reviewed to ensure that questions remained open-ended and allowed for expression of a wide range of opinions.

결과

Results

아는 것을 확인하기

Validating the known

"known"의 사분면은 레지던트 뿐만 아니라 그들의 감독하는 교직원과 동료들에게 알려진 역량 영역이나 행동을 가리킨다. 피드백 대화 중에 이러한 영역을 검토함으로써, FR의 자기평가가 정확하다는 것을 검증하고, 그들의 성과 개선 계획이 목표라는 것을 강화한다. 좋은 임상 습관을 강화하면 레지던트가 그러한 행동에 계속 관여할 수 있다.

The “known” quadrant refers to competency domains or behaviors known to the resident as well as their supervising faculty and peers. Reviewing these areas during feedback conversations validates the feedback receiver that their self-assessment is accurate and reinforces that their performance improvement plans are on target. Reinforcing good clinical habits can ensure that the resident will continue to engage in such behavior.

알려진 행동에는 강점과 결점이 포함되어 있지만, 교수진은 신뢰를 구축하고 지속적인 대화를 위한 기조를 정하는데 있어 긍정적인 피드백의 역할을 강조했다.

While known behaviors include strengths and deficiencies, faculty emphasized the role of positive feedback in establishing trust and setting the tone for ongoing conversations.

레지던트과 교직원들은 자기 평가의 정확성을 평가하고, 강점을 검증하고 강화하기 위해 알려진 행동을 논하는 것이 중요하다고 말했다.

Residents and faculty stated that discussing known behaviors is important to assess the accuracy of self-assessment, validate and reinforce strengths.

사각지대를 인정하기

Accepting the blind

"Blind" 사분면이란 레지던트에게 알려지지 않았지만 레지던트를 감독하는 교직원과 동료에게는 명확하게 보여지는 수행 영역을 말한다. 강점을 논하는 것은 쉬운 일이지만, Blind 영역에서 어려운 점은 underperformance에 대한 건설적인 피드백을 할 때이고, 이런 피드백은 수신자의 감정을 상하게 하지 않기 위해 종종 생략되곤 한다. 

The “blind” quadrant refers to areas of performance unknown to the resident but evident to supervising faculty and peers. It is likely easier to discuss strengths, but the challenge arises when the blind area involves constructive feedback on underperformance, often skipped to avoid hurting receivers’ feelings. 

• 적극적인 피드백을 탐색에 참여하고

• 피드백 대화를 학습 목표를 중심으로 진행하며, 

• 성과 개선 계획을 촉진하는 것

...은 건설적인 의견을 수용하는 것을 더 맛있게 할 수 있다.

• Engaging in active feedback seeking, 

• grounding feedback conversations in learning goals and 

• facilitating performance improvement plans 

...could make it more palatable to accept constructive comments.

교수진은 피드백을 추구하는 행동을 모델링하고 지속적인 전문적인 성장을 위해 그들 자신의 노력을 보여주면 레지던트들이 같은 일을 하도록 장려하고 건설적인 피드백을 수용하도록 향상시킬 수 있다고 밝혔다.

Faculty expressed that modeling feedback-seeking behavior and demonstrating their own efforts at ongoing professional growth could encourage residents to do the same and enhance their acceptance of constructive feedback.

항상 진솔하게 피드백을 요청하고, "나는 항상 주치의로서의 기술, 교육자로서의 능력 향상에 힘쓰고 있으니 솔직한 피드백을 부탁한다."(F)

I always ask for feedback genuinely and say, “I'm always striving to improve my attending skills, my teaching skills, so I’m asking you for honest feedback.” (F)

또한 피드백 훈련은 단순히 피드백을 주는 기술에만 집중하는 것이 아니라 그것을 받고 받아들이는 데도 초점을 맞춰야 한다는 의견이 제시되었다.

Additionally, it was suggested that feedback training should not just focus on the skills of giving, but also on receiving and accepting it.

[감정을 해소하는 전략이나, 특정 발언이 그 사람에 대한 공격이라는 암시를 피하기 위한 전략]을 다루는 과정에서 육아나 스포츠 코칭과 비교가 언급되었다.

The comparison to sports coaching as well as parenting was brought up as strategies to defuse emotion and avoid the implication that the comments were an attack on the person.

전반적으로, 참가자들은 Blind 사분면의 기술과 관련된 건설적인 피드백의 수용을 장려하기 위한 전략으로 다음을 지적했다.

• 적극적인 피드백 탐색, 

• 피드백 탐색 및 수신에 대한 훈련, 그리고 

• 스포츠에서 볼 수 있는 것과 유사한 코칭 문화

Overall, participants indicated that strategies to encourage acceptance of constructive feedback pertaining to skills in the blind quadrant include 

• active feedback seeking, 

• training in feedback seeking and receiving, and 

• a coaching culture similar to that seen in sports.

숨겼던 것을 공개하기

Disclosure of hidden

"Hidden" 사분면은 레지던트는 알고 있지만 교수진이나 동료에게 알려져 있지 않은 것으로 구성되며 따라서 레지던트가 자발적으로 공개해야만 드러난다. 매주 이뤄지는 피드백 교환에 대한 기대가 정기적으로 전달되었지만, 참가자들은 성과 목표는 거의 논의되지 않았으며, 이로 인해 대화는 스스로 밝힌 목표나, 레지던트가 느끼는 두려움, 한계를 중심으로 하지 않았다고 말했다.

The “hidden” quadrant comprises what is known to the resident but not to faculty or peers and therefore requires disclosure by the resident. While expectations about weekly feedback exchanges were communicated regularly, participants stated that performance goals were rarely discussed, resulting in conversations not guided by self-disclosed goals, fears or limitations.

로테이션 동안 집중하고자 하는 약점을 하나 또는 두 개 고른 인턴들이 있었다. 나는 그것이 전체 로테이션에 있어서 엄청나게 도움이 된다는 것을 발견했다.

I have had interns who pick one or two areas of weakness that they want to focus on for that rotation. I found that incredibly helpful in terms of the entire rotation.

같이 일하고 있는 사람에게 '저는 당신이 [내가 이 특정 영역에서 어떻게 하고 있는지]를 봐주면 좋겠습니다'는 식으로 물어보면 도움이 된다.(F)

It helps if you ask the person you’re working with, like ‘okay, I asked you to watch me in this particular domain and see how I’m doing’. (F)

피드백의 신뢰성은 피드백 제공자와 수신자 사이의 관계에 의해 영향을 받을 수 있다. 레지던트들은 자신이 신뢰하는 사람에게는 자신의 목표와 한계를 기꺼이 공개할 수 있으며, 이로서 더 집중적이고 실행 가능한 피드백이 가능해진다. 긍정적인 관계는 또한 더 많은 수행능력 관찰을 촉진할 수 있고, 피드백 데이터를 더 수용할 수 있게 할 수 있다.

The credibility of feedback could be influenced by the relationship between the feedback provider and receiver. Residents may be willing to disclose their goals, and limitations to those they trust, allowing for more focused and actionable feedback. Positive relationships can also stimulate more performance observation and make the feedback data more acceptable.

알 수 없었던 것을 발견하기

Uncovering the unknown

"unknown" 사분면은 레지던트는 물론 감독 교직원도 알 수 없는 영역을 가리킨다. 따라서, 동료들과 다른 직원들로부터 피드백을 구하는 것이 도움이 될 수 있다. 레지던트와 가까운 동료들은 교수는 언급하지 않았던 전혀 다른 기술에 대해 피드백을 제공했으며, 이들은 동료-피어 피드백 대화가 더 자주 이루어지기를 바란다고 말했다. 일부 입원 환자 주치의는 비의사 팀원의 피드백의 중요성을 강조했다. 왜냐하면, 이들은 의사-환자 상호 작용과 팀워크에 대해 다른 인식을 가지고 있기에 가치가 있기 때문이다.

The “unknown” quadrant refers to domains unknown to the resident as well as supervising faculty. Therefore, seeking feedback from peers and other staff could be helpful. Residents indicated that their near peers provided feedback on very different skills than faculty and wished peer–peer feedback conversations occurred more frequently. Some inpatient attendings emphasized the importance of feedback from nonphysician team members whose perceptions of physician–patient interactions and teamwork are likely to be different and valuable.

나는 인턴들이 교육, 런닝 라운드, 내가 얼마나 지지하는지, 그것이 우리와 어떻게 작용하는지에 대해 더 많은 피드백을 주기를 바란다. 이것은 주치의에게서 받을 수 있는 피드백과는 다르다 (R)

I wish interns give more feedback on the teaching, running rounds, how supportive I am, how it is working with us, the nitty-gritty. And it’s different feedback than I would get from an attending. (R)

피드백을 주는 기술에 대한 훈련은 레지던트와 교수 모두에 의해 중요하게 여겨졌다. 상호 전문성장의 목표를 강조하는 건설적인 피드백 제공을 위한 효과적인 기법이 제시되었다.

Training in the skills of giving feedback was considered important by residents and faculty. Effective techniques to providing constructive feed-back emphasizing the goal of mutual professional growth were suggested.

고찰

Discussion

우리의 조사 결과를 바탕으로, 우리는 Johari 창 모델이 교수와 레지던트 간의 피드백 대화, 그리고 기관의 피드백 이니셔티브 설계에 효과적으로 지침이 될 수 있다고 믿는다.

Based on our findings, we believe that the Johari window model can effectively guide feedback con-versations between faculty and residents, and the design of feedback initiatives by institutions

우리의 자료에 따르면 레지던트와 교수 모두 효과적인 피드백을 [단방향 하향식 과정이 아니라] [기관 문화에 의해 촉진되거나 억제되는 대인 커뮤니케이션]으로 보고 있다. 또한 임상 환경은 팀별로 환자 진료를 제공하기에, 최적의 기능을 위해서는 [자기 인식]과 [팀원들에 의한 자신의 행동에 대한 인식]이 모두 중요하다.

Our data suggest that both residents and faculty view effective feedback as an interpersonal communication facilitated or inhibited by the institutional culture, rather than a unidirectional top-down process.Additionally, the clinical environment is one where patient care is delivered by teams, where perception of self and perception of one’s behaviors by other team members are essential for optimal functioning. 

"open" 사분면은 개인 전문가와 팀이 가장 생산적이 될 수 있도록 한다. 성장 마인드를 자극하기 위해서는 강점과 결핍이 논의되어야 한다. 피드백 제공자의 경우, FR의 성찰을 장려하고, 자기평가를 하도록 요청함으로써 이 사분면을 확장시킬 수 있다. 그러나, 연구에 따르면 대부분의 사람들은 경험 재구성 시 긍정적인 데이터에 더 주의를 기울이기 때문에 부풀려진 자기 평가를 갖는 경향이 있다(Davis et al. 2006; Eva and Regehr 2008). 따라서, unguided reflection과 자기평가만으로는 피드백 수신자가 자신의 성능 수준을 부정확하게 보정할 수 있다(Kruger and Dunning 199).9). 자기성찰은 외부 소스의 성능 데이터를 통합할 때 더 정확하다(Boud 1995; 엡스타인 및 훈데르트 2002; 에바와 레게르 2008; 사리아 등). 2009; Mann et al. 2011; Sargeant et al. 2015).

The “open” quadrant enables individual professionals and teams to be most productive. Strengths as well as deficiencies need to be discussed to stimulate a growth mindset. For feedback providers, encouraging reflection and inviting self-assessment from receivers can expand this quadrant. However, research suggests that most people tend to possess inflated self-assessments as they pay more attention to positive data in reconstructing experiences (Davis et al. 2006; Eva and Regehr 2008); thus, unguided reflection and self-assessment can lead feedback receivers to inaccurately calibrate their performance level (Kruger and Dunning 1999). Self-reflection is more accurate when it incorporates performance data from external sources (Boud 1995; Epstein and Hundert 2002; Eva and Regehr 2008; Sargeant et al. 2009; Mann et al. 2011; Sargeant et al. 2015).

기관의 리더들은 [정보에 입각한 자기 평가]가 표준이 되는 문화를 촉진하고, 이러한 기술에 대한 훈련을 제공함으로써 개인과 팀을 위한 "open" 사분면을 넓히는 데 중요한 역할을 한다. 또한, supervisor는 학습자가 [각각의 단계마다 있어야 하는 곳에 대한 로드맵 세부사항]과 [성과에 대한 빈번하고 확실한 피드백]을 제시해야 한다.

Institutional leaders have a major role in promoting a culture where informed self-assessment becomes the norm, and providing training on these skills, thereby enlarging the “open” quadrant for individuals and teams.Additionally, faculty supervisors should present frequent,affirmative feedback on performance along with a roadmap detailing where learners need to be at different stages

"Blind" 사분면은 사람의 행동과 행동에 대한 무지에서 생긴다. 이 사분면을 축소하려면 다각적인 접근이 필요하다. 학습자는 [필요한 학습 목표를 달성하는 데 있어 수행의 적절성을 판단하기 위한 의식적인 노력]으로 정의되는 [능동적 피드백 탐색]을 통해 자기 인식의 사각지대를 깨달을 수 있다(Crommelinck 및 Anseel 2013). 피드백 탐색하는 행동은 유용한 정보에 대한 욕구에 의해서도 추진될 수 있고, 자신의 에고를 강화하거나, 긍정적 이미지를 유지하기 위해서 이뤄질 수도 있기 때문에, 어떤 목표를 지향하느냐에 의해 영향을 받을 수 있다(반데왈레 외). 2000; VandeWalle 외, 2001; Teunissen 외. 2009).

The “blind” quadrant arises out of ignorance about one’s behaviors and performance. A multipronged approach is needed to shrink this space. Learners can gain awareness of their blind spots through active feedback seeking, defined as one’s conscious efforts to determine adequacy of performance in attaining required learning goals (Crommelinck and Anseel 2013). Since feedback-seeking behavior can be driven by the desire for useful information, to enhance one’s ego, or maintain a positive image, it can be influenced by goal orientation of individuals (VandeWalle et al. 2000; VandeWalle et al. 2001; Teunissen et al. 2009).

• performance goal orientation, 

• learning goal orientation

기관들은 피드백 탐색 행동을 적극적으로 촉진하고, 훈련생과 직원들간의 성과목표지향보다는 학습목표지향을 강조하고, 이를 명확한 기대감으로 전달하며, 피드백을 탐색, 수용, 통합하는 전략을 포함하는 피드백 교육을 제공할 필요가 있다(Tunissen). (2013년 복)

Institutions need to establish a learning culture that actively promotes feedback-seeking behavior, emphasize learning goal rather than performance goal orientation among its trainees and staff, communicate these as clear expectations and provide feedback training that includes strategies for seeking, receiving and incorporating feedback (Teunissen and Bok 2013).

"Hidden" 사분면은 레지던트가 교수나 동료에게 드러내고 싶지 않아하는 정보, 감정, 두려움, 의제 또는 상황을 나타낸다. 얼마나 많은 것을 드러낼지는 상대방, 신뢰, 그리고 다른 사람들과의 관계에 달려있지만, 이 공간을 좁히기 위해서는 공개disclosure가 필요하다. 신속한 transition과 임상 의학의 짧은 로테이션으로 인한 많은 잠재적인 부정적인 영향들이 다음과 같이 설명되어 왔다. 

• trainee와 faculty가 서로 신뢰할 수 있는 교육 또는 업무 관계를 수립할 수 없다

• 서로의 동기, 헌신 또는 목표에 대한 지식이 부족하다

• 성과 평가와 피드백에 대한 기대의 공유된 정신적 모델이 부족하다

The “hidden” quadrant represents information, feelings, fears, agendas or context that a resident may hesitate to reveal to supervising faculty or peers. Disclosure is necessary to narrow this space, though how much to reveal would depend on the person, the trust and relationship with others. Many potential negative effects of rapid transitions and short rotations in clinical medicine have been described including 

• inability of trainees and faculty to establish trusting educational or working relationships, 

• lack of knowledge about each other’s motivation, commitment or goals, and 

• lack of a shared mental model of performance appraisal and expectations for feedback (Bernabeo et al. 2011; Holmboe et al. 2011; Sargeant et al. 2011; Watling 2014a, 2014b; Sargeant et al. 2015; Dudek et al. 2016).

교육적 동맹 프레임워크는 학습자와 교사들 간의 지원적 관계를 촉진하여 학습자가 자신의 한계와 불안함을 쉽게 공개하고, 교사들은 두려움과 상황을 염두에 두고 학습자 목표에 피드백을 기초하는 의미 있는 피드백 교환을 초래할 수 있다(Telio et al. 2015; Telio et al.; Telm).io et al. 2016). 교육적 동맹을 구축하려면 학습자와 학습 과정에 대한 교사의 의지를 보여주는 대화가 필요하며, 공개가 가능한 관계를 만들어나감으로써 "hidden" 공간을 좁힐 수 있다. 교수진은 

• 자신의 두려움과 한계를 인정하고, 

• 학습자의 상황에 대한 이해를 보여주고, 

• 목표 지향적인 피드백을 제공할 수 있다.

the educational alliance framework may promote supportive relationships between learners and teachers resulting in meaningful feedback exchanges where learners feel comfortable disclosing their limitations and insecurities, and teachers ground their feedback in learner goals while being mindful of their fears and the context (Telio et al. 2015; Telio et al. 2016). Establishing such an alliance necessitates conversations that demonstrate the teacher’s commitment to the learner and the learning process, and establish a relationship that permits disclosure, thus narrowing the “hidden” space. Faculty can 

• acknowledge their own fears and limitations, 

• demonstrate understanding of the learner’s context and 

• provide goal-directed feedback.

마지막 사분면, "unknown" 공간은 레지던트, 감독자 또는 동료 모두 이러한 행동을 인식하지 못하기 때문에, [가장 다루기 어렵다].

The last quadrant, the “unknown” space, is the most challenging to address because neither the resident nor their supervisors or peers are aware of these behaviors.

이 영역을 축소하려면 다양한 접근방식이 필요하다. 여기에는 레지던트 스스로 새로운 자기 영역 발견할 준비가 되어야 하고, 서로 다른 supervisor가 직접 성과를 관찰해야 하며, 다중 소스 피드백이 필요하다. 간호사 또는 사례 관리자 및 환자와 같은 감독자, 동료 및 비의사 팀원은 모두 performance의 서로 다른 차원에 대해 인지하고 통찰력을 제공할 가능성이 있고, 이는 궁극적으로 레지던트의 전문적 개발을 강화한다(Sargeant et al. 2005; Ten Cate and Sargeant 2011; Holmboe and Ross 2012; Sar Sar 2015; Sargeant 2015; Van der Meulen et al. 2).017). 그러나 의사는 의사가 아닌 사람의 피드백에 대해 신뢰성이 떨어지고 덜 유익하다고 보는 경향이 있어서, 결국 피드백을 덜 수용하는 경향이 보이는 것으로 보고되었다(Sar et et al. 2005, 2007; Ten Cate and Sargeant 2011).

Shrinking this area would involve a multitude of approaches such as residents’ readiness to discover new areas of self, direct performance observation by different supervisors and multisource feedback. Supervisors, peers and nonphysician team members, such as nurses or case managers and patients, are all likely to perceive and provide insights on different dimensions of performance, thus enhancing professional development of residents (Sargeant et al. 2005; Ten Cate and Sargeant 2011; Holmboe and Ross 2012; Sargeant 2015; van der Meulen et al. 2017). However, it has also been reported that physicians tend to view nonphysician sources of feedback as less credible and beneficial, therefore less receptive to their feedback (Sargeant et al. 2005, 2007; Ten Cate and Sargeant 2011).

추가 연구를 위한 제안

Suggestions for further research

마지막으로, 우리는 Johari 프레임워크를 통합한 피드백 교육을 설계하고 그것이 교직원과 레지던트의 피드백 행동에 미치는 영향을 연구하는 것을 목표로 한다.

Finally, we aim to design feedback training incorporating the Johari framework and study its impact on feedback behaviors of faculty and residents.

결론들

Conclusions

• 두려움와 한계을 드러내는 것을 정상화normalize시키고, 

• 피드백 탐색을 장려하며, 

• 비판단적 피드백을 주는 법을 훈련시키고, 

• 종적 관계를 위한 기회를 제공하면, 

...궁극적으로 조하리 창의 "open" 사분면을 극대화할 수 있는 자아 발견을 촉진할 수 있다.

Normalizing disclosure of fears and limitations, encouraging feedback seeking, training in providing nonjudgmental feedback and providing opportunities for longitudinal relationships can enhance self-awareness and promote self-discovery which can ultimately maximize the “open” quadrant of the Johari window.

Ramani S. 2016. Reflections on feedback: closing the loop. Med Teach. 38:206–207.

Med Teach. 2017 Oct;39(10):1065-1073. doi: 10.1080/0142159X.2017.1353071. Epub 2017 Jul 25.

Uncovering the unknown: A grounded theory study exploring the impact of self-awareness on the culture of feedback in residency education.

사회문화적 렌즈를 통해 본 의미있는 피드백(Med Teach, 2019)

Meaningful feedback through a sociocultural lens

Subha Ramania,b , Karen D. K€oningsc , Shiphra Ginsburgd and Cees P. M. van der Vleutenc

도입

Introduction

한때는 static한 교사에서 학생으로의 독백으로서 피드백 대화는 역동적인 학습자 중심의 협력적 대화로 옮겨가고 있다.

The feedback conversation, once a static teacher to learner monologue, is shifting towards a dynamic learner-directed collaborative dialogue.

본 가이드의 목적

The purpose of this guide

이 가이드의 주된 목적은 교사 및 학습자가 의미 있고 실행 가능한 피드백 대화에 참여하고 기관이 성장 지향 피드백 문화를 확립하도록 돕는 것이다.

The primary aim of this guide is to assist teachers and learners in engaging in meaningful and actionable feedback conversations, and institutions in establishing a growth-oriented feedback culture.

조직문화 및 피드백

Organisational culture and feedback

문화는 피드백에 대한 사회문화적 관점의 중심이기 때문에, 우리는 Edgar Schein에 의해 묘사된 세가지 수준의 문화를 언급한다.

Since culture is central to sociocultural perspectives of feedback, we refer to the three levels of culture described by Edgar Schein,

(1) 가장 깊은 레벨은 암묵적 가치와 쓰여지지 않은 가정을 말하며, 

(2) 다음 레벨은 쓰여진 기대와 사명을, 

(3) 가장 눈에 띄는 레벨은 일상적인 행동을 묘사한다(Schein 2017).

(1) the deepest level refers to implicit values and unwritten assumptions, 

(2) the next level refers to written expectations and mission statements and 

(3) the most visible level depicts day to day behaviour (Schein 2017).

이러한 수준을 피드백 문화(그림 1)에 적용하면, 

• 가치와 가정은 기관에서 일이 어떻게 이루어지고 새로운 구성원이 어떻게 적응하는지를 말하며, 

• 다음 단계는 피드백에 대한 서면 기대를 나타내고, 

• 가시적 수준은 교사와 학습자의 피드백 행동을 가리킨다. 

이상적으로, 이 세 가지 레벨은 서로 협력하여 작용하는데, 실제로는 서로 모순될 수 있다.

Applying these levels to feedback culture (Figure 1), 

• values and assumptions refer to how things are done at the institution and how new members are acculturated, 

• the next level refers to written expectations for feedback, and 

• the visible level refers to feedback behaviours of teachers and learners. 

Ideally, the three levels would act in concert, in reality they may contradict each other.

사회문화적 현상으로서의 피드백

Feedback as a sociocultural phenomenon

피드백에 영향을 미치는 사회문화적 요인으로는 교사 특성, 교사-학습자 관계, 수행의 관찰, 학습자 자기효율성, 자율성, 피드백 탐색 및 수용, 피드백 데이터의 신뢰성 인식이 포함된다(Sargeant et al. 2007a; Delva et al. 2011; Mann et al. 2011; Eva et al. 20).12; Watling et al. 2013a, 2014a, 2014b, 2016; Ramani, et al. 2017a, 2017b, 2019). 자체 평가와 성찰은 피드백 추구와 수용의 핵심이다 (Sarar et al. 2008b, 2009).K€onings 등 2016). 의학 교육에서, 교수들은 우호적인 업무 관계를 유지하고 학습자의 자부심 및 자율성에 대한 위협을 주지 않기 위해 모호한 피드백 언어를 사용하는 것이 일반적이다(Sargeant et al. 2007, 2008a; Van de Ridder et al. 2015a, 2015b; Ramani et al. 2018).

Sociocultural factors that influence feedback include: teacher characteristics, teacher-learner relationships, observation of performance, learner self-efficacy, autonomy, feedback seeking and acceptance, and perceived credibility of feedback data (Sargeant et al. 2007, 2008a; Delva et al. 2011; Mann et al. 2011; Sargeant et al. 2011; Eva et al. 2012; Watling et al. 2013a, 2014; Watling 2014a, 2014b, 2016; Ramani, et al. 2017a, 2017b, 2019). Self-assessment and reflection are also central to feedback seeking and acceptance (Sargeant et al. 2008b, 2009;K€onings et al. 2016). In medical education, use of vague feedback language is common as faculty wish to avoid threats to friendly working relationships, learner self-esteem and autonomy (Sargeant et al. 2007, 2008a; van de Ridder et al. 2015a, 2015b; Ramani et al. 2018)

핵심 이론 원리를 피드백에 연결

Linking key theoretical principles to feedback

.사회문화론, 예의론, 자기결정론. (그림 2)

.Sociocultural theory, Politeness theory and Self-determination theory. (Figure 2).

사회문화이론 및 피드백

Sociocultural theory and feedback

이 이론은 학습이 상호작용, 협상, 협업을 통해 일어난다고 제안한다(Lave and Wenger 1991). 임상 학습은 팀원들이 다른 팀원들로부터 배우고 다른 팀원들과 함께 발전하는 커뮤니티에서 이루어지기 때문에, 기관들은 학습자 능력들 사이에서 팀워크 기술을 우선시해야 한다.

This theory proposes that learning occurs through interaction, negotiation, and collaboration (Lave and Wenger 1991). Since clinical learning occurs in a community where team members learn from and develop with others, institutions must prioritise teamwork skills among learner competencies.

이 이론을 피드백에 적용하면, 기관은 교사 및 학습자가 다음을 수행할 수 있는 명백한 기대를 확립할 수 있다. 

• 학습 목표를 논한다 

• 성찰에 참여한다. 

• 관찰된 성과와 예상된 성과 사이의 gap을 보정한다

• 형성적 피드백을 교환하여 gap을 좁힌다

성인 학습자들은 코치 역할을 하는 교사들과 이러한 대화를 이끌도록 장려되어야 한다.

Applying this theory to feedback, institutions can establish explicit expectations for teachers and learners to: 

• discuss learning goals, 

• engage in reflection, 

• calibrate gaps between observed and expected performance and 

• exchange formative feedback to narrow the gap. 

Adult learners should be encouraged to lead these conversations with teachers acting as coaches.

공손성 이론 및 피드백

Politeness theory and feedback

공손성 이론은 많은 대화가 듣는 사람이나 말하는 사람에게 잠재적인 체면face을 위협하는 행위라고 가정한다(Brown and Levinson 1987). 체면은 긍정적 체면(긍정적 이미지를 투영할 필요성)과 부정적 체면(폐를 끼치지 않고 행동할 자유)으로 분류된다. 임상 훈련에서 긍정적인 체면은 학습자의 자기효능감으로, 부정적인 체면은 학습자의 자율성으로 볼 수 있다.

Politeness theory assumes that many conversations are potential face-threatening acts to the hearer or speaker (Brown and Levinson 1987). Face is categorised as positive (the need to project a positive image) and negative (freedom to act without imposition). In clinical training, positive face can be viewed as learner self-efficacy and negative face as learner autonomy.

학습자들은 건설적인 피드백을 "부정적"이며 기대되는 공손함의 규범을 위반하는 것으로 볼 수 있다. 진정한 건설적 피드백은 학습자의 자기 효율성에 영향을 미치더라도 종적 성장을 위해 필수적이다. 그러나 임상 교사들은 주로 긍정적인 언어(좋은 직업, 함께 일하는 즐거움)를 사용하는 경향이 있다.

learners may view constructive feedback as “negative” and a breach of the norms of expected politeness. Honest constructive feedback is essential for longitudinal growth, even if affects learners’ self-efficacy. However, clinical teachers tend to use predominantly positive language (good job, pleasure to work with)

이러한 경향은 [자부심, 자기효율성 및 자율성에 대한 관심]이 [건설적인 서술과 피드백을 방해]하는 '예의바름'개념과 연계될 수 있다(Ginsburg honor et al. 2015, 2016; Ramani et al. 2017b, Ramani et al. 2019).

this tendency can be linked to politeness concepts where attention to self-esteem, self-efficacy and autonomy impedes constructive narratives and feedback (Ginsburg honest et al. 2015, 2016; Ramani et al. 2017b, Ramani et al. 2019).

자기결정론 및 피드백

Self-determination theory and feedback

자기결정론은 역량, 관련성, 자율성 등 내재적 동기를 강화하는 3가지 핵심 니즈를 제안한다(Ryan and Deci 2000, 2017). 학습 문화는 내적 동기부여를 강화할 방법을 적극적으로 모색해야 한다(Mann 2002년 4월 Ten Cate 등.은 피드백 대화 중 동기부여를 위한 세 가지 접근방식을 제안한다. 

• 개인에서 맥락으로 전환

• 지시적 메시지에서 자기조절로 전환 

• 피드백 제공자에서 수신자로 전환 (Ten Cate et al. 2011; Ten Cate 2013). 

Self-determination theory proposes three key needs that enhance intrinsic motivation: competence, relatedness and autonomy (Ryan and Deci 2000, 2017). the learning culture should actively seek to enhance intrinsic motivation (Mann 2002). Ten Cate et al. suggest three approaches to boost motivation during feedback conversations: 

• shift the focus from the individual to the context; 

• shift from instructional messages to self-regulation; and 

• shift the focus from feedback provider to recipient (Ten Cate et al. 2011; Ten Cate 2013). 

[관찰된 데이터에 기초한 피드백과 facilitated reflection은] 교사와 학습자 사이의 종단적 관계가 촉진되는 맥락에서 발생해야 하며, 학습자는 [능력과 직무 복잡성]에 따라 자율성을 높여야 한다(Ramani, et al. 2018, 2019).

Feedback, grounded in observed data and facilitated reflection, should occur in a context where longitudinal relationships between teachers and learners are promoted, and learners are provided increasing autonomy based on ability and task complexity (Ramani, et al. 2018, 2019).

자기 자신과 다른 것의 균형: 성장 피드백을 향상시키는 모델

Balancing the self and the other: A model for growth enhancing feedback

피드백 신뢰성은 '자기'와 '기타'와 관련된 요인 사이에서 최적의 균형을 요구할 수 있다. 자신과 다른 사람들은 학습 문화뿐만 아니라 조직적 문화를 특징으로 하는 제도적 맥락에서 공존한다.

Feedback credibility may require an optimal balance of factors related to ‘self’ and ‘other’. The self and other co-exist in an institutional context which features an organisational culture as well as a learning culture.

자기 팩터 및 피드백(학습자)

Self-factors and feedback (learner)

그림 3

Figure 3.

마음가짐. Mind-set.