피드백을 효과적으로 만드는 것은 무엇인가? 학생과 교수의 관점(Assessment & Evaluation in Higher Education, 2018)
What makes for effective feedback: staff and student perspectives

Phillip Dawsona , Michael Hendersonb , Paige Mahoneya, Michael Phillipsb ,
Tracii Ryanb , David Bouda and Elizabeth Molloyc

결과 및 토론.
Results and discussion

RQ1: 직원과 학생들은 피드백의 목적이 무엇이라고 생각하나요?
RQ1: What do staff and students think is the purpose of feedback?

참가자들은 피드백의 네 가지 주요 목적을 나타냈다: 성적 정당화, 일의 장단점 확인, 개선, 정서적 목적. 이러한 목적의 확산은 우리가 관찰한 하위 주제와 함께 표 1에 제시되어 있다. 개별 참가자의 데이터가 여러 테마로 코딩되었을 수 있기 때문에 표에 제시된 데이터가 100% 이상 추가될 수 있다는 점에 유의해야 한다.

Participants indicated four main purposes of feedback:

• justifying grades;
• identifying strengths and weaknesses of work;
• improvement; and
• affective purposes.

The prevalence of each of these purposes is presented in Table 1, along with subthemes where we observed them. It should be noted that data presented in tables may add up to more than 100% because individual participants’ data may have been coded in multiple themes.

 

 

피드백은 성적 향상에 대한 것인가, 아니면 성적을 정당화하는 것인가?
Is feedback about improvement, or justifying a grade?

대다수의 응답자가 피드백의 목적으로 학생 90%, 교직원 89%가 일종의 개선을 언급할 정도로 피드백은 개선에 관한 것이라고 표현했다. 직원의 경우 피드백의 개선 목적이 성적 정당화 목적보다 10배 우세했고, 학생의 경우 개선 목적이 정당화 목적보다 20배 이상 우세했다. 일부 참여자들은 개선을 피드백의 '명백한' 목적이라고 여겼는데, 이는 이 주제가 널리 퍼지고 있다는 점을 고려할 때 놀라운 일이 아닐 수 있다. Carless 등(2011), Sadler(2010), Boud and Molloy(2013)가 제안한 의견과 같은 대중적인 피드백 아이디어의 기본 요소이기 때문에 개선 가능성이 높은 것은 고무적이다. 그러나 학생과 교직원이 개선에 대해 글을 쓸 때 표 2에 요약된 것처럼 개선 대상으로 간주하는 부분에서 현저한 차이가 있었다.
The vast majority of responses expressed that feedback is about improvement, with 90% of students and 89% of staff mentioning some sort of improvement as a purpose of feedback. For staff, an improvement purpose of feedback was ten times as prevalent as a grade justification purpose; for students, improvement was more than twenty times as prevalent as justification. Improvement was regarded by some participants as an ‘obvious’ purpose of feedback, which is perhaps unsurprising given the prevalence of this theme. It is heartening to see such a high prevalence for improvement, as it is the fundamental element of popular feedback ideas such as those proposed by Carless et al. (2011), Sadler (2010) and Boud and Molloy (2013). However, when students and staff wrote about improvement, there was a marked difference in what they regarded as the object of improvement, as outlined in Table 2.

참석자들이 가장 많이 응답한 내용은 피드백의 목적이 개선이지만 개선의 대상을 밝히지 않았다는 것이었다. 특정되지 않은 개선을 언급한 참여자들은 암묵적으로 개선의 일부 기본 초점을 가정하였거나 전반적인 일반적인 개선을 가정했을 수 있다.

The most common response by participants was that the purpose of feedback was improvement but they did not state an object of the improvement. Those participants who referred to unspecified improvement may have implicitly assumed some default focus of improvement or an overall, general improvement.

참가자들이 개선을 위해 특별히 초점을 맞춘다면, 그것은 보통 학생들의 공부, 이해의 향상 또는 학습이나 공부 전략의 향상이었다. Boud and Molloy(2013)의 연구를 바탕으로 Carless(2015)는 피드백을 '학습자가 다양한 출처의 정보를 이해하고 이를 활용하여 작업이나 학습 전략의 질을 높이는 대화 과정'으로 정의했다.(192쪽) 데이터의 작업 전략과 학습 전략 모두에 대한 개선이 널리 퍼진다는 것은 일부 교육자와 학생이 피드백의 목적에 대한 우리의 이해를 공유한다는 것을 시사한다. 또한 해티와 팀펄리(2007)가 피드백이 자율성 향상에 초점을 맞춰야 한다고 권고한 일부 측면이 교육자와 학생의 이해로 나타날 수 있음을 시사한다.
Where participants did specify a particular focus for improvement, it was usually improvements to students’ work, improvements in understanding, or improvements in learning or study strategies. Building on work by Boud and Molloy (2013), Carless (2015) defined feedback as ‘a dialogic process in which learners make sense of information from varied sources and use it to enhance the quality of their work or learning strategies.’ (p. 192). The prevalence of improvements to both work and learning strategies in the data suggests that some educators and students share our own understanding of the purpose of feedback. It also suggests that some aspects of Hattie and Timperley’s (2007) recommendation that feedback should focus on improving self-regulation may be represented in the understandings of educators and students.

평가 및 피드백 문헌은 최근 '평가적 판단evaluative judgement'으로 알려진 품질에 대한 학생들의 이해와 양질의 작업에 대한 의사 결정 능력 개발에 초점을 맞추고 있다. 소수의 참여자들은 평가 판단과 관련된 개선 사항(예: 자기 평가 개선 또는 기준 이해 향상)에 대해 썼다. 그러나, 중요한 능력으로서의 평가적 판단은 데이터 세트에 비중있는 존재는 아니었다. 교육자들과 학생들은 주로 일의 개선과 일의 생산 능력 향상에 초점을 맞추었고, 학생들의 업무 평가 능력 향상은 아니었다.

The assessment and feedback literature has recently increased its focus on the development of students’ understandings of quality and their ability to make decisions about quality work, known as ‘evaluative judgement’ (Tai et al. forthcoming). A small set of participants wrote about improvements related to evaluative judgement, such as improved self-evaluation or improved understanding of standards. However, evaluative judgement as an overarching capability was not a substantive presence in the data-set. Educators and students were predominantly focused on improvements to work, and an improvement in the ability to produce work, not on an improvement in the ability of students to evaluate work.

장점과 단점을 지적하는 것
Pointing out strengths and weaknesses

학생 작업의 강점과 약점을 식별하는 것은 때때로 개선을 위한 정보의 사용에 대한 언급 없이 참여자들에 의해 보고되었다. 이것은 피드백의 목적에 대한 [비교적 오래된 정보 중심의 이해]와 일치할 수 있는데, 피드백은 학생들에게 일의 좋은 점과 나쁜 점을 알려주는 것이지만, 학생들에게 그것을 개선하는 방법을 알려주거나 학생들에게 그 정보를 개선을 위해 사용하는 것에 대한 것이 아니다. 이 주제에 대한 전형적인 표현은 한 교육자에 의해 만들어졌는데, 한 교육자는 피드백의 목적이 '학생들이 그 과제에 대한 자신의 장단점이 어디에 있는지 알 수 있게 하는 것'이라고 말했다.

The identification of strengths and weaknesses in student work was sometimes reported by participants without mention of the use of that information for improvement. This perhaps corresponds to older, information-centric understandings of the purpose of feedback, such that feedback is about telling students what is good and bad about their work, but not about telling students how to improve it or students using the information for improvement. A typical expression of this theme was made by one educator, who said the purpose of feedback was ‘to allow the student to see where their strengths and weaknesses for that task lie.’

학생들의 기분을 좋게 만들고 동기를 부여하는 피드백
Feedback to motivate and make students feel good

소수의 직원과 소수의 학생들이 피드백을 위해 정서적인 목적을 언급했습니다. 이러한 참가자들에게 피드백의 목적 중 하나는 학생들이 일을 더 잘하도록 동기를 부여하고, 학생들의 노력을 인정하거나, 학생들을 격려하거나, 그들의 일에 대해 좋게 느끼도록 하는 것이었다. 한 학생은 그것이 피드백의 주된 목적은 아니지만, 정서적인 목적이 결과에 반영되지 않으면 상처를 입을 수 있다고 언급했다.
A small number of staff, and a smaller number of students, mentioned affective purposes for feedback. For these participants, one of the purposes of feedback was to motivate students to do better work, to acknowledge student effort, to encourage students, or to make them feel good about their work. One student noted that although it is not the primary purpose of feedback, if affective purposes are not attended to the results can be hurtful:

[피드백의 목적은] 주로 미래의 개선을 위한 것이지만, 또한 칭찬과 동기를 부여하고 노력한 시간과 노력을 긍정적으로 강화하는 것입니다. 평가자가 아무런 긍정도 없이 트집잡고 비판만 할 때 그것은 완전히 산산조각이 납니다.
[The purpose of feedback is] primarily to improve in future, but also to compliment and motivate and provide positive reinforcement to the effort and time put in. It’s absolutely shattering when the assessor does nothing but nit-pick and criticise with no positivity at all.

이것은 영향을 피드백의 목적으로서 고려하는 다소 일반적인 방법이었다.
This was a somewhat common way of considering affect as a purpose of feedback: as a secondary but essential purpose.

RQ2: 직원과 학생들은 무엇이 효과적인 피드백을 만든다고 생각하는가?
RQ2: What do staff and students think makes for effective feedback?

피드백의 목적보다 효과적인 피드백을 위해 무엇이 만들어지는지에 대해 직원과 학생이 더 의견이 갈렸습니다. 직원과 학생들이 피드백 경험을 효과적으로 만드는 것을 설명할 때, 눈에 띄는 주제는 의견의 내용, 피드백 설계의 측면 및 피드백 정보의 출처였다. 이러한 각 최상위 테마의 분포는 표 3에 나와 있습니다.
Staff and students diverged more on what makes for effective feedback than they did for the purpose of feedback. When staff and students were describing what made a feedback experience effective, the prominent themes were the content of the comments, aspects of the feedback design and the source of the feedback information. The prevalence of each of these top-level themes is shown in Table 3.

 

피드백 설계
Feedback design

앞에서 논의한 바와 같이, 피드백 문헌은 학생에게 더 나은 정보를 제공하는 것(예: 학생 업무에 대한 피드백 의견)의 초점에서 학생이 참여하는 과제와 활동의 설계(예: 학생이 두 번째 과제에서 피드백 의견을 사용하도록 요구하는 것)로 이동했다. 교육자 중 많은 수가 그들의 수업에서 피드백을 효과적으로 만드는 것으로 디자인을 언급했지만, 상대적으로 적은 수의 학생들이 디자인을 언급했습니다. 구체적인 특징은 표 4에 요약되어 있다.

As discussed earlier, the feedback literature has moved from a focus on providing better information to students (e.g. feedback comments on student work) to also consider designing the tasks and activities in which students engage (e.g. requiring students to use feedback comments from their first assignment in their second assignment). A slight majority of educators mentioned design as what made feedback in their classes effective; however, relatively few students mentioned design at all. The specific features are summarised in Table 4.

학생들과 비교했을 때, 더 많은 비율의 직원들이 디자인을 그들이 논의한 스스로 선택한 효과적인 피드백 사례를 뒷받침한다고 생각했다. 이것은 일반적으로 디자인에 적용되었고 피드백 설계의 거의 모든 특정 특징에 적용되었다. 이에 대한 한 가지 가능한 설명은 교육자들이 학생들보다 디자인에 대해 더 잘 알고 있을 수 있다는 것이다. 피드백 디자인은 교육자들에게 상당한 시간과 고려가 필요한 반면, 학생들은 디자인을 알아차리지 못하고 대신 디자인에서 만들어진 제품product에 초점을 맞출 수 있다(예: 코멘트).

Compared with students, a higher proportion of staff thought design was what supported the self-selected effective feedback instance they discussed. This was true for design in general, and for almost all specific features of feedback design. One possible explanation for this is that educators may be more aware of design than students; feedback design can take educators significant time and consideration, whereas students may not notice the design and instead focus on the products of the design (e.g. comments).

학생들은 종종 더 시기적절한 피드백을 원하는 것으로 간주되며(Li와 De Luca 2014), 교육기관에서는 특정 기간 내에 피드백 코멘트를 학생들에게 제공하도록 요구하는 것이 일반적이다. 피드백의 신속한 제공turnaround은 소수의 학생들, 그리고 10%의 교육자들에 의해 언급되었다. 그러나 피드백의 즉각적인 전환은 실제로 2차 관심사라고 주장할 수 있다. 시기적절성에 대한 가장 중요한 우려는 학생들이 다음 과제를 수행할 때 제때 피드백 정보를 이용할 수 있다는 것이다. 피드백 정보를 학생이 필요로 할 때 이용할 수 있는 형태의 적시성은 학생들에 의해 언급되지 않았고, 매우 적은 수의 직원들에 의해 언급되었다. 우리는 후속 작업을 위한 피드백 코멘트의 적시 제공 여부를 피드백이 전혀 발생하지 않는 근본적인 요구 사항으로 간주할 것이며, 이 테마의 상대적 희소성은 이 견해를 많은 학생과 교육자가 보유하고 있지 않거나, 애초에 언급할 가치가 없다고 간주함을 시사한다.
Students are often regarded as wanting more timely feedback (Li and De Luca 2014), and it is common for institutions to require feedback comments be provided to students within a particular timeframe. Prompt turnaround of feedback was mentioned by a very small number of students, and 10% of educators. However, we would argue that prompt turnaround of feedback is actually a second-order concern; the most important concern for timeliness is that feedback information is available to students in time for them to undertake the next task. Timeliness in the form of feedback information being available when the student needs it was not mentioned by students, and was mentioned by a very small number of staff. We would regard the availability of feedback comments in time to do subsequent work as a fundamental requirement for feedback to occur at all, and the relative scarcity of this theme suggests this view is either not held by many students and educators, or it is perhaps so taken-for-granted that it was not considered worth mentioning.

피드백의 또 다른 당연시되는 특징은 피드백이 반복적이거나 연결되어야 한다는 것이다. 학생들은 한 과제에서 다음 과제로 개선을 입증할 수 있는 방식으로 구성된 과제를 가져야 한다(Boud and Molloy 2013). 효과적인 피드백의 특징으로 이를 언급한 교육자와 학생은 거의 없었다. 학생들이 이 주제를 언급할 때, 그들은 피드백이 동일한 과제에 대한 반복적인 시도, 유사한 과제에 대한 반복적인 시도, 과제들을 조각으로 나누어 피드백이 산재된 것, 또는 개선된 제출에 대한 피드백에 따른 피드백에 의해 효과적으로 만들어졌다고 말했다. 그러나 상대적으로 적은 수의 학생들에 의해 언급되었음에도 불구하고, 그 학생들 중 몇 명은 그들의 특정한 피드백 사례를 효과적으로 만드는 유일한 특징으로 이것을 언급했다. 마찬가지로, 수업에서 효과적인 피드백의 특징으로 반복적이거나 연결된 과제를 언급한 많은 직원의 경우, 데이터에서 이 주제가 유일한 주제였다.

Another potentially taken for granted feature of feedback is that it needs to be iterative or connected; students need to have tasks structured in such a way that they can demonstrate their improvement from one task to the next (Boud and Molloy 2013). Few educators and fewer students mentioned this as a feature of effective feedback. Where students mentioned this theme, they said feedback was made effective either by repeated attempts at the same task, repeated attempts at similar tasks, tasks split into pieces and interspersed with feedback, or in-class feedback followed by feedback on an improved submission. However, despite being mentioned by relatively few students, several of those students mentioned this as the only feature that made their specific instance of feedback effective. Similarly, for many of the staff who mentioned iterative or connected tasks as a feature of effective feedback in their classes, this was the only theme found in their data.

일부 특정 피드백 설계 기능은 최근 몇 년 동안 피드백 문헌에서 인기를 끌었다. 특히 동료 피드백, 예시 및 피드백 조정의 사용 등이 그것이다. [동료 피드백의 거의 부재]는 우리의 맥락 내에서 동료 피드백을 일부 사용하는 것을 알고 있지만 학생과 교육자의 이러한 접근 방식에 대한 저항도 알고 있기 때문에 잠재적으로 놀랍지 않다. (Liu 및 Carless 2006; Tai 외 2016; Adachi, Tai 및 Dawson 2018) [모범적 접근법]의 부재는 교육자와 학생들이 피드백 프로세스의 일부로 보지 않는 모범적 접근법으로 설명될 수 있다. 모범적 접근법은 피드백 마크 2(Boud and Molloy 2013)와 같은 모델과 호환되지만, 일상적인 교육자나 학생의 피드백 정의에는 맞지 않을 수 있다. [피드백 조정]에 대한 코멘트가 부족한 것은 이 과정이 학생들에게 거의 보이지 않거나 상대적으로 니치 프락티스이기 때문일 수 있다. 

Some specific feedback design features have gained popularity in feedback literature over recent years; in particular peer feedback, the use of exemplars and feedback moderation. The near absence of peer feedback is potentially unsurprising, as although we are aware of some use of peer feedback within our contexts, we are also aware of resistance to these approaches from students and educators (Liu and Carless 2006; Tai et al. 2016; Adachi, Tai, and Dawson 2018). The absence of exemplar approaches may be explained by exemplars not being viewed by educators and students as part of feedback processes; although exemplars are compatible with models like Feedback Mark 2 (Boud and Molloy 2013), they may not fit within everyday educator or student definitions of feedback. We suspect the lack of comments about feedback moderation (the review of educator feedback comments by other educators, as described in Broadbent, Panadero, and Boud 2018) may be due to this process being largely nonvisible to students, or it being a relatively niche practice.

학생들이 가장 많이 언급한 설계 요소는 양식, 즉 피드백 정보가 제공되는 형태와 관련이 있습니다. 이러한 논평은 특정 양식의 인식된 수용성과 관련된 경향이 있었다. 즉, 

• 루브릭스는 '정확한' 또는 '상세적인' 것으로 기록되었고, 
• 디지털 녹음은 '이해하기 쉬운' 또는 더 많은 양이었으며, 
• 대면 피드백은 개인화되고 철저했다. 

자동화된 소스(예: 형성적 객관식 퀴즈)에 대한 학생들의 의견 부족은 아마도 놀랍다. 그러나, 이것은 이러한 소스가 효과적이지 않다는 것을 의미하는 것이 아니다. 그것은 단지 그것들이 이러한 학생들에게 가장 효과적인 최근 피드백 경험의 일부가 아니었다는 것을 의미한다(또는 잠재적으로 피드백으로 간주되지 않는다).
The design elements most mentioned by students related to modalities – that is, the forms in which feedback information was provided. These comments tended to relate to the perceived affordances of particular modalities:

• rubrics were noted as ‘accurate’ or ‘detailed’;
• digital recordings were ‘easy to understand’ or more voluminous;
• face-to-face feedback was personalised and thorough.

The lack of comments from students around automated sources (e.g. formative multiple-choice quizzes) is perhaps surprising. However, this does not imply these sources are ineffective; it merely implies they were not a part of the most effective recent feedback experience for these students (or, potentially, are not considered to be feedback as such).

본 논문에서 채택된 피드백의 개념화 내에서, 코멘트는 학생들이 적극적으로 사용할 때까지 '데이터를 물고 늘어지는 것'(Sadler 1989, 페이지 121)이다. 피드백을 효과적으로 만드는 것 중 직접적으로 [학생들의 역할]을 언급한 교육자와 학생은 매우 소수였다. 예를 들어, 한 교육자는 이러한 디자인의 측면이 피드백을 효과적으로 만드는 것이라고 말했다.

Within the conceptualisation of feedback adopted in this paper, comments are ‘dangling data’ (per Sadler 1989, p. 121) until they are actively used by students. A small number of educators and a very small number of students directly referred to students taking an active role as what had made feedback effective. For example, one educator said that this aspect of design was what made feedback effective:

학생들은 에세이 초안에 대해 매우 상세한 코멘트를 받았다. 그들은 최종 초안과 초안에 대한 의견을 설명/정당하게 하는 성찰적인 내용을 작성해야 했다.
Students were given very detailed comments on an essay draft. They were required to produce a final draft, and a reflective piece that explained/justified their response to comments on their draft.

 

피드백 루프를 완료하여 피드백의 자격을 갖추기 위해 피드백을 제정해야 한다는 것이 점점 더 받아들여질 수 있지만, 학생들을 피드백의 행위자로 만든 설계의 상대적 부족은 다소 놀라웠다. 또한, 이 테마의 데이터가 학생들이 활동적인 것을 반영했지만, 일반적으로 피드백 추구와 같은 대리인, 학생 주도적인 관행을 설명하지는 않았다.
While it may be increasingly accepted that feedback needs to be enacted in order to complete the feedback loop and thus qualify as feedback, the relative scarcity of designs that made students the actors in feedback was somewhat surprising. In addition, although data in this theme reflected students as active, it did not usually describe agentic, student-driven practices such as feedback-seeking.

피드백 코멘트
Feedback comments

학생 응답에서 확인된 가장 일반적인 최상위 테마는 [양질의 '피드백 정보']가 효과적인 피드백의 일부라는 것이었다. 이는 학생들이 가장 원하는 피드백의 특징 중 일부가 '개인적이고, 설명할 수 있고, 준거-참조적이고, 객관적이고, 추가 개선에 적용할 수 있다'는 점에 주목한 Li와 De Luca의 2014년 체계적 검토 결과와 일치한다(390쪽). 하지만, 우리는 상대적으로 적은 수의 교육자들이 피드백 정보의 질을 언급하는 것을 보고 놀랐습니다. 교육자와 학생이 언급한 피드백 코멘트의 구체적인 특징은 표 5에 요약되어 있다.

By far the most common top-level theme identified in student responses was that high-quality ‘feedback information’ is part of effective feedback. This aligns with findings from Li and De Luca’s (2014) systematic review that noted some of the features of feedback most desired by students were that it was ‘personal, explicable, criteria-referenced, objective, and applicable to further improvement’ (p. 390). However, we were surprised to see that the quality of feedback information was mentioned by proportionally fewer educators. The specific features of feedback comments noted by educators and students are summarised in Table 5.

 

코멘트에 대한 데이터에서 가장 두드러진 주제는 학생들은 '사용가능한' 코멘트를 효과적으로 보았다는 것이다. 본 논문에서 채택된 피드백의 개념화를 고려할 때, 그러한 진술은 근본적이거나 심지어 동조적으로 들릴 수 있다. 그러나 그 보급률을 감안할 때, 학생의 관점에서 효과적인 피드백에 있어 가장 일반적인 활성화 요소는 [개선되어야 할 사항을 전달하는 것]이었다는 것을 강조할 필요가 있다. 이것은 보통 학생들의 공부나 이해도 향상으로 표현되지만, 일부 학생들은 학습 전략 향상에 초점을 맞춘 피드백도 효과적이었다고 언급했다.
The most prominent theme in the data about comments is that students found usable comments effective. Given the conceptualisation of feedback adopted in this paper, such a statement may sound fundamental or even tautological. However, given its prevalence, it is worth emphasising that the most common active ingredient in effective feedback from the student perspective was communicating what needs to be improved. While this was usually expressed in terms of improvements to the students’ work or understanding, some students also mentioned that feedback which focused on improvements to learning strategy was also effective.

그 다음으로 학생들이 가장 많이 생각하는 코멘트 내용은 피드백이 상세하고 구체적이거나 철저해야 한다는 것이었다. '자세한 피드백'을 언급한 많은 학생들에게는, 이것이 피드백을 효과적으로 만드는 유일한 특징이었다. 관련되어있지만, 덜 흔한 주제는 피드백이 명확하고, 집중적이고, 정확해야 하며, 직접적이어야 한다는 것이었다. 
The next most prevalent theme for students in terms of the content of comments was that feedback needs to be detailed, specific or thorough. For many students who mentioned detail, it was the sole feature that made their instance of feedback effective. A related, less common theme was that feedback needed to be clear, focused, precise or direct.

일부 학생들은 자신의 피드백 경험이 개인화되거나 개인화됨으로써 효과적이라고 언급했다. 이러한 설명은 용어의 의미에 대한 설명 없이 '개인화'와 같은 용어를 자주 사용했기 때문에 분석하기 어려운 것으로 밝혀졌다. 이 설문 조사의 일부 응답을 명확히 하기 위해 수행된 탐색적 포커스 그룹에서 우리는 학생들에게 '개인화'라는 용어가 무엇을 의미하는지 물었고, 우리는 학생들이 평가자가 실제로 자신의 과제물을 읽고, 이에 대해 구체적으로 언급할 때 피드백을 개인화했다고 생각하는 일관된 응답을 받았다. 코호트의 작업에 대한 일반적인 피드백 정보를 받는 것에 반대된다. 이를 바탕으로, 우리는 개별화된 주제와 개인화된 주제를 분리할 수 없는 것으로 간주한다. 그러나 우리는 그것이 조사 데이터에서 독립적인 것으로 보았기 때문에 여기서 그것들을 구별되는 코드로 보고한다. 대조적으로, 일반적인 피드백 의견(개인화된 피드백의 반대)이 효과적이라는 것을 발견한 소수의 학생과 교직원도 있었다. 

Some students mentioned that their feedback experience was made effective by being personalised or individualised. These descriptions proved difficult to analyse as they often used a term like ‘personalised’ without explanation of what the term meant. In exploratory focus groups conducted to clarify some responses from this survey, we asked students (n = 28) what the term ‘personalised’ meant to them, and we received the consistent response that students thought feedback was personalised when they felt the assessor had actually read their work and was making comments specifically about it – as opposed to receiving generic feedback information about the cohort’s work. Based on this, we consider the individualised and personalised themes to be perhaps inseparable; however, we report them as distinct codes here because that was what we saw in the survey data as standalone. In contrast, there was also a small set of students and staff who found generic feedback comments (the opposite of personalised feedback) effective.

소수의 학생들은 자신의 작품에 대한 코멘트가 친절하고 긍정적이거나 건설적이거나 지지적이거나 격려적이거나 동기부여가 되는 광범위한 감성적인 특징 덕분에 최근의 효과적인 피드백 경험이 효과적이라고 말했다. 이 두 가지 주제를 논의한 소수의 학생들에게는 이 주제만이 언급되었지만, 대부분의 학생들에게는 이 주제들이 다른 특징들과 함께 언급되었다. 
A small number of students indicated that their recent effective feedback experience was made effective thanks to broadly affective features of the comments made about their work: the comments were nice, positive or constructive, or supportive, encouraging or motivating. For a substantial minority of students who discussed either of these themes it was the only theme mentioned; however, for most students these themes were mentioned alongside other features.

Li와 De Luca(2014)의 검토와 평가 판단에 대한 최근 작업(Tai 등)을 바탕으로, 우리는 스태프와 그보다 덜한 범위의 학생들이 표준이나 기준을 참조하는 의견을 가치 있게 여길 것으로 예상했다. 다른 질적 연구의 학생 참여자(예: Poulos와 Mahony 2008)는 종종 피드백의 효과적인 기준점으로 '준거criteria'를 언급했다. 놀랍게도, 우리 연구에서 이러한 특징을 언급한 직원이나 학생은 매우 적었고, 피드백 설계에서 루빅 양식 하위 테마를 다시 확인했을 때도 표준이나 기준에 대한 명시적인 언급이 거의 없었다. 지속 가능한 피드백(Carless et al. 2011) 또는 피드백 마크 2(Boud and Molloy 2013)와 같은 정교한 피드백 모델은 [해당 표준에 대한 학생의 이해를 높이기 위해 표준을 명시적으로 참조하는 피드백]에 일부 의존한다. '기준Standard'이 많은 직원과 학생들에게 효과적인 피드백 경험의 특징이 아니었다는 것은 우려스럽다. 대부분의 학생들은 개선 방법을 식별한 코멘트를 언급했지만, 그러한 개선의 기준점을 언급한 학생은 거의 없었다.

Based on Li and De Luca’s (2014) review, as well as recent work on evaluative judgement (Tai et al. forthcoming), we expected that staff, and to a lesser extent students, would value comments that made reference to standards or criteria. Student participants in other qualitative studies (e.g. Poulos and Mahony 2008) often mentioned criteria as an effective reference point for feedback. To our surprise, very few staff or students in our study mentioned these features, and even when we re-checked the rubric modality subtheme from feedback design, there was little explicit mention of standards or criteria. Sophisticated feedback models like sustainable feedback (Carless et al. 2011) or Feedback Mark 2 (Boud and Molloy 2013) are dependent in some part on feedback that makes explicit reference to standards, in order to develop student understanding of those standards; it is concerning that standards were not a feature of effective feedback experiences for many staff and students. Most students mentioned comments that identified how to improve, but few mentioned the reference point for those improvements.

전문직 정체형 형성을 촉진하기: 코칭 대 역량(Acad Med, 2020)

Coaching Versus Competency to Facilitate Professional Identity Formation
Adam P. Sawatsky, MD, MS, Brandon M. Huffman, MD, and Frederic W. Hafferty, PhD

"실패가 선택지에 없다면, 우리는 배움, 창의력, 혁신을 잊을 것이다." -브레네 브라운, 대어링 그레이트: 연약해지기 위한 용기가 우리가 살아가는 방식, 사랑, 부모, 리드1을 변화시키는 방법
“When failure is not an option we can forget about learning, creativity, and innovation.” ―Brené Brown, Daring Greatly: How the Courage to Be Vulnerable Transforms the Way We Live, Love, Parent, and Lead1

나는 매치데이에 레지던트 업무실에 들어갔다.* 내년에 주민들이 펠로우십을 어디로 향할지 기대가 컸다. 주민들이 환자 차트를 스캔하고 그날 경과 노트를 끝내자 컴퓨터가 줄지어 있는 병실은 아수라장이었다. 시니어 레지던트 중 한 명의 등을 두드렸어요. 그녀는 돌아서서 쭈뼛쭈뼛한 표정을 지으며 내 혀끝에서 질문을 하지 말라고 눈짓으로 부탁했다. 그날 그녀가 이미 너무도 고통스럽게 대답한 질문이었다. 나는 어쩔 수 없이 돌아서서 걸어갔다. 나는 나중에 그녀가 하위 전문 펠로우쉽에 매칭이 되지 않았다는 것을 알았다.
I entered the resident work room on Match Day.* I was excited to see where the residents were headed for fellowship next year. The room, lined with computers, was abuzz as residents scanned patient charts and finished progress notes for the day. I tapped one of the senior residents on the back. She turned and looked crestfallen, bidding me with her eyes not to ask the question on the tip of my tongue. It was a question that she had painfully answered too many times already that day. I obliged, turned, and walked away. I found out later that she had not matched into a subspecialty fellowship.

나는 레지던트 생활 동안 그녀와 정기적으로 함께 일했었다. 레지던트 연속성 클리닉에서 환자를 소개할 때, 그녀는 정기적으로 질문을 하고, 성장의 기회를 쉽게 인정하며, 진정으로 배움에 참여했습니다. 그녀는 주치의들에게 자신감과 결단력을 발휘하기 위해 그것을 피하기보다는 불확실성을 인정하고 포용하면서 환자들을 위한 사려 깊은 치료 계획을 제시했다. 어느 순간, 그녀는 제 사무실에 들러 환자 치료를 지연시킨 실수를 한 사건에 대해 논의했고, 개선을 위한 피드백을 구하고, 그 상황에서 비롯된 죄책감에 대해 논의했습니다. 시니어 레지던트가 되면서, 그녀는 1학년 레지던트들과 의대생들의 질문에 기꺼이 "모른다"고 대답하고 그들의 질문에 대한 답을 찾는 데 참여했습니다. 이러한 자질들이 의심할 여지 없이 그녀가 훌륭한 의사로 성장하도록 도왔지만, 저는 이러한 자질들을 진실로 보여주는 것이 펠로우 매치에서 그녀에게 상처를 입혔을지도 모른다고 생각하지 않을 수 없었습니다. 나는 그녀가 직업적 정체성의 발전과 그녀의 미래 경력에 실질적인 결과를 가져온 공식적인 평가 시스템 사이에 끼어있는 것을 보았다.

I had worked with her regularly during residency. When presenting patients in resident continuity clinic, she regularly asked questions, readily admitted opportunities for growth, and genuinely engaged in learning. She presented thoughtful treatment plans for her patients while acknowledging and embracing uncertainty, rather than avoiding it in an attempt to exude confidence and decisiveness to her attending physicians. At one point, she stopped into my office to discuss a case where she had made an error that delayed care for a patient, seeking feedback for improvement and discussing the guilt she experienced that resulted from the situation. As she became a senior resident, she was willing to say “I don’t know” to questions from first-year residents and medical students and engage with them in finding the answers to their questions. While these qualities had undoubtedly facilitated her growth into the excellent doctor that she was, I could not help but think that authentically presenting these same qualities may have hurt her in the fellowship match. I saw her as being caught between the development of her professional identity and a formal assessment system that had real consequences for her future career.

우리가 이렇게 접한 많은 이야기들은 의학 교육에서 직업적 정체성 형성의 복잡성에 대해 성찰해 볼 것을 간청했다. 이 관점에서는 의료 교육에서 직업적 정체성 형성의 이상적인 과정, 현재의 의료 교육 환경 내에서 이러한 이상적인 과정을 구현하기 위한 도전, 그리고 앞으로 나아갈 수 있는 잠재적인 단계들에 대해 논의할 것이다.

The many stories we have encountered like this implored us to reflect on the complexities of professional identity formation in medical education. In this Perspective, we will discuss the ideal process of professional identity formation in medical education, the challenge to implementing this ideal process within the current medical education environment, and potential steps forward.

직업적 가치, 행동, 포부를 개발하는 데 초점을 맞춘 직업적 정체성 형성은 의학 교육의 이상적인 목표이다. 자비스-셀링거와 동료들은 의학 교육에서 전문직 정체성 형성에 대한 논의를 "두 가지 수준에서 동시에 일어나는 적응적이고 발달적인 과정"이라고 강조함으로써 틀을 잡았다. 

• (1) 개인의 수준에서, 그것은 그 사람의 심리적인 발달과 관련이 있다. 
  
• (2) 집단적 수준에서, 공동체 활동에 참여하는 적절한 역할과 형태로 개인의 사회화를 수반한다. 

Professional identity formation, with its focus on the development of professional values, actions, and aspirations, is the ideal goal of medical education.2 Jarvis-Selinger and colleagues framed the discussion of professional identity formation in medical education by highlighting that it is “an adaptive, developmental process that happens simultaneously at two levels:

• (1) at the level of the individual, which involves the psychological development of the person and
• (2) at the collective level, which involves a socialization of the person into appropriate roles and forms of participation in the community’s work.”3 

크루스(Cruess)와 동료들은 인지 심리학(즉, 개인 정체성 형성의 단계)과 사회학(즉, 위치 학습과 실천 공동체에 대한 벵거의 연구)의 작업을 통합하여, 의사의 직업적 정체성을 형성하는 과정을 위한 모델을 제안했으며, 이에 따르면 기존의 개인적 정체성을 가진 비전문가는, 필요한 지식, 기술, 태도를 의식적으로 그리고 무의식적으로 습득함으로써, 전문직 공동체 내에서의 경험에 참여하고, 그 결과 의사처럼 생각하고, 행동하고, 느끼는 전문직이 된다.

Cruess and colleagues, incorporating work from cognitive psychology (i.e., Kegan’s stages of personal identity formation4) and sociology (i.e., Wenger’s work on situated learning and communities of practice5), have proposed a model for the process of shaping a physician’s professional identity, wherein a layperson with an existing personal identity engages in experiences within the professional community through conscious and unconscious acquisition of the knowledge, skills, and attitudes needed to become a professional who “think[s], act[s], and feel[s] like a physician.”6

Cruess와 동료들은 실천 공동체 이론이 의학교육의 기본 프레임워크가 될 수 있는지를 설명했다. 의학교육은 개인이 합법적인 주변 참여에서 전문직의 온전한 성원full membership으로 전환되는 과정을 상세히 설명하는 전문적 정체성 형성 과정임을 주장했다. 이 틀에서, 직업의 활동에 참여함으로써, 초보자가 받아들여지고 공동체의 일부가 되는 동시에 공동체의 공유된 이상을 떠맡게 된다.

Cruess and colleagues have further advocated that the theory of communities of practice could serve as a foundational framework for medical education, including curricular, instructional, and assessment practices, and the process of professional identity formation that details how an individual would move from legitimate peripheral participation to full membership in the profession.7 In this framework, by engaging in the activities of the profession, a novice is accepted and becomes part of the community, while taking on the shared ideals of community.

의료 교육에 대한 접근법과 직업적 정체성 형성 과정을 실천 공동체 이론에서 구체화하는 것은 학습자에게 시사하는 바가 있다. 예를 들어, 실천하는 공동체의 일원이 되기 위해 학습자들은 먼저 공동체의 활동에 참여하고, 공동체의 일원으로서 자신을 상상하고, 공동체의 가치에 맞춰야 하는 식별이라는 과정에 들어가야 한다. 학습자의 정체성은 실천공동체를 거쳐가면서 형성되며, 이는 종종 학습자의 [개인적 정체성], [전문직업적 정체성], [전문직 공동체] 사이의 긴장을 유발합니다.8 위의 이야기에서 이러한 긴장감은 학습자의 개인적·전문적 성장에 대한 욕구와 학습자의 성장과 발전을 위한 전문가 커뮤니티의 평가 활용, 그리고 다음 단계의 훈련으로 진출할 사람을 선택하는 수단에서 나타났다. 이러한 긴장 때문에, 전문적인 정체성 형성 과정에는 종종 실패의 경험과 강렬한 감정이 수반됩니다.8 

Framing the approach to medical education and the process of professional identity formation in the theory of communities of practice has implications for learners. For example, to become part of a community of practice, learners must first enter into a process called identification, which requires engaging in the activities of the community, imagining themselves as part of the community, and aligning with the values of the community.8 A learner’s identity is shaped as they move through the community of practice, which often generates tensions between the learner’s personal identity, professional identity, and professional community.8 In the story above, this tension was manifested in the learner’s desire for personal and professional growth and the professional community’s use of assessment for learner growth and development and as a means for choosing who to advance to the next level of training. Because of these tensions, the process of professional identity formation will often involve experiences of failure and intense emotions as learners navigate these tensions.8 

그렇다면, 의학 교육에서 전문적인 정체성 형성은 어떻게 함양되어야 하는가? 우리는 [코치]가 의학 교육에서 전문직 정체성 형성을 촉진하는 이상적인 수단을 제공한다고 믿는다. Watling과 LaDonna는 코칭에 대한 질적 연구를 통해 임상 코칭의 핵심 측면을 코치와 학습자가 공유하는 몇 가지 철학으로 개념화했습니다.

• 인간의 잠재력을 끌어내기unlock 위한 목적을 가지고, 성장과 발전을 향한 상호 지향
  
• 성찰을 가치있게 여기고, 성장을 지속하기 위한 지속적 성찰을 육성
  
• 실패를 포용하고, 실패를 통한 학습의 가치를 지지

So, how should professional identity formation be fostered in medical education? Coaching, we believe, provides an ideal means for promoting professional identity formation in medical education. Through their qualitative work on coaching, Watling and LaDonna conceptualized the core aspects of clinical coaching as several philosophies that are shared by the coach and the learner:

1. Mutual orientation toward growth and development, with the purpose of unlocking human potential,
2. Valuing reflection and nurturing continuous reflection in the learner to maintain growth, and
3. Embracing failure and endorsing the learning value of failure.10

코칭은 학습자가 직업적 정체성 형성에 큰 영향을 미치는 모든 요소인 역할 모델, 멘토, 경험, 성찰과 정기적으로 참여할 수 있는 기회를 제공한다. 코칭에는 상호 참여와 파트너십, 개인의 성장에 대한 헌신, 취약성을 수용하고, 학습자에게 "잘 실패"하도록 가르치는 의미가 담겨 있습니다. 이와 같이 코칭은 전문직 정체성 형성에 학습자를 참여시키기에 매우 적합합니다. 학습자는 자신의 개인적 정체성, 직업적 정체성, 직업적 공동체 사이에서 직면하는 긴장을 받아들이고 경험에 참여하고 의사로서 자신에게 필요한 지식, 기술 및 태도를 배우면서 이러한 긴장과 결과적 감정을 임상 코치와 함께 처리할 수 있습니다. 우리는 코칭이 의학 교육에서 전문적인 정체성 형성을 촉진하기 위한 이상적인 환경을 제공한다고 믿지만, 의학 교육에서 코칭을 구현하는 데는 어려움이 있다.

Coaching provides the opportunity for learners to regularly engage with role models, mentors, experiences, and reflection, all factors that have a large impact on professional identity formation.6,11 Coaching carries a connotation of mutual engagement and partnership, of dedication to the growth of an individual, and of embracing vulnerability and teaching the learner to “fail well.”10 As such, it is well suited for engaging learners in professional identity formation. Learners can embrace the tensions that they face between their personal identity, professional identity, and professional community and process these tensions and the resulting emotions with their clinical coaches as they engage with experiences and learn the knowledge, skills, and attitudes that are required of them as a physician. While, we believe, coaching provides an ideal setting to foster professional identity formation in medical education, there are challenges to implementing coaching in medical education.

전문직 정체성 형성을 긍정적으로 촉진하는 환경을 조성하기 위해서는 공동체의 모든 구성원이 다음을 하는 것이 중요하다.

• 직업의 이상을 명확히 정의하고 
• 학습자를 환영하는 공동체를 만들고, 
• 학습자가 완전한 참여로 가는 여정에 참여시키고, 
• 전문직 정체성 형성에 영향을 미치는 주요 요인들을 명확하게 다루는 것 

To create an environment that positively fosters professional identity formation, it is crucial that full members of the community

• clearly define the ideals of the profession,
• create a welcoming community for learners,
• engage learners in their journey to full participation, and
• “explicitly address the major factors influencing professional identity formation.”7 

의료계는 직업적 정체성 형성의 과정을 뒷받침하는 [직업적 이상professional ideals]을 명확히 정의하려고 노력해왔다. 예를 들어, 의료 교육의 원하는 결과는 특히 대학원 의료 교육 인증 위원회(ACGME)와 CanMEDS의 의사 역량 프레임워크에 의해 명시되었다.

The medical community has sought to clearly define the professional ideals that underpin the process of professional identity formation. For example, the desired outcomes of medical education have been specified, most notably by the Accreditation Council for Graduate Medical Education (ACGME)12 and CanMEDS13 physician competency frameworks.

이러한 역량 프레임워크는 의료 교육의 목표를 명시적으로 개괄적으로 설명하고, 전문가가 어떻게 보여야 하는지를 정의하며, 커리큘럼 개발 및 학습자 평가에 대한 지침을 제공한다. 프레임워크가 개략적으로 설명하는 역량은 학습자가 교육을 진행하면서 여러 번 정기적으로 평가하는 강력한 평가 프로그램을 위한 구조를 제공합니다. 예를 들어, ACGME는 거주자와 동료에게 투명한 성과요건을 제공하고, 전공의와 펠로우 평가에 대한 프레임워크를 제공하며, 인증기관과 인증위원회에 대한 보고를 개선하기 위해 이정표 평가를 도입하였다. 

These competency frameworks explicitly outline the goals of medical education, define what a professional should look like, and provide guidelines for curriculum development and learner assessment.14 The competencies the frameworks outline provide a structure for robust programs of assessment with multiple and regular assessments of learners as they progress through their training. For example, the ACGME instituted milestone assessments to provide transparent performance requirements for residents and fellows, provide a framework for resident and fellow assessments, and improve reporting to accrediting bodies and certification boards.15

직접적인 관찰과 공식적인 평가, 수많은 서면 평가와 함께 역량 기반 의료 교육(CBME)을 추진하는 것이 교육생들에게 어떤 영향을 미쳤는가? CBME의 이상은 전문적인 성장을 지원하기 위한 학습자에 대한 정기적인 저부담 평가입니다. 그럼에도 불구하고, 전공의는 모든 관찰을 평가로 보는 경향이 있으며, 자신의 성과에 대한 일부 및 모든 측면이 "공식 평가, [그들의] 영구 기록, 심지어 훈련이나 경력 증진"에 영향을 미칠 수 있다고 의심한다. 이와 같이, 영구적인 서면 평가와 결합할 경우 낮은 평가도 종종 거주자들에게 높은 이해 관계로 인식되어 교수진과의 상호작용을 형성한다.

How has this push for competency-based medical education (CBME), with increased direct observations and formal assessments and numerous written evaluations, affected trainees? The ideal of CBME is regular low-stakes programmatic assessments of learners that support professional growth.16 Nonetheless, residents tend to view all observation as assessment and suspect that any and all aspects of their performance have implications for “formal assessment, [their] permanent record, and even their training or career advancement.”17 As such, even low-stakes assessments, if coupled with permanent written evaluations, are often perceived by residents as high stakes and thus shape their interactions with faculty members.

실천 공동체의 렌즈는 의료계에 사회화 과정의 개요를 제공하지만, 이 난제를 설명하는 것은 불충분하다. 그 대신에, 공식적인 평가가 직업적 정체성 형성에 어떻게 영향을 미치는지 탐구하기 위한 더 확실한 렌즈를 제공할 수 있는 다른 이론들이 있다. Goffman은 그의 작품인 "일상생활에서의 자아 표현"에서 인상관리 이론을 제시한다. 여기에 따르면, [한 사람이 타인의 존재presence로 들어갈 때, 상황과 자신에게 기대되는 것을 이해하려 한 뒤, 그 정보를 그 상황 내의 다른 사람들로부터 특정한 반응을 얻을 수 있는 방식으로 행동하기 위해 사용]한다. 또한 [개인이 염두에 두고 있는 특정 목표나 그 목표를 갖게 된 동기에 상관없이, 다른 사람들의 행동, 특히 그에 대한 그들의 반응적인 대우responseive treatment를 통제하는 것이 더 이익에 부합할 것]이라고 썼다

While the communities of practice lens provides an overview of the process of socialization into the medical profession, it is inadequate to explain this conundrum. Alternatively, there are other theories that can provide a more telling lens for exploring how formal assessment influences professional identity formation. Goffman, in his work, The Presentation of Self in Everyday Life, presents his theory of impression management, which holds that when people enter into the presence of others, they seek to understand the situation and what is expected of them and use that information to act in a manner that will get certain responses from the other people within the situation.18 He writes that “regardless of the particular objective which the individual has in mind and of his motive for having this objective, it will be in his interests to control the conduct of the others, especially their responsive treatment of him.”18 

이러한 관점에서 [공식적인 평가]는 두 개의 팀(즉 수행자로서의 학습자 vs 그 수행에 대한 청중으로서의 교수진)으로 구성됩니다. 의학 교육에서 이러한 성과를 보여주는 몇 가지 예가 있다. 많은 과에서 전공의들은 관찰이 등급화되고 그 등급이 그들의 경력 발전에 영향을 미칠 것이라고 생각했기 때문에 관찰할 때 정기적으로 [공연staged a performance]을 했다. 외과 수련에서 레지던트들은 종종 그들의 주치의들을 위해 자신감과 결단력을 보여주기 위해 공연을 한다. 인상을 관리함으로써, 전공의들은 긍정적인 평판을 쌓고, 상사의 평가를 형성하고, 더 많은 배움의 기회를 얻기를 희망할 수 있다. 레지던트들은 또한 인상 관리를 잘 하지 못하면, 자신의 교육과 웰빙이 저해받고, 궁극적으로 환자 치료에도 영향을 미칠 수 있다는 것을 인식한다.19 우리의 경험에 따르면 레지던트들은 종종 그들의 진료에서 더 큰 자율성을 얻기 위한 자신감 있는 척 연기를 한다.

From this perspective, formal assessment sets up 2 teams—the learner as a performer and the faculty member as an audience to the learner’s performance.18 There are several examples of this performance in medical education. Residents across specialties at one institution regularly staged a performance when observed because that observation was graded and they thought that grade would have consequences for their career advancement.17 In surgical training, residents often put on a performance for their attending physicians, attempting to display confidence and decisiveness.19 By managing impressions, residents may hope to build a positive reputation, shape their supervisor’s evaluations, and attain more learning opportunities; residents may also recognize that impression management hinders their education and wellness, and ultimately may impact patient care.19 In our experience, based on our work in internal medicine, residents often stage a performance to portray confidence to gain greater autonomy in their practice.

또한, 고프만은 공연이 이뤄지는 프론트스테이지를 설명한다. 프론트 스테이지에서는 "활동의 일부 측면이 표현적으로 강조되고 육성된 인상을 훼손할 수 있는 다른 측면은 억압됩니다." 따라서 "억압된 사실들이 등장하는" 백스테이지도 있다. 백스테이지(Backstage)는 학습자가 자신의 프론트스테이지 공연을 연습하는 공간으로서, 불확실성이 자주 드러나고, 프론트스테이지 공연에서는 보여지지 않는 공간이다. 프론트 스테이지 공연의 예로는 레지던트가 주치의에게 라운드 방식으로 정식으로 사례발표를 하고, 백스테이지에서는 레지던트가 선배 레지던트와 사례발표를 통해 사건의 세부내용을 해결하는 것이다.

Further, Goffman describes the frontstage where the performance occurs; in the front stage, “some aspects of the activity are expressively accentuated and other aspects, which might discredit the fostered impression, are suppressed.”18 There is also the backstage “where the suppressed facts make an appearance.”18 The backstage is where learners can work out their frontstage performances; it is a place where their uncertainty is often manifested and can remain hidden from the frontstage performance. An example of a frontstage performance is a resident’s formal case presentation to the attending on rounds, while in the backstage, the resident had talked though the case with a senior resident to work out the details of the case.

이러한 이론적 틀을 고려할 때, 의료 교육자는 환자가 사례를 제시하고 상사와 임상 결정을 논의할 때 공식적인 평가가 레지던트의 전면 단계 성과를 어떻게 형성할 수 있는지 확인할 수 있다. 공식 평가의 보편적 특성, 역량의 명시적 목표, 서면 평가의 인지도가 높은 특성 때문에, 교수 앞에서 레지던트 수행의 목표는 종종 모든 평가 영역에서 역량을 보여주고 평가 점수를 낮출 수 있는 약점을 숨기는 것이다. 따라서 현재의 CBME 중심의 의료 교육 환경에서 [실천공동체의 게이트키퍼]는 무의식적으로 학습자가 인지한 약점을 숨기도록 동기를 부여할 수 있는 시스템을 구축하여, 결국 개인적, 직업적 정체성 형성에 부정적인 영향을 미치게 된다. 이 시스템에서 역량은 더 이상 훈련의 최종 목표로 여겨지지 않는다.
Given this theoretical framing, medical educators can see how formal assessment may shape the frontstage performance of residents when they present cases and discuss clinical decisions with their supervisors. Because of the ubiquitous nature of formal assessment, the stated goal of competence, and the perceived high-stakes nature of written evaluations, the goal of residents’ performances in front of faculty members is often to portray competence in all assessment domains and hide any weakness that might get them a lower evaluation score. Therefore, within the current CBME-driven medical education environment, community of practice gatekeepers unwittingly set up a system that may incentivize learners to hide their perceived weaknesses, negatively affecting their personal and professional identity formation, a system in which competency is no longer seen as the end goal of training but is the perceived goal of every observation encounter.

그렇다면 이것이 의학 교육계를 어떻게 만들까요? 학습 평가와 CBME 내 학습 평가 사이의 상계 긴장 속에서 의료 교육자들은 "전문적 가치, 행동 및 포부의 개발인 전문직 정체성 형성이 의료 교육의 주요 초점이 되어야 한다"고 진정으로 믿고 있는가? 만약 그렇다면, 의학 교육은 현재의 평가 모델을 전문적인 정체성 형성을 지원하는 모델로 어떻게 바꿀 수 있을까?
So where does this leave the medical education community? Within the countervailing tensions between assessment of learning and assessment for learning within CBME, do medical educators truly believe that “professional identity formation—the development of professional values, actions, and aspirations—should be a major focus of medical education”?2 If so, then how can medical education shift the current assessment model to one that supports professional identity formation?

[코칭 프레임워크]는

• 학습자가 성장 기회가 있다고 느끼는 영역을 공개하고 해당 영역에 대한 피드백을 받을 수 있도록 합니다.
• 이 모델에서 인상 관리는 기능 장애dysfunctional로 간주된다.
• 코칭 모델은 취약성과 진정성을 지원하여, 학습자가 자신의 약점을 성장의 기회로 드러내도록 유도합니다. 
• 코칭 모델 내 평가의 목표는 학습자와 코치가 진행 상황을 추적하고 코치가 성장에 대한 피드백을 제공하는 것입니다. 

The coaching framework

• makes it acceptable for learners to reveal areas where they feel there is opportunity for growth and receive feedback on those areas.
• Under this model, impression management is viewed as dysfunctional.
• The coaching model supports vulnerability and authenticity, encouraging the learner to reveal their weaknesses as opportunities for growth.
• The goal of assessment within a coaching model is for the learner and coach to track progress and for the coach to provide feedback for growth.

그럼에도 불구하고, 현재의 문화가 취약성에 편치 않고 전문적인 성장을 위한 코칭과 성과 평가를 위한 감독 사이의 경계가 정기적으로 모호하다는 점을 고려할 때, 코칭 모델을 뒷받침하는 철학은 의료계의 현재 커뮤니티 내에서 특히 실현하기 어려울 수 있다. 그리하여, 관찰의 목적을 코칭으로 보는 경우가 드물기 때문에 전공의들은 일상적으로 '관찰자의 비위를 맞추기' 위해 행동한다. 교육자들이 의료 교육에서 코칭을 수용하려면 문화 변화가 필요한데, 그 중에서도 의료 교육이 어떻게 공식적인 역량 평가를 구조화하는지 다룰 필요가 있을 것이다.

Nonetheless, the philosophies that underpin a coaching model may be particularly difficult to realize within medicine’s current community of practice, given that the current culture is not comfortable with vulnerability and that the lines between coaching for professional growth and supervision for assessment of performance are regularly blurred.10 As a consequence, residents routinely act to “please the observer” because they rarely see the purpose of observation as coaching.17 If educators are to embrace coaching in medical education, there needs to be a culture change, which, among other things, will need to address how medical education structures formal assessment of competency.

CBME는 의료 교육에 대한 명확한 결과를 제공했으며, 역량 평가는 훈련 프로그램이 졸업하는 의사가 의료 행위를 수행하는 데 필요한 역량을 가지고 있음을 인증 기관과 사회에 증명할 수 있도록 한다. 공식적인 평가의 이러한 기능은 대체될 수 없지만, 교육자들은 공식적 평가가 전문직 정체성 형성에 미치는 부정적인 영향을 최소화할 필요가 있다. 교육자들은 또한 훈련 초기에 핵심 역량과 성과에 집중하는 것이 타당할 수 있지만, 훈련을 통해 훈련자가 발전함에 따라 "역량은 점진적으로 '전인적 의사 정체성'을 향하여 통합된다"는 것을 깨달아야 한다.
CBME has provided clear outcomes for medical education, and competency assessment allows training programs to prove to accrediting bodies and society at large that the physicians being graduated have the necessary competencies to practice medicine. While this function of formal assessment cannot be replaced, educators need to minimize the negative impact that it has on professional identity formation. Educators also need to realize that focusing on core competencies and performance early in training may make sense, but as a trainee progresses through training, there is “a gradual integration of competencies into a more holistic identity as a physician.”3

위의 내용을 고려할 때, 의학 교육은 현재의 평가 모델을 전문적인 정체성 형성을 촉진하기 위한 모델로서 코칭을 지원하는 평가 모델로 어떻게 전환합니까? 코칭은 전문직 정체성 형성에 매우 적합하기 때문에, 교육자들은 코칭 관계를 구축할 수 있는 공간을 CBME 내에 마련해야 합니다. 교육자가 의료교육에서 코칭을 현실화하려면 코칭을 의료교육에 통합할 때 다음 질문을 고려해야 한다.
Given the above, how does medical education shift the current assessment model to one that supports coaching as a model for facilitating professional identity formation? As coaching is well suited for professional identity formation, educators need to make space within CBME for building coaching relationships. If educators want to make coaching a reality in medical education, they need to consider the following questions when integrating coaching into medical education:

• 의학 교육은 어떻게 형성적 평가와 피드백을 공식적인 평가 과정으로부터 분리하며, 이로서 전문적인 정체성 형성을 위한 코칭을 위한 공간을 어떻게 제공합니까?
  
• 레지던트 훈련 프로그램을 졸업하는 의사들이 역량이 있음을 보증하기 위해 실제로 얼마나 많은 공식적인 평가가 필요한가?
  
• 예를 들어, 공식 평가의 목적이 개인의 역량에 대한 평가에서 모든 역량을 의학의 실천에 통합하는 전체론적 정체성의 코칭으로 어떻게 이동할 수 있는가?

1. How does medical education separate formative assessment and feedback from the formal assessment process, therefore, allowing space for coaching for professional identity formation?
2. How much formal assessment is actually necessary to ensure that the physicians graduating from residency training programs are competent?
3. How might formal assessment look different across the continuum of medical education; for example, how might the purpose of formal assessment move from the assessment of individual competencies to the coaching of a holistic identity that integrates all the competencies into the practice of medicine?

마지막으로, 이러한 질문들은 제외하고 의료 교육이 실천 공동체로서 다루어야 할 더 큰 문제도 있다. 의학 교육자들은 [약점을 드러내는 것]과 [성장의 기회]가 의사의 사회화 과정 중 어디에 적합한지를 결정할 필요가 있다.

• 교육자들은 취약점이 학습자의 지역사회 수용과 미래의 훈련 및 직업에 대한 권력을 쥐고 있는 교수진으로부터 숨겨져 직업적 정체성 형성에 부정적인 영향을 미치는 백스테이지로 계속 제한되기를 원합니까?
• 아니면, 교육자들은 취약점을 프런트 스테이지 성과에 도입하여 전문직업적 이상ideal의 일부로 받아들이고, 교육생들의 전체적인 직업적 정체성의 성장과 발전을 허용하기를 원합니까?

Lastly, apart from these questions is the larger question that medical education needs to address as a community of practice. Medical educators need to decide where the demonstration of weaknesses and opportunities for growth fit into the process of socializing physicians.

• Do educators want vulnerability to continue to be limited to the backstage, hidden from faculty members who hold power over learners’ acceptance into the community and their future training and jobs, and, therefore, negatively impacting professional identity formation?
• Alternatively, do educators want to bring vulnerability into the frontstage performance, accepting it as part of the ideal of the profession, and allow it to shape the growth and development of a holistic professional identity in trainees?

의료교육에 코칭에 참여하기 위해서 교육자는 두 가지 중 하나를 선택해야 한다. 하나는 '기대'를 전환함으로써 전공의들이 안전하게 프론트 스테이지 공연의 일환으로 약점을 드러낼 수 있도록 하는 것이고, 다른 하나는 전공의에게 약점을 드러내고 성장에 대한 피드백을 구할 수 있는 적절한 백스테이지 공간을 제공하는 것이다. 의학 교육자는 지적이고 감정적인 솔직함을 통해 취약성을 모델링할 수 있으며, 취약성에 대한 공간, 공개 토론, 코칭, 궁극적으로는 이상에 가장 가까운 직업적 정체성 형성을 허용하는 학습 환경을 조성합니다. 이런 유형의 학습환경은 역량의 성과를 내세우고 약점을 숨기는 것이 아니라 전공의들이 자신의 진정한 모습을 그려내고 코칭을 통해 형성적 피드백을 받으며 자신의 경험에 터놓고 참여할 수 있는 공간을 제공할 것이다.

To engage with coaching in medical education, educators either need to shift expectations and allow residents to safely reveal weakness as part of their frontstage performance or provide residents with adequate backstage space to reveal their weaknesses and seek feedback for growth. Medical educators can role model vulnerability through intellectual20 and emotional21 candor, creating a learning environment that allows space for vulnerability, open discussion, coaching, and, ultimately, the professional identity formation that is closest to the ideal. This type of learning environment would provide space where residents can engage with their experiences openly, portraying their authentic self and receiving formative feedback through coaching, instead of putting on a performance of competence and hiding their weaknesses.

펠로우십 매치의 날에 만난 레지던트로 돌아와 보니 누군가가 공식적인 평가의 현실에 사로잡혀 있었고, 결국 그녀가 원하는 실천 공동체로부터 불이익을 받는 것을 보았다. 그녀는 코치로서 교수진에게 접근했지만 안타깝게도 코치와 어울리지 않는 평가 모델에 묶여 있었다. 저는 그녀가 취약성을 배움과 성장의 기회로 받아들이기 때문에 궁극적으로 잘 해낼 것이라고 믿습니다. 그럼에도 불구하고 현재의 역량 위주의 형식평가제도가 어떻게 지금의 학습환경에서 자신의 약점을 포용할 용기가 있는 학습자뿐만 아니라 자신의 약점을 숨기기로 선택한 학습자들에게 계속 불이익을 줄지 걱정이다.

Returning to the resident I ran into that fellowship Match Day, I saw someone caught up in the realities of formal assessment and ultimately disadvantaged by her desired community of practice because she embraced vulnerability. She approached her faculty members as coaches but was unfortunately tied to an assessment model that was incongruous with coaching. I believe that she ultimately will do well because she embraces vulnerability as an opportunity for learning and growth. Nonetheless, I worry about how the current competency-based formal assessment system may continue to disadvantage learners like her who have the courage to embrace their weaknesses in the current learning environment as well as those learners who choose to hide their weaknesses from those that could help them grow.

피드백과 코칭(Eur J Pediatr, 2022)

Feedback and coaching
Adelle Atkinson1 & Christopher J. Watling2 & Paul L. P. Brand3,4,5

효과적인 피드백 조건
Conditions for effective feedback

피드백이 매우 효과적일 수 있다는 좋은 증거가 있다[14,15,16]. 의료 교육의 모든 단계에서 학습자가 환자와의 만남에서 경험적 학습 기회를 최대한 활용할 수 있도록 지도자의 피드백을 받는다. 학습자는 건설적인 피드백을 바탕으로 행동을 일관되게 변화시킬 의지와 능력이 있으며, 이를 통해 감독 없이 독립적으로 실습할 수 있습니다[17]. 그러나 피드백은 특정 조건 (표 2)을 충족하는 경우에만 유효할 것으로 예상할 수 있습니다 [16, 18, 19].
There is good evidence that feedback can be highly effective [14,15,16]. Feedback from their supervisors helps learners at all stages of medical education to make the most of the experiential learning opportunities in encounters with patients. Learners are willing and able to change their behavior consistently based on constructive feedback, and this helps them to work towards practicing independently, without supervision [17]. However, feedback can only be expected to be effective if it meets certain conditions (Table 2) [16, 18, 19].

 

피드백은 코칭의 주요 기술적 요소이며, 구체적인 학습 상황에 대한 목적적인 성찰을 위한 순간적 도구momentary tool입니다.

• 피드백은 학습자가 수행한 과제를 목표로, 건설적이고 실행 가능한 방식으로 전달된다면 학습자의 행동 변화에 가장 큰 도움이 될 것입니다. 
• 피드백은 소문이나 간접 정보가 아닌 관찰된 행동에 관한 것이어야 한다[20]. 
• 학습자는 신뢰할 수 있는 출처에서 피드백이 오는 경우 피드백을 더 잘 수용합니다[14]. 
• [감독자로부터 학습자에게 일방적인 정보 전달] 대신 [학습자와 감독자 사이의 대화]로 피드백을 제시하는 것은 인간 관계의 사회적, 정서적 복잡성을 인정하고, 제공된 피드백을 수용하고 이에 따라 행동학 만든다[21]. 
• 관찰된 작업의 핵심 지점 1~3개로 피드백 양을 제한하는 방법도 중요하다.
  
  

Feedback is the main technical component of coaching, a momentary tool for purposeful reflection on a concrete learning situation.

• Feedback is most likely to help learners change their behavior if it is delivered in a constructive and actionable fashion, aimed at the task that the learner has performed.
• Feedback should be about observed behaviors, not about rumors or indirect information [20].
• Learners are more receptive to feedback if it comes from a source that they perceive as credible [14].
• Presenting feedback in a dialogue between learner and supervisor instead of a one-way transfer of information from supervisor to learner acknowledges the social and emotional intricacies of human relationships, which also supports acceptance of the feedback provided, and acting upon it [21].
• This is also supported by limiting the amount of feedback to one to three key points of the observed task.

효과적인 피드백과 비효과적인 피드백의 핵심적인 차이는 그 목적에 있다. 

• 의과대학생과 레지던트는 피드백이 성과에 대한 총괄적 판단으로 제시되거나 인식되는 경우 피드백을 덜 수용한다[13]. 그들은 단지 시험을 통과하고 잘했다고 확신하기를 원하며, 이러한 고부담 평가와 관련된 피드백을 무시하거나 폐기하는 경향이 있다[22, 23]. 직장 기반 평가를 고득점 시험으로 인식하는 전공의들은 긍정적인 피드백만을 추구하는 "게임play the game" 경향이 있다(즉, 자신이 잘했다고 생각하는 과제나 절차에 대한 피드백만 요청). [22, 24] 전공의는 유능해보이는 이미지로 보이려고 이 전략 및 기타 인상 관리 전략을 사용할 수 있다[24, 25].
• 반대로, 의대생과 레지던트들가 피드백을 저부담의 학습 기회로 여길 경우 피드백에 상당히 더 수용적이다. 특히, 임상 기술 향상을 목표로 시간이 지남에 따라 반복적인 코칭으로 구성될 경우, 숙련되고 헌신적인 감독자의 건설적인 피드백이 학습자에게 받아들여지고 특히 작업 관계에서 발전한 관계 배경에 반하여 행동할 가능성이 높다[26].

The key distinction between effective and ineffective feedback lies in its aim. Medical students and residents are less receptive to feedback if it is presented or perceived as a summative judgment of their performance [13].

• They just want to pass the test and be reassured that they did a good job, and tend to ignore or discard the feedback associated with these high-stakes assessments [22, 23]. Residents who perceive workplace-based assessments as high-stakes exams tend to “play the game” of seeking only positive feedback (i.e., only ask for feedback on a task or procedure they think they did well) [22, 24]. Residents may employ this and other impression management strategies to portray an image of competence [24, 25].
• Conversely, medical students and residents are considerably more receptive to feedback when it is presented as a low-stakes learning opportunity. Particularly, when it is framed as repeated coaching over time aimed at improving clinical skills, constructive feedback from skilled and dedicated supervisors is likely to be accepted by the learners and acted upon, especially against the background of established rapport that evolves from the working relationship [26].

이는 운전 교습 및 운전면허 시험과 같습니다. 사람들은 운전 교습 중에는 피드백을 수용하지만(학습 모드에 있음) 시험에 합격하고 운전면허(시험 모드)를 따려는 경우에는 그렇지 않습니다[13]. 당신의 의대생과 레지던트들이 당신의 의견을 받아들여 행동하기를 원한다면, 피드백은, 학습자를 판단하는 것이 아니라, 당신이 그곳에 도움을 주기 위해 있으며, 저부담의 학습 기회로 제시하라. 이를 위해 관리자는 시간과 노력을 들여 코칭 세션의 목적에 동의하고, 학습자를 관찰하며, 학습자의 성찰을 장려하고, 피드백을 논의해야 합니다. 이는 상호 신뢰와 존중을 기반으로 한 발전하는 건설적인 업무 관계로 인해 보다 쉽고 시간이 적게 소요됩니다.
It is like driving lessons and driving tests: people are receptive to feedback during driving lessons (they are in learning mode) but not during the high-stakes driving test when they just want to pass the test and get their driver’s license (exam mode) [13]. If you want your medical students and residents to accept and act upon your feedback, present it as a low-stakes learning opportunity in which you are there to support and help, not judge, the learner. This requires the supervisor to take the time and the effort to agree on the aim of the coaching session, to observe the learner, encourage reflection by the learner, and discuss the feedback. This becomes easier and less time-consuming with an evolving constructive working relationship built on mutual trust and respect.

교육생과 코치 간의 사회적 관계에 대한 피드백 및 코칭
Feedback and coaching in the social relationship between trainee and coach

피드백이 코칭에 효과적이려면 몇 가지 중요한 개념을 고려해야 합니다.

• 코칭 관계(연수생과 코치 간),
• 코칭 상호작용의 질,
• 코칭 받는 교육생의 마음가짐,
• 코칭에 대한 조직 문화 등 

In order for feedback to be effective in coaching, one must consider a few important concepts:

• the coaching relationship (between trainee and coach);
• the quality of the coaching interaction;
• the mindset of the trainee who is receiving the coaching; and
• the organizational culture around coaching.

관계
Relationship

연습생과 코치의 코칭 관계는 중요하고 복잡합니다. 교육생과 코치는 다양한 맥락에서 함께 자신을 발견하는데, 긍정적인 학습 환경 내에서 학습자의 성장을 지원하기 위한 의도적인 계획을 설계할 때 각각이 고려되어야 한다. 이러한 다른 맥락에 대해 생각하는 한 가지 방법은 "일상적 코칭"과 "지속적 코칭"으로 표현된다. [28, 29]

• "일상적 코칭"은 훈련생과 임상 감독관 사이의 일상적인 상호작용을 기술하여 성과를 개선합니다.
• "지속적 코칭"은 임상 환경 외부에서의 보다 종단적인 교수-교수 관계를 의미한다. 교육적 파트너십이 교육생의 성과에 대한 성찰, 축적된 데이터, 지속적인 발전을 위한 계획의 공동-개발을 촉진한다

The coaching relationship between trainee and coach is important and complex. Trainees and coaches find themselves in a variety of contexts together, each of which must be considered when designing an intentional plan to support the learner’s growth within a positive learning environment. One way to think about these different contexts has been articulated as “coaching in the moment” and “coaching over time” (see Table 1) [28, 29].

• Coaching in the moment describes those day-to-day interactions between a trainee and a clinical supervisor that lead to performance improvement.
• Coaching over time refers to a more longitudinal faculty-trainee relationship outside the clinical environment, in which the educational partnership promotes the trainee’s reflection on his or her performance, the accumulated data, and a co-developed plan for ongoing development.

학습자가 의료인으로서 발달해나갈 수 있도록 지원하고, 새로운 학습 목표를 세울 수 있도록 돕는 것이 "지속적 코칭"의 골자다. 코치와 교육생 간의 협력 관계는 코칭의 가치를 지원하고 지식, 스킬 및 태도 습득을 위한 발전경로path forward를 설계하는 데 도움이 됩니다[13]. 시간이 지남에 따라 성공적인 코칭은 학습자가 지속적인 자기 비판적 성찰을 위해 필요한 태도와 기술을 개발하여 평생 학습하고 피드백을 개방하는 데에도 도움이 될 수 있습니다. 이는 진료의 질, 협업의 효과, 개인적 동기 부여 등에 긍정적인 영향을 미칠 가능성이 높다.

The main goal of coaching over time is to support learners in their progress as medical professionals, and to help them set new learning objectives. A supportive relationship between coach and trainee supports the value of coaching and helps to design the path forward around the acquisition of knowledge, skills, and attitudes [13]. Successful coaching over time may also help learners to develop the attitudes and skills necessary for ongoing, self-critical reflection, and thus for life-long learning and openness to feedback. It is likely that this will have a positive impact on the quality of care, the effectiveness of collaboration, and personal motivation.

코칭 상호작용의 품질
Quality of the coaching interaction

감독관이 단편화되고 수습-감독자의 연속성이 결여된 대규모 부서에서도 "일상적 코칭"은 강력할 수 있습니다[30]. 그러나 효과는 각각의 코칭 상호작용이 유의미하다는 것을 확인하는 데 있습니다. 코칭이 항상 직관적인 것은 아니며, 임상 교수진이 자신의 역할을 이해하고 이 과제를 효과적으로 수행하는 데 필요한 도구를 제공하기 위해 교수 개발(효과적인 피드백 및 코칭 제공에 대한 교육 관리자)이 필요하다[31].

Coaching in the moment may be powerful, even in large departments with fragmented supervision and lack of trainee-supervisor continuity [30]. But effectiveness rests on ensuring that each coaching interaction is meaningful. Coaching is not always intuitive, and faculty development (training supervisors in providing effective feedback and coaching) is needed to ensure clinical faculty understand their roles and are provided with the tools needed to perform this task effectively [31].

R2C2 니모닉은 코칭에서 피드백 상호작용을 위한 유용한 모델이며(표 3) 이러한 필수적인 교수진 개발을 위한 프레임워크를 제공합니다. 궁극적으로 양질의 쌍방향 피드백과 코칭 대화를 이끌어내는 네 가지 단계에 초점을 맞추고 있으며, 관리자-교육자 관계의 핵심 역할에 주의를 기울입니다[32]. 이 모델은 관리자가 교육생과 라뽀를 쌓고 피드백에 대한 자신의 반응을 탐색하여, 상호 작용의 공통된 목표(형성적)를 보장함으로써, 피드백의 구체적인 내용을 다루기 전에, 변화를 위한 코칭(성과 향상)을 하도록 촉구합니다. 이 코칭 상호작용 모델은 일상적 코칭과 지속적 코칭에 모두 사용할 수 있습니다.

The R2C2 mnemonic is a useful model for feedback interactions in coaching (Table 3), and offers a framework for this necessary faculty development. It focuses on four phases that ultimately lead to a high-quality, two-way feedback and coaching conversation, and it attends carefully to the key role of the supervisor-trainee relationship [32]. This model urges the supervisor to build rapport with the trainee and explore his or her reactions to feedback, ensuring a shared (formative) aim of the interaction, before addressing the specific content of the feedback, and coaching for change (performance improvement). This model for coaching interactions can be used both for coaching in the moment and for coaching over time.

 

연습생 마음가짐
Mindset of the trainee

코칭 피드백에 대한 교육생의 수용성은 코칭 상호작용의 성공을 위한 핵심 요소입니다. 이것은 학습자의 마음가짐이 고정된 마음가짐과 성장 마음가짐 사이의 연속선상에서 주어진 순간에 어디에 위치할 수 있는지에 대한 개념을 제기한다. 주로 고정된 사고방식을 가진 사람들은 지능, 능력, 재능이 고정되어 있다고 믿는 반면, 성장 마인드를 가진 사람들은 이러한 특성들이 노력으로 영향을 받을 수 있다고 믿는다. 그러나 분명한 것은 코칭 피드백이 비옥한 기반 위에 놓일 수 있는 성장형 사고방식으로 개인을 움직이기 위한 전략이 있다는 것입니다[33]. 성장 사고방식이 대부분인 개인은 성과 지향적이 아니라 학습 지향적이며 지속적인 스킬 개발을 중요시합니다[17]. 코칭 피드백에 열려 있으며, 피드백을 지속적으로 발전시키기 위한 연습에 반영하기 위해 노력합니다. 이 스킬은 평생 학습자로서의 경력 전반에 걸쳐 매우 중요한 스킬입니다. 성장 마인드를 갖추면 교육생들이 (평가 자료 해석의 총괄적 성격보다) 코칭 피드백의 형성적 성격에 집중할 수 있다.
The receptiveness of trainees to coaching feedback is key to the success of any coaching interaction. This raises the notion of where a learner’s mindset might sit at any given moment, on the continuum between a fixed and a growth mindset. Individuals with a predominantly fixed mindset believe that intelligence, ability, and talent are fixed, while those with a growth mindset believe these traits can be influenced with effort. What is clear, however, is that there are strategies to move an individual in the direction of a growth mindset which allows coaching feedback to fall on fertile ground [33]. Individuals with a predominantly growth mindset are learning-oriented instead of performance-focused, and value ongoing skill development [17]. They are open to coaching feedback, making an effort to incorporate it into their practice to continue to develop, a skill that is invaluable throughout their careers as a life-long learner. Having a growth mindset also helps trainees to focus on the formative nature of the coaching feedback, rather than the summative nature of assessment data interpretation.

코칭을 중심으로 한 조직 문화
Organizational culture around coaching

교육생, 감독관, 조직을 대상으로 하는 구체적인 전략으로 성장 마인드 문화를 조성할 수 있습니다. 예를 들어,

• 레지던트 오리엔테이션 기간 동안 성장형 마음가짐에 대한 명시적인 세션을 갖는 것이 코칭 피드백 프로세스를 용이하게 하는 것으로 나타났습니다 [33].
• 관리자는 학습자가 자신의 도전과 약점에 대해 개방적이고 취약성을 드러내며, 성장을 위한 피드백을 구할 수 있도록 심리적 안전을 제공할 필요가 있다[34].
• 의료진은 자신의 약점과 불확실성에 대해 논의하고 피드백에 대해 공개적으로 수용함으로써 이 행동을 롤모델로 삼을 준비가 되어 있다[35].
• 조직 차원에서, 모든 수준에서 피드백을 촉진하는 안전하고 정의로운 문화의 촉진은 필수적입니다 [33].
• 또한, 직접적인 관찰을 장려하고 지원할 수 있는 물리적 공간을 제공하고, 교육생과 감독자 간의 필수적인 신뢰관계를 배양하는 문화를 개발하는 것이 성공적인 코칭에 있어 무엇보다 중요하다.

A growth mindset culture can be nurtured with specific strategies targeted at the trainee, the supervisor, and the organization. For example,

• having an explicit session on growth mindset during resident orientation has been shown to facilitate the coaching feedback process [33].
• Supervisors need to provide the psychological safety to ensure that learners can be open and vulnerable about their challenges and weaknesses and seek feedback for growth [34].
• Clinical faculty are uniquely poised to role model this behavior by discussing their own weaknesses and uncertainties, and by being overtly receptive to feedback themselves [35].
• At an organizational level, the promotion of a safe and just culture that promotes feedback at all levels is essential [33].
• In addition, providing the physical space to encourage and support direct observation, and developing a culture that nurtures essential trusting relationships between trainees and supervisors, is paramount to successful coaching.

 

교육 프로그램의 목표와 구조, 그리고 그 안에서 직장 중심의 평가와 코칭이 하는 역할은 교직원과 학습자 모두에게 명확해야 한다. 또한 감독관은 순간 코칭과 시간 경과에 따른 코칭에 효과적인 피드백을 제공할 수 있는 스킬을 개발하도록 교육받아야 합니다. 교수진과 교육생 모두가 성장형 마음가짐을 표현하고, 정기적으로 피드백을 주고받는 프로그램은 학습자가 원하는 임상 역량을 개발할 수 있도록 지원할 가능성이 가장 높다[35].
The goals and structure of the educational program, and the role workplace-based assessments and coaching play in it, should be clear to both faculty and learners. In addition, supervisors should be trained to develop the skills to provide effective feedback in coaching in the moment and coaching over time. A program in which both faculty and trainees express a growth mindset and are open to provide and receive feedback regularly is most likely to support the learners’ development towards the desired level of clinical competence [35].

© 2021. The Author(s).

우리나라 의학전문직업성 교육과정에서의 ‘전문직 정체성 형성’ 교육 현황 (KMER, 2021)
Current Status of ‘Professional Identity Formation’ Education in the Medical Professionalism Curriculum in Korea
이영희
Young-Hee Lee
고려대학교 의과대학 의학교육센터
Medical Education Center, Korea University College of Medicine, Seoul, Korea

서 론

의학교육의 궁극적인 목표는 ‘좋은 의사’를 양성하는 것이다. 좋은 의사는 임상역량과 의사소통능력을 갖추어야 하며, 윤리적 및법적 이해를 기반으로 수월성, 휴머니즘, 이타주의, 사회적 책무성과같은 핵심 가치를 진료상황에 적용할 수 있어야 한다[1]. 최근 의학교육 추세는 ‘전문직 정체성 형성(professional identity formation)’이 의학교육의 핵심이 되어야 한다고 강조하고 있다[2-4]. 전문직 정체성은 의과대학 또는 전공의 교육의 과정에 있는 의과대학생이나 전공의로 하여금 사회가 의사에게 기대하는 일련의 가치와 성향을 자신의 정체성으로 통합시키도록 함으로써 그들이 전문가답게 생각하고, 행동하고, 느끼도록 하는 것이다[3,5]. 전문직 정체성 형성은 전문직으로 살아가는 생애 전 과정에 걸쳐 진행되는 인지적, 사회적, 정서적 능력을 통합하는 평생의 과정이다[6]. 이는 개인적 수준의 발달과 직업적 수준의 발달을 동시에 포함하는 사회적 구성 과정이며[4,7], 직업적 성공, 심리적 건강 및 사회적응과 관련이 있다[8]. 따라서 의과대학에서는 전문직 정체성 형성을 핵심 교육목표로 설정하고 이를 달성하기 위한 교육과정의 설계와 효과적인 교육전략을개발하는 것이 필요하다[3,9].

역사적으로 보면 개념으로서의 전문직 정체성 형성은 히포크라테스 시대부터 있어 왔지만[3], 교육실천으로서의 전문직 정체성형성은 전문직업성 교육의 범주에서 암묵적으로만 다루어지다가 최근 들어 명시적으로 교육할 것이 강조되고 있다. 몇몇 연구에따르면 전문직업성 교육은 덕목 기반, 역량 기반, 정체성 형성의 접근방식으로 강조점이 변해왔다[2,5]. 즉 전문직업성에 대한 개념정의와 인식 틀 또는 가정이 변해감에 따라 교육의 목표와 내용,교수법, 그리고 평가방법도 수정되거나 새롭게 창조되어 왔다고 볼수 있다[2,5].

• 덕목 기반(virtue-based) 또는 윤리적 접근방식은 품성을 갖춘사람을 좋은 의사로 정의하며, 내적인 마음의 습관, 덕성(moralcharacter), 추론능력, 돌봄과 연민 같은 인간적인 자질을 갖추도록교육할 것을 강조한다.
• 행동 기반(behavior-based) 접근방식은 좋은 의사는 환자를 돌볼 수 있는 역량을 보여줄 수 있어야 하며,교육에서는 이러한 역량을 입증하기 위한 마일스톤, 역량, 관찰 가능한 행동의 측정을 강조한다.
• 정체성 형성(identity formation) 접근방식은 의사가 자신의 다양한 지위와 역할뿐만 아니라 다양한 경험을 일관된 자아 이미지로 통합하는 정체성 발달과정과 지역사회에서의 사회화를 강조한다[7].

즉 좋은 의사는 의사에게 사회가 기대하는일련의 가치와 성향을 자신의 정체성으로 통합하기 위해 노력하는사람이며, 교육은 학생들이 더 높은 수준의 전문직 정체성 형성을발달시킬 수 있도록 지원하는 과정이 되어야 한다고 주장한다[2].이와 같은 세 가지 인식 틀의 변화는 전문직업성의 개념이 의사개인의 영역에서 타인과의 관계 및 사회 속에서 의사의 책무를 강조하는 방향으로 확장되고 재구성되고 있음을 보여준다. 최근에는 전문직 정체성 형성을 위한 교육방법과 평가방법에 관한 연구도 활발하게 이루어지고 있다[10-14].

전문직업성(professionalism), 전문직 정체성(professional identity),전문직 정체성 형성(professional identity formation)은 동일한 개념이 아니다.

• 전문직업성에 대한 많은 정의는 ‘전문가에게 기대되는 행동의 입증’을 강조한다[3]. 예컨대, ‘대중의 의사에 대한 신뢰를뒷받침하는 일련의 가치, 행동 및 관계’라는 Royal College ofPhysicians of London 정의는 전문가의 행동의 입증을 강조한다[3].이러한 정의를 따를 경우, 일련의 특성, 가치 및 신념을 평가하는것이 어렵기 때문에 전문직업성 교육은 개념적 정의를 관찰 가능한 행동으로 조작적으로 재정의하고 측정하는 것에 초점을 두게 된다.
• ‘전문직 정체성’의 개념은 특정 행동보다는 주체의 자기인식 과정이 강조된다. Erickson [15]에 따르면 정체성은 ‘나는 누구인가와 관련된 자기의식’이다. 즉 ‘자기 내적인 요소들을 종합하여 동일하고 연속적으로 자기를 유지하며, 타인과 사회와의 사이에서 자기인정과 확신을 포함하는 자기의식’이라고 할 수 있다[15]. 이러한 정의를적용하면, ‘의사의 전문직 정체성은 의사직의 특성, 가치 및 규범이내 면화되는 과정으로서 시간이 지남에 따라 단계적으로 달성되어 결과적으로 개인이 의사처럼 생각하고, 행동하고, 느끼게 되는 자아의 표현’이라고 정의할 수 있다[3].
• ‘전문직 정체성 형성’은 개인적수준과 집단수준에서 동시에 발생하는 ‘적응상의 발달과정’으로,개인수준의 심리발달과 집단수준의 사회화를 포함한다[7]. 이러한정의를 따르면 ‘전문직 정체성 형성’ 교육은 개인의 속성과 집단에서의 역할, 그리고 사회공동체 속에서 특정 행동의 추구를 통해 도달하려는 가치체계와 그것에 대한 자아인식 개발에 교육목표를 두게된다.

그런데 이러한 세 가지 용어는 개념상 차이가 있지만 상호배타적이라기보다는 수단적이거나 포섭적인 관계에 있다고 할 수 있다.즉 전문직업성 교육목표에서 강조되는 ‘의사가 입증해야 할 행동’은 의과대학 및 전공의 교육과정에서 전문직 정체성이 발달하고 있는지를 확인하기 위한 수단이 되며[3], ‘전문적 정체성’ 개념이 담고 있는‘행동주체의 자아인식’은 ‘전문직 정체성 형성’ 교육에 포함되기 때문이다.

전문직업성 교육에서 의사의 전문적 역할을 [개별적이고 측정 가능한 역량으로 변환하여 측정하는 역량 기반 접근방식]은 ‘의사가 되어가는 것’에 대한 근본적인 의미 탐색과 의사의 역할이 미래의 의사의 정체성 발달과 어떤 연관성이 있는지를 간과하였다[7]. 전문직 정체성 형성에 초점을 두는 접근방식은 의학교육과정 중에 개발된 역량과 의사의 정체성 형성 간의 상호 관련성을 이해하고, 의사가 되어가는 과정을 보다 광범위하게 설명할 수 있는 시야를 제공한다[7]. 따라서 전문직 정체성 형성 교육은 기존의 역량 기반 접근방식을 대체하는 것이 아니라 전문직업성 교육에 대한 보다 다양한 담론을 확장하는 틀로 살펴보아야 한다[3,7]. 이러한 맥락에서 서구에서는전문직 정체성의 형성에 관한 연구가 활발하게 진행되고 있으며[7,16-20], 다양한 심리학 및 발달이론이 이론적 토대가 되고 있다[15,21,22].

우리나라의 경우 전문직업성 교육에 관한 선행연구는 주로 덕목기반 또는 역량 기반 접근방법을 중심으로 수행되었다. 전문직업성은 의사가 갖추어야 할 주요 속성이나 자질과 역량 요소라고 간주하고 각 요소에 대한 학생들의 인식과 자기평가 연구를 수행한 연구들[23,24], 전문직업성 역량을 측정하기 위한 평가도구 개발에 관한 연구들[25,26], 교육과정의 목적을 전문직업성의 기초자질 함양으로 설정하고 교육과정의 평가와 구성을 연구한 것들이 있다[27]. 2017년 ‘한국의과대학․ 의학전문대학원협회’에서 발간한 ｢기본의학교육 학습성과: 사람과 사회 중심｣에는 ‘의사의 직업 정체성’ 용어가 사용되어 ‘전문직 정체성 형성’이 우리나라 기본의학교육의 주요한 학습성과로 기술되었다[28], 최근 들어 ‘전문직 정체성’의 단어가 사용되고 있긴 하지만 아직 우리나라에서 전문직 정체성 형성이 전문직업성 교육의 중심 목표로 정착되고 있지 않다.

앞에서 기술한 바와 같이 전문직 전체성 형성은 전문직업성 교육의 범주에서 교육되어왔기 때문에 전문직 정체성 형성 교육현황을 파악하기 위해서는 전문직업성 교육과정에 대한 분석이 필요하다.이에 이 연구는 우리나라 기본의학교육 현장의 전문직업성 교육과정을 검토한 후 전문직 정체성 형성 교육현황을 파악하고 ‘전문직 정체성 형성’ 교육으로 나아가기 위한 교육의 확대방안을 제안하고자한다. 구체적으로 우리나라 전문직업성 관련 교과목의 개설현황(교과목 수, 학점 및 학년), ‘전문직 정체성 형성’ 교육의 내용구조, 주요 교육방법 및 평가방법을 파악하고 우수사례를 소개하고자 한다.

연구대상 및 방법

1. 자료수집 대상 및 방법

이 연구는 전국 40개 의과대학 및 의학전문대학원(이하 의과대학또는 대학)에 2020학년도를 기준으로 개설된 전문직업성 교육과정을 조사대상으로 하였다. 1차 자료조사와 수집은 각 대학 홈페이지에게시되어 있는 전문직업성 교과목의 명칭과 개설 학년, 필수선택여부, 학점을 열람하여 Microsoft Excel (Microsoft Corp., Redmond,WA, USA)에 정리하는 방식으로 진행하였다. 2차 조사는 각 의과대학의 의학교육 전문가 또는 전문부서에 이메일을 보내 홈페이지에서수집한 내용에 대한 검토와 부정확한 정보의 수정 또는 누락 과목의 보완을 요청하였다. 추가로 전문직업성 관련 교과목별로 주요 수업내용 또는 주제(교육내용), 수업방법, 평가방법을 직접 기술해 달라고 요청하였다. 아울러 화이트코트 세리모니(White Coat Ceremony)와 행동 규범(Honor Code)의 운영 여부를 조사하였다.

일부 항목에 대해 개방형 직접기술방식을 사용한 이유는 전문직업성 교육과정의 특수성과 복잡성 때문이었다. 기초의학 및 임상의학 교육과정과 달리 전문직업성 교육과정은 대학마다 교과목의 명칭이 너무 다르고 교과목별로 포함하는 교육내용의 범위도 매우 상이하다. 따라서 객관식 설문지 제작에 어려움이 있었고, 전문직업성의 개념과 정의조차 조사 응답자 간에 인식의 편차가 클 수 있어서 객관적이고 표준화된 설문조사방식보다는 개방형 자유기술 방식이 각 대학의 교육과정 현황을 있는 그대로 드러내고 응답결과의 타당성을 확보하기에 더 적합하다고 판단하였다. 자유기술 항목에 대해서는 연구자가 예시를 제시하여 응답자의 편의를 도모하였다. 자료수집기간은 2020년 1월 28일부터 2월 19일까지였다. 40개 조사대상 대학 중 28개(70%) 대학이 응답하였다. 분석대상 대학의 소재지와 학생 수는 Table 1과 같다.

2. 분석방법

분석대상 자료는 문서형태였다. 자료의 내용은 서술식 내용과양적 수치로 구성되었기 때문에 분석방법은 자료 특성을 고려하여일반적인 질적 분석과 양적 분석을 병행하였다. 즉 전문직업성 교육과정 개설 교과목 수, 개설 학년, 학점 수, 필수․ 선택 여부와 같은양적 자료에 대해서는 빈도분석을 하였고, 교과목별 주요 교육내용은 내용분석의 방법을 활용하였다.

구체적인 내용분석의 과정은 Figure 1과 같다. 저자는 먼저 응답자가 직접 기술한 교과목별 주요 교육내용을 여러 번 읽고 탐색하면서 ‘핵심 단어(key word)’를 추출하였다. 핵심 단어 추출과정의 타당도 확보를 위해 학부 4학년 연구보조원 한 명과 멀티로 작업하였다.연구자는 먼저 연구보조원에게 핵심 단어 추출방법을 상세히 설명하였고, 연구보조원과 연구자가 각각 따로 핵심 단어를 코딩한 후,둘 사이에 불일치하는 단어는 연구자가 2차로 검토하면서 최종 포함하거나 수정 또는 배제하였다. 한 교과목에서 동일한 단어가 반복되는 경우 배제하였고, 어디에도 잘 들어맞지 않는 핵심 단어(예: 그리스도, 대중문화 콘텐츠 등)는 따로 메모하면서 비슷한 테마에 포함하거나 배제하였다.

핵심 단어 추출과정에서 저자는 교과목 명칭과 개설 학년, 필수․ 선택 여부 등과 교육내용의 관련성을 탐색하면서 가능한 기술된맥락을 반영하고자 하였고 중요한 단어의 누락이 없도록 고려하였다. 한 교과목에 기술된 내용에서 여러 개의 핵심 단어를 추출할수 있는 경우에는 중복코딩을 하였다. 예컨대 주요 교육내용이 “의학에 대한 이해와 주요 의학자 중 역할모델 찾기, 의료정책 및 의사관련 책을 읽고 토론 및 글쓰기, 생명윤리, 의사와 사회, 바람직한 의사상”이라고 기술된 경우, ‘의사 역할 탐구,’ ‘의료정책,’ ‘의학과독서,’ ‘생명윤리,’ ‘의사와 사회,’ ‘바람직한 의사상’의 6개 핵심 단어를 추출하였다.

다음은 추출된 핵심 단어를 토대로 ‘전문직 정체성’의 관점에서자료의 의미 있는 패턴을 찾아 범주화하였고, 중요한 범주에 대한 테마(theme) 정하기의 과정을 통해 핵심 단어와 범주, 테마의 관계를 보여주면서 우리나라 전문직업성 교육과정의 내용구조를 조망하고자 하였다. 핵심 단어는 유사성에 따른 범주화(categorizing)와 인접성에 따른 연결(connecting)전략을 사용하면서 분류, 감소, 배열하였다. 범주화 전략은 다양한 교육내용의 유사점과 차이점을 찾아내분류하는 방법이고, 인접성 전략은 자료와 맥락 간의 관계를 연결하여 각 내용 사이에 어떤 관련성이 있는지를 알아내는 방법이다[29].패턴 찾기와 범주화, 테마 정하기와 같은 일련의 자료분석과정은연구자의 경험과 직관에 의존하였다. 이 과정에서 연구자의 통찰력을 확장하기 위해 전문직 정체성 형성 교육에 관한 선행연구를 중간중간에 반복적으로 읽으면서 선행연구자들은 전문직 정체성 형성교육내용의 범위를 어떻게 포함 또는 배제하였는지 지속적인 검토를하였다.

결 과

1. 우리나라 전문직업성 교과목 개설현황

28개 의과대학에 개설된 전문직업성 관련 총 교과목 수는 최대37개에서 최소 5개까지 편차가 큰 것으로 나타났다. 16개(57.1%)대학은 모든 개설과목을 필수로 정하고 있었고, 12개(42.9%) 대학은 선택과목을 최소 1개에서 최대 18개까지 두었다. 필수과목 수도 최대 33개에서 최소 5개로 대학별 편차가 컸다. 전체 학년에 개설된필수과목 수가 20개 이상인 대학은 2개였고, 20개 미만에서 10개이상인 대학이 18개, 10개 미만인 대학이 8개였다. 대부분 대학은선택과목보다 필수과목의 비중이 컸지만, 일부 대학의 경우 필수과목보다 선택과목 수가 더 많거나(ID12, ID25) 선택과목 비중이 40%이상을 차지하는 대학(ID8, ID13)도 있어서 총 교과목 수가 많다고 해도 학생들이 이수하는 전문직업성 과목이 반드시 비례하는 것은아님을 알 수 있었다. 14개(50%) 대학은 의예과 1학년부터 의학과4학년까지 전 학년에 걸쳐 전문직업성 교과목이 연속적으로 개설되었던 반면 나머지 절반의 대학은 1개에서 3개 학년까지 전문직업성교과목이 개설되지 않았다(Table 2).

2. 전문직업성 교육과정에 나타난 '전문직 정체성 형성' 교육의내용구조

교과목별 주요 교육내용을 분석한 결과, 우리나라 전문직 정체성형성 교육의 내용구조는 15개의 범주와 4개의 테마로 축소되었다.즉 교육내용은 전문직업성에 대한 인지 기반이 되는 지식과 이론을포함하여 자신에 대한 이해, 타자와의 관계, 그리고 전체 사회와보건의료시스템 속에서 의사의 역할을 탐색하면서 학습자의 경험을 확장해가는 구조로 이루어져 있었다. 4개 테마의 명칭은 범주의내용 특성을 반영하여

• (1) 전문직업성에 대한 지식 기반,
• (2) 자기이해와 발달,
• (3) 타자와의 상호작용,
• (4) 사회와 보건의료시스템 속의의사로 명명하였다(Figure 2).

1) 전문직업성에 대한 지식 기반

테마 1 ‘전문직업성에 대한 지식 기반’에는 4개 범주가 포함되었다.

• 범주 1은 ‘전문직업성의 개념과 의미 탐색’으로, 전문직업성의 의미와 핵심 가치, 의사의 가치관, 의사의 정체성 같은 내용을 포함하였다.
• 범주 2는 ‘전문가가 갖추어야 할 덕목 또는 역량’으로, 의사에게 기대되는 인성, 자질, 가치관, 소양이나 소통, 협력, 리더십 같은 역량을 기술한 내용이 포함되었다.
• 범주 3 ‘의사 및 전문직 발달의 역사’에는 의료전문직의 형성과 변화과정, 의학의 역사와 중요한의학적 사건들을 다루는 내용이 포함되었다.
• 범주 4 ‘인간과 삶에대한 이해를 위한 인문사회학’에는 의학과 철학, 문화, 음악, 심리학등 인간과 삶에 대한 이해의 지평을 넓히는 내용이 포함되었다(범주별 핵심 단어 예시는 부록 1 참조).

교과목별 주요 교육내용에서 테마 1의 핵심 단어를 추출한 방법을 예시하면 다음과 같다.

현대사회는 (중략) 전문성 본래의 의미뿐만 아니라 의료인들이 가져야 할 윤리성, 책무성, 소통능력과 관계성 등을 이론적으로 아는 것과 동시에 실천적 행동을 할 수 있기를 요구하고있다. (중략) 가장 기초적인 전문성의 개념과 의미뿐만 아니라‘윤리,’ ‘책무,’ ‘소통,’ ‘관계’라는 키워드를 중심으로 필요로하는 전문적인 역량에 대해서 이론적 강의와 함께 사례분석과학생들과의 토의 등을 진행할 계획이다. (테마 1: 범주 1, 범주2; 대학 ID=01, “의료전문성과 진로설계 1”, 의학과 1학년,필수, 1학점)

2) 자기이해와 발달

인간은 누구나 독특한 개체이다. 테마 2 ‘자기이해와 발달’은 개인적 발달과 관련된 3가지 범주를 포함하였다.

• 범주 1은 ‘자기성찰및 이해’로, 비전과 사명, 삶의 의미, 자기이해(성격, 가치관, 생각,감정 등)와 같은 내용을 포함하였다.
• 범주 2 ‘자기계발과 자기관리’에는 자기관리, 자기 돌봄, 자기계발, 자아형성, 자기표현 등의 내용을 포함하였다.
• 범주 3 ‘진로설계와 탐색’에는 진로설계, 진로탐색, 진로개발, 전공탐색, 다양한 직업군 이해를 다루는 내용을 포함하였다(부록 1).

한 교과목에서 다양한 핵심 단어가 추출되는 경우, 한 교과목의 내용이 여러 개의 범주로 중복 처리되었다(아래 인용문 참조).

현대 의료환경의 급격한 발전과 변화로 의사 직종의 다양화에 대해 이해하고, 자신을 성찰하고 자기관 능력을 키워 진로선택에 활용할 수 있다. (테마 2: 범주 1, 범주 2, 범주 3,대학 ID=08, “의료입문(1): 의학입문 및 체험실습” 예1, 필수, 2학점)

3) 타자와의 상호작용

테마 3 ‘타자와의 상호작용’에는 세 가지 범주를 포함하였다.

• 범주1은 ‘일반적 의사소통’으로, 의사소통에 관한 이론과 지식, 일반인과의 의사소통에 관한 내용이 포함되었다.
• 범주 2 ‘의료상황에서의 의사소통’은 의학 면담의 기초이론, 환자 및 보호자와의 의사소통,어려운 상황에서 의사소통, 동료 또는 타 직종 의료인과의 의사소통같은 내용을 포함하였다.
• 범주 3 ‘생명․의료․연구윤리’에는 의료윤리의 원칙, 임상상황에서의 윤리, 연구윤리 관련 내용을 포함하였다. 생명윤리와 연구윤리는 의료윤리와 함께 묶어서 가르치는 대학이많아서 세 가지를 같이 한 범주로 포함하였다.

오늘날 의사들은 의료행위에 대한 여러 가지 법적, 사회적, 그리고 윤리적인 문제들을 인식하고 상황에 따라 적절하게 대처할수 있어야 한다. 본 강좌에서는 이러한 문제들의 내용과 그에합당한 의료행위가 무엇인지 알아보고 적절한 대응능력을 갖추도록 한다. (테마 3: 범주 3, 대학 ID=05, “의료윤리학”, 의학과1학년, 필수, 1학점)

4) 사회와 보건의료시스템 속의 의사

테마 4 ‘사회의 보건의료시스템 속의 의사’에는 5개 범주가 포함되었다.

• 범주 1은 ‘의료와 사회의 관계’로, 의사와 사회, 의료와 사회,의사의 사회적 역할과 기능 등과 관련된 내용이 포함되었다.
• 범주2 ‘지역사회 이해’에는 일차진료, 지역사회에서 의사의 역할, 지역사회 의료기관 이해에 관한 내용이 포함되었다.
• 범주 3 ‘보건의료시스템’에는 의료제도, 정책 및 관리체계 등 보건의료 제반 현상에 사회시스템적 접근 관련 지식이 포함되었다.
• 범주 4 ‘보건의료 행위에 대한 법적 이해’에는 의료 관련법과 의료행위의 법적인 측면을 다루는 내용이 포함되었다.
• 범주 5 ‘환자안전’에는 의료팀 구성원으로서의 리더십과 전문직종 간 의사소통, 위기관리 등 시스템적 관점에서환자안전과 의료 질을 다루는 내용을 포함하였다.

의사의 사회적 책무를 이해하고, 의사가 갖추어야 할 사회적역량의 함양을 목표로 한다. 의학의 발전과 다양성을 고려한건강의 사회적 맥락을 파악하고, 지역사회의 보건자원 관련지식과 의료커뮤니케이션 기술을 습득한다. 의료제도와 의료윤리 관련 사회적 문제를 이해하고, 해결방법을 제시할 수 있다.(테마 4: 범주 1, 범주 2, 범주 3, 대학 ID=09, “환자 ․ 의사․ 사회 2”, 의학과 2학년, 필수, 1학점)

5) 우리나라 ‘전문직 정체성 형성’ 교육내용의 범주별 현황

위에서 기술한 4개 테마와 15개의 범주별 교육내용을 최소 한과목 이상에서 다루고 있는 대학의 현황은 Table 3과 같다. 결과를보면

• ‘의료윤리’는 분석대상이 된 28개 모든 대학이 다루고 있었고,
• ‘의료상황에서의 의사소통’은 26개(92.9%) 대학이 다루었다.
• ‘보건의료행위에 대한 법적 이해’를 다루는 대학은 24개(85.7%)였고,
• ‘의료와 사회의 관계’ 22개(78.6%),
• ‘인간과 삶에 대한 이해를 위한인문사회학적 기초’ 21개(75.0%),
• ‘전문직업성의 개념과 의미 탐색’과 ‘전문가로서의 덕목, 역량’은 각각 20개(71.4%) 대학이 다루고있었다.

교육내용에 가장 적게 포함된 범주는

• ‘자기계발 및 자기관리’가 9개(32.1%),
• 일반적 의사소통 11개(39.3%),
• ‘진로탐색 및 설계’16개(57.1%)였다.

테마별로 보면, 약 25%–32%의 대학이 ‘전문직업성에 대한 지식 기반’을 다루지 않았고, ‘자기이해와 발달’에서는범주별로 39.3%–67.9%의 대학이 가르치지 않았으며, ‘타자와의 상호작용’에서는 ‘일반적 의사소통’과 ‘의료상황에서의 의사소통’을각각 60.7%와 7.1%의 대학이 다루지 않았다. ‘사회와 보건의료시스템 속의 의사’에서는 ‘환자안전’ 42.9%, ‘의료와 사회의 관계’ 21.4%의 대학이 교육내용에 포함하지 않았다.

3. ‘전문직 정체성 형성’ 교육방법 및 평가방법

1) 교육방법

‘전문직 정체성 형성’ 교육을 위한 수업방법은 응답자가 전문직업성 관련 교과목별로 직접 기술한 내용을 분석하였다. 자료수집 시에연구자가 예시로 강의, 팀바탕학습, 문제바탕학습, 사례연구, 소그룹토론, 프로젝트학습, 현장체험, 성찰적 글쓰기, 역할모델, 표준화환자 면담, 강점탐구 등의 수업방법을 안내하였고, 응답자들은 예시를포함한 다양한 수업방법을 기술하였다.

결과를 보면 26개 대학에서 총 11개 유형의 수업방법을 사용하는것으로 나타났다(Table 4). 모든 대학이 최소 한 과목 이상에서 ‘강의’를 사용하고 있었고, ‘토의․ 토론’이 22개(84.6%), ‘실습(시뮬레이션)’ 21개(80.8%), ‘협력학습’ 20개(76.9%) 대학 순으로 많았다.‘성찰적 글쓰기와 보고서’를 한 과목 이상에서 사용하는 대학은 14개(53.8%)였다. ‘현장체험’은 12개(46.2%) 대학에서, ‘코칭과 피드백,’‘역할모델이나 역할극’은 각각 11개(42.3%) 대학이 활용하고 있었다. 그 밖에 플립러닝, 명상훈련, 인터뷰 방법을 사용하고 있는 것으로 조사되었다.

2) 평가방법

교과목별로 26개 대학의 응답자가 직접 기술한 평가방법 내용을분석하였다. 자료수집 시에 연구자는 예시로 지필시험, 자기평가,성찰적 글쓰기, 관찰평가, 동료평가, 중요사건 보고서 등의 평가방법을 예시하였다. 결과를 보면 우리나라 의과대학은 10가지의 평가방법을 사용하는 것으로 나타났다(Table 5). 25개 대학이 최소 한 과목이상에서 ‘지필고사’를 사용하고 있었고, ‘과제 및 보고서,’ ‘토론발표’는 22개 대학에서 활용하고 있었다. 면담, 수행평가, 역할극을 포함한‘관찰평가’와 ‘에세이’를 사용하는 대학이 18개였다. ‘동료평가’와‘출석’은 각각 15개 대학에서 평가방법으로 사용하고 있었다. 그 밖에 포트폴리오 평가, 프로젝트 평가, 자기평가 방법이 조사되었다.

4. 상징과 의식: 화이트코트 세리모니와 행동 규범

화이트코트 세리모니는 의과대학에서 임상실습을 시작하기 전에처음으로 흰 가운을 입는 착복식 행사이다. 이 의식은 학생들이 의료현장에서 환자를 직접 만나기 전에 의사의 소명과 ‘의사됨’의 의미를 생각해보고 휴머니즘을 겸비한 의사의 자질과 능력을 다시한번 성찰하는 기회가 된다. 행동 규범(Honor Code)은 과정 이수중 또는 임상실습과정 중에 의과대학생들이 적절한 전문적 및 개인적 자질을 갖추었음을 보여주기를 기대하는 행동들이다. 이러한 의식과 규범은 전문직 정체성을 개발하는 데 있어 학생과 교수 모두에게 중요한 역할을 한다[30]. 우리나라에서 화이트코트 세리모니 행사를 개최하는 대학은 응답한 대학 중 25개(96.2%)였고, 한 곳(3.8%)만이 시행하지 않는 것으로 조사되었다. 학생 행동 규범을가지고 있거나 제작 중인 대학은 21개(77.8%), 없는 대학은 6개(22.2%)였다.

5. 전문직 정체성 형성 교육 우수사례

전문직 정체성 형성 교육 우수사례는 대학별로 응답자가 대표과목으로 선정해준 것과 교과목 내용에 대한 설명을 근거로 연구자가 판단한 12개 교과목(과정) 사례를 선정하였다(부록 2). 이 과목들을 우수사례로 선정한 근거는

• 첫째, 전문직 정체성과 관련된 의사의자질이나 덕목, 역량을 분절된 지식 위주로 가르치지 않고 통합과정내에서 다루거나 임상상황이나 주제와 연계하여 통합적으로 다룬다는 것이었다(ID 05, ID 09, ID 16, ID 17).
• 둘째, 진료현장 또는환자체험 기회를 제공하거나(ID 08, ID 22), 의료현장의 목소리를직접 듣기 위해 전공의 또는 외부 연자를 교육에 참여시키는 점이었다(ID 10, ID 17, ID 21).
• 셋째, 우수 교과목 사례의 교육방법은대부분 강의 외에도 전문직 정체성 형성 교육방법으로 효과적인에세이 쓰기, 딜레마 이슈 또는 증례에 대한 소그룹토론, 실제 환자또는 표준화환자 면담, 문제바탕학습 또는 프로젝트 학습형태의 협력학습 방법을 포함하고 있었다.
• 넷째, 평가방법은 자기평가, 에세이평가, 자기성찰 보고서, 조별활동 보고서, 토론 및 발표평가 등을활용하고 있었는데, 이러한 평가방법은 전문직 정체성 형성을 위한자기성찰에 도움이 되는 것들이었다(상세한 내용은 부록 2 참조).

고 찰

이 연구는 우리나라 ‘전문직 정체성 형성’ 교육현황을 파악하기위하여 전문직업성 교과목 개설현황, 주요 교육내용, 교육방법 및 평가방법을 조사하였다. 결과를 보면 대학별로 개설된 전문직업성관련 총 교과목 수와 학점은 학교마다 편차가 컸다. 총 개설 교과목을필수로 정하고 있는 대학도 있었지만, 선택 비중이 큰 대학도 있어서총 교과목 수가 많다고 해서 학생들이 이수하는 과목 수가 반드시비례한다고 볼 수는 없었다. 분석대상 대학 중 절반은 전 학년에걸쳐 매 학년에 연속적으로 전문직업성 관련 교과목이 개설되어있었고 나머지 절반은 1–3개 학년에 공백이 있었다. 교육내용은전문직업성에 대한 지식 기반, 자기이해와 발달, 타자와의 상호작용,그리고 사회와 보건의료시스템 속의 의사 역할 탐색으로 이해의지평을 확대하는 구조로 구성되어 있었다. 교육방법은 강의, 토의․ 토론, 실습, 협력학습, 성찰적 글쓰기, 현장체험, 코칭과 피드백,역할모델 등을 사용하고 있었고, 평가방법은 지필고사, 과제 및 보고서, 관찰평가, 에세이 평가와 동료평가, 포트폴리오, 프로젝트 평가등을 활용하는 것으로 나타났다.

이상의 결과를 토대로 전문직 정체성 형성 교육의 확대방향을다음과 같이 제언하고자 한다.

첫째, 전문직업성 관련 교과목에 ‘전문직 정체성 형성’을 명시적인 학습성과나 교육내용으로 표현해야 한다. 내용분석 결과를 보면우리나라 전문직업성 관련 교과목에 ‘전문직 정체성’이라는 단어가자주 사용되지 않았다. 의료 전문가로서의 생각이나 행동은 명확한목표 없이 성공적으로 가르치거나 배우기 어렵다[31]. 과거에는 교육목표가 주로 전문직업성에 대한 지식 기반의 이해에 있었고, 전문직 정체성 형성은 대부분의 교육프로그램에 명시된 목표가 아니었다[3]. 이제는 강조점이 전문직 정체성 형성의 개념을 중심으로 변화되고 있고, 관련 연구와 의학교육자의 이해도 향상되었기 때문에 교과목의 학습성과와 교육내용에 전문직 정체성 형성을 명시하고 ‘의사가 되어감’에 대한 교육내용을 확장하고 재구성할 필요가 있다.

둘째, 매 학년에 전문직 정체성 형성 교과목이 연속적, 반복적으로배치되도록 교육과정을 편성․ 조직할 필요가 있다. 기본의학교육기간은 전문직으로의 전환이 시작되는 중요한 시기이다[32]. 의학전(pre-medical), 임상실습 전(pre-clinical), 임상실습 교육과정은학생들에게 질적으로 각기 다른 실세계이며, 학생 개개인의 성숙도와 정체성 발달에 영향을 미치는 학습경험도 다르다.

• 의과대학 입학시 학생들은 초기 적응 스트레스, 자신의 의학 적성에 대한 확신부족, 우수한 동료와의 비교에 의한 자존감 하락 등으로 인하여의사로서 긍정적인 자기정체성을 개념화하기가 어려울 수 있다.
• 공부량이 집중되는 의학과 1, 2학년 시기에는 시험성적 불안, 실패에대한 두려움으로 인한 스트레스, 의학 지식과 기술의 불충분, 실제환자와의 접촉 경험 부족 때문에 의사로서 자신의 정체성을 내면화하기 어려울 수 있다[31,33-35].
• 그러나 임상실습과정 중의 학생은 환자와의 상호작용을 통해 미래 의사로서 자신의 정체성을 빠르게 개념화할 수 있고[36], 실습현장에서 의료시스템의 구조적, 사회적측면을 경험하면서 기존에 자신이 갖고 있던 의사의 역할 가치와병원 위계구조에 대처하는 의료의 엄중함 같은 다양한 전문직 가치를 통합해 가면서 의사의 전문직 정체성을 수정하고 발달시켜간다[34].

학생들은 의사처럼 생각하고, 느끼고, 행동할 수 있지만 그렇다고 해서 아직 의사는 아니고 ‘의사가 된다는 것’에 대한 내면화도 부족하다[5]. 따라서 학생들이 학년마다 학생수준에서 고유하게 경험하는 갈등과 위기를 성찰과 자기관리를 통해 주체적 경험으로승화시킬 수 있도록 매 학년에 전문직업성 교육과정을 제공해야한다.

셋째, 이 연구결과에서 우리나라의 많은 의과대학들은 전문직업성에 관한 지식 기반, 학생들이 자기와 자신의 미래, 인간과 삶의 의미를 탐색해볼 수 있는 기회, 특히 타인과의 관계, 전체 사회 속에서 의사의 역할에 대한 성찰 기회를 가르치고 있었지만, 일부 대학은 전문직 정체성 형성에 관한 교육내용 중 일부가 전문직업성 교육과정에 아직 포함되지 않은 것으로 나타났다. 그러므로 전문직 정체성형성에 관한 다양한 영역의 교육내용이 누락이 없도록 가능한 모두포함되도록 해야 한다. 앞서 기술하였듯이 전문직 정체성은 인간이 삶을 통해 자신의 경험을 개인적 또는 직업적 자아로 통합해 가면서형성된다[10,37].

이러한 정체성은 개인 정체성, 관계 정체성, 집단정체성의 세 영역에서 발달하는데,

• 개인 영역은 개인의 특성, 자신의신념, 다양한 삶의 경험에 영향을 받고,
• 관계 영역은 가족, 친구,멘토와 같은 중요한 타자에 의해 영향을 받으며,
• 집단 영역은 개인이 속해 있는 사회집단의 영향을 받는다[37].

이런 관점에서 개인 영역에서 자기이해와 발달을 위한 자기성찰, 자기계발과 자기관리, 진로탐색 및 설계를 교육내용에 포함할 필요가 있다. 한편, 인간은 가족,친구, 동아리, 학교, 직장 등 특정 사회집단과 그 집단에서의 역할과 관련해서만 자신의 자아를 알 수 있다[5,38]. 그러므로 타자와 의사소통 역량을 증진시키는 과정은 전문직 정체성 형성과 밀접한 연관을 가지게 된다[39]. 일반인, 환자와 보호자, 동료와의 관계에서 의사소통과 윤리에 대한 주제가 정체성 형성 교육과정에 기본적으로포함되어야 한다[38,40]. 전체 사회와 보건의료시스템과의 관계에서 보면 의료와 정보기술의 발전, 의료에 대한 대중매체의 관심증가, 환자 돌봄에 대한 철학과 관리방식의 변화도 의사 전문직정체성의 변화에 중대한 영향을 미친다[41]. 의과대학에서 환자안전과 의료직종 간 교육이 강조되는 것은 이러한 맥락에서 중요하다. 타 직종 의료인과의 상호작용은 기존에 의사의 역할에 대해 갖고있던 생각과 타 의료직종 전문가의 역할을 비교하고 대조해 봄으로써 의사의 역할과 전문직 정체성에 이해를 밝혀줄 수 있다[42]. 최근연구들은 의사의 전문직 정체성에 대한 기술적 변화의 영향에 대해 개인수준의 전문직 정체성이 지속해서 변화하고 있음을 강조한다[43,44]. 그러므로 전문직 정체성 형성 교육과정에 사회적 맥락을이해하는 과정을 포함해야 한다.

한편, 전문직업성 과정을 개별 교과목으로 개설하지 않고, 기초․ 임상의학 과정과 견고하게 통합되도록 구성하고, 문제바탕학습, 소그룹활동 등 다양한 학습환경에서 자기성찰을 촉진함으로써 전문직 정체성 형성이 잘 통합되도록 구성하는 것도 필요하다[31,45-47]. 예컨대, 의사소통 교육에서 환자의 증상이나 질병에만초점을 두기보다는 전인적 관점에서 환자와 공감적으로 의사소통하는 방식을 가르칠 수 있다. 의사소통 교육은 단순히 의사소통 역량을 키우는 것이 아니라 전문직 정체성 형성 교육을 통합할 수 있도록 구성하는 것이다. 또 다른 예로 치매 환자의 경우, ‘손상된 뇌’에만집중하기보다 치료계획 수립 시 환자의 심리상태와 가족관계 같은심리 사회적인 요인을 고려하고, 환자에게 도움을 제공할 수 있는접근 가능한 의료복지제도를 생각해 보고, 치료계획 수립과정에서동료와 상담하는 방법을 배우고, 자신의 미래 신경과 의사의 역할에대해 생각해 보도록 구성함으로써 전문직 정체성 형성을 도울 수있다[42]. 이 연구결과에서 도출한 우리나라 전문직업성 교육과정의 내용구조는 각 대학에서 개설한 교과목 중 부족한 부분과 보충해야할 범주가 무엇인지에 대한 유용한 정보를 제공할 수 있다.

넷째, 전문직 정체성 형성을 위하여 학생들의 자기성찰을 돕는교육방법이 확대되어야 한다. 이 연구결과, 우리나라 의과대학 중에는 성찰적 글쓰기, 역할모델링, 코칭과 피드백 같은 수업방법을 전문직업성 관련 교과목에서 사용하지 않는 대학들이 다수 있었다. 강의보다는 성찰적 글쓰기, 딜레마 토론, 역할모델, 코칭과 피드백, 강점탐구, 가이드가 있는 토론, 현장학습 등이 성찰학습에 유용하다.

• 성찰적 글쓰기는 전문직 정체성 형성과정에서 자각을 돕고 자신의경험이 갖는 의미를 깨닫게 하는 데 도움이 된다[42]. 개인의 생각,행동, 경험에 관한 토론 역시 학생들이 자기성찰을 통해 의사로서자신의 삶을 구성해볼 수 있게 한다[31]. 성찰과 토론은 전문직 정체성을 개발하는 데 있어 중요한 교수법임이 다수의 연구에서 보고되었다[45,48-50]. 현장학습 또는 실세계와 유사한 경험의 기회를제공하고, 상황학습 또는 경험을 통한 성찰 기회를 제공하는 것도중요하다[51,52]. 피드백은 대화에 참여하는 학습문화를 통해서 학생들이 자신의 사고방식을 바꿀 수 있게 하여 전문직 정체성 형성을촉진할 수 있다[16,53].
• 딜레마 토론 또한 전문직 정체성 형성을 위한 유용한 학습방법이다. 수업토론 자료로 제공되는 딜레마 상황은 학생들에게 자신이가지고 있는 현재의 가치와 관점을 재검토할 기회를 제공한다[5,15].도전적인 딜레마 상황은 질문하게 하고 비판적 성찰을 통해 핵심가치와 비판적 행동을 강화함으로써 전문직 정체성의 개발을 조정하고 촉진할 수 있다[42].
• 학생들이 의과대학 교육과정 중에 경험하는 중요한 사건도 전문직 정체성 형성의 중요한 기회이다. 의과대학입학 후
  • 처음으로 사체를 접하거나,
  • 병원현장에서 의사의 생활을실제로 보는 것,
  • 임상실습과정에서 환자의 죽음을 보는 것,
  • 코로나감염에 대처하는 의료팀을 목격하는 상황
    ...에서 교수자는 학생들에게의사가 된다는 것이 무엇을 의미하는지에 대한 성찰과 의미를 유도하고 전문직으로서의 가치를 내면화하도록 안내함으로써 학생들의전문직 정체성 발달을 촉진해야 한다.
• 정체성 형성과정은 개인적 차원에서 발생하는 심리적 발달인 동시에 공동체 내에서 개인의 역할과 활동 참여과정에서 이루어지는 사회화 과정이기도 하다[7]. 학생들은 사회적 상호작용과정에서 교수의 역할모델을 통해 긍정적 또는 부정적 영향을 받으며[17,18], 학생들은 교수의 행동을 관찰하고, 신념과 철학을 경청하고, 능력 또는 무능력에 주목하기 때문에 교수는 매우 중요한 사회화 대행자이다[54]. 환자, 보호자, 동료, 타 직종 의료인, 일반 대중, 가족 또는친구가 어떻게 대우받는가 하는 것은 학생들의 의식과 무의식 수준모두에 반응하게 하며 이러한 학습은 대부분 암묵적으로 이루어진다[17,18]. 동료 학생 그룹도 공유된 관심사와 가치를 강화하거나 새로운 가치를 형성하는 데 중요한 역할을 한다[39,55,56]. 또 의사와 간호사가 상호작용하는 과정을 보면서 학생들은 진료팀 내에서 팀원으로서 의사의 능력과 역할에 대해 그 가치를 내면화하는 데 영향을받는다[5]. 이러한 과정에서 학생들은 의사의 역할을 배우고, 의학의언어를 습득하고, 직업구조의 위계와 권력구조를 학습하기 때문에역할모델이 중요한 학습방법이라고 할 수 있다[18].

다섯째, 전문직 정체성 형성 교육에 있어서 평가는 매우 중요한문제이다. 전문직 정체성 평가는 자신이 누구인지, 한 인간으로서어떤 사람이 되고 싶은지, 전문가로서 어떤 의사가 되고 싶은지에대한 과정을 측정할 수 있어야 한다. 이러한 평가방법은 자기평가,도덕적 추론평가, 기대되는 전문직업적 정체성의 틀을 기준으로 한 다자간 피드백 평가 등이 활용될 수 있다[5,57]. 이 연구결과, 우리나라 전문직업성 관련 교과목의 평가는 지필고사, 과제와 보고서, 토론발표가 가장 많았고, 약 80% 이상의 대학은 자기평가나 포트폴리오평가를, 30% 이상의 대학은 글쓰기 평가를 활용하지 않는 것으로나타났다. 선행연구는 글쓰기 평가가 학생들의 자기평가, 성찰 및목표설정을 수행하도록 하여 전문직 정체성 형성 교육에 유용함을보고하고 있다[2,3,5,10,53]. 예컨대 도덕적 딜레마 상황에서 학생들의 도덕적 추론능력을 평가하기 위한 이슈 정하기 테스트(the defining issues test)나 피드백 방법을 활용할 수 있다[53]. 포트폴리오 평가를 활용하여 전문직 정체성 학습계획과 성찰, 평가에 학생들을 주도적으로 참여하게 하는 것도 필요하다. 즉 포트폴리오 기록중 입학 시의 에세이, 과정 중 자기평가, 교수 피드백 등의 내용을 주기적으로 점검하고 성찰하는 자기평가방법을 활용할 수 있다[57].우리나라 의학교육에서 전문직 정체성 형성 평가를 위해서 지필고사이외의 다원적이고 다차원적인 평가 및 평가도구를 개발, 적용 및확대할 필요가 있다.

여섯째, 의과대학 행동 규범이 모든 대학에 확대되어야 한다. 화이트코트 세리모니와 행동 규범에 대한 서약은 학생들이 학습과정에서 의사의 공유된 전문직업적 가치를 지키고 윤리적이고 정직하게 탐구하겠다고 약속하는 전문직 정체성 개발과정의 일부다. 이 연구결과를 보면 대부분 대학이 화이트코트 세리모니를 운영하는 것과달리 행동 규범은 약 22%의 대학이 가지고 있지 않았다. 학생 행동규범은 의료를 경험하기 전에 학습자 및 예비 의사로서 학습행위또는 의사의 의료행위에 대해 중요한 것이 무엇인지를 학생들에게생각하게 한다[30]. 화이트코트 세리모니는 흰색 가운에 의미를 부여하고 학생들이 이전까지 머물렀던 강의실에서 벗어나 의학을 실천하는 것이 무엇인지에 대해 생각하고 배우는 의료현장으로 나아가는시간적, 물리적 경계를 넘나들도록 돕는 의식이다[30]. 의과대학은이러한 의식을 통해 인본주의적, 윤리적 실천을 학생들에게 가르치고 시연하는 것이 중요함을 상기시켜야 한다.

일곱째, 전문직 정체성 형성 교육과정을 설계․실행․평가할 의학교육자를 대상으로 교수개발 교육이 필요하다. 이 연구를 위한 자료수집과정에서 연구자가 느낀 점 중 하나는 우리나라 의학교육자들에게 ‘전문직 정체성 형성’ 또는 ‘전문직업성’의 개념과 범위에 대한다양한 생각과 혼동이 있고, 그 결과 각 대학의 전문직업성 관련교과목에 포함 또는 배제되는 내용이 달라진다는 것이었다.

• 협의로 해석하는 경우, 전문직업성, 의료윤리와 법규, 성찰과 자기계발, 환자 중심 의사소통 등의 내용만을 전문직업성 관련 과목으로 인식하였고,
• 광의로 해석한 경우에는 행동과학, 지역사회의학, 직업환경의학, 역학 등 의료인문학 교육과정 전반을 포함하는 양상을 보였다.

전문직 정체성 형성 교육은 해당 지식을 특정 교과에서 직접적인교육내용으로 다룰 수도 있고, 기초․ 임상․ 의료인문학 교육과정과 견고하게 통합적으로 설계하여 전문직 정체성 형성이라는 학습성과에 도달할 수도 있다. 따라서 협의와 광의의 해석 모두 타당할 수있다. 선행연구들은 ‘전문직업성,’ ‘전문직 정체성,’ ‘전문직 정체성형성’ 개념 구분을 명확히 하고[3], 전문직 정체성 형성에 강조점을두게 되면 교육전략도 달라져야 한다고 주장한다[2,7]. 따라서 교육자는 전문직 정체성 형성의 본질에 대한 내용적 지식을 갖추어야하고 가장 적절한 교육방법과 평가방법에 대해서도 이해하고 있어야한다. 교수개발은 학생들의 사회화 과정과 전문직 정체성 형성을촉진하기 위한 교육프로그램의 확대에 있어서 중요한 조건이 된다[3,58].

이 연구가 갖는 제한점은 첫째, 자료분석이 대학별로 응답자가보고한 내용을 기반으로 이루어졌기 때문에 교과목 또는 교과목에대한 설명이 누락되었거나 실제 수업과 다르게 기술된 경우 연구결과와 실제 교육현실에 오차가 있을 수 있다. 둘째, 질적 분석방법을사용한 교육내용의 범주화는 연구자의 경험과 직관에 의존하였기때문에 다른 연구자의 관점에서 보면 새로운 분류가 가능할 수 있다.

이러한 제한점에도 불구하고 이 연구는 우리나라 기본의학교육의 현황을 점검하고 전문직 정체성 교육을 확대하기 위한 유용한통찰을 제공했다는 점에서 의의가 있다. 덕목과 역량 중심의 접근방법을 포함해서 이제는 전문직 정체성 형성이라는 관점에서 ‘의사가되는 것’을 포함하는 광범위한 접근을 시도할 때이다. 향후 전문직정체성 형성을 지원하기 위한 교육프로그램을 개발하고, 전문직 정체성 형성 교육에 적합한 교수법과 평가방법을 도입하고, 전 생애적관점에서 우리나라 의과대학생, 전공의, 그리고 의사의 전문직 정체성 발달과정을 종단적으로 추적하는 연구와 전문직 정체성 형성을 촉진하거나 저해하는 개인적 요소와 조직문화적 요소 등에 대한다양한 추가 연구가 필요하다.

This study examined the current status of the medical professionalism curriculum in Korea to suggest a plan to move towards the formation of a professional identity. Professionalism education data from 28 Korean medical schools were analyzed, including the number of courses, required or elective status, corresponding credits, major course contents, and teaching and evaluation methods. Considerable variation was found in the number of courses and credits in the professionalism curriculum between medical schools. The course contents were structured to expand learners’ experiences, including the essence and knowledge of professionalism, understanding of oneself, social interaction with others, and the role of doctors in society and the healthcare system. The most common teaching methods were lectures and discussions, while reflective writing, coaching, feedback, and role models were used by fewer than 50% of medical schools. Written tests, assignments and reports, discussions, and presentations were frequently used as evaluation methods, but portfolio and self-evaluation rates were relatively low. White coat ceremonies were conducted in 96.2% of medical schools, and 22.2% had no code of conduct. Based on the above results, the author suggests that professional identity formation should be explicitly included in learning outcomes and educational contents, and that professional identity formation courses need to be added to each year of the program. The author also proposes the need to expand teaching methods such as reflective writing, feedback, dilemma discussion, and positive role models, to incorporate various evaluation methods such as portfolios, self-assessment, and moral reasoning, and to strengthen faculty development. 
Keywords: Medical students, Professional identity, Professionalism, Socialization

임포스터 신드롬: 당신 또는 당신의 멘티를 억누르고 있는가? (CHEST, 2019)
Impostor Syndrome Could It Be Holding You or Your Mentees Back?
Subani Chandra, MD, FCCP; Candace A. Huebert, MD, FCCP; Erin Crowley, MD; and Aneesa M. Das, MD, FCCP

"여기 있는 모든 사람들은 매우 성공적입니다! 그들은 매우 똑똑하고 재주가 있습니다. 나는 이 그룹에 속하지 않는다. 누군가의 실수로 여기 들어온 건 아닌지 궁금하다" 많은 이들이 직장생활 중 어느 순간 이와 비슷한 생각을 했을 것이다. 그러한 생각은 임포스터 증후군의 징후일 수 있다. 

“Everyone here is so successful! They are so smart and accomplished. I do not belong in this group. I wonder if I got invited by mistake.” Many may have had similar thoughts to this at some point in their career. Such thoughts may be a sign of impostor syndrome (IS). 

IS는 객관적인 증거에도 불구하고 자신의 업적이 부당하다고 믿는 성공한 사람들이 경험하는 사기감fraudulence입니다. IS는 교육생, 고급 진료 제공자, 제휴 의료 전문가, 의사를 포함한 모든 의료 전문가들 사이에서 널리 퍼져 있습니다. 비록 IS를 가진 사람들은 성공했지만, 그들은 스스로를 사기꾼으로 간주하고 그들의 성공을 능력보다는 운과 같은 외부 요인에 돌립니다. 자신들에게 부여된 성공과 성취를 진정으로 누릴 자격이 없거나 자격이 없다는 확신에 따라, 그들은 사기꾼으로 드러날까 두려워하며 살아간다. 
IS the feeling of fraudulence experienced by successful individuals who believe that their achievements are undeserved, despite objective evidence to the contrary. IS is prevalent among all health professionals including trainees, advanced practice providers, allied health professionals, and physicians. Although people with IS are successful, they consider themselves to be frauds and attribute their success to external factors, such as luck, rather than ability. Based on the conviction that they are not truly deserving of, or qualified for, the success and achievements attributed to them, they live in fear of being exposed as impostors. 

IS는 심리적인 고통, 특히 우울증과 불안감과 밀접한 관련이 있으며 의사와 훈련생들에게 점점 더 인식되고 있는 문제인 번아웃과 관련이 있다. IS를 가진 개인들은 일반적으로 잘 지내는 것처럼 보이지만 조용히 고군분투할 수 있는 성취도가 높은 사람들이다. IS 훈련생들은 특히 긍정적인 피드백을 내면화하지 못하고, 다른 이들이 자신의 능력에 대해 거짓으로 높은 인상을 갖고 있다는 생각에 자신이 받은 칭찬을 무시하기 때문에 취약하다. 이러한 접근 방식은 종종 능력이나 지능이 향상될 수 없다는 고정적인 사고방식과 결합되어 IS를 보유한 이들의 성장, 학습 및 신뢰에 큰 제약을 줄 수 있습니다. 실제로 IS는 학습자의 웰니스를 개선하는 데 있어 인식되지 않는 장벽이 될 수 있습니다. 또한 IS는 교육생뿐만 아니라 교수진과 리더십에서도 높은 유병률을 보이고 있으며, 시간, 경험, 성공으로 줄어들지 않습니다. IS를 관리하려면 영향을 받는 개인뿐만 아니라 학습 환경과 교육 방식도 포함하는 다각적인 접근 방식이 필요합니다. 

IS is strongly associated with psychologic distress—especially depression and anxiety—and is linked to burnout, a problem that is increasingly recognized in physicians and trainees. Individuals with IS are typically high achievers who seem to be doing well but may be struggling quietly. Trainees with IS are particularly vulnerable because they fail to internalize positive feedback, and disregard the accolades they receive, in the belief that others have a falsely high impression of their abilities. This approach, often combined with a fixed mindset of believing that ability or intelligence cannot be improved, can pose a significant constraint on the growth, learning, and confidence of those with IS. In fact, IS can be an unrecognized barrier to improving trainee wellness. Additionally, IS has a high prevalence not just in trainees but also in faculty and leadership, and it does not abate with time, experience, or success. Managing IS requires a multifaceted approach involving not only the individual affected but also the learning environment and pedagogic styles. 

정의 및 보급률
Definition and Prevalence

IS는 1970년대 후반 클랜스와 아이메스에 의해 성공을 내재화할 수 없는 성취도가 높은 사람들 사이에서 일어나는 현상이라고 처음 설명되었다. IS의 영향을 받은 이들은 자신들의 성공이 능력이 아닌 우연 때문이라고 확신하고 있으며, 그 성과가 미미하다고 보고 있다. 결과적으로 이들은 자신들이 성공률이 높은 사람들 속에서 사기꾼이고 또래들 사이에 속하지 않는다고 믿기 때문에 '발각될까 봐' 두려워하며 살아간다. 

IS was first described in the late 1970s by psychologists Clance and Imes as a phenomenon occurring among high achievers who are unable to internalize their success. Those affected by IS are convinced that their success is because of chance, rather than ability, and that their achievements are insignificant. Consequently, they believe that they are impostors amid highly successful people and do not belong among their peers, so they live with a fear of being “found out.” 

IS를 가진 사람들은 종종 성취도가 높지만, 그들은 성취도가 아니라 결코 충족되지 않는다고 인식되는 내부 기준에 의해 그들의 역량을 측정합니다. Young은 역량에 대한 자체 평가를 바탕으로 IS의 5가지 하위 유형을 설명합니다(표 1). 

Although people with IS are often high achievers, they measure their competence not by their achievements but by an internal set of standards which are never perceived to be met. Young describes 5 different subtypes of IS based on self-imposed assessments of competence (Table 1). 

IS를 가진 개인은 자신의 자아 회의와 사기성 감정을 IS로 인식하지 못할 수 있지만, '발각될 것'에 대한 두려움과 같은 IS의 측면과 쉽게 동일시할 수 있다. IS를 식별하고 IS의 심각성을 평가하는 데 도움이 되는 여러 도구가 개발되었습니다. 검증되고 잘 연구된 척도 중 하나는 클랜스 임포스터 현상 척도(표 2)로, 개인이 IS를 보유하고 있는지 여부와 IS의 심각성을 판단하는 데 사용할 수 있다. 
Individuals with IS may not recognize their feelings of self-doubt and fraudulence as IS, but they may readily identify with aspects of IS, such as the fear of being “found out.” Several instruments have been developed to help identify IS and assess its severity. One validated and well-studied measure is the Clance Impostor Phenomenon Scale (Table 2), which can be used to determine if an individual has IS and, if so, its severity. 

IS는 다양한 문화, 직업, 계급, 그리고 성공의 수준에 걸쳐 남성과 여성 모두에게 영향을 미칩니다. 실제로 많은 연예인들이 임포스터리즘에 대한 감정을 인정했고, 70%의 사람들이 IS를 한 번쯤 경험하게 될 것으로 추산된다. 클랜스와 아이메스는 IS가 여성에게만 일어나는 현상이라고 처음 보고했지만, 이후 연구에 따르면 남성도 IS를 경험하는 것으로 나타났다. 남성도 여성과 마찬가지로 성공에 대한 기대가 낮고 자신의 성취를 행운으로 돌릴 수 있지만, IS의 심각성은 여성에게서 더 높은 경향이 있다는 연구결과도 있다. 
IS affects both men and women across different cultures, occupations, ranks, and levels of success. In fact, many celebrities have acknowledged having feelings of impostorism, and it is estimated that 70% of people will experience IS at least once. Although Clance and Imes initially reported IS as a phenomenon occurring exclusively in women, further work has shown that men experience IS as well. Although men, just like women, can have low expectations of success and attribute their achievements to luck, some studies suggest that the severity of IS tends to be higher in women. 

훈련병 등 의료인이 IS에 특히 취약할 수 있다. 보건전문학교로의 경쟁적인 입학전형은 좋은 성적을 거두기 위해 스스로를 몰아붙이는 사람들을 선발하는 경향이 있다. 일단 선발되면, 이러한 최고의 성과자들은 종종 다른 비슷한 성취도가 높은 사람들에게 둘러싸여 있다는 것을 발견하게 되는데, 이것은 그들 자신의 성취를 비정형적이기 보다는 전형적인 것으로 정상화시킨다. 의료 훈련과 실습으로의 전환 과정에는 새로운 도전이 가득한데, 이는 자아 회의와 사칭의 감정을 고조시킬 수 있다. 헤닝 등은 한 대학의 의대생, 치과생, 간호생, 약대생 477명을 대상으로 IS 확산률을 30%로 집계했다. 빌웍 등은 의대생 138명 중 여성의 약 50%, 남성의 약 25%가 IS의 영향을 받았다고 전했다. 대부분의 연구는 임포스터리즘의 감정이 더 많은 훈련과 경험으로 누그러지지 않는다는 것을 보여준다. 실제로 빌웍 등은 의과대학 4학년이 훈련 초반과 비교해 IS의 증가와 상당한 연관성이 있다는 사실을 밝혀냈다. 대학원 의학교육 등에서도 IS의 높은 유병률이 이어지고 있다. 오리엘 등은 가정의학과 거주자 255명을 대상으로 조사한 결과 약 3분의 1이 IS(여성 41%, 남성 24%)를 보유하고 있는 것으로 나타났다. 캐나다의 48명의 내과 레지던트들을 대상으로 한 또 다른 연구에서 43.8%가 IS를 가지고 있다고 보고했다. 더군다나 외국인 유학생은 국내 졸업생에 비해 IS 보유 확률이 11배 가까이 높았다. 미국에서 수련하고 있는 대학원생과 의사들의 약 4분의 1이 국제적인 의학 졸업생들이라는 점을 고려하면, 이 연구 결과는 특히 주목할 만하다. 성취를 자신의 타고난 능력에 돌리지 못하고, 다음 번에는 운이 따르지 않을 수도 있다는 두려움은 성공이 임포스터리즘의 감정을 영속시키게 한다. 이에 따라 교수진 내 IS 유병률도 비슷하게 높은 것으로 나타났다. 

Medical professionals, including trainees, may be particularly vulnerable to IS. The competitive admissions process into health profession schools tends to select individuals who push themselves to perform well. Once selected, these top performers often find themselves surrounded by other similar high achievers, which normalizes their own achievements as typical rather than atypical. The process of medical training and transition to practice is fraught with new challenges, which can heighten feelings of self-doubt and impostorism. In 477 medical, dental, nursing, and pharmacy students at one university, Henning et al found the prevalence of IS to be 30%. Villwock et al reported that about 50% of women and 25% of men, out of 138 medical students, were affected by IS. Most studies show that impostor feelings do not abate with more years of training and experience. In fact, Villwock et al found that the fourth year of medical school was significantly associated with an increase in IS compared with earlier years in training. The high prevalence of IS continues into graduate medical education and beyond. Oriel et al surveyed 255 family medicine residents and found that about one-third had IS (41% of women and 24% of men). In another study of 48 internal medicine residents in Canada, Legassie et al reported that 43.8% had IS. Furthermore, foreign-trained residents had almost 11 times higher odds of having IS compared with local graduates. Given that approximately one-quarter of postgraduate trainees and physicians practicing in the United States are international medical graduates, this finding is particularly striking. The failure to attribute achievements to one’s inherent ability, and the fear that luck may not be so favorable next time, allows success to perpetuate the feelings of impostorism. As a result, the prevalence rate of IS among faculty also appears to be similarly high. 

영향 
Impact 

IS는 개인의 심리적, 신체적, 직업적 행복에 상당한 영향을 미칩니다(표 3). 성공을 내면화하지 못하는 것, 자기 회의감을 품는 것, 외부의 통제거점을 갖는 것, 능력의 인상을 유지하기 위한 만연한 필요성은 모두 IS를 가진 사람들의 심리적 안녕을 방해한다. IS는 훈련생들의 우울증과 불안감을 포함한 심리적 고통과 상당한 관련이 있다. 실제로 의대·치대·간호대·약대 학생들 사이에서는 IS의 중증도가 연령·성별·인종·결혼 여부·학년·정신건강치료 이력 등 평가된 모든 인구통계학적·인성적 데이터보다 일반적인 심리적 고통과 상관관계가 더 컸다. 
IS has significant impact on an individual’s psychologic, physical, and professional well-being (Table 3). The failure to internalize success, harboring feelings of self-doubt, having an external locus of control, and the pervasive need to maintain the impression of ability all interfere with the psychologic well-being of those with IS. IS is significantly associated with psychologic distress in trainees, including depression and anxiety. In fact, among students in medicine, dentistry, nursing, and pharmacy schools, the severity of IS was more strongly correlated with general psychologic distress than all of the demographic and personality data evaluated, including age, sex, race, marital status, academic year, and history of mental health treatment. 

IS를 가진 사람들은 실패를 피하기 위해 많은 압박을 받는 경향이 있습니다. 특히 가시성이 높을 수 있는 과제에 직면했을 때, 잠재적인 실패에 대한 불안감과 비현실적인 높은 기준이 결합되어 완벽주의나 미루는 등 부적응적인 방식으로 반응하게 된다. 과로하고, 과도하게 준비하고, 완벽을 추구하는 사람들은 그들의 성공을 업무에 투입된 일의 양으로 돌린다. 막판에 일을 미루고 집중적인 준비를 하는 사람들은 자신의 성공을 행운으로 돌립니다. IS를 가진 사람들은 어떠한 일탈이 실패의 가능성을 증가시킬 것이라는 두려움 때문에 이러한 부적응적인 업무 습관을 고칠 수 없다. 이는 신체적, 정신적 피로로 이어질 수 있으며, 이러한 사람들은 높은 수준의 성과를 유지하는 능력에 대해 불확실함을 느낄 수 있다. 결과적으로, 그들은 잠재력의 전체 규모에 도달하지 못하는 결과로 중요한 기회를 피할 수 있다. 실제로 IS를 가진 개인들은 성공에 대한 두려움으로 발전할 수 있는데, 그 이유는 거기에 따르는 추가적인 책임감과 가시성 때문이다. 이는 새로운 도전이 끊이지 않고 잦은 수행 평가가 강조되는 학업 환경에서 특히 매서운poignant 것이다. 

Individuals with IS tend to place themselves under a lot of pressure to avoid failure. In particular, when faced with a task that may have high visibility, the anxiety of potential failure combined with their unrealistic high standards causes them to react in maladaptive ways such as perfectionism and procrastination. Those who overwork, overprepare, and seek perfection (such that the input is out of proportion to the impact on the quality of their work) attribute their success to the amount of work put into the task. Those who procrastinate and do intense preparation at the last minute attribute their success to luck. Individuals with IS are unable to break these maladaptive work habits because of the fear that any deviation will increase the likelihood of failure. This can lead to physical and mental exhaustion, such that these individuals feel uncertain about their ability to maintain their high level of performance. As a result, they may avoid prominent opportunities with the consequence of failing to reach the full scale of their potential. Indeed, individuals with IS may develop a fear of success because of the additional responsibility and visibility that can come with it. This is particularly poignant in the academic setting where new challenges are continually encountered and there is an emphasis on frequent evaluations of performance. 

특히, 이러한 업무 관련 스트레스, 신체적, 정서적 피로, 그리고 IS와 겹치는 다른 심리적 동반성 또한 번아웃과 관련이 있다. 빌웍 등은 의대생들의 IS와 번아웃의 연관성을 조사한 결과 IS가 정서적 탈진, 이인화, 개인적 성취도 감소 등 번아웃 증후군의 여러 가지 요소와 유의미한 상관관계를 보였다. 레가시 등은 48명의 내과 레지던트들을 대상으로 이 관계를 연구했고 IS와 개인 성취도 사이의 부정적인 상관관계를 보고했다. IS를 가진 사람들이 그들의 성취를 받을 자격이 없다고 느낀다는 것을 고려하면 이것은 아마도 놀랍지 않을 것이다. 

Notably, these conditions of work-related stress, physical and emotional exhaustion, and other psychologic comorbidities that overlap with IS are also associated with burnout. Villwock et al examined the association between IS and burnout in medical students and found that IS was significantly correlated with multiple components of burnout syndrome, including emotional exhaustion, depersonalization, and reduced personal accomplishment. Legassie et al studied this relationship in 48 internal medicine residents and reported a negative correlation between IS and the personal accomplishment scale. This is probably not surprising given that individuals with IS feel undeserving of their accomplishments. 

IS를 가진 전문직 종사자들은 그들의 심리적인 행복에 상당한 대가를 치르고도 임상적, 학술적 업무를 효과적으로 수행하는, 전형적으로 높은 성취도가 높다. 하지만, 열심히 일해서 성취하는 것이 그들의 진정한 능력을 향상시키지 못한다고 믿는 고정된 마음가짐으로 인해 그들의 성장이 저해될 수도 있습니다. 그들은 자신의 성공이 자신의 기술이라기보다는 환경에 기인한다고 긍정적인 피드백을 무시합니다. 그 결과, 성공에 대한 객관적인 증거도, 우수한 성과에 대한 진실된 주관적 확신도 임포스터리즘의 감정을 제거하지 못한다. 프로그램 감독, 멘토, 감독 역할의 사람들은 성취도가 높고 성공한 개인들조차도 어려움을 겪을 수 있고 긍정적인 피드백이 그들을 돕는데 충분하지 않을 수 있다는 것에 주목하는 것이 중요하다. IS를 보유하고 있는 사람들에게 IS를 인식하고 관리하는 것이 필수적입니다.
Despite their self-perceived fraudulence, professionals with IS are typically high achievers who effectively fulfill their clinical and academic work, even at significant cost to their psychologic well-being. However, their growth may be impeded by having a fixed mindset with the belief that accomplishment through hard work does not improve their true ability. They disregard positive feedback by attributing their success to circumstance rather than their own skill. As a result, neither objective evidence of success nor sincere subjective assurances of superior performance remove the feelings of impostorism. It is important for program directors, mentors, and those in supervisory roles to note that even high-achieving, successful individuals may be struggling and that positive feedback may not be enough to help them. It is imperative to recognize and manage IS in those who have it. 

IS 자체 관리
Managing IS in Ourselves

임포스터리즘의 핵심이 '발각될까 봐' 하는 두려움이라는 점에서 임포스터리즘 감정을 가진 대부분의 사람들은 침묵 속에서 고통을 겪는다. IS를 상대하기 위한 필수적인 초기 단계는 IS를 인식하고, 그것이 어떤 존재인지에 대한 imposter-like feelings에 이름을 붙이는 것입니다. 이것은 적절한 맥락에서 불충분함과 사기성의 감정을 이해하는데 도움을 줄 수 있다. 문제를 명명하는 것은 또한 그것을 둘러싼 대화를 열어주기 때문에 고립되어 고통 받을 필요가 없다. 

Most people with impostor feelings suffer in silence given that the core of impostorism is a fear of being “found out.” The essential initial step in dealing with IS is recognizing it and naming the impostor-like feelings for what they are. This can help one understand the feelings of inadequacy and fraudulence in the right context. Naming the problem also opens up dialogue surrounding it, so one does not have to suffer in isolation. 

비록 약간의 자기 회의감을 갖는 것은 일반적인 일이고 바람직할 수 있지만, 이러한 감정들이 성공할 자격이 없다는 믿음으로 이어지면 안 된다. IS 개인들은 자신의 성공을 지나치게 강조하는데 겸손해 보일지 모르지만 겸손해 보이는 것은 어떻게든 자신을 속여 지금의 지위에 이르게 했다고 믿는 것과는 다르다. IS의 슈퍼스튜던트/여성/남성 아형은 그들의 단점에 집중하며 종종 그들의 많은 업적을 간과할 수 있습니다. 한 사람의 성공과 그것에 기여한 기술에 대한 객관적인 평가는 이러한 믿음과 싸우는 것을 도울 수 있다. 이를 위한 한 가지 방법은 자신의 업적과 성과를 내기 위해 사용된 핵심 기술을 나열하여 개인적인 경력 성공 목록을 작성하는 것이다. 게다가, 자신이 잘하는 것을 나열하는 것은 약점에서 강점으로 초점을 옮길 수 있습니다. 
Although some feelings of self-doubt are usual and expected, these should not lead to the belief that one does not deserve to succeed. Individuals with IS deemphasize their success, which may seem like humility, but being modest is different from believing one has somehow managed to fake one’s way to the current position. The superstudent/woman/man subtype of IS focuses on their shortcomings and can often overlook their many achievements. An objective evaluation of one’s successes and the skills that contributed to those can help combat these beliefs. One way of doing so is to conduct a personal career success inventory by listing one’s achievements and the core skills used to bring these to fruition. Additionally, listing things that one does well can shift the focus from weaknesses to strengths. 

다만 IS를 경험하는 사람에게 성공과 장점을 객관적이고 진실하게 나열하는 일은 스트레스가 될 가능성이 높다. 자신의 능력에 대한 현실적인 평가를 제공하는 또 다른 선택은 멘토와 동료들과의 강한 관계를 이용하는 것이다. 멘토들의 지지적이고 격려적인 지도는 한 사람이 사칭주의의 감정을 일반적이고 비합리적인 것으로 인식하도록 도울 수 있다. 임포스터 감정을 털어놓을 수 있는 동료들을 신뢰하면 스트레스와 긴장감이 줄어들고 고립감을 없앨 수 있다. 특히, 이 기술은 솔리스트 아형의 측면이 있는 사람들이 공동체의식을 성공의 일부로 받아들이도록 도울 수 있다. 동료들은 또한 객관적이고 현실적인 피드백을 제공할 수 있습니다. 그럼에도 IS를 이끌어낸 뿌리 깊은 신념을 바꾸는 데는 시간과 끈기가 필요하다. 
However, the task of listing successes and strengths in an objective and truthful manner for someone experiencing IS is likely to be stressful. Another option to provide a realistic assessment of one’s abilities is to use strong relationships with mentors and colleagues. The supportive and encouraging guidance of mentors can help one recognize feelings of impostorism as both common and irrational. Having trusted colleagues in whom to confide impostor feelings reduces stress and tension and can remove the sense of isolation. In particular, this technique can help those with aspects of the soloist subtype to embrace a sense of community as being part of success. Peers can also provide objective and realistic feedback. Nonetheless, changing the deep-rooted beliefs that led to IS in the first place takes time and persistence. 

IS를 극복하려면 imposter-like thinking의 고리를 끊는 것이 중요하다. Thought stopping and Shipping은 생각의 패턴을 바꾸기 위해 사용할 수 있는 두 가지 방법입니다.

• 사고중단은 타고난 천재성과 전문가 아형의 측면을 가진 사람들에게서 흔히 볼 수 있는 문제적 사고를 방해하는 것을 목표로 하는 자기실천적인 인지 개입이다. 부정적인 생각을 염두에 두고mindful, 좀 더 긍정적인 생각으로 대체하는 것이 이 기술의 기본이다. 이러한 긍정적인 생각들을 자기 연민과 자신에 대한 친절로 뿌리내리는 것은 한 사람의 능력에 대해 더 건설적이고 비판적이지 않은 관점을 만들어 낼 수 있게 한다.
• 배송은 비즈니스 문헌에서 사용되는 용어로서, 아이디어가 완벽해질 때까지 출시나 발표를 미루지 않는 개념을 나타냅니다. 배송은 누군가의 안전지대를 벗어나게 하는데, 이것은 특히 완벽주의자와 전문가 IS의 하위 유형에게 성장과 창의성에 강한 자극이 된다. 그것은 또한 자신의 실수를 용서하게 함으로써 자기 연민을 형성합니다. 전문적인 치료와 상담은 사기꾼과 같은 사고의 순환을 끊기 위해 사용되는 도구에 추가적인 깊이를 제공하는 데 도움을 줄 수 있다.

Breaking the cycle of impostor-like thinking is critical to overcoming IS. Thought stopping and shipping are two methods one can use to change patterns of thought.

• Thought stopping is a self-practiced cognitive intervention aimed at interrupting problematic thoughts that are common in those with aspects of the natural genius and expert subtypes. The basis of the technique is to be mindful of negative thoughts and replace them with something more positive. Rooting these positive thoughts in self-compassion and kindness toward oneself allows one to generate a more constructive and uncritical view of one’s abilities.
• Shipping, a term used in business literature, represents the concept of not waiting until an idea is perfect before launching or presenting it. Shipping pushes one outside one’s comfort zone, which is a strong stimulus for growth and creativity especially for the perfectionist and expert IS subtypes. It also builds self-compassion by allowing one to forgive one’s mistakes. Professional therapy and counseling can help provide additional depth to the tools used to break the cycle of impostor-like thinking. 

우리가 가르치는 분야에서의 주소 지정
Addressing IS in Those We Teach

우리가 가르치고 멘토링하는 이들에게 IS를 인식하고 대처하는 것은 우리 스스로 IS를 관리하는 것만큼 중요합니다. IS는 교육생들이 최고의 잠재력에 도달하는 것을 막을 수 있으며 의학 교육에 여러 가지 영향을 미칩니다. IS를 보유한 교육생이 많은 만큼 교육적 접근에 적응하고 후원을 받을 수 있는 학습환경을 조성하는 것이 중요하다. 실제로, 많은 기관들이 학생들의 IS를 관리하기 위해 구체적이고 구조적인 개입을 개발했습니다. 교육생들이 IS를 인지하고 관리할 수 있도록 힘을 실어주는 프로그램은 교육생들이 성과를 최적화하는 데 도움을 줄 수 있다. 

Recognizing and addressing IS in those we teach and mentor is just as important as managing IS in ourselves. IS can prevent trainees from reaching their highest potential and has several implications for medical education. Given the large number of trainees with IS, it is important to adapt pedagogic approaches and create a supportive learning environment. In fact, a number of institutions have developed specific structured interventions to manage IS in students. Programs that empower trainees to recognize and manage IS can help trainees optimize their performance. 

IS 자체를 완화하기 위해 언급된 몇 가지 기술은 교육생들의 IS를 해결하는 데에도 사용될 수 있습니다. 멘토는 멘티로 하여금 inadequacy와 fraudulence의 감정은 IS의 결과라는 것을 이해하도록 도울 수 있습니다. 이를 통해 IS 보유자들이 혼자가 아님을 알게 하는 것은 물론 멘토-멘티 관계에 대한 정직성과 신뢰도 강화할 수 있다. 이러한 신뢰는 훈련생의 능력에 대한 객관적인 평가를 그들과 공유하는 데 중요한 역할을 할 수 있습니다. 성취의 사실에 집중하고, 외적인 요인보다는 기술과 능력에 귀속시키는 것이 교육생들이 성공을 내면화하는 데 도움이 될 수 있다. 예를 들어, 만약 훈련생이 긍정적인 결과를 행운에 돌린다면, 멘토는 그들의 성공을 내적 요인으로 돌림으로써 생각을 재구성하는 것을 도울 수 있다. 
Several of the techniques mentioned, to mitigate IS in oneself, can also be used to address IS in trainees. A mentor can help a mentee understand that their feelings of inadequacy and fraudulence are in fact a result of IS. Not only does this let individuals with IS know that they are not alone, it can also strengthen honesty and trust in the mentor-mentee relationship. This trust can play a vital role in sharing an objective assessment of a trainee’s abilities with them. Focusing on the facts of accomplishments, and attributing them to skill and ability rather than external factors, can help trainees internalize their success. For example, if a trainee attributes a positive outcome to luck, a mentor can help reframe their thoughts by crediting their success to internal factors, such as being efficient or leading with authority. 

또한 멘토들은 종종 IS에 수반되는 고정된 사고방식을 성장 마인드로 전환하는 데 중요한 역할을 할 수 있습니다. 이는 IS 훈련생들이 좌절을 사칭꾼이라는 증거로 받아들이기보다는 학습과 성장의 본질적인 부분으로 바라볼 수 있도록 돕는다. 성장형 마음가짐 육성을 위한 몇 가지 팁에는 다면적인 피드백 제공, 투쟁을 기회로 보기, 지능만이 아닌 새로운 접근과 좋은 방향의 노력을 칭찬하기, 목표 설정으로 자기 성찰을 장려하기 등이 있다. 

Furthermore, mentors can play an important role in shifting a fixed mindset that often accompanies IS to a growth mindset. This helps trainees with IS to view setbacks as an inherent part of learning and growth rather than accepting them as proof that they are impostors. Some tips for nurturing a growth mindset include providing multifaceted feedback, viewing struggle as opportunity, praising an attempt at a new approach and well-directed effort instead of intelligence alone, and encouraging self-reflection with goal setting. 

자신과 다른 사람을 비교하는 것은 종종 IS 경험의 밑바탕이 되며, 특히 다른 사람들이 더 유능하다고 인식할 때 더 그렇다. 연구 결과에 따르면 교사가 만드는 환경은 학생이 공간을 배움의 기회로 보는지, 또래와 자신을 비교하고 대조하는 장으로 보는지에 상당한 영향을 미칠 수 있다. 전자는 동기 부여의 더 안정적인 형태이고, 후자는 훨씬 더 스트레스를 많이 받는다. 교육생의 부족함을 드러낼 수 있는 방식으로 가르치는 것은 당황스러움에 대한 두려움 때문에 창의력과 지적 호기심을 억누를 수 있다. IS를 가진 훈련생들은 성공을 확신하지 않는 한 대답을 주저하기 때문에 배우고 능력을 발휘할 기회를 놓친다. IS는 교육생들의 학습과 성장에 중요한 역할을 할 수 있습니다. 교육 스타일을 수정하고 사칭 감정을 관리할 수 있도록 지원과 지도를 하는 것이 교육생들의 진로와 웰빙 과정에 큰 영향을 미칠 수 있다. IS 격퇴 전략은 표 4에 요약되어 있습니다. 
Comparing oneself with others is oftentimes a cornerstone of the IS experience, especially when others are perceived as being more competent. Research suggests that the environment that teachers create can significantly affect whether a student views the space as an opportunity to learn, or as a venue to compare and contrast themselves with their peers. The former is a more stable form of motivation, and the latter is far more stressful. Teaching in a way that can expose a trainee’s inadequacies can suppress creativity and intellectual curiosity because of fear of embarrassment; these feelings are heightened in IS. Trainees with IS hesitate to answer unless certain of success, therefore missing opportunities to learn and showcase ability. IS may play a significant role in the learning and growth of trainees. Modifying teaching styles and providing support and guidance to manage feelings of impostorism can have a significant impact on the course of trainees’ careers and well-being. The strategies to combat IS are summarized in Table 4. 

결론들
Conclusions

IS는 의료계에 만연해 있으며 특히 훈련생들에게 심각한 심리적, 직업적 영향을 미칩니다. IS를 해결하기 위한 첫 번째 단계는 인식 제고입니다. 일단 확인되면, 영향을 받는 개인들과 멘토와 교육자들은 잘못된 자기 회의를 제거하고 부정적인 생각과 부적응적인 행동을 다루기 위한 조치를 취할 수 있습니다. IS를 보유한 개인은 업적과 진정한 능력을 인정함으로써 정신적, 육체적 건강을 유지하면서 가장 높은 직업 목표를 위해 노력할 수 있습니다.

IS is prevalent in the medical profession and has serious psychologic and professional implications, particularly for trainees. The first step to addressing IS is increased awareness. Once identified, affected individuals, and mentors and educators, can work to eliminate the misplaced self-doubt and take steps to address negative thoughts and maladaptive behaviors. By acknowledging achievements and true ability, individuals with IS can be empowered to strive for their highest career goals while maintaining mental and physical wellness.

무엇이 곁에 선 안내자가 되게 만들어주는가? 보건의료전문직 교육에서 멘토들의 동기 및 접근법에 대한 질적 연구(Med Teach, 2022)
What sparks a guide on the side? A qualitative study to explore motivations and approaches of mentors in health professions education
Subha Ramani, Rashmi A. Kusurkar, Evangelos Papageorgiou & Susan van Schalkwyk

논의
Discussion

본 연구의 결과는 국제 멘토링 이니셔티브에 자발적으로 참여한 [HPE 리더들의 주요 동기]를 강조한다. 이러한 동기 부여는 그림 1과 같이 세 개의 렌즈를 통해 볼 수 있습니다.

• 먼저 멘티의 성장이다. 멘티가 학문적 과제를 해결하고 전문적으로 성장할 수 있도록 지도하고 싶다는 열망을 강조했는데, 이는 이타적인 동기로 볼 수 있다.
• 다음으로 모두 멘티로부터 얼마나 많은 것을 배웠는지, 멘토링 과정이 어떻게 자신의 성장을 증진시켰는지 집중 조명했다.
• 마지막으로, 전문직에 되갚겠다give back는 약속에 만장일치를 보았고, 멘토링을 이 목표를 달성하기 위한 중요한 수단으로 보았다.

The results of our study highlight key motivations for leaders in HPE, who voluntarily participated in an international mentoring initiative. These motivations can be viewed through three lenses as depicted in Figure 1.

• First, they emphasised a desire to guide mentees in addressing academic challenges and helping them grow professionally, which could be seen as an altruistic motive.
• Next, all of them highlighted how much they learnt from mentees and how the process of mentoring enhanced their own growth.
• Finally, they were unanimous in their commitment to give back to the profession and viewed mentoring as an important vehicle to accomplish this goal.

이러한 모든 발견에 함축적인 것은 멘토가 그러한 의도를 채택하는 것이 실현 가능하고 현실적일 수 있는 그들 자신의 경력에 있을 필요가 있다는 것이다. 아래에서는 참여 멘토(자신에 대한 집중 vs 타인에 대한 집중)의 동기 부여와 함께 멘토 관계의 중심으로서 심리적 안전에 대한 인식을 강조한다.

Implicit in all these findings is that the mentor needs to be at a point in their own careers where adopting such intent was both feasible and realistic. Below, we highlight what motivated participating mentors (a focus on self vs focus on others) as well as their perception of psychological safety as central to mentoring relationships.

 

 

이 연구의 참가자는 HPE의 국제적인 리더들로, 그들의 기관과 지리적 지역 밖에서 초보 교육자들을 멘토링하기 위해 자원했다. [그들 자신이 좋은 멘토링을 받았다는 사실]은 젊은 교육자들에게 그들의 경험의 혜택을 전하도록 영감을 주었다(Aryee et al. 1996; Malota 2017). 다른 연구에서는 멘토링을 [자신의 발전을 위한 디딤돌]로 보는 경우가 있다고 보고했지만(Little 1990; Allen 등), 우리의 멘토들은 주요 동기부여요인으로 (자신의) 학문적 발전을 강조하지 않았다. 우리 연구에서 자주 언급되는 동기로는 멘티들의 직업적 발달에 도움을 주고자 하는 [이타주의]가 있었고, 이것이 멘토링 역할을 수용하는 주요 동인이 될 수 있음을 제안한다(배트슨과 파월 2003).

The participants in this study were international leaders in HPE who volunteered to mentor novice educators outside their institutions and geographical region. The fact that they themselves had been recipients of good mentoring inspired them to pass on the benefit of their experience to young educators, similar to reports from the business literature (Aryee et al. 1996; Malota 2017). While other studies have reported that mentors may view mentoring as a stepping stone to their advancement (Little 1990; Allen et al. 1997), our mentors did not emphasise academic advancement as a key motivator. We propose that altruism could be a major driver for acceptance of this international virtual mentoring role based on their frequently stated desire to help mentees in their professional development (Batson and Powell 2003).

[공감-이타주의 가설]은 도움이 필요한 타인을 보며 생기는 감정이입이 이타적 동기를 불러일으킨다는 것이다(배트슨 2019). 비록 이타주의가 더 큰 이기주의 서클 안에 존재하는 것으로 묘사되고, 타인을 돕고자 하는 욕망조차도 종종 자신에게 이익을 주기 위한 동기에 의해 움직인다는 것을 암시하지만, 이타주의의 작지만 유의미한 부분은 분명 이기주의 서클 바깥에 있고, 자기 이익에 대한 욕망에 의해서만 움직이지 않는다(Batson 2019).

The empathy-altruism hypothesis states that empathic emotion, caused by seeing others in need, evokes altruistic motivation (Batson 2019). Although altruism is depicted as existing within a larger egoism circle, suggesting that even the desire to help others is often driven by motives to benefit the self, a small but significant part of altruism is outside the egoism circle and not driven by desire for self-benefit (Batson 2019). 

[이타주의-자기중심성 개념]은 타인-초점적이고 자기-초점적인 멘토 동기와도 잘 맞아떨어진다(Beara and Hwangb 2015; Malota 2017). 이러한 국제적 멘토링 맥락에서 멘토링 역할은 전적으로 자발적이었고, 자신에게 직접적인 전문적인 혜택은 없었으며 멘토와 멘티는 사전 관계가 없었으며 상호 작용은 주로 가상적이었다. 따라서, 모든 참여 멘토들이 멘토 관계를 자신의 성장에 기여하는 양방향으로 보고했지만(자기-초점), 그들의 주된 동기는 멘티의 성장을 촉진하고 분야를 발전시키는 것으로 나타났다(타인-초점).

The altruism-egoism concept also aligns well with other-focussed and self-focussed mentor motivations (Beara and Hwangb 2015; Malota 2017). In this international mentoring context, the mentoring role was entirely voluntary, there was no direct professional benefit to themselves, mentors and mentees did not have a prior relationship and the interactions were mainly virtual. Thus, though all participating mentors reported mentoring relationships as bidirectional which contributed to their own growth (self-focus), their primary motivation appeared to be facilitating the growth of mentees and advancing the field (other focus).

멘토링 관계에 대한 접근방법에서는 참가자 전원이 [심리적 안전]이 중요하다고 강조했다. 이를 위해서는 리더가 솔선수범하여 모든 직원과 팀원의 의견을 수렴하고, 모든 수준의 개인이 의견과 우려를 편안하게 표명하며, 다방향 피드백을 장려하는 환경이 필요하다(에드몬슨 2019). 멘토링 관계에서 안전을 확립하기 위한 제안된 전략들은 다음을 포함한다: 

• 전문가 뒤에 숨은 '사람'을 알아봄으로써 어색함을 해소한다.
  
• 멘티가 자신의 안건을 작성하고 계획을 수립하고 그 실행을 전략화하도록 권장한다.
  
• 멘티가 미래 커뮤니케이션을 계획할 수 있도록 허용한다.
  
• 비판적 자기성찰을 촉진한다.
  
• 그들의 열망에 대한 오너십을 갖도록 격려한다.

In terms of approach to mentoring relationships, all participants emphasised that psychological safety is critical. This requires an environment where leaders lead by example and invite input from all staff and team members, individuals at all levels feel comfortable voicing their opinions and concerns, and multidirectional feedback is encouraged (Edmondson 2019). Suggested strategies to establish safety in a mentoring relationship included:

• breaking the ice by getting to know the person behind the professional;
• encouraging mentees to script their own agenda, formulate plans and strategize implementation thereof;
• allowing mentees to plan future communications;
• promoting critical self-reflection; and
• encouraging them to take ownership of their aspirations.

그들 모두는 그들의 관계를 협력적인 것으로 보는 것처럼 보였고, 그것을 'guide on the side'로 접근했다. 따라서 참여 멘토들은 모니터나 모범적인 역할보다는 자발적으로 Losveld 등이 설명한 촉진자 및 코치 역할을 맡는 것으로 나타났다(Loosveld 등 2020). 이러한 접근법은 HPE에서 가끔만 강조되는 [Daloz 멘토링 모델](Daloz 1986)과도 일치한다. 효과적인 멘토 관계는 [지지, 도전, 멘티의 미래 목표에 대한 비전]이라는 세 가지 핵심 요소의 균형을 맞춰야 합니다.

• 너무 많은 지지와 아주 적은 도전은 의미 있는 성장을 촉진할 것 같지 않다;
• 마찬가지로 지원 없이 너무 많은 도전은 개인들을 퇴보하게 할 것이다.
• 효과적인 멘토는 기회를 제공하고 기대치를 설정함으로써 지원과 도전의 균형을 맞춘다(Bower 1998

All of them appeared to view their relationship as collaborative and approached it as a ‘guide on the side.’ Thus, participating mentors spontaneously appeared to take on facilitator and coach roles described by Loosveld et al, rather than the monitor or exemplar roles (Loosveld et al. 2020). These approaches are also consistent with the Daloz model of mentoring (Daloz 1986), the principles of which are infrequently emphasised in HPE. Effective mentoring relationships should balance three key elements – support, challenge and a vision of the mentee’s future goals.

• Too much support and very little challenge are unlikely to foster meaningful growth;
• equally too much challenge without support is likely to cause individuals to regress (Daloz 1986).
• Effective mentors balance support with challenge by providing opportunities and setting expectations (Bower 1998).

멘티와의 관계에 대한 투자가 필수적인 것으로 보고되었지만, 일부 멘토들은 이러한 관계에서 경계를 유지하는 것의 중요성을 강조했다. [경계]는 모든 전문적 관계에서 개인 간의 적절한 행동과 상호작용을 가이드하는 '기초적인 그라운드 룰'으로 설명되었다. 잭슨 등은 이전에 교차 성별 멘토링 관계에서 경계 유지의 중요성을 제기해 왔다(Jackson et al. 우리의 멘토들은 젠더 문제를 우려로 제기하지는 않았지만, 개인의 공간을 침해하지 않고 비밀을 유지하는 등 시간 약속에 대한 명확한 기대감에 대해 구체적으로 논의했다. 균형에 대한 필요성은 그림 2에 설명되어 있습니다.
While investment in relationships with mentees was reported as essential, some mentors emphasised the importance of preserving boundaries in these relationships. Boundaries have been described as ‘basic ground rules’ for any professional relationship, that guide appropriate actions and interactions between individuals (Barnett 2008). Jackson et al. have previously raised the importance of maintaining boundaries in cross-gender mentoring relationships (Jackson et al. 2003). Our mentors did not raise gender issues as a concern, but specifically discussed clear expectations of time commitments, not intruding on one’s personal space and maintaining confidentiality. The need for balance is depicted in Figure 2.

 

미래 연구는 서로 다른 맥락과 환경 내에서 공통적이고 독특한 촉진제와 장벽을 발견하기 위해 광범위한 지리적 위치의 멘토를 포함해야 한다. 멘토와 멘티의 공유되고 상충되는 인식, 관계의 지속 또는 종말에 영향을 미치는 요소가 무엇인지, 단기 및 장기 관계의 영향을 비교하기 위해, 그리고 마지막으로 멘티, 그리고 마지막으로 멘티, 멘토 및 직업의 성장에 대한 실제 영향을 비교하기 위해서도 필요하다.
Future research should include mentors from a wider range of geographical locations to discover common and unique facilitators and barriers within different contexts and settings. Follow up studies are also needed to examine the shared and conflicting perceptions of mentors and mentees; what factors influence continuation or termination of relationships; compare the impact of short term and long-term relationships; and finally, the actual impact on the growth of the mentee, mentor and the profession.

미국 3년제 의과대학의 종합적 역사: 한 학기의 리뷰(Med Educ Online, 2018)
Comprehensive history of 3-year and accelerated US medical school programs: a century in review
Christine C. Schwartz, Aparna S. Ajjarapu, Chris D. Stamy and Debra A. Schwinn

상세 내역
Detailed history

초기 의료 커리큘럼 표준화: 1800년대-1930년대
Initial medical curriculum standardization: 1800s–1930s

1800년대에 미국의 의과대학 대부분은 소규모의 영리for-profit 비-대학 소속이었으며, 고아범위하며 표준화되지 않은 교육과정과 교육목표를 가지고 있었다. 1847년에 미국 의학 협회(AMA)가 설립되었고 후에 AMA 의학 교육 위원회(CME)가 시작되어 1904년에 [표준화된 의과 대학 교육과정]을 제공하였다. 이 새로운 교육과정의 창시자는 1890년대에 [의대생들을 위한 엄격한rigorous 임상 실습]을 도입한 캐나다의 의사인 윌리엄 오슬러 경이었다. 1900년대 초에 아브라함 플렉스너는 카네기 재단으로부터 미국의 의학 교육을 검토하라는 의뢰를 받았다[2]. 오스러가 이끄는 존 홉킨스에서의 교육에 감명받은 플렉스너는 오슬러가 이야기한 집중 임상훈련에 앞서 2년의 과학 교육이 선행돼야 한다고 강조했고, 이는 총 4년의  교육과정으로 이어졌다. During the 1800s the majority of medical schools in the United States were small, for-profit, non-university affiliated, and had wide-ranging non-standardized curricula and educational goals. In 1847, the American Medical Association (AMA) was established and later the AMA Council of Medical Education (CME) was initiated, ultimately providing a standardized medical school curriculum in 1904 [1]. A founding father of this new curriculum was the Canadian physician, Sir William Osler, who introduced rigorous clinical clerkships for medical students in the 1890s. In the early 1900s, Abraham Flexner was commissioned by the Carnegie Foundation to review medical education in the United States [2]. Impressed by the education at John Hopkins, headed by Osler, Flexner emphasized that 2 years of science education should precede Osler’s intensive clinical training, comprising a total of 4 years of medical school .

1910년의 플렉스너 보고서(PDF 원본 문서는 카네기 재단 기록 보관소를 통해 온라인으로 제공됨)는 의학 교육에 대한 결정적 프레임워크를 제공했다는 점에서 혁명적이었으며, 본질적으로는 [통합된consolidated 대학 부속 의과대학]의 물결 속에 [표준화된 모델]을 낳았다. 1934년까지 38개의 의학전문대학원 중 8개를 제외한 모든 대학원이 대학 의과대학과 관련이 있었다. 제1차 세계 대전(1918년) 이후 의료 기술과 역량의 급속한 확장이 일어나 의과대학에 이어 곧바로 의사-교육자에 의해서 감독받는 진료(인턴십)로 이어졌다. 1930년, 의예과 요구사항도 명확해졌는데, 일반 화학, 물리학, 생물학이 각각 2학기씩, 유기 화학이 1학기씩이었다.

The Flexner report of 1910 (pdf of the original document is available online through the Carnegie Foundation archives) was revolutionary in providing a critical framework for medical education, essentially resulting in a model that became standardized in a wave of consolidated university affiliated medical schools. ‘By 1934 all but eight of the 38 approved graduate schools of medicine were related to university medical schools’ [3]. Post WWI (1918), rapid expansion of medical techniques and capabilities occurred, leading to physician-teacher supervised patient care immediately following medical school (internship) [2]. By 1930, premedical science requirements had also become clearly established, including two semesters each of general chemistry, physics, and biology, and one semester of organic chemistry.

3년제 가속 의료 커리큘럼 도입: 1930년대-1940년대
Introduction of the 3-year accelerated medical curriculum: 1930s–1940s

제2차 세계 대전(1939-1945) 동안, 미국은 국내외에서 의사 부족에 직면했고, 그래서 3년제 가속 의과대학 프로그램은 의사들을 더 빨리 교육하기 위한 제안 해결책으로 도입되었다[4]. 버지니아 의과대학은 제2차 세계 대전 동안 3년제 가속 의학 프로그램을 가진 최초의 학교들 중 하나였다. 의사 부족 문제를 해결하라는 압박을 받은 미국 연방정부는 대학과 의과대학에 3년제 가속 의료 프로그램을 더 폭넓게 도입할 것을 촉구했다.

• 실제로 FSMB은 3년 뒤 졸업하는 학생들이 합법적으로 의료행위를 할 수 있도록 면허를 관리하는 법령을 개정했다.
• 이러한 새로운 3년 커리큘럼을 적절히 개발하는 데 시간이 거의 주어지지 않았기 때문에, AMA 이사회는 어려움을 극복하는 데 도움을 주기 위해 연락 위원회liaison committee를 구성했다.
• 또한, AMA의 의료 교육 및 병원 위원회는 가속화된 의료 프로그램의 품질 저하 우려로 인해 높은 의료 교육 수준을 유지하기 위한 검사를 감독할 책임이 있다[6].

During World War II (1939–1945), the nation faced physician shortages at home and abroad, so 3-year accelerated medical school programs were introduced as a proposed solution to educate physicians faster [4]. The Medical College of Virginia was one of the first schools to have a 3-year accelerated MD program during World War II [5]. Pressured with solving physician shortages, the US federal government urged universities and medical colleges to adopt 3-year accelerated medical programs more broadly.

• Indeed, the Federation of State Medical Boards revised laws and regulations governing licensure so students graduating in 3 years could legally practice medicine.
• Because very little (if any) time was given to appropriately develop these new 3-year curricula, the AMA Board of Trustees organized a liaison committee to aid in overcoming difficulties encountered.
• In addition, the AMA’s Council on Medical Education and Hospitals took responsibility to oversee inspections to maintain high standards of medical education due to concerns of deterioration of quality with accelerated medical programs [6].

흥미롭게도, 군의관들이 민간인 신분으로 제대하자, 많은 사람들이 그들의 제한된 지식을 인정하여 '리프레셔' 강좌가 인기를 얻었다. 군에 있는 많은 수의 의사들에게 보낸 설문조사에서 거의 60%(12,534/21,029명)가 긴 재교육 과정(6개월 이상)을 수강하기를 원했고, 이는 졸업후 의학교육(GME) 프로그램을 더 개발하라는 압력으로 이어졌다. 1955-1956년까지 85개의 인가 또는 개발 중인 의과대학 중 63개가 어느 정도 PGME 프로그램에 참여하고 있었다. 1940년대 말에 이르러서는 GME는 더 공식적으로 구체화되었고 병원 기반 전공의 수련는 전문화의 경로가 되었다[7]. 국립보건원(NIH)의 영향력은 정부 지원 연구비를 통해 의사 과학자들의 초기 발전에 도움을 주었다.

Interestingly, once military physicians were discharged into civilian status, many recognized their limited knowledge so ‘refresher’ courses gained attraction. In a survey sent to a large sample of physicians in the military, nearly 60% (12,534/21,029) wanted to take long refresher courses (6-months or more) and this led to pressure to develop more post graduate medical education (GME) programs. ‘By the academic year 1955–1956, 63 of the 85 approved or developing medical schools were engaged to some degree in post-graduate medical education programs’ [3]. By the end of the 1940s, GME materialized more formally and hospital based residencies became the path to specialization [7]. The influence of the National Institutes of Health (NIH), with its government-funded research grants, aided early development of physician scientists.

연방 법률 변경 및 대체 가속 경로 도입: 1950-1971
Federal legislation changes and introduction of alternative accelerated pathways: 1950–1971

1950년에서 1960년 사이에는 이전 10년에 비해 새로운 3년제 프로그램의 확대나 개발이 거의 없었다. 의사 부족에 대한 우려는 1960년대에 계속되었고, 이러한 우려에 대응하여 보건 전문 학교의 확장을 지원하기 위한 연방 법안이 통과되었다. 1963년에는 [보건전문직 교육 지원 프로그램HPEAP]이 시행되어 보건전문직의 지원을 제공하였다. 이 지원에는 보건 전문학교(알로패스 및 골병리 의학, 치의학, 수의학, 검안법, 약학, 족부학, 공중보건 및 간호학)의 신설construction 지원뿐만 아니라 치과, 알로패스 MD 및 골병리 DO 의학과 학생들에게 대출을 제공했다[8].
Between 1950 and 1960, there was little expansion or development of new 3-year programs compared to the previous decade. Mounting concern regarding physician shortages plagued the 1960s and, in response to these concerns, federal legislation was passed to support expansion of health profession schools. In 1963, the Health Professions Education Assistance Program was implemented to provide support for the health professions. This support included construction aid for health profession schools (allopathic and osteopathic medicine, dentistry, veterinary, optometry, pharmacy, podiatry, public health, and nursing) as well as providing loans to students of dentistry, allopathic MD and osteopathic DO medicine [8].

1965년, 이 법률에 대한 새로운 개정이 이루어졌다. 여기에는 다음이 포함되었다.
New amendments to this legislation were made in 1965, which included

• 기본 및 특별 개선 보조금
  
• 건설 자금에 대한 새로운 요건(예: 기존의 요구사항보다 더 오랜 기간을 교육용으로 건물을 사용해야 함)
  
• 학생 장학금 프로그램에 대한 자금 지원 확대 및 최대 대출액 증가(학생당 연간 최대 장학금 2,500달러 및 학생당 연간 최대 2,500달러),
  
• 대출 탕감 프로그램을 만드는 것.
• basic and special improvement grants,
• new requirements for construction funding (e.g., requiring buildings be used for education for a longer period of time than previously required),
• increasing funding for student scholarship programs and increased maximum loan amount ($2,500 maximum scholarship per student/year and $2,500 maximum annual loan per student), and
• creating loan forgiveness programs.

[기본 보조금]은 학생 1인당 추가 비용 외에 승인된 각 학교에 일시금을 제공하여 보건전문직 학교의 등록enrollment을 확대하는 것을 목표로 했다[9]. [특별 보조금]은 인가를 촉진하고 특별 프로그램을 수립하였다[8,9].

Basic grants aimed to expand enrollment in health professions schools by providing a lump sum to each approved school in addition to extra money per student [9]. Special grants stimulated accreditation and established special programs [8,9].

보건 전문직 교육 지원 프로그램HPEAP은 [국가 보건 서비스단NHSC]과 같은 프로그램에 대한 자금 지원의 인가를 증가시켰는데, 이는 각 학교에게 자금 지원을 받으려면 부속 병원의 1년차 전공의 중 일차의료 수련을 받는 비율을 높일 것을 요구하였다. 1976년 개정된 보건 전문직 교육 지원법은 소외 지역의 보건 전문가를 위한 임상 훈련 프로그램을 제공한 기존 [지역 보건 교육 센터AHEC]의 capacity을 증가시키기 위한 자금 지원을 승인했다[10]. 이러한 보조금은 성공적으로 학생 등록과 졸업을 증가시켰다[8].

The Health Professions Education Assistance Program increased authorization of funding to programs such as the National Health Service Corps, which required schools to ensure that an increasing percentage of first-year residencies in affiliated hospitals were reserved for primary care training in order to receive capitation support. The 1976 version of the Health Professions Education Assistance Act authorized funding to increase the capacity of existing Area Health Education Centers, which provided clinical training programs for health professionals in underserved areas [10]. These grants successfully increased student enrollment and graduation [8].

[의료 종사자 부족에 대한 우려]로 인해, 1966년과 1971년 사이에 연합 건강 직업 인력 훈련법, 1970년 건강 훈련 개선법, 1971년 간호사 훈련법, 1971년 종합 보건 인력 훈련법 등 많은 다른 연방 법률이 통과되었다[8]. 포괄적 의료 인력 훈련법CHMTA은 의료 종사자 교육에 대한 연방 정부의 헌신을 높이고, 가정의학 의사 수련에 긴급성을 더했으며, 의료 전문직 중 소수자 수를 늘리고, 소외 지역의 부족을 완화한 것으로 유명하다. 이 법률은 1970년대에 3년제 의료 프로그램을 확장하는 데 중요한 역할을 했다[8].
Due to the concern about healthcare worker shortages, a flurry of other additional federal legislations were passed between 1965 and 1971, including the Allied Health Professions Personnel Training Act in 1966, Health Training Improvement Act in 1970, Nurse Training Act in 1971, and Comprehensive Health Manpower Training Act in 1971 [8]. The Comprehensive Health Manpower Training Act was notable for elevating federal commitment to training healthcare workers, giving new urgency to training family practitioners, increasing numbers of minorities in health professions, and alleviating shortages in underserved areas. This piece of legislation was crucial to the expansion of 3-year medical programs in the 1970s [8].

특히 1950년대와 1960년대에 MD 학위를 위한 다른 혁신적인 대안 경로가 도입되었다. 이들 프로그램은 의사 양성에 필요한 전체 시간을 단축하기 위해 마련됐으며, 학부 과정 3년과 의대 3년(BA-MD 프로그램)을 결합한 3+3 프로그램이 포함됐다. 1960년대에는 전국적으로 60명의 학생들이 BA-MD 프로그램에 입학했다. 이 숫자는 1976년까지 매년 약 400명으로 증가했다. 1950년대와 1960년대에 개발된 개선된 고등학교 및 학부 과정 덕분에 의대생들은 과거보다 더 높은 수준의 의과대학 과정을 시작할 수 있었고, 이는 2차 세계대전 당시보다 3년제 의과대학 프로그램의 성취가능성achieable을 더 높여주었다. 실제로 1967년까지 의대 지원자의 40% 이상이 생화학을 일부라도 배우고 왔다. 
Of note, during the 1950s and 1960s, other innovative alternative pathways to an MD degree were introduced. These programs were designed to shorten the overall time needed to train a physician and included 3 + 3 programs that combined 3 years of undergraduate courses with 3 years of medical school (BA-MD programs). In the 1960s, 60 students were admitted into BA-MD programs nationally. That number grew to around 400 students per year by 1976 [11]. Due to improved high school and undergraduate collegiate programs developed during the 1950s and 1960s, medical students were able to start at a more advanced level than had been possible in the past, which enabled 3-year medical school programs to be more achievable than they had been during the WWII era. Indeed, by 1967 over 40% of medical school applicants had some exposure to biochemistry [12].

BA-MD 프로그램의 학생들은 일반적으로 학업적으로 성공했다. 예를 들어, 보스턴 대학교의 BA-MD 프로그램에 입학한 학생 중 50%는 우등으로 학사 학위를 받았고, 10%는 우등으로 MD 학위를 받았다[13]. 1966년부터 1996년까지 통합 BA-MD 프로그램에서 학생들의 성과 결과 데이터를 검토한 결과, 표준화된 의료 위원회 시험 점수와 임상 성과에 따라 결정되는 역량이 기존의 의대 학생들과 차이가 없었다. 이러한 결과는 학생들이 성공적인 의사가 될 학생을 고등학교에서 바로 선발할 수 있음을 보여주었다[14]. 1960년대는 또한 의과대학 학급 규모가 커지는 추세를 보였다. 예를 들어, 1960년과 1970년 사이에 미네소타 의과대학은 신입생 반을 164명에서 227명으로 늘렸다[15명].

Students in BA-MD programs generally succeeded academically. For example, 50% of students who entered Boston University’s BA-MD program received their BA degree with honors and ≥10% received their MD degree with honors [13]. A review of performance outcome data of students in combined BA-MD programs from 1966 to 1996 showed no difference in competency from traditional medical school students as determined by scores on standardized medical board exams and clinical performance. These results demonstrated that students could be selected from high school to become successful physicians [14]. The 1960s also saw a trend toward larger medical school class sizes. For example, between 1960 and 1970, the University of Minnesota Medical School increased its freshman class from 164 to 227 students [15].

3년제 가속 의과대학 프로그램의 급증: 1970년대와 1980년대
A spike in the number of 3-year accelerated medical school programs: 1970s–1980s

베트남 전쟁 (1955~1975) 기간 동안 의사 부족 문제를 해결하는 것 외에도, 1970년대는 3년 과정의 급속한 개발로 이어진 추가적인 요소가 있었다: 바로 학생 부채를 줄이는 것이다. 이러한 목적은 성공하였으며, 1970년대에 돈을 벌기 위해 일하는 의대생들이 줄어든 것에서 드러난다. 1963년에는 의대 4학년의 45%가 주당 평균 16시간을 일했고, 1971년에는 더 적은 수의 4학년(34%)이 주당 평균 14시간을 일했으며, 1974년에는 4학년 중 26%만이 주당 평균 10시간을 일했다. [16] [학생 부채 감소, 의사 부족 문제 해결, 정부 재정적 인센티브에 관한 국가적 논의]는 1970년부터 1973년까지 3년제 프로그램에 등록하는 학생 수 증가에 주된 기여요인으로 보고되었다. 실제로, 이 기간 동안 3년제 가속 의학 프로그램에 등록하는 학생은 1970-1971학년의 671명에서 1973-1974년 2,597명으로 387% 증가했다. 3년제 의료진 등록이 가장 크게 증가한 것은 1971년 종합보건인력양성법CHMTA의 시행 이후였으며, 1972-1973년에 1080명이던 의과대학 입학이 다음 해에는 2,273명으로 증가했다. 1971년 포괄적 보건 인력 훈련법에 따라 연방 역량 기금은 3년 내에 졸업하는 학생 1인당 2,000달러의 보너스를 제공했다[19]. 이러한 상황 속에, 1973년에 이르자 모든 미국 의과대학의 약 1/3(n = 33)이 졸업에 3년짜리 MD 경로를 제공했다[9,20].
In addition to addressing physician shortages during the Vietnam War era (1955–1975), much like during WWII, the 1970s had an additional factor that led to the rapid development of 3-year programs: the desire to reduce student debt. A successful push to reduce student debt may be revealed in decreased numbers of medical students working for pay in the 1970s. ‘In 1963, 45% of medical school seniors worked an average of 16 hours a week; in 1971, fewer (34%) of seniors worked an average of 14 hours a week; and, by 1974, only 26% of seniors worked an average of 10 hours per week’ [16]. National discussion regarding reducing student debt, the need to address physician shortages, and government financial incentives were reported as major contributors to increased enrollment in 3-year programs from 1970 to 1973 [17]. Indeed, during this time, enrollment in 3-year accelerated MD programs increased 387%, from 671 students in the 1970–1971 academic year to 2,597 in 1973–1974 [8] (out of a total of 15,000 medical graduates per year [18]). The greatest increase in 3-year MD enrollment was seen after implementation of the 1971 Comprehensive Health Manpower Training Act, with first year medical school enrollment increasing from 1,080 in 1972–1973 to 2,273 during the subsequent academic year [8]. Under the Comprehensive Health Manpower Training Act of 1971, federal capitation funding provided a bonus of $2000 per student graduating in 3 years [19]. Given this context, by 1973 approximately one-third (n = 33) of all US medical schools offered a 3-year MD path to graduation [9,20].

1970년대 가속 의료 프로그램 개발에 대한 긍정적인 태도와 관심은 3년 프로그램을 포함한 전반적인 의과 대학 등록의 증가로 이어졌고, 다른 가속 경로를 제공하는 다수의 학교가 확장되었다. 가속화된 프로그램의 확장을 촉진하는 학생들에게도 장점이 있었다. 이에 유의해야 할 점은 1970년부터 1975년까지 의과대학 입학 경쟁률이 높아졌다는 사실이다,

• 1970년에는 11,350명 모집에 25,000명이 지원했다
• 1975년에는 15,000명 모집에 43,000명이 지원했으며, 이로 인해 대학 입학률은 45%에서 35%로 떨어졌다[11].

Positive attitudes and interest in developing accelerated medical programs during the 1970s resulted in increased overall medical school enrollment, including 3-year programs, and expansion in a number of schools offering other accelerated pathways. There were advantages for students that facilitated expansion of accelerated programs as well. In this regard, it should be noted that rising competition for admission into medical school occurred from 1970 to 1975;

• in 1970, there were 25,000 applications for 11,350 openings.
• By 1975, there were 43,000 applications for 15,000 places, which caused the percent of matriculates to fall from 45% to 35% (1970 to 1975, respectively) [11].

학생들은 가속화된 MD 프로그램에 대한 조기 입학이 광범위한 일반 입학 풀 내에서 경쟁을 피하기 위한 방법일 수 있다고 판단했을 수 있다[11]. 우수한 지원자들이 새로운 3년제 MD 프로그램에 지원하였고, 이러한 학생들은 전체 기관의 명성에 중요한 요소인, [peers와 비교한 입학 지표와 성과를 향상]시켰기 때문에 의과대학에도 도움이 되었다[11]. 흥미롭게도 3년제 MD 프로그램에 대한 교수진의 태도는 전문 분야에 따라 다양했습니다. 오하이오 주립 의과대학이 1970년에 4년제 프로그램에서 3년제 MD 프로그램으로 전환했을 때, 교수 태도에 대한 연구는 가정의학과 예방의학과 교수진이 3년제 MD 프로그램에 대해 가장 긍정적인 것으로 결정했다[20].

Students may have reasoned that early admission to accelerated MD programs might be a way of avoiding increasing competition within the broader general admission pool [11]. This was also beneficial for medical schools since outstanding candidates were attracted into new 3-year MD programs, and these students in turn boosted admission metrics and performance of their peers, an important component of overall institutional prestige [11]. Faculty attitudes toward 3-year MD programs varied, interestingly, by specialty. When Ohio State University School of Medicine transitioned from a 4-year program to a 3-year MD program in 1970, a study of faculty attitudes determined that family medicine and preventive medicine faculty were most positive toward 3-year MD programs [20].

3년 가속 MD 프로그램 중단: 1970년대 후반-80년대
Discontinuation of 3-year accelerated MD programs: late 1970s–1980s

1970년대에 도입되어 개발된 3년제 가속 의과대학 프로그램 중 다수는 그렇게 오래 유지되지 못했다. 학업 스트레스가 높았고 가속 MD 프로그램을 수강하는 학생의 약 25%가 자발적으로 교육을 1~2년 연장했다[9]. 또한, 학생과 교직원은 자료의 압축에 대한 압박을 언급했다. 프로그램을 마친 학생들은 '지쳤다'고 말했으며, 교직원들은 끊임없이 확장되는 의학 지식을 더 짧은 기간 안에 가르쳐야 한다는 것에 불만을 느꼈다[9]. 그 밖에 3년제 교육과정에선 가정의학과 농촌의학과 노인학 순환학 등의 과소대표underrepresentation, 심화윤리 및 약물남용 교육 부족 등이 지적됐다. 또한 최종적으로 레지던트 추천서를 준비할 교수진에게 제한적으로 노출되었고, 학생들이 레지던트 프로그램을 인터뷰할 시간이 거의 없었으며, 방학 시간도 최소화되었다[17]. 아마도 가장 중요한 것은 가속화된 MD 프로그램이 순 의사 양성net physician output을 증가시키지 않았다는 것이다. 이는 3년제 프로그램을 시작하는 주요 목표 중 하나였다[9]. 학급 규모의 증가 없이, 3년제 의료 프로그램은 3년제 첫 번째 학급이 4년제 학생들과 함께 졸업할 때 의사들의 무리를 만들었다. 그 후, 졸업하는 학생들의 순수는 더 이상 증가하지 않고 평형 상태로 유지되었다. 

Many of the 3-year accelerated medical school programs introduced and developed in the 1970s did not stay open long-term. Academic stress was high and about 25% of students in accelerated MD programs voluntarily extended their education by 1 or 2 years [9]. Additionally, students and faculty cited feeling pressured by compression of the material; students completing programs stated that they felt ‘exhausted,’ and faculty felt dissatisfied with trying to teach ever-expanding medical knowledge into a shortened timeframe [9]. Other issues cited with 3-year curricula included under-representation of family medicine, rural medicine, and gerontology rotations, as well as lack of in-depth ethics and substance abuse training. In addition, there was limited exposure to faculty members who would ultimately prepare residency recommendation letters, little time for students to interview with residency programs, and minimal vacation time [17]. Perhaps most importantly, accelerated MD programs did not increase net physician output, which was one of the main goals of starting such programs [9]. Without an increase in class size, 3-year medical programs created a bolus of physicians when the first class of 3-year students graduated along with fourth year students. Thereafter, the net number of students graduating remained stable (reached steady state), without further increase.

주의할 점은 3년제 MD 교육과정의 페다고지는 distinct하며, 따라서 단순한 4년제 교육과정의 압축을 넘어서야 한다는 것이다. 이것은 때때로 1970년대에 어렵게 배워졌다. 예를 들어, 애리조나 대학교는 1972년에 4년제에서 3년제 MD 프로그램으로 전환되었다가 1977년에 다시 4년제 프로그램으로 전환되었다. 애리조나는 처음에는 72주의 기초과학(임상 전) 자료를 56주로 압축한 뒤 2교시 및 3년 MD 커리큘럼에서 64주로 늘렸다. 애리조나 의대생들은 필요하다면 4년 또는 그 이상으로 그들의 교육을 연장할 수 있는 선택권이 있었다. 애리조나에서 처음 3개 반의 학생 중 1/3은 재학기간을 3년 이상으로 연장했으며, 이 옵션을 선택한 학생은 [의학 전공분야를 탐구]하는 데 더 많은 시간을 선택하는 대신, 대부분의 추가 시간을 [기초 과학 학습 속도를 늦추는 데] 사용했다[17]. 안타깝게도 원래 예정된 3년 기간에 끝마치지 못한 학생들은 종종 '약하거나 부족하다'는 오명을 쓰게 되었고, 그렇게 교수들에게 인식되었다[9,18].

It is important to note that pedagogy for a 3-year MD curriculum is distinct and therefore should go beyond compression of a school’s 4-year curriculum. This was sometimes learned the hard way in the 1970s. As an example, the University of Arizona went from a 4-year to a 3-year MD program in 1972, and then converted back to a 4-year program in 1977. Arizona had compressed 72 weeks of basic science (pre-clinical) material into 56 weeks initially, and then increased it to 64 weeks in the second class and subsequent classes in their 3-year MD curricula. Medical students at Arizona had the option to extend their schooling to four or more years if needed. One-third of students in the first three classes at Arizona extended their time beyond 3 years, and students who took this option used the majority of additional time to slow down the pace of basic science learning rather than choosing more time to explore medical specialties [17]. Unfortunately, students who extended their time beyond the originally committed 3 years were often stigmatized and perceived by faculty as ‘weak or deficient’ [9,18].

다른 학교들도 MD 커리큘럼이 압축된 것에 부담을 느꼈다. 오하이오 주립 대학교에서는 3년제 교육과정에 참여하는 교수진의 평균 만족도 점수가 100점 만점에 60.5점(34~93점)이었으며, 교수진의 50%가 4년제 MD 프로그램으로 복귀하는 것을 선호했다[20점]. USMLE 점수와 레지던트 일치 결과에 따르면 3년제와 4년제 학생들 간의 성과에 큰 차이가 없다는 연구 결과가 나왔지만, 1970년대 말까지 대부분의 3년제 MD 프로그램은 4년제 커리큘럼을 선호하여 중단되었다. 실제로 1973-1974 학년 이후, 이러한 프로그램에 대한 등록이 지속적으로 감소하였고, 1974-1975년에는 2,434명이던 3년제 MD 학생이 1978-1979년에는 1,455명으로 감소했다[23]. 3년 MD 프로그램을 종료하게 된 전반적인 이유에는 [재정적 인센티브를 제거한 연방 기금 중단, 의사 부족의 감소, 가속화된 기간에 대한 전반적인 불만족] 등이 포함되었다[22].
Other schools felt pressure from their compressed MD curriculum as well. At Ohio State, the mean satisfaction score of faculty participating in the 3-year curriculum was 60.5 out of 100 (range of 34–93), with 50% of faculty favored returning to a 4-year MD program [20]. Although studies showed no major difference in performance between 3-year and 4-year students, as measured by USMLE scores and residency match results, by the end of the 1970s most 3-year MD programs were discontinued in favor of 4-year curricula [13,17,21,22]. Indeed, after the 1973–1974 academic year, a persistent decline in enrollment in these programs occurred, with 2,434 3-year MD students in 1974–1975 declining to 1,455 in 1978–1979 [23]. Overall reasons given for ending 3-year MD programs included discontinuation of federal funding that eliminated financial incentives, declining physician shortages, and overall dissatisfaction with the accelerated time frame [22].

 

3 + 3 MD 잔류 프로그램의 성장과 함께 의사 훈련 기간 해결: 1980년대-2000년대
Addressing the length of physician training with growth of 3 + 3 MD-residency programs: 1980s–2000s

1970년대 말까지 대부분의 3년 MD 프로그램이 해체되었지만, 이후 수십 년 동안 MD-전공의 통합 프로그램은 의사의 전반적인 훈련 기간을 줄이기 위한 시도로 이루어졌다. 1975년부터 2000년까지 미국 전공의의 수는 37,140명에서 98,806명으로 두 배 이상 증가했다. 4년제 커리큘럼이 있는 일부 의과대학은 학생들이 로테이션 인턴십을 이수하면 4학년을 대체한 것으로 갈음하는 것waive the fourth year을 허용하기 시작했다[17]. 1980년대와 1990년대에 25개의 미국 의과대학은 내과 3 + 3에 있는 여러 프로그램 외에도 가정의학과 3 + 3 (MD 잔류) 프로그램을 가지고 있었다[21]. 흥미로운 점은 가정의학과 3+3 졸업생이 기존(4+3) 졸업자보다 치프 레지던트로 선택될 확률이 높았다. 그러나 이러한 3+3 프로그램 대부분은 주로 GME 인증 문제로 인해 종료되었다[22].
Although there was dissolution of most 3-year MD programs by the end of the 1970s, over the next few decades, growth occurred in combined MD-residency programs in an attempt to reduce the overall length of training of a physician. From 1975 to 2000, the number of residents in the United States had more than doubled, from 37,140 to 98,806 [18]. Some medical schools with 4-year curricula began allowing students to waive the fourth year if they completed a rotating internship [17]. In the 1980s and 1990s, 25 US medical schools had family medicine 3 + 3 (MD-residency) programs in addition to several in internal medicine 3 + 3 [21]. Interestingly, family medicine 3 + 3 graduates were more likely to be chosen as chief residents than traditional (4 + 3) graduates. Most of these 3 + 3 programs ended, however, primarily due to GME accreditation issues [22].

3년제 가속 의대 프로그램 현황: 2010-2017
Current state of 3-year accelerated medical school programs: 2010–2017

세기의 전환과 함께 의과대학 교과과정에서는 거대한 개혁이 일어났다. 2005년 이후 미국 의과대학의 75%가 능동적 학습과 임상 및 생물의학 과학의 통합 강화를 포함한 혁신적인 교육학을 시작했다[2]. 이는 21세기에 의사가 성공하기 위해서는 성인 학습을 최적화하고 업데이트된 의료 지식을 통합하는 개정된 커리큘럼이 필요하다는 일반적인 인식을 보여준다. 교육 개혁의 일환으로 2010년 이후, 3년제 MD 프로그램이 9개의 allopathic 의과대학에서 다시 등장했으며, 이들 학교의 80%는 3년제 학생들의 1차 진료에 초점을 맞추고 있다[21]. 레지던트 면접을 위해 여행하는 데 사용할 수 있는 3년 MD 커리큘럼의 제한된 시간을 고려할 때, 거의 모든 프로그램은 학생들에게 보장된 지역 레지던트 자리를 제공한다[21,24,25].
With the turn of the century, vast reforms have occurred in medical school curricula. Since 2005, 75% of US medical schools have initiated innovative pedagogy, including active learning and enhanced integration of clinical and biomedical sciences [2]. This shows general recognition that revised curricula that optimize adult learning and incorporate updated medical knowledge are needed for physicians to succeed in the twenty-first century. As part of curricular reform, since 2010, 3-year MD programs have re-emerged in nine allopathic medical schools, with 80% of these schools focusing on primary care for their 3-year students [21]. Given the limited time available in 3-year MD curricula to travel for residency interviews, almost all of these programs offer their students guaranteed local residency positions [21,24,25].

과거 추세에 대한 요약
Summary of historical trends

그림 1은 지난 세기 동안 미국에서 3년 MD 프로그램의 생성 및 해체에 영향을 미친 역사적 사건을 요약한 것입니다. 그림 2는 1930년부터 2017년까지의 총 의대생의 증가를 3년 커리큘럼으로 인가된 알로패스 의대 비율과 병치하여 보여준다[9,12,20,22–38]. 그림 2에서 볼 수 있듯이, 3년제 의과대학 중 가장 많은 비율이 2차 세계대전(90%)에 발생했고, 그 다음이 1970년대(40%)였다. 가장 최근에 3년제 교육과정을 갖춘 의과대학이 부활한 것은 1940년대와 1970년대에 급증했던 것에 비하면 훨씬 덜 두드러진다.

Figure 1 summarizes historical events impacting creation and dissolution of 3-year MD programs in the United States over the last century. Figure 2 documents the rise in total medical students from 1930 to 2017 juxtaposed against percentages of accredited allopathic medical schools with 3-year curriculum over the same period [9,12,20,22–38]. As can be seen in Figure 2, the greatest percentage of medical schools with a 3-year program occurred in the WWII era (≈90%) followed by the 1970s (≈40%). The most recent resurgence of medical schools with 3-year curricula is far less pronounced compared to spikes in the 1940s and 1970s.

 

 doi: 10.1080/10872981.2018.1530557.

Comprehensive history of 3-year and accelerated US medical school programs: a century in review

PMID: 30376794

PMCID: PMC6211283

DOI: 10.1080/10872981.2018.1530557

전략기획이 중요한가? (Acad Med, 2019)
Does Strategic Planning Matter?
William T. Mallon, EdD

당신을 전략기획팀에 투입할 겁니다. 그것은 성취할 수 있는 만족감이 아무것도 없는 일과 같다.
I’m putting you on the strategic planning team. It’s like work but without the satisfaction of accomplishing anything.

—딜버트의 보스; 스콧 애덤스, 딜버트1
—The Boss to Dilbert; Scott Adams, Dilbert1

전문 문헌, 학술지, 그리고 재미있는 페이지에 그런 냉소를 불러일으킨 전략기획strategic planning에 관한 것은 무엇일까? 전략적 계획이 조직 결과를 개선하는지 여부에 대한 동료 검토 문헌에서 논쟁이 지속되고 있다.

• 해설자들은 "나쁜 전략의 위험"2에 대해 경고하고,
• 실무자들은 "전략 계획이 더 이상 관련이 있는지" 묻는다3.
• 교수진은 전략 계획이 "전략도 계획도 없고, 그저 시간 낭비다."4 

What is it about strategic planning that has inspired such cynicism in the professional literature, the academic quad, and the funny pages? A debate persists in the peer-reviewed literature about whether strategic planning leads to improved organizational outcomes.

• Commentators issue warnings about “the perils of bad strategy”2;
• practitioners ask if “strategic planning [is] relevant anymore”3; and
• faculty flat-out assert that the strategic plan is “neither strategy nor plan, but a waste of time.”4 

25년 이상 저는 고등교육, 학술 의학 및 비영리 단체의 전략 개발 및 전략 계획 노력의 참여자, 촉진자, 컨설턴트, 학자 및 리더였습니다. 이러한 역할을 하면서 저는 교수, 직원 및 기타 이해 관계자들 사이에서 전략 계획이 중요한지 여부에 대해 의문을 제기하는 상당한 냉소주의에 직면했습니다. 저는 조직 행동과 변화에 대한 실천가이자 연구자로서 냉소주의를 공유하지는 않지만, 전략 계획이 무엇을 성취하는가에 대한 건전한 회의론과 그것이 의미하는 것에 대한 깊은 이해를 얻게 되었다.
For more than 25 years, I have been a participant, facilitator, consultant, scholar, and leader of strategy development and strategic planning efforts in higher education, academic medicine, and nonprofit organizations. In these roles, I have encountered a fair amount of cynicism about strategic planning among faculty, staff, and other stakeholders, with many people questioning whether strategic planning matters. While I do not share that cynicism, as both a practitioner and researcher of organizational behavior and change, I have developed a healthy skepticism for what strategic planning achieves and a deep appreciation for what it means.

"전략적 계획" 대 "계획"
“Strategic Planning” Versus “Planning”

전략 계획이 중요한지 검토하기 전에 용어를 정의해야 합니다. 너무 자주, "전략적 계획"은 일반적인 정의 없이 catchall 문구로 사용됩니다. 조직의 '미래 계획'은 언제 '전략적 계획'이 됩니까?

Before we can examine whether strategic planning matters, we need to define the term. Too often, “strategic planning” is used as a catchall phrase without a common definition. When does an organization’s plan for the future become a strategic plan?

역사는 고대 군국주의 기원에서 20세기 사업 적용에 이르기까지 전략이 경쟁에 기반을 두고 있음을 보여준다. 즉, [직접적인 경쟁은 존재하지만 분명하지는 않은] 비영리 환경에서도 경쟁사보다 [우위를 점하는 데] 전략이 집중됩니다. 따라서 "전략적 계획"은 조직이 자신의 임무를 달성하기 위하여, [경쟁업체와 어떻게 차별화할지]를 파악하는 프로세스입니다. 즉, 경쟁이 병원 시스템, 학생 또는 교직원의 국가 경쟁업체, 또는 미래의 경쟁 위협업체 등입니다.
History shows that strategy, from its ancient militaristic origins to its 20th-century business application (from which higher education’s version of strategic planning developed), is predicated on competition. That is, strategy is focused on gaining advantage over one’s competitors—even in nonprofit settings, where direct competition still exists but may not be as apparent. “Strategic planning,” therefore, is the process whereby an organization identifies how it will differentiate itself from its competition to achieve its mission—whether that competition is a nearby hospital system, a national competitor for student or faculty talent, or a nascent competitive threat on the horizon.

그러나 많은 조직은 "전략적 계획"에 대한 덜 구체적이고 암묵적인 정의를 가지고 있습니다. "전략적 계획"은 한 조직이 개선을 위한 단기 및 장기 목표를 설정하고 이러한 개선을 달성하기 위한 진행 상황을 측정하는 프로세스입니다. 의학교육연락위원회[LCME]5가 승인한 의과대학에 대해서는 칭찬할 만하지만, 그러한 운영 계획은 반드시 "전략적"이라는 별명을 얻지는 않는다. [조직 계획]은

• 전략 계획("외부 위협에 대응하기 위해, 경쟁사와 비교하여, 조직이 어떻게 달라져야 하는가?")과
• 운영 계획("조직이 어떻게 끊임없이 더 잘 결과를 개선해나갈 수 있을까?")의 조합일 수 있습니다.

Many organizations, however, hold a less specific, implicit definition of “strategic planning” that is akin to “ongoing planning”—a process whereby an organization establishes short- and long-term goals for improvement and measures progress toward achieving those improvements. While laudable (and mandatory for medical schools accredited by the Liaison Committee on Medical Education [LCME]5), such operational planning does not necessarily earn the “strategic” moniker. Organizational plans may be a combination of

• strategic planning (“How will the organization be different in response to external threats and compared with our competition?”) and
• operational planning (“How will the organization continuously be better to improve outcomes?”).

운영 계획은 중요합니다. 그러나 그것은 전략적인 계획과 같지 않다.
Operational planning is important. But it is not the same as strategic planning.

전략 계획은 크게 중요하지 않음
Strategic Planning Has Not Mattered Much

고등교육에서의 전략계획의 기원은 1959년 매사추세츠공과대학에서 열린 대학시설계획가 회의에서 비롯되었다. 그것은 공공 부문과 고등교육의 전략 계획에 대한 획기적인 책으로 1980년대에 실제로 시작되었다.7-9 그 초기부터 대학, 의과대학 및 학술 보건 센터는 여러가지 전략적인 계획 기법을 사용해 왔다. 환경 스캐닝, SWOT(강점, 약점, 기회 및 위협)분석, 프로그램 및 제품 로드맵, 시나리오 계획, 예측 및 균형 스코어카드, 기타 연구 생성, 컨설턴트 판매 또는 자체 개발 도구 및 기법 등이 그것이다. 대부분의 전략적 계획 수립 노력은 Academic Medicine 이번 호에서 Byrne과 동료들이 기사에서 설명한 것과 같은 익숙한 프로세스를 따르는 경향이 있습니다.10
The genesis of strategic planning in higher education stems from a meeting of university facility planners held at the Massachusetts Institute of Technology in 1959.6 It really took off in the 1980s, with groundbreaking books about strategic planning in the public sector and in higher education.7–9 Since those early days, universities, medical schools, and academic health centers have employed strategic planning techniques such as environmental scanning, SWOT (strengths, weaknesses, opportunities, and threats) analyses, program and product road maps, scenario planning, forecasting, and balanced scorecards, among other research-generated, consultant-sold, or home-grown tools and techniques. Most strategic planning efforts tend to follow a familiar process—such as the one that Byrne and colleagues describe in their article in this issue of Academic Medicine.10

전략 계획은 양적, 질적 및 혼합적 방법을 사용하여 인류학, 행정학, 경영학, 의사결정 과학 및 교육과 같은 다양한 분야의 연구자들에 의해 광범위하게 연구되어 왔다. 메타 분석에서는 전략적 계획과 조직 성과 사이에 긍정적인 관계를 발견했지만, 전략 계획에 대한 연구는 인과 관계를 연관짓는 것에 대해 비판을 받아왔다.14 즉, 전략적 계획이 조직 성과에 영향을 미치지 않을 수 있다; 오히려 다른 요인이 좋은 성과의 원인일 수 있다. 예를 들어 우호적인 외부 요인들, 효과적으로 조직을 관리하는 방법을 아는 유능한 리더들, 그리고 심지어 운까지. 그러나 우리는 전략적인 계획 자체가 강한 성과를 유발한다고 말할 수 없다. 자, 전략계획이 정말 중요합니까?
Strategic planning has been studied extensively by researchers in diverse disciplines such as anthropology, public administration, management, decision sciences, and education, using quantitative, qualitative, and mixed methods. Meta-analyses have found positive relationships between strategic planning and organizational performance11–13; however, studies on strategic planning have been criticized for conflating correlation with causation.14 That is, strategic planning may not make a difference to organizational performance; rather, positive outcomes may be attributable to other factors, such as favorable external factors, competent leaders who know how to effectively manage organizations, and even luck. But we cannot say that strategic planning in and of itself causes strong performance. Ergo, does strategic planning matter—really?

경험적 증거 너머에는 미국의 의대와 교육병원의 역사적 맥락이 있다. 긴 안목에서, 전략 계획은 산업으로서 학문의학에 큰 영향을 미치지 않았다: 1960년대 이래로, 엄청난 성장은 학문의료센터가 사실상, 한 가지 전략과 다른 전략에 대해 선택이나 절충을 할 필요가 없는 시스템에 [충분한 해이함enough slack]을 만들어냈다. 그들은 모든 임무 분야에서 성장 포트폴리오의 균형을 맞출 수 있었다. 일부 의과대학이 규율되고 다른 의과대학들은 심각한 전략적 선택을 필요로 하는 중대한 위기에 직면하는 등 지역사회 전반에 걸쳐 다양성이 존재해왔지만, 산업으로서의 학문적 의학academic medicine은 많은 사람들에게, 많은 것에서, 엄청난 성공을 거두었다.
Beyond the empirical evidence is the historical context of medical schools and teaching hospitals in the United States. In the long view, strategic planning has not mattered much for academic medicine as an industry: Since the 1960s, tremendous growth has created enough slack in the system that academic health centers have, in effect, not needed to make choices or trade-offs regarding one strategy versus another. They have been able to balance growth portfolios in all their mission areas. While there is and has been variation across the community, with some medical schools being disciplined and others facing significant crises that required dire strategic choices, academic medicine as an industry has been enormously successful being many things to many people.

[억제되지 않는 성장]은, 적어도 사라지지는 않더라도, 최소한 더 [휘발성이 강해진다]고만 말해두자. 그리고 Tripartite mission을 위한 전통적인 자금원에 대한 압박이 이어지고 있다. 대부분의 AHC들은 더 이상 진정한 전략의 필요성을 무시할 수 없다. 즉, 기관의 존재 이유를 충족시키기 위해 무엇을 하고 무엇을 하지 말아야 하는지에 대한 선택을 하는 것이다.15 이 전략의 개념은 어떤 것은 선택하지만 다른 것은 선택하지 않는 것을 강조하기 때문에 간단하지만, 어려운 단어를 포함한다. 바로 "아니오No"이다.
Suffice it to say that unbridled growth has, if not disappeared, at least become more volatile. And the traditional funding sources for the tripartite missions have been under duress. Most academic health centers can no longer ignore the need for a true strategy—that is, making choices about what to do and what not to do to fulfill the institution’s reason for existence.15 This concept of strategy emphasizes choosing some things but not others and, therefore, involves a simple yet difficult word: “No.”

전략 니즈 리더십 노하우
Strategy Needs Leadership No-How

리더는 "아니오"라고 말할 수 있는 사람들이기 때문에 비판적이다.
Leaders are critical because they are the ones who can say “no.”

이러한 노하우(nohow)는 어려운 재정 상황에서 확실히 필요하지만, 그 때만이 아니다. 조직의 대차대조표가 양호하더라도, 혁신과 투자의 기회가 많을 때, 어떤 조직도 모든 기회를 추구할 수는 없습니다.
This no-how surely is needed under difficult financial circumstances, but not only then. Even if an organization’s balance sheet is healthy, even when there are many opportunities for innovation and investment, no organization can pursue every opportunity.

리더는 조직의 트레이드오프를 정의합니다. 즉, "하나가 더 많이 하려면, 다른 것을 덜 해야 함."16 그렇다고 해서 제로섬 게임을 제안하는 것은 아닙니다. 오히려, 예를 들어, 임상 또는 연구 전문 분야의 한 분야에 투자하되 다른 분야에 투자하지 않기로 선택함으로써, 리더는 조직의 우선 순위를 분명히 합니다. 모든 사람에게 모든 것이 되려고 노력하는 조직은 노력, 예산 및 인적 자원, 심지어 전달된 메시지의 산만함diffusion을 초래할 수 있습니다. 트레이드오프는 "[조직]이 제공하는 것을 의도적으로 제한"하는 것이다16

Leaders define the trade-offs for the organization—meaning that “more of one thing necessitates less of another.”16 This is not to suggest a zero-sum game. Rather, by choosing to invest in, say, one area of clinical or research expertise but not another, leaders make organizational priorities clear. Organizations that try to be all things to everyone (patients, students, residents, faculty, staff, the public) risk diffusion of effort, budgetary and human resources, and even messaging. Trade-offs “purposefully limit what the [organization] offers.”16

말하기는 쉬우나 행하기는 어렵다. 조직 생활의 현실은 무엇을 할지, 무엇을 하지 않을지에 대한 선택을 하는 것(즉, 전략을 갖는 것)에 저항한다. Porter가 말했듯이, 트레이드오프는 두려울 수 있다.16 누가 잘못된 선택을 하길 원하겠는가? 우리는 교수진, 직원, 지도자들을 실망시키고 싶지 않다. 우리는 갈등을 최소화하기를 원한다. 우리는 영향력 있는 부서나 교수진과의 소동이 언론 악재로까지 번지는 것을 피하고 싶다.
That’s easier said than done. The reality of organizational life works against making choices about what to do and not do (i.e., having a strategy). As Porter states, trade-offs can be frightening.16 Who wants to make the wrong choice? We do not want to disappoint faculty, staff, and leaders. We want to minimize conflict. We want to avoid a dustup with an influential department or faculty member that escalates into bad press—or a pink slip.

이러한 경향에 직면하여, 조직과 부서 지도자들이 전략의 성공적인 개발과 실행에서 주장할 수 있는 가장 중요한 단어는 "아니오"일 것이다.
In the face of these inclinations, perhaps the most important word that organizational and departmental leaders can assert in the successful development and implementation of strategy is “no.”

리더들은 그들이 조직이나 부서를 위한 "전략적 계획"이라고 부르는 것이 [자신의 사명을 달성하기 위해 취할 수 있는 다양한 경로들 사이의 트레이드오프]에 고유하게 초점을 맞추고 있는지, 아니면 [아무 고성능 조직에게나 모두 중요하고 칭송받을 목표]에 초점을 맞추고 있는지 자문해 볼 필요가 있다. 목표를 다른 업계의 조직의 전략 계획에 쉽게 적용할 수 있다면 전략 계획이 아닌 운영 계획을 수립하는 것일 수 있습니다.

Leaders need to ask themselves whether the thing that they call the “strategic plan” for their organization or department is uniquely focused on trade-offs between various pathways they could take to achieve their mission or focused on goals that are important and laudable for any high-performing organization. If you could take a goal and easily drop it into the strategic plan of an organization in another industry, you are probably working on an operational plan, not a strategic plan.

계획된 전략인가 아니면 비상 전략인가?
Planned or Emergent Strategy?

전략 및 전략 계획에 대한 대부분의 접근법은 [조직의 합리성organizational rationality]에 대한 암묵적인 관점을 가지고 있습니다. 즉, 위계적 구조, 합리적인 의사 결정, 비용 편익 분석 및 계획된 개입을 강조합니다. 1987년에 민츠버그가 지적한 것은 오늘날에도 여전히 사실이다: "사실상 전략 수립에 관해 쓰여진 모든 것들은 그것을 [신중한deliberate 과정]으로 묘사하고 있다. 먼저 생각하고, 그 다음에 행동합니다. 공식화한 다음 구현합니다."17
Most approaches to strategy and strategic planning have an implicit point of view of organizational rationality—one that emphasizes hierarchy, rational decision making, cost–benefit analyses, and planned interventions. What Mintzberg pointed out in 1987 is still true today: “Virtually everything that has been written about strategy making depicts it as a deliberate process. First we think, then we act. We formulate, then we implement.”17

민츠버그는 전략이 공식화될 수 있을 뿐만 아니라 형성될formulated 수도 있다고 주장했다. 그것은 진화하는 상황에 대응하여 나타날emerge 수 있고 나타나야 한다. 똑똑한 리더들은 "모든 것을 미리 생각할 수 있을 정도로 항상 똑똑할 수는 없다는 것을 인정한다."

Mintzberg argued that strategy can form as well as be formulated. It can and should emerge in response to evolving situations. Smart leaders “appreciate that they cannot always be smart enough to think through everything in advance.”17

전략이 계획되어야 하는가, 아니면 (상황에 맞춰) 나타나야emerge 하는가? 나는 실용주의자이지 순수주의자가 아니다. 저는 혼합된 접근법을 좋아합니다. 하멜에 의해 요약된 전략 개발의 유형입니다. "전략은 완벽한 질서와 완전한 혼돈, 절대적인 효율성과 맹목적인 실험, 독재 정치와 완전한 애드호크라시 사이의 경계에 놓여 있습니다." 
Should strategy be planned or should it emerge? I’m a pragmatist, not a purist. I like a hybrid approach, the type of strategy development summarized by Hamel: “Strategy is poised on the border

• between perfect order and total chaos,
• between absolute efficiency and blind experimentation,
• between autocracy and complete adhocracy.”18 

의과대학과 교육병원은 특히 전략 개발이 완전히 계획되지도 않고 완전히 긴급하지도 않은 하이브리드 접근법에 매우 적합하다. 전략 계획은 하향식이며 분산형이며 합리적이고 상징적이며 계획적이고 긴급하다.
Medical schools and teaching hospitals are particularly well suited to this hybrid approach, in which strategy development is neither fully planned nor fully emergent. Strategic planning is both top-down and decentralized; rational and symbolic; and deliberate and emergent.

털은 어때요?
What About Fluff?

전략 계획들은 그들의 "허풍" 즉, "전문지식으로 가장한, 많은 유행어를 뿌리는, 뻔한 것의 재기술"로 비판을 받아왔다."2 어느 산업이나 조직은 허풍을 떨기 쉽다. 한 유명한 대학은 그것의 전략적 목표가 "학자이자 교사인 이상화," "타의 추종을 불허하는 교육과 경험을 제공하는 것," "대학원과 전문학 분야의 차별성을 보여주는 것," 그리고 "우리 시대의 위대한 아이디어와 이슈에 참여하는 것"이었다고 말했다. 
Strategic plans have been criticized for their “fluff,” or “restatement of the obvious, combined with a generous sprinkling of buzzwords that masquerade as expertise.”2 Organizations across industries are prone to fluff, academe included. One well-known university stated that its strategic goals were to “epitomize the scholar–teacher ideal,” “provide an unsurpassed education and experience,” “demonstrate distinction in graduate and professional studies,” and “engage in the great ideas and issues of our time.”19 In other words, this university’s transformational goals were to be a university.

전통적인 전략 계획에 대한 이와 관련된 비판은 그들의 목표가 [어려운 절충difficult trade-off을 촉진하는 것]이 아니라 "달성해야 할 일의 뒤죽박죽"으로 구성된다는 것이다. 종종 전략이나 목표로 잘못 분류되는, 해야 할 일의 긴 목록은 전략이 아니다. 그저 해야 할 일의 목록일 뿐이라고 말했다.2

A related criticism of traditional strategic plans is that their goals do not facilitate difficult trade-offs but, rather, constitute “a scrambled mess of things to accomplish. . . . A long list of things to do, often mislabeled as strategies or objectives, is not a strategy. It is just a list of things to do.”2

따라서, [해야 할 일의 목록들]이, 소위 전략 계획이라 불리며, 선반 위에 먼지만 쌓여 간다는 비판을 받아왔다.20 역동적이고 민첩하며 짧은 범위의 계획 방식을 사용하는 조직들조차 때때로 전략을 수립하는 데 너무 많은 시간을 투자하고 전략을 실행하는 데 충분한 시간을 투자하지 않는다. 민츠버그는 이렇게 말했다.
Thus, the list of things to do, aka the strategic plan, has been criticized for gathering dust on a shelf.20 Even organizations that employ dynamic, nimble, and shorter-span planning approaches sometimes spend too much time coming up with a strategy and not enough time implementing one. Mintzberg proffered:

• 대부분의 경우, [리더]는 전략을 짜서는 안 된다; 그들은 그들이 이미 가지고 있는 전략을 추구하는데 있어서 가능한 한 효과적으로 그들의 조직을 만들어 나가야 한다. ... . 조직을 특별하게 만드는 것은 세부 사항을 마스터했기 때문이다.
  
  Most of the time, [leaders] should not be formulating strategy at all; they should be getting on with making their organizations as effective as possible in pursuing the strategies they already have. . . . Organizations become distinguished because they master the details.17

민츠버그는 효과가 없는 전략을 고수하는 것에 대해 논쟁하지 않았다. 오히려, 조직은 [환경적 상황이 전략의 유효함을 보여주는 시기에 이미 가지고 있는 전략을 완전히 구현하는 것]이 중요하다.

Mintzberg was not arguing for sticking with a strategy that is not working. Rather, an organization should fully implement the strategy it already has when the environmental circumstances indicate it remains valid.

문화로서의 전략
Strategy as Culture

하지만 여러분의 선반에 저장되어 있는 전략적인 계획에 대해 잠시 생각해 보겠습니다. 전략 계획은 단지 "폭풍과 분노로 가득 차 있고, 아무것도 의미하지 않는 의례화된 과정"에 그치고 있지는 않은가? "일처럼 하지만 아무것도 달성하지 못하는 것"?1

But let us dwell for a moment on those strategic plans stored on your shelf. Is strategic planning nothing more than a ritualized process, “full of storm and fury, signifying nothing”?21 Just “like work but without the satisfaction of accomplishing anything”?1

냉소가 퍼지기 전에, 전략과 조직 문화의 관계를 고려할 가치가 있다. 이러한 관계에 대한 한 가지 지배적인 견해는 "문화는 아침으로 전략을 먹는다"는 적대적이다. 이러한 관점이 매력적일 수 있지만(아마도 그것은 리더들이 전략을 조직의 성공과 연계할 필요를 면제하기 때문일 것이다) 정확하지 않다. 문화 테마 이론22와 문화 스키마 이론,23과 같은 인류학에서 나온 이론들은 [(조직의) 문서에서 반복되는 단어와 구절과 주제들]이 "미래 행동을 형상화, 안내 및 패턴화"한다고 제안한다.
Before cynicism washes over, it is worth considering the relationship between strategy and organizational culture. One predominant view of this relationship is adversarial—that “culture eats strategy for breakfast.” While this viewpoint may be appealing (perhaps because it absolves leaders from needing to link strategy to organizational success), it is not accurate. Theories from anthropology, such as cultural theme theory22 and cultural schema theory,23 suggest that the recurrent words and phrases and themes in written documents “stimulate, guide, and pattern future behaviors.”24

이러한 이론들은 전략적인 계획과 여러분의 선반에 있는 먼지투성이의 문서들이 [문서가 만들어내는produce 것]이 아니라 [문서가 표현하는express 것] 때문에 중요할 수도 있다는 것을 암시한다.25 Wiedman과 Martinez에 따르면, "사명, 목표 및 목적을 가진 서면 계획은 다시 업데이트 작업을 할 때에야 읽게 될지 모르겠지만, 위원회 회의, 비공식 대화, 직무 설명 등에서 구두로 재기술된 문화적 주제는 문화적으로 수용되는 행동의 역동적인 힘이 된다."24

These theories suggest that strategic planning, and those dusty documents on your shelf, may be important not for what they produce but for what they express.25 According to Wiedman and Martinez, “even though written plans with mission, goals, and objectives may not be read until they are updated again, the cultural themes, orally restated in committee meetings, informal conversations, job descriptions, etc., become a dynamic force of culturally accepted behavior.”24

조직의 공식 및 비공식 담화에서 어떤 주제가 반복된다면, 시간이 지남에 따라 행동을 변화시키고 문화에 영향을 미칠 수 있다. 비드먼과 마르티네스의 새로운 의과대학 전략계획 연구는 "전략적 계획이 조직문화 변화를 지시하는 데 중요한 역할을 할 수 있다."24 (p272) [전략의 언어]는 문화에 결정적인 영향을 미칠 수 있다.10 이러한 상징적인, [문화로서의 전략 효과]는 주요 이해관계자(예: 이사회, 교수, 학생, 주 의회, 기부자)에게 매우 중요하며, 이들 중 다수는 쉽게 이끌림당하지 않을 수 있다.

Repetition of themes in the formal and informal discourse of an organization can, over time, change behavior and influence the culture. Wiedman and Martinez’s study of strategic planning at a new medical school found that “strategic planning can play an important role in directing organizational culture change.”24(p272) The language of strategy may have a decisive effect on culture, as Byrne and colleagues’ case study demonstrates.10 This symbolic, strategy-as-culture effect can be critical for leading stakeholders (e.g., governing boards, faculty, students, state legislatures, donors), many of whom may not intend to be led easily.

그래서 어쩌면 우리가 모든 것을 잘못 알고 있었는지도 모른다. 어쩌면 문화는 조직의 전략 수립을 위한 시도를 파괴하는 반대 세력이 아닐 수도 있다. 아마도 전략과 문화는 같은 힘의 다른 표현일 것이다. 아마도 [전략적 계획의 힘]은 [기관의 문화를 형성하기 위해 전략에 대해 이야기하는 방식]에 있을 것입니다. 전략적 계획은 그것이 전달하는 가치, 그것이 구현하는 의식, 그리고 그것이 여러분의 조직을 새로운 방향으로 이끄는 방식에 있어 중요하다.

So maybe we have had it all wrong: Maybe culture is not an oppositional force that wreaks havoc with attempts at strategy setting in organizations. Maybe strategy and culture are different manifestations of the same force. Maybe the power of strategic planning is the way you talk about it to shape the culture of your institution. Maybe strategic planning matters for the values it conveys, the rituals it embodies, and the way it nudges your organization in new directions.

평가에서 독소 빼내기: 발달평가의 역할이 있는가? (Med Educ, 2016)
Taking the sting out of assessment: is there a role for progress testing?
Debra Pugh1 & Glenn Regehr2

평가의 의도하지 않은 결과
The unintended consequences of assessment

의대 교육에서 지식과 임상 기술에 대한 평가는 역량에 대한 판단에 자주 사용된다. 이러한 평가의 목표는 능력의 정확한 추정치를 얻는 것이지만, 평가의 의도하지 않은 잠재적 결과가 있다. 예를 들어, 학습(AOL)의 평가 모델에서는 성적을 배정하거나, 학습자를 능력 있는 학습자 또는 능력 없는 학습자(합격 또는 불합격자)로 분류하는 데 중점을 둔다. 이와 같이, 학습자의 관점에서 평가와 관련된 사회적 판단 또는 'sting'으로 인지되는 요소가 있다. 
In medical education, assessments of knowledge and clinical skills are frequently used to make judgements about competence. Although the goal of these assessments is to obtain an accurate estimate of ability, there are potential unintended consequences of assessment. For example, in an assessment of learning (AOL) model, the focus is on assigning grades or categorising learners into competent or not (i.e. pass or fail).1 As such, there is a perceived component of social judgement or ‘sting’ associated with assessment from the learner's perspective.

결과적으로, AOL에 초점을 둠으로써 학습자들이 반드시 배움을 촉진하지는 않으면서, 더 높은 시험 점수만을 얻는 노력 쪽으로 방향을 잡을 수 있다는 점에서 학습자들에게 긴장감을 조성한다. 따라서 시험 환경에 의해 야기되는 내재적 압력은 원치 않는 행동을 초래할 수 있으며, 이는 깊은 이해(예: 주입식 또는 암기)를 방해하는 공부 습관을 채택하는 것에서부터 노골적인 부정행위에 이르기까지 다양하다. 비록 그 차이가 미묘해 보일지 모르지만, 어떤 사람이 그 내용을 이해하는 목표보다는 시험에 합격하는 것을 목표로 공부할 때, 학습에 상당한 영향을 미칠 수 있다. 예를 들어, 연구는 [벼락치기 학습]이 [간격 학습]과 비교할 때 자료를 장기간 보존하는 데 덜 효과적이라는 것을 입증했다. 평가 형식은 또한 학습에 영향을 미칠 수 있는데, 학생들이 [저차원의 기술lower-order skills]을 평가하도록 설계된 시험에 대해 보다 피상적인 접근 방식을 사용하여 (평가 형식을 기반으로) 공부 전략을 변경하는 것으로 나타났기 때문이다.  
As a result, the focus on AOL creates a tension for learners in that they may be oriented more toward efforts that result in higher test scores without necessarily promoting learning. The inherent pressures created by a testing environment can therefore lead to unwanted behaviours, which may range from adopting study habits that hinder deep understanding (e.g. cramming or memorising by rote) to outright cheating. Although the difference may seem subtle, when one approaches studying with the goal of passing a test rather than the goal of understanding the material, there can be a significant influence on learning. For example, studies have demonstrated that cramming is less effective at leading to long-term retention of material when compared with spaced learning.2 The format of an assessment can also have an influence on learning, as students have been shown to alter their strategy for studying based on the format of an assessment, using more superficial approaches for tests thought to be designed to assess lower-order skills.3, 4

AOL 모델에서, 학습자에게 [평가]는 극복해야 하는 장애물로 취급될 가능성이 더 높다. 따라서 일정 기준(benchmark)에만 도달하면, 학습자가 취약 영역을 다시 검토하도록 하는 인센티브가 거의 없는 경우가 많습니다. 한 사람이 매우 높은 점수를 받든, 아주 약간만 받아들일 수 있는 점수를 받든 상관없이 미리 정의된 커트 점수를 성공적으로 충족시키는 한, 학습자에게 주는 메시지는 그러한 결함들이 상대적으로 미미하며 앞으로 나아갈 준비가 되어 있다는 것이다. 설령 학습자가 개선하고자 하는 동기가 있더라도, 시험 후에 제공되는 피드백은 종종 학습을 안내할 만큼 충분히 구체적이지 않다. 
In an AOL model, assessment is more likely to be treated by the learner as an obstacle that one must overcome. Thus, there is often little incentive for learners to revisit areas of weakness once the benchmark has been reached. As long as one is successful in meeting a predefined cut-score, regardless of whether one receives a very high score or only a marginally acceptable score, the message to learners is that those deficiencies are relatively insignificant and that they are ready to move on. Even if learners were motivated to improve, the feedback provided after a test is often not specific enough to guide learning.

아마도 더 우려되는 사실은 시험 중 다른 학생의 답안을 직접 복사하고 허가되지 않은 자료에 접근하는 행동을 포함하여 의대생들 사이에 [부정행위]가 널리 퍼져있다는 것이 여러 연구에서 입증되었다는 사실이다. 심지어 교육자들도 평가 과정을 회피하기 위해 부정직한 행동을 하고 싶은 유혹을 받을 수 있는데, 이는 표준화 시험의 조직적 부정행위와 관련된 혐의로 최근 미국에서 11명의 교사를 유죄판결을 받은 것에서 입증된다.10
Perhaps more concerning is the fact that several studies have demonstrated that cheating amongst medical students, including such behaviours as directly copying answers from another student and accessing unauthorised materials during a test, is widespread.5-9 Even educators may be tempted to engage in dishonest behaviour to circumvent assessment processes, as evidenced by the recent conviction of 11 teachers in the USA on charges related to systematic cheating on standardised tests.10

평가가 학습자의 역량을 보장하는 데 중요한 역할을 하는 것은 분명하지만, 이러한 [파괴적 행동]은 현재의 평가 문화가 실제로 학습이 촉진하려고 하는 바로 그 학습을 저해하고 있는지 여부를 의심하게 할 수 있다. AOL 모델과 대조적으로, 학습을 위한 평가 모델(AFL)은 [개선을 촉진하기 위해 학습자에게 피드백을 제공하는 기회로 평가를 사용]하는 것에 초점을 맞추고 있습니다. 동의어는 아니지만, AOL은 일반적으로 '총괄' 평가를 지칭하는 반면, AFL은 일반적으로 '형성' 평가를 지칭한다. 본 논문의 목적상

• '총괄'이라는 용어는 성과를 강조하는 고부담 평가(예: 등급)를 지칭하는 반면,
• '형성'이라는 용어는 피드백 제공을 우선시하는 저부담 평가의 맥락에서 사용될 것이다.

Although assessment clearly plays an important role in ensuring the competence of learners, these subversive behaviours may lead one to question whether or not the current assessment culture is actually undermining the very learning that it is purportedly trying to promote. By contrast with the AOL model, an assessment for learning model (AFL) focuses on using assessment as an opportunity to provide feedback to learners to promote improvement.11 Although not synonymous, AOL generally refers to ‘summative’ assessment, whereas AFL generally refers to ‘formative’ assessment. For the purposes of this paper,

• the term summative will refer to high-stakes assessments that emphasise achievement (e.g. grades), whereas
• the term formative will be used in the context of lower-stakes assessments that prioritise the provision of feedback.

그러나 이러한 평가 형태 사이에 상당한 중복이 있으며 둘 다 AOL 또는 AFL 모델에서 사용될 수 있다는 점에 유의해야 한다.
However, it is important to note that there is considerable overlap between these forms of assessment and both can be used in either AOL or AFL models.

AFL 모델에서는 판단보다는 성장의 기회 창출에 초점을 두는 것(즉, 최소 역량보다는 우수성을 강조하는 것)으로 이동하기 때문에, AOL 모델에서 주로 보이는 의도하지 않은 결과의 일부를 완화할 수 있는 잠재력을 가지고 있다. AFL 모델에서 평가 프로그램은 모든 개인(고성능이든 저성능이든)이 지속적인 개선을 위해 노력하는 것을 목표로 설계될 수 있다. 이런 의미에서 시험은 학습 도구가 되므로 흔히 사용되는 용어인 시험 강화 학습이 된다.
An AFL model has the potential to mitigate some of the unintended consequences associated with an AOL model because of the shift from a focus on making judgements to a focus on creating opportunities for growth (i.e. emphasising excellence rather than minimal competence). In an AFL model, a programme of assessment can be designed with the goal of challenging every individual (whether high or low performing) to strive for continuous improvement. In this sense, tests become learning tools, hence the often-used term test-enhanced learning.12

발달시험의 역할
The role of progress testing

평가의 초점을 AOL에서 AFL로 바꾸려면, 형성적 또는 총괄적 이유로 학습자의 강점과 약점을 완전히 파악하기 위해 많은 도구를 통합하는 [평가 프로그램]이 필요하다. AFL 모델에서 사용하기 위해 상당한 관심을 끌고 있는 것으로 보이는 한 가지 도구는 [발달시험]이다. 설계상, 발달시험의 청사진은 광범위한 컨텐츠 도메인(즉, 프로그램에 필요한 지식의 전체 영역)에 기초한다. 시험은 진행 상황을 감시하기 위해 훈련의 다른 단계에 있는 학습자에게 반복적으로 시행된다.13

• 예를 들어, 일부 의료 프로그램은 전체 학부 커리큘럼에 기초한 필기 진도 시험을 전체 학생 단체에 정기적으로 시행한다(예: 1년에 4회).
• 유사하게, 최소한 한 곳의 전공의 프로그램은 졸업에 필요한 훈련의 목표에 기초한 연간 임상 기술 진도 시험을 프로그램의 모든 전공의에게 제공한다.
• 많은 연구들이 지식 및 임상 기술의 성장을 도표화하고 피드백 제공을 허용하기 위해 발달시험이 사용될 수 있다는 것을 입증했다. 

Changing the focus of assessment from AOL to AFL will require a programme of assessment that incorporates many tools in order to get a complete picture of learners’ strengths and weaknesses for both formative and summative reasons.1 One tool that appears to be garnering significant interest for use in an AFL model is the progress test. By design, the blueprints of progress tests are based on a broad content domain (i.e. the complete domain of knowledge required for a programme). The tests are administered repeatedly to learners at different stages in their training in order to monitor their progress.13 

• For example, some medical programmes administer a written progress test based on the entire undergraduate curriculum to the entire student body at regular intervals (e.g. four times per year).14, 15
• Similarly, at least one residency programme offers, to all residents in the programme, an annual clinical skills progress test based on the objectives of training required for graduation.16
• A number of studies have demonstrated that progress tests can be used to chart growth of knowledge and clinical skills,14-18 and allow for the provision of feedback.19

발달시험은 단순히 진행률을 측정하는 것 이상의 [실질적인 이점]을 가지고 있는 것으로 보입니다. 서면 진도 시험의 사용은 국가 면허 시험의 성과 향상과 관련이 있는 반면, 발달시험으로 사용되는 객관적인 구조화된 임상 시험(OSCE)은 나중에 임상 기술의 국가단위 시험에 fail할 위험에 있는 전공의를 식별하는 데 유용한 것으로 나타났다. 
Progress tests appear to have tangible benefits beyond those of simply measuring progress. The use of written progress tests has been linked to improved performance in a national licensure examination,20 whereas objective structured clinical examinations (OSCEs) used as progress tests have been shown to be useful in identifying residents at risk of subsequently failing a high-stakes national examination of clinical skills.21

그러나 무엇보다도 [진행률 시험의 포괄성]과 [상대적으로 저부담 시험적인 특성]이 결합되어 AOL이 학습에 미치는 파괴적 영향을 완화시키는 데 도움이 될 수 있다는 점이 중요하다. 예를 들어, 평가되는 내용에 제한이 없기 때문에, 표적 학습, 암기, 벼락치기, 그리고 시험에 가르치는 것과 같은 전략은 특별히 유용하지 않을 것 같다. 이것은 더 깊은 학습 전략을 촉진하는 것으로 보인다. 또한 AOL 모델에서는 시험 보안 문제로 인해 종종 [의미 있는 피드백]이 배제되는데, 문제은행이 충분히 크다면 피드백도 제공될 수 있다. 따라서, 발달시험은 극복해야 할 장애물이 아니라 중요한 학습 기회가 될 가능성이 있다. 학습자가 이러한 방식으로 발달시험을 보도록 설득할 수 있다면, 발달시험을 사용하여 평가에서 일부 '독소'를 제거하는 데 도움이 될 수 있습니다.
Perhaps more importantly, however, the comprehensiveness of progress tests, coupled with the relatively low-stakes nature of the format, may serve to mitigate some of the subversive effects of AOL on learning. For example, because there is no functional limit on the content being assessed, strategies such as targeted studying, memorisation, cramming and teaching to the test are unlikely to be particularly useful. This appears to promote deeper learning strategies.14, 22 Additionally, meaningful feedback, which is often precluded in an AOL model due to test security issues, can be provided with limited risk as long as the item bank is sufficiently large. Thus progress tests have the potential to be important learning opportunities rather than hurdles to overcome. If learners can be persuaded to view progress tests in this way, then perhaps progress tests can be used to help take some of the ‘sting’ out of assessment.

평가가 학습을 촉진하는 방법
How assessment drives learning

'평가가 배움을 이끈다'는 격언은 아마도 많은 진실을 담고 있을 것이다. 그러나 평가를 학습 도구로 전략적으로 사용하려면 평가를 촉진하는 방법을 고려해야 한다. 학습에 대한 평가 효과는 다음의 세 단계로 나눌 수 있다. 

• 시험 전(즉, 시험 인센티브 학습),
• 시험 그 자체(즉, 시험이 학습으로 직접 연결됨) 및
• 시험 후(즉, 시험이 학습으로 이어지는 후 제공되는 피드백)

The aphorism ‘assessment drives learning’ probably holds much truth. However, if one is to use assessment as a learning tool strategically, then one must consider how it promotes learning. The effects of assessment on learning can be divided into three phases:

• pre-test (i.e. tests incentivise learning),
• pure-test (i.e. tests directly lead to learning) and
• post-test (i.e. the feedback provided after a test leads to learning).23 

시험 전 학습
Pre-test learning

학습에 대한 [시험 전 효과]는 시험의 [간접 효과]라고도 하며, 시험 예상에 의해 제공되는 외적 동기를 의미한다. 즉, 임박한 시험으로 인한 압박감은 학습자에게 학습 동기를 부여하고 시험할 자료를 통합된 방식으로 학습하려는 시도를 할 수 있다. 이런 점에서는, 총괄시험조차도 명백한 검색 목적을 위해 자료를 학습하려는 의도적인 노력을 장려함으로써 학습에 긍정적인 영향을 미칠 수 있다. 그러나 학생들이 학습에 접근하는 방법은 피상적인 접근(예: 깊은 이해보다는 암기)을 촉진하는 경우 시험에 의해 부정적으로 영향을 받을 수 있다. 예를 들어, 발달시험의 자주 언급되는 이점 중 하나는 주입식 공부보다 지속적인 공부를 장려한다는 것이다. 간격 학습과 대량 실습을 비교한 180편 이상의 논문에 대한 검토가 간격 학습이 대량 실전보다 우수하다는 견해를 뒷받침했기 때문에 이 방법이 유용할 수 있다.24

The pre-test effects on learning, also termed the indirect effects of testing, refer to the extrinsic motivation provided by the anticipation of being tested. In other words, the imminent pressure caused by an impending test may provide learners with an incentive to study and attempt to learn the material to be tested in a consolidated way. In this sense, even summative testing may have a positive influence on learning by encouraging intentional efforts to learn material for the explicit purposes of retrieval. However, the way in which students approach learning may be negatively affected by a test if it promotes a superficial approach (e.g. memorising by rote rather than deeper understanding). For example, one of the often-cited benefits of progress testing is that it encourages continuous studying over cramming. This may be valuable because a review of over 180 papers comparing spaced versus massed practice supported the view that spaced learning is superior to massed practice.24

종합 평가의 사전 시험 효과를 위한 유용한 이론적 모델이 Cilliers 등에 의해 개발되었다. 이 모델은 [평가 전 학습 활동]에 영향을 미치는 [영향의 두 가지 잠재적 원천]이 있다고 가정한다.

• 과제 요구(예: 강의의 과제 유형 및 단서)와
• 시스템 설계(예: 평가의 임박성 및 일반적인 작업 부하)

이는 뒤이어 다음에 영향을 미친다.

• 인지 처리
• 메타인지 조절 활동(예: 인지된 대리인 및 대인관계 요인)

A useful theoretical model for the pre-test effects of summative assessment was developed by Cilliers et al.25 This model postulates that there are two potential sources of impact that influence pre-assessment learning activities:

• task demands (e.g. task type and cues from lecturers) and
• system design (e.g. imminence of assessment and prevailing workload).

These in turn influence

• cognitive processing and
• metacognitive regulation activities (e.g. perceived agency and interpersonal factors).

예를 들어, 시험이 임박했고 학생들이 시험이 매우 위험한 사건으로 인식한다면, 그들의 목표는 그들이 평소에 선호했던 학습 접근법이 아니더라도, 공부할 때 벼락치기나 암기와 같은 낮은 수준의 인지 전략을 채택할 수 있다. 시험 형식이 연구 행동에 어떤 영향을 미치는지에 대한 연구가 이를 뒷받침하는 것으로 보인다. 예를 들어, 학생들은 선택-응답 대 구성-응답 형식 및 파트-과제 대 전체-과제 OSCE를 사용하여 평가될 것을 알 때 학습에 대해 더 피상적인 접근법을 사용하는 것으로 나타났다.

For example, if an examination is imminent and students perceive it to be a high-stakes event, they may adopt lower-order cognitive strategies when studying, such as cramming or memorising by rote, even if that is not their usual preferred approach to learning, because their goal is to maximise their chances of success. Studies about how the test format influences study behaviour would seem to support this. For example, students have been shown to use more superficial approaches to learning when they know they will be assessed using selected-response versus constructed-response formats3 and part-task versus whole-task OSCEs.4

이 프레임워크는 종합 평가를 위해 개발되었지만, 이론적으로 발달시험의 경우에도 유사한 종류의 영향 원인(예: 과제 유형, 평가 기준 등)이 학습 접근법에 영향을 미칠 것이라고 추측할 수 있다.

• 이러한 추측을 뒷받침하기 위해, McMaster의 학생들의 학습 스타일을 학습 스타일(암기 대 개념 학습)을 평가하려는 [Mitchell의 인지 행동 검사]를 사용하여 연구한 결과, 발달시험이 도입되었을 때 암기보다는 더 깊은 학습 전략을 계속 사용한 것으로 밝혀졌다.
• 마찬가지로, 림버그 대학의 진행률 시험 성과 연구는 의미 중심의 연구 접근법의 사용이 진행률 시험 점수와 긍정적인 상관관계가 있는 반면, 암기력이나 얕은 처리를 사용하는 것은 점수와 부정적인 상관관계가 있다는 것을 보여주었다.

Although this framework was developed for summative assessment, one could speculate that, for progress testing, similar sources of impact (e.g. task type, assessment criteria, etc.) would theoretically influence approaches to learning.

• In support of this speculation, when McMaster's students’ learning styles were studied using Mitchell's cognitive Behavior Survey, which attempts to assess learning style (memorisation versus concept learning), it was found that they continued to use deeper learning strategies rather than memorisation when progress tests were introduced.14, 26 
• Similarly, a study of performance on progress tests at Limburg University demonstrated that the use of a meaning-oriented study approach was positively correlated with progress test scores, whereas the use of memorisation or shallow processing was negatively correlated with scores.22

물론, 발달시험은 [시험 전 학습의 'consolidation' 효과]를 훼손할 위험이 있는 것도 사실이다. Van Berkel 등이 다른 시험 형식과 관련된 연구 행동을 비교했을 때, 학생들은 블록 시험을  공부의 동기로 보았다. 하지만 발달시험은 (기출문제를 보는 것을 빼면 학습의 유인이) 아니었다. 

• 어쩌면 어떻게 전체 교과과정의 시험을 위해 공부하는 것에 접근할지 아는 것이 너무 어렵기 때문일지도 모른다.
• 또는 어쩌면 진행 테스트가 학습자들에 의해 중요하게 인식되지 않기 때문일 지도 모른다.

Of course, there is a risk that progress testing could actually undermine the value of the ‘consolidating’ effects of pre-assessment learning. When van Berkel et al.22 compared study behaviours in relation to different test formats, students viewed block tests, but not progress tests, as an incentive to study (other than reviewing old tests),

• perhaps because it is so difficult to know how one would approach studying for a test of the entire curriculum, 
• or perhaps because progress tests are not perceived to be important by learners.

또한 시간 경과에 따라 [간격을 둔 시험spaced testing]이 지속적인 학습을 장려할 수 있다는 일부 증거가 있지만, 학습에 대한 이러한 접근법이 항상 시험 점수를 향상시키지는 않을 수 있다. 학생들을 [정기적으로 평가된 그룹(10주 과정 중 세 번)] 또는 [수업이 끝날 때만 평가된 그룹]에 무작위로 배정한 연구에서, [더 자주 평가를 받은 학생들]은 학습 간격을 두고 전체 학습 시간에 69시간을 더 할애했지만, 최종 평가에서 대조군 학생들보다 더 잘하지는 못했다. 사실, 과정 종료 평가 그룹의 학생들은 마지막 주에 훨씬 더 많은 시간을 공부하는 데 쓴다고 보고했는데, 이것은 주입식 학습보다 간격 배움이 더 낫다는 오랜 믿음에 도전할 수 있다. 그러나 간격 학습 접근법의 입증된 이점은 없었지만, 연구는 단기 효과만 조사했기 때문에 간격 학습 그룹에서 장기 보존이 더 나을지는 명확하지 않다.

Moreover, although there is some evidence to suggest that spacing tests over time may encourage continuous study, this approach to learning may not always result in better test scores. In a study in which students were randomised to either a group that was assessed regularly (three times during a 10-week course) or a group that was assessed only at the end of the course, students who underwent more frequent assessments spaced their learning and devoted 69 hours more to overall study time than their peers, but they did no better on a final assessment.27 In fact, students in the end-of-course assessment group reported spending significantly more time studying in the final week, which may challenge the long-held belief that spaced learning is preferable to cramming. However, although there was no demonstrated benefit of a spaced-learning approach, the study only examined the short-term effects, so it is not clear if long-term retention would have been better in the spaced-learning group.

순수 시험 학습
Pure-test learning

다가오는 시험을 예상하고 준비하는 효과 외에도, [시험 행위 자체]가 학습으로 이어질 수 있는데, 이를 [시험 효과]라고 한다. 몇몇 연구들은 시험이 학습의 간접적인 효과 이상으로 직접적으로 학습에 영향을 미치는데 사용될 수 있다는 것을 증명했다. 이것은 부분적으로, [정보를 검색하는 행위]가 [반복적인 공부만 하는 것]과 비교했을 때 학습의 개선을 이끈다는 것을 암시하는 [인출 가설retrieval hypothesis]에 의해 설명될 수 있다. [인출 행위]는 정보를 [향후 인출을 위해 정보를 더 쉽게 접근할 수 있도록 인코딩]하는 데 도움이 되는 듯 하다. 이 현상을 이해하는 데 도움이 되는 유용한 비유는 도서관에 있는 책을 고려하는 것이다. 도서관은 나중에 회수하는 것을 돕기 위해 책을 보관하는 분류 시스템을 채택한다. 만약, 이 시스템을 사용하는 대신에, 책들이 나중에 어떻게 회수될지에 대한 고려 없이 단순히 책꽂이에 놓여진다면, 필요할 때 그것들을 찾는 것이 훨씬 더 어려울 것이다. 마찬가지로, [정보 인출]을 연습할 때, 그것은 뇌가 나중에 액세스하기 위해 [태깅]이나 [인코딩]을 위한 시스템을 만드는 데 도움이 된다.
In addition to the effects of anticipating an upcoming test, the act of testing itself can lead to learning, something known as the testing effect. Several studies have demonstrated that tests can be used directly to influence learning above and beyond the indirect effects of studying.28-31 This may be explained, in part, by the retrieval hypothesis, which suggests that the act of retrieving information leads to improved learning when compared with repeated study alone. It would seem that the act of retrieval helps to encode the information in a way that makes it more accessible for future retrieval.32 A useful analogy to help understand this phenomenon is to consider books in a library. Libraries employ a classification system for shelving books in order to aid later retrieval. If, instead of using this system, books were simply placed on the shelves without consideration of how they would later be retrieved, it would be far more difficult to find them when needed. Similarly, when one practices retrieving information, it helps the brain to create a system for tagging or encoding it for future access.

[시험 효과]는 즉각적인 검색뿐만 아니라 학습된 자료를 최소 몇 달 동안 보존하는 것을 향상시키는 것으로 보입니다. 특히 흥미로운 것은, 시험 효과가 [사실의 보존을 향상]시킬 뿐만 아니라, [지식의 응용을 향상]시킨다는 것인데, 이는 [반복적인 인출]이 더 나은 이해로 이어질 수 있다는 증거를 제공하는 것으로 보인다는 것이다. 
The testing effect appears to not only enhance immediate retrieval, but also the retention of learned material for at least several months.33, 34 What is particularly interesting is that the testing effect seems to lead not only to better retention of facts, but also to improved application of knowledge, providing evidence that repeated retrieval may also lead to better understanding.31, 35, 36

[시험 효과]를 변조modulate하는 것처럼 보이는 중요한 요인들이 있다. 예를 들어 동일한 자료의 반복 시험을 위한 더 많은 기회를 제공하는 것은 학습을 더욱 강화하는 것으로 나타났다. 또한 지식의 인출이 어려울 때 시험 효과가 향상되는 것으로 보인다.  예를 들어, [단순한 정보의 인식]보다는 회상을 필요로하는 [응답 구성constructed-response 형식]을 사용하는 것이다. 이는 부분적으로 [바람직한 어려움 이론]에 의해 설명될 수 있는데, 이는 도전적인 과제가 단순화된 과제보다 더 큰 학습으로 귀결된다는 것을 암시한다.
There are important factors that seem to modulate the testing effect. For example, providing more opportunities for repeated testing of the same material has been shown to further enhance learning.37 The testing effect also seems to be enhanced when the retrieval of knowledge is effortful; for example, by using constructed-response formats that require recall rather than simple recognition of information.38, 39 This may be explained, in part, by the theory of desirable difficulties,32 which suggests that challenging tasks result in greater learning than simplistic tasks.

발달시험은 시험 효과를 촉진하는 데 이상적으로 적합해 보인다.

• 발달 시험 청사진은 전체 교육과정에 기초하고 반복적으로 관리되기 때문에 학습자를 더 자주 콘텐츠에 노출시켜 [인출을 더 자주 유도함]으로써 시험 효과를 높일 수 있다.
• 발달 시험은 전형적으로 [선택-응답selected response 형식(즉, 객관식 질문)]을 채택하지만, OSCE와 같이 보다 [어려운 인출을 요구하는 다른 형식도 실현 가능한 것]으로 나타났다. 강화된 인코딩을 통해 테스트 효과를 강화하기 위해 구성된 응답 형식 또는 OSCE 형식의 사용을 증가시키는 사례가 있을 수 있다.
• [구성-응답constructed-response 형식]은 채점에 더 많은 노력을 필요로 하는 경향이 있지만, 학습의 이점은 할당된 자원의 증가를 정당화할 수 있다.

Progress tests would seem ideally suited for promoting the testing effect.

• Because progress test blueprints are based on an entire curriculum and are administered repeatedly, they expose learners to more content more often, which should enhance the testing effect by prompting retrieval more frequently.
• Although progress tests typically employ a selected-response format (i.e. multiple-choice questions), other formats that require more effortful retrieval, including OSCEs, have been shown to be feasible.40 There may be a case for increasing the use of constructed-response or OSCE formats to potentiate the testing effect through enhanced encoding.
• Although constructed-response formats tend to require more effort to mark, the benefits to learning may justify an increase in allotted resources.

테스트 후 학습
Post-test learning

평가가 학습에 영향을 미칠 수 있는 마지막 단계는 피드백이 제공되는 [시험 후]이다. 유의미한 피드백은 메타인지에 영향을 미칠 수 있는 잠재력 때문에 AFL 모델에서 매우 중요하다. 피드백은 강점과 약점이 있는 영역을 강조하는데 도움이 될 수 있으며, 이는 학습자가 학습을 지시하는 데 사용될 수 있습니다. 물론, 의미가 있으려면 피드백이 바른sound 데이터에 기초해야 합니다. 그러한 데이터가 시험 점수의 형태인 경우 시험 자체는 수용가능한 심리측정적 특성(예: 신뢰할 수 있는 점수)을 가져야 한다. 또한 피드백이 상대적인 강점과 약점 영역을 식별하는 형태인 경우, 특정 영역에 초점을 맞추기 위한 권고사항이 의미 있는 '신호'에 기초할 수 있도록 각 영역은 신뢰성을 보장할 수 있는 충분한 표본을 확보해야 한다.

The final phase in which assessment can influence learning is after the test, when feedback is provided. Meaningful feedback is crucial in an AFL model because of its potential to influence metacognition. Feedback can help to highlight areas of strength and weakness, which may, in turn, be used by learners to direct their learning. Of course, in order to be meaningful the feedback must be based on sound data. If those data are in the form of test scores, then the test itself should have acceptable psychometric properties (e.g. scores that are reliable). Further, if the feedback is in the form of identifying areas of relative strength and weakness, then each area should have sufficient sampling to ensure reliability so that recommendations to focus on specific areas are based on a meaningful ‘signal’.

이와 관련하여 발달시험은 신뢰할 수 있는 자료와 학습자에게 풍부한 피드백을 제공하는 자료로 활용될 수 있는 좋은 위치에 있다. 발달시험 후에 학생들에게 제공되는 결과는 종종 [개인의 발달상황에 대한 정보], [강점과 약점의 영역에 대한 요약], 그리고 [다른 학생과의 상대적 비교]를 포함한다. 발달시험은 상대적으로 저부담시험이기 때문에, 학습자들은 학습을 더 안내하기 위해 [발달시험의 사본]을 제공받을 수도 있다. 또한 진도 시험은 학습을 촉진하는 중요한 피드백의 원천으로 사용될 수 있는 국가단위 고부담시험의 저조한 성과를 예측하는 데 유용한 것으로 보인다.
Again, in this regard, progress tests are well positioned to be used as a source of both reliable data and rich feedback for learners. The results provided to students following progress tests are often accompanied by information about individual progress, summaries of areas of strengths and weaknesses,19 and normative comparisons.41 Because of their relatively low-stakes nature, learners can even be provided with copies of their progress tests to further guide their learning.15 Of interest, progress tests also appear to be useful in predicting poor performance in national high-stakes examinations,21, 26 which can be used as an important source of feedback to promote learning.

그러나 피드백을 주는 것은 간단하지 않습니다. 예를 들어, 제공된 피드백의 유형이 중요합니다. 점수나 데이터 제공에 초점을 맞춘 피드백만으로는 학습을 촉진하기에 충분하지 않은 것으로 나타났다. 사실, 성적grade를 제공하는 것은, 그것이 내러티브 코멘트를 동반하더라도, 실제로 학습을 저해할 수 있습니다. 초등학생들에게만 성적, 서술적 논평만 제공하거나 또는 둘 다 제공했던 연구에서, 서술적 평가를 받은 학생들만 유사한 과제에 대해 재시험했을 때 후속적으로 개선되는 것을 보여주었다. 게다가, 피드백이 더 상세할수록, 학생들이 더 많이 배우는 것으로 보인다. 의과대학 예비학생들이 생물의학 지식을 평가하는 자가-온라인 객관식 테스트에 참여했을 때, 정답과 부정확한 옵션에 대한 자세한 설명을 받은 학생들이 정답에 대한 정보만 받은 학생들보다 더 우수한 것으로 나타났다. 어떤 경우에는 시험 보안 문제로 인해서 상세한 피드백을 주기 어려울 수 있지만, 종합 OSCE를 포함하여 학습자에게 더 많은 피드백을 제공하기 위한 최근 혁신적인 노력이 있었다. 

Giving feedback, however, is not a straightforwardly simple process. For example, the type of feedback provided is important. Feedback focused on providing scores or data alone has not been shown to be sufficient to promote learning. In fact, providing grades, even when accompanied by narrative comments, may actually undermine learning. In a study in which grade-school children were provided with either grades alone, narrative comments alone, or both combined, only students who had received narrative comments alone showed a subsequent improvement when retested on similar tasks.42 Further, it appears that the more detailed the feedback, the more likely students are to learn. When pre-medical students participated in a self-administered online multiple-choice test assessing biomedical knowledge, those who received detailed explanations about the correct and incorrect options outperformed those who only received information about the correct answer.43 Although test security issues may preclude detailed feedback in some cases, there have been recent innovative efforts to provide increased feedback to learners, including in summative OSCEs.44

발달시험을 피드백을 제공하는 용도로 쓰는 것이 더 어려운 이유 중 하나는, 학습자들은 [피드백에 현저하게 면역]이 될 수 있기 때문이다. 피드백을 수용하는 중요한 요소는 피드백을 제공하는 소스의 인식된 신뢰도인 것으로 보인다. Telio 등은 이 결과를 설명하기 위한 [교육적 동맹 프레임워크]를 제안했는데, 이 프레임워크에서는 피드백 제공자-수신자 관계와 심리치료사-환자의 관계 사이에 유사점을 도출했다. 이 모델에서, 학습자가 피드백을 받아들이고 내면화하기 위해서는 [피드백을 제공하는 사람과의 인식된 동맹관계]가 있어야 합니다. 이 동맹은 학습자들이 그들의 잠재력을 성취하는 데 필요한 지도와 비판을 받아들이기에 충분히 취약하도록 그들 자신을 도울 수 있다. 하지만, 피드백은 학습에 해로운 영향을 미칠 수 있는 감정적인 영향을 미칠 수 있습니다. 직무에 초점을 맞춘 피드백은 학습에 가장 강력한 영향을 미치는 것으로 보이는 반면, (즉, 칭찬과 처벌의 형태로) 자아를 자극하는invokes the self 피드백은 덜 성공적인 것으로 보인다.49 아마도 자아를 자극하는invokes the self 피드백은 교육적 연대를 위협할 수 있는 사회적 판단을 수반하기 때문일 것이다. 학습자 및 교사, 평가의 형성적 의도를 훼손할 수 있습니다.
As an additional complication of the use of progress tests to provide feedback, it has been suggested that learners can be remarkably immune to feedback.45, 46 An important factor in accepting feedback appears to be the perceived credibility of the source providing feedback.47 Telio et al.48 proposed an educational alliance framework to explain this finding, in which they draw parallels between the feedback provider‒receiver relationship and that of a psychotherapist and patient. In this model, in order for feedback to be accepted and internalised by the learner, there needs to be a perceived alliance with the person providing the feedback. This alliance can help learners to allow themselves to be vulnerable enough to accept the guidance and criticism that is needed to help them achieve their potential. However, feedback can have an emotional impact, which can have detrimental effects on learning. Feedback that is focused on the task appears to have the most powerful influence on learning, whereas feedback that invokes the self (i.e. in the form of praise and punishment) appears to be less successful.49 Perhaps this is because feedback that invokes the self carries with it social judgements that may threaten the educational alliance between learner and teacher, and may undermine the formative intentions of the assessment.

요약
Summary

발달시험의 많은 특징은 바람직한 학습을 강화하는 특성과 잘 일치하는 것으로 보인다.

• 시험범위는 광범위하기에 주입식 학습을 덜 실현 가능하며, 단순히 좋은 점수를 얻는 것을 목표로 시험에 접근할 때 발생하는 것과 비교한다면, 발달시험이 간접적으로 더 지속적이고 위치적인 학습을 장려할 수 있다.
• 학습자에게 동일한 자료를 반복적으로 테스트하면 정보 인출을 연습할 수 있습니다.
• 마지막으로, 발달시험을 통해 수행능력에 대한 자세한 피드백을 제공할 수 있습니다.

Many of the features of progress tests appear to align well with the properties that enhance desirable learning.

• Broad coverage of material makes cramming less feasible and may indirectly encourage more continuous and situated learning when compared with what occurs when one approaches a test with the goal of simply getting a good grade.
• Repeatedly testing learners on the same material provides them with opportunities to practise retrieving information.
• Finally, progress tests allow for the provision of detailed feedback on performance.

그러나 발달시험의 의도하지 않은 잠재적 결과도 고려해야 한다. 만약 학습자들이 그것을 하찮거나 준비하기에 너무 벅찬 것으로 인식한다면, 발달시험은 공부에 dis-incentive적인 것으로 판명될 수 있다. 피드백 제공은 가능하지만, 그러한 피드백이 추가 학습에 의미 있게 통합되도록 보장하는 데는 잘 알려진 복잡성이 있으므로 그러한 피드백의 전달이 정의에 의해 평가되고 통합되는 것을 당연하게 여겨서는 안 된다.

However, one must also consider the potential unintended consequences of introducing progress testing. It is possible that a progress test may prove to be a dis-incentive to studying if learners perceive it as unimportant or too overwhelming to prepare for. Although provision of feedback is possible, there are well-known complexities in ensuring that such feedback is incorporated meaningfully into further learning, so it shouldn't be taken for granted that the delivery of such feedback is by definition valued and incorporated.

문제를 해결하기 위한 유일한 가능한 접근법이 진도 테스트라는 것은 아니다. 우리의 요점은, 오히려, 신중하게 구현될 경우, 발달시험이 AFL 모델에 특히 적합하다는 것이다.
This is not to say that progress tests are the only possible approach to addressing these issues. Our point, rather, is that progress testing, if implemented carefully, is particularly well suited to a model of AFL.

평가를 사용하여 학습을 최적화하는 방법
How to use assessment to optimise learning

비록 문헌들이 AOL과 AFL 사이에 분명한 차이를 이끌어냈지만, 정의가 암시하는 것보다, 사실 두 가지 사이에는 기능적인 중복이 더 많을 수 있다. 즉, 모든 평가는 학생의 현재 학습 상태를 어느 정도 평가하는 데 사용되며, 모든 평가는 추가 학습을 알리고 지원할 수 있는 잠재력을 가지고 있다. 중요한 것은 [교육자의 관점에서 본 시험의 목적]과 [학습자가 시험 목적을 해석하는 방법] 사이에 불일치가 있을 수 있으므로, 학습자 행동에 미치는 영향의 관점에서 AOL과 AFL의 구별은 보는 사람의 눈에 달려 있을 수 있다. 이런 점에서 AOL이 될 것인지, AFL이 될 것인지를 결정하는 것은 [시험 자체의 속성]이 아니라, [교육자와 학습자가 시험의 목적에 대해 추론하는 것]이다. 따라서 이분법은 다소 인위적이며, 주어진 평가 상황에서 AOL과 AFL을 학습자의 마음에 상대적으로 더 배경이나 배경에서 고려하는 것이 더 유용할 수 있다.
Although the literature has drawn clear distinctions between AOL and AFL, it may be that there is more functional overlap between them than implied by the definitions. That is, it is likely that all assessment is used to assess a student's current state of learning to some degree, and all assessment has the potential to inform and support further learning. Importantly, there may also be discordance between the purported purpose of the test from the educator's perspective and how the learners interpret the test's purpose, so from the perspective of its influence on learner behaviour, the distinction between AOL and AFL may be in the eye of the beholder. In this sense, it is not a property of the test itself that determines whether it will be AOL or AFL, but rather the inferences that educators and learners make about the purpose of the test. The dichotomy, therefore, is somewhat artificial and for any given assessment situation it may be more useful to consider AOL and AFL as being relatively more in the foreground or background in the mind of the learner.

따라서 평가에 대한 서로 다른 접근법이 다른 방법보다 더 많은 학습 기회를 촉진할 수 있으며, 따라서 학습에 대한 긍정적인 영향을 극대화하도록 발달시험이 설계될 수 있다는 것에는 의심의 여지가 없다. 위에서 논의한 바와 같이, 진도 시험 설계 시 학습 촉진에 효과적일 수 있는 전략에는 다음이 있다.

• 구성된 응답 형식 사용,
• 빈번한 저부담 시험 기회 제공,
• 간격을 둔 시험
• 상세한 피드백 제공 

Thus, there is no question that different approaches to assessment may promote opportunities for learning more than others and, as such, progress tests can be designed to maximise their positive influence on learning. As discussed above, strategies that are likely to be effective in promoting learning when designing progress tests include:

• using constructed-response formats,
• offering frequent low-stakes testing opportunities,
• spacing tests and
• providing detailed feedback.

그러나 AFL을 이용하는 것에는 [자신이 평가되고 있다는 것을 아는 것]의 심리적 결과와 같은 [개념적인 장벽]이 있다는 것을 인식하는 것이 중요하다. 평가가 학습용(예: 형성평가)으로 분류되는 경우에도 학습자는 평가를 학습 기회라기 보다는 성공하기 위해 극복해야 하는 장애물로 볼 수 있다. 50 [모든 평가]는 학습자에게 [자신이 평가의 대상이 되는 고부담 사건]으로 인식될 수 있다. 따라서,

• AOL을 전경foreground에 두는 것은, AFL 모델의 의도를 훼손할 수 있습니다.
• AOL을 배경background으로 옮기기 위해서는, 평가의 사회적 의미가 바뀌어야 한다.

However, it is important to recognise that there are conceptual barriers to the use of AFL, such as the psychological consequences of knowing that one is being assessed. Even when assessments are labelled as being for learning (e.g. formative assessment), learners may view them as hurdles that they must overcome in order to succeed, rather than as learning opportunities.50 To the learner, any assessment may be perceived as a high-stakes event where they are being judged. As such,

• the foreground of AOL may undermine the intentions of an AFL model.
• In order to move AOL to the background, the social meaning of assessment must be changed.

다시 말해서, 학습자들은 발달시험을 [잠재적으로 징벌적인 결과를 초래할 수 있는 중대한 사건]보다는 [개선의 기회]로 보도록 배울 필요가 있다. 우리는 학생들의 마음속에 [AFL을 전경화하려는 우리의 노력]을 저해하지 않도록 하기 위한 평가 과정의 조건을 만들어야 한다.

In other words, learners need to be taught to view progress tests as opportunities to improve rather than as high-stakes events with potentially punitive consequences. We must create conditions of the assessment process that will ensure that we do not undermine our own efforts to foreground AFL in the minds of our students.

이를 위한 한 가지 방법은, 학습자로 하여금 [수행에 대한 정기적인 피드백을 기대하도록 기대치를 관리하는 것]입니다. 그러나 다시 한 번, 우리가 제공하는 피드백은 학습 기회로서 인식된 가치에 중요한 영향을 미칠 것이다. 따라서 서술적 피드백을 제공하기 위해 (적어도 일정 기간 동안) 발달시험에 대한 등급을 보류하는 것을 고려할 수 있다. 이 접근방식은 특히 잘한 직무에 대해 좋은 등급으로 보상받는 것에 익숙해진 의료 훈련생에게 암묵적으로 종합적인 평가의 성격을 최소화하는 데 도움이 될 수 있다. 대신에 학습자는 진도 테스트의 결과를 [강점과 약점의 잠재적 영역을 탐색]하고, [학습 목표를 달성할 수 있는 기회]로 보도록 권장받을 수 있습니다. 물론, 학습자는 평가 전략에 다르게 반응할 수 있다. [성과 지향적인 학습자]는 총괄평가나 벤치마크를 선호할 수 있는 반면, [숙달 지향적인 학습자]는 학습과 피드백 및 자기 반성을 연계하기 때문에 형성 평가에 더 관심이 있을 수 있다. 그러나, 교육자들이 그들 자신을 증명하기 보다는 학습자의 오리엔테이션을 개선하도록 촉진하는 조건을 설정할 수 있다면, 학습자들은 발달시험에 의해 제공되는 학습 기회를 더 잘 받아들일 수 있을 것이다.

One way to accomplish this is to manage learners’ expectations so that they come to expect regular feedback on their performance. However, again, the feedback that we provide will have an important influence on its perceived value as a learning opportunity. Thus we may consider withholding grades for progress tests (at least for a period of time) in favour of providing narrative feedback. This approach could help to minimise the implicitly summative nature of assessment, especially for medical trainees who have grown accustomed to being rewarded with good grades for a job well done. Learners could instead be encouraged to view their results from the progress tests as opportunities to explore potential areas of strengths and weaknesses and generate learning goals. Of course, learners may respond differently to assessment strategies – those who are performance-oriented may prefer summative assessments or benchmarks whereas those who are mastery-oriented may be more interested in formative assessments because they link learning with feedback and self-reflection.51 However, if educators can set conditions that promote learners’ orientation toward improving rather than proving themselves, then learners may be more likely to embrace the learning opportunities provided by progress tests.

또한 실질적인 문제가 AFL 모델 통합에 장벽으로 작용할 수 있다. 즉, 교육자가 [상당한 시간 제약]에 직면할 경우 (확인된 학습 기회를 다루기 위한) 의미 있는 교정조치 또는 추가 학습 기회를 제공하기 어려울 수 있다.

• AOL 모델에서 자원은 심각한 어려움에 처한 것으로 확인된 학습자(예: 상대적으로 고부담 시험을 통과하지 못한 학습자)를 위해 예비되는 경향이 있는 반면,
• AFL 모델에서 [모든 학습자가 개선 방법에 대한 지침을 받을 것]으로 예상된다.

Practical issues may also act as barriers to the incorporation of an AFL model. Namely, educators facing significant time restraints may find it difficult to offer meaningful remediation or additional learning opportunities to address identified opportunities for learning.

• In an AOL model, resources tend to be reserved for learners who are identified as being in grave difficulty (e.g. those who have failed relatively high-stakes examinations), whereas
• in an AFL model, all learners are expected to receive guidance on how to improve.

이러한 추가적인 노력은 이미 과로한 의사와 교육자에게 스트레스를 줄 수 있습니다. 학습자가 자신의 학습을 가이드하는 데 필요한 도구를 제공하는 데 집중하는 것은 이러한 압박의 일부를 상쇄하는 데 도움이 될 수 있지만, (발달시험이 제공하는 피드백에 대한 긍정적인 학습 반응을 가장 잘 얻으려면) 교육자로서 이 과정을 가이드할 책임을 무시할 수 없다.
This added effort may stress over-worked physicians and educators. Focusing efforts on providing learners with the tools necessary to direct their own learning may help to offset some of this pressure, but we cannot ignore our responsibility as educators to guide this process if we are to most effectively support a positive learning response to the feedback that the progress test offers.

마지막으로, [학습자에 대한 (최종적) 결정]을 내리기 위해 [발달시험]을 [다른 형성적 평가와 함께 사용할지 여부와 그 방법에 대한 문제]는 매우 현실적인 문제이다. 이러한 평가의 주된 목적이 형성적일 수 있지만, 학습자에 대해 얻을 수 있는 풍부한 정보가 있을 수 있습니다. 모든 평가가 학습만을 '위한' 것일 수는 없다. 학습자의 진행 상황이나 프로그램 진행 상황에 대해 간단히 판단할 필요가 있는 경우도 있습니다. 그러나 이러한 방식으로 평가 데이터를 사용하면 학습자가 학습에서 장애물을 극복하려는 시도로 초점을 전환할 수 있기 때문에 AFL 모델을 구현하려는 시도가 저해될 수 있습니다. 교육자들의 좋은 의도에도 불구하고, AFL은 학습자의 관점을 실제로 고려하지 않을 수 있다. 모든 유형의 평가에는 묵시적 판단 또는 '독소'가 내재되어 있기에, 학습자가 어떤 평가를 저부담의 형성적 평가로 볼 것이라고 가정하는 것은 주제넘을presumptuous 수 있다. 대신, 학습자가 평가를 사용하여 학습을 안내하고 이러한 통찰력을 사용하여 평가 프로그램을 적절하게 수정하는 방법을 조사하는 것이 유용할 수 있습니다. 
Finally, the issue of if and how to use progress tests and other formative assessments to make decisions about learners is a very practical concern. Although the primary purpose of these assessments may be formative, there is likely to be rich information that can be gained about learners.52 Not all assessment can be exclusively for learning, as it is sometimes necessary to make summary judgements regarding learners’ progress or continuation in a programme. However, using assessment data in this way may undermine attempts to implement an AFL model, as learners may shift their focus from learning to simply trying to overcome a hurdle. Despite educators’ good intentions, it is possible that AFL does not really consider the perspective of the learner. It may be presumptuous to assume that learners will ever be willing to view assessment as a low-stakes, formative experience because of the implied judgements, or ‘sting’, inherent in all types of assessment. Instead, it may be useful to probe learners about how they use assessment to guide their learning and use these insights to modify programmes of assessment accordingly.50

결론 Conclusions

점점 더 많은 교육자들이 역량 기반 의학 교육(CBME)을 수용함에 따라, AFL 모델은 계속해서 탄력을 받을 것 같다.53 이것은 또한 AOL가 차지할 장소가 없다는 것을 암시하는 것은 아니다. 단, AOL을 전경(예: 고위험 평가)에 두더라도, [지속적인 학습을 촉진할 기회]를 활용할 수 있고 이용해야 한다. 이러한 일이 일어나기 위해서는 평가 경험의 고통을 덜어줄 방법을 찾아야 한다. 발달시험은 이 독소를 제거(또는 최소한 감소)하는 문제에 대한 하나의 해결책으로 제공됩니다. 발달시험은 학습자에게 주입하려는 심층적이고 의미 있으며 지속적인 학습 유형을 지원할 가능성을 높이는 많은 기능을 가지고 있습니다. 
As more and more educators embrace competency-based medical education (CBME), the AFL model is likely to continue to gain momentum.53 This is not to suggest that there is not also a place for AOL. However, even when AOL is foregrounded (e.g. for high-stakes assessment), the opportunity to promote continuous learning can and should be harnessed. For this to occur, it is necessary to find ways to take the sting out of the assessment experience; progress tests are offered as just one solution to the problem of removing (or at least lessening) this sting. Progress tests have many features that increase the likelihood that they will support the types of deep, meaningful and continuous learning that we are trying to instill in our learners.

그러나 우리는 발달시험이 자동으로 이 기능을 수행한다고 가정하여 이러한 노력을 저해하지 않도록 주의해야 한다.

• 사전 테스트, 순수 테스트 및 사후 테스트 영향을 통해 학습 관행을 형성하도록 [의도적으로 테스트를 구성]해야 합니다.
• 우리는 시험이 평가의 AFL 측면을 뒷받침하는 [사회적 구성에 의해 뒷받침]되는지 확인해야 하며,
• 우리는 학생들이 그러한 시험의 결과가 제공하는 성찰과 학습 기회를 최대한 활용할 수 있도록 하기 위한 [자원을 마련]해야 한다.

우리가 이런 노력을 하지 않는 한, 우리는 학생들의 마음속에서 진행 테스트가 우리의 커리큘럼에서 살아남기 위해 뛰어넘어야 할 또 다른 후프로 옮겨갈 위험을 무릅쓰고 있다.

However, we must be careful that we do not undermine these efforts by assuming that progress testing will automatically fulfill this function.

• We must structure the tests intentionally to ensure that they shape learning practices through their pre-test, pure-test and post-test influences.
• We must ensure that the tests are supported by social constructions that foreground the AFL aspect of the assessments, and
• we must put in place the resources to ensure that students can take full advantage of the reflection and learning opportunities that the results of such tests offer.

Unless we engage in these efforts, we run the risk that progress tests will devolve, in the minds of our students, to just another hoop they must jump through to survive our curricula.

Med Educ. 2016 Jul;50(7):721-9.

 doi: 10.1111/medu.12985.

Taking the sting out of assessment: is there a role for progress testing?

Debra Pugh 1, Glenn Regehr 2

Affiliations collapse

Affiliations

1Department of Medicine, University of Ottawa, Ottawa, Ontario, Canada.

2Faculty of Medicine, Centre for Health Education Scholarship, University of British Columbia, Vancouver, British Columbia, Canada.

PMID: 27295476

DOI: 10.1111/medu.12985Abstract

Context: It has long been understood that assessment is an important driver for learning. However, recently, there has been growing recognition that this powerful driving force of assessment has the potential to undermine curricular efforts. When the focus of assessment is to categorise learners into competent or not (i.e. assessment of learning), rather than being a tool to promote continuous learning (i.e. assessment for learning), there may be unintended consequences that ultimately hinder learning. In response, there has been a movement toward constructing assessment not only as a measurement problem, but also as an instructional design problem, and exploring more programmatic models of assessment across the curriculum. Progress testing is one form of assessment that has been introduced, in part, to attempt to address these concerns. However, in order for any assessment tool to be successful in promoting learning, careful consideration must be given to its implementation.Methods: We will examine the literature on how assessment drives learning and how this might apply to progress testing. We will also explore the distinction between assessment of learning and assessment for learning, including ways in which they overlap and differ. We end by discussing how the properties of an assessment tool can be harnessed to optimise learning.

Conclusions: Progress tests are one potential solution to the problem of removing (or at least lessening) the sting associated with assessment. If implemented with careful thought and consideration, progress tests can be used to support the type of deep, meaningful and continuous learning that we are trying to instill in our learners.

Objective: The purpose of this paper is to consider the implications of implementing progress testing within practice, and how this might promote or impede learning in the three phases of assessment (pre-test, pure-test and post-test).

© 2016 John Wiley & Sons Ltd.

개인, 팀, 프로그램의 교육성과 평가를 위한 기여와 귀인의 힘(Acad Med, 2020)
The Power of Contribution and Attribution in Assessing Educational Outcomes for Individuals, Teams, and Programs
Daniel J. Schumacher, MD, MEd, Eric Dornoff, Carol Carraccio, MD, MA, Jamiu Busari, MD, PhD, MHPE, Cees van der Vleuten, PhD, Benjamin Kinnear, MD, MEd, Matthew Kelleher, MD, MEd, Dana R. Sall, MD, MEd, Eric Warm, MD, Abigail Martini, and Eric Holmboe, MD

우리는 너무 반사적으로 역설들을 분리시킴으로써, 우리가 이 습관 때문에 지불하는 대가를 놓치고 있다. 역설의 극poles은 배터리의 극과 같습니다: 그들을 서로를 잡아주고, 생명의 에너지를 생성한다. 그들을 떼어 놓으면, 전류가 흐르지 않게 됩니다.
We split paradoxes so reflexively that we do not understand the price we pay for our habit. The poles of a paradox are like the poles of a battery: hold them together, and they generate the energy of life; pull them apart, and the current stops flowing.

—파커 파머1
—Parker Palmer1

CBME의 인기에도 불구하고, 우리가 서비스하는 모집단의 요구를 충족시키는 결과에 초점을 맞춘 이 접근방식으로의 의미 있는 전환은 어려운 일이었다. 간단히 말해서, 의료연수생에 대한 평가는 일반적으로 방어 가능한 타당성과 신뢰성이 부족하고 교육 및 환자 치료 결과에 대한 정보는 기껏해야 제한적이기 때문에 졸업생들이 교육 후 임상 실무에 대비할 준비가 되어 있는지 신뢰할 수 없다. 이 문제는 교육, 훈련 및 실천 연속체에 만연해 있으며, 의학연구소(현재의 국립 의학 아카데미)와 메디케어 지급 자문 위원회는 환자의 요구를 충족시키는 데 있어 레지던트 교육의 단점을 한탄하고 있다. 
However, despite the popularity of CBME, meaningful transition to this approach, which focuses on the outcome of meeting the needs of populations that we serve, has been challenging. Stated simply, we do not reliably know if graduates are prepared for clinical practice after training because assessment of medical trainees typically lacks defensible validity and reliability, and information on education and patient care outcomes is limited at best. This problem is pervasive across the education, training, and practice continuum, and the Institute of Medicine (now the National Academy of Medicine) and the Medicare Payment Advisory Commission have bemoaned the shortcomings of residency training in meeting the needs of patients.10,11 

의료 교육 프로그램 결과 및 실습 결과에 대한 이해와 개선을 확대하려면

• 진료 및 프로세스의 일부 측면이 개인에게 귀속될attributed to 수 있는 방법을 결정해야 하는 반면,
• 진료 및 프로세스의 다른 측면은 결과에 기여하는 여러 개인의 결과이다. 

Greater understanding and improvement in the area of medical education program outcomes as well as practice outcomes will require 

• determining how some aspects of care and processes can be attributed to individuals,
• whereas other aspects of care and processes are the result of several individuals contributing to the outcome.

그러나, 오직 후자만이 최근 문헌의 개념적 논의에서 초점을 받았다.
However, only the latter has received focus in recent conceptual discussions in the literature.

학자들은 최근 의료 교육 프로그램의 효과와 결과를 의미 있게 평가하기 위한 접근법으로서 [기여 분석contribution analysis]을 지지해왔다. 특히 CBME에서처럼, [결과를 생산하기 위해 여러 요소들이 어떻게 결합되어야 하는지를 결정하는 것이 중요한] 복잡한 이니셔티브에서의 기여 분석에 초점을 맞추고 있다. '기여contribution'은 서로 다른 실체가 결과에 기여하는 정도가 얼만큼인지에 주목한다. 그러나 어떻게 결과가 생성되는지에 대한 [전체 기여 스토리]에는 [개인에 기인하는 요소]가 포함되어 있는데, 개개인마다 결과에 미치는 영향의 정도가 다르다. 예를 들어 치료를 받기 위해 응급부서로 계획되지 않은 상태로 최근에 퇴원한 환자는 간호사가 제공한 퇴원 지침을 이해하지 못했거나, 주치의로부터 퇴원 지침을 받지 못했을 수 있다. 이 예에서 [개인(예: 간호사, 전공의)에 귀속attribute되는 활동]이 [환자 결과에 기여contribute]하기 위해 결합된다.
Scholars have recently advocated for contribution analysis as an approach to meaningfully evaluate the effectiveness and outcomes of medical education programs,12,13 especially for complex initiatives for which it is important to determine how several components must come together to produce an outcome, such as those of CBME.14 Contribution focuses on the extent to which different entities contribute to an outcome. However, the full contribution story for how an outcome is produced contains components that can be attributed to individuals that have varying degrees of influence on producing that outcome. For example, a recently discharged patient with an unplanned return to the emergency department to seek care may not have understood the discharge instructions given by the nurse or may not have received any discharge guidance from the resident physician. In this example, activities that are attributable to individuals (e.g., nurse, resident) combine to contribute to the outcome for the patient.

이 예에서 알 수 있듯이, 보건의료는 팀워크의 결과이며, 이것이 기여 분석contribution analysis이 제대로 주목을 받은 이유일 가능성이 높습니다. 그러나 [개인에게 귀속attribute되는 의료의 측면]에 초점을 맞추고, 개인에게 [팀 성과와 관련된 데이터]를 제공하는 것 또한 가치가 있다.

• 본 논문의 일부 저자의 최근 연구는 전공의-민감적 품질 측정을 작업하였다. 이러한 품질 측정은 [특정 질병에 대한 중요성]과 [팀 또는 팀의 다른 구성원이 아닌 전공의에 의해 측정되는 행동]의 가능성에 기초한다. 따라서 [전공의-민감적resident-sensitive 품질 측정]은 개인에게 귀속되는 치료 결과를 다룰 수 있는 노력의 한 예이다.

As this example illustrates, health care is the result of teamwork, which is likely why contribution analysis has rightly received attention. However, focusing on aspects of care attributed to individuals and providing these individuals with data related to their performance on the team also have value.

• Recent work by some authors of this paper has resulted in the creation of resident-sensitive quality measures. These quality measures are based on their importance to a specific illness as well as the likelihood of the action that is measured being performed by a resident and not by another member of the team or the team collectively. Thus, resident-sensitive quality measures are an example of an effort that can address outcomes of care attributable to individuals.15,16 

이러한 조치들은 아직 연구 중이지만, 개인이 제공하는 의료의 입증된 품질에 기초하여 부분적으로 제공되는 진료를 보상하려는 (성과 기반 인센티브 지급 시스템(메디케어 및 메디케이드 서비스 센터(CMS) 프로그램)과 같은) 관리 의료 지급 모델의 현재 추세를 감안할 때 잠재적 효용성을 가지고 있다. 게다가, 개인에게 집중하는 것이 개인의 발전을 이끄는 가장 효과적인 방법일 수도 있다. 또한, [개인 수준의 피드백]이 없다면, 부정적 결과에 대한 자신의 책임은 간과하고, 긍정적 결과에 대해서만 기여를 했다고 생각하는 편견인 [근본적인 귀인 오류]의 희생양이 되기 쉽다.

While these measures are still being studied, they have potential utility given current trends in managed care payment models, such as the Merit-based Incentive Payment System, a program of the Centers for Medicare and Medicaid Services (CMS), that seek to reimburse for care provided partly on the basis of the demonstrated quality of that care provided by individuals. Furthermore, focusing on individuals may be the most effective way to drive their personal improvement.17,18 Additionally, without individual-level feedback, it is easy to fall prey to fundamental attribution error, a bias to view oneself as responsible for positive outcomes but not for undesirable ones.19 

[프로그램 및 시스템 수준의 결과]는 미래의 [프로그램 평가와 프로그램 수준 개선]에 정보를 준다는 점에서 중요하지만, 우리는 [개개인]에 대해 졸업, 인증, 자격 증명 등을 판단해야 하(거나 할 수 있으)며, 개인에 의해 제공되는 입증된 의료 품질에 기초한 관리 의료 지급 모델(예: CMS 성과 기반 인센티브 지급 시스템)을 사용해야 할 수도 있다. 이 경우에 팀 차원의 인증이나 인증과 같은 프로세스를 수행하는 것은 실용적이지 않습니다. 이러한 노력은 팀 구성원이 바뀔 때마다 하루에 여러 번 새로운 결정을 내려야 합니다. 따라서 개인의 성과를 결정determine할 수 있는 능력이 중요하다. 요약하자면, 기여Contribution에 초점을 맞추는 것도 중요하지만, 의료의 어떤 측면이 개인에게 크게 귀속되는지에Attributed to 대해서도 초점을 맞출 필요가 있습니다.
While program- and system-level outcomes are important for informing program evaluation and program-level improvements for the future, we can and should graduate, certify, and credential individuals, and we may be required to use managed care payment models—such as the CMS Merit-based Incentive Payment System—that are based on demonstrated quality of care provided by individuals. It is not practical to carry out processes such as certifying or credentialing at the team level; such efforts would require new decisions several times a day, each time a team member changed. Thus, it is important to be able to determine an individual’s performance. In summary, while a focus on contribution is important, we also need to focus on what aspects of care can be largely attributed to individuals.

만약 우리가 비문에 인용된 파커 파머의 비유를 가까운 주제에 적용한다면, 우리는 귀인attribution과 기여contribution를 전지의 두 극으로 볼 수 있다. 두 가지 모두를 고려해야만, 우리는 [개인뿐만 아니라 팀과 프로그램에 대한 의료 교육의 결과에 대한 이해]에 요구되는 충분한 전압을 생성할 수 있다. 그러나, 우리가 [기여 분석]에만 초점을 맞추는 방식으로, "기여 분석contribution analysis을 위한 귀인 분석attribution analysis에서 벗어나기"와 같은 최근의 담론만 쫓는다면, "전류의 흐름이 중단될current stops flowing" 위험이 있다. 즉, 의학교육에서 [개인 수준]과 [프로그램 수준]의 결과를 모두 고려하지 못하게 되는 것이다.

If we apply Parker Palmer’s analogy,1 quoted in the epigraph, to the topic at hand, we can see attribution and contribution as the 2 opposite poles of a battery. By considering both, we can generate sufficient voltage to power the understanding of outcomes in medical education for individuals as well as for teams and programs. However, if we follow the recent conversation in the medical education literature, which has focused solely on contribution analysis and advocated “moving away from attribution analysis in favor of contribution analysis,”12 there’s a risk that the “current stops flowing” to consideration of both individual- and program-level outcomes in medical education. 

인용한 파머의 말은 "'그리고and'의 힘"에 있다. 즉, 기여와 귀인이 분석에 가져오는 이익을 모두 인정하고, 전체를 부분의 합보다 더 크게 만든다. 기여 분석에 대해 저술한 사람들은 다른 목적을 위한 귀속에 초점을 두는 것이 가능할 수도 있다. 그러나 귀속attribution이 [귀속-기여 연속체]에서 갖는 역할뿐만 아니라, [개인에 대한 귀속의 역할]을 명확하게 정의하는 것은 두 가지 이유로 중요하다: [귀인의 잠재력을 최대한 실현]하고, [귀인을 투명하게 만들기 때문]이다.
Heeding the words of Palmer relies on the “power of ‘and,’” that is, seeing the benefit that both contribution and attribution bring to analysis, making the whole greater than the sum of its parts. It is possible, perhaps even likely, that those who have written about contribution analysis also value a focus on attribution for different purposes. However, we believe that explicitly defining the role of attribution for individuals, as well as its role in the attribution-to-contribution continuum, is important for 2 reasons: realizing the full potential of attribution and making attribution transparent. 

프로그램 및 팀에 집중: 기여도 분석
Focusing on Programs and Teams: Contribution Analysis

[기여 분석]은 2001년에 시민 프로그램과 그들이 달성하고자 하는 결과를 질적으로 평가하는 수단으로 등장했다. 기여도 분석을 개발한 존 메인은 그 당시 변화하는 공공 행정 문화가 시민 프로그램의 결과에 대한 더 큰 책임을 요구한다고 느꼈다. 그는 [기여 분석]이 "관리자, 연구원 및 정책 입안자들로 하여금, [특정 결과에 대한 그들의 프로그램에 대한 기여도에 대한 결론]을 도출하는 데 도움을 줄 수 있다"고 생각했다. 최근 몇 년 동안, 그리고 CBME의 지속적인 추진력은 의료 교육 프로그램의 결과에서 책임에 대한 유사한 요구를 보아왔다. 이러한 상황은 의학교육학자들이 주장해온 바와 같이 [기여분석]을 이러한 목적에 매우 적합하게 만든다.
Contribution analysis emerged in 2001 as a means of qualitatively evaluating civic programs and the outcomes they are seeking to achieve. John Mayne, who developed contribution analysis, felt that the changing culture of public administration at the time required greater accountability for the outcomes of civic programs.20 He thought that contribution analysis could help “managers, researchers, and policymakers to arrive at conclusions about the contribution their program has made to particular outcomes.”20 Recent years, and the continued momentum of CBME, have seen similar calls for accountability in the outcomes of medical education programs.2–4,21 These circumstances make contribution analysis an excellent fit for this purpose, as medical education scholars have advocated.12

현실 세계는 [복잡한 특성]을 갖고 있으며, 이는 결과에 많은 영향을 미치는 요인이 다양함을 의미한다. 기여 분석의 목적은 [개별 실체가 전체 결과에 영향을 미치는 정도]를 결정하는 것이다.22 이 분석에서, 관심 결과의 동인 결정에 일정한 수준의 불확실성이 존재할 것으로 가정한다. 표 1과 같이, 메인은 [기여 분석의 6단계]를 설명한다.

• (1) 해결해야 할 원인 문제를 설명한다. 
  
• (2) 가정된 기여 이론을 개발하고 그 이론에 대한 위험을 확인한다. 
  
• (3) 기여이론을 뒷받침하기 위해 기존의 증거를 수집한다. 
  
• (4) 기여 스토리contribution story 및 쟁점을 평가한다. 
  
• (5) 추가 증거를 찾는다. 
  
• (6) 기여 스토리contribution story을 개정, 강화한다. 

The complex nature of the real world means there are many influences on an outcome. The goal of contribution analysis is to determine the extent to which individual entities affect an overall outcome.22 In this analysis, it is assumed there will be a given level of uncertainty present in the determination of the drivers of the outcomes of interest. As shown in Table 1, Mayne describes 6 steps in contribution analysis12,20:

• (1) set out the causal problem to be addressed,
• (2) develop the postulated theory of contribution and identify risks to the theory,
• (3) gather the existing evidence to support the theory of contribution,
• (4) assess the contribution story and the contestations to it,
• (5) seek out additional evidence, and
• (6) revise and strengthen the contribution story.

다음 절에서 자세히 설명한 바와 같이, 표 1은 이러한 단계를 프로그램 결과의 기여, 개별 결과의 귀속 및 CBME의 기여와 귀속 사이의 상호작용 결정에 적용할 수 있는 방법을 추가로 설명한다.
As detailed in the next section, Table 1 further delineates how these steps can be applied to determining the contribution of program outcomes, the attribution of individual outcomes, and the interactions between contribution and attribution in CBME.

개인에 초점을 맞춥니다. 속성 분석
Focusing on Individuals: Attribution Analysis

[기여 분석 프로세스]는 [귀속 분석]을 정의하는 데도 사용될 수 있다. 귀속 분석은 [상당부분이, 전적으로 개인에게 귀속되는 활동에 대한 증거적 주장을 구축]하기 위한 분석이다. 실제로, 메인은 기여 분석을 개념화하는 과정에서 [기여contribution는 개별 실체에 귀속될attributed 수 있는 것으로부터 시작된다]는 주장을 펼쳤다. 분명히, [귀속은 기여 이야기의 일부]인 것처럼 보인다. (결과가 어떻게 생산되었는지에 대한) [전체 기여 스토리]는 [그 결과를 만들어내는 과정에서 다양한 수준의 영향을 미친 개인, 활동 및 실체]를 포함한다. 

We believe that the contribution analysis process can be used to define attribution analysis as well, seeking to build an evidentiary argument for what activities can be largely or entirely attributed to individuals. Indeed, in his conceptualizations of contribution analysis, Mayne made the case that contribution begins with what can be attributed to individual entities; clearly, attribution is seen to be a part of the contribution story.20,23 The full contribution story of how an outcome is produced includes individuals, activities, and entities to whom varying degrees of influence in producing that outcome are attributed.

그러나 의대 교육에서 기여도 분석을 적용하는 논의는 attribution보다는 contribution를 중시하는 이분법에 가까웠다. 이러한 경향은 [CBME 프로그램의 결과에 초점]을 맞추는 경향 때문일 수 있다. 앞에서 논의한 바와 같이, 우리는 귀속과 기여에 대한 대화를 의학교육을 위한 "둘 중 하나either, or"가 아닌 "둘 다both, and"로 본다. 두 렌즈 모두 원하는 초점에 따라 매우 유용할 수 있다. 실제로, 메인은 귀속과 기여 사이의 연속체를 개념화했습니다.

However, discussions of applying contribution analysis in medical education have approached contribution and attribution as more of a dichotomy, advocating contribution over attribution.12,24 This tendency may be because of the focus on outcomes of CBME programs. As discussed previously, we view this conversation of attribution and contribution as a “both, and” rather than an “either, or” for medical education; both lenses can be very useful, depending on the desired focus. Indeed, Mayne conceptualized a continuum between attribution and contribution.

마인의 귀속-공헌 연속체
Mayne’s attribution–contribution continuum

그의 초기 연구에서, 메인은 "활동activity"이 점차적으로 더 원거리적인 세 가지 유형의 결과를 생성하는 결과 사슬을 설명했다.

• "출력/리치output/reach": 그림 1의 왼쪽에 표시된 이 체인은 의약품의 프로세스 조치와 유사한 "출력/리치output/reach"로 시작한다(예: 환자는 1차 진료 제공자와 문서화된 천식 조치 계획을 가지고 있다).
• "중간 결과": 조금 더 나아가서, 같은 이름의 의학의 품질 측정(예: 매년 스테로이드 과정 및 폐 기능 검사)과 유사한 "중간 결과"가 있다.
• "종료 결과": 대부분의 원거리 결과는 의학의 실제 결과 측정(예: 매년 응급 부서 방문 또는 천식 입원 횟수)과 유사한 "종료 결과"이다.

In his early work, Mayne described a results chain where an “activity” produces 3 types of progressively more distal outcomes.20 

• This chain, shown on the left side of Figure 1, begins with the “output/reach,” akin to process measures in medicine (e.g., patient has an asthma action plan documented with primary care provider).
• A little further out are “intermediate outcomes,” akin to medicine’s quality measures of the same name (e.g., steroid courses each year and pulmonary function testing).
• Most distal are “end outcomes,” akin to true outcome measures in medicine (e.g., number of emergency department visits or hospitalizations for asthma each year).

의학이 그렇듯, 메인의 모델에서는 하류downstream에 가까울수록 [결과에 영향을 미치는 (개인을 넘어서는) 추가적인 요소들]를 고려한다. 예를 들어 중간 및 최종 결과는 환자 흡입기 기술, 약물 접근, 가정 내 먼지 및 곰팡이의 존재에 의해 영향을 받을 수 있다.

As in medicine, Mayne’s model considers the additional factors beyond the individual that affect results further downstream. For example, intermediate and end outcomes can be affected by patient inhaler technique, access to medications, and the presence of dusts and molds in the home.

그림 1의 두 번째 열은 당뇨병 환자의 혈당 조절에 대한 결과 체인의 예를 보여주는데, 이는 전공의(이 예제의 초점)가 학습할 수 있는 활동이다. 

• 당뇨병 환자를 돌보는 [전공의만 고려]할 경우, 전공의의 성과를 결정하는 데 다음 사항을 사용할 수 있다. 적절한 약물 처방(예: 메트포르민) 및 적절한 선별(예: 시력검사, 소변 마이크로알부민)을 지시하는 것과 같은 프로세스 조치이다. 그림 1에서 알 수 있듯이, 이러한 활동은 대부분 개인 전공의(즉, 전공의가 소변을 주문했거나 주문하지 않은 경우)에게 귀속attributed to할 수 있다. 
• 결과 사슬을 따라 내려가면, 중간 결과 척도에는 실제 환자 식단과 운동, 약물 준수, 헤모글로빈 A1c 수치가 포함됩니다; 최종 결과 척도에는 당뇨병 신경병증, 망막병증, 뇌졸중 및 심근경색이 포함됩니다. 이러한 중간 및 최종 결과에는 척도의 달성 여부에는 기여하지만, 개별 전공의(예: 의약품 접근, 환자 약물 준수, 실제 환자 다이어트)가 제어할 수 없는 요인이 포함된다. 따라서, 이러한 측정들은 [(귀속보다는) 기여의 관점]에서 고려하기에 가장 좋은 위치에 있다.

The second column of Figure 1 shows an example of the results chain for blood sugar control in a patient with diabetes, an activity that residents (the focus of this example) can learn. When only the resident caring for a patient with diabetes is considered, the following can be used to determine that resident’s performance: process measures such as ordering the proper medication regimen (e.g., metformin) and appropriate screening (e.g., eye exams, urine microalbumin). As Figure 1 shows, these activities can be mostly attributed to the individual resident (i.e., the resident either ordered or did not order a urine microalbumin). Moving down the results chain, intermediate outcome measures include actual patient diet and exercise, medication adherence, and hemoglobin A1c levels; end outcome measures include diabetic neuropathy, retinopathy, stroke, and myocardial infarction. These intermediate and end outcomes include factors that cannot be controlled by an individual resident (e.g., access to medications, patient medication adherence, actual patient diet) contributing to whether or not the measures are achieved. Thus, these measures are best positioned to be considered through the lens of contribution rather than attribution.13

[프로세스 척도에 대한 퍼포먼스]는 개별 제공자의 모습을 반영하며, [여러 제공자에 걸친 집단적인 퍼포먼스]는 프로그램 또는 클리닉의 성과의 지표이다. 중간 및 최종 결과 측정에 대한 성과는 환자, 교육 프로그램 또는 클리닉 및 기관의 성과를 반영한다.
Performance on the process measures reflects the individual provider; performance collectively, across multiple providers, indicates the outcomes of the program or clinic. Performance on the intermediate and end outcome measures reflects the performance of the patient, training program or clinic, and institution combined.

귀속분석 정의
Defining attribution analysis

귀속과 기여의 연속성을 고려할 때, [기여 분석]은 개인에게 적용될 수 있다고 믿습니다. 구체적으로, [기여 분석]에 사용되는 동일한 단계가 개인에게 적용된다면, [귀인 분석]을 정의하고 개인 수행의 특정 구성요소를 결정할 수 있다고 믿는다. 이 접근법은 교육학자들이 여러 개의 변수를 집어넣어보고 "무엇이 들어맞는지what sticks"을 보기보다는, 귀인 연구를 시도할 때 증거를 수집할 수 있는 방법을 제공한다. 전공의를 사례로, 제안된 속성 분석을 위한 단계를 자세히 설명하고, 기여 분석 단계와 이러한 단계를 비교하면 표1과 같다.
Given the continuum between attribution and contribution, we believe contribution analysis can be applied to individuals. Specifically, we believe the same steps used in contribution analysis can be applied to individuals to define attribution analysis and to determine specific components of individuals’ performances that can be attributed to them. This approach provides education scholars with a method for collecting evidence when they are attempting attribution studies rather than plugging in multiple variables and seeing “what sticks.” We detail the steps for our proposed attribution analysis using residents as an example; we also compare these steps with the parallel steps of contribution analysis in Table 1:

• 1단계: 개개인의 수행performance에서 해결이 필요한 인과관계 문제causal problem를 제시합니다.
  • 전공의의 경우 의료팀의 다른 구성원이 아닌 전공의가 정기적으로 완료해야 하는 실질적인 과제를 포함한다. 이 초기 단계에서, 제안된 귀속 업무attributable task가 [평가하려는 개인의 작업 범위 내에 있어야 하는지 여부]를 고려하는 것이 중요하다. 개인은 과제를 수행해야 하는 사람(또는 사람)이 그렇게 하지 않는 기능 장애 마이크로 시스템 또는 전문가 간 팀을 보상하기 위해서만 이 과제를 수행할 수 있다. 이러한 [잠재적 귀속 요인]은 배제해야 하며, 마이크로시스템 또는 팀 성과 개선에 초점을 맞추어야 한다.
    

1. Set out the causal problem to address in individual performance. 
   1. For residents, this includes tangible tasks that residents—rather than other members of the health care team—regularly complete. At this early step, it is important to consider whether the proposed attributable task should be within the scope of work of the individual of interest. The individual may only perform this task to compensate for a dysfunctional microsystem or interprofessional team in which the person (or people) who should be performing the task is not doing so. Such potential attributable factors should be excluded and focus placed on improving the microsystem or team performance.

• 2단계: 가정된 귀인 이론theory of attribution을 개발하고 그 이론에 대한 위험을 확인한다.
  • 그 task를 완수할 수 있어야 하는 다른 사람이 누구인지 고려하면서, 이러한 작업이 해당 전공의에게 귀속되는 이유를 설명하고 정당화한다.
    

1. Develop the postulated theory of attribution and identify risks to the theory. 
   1. Explain and justify why these tasks are attributable to residents, taking into account who else could be completing the tasks.

• 3단계: 귀속 이론을 뒷받침하기 위해 기존의 증거를 수집한다. 
  • 증거는 선택된 과제가 실제로 전공의의 행동resident action를 반영한다는 것을 입증해야 한다.
    

1. Gather the existing evidence to support the theory of attribution. 
   1. Evidence should demonstrate that selected tasks actually reflect resident actions.

• 4단계: 귀속 사례와 그와 관련된 쟁점을 평가합니다.
  • 이 시점에서 생성된 큰 그림 컨텍스트를 보고 그 속성이 임상 학습 환경의 맥락에서 타당한지 여부를 평가하십시오. 이 평가에는 평가대상이 되는 프로세스 조치가 [팀의 다른 구성원 또는 팀 집단으로서가 아니라] 진정으로 [평가되는 특정 전공의에게 상당정도 귀속되는지]를 이해하려는 시도가 포함되어야 한다.

1. Assess the attribution story and the contestations to it. 
   1. Look at the big picture context created to this point and evaluate whether the attribution is valid in the context of the clinical learning environment. This evaluation should include attempting to understand whether the process measure under consideration is truly highly attributable to the resident rather than to another member of the team or to the team as a collective.

• 5단계: 추가 증거를 찾습니다.
  • 예를 들어, 가족 및 의료팀의 다른 구성원들과 함께 차트 검토 및/또는 직접 관찰을 실시함으로써 프로세스 조치가 전공의에게 귀속된다는 주장을 뒷받침할 수 있는 더 많은 정보를 계속 모색한다.
    
• Seek out additional evidence. 
  • Continue to seek out more information to support the claim that the process measure is attributable to the resident, for example, by conducting chart reviews and/or direct observation combined with discussions with a variety of stakeholders such as families and other members of the health care team.

• 6단계: 귀속 스토리를 수정하고 강화합니다.
  • 5단계에서 수집한 새로운 정보를 통합하여 전공의와 측정된 업무 간의 관계를 보다 명확하게 정렬한다.

1. Revise and strengthen the attribution story.
   1. Integrate the new information gathered in step 5 to create a clearer alignment of the relationship between the resident and the task measured.

메인의 귀인 개념화에서 더 나아가, 이러한 단계를 완료하면 [개인의 행동]과 [측정measure] 사이의 "확률적 인과관계"를 추론하는 데 도움이 될 것이다. 메인은 이 [확률론적 인과관계]를 확립하기 위해 5가지 기준을 충족해야 한다고 주장한다. 

• 개연성plausibility, 
• 계획에 따른 실행, 
  
• 핵심 요소의 증거 확인, 
  
• 다른 영향 요인을 고려  
  
• 대안적 설명이 (틀렸음)을 반증disproving

Further building from Mayne’s conceptualization of attribution, completing these steps will help to infer “probabilistic causation” between an individual’s actions and the measure.25 Mayne asserts that 5 criteria must be met to establish this probabilistic causation:

• plausibility,
• implementation according to plan,
• evidentiary confirmation of key elements,
• taking other influencing factors into account, and
• disproving alternate explanations.

기여와 귀속 모두 활용의 힘
The Power of Harnessing Both Contribution and Attribution

[기여 분석과 귀인 분석]을 모두 사용하여 프로그램을 집단으로 평가하는 동시에 규제당국이 인증해야 하는 개인의 진행 상황을 측정할 수 있다. 이러한 조치를 만들고 사용하면 추가 전공의 교육에 도움이 되지만 환자와 팀 구성원(예: 간호사)의 피드백을 고려하여 커뮤니케이션 및 환자 관계와 같은 더 무형의 기술에 대한 조치measures를 만들 수 있다. 이러한 접근 방식은 [가시적인 목표를 바탕으로 개인의 개선을 위한 귀중한 피드백]을 생성하는 동시에, [직원 교육을 촉진하기 위해 프로그램에 필요한 실행 가능한 피드백]을 제공합니다. "둘 중 하나"가 아니라 "둘 다"와 "그리고"라는 생각이 epigraph에 나타나 있다.
Using both contribution and attribution analyses, we can evaluate a program as a collective while also measuring the progress of the individuals that regulators must certify. Creating and using these measures will help to further resident education but can also be built upon by considering feedback from patients and team members (e.g., nurses) to create measures for more intangible skills, such as communication and patient rapport. This approach creates valuable feedback for individual improvement with tangible goals while also providing actionable feedback to programs to better facilitate the education of their staff. This “both, and” rather than “either, or” thinking is evoked in the epigraph.

결론 Conclusion

교육 결과를 환자 치료 결과와 연계하는 과제(교육의 지평선에 대한 우리의 가장 큰 과제)는 서로 얽힌 성과 가닥을 분리하고 검토하기 위한 첫 번째 단계로 기여 및 기여 분석을 사용하면 충분히 해결할 수 있을 것이다. 이러한 접근 방식을 통해 다음을 확인할 수 있다.

• 각 가닥(개개이느이 퍼포먼스에 대한 귀속attribution)이 팀 성과에 어떻게 얽혀 있는지,
• 전체 스레드(기여contribution 분석)가 팀 성과와 환자에 대한 치료 결과를 어떻게 연결하는지 

The challenge of linking educational outcomes to patient care outcomes—our greatest challenge on the education horizon—may well be served by using contribution and attribution analyses as the first step toward pulling apart and examining the intertwined performance strands. Such an approach allows us to see

• how each strand (attribution of individual performance) is intertwined in team performance and
• how the whole thread (contribution analysis) links team performance to care outcomes for patients.

이러한 노력에서 의료 교육은 [결과에 대한 개인의 책임]에 초점을 맞추는 것으로 시작되었지만, 개인과 팀 간에 책임을 공유하는 [팀 책임에 초점을 맞추는 것]으로 진화해나갈 것이며, quality improvement의 궤적을 따라가며 이익을 얻을 수 있을 것이다.

In these efforts, medical education may benefit from following the trajectory of quality improvement, which began as a focus on individual responsibility for outcomes but evolved to focus on team responsibility with shared accountability among individuals and teams.26

Acad Med. 2020 Jul;95(7):1014-1019.

 doi: 10.1097/ACM.0000000000003121.

The Power of Contribution and Attribution in Assessing Educational Outcomes for Individuals, Teams, and Programs

Daniel J Schumacher 1, Eric Dornoff, Carol Carraccio, Jamiu Busari, Cees van der Vleuten, Benjamin Kinnear, Matthew Kelleher, Dana R Sall, Eric Warm, Abigail Martini, Eric Holmboe

Affiliations collapse

Affiliation

1D.J. Schumacher is associate professor of pediatrics, Cincinnati Children's Hospital Medical Center and University of Cincinnati College of Medicine, Cincinnati, Ohio. E. Dornoff is a medical student, University of Cincinnati College of Medicine, Cincinnati, Ohio. C. Carraccio is vice president of competency-based assessment, American Board of Pediatrics, Chapel Hill, North Carolina. J. Busari is consultant pediatrician and associate professor of medical education, Maastricht University, Maastricht, the Netherlands. C. van der Vleuten is professor of education, Department of Educational Development and Research, Faculty of Health, Medicine, and Life Sciences, and scientific director, School of Health Professions Education, Maastricht University, Maastricht, the Netherlands. B. Kinnear is assistant professor of pediatrics and internal medicine, Cincinnati Children's Hospital Medical Center and University of Cincinnati College of Medicine, Cincinnati, Ohio. M. Kelleher is assistant professor of pediatrics and internal medicine, Cincinnati Children's Hospital Medical Center and University of Cincinnati College of Medicine, Cincinnati, Ohio. D.R. Sall is assistant professor of internal medicine, University of Cincinnati College of Medicine, Cincinnati, Ohio. E. Warm is professor of medicine and internal medicine program director, University of Cincinnati College of Medicine, Cincinnati, Ohio. A. Martini is a clinical research coordinator, Division of Emergency Medicine, Cincinnati Children's Hospital Medical Center, Cincinnati, Ohio. E. Holmboe is senior vice president for milestones development and evaluation, Accreditation Council for Graduate Medical Education, Chicago, Illinois.

PMID: 31833856

DOI: 10.1097/ACM.0000000000003121Abstract

Recent discussions have brought attention to the utility of contribution analysis for evaluating the effectiveness and outcomes of medical education programs, especially for complex initiatives such as competency-based medical education. Contribution analysis focuses on the extent to which different entities contribute to an outcome. Given that health care is provided by teams, contribution analysis is well suited to evaluating the outcomes of care delivery. Furthermore, contribution analysis plays an important role in analyzing program- and system-level outcomes that inform program evaluation and program-level improvements for the future. Equally important in health care, however, is the role of the individual. In the overall contribution of a team to an outcome, some aspects of this outcome can be attributed to individual team members. For example, a recently discharged patient with an unplanned return to the emergency department to seek care may not have understood the discharge instructions given by the nurse or may not have received any discharge guidance from the resident physician. In this example, if it is the nurse's responsibility to provide discharge instructions, that activity is attributed to him or her. This and other activities attributed to different individuals (e.g., nurse, resident) combine to contribute to the outcome for the patient. Determining how to tease out such attributions is important for several reasons. First, it is physicians, not teams, that graduate and are granted certification and credentials for medical practice. Second, incentive-based payment models focus on the quality of care provided by an individual. Third, an individual can use data about his or her performance on the team to help drive personal improvement. In this article, the authors explored how attribution and contribution analyses can be used in a complimentary fashion to discern which outcomes can and should be attributed to individuals, which to teams, and which to programs.

의학역량에 대한 질문: COVID-19 사태가 의학교욱의 목표를 바꾸어야 하는가? (Med Tech, 2021)
Questioning medical competence: Should the Covid-19 crisis affect the goals of medical education?
Olle ten Catea , Karen Schultzb , Jason R. Frankc , Marije P. Hennusd , Shelley Rosse , Daniel J. Schumacherf , Linda S. Snellg, Alison J. Whelanh and John Q. Youngi ; on behalf of the ICBME Collaborators

도입 Introduction

2020년 사스-CoV-2 (COVID-19) 대유행은 건강과 교육을 포함한 사회의 많은 부문에 심각한 영향을 끼쳤다. 보건 및 교육에서 학생, 교사, 프로그램 및 기관의 업무 과정과 보건 직업 교육에서의 이들의 교차점에서 일어난 적응은 지속적인 영향을 미칠 수 있고, 우리는 제안할 것이다(루시와 존스턴 2020; 로즈 2020; 하우어 외 2021). 강의실과 임상 교육 모두에서 의학 교육의 많은 적응adaptations이 문서화되었다(Goldhamer 등 2020; Hall 등 2020). 본 논문에서 우리는 이러한 적응에 초점을 맞추지 않고, 전염병이 의료 역량에 대한 우리의 견해에 어떻게 더 근본적으로 영향을 미쳤는지에 초점을 맞추고 있다.
The 2020 SARS-CoV-2 (COVID-19) pandemic has profoundly affected many sectors of society, including health and education. The adaptations that have taken place in the work processes of students, teachers, programs, and institutions in health care and education and their intersection in health professions education could and, we would propose, should have lasting effects (Lucey and Johnston 2020; Rose 2020; Hauer et al. 2021). Many of the adaptations in medical education – in both classroom and clinical education – have been documented (Goldhamer et al. 2020; Hall et al. 2020). In this paper we do not focus on these adaptations, but rather on how the pandemic has more fundamentally affected our views on medical competence.

[역량]에 대한 다양한 정의 중 하나는 '활동을 수행하거나 주어진 과제를 완수하기 위해 개인 또는 사회적 요구에 대응할 수 있는 능력'(IGI Global 2021)이다. 이는 의료 전문가의 경우 [임상 실무에서 직면하는 도전에 대응할 수 있는 능력]이다. 이러한 과제는 환자 안전에 대한 다소간의 위험이 수반될 있으며, 긴급한 대응이 필요할 수도 있고, 준비와 훈련이 필요할 수 있다. 
Among the various definitions of competence, one is ‘the capacity to respond to individual or societal demands in order to perform an activity or complete a given task’ (IGI Global 2021), which, for a medical professional, would be the capacity to respond to challenges faced in clinical practice. These challenges may come with more or less risk for patient safety, may need a more or less urgent response, and may require more or less preparedness and training.

• 의료 종사자의 재배치,
• 이러한 근로자가 새로운 업무를 위해 적절히 훈련할 기회,
• 전염병 동안 새로운 업무에 참여할 의사의 의지

...에 대한 필요성은 이러한 필요성에 대한 [개별 임상의가 이러한 필요, 위험, 개인의 능력을 어떻게 인식하는지]뿐만 아니라, [조치의 필요성] 및 [환자와 의사 모두에 대한 작업의 위험성]에 달려 있었다. 단순화하면 [긴급성]과 [위험 수준]이라는 두 가지 외부 조건이 네 가지 상황을 초래합니다(그림 1).

• The need for redeployment of health care workers,
• the opportunity for these workers to properly train for new tasks, and
• the willingness of physicians to engage in novel tasks during the pandemic

...have depended on the need for action and the risk of the work to both patient and physician, as well as individual clinicians’ perceptions of these needs, the risks, and their personal capabilities. Simplified, the two external conditions – urgency and risk level – lead to four situations (Figure 1).

그림 1 다양한 능력을 갖춘 보건 전문가의 적합성의 결정 요소로서 직무 필요성과 위험.
Figure 1. Task need and risk as determinants of the suitability of health professionals with varying capabilities to be employed.

COVID-19 대유행 기간 동안의 치료는 종종 그림 1의 오른쪽 상단 모서리에 있다. 대유행이 극에 달했을 때 응급 의사, 가족 의사, 전염병 전문의, 집중치료사, 내과 의사 및 호흡기내과 전문의들이 당연히 COVID-19 환자를 돌볼 것을 요청받았다. 하지만, 많은 병원에서는, 이러한 환자들을 돌볼 수 있는 전담 전문가가 너무 적어서, 입원 의학과에 익숙하지 않은 사람들을 포함하여, [다른 전문의들]의 의사들이 자원봉사를 했거나 도움을 요청 받았기 때문에 도움을 주었다. 예를 들어 소아 진료량이 급격히 감소한다는 것은 소아과 의사가 소아 ICU에서 위독한 성인 환자를 돌보도록 요청했다는 것을 의미한다(Kneyber et al. 2020).
Care during the COVID-19 pandemic has often sat in the top right corner of Figure 1. At the peaks of the pandemic, emergency physicians, family physicians, infectious disease specialists, intensivists, internists, and pulmonologists were, not surprisingly, called on to attend to patients with COVID-19. However, in many hospitals, too few dedicated specialists were available to cover the care for these patients, so physicians from other specialties assisted, including ones less familiar with inpatient medicine, either because they volunteered or because they were asked to help. Drastic drops in pediatric care volumes, for instance, meant that pediatricians requested to care for critically ill adult patients in pediatric ICUs (Kneyber et al. 2020).

전문가, 의대, 대학원 프로그램, 면허 기관 및 대중은 모두 [유능한 의사]가 무엇인지에 대한 이미지를 가지고 있지만, 이 용어를 정의하거나 이러한 정의를 조작화하는 것은 항상 어려웠다(Kate 2017). 매우 인용된 정의일지라도, 엡스타인과 헌더트(2002)가 제공한 권위 있는 정의('제공되는 개인과 공동체의 이익을 위해 일상적 실무에서 의사소통, 지식, 기술 기술 기술, 임상적 추론, 감정, 가치 및 성찰의 습관적이고 현명한 사용')는 해석의 여지를 남긴다. 어떤 지식과 기술이 기대될 수 있는지 명시하지 않고, 사람들은 같은 방식으로 표준을 해석하거나 적용할 수 없다. 이는 부분적으로 역량이 상황에 따라 다르다는 사실 때문일 수 있다. (10 케이트 외 2010; 10 케이트 및 빌렛 2014; Teunissen 외 2021).

Professionals, medical schools, postgraduate programs, licensing organizations, and the public all have an image of what a competent physician is, but defining this term, or operationalizing those definitions, has always been difficult (ten Cate 2017). Even highly cited, authoritative definitions, such as the one provided by Epstein and Hundert (2002) (‘the habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individual and community being served’), leave room for interpretation to some extent as they do not specify which knowledge and skills may be expected, and people may not interpret or apply the standards in the same way. This may be due to the fact that competence is, in part, context dependent (ten Cate et al. 2010; ten Cate and Billett 2014; Teunissen et al. 2021). 

Billett (2017)은 직업 역량의 세 가지 요소 또는 영역을 구분한다: 

• 모든 유사한 전문가에 의해 공유되는 표준 도메인, 
• 맥락에 의해 결정되는 상황 도메인, 그리고 
• 유능한 전문가들 사이에서도 개인의 차이를 설명하는 개인 도메인. 

Billett (2017) distinguishes three components or domains of occupational competence:

• a canonical domain, shared by all similar professionals,
• a situational domain determined by the context, and
• a personal domain that explains individual differences, even among competent professionals.

[규칙적인 상황]에서, 대부분의 의사들은 그들의 규범적이고 전문적인 자격과 동료들, 동료들, 그리고 전문 사회의 상황적 지원이 모든 표준과 기대치를 충족하기에 충분한 지침을 제공하는 안정적이고 친숙한 맥락에서 일한다. 그러나 공식적으로 요구되는 능력으로 규정될 수 있는 것에는 한계가 있다. 예를 들어, 어떤 지식은 암묵적이고 성문화하기가 어렵다. COVID-19와 같은 대유행에서 상황 변화는 초기 불확실성과 관련된 능력의 적응을 필요로 한다. 경력 내내 모든 의사는 [불확실한 순간]에 직면한다. 즉, 직업 변화, 새로운 치료와 시술의 치료의 발전, 익숙하지 않은 문제, 희귀 질환 및 표준 임상 지침에 반영되지 않은 비정형 프레젠테이션의 환자(Collianni et al. 2021). 이러한 익숙하지 않은 상황에는 전문가의 판단, 임상적 추론, 행동 및 관리가 새롭게 필요합니다. 프로들은 '미안하지만, 나는 그것을 학교에서 배우지 못했다' 뒤에 숨을 수 없다. 일반적인 사회 및 전문적 기대는 지속적인 자기주도 학습을 통해 의료 질문 및 익숙하지 않은 문제를 가진 환자를 어느 정도까지 보호할 수 있다는 것이다. 다시 말해서 의사는 적응할 수 있을 것이라는 기대를 받는다(10 Kate 등).

In regular circumstances, most physicians work in stable and familiar contexts for which their canonical, professional qualifications, plus contextual support from colleagues, coworkers, and professional societies, provide sufficient guidance to meet all standards and expectations. There is a limit, however, to what can be formally stipulated as required competence. For example, some knowledge is tacit and hard to codify. In a pandemic such as COVID-19, contextual changes require an adaptation of competence, associated with initial uncertainty. Throughout their careers, all physicians face moments of uncertainty: job changes, advances in care with new therapies and procedures, unfamiliar problems, rare diseases, and patients with atypical presentations that are not reflected in canonical clinical guidelines (Colaianni et al. 2021). These unfamiliar situations require renewed professional judgment, clinical reasoning, actions, and care. Professionals cannot hide behind ‘I apologize, but I did not learn that in school’ (Duijn et al. 2020). The general societal and professional expectation is that all physicians can be trusted, to some extent, to care for patients with health care questions and problems with which they are not familiar, through ongoing self-directed learning. Physicians are expected, in other words, to be adaptable (ten Cate et al. 2021).

문제는: 어느 정도의 적응성을 기대하는 것이 합리적인가? COVID-19 대유행은 이 질문을 집중 조명했다. 의사들은 항상 적응할 수 있어야 했지만, 그렇게 빠르고 광범위한 방식으로는 드물었고, 의료 제공자들 스스로가 개인적인 위험에 처하게 된 상황에서, 그렇게 많은 중증 환자들과 함께 있는 경우는 드물었다.
The question is: what adaptability limits define reasonable expectations? The COVID-19 pandemic has spotlighted this question. Physicians have always needed to be adaptable, but rarely in such a rapid and expansive way and rarely with so many profoundly sick patients, in a situation in which the health care providers themselves were put at personal risk.

우리는 마이크로, 메소, 매크로 수준에서 답을 제공하기 보다는 교육적이고 조직적인 질문을 제기한다. 이는 미래 업무의 피할 수 없는 다양성에 대한 건강 전문가의 준비와 적응력에 대한 인식을 높이기 위해서이며, COVID-19 대유행, 다음 대유행 또는 기타 국가 및 글로벌 보건 위기의 세 번째 및 그 이후의 파동을 위한 것이다(그림 2).

We pose educational and organizational questions, rather than providing answers, at the micro, meso, and macro levels, to raise awareness about health professionals’ preparedness and adaptability for the inevitable diversity of future work, be it for third and subsequent waves of the COVID-19 pandemic, the next pandemic, or other national and global health crises (Figure 2).

그림 2 개인, 프로그램 및 제도, 규제 및 사회 시스템의 세 가지 관점에서 의료 위기 동안 의료 역량을 평가합니다.
Figure 2. Valuing medical competence during a health crisis from three perspectives: individual, program and institution, and regulatory and societal systems.

마이크로 레벨: 개별 연수생 및 개업 의사의 관점에서 의료역량 재고
The micro level: Reconsidering medical competence from the perspective of individual trainees and practising physicians

물론 역량은 특정한 일을 수행하는 능력이다. 그렇다면 전문직 역량professional competencce은 전문가에 의해 수행될 것으로 예상되는 직무와 관련이 있는데, 전문가가 권위자로 간주되거나 자문받는 이유는 전문적인 기술, 훈련 또는 지식을 갖추었기 때문이다. 전문가들은 (이미 여러 번 완료했기 때문에) 매우 익숙한 과제뿐만 아니라, (해당 과제가 예상 실무 범위에 포함된다면) 이전에 거의 또는 전혀 수행되지 않은 과제까지도 수행할 것으로 기대된다(Ward et al. 2018). 모든 의학 졸업자는 어느 정도 신뢰받으며, 낯선 업무에 대처할 것으로 예상해야 하지만 문제는 예상되는 실무 범위 내외에서 [어느 정도까지 대처하느냐]이다. 이로 인해 의과대학 선택에서부터 확립된 실무에 이르기까지 의료 경력 주기에 걸쳐 다음과 같은 몇 가지 질문이 제기된다.
Competence, of course, is the ability to perform specific tasks. Professional competence then pertains to professional tasks, those expected to be performed by professionals, often called experts because they are regarded or consulted as an authority on account of special skill, training, or knowledge (Oxford English Dictionary [date unknown]). Experts are expected to perform not only tasks with which they are highly familiar because they have completed them many times, but also tasks they have rarely or never previously performed if those tasks fall within their expected scope of practice (Ward et al. 2018). All medical graduates should be trusted and expected to cope with unfamiliar tasks to a certain extent (ten Cate et al. 2021), but the question is to what extent, both within and outside of an expected scope of practice. This leads to several questions across the medical career cycle, from selection for medical school through established practice:

i. 익숙하지 않은 문제와 불확실성에 대처하기 위해서는 [적응력과 창의적인 문제 해결(능력)]이 필요하며, 이는 다시 에너지와 진취성을 필요로 한다. 불확실한 상황에서 일할 수 있는 적응성 및 의지와 관련된 지원자의 속성을 의대 선택 과정에서 평가해야 하는가? 그리고/또는 학교는 학생들의 이러한 속성을 개발하기 위해 노력해야 하는가? 진취성과 창의성이 (합당한) 기대치expectation가 될 수 있는가? 그리고 그것은 의대를 시작할 때 학생들에게 전달되어야 하는가?
i. Coping with unfamiliar issues and uncertainty requires adaptability and creative problem-solving, which in turn require energy and initiative. Should applicants’ attributes associated with adaptability and willingness to work in uncertain circumstances be assessed in medical school selection processes, and/or should schools work to develop these attributes in their students? Can initiative and creativity become an expectation, and should that be communicated to students when they start medical school?

ii. 이타주의와 용기: [모르는 것은 많지만, 니즈는 높은 환경에서 의료를 제공하는 것]은 기술뿐만 아니라 (도덕적인) 태도도 제공하는 것인가? 그림 1과 같이, 필요량이 가용 리소스를 압도하는 상황에서 재배치에 대한 요구가 발생할 수 있습니다. 필요성이 높고 위험이 낮은 상황(왼쪽 상단 박스 그림 1)은 이타주의를 요구할 수 있다.

• 예: 제공자는 장기간 가족으로부터 떨어져 있어야 할 수 있다.
• 저위험 제공자는 해당 질병을 가지고 있지 않은 환자의 치료를 넘겨받아 고위험 제공자의 시간을 확보할 필요가 있을 수 있다. 
• 제공자는 필요 또는 요구를 충족시키기 위해 급여를 받거나 받지 않고 추가 임상 작업을 수행해야 할 수 있습니다.

ii. Altruism and courage: Is providing care in a setting of high need with many unknowns not only a skill set but a (moral) attitude as well? As per Figure 1, calls for redeployment will occur in high-need situations where need overwhelms the available resources. Situations of high need and low risk (top left box Figure 1) may call for altruism (e.g.

• providers may need to be away from family for extended periods of time;
• low-risk providers may need to free up time for high-risk providers by taking over the care of their patients who do not have the disease in question;
• providers may need to do additional clinical work, with or without pay, to meet needs or demands).

환자, 의사 또는 둘 다에게 필요성과 위험이 높은 상황도 용기가 필요할 수 있다. 이는 그림 1의 오른쪽 상단 박스로 나타내며, 여기서는 의료 사업자가 편안한 영역 밖에서, 그러나 스트레스가 많고 불확실한 상황에서 지원 유무에 관계없이 합리적으로 능력 범위 내에서 일하고 있다. 의료 사업자는 [충분한 역량을 가지고 있음에도 참여를 꺼리는 것]에서부터 [환자 안전 또는 팀 또는 자신의 안전 측면에서 상당한 위험을 감수하는 것]까지 그러한 상황에서 다양한 방식으로 대응할 것이다.
Situations of high need and high risk, for patients, physicians, or both, may also require courage. These are represented by the top right box of Figure 1, where health care providers are working outside of their comfort zone, but reasonably within the scope of their abilities, with or without supports, in stressful, uncertain circumstances. Health care providers will respond in a spectrum of ways in such circumstances, from being unwilling to engage even though they have sufficient competence, to taking on substantial risk in terms of either patient safety or the safety of their team or themselves.

스펙트럼의 양쪽 끝은 문제가 있다. 중간 지점은 우리의 질문이 있는 곳이다. 의사로서의 역할에는 환자와 공중 보건에 대한 봉사에 대한 헌신이 수반됩니다. 하지만 이러한 헌신이 어디까지 확장될까요? 의무 요소를 더 직접적으로 설명하려면:
Both ends of the spectrum are problematic.The middle ground is where our questions lie. Being a physician involves a commitment to service – to patients and to public health – but how far does this extend? To state the obligatory element more directly:

• 당신은 의사가 될 수 있지만 익숙하지 않거나 도전적이거나 위험이 높은 환경에서 일하는 것을 거부할 수 있는가? 
• 그리고 만약 그렇다면, 가능한 [환자 성과 이득]에 대한 [개인적 위험 수준]이나, 임상적 필요 역량과 비교한 역량 격차와 같이, 그러한 결정에 고려해야 할 윤리적 경계는 무엇인가?
• Can you be a physician but choose to refuse to work in an unfamiliar, challenging, or high-risk setting?
• And if so, what are the ethical boundaries for such decisions, such as level of personal risk compared with possible patient outcome benefit, or the competence gap compared with what is clinically needed.

• 참여하기 전에 지원, 감독, 적절한 보호 및 추가 훈련을 주장할 수 있는가?
• 의무 여부를 결정에 고려할 공공 보건(예: 인구 위협의 정도), 임상의 안전(예: 적절한 보호 장비의 가용성), 임상의사의 역량(예: 사전 경험, 집중 훈련 및 지원의 적절한 조합)의 기본 임계값은 무엇인가? 
• Can you, or indeed should you, insist on support, supervision, adequate protection, and further training before engaging?
• What are the basic thresholds of public health (i.e. extent of population threats), clinician safety (e.g. availability of adequate protective equipment), and a clinician’s competence (e.g. adequate combination of prior experience, focused training, and support) that determine whether there is an obligation for any physician to serve?

• 이런 종류의 이타주의나 용기가 기대될 수 있는가? 그리고 의대생들은 훈련을 시작할 때 그들의 경력 동안 그러한 상황에서 행동하도록 요구될 수 있다는 것을 들어야 하는가? 
• 그리고 이러한 개인의 용기, 이타주의, 그리고 위험 감수는 [중앙 및 거시적 수준의 지도자들]이 그러한 상황에서 의료 제공자들을 [지원하고 교육하고 보호할 책임을 지는 경우]에만 정당화되어야 하는가?
• Can this type of altruism or courage be expected, and should medical students be told at the start of their training that during their career they may be called on to act in such circumstances?
• And should this individual courage, altruism, and risk-taking be justified only if leaders at the meso and macro levels take responsibility to support, educate, and safeguard health care providers in such circumstances?

iii. 학습자에게 적응력을 교육할 수 있는가(Cutrer et al. 2017). 올바른 호기심, 동기, 사고방식 및 복원력과 같은 마스터 [적응형 학습자]의 특징이 제안되었다(Cutrer et al. 2018). 이러한 개인 속성이 고정되어 있는가, 아니면 교육이 적응형 자기조절기술을 육성할 수 있는가? 학습자를 낯선 사례와 문제에 노출시키고, 이성 내에서 그들에게 도전하고 불확실성에 대처하기 위한 문제 해결 능력을 고의적으로 구축할 수 있도록 신중하게 선택한 것은 적응 능력을 개발하는 데 도움이 될 수 있다. 적응 능력을 포착, 강화 및 평가하기 위한 이러한 접근법은 어느 정도 성공으로 시도되었다(Wijnen-Meijer 외 2013; Kalet 외 2017).
iii. Can learners be trained for adaptability (Cutrer et al. 2017). Master adaptive learner features, such as having the right curiosity, motivation, mindset, and resilience, have been suggested (Cutrer et al. 2018). Are these fixed personal attributes or can education foster skills in adaptive self-regulation? Exposing learners to unfamiliar cases and problems, carefully chosen to challenge them within reason and to enable them to deliberately build problem-solving skills to deal with uncertainty, may serve to develop adaptive skills. Such approaches to capture, reinforce, and assess adaptive skills have been tried with some success (Wijnen-Meijer et al. 2013; Kalet et al. 2017).

iv. 의료 전문가가 현재의 업무 범위 밖에서 일하도록 요청받는다면 어떤 지원이 필요한가? 익숙한 관행에서 익숙하지 않은 관행으로 쉽게 전환하기 위해 '근위 발달 지역ZPD'을 식별할 수 있다. 이 용어를 만든 Vygotsky(1978, 페이지 86)는 이를 '[독립적 문제 해결이 가능한 실제 발달 수준]과 [성인의 지도 또는 능력있는 동료화의 협력을 통한 문제 해결능력으로 결정되는 잠재적 개발 수준] 사이의 거리'로 정의했다. 상급 전문가나 동료에 의한 지도 또는 감독은 격차를 해소하고 안전한 실천뿐만 아니라 개인이 감독 없이 연습하는 법을 배우도록 보장할 수 있다. 이 영역 내에서 학습자나 전문가는 '조건적 역량conditional competence'(즉, 지도와 감독이 사용가능한 경우에만 역량이 있다고 볼 수 있음)을 가지고 있다. 전문가를 지도 및 평가를 받는 학습자의 위치로 되돌리려면 겸손함과 팀 내에서 효과적으로 일할 수 있는 기술이 필요합니다. 이러한 속성은 의과대학 선택 과정에 포함되어야 하며, 훈련과 전문 실무 중에 강화 또는 구축되어야 하는가?

iv. What support is needed if a medical professional is asked to work outside their current scope of practice? To ease a transition from familiar to unfamiliar practice, a ‘zone of proximal development’ may be identified. Vygotsky (1978, p. 86), who coined this term, defined it as ‘the distance between the actual developmental level, as determined by independent problem solving and the level of potential development as determined through problem solving under adult guidance or in collaboration with more capable peers’. Guidance, or supervision, by more advanced experts or peers can bridge the gap and ensure not only safe practice but also that an individual learns to practise without supervision. Within this zone, learners or professionals have ‘conditional competence’, (i.e. competence only if there is guidance and supervision available). Putting professionals back in the position of learners being supervised and assessed will require humility and the skill to work effectively in a team. Should these attributes be included in medical school selection processes and reinforced or built during training and professional practice?

이전에 획득한 기술은 개인이 여러 해 동안 연습한 후 쇠퇴할 수 있다(Choudhry 등 2005; Norcini 등 2017).

• 이전에 훈련했지만 더 이상 진료하지 않는 분야에 대해, 매우 경험이 풍부하지만 전문화된 의료 전문가들에게 기대할 수 있는 것은 무엇인가?
• 전문가들은 한때 보유했지만 더 이상 숙달되지 않은 기술을 필요로 하는 업무에 대해, (기술을 재습득rebuild한 후) 도와달라는 요청을 받았을 때 거절할 수 있는가, 아니면 이러한 활동을 시작하기 전에 적절한 교육과 역량 평가를 받기를 고집할 수 있는가?

의료계와 사회 사이의 사회적 계약은 암묵적으로 이러한 의무를 포함할 수 있지만, 명백하게 원시적인 primum non nocere 원칙(첫째, 해를 끼치지 않음)은 질문될 수 있는 것에 한계를 설정한다.

Previously attained skills may decay after an individual has been in practice for many years (Choudhry et al. 2005; Norcini et al. 2017).

• What can be expected of very experienced, but very specialized medical experts in areas where they previously trained but no longer practise?
• Can these professionals refuse a request that they rebuild these skills and assist with tasks requiring skills they once possessed but no longer have mastery over, or can they insist on receiving proper education and assessment of competence before they take on these activities?

The social contract between the medical profession and society may implicitly include this obligation, but clearly the primum non nocere principle (first, do no harm) sets limits on what can be asked. 

다음과 같은 의문이 든다:

• 의료 전문가들에게 짧은 시간 내에 다시 습득할 수 있는, 오랫동안 잊고 있던 기술을 사용하도록 요청할 수 있는가?
• 전문가들에게 [과거에 실행범위에 있었던 적이 없지만], [새로 배운다면 의사나 환자에게 허용되는 수준의 위험 수준에서 적용될 수 있는 기술]을 습득하도록 요청받을 수 있는가?
• 의사로서 [정상적인 진료 범위를 벗어나는 작업이나 훈련을 거부하는 것]이 [허용 가능한 시기]와 [권장되는 시기]는 언제인가?
• Questions that arise include the following: Can medical experts be called on to use long-forgotten skills that can be relearned in a short time?
• Can experts be asked to acquire skills that have never been in their scope of practice but that may be learned and applied with an acceptable level of risk to the practitioner or the patient?
• When is that acceptable and when is it rather advisable for a physician to refuse to work or train outside their normal scope of practice?

메소 레벨: 지역 프로그램 및 기관의 관점에서 의료 역량 재고
The meso level: Reconsidering medical competence from the perspective of local programs and institutions

사실상 전 세계의 모든 의과대학들은 전염병이 시작된 이래로 교육 과정을 적응하도록 강요되어 왔다. 대면 교육은 중단되었고, 교실 교육은 온라인 교육으로 전환되었으며, 임상 로테이션은 일시적으로 연기되거나 대폭 축소되었다(골드해머 외 2020; 루시와 존스턴 2020; 웨인 외 2020). 그러나 동시에 일부 의과대학은 수요가 가장 높은 의료 종사자에 대한 수요를 충족시키기 위해 학생들이 조기 졸업할 수 있도록 했다(바르잔스키와 카타네즈 2020; 콜 2020; 플로트 외 2020). 이러한 제도적 조치는 의료 면허에 필요한 역량을 암시적으로 재정의하거나 역량 평가를 개선하여 이전에 설정한 졸업 시간 전에 훈련 목표를 달성한 학생이 면허를 받을 수 있음을 입증한다. 신중하게 구성된 커리큘럼, 프로그램 평가 프레임워크 요건 및 시험 규칙이 갑자기 유연해졌다. 고정 졸업 기준에 대한 시간의 변동성에 의해 정의될 경우(Frank 등 2010) 역량 기반 의학교육이 학부 교육에서 가능하지 않다는 주장은 반박된 것으로 보인다. COVID-19 사태로 인해 학부 의료 프로그램, 대학원 프로그램 및 기관이 커리큘럼과 평가의 적응을 고려해야 했고, 이로 인해 몇 가지 의문이 제기되었다.
Virtually all medical schools in the world have been forced to adapt their educational processes since the start of the pandemic. Face-to-face education has been suspended, classroom teaching has turned into online education, and clinical rotations have been temporarily postponed or significantly curtailed (Goldhamer et al. 2020; Lucey and Johnston 2020; Wayne et al. 2020). But at the same time, some medical schools enabled students to graduate early (Barzansky and Catanese 2020; Cole 2020; Flotte et al. 2020) to meet the demand for health care workers where the need was highest. These institutional measures implicitly redefined the competence needed for medical licensing or refined the assessment of competence to certify that students who had attained the goals of training before their previously set graduation time could be licensed. Carefully constructed curricula, programmatic assessment framework requirements, and examination rules suddenly became flexible. The argument that competency-based medical education, if defined by more variability in time against fixed graduation standards (Frank et al. 2010), is not possible in undergraduate education, seems to have been refuted. The COVID-19 crisis has required undergraduate medical programs, postgraduate programs, and institutions to think of adapting curricula and assessment, leading to several questions.

v. 미리 설정된 교육 기간의 완료만을 기준으로 하기 보다는, 역량에 따라 학습자의 자격을 더 갖추기 위해, 좀 더 개별화된 커리큘럼이 필요할 것인가? (샌튼 외 2020) 한 가지 접근법은 위탁 가능한 전문 활동(EPA)을 포함할 수 있다. EPA는 학습자가 필요한 역량을 입증하는 즉시 수행할 수 있도록 신뢰할 수 있는 전문 실무 단위이다 (10 Kate 2005, 10 Kate and Taylor 2020). 의사의 진료 범위는 개인화된 EPA 포트폴리오로 생각할 수 있으며, 이는 교육 중에 점진적으로 구축되며, 실무자가 근무 수명 내내 유지 또는 채택한다(10 Kate 및 Carraccio 2019). 
v. Will more individualized curricula be needed to qualify learners more on the basis of their competence rather than solely on the basis of their completion of a preset duration of training (Santen et al. 2020)? One approach may include entrustable professional activities (EPAs). EPAs are units of professional practice that learners can be trusted to perform as soon as they have demonstrated the required competence (ten Cate 2005; ten Cate and Taylor 2020). A physician’s scope of practice may be envisioned as an individualized portfolio of credentialed EPAs, which is gradually built during training, and which is maintained or adapted by practitioners throughout their working life (ten Cate and Carraccio 2019).

잠재적으로 졸업 시간을 개별화하는 것에 더하여, 이 접근방식은 COVID-19와 같은 위기 대처에도 유용할 수 있다. 위기 대처에 필요한 작업을 위한 EPA를 명확히 표현할 수 있고, 훈련을 제공할 수 있으며(개인과 기존 기술 세트에 따라 달라질 수 있음), 평가를 구성할 수 있다. 예를 들어 인공호흡기 관리는 EPA(Hester et al. 2020)로 형성될shaped 수 있다. 특정 영역의 역량을 공식적으로 외부적으로 회수할 수 있는 인식인 디지털 배징은 EPA(Mehta et al. 2013)의 사용에 완벽하게 적합한 개발인 보다 개별화된 역량 프로파일(Norcini 2020; Noyes et al. 2020)을 만들도록 최근 권고되었다.

In addition to potentially individualizing times of graduation, this approach may also prove useful in addressing crises such as COVID-19. EPAs for the work needed to deal with the crisis can be articulated, training can be provided (the nature and extent of which would vary depending on the individual and their existing skill sets), and assessment can be organized. Ventilator management, for example, could well be shaped as an EPA (Hester et al. 2020). Digital badging, a formalized and externally retrievable recognition of competence in an area, has recently been recommended to create a more individualized profile of competence (Norcini 2020; Noyes et al. 2020), a development that would perfectly fit with the use of EPAs (Mehta et al. 2013).

vi. 학교, 기관, 전문 기관 및 작업 그룹은 '급속 배치rapid deployment' 모듈 또는 부트캠프 활동을 만들고 필요할 때 제공해야 하는가(헤스터 외 2020)? 새로운 주제를 중심으로 국내 또는 국제적으로 이러한 커리큘럼을 공유할 수 있는 저장소가 있어야 하는가? 병원은 의과대학과 협력하여 신속한 배치 팀을 구성하여, 군 예비군과 유사한 비상 기술을 정기적으로 업데이트하여 위기에 직접 대응하고 더 많은 인력을 재배치 및/또는 훈련시켜야 한다. [위기 대비]와 [일상적인 치료를 위한 자원 요구] 사이에 최적의 지점은 어디인가?

vi. Should schools, institutions, professional organizations, and working groups create ‘rapid deployment’ modules or bootcamp activities and offer them when needed (Hester et al. 2020)? Should there be a repository where such curricula can be shared nationally or internationally around emerging topics? Should hospitals in collaboration with medical schools create rapid-deployment teams, regularly updating their emergency skills, in analogy with the military reserves, to respond to crises directly, while simultaneously redirecting and/or training a larger workforce? Where is the sweet spot between crisis preparedness and resource needs for routine care?

vii. 기관들은 위기 상황에서, 위기의 니즈와 전체적으로 일치하는 전담 맞춤형 팀들이 신속하게 조립될 수 있도록, 의료인력의 [기술 세트skill sets의 목록inventory]을 가지고 있어야 하는가? 위기의 시기에 모든 팀이 필요로 하는 간헐적으로 강화되어야 하는 기초적인 기술이 있는가?
vii. Should institutions maintain an inventory of the skill sets of their workforce such that in times of crisis, dedicated bespoke teams whose skill sets collectively match the needs of the crisis can be quickly assembled? Are there foundational skills that all teams would need during times of crisis that should be intermittently reinforced?

매크로 수준: 광범위한 규제, 시스템 및 사회적 관점에서 의료 역량 재고
The macro level: Reconsidering medical competence from a broader regulatory, systems, and societal perspective

많은 사회와 그 정부는 인구의 건강을 보호하고 육성할 의무를 가지고 있다. 이는 대개 환자의 치료를 허가하는 행위이며 환자의 역량을 인정하는 것을 반영하는 것으로 관할 지역의 의료 사업자의 면허를 책임지는 규제 기관을 통해 이루어진다. 또한 헌법이나 후속 개정 또는 법률을 통해 유능한 인력을 확보하고 시민을 위한 접근 권한을 제공하는 것을 포함한다. 전염병이 강조했듯이, 위험 완화를 위해 유능한 인력을 보호하고 지원하는 것도 조직의 책임이다. COVID-19 위기는 의료 및 과학 전문가와의 대화에서 전염병과 싸우고 치료를 확보하고 지원해야 할 정부의 책임을 다시 한번 전면에 부각시켰다. 그들의 결정은 인구 질병률과 사망률에 지대한 영향을 미친다.
Many societies and their governments hold obligations to protect and foster their population’s health. This is usually done through regulatory bodies responsible for the licensing of health care providers in their jurisdiction, which is an act of permission to treat patients and reflects a recognition of their competence. It also involves securing a competent workforce and providing access to care for citizens, either through a constitution or in subsequent amendments or laws. As the pandemic has highlighted, it is also the responsibility of organizations to protect and support that competent workforce to mitigate risk to a tenable level. The COVID-19 crisis has once again brought to the forefront the responsibility of governments to fight pandemics and to secure and support care, in a dialogue with medical and scientific experts. Their decisions have a profound impact on population morbidity and mortality.

급성 치료가 필요한 환자 급증과 같이 필요성이 높은 경우 의료 참여에 대한 조직 차원의 허가 자격은 필요에 따라 유연해질 수 있다. 면허 요건은 때때로 장애물이 될 수 있다. 

• 외국 출신 의료 전문가의 경우, 대부분의 경우 의료 면허를 위한 국가시험이 있는데, 이것은 수십 년 전에 다른 나라에서 그들 자신의 면허 요건을 완료한 하위 전문가들에게는 충족되기 어려울 수도 있다. 
• 동시에 그러한 하위 전문가들은 위기 관리에 도움이 될 관심 하위 영역(예: 집중 치료)에 대한 최근 경험을 가지고 있을 수 있다.

When the need is high, such as in situations in which a surge of patients require acute care, qualifications for organizational-level permission to participate in health care may become flexible out of necessity. Licensing requirements may sometimes be an obstacle.

• Foreign medical specialists coming to most countries face the requirement of national examinations at the level of medical licensure, which may be difficult to meet for subspecialists who completed their own licensing requirements decades ago in another country.
• At the same time, those same subspecialists may have recent experience in the subdomain of interest (e.g. intensive care) that would be helpful in the management of the crisis.

vii. 규제당국과 국회의원은 예를 들어 필요한 경우 더 작은 범위의 독립적 실무에 대해 제한된 면허를 가진 의사를 허가하기 위한 조건을 재고해야 하는가? 고급advanced 의학 학습자에게도 이런 일이 일어날 수 있을까요? COVID-19 대유행에서 볼 수 있듯이, 갑작스런 건강 재해로 인해 병원은 통상적인 훈련 없이 보건 전문가를 모집해야 할 수 있다. 이러한 필요를 충족시키기 위해 그림 1의 차원들을 고려해야 한다.

• (a) (양적 및 질적으로) 추가 인력의 긴급 요구
  
• (b) 작업의 위험(즉, 환자와 의료 종사자 모두의 치료 중 부작용의 위험) 및
  
• (c) 재배치에 이용 가능한 자들의 경험 수준.

viii. Should regulators and lawmakers rethink the conditions for licensing physicians, for example, with restricted licences for a smaller scope of independent practice if needed? Could this happen with advanced medical learners? As seen in the COVID-19 pandemic, sudden health disasters can result in hospitals needing to recruit health professionals without the usual training. In meeting this need, the dimensions included in Figure 1 must be considered:

• (a) the urgent need for extra hands (in quality and quantity),
• (b) the danger of the work (i.e. the risks of adverse events during care for both patients and health care workers) and
• (c) the level of experience of those available for redeployment.

세 가지 차원 모두 스케일 값을 가지며, 낮음 또는 높음일 수 있으며, 신중한 조합이 배포의 허용 가능성(또는 라이센스 정식 위탁)을 결정할 수 있습니다.

All three dimensions have scale values and may be low or high, and a thoughtful combination may determine the acceptability of deployment (or, if you will, formal entrustment with a license).

ix. 적절한 감염 관리 정책, 충분한 개인 보호 장비, 훈련 기회 및 보상 구조와 같은 의료 종사자의 재배치를 요청할 때 [지역, 주 및 연방 당국의 상호적인 의무]는 무엇인가? 이러한 부족한 인력을 법적 영향으로부터 보호하기 위해 재해가 의사들에게 현재 실무 범위를 초과하여 일할 것을 요구하는 경우(또는 규제자가 요구할 경우) 책임 규칙을 채택해야 하는가?
ix. What are the reciprocal obligations of local, state, and federal authorities when requesting redeployment of health care workers, such as adequate infection control policies, sufficient personal protective equipment, training opportunities, and reward structures (Antommaria 2020)? Should liability rules be adapted if a disaster demands (or a regulator requires) physicians to work beyond their current scope of practice, to protect these scarce workforces from legal repercussions?

x. 보건 위기가 지나가서, 의료 전문가의 필요성이 평상시 수준으로 돌아간 다음에는 어떻게 되어야 하는가? 위기의 대응으로 긴급 면허가 유지되어야 하는가? 아니면 유효기간이 있어야 할까? 위기 경험은 어떤 식으로든 믿을 수 있는가? 그리고 우리는 다음 위기에 더 잘 대비하기 위해 배운 교훈을 어떻게 이용할까?

x. What happens after the health crisis has passed, and the need for health care professionals returns to normal requirements? Does the emergency licensing done in response to the crisis persist? Or does it have an expiry date? Can crisis experiences be credentialed in any way? And how do we use the lessons learned to better prepare for the next crisis?

고찰 Discussion

산업화된 세계의 의사들과 교육자들은 예측 가능한 방향으로 의료 역량을 생각하기 위해 움직였을지도 모른다. COVID-19 위기는 새로운 질병이 어떻게 많은 문제를 야기하는지, 그리고 관리 권고안이 어떻게 수개월에 걸쳐 바뀔 수 있는지를 일반 대중에게 보여주었다. 이는 '유능한 의사'조차도 항상 무엇이 최선인지 알지 못하고 불확실성으로 압도될 수 있는 방법을 강조한다. 현재와 같은 위기상황에서, 어떻게 우리가 대응하도록 인력을 최적화할 수 있을까요?
Physicians and educators in the industrialized world may have moved to think of medical competence in a predictable direction. The COVID-19 crisis has revealed to the general public how a new disease creates many challenges and how recommendations for management can change over a period of months. This highlights how even ‘competent physicians’ do not always know what is best and can be overwhelmed with uncertainty. In a crisis like the current one, the question comes up: How can we optimize the workforce to respond?

우리의 관찰과 질문의 일반적인 결론은 [의료 기관]과 [규제 기관]뿐만 아니라 [의사]들도 사회의 건강 요구가 적응을 요구할 때 [개별적으로 그리고 집단적으로] 적응할 준비를 해야 한다는 것이다. 이것은 의료 능력 표준의 개념화에 영향을 미친다. COVID-19 위기는 이러한 표준이 이전에 생각했던 것보다 덜 정적인 것일 수 있다는 것을 알게 했다.

The general conclusion of our observations and questions is that physicians, as well as health institutions and regulatory bodies, should be prepared, individually and collectively, to adapt when the health needs of society call for adaptation. This has implications for the conceptualization of standards of medical competence. The COVID-19 crisis has made us aware that these standards may be less static than we previously believed.

Med Teach. 2021 Jul;43(7):817-823.

 doi: 10.1080/0142159X.2021.1928619. Epub 2021 May 27.

Questioning medical competence: Should the Covid-19 crisis affect the goals of medical education?

Olle Ten Cate 1, Karen Schultz 2, Jason R Frank 3, Marije P Hennus 4, Shelley Ross 5, Daniel J Schumacher 6, Linda S Snell 7, Alison J Whelan 8, John Q Young 9

Affiliations collapse

Affiliations

• 1Center for Research Development of Education, University Medical Center Utrecht, Utrecht, The Netherlands.
• 2Department of Family Medicine, Queen's University, Queen's University, Kingston, Canada.
• 3Royal College of Physicians and Surgeons of Canada and Department of Emergency Medicine, University of Ottawa, Ottawa, Canada.
• 4University Medical Center Utrecht, Utrecht, The Netherlands.
• 5CBAS Program in the Department of Family Medicine, University of Alberta, Edmonton, Canada.
• 6Division of Emergency Medicine, Cincinnati Children's Hospital Medical Center and the University of Cincinnati College of Medicine, Cincinnati, Ohio, USA.
• 7Royal College of Physicians and Surgeons of Canada, McGill University, Montreal, Canada.
• 8Association of American Medical Colleges, Washington DC, USA.
• 9Department of Psychiatry, Donald and Barbara Zucker School of Medicine at Hofstra/Northwell and the Zucker Hillside Hospital at Northwell Health, Glen Oaks, NY, USA.

• PMID: 34043931
• DOI: 10.1080/0142159X.2021.1928619AbstractKeywords: Learning outcomes; curriculum; outcome-based.
• The COVID-19 pandemic has disrupted many societal institutions, including health care and education. Although the pandemic's impact was initially assumed to be temporary, there is growing conviction that medical education might change more permanently. The International Competency-based Medical Education (ICBME) collaborators, scholars devoted to improving physician training, deliberated how the pandemic raises questions about medical competence. We formulated 12 broad-reaching issues for discussion, grouped into micro-, meso-, and macro-level questions. At the individual micro level, we ask questions about adaptability, coping with uncertainty, and the value and limitations of clinical courage. At the institutional meso level, we question whether curricula could include more than core entrustable professional activities (EPAs) and focus on individualized, dynamic, and adaptable portfolios of EPAs that, at any moment, reflect current competence and preparedness for disasters. At the regulatory and societal macro level, should conditions for licensing be reconsidered? Should rules of liability be adapted to match the need for rapid redeployment? We do not propose a blueprint for the future of medical training but rather aim to provoke discussions needed to build a workforce that is competent to cope with future health care crises.

When I say … 리커트 문항(Med Educ, 2021)
When I say … Likert item
Edward Krupat

정량 지향적인 연구자들은 설문지와 설문 조사 형태의 자기 보고 조치에 크게 의존한다. 특히 리커트 아이템을 이용해 태도와 신념을 평가하는 방식이 의대 교육자부터 여론 조사자까지 전 세계 연구진에 의해 채택됐다. 리커트 아이템이라는 용어는 1932년 유망한 젊은 사회과학자 렌시스 리커트가 자신의 논문에서 태도를 측정하는 새로운 방법의 사용을 소개한 것으로 거슬러 올라간다. 
Researchers who are quantitatively oriented rely greatly on self-report measures in the form of questionnaires and surveys. In particular, the use of Likert items to assess attitudes and beliefs has been adopted by researchers worldwide, from medical educators to public opinion pollsters. The term Likert item dates back to 1932 when a promising young social scientist, Rensis Likert, introduced the use of a new method to measure attitudes in his dissertation.

발명자의 이름을 딴 리커트 항목은 진술에 불과하며(예: 내 주치의에게 만족함), 강한 동의에서 강한 반대까지 다양한 옵션이 뒤따른다. 태도를 측정하는 다른 수단(아래 참조)이 존재하지만, 기술적으로 보자면, 리커트 문항은 독점적으로 이러한 형식만을 의미한다. 그럼에도 불구하고, 의학 교육 문헌에서 이 라벨은 종종 '라이커트 스타일'이라고 불리는 다양한 태도 항목 형식과 함께 매우 느슨하게 사용되어 왔다. 

Named after its inventor, a Likert item is nothing more than a statement (e.g., I am satisfied with my physician), followed by several options varying from Strongly Agree to Strongly Disagree.1 While other means of measuring attitudes exist (see below), technically, a Likert item refers exclusively to this format. Nonetheless, in the medical education literature, this label has been used very loosely, with a range of attitude item formats often referred to as ‘Likert style’. 

겉보기에는 간단해 보이지만, 리커트 항목과 리커트 척도의 사용(리커트 항목을 합치거나 조합한 결과)을 둘러싸고 많은 잘못된 정보와 논쟁이 존재한다. 첫째, 문자 그대로, 내가 "라이크-에르트"라고 말할 때, 나는 "라이크-에르트"가 아니라 "i"로 짧게 발음하는데, 이것은 전 세계의 많은 학식 있는 동료들이 저지른 실수이다. 이 발음의 이유는 간단합니다. 렌시스 리커트는 자기 이름을 '릭-에르트'라고 발음했다. 마치 'k' 앞에 'c'가 붙은 것과 같다. 우리도 그래야 한다.

Although seemingly straightforward, a good deal of misinformation and debate exists around the use of Likert items and Likert scales (which are the result of summing or combining Likert items). First, literally, when I say … Likert, I pronounce it Lick-ert, with a short ‘i’, not Like-ert (with a long ‘i’), a mistake made by so many of my learned colleagues around the world. The reason for this pronunciation is simple. Rensis Lickert pronounced his name ‘Lick-ert’, as if it had a ‘c’ before the ‘k’, and we should too. 

리커트 아이템은 찬성과 반대 의견의 다양한 이슈와 우려를 가지고 있습니다.2-4

• 질문 중 하나는 얼마나 많은 선택지가 있어야 하는가 하는 것이다. 일반적인 관행은 4개보다 적지 않고, 7개를 넘지 않으며, 필자의 경험상 의학교육연구자는 4, 5개의 선택지를 사용하는 경향이 큰 반면, 더 넓은 사회과학계, 특히 심리학자와 사회학자들 사이에서는 6, 7개를 사용한다.
• 선택한 숫자에 관계없이, 짝수 또는 홀수 수의 응답지 수를 선택할 경우 종종 동의 안 함으로 분류되는 중간점을 제공하는 것이 좋은 생각인지에 대한 의문이 제기된다. 설문 조사 실무자들 사이에 논쟁이 존재하며, 일부는 응답자들에게 자신의 태도가 진정으로 중립적이라는 것을 나타내는 방법을 제공하는 것이 더 낫다고 믿고, 다른 일부는 중간점이 단순한 중립성을 반영하지 않는 이유로 개인에 의해 종종 부적절하게 사용된다고 주장한다.5
• 또한 리커트 항목 데이터를 분석하고 제시하는 방법에 대해서도 의견이 일치하지 않는다.6 일부에서는 빈도 및 백분율의 사용(카이-제곱과 같은 통계 사용)을 지지하지만, 다른 많은 사람들은 기술적으로는 선택사항이 구간 수준 데이터를 나타내지 않더라도 합계 및 평균이 계산되고 보고될 수 있다고 믿는다. 

Likert items come with a range of issues and concerns, pro's and con's.2-4 

• One question is that of how many response alternatives there should be. The general practice is no less than four nor more than seven, and in my experience, medical education researchers greatly tend to use four or five options, whereas in the broader social science community, in particular among psychologists and sociologists, six or seven are used.
• Regardless of the number chosen, the choice of whether to go with an even or odd number of alternatives raises the question of whether providing a midpoint, often labelled neither-agree-nor-disagree, is a good idea. Debates exist among survey practitioners, some believing that it is better to offer respondents a way of indicating that their attitude is truly neutral; others arguing that the midpoint is often used inappropriately by individuals for reasons that do not reflect simple neutrality.5 
• Disagreement also exists as to how the Likert-item data should be analysed and presented.6 While some endorse the use of frequencies and percentages (using statistics such as chi-square), many others believe that sums and means can be calculated and reported (using statistics such as t-tests), even though technically, the choices do not represent interval-level data. 

또한 리커트 항목에서 파생된 가능한 편견에 대한 의문도 많다.

• 한 가지 가능한 편견은, '묵인'으로서 사람들이 진술에 부동의하기보다는 동의하는 경향을 의미한다.
• 또 다른 [사회적 만족도 편향]은 사람들이 자신의 '진정한' 반응보다는 다른 사람들이 듣고 싶어한다고 믿는 대답을 제공하는 경향이 있다는 것이다.
• '자대고 긋기straightlining'를 생성하는 응답 집합은 여러 항목이 모두 같은 방향으로 단어화될 때 지나치게 일관된 방식으로 답하는 경향이다. 비록 일부에서는 '아니오'를 문장에 삽입하여 항목의 의미를 되돌리려고 시도했지만, 이것이 형편없는 해결책이라는 증거가 존재한다.7
  • 선호하는 관행은 일부와 동의하지만 다른 사람들과의 의견 불일치가 유사한 태도를 나타내는 항목을 작성하는 것이다. 예를 들어, '진료 중 환자와 의사는 동등해야 한다' 항목에 동의하는 것과  '의사가 진료면담에 책임이 있다'는 의견에 부동의하는 것은 둘 다 환자-중심적 지향성의 표현일 수 있습니다.

Questions also abound about possible biases deriving from Likert items.

• One possible bias results from response acquiescence, the tendency of people to agree with statements rather than disagree.
• Another, the social desirability bias, is the tendency for people to provide answers they believe others want to hear rather than their ‘true’ responses.
• Response set, which generates ‘straightlining’, is a tendency to answer multiple items in an overly consistent manner when all are worded in the same direction. Although some have attempted to reverse an item's meaning by inserting ‘not’ into the statement, evidence exists that this is a poor solution.7
  • A preferred practice is to write items such that agreement with some, but disagreement with others, indicate a similar attitude (e.g., agreement with the item ‘Patients and their doctors should be seen as equals during a visit’ but disagreement with ‘The doctor should be in charge of the medical interview’ would both be expressions of a patient-centred orientation). 

최근 리커트 항목에 대한 회의적인 시각으로 인해 대안적 유형의 접근법, 특히 '항목-특이적item-specific'(IS) 형식의 사용에 대한 논란이 일고 있다. 이와 같은 항목은 질문 초점의 함수로 다양한 응답 대안과 함께 문제를 제기한다. 예를 들어, 의대생들을 대상으로 설문조사를 할 때, 찬성 또는 반대와 관련된 선택사항에 따라 '나는 환자에게 나쁜 소식을 효과적으로 전달할 수 있다'는 진술보다는, IS의 지지자들은 '당신은 얼마나 자주 나쁜 소식을 환자에게 효과적으로 전달합니까?'와 같은 진술과 그 다음 '항상 그러함'에서 '절대 안 함'까지 다양한 선택을 추천할 것이다. IS 항목에는 대응 옵션 사용의 통일성이 잠재적으로 결여되어 교차 연구 비교를 어렵게 하는 것과 같은 가능한 문제가 있다. 예를 들어 빈도를 측정할 때 '빈번히', '종종', '대부분의 시간' 사이의 동등성을 확인하기는 어렵다.

Recently, scepticism about Likert items has led to debate about the use of alternative types of approaches, in particular the use of ‘Item-Specific’ (IS) formats. Items such as these pose a question, with response alternatives that vary as a function of the question's focus. In surveying medical students, for example, rather than providing the statement, ‘I can deliver bad news to patients effectively’, followed by options involving agreement or disagreement, IS proponents would recommend something such as, ‘How often do you deliver bad news to patients effectively?’ followed by choices that might range from Always to Never. IS items have their own possible problems, such as potential lack of uniformity in the use of response options, which would make cross-study comparison challenging. In measuring frequency, for instance, the equivalence among ‘frequently’, ‘often’ and ‘much of the time’ is difficult to ascertain.

Artino 등과 같이 의학 교육의 일부 연구자들은, 설문 조사 연구 설계에서 이러한 형태의 항목을 사용하는 것은 '문제Pitfall'중 하나로 지적하며, 동의-부동의 항목의 지속적인 사용에 대해 강한 (반대적) 입장을 취해왔다. 8 이러한 저자들이 방법론적 전문지식과 지식을 갖춘 사회 과학자들에 의해 논문을 인용하는 만큼, 이에 대한 정보는 다른 질문 형식을 사용하여 비교 연구에 집중하는 [조사 방법론자]와 [미국 여론 조사 협회와 같은 조직]의 회의에 정기적으로 참석하는 전문가에 의해 생성된 증거에서 나온다. 
Some in medical education have taken a strong position on the continued use of agree–disagree items, such as Artino et al, who have listed the use of this form of item as a ‘pitfall’ in survey research design.8 As much as these authors are respected for their methodological expertise and cite papers by informed social scientists,9 the ultimate source of information about this comes from the evidence generated by those survey methodologists who focus on comparative research using different question formats, professionals who regularly attend meetings of organisations such as the American Association of Public Opinion Research.

현재 증거의 상태를 요약한 매우 최근 그리고 철저한 리뷰에서, Dykema 등은 우리에게 다음과 같이 말한다.

• (1) 증거 기반은 여전히 작고 잠정적이며, 연구 설계의 문제점과 혼란으로 인해서 결론을 쉽게 내리기 어렵다.
  
• (2) 여러 연구에 따르면, 어떤 리커트 형식이 사용되었는지를 비교했을 때, 차이 또는 비교상의 긍정적 효과는 없다.
  
• (3) 상당한 증거는 분명히 IS 질문의 방향으로 진행되고 있다.

In a very recent and thorough review summarising the state of the current evidence, Dykema et al tell us that

• (1) the evidence base in still small and tentative, and problems and confounds in research design limit easy conclusions;
• (2) several studies show no differences or comparative positive effects resulting from the comparative use of the Likert format; however,
• (3) the preponderance of evidence is definitely trending in the direction of IS questions.

수년 동안 데이터의 신뢰성과 타당성에 대한 큰 걱정 없이 동의-불합치 형식을 사용하여 설문조사를 설계해 온 필자는 데이터 중심적이어야 하며, 근거의 무게가 명확하고 일관될 때까지 오랜 접근 방식을 단순히 거부해서는 안 된다고 굳게 믿고 있다. 만약 당신이 '얼마나 자주 항목특이적IS 질문을 사용할 생각인가'라는 질문을 한다면, 제 개인적인 대답은 '자주Often'일 것입니다. 그러나 만약 '동의-불합치 항목이 공룡처럼 멸종되어야 한다'는 문장이 있다면, 내 대답은 '강력히 동의하지 않는다'일 것이다.

Having for many years designed surveys using the agree–disagree format without great concern for the reliability and validity of the data, I am a strong believer that we should be data driven, and not simply reject long-standing approaches until the weight of the evidence is clear and consistent. If you presented me with the question, ‘How often do you intend to employ Item-Specific questions’, my personal response would be ‘Often’. Yet, if presented with the statement: ‘Agree–disagree items should go the way of the dinosaurs’, my response would be ‘Strongly Disagree’. 

Med Educ. 2021 Sep 6.

 doi: 10.1111/medu.14660. Online ahead of print.

When I say … Likert item

Edward Krupat 1

Affiliations expand

• PMID: 34490643
• DOI: 10.1111/medu.14660No abstract available

다중 비교에 관한 팩트와 픽션(J Grad Med Educ, 2021)
Facts and Fictions About Handling Multiple Comparisons
Gail M. Sullivan, MD, MPH
Richard S. Feinn, PhD

한 가지 측면은 많은 비교를 이용한 분석과 관련이 있다. 다중 독립 비교를 고려하지 않는 교육자와 연구자는 다음과 같은 검토자의 의견을 받을 수 있다. 

• 얼마나 많은 비교를 할 계획이었나요? 
• 이러한 다중 비교를 위해 어떻게 조정했습니까? 또는 
• 다중 비교가 통계적 추론에 어떤 영향을 미칩니까? 

One aspect concerns analyses using many comparisons. Educators and researchers who do not take into account multiple independent comparisons may receive reviewer comments such as:

• Where did you prespecify how many comparisons you planned to make?
• How did you adjust for these multiple comparisons? or
• How do the multiple comparisons affect your statistical inferences?

다중 비교를 고려하지 않으면 내부 타당성에 대한 의문이 제기될 수 있습니다(즉, 이러한 결과가 실제로 사실입니까?). 또한 검토자와 저자의 관점에서 저자에 대한 신뢰도를 낮출 수 있다(이 작가들은 그들이 뭘 하는지 알고 있을까? )임상의와 교육자로서 우리는 이러한 문제와 투명하고 잘 다루지 않을 경우 연구나 논문을 파멸시킬 수 있는 방법에 대해 잘 알지 못할 수 있다.

Not considering multiple comparisons can raise questions of internal validity (ie, are these findings actually true?). It can also lower, in the minds of reviewers and authors, confidence in the authors: Do these authors know what the heck they're doing? As clinicians and educators we may be less aware of these issues and how they can doom a study or paper if not handled transparently and well.

정량적 논문을 고려할 때 다음과 같은 3가지 질문이 즉시 제기된다. 

• (1) 본 논문은 내 환경 또는 교육생(외부 타당성, 일반화 가능성)에 적용되는가? 
  
• (2) 연구 대상 전체 모집단에 대한 우연 또는 사실로 인한 발견인가(위양성 대 실제 양성 발견) 및 
  
• (3) 소견의 크기 또는 의미(효과 크기)는 어느 정도인가?1  

이 사설은 많은 작가들에게 성배인 두 번째 이슈에 대해 간략하게 소개합니다: 상당한 P 레벨입니다.

When considering a quantitative paper, 3 questions immediately arise:

• (1) Does this paper apply to my setting or trainees (external validity, generalizability);
• (2) Are the findings likely due to chance or true for the overall population being studied (false vs true positive finding); and
• (3) How large or meaningful are the findings (effect size).1  

This editorial provides a brief introduction to the second issue, the holy grail for many authors: a significant P level.

기본으로 돌아가기
Back to Basics

왜 우리는 P 레벨을 소중히 여기는가? 두 평균을 비교하는 단일 비교부터 시작합시다. 내과 레지던트 그룹이 고가의 이사회 검사 준비 과정을 수강했지만 유사한 레지던트 그룹이 수강하지 않았다고 가정하고, 그룹 간 이사회 점수 평균을 비교하여 이 과정을 계속 진행해야 하는지 여부를 결정하려고 합니다. 귀무 가설이 참이라고 가정하면(즉, 그룹 간에 차이가 없다), P 값은 선택된 거주자(모든 전공의의 무작위 표본)가 적어도 발견된 크기의 두 가지 이사회 점수 수단에서 차이를 생성할 확률이다.
Why do we cherish P levels? Let's start with a single comparison, comparing 2 means. Suppose a group of internal medicine residents took an expensive board examination prep course and a similar group of residents did not, and we want to compare board score means between groups to determine if the course should be continued. If we assume that the null hypothesis is true (ie, there is no difference between the groups), the P value is the probability that our selection of residents—a random sample of all residents—produced a difference in the 2 board score means of at least the size found.

제1종 오류(alpha)는 연구팀이 합당하다고 인정하는 오류의 수준으로, 통계시험을 실시하기 전에 이를 선택해야 한다. 즉, 실제로 차이가 없을 때 그룹 간에 차이가 존재한다고 결론을 내릴 확률이다. 통계 테스트의 P 수준이 선택한 오류 수준보다 작은 경우(보통 5%(0.05)), 테스트 차이는 보드 준비 과정이 아니라 전공의의 선택으로 인해 발견된 차이(전체 모집단을 연구할 수 없기 때문에)일 5%의 확률만 갖는 것으로 본다. (즉, 시험 점수 차이가 우리 연구를 위해 선택된 거주자 때문에 발생할 5% 확률, 즉 우연에 의해서만 발생).

Type I error (alpha) is the error level deemed reasonable by the research team, who must select it before conducting the statistical test. It is the probability of committing a false positive error: in other words, of concluding that a difference between groups exists when there is truly no difference. If the P level from the statistical test is less than the selected error level, usually 5% (.05), we view the test difference as having only a 5% chance that the difference found is due to the selection of residents (as we cannot study the entire population) rather than the board prep course (ie, a 5% chance that the test score difference is due to the residents selected for our study, ie, by chance alone).

하지만 이 값비싼 이사회 준비 과정의 대상이 누구인지를 이해하는 데 중요한 추가 요소를 살펴보려면 어떻게 해야 할까요? 예: 교육 중 시험 점수, 레지던트 나이 및 성별, 미국 의대 졸업자 대 국제 의대 졸업자, 레지던트 중 마일스톤 등급(Milestones leveling) 또는 선호되는 아침식사 음료? 우리가 환자를 위한 많은 실험실 검사를 주문할 때도 이러한 문제가 발생할 수 있습니다.

But what if we wish to look at additional factors that might be important to understanding who should be targeted for this expensive board prep course? For example: in-training examination scores, resident age and gender, US medical graduate vs international medical graduate, Milestones ratings during residency—or preferred breakfast drink? These issues can occur when we order many lab tests for a patient, too.

 알파 또는 I형 오류 수준이 비교 시마다 0.05로 유지되면 하나 이상의 "통계적으로 유의한" 결과가 나올 확률은 5% 이상 증가합니다(그림 참조). 예를 들어, 10개의 비교의 경우 검사 중인 요인이 아닌 랜덤하게 선택된 주민 모집단(즉, 우연히)으로 인해 적어도 하나의 "통계적으로 유의한"(P < .05) 비교를 찾을 확률이 40%로 증가합니다. 
13개의 독립적인 비교의 경우, 우연히 "유의한" P 수준을 찾을 확률은 50%로 증가합니다.2  이러한 값을 familywise error rate이라고 하며, 이는 family of comparison에 의해 발생한다. 

If the alpha or type I error level remains at .05 for each comparison, the probability of at least one finding being “statistically significant” increases above 5% (see Figure). For example, for just 10 comparisons, the probability rises to 40% that you will find at least one “statistically significant” (P < .05) comparison that is due to the population of residents randomly selected rather than the factor under examination—that is, by chance. For 13 independent comparisons, the probability of finding a “significant” P level by chance increases to 50%.2  These are called family-wise error rates, for a family of comparisons.

아침 식사로 차를 마시는 전공의가 이 보드 준비 과정을 수강하는 데 가장 적합한 대상이라고 잘못 결론을 내릴 수 있는 것이다.

You could erroneously conclude that residents who drink tea for breakfast are the best target for taking this board prep course—and create tortured explanations for this finding in your Discussion section.

통계적 유요성은 허용 오차 수준(알파 또는 유형 I 오류)에 의해 결정되며, 표본 모집단이 전체 모집단과 유사할 가능성(예: 여러 기관에서 2020-2021년 내과 레지던트들이 모든 내과 레지던트들과 유사)을 반영한다는 점을 기억하라. 이 다중 비교 문제는 95% 신뢰 구간과도 관련이 있습니다. 다중 비교를 수행하고 각 비교에 대해 평균 차이의 95% 신뢰 구간을 생성하면 모든 구간에 평균의 실제 차이가 포함될 확률은 95% 미만입니다.
Remember that statistical significance is determined by the level of error accepted (alpha or type I error) and reflects the likelihood that the sampled population resembles the entire population (eg, that internal medicine residents in 2020–2021 at several institutions resemble all internal medicine residents). Note that this issue of multiple comparisons also pertains to 95% confidence intervals. If multiple comparisons are performed and a 95% confidence interval of the difference in means is created for each comparison, the probability that all the intervals will contain the true difference in means will be less than 95%.

극단적인 예로, 게놈 전체 연관 연구(GWAS)를 수행하는 연구자들이 다중 테스트에 적응하지 않았다고 가정해 보자. GWAS는 질병과의 연관성에 대해 100,000개의 다른 위치를 검사할 수 있다. 각 위치에 0.05의 알파 수준을 사용한 경우 위양성 값이 많이 나올 수 있습니다.

As an extreme example, imagine if researchers conducting genome-wide association studies (GWAS) did not adjust for multiple testing. GWAS may test 100 000 different loci for an association with a disease. If an alpha level of .05 was used for each locus you can guarantee there would be numerous false positives.

낚시 원정대 및 P-해킹
Fishing Expeditions and P-Hacking

낚시 탐험대 또는 [P-해킹]이라는 용어는 연구자들이 독립변수와 종속변수의 관계에 대한 모든 가능한 비교에 대해 그들의 데이터를 검사할 때를 가리킨다. 

• 독립 변수(예: 인구통계학적 요인, 대학원생 수준, 전문성, 학부 위치, 레지던트 순환) 
• 종속 변수(예: 웰빙 지수, 번아웃 지수, 번아웃 서브그룹 요소, 워라밸 지수) 

더 많이 비교할수록 P 수준 < .05가 비교 대상으로 발견될 가능성이 높으며, 귀무 가설(즉, 차이 없음)은 부정확하게 기각될 수 있다. 이 용어들은 일반적으로 경멸적이며, 예를 들어 논문의 요약 또는 결과 섹션과 같이 중요한 결과만 보고되는 경우를 위해 남겨둔다.
The terms fishing expedition or P-hacking refer to when researchers examine their data for every possible comparison of independent variables (eg, numerous demographic factors, postgraduate year levels, specialties, undergraduate locations, residency rotations) and/or dependent variables (eg, well-being index, burnout index, burnout subgroup elements, work-life balance index). The more comparisons, the more likely a P level of < .05 will be found for a comparison, and the null hypothesis (ie, no difference) may be rejected inaccurately. These terms are generally pejorative and reserved for when only the significant findings are reported, for example in the Abstract or Results section of a paper.

이 문제는 [흥미로운 발견을 어디서 찾을 수 있을지에 대한 기대 없이 완전히 새로운 질문을 탐구할 때]에는 피할 수 없을지도 모른다. 그러나 의학 교육에서 이것은 거의 사실이 아니다; 우리는 보통 이전의 연구나 그럴듯한 이론에 근거한 가설을 가지고 있다. '낚시'가 나타나는 것을 피하려면 '방법' 섹션에서 자신의 접근 방식에 대한 문헌과 이론적 틀을 바탕으로 계획된 비교를 미리 규정하는 것이 최선이다. 이 fishing의 문제는 임상시험에서 충분히 자주 발견되어 이제 연구자들이 데이터를 수집하고 분석하기 전에 주요 결과물을 공공 사이트(clinicaltrials.gov)에 게시하는 것이 의무화 되었다. 데이터를 본 후에는 분석을 추가하고 싶은 유혹을 이겨내십시오!
This problem may be inevitable when exploring entirely new questions with no expectation of where the interesting findings may lie. However, in medical education this is rarely true; we usually have hypotheses based on prior work or plausible theory. To avoid the appearance of “fishing,” it is best to prespecify, based on the literature and theoretical framework for your approach, your planned comparisons in the Methods section. This fishing problem was found often enough in clinical trials that it is now mandatory for researchers to post the primary outcome(s) on a public site (clinicaltrials.gov) before the data are collected and analyzed. Resist the temptation to add additional analyses after you have seen the data!

그럴듯한 사전 가설이 없는 경우 많은 비교를 수행하고, 관련된 P 수준 및 신뢰 구간과 함께 모든 가설을 보고하고, 방법 절에 탐색 가설이며, 이러한 이유로 다중 비교를 조정하지 않았다고 기술할 수 있습니다. 검정 횟수가 증가함에 따라 모임별 오류율도 증가하므로 이러한 상황에서는 추론을 그리는 데 주의해야 합니다.
When there are no plausible prior hypotheses, it can be acceptable to make many comparisons, report all of them with the associated P levels and/or confidence intervals, and state in your Methods section that these were exploratory hypotheses and that no adjustment for multiple comparisons was made for this reason. Be cautious in drawing inferences in these situations: as the number of tests expands, so does the family-wise error rate.

비교 및 사전 계획 분석을 제한하는 이유
Why to Limit Comparisons and Pre-Plan Analyses

프로젝트를 준비하기 위한 첫 번째 단계는 문헌에 대한 심층적인 검토입니다.

• 다른 연구자들은 어떤 방법을 사용했나요?
• 어떤 이론이 다른 접근법을 뒷받침할 수 있는가?
• 우리의 지식에는 어떤 gap이 있을까요?

In preparing for a project, the first step is a deep dive into the literature:

• What methods did other researchers use?
• What theories may support different approaches?
• What gaps remain in our knowledge?

종종 이전 작업은 다음 단계로 구체적인 방향이나 질문을 제공합니다. 따라서 계획된 데이터 분석뿐만 아니라 데이터 수집도 제한할 수 있습니다. 데이터가 이미 수집되었다면(예: 의학대학원 교육 인증 위원회 및 국가 프로그램 관리자 그룹에는 방대한 데이터 수집이 있다), 질문에 답변하는 데 필요한 사항을 신중하게 선택하십시오.

Often prior work will provide you with specific directions or questions as next steps. This in turn will help you limit the collection of data as well as planned analyses of the data. If data were already collected (eg, Accreditation Council for Graduate Medical Education and national program director groups have enormous data collections to explore), choose carefully what you need to answer your question(s).

여기 문제가 있다: 다중 비교를 수정하지 않으면 복제 스터디에서 다른 연구자는 발견하지 못하는 위양성 결과를 찾을 위험이 있습니다. 다중 비교를 수정하면 실제로 존재하는 차이를 찾을 수 있는 통계적 검정력이 손실됩니다(위음성). 따라서, 당신의 질문에 가장 적합한 것으로 당신의 비교를 제한하세요.
Here's the conundrum: If you don't correct for multiple comparisons, you risk finding “significant” results that are false positives and that will not be found by others in replication studies. If you do correct for multiple comparisons, you lose statistical power to find differences that actually exist (false negatives). Ergo, limit your comparisons to what fits your questions best.

비교에 대한 수정이 필요하지 않은 경우도 있습니다. 예를 들어, [새로운 경험적 오리엔테이션 프로그램]이 현재 [미국 정신건강의학 인턴]에서 [6개월째에 집계된 전문직업성 마일스톤]에 미치는 영향을 보고 있다고 생각해 보십시오. 인턴들 중 절반은 새로운 일주일간의 체험 오리엔테이션을 받고, 나머지 절반은 대규모 그룹 오리엔테이션과 가상 오리엔테이션을 병행한다. 경험적 오리엔테이션 프로그램을 받은 사람들은 P < .05 수준에서 유의미하게 더 높은 점수를 받는다.
Correction for a comparison may not be needed in some instances. For example, consider that you are looking at the effects of a new experiential orientation week on intern performance on aggregated professionalism milestones at 6 months, in current US psychiatry interns. Half of the interns receive the new week-long experiential orientation, and the other half receive a combination of large group and virtual orientation sessions. Those with the experiential orientation score significantly (and meaningfully) higher at the P < .05 level.

아래의 하위그룹에 대해서 이차 분석을 계획합니다.

• 국제 의학 졸업생 대 미국 의학 졸업생,
  
• 남자 대 여자,
  
• 나이가 많은(30세) 대 어린(31세),
  
• USMLE 1단계 5분위수 및
  
• 대학 기반 프로그램과 비대학 기반 프로그램의 사용자.

You plan secondary analyses to look at subgroups:

• international medical graduates vs US medical graduates,
• male vs female,
• older (> 30) vs younger (< 31 years),
• USMLE Step 1 quintile, and
• those at university-based vs non-university-based programs.

이 예에서는 2차 분석에서는 다중 비교를 위해 조정이 필요할 수 있지만, 1차 분석에서는 correction이 필요하지 않다.
In this example, it is not necessary to correct for the primary analysis, although the secondary analyses may require adjustment for multiple comparisons.

다중 비교 처리 전략
Strategies for Handling Multiple Comparisons

계획 중인 가장 중요한 비교를 고려한 후 여러 개 이상의 비교를 수행할 경우 다중 비교를 반영하도록 분석을 조정하는 것을 고려해야 합니다. 비교할 항목을 결정하기 전에 데이터를 살펴본다면 이미 다중 비교를 수행한 것입니다. 우리는 당신이 진정으로 탐구적인 연구를 수행하는 것이 아니라면 이것을 하지 말 것을 제안합니다.
After considering the most important comparisons you plan to make, if you have more than a few, you should consider adjusting your analysis to reflect the multiple comparisons. (Remember that if you look at your data before deciding what comparisons to make, you have already made multiple comparisons. We suggest not to do this unless you are performing truly exploratory research.)