의과대학 교수의 스트레스/소진을 교육과정 변화 의지와 연결짓기(J Eval Clin Pract, 2016)

Linking medical faculty stress/burnout to willingness to implement medical school curriculum change: a preliminary investigation

Zeinab Arvandi MSc,1 Amirhossein Emami MD,2 Nazila Zarghi PhD Candidate in Medical Education,3,*

Seyed Mohammad Alavinia PhD, MD,4† Mandana Shirazi PhD5,6 and Sagar V. Parikh MD7‡

도입

Introduction

탈진 증후군은 내부 및 심리학적 요인과 관련이 있다[1].

the burnout syndrome is associated with internal and inter-psychological factors [1].

현재, 다양한 건강 전문가 그룹들이 다양한 방법으로 연구되고 있다. 

• Maslach 테스트와 같은 가능한 방법들은 단지 전문가들 사이에서 높은 수준의 스트레스과 직업적인 번아웃에 의해 야기된 개인의 기능의 변화를 연구할 수 있다. 

• 하지만 Cloninger의 테스트는 심리적인 성격 이론에 기초한다. 클로닝거의 시험 이론적 토대를 바탕으로 한 '성격 구조는 기질과 인성의 두 가지 기본 영역으로 구성되어 있다'[2].

Presently, a variety of health professional groups have been studied with various measures. The available methods such as the Maslach test could just study changes in the individuals’ functioning caused by high level of distress and professional burnout among specialists; however, Cloninger’s test is based on psychological theory of personality. Based on Cloninger’s test-theoretical foundation, ‘the personality structure is composed of two basic domains of temperament and character’ [2].

몇몇 연구는 높은 수준의 스트레스로 인해 직업 만족도가 떨어지고 정신 건강의 위험이 높다는 것을 보여주었다[3]. Stoyanov 외 연구진(2013년)은 또한 번아웃 증후군의 임상적 징후가 우울증과 불안장애에 대한 척도와 일치한다는 것을 확인하였다. 또한 초기 단계 탈진 증후군의 존재를 나타낼 수 있다고 언급했다[4].

Several studies have shown less job satisfaction and high risk of mental health because of higher level of stress [3]. Stoyanov et al. (2013) also confirmed that clinical manifestations of burnout syndrome are consistent with measures for depression and anxiety disorder; they also mentioned that it could indicate to presence of initial stages burnout syndrome, namely flame out [4].

그 과정의 첫 두 단계 - 플레임아웃(즉, 헛된 노력의 스트레스)과 번아웃(즉, 지치고 사기가 저하됨)이다. 소진 과정의 이 초기 기간은 그러한 취약한 의료 전문가 그룹에서 작업자의 심리적 잠재력을 보존하고 회복하기 위해 개입 수단을 식별하는 것이 바람직하다. 

• 초기 단계에서는 전문적 "번아웃"의 현상학이 정신-감정적 스트레스의 증상과 구별하는 것이 어렵지 않은 반면, 

• 후기에는 ('러스트아웃'이라는 용어로 설명됨) 그 위해성이 향후 작업에도 도움이 될 수 있다고 생각되기 때문에 심리적인 개입으로 인한 이득이 적을 수 있다[6].

the first two stages of the process – flame-out (i.e. stress of futile effort) and burnout (i.e. exhaustion and demoralization). This early period in the burning process is propitious to identify means of intervention for the sake of preservation and recovery of the psychological potential of the workers in such vulnerable groups of medical specialists. At an earlier stage, the phenomenology of professional “burning” is not difficult to differentiate from the symptoms of psycho emotional stress, whereas at a later stage (described by the term ‘rust out’), there may be less benefit from psychological interventions as the harm is thought to be might also be helpful in future work’ [6].

자료와 방법

Materials and Methods

참가자와 절차

Participants and procedures

측정

Measurements

변화 단계 측정

Measuring stages of change

변화 단계(SOC) 이론은 개인의 행동 변화와 촉진에 대해 고찰한다. Prochaska 관점에 기초해, SOC는 

• 사전 고민, 

• 사색, 

• 행동 준비, 

• 최근의 변화 

• 유지

...의 다섯 단계로 구성된다[7]. 

The stages of change (SOC) theory looks at the change and promotion of individual behaviour. Based on the Prochaska point of view, the SOC consists of five stages: pre-contemplation, contemplation, preparation for action, recent change and maintenance [7]. 

이 모델은 개인은 변화에 대해 서로 다른 준비도 단계에 있으며, 효과적인 개입은 특정 단계에 적응하고 상위 단계로 이동을 지원하여 행동 변화를 촉진해야 한다고 가정한다. 모델은 중독성 행동의 치료와 건강 증진 등과 같은 건강 행동 맥락에서 가장 일반적으로 적용되었다[8–10].

The model postulates that individuals are at different stages of readiness to change and that effective interventions should adjust to the stages and assist movements to higher stages, thus promoting behavioural change. The model has been applied most commonly in health behaviour contexts, such as treatment of addictive behaviour, and health promotion [8–10].

수정된 Prochaska 모델은 연구 이전 훈련 프로그램에 관련된 건강 전문가에 대한 참가자의 변화 준비 단계를 평가하기 위한 평가 도구로 사용되어 왔다. 원래의 5단계는 '수정된 프로카스카 설문지'에서 태도, 의도, 행동의 3단계로 축소되었다. 

• '태도' 단계에서는 문제에 대한 인식은 있지만 행동에 대한 약속은 없다. 

• '의도' 단계에서 개인은 행동 변화에 대비하는 반면, 

• '행동' 단계에서는 이미 이러한 변화가 일어났다.

A modified Prochaska model has been used as an evaluation tool to assess the participants’ stages of readiness to change in health professionals involved in a research transfer training programme. The original five stages were reduced to three stages-attitude, intention and action-in the ‘Modified Prochaska Questionnaire’. 

• In the ‘attitude’ stage, there is an awareness of the problem but no commitment to take action. 

• In the ‘intention’ stage, the individual is prepared for behavioural change, while 

• in the ‘action’ stage; this change has already taken place.

TUMS 변화 단계(TUMS-SOC)

TUMS Stage of Change questionnaire (TUMS-SOC)

이 14개 항목의 설문지에는 연구, 교육 및 개인 개발 작업의 세 가지 영역이 있다. 모든 항목은 1부터 4까지 점수를 매겼다. 점수 합계는 태도 단계(24점 이하), 의도 단계(25점~36점), 행동 단계(37점 이상) 등 개인의 변화 단계를 나타낸다.

In this 14-item questionnaire, there are three domains: research, educational and personal development tasks. All items were scored from 1 to 4. The sum of scores indicated individuals’ stage of change: attitude stage (score below24), intention stage (score 25–36) and action stage (score above 37).

스트레스와 소진 측정

Measuring stress and burnout

Maslach 등은 탈진(burnout)을 중요하고 의미 있고 도전적인 작업이 불쾌하고, 성취되지 못하고, 무의미해지는 지점이라고 묘사했다. 실제로 이때 에너지는 피로, 관여는 냉소, 효능은 비효과성으로 대체된다[13,14]. 특정 전문분야의 의료진들 사이에 번아웃이 만연해 있다. 학업지위가 높을수록 위험은 더 커진다[14]. 번아웃은 의사의 삶의 질에 해로운 영향을 미치며 자살 관념의 위험 증가와 관련이 있다[15].

Maslach et al. described burnout as the point at which important, meaningful and challenging work becomes unpleasant, unfulfilling and meaningless. Indeed, at this point, energy turns into exhaustion, involvement leads to cynicism, and efficacy is replaced by ineffectiveness [13,14]. Burnout is prevalent among clinical staff with certain specialties. The higher the academic rank, the further the risk [14]. Burnout has a detrimental effect on the doctor’s quality of life and is associated with an increased risk of suicidal ideation [15].

일반 건강 측정

Measuring general health

또 다른 잘 알려진 구제 조치인 소화전 대책 외에도 일반 건강 설문지(GHQ; Goldberg, 1992년)가 적용되었다. 페르시아어 버전의 GHQ는 최근의 증상이나 행동에 대한 12개의 자조 항목을 사용한다. 각 항목은 4점 척도로 평가된다(평소보다 낮음, 평년보다 낮음, 평소보다 훨씬 많음, 또는 예년보다 훨씬 높음). GHQ 총점은 선택된 채점 방법을 기준으로 12점에서 36점 사이로 추정되었다.

Besides the burnout measure, an additional, well-known distress measure, the General Health Questionnaire (GHQ; Goldberg, 1992) has been applied. The Persian version of GHQ uses 12 self-report items about recent symptoms or behaviours. Each item is rated on a four-point scale (less than usual, no more than usual, rather more than usual or much more than usual); GHQtotal score was estimated between 12 and 36 based on the selected scoring methods.

교수의 번아웃과 교육과정 변화 실행능력 연결

Linking faculty burnout and ability to implement curricular change

통계 분석

Statistical analysis

결과

Results

초기 연구결과

Preliminary findings of linkage between change stage and burnout

참가자의 성별은 변화의 단계(P = 0.04)와 연관되어 있었다: 여성은 대부분 의도 단계에 있었고, 남성은 행동 단계에 있었다. 이와는 대조적으로, 변화와 연령의 단계(P = 0.0) 또는 임상 교수로서의 경력(P = 0.09) 사이에는 연관성이 없었다. 또한 참가자의 연령 초과 점수(P = 0.3) 간에 통계적으로 유의한 연관성은 발견되지 않았다.

Participants’ gender was associated with the stage of change (P = 0.04): women were mostly in the intention stage, while men were in the action stage. In contrast, there was no association between stage of change and age (P = 0.0) or years of experience as a clinical faculty member (P = 0.09). In addition, no statistically significant association was found between participants’ age burnout scores (P = 0.3).

회귀 분석은 화상이 변화의 단계와 연관되어 있다는 것을 보여주었다.

Regression analysis showed that burnout was associated with stage of change.

고찰

Discussion

우리의 연구는 의과대학의 임상 교수진의 소진과 새로운 학문적 활동의 시작에 대한 수용성 사이의 관계를 조사하고자 했다.

Our study sought to examine the relationship between the burnout of clinical faculty in a medical school and their receptivity to starting new academic activities

우리는 임상 교수진 구성원이 [변화할 준비가 되어 있는 것]과 [직업상 소진의 하위척도]에서 중요한 관계를 발견했다. 즉, 직업상 탈진이 적은 참가자는 행동 단계에 있을 가능성이 높았고, 탈진이 심한 참가자는 태도나 의도 단계에 있을 가능성이 높았는데, 이는 변화를 실행할 준비가 되어 있지 않은 것으로 이해할 수 있었다.

We found a significant relationship between clinical faculty member’s readiness to change and the subscales of occupational burnout. In other words, participants with low occupational burnout were more likely to be in the action stage, while those with high burnout were in the attitude or intention stage, which could be understood as not being ready to implement change.

우리의 연구 결과에 따라, Evers 등에서는 교사들의 높은 자기효능 신념이 직업상의 소진을 줄이고 개인들로 하여금 새로운 교육 시스템을 도입할 준비를 더 잘 하게 할 수 있다고 보고했다[24].

In line with our findings, Evers et al. reported that high self-efficacy beliefs of teachers may reduce the occupational burnout and make individuals more prepared for implanting a new educational system [24].

직무 만족도가 행동 단계에 있는 임상의학자들에게 주요한 동기부여로 작용하기 쉽다. 따라서 기능들 사이의 변화 준비와 소진 사이의 상관관계는 매우 중요한 문제로서 필요성 평가의 일부로서 고려되어야 한다. 즉, 의과대학에서 성공적인 커리큘럼 개정을 시행하기 위해서 말이다.

It is likely that job satisfaction acts as a major motivation for clinical faculty who are in the action stage. Hence the correlation between readiness to change and burnout among faculties is a crucial issue and should be considered as part of a needs assessment, that is, in order to implement a successful curriculum revision at medical universities

본 연구에서는, GHQ에 근거한 [침체된 무드]와 [변화에 대한 준비도] 사이에는 아무런 상관관계가 없었으며, [변화에 대한 준비도]를 저해하는 주요 요인이 직업적 소진보다는 우울증일 수 있다는 초기 우려를 배제했다.

In our study, there was no correlation between depressed mood based on the GHQ and readiness to change in study population, abolishing the initial concern that the main factor hindering readiness to change may be depression rather than job burnout.

보건의료 종사자들이 흔히 '번아웃' 증후군에 걸릴 위험이 있지만, 현대의 번아웃 대책은 번아웃이 완전히 된 다음에서야 그것을 인식할 수 있다[28]. 일부 학자들은 TCI와 같은 성격과 기질에 대해 서로 다른 시험을 적용하였다.

Although health care personnel are frequently at risk for the ‘burnout’ syndrome, modern measures of burnout could recognize burnout just only when it is fully developed [28]. Some scholars have applied different tests for personality and temperament such as TCI (The Temperament and Character Inventory)

한 연구는 기질과 성격 특성 및 소진 사이의 관계를 보여주었다[31]. 또 다른 연구에서는 기질적 특성은 (주로 정서적 피로, 비개인화 및 개인의 성취 감소에 의해 대표되는) 번아웃 퍼포먼스와 크게 관련이 있다는 것을 보여주었다[6].

One study showed relationship between the temperament and character traits and burnout [31]. Another study showed that temperamental traits have been largely correlated with burnout performance, mostly represented by emotional exhaustion, de-personalization and reduced personal accomplishment [6].

전반적으로, 우리의 연구 결과와 기존 문헌은 임상 교수진의 [변화 단계와 소진 단계 사이의 관계]를 나타낸다. 이는 의료 커리큘럼 수정 프로세스에서 니즈 평가 접근방식의 핵심 부분으로서 번아웃 탐색의 유용성을 시사한다 [12,28].

Overall, our findings and the existing literature indicate a relationship between stages of change and burnout in clinical faculty. This suggests the usefulness of exploring burnout as a key part of a needs assessment approach in medical curriculum modification process [12,28].

이 의학 커리큘럼 개혁을 위한 예비 연구의 의미는 무엇인가? 번아웃이 낮은 의사들은 더 내적인 동기부여가 될 가능성이 높으며 직업 만족도도 높아져 변화할 준비가 되기 쉽다는 것, 즉 행동 단계에 있다. 행동 단계에서, 그들은 커리큘럼 개혁에 의과대학의 이니셔티브에 참여할 가능성이 더 높다. 

What are the implications of this preliminary research for medical curriculum reform? Doctors with lower burnout are more likely to be more internally motivated and also have more job satisfaction, which makes it more likely to be ready to change, that is, they are in the action stage. In the action stage, they are more likely to engage medical school initiatives in curriculum reform. 

추가적인 관찰은 외과의사들이 내과의사들과 비교했을 때 변화할 준비가 더 많았다는 것이다. 따라서, 한 가지 시사점은 의대 교과과정의 변경이 내과의사보다 외과의사들로부터 더 성공적일 수 있다는 것이다 – 분명히 전문 분야들 사이의 뜨거운 논쟁을 위한 주제일 것이다!

An additional observation is that surgeons had more readiness to change in comparison with the internists. Thereby, one implication is that medical school curriculum change could be more successful starting with surgeons than with internists – surely a topic for hot debate between specialties!

한계

Limitations

결론

Conclusion

그러므로 의과대학에서 성공적인 학제개편을 하기 위해서는 임상 교수진들 사이에서 직업상의 소진을 평가하고 관리하는 것이 유익할 것이다. 게다가, 소진과 의사 전공 사이에는 연관성이 있는 것으로 보인다.

To have successful academic reform in medical schools, it therefore would be beneficial to assess and manage occupational burnout among clinical faculty members. In addition, there appears to be a link between burnout and doctor specialty.

J Eval Clin Pract. 2016 Feb;22(1):86-92. doi: 10.1111/jep.12439. Epub 2015 Nov 13.

Linking medical faculty stress/burnout to willingness to implement medical school curriculum change: a preliminary investigation.

특권과 편향 인식하기: 보건의료제공자의 개인적 인식 확장을 위한 상호작용적 연습(Acad Med, 2017)

Recognizing Privilege and Bias: An Interactive Exercise to Expand Health Care Providers’ Personal Awareness

Amanda L. Holm, MPH, Marla Rowe Gorosh, MD, Megan Brady, MPH, MSW, and Denise White-Perkins, MD, PhD

문제

Problem

특권의 편재성을 고려할 때, 우리는 특권이 의료에서의 상호작용과 결과에도 영향을 준다고 믿는다. 예를 들어, 명백한 인종 차별은 감소했지만, 사회적 특권의 혜택을 받는 집단은 여전히 암묵적인 편견을 보이며, 의료 불균형을 부추기고 있다.2

Given the ubiquity of privilege, we believe, also influence health care interactions and outcomes. For example, though overt racism has declined, groups that benefit from social privilege still exhibit implicit biases, feeding into health care disparities.2

공감을 촉진하는 개입은 [무의식적인 인종적 태도와 그들의 해로운 영향에 대한 의료제공자의 인식]을 높이는데 초점을 둔다.6 자신의 문화적 경험의 보편성에 대한 참가자들의 확신에 균열을 일으켜서 타인의 다양하고 타당한 경험에 눈을 뜨게 할 수 있다.7

Interventions that foster empathy increase providers’ awareness of unconscious racial attitudes and their detrimental effects.6 Challenging participants’ certainty about the universality of their cultural experiences can open their eyes to the different and valid experiences of others.7

헨리 포드 건강 시스템(Henry Ford Health System, HFHS)은 미시간 주 디트로이트에 본사를 둔 수직 통합 의료 기관이다.

Henry Ford Health System (HFHS) is a vertically integrated health care organization headquartered in Detroit, Michigan.

접근

Approach

HFHS의 다문화 건강 연구소와 함께 일하는 직원들은 보건 시스템 전반에 걸쳐 인식-향상 활동을 수행했다. 참가자들의 질문, 논평, 평가를 분석한 결과, 특권 및 무의식적 편향이 환자 치료에 미치는 영향에 대한 교육의 필요성이 드러났다.

Staff members working with HFHS’s Institute on Multicultural Health conducted awareness-raising activities throughout the health system. Participants’ questions, comments, and evaluations indicated a need for training on the impact of privilege and unconscious bias on patient care.

따라서 우리는 우리의 필요에 맞춘 독창적인 도구인 양방향 권한 및 책임 커리큘럼 연습(PRCE)을 개발했다.

PRCE의 목적은 참가자들이 일상생활과 작업 환경에서 특권에 대한 인식을 높이고 특권이 자신과 타인의 살아있는 경험에 미치는 영향에 대한 이해를 향상시키는 것이었다.

The PRCE’s aim was to raise participants’ awareness of privilege in their everyday lives and work environments and to improve their understanding of the impact privilege has on their own and others’ lived experiences.

따라서 우리는 PCE를 Peggy McIntosh의 "보이지 않는 배낭" 작업에 기초했는데, 이 작품은 미국 문화 내에서 백인이라는 사회적 신분을 가진 사람들에게 부여되는, [흔히 잘 인식하지 못하지만, 노력으로 얻은 것도 아닌unearned 특권]을 해명하는 데 도움을 주었다.1 PRCE는 참가자들에게 자신에게 적용되는 특권의 진술들을 스스로 선택하라고 요구했다. 우리는 이것들 중 일부를 백인 특권에 초점을 맞춘 McIntosh의 리스트에서 수정했고, 다른 것들은 사회적 정체성을 포함하도록 만들었다. 22개의 진술은 각각 하나 이상의 사회적 범주와 지배적인 사회 규범을 반영한 경험을 참조했다(표 1).

We therefore based the PRCE on Peggy McIntosh’s “invisible knapsack” work which has helped elucidate the unearned, frequently unrecognized privileges that accrue within American culture to people with white social identities.1 The PRCE asked participants to self-select statements of privilege that apply to them. We adapted some of these from McIntosh’s list focused on white privilege,1 and we created others to encompass additional social identities. Each of the 22 statements referenced one or more social categories and experiences reflecting dominant societal norms (Table 1).

우리는 전형적으로 약 25명의 참가자들과 함께 PRCE를 수행했지만, 때로는 훨씬 더 큰 그룹들과 함께 PCE를 수행하기도 했다. 우리는 22개의 스테이션을 교실위에 배치했고, 각각의 스테이션에는 각각의 진술문이 카드에 인쇄되어 있었고, 참가자 숫자 만큼의 페니가 들어 있는 그릇이 들어 있었다. 참가자들은 각 스테이션에 작은 '배낭'을 들고 가서 진술문을 읽고, 자신들에게 해당한다고 느끼는 진술 하나하나에 대해 1페니를 챙겼다. 그룹이 커서 이동이 어려운 경우, 참가자들은 22개의 성명서와 함께 유인물을 받았고, 그들 자신의 경험을 설명했다고 느끼는 것에 동그라미를 쳤다.

We typically conducted the PRCE with about 25 participants, but sometimes with much larger groups. We placed 22 stations around a classroom, each with one statement printed on a card and a bowl containing the same number of pennies as participants. Participants took a small “knapsack” to each station, read the statements, and took a penny for each statement that they felt was true for them. In larger groups, for which moving around would have been difficult, participants received handouts with the 22 statements and circled those that they felt described their own experiences.

그런 다음 참가자들은 얼마나 많은 동전을 모았는지(예: 0–5, 6–12, 13–18, 19–22페니)를 기준으로 그룹을 이루어 서 있었다. 그룹은 참가자 수에 따라 유동적이었다.

The participants then stood in groups based on how many coins they had gathered (e.g., 0–5, 6–12, 13–18, and 19–22 pennies). Groupings were flexible depending on the number of participants.

그런 다음 퍼실리테이터는 참가자들에게 "0이나 1개의 문이 동그라미를 친 경우, 앉으십시오."와 같이 동그라미를 친 문장이 몇 개인지에 따라 앉도록 요청했다. 그런 다음 진행자는 참가자가 앉도록 잠시 멈추고 "5개 이하의 문장이 동그라미 쳐져 있으면 앉으십시오."라고 묻고 10, 14, 18, 20개 문항까지 계속하여 22개 문장이 동그라미 쳐진 상태로 끝났다.

The facilitator then asked participants to sit down according to how many statements they circled, requesting, for example, “If you had zero or one statement circled, please sit down.” The facilitator would then pause for participants to sit before asking, “If you had five or fewer statements circled, please sit down,” and continuing through 10, 14, 18, and 20 or fewer statements, finally ending with all 22 statements circled.

소그룹(약 5명의 참가자)으로 진행된 디브리핑은, 참가자들 간의 차이를 강조하기 위한 간단하고 편안한 질문으로 시작되었다. 우리는 개개인이 자신의 행동과 특권을 더 잘 이해할 수 있도록 돕기 위해 소그룹 설명 질문(표 2)을 설계했다. 우리는 소규모 그룹 논의가 더 안전한 환경에서 개인적인 경험을 공유할 수 있게 해주었다고 본다.

Debriefing in small groups (of about five participants) began with simple, comfortable questions that graduated toward highlighting differences among participants. We designed the small- group debriefing questions (Table 2) to help individuals better understand the exercise and their own privileges. We believed small-group discussion increased the safety of sharing personal experiences.

성과

Outcomes

PRCE는 다양한 사회적 범주에 부여된 특권에 대한 인식을 높이는 자기 발견의 과정이었다. 일반적으로, 더 많은 특권을 가진 사람들은 자신이 지배적인 문화 그룹에 속해있음을 깨달았고, 다른 사람들에게 일상적인 활동이 더 어려울 수 있다는 것을 인식하게 되었다. 아래에 기술된 바와 같이, 높은 점수를 받은 참가자들에게는 익숙하지 않지만, 특권을 거의 경험하지 못하는 사람들에게는 익숙한 경험이 무엇이지 모두 깨닫게 되었다.

The PRCE engaged participants in self-discovery that increased their awareness of the privileges conferred upon various social categories. In general, those with more privileges gained insight into their membership in dominant cultural groups, recognizing that everyday activities might be more difficult for others. As described below, experiences unfamiliar to high-scoring participants but well known to those who claimed fewer privileges became accessible to all.

토론을 하다보면, 사회적 편견의 존재를 의심하는 부정, 우회, 일화가 등장한다. 퍼실리테이터는 이러한 분열적 반응에 대응해야 했다. 이에 대해 퍼실리테이터들은 참가자들들 모두가 의료 분야에서 고용되어있는 것 만으로도 어느 정도의 특권을 가지고 있음을 상기시켰다. 진행자들은 공정하고 공평한 방법으로 특권을 사용하는 것이 중요하다고 강조했다. 즉, 

• 모든 사람을 회의에 포함시키고, 

• 특권과 편견의 렌즈를 통한 임상적 질적 차이를 조사하고, 

• 환자에 대한 문화적 겸손함을 보여주는 등 .

Discussions would sometimes unearth divisive responses that facilitators had to challenge, such as denial, diversion, or anecdotal accounts questioning the existence of societal bias. In response, facilitators reminded participants that they all had some degree of privilege related to being employed in the health care field. Facilitators emphasized the importance of using privilege in just and equitable ways: 

• including everyone in meetings; 

• examining gaps in clinical quality through the lens of privilege and bias; and 

• exhibiting greater cultural humility toward patients.

일부 참가자들, 특히 전통적으로 비특권층이었던 참가자들은, 높은 "점수"를 자신감, 외향, 노력, 결단력 같은 개인적 특징 덕분이었다고 언급했다. 이러한 코멘트는 "더 적은 특권을 가진 사람들이 구조적인 불평등의 환경에서 성공하려면 어떻게 더 많은 노력을 기울이거나 대처 능력을 개발해야 하는지"를 보여주었했다.

Some participants, particularly those from groups that traditionally lack privilege, attributed their high “scores” to personal characteristics like confidence, extroversion, hard work, and determination. Such comments reflected the ways in which people with fewer privileges must put forth increased effort or develop coping abilities to succeed in an environment of structural inequities.

역사적으로 특권층(dominant) 그룹의 일부 참가자들은, 그들이 성명을 주장할 수 없다는 것을 공유할 때, 그들이 특권을 주장할 수 없다는 사실이 사회적 정체성의 중요성을 반증한다고 느꼈다. 이런 반응은 "공항 보안검색대를 향해 걸어간다면 용의자로 비춰지지 않을 것이라는 것을 느낄 수 있다"는 진술에 대해 가장 자주 일어났다. 특권층 그룹의 참가자들은 그들이 thorough check을 위해 자주 선택되었다고 느낀다고 주장했다. 이러한 경우, 퍼실리테이터는 먼저 참가자들이 민족이나 종교와 같이 그들이 소유하고 있는 특성 때문에 수색을 위해 선별되었다고 느끼는지를 탐구하는 것으로 응답했는데, 참여자들은 전형적으로 그렇지 않다고 인정했다. 그러고 나면, 퍼실리테이터는 '검문의 이유'를 '자신의 사회적 정체성에 귀속시켰던 사람들'이 그 상황을 전혀 다르게 경험함을 보았다.

Some participants from historically dominant groups, when sharing that they could not claim a statement, felt the fact that they could not claim a privilege disproved the importance of social identities. This response happened most frequently in reaction to the statement “If I walk towards a security checkpoint in the airport, I can feel that I will not be looked upon as suspect.” Participants from historically dominant groups asserted that they felt they were routinely chosen for more thorough checks. In these instances, the facilitator responded by first exploring whether these participants felt singled out for a search because of characteristics they possessed, such as ethnicity or religion, which, the participants admitted, was not typically the case. The facilitator then observed that those who attributed searches to their social identities may experience them quite differently.

• [가장 적은 특권을 가진 참가자]들은 그들이 직면하고 있는 장벽과 도전의 인식을 인정해주었다는 감정과 그 이슈에 대한 관심에 대한 감사의 마음을 표현했다. 

• 반대로, [가장 많은 특권을 가진 사람들]은 자기네들이 극복해야 할 장벽이 적은 것에 대한 감사와 당황과 죄책감이 혼합된 감정을 표현했다. 

우리는 새로 훈련된 대사들 사이의 이러한 유형의 개인적 폭로를 문화적 겸손과 시스템 변화를 촉진하는 새로운 동기 부여로 보았다.

• Participants with the fewest privileges expressed feelings of validation for the recognition of the barriers and challenges they face and of gratitude for the attention brought to the issue. 

• Conversely, those with the most privileges expressed a mixture of appreciation for having fewer barriers to overcome and of embarrassment and guilt. 

We viewed these types of personal revelations among newly trained ambassadors as precursors to both cultural humility and a fresh motivation to promote systems changes.

다음 단계

Next Steps

PRCE는 참가자들이 특권 인식에 대해 반성하고 다음을 통해 불평등을 해결할 것을 고려하도록 허용했다.

The PRCE allowed participants to reflect on their recognition of privilege and to consider addressing inequity through:

1. 상대적 사회적 지위에 대한 개개인의 인식 증가,

1. Increased personal awareness of their relative societal position,

2. 이런 활동의 결과를 타인과 논의한 후, (동료들, 심지어 표면상으로는 같은 전문직이거나 또는 사회적 지위가 비슷한 동료들 사이에서도) 경험이 불평등하고 부당하다는 것을 깨닫는다.

2. A realization, after discussing the results of the exercise with others, that the experiences of peers—even those with ostensibly similar professional or societal standing—are unequal and unjust,

3. 그룹 간에 불균등하게 특권을 부여하는 사회적 구조에 대한 민감성 증가

3. An enhanced sense of societal structures that bestow privilege unequally across groups, and

4. 격차를 해소하기 위해 특권을 자원으로서 활용하는 방법 탐구.

4. An exploration of ways to capitalize on privilege to address disparities.

의료는 사회적 불평등에 면역이 되어있지 않다; 특권과 권력의 사회체계는 일상적으로 의료 종사자들에게 영향을 미친다. 그리고 이러한 영향은 우리를 병원, 클리닉, 연구실 그리고 그 너머에까지 동반한다. 전문직업성은 우리가 이러한 영향을 얼마나 잘 무시하느냐가 아니라, 특권이 우리의 직업에 미치는 영향을 우리가 얼마나 용감하게 마주하느냐에 의해 측정된다. 의료 전문가들은 모두에게 평등을 보장하기 위해 특권과 무의식적인 편견에 대한 개선된 인식이 필요하다. 우리는 PRCE가 이 필수적인 목표의 확대에 대한 약속을 가지고 있다고 믿는다.

Health care is not immune to societal inequities; social systems of privilege and power influence health care workers every day, and this influence accompanies us into the hospital, the clinic, the research laboratory, and beyond. Our professionalism is not measured by how well we ignore these influences, but by how courageously we confront their impact on our work. Health care professionals need an improved awareness of privilege and unconscious bias to ensure equity for all. We believe the PRCE holds promise for the furtherance of this essential goal.

Acad Med. 2017 Mar;92(3):360-364. doi: 10.1097/ACM.0000000000001290.

Recognizing Privilege and Bias: An Interactive Exercise to Expand Health Care Providers' Personal Awareness.

복잡성 이론을 의과대학 평가에 활용하기 (Acad Med, 2018)

Using Complexity Theory to Guide Medical School Evaluations

Christine Jorm, MBBS, MD, PhD, and Chris Roberts, MBBS, MBChB, PhD

현재의 교육 시스템은 "쉽게 표현되는 그 어떤 이론적 또는 개념적 틀이 아니라, 전통, 의식, 문화, 역사의 산물"로 묘사되어 왔다.2 이러한 상황 때문에, 1 교육자들은 현재의 관행을 필요한 것, 근본적인 것, 완전한 것처럼 여기는 경향이 있다. 그 결과, 기존 교육적 요소와 실천의 개선은 점진적인 변화만 이뤄진다.

The current education system has been described as “More often the result of tradition, ritual, culture, and history than of any easily expressed theoretical or conceptual framework.”2 Because of this situation,1 educators tend to act as if current practices are necessary, elemental, and complete. Thus, only incremental changes are offered to improve existing educational elements and practices.

또한 인증 프로세스는 불만족스러운 현상태를 유지하는데 기여한다. 왜냐하면 "인증을 위한 개별 프로그램 성과의 모니터링이 반드시 시스템으로서 프로그램 자체에 대한 이해를 진전시키는 것은 아니"기 때문이다.

In addition, accreditation processes may be contributing to this unsatisfactory status quo1 as “Monitoring of individual program outcomes for accreditation does not necessarily advance a program’s understanding of itself as a system.”3

의학교육 시스템을 선형적으로 보는 기존의 평가 프로세스는 정보를 체계적으로 수집하고 해석하여 판단을 내리고 변화에 대한 권고사항을 제공한다.4 거의 20년 전에 Gerrity와 Mahaffy5에 의해 묘사된 접근법은 여전히 내적internal, 양적 과정에 초점을 맞추고 있는 현재의 의과대학 평가 문화에 상응한다. 의과대학평가는 보통 단일 개입의 결과(예: 새로운 교수 방식)에 초점을 맞추고 있으며, 종종 개입의 결과는 시스템 수준에서 보고되지 않고, 개입에 의해 즉시 영향을 받는 교사나 학생의 평균 반응 수준에서 보고된다. 하지만, 의학 교육 시스템의 디자인이 의미하는 것은, 학생마다 그들의 임상적 로테이션 동안에 독특한 경험을 가지고 있다는 것이다.

Traditional evaluation processes, which take a linear view of medical education systems, systematically gather and interpret information to make judgments and offer recommendations for change.4 The approach described by Gerrity and Mahaffy5 nearly two decades ago still captures the current medical school evaluation culture, where the focus is on internal and quantitative processes. Measurement usually centers on the outcomes of a single intervention (e.g., a new way of teaching), and often those outcomes are reported at the level of the average reaction of the teachers or students who are immediately impacted by the intervention, rather than at the system level. Yet, the design of the medical education system means that individual students have unique experiences during their clinical rotations.6

전통적인 의과대학 평가

Traditional Medical School Evaluations

성과기반교육 프레임워크9는 종종 측정 가능한 역량에 대한 원자화된 접근방식을 선호하여, 복잡한 통합적 기술을 무시한다.10,11 하지만 의과대학평가에도 변화가 필요하다. [도구적, 점진적 변화를 추구해온 기존의 방식]에서 [직원, 학생 및 환자의 행동에 대해서, 헬스케어 성과에 대해서, 커뮤니티 태도에 대해서 여러 단계의 변화]를 봐야 한다.

Outcomes-based education frameworks9 often ignore complex integrative skills in favor of an atomized approach to measurable competencies.10,11 However, evaluating a medical school requires a shift from seeking instrumental and incremental linear change to seeking multilevel change in the behaviors of staff, students, and patients, in health care outcomes, and in community attitudes.

복잡성 이론에 대하여

About Complexity Theory

복잡성 이론은 [시스템 구성 요소들 사이의 상호작용에 초점을 맞춘 복잡계를 연구하기 위한 접근방법]이다.12 복잡계는 다양성에 의해 동력을 공급받고, 네스팅이 있으며, 자가 조직화된다.

Complexity theory is an approach to studying complex systems that focuses on the interactions between the components of the system.12 Complex systems are energized by diversity, display nesting, and are self-organizing.

• 다양성은 서로 관련을 갖는 상호연결된 여러 요소의 수를 말하며 [입력의 다양성]과 [상호작용과 출력의 다양성]으로 측정된다. 

• 네스팅은 초기 시스템을 둘러싸는 더 큰 복잡한 시스템을 말한다(더 큰 시스템도 그 자체로 상위 시스템의 구성 부품일 수 있다). 

• 자기조직화는 다양한 [상호연결된 시스템 요소들이 의도적인 방법으로 자발적으로 배열하는 능력]을 기술한다. Outcome은 Emergent하다. 따라서 Emergent outcome은 사전에 완벽하게 구체화될 수 없는 성격과 타이밍을 가지고 있다.

• Diversity refers to the number of different and interconnected elements involved and is measured by the variety of inputs and the multiplicity of interactions and outputs. 

• Nesting refers to the larger complex systems that surround the initial system (which also may have component parts that are themselves complex systems). 

• Self-organizing describes the capability of the various interconnected system components to spontaneously arrange themselves in a purposeful way. Outcomes are emergent; they have a nature and timing that cannot be specified fully in advance.

복잡성 이론이 의과대학의 이해를 도울 수 있는 방법

How Complexity Theory Can Help Us Understand Medical Schools

일부 사람들은 선형 모델이 교육 시스템을 이해하기에 충분하다고 주장하지만, 13 [다수준 결과multilevel outcome의 출현emergence]은 모든 교육환경에 존재하는 핵심적 복잡성 개념이다.14 즉, 새로운 지식은 학생, 교수진 및 교육 시스템의 중요한 요소들 사이의 많은 상호 작용에서 생성된다.

While some claim that linear models suffice for understanding education systems,13 the emergence of multilevel outcomes is a central complexity concept that is present in all educational settings.14 That is, new knowledge is created from the many interactions between students, faculty, and the material elements of education systems

교육 연구에서 복잡성 이론은 개인을 강조하고 학습의 역동적인 사회성에 초점을 맞추는 Sociomaterial 학습 이론들 중 하나이다.18,19

In educational research, complexity theory is among the sociomaterial learning theories that deemphasize the individual and focus on the dynamic social nature of learning.18,19

다양성

Diversity

의과대학의 시스템 다양성은 많은 원천sources을 가지고 있다. 인적 자원의 예를 이용하여, 다양성은 의대에 받아들여지고 다양한 적합성, 지식, 기술, 행동, 에너지를 가지고 오는 성인 학습자들에 의해 만들어진다. 그것은 다양한 배경, 경험, 관점의 아카데믹과 임상의사를 가르치는 교수진에 의해 만들어진다. 마지막으로 다양성은 의료 교육에 항상 존재하는 개별 환자, 질병 및 그들의 이야기를 포함하여 다양한 임상 경험에 노출되는 것에서도 비롯된다.

System diversity in a medical school has many sources. Using the example of human resources, diversity is created by the adult learners who are accepted into medical school and bring with them varied aptitudes, knowledge, skills, behaviors, and energy. It is created by the faculty who teach—academics and clinicians from varied backgrounds, experiences, and perspectives. Finally, diversity comes from exposure to a variety of clinical experiences, including to individual patients, their illnesses, and their stories, which are always present in medical education.

네스팅

Nesting

어떤 평가에서 nested system을 고려하려면 평가에 대한 비선형 접근방식이 필요하다. 

In any evaluation, the inclusion of nested systems demands a nonlinear approach to evaluation. 

이 논의의 중심을 이루는 핵심적 nested system은 보건의료 시스템과 그것의 설계, 자금 지원이며, 보건의료시스템과 의과대학과의 연계이다.21 보다 광범위하게 보자면 정부 역시 nested system이다. 왜냐하면 법, 자금 및 기타 정치적 전략을 통해 대학과 보건 시스템의 조직을 지도함으로써 사회적 우려와 지역사회 건강 문제에 대응하기 때문이다. 

A central nested system in this discussion is the health care system, its design, funding, and links with medical schools.21 More broadly, the government is also a nested system, as it responds to societal concerns and community health problems by guiding the organization of universities and health systems through laws, funding, and other political strategies.

자기조직화

Self-organizing

의과대학 내에서 자기조직을 하는 예로는 [의대생들이 자신의 교육 및 임상경험에서 인지된 격차를 매우기 위해서 능동적인 주체로서 취하는 행동방식]이 있다. 그들은 튜토리얼을 자체 조직하고, 새로운 동료 기반 학습 활동을 개발하고, 임상 환경에서 새로운 학습 기회를 모색한다.23

An example of self-organizing within a medical school is how medical students act as active agents who fill perceived gaps in their didactic education and clinical experience. They self-organize tutorials, develop new peer-based learning activities,22 and seek out new learning opportunities in clinical placements.23

복잡성 이론을 사용하여 의과대학 평가 설계

Using Complexity Theory to Design Medical School Evaluations

우리는 의학교육자들이 복잡성 이론을 사용하여 평가 프레임워크를 설계하는 데 도움이 되는 두 가지 유용한 도구를 설명한다: 로직모델, 센스메이킹

We describe two useful tools to help medical educators design evaluation frameworks using complexity theory—logic models and sensemaking.

프로그램 로직 모델은 평가에 대한 생각을 발전시킬 수 있는 잠재력을 가지고 있다.24–26 기존 모델은 네 가지 기본 요소인 입력, 활동, 산출, 결과를 가진 선형 구조를 가지고 있다.4 의과대학의 결과는 무수하고, 논쟁적이고, 이해하기 어려운 것이며, 로직모델은 여러 관점, 상황 복잡성 또는 동적 관계를 쉽게 포착할 수 없다.27,28 그러나 [입력과 결과 사이에 예측 가능한 선형 관계를 가지고 있다]는 가정을 제거하면, 입력과 결과라는 개념이 도움이 된다.

Program logic models have the potential to advance thinking about evaluation.24–26 Traditional models have a linear structure with four basic components—inputs, activities, outputs, and outcomes.4 The outcomes of medical schools are myriad, contested, and elusive, and logic models are not easily able to capture multiple perspectives, contextual complexity, or dynamic relationships.27,28 However, the notion of inputs and outcomes is helpful if we remove the assumption that inputs and outcomes have a predictable linear relationship.

예를 들어, 우리는 간호학과 의대생을 위한 복잡한 대량 외상 시뮬레이션을 평가했다.29 

• 투입에는 촉진, 응급 처치 장비, 교육 공간 및 미리 훈련된 학생들을 위한 직원이 포함되었다. 

• 활동에는 시뮬레이션된 외상환자에 대한 소규모 그룹 학습이 포함되었다. 

• 산출에는 학생 출석, 직원 및 학생 학습 경험이 포함되었다. 

• 성과에는 트라우마 치료의 맥락에서 협력적인 팀워크에 필요한 학생들의 새로운 지식과 비기술적 기술의 개발이 포함되었다.

For example, we evaluated a complex mass trauma simulation for nursing and medical students.29 Inputs included staff for facilitation, first aid equipment, educational space, and pretrained students. Activities involved small-group learning around a simulated trauma patient. Outputs included student attendance and staff and student learning experiences. Finally, outcomes included students’ new knowledge and their development of the nontechnical skills required for collaborative teamwork in the context of trauma care.

복잡성 이론을 사용하여 평가 프로그램을 설계하는 또 다른 유용한 과정은 센스메이킹이다.30 센스메이킹은 교육자가 복잡성을 줄일 수 있는 방법을 제공하며, 이는 [진단 과정을 통해서 임상의사가 무수한 임상 및 사회적 정보를 make sense하는 방법]과 유사하다. 임상팀이 복잡한 환자를 관리하는 것처럼, 조직 수준에서 최적의 센스메이킹은 [귀납적 결론이 나올 수 있도록 충분한 양의 데이터를 분석하는 참여적 과정]이다.17

Another helpful process in designing evaluation programs using complexity theory is sensemaking.30 Sensemaking provides a way for educators to reduce complexity which is similar to how the diagnostic process provides a way for clinicians to make sense of myriad clinical and social information. Just as the clinical team manages the complex patient, optimal organizational sensemaking is a multimethod, participatory process that analyzes sufficient amounts of data to allow inductive conclusions to emerge.17

조직적 학습(즉, 평가 과정의 바람직한 성과)은 창발적이고, 유동적이며, 실험을 동반하고, 지속적으로 역동적 복잡성이 추가된다. 교육적 변화는 의대 내 시스템 역학을 변화시킬 것이며, 의과대학 내부적으로, 외부적으로 중첩된 복잡성nested complexity을 야기할 것이다. 필연적으로, 몇몇 창발적 결과들은 예상치 못한 것이 될 것이다. 그런 다음 (복잡한 환자들에게서 진단 과정이 계속되는 것과 같은 방식으로) 센스메이킹 과정이 이어진다. 센스메이킹은 바람직하지 않은 시스템 역학을 추적할 수 있고, 시스템 개선을 위한 새로운 가설을 쉽게 만들 수 있다.

Organizational learning (i.e., the desired outcome of an evaluation process) is emergent and fluid (self-organizing), and it involves experimentation and the addition of continuing dynamic complexity. Educational changes will alter system dynamics within the medical school and produce complexity nested both internally within the medical school and externally within the systems in which the medical school is nested. Inevitably, some of the emergent outcomes will be unexpected. The process of sensemaking then continues in the same way in which the diagnostic process continues in complex patients. Sensemaking can trace some of the undesirable system dynamics and facilitate the generation of new hypotheses for system improvement.

의과대학 평가의 복잡성 이론 기반 메타포

A Complexity-Theory-Based Metaphor for Medical School Evaluations

강력한 센스메이킹 수단은 은유를 사용하는 것이다.

A powerful means of sensemaking is through the use of metaphor.

그러한 비유 중 하나는 "기계로서의 조직"이다. 세계가 그렇게 합리적이지 않고 잘 정돈되어 있지 않은 대안적 은유는 "이상한 나라로서의 조직"이다.33 소설 "이상한 나라의 앨리스 모험"을 그린다.34 이 은유는 부조리성, 불합리성, 불확실성, 무질서와 같은 문제를 중심에 두고 있으며 아마도 몇몇 의학 교육자들에게 학문적 또는 임상적 삶의 역설적 성격을 이해하는 방법으로서 매력적일 수 있다.

One such metaphor is the “organization as machine.” An alternative metaphor in which the world is not so rational and well ordered is the “organization as Wonderland,”33 which draws on the novel Alice’s Adventures in Wonderland.34 This metaphor places issues such as absurdity, irrationality, uncertainty, and disorder at its center and is perhaps appealing to some medical educators as a way to understand the paradoxical character of academic or clinical life.

그러나 평가는 방향을 제시해야 한다. 앨리스도 이렇게 묻는다.

Yet evaluation needs to provide direction. Even Alice asks:

"제발, 여기서부터 어느 길로 가야 하는지 말해 주시겠습니까?" "그것은 당신이 어디에 가고 싶은지에 달려있다."고 그 고양이는 말했다.34

“Would you tell me, please, which way I ought to go from here?” “That depends a good deal on where you want to get to,” said the Cat.34

우리는 의과대학 평가를 이해할 수 있도록 새로운 비유, 즉 복잡한 신경망 내에 위치한 뉴런으로서의 조직을 제안한다(그림 1 참조). 그것은 기계에 대한 은유라기 보다는 커넥션에 의해 정의되는 유기체로서 은유로이다.

We propose a new metaphor—the organization as a neuron situated within a complex neural network—to make sense of medical school evaluation (see Figure 1). It is an organic metaphor rather than a mechanical one and is very much defined by its connections.

이러한 은유에서는, 투입과 성과는 비선형이라는 수정된 로직 모델을 사용한다. 우리는 그림 1의 

• 왼쪽에 있는 dendrites를 사용하여 교사, 학생 및 교육 설계의 투입 정보를 표시한다. 

• 오른쪽 축을 이용하여 성과(졸업자의 증거 기반 관리 관행, 사회적 책임 등)를 표시한다. 

이 시스템은 우리가 라벨을 붙인 것보다 더 많은 입력과 결과(선도 및 축도)를 가지고 있다.

For this metaphor, we used a modified program logic model in which inputs and outcomes were nonlinear. We indicate inputs—teachers, students, and educational design—using the dendrites on the left side of Figure 1. We indicate outcomes—the practice of evidence-based care by graduates, social accountability, and so forth—using the branched axons on the right side. This system has many more inputs and outcomes (dendrites and axons) than those we have labeled.

이 은유는 [신경의 출력을 결정하는 흥분과 억제 입력]이라는 competing nature를 고려하여 더욱 확장될 수 있다.

the metaphor can be extended by considering the competing nature of excitatory and inhibitory inputs in determining neuronal output,

의료 교육의 활동과 결과에 영향을 미치는 몇 가지의 핵심적 중첩 시스템은 의대 뉴런을 둘러싸고 있는 촘촘하게 네트워크로 연결된 조립체를 형성하는 다른 뉴런에 대응될 수 있다. 이러한 중첩된 시스템nested system(대학, 보건 시스템 및 정부)은 여러 가지 방법으로 의대에 영향을 주고, 의대로부터 영향을 받는다.

Several important, related nested systems that affect the activities and outcomes of medical education are illustrated by the other neurons that form the densely networked assemblage that surrounds the medical school neuron. These nested systems—the university, the health system, and the government—influence and are influenced by the medical school in multiple ways.

의학교평가에 있어서 감각제정을 위한 복잡성 이론의 사용원리

Principles for Using Complexity Theory for Sensemaking in Medical School Evaluations

We suggest that eight key principles (http://links.lww.com/ACADMED/A465).

의대졸업생들의 건강관리 시스템 참여에 대한 센스메이킹 적용

Applying Sensemaking to the Issue of Medical School Graduates’ Engagement With the Health Care System

의대 졸업생들이 헬스케어 시스템에 참여하는 것이 왜 중요한가? 임상의사가 참여하지 않으면 환자 치료에 대한 개선은 일어나지 않을 것이며, 지속되지 않을 것이다.37–40 참여 근로자들은 그들의 일을 다시 설계하고 개선하지 않을 것이다.41 자부심과 자기 효율성이 높은 사람들은 이것을 더 잘 할 수 있다.42 그리고 능동적이고 양심적인 사람들은 그렇게 할 가능성이 더 높다.43 

Why is it important that medical school graduates engage with the health care system? Without clinician engagement, improvements to patient care would not happen, nor would they be sustained.37–40 Engaged workers redesign and improve their jobs .41 Those with higher levels of self-esteem and self-efficacy are better ableto do this,42 and those who are proactive and conscientious are more likely to do so.43 

임상의가 어느 정도 관여하게 되면, 직원 이직과 결근률이 낮아지고, 감염률이 감소하고, 환자 만족도가 높아지고, 환자 사망률이 낮아진다.44–46 많은 의사들(및 최근 의과대학 졸업생들)은 시스템 참여를 자기의 업무의 일부로 보지 않으며, 시스템적 사고나 개선 노력에 참여하기를 거부한다. 또한 관심 있는 사람들조차 이 일을 효과적으로 하는데 필요한 기술이 부족하다.

When clinicians are measurably engaged, staff turnover and absenteeism is lower, infection rates decrease, patient satisfaction increases, and patient mortality is lower.44–46 Many doctors (and recent medical school graduates47) do not see system engagement as part of their job, are somewhat resistant to systems thinking and being involved in improvement efforts,48–51 and lack the skills to be effective in this work even if they are interested.48,52

졸업생의 engagement는 의과대학에 귀중한 결과물이므로 측정해야 한다.

Graduates’ engagement is a valuable outcome for medical schools, so it should be measured.

관련 이해당사자들에 의한 센스메이킹은 [의대 밖의 대표]들과 [학교 내부의 대표]들이 포함될 것이다. "무엇이 가장 중요한가?"와 "어떻게 하면 각 요소를 연구할 수 있는가?"와 같은 질문을 함으로써, 이러한 질문은 평가 문제와 적절한 방법론을 반복적으로 다듬도록 아이디어의 workshopping을 촉진할 수 있다.

Sensemaking by the relevant stakeholders would include representatives from outside the medical school as well as those from within the school. This metaphor also can facilitate the workshopping of ideas so that the evaluation question and appropriate methodology are iteratively refined—for instance, by asking “What is most important to understand?” and “How can we study each element?”

교사의 투입 평가

Evaluating teachers’ input

사회적 학습 이론은 교육자들이 학생과 역동적으로, 사회적 참여를 함으로써 학습을 유발한다는 개념을 뒷받침한다.53 그렇다면 어떤 교육적 투입이 더 많은 참여 졸업생들을 만들 수 있는가? 우리는 세 가지 영역, 즉 

• 교육자의 다양성, 

• 교육자의 건강 시스템과의 연결, 

• 교육 공동체의 중첩된 시스템의 특성과 강점

...을 탐구하는 것을 추천한다. 표 1.

Social learning theories support the notion that educators’ dynamic social engagement with students creates learning.53 What kind of educator input then might create more engaged graduates? We recommend exploring three areas—diversity, connection to the health system, and the nature and strength of the nested system that is the teaching community of practice. Table 1.

졸업생들의 참여를 준비하는 문화와 교육과정 평가

Evaluating the culture and curriculum that prepares graduates to be engaged

환자 안전 및 품질 커리큘럼을 제정하여 품질 향상을 가르치려는 시도가 있었다.54–57 예를 들어, 세계보건기구(WHO)는 그러한 교육과정을 시행했지만, 전체적으로 성공적이지 못했고, 제한적으로만 받아들여졌고, 결국 세계보건기구가 정한 목표를 달성하지 못했다.

Attempts have been made to teach quality improvement by enacting safety and quality curricula.54–57 For example, the World Health Organization (WHO) implemented such a curriculum; however, it has not been successful as a whole,58 has had limited uptake,54,55 and has failed to meet the goals established by the WHO.

따라서, 우리는 여기서 더 근본적인 요소들에 초점을 맞춘다.

Thus, we focus here on the more fundamental elements

표 2는 이론적으로 정보에 입각한 교육 개선 사례, 자기조절학습 이론을 포함하고 있다.

Table 2 includes examples of theoretically informed educational improvements, drawing on the work of Kalet and colleagues59 and self-regulated learning theory.

의료 시스템 평가

Evaluating the clinical care system

빈번한 로테이션은 개인적인 고립, 불완전한 해결책, 열악한 환자 치료와 관련이 있다.61 추가적으로, 근로 시간 단축으로 인해 다음과 같은 필연적인 결과가 생겼다: 더 많은 교대 근무, 더 많은 핸드오버 및 훨씬 더 세분화된 작업 경험. 아마도 그 결과, 근로시간을 줄이는 것이 후배 의사들의 심리적 고통과 기진맥진을 줄이는 데 기대만큼 효과적이지 못했다.62,63

Frequent rotations are associated with personal isolation, dysfunctional workarounds, and poor patient care.61 Additionally, working hours are now restricted; an inevitable consequence of reduced working hours is more shift work, more handovers, and an even more fragmented work experience. Perhaps as a consequence, reducing working hours has not been as effective as expected in reducing psychological distress and burnout in junior doctors.62,63

현재의 의료 고용 관행은 졸업생들이 이 시스템에 참여할 수 있는 능력을 제한하고 있지만, 의과대학들은 그들이 의료 시스템에 nested 되어있음에도 불구하고 변화를 일으키는 데 거의 영향을 미치지 않는다. 우리의 센스메이킹 연습은 의료 교육 연구원들이 보건 서비스 연구원들과 정책 입안자들과 협력하여 졸업생들의 고용 관행 변화를 뒷받침할 증거를 개발해야 할 절박한 필요성을 보여주었다.

Current health care employment practices restrict the ability of graduates to engage with the system, but medical schools have little influence to make changes even though they are nested within health care systems. Our sensemaking exercise revealed a pressing need for medical education researchers to work with health services researchers and policy makers to develop the evidence to support changes to graduates’ employment practices.

중첩된 시스템에서 모든 이해당사자들의 견해는 명시적으로 추구되거나 의과대학 평가에 통합되지 않을 수 있다. (정책 입안자 및 자금 제공자뿐만 아니라) 보건 시스템의 이해당사자들과 함께 의과대학 평가를 공동 설계하는 것은 의과대학이 보건 시스템과 치료의 결합자라는 것을 받아들이는데 있어 중요한 다음 단계다.

Currently, the views of stakeholders from all nested systems may not be explicitly sought or incorporated into medical school evaluations. Co-designing medical school evaluations with stakeholders from the health system, as well as with policy makers and funders, is a crucial next step in accepting that the medical school is a coproducer of care with the health system.

표 1 의료전문학교 졸업생의 의료시스템 참여성 평가를 위한 복잡성 이론을 이용한 교사 입력 평가

Table 1 Evaluating Teachers’ Input Using Complexity Theory to Assess Medical School Graduates’ Engagement With the Health Care System

표 2 의과대학 졸업생을 건강관리 시스템에 참여시키는 문화와 교육과정 평가

Table 2 Evaluating the Culture and Curriculum That Prepare Medical School Graduates to Be Engaged With the Health Care System

우리는 "의학교육을 [본질적으로 복잡한 사회적 개입을 위한 개선 과학]으로 재인식할 필요성"을 지지한다.65

We endorse the need to “reconceptualise medical education as intrinsically an improvement science for complex social interventions.”65

결론

Conclusion

평가 노력에 대한 청중은 학교 내의 의과 교육자들을 넘어서고 있다. 그러므로 의과대학 평가에 있어 가장 큰 어려움은 (의과대학이 nested in되어있는, 영향을 주고, 영향을 받는) 지역사회를 평가 과정에 어떻게 포함하느냐이다.

The audience for evaluation efforts extends beyond medical educators within the school. Thus, the biggest challenge for medical school evaluation is how to include the communities the medical school is nested in, influences, and is influenced by, in the evaluation process.

우리가 발견한 차이점은 의학교육에 대한 다른 평가 접근법에 의해서는 포착되지 않는 것이다. 복잡성 이론을 사용하는 것은 그러한 창발적 성과를 고려하게 해준다. 창발적 성과는 의과대학 평가를 새로운 초점을 맞추도록 장려할 것이며, 학생들을 미래의 잠재적 change agent로 생각하게 하고, 보건 시스템과 환자의 삶을 변화시킬 것이다.

The gap we found would not have been identified by other evaluation approaches to medical education. Using complexity theory encourages the consideration of such emergent outcomes. Emergent outcomes in turn encourage medical school evaluations to take on a new focus, reimagining students as future potential change agents, who transform health systems and the lives of patients.

20 Jorm C, Nisbet G, Roberts C, Gordon C, Gentilcore S, Chen TF. Using complexity theory to develop a student-directed interprofessional learning activity for 1220 healthcare students. BMC Med Educ. 2016;16:199. XXX

1 Holmboe ES, Batalden P. Achieving the desired transformation: Thoughts on next steps for outcomes-based medical education. Acad Med. 2015;90:1215–1223.

7 Mossop L. The curse of the teenage learner. Med Educ. 2014;48:231–233.

3 Bowe CM, Armstrong E. Assessment for systems learning: A holistic assessment framework to support decision making across the medical education continuum. Acad Med. 2017;92:585–592.

65 Yardley S. Lost in translation: Why medical education research must embrace “real-world” complexities. Med Educ. 2014;48:225–227.

57 World Health Organization. Multi- professional Patient Safety Curriculum Guide. http://www.who.int/patientsafety/education/curriculum/tools-download/en/. Published 2011. Accessed May 16, 2017.

Acad Med. 2018 Mar;93(3):399-405. doi: 10.1097/ACM.0000000000001828.

Using Complexity Theory to Guide Medical School Evaluations.

보건전문직 교육에서 학습환경 개선을 위한 개입 설계: Scoping Review (MedEdPublish, 2018)

Interventions Designed to Improve the Learning Environment in the Health Professions: A Scoping Review

Larry Gruppen[1], David M. Irby[2], Steven J. Durning[3], Lauren A. Maggio[3]

도입과 목적

Introduction and Purpose

교육학습 환경(LE)은 참가자들이 생각하고 느끼고 참여하고 일하는 방식에 극적으로 영향을 미친다. 긍정적 LE는 학습을 지원하며 따뜻하며, 협력적(Chinthammitr and Chierakul, 2014; Thomson et al., 2014; Tackett et al., 2017)이고, 상호존중하는 반면 부정적 또는 "냉랭한" 학습환경(Janz and Pyke, 2000)은 파괴적이고 참여와 학습을 제한한다.

Educational learning environments (LE) dramatically affect the way participants think and feel, engage and work. Positive LEs support learning and are welcoming, collaborative, (Chinthammitr and Chierakul, 2014; Thomson et al., 2014; Tackett et al., 2017)and respectful while negative or "chilly" LEs (Janz and Pyke, 2000)are destructive and restrict participation and learning

LE는 학습이 발생하는 물리적 및 가상 공간에서, 참여자의 역동적이고 공동구축된 인식, 경험, 행동을 설명한다. 그러나 더 중요한 것은 교육적 풍토나 문화의 분위기, 그리고 사람들이 일상적으로 교류하는 방식을 가리키는 것이기도 하다.

LEs describe the dynamic, co-constructed perceptions, experiences and behaviors of participants in the physical and virtual spaces within which learning occurs. But more importantly, it also refers to the tone of the educational climate or culture, and the routine way people interact.

LE는 학습자와 제공자 모두에게 중요한 매우 다양한 요인에 영향을 미친다. 즉, 

• 탈진, 정서적 피로, 

• 만족과 행복, 

• 정체성 형성, 

• 성과와 협력(Darcy A). Reed 등, 2011; Thomson 등, 2014; Castillo-Angeles 등, 2017; Tackett 등, 2017.

LEs affect a wide variety of factors important to learners and providers alike: 

• burnout, depersonalization and emotional exhaustion; 

• satisfaction and well-being; 

• identity formation; 

• performance and collaboration (Darcy A. Reed et al., 2011; Thomson et al., 2014; Castillo-Angeles et al., 2017; Tackett et al., 2017).

개입이란 것은, [학습 환경에 영향을 미칠 것으로 예상되는 새로운 계획된 활동(예: 니어피어 코칭)이나 조직 변화(예: 커리큘럼, 훈련 현장, 근무 시간)의 도입]을 의미한다.

By interventions, we mean the introduction of a planned new activity (e.g., near peer coaches) or organizational change (e.g., curriculum, training site, duty hours) that is anticipated to have an impact on the learning environment.

HPE문헌에 자주 등장하는 학습 환경(LE)은 통일된 정의가 결여된 복잡한 이론적 구조다(Genn, 2001b, 2001a; Roff and McAleer, Sean Sue Roff, 2001). 이 용어를 둘러싼 개념적 모호성은 부분적으로 이러한 현상을 조사하기 위해 사용되는 다양한 학문들과 관련 이론 렌즈(즉, 인류학, 교육, 심리학, 사회학)에서 기원한다.

The learning environment (LE), which appears frequently in the health professions education literature, is a complex theoretical construct that lacks a unified definition (Genn, 2001b, 2001a; Roff and McAleer, Sean Sue Roff, 2001). The conceptual ambiguity surrounding this term has arisen, in part, from the varying disciplines and associated theoretical lenses used to investigate this phenomenon (i.e., anthropology, education, psychology, and sociology).

LE는 학습이 일어나는

• 개인의 경험과 인식(심리학 및 교육), 

• 사회적 상호작용(사회학 및 교육), 

• 조직 문화와 실천(인류학과 사회학), 

• 물리적 시설과 학습이 이루어지는 온라인 공간(사회학 및 교육학)

...등을 모두 의미할 수 있다. 그것은 교실, 온라인, 시뮬레이션 및 임상 환경에서 발생하는 공식 및 비공식 학습 경험과 연관될 수 있다.

The LE can describe 

• personal experiences and perceptions (psychology and education), 

• social interactions (sociology and education), 

• organizational culture and practice (anthropology and sociology), 

• physical facilities and online spaces (sociology and education) 

...within which learning occurs. It can be associated with formal and informal learning experiences that occur in classroom, online, simulation and clinical settings.

LE는 종종 분위기, 교육환경, 학습기후, 조직문화와 같은 용어와 교환하여 사용된다. LE는 "각 상황 및 기관에 인격, 정신, 문화를 부여하고, 그 조직 내에서 학습자가 된다는 것이 어떤 것인지를 보여주는 특징"으로 정의되었다(Holt and Roff, 2004).

The LE is often used interchangeably with such terms as atmosphere, educational environment, learning climate and organizational culture. The LE has been defined as "a set of features that gives each circumstance and institution a personality, a spirit, a culture and describes what it is like to be a learner within that organization" (p. 553) (Holt and Roff, 2004).

LE는 특정 환경에서 개인, 그룹 및 단체에 의해 공동 생성되고, 상황별 분위기와 문화에 의해 형성되는, 복잡한 정신-사회-물리적 구조라고 생각할 수 있다(Palmgren, 2016).

The LE can be thought of as a complex psycho-social-physical construct co-created by individuals, groups, and organizations in a particular setting, and shaped by contextual climate and culture (Palmgren, 2016).

다양한 교육 결과(Genn, 2001a, 2001b)와 다수의 인증 규정(예: LCME, ACGME, GMC)을 보자면, LE가 중요하다는 것에는 이견이 거의 없다.

There is little disagreement that the LE is important, linked to various educational outcomes (Genn, 2001a, 2001b), and the focus of a number of accreditation regulations (e.g., LCME, ACGME, GMC).

LE를 위한 개념적 프레임워크

Conceptual framework for the learning environment

우리는 LE가 위치한 인식, 위치한 학습, 생태 심리학, 직장 학습을 포함하는 사회 문화 학습 이론의 렌즈를 통해 가장 잘 이해하고 연구될 수 있다고 믿는다.

we believe that the LE can be best understood and studied through the lens of sociocultural learning theories that include 

• situated cognition, 

• situated learning, 

• ecological psychology, and 

• workplace learning.

• situated learning 프레임워크 내에서 학습은 처음에는 합법적인 주변적 참여자로, 그리고 완전한 참여자로 부상함으로써 새로운 지식 공동체 또는 실천 공동체로 발전하는 것을 포함한다(Lave and Wenger, 1991).

Within the situated learning framework, learning involves acculturation into a new knowledge community or community of practice through active participation – initially as a legitimate peripheral participant and emerging into a full participant (Lave and Wenger, 1991).

• Ecological psychology and workplace learning은 학습/작업 환경에서의 어포던스(도구, 비계된 관계, 업무, 언어, 개념)과 학습자의 적극적인 참여(기관, 참여 및 신흥 자치권을 통해)를 통해 사회적 상호작용이 촉진된다는 점을 강조한다(Billett, 2001).

Ecological psychology and workplace learning emphasize that social interaction is facilitated through affordances in the learning/working environment (tools, scaffolded relationships, tasks, language, concepts) and the active engagement of learners (through their agency, engagement and emerging autonomy) (Billett, 2001).

• Situated cognition 은 학습이 사회적이며 사람과 환경 사이의 상호작용을 수반한다고 보며, 따라서 학습, 상황 및 문화를 연결한다. 특히, 지식은 습득되는 활동, 상황 및 문화에 내재되어 있다(Brown et al., 1989).

Situated cognition theorizes that learning is social and involves an interaction between persons and environment – thus linking learning, situations and culture. Specifically, knowledge is embedded in the activity, context and culture in which it is learned (Brown et al., 1989).

이 각각의 이론들은 다른 사람과의 상호작용과 협업의 중요성을 강조한다. (상호작용은) "학생들의 학습/참여를 위한 수단이다. 학습은 [다른 사람들로부터 지식과 기술을 배움]으로써, 그리고 [자신이 새로 참여한introduced 커뮤니티에 존재하는 문화적 믿음과 태도, 규범에 친숙해지는 것을 통해] 일어난다."

Each of these theories emphasizes the importance of interactions and collaborations with others "as the means for students’ learning/participation, both through learning knowledge and skills from others, and through becoming familiar with the norms, cultural beliefs and attitudes existing in the communities to which they (the learners) are being introduced" (p. 739) (Schönrock-Adema et al., 2012).

LE는 어떤 특정한 이론적 관점에서 "소유"되어 있지 않다는 것을 강조해야 한다. LE 또한 종종 중심적인 관심사가 아니며, 이것은 그 구조를 이론적으로 불확실한 것으로 남겨둔다.

It should be emphasized that the LE is not "owned" by any particular theoretical perspective. Neither is the LE often a central concern, which leaves the construct in something of a theoretical limbo.

LE의 구성요소

Components of the learning environment

중복되는 네 가지 핵심 구성 요소(그림 1)를 식별:

we identified four overlapping and interactive core components (Figure 1):

1. 개인적 구성 요소. 개별 학습자는 활동을 통해 LE와 상호작용하고, LE에 대한 인식을 발전시키며, 목표에 대한 명확성, 관련되고 의미 있는 학습의 선택 등을 통해 개인적 성장에 관여하며, 그 과정에서 전문직 정체성을 개발하고 자율성을 높인다.

1. Personal Component. The individual learner interacts with the LE through activity, develops perceptions of the LE, and engages in personal growth through clarity about goals, selection of relevant and meaningful learning; and in the process develops professional identity and increasing autonomy.

2. 사회적 구성요소. 학습자는 타인과 교제를 하고 여러 관계를 탐색하는데, 이는 LE에 대한 그들의 인식과 경험을 형성한다. 이러한 관계로는 

• 학습자 대 학습자 (경쟁, 협력, 공유 가치 및 학습자 문화), 

• 학습자 대 교수/스태프(신뢰, 피드백, 커뮤니케이션, 교육 전략, 멘토링) 및 

• 학습자 대 환자(책임, 수용 및 신뢰)가 있다. 

이러한 모든 사회적 관계는 학생들이 무엇을 어떻게 배우는지에 영향을 미친다.

2. Social Component. Learners engage with others and navigate multiple relationships, which shapes their perceptions of and experiences with the LE. These relationships include: peer-to-peer (competition, cooperation, shared values and learner culture), learner-to-faculty/staff (trust, feedback, communication, instructional strategies, mentoring), and learner-to-patient (responsibility, acceptance and trust). All of these social relationships influence what and how students learn.

3. 조직적 구성 요소. 조직은 커리큘럼 리소스 및 인공물artifact, 지리적 배치, 인증 규칙과 같은 구조/가이드/서포트 뿐만 아니라 조직의 관행, 문화 및 정책(정돈된 환경, 규칙의 명확성, 근무 시간, 규제 환경, 교사 제어, 커리큘럼, 배치, 기술 인프라)을 제공한다.

3. Organizational Component. Organizations provide structure, guidance and support for learning, including curriculum resources and artifacts, geographic placements, accreditation rules as well as organizational practices, culture and policies (orderly environment, rule clarity, duty hours, regulatory environment, teacher control, curriculum, placements, technology infrastructure).

이것의 한 예는 ACGME에서 구현한 임상 학습 환경 검토(CLER)이다. CLER 프로그램의 기본 전제는 환자 안전, 의료 품질, 관리 전환, 감독, 피로 관리 및 전문성과 관련하여 건설적인 조치를 취할 경우 교육 프로그램과 환자 관리가 개선된다는 것이다. 우리는 또한 이 조직 구성 요소에도 지역사회에서의 배치(지리적 설정/위치)를 포함한다.

One example of this is the Clinical Learning Environment Review (CLER) implemented by ACGME. The underlying premise of the CLER program is that the educational program and patient care will be improved if constructive actions are taken regarding patient safety, health care quality, care transitions, supervision, fatigue management, and professionalism (Accreditation Council on Graduate Medical Education, no date; Weiss, Wagner and Nasca, 2012). We also include placements in the community (geographical settings/locations) in this organizational component as well.

4. 물리적 구성 요소 및 가상 구성 요소. 학습과 연습은 교육 및 실습 환경의 물리적 공간 내에서 이루어진다. 마찬가지로 정보 인프라와 자원(예: 온라인 자원, 전자 건강 기록)도 학습을 육성하거나 방해하는 가상의 "공간"을 제공한다.

4. Physical and Virtual Component.Learning and practice take place within physical spaces of educational and practice settings. Similarly, informational infrastructures and resources (e.g., online resources, electronic health records) also provide a virtual "space" in which learning is fostered or obstructed.

방법

Methods

우리는 LE 개입 및 관련 요인에 대한 문헌의 범위를 결정하기 위해 범위 지정 검토를 선택했는데, 사전 검색에서는 문헌에 대한 완전한 체계적 검토를 하기에 충분히 광범위하지 않을 수 있음을 나타냈다.

We chose a scoping review to determine the extent of the literature on LE interventions and associated factors, which our preliminary search indicated might not be extensive enough for a full systematic review of the literature.

결과

Results

우리의 검색은 2,662개의 기사를 검색했다. (PubMed=1,491; CINAHL=77, ERIC=132, Scopus=244, Embase=718). 중복제거된 것은 2,201개의 독특한 인용문이 있었다. 모든 제목과 추상적인 내용을 검토한 결과, 240개의 전문 논문이 검토 대상으로 선정되었다. 전체 텍스트 검토 후, 68개의 기사가 포함되도록 유지되었다(그림 2). 연구 집합에서, 18개 국가가 대표되었고 6개의 직업이 연구되었다(의사 n=54; 간호 n=11; 치과의사 n=1, 약사 n=1, 수의사 n=1, 지압 n=1). 사전임상 및 임상 학생은 1차 모집단(n=45)이었지만, 여러 연구에서는 전공의(n=12) 및/또는 교수진(n=4)도 포함되었다. 어떤 경우에, 연구는 둘 이상의 인구, 설정 및/또는 직업을 포함했다.

Our search retrieved 2,662 articles (PubMed=1,491; CINAHL=77, ERIC=132, Scopus=244, Embase=718); with duplicates removed there were 2,201 unique citations. Based on examination of all titles and abstracts, 240 full-text articles were selected for review. Following full-text review, 68 articles were retained for inclusion (Figure 2). In the set of studies, there were 18 nations represented and six professions studied (medicine n=54; nursing n=11; dentistry n=1, pharmacy n=1, veterinary n=1, chiropractic n=1). Preclinical and clinical students were the primary population (n=45), but several studies also included residents (n=12) and/or faculty members (n=4). In some cases, studies included more than one population, setting and/or profession.

우리는 LE의 개입 연구에 대한 네 가지 접근법을 확인했다.

We identified four approaches to the study of interventions in the LE.

첫째, 특정 개입 또는 일련의 개입이 LE에 미치는 영향을 평가하기 위한 연구가 있다. 여기에는 근무시간, 커리큘럼, 배치 및 교수진 개발의 변화와 그것이 LE에 미치는 영향에 대한 연구가 포함된다. 우리는 중재적 연구를 말한다.

First, there are studies designed to assess the impact of a specific intervention or series of interventions on the LE. These include studies of changes in duty hours, curricula, placements, and faculty development and their impact on LE. These we term interventional studies.

둘째로, 조사자들은 교육 형식, 커리큘럼 모델, 지리적 배치 및 채점 관행과 관련된 두 개의 다른 그룹에서 LE 평가를 비교했다. 우리는 이것을 비교 연구라고 불렀다.

Second, investigators compared two different groups’ assessments of the LE related to instructional formats, curriculum models, geographical placements, and grading practices. We titled these comparison group studies.

셋째, 탄력성, 소진, 학대, 성취, 웰빙과 같은 하나 이상의 관심 변수가 LE의 인식과 연관되었다. 우리는 이러한 연관성 연구라고 불렀다.

Third, one or more variables of interest, such as resilience, burnout, mistreatment, achievement, and well-being, were associated with perceptions of LE. We called these association studies.

넷째, 정성적 방법을 이용한 서술적 연구는 참가자의 관점을 조명하고 환영환경과 교수문화, 참여자의 연속성, 학습/실무공간의 이용가능성 등과 같은 LE의 개입과 관련된 주제를 식별한다. 우리는 이것을 서술적 연구라고 불렀다.

Fourth, descriptive studies using qualitative methods illuminate participant perspectives and identify themes associated with interventions in the LE, such as establishing a welcoming environment and teaching culture, continuity of participants, and availability of learning/practice space. We termed these as descriptive studies.

개입 연구

Interventional Studies

Sixteen studies described specific interventions to improve the LE (Table 1).

대조군 연구

Comparison Group Studies

Comparison group studies were the most common of the four approaches and also quite diverse in how the comparison conditions were defined. See Table 2.

연관 연구

Association Studies

We found 14 studies that reported associations of another important variable (such as burnout, career choice, department academic support) with the LE. (Table 3).

기술 연구의 주제들

Themes from Descriptive Studies

While the vast majority of studies of the LE were quantitative and used standardized measures of the LE, a few descriptive studies used qualitative research methods to explore learners’ perceptions of the LE. (Table 4).

고찰

Discussion

이 범위 검토에 포함된 대부분의 연구는 18개국의 LE에 긍정적인 영향을 미친 개입과 영향에 대해 보고되었다.

The vast majority of studies included in this scoping review reported on interventions and influences that had a positive impact on the LE in 18 different countries

대부분의 연구는 조직적 요소에 집중되었고, 그 다음으로 사회적 요소와 개인적 요소들에 집중되었다. 물리적 공간이나 가상 공간 구성 요소의 영향을 조사한 연구는 거의 없었다.

The majority of studies were focused on the organizational component, followed by the social component and the personal component. Very few studies examined the impact of the physical or virtual space component.

보건직 종사자들의 LE에 어떤 개입이 영향을 미치는가? 표 5

What interventions affect the LE in the health professions? Table 5.

LE의 개인적 구성요소

Personal Component of LE

우리의 LE 모델의 개인적 구성요소는 개별 학습자가 LE와 상호작용하고, LE에 대한 인식을 개발하고, 개인적 성장에 관여하고, 전문직 정체성을 개발하는 방법을 설명한다. 그것은 특정 환경의 심리적, 경험적, 지각적 차원을 설명한다.

The personal component of our LE model describes how individual learners 

• interact with the LE, 

• develop perceptions of the LE, 

• engage in personal growth and 

• develop professional identity. 

It describes the psychological, experiential and perceptual dimensions of a particular setting.

LE의 개인 구성 요소와 긍정적으로 연관된 개입 또는 요인은 다음과 같다. 

• 직접적인 환자 치료에 초점을 맞춘 시간, 

• 동료의 커뮤니티, 

• 좋은 삶의 질과 높은 수준의 복원력, 

• "의미 있는" 장소에서 배우는 것, 그리고 

• 이들을 지원하기 위해 규제된 시스템에 대한 신뢰. 

Interventions or factors positively associated with the personal component of LE included: 

• time focused on direct patient care, 

• having a community of peers, 

• a good quality of life and high levels of resilience, 

• learning in a "meaningful" place, and 

• trust in a regulated system to support them. 

부정적인 연관성을 가진 요소들은 삶의 질이 좋지 않아서 더 많은 감정적 피로, 비소셜화, 그리고 미래의 지구력과 능력에 대한 걱정으로 이어졌다. 이러한 요인들은 개입보다는 학습자의 심리적 특성과 환경에 대한 인식에 더 많은 영향을 미친다.

Factors with negative associations were poor quality of life leading to more emotional exhaustion, depersonalization, and worries about future endurance and capacity. These factors are less about interventions and more about the psychological characteristics of the learners and their perceptions of the environment.

자율성, 목적/목표, 숙달성, 관계성을 강조하는 동기이론 역시 이러한 권고사항과 연관된다(Deci, Koestner 및 Ryan, 1999; Pintrich, 2003). 학습자는 학습의 과정에서 지원을 받는 경우, [학습, 자율성 개발, 더 큰 목표와 목적 추구, 다른 사람들과의 협력]에 대하여 본질적으로 동기를 부여받는다.

Motivation theory, which emphasizes autonomy, purpose/goals, mastery and relatedness also connect with these recommendations (Deci, Koestner and Ryan, 1999; Pintrich, 2003). Learners are intrinsically motivated to learn, develop autonomy, pursue a goal and purpose larger than themselves, and work collaboratively with others, especially if they are supported in the process.

LE의 사회적 구성요소

Social Component of LE

학습의 사회적 요소를 탐구하는 연구는 건설적인 LE를 육성하는데 있어서 대인관계의 중요성을 강화시켰다. 이러한 관계에는 

• 교사 및 학습자(예: 직접 대면 또는 혼합된 지시와 종적 임상 멘토링), 

• 학습자와 학습자(예: 동료 교육 및 지원) 

• 교수와 교수(예: 리더십 퍼포먼스)이 포함된다. 

Studies exploring the social component of learning reinforced the importance of interpersonal relationships in fostering a constructive LE. These relationships include 

• teacher and learner (e.g. face-to-face or blended instruction and longitudinal clinical mentoring), 

• learner to learner (e.g. peer instruction and support), as well as 

• faculty to faculty (e.g. leadership performance). 

기존 연구에서는 학습자와 환자 관계를 다루지 않았다. 이러한 연구는 또한 성과와 관계에 대한 기대치를 설정하고 다시 방문하는 가치뿐만 아니라 종단적 관계의 중요성을 강조했다.

Studies did not address the learner and patient relationship. These studies also underpinned the importance of longitudinal relationships as well as the value of setting and revisiting expectations about performance and relationships.

서술적 연구들은 다음을 강조하였다.

The descriptive studies highlighted the role of a 

• 강한 교육 문화, 

• 강한 역할 모델 기술과 가치, 

• 함께 일하는 여러 수준의 학습자들(예: 동료 교육 가까이)의 역할, 

• strong teaching culture, 

• strong role model skills and values, 

• multiple levels of learners working together (e.g. near peer teaching) as well as 

반대로, 다음을 피해야 함을 강조하였다

the need to avoid 

• 혹사, 

• 불분명한 기대, 

• 불충분한 감독. 

• mistreatment, 

• unclear expectations, and 

• insufficient supervision without feedback. 

팀워크와 LE와의 관계는 우리의 검토에 포함된 연구에서 명시적으로 다루어지지 않았다. 이러한 연구 결과는 위에서 언급한 바와 같이 위치 학습(실무 공동체 및 합법적인 주변적 참여), 위치 인식 및 고의적 실천 이론과 일치한다.

Teamwork and its relationship to LE were not explicitly addressed in the studies included in our review. These findings are consistent with situated learning (communities of practice and legitimate peripheral participation), situated cognition, and deliberate practice theory, as noted above.

LE의 조직적 구성요소

Organizational Component of LE

LE 모델의 조직적 구성요소는 LE들을 서로 비교하는 연구를 통해 가장 자주 연구되었다. 종종, 이러한 대조적인 환경은 LE에 미치는 영향에 대해 특별히 세심하게 설계된 연구보다는 "자연 실험"이었다. 이들 중 

• 대부분은 대안적 커리큘럼 모델(예: 문제 기반 학습, 팀 기반 학습) 또는 

• 특정 커리큘럼 개입(예: 피드백, 교수진 개발, 팀워크 기술) 또는 

• 더 넓은 세팅에서 학교 간 비교(조직 대 도시, 더 큰 학술 기관 내의 대체 임상 설정)

The organizational component of the LE model was most frequently studied through comparative studies of contrasting LEs. Frequently, these contrasting environments were "natural experiments" rather than carefully designed studies specifically of the impact on the LE. Many of these were comparisons of 

• alternative curricular models (e.g., problem-based learning, team-based learning) or 

• specific curricular interventions (e.g., augmenting feedback, faculty development, team-work skills) or 

• larger setting of school comparisons (rural vs urban, alternative clinical settings within a larger academic institution).

이러한 연구의 통제되지 않고 무작위화되지 않은 특성은 결과에 배치할 수 있는 신뢰도를 제한하지만, 그 증거는 일반적으로 일부 환경이 다른 환경보다 더 긍정적으로 인식된다는 것을 나타내는 데 있어 긍정적이다. 긍정적 환경의 특징에는 다음이 포함된다. 

The uncontrolled and non-randomized nature of these studies limits the confidence one can place in the results, but the evidence is generally positive in indicating that some environments are perceived as better than others. These include: 

• 피드백을 강화하고, 존중과 복지를 증진하며, 학대를 줄이기 위한 과정 또는 혁신

• 특정 교수기술보다는 LE에 초점을 맞춘 교수개발 프로그램

• 근무 시간제한 도입, 평가 시스템, 감독 모델, 전담 교육 유닛과 같은 구조적 특징

• 학습자에게 더 많은 주의/관심이 갈 수 있는 시골지역 세팅, 더 작은 임상 장소, 학습 공동체 및 선택적 로테이션

• Courses or innovations to augment feedback, increase respect and well-being, and reduce mistreatment

• Faculty development programs focused on aspects of the LE rather than specific teaching skills

• Structural features like duty hour implementation, grading systems, supervisory models, and dedicated educational units

• Rural settings, smaller clinical placements, learning communities, and elective rotations, which may be surrogates for having more attention given to learners.

조직적 특성이 LE와 어떻게 관련되는지에 대한 역학 관계를 이해하는 것은 우리 모델의 개인적, 사회적 요소에 대한 섹션에서 인용된 사회문화적 및 대인관계적 상호작용의 이론에 근거한다. 그러나 조직적 요소는 또한 LE 연구에서 거의 인용되지 않는 제도적, 조직적 문화에 대한 고려로 이어진다. 조직 변화(Kotter, 1995; Bolman and Deal, 2013), 리더십 모델(Avolio, Walumbwa and Weber, 2009), 시스템 과학(Miller, 1978)은 LE가 상위 수준의 인간 시스템에서 어떻게 기능하는지 더 잘 이해하기 위해 적절하고 유익할 수 있는 몇 가지 개념적 영역이다.

Understanding the dynamics of how organizational features relate to the LE clearly builds on the theories of sociocultural and interpersonal interactions cited in the sections on the personal and social components of our model. However, the organizational component also leads to considerations of institutional and organizational culture that are seldom cited in LE studies. Organizational change (Kotter, 1995; Bolman and Deal, 2013), leadership models (Avolio, Walumbwa and Weber, 2009), and systems science (Miller, 1978)are a few of the conceptual domains that may be relevant and beneficial for better understanding how the LE functions at higher level human systems.

LE의 물리적, 가상적 공간 요소

Physical and Virtual Space Component of LE

LE의 물리적/가상 공간 구성요소는 학습과 실습이 발생하는 교육 및 실습 설정의 물리적 공간과 가상 또는 온라인 학습 공간을 포괄한다.

The physical/virtual space component of the LE encompasses the physical spaces of educational and practice settings in which learning and practice occur, and the virtual or online learning spaces.

이러한 연구 내에서, LE의 물리적 구성요소는 연구의 주요 초점이라기 보다는 주변적이다. 예를 들어, 125명의 보훈병원을 대상으로 한 조사에서 물리적 공간은 LE와 관련된 조사된 4개의 하위 영역 중 하나이다(Cannonet al., 2008). 본 연구는 전공의와 의대생의 경우 병원 시설의 유지와 청결이 LE에 영향을 미친다는 점에 주목한다.

Within these studies, physical components of the LE are peripheral rather than the main focus of the study. For example, in a survey of 125 Veterans’ Affairs hospitals, physical space is one of four investigated subdomains that are associated the LE (Cannonet al., 2008). This study notes that for residents and medical students the maintenance and cleanliness of hospital facilities impacts the LE.

보건 전문 교육 기관이 혼합 학습blended learning을 시행함에 따라 LE의 물리적/가상적 요소에 대한 지식의 필요성이 더욱 뚜렷해질 것이다(Mehtaet al., 2013; Prober and Khan, 2013). 혼합된 학습 접근법을 사용하여, 교수진은 의도적으로 [온라인과 대면으로 연습생을 참여]시켜 둘 모두에서 어포던스를 최적화하도록 교육 계획을 세운다. 혼합 학습은 학습의 일부를 물리적 공간에서 벗어나 온라인으로 이동시키는 반면, 소그룹 학습을 직접적으로 지원하는 물리적 학습 공간에의 기회가 필요하다는 것도 강조한다.

a need for knowledge about physical/virtual components of the LE will become more pronounced as health professions education institutions implement blended learning (Mehtaet al., 2013; Prober and Khan, 2013). Using blended learning approaches, faculty intentionally plan their teaching to engage trainees online and in-person to optimize the affordances of both modalities. While blended learning moves some of the learning out of the physical space and into the ether, it underscores the need for those opportunities in the physical learning space to directly support small group learning.

또 전문직 간 교육과 실습이 늘어나면서 직장 내에 컨퍼런스와 소회의를 할 수 있는 새로운 공간이 필요할 것으로 보인다. 특히 학생들이 아직 비효율적인 학습의 초기 단계에서는 의대생 실습에도 외래 클리닉 공간이 필요하다.

In addition, as interprofessional education and practice increase, new spaces for conferences and huddles in the workplace will be needed. Ambulatory clinic space is also required for medical student practice, especially in the early stages of learning when they are inefficient.

우리는 특히 확장되고 개선된 물리적 공간과 온라인 강좌(AAMC)를 목표로 하는 기금 모금 캠페인에 쏟는 시간과 에너지, 재정적 자원을 감안할 때 물리적 공간과 가상 공간 요소는 우리의 조직 프레임워크에서 네 가지 요소 중 가장 적은 관심을 받았다는 점에 주목한다. 

We note that the physical and virtual space component received the least attention of the four components in our organizational framework, especially given the amount of time, energy and financial resources devoted to fundraising campaigns targeting expanded and improved physical spaces and online courses (Association of American Medical Colleges, no date).

권고

Recommendations

1. 학습 환경을 정의하고 그것이 다양한 교육 결과에 미치는 영향을 연구하기 위한 보다 포괄적인 프레임워크를 제공하기 위한 이론적 개발이 상당히 필요하다. 더 나은 정의적이고 이론적인 명확성의 필요성은 우리의 검토 과정 초기에 명백해졌다. 이러한 명확성의 결여는 우리의 문헌 검색과 우리의 조사 결과를 종합하는 데 있어서 도전이 되었다. 우리는 LE의 정의적이고 이론적인 명확성을 향상시키는 것이 중재에 대한 이해, 목표할 요소 및 연습 격차를 해소하는 중요한 다음 단계라고 믿는다.

1. There is a significant need for theoretical development to provide a more comprehensive framework for both defining the learning environment and studying its impact on various educational outcomes. The need for better definitional and theoretical clarity became evident early in our review process. This lack of clarity led to challenges in constructing our literature search, as well as in synthesizing our findings. We believe that enhancing the definitional and theoretical clarity of the LE is a critical next step to improve our understanding of interventions, the components to target, and addressing practice gaps.

2. 마찬가지로 학습 환경의 척도로서 학습자의 자기보고인식에 지나게  의존하는 것은 그룹과 제도적 수준에서 다른 관점과 LE의 특성을 더 잘 다루는 평가 방법으로 보완할 필요가 있다. 평가 도구의 리뷰를 이용할 수 있으며 일관된 이론적 프레임워크가 없다는 점에 주목한다(Schönrock-Ademaet al., 2012; Colbert-Getz et al., 2014).

2. Similarly, the over-reliance on learner self-reported perceptions as a measure of the learning environment need to be supplemented by assessment methods that better address other viewpoints and the characteristics of the LE at the group and institutional levels. Reviews of assessment instruments are available and note the lack of consistent theoretical frameworks (Schönrock-Ademaet al., 2012; Colbert-Getz et al., 2014).

3. 연구를 요하는 많은 공백이 있다: 환자의 LE에 대한 영향 탐구, 전문가 간 및 전문가 내 팀이 LE에 어떻게 영향을 미치는지 조사하는 것, 그리고 우리 모델에서 복수의 구성요소를 포함하는 중재안의 설계와 테스트가 향후 조사에 가치가 있을 것이다. 마찬가지로, LE를 개선하기 위한 잠재적 개입은 

• 동료의 공동체를 만들고, 

• 특히 전환과 스트레스 시기에 지원을 보장하며, 

• 근무지에서 의미를 강조하며, 

• 개인의 복원력과 자율성을 지원하는 것을 신중하게 고려해야 한다. 

3. There are a number of gaps that warrant research attention: exploring the patient’s impact on the LE, investigating how interprofessional and intra-professional teams influence the LE as well as the design and testing of interventions that are inclusive of multiple components from our model would be worthy of future investigations. Similarly, potential interventions to improve the LE should carefully consider 

• creating a community of peers, 

• ensuring support especially in times of transition and stress, 

• emphasizing meaning in the work, and 

• supporting personal resilience and autonomy. 

학습 설정으로서의 물리적 공간과 가상 공간도 문헌에서 충분히 표현되지 못하고 있다.

Physical and virtual spaces as settings for learning are also under-represented in the literature.

4. 교육학자 및 실무자는 LE의 [맥락적, 배경적 성격]이 그것을 개별 연구에서 명시적으로 식별될 수도 있고 그렇지 않을 수도 있는 구조로 만든다는 것을 인식해야 한다. 예를 들어, 우리의 검색은 LE의 한 요소로 상주 근무 시간에 대한 두 개의 기사(Lachanceet al., 2014; Schumacher 등, 2014)만 반환했다. 분명히 근무 시간 변화가 교육 결과에 미치는 영향을 조사하는 많은 연구들이 있지만, 이러한 근무시간 변화는 "학습 환경"으로 분류되는 일이 적었고, 결국 검색에서 누락되었다. "학습 환경"에 대한 언급이 누락되지 않도록 보다 광범위하게 검색하도록 주의해야 한다. 

4. Educational scholars and practitioners must recognize that the contextual, background nature of the LE makes it a construct that may or may not be explicitly identified in individual studies. For example, our search returned only two articles (Lachanceet al., 2014; Schumacher et al., 2014)on resident duty hours as an element of the LE. There are, obviously, many more articles that examine the impact of duty hour changes on educational outcomes, but these are seldom labeled as "learning environment" and were thus missed in our search. Care must be taken to search more broadly in a given LE intervention to include articles that do NOT mention "learning environment". 

Limitations

Conclusions

요약

Take Home Messages

학습 환경의 역학 관계를 정의하고 그것이 다양한 교육 결과에 미치는 영향을 연구하기 위한 이론적 개발이 상당히 필요하다.

There is a significant need for theoretical development to defining the dynamics of the learning environment and studying its impact on various educational outcomes.

학습 환경의 척도로서 학습자의 자기보고된 인식에 대한 지나친 의존이 있다. 그룹 및 기관 수준에서 LE의 다른 관점과 특성을 더 잘 다루기 위해 다른 평가 방법이 필요하다.

There is an over-reliance on learner self-reported perceptions as a measure of the learning environment. Other assessment methods are needed to better address other viewpoints and characteristics of the LE at the group and institutional levels.

환자가 LE에 미치는 영향을 탐구하는 것과 같은 영역에 추가적인 연구가 필요하다. 

• 전문 팀간 및 전문 팀 간 영향력이 LE에 미치는 영향을 조사하면서 

• 동료의 커뮤니티를 만들고, 

• 특히 전환과 스트레스가 있을 때 지원을 보장하며, 

• 작품에서 의미를 강조함. 

• 개인의 회복력과 자율성을 지지하는 것 

Additional research attention is needed in such areas as exploring the patient’s impact on the LE, 

• investigating how interprofessional and intra-professional teams influence the LE, 

• creating a community of peers, 

• ensuring support especially in times of transition and stress, 

• emphasizing meaning in the work, and 

• supporting personal resilience and autonomy. 

학습 설정으로서의 물리적 공간과 가상 공간도 문헌에서 충분히 표현되지 못하고 있다.

Physical and virtual spaces as settings for learning are also under-represented in the literature.

LE의 상황별 배경 특성은 이를 개별 연구에서 명시적으로 식별하거나 식별하지 않을 수 있는 구조로 만든다. 예를 들어, 근무 시간 변경이 교육 결과에 미치는 영향을 조사하는 많은 기사들이 있지만, 이러한 기사들은 거의 "학습 환경"으로 분류되지 않고, 따라서 우리의 검색에서 누락되었다. "학습 환경"을 언급하지 않는 기사를 포함하도록 주어진 LE 개입에서 광범위하게 검색하도록 주의해야 한다.

The contextual, background nature of the LE makes it a construct that may or may not be explicitly identified in individual studies. For example, there are many articles that examine the impact of duty hour changes on educational outcomes, but these are seldom labeled as "learning environment" and were thus missed in our search. Care must be taken to search broadly in a given LE intervention to include articles that do NOT mention "learning environment".

미래에 대한 학습 준비: 보건전문직 교육의 잃어버린 역량? (Med Educ, 2016)

Preparation for future learning: a missing competency in health professions education?

Maria Mylopoulos,1 Ryan Brydges,2 Nicole N Woods,3 Julian Manzone4 & Daniel L Schwartz5

도입

INTRODUCTION

현재 자료에 따르면, 의사들은 커리어를 쌓아감에 따라 환자들에 대한 경험을 통해 강력한 사례 지식을 개발한다고 한다.2-4 동시에, 의사들은 그들의 임상 문제 해결에 필요하지만, '새로운, 상충되는 정보'를 습득하지 않을 수 있다. 5,6 즉, 의사들이 모든 형태의 환자 치료로부터 지속적으로 배울 준비가 되어있는것은 아님을 시사한다.

Current data suggest that as their careers progress, doctors do develop a strong body of case knowledge through their experiences with patients.2–4 At the same time, doctors may not incorporate ‘novel, conflicting information’ as much as needed into their clinical problem solving,5,6 suggesting that they are not adequately prepared to learn continuously through all forms of patient care.

지속적인 학습을 위해 의사들을 준비하는 데 있어 중요한 어려움은 현재 임상의사 준비의 평가가 후향적/소급적retrospective 경향이 있다는 것이다.

A major challenge in preparing doctors for continued learning is that current assessments of clinician preparation tend to be retrospective.

예를 들어, Tamblyn et al.8에 의한 대규모 데이터베이스 연구는 trainee가 받은 시험점수가 미래의 임상 성과와 일관된 관계를 갖지 않는다는 것을 보여주었다.

For instance, a large database study by Tamblyn et al.8 showed that how trainees scored on their exam did not have a consistent relationship with their future clinical performance.

유사한 연구에서 Asch 등 9.9는 산부인과 의사 면허 시험 점수는 [레지던트 훈련 기관와 출산 합병증 비율 사이의 견고한 관계]에 영향을 미치지 않는다는 것을 발견했다.

In a similar study, Asch et al.9 found that accounting for obstetricians’ licensure exam scores did not affect the robust relationship between location of residency training and birth complication rates in practice.

이 두 가지 연구에서 가장 낙관적이지 않은 해석은 현재의 의료면허시험이 누가 그 직장에서 잘 배울지를 알아내는 데 도움이 되지 않으며, 최고의 레지던트 프로그램에도 등록한다고 해서 의사들이 미래의 학습에 대해 포괄적으로 준비가 되어 있는 것은 아니라는 것이다.

The least optimistic interpretation of these two studies is that current medical licensure exams do not help us identify who will learn well on the job, and that enrollment in even the best residency programmes does not guarantee that doctors are comprehensively prepared for future learning.

현재의 시험은 직접 가르침을 받는 시기를 벗어났을 때, 미래 학습에 얼마나 준비되었느냐보다, 이전에 배운 지식의 적용을 강조한다.

current exams emphasise application of previously learned knowledge rather than preparation for future learning outside of the confines of direct instruction.

미래의 학습을 위한 준비(PFL)는 '[실제 학습과 문제 해결을 지원하기 위해] 새로운 정보를 배우고, 자원을 효과적으로 활용하고, 새로운 procedure를 고안하는 능력'으로 이해된다.10

Preparation for future learning (PFL) is ‘understood as the ability to learn new information, make effective use of resources, and invent new procedures in order to support learning and problem solving in practice’.10

예를 들어, 임상의사가 진료를 할 때, 특히 새롭고 복잡한 상황에서, 그들은 자신의 지식을 유연하게 사용하여 자신이 속한 환자, 사회, 시스템 맥락 안에서 효과적인 해결책을 개발해야 한다.11

For example, as clinicians work, particularly in situations of novelty and complexity, they are required to use their knowledge flexibly to develop an effective solution within the patient, social and system contexts in which they find themselves.11

반대로, adaptive하지 않은 의사들도 여전히 일상적인 문제를 해결할 수는 있지만, 이들은 불확실성, 새로움, 복잡성의 상황에서는 잘 수행하지 못할 가능성이 있다. 더욱이, 그들은 무심코 일상적이지 않은 문제에 일상적인 해결책을 적용하려고 들 수도 있다.5

By contrast, those who are not adaptive can still solve routine problems, but will likely not perform well in situations of uncertainty, novelty or complexity. Moreover, they may inadvertently apply their routine solutions to non-routine problems.5

이 두 가지 형태의 전문지식은 각각 '적응적 전문성'과 '루틴 전문성'으로 설명되어 왔다.7,10 

• 루틴 전문성은 효율성에 대한 프리미엄이 있는 안정적이고 반복적인 작업에 유용하다. 

• 적응적 전문성은 높은 수준의 변동성과 변화가 있을 때 유용하며, 새로운 아이디어와 결과 달성을 위한 방법을 배우는 것이 중요하다.

These two forms of expertise have been described as ‘adaptive’ and ‘routine’, respectively.7,10 Routine expertise is useful for stable, recurrent tasks where there is a premium on efficient completion. Adaptive expertise is useful where there is a high degree of variability and change, and it is important to learn new ideas and ways of accomplishing outcomes.

적응형 전문가들은 과거의 지식을 이용하여 '새로운 것에서 옛 것'을 볼 수 있다. 그들은 또한 필요에 따라 그들의 관행을 재고하고 진화시킴으로써 '오래된 것에서 새로운 것'를 볼 수 있다.

Adaptive experts are able to see the ‘old in the new’ by using their past knowledge. They can also find the ‘new in the old’12 by reconceptualising and evolving their practice as necessary.

의사들이 의료행위를 하는 과정에서, [배울 가치가 있는 새로운 것이 있다]는 강한 신호를 늘상 받는 것은 아니다. 더구나 어떻게 적응해야 하는지에 대한 단서 자체가 자명하지 않을 수도 있다. 사람들이 새로운 학습의 기회를 인식하고 행동하도록 돕는 한 가지 방법은 적응adaptation을 지원하는 환경을 만드는 것이다. 예를 들어, 의료 훈련생들은 익숙한 상황에서도 새로운 것이 무엇일지를 직간접적으로 알려줄 수 있는 전문의와 함께 로테이션을 완료해야 한다13

doctors may not always receive equally strong signals that there is something new that is worth learning in their practice. Moreover, the cues for how to adapt may not be self-evident. One way to help people recognise and act upon opportunities for new learning is to create environments that support adaptation. Medical trainees may, for example, complete their rotations with an expert doctor who may, directly or indirectly, indicate what is new about an otherwise familiar situation.13

보건 직업 교육에서의 현대의 교육 및 평가 시스템은 '루틴 전문성'을 개발하고 유지하는 데 집중되어 있다.14~16 의사가 실습을 하기 전에 반드시 익혀야 하는 기술들이 많이 있으며, 미리 알 수 있는 그러한 기술들에 대해서는 표준 평가가 적당하다. 그러나 의사들이 새로운 것에 적응할 준비가 되어 있는지 결정하기 위해서는 적응적 전문성을 개발하는 것을 목표로 하는 혁신적인 교육 및 평가 설계가 필요하다.

Contemporary systems of instruction and assessment in health professions education are heavily focused on developing and maintaining routine expertise.14–16 There are many skills that doctors must master before they graduate into practice, and for those skills that can be known in advance, standard assessments are adequate. However, to determine whether doctors are prepared to adapt to what is new, we need innovative instructional and assessment designs aimed at developing adaptive expertise.

그림 1은 그들의 논리에 대한 개략도를 제공한다.

Figure 1 provides a schematic of their logic.

저자들은 두 가지 경우에, STP에 대해서는 성과가 유사했지만, TTP문제에 대해서는 성과에 큰 차이가 있다는 것을 발견했다.

The authors found that the two instructional treatments led to similar performance on the standard transfer problem, but there were large differences in performance on the target transfer problem.

의학에서, 이중 전이 설계는 현재 다양한 형태의 교육이 PFL에 미치는 영향을 자세히 설명하는 데 도움이 되고 있다.

In medicine, double transfer designs are now helping to elaborate the impact of different forms of instruction on PFL.22

임상 지식과 기초 생물의학 지식의 통합은 질병 범주에 대한 더 깊은 이해를 만들어, 초보자들로 하여금 고립된 임상 사실에 의해 지식 기반이 지배되는 동료들을 능가할 수 있게 한다. 그러나 이러한 수행능력상의 이득은 지연된 'transfer out' 평가만을 사용하여 연구되어왔다.

The integration of clinical knowledge and basic biomedical knowledge creates a deeper understanding of disease categories, allowing novices to outperform their peers whose knowledge base is dominated by isolated clinical facts. However, this outperformance has been studied only using delayed ‘transfer out’ assessments

그러나 (transfer out 외에도) 새로운 자료를 얼마나 잘 배워서 최종 평가로 옮기는지에 큰 차이가 있었다. 이중 전송 설계는 모든 평가가 다른 형태의 지시의 영향을 가시적으로 만들 수 없다는 점을 강화한다.

there was a significant difference in how well they learned new material and transferred it out to a final assessment. Double transfer designs reinforce the point that not all assessments can make visible the impact of different forms of instruction.

이중 전이 패러다임은 초기 지침의 효과에 대한 상대적으로 부담스러운 시험이다.

The double transfer paradigm is a relatively onerous test of the effectiveness of initial instruction,

(이중 전이 패러다임은) 많은 학습과 시험이 필요하기 때문에 실현 가능성이 잠재적으로 제한된다.

feasibility becomes a potential limitation, given that so many learning and testing episodes are required

그럼에도 불구하고, 전반적 설계는 많은 의사들이 직면하고 있는 실제 상황을 반영하는데, 의학교육 초반에 어떻게 배우는지가 그들이 [새로운 문제를 다루는 방법]에 영향을 미칠 뿐만 아니라, 자신의 [실천을 지속적으로 개선하기 위해 새로운 문제들로부터 배우는지 여부]에도 영향을 미친다.

Nevertheless, the overall design does reflect the situation facing many doctors, whose initial medical instruction not only influences how they handle new problems, but also whether they learn from those problems to improve subsequent practice.

무엇보다, PFL 지향적 교육방식이 효과적이라면, 학생들이 미래에 더 효과적으로 배울 준비가 되었기 때문에, 추가적인 saving이 있을 것이다.

More importantly, if PFL minded instruction is effective, then there will be additional savings down the line, because students have been prepared to learn more effectively in the future.

평가가능한 구인으로서 PFL: 학습 프로세스 측정

PFL AS AN ASSESSABLE CONSTRUCT: MEASURING LEARNING PROCESSES

미래 학습은 기술과 의지에 따라 좌우된다는 가정 하에, 이러한 평가는 미래의 학습을 지원하는 전략을 사용하려는 연습생들의 의지를 포착하기 위한 것이다.

Premised on the assumption that future learning depends on both skill and will, these assessments seek to capture trainees’ willingness to use strategies that support learning in the future.

연구 결과에 따르면 PFL이 보건 직업 교육에 대한 개입의 의도된 결과인 경우, 연구자들은 보다 전략적으로 PFL 관련 행동을 평가해야 한다. PFL관련 행동에는 다음과 같은 것들이 있다.

findings show that if PFL is the intended outcome of an intervention in health profession education, researchers must assess PFL-related behaviours, such as 

• 더 전략적으로 피드백을 구하고, 

• 환자 치료에 대한 적응형 솔루션을 만들고,

• 동료들에게 그것에 대해 가르치고, 

• 다학제 회진에서 좀 더 적절한 질문을 하는 것

• seeking feedback more strategically, 

• creating an adaptive solution to patient care and 

• teaching colleagues about it, and 

• asking more pertinent questions during multidisciplinary rounds.

PFL 관련 행동들은 건강 전문가 교육에서 체계적으로 연구되지 않았다.

PFL-related behaviours have not been systematically studied in health professions education.

연습생들이 학습하는 동안 학습에 필요한 정보를 얻는 방법, 자신의 선택을 선택을 이해하기 위한 노력(예: 어떻게 피드백을 찾는가? 어떤 종류?)

how trainees take action to gain the information needed to learn or seek to capture trainees’ choices as they learn (e.g. How do they seek feedback? What kind?)

참가자들이 자료를 검토하는데 시간을 쓰는 것. 이것은 자신의 오류를 수정하는 방법에 집중했다는 것 뿐만 아니라 (즉, 자신감과 실제 수행능력을 align하기 위해)자신의 성과를 스스로 모니터링하는 것에 집중했다는 것을 보여준다.

how participants spent time reviewing the material revealed that they concentrated on how to correct errors in their performance as well as in how they self-monitored their performance (i.e. to better align confidence and performance).

접근의 두 가지 주요 패턴: (i) 성적이 높은 학생들은 대개 그들의 우수한 성과의 특성을 설명하는 페이지보다는 동료들과 비교하는 방법을 보여주는 페이지를 보았고, (ii) 시험을 '그냥 통과한' 학생들은 웹사이트를 가장 적게 보았다.

two major patterns of access: (i) high performing students mostly viewed pages showing how they compared with peers, rather than pages explaining the nature of their superior performance, and (ii) students who ‘just passed’ the examination viewed the website least often.

학생들이 피드백을 찾는 방식을 연구한 결과, 학생들은 [현재의 학습 요구를 확인하는 것]보다는, 자신의 수행능력에 대한 긍정적인 확신을 얻기 위해 피드백을 사용했다는 것을 암시하여 우려를 자아낸다.

how students seek feedback revealed somewhat worrisome patterns suggesting students used feedback for positive affirmation (‘I’m better than everyone’ or ‘Woo, I passed!’), rather than for identifying current learning needs.

교육자들이 자연스럽게 물을 수 있는 질문은, 그렇다면 미래의 학습을 준비할 수 있는 교육방식이 무엇이냐는 것이다.

the natural question for educators to ask is how to design instruction that prepares trainees for future learning.

증거들은 점점 더 guided discovery과 direct instructional approach을 결합할 수 있는 가능성을 보여주고 있다.30 guided discovery은 학생들이 실제로 해결책이나 설명을 발견해야 한다는 것을 의미하는 것이 아니라, 오히려 학생이 그 과정에 참여해야 한다는 것을 의미한다. guided discovery 학습 활동은 연습생들로 하여금 그들이 결코 문제로서 경험하지 못한 과제에 대해 잘 알고 있는 해결책을 베끼는 것이 아니라, 자신이 해결해야 할 문제에 대한 그들의 이해를 발전시키도록 자극한다.

evidence is increasingly showing the promise of combining guided discovery and direct instructional approaches.30 Guided discovery does not mean that students must actually discover the solution or explanation, but rather that they need to engage in the attempt. Guided discovery learning activities stimulate trainees to develop their understanding of a problem to be solved, in contrast to copying a told solution for a task they never experienced as a problem.

비록 잘 디자인된 발견의 이점들에도 불구하고, 30 guided discovery는 강사의 direct guidance를 받을 때 더 유익해 보인다. 예를 들어, 군사 훈련에서의 학습은 대부분 디브리핑 동안 일어난다. 연습이 없다면, 디브리핑 내용은 공허할 것이지만, 디브리핑을 하지 않으면, 군인들은 그러한 훈련과 다른 훈련들에 적용되는 더 넓은 원칙을 배우지 못할 것이다. 

Although the benefits of well-designed discovery ,30 it seems that guided discovery is highly beneficial when followed by direct guidance from an instructor. For instance, much of the learning from military exercises occurs during the debriefing. Without the exercises, the debriefing would be hollow, but without the debrief-ing, soldiers would not learn the broader principles that apply to those exercises and others. 

실험 교육 연구는 유사한 결론에 도달했다. 예를 들어, 초등학생들을 대상으로 한 연구는 "발견 후 설명" 집단이 "설명 후 발견" 집단에 비해 뛰어난 개념적 지식을 나타낸다는 것을 보여주었다.

Experimental education research has reached similar conclusions. For example, a study of primary school students showed that a discover-then-tell group displayed superior conceptual knowledge compared with a tell-then-practice group

대부분의 커리큘럼에서, 먼저 강의가 진행된 이후 학생들이 연습하도록 하는 것이 일반적인 접근법임을 감안할 때, 발견-후-설명을 지지하는 증거는 논쟁적이다. 강사와 연습생 모두의 시간을 더 효율적으로 사용하는 것처럼 보이는 초기 직접 교육은 연습생의 초점을 지나치게 협소화시킬 위험을 가져온다. 훈련생들은 해결책이 적용되는 문제의 본질에 대한 주의를 흐리게 하는 설명된 해결책에 주의를 기울인다.

Given that the conventional approach in most curricula is to lecture first and allow trainees to practise second, the increasing evidence supporting the discover-then-tell sequence is controversial. Initial direct instruction, which seems to be a more efficient use of both instructors’ and trainees’ time, brings with it the danger of overly narrowing a trainee’s focus. Trainees pay attention to the told solution, which overshadows their attention to the nature of the problem to which the solution applies.

선교육 후발견 방식에서, 종종 학생들은 자신의 지식을 활성화하고 문제를 이해하고 해결하는 (비록 틀렸더라도) 여러 가지 잠재적 경로를 경험하지 않고 '올바른 대답'에만 관심을 갖는다

Tell-first instruction often emphasises ‘correct answers’ without allowing trainees to activate their own knowledge and to experience multiple potential (albeit incorrect) pathways to comprehending and solving a problem.

전반적으로, PFL 관련 지표에 대한 지침 설계 관련 문헌은 개방형 학습 활동 중 '생산적 실패'를 허용하는 훈련이 학습을 강화시키는 도전적인 조건을 조성한다는 것을 시사한다.32 이러한 형태의 지침은 실제 환자 사례에서 임상의사가 경험하는 조건을 authentic하게 보여줄 강력한 기회를 제공한다. 즉, 의사들은 자신이 문제가 있다는 것을 인식하고 정의해야 하며, 문제를 자신의 지식과 연관시켜야 하며, 늘 그런 것은 아니더라도, 여러 가지 잠재적 해결책을 만드는 과정에서 실패를 경험할 가능성이 높다.

Overall, the literature relating instructional designs to PFL-related metrics suggests that training that permits ‘productive failure’ during open-ended learning activities creates challenging conditions that enhance learning.32 these forms of instruction offer a powerful opportunity that authentically represents the conditions clinicians experience during challenging patient cases in practice: they must recognise and define that they have a problem, they must relate the problem to their own knowledge, and they will likely, though not necessarily, fail as they create multiple potential solutions.

나아가기: 보건전문직 교육의 PFL

MOVING FORWARD: PFL IN HEALTH PROFESSIONS EDUCATION

어떤 교육적 설계가 PFL을 장려하는가? 첫 단계는 적응형 전문지식과 PFL 관련 행동에 대한 경험적 근거의 이해를 개발하는 것이다. 

• 강의실 맥락에서, 연구는 PFL 평가에서 어떤 교육설계가 개선된 결과를 초래하는지, 또한 초기 학습 중에 관찰된 행동과 전략은 PFL 평가 결과와 상관관계가 있는지 탐구할 필요가 있을 것이다. 

• 임상적 맥락에서 연구는 실제 적응형 전문가 활동이 의료 사업장에서 어떻게 전개되는지를 탐구할 필요가 있을 것이다.36–38

To identify which instructional designs encourage PFL, a foundational step will be to develop an empirically grounded understanding of adaptive expertise broadly and PFL-related behaviours specifically. 

• In the classroom context, studies will need to explore which instructional designs result in improved performance on PFL assessments, as well as which behaviours and strategies observed during initial learning correlate with PFL assessment outcomes. 

• In the clinical context, studies will need to explore how real-world adaptive expert activity unfolds in the health care workplace.36–38

사회문화적 관점에서, authentic 학습 기회와 잘 조화된 평가가 강력한 교육 촉매라는 것을 시사하는 증거가 형성되고 있다.40

From a sociocultural perspective, evidence is building to suggest that assessments that map onto authentic learning opportunities are powerful educational catalysts.40

예를 들어, 한 최근의 연구는 의료의 질과 임상 효율을 강조하기 때문에 임상 환경에서 학습하는 시간이 제한될 수 있다는 것을 보여주었다.41

For example, one recent study showed that time for learning in the clinical context may be limited due to the emphasis on quality of health care and clinical efficiency (i.e. ‘getting the patient out’).41

마지막으로, 현대의 대부분의 의료면허시험은 과거의 지식을 입증하는 것에 초점을 두고 있으며, 이러한 스냅샷 방식의, 격리된 평가는 trainee로 하여금 루틴 전문성 개발만을 우선시하는 고정적인 학습 관점을 배양한다. 

Finally, most, if not all, contemporary medical licensure examinations employ a form of snapshot, sequestered assessment, which emphasises demonstrating past knowledge and cultivates a static perspective of learning that can lead trainees to prioritise developing routine expertise alone.

결론

CONCLUSIONS

더 넓은 점은 새로운 평가 시스템에서 바람직한 능력으로서 PFL을 캡슐화하여 모든 전문 지식을 평가할 수 있는 교육자의 능력을 확대하는 것이다.

The broader point is to encapsulate PFL as a desirable capability in new assessment systems, thereby expanding educators’ abilities to assess all facets of expertise.

모든 교육 및 평가 시스템의 궁극적인 목표는 연습생들이 

• 기존에 쓰던 유용한 전략을 복제하여 새로운 것에서 오래된 것을 볼 수 있도록 하고, 

• 새로운 적응 전략을 혁신하고 탐구함으로써 오래된 것에서 새로운 것을 볼 수 있도록 하는 것이다.12

The ultimate goal of any system of instruction and assessment is to enable trainees 

• to see the old in the new by replicating previously useful strategies, and 

• to see the new in the old by innovating and exploring new adaptive strategies.12

PFL이 적응형 전문지식에 중요하긴 하지만, 일부 임상실무 환경에서 학습이 항상 목표는 아니며, 마찬가지로 일부 교육 환경에서는 항상 PFL이 목표가 되는 것은 아니다. 모든 문제가 혁신이 필요한 것은 아니다. 일상적인 문제를 해결하기 위해 지식을 효율적으로 적용하거나 복제하는 임상의는 효과적인 실천의 핵심 측면을 보여주고 있다.43

Although PFL is critical to adaptive expertise, in some clinical practice settings learning is not always the goal and, likewise, in some education settings PFL is not always the goal. Not every problem requires innovation. A clinician who efficiently applies or replicates knowledge to solve routine problems is exhibiting a key aspect of effective practice.43

교육자와 연구자는 자신의 교육 설계가 학습 경험의 원하는 결과와 어떻게 일치하는지 신중하게 고려할 때 이러한 전문 지식의 여러 측면에 주의를 기울여야 한다(예: 보존, 이전 또는 이전할 것인지).

Educators and researchers must attend to these multiple facets of expertise as they carefully consider how their instructional designs align with the desired outcomes of a learning experience (e.g. do we want to cultivate retention, transfer in or transfer out?).

4 Mylopoulos M, Lohfeld L, Norman GR, Dhaliwal G, Eva KW. Renowned physicians’ perceptions of expert diagnostic practice. Acad Med 2012; 87 (10):1413–7.

34 Asch DA, Weinstein DF. Innovation in medical (9):794–5. education. N Engl J Med 2014;

Med Educ. 2016 Jan;50(1):115-23. doi: 10.1111/medu.12893.

Preparation for future learning: a missing competency in health professions education?

원인과 효과: 기초과학의 인지적 통합을 위한 메커니즘과 방법 검증(Acad Med, 2015)

Cause and Effect: Testing a Mechanism and Method for the Cognitive Integration of Basic Science

Kulamakan Kulasegaram, PhD, Julian C. Manzone, MSc, Cheryl Ku, MSc, Aimee Skye, PhD, Veronica Wadey, MD, and Nicole N. Woods, PhD

기초과학을 통합하는 것은 학부 의학의 영원한 고민이다.

Integrating basic science is an enduring concern for undergraduate medical education.

우리는 최근에 학부 의과정에 기초과학의 성공적인 통합의 증거를 위해 8개의 문헌을 검토했다. 통합은 종종 커리큘럼의 모든 수준에서 설명되었지만, 9,10 통합 방법에 대한 가장 설득력 있는 증거는 교육 세션 수준의 연구들에서 발견되었다.

we recently reviewed8 the literature for evidence of successful integration of basic science in undergraduate medical curricula. Although integration was often described at all levels of the curriculum,9,10 the most compelling evidence for how to successfully integrate was found in studies at the level of teaching sessions.

또 통합은 기초과학과 임상과학의 관계를 형성하는 방식으로 기초과학 정보를 제시해야 한다는 의견도 제시했다.

The review also suggested that integration requires presenting basic science information in a manner that creates relationships between basic and clinical science.

우즈17 등은 이런 관계 형성의 이점을 '개념적 공생conceptual coherence'의 창조라고 규정했다. 개념적으로 일관된 임상 및 기초 과학 정보의 정신 표상을 개발하면 학습자가 임상 문제에서 의미를 찾는데 도움이 될 수 있다17;

Woods17 and others have labeled the advantage of this relationship formation as the creation of “conceptual coherence.” Developing a conceptually coherent mental representation of clinical and basic science information can help learners find meaning in clinical problems17;

이 모델은 유망하지만, 개념적 공생과 그에 따른 통합을 어떻게 가장 잘 만들 것인가에 대한 해답이 없는 질문들이 있다.

Although this model is promising, there are unanswered questions as to how best to create conceptual coherence and thus integration.

한 가지 선호하는 옵션은 기초과학 지식과 임상 개념의 가르침 사이의 시간적, 공간적 거리를 줄이는 것 또는 더 나아가 개념적으로 구별된 두 개념을 동시에 제시하는 것이다.

One favored8 option is to decrease the temporal and spatial distance between the teaching of basic science knowledge and clinical concepts or even to present them simultaneously while keeping both areas conceptually distinct.

교육을 동시화synchronize하는 것 또는 정렬하는 것은 의학 교육에서 일반적인 통합 방법21,22이며, 하든의 통합 사다리에서도 다루고 있다.

Synchronizing or aligning teaching is a common method of integration in medical education21,22 and is addressed in Harden’s23 Integration Ladder.

개념적 공생은 통합이 궁극적으로 학습자의 인지 활동이라는 가설을 전제로 한다. 다른 연구에서 입증되었듯이, 이것은 쉽거나 자발적인 과정이 아니라 숙고와 노력이 필요하다. 우리는 인지 통합이 특정 기초과학 메커니즘과 학습자에게 임상적 특징 사이의 관계를 명시적으로 노출시킬 것을 주장한다.

Conceptual coherence is premised on the hypothesis that integration is ultimately a cognitive activity of the learner. As evidenced by other work, this is not an easy or spontaneous process24–27 but is deliberate and effortful. We argue that cognitive integration requires explicitly exposing relationships11–16 between specific basic science mechanisms and clinical features to learners.

예를 들어, 뇌척수증의 진단

For example, the diagnosis of a brainstem stroke

통합을 위해서, 개념적 공생 모델을 따른다면, brainstem의 생리적, 해부학적 기능과의 관계(예: 안구 근육을 제어하는 신경은 뇌계에서 발생하며 기능 상실은 이중 시력으로 이어진다)와 함께 각각의 징후나 증상을 제시할 것을 제안할 것이다.

for integration, the conceptual coherence model would suggest presenting each sign or symptom along with its relationship to the physiology and anatomy functions of the brainstem (e.g., the nerves that control eyeball muscles arise in the brainstem, and loss of their function leads to double vision).

이 방법은 인과관계를 노출하는 통합방법으로서, 학습자에게 holistic presentation을 할 것을 요구한다.15 이러한 인과관계 임베딩이 더 효과적일 수 있지만, 또한 더 노동집약적이고 자원집약적일 수 있다. 교육자료는 종종 이런 식으로 만들어지지 않는다. 8 그리고 모든 개념이 이런 방식으로 정복될 수 있는 것은 아니다.

This method of creating integration—exposing causal relationships—requires a holistic presentation to learners.15 Although this causal embedding may be more efficacious, it may also be more laborious and resource intensive. Instructional materials are often not created this way, 8 and not all concepts can be mastered in this fashion.

방법

Method

집단

Population

First-year에 대학생 의료(nx82), 보조(nx9)간호대 학생들은 토론토 대학과 그랜트 MacEwan 대학에서(n=10)이 연구를 신규 채용되었다.2011년과 2014년까지 실시되었다.

First-year undergraduate medical (n = 82), physician assistant (n = 9), and nursing students (n = 10) at the University of Toronto and Grant MacEwan University were recruited for this study, which was conducted between 2011 and 2014.

참가자는 네 가지 연구 조건 중 하나에 무작위로 할당되었다. 

Participants were randomly allocated to one of four study conditions: 

• (1) 과학 기반 인과적 설명(SC)을 사용하여 특정 임상적 특징과 기초 과학 지식을 연결하는 단락을 제공했다. 

• (2) 먼저 기초과학과 분리한 후 임상적 특징을 나타내며, 기초과학에 이어 임상적 특징(BC)을 기술하는 단락을 제공했다. 

• (3) 임상적 특징으로 분리한 후 기초과학(CB)을 사용한다. 

• (4) 임상적 특징 목록(FL)으로, 관련 역학과 함께 진단을 위한 관련 징후 및 증상의 단락을 제공했다.

• (1) science-based causal explanations, which provided a paragraph linking specific clinical features to basic science knowledge using cause-and-effect-type explanations (SC); 

• (2) separated with basic science first followed by clinical features, which provided a paragraph describing the basic science followed by the clinical features (BC); 

• (3) separated with clinical features followed by basic science (CB); and 

• (4) a clinical feature list (FL), which provided a paragraph of the relevant signs and symptoms for diagnosis along with relevant epidemiology.

In the SC group, the same content was presented as the separated groups but rewritten to explain the causal links between a component of anatomy and physiology and the clinical features. Participants in this condition were exposed to cause-and-effect narratives that highlighted the reason for observing a specific sign or symptom using a basic science mechanism relevant to the disorder.

설명의 모든 유형의 예를 들어, 표 1참조하십시오.

For an example of all types of explanations, see Table 1.

암기 시험

Memory testing

두가지 형태의 시험이 이 연구에 사용되었다. 기억 시험을 8개의 true-or-false 문제, 객관식 문제, 간략한 short-answer 질문 순이다. 질문은 지식의 설명에서 리콜을 측정하기 위해 고안되었다. 이 시험은 학생들에게 정답의 형태로 피드백을 제공했다. 두 가지 버전이 균형 조정을 위해 만들어졌으며, 참가자의 절반이 즉시 또는 지연된 테스트에서 각 버전을 보았다. 기억력 테스트는 전문가 임상의에 의해 만들어졌고 다른 독립적인 임상 전문가에 의해 검증되었다.

Two types of testing were used in this study. A memory test consisting of eight true-or-false and multiple-choice questions followed by brief short-answer questions. The questions were designed to measure recall of knowledge from the explanations. This test provided feedback in the form of the right answer for students. Two versions were created for counterbalancing with half of participants seeing each version at either immediate or delayed testing. The memory test was created by an expert clinician and verified by another independent clinical expert.

진단 시험

Diagnostic testing

진단 테스트는 학생들이 네 가지 가능한 장애 목록으로부터 정확한 진단을 식별해야 하는 12개의 임상 기록으로 구성되었다. 각 vignette는 환자의 인구통계에 대한 설명을 제공했으며, 기초 장애와 관련된 4-5개의 징후와 증상으로 구성되었다. 또한 즉각 테스트와 지연 테스트에서 균형 잡힌 관리를 통해 총 24개의 사례에 대해 두 가지 버전이 생성되었다. 각 테스트에 대한 총 시간과 vignette당 시간 데이터도 수집되었다. 

The diagnostic test consisted of 12 clinical vignettes for which students had to identify the correct diagnosis from a list of four possible disorders. Each vignette provided a description of a patient’s demographics and consisted of four or five signs and symptoms associated with the underlying disorder. Two versions were also created for a total of 24 cases with counterbalanced administration at immediate and delayed testing. Data on total time for each test and time per vignette were also collected. 

이러한 시험사례는 우리의 학습 자료와 마찬가지로 학부 실습생들을 가르친 경험이 있는 전문 임상의사에 의해 만들어졌으며, 또 다른 독립적인 임상 전문가에 의해 추가로 검증되었다. 이 사례들은 유사한 프로토콜과 자극을 사용한 기초과학 통합에 관한 세 가지 이전 연구에서 사용되었다.11–13 이 평가들은 기존 연구에서 의대생의 학습과 진단 추리 과정을 연구하기 위한 목적으로 적절함이 입증되었다. 임상 환경에서의 성과로 전이하는 것은 이러한 자료로 평가되지 않았지만, 우리는 이 자료들이 보건전문직 학생들의 학습 메커니즘을 연구하는 데 적합하다고 생각했다.

These test cases, as with our learning materials, were created by an expert clinician with experience in teaching undergraduate trainees and further validated by another independent clinical expert. The cases were used in three previous studies of basic science integration using a similar protocol and stimulus.11–13 These assessments have previously demonstrated adequate measurement properties for the purposes of studying medical students’ learning and diagnostic reasoning processes. Although transfer to performance in clinical settings has not been assessed with these materials, we deemed them appropriate for studying the mechanisms of learning in health professions students.

절차

Procedures

참가자들은 맞춤 설계된 컴퓨터 프로그램을 사용하여 개별적으로 이 연구를 완료했다. 프로그램 작동 방법과 연구의 흐름에 대한 지침을 받은 후, 참가자들은 테스트로 이동하기 전에 각각의 설명을 주의 깊게 읽도록 요청 받았다. 참가자는 시험 중 시간이 제한되지는 않았지만 학습 단계에서는 30분 이상 허용되지 않았다. 

Participants completed this study individually using a custom-designed computer program. After receiving instructions on how to operate the program and the flow of the study, participants were asked to read each explanation carefully prior to moving on to the tests. Participants were not allowed more than 30 minutes during the learning phase, though they were not time restricted during testing. 

참가자들은 먼저 메모리 테스트를 완료한 후 진단 테스트를 완료했다. 진단 테스트에 대한 피드백이 제공되지 않았다. 1주일 후에, 참가자들은 다시 시험을 보기 위해 돌아왔다. 참가자들은 학습한 장애의 이름을 간략히 상기시켜 주고, 그 후에 진단 테스트의 대체 버전과 대체 메모리 테스트를 실시하였다. 참가자가 기억력 테스트에 의해 준비되지 않았고 진단에 대한 성과가 참가자의 이전 학습에 기초하도록 시험 응시 순서를 변경했다. 설계 및 절차에 대한 요약은 그림 1을 참조하십시오.

Participants first completed the memory test followed by the diagnostic test. No feedback was given for the diagnostic test. After a one-week delay, participants returned for testing again. Participants were briefly given a reminder of the names of the disorders they learned, after which they took the alternate versions of the diagnostic test followed by the alternate memory test. The order of test taking was switched to ensure that participants were not primed by the memory test and so that performance on diagnosis was based on participants’ previous learning. Please see Figure 1 for a summary of the design and procedure.

분석

Analysis

1차 분석은 대상 간 요인(FL, BC, CB, SC)을 그룹(FL, CB, SC)으로 하는 공분산(ANCOVA)의 혼합된 반복측정 분석을 사용하여 진단 테스트(즉시 및 지연)에 대한 성능이었다.

The primary analysis was performance on the diagnostic test using a mixed, repeated-measures analysis of covariance (ANCOVA) with group (FL, BC, CB, SC) as the between-subjects factor and test (immediate and delayed) as the repeated factor.

결과

Results

테스트 시 vignette/case당 학습 시간과 시간에 대한 그룹 간의 차이는 통계적으로 유의하지 않았지만(F[3,94] = 0.54, P < 0.63; F[3,94] = 0.12, P < 2.8) 지연 시 총 스터디 시간과 진단 테스트 성능 사이의 약하지만 유의한 상관관계를 감지했다(r = 0.26, P <01).t 또한 즉각적인 진단(r = 0.27, P < .008) 및 지연 진단 테스트(r = 0.29, P < .005)에 대한 즉각적인 테스트.

Differences between groups for time on learning and time per vignette/case at testing were not statistically significant (F[3,94] = 0.54, P < .63; F[3,94] = 0.12, P < .28); however, we detected weak but significant correlations between total study time and diagnostic test performance at delay (r = 0.26, P < .01), as well as with time per vignette at immediate testing for both immediate diagnostic (r = 0.27, P < .008) and delayed diagnostic testing (r = 0.29, P < .005).

메모리 테스트(F[3,92] = 3.1, P < 04, η 2 = 0.056)의 복수 선택 및 참/거짓 부분에 대한 지연의 통계적으로 유의한 영향을 감지했으며, 1의 참가자는 지연에서 73%로, 68%로 떨어졌다. 4개 그룹(F[3,92] = 0.59, P < .73) 또는 시간 지연과의 상호작용(F[3,92] = 1.12, P < .14)에는 유의미한 차이가 없었다. 메모리 테스트의 성능은 즉각적인 진단 평가(r = -0.11, P < .48) 또는 지연 테스트(r = 0.15, P < .32)에서의 성능과는 상관관계가 없었다.

We detected a statistically significant effect of delay on the multiple-choice and true/false sections of the memory test (F[3,92] = 3.1, P < .04, η 2 = 0.056), with participants at time 1 scoring at 73% with a drop to 68% at delay. There was no significant difference between the four groups (F[3,92] = 0.59, P < .73) or interaction with time delay (F[3,92] = 1.12, P < .14). Performance on the memory test was not correlated with performance on the diagnostic assessment at either immediate (r = −0.11, P < .48) or delayed testing (r = 0.15, P < .32).

즉시 및 지연 진단 테스트의 표준 오류와 함께 그룹별 평균 성능을 그림 2에 요약하였다.

Average performance by group along with standard error on the immediate and delayed diagnostic test is summarized in Figure 2.

Discussion

우리의 결과는 즉각적인 테스트에서는 모든 그룹이 진단 작업에서 유사한 성능을 보였다는 것을 보여주었다. 모든 그룹이 지연에서 성능 저하를 경험했지만 원인 설명 그룹은 가장 작은 하락을 보였다. 대조적으로, 기초 과학 설명이 없었던 그룹, 그리고 기초 과학보다 먼저 임상적 특징을 설명한 그룹들은 지연 시험에서 20% 이상 감소를 경험했다. 임상적 특징보다 기초과학을 먼저 학습한 집단은 감소가 더 적었지만, 여전히 지연시험에서 이 집단보다 인과적 설명을 받은 집단이 더 높은 성과를 보였다.

Our results revealed that at immediate testing, all groups had similar performance on the diagnostic task. Although all groups experienced a drop in performance at delay, the causal explanation group experienced the smallest drop. In contrast, the groups taught without basic science and with clinical features preceding basic science experienced a drop of 20% or more at delayed testing. Although the group with basic science preceding clinical features experienced a smaller drop, this group was still outperformed by the causal explanation group at the delayed test.

이러한 결과는 임상 추론에서 기초 과학의 가치를 연구한 다른 연구자들의 연구 결과와 일치한다.18,19,28

These results are consistent with findings by other researchers who have examined the value of basic sciences in clinical reasoning.18,19,28

이 연구의 결과는 단순히 기초과학을 임상 지식에 근접하게 제시하는 것만으로는 통합적 이익을 보장하지 못할 수 있다는 것을 시사한다. 대신에, 우리의 연구결과는 통합적인 이해를 위해서는 holistic contents를 만들 필요가 있다는 것을 암시한다. 그 결과는 인지 활동으로서의 통합이란, [다른 유형의 지식들 사이의 연결의 생성]이라는 점점 늘어나는 연구결과들과도 일치한다.28,29 이처럼 (기초와 임상의) 연결을 명확히 노출된 형태로 교육 자료를 제시함으로써 학습자들을 통합적 이해를 갖출 수 있게 한다. 

The results from this study suggest that simply presenting basic science in close proximity to clinical knowledge may not guarantee the putative benefits of integration. Instead, our findings suggest that integrated understanding requires the creation of holistic content. The results are consistent with and add to a growing body of literature which argues that integration as a cognitive activity is best understood as the creation of connections between different types of knowledge.28,29 Presenting instructional materials in a form that already exposes these connections likely enables learners to form an integrated understanding.

기초과학 지식을 먼저 교육받은 그룹은 임상적 특징을 먼저 교육 받은 그룹보다 retention시험에서 높은 점수를 받았다. 이러한 차이에 대한 한 가지 설명은 프레젠테이션 순서가 자료의 목적적합성에 대한 평가나 프라이머시 효과를 만든다는 것이다. 임상적 특징을 먼저 제공하는 것은 참가자들이 이 정보를 더 중요하게 여기고 기초 과학 콘텐츠에 대한 관심을 줄이도록 이끌었을 수 있다. 다른 연구자들은 학생들이 임상 내용에 비해 기초과학의 관련성에 대한 평가가 낮을 수 있으며, 이 메커니즘이 작동 중일 수 있다고 지적했다.

the group receiving the basic science knowledge first having higher scores at the retention test compared with the group that received the clinical features first. One explanation for this difference is that the order of presentation creates a primacy effect or an appraisal of relevance of the material. Providing clinical features first may have led participants to consider this information to be more important and to reduce their attention to basic science content. Other researchers have noted that students may have a lower appraisal of the relevance of basic science32 compared with clinical content, and this mechanism may be at play.

우리의 결과는 기초과학 가르침의 가치를 극대화하는 방법으로서 개념적 일관성conceptual coherence 모델과 인과적 설명에 증거를 제공한다.

Our results lend evidence to the conceptual coherence model and causal explanations as ways of maximizing the value of basic science teaching.

기초과학을 맥락에 따라 내장embed하여 가르치는 것은 학습자가 기초과학의 임상적 개념과의 연결 및 그 의미를 볼 수 있도록 한다. 이것은 또한 보다 전문가와 같은 임상 스키마를 만들기 위한 비계를 지원한다.19,20 비록 이것이 직관적으로 보이지만, 이것을 실천으로 변환하는 것이 간단하지 않을 수 있음을 암시한다. 인지 통합을 촉진하려면, 특정 콘텐츠 수준에서 인과 관계를 보여주는 고도로 상세하고 주의 깊은 조작manipulation이 필요할 수 있다.

Teaching basic science in an embedded, contextualized manner allows learners to see connections and meaning in clinical concepts; this also supports scaffolding for building more expert-like clinical schemas.19,20 Although this may be an intuitive concept, our results suggest that translating this into practice may not be straightforward. It may require highly detailed and attentive manipulation to causal relationships at the level of specific content to facilitate cognitive integration.

그러나 통합을 이러한 관점으로 바라보는 기존 커리큘럼은 거의 없다. 그보다, 시간적으로 분리해두었지만 근접하게 배치한 상태를 "통합"이라 묘사할 가능성이 더 높다.8

However, few curricula create integration with this perspective. Instead, a scaled version of our separated but proximate conditions is more likely to be described as integration.8

비록 기초 과학교육과 임상의학교육을 시간적으로 점점 더 가까이 두는 것이 가치 있는 일일 수 있지만, 우리의 결과는 이것이 특정한 개념을 서로 의도적으로 연결하는 것만큼 효과적이지 않을 수 있다는 것을 암시한다. 즉 기초과학과 임상개념 강의를 연속적으로 하는 것, 또는 같은 날이나 같은 주에 하는 것은 통합을 보장하지 않는다. 근접성은 통합의 기회를 만들 수도 있지만, 궁극적으로는 교사들과 학습자들에 의해 능동적이고 목적적인 연계가 이루어져야 하는 것이다.

Although increasing proximity with basic science teaching can be valuable, our results suggest that this might not be as efficacious as purposefully linking discrete and specific concepts together. In other words, putting a basic science and a clinical concepts lecture back-to-back, or on the same day or week, is no guarantee of integration. Proximity may create an opportunity for integration, but ultimately, it seems that active, purposeful linkages must be made by teachers and learners.

우리는 통합의 메커니즘을 명확히 하기 위해 해부학과 생리학을 이 연구의 기본 과학 내용으로 하는 인과적 설명을 사용했다. 그러나 많은 장애들은 복잡한 사회적, 구조적 원인을 포함한다. 게다가 여러 질병들은 기본적인 과학 메커니즘의 관점에서 원인을 잘 이해하지 못했다. 분명히, 인과적 설명이 모든 상태나 임상 활동에 적합하지 않을 수 있다.

We used causal explanations with anatomy and physiology as the basic science content for this study to clarify mechanisms of integration. But many disorders involve complex social and structural causes. Furthermore, several diseases have poorly understood causes from the perspective of basic science mechanisms. Clearly, causal explanations may not be appropriate for every condition or clinical activity.

원인 설명은 통합을 뒷받침하는 많은 가능한 방법들 중 하나일 것이다. 다른 교수 형식과 실습(예: 문제 기반 학습, 사례 기반 학습, 실무 경험)은 개념 일관성 개발을 지원하는 한 통합을 지원하는 데 기능할 수 있다. 일상적인 가르침의 맥락에서, 교사들이 지식 영역 간의 관계를 만들고 통합을 지원할 수 있는 다양한 방법이 있을 것이다. 여러 가지 유사한 전략을 사용하는 기초 과학의 상황 파악은 학습자에게 가장 큰 영향을 미칠 수 있다.

Causal explanations are likely only one of many possible ways to support integration. Other teaching formats and practice (e.g., problem-based learning, case-based learning, practical experiences) may function to support integration, so long as they support the development of conceptual coherence. In the context of everyday teaching, there are likely multiple ways teachers can create relationships between knowledge domains and support integration. Contextualization of basic science using multiple, similar strategies may have the greatest impact on learners.

결론

Conclusions

이 개념적 일관성은 두 도메인이 뚜렷하게 그러나 근접하게 제시되어 있을 때에도 자발적으로 발생하는 것이 아니다. 진단 추론을 이용하려면 학습자가 연결과 관계에 직접 노출되어야 한다.

This conceptual coherence does not occur spontaneously, even when both domains are presented distinctly but in proximity. To benefit diagnostic reasoning, learners must be exposed directly to the connections and relationships.

Cause and Effect: Testing a Mechanism and Method for the Cognitive Integration of BasicScience.

전이를 최적화하기 위한 기초의학교육(Med Teach, 2009)

Teaching basic science to optimize transfer

GEOFF NORMAN

McMaster University, Canada

Flexner 시대 이후, 전 세계의 의학 교육은 2년 이상의 전임상 교육과, 이어지는 비슷한 기간의 임상 훈련 시간으로 구성되었다. 그러한 arrangement는 의료행위를 생물학, 심리학 및 기타 분야의 과학적 기반과 연결시키는 Flexner의 우려를 정당화한다. 그러나 이러한 보편적 접근의 기반은 학습의 본질에 대한 100년도 넘은 오래된 관점이다; 즉, "기초"과목을 먼저 배우고, 그 이후에 그 과목과 관련된 일반적 "mental faculties"를 심어준다는 생각이다.

Since the time of Flexner, medical education worldwide has consisted of 2 or more years of preclinical education followed by an equivalent time of clinical training. Such an arrangement legitimizes Flexner’s concerns about linking the practice of medicine to the scientific underpinnings in biology, psychology, and other disciplines. Yet this universal approach rests on a century old perspective on the nature of learning; the notion that there are ‘‘foundational’’ subjects that can be taught early, and will inculcate general ‘‘mental faculties’’ related to the subject matter.

1950년대까지 이 철학을 인용한 교육자들은, [라틴어가 모든 서양 언어의 근본이고 철학이 과학의 기초]라는 입장을 취하여, 공립학교 학생들에게 라틴어 강좌와 논리학을 강요하였다. 슬프게도, 그러한 관행에 의해 길러진 "general mental facilities"의 개념은 손다이크(1913년)에 의해 틀리다는 것이 증명되었지만, 그 관습은 이후에도 적어도 50년은 더 지속되었다.

Until the 1950s, educators who ascribed to this philosophy took the position that Latin was the underlying foundation of all Western languages, and philosophy was the basis of science, so inflicted courses in Latin and logic on public school students. Sadly, although the notion of ‘‘general mental facilities’’ fostered by such practices was disproved by Thorndike (1913), the practice survived for at least another 50 years.

그러나 교육학에 대한 이와 같은 역사적 관점과 더불어, 심리학은 행동주의에 의해 지배되었는데, 행동주의의 기본 전제는 모든 학습은 (특정)자극에 따른 반응에 해당하며 일반화되지 않는다는 것이다. 이 이론적 틀에서, 모든 반응은 특정한 자극에 조건화되기 때문에, 그 반응이 새로운 상황에 일반화되는 것은 도저히 가능하지 않았다.

However, paralleling this historical view in education, psychology in the last century was dominated by behaviorism, whose fundamental premise is that all learning amount to stimulus – response links, with no generalization. From this theoretical framework, generalization to novel situations was simply not possible, since all responses are conditioned to specific stimuli.

일반화와 전이현상에 대한 보다 온건한 견해가 1960년대부터 시작된 인지심리의 혁명으로 나타났다. 초기에, 인지에 대한 은유로서 심리학에서는 '장기 기억', '작업 기억', '감각 입력 시스템'과 같은 컴퓨터에서의 개념을 사용하였다. 인지적 관점에서, 학습은 장기기억의 변화였으며, 그 이상도, 이하도 아니었다.

A more moderate view of the phenomenon of generalization and transfer has emerged with the revolution in the cognitive psychology beginning in 1960s. Cognitive on metaphor, psychology was initially based a computer with concepts like ‘‘long-term memory’’, ‘‘working memory’’, and ‘‘sensory input systems’’. in the cognitive view, learning amounts to changes in long-term memory – no more and no less,

많은 교육자들에게 기억과 학습에 대한 인지적 관점은 환원주의적이며, 인간 학습의 본질과 풍부함에 대한 광범위한 견해와 양립할 수 없는 것처럼 보일 수 있다. (인지적 관점은) 학습에 있어서의 사회적 요인에 대한 고려나 동기 부여와 같은 정서적 영향을 명확하게 배제하며, 흔히 학습에 영향을 미칠 수 있는 지적 능력이나 공간적 능력 등의 개인별 적성 차이도 examine하지 않는다. 그럼에도 불구하고 인지적 관점은 학습, 사고, 추론의 많은 측면을 설명하는 데 상당한 성공을 거두었다.

To many educators, the cognitive view of memory and learning may seem reductionist and incompatible with broader views of the nature and richness of human learning. It clearly excludes considerations of social factors in learning, or emotional influences such as motivation, nor does it typically examine individual differences in aptitude that may influence learning, such as intelligence or spatial ability. Nevertheless, the cognitive perspective has had considerable success in explaining many aspects of learning, thinking, and reasoning.

인지 심리학에서 반복되는 연구 주제는 "전이transfer"이라는 개념이다. 즉, 한 맥락에서 습득한 지식을 사용하여 다른 맥락에서 새로운 다른 문제를 해결하는 것이다.

One recurring research theme in cognitive psychology is the idea of ‘‘transfer’’ – using knowledge acquired in one context to solve a new dissimilar problem in another context.

전형적으로, 하나의 문제 맥락에서 개념을 배운 학생들은 새로운 문제를 해결하기 위해 개념을 적용하는 데 있어 10-30%의 성공률을 가질 뿐이다.

Typically, students who have learned a concept in one problem context will only have a 10–30% success rate in applying the concept to solve a new problem.

의학 교육자들은 이 문제를 확실히 인식했다. 과학을 배우고, 시험에 합격했지만, 실제 문제를 해결하거나 설명하는 데에는 이 지식을 적용하지 못하는 의대생들의 이야기는 흔한 일이다.

Medical educators have certainly recognized the issue. basic Stories of medical students who have learned the science, passed the examinations, but were then unable to apply this knowledge to solve or explain problems, are commonplace.

지난 50년 동안 가장 중요한 두 가지 혁신은 1950년대의 케이스 웨스턴 리저브 대학의 장기 시스템 접근법과 1960년대 후반 맥매스터가 개척한 문제 기반 학습(PBL)이다. 이러한 두 가지 혁신의 상당한 보급에도 불구하고, 그들이 실제로 기초과학과 임상과학의 통합을 개선하는 데 성공했다는 증거는 거의 없다.

The two most significant innovations of the past 50 years, the organ system approach of Case Western Reserve University in the 1950s and problem-based learning (PBL), pioneered by McMaster in the late 1960s were both directed to integrating basic science and clinical learning. Despite the significant dissemination of these two innovations, there is little evidence that they have actually succeeded in improving the integration of basic and clinical science.

커리큘럼 수준에서의 비교는 (교육과정에 따른) 차이가 작거나 전혀 없음을 보여준다. 맥락을 활용한 학습이 성과에 있어 극적인 이점을 갖지 않는다고 봐도 무방하다.

curriculum-level comparisons show small or no differences; it is safe to say that no dramatic advantages in performance have emerged from learning in context.

흥미롭게도, 몇몇 저자들은 PBL이 실제로 전이을 방해할 수도 있다고 주장했다. Bransford 외 연구진(1999)은 학생들이 하나의 문제 맥락에서 개념을 배울 때, 그 개념은 맥락에 너무 밀접하게 '묶여' 있어서 맥락 없이out of context 학습한 경우보다 전이에 덜 이용될 수 있다고 주장했다. 로스(1987년)는 이것에 대한 증거를 입증했다.

Interestingly, several authors have argued that PBL may actually impede transfer. Bransford et al. (1999) has argued that when students learn a concept in one problem context, the concept is so tightly bound to the context that it may be less available for transfer than if it were learned out of context. Ross (1987) has demonstrated evidence of this,

...학습의 초기단계에서, 사전에 제시된 사례에 의해서만 원리를 이해한다. 이 시기에 원칙과 사례는 함께 묶여 있다. 학습자에게 원칙이나 공식이 주어진다 하더라도, 그들은 현재의 문제에 어떻게 그 원리를 적용할지를 알아내는 데 앞서 본 문제의 세부사항을 사용할 것이다.

개념 학습의 모델

A model of concept learning

단순성을 위해, 우리는 선형 흐름을 가정한다.

For simplicity, we assume a linear flow.

첫째, 학습자가 개념을 습득한다introduced. 이것은 텍스트, 첨부된 사진이 있는 텍스트, 강의, e-러닝 모듈 또는 그 사이에 있는 어떤 것일 수 있다. 그러나 본질적인 요소는 내용-배워야 할 개념이다.

First, the learner is introduced to the concept. This may be as text, or text with accompanying picture, a lecture, an e-learning module, or anything in between. But the essential element is the content – the to-be-learned concept.

둘째, 학습자는 개념이 적용되는 사례를 본다. 즉, 개념이 어떻게 '실제적 세계'에서 발생하는지 말이다. 기호를 포함할 수 있고 추상적일 수 있는 원래의 개념과는 대조적으로, 이 단계에서는 그 개념이 프로토타입적 사례에 의도적으로 내재되어 있다. 이 단계에서 기본 요소는 개념과 상황 정보를 모두 포함하는 예시적 사례다.

Second, the learner may well see an example of the concept – how the concept arises ‘‘in the real world’’. In contrast to the original concept, which may involve symbols and is abstract, in this phase, the concept is deliberately imbedded in a prototypical example. In this stage, the basic element is the illustrative example containing both concept and contextual information.

마지막으로, 학습자는 연습 문제에 참여하도록 권장될 수 있다. 이것들은 모두 방금 학습한 동일한 원리를 적용하는 예시일 수도 있고(blocked), 또는 의도적으로 다른 관련 개념을 설명하여 혼동을 유발할 수 있는 예(mixed)일 수도 있다. 그러나 본질적으로는, 여러 가지 연습 문제를 접하는 것이다.

Finally, the learner may be encouraged to engage in practice problems. These may all be illustrations of the same principle just learned (blocked practice), or may deliberately contain confusable examples illustrating other related concepts (mixed practice). But the essential element is multiple practice problems.

• 원리만 가르친다면 새로운 문제로 전이될 가능성은 약 5%이다(Quilici & Mayer 1996). 

• 원리가 단일 프로토타입의 예와 함께 설명된다면, 전이는 약 25%에 이를 수 있다. 

• 원리가 여러 예와 함께 설명될 경우, 전이율은 47%에 이를 수 있다(Catrambone & Holyoak 1989; Lowensteinet al. 2003). 

 if only the principleis taught, likelihood of transfer to new problems is about 5%(Quilici & Mayer 1996). If the principle is illustrated with asingle prototypical example, transfer may go to about 25%. Ifthe principle is illustrated with multiple examples, transfer canbe as high as 47% (Catrambone & Holyoak 1989; Lowensteinet al. 2003). 

왜 그렇게 어려운가?

Why is it so difficult?

새로운 문제를 해결하기 위해 학습된 개념을 retrieve하는 것은 왜 그렇게 어려운가? 난관은 정신적 표상에 있다.

Why is it so difficult to retrieve a learned concept to solve a new problem? The difficulty lies in the mental representation.

문제를 어렵게 만드는 흔한 이유는 문제가 적어도 표면적으로는 다른 예와 유사하게 보이지 않는다는 것이다. 실제로, 만약 어떤 사람이 그 문제를 본질적으로 해결할 수 있는 정확한 비유를 찾을 수 있다면 문제를 해결할 수 있을 것이다. 그러나 이것은 생각하는 것보다 더 어려워 보인다.

frequently, what makes the problem difficult is that it does not, on the surface, look analogous to other examples. Indeed, if one can find the correct analogy, that essentially solves the problem, but this appears more difficult than one might think.

왜 이렇게 어려운가? 간단히 말해서 유사성을 식별하기 위해서는 깊은 (개념적인) 구조 수준에서 동일성을 파악해야 하기 때문이다. 밝혀진 대로 이것은 학습자가 아니라 전문가의 특징이다. 한 예(Chi et al. 1981) 전문가 물리학자들은 말 그대로 문제를 초보자와 전혀 다르게 "볼" 것이다. 초보자들은 이를 "공을 굴리는" 문제로, 전문가는 "에너지 보존" 문제로 표현할 수 있다.

Why is it so difficult? Simply, because in order to identify the analogy, the similarity must be identified at the level of the deep (conceptual) structure. As it turns out, this is a characteristic of experts, not learners. As one example (Chi et al. 1981) expert physicists will literally ‘‘see’’ a problem differently from novices – novices may describe it as a ‘‘ball rolling down a plane’’ problem; experts as a ‘‘conservation of energy’’ problem.

그리고 문제의 깊은 구조를 보는 것이 왜 그렇게 어려운가? 인지 심리학에서 한 이론은 근본적으로 다른 두 가지 사고방식이 있다고 단언한다. 시스템 1은 물리적 물체의 식별과 관련하여 빠르고 무의식적이며 구체적이며 맥락적이다. 시스템2는 느리고, 심의적이며, 개념적이며, 추상화와 관련이 있다.

And why is it so difficult to see the deep structure of a problem? One theory in cognitive psychology posits that there are two fundamentally different ways of thinking. System 1 is rapid, unconscious, concrete, and contextual, associated with identification of physical objects. System2 is slow, deliberative, and conceptual, and associated with abstractions.

• 초보자들은, (기계학과 같은 추상적인 분야에서 이용할 수 있는) 구체적인 예만 가지고 있어서, 표면적 구조만을 문제로 바라본다. 

• 대조적으로, 전문가들은 추상적인 문제들에 대한 수많은 예들을 가지고 있기 때문에, 이 문제를 보다 정교한 시스템 1 사고를 이용하여 근본적인 원리로 볼 수 있다. 

확실히, 우리는 의학에서 전문가 진단이 시스템 1, 비분석적 추론에 의해 지배되고 있다는 충분한 증거를 가지고 있다(Norman et al. 2007b).

novices, who only have concrete examples available in an abstract field such as mechanics, represent problems by surface structure. Experts, by contrast, have numerous examples of abstract problems to draw on, so can see the problem as an underlying principle, using a more refined System 1 thinking. Certainly, we have ample evidence in medicine that expert diagnosis is dominated by System 1, non-analytic reasoning (Norman et al. 2007b).

메이어(1997)는 멀티미디어 학습에 관한 문헌을 검토했다.

Mayer (1997) reviewed literature on multimedia learning,

일련의 연구에 따르면, 전달방식medium에 따른 차이는 없었다. 컴퓨터 애니메이션은 도면이 있는 종이에 대한 프레젠테이션보다 아무런 이점이 없었고 평균은 컴퓨터 7.5, 책 7.3이었다. 이와는 대조적으로, 텍스트 설명만 제시한 것에 비해서 (텍스트와 일러스트레이션을) 복합적 교육combined instruction의 극적인 효과를 보여주었다. 평균 효과는 내레이션과 애니메이션으로 100% 증가했으며 텍스트와 일러스트레이션 대 텍스트로 67% 증가하였다.

Over a series of studies, there was no demonstrable effect of the medium – a computer animation had no advantage over a presentation on paper with drawings – with a mean of 7.5 for computer and 7.3 for book. By contrast, he showed dramatic effects of combined instruction (text and illustration) against a text explanation alone. Average effect was 100% gain with narration and animation, and 67% gain with text and illustration vs. text.

마지막으로 메이어는 텍스트와 그림을 함께 제공하는 것이 놀라울 정도로 큰 효과를 보여 주었다. 평균 62%의 이득.

Finally, Mayer has shown surprisingly large effects from simply providing text and picture together vs. apart (contiguity); an average gain of 62%.

문제 맥락과 개념의 관계

Relation between problem context and concept.

PBL의 본질은 학습해야 할 개념을 문제 맥락에서 imbedding하는 것이다. 단, 단일 문제의 사용과 관련된 불이익이 수반될 수 있다. 그렇다면 PBL과 같은 조작이 전이를 용이하게 하거나 방해할 수 있다는 증거는 무엇인가?

The essence of PBL is the idea of imbedding the concept to be learned in a problem context. However, there may be accompanying disadvantages, related to the use of a single problem. What then is the evidence that PBL-like manipulations can facilitate or impede transfer?

이러한 조작이 PBL의 효과를 포착하는 범위까지, 우리는 원리를 문제에 imbed하는 것은 잠재적으로 작은 이익이 있다고 결론지을 수 있다. 그러나 메커니즘은 다소 불명확한 상태로 남아 있다.

To the extent that these manipulations capture the effect of PBL, we might conclude that there is a potential small benefit for imbedding principles on problems. However, the mechanism remains somewhat unclear.

사례 교육을 위하여

For teaching examples

예를 들어, 로웬슈타인 등이 있다. (2003)은 두 가지 개입을 대조했다. 학생들이 원칙을 가르치고 전이 과제에 대한 하나의 예(공통 연습) 수행을 했을 때 19%가 되었다. 예를 설명해야 한다면, 실적은 44%이다. 암묵적 원리로 두 가지 예를 제공하면 38%의 전송 정확도가 나왔다. 그러나 분명한 비교와 함께 두 가지 경우 정확도는 61%로 거의 세 배나 높았다.

For example, Lowenstein et al. (2003) contrasted two interventions; When students were 

• taught a principle and given a single example (common practice) performance on a transfer task was 19%. 

• If they had to explain the example, performance was 44%. 

• Providing two examples with an implicit principle yielded a transfer accuracy of 38%. 

• But two cases, with an explicit comparison, yielded an accuracy of 61%, nearly three times as great.

결론은 명백하다. "여러 개"가 고작 "두 개"인 경우에조차, 학생들을 여러 개의 교육 사례에 참여시킴으로써 실질적인 이득을 얻을 수 있다. 학생들이 매우 다르게 보이는 사례들 사이의 깊은 구조적 유사성을 식별하기 위해 적극적으로 비교하고 대조하도록 함으로써 추가적인 이득이 발생한다.

the evidence is quite clear. Substantial gains can be achieved by engaging students in multiple teaching examples, even where multiple is two. Additional gain results from getting students to actively compare and contrast to identify the deep structural similarities between examples that appear very different.

실천을 위하여 

For practice

"챕터 끝 문제"는 두 가지 심각한 결손을 가지고 있다. 

• 첫째, 우리는 그것이 어떤 종류의 문제인지 이미 알고 있다. "t-test" 챕터 끝의 문제는 항상 t-시험 문제다. 

• 둘째로, 그 실천은 지식이 "신선할 때" 이루어지지만, 지식이 썩을 시간이 생긴 후에는 반복되지 않는다.

the ‘‘problems at the end of the chapter’’ has two serious deficits. First, we already know what kind of problem it is. Problems at the end of the ‘‘t-test’’ chapter are always t-test problems. Second, the practice takes place while the knowledge is fresh, but are not repeated after the knowledge has had time to decay.

첫 번째 이슈는 '블록' 대 '혼합' 연습의 개념과 관련된다. 이번 주에 일련의 t-테스트 문제, 그리고 다음 주에 분산 분석 문제를 하는 것은 "블록"연습이다. 그것들을 섞어서 학습자는 그것이 어떤 종류의 문제인지(혼합 연습)를 해결하려고 노력해야 한다.

The first issue is captured in the notion of ‘‘blocked’’ vs. ‘‘mixed’’ practice. Doing a series of t-test problems this week, then some ANOVA problems next week, is ‘‘blocked’’ practice. Mixing them up, so the learner must try to work out what kind of problem it is (mixed practice) can lead to substantial gains in transfer.

문헌에서 흔히 볼 수 있는 다른 연습 조작은 "집중" 대 "분산" 연습이다. 이 연습은 모두 한 세션에서 수행되거나 여러 세션에 걸쳐 배포된다.

The other practice manipulation common in the literature is ‘‘massed’’ vs. ‘‘distributed’’ practice, where the practice is all done in a single session or is distributed over several sessions.

Conclusions

Med Teach. 2009 Sep;31(9):807-11.

Teaching basic science to optimize transfer.

CMBE: 무결점의 담론 (Med Educ, 2018)

Competency-based medical education: the discourse of infallibility

Victoria A Boyd,1 Cynthia R Whitehead,2,3,4 Patricia Thille,2 Shiphra Ginsburg,1,2,5 Ryan Brydges1,2,6 & Ayelet Kuper1,2,7

도입

INTRODUCTION

2000년대 초 북아메리카에 역량 기반 의료 교육(CBME)의 도입은 학자들이 교육과 평가 이론과 실천을 개념화하는 방식에 변화를 일으켰다.

The introduction of competency-based medical education (CBME) in North America in the early 2000s initiated a shift in how scholars conceptualise education and assessment theory and practice.

CBME에 대한 이러한 이해는 1940년대 후반으로 거슬러가 실증주의와 행동주의에 뿌리를 둔 오래된 교육 이론의 흐름에서 비롯된다.4 역량 운동은 세계 의학 교육 연맹WFME이 제안한 에든버러 선언에 의해 더욱 추진되었다.

This understanding of CBME stems from an older stream of educational theory, rooted in positivismand behaviourism, beginning in the late 1940s.4 The competency movement was further propelled by the Edinburgh Declaration put forward by the World Federation for Medical Education.

그러나 의료 교육 내에서 역량 기반 접근의 역사는 간단하지도 않고 명확straightforward하지도 않았다. 많은 학자들은 성과에 초점 둠으로써 더 나은 의사를 생산하고 진화하는 의료 환경에서 직면하고 있는 도전을 완화시킬 것이라고 믿는다. CBME의 개념적 근거가 직관적으로 타당할 수는 있지만, 역량 기반 접근법을 뒷받침하는 경험적 근거는 부족하며, 이를 촉진하기 위해 사용된 '혁명적 수사'에 대한 우려가 제기되었다. 또한, 일부 연구자들은 이 모델의 이론적 기반과 의학교육에 있어서 CBME의 실용적 적용 가능성에 의문을 제기한다.

Yet the history of the competency-based approach within medical education has been neither simple nor straightforward. Many scholars believe a focus on outcomes promises to produce better doctors and mitigate challenges faced in the evolving health care landscape.6–9 Although its conceptual basis may make intuitive sense, concerns have been raised about the paucity of empirical evidence4,10,11 supporting the competency-based approach and the ‘revolutionary rhetoric’ used to promote it.12 Further, some researchers question the theoretical underpinnings of the model,13–16 as well as the feasibility of its practical application in medicine.11,17

의료 교육에서 역량 프레임워크의 국제적 이해를 고려할 때, 한 걸음 물러서서 이러한 변화를 이끄는 가정을 검토하는 것이 중요하다.

Given the international uptake of competency frameworks in medical education, it is crucial to step back and examine the assumptions driving this change.

우리는 CBME를 [정치적 및 역사적 맥락에 내재된 사회적 구성]으로 바라볼 것이다.12,18 이러한 관점에서 CBME(또는 교육학적 접근법)는 의대생들을 독립적 의료인으로서 어떻게 준비시킬 것인가에 대한 일련의 가정이나 예비preliminary 신념에 기초한다. 그러나 CBME의 토대가 되는 가정은 일반적으로 명확하게 설명되지 않으며, 그냥 당연한 것으로 간주된다.

We approach CBME as a social construction embedded in its political and historical context.12,18 From this perspective, CBME (or any pedagogical approach) is built on a series of assumptions or set of preliminary beliefs about how to prepare medical students for their future practice as doctors. Such assumptions are generally unarticulated and taken for granted;

담론은 담론의 사회적 맥락을 반영할 뿐만 아니라, 그 자체가 현상의 사회적 구축에 기여한다.19 따라서 우리는 CBME에 초점을 맞춘 학술문헌에 대한 비판적 담론 분석을 실시했다.

Discourse both reflects its social contexts and contributes to the social construction of phenomena.19 Therefore, we undertook a critical discourse analysis of the academic literature focused on CBME.

방법

METHODS

우리는 CBME 문헌의 Foucoldian 비판적 담론 분석20(CDA)을 수행하여 그 구조를 뒷받침하는 지배적인 담론을 묘사했다. 비판적 담론 분석은 텍스트의 집합에서 가정과 전제를 탐구하기 위한 렌즈로서 많은 분야에서 사용되는 사회과학 방법론이다.21,22 다양한 형태의 비판적 담론 분석이 존재하지만, 푸코적 관점은 담론, 사회 관행, 지식 및 권력 상대 사이의 관계를 식별하는 것을 추구한다. Michel Foucault는 사회적 관행과 그 관행이 지식 및 권력에 연결된 방식이 담론의 생산과 사용을 제약한다고 이론화했다.19 담론이라는 용어는 확고부동한 사고, 발화, 행동의 방식을 보여준다.

We conducted a Foucauldian critical discourse analysis20 (CDA) of the CBME literature to delineate the dominant discourses underpinning the construct. Critical discourse analysis is a social science methodology used in many disciplines as a lens to explore the assumptions and presuppositions in a group of texts.21,22 Although various forms of critical discourse analysis exist, a Foucauldian perspective seeks to identify relationships between discourse, social practices, knowledge and power relations. Michel Foucault theorised that social practices and their links to knowledge and power constrain the production and use of discourse.19 The term discourse refers to entrenched ways of thinking, speaking and acting.23,24 

담론이란 문자와 구어를 통한 논의의 표시이다. 25,26 그것은 특정한 형태의 텍스트를 가능하게 하고, 다른 어떤 것들은 불가능하게 한다.19 진술된 진실은 '깊고 더 복잡한 담화 시스템의 표면적 표현'이다.12 Truth statements는 주어진 맥락에서 [어떤 것이 진실 또는 거짓으로 인식될지], 그리고 어떤 것이 [승인되거나 비승인될지authorised and unauthorised]에 대한 정당한 가정으로 인식된다.12 그러한 진술은 무언가에 대해 생각하고, 말하고, 실행하는 것인 가능하거나 불가능하게 만드는 구분을 확립한다.27 푸코적 CDA는 우리에게 무엇이 진실이라고 인식되는지 뿐만 아니라, 어떻게 그것이 '진실'으로 받아들여지는지를 질문할 수 있는 도구를 쥐어준다.

Discourse manifests through written and spoken text;25,26 it renders certain forms of text possible, and others less possible.19 Statements of truth are ‘the surface manifestation of deeper and more complex systems of discourse.’12 Truth statements are recognised as legitimised assumptions regarding what is perceived as true or untrue and authorised or unauthorised in a given context.12 Such statements establish dividing practices that make it possible to think, say and do certain things but not others.27 Foucauldian CDA equips us with the tools to interrogate not only what is perceived as true, but how it becomes accepted as ‘truth’.28

푸코는 저항resistance이라는 용어를 [지배적인 의지에 반대하는 대체적인 추론]을 언급하는 용도로 사용한다.29 저항 담론은 사회적 변화를 enact하기 위한 목적으로 고착된 사고와 글쓰기 방식을 훼손undermine하는 수단이 될 수 있다. 저항 담론에 대한 연구는 종종 지배 담론의 근본적인 체계를 푸는 열쇠가 된다. Foucauldian 접근법을 사용하면 CBME 문헌을 뒷받침하는 지배적 성향과 저항적 성향 사이의 경계를 발굴하고 조사하기 위해 승인된 진실 진술이 가지고 있는 문제를 찾아낼 수 있다.

Foucault uses the term resistance to refer to alternative lines of reasoning that oppose dominant discourses.29 A resistance discourse can be a vehicle for undermining entrenched ways of thinking and writing in order to enact social change. The study of a resistance discourse is often the key to unlocking the fundamental mechanics of a dominant discourse. Our use of a Foucauldian approach20,25,26 allows us to problematise authorised truth statements in order to unearth and examine the boundaries between dominant and resistance discourses underpinning the CBME literature.

푸코의 관점에서 보면, 개인과 조직의 인가된authorised 혹은 저항resistance 담론의 사용이 반드시 의도적인 것은 아니다. 오히려 그러한 욕구는 특정 시기의, 특정 사회적 맥락에서 비롯된다. 담론의 이해(및 생산)는 그 사회적, 정치적, 역사적 형태에서 분리될 수 없다.310,31 따라서 CBME 문학 내에서 의욕의 구성과 사용을 추적할 때, 독자는 특정한 사고 방식이나 글쓰기 방법이 반드시 의식적이거나 고의적인 것은 아니라는 것을 기억해야 한다. 오히려 그러한 관행은 주어진 시간과 장소에서 지배적인 담론의 범위 내에서 허용되기 때문에 발생한다.

From a Foucauldian perspective, individuals’ and organisations’ use of authorised or resistance discourses is not necessarily intentional. Rather, such discourses derive from a certain social context at a particular time. The uptake (and production) of a discourse cannot be disentangled from its social, political and historical formations.30,31 Therefore, as we trace the construction and use of discourses within the CBME literature, the reader must remember that particular ways of thinking or writing are not necessarily conscious or deliberate. Rather, such practices occur because they are allowed within the bounds of a dominant discourse, in a given time and place.

검색 전략 및 포함 기준

Search strategy and inclusion criteria

CDA가 텍스트 집합을 통해 욕구조성을 입증할 수 있는 넓은 렌즈를 필요로 한다는 점을 감안하여, 질적, 정량적, 혼합적 방법 경험적 연구, 위치 조각, 논평, 논평, 사설 및 합의 컨퍼런스의 보고를 포함한 모든 유형의 출처를 고려하였다.

Given that CDA requires a broad lens to demonstrate the construction of discourses through a collection of texts, we considered all types of sources, including qualitative, quantitative and mixed methods empirical studies, position pieces, commentaries, reviews, editorials, and reports of consensus conferences.

푸코의 비판적 담론분석

Foucauldian critical discourse analysis

몇 가지 광범위한 연구 질문이 우리의 분석을 이끌었다. 

(i) CBME 문헌의 기초가 되는 지배적인 성향은 무엇인가? 

(ii) 담론을 어떻게 사용하는가? 

(iii) 이러한 의욕을 뒷받침하는 가정은 무엇인가?

Several broad research questions guided our analysis: 

(i) What are the dominant discourses underlying the CBME literature? 

(ii) How are the discourses used? 

(iii) What assumptions underpin these discourses?

Foucoldian 원칙과 일치하는 분석은 본문의 반복적인 정밀 판독과 형성 그룹 논의에 의해 진전된 협업 과정이었다. 한 연구팀 구성원(VB)은 각 기사의 전문을 읽고 반복적인 진술과 개념을 코드화했다. 코딩 프레임워크는 해석적이고 데이터 중심적인 접근방식을 사용하여 설정되었다. 여기서 관련 개념은 이산형 패턴으로 분류되었다. 코딩 프레임워크는 보관소의 지속적인 탐색과 정기적인 팀 회의로 추진되는 진화하는 실체였다. 각 텍스트가 코드화되면, 우리는 어떻게, 그리고 어떤 목적으로, 다른 유형의 학구적 기사에 불분명한 추세가 사용되는지를 조사했다. 

Consistent with Foucauldian principles,20,25,26 the analysis was a collaborative process advanced by iterative close readings of the texts and formative group discussions. One research team member (VB) read the full text of each article and coded recurring statements and concepts. A coding framework was established using an interpretive, data-driven approach, wherein related concepts were grouped as discursive patterns. The coding framework was an evolving entity propelled by continued exploration of the archive and regular team meetings. Once each text was coded, we examined how, and for what purposes, discursive trends were used in different types of scholarly articles. 

그런 다음 우리는 이러한 discursive한 관행을 정당화하는 데 사용되는 합리성을 탐구하기 위해 이러한 주장들의 반복적인 변화와 변화를 추적했다. 우리는 또한 반복되는 논쟁이 서로를 지지하거나 반박하거나 반대함으로써 문학에서 대화를 만들어 내는 방법을 고려했다. 그렇게 함으로써, 우리는 이러한 관행이 당연하게 여겨지는take-for-granted 담론과 진실 진술truth statements에서 어떻게 발생arise하는지를 문제 삼았다. 마지막으로, 우리는 이러한 의학적 교육 연구와 실천의 미래에 대한 의욕의 영향을 고려했다. 분석은 Nvivo 정성 분석 소프트웨어(QSR International, Doncaster, Victoria, Australia)를 사용하여 구성되었다.

We then traced recurring arguments and shifts in these arguments25,34 to explore the rationales used to legitimise these discursive practices. We also considered the ways in which recurrent arguments created a dialogue in the literature by supporting, contradicting or opposing each other. In doing so, we problematised how these practices arise from taken-for-granted discourses and truth statements. Finally, we considered the implications of these discourses for the future of medical education research and practice. The analysis was organised using Nvivo qualitative analysis software (QSR International, Doncaster, Victoria, Australia).

FINDINGS 

역량은 주로 관찰 가능하고 측정 가능한 능력으로 이해되며, 실천을 통해 능동적으로 통합될 때 의사의 역량이 된다.3 그럼에도 불구하고 모든 저자가 역량 프레임워크의 기초가 되는 개념적 전제를 수용하는 것은 아니며, 의학교육에서의 구현에서도 역량의 개념이 온전히 수용되는 것도 아니다.

Competencies are predominantly understood as observable and measurable abilities that, when actively integrated in practice, constitute physician competence.3 Nevertheless, not all authors accept the conceptual premise underlying competency frameworks, nor their implementation in medical education.

CBME 문헌을 뒷받침하는 불온한 '대화'

A discursive ‘dialogue’ underpinning the CBME literature

CBME의 분석가들은 접근법의 개념적 특성에 의문을 제기하는 많은 비판을 제시한다. 종합적으로, 이러한 비평은 역량 프레임워크의 이론적 기반에 도전하는 저항 담론을 확립한다. 표 1.

Detractors of CBME present a number of critiques questioning the conceptual nature of the approach. Collectively, these critiques establish a resistance discourse that challenges the theoretical underpinnings of competency frameworks. Table 1

CBME의 지지자는 종종 두 가지 반복된 주장을 통해 이러한 주장에 대응한다. 

(i) CBME는 구현하기 어렵고, 

(ii) CBME에 대한 오해가 구현의 장애물이다.

Proponents often counter these arguments by drawing on two repeated assertions: 

(i) CBME is difficult to implement and 

(ii) misunderstanding CBME is a barrier to implementation.

이 진술들은 실제로 CBME 이론을 성공적으로 운용하는 것이 어렵다는 점을 강조한다.; 그것들은 문제가 발생할 경우 관련된 CBME 자체가 아니라 "사람"이 문제의 근원이라는 가정에 기초한다.

The statements emphasise the challenges of successfully operationalising the theory of CBME in practice; they are built on the assumption that if issues arise, those involved are the source of the problem, not CBME itself.

우리가 앞으로 보여주는 것처럼, 이러한 레토릭은 CBME 개념에 대한 비판을 [불완전한 구현]이나 [오해로 인한 문제]로 축소시켜버림으로써, 결과적으로 CBME의 토대에 대한 관심을 다른 곳으로 돌려버린다.

As we will demonstrate , this rhetoric reduces conceptual critiques to matters of poor implementation or misunderstanding, and, consequently, deflects attention away from the basis of CBME.

문헌을 통해 '대화' 추적하기: 네 가지 예

Tracing the ‘dialogue’ through the literature: four examples

첫 번째 대표적 논문에서는 CBME의 개념적 토대에 대해 지적하고 있다. ['역량에 대한 부적절한 인식에 기초한 전문직 교육']이 이뤄지고 있으며, 그 결과 다른 형태의 학습 담론에서 통찰력을 얻을 수 없게 만든다고 지적한다. 이 논문에서는 CBME 관행이 '전문적 실무관행에 필요한 심화된, 성찰적 참여를 부정하는 심각한 위험을 초래한다'고 경고하고 있다.

The first representative article13 challenges the conceptual underpinnings of CBME by rejecting the practice of ‘professional education based upon an inappropriate epistemology of competency’, in which other forms of learning discourse are unable to bring their insights. The text cautions that this practice ‘runs the serious risk of negating a deep and reflective engagement with a professional practicum’.

또한, 이 논문은 CBME를 지지하는 행동주의 가정들에 의문을 제기하며, '전문가에게 필요한, 전체적이고, 잘 발달된 실천을 위해 필요한 성찰, 직관, 경험, 그리고 고차원의 역량을 제한한다'고 지적한다. 평가와 관련하여, 이 논문은 CBME는 '더 쉽게 측정될 수 있는 것과 관련된 질문'만을 던진다고 경고한다. 그것은 객관적 척도만으로는 [고차원의 역량]과 같은 우리가 관심 있는 모든 능력을 포착할 수 없다는 것을 지적하며 주장을 더욱 확장한다.

Further, the article questions the behaviourist assumptions supporting CBME, suggesting they ‘limit reflection, intuition, experience, and higher order competency necessary for expert, holistic, or well-developed practice’. Withregards to assessment, the article warns of only asking ‘questions related to those things that may be more easily measured’. It extends this argument to suggest objective measurements cannot capture all the abilities we are interested in, such as higher- level competence. 

이 논문을 직접 언급하며, 두 번째 논문에서는 CBME 토론에 대해 '이 두 그룹이 근본적으로 반대 입장에 있는가, 아니면 역량을 정의하는 데 있어서 다른 언어를 구사하기 때문에 오해가 있는가?'라고 질문하며, '역량이라는 용어에 대한 혼란을 좀 더 자세히 살펴봐야 할 때'라고 말한다. 이 논문에 따르면, 앞선 논문에서의 주장은 역량의 언어에 대한 혼돈으로 인한 오해라고 축소시킨다. 즉, 앞의 논문에서 비판한 construct는 진정한 CBME가 아니라 저자가 잘못 해석된 모조품이라고 말한다. 이 주장은 CBME의 개념적 전제에서 벗어나 비판적 주의를 분산시키는 산만한discursive 전략으로서 기능한다.

In directly referencing this article, a second text35 questions the ongoing CBME debate by asking, ‘do these two groups of authors fundamentally disagree, or is there misunderstanding because they speak a different language when it comes to defining competency? It seems time to take a closer look at the confusion about competence terminology’. This excerpt reduces the arguments of the former article to a matter of misunderstanding caused by confusion over the language of competence. It suggests the construct being critiqued is not truly CBME, but a misinterpreted imitation. This assertion functions as a discursive strategy deflecting critical attention away from the conceptual premise of CBME.

아카이브의 세 번째 논문 14는 행동주의 기반에 초점을 두고 있는 CBME의 핵심 가정에 의문을 제기한다. 의학 교육으로 옮겨진 행동주의 이론은 전체론적 전문지식을 '일련의 분할된 과제'로 축소함으로써, 이러한 과제를 '전체'로서 만드는데 필요한 [연계]를 무시하는 경향이 있다고 지적한다. 이 논문에서는 '전문직 교육을 평가하는데 역량의 개념은 '의사에 관한 가장 중요한 사항들을 다루는데 실패하기 때문에 무용지물'이라고 설명하고 있다. 이이러한 추론에 따르면, '누군가의 능력을 판단할 수 있는 객관적 기준은 없다.[...] 모든 경우, 면밀하게 따져보면, 뛰어난 판단에는 주관적 요소가 항상 존재한다'고 말하면서 객관적 평가를 거부한다. 이 논문은 의학은 도덕적 추구이며 객관적이고 행동 중심적인 역량 모델은 이러한 견해를 내포할 수 없다고 제안함으로써 결론짓는다.

A third paper14 from the archive questions the core assumptions of CBME by targeting its behaviourist underpinnings. Behaviourist theories, transposed into medical education, tend to reduce holistic expertise to a ‘series of discrete tasks’ and ignore the connections that make these tasks ‘a purposeful whole’. The text explains that the ‘concept of competency is useless for assessing the education of the professional’ because it ‘fails to address the most important things about a physician’. This line of reasoning rejects objective assessments, stating ‘there are no objective criteria by which we may determine someone’s competency. [...] In all cases, when closely examined, the subjective element of the competent judge is always present’. The paper concludes by suggesting that medicine is a moral pursuit and the objective, action-focused competency model cannot embody this view.

이 논문에 대한 답에서는 이전의 텍스트와 답변을 인용하며, '독립적 의료행위에 대비한 훈련의 결과를 평가하기보다는, CBME를 그저 역량에 기초한 훈련을 체크리스크에 체크하는 것으로 경험한 사람들의 주장과 같다'라고 반박한다. 이 논문에서는 [체크박스 관행]을 [CBME]와 구분함으로써, 앞선 비판을 부실한 시행의 문제로 재구성recast한다. 이러한 레토릭에 따르면, 이러한 버전의 CBME는 CBME의 '진정한' 접근법을 반영하지 않는다고 본다. 행동주의자들의 비판을 실제 역량 프레임워크 [운영의 문제]로 간주할 때, 이 모호함 전략discursive strategy은 CBME에 대한 비판을 효과적으로 완충한다.

A responding paper36 quotes the previous text and replies by stating, the argument ‘resonates with others who experience the practice of competence- based training as checking boxes on checklists rather than assessing the outcome of training in preparation for practice’. By distinguishing the practice of checking boxes from CBME, this quotation recasts the critiques of the former paper as an issue of poor implementation. This rhetoric suggests this version of CBME is not reflective of the ‘true’ approach. In subsuming behaviourist critiques as a problem of operationalising competency frameworks in practice, this discursive strategy effectively buffers the approach from critical appraisal.

CBME를 비판한 또 다른 텍스트는 '역량 기반 접근법은 잠재적으로 개별화된 유연한 훈련, 투명한 표준 및 공공 책임 증대로 이어질 수 있다'라고 말하며, CBME에 대한 유용성과 함정pitfalls을 요약한다. 또한 CBME가 부적절하게 시행될 경우, 그것은 또한 동기 저하, 최소한의 기준에 초점, 행정 부담 증가, 교육 내용 감소로 이어질 수 있다고 지적한다.' 이 논문에 따르면, '강력하게 정의된 상위 수준의 역량이 available하지 않는 한, 역량 기반 접근법을 보편적으로 적용하는 데 신중해야 한다'고 제안하며 결론짓는다.

Another text summarises the perceived benefits and pitfalls by stating, ‘the competency-based approach potentially leads to individualised flexible training, transparent standards, and increased public accountability. If applied inappropriately, it can also result in demotivation, focus on minimal acceptable standards, increased administrative burden, and a reduction in the educational content.’ The review concludes by suggesting, ‘we should be cautious of applying the competency-based approach universally unless robustly defined higher order competencies are available’.

이 논문에 대한 답신에서는 '역량 기반 접근법[...]에 대한 논의는 용어의 의미에 대한 합의 부족 때문임'을 강조하며 대응한다. 이 논평은 CBME의 이론을 다루고자 시도한 대화theoretical dialogue를 '역량 기반 교육의 의미에 대한 쓸모없는 논쟁'으로 축소시킨다. "정의의 다양성이 CBME의 구현을 어렵게 한다"라는 주장을 사용함으로써, 이 논문에서는 CBME와 '역량에 대한 환원주의적 접근법'을 서로 다른 두 가지 별개의 것으로 포지셔닝한다. 이러한 모호함 전략은 앞서 제기된 비판을 그저 [CBME에 대해서 잘 못 해석한 버전]이라고 평가절하하고 있으며, 비판의 대상이 된 construct는 틀리게 해석한 버전이라고 주장하며, CBME를 환원주의에 대한 비판으로부터 떨어뜨려 놓는다.

A corresponding commentary37 directly responds to this review by noting the ‘controversy over the competency-based approach [...] centres on a lack of consensus over what the term means’. The commentary reduces the theoretical dialogue to ‘a fruitless debate about the meaning of competency- based education [which] is likely to detract from the real challenges in the next decade’. In using the assertion that a multiplicity of definitions prohibits implementation, these quotations position CBME and ‘the reductionist approach to competence’ as two distinct constructs. This discursive strategy reduces the concerns expressed within the review to a matter of misunderstanding and distances CBME from the reductionist critique by claiming the construct in question is a wrongly interpreted version.

마지막 예로 보여줄 한 체계적인 검토에서는 CBME에 대해 '지금까지의 문헌이 6개의 ACGME의 일반 역량을 독립적인 구조로서 평가할 수 있는 어떠한 방법도 산출하지 않았다는 것을 지적한다. 오히려 대부분의 역량 기반 평가는 ACGME 프레임워크에 명확하게 매핑되지 않는 단일 구성 또는 다중 구성을 측정할 가능성이 있다. 이 연구는 '6개의 핵심 역량이 서로 독립적으로 측정될 수 없는 경우, 이를 독립적 역량의 기준으로 규정하는 데 실질적인 효용이 거의 없다'고 명시함으로써 결론짓는다.

The final example is drawn from a systematic review16. The systematic review finds that the ‘literature to date has not yielded any method that can assess the six ACGME general competencies as independent constructs’. Rather, most competency-based assessments likely measure either a single construct or multiple constructs that do not clearly map onto the ACGME framework. The study concludes by stating, if the ‘six core competencies cannot be measured independently of one another, there [is] little practical utility in specifying them as independent criteria of competence’.

이 지적에 대응하는 논문에서는, 앞선 논문에서 '임상 역량을 해부anatomize하는 것'의 위험에 대한 비판은 인정하지만, '현재 이용할 수 있는 도구가 전공의를 평가하기 부적절하다라는 허무주의적 잡음'에 대응하는 데 초점을 맞추고 있다. 이 저자들은 '역량을 평가하는 데 있어 가장 큰 문제는 적절한 평가 도구가 부족한 것이 아니라, 비숙련 교수들이 이용할 수 있는 평가 도구들의 일관성 없는 사용과 해석이다. 그러나 우리는 교수들을 경멸하려는 것도 아니며, 교수들의 헌신과 노력을 인정하지 않으려는 것도 아니다'라고 말한다. 이 반박에서는 근거에 기반한 비평이 [구현과 해석]이라는 레토릭으로 뭉뚱그려져버린다. 이로서 CBME의 본질이 비판으로부터 보호받을 수 있는데, 왜냐하면 문제의 근원은 CBME 자체가 아니라 교직원이기 때문이다.

In a responding article38 , the text acknowledges critiques regarding the risks of ‘anatomizing clinical competence’, but focuses on responding to ‘the nihilistic din that the instruments currently available are inadequate for evaluating residents’. The text reads, ‘the biggest problem in evaluating competencies is, in our opinion, not the lack of adequate assessment instruments but, rather, the inconsistent use and interpretation of those available by unskilled faculty. We do not make this claim pejoratively. Nor do we fail to recognise the commitment and effort of faculty’. In this quotation, the evidence-based critique of the previous study is subsumed by the rhetoric of implementation and interpretation. The core nature of CBME is shielded from critical appraisal because faculty members are positioned as the source of the problem, rather than CBME itself.

CBME의 분산 전략을 지원하는 증거 검토

Examining the evidence supporting the discursive strategy for CBME

우리는 이러한 주장들이 주로 비-경험적 단편들과 논평으로부터 제기되었다는 것을 확인할 수 있었다. CBME를 지지하는 진술들은 일관되게 경험적인 증거에 의해 지지받지 못했다. CBME의 정의의 다원성에 대한 증거로 특별히 인용된 몇 가지 경우를 제외하고는, 대부분의 논문은 unreferenced였거나, 반대 입장이나 논평자를 인용하는 방식으로 지지되지 않았다 그림 1은 이러한 참고문헌 패턴의 지도를 보여준다.

We found these assertions were predominantly raised in non-empirical position pieces and commentaries. The statements were consistently unsupported by empirical evidence. They were either unreferenced or supported by citations of other position pieces and commentaries, except for a few instances wherein literature reviews were cited specifically as evidence for the plurality of definitions of CBME. Figure 1 maps these referencing patterns.

CBME의 구현과 관련된 과제를 경험적으로 검토하는 문헌의 수가 증가하고 있지만, 이 연구는 증거적 지원evidentiary support로 사용되지 않았다.

Although there is a growing body of literature empirically examining the challenges associated with implementation,39–43 this research was not used as evidentiary support.

CBME를 지지하는 문헌들은 근거-기반 패러다임에 자리함으로써, CBME의 개념적 비평에 대해 증거가 부족하다고 주장하지만, 정작 그 문헌들은 증거 인용을 게을리한다. 참조 패턴에 근거하여보자면, [CBME와 관련된 우려가 구현이나 해석의 결과\라는 수사적 주장은, 경험적 증거에 의해 뒷받침되지 않는 수사적 주장일 뿐이다. 이 관행은 CBME 문헌을 뒷받침하는 모호한 대화의 핵심 특징이다.

The texts are situated in an evidence-based paradigm by insisting conceptual critiques lack evidence, yet they neglect to cite evidence themselves. Based on referencing patterns, the rhetorical claim that concerns related to CBME are the result of implementation or interpretation is simply that: rhetoric, unsupported by empirical evidence. This practice is a key feature of the discursive dialogue underpinning the CBME literature.

CBME의 저항 평가를 뒷받침하는 증거 검토

Examining the evidence supporting the resistance critiques of CBME

불분명한 전략 뒤에 있는 증거를 매핑한 후, 우리는 CBME의 저항 비판resistance critiques을 뒷받침하는 증거에 주목했다.

After mapping the evidence behind the discursive strategy, we turned our attention to the evidence underpinning resistance critiques of CBME.

이 연구는 철학, 심리학, 사회학, 역사, 교육 등과 같은 학문으로부터 유래하여 의학 분야 이외의 접근에 대한 오랜 역사를 반영한다. 70년에 걸친 이 지식의 본체는 주로 저항적 담론에 의해 활용되었다. 테이블 

This research reflects a long history of consideration of the approach outside the field of medicine, stemming from disciplines such as philosophy, psychology, sociology, history and education. This body of knowledge, which spans seven decades, was leveraged predominantly by the resistance discourse. Table 2

고찰

DISCUSSION

문헌을 찾아본 뒤, 저항 담론이 CBME와 관련된 개념적 비평의 집합체array을 발전시켰다는 것이 명백해졌다. CBME를 지지하는 측의 담론은 종종 이러한 비판을 평가절하minimize하고, 역량 프레임워크의 기본적 개념에서 주의를 분산시키는 명확한 분산 전략으로 대응해왔다.이 과정의 한 가지 방식은, CBME와 관련된 우려를 구현과 해석이라는 두 가지 현실적인 문제로 귀결시키는 것이다. 우리는 이 과정이 CBME의 무결점 담론에 기여한다고 주장한다.

Moving through the textual archive, it became clear that a resistance discourse has advanced an array of conceptual critiques related to CBME. The CBME discourse has often responded to these, not with evidence, but with a clear discursive strategy that minimises these critiques and deflects attention from the underlying concept of competency frameworks. As part of this process, concerns related to CBME are attributed to two practical problems: implementation and interpretation. We argue this process contributes to a discourse of infallibility of CBME.

CBME의 무결점 담론

The discourse of infallibility of CBME

CBME에 대한 개념적 비판을 구현 또는 해석의 문제로 리프레이밍해버림으로써, 무결점 담론은 CBME의 핵심 가정을 부정적인 평가로부터 보호하는 모호성discursive 버퍼를 갖게 된다. 이로서 이들은 비판적 목소리를 잠재우고 역량 기반 접근방식에 대한 엄격한 검사를 방해한다. 이와 같이 무결점 담론은 CBME를 의심할 수 없는 '진리'로서 구성함으로써 스스로를 강화한다. 이와 같이, 역량 기반 접근은 의료 교육의 합리적이고 피할 수 없는 발전으로 인식된다.

In reframing conceptual critiques as matters of implementation or interpretation, the discourse of infallibility establishes a discursive buffer that shields CBME’s core assumptions from negative appraisal. This practice silences critical voices and hinders a rigorous examination of the competency- based approach. In this way, the discourse of infallibility strengthens CBME by constructing it as a ‘truth’ that cannot be questioned. As such, the competency-based approach comes to be perceived as a rational and inevitable advancement in medical education.

CBME에 대한 인증된, 및 인증되지 않은 비평

Authorised and unauthorised critiques of CBME

다른 사회적 구성과 마찬가지로 CBME 역시 '반복되는 정당화된 진술에 바탕을 둔 힘과 지식 관계'의 산물이다.26

CBME, like any social construct, is a product of ‘power and knowledge relationships founded on a series of repeated and legitimised statements’.26

이러한 관점에서, CBME 문헌에서 어떤 일련의 추론들이 참 또는 거짓으로 인식되는지, 합법적이거나 불법적인 것으로 인식되는지, 그리고 인가되거나 인가되지 않는지가 명백해진다. 무결점의 담론은 [실행과 해석]을 역량 프레임워크의 이론 및 실천과 관련된 legitimate and legitimated 관심사로 포지셔닝 시킨다.

From this perspective, it becomes clear which lines of reasoning are perceived as true or untrue, legitimate or illegitimate, and authorised or unauthorised in the CBME literature. The discourse of infallibility positions implementation and interpretation as both legitimate and legitimated concerns related to the theory and practice of competency frameworks.

그러나 방어가 필요한 다른 우려들, 특히 인식론적 및 행동주의 문제에 근거한 개념적 의문inquiry는 이러한 모호성 경계 내에서 정당화되지 않았다. 따라서 Foucault의 공인된authorized 진실 진술의 명명법에 따라, 이러한 지점에 대한 비판은 무익성의 담론의 범위 내에서 승인되지 않았다unauthorised고 볼 수 있다.

Yet other defensible concerns, particularly conceptual inquiry grounded in epistemological and behaviourist issues,13–16 have not been legitimated within these discursive boundaries. In keeping with Foucault’s nomenclature of authorised truth statements, these forms of criticism are therefore unauthorised within the bounds of the discourse of infallibility.

[합당하고 인가된 CBME의 비평]과 [합당하지만 인가되지 않은 비평] 사이의 명확한 구별이 있다.

a clear distinction between critiques of CBME that are legitimate and authorised, and critiques that are legitimate but unauthorised.

인가된 비평과 인가되지 않은 비평 사이의 첨예한 분리는 CBME에 대해 말할 수 있는 것과 말할 수 없는 것의 경계를 정의하는 진실 진술의 힘을 보여준다. [인가된 비평]이 대안적 견해를 침묵시키거나, 단순히 무시해버릴 수 있는 능력을 갖는 것은 바로 이 힘의 역동성을 통해서이다. 이러한 모호한 경계는 저항 담론에 의해 진전된 인식론적 및 행동주의적 우려를 제거해버리는dismissal 데 기여하며, 그 결과 이러한 우려는 대부분 문헌에서 언급되지 않는다. 그러나 사실 이렇게 무시되어 온 담론과 주장이야말로 CBME의 기본 원칙과 패러다임 전환을 뒷받침하는 근거의 부족성에 대해 엄격하고 타당한 주장으로 의문을 제기한다.4,10,11

The sharp division between authorised and unauthorised criticism illustrates the power of a truth statement to define the boundaries of what can and cannot be said about CBME. It is through this power dynamic that authorised critiques have the ability to silence, or simply ignore, alternative views. These discursive boundaries contribute to the dismissal of epistemological and behaviourist concerns advanced by the resistance discourse, leaving them largely unaddressed in the literature. This disregarded body of work raises valid arguments that rigorously question the foundational tenets of CBME,13–16 as well as the paucity of evidence supporting the paradigm shift.4,10,11

CBME는 진실 진술에 의해 생성된 범위 내에서만 비판될 수 있고, CBME는 무결점 담론으로 뒷받침되고 있다. 이러한 구분은 궁극적으로 '개인과 기관이 사고하고, 말하고, 행동할 수 있는 방법을 제한한다'.24 시간이 지남에 따라 특정 형태의 지식과 앎의 방식은 더 수용가능해지지만, 다른 것들은 덜 허용less acceptable된다.44 이러한 관점에서 보자면, CBME를 가능하게 만드는 것은 [CBME의 주요 문제는 그것의 도입과 관련한 실행과 해석이라는 반복적 주장]이다.

CBME can only be critiqued within the confines produced by the statement of truth and upheld by the discourse of infallibility. This dividing practice ‘shapes and limits the ways individuals and institutions can think, speak, and conduct themselves’.24 Over time, this causes certain forms of knowledge and ways of knowing to become more acceptable, and others less so.44 From this perspective, CBME is made possible by the recurring claim that the construct’s primary issues are its practical implementation and interpretation.

CBME에 대해 [말할 수 있는 것]과 [말할 수 없는 것]이 무엇인가를 나누는 관행은 결국 말할 수 있는 사람은 누구이고 말할 수 없는 사람은 누구인지를 알려준다. [사상과 언어에 대해 사회적으로 구성된 제약]은 권력을 가진 특정 개인 집단에게 더 집중invest되는데, 이는 궁극적으로 누가 CBME에 대해 쓰거나 말할 권한을 갖는지 결정한다. 지배적인 담론에 부합하는 학문적 의견을 가진 사람들은 합법성에 동의하는 반면, 다른 목소리들은 억압된다. 또한, 의학 교육의 구조 내에서 개인의 위치는 그들이 말할 수 있는 것에 영향을 미칠 수 있으며, 어떤 근거로 그것을 말할 수 있는지에도 영향을 미친다.45 이러한 역동을 고려한다면, CBME에 대한 무결점 담론을 주장하는 저자들이 CBME를 받아들이고 거기에 투자하고 있는 기관에 소속되어 있는 것은 전혀 놀랄만한 것이 아니다. 

The same dividing practices that shape what can and cannot be said about CBME also inform who can and cannot say it. Socially constructed constraints on thought and speech invest certain groups of individuals with power, which ultimately determines who has the authority to write or speak about CBME. Those whose scholarly opinions align with the dominant discourse are accorded legitimacy, whereas other voices are suppressed. Further, individuals’ positions within the structure of medical education can influence what they are able to say, and on what grounds they may say it.45 It is perhaps not surprising, when considering this dynamic from a Foucauldian perspective, that many authors using the discourse of infallibility are affiliated with organisations that promote the competency-based approach and are invested in its uptake in medical education.

시간이 지남에 따라, 이러한 권력 구조는 의학 교육 문헌에서 정상화normalize되었다. 그림 1의 서지학적 분석은 이 정규화 과정의 결과를 보여준다. 그것은 [시행과 해석]이 CBME와 관련된 유일한 합법적 우려사항이라는 주장이 이제 당연하게 받아들여져서 학술 간행물에서 경험적 증거를 뒷받침할 필요가 없음을 나타낸다.

Over time, these power structures have become normalised in the medical education literature. The bibliographic analysis in Figure 1 illustrates the result of this normalisation process. It indicates that the assertion implementation and interpretation are the only legitimate concerns related to CBME is now so taken for granted it does not require supporting empirical evidence in academic publications.

그릇된(가짜) 반론으로서의 무불변의 담론.

The discourse of infallibility as a faux resistance

푸코에 따르면 권력은 종종 [소유]보다는 [전략]의 형태로 나타나며, 복잡한 담화 체계로 확산된다.46 역량 프레임워크의 운영과 관련된 합법적이고 정당한 우려로서, 시행과 해석implementation and interpretation은 CBME의 이용자들이 잠재적 좌절감을 내보일 수 있는 배출구 역할을 한다. 시행과 해석이라는 인증된authorised 비평은 CBME를 지속적으로 실천하는 과정에서 어려움이 발생할 때 사용자가 책임을 물을 수 있는 희생양을 제공한다. 이러한 방식으로, 시행과 해석은, 부분적으로는, 일종의 저항 담론으로 기능한다.

According to Foucault, power often manifests in the form of a strategy rather than a possession, diffused throughout a complex system of discourse.46 As both legitimate and legitimated concerns related to the operationalisation of competency frameworks, implementation and interpretation act as an outlet through which users of CBME can channel potential frustration. The authorised critiques provide users with a scapegoat to bear the blame when challenges arise in the sustained practice of CBME. In this way, implementation and interpretation appear to be, and partially function as, a resistance discourse

시행과 해석이라는 인가된 비평은 CBME의 반대측 담론에 연루되어 있는 것처럼 보이지만, 사실은 CBME가 절대 무결하다는 개념을 강화하고 보존한다는 점에서 "가짜" 저항일 뿐이다. 이러한 명백한 모순은 CBME의 지배력을 증가시키는 엄청난 생산성을 가지고 있다. 이 담론이 CBME를 반대하는 척 위장하고 있기 때문에, 여러 문헌에서는 '무결점 담론'에 대한 특별한 설명이 없더라도 그렇게 인식되지 않는 상태로 작동할 수 있다. CBME 담론은 그것의 가짜 저항에 의해 지속되며, CBME의 개념을 [강력하고 경험적인 방식으로 질문하는 것]을 방지한다.

The authorised critiques are a faux resistance in that they seem to be implicated in an opposing discourse, yet instead strengthen and preserve the notion that CBME is infallible. This apparent contradiction has immense productivity in increasing the dominance of CBME. Disguised as a form of opposition, the discourse of infallibility can operate unarticulated and unrecognised in the literature. Thus, the discourse is perpetuated by the way its faux resistance facade prevents the concept of CBME from being questioned in a robust, empirical manner.

함의

IMPLICATIONS FOR MEDICAL EDUCATION

우리는 무결점 담론의 생산과 전파가 의식적으로, 의도적으로 사용된다고 생각하지는 않는다. 오히려 푸코다이드 CDA는 '개인이 시대적 의욕에 어떻게 내재되어 있는지'를 밝히는데, 이는 '사회적 구성과 언어의 수용은 그 맥락에서 분리될 수 없으며, 의도하지 않은 영향을 미리 예측할 수 없다'는 뜻이다.31

In discussing the production and propagation of the discourse of infallibility, we do not suggest it is used consciously or intentionally. Rather, Foucauldian CDA illuminates how ‘individuals are embedded in the discourses of their times’, meaning ‘the social construction and uptake of language cannot be divorced from its context, nor can unintended effects be predicted in advance’.31

CDA는 언어와 힘의 결합을 가시화하는 과정에서 지배담론과 저항담론 사이의 이분법을 지나치게 강조할 수 있다. 그럼에도 불구하고 CDA는 언어가 사회적, 정치적, 역사적 형식과 불가분의 관계에 있기 때문에 중립으로 간주될 수 없다는 것을 상기시킨다.31 담론, 관행, 권력의 교차점을 검토할 때 CDA는 지역적local 수준을 다루지 않는다. 오히려, CDA는 집단을 이룬 개개인이 어떻게 그리고 왜 "당연하게 여겨지는 관행"에 관여implicated하는지를 고려함으로써, 사회적 수준에 주의를 기울인다.

CDA can over-emphasise the dichotomy between dominant and resistance discourses when making visible the integral link between language and power. Nevertheless, CDA reminds us that language cannot be considered neutral because it is inextricably tied to its social, political and historical formations.31 In examining the intersections between discourse, practices and power, CDA does not address the local level. Rather, it attends to the societal level by considering how and why groups of individuals are implicated in taken-for-granted practices.

우리는 그렇다면 개인의 무능력이나 반대되는 저항의 담론을 사용하는 것은 의도의 문제가 아니라, 역량 기반 접근법의 구상, 개발 및 이행 중 의학교육 연구와 실천에 engage하는 과정에서 발생하는 직접적인 결과라고 제안한다.

We suggest, then, that individuals’ use of the discourse of infallibility or the opposing resistance is not a matter of intent, but a direct consequence of their engaging with medical education research and practice during the conception, development and implementation of the competency-based approach.

CBME 문헌을 뒷받침하는 '대화'를 해체할 때, 우리는 우리의 담론의 범위 밖에서 작동하고 있다고 주장하지 않는다. 모든 개개인이 그러하듯, 우리의 사고와 글도 필연적으로 우리의 문맥과 시간의 산만한discursive 구조와 연결되어 있다.

In deconstructing the ‘dialogue’ underpinning the CBME literature, we do not claim to operate outside the bounds of these discourses. Like all individuals, our thinking and writing are inevitably tied to the discursive structures of our context and time.

비록 우리가 이 연구를 하는 동안 자신의 위치에 대한 성찰적 고려를 유지하려고 노력했지만, 우리는 우리가 작동하는 담론에서 완전히 벗어날 수는 없다. CDA는 이 과정을 안내하기 위한 강력한 개념적, 방법론적 프레임워크를 제공하지만, 그것 역시 세계를 이해하는 기초가 되는 일련의 가정에 놓여 있다. 이 연구는 필연적으로 그러한 가정들에 관련되어 있다.

Although we endeavoured to maintain a reflexive consideration of our own positionalities throughout this study, we cannot entirely disentangle ourselves from the discourses within which we operate. CDA offers a strong conceptual and methodological framework to guide this process, but it too rests on a set of assumptions that serve as a basis for understanding the world. This research is inevitably implicated in those assumptions.

우리의 연구는 문헌에서 중요한 inquiry들이 어떤 방식으로 언급되지 않고 지나가는지를 강조한다. 이 연구 기관은 의료 교육에서의 역량 프레임워크의 이론과 실천에 의문을 제기하는 정당한 주장을 제기하였다. 이러한 주장은 경험적 연구에 바탕을 두지 않는 경우가 많았지만, 오래 지속되고 잘 발달된 이론적 고려에 의해 진전되었다. 더 나아가서, 우리는 인증되지 않은unauthorised 비평을 타당한 연구 질문으로 리프레임reframe할 것을 제안한다. 다른 분야의 과거 지식을 기초로 삼아, 이 비평은 의료 교육에서 역량 기반 접근방식을 뒷받침하는 가정의 엄격한 검사에 귀중한 진입점을 제공한다.

Our study highlights how important lines of inquiry were often unaddressed in the literature. This body of work raised legitimate arguments questioning the theory and practice of competency frameworks in medical education. These arguments, although often not based in empirical research, were advanced by long-standing and well-developed theoretical consideration. Moving forward, we propose reframing the unauthorised critiques as valid research questions. Using past knowledge from other fields as a foundation, the critiques offer valuable entry points for rigorous examinations of the assumptions underpinning the competency- based approach in medical education.

결론

CONCLUSION

CBME에 대한 무결점의 담론을 밝혀내는 과정에서, 우리는 그러한 담론이 어떻게 허가되었는지, 당연하게 사실로 받아들여지는 CBME에 대한 비판은 무엇인지, 그리고 사회적 관행이 허가되지 않은 사고방식을 어떻게 소멸시키는지를 알아보았다.

In uncovering the discourse of infallibility, we make visible the means by which the discourse is sanctioned, the types of criticism of CBME that are accepted as true, and the social practices that extinguish unauthorised ways of thinking.

Med Educ. 2018 Jan;52(1):45-57. doi: 10.1111/medu.13467. Epub 2017 Oct 27.

Competency-based medical education: the discourse of infallibility.

암묵적 편견인식을 보건전문직 교육에 포함시키기 위한 프레임워크(Acad Med, 2018)

A Framework for Integrating Implicit Bias Recognition Into Health Professions Education

Javeed Sukhera, MD, DABPN, FRCPC, and Chris Watling, MD, PhD, FRCPC

의식 밖에서 존재하는 편견, 고정관념 및 연관성은 소수자, 소외자, 오명을 쓴 사람들의 건강에 부정적인 영향을 미칠 수 있다.

Biases, stereotypes, and associations that exist outside conscious awareness may adversely influence the health of minority, underserved, and stigmatized populations.

예를 들어 존스홉킨스 의과대학 1학년 202명 중 66%는 백인에 대한 암묵적 선호도를 보였으며 86%는 상류층 개인에 대한 선호도를 보였다.6 다른 연구들은 편견이 여성, 비만 개인, 사제fathers, 만성 통증 환자, 만성 피로 증후군 환자에 부정적인 영향을 미친다는 것을 강조하였다.10

For example, among 202 first-year medical students at Johns Hopkins School of Medicine, 66% showed an implicit preference toward Caucasians, and 86% demonstrated a preference toward upperclass individuals.6 Other work has highlighted that bias adversely impacts women,7 obese individuals,2 fathers,8 patients with chronic pain,2,9 and patients with chronic fatigue syndrome.10

모든 암묵적 편견들이 부정적이거나 파괴적인 것은 아니다. 많은 설정에서 인지 휴리스틱스( 무의식적 연관성 포함)는 임상 의사결정에 필요한 패턴 인식의 한 형태로 권장된다.11

Not all implicit bias is negative or destructive. In many settings, cognitive heuristics (including unconscious associations) are encouraged as a form of pattern recognition that is necessary for clinical decision making.11

편견을 없애는 목표를 추구하기보다는, 보건전문직교육에 암묵적 편견을 통합하는 인터벤션은 보건 전문가들이 환자 결과에 대한 편견이 미치는 부정적인 영향을 어떻게 완화할 수 있는지를 강조해야 한다. 따라서 내재적 편견에 입각한 커리큘럼은 자신의 암묵적 편견에 대한 인식을 촉진하고 이러한 편견을 극복하기 위한 의식적 노력을 강화함으로써 의료의 편견을 해결하기 위한 체계적인 교육 전략을 제공할 수 있다.

Rather than pursuing the goal of eliminating bias, any intervention that incorporates implicit bias into health professions education should emphasize how health professionals can mitigate the negative influence of bias on patient outcomes. Implicit-bias-informed curricula can, therefore, offer systematic educational strategies for addressing biases in health care by both promoting awareness of one’s own implicit biases and enhancing conscious efforts to overcome these biases.

일부 유망한 접근법에도 불구하고, 암묵적 편견 인식과 관리는 종종 커리큘럼에 잘 통합되지 않고 응집력 있는 평가와 평가 전략이 결여된 간단한 개입의 형태로 포함된다.16

Despite some promising approaches, implicit bias recognition and management is often included in the form of brief interventions that are poorly integrated into curricula and lack cohesive assessment and evaluation strategies.16

일부 저자들이 과거에 그러한 개념적 프레임워크를 제안한 반면, 17-20 최근 암묵적 편견의 교육에 대한 관심이 급증했다21은 암묵적 편견 인식과 관리를 보건 직업 커리큘럼에 통합하기 위한 실용적인 프레임워크를 다시 요구하게 되었다.

While some authors have proposed such conceptual frameworks in the past,17–20 a recent surge in interest in implicit-bias-informed education21 has prompted a renewed call for a practical framework to integrate implicit bias recognition and management into health professions curricula.

6점 프레임워크

A Six-Point Framework

우리의 프레임워크는 여섯 가지 주요 특징을 포함한다: (그림 1).

Our framework includes six key features: (Figure 1).

1. 안전하고 위협적이지 않은 학습 컨텍스트 생성

Creating a safe and nonthreatening learning context

2. 암묵적 편견의 과학에 대한 지식 증가

Increasing knowledge about the science of implicit bias

암묵적 편견 인식을 보건 직업 교육에 통합하는 개입은 편견의 심리적, 신경 생물학적인 요소에 관한 내용을 포함해야 하며 암묵적 편견의 토대를 이루는 하는 인지 과학을 이해하기 위한 증거 기반 프레임워크를 제공해야 한다.

Any intervention that incorporates implicit bias recognition into health professions education should include content regarding the psychological and neurobiological components of bias and provide an evidence-based framework for understanding the cognitive science that underlies implicit biases.

편견은 여러 관점에 개방되는 개인의 능력을 제한할 수 있는 신경생물학적 메커니즘의 결과임을 강조한다.14 학습자 자신의 편견과 타인의 편견에 대한 경험에 대한 사전 지식을 활성화하는 데 도움이 된다. 의료 제공자들이 편견들이 그들의 행동에 영향을 미치는 정도를 과소평가할 수 있기 때문에 [의식적인 인식 밖에 있는] 심리 과정에 대해 학습자들에게 가르치는 것도 중요하다.27

Emphasizing that bias is a result of neurobiological mechanisms that can restrict an individual’s ability to be open to multiple perspectives14 helps activate prior knowledge about learners’ own biases and experiences with others’ biases. Teaching learners about psychological processes that are outside their conscious awareness is also important because health care providers may underestimate the extent to which biases influence their behaviors.27

암묵적 편견의 성격에 대한 지식의 증가는 긍정적 편견과 부정적 편견을 포함한 다른 유형의 편견을 demonstration하는 것을 포함해야 한다. 교육자는 편견의 건설적인 측면에 대한 논의가 있음을 확실히 하고, 편향이 어떤 상황에서는 적응적이지만, 다른 상황에서는 파괴적일 수 있음을 명확히 해야 한다. 편향이 환자 결과에 어떻게 영향을 미치는지에 대한 임상적으로 관련 있는 예를 제공하는 동시에, 편향이 안전과 소속을 촉진하는 유용한 도구가 될 수 있음을 예시하는 것이 중요하다.

Increasing knowledge about the nature of implicit bias should include a demonstration of different types of bias, including both positive and negative biases. Educators should ensure that there is a discussion about the constructive aspects of bias, clarifying that bias can be adaptive in some circumstances and destructive in others. Illustrating that bias may be a useful tool to promote safety and belonging, while providing clinically relevant examples of how bias influences patient outcomes, is important

3. 암묵적 편향이 행동과 환자 결과에 어떻게 영향을 미치는지 강조

Emphasizing how implicit bias influences behaviors and patient outcomes

환자 outcome에 대한 암묵적 편견의 영향은 프레임워크의 핵심 요소다. 교사들은 건강 불균형에 대한 기존의 커리큘럼과 개입을 일치시킴으로써 편견에 대한 논의를 [역사의 역할], [건강에 영향을 미치는 가시적이고 보이지 않는 사회 문화적인 힘] 등과 연결할 수 있다. 내면화된 편견이 고정관념에 미치는 영향을 논할 뿐만 아니라 통계와 의학 교육의 암묵적 편견에 대한 기존 연구를 인용하면 학습자가 편견을 해소하고 완화하는 방법을 배우도록 동기를 부여한다.

The influence of implicit bias on patient outcomes is a key component of our framework. By aligning interventions with existing curricula on health disparities, instructors can connect discussions about bias with the role of history and both visible and invisible sociocultural forces that impact health. Citing statistics and existing research on implicit bias in medical education, as well as discussing the impact of internalized bias on stereotypes, helps motivate learners to learn how to address and mitigate their biases.

특정 건강 직업의 경우, 앵커링anchoring(환자에 대한 첫 번째 정보에 지나치게 의존) 또는 확증편향(기존의 신념을 확인하는 방식으로 정보를 선호하는 경향)과 같은 특정 유형의 편견을 포함한 임상 의사 결정 및 인지 심리학에 대한 문헌에 대한 구체적인 언급은 다음과 같을 수 있다. 학습자가 편견이 치료에 부정적인 영향을 미칠 수 있는 아이디어에 관여할 수 있는 토대를 마련한다.

For certain health professions, specific reference to literature on clinical decision making and cognitive psychology, including certain types of bias, such as anchoring (relying too heavily on the first piece of information about a patient) or confirmation bias (the tendency to favor information in a manner that confirms preexisting beliefs), may lay the groundwork for learners to engage with ideas about how biases may adversely affect care.

4. 기존 암묵적 편견에 대한 인식 증가

Increasing self-awareness of existing implicit biases

암묵적 연관성 시험(IAT)은 자신의 기존 편견에 대한 자기 성찰, 토론 및 인식에 유용한 트리거를 제공할 수 있다.28,29 IAT는 참여자에게 개인의 응답 시간과 대기 시간을 측정하여 개념 간의 자동 연관성을 평가하도록 하는 컴퓨터 기반 연습이다.

The implicit association test (IAT) may provide a useful trigger for self-reflection, discussion, and awareness of one’s own existing biases.28,29 The IAT is a computerbased exercise that asks participants to associate words and pictures to assess automatic associations between concepts by measuring the time and latency of individuals’ responses.

IAT에 대한 비판도 있는데, 이 결과가 부정적인 태도를 반영하는 대신 피해자, 학대 및 억압과 같은 연관성에서 비롯될 수 있음을 시사한다.37–42 이러한 비판을 고려할 때 IAT를 암묵적 편향 측정이나 커리큘럼 평가를 위한 척도가 아닌 성찰의 프롬프트로 사용할 것을 권고한다.

Criticism of the IAT suggests that, instead of reflecting negative attitudes, IAT scores may stem from associations such as victimization, maltreatment, and oppression.37–42 Given these critiques, we recommend using the IAT as a prompt for reflection and not as a metric for measuring implicit bias or evaluating curricula.

기존의 암묵적 편견에 대한 인식을 유도하는 데 도움이 될 수 있는 다른 기법에는 어떻게 편향이 돌봄에 영향을 미치는지에 대한 촉진된 토론, 성찰, 정체성 연습 등이 있다. 성찰 능력을 강화하는 기법이 유용할 수 있으며, 교육과정 설계자는 편향 관련 커리큘럼과 성찰적 행동을 촉진하는 기타 커리큘럼 콘텐츠 간에 명시적으로 연결하도록 권장된다.

Other techniques that may help elicit awareness of existing implicit biases include facilitated discussions on how bias impacts care and reflection and identity exercises. Techniques that enhance reflective capacity may be useful, and curriculum designers are encouraged to make explicit connections between bias-related curricula and other curricular content that foster reflective practice.

한 가지 간단한 잠재적인 정체성 연습은 참가자들을 짝지어 그들이 속한 지배적이고 비지배적인 문화에 대해 토론할 수 있다. 개별 학습자가 다르게 느끼거나 불평등한 대우를 받았던 정체성과 시간에 대한 개인의 성찰도 기존 편견에 대한 인식을 높일 수 있다.

One simple potential identity exercise could pair up participants to discuss the dominant and nondominant cultures to which they belong. Individual reflection on identity and times that individual learners felt different or treated inequitably can also increase awareness of existing biases.

6. 암묵적 편견이 다른 사람에게 미치는 영향에 대한 인식 향상

Enhancing awareness of how implicit bias influences others

자기-인식과는 달리 타인에 대한 사회적 시각의 수용과 공감을 높이는 것도 암묵적 편견 인식과 관리의 또 다른 중요한 요소다. 환자와 의사를 [공유된 감정의 맥락] 안에서 결합시키는 감정이입의 인지적, 정서적 요소에 대한 명시적 관심은 암묵적 편견에 뿌리를 두고 있는 고정관념과 차별으로부터 보호한다. 더 구체적으로 말하면, 환자-의사 접촉을 [동등한 사이에서의 협력적 상호작용]으로 재조명하는 것은, 다양한 개인을 [외부인으로 생각하는 것]이 아니라, [인간으로서 공유하는 정체성]을 강조함으로써, 다른 사람을 사회 집단의 일부로 인식하게 해준다.

In contrast to self-awareness, enhancing social perspective taking and empathy for others is another important component of implicit bias recognition and management.17,44 Explicit attention to the cognitive and affective components of empathy that unite patients and providers within a shared emotional context protects against stereotyping and discrimination that is rooted in implicit bias.52,53 More specifically, reframing patient–provider contact as an interaction between collaborating equals can shift one’s thinking of diverse individuals as outsiders to perceiving them as part of one’s own social groups by emphasizing a shared human identity.54–56

관점수용적 태도Perspective taking를 강화하는 방법에는 역할극, 참여극, 그리고 살아있는 경험lived experience을 가진 일치된 환자나 가족과의 사회적 접촉이 포함될 수 있다. 예를 들어, 사회적 접촉 기반 개입은 임상 환경에서 편견을 경험한 소외된 그룹에 속하는 환자를 제공자와 대화하고, 그들의 이야기를 공유하고, 토론에 참여하도록 초청하는 것을 포함할 수 있다. 사회적 접촉은 성 소수자, 58명의 정신 질환 환자, 59–61명, 그리고 여성에 대한 암묵적 편견을 감소시키는 좋은 결과를 낳았다.62

Techniques for enhancing perspective taking may include role-play, participatory theater, and social contact with matched patients or families with lived experience. For example, social-contact-based interventions may involve inviting patients who belong to marginalized groups that have experienced bias in clinical settings to speak to providers, share their story, and engage in discussion. Social contact has produced favorable outcomes in reducing implicit bias toward sexual minorities,58 patients with mental illness,59–61 and females.62

그러나 사회적 접촉에 기반한 개입은 의도하지 않은 결과를 가져올 수 있다.

Social-contact-based interventions, however, may have unintended consequences.

정신 질환이 있는 환자와의 접촉은 의료 사업자에게 긍정적인 경험과 부정적인 경험을 모두 제공할 수 있으며, 파괴적인 고정관념을 강화할 수 있기 때문에 세심한 계획과 주의와 함께 사용해야 한다.

contact with patients with mental illness can lead to both positive and negative experiences for health care providers19,63 and should only be used with careful planning and caution because of the possibility that it may reinforce destructive stereotypes.

중재 설계

Designing Interventions

암묵적 편견과 관련된 교육 개입의 첫 번째 단계는 교육자들이 성별, 인종, 문화 등과 같은 특정 유형의 편견에 초점을 맞출 것인지 아니면 전반적으로 편견에 초점을 맞출 것인지를 결정하는 것이다. 일단 개입의 초점이 결정되면, 강사들은 그들이 특정한 맥락과 관련된 편견에 대해 가르치고 있는지 아니면 넓은 맥락에 대해 가르치고 있는지를 명확히 해야 한다. 예를 들어, 커리큘럼은 심혈관 건강, 일반적인 임상 결과, 또는 그것이 조직 문제와 건강 정책에 어떻게 영향을 미치는지에 대해 가르칠 것인가? 개입 범위가 넓을수록 커리큘럼과의 통합과 시간이 더 많이 필요할 것이다. 

The first step in implicit-bias-related educational interventions is to determine whether educators will focus on a specific type of bias, such as gender, race, culture, etc., or bias in general. Once the focus of the intervention is determined, instructors should clarify whether they are teaching about bias related to specific or broad contexts. For example, will the curricula teach about gender bias in relation to cardiovascular health, to clinical outcomes in general, or to how it influences organizational issues and health policy? The broader the intervention, the more time and integration with curricula it will require. 

교육자는 중재안을 설계할 때 전문적 궤적과 임상 경험에서 학습자의 단계와 암묵적 편견의 지향성 및 의료에서의 역할을 고려해야 한다. 임상경험이 없는 학습자가 복잡한 임상 시나리오에 engage할 것으로 기대하는 것은 교육이 관련성이 없다는 피드백을 유발할 수 있기 때문에 임상경험과 맥락을 고려하는 것이 중요하다. 특권과 권력 논의에 잠재적으로 영향을 미치기 때문에 다직군간 팀과 관련된 역학도 고려해야 한다. 예를 들어, 

• 그 개입은 학부 전임상 학생, 임상 사무원 또는 대학원 연수생을 대상으로 할 것인가? 

• 분화되지 않은 학습자를 대상으로 하는가, 아니면 특정 전공 또는 세부전공의 정체성이 발달한 학습자가 대상인가?

Educators should consider learners’ stage in their professional trajectory and clinical experience, as well as how oriented they are to implicit bias and its role in health care, when designing interventions. Considering clinical experience and context is crucial because expecting learners without clinical experience to engage with complex clinical scenarios may lead to feedback that the educational intervention lacks relevance. Dynamics related to interprofessional teams should also be considered because of their potential influence on discussions of privilege and power. For example, 

• will the intervention target undergraduate preclinical students, clinical clerks, or postgraduate trainees? 

• Are learners undifferentiated, or have they developed the identity of a specific specialty or subspecialty?

이전의 연구는 편견의 인식은 단일 세션에서 가르칠 수 없다는 것을 강조한다.16 교육과정 설계자들은 그들이 학습 환경이나 조직 내에서 암묵적인 편견 인식과 관리 개입을 어떻게 유지할 것인지도 고려해야 한다. 개입에 반하는 문화적, 숨겨진 커리큘럼 영향을 고려해야 한다.

Previous research emphasizes that the recognition of bias cannot be taught in a single session.16 Curriculum designers should also consider how they will sustain implicit bias recognition and management interventions within a learning environment or organization. Cultural and hidden curricular influences that may work against the intervention must be considered.

지식, 기술 및 태도 프레임워크를 사용하는 전통적인 프로그램 평가 및 학습자 평가 전략이 좋은 출발이지만, 64 프로그램 평가에 대한 순수한 결과 중심 접근방식은 암묵적 편견에 근거한 커리큘럼과 관련된 복잡성을 포착하기에는 너무 협소할 수 있다.65

While traditional program evaluation and learner assessment strategies using a knowledge, skills, and attitudes framework are a good start,64 a purely outcomes-driven approach to program evaluation may be too narrow to capture the complexity related to implicit-bias informed curricula.65

우리는 커리큘럼 설계자들이 로직 모델에서 시작하여 조직적 및 사회적 수준에서 원하는 결과를 확립할 것을 권장한다. 당신의 커리큘럼은 문화적 변화, 다양성 및 포용을 촉진하면서 학습자의 태도를 개선하도록 설계되었는가?

We encourage curriculum designers to start with a logic model and establish their desired outcomes at organizational and societal levels. Is your curriculum designed to improve learner attitudes while promoting cultural change, diversity, and inclusion?

평가 지표를 결정할 때 이러한 문제를 해결하는 것이 가장 중요하다. 미국 의료 대학 협회가 발표한 것과 같이 다양성, 포함 및 문화적 역량과 관련된 인증 벤치마크를 달성하는 것과 관련된 organizational tools는 어떤 상황에서는 유용할 수 있지만, 다른 상황에서는 인구 기반 데이터가 유용할 수 있다. 만족도 조사와 같은 환자 관련 결과는 커리큘럼이 실제real world 결과에 미치는 영향을 측정하기 위한 의미 있는 데이터를 제공할 수 있다.18

Addressing these questions is of paramount importance when determining evaluation metrics. Organizational tools pertaining to achieving accreditation benchmarks related to diversity, inclusion, and cultural competence, such as those published by the Association of American Medical Colleges,13,67 may be useful in some circumstances, while population-based data might be useful in others. Patientrelated outcomes, such as satisfaction surveys, may provide meaningful data to gauge the impact of curricula on real world outcomes.18

학습자 관련 결과는 모든 프로그램 평가에서 필수적인 구성 요소다(그림 2).

Learner-related outcomes are an essential component of any program evaluation. (Figure 2).

단일 평가 방법이나 평가 방법으로는 충분치 않을 것이라는 의견이 대두되고 있는 것 같다.74

There seems to be an emerging consensus that no single method of assessment or evaluation will be sufficient.74

Conclusion

43 Holm AL, Rowe Gorosh M, Brady M, WhitePerkins D. Recognizing privilege and bias: An interactive exercise to expand health care providers’ personal awareness. Acad Med. 2017;92:360–364.

44 Stone J, Moskowitz GB. Non-conscious bias in medical decision making: What can be done to reduce it? Med Educ. 2011;45: 768–776.

Acad Med. 2018 Jan;93(1):35-40. doi: 10.1097/ACM.0000000000001819.

A Framework for Integrating Implicit Bias Recognition Into HealthProfessions Education.

보건전문직교육에서 사회적책무성 측정(Med Teach, 2013)

Measuring social accountability in health professional education: Development and international pilot testing of an evaluation framework

SARAH L. LARKINS1, ROBYN PRESTON1, MARIE C. MATTE2,3, IRIS C. LINDEMANN4, REX SAMSON5,

FILEDITO D. TANDINCO6, DAVID BUSO7, SIMONE J. ROSS1, BJO¨ RG PA´ LSDO´ TTIR8,

& ANDRE´ -JACQUES NEUSY8 on behalf of the Training for Health Equity Network (THEnet)

도입

Introduction

의사들을 포함한 세계적인 부족과 불균등한 의료 종사자들의 분포는 계속되는 건강 불평등과 밀레니엄 개발 목표에 도달하지 못하는 데 기여하는 요인 중 하나이다(Chen et al.). 2004; 세계보건기구 2010). 최근 몇 년 동안, 보건전문 교육 기관들이 졸업생들에게 일련의 전문적인 기준을 충족시키기 위해 훈련시키는 것 이상을 해야 할 책임이 있다는 인식을 증가시키고 있다. 보건 전문가를 양성하는 학교는 그들이 봉사serve하는 사회의 요구를 충족시킬 책임을 져야 한다는 국제적인 인식이 증가하고 있다.

A global shortage and uneven distribution of health practitioners, including doctors, is one of the contributing factors to persisting health inequalities and failure to reach the Millenium Development Goals (Chen et al. 2004; World Health Organization 2010). In recent years, there has been increasing recognition that health professional education institutions have a responsibility to do more than just train graduates to meet a set of professional standards. There is growing international recognition that schools training health professionals should be held responsible for meeting the needs of the societies they serve.

이러한 그룹은 우선적인 건강 요구를 해결하기 위해 보건 분야, 정책 입안자 및 지역사회와의 파트너십을 개발할 수 있도록 보장하는 데 필요한 역량과 태도를 가진 의료 졸업생들의 필요성을 점점 더 인식하고 있다(Rourke 2006; Sen Gupta et al. 2009; Frenk 등 2010;Sales & Schlaff 2010). 여기에는 리더십 기술을 잘 갖추고 있으며, 보건 시스템 내에서 'enlightened change agent' 역할을 할 수 있는 졸업생들이 포함된다(Frenk et al. 2010).

These groups increasingly recognize a need for medical graduates with the required competencies and attitudes to ensure they are able to develop partnerships with the health sector, policymakers and communities in order to solve priority health needs (Rourke 2006; Sen Gupta et al. 2009; Frenk et al. 2010;Sales & Schlaff 2010). This includes graduates well equipped with leadership skills, and who are able to function as ‘enlightened change agents’ within health systems (Frenk et al. 2010).

THEnet

Training for Health Equity Network

THEnet(The Training for Health Equity Network)은 교육, 연구 및 서비스 자원을 기준 인구의 우선적인 보건 및 보건 시스템 필요를 지향하도록 하기 위해 헌신한 7개 의과대(Palsdottir et al. 2008)에 의해 2008년에 설립되었으며, 이후 11개 학교로 성장하였다(그림 1). 

공동으로, THEnet 파트너 스쿨은 세계보건기구(WHO; Boelen & Heck 1995)의 사회적 책무성에 대한 정의를 채택했다.

Collectively, THEnet partner schools have adopted a definition of social accountability in health professional education (SAHPE) based on that from the World Health Organization (WHO; Boelen & Heck 1995).

사회적 책무성이란 교육, 연구, 서비스 활동을 지역사회, 지역 및/또는 국가(학교)가 의무적으로 봉사해야 할 우선적 보건 관심사로 orient해야 할 의무를 말한다. 이 때 우선순위는 정부, 보건 서비스 기관, 공공 및 특히 소외 계층에 의해 공동으로jointly 정의된다.

Social accountability is the obligation to orient education, research and service activities towards priority health concerns of the local communities,the region and/or nation (schools) have a mandate to serve. These priorities are jointly defined by government, health service organisations, the public and especially the underserved.

THEnet School은 '무조건 지역사회와 의료 시스템의 요구에 대응하고 이에 수반되는 양질의 보건 전문 교육, 서비스 및 조치 중심의 연구를 통해 의료 및 보건 결과의 형평성을 달성하기 위한 핵심 공약'에 합의했다(THEnetDean's Group 2010). 

THEnet schools have agreed to ‘a core commitment to achieving equity in health care and health outcomes through quality health professional education, service and action-oriented research responsive to the needs of and embedded in,undeserved communities and health care systems’ (THEnetDean’s Group 2010). 

각 학교의 맥락이 뚜렷하게 다르기 때문에, 용어의 정의에 있어서 명확성을 필요로 한다. 특히, [disadvantaged or underserved 인구집단]의 정의를 세계적으로 통용될 수 있도록 하는 것이 중요했다. 이들의 작업을 위해, 블루멘탈과 보엘렌(2001)에 따라 소외되거나 소외된 모집단을 개념화한다. 

The distinctively different contexts of each school necessitated clarity in the definition of terms. In particular, a definition of disadvantaged or underserved populations that applied globally was important. For the purposes of THEnet’s work, disadvantaged or underserved populations are conceptualized following Blumenthal and Boelen (2001) as 

• (1) 일반적으로 '인구 대다수와 비교하여 건강 악화, 기회 감소 또는 서비스 접근 감소로 고통받는 국가 내의 집단 또는 인구'이다. 

• (2) 선진국에 대하여: 모든 선진국에는 '전체적으로 봤을 때 불리한'는 그룹이 있다. 예를 들면 인종/민족, 빈곤, 지리 및 특별한 요구를 가진 다른 집단에 기초한다. 

• (3) 개발도상국에 대하여: '사실상 가난한 나라의 전체 인구는 부유한 나라와 비교하여 불이익을 받는다.'

• (1) Generally ‘groups or populations within a country who,compared with the majority of the population, suffer from poorer health, fewer opportunities or reduced access to services’. 

• (2) Relating to developed countries – In every developing country, there are groups that are ‘disadvantaged relative to the whole’. Examples are based on: race/ethnicity, poverty, geography and other groups with special needs. 

• (3) Relating to developing countries – ‘Virtually the entire population of the poor countries is disadvantaged by comparison to the wealthy countries’. 

목표

Objectives

따라서, THEnet이 선택한 행동의 첫 번째 우선 순위는 사회적 책임에 대한 우리의 progress를 비판적으로 반성하고, 이 목표를 달성하기 위해 고안된 전략의 효과를 평가하고, 전략이 공유됨에 따라 서로의 학습을 용이하게 하는 메커니즘으로서 종합적인 평가 프레임워크(프레임)를 개발하는 것이었다.

Thus, the first priority for action chosen by THEnet was to develop a comprehensive evaluation framework (the framework) as a mechanism to critically reflect on our progress towards social accountability, to evaluate the effectiveness of strategies designed to meet this goal and to facilitate learning from each other as strategies are shared.

방법

Methods

그 도구는 다른 보건전문직교육의 필요를 염두에 두고 보다 일반적인 것으로 설계되었다.

the tool was designed as more generic keeping in mind the need of other health professional schools.

Boelen과 Woollard(2009)는 인증 과정에 통합될 목적으로 교육 기관의 사회적 책임을 측정하는 프레임워크를 발표했다. 이 프레임워크는 '사회적 책무성'에 대한 세 가지 발현에 초점을 맞추었다. 

• (i) 개념화: 어떤 종류의 전문직이 필요한지, 어떤 시스템이 그 스킬을 활용할 것인지에 대한 협력적 설계

• (ii) 생산: 훈련과 학습의 핵심 요소

• (iii) 사용가능성: 훈련된 전문가를 최고/최선으로 사용하기 위한 각 기관의 이니셔티브(CPU; Boelen & Woollard 2009, 페이지 890). 

CPU 모델은 사회의 요구를 확인하였고, 바람직한 전문적 규범이 기대되는 성과에 따라 요구를 충족시키기를 희망하였다(Boelen & Woollard 2009).

Boelen and Woollard (2009) published a framework to measure social accountability for educational institutions with the aim that this be integrated into accreditation processes. This framework focused on three ‘expressions of social accountability’: 

• (i) conceptualization, or the collaborative design of the kind of professional needed and the system that will utilize his or her skills; 

• (ii) production, or the main components of training and learning and 

• (iii) usability, or initiatives taken by the institution to ensure that its trained professionals are put to their highest and best use (CPU; Boelen & Woollard 2009, p. 890). 

The CPU model identified the needs of society, with the desired professional norms meeting those needs as the desired outcome (Boelen & Woollard 2009).

회의 과정

Process of meetings

• . What are the key elements of socially accountable medical education which THEnet wants to evaluate? These were agreed to as common aspirations and key components.

• . What are the gaps in current evaluation practice (i.e. what is not being evaluated)?

• . What is currently being evaluated in a way that is not effective or appropriate?

• . Of these, which are common for all members of THEnet?

• THEnet이 평가하고자 하는 사회적 책무를 갖는 의학 교육의 핵심 요소는 무엇인가? 이것들은 공통된 열망과 핵심 요소로 합의되었다.

• 현재 평가 관행의 차이(즉, 평가되지 않는 것)는 무엇인가?

• 효과적이지 않거나 적절하지 않은 방식으로 현재 평가되고 있는 것은?

• 이 중, THEnet의 모든 구성원에게 공통적인 것은 무엇인가?

(1) 파트너 학교에서 프레임워크를 시험하기 위해

(2) 문맥 간 사용을 위한 프레임워크를 더욱 세분화한다.

(1) to pilot test the framework at partner schools and

(2) to further refine the framework for use across contexts.

프레임워크의 파일럿 구현

Pilot implementation of the framework

워크샵. 워크숍을 위해 워크북 가이드가 공동으로 작성되었으며 각 주요 구성 요소에 대해 교수진, 직원 및 지역사회 구성원에게 다음과 같은 질문을 했다.

Workshops. A workbook guide was collectively created for the workshop and for each key component asked the following questions to faculty, staff and community members:

인터뷰/포커스 그룹. 각 학교는 다음과 같이 일련의 포커스 그룹 토론이나 인터뷰를 실시했다.

Interviews/focus groups. Each school conducted a series of focus group discussions or interviews with:

문서 분석. 기존 근거 출처의 분석은 평가 프레임워크의 다양한 열망과 지표를 기준으로 진행 상황을 평가하기 위한 중요한 전략이었다. 문서의 이름과 가용성은 학교와 상황에 따라 다양했지만, 다음과 같은 중요한 정보 출처가 포함되었다.

Documentary analysis. Analysis of existing sources of evidence was an important strategy to assess progress against the various aspirations and indicators in the evaluation framework. The name and availability of documents varied across schools and contexts, however important sources of information included:

결과와 고찰

Results and discussion

평가 프레임워크는 학교가 서로 다른 지표에 걸쳐 접근방식이 크게 다를 수 있기 때문에 이의 제기에 사용하도록 설계되었다.

The evaluation framework is designed to be used in itsentirety, as schools may vary widely in their approach across different indicators.

(표 1). 세 섹션은 다음을 고려한다.

(Table 1). The three sections consider:

(1) 우리 학교는 어떻게 작동하고 있는가? 이 절에서는 [가치, 거버넌스 및 의사결정 프로세스 평가 및 보건 부문, 지역사회 그룹 및 정책 입안자와의 파트너십을 포함하여] 기존 평가 및 인증 프레임워크에서 종종 무시되는 학교의 조직과 계획의 중요한 측면을 다룬다. 또한 여기에는 학교에서 제공하는 reference population에 대한 문서화 및 이해를 포함하며, 여기에는 특별히 소외된 그룹도 포함된다.

(1) How does our school work? This section addresses important aspects of the organization and planning of the school, frequently neglected in existing evaluation and accreditation frameworks, including an assessment of values, governance and decision-making processes and partnerships with the health sector, community groups and policy makers. It also includes documentation and understanding of the reference population that the school serves, with particular note of underserved groups within this.

(2) 우리는 무엇을 하는가? 본 섹션은 학생, 교사, 커리큘럼 및 조각학, 연구, 서비스 및 자원 배분에 대한 고려사항을 포함하며, 일반적인 인증 절차와 보다 밀접하게 대응한다.

(2) What do we do? This section includes consideration of students, teachers, curriculum, andragogy, research, service and resource allocation, and corresponds more closely with usual accreditation processes.

(3) 우리는 실제로 어떤 차이를 만들어내는가? 이 대분류는 졸업성과(위치, 훈련 및 관행), 보건 서비스 및 지역사회 성과에 대한 참여 및 효과, 비용 효과 및 다른 학교와의 영향 평가를 포함한다. 다시 말해, 본 섹션은 대부분의 인증 조치에서 대체로 간과되고 있으며, 보건 전문 교육 기관의 범위 밖에서 고려되는 경우가 많다.

(3) What difference do we make? This section includes an assessment of graduate outcomes (location, discipline and practice), engagement and effect on health services and community outcomes, cost effectiveness and influence with other schools. Again, this section is largely overlooked in most accreditation measures, and is frequently considered outside the scope of health professional education institutions.

local benefits 중 하나는 시간이 지남에 따라 새로운 교직원과 지도자들에게 사회적 책임 활동의 명확한 의사소통을 허용하는 것이었다. 

One of the key local benefits was to allow clear communication of social accountability activities to new faculty and leaders joining the school over time. 

이 프레임워크는 다음과 같이 세 가지 수준에서 사용(그리고 유용하게)하도록 설계된다. 

The framework is designed to be used (and useful) at three levels, as follows: 

(1) 개별 학교 수준: 개별 학교 수준에서 목표는 합의된 기준에 따라 SAHPE, 연구 및 서비스에서 학교 성과를 검증하고 지속적으로 평가하고 다른 학교에서 배운 교훈을 적용하는 것이다.

(1) At individual school level: At individual school level the goal is to validate and continually assess and improve schools’ performance in SAHPE, research and service according to agreed standards and to apply lessons learned from other schools.

(2) 네트워크 수준: 네트워크 수준에서 목표는 자기성찰과 리뉴얼에 관여하고, 집단 경험을 공유하고, 다른 사람들로부터 배우고, 결과적인 중요한 데이터 덩어리를 지속적이고, 변환적인 개선을 위해 사용하는 것이다.

(2) At network level: At a network level the goal is to engage in self reflection and renewal, share collective experience and learn from others and use the resulting critical mass of data for continuous, transformational improvement.

(3) 더 넓은 수준: 더 넓은 수준에서 목표는 사회적 책임을 지는 보건 전문 학교의 가치/영향력을 입증함으로써 보건 서비스와 결과의 지속 가능한 개선을 촉진하고 옹호하는 것이다. 추가적인 목표는 학교와 정부가 무엇이 효과가 있고 그렇지 않은지를 결정하는 것을 통해 자원 배치를 안내하는 것을 돕고, 지역, 국가 및 국제적 수준에서 다른 단체와 정설에 도전하는 것을 포함한다.

(3) At a wider level: At a wider level the goal is to facilitate, and advocate for, sustainable improvement in health services and outcomes through demonstrating the value/impact of socially accountable health professional schools. Additional goals include helping guide resource deployment by schools and governments through determining what works and what does not, and challenging other bodies and orthodoxies at local, national and international levels.

기대하는 것

이 프레임워크는 미리 정해진 합격점을 가진 종합 연습으로 고안된 것이 아니라 학교들이 그들의 성과, 진보, 지식, 기술, 사회적 책임에 대한 능력을 비판적으로 볼 수 있도록 돕고 학교들이 개선을 위한 우선순위 영역을 확립하는 데 도움을 주기 위한 형식적인 연습으로 설계되었다. 

The framework is not designed as a summative exercise with a pre-determined pass mark, but rather a formative exercise to help schools take a critical look at their performance, progress,knowledge, skills and capacity towards social accountability,and assist schools in establishing priority areas for improvement. 

우리의 프레임워크는 의학 교육 표준을 평가하거나 인가를 위한 '틱 박스'로 사용하기 위한 것이 아니라, 중요한 개방적이고 정직한 품질 개선과 보건 전문 학교에 대한 상호 학습의 사용을 위한 희망적인 평가 도구라는 점에 주목해야 한다.

It is important to note, our framework is not designed to assess a medical education standard, or to use as a ‘tick box’ for accreditation, but is an aspirational evaluation tool for the use of critical open and honest quality improvement and mutual learning for health professional schools.

결론

Conclusions

SAHPE의 THEnet 평가 프레임워크는 보건전문학교가 사회적 책임에 대한 진행 상황을 평가하고 개선 영역을 식별할 수 있도록 하는 협력적인 작업이다.

The THEnet evaluation framework for SAHPE is a collaborative piece of work that allows health professional schools to evaluate their progress towards social accountability and identify areas for improvement.

Strasser R, Neusy A-J. 2010. Context counts: Training health workers in and for rural and remote areas. WHO Bull 88:777–782. 

Global Consensus for Social Accountability of Medical Schools. 2011. Global consensus for social accountability of medical schools. [Accessed 11June 2011] Available from http://www.healthsocialaccountability.org. 

Med Teach. 2013;35(1):32-45. doi: 10.3109/0142159X.2012.731106. Epub 2012 Oct 26.

Measuring social accountability in health professional education: development and internationalpilot testing of an evaluation framework.

역량과 마일스톤 기반의, 교육 연속체의 경계를 잇기 위한 EPA 프레임워크 개발(Acad Med, 2017)

Building a Framework of Entrustable Professional Activities, Supported by Competencies and Milestones, to Bridge the Educational Continuum

Carol Carraccio, MD, MA, Robert Englander, MD, MPH, Joseph Gilhooly, MD, Richard Mink, MD, MACM, Dena Hofkosh, MD, MEd, Michael A. Barone, MD, and Eric S. Holmboe,

ACGME(American Medical Colleges, AAMC)에 의한 성과 기반 학부 의료 교육(UME)의 기반으로서 ACGME(Accreditation Council for Council Education) 및 ABMS(American Board of Medical Specialties)의 6가지 핵심역량 채택, ACGME 및 FoABMS에 의한 인증(MOC)의 유지보수는 의학에서 학습과 평가의 원활한 연속성을 창출할 수 있는 전례 없는 기회를 제공했다.1–3

The adoption of the six core competencies of the Accreditation Council for Graduate Medical Education (ACGME) and the American Board of Medical Specialties (ABMS) as the foundation for outcomes-based undergraduate medical education (UME) by the Association of American Medical Colleges (AAMC), for graduate medical education (GME) by the ACGME, and for board certification as well as maintenance of certification (MOC) by the ABMS has provided an unprecedented opportunity to create a seamless continuum of learning and assessment in medicine.1–3

2005년 네덜란드에서 10개의 케이트6에 의해 처음 도입된 EPA는 UME와 GME 수준에서 의사 역량에 대한 의미 있는 평가를 위한 프레임워크로서 국제적으로 주목을 받고 있다.7–11 관측 가능한 작업의 측정 단위로서, EPA는 안전하고 효과적인 수행을 위해 역량 통합을 요구하는 특정 전문가 또는 하위 전문가의 중요한 일상 활동을 설명한다.

EPAs, first introduced by ten Cate6 in the Netherlands in 2005, are receiving increasing attention internationally as a framework for meaningful assessment of physician competence at both the UME and GME levels.7–11 As measureable units of observable work, EPAs describe important routine activities of a given specialist or subspecialist that require integration of competencies for safe and effective performance.

레지던트를 위한 전문 EPA가 개발되었으며, AAMC는 레지던트 수련 진입을 위한 핵심 EPA를 개발했다.7,9–11 수련 진입에 대한 핵심 EPA는 훈련생이 직접 감독 없이 레지던트 1일에 13개의 EPA를 수행할 수 있어야 한다는 기대를 세웠다.

Specialties have developed EPAs for residents, and the AAMC has developed Core EPAs for Entering Residency.7,9–11 The Core EPAs for Entering Residency set the expectation that trainees should be able to perform 13 EPAs on Day 1 of residency without direct supervision

소아과 커뮤니티는 EPA와 이정표의 두 가지 체계를 통합했다.14 이러한 통합은 UME에서 GME로, GME에서 실천으로 이어지는 교육 연속체 전반의 평가를 이끄는 경로를 제공한다.

The pediatrics community has integrated the two frameworks of EPAs and milestones.14 This integration provides a pathway that leads to assessment across the educational continuum from UME to GME and from GME to practice.

소아과 마일스톤 프로젝트

The Unfolding of the Pediatrics Milestone Project

2009년, ACGME와 미국소아학회(ABP)는 소아학계를 초청하여 소아학 이정표의 개발을 개시했다. 이 3년간의 노력의 지침 원칙, 과정 및 결과의 창조에 대해 이전에 설명한 바 있다.15 전체 소아과 이정표 문서는 학술 소아과 보충 자료로 발행된다.16

In 2009, the ACGME and the American Board of Pediatrics (ABP) invited the pediatrics community to initiate the development of the milestones for pediatrics. Creation of the guiding principles, process, and outcome of this three-year endeavor has previously been described.15 The full pediatrics milestone document is published as a supplement to Academic Pediatrics.16

요컨대 소아과 마일스톤는 초보 학습자(초기의 의대생)로 시작하여 연속체를 따라 진보된 초급자, 그 다음에는 유능한 학습자, 능숙한 학습자, 그리고 마지막으로 전문 학습자(수년간의 계획적 실습 후)로 나아가는 발달 연속체에 걸친 행동에 대한 서술이다. 역량(예: "환자에 대한 필수적이고 정확한 정보 수집")과 그에 따른 내러티브는 맥락에 독립적이므로 기술이 입증될 임상 환경이나 장차 만나게 될 환자의 복잡성까지 정의하지는 않는다.

In brief, the pediatrics milestones are narrative descriptions of behaviors across the developmental continuum beginning with a 

• novice learner (early medical student) and 

• progressing along the continuum to advanced beginner, 

• then to competent learner, 

• proficient learner, and, 

• finally, expert learner (after years of deliberate practice). 

The competencies (e.g., “gather essential and accurate information about the patient”) and thus their narratives are context independent and therefore do not define the complexity of the patient encounter or the clinical environment in which the skills will be demonstrated.

일반 소아과 EPA

Identifying General Pediatrics EPAs

EPA는 복수의 역량을 통합해야 하는 진료 제공에 집중함으로써, [임상의사가 평가하는 것]을 [실제 환경에서 수행하는 것]과 일치시켜 평가에 의미와 가치를 더한다.

By focusing on care delivery, which requires the integration of multiple competencies, EPAs align what clinicians assess with what they do in the authentic environment, adding meaning and value to assessment.

소아과 레지던트 대 실습 전환에 대한 바람직한 결과를 정의하는 17개 EPA의 마지막 첫 번째 반복은 차트 1과 2의 중간 열에 나타나며, 차트 1에는 6개가, 차트 2에는 나머지 11개가 있다.

The final first iterations of the 17 EPAs defining the desired outcomes for the pediatrics residency-to-practice transition appear in the middle columns of Charts 1 and 2, with 6 in Chart 1 and the remaining 11 in Chart 2.

Pangaro와 10 Cate18은 분석적, 합성성, 발달적의 세 가지로 분류할 수 있는 평가를 위한 개념적 프레임워크를 제안한다. 

• ACGME 역량은 핵심 영역을 역량의 더 상세한 설명으로 세분화하므로 분석적 프레임워크로 간주된다. 

• 마일스톤은 발달적 프레임워크의 한 예로서, 시간에 따른 단계의 논리적 진행을 나타낸다. 

• EPA는 복수의 역량 영역을 결합하는 합성적 프레임워크를 나타낸다.

Pangaro and ten Cate18 suggest conceptual frameworks for assessment that can be categorized as analytic, synthetic, or developmental. The ACGME competencies would be considered an analytic framework, breaking down core domains into further detailed descriptions of competencies. Milestones are an example of a developmental framework, representing a logical progression of steps over time. Finally, EPAs represent a synthetic framework that combines multiple domains of competence.

일단 확인되면 EPA는 해당 특정 EPA에 대한 위탁 의사결정에 중요한 역량과 이정표에 현명하게 매핑된다.19 소아과에서는 이 매핑 과정을 통해 특정 EPA와 해당 이정표에 대한 중요 역량의 행렬을 만든다(표 3 참조).

Once identified, EPAs are judiciously mapped to those competencies and milestones critical to making an entrustment decision for that specific EPA.19 Through this mapping process we create, for pediatrics, a matrix of the critical competencies for a given EPA and their respective milestones (see Chart 3).

차트 3에서 초보자 행동들은 두 번째 칸에 설명되어 있고, 세 번째 칸에는 진보된 초보자, 네 번째 칸에는 유능한 학습자, 다섯 번째 칸에는 능숙한 학습자, 여섯 번째 칸에는 전문가가 있다.

in Chart 3, the behaviors of the 

• novice are described in the second column, 

• advanced beginner in the third, 

• competent learner in the fourth, 

• proficient learner in the fifth, and 

• expert in the sixth column.

예를 들어, 차트 3의 세 번째 열에 있는 행동을 임상용 vignette로 통합하면 EPA를 수행하는 고급 초심자의 그림을 그릴 수 있다.

For example, integrating the behaviors in the third column of Chart 3 into a clinical vignette paints a picture of an advanced beginner performing the EPA.

각 칼럼의 행동에 의해 그려진 공유된 정신 모델은 학습자와 멘토 또는 학습자, 그리고 어떤 행동이 입증되었고 어떤 행동이 바람직한지에 대한 임상 역량 위원회 사이의 논의를 주춧돌로 만드는 앵커를 의미한다. 

The shared mental models painted by the behaviors in each column are meant to be anchors that frame a discussion between the learner and a mentor or the learner and a clinical competency committee around which behaviors have been demonstrated and which behaviors are desired. 

Regehr 등 20은 이 평가 전략에 대한 지원을 제공한다. 다섯 가지 성능 수준 각각에 대한 비디오 비그넷을 만드는 것은 EPA와 이정표를 평가하는 데 있어 교수진 개발을 위한 추가 도구를 제공한다.21

Regehr et al20 provide some support for this assessment strategy. Creating video vignettes of each of the five performance levels provides an additional tool for faculty development in the assessment of EPAs and milestones.21

소아과 이정표는 초기 의대생부터 진료를 마친 소아과 의사까지 연속적으로 걸쳐 있다는 점에서 특이했다. 따라서 전임의에게도 적용할 수 있는 성과 수준을 포함한다. 

The pediatrics milestones were unique in that they spanned the continuum from early medical students to practicing pediatricians, thus including performance levels applicable for fellows. 

소아과 세부전공을 위한 EPA

Identifying EPAs for the Pediatrics Subspecialties

2013년 3월, ABP는 CoPS(Council of Pediative Subscription)의 도움을 받아, ABP가 인증한 각 소아병 세부전공에서 교육 리더를 위한 워크숍을 소집하여 세부전공에 공통적인 EPA를 식별하였다.22

In March 2013, the ABP, with the help of the Council of Pediatric Subspecialties (CoPS), convened a workshop for education thought leaders from each of the ABP-certified pediatrics subspecialties to identify EPAs common to the subspecialties.22

이 그룹은 합의 과정을 통해 두 가지 공통 세부전공 EPA(차트 2와 3 참조)를 추가로 식별했으며, 하나는 해당 분야에서 리더가 되는 것이며, 다른 하나는 학술 활동에 관한 것이었다.

Through a consensus process, the group identified two additional common subspecialty EPAs (see Charts 2 and 3), 

• one on leading within the profession and 

• a second on scholarly activity.

UME-GME 연속체를 가로지르는 다리

The Bridge Across the UME-to-GME Continuum

소아과 EPA에 대한 연구가 시작된 직후, AAMC는 전공의 진입을 위한 핵심 EPA를 식별하기 위해 다원적 제도 패널을 구성했다.

Shortly after work began on the pediatrics EPAs, the AAMC constituted a multidisciplinary drafting panel to identify the Core EPAs for Entering Residency.

전공의 진입을 위한 핵심 EPA가 생기면서, 소아학계는 이제 모든 전공의를 위한 일반 소아학 EPA와 의대생을 위한 EPA를 연결하는 다리를 건설할 수 있는 기반시설을 갖추게 되었고, 이는 다시 전임의 과정을 위한 소아과 EPA와 연결된다.

With the creation of the Core EPAs for Entering Residency, the pediatrics community now had the infrastructure to build the bridge that connects EPAs for medical students with general pediatrics EPAs for all residents, which in turn connects to the pediatrics EPAs for fellowships.

EPA 목록의 검토는 직접 정렬을 보여주거나, [학생 EPA]가 [전공의 EPA]를 위한 빌딩 블록 역할을 하는 자연적 연관성을 보여준다. 다시 [전공의 EPA]는 [전임의 EPA]를 위한 빌딩 블록 역할을 한다. 학습과 평가의 연속을 가로지르는 이 다리는 하든과 스탬퍼24가 강조했던 것을 연상시킨다. "마지막 전체적인 목표가 달성될 때까지 매 방문마다 학생들의 역량이 증가하는" 나선형 커리큘럼의 가치.

Review of the lists of EPAs illustrates the natural linkages that represent either a direct alignment or where student EPAs serve as building blocks for residency EPAs, the latter serving as building blocks for fellowship EPAs . This bridge across the continuum of learning and assessment is reminiscent of what Harden and Stamper24 highlighted as the value of the “spiral curriculum,” where the “competence of students increases with each visit until the final overall objectives are achieved.”

잃어버린 고리: MOC를 GME EPA로

The Missing Link: Guiding MOC With GME EPAs

이러한 상황이 가능하다. 어떤 레지던트가 훈련을 마칠 때 17개의 모든 EPA를 수행하도록 위임받고 많은 수의 청소년 환자들을 돌보는 일반적 소아과 진료를 시작한다. 그런데 이들 중 많은 사람들은 불안 장애나 우울증으로 고생하고 있었다.

consider this scenario: A resident is entrusted to perform all 17 EPAs at the completion of training and enters a general pediatrics practice that cares for a large number of adolescent patients, many of whom are struggling with either an anxiety disorder or depression.

이 신규 전문의는 환자 진료에 필요한 숙련도와 전문성을 향해 계속 발달 궤적을 따라 움직이면 도움이 된다는 것을 깨닫는다. 이러한 관점에서 볼 때, EPA는 개인이 격차를 식별하고 그러한 격차를 채우기 위한 학습 활동을 모색하는 데 도움이 되는 실무에 대한 성찰에 초점을 둘 수 있다. 

The new practicing physician realizes that patients will benefit if he or she continues to move along the developmental trajectory toward proficiency and expertise. Seen in this light, EPAs may focus reflection on practice that helps individuals identify gaps and seek learning activities to fill those gaps. 

지속적인 전문 개발 및 MOC를 통한 개선에 대한 투자를 사용하여 의사의 경력에 걸쳐 체계적인 학습 과정을 촉진해야 한다. 훈련 중에 gap이 확인되면 개별화된 커리큘럼의 일부로 학습 활동을 시작하고 MOC로 계속 진행할 수 있다. 또한 의사의 경력으로 확인된 새로운 EPA가 있거나 범위의 변화가 있을 수 있다. 10 Cate et al.,25에 따르면, "위임 결정은... 그 EPA에 대한 practice가 없거나 너무 적다면 만료되어야 한다.."

Investment in improvement through continuous professional development and MOC should be used to facilitate a process of structured learning throughout a physician’s career. When gaps are identified during training, learning activities can be initiated as part of an individualized curriculum and continued into MOC. In addition, there may be new EPAs identified as a physician’s career evolves or changes in scope. According to ten Cate et al,25 “entrustment decisions should … have an expiration date if no or too little practice has occurred.”

역량기반 교육의 연속체를 향한 중요한 기여

The Critical Contributions of the Continuum to Competency-Based Education

레지던트와 펠로우를 위한 EPA는 실제 현장에서 기대하는 바를 기반으로 하며, 따라서 후진적 비전 프로세스를 사용하여 GME에 대한 기대와 결과를 설정한다. 따라서, 이러한 연속체가 UME와 GME의 작업을 실습 의사가 원하는 결과와 일치시킬 수 있다.

The EPAs for residents and fellows are based on what one expects in practice, and thus a backward-visioning process is used to set expectations and outcomes for GME.26 Thus, the continuum enables the alignment of the work of UME and GME with the desired outcomes for practicing physicians.

예를 들어, UME에서는 상황 인식, 질병 심각도, 조치 계획 및 우발적 계획뿐만 아니라 handover를 하거나 받는 사람으로서 효과적으로 관여할 수 있는 커뮤니케이션 기술(예: 환급 기술)을 포함하는 템플릿을 도입하여 핸드오버의 기반을 마련하는 것이 필수적이다. 이러한 기초적 기술 및 내용 지식은 GME 기간 동안 발전되어야 하며, 더 깊은 학습을 제공하고 궁극적으로는 위임할 준비를 제공하기 위해 이전에 있었던 것을 기반으로 강화해야 한다.

For example, in the UME setting it is essential to lay the foundation for handovers by introducing a template, which includes situation awareness, illness severity, action planning, and contingency planning as well as the communication skills to effectively engage as either a sender or a receiver of the handover (e.g., skill at readbacks). These foundational skills as well as content knowledge must be advanced during GME, building on and reinforcing what came before to provide deeper learning and ultimately readiness for entrustment.

다음 단계

Next Steps

ACGME의 전무이사를 지낸 데이비드 리치 박사는 이런 평가를 내렸다.

Dr. David Leach, a former executive director of the ACGME, said of assessment that it is

평가assessment는 여러 역량이 통합된integrated 버전에 의존하는 반면, 측정measurement은 역량의 특정speciated 버전에 의존한다. 이러한 역설은 쉽게 해결될 수 없다. 역량이 구체화될수록 전체whole와 관련성이 떨어진다.35

dependent on an integrated version of the competencies, whereas measurement relies on a speciated version of the competencies. The paradox cannot be resolved easily. The more the competencies are specified, the less relevant to the whole they become.35

교육 연속체에 걸친 EPA, 역량, 마일스톤의 통합은 이 역설의 해결을 위한 로드맵을 제공한다.

The integration of the EPAs, compe- tencies, and milestones across the educational continuum provides the road map to resolving this paradox.

18 Pangaro L, ten Cate O. Frameworks for learner assessment in medicine: AMEE guide no. 78. Med Teach. 2013;35:e1197–e1210.

Acad Med. 2017 Mar;92(3):324-330. doi: 10.1097/ACM.0000000000001141.

Building a Framework of Entrustable Professional Activities, Supported by Competencies and Milestones, to Bridge the Educational Continuum.

맥락적 교육과정: 메트릭스에서 배우고, 메트릭스로부터 배움(Acad Med, 2018)

The Contextual Curriculum: Learning in the Matrix, Learning From the Matrix

Brett Schrewe, MDCM, MA, Rachel H. Ellaway, PhD,

Christopher Watling, MD, MMEd, PhD, and Joanna Bates, MDCM

현대의학 학습자는 그 어느 때보다 광범위한 임상 환경에서 훈련한다.1 그러므로 의학 교육에서 맥락의 역할에 대한 근본적인 재평가가 필요하다.

Contemporary medical learners train in a broader range of clinical settings than ever before.1 There is a need, therefore, for a fundamental reappraisal of the role of context in medical education.

배경

Background

대부분의 중등교육은 대학 교실, 강의실, 실험실 등과 같은 비교적 표준화된 환경에서 이루어지는 반면, 임상 의학 교육은 의료 시스템의 복잡한 일상 현실에서 이루어진다. 병원 내에서 개별 부서와 단위가 작동하는 방식 간의 차이에도 불구하고, 최근까지도 의료훈련은 AHSC의 비교적 균일한 임상 컨텍스트 내에서 거의 전적으로 실시되었다.

Whereas most postsecondary education is situated in relatively standardized settings such as university classrooms, lecture theatres, and labs, clinical medical education takes place in the complex everyday realities of health care systems. Until recently, despite differences between the ways individual departments and units function within a hospital,5 medical training took place almost exclusively within the relatively homogeneous clinical contexts of AHSCs.

그러나 의학교육에서 AHSC의 지배력은 다음과 같은 이유로 도전을 받아왔다. 

• 급성 요양 병상 수 감소와 평균 입원 기간 감소, 

• 이전에 입원이 필요했던 조건의 외래환자 관리 강화, 

• 의사 인력 부족에 대처하고 지리적 대분배를 해결하기 위한 의과대학의 확대. 

• 인증 요건의 개정 

However, the dominance of the AHSC in medical education4 has been challenged by 

• reductions in the number of acute care beds and the average length of patient stay, 

• increased outpatient management of conditions that previously necessitated admission, 

• expansion of medical schools to meet physician manpower shortages and address geographic maldistribution, and 

• revisions of accreditation requirements.1,6 

이러한 변화는 generalism에 대한 요구 증가와 동시에 사회와 그들이 직면하게 될 사회의 모든 측면에 대한 의사들의 지속적인 훈련의 필요성과 일치한다.8–12

These changes coincide with increased calls for generalism7 and the persistent need to train doctors both in society and for all of the aspects of society they will encounter.8–12

AHSCs 이외의 지역에서 의료 훈련의 보급이 증가하고 있다. 실제로, 분산된 의료 교육은 급증했다. 6 지방 캠퍼스가 학문적 중심에서 멀리 떨어져 설립되었고, 종적 통합 임상실습은 의대 학생들을 그들의 임상실습 시기에 시골 지역사회에 배치하고, 그리고 의과대학이 점점 여러 주의 경계를 넘어 진행함으로써, 학습자를 지역사회 환경에 통합하고자 한다.

the increasing distribution of medical training outside of AHSCs. Indeed, distributed medical education has proliferated,6 with regional campuses being established far from academic centers,15 longitudinal integrated clerkships placing medical students in rural communities for their clerkship year,16 and medical schools increasingly crossing state and provincial lines to integrate learners into regional settings.17–19

AHSC 외부에서 의료 교육을 실시하더라도 동등한 교육 결과를 얻을 수 있음3,22,23

Conducting medical education outside of AHSCs can afford equivalent educational outcomes3,22,23

그러나 비 AHSC 훈련 컨텍스트가 이러한(또는 다른) 학습 결과를 가져오는 방식에서 선형 인과관계 또는 일관성을 가정할 수 없다.

However, we cannot assume linear causality or consistency in the ways that non-AHSC training contexts lead to these (or other) learning outcomes.

메트릭스로서 훈련 맥락

The Training Context as Matrix

환자

Patients

이 문맥 패턴은 특정한 맥락에서 보이는 환자의 인구학적 배경, 의학적 치료를 추구하는 이유, 그리고 개별 환자의 특성을 포함한다. 이 모든 것은 사이트마다 다를 수 있고 심지어 서로 가까운 곳에 있는 환자들도 포함된다.

This contextual pattern includes the demographic backgrounds of patients seen in a particular context, their reasons for seeking medical attention, and their individual characteristics, all of which can differ between sites, even those in close proximity to each other. 

예를 들어, [예비군 등 토착 환자의 높은 비율과 함께 환경에서 일하는 학습자]들은 다른 배경의 환자들을 서비스하는 인접 마을에서 훈련하는 동료들과 유사한 임상 기술을 개발할 수 있지만, 질적으로 다른 방식으로 그러한 기술을 수행하는 것을 배운다.29

For example, learners working in settings with a high proportion of Indigenous patients, such as on a reserve, may develop similar clinical skills to their colleagues training in an adjacent town that serves patients of a different background, but they learn to perform those skills in a qualitatively different fashion.29

진료

Practice

어떤 맥락에서든 의료행위에서 다음과 같은 것들이 의료행위의 맥락적 패턴에 포함된다.

• (학습자가 상호작용하고 질병 프로세스의 정신 모델을 개발하는) 급성 및 만성 임상 환자 문제의 다양성과 가변성 

• 사이트마다 현저하게 다를 수 있는 Allied 보건 전문가의 존재와 처리

The practices of medicine in any given context, ( ) are all included in the contextual pattern of practice. 

• the variety and variability of acute and chronic clinical patient problems with which learners interact and from which they develop mental models of disease processes, and 

• the presence and disposition of allied health professionals, which can differ significantly between sites, 

예를 들어, 지역 사이트에서 내과학을 배우는 사람들은 그들이 노출된 실습과 교육의 다른 범위 때문에 3차 치료 병원에서 훈련하는 것과 다른 기술을 가지고 나타날 수 있다.30 더 나아가, 소규모 현장의 학습자들은 그러한 맥락의 임상 관행에 상당한 영향을 미칠 수 있다.그것을 따르는 사람들의 경험과 기회를 변화시킴으로써.31

For example, those learning internal medicine at a regional site may emerge with differing skills from those training at a tertiary care teaching hospital because of the different scopes of practice and teaching to which they have been exposed.30 Further, learners at smaller sites can have a significant impact on that context’s clinical practice, thereby changing the experiences and opportunities of those who follow them.31

교육

Educational

물리적 환경

Physical

이 패턴은 원격성, 기후 및 계절적 변화를 포함하여 임상 훈련 컨텍스트의 물리적 설정을 반영하며, 모든 것은 현장마다 다를 수 있다. 

This pattern reflects the physical setting of a clinical training context, including its remoteness, its climate, and its seasonal variations, all of which can differ between sites.