Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

When I say … 상황 (Med Educ, 2021)
When I say … Situation
Alyssa Vass | Karen Adams

의학 교육의 '현황' 이슈의 맥락에서 '상황'이라는 용어를 돌아보면, 우리는 '상황'이라는 용어의 정의에 대해 덜 걱정하는 경향이 있고, 우리 분야의 상태가 그 상황에 의해 어떻게 정의되는지에 대해 더 걱정하는 경향이 있다. 호주, 뉴질랜드, 캐나다, 미국과 같은 정착민-식민지 국가에서는 의학교육의 '상황'이 식민지화되어 있는 것이 자명하다. 국지적으로는 식민지화는 다양한 방식으로 나타나지만, 본질적으로 '토지의 원래 소유자의 처분과 우리의 권리의 부인'이다. 그것은 종종 과거의 것으로 제시되곤 하지만, 이는 여전히 ['계속해서 토착민들을 억압하고 동화시키고 근절하는, 시스템적이고, 구조적인, 물리적, 인식론적, 존재론적 폭력의 현실']을 무시하는 것이다.

Reflecting on the term ‘situation’ in the context of Medical Education's ‘State of the Science’ issue we are less inclined to worry about the definition of the term ‘situation’ and more inclined to worry about how the state of our field is defined by its situation. In settler-colonial countries, such as Australia, New Zealand, Canada, and the United States, it is self-evident that the ‘situation’ of medical education is colonised. While colonisation manifests in various localised ways, it is essentially ‘the dispossession of the original owners of the land and the denial of our rights’.1(p1) It is often presented as a thing of the past, ignoring the reality of ongoing ‘systemic, structural, physical, epistemic and ontological violence [which] continue to oppress, assimilate and eradicate Indigenous peoples’.2(p438)

[식민지화 상황]은 의료 교육 전달의 기본 맥락으로 다뤄지고자 시도되기는 커녕, 필요한 것으로 거의 인정되지 않는다. 이것은 식민지주의가 종종 정상화되고 베일에 싸여 해체를 막는 것과 관련이 있을 수 있다. 원주민과 동맹국들은 의료 교육의 변화를 전략적으로 주도했지만, 식민지화된 맥락은 [원주민, 원주민 콘텐츠, 원주민 인식론 및 존재론]의 포용에 계속 저항하고 있다. 여기서 우리는 우리가 어떻게 더 잘 나아갈 수 있는지에 대한 생각을 제공하기 위해 이것이 사실인 여러 가지 방법을 검토한다.
Addressing the situation of colonisation as a foundational context of medical education delivery is rarely acknowledged as necessary, let alone attempted. This is likely related to colonialism often being normalised and veiled, preventing its deconstruction. Indigenous peoples and allies have strategically manoeuvred changes in medical education, yet the colonised context continues to resist the inclusion of Indigenous peoples, Indigenous content, and Indigenous epistemologies and ontologies. Here we review a number of the ways in which this is true to offer thoughts as to how we might better move forward.

많은 곳에서 원주민들이 의학 교육에 들어갈 수 있게 된 것은 최근 수십 년 동안의 일일 뿐이다. 포용을 향한 이러한 긍정적인 조치에도 불구하고, 대부분의 기관은 동등한 수의 원주민 학생을 선발하는 것뿐만 아니라 졸업까지 학생들을 유지하기 위해 계속해서 고군분투하고 있으며, 이는 [원주민 학자와 의료 종사자의 대표성이 낮은 교육 및 의료 기관]으로 이어진다. 입학하자마자, 원주민 학생들과 의사들은 흔히 '당신은 여기서 환영받지 못합니다'라는 결과적인 메시지와 함께 인종차별을 당한다.
It is only in recent decades that Indigenous people have been allowed into medical education in many places. Despite these positive steps towards inclusion, most institutions continue to struggle to not only select equitable numbers of Indigenous students but to retain students to graduation, leading to education and healthcare institutions with under-representation of Indigenous academics and medical practitioners. Upon gaining entry, Indigenous students and doctors are commonly subjected to racism with a consequent message ‘you are not welcome here’.

식민지화 과정에서 [비원주민에게 부여된 권한과 특권]은 비원주민 교육자들이 의학교육과 교육과정을 소유할 수 있도록 하며, 무엇이, 어디에, 어떻게 원주민 콘텐츠가 포함될지를 통제한다. 이는 교육과정이라는 부동산을 위한 끊임없는 싸움에서 분명히 나타나며, [원주민 건강]은 흔히 [핵심 사업의 일부가 아닌 부가적인 주제]로 간주된다. 원주민 보건 커리큘럼 프레임워크와 인증 기준이 포함되도록 의무화하고 있음에도 불구하고, 교실에서, 주로 비 원주민인 교육자들은 이 내용을 계속 가르치지 않는다.3 이러한 교육적 소외는 원주민들이 의도적으로 빼앗고 배제하려는 의도로 사회 변방에 붙잡혔던 과거의 반향이다.
The power and privileges granted to non-Indigenous people by the processes of colonisation enable non-Indigenous educators to possess medical education and the curriculum, controlling what, where and how Indigenous content will be included. This is plainly seen in the constant battle for curriculum real estate, with Indigenous health largely considered an add-on subject that is not part of core business. Even with the presence of Indigenous health curriculum frameworks and accreditation standards mandating its inclusion, in the classroom, educators who are predominantly non-Indigenous continue to not teach this content.3 This curricular marginalisation is an echo of the past, whereby Indigenous people were purposely held on the fringes of society with intent to dispossess and exclude.

또한 '근대의학은 식민주의의 역사를 바탕으로 한 서양의 지식구조에서 근대 의학을 뒷받침하는 과학적 사고의 유형이 나왔다는 점에서 [식민지적 유물]'이라고 할 수 있다. 이것을 분명하게 보여주는 한 가지는, [지배적인 식민지 내러티브]에서 [토착민들에게 부과된 불평등]이 마치 [문화적 차이에서 비롯된 것]이라는 입장을 취하는 것이다. 토착 학자들은 이 접근법을 원주민 '타자other'에게는 도움이 되지 않는 [식민지 선점colonial pre-occupation]이라고 규정하며, 그 대신 '인종성을 형성하고 생산하는 학문적 지식과 우리 존재의 조건을 모두 분석하는 [인식론적 전환]'을 권고한다. 이 접근 방식은 식민지 과정이 사람, 사회 및 제도 내에서 어떻게 발생하는지에 대한 현대의 비판적 검토를 지지한다. 중요한 것은, 이렇게 하려면 식민지 규범에 대해 행동하고 바꾸는 방법을 가르쳐야 한다.
Additionally, ‘modern medicine is a colonial artefact in the sense that the type of scientific thinking that underpins modern medicine emerged from western knowledge structures based on a history of colonialism’.4(p2) One way in which this is evident, is that the dominant colonial narrative positions inequities imposed upon Indigenous peoples as arising from cultural differences. Indigenous scholarship identifies this approach as an unhelpful colonial pre-occupation with the Indigenous ‘other’, instead recommending ‘an epistemological shift away from designating Indigenous people as objects of study to analyzing both the conditions of our existence and the disciplinary knowledges that shape and produce Indigeneity’.1(p xvii) This approach champions a contemporary critical examination of how colonial processes occur within people, society and institutions. Importantly, it involves teaching ways to act and change the colonial norm.

[보편적이고 표준화된 객관적인 의학 교육 인식론]의 경향과의 긴장이 존재한다. 이러한 교육은 학습과 학습, 반사성, 비판적 의식 형성의 순환을 필요로 하기 때문이다.6 그것은 교수와 평가에서 의학 '전문가'와 '표준'의 개념에 도전한다. 대신, 이러한 기술 집합은 '의학의 예술' 또는 의료 인문학과 일치한다(그리고 비판적 사고, 공감, 옹호, 환자-힘있는 사람으로서의 개념, 교차성, 치유/전체적 치료, 전문적 정체성 형성 등에 수반됨). 이것들은 의대 졸업자들에게 [필수적인 것]으로 여겨지지만, 종종 그 자체로 소외되기도 한다. 여기에는 [원주민 지식]이 [의학교육 인식론 개선]에 기여할 기회가 있지만, 서구 의료 교육 기관들은 계속해서 이를 소외시키고 부재하며 무시하여 스스로를 해치고 있다.
In tension with the tendency towards a universal, standardised and objective medical education epistemology,5 such education requires cycles of learning and unlearning, reflexivity, and critical consciousness building.6 That challenges the notions of medical ‘expert’ and ‘standard’ in teaching and assessment. In their place, these skill-sets align with the ‘art of medicine’ or medical humanities (and accompanying notions of critical thinking, empathy, advocacy, patients-as-powerful, intersectionality, healing/holistic care, professional identity formation, etc.) that are seen as essential for medical graduates, yet are often marginalised in their own right. There is opportunity here for Indigenous knowledges to contribute towards an improved medical education epistemology, yet Western medical education institutions continue to marginalise, absent, and ignore this to their detriment.

의료교육에서 [원주민의 인식론과 존재론을 특권화하는 것]은 필연적으로 학생과 후배 의사가 배우는 학문과 의료 환경에 걸친 의료교육 설계에서 공정하고 의미 있는 파트너십을 창출해야 할 것이다. 교육 과정 위원회에 원주민 대표라는 토큰을 가지고 있거나 외부에서 기여하는 제한된 수의 원주민 학자들이 존재하는 것 이상으로, 그것은 더 깊은 전략적, 이론 및 증거 정보를 가진 협력 모델을 필요로 한다.
Privileging Indigenous epistemologies and ontologies in medical education will inevitably require the creation of equitable and meaningful partnerships in the very design of medical education across academic and healthcare environments where students and junior doctors learn. More than having a token Indigenous representative on a curriculum committee or presence of a limited number of Indigenous academics contributing from the sidelines, it requires a deeper strategic, theory—and evidence—informed, collaborative model.

이것은 근본적인 변화로 이어질 수 있다. 식민지화를 다루는 것은 '식민주의의 억압적인 작전에 맞닥뜨리는 실제 투쟁과 씨름하는 것'에 관여하는 것을 포함한다. 비 원주민들을 위한 이러한 [변혁적 공간의 불확실성에 대한 불편함]은 상당할 수 있지만, 그것을 외면하는 것은 특권의 영구화이다.
This may well lead to foundational shifts. Addressing colonisation involves engagement in ‘an initial realisation or awareness of one's position within the colonial matrix of power followed by … a grappling with real-life struggles that are encountered in confronting the oppressive operations’ of colonialism4(p2; emphasis in original). While discomfort with uncertainty in this transformational space for non-Indigenous people may be significant, it is a perpetuation of privilege to turn from it.

긴급히 재정비할 필요가 있다. 의료 교육 기관에서의 식민지화를 다루지 않는 것의 심오하고 피할 수 없는 결과는, 우리가 [의료 제공에서 그것을 다루지 못한다]는 것이다. 졸업생들은 잘 해봐야 [원주민의 진보와 참여를 가로막는 추상적 장벽]인 [식민지화의 관점]을 가지고 노동력에 진입하며, 드물게 그들 자신과 변혁이 필요한 우리의 의료 시스템에 내재된 자질로서 진입한다. 그들은 원주민의 지역적이고 살아있는 경험에 대한 피상적인 이해와 그들, 우리의 의료 시스템 및 원주민 사이의 문화적, 언어적 다양성에 대응하고 탐색하는 방법에 대한 한정된 기술만을 가질 것이다. 그들의 학습-학습은 서양 인식론의 영역에 확고하게 남아 있으며, 토착 인식론이 역량과 기술의 발전을 주도할 기회는 거의 경험하지 못한다.
There is an urgent need to reframe. The profound and inescapable consequence of not addressing colonisation in medical education institutions is that we fail to address it in healthcare delivery. Graduates enter the workforce with, at best, a view of colonisation that is an abstract barrier to Indigenous progress and participation, and rarely as a quality inherent in themselves and our health care systems that needs transformation. They have a superficial understanding of the local, lived experiences of Indigenous people and limited skill in how to respond to and navigate the cultural and linguistic diversity between themselves, our health care systems, and Indigenous peoples. Their learning-about-learning remains firmly in the domain of Western epistemology, and the opportunity for Indigenous epistemologies to drive the development of competencies and skills is rarely experienced.

의학 교육은 우리 기관들과 우리 지역사회에서 탈식민지화를 위한 강력한 힘이 될 수 있는 기회를 가지고 있다. 그러나 우리는 먼저 우리의 상황이 식민지화되었다는 것을 인정해야 한다.

Medical education has opportunity to become a powerful force for de-colonisation in our institutions, and our communities. But we must first acknowledge, that our situation is colonised.

When I say … Situation

PMID: 34668217

DOI: 10.1111/medu.14680

의대생들에게 가르치는 것 가르치기: 내러티브 리뷰와 문헌에 기반한 권고(Acad Med, 2022)
Teaching Medical Students to Teach: A Narrative Review and Literature-Informed Recommendations for Student-as-Teacher Curricula
Alexandra Cohen, MDCM, Yvonne Steinert, PhD, and Elisa Ruano Cea, MDCM, MHPE

의료 훈련생은 훈련의 초기 단계에서 동료와 학습자를 가르치는 데 중요한 역할을 한다. [가르치는 역량]이 선천적인 것이 아닌 만큼 교육생들이 효과적인 교사가 되기 위해서는 교수 능력을 습득하고 발전시킬 수 있는 기회를 가져야 한다. 교육생들의 교직역할을 위한 준비의 중요성은 PGME(Postgradian Medical Education)에서 잘 확립되어 있으며, 여기서 전공의-교사 교육과정이 일반적으로 설명되고 시행되고 있다. 대조적으로, 대부분의 학부 의학 교육(UME) 프로그램에도 불구하고, 공식적인 교수 기술 훈련은 드물게 제공된다. 놀랄 것도 없이, 의대생들은 교사로서의 현재와 미래의 역할 모두에 대해 준비가 덜 되어 있다고 느끼고 있다고 한다. 

Medical trainees play a crucial role in teaching peers and learners at earlier stages in their training. 1,2 As the capacity to teach is not innate, trainees must have the opportunity to acquire and develop their teaching skills to become effective teachers. 3 The importance of preparing trainees for their teaching roles is well established in postgraduate medical education (PGME), where resident-as-teacher curricula have commonly been described and implemented. 4 In contrast, despite most undergraduate medical education (UME) programs engaging students in teaching roles, formal teaching skills training is infrequently provided. 5–7 Not surprisingly, medical students have reported feeling ill-prepared for both their current and future roles as teachers. 1

현재 전 세계적으로 역량 기반 의료 교육(CBME)으로의 전환은 또한 의과대학이 UME에서 교수 기술 훈련을 강화할 필요성을 지지한다. 특히, CBME는 학습자가 훈련 연속체를 따라 점진적으로 배열된 다양한 기술을 수행하는 데 역량을 보여줄 것을 요구한다.  의대생들이 교육을 진행하면서 맡게 되는 다양한 교육 책임과 PGME 초기에 전공의들이 종종 떠맡는 주요 교육 역할을 고려할 때, 학부 수준에서 공식적인 교육 기술 교육을 도입하는 것이 교육생들의 미래 책임에 더 적절하게 대비할 수 있을 것이다.
The current worldwide shift toward competency-based medical education (CBME) also supports the need for medical schools to enhance teaching skills training in UME. Specifically, CBME calls for learners to demonstrate competence in performing a variety of skills sequenced progressively along the training continuum. 8 Given the various teaching responsibilities assumed by medical students as they progress in their training and the key teaching roles that residents often assume early in PGME, 1,2 introducing formal teaching skills training at the undergraduate level would more adequately prepare trainees for their future responsibilities.

우리가 아는 한, Dandavino 등이 10년 전에 작성한 검토 기사 하나를 제외하고, CBME의 맥락에서 의대 학생들에게 이 주제를 가르치거나 검토하는 방법에 대한 포괄적인 권고를 하지 않았다. 더욱이, 학생 교사(SaT) 교육과정을 검토한 다른 두 출판물은 특히 UME에서 공식적인 교육 기술 교육에 집중하지 않았다. 그들은 또한 학생들이 어떠한 공식적인 준비도 받지 않고 교사 역할을 맡는 커리큘럼을 포함했기 때문이다.

To our knowledge, with the exception of one review article written over a decade ago by Dandavino et al, 3 no publications have made comprehensive recommendations for how to teach medical students to teach or examined this topic in the context of CBME. Moreover, the 2 other publications that have reviewed student-as-teacher (SaT) curricula 9,10 did not focus specifically on formal teaching skills training in UME, as they also included curricula wherein students assumed a teaching role without receiving any prior formal preparation.

문헌의 현재 상태에 비추어, 우리는 다음과 같은 질문을 제기했다. 의학 교육자들은 어떻게 하면 UME에서 PGME까지 연속체를 따라 교육자 역할을 위해 훈련생들을 가장 잘 준비할 수 있을까? 이 문제를 해결하기 위해 CBME의 맥락에서 SaT 커리큘럼 개발을 위한 문헌 정보 권장 사항을 제안하는 것을 목표로 공식적인 교수 기술 교육을 통합한 SaT 문헌을 종합적으로 합성하기 위한 서술적 검토를 실시했다.
In light of the current state of the literature, we posed the following question: How can medical educators best prepare trainees for their teaching roles along the UME to PGME continuum? To address this question, we conducted a narrative review 11–13 to comprehensively synthesize the SaT literature that incorporates formal teaching skills training, with the goal of proposing literature-informed recommendations for SaT curriculum development within the context of CBME.

방법
Method

이 섹션에서는 이 내러티브 리뷰를 위한 검색 전략 및 선택 과정, 포함 및 제외 기준, 데이터 추상화 및 합성에 대해 설명한다. 
In this section, we describe the search strategy and selection process, inclusion and exclusion criteria, and data abstraction and synthesis for this narrative review. 11–13

검색 전략 및 선택 과정
Search strategy and selection process

2020년 1월, 우리는 "학생을 선생님으로", "근접 동료 교육", "가르치기 위한 교육" 및 "가르치기 위한 교육"이라는 문구를 사용하여 Medline 및 Embase 데이터베이스를 검색했다. 또한 (의대생* 또는 연수생* 또는 학부생*) adj (교사 또는 교수), (학생* 또는 의대* 또는 학부* 또는 연수생*) adj (학습*) (교육, 의학, 학부) [MeSH] 또는 "학생, 의학] (MeSH) 및 ("교사 교육" [MeSH])을 사용했습니다.또한 검색을 통해 발견된 주요 기사를 사용하여 스코푸스에서 전방 인용 검색을 수행했다. 우리는 2020년 8월에 검색을 반복하여 그 사이에 발표된 관련 기사를 포함시켰다.
In January 2020, we searched the Medline and Embase databases using the phrases: “student(s) as teacher(s),” “near-peer teaching,” “teaching to teach,” and “teaching how to teach.” We also used the following search strings: (medical student* or trainee* or undergraduate*) adj (teacher or teach or teaching), (student* or medical student* or undergraduate* or trainee*) adj (learn* to teach*), and (“education, medical, undergraduate” [Medical Subject Headings (MeSH)] or “students, medical” [MeSH]) and (“teacher training” [MeSH]). In addition, we conducted a forward citation search in Scopus using key articles found through our search. We repeated our search (see Supplemental Digital Appendix 1 at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B229) in August 2020 to include any relevant articles published in the intervening months.

두 명의 저자(A.C.와 E.R.C.)는 독립적으로 모든 기사의 제목과 초록을 검토하고 필요할 때 전면적으로 검토했다. 그들은 관련 기사를 선정하기 위해 아래에 설명된 포함 및 제외 기준을 적용하였고, 토론을 통해 분쟁을 해결하고, 필요할 경우 다른 저자(Y.S.)와 협의를 통해 해결하였다.
Two authors (A.C. and E.R.C.) independently reviewed the titles and abstracts of all articles and reviewed them in full when necessary. They applied the inclusion and exclusion criteria described below to select relevant articles, resolving disputes through discussion, and when necessary, through consultation with the other author (Y.S.).

포함 및 제외 기준
Inclusion and exclusion criteria

우리는 1985년에서 2020년 사이에 출판된 동료 검토 저널에서 의대 학생들을 위한 공식적인 교수 기술 훈련 주제를 다루는 영어 논문은 1985년에서 2020년 사이에 출판되었다. 우리는 SaT 문헌을 가능한 한 종합적으로 검토하고 지난 35년 동안 이 분야의 성장을 포착하기 위해 이 기간을 선택했습니다. 우리는 논평과 의견 기사를 배제했고, 학생들이 의료 교육생들을 가르치는 것과 무관한 기술을 가르치고 있는 연구는 제외했다. 우리는 또한 공식적인 교수 기술 교육이 없는 상태에서 근접 피어 교육이 이루어졌거나 제공된 교육이 설명되지 않은 연구를 제외했다. 선별된 기사를 모두 읽었으며, 참조 목록에서 포함 기준을 충족하는 추가 논문이 식별되었다.
We selected for review English-language papers in peer-reviewed journals published between 1985 and 2020 that addressed the topic of formal teaching skills training for medical students. We chose this time frame to review the SaT literature as comprehensively as possible and to capture the growth in this area over the past 35 years. We excluded commentaries and opinion pieces, as well as studies in which students were being taught skills unrelated to teaching medical trainees. We also excluded studies in which near-peer teaching took place in the absence of formal teaching skills training or in which the training provided was not described. Selected articles were read in full and additional papers meeting inclusion criteria were identified from their reference lists.

데이터 추상화 및 합성
Data abstraction and synthesis

두 명의 저자(A.C.와 E.R.C.)는 개입의 대상 독자, 기간, 커리큘럼 내용, 교수 및 평가 방법, 주요 보고 결과 등 관련 데이터를 추출하기 위해 포함 기준을 충족하는 모든 기사를 독립적으로 읽었다. 저자들은 또한 프로그램 평가를 위해 업데이트된 Kirkpatrick 모델을 사용하여 개별 SaT 개입의 결과를 분류했다. 그런 다음 모든 저자는 모든 연구 결과를 종합하고 CBME 문헌과 기타 결과 기반 교육 프레임워크를 통합하여 UME의 SaT 커리큘럼에 대한 구현 전략을 알렸다.

Two authors (A.C. and E.R.C.) independently read all articles that met the inclusion criteria to extract relevant data, such as the intervention’s target audience, duration, curriculum content, teaching and assessment methods, and key reported findings. The authors also categorized the outcomes of individual SaT interventions using the updated Kirkpatrick model for program evaluation. 14 All authors then synthesized all findings and integrated the CBME literature and other outcome-based educational frameworks to inform implementation strategies for SaT curricula in UME.

결과.
Results

중복을 제거한 후, 총 1,473개의 글이 우리의 문헌검색전략을 통해 확인되었으며, 이 중 43개의 글은 제목과 요약에 대한 철저한 검토와 함께 선정된 기사의 참조목록에 대한 검토를 거쳐 검토기준을 충족하였다(그림 1 참조). 이 중 33개는 다양한 의과대학에서 시행되는 특정 SaT 커리큘럼을 설명하고 평가하였다(부록 1 참조). 나머지 글에는 문헌 검토 3건, 의과대학 교수진 지도부 또는 의대생 설문조사 6건, 델파이 연구 1건 등이 포함됐다.
After duplicates were removed, a total of 1,473 articles were identified using our literature search strategy, of which 43 articles met the review criteria following a thorough examination of titles and abstracts, as well as a review of the selected articles’ reference lists (see Figure 1). Of these, 33 described and evaluated specific SaT curricula implemented at various medical schools (see Appendix 1). 15–47 The remaining articles included 3 literature reviews, 3,9,10 6 surveys of medical school faculty leadership or medical students, 5–7,48–50 and 1 Delphi study. 51

본 서사 검토 결과를 (1) UME의 SaT 커리큘럼 개요와 (2) SaT 커리큘럼 내용, 교수 양식 및 평가 방법의 두 부분으로 나누었다.
We divided the findings of this narrative review into 2 sections:

• (1) overview of SaT curricula in UME and
• (2) SaT curriculum content, teaching modalities, and assessment methods.

UME의 SaT 커리큘럼 개요
Overview of SaT curricula in UME

UME에서 SaT 커리큘럼의 보급률과 특성은 의과대학 교수 리더십에 대한 3개의 전국 설문조사에서 설명되었다. 대부분의 의과대학(89%–100%)은 학생들을 교사로 고용하지만(예: 동료 교사 또는 소규모 그룹 촉진자) 정규 교수 기술 교육은 덜 자주 제공된다(44%–82%). 더욱이, 그러한 훈련은 일반적으로 [본질적으로 선택적]이며, 대부분 상급생(즉, 의과대학 3학년 이상의 학생)에게 제공된다. 또한, 3개 국가 설문 조사 모두 시간 제약, 인력 제한, 주요 이해 관계자들에게 프로그램의 가치를 납득시키는 어려움, 학생 관심 부족 인식 등 [교육과정 구현에 대한 장벽]을 확인했다.

The prevalence and characteristics of SaT curricula in UME have been described in 3 national surveys of medical schools’ faculty leadership. 5–7 While most medical schools (89%–100%) engage their students as teachers (e.g., as peer tutors or small-group facilitators), formal teaching skills training is less frequently provided (44%–82%). Moreover, such training is usually optional in nature and is mostly offered to senior students (i.e., students in their third or higher year of medical school training). In addition, all 3 national surveys identified barriers to curriculum implementation, including time constraints, staffing limitations, difficulty in convincing key stakeholders of the program’s value, and perceived lack of student interest.

교수 기술 훈련은 6개 대륙의 의대생들을 대상으로 한 국제 설문 조사에서도 탐구되었다. 이 조사에서 응답자의 67%가 교사 역할(가장 일반적으로 P2P 상호 작용에서)에 참여한다고 답한 반면, 32%만이 교수 기술 교육을 받았다고 답했습니다. 교육 기술 교육은 고소득 국가(61%)에 비해 특히 중저소득 국가(82%)에서 가장 자주 강제적이지 않았다. 학생들이 교사 역할에 대해 스스로 보고한 준비는 사전 교육을 받은 것과도 관련이 있었다.
Teaching skills training was also explored in an international survey of medical students across 6 continents. 48 In this survey, while 67% of respondents reported engaging in the teacher role (most commonly in peer-to-peer interactions), only 32% reported having received teaching skills training. When offered, teaching skills training was most often noncompulsory, particularly in low- to middle-income countries (82%) as compared with high-income countries (61%). Students’ self-reported preparedness for the teacher role was also associated with having received prior training.

부록 1에 요약된 바와 같이 공식 교수 기술 교육을 제공한 33개의 발표된 SaT 커리큘럼을 검토할 때 유사한 결과가 확인되었다. 이러한 커리큘럼의 대부분은 상급 의대생(25/33)을 위해 개발되었으며, 본질적으로 선택 사항(27/33)이었다. 대부분의 커리큘럼은 [짧은 과정]으로 설명되었지만, 7개의 커리큘럼은 종단적인 경험으로 개발되었습니다. 이러한 종적 교육과정 중 2개는 의과대학 4년 전 과정에 걸쳐 진행되었으며, 나머지 5개는 3개월에서 2년까지 다양한 기간에 걸쳐 실시되었다. 저자들은 종단적인 과정 전달을 학생들이 과정 내용을 더 잘 동화시키고, 교수 기술을 연습하며, 교사로서의 역량을 키울 수 있는 유용한 전략으로 설명했다. 중요한 것은, 모든 저자들이 의대 학생들의 교사로서의 역할에 대한 준비를 강화할 필요성을 강조했다는 것이다. 

Similar findings were identified when reviewing the 33 published SaT curricula that provided formal teaching skills training, as summarized in Appendix 1. 15–47 The majority of these curricula were developed for senior medical students (25/33) 16,19–21,23–29,32,34–44,46,47 and were optional (27/33) 15,18,20–27,29–37,39–46 in nature. Most curricula were described as short courses, though 7 were developed as longitudinal experiences. 17,25,33,37,40,43,45 Of these longitudinal curricula, 2 spanned all 4 years of medical school, 17,33 and the remaining 5 were delivered over various periods of time, ranging from 3 months to 2 years. 25,37,40,43,45 The authors described longitudinal course delivery as a useful strategy for students to better assimilate the course content, practice their teaching skills, and develop their competence as teachers. 25,45 Importantly, all authors highlighted the need to enhance medical students’ preparation for their roles as teachers. 15–47

프로그램 평가를 위해 업데이트된 Kirkpatrick 모델의 4개 수준을 사용하여 발표된 33개 SaT 커리큘럼의 결과를 요약했다(그림 2 참조). 가장 일반적으로 측정된 결과는 학생 학습(레벨 2)이었다.

• 리액션(레벨 1)과 관련하여 교육생들은 자신의 학습경험에 대한 만족도를 보고했으며, 교수기술교육과정 참여를 높게 평가했다. 
  
• 학생 학습(레벨 2)과 관련된 조사 결과에는 다음이 포함되었습니다. 
  • 교육 원리에 대한 지식 증가
    
  • 미래의 교사 역할에 대한 자신감과 준비성의 향상 
    
  • 학문적 의학에서의 직업에 대한 이해나 관심을 증가
• 행동의 변화(수준 3)는 자기보고가 가장 흔했다.
  • 7개의 연구에서, 학생들은 교수 기술의 향상을 보고했고,
  • 3개의 연구에서, 그들은 수업 자료를 그들의 교수실습에 적용했다고 보고했다.  
  • 8개 연구에서는 후배 학습자 및 교직원 감독관이 학생들의 교수능력을 높게 평가하였으며,
  • 1개 연구에서는 객관적 구조화 교수접촉(OSTe)에서 향상된 성과를 보였다.
• 결과(레벨 4)는 2개 연구에서 탐색하였고,
  • 1개만이 학생의 학습자에게 긍정적인 영향을 미치는 것으로 나타났다.
  • 어떤 연구도 교수 기술 훈련이 학생 교사의 학습 능력에 미치는 영향을 조사하지 않았다.

Using the 4 levels of the updated Kirkpatrick model for program evaluation, 14 we summarized the outcomes of the 33 published SaT curricula (see Figure 2). The most commonly measured outcome was student learning (level 2). 15,17,20–22,24–29,33,36,37,40–43,45,46 

• With regard to reaction (level 1), trainees reported satisfaction with their learning experiences and highly valued participating in a teaching skills training course. 16,17,19,21–23,25,26,28,32,35,37,39,41,44,45,47 
• Findings pertaining to student learning (level 2) included
  • increased knowledge about teaching principles 15,17,42,45,46;
  • enhanced self-perceptions of confidence and preparedness for future teaching roles 15,20–22,24–29,33,37,40,42,45; and
  • increased understanding of, or interest in, careers in academic medicine. 20,22,24,36,41,43 
• Changes in behavior (level 3) were most frequently self-reported. 15,18,20,22,24,33,39,45,46 
  • In 7 studies, students reported improvements in their teaching skills, 18,20,24,33,39,45,46 and
  • in 3, they reported having applied the course material to their teaching practices. 15,22,46 
  • In 8 studies, students’ teaching skills were rated highly by junior learners and/or faculty supervisors, 27,30,31,34,41,42,44,47 and
  • in 1 study, students demonstrated improved performance on an objective structured teaching encounter (OSTE). 22 
• Results (level 4) were explored in 2 studies, 25,30 with only 1 documenting a positive impact on the students’ learners. 30 No studies examined the impact of teaching skills training on the student teachers’ abilities to learn.

이러한 결과는 이 서술적 검토에서 확인된 세 가지 검토 기사의 결과와 일치하며, 가장 흔히 보고된 결과는 [높은 학생 만족도]와 [과정 이수 후 스스로 생각하는 교수 기술 향상]이었다. 이러한 검토는 또한 학생들의 교수 기술 평가를 포함하여 커리큘럼 결과를 더 잘 평가할 필요가 있음을 강조했습니다.

These findings align with those of the 3 review articles identified in this narrative review, 3,9,10 whose most commonly reported outcomes included high student satisfaction and self-perceived improvement in teaching skills following course completion. These reviews also highlighted the need to better evaluate curricular outcomes, including assessing students’ teaching skills.

SaT 커리큘럼 내용, 교수 양식 및 평가 방법
SaT curriculum content, teaching modalities, and assessment methods

커리큘럼 내용.
Curriculum content.

문헌에 대한 우리의 검토는 SaT 커리큘럼 콘텐츠에 대한 다양한 이해 관계자들의 통찰력을 제공하는 많은 기사를 확인했다. 캐나다 의대생들을 대상으로 실시한 설문조사에서 수련자들은 다음의 교육 기술을 배우는데 관심이 있는 것으로 나타났다.  

• 침대 머리맡 교육, 신체 검사 기술 가르치기, 소그룹 편의화, 멘토링 등

미국의 4학년 의대생들을 대상으로 실시한 또 다른 설문조사는 3가지 주제를 우선순위로 꼽았다.  

• 피드백 제공, 문제해결 가르치기, 토론 리드하기 등 

Our review of the literature identified a number of articles that provide insights from different stakeholders regarding SaT curriculum content. 3,6,7,49–51 A survey conducted among Canadian medical students identified trainees’ interest in being taught the following teaching skills:

• bedside teaching, teaching physical examination skills, small-group facilitation, and mentorship. 50 

Another survey, conducted among senior medical students in the United States, identified the following 3 topics as priorities:

• providing feedback, teaching problem-solving, and leading discussions. 49

국가 델파이 연구에서, 미국의 의료 교육자 패널은 SaT 커리큘럼에 필수적이라고 여겨지는 5가지 콘텐츠 영역을 식별했습니다:

• 침대 옆 교수와 임상 지도, 소그룹 교육, 사례 기반 교육, 피드백 제공, 의료 교육자로서의 전문직업성

In a national Delphi study, a panel of medical educators in the United States identified 5 content areas believed to be essential for SaT curricula:

• bedside teaching and clinical precepting, small-group teaching, case-based teaching, providing feedback, and professionalism as a medical educator. 51 

문헌 검토에서, Dandavino et al. SaT 커리큘럼의 3가지 권장 목표: 

• (1) 학생들에게 교육의 기본 원칙과 효과적인 가르침에 대한 지식을 제공
  
• (2) 학생들의 교육 기술과 교육 전략 사용(예: 프레젠테이션, 선도적인 소규모 그룹, 임상 교육)을 향상
  
• (3) 교육에 대한 긍정적인 태도를 육성한다(예: 교사 역할의 중요성 인식).

In their review of the literature, Dandavino et al 3 recommended 3 key SaT curricular objectives:

• (1) to provide students with knowledge about the basic principles of education and effective teaching,
• (2) to improve students’ education skills and their use of teaching strategies (e.g., giving presentations, leading small groups, clinical teaching), and
• (3) to foster positive attitudes toward teaching (e.g., recognizing the importance of the teacher role).

교직원 리더십 설문조사를 통해 파악된 가장 일반적인 교육과정 내용 영역은 소그룹 촉진, 성인학습의 원칙, 효과적인 피드백 제공이었다. 마찬가지로, 발표된 SaT 커리큘럼에 일반적으로 통합된 주제에는 소그룹 촉진, 임상 교수, 성인 학습 이론, 피드백 및 평가가 포함되었다. 

The most common curriculum content areas identified through faculty leadership surveys were small-group facilitation, principles of adult learning, and providing effective feedback. 6,7 Similarly, topics commonly incorporated into the published SaT curricula included small-group facilitation, clinical teaching, adult learning theory, and feedback and evaluation. 15–47

교육 방식.
Teaching modalities.

이 검토의 제한된 수의 기사들은 SaT 커리큘럼에 가장 적합한 교육 방식에 대한 구체적인 권고안을 제시했습니다. 단다비노 등은 강의, 소그룹 토론, 온라인 모듈, 역할극 활동을 잠재적 교수양식으로 제시했다.
A limited number of articles in this review made specific recommendations regarding the teaching modalities that are best suited for SaT curricula. 3,5–7 Dandavino et al 3 suggested lectures, small-group discussions, online modules, and role play activities as potential teaching modalities.

3개의 교수진 리더십 설문조사에 따르면, 일반적인 교수 방식은 소그룹 업무, 강의, 역할극을 포함했다. 5-7 발표된 SaT 커리큘럼 중 교육 방식은 상당히 다양했으며,

> 특히 소규모 그룹 토론(14/33)과 강의 세션(14/33)이 일반적이었다. 이들 연구 중 3개 연구에서 학생들은 일방향 강의에 비해 대화형 학습(예: 소그룹 활동)을 선호하는 것으로 나타났다.

> 또한, 일부 커리큘럼은 역할극 활동(11/33), 성찰 연습(8/33), 워크숍(6/33), 온라인 모듈 및 자원(5/33), 학술 또는 교육 프로젝트(4/33) 및 교직원 관찰을 통한 학습(4/33)을 포함했다.

> 주니어 교육생들을 가르치는 실제 경험은 출판된 커리큘럼의 약 82%(27/33)의 구성 요소였다.  학생 교사들은 이러한 경험적 학습에 특별한 감사를 표시했으며, 많은 경우 교직원, 동료 및/또는 학생들의 학습자의 피드백과 결합되었다. 

According to 3 faculty leadership surveys, common teaching modalities included small-group work, lectures, and role play. 5–7 Of the published SaT curricula, teaching modalities varied significantly,

• with small-group discussions (14/33) 16,20–25,28,29,32,42,44,45,47 and
• didactic sessions (14/33) 15,18,25–31,34–37,44 being particularly common.

In 3 of these studies, students expressed a preference for interactive learning (e.g., small-group activities) as compared with didactic lectures. 20,29,45 In addition, some curricula involved

• role play activities (11/33), 16,22,23,25,28,30,31,34,37,41,47 
• reflective exercises (8/33), 17,19,22,24,25,45–47 
• workshops (6/33), 27,33,35,42,43,46 
• online modules and resources (5/33), 17,19,20,29,41 
• scholarly or teaching projects (4/33), 15,22,32,33 and
• learning through the observation of faculty teachers (4/33). 22,29,32,39 

Practical experience in teaching junior trainees was a component of approximately 82% of the published curricula (27/33). 15,17–20,23–27,29–34,36–39,41–47 Student teachers indicated a particular appreciation for this experiential learning, 22,33,37–39,45,47 which in a number of cases was coupled with feedback from faculty members, peers, and/or the students’ learners. 15,17,19,20,23–25,27,29,31–33,36,38,39,43–45,47

평가 방법.
Assessment methods.

많은 평가 방법이 사용되었지만, 이 검토의 단 2개의 논문만이 의대생들의 교수 능력을 평가하기 위한 최선의 방법을 명시적으로 논의하였다.

• Dandavino 등은 [자기평가 도구, 필기시험 문제, 학생들의 학습자의 피드백, 그리고 학생 교사의 관찰(예: OSTE)의 조합]을 통해 학습을 평가해야 한다고 제안했다.
• 마찬가지로, Marton 외 9는 검토에서 [교육 기술을 OEST를 통해 평가하고, 숙련된 교수진의 관찰, 설문조사를 통한 학생 학습자의 피드백]을 통해 평가해야 한다고 권고했다.

이러한 방법의 한계도 강조되었는데, 여기에는 OEST의 비용과 시간이 많이 소요되는 특성, 학생들을 관찰하는 데 시간을 기꺼이 바치려는 교수진의 모집, 열악한 설문 응답률 등이 포함된다. 
Although many assessment methods have been used, only 2 articles in this review explicitly discussed the best methods for assessing the teaching skills of medical students. 3,9 

• Dandavino et al 3 suggested that learning be assessed through a combination of self-assessment instruments, written examination questions, feedback from the students’ learners, and observation of the student teachers (e.g., OSTEs).
• Similarly, in their review, Marton et al 9 recommended that teaching skills be assessed through OSTEs, observation by experienced faculty staff, and feedback from the students’ learners through the use of surveys.

Limitations of these methods were also highlighted, including the cost and time-consuming nature of OSTEs, the recruitment of faculty members willing to dedicate time to observing students, and poor survey response rates. 9

교수진 리더십에 대한 설문조사에 따르면 학생들의 교수 능력에 대한 평가는 매우 다양하다. 5-7 미국에서는 대부분의 교육 기술 교육 커리큘럼(95%)이 학생들의 교육 기술 평가를 포함하지만, 호주 프로그램의 36%에 대해서만 같은 말을 할 수 있다. 평가 방법 또한 다양하며, 학생들의 학습자의 피드백, 가르침에 대한 직접적인 관찰, 성찰 작업, 그리고 자기 평가 설문지를 포함한다. 또한 발표된 SaT 커리큘럼 중 직접 관찰(실시간, 비디오 테이프 교육 세션을 통한 또는 시뮬레이션된 환경에서)이 학생들의 교육 기술 평가 방법으로서 가장 많이 보고되었다. 이러한 직접적인 관찰에 수반되는 피드백은 학생 교사들에 의해 가치 있는 과정 구성 요소라고 추가로 설명되었다. 

According to surveys of faculty leadership, the assessment of students’ teaching skills is highly variable. 5–7 While in the United States, most teaching skills training curricula (95%) include the assessment of students’ teaching skills, the same can be said for only 36% of Australian programs. 5,7 Methods of assessment also vary and include feedback from the students’ learners, direct observation of teaching, reflective work, and self-assessment questionnaires. 6,7 Moreover, of the published SaT curricula, direct observation (in real-time, through video-taped teaching sessions, or in a simulated environment) was the most commonly reported assessment method of students’ teaching skills. 15,17,19,20,22–27,29–33,35,36,38,39,43–45,47 The feedback accompanying this direct observation was additionally described by student teachers to be a valued course component. 29,33,38,44

논의
Discussion

본 서사 검토의 목적은 현재 UME에서 [공식적 교수teaching 기술 교육]에 대해 알려진 내용을 탐색하여 SaT 커리큘럼 개발에 대한 정보를 제공하는 데 있었다. 우리의 연구 결과는 의대생들이 종종 교수 역할에 참여하지만, [공식적 교수 기술 교육]은 덜 자주 제공된다는 것을 확인시켜 준다. 교사 역할을 위한 준비를 제공하는 SaT 커리큘럼 중 대부분은 의대 4학년 학생들을 대상으로 하며 선택 과목이다. 또한, 이러한 커리큘럼의 약 5분의 1만이 종단적으로 전달되지만, 저자는 교육생들이 교재를 흡수하고, 교수 기술을 연습하고, 교사로서 역량을 키우는데 확장된 형식이 유용하다고 제안한다.

• SaT 커리큘럼의 다양한 이점이 보고되었으며, 성과로는 긍정적인 학생 반응, 미래의 교사 역할에 대한 자신감 및 준비성 강화, 학술academic 진로에 대한 관심 증가 등이 있다.
• 커리큘럼 구현에 대한 잠재적 장벽에는 시간 제약, 인력 제한, 프로그램의 가치에 대한 이해 관계자의 설득의 어려움, 학생 관심 부족이 포함된다.

또한, 기존 SaT 문헌은 SaT 커리큘럼 내용에 대한 다양한 이해 관계자의 통찰력을 제공하지만, 교수 양식 및 평가 방법과 관련된 모범 사례에 대한 출판은 적다.
The goal of this narrative review was to explore what is currently known about formal teaching skills training in UME to inform SaT curriculum development. Our findings confirm that while medical students often engage in teaching roles, formal teaching skills training is less frequently provided. Of the SaT curricula that provide preparation for the teacher role, most target senior medical students and are elective courses. Moreover, although only about one-fifth of these curricula are delivered longitudinally, authors suggest that an extended format is useful for trainees to assimilate the material, practice their teaching skills, and develop competence as teachers.

• Various benefits of SaT curricula have been reported, and findings include positive student reaction, enhanced self-reported confidence and preparedness for future teaching roles, and increased interest in pursuing an academic career. 15–47 
• Potential barriers to curriculum implementation include time constraints, staffing limitations, difficulty in convincing stakeholders of the program’s value, and perceived lack of student interest. 5–7 

In addition, although the existing SaT literature provides insights from various stakeholders regarding SaT curriculum content, less has been published regarding best practices with respect to teaching modalities and assessment methods.

우리의 연구는 저자들이 포괄적인 SaT 커리큘럼 권장사항의 예비 세트를 제공하는 Dandavino 등의 2007년 문헌 검토를 기반으로 한다. 우리는 그 사이에 발표된 SaT 커리큘럼뿐만 아니라 델파이 연구 및 이해관계자 조사와 같은 커리큘럼 권장 사항을 풍부하게 하는 다른 UME 중심 기사를 포함함으로써 그들의 문헌 검색을 확장했다. 우리의 연구 결과를 바탕으로, 우리는 CBME의 원칙에 부합하고 결과 기반 교육 프레임워크에 의해 정보를 제공하는 SaT 커리큘럼 개발을 위한 전략을 제안한다. 보다 구체적으로, 우리는 SaT 커리큘럼 채택에 관심이 있는 이해관계자 그룹이 고려할 수 있는 커리큘럼 내용, 교육 양식 및 평가 방법에 대한 권고사항뿐만 아니라 SaT 커리큘럼에 대한 4가지 가이드 원칙을 제안한다.

Our work builds on Dandavino et al’s 3 2007 review of the literature, in which the authors provide a preliminary set of comprehensive SaT curricular recommendations. We have expanded on their literature search by including SaT curricula published in the intervening years, as well as other UME-focused articles that enrich our curricular recommendations, such as a Delphi study and stakeholder surveys. 5–7,48–51 Based on our findings, we propose strategies for SaT curriculum development, which are aligned with the principles of CBME and informed by outcome-based educational frameworks. 8,52–54 More specifically, we propose 4 guiding principles for SaT curricula, as well as recommendations regarding curriculum content, teaching modalities, and assessment methods, which may be considered by stakeholder groups interested in adopting SaT curricula.

SaT 커리큘럼을 위한 가이드 원칙
Guiding principles for SaT curricula

SaT 커리큘럼에 대해 제안하는 4가지 지침 원칙은 다음과 같습니다.

The 4 guiding principles we propose for SaT curricula are:

1. 교수 기술 훈련은 UME 수준에서 공식적으로 시행되어야 하며, 가능할 때마다 필수 커리큘럼 구성 요소가 되어야 한다. UME 프로그램이 일상적으로 학생들을 교사 역할에 참여시킨다는 증거에도 불구하고, 학생들은 종종 공식적으로 교육적 책임teaching responsibilities에 대한 준비가 되어 있지 않다. 우리의 문헌 검토에서 확인된 대부분의 SaT 커리큘럼은 선택 과목으로 제공되었다. 일부 UME 인증 기관이 교육을 훈련 기대치로 확인했다는 점을 감안할 때, 이 교육을 선택적으로 제공하거나 사전 교육 없이 학생들을 교사 역할에 참여시키는 것은 미래의 교사 역할에 대한 광범위한 준비를 보장하지 않는다. 또한, 교수직은 의무교육생이 대학원 연수 초기에 반드시 수행해야 하는 [의무적 책무]라는 점에서 학부 수준에서 이 분야에 대한 기초적 기술을 부여하는 것이 중요하다. CBME의 원칙에 따르면, 프로그램은 교육생들이 그들이 맡을 다양한 역할에 적절하게 준비되도록 보장할 책임이 있으며, 따라서 교수 기술 훈련은 이상적으로 UME 커리큘럼의 필수 구성 요소가 되어야 한다.
   
2. Teaching skills training should be formally implemented at the UME level and should, whenever possible, be a compulsory curricular component. Despite evidence that UME programs routinely engage students in teaching roles, students are often not formally prepared for their teaching responsibilities. 5–7,48 Most SaT curricula identified in our literature review were offered as elective courses. Given that some UME accrediting bodies have identified teaching as a training expectation, 52–54 providing this training optionally or engaging students in teaching roles without prior training does not ensure widespread preparedness for future teaching roles. 3,5,7,16,28,47 Moreover, imparting foundational skills in this area at the undergraduate level is relevant given that teaching is a mandatory responsibility that medical trainees must undertake early in postgraduate training. 3,4 According to the principles of CBME, programs have the responsibility of ensuring that trainees are adequately prepared for the various roles that they will assume, 8 and as such, teaching skills training should ideally be a mandatory component of UME curricula.
3. 교수 기술은 UME에서 PGME까지 연속체를 따라 종단적으로 그리고 점진적으로 가르쳐야 한다. 문헌에 기술된 대부분의 SaT 커리큘럼은 상급생에게만 제공되고 짧은 과정으로 제공되었지만, 그러한 커리큘럼은 이상적으로 의과대학의 모든 해에 걸쳐 있어야 한다. CBME 원칙에 따라, SaT 커리큘럼은 종단 연속체를 따라 점진적으로 배열된 다양한 교육 기술을 포함해야 하며, 따라서 trainee가 훈련을 진행하면서 겪을 것이라 가정하는 다양한 교육 역할을 반영해야 한다. 종단적 접근은 또한 교육 개념의 동화를 촉진하고 교육자가 교육 기술을 연마함에 따라 자신감을 형성할 수 있다. 25,45 예를 들어, 학생들에게 피드백을 제공하도록 가르치는 것은 효과적인 피드백의 이론과 원리에 대한 소개로 시작할 수 있다. 이후 세션에서는 다양한 환경에서 피드백을 제공하기 위한 다양한 전략을 다루어 교육생들이 레지던시를 시작할 때 이 책임을 더 잘 준비할 수 있도록 할 수 있습니다. undergraduate teaching skill 훈련 목표를 postgraduate teaching의 기대와 일치시키는 것 또한 3개의 발표된 SaT 커리큘럼의 저자들에 의해 목표로 강조되었다. 이러한 이상은 ACGME (Creditation Council for Graduate Medical Education) 후원 기관 2025 태스크 포스의 지지를 받고 있으며, PGME에 대한 미래 비전은 의과대학과 레지던트 간의 정렬을 강화하고 원활한 전환을 장려한다. 이 비전 내에서 UME 커리큘럼에 공식적으로 교수 기술 교육을 통합하면 대학원 교육이 보다 고급스럽고 전문화된 교수 역량을 목표로 삼을 수 있습니다.  
   
4. Teaching skills should be taught longitudinally and progressively along the UME to PGME continuum. While most of the SaT curricula described in the literature were only delivered to senior students and were offered as short courses, such curricula should ideally span all years of medical school. 3,33,45 In line with CBME principles, SaT curricula should include a variety of teaching skills sequenced progressively along a longitudinal continuum, thus reflecting the different teaching roles that trainees assume as they progress in their training. 55 A longitudinal approach can also foster the assimilation of teaching concepts and build trainees’ confidence as they hone their teaching skills. 25,45 For example, teaching students to provide feedback could begin with an introduction to the theory and principles of effective feedback. A later session could address various strategies for providing feedback in different settings such that trainees would be better prepared for this responsibility upon beginning residency. Aligning undergraduate teaching skills training objectives with postgraduate teaching expectations was also highlighted as a goal by the authors of 3 published SaT curricula. 19,28,37 This ideal is supported by the Accreditation Council for Graduate Medical Education (ACGME) Sponsoring Institution 2025 Task Force, whose future vision for PGME encourages increased alignment and a smoother transition between medical school and residency. 56 Within this vision, formally integrating teaching skills training in UME curricula could allow postgraduate training to target more advanced, specialty-specific teaching competencies. 7
5. SaT 커리큘럼 내용은 학교의 기존 커리큘럼 및 지역 맥락과 일치해야 한다. 내용은 의과대학의 교육과정 구조와 시간적으로 관련이 있어야 한다. 적절하고 상황에 맞는 기술을 가르치는 것은 교육생들이 훈련에서 특정 시간에 수행해야 할 교육 역할에 대비하는 데 도움이 될 것이다. 예를 들어, 특정 학교의 의대생들이 소그룹 리더가 될 것으로 예상된다면, 그들이 이러한 역할에 참여하기 전에 소그룹을 이끄는 것과 관련된 SaT 커리큘럼 내용을 가르쳐야 한다. 마찬가지로, 임상 교습과 관련된 전략은 임상 로테이션과 근접하게 배치하는 것이 가장 좋다. 또한, 학교의 기존 커리큘럼 내에서 SaT 이니셔티브를 통합할 수 있는 기회를 식별하면 시간 제약과 교직원 및 교육생 매수 등 구현에 대한 알려진 장벽을 해결하는 데 도움이 될 수 있다.
   
6. SaT curriculum content should be aligned with a school’s preexisting curriculum and local context. Content should be temporally relevant to the structure of a medical school’s curriculum. Teaching pertinent and context-appropriate skills will help prepare trainees for the teaching roles they are expected to fulfill at specific times in their training. 3,28,57 For example, if medical students at a particular school are expected to be small-group leaders, then the SaT curriculum content relevant to leading small groups should be taught prior to them engaging in these roles. Similarly, strategies related to clinical teaching would be best placed proximal to clinical rotations. Furthermore, identifying opportunities to integrate SaT initiatives within a school’s existing curriculum could help address known barriers to implementation, namely, time constraints and faculty and trainee buy-in. 5–7
7. 학생들이 교사 역할에 참여할 수 있는 [진정한 기회]가 SaT 커리큘럼에 통합되어야 한다. 경험 및 업무 기반 학습에 관한 문헌 57,58은 의대 학생들이 미래에 이러한 기술을 수행할 자연 환경을 밀접하게 반영하는 활동에 참여함으로써 이상적으로 학습 성과를 달성한다는 것을 시사한다. 실용적인 교수 경험은 많은 SaT 커리큘럼에 통합되었고 의대생들에게 가치 있는 것으로 알려져 있다. 이러한 경험적 학습을 촉진하는 진정한 교수 기회는 교육생들이 새롭게 습득한 기술에 대해 연습하고 피드백을 받을 수 있도록 정기적으로 SaT 커리큘럼에 통합되어야 한다.
   
8. Authentic opportunities for students to engage in teaching roles should be incorporated into SaT curricula. The literature on experience- and work-based learning 57,58 suggests that medical student learning outcomes are ideally attained through participation in activities that closely reflect the natural environment in which they will be performing these skills in the future. Practical teaching experiences have been integrated into many SaT curricula 15,17–20,23–27,29–34,36–39,41–47 and are known to be valued by medical students. 22,33,37–39,45,47 These authentic teaching opportunities, which promote experiential learning, should be routinely incorporated into SaT curricula so trainees can practice and receive feedback on their newly acquired skills.

커리큘럼 내용, 교육 양식 및 평가 방법에 대한 권장 사항
Recommendations for curriculum content, teaching modalities, and assessment methods

커리큘럼 내용.
Curriculum content.

SaT 커리큘럼 내용은 여러 이해관계자의 관점에서 문헌에서 탐구되었다. 교수 기술 훈련에 대한 기대도 다양한 수준으로 UME 및 PGME 결과 기반 프레임워크에 통합되었습니다. 예를 들어, UME 수준에서 스코틀랜드 의사 프레임워크(스코틀랜드)와 내일 의사 프레임워크(영국)는 교육 결과에 교사 역할을 포함하지만 커리큘럼 내용에 대한 특정 권장 사항을 제공하지는 않는다. 미국의학교육연락위원회와 캐나다의학대학원 인가위원회는 모두 standards를 통해 의학생을 감독하거나 가르치는 사람(예: 전공의, 대학원생, 박사후 펠로우)이 "교습 및 평가에서 자신의 역할에 대해 준비되어야" 하며, 의과대학은 이러한 기술을 향상시킬 수 있는 자원을 제공해야 한다고 명시하고 있다. 그러나 이러한 표준은 의대생을 명시적으로 교사로 지칭하지 않으며 [특정 커리큘럼 권장사항]을 알릴 수 있는 지침을 포함하지 않는다.
SaT curriculum content has been explored in the literature from the perspectives of multiple stakeholders. 3,5,7,15–47,49,50 Expectations for teaching skills training have also been incorporated, to various degrees, into UME and PGME outcome-based frameworks. For example, at the UME level, the Scottish Doctor framework (Scotland) 54 and the Tomorrow’s Doctors framework (United Kingdom) 53 include the teacher role in their training outcomes, though they do not provide specific recommendations regarding curriculum content. Both the Liaison Committee on Medical Education in the United States and the Committee on Accreditation of Canadian Medical Schools in Canada indicate in their standards that individuals who supervise or teach medical students (e.g., residents, graduate students, postdoctoral fellows) should be “prepared for their roles in teaching and assessment” and that the medical school should provide resources to enhance these skills. 59,60 These standards, however, do not explicitly refer to medical students as teachers and do not include guidelines that could inform specific curricular recommendations.

PGME 수준에서 미국의 ACGME는 Outcome Project 내에 [전공의의 교수자 역할]과 관련된 훈련 기대치를 포함하지만, 이러한 기대치는 여러 역량에 포함되므로 교수 기술 커리큘럼 개발에 대한 제한된 input만을 제공한다. 이와는 대조적으로, 캐나다 왕립 의과대학(Royal College of Canada)의 CanMEDs 프레임워크는 전 세계의 많은 학부 및 대학원 의학 프로그램에 채택되어 왔으며, 교육생들이 Scholar role에서 졸업 전에 달성해야 하는 명확한 교수 역량을 개략적으로 설명하고 있다. 구체적으로, CanMEDs scholar role의 역량에는 다음이 있다.

• 학습 활동 계획 및 전달,
• 피드백 제공,
• 학습자와 교사 평가 및 프로그램 평가,
• 환자와 학습자를 위한 안전한 환경 촉진,
• 역할 모델링 

At the PGME level, while the ACGME in the United States includes training expectations related to the resident’s teacher role within their Outcome Project, these are embedded within several of their competencies and therefore provide limited input for the development of teaching skills curricula. 61 In contrast, the CanMEDS framework of the Royal College of Physicians and Surgeons of Canada, which has been adopted by many undergraduate and postgraduate medical programs worldwide, 52,62 outlines clear teaching competencies that trainees must attain before graduation under the scholar role. Specifically, the competencies of the CanMEDS scholar role include

• planning and delivering a learning activity,
• providing feedback,
• assessing learners and teachers and evaluating programs,
• promoting a safe environment for patients and learners, and
• role modeling. 52

도표 1에서는 주요 이해관계자가 제안한 SaT 커리큘럼 내용을 요약한다. 특히 의학교육자 및 의대생들이 제안하는 SaT 커리큘럼 내용은 대부분 CanMEDs 장학사 역할역량인 피드백 제공 및 학습활동 계획 및 전달에 포함된다. 또한 위에서 언급한 바와 같이, CanMEDs 프레임워크는 학습자와 교사를 평가하고 환자와 학습자를 위한 안전한 환경을 촉진하는 것을 포함한다. UME 훈련 목표를 기존 PGME 역량과 일치시키기 위한 목적으로, 우리는 이러한 주제에 대한 소개를 SaT 커리큘럼에 포함할 것을 제안한다.

In Chart 1, we summarize the SaT curriculum content that has been proposed by key stakeholders. Notably, most of the SaT curriculum content suggested by medical educators and medical students is encompassed within the CanMEDS scholar role competencies of providing feedback and planning and delivering a learning activity. Additionally, as noted above, the CanMEDS framework includes assessing learners and teachers and promoting a safe environment for patients and learners; with the goal of aligning UME training objectives with existing PGME competencies, we suggest that an introduction to these topics be included in SaT curricula.

[역할 모델링]은 CanMEDs 학자 역할에서 제안된 또 다른 콘텐츠 영역이다. UME에서 교육 역할 모델링에 대한 문헌은 희박하지만, 전공의 롤모델은 초기 교육 단계에서 학습자 훈련에서 핵심적인 역할을 하는 것으로 밝혀졌다. 전공의에게 능동적 롤모델링을 가르치는 것도 그들의 임상 교수 기술을 향상시키는 방법으로 제안되었다. 따라서, UME 수준에서 이 기술을 가르치는 것은 학생들이 동료 역할 모델로서의 현재 위치와 [전공의 롤모델]로서의 미래 위치에 대비하는 데 적절할 것이다. 
Role modeling is another content area proposed in the CanMEDS scholar role. 52 While the literature about teaching role modeling in UME is sparse, resident role models have been found to play a key role in the training of learners at earlier educational stages. 63 Teaching active role modeling to residents has also been suggested as a way to improve their clinical teaching skills. 64 As such, teaching this skill set at the UME level would be pertinent to prepare students for their current positions as peer role models and their future positions as resident role models. 25,65

의학교육자와 의대생 50명이 추가로 제안한 주제로는 의학교육자로서의 전문직업성, 멘토링 등이 포함됐다. 이 두 가지 개념은 미래 교육자로서 교육생의 정체성 형성에 역할을 하는 것으로 부각되었으며, 따라서 SaT 교육과정에 포함시키는 데 가치가 있을 것이다. 의대생들이 멘토 역할을 할 수 있도록 준비해야 할 필요성은 내일의 의사 프레임워크에서도 뒷받침된다. 
Additional topics proposed by medical educators 51 and medical students 50 included professionalism as a medical educator and mentorship. These 2 concepts were highlighted as playing a role in trainees’ identity formation as future educators, and as such, would be worthwhile for inclusion in SaT curricula. 46 The need to prepare medical students for their roles as mentors is also supported by the Tomorrow’s Doctors framework. 53

따라서 SaT 커리큘럼에 포함시킬 수 있는 다음 5가지 콘텐츠 영역을 권장합니다. 

• (1) 학습 활동 계획 및 제공 
  
• (2) 피드백 제공
  
• (3) 교사와 학습자 평가
  
• (4) 안전한 학습 환경 촉진 
  
• (5) 의료 교육자로서 역할 모델링, 멘토링 및 전문직업성.

We therefore recommend the following 5 content areas for inclusion in SaT curricula:

• (1) planning and delivering a learning activity;
• (2) providing feedback;
• (3) assessing teachers and learners;
• (4) promoting a safe learning environment; and
• (5) role modeling, mentorship, and professionalism as a medical educator.

교육 방식.
Teaching modalities.

이 검토의 연구는 의대 학생들이 SaT 과정에 대해 대화형 교수 전략(예: 소그룹 활동)을 선호한다고 보고했지만, 추가적인 증거는 학생들이 일방향 강의식 세션이 아닌 소그룹에서 자료를 가르칠 때 자기주도적 학습자가 되고 시험에서 더 나은 성과를 낸다는 것을 나타낸다. 이 리뷰에서 학생들은 또한 SaT 과정에 통합된 실질적인 교수 기회에 감사를 표했다. 이 전략은 경험 및 업무 기반 학습 문헌에 의해 더욱 뒷받침되는데, 이는 학생들에게 교수 경험을 제공하는 것이 그들이 그들의 교수 기술을 적용하고 통합하는 데 도움이 된다는 것을 나타낸다. 또한 실습경험과 의미있는 피드백 및 성찰을 결합하여 학생들의 학습을 향상시키는 것으로 나타났다.
 
While the studies in this review have reported that medical students prefer interactive teaching strategies (e.g., small-group activities) for their SaT courses, 20,29,45 additional evidence indicates that students become self-directed learners and perform better on examinations when material is taught in small groups rather than didactic sessions. 66,67 In this review, students also expressed appreciation for the practical teaching opportunities that were integrated into their SaT courses 22,33,37–39,45,47; this strategy is further supported by the experience- and work-based learning literature, which indicates that providing students with teaching experience helps them apply and consolidate their teaching skills. 57,58 Furthermore, coupling practical experience with meaningful feedback and reflection has been shown to enhance students’ learning. 17,19,24,25,45–47,57,68

따라서 우리는 [피드백과 성찰 기회가 내장된 진정한authentic 실습 교육 경험]뿐만 아니라, [소규모 그룹 토론, 대화형 강의 및 역할극 활동]과 같은 [다양한 상호작용형 교육 방식]을 통해 SaT 커리큘럼 콘텐츠를 학습할 것을 권장합니다. 이러한 권고안은 온라인 교육 및 학습을 향한 중요한 피벗이 있던 시기인 글로벌 팬데믹 동안 작성되었으므로 69 우리는 또한 과정 전달을 위해 웹 기반 모듈과 온라인 플랫폼을 고려할 것을 제안한다.

We therefore recommend that SaT curriculum content be learned through a variety of interactive teaching modalities, such as small-group discussions, interactive lectures, and role play activities, as well as authentic hands-on teaching experiences with built-in opportunities for feedback and reflection. As these recommendations were written during a global pandemic, a time in which there has been a significant pivot toward online teaching and learning, 69 we also suggest that web-based modules and online platforms be considered for course delivery.

평가 방법.
Assessment methods.

우리가 아는 한, 발표된 SaT 커리큘럼에 다양한 평가 방법이 사용되었지만, 의대 학생들의 교수 기술을 평가하기 위한 모범 사례를 명시적으로 평가한 연구는 없다. 그러나 이전 검토에서는 OSTE, 학생 교사의 직접 관찰, 학생의 학습자가 제공하는 피드백 및 자체 평가 도구를 사용할 것을 제안했다. PGME 수준에서 커버데일 등은 많은 자가 관리 설문지가 전공의의 교육 기술을 평가하는 유효하고 신뢰할 수 있는 수단이 될 수 있지만, 이러한 설문지는 교사와 학습자 사이의 복잡한 상호작용을 포착하지 못한다고 주장했다. 저자들은 최종적으로 OSTE가 가장 엄격하고 신뢰할 수 있는 평가 방법이라는 결론을 내렸다. 그러나 OSTE의 재정적 비용과 관리 부담은 고려해야 할 한계이다. 대안적 접근법은 교육생의 교육 기술을 직접 관찰하여 평가하는 것이 될 수 있으며, 이는 시기적절하고 효과적인 피드백과 결합되어 CBME 문헌에서 유용한 평가 방법으로 강조되었다.
To our knowledge, although a variety of assessment methods have been used in the published SaT curricula, no study has explicitly evaluated best practices for assessing medical students’ teaching skills. However, previous reviews have suggested using OSTEs, direct observation of student teachers, feedback provided by the students’ learners, and self-assessment instruments. 3,9 At the PGME level, Coverdale et al 70 argued that while many self-administered questionnaires may be valid and reliable means of assessing residents’ teaching skills, these questionnaires do not capture the complex interplay between teachers and learners. The authors ultimately concluded that the OSTE was the most rigorous and reliable assessment method. The financial costs and administrative burdens of OSTEs are, however, limitations which need to be taken into account. 9 An alternative approach could be to assess trainees’ teaching skills by direct observation, which coupled with timely and effective feedback, has been highlighted as a useful assessment method in the CBME literature. 8

따라서 우리는 OSTE 또는 다른 형태의 직접 관찰을 학생들의 교육 기술 평가에 포함할 것을 권고한다. 이러한 평가 전략을 교직원과 학생들의 학습자 모두의 피드백으로 보완하는 것도 도움이 될 것입니다.
We therefore recommend that OSTEs or other forms of direct observation be included in the assessment of students’ teaching skills. Supplementing these assessment strategies with feedback from both faculty members and the students’ learners would also be beneficial.

제한 사항
Limitations

이러한 검토는 비교적 적은 수의 관련 연구로 제한되는데, 이는 공식적인 교수 기술 훈련을 포함하는 SaT 커리큘럼을 가진 모든 의과대학이 자신의 경험을 설명하는 기사를 출판하는 것은 아니라는 사실로 설명할 수 있다. 다른 제한 사항으로는 영어로 제공되지 않는 기사를 제외하는 것과 검색 전략이 학술지 출판물로 제한되었다는 사실이 있다. 우리는 교사 역할을 명시적으로 통합하는 3가지 결과 기반 교육 프레임워크를 식별했지만, 회색 문헌에 대한 보다 포괄적인 검토는 우리의 발견과 권고 사항을 알릴 수 있었던 추가 프레임워크를 드러냈을 수 있다.
This review is limited by a relatively low number of pertinent studies, which can be explained by the fact that not all medical schools with SaT curricula incorporating formal teaching skills training publish articles describing their experiences. Other limitations include our exclusion of articles not available in English, and the fact that our search strategy was limited to academic journal publications. While we identified 3 outcome-based educational frameworks that explicitly incorporate the teacher role, 52–54 a more comprehensive review of the gray literature may have revealed additional frameworks that could have informed our findings and recommendations.

향후 방향
Future directions

앞으로, 공식적인 교수 기술 훈련을 포함하는 세로형 SaT 커리큘럼의 구현을 평가하는 연구가 필요하다. 업데이트된 Kirkpatrick 모델의 수준 3(행동)과 4(결과)를 목표로 하는 SaT 커리큘럼의 보다 강력한 프로그램 평가가 가치 있을 것이다. 행동 수준에서 프로그램 평가를 포함하는 많은 연구를 발견했지만, 그들의 연구 결과는 자기보고가 가장 흔했다. 단기 및 장기(예: 대학원 및 참석 직원 수준) 모두에서 학생 교사의 교육 능력과 커리큘럼 기여도에 대한 SaT 커리큘럼의 영향을 객관적으로 평가하는 것이 유익할 것이다. 또한 SaT 커리큘럼에 참여하는 학생들이 스스로 더 나은 학습자가 되는지를 조사하는 것도 흥미로울 것이다. 교수 기술 훈련이 학생들의 학습 성과에 미치는 영향을 추가로 조사하는 것은 또 다른 귀중한 탐구 영역이 될 수 있다. 지속가능성과 커리큘럼 구현에 대한 알려진 장벽을 해결하기 위한 전략뿐만 아니라 SaT 교수 양식 및 평가 방법에 대한 모범 사례에 대한 추가 연구는 커리큘럼 권장 사항을 추가로 제공할 것이다.

Moving forward, studies evaluating the implementation of longitudinal SaT curricula incorporating formal teaching skills training are needed. More robust program evaluations of SaT curricula targeting levels 3 (behavior) and 4 (results) of the updated Kirkpatrick model 14 would be worthwhile. Although we found many studies that included program evaluations at the level of behavior, their findings were most commonly self-reported 15,18,20,22,24,33,39,45,46; it would be beneficial to objectively evaluate the impact of SaT curricula on student teachers’ teaching skills and curricular contributions, both in the short- and long-term (e.g., at the postgraduate and attending staff levels). It would also be interesting to investigate whether students participating in SaT curricula become better learners themselves. Further examining the impact of teaching skills training on the learning outcomes of the students’ learners could be another valuable area of inquiry. Additional research on best practices for SaT teaching modalities and assessment methods, as well as on strategies to address sustainability and known barriers to curriculum implementation, would further inform curricular recommendations.

결론들
Conclusions

이 서술적 검토의 결과는 의과대학이 학생들의 현재와 미래의 교수 역할에 대해 더 잘 대비해야 한다는 것을 시사한다. 따라서 우리는 SaT 커리큘럼 개발을 위한 문헌 정보 및 CBME 정렬 권장 사항을 제안한다. 우리는 교수 기술 훈련이 UME에서 PGME까지 연속체를 따라 종단적이고 점진적인 방식으로 공식적으로 구현되어야 하며, 가능할 때마다 이 훈련이 의무화되어야 한다고 제안한다. 우리는 또한 SaT 커리큘럼이 의대의 기존 커리큘럼과 일치해야 하며 학생들이 교수 역할에 참여할 수 있는 진정한 기회를 포함해야 한다고 주장한다.
The findings of this narrative review suggest that medical schools should better prepare students for both their current and future teaching roles. We therefore propose literature-informed and CBME-aligned recommendations for SaT curriculum development. We suggest that teaching skills training should be formally implemented at the UME level in a longitudinal and progressive manner along the UME to PGME continuum and that, whenever possible, this training should be compulsory. We also argue that SaT curricula should be aligned with a medical school’s preexisting curriculum and include authentic opportunities for students to engage in teaching roles.

많은 면에서, 이제는 더 이상 [의대 학생들이 교수 기술 훈련으로부터 이익을 얻을 것인가]의 문제가 아니라, 의학 교육자들이 [어떻게 학생들이 teaching 역할에 가장 성공적으로 참여할 수 있도록 만들 수 있을까]의 문제이다. "가르치는 것이 두 번 배우는 것"이라면, 내일의 교사와 학습자 형성에 있어 교육생들에게 '가르치는 방법을 가르치는 것'은 핵심이다.

In many ways, it appears that it is no longer a question of whether medical students would benefit from teaching skills training, but rather how medical educators can enable them to engage in their teaching roles most successfully. If “to teach is to learn twice,” 71 then teaching trainees how to teach is key in the formation of the teachers and learners of tomorrow.

Copyright © 2022 by the Association of American Medical Colleges.

의대생들에게 어떻게 가르치는지를 가르치기: 스코핑 리뷰(Teach Learn Med. 2022)
Teaching Medical Students How to Teach: A Scoping Review
Holly S. Meyera , Kelsey Larsenb, Anita Samuela , Holly Berkleyc, Morgan Harveyd , Candace Nortone and Lauren A. Maggioa 

소견
Findings

우리의 검색 전략은 1,644개의 결과를 반환했고, 1,587개의 기사가 무관한 것으로 표시되었고, 57개의 기사가 전문 검토 대상으로 남았고, 27개의 기사가 포함되었습니다.1-19,34-40 포함된 기사를 시각화하기 위해 두 개의 그림이 포함되었습니다. 1) PRISMA 흐름도 그림 1 및 2) 포함된 기사의 특성 요약 그림 2. 2014년과 2020년 사이에 출판되었으며, 미국에서 가장 많이 출판된 9개국의 기관(n = 10, 39.1%), 5,6,8,9,13,15,17,19,36,38 영국(n = 5,34,39,40,42), 호주(n = 4,17.4%)를 대표한다.s 모래 동료 과외 프로그램, n = 20, 74.1%), 1,6-19, 35–39 리뷰/세션 합성(n = 3, 11.1%), 3,4,30 의견 조각(n = 3, 11.1%), 34,40,42 및 하나의 서술적 연구. (3.7%)5 표 1은 연구에 포함된 모든 논문의 개요를 제공한다.
Our search strategy returned 1,644 results, with 1,587 articles marked as irrelevant, leaving 57 articles for full-text review, and resulting in 27 included articles.1–19,34–40 Two figures have been included to visualize the articles included: 1) Figure 1 for a PRISMA flow diagram41 and 2) Figure 2 for a summary of the characteristics of included articles. Articles were published between 2014 and 2020 and represent institutions from nine countries with most published in the United States (n = 10, 39.1%),5,6,8,9,13,15,17,19,36,38 United Kingdom (n = 5, 13%),10,34,39,40,42 and Australia (n = 4, 17.4%).2,3,12,35 We identified four general publication types: intervention studies (e.g., teaching workshops and peer tutoring programs, n = 20, 74.1%),1,6–19,35–39 reviews/knowledge syntheses (n = 3, 11.1%),3,4,30 opinion pieces (n = 3, 11.1%),34,40,42 and one descriptive study. (3.7%)5 Table 1 provides an overview of all articles included in the study.

개입은 [동료 튜터링 프로그램]과 [강의실/과정으로 사용하도록 설계된 것]으로 균등하게 나뉘었다. 개입의 과반수(n = 18, 90%)가 [선택 사항]으로 제공되었다. 두 표는 개입 전반에 걸친 일반적인 특성(표 2)과 특정 개입의 특성(표 3)을 구분한다.

• 표 2는 개입을 시작해야 하는 이유, 개입을 가르치는 개인, 가르치는 내용 등을 포함한 [개입의 특성]을 설명한다.
• 표 3은 각 [개입의 데이터를 분류]하여 특정 개입이 선택적 또는 의무적이었는지, 누구를 가르쳤는지(예: 1학년 대 3학년 의대 학생), 학생들에게 가르치는 방법을 가르치는 데 소비한 시간, 개입 유형(예: 동료 교수 대 강의실/과정) 등을 보여준다.

이 표들은 함께 각 개입에 대한 자세한 보기와 여러 개입에 걸친 일반적인 특성을 제공한다.
The interventions were evenly split between those designed to serve as peer tutoring programs and teaching workshops/courses. A majority (n = 18, 90%) of the interventions were offered as electives. Two tables breakdown general characteristics across interventions (Table 2) and characteristics of specific interventions (Table 3). 

• Table 2 describes characteristics of interventions including reasons to start an intervention, individuals teaching an intervention, content taught, etc. 
• Table 3 breaks down the data from each intervention to show if the specific intervention was elective or mandatory, who they taught (e.g., 1st year vs 3rd-year medical students), time spent teaching students how to teach, type of intervention (e.g., peer teaching vs teaching workshop/course), etc.

Together, these tables provide a detailed view of each intervention and of general characteristics across multiple interventions.

 

 

의대생에게 가르치는 것의 이점과 과제
Benefits and challenges of teaching medical students to teach

이 기사에서는 튜터, 튜티, 기관 및 직업에 대한 수많은 혜택을 설명합니다. 몇몇 연구들은 의대생들이 교육의 기초를 배우는 것 이상의 이점을 보고했습니다. 이러한 편익은 종종 자가 진단 또는 일화로 관찰되었으며,

• 교수 기술(n = 17, 85%),
• 의대 학생의 자신감(n = 13, 65%),
• 조직 기술(n = 8, 40%),
• 의대 학생의 학습 능력(n = 6, 30%),
• 임상 기술 강화(n = 6, 30%) 및
• 교수진 지원(n = 3, 15%),
• 전문적 정체성 발달(n = 2, 10%),
• 학술적 저작물 보급 참여(n = 1, 5%).

The articles describe numerous benefits for the tutor, tutee, institution, and profession. Several studies reported benefits beyond medical students learning the fundamentals of teaching. These benefits were often self-reported or anecdotally observed and included

• enhanced teaching skills (n = 17, 85%),
• increased confidence of medical student (n = 13, 65%),
• increased organizational skills (n = 8, 40%),
• enhanced learning abilities of the medical student (n = 6, 30%),
• strengthened clinical skills (n = 6, 30%),
• assistance to faculty (n = 3, 15%),
• development of professional identity (n = 2, 10%), and
• participation in the dissemination of scholarly work (n = 1, 5%).

예를 들어, Erlich et al.8은 실제 교수 경험 내에서 교훈적인 교수 커리큘럼을 개발했고 조직 능력, 향상된 학습 능력 및 향상된 임상 기술을 포함한 교수 기술을 능가하는 일련의 향상된 기술과 태도를 보고했다. 또한 개입은 미래의 의사-교육자(n = 16, 80%)를 개발하고, 의대생에게 레지던스 교육 의무를 준비하도록 하며(n = 13, 65%), 의대생 자신의 학습능력 향상(n = 8, 40%)의 필요성을 인정하였다. 표 2에는 코드화된 이유가 모두 포함되어 있습니다. 저자들은 MSAT 개입을 구현하기 위한 두 가지 과제에 주목했다:

• 다른 교육 수요와의 경쟁(n = 6, 30%)과
• 교수진 모집 및 유지의 어려움(n = 5, 25%).

For example, Erlich et al.8 developed a didactic teaching curriculum within a practical teaching experience and reported an assortment of enhanced skills and attitudes that transcend teaching skills including organizational abilities, enhanced learning abilities, and enhanced clinical skills. Additionally, interventions acknowledged the need to develop future physician-educators (n = 16, 80%), to prepare medical students for teaching obligations in residency (n = 13, 65%), and to enhance a medical student’s own learning ability (n = 8, 40%). Table 2 includes all coded reasons. The authors noted two challenges to implementing an MSAT intervention:

• competition with other educational demands (n = 6, 30%) and
• difficulty in the recruitment and retention of faculty (n = 5, 25%).

강사 배경
Instructor backgrounds

개입에는 의사(n = 8, 40%), 기타 의대생(n = 5, 25%), 보건 관련 교육자(n = 5, 25), 박사/에디(PhD/EdD) 경력을 가진 강사(n = 2, 10%)가 포함되었다. 의대생 참여는 프로그램 구상, 교재 개발, 직접 교육 등 다양한 형태로 이뤄졌다. 예를 들어 Blanco et al.36은 온라인 교육 모듈을 구성할 뿐만 아니라 프로그램 설계 개발에 참여하는 의대생들을 기술했다.
The interventions included instructors from a variety of backgrounds including physicians (n = 8, 40%), other medical students (n = 5, 25%), health-related educators (n = 5, 25), and instructors with PhD/EdD backgrounds (n = 2, 10%). Medical student participation took numerous forms including program conception, developing materials, and directly teaching the content. For instance, Blanco et al.36 described medical students engaging in the development of the program design as well as constructing online teaching modules.

가르칠 내용
Content to teach

라나 등은 학생-교사 프로그램이 다룰 수 있는 매우 다양한 주제를 우선시하기 위한 유용한 프레임워크를 제공했다.5 우리의 리뷰는 의대생-교사들에게 일반적으로 가르치는 10가지 주제를 확인했다. 라나 등의 분류를 사용하여 각 주제(예: 소규모 그룹을 촉진하는 방법)를 필수, 중요, 중요하지 않거나 합의에 도달하지 않은 것으로 분류했다(표 4 참조). 이 틀을 적용하면 10개 주제 중 5개가 필수, 2개가 중요, 3개가 합의에 이르지 못했다. 우리의 연구에 따르면, 가르치는 콘텐츠의 [상위 세 영역]에는 다음이 포함되어 있었다

• 소규모 그룹을 촉진하는 방법(n = 16, 80%),
• 피드백을 주는 방법(n = 15, 75%)
• 세션 설계/교육 자료 작성 방법(n = 10, 50%).

Rana et al. provided a helpful framework for prioritizing the large variety of topics that students-as-teachers programs can cover.5 Our review identified 10 topics commonly taught to medical student-teachers about teaching. Using Rana’s et al. classifications, each topic (e.g., how to facilitate small groups) was categorized as either essential, important, not important or did not reach consensus (see Table 4). Applying this framework, five of the ten topics were essential, two were important, and three did not reach consensus. According to our study, the top three areas of content taught included

• how to facilitate small groups (n = 16, 80%),
• how to give feedback (n = 15, 75%), and
• how to design sessions/create instructional materials (n = 10, 50%).

이 세 가지 콘텐츠 영역은 Rana 등이 각각 필수, 필수, 중요로 분류하였다. 네 번째로 널리 보급된 주제는 성인 학습 이론/교육 이론(n = 8, 40%)이었다. 라나 등의 연구에서 [경험적 학습 이론의 가치]를 두고는 합의에 도달하지 못했으며, 아무도 그것을 필수적이고 중요하지 않은 것으로 파악하지 않았다.
These three content areas were categorized by Rana et al. as essential, essential, and important, respectively. The fourth most prevalent topic was adult learning theory/educational theory (n = 8, 40%). Rana et al.’s study did not reach a consensus on the value of experiential learning theory with no one identifying it as essential and a split between important and not important.

니아즈와 미스트리(Mistry)는 [동료 및 니어피어 교수 프로그램]을 촉진하는 데 특히 도움이 되는 작품을 제공했다. 이들은 주요 교육 분야를 파악했습니다. 

• 명확한 목표 보유, 
• 학생에게 맞춤
• 프레임워크 사용, 
• 수많은 자원 활용, 
• 임상 관련성 및 개인적 경험 기반 구축, 
• 건설적인 피드백 제공, 
• 학생 실습 장려, 
• 현장 최신 정보 제공, 
• 명확한 기대치 설정, 
• 동료 관찰 참여, 
• 자기 성찰 참여.

Niaz and Mistry40 provided a particularly helpful piece to facilitate peer and near-peer teaching programs. They identified the key areas of instruction:

• having clear objectives,
• adapting to students,
• using a framework,
• utilizing numerous resources,
• building on clinical relevance and personal experience,
• offering constructive feedback,
• encouraging student practice,
• keeping up to date with the field,
• setting clear expectations,
• participating in peer observation, and
• engaging in self-reflection.

의대생 교사들을 가르치기 위한 방식
Modalities for teaching medical student teachers

무엇을 가르칠 것인가를 넘어, 내용을 가르치는 방법은 개입에 따라 다양했다.

• 소그룹 지침 사용(n = 12, 60%),
  
• 의대생들이 관찰을 통해 배우게 함(n = 12, 60%) 및
  
• 대규모 그룹 지시(n = 7, 35%) 
  둘 다 의대생들에게 가르쳤으며 교수법으로 사용되었다.
  의대생을 가르치는 데 사용되는 다른 교육 방식에는 다음이 포함된다.
  
• 다른 사람을 가르치는 것(n = 6, 30%),
  
• 역할극(n = 5, 25%),
  
• 읽기자료 분석(n = 4, 20%),
  
• 온라인 모듈(n = 3, 15%),
  
• 자기반성(n = 2, 10%) 및
  
• 전문가 인터뷰(n = 2, 10%).

Beyond what to teach, how to teach the content varied across interventions. Teaching approaches included

• using small group instruction (n = 12, 60%),
• having medical students learn through observation (n = 12, 60%) and
• large group instruction (n = 7, 35%) were both taught to medical students and used as a teaching modality.
  Other teaching modalities used to teach the medical students included
• teaching others (n = 6, 30%),
• role-play (n = 5, 25%),
• analyzing readings (n = 4, 20%),
• online modules (n = 3, 15%),
• self-reflection (n = 2, 10%) and
• interviewing experts (n = 2, 10%).

개입의 80%(n = 16)가 의대생에게 최소한 한 번 이상 피드백을 제공했다고 보고했다. 12개의 개입(60%)은 의대생-교사들에게 피드백을 제공하는 프로그램의 동료 및/또는 학습자를 묘사했다. 이러한 초점 영역은 교육 개입이 효과를 극대화하기 위한 프로그램에 필수적인 실질적인 수업을 만듭니다.

We found that 80% (n = 16) of interventions reported providing medical student-teachers with feedback at least once. Twelve interventions (60%) described peers and/or learners in the program providing feedback to the medical student-teachers. These areas of focus create practical lessons that are essential for programs to ensure teaching interventions maximize effectiveness.

프로그램 평가 방법
Methods of program evaluation

개입은 평가를 수행하기 위해 설문 조사, 포커스 그룹, 인터뷰, 성찰 에세이를 포함한 다양한 방법을 사용했다. 표 5는 중재에 의해 사용되는 13가지 평가 방법의 보급률을 보여준다. 프로그램 평가 방법을 커크패트릭의 프로그램 평가 수준에 대한 에를리히의 수정된 버전으로 도표화한 후, 도달한 최고 수준을 기준으로 20개 개입을 4가지 수준의 프로그램 평가로 분류했다: 수준 1(n = 3, 15%), 수준 2(n = 9, 45%), 수준 3(n = 5, 25%), 수준 4(n = 3, 15%), 미지(n = 2, 11.8%). 

The interventions used a variety of methods including surveys, focus groups, interviews, and reflective essays to conduct their evaluation. Table 5 shows the prevalence of thirteen methods of evaluation used by interventions. After charting program evaluation methods to Erlich’s modified version of Kirkpatrick’s program evaluation levels we classified the 20 interventions into four levels of programmatic evaluation based on the highest level reached: level 1 (n = 3, 15%), level 2 (n = 9, 45%), level 3 (n = 5, 25%), level 4 (n = 3, 15%) and unknown (n = 2, 11.8%) (See Table 4).

예를 들어,

• Karthik 등은 미시적 가르침에 대한 참가자들의 태도를 보여주기 위해 설문조사를 사용하였고(레벨 1)
• Tcheckmedyian 등은 의학-학생 가르침에 대한 블라인드 리뷰를 사용하여 교수 기술(레벨 3)에서 통계적으로 유의미한 향상을 보였다.
• Sammarie et al.은 주로 강의 기반의 정식 사전임상교육과정이 시니어 학생이 프로그램을 설계하고 전달함으로써 개선될 수 있음을 보여주었고(level 3)
• Erlich et al.은 1학년 학습자의 OSCE 점수와 의대생-교사의 평가를 프로그램적 가치 측정 수단(level 4)의 하나로 상관시켰다. 

For example,

• Karthik et al. used a survey to show participants’ attitudes toward microteaching (level 1),18 while
• Tchekmedyian et al.15 used blinded reviews of medical-student teaching to show statistically significant improvement in teaching skills (level 3).
• Sammaraiee et al.10 showed that a mostly lecture-based formal preclinical curriculum can be improved by senior medical students designing and delivering a program (level 3), and
• Erlich et al.8 correlated first-year learners’ OSCE scores and evaluations of their medical student-teacher as one means of measuring programmatic value (level 4).

교육과정 혁신의 촉매로서 학생: 변화 관리 프레임워크 (Med Teach, 2020)
Students as catalysts for curricular innovation: A change management framework
Jesse Burk-Rafela, Kevin B. Harrisb, Jacqueline Heatha, Alyssa Millironc, David J. Savageb and Susan E. Skochelakd

성과 프레임워크를 평가 프레임워크로 번역하기: 타당도에 대한 함의(Med Educ, 2020)
Translating outcome frameworks to assessment programmes: Implications for validity
Walter Tavares1 | Paula Rowland1 | Damon Dagnone2 | Laura A. McEwen2 |
Stephen Billett3 | Matthew Sibbald4

1 소개
1 INTRODUCTION

역량 기반 의료 교육(CBME)의 핵심 프로세스는 [어떻게 교육자가 임상 역량을 평가하는지]이다. [성과]와 [역량]은 임상의가 독립적으로 실습할 수 있도록 하기 위해 [보유하고 입증해야 하는 실천의 특징]을 설명하는 역할을 한다. 예를 들어, '신뢰할 수 있는 전문적 활동'(EPA)은 훈련생 개발에 필수적인 연습의 특징을 포착하고 독립적으로 연습할 준비를 보장하기 위한 개인 수준의 역량을 포함하는 기술 업무이다. 교육자는 복잡한 구성의 표현이나 특정 결과의 달성을 용이하게 하고 교육생 준비 상태에 관한 종합적 결정을 알리기 위한 최선의 평가 전략 조합을 개발, 선택 및 계획해야 한다. 그러나 개인과 조직이 이러한 [성과 목록]을 [평가 계획]으로 [번역translate]하는 과정에서 이 복잡한 과제의 과제가 명백해진다. 성과 프레임워크가 '번역'되는 과정에서 (성과 프레임워크에서 평가 계획을 생성하는 능동적 프로세스를 의미함) 여러 가지 불명확한 영향, 가정 및 문제가 있는 번역은 [평가의 어떤 근본적 원칙과 일치하지 않을 수 있습니다]. 그것은 바로 평가의 [타당성]이다.


A key process within competency-based medical education (CBME) is how educators structure assessment of clinical competence.1 Outcomes and competencies serve to describe features of practice that clinicians must possess and demonstrate in order to be permitted to practise independently. For example, ‘entrustable professional activities’ (EPAs) are descriptive work tasks that include person-level competencies intended to capture features of practice essential in developing trainees and ensure their readiness to practise independently.2 Educators are tasked with developing, selecting and planning the best combination of assessment strategies to facilitate representation of the complex constructs or achievement of specific outcomes, and to inform summative decisions regarding trainee readiness. However, the challenge of this complex task becomes apparent as individuals and organisations translate these lists of outcomes into assessment plans.3 As outcome frameworks are ‘translated’ – referred to in this case as the active process of generating assessment plans from outcome frameworks – a number of unarticulated influences, assumptions and problematic translations may create misalignments with a foundational tenet of assessment: assessment validity.

평가 계획의 설계는 일반적으로 핵심 기능core function에 초점을 맞춘다. 그러다보면 더 넓은 범위의 성과 프레임워크를 수용하거나, 이러한 계획에 대한 의사결정을 형성에 미치는 영향의 가변성을 고려하지 않게 된다.

• 예를 들어, 척도scale 개발은 종종 [항목, 차원, 자극, 활동을 식별하는 것]으로 시작한다. 이것들이 평가 대상 구인contruct의 표현representation을 집합적으로 지원한다고 여긴다. 다른 평가 설계 특징들은 맥락 특이성을 극복하고, 평가자 경향을 식별 및 조정하고, 데이터의 다양한 점들의 집합의 가치, 서술적 또는 철학적 위치의 가치를 고려하는 기능적 필요성에 초점을 맞추었다.

그러나 [성과 프레임워크]를 [평가 계획]으로 [변환translate]하는 [상류 프로세스]뿐만 아니라, [영향의 유형, 역할 및 임팩트는 무엇이고], [누가 그러한 영향을 발생시키고] [왜 발생하는지] 등은 일반적으로 기존 프레임워크에서 명시적으로 설명되지 않았다. 따라서 이러한 영향을 식별하고 탐색하는 방법에 대한 명확한 지침이 없으면, 평가 타당성(즉, 데이터의 신뢰성과 방어성)이 훼손될 수 있다.

The design of assessment plans has typically focused on core features, without having to accommodate large outcome frameworks or taking into consideration the variable impact of influences that may be shaping decisions about those plans.4-6 

• For example, scale development often begins with identifying items or dimensions, stimuli or activities that collectively support representation of the construct to be assessed.7 Other assessment design features have focused on the functional need to overcome context specificity,8 to identify and then adjust for rater tendencies,9 and to consider the value of assembling diverse points of data,10 and the value of narratives11 or philosophical positions.12 

However, the upstream process of translating outcomes frameworks to assessment plans, as well as the type, role and impact of influences, who generates those influences and why, have generally not been explicitly featured in existing frameworks. Assessment validity (i.e. trustworthiness and defensibility of the data) may therefore be undermined without clear guidance on how to identify and navigate these influences.

CBME 맥락에서 [평가 설계]의 [사회학적 및 사회문화적 설명accounts]을 사용하면, [성과 프레임워크에서 평가 계획으로의 변환translation]에 유용한 정보를 제공할 수 있다. 유사한 이론적 접근법들이 보건직 교육, 고등 교육, 학습 도구로서의 표준과 표준화의 용도 변경, 전문적 학습의 평가 관행에서의 활동을 탐구하기 위해 사용되어 왔다. [Callon의 번역 이론]은 한 일련의 관행(예: 결과 프레임워크 생성)에서 다른 일련의 관행(예: 평가 계획 생성)으로 번역하는 과정을 이해하고 설명하는 한 가지 방법입니다. 캘런의 번역 이론은 [번역 행위]가 단지 [인지적 행위]가 아니라, [사회적, 정치적, 물질적 행위]임을 시사한다. 

Using sociological and sociocultural accounts of assessment designs in a CBME context can inform the translation from outcome frameworks to assessment plans.13 Similar theoretical approaches have been used to explore activities in health professions education, in higher education, in repurposing standards and standardisation as learning tools, and in practices of assessment of professional learning.14-16 Callon's theory of translation17 is one way to understand and explain processes involved in translating from one set of practices (e.g. creating outcome frameworks) to another (e.g. creating assessment plans). Callon's theory of translation suggests that the act of translation is not just a cognitive exercise, but also social, political and material acts.17 

하나의 맥락 또는 형태(예: 결과 프레임워크)에 존재하는 아이디어를 다른 개념(예: 평가 계획 및 그 구현 및 사용)으로 변환translate하려면,

• 개인이나 집단은 그들의 아이디어와 다른 맥락과 관련된 이슈들 사이의 적합성에 대해 다른 사람들을 설득해야 한다. 
• 또한 제안된 조치가 바람직하고 적절한 해결책이라는 것을 다른 사람들에게 납득시켜야 한다.
• 이 과정을 통해 개인은 또한 다른 사람을 물질적 행위, 관련 행위자(즉, 사람, 그룹 및 위원회뿐 아니라, 학습 플랫폼 및 기술과 같은 물질적 객체까지)가 원하는 활동에 지속적으로 참여하도록 하고, 상충적 요구는 줄이며, 피할 수 없는 논란을 관리해야 한다.

이러한 [업스트림 프로세스]는 프로세스 중에 보이지 않을 수 있으며, 항상 타당성이 우선되는 것도 아니며, 평가 계획이 작성된 시간에 의해 불변할 수 있습니다.

To translate an idea existing in one context or form (e.g. outcome frameworks) to another (e.g. assessment plans and their implementation and use),

• individuals or groups must convince others of the fit between their idea and issues related to that other context.
• They must also convince others that the proposed action is a desired and appropriate solution.
• Throughout this process, individuals must also enroll others in material acts, strategise to keep involved actors (i.e. people, groups and committees, but also material objects such as learning platforms and technologies) engaged in the desired activity and reduce competing demands, and manage any inevitable controversies.17 

These upstream processes may be invisible during the process, not always prioritising validity, and immutable by the time assessment plans have been created.

이러한 관점에서 CBME는 [성과 프레임워크에서 평가 계획으로 이동]할 때, 평가 과학에 대한 새로운 도전을 제기한다. 내용과 맥락에 대한 통제를 행사할 수 있는 평가 설계(예: 필기 시험 및 OSCE)와 달리, CBME와 직장 기반 평가(WBA)의 맥락은 교육 및 커리큘럼 설계에서 새로운 개념이 아닌 다양한 경쟁 상황 요인을 수용해야 할 수 있다. 예를 들어, 빌렛은 직장 커리큘럼이 직장 및 배우의 능력과 이해관계, 그리고 그 안에서 그들의 책임에 따라 결정된다는 것을 증명했다. 평가에 적용했을 때, 상류 번역 활동upstream translational activities에 대한 초점은 평가 설계 외부의 기능이 관련성이 있으며 일단 평가 계획이 작업장에서 제정되면 예상된 사건 이상으로 확장된다는 것을 시사한다. 역사적으로 평가 과학은 타당성에 대한 다른 위협(위에서 설명한 바와 같이) 대신 이러한 특징들을 강조하지 않았다. 그들의 강조점을 고려할 때, 사회학적, 사회문화적 이론(예: 칼론의 번역 이론)은 이러한 특징들을 시야에 가져오는데 도움을 준다.

Viewed in this way, CBME invites a new challenge for assessment science when moving from outcome frameworks to assessment plans. Unlike assessment designs that exist where control over content and context can be exercised (e.g. written tests and OSCEs), the context of CBME and workplace-based assessments (WBA) may require accommodating a range of competing situational factors,18 a concept that is not new in education and curricular design.19, 20 For example, Billet demonstrated that the workplace curriculum is subject to the affordances and interests of the workplace and actors and their responsibilities within it.20 Applied to assessment, the focus on upstream translational activities suggests features external to assessment design are relevant and extend beyond anticipated events once assessment plans are enacted in the workplace. Historically, assessment science has de-emphasised these features in place of other threats to validity (as described above).21 Given their emphases, sociological and sociocultural theories (e.g. Callon's theory of translation) help to bring these features into view.

우리가 [번역 과정]을 잘 이해하고 설명할 수 있다면, 효과적인 성과 기반 교육과 타당한 평가 프로그램을 발전시킬 가능성이 있다. 예를 들어 역량 위원회가 [고부담 평가를 구성하거나 학습자가 개발 전략을 구성하기 위해 사용하는 데이터]는 생성된 데이터의 신뢰성과 방어성에 따라 달라진다. 이를 잘 수행하면, 특히 직장 기반 맥락에서 평가 커뮤니티에 도전하고, 번역 활동이나 타당성 평가의 영향을 종종 무시하는 다양한 접근 방식(예: 평가자, 도구 및 교수진에 집중)을 자극한다. 

If we can understand and illustrate the translational process well, there is a potential to advance effective outcome-based education and valid assessment programmes. For instance, the data on which competence committees structure high-stakes assessment, or learners use to structure developmental strategies, are dependent on the trustworthiness and defensibility of the data generated. Doing this well, particularly in workplace-based contexts, challenges the assessment community and stimulates diverse approaches (e.g. focusing on raters, tools and faculty development) that often neglect translational activities or evaluation of their impact on validity.

따라서 본 연구에서는 캐나다 대학의 대학원 의학 교육(PGME)에서 무엇이 결과 프레임워크를 형성적이고 종합적인 평가 계획으로 [번역translation]하는지, 구체적으로 어떻게 어떤 도구와 프로세스가 구축되었는지, 그리고 왜 역량 위원회가 데이터를 사용할 것인지 물었다. 또한, 이러한 프로세스는 어떻게 정당화되거나 평가됩니까? 우리는 번역이 인지적, 실제적, 사회적, 정치적 활동이라는 관점에서 이 작업을 배치했지만, 특히 개인에 대한 총괄적 결정(예: 역량 위원회에서 사용하기 위한)의 정점에 기여할 때 타당성도 고려해야 한다. 우리는 타당성을 위협할 수 있는 긴장과 과제를 완화하기 위한 최적화 전략과 방법을 식별하고 조명하는 것을 목표로 했다. Callon의 번역 이론과 Kane의 유효성 및 검증 프레임워크가 관련된 경우를 포함하여 결과 프레임워크를 사용할 때 평가 설계의 단순화된 프로세스에 대한 설명은 그림 1을 참조하십시오.

Therefore, in this study we asked

• what shapes the translation of outcome frameworks to formative and summative assessment plans in postgraduate medical education (PGME) in Canadian universities,
• specifically how and what tools and processes were built and why, the data from which would be used by competence committees.
• Also, how are these processes justified or evaluated?

We positioned this work with a view that translations are cognitive, practical, social and political activities, but that validity should also be considered, particularly when contributing to the culmination of summative decisions about individuals (e.g. for use by competence committees). We aimed to identify and illuminate optimising strategies and ways of mitigating tensions and challenges that may threaten validity; see Figure 1 for an illustration of a simplified process of assessment design when using outcome frameworks, including where Callon's theory of translation17 and Kane's validity and validation framework21 are relevant.

2 방법
2 METHOD

2.1 연구 개요
2.1 Study overview

우리는 [실제 또는 계획된 평가 전략]뿐만 아니라, [평가-기반 번역 활동]에 중점을 두고 PGME 프로그램의 개별 대표자(예: 프로그램 감독), 평가 위원회 및/또는 CBME 구현 위원회와 심층 반구조화된 인터뷰로 구성된 정성적 연구를 수행했다. 인터뷰는 분석을 위해 기록되고 기록되었으며, 여기에는 [지시된directed 내용 분석]에 의해 안내된 방법이 포함되었다. 우리는 Callon의 번역 이론과 Kane의 유효성 프레임워크를 모두 사용하여 작업을 안내했다.

• Callon의 번역 이론(위에서 설명한)은 번역 프로세스의 구체적인 dynamics에 주의를 기울이고, 인터뷰 가이드의 구조를 형성하는 데 사용되었다. 번역 과정이 어떻게 제정되는지에 대한 이러한 이론은 특히 관련된 다양한 사람, 그룹 및 기관(즉, 학술, 전문, 임상, 규제 및 일선)의 CBME 수행에 대한 우리의 관찰과 잘 일치한다.
• 케인의 타당성 프레임워크는 평가 프로세스에서 생성된 데이터에 기초한 추론을 뒷받침하는 증거의 문제로서 타당성을 강조하는 반면, validation은 평가 프로세스에서 가정을 식별하고 테스트하는 프로세스를 포함한다.

We conducted a qualitative study comprising in-depth semi-structured interviews with individual representatives of PGME programmes (e.g. programme directors), assessment committees and/or CBME implementation committees, focusing on their assessment-based translational activities as well as actual or planned evaluation strategies. Interviews were recorded and transcribed for analysis, which involved methods guided by directed content analysis.22 We used both Callon's theory of translation and Kane's validity framework to guide our work.

• Callon's theory of translation (described above) was used to direct our attention to specific dynamics of the translation process and to shape the structure of our interview guide. This theorisation of how translational processes are enacted aligned well with our observations of the undertaking of CBME, in particular the various people, groups and institutions (i.e. academic, professional, clinical, regulatory and frontline) involved.
• Kane's validity framework emphasises validity as a matter of evidence in support of inferences based on data generated in an assessment process, whereas validation involves the process of identifying and testing assumptions in the assessment process.

우리는 이 유연한 argument-based framework를 사용하여 분석에서 주의를 기울이며 평가 타당성을 위한 번역 프로세스의 가능한 의미를 도출했다. 2018년 5월 토론토 대학교에서 윤리적인 승인을 받았다(프로토콜 #8333). 이 연구와 관련된 현장으로부터 추가적인 윤리적 승인을 얻었다.

We used this flexible argument-based framework to direct our attention in the analysis, drawing out possible implications of the translation process for assessment validity. Ethical approval was provided by the University of Toronto in May 2018 (Protocol #8333). Additional ethical approvals were obtained from the sites involved in this study.

2.2 설정, 샘플링, 정보제공
2.2 Setting, sampling and informants

이 연구는 캐나다 왕립 의사 및 외과의사 대학(RCPS)의 시행 및 인가 지침에 따라 CBME를 이행해야 하는 의무가 있는 세 개의 캐나다 대학 PGME 프로그램에서 수행되었다. 3개 기관을 선정함으로써 CBME의 평가에 대한 가변적variable 접근 방식을 표집 및 반영하고, 개념적 전이 가능성을 탐색하고, 질적 엔드 포인트(예: 정보력information power)를 촉진하려는 우리의 의도가 촉진되었다. 세 기관 모두 CBME의 구현에 참여했지만, 그들의 프로그램은 뚜렷한 구조와 프로세스를 가지고 있고, 개발, 구현 및 평가 단계에 있으며, 서로 다른 문화적 또는 교육적 맥락에 있다. 모두 CBME 구현 리드leads를 가지고 있었으며 교육, 평가 및 프로그램 평가 전문가와 접촉할 수 있었다. 우리는 [성과 프레임워크]를 출발점으로 하여, 평가 계획 개발에 참여한 것으로 확인된 프로그램 책임자 또는 그 대표자 및/또는 위원회 구성원을 모집하기 위해 목적적이고 최대 변동 표본 추출 전략을 사용했다. 우리의 모집 전략에는 PGME 리더십에 의해 연구팀이 이용할 수 있는 내부 목록을 사용하여 잠재적 제보자에게 이메일로 연락하는 것이 포함되었습니다. 우리는 프로그램 감독 수준에서 시작해서 평가 위원회 구성원을 포함하도록 확장했다.

This study took place within three Canadian university PGME programmes, which had mandates to implement CBME under the implementation and accreditation guidelines of the Royal College of Physicians and Surgeons of Canada (RCPS). Selecting three institutions facilitated our intention to sample and reflect variable approaches to assessment in CBME, to explore conceptual transferability and to promote qualitative end points (e.g. information power). All three institutions were involved in the implementation of CBME but their programmes have distinct structures and processes, were at different development, implementation and evaluation stages, and in dissimilar cultural or educational contexts. All had CBME implementation leads and had access to education, assessment and programme evaluation experts. We used purposeful and maximum variation sampling strategies to recruit programme directors or their delegates and/or committee members from various specialties who identified as having participated in the development of assessment plans using outcome frameworks as a starting point.23 Our recruitment strategy involved contacting potential informants by e-mail using internal lists made available to the research team by PGME leadership. We began at the programme director level then expanded to include assessment committee members.

2.3 인터뷰 가이드
2.3 Interview guide

개념적 틀을 통해 우리는 인터뷰 가이드를 세 가지 주요 목표 영역으로 구성했다.

• (i) 평가 프로그램 개발의 설명 및 상황 파악(예: EPA의 사용 방법, EPA의 사용 방법, 기타 비 EPA 평가의 사용, EPA와 비 EPA의 실행 방법) 
• (ii) 성과 프레임워크를 특정 평가 계획으로 변환하는 것과 관련된 현재의 의사 결정 관행을 포함하여 번역translation 프로세스의 탐구 (예: 의사 결정 방법, 평가 계획 수립에 관여한 기타 작업, 계획 또는 이행 과정에서 어떤 변경 또는 과정 수정이 이루어졌는가) 
• (iii) 평가 계획의 퀄리티와 타당성을 지원하는 프로그램 평가 활동 또는 계획(예: 구현과 관련된 공식 또는 비공식 평가 활동, 평가 의사 결정의 엄격함을 보장하기 위해 만들어진 계획 및 고려 사항)에 대한 언급

우리는 번역과 평가 과정의 다양한 순간을 탐구하기 위해 프롬프트와 함께 개방형 질문을 사용했다. 또한 인터뷰 가이드가 반복적으로 진화할 수 있도록 허용하고 정보원으로부터 사회 인구학적 세부 사항을 수집했다.

Informed by our conceptual framing, we organised our interview guide into three main target areas:

• (i) descriptions and contextualisation of assessment programme development (e.g. how EPAs are being used, how decisions are being made about how EPAs will be used, the use of other non-EPA assessments, and how EPAs and non-EPAs are put into practice);
• (ii) exploration of the translation process, including current decision-making practices related to the translation of outcome frameworks into specific assessment plans (e.g. how decisions were made, other work that was involved in launching assessment plans, and what shifts or course corrections were made in the process of planning or implementation); and
• (iii) accounts of programme evaluation activities or plans that would support the quality and validity of the assessment plans (e.g. formal or informal evaluation activities related to implementation, and plans made and considerations taken to ensure the rigour of assessment decision making).

We used open-ended questions with prompts to explore the various moments in the translation and evaluation processes. We also allowed the interview guide to evolve iteratively and collected sociodemographic details from informants.

2.4 데이터 수집
2.4 Data collection

면접은 정성적 연구면접 교육을 받은 연구조교와 연구팀 구성원(WT, PR, MS)이 맡았다. 면접관은 제보자의 기관에 따라 결정되었으며, 잠재적인 갈등이나 인식된 갈등을 회피하고, 면접관과 제보자의 가용성 등을 고려하여 결정되었다. 인터뷰는 직접 또는 전화를 통해 이루어졌으며, 음성녹음 및 문자 그대로 녹음되었다. 이러한 transcript는 정확성을 검사하여 정성 분석 소프트웨어(HyperRESOURCETM)에 업로드되었습니다. 우리는 우리의 연구 목표를 더 잘 다루고 명확화, 발산과 수렴의 실마리를 찾기 위해 샘플링과 인터뷰를 수정하기 위해 채용, 데이터 수집, 분석 및 팀 회의의 주기적이고 반복적인 과정을 계속했습니다. 이 과정은 저자들이 분석이 세 가지 엄격한 기준에 적합하다는 데 동의할 때까지 계속되었다.

• (i) 이론적인 주장이 경험적 자료에 근거하는지 확인할 수 있는 충분한 깊이가 있었다. 
  
• (ii) 제기되는 주장은 개념적 타당성을 가지고 있다. 
  
• (iii) 해당 주장이 더 광범위한 학술 공동체와 관련이 있었다. 

Interviews were conducted by a research assistant trained in qualitative research interviewing and members of the research team (WT, PR and MS). The interviewer was decided based on the informant's institution, to avoid potential or perceived conflicts, and availability of the interviewer and informant. Interviews were conducted in person or via telephone, audio-recorded and transcribed verbatim. These transcripts were checked for accuracy and uploaded into qualitative analysis software (HyperRESEARCHTM). We continued in a cyclical and iterative process of recruitment, data collection, analysis and team meetings to allow our sampling and interviews to be modified to better address our research aims and to seek threads of clarification, divergence or convergence. This process continued until the authors agreed the analysis fitted three criteria of rigour:

• (i) there was sufficient depth to ensure the theoretical claims being made were grounded in empirical material,
• (ii) the claims being made held conceptual plausibility and
• (iii) the claims had relevance to a broader academic community.24

2.5 분석전략
2.5 Analytical strategy

우리의 분석 전략은 위에서 설명한 개념적 프레임워크에 의해 안내될 수 있도록 [유도된direted 콘텐츠 분석]을 포함했다. CBME와 일관되게, 우리는 우리의 정보원이 형성적 목적을 위해 평가를 구조화하고 있다고 가정했지만, 생성된 데이터는 데이터를 생성과 해석에 어느 정도의 타당성 증거를 의무화하면서, 총괄적 의사 결정에도 사용될 것이다. 우리의 의도는 타당성과 관련된 번역 문제를 고려하는 것이었으므로, 우리는 평가 계획의 개발 및 제정에서 억제되지 않은 가정이 존재할 수 있는 곳에 민감하게 반응하기 위해 케인의 프레임워크를 사용했다.
Our analytical strategy comprised directed content analysis,22 which allowed us to be guided by our conceptual frameworks as described above. Consistent with CBME, we assumed that our informants were structuring assessments for formative purposes, but that data generated would also be used for summative decisions, obligating a degree of validity evidence in both generating and interpreting data. Given that our intention was to consider translational issues regarding validity, we used Kane's framework to sensitise ourselves to where unchecked assumptions may exist in the development and enactment of assessment plans.

정확성을 확인한 후, 연구팀 구성원들은 데이터 세트 전체에 대한 일반적인 인상을 얻기 위해 먼저 대본을 읽었다. 우리는 우리의 개념적 프레임워크가 우리의 데이터 읽기 및 코딩에 정보를 제공할 수 있도록 했다. 우리의 개념적 틀과 철학적 위치를 사용하여, 두 번째 읽기는 지시적 콘텐츠 분석과 일치하는 개방 코딩과 분석적 메모 작성을 포함했다. 개방 코딩에 이어, 우리는 데이터 세트, 다양한 상황 및 우리의 개념 프레임워크에 걸쳐 체계적으로 주제를 탐구하기 위해 축 코딩(즉, 링크 설정)에 관여했다. 연구팀의 구성원들은 중간 분석, 인터뷰 가이드의 개정, 분석과 위치의 삼각측량에 대해 논의하기 위해 정기적으로 만났다.

After confirming accuracy, research team members first read the transcripts to garner a general impression of the dataset as a whole. We allowed our conceptual frameworks to inform our reading and coding of the data. Using our conceptual framing and philosophical positions, the second reading involved open coding and analytical memo taking, consistent with directed content analysis.22 Following the open coding, we engaged in axial coding (i.e. establishing linkages) to systematically explore themes across the dataset, various situations and our conceptual framework. Members of the research team met regularly to discuss interim analyses, revisions to the interview guide and triangulation of analyses and positions.

2.6 연구자의 입장
2.6 Researcher stance

모든 녹취록은 세 명의 연구팀 구성원에 의해 검토되고 코딩되었으며, 각각은 서로 다르지만 중복되는 개념적 또는 철학적 위치에서 데이터에 접근했다. 여기에는 임상, 교육, 구현, 사회학적 및 타당성  관점에서 정보를 제공하는 관점이 포함되었다. 이러한 다양한 기본 렌즈를 통해 가능한 상황별 실제 의미와 함께 번역 활동과 관련된 다양한 기능을 고려할 수 있었다. 또한, 모든 연구자들은 CBME 맥락에서 평가와 관련된 다양한 활동과 관련하여 서로 다른 위치를 가지고 있음에도 불구하고 구성주의자 또는 해석적 입장을 채택했다.

• MS는 번역 과정에 참여하는 연구자이자 프로그램 감독이다.
• WT는 번역 과정에서 프로그램을 지원하는 역할을 하는 평가 과학자이다.
• PR은 직장에서 전문적인 학습에 관심이 있는 연구원이다.

All transcripts were reviewed and coded by three research team members, each approaching the data from different, but overlapping, conceptual or philosophical positions. These included views informed by clinical, educational, implementation, sociological and validity perspectives. These diverse underlying lenses allowed us to consider the various features associated with translational activities, along with possible contextualised practical implications. Further, all researchers adopted a constructivist or interpretive stance despite having different locations in relation to the various activities associated with assessment in a CBME context.

• MS is a researcher and programme director involved in the translational process.
• WT is an assessment scientist with a role in supporting programmes in their translational processes.
• PR is a researcher with an interest in professional learning in workplaces.

우리는 스스로를 '관심 없음dis-interested'으로 여겼는데, 이는 우리가 어떤 접근 방식을 지지하거나 반대하지 않고도 번역 프로세스와 평가 타당성에 대한 잠재적인 의미를 연구할 수 있다는 것을 의미하며, 단지 번역을 하는 사람들의 관점을 목격할 뿐이다. 우리는 타당성(또는 일반적으로 정당성 또는 평가 활동)이 평가 설계 및 계획에서 내재된 고려 사항이라는 기본 가정을 가지고 이 작업에 접근했다. 그러나, 우리는 또한 많은 사람들이 동등한 관심사로 신뢰성에 초점을 맞추기 때문에, 이것이 모든 관련자들에게 보편적으로 적용되는 원칙은 아닐 수 있다는 것을 인정한다.

We considered ourselves as ‘dis-interested’,25 meaning we could study the translational process and its potential implications for assessment validity without advocacy for or against any approach, but simply witnessing the perspective of those doing the translation. We approached this work with the underlying assumption that validity (or justification or assessment activities in general) is an inherent consideration in assessment designs and planning. However, we also recognise that this may not be a universally held principle for all involved, as many focus on reliability as an equal concern.

3 결과
3 RESULTS

캐나다 3개 대학에 걸쳐 15개의 서로 다른 PGME 프로그램의 여성 16명과 남성 8명을 대상으로 평균 50분 동안 총 24건의 인터뷰가 실시되었으며(12회, 7회, 5회 인터뷰) 이를 통해 데이터 수집 전략에 명시된 엄격성rigour과 적용 범위coverage 수준을 달성할 수 있었다. 모든 인터뷰 대상자는 지역 또는 국가에서 개발한 결과 프레임워크에서 평가 계획을 수립했다. 프로그램은 평가 프로그램을 수립할 때 [전혀 지원과 투입이 없는 것(즉, 홀로 활동하는 프로그램 감독)]에서부터, [평가 위원회와 교육 및 평가 과학자에 대한 접근성]에 이르기까지 지역적인 투입과 지원의 정도가 다양했다. 또한, 모든 인터뷰 대상자는 인증 기관의 지원을 받고 있으며, 평가 계획에 의해 생성된 평가 데이터가 진행, 승진 및 종합 의사결정에 사용될 역량 위원회를 설립했다고 보고했다. 인터뷰 대상자 중 일부는 이 연구와 관련된 두 가지 이상의 역할을 맡았는데, 예를 들어 프로그램 감독일 뿐만 아니라 역량 위원회나 평가 위원회의 직책을 맡고 있다.

A total of 24 interviews averaging 50 minutes were conducted with16 women and 8 men from 15 different PGME programmes across the three Canadian universities (12, seven and five interviews), which allowed us to achieve the levels of rigour and coverage specified in our data collection strategy. All interviewees had developed assessment plans from outcome frameworks that had been developed locally or nationally. The programmes varied in the degree of local input and support they had in establishing assessment programmes, from none at all (i.e. programme directors working independently) to access to assessment committees, and education and assessment scientists. Also, all interviewees reported having support of the accreditation body and had established competence committees for which the assessment data generated by their assessment plans would be used for progress, promotion and summative decisions. Some of the interviewees held more than one role relevant to this study, for example holding a position on competence committees or assessment committees, in addition to being a programme director.

여기에 제시된 연구 결과는 [성과 프레임워크]에서 [평가 계획 및 타당성 확인 기회]로 전환하는 과정과 결과를 다룬다. 이러한 움직임은 프로그램 관련자(예: 개인, 그룹 또는 조직)가 다음 목표를 달성하기 위해 이미 수립되었거나 중간 성과 프레임워크(여기서는 전문의의 역량을 의미함)에 대해 평가 계획을 준비하거나 제정할 때 발생한다. 이 섹션에서는 성과 프레임워크 번역 담당자와의 논의를 통해, 이 프로세스가 평가 타당성을 어렵게 하거나 불확실하게 하거나 강조하지 않는 상황에서 어떻게 생성되고 발생하는지와 관련된 결과를 제공합니다. 이제 우리는 [자원이 제한된 환경]에서 타당성이 어떻게 다른 CBME 관련 우선 순위와 경쟁하고 협상되는지에 대해 논의한다.

The findings presented here address the process and consequence of moving from outcome frameworks to assessment plans and opportunities for validity. This movement occurs as those involved in programmes (e.g. individuals, groups or organisations) prepare for or enact assessment plans against an already established or interim outcome framework that intends – in this case – to represent competence of specialist physicians. Through discussions with those responsible for the translation of outcome frameworks, this section provides findings related to how this process creates and takes place in a context that make assessment validity difficult, uncertain or de-emphasised. We now discuss how validity must compete and be negotiated with other CBME-related priorities in resource-limited environments.

3.1 좋은 평가를 위해 필요하지만 불완전한 구성으로 결과 프레임워크를 포지셔닝한다.
3.1 Positioning outcomes frameworks as necessary for good assessment but also as an incomplete construct

개인, 위원회 또는 그룹 및 조직은 결과 프레임워크와 평가 타당성 사이의 적합성fit을 확립하는 데 성공했다. 즉, 주어진 전문분야에 대한 임상역량의 구성은 [성과 및 EPA의 수집]에 의해 정의될 수 있다(이러한 정의가 타당성의 요건이다). 또한, 이러한 [artefacts 성취에 대한 증거]를 축적하는 것은 [진보, 성취 또는 준비에 대한 방어가능한 결정을 내려야 하는 '문제']를 해결한다. 성과 프레임워크가 평가 항목 또는 영역으로 적합한지에 대한 이러한 관점은 [권위 있는 그룹에 의해 간접적으로(또는 때로는 직접적으로) 통보]되었으며, 이는 [행위자가 템플릿 평가 도구를 신뢰해야만 한다는 것]을 나타내며, 종종 번역이 거의 또는 전혀 없었다. 이러한 [신뢰]를 보여주는 인용구는 다음과 같습니다.

Individuals, committees or groups, and organisations have been successful in establishing a fit between outcome frameworks and assessment validity, to the extent that their connections were not challenged by the informants in this study; that is, the construct of clinical competence for a given specialty could be defined – a requirement for validity – by the collection of outcomes and EPAs. Also, accumulating evidence of the achievement of these artefacts solves the ‘problem’ of having to make defensible decisions about progress, achievement or readiness. The use of outcomes was necessary for good assessment in CBME. This view of the suitability of outcomes frameworks as assessment items or domains was informed by authoritative groups indirectly (or sometimes directly), indicating that actors should trust in template assessment tools, often with little or no translation at all. Illustrative quotations informing this trust are:

이러한 방식으로, (번역이 거의 없거나 전혀 없는) EPA가 평가 도구 항목을 구성하도록 움직이는 평가 도구로서의 결과 컬렉션은 존중되어야 하며 신뢰된다고 간주된다. 그러나 행위자(예: 프로그램 감독 및 평가 위원회)는 이러한 평가 계획에 대한 직접적인 권한 없이 수행enrolling하고 있었다. 이처럼 [재량권이 없는 것]도 수용되었고, 때로는 그룹(예: 사용자, 인가자 및 시행자) 간의 어려운 협상도 이루어졌다. 결과적으로, 이 협상은 확립된 도구를 집행한다는 것이 타당성에 무엇을 의미할 수 있는지에 대한 일부 대체된 책무성과 불확실성과 관련되었다. 평가 구축 방법과 과거 평가(즉, CBME 구현 이전의 평가)를 유지하는 옵션에서 유연성이 있음에도 불구하고, 타당성 문제는 권고안을 만드는 사람들에게 맡겨졌다entrusted.
In this way, collections of outcomes as assessment tools, that is moving EPAs to make up items on assessment tools with very little or no translation at all, are held to be inviolate and relied upon. However, actors (e.g. programme directors and assessment committees) were enrolling in these assessment plans without direct authority over them. This lack of discretion was both accepted and, at times, a difficult negotiation between groups (e.g. users, accreditors and implementers). As a result, this negotiation was associated with some displaced accountability and uncertainty regarding what the enactment of established tools might mean for validity. Issues of validity were often entrusted to those making the recommendations, despite flexibility in how assessments can be built and the option of maintaining historical assessments (i.e. those prior to implementation of CBME).

또한, 비록 타당성이 종종 [의도된 구인intended construct]으로 시작되지만, [성과 프레임워크]는 이 역할에 대해 불완전한 것으로 식별되었다. 정보제공자는 변환된 결과 체계를 보완할 필요성을 설명하면서, 예를 들어, [구인을 정의하는 방법]에 대한 일부 불확실성을 제안하였다.

Further, although validity often begins with an intended construct, outcome frameworks were identified as incomplete for this role. Informants described the need to supplement translated outcome frameworks, suggesting some uncertainty in how constructs are to be defined, for example:

연구참여자들은 [번역된 성과 프레임워크]나 [결과 프레임워크 자체]가 [평가 프레임워크로의 번역에 한계가 있음]을 나타내는 것처럼 보였다. 따라서 많은 정보 제공자들은 EPA를 기존 교육 내 평가 시스템에 통합하는 것을 선호하면서 이전의 평가 도구(예: 360 평가, 서면 시험 및 OSCE)를 포기하는 것을 꺼린다고 보고했다.

Informants seemed to be indicating that translated outcome frameworks had limitations either in the outcome framework itself or in its translation to assessment frameworks. As such, many informants reported being reluctant to abandon their previous assessment tools (e.g. 360 assessments, written examinations and OSCEs), preferring to integrate EPAs into a pre-existing system of in-training assessments.

3.2 평가 계획에 대한 경쟁적 영향요인과의 협상
3.2 Negotiating through competing influences on assessment plans

평가 계획은 CBME의 많은 기능 중 하나이며, 따라서 결과 프레임워크에서 평가 계획으로 이동하는 데에는 타당성 외에 다수의 영향력자(예: 행위자 및 상황 요인)가 포함되며, 구현(예: 변경 관리 포함), 인가 및 기술로 광범위하게 분류된다. 이것은 경쟁적인 요구나 긴장을 가진 활동의 흐름으로 이어졌다. 즉, 이러한 영향력 요인들은 의도적이든 의도적이든 자신의 입장을 강화하거나 타인의 입장을 약화시키고, 타당성은 번역 과정에서 핵심 인플루언서가 아니라 많은 요소 중 하나로 표현된다.
Assessment plans are one of many features in CBME and so moving from outcome framework to assessment plans involved a number of influencers (e.g. actors and situational factors), other than validity, broadly grouped as implementation (i.e. including change management), accreditation and technology. This led to streams of activities with competing demands or tensions; that is, these influencers intentionally and unintentionally strengthen their own or weaken others’ positions and validity is represented not as the core influencer in the translation process, but as one among many.

[구현]은 의도된 원칙의 달성을 용이하게 하는 방식으로 CBME를 제정해야 하는 필요성을 말하며(예: 교육생이 EPA를 달성할 수 있는 기회를 제공하고 학습자 진행 또는 어려움에 처한 사람들을 식별한다), 이것이 제정되거나 우선순위가 매겨지는 방법은 관련자의 선택이다. [달성해야 할 활동으로서 CBME를 이행해야 하는 의무]는 때때로 타당성을 배제하지는 않더라도, 타당성보다 더 높은 우선순위를 갖는다. 구현에는 다음과 같이 교육자의 전환과 참여에 대한 인식이 포함되었으며, 이러한 전환과 참여shift and buy-in 역시 어떻게 우선순위가 매겨져야 하는지가 포함되었습니다.

Implementation refers to the need to enact CBME in a way that facilitates achievement of intended principles (e.g. provide trainees with opportunities to achieve EPAs, and identify learner progress or those in difficulty), and how this is enacted or prioritised is a choice for those involved. This obligation to implement CBME as an activity to be accomplished is enacted sometimes not to the exclusion of validity, but as a higher priority. At times implementation involved a recognition of the shift and buy-in of educators that would be required and how this too must be prioritised, as illustrated below:

이러한 [실제적 문제]는 평가 계획을 집행하는 데 큰 영향을 미치는 것으로 보입니다. 구현 결정은 때때로 또는 일정 기간 동안만 유효성과 긴장된 상태로 존재할 수 있습니다.
These real-world issues appear to be strong influences on those enacting assessment plans. Implementation decisions can exist in tension with – even if only at times or for a period of time –validity.

[Accreditation]이란, 의사결정에 영향을 미치며, 인증 요건을 준수할 책임을 말하며, 당시에는 많은 사람들이 여전히 유동적이고 불확실하며 항상 또는 반드시 유효하지는 않은 것으로 인식되었다. 인가에 대한 이러한 초점은 다음과 같이 평가 계획에 대해 인증기관이 제공한 지침의 균형잡기, 의존 또는 준수를 의미한다.

Accreditation, as an influence on decision making, refers to the responsibility to comply with accreditation requirements, which at the time for many were perceived to still be fluid, uncertain and not always or necessarily a validity issue. This focus on accreditation meant balancing, relying on or complying with the guidance provided by the accreditor for assessment plans, as illustrated here:

다음 인용문에 기술된 바와 같이, 인증을 지원하기 위해 행동하는 많은 이들이 행위자가 평가 계획을 진행하는 방법에 영향을 미쳤다.
Many of those acting to support accreditation served to influence how actors proceeded with assessment plans, as depicted in the following quotation:

[규제 요구]에 대해 외부에서 제시되는 선언문을 준수해야 하는 강력하고 중요한 제도적 의무가 있지만, 이로 인해 일부 [재량권이 제한]되거나, [타당성 함의에 주의를 기울일 필요]가 있다는 우려가 수반된다.
There is a strong and important institutional imperative to comply with externally derived statements for regulatory needs, yet an accompanying concern that this may restrict some discretion or need to attend to validity implications.

[테크놀로지]는, 구현 및 인증과 밀접하게 연결되어있고, 평가 프로세스를 온라인으로 전환하려는 광범위한 의도를 의미합니다. 이 경우, 평가 도구와 보고는 테크놀로지적 능력에 의해 제한되었고, 이는 종종 타당성에 관한 고려사항보다 평가가 어떻게 제정되는지에 대한 더 강력한 결정 요인이 되었다.
Technology, closely linked to both implementation and accreditation, refers to the widespread intention to have assessment processes moved on-line. In this instance, assessment tools and reporting were limited to technological capabilities and this often was a more powerful determinant of how assessments were enacted than considerations regarding validity, as illustrated below:

이 경우, 물리적 제약 조건(특정 테크놀로지)이 평가 계획을 집행하는 자의 대응 및 재량에 대한 옵션 범위와 잠재성을 제한합니다. 따라서 이러한 제약조건은 [제도적 상황] 내에서 [어떤 평가접근법과 관행을 운영할 수 있는지]에 강한 영향을 미친다. 이것은 타당성을 구성할 수 있는 것으로 확장된다.

In this case, a physical constraint – a particular technology – limits the range of options and potential for responses and discretion by those enacting assessment plans. Such constraints, therefore, have a strong influence on what assessment approaches and practices can be enacted within the constraints of an institutional setting. This extends to what can constitute validity.

3.3 위험, 불확실 또는 가정된 위치 결정 유효성
3.3 Positioning validity as threatened, uncertain or assumed

우리는 평가 계획의 번역 및 제정에서 확인되지 않은 가정이 있을 수 있는 곳과 격차가 있을 수 있는 곳을 구성하기 위해 케인의 타당성 프레임워크를 사용하여 의사 결정 프로세스를 조사했다. 타당성 위협은 번역 프로세스(예: 표준화된 도구 개발 및 사용, 다목적 결과)와 평가 계획 제정(예: 이벤트에 대한 액세스, 평가 및 학습자 행동, 작업장 비용) 모두에서 나타난다.
We examined decision-making processes using Kane’s validity framework to organise where unchecked assumptions may be in the translation into and enactment of assessment plans, as well as where gaps may be. Validity threats emerge in both

• the translation process (e.g. developing and using standardised tools, and multi-purposing outcomes) and
• the enactment of assessment plans (e.g. access to events, rater and learner behaviours, and workplace affordances).

타당성 프레임워크는 (위에서 설명한) 구성 표현 문제 외에도 타당성 주장 생성을 지원하는 기회로서 기능하는 [확인되지 않은 가정]을 탐색할 수 있는 기회를 제공한다. 구현의 결과로 본질적으로 존재하는 데이터로 많은 가정을 해결할 수 있다. 그러나, 아래에 예시된 바와 같이, 많은 정보제공자들은 타당성 증거를 검토할 [준비]가 되어 있지 않거나, [능력]을 갖추고 있지 않으며, [기회]를 이용할 수 없거나, 타당성 증거의 생성에 대한 [관심]이 아직 우선시되지 않았다고 보고하였다.

In addition to issues of construct representation (described above), validity frameworks provide an opportunity to explore unchecked assumptions that serve as opportunities to support the generation of validity claims. Many assumptions can be addressed with data that inherently exist as a result of the implementation. However, as illustrated below, many informants reported being unprepared or ill-equipped to examine validity evidence, and that opportunities have not been available or attention to generating evidence of validity has not yet been prioritised:

[평가 계획을 평가하려는 이러한 도전]은 구현 노력에 대한 평가를 계획하거나 구현한 조직이 거의 없기 때문에 복잡해 보였다. 많은 이들이 이를 평가 시스템의 필수적인 부분이 아닌 시행 후 제도적 과정으로 대학원 학과에 미루었다.
This challenge of attempting to evaluate assessment plans seemed to be complicated by how few organisations had either planned or implemented an evaluation of their implementation efforts. Many deferred this to postgraduate departments, as an institutional process after implementation, rather than an integral part of the assessment system.

타당성의 display는 '여러 기관들'에 걸쳐 분포되어 있으며, 타당성에 대한 argument는 제대로 개발되지 않았다. 타당성에 대한 책무는 다른 우선순위에 따르는 동안 대체되거나 축소되거나 제쳐진다. 책무는 종종 둘 이상에게 위임된다. 많은 대리인들이 어느 정도의 방어 가능성이나 타당성을 추론하는 데 사용되며, 종종 모범 사례에 근거한다.

Displays of validity are distributed across ‘institutions’, leaving validity arguments poorly developed if at all. Accountabilities for validity are either displaced, reduced or put aside while other priorities are attended to. Accountabilities are often delegated in more than one direction. A number of surrogates are reported to be used to infer some degree of defensibility or validity, often rooted in best practices:

요약하자면, 결과를 번역할 때 [타당성에 대한 우려]는 일차적인 요구 사항이 아니었다. 기껏해야, 대리지표surrogates에 근거하거나, 평가의 체계적 부재로 입증되는 추가 가정 시험이나 타당성 검사 없이 transfer될 수 있다고 가정했다. 말하자면, 많은 사람들에게, 시행 단계였기 때문에 아직 광범위한 타당성 평가는 가능하지 않았다. 그러나 이러한 맥락에서 타당성이 강조되지 않거나 대체되었다. 구성표현은 EPA 또는 EPA의 역량을 넘어서는 것을 의미했고, 위협은 번역 후 계획에 나타났으며, 이들 중 상당수는 역량 위원회나 프로그래밍 평가의 사용을 통해 완화되는 것으로 가정되었다. 이러한 문제의 많은 결과로, 역량 위원회에 대해 생성된 데이터와 관련된 타당성 증거가 (그저 있다고) 가정되거나, 확인되지 않으며, 불확실한 책무성을 가질 수 있다.

표 1은 주요 요점과 이론적 및 실제적 시사점을 포함한 결과 요약을 제공합니다.

In summary, concerns about validity were not the primary imperative when translating outcomes. At best, it remained assumed, based on surrogates or that it could be transferred without further testing of assumptions or validation as evidenced by the systematic absence of evaluations. To be fair, for many, extensive evaluation of validity was not yet a possibility due to the stage of implementation. However, validity was de-emphasised or displaced in these contexts as well. Construct representation meant reaching beyond EPAs or their competencies, and threats appeared in plans following translations, many of which were assumed to be mitigated through competence committees or use of programmatic assessments. As a result of many of these issues, validity evidence associated with the data generated for competence committees may be assumed, unchecked and have uncertain accountabilities.

Table 1 gives a summary of findings, with key points and theoretical and practical implications.

4 토론
4 DISCUSSION

역량 기반 의학교육은 교육과정 전략을 지원하는 일련의 교육목표와 비지도 실습에 대한 훈련생 준비에 관한 의사결정을 지원하기 위한 평가계획을 알리는 역할을 한다.26 이러한 맥락에서 평가계획의 구조화에는 종종 경쟁적 사실에 대한 결과 프레임워크의 번역이 포함된다.자신도 모르게 타당성을 주장하는 사람들을 위협할 수 있는 비틀림 교육생에 대한 의사결정이 궁극적으로 이루어지는 데이터는 암묵적으로 또는 방치될 경우 교육생, 기관, 환자 및 일반인에게 중요한 다운스트림 영향을 미칠 수 있다. 본 연구에서는 캐나다 3개 대학의 CBME 리더들을 인터뷰하여 결과 프레임워크에서 형성 및 종합 평가 계획까지의 번역 과정을 탐구하였다. 우리의 결과는 

• (i) 평가 프레임워크으로 성과를 사용하는 것은, 좋은 평가를 위해 필요하지만, 불완전한 구성이기도 하다. 
  
• (ii) 구현, 인증, 테크놀로지 등을 포함하여, 평가 계획의 핵심 인플루언서로서 타당성을 대체하는 경쟁적 요소를 가진 여러 사회적 및 실제 협상이 있다. 
  
• (iii) 검증되지 않은 다수의 가정과 대리인에 대한 의존으로 인해, 타당성이 위협적이고 불확실하며 가정된 것으로 존재한다(이러한 결과의 예시는 그림 2 참조).

Competency-based medical education serves to inform a set of educational aims supporting curriculum strategies and also assessment plans intended to support decisions regarding trainee readiness for unsupervised practice.26 The structuring of assessment plans in this context often includes the translation of outcome frameworks against competing factors that may unknowingly threaten validity claims. Left implicit or unattended to, the data on which decisions are ultimately made about trainees may be undermined, with significant downstream implications for trainees, institutions, patients and the public. In this study, we explored the translation process from outcome framework to formative and summative assessment plans by interviewing CBME leaders within three universities in Canada. Our results suggest

• (i) using outcomes for assessment frameworks is necessary for good assessment but it is also an incomplete construct;
• (ii) there are a number of social and practical negotiations with competing factors that displace validity as a core influencer in assessment planning, including implementation, accreditation and technology;
• (iii) validity exists as threatened, uncertain and assumed due to a number of unchecked assumptions and reliance on surrogates (see Figure 2 for an illustration of these findings).

CBME 맥락에서 [평가 계획]은 [번역 프로세스]를 통과하는 [성과 프레임워크]에서 시작되며, 이 조사는 이 조사에 포함된 세 대학에 걸쳐 전략과 정도가 다르다. 다른 이들은 결과 프레임워크가 어떻게 평가 프레임워크로 깔끔하게 번역되지 않을 수 있는지를 설명했다. 일부 설명은 도구 또는 준비되지 않은 교수진의 품질에 초점을 맞추었거나, 결과 프레임워크가 사회적으로 구성되었거나 역량에 대한 보다 기초적인 개념화와 잘 정렬되지 않았기 때문에 결과 프레임워크로 시작하는 것이 개념적으로 결함이 있다는 것이다. 성과 프레임워크에서 평가 계획으로 이동할 때, Callon의 번역 이론은 많은 추가적인 메커니즘이 관련될 수 있음을 시사한다. 이 연구의 결과는 번역 과정이 (Callon이 시사하는 바와 같이) 사회적, 실제적 또는 물질적, 이론적, 정치적 맥락에서 전개되고, 새로운 과정이 최종적인 평가 계획을 형성한다는 것을 시사한다. 

Assessment planning in a CBME context begins with outcome frameworks that pass through a translational process, which varies in strategies and degree across the three universities included in this investigation. Others have described how outcome frameworks may not translate neatly into assessment frameworks.3, 27, 28 Some explanations have focused on the quality of the tools or unprepared faculty members29, or that it is conceptually flawed to start with outcome frameworks because they are socially constructed or poorly aligned with more grounded conceptualisations of competence.3, 27 When moving from an outcome framework to assessment plans, Callon's theory of translations suggests a number of additional mechanisms may be relevant.17 The findings of this study suggest that the translational process unfolds (as Callon would suggest) in social, practical or material, theoretical and political contexts and the emergent process shapes eventual assessment plans.

[사회적 조건]의 역할은 이전에 CBME를 포함한 교육적 맥락에서 강조되었다. 예를 들어, 연구자들은 교육적 성과를 명시하고, 그러한 성과를 달성하기 위한 의도적인 계획을 갖는 것의 중요성을 인정하지만, 맥락과 참여 행위자들이 어떻게 매우 다른 것을 만들어낼 수 있는지를 보여주었다. 즉, [기초적인 교육 원칙]은, 교과목표와 경쟁하는 맥락적(즉, 사회적 및 실제적) 특징의 결과로 인해서 이전, 변형 또는 폐기될 수 있다. 결과적으로, 무어는 커리큘럼을 경험적이고, 새로우며, 진화하고, 경쟁적인 우선 순위를 가진 현실 세계의 일부로서, [정적이며 성문화되고 무균적으로 계획된 과정이 아니라고] 설명했다. 이 연구의 결과는 유사한 방식으로 번역 활동과 평가 계획도 보장되거나 확실한 것보다 유효성을 더 의도적으로 남기는 많은 영향(즉, 행위자와 기관의 견해와 우선순위)에 영향을 받기 쉽다는 것을 시사한다.

The role of social conditions has been highlighted before in educational contexts, including CBME.18 For instance, researchers acknowledge the importance of specifying educational outcomes and having intentional plans to achieve those outcomes, but demonstrate how contexts and participating actors can create something very different;19 that is, underlying educational principles may be transferred, transformed or abandoned as a result of contextual (i.e. social and practical) features that are in competition with curricular goals.30, 31 As a result, Moore described the curriculum as experienced, emergent and evolving, as part of the real world with competing priorities and not as a static codified and sterile planned process.32 The results of this study suggest that in an analogous way, translational activities and assessment plans are also susceptible to a number of influences (i.e. views and priorities of actors and institutions) that leave validity more intended than guaranteed or certain.

또한 본 연구에서 우리는 타당성에 대한 위협에 대해 학습한 동시에, 이러한 위협을 완화하려는 (테스트되지 않은) 시도를 식별하였다. 예를 들어, 성과 프레임워크는 현재 형태로는 [불완전하거나 불충분한 구성]으로 식별되었다. 이것은 성과 프레임워크가 어떻게 평가 프레임워크로 깔끔하게 번역되지 않을 수 있는지에 대한 Lurie의 이전 주장을 뒷받침할 수 있다. 추가적인 과정이 필요했고 역량에 대한 방어가능한 주장을 뒷받침하는 것도 포함되었다. 교수진 및 학습자 행동과 같은 [점수 매기기 위협], 또는 충분한 품질 또는 양으로 임상 이벤트에 접근하는 어려움과 같은 [일반화 위협]은 이를 완화하려는 시도(예: 교수 개발 및 시뮬레이션을 보완하여 사용)가 존재했다. 하지만 타당성에 미치는 영향은 여전히 존재있다.

Further, in our study, we learned of threats to validity while also identifying (untested) attempts to mitigate these threats. For example, outcome frameworks were identified as incomplete or as an insufficient construct in their current form. This may support Lurie's earlier arguments regarding how outcome frameworks may not translate neatly into assessment frameworks.3, 27, 28 Additional processes were necessary and included supporting defensible claims regarding competence. Scoring threats, such as faculty member and learner behaviours, or generalisation threats, such as difficulty accessing clinical events in sufficient quality or quantity, are being met with attempts to mitigate them (e.g. faculty development and use of simulation as a supplement) but remain largely assumed in regards to impact on validity.

예를 들어, 교육 기관의 평가 관행이 신뢰성을 시험하고 지원하는 방식으로 이러한 상황을 통제할 수 없기 때문에 임상 실습에서 이루어지는 판단과 결정에서 발생하는 [평가 관행에 대한 신뢰성과 관련된 다양한 문제]가 있다. '외삽 근거' 또는 '함의 근거' 를 포함한 다른 추론은 아직 실행의 초점도 아니었고, 명시적으로 계획되지도 않았다. 가정 검토와 구조 유효성 주장을 포함하는 계획은 다른 경쟁 우선 순위 대신 강조되지 않거나 고려되지 않으며, 타당성이 가정되거나 대리인에게 귀속되기 때문이다. (예: 완료된 평가 수 및 문제 있는 학습자 식별)

For instance, there are a range of issues associated with the reliability of assessment practices that arise from judgements and decisions being made in clinical practice as these circumstances cannot be controlled in the way that assessment practices in educational institutions can be to try and support reliability. Other inferences including ‘extrapolation’ or ‘implications’ evidence had not yet been an actioned focus nor explicitly planned. Plans to include examination of assumptions and to structure validity arguments are de-emphasised or not considered in place of other competing priorities,21 or because validity is assumed or attributed to surrogates (e.g. number of assessments completed and identification of learners in trouble).

의료 교육의 평가 과학자와 교육자는 평가 계획에서 핵심 인플루언서로서 타당성을 위치시키지 않는 이러한 종류의 영향과 굳이 논쟁할 필요가 없었을 것이다. 공통 가이드라인에서는 실행 가능성, 비용 또는 수용 가능성을 넘어 [계획 또는 평가 과정에서 (평가 타당성을 경쟁하는) 다른 사회적 영향을 고려하는 방법]을 강조하지 않을 수도 있다. 그러나 타당성이나 타당화는 (경험적이고 논리적 과정만큼이나) 사회적 과정이며, 맥락, 행위자, 제도에 의해 형성될 수 있다. 예를 들어, 이 연구에서 우리는 다른 이해관계자의 이익(예: 구현, 인가 및 기술)과 일치하기를 원하거나 필요로 하며, 책임의 대체 및 기타 중요한 영향이 평가 설계를 형성하고 있다는 것을 발견했다. 

Assessment scientists and educators in medical education have perhaps not had to contend with these kinds of influences that do not position validity as the core influencer in assessment planning. Common guidelines may de-emphasise how to consider other social influences that compete with assessment validity in the planning or evaluation process, beyond feasibility, cost or acceptability.6, 33, 34 But validity or validation may be as much a social process (we mean this to be distinct from a social accountability35) as an empirical and logical one, that is shaped by context, actors and institutions. In this study we found, for example, wanting or needing to align with the interests of other stakeholders (e.g. implementation, accreditation and technology), displacing of accountabilities and other material influences were shaping assessment designs.

이것은 항상 또는 반드시 타당성에 대한 최고의 기회를 제공하는것은 아니었다. [평가 계획]은 단순히 [평가 과학]이 아니고, [사회적 상호작용과 협상에 관한 것]이 된다. 그렇다면 CBME와 같은 복잡한 개입에 서 있는 이해당사자들 사이에서 [평가가 단지 여럿 우선 순위 중 하나에 불과할 때], 이제 평가 설계를 어떻게 해야 하는지 물어야 한다. 새로운 actor가 번역 과정에 등록될 때마다, 그들은 잠재적으로 번역 과정을 방해할 수 있고, 우리가 경쟁하는 모든 의무들이 어떻게 해결되어야 하는지 알아내도록 강요한다. 따라서 [평가 지침]은 이러한 문제에 대해 더 자세히 설명하기 위해 재구성될 필요가 있다. 이는 타협compromise하기 위해서가 아니라, 이러한 문제가 발생할 때 충분한 타당성 주장이 만들어질 수 있도록 보장하기 위해서이다. 이러한 과제를 고려할 때, 또한 문제가 있는 타협을 피하기 위해, 특히 타협이 필요한 경우, 유효성 및 검증에 충분한 공간을 제공해야 할 수 있다. 그때까지 타당성은 ['베스트 프랙티스'의 적용과 대리자surrogate의 사용]을 가지고 존재한다고 가정assumed되거나, 책무성을 대체함으로써 가정될 수 있다(즉, 타당성은 '그들'의 책임이다).

This was not always, or necessarily, in ways that would provide the best opportunities for validity. Assessment planning becomes additionally about social interactions and negotiations than just pure assessment science. An implication then is to ask what should we now make of assessment designs when assessment is but one priority among many across stakeholders with standing in a complex intervention like CBME? Every time a new actor is enrolled into the translation process, they can potentially disrupt it, obligating us to figure out how any competing imperatives are to be addressed. Assessment guidelines, therefore, may need to be reframed to account further for these issues, not to compromise on but to ensure sufficient validity arguments can be made when these issues arise. In light of these challenges but also to avoid problematic compromises, validity and validation may need to be given sufficient space, especially when compromises are necessary. Until then validity may remain assumed using the application of ‘best practices’ and the use of surrogates, or by displacing accountabilities (i.e. validity is a ‘they’ responsibility).

4.1 제한사항
4.1 Limitations

이 연구는 한계라는 맥락에서 고려되어야 한다. 첫째, 우리의 샘플은 세 개의 캐나다 대학을 나타내며 우리는 이러한 맥락의 위치적 성격을 인식한다. 다른 정성 연구와 마찬가지로, 본 연구의 목적은 개념적 전이성을 갖는 것이며 경험적 일반성을 제시하지 않는다. 둘째, 캐나다에서 비교적 초기 CBME의 상태를 고려할 때, 시스템은 항소나 실패를 통한 유효성 주장의 시험이나 시간의 이점을 갖지 못했을 수 있으며, 따라서 여전히 성숙할 수 있다. 우리는 이 연구가 특정한 순간을 포착한다는 것을 인정한다. 이 연구를 이렇게 일찍 수행한 우리의 의도는 이러한 유효성 고려사항을 조기에 자극하는 것이었다.

This study should be considered in the context of its limitations. First, our sample represents three Canadian universities and we recognise the situated nature of this context. As with other qualitative studies, our intention with this study is to have conceptual transferability and we do not suggest empirical generalisability. Second, given the relatively early status of CBME in Canada, the system may not have had the advantage of time or testing of validity arguments through appeals or failures, and may therefore still mature. We recognise that this study captures a particular moment in time. Our intention in conducting this study, this early, was to stimulate these validity considerations at an early stage.

5 결론 및 향후 방향
5 CONCLUSIONS AND FUTURE DIRECTIONS

CBME는 [성과 프레임워크]에서 시작하여 교육, 학습 및 평가로 광범위하게 그룹화된 많은 활동으로 변환되는 복잡한 개입이다. 이러한 [번역 프로세스]는 평가 관점에서 평가 과학자, 기관 및 교육자에게 새로운 과제를 제공하는 [복잡한 사회 및 실제 환경]에서 발생합니다. 이러한 환경으로 인해, 평가 설계의 핵심 인플루언서로서 타당성은 도전에 직면했다. 이해관계자들의 다른 관심사(도입, 인증, 테크놀로지)와 맥락적 요인(타당화 기회에 대한 평가절하 및 접근성 낮음)이 작동하고, 그 결과 타당성 검사가 프로세스에서 항상 우선시되지 않거나, 심지어 실현 가능하지도 않게 된다. 타당성과 타당화는 공간을 두고 경쟁하기 위해 고군분투하거나, 최소한 이 시점에서 강조되지 않거나, 대체되거나, 그냥 가정될 수 있다.

Competency-based medical education is a complex intervention that begins with an outcome framework, which is then translated into many activities broadly grouped as teaching, learning and assessment. This translational process takes place in a complex social and practical environment that, from an assessment perspective, provides new challenges for assessment scientists, institutions and educators. This environment is challenging validity as a core influencer in assessment designs. Other stakeholder interests (e.g. implementation, accreditation and technology) and contextual features such as the (de)valuing of and access to validation opportunities, are at play, which assigns validity a unique and certainly not always prioritised or even feasible assignment in the process. Validity and validation struggle to compete for space or may be de-emphasised, displaced or just assumed, at least at this point.

결과적으로, 확인되지 않은 위협과 의도된 완화 전략(예: 일부 교수진 개발 또는 대량의 데이터 추구)이 검증을 받기 보다는, 타당성에 영향을 미칠 것이라고 그저 가정되며, 그 결과 타당도는 생성하기 어려운 것, 암묵적인 것, 위기에 놓은 것이 되었다.

• CBME의 평가 기능을 구현할 때 학습자 또는 후보, 공공, 환자 및 기관에 상당한 다운스트림 영향을 미치면서 평가가 관련되고 준비 상태 또는 역량에 대한 의사결정에 기여하는 경우, 타당성 및 타당화가 우선시되거나 더 많은 지위를 부여해야 할 수 있다.
• 둘째, 미래 연구는 프로세스와 그 잠재적 영향에 대한 보다 포괄적인 이해를 제공하기 위해 여러 관점(즉, 교육생의 관점 및 역량 위원회 구성원의 관점)에서 검색해야 한다.
• 마지막으로, CBME의 컨텍스트는 연구자들이 컨텍스트의 복잡성을 설명하는 방법을 제안하게 하고 있다.

As a result, there are some unchecked threats and intended mitigation strategies (e.g. some faculty development, or seeking large amounts of data) are more assumed in terms of their impact on validity than tested, leaving validity arguments difficult to create, implicit and risky.

• Moving forward, first where assessment is involved and contributes to decisions about readiness or competence, with significant downstream effects for the learner or candidate, public, patients and institutions, validity and validation may need to be prioritised or given more standing when implementing assessment features of CBME.
• Second, future research from multiple perspectives (i.e. perspectives of trainees and perspectives of members of competence committees) is necessary to provide an even more comprehensive understanding of these processes and their potential effects.
• Finally, the context of CBME is causing researchers to propose ways of accounting for the complexity of context.30, 36 

따라서, 이렇듯 [번역은 언제나 협상을 수반]하므로, 평가 연구자는 [의료 및 보건 분야의 평가가 구현되고 제정되어야 하는 맥락적 현실]에서 [어떻게 타당성 프레임워크를 설명할 것인가]를 탐색하고 보고해야 할 필요가 있다. CBME 계획 및 구현의 맥락에서 이러한 번역 프로세스를 설명할 때, 이러한 문제를 무시하거나 경쟁하기 보다는, [의도적으로 통합하는 방향]으로의 전환하는 것이 전략을 최적화하는 방법일 수 있고, 타당성을 위협할 수 있는 긴장과 도전을 완화하는 방법이 될 수 있다. 이것은 또한 평가나 타당성 과학의 영역 내에서 아직 완전히 인식되지 않은 다른 형태의 사회과학으로부터 새로운 협력, 협업의 새로운 형태, 그리고 새로운 통찰력을 요구할 수 있다. 그 전까지는, 번역 프로세스는 암묵적인 상태로 남을 것이고, CBME에서 평가 프로그램의 타당성은 위험한 상태로 남을 것이다.

Therefore, in a similar way, because translations involve negotiations, assessment researchers may need to explore and report on how validity frameworks are to account for the contextual realities in which assessment in medical and health professions is to be implemented and enacted. In explicating these translational processes in the context of CBME planning and implementation, shifts toward intentionally integrating these issues, rather than ignoring or competing against them, may be a way of optimising strategies and a way of mitigating tensions and challenges that may threaten validity. This may also require new partnerships, new forms of collaboration and new insights from other forms of social science that have not yet been fully appreciated within the domain of assessment or validity science. Until then, translational processes may remain implicit and validity of assessment programmes in CBME risky.

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

프로그램 이론에 따른 CBME 개입의 과정과 성과 평가 (J Eval Clin Pract. 2020)
Process and outcome evaluation of a CBME intervention guided by program theory
Deena M. Hamza PhD1 | Shelley Ross PhD2 | Ivy Oandasan MD, MHSc, CCFP, FCFP3,4

1 소개
1 INTRODUCTION

의료 시스템은 많은 요인의 산물이며, 최근 몇 년 동안 의료 교육은 중점 분야였다. 일부 증거는 현재의 훈련 방법이 복잡하고 다양하며 끊임없이 발전하는 지역사회의 요구를 충족시키는 치료를 제공할 수 있는 의사의 개발을 지원하기 위해 개선이 필요하다는 것을 시사한다. [1978년에 처음 도입된 역량 기반 의료 교육(CBME)]은 지난 10년 동안 의료 서비스 제공자의 교육 방식을 변형함으로써 의료 시스템의 현재 문제 중 일부를 해결할 수 있는 교육 접근법으로 다시 추진력을 되찾았다. CBME에 대한 많은 정의와 해석이 문헌에서 확인되었지만, CBME에 대한 우리의 논의는 다음과 같이 정의된다.

Health care systems are a product of many factors, and in recent years, medical education has been an area of focus.1-4 Some evidence suggests current training methods need improvement to support the development of physicians who are able to provide care that meets the needs of complex, diverse, and ever-evolving communities.1-4 Competency-based medical education (CBME), originally introduced in 1978, has regained momentum over the past decade as an educational approach that can address some of the current issues in health care systems by transforming the way that health care providers are trained.5, 6 While many definitions and interpretations of CBME have been identified in the literature, our discussion of CBME is defined as:

전 세계의 여러 보건 전문 교육 규제 기관이 CBME로의 전환을 의무화했지만, CBME가 모든 이해관계자에게 받아들여지는 것은 아니다. CBME의 가정은 증거를 뒷받침하는 확립된 교육 이론에 기초하지만, 보건 전문가 훈련 문헌에서 이러한 교육 전환의 잠재적 영향에 대한 비판적인 논쟁이 있었다. 핵심 논의 중 하나는 성과에 집중한다: CBME가 개선된 결과를 가져올지 여부를 어떻게 알 수 있으며, 더 나은 결과에 대한 확신이 없을 때 CBME로의 전환과 관련된 인적 및 재정적 비용을 정당화할 수 있는가?
Although multiple health professions education regulatory bodies around the world have mandated a shift to CBME,6, 8 CBME is not accepted across all stakeholders.8-11 While the assumptions of CBME are based on established educational theory with supporting evidence,5, 12-15 there have been critical debates in the health professions training literature regarding the potential impact of this education transformation. One of the key debates centres on outcomes: how can we know whether CBME will result in improved outcomes, and can we justify the human and financial costs associated with a transition to CBME when there is no certainty of a better outcome?16-18

1.1 CBME와 같은 복잡한 교육 개입을 어떻게 평가할 수 있는가?
1.1 How can we evaluate a complex education intervention, such as CBME?

[구현implementation]은 [집단 행동의 새로운 패턴을 의도적으로 도입하거나, 기존의 패턴을 수정하는 것]으로 정의된다. 이러한 [집단행동의 패턴]은 제도적으로 승인되고, 공식적으로 정의되며, 의식적으로 계획되고, 변화된 결과로 이어지도록 의도된다. 새로운 교육 모델의 구현은 복잡하다. 왜냐하면 사람들이 [집단 행동을 촉진하고 원하는 결과를 이끌어내기] 위해, [자신과 타인을 어떻게 생각하고, 행동하고, 구성하는지]가 수정되어야 하기 때문이다. 여러 저자들은 CBME 채택에 영향을 미치는 장애물을 만드는 여러 수준의 승인과 함께 관련되어야 하는 다수의 이해관계자와 설정을 고려할 때 CBME 구현에 관련된 복잡성을 강조해왔다. 비평가들은 너무 자주 [변화 구현에 관련된 복잡성]이 단지 [CBME를 엄격하게 평가할 수 없는 이유]를 설명하는 [핑계]로 사용된다고 주장했다. 우리는 CBME의 프로세스와 결과 모두에 대한 신중한 평가가 필요하고 엄격하게 수행될 수 있으며, 지속적인 CBME 구현과 개선을 지원하는 유용한 정보를 산출할 수 있다고 제안한다.

Implementation is defined as the deliberate introduction of new, or modifying existing, patterns of collective action.19 These patterns of collective action are institutionally sanctioned, formally defined, consciously planned, and intended to lead to a changed outcome.19 Implementation of new education models is complex as it involves modifying how people think, act, and organize themselves and others to promote collective action, leading to desired outcomes.19 Several authors have highlighted the complexity involved in implementing CBME, given the multiple stakeholders and settings that must be involved, along with multiple levels of approvals creating obstacles affecting adoption of CBME.20-23 Critics have argued that all too often, the complexity involved in implementing change is used as an excuse to justify why CBME cannot be rigorously evaluated.6, 11, 24-26 We propose that deliberate evaluation of both the process and outcome of CBME is needed and can be done rigorously, yielding useful information in support of ongoing CBME implementation and improvement.

CBME가 '향상된' 졸업생을 낳는지에 대한 문헌 내 비판은 성과 평가를 통해 답할 수 있다. 성과 평가는 [프로그램의 진행 상황]과 [원하는 결과 달성 상태]를 살펴보고, 의도하지 않은 결과, 투자 수익률, 지식, 태도, 행동의 변화 등의 질문에 답한다. CBME에 대한 문학적인 대화는 주로 졸업생들의 개별 역량 형태의 성과에 초점을 맞추었지만, CBME의 구현을 제정하는 데 있어 [모범 사례best practice를 이해하는 것]은 결과를 측정하는 것만큼 중요하다. 즉, CBME가 구현되는 상황을 이해하고, CBME가 구현되는 방법을 평가하면 결과가 나타나는 이유에 대한 보다 완전한 이해를 제공할 것이다.

Criticism in the literature about whether CBME results in “improved” graduates can be answered through use of outcome evaluation.8-11, 16-18 Outcome evaluation examines the progress of the program and the status of accomplishing desired results and answers the questions such as unintended outcomes, return on investment, and changes in knowledge, attitudes, and behaviours.27, 28 While literary conversations about CBME have predominantly focused on outcomes in the form of the individual competence of graduates, understanding best practices in enacting the implementation of CBME is equally as important as measuring its outcomes. In other words, evaluating how CBME is implemented with an understanding of the context within which it is implemented will provide a more a fulsome understanding of why an outcome emerges.

[프로세스 평가]는 조직 변혁을 구현하는 과정에서의 [사회적 프로세스와 메커니즘]을 탐색하고, 전향적으로prospectively 변화와 관련된 [성과 평가에 대한 다리]를 이끌어낸다. 프로세스 평가 질문은 CBME 구현 전반에 걸쳐 다음과 같은 질문과 함께 질문할 수 있다:

• CBME 활동을 구현하기 위한 장벽/촉진자는 무엇인가,
• 달성된 것은 무엇인가,
• CBME 변환의 영향을 받는 사람은 누구인가.

긍정적이든 부정적이든 결과에 영향을 미치는 요인을 이해함으로써 미래에 사용하기 위해 더 많은 정보를 도출할 수 있다.

Process evaluation explores social processes and mechanisms during the implementation of an organizational transformation and prospectively draws a bridge to the evaluation of outcomes associated with the change.29, 30 Process evaluation questions can be asked throughout the implementation of CBME with questions such as the following:

• what are the barriers/facilitators to implementing CBME activities;
• what has been accomplished; and
• who is being impacted by the CBME transformation.27 

By understanding factors that influence outcomes, whether positive or negative, more information can be derived for use in the future.

CBME의 구현은 상황에 따라 매우 다르다. 한 컨텍스트에서 작동한 CBME 개입을 적용하는 것은 다른 컨텍스트에서 실행 가능하거나 실행 가능하지 않을 수 있습니다. 그러나, [프로세스와 성과] 모두의 평가가 구현과 함께 계획된다면, 다른 사람들에 의한 기술혁신의 성공적인 채택이 더 가능성이 높을 수 있다. 이런 유형의 평가가 없다면, 상황별 메커니즘과 프로세스에 대한 정보가 부족하다. 이에 따른 리스크는 미래의 구현자가 조직 변혁의 "종교적 컬트" 문제에 빠질 수 있다는 것이다. 즉, 구현 프로세스가 "실행" 프로토콜을 준수하도록 축소되는 것이다. 하지만 [원래의 맥락에서 관찰된 결과를 뒷받침하는 필수적인 메커니즘과 프로세스]가 결여되어있기에, 구체성은 결여된 표면적인 모방만을 초래한다. 구현과 관련된 "방법"과 "이유" 질문을 알지 못하면, 구현자는 예상 결과에 영향을 미치는 필수 가능 요소 또는 장벽에 대한 유용한 정보에 접근할 수 없을 수 있다. 또한 영향 요인이 항목별 프로토콜에 포함되지 않는 경우 자체 컨텍스트에서 구현을 수행하는 방법을 모를 수 있다.

The implementation of CBME is very context dependent. Adapting a CBME intervention that worked in one context may or may not be feasible in another. However, successful uptake of an innovation by others may be more likely if evaluation of both processes and outcomes are planned alongside implementation.29, 31 Without this type of evaluation, information about contextual mechanisms and processes are lacking, and therefore, the risk is that future implementers may fall into the “cargo cult” problem of organizational transformation whereby the process of implementation is reduced to adherence to a “checklist” protocol, but essential mechanisms and processes that supported the outcomes observed in the original context are lacking, resulting in a superficial imitation lacking specificity.32 Without knowing the “how” and “why” questions related to implementation, implementers may not have access to useful information about the necessary enablers or barriers that impact anticipated outcomes. They also may not know how to carry out implementation in their own contexts if influencing factors are not included within itemized protocols.29, 31, 33

1.2 이론 기반 평가
1.2 Theory-based evaluation

이 논문은 복잡한 지역사회 기반 사회 및 의료 이니셔티브를 평가하는 데 사용되는 것과 같은 [이론 기반 평가 접근법]이 CBME에 사용될 수 있다고 제안한다. [이론 기반 평가]는 [프로그램 이론(변화 이론이라고도 함)의 개발]에서 시작되며, 프로그램 이론(변화 이론)은 [변환 또는 개입이 해결할 것으로 예상되는 문제]와 [이 변화(이 경우 CBME로의 전환)가 어떤 식으로 성공할 것인지에 대한 예상]을 명확하게 정의한다. 프로그램 이론은 [변화나 개입의 의도된 영향]을 정의한 다음, 영향을 미칠 것으로 예상되는 [단기 및 장기 성과의 연쇄]에 기여하는 요소들을 체계적으로 매핑한다. [프로그램 이론]과 함께 [단기 및 장기 성과에 대한 설명]을 포함하여 [CBME 구현과 관련된 활동을 설명하는 논리 모델]이 있어야 한다. 프로세스와 구현 결과에 영향을 미치는 기여 요인은 CBME 결과의 가정/가설을 포함한 논리 모델에서 식별되어야 한다. 
This paper proposes that theory-based evaluation approaches, such as those used in evaluating complex community-based social and health care initiatives,34-38 can be used for CBME. Theory-based evaluation begins with the development of a program theory (also called a theory of change), which clearly defines a problem that a transformation or intervention is anticipated to address, and how this change (in this case the shift to CBME) is anticipated to be successful.39-42 The program theory defines intended impacts of a change or intervention and then systematically maps factors that contribute to a chain of short- and long-term outcomes that are expected to have impact.41, 43-45 Accompanying the program theory should be a logic model, illustrating the activities involved in CBME implementation including a description of short- and long-term outcomes.46-49 Contributory factors that influence the process and the outcome of implementation should be identified in the logic model including assumptions/hypotheses of the results of CBME.50, 51

[프로그램 이론]은 [입력, 프로세스, 결과 및 영향]을 의도적으로 탐색할 수 있는 [프로그램 평가 계획의 개발을 위한 지침]역할을 한다. 본 논문에서 정의된 바와 같이 [프로세스 및 결과 평가]에서 도출된 findings는 [지속적인 개선을 위한 주기적인 기회]를 설정하며, [예상anticipated 프로그램 이론과 프로세스 및 결과를 향상]시킨다. CBME와 관련된 사람들의 경우, 여기에는 다음 두 가지의 평가에 영향을 미치는 요소를 이해하는 것이 포함된다. 

• 구현의 충실도 (즉, [제정된 프로그램]이 [구상된 프로그램]과 유사합니까?)
• 구현의 완결성 (예: WBA가 상세하고 실행 가능한 품질 피드백을 제공합니까?)

이러한 유형의 평가에서 얻은 결과는 최상의 CBME 구현 접근법에 대한 이해를 높이고 성공을 저해하거나 촉진할 수 있는 고려 요소를 강조할 수 있다.

The program theory acts as a guide for the development of a program evaluation plan that can intentionally explore inputs, processes, outcomes, and impact. The findings from a process and outcome evaluation, as defined in this paper, sets up a cyclical opportunity for ongoing improvement, enhancing the anticipated program theory and its process and outcomes.52-54 For those involved in CBME, this includes understanding elements influencing the process of evaluating the 

• fidelity (ie, does the program as enacted look like the program as conceived?) of implementation, as well as its 
• integrity (eg, do workplace-based assessments provide quality feedback that are detailed and actionable?).29, 54-56 

Findings from this type of evaluation can enhance our understanding of the best CBME implementation approaches and highlight factors for consideration that may impede or facilitate its success.

1.3 작업 예: 트리플 C 역량 기반 커리큘럼(트리플 C)
1.3 Worked example: Triple C Competency-based Curriculum (Triple C)

[프로세스 및 결과 평가]와 [명확하게 정의된 프로그램 이론] 사이의 연결고리는 [작업 사례worked example]를 통해 가장 잘 이해할 수 있을 것이다. 실행된 예는 결과와 프로세스 모두에 초점을 맞춘 최종적인 해결책에 도달하기 위한 문제와 문제 해결 접근 방식을 설명합니다. 프로세스 지향 작업 예제는 특정 단계를 "어떻게" 및 "왜"했는지에 대한 명시적인 설명을 제공하는 데 중점을 두고 있으며, 이러한 단계가 관찰된 솔루션에 어떻게 기여했는지 설명하는 데 도움이 될 수 있습니다. 여기, 우리는 구현과 동시에 수행된 이론 기반 프로그램 평가의 캐나다 가정의학 상주 훈련의 작업 예를 제시한다. 프로그램 이론과 평가 사이의 연관성을 설명하는 것 외에도, 이 작업 예는 프로그램 이론의 정기적인 업데이트를 지원하기 위한 발견을 발견하는 것이 어떻게 지속적인 프로그램 개선을 촉진할 수 있는지를 보여준다. 마지막으로, 이 작업 예는 CBME 혁신 또는 기타 커리큘럼 개혁을 위한 프로그램 평가를 설계하려는 개인을 위한 템플릿으로 작용할 수 있다. 

The links between process and outcome evaluation and a clearly defined program theory can best be understood by looking at a worked example. Worked examples describe a problem and the problem-solving approach to arrive at a final solution with a focus on both the outcome and the process.57-61 Process-oriented worked examples centre on providing an explicit explanation of “how” and “why” certain steps were taken and/or can help explain how they may have contributed to an observed solution.57-61 Here, we present a worked example from Canadian family medicine residency training of a theory-based program evaluation carried out concurrently with implementation. In addition to illustrating the connections between program theory and evaluation, this worked example shows how uncovering findings to support regular updating of a program theory can facilitate ongoing continuous program improvement. Finally, this worked example can act as a template for individuals looking to design program evaluation for their CBME innovations or other curriculum reforms.

1.4 배경
1.4 Background

캐나다 가정의학회(CFPC)는 캐나다의 가정의학을 인증하는 학회이다. 2010년, CFPC는 CBME의 핵심 구성요소와 일치하도록 국가 가정의학 레지던트 교육 커리큘럼과 평가 지침을 변경했다.62 CFPC의 CBME 버전은 트리플 C 역량 기반 커리큘럼(Triple C)이라고 불린다. 트리플 C에 대한 자세한 설명은 트리플 C 역량 기반 커리큘럼 보고서 1과 2에서 확인할 수 있습니다. 
The College of Family Physicians of Canada (CFPC) is the accrediting and certifying body for the discipline of family medicine in Canada. In 2010, the CFPC transformed their national family medicine residency education curriculum and assessment guidelines to align with the core components of CBME.62 The CFPC's version of CBME is called the Triple C Competency-based Curriculum (Triple C). A detailed description of Triple C can be found in the Triple C Competency-based Curriculum Reports 1 and 2.63, 64

1.5 프로그램 평가 접근방식 요약
1.5 Summary of program evaluation approach

트리플 C의 프로그램 이론의 개발은 처음에 다음과 같은 사회적 책임 접근법을 사용하여 가정의학과 레지던트 교육을 어떻게 개선해야 하는지를 확인하는 데 초점을 맞췄다. "커뮤니티, 지역 및/또는 국가(캐나다)의 우선적인 건강 문제를 해결합니다." CFPC는 서로 다른 이해관계자들과 상의하여 데이터 검토를 수행했으며, 전문가 작업 그룹을 통해 2010년부터 캐나다에서 전국적으로 시행될 가정의학 레지던트 교육 개혁을 정의하기 위해 학계와 합의된 구축 접근법을 사용했다. CFPC는 아직 트리플 C를 인증 표준에 통합하지 않았기 때문에, 전공의 프로그램에 대한 가이드로 트리플 C를 제공했다. 63 프로그램 평가 계획에 포착된 프로그램 이론을 알릴 수 있는 적응이 발생하고 학습이 생성될 것으로 예상되었으며, 이는 가정의학의 교육과정 개편을 더욱 촉진시킬 것이다. 그림 1은 트리플 C의 원래 [프로그램 이론]을 보여준다. 트리플 C는 가정의사가 제공하는 의료 서비스의 접근성 및 품질 개선이라는 장기적 목표에 도달하기 위해 의료 교육의 질을 개선하는 데 중점을 둔다.

The development of the program theory of Triple C initially focused on identifying how family medicine residency education should be improved by using a social accountability approach to: “address the priority health concerns of the community, region, and/or nation (Canada).”65 The CFPC consulted with different stakeholders conducted data reviews, and through expert working groups, used a consensus building approach with the academic community to define the family medicine residency education reform to be implemented nationally in Canada from 2010 onwards.63 CFPC offered Triple C as a guide for use by residency programs as the CFPC had not yet incorporated Triple C into accreditation standards.63 It was anticipated that adaptation would occur and learnings would be generated that could inform the program theory captured in the program evaluation plan, which would further enhance family medicine's curriculum reform. Figure 1 illustrates the original program theory of Triple C, which is centred on improving the quality of medical education to reach a long-term goal of increased access to and improved quality of care provided by family physicians.

이론 기반 평가는 논리 모델을 사용하여 주요 활동을 설명하고 다양한 CBME 이해관계자에게 특정한 예상 장단기 결과를 포함한다. 그림 2는 가정의학과 거주자, 졸업생, 교수진, 전반적인 학문 분야 및 인증 기관으로서의 CFPC에 대해 가정한 결과를 가진 CFPC의 [논리 모델]을 설명한다. (그림 2)
Theory-based evaluations use a logic model to describe key activities and include anticipated short- and long-term outcomes specific to various CBME stakeholders. Figure 2 describes the CFPC's logic model with outcomes hypothesized for family medicine residents, graduates, faculty, the overall discipline, and the CFPC as the accrediting body. (Figure 2)

[논리 모델(그림 2)]은 [데이터 수집 기회를 식별하기 위한 지도] 역할을 했으며, 이는 프로세스와 예상 결과 모두를 평가하는 8개 영역을 포함하는 평가 계획에 통합되었다(그림 3). 연구 결과는 CFPC의 다음 반복적인 커리큘럼 갱신 주기를 개선하고 수정하는 데 사용되었다. 학습된 교훈은 실제 경험을 바탕으로 한 독창적인 프로그램 이론을 강화한다.
The logic model (Figure 2) acted as a map to identify opportunities for data collection, which would be incorporated into the evaluation plan that included eight areas of focus evaluating both process and anticipated outcomes (Figure 3). Findings have been used to refine and revise the CFPC's next iterative cycle of curriculum renewal. Learned lessons enhance the original program theory based upon lived experience.

1.6 프로그램 평가: 가정 테스트 및 원래 프로그램 이론 수정
1.6 Program evaluation: Testing assumptions and revising the original program theory

표 1에서, 우리는 [원래의 트리플 C 프로그램 이론]을 사용한 [이론 주도의 프로그램 평가 계획]과 수집된 데이터를 기반으로 한 후속 업데이트의 과정을 설명한다. 데이터 원본은 추가 정보에 관심이 있는 사람들을 위해 공유된 참조와 함께 나열됩니다. 이러한 가정들의 프로그램 평가를 위한 원래의 프로그램 이론과 데이터 소스의 가정은 평가 결과의 몇 가지 예와 결과적인 원래의 프로그램 이론에 대한 후속 개선사항과 함께 아래에 제시되어 있다. 우리는 이것이 트리플 C의 전체 평가에 포함된 모든 평가 영역의 완전한 목록이 아니라 특정 단기 결과에 초점을 맞춘 예시적인 사례라는 것을 강조하고 싶다.

In Table 1, we illustrate the process of a theory-led program evaluation plan using the original Triple C program theory and subsequent updating based on data collected. The data sources are listed with references shared for those interested in more information. Assumptions from the original program theory and the data source(s) for program evaluation of those assumptions are presented below, along with some examples of evaluation findings and the subsequent refinements to the original program theory that resulted. We do wish to emphasize that this is an illustrative example focusing on specific short-term outcomes, and not an exhaustive list of all areas of evaluation included in the full evaluation of the Triple C.

• 가정 1.CFPC가
  [정책(인정 및 인증 기준)을 통한 가정의학과 레지던트 교육에 대한 CBME 접근방식의 발전]과,
  [레지던트 프로그램에 제공되는 변화 관리 지원]을 통해
  [캐나다 전역에서 트리플 C의 성공적인 채택]을 가능하게 할 것이다.
  
• Assumption 1.The CFPC's advancement of a CBME approach to family medicine residency education through policies (accreditation and certification standards) and change management support offered to residency programs will enable successful adoption of Triple C across Canada.

전공의 프로그램 구현 프로파일(RPIP, 프로그램 감독에 의한 자체 보고서 조사 완료)의 결과, 모든 프로그램이 트리플 C를 구현했지만 시기는 다양했습니다. 일부 얼리 어답터들은 이 훈련 모델을 도입한 지 1~2년 이내에 트리플 C의 대부분의 핵심 요소를 갖추었고, 다른 프로그램들은 트리플 C를 구현하는 데 몇 년이 더 걸렸다. 트리플 C의 질적 이해와 평가 연구에서 나온 연구 결과는 트리플 C의 흡수에 영향을 준 요인과 관련된 더 많은 정보를 발견했다. 트리플 C의 초기 채택자들은 CFPC가 가이드 제공을 통해 트리플 C에 대한 지원을 제공하고 프로그램 경험과 교훈을 공유할 수 있는 기회를 제공하는 데 도움이 되었다고 보고하였다. CFPC가 2000년부터 2010년까지 가정의학과 프로그램 이사 및 의장과 협업한 [공동 창작co-creation 접근 방식]도 수용도를 높이는 데 도움이 되었다. 초기 채택자들은 CFPC가 적절한 지원을 제공했다고 느꼈지만, 후기 채택자들은 특히 트리플 C의 공동 제작에 관여하지 않은 새로운 프로그램 리더들과 함께 CFPC가 더 많은 지시적이고 지속적인 지원을 제공했어야 한다고 생각했다.

Findings from the Residency Program Implementation Profile (RPIP, self-report survey completed by program directors) indicated that all had implemented Triple C across their programs but timing varied.66 Some early adopters had most core elements of Triple C in place within a year or two of the introduction of this training model, while other programs took several more years to implement Triple C.66 Findings from the Qualitative Understanding and Evaluation Study of Triple C (QUEST, qualitative study carried out in 2016 examining experiences of Program Directors, Department Chairs, administrative support personnel, postgraduate Deans, and residents through semi-structured interviews and focus groups) uncovered more information related to factors that influenced uptake of Triple C.67 Early adopters of Triple C reported that the CFPC was helpful in providing support for Triple C through the provision of guides, as well as facilitating opportunities for the sharing of program experiences and lessons learned.66, 68 The co-creation approach taken by the CFPC, collaborating with family medicine program directors and chairs from 2000 to 2010,63, 66, 69 also helped increase uptake. While early adopters felt that the CFPC provided adequate support, late adopters, particularly with new program leaders who were not involved in the co-creation of Triple C, felt that the CFPC should have provided more directive and on-going support.66, 68

1.7 원래 프로그램 이론의 업데이트
1.7 Updating the original program theory

가정 1에서는 CFPC 정책과 변경 관리 지원이 트리플 C(Triple C)의 도입을 촉진할 것이라는 가설을 세웠다. 다만 2017년 표준이 발표되기 전부터 인가 변경 예상은 변화를 가능케 하기에 충분했다. 이 연구결과는 [프로그램 개발에 대한 이해관계자의 참여(특히 리더십의 참여)]가 구현을 촉진하는 데 도움이 되었음을 시사한다. CFPC의 가이드와 프로그램 간 초기 공유는 유용했지만, 나중에 CFPC가 더 많은 것을 할 수 있었을 것이라고 생각했다. [리더십 전환shift]을 지원하기 위한 효과적인 커뮤니케이션 및 종방향 변화 관리 전략은 향후 사용을 위한 핵심 학습입니다.

In Assumption 1, it was hypothesized that CFPC policies and change management support would facilitate Triple C uptake. However, the anticipation of accreditation changes even before the standards were released in 2017 was enough to enable change. The findings suggest that stakeholder involvement in the development of Triple C, especially program leadership, helped to facilitate implementation. The CFPC's guides and early sharing across programs were useful, but later adopters who were not as involved felt the CFPC could have done more. Effective communication and longitudinal change management strategies to support leadership shifts are a key learning for future use.

RPIP의 연구 결과는 트리플 C의 시행 시기가 캐나다의 10개 주와 교육 현장에 걸쳐 위치한 17개 대학 기반 프로그램에 걸쳐 크게 다르다는 것을 보여주었다. 결국 흡수가 확인되었지만, 시간 변동성이 관심 포인트였다. 가정의학 종방향 조사의 결과는 대다수의 전공의가 트리플 C에 특화된 역량 기반 프로그램 평가 요소뿐만 아니라 가정의학을 중심으로 한 포괄적이고 지속적인 관리 경험을 경험했다는 것을 확인하였다. (FMLS 2010-2017, 캐나다의 16개 가정의학 프로그램에 걸쳐 레지던트 출입 시 가정의학과 레지던트를 대상으로 실시한 자가 보고서 조사) 

Findings from the RPIP indicated that the timing of Triple C implementation varied greatly across the 17 university-based programs situated across 10 provinces in Canada and across teaching sites.66 Although eventual uptake was identified, the time variability was a point of interest. Findings from the Family Medicine Longitudinal Survey (FMLS 2010-2017, self-report survey administered to family medicine residents at entry to and at exit from residency across 16 family medicine programs in Canada) identified that the majority of residents had experienced comprehensive and continuity of care experiences centred in family medicine as well as competency-based programmatic assessment elements specific to Triple C.66, 70 

QUEST 연구는 지지적 행정 인프라, 효과적인 의사소통 네트워크, 보호된 자원(예: 인적 및 재정적 자본 및 시간)과 이해관계자(예: 대학원 학장 및 보건부)와 협의적 접근에 참여한 프로그램이 Triple C 전환이 더 원활하다고 보고했다. 인증 검토 및 훈련 현장의 확장을 동시에 겪고 있는 사람들은 기존의 자금 지원과 리더십 지원을 활용하여 트리플 C로 전환하는 데 필요한 변화 사항을 포함할 수 있었다. 트리플 C의 핵심 구성 요소에 대한 서로 다른 해석이나 정의와 같은 특정 요인들은 구현에 어려움을 유발했다. 트리플 C의 발전에 관련된 모든 사람들 사이의 [일관된 공유 정신 모델]은 관리자, 프로그램 조언자, 커리큘럼 설계자 및 대학원 학장과 같은 이해관계자 간의 지속적인 의사소통과 협력을 통해 개발되었다. 이러한 [공유된 정신 모델]은 구현을 추진하고 지원하며, 수용을 촉진하는 데 도움이 되었습니다. 또한, 가정의학과 레지던트들을 지도하는 모든 지도교사에 대한 교수진 개발은 주의를 요하는 분야로 일방적으로 파악되었다.

The QUEST study reported that programs with supportive administrative infrastructures, effective communication networks, protected resources (eg, human and financial capital and time), and who had engaged in consultative approaches with stakeholders (eg, postgraduate deans and ministries of health) had smoother Triple C transitions.66, 68 Those who were simultaneously undergoing accreditation reviews and/or expansion of training sites were able to include changes needed to transition to Triple C, capitalizing on pre-existing funding and leadership support.66, 68 Certain factors challenged implementation, such as differing interpretations or definitions of the core components of Triple C.66, 68 Consistent shared mental models amongst all those involved in advancing Triple C were developed through ongoing communication and collaboration between stakeholders such as administrators, program advisors, curriculum designers, and postgraduate deans. These shared mental models helped to drive and support implementation66, 68 and facilitated uptake. Additionally, faculty development for all preceptors coaching family medicine residents was identified unilaterally as an area requiring attention.66, 68

1.8 원래 프로그램 이론의 업데이트
1.8 Updating the original program theory

RPIP와 FMLS의 연구 결과는 프로그램이 트리플 C를 구현했음을 확인하였다. 두 번째 가정은 외부 및 내부 요인이 트리플 C의 채택에 영향을 미칠 것이라는 점에 주목했지만 많은 세부 사항을 제공하지 않았다. 모든 프로그램이 트리플 C를 구현했지만, 시간과 관련된 변동성은 QUEST 연구를 통해 더욱 이해되었다. 이에 따라 CFPC는 지방정부와 대외정책이 전공의 교육과 전공의 교육 개혁에 어떤 영향을 미치는지, 또 어떤 방식으로 영향을 미치는지 가장 잘 이해할 수 있는 방법을 고민하게 되었다. 이 문제에 대한 프로그램 평가에서 수집된 정보가 부족하기 때문에 CFPC는 이러한 [외부 영향]을 보다 완전하게 연구할 수 있는 방법을 적극적으로 모색하고 있다. 도입uptake에 영향을 미치는 [내부 요인] 측면에서는, 기존 개혁 프로세스와 인가 검토, 신규 자원을 활용해 트리플 C를 내장한 프로그램이 어떻게 더 쉽게 전환되는지 들어볼 수 있어 흥미로웠다. 이를 통해 변경 촉진 요인에 대한 새로운 통찰력을 얻을 수 있습니다.

Findings from the RPIP and from the FMLS identified that programs had implemented Triple C. The second assumption noted that both external and internal factors would influence the uptake of Triple C but it did not offer many specifics. Although all programs implemented Triple C, the variability related to time was further understood from the QUEST study. This has prompted the CFPC to consider how best to understand how and if provincial governments and external policies influence residency education and residency education reform. Because of the lack of information that was gathered in the program evaluation about this issue, the CFPC is actively exploring how to study these external influences more fully. In terms of the internal factors influencing uptake, it was interesting to hear how programs that took advantage of existing reform processes, accreditation reviews, and new resources to embed Triple C transitioned more easily. This offers new insight on change facilitators.

FMLS 결과: 교육 프로그램을 마친 후 트리플 C 비전을 반영한 학습 및 실습 경험이 증가했다고 보고했습니다. 또한 연구 결과는 프로그램과 CFPC가 해결해야 할 학습 및 실습 경험의 몇 가지 차이를 나타냈다. 
Findings from the FMLS: Residents reported an increase in learning and practice experiences reflecting the Triple C vision after completing their training program.66 Findings also indicated a few gaps in learning and practice experiences to be addressed by programs and the CFPC.66

National Physician Survey(NPS 2010, 범캐나다 자체 보고서 조사)에서 얻은 연구 결과. 가족 의사의 진료 범위에 특정한 질문이 트리플 C 이전 대조군으로 사용되었다. NPS는 트리플 C 이전 코호트와 트리플 C 이후 코호트를 비교함으로써 여러 임상 영역 및 환경에서 포괄적 치료를 시행하려는 거주자의 의사가 상당히 증가했음을 보여주었다. 거주자의 응답은 또한 특정 임상 영역 및 환경에서 실습하려는 의도의 감소를 보여 주었으며, 이는 이러한 발견을 추진하는 요인을 이해하기 위한 추가 평가 및 연구의 필요성을 유발했다.

Findings from the National Physician Survey (NPS 2010, Pan-Canadian self-report survey administered to physicians in practice. Questions specific to scope of practice of family physicians were used as pre-Triple C controls): the NPS illustrated a significant increase in residents' intention to practice comprehensive care in multiple clinical domains and settings by comparing pre- and post-Triple C cohorts.66, 70 Responses from residents also illustrated decreased intentions to practice in certain clinical domains and settings,66, 70 which has prompted the need for additional evaluation and research to understand factors that drive these findings.

1.9 원래 프로그램 이론 업데이트
1.9 Updating the original program theory

시간이 지남에 따라 FMLS 결과를 프로그램에 다시 공유하는 것이 트리플 C의 구현에 도움이 된다는 것은 구현과 동시에 실행되어야 하는 프로그램 평가의 필요성을 강화시켰다. 초기 프로그램 평가 계획은 CFPC가 트리플 C에 대해 무엇이 효과가 있고, 무엇이 안 되고, 무엇이 바뀌어야 하는지를 이해하도록 돕기 위해 개발되었지만, 프로그램 평가 데이터는 커리큘럼과 평가의 지역 개선을 수행하는 프로그램에도 매우 유익하다는 것이 일찍부터 분명했다.

The demonstration over time that sharing FMLS results back to programs was helpful in implementation of Triple C reinforced the need for program evaluation to run concurrently with implementation. While the initial program evaluation plan was developed to help the CFPC to understand what worked, what did not, and what needed to be changed about Triple C, it was evident early on that the program evaluation data were also immensely beneficial to programs in carrying out local improvement of their curriculum and assessment.

2 고찰
2 DISCUSSION

CBME 구현의 작업 사례로 트리플 C 역량 기반 커리큘럼을 사용하여 [프로세스와 결과]를 모두 살펴보는 [이론 기반 평가]를 통해 프로그램 이론을 개발하고 업데이트하는 방법을 시연했다.

• 이 과정은 도전이나 문제를 파악하는 것에서 시작한다. 그리고 공동체의 필요와 자산, 도전이나 문제에 대응하기 위한 전략, 전략을 원하는 결과나 결과에 연결하는 가정을 결정한다.
• 사회적 요구와 같은 문제 및 결과에 영향을 미칠 수 있는 영향 요인들은 또한 독창적인 프로그램 이론의 개발에서 확인된다.
• 일단 프로그램 이론이 개발되면, CBME의 구현을 지원하기 위한 입력과 활동, 구현의 제정 과정, 그리고 이러한 초기 투자가 어떻게 장단기적인 결과로 이어질 것으로 예상되는지 등 로직 모델에 포함되어야 할 특징들이 명백해진다.
• 우리는 또한 프로그램 이론과 로직 모델이, 어떻게 의료 교육에서 새로운 훈련 모델을 구현하는 과정과 결과에 대한 질문에 효과적으로 답하기 위해, 평가 방법론과 데이터 수집 방법의 선택을 가이드할 수 있는지 보여주었다.

Using the Triple C Competency-based Curriculum as a worked example of CBME implementation, we have demonstrated how to develop and update a program theory through theory-based evaluation that looks at both processes and outcomes.

• This process begins by
  • identifying the challenge or problem,
  • determining
    • the needs and assets of the community,
    • strategies to counter the challenge or problem, and
    • the assumptions
  • that are held that link the strategies to the desired outcomes or results.
• Influential factors that may impact the problem and outcomes, such as societal needs, are also identified in the development of an original program theory.
• Once the program theory is developed, the features that should be included in a logic model become evident, such as
  • inputs and activities to support implementation of CBME,
  • process of enacting implementation, and
  • how these initial investments are anticipated to lead to short- and long-term outcomes.
• We have also illustrated how a program theory and logic model can guide the selection of evaluation methodologies and data collection methods to effectively answer questions about the process and outcomes of implementing new training models in medical education.

우리는 우리의 작업 예에서 프로그램 평가 과정의 몇 가지 예를 제시했지만, 우리는 또한 우리의 연구에서 나타난 발견들이 어떻게 해석되고 레지던트 프로그램 구현을 위한 추가적인 개선을 위해 사용될 수 있는지 탐구했다. CFPC가 프로그램 평가를 구현과 함께 사용하여 커리큘럼 구현과 개혁을 지속적으로 알리는 "수집과 행동"을 모델링하는 것은 캐나다의 가정의학과 레지던트 프로그램에 여러 가지 이점을 가져왔다. 잘 설계된 평가의 과정과 결과가 지속적인 변화와 지속적인 거주 교육 개선을 추진하는 데 중요한 역할을 할 수 있다는 것은 분명하다. 참여자(즉, 교수, 교사, 관리자 및 주민)가 트리플 C의 성장을 뒷받침하는 실질적인 증거를 가지고 있었기 때문에 모델링 수집과 행동은 평가와 연구에 참여를 장려했다. 프로그램 평가의 결과는 이 분야의 미래를 개선하기 위한 변화를 추진하는 데 중요한 역할을 했다.

While we have presented some examples of the program evaluation process in our worked example, we have also explored how the findings that emerged from our study could be interpreted and used for further improvements for residency program implementation. The CFPC's use of a program evaluation alongside implementation, modelling “collection and action” that uses data on an ongoing basis to inform curriculum implementation and reform, has had multiple benefits to family medicine residency programs in Canada. It is clear that the process and outcomes of a well-designed evaluation can play a significant role in driving ongoing change and ongoing residency education improvement. Modelling collection and action encouraged engagement in evaluation and research since participants (ie, faculty, teachers, administrators, and residents) had tangible evidence that their efforts supported the growth of Triple C. The outcomes of the program evaluation played a significant role in driving change to improve the future of this discipline.

3 결론
3 CONCLUSION

이러한 CBME 교육 혁신에서 수행된 것과 같이 의도적으로 변화와 평가를 결합하면 새로운 혁신을 구현하고 경험한 사람들의 경험에서 귀중한 정보를 얻을 수 있습니다. "현장에서 나온from the field" 연구 결과는 [사회적 프로세스와 메커니즘이 프로그램이 경험되고 구현되는 방식]과 이러한 [숨겨진 요인의 결과로 결과가 어떻게 다를 수 있는지]에 중요한 역할을 한다는 개념을 강화한다. 또한 프로그램 평가의 결과는 현재 프로세스의 개선을 지원할 수 있을 뿐만 아니라 학습된 교훈을 조명하고 자원의 효과적이고 효율적인 사용을 지원함으로써 향후 구현을 안내할 수 있다. 평가와 업데이트된 프로그램 이론의 개발은 또한 발견을 기반으로 하는 [새로운 변화와 이론]의 도입을 촉진하는데, 이는 '바퀴의 재창조'가 아닌 [누적적 과학cumulative science]에 기여하려는 소기의 목표를 뒷받침한다.

Deliberately pairing evaluation alongside change—such as was done in this CBME education transformation—yields invaluable information from the experiences of those implementing and experiencing a new innovation. Findings “from the field” reinforce the notion that social processes and mechanisms play a significant role in the ways in which a program is experienced and implemented and in how outcomes may differ as a result of these otherwise hidden factors. In addition, findings from program evaluation can support the improvement of current processes, as well as guide future implementation by shedding light on lessons learned and supporting effective and efficient use of resources. Evaluation and the development of an updated program theory also facilitate the introduction of new changes and theories that build on findings, which supports the desired goal of contributing to cumulative science rather than “reinventing the wheel.”

향후 연구는 시간에 따른 변화를 주도, 지지 및 도전하는 요인의 추세를 식별하기 위해 진행 중인 종적 평가의 이점을 얻을 수 있으며, 이러한 요인들이 시간에 따라 변화하는지 여부, 방법 및 이유를 파악할 수 있다.

Future studies may benefit from ongoing longitudinal evaluation to identify trends in factors that drive, support, and/or challenge change over time and if, how, and why these factors shift over time.

Process and outcome evaluation of a CBME intervention guided by program theory

PMID: 31927788

PMCID: PMC7496603

DOI: 10.1111/jep.13344

Abstract

© 2020 The Authors. Journal of Evaluation in Clinical Practice published by John Wiley & Sons Ltd.

역량중심의학교육(CBME)의 개선-지향 평가를 위한 12가지 팁(Med Teach, 2020)
Twelve tips for improvement-oriented evaluation of competency-based medical education
Ivy Oandasana*, Liz Martinb, Melissa McGuireb and Rochelle Zorzib

서론
Introduction

전 세계적으로, 의료 교육은 의사를 훈련시키기 위해 역량 기반 접근법을 채택하고 있다. 역량 기반 의료 교육(CBME)은 환자 결과를 개선하고, 환자 안전을 강화하며, 평생 학습에 전념하는 더 자신감 있는 의사를 만들기 위해 발전되고 있다(Frank et al. 2010; Touchie and Ten Cate 2016). 사회적 책임 원칙(Boelen and Woolard 2009)을 핵심으로 하여 CBME는 인구의 복잡한 의료 요구에 대응할 수 있는 실무자를 배출하는 것을 목표로 한다(Oandasan 2013; 캐나다 의과대학 인증위원회 2015; Van Melle et al. 2017; 캐나다 의과대학 협회 2018).
Around the world, medical education is adopting competency-based approaches to training physicians. Competency-based medical education (CBME) is being advanced to improve patient outcomes, enhance patient safety, and create more confident physicians committed to lifelong learning (Frank et al. 2010; Touchie and Ten Cate 2016). With the principle of social accountability (Boelen and Woollard 2009) at its core, CBME aims to produce practitioners who can respond to the complex healthcare needs of the population (Oandasan 2013; Committee on the Accreditation of Canadian Medical Schools 2015; Van Melle et al. 2017; Association of Faculties of Medicine of Canada 2018).

CBME를 도입하는 이 새로운 시대에, 의학 교육자들은 평가가 어떻게 질을 향상시키고 적응을 알리는 데 유용할 수 있는지를 고려할 필요가 있다. 이 논문은 [개선-지향적, 실용-중심적 프로그램 평가]에 대한 접근 방식을 제안한다(패턴 2008). [실용 중심 접근법]은 1970년대(Patton 1978년)에 도입되었고, 현재는 의학 교육 이외의 분야의 프로그램을 평가하는 데 일반적으로 사용된다. (그림 1) 우리는 또한 CBME 프로그램을 발전시킬 수 있는 관련적이고 유용한 정보를 산출할 가능성이 있다고 주장한다. 평가에 대한 이러한 접근 방식은 CBME 시행자들이 "우리의 CBME 프로그램이 환자 결과를 개선하고 있는가?"와 같은 질문을 던지던 것에서 "우리의 CBME 프로그램이 어떤 조건이나 맥락에서 환자 결과 개선에 기여하고 있는가?"로 옮겨간다(Wong et al. 2012; Van Melle et al. 2017). 후자의 질문에서 수집된 정보는 CBME 구현자들이 변화하는 상황에 맞춰 프로그램을 조정하기 위해 취해야 할 단계를 이해하는 데 도움이 된다. 
In this new era introducing CBME, there is a need for medical educators to consider how evaluation could be useful in improving quality and informing adaptation. This article proposes an approach to program evaluation that is improvement-oriented and utilization-focused (Patton 2008). The utilization-focused approach is well established, having been introduced in the 1970s (Patton 1978), and now commonly used to evaluate programs in disciplines outside of medical education. (Figure 1) We argue that it also holds promise for yielding relevant and useful information that can advance CBME programs. This approach to evaluation moves CBME implementers from asking questions like, “Is our CBME program improving patient outcomes?” to asking, “Under what conditions or contexts is our CBME program contributing to better patient outcomes?” (Wong et al. 2012; Van Melle et al. 2017). Information collected from the latter question helps CBME implementers understand what steps to take to adjust their programs to changing contexts.

 

 

이 12가지 팁 문서는 CBME 프로그램을 설계 및 제공하고 있으며 해당 프로그램이 적절하고 효과적이라는 것을 보장하기 위해 헌신하는 CBME 교육자와 구현자를 위해 작성되었습니다. 저자들은 [역량 기반 가정의학 교육(Triple C)](Oandasa 2013)을 위한 캐나다 가정의학대학(CFPCs; Canada College of Family Physicians 2018)의 트리플 C 커리큘럼을 설계하고 수행한 경험에서 이러한 팁을 이끌어냈다. CFPC는 2011년부터 개선 지향적이고 활용 중심적인 프로그램 평가 접근법을 사용하여 트리플 C를 평가하고 있다. 이 출판물의 실제 팁은 의료 교육자가 개선 지향적 평가를 CBME 프로그램에 통합하거나 향후 다른 커리큘럼 개혁 운동과 함께 사용하도록 고무하기 위한 것이다.
This twelve tips paper is written for CBME educators and implementers who are designing and delivering CBME programs and who are committed to ensuring their programs are relevant and effective. The authors have drawn these tips from experiences designing and carrying out the evaluation of the College of Family Physicians of Canada’s (CFPC’s; College of Family Physicians of Canada 2018) Triple C curriculum for competency-based family medicine education (Triple C) (Oandasan 2013). The CFPC has been evaluating Triple C using the improvement-oriented and utilization-focused program evaluation approach since 2011. The practical tips in this publication are intended to inspire medical educators to integrate improvement-oriented evaluation into their CBME programs or to use with other curriculum reform movements to come.

팁 4 프로그램의 이론을 명확히 설명합니다.
Tip 4 Articulate the theory of your program

프로그램 평가를 실시하기 전에 프로그램의 [핵심 활동]과 [예상 성과]를 명확히 이해하는 것이 도움이 될 것입니다. 이러한 프로그램 구성 요소는 평가자가 평가를 계획하는 데 사용할 수 있는 [로직 모델]에서 시각적으로 묘사되는 경우가 많다(Wholey et al. 2004년, 퍼넬 앤 로저스 2011년, 반 멜레 2016년). [로직 모델]을 개발하는 프로세스는 여러분과 주요 이해 관계자가 [어떤 활동을 해야하고, 어떤 초기 결과를 측정해야 할지 합의]하는 데 도움이 될 수 있습니다(Patton 2008). (기본 논리 모델은 그림 2를 참조하십시오.) 이를 통해 프로그램이 장기적인 성과를 달성하는 데 올바른 궤도에 있는지 알 수 있습니다.

It will be helpful to have a clear understanding of your program’s core activities and expected outcomes before undertaking your program evaluation. These program components are often depicted visually by evaluators in a logic model that can be used to help plan the evaluation (Wholey et al. 2004; Funnell and Rogers 2011; Van Melle 2016). The process of developing a logic model can help you (and your key stakeholders) agree on which activities and early outcomes to measure (Patton 2008). (See Figure 2 for a basic logic model; Wholey et al. 2004) This will help you know if your program is on the right track to achieving longer-term outcomes.

 

그러나 대부분의 [로직 모델]은 충분히 멀리 가지 못한다. [변화의 이론theory of change]이란, [주요 가정 및 상황별 요인]을 포함하여, [프로그램이 작동하는 이유를 설명하는 인과적 메커니즘을 설명하는 시각적 묘사]이다. (Pawson and Tilley 1997; Patton 2008; Funnell and Rogers 2011). [변화의 이론]은 당신의 [로직 모델]을 보완할 수 있고, 당신의 프로그램이 시간이 지남에 따라 말해주기를 바라는 이야기를 공유한다. (변화 이론의 표본은 그림 3을 참조한다. 홀리 등. 2004; Van Melle et al. 2017).
Most logic models, however, don’t go quite far enough. A visual depiction that describes the causal mechanisms that account for why your program works the way it does, including key assumptions and contextual factors, is a theory of change (Pawson and Tilley 1997; Patton 2008; Funnell and Rogers 2011). A theory of change can supplement your logic model and shares the story you hope your program will tell over time. (See Figure 3 for a sample theory of change; Wholey et al. 2004; Van Melle et al. 2017).

 

당신의 프로그램의 [로직 모델]과 [변화 이론]은 가치 있는 로드맵 역할을 할 것이다. 이들은 [살아있는 문서]로서, CBME 프로그램에 대한 더 많은 정보가 수집됨에 따라, 수정될 수 있으며, 수정되어야 합니다. 평가를 통해 밝혀진 정보는 프로그램의 [변화 이론]에 개선이 필요하다는 것을 깨닫는 데 도움이 될 수 있습니다. 트리플 C를 평가할 때도 그랬다. 트리플 C 논리 모델은 커리큘럼의 핵심 요소가 서로 다른 이해관계자 그룹과 더 광범위한 의료 시스템에 어떻게 영향을 미칠 것으로 예상되는지 설명하기 위해 프로그램 이해관계자와 공동 개발되었습니다(Oandasan 2013, 페이지 126 참조). 평가가 펼쳐지고, 새로운 성과와 변화하는 맥락이 실현됨에 따라, 평가 팀은 원하는 결과를 향한 진행을 가능하게 하거나 방해할 가정과 위험을 묘사하는 [보완적인 변화 이론]을 개발했다(Van Melle et al. 2017, 페이지 755 참조).
Your program’s logic model and theory of change will serve as valuable roadmaps. As living documents, they can and should be adapted as more information is gathered about your CBME program. Information uncovered through your evaluation may help you realize that your program’s theory of change needs refinement. This was the case in evaluating Triple C. The Triple C logic model was co-developed with program stakeholders to articulate how key elements of the curriculum were expected to impact different stakeholder groups and the broader healthcare system (See the model depicted in Oandasan 2013, p. 126). As the evaluation unfolded and emergent outcomes and changing contexts were realized, the evaluation team developed a complementary theory of change that depicted assumptions and risks that would enable or hinder the progression toward desired results (See the theory of change depicted in Van Melle et al. 2017, p. 755).

팁 6 프로그램의 컨텍스트 이해
Tip 6 Understand your program’s contexts

CBME는 진공 상태에 존재하지 않습니다. 프로그램의 [변화 이론]을 개발할 때 [프로그램과 외부 컨텍스트 사이의 관계]를 성찰하고 문서화하는 것이 중요합니다(Patton 1994; 2008). 외부 맥락에는 [사람, 규제, 경제, 사회, 문화 및 인구 건강 고려 사항]이 포함된다(파우슨 및 틸리 1997; 펀넬 및 로저스 2011; Wong et al. 2012). 이러한 상황별 클러스터의 변경 사항은 CBME 프로그램이 구현되거나 수신되는 방식에 계단식 영향을 미칠 수 있습니다. 표 1은 CBME와 관련된 세 가지 상황별 클러스터의 예를 보여줍니다. 이러한 상황 변화가 프로그램에 어떤 영향을 미치는지 또는 어떤 영향을 미치는지 생각해 보십시오. 동시에 프로그램이 이러한 컨텍스트에 어떤 영향을 미칠 수 있는지 고려하십시오.

CBME does not exist in a vacuum. It will be critical to reflect on, and document, the relationships between your program and external contexts when developing your program’s theory of change (Patton 1994; 2008). External contexts include people, regulatory, economic, social, cultural, and population health considerations (Pawson and Tilley 1997; Funnell and Rogers 2011; Wong et al. 2012). Changes in any of these contextual clusters can have cascading implications on how your CBME program is implemented or received. Table 1 provides examples of three contextual clusters relevant to CBME. Think about how these changing contexts might affect or contribute to your program. At the same time, consider how your program might impact these contexts.

프로그램의 맥락을 이해하면 이해 당사자들이 CBME의 복잡성을 이해하는 데 도움이 됩니다. 이를 통해 프로그램의 변경 이론을 재검토하고 프로그램의 의도된 결과를 재고하는 데 도움이 됩니다. 당신의 프로그램이 합리적으로 예상할 수 있는 것 이상을 달성했다고 주장하는가? 실행 중인 모든 요소를 명확하게 파악하면 프로그램이 원하는 결과를 도출할 수 있는 조건과 상황, 그리고 이러한 결과의 달성을 저해할 수 있는 위험을 이해하는 데 도움이 될 수 있다(예: Van Melle et al. 2017).
Understanding the context of your program helps stakeholders appreciate the complexity of CBME. This will help you reexamine your program’s theory of change and reconsider your program’s intended outcomes. Does your program claim to accomplish more than can be reasonably expected? A clear picture of all the factors at play can help you understand the conditions and contexts within which your program is likely to produce the desired outcomes, and the risks that might inhibit achievement of these outcomes (e.g. Van Melle et al. 2017).

환경-정규화: 맥락 속 혁신의 수명을 평가하기 (Acad Med, 2021)
Eco-Normalization: Evaluating the Longevity of an Innovation in Context
Deena M. Hamza, PhD, and Glenn Regehr, PhD

[교육 혁신]은 단순히 빈번한 실천이 아니라 보건직 교육에서 깊이 자리 잡고 있는 가치이다. 상대적으로 작은 지역적인 노력에서부터, 국가적, 그리고 심지어 세계적인 운동에 이르기까지, 우리의 건강 전문 교육 저널의 페이지는 혁신에 대한 공동체의 헌신에 대한 증거입니다. [혁신의 목적]은 우리의 현재 상태를 개선하거나 현 상태를 개선하는 것입니다. [혁신]은 [우리가 열망하는 목표]를 [우리가 원하는 의미 있는 결과로 이어질 것으로 기대되는 활동이나 제품]으로 바꾸는 방법입니다. 그러나 많은 혁신들은 달성하고자 했던 지속적인 변화를 깨닫지 못하고 있다. 일부는 그들의 열망적인 목적을 향해 계속 진화하고 있지만, 많은 사람들은 그들의 의도된 목표에서 문제적으로 벗어나기 시작하거나, 이전 상태로 발전하거나, 또는 완전히 중단된다. [포부]부터 [성공적인 구현], [의미 있고 지속적인 변화]에 이르기까지 [내구성이 뛰어난 다리]를 건설하는 것은 쉽지 않을 수 있으며, 이러한 어려움elusiveness은 복잡한 생태계에 변화를 도입하는 데 어려움이 있다는 것에서 유래한다.

Educational innovation is not just a frequent practice but a deeply held value in health professions education. From relatively small, local efforts to national and even global movements, the pages of our health professions education journals are a testament to the community’s commitment to innovation. The purpose of innovation is to make our current state better, or improve the status quo. Innovations are how we translate aspirational goals into activities or products that are anticipated to lead to the meaningful outcomes we desire. However, many innovations do not realize the lasting changes that they were intended to achieve. While some continue to evolve toward their aspirational purpose, many start to deviate problematically from their intended goals, devolve to the previous state, or are summarily halted altogether. The construction of a durable bridge from aspirations to successful implementation to meaningful and lasting change can be elusive, and this elusiveness stems from the difficulty of introducing change into a complex ecosystem.

[혁신]이 목표를 달성하는 데 성공한다고 가정할 수 없기 때문에, 각 혁신을 [맥락에서 평가하는 것]이 중요하다. 프로그램 평가의 중요성은 한동안 잘 이해되었지만, 접근 방식과 방법은 수십 년 동안 크게 변화했다.

• [1980년대 이전]에 프로그램 평가는 주로 [실험 패러다임]에 의해 inform되었으며, 혁신이 의도한 결과를 달성했는지 여부를 결정하기 위해 통제된 연구를 사용했다.
• [1980년대]부터 [현실세계에서 구현의 맥락적·변혁적 과정]을 이해할 필요가 있음을 인정한 [이론 중심의 평가]의 발전으로 전환했다.  "블랙박스 평가"라는 용어는 [성과만을 검토하는 평가 도구]가 [구현 노력의 내부 작업에 대한 증거]를 포착할 수 없다는 인식을 상징한다. 이것은 [구현에 대한 정보 부족]과 [혁신이 맥락 속에서 어떻게 기능하는지에 대한 정보 부족]이 [개선을 위한 의미 있는 노력]이나 [혁신의 지속, 수정 또는 중단에 대한 현명한 의사결정]을 방해했기 때문에 문제가 되었다. 더욱이, 평가에 대한 이러한 접근법은 종종 간과되었고, 아마도 의도하지 않은 불리한 결과에 영구화되거나 심지어 기여했다.

Because it cannot be assumed that an innovation will be successful in achieving its goals, it is important to evaluate each innovation in context. While the importance of program evaluation has been well understood for some time, the approaches and methods have shifted significantly over the decades.

• Before the 1980s, program evaluation was predominantly informed by the experimental paradigm, using controlled studies to determine whether the innovation had achieved its intended outputs. 1–4 
• Starting in the 1980s, there was a shift to the development of theory-oriented evaluations that acknowledged the need to understand the contextual and transformational processes of implementation in the real world. 5–7 The term “black box evaluation” symbolized the recognition that evaluation tools that merely examine outputs could not capture evidence about the inner workings of implementation efforts. 1,8,9 This was problematic since the lack of information about implementation, and how the innovation functioned in context, prevented any meaningful efforts at improvement or sensible decision making about continuing, modifying, or halting an innovation. Moreover, this approach to evaluation often overlooked, and perhaps perpetuated or even contributed to, unintended and adverse consequences. 10–13

따라서

• [1990년대 이후], [실제 구현의 맥락]에서 혁신의 내부 작업을 검토하는 프로그램 모니터링 및 평가에 대한 접근 방식인 [구현 충실도]를 검토하는 방향으로의 움직임이 있었다.
  • [프로그램 평가의 충실도 모델]의 핵심 질문은, [새로운 프로그램, 지침, 절차 또는 도구의 활동이 의도한 대로 시스템에 통합되는지 여부]이다.
  • [충실도 측정]은 혁신의 도입, 구현 중 얻은 교훈, 그리고 변화의 예상 결과 사이에 다리를 놓는 것을 목표로 한다.
  • 보건직 교육에서 [구현 충실도]와 ["블랙박스 평가" 접근 방식을 넘어서는 것]에 대한 논의가 교과 개혁의 노력과 함께 재점화되었다.
  • 예를 들어, Van Melle과 동료들은 캐나다 전역에 도입된 커리큘럼 혁신의 핵심 구성 요소 구현의 충실도를 검토하기 쉽게 하는 안내 프레임워크를 개발했다. 또한 Onyura와 동료들은 맥락, 메커니즘 및 결과 사이의 관계를 평가함으로써 교수 개발 이니셔티브가 어떻게 그리고 왜 그 형태를 취하는지 탐구했다. 26
• Thus, since the 1990s, there has been a movement toward examining implementation fidelity, an approach to program monitoring and evaluation that examined the inner workings of an innovation in the context of real-world implementation. 14 
  • The core question in the fidelity model of program evaluation is whether the activities of a new program, guideline, procedure, or tool are incorporated into a system as intended. 14–20 
  • Fidelity measures aim to build a bridge between the introduction of an innovation, lessons learned during implementation, and the anticipated outcomes of change. 21 
  • In health professions education, discussions about implementation fidelity and moving beyond “black box evaluation” approaches have reignited alongside efforts at curricular reform. 22–24 
  • For example, van Melle and colleagues have developed a guiding framework that facilitates examining the fidelity of implementing the core components of a curricular innovation introduced across Canada. 25 Additionally, Onyura and colleagues have explored how and why faculty development initiatives take their form by evaluating the relationship between contexts, mechanisms, and outcomes. 26

이 접근 방식은 프로그램 평가에 대한 우리의 생각을 발전시키는 데 의심할 여지 없이 중요했지만, 프로그램 평가 노력에서 [충실도를 검사하는 방법]은 [시간이 지남에 따른 혁신의 궤도에 대한 우리의 생각]을 무심코 제한할 수 있다. 예를 들어,

• 충실도 평가는 평가 시점에 어떤 일이 일어나고 있는지에 대한 [심층적인 스냅샷]을 캡처하는 경향이 있습니다. 이러한 스냅샷은 [구현 단계의 우수한 단면]을 나타낼 수 있지만, 혁신을 제정하기 위한 [제도적 동기가 여전히 최고조에 있는 기간(구현 중)]에 초점을 맞추는 경향이 있다.
  • 따라서, 이 시기에는 자원(리더십의 적극적이고 목소리 높은 지원뿐만 아니라 재정, 물리적, 인적 자원 포함)은 여전히 이니셔티브에 많은 투자를 하고 있다.
  • 이것은 [기관의 주요관심 자원이 다른 곳에 할당될 때] 복잡한 시스템 내에서 어떤 일이 일어날지에 대한 결정적 질문을 제기한다.
• 또한, 구현 조사의 충실도는 [프로그램이 의도된 대로 제공되고 있는지 여부]에 초점을 맞추는 경향이 있으며, 이는 [구현의 기계적 또는 행동적 측면]에 초점을 맞추는 것으로 이어진다. 이러한 초점은 이러한 행동이 나타내는 기본 가치의 채택을 반영하는 범위를 간과하거나 구현의 "감시 기간" 동안 교사와 학생이 수행하는 단순한 행위일 수 있다.

While this approach has been of undisputed importance in advancing our thinking about program evaluation, the methods by which fidelity is examined in program evaluation efforts may inadvertently limit our thinking about the trajectory of the innovation over time.

• For example, fidelity assessment tends to capture in-depth snapshots in time about what is happening at the moment of the evaluation. These snapshots may represent an excellent cross section of the implementation phases, but they tend to be focused on the period when the institutional motivation for enacting the innovation is still at its peak (during implementation).
  • Thus, resources (including financial, physical, and personnel resources, as well as active and vocal support from leadership) are still being heavily invested in the initiative.
  • This raises the critical question of what will happen within a complex system when the institution’s attentional resources are allocated elsewhere.
• Further, fidelity of implementation inquiries tends to focus on whether the program is being delivered as intended, which leads to a focus on the mechanical or behavioral aspects of implementation. This focus may overlook the extent to which these behaviors reflect an adoption of the underlying values that those behaviors are intended to represent, or are merely performative acts by teachers and students during the “surveillance period” of the implementation. 27

이는 [구현 단계에서 관찰된 행동]이 [의미 있고 오래 지속되는 변화를 나타내는지]에 대한 의문을 제기한다. 혁신의 75%는 시간이 지남에 따라 [명시적으로 포기]되거나, [점진적으로 양도]되며, 이는 종종 [변화 이니셔티브의 주기적인 재창조]로 이어진다. 이러한 [커리큘럼 리뉴얼의 회전목마]는 시스템 내의 모든 이해 당사자들에게 불편하고, 지치고, 의욕을 잃게 합니다. 따라서 현재의 충실도뿐만 아니라, [변화의 내구성 또는 수명에 대한 포괄적인 그림]을 생성하는 [구현 모니터링 및 평가에 대한 접근 방식]을 반성하고 진전시킬 필요가 있다. 홀과 동료들이 주장했듯이, 혁신의 구현을 검토하는 것은 "스프린트가 아닌 마라톤"으로 간주되어야 한다. 
This raises the question of whether the behaviors observed during implementation phases represent a meaningful, long-lasting change. It is estimated that 75% of innovations are explicitly abandoned or gradually devolve over time, which often leads to the cyclic reinvention of change initiatives. 28–30 This carousel of curricular renewal 31 is inconvenient, exhausting, and demotivating for all stakeholders within a system. Thus, there is a need to reflect on and advance approaches to monitoring and evaluating implementation that produce a comprehensive picture not only about current fidelity but also about the durability or longevity of the changes. As Hall and colleagues have argued, examining the implementation of an innovation must be considered a “marathon not a sprint.” 32

구현 과학 문헌에서 [지속 가능성(sustainability)]은 혁신의 잠재적 수명을 고려할 때 사용되는 일반적인 용어이다. 비록 공유 정의가 아직 개발되지 않았지만(최근 209개의 원래 연구 기사에 대한 검토에서 24개의 서로 다른 지속 가능성의 정의가 확인됨), [지속가능성]에 대한 가장 일반적인 이해는 [혁신의 전달delivery에 대한 지속적인 지원(예: 금융 및 인적 자본)]과 [원하는 결과의 지속적인 달성]을 포함한다. 33 그러나 현재까지 프로그램을 종단적으로 검토하는 출판된 연구는 상대적으로 적기 때문에, 기관의 관심이 다른 곳으로 향하였을 때 혁신이 효과적으로 지속(그리고 진화하는) 방법(그리고 그 이유)을 탐구하는 문헌은 거의 없다. 그러므로 혁신의 맥락에서 지속 가능성에 대한 대부분의 논의는 실행 단계를 넘어 [프로그램의 실천을 유지하는 데 필요한 지속적인 자원 할당의 메커니즘 제안]을 포함한다. 이러한 자원에 대한 초점 때문에 프로그램 수명(프로그램의 목표와 이러한 목표를 달성할 수 있는 실무에 대한 이해관계자의 지속적인 참여)의 사회학적 측면은 문제적으로 무시된다.
In implementation science literature, sustainability is a common term used when considering the potential longevity of an innovation. Although a shared definition has yet to be developed (in a recent review of 209 original research articles, 33 24 different definitions of sustainability were identified), the most common understanding of sustainability involves continued support for the delivery of the innovation (e.g., financial and human capital) and continued achievement of the desired outcomes. 33 To date, however, there have been relatively few published studies that examine programs longitudinally, so there is little literature exploring the ways in which (and reasons that) innovations continue (and evolve) effectively, deviate problematically, or devolve once institutional attention is directed elsewhere. Thus, most discussions of sustainability in the context of innovations involve proposed mechanisms of ongoing resource allocation needed to maintain the program’s practices beyond the implementation phase. Because of this focus on resources, the sociological aspects of program longevity (ongoing stakeholder engagement in the goals of the program and the practices that will achieve those goals) are problematically ignored.

[혁신의 (잠재적) 수명]을 보다 효과적으로 평가하는 새로운 모델이 필요하다. 본 논문의 목적은 구현 과학의 이론과 모델을 차용하고 구축하여 혁신의 수명을 평가하기 위한 대안 모델을 개발하는 것이다.
A new model that more effectively assesses the (potential) longevity of an innovation (and therefore increases the likelihood of longevity) is needed. The purpose of this paper is to develop an alternative model for evaluating the longevity of an innovation, borrowing from and building on the theories and models of implementation science.

방법
Method

이 접근 방식은 기존 이론과 프레임워크에서 확장되는 새로운 개념 모델을 도출하기 위해 분야에서 관련 문헌을 식별하려고 하기 때문에 비판적 문헌 검토가 우리의 목적에 가장 적합한 방법으로 결정되었다. 비판적 검토 방법론을 사용하여, 저자들은 시스템에 도입된 혁신의 수명을 탐구하기 위한 마커나 전략이 포함된 논문을 위해 구현 과학 문헌을 검색했다. 

A critical literature review was determined to be the most appropriate method for our purpose, since this approach seeks to identify relevant literature in a field to derive a new conceptual model that expands on existing theories and frameworks. 34 Using critical review methodology, the authors searched the implementation science literature for papers that contained markers or strategies to explore the longevity of an innovation once introduced into a system. 

대부분의 기사가 학술 문헌에서 발견되었지만, 일부 회색 문헌 출처는 지식 있는 동료들과의 상호작용과 구글 스콜라를 통해 확인되었다. 관련 논문을 확인한 후, 저자들은 개발 중인 진화하는 모델과 관련된 요소를 이해하고 탐구하는 관점이나 접근 방식을 제공할 수 있는 구현 과학 문헌의 모델을 식별하기 위해 참조 목록을 추적했다.
While most of the articles were found in the academic literature, some gray literature sources were also identified through interactions with knowledgeable colleagues and via Google Scholar. Having identified relevant papers, the authors traced reference lists to identify models in the implementation science literature that might offer perspectives or approaches to understanding and exploring factors relevant to the evolving model being developed.

결과
Results

이 비판적 검토와 관련된 세 가지 주요 구현 과학 모델이 식별되었다. NPT(Normalization Process Theory), CFIR(Consolidated Framework for Implementation Research), RMA(Reflective Monitoring in Action)의 개념을 통합하여 혁신의 잠재적 수명을 평가할 때 고려해야 하는 6가지 질문을 강조하는 프레임워크를 제공한다.
Three prominent implementation science models were identified as relevant to this critical review. Integrating notions from

• Normalization Process Theory (NPT), 35 
• the Consolidated Framework for Implementation Research (CFIR), 36 and
• Reflexive Monitoring in Action (RMA), 37 

we offer a framework that highlights 6 questions that must be considered when evaluating the potential longevity of an innovation.

Normalization Process Theory (NPT): 새로운 프레임워크의 토대는 May와 동료들의 작업으로 시작되었는데, 그들은 [혁신]이 [조직 환경에 효과적으로 포함]되고 [전문적 관행에 통합]되는 정도에 따라 구현의 성공이 좌우될 것이라고 제안했고, 이를 [정상화normalization]라는 프로세스로 명명하였다. [정상화]의 핵심 특징에는 다음이 포함된다.

• 변화의 추진력, 중요성 및 실천요강에 대한 공유된 이해(일관성)
  
• 혁신 활동에 참여하고 모니터링함으로써 변화에 기여한다(참가자 참여). 
  
• 새로운 관행을 수행하기 위한 상호 작용 및 관계 업무 (집단적 행동)
  
• 변경사항의 영향을 평가하는 작업(성찰적 모니터링) 

이와 같이, NPT에서 기술혁신의 수명을 평가하는 것은 개인과 집단 간의 상호 작용을 조사하고 집단적 변화에 기여하는 능력과 자원을 평가하는 것을 포함한다.

The foundation for the new framework began with the work of May and colleagues, who have suggested that the success of an implementation will be dependent on the extent to which the innovation is effectively embedded in the organizational context and integrated into professional practices, a process they describe as normalization. 35,38 Core features of normalization include

• the shared understanding of the impetus, importance, and practices of the change (coherence);
• contribution to the change by participating in and monitoring the activities of the innovation (cognitive participation);
• the interactional and relational work to perform new practices (collective action); and
• the work of evaluating the impact of the change (reflexive monitoring). 35 

As such, in NPT, evaluating the longevity of an innovation involves examining the interactions between individuals and groups as they make sense of the work and appraise their capabilities and resources to contribute to collective change.

Consolidated Framework for Implementation Research (CFIR): 다른 관점에서 모니터링과 평가를 고려하면서, Damschroder와 동료들은 [구현의 성공]은 다면적이며, 개인의 작업 이상의 요소를 수반한다고 제안했다. 그들은 프로그램 평가자들이 [더 큰 변화의 생태계]를 보도록 안내하기 위해 CFIR을 개발했다. 따라서 CIFR 모델은 5개의 주요 도메인을 조사한다.

• (1) 설계 품질 및 증거의 강도, 재판 가능성 및 변경사항의 인식된 상대적 우위성과 같은 혁신의 특성 
  
• (2) 외부 정책, 압력, 요구 및 자원과 같은 "외부의" 설정 
  
• (3) 조직의 구조, 문화 및 변화에 대한 준비와 같은 "내부의" 설정 
  
• (4) 혁신과 자기 인식에 대한 지식과 신념과 같은 개인의 특성 
  
• (5) 시스템에 변화를 도입하기 위해 사용되는 전략, 그리고 혁신 결과를 반영하고 평가하는 과정과 같은 구현 과정, 

Contemplating monitoring and evaluation from a different perspective, Damschroder and colleagues have proposed that implementation success is multifaceted and involves factors beyond the work of individuals. They developed the CFIR 36 to guide program evaluators to look at the larger ecosystem of change. Thus, the CIFR model examines 5 primary domains:

• (1) the characteristics of the innovation, such as design quality and strength of evidence, trialability, and perceived relative advantage of the change;
• (2) the “outer” setting, such as external policies, pressures, needs, and resources;
• (3) the “inner” setting, such as the structure of the organization, culture, and readiness for change;
• (4) individual characteristics, such as knowledge and beliefs about the innovation and self-efficacy; and
• (5) the process of implementation, such as strategies used to introduce change into a system, and reflecting on and evaluating innovation outcomes. 36

Reflexive Monitoring in Action (RMA): 이 두 가지 프레임워크는 RMA 프레임워크에 의해 잘 보완될 수 있습니다.

• 성찰적 모니터링은 [원하는 목표에 도달하기 위한 미래 계획을 dictate]하기 위해 [혁신에 대한 과거의 경험을 조사함]으로써 합리적인 행동을 촉진한다. 그러므로,
• RMA는 [혁신의 야망]에 도달하기 위한 [장기적인 시스템 수준 변화를 달성]하기 위해, [집단적 반성의 사용]과 이러한 [반성에서 배우는 것]을 촉진한다.
• RMA는 [혁신을 이행하는 사람들의 일상적 경험에 대한 면밀한 검토와 구현]을 넘어, [혁신을 지속하는 데 필요한 시스템 수준의 변화]를 발견하는 사이에서 진동한다.

RMA는 계획-실행-연구-행동 모델 및 의료환경의 기타 품질 개선 이니셔티브와 같은 [여러 다른 모니터링 및 평가 접근방식의 주기적 활동]과 유사하다. 그러나 이는 세 가지 측면에서 이러한 접근법과 다르다.

• 첫째, 성찰적 모니터링은 시스템 내에서 [점진적 변화를 요구하는 혁신]보다는, [급진적 변환을 요구하는 혁신]에 이상적으로 적합하다. 
  
• 둘째, RMA는 [단기간에 걸친 구현의 일부분]을 탐구하기보다는, [혁신의 장기적 야심적 목표]를 검토한다. 
  
• 셋째, RMA는 [혁신 활동의 최적화]와 [이러한 활동을 혁신의 목표에 맞추는 것] 사이에서 흔들림으로써, 혁신의 수명을 조사한다. 이름에서 알 수 있듯이, [반사적 모니터링]은 반드시 초기 구현 기간 이후에 제정되어야 하는 지속적인 프로세스이다.

These 2 frameworks can be complemented well by the RMA 37 framework.

• Reflexive monitoring promotes rational action by examining past experiences with an innovation to dictate future plans to reach desired goals. 39 
• Thus, RMA promotes the use of collective reflection, and learning from these reflections, to accomplish long-term system-level change to reach the ambitions of the innovation. 37 
• RMA oscillates between close examination of the everyday experiences of the people implementing an innovation and uncovering system-level changes that are needed to sustain the innovation beyond implementation. 37 

RMA resembles the cyclic activities of other monitoring and evaluation approaches, such as the Plan-Do-Study-Act model and other quality improvement initiatives in health care settings. 40 However, it differs from these approaches in 3 significant ways.

• First, reflexive monitoring is ideally suited for innovations that require radical transformation rather than innovations that require incremental changes within a system. 37 
• Second, RMA examines the longer-term aspirational goals of the innovation rather than exploring a segment of implementation over a short period of time. 37 
• Third, RMA examines the longevity of the innovation by oscillating between optimizing the activities of the innovation and the alignment these activities with the goals of the innovation. 37 As implied by the name, reflexive monitoring is necessarily an ongoing process that should be enacted beyond the initial implementation period.

이러한 이론, 프레임워크 및 관행을 종합하면 성공적인 구현을 위한 지표는 [[시스템과 작업을 수행하는 사람들]이 [혁신의 특징 및 활동]과 [변화의 웅대한 포부]와 상호작용하는 방법]에 뿌리를 두고 있음이 명백하다. 이와 같이, 우리의 새로운 모델인 [환경-정규화] (즉, 개인 차원뿐만 아니라, 전체 생태계의 수준에서, 혁신의 가치와 실천의 정규화)는 변화의 잠재적 수명에 초점을 맞춘 구현 연구와 평가를 위한 지침 프레임워크의 형태로 이전 문헌의 확장이다. 

Putting these theories, frameworks, and practices together, it is evident that markers for successful implementation are rooted in how the system and people doing the work interact with both the features and activities of the innovation and the grand aspirations of the change. As such, our new model, Eco-Normalization (i.e., normalization of the values and practices of the innovation not just at the individual level but at the level of the entire ecosystem), is an expansion of previous literature in the form of a guiding framework for implementation research and evaluation that focuses on the potential longevity of change.

[혁신], [혁신이 내재된 제도적 시스템], [작업을 수행하는 개별 사람들] 사이의 상호작용을 조사함으로써, 에코-정규화 모델은 [구현된 혁신의 의미]와 [혁신의 수명에 영향을 미칠 수 있는 조건과 요소]를 체계적으로 탐구하는 프레임워크를 제공한다. 그림 1. 

• 일차 수준 상호 작용은 이러한 열망과 각 3가지 구성 요소 사이의 상호 작용을 검토할 때 [변화의 포부]를 전면에 내세운다:
  • 혁신의 설계,
  • 이해관계자의 지역적 포부
  • 시스템의 포부(그림 1) 
• 이차 수준 상호 작용은 일차 수준 상호 작용 사이의 더 복잡한 관계를 탐구하기 시작한다:
  • 혁신과 작업을 하는 사람들의 실천 사이의 양립성,
  • 시스템이 이해관계자에게 영향을 미치는 방식,
  • 그리고 혁신의 특징이 시스템의 특징과 어떻게 일치하는지. 

By examining the interactions between the innovation, the institutional system in which the innovation is embedded, and the individual people doing the work, the Eco-Normalization model offers a framework to systematically explore the conditions and factors that might affect the meaningfulness and longevity of an implemented innovation as depicted in Figure 1.

• Primary-level interactions hold the aspirations of the change at the forefront when examining the interaction between these aspirations and each of 3 components:
  • the design of the innovation,
  • the local aspirations of stakeholders, and
  • the aspirations of the system (Figure 1).
• Secondary-level interactions begin to explore more complex relationships between primary-level interactions:
  • the compatibility of the innovation with the practices of the people doing the work,
  • the ways in which the system impacts stakeholders, and
  • how the features of the innovation fit with the features of the system.

다양한 구성 요소가 1차 및 2차 상호작용 수준에서 정렬(또는 정렬되지 않음)되는 정도를 평가하면 에코 정규화 프로그램 평가의 기초를 이루는 [6개의 질문]이 생성됩니다.

Assessing the extent to which the various components align (or not) at the primary and secondary levels of interaction produces 6 questions that form the basis of an Eco-Normalization program evaluation.

일차 수준 상호 작용
Primary-level interactions

[변화의 포부]와 [혁신 설계] 간의 상호 작용: 설계한 대로 [혁신]이 [변화의 웅대한 포부]와 일치합니까?
Interactions between change aspirations and innovation design: Does the innovation, as designed, align with the grand aspirations of change?

[변화의 야심찬 목표]와 [혁신의 설계] 사이의 조정은 구현 성공의 중요한 특징이다. 예를 들어, 보건직 교육에서 [대망적 목표]는 개인화된 학습 문화의 개발을 포함할 수 있다. 그러나 이러한 웅대한 포부를 새로운 실천과 활동으로 혁신으로 번역translate 하는 것은 [무엇이, 왜 일어나는가에 대한 제안 또는 가정]인 [전략적 의도strategic intention]에 기초하며, 종종 [로직 모델 또는 프로그램 이론의 개발]이라는 형태로 설명된다. 이러한 가정은 구현 충실도의 평가와 유사한 프로세스를 통해 실제로 입증, 수정 또는 이의를 제기할 수 있다. 그러나 RMA의 원칙과 일관되게, [에코 정규화 모델]은 [혁신이란, 정적이 아니라, 끊임없이 변화하는 맥락에서 진화할 것으로 예상되는 일련의 역동적 특징이다]는 전제를 포함한다. 그러므로 혁신이 진화할 것으로 예상되는 현실을 고려했을 때, [환경-정규화]의 중요한 특징은, [혁신의 활동과 실천요강이 변화 뒤에 있는 거대한 포부의 달성을 촉진하거나 방해할 수 있는 방식으로 바뀌는지(혹은 어떻게 바뀌어가는지)]를 밝혀내는 [주기적인 모니터링]이다.

The alignment between the aspirational goals of change and the design of the innovation is a critical feature of implementation success. For example, in health professions education, grand aspirational goals may include development of a culture of personalized learning. However, translating these grand aspirations into an innovation with new practices and activities is founded on strategic intentions, which are propositions or assumptions of what is believed to happen and why, and often illustrated in the form of a logic model or development of a program theory. 24 These assumptions can be proven, modified, or contested in practice, through a process that might resemble the evaluation of implementation fidelity. However, consistent with the tenets of RMA, the Eco-Normalization model includes the premise that innovations are not static, but a set of dynamic features that are expected to evolve in ever-changing contexts. Thus, considering the reality that innovations are expected to evolve, a critical feature of Eco-Normalization is cyclic monitoring to uncover if/how the activities and practices of the innovation are being altered in ways that might facilitate or hinder achievement of the grand aspirations behind the change.

변경 포부와 시스템 간의 상호 작용: [시스템 목표]가 [변화의 거대한 포부]와 일치합니까?
Interactions between change aspirations and the system: Do the system goals align with the grand aspirations of change?

혁신은 일반적으로 [문화적, 절차적, 재정적, 구조적 뿌리가 깊은 확립된 내부 환경]에 통합된다. 예를 들어, 개별화된 학습personalized learning이 변화의 밑바탕에 있는 열망일 수 있다. (이것을 하려면 교육 및 학습에 더 많은 관심과 자원이 필요할 수 있다). 기관이 원칙적으로 이러한 포부에 동의할 수 있지만, 기관 지도자들은 이러한 포부를 [주주들에 대한 재정적 책임]과 같은 [다른 가치 및 포부]와 균형을 맞춰야 할 수도 있다. [재정적으로 수익성이 좋은 활동]에 우선순위를 두는 것은 [교육 및 사회적 책임의 우수성]을 암묵적으로 또는 명시적으로 박탈할 수 있다. 따라서, 각각을 따로 보면, 이러한 열망적 목표 각각은 시스템의 우선순위가 될 수 있다. 그러나, 다 모아놓고 본다면, [변화의 동기가 되는 가치]와 [시스템에서 독점적인 가치] 사이의 충돌은, 변화의 환경-정규화 또는 수명을 방해할 가능성이 있다.

Innovations are generally incorporated into established inner settings that have deep cultural, procedural, fiscal, and structural roots. For example, personalized learning may be an aspiration underlying the change (which might require greater attention and resources dedicated to teaching and learning). While the institution might agree with this aspiration in principle, institutional leaders might have to balance this aspiration against other values and aspirations, such as financial responsibility to shareholders. Prioritizing financially lucrative activities might implicitly or explicitly deprioritize excellence in education and social accountability. Thus, in isolation, each of these aspirational goals may be priorities of the system; however, in combination, the conflict between the values that underlie the motivation for change and others that are exclusive to the system has the potential to hinder Eco-Normalization, or the longevity, of the change.

변화의 열망과 작업을 수행하는 사람들 사이의 상호 작용: [이해 관계자의 지역적 열망]이 변화의 거대한 열망과 일치합니까?
Interactions between change aspirations and the people doing the work: Do the stakeholders’ local aspirations align with the grand aspirations of change?

[혁신 개발의 가정]은 [더 나은 교육적 실천을 통한 환자 치료 개선]과 같은 [위대한 포부]가 [현장의 일선 이해관계자(교사, 학생 및 행정 직원)의 국지적 포부]와 일치한다는 것이다. 그러나, 원대한 포부는 원칙적으로 변화를 살고 있는 사람들에 의해 지지될 수 있지만, 이러한 [원대한 포부]는 종종 [일상적 실천의 관심]에서는 매우 멀리 떨어져 있다. 이것은 변화를 위한 자극과 변화를 경험하는 사람들의 기능적 요구와 가치 사이에 틈을 초래할 수 있다.

• 예를 들어, 더 큰 교육적 책임에 대한 원대한 포부는 임상 교사가 학습자에 대한 더 자주 또는 더 정확한 평가를 완료하도록 요구할 수 있다. 그러나 이것은 교사들에 의해 안전한 학습 환경을 개발하고 그들의 학습자와의 멘토 관계를 발전시키는 그들의 더 즉각적인 목표를 방해하는 "게이트 키핑" 관행으로 인식될 수 있다. 
  
• 또 다른 예로, 큰 포부는 혁신이 실천에 대한 접근 방식을 개발하는 것을 촉진하는 적응형 전문가의 개발일 수 있지만, 학습자들은 불확실성의 맥락에서 문제 해결을 가르치는 노력을 거부하도록 지식 획득과 확실성을 중시하는 뿌리 깊은 정신적 모델을 가질 수 있다.

그러므로 개발자들의 힘이 미치지 못하는 곳에서, 열망은 [현장의 이해당사자이 가지는 국지적 비전, 가치 및 상대적 우선 순위]와의 충돌로 인해, 혁신이 문제적으로 이탈하거나 중단되어 변화의 의미 있는 수명을 방해할 수 있다.

An assumption in the development of an innovation is that grand aspirations, such as improving patient care through better educational practices, align with the local aspirations of frontline stakeholders on the ground (the teachers, students, and administrative staff). However, while the grand aspirations may be supported in principle by those who are living the change, these grand aspirations are often very far removed from the concerns of daily practice. This can lead to a chasm between the impetus for change and the functional needs and values of those experiencing the change.

• For example, a grand aspiration of greater educational accountability might require clinical teachers to complete more frequent or more precise assessments of their learners, but this might be perceived by teachers as a “gatekeeping” practice that interferes with their more immediate goal of developing a safe learning environment and mentoring relationship with their learner.
• As another example, a grand aspiration might be the development of adaptive experts such that the innovation promotes developing approaches to practice, but learners might have an ingrained mental model that values knowledge acquisition and certainty leading them to reject efforts to teach them problem solving in contexts of uncertainty.

Thus, the out-of-reach aspirations of developers may lead to the innovation deviating problematically or halting because of conflicts with the more local vision, values, and relative priorities of stakeholders on the ground, hindering meaningful longevity of the change.

이차 수준 상호 작용
Secondary-level interactions

시스템과 혁신 간의 상호 작용: 혁신은 변화의 포부를 이끌어낼 방식으로 시스템과 상호 작용합니까?
Interactions between the system and the innovation: Does the innovation interact with the system in a way that will lead to the aspirations of change?

[혁신의 구현]은 [시스템의 상호 관련 부분들의 집합]에 영향을 미친다. 기존 시스템에 혁신을 도입하려면 [조직 구조, 정책, 우선 순위, 도구, 인센티브 및 위임된 역할에 대한 변화]가 필요한 것이 논리적으로 보이지만, 이러한 측면 중 일부는 [숨겨지거나, 간과되거나, 우선순위로 여겨지지 않는다]. 이러한 요인의 우선 순위가 낮으면 혁신의 궤도에 상당한 영향을 미칠 수 있다.

• 예를 들어, 혁신의 활동은 환자 치료 루틴에 대한 영향을 고려하지 않고 새로운 임상 커리큘럼을 도입하거나, 그 과정의 평가가 더 큰 평가 시스템과 어떻게 상호 작용할 수 있는지를 고려하지 않고 새로운 과정을 도입하는 것과 같이 시스템에서 양립할 수 없을 수 있다.

이러한 상호작용이 신중하게 고려되고 관리되지 않는다면, [혁신을 시스템 관행과 정책에 효과적으로 통합]하고자 할 때, (해결하기보다는) 문제를 만들 수 있다. 이러한 상황에서 [시스템 장벽]은 집단적 행동collective action을 방해할 수 있으며, 이는 혁신이 문제적으로 이탈하거나 중단되어, 성공적인 변화의 장수longevity를 방해할 수 있다.

The implementation of an innovation impacts the collection of interrelated parts of a system. While it seems logical that introducing an innovation into an existing system requires changes to organizational structures, policies, priorities, tools, incentives, and delegated roles, some of these aspects are hidden, overlooked, or not prioritized. Underprioritization of these factors can significantly impact the trajectory of an innovation.

• For example, the activities of an innovation may not be compatible in the system, such as introducing a new clinical curriculum without considering its implications for patient care routines, or introducing a new course without considering how assessment in that course might interface with the larger assessment system.

Such interactions, if not carefully considered and managed, can create (rather than solve) problems for effective integration of the innovation into systemic practices and policies. In these circumstances, systemic barriers can hinder collective action, which can lead to the innovation deviating problematically or halting, preventing the longevity of successful change.

작업을 수행하는 사람과 혁신 간의 상호 작용: 그 혁신은 변화의 열망을 이끌어낼 일을 하는 사람들의 행동과 기관에 의미를 불러일으키는가?
Interactions between the people doing the work and the innovation: Does the innovation evoke meaning to actions and agency of the people doing the work that will lead to aspirations of change?

[구현 실패] 또는 [혁신의 수명 부족]의 책임은 종종 [일선 구현자]에게 있다. [혁신에 대한 지식과 기술]과 같은 [개인의 특성]은 종종 빠진 연결고리로 여겨진다. 예를 들어, 구현과 관련된 도전은 구현자들이 변화에 대한 자극과 혁신의 활동을 제정하는 방법에 대해 더 많은 지식, 기술 또는 설득력이 필요하다고 가정하는 보다 전문적인 개발 이니셔티브와 마주한다. 그러나, [행동을 이끄는 [의미와 가치]가 발달하는 것]을 방해할 수 있는 많은 동시적 요소들이 있다. 사실, 일선 구현자들은 변화에 대한 추진력과 개발자들이 설명한 대로 활동을 수행하는 방법을 인지하고 있을 수 있다. 그러나, [강제된 혁신]은 [국지적 열망과 기능적 우선 순위]와 일치하지 않으며, [Agency 및 Power의 감각을 억압하는 것]으로 인식된다. [Agency 및 Power]은 시스템 전반의 집단적 행동의 중요한 요소인 [책임과 관계]를 육성하기 때문에, 혁신을 구현할 때 필수적이다. 예를 들어, 구현을 용이하게 하는 행정 직원의 전문적 개발을 간과하고 혁신의 수령자를 적극적으로 참여시키는 것을 소홀히 하는 것은 그들의 기관, 권력 및 집단성에 영향을 미쳐 성공적인 변화의 수명을 단축시킬 수 있다.
Often, the onus of implementation failure or the lack of longevity of an innovation is placed on frontline implementers. The characteristics of individuals, such as knowledge and skills about the innovation, are frequently assumed to be the missing link. For example, challenges with implementation are met with more professional development initiatives that assume that implementers need more knowledge, skills, or convincing about the impetus for change and how to enact the activities of the innovation. However, there are many concurrent factors that may hinder the development of meaning and values that lead to action. In fact, frontline implementers may be cogently aware of the impetus for change and how to undertake the activities as described by the developers. But, the mandated innovation is perceived to be misaligned with local aspirations and functional priorities, and stifling to the sense of agency and power. Agency and power are imperative when implementing an innovation because they foster responsibility and relationships, which are critical ingredients of collective system-wide action. For example, overlooking the professional development of administrative staff facilitating implementation and neglecting to actively engage the receivers of an innovation can impact their sense of agency, power, and collectivity, derailing the longevity of successful change.

시스템과 작업을 수행하는 사람 간의 상호 작용: 시스템은 변화의 포부를 이끌어낼 방법으로 일을 하는 사람들을 지원합니까?
Interactions between the system and the people doing the work: Does the system support the people doing the work in ways that will lead to aspirations of change?

[혁신과 시스템의 호환성과 적응성]은 일선 구현자 또는 혁신 작업을 수행하는 사람들에게 낙수 효과를 준다. 예를 들어, [혁신에서 요구되는 활동]을 위해서는 [작업흐름을 재구성하거나, 새로운 도구를 사용하거나, 임상 업무에서 교육으로 시간을 재분배]해야 할 수 있다. [시스템이 경직되고 정적이어서 새로운 관행을 수용할 수 없는 경우], 이러한 관행이 일선 이해당사자들에게 추가적인 부담이 된다. [혁신에서 요구하는 새로운 활동의 집행을 지원하는 생태계]가 없다면, 이러한 활동은 [일련의 행정적 의식rituals으로 축소]되거나, [완전히 우회될 위험]이 있다. 이는 변화의 의도를 훼손하고 혁신의 문제적 편차와 중단을 촉진하여 성공적인 장기적 변화를 방해한다.
The compatibility and adaptability of the innovation and the system has a trickle-down effect to frontline implementers, or the people doing the work of the innovation. For example, the activities of an innovation may require the reorganization of workflows or the use of new tools and reallocation of time from clinical duties to teaching. If the system is rigid and static, and therefore unable to accommodate the new practices, then these practices become an added burden for frontline stakeholders. Without an ecosystem that supports the enactment of new activities of the innovation, these activities risk being reduced to a series of administrative rituals or bypassed altogether. This undermines the intentions of the change and promotes the problematic deviation and halting of the innovation, hindering successful long-term change.

논의
Discussion

제안된 [에코 정규화 모델]에서 혁신, 작업을 수행하는 사람 및 시스템은 [공생적]이지, [독립적인 것이 아니다]. 더욱이, 환경-정규화는 경직되기보다는 역동적인 미래 계획을 수용하고 장려하기 때문에, [혁신의 진화]는 실패의 징후라기보다는, 실행의 자연스러운 과정과 결과로 간주된다. 정체성, 역할 및 활동은 새로운 것을 구현하는 작업을 수행하는 동안 진화하지만, 혁신과 시스템 역시 변화의 수명을 촉진하기 위해 구현 중에 진화해야 한다.
In the proposed model of Eco-Normalization, innovations, the people doing the work, and the system are acknowledged to be symbiotic and not independent. Further, Eco-Normalization embraces and encourages forward planning that is dynamic rather than rigid, so the evolution of an innovation is considered a natural process and outcome of implementation rather than a sign of failure. While identities, roles, and activities evolve while doing the work of implementing something new, the innovation and system, too, need to evolve during implementation to promote the longevity of the change.

[에코 정규화]의 프레이밍은 [구현의 충실도와 무결성] 사이의 차이를 그리는 증가하는 대화와 호환된다. 대부분의 구현 과학 문헌은 충실도, 무결성 및 준수라는 용어를 동의어로 사용하지만, [구현 무결성]의 사용 가능한 대체 정의를 보면, [변화의 기저 철학 및 핵심 구성요소에 충실하면서, 지역 요구와 상황에 부합하도록, 혁신의 측면을 조정하고 수정할 수 있는 능력]을 반영한다. 실제로, [혁신의 성공적인 구현을 촉진하는 중요한 요소]에는 [맥락 속에서 혁신의 적응성과 호환성]이 포함된다. 36 

The framing of Eco-Normalization is compatible with a growing conversation drawing a distinction between fidelity and integrity of an implementation. While most implementation science literature uses the terms fidelity, integrity, and adherence synonymously, 39 the available alternate definitions of implementation integrity reflect the ability to adapt and modify aspects of an innovation to be compatible with local needs and circumstances, while remaining true to the underlying philosophy or core components of the change. 41,42 Indeed, significant factors fostering the successful implementation of an innovation include the adaptability and compatibility of the innovation in context. 36 

언뜻 보면, 혁신요소의 모든 가능한 조합과 결합을 생각하는 것은 위협적이거나 관리하기 어려워 보일 수 있다. 그러나 구현 단계 중 및 이후에 [6가지 중요한 평가 질문]을 반복적으로 하면, 혁신이 어떻게 그리고 왜 최종 형태를 취하는지, 그리고 그 최종 형태가 처음에 구상한 대로 변화의 가치와 목표를 계속 지원하는 정도에 대한 이해를 통해 증거를 발전시킬 수 있다. 그렇게 함으로써, [프로그램 평가]는 [혁신의 실천에 대한 충실도 또는 고수adherence의 스냅숏]에서 [적응, 수정, 열망적 목표의 수명을 포함한) 기술혁신의 적절성을 비판적이고 주기적으로 검토하는 성찰적 프로세스]로 진화할 것이다.

At first glance, thinking of the possible permutations and combinations of innovation components may seem threatening or unmanageable. However, asking the 6 critical evaluation questions iteratively, during and after the implementation phases, can advance an evidence informed understanding of how and why innovations take their final form as well as the extent to which that final form continues to support the values and goals of change as initially envisioned. As such, program evaluation will evolve from snapshots of fidelity or adherence to the practices of an innovation to a reflective process that critically and cyclically examines the appropriateness of the innovation, including adaptations and modifications, and the longevity of the aspirational goals.

[혁신]은 [번영적prosperous 성과]를 이끌어내기 위해 제안된 [전략적 의도]를 가지고 설계되는 반면, 이러한 전략이 [[광범위한 열망적 목적과 반대되는antithetical 방식]으로 [시스템의 가치 및 관행] 및 [현장의 사람들]과 상호작용할 것]이라는 것을 제안하는 증거를 인식하기 위해서는, [비판적 검토, 반성 및 합리적인 조치]가 필요하다. "블랙박스 평가"에서 [구현의 내부 작동에 대한 이해]로 나아가는 것은 [혁신의 성공에 대한 공동체의 이해]에 있어 중요한 진전이다. 

While innovations are designed with strategic intentions that are proposed to lead to prosperous outcomes, critical examination, reflection, and rational action are necessary to recognize evidence to suggest that these strategies will interact with values and practices of the system and those on the ground in ways that are antithetical to the broader aspirational goals. Progressing from “black box evaluations” to understanding the inner workings of implementation is a significant advancement in the community’s understanding of innovation success.

[구현 충실도] 및 [구현 무결성]에 대한 이러한 이해를 바탕으로, [에코 정규화 모델]은 프로그램 평가자들이 [적응 및 수정을 포함하여, 구현 중인 혁신에 대한 철저한 검토를 통해, 혁신의 수명을 더 잘 탐색할 수 있는 잠재력]을 가지고 있다.

• 이 모델은 [혁신]을 [정적 관행의 집합]이 아니라 [역동적인 것으로 프레이밍]하며,
• [시스템]과 [현장의 노동자]들을 [그들 자신의 목표와 의제를 가진 에이전트 파트너]로 다루며,
• 이 모든 요소사이의 상호작용을 ['생태계'가 변화의 동요에 따라 "뉴 노멀"을 추구하는 것]으로 인정한다.

실제로, [환경 정규화]는 [변화의 생태계]를 신중하게 검토한다. 

• 변화에 대한 거창한 대 지역의 열망, 
• 혁신, 
• 전략적 의도, 
• 구현 작업을 수행하는 사람들, 그리고 
• 시스템의 역할. 

Building on this understanding of implementation fidelity and implementation integrity, the Eco-Normalization model has the potential to enable program evaluators to better explore the longevity of innovations through fulsome examination of what is being implemented, including adaptations and modifications.

• It frames the innovation as a dynamic rather than static set of practices,
• it treats the system and the workers on the ground as agentive partners with their own goals and agendas, and
• it acknowledges the interactions between all these factors as the ecosystem seeks its “new normal” following the perturbation of change.

Indeed, Eco-Normalization judiciously examines the ecosystem of change:

• the grand versus local aspirations for change,
• the innovation,
• strategic intentions,
• the people doing the work of implementation, and
• the role of the system.

새로운 여정을 시작하며, [에코 정규화]는 혁신 경험을 비판적이고 주기적으로 평가하여 향후 경로가 원하는 목적지 방향으로 계속 이어질 수 있도록 보장합니다. 아직 개발 초기이긴 하지만, 우리는 혁신자들과 평가자들이 이 프레임워크를 통해 [구현과 변화의 생태계에 대한 또 다른 두루뭉술함]을 벗어나, 맥락적 혁신의 수명에 기여(또는 방해)하는 특징에 대한 이해를 심화시킬 수 있기를 바란다.

When embarking on a new journey, Eco-Normalization critically and cyclically appraises innovation experiences to ensure the upcoming path continues to lead in the direction of the desired destination. Although still early in its development, we hope that, through this framework, innovators and evaluators will be able to shed another layer of elusiveness about implementation and the ecosystem of change to deepen understanding of the features that contribute to (or hinder) the longevity of innovations in context.

Copyright © 2021 by the Association of American Medical Colleges.

마라톤입니다, 단거리가 아닙니다: CBME 도입의 신속 평가(Acad Med, 2020)
It’s a Marathon, Not a Sprint: Rapid Evaluation of Competency-Based Medical Education Program Implementation
Andrew K. Hall, MD, FRCPC, MMEd, Jessica Rich, PhD, J. Damon Dagnone, MD, FRCPC, MSc, MMEd, Kristen Weersink, MD, MSc, Jaelyn Caudle, MD, FRCPC, EMDM, Jonathan Sherbino, MD, FRCPC, MEd, FAcadMEd, Jason R. Frank, MD, FRCPC, MA(Ed), Glen Bandiera, MD, FRCPC, MEd, and Elaine Van Melle, PhD 

의료 제공의 질에 대한 광범위한 우려는 대학원 의료 교육의 "행동 촉구"와 역량 기반 의료 교육(CBME)으로의 대규모 패러다임 전환을 자극했다.1 CBME는 다음과 같이 정의된다. "역량의 조직적 프레임워크를 사용하여 의료 교육 프로그램의 설계, 구현, 평가 및 평가에 대한 성과 기반 접근 방식" 역량 프레임워크는 이미 전 세계의 많은 교육 프로그램에 잘 통합되어 있지만, CBME의 통합과 구현은 전체적으로 어려운 과제였다. 다른 혁신과 마찬가지로, 그것의 성공은 시간이 지남에 따라 가정, 행동, 프로세스 및 제품의 변화에 영향을 미침으로써 프로그램의 문화를 의도적으로 전환하려는 교육 지도자들의 노력에 달려 있다. 이러한 변화 노력의 크기 때문에 시스템이 현 상태로 되돌아가는 경향이 강하다.9 결과적으로, 변형 변화는 초기 구현 노력의 강점과 과제를 평가(및 이에 대응)하기 위한 체계적인 노력이 필요하다. 의학 교육 지도자들은 분명히 이것을 인식하고 있다: "종적이고 반복적인 프로세스에서 CBME의 평가는 필수적이며 의료 교육 개혁을 시행하는 모든 조직의 책임이다."1
Broad concerns about the quality of health care provision have stimulated a “call to action” in postgraduate medical education and a massive paradigm shift toward competency-based medical education (CBME).1 CBME is defined as “an outcomes-based approach to the design, implementation, assessment, and evaluation of medical education programs, using an organizing framework of competencies.”2 Competency frameworks are already well integrated into many training programs around the world,3 but the integration and implementation of CBME in its entirety has been challenging,4,5 As with any transformative innovation, its success is dependent upon the efforts of educational leaders to deliberately shift the culture of a program by affecting a change in assumptions, behaviors, processes, and products over time.6–8 Due to the magnitude of this change effort, there is a strong tendency of the system to revert to the status quo.9 Consequently, transformational change requires systematic efforts to evaluate (and respond to) the strengths and challenges of early implementation efforts.10 Medical education leaders clearly recognize this: it has been observed that the “evaluation of CBME in a longitudinal, iterative process is essential and is a responsibility of all organizations implementing medical education reform.”1

캐나다 왕립의과대학(Royal College of Physician and Sursors)은 현재 캐나다의 67개 전공과목 및 세부전공 교육 프로그램에 걸쳐 11개의 CBME 모델을 구현하고 있습니다. 응급의료(EM)는 2018년 7월 1일부터 국가 차원에서 CBME를 시행할 예정이었다. 그러나 2015년 퀸스 대학의 모든 대학원 교육 프로그램이 2017년 7월 1일자로 유사한 CBME 모델을 동시에 구현하기로 현지 결정이 내려졌다.12 이에 따라 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼의 지역 구현을 연구할 수 있는 이상적인 기회를 제공했고, 이를 통해 퀸스 대학의 EM 대학원 프로그램은 국가 파생 커리큘럼을 제공하고, 다음 해에 국가 롤아웃을 알릴 수 있는 잠재력을 제공한다.
The Royal College of Physicians and Surgeons of Canada (Royal College) is currently implementing a specific CBME model, termed Competence By Design (CBD),11 across all 67 specialty and subspecialty postgraduate training programs in Canada. Emergency medicine (EM) was scheduled to implement CBME on a national level starting July 1, 2018. In 2015, a local decision was made however, for all postgraduate training programs at Queen’s University to implement a similar model of CBME simultaneously as of July 1, 2017.12 Accordingly, the Queen’s University EM postgraduate program provided an ideal opportunity to study local implementation of the nationally derived curriculum, offering the potential for informing the national rollout to take place the following year.

과제는 [변혁적 변화 이니셔티브로서 CBME를 평가할 수 있는 접근 방식]을 찾는 것이었다. 즉, 시간이 지남에 따라 상당한 변화가 원하는 방향으로 발생하는지 여부를 모니터링할 수 있고, 그렇지 않은 경우 필요한 과정 수정 사항을 식별할 수 있는 접근 방식을 찾는 것이었다. 프로그램 평가 분야에서, [변혁적 평가 및 연구]는 인권과 사회 정의의 문제를 다루는 데 초점을 맞춘 이니셔티브를 위해 특별히 개발된 방법론이다.13 우리가 아는 한, 변혁적 프로그램 변화를 평가하는 데 초점을 맞춘 구체적인 방법은 없다. 그러나 [신속한 평가]는 "내부 운영 결과와 외부 환경 피드백을 반복 프로세스에서 함께 사용하여 이니셔티브의 전체 전략을 테스트하고 개선하는 대화형 및 적응형 관리 프로세스"입니다.14 신속한 평가는 의도된 변경의 성격과 범위에 대한 사양에 의존합니다. 혁신이 원하는 변환을 달성하고 있는지 여부를 심층적으로 이해할 수 있습니다. 또한 구현의 충실도라고도 알려진 [혁신이 의도된 대로 구현되고 있는지]를 이해하면 15는 과정 수정이 필요할 수 있는 영역을 식별할 수 있다. 따라서 신속한 평가는 전환적 변화 이니셔티브로서의 CBME의 평가와 CBME 구현이 원하는 결과 달성과 어떻게 관련되는지에 대한 이해를 모두 가능하게 한다.16
The challenge was to find an approach that would allow for the evaluation of CBME as a transformational change initiative—an approach that could monitor whether or not substantial shifts were occurring in the desired direction, over time, and if not, to identify any required course corrections. In the field of program evaluation, Transformative Evaluation and Research is a methodology specifically developed for initiatives focused on addressing issues of human rights and social justice.13 To our knowledge, there is not a specific method that focuses on evaluating transformational program change. Rapid Evaluation, however, is “an interactive and adaptive management process in which internal operational results and external environmental feedback are used together in an iterative process to test and improve on an initiative’s overall strategy.”14 Rapid Evaluation relies on specification of the nature and extent of the intended change and so can allow for an in-depth understanding of whether or not an innovation is achieving the desired transformation. Furthermore, understanding if an innovation is being implemented as intended, also known as fidelity of implementation,15 allows for identification of areas where course correction may be required. Therefore, Rapid Evaluation enables both the evaluation of CBME as a transformative change initiative and an understanding of how CBME implementation relates to achieving desired outcomes.16

이 기사에서, 우리는 퀸즈 대학의 EM을 작업 사례로 사용하여 프로그램 수준에서 변환 변화 이니셔티브로서 CBME를 평가하기 위한 새로운 접근 방식으로 신속 평가의 사용을 설명한다. 평가는 구현의 충실도를 측정하고 구현의 초기 결과를 확인하는 데 초점을 맞췄다.
In this article, we describe the use of Rapid Evaluation as a novel approach to evaluating CBME as a transformational change initiative at the program level, using EM at Queen’s University as a worked example. The evaluation focused on measuring the fidelity of implementation and identifying early outcomes of implementation, both anticipated and unanticipated.

방법
Method

[사례 연구 방법론 ]17을 사용하여 [신속한 평가의 반복적 주기]를 사용하여 퀸스 대학교 EM 프로그램에서 CBME를 구현한 실제 경험을 탐색했다. 앞에서 설명한 신속 주기 평가 접근 방식을 기반으로 한 신속 평가 접근 방식은 [진화적 적응 과정]에 관여하는 증거를 포착하고 적시에 제공하는 데 초점을 맞췄다(그림 1). 이 모델에서, 평가자는

• (구현 단계에 적합한 맥락과 예상 결과를 포함한) [변화의 성격에 대한 명시적인 설명]으로 시작한다.
• 이어서 실제 구현에 대한 정보를 수집합니다.
• 그런 다음 이러한 데이터를 사용하여 실제 구현 프로세스와 결과를 설명하고, 혁신이 의도한 대로 구현되고 있는지 확인하고, 예상 및 예상치 못한 결과를 포착할 수 있습니다.19
• 그런 다음, 이해관계자에게 즉시 피드백이 제공되며, 필요한 모든 과정 수정이 식별 및 구현됩니다.
• 그런 다음 평가는 미리 정해진 간격으로 반복되어 적시에 지속적인 구현 모니터링을 할 수 있다.

We used a case-study research methodology17 to explore the lived experience of implementing CBME in the Queen’s University EM program using iterative cycles of Rapid Evaluation. Building on the previously described Rapid-Cycle Evaluation approach,10 our Rapid Evaluation approach focused on capturing and providing timely evidence to engage in a process of evolutionary adaptation (Figure 1). In this model,18 

• the evaluator starts with an explicit description of the nature of the change, including the context and anticipated outcomes appropriate to the stage of implementation.
• This is followed by collection of information about the actual implementation.
• These data can then be used to describe the actual implementation processes and outcomes to determine if the innovation is being implemented as intended and to capture anticipated and unanticipated outcomes.19 
• Feedback is then immediately provided to stakeholders, and any required course corrections are identified and implemented.
• The evaluation is then repeated at predetermined intervals, allowing for timely ongoing monitoring of implementation.

중요한 특징과 의도된 결과에 대한 명시적인 설명을 만들기 위해, 우리는 핵심 구성요소 프레임워크(CCF)를 사용했다.20 CCF는 CBME 프로그램의 구성 요소를 결과 역량, 시퀀싱 진행, 맞춤형 학습 경험, 역량 중심 지침 및 프로그래밍 평가의 5가지 범주로 구성한다. CCF는 퀸스 대학교 응급의학과 훈련 프로그램의 고유한 맥락에서 해석되어 예상 단기 결과와 함께 의도된 대로 구현될 경우 CBME가 어떻게 보일지에 대한 명시적인 설명을 생성했다.
To create an explicit description of the critical features and intended outcomes, we used the core components framework (CCF).20 The CCF organizes the building blocks of a CBME program into 5 categories:

• outcome competencies,
• sequenced progression,
• tailored learning experiences,
• competency-focused instruction, and
• programmatic assessment.

The CCF was interpreted in the unique context of Queen’s University EM training program to generate an explicit description of what CBME should look like if implemented as intended, along with anticipated short-term outcomes.

데이터 수집을 시작하기 전에 퀸스 대학 보건 과학 및 부속 교육 병원 연구 윤리 위원회(Emed-262-17)로부터 연구 승인을 받았다. 우리는 CBME(구현 후) 구현 후 2회의 신속 평가 사이클을 실시했습니다. 데이터는 그룹당 최대 5명의 참가자와 함께 주요 이해관계자(주민, 교수진, 학술 자문자, CBME 리드, 프로그램 디렉터[PD])의 포커스 그룹 인터뷰를 사용하여 실제 구현을 측정하기 위해 3개월(2017년 9월 21일-10월 5일)과 9개월(2018년 2월 26일-3월 9일)에 획득되었다. 이해관계자가 구현 후(3개월)에 신속하게 참여하도록 하고, 이해관계자가 두 번째 평가 주기(9개월) 전에 후속 적응을 인지할 수 있도록 하기 위해 이러한 평가 간격을 선택했다. 
Before commencing data collection, we received study approval from the Queen’s University Health Sciences and Affiliated Teaching Hospitals Research Ethics Board (Emed-262-17). We engaged in 2 Rapid Evaluation cycles after implementation of CBME (post-implementation). Data were acquired at 3 months (September 21–October 5, 2017) and 9 months (February 26–March 9, 2018) post-implementation to measure the actual implementation, using focus group interviews of key stakeholders (residents, faculty members, academic advisors, CBME lead, program director [PD]) with up to 5 participants per group. We chose these intervals of evaluation to ensure stakeholders were rapidly engaged post-implementation (3 months) and to allow for stakeholders to perceive subsequent adaptations before the second evaluation cycle (9 months).

표 1은 참가자 그룹과 표본 크기를 요약한 것입니다. 우리는 모든 잠재적 이해관계자 그룹을 대표하고 각 그룹의 모든 잠재적 초점 그룹 참가자를 참여시키기 위해 참가자 그룹을 선택했다. 인터뷰와 포커스 그룹은 프로그램 리더십이나 구현 프로세스에 관여하지 않은 연구팀(J.R.)의 한 멤버에 의해 조정되었습니다. 3개월 동안의 인터뷰 질문은 프로그램에서의 이해관계자의 역할과 관련된 이해 강점과 과제, 프로그램 구현에 대한 경험과 우려, 지속적인 프로그램 개발 및 구현을 개선하기 위한 제안 등을 탐구하는 데 초점을 맞췄다. 9개월의 인터뷰 질문은 3개월의 새로운 발견에 의해 알려졌고 CBME의 중요한 기능과 관련된 새로운 주제를 포착하기 위해 CCF에 매핑되었다. 인터뷰 가이드는 보충 디지털 부록 1과 2에서 구할 수 있으며 https://links.lww.com/ACADMED/A762에서 구할 수 있다.

Table 1 presents a summary of our participant groups and sample sizes. We chose participant groups to ensure all potential stakeholder groups were represented, and all potential focus group participants from each group were invited to participate. Interviews and focus groups were moderated by one member of our research team (J.R.), who was not involved in the program leadership or implementation process. Interview questions at 3 months focused on exploring stakeholders’ perceived strengths and challenges associated with their role(s) in the program, experiences and concerns with program implementation, and suggestions for refining ongoing program development and implementation. The 9-month interview questions were informed by the 3-month emergent findings and mapped to the CCF to capture emerging themes related to the critical features of CBME. Interview guides are available in Supplemental Digital Appendices 1 and 2, available at https://links.lww.com/ACADMED/A762.

데이터 수집 중 각 이해관계자 그룹과의 1차 회의 후 포화도 21이 달성되었다. 이해관계자 그룹 내 또는 이해관계자 그룹 전체의 논평에서 새로운 통찰력은 나타나지 않았다. 이 시점에서, "CCF에 기초하여, 각 핵심 구성 요소와 관련된 새로운 주제를 설명하기에 충분한 데이터가 있는가?"라는 연구팀의 질문에 답함으로써 [이론적 포화도]를 결정했다. 우리는 emerging themes에 대해 논의하고 다양한 통찰력의 반대증거counterevidence을 확인하기 위해 3개월과 9개월에 교수진이 있는 두 번째 포커스 그룹을 사용했다. 참가자들의 허락을 받아, 인터뷰는 오디오 녹음되었고, 외부 전사 서비스에 의해 문자 그대로 옮겨졌으며, 우리 연구팀(J.R.)의 한 사람이 정확성을 확인했다. 데이터 수집 및 분석에 대한 전반적인 접근 방식은 납치적이어서 CCF와 관련하여 주제와 새로운 통찰력이 나타날 수 있었다. 정성적 연구 내에서, 유괴는 인식된 결과와 그 선례에 대한 그럴듯한 추론을 만들기 위해 데이터 기반 귀납 분석과 이론 기반 연역 분석을 결합한다.22 우리는 데이터 세트에 주석을 달고 코딩하기 위해 NVivo 소프트웨어 버전 11.4.3(QSR International Ltd., Melbourne, Australia)을 사용했다. 3개월간의 인터뷰에 대한 주제 분석에 이어 기술 보고서를 작성하여 즉시 모든 지역 및 국가 이해 관계자에게 이메일을 통해 배포하였다. 3개월 간의 기술 보고서는 지역 이해관계자에 의한 회원 데이터 확인과 진행 중인 지역 및 국가 구현을 알리기 위한 정보의 신속한 확산이라는 두 가지 목적을 수행했다. 
During data collection, saturation21 was achieved after one round of meetings with each stakeholder group. No new insights were emerging from comments within or across the stakeholder groups. At this point, theoretical saturation was determined by posing and answering the following question as a research team: “based on the CCF, do we have sufficient data to illustrate emergent theme(s) relevant to each core component?” We used the second focus group with faculty at both 3 and 9 months to discuss emerging themes and to check for counterevidence of divergent insight(s). With the permission of participants, interviews were audiorecorded, transcribed verbatim by an external transcription service, and checked for accuracy by one member of our research team (J.R.). The overall approach to data collection and analyses was abductive, allowing for themes and novel insights to emerge in relation to the CCF. Within qualitative research, abduction involves a combination of data-driven inductive analysis and theory-based deductive analysis to make plausible inferences about perceived consequences and their antecedents.22 We used NVivo software, version 11.4.3 (QSR International Ltd., Melbourne, Australia) to annotate and code the dataset. Following thematic analysis of 3-month interviews, a technical report was generated and immediately disseminated to all local and national stakeholders via email. The 3-month technical report served dual purposes: member checking data by local stakeholders and rapid spread of information to inform ongoing local and national implementation.

결과.
Results

이상적인 구현에 대한 설명: 상황, 변경 사항 및 예상 결과
Description of ideal implementation: Context, changes, and expected outcomes

CCF를 사용하여 정의한 CBME 구현의 [기대 결과 요약]은 표 2에 제시되어 있다. 퀸스 유니버시티 전자파 훈련 프로그램은 왕립대학이 개략적으로 설명한 CBD 모델로 설계되었으며, 여기서 EM 수련의사는 훈련의 4개의 순차적 단계 내에서 분야별 역량을 개발하기 위해 의대에서 습득한 기술을 기반으로 한다.23 EM 전문 위원회에서 도출한 문서이다.CBME와 관련된 것은 EM24에 대한 신뢰할 수 있는 전문 활동(EPA)과 구성 요소 마일스톤과 EM.25에 대한 필수 교육 경험을 포함했다. 참고: CBD에서 26, 역량은 각 EPA의 구성 마일스톤과 함께, 단계-특이적 EPA에 의해 정의된다.

A summary of the expected outcomes of CBME implementation, as defined using the CCF, is presented in Table 2. The Queen’s University EM training program was designed in the model of CBD as outlined by the Royal College, in which training EM physicians build upon the skills acquired in medical school to develop discipline specific competency within 4 sequential stages of training.23 Derived by the EM Specialty Committee, the documents defining the program relevant to CBME included the entrustable professional activities (EPAs) and their component milestones for EM24 and the required training experiences for EM.25 Note that in contrast to the use of milestones to organize competency by the Accreditation Council for Graduate Medical Education (ACGME),26 in CBD, competence is defined by stage-specific EPAs each with component milestones.23

이 EM 대학원 프로그램은 캐나다 전역의 18개의 5년 레지던트 교육 프로그램 중 하나로, 연간 4명의 레지던트들을 받아들입니다. 연구 기간 동안 35명의 전임 EM 교수진이 의사 그룹에서 일하고 있었다.
This EM postgraduate program is one of 18 five-year residency training programs across Canada, accepting 4 residents per year. During the study period, there were 35 full-time EM faculty working in the physician group.

이 프로그램은 PD, 보조 PD, CBME 리더에 의해 관리되었으며 전임 관리 보조자에 의해 지원되었다. 다른 독특한 역할에는 제한된 전공의 그룹에 대해서만 종적 코칭 역할을 하는 학술적 조언자가 포함되었다. 또한, CBME 전공의 인솔자가 주민 개발을 지원하고 프로그램 행정과 전공의 간 연락을 취했다. 구현 전략의 주요 프로세스는 목록 1에 요약되어 있습니다.
The program was administered by a PD, assistant PD, and CBME lead and supported by a full-time administrative assistant. Other unique roles included academic advisors, who functioned in a longitudinal coaching role with a limited group of residents. As well, a CBME resident lead assisted with resident development and liaised between program administration and residents. The key processes of the implementation strategy are outlined in List 1.

목록 1
List 1

Queen's University 응급의학부 신속평가를 이용한 CBME 프로그램 구현 연구, 2017-2018

Key Processes of CBME Implementation, From a Study of CBME Program Implementation Using Rapid Evaluation, Queen’s University Department of Emergency Medicine, 2017–2018

행정전환 Administrative transition

• CBME 리드 위임(2015년 5월)
• 대학원 CBME 워크숍(2015년 5월~2017년 7월 격월)
• 학술자문위임 및 교육(2017년 1월 ~ 6월)
• 역량위원회 발전(2017년 9월~2018년 6월 분기별)
• 프로그램 관리자 교육(2015년 9월~2017년 5월 연 2회)
• 기관전자포트폴리오(엘렌트라 온라인 플랫폼) 구현(2015년 9월)
  
  
• CBME lead delegation (May 2015)
• Postgraduate CBME workshops (bimonthly May 2015 to July 2017)
• Academic advisors delegation and training (January to June 2017)
• Competence committee development (quarterly September 2017 to June 2018)
• Program administrator training (twice annually September 2015 to May 2017)
• Institutional electronic portfolio (Elentra online platform) implementation (September 2015)

교직 전환 Faculty transition

• EM 그랜드 라운드:
  
• EM 부서 회의 프레젠테이션:
  
• 실무 교수진 육성 워크숍(2017년 5월):
  
• 구현 후 교수진 개발:
  
  
• EM grand rounds:
• EM department meeting presentations:
• Practical faculty development workshops (May 2017):
• Post-implementation faculty development:

전공의 전환 Resident transition

• 전공의 CBME 리드 대표단(2017년 1월)
  
• 전공의 실무 훈련교육(2017년 5월):
  
• 구현 후 전공의 교육:
• Resident CBME lead delegation (January 2017)
• Practical resident training sessions (May 2017):
• Post-implementation resident training:

약어: CBME, 역량 기반 의료 교육, EM, 응급 의료, EPA, 신뢰할 수 있는 전문 활동.
Abbreviations: CBME, competency-based medical education; EM, emergency medicine; EPA, entrustable professional activity.

우리는 EM 전공의들에게 EPA 기반 전자 평가 양식을 사용하여 로테이션shift 당 1개 또는 2개의 평가를 획득할 것을 요청했다. 모든 작업장 기반 평가는 목적에 맞게 구축된 모바일 온라인 플랫폼(캐나다 온타리오주 킹스턴의 엘렌트라)을 사용하여 수행 및 추적되었습니다. 평가 양식에는 평가 대상 EPA에 대한 자세한 설명, 관련 마일스톤, 2개의 위탁 등급 척도 중 하나, 27,28 및 필수 서술형 피드백 상자가 포함되었다. 각 전공의는 진행 상황을 모니터링하고 전공의 개인 학습 계획(PLP)의 개발을 촉진하기 위해 분기별로 교육 어드바이저와 전자 대시보드를 검토했다.29 교육 어드바이저 회의 직후, EM 역량 위원회(PD, CBME 리드, 4명의 교육 어드바이저로 구성)가 모든 교육생의 교육을 검토하기 위해 모였다. [평가 및 훈련 단계 내 / 단계 간] 전공의 진급progression에 대한 합의된 결정을 내린다. 의사 결정 프로세스는 왕립 대학 역량 위원회 지침과 ACGME에 의해 설명된 것을 모델로 했다. 이 맥락에서, 일선에서 이뤄지는 각각의 EPA-기반 평가는 저부담 평가였지만, 역량위원회에 의한 고부담 의사결정에 정보를 제공한 것은 이러한 저위험 평가의 종합과 종합이었다. 

We asked EM residents to acquire 1 or 2 assessments per shift using EPA-based electronic assessment forms. All workplace-based assessments were performed and tracked using a purpose-built mobile online platform (Elentra, Kingston, Ontario, Canada). Assessment forms included a detailed description of the EPA being assessed, the relevant milestones, one of 2 entrustment rating scales,27,28 and a mandatory narrative feedback box. Each resident reviewed their electronic dashboard with their academic advisor quarterly to monitor progression and facilitate the development of resident personal learning plans (PLPs).29 Immediately following the academic advisor meetings, the EM competence committee (made up of the PD, CBME lead, 4 academic advisors) met to review all trainees’ assessments and make consensus decisions around resident progression within and between stages of training. The decision-making processes were modeled after those described by the Royal College Competence Committee Guidelines30 and the ACGME.31 In this context, each frontline EPA-based assessment was alone a low-stakes assessment, but it was the aggregate and synthesis of these low-stakes assessments that informed high-stakes decisions by the competence committee.

실제 구현 및 그에 따른 적응의 측정
Measurement of actual implementation and resultant adaptations

3개월 및 9개월 데이터로부터의 새로운 주제와 프로그램 적응은 CCF에 따라 구성되며 표 2에 요약된다. 다음 범주에는 중요한 발견을 더 자세히 설명하기 위한 인용문의 예가 포함되어 있습니다.
Emergent themes and resultant program adaptations from the 3- and 9-month data are organized according to the CCF20 and summarized in Table 2. The following categories include examples of quotes to further describe important findings.

결과 역량.
Outcome competencies.

초기 구현 전략은 CBME의 원칙을 이해하는데 영향을 미쳤다. 이해 당사자들은 처음에 CBME에 대해 비판적인 입장을 취했다. 한 교수진이 설명했듯이, "우리는 [훈련]을 훨씬 더 기술적으로 만들고 교육학적 용어로 정의하고 있지만, 그것이 결과에 차이를 만들지는 잘 모르겠다." 이후 추가적인 교수진 개발 이후, 비판적인 입장은 CBME가 훈련을 더 나은 방향으로 개선할 것이라는 조심스러운 낙관론으로 전환되었다. 한 학술 고문/역량 위원회 위원은 CBME 구현을 EMR의 도입에 비유했습니다: "아마도 부서의 절반이 전자 의료 기록에 반대하는 목소리를 냈을 것입니다... 그리고 오늘날 여러분이 그것을 본다면, 우리는 '그거 없이 어떻게 했었지?'라고 말할 것입니다."
Initial implementation strategies resulted in variable stakeholder understanding of the principles of CBME. Stakeholders initially adopted a critical stance regarding CBME. As one faculty member explained, “We’re kind of making [training] much more descriptive and defining it in pedagogical terms, but I’m not sure if it’s going to be any different in the end.” After subsequent additional faculty development, the critical stance shifted toward a cautious optimism that CBME would improve training for the better. One academic advisor/competence committee member likened CBME implementation to the adoption of an electronic medical record: “Probably half the department was really vocal against it. . . . And if you look at it today, we would say ‘how did we ever function without it?’”

순차적 진행. Sequenced progression.

[CBME에 대한 비판적 입장]에 기여한 것은 [위임의 개념]과 [개별 단계별 EPA와 현장에서의 마일스톤 평가에 대한 초기 좌절]이었다. 교수진은 평가할 EPA를 선택하고, 복잡한 과제의 일부를 평가하기 위해 위임 척도를 사용하며, 개별 이정표의 달성에 대한 판단을 내리는 것은 모두 임상적 요구를 관리하는 동안 상당히 벅찬 일이라고 보고했다. 전반적으로, 단계별 EPA의 성격과 목적 및 부분적 과제의 위임에 관한 [공유된 정신 모델의 부족]이 명백했다. 이 단계의 특수성의 목표를 이해한 교수진들조차도 복잡한 과제의 일부에 기초하여 기준이 되는 위임 결정을 내리는 것이 어렵다는 데 동의하였다. 한 교직원이 설명했듯이, "우리의 뇌는 어텐딩을 위한 완벽한 수행이 무엇인지에 기초하여 누군가를 평가하도록 프로그램되어 있고, 건설적인 피드백은 레지던트가 다르게 할 수 있거나 해야 하는 것과 관련이 있다."
Contributing to a critical stance toward CBME was early frustration with the concept of entrustment and the assessment of individual stage-specific EPAs and milestones in situ. Faculty reported that selecting an EPA to assess, using an entrustment scale to assess part of a complex task, and making judgments about the achievement of individual milestones, all while managing clinical demands, were quite overwhelming. Overall, a lack of shared mental model regarding the nature and purpose of stage-specific EPAs and entrustment of partial tasks was apparent. Even those faculty who understood the goals of this stage specificity agreed that it was challenging to make entrustment decisions that were criterion referenced based on a portion of a complex task. As one faculty member explained, “Our brains are programmed to evaluate somebody based on what a perfect performance would be for an attending and constructive feedback relates to what the resident could or should do differently.”

교수진 전반에 걸쳐, [개별 이정표의 달성에 대한 결정을 내리는 데 필요한 인지적 노력]은 특히 번거로운 것으로 인식되었다. 또한 [관찰된 개별 마일스톤 평가의 결과]는 [전공의의 PLP에 대한 academic advisors의 정보 제공]이나 [역량 위원회 구성원이 공식적인 진행 결정]을 위한 정보를 거의 제공하지 않는 것으로 인식되었다. 결과적으로, 많은 교수진이 [마일스톤의 직접 평가에서 이탈]하였고, 프로그램 리더(CBME 리더 및 PD)는 마일스톤을 평가의 선택적 구성요소로 만들기로 결정했다.
Across faculty members, the cognitive effort required to make decisions about the achievement of individual milestones was specifically perceived as cumbersome. Further, the results of individual milestone assessments observed were perceived as providing little information for academic advisors to inform residents’ PLPs or for competence committee members to make formal progression decisions. Consequently, many faculty members disengaged from directly assessing milestones, and a decision was made by program leaders (CBME lead and PD) to make milestones an optional component of the assessment.

맞춤형 학습 경험.
Tailored learning experiences.

3개월간의 교육 후, [주니어 전공의]들은 [EM에 조기 몰입]하는 것에 대해 감사를 표했는데, 이는 기존 접근 방식에서 [초기 오프-서비스 경험]으로의 변화였다. 게다가, 그들은 훈련 경험의 어떠한 커스터마이징도 아직 인지하지 못했음에도 불구하고, 훈련의 후반 단계에서 교대를 협상하는 것에 대해 낙관적인 견해를 나타냈다. 전공의들은 처음에 맞춤형 학습 경험의 중요한 촉진자로 생각되는 [PLP의 가치]에 대해 엇갈린 견해를 보였다. 29명의 주니어 거주자들은 PLP가 한 참가자가 지적한 바와 같이 직접 관찰할 수 있는 기회의 우선 순위를 정하는 데 도움이 되는 "매우 유용함"을 발견했다. 그러나 PLP가 "체크박스; 우리가 CBME를 하고 있다는 것을 증명하기 위한 서류 절차"일 뿐이라는 한 선임 레지던트의 관찰은 고급 교육생들에게는 일반적인 것으로 보였다. 그러나 프로그램 관리자의 관점에서 PLP는 향상된 학습 기회를 지시하는 데 가치가 있다고 인식되었다.

After 3 months of training, junior residents expressed appreciation for early immersion in EM, which was a change from the prior approach to early off-service experiences. Further, they expressed optimism about negotiating rotations in the later stages of training, despite not perceiving any customization of the training experience yet. Residents initially had mixed views on the value of PLPs, which are thought to be important facilitators of tailored learning experiences.29 Junior residents found PLPs to be “very useful,” as one participant noted, in helping to prioritize opportunities for direct observation. Yet a senior resident’s observation that the PLPs were “a check box; just more paperwork process to prove that we’re doing CBME” seemed representative for advanced trainees. From the perspective of program administrators, however, PLPs were perceived to have value in directing enhanced learning opportunities; one such comment was, “there’s already been a change in course or path for some people.”

역량 중심 교육.
Competency-focused instruction.

교수진과 전공의 모두, [EPA와 이정표]가 준거-참고 피드백을 장려하는 데 도움이 될 수 있지만, 피드백이 발달적으로 건설적이라는 보장은 없다는 것을 재빨리 인지했다. 한 역량위원은 "건설적인 피드백을 주고받는 것은 누구에게나 편한 일이 아니다. 새로운 시스템을 도입한다고 해서 그 누구의 행동도 바뀌지 않을 것입니다." 이러한 정서는 프로그램 리더들과도 공유되었는데, 한 참가자는 "피드백이 정직하게 주어지고 정직하게 받아들여지는 문화를 바꾸는 것이 가장 큰 걸림돌"이라고 설명했다. 이것은 건설적인 피드백의 제공, 문서화 및 수용과 관련된 교수진과 전공의 개발 활동의 형태로 상당한 노력과 적응을 촉진했다. 9개월 간의 구현 후, 프로그램 이해 당사자들은 리더십 노력에도 불구하고 대부분의 교수진이 [건설적인 피드백을 주고 기록하는 것을 계속 회피한다]는 데 동의했습니다. 한 EM 교수진은 "목표적인 피드백을 제공하는 데 매우 동기부여가 되었지만, 뇌는 자연스럽게 총체적으로globally 생각합니다. 결국에는 어떤 사람에 대한 전반적인 제스처로부터 그 작업에 이르기까지 인지적인 단계를 만들어야 합니다. 그리고 좋은 피드백을 주기 위해서 그 작업의 아주 구체적인 부분에 대해 정말로 생각해야 합니다. 쉽지 않은 일이고 지금도 가끔 실패해요."
Both faculty and residents were quick to recognize that while EPAs and milestones may help to encourage criterion-referenced feedback, there was no guarantee that feedback would be developmentally constructive. As one competence committee member explained, “giving and receiving constructive feedback is not a comfortable thing for anyone. Implementing a new system isn’t going to change anyone’s behavior.” This sentiment was also shared by program leadership, with one participant explaining that the biggest hurdle was “getting the culture to change where feedback is given honestly and accepted honestly.” This prompted substantial efforts and adaptations in the form of faculty and resident development activities relating to the provision, documentation, and acceptance of constructive feedback. After 9 months of implementation, program stakeholders agreed that despite leadership efforts, most faculty continued to shy away from giving and documenting constructive feedback. One EM faculty member explained, “even though I’m very motivated to provide targeted feedback, your brain just naturally thinks globally ... you have to actually make that cognitive step from your overall gestalt about somebody down to the task, and then really think about the very specifics of the task in order to give good feedback. That’s not easy, and I still fail sometimes.”

프로그램 평가.
Programmatic assessment.

프로그램적 평가에는 여러 이해관계자의 협조적인 노력이 필요하며, 각 이해관계자는 형성적 및 총괄적 평가를 위해 중요하고 보완적인 역할과 책임을 갖는다. 32 CBME 요건은 초기에는 기존 시스템 요건을 대체하기보다는 추가되는 것으로 인식되었다. e-포트폴리오 요약 보고 메커니즘이 개발되는 동안, 그것은 전공의와 교수진이 개별 성과 평가의 수와 결과를 수동으로 추적하는 "좌절스럽고" "억지스러운" 작업이라고 설명되었다. 프로그램 리더는 초기 역량 위원회 회의를 "클릭은 많지만 대화는 적다"고 설명했습니다. 또한, CBME 리더 및 교육 어드바이저라는 두 가지 새로운 역할의 추가는 PD 포트폴리오와 중복될 뿐만 아니라 프로그램 변경 및 상주 성과 정보에 대해 누가 통보받아야 하는지에 대한 이해관계자 사이의 혼란을 야기했다. 이로 인해 모든 이해당사자에 대한 역할 설명의 수정, 설명 및 보급이 촉진되었습니다.

Programmatic assessment requires the coordinated efforts of multiple stakeholders, each having important and complementary roles and responsibilities for formative and summative assessment.32 CBME requirements were initially perceived as being added onto rather than replacing old system requirements. While e-portfolio summary-reporting mechanisms were in development, they were described was a “frustrating” and “make-work” task for residents and faculty to manually track the number and results of individual performance assessments. Program leaders described early competence committee meetings as having “a lot of clicking, and not as much talking.” Further, the addition of 2 new roles—the CBME lead and academic advisors—created overlap with the portfolio of the PD as well as confusion among stakeholders regarding who should be informed of program changes and resident performance information. This prompted revision, clarification, and dissemination of role descriptions for all stakeholders.

평가 사이클을 거치며, 이해 당사자들은 신중하게 탐색하던 것에서 평가 역할과 책임을 공동으로 개발하고 개선하는 것으로 전환했습니다. 대부분의 혼란과 그에 따른 역할 수정은 [지도 교수의 역할]과 [역량 위원회의 의사 결정 과정]에 집중되었다. 예를 들어, 한 지도교수가 설명했듯이, "지도교사는 코칭, 멘토링, 평가의 모호한 모델을 가지고 있고, 그것들이 항상 맞물리는 것은 아니다." 게다가, 역량 위원회 과정의 내적 업무를 반성해 보라는 질문에 위원들은 "일반적으로 배우는 과정이었다"라고 매우 분명하게 말했다.
Through the evaluation cycles, stakeholders transitioned from cautiously navigating to co-developing and refining assessment roles and responsibilities. Most confusion and subsequent role-revision centered around the role of the academic advisor and the decision-making processes of the competence committee. For example, as one academic advisor explained, “the academic advisors have a blurred model of coaching, mentoring, and evaluating, and they don’t always mesh.” Further, when asked to reflect on the inner working of competence committee processes, members were very clear that “it’s generally a learning process.”

논의
Discussion

우리는 [구현의 충실도를 조사]하고 [개별 프로그램 수준에서 CBME의 구현 후 단기 성과를 평가]하기 위한 [신속 평가]의 사용에 대해 설명하였다. 이론적으로 CBME 모델을 채택하는 데 장점이 있지만, 퀸스 대학교 맥락에서 운영상의 과제는 성공적인 구현을 위협했다. 여러 이해관계자 그룹의 관점을 고려하고 초기 설계에 대한 적응을 구현하는 과정에서, 우리는 몇 가지 중요한 교훈을 배웠다.
We have described the use of Rapid Evaluation to examine the fidelity of implementation and evaluate the short-term outcomes post-implementation of CBME at the individual program level. While in theory there is merit to adopting a CBME model,1 operational challenges in the Queen’s University context threatened successful implementation. In considering the perspectives of multiple stakeholder groups, and implementing adaptations to our initial design, we have learned several important lessons.

레슨 1: CBME의 실제 구성 요소를 구현하는 것은 "단거리"입니다.
Lesson 1: Implementing the practical components of CBME is the “sprint”

CBME를 계획하고 구현하는 초기 단계에서는 [구조]에 초점을 맞췄습니다. CBME의 모든 실용적이고 기능적인 측면을 어떻게 배치하여 시스템이 가동되도록 할 것인가? [핵심 부품을 지탱할 수 있는 구조를 갖추는 것]은 최소한의 조치였습니다.

• 필수적인 구조에는 [테크놀로지, 교육 지원 및 프로그램 챔피언]이 포함되었습니다.
• 변화를 구현하기 위해서는 [데이터 시각화를 갖춘 전자 포트폴리오], [평가 및 평가에 대한 교육 전문성], CBME 구현에 대한 [기관 및 프로그램 수준의 리더십]이 필요했다.

In the early stages of planning for and implementing CBME, the focus was on structure: how were we going to get all the practical and functional aspects of CBME in place so that the system got up and running? Having structures in place to support the core components was the bare minimum.

• Essential structures included technology, educational support, and program champions. An electronic portfolio with data visualization, educational expertise in assessment and evaluation, and institutional and program-level leadership in CBME implementation were needed to implement change.

그러나 우리는 CBME가 "완전히 제대로 작동up and running" 되어 있다고 해서 시스템이 기능적이거나 의도된 목표를 즉시 달성한다는 것을 의미하지는 않는다는 것을 배웠다. 프로그램적 평가를 지원하는 구조를 갖추고 있음에도 불구하고, 우리의 평가 시스템은 건설적인 피드백을 문서화하는 데 교수진의 망설임으로 인해 제한되었다. 이렇게 되면, 역량 위원회의 증거 정보에 근거한 의사결정이 훼손될 수 있다.33 지속적인 학습 및 진행/진급 의사결정에 대한 지침은 그러한 의사결정이 이루어진 근거만큼만 타당하다.34 정직한 평가와 건설적인 피드백을 제공하는 데 대한 도전은 새로운 것이 아니며, 35,36 우리는 CBME의 구현과 함께 기존의 어려움이 사라질 것이라고 기대하지 말아야 한다. [교수 개발을 위한 독특한 전략], [EM 부서의 헌신적인 교수 평가관], 또는 [시뮬레이션 환경에서의 더 빈번한 평가]가 일선 평가의 타당성 및 신뢰성을 높이는 데 도움이 될 수 있다.

We have learned, however, that just because CBME is “up and running” doesn’t mean that the system is functional or achieving the intended aims immediately. Despite having structures in place to support programmatic assessment, our system of assessment was limited by faculty members’ hesitation to document constructive feedback. When this occurs, evidence-informed decision making by the competence committee may be undermined.33 Guidance for ongoing learning and progress/promotion decisions are only as good as the evidence upon which they are made.34 The challenges with providing honest assessment and constructive feedback are not new,35,36 and we should not have expected them to disappear with the implementation of CBME. Unique strategies for faculty development, dedicated faculty assessors in the EM department, or more frequent assessment in simulated settings may have been of benefit to increase the validity and reliability of frontline assessment.

2과: CBME의 핵심 구성 요소를 실현하는 것이 "마라톤"입니다.
Lesson 2: Realizing the core components of CBME is the “marathon”

변화는 어렵고, 변화를 지속하는 것은 훨씬 더 어렵다. 37 CBME 구현에서 환원주의를 좌절시키는 것은 지속적인 노력이 필요하다. 1,38 우리의 연구 결과는 개별 EPA와 이정표의 고립된 평가에서 우리가 ["나무를 위해서 숲"을 위험에 빠뜨릴 수 있음]을 시사한다. 이정표와 EPA가 관찰 가능한 성능 정보(예: EPA C1: "중증 환자를 위한 소생 및 조정 관리"24)를 제공할 수 있더라도, 우리의 교수진과 전공의들은 [목표 EPA 중심 평가]에만 초점을 맞추라고 요청했을 때, [전체적인 평가]가 놀라울 만큼 부재하다는 것을 알게 되었다. "전반적으로 일이 어떻게 진행되고 있는지"에 대해서 [로테이션 종료 시에  평가를 매개로 하여 오랜 시간 동안 하는 디스커션]이 과거에 생각했던 것보다 더 가치 있는 것으로 입증되었습니다. 교수진이 [개별적인 이정표와 EPA의 달성]에 대한 판단을 내리는 데 초점을 맞추면서, 우리는 [더 큰 그림을 뒷받침하는 증거를] 위태롭게 했을 수도 있다. 
Change is difficult, and sustaining change is even more challenging.37 Thwarting reductionism in CBME implementation requires sustained effort.1,38 Our findings suggest that in the isolated assessment of individual EPAs and milestones we may be risking the “forest for the trees.” Even if milestones and EPAs can provide observable pieces of performance information (e.g., EPA C1: “Resuscitating and coordinating care for critically ill patients”24), our faculty and residents perceived a notable absence of overall evaluation when asked to focus on targeted EPA-focused assessment only. The long-standing assessment-mediated end-of-shift discussions about “how things are going overall” proved to be more valuable than previously thought. With faculty focusing on making judgments about the achievement of individual milestones and EPAs, we may have been risking evidence supporting the bigger picture.

이 관찰이 EM-특이적 end-of-shift 전반적 평가의 리추얼ritual을 시사하는지, 아니면 여러 맥락에 걸쳐 통해 전이가능한지 여부는 아직 결정되지 않았다. 만족이 지연될 것으로 예상됨에 따라, 구현의 인식된 이점은 구현 후 몇 년이 지나야 명백해질 수 있으며, 우리 기관에서 CBME를 구현한 다른 사람들이 경험하게 될 것이다. 40 교직원과 전공의가 (교육적 지원 없이) 준거-참조적으로 건설적 피드백을 제공하고, 인식하고, 행동할 것으로 기대하는 것은 비현실적이다.41 이러한 기술은 목표화된 교육, 연습 및 피드백을 통해 개발된다.42 우리는 CBME가 우리 프로그램의 학습 문화를 그 자체로 변화시키지는 않겠지만 [지속적인 교수진과 전공의 개발]이 필요하다는 것을 배웠다.

Whether this observation suggests an EM-specific end-of-shift global assessment ritual,39 or is transferrable across contexts, remains to be determined. With expected delayed gratification, the perceived benefits of our implementation may not be apparent until several years post-implementation, as experienced by others who have implemented CBME at our own institution.40 Expecting faculty and residents to provide, recognize, and act upon criterion-referenced constructive feedback––without educational support––is unrealistic.41 These skills are developed through targeted instruction, practice, and feedback.42 We have learned that CBME will not change the culture of learning in our program by itself but will require persistent faculty and resident development.

레슨 3: 진행 중인 변화를 식별, 모니터링 및 평가하기 위해 신속한 평가를 사용하는 것이 가치 있습니다.
Lesson 3: There is value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change

CBME 구현을 평가하기 위한 발달적 접근 방식인 우리의 [신속 평가 모델]은 [혁신을 문서화]하고, 지속적인 프로그램 개선을 지원하기 위한 [실시간 증거를 생성]하는 가치 있는 전략이었다. 또한 프로그램 참가자들은 포커스 그룹을 통해 [CBME와 경험을 논의할 기회]를 중시했으며, 피드백이 진행 중인 변화에 어떻게 inform하는지에 대한 업데이트를 받아보는 것에 관심이 있었다. 프로그램 이해관계자가 현장에서 작동하는(혹은 작동하지 않는) 것을 공유할 기회가 주어지면, 지속적인 프로그램 개선 과정에 참여자로서 점점 더 많은 투자invested를 받게 된다.43 이러한 모멘텀은 이해관계자의 [변화를 지속하려는 열의]가 흐려지면서 생기는 [구현 후 사기의 저하dip]를 완화하기 위해 결정적이었다. .9
Our model of Rapid Evaluation, as a developmental approach to evaluating CBME implementation, has been a worthwhile strategy for documenting innovation and generating real-time evidence to support ongoing program improvement. Further, our program participants valued the opportunity to discuss their experiences with CBME during focus groups and were interested in receiving updates as to how their feedback was informing ongoing change. When program stakeholders are given the opportunity to share what’s (not) working on the ground, they become increasingly invested as participants in the process of ongoing program improvement.43 This momentum was crucial for mitigating the inevitable post-implementation dip in morale where stakeholders’ enthusiasm for staying the course of change started to fade.9

제한 사항
Limitations

이 연구는 몇 가지 한계를 가지고 있다. 이 프로그램은 모든 레지던트 프로그램에서 동시에 CBME를 구현하는 조직 내에 내포되어 있기 때문에 이 연구가 수행된 컨텍스트가 유일할 수 있다는 것이 일차적인 제한이다. 게다가, 이 연구는 한 기관에서 한 가지 전문분야에만 초점을 맞췄다. 결과적으로, 우리의 연구 결과는 전이 가능성에 제한될 수 있다. 또 다른 한계는 데이터 수집이 직접 관찰이 아닌 주로 인터뷰에 기반했다는 것이며, 따라서 보고된 내용과 수행 중인 내용 사이에 차이가 있을 수 있다는 것이다. 또한, 연구팀의 단 한 명의 구성원이 인터뷰를 조정하고 데이터를 분석했음에도 불구하고, 여러 차례의 데이터 수집과 참가자들과의 구성원 확인 데이터가 조사 결과의 신뢰도를 높이는 데 도움이 되었다. 마지막으로, 지속적인 데이터 수집에 중점을 둔 신속한 평가는 리소스 집약적인 경향이 있으므로 다른 프로그램이 이 접근 방식을 채택하는 것이 어려울 수 있다.

This study has several limitations. The primary limitation is that the context in which this study took place may be unique, since this program is nested within an organization implementing CBME concurrently across all residency programs. Further, this study only focused on one specialty, at one institution. Consequently, our findings may be limited in their transferability. Another limitation is that the data collection was based primarily on interviews, not direct observations, and as such there may be a gap between what was reported and what was being done. As well, even though a single member of the research team moderated the interviews and analyzed the data, multiple rounds of data collection and member checking data with participants helped to increase the credibility of the findings. Lastly, Rapid Evaluation, with its emphasis on collecting data on an ongoing basis, tends to be resource intensive and so it may prove challenging for other programs to adopt this approach.

결론들
Conclusions

[신속한 평가]를 통해, [프로그램 수준]에서 [CBME를 구현한 실제 경험]을 탐색하는 것은 구현의 충실도, 구현 후 초기 결과 및 CBME 운영의 성공과 과제에 대한 중요한 초기 통찰력을 제공하였다. 신속한 평가를 사용하여 식별, 모니터링 및 이해관계자의 변화에 대한 저항을 완화하고 코스를 유지하려는 열정을 자극하는 결정적인 이점을 가지고, 진행 중인 변경 후 평가를 실시한다. CBME의 핵심 실용적 요소를 구현하는 것은 스프린트로 인식되었고, 대학원 훈련에서 CBME의 원리를 깨닫고 문화를 바꾸는 것은 분명히 마라톤이다. 이 장기적인 목표를 위해서는 심층적인 시스템 변화에 대한 진화적 적응 과정에서 지속적인 교수진과 주민 개발을 포함한 지속적인 노력이 필요할 것이다.

Exploring the lived experience of implementing CBME at the program level with Rapid Evaluation has provided critical early insights regarding the fidelity of implementation, early outcomes post-implementation, and the successes and challenges of operationalizing CBME. There was great value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change post-implementation, with a crucial benefit of mitigating the stakeholders’ resistance to change and spurring enthusiasm for staying the course. Implementing the core practical components of CBME was perceived as a sprint, while realizing the principles of CBME and changing culture in postgraduate training is clearly a marathon. This long-term goal will require sustained effort, including persistent faculty and resident development in the process of evolutionary adaptation toward deep systems change.

비판적 '보기'를 향하여: 비판적 페다고지의 영향에 대한 베이지안 분석(Adv Health Sci Educ Theory Pract. 2022)
Toward ‘seeing’ critically: a Bayesian analysis of the impacts of a critical pedagogy
Stella L. Ng1,2,8 · Jeff Crukley2,3 · Ryan Brydges4,6,8 · Victoria Boyd5,8 · Adam Gavarkovs5,8 · Emilia Kangasjarvi6 · Sarah Wright7,8 · Kulamakan Kulasegaram7,8 · Farah Friesen1 · Nicole N. Woods7,8

방법들
Methods

연구 설계 개요
Overview of study design

이 연구는 토론토 대학 연구 윤리 사무소에 의해 승인되었고, 캐나다 토론토에서 수행되었다. 우리는 비판적 성찰, 반사성 및 비판적 교육학의 이론과 첫 번째 저자와 동료의 교재 및 장학금에 기초하여 단일 교수 및 학습 세션을 개발했다(Kinsella et al., 2012; Ng, 2012; Ng et al., 2015a, b; Pelan & Ng, 2015; Halman et al., 2017; Baker et al., 2018; Ng, 2018; 2018; 2018; Et. 2020). 그 효과를 시험하기 위해, 우리는 그림 1과 같이 단순히 즉각적인 지식 습득과 보존을 시험하는 것이 아니라, [후속/미래 경험으로의 학습 전이]를 시험하기 위한 확립된 교육 연구 설계를 채택했다.

The study was approved by and complied with the University of Toronto Office of Research Ethics and took place in Toronto, Canada. We developed a single teaching and learning session based on theories of critical reflection, reflexivity, and critical pedagogy, and on the teaching materials and scholarship of the first author and colleagues (Kinsella et al., 2012; Ng, 2012; Ng et al., 2015a, b; Phelan & Ng, 2015; Halman et al., 2017; Baker et al., 2018, 2020; Ng et al., 2018, 2020). To test its effectiveness, we employed an established education research design meant to test the transfer of learning to subsequent/future experiences, rather than simply test immediate knowledge acquisition and retention, as outlined in Fig. 1.

이 설계는 참가자들이 [비판적 페다고지 학습 경험]에 대한 교육적 노출 후, [새로운 학습 경험에 참여하거나 보는 방법을 가시화]하도록 의도했다. 제어 및 개입 조건의 참가자들은 SDoH에 대한 온라인 모듈을 완성하고, 이어서 비판적으로 반사되는 대화 또는 추가적인 SDoH 토론과 같은 다양한 지침 노출이 뒤따랐다. 그런 다음, 두 조건의 참가자들은 우리의 결과 평가 역할을 하는 두 개의 공통 학습 세션을 경험했다. 하나는 [교육 노출 직후]이고, 다른 하나는 [초기 교육 후 일주일 뒤]이다. 이 두 가지 공통 경험은 관심의 결과를 측정할 수 있게 했다.
This design intended to make visible how participants engage with, or see, a new learning experience following their instructional exposure to the critical pedagogical learning experience. Participants in the control and intervention conditions completed an online module about SDoH, followed by different instructional exposures: either a critically reflective dialogue or further SDoH discussion. Then, participants in both conditions experienced two common learning sessions that served as our outcome assessment, one immediately after the instructional exposure and another one-week after the initial training. These two common experiences enabled measurement of the outcomes of interest.

교재
Teaching materials

본 연구에 사용된 교재는 표 1에 요약되어 있다. 여기에는 SDoH에 대한 [온라인 모듈(통제 및 개입 조건 모두)]과 [후속 SDoH 토론(통제) 및 비판적 반영 대화(개입)]를 위한 가이드가 포함되었다. 온라인 홈케어 커리큘럼과 홈케어 커리큘럼을 따르기 위한 보고 가이드가 결과 측정치를 생성하는 공통 학습 리소스 역할을 했습니다.
The teaching materials used in this study are summarized in Table 1. They included an online module on SDoH (for both control and intervention conditions) and guides for the follow-up SDoH discussion (control) and for the critically reflective dialogue (intervention). An online homecare curriculum and a debriefing guide to follow the homecare curriculum served as the common learning resources that generated the outcome measures.

참가자
Participants

토론토 대학 MD 프로그램의 첫 2년(n = 31), 혼합 학위 배경의 학생들이 있는 4년 학부 사전 교육 서비스 학습 과정(n = 18), 석사 수준의 직업 치료의 첫 해(n = 6), 물리 치료(n = 6) 및 sp에서 전문 간 학생 그룹(n = 75)을 모집했다.e-언어 병리학(n = 10), 치과, 약학, 물리치료 보조 및 방사선 치료 프로그램 학생(n = 4). 우리는 그들이 가질 수 있는 공식적인 보건직 교육 및 임상 실습 노출의 양을 최소화하기 위해 임상 전 및 초학년 학생들을 선택했다.
An interprofessional group of students (n = 75) were recruited from: the first two years of the University of Toronto MD program (n = 31), a fourth-year undergraduate pre-clinical service-learning course with students of mixed degree backgrounds (n = 18), the first year of master’s level occupational therapy (n = 6), physical therapy (n = 6) and speech-language pathology (n = 10), and one student from dentistry, pharmacy, physiotherapy assistant, and radiation therapy programs (n = 4). We chose pre-clinical and early year students to minimize the amount of formal health professions education and clinical practice exposure they would have had.

참가자는 5명씩 16개 그룹에 배정되어 각 그룹별로 다원화된 학생 수를 확보하여 전문 간 학습을 가능하게 하였다. 8개 그룹은 통제 조건에 랜덤하게 할당되었고 8개 그룹은 개입 조건에 랜덤하게 할당되었습니다. 우리는 80명의 참가자를 대상으로 연구를 시작했지만, 5명의 참가자(제어 조건의 2명, 개입 조건의 3명)는 연구 외부 요인(예: 날씨 조건)으로 인해 참여 전에 중단되었다.
Participants were assigned to sixteen groups of five, ensuring a multiprofessional complement of students per group to enable interprofessional learning. Eight groups were randomly assigned to the control condition and eight to the intervention condition. We began the study with 80 participants but five participants—2 from the control condition and 3 from the intervention condition—dropped out prior to participation due to factors external to the study (e.g. weather conditions).

절차들
Procedures

연구 조정자는 학생들에게 동의하고 데이터 수집 세션의 관리 요소를 관리했습니다. 통제 및 개입 참가자 모두 짧은 SDoH 커리큘럼 온라인 모듈을 완료했습니다. 5명의 참가자로 구성된 각 그룹은 컴퓨터 실험실에서 각자의 속도로 이 SDoH 온라인 모듈을 완료했으며, 각 그룹은 개인 정보 보호를 위해 헤드폰을 사용했으며, 방해 요소가 없도록 하기 위해 연구 조정자가 참석했습니다.
A research coordinator consented students and managed administrative elements of the data collection sessions. Both control and intervention participants completed a short SDoH curriculum online module. Each group of five participants completed this SDoH online module in a computer lab, each at their own pace using headphones for privacy, with a research coordinator present to ensure no distractions.

5명으로 구성된 동일한 그룹들에 대해, 학습은 참가자들이 [SDoH 토론(통제)] 또는 [비판적 성찰적 대화(개입)]로 진행됨에 따라 분산되었다. 모든 세션은 작은 학생 라운지에서 진행되었으며, 의자를 원형으로 배치하고, 토론/대화 진행자가 참가자들과 함께 앉았습니다. 이러한 디테일은 교사-학습자 계층 구조를 최소화하고 공개적으로 도전하는 가정에 도움이 되는 학습 환경을 강조하는 비판적 교육학 접근 방식과 일치한다. [SDoH 세션]은 반구조화 촉진 가이드("부록 1")를 사용했다. [비판적 성찰 세션]에만 텔레비전 화면을 노트북에 연결하여 서포트 슬라이드를 보여주었다(부록 2). 참가자들은 이 세션 동안 음식과 음료가 제공되었습니다. 통제와 개입 조건은 모두 1시간 동안 지속되었다. 세션은 음성으로 녹음되었고 나중에 문자로 기록되었다. 진행자들은 둘 다 석사 학위를 가지고 있었고 첫 번째 저자에 의해 세션을 운영하도록 훈련 받았습니다. 개별 촉진 스타일의 교란 변수/요인을 최소화하기 위해 [SDoH 토론 세션]과 [비판적 성찰 대화 세션]의 퍼실리테이터는 데이터 수집의 중간 지점에서 역할을 교환했다. 또한 잠재적인 영향을 설명하기 위해 퍼실리테이터를 분석에 포함시켰습니다.

In their same groups of five, learning then diverged as participants proceeded to either a SDoH discussion (control) or critically reflective dialogue session (intervention). All sessions were completed in a small student lounge, with chairs set up in a circle, with the discussion/dialogue facilitator seated along with participants. These details align with a critical pedagogy approach in which the teacher-learner hierarchy is minimized and a learning climate conducive to openly challenging assumptions is emphasized. The SDoH session used a semi-structured facilitation guide (“Appendix 1”). A television screen was connected to a laptop to project supporting slides for the critical reflection session only (“Appendix 2”). Participants were provided with food and beverage during these sessions. Both the control and intervention conditions were one-hour in duration. Sessions were audio-recorded and later transcribed verbatim. The facilitators both held master’s degrees and were trained to run their sessions by the first author. To minimize the confounding variable/factor of individual facilitation styles, the facilitators for the SDoH discussion and critically reflective dialogue session switched roles at the halfway point of data collection. We also included facilitator as a factor in the analysis to account for any potential effects.

SDoH 토론 또는 비판적으로 반성하는 대화를 마친 후, 참가자들은 작은 회의실에서 같은 그룹 내에서 다시 모이기 전에 10분간의 짧은 휴식 시간을 가졌다. 이 설정에는 참가자와 진행자를 위한 테이블과 학습 리소스인 CACE 홈케어 커리큘럼을 표시하는 텔레비전 화면이 포함되었습니다. 세 번째 진행자가 홈케어 커리큘럼과 결과를 운영했습니다. 우리의 목표는 참가자들이 홈케어에 대해 배웠는지 또는 SDoH를 홈케어 환경에 적용했는지 여부를 결정하는 것이 아니었다. 대신, 우리의 목표는 홈케어 커리큘럼에 이어진 디브리핑을, (SDoH 토론 참여자에 비해) [비판적 성찰 대화 세션이 참가자]들이 커리큘럼과 디브리핑 중에 [어떤 주제에 대해 이야기했는지]와 [이 때 그들이 어떻게 이야기했는지(비판적 성찰적 방식인지 또는 그렇지 않은지)]를 밝혀내기 위해 이용했다. 참가자들은 환자 사례 모듈에 직접 관여하는 것처럼 행동하도록 지시 받았습니다. 각 그룹은 진행자의 안내에 따라 커리큘럼에서 "아미타"(치매 중시) 또는 "안네"(델리륨 중시)를 35분짜리 모듈로 완성했다. 그 세션은 음성녹음되고 문자 그대로 녹음되었다.

After completing the SDoH discussion or critically reflective dialogue sessions, participants were given a brief 10-min break before reconvening within the same groups in a small conference room. The setup included a table for participants and facilitator, and television screen to display the learning resource, the CACE Homecare Curriculum (http://www.capelearning.ca). A third facilitator ran the homecare curriculum and debriefs. Our aim was not to determine whether the participants learned about homecare or applied SDoH to the homecare context. Instead, we used the homecare curriculum followed by a debrief to uncover whether the critically reflective dialogue session, relative to the SDoH discussion, influenced what topics participants talked about during the curriculum and debrief, as well as how they talked during these experiences (in a critically reflective manner, or not). Participants were instructed to act as though they were directly involved in the patient case module. Each group completed one 35-min module from the curriculum—either “Amrita” (dementia-focused) or “Anne” (delirium-focused)—with the facilitator’s guidance. The sessions were audio-recorded and transcribed verbatim.

그런 다음 진행자는 홈케어 커리큘럼을 완료하는 즉시, 그룹 내에서 참가자들과 함께 30분 동안 디브리핑을 가이드했다. 촉진자는 시뮬레이션에 관한 우수성 증진 및 성찰적 학습(PEARLS)에서 얻어진 디브리핑 스크립트를 사용하도록 교육받았다(「부록 3」 참조). 이 보고에서 참가자들은 홈케어 커리큘럼에 대한 경험, 고령자의 상황과 필요성에 대한 생각, 학습한 주요 교훈에 대해 논의하였다. 그 보고 내용은 음성으로 녹음되어 그대로 녹음되었다. 홈케어/브리프 진행자 또한 석사 학위를 가지고 있었고, 첫 번째 저자에 의해 교육을 받았고, 각 그룹의 조건 할당에 눈이 멀었다.
The facilitator then guided a 30-min debriefing with participants, within their groups, immediately after completing the homecare curriculum. The facilitator was trained to use the Promoting Excellence and Reflective Learning in Simulation (PEARLS)-informed (Eppich & Cheng, 2015) debriefing script (see "Appendix 3"). The debrief prompted participants to discuss their experience of the homecare curriculum, thoughts on the older adults’ situations and needs, and key lessons learned. The debriefing was audio-recorded and transcribed verbatim. The homecare/debrief facilitator also held a master’s degree, was trained by the first author, and remained blinded to each group’s condition assignment.

1주일 후, 참가자들은 그룹별로 후속 홈케어 커리큘럼 모듈을 완료하고, 이전 세션에서 확인된 효과가 지속되거나 변경되었는지 확인하기 위한 보고를 완료하도록 했다. 모든 참가자가 다른 환자 사례 모듈(암리타 모듈을 받은 경우 이제 앤을 받았고, 그 반대도 마찬가지)을 완료한 후 유사한 구조화된 결과 보고(부록 3")를 작성했다. 세션과 브리핑은 녹음되고 녹음되었다.
One week later, participants were brought back in their groups to complete the follow-up homecare curriculum module plus debrief to determine if any effects identified in the previous session persisted or changed. All participants completed another patient case module (if they received the Amrita module, they now received Anne, and vice versa) followed by a similarly structured debrief (“Appendix 3”). The sessions and debriefs were audio-recorded and transcribed.

코딩
Coding

통제(SDoH 토론) 및 개입(비판적 반영 대화) 세션에서 5명의 전문가 간 학습자의 각 그룹 및 가정 관리 커리큘럼 세션과 교육 후 즉시 디브리핑에 대한 분석이 수행되었다.
Analysis was performed on each group of five interprofessional learners’ transcripts from the control (SDoH discussion) and intervention (critically reflective dialogue) sessions, as well as the homecare curriculum sessions and debriefs immediately post-instruction and at follow-up.

코딩 전, [의미 단위]를 생성하여, 이후에 어떤 코드를 어떻게 적용했는지와 두 코더가 동일한 텍스트 세그먼트를 코딩했는지에 대한 텍스트 양과 유형의 일관성을 보장하였다. [의미 단위]는 다음과 같이 생성되었습니다. 각 필사본 내에서, [참가자에 의한 모든 고유한 발화(유일한 발화의 경계가 화자의 변화에 의해 결정됨)]는 그것이 특정 배제 기준(퍼실리테이터의 발언, 중립적 긍정)을 충족하지 않는 한 의미 단위로 라벨링되었다. 내용에 대한 추가 설명이 없는 모듈(예: "이 모듈은 재미있다", 참가자의 프로그램/연도에 대한 질문에 대한 응답 또는 명확한 질문(진행자가 질문을 하고 참가자가 설명을 요구하며 아무런 의미도 추가하지 않은 진술) 모든 의미 단위는 적어도 하나의 what code와 하나의 how code로 코딩될 준비가 되었다.

Before coding, meaning units were created, to ensure consistency in the amount and type of text to which what and how codes were subsequently applied, and that our two coders coded the same segments of text. Meaning units were created as follows. Within each transcript, every unique utterance by a participant (the boundaries of a unique utterance were determined by change in speaker) was labelled as a meaning unit, unless it met the exclusion criteria of: facilitator comments, neutral affirmations (mhmm, etc.), responses to homecare module quiz questions, responses about the quality of the module with no additional comment about content (e.g. “This module is fun”), responses to questions about participants’ program/year, or clarifying questions (facilitator asks a question and participant asks for clarification, and statements that added no meaning). Every meaning unit was then ready to be coded with at least one what code and one how code.

[what 코딩 프레임워크]를 만들기 위해 두 명의 연구원 VB(공동 저자)와 첫 번째 저자는 처음에 8개의 설명 코드와 "no code" 코드와 각 코드에 대한 관련 설명으로 합의된 집합에 도달하기 위해 전사들을 유도적으로 코딩했다. 그들은 더 이상의 변경 없이, 의미 단위의 주제에 이름을 붙이기 위해 엄격하게 적용될 수 있을 때까지 반복적으로 코드를 정의했다. 코딩 프로세스를 지원하기 위해 사용된 하위 코드가 있었지만, 통계 분석에는 상위 레벨 코드만 사용되었습니다.
To create the what coding framework, two researchers VB (co-author) and the first author, initially coded transcripts inductively to arrive at an agreed upon set of eight descriptive codes plus a “no code” code and associated descriptions for each code. They iteratively defined codes until they could be applied strictly to name the topic of meaning units, without further changes. While there were sub-codes used to assist the coding process, only the higher-level codes were used in our statistical analyses.

[how 코딩 프레임워크]의 경우, 다음 정의를 사용하여 데이터를 [비판적으로 성찰하거나 비판적으로 성찰하지 않는 방식]으로 코딩했다. 

For the how coding framework, the following definition was used to code data as critically reflective, or not.

[비판적 성찰]로 코드화된 의미 단위는 다음과 같다.

• 지배적인 담론을 넘어서는 경우(예: 장애의 의학적 모델과 반대되는 사회적 모델에 대해 논의)
  
• 개인 또는 사회적 가정/문제에 의문을 제기한다.(예: 장애아를 위해 학교가 하는 일에 대한 권한이 있다는 임상의의 믿음)
  
• 더 광범위한 시스템과 그 위치에 대한 인식을 보여준다(예: 개인 지원 종사자가 규제 보건 전문가와 관련된 자원과 교육 기회가 부족할 수 있음을 인지한다).
  
• 구조에 질문 하거나 도전한다 (예: 홈케어에 대한 현재 자금조달 접근방식이 가능한 관행을 제한하는지 여부 질문) 및
  
• 유해한 실천에 저항한다(예: 관련 사항을 알아차린 경우 크게 말함). (Ng et al., 2019a, b) 

[비판적 성찰이 아닌 것]으로 코드화된 의미 단위는 다음과 같다.

• 중립적인 설명,
  
• 좁은 시야(예: 낙인찍는 언어를 통해 설명됨),
  
• 절차 또는 단계를 무조건 따르거나 묘사함
  
• 환자/간병인/보건 종사자를 비난하거나 비호하는 행위

Meaning units coded as critically reflective were statements that:

• move beyond a dominant discourse (e.g. discuss a social model as opposed to medical model of disability),
• question individual or societal assumptions/beliefs (e.g. a clinician’s belief that they have authority over what a school does for a child with disability),
• demonstrate awareness of the broader system and how one is situated (e.g. recognize that personal support workers may lack resources and training opportunities relative to a regulated health professionals),
• question or challenge structures (e.g. question whether current funding approaches for homecare are limiting possible practices), and
• resist harmful practices (e.g. speak up if noticing something concerning) (Ng et al., 2019a, b). 

Meaning units coded as not critically reflective were:

• neutral descriptions,
• narrow views (e.g. illustrated through stigmatizing language),
• rote following/description of procedures or steps,
• blaming or patronizing the patient/caregiver/health worker.

두 개의 블라인드 코드(VB, 공동 작성자 및 LN, 인정됨)는 이러한 코드를 스크립트에 적용하도록 훈련되었다. 우리는 코더가 코드를 일관되게 적용하도록 보장하기 위해 8개의 필사본에 대한 평가자 간 합의를 계산했다. what 코드의 경우 원시raw 평가자 합의가 95.9%, how 코드의 경우 82.1%였다. 우리는 이것이 두 개의 코더가 독립적으로 진행하기에 충분하다고 판단했고, 후속 스크립트는 각각 하나의 코더로만 코딩되었다.
Two blinded coders (VB, co-author and LN, acknowledged) were trained to apply these codes to the transcripts. We calculated the inter-rater agreement on eight transcripts to ensure the coders applied the codes consistently. For what codes, raw rater agreement was 95.9%; for how codes it was 82.1%. We determined that this was sufficient to allow the two coders to proceed independently, and subsequent transcripts were only coded by one coder each.

통계분석
Statistical analysis

우리는 이 연구의 목표에 따라 분석을 수행했다. 즉, 비판적 성찰을 위한 가르침이 미래의 학습 경험 동안 학생들이 말하는 것과 그것에 대해 어떻게 말하는지에 영향을 미쳤는지 조사하기 위해서였다. 따라서, 우리는 두 개의 [회귀 모델]을 구성했는데, 하나는 각 의미 단위에서 [what 코드의 존재를 모델링]하는 것이고, 하나는 각 의미 단위에서 [how 코드의 존재를 모델링]하는 것이다.

We conducted our analysis in accordance with the aims of this study: to investigate whether teaching for critical reflection influenced what students talked about during a future learning experience and how they talked about it. Thus, we constructed two regression models, one to model the presence of a what code in each meaning unit and one to model the presence of a how code in each meaning unit.

패러다임적으로 정렬된 측정과 분석이 이 연구에 결정적이었다. 우리는 베이지안 프레임워크에서 모델을 구성, 테스트 및 선택하였다. 다음은 우리의 정당성입니다. [빈도주의 추론]은 효과가 없을 경우 관측된 데이터의 집합이 얼마나 확률적일지에 대한 질문을 다룬다. 우리는, 본질적으로 [베이지안 질문]인, 우리의 개입의 결과로 코드가 의미 단위에 존재할 가능성이 얼마나 높은지에 대한 질문을 다루는 데 특히 관심이 있었다. [베이지안 추론]은 불확실성을 직접 정량화한다. 모수 추정치의 확률, 차이, 그리고 그러한 추정치의 불확실성에 대한 추정치를 제공하고, 따라서 도출된 결론을 제공한다. [베이지안 추론]은 수집된 데이터를 '고정fixed'으로 취급하고 [모델과 매개 변수]는 관찰된('고정') 데이터를 설명하려는 '변화' 시도로서 취급하는 동시에 모델과 매개 변수 불확실성을 정량화한다. 의학 교육의 일부 사람들은 사전 지식에 의해 정보를 얻은 분석을 통해 데이터의 이야기를 표현하기 위한 불완전한 최상의 시도로 모델을 포지셔닝하는 방법에 대해 베이지안 통계를 구성주의 기반 이론과 비교했다(Young et al., 2020). 베이지안 통계에 대한 세부 정보, 특히 사후 분포에 대한 세부 정보를 보려면 McElreath(2020)를 권장한다. 모든 모델은 R 통계 컴퓨팅 소프트웨어(R Core Team, 2019)의 rstan(Stan Development Team, 2020) 및 brms(Burkner, 2017, 2018) 패키지를 통해 Stan 프로그래밍 언어(Carpenter et al., 2017)를 사용하여 구성되었다.

Paradigmatically aligned measurement and analyses were crucial to this study. We constructed, tested, and selected our models under a Bayesian framework. The following are our justifications. Frequentist inference addresses the question of how probable a set of observed data would be if there were no effect. We were specifically interested in addressing the question of how likely a code would be present in a meaning unit as a result of our intervention, which is an inherently Bayesian question. Bayesian inference directly quantifies uncertainty. It provides estimates of the probability of parameter estimates, their differences, and the uncertainty in those estimates and thus any conclusions drawn. Bayesian inference treats the gathered data as ‘fixed’ and models and their parameters as ‘varying’ attempts to explain the observed (‘fixed’) data, while quantifying the model and parameter uncertainty. Some in medical education have compared Bayesian statistics to constructivist grounded theory for the way in which it positions models as imperfect best attempts at representing the story of the data, with analyses informed by prior knowledge (Young et al., 2020). For details on Bayesian statistics, particularly details on the posterior distribution, we recommend McElreath (2020). All models were constructed using the Stan programming language (Carpenter et al., 2017) through the rstan (Stan Development Team, 2020) and brms (Burkner, 2017, 2018) packages in R statistical computing software (R Core Team, 2019).

우리는 [계층적 다항식 회귀 모델]을 사용하여 what 코드에 대한 예측 확률을 모델링했다. 의미 단위는 우리의 귀납적 코딩 프레임워크에 기초하여 9개의 코드 중 하나 또는 전부를 포함하는 것으로 분류되었다. 사전 지식, CanMED 역할, 보호자, 전문적 전문 지식, 환자, 환자-심리 사회, 실천에 대한 권고 사항, 건강의 사회적 결정 요소 또는 (8개의 주요 코드 중 어느 것과도 관련성이 결여되어 있어서) 코드화 가능한 집합에 남아 있는 의미 단위에 대한 코드가 없다. 이러한 코드의 정의는 부록 4의 코드북에 포함되어 있다. 이 모델의 인구 수준 효과에는 조건(제어 또는 개입), 세션(초기 지침, 초기 홈케어, 초기 보고, 후속 홈케어, 후속 홈케어, 후속 보고), 촉진자(조정자 1 또는 조정자 2)가 포함되었다. 또한 code*condition, code*session, condition*session 및 Facilitator*session에 대한 상호 작용 항도 포함했습니다. SDoH 토론 그룹(대조군 참여자용) 또는 비판적 반영 대화 그룹(개입 참여자용)은 각 5인 그룹 내 의미 단위의 군집화를 조정하기 위한 다양한 효과로 입력되었다. [통제 조건의 교육 세션에서 진행자 1이 한 것]이 "코드 없음"이 reference 케이스로 사용되었습니다. 우리는 회귀 계수에 대해 αi ~ N(0,1), βi ~ N(0,1), βi ~ 코시(0,e1)라는 다소 유익한 이전 사항을 사용했다. 
We modelled predictive probabilities of what codes with a hierarchical multinomial regression model. Meaning units were categorized as containing any or all of nine codes, based on our inductive coding framework: Building on prior knowledge, CanMEDS roles, caregiver, professional expertise, patient, patient-psychosocial, recommendations for practice, social determinants of health, or no code for meaning units that remained in the codable set despite lacking relevance to any of the eight main codes. The definitions of these codes are included in the codebook within "Appendix 4". Population-level effects in this model included condition (control or intervention), session (initial instruction, initial homecare, initial debrief, follow-up homecare, follow-up debrief), and facilitator (Facilitator 1 or Facilitator 2). We also included interaction terms for: code*condition, code*session, condition*session, and facilitator*session. SDoH discussion group (for control participants) or critically reflective dialogue group (for intervention participants) was entered as a varying effect to adjust for clustering of meaning units within each five-member group. The presence of “no code,” at the Instruction Session, in the Control Condition, with Facilitator One was used as the reference case. We used mildly informative priors on the regression coefficients: αi ~ N(0,1), βi ~ N(0,1), σi ~ cauchy(0, e1). 

우리는 파레토 평활화 중요도 샘플링 Leave-one-out 교차 검증(PSIS-LOO)(Vetari et al., 2016)을 사용하여 전체(계층적 모델)를 "빈"(절단 전용) 모델과 (같은 모집단 수준 효과를 가진) 비계층적 모델의 적합성을 평가하고 비교했다. 우리는 우리의 전체 모델이 (i) PSIS-LOO 예상 로그 예측 밀도(ELPD)가 1599.8(표준 오차 42.2)이고 (ii) ELPD가 93.9(표준 오차 13.3)인 비계층적 모델 모두에서 데이터에 상당히 더 적합하다는 것을 발견했다.
We used Pareto smoothed importance sampling leave-one-out cross-validation (PSIS-LOO) (Vehtari et al., 2016) to evaluate and compare the fit of our full (hierarchical model) to an “empty” (intercept-only) model, and a non-hierarchical model (with the same population-level effects) to the data. We found our full model to be a significantly better fit to the data relative to both

• (i) the intercept-only model, with a favorable difference in PSIS-LOO expected log predictive density (ELPD) of 1599.8 (with a standard error of 42.2), and
• (ii) the non-hierarchical model with an ELPD of 93.9 (with a standard error of 13.3).

[how 코드의 예측 확률]을 모델링하기 위해 계층적 이진 로지스틱 회귀 모델을 구성했다. 의미 단위는 이항적으로 임계 반사의 유무로 분류되었다. 이 모델의 모집단 수준 효과에는 조건(제어 또는 개입), 세션(지시, 초기 홈케어, 초기 홈케어, 후속 홈케어, 후속 홈케어, 후속 브리핑), 촉진자(조정자 1 또는 조정자 2)가 포함되었다. 또한 조건*세션 및 촉진자*세션에 대한 상호 작용 항도 포함했습니다. 어떤 모델과 마찬가지로 SDoH 토론 그룹(대조군 참여자용) 또는 비판적 반영 대화 그룹(개입 참여자용)은 5인 그룹 내 의미 단위의 클러스터링을 조정하기 위한 다양한 효과로 입력되었다. 제어 조건의 진행자 1과 함께 지침 세션이 참조 사례로 사용되었습니다. 우리는 회귀 계수에 대해 αi ~ N(0,1), βi ~ N(0,1), βi ~ 코시(0,e1)라는 다소 유익한 이전 사항을 사용했다.
To model the predictive probabilities of the how codes, we constructed a hierarchical binary logistic regression model. Meaning units were categorized binomially as either present or absent of critical reflection. Population-level effects in this model included condition (control or intervention), session (instruction, initial homecare, initial debrief, follow-up homecare, follow-up debrief), and facilitator (Facilitator 1 or Facilitator 2). We also included interaction terms for: condition*session and facilitator*session. As in the what model, SDoH discussion group (for control participants) or critically reflective dialogue group (for intervention participants) was entered as a varying effect to adjust for clustering of meaning units within five-member groups. The Instruction Session, in the Control condition, with Facilitator One, was used as the reference case. We used mildly informative priors on the regression coefficients: αi ~ N(0,1), βi ~ N(0,1), σi ~ cauchy(0, e1).

What 모델로 수행했듯이, PSIS-LOO를 사용하여 데이터에 대한 전체(계층적 모델)와 "빈"(절편 전용) 모델 및 (같은 모집단 수준 효과를 가진) 비계층적 모델의 적합성을 평가하고 비교했다. 우리는 우리의 전체 모델이 

• (i) 172.6(표준 오차 15.5)의 PSIS-LOO ELPD의 유리한 차이를 가진 절편 전용 모델과 
• (ii) ELPD 18.0(표준 오차 6.1)의 비계층적 모델 모두에 비해 데이터에 상당히 더 적합하다는 것을 발견했다.

As conducted with our what model, we used PSIS-LOO to evaluate and compare the fit of our full (hierarchical model) to an “empty” (intercept-only) model, and a non-hierarchical model (with the same population-level effects) to the data. We found our full model to be a significantly better fit to the data relative to both

• (i) the intercept-only model with a favorable difference in PSIS-LOO ELPD of 172.6 (with a standard error of 15.5), and
• (ii) the nonhierarchical model with an ELPD of 18.0 (with a standard error of 6.1).

개입의 효과를 평가하기 위해, 우리는 각 세션 유형에 존재하는 코드의 사후 예측 확률 차이의 분포를 계산한 다음, 이러한 예측 차이 분포의 89% 최고 밀도 신뢰 구간이 0을 포함하는지 여부, 즉 0을 표시로 삼았다. 조건 간에 차이가 없습니다.

• Credible interval 은 관심 모수의 지정된 비율(즉, 사후 예측 확률의 차이)을 포함하는 후방 분포의 범위로 다음과 같이 말할 수 있다.:  "관측된 데이터를 고려할 때 효과가 이 범위에 포함될 확률은 89%입니다."
  
• 이와 반대로, 빈도주의 Confidence interval은 덜 직관적이며, 다음과 같이 해석될 수 있다. "이러한 종류의 데이터에서 신뢰 구간을 계산할 때 효과가 이 범위에 속할 확률은 89%입니다."

To evaluate the effect of our intervention, we calculated the distribution of differences in posterior predicted probabilities of codes being present in each Session Type and then determined if the 89% highest density credible intervals of these predicted difference distributions included zero where the inclusion of zero was taken as an indication of no difference between Conditions.

• The credible interval is the range of the posterior distribution containing the specified proportion (i.e. 89%) of the parameters of interest (i.e., the differences in posterior predicted probabilities) such that one could say: “given the observed data, the effect has an 89% chance of falling in this range”
• as opposed to a less intuitive frequentist confidence interval, which would be interpretable as “there is an 89% probability that when computing a confidence interval from data of this sort, the effect falls within this range” (Makowski et al., 2019).

89% 신뢰 구간은 95% 구간과 비교하여 계산 안정성에 대해 다수의 베이지안 통계 사상가들에 의해 권장된다(Kruschke, 2014). 90% 또한 이러한 이유로 제안되었지만, McElreath(2014, 2020)는 89%가 "이미 불안정한 95% 임계치를 초과하지 않는 가장 높은 소수"이기 때문에 89%가 잠재적으로 더 의미가 있다고 제안했다.(Makowski 외, 2019a, b). 베이지안 분석은 관측된 데이터에서 직접 계산된 모수 값(예: 회귀 계수)의 확률 분포를 산출하기 때문에 p 값 또는 관련 신뢰 구간을 계산할 필요가 없다. 오히려 불확실성은 모수의 계산된 확률 분포에서 직접 정량화된다(Kruschke & Liddell, 2018).

The 89% credible interval is recommended by a number of leading Bayesian statistics thinkers for its computational stability relative to 95% intervals (Kruschke, 2014). While 90% was also proposed for this same reason, McElreath (2014, 2020) suggested that 89% makes potentially more sense because 89 is “the highest prime number that does not exceed the already unstable 95% threshold.”(Makowski et al., 2019a, b). Because Bayesian analyses yield probability distributions of parameter values (e.g., regression coefficients) calculated directly from observed data, they do not require calculation of p values or their associated confidence intervals. Rather, uncertainty is quantified directly from the calculated probability distributions of parameters (Kruschke & Liddell, 2018).