Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

서사 탐구: 의학교육의 관계적 연구 방법론(Med Educ, 2017)
Narrative inquiry: a relational research methodology for medical education
D Jean Clandinin,1 Marie T Cave2 & Charlotte Berendonk3

소개
Introduction

의학계에서는 환자의 이야기에 귀를 기울이는 것이 중요하기 때문에 내러티브와 스토리에 대한 관심이 항상 있어 왔습니다. 작가이자 의사였던 콜스1는 의사가 환자의 이야기에 귀를 기울여야 환자의 질병뿐만 아니라 자신의 지식에 대해 더 많은 것을 배울 수 있다고 주장했습니다. 그러나 이러한 이야기를 연구할 수 있는 가능성을 발견한 것은 그보다 역사가 짧습니다. 이러한 가능성은 브루너2가 내러티브 지식과 패러다임적 지식의 차이를 강조한 이후 가시화되기 시작했습니다.

• 전자(내러티브)는 '인간 또는 인간과 유사한 의도와 행동, 그리고 그 과정을 표시하는 우여곡절과 결과를 다룹니다. 본질적으로 시간을 초월하기보다는 일시적인temporal 것'입니다.
• 후자(패러다임)는 현상 관찰, 경험적 데이터 수집 및 분석, 결과의 일반화 가능성 가정 등 재현 가능한 단계에 의존하는 논리-과학적 추론 과정을 사용합니다. 이러한 특징 때문에 패러다임적 사고는 물질 과학과 생물 과학에서 지배적인 추론 접근법으로 자리 잡았습니다.

There has always been interest in narrative and story in medicine through the importance of attending to what patients say. Coles,1 a writer and physician, called for physicians to listen to patients’ stories so as to learn more about their own knowledge as well as about their patients’ illnesses. However, seeing the possibilities for researching those stories has a shorter history. These possibilities began to become visible after Bruner2 highlighted the distinction between narrative and paradigmatic knowledge.

• The former ‘deals in human or human-like intention and action and the vicissitudes and consequences that mark their course. It is essentially temporal rather than timeless’.
• The latter employs a logico-scientific reasoning process, which relies on replicable steps, including observation of phenomena, empirical data collection and analysis and the assumption of generalisability of findings. These features led to paradigmatic thinking as the dominant reasoning approach in material and biological sciences.

의학교육에서 패러다임적 지식은 Flexner3가 임상 전 기초과학 학습을 도입한 이후 다른 형태의 지식을 압도해 왔습니다. 패러다임적 지식이 임상적 사고의 필수적인 부분이라는 데는 동의하지만, 임상의가 임상 진료의 불확실성과 모호성, 특히 진단의 불확실성에 직면할 때 패러다임적 지식만으로는 충분하지 않습니다.
In medical education, paradigmatic knowledge has swamped other forms of knowing since Flexner's3 introduction of pre-clinical basic science learning. Although we agree that paradigmatic knowledge is an essential part of clinical thinking, it is not enough when clinicians face the uncertainty and ambiguity of clinical practice, particularly the uncertainty of diagnosis.

브루너의 구분은 부분적으로 내러티브 연구 방법론의 개발을 가능하게 했습니다. 사회과학 연구자들은 1980년대 후반 '내러티브 혁명'이라고도 불리는 내러티브 연구 접근법의 급속한 수용과 함께 내러티브를 연구 방법론으로 발전시키기 시작했습니다.4 그러나 내러티브 연구 접근법으로 빠르게 전환하면서 연구자들이 내러티브라고 부르는 것이 무엇인지, 내러티브 연구 안에 무엇이 포함되는지 아직 잘 이해되지 않았습니다.5, 6 '이야기'와 '내러티브' 같은 용어는 종종 혼용되어 사용되지만 내러티브 연구에서는 다른 의미를 지니고 있습니다.7, 8 내러티브 연구에서 내러티브가 무엇을 의미하는지에 대한 명확한 정의가 없는 상황에서,7 학자들은 현재 진행 중이거나 다가오는 사건에 대한 대화와 같이 상호작용이 이루어지는 '작은 이야기' 접근법,9,10 또는 인생 이야기나 자서전에 초점을 맞춘 '큰 이야기' 접근법을 언급합니다.7 또한 내러티브는 '내면에 기반한 현상'과 '사회적 행동'11으로 간주되며 구체화된 경험으로 간주됩니다.5 1990년대에 Mishler12 가 내러티브 연구의 경계를 정하는 것을 경계했지만, 명확한 정의가 부족하여 약간의 혼란이 발생하고 있습니다. 
Bruner's distinction, in part, made it possible to develop narrative research methodologies. Social science researchers began to develop the idea of narrative as a research methodology in the late 1980s with a rapid uptake of narrative research approaches, sometimes called the ‘narrative revolution’.4 However, with the rapid turn to narrative research approaches, just what researchers were referring to as narrative, or what was included within narrative research, is not yet well understood.5, 6 Terms like ‘story’ and ‘narrative’ are often used interchangeably yet carry different meanings in narrative research.7, 8 With no clear definition of what narrative means in narrative research,7 scholars refer to ‘small story’ approaches such as conversations about ongoing or upcoming events, in which interaction is in the midst,9, 10 or big story approaches focusing on life stories or autobiographies.7 Furthermore, narratives are viewed as both ‘an interior based phenomenon’ and ‘as social actions’11 as well as embodied experiences.5 Although Mishler12 cautioned in the 1990s against policing the boundaries of narrative research, the lack of delineation has resulted in some confusion.

이 논문에서는 내러티브 연구에 대한 한 가지 접근 방식인 내러티브 탐구의 방법론을 뒷받침하는 존재론적 및 인식론적 약속을 제시합니다.13 이러한 약속을 바탕으로 내러티브 탐구를 적용한 의학교육의 두 가지 연구를 소개합니다. 마지막으로, 내러티브 탐구 참여의 어려움에 대해 논의하고 유망한 연구 및 실천 가능성을 제시합니다. 
In this paper, we lay out the ontological and epistemological commitments that underlay the methodology of one approach to narrative research, narrative inquiry.13 Based on these commitments we introduce two studies in medical education applying narrative inquiry. Finally, we discuss challenges in engaging in narrative inquiry and point toward promising research and practice possibilities.

내러티브 탐구의 정의
Definition of narrative inquiry

이 정의는 경험을 스토리로 생각하는 방법으로서 내러티브 탐구에 주목합니다. 방법론으로서의 내러티브 탐구는 경험 현상에 대한 내러티브적 관점에서 작동하며, 듀이의 경험에 대한 이해15를 기반으로 합니다.
The definition draws attention to narrative inquiry as a way of thinking about experience as a story. Narrative inquiry as methodology works from a narrative view of the phenomenon of experience, building on Dewey's15 understanding of experience.

듀이의 경험의 두 가지 기준(상황 속에서 이루어지는 상호작용과 연속성)은 시간성, 장소성, 사회성의 차원을 가진 3차원 내러티브 탐구 공간을 통해 경험에 대한 내러티브 개념의 근거를 제공합니다.

• 시간성은 사건과 인물의 과거, 현재, 미래에 주의를 기울이며, 항상 진행 중인 사건에 초점을 맞춥니다.
• 장소는 탐구와 삶의 사건이 일어나는 장소의 특수성에 주목합니다.
• 사회성은 사람의 욕망, 미적, 도덕적 반응뿐만 아니라 실존적 조건, 즉 환경과 맥락적 힘에 대한 내적, 외적 초점을 말합니다. 

Dewey's two criteria of experience (interaction and continuity enacted in situations) provide grounding for a narrative conception of experience through the three-dimensional narrative inquiry space with dimensions of temporality, place and sociality.

• Temporality draws attention to the past, present and future of events and people, with a focus on them as always in process.
• Place draws attention to the particularities of where inquiry and life events take place.
• Sociality refers to the inward and outward focus on a person's desires, aesthetic and moral reactions, as well as on the existential conditions, that is, the environment and contextual forces.

'이야기에 대한 사고'와 '이야기로 사고하는 것'을 구분한 모리스(Morris)16는

• '이야기에 대한 사고는 내러티브를 대상으로 생각하는 것'인 반면,
• '이야기로 사고하는 것은 생각하는 사람으로서 우리가 내러티브에 대해 작업하는 것이 아니라, 내러티브가 우리를 위해 작업하도록 허용하는 과정'이라는 내러티브 탐구의 근거를 제시하기도 합니다.

Morris’16 distinction between thinking about stories and thinking with stories also grounds narrative inquiry

• where ‘thinking about stories conceives of narrative as an object’
• whereas ‘thinking with stories is a process in which we as thinkers do not so much work on narrative as of allowing narrative to work on us’.

모리스의 구분은 내러티브 연구에 대한 다양한 접근 방식에서 작동하는 서로 다른 존재론적, 인식론적 가정에 주목하는 데 도움이 됩니다.

• 일부 내러티브 연구자들은 시간성, 장소, 사람과 분리된 객체로서 서면 및 구어 텍스트를 분석하는 반면, 
• 내러티브 탐구자들은 시간, 장소, 관계 속에서 연구 대상인 경험에 주목합니다.

클랜디닌과 로지크17가 지적했듯이, '내러티브 탐구의 초점은 개인의 경험뿐만 아니라 개인의 경험이 구성, 형성, 표현, 제정되는 사회적, 문화적, 제도적 내러티브에도 있다'고 할 수 있습니다. 내러티브 탐구자는 살아 숨 쉬고 이야기되는 개인의 경험을 연구하며, 듣고, 관찰하고, 다른 사람과 함께 생활하고, 텍스트를 작성하고 해석하는 과정을 통해 연구합니다. 
Morris’ distinction helps us draw attention to the different ontological and epistemological assumptions at work in different approaches to narrative research.

• Some narrative researchers analyse written and spoken texts as objects separate from temporality, place and people, whereas
• narrative inquirers attend to the experience under study in time, place and relationships.

As Clandinin and Rosiek17 pointed out, ‘the focus of narrative inquiry is not only on individuals’ experience but also on the social, cultural, and institutional narratives within which individuals’ experiences are constituted, shaped, expressed, and enacted’. Narrative inquirers study an individual's experience, storied in the living and telling, and studied through listening, observing, living alongside another, and writing and interpreting texts.

내러티브 탐구는 개인의 삶에 주목하면서도 삶이 중첩된 더 큰 맥락과 관계에 주의를 기울이는 경험에 대한 탐구 방식입니다. 이야기는 시간, 장소, 관계 속에서 각 개인의 삶과 이야기와 분리되지 않고 살아 있고, 이야기되며, 삶과 이야기와 분리되어 분석되고 해부되어야 할 텍스트로 간주되지 않습니다.
Narrative inquiry is a way of inquiring into experience that attends to individuals’ lives but remains attentive to the larger contexts and relationships within which lives are nested. Stories are lived, and told, not separated from each person's living and telling in time, place and relationships, not seen as text to be separated from the living and telling and analysed and dissected.

의학교육 연구의 내러티브 전환
Narrative turn in research in medical education

'보건의료의 내러티브적 전환'18, 즉 치료와 돌봄은 항상 삶의 예술에 대한 더 넓은 관점 안에 포함된다는 관점의 일환으로, 보건의료는 사람이 주어진 상황에서 자신의 경험을 이해하고 자신을 표현하고 자신의 이야기를 들려줄 수 있도록 하는 것으로 주목받고 있습니다. 돌봄제공자와 돌봄수혜자는 공존하는 관계로, 돌봄제공자가 특정 상황에서 도움이 되는 지식을 가지고 있다고 해도 그것이 돌봄제공자가 일반적인 삶의 문제, 더 나아가 다른 사람의 삶에 대한 전문가가 되는 것은 아닙니다. 돌봄제공자와 돌봄을 받는 사람은 '전기적 만남'의 공동 저자입니다.19
As part of a ‘narrative turn in health care’,18 that is, that cure and care are always embedded within a broader perspective on the art of living, there is attention to health care as enabling a person to make sense of their experiences in a given situation and to express themselves, to tell their stories. Caregiver and care-receiver are both co-existent in the sense that although a caregiver may have knowledge helpful in a given situation at a particular time, this does not make the caregiver an expert on issues of life in general or, more importantly, on the life of another person. Caregiver and care-receiver are co-authors in ‘biographical encounters’.19

이러한 보건의료의 내러티브 전환(의학교육의 내러티브 전환에 대해서는 예를 들어20, 21 참조) 속에서 방법론으로서 내러티브 연구로의 전환도 이루어지고 있습니다. Bleakley22가 지적했듯이, 내러티브 연구에서 사용되는 이야기의 존재론적, 인식론적 지위에 대한 가정을 탐구할 필요가 있습니다. 내러티브 연구에서 스토리는 데이터로 사용되는데, 이는 아마도 패러다임적 지식의 힘에서 비롯된 결과일 것입니다. 폴킹혼23이 내러티브의 분석이라고 표현한 것처럼, 모리스가 이야기에 대해 생각하는 것과 비슷한 의미에서 이야기를 일종의 object으로 삼아 분석의 대상subjected으로 삼습니다. 이야기를 탈맥락화되고 객관적인 연구 데이터로 취급하는 내러티브 분석은 현재 의학교육에서 내러티브 연구로 전환하는 과정에서 가장 널리 퍼져 있는 방식입니다. 그러나 최근 의학교육의 연구 방법론으로서 삶과 이야기, 맥락과 사람, 연구자와 연구 참여자의 관계적 측면에 주목하는 방법론인 내러티브 탐구로 전환하는 것에 대한 관심이 높아지고 있습니다.6
Within this narrative turn in health care (for the narrative turn in medical education, see, for example,20, 21), there is also a turn to narrative research as methodology. As Bleakley22 pointed out, assumptions about the ontological and epistemological status of stories as used in narrative research need to be explored. Stories are used by some in narrative research as data, perhaps a lingering result of the power of paradigmatic knowledge. Stories are taken as a kind of object and subjected to analysis in the sense that Polkinghorne23 described as analysis of narratives, akin to what Morris described as thinking about stories. Analysis of narratives, where stories are treated as decontextualised and objective study data, is currently what is most prevalent in the turn to narrative research in medical education. However, there is recent attention to shifting to narrative inquiry as a research methodology in medical education, a methodology that attends to the relational aspects of living and telling stories, of context and person, of researcher and research participant.6

의학 학습자의 정체성 형성을 위한 내러티브 연구
Narrative research in medical learners’ identity making

내러티브 연구가 의학 교육에서 사용되는 분야 중 하나는 의학 학습자의 정체성 발달에 관한 연구입니다. Monrouxe24가 강조했듯이

• '정체성은 중요하다. 우리가 누구인지, 그리고 우리가 누구로 비춰지는지는 의학교육에서 우리가 하는 일의 많은 부분의 근간이 된다.

의학 학습자의 정체성 발달은 이론 및 개념 논문(예: 24-27)과 최근에 발표된 경험적 연구(예: 28, 29)의 초점입니다. 여기서는 내러티브 연구 접근법을 사용하여 직업 정체성 발달을 탐구한 세 가지 연구를 참조합니다.

• Konkin과 Suddards의 종단적 통합 사무직 프로그램에 대한 평가30에서는 해석학적 현상학적 설계를 사용하여 환자에 대한 경험에 대해 학습자를 인터뷰했습니다. 이들은 근거 이론 방법을 사용하여 데이터를 분석하고 정체성 발달을 위한 학습자 경험의 의미를 찾아냈습니다. 그들은 '[...] 이 연구에서 학생들의 이야기는 환자 치료에 의미 있게 참여하는 행위에서 탄생하고 발전하는 돌봄의 윤리에 기반을 둔 새로운 직업적 정체성을 반영한다'는 사실을 발견했습니다.30
• Wong과 Trollope-Kumar31는 사전 실습 기간 동안 작성된 의료 학습자의 포트폴리오에 대한 내러티브를 조사했습니다. 주제별 내러티브 분석은 '복잡한 학습 환경 속에서 환자, 멘토, 동료와의 상호작용을 통해 전문직 정체성을 능동적으로 구축'하는 학생들에 대한 통찰력을 제공했습니다. 다섯 가지 주제는 '역동적이고 담론적이며 반복적인' 과정으로서의 전문직 정체성 개발에 대한 통찰력을 제공했습니다.
• Monrouxe32는 의료 학습자의 종단적 오디오 일기를 통해 그들의 근본적인 내러티브 줄거리에 대해 탐구하고 학습자의 내러티브에서 정체성 형성의 복잡성을 설명하는 8가지 주제를 확인했습니다.
• Monrouxe33는 내러티브를 제시하고, 이 방법을 사용할 때 윤리적 차원을 논의했으며, 개인적 및 직업적 이야기가 의대생의 정체성을 형성한다는 점을 강조했습니다. 그녀는 내러티브의 맥락적, 사회적, 시간적 내재성을 고려하는 것이 중요하다고 설명했습니다. 몬루즈는 '의대생들의 개인적, 직업적 자아는 [...] 의사가 끊임없이 그 사이를 오가며 인간의 상태를 바라보는 두 가지 방식, 즉 생의학적 시선과 내러티브 시선의 예시'라고 결론지었습니다.

One area in which narrative research is used in medical education is in studies of medical learners’ identity development. As Monrouxe24 highlighted:

• ‘Identity matters. Who we are, and who we are seen to be, underlies much of what we do in medical education’.

The identity development of medical learners is the focus of theoretical and conceptual articles (e.g.24-27) and recently published empirical research (e.g.28, 29). We refer to three studies, which used narrative research approaches to inquire into professional identity development.

• In Konkin and Suddards’30 evaluation of a longitudinal integrated clerkship programme they interviewed learners regarding their experiences with patients using a hermeneutic phenomenological design. They analysed data using grounded theory methods and carved out the meaning of learners’ experiences for identity development. They found: ‘[…] students’ stories in this study reflect an emerging professional identity, born in the act of meaningful engagement in patient care, and grounded in a developing ethic of caring’.30 
• Wong and Trollope-Kumar31 inquired into narratives of medical learners’ portfolios written during pre-clerkships. Thematic narrative analysis provided insights into students’ active construction ‘of their professional identities through interactions with patients, mentors and colleagues, within complex learning environments’. Five themes gave insights into professional identity development as a ‘dynamic, discursive and iterative’ process.
• Monrouxe32 explored longitudinal audio-diaries of medical learners regarding their underlying narrative plotlines and identified eight themes in learners’ narratives that illustrate the complexity of identity formation.
• Monrouxe33 presented narratives, discussed ethical dimensions in employing this method, and emphasised that personal and professional stories shape the identity of medical students. She illustrated the importance of considering contextual, social and temporal embeddedness of narratives. Monrouxe concluded that ‘their personal and professional selves […] exemplify the two ways of gazing on the human condition – biomedical and narrative – that doctors constantly oscillate between’.

이러한 연구에서 전문직 정체성 발달 개념에 대한 정교한 분석을 제공하지는 않지만, 우리는 전문직 정체성에 대한 보다 포괄적인 이해가 중요하다는 점을 강조합니다. 예를 들어, Bleakley 등34 은 '의대생에게 있어 전문직 정체성은 의학교육을 통해 '만들어지는 것''이라고 말했습니다. 인용된 경험적 연구 중 두 건은 전문직 정체성의 기초가 되는 전문직 경험에 초점을 맞췄습니다.30, 31 정체성에 대한 내러티브적 관점으로 보면, 전문직 정체성은 전문직 환경 내에서 형성될 뿐만 아니라 시간이 흐르면서 다양한 장소, 맥락, 관계 속에서 개인의 삶의 이야기에 의해 형성되며, 또한 사람에 의해 체화embodied됩니다.35 내러티브 경험 개념에서 정체성 발달은 내러티브 현상이며, 내러티브 탐구는 '내러티브 풍경에서 내러티브된 삶을 사는 것'에 주목하고 '우리가 누구인지, 우리가 살아갈 이야기가 근본적으로 내러티브적이라는 것'을 이해함으로써 의학 학습자의 정체성 발달을 연구하기에 적합한 방법론입니다.5 의학교육에서 정체성 형성 연구에 대한 내러티브 접근법 중 대부분은 이야기를 데이터로 사용했습니다.22 내러티브 탐구로 전환하면서 이야기에 대한 사고 대신 이야기와 함께 사고하는 것으로 전환했습니다.

Without providing a sophisticated analysis of notions of professional identity development in these studies, we emphasise the importance of even more comprehensive understandings of professional identity. For example, Bleakley et al.34 stated that ‘for the medical student, a professional identity is something that is ‘‘made’’ through a medical education’. Two of the cited empirical studies focused on professional experiences as the foundation of professional identity.30, 31 Working with a narrative view of identity, professional identities are formed within professional landscapes, as well as shaped by personal life stories, over time and in multiple places, contexts and relationships and are also embodied in persons.35 Within a narrative conception of experience, identity development is a narrative phenomenon and narrative inquiry is an appropriate methodology to study medical learners’ identity development with its attention to the living of ‘storied lives on storied landscapes’5 and through understanding ‘that who we are, our stories to live by, is fundamentally narrative in nature’.5 Of the narrative approaches to research in identity making in medical education, most used stories as data.22 With the turn to narrative inquiry, the shift is to thinking with stories instead of about stories.

의료 학습자의 정체성 형성 연구에서의 내러티브 탐구
Narrative inquiry in the study of medical learners’ identity making

2000년대 초반에 이미 교육에 대한 연구는 있었지만,36 의료 학습자의 정체성 형성에 대한 내러티브 탐구는 초기 단계에 있었습니다. 의학교육에서 내러티브 글쓰기에 초점을 맞춘 Charon,20은 의학 학습자가 임상 경험에 대한 이야기를 작성하고 이를 촉진된 소그룹에서 '밀착 읽기'를 통해 공유하는 과정인 평행 차트 작성이라는 교육적 접근법을 개발했습니다. 클랜디닌, 케이브, 케이브35도 의사들의 진료 경험을 글로 쓰고 공유함으로써 얻을 수 있는 변화의 효과에 관심을 가졌습니다. 우리 역시 의료 전문가들이 내러티브 성찰적 실천에 참여할 기회를 얻었을 때 그들의 삶에 미치는 영향을 목격했습니다.37 우리는 내러티브 탐구의 방법론과 방법을 사용하여 Charon의 평행 차트 교수법을 사용하여 의료 학습자의 정체성 형성에 대한 연구를 시작했습니다. 이 연구에서는 학부 학습자의 경험과 레지던트 과정을 밟는 졸업생의 경험의 차이, 새로운 임상 책임이 의대생의 전문적 정체성 형성에 미치는 영향, 소규모 동료 그룹에서 촉진된 내러티브 반성적 실습이 전문적 정체성 형성에 미치는 영향에 관한 수수께끼를 탐구했습니다. 
In the early 2000s, although there were already studies in teaching,36 narrative inquiry into the identity making of medical learners was in its initial years. Charon,20 with her focus on narrative writing in medical education, developed a pedagogical approach called parallel charting, a process where medical learners write stories of their experiences of clinical encounters and share them in ‘close reading’ in facilitated small groups. Clandinin, Cave and Cave35 were also interested in the transformative effects of writing and sharing physicians’ stories of practice. We, too, witnessed the impact on medical professionals’ lives if they received opportunities to participate in narrative reflective practices.37 Using methodologies and methods from narrative inquiry, we began studies into medical learners’ identity making using Charon's parallel chart pedagogy. The research explored puzzles around differences in undergraduate learners’ experiences to those of graduates undertaking residency, the impact of new clinical responsibilities on medical students’ professional identity making, and the impact of facilitated narrative reflective practice in small groups of peers on professional identity making.

우리는 참가자들에게 평행 차트를 작성하도록 한 다음 Clandinin과 Connelly의39 3차원 내러티브 탐구 공간을 사용하여 촉진된 내러티브 탐구 그룹에 참여하도록 한 두 개의 연구35, 38 에 대해 설명합니다. 두 연구 모두 각 참가자가 10개의 차트를 작성하고 공유하는 5번의 회의가 있었다는 점에서 유사했습니다. 이동 시간을 줄이고 장소의 중요성에 주목하기 위해 각 회의는 같은 병실 내에서 진행되었습니다. 그러나 집, 병원, 침대 옆, 강의실 등 특정한 상황에 스토리를 배치했기 때문에 장소도 중요했습니다. 모든 세션에서 각 참가자는 한두 개의 차트를 공유했고, 전체 그룹은 진행자나 연구자의 의견을 들어 각 차트에 대해 질문했습니다. 모든 참가자가 자신의 차트를 공유할 시간을 갖도록 함으로써 시간성의 차원을 인정했지만, 가정과 학교에서의 어린 시절 경험과 최근의 경험 모두에서 나온 이야기였기 때문에 시간성이 존재했습니다. 시간이 지남에 따라 이야기가 바뀌면서 임상 실습의 순간에 대한 경험은 때때로 다른 시간과 장소에서의 경험과 연결되기도 했습니다. 퍼실리테이터는 참가자들이 이야기를 나누는 동안 각 참가자에게 주의를 기울였으며, 참가자들이 글을 쓰고, 공유하고, 그룹 질문에 참여하고, 그룹 회의 사이의 시간에 자신의 경험에 대해 계속 질문하면서 많은 내러티브 탐구가 발생한다는 점을 염두에 두었습니다. 사회성의 차원이 인정되는 한 가지 방법은 그룹의 포용성과 일단 형성된 그룹의 배타성에서 확인할 수 있었습니다. 의학 학습자들이 특정 상황과 사건에 대한 이야기를 하면서 개인적인 감정적, 도덕적, 심미적 반응을 드러낼 때에도 사회성은 존재했습니다.  
We describe two studies35, 38 where participants were invited to write parallel charts, and were then asked to engage in facilitated narrative inquiry groups using Clandinin and Connelly's39 three-dimensional narrative inquiry space. Both studies were similar in that there were five meetings, with each participant writing and sharing 10 charts. Each meeting was held within the same hospital room to avoid travel time and to draw attention to the importance of place. However, place was also present as the stories themselves were placed in particular contexts, such as homes, hospitals, bedsides and lecture halls. At every session, each participant shared one or two charts and the entire group, with facilitator or researcher input, inquired into each chart. Ensuring all participants had time to share their charts acknowledged the dimension of temporality, but temporality was present as the stories told came from both childhood experiences in homes and schools and more recent experiences. As stories shifted over time, the experiences of moments of clinical practice were sometimes linked to experiences in other times and places. Facilitators were attentive to each participant as they shared, mindful that much narrative inquiry occurred as participants wrote, shared, engaged in the group inquiry and continued to inquire into their experiences in the time between group meetings. One way the dimension of sociality was acknowledged was in the inclusivity of the groups, and, once formed, their exclusivity. Sociality was also present as the medical learners told stories situated within particular circumstances and events and also made visible their personal emotional, moral and aesthetic reactions.

차트를 구두로 공유한 후 이어진 내러티브 질문에는 차트를 작성하는 사람과 듣는 사람 모두 반성적인 방식으로 참여하여 동료의 이야기와 함께 자신의 이야기를 겹쳐서 이야기했습니다. 참가자들은 이야기 속에서 자신을 상상하고40 모리스가 제안한 방식으로 이야기와 함께 생각할 수 있었습니다.16 
The narrative inquiry following the oral sharing of a chart involved all participants in reflexive ways, both chart writers and those listening, who layered their stories alongside their colleagues’ stories. Participants could imagine themselves within the story40 and think with the story in ways suggested by Morris.16

두 연구 모두에서 퍼실리테이터는 각 참가자의 용기를 인정하고 공유된 이야기에 대한 초기 검증validation을 제공했습니다. 퍼실리테이터는 다른 참가자들과 함께 각 이야기가 시간적 한가운데로 들어갈 수 있게 해준다는 것을 인식하고, 들려준 이야기에 대해 더 자세히 물어보면서 내러티브 탐구에 참여했습니다. 내러티브 탐구가 진행됨에 따라 참가자들은 환자와 자신의 삶, 삶이 내재된 장소와 관계, 환자, 의사, 서로의 정서적, 도덕적, 미적 반응에 주의를 기울이게 되었습니다. 
In both studies facilitators recognised each participant's courage and provided initial validation of the shared story. The facilitators, along with other participants, engaged in the narrative inquiry by asking for further details about the stories told, recognising that each story allowed them to enter into the temporal midst. As the narrative inquiry proceeded, participants became attentive to the unfolding lives of their patients and themselves, to the places and relationships within which lives were embedded, and to the emotional, moral and aesthetic responses of patients, physicians and each other.

두 연구 모두에서 참가자들은 자신의 직업적 정체성을 구성하는 경험에 주목했습니다.

• 첫 번째 연구에 참여한 사라(Sarah)38는 레지던트 프로그램에서 경험이 풍부한 국제 의대 졸업생이었습니다. 그녀의 병렬 차트는 어느 새 엄마가 아이를 입양 보내기로 결정한 경험을 묘사했는데, 이는 사라의 문화적 내러티브에서 유기에 가까운 행동이었습니다.
  • 차트의 일부에는 사라가 그 어머니에게 어떻게 반응했는지 재검토하고 의사로서 자신이 누구인지에 대한 자기 성찰을 하게 된 동료의 반응이 기술되어 있었습니다.
  • 그룹의 반응에서 한 참가자는 사라의 자기 판단, 즉 도덕적 반응에 주목했습니다.
  • 또 다른 참가자는 아기의 미래에 초점을 맞춘 시간적 반응을 보였습니다.
  • 또 다른 참가자는 이 상황에서 누가 도와줄 수 있는지에 대한 질문을 던졌습니다.
• 세 가지 측면에 주의를 기울이며 그룹 질문이 진행되자 사라는 결국 자신이 환자와의 관계 형성에 탁월하다는 것을 알고 있는 자신의 이야기를 다시 들려주었습니다. 참가자들은 사라의 전개되는 삶, 환자의 전개되는 삶, 그리고 의료 학습자로서의 자신의 삶에 주의를 기울였습니다. 

In both studies participants attended to their experiences of composing their professional identities. Sarah, a participant in the first study,38 was an experienced international medical graduate in the residency programme. Her parallel chart described her experience with a new mother's decision to offer her child for adoption, an action akin to abandonment in Sarah's cultural narrative.

• Part of her chart described a peer's response that caused Sarah to re-examine how she responded to the mother and also to engage in self-facing about who she was as a physician.
• In the group's responses, one participant attended to Sarah's self-judgement, her moral response.
• Another response was temporal, focused on the baby's future.
• Another raised questions about who else could help in this situation.

As the group inquiry proceeded with attention to the three dimensions, Sarah eventually retold her story as one in which she knew she excelled in establishing relationships with patients. Participants were attentive to Sarah's unfolding life, to her patient's unfolding life and to their own lives as medical learners.

내과 레지던트들이 참여했던 두 번째 연구35에서 우리는 한 참가자 레슬리의 경험을 공유했습니다. 레슬리와의 마지막 종료 대화에서 그녀는 자신의 직업적 정체성이 어떻게 변화하고 변화하는지에 대해 간략하게 설명했습니다. 레슬리가 자신의 경험에 대해 썼을 때, 우리는 그것을 그녀의 개인적인 실용적 지식을 '실천하고, 말하고, 되살리고, 다시 말하는 것'5으로 이해했습니다.41

• 레슬리는 첫 번째 평행 차트에서 좋은 의사가 되는 것에 대한 자신의 고민을 설명했습니다. 당시 그녀는 환자에게 간호사로 인식되는 것부터 자신을 의사로 소개하는 데 어려움을 겪는 것까지 다른 사람의 인식에 크게 의존하고 있었습니다. 그녀는 의사로서의 역할과 의사로 인식되지 않는 것에 대한 우려 사이에서 부조화를 느끼는 경험을 다섯 번의 세션 동안 반복했습니다. 그녀는 좋은 의사가 된다는 것이 무엇을 의미하는지에 대해 의문을 품고 그룹에 속한 다른 사람들이 자신의 상황에서 어떻게 반응하고 행동했을지 확인했습니다.
• 마지막 그룹 세션에서 레슬리는 의사로서 자신의 이야기를 담은 차트를 공유했습니다. 그녀는 자신을 자만하지 않는다고 설명하며 '어떤 일을 처리할 수 있다는 자신감이 생겼다'고 말했습니다. 그리고 그것은 단지 경험일 뿐입니다...'.35 이러한 변화는 신체적, 정서적으로, 말과 행동으로 나타났고, 레슬리는 이에 대해 자세히 기록했습니다. 그녀는 의사로서 자신의 이야기가 일반적인 임상 환경이 아닌 다른 곳에서 어떻게 실현되는지 보여주었습니다.
• 레슬리는 시간이 지남에 따라 다양한 개인적, 직업적 환경에서 자신의 직업적 정체성이 어떻게 발전했는지 보여주었습니다. 그녀의 직업적 정체성은 한 인간이자 의사로서 그녀가 누구인지 구체화되어 있으며, 새로운 경험을 겪으면서 계속 발전하고 있습니다. '뒤돌아보는 이야기'를 하기 위해 마지막 차트를 작성하기로 결정함으로써 그녀는 자신의 이야기를 다시 들려주고 되새기며 의사가 되고 의사가 되는 미래 지향적인 이야기를 구성할 수 있었습니다. 

In an article from the second study,35 in which participants were internal medicine residents, we shared the experience of one participant, Lesley. In the final exit conversation with Lesley, she gave a brief account of how she understood her professional identity as shifting and changing. As Lesley wrote of her experience we understood it as the ‘living out, telling, reliving and retelling’5 of her personal practical knowledge.41 

• In her first parallel chart Lesley described her concerns about being a good physician. At this time she was heavily reliant on the perceptions of others, from being perceived as a nurse by patients to her difficulty with introducing herself as a physician. Her experience of feeling dissonance (between her role as a physician and her concern at being not perceived as a physician) was recurrent over the five sessions. She questioned what it meant to be a good physician and checked with others in the group as to how they would have responded or acted in her situations.
• In the last group session, Lesley shared a chart in which she was now telling the story of herself as a physician. She described herself as not complacent, ‘it's just more of a comfort that, more confidence that I can handle some stuff. And it's really just experience …’.35 The changes manifested themselves physically and emotionally, in speech and behaviours, and Lesley wrote of them in some detail. She made visible how her story of herself as a physician was lived out in places other than the usual clinical settings.
• Lesley showed how her professional identity developed over time and in different personal and professional landscapes. Her professional identity is embodied in who she is as a person and physician and continues to develop as she undergoes new experiences. Her decision to write her final chart looking back, to tell a ‘backward looking story’, allowed her to retell and relive her stories and compose her forward looking story of becoming and being a physician.

이 두 가지 내러티브 탐구에서 우리는 내러티브 탐구가, 데이터로서의 이야기가 아니라, 시간이 지남에 따라 다양한 사람들과 다양한 상황에서 살아가고 이야기하는 각 의료 학습자의 지속적인 경험 이야기에 관계적인 방식으로 접근한다는 것을 알 수 있었습니다.
In these two narrative inquiries we showed that narrative inquiry does not work with stories as data but attends in relational ways to each medical learner's ongoing narratives of experiences as they are lived and told in multiple situations with diverse people over time.

의학교육에서 내러티브 탐구 참여의 도전 과제
Challenges of engaging in narrative inquiry in medical education

의학교육 연구에서 내러티브 탐구를 사용하는 데는 많은 어려움이 있으며, 그 중 네 가지를 강조합니다. 우리는 의학교육에서 내러티브 탐구에 참여했던 방식을 바탕으로 이러한 과제를 명확하게 설명합니다.
Using narrative inquiry in medical education research has many challenges and we highlight four. We draw on the ways that we have engaged in narrative inquiry in medical education to make explicit these challenges.

우리가 경험한 첫 번째 도전은 탐구의 시작점에 관한 것입니다. 내러티브 탐구는 경험을 연구하는 방법론이기 때문에, 우리는 개인의 경험담에 초점을 맞추는 데서 출발합니다. 우리는 우리 모두가 속한 사회적, 문화적, 제도적, 언어적, 가족적 내러티브의 중요성을 인정하지만, 연구의 초점은 개인의 경험입니다. 이러한 점에서 내러티브 탐구는 특정 현상에 대한 이론적 이해에서 출발하는 연구와 대조를 이룹니다. 내러티브 탐구자의 존재론적, 인식론적 가정에서 비롯되는 이러한 방법론적 출발점의 근본적인 차이는 많은 의학교육 연구와 대조적입니다.
The first challenge we experienced concerns the starting point for inquiry. Because narrative inquiry is a methodology for the study of experience, our starting point is the focus on an individual's stories of experience. Although we acknowledge the importance of social, cultural, institutional, linguistic and familial narratives within which we are all embedded, the focus of study is an individual's experience. In this way narrative inquiry stands in contrast with studies that begin in theoretical understandings of a particular phenomenon. This fundamental difference in the methodological starting point, which follows from narrative inquirers’ ontological and epistemological assumptions, is in contrast with many medical education studies.

예를 들어, 의사의 정체성 형성 연구에 대한 우리의 내러티브 탐구 접근법은 이론적으로 정립된 정체성 개념이 아니라 의학 학습자의 경험에서 출발했습니다. 내러티브 탐구에서는 각 의료 학습자의 경험담에서 시작합니다. 연구 설계에서는 참여자가 자신의 이야기를 들려줄 수 있는 방법을 채택하거나 참여자의 경험을 함께 할 수 있는 방법을 채택해야 합니다. 앞서 설명한 두 가지 내러티브 조사에서 우리는 차트 작성과 공유를 병행하여 의료 학습자가 자신의 이야기를 들려줄 수 있는 공간을 만들었습니다. 그런 다음 참가자들과 함께 이야기에 대해 질문하고 마지막 출구 대화에서 자신의 경험을 되돌아보도록 요청했습니다. 참가자를 포함하여 사람들로 하여금, 설문지나 반구조화된 인터뷰 프로토콜을 만들 수 있는 이론적 이해가 아니라, 질문의 출발점이 참가자의 경험에 있다는 것을 이해하도록 돕는 것은 어려운 과제였습니다.
As an example, our narrative inquiry approach to research into physician identity making began with the experiences of medical learners rather than with pre-set notions of identity developed in theory. In narrative inquiry we begin with each medical learner's stories of experience. Research designs require that we adopt methods to enable participants to tell their stories or to allow us to live alongside them as they undergo their experiences. In the two narrative inquiries described earlier we used parallel chart writing and sharing to create spaces within which medical learners could tell their stories. Alongside the participants, we then engaged in inquiries into the stories and finally we asked them to look back over their experiences in a final exit conversation. It is a challenge to help others, including participants, understand that the inquiry starting point is in the experience of participants, and not in theoretical understandings that would have allowed us to create a questionnaire or semi-structured interview protocol.

내러티브 탐구는 정체성 형성에 관여하는 요소를 더 깊이 이해할 수 있게 해주고, 의료 학습자가 임상 실습의 필수 출발점으로서 자신의 경험에 주목하는 법을 배울 수 있는 교육적인 방법을 만들어주기 때문에 그 중요성을 잘 알고 있습니다. 탐구 과정을 통해 학생들은 실습에 참여하기 위해 외부의 전문 지식뿐만 아니라 자신의 개인적 실무 지식을 활용하는 방법을 배우게 됩니다.
We see the importance of engaging in narrative inquiry as it allows deeper understandings of what is involved in identity making and creates educative ways for medical learners to learn to attend to their experiences as an essential starting point in their clinical practice. Through the inquiry process they learn to look to their own personal practical knowledge, as well as to outside expert knowledge, to engage in practice.

의학교육에서 내러티브 탐구를 활용하는 두 번째 과제는 의사와 의사가 되기 위해 배우는 사람들에게 (임상 사례나 사례 연구를 사용하여 글을 쓰고 생각하도록 요구하는) 일반적인 의학교육 관행에서 관심을 전환하는 것입니다. 의사들은 일상적인 연습으로 회진에 참석하고 그 일환으로 사례 연구를 준비하고 발표하도록 훈련받습니다. 사례 연구는 대부분 객관적인 생물의학 데이터를 바탕으로 한 집중적인 프레젠테이션입니다. 임상 사례 연구에서는 환자에 초점을 맞추고 의사의 경험은 포함되지 않습니다. 즉, 발표를 위해 사례를 준비할 때 의사는 객관적인 데이터를 수집하고 각 임상 사례에서 자신을 행위자 및 대리인으로 생각하지 않고 환자를 사례로 제시하는 방법을 배웁니다. 임상 사례와 사례 연구는 패러다임적 사고와 연결됩니다. 관계적 방법론인 내러티브 탐구에서는 모든 참여자(의사, 환자, 연구자)의 경험을 연구 대상으로 삼습니다. 패러다임적 지식에서 내러티브 지식으로의 전환, 즉 데이터로서의 이야기에서 이야기로의 사고로의 전환은 자신의 경험을 연구에서 배제하도록 잘 훈련된 의사에게는 어려운 전환입니다. 예를 들어, 의료 학습자의 정체성 형성 경험에 대한 내러티브 탐구에서 참가자들은 처음에는 환자와 관련된 자신의 이야기를 쓰는 것이 어렵다고 느꼈습니다. 처음에는 환자에 대한 사례 연구를 쓰는 것이 더 편하다는 것을 알게 되었습니다. 시간이 지나고 노력을 기울인 끝에 그들은 환자에 대한 자신의 경험도 내러티브 탐구에서 연구 대상이 될 수 있다고 생각하기 시작했습니다. 
The second challenge to engaging in narrative inquiry in medical education is shifting attention from the more common medical education practice of asking physicians and those learning to be physicians to write and think using clinical cases or case studies. They attend rounds as routine practice and are trained to prepare and present case studies as part of that practice. Case studies are, most frequently, intensive presentations that draw on objective biomedical data. In a clinical case study, the focus is on the patient and the physician's experience is not included; that is, in preparing cases for presentation, physicians are taught to collect objective data and to present patients as cases without thinking of themselves as actors and agents in each clinical encounter. Clinical cases and case studies are linked to paradigmatic thinking. In narrative inquiry, a relational methodology, the experiences of all participants (physicians, patients and researchers) are under study. This shift from paradigmatic to narrative knowledge, from thinking about stories as data to thinking with stories, is a challenging shift for physicians who have been well trained to leave their own experiences out of research. For example, in our narrative inquiries into medical learners’ experiences of identity making, our participants initially found it challenging to write stories of themselves in relation to patients. At first, they found it more comfortable to write case studies of the patients. It was over time and with effort that they began to see their experiences with patients as what was also under study in narrative inquiry.

내러티브 탐구 사용의 세 번째 과제는 방법론methodology으로서 내러티브 탐구와 일치하는 방법methods을 만들어야 한다는 것입니다. 다른 전문가와의 내러티브 탐구에서 사용되는 연구 방법은 여러 가지가 있지만,39 의사와 의료 학습자가 시간이 지남에 따라 관계를 형성하고 임상 환경에서 평가 체크리스트와 다른 전문가의 시선에 의해 형성된 '두려움/불확실성'을 내려놓을 수 있는 내러티브 탐구 방법을 만드는 것은 특히 어렵습니다. 이렇게 잘 정립된 관행에 맞서기 위해서는 의료 학습자가 자신의 이야기를 하고 자신의 이야기에 대해 질문할 수 있을 만큼 안전하다고 느끼는 공간을 만들어야 합니다. 예를 들어, 정체성 형성에 대한 내러티브 탐구에서 병렬 차트를 사용하고 공동 탐구 방식을 공유 및 촉진함으로써 참가자들에게 안전한 공간을 만들 수 있었습니다.
The third challenge in using narrative inquiry is the need to create methods that are congruent with narrative inquiry as a methodology. Although there are a number of research methods that are used in narrative inquiries with other professionals,39 it is particularly challenging to create methods of narrative inquiry to use with physicians and medical learners that allow for relationships over time and that will allow them to set aside their ‘fears/uncertainties’ shaped by assessment checklists and the expert gaze of others in their clinical environments. Working against these well-established practices requires that we create spaces where medical learners feel safe enough to tell their stories and to inquire into their stories. For example, in our narrative inquiries into identity making, it was the use of parallel charts followed by the shared and facilitated method of collaborative inquiry that created a safe space for the participants.

네 번째 도전 과제는 의사가 의료 상황에서 개별 행위자가 아닌 의료팀의 일원으로서 자신의 위치를 파악하는 데서 비롯됩니다. 내러티브 탐구에 참여하는 데 있어 어려운 점은 다양한 팀원들의 경험을 고려하는 것입니다. 앞서 언급했듯이 의사의 정체성은 다른 의사, 간호사, 치료사, 약사, 사회복지사, 관리자 등 다른 의료 서비스 제공자들과의 관계 속에서 살아가며 들려주는 이야기를 통해 형성됩니다. 내러티브 탐구에 참여할 때 우리는 학제 간 및 전문직 간 업무 환경에서 만나는 다양한 의료 서비스 제공자의 경험을 포함할 수 있는 방법을 개발해야 합니다. 내러티브 탐구에 참여하려면 다른 전문가들의 이야기뿐만 아니라, 개인이 포함된 더 큰 사회적, 제도적, 직업적 내러티브에 주의를 기울여야 합니다. 여러 참여자의 경험에 주의를 기울이는 다관점 내러티브 탐구에 참여하는 것은 쉽지 않은 일입니다. 따라서 각 의료 학습자의 경험을 이해하려면 각 분야와 각 전문직에 고유한 더 큰 사회적 전문직 내러티브와 제도적 내러티브가 서로 다른 전문가를 어떻게 포지셔닝하는지 이해해야 합니다.
The fourth challenge emerges from attending to physicians’ positioning as members of health care teams and not as individual actors in health care contexts. The challenge of engaging in narrative inquiry is in considering the experiences of different team members. As noted earlier, physicians’ identities are shaped through stories they live and tell in relation to other allied health care providers, including other physicians, nurses, therapists, pharmacists, social workers, managers, etc. As we engage in narrative inquiry we need to develop ways to include the experiences of different health care providers as they meet in their interdisciplinary and interprofessional work environments. Engaging in narrative inquiry requires attentiveness to the stories of other professionals as well as to the larger social, institutional and professional narratives in which individuals are embedded. Engaging in what often becomes multi-perspectival narrative inquiry that attends to the experiences of multiple participants is challenging. Consequently, to understand each medical learner's experiences we need to understand the larger social professional narratives that are unique to each discipline and each profession, and also how institutional narratives position different professionals in relation to each other.

향후 연구 및 실천 방향
Future research and practice directions

내러티브 탐구가 의학교육 연구에서 계속 채택됨에 따라 위에서 언급한 바와 같은 도전과제가 있을 것입니다. 우리는 내러티브 탐구와 다른 형태의 내러티브 연구의 기초가 되는 인식론적, 존재론적 가정을 계속해서 명확히 하는 것이 중요하다고 봅니다. 또한 의학교육과 다른 환경에서 내러티브 탐구의 근간이 되는 관계 윤리에 대한 이해를 계속 발전시켜야 할 필요성이 있습니다. 교육학으로서의 내러티브뿐만 아니라 내러티브 반성적 실천과 같은 전문적 실천에서 내러티브 탐구의 사용을 확장할 수 있는 가능성도 고려해야 합니다.
As narrative inquiry continues to be taken up in research in medical education, there will be challenges as noted above. We see the importance of continuing to clarify the epistemological and ontological assumptions underlying narrative inquiry and other forms of narrative research. There is also a need to continue to develop understandings of the relational ethics that underlie narrative inquiry in medical education and in other settings. Consideration must be given to the possibilities of extending the uses of narrative inquiry in professional practice, such as narrative reflective practice as well as narrative as a pedagogy.

© 2016 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

학부의학교육에서 지속적 질 개선의 문화 만들기(Acad Med, 2020)
Shaping a Culture for Continuous Quality Improvement in Undergraduate Medical Education 
Guy W.G. Bendermacher, MSc, Willem S. De Grave, MSc, PhD, Ineke H.A.P. Wolfhagen, MSc, PhD, Diana H.J.M. Dolmans, MSc, PhD, and Mirjam G.A. oude Egbrink, MSc, PhD 

지속적인 질 향상(CQI) 전략은 커리큘럼이 발전하는 대중의 요구, 근거 기반 의학, 효과와 효율성에 대한 관심 증가에 발맞춰야 한다는 점에서 의과대학에 매우 중요합니다.1,2 1990년대 초부터 의과대학은 질 관리 접근 방식에 상당한 투자를 해왔으며, 그 결과 직원 성과에 대한 더 나은 통찰력, 개선이 필요한 주제를 알리는 기회, 더 명확하게 정의된 책임 등을 확보할 수 있었습니다.3,4
Continuous quality improvement (CQI) strategies are of key importance to medical schools, given the need for curricula to keep pace with advancing public demands, evidence-based medicine, and an increased attention to effectiveness and efficiency.1,2 Since the early 1990s, medical schools have invested considerably in quality management approaches, resulting in better insights in staff performance, further opportunities to signal topics for improvement, and more clearly defined responsibilities.3,4

CQI는 학교가 교육의 질에 대한 다양한 개념을 체계적으로 다루기 위해 도전하는 상태와 유사합니다. 이해관계자의 관점에 따라 교육의 질은 다음과 같이 이해할 수 있습니다.5 

• 목적 적합성(유능한 미래 의사 교육),
• 비용 대비 가치(교육에 대한 투자 수익),
• 완벽성(결함 제로에 집중),
• 탁월성(최고의 프로그램으로 우뚝 서기),
• 혁신성(교육 학습 효과에 집중)

계획-실행-점검(PDCA) 사이클과 같은 실행 프레임워크는 CQI가 반복적이고 점진적인 과정임을 설명해줍니다. PDCA 사이클에서는 교육 결과를 미리 정해진 목표와 비교하고, 평가를 바탕으로 격차를 해소하기 위한 조치를 취할 수 있습니다.6
CQI resembles a state in which schools take on the challenge to address different notions of educational quality in a methodical manner. Depending on the perspective of a stakeholder, educational quality can be understood as

• fitness for purpose (educating capable future physicians),
• value for money (a return on investment in education),
• perfection (focusing on zero defects),
• exceptional (standing out as the best program), or
• transformative (focusing on the educational learning effect).5 

Implementation frameworks such as the plan–do–check–act (PDCA) cycle illustrate that CQI is a repetitive and incremental process. The PDCA cycle holds that educational outcomes are compared to predetermined goals and that based on evaluations, action can be taken to address disparities.6

현재의 품질 관리 접근법의 긍정적인 효과에도 불구하고 교육 개선이 간단한 과정이 아니라는 공감대가 확산되고 있습니다.7 이 개념을 뒷받침하는 세 가지 주요 주장이 있습니다. 

• 첫째, 질 관리 시스템과 프로세스의 성공 여부는 교수진, 지원 직원 및 학생이 이를 구현하고 수용하는 방식에 달려 있습니다.8 예를 들어, 학문적 자유의 전통은 프로그램 평가의 판단적 성격과 상충될 수 있습니다.9
• 둘째, 의과대학은 다양한 하위 문화를 포함하는 복잡하고 계층적인 조직입니다.10 이러한 특성은 개선 노력에 대한 집단적 참여를 방해합니다.11
• 셋째, CQI는 이용 가능한 정보, 시간 및 인센티브에 의해 제한됩니다.12 교육 개선을 위한 추가 노력에 대한 보상이 부족하면 평가가 구체적인 행동으로 이어지지 않는 이유를 설명할 수 있습니다.13

Notwithstanding the positive effects of current quality management approaches, there is a growing consensus that educational improvement is not a straightforward process.7 Three main arguments underpin this conception.

• First, the success of quality systems and processes depends on the way they are implemented and received by faculty, support staff, and students.8 Traditions of academic freedom, for instance, can stand at odds with the judgmental character of program evaluations.9 
• Second, medical schools are complex, hierarchical organizations, which include different subcultures.10 These characteristics hamper a collective engagement in improvement efforts.11 
• Third, CQI is bounded by available information, time, and incentives.12 The lack of rewards for extra efforts to improve education can explain why evaluations are not followed up with concrete actions.13

CQI를 위한 구조와 프로세스는 교육의 질에 대한 관심을 핵심으로 하는 조직(하위)문화에 의해 보완되어야 한다는 생각은 질 문화 개념의 토대를 형성합니다.14,15 이 개념은 조직문화가 "외부 적응과 내부 통합의 문제에 대처하는 방법"16 을 반영한다는 관점과 연결되며 조직(하위)문화와 성과에 대한 이전 연구를 기반으로 합니다.17

• 질 문화는 신뢰와 참여를 촉진하고
• 리더십과 커뮤니케이션은 하드(시스템 또는 프로세스 지향)와 소프트(심리적 또는 가치 관련 지향) 차원 간의 연결을 강화할 수 있습니다.18,19

The idea that structures and processes for CQI should be complemented by an organizational (sub)culture with care for educational quality at its core forms the foundation of the quality culture concept.14,15 This concept is linked to the perspective that organizational cultures reflect “a way to cope with problems of external adaptation and internal integration,”16 and builds on previous research on organizational (sub)culture(s) and performance.17 

• A quality culture promotes trust and involvement, while
• leadership and communication can reinforce the link between its hard (system or process oriented) and soft (psychological or value-related oriented) dimensions.18,19

여러 연구가 질 문화 개념을 더 잘 정의하는 데 기여했으며20,21 고등 교육 내 하위 문화를 식별했습니다.22,23 또한 이전 연구는 질 관리의 성공이 문화적 요인 및 교수진 선호와의 얼라인먼트로 설명될 수 있다는 통찰에 기여했습니다.24,25 그러나 품질 문화에 대한 대부분의 연구는 이론적이고 설명적인 성격을 띠고 있습니다.19 질 정책 및 절차에 참여하는 학생과 교수진이 질 문화를 개념화하는 방식에 대한 실증적 연구가 부족합니다. 특히, 업무와 관련된 심리적 태도가 질 관리 및 책임 절차에 어떤 영향을 미치는지에 대한 교육기관 전반의 통찰력 강화가 필요합니다. 이 분야에 대한 지식의 증대는 품질 문화 육성의 장점을 뒷받침할 것입니다. 본 연구는 조직의 질 문화의 주요 특징이 무엇이며 이러한 특징이 학부 의학교육의 지속적인 개선에 어떻게 기여하는지에 대한 질문을 다룹니다. 의과대학의 CQI 시스템과 프로세스가 점점 더 유사해지고 있는 가운데, 우리는 주로 업무 관련 심리적 태도와 조직 가치 지향성이 CQI에 어떤 차이를 만드는지에 초점을 맞춥니다.
Several studies have contributed to a better definition of the quality culture concept20,21 and have identified subcultures within higher education.22,23 Moreover, previous research has contributed to the insight that the success of quality management can be explained by its alignment with cultural factors and faculty preferences.24,25 Yet most studies on quality culture are of a theoretical, descriptive nature.19 There is a lack of empirical research on the way students and faculty involved in quality policies and procedures conceptualize a quality culture. Specifically, an enhanced insight across institutions is needed in how work-related psychological attitudes counterbalance quality control and accountability procedures. Increased knowledge in this area will support the merit of nurturing a quality culture. Our study addresses the questions what are the key features of an organizational quality culture and how do these features contribute to continuous improvement of undergraduate medical education? As systems and processes for CQI in medical schools are increasingly becoming alike, we mainly focus on how work-related psychological attitudes and organizational value orientations make a difference in CQI.

방법
Method

연구 설계
Study design

우리는 사회 구성주의적 관점에서 다기관 포커스 그룹 연구를 수행했습니다. 연구 설계는 연역적(이론에서 실천으로) 접근법과 귀납적(실천에서 이론으로) 접근법을 결합한 것이 특징입니다.26 포커스 그룹 토론은 참가자들의 다양한 경험, 관점, 태도를 포착하는 데 도움이 되었습니다.27 데이터 수집, 분석, 해석은 순차적으로 진행되어 분석 절차를 반복적으로 조정하고 개선할 수 있었습니다. 
We conducted a multicenter focus group study, operating from a social constructivist stance. The study design is characterized by combining a deductive (from theory to practice) and inductive (from practice to theory) approach.26 Focus group discussions served to capture the broad array of participants’ experiences, perspectives, and attitudes.27 Data collection, analysis, and interpretation were conducted sequentially, allowing for iterative adaptations and refinement of the analysis procedure.

설정
Setting

네덜란드의 8개 의과대학의 교육 품질 자문위원회(EC)가 이 연구에 참여하도록 의도적으로 선정되었습니다. EC 위원은 공식적으로 선출된 교수진과 학생 대표로 구성됩니다. EC의 주요 임무는 교육의 질에 영향을 미치는 모든 문제에 대한 권고 사항을 프로그램 경영진에 제공하는 것입니다. EC는 프로그램 평가가 조직되는 방식에 대해 공식적으로 동의하고 조언할 수 있는 권한을 갖습니다. 위원회는 동일한 수의 학생과 교수진으로 구성됩니다(각 EC는 8~12명의 위원으로 구성). EC를 대상으로 포커스 그룹을 실시하는 데는 네 가지 이유가 있습니다.

• 첫째, EC 교수진은 일반적으로 교육의 개발, 실행, 평가 및 개선에 대한 풍부한 경험을 가진 학자들입니다. 임상, 비임상 또는 전임상, 연구 및 교육 분야의 교수진이 참여 EC에 포함되어 있습니다.
• 둘째, EC 구성원은 현재 시행 중인 품질 시스템 및 절차에 대해 잘 알고 있으며, EC 구성원은 교육 및 평가 및 정책 부서와의 협력을 통해 이러한 시스템 및 절차에 대한 추가 지식을 습득했습니다.
• 셋째, EC에는 학생 대표가 포함됩니다. 이러한 대표성을 통해 품질과 품질 개선에 대해 교수진 외에 다른 관점을 반영할 수 있습니다.
• 넷째, 교수진과 학생의 공통된 EC 멤버십을 통한 친분은 이질적인 그룹 환경에서 열린 토론을 촉진합니다. 

Education quality advisory committees (ECs) of the 8 medical schools in the Netherlands were purposively selected to participate in this research. EC members are formally elected faculty and student representatives. The central task of ECs is to provide the program management with recommendations on all matters influencing quality of education. ECs have formal rights of consent and advice on the manner in which program evaluations are organized. The committees consist of an equal number of students and faculty (each EC has 8 to 12 members). Four reasons underpin the choice to conduct focus groups among ECs.

• First, EC faculty generally are academics with ample experience in the development, implementation, evaluation, and improvement of education. Faculty with clinical, nonclinical or preclinical, research, and education backgrounds are represented in the participating ECs.
• Second, EC members are familiar with the quality systems and procedures in place; EC members have derived additional knowledge on these systems and procedures through training and cooperation with evaluation and policy departments.
• Third, ECs include student representatives. This representation allows for the incorporation of a different perspective on quality and quality improvement (besides that of faculty).
• Fourth, the acquaintance of faculty and students through their shared EC membership facilitates open discussion in a heterogeneous group setting.

네덜란드의 각 의과대학은 학교의 역사, 연구 및 교육 실적, 학생의 다양성에 따라 다소 독특한 조직 문화를 가지고 있습니다. 또한 학교 내에서 적용되는 교육적 접근 방식도 어느 정도 다릅니다. 그러나 학교마다 적용되는 교육 조직 구조와 품질 관리 접근 방식은 비슷합니다. 모든 프로그램은 학술 의료 센터에서 제공하거나 학술 의료 센터와 긴밀히 협력하여 제공합니다. 모든 참여 학교에서는 PDCA 사이클이 CQI의 지침 구조로 사용되며, 모든 프로그램은 네덜란드 학부 의학교육 프레임워크를 준수합니다.28 
Each medical school in the Netherlands has a somewhat distinct organizational culture based on its history, record in research and education, and diversity of student intake. Moreover, educational approaches applied within the schools vary to some extent. The educational organization structures and quality management approaches applied across schools are comparable, however. All programs are offered by, or in close cooperation with, academic medical centers. In all participating schools, the PDCA cycle serves as guiding structure for CQI, and all programs adhere to the Dutch Framework for Undergraduate Medical Education.28

데이터 수집
Data collection

우리는 PDCA 주기에 따라 질문이 구조화된 초기 포커스 그룹 가이드를 개발했습니다. 이 구조를 따르기로 한 것은 이 주기의 각 단계를 최적화하는 것이 CQI로 이어질 것이라는 전제하에 결정되었습니다. 이 가이드(부록 디지털 부록 1: https://links.lww.com/ACADMED/A909)는 연구자의 소속 기관의 전직 EC 위원들과 함께 파일럿 포커스 그룹 세션에서 테스트한 후 질문 순서를 수정하고 이론적 개념의 사용을 제한하는 등 조정을 거쳤습니다. 2018년 5월, 네덜란드에 있는 8개 의과대학의 EC에 모두 연락을 취했습니다. 8개 위원회 중 6개 위원회가 참여하기로 동의했습니다. 참여하지 않은 위원회는 회의 계획에 필요한 시간 투자 및 어려움, EC 구성의 변화 등을 이유로 들었습니다. 총 40명의 EC 위원(학생 18명, 교수진 22명)이 6개의 포커스 그룹에 참여했습니다(표 1 참조). 회의는 2018년 7월부터 12월까지 진행되었습니다. 모든 회의(평균 시간 79분)는 있는 그대로 기록되었고, 익명화 및 코딩된 녹취록이 참가자들에게 전송되어 승인을 받았습니다. 각 포커스 그룹을 시작할 때 참가자들에게 양질의 문화에서 가장 중요한 요소가 무엇이라고 생각하는지 적어달라고 요청했습니다. 이 활동은 사전 지식을 활성화하고 데이터 삼각 측량의 한 형태로 사용되었습니다. 포커스 그룹 회의가 끝날 무렵에는 참가자들에게 그들이 작성한 의견이 토론에 포함되었는지 물어보았습니다. 
We developed an initial focus group guide, with questions structured according to the PDCA cycle. The choice to follow this structure was based on the presupposition that optimizing each step of this cycle will lead to CQI. The guide (Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/A909) was tested in a pilot focus group session with former EC members from the researchers’ home institution and thereafter adjusted; the order of questions was revised, and the use of theoretical concepts was limited. In May 2018, we approached the ECs of all 8 medical schools in the Netherlands. Six of the 8 committees agreed to participate. Reasons given for not participating were the required time investment and difficulty in planning a meeting and changes in the composition of the ECs. In total, 40 EC members (18 students and 22 faculty) participated in the 6 focus groups (see Table 1). The meetings were conducted between July and December 2018. All meetings (average duration, 79 minutes) were transcribed verbatim, and anonymized and coded transcripts were sent to participants for approval. At the start of each focus group, we asked participants to write down what they considered the most important elements of a quality culture. This exercise activated prior knowledge and was used as a form of data triangulation. At the end of the focus group meeting, we asked participants if their written comments were covered in the discussion.

데이터 분석
Data analysis

데이터 분석을 위해 단계적 주제 분석의 일종인 템플릿 분석을 사용했습니다. 템플릿 분석에서는 계층적으로 구조화된 테마로 구성된 일련의 코딩 템플릿을 개발하여 데이터에 반복적으로 적용합니다. 분석이 진행됨에 따라 테마는 지속적으로 수정됩니다.29

• 첫 번째 단계로, G.W.G.B.와 W.S.d.G.는 코딩된 2개의 트랜스크립트를 독립적으로 열어 트랜스크립트 내 및 트랜스크립트 간에 반복되는 코드를 검색합니다. 품질 문화에 관한 최근 문헌고찰에 기술된 주제가 민감성 개념으로 사용되었습니다.19
• 그 후, 두 저자는 만나서 코드를 비교하고 병합하여 주제를 식별했습니다.
• 초기 코딩 템플릿은 24개의 주제와 183개의 코드로 구성되었습니다.
• 그 후 G.W.G.B.는 나머지 기록의 분석을 바탕으로 템플릿을 반복적으로 변경했습니다. 이러한 변경 사항에는 코드의 세부 사항 추가, 병합 및 연결이 포함되었습니다.
• 이후 G.W.G.B.와 W.S.d.G.가 다시 만나 코딩 템플릿의 최종 버전(25개의 테마와 199개의 코드 포함)을 확정했습니다.
• 마지막 단계로, G.W.G.B.는 최종 버전의 템플릿을 사용하여 모든 트랜스크립트를 다시 코딩했습니다.

분석 프로세스는 Atlas-ti 8.3 소프트웨어(ATLAS.ti, GmbH, 독일 베를린)를 사용하여 지원되었습니다. 포커스 그룹이 시작될 때 수행한 서면 연습의 코딩, 녹취록 분석, 전체 연구팀과의 녹취록 토론을 통해 5가지 중요한 주제를 식별하는 데 기여했습니다. 
We used template analysis, a stepwise type of thematic analysis, to analyze the data. In template analysis, a succession of coding templates consisting of hierarchically structured themes is developed and iteratively applied to the data. Themes are modified continuously as the analysis progresses.29 

• As a first step, G.W.G.B. and W.S.d.G. open coded 2 transcripts independently, searching for codes that recurred within and between transcripts. Topics described in a recent literature review on quality culture served as sensitizing concepts.19 
• Subsequently, these 2 authors met to compare and merge codes and identify themes.
• The initial coding template comprised 24 themes and 183 codes.
• Iterative changes to the template were then made by G.W.G.B. based on the analysis of remaining transcripts. These changes concerned further detailing, merging, and linking codes.
• Hereafter, G.W.G.B. and W.S.d.G. met again to establish the final version of the coding template (including 25 themes and 199 codes).
• As a last step, G.W.G.B. recoded all transcripts using the final version of the template.

The analysis process was supported by application of Atlas-ti 8.3 software (ATLAS.ti, GmbH, Berlin, Germany). The coding of the written exercise performed at the start of focus groups, analysis of transcripts, and discussion of transcripts with the full research team contributed to the identification of 5 overarching themes.

반사성
Reflexivity

데이터 수집 및 분석 단계에서 다양한 해석을 반영하기 위해 전체 연구팀은 여러 차례 회의를 가졌습니다. 이 회의에서는 익명화 및 코딩된 녹취록, 현장 노트, CQI에 대한 각자의 이해에 대해 논의했습니다. 모든 연구팀원은 네덜란드 마스트리흐트 대학교 보건직업교육대학의 보건, 의학 및 생명과학 학부에 소속되어 있습니다. 포커스 그룹 진행자(W.S.d.G.)는 개인 및 그룹 인터뷰 경험이 풍부한 교육 과학자입니다. 양질의 문화 개발 박사 과정 중인 또 다른 팀원은 관찰자이자 메모 작성자(G.W.G.B.)로 활동했습니다. 연구팀에는 품질 보증 경험이 있는 교육 과학자(I.H.A.P.W.), 의학교육 혁신가인 의학 생리학자(M.G.A.o.E.), 혁신적인 학습 준비에 중점을 둔 교육 과학자(D.H.J.M.D.)가 추가로 포함되었습니다. 품질 관리, 정책 결정, 의학교육 등 다양한 전문성을 바탕으로 다양한 관점을 포함할 수 있었습니다. 팀 토론을 통해 연구 결과에 대한 합의에 도달했습니다.  
To reflect on diverse interpretations in the data gathering and analysis stages, the full research team held several meetings. In these meetings, we discussed the anonymized and coded transcripts, field notes, and our individual understandings of CQI. All research team members are affiliated with the Faculty of Health, Medicine and Life Sciences at the School of Health Professions Education at Maastricht University in the Netherlands. The focus group moderator (W.S.d.G.) is an educational scientist with extensive experience in interviewing individuals and groups. Another team member, who is a doctoral candidate in quality culture development, acted as observer and note taker (G.W.G.B.). The research team further included an educational scientist with experience in quality assurance (I.H.A.P.W.), a medical physiologist who is a medical education innovator (M.G.A.o.E.), and an educational scientist focusing on innovative learning arrangements (D.H.J.M.D.). Our diverse expertise (in quality management, policy making, and medical education) enabled inclusion of multiple perspectives. From team discussions, we reached a negotiated consensus on the study’s results.

윤리적 고려 사항
Ethical considerations

이 연구는 네덜란드 의학교육윤리심의위원회(NVMO ERB-1046)의 승인을 받았습니다. 
The study was approved by the Dutch Association for Medical Education Ethical Review Board (NVMO ERB-1046).

연구 결과
Results

연구 결과 CQI의 질적 문화 구성 요소를 반영하는 5가지 주요 주제를 확인했습니다.

• (1) 개방적 시스템 관점 육성,
• (2) 교육 (재)설계에 이해관계자 참여,
• (3) 교육과 학습의 가치인정,
• (4) 소유권과 책임 사이의 탐색,
• (5) 통합적 리더십 구축 

지원적인 커뮤니케이션 환경(조직의 리더에 의해 촉진될 수 있음)은 처음 네 가지 주제에 기여하고 그 안에 통합되어 있습니다. 다음 섹션에서는 이러한 주제와 그 특징적인 요소에 대해 논의하고(그림 1 참조), 포커스 그룹 회의(FGn)에서 도출된 학생(Sn) 및 교수진(Fn)의 발언을 인용하여 설명합니다. 
We identified 5 main themes that reflect quality culture constituents to CQI:

• (1) fostering an open systems perspective,
• (2) involving stakeholders in educational (re)design,
• (3) valuing teaching and learning,
• (4) navigating between ownership and accountability, and
• (5) building on integrative leadership.

A supportive communication climate (which can be fueled by the organization’s leaders) contributes to, and is integrated within, the first 4 themes. In the following sections, we discuss the themes and their characterizing elements (see Figure 1) and illustrate them with student (Sn) and faculty (Fn) quotes derived in the focus group meetings (FGn).

조사 결과 참가자들이 양질의 문화에서 가장 중요하게 생각하는 요소에 대한 일관된 그림이 드러났습니다. 따라서 결과는 통합된 방식으로 제시됩니다(학생과 교수진의 의견을 번갈아 제시). 참가자들의 응답은 PDCA 모델에 따라 구조화된 질문과 일치했으며, 이는 교직원과 학생들이 개선을 위한 체계적인 작업 방식을 내재화했음을 의미합니다. 이러한 결과는 포커스 그룹을 시작할 때 실시한 서면 연습에서 응답자들이 체계적인 접근 방식이나 PDCA 주기의 중요성을 자주 언급한 결과로 뒷받침됩니다(보충 디지털 부록 2: https://links.lww.com/ACADMED/A910).
Our findings reveal a consistent picture on what participants considered the most important aspects of a quality culture. The results are therefore presented in an integrated manner (alternating student and faculty quotes). Participants’ responses were in line with prompts structured under the PDCA model, which implies that faculty and students have internalized a systematic way of working on improvement. This finding is supported by results from the written exercise performed at the start of the focus groups in which respondents frequently referred to the importance of systematic approaches or the PDCA cycle (Supplemental Digital Appendix 2 at https://links.lww.com/ACADMED/A910).

개방적 시스템 관점 육성
Fostering an open systems perspective

참가자들은 개방적인 분위기와 외부 지향성, 실험과 혁신의 자유가 CQI에 필수적인 요소로 꼽았습니다. 이들은 내부적 연계(과정 간)와 외부적 연계(현장의 발전 및 요구사항)에 대한 끊임없는 필요성을 표명합니다. 다음 교수진의 사례에서 알 수 있듯이 개방형 시스템 관점을 취하는 것은 다양한 수준에서 관련이 있습니다:
Participants identify a general atmosphere of openness, combined with an external orientation and freedom to experiment and innovate as essential for CQI. They express a constant need for internal alignment (between courses) and external alignment (with developments in, and requirements of, the field). As the following faculty member illustrates, taking an open systems perspective is relevant on different levels:

[코스 코디네이터는 엄밀한 의미에서 자신의 임무보다 조금 더 멀리 내다볼 필요가 있습니다. 저는 항상 이를 미시적 수준이라고 부르는데, 교육으로의 전환이 이루어지는 곳입니다. 하지만 중급 수준도 있습니다. 프로그램 내에서 무엇이 선행되고 무엇이 뒤따르는지를 고려해야 합니다. 수평적, 수직적 연결이 어떻게 이루어지고 있는지, 거시적 수준에서는 프로그램에서 사회적 맥락과 전문성에 대한 수요, 대학원 교육과의 연계까지....... 이렇게 복잡한 상황에서 교육을 발전시켜야 한다는 것이죠. 이것이 바로 도전입니다. (FG1, F5)
[Course coordinators] need to look a bit further than just their assignment in the strict sense. I always call that the microlevel, where the translation to education is being made. But then, there’s also the mesolevel. Within the program, you should consider what precedes and what comes after. How the horizontal and vertical connections are made, and at the macrolevel, from the program to the societal context and the demand for specialisms, the alignment with postgraduate training…. That you have to develop education in such a complicated situation. That is the challenge. (FG1, F5)

참가자들은 조직의 적응력에 중요한 기여 요인으로 개방성과 외부 지향성을 언급합니다. 프로그램 환경 내부 또는 외부에서 얻은 새로운 인사이트는 CQI의 변화 동인으로 간주됩니다. 인증 패널의 권고, 의료계의 다른 프로그램과의 벤치마킹, 노동 시장의 의견, 교육자, 동료 및 학생의 조언 등을 통해 얻은 새로운 인사이트가 그 예입니다. 이러한 인사이트를 실행에 옮기려면 유연성, 창의성, 실험과 혁신의 여지가 필요합니다:
Participants refer to openness and an external orientation as important contributors to the organization’s adaptivity. New insights obtained from within or outside the program environment are seen as drivers of change for CQI. Examples are new insights derived through recommendations by accreditation panels; benchmarking with other programs in medicine; inputs from the labor market; and advice from educationalists, peers, and students. To translate these insights into practice, flexibility, creativity, and room to experiment and innovate are needed:

실수를 해도 괜찮고 실수에 대해 솔직하게 말할 수 있는 문화가 조성되어야 합니다. 모든 것이 완벽하게 이루어지기를 서로에게 요구한다면 이를 억제해야 합니다....... 또한 ... 교육 자료가 완전히 고정되어 있지 않고 약간 유연한 형식으로되어있어 모든 사람이 자신의 길을 찾을 수 있습니다. 이렇게 하면 사람들이 더 많이 참여하고 다양한 접근 방식이 어떻게 작동하는지에 대한 정보를 수집할 수 있습니다. (FG1, F2)
The related culture is that it is all right to make mistakes and that you can be open about it. If we demand from each other that everything goes perfect, then you suppress that…. Also … that the educational material is not completely set in stone, but has a bit of a flexible format, so that everyone can find their way in it. That way, people thrive and you can collect information on how different approaches work. (FG1, F2)

교수진이 교육 접근 방식을 과감하게 바꾸는 것이 중요합니다. 예를 들어, 강의가 그 자체로 효과적이지 않다는 말은 종종 있습니다. 그러나 우리는 여전히 강의가 일반적인 관행인 상황에 처해 있습니다. (FG3, S1)
It is important that faculty dares to change educational approaches. For instance, it has often been said that lectures are not per se effective. However, we are still in a situation in which lectures are common practice. (FG3, S1)

학생과 교수진은 특히 커리큘럼 내용의 일관성을 유지하기 위해 교수팀 내, 교수 코디네이터 간의 소통에 주의를 기울여야 한다고 지적합니다. 
Students and faculty point out that communication within teaching teams and between teaching coordinators requires attention, especially to safeguard alignment of the curriculum content.

교육 (재)설계에 이해관계자 참여하기
Involving stakeholders in educational (re)design

EC 위원들은 교육을 (재)설계할 때 교수진과 학생의 참여와 공동의 목표 지향성에 주목해야 한다고 설명합니다. 이러한 참여는 다양한 시나리오, 기회, 과제를 고려하는 데 기여합니다: 
The EC members elaborate that involvement and a shared goal orientation of faculty and students in the (re)design of education require attention. This involvement contributes to considering various scenarios, opportunities, and challenges:

모든 사람은 그것[교육 발전]에 대해 다른 관점을 가지고 있으며, 모든 사람이 다른 가능성이나 구현을 봅니다. 예를 들어, 일이 잘못될 수도 있습니다. 서류상으로는 훌륭해 보이지만 학생과 교수진이 경험하는 것은 완전히 다를 수 있습니다. 그렇기 때문에 모든 사람의 참여가 필요하다고 생각합니다. (FG5, S2)
Everyone has a different view on it [development of education], and everyone sees different possibilities or implementations. Also, for example, where things can go wrong. Something can look great on paper but can be experienced totally different by students and faculty. That is why I think we need everyone on board. (FG5, S2)

응답자들은 또한 기대치를 명확히 하고 불확실성을 제거하여 교육 변화 활동에 대한 지원을 창출하기 위해서는 교직원과 학생의 참여가 중요하다고 언급합니다. 그러나 실제로는 더 큰 규모의 커뮤니티를 참여시키고 소통하는 목표를 달성하기가 어려울 수 있습니다:
Respondents further note that involvement of faculty and students is important to clarify expectations, take away uncertainty, and therewith create support for educational change activities. However, in practice, the objective to involve—and communicate with—the larger community can be difficult to meet:

계획 개발의 전체 기간 동안 우리는 계획을 실행해야 하는 사람들을 충분히 참여시키지 못했습니다. 이들에게 충분히 알리지 않았고, 갑자기 이런 일이 발생하니 압박감이 컸습니다. 반드시 필요한 일이었습니다. 사람들이 우리가 왜 이런 일을 하는지 충분히 알지 못했습니다. 이유가 무엇이었는지요. (FG6, F6)
During the whole period of plan development, we insufficiently involved the people who eventually needed to implement it. We did not inform them sufficiently and what happens all of a sudden, the pressure was on. It needed to happen. Without people being fully aware of why we were doing this. What the reason was. (FG6, F6)

상향식 개선 접근 방식과 하향식 개선 접근 방식 사이의 균형이 자주 언급됩니다. 한편으로는 기본 틀과 (재)개발 구조를 제공하기 위해 조직 고위층에서 시작된 접근 방식이 필요하고, 다른 한편으로는 교수진과 학생들이 계획에 기여할 수 있는 능력이 중요합니다: 
The balance between bottom-up and top-down improvement approaches is often referred to. On the one hand, approaches initiated at a high level in the organization are needed to provide a basic framework and (re)development structure, while on the other hand, the ability of faculty and students to contribute to plans is important:

하향식도 상향식도 아닌, 모든 이해 당사자들과 협의하여 문제를 파악하고 그런 방식으로 합의에 도달할 수 있어야 한다는 것이죠. 적어도 그것이 철학입니다. 코디네이터나 교수가 커리큘럼을 설계하고 "이렇게 하세요."라는 식으로 실행하는 것이 아니라 말이죠. (FG5, S3)
That it is neither a top-down nor a bottom-up implementation, but that we identify issues in consultation with all parties involved, and that a consensus can be reached that way. At least, that is the philosophy. Instead of a coordinator or professor designing a curriculum and implementing it like “here you go.” (FG5, S3)

구체적인 가치는 대표 기관에 귀속됩니다. 이러한 기구들은 새로운 아이디어를 발굴하고 모범 사례에 대한 통찰과 공유를 바탕으로 조언을 제공함으로써 개선에 기여합니다: 
Specific value is attributed to representative bodies. These bodies contribute to improvement by identifying new ideas and providing advice based on insights in—and sharing of—best practices:

저는 학생들이 교육 분야의 강점과 모범 사례를 잘 파악하고 있다고 생각합니다..... 제 생각에 학생[대표]으로서 우리가 해결해야 할 과제 중 하나는 이러한 품질 측면이 실제로 무엇인지 인식하고 "이것이 아이디어였고, 이것이 구현되는 방식이며, 품질을 개선하기 위해 주목해야 할 지점"을 고려하는 것입니다. (FG3, S1)
I believe that students are very well equipped to map the strong aspects and best practices within education…. In my opinion, part of the challenge for us as students [representatives] is to be aware of what those quality aspects actually are … to consider “this was the idea, this is how it is implemented, and these are the points of attention to improve quality.” (FG3, S1)

응답자들은 이해관계자의 참여를 보장하기 위해 변화 리더에게 프로젝트 관리 및 커뮤니케이션 기술이 필요하다고 지적합니다. 의학교육 환경에서 이러한 기술에 대한 관심이 부족하기 때문에 참여가 부족한 것으로 나타났습니다.
The respondents indicate that to safeguard stakeholder involvement, change leaders require project management and communication skills. A lack of attention for such skills in the medical education setting is expressed as reason for experiencing a shortfall of involvement.

교육과 학습의 가치
Valuing teaching and learning

교육을 개선하려는 교수진의 동기는 학생을 향한 (학문적, 직업적) 발전에 대한 헌신에서 비롯됩니다. 예를 들어, 교수진은 교육 활동 후 학생들과의 만남을 통해 동기 부여 효과를 얻을 수 있으며, 이 시간 동안 학생들은 특정 활동의 학습 효과에 대해 감사를 표합니다. 학생들에 따르면 교수진의 헌신은 여러 가지 방식으로 나타납니다(예: 가시성 및 접근성, 학생 질문에 대한 응답, 강의에 대한 열정). 헌신적인 교수진은 자기 성찰적인 태도를 취하는 경향이 더 강하고 피드백에 더 잘 반응하며, 이는 내부적인 개선 의지에서 비롯됩니다: 
The motivation of faculty to improve education stems, to an important degree, from commitment to the (academic and professional) development of students. Faculty, for example, point to the motivating effect of meeting with students after teaching activities, during which time students express appreciation for the learning effect of certain activities. According to students, faculty’s commitment manifests in several ways (e.g., through visibility and approachability, responsiveness to student questions, enthusiasm in lecturing). Committed faculty are more inclined to attain a self-reflective attitude and are more responsive to feedback, stemming from an internal drive to improve:

네, 우선은 개선하려는 교사의 의지가 중요하다고 생각합니다. 이것은 매우 다양한 개선 계획을 통해 얻을 수 있는 것이기도 합니다: 한 교사는 다른 교사보다 비판에 훨씬 더 개방적입니다. (FG2, S2)
Yes, I believe for one thing, it involves the willingness of the teacher to improve. This is also what you get from many very different improvement plans: One teacher is far more open to criticism than the other. (FG2, S2)

교사와 학생 모두 의사 결정 과정에 참여하고 목표를 공유하는 것이 헌신에 기여한다고 보고합니다. 일반적으로 교육에 대한 관심과 인정은 교사의 가르침에 대한 동기를 부여합니다. 다음 교직원의 말은 교육보다 연구를 중시하는 것이 교육에 투자하려는 노력을 방해할 수 있음을 보여줍니다:
Both teachers and students report that their participation in decision-making processes and shared goal formulation contribute to commitment. In general, attention to and appreciation of education fuel faculty’s motivation to teach. The following quote from a staff member illustrates that valuing research over education can hamper efforts to invest in education:

학과장은 교수진의 연구와 논문을 작성하는 것에 훨씬 더 많은 관심을 보입니다. 블렌디드 러닝을 구현하거나 새로운 학습 프로그램 청사진을 만들면 그것도 성과가 되지만, 부서장을 행복하게 하는 성과는 아닙니다. (FG5, F2)
A head of department is far more interested in faculty members’ research and you producing manuscripts. That is something which pays off … if you implement blended learning or create a new study program blueprint … that’s also output, but it’s not the kind of output that makes the department head happier. (FG5, F2)

6개 기관의 응답자 모두 과도한 업무량이 교육에 전념하는 데 방해가 된다고 답했습니다. 이에 반해 상급 경영진의 교육에 대한 관심과 인정은 헌신을 자극합니다: 
Respondents from all 6 institutions report that excessive workload hinders the commitment to education. As a counterbalance, attention to—and appreciation of—education from upper management stimulates commitment:

교육에 대한 관심과 열의에 따라 교육의 질이 만들어지기도 하고 깨지기도 하는데, 교육은 하다 보면 좋아지기 시작하고 자동적으로 향상되기 때문입니다. 그래서 주로 시간과 관심, 주변 사람들의 관심이 중요하다고 생각합니다. 그래서 네, 교육 경력 경로와 연례 평가에서 상사의 관심... 그런 모든 종류의... 교육에 대한 조직 내 관심. (FG3, F2)
The quality of education is made or broken by the attention to and enthusiasm for education, because if you do it, you will start to like it, and you will also automatically improve. So I think it mostly concerns time and attention and interest from other people. So yes, educational career paths and your superior’s attention during the annual appraisal … all that kind of … attention within the organization for education. (FG3, F2)

교수진은 헌신적인 교직원들이 동료 교사와의 대화나 비공식적으로 학생의 의견을 묻는 등 (표준 교육 평가 외에) 추가적인 피드백을 적극적으로 구한다고 설명합니다. 학생 대표들은 교수와 학생 간의 짧은 거리와 학생이 비공식적으로 피드백을 제공할 수 있는 기회가 이러한 측면에서 매우 중요하다고 덧붙였습니다. 참가자들은 교직원-학생 커뮤니티 구축을 통해 교수와 학습을 중시하는 것이 중요하며, 이는 대면 상호작용의 여지가 많은 소규모 단위의 교육을 통해 달성할 수 있다고 지적합니다. 
Faculty explain that committed staff members actively seek additional sources of feedback (other than the available standard educational evaluations), for instance, by sparring with peers and by informally asking for student opinions. The student representatives add that a short faculty–student distance and student opportunities to provide feedback informally are instrumental in this respect. Participants point to the importance of valuing teaching and learning through staff–student community building, which can be reached through teaching in smaller units with more room for face-to-face interaction, for example.

소유권과 책임 사이에서 탐색하기
Navigating between ownership and accountability

교수진에 따르면, 자신의 통찰력을 바탕으로 교수 학습 활동을 설계하면 주인의식을 고취하고 지속적으로 개선하려는 동기를 강화할 수 있다고 합니다. 교육 (재)개발을 (팀) 공동의 과제로 삼고 전문가적 자율성의 여지를 두면 팀이 헌신한다면 교육의 질에 영향을 미칩니다:
According to faculty, designing teaching and learning activities based on their own insights stimulates ownership and reinforces their motivation to continuously improve. Making the (re)development of education a shared (team) task, with room for professional autonomy, affects educational quality, provided that the team is committed:

최고의 기획 그룹은 광범위한 토론이 이루어지고 토론을 피하지 않는 팀입니다..... 헌신과 함께한다는 느낌이 있어야 합니다. "우리는 무언가를 창조할 것이다." "우리는 무언가를 만들 것이다." 이것이 바로 퀄리티를 얻는 방법입니다. 때때로 관리 기관에서 정한 경계를 넘을 수도 있습니다. 하지만 그런 경우에도 그들은 어쨌든 당신에게 호루라기를 불 것입니다. (FG1, F4)
The best planning groups are teams in which extensive discussions take place, and where discussion is not avoided…. There has to be commitment and a feeling of togetherness. “We are going to create something.” “We are going to build something.” That is how you get quality. Maybe you will sometimes cross the boundaries set by the management institute. But yes, in that case, they will blow the whistle on you anyway. (FG1, F4)

자율성과 주인의식은 동료 지원 및 책무성 절차(즉, 체계적인 평가 및 개선 접근 방식으로서의 PDCA 주기)와 연계되어야 합니다. 결과 평가보다 단기적인 학생 만족도와 과정에 중점을 두는 것은 교수진이 선호하는 학생의 종단적 발달에 초점을 맞추는 것과 모순됩니다. 또한 평가가 혁신과 연계되지 않거나 학습 효과를 포착하지 못할 수도 있습니다:
Autonomy and ownership need to be linked with peer support and accountability procedures (i.e., the PDCA cycle as systematic evaluation and improvement approach). An emphasis on short-term student satisfaction and process over outcome evaluations contradicts faculty’s preferred focus on the longitudinal development of students. Moreover, evaluations might not be aligned to innovations or fail to capture learning effects:

목표에 도달했는지 훨씬 더 광범위하게 측정해야 하고, 그러면 다시 제 목표로 돌아와야 합니다. 제 목표는 시험이 끝나거나 학기가 끝난 후 학생들이 행복해하는 모습을 보는 것이 아닙니다. 제 목표는 학생들이 훌륭한 의사가 되는 것을 보는 것입니다. 그것이 제 목표입니다. (FG6, F5)
You need to measure to a much larger extent if you reached your goals, and then I come back to my goal again. My goal is not to see happy students after their exam or after the semester. My goal is to see them become a great doctor. That is my goal. (FG6, F5)

학생과 교수진은 피드백이 건설적인 것이 중요하다고 말합니다. 여기서 응답자들은 내러티브 피드백의 부가가치에 대해 구체적으로 언급합니다. 평가의 후속 조치에 대한 정보와 커뮤니케이션이 부족하면 피드백의 질이 떨어집니다. 평가의 목적과 후속 조치에 대한 추가 설명은 학생이 양질의 피드백을 제공할 가능성을 높일 수 있습니다. 또한 명확한 책임 구조를 포함시키는 것이 중요합니다: 
Students and faculty report that it is key for feedback to be constructive. Herein, respondents refer specifically to the added value of narrative feedback. A lack of information and communication on the follow-up of evaluations mitigates feedback quality. Further explanation of the purposes and follow-up of evaluations can enhance the likeliness of students’ provision of high-quality feedback. Moreover, embedding clear responsibility structures is key:

저희는 1년 넘게 무슨 일이 일어나고 있는지 알아내려고 노력해 왔습니다. "저 사람은 이렇게 하고, 저 사람은 저렇게 하고, 저 사람은 저렇게 피드백을 준다"라고 말할 수 있는 사람은 아무도 없습니다. 코스를 보면 개선하는 것이 번거롭고 몇 년이 걸립니다. 하지만 어떤 방식으로 구조화되어 있고 누가 무엇을 책임지는지 위에서부터 아래로 명확해야 한다고 생각합니다. (FG4, S1)
We have been trying to find out what is going on for more than a year now. There is nobody who can tell us “that person does this, that one does that, and that one gives feedback,” etc. If you look at a course, it is cumbersome to improve and it will take years. But I think it should be clear from the top down that it is structured in a certain way and who is responsible for what. (FG4, S1)

복잡한 조직 구조와 많은 교직원이 조정 및 실행 역할에 관여하는 것은 평가 결과에 대한 후속 조치를 어렵게 하는 요인으로 꼽힙니다.
Complex organizational structures and involvement of many faculty members in coordination and implementation roles are considered to frustrate the follow-up on evaluation results.

통합적 리더십 구축
Building on integrative leadership

도표 1은 통합적 리더십이 앞서 설명한 4가지 주제에 존재하는 긴장을 엮어내는 데 어떻게 기여하는지를 요약한 것입니다. 개방적 시스템 관점을 키우는 것과 관련하여 학생을 포함한 다학제적 팀을 구성하는 것이 중요한 것으로 간주됩니다. 이러한 팀을 구성하면 책임과 의사결정을 공유하고 다양한 관점을 포용할 수 있습니다:

Chart 1 summarizes how integrative leadership contributes to intertwining the tensions present within the 4 themes described previously. With regard to fostering an open systems perspective, the formation of multidisciplinary teams (including students) is considered important. Such teams allow for shared responsibilities, decision making, and the inclusion of different perspectives:

작업을 수행해야 하는 그룹부터 시작해야 한다고 생각합니다. 그룹은 너무 크지 않고 가능한 한 이질적이어야 하며, 교육 조직 내 모든 구성원으로부터 해당 과제를 수행하도록 승인을 받아야 합니다. (FG3, S1)
I think you should start with the group that has to perform the task. The group should not be too large, but as heterogeneous as possible … and it should get approval from everyone within the educational organization to perform that task. (FG3, S1)

리더는 중요한 (프로그램 또는 조직) 목표와 개별 교수진의 야망, 동기 부여 및 전문성 사이의 연결 고리를 자극해야 합니다. 팀이나 개별 교사에게 너무 많은 자유를 제공하면 커리큘럼의 일관성을 해칠 수 있습니다:
Leaders ought to stimulate connective links between the overarching (program or organization) goals and individual faculty members’ ambitions, motivations, and specialties. Offering too much freedom to teams or individual teachers can endanger the curriculum coherence:

현재 많은 교사들이 [학습 프로그램 관리자가] 내용을 무시하고 자기 방식대로 교육을 개발하는 것을 볼 수 있습니다. 물론 좋은 의도로 하는 일이라는 점을 분명히 말씀드리지만, 그렇게 되면 모든 것이 뒤죽박죽이 되죠. (FG4, F2)
What you see now is that when those people [the study program management] ignore the content, a lot of teachers develop education in their own way. Of course they do this with the best intentions, let me make that clear, but yeah, then everything becomes all jumbled. (FG4, F2)

팀이 자유롭게 운영할 수 있는 일반적인 프레임워크는 혁신을 위한 유연성과 효과와 효율성을 유지하기 위한 안정성 사이에서 균형을 잡는 데 도움이 됩니다:
A general framework within which teams have freedom to operate helps to establish a balance between flexibility to innovate and stability to remain effective and efficient:

예, 의도된 목표에 따라 프레임워크가 결정되고, 결국 프레임워크에 따라 사람들에게 "여러분에게는 레버리지와 일정한 자유가 있지만, 주어진 프레임워크의 경계 내에서만 가능합니다."라고 말할 수 있습니다. (FG6, F5)
Yes, the intended aims determine the framework and the framework in the end determines that you tell people, “You have leverage and a certain freedom, but within the boundaries of the provided framework.” (FG6, F5)

지지적인 커뮤니케이션 분위기를 조성하는 리더의 능력은 개선 이니셔티브의 성공을 결정하는 중요한 요소로 간주됩니다. 리더는 커뮤니케이션 프로세스를 통해 조직 변화의 비전에 대한 투명성을 높이고 참여를 촉진할 수 있습니다:
Abilities of leaders to establish a supportive communication climate are considered important determinants of the success of improvement initiatives. Through communication processes, leaders can foster transparency on the vision behind organizational change and foster involvement:

좋은 비전일지라도 그 비전이 정확히 무엇을 수반하는지 알고 싶을 수 있습니다. 비전을 공유하면 오류가 발생할 여지가 있습니다. 그러면 적어도 지평선에 있는 점이 무엇인지 알 수 있습니다. 누군가 이메일을 보내는 것을 잊어버려도 "괜찮아. 우리가 무엇을 위해 노력하고 있는지 알아요. 왜 이런 일이 지금 일어나야 하는지 알아요."라고 생각할 수 있습니다. (FG2, F2)
It could just happen to be a good vision, but then you would like to know what it entails exactly. If you share it, this vision, you have some room for errors. Then at least you know what the dot on the horizon is. It could happen that somebody forgets to send you an email, and you think, “It’s okay. I know what we are working towards. I know why this needs to happen now.” (FG2, F2)

EC 멤버들은 지원과 협력적인 교사 네트워크, 교육 커리어 트랙 구축, 교육에 대한 추가 시간 또는 보상 제공 등 리더가 교수와 학습의 가치를 증진하고 동기를 유발하는 다양한 사례를 제시합니다. 리더는 교육에 대한 인식과 건설적인 피드백 제공을 통해 소유권(및 자율성)과 책임(및 통제)의 균형을 맞추는 데 영향을 미칩니다. 
The EC members provide various examples of the way leaders promote valuing of teaching and learning and trigger motivation: through support and collaborative teacher networks, establishing education career tracks, and offering additional time or reimbursement for teaching. Leaders affect the balance of ownership (and autonomy) with accountability (and control) through appreciation of education and the provision of constructive feedback.

토론
Discussion

이 연구에서 우리는 의학교육에서 CQI 문화를 형성하는 5가지 주제를 확인했습니다. 차트 1에서 볼 수 있듯이, 조직 내에는 교육의 질을 유지하고 발전시키기 위한 방향성 사이에 다양한 긴장이 존재합니다. 이러한 경쟁적 지향점 간의 통합과 시너지 창출을 위해서는 다학제적 협업, 개방적 의사소통, 교수진 개발 및 인적 자원에 대한 투자, 품질 관리보다 품질 향상에 초점을 맞춘 책임 절차가 강화되어야 합니다. 
In this study, we identified 5 themes that in concert shape a culture for CQI in medical education. As Chart 1 illustrates, various tensions within organizations exist between orientations to maintain and further develop the quality of education. The integration and creation of a synergy between these competing orientations call for increased multidisciplinary collaboration, open communication, investments in faculty development and human resources, and accountability procedures focusing on quality enhancement over quality control.

개방형 시스템 관점(주제 1)은 지식 공유 강화와 창의성 및 혁신의 자극을 통해 질적 발전을 촉진하는 데 도움이 됩니다. 이러한 관점을 취하면 학교가 점진적 단일 루프 학습과 유사한 CQI 노력에 전념하는 것에서 진정한 학습 조직(수정된 목표, 의사결정 규칙 또는 양쪽 모두의 이중 루프 학습과 유사한)으로 전환하는 데 도움이 됩니다.30 CQI 문화를 촉진하려면 의과대학의 현재 가치관을 변화시킬 필요가 분명합니다. 교수진은 일반적으로 유연하고 인간 중심적인 조직을 선호하지만,31,32 의과대학은 여전히 보수적이고, 위계적이며, 단절되고, 인본주의적 성향을 저해하는 것으로 인식되는 경우가 많습니다.22,33-35 
An open systems perspective (Theme 1) aids in promoting quality development through intensified knowledge sharing and the stimulation of creativity and innovation. Taking such a perspective aids schools in their shift from devoting to CQI efforts (resembling incremental, single-loop learning) to becoming true learning organizations (resembling modified goals, decision-making rules, or both—double-loop learning).30 To stimulate a culture for CQI, a need for change in current values of medical schools is apparent. Whereas faculty typically prefer a flexible and human centered organization,31,32 medical schools are still often seen as conservative, hierarchical, disconnected, and discouraging humanistic orientations.22,33–35

광범위한 이해관계자의 참여(주제 2)는 지식, 기술 및 (잠재적으로 경쟁적인) 가치의 다양성이 교육의 질에 대한 다면적인 개념을 다루는 데 도움이 되므로 CQI의 핵심입니다.36 그러나 의료 전문가와 학계는 (임상 서비스 활동, 부서, 학문 분야 등과 관련된) 사일로 내에서 일하고 학습하는 데 익숙하며, 이는 고유한 태도, 문제 해결 능력 및 공통 언어 사용을 강화합니다.37 또한 의사와 연구자는 일반적으로 상당한 자율성을 가지고 있습니다. 이들은 개별적인 책임을 지는 데 익숙하고 자신의 학문 분야의 이익을 옹호하는 데 열심입니다.37 다양한 배경을 가진 교수진이 참여하는 철저한 토론과 공동 창작 세션은 집단적 개선 활동을 시작하는 데 핵심적인 역할을 합니다.38 또한 CQI는 학생을 고객 또는 소비자에서 조직 문화의 적극적인 구성원 및 기여자로의 역할 변화를 수반합니다.
Broad stakeholder involvement (Theme 2) is key to CQI, as diversity in knowledge, skills, and (potentially competing) values helps to address the multifaceted notion of education quality.36 However, medical professionals and academics are used to working and learning within silos (relating to their clinical service activities, departments, disciplines, etc.), which reinforce distinct attitudes, problem-solving skills, and the use of a common language.37 Moreover, physicians and researchers typically have a large degree of autonomy. They are used to taking individual responsibility and are keen to defend interests of their own discipline.37 Thorough discussions and cocreation sessions involving faculty from different backgrounds form a keystone to initiate collective improvement activities.38 Additionally, CQI entails a role change from students as clients or consumers to active members of and contributors to the organizational culture.

인센티브와 교수진의 요구 만족도에 대한 연구와 함께,39,40 우리는 CQI의 외재적 동기에 대한 몇 가지 예시를 발견했습니다. 자금 지원, 개발 시간, 정보 공유, 교수진 개발 이니셔티브 증가를 통한 교육 및 학습의 가치인정(주제 3)은 조직의 개선 잠재력에 영향을 미칩니다.41,42 따라서 조치를 취하는 데 필요한 자원이 부족하다면 단순히 주인의식과 책임감을 고취하는 것(주제 4)은 유익한 결과로 이어지지 않을 것입니다. 
In line with research on incentives and faculty needs satisfaction,39,40 we found several illustrations of extrinsic motivators for CQI. The valuing of teaching and learning (Theme 3) through increased funding, time for development, information sharing, and faculty development initiatives influence the organization’s improvement potential.41,42 Hence, a mere promotion of ownership and accountability (Theme 4) will not lead to beneficial results if required resources to take action are lacking.

우리의 연구 결과는 통합적 리더십(주제 5)이 양질의 문화 발전을 지원한다는 것을 보여줍니다. 의학교육의 리더십은 개별 교수진의 감독, 지도, 지원에서 더 넓은 집단에 초점을 맞추는 것으로 변화하고 있습니다. 리더는 강력한 리더십에 CQI의 책임을 돌리는 대신 동기부여자, 멘토, 촉진자 역할을 해야 합니다. 지식 집약적인 의과대학 환경에서 리더와 직원들은 조직의 문제에 대한 의미와 해결책을 재구성합니다.43 의학교육의 CQI는 다양한 스타일을 결합할 수 있고 다양한 이해관계자의 목표와 야망을 통합할 수 있는 리더가 가장 잘 수행할 수 있습니다.44 
Our findings indicate that integrative leadership (Theme 5) supports further quality culture development. Leadership in medical education is changing from individual faculty supervision, guidance, and support to a focus on the broader collective. Instead of attributing responsibility for CQI to strong leadership, leaders are expected to be motivators, mentors, and facilitators. In the knowledge-intensive setting of medical schools, leaders and employees coconstruct meaning and solutions to organizational issues.43 CQI of medical education is best served with leaders who are able to combine multiple styles and who are able to coalesce different stakeholder goals and ambitions.44

실천 커뮤니티(CoP)45를 구현하면 지속적인 개선을 위한 문화 주제를 다룰 수 있는 기회의 창이 열립니다. CoP는 다양한 학문적 배경을 가진 교사들 간의 상호작용을 촉진하고 새로운 관점을 얻을 수 있는 기회를 창출합니다. 또한 이러한 커뮤니티 내에서 조직된 (연수) 활동은 참여 의식을 강화하고 역량, 자신감, 신뢰성, 유대감을 향상시킵니다.46 CoP는 교수 학습, 개인 개발, 교사 정체성 확립을 중시하는 환경을 형성합니다. 교육 및 학습 커뮤니티의 건설적인 동료 피드백 프로세스는 교육 개선에 대한 주인의식과 책임감의 균형을 맞추는 데 도움이 됩니다. CoP의 개방적이고 종적인 성격은 그 부가가치에 필수적이며, 단순히 우수한 챔피언들의 일시적인 리그를 구축하는 것을 넘어서야 한다는 점에 유의해야 합니다.
The implementation of communities of practice (CoPs)45 opens a window of opportunity to address the themes of a culture for continuous improvement. CoPs facilitate interaction between teachers from diverse disciplinary backgrounds and create opportunities to gain new perspectives. Moreover, (training) activities organized within these communities strengthen a sense of involvement and enhance competence, confidence, credibility, and connection.46 CoPs form an environment in which the valuing of teaching and learning, personal development, and teacher identity building is central. Constructive peer feedback processes in teaching and learning communities help to balance ownership and accountability for educational improvement. It should be noted that an open and longitudinal character of CoPs is essential to their added value; they should go beyond the mere establishment of a temporal league of quality champions.

이론적 및 실무적 의의
Theoretical and practical significance

본 연구는 표준 품질 관리 접근 방식이 품질 문화 개념에서 도출된 통찰력으로 보완되어야 한다는 교수진과 학생들의 의견을 대변합니다. 보고된 결과는 이 이론적 개념에 대한 더 깊은 통찰력을 얻는 데 기여했습니다. 우리의 연구 결과는 책무성을 강조하는 정적인 접근 방식에서 전문가의 자율성과 커뮤니티 구축의 여지가 있는 유연한 접근 방식으로의 전환을 시사합니다. CQI는 교육의 가치, 교수진의 동기 부여, 학생의 개인적, 학업적, 전문적 개발에 더욱 집중할 것을 요구합니다. 
The present study gives voice to the opinion of faculty and students that standard quality management approaches should be complemented by insights derived from the quality culture concept. The reported results have contributed to gaining a deeper insight into this theoretical notion. Our findings imply a shift from static approaches emphasizing accountability toward flexible approaches with room for professional autonomy and community building. CQI requires a stronger focus on the valuing of teaching; faculty motivation; and student personal, academic, and professional development.

강점과 한계
Strengths and limitations

이 연구는 질적 문화를 경험적으로 연구한 몇 안 되는 연구 중 하나이기 때문에 이용 가능한 문헌에 기여합니다. 여러 기관에서 데이터를 수집하고 교수진과 학생의 관점을 모두 고려했습니다. 연구 결과에 따르면 의과대학 내 가치 지향성이 품질 관리 접근 방식과 교수진의 업무 관련 심리적 태도가 상호 작용하는 방식을 설명하는 데 매우 관련이 있는 것으로 나타났습니다. 참여 의과대학에서는 이러한 지향점이 다소 동질적이었지만, 다른 상황에서는 다를 수 있습니다. 네덜란드 의과대학(8개 중 6개)만 조사 대상에 포함되었다는 점도 결과의 해석과 적용 가능성에 있어 고려해야 할 사항입니다. 또 다른 한계는 EC 위원들의 견해가 다른 중요한 이해관계자들과 다를 수 있다는 점입니다. 그러나 EC는 일반적으로 조직 중간 수준에서 운영되기 때문에 경영진과 풀뿌리 관점을 모두 파악했다고 가정합니다. 세 번째 (잠재적) 한계는 응답자들이 익명성이 보장되었음에도 불구하고 다른 대학에 소속된 연구자들과 특정 경험을 공유하는 것을 꺼렸을 수 있다는 점입니다. 
This study contributes to the available literature as it is one of few studies that research quality culture empirically. We gathered data from multiple institutions and took into account both faculty and student perspectives. The findings suggest that value orientations within medical schools are highly relevant in explaining how quality management approaches and work-related psychological attitudes of faculty interact. Whereas these orientations were rather homogeneous in the participating medical schools, they might vary in other contexts. The fact that we included only medical schools from the Netherlands (6 of 8) should be taken into account in the interpretation and transferability of results. A further limitation is that views of EC members might differ from other important stakeholders. However, as ECs typically operate on the organizational mesolevel, we assume to have captured both management and grassroots perspectives. A third (potential) limitation is that the respondents, despite guaranteed anonymity, might have been reluctant to share particular experiences with researchers affiliated with another university.

향후 연구를 위한 제언
Recommendations for future research

CQI의 새로운 길을 개척하기 위해서는 개별적인 교육 개선 접근 방식을 집단적인 노력으로 전환하는 개입에 대한 향후 연구가 특히 유용할 것입니다. 또한 이 연구에서 확인된 5가지 주제와 관련된 모범 사례에 대한 사례 연구는 CQI를 위한 조직의 변화와 개발을 시작하는 데 지렛대가 될 것입니다. 
To pave new paths for CQI, future research on interventions that convert individual educational improvement approaches to collective endeavors would be particularly valuable. In addition, case studies on best practices relating to the 5 themes identified in this study would provide levers to initiate organizational change and development for CQI.

결론
Conclusions

의과대학의 3대 사명인 교육, 연구, 임상 서비스 중 교육은 전통이 지배적이기 때문에 질적 개선과 변화가 필요하다는 인식이 가장 느린 경우가 많습니다. 의과대학에서 양질의 문화를 육성하기 위한 노력은 이러한 현 상황을 타개하는 데 도움이 될 것입니다. 

Of a medical school’s 3 missions—education, research, and clinical services—education is often the slowest to recognize that quality improvement and change are necessary, with traditions being dominant. Efforts to nurture the quality cultures in medical schools will help to unfreeze this status quo.

Shaping a Culture for Continuous Quality Improvement in Undergraduate Medical Education

PMID: 32287081

PMCID: PMC7678663

DOI: 10.1097/ACM.0000000000003406

Free PMC article

사례 기반 다지선다형 문항 작성을 위한 ChatGPT 프롬프트(Spanish Journal of Medical Education, 2023)
A ChatGPT Prompt for Writing Case-Based Multiple-Choice Questions 
Yavuz Selim Kıyak1 *

소개
Introduction

의과대학에서는 의대생의 고차원적인 능력, 특히 임상적 추론 능력을 평가하기 위해 다양한 필기 평가 방법을 사용합니다. 이러한 방법에는 사례 기반 객관식 문제(MCQ), 핵심 기능 문제, 스크립트 일치도 테스트 등이 포함됩니다(1). 이 중 사례 기반 MCQ는 매우 효과적이고 일반적으로 활용되는 것으로 알려져 있습니다(2). 그러나 의과대학의 한정된 자원으로 양질의 문항(문항)을 작성하는 과정은 상당한 도전 과제입니다.  
Medical schools use various written assessment methods to evaluate higher-order skills of medical students, particularly clinical reasoning. These methods encompass case-based multiple-choice questions (MCQs), key-feature questions, script concordance tests, and others (1). Among these, case-based MCQ stands out as both highly effective and commonly utilized (2). However, the process of writing high-quality items (questions) presents a significant challenge on the limited resources of medical schools. 

특히, 고차원적인 기술을 평가하기 위해 고안된, 맥락이 풍부한 단일 문항을 작성하려면 의대 교수의 상당한 시간 투자가 필요하며, 이는 종종 몇 시간으로 연장되기도 합니다(3). 많은 노력이 필요한 과정이지만, 의학교육에서 상당한 양의 MCQ에 대한 수요는 도전의 수준을 크게 높입니다. 진도 테스트만을 위한 문제은행을 개발하는 경우에도 수천 개의 문제를 통합해야 합니다(4). 따라서 의과대학이 직면한 중요한 과제는 고품질의 MCQ를 대량으로 작성하는 것입니다. 
More specifically, writing a single context-rich MCQ designed to assess higher-order skills demands a significant investment of a medical teacher's time, often extending into hours (3). While it requires an effortful process, the demand for a substantial quantity of MCQs within medical education significantly increases the level of challenge. Even developing a question bank solely for progress testing necessitates incorporating thousands of questions (4). Hence, the significant challenge faced by medical schools lies in writing a high quantity of high-quality MCQs. 

기존 솔루션
Existing Solutions

교육 분야에서 대량의 MCQ가 요구됨에 따라 연구자들은 소프트웨어를 사용하여 한 번에 많은 수의 문항을 생성하는 새로운 방법을 개발하게 되었습니다. 자동 문항 생성(AIG)은 "컴퓨터 기술을 사용하여 모델을 사용하여 문항을 생성하는 프로세스"(5)로서 이러한 목적으로 개발되었습니다. 템플릿 기반 AIG는 임상 문제에 직면했을 때 내용 전문가의 사고 과정을 드러내는 인지 모델을 만드는 것을 기반으로 합니다. 그런 다음 주제별 전문가는 질병/문제에 대한 인지 모델을 기반으로 항목 모델을 만듭니다. 문항 모델에는 템플릿 MCQ가 구축되고, 주제별 전문가가 제공한 사양을 고려하여 문항 내 적절한 부분에 적절한 단어를 할당하는 단어가 만들어집니다(6). 문항 모델은 수백 개의 문항을 만들 수 있기 때문에 템플릿 기반 AIG는 기존의 문항 작성 방식보다 실현 가능성이 높습니다.  
High volume of MCQ need in education led researchers to develop new methods to generate high number of items at once by using software. Automatic Item Generation (AIG) has been developed for this purpose as "a process of using models to generate items using computer technology" (5). Template-based AIG is based on creating a cognitive model, which reveals subject matter experts’ thinking process when they faced with a clinical problem. Then, subject matter experts create an item model based on the cognitive model on a disease/problem. In the item model, a template MCQ is built, and the words assigning the appropriate words to the appropriate parts in the items considering the specifications provided by subject matter experts (6). An item model is able to result in hundreds of MCQs, therefore template-based AIG is more feasible than traditional way of item writing. 

템플릿 기반 AIG는 지난 10년 동안 큰 성공을 거두었습니다. 영어, 프랑스어, 중국어, 스페인어, 한국어, 터키어 등 다양한 언어로 성공적으로 구현된 사례가 문헌에 나와 있습니다(6,7). 또한 캐나다의 국가 의사 면허 시험에서도 자동 생성된 문제가 사용되었습니다(8).  
Template-based AIG has shown a great success in the last ten years. Successful implementations have been shown in the literature in various languages, such as English, French, Chinese, Spanish, Korean, and Turkish (6,7). Furthermore, automatically generated questions have been used in national medical licensure exam in Canada (8). 

템플릿 기반 인공지능이 기존 문항 작성에 비해 우월함에도 불구하고, 인지 모델과 문항 모델을 개발하기 위해서는 분야별 전문가가 필요하기 때문에 여전히 인간의 노력에 의존하고 있습니다. 인공지능(AI)을 사용하면 시험 개발자가 문항을 생성하는 데 드는 노력이 줄어들지만, 연구자들은 여전히 템플릿 기반 방식에 비해 만족스럽지 못한 문항을 제공했기 때문에 이러한 목적으로 AI를 사용하는 것보다 템플릿 기반 AIG를 선호했습니다(6).  
Despite the superiority of template-based AIG over traditional item writing, it still depends on human efforts as it requires subject matter experts to develop cognitive models and item models. Although artificial intelligence (AI) is less effortful for test developers to generate items, researchers still preferred template-based AIG over the use of AI for this purpose because AI provided unsatisfying MCQs compared to template-based methods (6). 

MCQ 생성을 위한 AI
AI for Generating MCQs

AIG의 비템플릿 기반 방법은 자연어 처리(NLP)에 의존하는데, 과거에 사용되긴 했지만 만족스러운 MCQ를 생성하지 못했습니다(6). 그러나 대규모 언어 모델(LLM)인 생성적 사전 학습 트랜스포머(GPT)와 같은 NLP 기반 AI 솔루션이 이를 변화시킬 것으로 보입니다. GPT-3.5와 같은 LLM이 '우리말 해킹'에 성공했기 때문입니다(9).  
Non-template based methods in AIG relies on Natural Language Processing (NLP), which has been used but did not produce satisfying MCQs in the past (6). However, it seems NLP-based AI solutions like generative pretrained transformer (GPT), which is a large language model (LLM), is about to change this. It is because LLMs, such as GPT-3.5, achieved a success in “hacking our languages” (9). 

GPT-3.5의 변형인 ChatGPT는 2022년 11월에 공개적으로 도입되었습니다. 단 5일 만에 사용자 100만 명을 돌파했습니다(10). 이는 의료 전문직 교육에도 영향을 미쳤습니다(11-14). 그 결과 일부 의학교육 연구자들은 ChatGPT의 출시일을 ChatGPT 이전 시대와 이후 시대를 구분하는 중요한 기준으로 제시하기도 했습니다(15). 이러한 성공은 아마도 GPT-3가 이전 모델의 10배에 달하는 훨씬 더 큰 데이터 말뭉치를 보유하고 있다는 사실(16)과 ChatGPT가 무료로 공개되었기 때문일 것입니다(15).  
ChatGPT, a variant of GPT-3.5, was publicly introduced in November 2022. It passed one million user mark in only five days (10). It affected health professions education as well (11–14). As a result, some medical education researchers suggested the release date of ChatGPT as a crucial delineation between the pre-ChatGPT era and the post-ChatGPT era (15). This success was probably due to the fact that GPT-3 possesses a data corpus that is significantly larger, being ten times the size of prior models (16), and due to ChatGPT’s free and public release (15). 

저희의 개인적인 경험에 따르면 ChatGPT를 사용하여 고품질의 MCQ를 생성하는 것은 프롬프트의 품질에 달려 있습니다. 그래서 저희는 의대생들을 위해 Esh Tatla가 개발한 프롬프트를 수정하여 프롬프트를 개발했습니다(17). 원래 프롬프트가 유용하더라도 의학교육에서 객관식 문항을 구성하는 원칙에 더 가깝게 부합하는 MCQ를 생성하기 위해 수정이 필요했습니다. 지속적인 테스트와 개선을 통해 완성된 프롬프트는 표 1에 제시되어 있습니다. 또한 시험 개발자와 의대생의 이해를 돕기 위해 정답에 대한 설명을 제공하는 부분도 포함되어 있습니다.  
Our personal experiences show that generating high quality MCQs using ChatGPT depends on the quality of prompts. Therefore, we developed a prompt by revising the prompt developed by Esh Tatla for medical students (17). Even if the original prompt was useful, it required us to make revisions to generate MCQs that align more closely with the principles of constructing multiple-choice items in medical education. The prompt, achieved through continuous testing and refinement, is presented in Table 1. It also includes a part to provide explanations of the answers that may help test developers and medical students to better understand. 

이 프롬프트를 사용하려면 사용자는 대문자로 표시된 두 부분만 채우면 됩니다:
To use this prompt, the user needs only to fill two parts presented using capital letters:

1. [주제를 입력하세요]
   [PLEASE INSERT A TOPIC]
2. [난이도(예: 쉬움, 어려움)를 입력하세요]
   [PLEASE INSERT A DIFFICULTY LEVEL (E.G. EASY, DIFFICULT]

첫 번째 부분에서는 사용자가 주제를 삽입합니다. 이 주제는 의과 대학 교육의 학습 목표로 간주할 수도 있습니다. 두 번째 부분은 MCQ의 난이도를 결정하는 부분입니다. 
In the first part, the user inserts a topic. The topic can also be considered as a learning objective of a training in a medical school. The second part is to determine the difficulty of the MCQ.

표 2는 "일차 진료 환경에서 본태성 고혈압 관리"를 주제로, 난이도를 "쉬움"으로 설정한 프롬프트를 사용하여 생성된 MCQ를 보여 줍니다. https://chat.openai.com/share/4342df6f-7cbe-43df-98dc-b110b53983e3(무료 연구 미리보기, 9월 25일 버전)에서 액세스할 수 있습니다. 
Table 2 shows an MCQ generated by using the prompt with “managing essential hypertension in a primary care setting” as the topic, and “Easy” as the difficulty level, which is accessible from https://chat.openai.com/share/4342df6f-7cbe-43df-98dc-b110b53983e3. (Free Research Preview, September 25 Version). 

의학교육학 박사 학위를 가진 의사로서 위의 MCQ는 그럴듯하고 잘 구성되어 있는 것 같습니다. 문항의 질에 대한 철저한 분석도 가능하겠지만, 프롬프트를 입력하고 버튼을 누르는 것만으로 몇 초 만에 이러한 MCQ를 생성할 수 있다는 점이 우선 흥미롭습니다. 과거에는 이러한 MCQ를 작성하려면 해당 분야 전문가들의 오랜 시간이 필요했습니다. 하지만 오늘날에는 인터넷 연결과 일반 컴퓨터, 그리고 상세한 프롬프트만 있으면 몇 초 만에 효율적으로 MCQ를 생성할 수 있습니다. 이 때문에 일부 연구자들은 2022년 11월부터 시작되는 이 시기를 포스트 ChatGPT 시대라고 명명하기도 합니다. 
As a physician with a PhD in medical education, it seems the MCQ above is both plausible and well-constructed. While a thorough analysis of the item's quality could be carried out, it is initially intriguing to generate such an MCQ within seconds by simply inputting a prompt and pressing a button, which is an extraordinary success. In the past, writing such MCQs required extensive time of subject matter experts. However, in today, with an internet connection, an average computer, and the detailed prompt, we can efficiently generate MCQs in a few seconds. This is why some researchers name this period began in November 2022 as post-ChatGPT era. 

향후 연구를 위한 권장 사항
Recommendations for Future Research
ChatGPT를 이용한 자동 MCQ 생성은 많은 연구 질문에 대한 해답을 제시합니다. 그 중 일부는 다음과 같습니다:
Automatic MCQ generation using ChatGPT comes up with many research questions that need to be answered. Some of them are:
 MCQ가 과학 및 임상 지식 측면에서 주제별 전문가의 평가를 통해 수용 가능한 것으로 간주됩니까? 
 프롬프트가 심리측정 표준을 충족하는 MCQ를 생성할 수 있나요? 
 ChatGPT가 생성한 MCQ의 품질은 인간 전문가가 생성한 것과 비교했을 때 어떤 차이가 있나요? 
 ChatGPT가 생성한 질문의 인지 수준이 의도한 학습 목표 및 블룸의 분류 체계와 어떻게 일치하나요? 
 MCQ의 의도된 난이도가 실제 평가 환경에서 실제 난이도와 일치합니까? 
 다양한 보건 전문직 교육 환경에서 MCQ를 생성하는 데 프롬프트를 효과적으로 사용할 수 있습니까? 
 MCQ를 시험에 포함하기 전에 사람이 편집해야 합니까? 
 설명이 형성 평가에서 의대생에게 효과적인 피드백으로 작용하나요? 
 Are the MCQs considered acceptable through evaluation by subject matter experts in terms of scientific and clinical knowledge? 
 Is the prompt capable of generating MCQs that meet psychometric standards? 
 How does the quality MCQs generated by ChatGPT compared to those created by human experts? 
 How do the cognitive levels of questions generated by ChatGPT align with the intended learning objectives and Bloom's taxonomy? 
 Do the intended difficulty levels of the MCQs align with their actual difficulty in real assessment settings? 
 Can the prompt be effectively used to generate MCQs in various health professions education settings? 
 Do the MCQs need editing by humans before incorporating them into exams? 
 Do the explanations serve as effective feedback for medical students in formative assessments? 

결론
Conclusions
 ChatGPT는 몇 초 만에 사례 기반 MCQ를 생성할 수 있는 흥미로운 기회를 제공합니다. 
 연구자들은 ChatGPT를 사용하여 생성된 MCQ의 품질을 평가하기 위한 연구를 수행해야 합니다.
 ChatGPT provides an exciting opportunity for generating case-based MCQs in a few seconds. 
 Researchers should conduct studies to evaluate the quality of MCQs generated by using ChatGPT. 

Table 1. A prompt for generating MCQs in medical education. 

You are developing a question bank for medical exams focusing on the topic of [PLEASE INSERT A TOPIC]. Please generate a high-quality single best answer multiple-choice question. Follow the principles of constructing multiple-choice items in medical education. Generate the questions using the following framework:

Case (write as a single narrative paragraph without providing each part separately): 
Patient details (gender/age)
Presenting complaint
Relevant clinical history
Physical examination findings
Diagnostic test results (optional)

Question stem: [Insert relevant information from the above sections without compromising the answer]
Acceptable question style: Ask for the BEST answer, NOT one that is TRUE/FALSE.

Answer options:
[Insert plausible answer option]
[Insert plausible answer option]
[Insert plausible answer option]
[Insert plausible answer option]
[Insert plausible answer option]

Explanation:
• Identify and explain the correct answer.
• Explain why this is the most appropriate answer based on evidence-based guidelines or expert consensus.
• Briefly explain why the other answer options are less correct or incorrect.

Difficulty level: [PLEASE INSERT A DIFFICULTY LEVEL (E.G. EASY, DIFFICULT]

Table 2. An MCQ generated by using the prompt in ChatGPT.

Case:

Mr. Johnson, a 55-year-old male, presents to the primary care clinic with a chief complaint of recurrent headaches. He reports a sedentary lifestyle and a family history of hypertension. His blood pressure readings during previous routine check-ups have consistently been elevated. Mr. Johnson denies any chest pain, shortness of breath, or visual disturbances. His past medical history is significant for obesity and a sedentary occupation. On physical examination, his blood pressure is 150/92 mmHg, and his BMI is 31. Laboratory results show normal renal function and lipid profile.  

Question stem:

Given Mr. Johnson's presentation with recurrent headaches, a family history of hypertension, and consistently elevated blood pressure readings, what is the BEST initial management strategy in a primary care setting? 

Answer options:

A. Initiate lifestyle modifications, including dietary changes and increased physical activity.
B. Start antihypertensive medication immediately to lower blood pressure.
C. Order a 24-hour ambulatory blood pressure monitoring for further assessment.
D. Recommend immediate admission to the hospital for comprehensive evaluation.
E. Suggest over-the-counter analgesics for headache relief and reassess in six months.

Explanation:

The correct answer is A. Initiate lifestyle modifications, including dietary changes and increased physical activity.

Explanation:

Hypertension management guidelines emphasize lifestyle modifications as the initial approach in patients with uncomplicated essential hypertension. For individuals like Mr. Johnson, who presents with elevated blood pressure, obesity, and a sedentary lifestyle, initiating lifestyle changes is crucial. These changes should include adopting a heart-healthy diet (such as the DASH diet), increasing physical activity, and weight reduction. Lifestyle modifications have been shown to significantly contribute to blood pressure control and may obviate the need for immediate pharmacologic intervention.

Option B (Start antihypertensive medication immediately) is not the best initial approach unless there are compelling indications for immediate treatment, which are not evident in Mr. Johnson's case. Option C (Order a 24-hour ambulatory blood pressure monitoring) may be considered in certain situations but is not the primary step in the management of essential hypertension. Option D (Recommend immediate admission to the hospital) is not warranted in the absence of hypertensive emergencies. Option E (Suggest over-the-counter analgesics) does not address the underlying hypertension and is not the primary management strategy for this patient. 

Abstract

The significant challenge faced by medical schools is the effortful process of writing a high quantity of high-quality case-based multiple-choice questions (MCQs) to assess the higher-order skills of medical students. The demand for a high volume of MCQs in education has led to the development of Automatic Item Generation (AIG), specifically template-based AIG, which involves creating cognitive and item models by subject matter experts to generate hundreds of MCQs at once using software. It demonstrated significant success in various languages and even being incorporated into national medical licensure exams. However, this method still heavily depends on the efforts of subject matter experts. This paper introduces a detailed ChatGPT prompt for quickly generating case-based MCQs and provides important research questions for future exploration into ChatGPT's potential in generating items, signaling the beginning of the artificial intelligence era in medical education, encouraging health professions education researchers to delve deeper into its potential.

실천을 통한 학습: 의과대학생 리더의 현상학적 연구(Med Educ, 2022)
Learning by doing: A phenomenological study of medical student leaders
Henry G. Annan1,2 | Victor Do3,4 | Anna MacLeod2

1 소개
1 INTRODUCTION

의학교육계는 수년 동안 리더십을 의사의 핵심 역량으로 인식해 왔습니다. 영국 왕립 의과대학 아카데미와 국민보건서비스는 리더십을 '의사의 전문 업무의 핵심 부분'으로 간주합니다.1 마찬가지로 캐나다 의과대학협회(AFMC)는 2010년 및 2012년 캐나다 의학교육의 미래(FMEC) 보고서에서 학부 및 대학원 수준에서 리더십 개발을 촉진할 필요성을 강조했습니다.2, 3 국제적으로 인정받는 CanMEDS 의사 역량 프레임워크는 의사 리더십을 의사직의 맥락에서 정의하고 있습니다. 이 프레임워크는 '리더로서 의사는 임상의, 행정가, 학자 또는 교사로서의 활동을 통해 고품질 의료 시스템의 비전에 기여하고 우수한 환자 치료 제공에 대한 책임을 지기 위해 다른 사람들과 교류한다'고 설명합니다.4 '다른 사람들과 교류'에서 CanMEDS는 의사의 리더십을 협력적인 것으로 강조합니다. 이는 의사를 의료 시스템 개선이라는 환경 속에 위치시킴으로써 환자와 직접 대면하는 것 이상의 일을 요구합니다. 마지막으로, 적어도 일부 상황에서는 의사의 리더십이 관리자나 교육자와 같은 공식적인 역할('책임감')을 맡는 것까지 포함한다고 제안합니다. 
The medical education community has recognised leadership as a core physician competency for many years. The Academy of Medical Royal Colleges in the United Kingdom and the National Health Service consider leadership as ‘a key part of doctors' professional work’.1 Similarly, the Association of Faculties of Medicine of Canada (AFMC) in their 2010 and 2012 Future of Medical Education in Canada (FMEC) reports highlighted the need to foster leadership development at the undergraduate and postgraduate levels.2, 3 The internationally recognised CanMEDS physician competency framework defines leadership in the context of physicianship. It explains that ‘as leaders, physicians engage with others to contribute to a vision of a high-quality health-care system and take responsibility for the delivery of excellent patient care through their activities as clinicians, administrators, scholars or teachers’.4 In ‘engaging with others’, CanMEDS highlights physician leadership as collaborative. It places the physician within the milieu of improving health-care systems—thereby requiring work beyond the face-to-face patient interaction. Finally, it suggests that, at least in some circumstances, physician leadership encompasses taking on a formal role with some associated accountability (‘take responsibility’), for example, as an administrator or an educator.

굿달과 베커가 처음 제안한 전문가 리더십 이론5은 조직의 '핵심 비즈니스 활동에 대한 업계 경험과 전문적 능력'을 갖춘 리더가 조직을 위해 더 나은 결과를 도출할 수 있다고 가정합니다. 기업 세계에서 많은 예시가 제시되었지만, 이러한 현상은 의료 분야에서도 입증되었습니다. 문헌에 따르면 임상의사가 리더십 역할을 맡은 병원이 그렇지 않은 병원에 비해 병원 성과가 더 높을 수 있다고 합니다.6-8 따라서 의사가 조직 리더십 기술을 갖추면 전반적인 인구 건강 결과를 개선하는 등 장기적인 이점을 얻을 수 있습니다. 
The theory of expert leadership, originally proposed by Goodall and Bäker5 postulates that leaders with ‘industry experience and expert ability in the core business activity’ of an organisation may be better positioned to yield better outcomes for their organisation. While many illustrative examples are given from the corporate world, the phenomenon is demonstrated in health care as well. The literature suggests that hospital performance may be higher in hospitals with physicians in leadership roles compared to those without clinicians at the helm.6-8 As such, equipping physicians with organisational leadership skills may have long-term benefits including improving overall population health outcomes.

리더십 기술의 중요성에도 불구하고 의료 학습자들은 최소한의 리더십 개발 교육만 받고 있습니다.9 이러한 리더십 개발의 격차는 의학교육 전반에 걸쳐 존재합니다.10-12 2010년 브라운 등의 연구에 따르면 레지던트들은 의료 시스템 및 기타 관리 측면에 대한 교육이 필요하다고 답했습니다.13 마찬가지로 반즈와 동료들은 의대생들이 임상 리더십 역할을 맡을 준비가 되어 있지 않다고 느끼는 것으로 나타났습니다.14 그러나 의대생 시절 리더십 개발은 임상 실습 중에 리더십 역할을 맡을 수 있도록 의대생을 준비하는 데 효과적입니다.15 
Despite the importance of leadership skills, medical learners continue to receive minimal leadership development training.9 This gap in leadership development spans the medical education continuum.10-12 A 2010 study by Broun et al noted that residents identified a need for training in health systems and other aspects of management.13 Similarly, Barnes and colleagues found that medical students felt unprepared to take on clinical leadership roles.14 Yet, leadership development during medical school can be effective in preparing medical students for taking on leadership roles during their clinical practice.15

효과적인 공식 리더십 개발 교육이 존재하지 않는 경우, 관련 과외 활동에 참여하는 것은 의대생이 리더십 기술을 연마할 수 있는 또 다른 방법을 제공합니다. 의료 기관에서 동료를 대표하거나 건강 옹호 이니셔티브를 주도하는 등, 공식적인 의료 교육 외에도 리더십에 참여할 수 있는 기회는 많습니다. 그럼에도 불구하고 대표적 리더십 역할을 수행하는 의대생 리더의 경험에 대해서는 알려진 바가 거의 없습니다. 따라서 의과대학에서의 전반적인 경험이 리더십 활동에 의해 긍정적으로 또는 부정적으로 영향을 받는지 여부는 불분명합니다. 또한 의대 재학 중 리더십 역할이 리더십의 핵심 기술을 개발하는 데 도움이 되는지에 대한 연구도 부족합니다. 이러한 격차를 해소하기 위해 본 연구에서는 의대생 리더의 경험의 본질을 밝히고자 합니다. 특히 의대 재학 중 지역, 주 또는 국가 차원에서 선출직 대표 역할을 수행한 리더의 생생한 경험을 탐구합니다. 의대생 리더의 경험을 이해하는 것은 교육자가 이러한 역할을 맡는 데 관심이 있는 학습자를 어떻게 격려하고 지원할 수 있는지에 대한 통찰력을 제공하기 때문에 중요합니다. 
Where effective formal leadership development education does not exist, participation in related extracurricular opportunities offers another avenue by which medical students can hone leadership skills. Whether representing peers to medical organisations or leading health advocacy initiatives, there are many opportunities outside of formal medical training to engage in leadership. Despite this, little is known about the experience of medical student leaders who serve in representative leadership roles. Consequently, it is unclear whether their overall experience in medical school is positively or negatively impacted by the leadership activities they undertake. Furthermore, whether leadership roles during medical school enable the development of core skills in leadership is under-researched. In response to this gap, this study seeks to uncover the essence of the experience of medical student leaders. Specifically, we explore the lived experience of leaders who served in elected, representative roles at the local, provincial or national level during medical school. Understanding the experiences of medical student leaders is important because it offers insights into how educators might encourage and support learners interested in taking on these roles.

2 방법
2 METHODS

2.1 연구 설계
2.1 Study design

이 질적 현상학적 연구는 선출된 리더십 역할을 맡은 의대생들의 경험의 본질을 밝히기 위해 반사적 주제 분석을 사용했습니다.16-20 우리는 연구 참여자들의 생생한 경험에 몰입하는 해석학적 현상학적 조사에 참여했습니다.21 우리는 개인의 현실이 그들이 살고 있는 세계의 영향을 받는다는 생각을 탐구하면서 학생 리더로 봉사하는 인간의 경험을 이해하고자 했습니다. 단순히 리더십의 생생한 경험을 설명하는 것을 넘어, 의과대학에서 리더십 업무를 맡는다는 것이 무엇을 의미하는지에 대한 비판적 해석을 제공합니다. 
This qualitative phenomenological study used reflexive thematic analysis to elucidate the essence of the experience of medical students in elected leadership roles.16-20 We engaged in a hermeneutic phenomenological investigation, where we became immersed in the lived experiences of research participants.21 We sought to understand the human experience of serving as a student leader while exploring the idea that an individual's reality is influenced by the world in which they are living. More than simply describing the lived experience of leadership, we offer a critical interpretation of what it means to take on leadership work during medical school.

우리는 연구 참여자들과 연구자로서 우리의 이전 경험과 세계에 대한 기존의 이해를 참조하지 않고는 어떤 현상을 경험할 수 없다는 입장에서 연구를 시작했습니다. 우리는 '존재에 대한 참가자들의 이해의 근본적인 구조와 그것이 개인의 결정을 어떻게 형성했는지를 조명하기 위해' 리더십 경험에 대한 개별적인 내러티브 설명을 듣고 깊이 있게 탐구할 수 있는 공간을 만들고자 했습니다.22
We began with the position that our research participants, and we as researchers, could not experience a phenomenon without referring to our previous experiences and existing understandings of the world. We sought to make the space to hear, and then delve deeply into, individual narrative descriptions of leadership experiences ‘in order to illuminate the fundamental structures of participants' understanding of being and how that shaped the decisions made by the individual’.22

2.2 참여자
2.2 Participants

우리는 의과대학 재학 중 리더십 역할을 수행하도록 동료들로부터 선출된 12명의 개인을 모집했습니다. 참가자들은 2015년부터 2019년까지 어느 시점에 이러한 역할을 맡았습니다. 시간이 지남에 따라 UME 리더십 경험에 상당한 변화가 있을 가능성을 고려하고 참가자들이 과거 경험을 되돌아볼 수 있도록 하기 위해 이 기간을 선택했습니다. 우리는 이론적 포화 상태에 도달하기 위해 현상학적 연구에 일반적으로 사용되는 약 10~15명의 인터뷰 대상자 표본을 미리 선정했습니다.23, 24 우리는 포화 상태가 질적 연구와 현상학적 연구에서 논란의 여지가 있는 개념이라는 것을 알고 있습니다.25, 26 우리는 포화 상태를 더 이상 배울 것이 없다고 판단하는 실용적인 시점으로 개념화하는 대신 다른 접근 방식을 취했습니다. 우리는 이론적 포화 상태를 데이터 수집, 분석 및 해석에 있어 충분히 엄격하여 참가자들은 물론 더 넓은 의학교육 커뮤니티와 공감할 수 있는 풍부하고 독특하며 미묘한 통찰력을 얻을 수 있다고 확신하는 시점으로 간주했습니다. 모든 참가자는 인터뷰 당시 의과대학을 졸업하고 다양한 단계의 레지던트 과정에 있었습니다. 참가자들은 소속 의대 학생회 또는 주 또는 전국 의대 학생 조직에서 봉사한 경험이 있었습니다. 
We recruited 12 individuals who were elected by their peers to serve in leadership roles while in medical school. Participants held these roles at some point between the years 2015 and 2019. We chose this period to account for the possibility of significant variations in the UME leadership experience over time and allow participants to reflect on their past experiences. We preselected a sample size of around 10–15 interviewees, which is typical for phenomenological studies in order to reach theoretical saturation.23, 24 We recognise that saturation is a controversial concept in qualitative research and phenomenological work more specifically.25, 26 Rather than conceptualising saturation as a pragmatic point at which we decided there was nothing new to learn, we took a different approach. We considered theoretical saturation to be the point at which we were confident we had been rigorous enough in our data collection, analysis and interpretation to garner rich, unique and nuanced insights that would resonate with participants as well as the broader medical education community. All participants had completed medical school and were in various stages of medical residency at the time of interview. Participants had served in their medical student societies or in provincial or national medical student organisations.

2.3 데이터 수집
2.3 Data collection

모든 인터뷰는 2020년 말부터 2021년 초까지 HA가 진행했습니다. 반 마넨이 제시한 현상학적 인터뷰 접근법에 따라27 인터뷰는 첫째, 현상에 대한 풍부한 이해를 탐구하고 발전시키는 것, 둘째, 학생 리더십의 의미에 대한 대화에 참여하는 것, 이 두 가지 목적을 가지고 진행되었습니다. 따라서 인터뷰는 반구조화되었지만 대화 형식으로 진행되었으며 전화로 영어로 진행되었습니다. 인터뷰 가이드는 세 명의 공동 저자가 공동으로 작성했습니다. 하지만 참가자들의 의견에 따라 유연하게 진행했습니다. 질문은 참가자들이 의대생 리더로서의 시간을 되돌아보고 그 경험의 본질을 탐구할 수 있도록 구성했습니다. 또한 의사가 되기까지의 전반적인 여정에서 그 경험을 맥락화하기 위한 질문도 있었습니다. 인터뷰는 평균 45분간 진행되었으며, HA와 VD가 오디오를 녹음하고 그대로 필사했습니다.  
All interviews were conducted by HA from late 2020 to early 2021. Following an approach to phenomenological interviewing put forward by van Manen,27 our interviews had two purposes: firstly, to explore and develop a rich understanding of the phenomenon and, secondly, to engage in a conversation around the meaning of student leadership. Thus, the interviews were semi-structured but conversational in nature and were conducted in English over telephone. An interview guide was created collaboratively among the three co-authors. However, we were flexible in following the lead of our participants. Questions sought to allow participants to reflect on their time as medical student leaders and explore the nature of that experience. The questions also aimed to contextualise that experience in their overall journeys to becoming a physician. Interviews lasted 45 min on average, were audio-recorded and transcribed verbatim by HA and VD.

2.4 데이터 분석
2.4 Data analysis

반 마넨의 말을 빌리자면, 우리의 목표는 현상학적 주제를 개발하기 위해 '사려 깊은 사고'를 하는 것이었습니다.28 우리는 현상학적 프레임을 보완하는 '반성적 주제 분석'에 참여했습니다. 이 접근법은 '특정 사회 집단의 '생생한 경험'을 기술'하고 '특정 과정이나 현상에 영향을 미치거나, 뒷받침하거나, 맥락화하는 '요인'을 조사'하기 위해 고안되었습니다.29 
Drawing on van Manen, our goal was to engage in ‘cultivated thoughtfulness’ in order to develop phenomenological themes.28 We engaged in a ‘reflexive thematic analysis’, which complemented our phenomenological frame. This approach was designed to ‘describe the “lived experiences” of particular social groups’ and ‘examine the “factors” that influence, underpin, or contextualize particular processes or phenomena’.29

HA와 VD는 인터뷰 녹취록을 읽고 주제별로 분류했습니다. 두 사람 모두 귀납적 접근법을 사용하여 데이터 자체뿐만 아니라 전직 학생 리더로서 자신의 생생한 경험을 반영하여 녹취록을 독립적으로 코딩했습니다. 이 과정은 정기적으로 발전하는 결과를 토론하고 비교하는 반복적인 과정이었습니다. 코드가 합의되면 데이터 내에서 주제를 식별하고 학생 리더십 현상에 초점을 맞추기 위해 의미론적 접근 방식을 사용했습니다. 도출된 주제는 AM과 논의하여 추가적인 관점을 도입하고 분석의 깊이를 확보했습니다. 이를 통해 데이터의 개별 요소(부분)가 어떻게 결합되어 중요한 현상(전체)을 이해하는 데 도움이 되는지에 초점을 맞추는 해석학적 순환21에 따라 분석 프로세스가 일관성을 유지하도록 했습니다. 최종 해석은 합의를 통해 도출되었습니다. 우리의 전반적인 분석 접근 방식은 홉킨스 등이 제시한 3 + 1 현상학 프레임워크를 따랐습니다.30 이 프레임워크는 연구자가 현상학 연구에서 자신의 위치를 정할 수 있게 해줍니다. 따라서 우리는 참가자들의 이야기의 특수성, 반사성 및 전반적인 경험에 대한 해석에 초점을 맞추었습니다. 
HA and VD read and thematised the interview transcripts. Both coded the transcripts independently, using an inductive approach, reflecting not only upon the data themselves but on their own lived experiences as former student leaders. The process was iterative with discussing and comparing developing findings regularly. Once codes were agreed upon, a semantic approach was used to identify themes within the data and to ensure a focus on the phenomenon of student leadership. The resulting themes were discussed with AM to bring in an additional perspective and ensure depth of analysis. This also ensured our analytical processes were consistent with the hermeneutic circle,21 focusing on how individual elements from the data (the parts) were coming together to help us understand the overarching phenomena (the whole). Final interpretations were arrived at by consensus. Our overall analytic approach adhered to the 3 + 1 phenomenology framework put forward by Hopkins et al.30 This framework allows researchers to position themselves in their phenomenological work. Accordingly, we focused on the particularity of participants' stories, reflexivity and our interpretations of the overall experience.

2.5 반사성
2.5 Reflexivity

해석학적 현상학에 참여하는 사람들은 연구 대상인 현상에 대한 참여자의 경험, 즉 리더십에 미칠 수 있는 영향에 주의 깊게 주의를 기울이고 이를 고려해야 합니다. 그러나 우리의 경험을 제거하거나 '괄호'로 묶으려는 시도 대신, 우리는 우리 자신의 생활 세계를 제거할 수 없음을 인정합니다. 대신, 우리는 의대 학생회와 전국 의료 단체 수준에서 학생 리더였던 우리(VD, HA)의 경험이 우리의 연구에 영향을 준 소중한 자산이라는 것을 인정합니다. 이러한 경험은 주제에 대한 관심에서부터 우리가 선택한 질문, 데이터 해석 방식에 이르기까지 연구 과정에 영향을 미쳤습니다. 노이바우어와 동료들이 지적했듯이, '연구에 데이터에 대한 편견 없는 접근을 요구하는 것은 현상학의 철학적 뿌리와 일치하지 않는다'(95페이지)22). 
Those engaging in hermeneutic phenomenology must carefully attend to, and account for, the influences they may exert on a participant's experience of the phenomenon under study, leadership, in our case. However, rather than attempting to eliminate or ‘bracket’ our experiences, we acknowledge that we cannot be rid of our own lifeworlds. Instead, we acknowledge that our (VD, HA) experiences as former student leaders—at the medical student society and national medical organisation levels—are valuable assets that informed our inquiry. These experiences coloured the research process, ranging from our interest in the topic to the questions we elected to ask, to how we interpreted data. As Neubauer and colleagues noted, ‘To ask the research to take an unbiased approach to the data is inconsistent with phenomenology's philosophical roots’ (p. 95).22

2.6 윤리
2.6 Ethics

본 연구는 캐나다 달하우지 대학교의 연구윤리위원회로부터 연구윤리 승인을 받았습니다.
Research ethics approval was obtained from the Research Ethics Boards at Dalhousie University, Canada.

3 결과
3 RESULTS

우리는 6명의 남성 및 6명의 여성 전 의대생 리더를 인터뷰했습니다. 이들은 각각 다른 캐나다 의과대학에 다녔으며 캐나다 전역에 지리적으로 고루 분포되어 있었습니다. 대부분은 지역 단위에서 선출직 대표 역할을 수행했으며, 약 절반의 참가자는 주 및 전국 단위에서도 경험을 쌓았습니다. 보다 포괄적인 참가자 인구 통계 목록은 표 1에 나와 있습니다. 참가자의 다양성에도 불구하고 의대생 리더로서의 시간을 되돌아본 결과 많은 공통점을 발견할 수 있었습니다.

• 연구 참여자의 관점에서 볼 때 의대생 리더십에는 상당한 행정적 책임이 수반됩니다.
• 의대생으로서 성과를 내야 한다는 부담감과 함께 리더들은 리더십 활동이 학업 및 개인 생활과 상충되는 경우가 많았습니다.
• 의대생 리더가 교수진으로부터 지원이나 가치를 인정받는다고 느끼는지 여부는 리더의 경험에 큰 영향을 미쳤습니다.
• 그러나 인터뷰 참여자들은 힘든 경험에도 불구하고 기회가 주어진다면 다시 리더십 역할을 맡겠다고 한목소리로 말했습니다.
• 그들은 의대생 리더십을 통해 더 나은 의사가 될 수 있었던 여러 가지 가시적인 방법을 언급했습니다.

주제별 분석 프로세스를 통해 다음과 같은 다섯 가지 주제를 확인했습니다. 
We interviewed six male and six female former medical student leaders. Each attended a different Canadian medical school with good geographical spread across Canada. Most served in elected, representative roles at the local level with approximately half the participants having experience at the provincial and national levels as well. A more comprehensive list of participant demographics is provided in Table 1. Despite the diversity of participants, the reflections on their time as medical student leaders yielded many commonalities.

• From the perspective of the study participants, medical student leadership involves significant administrative responsibility.
• Combined with the pressure of performing as a medical student, leaders often found that their leadership efforts came in conflict with their academics and personal lives.
• Whether medical student leaders felt supported or valued by their faculties greatly influenced their experience.
• However, despite the hardships experienced, interviewees were unanimous in saying that they would take on their leadership roles again if given the chance.
• They cited a variety of tangible ways in which medical student leadership had made them better physicians.

Through the thematic analytic process, we identified the following five themes.

3.1 바쁜 생활
3.1 Living with busyness

학생 리더로서의 바쁨은 의대생 리더의 일상을 정의하는 반복되는 주제였습니다. 참가자들은 의대생 리더가 교수진의 기대치와 학생의 기대치를 관리해야 하는 것 외에도, 필요한 지원을 항상 받을 수 없는 상황에서 상당한 행정적 부담을 안고 있다고 설명했습니다. 
The busyness of being a student leader was a recurrent theme that defined the day-to-day life of a medical student leader. In addition to managing the expectations of students against those of faculty, participants described medical student leadership as having significant administrative burdens without always having the necessary support.

과중한 행정 업무로 인해 리더들은 종종 비효율적이고 시간이 많이 걸리는 업무를 처리해야 한다고 느꼈고, 이로 인해 학생을 대변하는 핵심 임무에서 멀어졌습니다. 핵심 임무를 수행할 수 있을 때에도 동료, 교수진 또는 기타 이해관계자와의 많은 회의에 참석해야 하는 일이 많았습니다. 
The heavy administrative burden meant that leaders often felt they had to complete inefficient, time-consuming tasks, which took away from their core mandate of representing students. When they were able to exercise their core mandate, much of this work involved attending many meetings whether with peers, faculty members or other stakeholders.

때때로 어지러울 수도 있지만, 참가자들은 이러한 업무가 반드시 부정적이라고 설명하지는 않았습니다. 실제로 많은 참가자들은 일상적인 경험이 '활기차다' {008}, '재미있다' {010}고 답해, 업무의 성격 자체가 의대생 리더십 경험에 부정적으로 작용하지는 않았음을 시사했습니다. 
While perhaps dizzying at times, participants did not describe these tasks as necessarily negative. In fact, many reflected that the day-to-day experience was ‘invigorating’ {008} and ‘fun’ {010}, suggesting therefore that the nature of the job in of itself did not contribute negatively to the medical student leadership experience.

3.2 교수진의 멘토링과 지원의 역할
3.2 The role of faculty mentorship and support

학습자들이 교수진으로부터 받았다고 느끼는 지원의 정도는 그들이 인식하는 리더십 경험에 큰 영향을 미쳤습니다. 일부 참가자는 의대생 리더가 되는 방법에 대한 체계적인 교수진의 멘토링이 부족하여 의대생 리더로의 전환이 더욱 어려웠다고 경험했습니다. 
The amount of support learners felt they received from their faculty heavily impacted their perceived leadership experience. Some participants experienced a lack of structured faculty mentorship on how to be a medical student leader, which made the transition to medical student leader all the more difficult.

의과대학 행정 정책도 필수 회의 참석을 포함하여 리더십 의무를 수행하는 데 있어 주요 장벽으로 꼽혔습니다. 교수진이 리더십 책임을 수용하는 데 유연성이 부족할 때, 리더십 역할을 맡은 많은 사람들은 의과대학이 자신이 하는 중요한 일을 이해하지 못하거나 중요하게 생각하지 않는다고 느꼈습니다. 
Medical school administration policies were also cited as primary barriers to fulfilling leadership duties, including attending required meetings. When faculties lacked flexibility in accommodating their leadership responsibilities, many in leadership roles felt that their medical programs did not understand or value the important work they did.

반면, 의대 행정부와 긴밀한 협력 관계를 유지한 학생 리더들은 이러한 장벽을 더 성공적으로 극복하여 더 긍정적인 리더십 경험을 할 수 있었습니다. 이러한 경우, 교수진과 학습자 간의 지속적인 커뮤니케이션을 통해 교수진이 학생 리더 역할의 업무를 더 잘 이해하고 더 가치 있게 여길 수 있었을 것입니다. 결과적으로 이러한 리더들은 교수진으로부터 더 나은 평가를 받았다고 느꼈습니다. 
In contrast, student leaders that maintained close working relationships with their medical school administration were more successful at navigating these barriers, leading to a more positive leadership experience. In these instances, a constant flow of communication between faculty and learner may have allowed for faculty to better understand and then better value the work of the student leader role. As a result, these leaders felt better appreciated by their faculty.

이처럼 의과대학은 하나의 단체로서, 그리고 개별 구성원으로서 의대생 리더의 전반적인 경험에 지대한 영향을 미치는 것으로 보입니다. 
As such, there appears to be a profound impact of medical faculties—both as a single entity and as individual members—on the overall experience of medical student leaders.

3.3 리더십에 대한 상반된 요구
3.3 Competing demands of leadership

재임 기간 중 다양한 시기에 리더십 활동은 참가자들의 삶에 상당한 타격을 주는 것으로 나타났습니다. 그들은 학업과 리더십 의무를 완수하기 위해 상충되는 이해관계에 직면했고, 이로 인해 종종 공부할 시간을 찾기가 어려웠습니다. 또한 리더십 활동에 투자하는 시간과 친구 및 사랑하는 사람들과 보내는 시간 사이의 균형을 맞추는 데 어려움을 겪는 경우도 많았습니다. 
At various times during their tenures, leadership activities seemed to take a significant toll on participants' lives. They faced competing interests to fulfil their academic and leadership duties, often leading to difficulty finding time to study. Moreover, many struggled to balance time spent on leadership activities with time spent with their friends and loved ones.

의대생 리더십은 학업 시간을 빼앗았지만, 인터뷰에 응한 모든 리더는 학업 요건을 충족했다고 말했습니다. 그러나 의학교육 커리큘럼에서 '의료 전문가' 역할에 대한 강조가 커지면서 공부 시간이 줄어든 것에 대해 특별한 죄책감을 느낀다고 답했습니다. 
Although medical student leadership took away from study time, all leaders interviewed stated that they still met their academic requirements. However, there was a particular guilt associated with studying less, citing an increased emphasis placed on ‘medical expert’ roles within the medical education curriculum.

3.4 풍요로운 의대생 리더십
3.4 Medical student leadership as enriching

의대생 리더로서 겪는 어려움에도 불구하고 참가자들은 기회가 주어진다면 다시 리더가 되겠다고 말했습니다. 그들은 리더십 활동이 의대 경험을 정의하고, 전국의 동료 네트워크에 연결되며, 의대 경험을 더욱 풍요롭게 해준 여러 가지 방법을 언급했습니다. 
Despite the difficulties associated with being a medical student leader, participants shared that they would do it again if given the chance. They cited many ways in which their leadership activities had come to define their medical school experience, connected them to a network of peers from across the country and facilitated a richer medical school experience.

의대생 리더들은 캐나다 의학교육과 의료 시스템에 대해 더 잘 이해하게 되어 향후 다른 의사 리더십 역할을 맡을 수 있는 준비가 되었다고 느꼈습니다. 
Medical student leaders felt they came out with a better understanding of the Canadian medical education and health-care systems, setting them up to take on other physician leadership roles in the future.

3.5 더 나은 의사 만들기
3.5 Creating better physicians

마지막으로, 참가자들은 의대생 리더로서 습득한 기술이 현재 의사로서 임상적 상호작용에서 어떻게 나타나는지 다양한 방식으로 설명했습니다. 리더십 활동으로 인해 학업 시간을 빼앗기기는 했지만, 참가자들은 의사로서 양질의 진료를 제공할 수 있는 능력이 손상되었다고 생각하지 않았습니다. 오히려 리더십 경험을 통해 옹호, 커뮤니케이션, 협업, 관리 등 다른 역량이 향상되었다고 느꼈습니다. 중요한 점은 참가자들이 정규 의과대학 커리큘럼에서 충분히 습득하지 못했다고 느꼈던 기술들이었다는 점입니다. 
Finally, participants described a variety of ways in which the skills they gained as medical student leaders manifested in their clinical interactions now as physicians. Although leadership activities may have taken away from study time, participants did not believe that their ability to deliver high-quality care as physicians was compromised. In fact, they felt their leadership experiences enhanced other competencies, especially in advocacy, communication, collaboration and management. Importantly, these were skills participants felt they did not adequately gain from the formal medical school curriculum.

의대생 리더십 경험을 되돌아보며 참가자들은 의사가 된 지금, 리더십 활동이 환자를 돌보는 능력에 긍정적으로 기여했음을 인식하는 데 있어 어느 정도 검증을 받았다고 말했으며, 모두 의대생이 리더십에 참여하도록 장려해야 한다고 생각했습니다. 이러한 인식은 의대생 리더십 활동의 부정적인 측면에도 불구하고 전반적으로 가치 있는 경험이었다는 것을 시사합니다. 
Reflecting on their medical student leadership experience, participants expressed a certain validation in their recognising, now as physicians, that their leadership activities had contributed positively to their ability to care for patients, so much so that all felt that medical students should be encouraged to engage in leadership. This sense of validation suggests that despite any negative aspects of having been involved in medical student leadership, the overall experience was worthwhile.

4 토론
4 DISCUSSION

리더십에 대한 다양한 정의가 존재합니다.31 본 연구는 의대생 '리더'의 특정 하위 집합을 표본으로 삼았습니다. 그러나 선출된 대표적 의대생 리더의 업무는 의사 리더십에 대한 CanMEDS의 정의와 일치합니다. 의대생 리더는 콘텐츠 전문성을 자신의 역할에 적용하기 때문에 굿달과 베커의 전문가 리더십 이론과도 일맥상통합니다. 따라서 긍정적인 경험은 의대생 리더가 의사 전문가로서 공식적인 리더십 역할을 맡을 가능성을 높여 고품질 의료 시스템과 환자 치료 제공에 대한 비전을 실현하는 데 크게 기여할 수 있습니다. 이전 연구에서는 의대생 리더로 선출된 학생의 경험을 의학 이외의 분야에서 고려했습니다. 이러한 연구들은 역할의 까다로운 특성, 학생 리더십 참여에 부수적으로 습득한 다양한 기술, 리더십 역할과 개인적 헌신 사이의 균형 잡기 어려움, 멘토링의 중요성을 설명합니다.32-34 이러한 결과는 본 연구에서 논의하는 학생 리더들의 생생한 경험과 일치하지만, 의대생 리더십의 인식된 혜택은 전통적인 리더십 기술을 뛰어넘습니다. 
There exists a variety of definitions for leadership.31 Our study sampled a specific subset of medical student ‘leaders’. However, the work of elected, representative medical student leaders is consistent with the CanMEDS definition of physician leadership. As they bring content expertise to their roles, their work also dovetails with Goodall and Bäker's theory of expert leadership. Thus, positive experiences may make medical student leaders more likely to take on formal leadership roles as physician experts, making poignant contributions to a vision of a high-quality health-care system and patient care delivery. Previous studies have considered the experiences of elected student leaders outside of medicine. These studies describe the demanding nature of the roles, the various skills acquired secondary to student leadership involvement, difficulties balancing leadership roles with personal commitments as well as the importance of mentorship.32-34 While these findings are concordant with the lived experiences of student leaders we discuss in our present study, the perceived benefits of medical student leadership go beyond traditional leadership skills.

많은 참가자가 리더십 활동이 학업에 부정적인 영향을 미쳤는지에 대해 의문을 제기했지만, 의대생 시절의 리더십이 의료 전문가 역할 외의 핵심 의사 자질을 향상시켰다고 주장하기도 했습니다. 인터뷰에 참여한 리더들은 자신의 경험을 바탕으로 팀 관리와 여러 분야 간 협업에 능숙해졌다고 느꼈습니다. 의료 시스템에 대한 고유한 이해를 바탕으로 더 나은 환자 옹호자가 될 수 있었습니다. 또한 의학교육 시스템을 더 잘 이해하게 되어 교육자로서 고유한 기술을 습득할 수 있었습니다. 따라서 의대생의 리더십 참여는 보다 균형 잡힌 역량을 갖춘 의사를 양성하는 데 기여할 수 있습니다. 
Although many participants questioned whether their leadership activities negatively impacted their academics, they also contended that their leadership during medical school enhanced core physician qualities outside of the medical expert role. Drawing on their experiences, the leaders interviewed felt they became proficient in managing teams and collaborating across disciplines. Their unique understanding of the health-care system allowed them to be better patient advocates. They were also able to gain a better understanding of the medical education system affording them unique skills as educators. Involvement in medical student leadership may thus contribute to the development of physicians with more well-rounded competencies.

또한 우리 연구에 따르면 대표적 리더십 역할을 수행하는 의대생은 비교적 긴밀한 커뮤니티의 일원입니다. 따라서 의대생 리더십 경험은 여러 개인적, 직업적 관계가 형성되는 사회적 경험이 될 수 있습니다. 같은 생각을 갖고 열정적인 의대생들로 구성된 네트워크는 사회에 도움이 되는 시스템 차원의 변화를 추진하는 데 효과적일 수 있습니다. 대학 재학 중 학생 조직에서 리더십 역할을 맡은 개인은 졸업 후 사회적으로 책임감 있는 리더십을 발휘할 가능성이 높습니다.35 마찬가지로, 의대생 리더는 전국의 다른 리더들과 협력하여 대학 또는 정부 정책에 상당한 변화를 일으킬 수 있습니다. 이러한 네트워크는 시간이 지나도 지속될 수 있는 잠재력을 가지고 있으며, 의대생 리더가 의료계에서 경력을 쌓는 동안 효과적인 변화를 주도할 수 있는 위치에 설 수 있도록 합니다. 
Our study also showed that medical students who serve in representative leadership roles are part of a relatively tight-knit community. The medical student leadership experience therefore can be a social one—where several personal and professional relationships are established. A network of like-minded, passionate medical students can be effective at pushing forward systems-level change to benefit society. Individuals who take on leadership roles in student organisations while in college are more likely to engage in socially responsible leadership after graduation.35 Likewise, through collaboration with other leaders across the country, medical student leaders can effect significant changes to university or government policy. These networks have the potential to endure over time, positioning medical student leaders to become effective change-makers throughout their careers in medicine.

의대 교수진이 의대생 리더십 경험에 미치는 영향은 특히 주목할 만했습니다. 이 결과는 긍정적인 교수-학생 관계가 미래의 의학계 리더를 양성하는 데 기여한다는 Arnold 등의 연구 결과와 일치합니다.15 또한, 설문조사 참가자들은 공식적인 리더십 교육도 중요하지만 실질적인 리더십 경험도 매력적인 대안이 될 수 있다고 언급했습니다. 이러한 결과는 의학 분야에서 병행 커리큘럼의 이점을 탐구한 연구 결과와 일치합니다. 쿼크와 첨리36는 병행 커리큘럼을 '학생들이 수업이 없을 때 '어울리며 배우는' 공간'이라고 설명합니다. 우리의 경우, 리더들은 행정의 기술, 일과 삶의 균형에 대한 '방법', 의학교육 및 보건 시스템에 대한 자세한 내용 등을 배웠습니다. 병행 커리큘럼은 학습자와 교사 모두 특정 개인의 필요에 맞게 학습 및 교수 접근 방식을 조정하는 적응형 학습의 관문입니다.37 따라서 의과대학은 리더십 개발을 위한 병행 노력을 촉진할 수 있는 좋은 위치에 있으며, 특히 핵심 커리큘럼에 포함시키는 데 어려움이 있을 수 있습니다.38, 39 이 권장 사항은 다른 사람들에 의해 반영되었습니다.40, 41 의대생 리더의 경험에 대한 본 연구에서 제공하는 통찰력은 교수진이 이러한 학습자 집단에게 더 나은 경험을 제공할 수 있는 구체적인 방법을 파악하는 데 도움이 될 수 있습니다(표 2). 
The significant influence medical faculties had on the medical student leadership experience was of particular note. This result is consistent with a study by Arnold et al who found that positive faculty–student relationships contributed to developing future leaders in medicine.15 Furthermore, while formal leadership training is valuable, our participants noted that practical leadership experience may be an attractive alternative. This finding is consistent with work exploring the benefits of parallel curricula in medicine. Quirk and Chumley36 describe the parallel curriculum as a ‘space where students ‘hang out and learn’ when they are not in class’. In our case, leaders learned the art of administration, the “how-to” of work–life balance and the ins and outs of the medical education and health systems, to name a few. The parallel curriculum is a gateway to adaptive learning, where both learner and teacher tailor their learning and teaching approaches to specific individual needs.37 Medical faculties are thus well positioned to facilitate parallel efforts in leadership development, especially given that there can be challenges to its inclusion in core curricula.38, 39 This recommendation has been echoed by others.40, 41 The insight our study provides into the experiences of medical student leaders may help to identify specific ways in which faculties can create better experiences for this population of learners (Table 2).

첫째, 학생들이 수행하는 리더십 역할의 성격에 대한 교수진의 이해도가 높아지면 관리자가 현행 정책이 리더십 활동을 어떻게 방해할 수 있는지 명확히 파악하는 데 도움이 될 수 있습니다. 예를 들어, 교수진은 학생 리더 역할을 수행하려면 급하게 회의에 참석해야 할 수도 있다는 점을 인식하여 시간 통지 요건에 예외를 두는 것을 고려할 수 있습니다. 학생 리더는 학업 요건을 충족하는 것을 우선시해야 하지만, 긍정적인 학습자 경험을 촉진하기 위해 의대생 리더가 리더십 의무도 충족할 수 있도록 교육 기관의 정책을 개발할 수 있습니다. 
Firstly, an improved understanding by faculties of the nature of the leadership roles undertaken by their students may help administrators elucidate how current policies may hinder leadership activities. For example, faculties may consider making exceptions to time notification requirements, recognising that serving as a student leader may require attendance at meetings on short notice. While student leaders must prioritise meeting their academic requirements, in order to promote positive learner experiences, institutional policies could be developed to enable medical student leaders to meet their leadership mandates as well.

멘토링 프로그램은 교수진이 의대생 리더를 지원할 수 있는 또 다른 방법을 제공합니다. 연구 참여자들은 종종 의대생과 리더로서의 역할 사이에서 균형을 잡는 데 어려움을 토로했으며, 리더십 의무를 수행하는 것이 개인 생활에 미치는 비용에 대해 언급했습니다. 젊은 학생 리더 멘토링의 중요성은 간호학 문헌에서도 동일하게 입증되었습니다.42 학술 간호와 학술 의학 모두에서 멘토링은 개인 개발 및 경력 계획의 중요한 부분으로 밝혀졌습니다.43-45 의과대학의 공식적인 멘토링 프로그램은 향후 진로 선택에도 영향을 미칠 수 있습니다.46, 47 교수 멘토는 일과 삶의 통합에 대한 조언을 제공하는 것 외에도 학생 멘티에게 리더십을 임상 경력에 통합하는 방법에 대해 조언할 수도 있습니다. 의과대학은 특히 학술 의학 분야에서 경력을 쌓고자 하는 학습자에게 연구 기술을 개발하는 데 있어 멘토링의 역할을 인정합니다.48-50 의사 리더도 사회에 가치를 제공한다는 점을 인식하고 의대생이 리더십 기술을 연마하도록 멘토링하면 리더십 분야에서 정식 경력을 쌓는 의사를 더 많이 배출하는 데 비슷한 성공을 거둘 수 있습니다. 
Mentorship programming offers yet another avenue by which faculties can support medical student leaders. Study participants often described difficulties balancing their roles as medical students and leaders, noting the cost that performing their leadership duties had on their personal lives. The importance of mentoring young student leaders has been equally demonstrated in the nursing literature.42 In both academic nursing and academic medicine, mentorship has been shown to be an important part of personal development and career planning.43-45 Formal mentorship programmes in medical school can also influence future career choice.46, 47 Beyond offering advice on work–life integration, faculty mentors may also advise student mentees on how to incorporate leadership into their clinical careers. Medical faculties acknowledge the role that mentorship can play in developing research skills, especially for those learners that anticipate a career in academic medicine.48-50 Recognising that physician leaders also bring value to society, mentoring medical students to hone their skills in leadership can have similar success in producing more physicians who take on formal careers in leadership.

4.1 제한점
4.1 Limitations

본 연구에는 몇 가지 한계가 있습니다. 첫째, 연구 결과를 모든 학생 리더를 대표하는 것으로 일반화할 수 없다는 점을 인정합니다. 그러나 본 연구 설계의 강점은 지금까지 연구가 부족했던 의대생 커뮤니티의 생생한 경험의 뉘앙스를 드러냄으로써 그들의 역할에 대한 성공과 도전에 대해 더 깊이 이해할 수 있다는 것입니다. 학습자의 정체성이 의대생 리더십 경험에 어떤 영향을 미치는지에 대한 보다 심층적인 탐구는 교수진이 지원을 맞춤화하고 의대 리더십 내에서 형평성, 다양성 및 포용성을 증진하는 데 기여하는 데 도움이 될 것입니다. 예를 들어, 여성 및 소수계 학생 리더는 인종차별과 성차별을 경험했다고 보고하며, 이는 전반적인 리더십 경험을 백인 및 남성 리더와 다르게 만듭니다.32, 51, 52 본 연구는 캐나다 맥락에서 학생 리더십을 조사했지만, 유사한 의학교육 시스템을 갖춘 다른 국가에도 조사 결과를 추정할 수 있다고 생각합니다. 마지막으로, 이 연구는 학생 대표로 선출된 학생들로 참여 대상을 제한했다는 점에 유의해야 합니다. 리더십은 다양한 형태로 나타나며 리더는 공식적, 비공식적 역할을 모두 수행할 수 있습니다. 리더십 스펙트럼에 따라 의학교육 경험이 어떻게 다른지 알아보는 것도 이 분야에 대한 추가 연구에 도움이 될 수 있습니다. 
Our study has several limitations. Firstly, we acknowledge that the results cannot be generalised as representative of all student leaders. However, the strength of our study design is that it exposes the nuances of the lived experiences of this community of medical students who have thus far been under-researched, leading to a deeper understanding of successes and challenges in their roles. A more in-depth exploration of how learners' identities affect their experience of medical student leadership would also be instrumental in helping faculties tailor their supports and contribute to promoting equity, diversity and inclusivity within medical leadership. For example, female and minority student leaders report experiences with racism and sexism, which make their overall leadership experiences unique to those of their White and male counterparts.32, 51, 52 Although our study examined student leadership in the Canadian context, we believe the findings can be extrapolated to other countries with similar medical education systems. Finally, it is important to note that this study limited participation to those who were elected to represent students. Leadership takes many forms and leaders may take on both formal and informal roles. How the medical education experience differs across the leadership spectrum could also help inform further research into the area.

4.2 결론
4.2 Conclusion

우리가 아는 한, 해석학적 현상학적 접근법을 사용하여 의대생 리더의 경험의 본질을 심층적으로 탐구한 연구는 이번이 처음입니다. 연구 결과에 따르면 캐나다 의대생 리더십 경험은 높은 수준의 행정 업무로 특징지어집니다. 또한 의대생 리더는 리더십과 학업 의무 사이에서 균형을 유지해야 하는 경우가 많습니다. 의대생 리더들은 개인적인 삶에 대한 희생에도 불구하고 전반적인 경험을 가치 있는 것으로 여깁니다. 이번 연구 결과는 이러한 리더십 경험이 보다 균형 잡힌 의사를 양성하는 데 기여할 수 있다는 점을 인식하고 의대 교수진이 의대생 리더를 지원하는 데 보다 적극적인 역할을 해야 한다는 점을 시사합니다. 향후 연구에서는 다양한 학생 리더 집단 간의 리더십 경험의 차이를 더욱 정량화하여 교수진이 리더에 대한 지원을 맞춤화할 수 있도록 할 수 있습니다. 
To our knowledge, this is the first study to take an in-depth exploration into the essence of the experiences of medical student leaders using a hermeneutic phenomenological approach. The results show that the Canadian medical student leadership experience is characterised by a high level of administrative duties. In addition, medical student leaders must often balance between their leadership and academic duties. Despite the sacrifices medical student leaders make to their personal lives, they view their overall experience as worthwhile. Our findings further suggest that faculties must take a more active role in supporting medical student leaders, recognising that these leadership experiences may contribute to the development of more well-rounded physicians. Future research may seek to further quantify the variation of the leadership experience among different student leader populations to enable faculties to tailor their supports for leaders.

© 2023 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

어떻게 근무현장-기반 평가가 졸업후교육에서 학습을 가이드하는가: 스코핑 리뷰 (Med Educ, 2023)
How workplace-based assessments guide learning in postgraduate education: A scoping review 
Leslie Martin1 | Sarah Blissett2 | Bronte Johnston3 | Michael Tsang1 | Stephen Gauthier4 | Zeeshan Ahmed5 | Matthew Sibbald1 

1 서론
1 INTRODUCTION

평가 전략은 수련의가 학습하는 방식에 분명한 영향을 미칩니다.1-3 역량 기반 의학교육(CBME)4-6 에서 작업장 기반 평가(WBA)를 늘리려는 전 세계적인 변화는 학습자7, 8 와 피드백 추구와 같은 학습 행동에 긍정적인 영향을 미쳤습니다.9, 10 CBME 내 프로그램 평가의 가장 중요한 희망은 WBA를 사용하여 작업장에 학습 평가를 포함시키는 동시에 강력한 고부담 승진 결정(학습의 평가)을 최적화하고 프로그램 개선을 위한 정보를 제공하고자 하는 것입니다.11, 12 안타깝게도 예비 문헌에 따르면 각 평가의 형성적 의도와 총괄적 의도가 혼재되어 있어 프로그램 평가를 통해 학습 목표를 달성하는 데 어려움이 있음을 보여줍니다.13-15 임상 환경에서 WBA를 사용하여 낮은 부담의 학습 목표와 높은 부담의 진급 결정을 모두 달성할 때 연수생이 성과와 학습 목표 사이의 갈등을 인식함에 따라 유사한 긴장이 발생했습니다.16, 17 이러한 긴장의 핵심은 사회적으로 구성되고 고도로 맥락적인 직장에서 임상 성과를 '객관적으로 평가'해야 한다는 과제입니다.18 임상 업무 환경에서는 이러한 맥락적 전문성을 '실천 속에서 아는 것'이라고 합니다.19 
Assessment strategies clearly impact how trainees learn.1-3 The worldwide shift to increase workplace-based assessment (WBA) within competency-based medical education (CBME)4-6 in postgraduate medical education (PGME) has no doubt positively impacted learners7, 8 and learning behaviours, such as seeking feedback.9, 10 The overarching hope of programmatic assessment within CBME is to embed learning assessments in the workplace using WBA, while optimizing robust high-stakes promotion decisions (assessment of learning), and providing information for programme improvement.11, 12 Unfortunately, preliminary literature illustrates challenges in achieving learning goals through programmatic assessment, due to conflation of the formative and summative intent of each assessment.13-15 Similar tensions have arisen when using WBA in the clinical environment to achieve both low-stakes learning goals and high-stakes promotion decisions, as trainees perceive conflict between performance and learning goals.16, 17 Integral to these tensions is the challenge of ‘objectively assessing’ clinical performance in the socially-constructed and highly contextual workplace.18 In the clinical workplace, this contextual expertise is referred to as ‘knowing in practice’.19

현재 우리는 강력한 평가 프로그램을 직장으로 전환하는 것이 수련의 학습에 미치는 영향에 대해 명확하게 이해하지 못하고 있습니다. 또한 현재 WBA를 사용하여 학습을 위한 평가를 성공적으로 달성하는 방법에 대한 포괄적인 프레임워크가 없습니다. 최근의 해석학적 검토에 따르면 학습을 위한 평가를 달성하기 위해서는 별도의 평가자 그룹을 정의하여 평가의 요약적 역할과 형성적 역할을 명확히 구분해야 한다는 결론을 내렸습니다20. 이러한 제안은 문헌의 다른 부분에도 반영되어 있습니다.9 그러나 다른 사람들은 평가의 명확한 긴장을 관리하기 위해 '양자택일적 사고'를 넘어 '양립적 사고'로 나아가야 한다고 주장합니다.21 따라서 직장 환경에서 학습을 위한 WBA를 성공적으로 달성하는 길은 아직 불분명합니다. 
We currently do not have a clear understanding of the implications of shifting a robust programme of assessment into the workplace on trainee learning. Furthermore, there is currently no comprehensive framework for how to successfully achieve assessment for learning using WBA. A recent hermeneutic review concluded that a clear distinction be drawn between the summative and formative role of assessment by defining separate group of assessors20 in order to achieve assessment for learning. This suggestion is also reflected elsewhere throughout the literature.9 However, others have argued that we need to move beyond ‘either-or thinking’ in order to manage the clear tensions in assessment, and rather towards a ‘both-and’ approach.21 Thus, the path to successfully achieve WBA for learning in the workplace environment remains unclear.

초기 직장 기반 학습(WBL) 모델은 CBME 내에서 구현된 것과 유사하게 직접적인 관찰과 피드백에 중점을 두고 의도적으로 학습을 발판으로 삼는 결과 중심 직장 모델로 전환할 것을 요구했습니다.20 WBL에 관한 후속 모델 또는 이론은 CBME가 널리 구현되기 전에 만들어졌거나,22, 23 공식화된 평가 또는 WBA에 기반한 문헌을 특별히 제외했습니다.24, 25 CBME 맥락에서 프로그램적 WBA가 구현된 이후 WBL 모델을 재검토한 적은 없습니다. 
Early models of workplace-based learning (WBL) called for the movement towards a outcomes-driven workplace model to intentionally scaffold learning, with an increased focus on direct observation and feedback, similar to what was implemented within CBME.20 Subsequent models or theories regarding WBL were created prior to widespread implementation of CBME,22, 23 or specifically excluded literature based on formalised assessment or WBA.24, 25 Models of WBL have not been revisited since the implementation of programmatic WBA in the CBME context.

WBA가 이러한 프레임워크에 어떤 영향을 미치는지 더 잘 이해하지 못한 상태에서 WBL의 이론적 프레임워크를 현재의 CBME 맥락에 적용해서는 안 됩니다. 보다 완전한 프레임워크가 없다면 의학전문대학원 교육에서 학습과 평가를 모두 최적화하기 위한 노력은 계속될 것입니다. 현재의 복잡한 학습 환경에서 WBL과 평가를 이해하기 위해서는 대안적인 이론이 필요하다는 주장이 제기되고 있습니다.26 이 분야에서 이론을 개발하면 CBME 맥락에서 학습을 위한 평가라는 궁극적인 목표를 달성하는 방법을 조명할 수 있는 대안적인 관점을 제공할 수 있을 것입니다.
Theoretical frameworks of WBL should not be applied in current CBME contexts without a better understanding of how WBA impacts these frameworks. Without a more complete framework, it is likely that the struggle to optimize both learning and assessment will continue in postgraduate medical education. It has been argued that alternative theories are required to understand WBL and assessment in the current complex learning environment.26 Developing theory in this space will provide an alternative perspective to shed light on how to achieve the ultimate goal of assessment for learning in the CBME context.

첫 번째 단계로, 이 범위 검토를 통해 우리는 PGME 내에서 이 공간에 대한 이해를 넓히기 위해 WBA와 WBL 사이의 특정 교차점을 다루는 주요 문헌 기반의 폭과 깊이를 탐구하고자 했습니다. 분석은 빌렛의 보건의료 업무를 통한 학습 모델의 네 가지 전제에 따라 진행되었습니다.25 이 모델은 전통적인 '교실' 교육 밖에서 보건의료 분야의 학습이 어떻게 이루어지는지 이해하기 위한 명확하고 간결한 프레임워크와 잘 정리된 원칙을 제공합니다. 이는 평가가 이러한 원칙에 의도적 또는 비의도적으로 영향을 미칠 수 있는 방법을 탐구하는 데 강력한 발판을 제공합니다. 간단히 말해, 네 가지 전제는 각각 다음을 강조합니다.25

• (1) 학습은 항상 일어나고,
• (2) 직장 참여는 직장 환경과 직원의 위치를 변화시키고,
• (3) 직장의 물리적, 사회적 측면은 임상 지식과 학습을 제공하며,
• (4) 학습과 개인 개발은 다르지만 상호 의존적인 과정이다.

As a first step, through this scoping review we sought to explore the breadth and depth of the primary literature base that addresses the specific intersection between WBA and WBL in order to expand our understanding of this space within PGME. The analyses were guided by the four premises of Billett's model of learning through health care work.25 This model offers a clear and concise framework with well-articulated principles for understanding how learning in healthcare occurs outside of traditional ‘classroom’ education. This provided a strong scaffold to explore how assessment may intentionally or unintentionally influence these principles. Briefly, the four premises respectively highlight

• (1) how learning is always happening;
• (2) workplace engagement transforms the workplace environment and staffs' positions;
• (3) the physical and social aspects of a workplace provide clinical knowledge and learning; and
• (4) learning and personal development are different, but interdependent processes.25 

이 틀을 사용하여,25 우리는 WBA를 통한 학습을 설명할 때 깊이 강조되고 탐구된 영역과 1차 문헌 기반에서 덜 주목된 다른 영역을 강조하고자 했습니다. WBL의 렌즈를 통해 이러한 문헌 기반을 종합함으로써, WBA가 빈번하게 사용되는 시대에 WBL 모델을 업데이트하기 위한 향후 연구를 통해 해결될 수 있는 문헌의 격차를 발견할 수 있기를 바랍니다. 
Using this framework,25 we sought to highlight areas that have been deeply emphasized and explored in describing learning through WBA, and others that have been less attended to across the primary literature base. In synthesizing this literature base through the lens of WBL, we hope to uncover gaps in the literature that can be addressed through future studies aimed at updating models of WBL within the era of frequent WBA.

2 방법
2 METHODS

저희는 WBA가 대학원 의학교육에서 학습을 어떻게 안내하는지에 대한 문헌의 범위 검토를 수행했습니다. 
We conducted a scoping review of literature exploring how WBA guide learning in postgraduate medical education.

2.1 검토 유형
2.1 Type of review

범위 검토는 광범위하고 이질적인 잠재적 문헌 기반과 명확하게 정의된 연구 질문을 고려할 때 이용 가능한 문헌의 범위를 매핑하는 이상적인 방법으로 선택되었습니다.27, 28 이 방법론은 질적, 양적 및 미발표 문헌을 포함할 수 있으며 레지던트 교육에서 WBA를 사용하는 기존 문헌의 상태를 파악하는 데 중점을 둡니다.29 
A scoping review was selected as an ideal method to map the extent of available literature given the broad and heterogeneous potential literature base, and clearly defined research question.27, 28 This methodology allows for the inclusion of qualitative, quantitative and unpublished literature, and focuses on capturing the state of existing literature the use WBA in residency training.29

2.2 관련 연구 식별 및 선택
2.2 Identifying and selecting relevant studies

이 범위 검토는 이전에 발표된 프레임워크를 따랐다.28, 30-32 PRISMA-ScR 체크리스트는 출판에 앞서 참고하였다.33 연구팀은 먼저 일차 문헌에 근거하여, WBA가 대학원 의학교육에서 WBL을 어떻게 안내하는가라는 집중 연구 질문을 개발했다.
This scoping review followed previously published frameworks.28, 30-32 The PRISMA-ScR Checklist was references in advance of publication.33 The research team first developed a focused research question: based on the primary literature, how do WBA guide WBL in postgraduate medical education?

연구 질문의 범위에 검색을 포함하기 위해 명확한 포함 및 제외 기준을 선험적으로 정의했습니다. 특히, 해당 분야에서 새롭게 떠오르는 주요 관점과 의견을 알려주는 데이터의 범위를 이해하고 종합하기 위해 1차 문헌만 포함하기로 결정했습니다. 이 주제에 대한 수많은 의견, 논평 및 리뷰가 있다는 것을 잘 알고 있습니다. 이러한 자료는 연구팀에게 해당 분야의 지배적인 관점을 알리는 데 도움이 되도록 충분히 검토되었지만, 1차 데이터의 폭과 깊이를 이해하고자 하는 연구 목표를 고려하여 범위 검토에 공식적으로 포함되지는 않았습니다.
Clear inclusion and exclusion criteria were defined a priori in order to contain the search to the scope of our research question. Of note, the decision was made to only include primary literature because we wanted to understand and synthesize the scope of data that informs the predominant emerging perspectives and opinions in the field. We recognize that there are numerous opinions, commentaries and reviews on the subject. These were reviewed in full to help inform the research team on prevailing perspectives in the field, but not formally included in the scoping review given our research aim to understand the breadth and depth of primary data.

2.3 포함 기준
2.3 Inclusion criteria

논문은 대학원 의학교육 내 모든 이해관계자(예: 감독자, 수련의, 환자 및 관련 의료 전문가)의 관점에서 직장 및 WBA에서의 학습에 대한 인식 또는 기타 측정을 포착한 경우 포함되었습니다.
Papers were included if they captured perceptions or other measures of learning in the workplace and WBA from the perspective of any stakeholder (e.g., supervisors, trainees, patients and allied health professionals) within Postgraduate Medical Education.

본 연구의 목적을 위해, 우리는 학습이 임상 환경에서의 활동과 상호작용, 그리고 수련의의 참여에 의존하는 직장 내 학습(WBL)에 대한 빌렛의 정의를 사용했습니다.34 WBA는 관찰이 필요하고 피드백의 기회를 창출하는 임상 환경에서 수행되는 평가로 정의했습니다.35 영어로 제공되고 1차 데이터(양적, 질적 또는 혼합 방법)가 포함된 논문만 포함했습니다.
For the purposes of our work, we used Billett's definition of learning in the workplace (WBL) where learning is reliant on both the presence of activities and interactions in clinical settings, and the engagement of trainees.34 WBA was defined as an assessment performed in the clinical environment that requires observation and creates the opportunity for feedback.35 Only papers that were available in English and contained primary data (quantitative, qualitative or mixed-methods) were included.

2.4 제외 기준
2.4 Exclusion criteria

제외 기준에는 다른 보건 전문직 분야, 학부 의학교육과 관련된 논문 및 전문을 볼 수 없는 논문이 포함되었습니다.
The exlusion criteria included papers related to other health professions fields, undergraduate medical education and those unavailable in full text.

검색 전략은 사서의 도움을 받아 의학교육 대학원 교육, 직장 학습, 평가 또는 평가를 포착하기 위해 핵심 용어를 사용하여 개발되었습니다(전체 검색 전략은 부록 S1 참조). 이 전략은 OVID Medline, Web of Science, ERIC 및 CINAHL 데이터베이스에 적용되었습니다. 2020년 9월까지 출판된 논문이 이 검토에 포함되었습니다.
The search strategy was developed with the assistance of a librarian using the core terms to capture medical education postgraduate training, workplace learning and assessment or evaluation (see Appendix S1 for the complete search strategy). The strategy was applied in OVID Medline, Web of Science, ERIC and CINAHL databases. Papers published until September 2020 were included in this review.

검색 전략에 의해 포착된 모든 논문의 제목과 초록은 연구팀원 두 명(LM과 SB)이 독립적으로 선별하고 포함 및 제외 기준과 비교하여 적절성을 결정했습니다. 검토 과정에서 소프트웨어 Rayyan QCRI가 사용되었습니다.36 연구자들은 검색 전략과 포함 기준이 적절한지 확인하기 위해 심사 과정의 시작, 중간, 마지막 단계에서 만났습니다.31 포함 여부에 대해 이견이 있는 경우 초록을 다시 검토하여 합의에 도달할 수 있는지 확인했습니다. 심사 과정이 끝나면 연구팀원 2명이 각 논문의 전문(LM 및 SB)을 검토하여 포함 기준을 더 이상 충족하지 못하는 경우 해당 논문을 삭제했습니다. 이견이 있는 경우 연구팀의 세 번째 구성원이 참여하여 합의에 도달할 때까지 토론을 진행했습니다. 연구 흐름도는 그림 1을 참조하세요. 
The titles and abstracts of all papers captured by the search strategy were screened by two members of the research team independently (LM and SB) and compared against the inclusion and exclusion criteria to determine their appropriateness. The software Rayyan QCRI was used during the review process.36 Researchers met at the beginning, midpoint and final stages during the screening process to ensure the search strategy and inclusion criteria were appropriate.31 If there was disagreement regarding inclusion, the abstract was re-reviewed to see if a consensus could be reached. After the screening process, two members of the research team reviewed the full text of each paper (LM and SB), and if inclusion criteria were no longer met, it was removed. If disagreements were raised, a third member of the research team was involved, and a discussion held until consensus reached. Please see Figure 1 for the study flow chart.

2.5 데이터 추출
2.5 Data extraction

데이터 추출을 안내하기 위해 엑셀 스프레드시트를 선험적으로 개발하여 반복적으로 업데이트했습니다. 연구팀 전체가 데이터 추출에 참여했으며, 추출은 포함된 모든 논문에 대해 중복으로 수행되었습니다. 추출된 데이터에는 논문 번호, 제목, 저자, 학술지, 출판 연도, 국가, 주요 방법론, 주요 연구 결과 및 검토자가 포함되었습니다. 질적 데이터의 경우, 연구 결과를 단순히 요약하는 것을 피하기 위해 서술적 분석 방법을 사용했습니다.31 연구자들은 선별 과정의 시작, 중간, 최종 단계에서 만나 데이터 수집이 합리적이고 의미 있는지 확인했습니다.31 검토 과정에서 각 논문은 포함된 양적 연구에 대해서는 의학교육 연구 품질 도구(MERSQI)37 를, 질적 연구에 대해서는 Cote 등이 발표한 질적 연구 그리드를 사용하여 품질을 평가했습니다.38 품질 검토 과정은 연구팀과 독자에게 포함된 연구의 품질에 대해 정보를 제공하기 위한 것이며 포함 또는 제외를 안내하기 위해 사용되지는 않았습니다. 
An excel spreadsheet was developed a priori to guide data extraction, and updated iteratively. The entire research team participated in data extraction, and extraction was done in duplicate for every included paper. The extracted data included the papers' assigned number, title, authors, journal, year of publication, country, primary methodology, key findings and reviewers. For qualitative data, a descriptive-analytical method was employed to avoid simply summarizing the findings.31 Researchers met at the beginning, midpoint and final stages of the screening process to ensure the data collection was both reasonable and meaningful.31 During the review, each paper was also assessed for quality, using the Medical Education Research Study Quality Instrument (MERSQI)37 for included quantitative studies, and a qualitative study grid as published by Cote et al.38 The quality review process was meant to inform the research team and readers regarding quality of the included studies and was not used to guide inclusion or exclusion.

2.6 데이터 분석
2.6 Data analysis

각 논문의 서술적-분석적 요약을 검토한 후, 각 팀원이 개별적으로 질적 주제를 생성했습니다. 그런 다음 팀원들 간에 합의에 도달할 때까지 논의하여 다음 기준을 충족하는 프레임워크를 개발했습니다: (1) 기초 문헌을 반영하고, (2) 연구팀의 면밀한 검토를 견뎌내고, (3) 해당 분야와 관련성이 있을 만큼 충분한 깊이와 폭을 포함해야 합니다. 빌렛의 네 가지 전제는 직장 기반 평가 이전의 의료 환경에서의 WBL에 대한 명확하고 전체적인 관점을 제공하기 때문에 분석의 틀을 구성하기 위해 선택되었습니다.25 데이터 분석의 마지막 단계로, 연구팀은 연구 및 실무에 대한 연구 결과의 향후 함의를 탐색했습니다. 
Upon reviewing the descriptive-analytical summaries of each paper, qualitative themes were generated individually by each team member. These were then discussed amongst the team until consensus was reached, and a framework was developed, which met the following criteria: (1) reflected the underlying literature; (2) withstood scrutiny of the research team and (3) included sufficient depth and breadth to have relevance to the field. Billett's four premises were selected to frame the analysis because they provide a clear and holistic perspective on WBL in the healthcare setting which pre-dated workplace-based assessment.25 As the final step of data analysis, the research team explored future implications of our findings on research and practice.

2.7 자문 단계
2.7 Consultation phase

검토 완료 후 결과의 타당성을 높이기 위해 외부 이해관계자에게 전문가 의견을 구하여 연구 결과가 WBA 및 WBL에 대한 그들의 경험에 공감할 수 있도록 했습니다.32 
To improve the validity of our results upon completion of the review, expert opinion was sought from external stakeholders to ensure our results resonated with their experience in WBA and WBL.32

2.8 연구팀
2.8 Research team

연구팀은 교육 설계, 평가 및 임상 추론에 대한 전문성을 갖춘 캐나다의 3개 대학(맥마스터 대학, 웨스턴 대학, 퀸즈 대학)의 다양한 임상의 및 의학교육자 그룹으로 구성되었습니다. 저자들은 CBME 구현의 여러 단계에서 다양한 환경에서 WBA 및 CBME에 대한 다양한 행정 및 실무 경험을 보유하고 있습니다. 이 팀은 학습에 대한 사회적 구성주의 철학과 CBME의 목표에 대한 공통된 이해를 공유합니다. 
The research team consisted of a diverse group of clinicians and medical educators at three academic Universities in Canada (McMaster University, Western University and Queens University), with expertise in instructional design, assessment and clinical reasoning. The authors have diverse administrative and practical experience with WBA and CBME across a breadth of settings at various stages of CBME implementation. The team shares a social constructivist philosophy on learning, and a common understanding of the goals of CBME.

3 결과
3 RESULTS

문헌 검색을 통해 692개의 초록이 생성되었으며, 이 중 51개의 논문이 전체 텍스트 검토 기준을 충족했습니다(그림 1). 51개 논문 중 33개 논문이 포함 기준을 충족했습니다. 전체 텍스트를 검토한 결과, 직장에서의 학습과 평가의 교차점에 대한 이해를 돕는 1차 데이터가 상대적으로 부족하다는 점이 강조되었습니다. 
The literature search generated 692 abstracts, of which 51 papers met criteria for the full text review (Figure 1). Of the 51 papers, 33 met the inclusion criteria. The full text reviewed highlighted that there is a relative paucity of primary data informing our understanding regarding the intersection between learning and assessment in the workplace.

3.1 포함된 논문의 특징
3.1 Characteristics of included articles

표 1은 이 검토에 포함된 논문의 특징을 요약한 것입니다. 포함된 각 논문에 대한 자세한 요약은 부록 S2에서 확인할 수 있습니다. 논문은 외과 및 의학 전문 분야에 걸쳐 있으며 주로 북미와 유럽에서 수행되었습니다. 포함된 논문의 대부분은 질적 방법론을 사용했으며, 세부적으로는 23건의 질적 연구, 5건의 혼합 방법, 5건의 정량적 연구가 포함되었습니다. 정성적 연구는 대부분 인터뷰(43%) 또는 포커스 그룹(39%)을 사용했습니다. 이러한 정성적 연구 중 상당수가 구성주의적 근거 이론을 분석에 사용했으며(36%), 대부분 WBA 도구(미니 임상 평가 연습[CEX], 사례 기반 토론 등)를 사용하는 데 중점을 두었습니다. 정량적 연구 또는 혼합 방법 연구의 구성 요소는 Q 방법론 연구39 및 평가 점수의 후향적 비교를 사용한 두 연구를 제외하고는 설문조사 기반이었습니다.40 
Table 1 summarizes the characteristics of the included articles in this review. A more detailed summary of each included paper is available in Appendix S2. The papers spanned both surgical and medical specialities and were predominantly conducted in North American and European contexts. The majority of the included papers employed qualitative methodology: the specific breakdown included 23 qualitative, five mixed methods and five quantitative studies. Qualitative studies mostly employed interviews (43%) or focus groups (39%). A significant proportion of these qualitative studies employed constructivist grounded theory for the analyses (36%), and most of them focused on the employment of a WBA tool (mini-clinical evaluation exercise [CEX], case-based discussion, etc.). The quantitative studies, or components of mixed-method studies, were survey-based with the exception of two studies, which used a Q methodological study39 and retrospective comparison of assessment scores.40

모든 연구는 교육생(36%), 교수진(6%) 또는 둘 다(58%)의 관점에서 WBA를 통한 학습에 대한 인식에 초점을 맞추었습니다. 논문 중 12편(36%)만이 사회적 정체성이나 상황적 학습 이론과 같은 기존의 심리학 또는 교육 이론을 명시적으로 언급했습니다. 분석에 이론을 참조한 논문에서는 사회 인지 이론이 가장 많이 사용되었습니다(15%). 
All studies focused on the perception of learning through WBA, from the perspective of either trainees (36%), faculty (6%) or both (58%). Only 12 of the papers (36%) made any explicit reference to an existing psychological or education theory, such as social identity or situated learning theory. In the papers that did reference a theory in their analyses, social cognitive theory was the most common (15%). 

3.2 주제별 분석
3.2 Thematic analysis

이 문헌고찰의 주제별 분석은 빌렛(Billett) 등이 설명한 의료 업무를 통한 학습의 네 가지 전제에 따라 구성되었습니다.25
The thematic analysis for this review was framed by the four premises of learning through healthcare work described by Billett et al.25

3.2.1 전제 1: 학습은 항상 일어난다
3.2.1 Premise one: Learning occurs all the time

업무를 통한 학습에 관한 빌렛의 논문에서 논의된 바와 같이, 학습은 의도적인 교육 경험만을 위한 것이 아니라 수련생이 업무에 적절히 참여하고 감독자의 지원을 받는다면 일상적인 경험 중에 발생합니다.25 전통적인 직장 학습의 단점은 수련생이 모든 임상 활동에 대한 접근을 보장받지 못하고 간접적인 지도에 의존하기 때문에 학습 목표가 불분명할 수 있다는 위험입니다.25 일부 맥락에서 WBA는 중요한 업무 기반 기술과 역량을 묘사함으로써 학습 목표를 명확하게 개선해 왔습니다.7
As discussed in Billett's paper on learning through work, learning is not reserved for intentional educational experiences but rather occurs during everyday experiences if trainees adequately engage in work and are supported by supervisors.25 A shortcoming of traditional workplace learning is the risk that trainees will not be guaranteed access to all clinical activities, and that learning goals may remain unclear because of reliance on indirect guidance.25 In some contexts, WBAs have improved clarity around learning goals by delineating important workplace-based skills and capabilities.7

이 검토에서 여러 연구에서 강조된 WBA의 주요 장점 중 하나는 WBL에서 피드백이 개선되었다는 점입니다. 많은 교육생들은 WBA를 직접 관찰과 피드백을 '강제'할 수 있는 기회로 여겼으며, WBA 도구를 사용하지 않는 한 피드백은 드문 경험이라는 인식을 보고했습니다.10, 64 이러한 도구는 피드백의 구조와 구체성을 향상시키고 전통적으로 간과되는 비기술적 직접 관찰 기술에 대한 피드백을 장려하는 것으로도 인정받았습니다.48, 49, 52, 54, 63 여러 연구에서 훈련생들은 일관되게 WBA와 관련된 수치적 척도보다 서술적 피드백에서 더 많은 의미를 발견했습니다.7, 49, 51 주목할 점은 WBA가 피드백 과정을 개선했다는 인식이 모든 연구에서 모든 참가자에게 보편적으로 공유되지는 않았다는 것입니다: WBA의 규정된 구조가 활동의 강제적이고 형식적인 특성으로 인해 실제로 피드백의 질을 저하시킨다는 상반된 인식이 존재했습니다.8, 25, 53, 63
One key advantage of WBA that was highlighted across the studies in this review was an improvement in feedback in WBL. Many trainees viewed WBA as an opportunity to ‘force’ direct observation and feedback, and reported the perception that feedback was a rare experience outside of the use of WBA tools.10, 64 These tools have also been credited with enhancing the structure and specificity of feedback, as well as encouraging feedback on non-technical directly observed skills which are traditionally overlooked.48, 49, 52, 54, 63 Across studies, trainees consistently found more meaning in narrative feedback than in the numeric scales associated with WBA.7, 49, 51 Notably, the perception that WBA improved the feedback process was not universally shared by all participants across the studies: there was a contradictory perception that the prescribed structure of WBAs actually led to a deterioration in the quality of feedback due to the compulsory and form-filling nature of the activity.8, 25, 53, 63

3.2.2 전제 2: 개인이 자신의 업무에 참여할 때, 그들은 또한 직장과 직업의 지속적인 변화에 기여한다.
3.2.2 Premise two: As individuals engage in their work, they also contribute to the ongoing transformation of the workplace and their occupation

수련생이 임상 학습 환경에 참여할 때, 그들은 직장 프로세스와 문화의 적극적인 변화에 기여합니다.25 직장 피드백의 증가는 수련생과 감독자 모두의 일상적인 업무 흐름의 변화를 나타냅니다. 또한, 일부 연구에서 WBA 도구를 사용하면 수련생이 인지된 기존 숙련도의 범위를 넘어서는 과제를 완료하도록 장려하는 것으로 나타났습니다.49, 65 '근위 발달 영역'으로의 이러한 추진은 새로운 숙련도의 개발 또는 개선을 촉진하고 수련생이 직장에서 특정 학습 경험을 추구하려는 노력을 변화시킬 수 있습니다.49 
As trainees engage with the clinical learning environment, they contribute to an active change in workplace processes and culture.25 Increased workplace feedback represents a change in the day-to-day workflow of both trainees and supervisors. In addition, the use of WBA tools was found to encourage trainees to complete tasks beyond the scope of their perceived existing skillset in some studies.49, 65 This push towards the ‘proximal zone of development’ could facilitate the development or refinement of novel skills and change efforts by trainees to seek particular learning experiences in the workplace.49

안타깝게도 현재 임상 업무 환경은 다양한 학습 환경에서 WBA를 쉽게 이수할 수 있도록 체계적으로 변화하지 않았습니다. 연수생과 트레이너 모두 직접 관찰, 피드백 제공, WBA 완료에 필요한 시간8, 41, 49, 63 을 장애물로 일관되게 강조했습니다. 이러한 시간 압박은 임상 환경에서 교육과 환자 치료에 대한 경쟁적인 책임으로 인해 악화되는 것으로 나타났습니다.57 업무량, 분절된 업무 패턴, 업무 분배와 같은 의료 시스템 변수가 WBL에 영향을 미치는 것으로 잘 알려져 있습니다.24 개인이 임상 및 교육 업무에 계속 종사하면서 의무적으로 WBA를 이수해야 하는 경우, 관찰, 피드백을 위한 시간을 확보하고 수련의의 학습 목표 수립에 의도적으로 피드백을 통합하기 위해서는 업무 공간 혁신이 이루어져야 할 것입니다.58 
Unfortunately, at this time the clinical workplace has not systematically changed to facilitate the completion of WBAs across different learning environments. Time was consistently highlighted by both trainees and trainers as a barrier for direct observation, provision of feedback, and completion of a WBA,8, 41, 49, 63 each of which are necessary to achieve learning. This time pressure was felt to be exacerbated by competing responsibilities for both education and patient care in the clinical environment.57 Health systems variables such as workload, fragmented work patterns, and distribution of work are well recognized to influence WBL.24 As individuals continue to engage in both their clinical and educational work, which includes the compulsory completion of WBAs, workplace transformation will need to occur in order to create time for observation, feedback, and deliberate integration of feedback into the formulation of trainees' learning goals.58

WBA의 인지된 가치에 관한 직장 내 변화는 시간이 지남에 따라 발생할 수 있습니다. 한 연구에 따르면 마일스톤이 도입된 지 10년이 지난 후 수련의들은 성과와 성적에 덜 집중하게 되었고, 수치 평가보다는 직접적인 관찰과 즉각적인 피드백이 학습에 미치는 긍정적인 영향에 감사를 표하는 것으로 나타났습니다.66 임상 학습 환경 내에서 WBA를 광범위하게 시행하는 초기 단계인 지금, 우리는 WBA의 시행으로 인해 지속적인 변화가 일어날 것으로 예상할 수 있습니다. 
Workplace transformation regarding the perceived value of WBAs can occur with time. In one study, it was shown that 10 years after the rollout of milestones, trainees became less focused on performance and grades, and expressed appreciation for the positive learning implications of direct observation and in-the-moment feedback rather than numerical assessments.66 At this early stage of widespread implementation of WBA within the clinical learning environment, we can anticipate ongoing transformations to take place as a result of the implementation of WBAs.

3.2.3 전제 3: 직장은 물리적 및 사회적 환경에 의해 구성된 임상 지식을 제공합니다. 이러한 실제 환경에 대한 적극적인 참여는 개인적으로 매개되며 의미 있는 학습을 위한 필수 조건입니다.
3.2.3 Premise three: Workplaces provide clinical knowledge framed by the physical and social environments. Active engagement with these authentic environments is personally mediated and a requisite for meaningful learning

이러한 전제는 학습이 이루어지는 문화와 맥락의 핵심적인 중요성과 실제 환경에 대한 교육생의 적극적인 참여의 필요성을 강조합니다.20 따라서 WBA를 사용하는 감독자와 교육생 모두 이러한 도구의 워크플로와 목적에 대한 이해를 공유하는 것이 중요합니다. WBA가 이중 목적(형성 또는 학습을 위한 평가 vs 요약 또는 학습의 평가)으로 사용되기 시작했다는 점을 감안할 때,11 연수생과 감독자 모두의 관점에서 볼 때 목적이 명확하지 않은 것은 이해할 수 있습니다.7-9, 49, 50, 56, 57 WBA의 목적에 대한 이해의 다양성은 '총괄 대 형성'이라는 이중 목적에 대한 인식을 넘어선 것으로 나타났습니다.

• de Jonge 등의 연구에 따르면 참가자들 사이에서 WBA에 대한 다섯 가지 관점이 발견되었습니다.39 예를 들어, 이 연구에서 한 관점은 학습자가 능동적이고 자기 주도적인 역할을 수행해야 하며 '학습할 내용을 결정'해야 하는 WBA 과정을 통해 학습자의 주체성을 강조합니다.39 이는 객관성과 같은 일부 다른 관점과는 대조적이었는데, WBA가 고도로 구조화되고 기준 기반이며 '개별 학습 목표에 맞춰지지 않는 것'에 가치를 두었습니다.39
• 다른 연구에서도 많은 교육생이 기준 기반 성과 기준이 평가 데이터 해석과 학습 목표 개발에 어떻게 도움이 되는지 유사하게 설명했습니다.7, 46, 53, 67 명확하게 정의된 성과 기준은 연수생과 감독자가 WBA 과정에 참여하고, 주어진 역량을 달성하는 것이 무엇을 의미하는지 이해하고, CBME 맥락에서 피드백을 촉진하는 데 도움이 될 수 있습니다.46, 48, 52, 53, 55, 67 
• 드 존지 연구39 에서 언급된 다른 관점으로는
  • 임상 환경에서 양질의 환자 치료를 보장하기 위해 WBA가 중요하다고 느낀 책무성과
  • 응답자가 WBA가 감독자와 연수생 간의 합작 투자라고 느낀 상호성이 있습니다.
  • 학습자와 수퍼바이저 간에 WBA를 완료할 책임이 어디에 있는지에 대한 '논쟁'은 문헌의 다른 곳에서도 볼 수 있습니다.10
• 직장에서의 의료 교육의 사회적, 문화적 맥락은 자율성과 효율성을 모두 중시하는 것으로 알려져 있습니다.47 이러한 효율성 중시는 수련생이 직장에서 수퍼바이저에게 평가를 완료하도록 요청하는 것을 특히 어렵게 만듭니다.47 주요 이해관계자들 사이에서 WBA의 목적과 실행에 대한 공유된 이해가 부족하여 프로세스의 구매와 참여에 영향을 미치고, 불행히도 수련생의 전반적인 학습 가치를 약화시킬 수 있습니다. 

This premise highlights the core importance of the culture and context where learning takes place, and the need for active engagement of trainees in the authentic environment.20 As this stands, it is critical that both supervisors and trainees using WBAs share an understanding of the workflow and purpose of these tools. Given that WBAs have begun to serve a dual purpose (formative or for-learning versus summative or of-learning),11 there remains an understandable lack of clarity of purpose from the perspective of both trainees and supervisors.7-9, 49, 50, 56, 57 The diversity of understanding regarding the purpose of WBAs has been shown to go beyond the perception of the dual ‘summative versus formative’ purpose.

• A study by de Jonge et al. uncovered five different perspectives on WBA amongst their participants.39 For example, one perspective in this study emphasizes learner agency through the WBA process, where trainees should play an active, self-directed role and ‘decide what is to be learnt’.39 This was in contrast with some of the other perspectives, such as objectivity, where value was placed on WBA being highly structured, criterion-based and ‘not be tailored to individual learning goals’.39 
• Across other studies, many trainees similarly described how criterion-based performance standards helped guide their interpretation of assessment data and the development of learning goals.7, 46, 53, 67 Clearly defined performance standards can help trainees and supervisors engage in the WBA process, understand what it means to achieve a given competency, and facilitate feedback in the CBME context.46, 48, 52, 53, 55, 67 
• Other perspectives noted in the de Jonge study39 included
  • accountability, where WBA was felt to be important in the clinical setting to ensure high-quality patient care, as well as
  • mutuality, where respondents felt WBA should be a joint venture between supervisor and trainee.
  • The ‘debate’ about where the responsibility falls to complete WBAs between learners and supervisors is seen elsewhere throughout the literature.10 
• It is known that the social and cultural context of medical training in the workplace values both autonomy and efficiency.47 This focus on efficiency makes it particularly challenging for trainees to ask supervisors to complete an assessment in the workplace.47 The lack of shared understanding regarding the purpose and implementation of WBA amongst key stakeholders has impacted the buy-in and engagement with the process, which can unfortunately undermine the overall learning value for trainees.

이러한 문제에 기여하는 것은 PGME 교육생 교육에서 개별 슈퍼바이저가 수행하는 역할의 다중성입니다. 예를 들어, 한 명의 수퍼바이저가 개별적인 순간 평가, 종단적 종합 평가, 연수생 그룹에 대한 승진 관련 결정에 대한 가중치 부여를 동시에 담당할 수 있습니다.49 수퍼바이저들은 교사와 평가자의 역할을 겸하고 있기 때문에 비판적인 피드백을 제공하는 것이 어렵다고 말했습니다.52 WBA를 시행할 때, 평가가 수퍼바이저와 학습자 간의 대인 관계 및 신뢰 관계 구축에 미치는 영향을 고려하는 것이 어려웠습니다.57 또한, 수련생은 수퍼바이저가 직면한 이러한 문제에 민감하며, 이러한 공유된 역할이 WBA 후 제공되는 피드백의 신뢰성에 미칠 수 있는 영향을 인식하고 있습니다.8, 9, 45 이에 대응하여, 수퍼바이저와 수련생이 직접 관찰의 역할에 대해 공개적으로 논의할 것을 권장하고 있습니다.45 이는 WBA 중 양측의 요구를 명확히 하기 위한 것입니다. 수퍼바이저와의 종적, 지지적 관계는 학습자가 평가 순간의 학습 가치에 기여한다고 느꼈기 때문에 학습을 촉진하도록 권장됩니다.8, 9, 57, 61 이는 수퍼바이저가 시간이 지남에 따라 실제 임상 실습을 반복적으로 관찰할 수 있게 해주기 때문에 의미 있는 피드백을 향상시킬 수 있습니다.57 

Contributing to this challenge is the multitude of roles an individual supervisor may play in the education of PGME trainees. For example, one supervisor may be simultaneously responsible for completing individual in-the-moment assessments, longitudinal summative assessments and weighing in on decisions regarding promotion for a group of trainees.49 Supervisors have spoken about the difficulty in providing critical feedback, given their combined role of teacher and assessor.52 In the implementation of WBAs, it has been difficult to account for the impact of assessment on the interpersonal relationship between supervisors and learners and the establishment of a trusting relationship.57 In addition, trainees are sensitive to this challenge facing supervisors and recognize the impact this shared role can have on the authenticity of feedback provided after a WBA.8, 9, 45 In response to this, it has been recommended that supervisors and trainees openly discuss the role of direct observation,45 in order to clarify the needs of both parties during a WBA. Longitudinal, supportive, relationships with supervisors were felt by learners to contribute to the learning value of the assessment moments and therefore are encouraged to facilitate learning.8, 9, 57, 61 This can enhance meaningful feedback, as it allows supervisors to repeatedly observe authentic clinical practice over time.57

3.2.4 전제 4: 경험 전반에 걸친 학습과 개인 개발은 서로 연관되어 있지만 별개의 과정이며, 개인은 한 경험에서 동일한 것을 배우지 않는다.
3.2.4 Premise four: Learning and personal development across experiences are related but separate processes, and individuals will not learn the same thing from one experience

두 개인은 한 경험에서 같은 것을 배우지 않을 것입니다.25 이는 '학습을 위한' WBA를 구현하는 데 있어 잘 문서화되어 있으며 학습 목표와 성과 목표 사이의 긴장으로 설명되어 온 도전 과제에 대한 강력한 틀을 제공합니다. 예를 들어, 연구에 따르면 학습자는 다음 두 가지 목표 중 하나를 달성하기 위해 WBA 사례 또는 평가자를 찾는 것으로 나타났습니다:

• (1) 역량 입증(성과 지향) 또는
• (2) 학습 극대화(성장 또는 숙달 지향) .9, 67

Two individuals will not learn the same thing from one experience.25 This provides a powerful framing of the challenges which have been well-documented in the implementation of WBA ‘for-learning’ and has been described as the tension between learning versus performance goals. For example, studies illustrate that learners specifically seek WBA cases or assessors to achieve one of two goals:

• (1) demonstrate competence (performance orientation) or
• (2) maximize learning (growth or mastery orientation).9, 67 

Castanelli 등은 WBA에서 역량을 입증하려는 학습자의 동기를 '선순환 또는 악순환'으로 설명합니다.49 악순환에 빠진 학습자의 경우 WBA가 '틱 박스' 연습이 되어 평가의 진정성과 전반적인 학습 가치에 영향을 미칠 위험이 있습니다.8, 10, 49, 51, 53, 55, 56 한 연구에 참여한 연수생들은 전문성 개발을 지원하는 데 있어 이러한 피드백이 중요한 요소임을 인식하면서도 비공식적인 피드백이 자존감에 덜 위협적이라고 느꼈기 때문에 WBA의 맥락 밖에서 부정적이거나 건설적인 피드백(즉, '진정한 학습')을 구체적으로 추구하는 것으로 나타났습니다.9 WBA를 시행함으로써 학습자에게 도움이 되도록 평가를 조작하는 '게임'의 문화를 의도하지 않게 조성한 것은 아닌지 의문이 제기되었습니다.9
Castanelli et al. describe learners' motivation to demonstrate their competence in WBAs as the ‘Virtuous or Vicious Cycle’.49 For those in the Vicious Cycle, there is a risk that WBAs could become ‘tick-box’ exercises, impacting the authenticity of the assessment and overall learning value.8, 10, 49, 51, 53, 55, 56 Trainees in one study identified specifically seeking negative or constructive feedback (i.e., ‘real learning’) outside of the context of a WBA, as they recognized the critical element of such feedback in supporting their professional development but felt informal feedback was less threatening to their self-esteem.9 The question has been raised whether, through the implementation of WBA, we have unintentionally created a culture of ‘gaming’—manipulating assessments to benefit the learner.9

일부 교육생이 성과 목표를 중심으로 학습하는 경향은 전통적인 WBA 이외의 영역에서도 나타났습니다. 이 검토에 포함된 다른 연구에서는 공식적인 WBA를 동시에 완료하지 않더라도 모든 관찰이 평가처럼 느껴진다는 인식을 바탕으로 직접 관찰하는 것만으로도 수행 불안에 대한 유사한 설명이 발견되었습니다.41, 42 이에 따라 교수진은 비공식적이고 직접적인 관찰 순간이 최종 요약 평가에 영향을 미친다고 지지했습니다.41 자기 평가를 조사한 또 다른 연구에서는 학습자가 피드백을 얻고 통합하려고 노력하지만 확인되지 않은 정보를 두려워하고 자신의 자기 평가와 불일치를 조정하는 데 어려움을 겪는 유사한 긴장이 강조되었습니다.43 이러한 평가의 '위협'은 훈련생의 성과 지향적 조정 행동으로 이어질 수 있으며,42, 58 이는 비공식 직접 관찰의 학습 가치를 훼손할 수 있습니다. 이러한 결과를 바탕으로 일부 교육자들은 구조화된 평가와 엄격하게 분리된 관찰 기반 코칭 문화를 제안했습니다.42, 57 
The inclination for some trainees to orient themselves around performance goals has been shown in spheres outside of traditional WBA. Other studies captured in this review found a similar description of performance anxiety simply from being directly observed, based on the perception that any observation felt like an assessment, even without the concurrent completion of a formal WBA.41, 42 In keeping with this, faculty endorsed that informal and direct observation moments did impact their final summative assessments.41 In another study looking at self-assessment, similar tensions were highlighted43 where learners sought to obtain and integrate feedback, but feared disconfirming information and struggled to reconcile inconsistencies with their own self-appraisal.43 This ‘threat’ of assessment can lead to a performance-oriented adjustment trainees' behaviour,42, 58 which will undermine the learning value of informal direct observation. Based on this finding, some educators have proposed a culture of observation-based coaching that is strictly separated from any structured assessment.42, 57

그러나 포함된 연구들은 평가의 '위협'이 보편적이지 않다는 것을 보여줍니다. 연수생 개개인은 직접 관찰로 인한 정서적 스트레스에 대한 반응이 다양하며,58 WBA에 대한 선호도도 다양합니다.63

• 한 연구에서, 피드백 및 평가에 대한 일반적인 접근 방식에 WBA가 보완적이라고 생각한 슈퍼바이저나 연수생은 더 쉽게 도구를 통합할 수 있었습니다.63
• 같은 연구에서, WBA가 일반적인 접근 방식에 적합하지 않지만 그 과정의 가치를 인정하여 도구를 통합하려고 노력한 개인도 있었습니다.63
• WBA의 역할을 이해하지 못하는 개인은 그 과정이 특히 부담스럽고 교육적 가치가 낮다고 느꼈습니다.63
• 적극적인 슈퍼바이저는 자주 관찰하고 피드백을 제공함으로써 교육생들의 평가 회피 행동을 극복할 수 있는 것으로 나타났습니다.58
• 종종 전체 교육 그룹이 관점을 공유하는데, 이는 사회적 맥락의 중요성을 더욱 강조합니다.58
• 이에 발맞춰 Balmer 등의 후속 연구에 따르면 교수진과 교육생 모두 CBME 맥락에서 10년 후 성과 지향에서 학습 지향으로 전환할 수 있었습니다.66
• 성과에서 학습 지향으로의 전환은 이해관계자들이 성과 기준, 과정 및 목적을 포괄적으로 지향하고 결국 공유 정신 모델을 달성하기 위해 시간이 더 필요하다는 것을 시사할 수 있습니다.

이 범위 검토에 포함된 연구 전반에서 사회적 학습 이론이 가장 일반적으로 적용된 이론이었습니다.9, 43, 47, 57, 61 이는 이 분야의 연구자들 사이에서 WBA를 통한 학습을 이해하는 데 있어 사회적 맥락의 중심 역할에 대해 어느 정도 동의한다는 것을 시사합니다. 

Yet the included studies illustrate that the ‘threat’ of assessment is not universal. Individual trainees have variable responses to the emotional stress of direct observation,58 and variable affinity towards WBA.63 

• In one study, supervisors or trainees that found WBA complimentary to their usual approach to feedback and assessment were able to incorporate their use with greater ease.63 
• In this same study, there were individuals who did not find that WBA fit with their usual approach, but ascribed to the value of the process, and thus worked to incorporate the tools.63 
• It was individuals who did not understand the role of WBA that found the process particularly burdensome and the educational value to be low.63 
• Active supervisors have been shown to be able to overcome avoidant assessment behaviour by trainees by offering frequent observation and feedback.58 
• Perspectives are often shared by the whole training group, which further highlights the importance of the social context.58 
• In keeping with this, a follow-up study by Balmer et al. found that both faculty and trainees were able to shift from a performance orientation to a learning orientation after 10 years in a CBME context.66 
• The transition from performance to learning orientation could suggest that we simply need more time to comprehensively orient stakeholders to the performance standards, process and purpose, and eventually achieve a shared mental model.

Across the included studies in this scoping review, social learning theories were the most commonly applied theories.9, 43, 47, 57, 61 This suggests some agreement regarding the central role of social context in understanding learning through WBA amongst researchers in this field.

WBL 문헌 기반에서 수퍼바이저와 연수생 행동의 개인차는 학습의 조절자로서 광범위하게 설명되어 왔습니다.24, 25 Wiese 등의 모델에서는

• 수퍼바이저 스타일의 차이가 학습에 미치는 영향(전문적 대 비전문적 행동 모델링, 마이크로 매니지먼트 대 미니멀리스트 수퍼바이저 스타일)과
• 연수생 간의 차이(자신의 학습에 대한 연수생의 주체성, 부적절한 지원 추구에 대한 인식 및 두려움, 피드백 추구 행동)를 강조했습니다.24

WBL에 대한 Billett의 논문에서도 마찬가지로 개인이 사회적 맥락에서의 참여, 환경 단서의 흡수 및 자신의 진행 상황 모니터링을 포함하여 제공되는 학습 경험에 참여할 수 있는 다양성을 강조하고 있습니다.25 따라서 다양한 교육생 목표 지향성은 WBA 시대에 새로운 것은 아니지만 임상 환경에서 직접 관찰, 피드백 및 평가의 요구 빈도와 인식이 증가함에 따라 더 큰 관심을 받고 있습니다.  
In the WBL literature base, individual differences in supervisor and trainee behaviours have been extensively described as modulators of learning.24, 25 In the Wiese et al. model,

• differences in supervisory styles were highlighted for their impact on learning (professional versus unprofessional behaviour modelling, micromanaging versus minimalist supervisor styles) as were
• differences between trainees (trainee agency over their own learning, perceptions and fears of inappropriate support seeking, feedback-seeking behaviours).24 

Billett's paper on WBL similarly emphasizes the variance through which individuals will engage in the provided learning experiences, including their engagement in the social context, uptake of environmental clues and monitoring of their own progress.25 Thus, the different trainee goal orientations are not new in the era of WBA but have received greater attention given the increased required frequency and perceived stakes of direct observation, feedback and assessment in the clinical environment.

4 논의
4 DISCUSSION

이 범위 검토를 통해 연수생과 교수진의 관점에서 WBA를 통한 학습을 탐구하는 광범위한 1차 문헌 기반을 확인했습니다. 이전 리뷰와 관점에서는 WBA의 실행,6,68 수용성, 효과 및 유용성을 검토한 바 있지만,20 본 연구는 WBA가 대학원 의학 학습에 미치는 영향을 총체적으로 탐구한 최초의 연구입니다. 긴장과 도전 과제를 재구성하기 위해 이 분석은 빌렛의 기존 WBL에 따라 진행되었습니다.25  
This scoping review identified a broad primary literature base exploring learning through WBA from the perspective of trainees and faculty members. While prior reviews and perspectives have examined the implementation,6, 68 acceptability, effectiveness, and utility of WBA,20 our study is the first to holistically explore how WBA impacts postgraduate medical learning. In order to re-frame tensions and challenges, the analysis was guided by Billett's existing WBL.25

우리는 학습을 '알고, 할 수 있고, 가치 있는 것'으로 변화하는 과정으로 정의합니다.25 이 광범위한 정의를 적용하면 학습이 항상 어떻게 발생하는지 명확해집니다. 임상 업무 환경에서는 교육생의 가치 체계 변화와 같이 모든 형태의 학습을 포착하거나 측정하기 쉬운 것은 아닙니다. 학습을 안내하기 위해 WBA를 사용할 때, 감독자가 직접 관찰하고 피드백을 제공하고 평가를 완료하는 능력에 따라 우선순위가 정해지는 특정 유형의 학습이 있습니다. 그 외의 관찰, 상호 작용 및 비공식적인 피드백은 체계적으로 포착할 수 없습니다. 이러한 점을 염두에 두고, 이 범위 검토에서는 WBA와 WBL 사이의 가장 강력한 연결고리로서 피드백을 강조합니다. 보건 전문직 교육에서 피드백은 '교육생의 성과를 개선하기 위한 의도로 주어진 교육생의 관찰된 성과와 표준 간의 비교에 대한 구체적인 정보'로 정의되었습니다.69 위에서 설명한 바와 같이, WBA는 이러한 객관적인 표준을 정의하고48, 49, 52, 54, 63 피드백 빈도의 증가를 유도함으로써 피드백의 구체성과 구조를 강화했습니다.10, 64 그러나 이러한 도구가 교육생에게 제공되는 피드백의 질을 확실하게 개선하지는 못했습니다.8, 53, 63 의미 있는 피드백은 종종 교수진에서 교육생에게 피드백이 선형적으로 전달되는 것이 아니라 교수진과 교육생 간의 공동 구성으로 설명됩니다.24 WBA는 이러한 논의의 출발점이 될 수 있지만,45 이러한 평가가 학습과 역량 평가라는 이중 목적을 달성하는 경우 교수진과 교육생 모두에게 기대치와 목표를 공동 구성하는 것은 실질적으로 어려운 일이 됩니다.7, 48  
We define learning as the process of change to what someone ‘knows, can do and values’.25 Applying this broad definition, it becomes clear how learning occurs all the time. In the clinical workplace, not all forms of learning are easy to capture or measure, such as changes to a trainees' value system. When we hone in on the use of WBA to guide learning, there are certain types of learning that become prioritized based on a supervisor's ability to directly observe, provide feedback and complete an assessment. Other observations, interactions and informal pieces of feedback cannot be systematically captured. With that in mind, this scoping review highlights feedback as the strongest link between WBA and WBL. Feedback within health professions education has been defined as ‘specific information about the comparison between a trainee's observed performance and a standard, given with the intent to improve the trainee's performance’.69 As described above, WBA has enhanced feedback specificity and structure by defining those objective standards,48, 49, 52, 54, 63 and prompting an increase in the frequency of feedback.10, 64 However, these tools have not reliably improved the quality of feedback provided to trainees.8, 53, 63 Meaningful feedback is often described as a co-construction between faculty and trainees, rather than the linear transmission of feedback from faculty to trainee.24 A WBA can act as a starting point for this discussion,45 but co-construction of expectations and goals becomes practically challenging for both faculty and trainees when these assessments serve the dual purpose of learning and assessment of competence.7, 48

4.1 향후 연구를 위한 격차 확인
4.1 Identified gaps for future study

4.1.1 연구 결과의 확장
4.1.1 Expanding research outcomes

이 범위 검토에서 수집한 문헌은 일반적으로 교수진과 연수생의 관점과 WBA 도구의 실행에 대한 반응에 초점을 맞추었습니다. 평가 도구에 대한 인식이 효능에 영향을 미치고,70 태도와 문화가 도구의 수용 가능성과 학습 가치에 영향을 미친다는 것은 분명하지만,63,71 인식을 넘어서는 연구를 시작하는 것이 중요합니다. WBL 이론에서 향후 조사해야 할 관심 있는 결과로는 WBA가 직장의 변화에 미치는 영향,25 전문가 정체성 형성, 안전한 의료행위 참여, 미래 의료행위 준비 등이 있습니다.24 이는 의료 학습 모델을

• 전통적인 자격 지표(지식, 기술 및 태도)를 넘어
• 사회화(전문가 그룹의 일원이 됨) 및
• 주체화(사려 깊고 성찰적이며 책임감 있는 의사 되기)로 확장하려는 최근 제안과 일치합니다.72

사회화 및 주체화를 탐구하는 미래의 학문적 작업은 신중하게 설계된 이론 기반 종단 질적 연구를 통해 추구할 수 있습니다. 
The literature captured in this scoping review generally focused on faculty and trainee perspectives and reactions to the implementation of WBAs tools. While it is clear that perception of an assessment tool will impact the efficacy,70 and attitudes and culture will impact the acceptability and learning value of any tool,63, 71 it is important that we start to move beyond perceptions. Future outcomes of interest to investigate in WBL theory could include the impact of WBA on transformation of the workplace,25 professional identity formation, safe participation in practice and preparation for future practice.24 This aligns with a recent proposal to expand the medical model of learning beyond

• traditional qualification metrics (knowledge, skills and attitudes) to include
• socialization (becoming a member of a professional group) and
• subjectification (becoming a thoughtful, reflective and responsible physician).72 

Future scholarly work to explore socialization and subjectification could be pursued through carefully designed theory-informed longitudinal qualitative studies.

4.1.2 평가 어휘집
4.1.2 Lexicon of assessment

프로그램적 WBA에 적용된 어휘집은 감독자와 훈련생이 공유된 정신 모델을 개발하는 능력을 의도하지 않게 방해했을 수 있습니다. 최근 사용자의 공유된 이해를 개선하기 위해 WBA의 설계와 위임 언어를 최적화해야 한다는 주장이 제기되었습니다.73 언어는 평가의 인지된 부담에도 영향을 미칠 수 있습니다.14 자율성과 유연성을 강화하는 언어로 WBA를 설계하면14, 15 학습자의 주체성을 촉진하고 다양한 교육 상황 및 문화와의 조율을 지원할 수 있습니다.73 이러한 변화는 학습 결과를 설명하기 위해 고안된 도구가 대화, 여러 이해관계자의 관점, 학습이 이루어지는 시스템의 복잡성을 통합해야 한다고 제안하는 경험적 학습 이론 및 문화역사 활동 이론과 일치합니다.23 이는 직장에서의 사회적 학습을 의도적으로 통합하는 훈련생에 대한 성과 관련 피드백으로의 전환을 강화하는 역할을 할 것입니다.74 WBA 프로그램을 재설계할 때 우리는 질문을 할 수 있습니다:

• 학습을 보다 효과적으로 안내하기 위해 WBA 중에 발생하는 복잡하고 상황에 기반한 상호 작용을 포착하도록 도구를 최적화할 수 있을까요?

이러한 재설계에는 이러한 평가의 객관성 부족에 대한 불만을 지속하기보다는 직장 기반 평가에서 '공유-주관성'을 포용하고 중요하게 여길 기회가 있습니다.18 향후 작업에서는 설계 반복에 정보를 제공하기 위해 직장 학습에 관한 지표를 사용하여 WBA를 운영하는 품질 개선 접근법을 채택할 수 있습니다.
The lexicon applied to programmatic WBA may have unintentionally impeded the ability for supervisors and trainees to develop a shared mental model. It was recently argued that the design of WBA, and the language of entrustment, needs to be optimized in order to improve the shared understanding of the users.73 Language is likely to also have an impact on the perceived stakes of an assessment.14 Designing WBA with language that enhances autonomy and flexibility14, 15 could promote learner agency and support alignment with different training contexts and cultures.73 This shift would align with both experiential learning theory and cultural historical activity theory, which suggest that tools designed to describe learning outcomes need to integrate dialogue, perspectives from multiple stakeholders, and the complexity of the system in which the learning takes place.23 This would serve to reinforce the shift towards performance-relevant feedback for trainees, which intentionally integrates social learning in the workplace.74 In re-designing our programmes of WBA could we ask the question: 

• Can the tools be optimized to capture the complex and situationally-rooted interactions that occur during WBA in order to guide learning more effectively? 

There is opportunity in this re-design to embrace and value ‘shared-subjectivity’ in workplace-based assessment rather than perpetuating the frustration about the lack of objectivity of these assessments.18 Future work could adopt a quality improvement approach in operationalizing WBA using metrics around workplace learning to inform design iterations.

4.1.3 범위 확장: 문화적, 이론적, 철학적 토대
4.1.3 Expanding the scope: Cultural, theoretical and philosophical underpinnings

임상팀, 지역 문화, 임상 업무의 성격은 모두 WBL 환경에서 감독자, 수련생, 환자 간의 관계와 상호작용에 영향을 미칩니다.24 이 백서에서는 WBA의 실행이 직장을 어떻게 변화시킬 것인지에 대해 논의합니다. 여러 논문에서 (조직 수준에서) 문화적 변화의 필요성과 CBME 내에 WBA를 통합하기 위한 광범위한 동의에 대해 언급하고 있지만,48 다음은 여전히 불분명합니다.

• (1) 이를 어떻게 배양해야 하는지,
• (2) 임상 작업장의 변화(의도적이든 비의도적이든)를 어떻게 모니터링해야 하는지

The clinical team, local culture, and nature of clinical tasks all influence the relationship and interactions between supervisors, trainees and patients in the WBL environment.24 In this paper, we discuss how the implementation of WBA will transform the workplace. While papers speak to the need for cultural change (at the organizational level) and widespread buy-in for integrating WBA within CBME,48 it remains unclear

• (1) how this should be cultivated and
• (2) how we should monitor the transformation of our clinical workplaces (both intentional and unintentional).

이 리뷰에 포함된 대부분의 연구는 귀납적 질적 방법론, 주로 구성주의 근거 이론(CGT)을 적용했습니다. 완전 귀납적 연구 설계인 CGT의 경우, 연구팀은 데이터로부터 자체 이론을 생성합니다.75 현 단계에서 우리는 WBA 맥락에서 '긴장'으로 나타나는 행동과 정서적 반응을 이해하기 위해 향후 연구에서 사회문화 및 학습 이론이 필요하다고 주장합니다. 링가드와 클라센은 임상 수퍼비전의 복잡한 차원을 지속적으로 이해하는 것의 중요성에 대해 언급하며, 이는 WBA를 통해 수련생과 수퍼바이저의 행동을 평가하는 비선형 매트릭스를 포함합니다.76 우리는 이 렌즈를 통한 추가 연구가 학습을 위한 평가가 언제, 어떻게 이루어질 수 있는지에 대해 더 가까이 다가갈 수 있기를 바랍니다. 
Most studies included in this review applied inductive qualitative methodologies, predominantly constructivist grounded theory (CGT). In the case of CGT, which is a fully inductive study design, the research team generates their own theory from the data.75 At this stage, we argue that sociocultural and learning theories are required in future studies in order to understand the behaviour and emotional reactions presenting as ‘tensions’ within the WBA context. Lingard and Klasen comment on the importance of continuing to understand the complex dimensions of clinical supervision, a non-linear matrix that contains evaluating trainees' and supervisors' behaviours with WBAs.76 We hope that further research through this lens could move closer to if, when and how assessment-for-learning can be achieved.

이 백서에서는 임상 학습 환경에서 WBA를 사용하는 사람들이 공유하는 멘탈 모델의 부재와 이것이 교육생의 참여에 미치는 영향을 강조합니다. 한 걸음 물러서서 생각해보면 이러한 구현 문제는 CBME의 철학적 기원에 대해 생각해 볼 때 예측할 수 있었던 문제일 수도 있습니다. 타바레스 등이 주장한 바와 같이, 평가 문헌에는 역량의 철학적 토대에 대한 일관된 정신 모델이 부족하며, 일부 모델은 실증주의 또는 포스트 실증주의에 부합하고 다른 모델은 구성주의 또는 해석주의에 부합합니다.77 이러한 다양한 철학적 관점은 평가 설계, 실행, 교수진 개발 및 연수생과 WBA의 상호작용에 영향을 미치며, 이는 의심할 여지없이 학습에 영향을 미칠 것입니다.

• 실증주의적 관점은 일부 기준 기반 성과 표준에 초점을 맞출 가능성이 높으며,7, 39, 77 이는 성과 지향에 대한 긴장을 고조시킬 위험이 있습니다.
• 반면 구성주의적 관점은 강력한 심리측정의 필요성을 덜 강조하고, 유연성 향상과 학습자 선택권 확대를 통해 상황 및 문화적 요인을 포착하는 것을 수용합니다.77

우리는 WBA 및 학습 분야에서 연구자들이 다양한 철학적 입장을 계속 유지할 것임을 인식하며, 향후 작업에서 이러한 대화의 일관성과 명확성을 높이기 위해 연구자들이 자신의 철학적 입장을 명시적으로 공개할 것을 촉구합니다.77 연구자의 철학적 입장은 연구 결과와 얽혀 있으며 WBA를 통한 학습 결정의 기본이 될 것입니다.77 
This paper highlights the absence of a shared mental model by those using WBA in clinical learning environments and the impact of this on trainees' engagement. Taking a step back, perhaps this implementation challenge could have been predicted when we think about the philosophical origins of CBME. As argued by Tavares et al., there is lack of a consistent mental model around the philosophical underpinnings of competence within assessment literature, with some models aligning with positivism or post-positivism, and others with constructivism or interpretivism.77 These different philosophical perspectives will impact assessment design, implementation, faculty development and trainee interaction with WBA, which will undoubtedly impact learning.

• Positivist perspectives are more likely to focus on some of the criterion-based performance standards,7, 39, 77 which risks contributing to the rising tensions around performance orientation.
• Alternatively, a constructivist perspective de-emphasizes the need for robust psychometrics, and embraces capturing situational and cultural factors through enhanced flexibility and greater learner agency.77 

We recognize that there will continue to be a variety of philosophical positions held by researchers in the space of WBA and learning, and echo the call for researchers to explicitly disclose their philosophical position in order to enhance alignment and clarity of these conversations in future work.77 Researchers' philosophical positions are intertwined with research outcomes and will be fundamental to determining learning through WBA.77

4.2 요약
4.2 Summary

빌렛의 네 가지 전제의 렌즈를 사용하여 WBA를 통한 학습의 과제를 재구성하면 관찰을 상황화하고 표준화하여 앞으로 나아갈 길을 명확하게 제시하는 데 도움이 됩니다.

• 학습은 WBA 획득 여부와 관계없이 WBL 내에서 항상 발생한다는 것이 분명해집니다. 지나치게 규범적이지 않다면, WBA는 WBL에서 학습 목표의 명확성을 높이고 덜 일반적으로 관찰되지만 진정한 임상 술기에 대한 직접적인 관찰과 피드백을 장려하는 역할을 할 수 있습니다.
• 또한, WBA에 대한 우리의 지속적인 참여는 우리의 업무 환경을 변화시키고 있으며, 우리는 이러한 영향을 파악하고 이해하는 초기 단계에 있습니다. WBA가 학습이나 목표 지향성에 미치는 영향에 대해 '모든 것에 맞는' 하나의 정의를 내릴 수는 없다는 점을 인식하는 것이 중요합니다. 즉, 부분적으로는 WBL 환경 내에서 WBA 프로세스에 대한 참여가 개인적, 사회적으로 매개되기 때문입니다.
• 마지막으로, 우리는 WBA와 WBL 모두에서 학습의 조절자를 이해함으로써, 교육 프로그램이 다양한 사회적 환경 내에서 개별 학습자의 요구에 맞게 평가 전략을 조정하고 '실천 속에서 아는 것'에 필요한 주관성을 포용하는 시스템을 만들 수 있다고 제안합니다.

Re-framing the challenges of learning through WBA using the lens of Billett's four premises helps to provide clarity on a path forward by situating and normalizing our observations.

• It becomes clear that learning occurs all the time within WBL, irrespective of whether WBAs are obtained. If not overly prescriptive, WBA can serve to enhance clarity of learning goals in WBL and to encourage direct observation and feedback on less commonly observed, yet authentic, clinical skills.
• Furthermore, our ongoing engagement with WBA is transforming our workplace, and we are early stages of capturing and understanding this impact. It is important to recognize that we cannot seek to define a ‘one size fits all’ understanding of the impact of WBA on learning or goal orientation. That is, in part, because engagement in the WBA process within the WBL environment is both personally and socially mediated.
• Finally, we propose that understanding the modulators of learning in both WBA and WBL may allow educational programs to tailor their assessment strategies towards individual learner needs within different social environments, and to create a system that embraces subjectivity required for ‘knowing in practice’.

4.3 한계
4.3 Limitations

범위 검토의 좁은 초점 때문에 직장 내 평가와 학습을 모두 다룬 주요 연구 논문만 포함되었습니다. WBA를 사용하여 학습을 위한 평가를 달성하는 방법에 대한 관점과 논쟁이 증가하고 있지만, 우리의 의도는 이 분야를 알려주는 주요 데이터를 종합하는 것이었습니다. 또한 실제 임상 환경에서의 학습 및 평가에 대한 광범위한 개념에 초점을 맞추었기 때문에 통제된 환경에서 개별 WBA 도구를 실험적으로 검증하는 동안 학습 결과의 개발 및 측정에 관한 모든 1차 문헌을 수집하려고 하지는 않았습니다. 검색 전략은 포괄적이었지만, 연구팀은 검색 전략을 추가 데이터베이스에 적용했다면 추가 연구를 포착할 수 있었을 것이라는 점을 인지하고 있습니다.
Given the narrow focus of a scoping review, only primary research papers that captured both assessment and learning in the workplace were included. While there are growing perspectives and debates regarding how to achieve assessment for learning using WBA, our intention was to synthesize the primary data that informs this space. Furthermore, given the focus on the broader concepts of learning and assessment in the authentic clinical environment, we did not seek to capture all primary literature regarding the development and measurement of learning outcomes during the experimental validation of individual WBA tools in controlled settings. While the search strategy was inclusive, the research team recognizes that additional studies may have been captured if the search strategy was applied to additional databases.

4.4 교육자 및 연구자를 위한 시사점
4.4 Implications for educators and researchers

이용 가능한 문헌에 따르면 WBA는 '학습을 위한 평가'와 '학습에 대한 평가'라는 두 가지 목적을 달성하기 위해 활용되고 있지만, 실제로 이러한 상호 목표가 달성되었음을 아직 입증하지 못했습니다. 현재 우리는 평가와 학습에 대한 가정 사이에서 교착 상태에 빠져 있습니다. 이 백서에서는 WBL 이론에 주목하여 이 논의를 재구성하고자 했습니다. 우리는 학습과 사회문화 이론을 연구 설계에 더 많이 통합하고, WBA를 통해 학습에 관한 모델을 업데이트할 때 연구자의 철학적 입장에 명확히 맞출 것을 제안합니다. 실질적으로, CBME 교육 맥락에서 리더와 교육자들은 현재의 WBL 환경에서 교육생들 사이에 존재할 다양한 관점을 잘 설명하는 것이 중요합니다. 
The available literature suggests that although WBAs are being utilized to serve the dual purpose of ‘assessment-for-learning’ and ‘assessment-of-learning’, we have yet to demonstrate achievement of these mutual goals in practice. We are currently in a stalemate between assessment and learning assumptions. In this paper, we have sought to re-frame this conversation by attending to WBL theory. We propose that learning and sociocultural theory be more heavily integrated into research design, with clear alignment to the researchers' philosophical position when updating models on learning through WBA. Practically speaking, it is critical that leaders and educators in a CBME training context come to recognize the well-described variety of perspectives that will exist amongst their trainees in the current WBL environment.

5 결론
5 CONCLUSION

결론적으로, 빌렛의 네 가지 전제25에 따라 WBA와 WBL의 중첩에 초점을 맞춘 문헌을 종합하여 중요한 격차를 강조하고 CBME의 궁극적인 목표인 직장 내 학습을 위한 평가를 달성할 가능성을 높이기 위한 주요 탐구 방법을 확인했습니다. In conclusion, by bringing together the literature that focuses on the overlap between WBA and WBL framed by Billett's four premises,25 we have highlighted critical gaps, and identified key avenues for exploration to increase our chances of achieving the ultimate goal of CBME: assessment for learning in the workplace.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

평가에 대한 메타포의 사용과 남용(Adv Health Sci Educ Theory Pract. 2023)
On the use and abuse of metaphors in assessment
Jacob Pearce1 · Neville Chiavaroli1 · Walter Tavares2

토론: 평가에서 은유의 사용과 단점
Discussion: On the uses and disadvantages of metaphors in assessment

제목에서 은유의 '사용과 남용'이라는 다소 자극적인 표현에서 벗어나, 니체의 동일한 에세이(Nietzsche, 1997)의 다른 번역본(홀링데일 저)을 논의의 출발점으로 삼아 평가 맥락에서 은유의 '사용과 단점'을 보다 냉정하게 검토해 보려고 합니다. 제시된 다섯 가지 사례를 보면 은유가 평가에 가져다주는 가치가 무엇이든 그에 상응하는 비생산적인 연관성, 함의 또는 오해가 발생할 수 있는 것으로 보입니다. 따라서 은유를 사용할 때는 잠재적 장점과 그에 따른 잠재적 단점에 세심한 주의를 기울여야 합니다. 
Departing from the more provocative language of the ‘use and abuse’ of metaphor in our title, we take a different translation (by Hollingdale) of Nietzsche’s same essay (Nietzsche, 1997) as the starting point for our discussion, and examine, more dispassionately, the ‘uses and disadvantages’ of metaphor in assessment contexts. From the five examples given, it seems that whatever value a metaphor brings to assessment, there are potentially corresponding counterproductive associations, implications, or misinterpretations that may arise. We thus need to pay careful attention to potential advantages and their corollary potential disadvantages when using metaphors.

널리 받아들여지는 은유의 타당성에 대한 잠재적 자기충족성은 평가 프로그램의 방어 가능성에 영향을 미칠 수 있습니다. 예를 들어, 저희는 교육 활동에서 픽셀 은유(및 다른 은유)를 여러 번 사용했으며, 대부분 긍정적인 반응과 새로운 이해에 대한 뚜렷한 감각을 느낀 적이 있음을 인정합니다. 그러나 다른 경우에는 서로 다른 암묵적 가정에서 비롯된 잠재적 혼란을 발견하기도 했으며, 모든 은유가 그렇듯이 이 은유에도 한계와 오해의 소지가 있다는 것을 깨닫게 되었습니다. '신 용어god term'(비슷하게 직관적이지만 역시 한계가 있는 또 다른 은유)에 대한 링가드의 경고는 여기서 적절하며, 그녀는 은유가 "반복적인 사용과 친숙함을 통해" "자연스럽고 보편적이며 필연적인 현실의 질서를 암시하게 될 수 있다"(Lingard, 2009, 627쪽)고 지적합니다. 예를 들어, 픽셀 은유를 채택하는 것이 반드시 타당한 평가를 의미한다고 잘못 생각할 수 있습니다(예: 샘플링 대상과 이유에 대한 세심한 주의 없이 샘플링하는 것)(Tavares et al., 2020a, b). 
The potential self-fulfilling nature of the validity of widely accepted metaphors could have implications for the defensibility of an assessment program. For instance, we acknowledge that we have found ourselves drawing on the pixel metaphor (and others) many times in our educational activities, with mostly positive responses and even a palpable sense of new understanding. Yet on other occasions we have also noticed potential confusion, stemming from differing implicit assumptions, helping us realise that this metaphor, as with all metaphors, also has limitations and potential misleadings. Lingard’s warning about ‘god terms’(another metaphor, similarly intuitive but also limited) is relevant here, about which she notes that “through repeated use and familiarity” a metaphor may “become suggestive of a natural, universal and inevitable order of reality” (Lingard, 2009, p. 627). For example, one may incorrectly assume that adopting the pixel metaphor necessarily implies valid assessment (e.g., sampling without careful attention to what is being sampled and why) (Tavares et al., 2020a, b).

라코프와 존슨은 은유가 "개념을 더 정의하고 적용 범위를 변경하기 위한 체계적인 장치"가 될 수 있는 방법을 설명합니다(Lakoff & Johnson, 2003, 125쪽). 개념을 추론하는 데 사용되는 은유는 일관성이 없을 수 있으며, 이는 불협화음과 긴장을 유발할 수 있습니다. 이러한 불협화음은 생산적이고, 생성적이며, 변혁적일 수 있습니다(Bono, 1990). 즉, 평가 은유가 중요하다는 것이 요점입니다. 실제로 "은유적으로 생각하는 방식이 중요합니다."(Lakoff & Johnson, 2003, 243쪽). 이 다섯 가지 (그리고 다른) 평가 은유는 우리가 평가에 대해 생각하고 실천하는 방식을 변화시킵니다. Lakoff와 Johnson의 말을 빌리자면, "상상력이 풍부하고 창의적인 은유는 ... 우리의 경험을 새롭게 이해할 수 있게 해 줍니다. 따라서 은유는 우리의 과거, 일상 활동, 우리가 알고 믿는 것에 새로운 의미를 부여할 수 있습니다."(Lakoff & Johnson, 2003, 139쪽). 

Lakoff and Johnson outline how metaphors may be “systematic devices for further defining a concept and for changing its range of applicability” (Lakoff & Johnson, 2003, p. 125). The metaphors used to reason about concepts may be inconsistent (Lakoff & Johnson, 2003, p. 273), which can lead to dissonance and tension. Such dissonance can be productive, generative, and transformative (Bono, 1990) – the point being that assessment metaphors matter. Indeed, “How we think metaphorically matters” (Lakoff & Johnson, 2003, p. 243). These five (and other) assessment metaphors change the way we think about and practice assessment. In the words of Lakoff and Johnson, “metaphors that are imaginative and creative … are capable of giving us a new understanding of our experience. Thus, they can give new meaning to our pasts, to our daily activity, and to what we know and believe” (Lakoff & Johnson, 2003, p. 139).

우리는 은유 자체와 은유가 선택되어 평가에 적용되는 방식 사이에 또 다른 중요한 구분을 하고자 합니다. 이 글 전체에서 비판해 온 것은 후자이며, 실제로 은유의 인스턴스화는 더 많은 비판을 필요로 합니다. 니체가 역사에서 그랬던 것처럼, 은유가 평가에 방해가 되지 않고 평가에 도움이 되려면 은유를 주의 깊게 파악하고 정교화하거나 설명해야 한다고 판단합니다. 따라서 이러한 요구를 해결하기 위해 은유를 배치하기 전에 구체적인 평가 요구가 무엇인지 맥락에서 파악하는 것이 출발점이 되어야 합니다. 

We want to make another important distinction, this time between the metaphors themselves, and the way they are selected and applied to assessment. It is the latter that we have been critiquing throughout this piece, and the instantiation of metaphors in practice necessitate further critique. In the same way Nietzsche does for history, we determine that metaphors must be carefully grasped and elaborated or explained if they are to be useful in serving assessment needs, rather than hindering assessment. The starting point should thus be determining what the specific assessment needs are, in context, before any metaphor is deployed to address those needs.

아래 표는 평가 맥락에서 특정 은유를 적용하는 것의 유용성을 일반적인 용도/장점 및 식별 가능한 측면의 상응하는 위험/단점 측면에서 도출하기 위한 시도입니다. 은유를 사용하는 이유, 은유가 작동하는 방식, 고려해야 할 중요한 측면에 대한 유형입니다. 행위자가 은유의 특정 인스턴스화를 단점 또는 장점으로 보는지 여부는 행위자의 관점에 따라 달라질 수 있습니다.

The box below is our attempt to draw out the utility of applying specific metaphors in assessment contexts, in terms of general uses/advantages and corresponding dangers/disadvantages of identifiable aspects. This is our typology of why metaphors may be deployed, how they work, and important aspects to consider. Whether an actor sees a particular instantiation of a metaphor as a disadvantage or advantage is likely contingent on their vantage point.

 

© 2023. The Author(s), under exclusive licence to Springer Nature B.V.

잠재교육과정이 교수의 교육에 미치는 영향 밝히기: 질적 연구(Med Educ, 2023)
Revealing the impact of the hidden curriculum on faculty teaching: A qualitative study
Ciara Ann Lee1 | Timothy James Wilkinson2 | Julie Anita Timmermans3 | Anthony Naushad Ali4 | Megan Grayce Anakin5

1 소개
1 INTRODUCTION

교수진은 가르치는 일이 힘들다고 느낀다고 보고합니다. 교직원은 소진,1-3 불만1 및 인정받지 못한다고 느낄 수 있습니다.4-6 이 글에서는 '교직원'을 보건 전문직 프로그램에서 학생들을 가르치고 병원, 지역사회 및 기타 환경에서 사람들에게 의료 서비스를 제공하는 사람으로 정의합니다. 교수진은 급여를 받거나 교육 기관의 직원으로 공식적으로 인정받지 못할 수도 있습니다. 교수진이 가르치는 일이 힘들다고 느끼면 가르치고자 하는 동기가 떨어지고 보건 전문직 교육 프로그램에서 교수직을 떠날 수 있습니다.1 이러한 교수진 손실은 차세대 보건 전문가들이 교수 역할을 맡으려는 의지에 영향을 미치고 보건 전문직 교육을 빈곤하게 만들 수 있습니다.4 따라서 교육에 초점을 맞추는 것은 중요한 추구 사항입니다. 
Faculty report that teaching can feel demanding. Faculty can feel burnout,1-3 dissatisfaction1 and unappreciated.4-6 In this article, we define ‘faculty’ as people who teach students in health professions programmes and who also provide health care to people in hospital, community and other settings. Faculty may or may not be paid or formally recognised as employees of educational institutions. When faculty feel that teaching is demanding, they may be less motivated to teach and leave their positions as teachers in health professions education programmes.1 This loss of faculty may impact willingness of the next generation of health professionals to take on teaching roles and impoverishes health professions education.4 A focus on teaching is therefore an important pursuit.

힘든 교수 경험은 개인이 절실하게 느끼지만, 교수직을 힘들게 느끼는 이유를 설명하는 한 가지 방법은 환경적 요인이 교수에게 어떤 영향을 미치는지 고려하는 것입니다.7,8 보건 전문직 교육 프로그램에서 교실 및 직장 학습 환경은 교수, 학생 및 지원 직원의 제도적 규범, 행동 및 태도, 전문직으로서 보건의료 및 교육에 뿌리내린 관행에 의해 형성됩니다. 숨겨진 커리큘럼이라는 개념은 교사가 교사로서의 정체성을 형성하고 유지하는 데 미치는 이러한 영향을 설명하는 데 유용한 방법이 될 수 있습니다.

• '숨겨진 교육과정'이라는 용어는 학생들의 학습 경험과 보건의료 전문가로서의 정체성 형성에 암묵적 또는 명시적으로 영향을 미치는 교육 프로그램에서 제정된 기대와 가정을 설명하는 데 자주 사용됩니다.9-11
• 숨겨진 교육과정은 '우리가 의학교육이라고 부르는 삶의 공간에서 일어나는 일에 대해 일반적으로 통용되는 '이해', 관습, 의식, 당연시되는 측면'으로 광범위하게 정의되어 왔습니다.9 (404쪽)
• 교육 환경에서 행동에 대한 숨겨진 영향으로서 사회 구조의 영향은 처음에는 사회학에서 고려되었으며,10 '숨겨진 교육과정'이라는 용어는 1960년대에 처음 사용되었습니다.12
• 숨겨진 교육과정을 설명하는 데 사용된 용어에는 '비공식적', '암묵적', '잠재적', '그림자'12,13 등이 있으며, 모두 교육 구조, 규범 및 관행이 교수 학습에 미치는 복잡하고 종종 암묵적인 영향을 강조하기 위한 것입니다.

Although demanding teaching experiences are felt acutely by individuals, one way to explain why teaching might feel demanding can be to consider how environmental factors may be influencing faculty as teachers.7, 8 In health professions education programmes, classroom and workplace learning environments are shaped by institutional norms, behaviours and attitudes of faculty, students and support staff and the practices entrenched in health care and education as professions. The concept of a hidden curriculum might be a useful way to describe these influences on faculty to form and maintain their identity as teachers.

• The term ‘hidden curriculum’ is often used to describe the expectations and assumptions enacted in educational programmes that tacitly or overtly impact students' learning experiences and the formation of their identity as health care professionals.9-11 
• The hidden curriculum has been broadly defined as the ‘commonly held “understandings”, customs, rituals, and taken-for-granted aspects of what goes on in the life-space we call medical education’.9 (p404) 
• The impact of social structures as a hidden influence on behaviours in an educational setting was considered initially in sociology,10 and the term ‘hidden curriculum’ was first used in the 1960s.12 
• Terms that have been used to describe the hidden curriculum include ‘informal’, ‘implicit’, ‘latent’ and ‘shadow’12, 13; all meant to emphasise the complex and often tacit influence of educational structures, norms and practices on teaching and learning.

숨겨진 교육과정은 학생들이 학습 기회에 참여하는 방식과 향후 진로에 대한 결정에 영향을 미칩니다.11, 14, 15 학생의 경우 숨겨진 교육과정은 의료 전문가로서의 정체성 형성에 영향을 미칠 수 있습니다.10, 11 마찬가지로 교수진을 위한 숨겨진 교육과정은 암묵적인 메시지를 전달하여 개인의 사회화에 영향을 주는 것으로 Hafler, Thompson 및 동료들에 의해 제안되었습니다. 그러나 교수진을 위한 숨겨진 커리큘럼의 개념은 잘 연구되지 않았습니다.13, 16 교수진을 위한 숨겨진 커리큘럼이 어떻게 운영될 수 있는지에 대한 추가 지식은 교수진 개발자에게 유용할 것이며, 이를 통해 소진 및 높은 교수진 이직률과 같은 부정적인 결과를 완화하는 데 도움이 되는 전략을 설계할 수 있습니다. 또한 이러한 지식은 교수진 개발 이니셔티브에 정보를 제공하는 데 사용될 수 있으므로 교수진은 교수 역할에서 성공할 수 있도록 지원받는다고 느낄 수 있습니다. 

The hidden curriculum influences the ways students engage with learning opportunities and the decisions they make about their future careers.11, 14, 15 For students, the hidden curriculum can impact on the formation of their identity as health care professionals.10, 11 Similarly, a hidden curriculum for faculty has been suggested by Hafler, Thompson and colleagues as communicating tacit messages, which influence an individual's socialisation into life as an academic. However, the notion of a hidden curriculum for faculty has not been well explored.13, 16 Further knowledge about how a hidden curriculum might operate for faculty would be useful for faculty developers, so they can design strategies to help mitigate negative outcomes such as burnout and high faculty turnover. This knowledge can also be used to inform faculty development initiatives, so faculty feel supported to thrive in their teaching roles.

교수진을 위해 숨겨진 교육과정이 어떻게 운영될 수 있는지 조사하는 한 가지 방법은 '숨겨진 교육과정'이라는 용어의 정의와 의학교육 문헌에서의 적용을 분석한 범위 검토의 결과를 기반으로 하는 것입니다.14 이 검토에서는 주로 학생 경험을 조사했으며 동기-심리, 대인관계-사회, 제도-조직, 맥락-문화 등 네 가지 연결된 개념적 경계를 제안합니다. 이러한 경계는 그림 1에 정의되어 있습니다. 상호 연결된 개념적 경계는 개인이 교육 프로그램 및 기관 내부와 외부에서 커리큘럼, 교수법 및 학습 환경과 관련된 요소와 가질 수 있는 상호작용에 대한 다면적이고 역동적인 관점을 강조합니다.12, 14 명확성을 위해 이 글의 나머지 부분에서는 다음 연구에서 개념적 프레임워크의 설명 및 사용과 혼동을 피하기 위해 이러한 개념적 경계를 숨겨진 교육과정의 '영역'으로 지칭할 것입니다. 우리는 하플러13가 설명한 교수진에 영향을 미치는 숨겨진 교육과정의 개념을 로렌스14의 범위 검토 결과에서 확인된 네 가지 영역과 통합하여 개념적 틀을 구성했으며, 주로 숨겨진 교육과정이 학습자에게 미치는 영향을 탐구했습니다. 
One way to investigate how a hidden curriculum could operate for faculty might be to build on findings from a scoping review that analysed definitions of the term ‘hidden curriculum’ and their application in the medical education literature.14 This review examined student experiences primarily and proposes four linked conceptual boundaries: motivational–psychological, interpersonal–social, institutional–organisational and contextual–cultural. These boundaries are defined in Figure 1. The interlinked conceptual boundaries emphasise a multifaceted and dynamic view of interactions individuals may have with factors related to the curriculum, instructional methods and learning environments from within educational programmes and institutions and beyond.12, 14 For clarity, we will refer to these conceptual boundaries as ‘domains’ of the hidden curriculum for the remainder of this article to avoid confusion with the description and use of the conceptual framework for our study that follows. We constructed a conceptual framework by integrating the concept of the hidden curriculum impacting on faculty as described by Hafler13 with the four domains identified in the results of the scoping review by Lawrence14 that primarily explore the impact of the hidden curriculum on learners.

독자를 돕고 교수진을 위한 숨겨진 커리큘럼이 어떤 모습일지 설명하기 위해 가상의 비네팅을 구성하고 분석했습니다(그림 1 참조). 명확성을 위해 숨겨진 커리큘럼의 각 영역에 대해 개별적인 예를 사용했지만 서로 연결되어 있고 중복된다는 점을 인식하고 있습니다.
To assist the reader and illustrate what a hidden curriculum for faculty might look like, we have constructed and analysed a fictional vignette (see Figure 1). For the purpose of clarity, we have used discrete examples for each domain of the hidden curriculum but recognise that they are interlinked and overlap.

교수진을 위한 숨겨진 커리큘럼에 대한 이해를 높이려면 더 많은 연구가 필요합니다. 10여 년 전 하플러와 동료들의 요청에도 불구하고,13 교수진을 위한 숨겨진 커리큘럼에 대한 연구는 제한적이었습니다. 200개가 넘는 논문이 Hafler와 동료들의 연구를 인용하고 있지만, 교수진을 위한 숨겨진 커리큘럼의 운영 측면과 관련된 연구 결과를 제시한 논문은 단 세 편에 불과합니다.

• 첫 번째는 전문성을 커리큘럼에 통합하는 데 실패한 이유를 조사한 연구였습니다.17 선임 교수진이 의도치 않게 전문성 교육의 중요성을 약화시킨 것으로 밝혀졌습니다.
• 두 번째 연구에서는 임상의가 진료 커뮤니티 내에서 교사로서의 정체성을 어떻게 발전시키는지 조사했습니다.18 숨겨진 커리큘럼은 교사의 정체성에 대한 신념과 실제 교육 관행 사이의 차이에 영향을 미치는 요인으로 제안되었으며, 이는 기관 문화에 의해 지속되는 것으로 생각됩니다.
• 세 번째 연구에서는 교사의 정체성, 특히 교수 역할이 교사의 정체성에 어떻게 통합되는지를 탐구했습니다.19 저자들은 교사의 정체성이 사회적으로 어떻게 구성되는지를 인식하면서 교사를 위한 숨겨진 커리큘럼의 증거를 제시했습니다.

More studies are needed to further our understanding of the hidden curriculum for faculty. Despite a call by Hafler and colleagues over a decade ago,13 research into the hidden curriculum for faculty has been limited. Although more than 200 papers cite Hafler and colleagues' work, we identified only three papers that present findings related to aspects of a hidden curriculum operating for faculty.

• The first was a study investigating why the integration of professionalism into a curriculum was unsuccessful.17 Senior faculty were found to have unintentionally undermined the importance of teaching about professionalism.
• The second study explored how clinicians develop their identities as teachers within communities of practice.18 The hidden curriculum was suggested to be an influencing factor in differences between teachers' beliefs about their identities and their actual teaching practices, thought to be perpetuated by the institutional culture.
• The third study also explored faculty identity, specifically how teaching roles are integrated into teacher identity.19 In recognising how teacher identities are socially constructed, the authors suggested evidence of a hidden curriculum for faculty.

이 세 가지 연구에서 숨겨진 커리큘럼은 연구의 초점이 아니라 교수 경험에 대한 결과를 설명하는 데 사용되었습니다. 이 세 가지 연구는 의학교육 맥락에서만 교수진을 위한 숨겨진 커리큘럼에 대한 인사이트를 제공합니다. 따라서 숨겨진 커리큘럼이 더 일반적으로 교수진의 보건 전문직 프로그램에서 어떻게 운영될 수 있는지에 대한 지식에는 차이가 있습니다. 이 연구의 목적은 보건 전문직 교육에서 교수진을 위해 숨겨진 커리큘럼이 어떻게 운영될 수 있는지 설명하는 것이었습니다.  
For these three studies, the hidden curriculum was used to explain findings about teaching experiences rather than being the focus of the research. These three studies provide insights about the hidden curriculum for faculty in medical education contexts only. Consequently, there is a gap in our knowledge about how the hidden curriculum might operate with faculty health professions programmes more generally. The aim of this study was to explain how a hidden curriculum might operate for faculty in health professions education.

2 방법
2 METHODS

우리는 교육을 사회적으로 매개되는 활동으로 간주하는 해석주의적 관점에서 이 연구에 접근했습니다. 여기서 지식은 개인이 역사적으로 영향을 받은 서로 및 주변 세계와의 상호 작용 패턴을 사용하여 공동 구성합니다. 이러한 관점은 서론에서 제시한 히든 커리큘럼의 정의 및 모델과 일치합니다. 우리는 교사의 숨겨진 교육과정에 영향을 미치는 요인을 도전의 현장이자 동시에 잠재적 혁신의 현장으로 볼 수 있기 때문에 까다로운demanding  교수 경험을 식별하는 것이 교사의 숨겨진 교육과정을 연구하는 생산적인 방법이라고 생각했습니다.20

• 우리는 까다로운 교수 경험을 보건 전문직 프로그램에서 학생들을 가르치거나 감독하는 동안 교사에게 고통, 불안 또는 기타 기억에 남을 수 있는 불리한 상황 또는 의도하지 않은 상황으로 정의했습니다. 

We approached this research from an interpretivist perspective, where education is viewed as a socially mediated activity. Here, knowledge is co-constructed by individuals using historically influenced patterns of interaction with each other and the world around them. This perspective is consistent with the definition and model of the hidden curriculum presented in the introduction. We considered identifying demanding teaching experiences to be a productive way of studying the hidden curriculum for faculty because the factors that influence the hidden curriculum for teachers can be viewed simultaneously as challenges and the sites of potential innovation.20 

• We defined a demanding teaching experience as any unfavourable or unintended situation, while teaching or supervising students in health professions programmes that might have been distressing, disturbing or otherwise memorable to the teacher.

이 연구는 뉴질랜드 더니든과 크라이스트처치의 오타고 대학교에서 진행되었습니다. 다양한 보건 전문직(영양학, 의학, 약학, 간호학, 치과, 물리치료학)과 학습 환경(예: 대학 강의실, 병원 병동, 지역사회 의료기관)의 교수진을 대상으로 의도적인 표본 추출을 통해 개인이나 특정 상황에 국한되지 않고 근본적이고 공통적인 과정을 파악하고자 했습니다. 교수진은 일대일 반구조화 인터뷰에 참여하도록 초대되었습니다. 초청된 교수진은 연구의 목적, 주제, 방법 및 결과에 대한 정보를 제공받고 참여하기 전에 서면 동의를 받았습니다. 참가자들은 힘들었다고 생각되는 강의 경험의 예와 이를 어떻게 관리했는지 설명하도록 요청받았습니다. 참가자들은 개인적, 사회적, 조직적 영향과 영향을 포함하여 각 힘든 경험에 기여했을 수 있다고 생각되는 요인에 대해 설명하도록 권장되었습니다. 인터뷰는 2000년 4월부터 9월까지 제1저자가 직접 또는 화상 회의를 통해 실시했으며 디지털 오디오 녹음으로 진행되었습니다. 
The study took place the University of Otago in Dunedin and Christchurch, New Zealand. Purposive sampling was used to include faculty from a variety of health professions (dietetics, medicine, pharmacy, nursing, dentistry and physiotherapy) and learning environments (i.e. university classrooms, hospital wards and community health care workplaces) to identify a process that was fundamental and common rather than specific to individuals or particular contexts. Faculty were invited to participate in one-to-one semi-structured interviews. Invited faculty were provided information about the purpose, topic, methods and outcomes of the study and gave written consent before participating. Participants were asked to describe examples of teaching experiences that they felt were demanding and how they managed them. Participants were encouraged to describe factors they thought may have contributed to each demanding experience including possible personal, social and organisational influences and impacts. Interviews were conducted in-person or via video conferencing by the first author from April to September 2000 and digitally audiorecorded.

이 연구를 위해 구축된 개념적 프레임워크에 따라 연구팀은 모든 녹취록을 읽고 토론했습니다.

• 제1저자는 교사가 의도한 실습과 성취할 수 있는 것 사이의 관계로 까다로운 경험을 대표적 인용문으로 뒷받침되는 간략한 서면 설명으로 요약했습니다.
• 연구팀원 세 명(CL, TW, MA)이 녹취록을 다시 읽고 참가자가 각 경험을 힘들다고 느낀 이유와 관련된 정보를 코딩했습니다.
• 모든 녹취록을 독립적으로 코딩한 후, 세 명의 연구원이 만나 제한된 수의 코드에 합의했습니다.
• 코드는 각 코드 그룹 내의 관계가 식별되고 다른 그룹 내에서 식별된 관계와 구별될 때까지 그룹화 및 재그룹화되었습니다.
• 이러한 관계는 보건 전문직 프로그램에서 교육할 때 참가자를 위해 숨겨진 커리큘럼이 운영되는 방식으로 해석되었습니다.
• 분석의 견고성을 높이기 위해 JT와 AA에게 분석 결과를 제시했으며, 이들은 분석과 결과를 독립적으로 검토했습니다.
• 연구팀은 결과 섹션에 제시된 연구 결과에 대해 논의하고 합의를 도출하기 위해 모임을 가졌습니다. 

Informed by the conceptual framework built for this study, the research team read and discussed all transcripts.

• The first author summarised demanding experiences as relationships between a teacher's intended practice and what they could accomplish with brief written descriptions supported with representative quotations.
• Three members of the research team (CL, TW and MA) re-read the transcripts to code information related to why the participant felt each experience was demanding.
• Once all transcripts were coded independently, three researchers met to agree upon a limited number of codes.
• Codes were grouped and regrouped until relationships within each group of codes were identified and were distinct from the relationships identified within other groups.
• The relationships were interpreted as the way the hidden curriculum was operating for participants when teaching in health professions programmes.
• To enhance the robustness of the analysis, the findings were presented to JT and AA who reviewed the analysis and findings independently.
• The research team met to discuss and come to consensus about the findings presented in the results section.

2.1 저자의 반성
2.1 Author reflexivity

이 연구를 진행하는 동안 우리는 각 저자가 연구 과정에 가져온 경험과 세계관을 염두에 두었습니다. 연구팀은 고등 교육 및 보건 전문직 교육 학습 환경에서 임상의, 교사 및/또는 교수진 개발자로서의 다양한 경험을 보유하고 있었습니다. 이러한 배경 덕분에 참가자들이 경험하는 사건과 요구의 유형에 민감하게 반응할 수 있었습니다. 모든 저자는 교수진을 위한 숨겨진 커리큘럼이라는 개념에 익숙했고, 이 연구 참여자에게는 어떻게 나타날지 궁금했습니다. 또한 숨겨진 커리큘럼이 종종 강력하지만 항상 부정적인 것만은 아니라는 점을 인식하고 있었기 때문에 데이터에서 요구가 긍정적으로 표현될 수 있음을 알고 있었습니다. 
Throughout this study, we were mindful of the experiences and worldview that each author brought to the research process. Collectively, the research team possessed a range of experiences as clinicians, teachers and/or faculty developers in higher education and health professions education learning environments. Our backgrounds sensitised us to the type of events and demands experienced by our participants. All authors were familiar with the concept of a hidden curriculum for faculty, and we were curious as to how it might manifest for the participants in this study. We also recognised that a hidden curriculum, while often powerful, may not always be negative, so we were aware that demands could be expressed positively in our data.

3 결과
3 RESULTS

16명의 교수진과의 인터뷰를 실시하고 분석했습니다. 물리치료(5명), 의학(5명), 약학(3명), 치과(1명), 영양학(1명), 간호학(1명) 등 6개 직종에 종사하는 여성 9명, 남성 7명이 참여했습니다. 연구에 참여한 교수진에게 숨겨진 커리큘럼이 운영되고 있는 세 가지 방식을 확인했습니다.  
Interviews with 16 faculty members were conducted and analysed. Nine female and seven male participants spanned six professions: physiotherapy (five), medicine (five), pharmacy (three), dentistry (one), dietetics (one) and nursing (one). We identified three ways the hidden curriculum was operating for the faculty who participated in our study.

3.1 저평가된 교수 전문성
3.1 Undervalued teaching expertise

히든 커리큘럼의 운영은 교사들이 교육 전문성의 중요성을 저평가하는 이유를 설명할 수 있습니다. 우리는 참여자들이 교육 전문성에 부여하는 가치와 교육 기관이 교육 전문성에 부여하는 가치에 대한 인식 사이에 불일치가 있음을 확인했습니다. 이러한 불일치는 참여자에게 할당된 교수 역할의 유형, 교수 관련 자율성 부족, 임상 교사의 역할에 대한 기관의 이해 부족으로 설명되었습니다. 
The operation of a hidden curriculum can explain why teachers felt the importance of having teaching expertise was undervalued. We identified a mismatch between the value participants placed on teaching expertise and their perception of the value the institution placed on teaching expertise. This mismatch was illustrated by the types of teaching roles allocated to participants, a lack of teaching-related autonomy and a perceived lack of institutional understanding of a clinical teacher's role.

참가자들은 기관이 교육을 중시한다고 주장하지만, 현대 교육 학습 및 교육 접근법에 대한 사전 경험이나 준비 없이 교육 역할을 할당받았다고 설명했습니다. 전문 임상 지식과 교육 전문 지식이 혼재되어 있어 참가자들은 교육 기술의 중요성이 저평가되었다고 인식했습니다. 예를 들어, 참가자들은 임상 지식만으로는 학생들이 교육 과정의 학습 성과를 달성하는 데 충분하지 않은 과정을 책임지는 위치에 배치되었습니다. 임상적 통찰력에도 불구하고 참가자는 세션을 원하는 수준으로 전달할 수 있는 교육 전문 지식이 부족했습니다. 경험이 풍부한 한 임상의는 '[교육 세션을 진행하기 위한] 교육이 부족하다는 것을 뼛속 깊이 알고 있었다'(P8)고 말했습니다. 
Although participants perceived that the institution claimed to value teaching, they described being allocated teaching roles without any prior experience or preparation with contemporary educational learning and teaching approaches. The conflation of expert clinical knowledge with teaching expertise led participants to perceive that the importance of teaching skills was undervalued. For example, participants were placed in positions of responsibility for courses where their clinical knowledge alone was not enough to ensure that students achieved the learning outcomes of the course. Despite their clinical acumen, the participant lacked teaching expertise to deliver the session to the desired standard. One very experienced clinician ‘knew it in my bones that I didn't have the training to facilitate [a teaching session]’ (P8).

교육 전문 지식의 가치는 행정적 결정으로 인해 훼손될 수도 있는데, 이로 인해 참가자들은 자신이 가르치는 내용에 대한 통제력이 부족하거나 선배 동료들이 원하지 않는 역할을 할당받았다고 느꼈습니다. 한 참가자는 자신의 상황을 이렇게 설명했습니다. "처음 입사했을 때 저는 신입이었습니다. 그래서 제 전공이 아닌 [코스 설명]을 가르치게 했습니다."(P12). 참가자들은 자신의 전문 분야를 벗어난 강의를 해달라는 요청을 받았을 때 '거절할 수 없었다'(P8)고 느꼈습니다. 이러한 경험으로 인해 참가자들은 때때로 자신이 가르치는 내용이나 가르치는 방식에 대해 발언권이 거의 없다고 느꼈고, 이는 참가자들이 교사로서의 역할에 부여하는 가치와 상충되었습니다. 또한 동료들이 동기를 부여하지 않거나 강의 내용을 변경하지 않으려는 '교수진 화석화'(P1)로 인해 변화를 실행하는 데 어려움을 겪을 때 참여자의 자율성은 더욱 약화될 수 있었습니다. 
The value of teaching expertise could also be undermined by administrative decisions, which led to participants feeling that they lacked control over the content they taught or were allocated roles that senior colleagues did not want. One participant described their situation: ‘When I first arrived, I was a new guy. So they had me teach [description of course], which is not my specialty’ (P12). When participants were asked to teach outside of their professional scope of practice, they felt like they ‘couldn't say no’ (P8). These experiences led participants to feel, at times, that they had little say in what they teach or how it is taught, conflicting with the value participants placed in their role as a teacher. Participants' autonomy could also be further undermined when they faced difficulties enacting change due to ‘faculty fossilisation’ (P1), where colleagues were unmotivated or unwilling to change course content.

참가자들은 임상의, 연구자, 교사로서의 역할 사이에서 균형을 잡는 것에 대한 이해가 부족하다고 설명했습니다. 참가자들은 자신의 가르침이 학생들의 교육과 전문성 개발에 필수적이라고 생각했지만, 소속 기관에서 자신의 가르침을 우선순위로 여기지 않는다고도 느꼈습니다. '의과대학이 다른 교육 학부와 같지 않다는 대학 측의 이해 부족'이 있었다고 인식했습니다(P9). 참가자들은 교육은 '부업으로 하는 것'이라는 메시지를 받았습니다(P9). 참가자들은 환자 치료와 양질의 교육 사이에서 균형을 찾아야 했습니다: 
Participants described a lack of understanding about the challenge of balancing their roles as clinician, researcher and teacher. Participants felt their teaching was integral to the education and professional development of their students; however, they also felt that their teaching was not viewed by their institution as a priority. There was a perceived ‘lack of understanding from the university that the med school is not the same [as other teaching faculties]’ (P9). Participants received the message that teaching was something ‘that's done on the side’ (P9). Participants had to find a balance between delivering patient care and high-quality teaching:

참가자들은 이러한 균형을 유지하는 데 필요한 전문성이 저평가될 때 이러한 균형을 유지하는 것이 얼마나 어려운지 설명했습니다. 
Participants described how maintaining this balance was difficult when the expertise required to achieve such a balance was undervalued.

3.2 훼손된 교육 목표
3.2 Undermined teaching goals

참가자들은 학생들을 지식 습득 모드에서 비판적 사고의 관점으로 전환하기 위해 비현실적인 기간이 주어질 수 있다고 설명했습니다. '정말 중요한 기술을 개발할 수 있는 시간이 3개월 정도밖에 없습니다'(P4). 
Participants described how they could be given unrealistic timeframes to shift students from a knowledge acquisition mode to a critical thinking perspective: ‘we've got like three months to develop these really important skills’ (P4).

환자 치료가 우선시되다 보니 임상 교육자들은 때때로 학습자의 독립성을 키우는 것이 어렵다는 것을 알게 되었습니다. 임상 학습 상황에서 참가자들은 환자의 안전을 보장하기 위해 학생의 독립성을 중단해야 했습니다. '어느 단계에서 시간이 부족해지면 학생에게 사과하고 시간이 부족하다고 말해야 합니다. 그들은 [임상의가] 대신해야 할 것입니다'(P15). 
The primacy of patient care meant that, at times, clinical educators found it challenging to foster learner independence. In a clinical learning context, participants were required to suspend students' independence in order to ensure patient safety: ‘And at some stage you run out of time and you need to apologize to the student and say, look, we're running out of time. They're [the clinician] going to have to take over’ (P15).

3.3 고립 대 협업
3.3 Isolation versus collaboration

숨겨진 커리큘럼의 운영은 일부 참가자들이 의료 서비스를 제공할 때 느꼈던 협업과 대조적으로 교사로서 고립감을 느낀 이유를 설명할 수 있습니다. 교사로서 역할을 수행하면서 참가자들은 협업의 장벽과 학생의 필요나 진행 상황에 대한 제한된 정보로 인해 고립감을 느낀다고 설명했습니다. 
The operation of a hidden curriculum can explain why some participants felt isolated as teachers in contrast to the collaboration they felt when providing health care. In their roles as teachers, participants described feelings of isolation due to barriers to collaboration and limited information available about student needs or progress.

참가자들은 협업 부족으로 인해 다른 교육자들로부터 배울 수 있는 기회가 제한되고 이용 가능한 지원이 부족하다고 인식되어 고립감을 느꼈다고 설명했습니다. 참가자들은 동료 교사로부터 배우고 관찰하고 싶지만 그럴 기회가 없었다고 입을 모았습니다: '다른 사람이 어떻게 가르치는지 실제로 관찰하는 것은 제가 경험해 본 적이 없는 일입니다'(P6). 참가자들은 '고립되어 있고, 주변에 팀이 없으니'(P9) 외로움을 느꼈고, 이러한 상황에 대해 '조금 굳어졌다'(P1)고 느끼며 동료들의 지원이 부족하다고 체념했습니다. 참가자들이 여러 역할을 수행하다 보니 교육과 학습에 대한 지원을 받기가 어려웠습니다:  
Participants described how a lack of collaboration resulted in isolation through limited opportunities to learn from other educators and a perceived lack of available support. Participants shared a desire to learn from and observe their peers teach but did not have the opportunity to do so: ‘Actually observing how somebody else teaches is not something I've had the pleasure of observing’ (P6). Participants felt alone: ‘You're isolated, you [have] not got the team around you’ (P9) and resigned to a lack of collegial support by feeling ‘a little bit hardened’ (P1) to the situation. The multiple roles performed by participants meant that support for teaching and learning was difficult to obtain:

참가자들이 고립감을 극복하기 위해 시도한 한 가지 방법은 동료들과 공식적, 비공식적 관계를 구축하는 것이었습니다. 이러한 관계는 참가자들이 이용할 수 있는 지원을 파악하는 데 도움이 되었습니다. 참가자들은 '통제 불능 상태가 되는 것을 막기 위해 비공식적으로 연락을 취하거나'(P15), 도움을 받을 수 있는 동료를 찾는다고 설명했습니다: '옆 방에 강사로 일하는 정말 좋은 직장 동료가 있는데, 정말 좋은 조언을 해주었습니다'(P12). 마찬가지로 교육 고문과 같은 교수진과의 공식적인 관계는 참가자들이 전문성 개발을 위한 지원을 받을 수 있음을 의미했습니다. '[교육 고문]에게 연락해서 방금 진행한 워크숍이 정말 형편없어서 도움이 필요하다고 말했죠! 며칠 만에 우리는 회의를 조직하고 몇 가지 아이디어를 브레인스토밍했습니다. (P2). 
Oneway participants tried to combat isolation was to build formal and informal relationships with colleagues. These relationships helped participants identify supports available to them. Participants described ‘informal catch-ups to try and prevent things spiralling out of control’ (P15) or identifying colleagues on whom they could rely for support: ‘I have a really good, um, office mate next door who is a lecturer as well, who gave me some really good advice’ (P12). Similarly, formal connections with faculty, such as education advisors, meant that participants could access support for professional development: ‘So I actually contacted [an education advisor] and I was like, this workshop I just had totally sucked and we need some help! Within a couple of days, we'd organized a meeting and we'd brainstorm some ideas’. (P2).

참가자들이 고립감을 느끼는 데 기여한 또 다른 요인은 학생들에 대한 정보가 제한적으로 공유되어 교육에 영향을 미쳤다는 점입니다. 이러한 상황은 최상의 치료를 제공하기 위해 환자에 대한 정보가 일상적으로 공유되는 임상 실습과는 대조적입니다. 참가자들은 학생을 만나기 전에는 학생이 어려움을 겪고 있거나 추가 학습 지원이 필요하다는 사실을 알지 못했다고 설명했습니다: '... 학생들이 어려움을 겪고 있다는 사실을 알기 전까지는 정보를 얻지 못하거나 전혀 얻지 못하기 때문에 조금 어렵습니다'(P7). 이러한 격차로 인해 참가자들은 자신이 제공하는 강의의 질이 영향을 받는다고 느낄 수 있습니다. '미리 알았더라면 실제로 그것에 맞춰 강의를 조금 더 조정할 수 있었을 텐데'(P7). 고립감은 프로그램 기간 동안 또는 프로그램 기간 내에 교육자에게 전달되지 않는 학생 진도에 대한 단면적인 스냅샷을 제공하는 평가 프로세스 때문일 수 있습니다. 참가자들은 현재의 평가 관행이 학생의 진도에 대한 제한된 관점을 제공함으로써 학생의 능력에 대한 우려로 이어진다고 느낀다고 설명했습니다: '어떤 영역에서는 학생들이 충분히 제대로 평가받지 못한 것 같아서 논문을 작성하게 되었습니다'(P4).  
Another factor, which contributed to participants' feelings of isolation, was the limited information shared about their students, which affected their teaching. This situation contrasts with clinical practice, where information about patients is routinely shared to deliver the best possible care. Participants described being unaware that students were having difficulties or required extra learning support prior to meeting them: ‘… it's a bit hard because we don't necessarily get information about the fact that the students are struggling until, or we don't at all’ (P7). This gap could lead to participants feeling that the quality of teaching they delivered was impacted: ‘If I'd known that beforehand, I would have actually been able to adapt my teaching around it a bit’ (P7). A feeling of isolation may be due to assessment processes that provide cross-sectional snapshots of student progress that are not communicated to educators across, or within, years of the programme. Participants described how they felt that current assessment practices meant that a limited view of student progress was obtained, leading to concern about students' abilities: ‘I feel in some areas they haven't been assessed robustly enough and then they come to our paper’ (P4).

4 토론
4 DISCUSSION

우리는 보건 전문직 프로그램에서 교수진에게 숨겨진 커리큘럼이 어떻게 운영될 수 있는지 설명하는 세 가지 방법을 확인했습니다. 이러한 설명에는 다음 등이 포함됩니다.

• 교수 전문성이 어떻게 평가되고 이해되는지,
• 교육 기관의 관습이 교육 목표에 어떤 영향을 미치는지,
• 교수진이 의료 전문가로서 경험하는 동료애에 비해 교사로서 고립감을 어떻게 느끼는지 

이러한 설명은 미래의 의료 전문가를 교육하는 교사와 안전한 환자 치료를 제공하는 의료 전문가라는 두 가지 역할을 동시에 수행하려는 교수진에게 숨겨진 커리큘럼이 어떻게 운영될 수 있는지를 보여줍니다. 교수진 교육에 영향을 미칠 수 있는 요인을 파악할 수 있도록 교수진을 위한 숨겨진 교육과정 모델의 네 가지 영역14 과 관련하여 세 가지 주요 연구 결과를 논의합니다. 숨겨진 교육과정의 모든 영역이 작동할 가능성이 있지만, 각 결과에 대한 논의와 가장 관련성이 높은 영역만 명시적으로 언급한다는 점에 유의하는 것이 중요합니다. 
We identified three ways to explain how a hidden curriculum can operate for faculty in health professions programmes. These explanations involve

• how teaching expertise is valued and understood,
• how institutional conventions impact on teaching goals and
• how faculty feel isolated as teachers compared to the collegiality they experience as health care professionals.

These explanations illustrate how a hidden curriculum can operate for faculty as they attempt to perform two roles simultaneously: as teachers who are educating future health care professionals and as health professionals who are ensuring the provision of safe patient care. We discuss the three main findings in relation to the four domains of the model of hidden curriculum for faculty14 so that possible factors influencing faculty teaching can be identified. It is important to note that although all domains of the hidden curriculum are likely operating, we will only explicitly name domains that are most relevant to our discussion of each finding.

교수진을 위한 숨겨진 커리큘럼이 작동하는 것으로 보이는 한 가지 방법은 교육 전문 지식의 중요성이 저평가될 때입니다. 숨겨진 교육과정의 동기-심리 및 제도-조직 영역과 관련된 요인은 특히 임상 업무 또는 연구 결과와 비교할 때 보건 전문직 교육자가 소속 기관에서 자신의 교육이 저평가되었다고 느끼는 다른 맥락의 결과와 이 결과를 이해하는 데 도움이 될 수 있습니다.4-6, 21, 22

• 참가자들이 설명했듯이, 교수진은 관련 교육 전문성 없이 교육 역할을 할당받을 수 있으며,23, 24 이는 자신의 진료 범위를 벗어난 임상 역할을 수행하지 않는 것과 대조될 수 있는 관행입니다. 교육 내용 지식의 개념은 교육과 관련된 지식과 실습을 식별합니다.25 교육 내용 지식은 교수 역할에 익숙하지 않은 교수진이 어려움을 겪는 이유를 이해하고 교수로서의 역량을 개발하기 위해 어떻게 지원할 수 있는지 파악하는 데 사용되었습니다.26
• 마찬가지로, 임상적 통찰력을 교육 전문성과 동일시하는 대학 정책 및 절차에 따라 교수진에게 전달되는 가정은 교수진이 취약성을 느끼고 자신의 역량을 의심하며 자신이 제공하는 교육의 질에 의문을 제기하게 할 수 있습니다. 이러한 상황은 보건 전문직 교육 전반에 걸쳐 나타납니다.27 

One way a hidden curriculum for faculty appears to operate is when the importance of having teaching expertise is undervalued. Factors related to the motivational–psychological and institutional–organisational domains of the hidden curriculum can assist us to understand this finding and those from other contexts about health professions educators feeling that their teaching is undervalued by their institution, especially when compared to clinical work or research outputs.4-6, 21, 22 

• As our participants described, faculty may be allocated teaching roles without relevant teaching expertise,23, 24 a practice, which may contrast with not being expected to undertake clinical roles outside one's scope of practice. The concept of Pedagogical Content Knowledge identifies knowledge and practice specific to teaching.25 Pedagogical Content Knowledge has been used to understand why faculty may struggle when new to a teaching role and identify how they can be assisted to develop competency as a teacher.26 
• Likewise, assumptions conveyed to faculty by university policies and procedures that equate clinical acumen with teaching expertise may lead faculty to feel vulnerable, doubt their capabilities and question the quality of teaching they provide. This situation appears across health professions education.27 

교수진이 행동할 능력이 부족하다고 인식하면 교육 기관에서 자신의 가시성에 의문을 제기할 수 있습니다.28 교육 목표를 훼손하는 영향은 숨겨진 커리큘럼의 문화적 맥락 영역에서도 식별할 수 있습니다. 예를 들어, 직장 학습 환경의 맥락에서 교육보다 건강 관리가 우선시되는 경우가 있는데, 이를 인정하지 않을 경우 교수진에게 필요한 교육 전문성을 약화시킬 수 있습니다. 교육보다 건강 관리를 우선시하는 것은 교직원과 학생에게 구조적인 장벽으로 작용할 수 있습니다. 현장 학습에 대한 구조적 장벽은 학생의 역량을 키우는 것을 더욱 어렵게 만들 수 있습니다.29 숨겨진 커리큘럼의 문화적 맥락적 경계에서 영향을 인식하면 직장 문화에 따라 교수진이 자신의 역할과 전문성을 어떻게 인식할 수 있는지 설명하는 데 도움이 될 수 있습니다. 교수진이 교육 관행을 개발하거나 변경하는 데 부서나 동료의 관성이 있다고 느끼는 경우, 기관의 정책과 절차에 도전할 자율성이 부족하다고 느낄 수도 있습니다. 
If faculty members perceive, they lack ability to act, then they may question their visibility in the institution.28 Influences that undermine teaching goals can also be identified within the cultural–contextual domain of the hidden curriculum. An example is how health care is prioritised over teaching in workplace learning environments contexts, however, and when unacknowledged, it can undermine the teaching expertise required by faculty. Prioritising health care over teaching can act as a structural barrier for faculty and students. Structural barriers to on-the-job learning can make it more difficult to foster students' capabilities.29 Awareness of influences in the cultural–contextual boundary of the hidden curriculum can assist us to account for how faculty may perceive their role and expertise are valued based on the workplace culture. When faculty feel there is inertia from departments or colleagues to develop or change teaching practice, they may also feel a lack of autonomy to challenge institutional policies and procedures.

교수진을 위한 숨겨진 커리큘럼이 운영되는 두 번째 방식은 교육 목표가 훼손되는 경우입니다. 교수진은 학생들이 의료 전문가로서 협동 실습을 할 수 있도록 준비시킨다는 교육기관의 목표에도 불구하고 학생의 참여와 협업을 제한하는 시간표와 커리큘럼 구조로 인해 어려움을 겪을 수 있습니다. 교육기관의 정책과 절차는 동료와 학생의 비전문직업적 행동을 방치할 수 있습니다. 숨겨진 커리큘럼의 제도적-조직적 및 동기-심리적 영역과 관련된 영향은 이러한 책무성과 책임감의 결여가 어떻게 수용 가능한 전문직업적 행동을 심어준다는 핵심 목표와 상충되는지 설명하는 데 사용될 수 있습니다. 이러한 연구 결과는 교수진을 위한 숨겨진 커리큘럼이 전문직업성 교육에 어떤 영향을 미칠 수 있는지 보여주는 연구에 추가됩니다.17 교수진을 위한 숨겨진 커리큘럼은 또한 우리의 행동이 비전문직업적 행동을 지속시키는 것과 같은 의도하지 않은 결과를 초래하는 방법을 더 고려할 수 있게 해줍니다. 
A second way a hidden curriculum for faculty appears to operate is when teaching goals are undermined. Faculty can be challenged by timetables and curriculum structures that limit student engagement and collaboration, despite the purported institutional goal of preparing students for collaborative practice as a health care professional. Institutional policies and procedures may allow unprofessional behaviours from colleagues and students to be left unchecked. Influences related to the institutional–organisational and the motivational–psychological domains of the hidden curriculum can be used to explain how this lack of responsibility and accountability is at odds with a core goal of instilling acceptable professional conduct. These findings add to work that shows how a hidden curriculum for faculty may influence the teaching of professionalism.17 A hidden curriculum for faculty also allows us to further consider how our actions result in unintended consequences, such as perpetuating unprofessional behaviours.

교직원을 위한 숨겨진 커리큘럼이 작동하는 것으로 보이는 세 번째 방식은 교직원이 가르칠 때 고립을 보고하는 것입니다. 이 발견은 교직원을 위한 숨겨진 커리큘럼의 동기-심리적, 대인관계-사회적, 상황-문화적 영역의 영향으로 설명할 수 있습니다. 종종 의료 전문가들은 최적의 환자 치료를 제공하기 위해 협력하고, 다양한 직종에 종사하는 개인의 전문성을 활용하여 환자의 경과를 모니터링하기 위한 정보를 공유합니다. 이러한 협업 관행은 교수진에게 교사로서의 역할에서도 유사한 협업과 정보 공유가 이루어질 것이라는 기대감을 심어줄 수 있습니다. 이러한 기대가 충족되지 않으면 교직원은 고립감을 느끼게 됩니다. 이러한 고립감은 고등 교육에서 학자들이 흔히 경험하는 것으로, 일반적으로 교사로서 우리는 '교실 문을 닫고 교육적 고독을 경험하는 반면, 학자로서의 삶에서는 활발한 커뮤니티의 일원'입니다.30 p6 임상의가 교사 역할을 맡으면 교사와 임상의로서의 경쟁 업무로 인해 다른 보건 전문 교육자로부터 배울 수 있는 기회와 교육 자원에 대한 접근성이 제한될 수 있습니다. 이러한 결과는 교수진에 대한 공동 지원과 관련된 연구에서 보고된 고립감과 지원의 필요성을 강화합니다.23 연구 참여자의 경우, 학생에 대한 정보가 교수진에게 제한적으로 제공되어 고립감이 악화될 수 있습니다. 학생 진도에 대한 단면적인 스냅샷은 교수진이 교사로서 자신이 생각하는 기준에 도달할 수 있도록 학생들에게 학습 기회를 제공하는 것을 어렵게 만들 수 있습니다.

A third way a hidden curriculum for faculty appears to operate encompasses the isolation faculty report when teaching. This finding can be explained by influences in the motivational–psychological, interpersonal–social and contextual–cultural domains of the hidden curriculum for faculty. Often, health professionals collaborate to provide optimal patient care and share information to monitor a patient's progress over time by drawing upon the expertise of individuals from different professions. This collaborative practice may set an expectation for faculty that there will be similar collaboration and information sharing in their role as teachers. When this expectation is not met, faculty feel isolated. This sense of isolation is a common experience of academics in higher education, more generally, where as teachers, we ‘close the classroom door and experience pedagogical solitude, whereas in our life as scholars, we are members of active communities’.30 p6 When clinicians take on the role of teacher, they may have limited access to educational resources and opportunities to learn from other health professional educators due to competing duties as teacher and clinician. These findings reinforce the isolation and need for support reported in a study involving collegial support for faculty.23 For our participants, feeling isolated may be exacerbated by the limited information provided to faculty about their students. Cross-sectional snapshots of student progress can make it difficult for faculty to provide learning opportunities to their students that allows them to attain the standard they hold for themselves as teachers.

숨겨진 커리큘럼의 제도적-조직적 영역의 구조를 고려함으로써 교수진이 고립감을 완화할 수 있는 방법을 파악할 수 있었습니다. 교수진은 공식 및 비공식 동료 검토 및 멘토링에 대해 교수진 개발자에게 지침과 조언을 구하고 이러한 옵션을 교사로서 격려와 성장의 원천으로 활용할 수 있습니다. 비공식적인 동료 지원은 교사의 정체성 형성을 강화할 수 있지만23, 이러한 관행 자체도 숨겨진 커리큘럼의 적용을 받을 수 있습니다. 동료 지원은 또한 교사가 소속 기관으로부터 가치를 인정받는 데 도움이 될 수 있습니다.2,22 숨겨진 교육과정의 대인관계-사회적 영역에서 가능한 영향을 숙고함으로써 우리는 동료와 교류함으로써 고립감을 개선하려는 참가자들의 시도를 숨겨진 교육과정이 교사에 미치는 긍정적인 영향이라고 볼 수 있었습니다. 교수진이 자신의 고립감을 인식하고 지원을 구할 때, 그들은 자신의 상황을 개선하기 위해 숨겨진 커리큘럼의 측면을 해결하기 위해 제도적 구조를 사용할 수 있습니다. 교원은 '수동적인 졸이 아니라 교육기관 내에서 저항'31(2쪽)하는 행위를 통해 숨겨진 교육과정에 맞서 주체성을 행사하고 자신에게 가장 중요한 것을 드러낼 수 있다고 제안되었습니다.32 그러나 제도적 구조와 문화적 규범은 이러한 저항 행위에 대항하여31, 33 교원이 경험하는 고립을 지속하거나 심지어 강화할 수 있습니다. 교직원을 위한 숨겨진 커리큘럼의 동기-심리적 영역에 대해 생각하면 교직원에게 무엇이 중요한지 이해하고 이러한 이해를 활용하여 긍정적인 변화를 촉진할 수 있습니다. 향후 연구에서는 자기 결정 이론34과 같은 동기 부여 이론의 개념을 적용하여 교직원을 위한 숨겨진 커리큘럼의 개인적 동기 부여 영역을 보다 심층적으로 조사할 수 있습니다.

Considering structures in the institutional–organisational domain of the hidden curriculum allowed us to identify how faculty can mitigate their sense of isolation. Faculty may seek guidance and advice from faculty developers about formal and informal peer review and mentoring and use these options as sources of encouragement and growth as teachers. Informal peer support can strengthen teacher identity formation23; however, such practices themselves may also be subject to the hidden curriculum. Peer support can also help faculty to feel valued by their institution.2, 22 By pondering possible influences from the interpersonal–social domain of the hidden curriculum, we were able to view our participants' attempts to ameliorate their isolation by engaging with colleagues as a positive impact of the hidden curriculum for faculty. When faculty recognise their isolation and seek supports, they may be using institutional structures to address aspects of the hidden curriculum to improve their situation. It has been suggested that faculty can exercise agency in the face of the hidden curriculum through acts of ‘resistance within education institutions rather than being passive pawns’31 (p. 2) and reveal that which is most important to them.32 Institutional structures and cultural norms, however, may counteract these acts of resistance,31, 33 thereby perpetuating or even reinforcing the isolation experienced by faculty. Thinking about the motivational–psychological domain of the hidden curriculum for faculty allows us to understand what is important to faculty and use this understanding to promote positive change. A future study might apply concepts from a motivation theory, such as Self-Determination Theory34 to probe more deeply into the personal–motivational domain of the hidden curriculum for faculty.

이 세 가지 주요 조사 결과를 종합해 보면, 숨겨진 교육과정이 교수진에 의해 상호 영향을 주고받으며 어떻게 경험될 수 있는지를 알 수 있습니다. 교수진이 교사로서의 역할이 저평가되고, 훼손되고, 고립되었다고 느끼는 것은 보건 전문직 교육에만 국한된 것이 아닙니다.22, 27 그러나 이러한 문제를 보건 전문직 교육에서 교수진을 위한 숨겨진 교육과정으로 구성하면 교사, 연구자 및 임상의로서의 역할을 수행하는 교수진에게 이러한 문제를 정당화하는 데 도움이 될 수 있습니다.4, 35-38 이 연구의 결과는 숨겨진 교육과정이 교수진이 교사로서의 역할을 수행하는 방식과 교사로서 자신을 보는 방식을 어떻게 형성하는지 이해하는 데 더 잘 사용될 수 있습니다.
When these three main findings are viewed together, they illustrate how the hidden curriculum can be experienced as overlapping interacting influences by faculty. Faculty feeling that their role as teachers is undervalued, undermined and isolated is not unique to health professions education.22, 27 However, framing these issues as a hidden curriculum for faculty in health professions education might help legitimise these issues for faculty who take on roles as teachers, researchers and clinicians.4, 35-38 Findings from this study can be used to better understand how the hidden curriculum might shape how faculty enact their roles as teachers and how they view themselves as teachers.

연구 결과에는 교수진 개발자가 고려할 수 있는 몇 가지 시사점이 있습니다. 아마도 가장 유용한 인사이트는 교수진이 지금까지 '숨겨진' 것을 가시화할 수 있도록 지원하는 것과 관련이 있을 것입니다. '무언가를 '숨겨진 것'으로 분류하면 손댈 수 없거나 심지어 존재하지 않는 상태로 격상될 수 있습니다'12(528쪽)-우리는 이러한 결과를 피하고자 합니다. 우리는 숨겨진 것을 드러내어 가시화함으로써 의문을 제기하고 해결할 수 있도록 하고 있습니다.39 교수진 개발자는 숨겨진 교육과정의 네 가지 개념 영역을 사용하여 교육기관 맥락에서 운영되는 숨겨진 교육과정이 교수진에게 미치는 영향을 인식하고 시각화하는 데 도움을 받을 수 있습니다. 이 연구의 초점이 교육에 맞춰져 있으므로 향후 연구에서는 교수 역할의 다른 차원과 관련하여 숨겨진 커리큘럼을 조사할 수 있습니다. 교수진에게 숨겨진 커리큘럼이 어떻게 운영되는지 이해함으로써 교수진 개발자는 예를 들어 까다로운 교육 경험을 논의하기 위한 공통 언어를 개발하고 사용하는 등 보건 전문직 교육자가 임상 및 비임상 학습 환경에서 성공할 수 있도록 지원하는 도구를 더 잘 설계하고 공유할 수 있습니다. 향후 연구에서 탐구해야 할 한 가지 영역은 교수진이 교육 현장에서 직면한 문제를 해결하기 위해 '해결 방법'을 시작하고 유지하는 방법입니다. 이러한 해결 방법은 연구 결과에서 발견되었으며, 교수진이 문제나 이슈에 직접 직면하지 않고 해결책을 구현하는 방법을 나타냅니다.  
Our findings have several implications that faculty developers can consider. Perhaps the most useful insight involves assisting faculty to make the hitherto ‘hidden’ visible. ‘Labelling of something as “hidden” might elevate it to the status of untouchable or even non-existent’12 (p. 528)—we want to avoid this outcome. We are uncovering the hidden to make it visible so that it can be questioned and addressed.39 Faculty developers can use the four conceptual domains of the hidden curriculum to help recognise and visualise the influence of a hidden curriculum operating in their institutional contexts for their faculty. Given the focus of this study on teaching, a future study could examine the hidden curriculum in relation to other dimensions of the faculty role. By understanding how the hidden curriculum operates for faculty, faculty developers can design and share tools to better support health professions educators to thrive in clinical and nonclinical learning environments by, for example, developing and using a common language to discuss demanding teaching experiences. One area to explore in a future study is how faculty initiate and maintain ‘workarounds’ to address the challenges they faced in their teaching practice. These workarounds were present in our findings and represent the ways that faculty implemented a solution to resolve a problem or issue without confronting it directly.

이번 조사 결과는 스스로를 교사라고 밝힌 임상의에 국한됩니다. 향후 연구에서는 가르치지 않기로 선택했거나 스스로를 교사로 생각하지 않는 임상의의 관점을 조명할 수 있습니다. 참가자들에게 교수진에 대한 숨겨진 커리큘럼에 대한 인식을 직접 물었다면 연구 결과를 강화할 수 있었을 것입니다. 대신, 참가자들이 까다로운 교육 경험에 대한 이야기를 나눈 인터뷰 녹취록을 분석했습니다. 그러나 이러한 경험을 탐색하는 과정을 통해 교수들이 거주하는 '의학교육이라는 삶의 공간'9(404쪽)에 대해 깊이 이해할 수 있었고, 이러한 관점을 숨겨진 교육과정에 대한 이해를 통해 설명할 수 있었다고 생각합니다. 우리의 연구 결과가 현재 문헌에 추가되어 더 많은 논의와 확장을 촉진할 수 있기를 바랍니다. 
Our findings are limited to clinicians who self-identify as teachers. A future study may shed light on the views of clinicians who choose not to teach or who do not view themselves as teachers. Asking participants directly about their perceptions of the hidden curriculum for faculty may have strengthened our research findings. Instead, we analysed interview transcripts where participants shared stories of demanding teaching experiences. Through the process of exploring these experiences, however, we feel that we were able to gain a deep understanding of the ‘life-space we call medical education’9 (p404) which faculty inhabit and were able to explain these perspectives through our understanding of the hidden curriculum. It is hoped that our results can add to the current literature and prompt further discussion and expansion.

5 결론
5 CONCLUSION

우리는 보건 전문직 프로그램에서 교수진을 위해 숨겨진 커리큘럼이 어떻게 운영될 수 있는지 설명하는 세 가지 방법을 확인했습니다. 이러한 설명에는 교육 전문 지식의 중요성이 어떻게 저평가되는지, 교육 목표가 어떻게 훼손되는지, 교수진이 의료 전문가로서 경험하는 동료애에 비해 교사로서 어떻게 고립감을 느끼는지 등이 포함됩니다. 교수진을 위한 숨겨진 커리큘럼은 교육에 대한 가정, 기대 및 행동을 확립하고 유지하는 구조, 규범 및 관행에 의해 강화되는 것으로 보입니다. 연구 결과는 숨겨진 커리큘럼이 여러 겹치는 영역에서 작동하는 것으로 시각화되어 교수진이 자신과 자신의 역할을 보는 방식을 어떻게 형성할 수 있는지 보여줍니다. 이러한 인사이트는 교수진 개발자가 숨겨진 커리큘럼을 가시화하여 보건 전문직 교육자를 지원하는 데 사용할 수 있습니다. 
We identified three ways to explain how a hidden curriculum can operate for faculty in health professions programmes. These explanations involve how the importance of teaching expertise is undervalued, how teaching goals are undermined and how faculty feel isolated as teachers compared to the collegiality they experience as health care professionals. The hidden curriculum for faculty appears to be reinforced by structures, norms and practices that establish and maintain assumptions, expectations and behaviours about education. Our results show how the hidden curriculum can be visualised as operating in multiple, overlapping domains and shape how faculty see themselves and their roles. These insights may be used by faculty developers to help make the hidden curriculum visible, and, thereby, support health professions educators.

Med Educ. 2023 Aug;57(8):761-769. doi: 10.1111/medu.15026. Epub 2023 Feb 14.

© 2023 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

모듈에서 MOOCs로: 온라인 교육과정 개발의 여섯-단계 접근법(Acad Med, 2019)
From Modules to MOOCs: Application of the Six-Step Approach to Online Curriculum Development for Medical Education
Belinda Y. Chen, MD, David E. Kern, MD, MPH, Robert M. Kearns, MSEd, Patricia A. Thomas, MD, Mark T. Hughes, MD, MA, and Sean Tackett, MD, MPH 

온라인 커리큘럼은 중요한 온라인 상호작용이 포함된 계획된 교육 경험입니다. 온라인 커리큘럼은 기관, 지리적, 시간적 경계를 넘나들며 교수 및 학습 효율성을 높이고 교육 학술활동을 구성할 수 있습니다. 대부분의 보건 전문직 학위 및 교육 프로그램에서 온라인 학습 버전을 채택하고 있습니다.1-3 
Online curricula are planned educational experiences with significant online interactions. Online curricula can span institutional, geographic, and temporal boundaries; increase teaching and learning efficiency; and constitute educational scholarship. Versions of online learning have been adopted by most health professions degree and training programs.1–3

많은 교수진이 교육적 책임을 다하기 위해 온라인 커리큘럼 개발(CD)에 참여하고 있습니다. 커리큘럼 결과에 대한 책임을 지는 경우가 많지만, 교수진은 온라인 CD에 참여할 준비가 되어 있지 않을 수 있습니다. 이로 인해 교수진의 불만, 비효율적인 리소스 사용, 비효율적인 커리큘럼이 발생할 수 있습니다.2,4-6 
Many faculty participate in online curriculum development (CD) to fulfill their educational responsibilities. Although often held accountable for curricular outcomes, faculty may be unprepared to engage in online CD. This can result in faculty frustration, inefficient resource use, and ineffective curricula.2,4–6

보건 전문직 커리큘럼은 대중의 건강 관리 요구를 충족해야 할 책임이 있기 때문에 건전한 CD 프로세스를 요구합니다. 온라인 교육 과정은 많은 청중에게 도달할 수 있기 때문에 온라인 CD는 특히 이러한 요구에 대한 책임이 있습니다. 이 글에서는 의료 교육용 CD에 대해 널리 받아들여지고 있는 체계적인 접근 방식7,8인 의학교육용 커리큘럼 개발을 위한 6단계 접근 방식을 온라인 CD에 어떻게 적용할 수 있는지 설명합니다. 
Health professions curricula demand sound CD processes because of their responsibility to meet the health care needs of the public. Online CD is particularly accountable to these demands because online curricula can reach large audiences. We describe how a widely accepted, systematic approach to CD for health care education7,8—the Six-Step Approach for Curriculum Development for Medical Education—can be applied to online CD.

이 글에서는 현재 널리 사용되는 네 가지 온라인 커리큘럼 형식을 설명하고 비교하며, 그 차이점이 온라인 CD에 실질적인 영향을 미칩니다(표 1):
In this article we describe and compare four currently popular online curricular formats whose differences have practical implications for online CD (Table 1):

온라인 커리큘럼의 네 가지 일반적인 형식 비교
Comparisons of Four Common Formats of Online Curriculaa

• 혼합형 커리큘럼: 온라인과 대면 세션이 결합된 형태로, '플립형 강의실'은 혼합형 학습의 한 버전입니다.
  Blended curricula: Online and face-to-face sessions are combined; the “flipped classroom” is a version of blended learning.
• 교수자가 주도하는 완전 온라인 커리큘럼: 모든 커리큘럼 콘텐츠가 온라인으로 제공되며 교수진과 정의된 학습자 그룹 간에 온라인 상호 작용이 이루어집니다.
  Instructor-led fully online curricula: All curricular content is online, and online interaction occurs between faculty and a defined group of learners.
• 자기 주도형 모듈: 학습자가 커리큘럼을 시작하고 주도하며, 학습자가 학습하는 동안 교수자의 추가 입력이 필요하지 않습니다.
  Self-paced modules: The curriculum is initiated and directed by the learner, with no additional faculty input during the learner’s experience.
• 대규모 공개 온라인 코스(MOOC): 이 커리큘럼은 대규모의 쌍방향 참여를 목표로 하며 인터넷에 접속할 수 있는 사람이라면 누구나 참여할 수 있습니다.
  Massive open online courses (MOOCs): The curriculum aims for large-scale interactive participation and is open to anyone with Internet access.

의학 커리큘럼에서 사용되는 교육 방법, 평가 방법 및 리소스 유형에 대한 표준화된 용어도 만들어졌습니다.9
Standardized terminologies have also been created for the instructional methods, assessment methods, and resource types used within medical curricula.9

개요
Overview

6단계 접근법은 커리큘럼을 "계획된 교육 경험"으로 정의하며, 단기 교육 세션 또는 다년간의 프로그램에 적용할 수 있습니다. CD는 순차적으로 제시되지만 연속적이고 순환적인 프로세스이며 모든 단계는 서로 영향을 미칩니다(그림 1). 특정 교육 방법(4단계)을 고려하는 것으로 시작할 수 있지만, 실행을 위한 리소스 및 관리 요구 사항(5단계), 해당 방법이 대상 학습자의 요구 사항과 일치하는지 여부(2단계), 교육 목표(3단계), 학습자 및 프로그램 평가 계획(6단계) 등도 고려해야 합니다. 그림 1의 상단에 있는 1단계는 모든 보건 전문직 CD가 보건의료 문제를 해결하는 것을 목표로 한다는 점을 강조합니다. 아래에서는 각 단계의 기본 사항을 요약하고 온라인 CD의 각 단계에 대한 특별한 고려 사항을 설명합니다.  
The Six-Step Approach defines curriculum as any “planned educational experience” and can be applied to short educational sessions or multiyear programs. Though presented sequentially, CD is a continuous, cyclical process, and all steps influence each other (Figure 1). One might begin by considering a specific educational method (Step 4), but must also consider resource and administrative requirements for implementation (Step 5) and the method’s congruency with targeted learners’ needs (Step 2), as well as educational objectives (Step 3) and both learner and program evaluation plans (Step 6). Step 1 is at the top of Figure 1 to emphasize that all health professions CD aims to address a health care problem. Below, we summarize the fundamentals of each step and describe special considerations for each step in online CD.

1단계: 문제 식별 및 일반적인 요구 사항 평가
Step 1: Problem Identification and General Needs Assessment

일반 원칙
General principles

1단계에서 교육자는 교육 개입으로 해결할 의료 문제를 파악하고 지역적 수준에서 국제적 수준까지 그 중요성(예: 유병률, 이환율, 비용)을 특성화합니다. 이는 일반적으로 이용 가능한 데이터(예: 출판된 문헌, 공중 보건 통계)를 검토하고 새로운 데이터(예: 전문가 자문)를 수집하여 수행합니다. 
In Step 1, the educator identifies the health care problem that the educational intervention will address and, on a regional to international level, characterizes its importance (e.g., prevalence, morbidity, cost). This is typically done by a review of available data (e.g., published literature, public health statistics) and collection of new data (e.g., expert consultation).

일반적 요구도 평가는 환자, 사회, 보건의료 교육자, 보건의료 전문가가 파악한 문제에 대한 이상적인 접근 방식과 현재 접근 방식 사이의 격차를 정의합니다. 1단계는 대규모로 수행하거나10 소규모 CD 팀에 의해 수행될 수 있습니다. 1단계가 끝나면 교육자는 계획된 교육 활동을 통해 보건의료 전문직 교육생이 미래 환자의 요구를 충족할 수 있도록 준비하는 방법을 명확히 설명할 수 있습니다. 
The general needs assessment defines the gap between the ideal and current approaches to the identified problem by patients, society, health care educators, and health care professionals. Step 1 may be conducted on a large scale10 or by smaller CD teams. By the end of Step 1, educators can articulate how planned educational activities will prepare health professions trainees to meet the needs of future patients.

특별 고려사항
Special considerations

온라인 CD의 1단계는 기존 CD와 유사한 경우가 많지만, 온라인 CD에서는 기존 온라인 커리큘럼을 검색하는 데 더 많은 노력이 필요합니다. 동료 검토를 거친 온라인 커리큘럼 저장소(예: http://www.mededportal.org)를 검색하고 교육기관 및 전문 학회 웹사이트(예: http://www.POGOe.org)8를 검토하면 결과를 얻을 수 있습니다. 교육자들과 네트워킹하거나 의학 사서와 상담하면 비슷한 문제를 해결하기 위한 다른 커리큘럼을 파악하는 데 도움이 될 수 있습니다. 
Often, Step 1 for online CD is similar to traditional CD, although more effort is required in online CD to search for existing online curricula. Searching online peer-reviewed curriculum repositories (e.g., www.mededportal.org) and reviewing websites of institutions and professional and specialty societies (e.g., www.POGOe.org)8 can yield results. Networking with educators or consulting with medical librarians can help identify other curricula that aim to solve similar problems.

다음은 1단계가 결핵(TB) 치료를 개선하기 위해 온라인 CD에 어떤 영향을 미쳤는지 보여주는 예시입니다.

• 결핵은 효과적인 치료 옵션이 있음에도 불구하고 저소득 및 중간 소득 국가(LMIC)에서 이환율과 사망률의 주요 원인으로 확인되었습니다. 사례 발견 및 치료 권고에 관한 의료진의 지식 격차가 중요한 장벽으로 밝혀져 교육적 개입이 결핵 치료에 도움이 될 수 있습니다. 기존 커리큘럼은 대면 교육으로 진행되었기 때문에 출장 비용과 일정 관리 등의 문제로 인해 접근성이 제한적이었습니다. 이러한 단점을 해결하기 위해 "글로벌 결핵 임상 관리 및 연구"라는 제목의 MOOC를 개발하여 LMIC의 의료진에게 마케팅하여 7,800명의 학습자에게 성공적으로 도달했으며, 이 중 87%는 결핵 유병률이 높은 환경에서 근무하는 사람들이었습니다.11 

Here is an illustration of how Step 1 influenced online CD to improve tuberculosis (TB) care.

• TB was identified as a leading cause of morbidity and mortality in low- and middle-income countries (LMICs) despite the existence of effective treatment options. Provider knowledge gaps regarding case-finding and treatment recommendations were found to be an important barrier, making TB care amenable to an educational intervention. Existing curricula were face-to-face, which limited their reach because of travel costs and scheduling logistics. To address these shortcomings, a MOOC titled “Global Tuberculosis Clinical Management and Research” was developed and marketed to providers in LMICs, successfully reaching 7,800 learners, 87% of whom were in settings with high TB prevalence.11

단순히 온라인으로 커리큘럼을 제공하는 것만으로는 보건 요구 사항을 해결하지 못할 수 있습니다. 일반적인 MOOC 데이터에 따르면 가장 필요한 사람들에게 도달하지 못하는 경우가 많습니다.12,13 커리큘럼의 목적을 명확히 하면 커리큘럼 개발자가 교육 효과를 극대화하는 결정을 내리는 데 도움이 됩니다. 
Simply making a curriculum available online may not address health needs. General MOOC data indicate that many may not reach those who need them most.12,13 Clarifying one’s curricular purpose helps the curriculum developer make decisions to maximize educational impact.

2단계: 목표 요구 사항 평가
Step 2: Targeted Needs Assessment

일반 원칙
General principles

2단계에서는 대상 학습자의 요구 사항과 학습 환경에 초점을 맞춥니다. 목표 요구 사항 평가에는 대상 학습자 및 이해 관계자의 특성, 요구 사항, 선호도, 학습자 환경에서 사용 가능한 리소스 등의 데이터 수집이 포함됩니다. 
Step 2 focuses on the needs of one’s targeted learners and their learning environments. The targeted needs assessment involves the collection of data, such as the characteristics, needs, and preferences of the targeted learners and stakeholders, and available resources in the learners’ environments.

특별 고려 사항
Special considerations

온라인 CD의 목표 요구 사항 평가는 범위와 복잡성이 다양할 수 있습니다. "강의실 뒤집기"14는 교수자가 청중을 알고 있기 때문에 비교적 간단할 수 있습니다. 자기 주도형 모듈 또는 MOOC는 지리적으로 분산된 다양한 학습자 그룹을 대상으로 하기 때문에 복잡할 수 있습니다. 
Targeted needs assessments for online CD can vary in scope and complexity. “Flipping the classroom”14 may be relatively simple because the instructor knows the audience. Self-paced modules or MOOCs can be complex because they target diverse groups of geographically dispersed learners.

온라인 커리큘럼은 낮은 사회적 참여도, 낮은 관련성 인식, 부적절한 자기 조절 행동과 관련하여 중도 탈락률이 높을 수 있으므로,15,16 학습자의 요구, 선호도, 동기, 온라인 학습에 대한 과거의 긍정적 및 부정적 경험17을 이해하는 것이 참여도를 유지하는 데 중요합니다.

• 학습자의 언어 능력,
• 문화,
• 선호하는 콘텐츠 액세스 모드(예: 노트북, 태블릿, 모바일 장치),
• 학습 경험에 사용할 수 있는 시간,
• 동기식 세션의 가용성(예: 지역사회 건강 결과 커리큘럼 연장에 참여하는 의료 제공자18),
• 학점의 필요성(예: 계속 의학 교육[CME], 자격증 유지),
• 액세스 또는 수료 인정에 대한 지불 의향

...도 온라인 교육 과정의 수용에 영향을 줄 수 있습니다. 
Online curricula can have high dropout rates related to low social engagement, low perceived relevance, and inadequate self-regulatory behaviors,15,16 so understanding learner needs, preferences, motivations, and past positive and negative experiences with online learning17 is important for maintaining engagement.

• Learners’ language skills,
• cultures,
• preferred modes of accessing content (e.g., laptop, tablet, mobile device),
• time available for the learning experience,
• availability for synchronous sessions (e.g., practicing providers to participate in extension for community health outcomes curricula18),
• the need for credit (e.g., continuing medical education [CME], maintenance of certification), and
• the willingness to pay for access or recognition of completion

...may also affect the uptake of an online curriculum.

평가해야 할 환경적 요인으로는 인터넷 접속의 가용성 및 품질, 현지 테크놀로지 지원 등이 있습니다. 국제 커리큘럼의 경우, 미디어 공유(예: YouTube) 및 소셜 미디어(예: Facebook) 플랫폼에 대한 접근 제한과 같은 법률 및 규정이 커리큘럼 콘텐츠 제공 또는 커뮤니케이션을 위해 어떤 사이트를 선택할지에 영향을 미칠 수 있습니다. 
Environmental factors to evaluate include the availability and quality of Internet access and local technical support. For international curricula, laws and regulations, such as restricted access to media-sharing (e.g., YouTube) and social media (e.g., Facebook) platforms, can affect which sites are chosen for curricular content delivery or communication.

학습자와 학습자의 환경을 사전에 완전히 평가할 수 없는 경우, 목표 요구 사항 평가의 일부를 온라인 커리큘럼에 포함시킬 수 있습니다. 예를 들어, 커리큘럼을 진행하는 동안 학습자의 피드백을 의도적으로 수집하면 혼란스러운 용어나 문화적으로 민감한 이미지 중 수정이 필요한 부분을 파악할 수 있습니다.  
When learners and their environments cannot be fully assessed in advance, parts of a targeted needs assessment can be embedded in online curricula. For example, intentionally gathering feedback from learners during the curriculum can identify confusing terminology or culturally sensitive images needing revision.

3단계: 목표 및 목적
Step 3: Goals and Objectives

일반 원칙
General principles

요구 사항 평가를 기반으로 3단계에서 목적과 목표를 정의합니다.

• 목적goals은 방향을 제시하고 커리큘럼의 경계를 설정합니다.
• 목표objectives는 학습자의 인지, 정서 및 정신 운동 성취도에 대한 구체적이고 측정 가능한 기대치를 설명합니다.
• 목표objectives는 건강 관리에 미칠 것으로 예상되는 영향을 명확히 설명할 수 있습니다.
• 교육 목적과 목표는 이후 단계에서 교육 및 평가 전략의 선택을 안내합니다.

Based on the needs assessments, goals and objectives are defined in Step 3.

• Goals provide direction and set curricular boundaries.
• Objectives describe specific and measurable expectations for learners’ cognitive, affective, and psychomotor achievements.
• Objectives can also articulate the anticipated impact on health care.
• Goals and objectives guide the selection of educational and evaluation strategies in later steps.

특별 고려 사항
Special considerations

교직원은 새로운 교육 테크놀로지의 '화려한' 기능을 시험해 보고 싶은 유혹을 받을 수 있습니다. 그러나 1단계에서 설명한 의료 요구 사항과 2단계의 목표 요구 사항 평가를 기반으로 목표를 작성하면 기존 테크놀로지 및 새로운 테크놀로지를 보다 신중하게 사용할 수 있습니다.

• 블렌디드 커리큘럼은 라이브 세션 중에 실습과 피드백을 통합하여 의사소통 및 절차적 스킬에서 고차원적인 목표를 달성하는 데 도움이 될 수 있습니다.
• MOOC와 자기 주도형 모듈은 더 많은 학습자에게 정보를 전달할 수 있지만, 현재 학습자의 심리 운동 스킬을 개발하거나 학습자의 행동을 변화시키는 데는 한계가 있습니다.
• 앞으로는 복잡한 분기 로직이 포함된 시뮬레이션 사례 시나리오와 가상 환경과 같은 새로운 테크놀로지를 통해 학습자가 고차원적인 인지적 사고, 절차, 심지어 팀워크와 커뮤니케이션 스킬까지 연습할 수 있게 될 것입니다.

일반적으로 고차원적인 목표19,20를 설정하고 그에 따라 테크놀로지를 선택해야 합니다. 또한 테크놀로지가 허용하는 경우 학습자가 직접 목표를 설정하는 데 참여해야 합니다.21
Faculty may be tempted to try out the “bells and whistles” of new educational technologies. However, writing objectives based on the health care need delineated in Step 1 and the targeted needs assessment in Step 2 can direct more thoughtful use of established and emerging technologies.

• Blended curricula can help achieve higher-order objectives in communication and procedural skills by integrating practice and feedback during live sessions.
• MOOCs and self-paced modules may convey information to a larger number of learners, but are currently limited in their ability to develop learners’ psychomotor skills or change learners’ behaviors.
• In the future, new technologies such as simulated case scenarios with complex branching logic and virtual environments may allow learners to practice higher-order cognitive thinking, procedures, and even teamwork and communication skills.

Generally, one should aim for higher-order objectives19,20 and select technologies accordingly. Also, when technology permits, learners should be engaged in setting their own objectives.21

4단계: 교육 전략
Step 4: Educational Strategies

일반 원칙
General principles

4단계는 교육 목표 달성을 촉진하기 위해 실현 가능한 교육 전략과 콘텐츠를 선택하는 단계입니다. 교육 목표에 부합하는 여러 교육 방법을 사용하면 학습을 강화하고 학습자 선호도의 차이를 해결할 수 있습니다.
Step 4 involves selecting feasible educational strategies and content to facilitate achievement of educational objectives. Using multiple educational methods congruent with educational objectives reinforces learning and addresses differences in learner preferences.

특별 고려 사항
Special considerations

온라인 커리큘럼은 멀티미디어, 상호 작용 및 가상 소셜 구성 요소를 통합하여 기존의 교실 기반 모델보다 더 유연하고 접근 가능하며 개별화된 학습을 가능하게 할 수 있습니다. 최적의 온라인 학습을 위한 공식은 없지만,22,23 교육 전략의 선택을 안내하는 증거와 원칙이 존재합니다. 예를 들어,

• 연구에 따르면 연습 문제, 간격을 둔 반복, 피드백, 사회적 존재감이 고차원적인 학습자 목표를 달성하는 데 가장 효과적이라고 합니다.6,24
• 콘텐츠 레이아웃 및 멀티미디어 통합 지침25,26에서는 정보를 '청크'하고 그래픽과 단어를 결합하여 청각과 시각 경로를 동시에 자극하는 것을 권장합니다.
• 연구와 전문가 지침이 불충분한 경우 일반적인 교육 과학과 이론이 교육 전략을 안내할 수 있습니다.

Online curricula can incorporate multimedia, interactivity, and virtual social components to allow for more flexible, accessible, and individualized learning than traditional classroom-based models. Although there is no formula for optimal online learning,22,23 evidence and principles exist to guide selection of educational strategies. For example,

• studies have suggested that practice exercises, spaced repetition, feedback, and a social presence are most effective for achieving higher-order learner objectives.6,24 
• Guidelines for content layout and incorporating multimedia25,26 endorse “chunking” information, combining graphics and words, and simultaneously stimulating auditory and visual pathways.
• When studies and expert guidelines are insufficient, general educational science and theory can guide educational strategies.

대부분의 온라인 커리큘럼은 커리큘럼 콘텐츠를 저장 및 전달하고 평가 및 평가를 용이하게 하는 소프트웨어인 학습 관리 시스템(LMS)을 통해 전달됩니다. 많은 교육기관이 이미 LMS 공급업체와 계약을 맺었지만 일부 LMS는 오픈 액세스 방식입니다. LMS는 테크놀로지 지원을 제공할 수 있지만 커리큘럼 옵션을 제한할 수도 있습니다. 새로운 테크놀로지는 인터넷 접속이 원활하지 않은 환경에서도 '온라인 커리큘럼'에 접근할 수 있게 해주며,27 이러한 테크놀로지가 LMS와 어떻게 연동되는지에 따라 교육 전략에 더 많은 영향을 미칠 수 있습니다. 커리큘럼 내에서 LMS 선택 및 교육 설계를 결정할 때는 LMS 옵션의 특성을 파악하는 것이 중요합니다. 
Most online curricula are delivered through learning management systems (LMSs), software that stores and delivers curricular content and facilitates assessment and evaluation. Some LMSs are open-access, although many institutions have already contracted with LMS vendors. LMSs can offer technical support but may also constrain curricular options. New technologies make it possible to access “online curricula” despite poor Internet access,27 and how these interface with LMSs may further influence educational strategies. Knowing characteristics of one’s LMS options is important for LMS selection and instructional design decisions within the curriculum.

기존 커리큘럼을 온라인 형식으로 전환하면 교수진과 학습자 간의 동기식 상호 작용을 유지하면서 더 많은 청중에게 다가갈 수 있고 강의실 공간의 제약을 극복할 수 있습니다. 웹 회의 소프트웨어를 사용하는 라이브 세션이 포함된 완전 온라인 커리큘럼과 같은 온라인 동기식 세션을 사용하면 기존의 대면 방식을 간단하게 조정할 수 있습니다. 특수 온라인 미디어 룸을 사용하면 강사가 학습자의 표정과 몸짓을 관찰하는 등 실시간으로 학습자를 볼 수 있으므로 기존 강의실을 시뮬레이션할 수 있습니다. 학습자의 유연성을 높이기 위해 기존 방식을 비동기식 온라인 형식에 적용하는 것은 쉽지 않지만, 유사한 방식이 존재하고(표 2) 대부분의 LMS와 호환되는 경우가 많습니다. 
Converting a traditional curriculum to an online format can allow faculty to reach a larger audience and overcome classroom space limitations while maintaining synchronous interactions between faculty and learners. Adapting traditional face-to-face methods can be made straightforward by using online synchronous sessions, such as fully online curricula with live sessions that use web conferencing software. Use of special online media rooms can simulate traditional classrooms as an instructor can view learners in real time, including observing facial expressions and body language. Adapting traditional methods to asynchronous online formats, often to increase learner flexibility, is less straightforward, although analogous methods exist (Table 2) and are compatible with most LMSs.

저작권 및 공정 사용 원칙은 온라인 커리큘럼에 사용할 콘텐츠를 선택할 때 고려해야 할 주요 사항입니다. 

• 저작권은 원본 콘텐츠의 제작자가 배포를 승인할 수 있는 법적 권리입니다.
• 공정 사용은 저작권이 있는 저작물을 교육 목적으로 제한적으로 사용하는 경우에 적용됩니다. 그러나 자료가 온라인으로 널리 배포되거나 온라인 커리큘럼에 대한 요금이 부과되는 경우에는 공정 사용 원칙이 더 이상 적용되지 않을 수 있으며, 법률 상담이 필요할 수 있습니다.
• 저작권법은 국가마다 다르며 무엇이 공정 사용으로 간주되는지는 해석에 따라 달라질 수 있습니다.28 저작권 규정을 위반하지 않으려면 공개적으로 이용 가능한 콘텐츠 또는 크리에이티브 커먼즈 라이선스(적절한 저작자 표시를 통해 원본 저작물의 공유를 허용하는 라이선스)가 있는 콘텐츠를 사용하는 것이 좋습니다.29

Principles of copyright and fair use are major considerations when choosing the content for online curricula.

• Copyright is the legal right of a creator of original content to authorize its distribution.
• Fair use applies to limited use of a copyrighted work for educational purposes. However, when material is widely distributed online or there is a charge for online curricula, the principle of fair use may no longer apply, and legal consultation may be needed.
• Copyright laws vary internationally, and what is considered fair use is subject to interpretation.28 To avoid violating copyright regulations, consider using publicly available content or content with a Creative Commons license (which permits sharing of an original work with appropriate author attribution).29

마지막으로 예산은 방법 선택에 영향을 미칩니다. 텍스트와 기성 그래픽은 일반적으로 비용이 저렴하지만, 맞춤형 그래픽과 전문 동영상은 제작 비용이 수백 또는 수천 달러에 달할 수 있습니다. 먼저 목표에 부합하는 여러 전략을 파악한 다음 사용 가능한 리소스에 따라 선택하는 것이 좋습니다.
Finally, budgets influence choice of methods. Text and ready-made graphics are typically inexpensive, whereas custom graphics and professional videos can cost hundreds or thousands of dollars to produce. We recommend first identifying multiple strategies congruent with one’s objectives, and then selecting based on available resources.

5단계: 구현
Step 5: Implementation

일반 원칙
General principles

5단계에서는 교육과정을 실행하기 위한 자원(예: 인력, 시간, 공간 및 자료, 자금), 정치적 지원, 행정 메커니즘을 식별, 조달, 적절히 사용하는 것이 포함됩니다. 파일럿은 정식 시행에 앞서 학습자의 경험을 바탕으로 교육과정을 수정할 수 있는 기회를 제공합니다. 커리큘럼이 혁신적이거나 학습자가 회의적인 경우에는 우호적인 청중을 대상으로 파일럿을 실시하는 것이 현명합니다. 복잡한 커리큘럼은 리소스를 집중하고 초기 성공 가능성을 극대화하며 더 많은 수요를 창출하기 위해 별도의 세그먼트로 단계적으로 도입할 수 있습니다. 
Step 5 involves the identification, procurement, and appropriate use of resources (e.g., personnel, time, space and materials, funding), political support, and administrative mechanisms to implement the curriculum. Piloting provides an opportunity to revise a curriculum, based on learner experience, prior to full implementation. When the curriculum is innovative or learners are skeptical, piloting on a friendly audience is wise. Complicated curricula may be phased in as separate segments to focus resources, maximize the likelihood of initial success, and create demand for more.

특별 고려 사항
Special considerations

온라인 커리큘럼은 더 많은 인력과 재정적 요구 사항, 다양한 대상에게 배포해야 하는 어려움, 학습자와 참여 교수진 모두 온라인 교육에 익숙해져야 하기 때문에 기존 커리큘럼보다 구현이 더 복잡한 경우가 많습니다30. 교육기관마다 테크놀로지에 투자하는 방식은 다르지만,31 온라인 CD를 교육기관의 우선순위에 맞게 조정하면 복잡성을 관리하고 CD를 간소화하는 데 필수적인 리소스에 접근할 수 있습니다. 
Implementation for online curricula is often more complex than for traditional curricula30 because of greater personnel and financial requirements; challenges of disseminating to large, diverse audiences; and the need to familiarize both learners and participating faculty with online instruction. Although academic centers vary in how they invest in technology,31 aligning online CD with institutional priorities can provide access to essential resources to manage complexities and streamline CD.

온라인 커리큘럼을 탐색하는 것이 간단해 보이는 경우에도 학습자와 교수진에게 지침과 데모를 제공하는 것이 필요한 경우가 많습니다. 일부 교육기관에서는 LMS 탐색을 도입하는 온라인 커리큘럼을 필수로 제공합니다. 온라인 커리큘럼에는 처음에 탐색을 위한 간단한 지침이 포함될 수도 있습니다. 커리큘럼을 진행하는 동안 문제를 해결하기 위한 지속적인 테크놀로지 지원이 필요한 경우가 많습니다. LMS 공급업체에서 테크놀로지 지원을 제공하지 않거나 여러 시스템을 사용하는 경우, 교육기관 또는 후원 조직에서 테크놀로지 지원을 제공하여 교직원의 중요한 리소스가 테크놀로지 문제 해결에 전용되지 않도록 해야 합니다. 
Providing instructions and demonstrations for learners and faculty is often necessary even when navigating online curricula seems straightforward. Some institutions have prerequisite online curricula that introduce LMS navigation. Online curricula can also include brief instructions for navigation at the outset. Ongoing technical support to troubleshoot issues during the curriculum is often necessary. If the LMS vendor does not provide technical support or if multiple systems are used, the institution or sponsoring organization will need to provide technical assistance to avoid diverting significant faculty resources to overcoming technical issues.

교수진은 혼합형 커리큘럼을 개발할 때 온라인 요소를 독립적으로 통합할 수 있지만, 일반적으로 온라인 CD의 다양한 측면에 익숙한 팀원과 협력하는 것이 좋습니다(표 3). 교수는 일반적으로 교수 설계자, 프로젝트 관리자 및/또는 미디어 테크놀로지자(예: 비디오그래퍼, 그래픽 디자이너)와 협력하여 주제별 전문가(SME)의 역할을 수행합니다. 부록 디지털 부록 1(https://links.lww.com/ACADMED/A625)은 온라인 CD 팀에서 사용할 수 있는 일반적인 용어에 대한 가이드를 제공합니다. 
Although faculty can independently incorporate online elements when developing blended curricula, one should generally seek to work with team members familiar with different aspects of online CD (Table 3). Faculty usually serve as subject matter experts (SMEs) in collaboration with instructional designers, project managers, and/or media technicians (e.g., videographers, graphic designers). Supplemental Digital Appendix 1, available at https://links.lww.com/ACADMED/A625, provides a guide to common terminology that can be used by online CD teams.

리소스 생성 및 커리큘럼 설계에 소요되는 선행 시간은 상당한 경우가 많습니다. 중소기업에서 요구하는 시간은 계획된 커리큘럼의 복잡성과 다른 CD 팀원의 가용성, 경험 및 스킬에 따라 달라집니다.32 Delgaty는 강사 주도의 완전 온라인 커리큘럼을 개발한 경험을 바탕으로 커리큘럼 활동 1시간당 7시간의 교수 시간4을 제안합니다.33 커리큘럼 중 토론 게시판 진행과 같은 활동에는 많은 시간이 소요될 수 있으며 Delgaty4는 학생 활동 1시간당 4시간의 교수 시간이 필요하다고 추산합니다. 교수진이 정기적인 커리큘럼 주기에 참여할 수 없을 것 같으면 자기 주도형 커리큘럼을 선택하는 것이 현명한 선택일 수 있습니다. 이러한 커리큘럼은 생성 후 교수진의 지속적인 입력이 필요하지 않지만, 훨씬 더 많은 교수자의 사전 시간이 필요합니다. 프로젝트 관리자 없이 새로운 LMS에서 3시간짜리 자기 주도형 모듈 시리즈를 개발하기 위해 3명의 교수진으로 구성된 저희 팀은 각 커리큘럼 활동의 각 시간에 대해 25시간 이상 계획하고 피드백하는 데 투자했습니다. 중소기업과 개발 팀의 다른 사람들이 사용 가능한 시간을 파악하면 온라인 커리큘럼 옵션 중에서 적절한 선택을 하고 지속 가능성을 보장할 수 있습니다(표 1). 
Upfront time for resource creation and curricular design is often substantial. Time demanded from SMEs depends on the complexity of the planned curriculum and the availability, experience, and skills of other CD team members.32 Delgaty proposes an estimate of 7 hours of faculty time for each 1 hour of curricular activity4 based on her experience developing an instructor-led fully online curriculum.33 Activities such as moderating discussion boards during the curriculum can be time-consuming; Delgaty4 estimates that 4 hours of faculty time per hour of student activity was necessary. If faculty are unlikely to be available for regular cycles of the curriculum, self-paced curricula may be a prudent choice. Such curricula require no ongoing faculty input after creation, but require much more upfront faculty time. To develop a 3-hour series of self-paced modules in a new LMS without a project manager, our team of 3 faculty each devoted more than 25 hours of planning and feedback for each hour of curricular activity. Having a sense of the time available to SMEs and others on the development team allows one to make appropriate selections among online curricular options and ensure sustainability (Table 1).

온라인 커리큘럼의 개방적인 특성으로 인해 기밀 유지 및 접근성에 관한 규정에 주의를 기울여야 합니다. 미국 의학교육의 예로는 다음 등이 있습니다. 

• 개인 건강 정보를 보호해야 하는 의료보험 이동성 및 책임에 관한 법률(HIPAA),
• 학생 정보를 기밀로 유지해야 하는 가족교육권 및 개인정보 보호법(FERPA),
• 장애인(청각 또는 시각 장애를 포함하되 이에 국한되지 않음)이 교육 과정에 접근할 수 있도록 요구하는 미국 장애인법(ADA)

대부분의 교육기관 LMS는 이미 기밀 유지 요구 사항을 충족하고 있으므로, CD 팀은 일반적으로 비디오 콘텐츠에 캡션을 추가하고 '대체 태그'(시각 장애인을 위해 이미지 대신 표시되는 문구)를 제공함으로써 접근성 요구 사항에 집중할 수 있습니다. 
The open nature of online curricula requires attention to regulations governing confidentiality and accessibility. U.S. medical education examples include

• the Health Insurance Portability and Accountability Act (HIPAA), which requires that personal health information be protected;
• the Family Educational Rights and Privacy Act (FERPA), which requires that student information be kept confidential; and
• the Americans with Disabilities Act (ADA), which requires that individuals with disabilities (including, but not limited to, hearing or vision impairment) have access to the curriculum.

Because most institutional LMSs already ensure that confidentiality requirements are met, the CD team can usually focus on accessibility requirements by captioning video content and providing “alt tags” (wording that appears in place of images for the visually impaired).

온라인 커리큘럼 예산은 상당히 다양하며(표 1) 개발, 구현 및 유지 관리 비용을 포함해야 합니다. 일부 교수진은 사용 가능한 리소스에 맞게 목표와 목적을 축소하는 반면, 다른 교수진은 1단계와 2단계에서 파악한 문제와 요구 사항의 강도에 따라 추가 리소스를 성공적으로 확보할 수 있습니다.
Online curricular budgets range considerably (Table 1) and should include the cost of development, implementation, and maintenance. Some faculty scale back goals and objectives to fit available resources, while others may successfully garner additional resources based on the strength of the problem identification and needs demonstrated during Steps 1 and 2.

온라인 커리큘럼은 무료 개방형 접근 방식, 유료 접근 방식, 하이브리드 접근 방식(예: 누구나 접근할 수 있지만 교육 학점을 받으려면 비용을 지불해야 함) 중 하나를 채택할 수 있습니다. 온라인 커리큘럼은 가장 많이 사용되는 CME 활동 유형으로, 2016년에 13억 달러의 등록비가 발생했습니다.34 MOOC는 보통 자격증에 25달러에서 50달러를 청구하며, 인기 있는 MOOC는 직접 수익으로 상당한 수익을 창출할 수 있습니다. 독립적으로 수익성이 없는 온라인 커리큘럼은 보완적인 학업 프로그램 등록을 위한 광고로서 가치가 있을 수 있습니다.
Online curricula can be free and open-access, require payment for access, or adopt a hybrid approach (e.g., anyone may access, but receiving educational credit requires payment). Online curricula are the most-used type of CME activity, which generated $1.3 billion in registration fees in 2016.34 MOOCs often charge $25 to $50 for a certificate; popular MOOCs can generate significant returns as direct revenue. Online curricula that are not independently profitable may be valuable as advertising for enrollment in complementary academic programs.

수강료를 부과하면 커리큘럼 수정 및 유지 관리에 도움이 될 수 있지만 온라인 커리큘럼의 활용도와 영향력을 제한할 수 있습니다. 수강료를 부과할 계획이라면 추가 요소를 고려해야 합니다: 

• 온라인 커리큘럼을 결제 포털과 어떻게 통합할 것인가?
• 개인 또는 교육기관이 수수료를 지불할 것인가?
• 개별 커리큘럼 구성 요소를 기준으로 수수료를 부과할 것인가, 아니면 시간 제한을 기준으로 부과할 것인가?
• 커리큘럼 교수진, 해당 부서 또는 학과, 교육기관 간에 수익이 어떻게 배분됩니까?

Charging fees can support curriculum revision and maintenance, but may limit the uptake and impact of an online curriculum. If planning to charge fees, one must consider additional factors:

• How will the online curriculum integrate with a payment portal?
• Will fees be paid by individuals or institutions?
• Will fees be based on individual curricular components or on a time-limited basis?
• How will revenue be distributed among curriculum faculty, their divisions or departments, and the institution?

커리큘럼을 광범위하게 배포하려는 교수진은 브랜딩 문제(조직의 이름 또는 로고 사용에 관한 정책)도 고려해야 하며, 지적 재산권 소유권도 고려해야 할 수 있습니다. 또한 커리큘럼 개발자는 커리큘럼의 일부가 통제 범위를 벗어나 원치 않는 사용, 변경 또는 배포되지 않도록 보호하고자 할 수 있으며, 우려되는 경우 법률 자문을 구해야 합니다.
Faculty seeking to disseminate curricula broadly must also consider issues of branding—the policies governing use of an organization’s name or logo—and may need to consider intellectual property ownership. Curriculum developers may also wish to protect parts of their curricula from undesired use, alteration, or dissemination beyond their control and, where concerns exist, should seek legal advice.

6단계: 평가 및 피드백
Step 6: Evaluation and Feedback

일반 원칙
General principles

6단계에서는 커리큘럼이 성공적인지, 어떻게 개선할 수 있는지 평가합니다. 여기에는 다음의 10가지 작업이 포함됩니다.

• 평가 사용자 식별, 
• 사용자 요구 사항 명시, 
• 평가 질문의 우선순위 지정, 
• 평가 설계(예: 사후 시험만, 사전/사후 시험, 비교 그룹) 선택, 
• 평가 방법 선택, 
• 도구 구성, 
• 윤리적 문제(예: 기밀성) 해결, 
• 데이터 수집, 
• 데이터 분석, 
• 결과 보고 등 

6단계에는 개별 참가자에 대한 평가와 프로그램의 구조, 프로세스 및 결과에 대한 평가가 포함됩니다. 정성적 및 정량적 데이터는 형성적 및 종합적 목적으로 수집되어야 합니다. 평가 방법론은 실현 가능하고 교육 목표와 일치해야 합니다.
Step 6 evaluates whether the curriculum was successful and how it can be improved. It includes 10 tasks:

• identifying evaluation users,
• articulating user needs,
• prioritizing evaluation questions,
• choosing evaluation designs (e.g., posttest only, pre/posttest, comparison group),
• selecting evaluation methods,
• constructing instruments,
• addressing ethical concerns (e.g., confidentiality),
• collecting data,
• analyzing data, and
• reporting results.

Step 6 includes assessment of individual participants and evaluation of the program’s structures, processes, and outcomes. Qualitative and quantitative data should be collected for formative and summative purposes. Evaluation methodology must be feasible and congruent with educational objectives.

특별 고려 사항
Special considerations

• 혼합형 커리큘럼은 대면 세션을 포함하므로 기존 커리큘럼과 동일한 평가 옵션을 제공합니다.
• 완전 온라인 커리큘럼에서도 교수자는 LMS를 통해 업로드된 문서 및 멀티미디어 파일을 검토하고 온라인 토론에 대한 참여를 추적할 수 있습니다.
• 자기 주도형 모듈과 MOOC는 일반적으로 자동 채점이 필요하므로 평가 옵션이 가장 적습니다.
  • MOOC는 동료 채점도 제공하지만, 이는 타당성을 보장하고 학습자의 참여를 높이기 위해 신중하게 설계되어야 하며, 비슷한 배경을 가진 등록자를 짝지어 동료 평가의 품질을 교수자의 평가와 비교하여 보정하고 가중치를 부여하는 것이 유용할 수 있습니다.35
• Blended curricula offer the same assessment options as traditional curricula because they include face-to-face sessions.
• Even in fully online curricula, instructors can review uploaded documents and multimedia files through an LMS and track participation in online discussions.
• Self-paced modules and MOOCs have the fewest assessment options as both typically require automated grading.
  • MOOCs also offer peer grading, although this must be thoughtfully designed to ensure validity and enhance learner engagement; pairing enrollees of similar backgrounds and calibrating and weighting the quality of peer assessments against the instructor’s may be beneficial.35

온라인 형성 평가의 경우 모바일 장치를 사용하면 언제 어디서나 평가를 수행할 수 있습니다. 학습 대시보드는 학습자에게 자신의 응답이 다른 사람과 어떻게 비교되는지 실시간으로 보여줄 수 있습니다. 게임화 기능은 학습자의 노력과 집중력을 높여 학습 효과를 높일 수 있습니다.36,37 온라인 총괄 평가의 경우 시험 보안 및 무결성을 위한 안전장치가 필요한 경우가 많습니다. 
For online formative assessments, mobile devices can allow assessments to occur at any time and in any location. Learning dashboards can show learners how their responses compare to others in real time. Gamification features can help learners increase effort and focus to enhance learning.36,37 For online summative assessments, safeguards for exam security and integrity are often necessary.

온라인 커리큘럼의 평가에는 일반적으로 다음이 포함되어야 합니다.38 

• 사용성, 재사용 가능성, 지속 가능성, 학습자 경험, 테크놀로지에 대한 만족도 등 비전통적 요소를 평가
• 프로세스/구현에 대한 보다 강력한 평가

온라인 커리큘럼은 또한 신속한 평가 및 조정을 위해 두 가지 대안을 비교하는 "A/B 테스트"를 수행할 수 있는 기회를 제공합니다. 학습자가 커리큘럼에 참여하는 동안 데이터를 전자적으로 수집해야 하는 경우가 많기 때문에 비교 그룹(식별 및 접근이 어려울 수 있음)을 사용하거나 종단적 추적 관찰이 필요한 평가(학습자가 분산되어 있어 응답률이 낮을 수 있음)와 같은 특정 평가 설계가 어려울 수 있습니다.
Evaluation of online curricula should generally include

• a more robust evaluation of process/implementation,
• assessing nontraditional factors such as usability, reusability, sustainability, learner experience, and satisfaction with the technology.38 

Online curricula also offer the opportunity to conduct “A/B testing,” where two alternatives are compared with rapid evaluation and adjustment. Because data often must be collected electronically during learners’ participation in the curriculum, certain evaluation designs might be challenging, such as those using a comparison group (which might be difficult to identify and access) or those requiring longitudinal follow-up (where response rates might be low because learners are dispersed).

온라인 커리큘럼 평가 및 평가는 교육과 학습의 과학을 발전시킬 수 있는 새로운 기회를 제공합니다. 예를 들어, 대부분의 플랫폼은 학습자의 위치 및 커리큘럼 참여 시간과 같은 변수를 자동으로 추적합니다. 비교적 새로운 분야인 학습 분석은 온라인 학습 데이터를 사용하여 예측 모델을 만들고 학습자를 실시간으로 안내합니다. 많은 학습자의 평가를 자동으로 대조하여 코호트 전체와 시간 경과에 따른 성과를 추적할 수 있습니다. 위치 및 시간 정보와 빈번하고 반복적인 평가를 결합하여 생성된 "빅 데이터"39를 활용하면 학습이 발생하는 방식을 더욱 세분화할 수 있습니다.40,41 
Online curricular assessments and evaluations provide new opportunities to advance the science of teaching and learning. For example, most platforms automatically track variables such as the locations of learners and time spent engaging in the curriculum. The relatively new field of learning analytics uses data from online learning to create predictive models and guide learners in real time. Assessments can be automatically collated for large numbers of learners to track performance across cohorts and over time. Harnessing the “big data”39 generated by combining location and time information with frequent and repeated assessments has the potential to provide greater granularity for how learning occurs.40,41

유지 관리 및 개선
Maintenance and Enhancement

일반 원칙
General principles

완벽한 커리큘럼은 없습니다. 교육과정을 완전히 시행한 후에는 6단계의 모든 요소를 재검토하여 필요한 리소스와 지원이 확보되어 있는지 확인하고 교육과정을 지속적으로 갱신해야 합니다. 커리큘럼 콘텐츠와 디자인은 최신 상태로 유지되어야 하며 중요한 의료 요구사항에 맞춰 조정되어야 합니다. 리소스 제약을 고려하여 개정의 우선순위를 정하고 관리하는 프로세스를 수립해야 합니다. 
No curriculum is perfect. After full curriculum implementation, all elements of the Six Steps should be revisited to ensure that necessary resources and support remain secure and that the curriculum undergoes continuous renewal. Curricular content and design should remain up-to-date and aligned with important health care needs. One needs to establish processes for prioritizing and managing revisions, given resource constraints.

특별 고려 사항
Special considerations

온라인 커리큘럼에서는 커리큘럼 팀에 대한 재정적 지원을 유지하는 것 외에도 연간 LMS 사용료를 지불하고 지속적인 테크놀로지 지원을 위한 자금을 마련해야 하는 경우가 많습니다. 
In online curricula, in addition to maintaining financial support for the curricular team, it is often necessary to pay annual LMS fees and fund ongoing technical support.

많은 온라인 커리큘럼이 전통적인 학사 일정을 따르지 않으므로 커리큘럼 콘텐츠 및 방법의 수정은 시기, 콘텐츠 유형, 학습자의 기대치, 온라인 CD 팀의 가용성 및 예산에 따라 달라집니다. 콘텐츠와 교육 방법을 최신 상태로 유지하는 것은 이러한 변화를 구현하는 데 필요한 리소스와 균형을 이루어야 합니다. 
Because many online curricula do not conform to a traditional academic calendar, the revision of curricular content and methods will depend on timing, type of content, learner expectations, availability of the online CD team, and budget. Keeping content and educational methods on the cutting edge must be balanced with the resources required to implement such changes.

학술활동으로서의 온라인 커리큘럼
Online Curricula as Scholarship

일반 원칙
General principles

일부 교육기관에서는 학술활동에 대한 정의의 변화를 인정하고 있지만,39,42,43 대부분의 교육기관은 6단계(각 단계마다 학술활동 기회를 제공)를 진행함으로써 충족할 수 있는 Glassick의44 잘 알려진 기준을 지지합니다.45 

• 1단계와 2단계에서는 적절한 준비와 명확한 목표를, 
• 3단계에서는 이러한 목표를 명확히 하고 적절한 방법을(4단계와 5단계), 
• 6단계에서는 중요한 결과와 반성적인 비평을 도출합니다. 

대부분의 전통적인 커리큘럼이 진정한 학술활동이 되기에는 부족한 부분은 효과적인 프레젠테이션의 영역이며, 이 영역에서는 동료 검토를 위한 배포와 가용성이 필요합니다.
Although some institutions have recognized changing definitions of scholarship,39,42,43 most endorse Glassick’s44 well-accepted criteria, which can be satisfied by proceeding through the Six Steps (with each step offering opportunities for scholarship).45 

• Steps 1 and 2 ensure adequate preparation and clear goals,
• Step 3 articulates those goals and leads to appropriate methods (Steps 4 and 5), and
• Step 6 yields significant results and reflective critique.

Where most traditional curricula fall short of becoming true scholarship is in the realm of effective presentation, which requires dissemination and availability for peer review.

특별 고려사항
Special considerations

전파는 실제 커리큘럼이 소속 교육기관을 넘어 확산되거나 커리큘럼 관련 작업의 발표 또는 출판을 통해 발생할 수 있습니다.4 MedEdPORTAL과 같은 일부 커리큘럼 저장소에서는 자료를 온라인에 게시하기 전에 동료 검토를 요구합니다. MOOC 또는 자기 주도형 모듈과 같은 온라인 커리큘럼은 많은 청중에게 제공되므로 정의상 "배포"된 것으로 간주되며, 이러한 커리큘럼에 대한 동료 검토는 평가를 통해 이루어질 수 있습니다. 온라인 커리큘럼의 평가를 공유하면 대상 그룹의 지식 또는 스킬에 대한 지역, 국가 또는 국제적인 정보를 제공할 수도 있습니다.46,47 
Dissemination can occur by the spread of the actual curriculum beyond one’s home institution or by presentation or publication of curriculum-related work.4 Some curriculum repositories, such as MedEdPORTAL, require peer review before materials are placed online. Online curricula such as MOOCs or self-paced modules are by definition “disseminated” as they are made available to large audiences; peer review of these curricula can occur through their evaluations. Sharing evaluations from online curricula can also provide regional, national, or international information on the knowledge or skills of targeted groups.46,47

혼합형 및 교수자 주도형 커리큘럼에는 이미지, 사례 연구, 도표 또는 다른 환경에서 공유하고 재사용할 수 있는 평가와 같은 구성 요소인 재사용 가능한 학습 객체(RLO)가 포함되어 있는 경우가 많습니다. 엄격한 개발 및 평가를 거친 RLO는 학술활동으로 인정받을 수 있습니다. 
Blended and instructor-led curricula often contain reusable learning objects (RLOs)—components such as images, case studies, diagrams, or assessments that can be shared and reused for other settings. RLOs that have undergone rigorous development and evaluation can qualify as scholarship.

보건 전문직 교수진도 온라인 학습과 관련된 교육 학술활동에 참여할 수 있는 기회를 모색할 수 있습니다. 체계적인 CD 프로세스를 적용하여 생성된 정보는 학습을 표준화 및 개별화하는 방법에 대한 이해를 발전시킵니다. 커리큘럼과 커리큘럼 구성 요소를 공유하면 노력의 중복을 줄이고, 각 작업의 영향을 받는 학습자의 수를 확대하며, 전문성 향상을 촉진할 수 있습니다. 
Health professions faculty can also pursue opportunities to engage in educational scholarship around online learning. Information generated from applying a methodical CD process advances our understanding of how to both standardize and individualize learning. Sharing curricula and curricular components will reduce duplication of effort, expand the number of learners influenced by each work, and promote professional advancement.

결론적 관찰
Concluding Observations

의료 교육에 대한 온라인 접근 방식은 중복되는 CD 노력을 줄이고, 커리큘럼의 질을 높이며, 많은 학습자의 성취도를 문서화할 수 있습니다. 이러한 접근 방식은 정도의 차이는 있지만 비동기적이고 자기 주도적일 수 있으며, 학습자와 교육자에게 더 개인화되고 시간 효율적일 수 있습니다. 비교적 많은 초기 리소스 투자가 필요할 수 있지만, 교육 및 평가의 이점, 지리적 및 제도적 경계를 넘어서는 도달 범위, 의료 결과에 영향을 미칠 수 있는 잠재력을 고려하면 이러한 노력을 정당화할 수 있습니다. 6단계 접근법을 온라인 CD의 특수한 요소에 대한 이해와 함께 적용하면 보다 효과적이고 학술적인 교육 프로그램 개발로 이어질 수 있습니다. 
Online approaches to health care education can reduce duplicative CD efforts, increase the quality of curricula, and document achievement by a large number of learners. They can be, to varying degrees, asynchronous and self-paced, and potentially more personalized and time-efficient for learners and educators. Although they may require a relatively large upfront investment of resources, their instructional and assessment advantages, their reach across geographical and institutional boundaries, and their potential to affect health care outcomes can justify the effort. Applying the Six-Step Approach with an understanding of factors particular to online CD can lead to more effective and scholarly educational program development.

교수자 준비에 테크놀로지 통합을 위한 PICRAT 모델(Contemporary Issues in Technology and Teacher Education, 2020)
The PICRAT Model for Technology Integration in Teacher Preparation
Royce Kimmons, Charles R. Graham, & Richard E. West

교육 테크놀로지 통합을 위해서는 교사 교육자가 다음과 씨름해야 합니다. 

• (a) 끊임없이 변화하고 정치적으로 영향을 받는 전문적 요구 사항,
• (b) 지속적으로 진화하는 교육 테크놀로지 리소스,
• (c) 콘텐츠 분야와 맥락에 따른 다양한 요구 사항

교사는 학생들이 미래에 교육용 테크놀로지를 어떻게 사용할지 또는 교직 생활 동안 테크놀로지가 어떻게 변화할지 예측할 수 없습니다. 따라서 학생 교사가 의미 있고 효과적이며 지속 가능한 방식으로 테크놀로지 통합을 실천하도록 교육하는 것은 어려운 과제입니다. 우리는 이러한 요구에 대응하기 위한 이론적 모델인 PICRAT을 제안합니다. 
Teaching technology integration requires teacher educators to grapple with

• (a) constantly changing, politically impacted professional requirements,
• (b) continuously evolving educational technology resources, and
• (c) varying needs across content disciplines and contexts.

Teacher educators cannot foresee how their students may be expected to use educational technologies in the future or how technologies will change during their careers. Therefore, training student teachers to practice technology integration in meaningful, effective, and sustainable ways is a daunting challenge. We propose PICRAT, a theoretical model for responding to this need.

현재 학생 교사가 효과적인 테크놀로지 통합을 개념화하는 데 도움이 되는 다양한 이론적 모델이 사용되고 있는데, 여기에는 다음 등이 있다.

• 테크놀로지, 페다고지 및 콘텐츠 지식(TPACK; Koehler & Mishra, 2009),
• 대체-증강-수정-재정의(SAMR; Puentedura, 2003),
• 테크놀로지 통합 계획(TIP; Roblyer & Doering, 2013),
• 테크놀로지 통합 매트릭스(TIM; Harmes, Welsh, & Winkelman, 2016),
• 테크놀로지 수용 모델(TAM; Venkatesh, Morris, Davis, & Davis, 2003),
• 테크놀로지 통합 수준(LoTi; Moersch, 1995),
• 대체 - 증폭 - 변환(RAT; Hughes, Thomas, & Scharber, 2006) 

Currently, various theoretical models are used to help student teachers conceptualize effective technology integration, including

• Technology, Pedagogy, and Content Knowledge (TPACK; Koehler & Mishra, 2009),
• Substitution – Augmentation – Modification – Redefinition (SAMR; Puentedura, 2003),
• Technology Integration Planning (TIP; Roblyer & Doering, 2013),
• Technology Integration Matrix (TIM; Harmes, Welsh, & Winkelman, 2016),
• Technology Acceptance Model (TAM; Venkatesh, Morris, Davis, & Davis, 2003),
• Levels of Technology Integration (LoTi; Moersch, 1995), and
• Replacement – Amplification – Transformation (RAT; Hughes, Thomas, & Scharber, 2006).

이러한 모델은 교육 테크놀로지 연구를 위한 방법론적 접근을 정당화하기 위해 문헌 전반에 걸쳐 일반적으로 참조되지만, 교육 테크놀로지 연구를 개선하거나 교육 테크놀로지 통합을 위한 효과성, 정확성 또는 가치를 측정하기 위한 이론적 비판과 최소한의 평가 작업은 거의 찾아볼 수 없습니다(Kimmons, 2015; Kimmons & Hall, 2017). 이러한 모델을 비판적으로 평가하고, 분류 및 비교하고, 지속적인 개발을 지원하고, 모델을 채택하기 위한 가정과 프로세스를 이해하거나, 이 영역에서 무엇이 좋은 이론을 구성하는지 탐구하는 데 노력을 기울인 연구자는 상대적으로 적습니다(Archambault & Barnett, 2010; Archambault & Crippen, 2009; Brantley-Dias & Ertmer, 2013; Graham, 2011; Graham, Henrie, & Gibbons, 2014; Kimmons, 2015; Kimmons & Hall, 2016a, 2016b, 2017). 
Though these models are commonly referenced throughout the literature to justify methodological approaches for studying educational technology, little theoretical criticism and minimal evaluative work can be found to gauge their efficacy, accuracy, or value, either for improving educational technology research or for teaching technology integration (Kimmons, 2015; Kimmons & Hall, 2017). Relatively few researchers have devoted effort to critically evaluating these models, categorizing and comparing them, supporting their ongoing development, understanding assumptions and processes for adopting them, or exploring what constitutes good theory in this realm (Archambault & Barnett, 2010; Archambault & Crippen, 2009; Brantley-Dias & Ertmer, 2013; Graham, 2011; Graham, Henrie, & Gibbons, 2014; Kimmons, 2015; Kimmons & Hall, 2016a, 2016b, 2017).

즉, 교육 테크놀로지자들은 경쟁 모델을 비판적으로 평가하고, 그 사용법을 이해하고, 시간이 지남에 따라 발전하는 모델을 탐구하지 않고 쿤(1996)이 "정상적인 과학"이라고 간주한 것에 크게 관여하는 것으로 보입니다. 실용적인 테크놀로지 통합을 형성하는 이론과 현실에 대한 비판적 담론에 참여하지 않는 것은 실무에 심각한 영향을 미치며, Selwyn(2010)이 "지난 25년간의 교육 테크놀로지 장학의 대부분을 관통하는 수사학과 현실 사이의 명백한 불균형"(66쪽)으로 이어져 교육 테크놀로지에 대한 약속을 상대적으로 실현하지 못하는 결과를 초래합니다. 
In other words, educational technologists seem to be heavily involved in what Kuhn (1996) considered “normal science” without critically evaluating competing models, understanding their use, and exploring their development over time. Reticence to engage in critical discourse about theory and realities that shape practical technology integration has serious implications for practice, leading to what Selwyn (2010) described as “an obvious disparity between rhetoric and reality [that] runs throughout much of the past 25 years of educational technology scholarship” (p. 66), leaving promises of educational technologies relatively unrealized.

현존하는 모델과 실천의 이론적 토대에 대한 비판적 논의가 필요하기 때문에 우리는 다음 등의 개념적 틀을 제시합니다. 

• (a) 이론적 모델이 무엇이며 교육 테크놀로지 통합에 왜 필요한지,
• (b) 시간이 지남에 따라 어떻게 채택되고 개발되는지,
• (c) 무엇이 좋은지 나쁜지,
• (d) 기존 테크놀로지 통합 모델이 교사 준비에 어려움을 일으키는지

이러한 배경을 바탕으로 학생 교사가 테크놀로지 통합 소양을 개발하는 데 도움이 될 수 있는 새로운 이론적 모델, 즉 휴즈 외(2006)의 이전 연구를 기반으로 한 PICRAT을 제안합니다.
Needing a critical discussion of extant models and theoretical underpinnings of practice, we provide a conceptual framework, including

• (a) what theoretical models are and why we need them for teaching technology integration,
• (b) how they are adopted and developed over time,
• (c) what makes them good or bad, and
• (d) how existing models of technology integration cause struggle in teacher preparation.

With this backdrop, we propose a new theoretical model, PICRAT, built on the previous work of Hughes et al. (2006), which can guide student teachers in developing technology integration literacies.

이론적 모델
Theoretical Models

저자들은 종종 모델, 이론, 패러다임, 프레임워크와 같은 용어를 혼용하여 사용합니다(예: 파라데이그마는 그리스어로 패턴, 삽화 또는 모델을 의미함; 참조: Dubin, 1978; Graham et al., 2014; Kimmons & Hall, 2016a; Kimmons & Johnstun, 2019; Whetten, 1989). 그러나 테크놀로지 통합 모델에 대해서는 이론적 모델이라는 용어를 사용하는데, 이는 우리가 논의하는 구성의 개념적, 조직적, 반영적 특성을 함축하고 있기 때문입니다. 
Authors frequently use terms such as model, theory, paradigm, and framework interchangeably (e.g., paradeigma is Greek for pattern, illustration, or model; cf. Dubin, 1978; Graham et al., 2014; Kimmons & Hall, 2016a; Kimmons & Johnstun, 2019; Whetten, 1989). However, we rely on the term theoretical model for technology integration models, as it encapsulates the conceptual, organizational, and reflective nature of constructs we discuss.

모델 목적 및 구성 요소
Model Purposes and Components

이론적 모델은 현상을 개념적으로 표현하여 개인이 개별적으로나 상호 작용적으로 자신의 경험을 조직하고 이해할 수 있도록 합니다. 하드 과학과 사회 과학의 모든 학문은 이론적 모델을 활용하며, 전문가들은 본질적으로 질서정연하지 않고 복잡하며 지저분한 자연 및 사회 세계를 이해하기 위해 이러한 모델을 사용합니다. 이론 개발에 관한 Dubin(1978)의 방대한 연구를 요약한 Whetten(1989)은 모든 이론적 모델의 네 가지 필수 요소인 '무엇을, 어떻게, 왜, 누가/어디서/언제'를 설명했습니다.
A theoretical model conceptually represents phenomena, allowing individuals to organize and understand their experiences, both individually and interactively. All disciplines in hard and social sciences utilize theoretical models, and professionals use these models to make sense of natural and social worlds that are inherently unordered, complex, and messy. Summarizing Dubin’s (1978) substantial work on theory development, Whetten (1989) explained four essential elements for all theoretical models: the what, how, why, and who/where/when.

첫째, 모델은 연구된 현상의 내용을 설명하는 충분한 변수, 구조, 개념 및 세부 사항을 포함하여, 이론을 포괄적이면서도 충분히 제한하여 간결성을 유지하고 지나치게 광범위하지 않도록 해야 합니다. 
First, models must include sufficient variables, constructs, concepts, and details explaining the what of studied phenomena to make the theories comprehensive but sufficiently limited to allow for parsimony and to prevent overreaching.

둘째, 모델은 구성 요소들이 어떻게 상호 연관되어 있는지를 다루어야 합니다. 즉, 이론가들이 새로운 방식으로 세상을 이해할 수 있도록 하는 모델의 범주화 또는 구조입니다. 
Second, models must address how components are interrelated: the categorization or structure of the model allowing theorists to make sense of the world in novel ways.

셋째, 모델은 구성 요소가 제안된 형태로 관련되어 있는 이유를 뒷받침하는 논리와 근거를 제공해야 합니다. 여기에는 일반적으로 모델의 가정이 명시적이든 암시적이든 남아 있으며, 모델의 논증력은 이론가가 모델이 합리적이라는 강력한 사례를 제시할 수 있는 능력에 달려 있습니다.
Third, models must provide logic and rationale to support why components are related in the proposed form. Herein the model’s assumptions generally linger (explicitly or implicitly); its argumentative strength relies on the theorist’s ability to make a strong case that it is reasonable.

넷째, 모델은 누가, 어디서, 언제 적용하는지를 나타내는 컨텍스트에 구속되어야 합니다. 모델은 모든 것에 대한 이론이 아니며, 모델을 특정 맥락(예: 미국 교사 교육)에 한정함으로써 이론가는 순수성을 높이고 비평가에 더 쉽게 대응할 수 있습니다(Dubin, 1978). 
Fourth, models must be bounded by a context representing the who, where, and when of its application. Models are not theories of everything; by bounding the model to a specific context (e.g., U.S. teacher education), theorists can increase purity and more readily respond to critics (Dubin, 1978).

테크놀로지 통합 모델의 등장
Emergence of Technology Integration Models

많은 교사 교육자들은 무정부적인 방식으로 또는 진영에 따라 테크놀로지 통합 모델을 채택합니다(Feyerabend, 1975; Kimmons, 2015; Kimmons & Hall, 2016a; Kimmons & Johnstun, 2019). 즉, 경쟁 모델에 대한 정당화나 비교 없이 자체 훈련을 통해 학습된 모델을 사용합니다. 문헌은 모델 비교나 선택의 근거 없이 도구가 만들어지고 연구가 구성되기 때문에 이러한 캠프를 반영합니다(참조: Kimmons, 2015b). 각 진영은 다른 진영을 인정하지도, 그들과의 관계를 인정하지도 않은 채 고유한 언어(TPACK, TIM, TAM, SAMR, LoTi 등)를 사용합니다. 
Many teacher educators adopt technology integration models in anarchic ways or according to camps (Feyerabend, 1975; Kimmons, 2015; Kimmons & Hall, 2016a; Kimmons & Johnstun, 2019). That is, they use models enculturated to them via their own training without justification or comparison of competing models. Literature reflects these camps, as instruments are built and studies are framed without comparison of models or rationales for choice (cf. Kimmons, 2015b). Each camp speaks its own language (TPACK, TIM, TAM, SAMR, LoTi, etc.), neither recognizing other camps nor acknowledging relationships to them.

이러한 단절이 이론적 비호환성에서 비롯된 것이든 기회주의에서 비롯된 것이든(Feyerabend, 1975; Kuhn, 1996 참조), 우리는 이론적 다원주의, 즉 "다양한 모델이 서로 다른 맥락에서 적절하고 가치 있다는 것"(Kimmons & Hall, 2016a, 54쪽; Kimmons & Johnstun, 2019)에 대해 조언합니다. 따라서 우리는 "하나의 이론적 관점이나 방법론을 우월한 것으로 확립하려는 패러다임 전쟁"을 수행할 필요성을 느끼지 않으며, 이를 "비생산적인 논쟁"으로 간주합니다(Burkhardt & Schoenfeld, 2003, 9쪽). 
Whether this disconnect results from theoretical incommensurability or opportunism (cf. Feyerabend, 1975; Kuhn, 1996), we advise theoretical pluralism: “that various models are appropriate and valuable in different contexts” (Kimmons & Hall, 2016a, p. 54; Kimmons & Johnstun, 2019). Thus, we do not perceive a need to conduct “paradigm wars that seek to establish a single theoretical perspective or methodology as superior,” considering such to be an “unproductive disputation” (Burkhardt & Schoenfeld, 2003, p. 9).

그러나 우리는 "어떤 [모델]도 그것이 정의하는 모든 문제를 해결하지 못하며", "어떤 두 [모델]도 동일한 문제를 모두 해결하지 못하기 때문에"(Kuhn, 1996, 110쪽) 이론적 모델의 어포던스, 한계, 모순, 다른 모델과의 관계에 대한 논의가 거의 없이 이 분야에서 이론적 모델을 지속적으로 채택하는 것은 심각한 우려 사항이라고 주장합니다. 이 분야에서 이론적 진영의 어려움은 다원주의가 아니라 진영 간의 상호 이해와 의미있는 상호 의사 소통의 부재와 경쟁 이론의 장단점을 평가하지 않고 교육자들이이를 진지하게 받아들이지 않는다는 것입니다 (Willingham, 2012). 여러 캠프 간에 대화하거나 다양한 캠프를 형성하는 기본 이론을 비판적으로 평가하지 않으려는 태도는 전문적인 사일로를 초래하고 우리 분야가 교육에서 테크놀로지 통합의 다면적인 복잡성과 효과적으로 씨름하는 데 방해가 됩니다.  
We contend, however, that the field’s ongoing adoption of theoretical models with little discussion of their affordances, limitations, contradictions, and relationships to others is of serious concern, because “no [model] ever solves all the problems it defines,” and “no two [models] leave all the same problems unsolved” (Kuhn, 1996, p. 110). The difficulty with theoretical camps in this field is not pluralism but absence of mutual understanding and meaningful cross-communication among camps, along with the failure to weigh the advantages and disadvantages of competing theories, revealing that educators do not take them seriously (Willingham, 2012). Unwillingness to dialogue across camps or to evaluate critically the underlying theories shaping diverse camps leads to professional siloing and prevents our field from effectively grappling with the multifaceted complexities of technology integration in teaching.

테크놀로지 통합 교육을 위한 좋은 모델
A Good Model for Teaching Technology Integration

쿤(2013)은 특정 이론적 모델을 우월한 것으로 식별하는 핵심 특성을 가진 채택 모델링 구조를 주장했습니다. 이러한 특성은 분야와 적용 맥락에 따라 다소 다르며, 이 분야의 이론적 모델은 하드 과학 분야의 모델과 다른 용도로 사용되며 교사 교육자는 교육 연구자나 테크놀로지자와는 다른 방식으로 모델을 활용합니다(Gibbons & Bunderson, 2005). 
Kuhn (2013) argued for a structure to model adoption, with core characteristics identifying certain theoretical models as superior. These characteristics vary somewhat by field and context of application; theoretical models in this field serve different purposes than do models in the hard sciences, and teacher educators will utilize models differently than will educational researchers or technologists (Gibbons & Bunderson, 2005).

Kimmons와 Hall(2016a)은 "[모델의] 가치 결정은 순전히 자의적인 것이 아니라 입양인의 신념, 필요, 욕구, 의도를 나타내는 구조화된 가치 체계에 기반한다"고 말했습니다(55페이지). 교사 교육 테크놀로지 통합 모델의 품질을 결정하기 위해 여섯 가지 기준이 제안되었습니다(표 1 참조).

• (a) 명확성,
• (b) 호환성,
• (c) 학생 중심,
• (d) 유익성,
• (e) 테크놀로지 역할
• (f) 범위

Kimmons and Hall (2016a) said, “Determinations of [a model’s] value are not purely arbitrary but are rather based in structured value systems representing the beliefs, needs, desires, and intents of adoptees” in a particular context (p. 55). Six criteria have been proposed for determining quality of teacher education technology integration models:

• (a) clarity,
• (b) compatibility,
• (c) student focus,
• (d) fruitfulness,
• (e) technology role, and
• (f) scope (see Table 1).

첫째, 테크놀로지 통합 모델은 혼란과 '숨겨진 복잡성'을 유발하는 설명과 구성을 피하고 "개념적으로나 실제로 이해하기 쉽고 간단해야" 합니다(Graham, 2011, 1955쪽; Kimmons, 2015). 이상적으로 모델은 교사에게 빠르게 설명할 수 있을 만큼 간결하고 실제 수업에 쉽게 적용할 수 있는 직관적이고 실용적이며 가치 평가가 쉬운 것이 좋습니다. 긴 설명이 필요하거나, 너무 많은 구성을 소개하거나, 교사의 일상적인 필요의 중심이 아닌 문제를 다루는 모델은 재평가하거나 단순화하거나 피해야 합니다. 
First, technology integration models should be “simple and easy to understand conceptually and in practice” (Kimmons & Hall, 2016a, pp. 61–62), eschewing explanations and constructs that invite confusion and “hidden complexity” (Graham, 2011, p. 1955; Kimmons, 2015). Ideally, a model is concise enough to be quickly explained to teachers and easily applied in their practice — intuitive, practical, and easy to value. Models requiring lengthy explanation, introducing too many constructs, or diving into issues not central to teachers’ everyday needs should be reevaluated, simplified, or avoided.

둘째, "기존의 교육 및 교육적 관행"과의 호환성(즉, 일치성)이 중요합니다. 교사는 제한된 개념적 오버헤드로 일상적인 교실 문제를 해결하는 데 도움이 되는 실용적인 모델을 원합니다. 우리는 이전의 경험적 연구에서 다음과 같은 결론을 내렸습니다:
Second, compatibility (i.e., alignment) with “existing educational and pedagogical practices” (Kimmons & Hall, 2016a, p. 55) is important. Teachers want practical models that help them address everyday classroom issues with limited conceptual overhead. We concluded the following in an earlier empirical study:

교사들은 자신의 성과와 학생의 성과에 대한 외부 요구 사항에 의해 주도되는 세상에 처해 있으며, 테크놀로지가 교육 시스템을 어떻게 변화시키고 있는지에 대한 광범위한 이론적 논의는 그다지 도움이 되지 않습니다..... 전형적인 교사는 교육 기관에서 규정하는 방식으로 자신이 돌보는 지역 학생들의 요구를 해결하는 데 가장 관심이 있는 것 같습니다. (Kimmons & Hall, 2016b, 23쪽) 
Teachers find themselves in a world driven by external requirements for their own performance and the performance of their students, and broad, theoretical discussions about how technology is transforming the educational system are not very helpful…. The typical teacher seems to be most concerned with addressing the needs of the local students under their care in the manner prescribed to them by their institutions. (Kimmons & Hall, 2016b, p. 23)

따라서 테크놀로지 통합 모델은 광범위한 개념(예: 사회 변화)이나 비현실적인 테크놀로지 요구 사항(예: 빈곤 지역사회의 교사 대 기기 비율 1:1)보다는 "식별 가능한 영향과 테크놀로지에 대한 현실적인 접근"(24쪽)에 중점을 두어야 합니다.
Thus, technology integration models should emphasize “discernible impact and realistic access to technologies” (p. 24) rather than broad concepts (e.g., social change) or unrealistic technological requirements (e.g., 1:1 teacher–device ratios in poor communities).

셋째, 유익한 모델은 "다양한 목적을 가진 다양한 사용자들 사이에서 채택을 장려하고 학문 분야와 전통적인 실천의 사일로를 가로지르는 가치 있는 결과를 산출"해야 합니다(Kimmons & Hall, 2016a, 58쪽). 우리는 교사를 가르치는 데 사용되는 테크놀로지 통합 모델이 연결과 사려 깊은 질문의 라인을 생성하고, 모델이 없었다면 발생하지 않았을 방식으로 여러 실천 영역으로 확장하고, 모델 구현의 초기 범위를 넘어서는 통찰력을 얻는 등 유익한 사고를 이끌어 내야한다고 의도합니다.
Third, fruitful models should encourage adoption among “a diversity of users for diverse purposes and yield valuable results crossing disciplines and traditional silos of practice” (Kimmons & Hall, 2016a, p. 58). We intend that technology integration models used to teach teachers should elicit fruitful thinking: yielding connections and thoughtful lines of questioning, expanding across multiple areas of practice in ways that would not have occurred without the model, and yielding insights beyond the initial scope of the model’s implementation.

넷째, 테크놀로지의 역할은 그 자체가 목적이 아니라 목적을 위한 수단으로 사용되어야 하며, 테크놀로지 중심적 사고를 피해야 합니다(Papert, 1987, 1990). 테크놀로지 통합 모델이라고도 하지만, 그 목표는 통합을 넘어 페다고지 또는 학습의 개선을 강조하는 것이어야 합니다. 이 모델은 테크놀로지 사용을 정당화할 수 있는 기반 없이 단순히 교육자가 테크놀로지를 사용하도록 안내해서는 안 됩니다. 이러한 수단 지향적 관점에서는 테크놀로지를 원하는 결과에 영향을 미치는 여러 요소 중 하나로 간주해야 합니다.
Fourth, technology’s role should serve as a means to an end, not an end in itself — avoiding technocentric thinking (Papert, 1987, 1990). Though referred to as technology integration models, their goal should go beyond integration to emphasize improved pedagogy or learning. The model should not merely guide educators in using technology without a foundation for justifying its use. This means-oriented view should place technology as one of many factors to influence desired outcomes.

다섯째, 테크놀로지 통합의 대상, 방법, 이유를 실무자에게 안내하기 위해서는 적절한 범위가 필요합니다. 모델은 기존 관행과 호환되는 동시에 교사가 테크놀로지 사용에 대해 더 나은 정보를 바탕으로 선택할 수 있도록 영향을 미쳐야 합니다. Burkhardt와 Schoenfeld(2003)는 다음과 같이 설명했습니다,
Fifth, suitable scope is necessary for guiding practitioners in the what, how, and why of technology integration. While being compatible with existing practices, models should also influence teachers in better-informed choices about technology use. As Burkhardt and Schoenfeld (2003) explained,

교육에 적용된 대부분의 이론은 상당히 광범위합니다. "공학적 힘"이라고 할 수 있는 것이 부족합니다... [또는] 설계를 안내하고, 좋은 아이디어를 취하고, 실제로 작동하도록 하는 데 도움이 되는 구체성이 부족합니다. ... 교육은 이론의 범위와 신뢰성에서 [다른 분야]에 비해 훨씬 뒤쳐져 있습니다. 이론의 힘을 과대평가함으로써 ... 피해가 발생했습니다. ... 국지적 또는 현상학적 이론은 ... 현재 설계에서 더 가치가 있습니다. (p. 10)
Most of the theories that have been applied to education are quite broad. They lack what might be called “engineering power” … [or] the specificity that helps to guide design, to take good ideas and make sure that they work in practice. … Education lags far behind [other fields] in the range and reliability of its theories. By overestimating theories’ strength … damage has been done. … Local or phenomenological theories … are currently more valuable in design. (p. 10)

이런 식으로 "범위와 호환성은 상충되는 것처럼 보일 수 있습니다 ... 호환성이 뛰어난 모델은 현상 유지를 지원하는 것으로 인식 될 수있는 반면, 글로벌 범위를 가진 모델은 광범위한 변화를 지원하는 것으로 인식 될 수 있습니다."(Kimmons & Hall, 2016a, p. 57). 그러나 좋은 모델은 포괄성과 간결함의 균형을 유지하며(Dubin, 1978), 교사를 실질적으로 안내하고 사회 및 교육 문제의 더 큰 배경에 대해 자신의 실천을 비판적으로 평가할 수 있도록 개념적으로 유도합니다. 이러한 모델은 "정확히 한 집단"(137쪽)에 집착하지 않으면서 모든 교육 전문가에게 광범위하게 적용될 수 있도록 노력해야 합니다. 우리의 맥락에서 모델의 범위는 학생 교사에 초점을 맞춰야 하며, 현직 교사와 다른 교사에게도 적용될 수 있어야 합니다.
In this way “scope and compatibility may seem at odds … models that excel in compatibility may be perceived as supporting the status quo, while models with global scope may be perceived as supporting sweeping change” (Kimmons & Hall, 2016a, p. 57). However, a good model balances comprehensiveness and parsimony (Dubin, 1978), both guiding teachers practically and prompting them conceptually in critically evaluating their practice against a larger backdrop of social and educational problems. Any such model should seek to apply to all education professionals broadly while fixating on a “population of exactly one” (p. 137). In our context, a model’s scope should focus squarely on student teachers, with possible applicability to practicing teachers and others as well.

마지막으로, 학생 중심은 테크놀로지 통합 모델에 필수적입니다. 윌링햄(2012)이 설명했듯이 "교육 시스템의 변화가 궁극적으로 학생 사고의 변화로 이어지지 않는다면 무의미하다"(155쪽)고 할 수 있습니다. 테크놀로지 통합을 둘러싼 문헌에서는 테크놀로지-페다고지 관계나 수업 개선으로서의 비디오 등 교사 또는 활동 중심의 분석에 치우쳐 학생을 무시하는 경우가 너무 많습니다. "일부 모델은 학생의 결과를 암시할 수 있지만, 테크놀로지 통합 과정에서 이러한 결과를 ... [우선적으로] 제공하지 않을 수 있습니다."(Kimmons & Hall, 2016a, 61쪽) 이는 교사에게 학생을 고려하는 것이 가장 중요하지 않다는 신호를 줄 수 있습니다.
Finally, student focus is vital for a technology integration model. As Willingham (2012) explained, “changes in the educational system are irrelevant if they don’t ultimately lead to changes in student thought” (p. 155). Too often the literature surrounding technology integration ignores students in favor of teacher- or activity-centered analyses of practice: perhaps the technology–pedagogy relationship or video as lesson enhancement. “Though some models may allude to student outcomes, they may not give these outcomes … [primacy] in the technology integration process” (Kimmons & Hall, 2016a, p. 61), which may signal to teachers that student considerations are not of primary importance.

기존 테크놀로지 통합 모델의 약점
Weaknesses of Existing Technology Integration Models

가장 널리 사용되는 테크놀로지 통합 모델에는 각각 장단점이 있습니다. 현장에 더 적합한 모델의 필요성을 정당화하기 위해 이 섹션에서는 학생 교사를 위한 테크놀로지 통합을 지도하는 맥락에서 기존 7가지 모델(LoTi, RAT, SAMR, TAM, TIM, TIP 및 TPACK)에 내재된 주요 제한 사항 또는 어려움을 요약합니다. 이 간략한 요약만으로는 각 모델의 장점을 모두 설명할 수 없습니다. 자세한 내용은 Kimmons and Hall(2016a)을 포함하여 이전에 참조한 출판물에서 얻을 수 있습니다. 
Each of the most popular technology integration models has strengths and weaknesses. To justify the need for a model better suited for the field, we summarize in this section the major limitations or difficulties inherent to seven existing models — LoTi, RAT, SAMR, TAM, TIM, TIP, and TPACK — in the context of guiding technology integration for student teachers. This brief summary will not do justice to the benefits of each of these models. Additional detail may be obtained from the previously referenced publications, including Kimmons and Hall (2016a).

우리는 모델에 대한 근거 없는 주장을 제공하거나 모델의 어포던스를 무시했다는 비판을 받을 수도 있지만, 단지 이러한 각 모델이 교사 교육에 한계가 있을 수 있는 영역임을 제안하기 위해 선택했습니다. 이러한 영역 중 일부는 선행 문헌에서 살펴본 것이지만, 다른 영역은 테크놀로지 통합 분야에서 교사 교육자로서의 경험에서 도출한 것으로 표 2에 간략히 요약되어 있습니다. 또한 이러한 비평은 다른 교육 관련 맥락(예: 교육 행정 또는 교육 설계)에는 적용되지 않을 수 있으며 교사 교육에 전적으로 초점을 맞추고 있습니다. 다음 섹션에 나열된 각 주장에 대해 확실한 논거나 증거를 제시하지는 않지만(그렇게 하려면 여러 번의 연구와 책 분량으로 다루어야 합니다), 이러한 불만을 표출하는 것은 이 전문적인 영역의 격차를 해소하고 진행하기 위해 필요합니다. 요약하자면, 우리의 목표는 열거된 각각의 어려움이 논란의 여지가 없는 사실이라고 누구에게나 설득하는 것이 아니라, 단지 우리 자신의 추론과 경험에 대한 투명성을 제공하는 것입니다. 
We may be critiqued for providing strawman arguments against models or ignoring their affordances, but we have chosen merely to suggest that these might be areas where each of these models may have limitations for teacher education. Several of these areas have been explored in prior literature, whereas others are drawn from our own experiences as teacher educators in the technology integration space, briefly summarized in Table 2. Additionally, these critiques may not apply in other education-related contexts (e.g., educational administration or instructional design) and are squarely focused on teacher education. Even though we do not provide ironclad arguments or evidence for each claim listed in the subsequent section (doing so would require multiple studies and book-length treatment), voicing these frustrations is necessary for proceeding and for articulating a gap in this professional space. In sum, our goal is not to convince anyone that each enumerated difficulty is incontrovertibly true but merely to provide transparency about our own reasoning and experiences.

명확성. 많은 테크놀로지 통합 모델은 지나치게 이론적이거나, 기만적이거나, 직관적이지 않거나, 혼란스럽기 때문에 교사에게 불분명합니다. 예를 들어, SAMR, TIM, TPACK은 다양한 통합 수준(분류)을 제공하지만 이를 명확하게 정의하거나 다른 수준과 구분하지 않을 수 있습니다. 따라서 학생 교사는 이를 이해하기 어렵거나 부정확하거나 쓸모없는 방식으로 인위적으로 관행을 분류할 수 있습니다. 대부분의 모델에는 교사가 이해하기 어려울 수 있는 특정 개념(예: TPACK의 과녁 영역, TIP의 상대적 우위, SAMR의 대체 대 증강, TIM 및 RAT의 변환)이 포함되어 있어 복잡한 문제를 피상적으로 이해하거나 상대적으로 얕은 테크놀로지 사용에 대한 정교하지 못한 근거를 제시하게 됩니다.
Clarity. Many technology integration models are unclear for teachers, being overly theoretical, deceptive, unintuitive, or confusing. For instance, SAMR, TIM, and TPACK provide a variety of levels (classifications) of integration but may not clearly define them or distinguish them from other levels. Student teachers, thus, may have difficulty understanding them or may artificially classify practices in inaccurate or useless ways. Most models include specific concepts that may be difficult for teachers to comprehend (e.g., the bullseye area in TPACK, relative advantage in TIP, substitution vs. augmentation in SAMR, or transformation in TIM and RAT), leading to superficial understanding of complex issues or to unsophisticated rationales for relatively shallow technology use.

테크놀로지 통합의 맥락적 복잡성을 인식한 미슈라와 쾰러(2007)는 모든 통합 사례는 "사악한 문제"라고 주장했습니다. 이러한 특성화는 정확할 수 있지만, 교사는 이러한 복잡성을 명확하고 직관적으로 파악할 수 있도록 안내하는 모델이 필요합니다.
Recognizing the contextual complexities of technology integration, Mishra and Koehler (2007) argued that every instance of integration is a “wicked problem.” Although this characterization may be accurate, teachers need models to guide them in grappling clearly and intuitively with such complexities.

호환성. 초중고 교사에게 적합하지 않은 것으로 간주되는 모델은 비실용적이거나 교사의 일상적인 필요의 중심이 아닌 구성을 강조합니다. 예를 들어, TAM은 채택에 영향을 미치는 사용자 인식에만 초점을 맞추고 수업 계획 개발, 학생 학습 안내 또는 교실 행동 관리에는 거의 적용되지 않습니다. 교육자를 위해 개발된 모델조차도 교사의 요구와 맞지 않는 활동(예: LoTi의 학생 활동)에 초점을 맞추거나 너무 이론적이어서 교사 실무에 직접 적용하기 어려울 수 있습니다(예: TPACK의 테크놀로지 콘텐츠 지식).
Compatibility. Models we consider incompatible for K–12 teachers emphasize constructs that are impractical or not central to a teacher’s daily needs. TAM, for instance, focuses entirely on user perceptions influencing adoption, with little application for developing lesson plans, guiding student learning, or managing classroom behaviors. Even models developed for educators may focus on activities incompatible with teacher needs (e.g., student activism in LoTi) or be too theoretical to apply directly to teacher practice (e.g., technological content knowledge in TPACK).

결실. 결실이 부족한 모델은 교사로 하여금 의미 있는 성찰을 이끌어내지 못하고 오히려 의미 없는 실천 평가를 내릴 수 있습니다. LoTi, SAMR 및 TIM과 같이 여러 수준의 통합이 있는 모델에서는 각 수준에서 실습을 분류하는 목적이 필요하며, 교사는 실습을 증강 대 수정(SAMR) 또는 인식 대 탐구(LoTi)로 분류하는 것이 왜 의미 있는지를 이해해야 합니다. SAMR은 4단계, LoTi는 6단계, TIM은 두 축(5×5)에 걸쳐 25단계의 통합이 있습니다. 교사의 경우, 특히 비계층적일 경우 가능성이 너무 많으면 자신의 상황에 맞는 목표가 자신의 실제를 빠르게 반영하고 필요에 따라 개선하는 데 도움이 되는 것이라면 모델을 혼란스럽고 번거롭게 만들 수 있습니다.
Fruitfulness. Models that lack fruitfulness do not lead teachers to meaningful reflection, but rather yield unmeaningful evaluations of practice. Models with multiple levels of integration, such as LoTi, SAMR, and TIM, need a purpose for classifying practice at each level; teachers must understand why classifying practice as augmentation versus modification (SAMR) or as awareness versus exploration (LoTi) is meaningful. SAMR has four levels of integration, LoTi has six, and TIM has 25 across two axes (5×5). For teachers, too many possibilities, particularly if nonhierarchical, can make a model confusing and cumbersome if the goal in their context is to help them quickly reflect on their practice and improve as needed. 

테크놀로지 역할. 일부 모델은 교육 결과의 수단으로서가 아니라 목표로서의 테크놀로지 사용에 초점을 맞추는 테크놀로지 중심적입니다. 예를 들어, TAM은 특히 교수 및 학습 개선이 아닌 테크놀로지 채택에만 초점을 맞춥니다. 다른 모델은 실천 개선에 초점을 맞출 수 있지만 효과적인 교수법이 등장할 수 있는 공간을 만들기보다는 테크놀로지를 실천 개선으로 보는 테크놀로지 결정론적 관점을 취합니다.
Technology role. Some models are technocentric: focused on technology use as the goal rather than as a means to an educational result. TAM, for instance, particularly focuses only on technology adoption, not on improving teaching and learning. Other models may focus on improving practice but be largely technodeterministic in their view of technology as improving practice rather than creating a space for effective pedagogies to emerge.

범위. 범위가 좋지 않은 모델은 포괄성과 간결성 사이에서 효과적으로 균형을 이루지 못하며, 너무 지시적이거나 너무 광범위하여 의미 있는 적용이 어렵습니다. 예를 들어, TIP은 지나치게 지시적이어서 TPACK 기반 수업 계획 작성에 대한 교수 설계 접근 방식을 모방하지만 너무 좁게 초점을 맞추기 때문에 이를 넘어서지 못합니다. 이와는 대조적으로, 훨씬 더 광범위한 TPACK은 교사에게 구성 요소를 동기화하기 위한 개념적 프레임워크를 제공하지만 이를 실제로 적용하는 구체적인 지침은 제공하지 않습니다. 유용하려면 모델이 교사에게 쉽게 적용되지 않는 테크놀로지 통합의 측면을 무시하고 실습을 안내할 수 있는 충분한 포괄성을 제공해야 합니다.
Scope. Models with poor scope do not balance effectively between comprehensiveness and parsimony, being either too directive or too broad for meaningful application. TIP, for instance, is overly directive, simulating an instructional design approach to creating TPACK-based lesson plans but too narrowly focused to go beyond this. In contrast, the much broader TPACK provides teachers with a conceptual framework for synchronizing component parts but without concrete guidance on putting it into practice. To be useful, models should ignore aspects of technology integration not readily applicable for teachers, but provide sufficient comprehensiveness to guide practice.

학생 중심. 대부분의 테크놀로지 통합 모델은 학생에게 의미 있게 초점을 맞추지 않으며, 학생이 무엇을 하고 배우는지에 대한 명확성보다는 테크놀로지 채택 또는 교사-페다고지 목표에 초점을 맞추고 있습니다. 이러한 모델은 단순히 페다고지적 고려 사항과 함께 학생의 존재를 가정할 수 있지만, 실무자 모델의 중심에 학생을 고려하지 않으면 학생 중심의 실무자 요구와 일치하지 않게 됩니다.
Student focus. Most models of technology integration do not meaningfully focus on students, focusing on technology-adoption or teacher-pedagogy goals rather than clarity on what students do or learn. Models may merely assume student presence with pedagogical considerations, but failure to consider students at the center of practitioner models prevents alignment with student-focused practitioners’ needs.

이론적 모델 요약. 이러한 모델 중 다수는 처음에 더 넓은 대상을 위해 개발되었으며 예비 교사에게 소급 적용되었습니다. 다른 모델들은 실제 실행에 대한 충분한 지침을 제공하지 않고 개념적인 수준에서 교사의 교육적 실천을 위해 개발되었습니다. 많은 모델이 교육 전문가에게 도움이 되지만, 다음의 특징을 갖춘  교사 교육을 위한 이론적 모델이 필요합니다. 

• (a) 명확하고, 호환 가능하며, 유익하고,
• (b) 수단으로서 테크놀로지 사용을 강조하고,
• (c) 간결함과 포괄성의 균형을 맞추고,
• (d) 학생에 초점을 맞춘

Summary of theoretical models. Many of these models were initially developed for broader audiences and retroactively applied to preparing teachers. Others were developed for teacher pedagogical practices at a conceptual level without providing sufficient guidance on actual implementation. Although many models benefit education professionals, a theoretical model for teacher education is needed that

• (a) is clear, compatible, and fruitful;
• (b) emphasizes technology use as a means to an end;
• (c) balances parsimony and comprehensiveness; and
• (d) focuses on students. 

우리는 교육의 이론적 모델을 기회주의적으로 바라봅니다(à la Feyerabend, 1975). 모든 상황과 고려 사항에 대해 하나의 모델을 찾기보다는, 교사에게 구체적인 실천에 가장 유용한 모델을 제공해야 할 필요성을 인식하고 있습니다. 이러한 다른 모델도 제자리를 차지하고 있지만(예: TPACK은 코스 전반에 걸쳐 관리 수준에서 테크놀로지를 포함하는 방법을 개념화하는 데 유용함), 교사 교육을 위해 더 잘 조정된 '공학적 힘'이 필요합니다(Burkhardt & Schoenfeld, 2003, 10페이지).
We view theoretical models in education opportunistically (à la Feyerabend, 1975). Rather than seeking one model for all contexts and considerations, we recognize a need to provide teachers with a model that is most useful for their concrete practice. While these other models have a place (e.g., TPACK is great for conceptualizing how to embed technology at an administrative level across courses), something is needed with better-tuned “engineering power” for teacher education (Burkhardt & Schoenfeld, 2003, p. 10).

PICRAT 모델
The PICRAT Model

교사 테크놀로지 통합을 안내하는 이론적 모델인 PICRAT은 교사 교육자가 성찰을 장려하고, 규범적으로 실습을 안내하며, 학생 교사의 작업을 평가할 수 있도록 해줍니다. 어떤 이론적 모델이라도 특정 속성은 잘 설명하고 다른 속성은 소홀히 할 수 있지만, PICRAT은 학생 중심의 페다고지 중심 모델로 교사 교육의 특정 맥락에 효과적이며 테크놀로지 통합을 위해 가장 가치 있는 고려 사항을 안내하기 때문에 교사들이 이해하고 사용할 수 있습니다. 
As a theoretical model to guide teacher technology integration, PICRAT enables teacher educators to encourage reflection, prescriptively guide practice, and evaluate student teacher work. Any theoretical model will explain particular attributes well and neglect others, but PICRAT is a student-focused, pedagogy-driven model that can be effective for the specific context of teacher education —comprehensible and usable by teachers as it guides the most worthwhile considerations for technology integration.

저희는 시간 제약, 연수 제한, 교사의 교육에 대한 감성적 관점 등을 고려하여 교사가 교육에 테크놀로지를 사용할 때 가장 중요하게 고려하고 평가해야 할 두 가지 질문을 고려하면서 이 모델을 개발하기 시작했습니다.

• 학생에 초점을 맞춘 모델의 필요성을 강조하는 연구(Wentworth et al., 2009; Wentworth, Graham, & Tripp, 2008)에 근거하여 첫 번째 질문은 "학생들이 테크놀로지를 사용하여 무엇을 하고 있는가?"였습니다.
• 교육적 실천에 대한 교사의 성찰이 중요하다는 점을 인식하여 두 번째 질문은 "이러한 테크놀로지 사용이 교사의 페다고지에 어떤 영향을 미치는가?"였습니다. 

We began developing this model by considering the two most important questions a teacher should reflect on and evaluate when using technology in teaching, considering time constraints, training limitations, and their emic perspective on their own teaching.

• Based on research emphasizing the need for models to focus on students (Wentworth et al., 2009; Wentworth, Graham, & Tripp, 2008), our first question was, “What are students doing with the technology?”
• Recognizing the importance of teachers’ reflection on their pedagogical practices, our second question was, “How does this use of technology impact the teacher’s pedagogy?”

이러한 질문에 대한 교사들의 답변은 3단계 응답 메트릭으로 구성되며, 이를 PICRAT이라고 부릅니다. 

• PIC는 첫 번째 질문과 관련된 세 가지 옵션(수동적, 상호작용적, 창의적)을 의미하고,
• RAT는 두 번째 질문에 대한 세 가지 옵션(대체, 증폭, 변형)을 나타냅니다.

Teachers’ answers to these questions on a three-level response metric comprise what we call PICRAT.

• PIC refers to the three options associated with the first question (passive, interactive, and creative); and
• RAT represents the three options for the second (replacement, amplification, and transformation).

PIC: 패시브, 인터랙티브, 크리에이티브
PIC: Passive, Interactive, Creative

첫째, 테크놀로지를 사용할 때 학생의 세 가지 기본 역할을 강조합니다: 

• 수동적 학습(콘텐츠를 수동적으로 수용), 
• 대화형 학습(콘텐츠 및/또는 다른 학습자와 상호 작용), 
• 창의적 학습(인공물 제작을 통한 지식 구성, Papert & Harel, 1991). 

전통적으로 교사는 학생들에게 수동적인 수용자로서 지식을 제공하는 테크놀로지를 통합해 왔습니다(Cuban, 1986). 강의 노트를 PowerPoint 슬라이드로 변환하거나 YouTube 동영상을 보여주는 것은 학생들이 능동적인 참여자로서 참여하기보다는 수동적으로 관찰하거나 듣는 교육에 테크놀로지를 사용합니다(그림 1).
First, we emphasize three basic student roles in using technology:

• passive learning (receiving content passively),
• interactive learning (interacting with content and/or other learners), and
• creative learning (constructing knowledge via the construction of artifacts; Papert & Harel, 1991).

Teachers have traditionally incorporated technologies offering students knowledge as passive recipients (Cuban, 1986). Converting lecture notes to PowerPoint slides or showing YouTube videos uses technology for instruction that students passively observe or listen to rather than engaging with as active participants (Figure 1).

듣기, 관찰, 읽기는 필수적이지만 충분한 학습 스킬은 아닙니다. 우리의 경험에 따르면 테크놀로지를 활용하여 수업을 지원하는 대부분의 교사는 수동적인 수준에서 작업을 시작하며, 이 첫 단계를 넘어설 수 있도록 명시적인 안내가 필요합니다.
Listening, observing, and reading are essential but not sufficient learning skills. Our experiences have shown that most teachers who begin utilizing technology to support instruction work from a passive level, and they must be explicitly guided to move beyond this first step.

학생들이 탐구, 실험, 협업 및 기타 능동적인 행동을 통해 상호 작용적으로 참여할 때만 훨씬 더 지속적이고 영향력 있는 학습이 이루어집니다(Kennewell, Tanner, Jones, & Beauchamp, 2008). 테크놀로지를 통한 학습에는 게임 플레이, 컴퓨터 적응 테스트, 시뮬레이션 조작, 디지털 플래시 카드를 사용한 기억력 지원 등이 포함될 수 있습니다. 이러한 상호작용적 수준의 학생 사용은 학생이 테크놀로지와 직접 상호 작용하고(또는 테크놀로지를 통해 다른 학습자와 상호 작용), 이러한 상호 작용을 통해 학습이 매개된다는 점에서 수동적 사용과는 근본적으로 다릅니다(그림 2).
Much lasting and impactful learning occurs only when students are interactively engaged through exploration, experimentation, collaboration, and other active behaviors (Kennewell, Tanner, Jones, & Beauchamp, 2008). Through technology this learning may involve playing games, taking computerized adaptive tests, manipulating simulations, or using digital flash cards to support recall. This interactive level of student use is fundamentally different from passive uses, as students are directly interacting with the technology (or with other learners through the technology), and their learning is mediated by that interaction (Figure 2).

이 수준에서는 테크놀로지의 특정 어포던스가 필요할 수 있지만 상호 작용의 잠재력만으로는 상호작용형 학습과 동일하지 않습니다. 상호 작용으로 인해 학습이 이루어져야 하며, 상호 작용 기능이 있다는 것만으로는 충분하지 않습니다. 교육용 게임은 최적의 솔루션을 보여주거나 추가 콘텐츠를 제공하기 전에 학생이 문제를 해결하도록 요구할 수 있으며, 이는 학생이 선택하고, 문제를 해결하고, 피드백에 응답함으로써 게임과 상호 작용하여 자신의 학습 측면을 능동적으로 이끌어야 함을 의미합니다. 하지만 상호작용 수준은 여전히 제한적입니다. 테크놀로지와의 반복적인 상호 작용에도 불구하고 학습은 학생보다는 테크놀로지에 의해 주로 구조화되어 이전 학습과의 전이가능성 및 의미 있는 연결이 제한될 수 있습니다. 
This level may require certain affordances of the technology, but potential for interaction is not the same as interactive learning. Learning must occur due to the interactivity; the existence of interactive features is not sufficient. An educational game might require students to solve a problem before showing the optimal solution or providing additional content, which means that students must interact with the game by making choices, solving problems, and responding to feedback, thereby actively directing aspects of their own learning. The interactive level is still limited, however. Despite recursive interaction with the technology, learning is largely structured by the technology rather than by the student, which may limit transferability and meaningful connections to previous learning.

창의적인 수준의 학생 테크놀로지 사용은 학생이 테크놀로지를 학습 숙달을 인스턴스화하는 학습 아티팩트를 구성하는 플랫폼으로 사용하도록 함으로써 이러한 한계를 우회합니다. 지속적이고 의미 있는 학습은 학생들이 문제를 해결하기 위해 실제 또는 디지털 아티팩트를 구성하여 개념과 스킬을 적용할 때 가장 잘 이루어지며(Papert & Harel, 1991), 이는 블룸의 개정된 최고 수준의 학습 분류법(Anderson, Krathwohl, & Bloom, 2001)과도 일치합니다.
The creative level of student technology use bypasses this limitation by having students use the technology as a platform to construct learning artifacts that instantiate learning mastery. Lasting, meaningful learning occurs best as students apply concepts and skills by constructing real-world or digital artifacts to solve problems (Papert & Harel, 1991), aligning with the highest level of Bloom’s revised taxonomy of learning (Anderson, Krathwohl, & Bloom, 2001).

테크놀로지 구축 플랫폼에는 저작 도구, 코딩, 비디오 편집, 사운드 믹싱 및 프레젠테이션 제작이 포함될 수 있으며, 이를 통해 학생들은 개발 중인 지식에 형태를 부여할 수 있습니다(그림 3). 

• 코딩의 기초를 배우는 과정에서 학생들은 아바타를 A 지점에서 B 지점으로 이동시키는 프로그램을 만들 수도 있고, 
• 다른 사람을 가르치는 동영상을 제작하여 생물학 원리를 배울 수도 있습니다. 

Technology construction platforms may include authoring tools, coding, video editing, sound mixing, and presentation creation, allowing students to give form to their developing knowledge (Figure 3).

• In learning the fundamentals of coding, students might create a program that moves an avatar from Point A to Point B, or
• they might learn biology principles by creating a video to teach others.

두 경우 모두 테크놀로지를 통해 학생이 제작 과정에서 다른 학습자 또는 추가 콘텐츠와 상호 작용할 수 있지만, 이러한 상호 작용 없이도 창의적인 활동을 할 수 있습니다. 창의적 학습 활동에서는 학생이 직접 아티팩트를 제작하면서 학습을 주도하고(자신의 개념적 구성에 형태를 부여), 테크놀로지를 적용하여 콘텐츠 이해를 구체화함으로써 문제를 반복적으로 해결할 수 있습니다.
In either instance the technology may also enable the student to interact with other learners or additional content during the creation process, but the activity can be creative without such interaction. In creative learning activities, students may directly drive the learning as they produce artifacts (giving form to their own conceptual constructs) and iteratively solve problems by applying the technology to refine their content understanding.

이 세 가지 수준에 걸쳐 유사한 테크놀로지를 사용하여 학생에게 다양한 학습 경험을 제공할 수 있습니다. 예를 들어, 교사는 PowerPoint와 같은 전자 슬라이드쇼 소프트웨어를 다음과 같이  사용할 수 있습니다. 

• 태양계에 대한 강의 노트를 제공하기 위하여 (P),
• 행성에 대한 게임을 제공하기 위하여 (I),
• 다른 학생들에게 태양 복사에 대해 가르치는 대화형 키오스크를 만들기 위한 플랫폼을 제공하기 위하여 (C)

Across these three levels, similar technologies might be used to provide different learning experiences for students. For instance, electronic slideshow software like PowerPoint might be used by a teacher alternatively

• (P) to provide lecture notes about the solar system,
• (I) to offer a game about planets, or
• (C) to provide a platform for creating an interactive kiosk to teach other students about solar radiation.

이 세 가지 애플리케이션에서는 동일한 테크놀로지를 사용하여 동일한 콘텐츠를 가르치지만, 테크놀로지를 통해 학생이 참여하는 활동은 다르며 학습 경험에서 학생의 역할에 따라 학습 내용, 기억에 남는 내용, 다른 상황에 적용할 수 있는 방법이 달라집니다.
Across these three applications, the same technology is used to teach the same content, but the activity engaging the student through the technology differs, and the student’s role in the learning experience influences what is learned, what is retained, and how it can be applied to other situations.

테크놀로지를 통한 학생의 행동에 초점을 맞추면 테크놀로지 중심적 사고(테크놀로지 자체에 교육적 가치를 부여하는 사고)를 피할 수 있으며, 교사는 학생이 제공된 도구를 어떻게 사용하는지 고려하게 됩니다. 세 가지 수준의 PIC 모두 학습 목표와 상황에 따라 적절할 수 있습니다.
This focus on student behaviors through the technology avoids technocentrist thinking (ascribing educational value to the technology itself) and forces teachers to consider how their students are using the tools provided to them. All three levels of PIC might be appropriate for different learning goals and contexts.

RAT: 대체, 증폭, 변형
RAT: Replacement, Amplification, Transformation

테크놀로지 사용이 교사 페다고지에 어떤 영향을 미치는지에 대한 질문을 해결하기 위해 우리는 두 번째 저자가 제안한 활성화, 강화, 변형 모델과 유사한 Hughes 등(2006)이 제안한 RAT 모델을 채택했습니다(Graham & Robison, 2007). RAT의 이론적 토대는 저자들의 초기 컨퍼런스 진행 이외의 문헌에서 탐구되지 않았지만 이전 연구에서 적용했습니다.

• (a) 교사가 기술 통합에 대해 어떻게 생각하는지에 대한 이해를 체계화하기 위해(Amador, Kimmons, Miller, Desjardins, & Hall, 2015; Kimmons, Miller, Amador, Desjardins, & Hall, 2015),
  
• (b) 평가 모델을 비교하기 위해 (Kimmons & Hall, 2017) 및
  
• (c) 특정 모델의 강점을 설명하기 위해(Kimmons, 2015; Kimmons & Hall, 2016b). 

To address the question of how technology use impacts teacher pedagogy, we adopted the RAT model proposed by Hughes et al. (2006), which has similarities to the enabling, enhancing, and transforming model proposed by our second author (Graham & Robison, 2007). Though the theoretical underpinnings of RAT have not been explored in the literature outside of the authors’ initial conference proceeding, we have applied it in previous studies

• (a) to organize understanding of how teachers think about technology integration (Amador, Kimmons, Miller, Desjardins, & Hall, 2015; Kimmons, Miller, Amador, Desjardins, & Hall, 2015),
• (b) to compare models for evaluation (Kimmons & Hall, 2017), and
• (c) to illustrate particular model strengths (Kimmons, 2015; Kimmons & Hall, 2016b).

PIC와 마찬가지로 약어 RAT는 목표 질문에 대한 세 가지 잠재적 반응을 나타냅니다: 어떤 교육적 맥락에서든 테크놀로지은 교사의 교육적 실천에 대체, 증폭, 변화의 세 가지 효과 중 하나를 가져올 수 있습니다.
Like PIC, the acronym RAT identifies three potential responses to a target question: In any educational context technology may have one of three effects on a teacher’s pedagogical practice: replacement, amplification, or transformation.

저희의 경험에 따르면 테크놀로지를 사용하여 교육을 지원하기 시작한 교사는 종이 플래시카드 대신 디지털 플래시카드를, 오버헤드 프로젝터 대신 전자 슬라이드를, 칠판 대신 대화형 화이트보드를 사용하는 등 이전 관행을 대체하는 데 테크놀로지를 사용하는 경향이 있습니다. 즉, 기존의 교육 관행을 기능적으로 개선하지 않고 새로운 매체로 옮기는 것입니다.
Our experience has shown that teachers who are beginning to use technology to support their teaching tend to use it to replace previous practice, such as digital flashcards for paper flashcards, electronic slides for an overhead projector, or an interactive whiteboard for a chalkboard. That is, they transfer an existing pedagogical practice into a newer medium with no functional improvement to their practice.

다른 모델에서도 비슷한 대체 방식을 찾을 수 있습니다: SAMR의 대체 또는 TIM의 입력. 이 수준의 사용은 반드시 나쁜 관행은 아니지만(예: 디지털 플래시카드가 종이 플래시카드 대신 잘 작동할 수 있음),

• (a) 관행을 개선하거나 지속적인 문제를 해결하기 위해 테크놀로지를 사용하고 있지 않으며
• (b) 테크놀로지를 사용함으로써 학생 학습 결과에 정당한 이점을 얻지 못함을 보여줍니다.

Similar replacements may be found in other models: substitution in SAMR or entry in TIM. This level of use is not necessarily poor practice (e.g., digital flashcards can work well in place of paper flashcards), but it demonstrates that

• (a) technology is not being used to improve practice or address persistent problems and
• (b) no justifiable advantage to student learning outcomes is achieved from using the technology.

교사와 관리자가 대체 수준에 머물러 있는 테크놀로지 이니셔티브를 지원하기 위해 자금을 요청하는 경우, 자금 지원 기관은 한정된 학교 자금과 교사 시간을 신테크놀로지에 투자할 이유가 거의 없다고 (옳은) 판단을 할 것입니다.
If teachers and administrators seek funding to support their technology initiatives for use that remains at the replacement level, funding agencies would (correctly) find little reason to invest limited school funds and teacher time into new technologies.

두 번째 수준인 증폭은 교사가 학습 관행이나 결과를 개선하기 위해 테크놀로지를 사용하는 것을 나타냅니다. 예를 들어, 학생들이 Google 문서 도구의 검토 기능을 사용하여 에세이에 대해 보다 효율적이고 집중적인 피드백을 제공하거나 디지털 프로브를 사용하여 LoggerPro에서 분석할 데이터를 수집함으로써 데이터 관리 및 조작을 개선하는 것이 있습니다.
The second level of RAT, amplification, represents teachers’ use of technology to improve learning practices or outcomes. Examples include using review features of Google Docs for students to provide each other more efficient and focused feedback on essays or using digital probes to collect data for analysis in LoggerPro, thereby improving data management and manipulation.

이러한 증폭 시나리오에서 테크놀로지를 사용하면 교사의 실습이 점진적으로 개선되지만 교육법이 근본적으로 바뀌지는 않습니다. 증폭은 기존 관행을 개선하거나 개선할 수 있지만, 교사가 자신의 관행을 근본적으로 재고하고 변화시킬 수 없다는 점에서 바람직하지 않은 한계에 도달할 수 있습니다.
Using technology in these amplification scenarios incrementally improves teachers’ practice but does not radically change their pedagogy. Amplification improves upon or refines existing practices, but it may reach undesirable limits insofar as it may not allow teachers to fundamentally rethink and transform their practices.

RAT의 혁신 수준은 테크놀로지를 사용하여 제정된 교육적 관행을 단순히 강화하는 것이 아니라 가능하게 합니다. 테크놀로지의 어포던스가 페다고지의 기회를 창출하고 페다고지와 얽혀 있기 때문에 테크놀로지를 제거하면 이러한 페다고지적 전략이 사라지게 됩니다(Kozma, 1991). 예를 들어,

• 학생들은 모바일 장치에서 GPS 검색을 통해 지역 사회에 대한 정보를 수집하거나,
• 온라인 시뮬레이션을 사용하여 지진 데이터를 분석하거나,
• Zoom과 같은 웹 화상 회의 서비스를 사용하여 원격 대학의 고생물학 전문가와 인터뷰할 수 있습니다.

The transformation level of RAT uses technology to enable, not merely strengthen, the pedagogical practices enacted. Taking away the technology would eliminate that pedagogical strategy, as technology’s affordances create the opportunity for the pedagogy and intertwines with it (Kozma, 1991). For example,

• students might gather information about their local communities through GPS searches on mobile devices,
• analyze seismographic data using an online simulation, or
• interview a paleontological expert at a remote university using a Web video conferencing service such as Zoom (https://zoom.us).

이러한 경험은 다른 저테크놀로지 수단으로는 불가능했을 것입니다.
None of these experiences could have occurred via alternative, lower tech means.

테크놀로지가 학습에 변혁적인 영향을 미칠 수 있는지에 대한 오랜 논쟁을 반영하기 때문에 PICRAT의 영향을 받는 모든 프로세스 중에서 변혁이 가장 문제가 될 수 있습니다(예: Clark, 1994). 다양한 저널 기사와 책에서 이 문제를 다루고 있지만, 이 글에서는 이 논쟁을 모두 다룰 수는 없습니다. 많은 연구자와 실무자들은 학습을 위한 테크놀로지의 혁신적 사용은 기존 관행의 기능적 개선 또는 효율성 향상만을 의미할 수 있다고 지적해 왔습니다. 그러나 효율성이 크게 향상되어 더 이상 효율성만으로는 새로운 관행과 기존 관행을 구분할 수 없게 되는 티핑 포인트가 존재합니다. 
Of all the processes affected by PICRAT, transformation is likely the most problematic, because it reflects a longstanding debate on whether technology can ever have a transformative effect on learning (e.g., Clark, 1994). Various journal articles and books have tackled this issue, and this article cannot do justice to the debate. Many researchers and practitioners have noted that transformative uses of technology for learning may only refer to functional improvements on existing practices or greater efficiency. A tipping point exists, however, where greater efficiency becomes so drastic that new practices can no longer be distinguished from old in terms of efficiencies alone.

백열전구의 탄생을 생각해 보십시오. 이전에는 가정 및 산업용 조명이 주로 촛불과 램프에 의해 제공되었기 때문에 해가 지면 경제 및 사회 활동이 결정적으로 변화했습니다. 백열전구가 촛불보다 더 효율적인 것은 틀림없지만, 효율성의 향상은 노동자의 노동 시간, 산업의 생산 잠재력, 대중의 사회적 상호 작용을 증가시키는 등 사회에 변혁적인 영향을 미치기에 충분할 정도로 획기적이었습니다. 기능적으로는 촛불과 동일하지만 전구의 효율성은 촛불을 켜고 살던 사람들의 삶에 혁신적인 영향을 미쳤습니다. 마찬가지로, 페다고지를 변화시키는 테크놀로지의 사용은 기능적 개선으로 인한 변화라고 하더라도 단순히 효율성을 개선하는 것과는 다르게 보아야 합니다. 
Consider the creation of the incandescent light bulb. Previously, domestic and industrial light had been provided primarily by candles and lamps, a high-cost source of low-level light, meaning that economic and social activities changed decisively when the sun set. Arguably the incandescent light bulb was a more efficient version of a candle, but the improvements in efficiency were sufficiently drastic to have a transformative effect on society: increasing the work day of laborers, the manufacturing potential of industry, and the social interaction of the public. Though functionally equivalent to the candle, the light bulb’s efficiencies had a transformative effect on candlelit lives. Similarly, uses of technology that transform pedagogy should be viewed differently than those that merely improve efficiencies, even if the transformation results from functional improvement.

교사들이 RAT에 따라 자신의 관행을 분류하는 데 도움을 주기 위해 이전 연구(Kimmons et al., 2015)에서 수정한 일련의 운영화된 평가 질문(그림 4)을 교사들에게 묻습니다. 이러한 질문을 사용하여 교사는 먼저 해당 사용이 단순한 대체인지 아니면 학생의 학습을 향상시키는지 판단해야 합니다. 만약 사용이 개선을 가져온다면, 더 낮은 테크놀로지 수단을 통해 달성할 수 있는지 판단하여 증폭이 될 수 있는지, 그렇지 않다면 변형이 될 수 있는지 판단해야 합니다. 
To help teachers classify their practices according to RAT, we ask them a series of operationalized evaluation questions (Figure 4), modified from a previous study (Kimmons et al., 2015). Using these questions, teachers must first determine if the use is merely replacement or if it improves student learning. If the use brings improvement, they must determine whether it could be accomplished via lower tech means, making it amplification; if it could not, then it would be transformation.

PICRAT 매트릭스
PICRAT Matrix

각 질문에 대한 세 가지 답변 수준을 사용하여 학생 교사가 모든 테크놀로지 통합 시나리오를 평가할 수 있는 9가지 가능성을 보여주는 매트릭스를 구성합니다. PIC를 Y축으로, RAT를 X축으로 사용하는 계층적 행렬(왼쪽 아래에서 오른쪽 위로 진행)을 PICRAT라고 지정하여 이론적 모델이 새롭고 유익한 행동에 대한 제안을 제공한다는 Kuhn(2013)의 요구를 충족하려고 시도합니다(그림 5). 이 매트릭스를 사용하면 교사는 모든 테크놀로지 사용에 대해 두 가지 기본 질문을 하고 각 수업 계획, 활동 또는 교육 실습을 9개의 셀 중 하나에 배치할 수 있습니다. 
With the three answer levels for each question, we construct a matrix showing nine possibilities for a student teacher to evaluate any technology integration scenario. Using PIC as the y-axis and RAT as the x-axis, the hierarchical matrix (progressing from bottom-left to top-right), which we designate as PICRAT, attempts to fulfill Kuhn’s (2013) call that theoretical models provide suggestions for new and fruitful actions (Figure 5). With this matrix, a teacher can ask the two guiding questions of any technology use and place each lesson plan, activity, or instructional practice into one of the nine cells.

경험상 테크놀로지 통합을 시작하는 대부분의 교사는 왼쪽 하단에 가까운 사용 방법(즉, 수동적 대체)을 채택하는 경향이 있습니다. 따라서 이 매트릭스를 사용하여 

• (a) 교사들이 자신과 다른 교사들이 접하는 관행을 비판적으로 고려하도록 장려하고, 
• (b) 오른쪽 상단에 더 가까운 관행(즉, 창의적 혁신)으로 나아갈 때 고려할 수 있는 경로를 제시합니다.

In our experience, most teachers beginning to integrate technology tend to adopt uses closer to the bottom left (i.e., passive replacement). Therefore, we use this matrix

• (a) to encourage them to critically consider their own and other practices they encounter and
• (b) to give them a suggested path for considering in moving their practices toward better practices closer to the top right (i.e., creative transformation).

이 매트릭스는 교사 또는 코스 수준이 아닌 활동 수준에서만 사용합니다. 개인 또는 학급의 전반적인 테크놀로지 사용을 분류하는 이전의 특정 모델(예: SAMR, TIM)과 달리, 이 모델은 교사가 효과적이기 위해서는 다양한 테크놀로지를 사용해야 하며, 사용에는 전체 매트릭스에 걸친 활동이 포함되어야 한다는 점을 인식하고 있습니다. 예를 들어, 그림 6은 교사가 특정 단원에 대해 잠재적인 모든 테크놀로지 활동을 매핑하는 방법의 예를 보여줍니다. 
We use this matrix only at the activity level, not at the teacher or course level. Unlike certain previous models that claim to classify an individual’s or a classroom’s overall technology use (e.g., SAMR, TIM), this model recognizes that teachers need to use a variety of technologies to be effective, and use should include activities that span the entire matrix. For instance, Figure 6 provides an example of how teachers might map all of their potential technology activities for a specific unit.

교사는 매트릭스를 사용하여 낮은 수준의 사용(예: 디지털 플래시카드 또는 전자 슬라이드쇼를 사용한 강의)을 어떻게 높은 수준의 사용(예: 문제 기반 학습 비디오 게임 또는 전문가와의 Skype 화상 채팅)으로 전환할 수 있는지 생각해 보도록 권장합니다. RAT는 교사의 사전 테크놀로지 관행에 따라 달라집니다: 이전의 교육 맥락과 관행이 RAT 평가 결과를 좌우합니다.
Using the matrix we would encourage the teacher to think about how lower level uses (e.g., digital flashcards or lecturing with an electronic slideshow) could be shifted to higher level uses (e.g., problem-based learning video games or Skype video chats with experts). RAT depends on the teacher’s pretechnology practices: Previous teaching context and practices dictate the results of RAT evaluation.

교사가 PICRAT 매핑에 참여할 때 자신의 수업 관행과 PICRAT 모델이 제안할 수 있는 새로운 전략 및 접근 방식에 대해 생각해 볼 것을 권장합니다. 또한 PICRAT 모델을 소개하고 교사에게 이러한 사고 방식을 안내하기 위해 애니메이션 교육용 비디오를 제작했습니다(비디오 1).
As our teachers engage in PICRAT mapping, we encourage reflecting on their practices and on new strategies and approaches the PICRAT model can suggest. We have also created an animated instructional video to introduce the PICRAT model and to orient teachers to this way of thinking (Video 1).

• 비디오 1. 교육에서 효과적인 테크놀로지 통합을 위한 PICRAT 
  Video 1. PICRAT for Effective Technology Integration in Teaching (https://youtu.be/bfvuG620Bto)

그림 7은 교사 교육 과정을 분석하기 위해 PICRAT을 어떻게 사용했는지 보여주는 예입니다. 공동 작업을 위해 Google 드로잉을 사용하여 동일한 테크놀로지 통합 과정의 각 섹션에 있는 학생들이 코스 순서에서 사용한 모든 테크놀로지 사용을 매핑하도록 했습니다. 그림에서 볼 수 있듯이 학생들은 특정 테크놀로지와 활동을 매핑하는 방법(예: PowerPoint를 PR, CR 또는 CA로 매핑)에 대해 서로 동의하지 않는 경우가 있지만, 이 연습을 통해 이러한 테크놀로지를 사용하여 수행되는 활동의 특성, 동일한 테크놀로지를 서로 다르게 사용하는 이유 등에 대해 귀중한 대화를 나눌 수 있습니다. 
Figure 7 provides an example of how we have used PICRAT to analyze our teacher education courses. Using Google Drawings (https://docs.google.com/drawings/) for collaboration, we have students in each section of the same technology integration course map all of the uses of technology that they have used in their course sequence. As is visible from the figure, students sometimes disagree with one another on how particular technologies and activities should be mapped (e.g., PowerPoint as PR, CR, or CA), but this exercise yields valuable conversations about the nature of activities being undertaken with these technologies, what makes different uses of the same technologies of differential value, and so forth.

마찬가지로, 학생이 테크놀로지를 접목한 수업 계획서 작성과 같은 테크놀로지 통합 과제를 완료하면, PICRAT을 평가용 루브릭으로 변환하여 기본 합격 수준에서는 낮은 수준의 사용(예: PR)을, 숙련자 또는 우수 수준에서는 높은 수준의 사용(예: CT)을 평가합니다. 이 접근 방식은 학생들이 테크놀로지가 다양한 방식으로 사용될 수 있으며 모든 수준이 유용할 수 있지만 일부는 다른 수준보다 더 우수하다는 것을 이해하는 데 도움이 됩니다. 
Similarly, when students complete technology integration assignments, such as creating a technology-infused lesson plan, we convert PICRAT to a rubric for evaluating their products, evaluating lower level uses (e.g., PR) at the basic passing level and higher level uses (e.g., CT) at proficient or distinguished levels. This approach helps students understand that technology can be used in a variety of ways and that, though all levels may be useful, some are better than others.

PICRAT의 장점
Benefits of PICRAT

이 논문에서는 PICRAT 모델의 이론적 근거를 제시했지만, 모델에 대한 연구가 완료될 때까지는 모델의 장점이나 단점을 단정적으로 주장할 수 없음을 인정합니다. 모델을 검증하는 연구는 일반적으로 초기 모델이 발표된 이후에 이루어집니다. 다음은 이 모델의 장점과 향후 연구에서 이 모델의 유용성을 조사해야 하는 이유입니다. 
In this paper, we have presented the theoretical rationale for the PICRAT model but acknowledge that we cannot definitively claim any of its benefits or negatives until research on the model is completed. Research validating a model typically comes (if it comes at all) after the initial model has been published. Following are the benefits of this model and reasons future research should investigate its utility.

PICRAT 모델은 완벽하거나 완전히 포괄적이지는 않지만, 표 3의 기준과 관련하여 교사 교육을 위한 경쟁 모델에 비해 몇 가지 장점이 있습니다. 우리 교육기관은 테크놀로지 통합 과정의 세 가지 과정을 모두 PICRAT를 중심으로 구성했으며, 학생들은 이 모델이 이해하기 쉽고 테크놀로지 통합 전략을 개념화하는 데 도움이 된다는 것을 알게 되었습니다. 일반적으로 수업 시간 5분 정도에 안내 질문과 수준을 제시하여 모델을 소개한 다음, 학생들에게 교실에서 접할 수 있는 구체적인 활동과 테크놀로지 사례를 매트릭스에 배치하도록 요청합니다. 그런 다음 이 모델을 코스 루브릭의 개념적 프레임으로 사용하여 모델에서 학생의 수행 위치에 따라 성적을 할당합니다. 
Though the PICRAT model is not perfect or completely comprehensive, it has several benefits over competing models for teacher education with regard to the criteria in Table 3. Our institution has structured all three courses in its technology integration sequence around PICRAT, and students have found the model easy to understand and helpful for conceptualizing technology integration strategies. We generally introduce the model by taking about 5 minutes of class time to present the guiding questions and levels, then ask students to place on the matrix specific activities and technology practices they might have encountered in classrooms. We subsequently use the model as a conceptual frame for course rubrics, assigning grades based on the position of the student’s performance on the model.

이 모델에 대해 지속적으로 받는 피드백 중 하나는 명확성에 대한 칭찬입니다. 두 개의 질문과 아홉 개의 셀은 비교적 기억하기 쉽고, 이해하기 쉬우며, 어떤 상황에서도 적용하기 쉽습니다. 명확성 외에도 이 모델의 범위는 교실 교사에게 실질적으로 유용할 정도로 충분히 포괄적인 사례의 균형을 효과적으로 맞추고 있으며, 통합의 본질에 대해 이야기할 때 공통적으로 사용할 수 있는 어휘를 제공합니다. 
One item of feedback that we consistently receive about the model is praise for its clarity. The two questions and nine cells are relatively easy to remember, to understand, and to apply in any situation. In addition to clarity, the model’s scope effectively balances a sufficiently comprehensive range of practices to make it practically useful for classroom teachers and provides a common, usable vocabulary for talking about the nature of the integration.

명확한 모델에 대한 주요 우려는 테크놀로지 통합의 중요한 측면을 지나치게 단순화하고 중요한 뉘앙스를 무시할 수 있다는 것입니다. 그러나 교사들은 지시적 단순성과 미묘한 복잡성 사이의 적절한 균형을 유지하면서, 지시적 지침과 자기 반성적 비판적 사고의 기회를 모두 제공하는 PICRAT을 사용하여 자신의 실제를 조사하고 있습니다.
The major concern with any clear model is that it may oversimplify important aspects of technology integration and ignore important nuances. However, teachers are using PICRAT to interrogate their practice with a suitable balance between directive simplicity and nuanced complexity, with opportunities for both directive guidance and self-reflective critical thinking.

또한 PICRAT 모델은 강력한 페다고지를 뒷받침하는 테크놀로지를 강조하기 때문에 다른 양질의 교육 관행과도 호환성이 높습니다. PICRAT은 혁신적인 교육과 지속적으로 진화하는 페다고지를 촉진하여 혁신적인 관행을 향해 나아갑니다. 이 모델의 학생 중심(PIC를 통한)은 학생의 참여와 능동적/창의적 학습을 강조하며, 자연스럽게 테크놀로지를 사용하여 학생이 스스로 학습을 주도하도록 하는 교사 관행을 장려하고, 테크놀로지를 이러한 목적을 달성하기 위한 수단으로만 취급하지 않습니다. 
Furthermore, the PICRAT model is highly compatible with other quality educational practices, because it emphasizes technology as supporting strong pedagogy. PICRAT promotes innovative teaching and continually evolving pedagogy, progressing toward transformative practices. The model’s student focus (via PIC) emphasizes student engagement and active/creative learning, naturally encouraging teacher practices that use technology to put students in charge of their own learning, never treating technology as more than a means for achieving this end.

아마도 우리가 발견한 가장 강력한 이점은 교사의 테크놀로지 사용에 대한 의미 있는 대화와 자기 대화를 장려함으로써 PICRAT이 결실 기준을 충족해야 한다는 점일 것입니다(Wentworth 외., 2008). 매트릭스의 각 사각형은 긍정적인 테크놀로지 적용이지만, 계층적 관점의 수준은 교사의 관행을 변화시키는 창의적 학습에 초점을 맞추는 오른쪽 상단 모서리로 이동하는 관행으로 교사를 안내합니다. 매트릭스의 이러한 명시적인 셀은 테크놀로지 사용에 대한 교사의 자기 대화와 토론을 효과적으로 유도합니다. 예를 들어, 새로운 테크놀로지를 사용하여 대화형 학습을 강화하거나 혁신적인 창의적 학습을 지원할 수 있는 방법을 스스로에게 물어볼 수 있습니다. 그렇게 함으로써 각 사각형은 잠재적인 교사 관행에 대한 깊은 성찰을 유도하고 테크놀로지 자체에 대한 강조점을 전환합니다. 
Perhaps the strongest benefit we have found is how PICRAT should meet the fruitfulness criterion by encouraging meaningful conversations and self-talk around teachers’ technology use (Wentworth et al., 2008). Although each square in the matrix is a positive technology application, our hierarchical view of the levels guides teachers to practices that move toward the upper-right corner: the focus on creative learning that transforms teacher practices. These explicit cells in the matrix effectively initiate teacher self-talk and discussions about technology use. For instance, we might ask ourselves how a new technology could be used to amplify interactive learning or support transformative creative learning. As we do so, each square prompts deep reflection about potential teacher practices and shifts emphasis away from the technology itself.

PICRAT의 한계 또는 어려움
Limitations or Difficulties of PICRAT

이 모델에 관심이 있는 교사 교육자는 최소한 5가지 어려움을 고려해야 합니다. 일부는 RAT에서 계승된 것이고, 일부는 PICRAT만의 고유한 문제입니다. 다음은 주목할 만한 사항입니다:

• (a) 창의적 활용에 대한 혼란,
• (b) 변혁적 실천에 대한 혼란,
• (c) 다른 교육 상황에의 적용 가능성,
• (d) 활동 수준을 넘어서는 평가,
• (e) 학생 결과와의 단절.
• 다음은 각 과제에 대한 설명과 이를 해결하기 위한 지침입니다.

At least five difficulties should be considered by teacher educators interested in this model. Some are inherited from RAT; others are unique to PICRAT. The following are noted:

• (a) confusion regarding creative use,
• (b) confusion regarding transformative practice,
• (c) applicability to other educational contexts,
• (d) evaluations beyond activity level, and
• (e) disconnects with student outcomes.
• Following is an explanation of each challenge and guidance on addressing it.

첫째, 창의적이라는 용어는 최고의 테크놀로지 사용이 예술적이거나 표현적이라는 의미를 내포할 수 있으므로 주의 깊게 설명하지 않으면 학생 교사에게 혼란을 줄 수 있습니다. PICRAT에서 크리에이티브는 아티팩트 창조, 생성 또는 구성으로 작동합니다. 창작된 인공물이 예술적이지 않을 수도 있으며, 모든 형태의 예술적 표현이 가치 있는 인공물을 만들어내는 것은 아닙니다. 우리는 학생 교사들에게 창의적인 것과 예술적인 것은 같지 않으며, 오히려 학생들이 테크놀로지를 지식 인공물을 생성하거나 건설하는 도구로 사용해야 한다는 점을 주의 깊게 가르칩니다.
First, the term creative can be confusing for student teachers if not carefully explained, as it might imply that the best technology use is artistic or expressive. In PICRAT, creative is operationalized as artifact creation, generation, or construction. Created artifacts may not be artistic, and not all forms of artistic expression produce worthwhile artifacts. We carefully teach our student teachers that creative is not the same as artistic, but rather that their students should be using technology as a generative or constructive tool for knowledge artifacts.

둘째, 혁신적 실천은 주관적이고 맥락에 따라 달라질 수 있기 때문에 교사에게 문제가 될 수 있으며, 이는 클라크-코즈마 토론에서 언급된 RAT의 어려움과 동일합니다. 우리는 증폭과 변혁을 구분하는 데 도움이 되는 의사 결정 프로세스를 제공하거나 질문을 안내함으로써 변혁을 운영화하려고 노력해 왔습니다. 변환은 문헌에서 논쟁의 여지가 있기 때문에 이렇게 한다고 해서 이 문제가 완전히 해결되는 것은 아니지만, 교사의 테크놀로지 사용을 평가할 수 있는 프로세스를 제공할 수 있습니다.
Second, transformative practice can seem problematic for teachers, a difficulty shared with RAT, mentioned in the Clark–Kozma debate, because such an identification may be subjective and contextual. We have sought to operationalize transformationby providing decision processes or guiding questions to help distinguish amplification from transformation. Doing so does not completely resolve this issue, because transformation is contentious in the literature, but it does provide a process for evaluating teachers’ technology use.

모든 사례에서 증폭과 변형을 정확하게 구분하는 것은 다양한 테크놀로지 통합 사례가 교사의 수업에 미치는 영향을 고려하는 자기 성찰에 참여하는 것보다 덜 중요하다고 생각합니다. 따라서 학생의 과제를 채점할 때 테크놀로지 사용을 혁신과 증폭으로 분류하는 근거를 제시하도록 요청하여 학생들의 암묵적 추론과 그에 따른 오해 또는 성장을 파악할 수 있도록 합니다.
We consider accurately differentiating amplification from transformation in every case to be less important than engaging in self-reflection that considers effects of various instances of technology integration on a teacher’s practice. In grading our students’ work, then, we ask them to provide rationales for labeling technology uses as transformative versus amplifying, allowing us to see their tacit reasoning and, thereby, perceiving misconceptions or growth.

셋째, 이 글에서 PICRAT의 의도된 범위는 교사 준비에 국한되어 있으며, 우리의 주장은 이러한 맥락에서 이해되어야 합니다. PICRAT는 다른 맥락(예: 프로그램 평가 또는 교육 행정)에도 적용될 수 있지만, 이러한 적용은 특정 맥락에 대한 주장과는 별도로 고려해야 합니다.  
Third, the intended scope of PICRAT has been carefully limited in this article to teacher preparation; our claims should be understood within that context. PICRAT may be applicable to other contexts (e.g., program evaluation or educational administration), but such applications should be considered separately from arguments made for our specific context.

넷째, 단원, 코스 또는 교사 수준의 평가에 대한 PICRAT의 완전한 확장이 완료되지 않았으며, 수업 계획 수준에서도 관련 문제가 분명합니다. 교사는 사소하지만 혁신적인 방식으로 테크놀로지를 사용하여 수업을 계획한 다음(예: 예상 세트에 대한 5분 활동), 수업을 계속 진행하면서 테크놀로지를 대체 수단으로 사용할 수 있습니다. 이 수업 계획은 혁신적이라고 평가해야 할까요, 대체라고 평가해야 할까요, 아니면 좀 더 미묘한 것으로 평가해야 할까요?  
Fourth, full scaling up of PICRAT to unit-, course-, or teacher-level evaluations has not been completed; related problems are apparent even at the lesson plan level. A teacher might plan a lesson using technology in a minor but transformative way (e.g., a 5-minute activity for an anticipatory set), and then use technology as replacement as the lesson continues. Should this lesson plan be evaluated as transformative, as replacement, or as something more nuanced?

저희의 대답은 평가자의 목표에 따라 평가가 달라진다는 것입니다. 우리는 일반적으로 교사가 혁신적인 방식으로 사고하고 전체 수업에 테크놀로지를 접목하도록 유도하여 분석 수준을 수업 계획으로 삼으려고 노력합니다. 따라서 짧고 단절된 활동이나 일회성 활동은 PICRAT 평가에 부적절하다고 보고 대신 수업의 전체적인 흐름에 초점을 맞추고 있습니다. 그러나 다양한 수준의 분석에 PICRAT을 사용하려는 경우 적절한 항목 수준에서 이 문제를 고려해야 할 수 있습니다. 
Our response is that the evaluation depends on the goal of the evaluator. We typically try to push our teachers to think in transformative ways and to entwine technology throughout an entire lesson, making our level of analysis the lesson plan. Thus, we would likely view short, disjointed, or one-off activities as inappropriate for PICRAT evaluation, focusing instead on the overall tenor of the lesson. Those seeking to use PICRAT for various levels of analysis, however, may need to consider this issue at the appropriate item level.

마지막으로, PICRAT에서 학생의 역할은 학생 활동과 이를 가능하게 하는 테크놀로지의 관계에 중점을 둡니다. 교사가 테크놀로지 통합 관행을 측정 가능한 학생 결과와 연결하도록 명시적으로 안내하지는 않습니다. 설명된 모든 모델(TIP을 제외하면)은 이러한 종류의 한계를 가지고 있는 것으로 보이며, PICRAT에 설명된 고차원적인 원칙이 이론적으로는 더 나은 학습으로 이어져야 하지만 그러한 학습에 대한 증거는 콘텐츠, 맥락 및 평가 측정에 따라 달라집니다. 
Finally, the student role in PICRAT focuses on relationships of student activities to the technologies that enable them. It does not explicitly guide teachers to connect technology integration practices to measurable student outcomes. All models described (with the possible exception of TIP) seem to suffer from limitations of this sort, and though the higher order principles illustrated in PICRAT should theoretically lead to better learning, evidence for such learning depends on content, context, and evaluation measures.

PICRAT 자체는 학습에 대한 비테크놀로지 중심주의적 가정을 기반으로 하며, 테크놀로지를 "학습이 무엇인지 다시 생각해 볼 수 있는 기회"로 간주합니다(Papert, 1990, 5항). 따라서 교사 교육자는 학생 교사가 PICRAT을 지침으로만 사용한다고 해서 측정 가능한 학생의 성과가 급격히 향상되는 것은 아니며, 오히려 테크놀로지를 교수의 지속적인 문제를 재고하는 도구로 사용할 수 있으므로 더 깊은 학습이 이루어질 수 있는 상황을 만들 수 있다는 점을 인식할 수 있도록 도와야 합니다. 
PICRAT itself is built on nontechnocentrist assumptions about learning, treating technology as an “opportunity offered us … to rethink what learning is all about” (Papert, 1990, para. 5). For this reason, teacher educators should help student teachers to recognize that using PICRAT only as a guide may not ensure drastic improvements in measurable student outcomes but may, rather, create situations in which deeper learning can occur as technology can be used as a tool for rethinking some of the persistent problems of teaching.

결론
Conclusion

먼저 교육 테크놀로지에서 이론적 모델의 역할을 살펴보고, 특히 테크놀로지 통합과 관련된 교사 준비에 중점을 두었습니다. 그런 다음 이 분야의 기존 이론적 모델을 평가하기 위한 몇 가지 지침을 제시하고 교사 준비 상황의 요구와 이러한 요구 사항을 해결하는 데 있어 기존 모델의 한계에 대한 새로운 해답으로 PICRAT 모델을 제시했습니다. 
We first explored the roles of theoretical models in educational technology, placing particular emphasis upon teacher preparation surrounding technology integration. We then offered several guidelines for evaluating existing theoretical models in this area and offered the PICRAT model as an emergent answer to the needs of our teacher preparation context and the limitations of prior models in addressing those needs.

PICRAT은 포괄성과 간결함의 균형을 유지하여 교사에게 명확하고 유익하며 기존의 관행과 기대에 부합하는 개념적 도구를 제공하는 동시에 테크놀로지 중심적 사고를 피합니다. 우리는 PICRAT 모델에서 네 가지 한계 또는 어려움을 확인했지만, 끊임없이 변화하고 정치적으로 영향을 받으며 맥락적 특성이 강한 이 과제의 특성에도 불구하고 교사 교육자가 테크놀로지를 효과적으로 통합하도록 교사를 훈련하는 데 사용할 수 있는 교육 및 자기 성찰 도구로서 이 모델의 강점을 강조합니다. 향후 연구에는 다양한 관행과 환경에서 PICRAT 모델을 적용하는 동시에 교사의 실천, 성찰, 교육적 변화를 얼마나 효과적으로 안내할 수 있는지 연구하는 것이 포함되어야 합니다. 
PICRAT balances comprehensiveness and parsimony to provide teachers a conceptual tool that is clear, fruitful, and compatible with existing practices and expectations, while avoiding technocentrist thinking. Although we identified four limitations or difficulties with the PICRAT model, we emphasize its strengths as a teaching and self-reflection tool that teacher educators can use in training teachers to integrate technology effectively despite the constantly changing, politically influenced, and intensely contextual nature of this challenge. Future work should include employing the PICRAT model in various practices and settings, while studying how effectively it can guide teacher practices, reflection, and pedagogical change.

Technology integration models are theoretical constructs that guide researchers, educators, and other stakeholders in conceptualizing the messy, complex, and unstructured phenomenon of technology integration. Building on critiques and theoretical work in this area, the authors report on their analysis of the needs, benefits, and limitations of technology integration models in teacher preparation and propose a new model: PICRAT. PIC (passive, interactive, creative) refers to the student's relationship to a technology in a particular educational scenario. RAT (replacement, amplification, transformation) describes the impact of the technology on a teacher's previous practice. PICRAT can be a useful model for teaching technology integration, because it (a) is clear, compatible, and fruitful, (b) emphasizes technology as a means to an end, (c) balances parsimony and comprehensiveness, and (d) focuses on students.

Descriptors: Models, Technology Integration, Preservice Teacher Education, Educational Benefits, Influence of Technology, Student Centered Learning, Preservice Teachers, Teaching Methods, Transformative Learning

질적연구를 위한 프레임워크분석방법을 사용: AMEE Guide No. 164 (Med Teach, 2023)
Using framework analysis methods for qualitative research: AMEE Guide No. 164
Sonja Klingberga , Ren
ee E. Stalmeijerb and Lara Varpioc

소개
Introduction

보건 전문직 교육(HPE) 연구자가 선택할 수 있는 다양한 질적 연구 방법론과 방법이 있으며, 각 방법론은 고유한 목적에 맞게 맞춤화되어 있습니다.

• 직장 기반 학습에 관한 새로운 이론을 개발하는 데 관심이 있으신가요? 구성주의적 근거 이론(예: Helmich 외. 2018)을 찾아볼 수 있습니다.
• 의료 교육에서 수치심에 대한 생생한 경험을 탐구하는 데 관심이 있으신가요? 해석학적 현상학(예: Bynum 외. 2021)을 살펴볼 수 있습니다.

구성주의적 근거 이론과 해석학적 현상학을 포함한 대부분의 질적 연구 방법론은 현상을 깊이 이해하거나 설명하기 위해 해석의 힘을 활용합니다. 이러한 해석적(주요 용어에 대한 용어집은 표 1 참조) 질적 연구(Finlay 2021)는 종종 소규모 데이터 세트에 의존합니다. 소규모 데이터 세트는 연구 데이터 말뭉치를 반복적으로 읽고 다시 읽고, 연구팀과 함께 진화하는 이해에 대해 순환적인 방식으로 반복해서 논의하여 연구 인사이트를 개발하는 분석을 가능하게 합니다. 

There are many different qualitative research methodologies and methods for health professions education (HPE) researchers to choose from, each tailored to unique purposes.

• Are you interested in developing a new theory about workplace-based learning? You might reach for constructivist grounded theory (e.g. Helmich et al. 2018). Are
• you interested in exploring the lived experience of shame in medical training? You might turn to hermeneutic phenomenology (e.g. Bynum et al. 2021).

Most qualitative research methodologies—including constructivist grounded theory and hermeneutic phenomenology—harness the power of interpretation to deeply understand or explain a phenomenon. Such interpretive (see Table 1 for a glossary of key terms) qualitative research (Finlay 2021) often relies on small datasets. Smaller data sets enable analyses that involve iteratively reading and re-reading the corpus of study data, discussing evolving understandings with the research team, again and again in a cyclical fashion, to develop research insights.

데이터 변환: 데이터 변환은 샌델로우스키와 바로소(2003)가 원시 데이터와의 '해석적 거리'라고 부르는 관점에서 질적 연구 결과 또는 질적 데이터 분석의 결과물의 성격을 말합니다. 이 거리는 이론화, 추상화, 해석과 같은 과정을 통해 커지는 반면, 원시 데이터에 가깝거나 단순히 원시 데이터의 내용을 설명하는 출력물은 데이터 변환을 거치지 않았거나 실제로 분석이 전혀 이루어지지 않은 것으로 간주할 수 있습니다. 
Data transformation: Data transformation refers to the nature of qualitative findings or the output of qualitative data analysis in terms of what Sandelowski and Barroso (2003) call the ‘interpretive distance’ from raw data. The distance grows through processes like theorizing, abstraction and interpretation, whereas output that remains close to, or merely describes the content of, raw data can be considered as not having undergone data transformation, or indeed, much analysis at all.

연역적 데이터 분석: 연역적 데이터 분석은 일반적인 규칙(예: 이론, 모델)을 추론하여 특정 인스턴스(예: 특정 데이터 집합)에서 일어나는 일을 추론하는 것을 포함합니다. 예를 들어, 가난하게 사는 의대생이 높은 수준의 스트레스를 경험하고, 높은 수준의 스트레스가 사기꾼 증후군을 경험하게 된다는 이론이 존재할 수 있습니다. 따라서 이러한 이론을 사용하여 의대생의 사기꾼 증후군이 빈곤과 관련이 있는지 알아보기 위해 많은 수의 의대생을 연구할 수 있습니다. 이 예에서 알 수 있듯이, 연역적 데이터 분석은 기존의 규칙으로 시작하여 그 규칙에 따라 분석에 적용됩니다.
Deductive data analysis: Deductive data analysis involves reasoning from general rules (e.g. theories, models) to infer what is happening in specific instances (e.g. in specific datasets). For example, a theory might exist that explains how medical students who live in poverty experience high levels of stress, and that high levels of stress lead to experiences of imposter syndrome. Therefore, we might use these theories to study a large number of medical students to see if imposter syndrome in medical students is related to poverty. As this example illustrates, deductive data analysis starts with and is guided by pre-existing rules that are then applied in the analysis.

설명적: 설명적 목적의 연구는 데이터 또는 현상의 속성과 특성을 조사, 문서화 및 기술하는 것을 목표로 하며(예: 어떤 것인지 문서화), 해당 데이터 또는 현상의 더 넓은 의미(예: 데이터의 의미 또는 우리에게 무엇을 알려줄 수 있는지 해석)로 확장할 필요는 없습니다. 또한 어떤 주제나 집단에 '목소리를 부여'하는 연구일 수도 있습니다(브라운과 클라크 174). 특정 그룹의 구성원이 특정 주제에 대해 어떤 의견을 가지고 있는지 또는 관심 있는 문화가 어떤지 물어볼 수 있습니다(Bernard and Ryan 2010).  
Descriptive: If a study has a descriptive purpose, it is aiming to investigate, document, and describe the properties and qualities of data or a phenomenon (e.g. documenting what it is like), without necessarily extending into the wider implications of said data or phenomenon (e.g. interpreting what it means or what it can tell us). It can also be a study that ‘”gives voice” to a topic or a group of people’ (Braun and Clarke 174). It can ask what members of a specific group have to say about a particular topic, or what a culture of interest is like (Bernard and Ryan 2010). 

탐색적: 설명적 질적 접근 방식과 마찬가지로, 탐색적 연구는 주로 주제나 현상의 다양한 측면을 조사하고, 범위를 정하고, 기록하는 데 중점을 둡니다. 이해, 의미 또는 시사점을 도출하기 위해 시작하는 대신 다음과 같은 질문을 던집니다: '여기에는 어떤 종류의 것들이 있는가? 이 사물들은 서로 어떻게 관련되어 있는가? 여기에 자연스러운 사물의 그룹이 있는가?'(Bernard and Ryan 2010, p8).
Exploratory: Similarly to descriptive qualitative approaches, exploratory research is primarily concerned with examining, scoping and recording different aspects of a topic or phenomenon. Instead of setting out to generate understanding, meaning, or implications, it asks questions like:

• ‘What kinds of things are present here?
• How are these things related to one another?
• Are there natural groups of things here?’ (Bernard and Ryan 2010, p8).

프레임워크 분석(FA): 이 AMEE 가이드에서는 프레임워크 분석 또는 FA라는 용어를 사용하여 이 질적 데이터 분석 방법에 대한 Ritchie와 Spencer(1994)의 원래 설명을 참조합니다. 
Framework analysis (FA): In this AMEE guide, we use the term framework analysis or FA to refer to Ritchie and Spencer (1994) original description of this qualitative data analysis method.

프레임워크 분석 방법(FAM): 이 AMEE 가이드에서는 대규모 정성적 데이터 집합을 조사하여 특정 질문에 답하는 데이터 분석 접근법의 제품군을 설명하기 위해 포괄적인 용어로 FAM을 사용합니다. 프레임워크 분석 접근법은 몇 가지 특징을 일반적으로 공유합니다(Gale et al. 2013). 

• 체계적이고 사례별로 구조화된 데이터 코딩 프로세스에 의존하고,
• 체계적으로 또는 일관되게 생성된(따라서 동질적인) 데이터 세트에 적용되며,
• 질적 데이터의 패턴을 포착하고 설명하는 것을 목표로 하고,
• 일반적으로 교차하는 연구 초점의 매트릭스로 결과를 표현한다

Framework analysis methods (FAMs): In this AMEE guide, we use FAM as an umbrella term to describe a family of data analysis approaches that answer specific questions through the examination of large qualitative datasets. Framework analysis approaches commonly share several characteristics—i.e.

• they rely on a systematic and by-case-structured data coding process;
• they are applied to systematically or consistently generated (and therefore homogeneous) datasets;
• they aim to capture and describe patterns in qualitative data; and
• typically express findings as a matrix of intersecting research foci (Gale et al. 2013).

프레임워크 방법(FM): 이 AMEE 가이드에서는 프레임워크 방법 또는 FM이라는 용어를 사용하여 Gale과 동료들이 2013년에 설명한 구체적이고 널리 알려진 FAM을 지칭합니다. 
Framework method (FM): In this AMEE guide, we use the term framework method or FM to refer to a specific and popular FAM articulated in 2013 by Gale and colleagues.

귀납적 데이터 분석: 귀납적 데이터 분석은 구체적인 것(즉, 데이터로부터)에서 일반적인 것(즉, 연구자가 생성하고 데이터에 의해 논리적이고 경험적으로 뒷받침되는 설명이나 통찰에 대한 보다 추상적인 진술)으로 이동하여 현상에 대한 이해를 생성합니다. '아래로부터(데이터) 위로 분석을 생성하는 것을 목표로 하며, 분석은 기존 이론에 의해 형성되지 않습니다(그러나 분석은 항상 연구자의 관점, 학문적 지식 및 인식론에 의해 어느 정도 형성됨)'(브라운과 클라크 p175). 예를 들어, 우리는 왜 일부 의대생들이 사기꾼 증후군을 경험하는지 이해하고 싶을 수 있습니다. 우리는 의대생의 사기 증후군 경험에 대한 많은 의대생의 설명을 수집하고 분석하여 의대생의 사기 증후군 경험과 무수히 많은 개인적, 제도적, 사회적 요인 사이의 관계에 대한 통찰력, 이론 또는 모델을 생성할 것입니다. 
Inductive data analysis: Inductive data analysis generates understanding about a phenomenon by moving from the specific (i.e. from data) to the general (i.e. more abstract statements of explanation or insight that are generated by the researcher(s), and are logically and empirically backed by the data). It ‘aims to generate an analysis from the bottom (the data) up; analysis is not shaped by existing theory (but analysis is always shaped to some extent by the researcher’s standpoint, disciplinary knowledge and epistemology)’ (Braun and Clarke p175). For example, we might be curious to understand why some medical students experience imposter syndrome. We will collect and analyze many medical student accounts of their imposter syndrome experiences to generate insights, theories, or models about the relationship between medical student experiences of imposter syndrome and a myriad of different personal, institutional, and/or social factors.

해석: 질적 해석은 '데이터의 의미를 이해하고 그 의미를 이론화하는 과정'입니다(Braun and Clarke 2013, p332). 따라서 질적 연구에서 데이터 해석은 '데이터의 명백한 의미적 내용을 요약하는 것을 넘어'(브라운과 클라크 p332) 일종의 해석적 개념 구조를 생성하는 것입니다. 따라서 데이터 집합의 품질을 넘어 특정 맥락에서 데이터가 말하거나 의미할 수 있는 더 깊고 추상적인 수준으로 나아가는 것이 포함됩니다.  
Interpretation: Qualitative interpretation is ‘a process of making sense of, and theorising the meanings in, data’ (Braun and Clarke 2013, p332). Thus, interpretation of data in qualitative research ‘goes beyond summarising the obvious semantic content of the data’ (Braun and Clarke p332) to generate some kind of interpretive conceptual structure. It thus involves going beyond the qualities of a dataset to deeper, more abstract levels of what the data could be taken to say or mean in a particular context. 

패러다임: 패러다임은 '과학에 대한 특정 접근 방식을 정의하는 개념, 관행 및 언어로 구성'됩니다(Varpio와 MacLeod 2020, p687). 특정 연구 전통에서 일하는 개인이 문제를 어떻게 이해하고 해결해야 하는지, 그리고 그러한 접근 방식과 관련된 엄격함의 지표에 대해 가지고 있는 신념과 합의의 집합입니다.  
Paradigm: A paradigm ‘consists of the concepts, practices, and language that define a particular approach to science’ (Varpio and MacLeod 2020, p687). It is the set of beliefs and agreements that individuals working from a particular research tradition hold about how problems should be understood, addressed, and the markers of rigor associated with those approaches. 

---

그러나 때로는 질적 연구에 참여하는 이유가 더 지시적directed 때도 있습니다. 사전에 결정된 특정 정보 요구를 충족하기 위한 연구인 경우, 데이터 수집 및 분석의 범위가 좁아질 수 있습니다. 이러한 상황에서는 기존의 이론, 모델 또는 문헌의 증거가 데이터 수집과 분석 방법의 선택을 지시할 수 있습니다. 예를 들어, 실행 및 프로세스 평가 연구에서 이러한 경우가 많습니다(Klingberg 외. 2021; Draper 외. 2022). 이러한 지시적 목표directed goals와 관련된 질적 연구에서 연구자는 종종 대규모 데이터 세트를 수집하고 보다 집중적이고 구조화된 데이터 분석에 참여합니다(Davidson et al. 2019). 이러한 종류의 연구에 참여하는 HPE 연구자는 프레임워크 분석 방법(FAM)을 유용하게 사용할 수 있습니다. FAM은 데이터로부터 추상적인 해석을 위해 귀납적으로 작업하는 대신 연역적 접근 방식을 사용하는 경우가 많으므로 미리 설정된 목적과 목표에서 시작합니다(Pope 외. 2000). 보다 구조화된 형태의 데이터 수집(예: 개방형 설문조사 질문 또는 구조화된 인터뷰)을 포함하며, 데이터 분석은 분석이 시작되기 전, 때로는 데이터 수집이 시작되기도 전에 설정된 이론, 모델, 문헌 조사 결과 및 목적에 따라 기초적으로 형성되고 방향이 정해집니다. 
However, sometimes our reasons for engaging in qualitative research are more directed. Sometimes the study is aimed towards fulfilling specific pre-determined information needs; this focus narrows the scope of data collection and analysis. In these situations, pre-existing theories, models, or evidence from the literature can direct data collection and the choice of analysis methods. For example, this is frequently the case in implementation and process evaluation studies (Klingberg et al. 2021; Draper et al. 2022). In qualitative studies that involve such directed goals, researchers often collect large datasets and engage in more focused and structured data analysis (Davidson et al. 2019). HPE researchers engaging in this kind of research might usefully rely on a framework analysis method (FAM). Rather than working inductively from the data towards abstract interpretation, FAMs often employ a deductive approach, and so begin with pre-set aims and objectives (Pope et al. 2000). They involve more structured forms of data collection (e.g. open ended survey questions or structured interviews), and data analysis is foundationally shaped and directed by theories, models, literature findings, and/or purposes that are established before analysis—and sometimes even before data collection—begins.

FAM의 우산 아래에는 다른 방법과 차별화되는 유용성과 힘을 가진 많은 분석 방법이 있습니다. 이 가이드에서는 FAM과 정성 분석 방법 그룹에 속하는 다양한 방법에 대해 명확하게 설명하고자 합니다. 먼저 오늘날 존재하는 다양한 FAM의 개발을 촉진한 1994년 Ritchie와 Spender가 설명한 프레임워크 분석 접근법과 FAM을 정의하는 것으로 시작합니다. HPE 연구자가 자신의 연구 요구 사항에 가장 적합한 FAM 유형을 결정할 수 있도록 FAM 범주에 속하는 가장 일반적인 방법 몇 가지를 간략히 검토합니다. 그런 다음 일반적으로 사용되는 다른 질적 분석 방법과의 관계에 대해 설명하여 독자가 연구 목적에 맞는 FAM을 파악할 수 있도록 돕습니다. 다음으로, 일반적으로 널리 사용되는 FAM인 프레임워크 방법의 일부인 단계에 대해 설명합니다. FAM이 이미 HPE 연구에서 어떻게 유용하게 활용되었는지를 설명하기 위해 FAM이 어떻게 활용될 수 있는지를 보여주는 몇 가지 발표된 연구 사례를 제공합니다. 마지막으로 정성적 분석에 FAM을 사용할 때 피해야 할 잠재적 함정에 대해 경고하는 것으로 마무리합니다. 
There are many analysis methods that can sit beneath the FAM umbrella—each with utility and power that differentiates it from other methods. In this guide, we aim to provide clarity around FAMs and the variety of methods that are part of this group of qualitative analysis methods. We begin by defining FAMs and the framework analysis approach described in 1994 by Ritchie and Spender which catalyzed the development of the many varieties of FAMs that exist today. We offer a short review of some of the most common methods under the FAM umbrella so that the HPE researcher can decide which type of FAM best suits their research needs. We then describe how FAMs sit in relation to other commonly used qualitative analysis methods to help readers know when FAMs might fit their research purposes. Next, we explain the phases that are typically part of a popular FAM, the framework method. To illustrate how FAMs have already been useful in HPE research, we offer some examples of published research that demonstrate how FAMs might be harnessed. We end by warning readers of potential pitfalls to avoid when using FAMs for qualitative analysis.

FAM이란 무엇인가요?
What are FAMs?

질적 연구의 맥락에서 FAM의 역사는 1980년대 후반 영국에서 수행된 대규모 정책 연구 중 제인 리치와 리즈 스펜서가 만든 프레임워크 분석(FA)으로 거슬러 올라갑니다(Ritchie and Spencer 1994; Gale 외. 2013). FA는 대규모 질적 데이터 세트를 사용하여 특정 질문에 답하고 실행 가능한 인사이트를 창출할 수 있는 질적 데이터 분석 접근 방식에 대한 응용 정책 연구자들의 필요성에서 탄생했습니다(Ritchie and Spencer 1994; Srivastava and Thomson 2009). FA가 시작된 이래로 다양한 변형과 파생물이 개발되었습니다. 이러한 변형과 파생은 원래의 FA와 마찬가지로 FAM의 범주에 속하며, 여러 특징을 공유합니다(Gale et al. 2013).

• 체계적이고 사례별로 구조화된 데이터 코딩 프로세스에 의존하고,
• 비교적 동질적인 데이터 세트(즉, 주제나 주요 문제를 어느 정도 일관되게 다루기 위해 수집된 데이터 세트)에 적용되며,
• 정성적 데이터의 패턴을 주제(예: 공통 경험 및 경험 간 변화)로 포착하고 설명하는 것을 목표로 하고,
• 일반적으로 사례와 교차하는 코드로 구성된 프레임워크 매트릭스를 생성한다는 

글로벌 보건(Klingberg 외. 2022), 보건 서비스 연구(Heath 외. 2012), HPE(Kumar 외. 2011, Howman 외. 2016, Balmer 외. 2021) 등 다양한 분야의 학자들이 다양한 FAM의 힘을 활용하고 있습니다.
In the context of qualitative research, the history of FAMs trace back to framework analysis (FA) which was created by Jane Ritchie and Liz Spencer in the late 1980s during large-scale policy research carried out in the United Kingdom (Ritchie and Spencer 1994; Gale et al. 2013). FA was born out of applied policy researchers’ need for a qualitative data analysis approach that enabled answering specific questions and creating actionable insights using large qualitative datasets (Ritchie and Spencer 1994; Srivastava and Thomson 2009). Since the inception of FA, different variants and offshoots have been developed. These variants and offshoots, as well as the original FA, sit under the FAM umbrella and so share several characteristics:

• they rely on a systematic and by-case-structured data coding process;
• they are applied to relatively homogenous datasets (i.e. datasets collected to address topics or key issues somewhat consistently);
• they aim to capture and describe patterns in qualitative data as themes (e.g. common experiences and variation across experiences); and
• typically produce framework matrices consisting of codes that intersect with cases (Gale et al. 2013).

The power of various FAMs have been harnessed by scholars working in a wide range of fields, including global health (Klingberg et al. 2022), health services research (Heath et al. 2012), and HPE (Kumar et al. 2011; Howman et al. 2016; Balmer et al. 2021).

표 2에는 FAM 우산 아래에 있는 몇 가지 연구 접근법이 나열되어 있습니다. 이 표에서 알 수 있듯이 몇 가지 미묘한 차이점만 있을 뿐, 각 접근법에는 고유하지는 않더라도 특징적인 특징이 있습니다. 특정 연구의 정확한 목적에 따라 HPE 연구자는 정성적 데이터 분석에 가장 적합한 FAM을 선택할 수 있습니다.
In Table 2, we list some research approaches that sit beneath the FAM umbrella. As this table makes clear, only a few nuanced differences separate some of the approaches under the umbrella; nevertheless, each approach has certain characterizing, if not unique, features. Depending on the precise purpose of a particular study, HPE researchers can choose the FAM best suited for analyzing their qualitative data.

---

프레임워크 방식(FM) 
Framework Method (FM) 

프레임워크 방식은 '행(사례), 열(코드), 요약된 데이터의 '셀'로 구성된 프레임워크 매트릭스 도구를 사용하는 것이 특징이며, 이는 '연구자가 데이터를 체계적으로 축소하여 사례별, 코드별로 분석할 수 있는 구조'로 작용합니다(Gale 외. 2013, p2). FM의 주요 특징은 다음과 같습니다: 

• 근거 기반(즉, 원본 데이터에 기반하고 이에 의해 구동됨);
  
• 동적(즉, 분석 프로세스 중에 변경될 수 있음);
  
• 체계적(즉, 데이터를 체계적으로 처리합니다);
  
• 포괄적(즉, 모든 데이터에 대한 전체 검토가 포함됨);
  
• 쉽게 검색할 수 있음(즉, 원본 데이터에 쉽게 액세스할 수 있음);
  
• 사례 내 및 사례 간 분석(즉, 데이터 사례 내 및 사례 간 비교를 지원합니다);
  
• 접근성(즉, 외부 학자가 분석 과정과 결과를 보고 평가할 수 있음); 그리고
  
• 탐색적(예: 설문지의 개방형 질문에 대한 응답을 요약하거나 분류).  

The framework method is characterized by use of the framework matrix tool: ‘rows (cases), columns (codes) and “cells” of summarized data’ that collectively act as ‘a structure into which the researcher can systematically reduce the data, in order to analyze it by case and by code’ (Gale et al. 2013, p2). FM’s key features are that it is:

• grounded (i.e. based in and driven by original data);
• dynamic (i.e. it can change during the analysis process);
• systematic (i.e. it is a methodical treatment of data);
• comprehensive (i.e. it involves a full review of all data);
• enables easy retrieval (i.e. it allows easy access to original data);
• within- and between-case analysis (i.e. it supports comparisons within and across data cases);
• accessible (i.e. the analytical process and outputs can be seen and evaluated by external scholars); and
• exploratory (e.g. summarizing or categorizing the responses to an open-ended question in a questionnaire).  

템플릿 분석 
Template Analysis 

템플릿 분석은 구조화된 접근 방식을 따르며, 일반적으로 연구자가 분석 전에 식별한 코드를 기반으로 개발되는 코딩 템플릿을 활용하지만 반드시 그렇지는 않습니다(King and Brooks 2018). 코딩은 연구 데이터의 분석을 통해 귀납적으로 개발할 수도 있습니다. 코딩 프레임, 즉 템플릿을 개발하고 적용할 때 연구자는 일반적으로 전체 데이터 집합을 읽고 다시 읽는 것을 기반으로 템플릿을 만드는 것이 아니라, 데이터의 하위 집합 또는 샘플로 시작합니다. 템플릿의 최종 버전은 '패턴화된 의미를 계층적으로 매핑하고 더 넓은 의미에서 더 정확한 의미로 이동할 수 있는 방법을 제공합니다'(Braun and Clarke 2021, 243쪽). 따라서 템플릿은 연구자의 해석과 분석 결과를 깊이 있게 알려줍니다. 템플릿을 다듬는 데는 여러 차례의 읽기와 개발 템플릿을 향한 반복적인 작업이 필요할 수 있지만, 이 분석 방법은 대규모 데이터 세트 작업에 적합한 것으로 간주됩니다(버튼과 갤빈 2019).   
Template analysis follows a structured approach, utilizing a coding template that is typically, but not necessarily, developed based on codes that are identified by the researchers prior to analysis (King and Brooks 2018). Codes can also be developed inductively through the analysis of the study data. In developing and applying the coding frame— i.e. the template— the researcher typically starts with a subset or sample of data as opposed to basing the template on reading and re-reading the entire dataset. The final version of the template ‘offers a way of hierarchically mapping patterned meaning, and moving from broader to more precise meanings’ (Braun and Clarke 2021, p243). The template thus deeply informs the researcher’s interpretations and analysis findings. Although the refinement of the template may involve many rounds of reading and iteratively working towards a developed template, this analysis method is considered suitable for working with large datasets (Burton and Galvin 2019).  

매트릭스 분석 
Matrix Analysis 

행렬 분석은 다양한 종류의 테이블, 즉 행렬을 사용하여 데이터를 분류하고 표시함으로써 사례 간 교차 분석을 지원합니다(King and Brooks 2018). 이러한 행렬은 '설명적(기존 조건 또는 상황 묘사), 결과 지향적(결과 및 결과 관련) 또는 과정 지향적(변화의 역학에 초점)'일 수 있습니다(Averill 2002, p856). 프레임워크 분석의 사례 비교 측면을 기반으로 하기 때문에 대량의 데이터를 쉽게 수용할 수 있으며, 해당 연구와 관련된 사례로 미리 설정된 데이터 분류를 사용합니다. Burton과 Galvin(2019)이 주장한 것처럼, 매트릭스 또는 행렬의 구조화된 개발은 질적 데이터를 심층적으로 분석하고 해석하는 것이 아니라, 데이터를 제시하거나 조직화하는 데 더 적합합니다.  
Matrix analysis uses different kinds of tables—matrices—to categorize and display data, thereby supporting cross case analysis (King and Brooks 2018). These matrices ‘can be descriptive (depicting existing conditions or situations), outcome-orientated (concerned with consequences and results), or process-oriented (focused on the dynamics of change)’ (Averill 2002, p856). It can easily accommodate large volumes of data because it builds on the case comparison aspect of framework analysis; it uses pre-established categorizations of data into cases relevant to the study in question. As Burton and Galvin (2019) argue, the structured development of a matrix or matrices is more geared towards presenting or organizing data, as opposed to analyzing and interpreting qualitative data in a greater depth. 

'최적 적합' 프레임워크 합성 
‘Best Fit’ Framework Synthesis 

'최적 적합' 프레임워크 합성은 '잠재적으로 다르지만 관련성이 있는 모집단을 위해 고안된 기존의 공개된 모델을 테스트, 강화 및 구축하는 수단'을 제공합니다(Carroll 외. 2013, p1). 여기에는 선험적 주제를 식별하기 위해 기존의 개념적 프레임워크 또는 모델을 식별하고 사용하는 것이 포함되며, 이는 관련 연구의 질적 연구 결과의 데이터 추출, 코딩 및 종합에 사용됩니다(Carroll 외. 2011; Dixon-Woods 2011). 다른 FAM은 1차 데이터 분석을 지원하지만, '최적 적합' 프레임워크 분석은 출판된 문헌의 데이터를 분석하는 수단입니다.  
‘Best fit’ framework synthesis provides ‘a means to test, reinforce, and build on an existing published model, conceived for a potentially different but relevant population’ (Carroll et al. 2013, p1). It involves identifying and using an existing conceptual framework or model for identifying a priori themes, which are then used for data extraction, coding, and synthesis of qualitative findings from relevant studies (Carroll et al. 2011; Dixon-Woods 2011). While the other FAMs support primary data analysis, ‘best fit’ framework analysis is a means of analyzing data in the published literature. 

---

독자들이 이러한 선택을 할 수 있도록 돕기 위해, 이제 FAM의 정의적 특징에 대해 좀 더 자세히 설명하겠습니다. 다른 정성적 분석 방법과 관련하여 FAM을 고려함으로써 FAM의 범주에 속하는 접근법을 하나로 묶는 일관성을 더 잘 이해할 수 있습니다.
To support readers in making these selections, we next go into more detail about the defining features of FAMs. By considering FAMs in relation to other qualitative analysis methods, we can further understand the coherence that unites approaches that fall underneath the FAM umbrella.

다른 정성적 분석 방법과 FAM 구별하기
Distinguishing FAMs from other qualitative analysis methods

정성적 분석 방법과 다른 정성적 분석 방법의 차이점을 이해하는 한 가지 방법은 분석 프로세스 중에 데이터가 변형되는 정도를 고려하는 것입니다. Sandelowski와 Barroso(2003)는 데이터 변환의 연속선상에서 질적 연구에 대한 다양한 접근 방식을 찾는 데 도움이 됩니다. 그림 1은 

• 이 연속체의 한쪽 끝에서 원시 데이터에 가깝게 유지하고자 하는 연구가 어떻게 데이터를 최소한의 변형(예: 설문지의 개방형 질문에 대한 응답 요약)을 거치는지 보여줍니다. 
• 이와는 대조적으로, 해석적 설명에 중점을 두는 연구에서는 데이터가 원본 데이터에서 많은 변형 과정을 거칩니다(예: 감정적 경험의 본질에 대한 현상학적 분석). 

이러한 양극 사이에는 다양한 연구가 존재하며, 이는 분석이 데이터 내용과 특성에 대한 단순한 목록을 넘어 보다 추상적인 해석 및/또는 인사이트를 생성하는 데까지 나아갈 것으로 기대되는 정도를 반영합니다. 이 연속체는 다양한 정성적 접근 방식과 관련된 분석의 종류를 개념화하는 데 도움이 될 수 있습니다.
One way of understanding what differentiates one qualitative analysis method from another is to consider the extent to which the data is transformed during the analysis process. Sandelowski and Barroso (2003) helpfully located different approaches to qualitative research on a continuum of data transformation. Figure 1 demonstrates

• how, at one end of this continuum, research studies seek to stay close to raw data and so the data undergo minimal transformation (e.g. summarizing the responses to an open-ended question in a questionnaire). In contrast,
• at the other end of the spectrum, studies engage in interpretive explanation and so the data undergo many transformative moves away from the original data (e.g. a phenomenological analysis of the essence of an emotional experience).

There is a spectrum of research that exists between these poles, reflecting the degree to which analyses are expected to move beyond simple inventories of data content and characteristics, to generate more abstract interpretations and/or insights. This continuum can serve as a helpful conceptualization of the kind of analysis involved in different qualitative approaches.

FAM은 일반적으로 연구자가 심층 데이터 변환에 참여하지 않는다는 점을 감안할 때, 일반적으로 Sandelowski와 Barroso의 연속체에서 원시 데이터에 가까운 쪽에서 작업하는 연구를 지원합니다. 따라서 FAM은 특정 상황에서 사용하기에 적합한 방법입니다. FAM을 사용하면 연구자가 데이터에 근접하여 설명, 범주 및/또는 유형을 제공하는 분류, 조직화 및 요약된 데이터의 고도로 구조화된 결과물을 생성할 수 있습니다. 모든 질적 연구가 사회 현상에 대한 새로운 이론이나 고도로 정교한 설명을 만들어내야 하는 것은 아닙니다. 따라서 설명적이고 실용 지향적인 연구를 촉진하기 위해 FAM과 같은 특정 방법의 가치를 인식하는 것이 도움이 됩니다. FAM의 설명적 또는 탐색적 경향은 다양한 참여자 그룹을 포함하고 서로 다른 그룹 간의 결과를 비교하는 것이 분석적 관련성이 있는 질적 데이터 세트를 분석하는 데 특히 유용합니다. 이는 다양한 연령대, 직업 또는 특정 현상에 대한 관계/경험(예: 만성 질환이 있는 의료 전문가와 없는 의료 전문가)과 같이 잠재적으로 관심 있는 자연스러운 하위 집합을 포함하는 대규모 데이터 세트의 경우에 해당할 수 있습니다.
Given that FAMs do not typically engage the researcher in deep data transformation, they generally support research working at the close to raw data end of Sandelowski and Barroso’s continuum. As such, FAMs are methods that lend themselves to be used in specific circumstances. FAMs enable the researcher to stay close to the data to generate highly structured outputs of categorized, organized, and summarized data offering descriptions, categories, and/or typologies. Not all qualitative research needs to produce new theories or highly sophisticated explanations of social phenomena. It is therefore helpful to recognize the value of specific methods—like FAMs—for facilitating descriptive and for-practical-use oriented research. The descriptive or exploratory tendencies of FAMs are also particularly useful for analyzing qualitative datasets that include distinct participant groups and where a comparison of findings between different groups is of analytical relevance. This may well be the case with larger datasets that potentially contain natural subsets of interest, such as different age groups, professions, or relationships with/experiences of a given phenomenon (e.g. health care professionals with and without chronic illness).

FAM과 달리 다른 질적 방법론과 데이터 분석 방법에는 상당한 변형이 수반됩니다. 데이터 변환의 연속선상에서 다양한 질적 연구 접근법이 어떻게 위치할 수 있는지를 고찰함으로써, 어떤 접근법은 데이터에 대한 심층적인 해석과 현상에 대한 설명을 수반하는 반면, 어떤 접근법은 해석을 거의 수반하지 않는다는 점을 강조합니다. 표 3은 프레임워크 방법, FAM을 포함한 네 가지 접근 방식을 이 연속체에 따라 정리하고 각 접근 방식이 일반적으로 사용되는 연구 목적의 측면에서 비교를 제공합니다. 
In contrast to FAMs, other qualitative methodologies and data analysis methods involve considerable transformation. By reflecting on how different qualitative research approaches can be located along the continuum of data transformation, we highlight how some approaches involve deep interpretation of data and explanations of phenomena, while others engage in very little interpretation. Table 3 organizes four different approaches—including framework method, an FAM—along this continuum and offers comparisons in terms of the kind of research purposes each approach is typically used to address.

그렇다고 해서 FAM이 해석이나 데이터 변환이 필요 없다는 뜻은 아니며, 대신 발생하는 변환은 원시 데이터에 가깝게 유지됩니다. FAM의 힘 중 하나는 대량의 데이터를 의도적으로 구성된 사례(예: 분석 단위, 참가자 인터뷰)와 코드(예: '원시 데이터 발췌에 할당된 설명적 또는 개념적 레이블')로 축소하는 능력에 있습니다(Gale 외. 2013, 2페이지). 이러한 사례와 코드는 전체 데이터 세트에 적용되는 코딩 프레임을 구성하며, 코딩은 본질적으로 데이터 발췌에 적절한 코드로 라벨을 붙이는 과정입니다. 모든 데이터가 프레임워크에 코딩되었다고 해서 분석이 완료된 것은 아닙니다. 대신 연구자가 연구의 특정 목표로 돌아가 사례와 코드가 이러한 목표를 충족하는지 확인하고, 관심 있는 현상의 범위 또는 성격을 매핑하고, 유형학을 개발하고, 연관성 또는 설명을 식별해야 합니다(Ritchie와 Spencer 1994). 이 작업에는 분명히 데이터에 대한 해석이 포함되지만, 분석은 데이터에 가깝게 유지되며 일반적으로 추상화 수준이 제한적인 인사이트를 제공합니다.
This is not to suggest that FAMs are free of any interpretation or data transformation; instead, the transformation that takes place stays close to the raw data. Part of the power of FAMs rests in their ability to reduce large amounts of data into a purposefully constructed set of cases (i.e. the units of analysis; e.g. a participant interview) and codes (i.e. ‘a descriptive or conceptual label that is assigned to excerpts of raw data’ (Gale et al. 2013, p2). These cases and codes make up the coding frame which is applied to the entire dataset; this application is essentially a process of labelling data excerpts with the appropriate code. When all the data is coded into the framework, the analysis is not complete. Instead, as Ritchie and Spencer explain, this is when the researcher: returns to the study’s specific objectives and ensures that the cases and codes address these objectives; maps the range and/or nature of the phenomenon of interest; develops typologies; and identifies associations and/or explanations (Ritchie and Spencer 1994). While this work clearly involves interpretations of the data, the analysis stays close to the data and offers insights that are typically limited in their level of abstraction.

FAM을 사용하여 정성적 분석에 참여하는 방법
How to engage in qualitative analysis using a FAM

FAM을 사용하는 방법을 설명하기 위해, 우리는 이 우산 아래에서 프레임워크 방법(FM) 중 하나를 선택합니다. FM은 패턴 기반의 구조화된 기법을 사용하여 데이터를 사례와 코드가 교차하는 매트릭스로 구성하고, 결국 프레임워크 매트릭스의 도움으로 주제를 개발합니다(Gale 외. 2013). 사례(즉, 분석 단위)는 종종 개별 참여자이지만 사례는 참여자 그룹, 조직 또는 다른 범주일 수도 있습니다. 이 접근 방식은 사례를 비교하고 대조하는 것을 장려하기 때문에 데이터 세트가 비교적 균질하고 일관되게 수집되는 것이 중요합니다(Gale 외. 2013). 
To illustrate how to use FAMs, we select one from underneath this umbrella: the framework method (FM). FM uses a pattern-based and structured set of techniques to organize data into a matrix where cases intersect with codes, and eventually developing themes with the help of the framework matrix (Gale et al. 2013). The case (i.e. the unit of analysis) is often an individual participant, but a case could also be a participant group, an organization, or another categorization. Since this approach encourages the comparing and contrasting of cases, it is important that the dataset be relatively homogenous and consistently collected (Gale et al. 2013).

연역적 접근법에서는 기존 이론, 선행 연구 또는 특정 연구 목표를 기반으로 주제 및/또는 코드를 미리 선택하고, 귀납적 접근법에서는 데이터에서 코드와 주제를 생성한 후 분석이 진행됨에 따라 구체화합니다. FM은 전사, 익숙화, 코딩, 작동하는 분석 프레임워크 개발, 분석 프레임워크 적용, 프레임워크 매트릭스에 데이터 차트화, 데이터 해석의 7단계로 구성됩니다(Gale 외. 2013). 아래에서 각 단계를 설명합니다. 이러한 단계는 독립적인 연구자가 수행하거나 연구팀이 공동으로 수행할 수 있습니다. 특히 대규모 데이터 세트로 작업하는 경우, 데이터 관리 및 분석을 돕기 위해 정성적 데이터 분석 소프트웨어를 7단계 중 일부 또는 모두에 활용하는 것이 적절할 수 있습니다. 여기서 설명하는 단계는 FM에 국한된 것이지만, 이 단계에 관련된 작업은 다른 FAM에서 사용되는 많은 프로세스와 유사하다는 점에 유의하는 것이 중요합니다. 
FM can be used both deductively and inductively: in the deductive approach, themes and/or codes are pre-selected based on existing theories, prior research or specific study objectives; in the inductive approach, codes and themes are generated from the data and refined as analysis progresses. FM involves seven stages: transcription; familiarization; coding; developing a working analytical framework; applying the analytical framework; charting data into the framework matrix; and interpretating the data (Gale et al. 2013). We describe each of these below. These stages can be carried out by an independent researcher or collaboratively by a research team. Qualitative data analysis software may be relevant to utilize in many or all seven stages to aid data management and analysis, especially if working with a large dataset. It is important to note that the stages we describe are specific to FM; however, the work involved in these stages parallels many of the processes used in other FAMs.

1단계: 전사
Stage 1: Transcription

대부분의 정성적 분석 방법과 마찬가지로, FM을 사용한 데이터 분석 작업은 전사 작업으로 시작되며, 특히 연구자가 전사 작업을 수행하는 경우 더욱 그렇습니다. 따라서 단어 하나하나를 그대로 옮긴(즉, 축어체) 트랜스크립트를 작성하는 것은 데이터에 대한 첫 번째 검토 역할을 합니다. 그러나 외부 계약업체가 전사 작업을 수행하더라도 FM 연구자는 원본 녹음과 대조하여 전사본을 확인하여 정확성을 보장해야 합니다. 이 과정에서 연구자는 데이터에 몰입하여 연구 목적 및 질문과 관련하여 데이터를 고려해야 합니다. 질적 설문조사 응답을 사용하는 경우처럼 녹음된 데이터의 필사본이 필요하지 않은 경우(Palermo 외. 2019), 2단계가 첫 번째 분석 단계가 됩니다. 
As with most qualitative analysis methods, the work of data analysis using FM begins with transcription—especially if that transcription work is being done by the researcher. As such, the creation of a word-for-word (i.e. verbatim) transcript acts as a first review of the data. However, even if the transcription work is being conducted by an external contractor, the FM researcher should verify the transcript against the original recording to ensure accuracy. This process requires the researcher to immerse themselves in the data and consider them in relation to the research purposes and questions. If no transcription of recorded data is required, as in the case of using qualitative survey responses (Palermo et al. 2019), stage 2 becomes the first analysis phase.

2단계: 익숙화
Stage 2: Familiarization

다양한 질적 데이터 분석 방법에서 여전히 일반적인 이 단계에서는 연구자가 데이터 세트의 범위와 다양성에 익숙해져야 합니다. 이 단계는 본질적으로 데이터에 더 깊이 몰입하는 작업입니다. 익숙해지기 위해서는 기록이나 응답을 읽거나 녹음을 듣는 것이 포함됩니다. 이 숙지 과정에서 연구자는 핵심 아이디어, 생각, 인상, 반복되는 주제에 대한 맥락 및 반성적 메모를 작성해야 합니다.  
This phase of FM, which is still typical for many different qualitative data analysis methods, requires the researcher to become familiar with the range and diversity of the dataset. It is essentially the work of deeper immersion in the data. Familiarization can involve reading of transcripts or responses, and/or listening to recordings. During this familiarization, the researcher should write contextual and/or reflective memos of key ideas, thoughts, impressions, and recurrent themes that they notice.

3단계: 코딩
Stage 3: Coding

코딩의 어떤 형태는 많은 질적 분석 방법에서 공통적이지만, 이 단계에서는 FM이 다른 방법과 더욱 뚜렷해지기 시작하고 FM의 변형(예: 귀납적 또는 연역적)도 서로 달라지기 시작합니다. 이는 질적 방법론과 분석 방법마다 코딩에 접근하는 방식이 매우 다르기 때문입니다. 이 FM 단계에서 연구자는 간단한 설명 코드 또는 의역된 데이터 발췌문으로 데이터 세그먼트에 레이블을 지정합니다. 이 라인별 작업의 목표는 데이터를 조사할 수 있는 주요 문제와 개념을 식별하는 것입니다(Ritchie and Spencer 1994). 코드를 개발할 때 연구자는 데이터 세트의 모든 트랜스크립트(즉, 모든 사례)로 작업하거나 일부만 사용하여 코드를 개발하기로 결정할 수 있습니다. 
While some form of coding is common to many qualitative analysis methods, this is the phase where FM starts to become more distinct from other methods, and where variations of FM (e.g. inductive or deductive) also differ from each other. This is because different qualitative methodologies and analysis methods approach coding in very different ways. During this FM stage, the researcher labels data segments with brief descriptive codes or paraphrased data excerpts. The goal of this line-by-line work is to identify key issues and concepts according to which the data can be examined (Ritchie and Spencer 1994). When developing codes, it may be that the researcher decides to develop codes by working with all transcripts (i.e. all cases) in the dataset or by using only a few.

귀납적 분석을 지원하기 위해 FM을 사용할 때 Gale 등(2013)은 다음과 같이 제안합니다:
When using FM to support inductive analysis, Gale et al. (2013) suggest that:

코드는 실체적인 것(예: 특정 행동, 사건 또는 구조), 가치(예: 근거 기반 의학 또는 환자 선택에 대한 믿음과 같이 특정 진술을 알리거나 뒷받침하는 것), 감정(예: 슬픔, 좌절, 사랑) 및 보다 인상적/방법론적 요소(예: 인터뷰 대상자가 설명하기 어려운 것을 발견함, 인터뷰 대상자가 감정적이 됨, 인터뷰자가 불편함을 느낌)를 나타낼 수 있습니다. (p. 4)
Codes could refer to substantive things (e.g., particular behaviours, incidents or structures), values (e.g., those that inform or underpin certain statements, such as a belief in evidence-based medicine or in patient choice), emotions (e.g., sorrow, frustration, love), and more impressionistic/methodological elements (e.g., interviewee found something difficult to explain, interviewee became emotional, interviewer felt uncomfortable). (p. 4)

이와는 대조적으로, 순수 연역적 FM 연구에서는 주제가 미리 정의되어 있고, 이론, 모델 또는 문헌의 기존 연구 결과를 바탕으로 코드에 정보를 제공합니다(Onyura 외. 2017). 귀납적-연역적 결합 접근 방식을 결합한 경우, 코딩은 미리 식별되거나 개발된 프레임워크에 의해 부분적으로 정보를 얻을 수 있으며, 귀납적 코딩은 연역적으로 결정된 주제에 대한 하위 주제를 개발하는 데 사용될 수 있습니다(Redman et al. 2017).
In contrast, in a purely deductive FM study, themes will have been pre-defined, informed by a theory, a model, or existing findings from the literature, which then informs codes (Onyura et al. 2017). In combined inductive-deductive approaches, the coding can be partly informed by pre-identified or developed frameworks, and inductive coding can be used to develop sub-themes to deductively determined themes (Redman et al. 2017).

코드가 인사이트를 개발하는 기반이 되기 때문에 코드 개발은 FM에서 특히 중요한 측면입니다. Gale 등(2013)은 다음과 같이 설명합니다: '코딩은 모든 데이터를 분류하여 데이터 세트의 다른 부분과 체계적으로 비교할 수 있도록 하는 것을 목표로 합니다'(4페이지). 연구의 성공에 있어 코드의 중요성을 고려할 때, 연구자는 코드가 '적합하지 않거나' 데이터와 잘 맞지 않을 때를 인식하는 것이 필수적입니다. 이러한 상황에서는 연구자가 코드를 재고하고 개선할 준비가 되어 있어야 한다고 Ritchie와 Spencer(1994)는 제안합니다. 이는 연구팀에서 논의함으로써 이루어질 수 있으며, 이러한 관행은 데이터 분석을 더욱 견고하게 만들 것입니다. 
The development of codes is a particularly important aspect of FM since codes are the foundations from which insights are developed. As Gale et al. (2013) explain: ‘coding aims to classify all of the data so that it can be compared systematically with other parts of the dataset’ (p. 4). Given the centrality of codes to the success of the study, it is essential that the researcher recognizes when codes are not a good ‘fit’ or not well aligned with the data. In these situations, Ritchie and Spencer (1994) suggest that the researcher be ready to reconsider and refine codes. This might be done by discussing them in the research team—a practice that should make the data analysis more robust.

4단계: 작업용 분석 프레임워크 개발하기
Stage 4: Developing a working analytical framework

코드가 개발되면 연구자는 작업용 분석 프레임워크를 구축하여 보다 고유하고 정의적인 FM 단계로 진행합니다. 프레임워크는 명확하게 정의되고 설명된 전체 코드 집합으로 구성되며, 일부 코드는 카테고리로 묶여 있습니다. 팀으로 작업하는 경우 이 단계에서는 서로 다른 팀원들의 코딩 접근 방식을 조율해야 하며, 정확한 프로세스는 특정 연구에 대해 취하는 실용적이고 철학적 접근 방식과 분석 프로세스의 목표에 따라 달라집니다. 예를 들어 

• 귀납적 접근 방식으로 작업하는 경우, 연구팀은 코드의 개념화 전반에 걸친 차이를 어떻게 수용할지 결정해야 합니다(예: 한 연구자의 코드 'X'가 다른 연구자의 코드 'Y'와 충분히 겹쳐서 서로 병합할 수 있는가?). 이와 대조적으로
• 연역적 접근 방식에서는 연구자가 기존의 개념적 틀을 활용할 수 있지만(예: Onyura 외. 2017 및 표 4 참조), 연구자는 기존 이론, 모델 및/또는 문헌 기반 코드에 대한 각 코더의 해석이 일치하는지를 확인해야 합니다.

Once codes have been developed, the researcher progresses to the more unique and defining stages of FM by constructing a working analytical framework. This framework consists of the full set of codes—clearly defined and described—and with some codes being clustered together into categories. If working in a team, this phase will involve harmonization of different team members’ coding approaches; the exact process for that will depend on the practical and philosophical approach taken for a specific study, as well as the aims of the analysis process. For instance,

• if working from an inductive approach, the research team will need to determine how to accommodate differences across the conceptualizations of codes (e.g. does one researcher’s code ‘X’ overlap sufficiently with another researcher’s code ‘Y’ so that they can be merged together?). In contrast,
• in a deductive approach, researchers may draw on an existing conceptual framework (see e.g. Onyura et al. 2017 and Table 4), but the researchers will then need to confirm that each coder’s interpretation of the pre-existing theory, model, and/or literature-based codes are aligned.

연구자가 프레임워크가 연구 질문에 답할 수 있는 모든 관련 데이터를 포착하고 있다고 판단하기까지 여러 번의 반복이 필요하기 때문에 (귀납적 접근 방식과 연역적 접근 방식 모두) 프레임워크 개발 작업은 힘들 수 있습니다. Gale 등(2013)이 지적한 것처럼, 분석 프레임워크가 완성될 때까지 '기타' 또는 '기타'와 같은 자리 표시자 코드를 사용하여 점진적으로 개선할 수 있는 공간을 확보하는 것이 좋습니다. 연구자가 귀납적으로 데이터에 접근할수록 분석에 더 많은 시간이 소요될 수 있다는 점에 유의할 필요가 있습니다. 이는 분석 방법이나 접근 방식을 선택하기 전에, 그리고 분석 프로세스를 시작할 때 고려해야 할 실용적이고 방법론적인 고려 사항입니다. 
This work of developing the framework can be laborious since—for both inductive and deductive approaches—several iterations will be required before the researcher decides that the framework is capturing all the relevant data that will enable them to answer their research question(s). As Gale et al. (2013) point out, it is worth making space for this gradual refinement by using placeholder codes such as ‘other’ or ‘miscellaneous’ until the analytical framework can be finalized. It is worth noting that the more inductively the researcher approaches the data, the more time the analysis is likely to take. This is both a practical and methodological consideration worth giving some thought to prior to selecting an analysis method or approach, and when starting the analysis process.

5단계: 분석 프레임워크 적용
Stage 5: Applying the analytical framework

이전 단계에서 개발한 분석 프레임워크를 적용하기 위해 분석 프레임워크에 나열되고 설명된 코드를 사용하여 데이터 세트의 모든 트랜스크립트를 코딩합니다(즉, 코드와 관련된 모든 데이터는 수동으로 또는 소프트웨어의 태그를 사용하여 표시합니다). 연구 데이터 세트의 크기에 따라 질적 데이터 분석 소프트웨어를 사용하여 프레임워크를 적용하는 작업을 신속하게 처리할 수 있습니다. 데이터 세트에 많은 기록(예: 사례)이 있는 경우, 소프트웨어는 연구자가 모든 데이터를 코딩하고 정리할 뿐만 아니라 데이터 발췌문을 독립형 문서로 내보내 사례 간 비교를 용이하게 하는 데 도움을 줄 수 있습니다. 
To apply the analytical framework developed in the previous phase, all transcripts in the dataset will be coded (i.e. all data pertaining to a code will be marked, either manually or using tags in a software) using the codes listed and described in the analytical framework. Depending on the size of the study’s dataset, the work of applying the framework can be expedited using qualitative data analysis software. If the dataset has many transcripts (i.e. cases), software can help the researcher not only to code and organize all data, but also to export data excerpts into stand-alone documents, thereby facilitating cross case comparisons.

6단계: 프레임워크 매트릭스에 데이터 차트화
Stage 6: Charting data into the framework matrix

데이터를 코딩하는 데 사용된 분석 프레임워크를 기반으로 코드(또는 카테고리나 주제와 같은 상위 수준의 구성 요소, 예: Klingberg 외, 2022)와 사례(또는 사례 그룹, 예: Klingberg 외, 2022)를 스프레드시트 구조(예: 열은 코드를 나타내고 행은 사례를 나타내는 구조)로 결합하여 프레임워크 매트릭스를 구성합니다. 각 사례 및 코드에 대해 해당 코드와 관련된 성적표의 측면에 대한 요약 설명을 포함하거나 대표적인 인용문을 매트릭스에 도표로 표시할 수 있습니다. 이렇게 하면 여러 사례 또는 그룹에서 패턴과 뉘앙스를 추적할 수 있습니다.
Based on the analytical framework used to code the data, a framework matrix is constructed by combining codes (or higher-level constructs, such as categories or themes, e.g. Klingberg et al. 2022) and cases (or groups of cases, e.g. Klingberg et al. 2022) into a spreadsheet structure (e.g. where columns represent codes and rows represent cases). For each case and code, a summary description of the aspects of the transcript that relate to that code can be included, or a representative quote can be charted into the matrix. This allows for patterns and nuances to be traced across the different cases or groups.

7단계: 데이터 해석
Stage 7: Interpreting the data

코드를 결정하고 메모를 작성할 때 분석의 초기 단계에서 이미 어느 정도의 해석이 이루어졌다면, 보다 공식적인 데이터 해석 및 테마 생성 단계는 데이터를 프레임워크 매트릭스에 차트화한 후에 이루어집니다. 이 단계에서는 연구자가 연구 목적과 연구를 주도하는 연구 질문을 검토합니다. Ritchie와 Spencer(1994)는 이 단계의 기본 프로세스로 연구자가 차트화된 데이터를 검토하고, 연구 노트/메모를 검토하고, 사례 간 비교 및 대조하고, 패턴과 연관성을 찾고, 연구 질문과 관련된 결과를 밝히는 데 도움이 되는 설명을 찾아야 한다고 언급했습니다. Gale 등(2013)은 다음과 같이 잠재적인 해석 방법을 설명합니다: 
While some level of interpretation already takes place during the earlier phases of analysis when deciding on codes and writing memos, the more formal phase of data interpretation and theme generation occurs after charting data into the framework matrix. This is when the researcher reviews the study purposes and research question(s) driving the research. Ritchie and Spencer (1994) noted that the basic processes for this stage require the researcher: to review the charted data; to examine research notes/memos; compare and contrast across cases; search for patterns and connections; and to seek out descriptions that help to illuminate findings relevant to the research question(s). Gale et al. (2013) describe potential interpretive avenues as follows:

점진적으로 데이터의 특징과 데이터 간의 차이점을 파악하여 유형학을 생성하고, 이론적 개념(이전 개념 또는 데이터에서 나온 개념)을 질문하거나, 범주 간의 연결을 매핑하여 관계 및 인과관계를 탐색합니다. 데이터가 충분히 풍부하다면 이 과정을 통해 도출된 결과는 특정 사례에 대한 설명을 넘어 현상의 출현 이유, 조직이나 기타 사회적 행위자가 상황을 어떻게 유발하거나 대응할지 예측하거나 조직이나 시스템 내에서 제대로 작동하지 않는 영역을 식별하는 데까지 확장될 수 있습니다(5페이지).
Gradually, characteristics of and differences between the data are identified, perhaps generating typologies, interrogating theoretical concepts (either prior concepts or ones emerging from the data) or mapping connections between categories to explore relationships and/or causality. If the data are rich enough, the findings generated through this process can go beyond description of particular cases to explanation of, for example, reasons for the emergence of a phenomena, predicting how an organisation or other social actor is likely to instigate or respond to a situation, or identifying areas that are not functioning well within an organisation or system (p. 5).

또한 데이터 해석은 종종 작성 과정에서 개발되고 개선되므로, 연구 원고를 작성하는 과정도 분석 과정의 일부로 간주된다는 점을 기억하는 것이 중요합니다. Gale 등(2013)은 주제를 분석의 최종 결과물로 설명하지만, 해석의 정확한 과정과 결과는 연구 목적, 분석 접근법(귀납적 또는 연역적), 해당 연구의 설계에 따라 달라집니다. 
It is also important to remember that data interpretations are often developed and refined throughout the writing process and so the process of writing the research manuscript is considered part of the analytic process. While Gale et al. (2013) describe themes as the final output of analysis, the exact process and outcome of interpretation will depend on the purpose, analysis approach (i.e. inductive or deductive), and design the study in question.

HPE 연구에서의 FAM 예시
Examples of FAMs in HPE research

과거에 HPE 학자들이 FAM을 어떻게 성공적으로 사용했는지 설명하기 위해 표 4에는 각각 약간 다른 방식(예: 귀납적, 연역적 또는 두 접근법의 조합)으로 FAM을 활용하는 현장에서 발표된 사례가 요약되어 있으며, 질적 또는 혼합 방법 HPE 연구에서 다양한 목적에 맞는 FAM의 다용도성을 보여 줍니다. 
To illustrate how HPE scholars have successfully used FAMs in the past, Table 4 summarizes published examples from the field, each utilizing FAMs in slightly different ways (e.g. inductively, deductively or a combination of the approaches), illustrating the versatility of FAMs for different purposes in qualitative or mixed methods HPE research.

피해야 할 함정
Pitfalls to avoid

귀납적 및 연역적으로 모두 적용 가능하고, 대규모 정성적 데이터 세트를 분석할 수 있는 수단을 제공하며, 데이터 분석 프로세스에 비교적 구조화된 접근 방식을 제공하는 등 FAM은 상당한 이점을 제공하지만, 연구자가 피해야 할 몇 가지 함정도 있습니다. 첫 번째 함정은 특정 패러다임 내에서 연구를 진행하지 않고 FAM을 사용하는 것입니다(표 1 참조). HPE의 연구자들은 개별 학자들이 제기하는 질문, 개발할 수 있는 지식의 종류, 유용한 방법의 종류, 기대되는 엄격성의 표준을 개념화하는 방식을 형성하는 다양한 연구 전통에 따라 연구에 참여합니다. 이러한 전통 또는 패러다임은 HPE 연구자가 개별 FAM을 활용하는 방식을 변화시킬 것입니다. 따라서 연구자는 단순히 FAM의 단계를 따른다고 가정해서는 안 되며, 패러다임적 방향과 연구의 품질 및 엄격성에 대한 기본 기대치에 맞게 FAM 사용을 조정해야 합니다(Varpio 및 MacLeod 2020). 
Although FAMs offer significant benefits (e.g. being applicable both inductively and deductively; offering means of analyzing large qualitative datasets; and offering relatively structured approach to the data analysis process), there are also certain pitfalls that researchers will want to avoid. The first pitfall is using FAMs without situating their research within a specific paradigm (see Table 1). Researchers in HPE engage in their studies from different research traditions that shape how individual scholars conceptualize the questions being asked, the kind of knowledge that can be developed, the kinds of methods that are useful, and the standards of rigor that are to be expected. These traditions—or paradigms—will change the way the HPE researcher harnesses individual FAMs. Therefore, researchers should not assume that they simply follow the stages of an FAM; instead, they must tailor their FAM use to align with their paradigmatic orientation and the underlying expectations of quality and rigor for the study (Varpio and MacLeod 2020).

또 다른 함정은 [해석]과 [FAM의 보다 구조화된(그리고 잠재적으로 더 따르기 쉬운) 요소] 사이의 균형을 맞추는 문제입니다. 예를 들어, Gale 외(2013)의 FM에서 테마는 전체 데이터 집합을 분석한 최종 결과물로 설명되지만, 분석 단계가 프레임워크 매트릭스에서 테마를 정확히 어떻게 개발해야 하는지를 지시하지는 않습니다. 이는 연구의 접근 방식(예: 귀납적, 연역적 또는 혼합)과 목적(예: 설명적 또는 탐색적)에 따라 달라집니다. 이때 연구 도구로서 질적 연구자의 역할이 강조되어야 하며, 각 연구자는 자신이 선호하는 방식으로 주제를 개발하는 작업에 참여하게 됩니다.

• 귀납적 접근법의 경우, 프레임워크 매트릭스 구조를 사용하여 코드, 범주, 사례 비교를 점진적으로 읽고 다시 읽으면서 이러한 요소들 간의 연결고리를 만들어내는 주제에 대한 분석 메모를 생성하는 등 주제 개발을 지원하는 것이 도움이 될 수 있습니다.
• 연역적 접근법의 경우, 테마는 분석의 결과라기보다는 입력이므로 해석 작업은 관련 테마에 맞춰 코딩 및 프레임워크 개발을 수행하는 데 중점을 둡니다.

연구를 뒷받침하는 접근 방식과 목표에 관계없이 모든 연구 과정과 결과가 목표, 목적 및 수행된 관행에 따라 투명하고 일관되게 보고되는 것이 중요합니다. 
Another pitfall is the challenge of balancing interpretation with the more structured (and potentially easier to follow) elements of an FAM. For example, in Gale et al. (2013) FM, themes are described as the final output of analyzing the entire dataset, but the stages of analysis do not dictate how exactly to develop themes from the framework matrix. This will depend on the approach (i.e. inductive, deductive, or mixed) and aim (e.g. descriptive or exploratory) of the study. This is where the role of the qualitative researcher as a research instrument must be emphasized; each researcher will engage in the work of developing themes in their own preferred way.

• In an inductive approach to FM, it may be helpful to use the framework matrix structure to support the development of themes by, for example, gradually reading and re-reading codes, categories, and case comparisons to generate analytic memos of themes they identity that create connections between these elements.
• In the case of deductive approaches, themes are inputs rather than outputs of the analysis and, as such, the work of interpretation centers on carrying out coding and framework development in line with the relevant themes.

Regardless of the approach and aim that underpins the study, it is important that all research processes and findings are reported transparently and consistently with aims, objectives, and undertaken practices.