Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

데이터로서 스토리, 스토리로서 데이터: 임상교육에서 내러티브 탐구의 의미찾기(Med Educ, 2005)
Stories as data, data as stories: making sense of narrative inquiry in clinical education* 
Alan Bleakley

숫자를 넘어서는 통찰력
Getting beyond the numbers

마크 해든의 소설 '밤에 일어난 개들의 기이한 사건'은 자폐 스펙트럼에 속하는 아스퍼거 증후군을 앓고 있는 소년의 마음을 들여다볼 수 있는 통찰력을 제공합니다. '수학에 대해서는 아주 많이 알지만 인간에 대해서는 거의 알지 못한다'는 소년의 세계는 사람이 아닌 숫자입니다. 주인공 크리스토퍼는 자신의 욕망에 대한 메시지를 담고 있는 타인의 이야기에 공감하지 못하는 놀라운 능력을 보여줍니다. 이와 같은 내러티브 통찰력의 부족은 의학계에서 체계적으로 배양된 것으로 볼 수 있는데, 의료 사례 연구의 특징적인 평면적이고 분리된 설명2은 의료 행위가 '이야기 속에 자리 잡고 있는' 현실을 감추는 역할을 합니다.3 또한 이러한 이야기는 연구를 위한 풍부한 소스를 제공합니다. 이야기의 중요성을 부정하는 의학계의 자폐증에 대한 도전이 제기되면서 임상 교육 연구자들은 '숫자가 아니라 환자를 치료하라'는 격언을 실천하기 위해 이야기 탐구 방법론을 연마한 인류학,4 심리학5 및 사회학6과 같은 학문을 활용하기 시작했습니다. 이는 숫자 치료의 가치를 부정하는 것이 아닙니다. 해든의 소설에서 크리스토퍼가 말했듯이 '많은 것이 미스터리입니다. 하지만 그렇다고 해답이 없다는 뜻은 아닙니다. 단지 과학자들이 아직 답을 찾지 못했을 뿐입니다. 
Mark Haddon's1 novel The Curious Incident of the Dog in the Night-Time offers an insight into the mind of a boy suffering from Asperger's syndrome, a condition on the autistic spectrum. The boy's world is numbers, not people: ‘he knows a very great deal about maths and very little about human beings’. The central character, Christopher, shows a striking inability to empathise with the narrative accounts of others that carry messages about their desires. An equivalent lack of narrative acumen can be seen to have been systematically cultivated in medicine, where the telling symptom is the characteristically flat, detached account of the medical case study2 serving to conceal the reality that medical practice is ‘entrenched in stories’.3 Further, such stories afford rich sources for research. As a challenge emerges to medicine's self-imposed institutional autism that is a denial of the importance of story, clinical education researchers are beginning to draw on disciplines such as anthropology,4 psychology5 and sociology6 that have honed their narrative inquiry methodologies, to address the maxim: ‘treat the patient, not the numbers’. This is not to deny the value of treating numbers. As Christopher, in Haddon's novel, says: ‘Lots of things are mysteries. But that doesn’t mean there isn't an answer to them. It's just that scientists haven't found the answer yet.'

이전에는 인문학의 영역으로 여겨졌던 건강과 질병에 대해 정서적, 관계적, 윤리적, 상상력적인 측면에 초점을 맞춘 질적 연구 형태가 등장했습니다. 일부 내러티브 연구자들은 질병에 대한 환자의 이야기와 같은 이야기를 데이터로 수집하고 분석하는 데 관심이 있으며,6,7 다른 연구자들은 삶의 경험 데이터를 내러티브 형식으로 재구성하여 연구 결과물로 제시합니다.8,9 데이터로서의 이야기, 이야기로서의 데이터 - 내러티브 탐구의 세계에 오신 것을 환영합니다. 
Qualitative forms of research have come to engage with health and illness in ways that were considered previously the province of the humanities, focusing upon affective, relational, ethical and imaginative aspects of experience. Some narrative researchers are interested in taking stories, such as patients' accounts of illness, and analysing them as data,6,7 while other researchers re-present the data of life experience in narrative form as a research product.8,9 Stories as data and data as stories − welcome to the world of narrative inquiry.

단일 사례에 초점을 맞춘 '내러티브 기반 의학'10은 인구 연구에서 도출되고 정량적이며 일반화 가능성을 추구하는 지배적인 증거 기반 접근법을 보완할 수 있습니다. 후일러9는 뉴멕시코 대학교 시체 안치소에서 감사 연구 프로젝트를 수행한 사례를 소개합니다. 그는 사망 연도별로 정리된 법정 크기의 마닐라 봉투 더미를 뒤지며 '자동' 모드로 전환하여 컴퓨터에 데이터를 입력하고 '잔여물을 증류'하는 작업을 했습니다. 하일러는 '숲속의 여인이 저지른 행위'라는 범죄 현장 사진에 적나라하게 드러난 비극에 마취된 듯 눈앞에 펼쳐진 비극에 빠져들었습니다. 자살로 의심되는 숲속의 죽은 여인의 사진이 주는 감정적 충격은 그의 '감사' 사고방식과 냉정하게 일치하는 객관적인 의학적 설명과 극명한 대조를 이룹니다: '받은 시신은 진행 단계에있는 중년 백인 여성의 시신입니다 ...'. 갑자기 하일러는 자살한 할머니를 떠올립니다. 그는 이를 떨쳐버리고 당면한 과제에 집중합니다: '그만해, 이건 설명적 통계, 역학이야...'라고 스스로에게 말했습니다.
A ‘narrative-based medicine’10 focused on the single case can complement the dominant evidence-based approach that draws from population studies, is quantitative and seeks generalisability. Huyler9 describes carrying out an audit research project at the morgue of the University of New Mexico. Working through a pile of legal-sized manila envelopes arranged by year of death, he would go into ‘automatic’ mode, typing data into a computer, ‘distilling them to a residue’. Huyler found himself anaesthetised to the tragedies that spread out before him, explicit in the photographs of crime scenes: ‘the act done … the woman in the woods’. The emotional impact of the photograph of the dead woman in the woods, a suspected suicide, contrasts starkly with the concurrent, objective medical description that chillingly correlates with his ‘audit’ frame of mind: ‘The body received is that of a middle-aged Caucasian woman in the advanced stages of…’. Suddenly Huyler thinks of his grandmother, who also committed suicide. He shrugs this off and stiffens to the task at hand: ‘Enough of that, I told myself …This is descriptive statistics, epidemiology …’.

질적 연구는 종종 '하드' 과학과 달리 '소프트'하다는 고정관념이 있지만,11 내러티브 조사의 소프트 데이터는 하드한 현실을 조명할 수 있습니다. 예를 들어, 리치와 그레이(Rich와 Grey)12는 '숫자를 넘어서'라는 부제가 붙은 연구에서 '관통 폭력'을 당한 48명의 젊은 흑인 생존자에게 외상 수술이 미친 영향을 고려했습니다. 심층 인터뷰를 통해 사회적으로 소외된 환자들의 삶에 대한 극적인 통찰력을 제공하는 내러티브 스토리를 발굴했으며, 참가자들은 그들의 세계에 진정한 관심을 보이는 연구자들을 통해 힘을 얻었습니다. 객관적인 이환율과 사망률 데이터는 특징적으로 얼굴이 드러나지 않지만, 내러티브 조사는 사람을 대상으로 하는 연구가 아니라 사람에 대한 연구로서 의도적인 개입을 통해 연구 대상자를 개인화할 뿐만 아니라 능동적으로 참여시키려고 노력하는 경우가 많습니다. 
Qualitative studies are often stereotyped as ‘soft’, in contrast to the ‘hard’ sciences11 but narrative inquiry's soft data can illuminate hard realities. For example, Rich and Grey,12 in a study subtitled ‘getting beyond the numbers’, consider the impact of trauma surgery on 48 young, black survivors of ‘penetrating violence’. In-depth interviews stimulated narrative accounts that give dramatic insight into the lives of these socially marginalised patients, while the participants are empowered through researchers showing a genuine interest in their worlds. While objective morbidity and mortality data characteristically remain faceless, narrative inquiry often seeks not only to personalise but also to engage proactively with its research population through deliberate intervention, as research with, not on, people.

양적 대 질적 논쟁을 넘어, 두 가지 질적 접근법 사이의 명백한 긴장을 다룸으로써 임상 교육에서 내러티브 탐구 분야를 이해할 수 있습니다.

• 첫 번째는 내러티브의 구조를 분석하고 분류를 도출하는 방법입니다.
  • '이야기에 대해 생각하기'6를 하는 이 접근법은 연구자가 분석적 사고방식을 채택해야 하며, 원시 데이터에서 귀납적으로 범주를 도출하거나 설명 또는 조명을 위해 내러티브에 다시 범주를 적용하는 것을 포함합니다.
• 두 번째는 내러티브에 대한 보다 총체적이고 통합적인 이해를 추구하는 방법으로, 주어진 내러티브에 공감적으로 '들어가거나' 구조적 분석에서 놓칠 수 있는 요소를 포착하기 위해 연구 결과물로서 스토리를 만드는 것입니다.
  • 이러한 '이야기로 사고하기'6의 접근 방식은 수사학과 같은 문학적 장치에 대한 응용 지식으로서 '내러티브 역량'13을 종합하고 개발할 수 있는 연구자를 필요로 합니다. 이야기에 대한 분석적 접근이 환자를 객관화할 수 있다면, 종합적 접근은 이야기라는 매체를 통해 연구자와 실무자를 환자의 세계에 더 가까이 다가가게 하고, 은유적으로 청진기 역할을 한다고 주장합니다. 

Beyond the quantitative vs. qualitative debate, we can make sense of the field of narrative inquiry in clinical education by addressing an explicit tension between two qualitative approaches.

• First are methods that analyse the structure of narratives and derive classifications. This approach of ‘thinking about stories’6 requires a researcher to adopt an analytical mindset and involves deriving categories inductively from raw data, and/or applying such categories back to narratives for explanation or illumination.
• Second are methods that seek a more holistic and integrative understanding of narratives, either empathically ‘entering’ a given narrative, or creating a story as research product as a way of capturing elements otherwise lost to a structural analysis. This approach of ‘thinking with stories’6 requires a researcher who can synthesise and has developed ‘narrative competence’13 as applied knowledge of literary devices such as rhetoric. Where analytical approaches to stories may lead to objectifying the patient, approaches of synthesis claim to bring researchers and practitioners closer to the patient's world through the medium of story, acting − metaphorically − as stethoscope.

내러티브 연구에 대한 이러한 서로 다른 접근 방식 사이의 긴장은 의학에서 분석의 수준으로서 집단과 단일 사례 사이의 익숙한 구분을 반영합니다. 의학교육이 주로 과학적 방법을 지향하는 경우, 이야기에 대한 사고가 이야기로 생각하는 것보다 특권을 누릴 수 있습니다. 실제로 모리스14는 내러티브 탐구에서 이야기를 통한 사고는 '철저하게 무시'된다고 말합니다. 예를 들어, 의대생들은 자신이 들은 환자의 이야기를 분석적이고 양식화된 설명2으로 변환하는 방법을 빠르게 배우는데, 이는 객관화된 임상적 시선과 청각적으로 동등한 것입니다. 이러한 편향에 대응하기 위해 '균형 잡힌' 의학 교육은 임상 전문 지식과 내러티브 통찰력, 즉 전자는 과학에 기반하고 후자는 인문학에 기반한 통찰력을 종합적으로 제공할 수 있습니다.
The tension between these differing approaches to narrative research echoes the familiar distinction in medicine between population and the single case as levels of analysis. Where medical education is orientated primarily to scientific method, thinking about stories may be privileged over thinking with stories. Indeed, Morris14 suggests that thinking with stories is ‘thoroughly neglected’ in narrative inquiry. For example, medical students rapidly learn to translate the patients' stories they hear into analytical and stylised accounts2 as an aural equivalent of the objectifying clinical gaze. To counter this bias, a ‘rounded’ medical education could synthesise clinical expertise and narrative acumen − the former based on science, the latter on the humanities.

내러티브란 무엇인가요?
What is a narrative?

브루너15는 과학적 앎과 내러티브적 앎은 근본적으로 다르다고 주장합니다. 과학이 진리를 규명하는 데 관심이 있다면, 내러티브는 경험에 의미를 부여하는 데 관심이 있습니다. '내러티브'(L. narrare)는 '알다'라는 뜻으로, 스토리텔링은 단순히 사건의 투명한 서술이 아니라 지식 생산과 경험의 형성을 포함합니다.3 현대의 내러티브 탐구는 1980년대 사회과학에 대한 재고가 활발했던 시기에 사빈16이 과학의 지배적인 기계 은유에 도전하면서 내러티브를 인간 활동의 근본 조직 원리라고 설명하면서 공고화되었습니다. 내러티브에 대한 정통적인 견해는 '일련의 사건에 대한 조직화된 해석'이라는 Murray의 정의17를 따릅니다. 이야기는 무질서한 사건의 시리즈로 경험될 수 있는 것에 시간적 질서를 부여합니다.18 플롯은 사건을 시퀀스로 배치하여 내러티브를 구성하지만, 일반적으로 주체, 의도, 수단, 목표 및 설정과 같은 이야기 요소 간의 불일치를 통해 긴장감을 조성합니다. 따라서 내러티브는 종종 기대에 반하여 익숙한 것을 낯설게 만들며, 어떤 이야기도 단일한 읽기나 의미를 갖지 않습니다.3 Strawson19은 내러티브 연구에서 모든 경험을 이야기로 취급하는 경향에 대해 경고하며, 일부 개인은 삶을 '통시적'(시간)이 아닌 '에피소드적'(공간)으로 경험할 수 있다고 말합니다.
Bruner15 argues that scientific and narrative ways of knowing are fundamentally different. Where science concerns itself with the establishment of truth, narrative's concern is to endow experience with meaning. ‘Narrative’ (L. narrare) means ‘to know’ and storytelling involves knowledge production and shaping of experience, not simply transparent recounting of events.3 Contemporary narrative inquiry was consolidated in the 1980s, during a fertile period of rethinking the social sciences, where Sarbin16 challenged the dominant machine metaphor of science, describing narrative as a root organising principle of human activity. The orthodox view of narrative follows Murray's17 definition: ‘an organized interpretation of a sequence of events’. Story brings temporal order to what would otherwise be experienced as a series of chaotic events.18 Plot structures narrative by putting events into a sequence, but tension is usually created through misfit between the elements of story such as agency, intention, means, goal and setting. Narratives thus often run counter to expectations, making the familiar unfamiliar, and no story has a single reading or meaning.3 Strawson19 warns against a tendency in narrative studies to treat all experience as story, where some individuals may experience life as ‘episodic’ (in space) rather than ‘diachronic’ (in time).

• 내러티브에 대한 초기 학문적 연구는 내러티브의 내용, 즉 내러티브의 내적 구조에 관심을 두어 '내러톨로지'라는 용어를 탄생시켰습니다.18 내러톨로지스트들은 시간 속에서 전개되는 이야기의 패턴이나 인물과 행동 사이의 관계를 분석하여 이야기를 일련의 형식적 규칙과 전형적인 구조로 축소시켰습니다. 라보프20는 '장면 설정'과 같은 내러티브 요소의 기능에 따라 내러티브를 기능적으로 분류하면서 이러한 전통을 발전시켰습니다.
• 그러나 다른 이론가들은 이야기의 구조에 대한 추상적 분석에는 관심이 적었고, 내러티브를 사회적 맥락에서 이야기가 수사학적으로 사용되는 방식과 같은 담론으로 취급하는 것을 선호했습니다. (수사학은 은유와 같은 장치를 통해 언어를 표현적이고 설득력 있게 사용하는 것을 말합니다.) 이러한 담론적 접근 방식은 스토리의 내용보다는 방식, 즉 사건보다는 스토리의 의미가 연구의 초점을 제공하는 것으로 생각할 수 있습니다.
• 구조적 접근이 이야기를 투명하고 설명적인 것으로 취급하는 경향이 있다면, 현대 담론적 접근은 이야기를 사회적 의미를 구성하는 것으로 봅니다.3,21,22 앞서 소개한 이야기에 대해 생각하는 것과 이야기로 생각하는 것 사이의 긴장, 즉 내용으로서의 이야기(구조) 대 과정으로서의 이야기(담론) 사이의 긴장을 '이야기의 이중 논리'라고 부릅니다.22
• Early academic work on narratives concerned itself with story content − the what, or internal structure, of narrative − giving rise to the term ‘narratology’.18 From analyses of patterns of stories unfolding in time, or the relations between characters and actions, narratologists reduced stories to a set of formal rules and typical structures. Labov20 refined this tradition, categorising narratives functionally according to what an element of narrative does, such as ‘scene-setting’.
• Other theorists, however, were less interested in abstract analysis of the structure of story, preferring to treat narrative as discourse − for example, how stories are used rhetorically in social contexts. (Rhetoric is the expressive and persuasive use of language through devices such as metaphor.) This discursive approach can be thought of as the way, rather than the what, of stories, where the meaning of a story offers the focus for research, rather than events.
• Where structural approaches tend to treat story as transparent and descriptive, contemporary discourse approaches see narratives as constructing social meanings.3,21,22 Echoing the tension, introduced earlier, between thinking about a story and thinking with a story, story as content (structure) vs. story as process (discourse) has been termed the ‘double logic of narrative’.22

에드워즈21은 '내러티브에 대한 연구는... 특정 이야기 내용이... 이야기 속에서 어떻게 사회적 행동을 수행하는지를 다루기보다는... 내러티브 구조의 일반화된 유형과 범주를 추구하는 경향이 있다'는 분석 중심의 연구로 인해 내러티브의 수사학적 목적의 중요성이 놓치고 있다고 지적합니다. 분석적 접근 방식은 이상화 경향이 있어 연구자들이 이야기를 미리 설정된 범주에 억지로 끼워 맞추도록 부추기며, 대안에 대응하여 자신의 신뢰성을 수사학적으로 관리하는 텍스트와 같이 특정 사회적 상황에서 특정 내러티브가 어떻게 작동하는지를 놓치게 됩니다. 예를 들어, 서로 다른 전문 분야의 의사들이 작성한 의뢰서 및 상담서의 수사학에 대한 연구에서 링가드 등은23 정신과 의사가 전문직 협회의 육성을 선호하는 의료-법적 문제에 대한 외과 의사의 편견과 같이 특정 관점을 홍보하는 데 사용되는 내용과 스타일의 차이에 주목했습니다. 이러한 편지는 중립적인 문서가 아니라 입장을 가정하고 저항을 예측하며 협력을 촉진하는 텍스트입니다. 의학교육에서 수사학은 세 가지 주요 영역에서 그 역할에 대해 연구되어 왔습니다.26,27

• 상호작용 관리,24 
• 은유를 사용한 임상적 판단,25 
• 정체성 구축이라는 

Edwards21 suggests that the importance of narrative's rhetorical purpose is missed by analytically orientated research where ‘studies of narrative… have tended to pursue generalized types and categories of narrative structure, rather than dealing with how specific story content… may perform social actions in-the-telling’. Analytical approaches tend to idealisation, encouraging researchers to force stories into preset categories, again missing how specific narratives work for specific social occasions, such as a text rhetorically managing its own credibility by countering alternatives. For example, in a study of the rhetoric of doctors' referral and consultation letters from differing specialties, Lingard et al.23 note differences in content and style used to promote certain favoured perspectives, such as surgeons' biases to medico-legal issues where psychiatrists favoured the cultivation of professional associations. Such letters are not neutral documents, but texts assuming positions, predicting resistance and promoting collaboration. In medical education, rhetoric has been studied for its role in 3 main areas:

• management of interactions,24 
• clinical judgements employing metaphor25 and
• identity construction.26,27

내러티브 방법
Narrative methods

이 섹션에서는 내러티브 조사에 대한 주요 방법론적 접근법을 비판적으로 살펴봅니다. 폴킹혼28은 연구 데이터를 수치, 짧은 형식, 내러티브의 세 가지 유형으로 구분합니다. 연구 질문이 공식화되면 연구자는 연구 질문을 다루기 위한 적절한 방법론을 결정해야 합니다. 내러티브 방법은 만성 질환과 같이 시간에 따른 경험을 연구하는 데 특히 적합합니다. 
This section examines critically the main methodological approaches to narrative inquiry. Polkinghorne28 distinguishes between three kinds of research data: numerical, short form and narrative. Once a research question has been formulated, the researcher must then decide on the appropriate methodology to address the research question. Narrative methods are particularly appropriate for researching experiences through time, such as chronic illness.

데이터 생성
Data generation

데이터는 비디오 또는 오디오 녹취록, 자연스러운 형태의 의사소통에 대한 현장 기록, 자극 회상과 같은 다양한 형태의 인터뷰, 사례 노트와 같은 인공물을 포함한 글쓰기 사례를 통해 생성할 수 있습니다. 확장 인터뷰는 내러티브 데이터를 생성하는 데 정기적으로 사용되지만 인터뷰 자체가 비판적으로 고려되는 경우는 드물며, 연구자들은 인터뷰가 어떻게 계획되고 수행되었는지 또는 효과적인 인터뷰에 필요한 자질에 대해 언급하지 않습니다.29,30 인터뷰는 너무 자주 목적을 위한 수단으로 취급되며, 지식(데이터 생성)을 적극적으로 구성하기 위한 사회적 매체가 아니라 정보 수집(데이터 수집)의 투명한 과정으로 취급됩니다. 미슬러30는 인터뷰의 몇 가지 잠재적 문제점으로 피험자의 이야기 흐름을 방해하여 내러티브가 단절되고, 인터뷰의 어떤 부분을 보고할지 선택할 때 편견이 생길 수 있다는 점을 지적합니다. 
Data can be generated through video or audio transcripts; field notes of naturalistic forms of communication; differing forms of interview such as stimulated recall; and examples of writing, including artefacts such as case notes. Extended interview is employed regularly in generating narrative data, but the interview itself is rarely considered critically, where researchers fail to comment on how the interview was planned and conducted, or on the qualities needed for effective interviewing.29,30 Interviewing is too often treated as a means to an end, and as a transparent process of information-gathering (data collection), rather than a social medium for active construction of knowledge (data generation). Mishler30 notes several potential problems with interviewing, such as stemming the flow of the subject's talk so that the narrative is fractured, and bias in selection of which parts of the interview are reported.

데이터 분석
Data analysis

후투넨 등31은 '내러티브 연구는 하나의 방법이 아니라 오히려 아메바처럼 느슨한 참조 프레임'이라고 도발적으로 제안합니다. 이와는 대조적으로, 내러티브 연구를 체계화한 설득력 있는 설명들이 많이 있습니다.6,7,32,33 내러티브 방법론은 '연구라기보다는 예술'이며 '거의 가르칠 수 없다'고 제안하지만, Lieblich 등은 내러티브 분석을 위한 명확한 틀을 제시하면서 전체론적 대 범주적, 내용 대 형식의 두 차원을 격자로 결합하여 네 가지 접근법을 형성할 수 있다고 말합니다(그림 1).

• 전체론적 접근법은 문화와 역사에 맥락을 둔 전체로서의 이야기를 취하고 전체적인 패턴이나 지도적 은유를 파악하려고 시도하는 반면,
• 범주적 접근법은 특정 에피소드를 분석합니다.
• 내용은 내러티브에서 일어나는 일이고
• 형식은 어떤 일이 일어나는 방식입니다. 

Huttunen et al.31 suggest, provocatively, that ‘narrative research is not a method… Rather, it is a loose frame of reference… amoeba-like’. In contrast, a number of eloquent accounts systematise narrative research.6,7,32,33 Despite suggesting that narrative methodology is ‘more art than research’ and ‘can hardly be taught’, Lieblich et al.33 proceed to offer a clear framework for narrative analysis, invoking two dimensions − holistic vs. categorical and content vs. form − that can be combined as a grid to form four approaches (Fig. 1). Holistic approaches take a story as a whole, contextualised in a culture and history, and attempt to grasp the overall pattern or guiding metaphors, where categorical approaches dissect particular episodes. Content is what happens in a narrative, form is how something happens.

폴킹혼28은 '내러티브의 분석'과 '내러티브적 분석'을 구분합니다. 내러티브적 분석은 실제로 내러티브를 통해 경험과 아이디어를 종합하는 과정이며, 여기서는 '내러티브를 통한 종합'으로 재구성합니다('내러티브 종합'은 무작위 대조 시험 이외의 방법으로 생산된 연구 데이터를 종합하는 방법으로 특정한 의미를 획득한 용어입니다). 내러티브의 복잡한 분야를 분석과 종합의 접근 방식 간의 단순한 대립으로 축소할 수는 없습니다. 그러나 이 관계를 생산적인 긴장으로 표현하면 내러티브 방법에 관심이 있는 의학교육자가 채택된 접근법의 한계를 비판적으로 고려하고, 거부된 경쟁 접근법도 제공할 수 있는 것을 참조하는 데 도움이 될 수 있습니다. 자물쇠와 열쇠의 비유를 통해 분석과 종합의 접근 방식은 서로 다른 것처럼 보이지만 함께 하나의 단위를 구성하며 혼합 방법론의 가치를 시사합니다. 
Polkinghorne28 distinguishes between the ‘analysis of narratives’ and ‘narrative analysis’. Narrative analysis is actually a process of synthesis of experience and ideas through narrative, and is reconfigured here as ‘synthesis through narrative’ (rather than ‘narrative synthesis’ − a term that has acquired a particular meaning as a way of synthesising research data produced by methods other than randomised controlled trials). The complex field of narrative cannot be reduced to a simple opposition between approaches of analysis and synthesis. However, articulating this relationship as a productive tension could help medical educators interested in narrative methods to critically consider the limitations of an adopted approach by reference to what the rejected, competing approach can also offer. Drawing on the analogy of lock and key, approaches of analysis and synthesis look different apart but constitute a unit together, suggesting the value of mixed methodologies.

내러티브의 분석: 스토리에 대해 생각하기
The analysis of narratives: thinking about a story

원시 내러티브 데이터에서 귀납적으로 카테고리 생성하기
Inductively producing categories from the raw narrative data

원시 내러티브에서 귀납적으로 범주를 도출하여 추가 조사를 위한 관리 가능한 데이터를 제공할 수 있으며, 종종 프레임워크 또는 유형학을 다시 적용하여 단일 사례를 조명할 수 있습니다. 그 예로 Frank가 제시한 '질병 내러티브'의 세 가지 유형인 '회복', '혼돈', '탐구'를 들 수 있습니다. 회복 이야기는 질병을 일시적인 것으로 합리화하고, 혼돈 이야기는 상황에 압도당하는 것을 묘사하며, 탐구 이야기는 질병을 변화의 기회로 받아들이는 것을 묘사합니다. 프랭크는 '지저분하게' 이야기되는 질병 이야기는 이러한 범주에 깔끔하게 속하지 않으며, 한 사람의 account에서 세 가지 범주가 모두 작용할 수 있다고 경고합니다. 만약 그렇다면 프랭크의 방식은 그저 유용한 휴리스틱에 지나지 않을 수 있다. 그리고 그는 개별 사례의 특수성이 유형학에 포함될 수 있다는 점을 최초로 지적한 사람이다. 그러나 그는 개인이 복잡한 이야기를 제시하는 경우, 실무자와 연구자가 어떤 종류의 틀 없이는 '실타래를 정리'하기 어렵다고 주장합니다. 중요한 것은 '(유형학의) 장점은 아픈 사람들이 말하는 이야기에 세심한 주의를 기울이게 하고, 궁극적으로는 아픈 사람들의 이야기를 경청하는 데 도움을 준다는 점'이라고 프랭크는 주장합니다. 그러나 이야기에 직접적으로 몰입하는 것이 아니라 추상적인 분석 프레임이 어떻게 더 공감적으로 경청할 수 있도록 준비시키는지는 알기 어렵습니다.
Categories may be drawn inductively from the raw narratives to provide manageable data for further investigation − often a framework or typology that can then be applied back to illuminate single cases. An example of this is Frank's6 three types of ‘illness narratives’: ‘restitution’, ‘chaos’ and ‘quest’. Restitution stories rationalise illness as transitory; chaos stories describe being overwhelmed by the situation; and quest stories describe acceptance of illness as opportunity for change. Frank warns that ‘messy’ recounted illness stories do not fall neatly into such categories and all 3 categories may be at work in any one person's account. Frank's scheme may then offer no more than a useful heuristic, and he is the first to note that particularity of the individual story may be subsumed in the typology. However, he argues that where individuals present messy stories, it is difficult for practitioners and researchers to ‘sort out the threads’ without some kind of framework. Importantly, Frank claims that ‘The advantage (of typologies) is to encourage close attention to the stories ill persons tell; ultimately, to aid listening to the ill.’ It is, however, difficult to see how an abstract analytical frame, rather than direct immersion in a story, prepares one to listen more empathically.

Bal18은 '분류, 유형화... 모두 혼돈-불안에 대한 치료법으로서 매우 좋지만, 과연 어떤 통찰력을 얻을 수 있을까요? '라고 경고합니다. 분류 방법은 여전히 '다루기 힘든' 데이터를 정리할 때 자연과학에서 영감을 얻습니다. 일반적으로 내러티브는 시간에 따라 전개되는 통시적으로 나타납니다. 통시적 내러티브 데이터는 범주 분석을 거치면 역사적 또는 발전적 차원이 없는 공시적 데이터로 축소됩니다. 예를 들어, 내러티브 인터뷰 데이터에 대한 Crossley의5 분석은 HIV 양성 판정을 받고 5년 이상 살아온 38명이 사용한 생존 전략을 자세히 설명합니다. 데이터에서 '현재에 대한 철학을 가지고 살기'(낙관적), '미래에 대한 철학을 가지고 살기'(거짓 낙관적), '공허한 현재에 살기'(비관적)라는 세 가지 전략이 '시간적 지향성'의 뚜렷한 범주로 나타났습니다. 이러한 범주는 위에서 설명한 Frank6의 범주와 매우 유사합니다.
Bal18 warns that ‘classification, typology… is all very nice as a remedy to chaos-anxiety, but what insights does it yield?’. Categorisation methods still look to the natural sciences for inspiration in organising otherwise ‘unruly’ data. Typically, narrative presents diachronically, unfolding in time. When subjected to category analysis, the diachronic narrative data is collapsed into synchronic data with no historical or developmental dimension. For example, Crossley's5 analysis of narrative interview data details the survival strategies used by 38 people who had been living with HIV positive diagnosis for at least 5 years. Three strategies emerged from the data as distinct categories of ‘temporal orientation’: ‘living with a philosophy of the present’ (optimistic); ‘living in the future’ (falsely optimistic); and ‘living in the empty present’ (pessimistic). These categories conveniently resemble those of Frank6 described above.

원시 내러티브 데이터에 카테고리 적용하기
Applying categories to the raw narrative data

원시 데이터에서 귀납적으로 도출된 범주는 이제 설명력을 주장할 수 있지만 종종 단순한 설명에 불과한 새로운 사례에 적용되는 프레임워크가 됩니다. 위의 Crossley의 범주는 Gergen과 Gergen의34 만성 질환의 시간적 모델과 수렴하여 퇴행성, 진행성, 안정성의 세 가지 내러티브를 다시 설명합니다. Murray17는 이 체계를 유방암 생존자의 이야기에 적용하여 세 가지 전략을 설명합니다:

• '안정적/퇴행적': 암을 고난의 삶에서 또 다른 좌절로 구성하는 이야기,
• '진보적': 질병을 기회로 여기고 종종 믿음을 찾거나 현재에 새롭게 집중하는 이야기,
• '안정적': 질병을 금욕적으로 받아들이고 통합하여 삶을 이어나가는 이야기입니다.

이러한 이야기는 절망, 희망, 수용이라는 핵심적인 은유를 드러냅니다. 머레이는 다발성 경화증 환자에게서도 같은 패턴을 볼 수 있다고 주장합니다. 작은 연구 영역 내에서 이러한 세 가지 분류 체계가 반복되는 것은 연구자들이 데이터에서 작동하는 어떤 원형적 패턴을 발견하는 것이 아니라 (모델의 교차 감염을 통해) 유형학을 구성하고 있을 수 있음을 시사합니다. 
Categories inductively derived from raw data now become frameworks applied to new cases that may claim explanatory power but are often merely descriptive. Crossley's categories, above, converge with Gergen and Gergen's34 temporal model of chronic illness, again describing three kinds of narratives: regressive, progressive and stable. Murray17 applies this scheme to stories of breast cancer survivors to delineate three strategies:

• ‘stable/regressive’, where stories configure cancer as yet another setback in a life of difficulties;
• ‘progressive’, where illness is seen as an opportunity and people often find faith, or a renewed focus upon the present; and
• ‘stable’, where illness is accepted stoically and integrated, in getting on with life.

These stories reveal central guiding metaphors: despair, hope and acceptance. Murray claims that the same pattern can be seen in people suffering from multiple sclerosis. The recurrence of such triple classificatory systems within a small arena of research suggests that researchers may not be uncovering some archetypal pattern at work in the data, but constructing typologies through cross infection of models.

내러티브를 통한 종합: 스토리로 사고하기
Synthesis through narrative: thinking with a story

내러티브 분석은 환자의 경험에 공감하는 강력한 방법을 제공할 수 있는 객관적인 주제에 스토리의 정서적 영향력을 잃는 경향이 있습니다. 내러티브를 통한 종합에는 두 가지 기본 접근법이 있습니다: 

• 첫째, '질병 내러티브'35 또는 '병리학'36,
• 둘째, 사회 현실주의 회고록입니다.8,9,37 

전자는 종종 연구자의 해석이 수반되는 경우가 많습니다. 후자는 일반적인 연구 장치를 버리고 저자가 서사적 라이선스를 최대한 활용하여 일관성 있고 자기 참조적인 사회 현실주의 소설을 제공합니다.
Narrative analysis tends to lose the affective impact of the story to objective themes, where such impact may offer a powerful way of empathising with the patient's experience. There are two basic approaches to synthesis through narrative:

• first, the ‘illness narrative’35 or ‘pathography’;36 and
• secondly, the social-realist memoir.8,9,37 

The former is often interpreted, with an accompanying gloss from the researcher. The latter abandons the usual research apparatus, where the author provides a coherent, self-referencing, social-realist fiction enjoying the full use of narrative licence.

질병 내러티브
Illness narratives

질병 내러티브 데이터는 일반적으로 공동 인터뷰를 통해 수집되며, 자서전적 글쓰기로 보완되며, 독자의 공감을 불러일으키기 위해 당사자의 목소리를 포착하려고 시도합니다. 이러한 내러티브는 특징적으로 의료 사례로 환원되는 것을 피하고 더 넓은 심리사회적 맥락에 해당 인물을 배치합니다. 예를 들어, 쿠저38는 '암은 의학적인 이야기가 아니라 감정의 이야기'라고 말하며 유방암 생존자의 내러티브에 나타나는 특징적인 '플롯마크'로 혹을 발견하고 진단을 받은 순간, 유방 절제술과 재건술을 포함한 치료법 선택의 어려움, 탈모, 식은땀, 조기 폐경 등 화학요법의 부작용, 성에 대한 혼란, 미래에 대한 결심 등을 제시합니다. 
Illness narrative data are usually collected through collaborative interviewing, supplemented by autobiographical writing, attempting to capture the voice of the person to invoke empathy in the reader. Such narratives characteristically avoid reduction to a medical case, situating the person in a wider psychosocial context. For example, Couser38 suggests that ‘cancer is more than a medical story, it's a feeling story', and notes characteristic ‘plotmarks’ to narratives of breast cancer survivors, such as the moments of discovery of a lump and diagnosis; difficulties of choice about treatments including mastectomy and reconstruction; the side effects of chemotherapy such as loss of hair, night sweats and early menopause; confusion over sexuality; and resolutions about the future.

이러한 내러티브는 자칫 자기만족적일 수 있는 고백적 이야기에 국한되지 않고39 질병을 안고 살아가는 데 있어 지적, 영적, 실제적 측면은 물론 정서적, 관계적 측면에 대한 통찰력을 제공합니다. 질병 내러티브를 통한 현대 연구는 상호작용과 정체성 형성의 수사학적 관리에 대한 명시적인 관심을 보여줍니다. Riessman40은 최근 이혼한 다발성 경화증을 앓고 있는 한 백인 노동계급 남성의 이야기를 들려줍니다. 이 남성은 강한 남성적 정체성을 유지하는 데 중점을 둔 자신의 삶을 이야기하면서 주요 사건을 선택적으로 수사학적으로 이야기함으로써 좌절에도 불구하고 자신의 정체성을 재구성합니다. 그가 청중을 대하는 방식은 우리가 그에 대한 인상을 형성하는 데 영향을 미칩니다. 
Such narratives are not limited to confessional accounts, that can be self-indulgent39 but give insight into the intellectual, spiritual and practical, as well as the emotional and relational, aspects of living with illness. Contemporary research through illness narratives shows explicit interest in rhetorical management of interaction and identity formation. Riessman40 offers an account of a recently divorced white working class male with advanced multiple sclerosis. The man reconfigures his identity, despite his setbacks, by selectively and rhetorically recounting key incidents in a narrative retelling of his life that centres on maintaining a strong masculine identity. The way he addresses the listener guides the impressions we form of him.

사회 현실주의 문학 작품
Social-realist literary accounts

이야기를 통한 사고의 더 강력한 버전은 회고록과 같은 사회현실주의적 '소설'을 쓰는 것입니다.8,9,37 이러한 기록은 체계적이고 엄격한 방식으로 데이터를 수집 및 분석하거나, 결론이나 권고에 도달하거나, 가설을 옹호하거나 위조하거나, 귀납적으로 테스트할 모델을 생성하거나, 타당성 및 신뢰성 점검을 유도하지 않기 때문에 기존의 정의에 따르면 '연구'로 분류되지 않습니다. 내러티브는 문학적 라이선스를 사용하여 이러한 엄격함을 노골적으로 과시할 수도 있지만, 도덕적 상상력을 명시적으로 다루는 중요한 '증인' 문서를 제공합니다. 
A stronger version of thinking with a story is to write a piece of social-realist ‘fiction’, as memoir.8,9,37 These accounts do not count as ‘research’ by conventional definitions, because they do not collect and analyse data in a systematic and rigorous way; reach conclusions or recommendations; uphold or falsify hypotheses; inductively generate models to be tested; or invite validity and reliability checks. While they may explicitly flaunt such rigour through employment of literary licence, such narratives offer important ‘witness’ documents explicitly addressing the moral imagination.

내러티브 연구자에게 필요한 속성
Attributes needed by narrative researchers

연구자의 특성은 내러티브 조사의 품질을 좌우하는 핵심 요소입니다. 내러티브 연구는 높은 수준의 윤리적, 비판적 참여와 사람과 유물을 모두 텍스트로서 면밀히 관찰하고 '읽는' 내러티브 감수성의 배양을 요구합니다.13 반사성과 모호성에 대한 관용은 이러한 집중적인 읽기에 매우 중요합니다.39 Gherardi와 Turner11는 '진짜 남자들은 부드러운 데이터를 수집하지 않는다'는 말을 뺨에 혀를 깨물며 상기시켜 줍니다. 이야기는 어린이(또는 여성)를 위한 것이 아닐까요? 내러티브 연구자의 가장 중요한 덕목은 아마도 연구 참여자뿐 아니라 데이터에 대해서도 여성 특유의 감수성을 발휘하는 것일 것입니다. 연구 대상이 숫자와 사물로 변할 수 있듯이, '부드러운' 질적 데이터도 무딘 상상력을 통해 쉽게 뭉개지거나 함부로 다룰 수 있습니다.  
The attributes of researchers are central to the quality of narrative inquiry. Narrative research demands high levels of ethical and critical engagement and the cultivation of a narrative sensibility, in which both people and artefacts are witnessed and ‘read’ closely, as text.13 Reflexivity and tolerance of ambiguity are critical to such intensive reading.39 Gherardi and Turner11 remind us, tongues firmly in cheeks, that ‘Real men don’t collect soft data'. Are stories not for children (or women)? Perhaps the most important virtue of a narrative researcher is the stereotypically feminine attribute of sensitivity − not simply to research participants, but also to data. As research subjects can be turned into numbers and objects, so ‘soft’ qualitative data can be readily squashed or treated in a ham-fisted way through a blunt imagination.

결론
Conclusion

이 글은 내러티브 탐구를 이해함에 있어 분석 접근법과 종합 접근법 사이의 명백한 분열을 비판적으로 다루었으며, 이를 생산적인 긴장으로 재구성하고 두 접근법 간의 동등성을 높일 것을 촉구했습니다. 내러티브 연구에 대한 접근 방식의 유형론을 제시하고, 이러한 프레임워크가 복잡한 탐구 분야를 이해하는 데 도움이 된다는 점을 인정합니다. 이야기의 구조(내용)를 강조하는 접근 방식과 이야기의 의미(담론)를 강조하는 접근 방식 사이의 긴장을 다루고 있습니다. 이는 두 가지 예를 통해 설명할 수 있습니다. 긴즈버그 외.41는 의대생들이 직업적 갈등을 해결하는 과정을 묘사합니다. 학생들은 직업적 실수를 보고할 때 특정 추론 전략을 통해 실수를 '다시 이야기'하는데, 그 중 하나가 바로 '내러티브 태도'입니다. 어떤 학생들은 중요한 사건을 다시 이야기하면서 책임을 회피deflect하는 반면, 다른 학생들은 반성reflect하는 모습을 보이기도 합니다. Good42는 의대생들이 사례 발표라는 장르를 학습함으로써 환자의 특이한 이야기를 의학적인 설명으로 바꾸고, 현상학적 묘사를 구체적인 병태생리학적 분석으로 전환하는 과정을 설명합니다. 이 과정은 진단과 치료에 대한 과학적 고려에 필요한 집중을 유도하고 의사를 불필요한 친밀감으로부터 보호하는 역할을 하지만, '사람을 의학적 문제로 공식화'하는 관행으로 이어집니다. 
In making sense of narrative inquiry, this article has critically addressed the apparent split between approaches of analysis and synthesis, reframing this as a productive tension and calling for greater parity between the two approaches. A typology of approaches to narrative research is offered, acknowledging that such a framework helps to make sense of a complex field of inquiry. A further tension is addressed − between approaches that emphasise the structure of a story (content) and those emphasising the meaning of a story (discourse). This can be illustrated by two examples. Ginsburg et al.41 describe medical students resolving professional conflicts. As they report professional lapses, students ‘re-story’ the lapse through certain reasoning strategies, one of which is ‘narrative attitude’. Some students characteristically deflect responsibility through re-storying critical incidents, where others reflect. Good42 describes how, through learning the genre of case presentations, medical students come to transform patients' idiosyncratic stories into medicalised accounts, where phenomenological description is translated into specific pathophysiological analysis. While this process encourages necessary focus upon scientific consideration of diagnosis and treatment, and also serves to protect the doctor from unnecessary intimacy, it results in a practice where ‘persons are formulated as… medical problems’.

첫 번째 예에서 의학교육자가 직면한 과제는 편향적 전달이 아닌 성찰적 전달 전략을 촉진하는 방법입니다. 두 번째 예에서 의학교육자의 역할을 하는 의사가 전통적으로 학생과 후배를 표준 사례 발표의 구조와 내용에 익숙하게 만드는 경우, 환자의 이야기를 변형하는 과정에서 공감을 저해할 수 있는 담론과 수사학적 관행 같은 사례 발표에 대해 어느 정도 인식하고 있을까요? 또한, 의학교육자들은 이야기를 매개로 민감한 경청을 교육하여 다시 공감을 이끌어낼 수 있는 종합적인 접근 방식보다 이야기에 대한 수렴적이고 분석적인 접근 방식을 선호하는 경향이 있을까요? 내러티브는 실습의 우연한 부산물로 여겨지기보다는 체계적인 임상 학습을 위한 강력한 매체가 될 수 있습니다. 의학교육의 또 다른 과제는 이러한 주장을 평가하는 것입니다. 

In the first example, the challenge to medical educators is how to promote reflective, rather than deflective, strategies of telling. In the second example, where doctors, in the role of medical educators, traditionally socialise students and juniors into the structure and content of the standard case presentation, to what extent are they aware of such case presentation as discourse and rhetorical practice that, in transforming the patient's story, may compromise empathy? Further, will medical educators tend to privilege convergent and analytical approaches to story over divergent approaches of synthesis that may educate sensitive listening through story as a medium, again leading to empathy? Rather than being seen as an accidental by-product of practice, narratives can offer a potent medium for structured clinical learning. A further challenge for medical education is to evaluate such a claim.

서사 탐구: 의학교육의 관계적 연구 방법론(Med Educ, 2017)
Narrative inquiry: a relational research methodology for medical education
D Jean Clandinin,1 Marie T Cave2 & Charlotte Berendonk3

소개
Introduction

의학계에서는 환자의 이야기에 귀를 기울이는 것이 중요하기 때문에 내러티브와 스토리에 대한 관심이 항상 있어 왔습니다. 작가이자 의사였던 콜스1는 의사가 환자의 이야기에 귀를 기울여야 환자의 질병뿐만 아니라 자신의 지식에 대해 더 많은 것을 배울 수 있다고 주장했습니다. 그러나 이러한 이야기를 연구할 수 있는 가능성을 발견한 것은 그보다 역사가 짧습니다. 이러한 가능성은 브루너2가 내러티브 지식과 패러다임적 지식의 차이를 강조한 이후 가시화되기 시작했습니다.

• 전자(내러티브)는 '인간 또는 인간과 유사한 의도와 행동, 그리고 그 과정을 표시하는 우여곡절과 결과를 다룹니다. 본질적으로 시간을 초월하기보다는 일시적인temporal 것'입니다.
• 후자(패러다임)는 현상 관찰, 경험적 데이터 수집 및 분석, 결과의 일반화 가능성 가정 등 재현 가능한 단계에 의존하는 논리-과학적 추론 과정을 사용합니다. 이러한 특징 때문에 패러다임적 사고는 물질 과학과 생물 과학에서 지배적인 추론 접근법으로 자리 잡았습니다.

There has always been interest in narrative and story in medicine through the importance of attending to what patients say. Coles,1 a writer and physician, called for physicians to listen to patients’ stories so as to learn more about their own knowledge as well as about their patients’ illnesses. However, seeing the possibilities for researching those stories has a shorter history. These possibilities began to become visible after Bruner2 highlighted the distinction between narrative and paradigmatic knowledge.

• The former ‘deals in human or human-like intention and action and the vicissitudes and consequences that mark their course. It is essentially temporal rather than timeless’.
• The latter employs a logico-scientific reasoning process, which relies on replicable steps, including observation of phenomena, empirical data collection and analysis and the assumption of generalisability of findings. These features led to paradigmatic thinking as the dominant reasoning approach in material and biological sciences.

의학교육에서 패러다임적 지식은 Flexner3가 임상 전 기초과학 학습을 도입한 이후 다른 형태의 지식을 압도해 왔습니다. 패러다임적 지식이 임상적 사고의 필수적인 부분이라는 데는 동의하지만, 임상의가 임상 진료의 불확실성과 모호성, 특히 진단의 불확실성에 직면할 때 패러다임적 지식만으로는 충분하지 않습니다.
In medical education, paradigmatic knowledge has swamped other forms of knowing since Flexner's3 introduction of pre-clinical basic science learning. Although we agree that paradigmatic knowledge is an essential part of clinical thinking, it is not enough when clinicians face the uncertainty and ambiguity of clinical practice, particularly the uncertainty of diagnosis.

브루너의 구분은 부분적으로 내러티브 연구 방법론의 개발을 가능하게 했습니다. 사회과학 연구자들은 1980년대 후반 '내러티브 혁명'이라고도 불리는 내러티브 연구 접근법의 급속한 수용과 함께 내러티브를 연구 방법론으로 발전시키기 시작했습니다.4 그러나 내러티브 연구 접근법으로 빠르게 전환하면서 연구자들이 내러티브라고 부르는 것이 무엇인지, 내러티브 연구 안에 무엇이 포함되는지 아직 잘 이해되지 않았습니다.5, 6 '이야기'와 '내러티브' 같은 용어는 종종 혼용되어 사용되지만 내러티브 연구에서는 다른 의미를 지니고 있습니다.7, 8 내러티브 연구에서 내러티브가 무엇을 의미하는지에 대한 명확한 정의가 없는 상황에서,7 학자들은 현재 진행 중이거나 다가오는 사건에 대한 대화와 같이 상호작용이 이루어지는 '작은 이야기' 접근법,9,10 또는 인생 이야기나 자서전에 초점을 맞춘 '큰 이야기' 접근법을 언급합니다.7 또한 내러티브는 '내면에 기반한 현상'과 '사회적 행동'11으로 간주되며 구체화된 경험으로 간주됩니다.5 1990년대에 Mishler12 가 내러티브 연구의 경계를 정하는 것을 경계했지만, 명확한 정의가 부족하여 약간의 혼란이 발생하고 있습니다. 
Bruner's distinction, in part, made it possible to develop narrative research methodologies. Social science researchers began to develop the idea of narrative as a research methodology in the late 1980s with a rapid uptake of narrative research approaches, sometimes called the ‘narrative revolution’.4 However, with the rapid turn to narrative research approaches, just what researchers were referring to as narrative, or what was included within narrative research, is not yet well understood.5, 6 Terms like ‘story’ and ‘narrative’ are often used interchangeably yet carry different meanings in narrative research.7, 8 With no clear definition of what narrative means in narrative research,7 scholars refer to ‘small story’ approaches such as conversations about ongoing or upcoming events, in which interaction is in the midst,9, 10 or big story approaches focusing on life stories or autobiographies.7 Furthermore, narratives are viewed as both ‘an interior based phenomenon’ and ‘as social actions’11 as well as embodied experiences.5 Although Mishler12 cautioned in the 1990s against policing the boundaries of narrative research, the lack of delineation has resulted in some confusion.

이 논문에서는 내러티브 연구에 대한 한 가지 접근 방식인 내러티브 탐구의 방법론을 뒷받침하는 존재론적 및 인식론적 약속을 제시합니다.13 이러한 약속을 바탕으로 내러티브 탐구를 적용한 의학교육의 두 가지 연구를 소개합니다. 마지막으로, 내러티브 탐구 참여의 어려움에 대해 논의하고 유망한 연구 및 실천 가능성을 제시합니다. 
In this paper, we lay out the ontological and epistemological commitments that underlay the methodology of one approach to narrative research, narrative inquiry.13 Based on these commitments we introduce two studies in medical education applying narrative inquiry. Finally, we discuss challenges in engaging in narrative inquiry and point toward promising research and practice possibilities.

내러티브 탐구의 정의
Definition of narrative inquiry

이 정의는 경험을 스토리로 생각하는 방법으로서 내러티브 탐구에 주목합니다. 방법론으로서의 내러티브 탐구는 경험 현상에 대한 내러티브적 관점에서 작동하며, 듀이의 경험에 대한 이해15를 기반으로 합니다.
The definition draws attention to narrative inquiry as a way of thinking about experience as a story. Narrative inquiry as methodology works from a narrative view of the phenomenon of experience, building on Dewey's15 understanding of experience.

듀이의 경험의 두 가지 기준(상황 속에서 이루어지는 상호작용과 연속성)은 시간성, 장소성, 사회성의 차원을 가진 3차원 내러티브 탐구 공간을 통해 경험에 대한 내러티브 개념의 근거를 제공합니다.

• 시간성은 사건과 인물의 과거, 현재, 미래에 주의를 기울이며, 항상 진행 중인 사건에 초점을 맞춥니다.
• 장소는 탐구와 삶의 사건이 일어나는 장소의 특수성에 주목합니다.
• 사회성은 사람의 욕망, 미적, 도덕적 반응뿐만 아니라 실존적 조건, 즉 환경과 맥락적 힘에 대한 내적, 외적 초점을 말합니다. 

Dewey's two criteria of experience (interaction and continuity enacted in situations) provide grounding for a narrative conception of experience through the three-dimensional narrative inquiry space with dimensions of temporality, place and sociality.

• Temporality draws attention to the past, present and future of events and people, with a focus on them as always in process.
• Place draws attention to the particularities of where inquiry and life events take place.
• Sociality refers to the inward and outward focus on a person's desires, aesthetic and moral reactions, as well as on the existential conditions, that is, the environment and contextual forces.

'이야기에 대한 사고'와 '이야기로 사고하는 것'을 구분한 모리스(Morris)16는

• '이야기에 대한 사고는 내러티브를 대상으로 생각하는 것'인 반면,
• '이야기로 사고하는 것은 생각하는 사람으로서 우리가 내러티브에 대해 작업하는 것이 아니라, 내러티브가 우리를 위해 작업하도록 허용하는 과정'이라는 내러티브 탐구의 근거를 제시하기도 합니다.

Morris’16 distinction between thinking about stories and thinking with stories also grounds narrative inquiry

• where ‘thinking about stories conceives of narrative as an object’
• whereas ‘thinking with stories is a process in which we as thinkers do not so much work on narrative as of allowing narrative to work on us’.

모리스의 구분은 내러티브 연구에 대한 다양한 접근 방식에서 작동하는 서로 다른 존재론적, 인식론적 가정에 주목하는 데 도움이 됩니다.

• 일부 내러티브 연구자들은 시간성, 장소, 사람과 분리된 객체로서 서면 및 구어 텍스트를 분석하는 반면, 
• 내러티브 탐구자들은 시간, 장소, 관계 속에서 연구 대상인 경험에 주목합니다.

클랜디닌과 로지크17가 지적했듯이, '내러티브 탐구의 초점은 개인의 경험뿐만 아니라 개인의 경험이 구성, 형성, 표현, 제정되는 사회적, 문화적, 제도적 내러티브에도 있다'고 할 수 있습니다. 내러티브 탐구자는 살아 숨 쉬고 이야기되는 개인의 경험을 연구하며, 듣고, 관찰하고, 다른 사람과 함께 생활하고, 텍스트를 작성하고 해석하는 과정을 통해 연구합니다. 
Morris’ distinction helps us draw attention to the different ontological and epistemological assumptions at work in different approaches to narrative research.

• Some narrative researchers analyse written and spoken texts as objects separate from temporality, place and people, whereas
• narrative inquirers attend to the experience under study in time, place and relationships.

As Clandinin and Rosiek17 pointed out, ‘the focus of narrative inquiry is not only on individuals’ experience but also on the social, cultural, and institutional narratives within which individuals’ experiences are constituted, shaped, expressed, and enacted’. Narrative inquirers study an individual's experience, storied in the living and telling, and studied through listening, observing, living alongside another, and writing and interpreting texts.

내러티브 탐구는 개인의 삶에 주목하면서도 삶이 중첩된 더 큰 맥락과 관계에 주의를 기울이는 경험에 대한 탐구 방식입니다. 이야기는 시간, 장소, 관계 속에서 각 개인의 삶과 이야기와 분리되지 않고 살아 있고, 이야기되며, 삶과 이야기와 분리되어 분석되고 해부되어야 할 텍스트로 간주되지 않습니다.
Narrative inquiry is a way of inquiring into experience that attends to individuals’ lives but remains attentive to the larger contexts and relationships within which lives are nested. Stories are lived, and told, not separated from each person's living and telling in time, place and relationships, not seen as text to be separated from the living and telling and analysed and dissected.

의학교육 연구의 내러티브 전환
Narrative turn in research in medical education

'보건의료의 내러티브적 전환'18, 즉 치료와 돌봄은 항상 삶의 예술에 대한 더 넓은 관점 안에 포함된다는 관점의 일환으로, 보건의료는 사람이 주어진 상황에서 자신의 경험을 이해하고 자신을 표현하고 자신의 이야기를 들려줄 수 있도록 하는 것으로 주목받고 있습니다. 돌봄제공자와 돌봄수혜자는 공존하는 관계로, 돌봄제공자가 특정 상황에서 도움이 되는 지식을 가지고 있다고 해도 그것이 돌봄제공자가 일반적인 삶의 문제, 더 나아가 다른 사람의 삶에 대한 전문가가 되는 것은 아닙니다. 돌봄제공자와 돌봄을 받는 사람은 '전기적 만남'의 공동 저자입니다.19
As part of a ‘narrative turn in health care’,18 that is, that cure and care are always embedded within a broader perspective on the art of living, there is attention to health care as enabling a person to make sense of their experiences in a given situation and to express themselves, to tell their stories. Caregiver and care-receiver are both co-existent in the sense that although a caregiver may have knowledge helpful in a given situation at a particular time, this does not make the caregiver an expert on issues of life in general or, more importantly, on the life of another person. Caregiver and care-receiver are co-authors in ‘biographical encounters’.19

이러한 보건의료의 내러티브 전환(의학교육의 내러티브 전환에 대해서는 예를 들어20, 21 참조) 속에서 방법론으로서 내러티브 연구로의 전환도 이루어지고 있습니다. Bleakley22가 지적했듯이, 내러티브 연구에서 사용되는 이야기의 존재론적, 인식론적 지위에 대한 가정을 탐구할 필요가 있습니다. 내러티브 연구에서 스토리는 데이터로 사용되는데, 이는 아마도 패러다임적 지식의 힘에서 비롯된 결과일 것입니다. 폴킹혼23이 내러티브의 분석이라고 표현한 것처럼, 모리스가 이야기에 대해 생각하는 것과 비슷한 의미에서 이야기를 일종의 object으로 삼아 분석의 대상subjected으로 삼습니다. 이야기를 탈맥락화되고 객관적인 연구 데이터로 취급하는 내러티브 분석은 현재 의학교육에서 내러티브 연구로 전환하는 과정에서 가장 널리 퍼져 있는 방식입니다. 그러나 최근 의학교육의 연구 방법론으로서 삶과 이야기, 맥락과 사람, 연구자와 연구 참여자의 관계적 측면에 주목하는 방법론인 내러티브 탐구로 전환하는 것에 대한 관심이 높아지고 있습니다.6
Within this narrative turn in health care (for the narrative turn in medical education, see, for example,20, 21), there is also a turn to narrative research as methodology. As Bleakley22 pointed out, assumptions about the ontological and epistemological status of stories as used in narrative research need to be explored. Stories are used by some in narrative research as data, perhaps a lingering result of the power of paradigmatic knowledge. Stories are taken as a kind of object and subjected to analysis in the sense that Polkinghorne23 described as analysis of narratives, akin to what Morris described as thinking about stories. Analysis of narratives, where stories are treated as decontextualised and objective study data, is currently what is most prevalent in the turn to narrative research in medical education. However, there is recent attention to shifting to narrative inquiry as a research methodology in medical education, a methodology that attends to the relational aspects of living and telling stories, of context and person, of researcher and research participant.6

의학 학습자의 정체성 형성을 위한 내러티브 연구
Narrative research in medical learners’ identity making

내러티브 연구가 의학 교육에서 사용되는 분야 중 하나는 의학 학습자의 정체성 발달에 관한 연구입니다. Monrouxe24가 강조했듯이

• '정체성은 중요하다. 우리가 누구인지, 그리고 우리가 누구로 비춰지는지는 의학교육에서 우리가 하는 일의 많은 부분의 근간이 된다.

의학 학습자의 정체성 발달은 이론 및 개념 논문(예: 24-27)과 최근에 발표된 경험적 연구(예: 28, 29)의 초점입니다. 여기서는 내러티브 연구 접근법을 사용하여 직업 정체성 발달을 탐구한 세 가지 연구를 참조합니다.

• Konkin과 Suddards의 종단적 통합 사무직 프로그램에 대한 평가30에서는 해석학적 현상학적 설계를 사용하여 환자에 대한 경험에 대해 학습자를 인터뷰했습니다. 이들은 근거 이론 방법을 사용하여 데이터를 분석하고 정체성 발달을 위한 학습자 경험의 의미를 찾아냈습니다. 그들은 '[...] 이 연구에서 학생들의 이야기는 환자 치료에 의미 있게 참여하는 행위에서 탄생하고 발전하는 돌봄의 윤리에 기반을 둔 새로운 직업적 정체성을 반영한다'는 사실을 발견했습니다.30
• Wong과 Trollope-Kumar31는 사전 실습 기간 동안 작성된 의료 학습자의 포트폴리오에 대한 내러티브를 조사했습니다. 주제별 내러티브 분석은 '복잡한 학습 환경 속에서 환자, 멘토, 동료와의 상호작용을 통해 전문직 정체성을 능동적으로 구축'하는 학생들에 대한 통찰력을 제공했습니다. 다섯 가지 주제는 '역동적이고 담론적이며 반복적인' 과정으로서의 전문직 정체성 개발에 대한 통찰력을 제공했습니다.
• Monrouxe32는 의료 학습자의 종단적 오디오 일기를 통해 그들의 근본적인 내러티브 줄거리에 대해 탐구하고 학습자의 내러티브에서 정체성 형성의 복잡성을 설명하는 8가지 주제를 확인했습니다.
• Monrouxe33는 내러티브를 제시하고, 이 방법을 사용할 때 윤리적 차원을 논의했으며, 개인적 및 직업적 이야기가 의대생의 정체성을 형성한다는 점을 강조했습니다. 그녀는 내러티브의 맥락적, 사회적, 시간적 내재성을 고려하는 것이 중요하다고 설명했습니다. 몬루즈는 '의대생들의 개인적, 직업적 자아는 [...] 의사가 끊임없이 그 사이를 오가며 인간의 상태를 바라보는 두 가지 방식, 즉 생의학적 시선과 내러티브 시선의 예시'라고 결론지었습니다.

One area in which narrative research is used in medical education is in studies of medical learners’ identity development. As Monrouxe24 highlighted:

• ‘Identity matters. Who we are, and who we are seen to be, underlies much of what we do in medical education’.

The identity development of medical learners is the focus of theoretical and conceptual articles (e.g.24-27) and recently published empirical research (e.g.28, 29). We refer to three studies, which used narrative research approaches to inquire into professional identity development.

• In Konkin and Suddards’30 evaluation of a longitudinal integrated clerkship programme they interviewed learners regarding their experiences with patients using a hermeneutic phenomenological design. They analysed data using grounded theory methods and carved out the meaning of learners’ experiences for identity development. They found: ‘[…] students’ stories in this study reflect an emerging professional identity, born in the act of meaningful engagement in patient care, and grounded in a developing ethic of caring’.30 
• Wong and Trollope-Kumar31 inquired into narratives of medical learners’ portfolios written during pre-clerkships. Thematic narrative analysis provided insights into students’ active construction ‘of their professional identities through interactions with patients, mentors and colleagues, within complex learning environments’. Five themes gave insights into professional identity development as a ‘dynamic, discursive and iterative’ process.
• Monrouxe32 explored longitudinal audio-diaries of medical learners regarding their underlying narrative plotlines and identified eight themes in learners’ narratives that illustrate the complexity of identity formation.
• Monrouxe33 presented narratives, discussed ethical dimensions in employing this method, and emphasised that personal and professional stories shape the identity of medical students. She illustrated the importance of considering contextual, social and temporal embeddedness of narratives. Monrouxe concluded that ‘their personal and professional selves […] exemplify the two ways of gazing on the human condition – biomedical and narrative – that doctors constantly oscillate between’.

이러한 연구에서 전문직 정체성 발달 개념에 대한 정교한 분석을 제공하지는 않지만, 우리는 전문직 정체성에 대한 보다 포괄적인 이해가 중요하다는 점을 강조합니다. 예를 들어, Bleakley 등34 은 '의대생에게 있어 전문직 정체성은 의학교육을 통해 '만들어지는 것''이라고 말했습니다. 인용된 경험적 연구 중 두 건은 전문직 정체성의 기초가 되는 전문직 경험에 초점을 맞췄습니다.30, 31 정체성에 대한 내러티브적 관점으로 보면, 전문직 정체성은 전문직 환경 내에서 형성될 뿐만 아니라 시간이 흐르면서 다양한 장소, 맥락, 관계 속에서 개인의 삶의 이야기에 의해 형성되며, 또한 사람에 의해 체화embodied됩니다.35 내러티브 경험 개념에서 정체성 발달은 내러티브 현상이며, 내러티브 탐구는 '내러티브 풍경에서 내러티브된 삶을 사는 것'에 주목하고 '우리가 누구인지, 우리가 살아갈 이야기가 근본적으로 내러티브적이라는 것'을 이해함으로써 의학 학습자의 정체성 발달을 연구하기에 적합한 방법론입니다.5 의학교육에서 정체성 형성 연구에 대한 내러티브 접근법 중 대부분은 이야기를 데이터로 사용했습니다.22 내러티브 탐구로 전환하면서 이야기에 대한 사고 대신 이야기와 함께 사고하는 것으로 전환했습니다.

Without providing a sophisticated analysis of notions of professional identity development in these studies, we emphasise the importance of even more comprehensive understandings of professional identity. For example, Bleakley et al.34 stated that ‘for the medical student, a professional identity is something that is ‘‘made’’ through a medical education’. Two of the cited empirical studies focused on professional experiences as the foundation of professional identity.30, 31 Working with a narrative view of identity, professional identities are formed within professional landscapes, as well as shaped by personal life stories, over time and in multiple places, contexts and relationships and are also embodied in persons.35 Within a narrative conception of experience, identity development is a narrative phenomenon and narrative inquiry is an appropriate methodology to study medical learners’ identity development with its attention to the living of ‘storied lives on storied landscapes’5 and through understanding ‘that who we are, our stories to live by, is fundamentally narrative in nature’.5 Of the narrative approaches to research in identity making in medical education, most used stories as data.22 With the turn to narrative inquiry, the shift is to thinking with stories instead of about stories.

의료 학습자의 정체성 형성 연구에서의 내러티브 탐구
Narrative inquiry in the study of medical learners’ identity making

2000년대 초반에 이미 교육에 대한 연구는 있었지만,36 의료 학습자의 정체성 형성에 대한 내러티브 탐구는 초기 단계에 있었습니다. 의학교육에서 내러티브 글쓰기에 초점을 맞춘 Charon,20은 의학 학습자가 임상 경험에 대한 이야기를 작성하고 이를 촉진된 소그룹에서 '밀착 읽기'를 통해 공유하는 과정인 평행 차트 작성이라는 교육적 접근법을 개발했습니다. 클랜디닌, 케이브, 케이브35도 의사들의 진료 경험을 글로 쓰고 공유함으로써 얻을 수 있는 변화의 효과에 관심을 가졌습니다. 우리 역시 의료 전문가들이 내러티브 성찰적 실천에 참여할 기회를 얻었을 때 그들의 삶에 미치는 영향을 목격했습니다.37 우리는 내러티브 탐구의 방법론과 방법을 사용하여 Charon의 평행 차트 교수법을 사용하여 의료 학습자의 정체성 형성에 대한 연구를 시작했습니다. 이 연구에서는 학부 학습자의 경험과 레지던트 과정을 밟는 졸업생의 경험의 차이, 새로운 임상 책임이 의대생의 전문적 정체성 형성에 미치는 영향, 소규모 동료 그룹에서 촉진된 내러티브 반성적 실습이 전문적 정체성 형성에 미치는 영향에 관한 수수께끼를 탐구했습니다. 
In the early 2000s, although there were already studies in teaching,36 narrative inquiry into the identity making of medical learners was in its initial years. Charon,20 with her focus on narrative writing in medical education, developed a pedagogical approach called parallel charting, a process where medical learners write stories of their experiences of clinical encounters and share them in ‘close reading’ in facilitated small groups. Clandinin, Cave and Cave35 were also interested in the transformative effects of writing and sharing physicians’ stories of practice. We, too, witnessed the impact on medical professionals’ lives if they received opportunities to participate in narrative reflective practices.37 Using methodologies and methods from narrative inquiry, we began studies into medical learners’ identity making using Charon's parallel chart pedagogy. The research explored puzzles around differences in undergraduate learners’ experiences to those of graduates undertaking residency, the impact of new clinical responsibilities on medical students’ professional identity making, and the impact of facilitated narrative reflective practice in small groups of peers on professional identity making.

우리는 참가자들에게 평행 차트를 작성하도록 한 다음 Clandinin과 Connelly의39 3차원 내러티브 탐구 공간을 사용하여 촉진된 내러티브 탐구 그룹에 참여하도록 한 두 개의 연구35, 38 에 대해 설명합니다. 두 연구 모두 각 참가자가 10개의 차트를 작성하고 공유하는 5번의 회의가 있었다는 점에서 유사했습니다. 이동 시간을 줄이고 장소의 중요성에 주목하기 위해 각 회의는 같은 병실 내에서 진행되었습니다. 그러나 집, 병원, 침대 옆, 강의실 등 특정한 상황에 스토리를 배치했기 때문에 장소도 중요했습니다. 모든 세션에서 각 참가자는 한두 개의 차트를 공유했고, 전체 그룹은 진행자나 연구자의 의견을 들어 각 차트에 대해 질문했습니다. 모든 참가자가 자신의 차트를 공유할 시간을 갖도록 함으로써 시간성의 차원을 인정했지만, 가정과 학교에서의 어린 시절 경험과 최근의 경험 모두에서 나온 이야기였기 때문에 시간성이 존재했습니다. 시간이 지남에 따라 이야기가 바뀌면서 임상 실습의 순간에 대한 경험은 때때로 다른 시간과 장소에서의 경험과 연결되기도 했습니다. 퍼실리테이터는 참가자들이 이야기를 나누는 동안 각 참가자에게 주의를 기울였으며, 참가자들이 글을 쓰고, 공유하고, 그룹 질문에 참여하고, 그룹 회의 사이의 시간에 자신의 경험에 대해 계속 질문하면서 많은 내러티브 탐구가 발생한다는 점을 염두에 두었습니다. 사회성의 차원이 인정되는 한 가지 방법은 그룹의 포용성과 일단 형성된 그룹의 배타성에서 확인할 수 있었습니다. 의학 학습자들이 특정 상황과 사건에 대한 이야기를 하면서 개인적인 감정적, 도덕적, 심미적 반응을 드러낼 때에도 사회성은 존재했습니다.  
We describe two studies35, 38 where participants were invited to write parallel charts, and were then asked to engage in facilitated narrative inquiry groups using Clandinin and Connelly's39 three-dimensional narrative inquiry space. Both studies were similar in that there were five meetings, with each participant writing and sharing 10 charts. Each meeting was held within the same hospital room to avoid travel time and to draw attention to the importance of place. However, place was also present as the stories themselves were placed in particular contexts, such as homes, hospitals, bedsides and lecture halls. At every session, each participant shared one or two charts and the entire group, with facilitator or researcher input, inquired into each chart. Ensuring all participants had time to share their charts acknowledged the dimension of temporality, but temporality was present as the stories told came from both childhood experiences in homes and schools and more recent experiences. As stories shifted over time, the experiences of moments of clinical practice were sometimes linked to experiences in other times and places. Facilitators were attentive to each participant as they shared, mindful that much narrative inquiry occurred as participants wrote, shared, engaged in the group inquiry and continued to inquire into their experiences in the time between group meetings. One way the dimension of sociality was acknowledged was in the inclusivity of the groups, and, once formed, their exclusivity. Sociality was also present as the medical learners told stories situated within particular circumstances and events and also made visible their personal emotional, moral and aesthetic reactions.

차트를 구두로 공유한 후 이어진 내러티브 질문에는 차트를 작성하는 사람과 듣는 사람 모두 반성적인 방식으로 참여하여 동료의 이야기와 함께 자신의 이야기를 겹쳐서 이야기했습니다. 참가자들은 이야기 속에서 자신을 상상하고40 모리스가 제안한 방식으로 이야기와 함께 생각할 수 있었습니다.16 
The narrative inquiry following the oral sharing of a chart involved all participants in reflexive ways, both chart writers and those listening, who layered their stories alongside their colleagues’ stories. Participants could imagine themselves within the story40 and think with the story in ways suggested by Morris.16

두 연구 모두에서 퍼실리테이터는 각 참가자의 용기를 인정하고 공유된 이야기에 대한 초기 검증validation을 제공했습니다. 퍼실리테이터는 다른 참가자들과 함께 각 이야기가 시간적 한가운데로 들어갈 수 있게 해준다는 것을 인식하고, 들려준 이야기에 대해 더 자세히 물어보면서 내러티브 탐구에 참여했습니다. 내러티브 탐구가 진행됨에 따라 참가자들은 환자와 자신의 삶, 삶이 내재된 장소와 관계, 환자, 의사, 서로의 정서적, 도덕적, 미적 반응에 주의를 기울이게 되었습니다. 
In both studies facilitators recognised each participant's courage and provided initial validation of the shared story. The facilitators, along with other participants, engaged in the narrative inquiry by asking for further details about the stories told, recognising that each story allowed them to enter into the temporal midst. As the narrative inquiry proceeded, participants became attentive to the unfolding lives of their patients and themselves, to the places and relationships within which lives were embedded, and to the emotional, moral and aesthetic responses of patients, physicians and each other.

두 연구 모두에서 참가자들은 자신의 직업적 정체성을 구성하는 경험에 주목했습니다.

• 첫 번째 연구에 참여한 사라(Sarah)38는 레지던트 프로그램에서 경험이 풍부한 국제 의대 졸업생이었습니다. 그녀의 병렬 차트는 어느 새 엄마가 아이를 입양 보내기로 결정한 경험을 묘사했는데, 이는 사라의 문화적 내러티브에서 유기에 가까운 행동이었습니다.
  • 차트의 일부에는 사라가 그 어머니에게 어떻게 반응했는지 재검토하고 의사로서 자신이 누구인지에 대한 자기 성찰을 하게 된 동료의 반응이 기술되어 있었습니다.
  • 그룹의 반응에서 한 참가자는 사라의 자기 판단, 즉 도덕적 반응에 주목했습니다.
  • 또 다른 참가자는 아기의 미래에 초점을 맞춘 시간적 반응을 보였습니다.
  • 또 다른 참가자는 이 상황에서 누가 도와줄 수 있는지에 대한 질문을 던졌습니다.
• 세 가지 측면에 주의를 기울이며 그룹 질문이 진행되자 사라는 결국 자신이 환자와의 관계 형성에 탁월하다는 것을 알고 있는 자신의 이야기를 다시 들려주었습니다. 참가자들은 사라의 전개되는 삶, 환자의 전개되는 삶, 그리고 의료 학습자로서의 자신의 삶에 주의를 기울였습니다. 

In both studies participants attended to their experiences of composing their professional identities. Sarah, a participant in the first study,38 was an experienced international medical graduate in the residency programme. Her parallel chart described her experience with a new mother's decision to offer her child for adoption, an action akin to abandonment in Sarah's cultural narrative.

• Part of her chart described a peer's response that caused Sarah to re-examine how she responded to the mother and also to engage in self-facing about who she was as a physician.
• In the group's responses, one participant attended to Sarah's self-judgement, her moral response.
• Another response was temporal, focused on the baby's future.
• Another raised questions about who else could help in this situation.

As the group inquiry proceeded with attention to the three dimensions, Sarah eventually retold her story as one in which she knew she excelled in establishing relationships with patients. Participants were attentive to Sarah's unfolding life, to her patient's unfolding life and to their own lives as medical learners.

내과 레지던트들이 참여했던 두 번째 연구35에서 우리는 한 참가자 레슬리의 경험을 공유했습니다. 레슬리와의 마지막 종료 대화에서 그녀는 자신의 직업적 정체성이 어떻게 변화하고 변화하는지에 대해 간략하게 설명했습니다. 레슬리가 자신의 경험에 대해 썼을 때, 우리는 그것을 그녀의 개인적인 실용적 지식을 '실천하고, 말하고, 되살리고, 다시 말하는 것'5으로 이해했습니다.41

• 레슬리는 첫 번째 평행 차트에서 좋은 의사가 되는 것에 대한 자신의 고민을 설명했습니다. 당시 그녀는 환자에게 간호사로 인식되는 것부터 자신을 의사로 소개하는 데 어려움을 겪는 것까지 다른 사람의 인식에 크게 의존하고 있었습니다. 그녀는 의사로서의 역할과 의사로 인식되지 않는 것에 대한 우려 사이에서 부조화를 느끼는 경험을 다섯 번의 세션 동안 반복했습니다. 그녀는 좋은 의사가 된다는 것이 무엇을 의미하는지에 대해 의문을 품고 그룹에 속한 다른 사람들이 자신의 상황에서 어떻게 반응하고 행동했을지 확인했습니다.
• 마지막 그룹 세션에서 레슬리는 의사로서 자신의 이야기를 담은 차트를 공유했습니다. 그녀는 자신을 자만하지 않는다고 설명하며 '어떤 일을 처리할 수 있다는 자신감이 생겼다'고 말했습니다. 그리고 그것은 단지 경험일 뿐입니다...'.35 이러한 변화는 신체적, 정서적으로, 말과 행동으로 나타났고, 레슬리는 이에 대해 자세히 기록했습니다. 그녀는 의사로서 자신의 이야기가 일반적인 임상 환경이 아닌 다른 곳에서 어떻게 실현되는지 보여주었습니다.
• 레슬리는 시간이 지남에 따라 다양한 개인적, 직업적 환경에서 자신의 직업적 정체성이 어떻게 발전했는지 보여주었습니다. 그녀의 직업적 정체성은 한 인간이자 의사로서 그녀가 누구인지 구체화되어 있으며, 새로운 경험을 겪으면서 계속 발전하고 있습니다. '뒤돌아보는 이야기'를 하기 위해 마지막 차트를 작성하기로 결정함으로써 그녀는 자신의 이야기를 다시 들려주고 되새기며 의사가 되고 의사가 되는 미래 지향적인 이야기를 구성할 수 있었습니다. 

In an article from the second study,35 in which participants were internal medicine residents, we shared the experience of one participant, Lesley. In the final exit conversation with Lesley, she gave a brief account of how she understood her professional identity as shifting and changing. As Lesley wrote of her experience we understood it as the ‘living out, telling, reliving and retelling’5 of her personal practical knowledge.41 

• In her first parallel chart Lesley described her concerns about being a good physician. At this time she was heavily reliant on the perceptions of others, from being perceived as a nurse by patients to her difficulty with introducing herself as a physician. Her experience of feeling dissonance (between her role as a physician and her concern at being not perceived as a physician) was recurrent over the five sessions. She questioned what it meant to be a good physician and checked with others in the group as to how they would have responded or acted in her situations.
• In the last group session, Lesley shared a chart in which she was now telling the story of herself as a physician. She described herself as not complacent, ‘it's just more of a comfort that, more confidence that I can handle some stuff. And it's really just experience …’.35 The changes manifested themselves physically and emotionally, in speech and behaviours, and Lesley wrote of them in some detail. She made visible how her story of herself as a physician was lived out in places other than the usual clinical settings.
• Lesley showed how her professional identity developed over time and in different personal and professional landscapes. Her professional identity is embodied in who she is as a person and physician and continues to develop as she undergoes new experiences. Her decision to write her final chart looking back, to tell a ‘backward looking story’, allowed her to retell and relive her stories and compose her forward looking story of becoming and being a physician.

이 두 가지 내러티브 탐구에서 우리는 내러티브 탐구가, 데이터로서의 이야기가 아니라, 시간이 지남에 따라 다양한 사람들과 다양한 상황에서 살아가고 이야기하는 각 의료 학습자의 지속적인 경험 이야기에 관계적인 방식으로 접근한다는 것을 알 수 있었습니다.
In these two narrative inquiries we showed that narrative inquiry does not work with stories as data but attends in relational ways to each medical learner's ongoing narratives of experiences as they are lived and told in multiple situations with diverse people over time.

의학교육에서 내러티브 탐구 참여의 도전 과제
Challenges of engaging in narrative inquiry in medical education

의학교육 연구에서 내러티브 탐구를 사용하는 데는 많은 어려움이 있으며, 그 중 네 가지를 강조합니다. 우리는 의학교육에서 내러티브 탐구에 참여했던 방식을 바탕으로 이러한 과제를 명확하게 설명합니다.
Using narrative inquiry in medical education research has many challenges and we highlight four. We draw on the ways that we have engaged in narrative inquiry in medical education to make explicit these challenges.

우리가 경험한 첫 번째 도전은 탐구의 시작점에 관한 것입니다. 내러티브 탐구는 경험을 연구하는 방법론이기 때문에, 우리는 개인의 경험담에 초점을 맞추는 데서 출발합니다. 우리는 우리 모두가 속한 사회적, 문화적, 제도적, 언어적, 가족적 내러티브의 중요성을 인정하지만, 연구의 초점은 개인의 경험입니다. 이러한 점에서 내러티브 탐구는 특정 현상에 대한 이론적 이해에서 출발하는 연구와 대조를 이룹니다. 내러티브 탐구자의 존재론적, 인식론적 가정에서 비롯되는 이러한 방법론적 출발점의 근본적인 차이는 많은 의학교육 연구와 대조적입니다.
The first challenge we experienced concerns the starting point for inquiry. Because narrative inquiry is a methodology for the study of experience, our starting point is the focus on an individual's stories of experience. Although we acknowledge the importance of social, cultural, institutional, linguistic and familial narratives within which we are all embedded, the focus of study is an individual's experience. In this way narrative inquiry stands in contrast with studies that begin in theoretical understandings of a particular phenomenon. This fundamental difference in the methodological starting point, which follows from narrative inquirers’ ontological and epistemological assumptions, is in contrast with many medical education studies.

예를 들어, 의사의 정체성 형성 연구에 대한 우리의 내러티브 탐구 접근법은 이론적으로 정립된 정체성 개념이 아니라 의학 학습자의 경험에서 출발했습니다. 내러티브 탐구에서는 각 의료 학습자의 경험담에서 시작합니다. 연구 설계에서는 참여자가 자신의 이야기를 들려줄 수 있는 방법을 채택하거나 참여자의 경험을 함께 할 수 있는 방법을 채택해야 합니다. 앞서 설명한 두 가지 내러티브 조사에서 우리는 차트 작성과 공유를 병행하여 의료 학습자가 자신의 이야기를 들려줄 수 있는 공간을 만들었습니다. 그런 다음 참가자들과 함께 이야기에 대해 질문하고 마지막 출구 대화에서 자신의 경험을 되돌아보도록 요청했습니다. 참가자를 포함하여 사람들로 하여금, 설문지나 반구조화된 인터뷰 프로토콜을 만들 수 있는 이론적 이해가 아니라, 질문의 출발점이 참가자의 경험에 있다는 것을 이해하도록 돕는 것은 어려운 과제였습니다.
As an example, our narrative inquiry approach to research into physician identity making began with the experiences of medical learners rather than with pre-set notions of identity developed in theory. In narrative inquiry we begin with each medical learner's stories of experience. Research designs require that we adopt methods to enable participants to tell their stories or to allow us to live alongside them as they undergo their experiences. In the two narrative inquiries described earlier we used parallel chart writing and sharing to create spaces within which medical learners could tell their stories. Alongside the participants, we then engaged in inquiries into the stories and finally we asked them to look back over their experiences in a final exit conversation. It is a challenge to help others, including participants, understand that the inquiry starting point is in the experience of participants, and not in theoretical understandings that would have allowed us to create a questionnaire or semi-structured interview protocol.

내러티브 탐구는 정체성 형성에 관여하는 요소를 더 깊이 이해할 수 있게 해주고, 의료 학습자가 임상 실습의 필수 출발점으로서 자신의 경험에 주목하는 법을 배울 수 있는 교육적인 방법을 만들어주기 때문에 그 중요성을 잘 알고 있습니다. 탐구 과정을 통해 학생들은 실습에 참여하기 위해 외부의 전문 지식뿐만 아니라 자신의 개인적 실무 지식을 활용하는 방법을 배우게 됩니다.
We see the importance of engaging in narrative inquiry as it allows deeper understandings of what is involved in identity making and creates educative ways for medical learners to learn to attend to their experiences as an essential starting point in their clinical practice. Through the inquiry process they learn to look to their own personal practical knowledge, as well as to outside expert knowledge, to engage in practice.

의학교육에서 내러티브 탐구를 활용하는 두 번째 과제는 의사와 의사가 되기 위해 배우는 사람들에게 (임상 사례나 사례 연구를 사용하여 글을 쓰고 생각하도록 요구하는) 일반적인 의학교육 관행에서 관심을 전환하는 것입니다. 의사들은 일상적인 연습으로 회진에 참석하고 그 일환으로 사례 연구를 준비하고 발표하도록 훈련받습니다. 사례 연구는 대부분 객관적인 생물의학 데이터를 바탕으로 한 집중적인 프레젠테이션입니다. 임상 사례 연구에서는 환자에 초점을 맞추고 의사의 경험은 포함되지 않습니다. 즉, 발표를 위해 사례를 준비할 때 의사는 객관적인 데이터를 수집하고 각 임상 사례에서 자신을 행위자 및 대리인으로 생각하지 않고 환자를 사례로 제시하는 방법을 배웁니다. 임상 사례와 사례 연구는 패러다임적 사고와 연결됩니다. 관계적 방법론인 내러티브 탐구에서는 모든 참여자(의사, 환자, 연구자)의 경험을 연구 대상으로 삼습니다. 패러다임적 지식에서 내러티브 지식으로의 전환, 즉 데이터로서의 이야기에서 이야기로의 사고로의 전환은 자신의 경험을 연구에서 배제하도록 잘 훈련된 의사에게는 어려운 전환입니다. 예를 들어, 의료 학습자의 정체성 형성 경험에 대한 내러티브 탐구에서 참가자들은 처음에는 환자와 관련된 자신의 이야기를 쓰는 것이 어렵다고 느꼈습니다. 처음에는 환자에 대한 사례 연구를 쓰는 것이 더 편하다는 것을 알게 되었습니다. 시간이 지나고 노력을 기울인 끝에 그들은 환자에 대한 자신의 경험도 내러티브 탐구에서 연구 대상이 될 수 있다고 생각하기 시작했습니다. 
The second challenge to engaging in narrative inquiry in medical education is shifting attention from the more common medical education practice of asking physicians and those learning to be physicians to write and think using clinical cases or case studies. They attend rounds as routine practice and are trained to prepare and present case studies as part of that practice. Case studies are, most frequently, intensive presentations that draw on objective biomedical data. In a clinical case study, the focus is on the patient and the physician's experience is not included; that is, in preparing cases for presentation, physicians are taught to collect objective data and to present patients as cases without thinking of themselves as actors and agents in each clinical encounter. Clinical cases and case studies are linked to paradigmatic thinking. In narrative inquiry, a relational methodology, the experiences of all participants (physicians, patients and researchers) are under study. This shift from paradigmatic to narrative knowledge, from thinking about stories as data to thinking with stories, is a challenging shift for physicians who have been well trained to leave their own experiences out of research. For example, in our narrative inquiries into medical learners’ experiences of identity making, our participants initially found it challenging to write stories of themselves in relation to patients. At first, they found it more comfortable to write case studies of the patients. It was over time and with effort that they began to see their experiences with patients as what was also under study in narrative inquiry.

내러티브 탐구 사용의 세 번째 과제는 방법론methodology으로서 내러티브 탐구와 일치하는 방법methods을 만들어야 한다는 것입니다. 다른 전문가와의 내러티브 탐구에서 사용되는 연구 방법은 여러 가지가 있지만,39 의사와 의료 학습자가 시간이 지남에 따라 관계를 형성하고 임상 환경에서 평가 체크리스트와 다른 전문가의 시선에 의해 형성된 '두려움/불확실성'을 내려놓을 수 있는 내러티브 탐구 방법을 만드는 것은 특히 어렵습니다. 이렇게 잘 정립된 관행에 맞서기 위해서는 의료 학습자가 자신의 이야기를 하고 자신의 이야기에 대해 질문할 수 있을 만큼 안전하다고 느끼는 공간을 만들어야 합니다. 예를 들어, 정체성 형성에 대한 내러티브 탐구에서 병렬 차트를 사용하고 공동 탐구 방식을 공유 및 촉진함으로써 참가자들에게 안전한 공간을 만들 수 있었습니다.
The third challenge in using narrative inquiry is the need to create methods that are congruent with narrative inquiry as a methodology. Although there are a number of research methods that are used in narrative inquiries with other professionals,39 it is particularly challenging to create methods of narrative inquiry to use with physicians and medical learners that allow for relationships over time and that will allow them to set aside their ‘fears/uncertainties’ shaped by assessment checklists and the expert gaze of others in their clinical environments. Working against these well-established practices requires that we create spaces where medical learners feel safe enough to tell their stories and to inquire into their stories. For example, in our narrative inquiries into identity making, it was the use of parallel charts followed by the shared and facilitated method of collaborative inquiry that created a safe space for the participants.

네 번째 도전 과제는 의사가 의료 상황에서 개별 행위자가 아닌 의료팀의 일원으로서 자신의 위치를 파악하는 데서 비롯됩니다. 내러티브 탐구에 참여하는 데 있어 어려운 점은 다양한 팀원들의 경험을 고려하는 것입니다. 앞서 언급했듯이 의사의 정체성은 다른 의사, 간호사, 치료사, 약사, 사회복지사, 관리자 등 다른 의료 서비스 제공자들과의 관계 속에서 살아가며 들려주는 이야기를 통해 형성됩니다. 내러티브 탐구에 참여할 때 우리는 학제 간 및 전문직 간 업무 환경에서 만나는 다양한 의료 서비스 제공자의 경험을 포함할 수 있는 방법을 개발해야 합니다. 내러티브 탐구에 참여하려면 다른 전문가들의 이야기뿐만 아니라, 개인이 포함된 더 큰 사회적, 제도적, 직업적 내러티브에 주의를 기울여야 합니다. 여러 참여자의 경험에 주의를 기울이는 다관점 내러티브 탐구에 참여하는 것은 쉽지 않은 일입니다. 따라서 각 의료 학습자의 경험을 이해하려면 각 분야와 각 전문직에 고유한 더 큰 사회적 전문직 내러티브와 제도적 내러티브가 서로 다른 전문가를 어떻게 포지셔닝하는지 이해해야 합니다.
The fourth challenge emerges from attending to physicians’ positioning as members of health care teams and not as individual actors in health care contexts. The challenge of engaging in narrative inquiry is in considering the experiences of different team members. As noted earlier, physicians’ identities are shaped through stories they live and tell in relation to other allied health care providers, including other physicians, nurses, therapists, pharmacists, social workers, managers, etc. As we engage in narrative inquiry we need to develop ways to include the experiences of different health care providers as they meet in their interdisciplinary and interprofessional work environments. Engaging in narrative inquiry requires attentiveness to the stories of other professionals as well as to the larger social, institutional and professional narratives in which individuals are embedded. Engaging in what often becomes multi-perspectival narrative inquiry that attends to the experiences of multiple participants is challenging. Consequently, to understand each medical learner's experiences we need to understand the larger social professional narratives that are unique to each discipline and each profession, and also how institutional narratives position different professionals in relation to each other.

향후 연구 및 실천 방향
Future research and practice directions

내러티브 탐구가 의학교육 연구에서 계속 채택됨에 따라 위에서 언급한 바와 같은 도전과제가 있을 것입니다. 우리는 내러티브 탐구와 다른 형태의 내러티브 연구의 기초가 되는 인식론적, 존재론적 가정을 계속해서 명확히 하는 것이 중요하다고 봅니다. 또한 의학교육과 다른 환경에서 내러티브 탐구의 근간이 되는 관계 윤리에 대한 이해를 계속 발전시켜야 할 필요성이 있습니다. 교육학으로서의 내러티브뿐만 아니라 내러티브 반성적 실천과 같은 전문적 실천에서 내러티브 탐구의 사용을 확장할 수 있는 가능성도 고려해야 합니다.
As narrative inquiry continues to be taken up in research in medical education, there will be challenges as noted above. We see the importance of continuing to clarify the epistemological and ontological assumptions underlying narrative inquiry and other forms of narrative research. There is also a need to continue to develop understandings of the relational ethics that underlie narrative inquiry in medical education and in other settings. Consideration must be given to the possibilities of extending the uses of narrative inquiry in professional practice, such as narrative reflective practice as well as narrative as a pedagogy.

© 2016 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

질적연구를 위한 프레임워크분석방법을 사용: AMEE Guide No. 164 (Med Teach, 2023)
Using framework analysis methods for qualitative research: AMEE Guide No. 164
Sonja Klingberga , Ren
ee E. Stalmeijerb and Lara Varpioc

소개
Introduction

보건 전문직 교육(HPE) 연구자가 선택할 수 있는 다양한 질적 연구 방법론과 방법이 있으며, 각 방법론은 고유한 목적에 맞게 맞춤화되어 있습니다.

• 직장 기반 학습에 관한 새로운 이론을 개발하는 데 관심이 있으신가요? 구성주의적 근거 이론(예: Helmich 외. 2018)을 찾아볼 수 있습니다.
• 의료 교육에서 수치심에 대한 생생한 경험을 탐구하는 데 관심이 있으신가요? 해석학적 현상학(예: Bynum 외. 2021)을 살펴볼 수 있습니다.

구성주의적 근거 이론과 해석학적 현상학을 포함한 대부분의 질적 연구 방법론은 현상을 깊이 이해하거나 설명하기 위해 해석의 힘을 활용합니다. 이러한 해석적(주요 용어에 대한 용어집은 표 1 참조) 질적 연구(Finlay 2021)는 종종 소규모 데이터 세트에 의존합니다. 소규모 데이터 세트는 연구 데이터 말뭉치를 반복적으로 읽고 다시 읽고, 연구팀과 함께 진화하는 이해에 대해 순환적인 방식으로 반복해서 논의하여 연구 인사이트를 개발하는 분석을 가능하게 합니다. 

There are many different qualitative research methodologies and methods for health professions education (HPE) researchers to choose from, each tailored to unique purposes.

• Are you interested in developing a new theory about workplace-based learning? You might reach for constructivist grounded theory (e.g. Helmich et al. 2018). Are
• you interested in exploring the lived experience of shame in medical training? You might turn to hermeneutic phenomenology (e.g. Bynum et al. 2021).

Most qualitative research methodologies—including constructivist grounded theory and hermeneutic phenomenology—harness the power of interpretation to deeply understand or explain a phenomenon. Such interpretive (see Table 1 for a glossary of key terms) qualitative research (Finlay 2021) often relies on small datasets. Smaller data sets enable analyses that involve iteratively reading and re-reading the corpus of study data, discussing evolving understandings with the research team, again and again in a cyclical fashion, to develop research insights.

데이터 변환: 데이터 변환은 샌델로우스키와 바로소(2003)가 원시 데이터와의 '해석적 거리'라고 부르는 관점에서 질적 연구 결과 또는 질적 데이터 분석의 결과물의 성격을 말합니다. 이 거리는 이론화, 추상화, 해석과 같은 과정을 통해 커지는 반면, 원시 데이터에 가깝거나 단순히 원시 데이터의 내용을 설명하는 출력물은 데이터 변환을 거치지 않았거나 실제로 분석이 전혀 이루어지지 않은 것으로 간주할 수 있습니다. 
Data transformation: Data transformation refers to the nature of qualitative findings or the output of qualitative data analysis in terms of what Sandelowski and Barroso (2003) call the ‘interpretive distance’ from raw data. The distance grows through processes like theorizing, abstraction and interpretation, whereas output that remains close to, or merely describes the content of, raw data can be considered as not having undergone data transformation, or indeed, much analysis at all.

연역적 데이터 분석: 연역적 데이터 분석은 일반적인 규칙(예: 이론, 모델)을 추론하여 특정 인스턴스(예: 특정 데이터 집합)에서 일어나는 일을 추론하는 것을 포함합니다. 예를 들어, 가난하게 사는 의대생이 높은 수준의 스트레스를 경험하고, 높은 수준의 스트레스가 사기꾼 증후군을 경험하게 된다는 이론이 존재할 수 있습니다. 따라서 이러한 이론을 사용하여 의대생의 사기꾼 증후군이 빈곤과 관련이 있는지 알아보기 위해 많은 수의 의대생을 연구할 수 있습니다. 이 예에서 알 수 있듯이, 연역적 데이터 분석은 기존의 규칙으로 시작하여 그 규칙에 따라 분석에 적용됩니다.
Deductive data analysis: Deductive data analysis involves reasoning from general rules (e.g. theories, models) to infer what is happening in specific instances (e.g. in specific datasets). For example, a theory might exist that explains how medical students who live in poverty experience high levels of stress, and that high levels of stress lead to experiences of imposter syndrome. Therefore, we might use these theories to study a large number of medical students to see if imposter syndrome in medical students is related to poverty. As this example illustrates, deductive data analysis starts with and is guided by pre-existing rules that are then applied in the analysis.

설명적: 설명적 목적의 연구는 데이터 또는 현상의 속성과 특성을 조사, 문서화 및 기술하는 것을 목표로 하며(예: 어떤 것인지 문서화), 해당 데이터 또는 현상의 더 넓은 의미(예: 데이터의 의미 또는 우리에게 무엇을 알려줄 수 있는지 해석)로 확장할 필요는 없습니다. 또한 어떤 주제나 집단에 '목소리를 부여'하는 연구일 수도 있습니다(브라운과 클라크 174). 특정 그룹의 구성원이 특정 주제에 대해 어떤 의견을 가지고 있는지 또는 관심 있는 문화가 어떤지 물어볼 수 있습니다(Bernard and Ryan 2010).  
Descriptive: If a study has a descriptive purpose, it is aiming to investigate, document, and describe the properties and qualities of data or a phenomenon (e.g. documenting what it is like), without necessarily extending into the wider implications of said data or phenomenon (e.g. interpreting what it means or what it can tell us). It can also be a study that ‘”gives voice” to a topic or a group of people’ (Braun and Clarke 174). It can ask what members of a specific group have to say about a particular topic, or what a culture of interest is like (Bernard and Ryan 2010). 

탐색적: 설명적 질적 접근 방식과 마찬가지로, 탐색적 연구는 주로 주제나 현상의 다양한 측면을 조사하고, 범위를 정하고, 기록하는 데 중점을 둡니다. 이해, 의미 또는 시사점을 도출하기 위해 시작하는 대신 다음과 같은 질문을 던집니다: '여기에는 어떤 종류의 것들이 있는가? 이 사물들은 서로 어떻게 관련되어 있는가? 여기에 자연스러운 사물의 그룹이 있는가?'(Bernard and Ryan 2010, p8).
Exploratory: Similarly to descriptive qualitative approaches, exploratory research is primarily concerned with examining, scoping and recording different aspects of a topic or phenomenon. Instead of setting out to generate understanding, meaning, or implications, it asks questions like:

• ‘What kinds of things are present here?
• How are these things related to one another?
• Are there natural groups of things here?’ (Bernard and Ryan 2010, p8).

프레임워크 분석(FA): 이 AMEE 가이드에서는 프레임워크 분석 또는 FA라는 용어를 사용하여 이 질적 데이터 분석 방법에 대한 Ritchie와 Spencer(1994)의 원래 설명을 참조합니다. 
Framework analysis (FA): In this AMEE guide, we use the term framework analysis or FA to refer to Ritchie and Spencer (1994) original description of this qualitative data analysis method.

프레임워크 분석 방법(FAM): 이 AMEE 가이드에서는 대규모 정성적 데이터 집합을 조사하여 특정 질문에 답하는 데이터 분석 접근법의 제품군을 설명하기 위해 포괄적인 용어로 FAM을 사용합니다. 프레임워크 분석 접근법은 몇 가지 특징을 일반적으로 공유합니다(Gale et al. 2013). 

• 체계적이고 사례별로 구조화된 데이터 코딩 프로세스에 의존하고,
• 체계적으로 또는 일관되게 생성된(따라서 동질적인) 데이터 세트에 적용되며,
• 질적 데이터의 패턴을 포착하고 설명하는 것을 목표로 하고,
• 일반적으로 교차하는 연구 초점의 매트릭스로 결과를 표현한다

Framework analysis methods (FAMs): In this AMEE guide, we use FAM as an umbrella term to describe a family of data analysis approaches that answer specific questions through the examination of large qualitative datasets. Framework analysis approaches commonly share several characteristics—i.e.

• they rely on a systematic and by-case-structured data coding process;
• they are applied to systematically or consistently generated (and therefore homogeneous) datasets;
• they aim to capture and describe patterns in qualitative data; and
• typically express findings as a matrix of intersecting research foci (Gale et al. 2013).

프레임워크 방법(FM): 이 AMEE 가이드에서는 프레임워크 방법 또는 FM이라는 용어를 사용하여 Gale과 동료들이 2013년에 설명한 구체적이고 널리 알려진 FAM을 지칭합니다. 
Framework method (FM): In this AMEE guide, we use the term framework method or FM to refer to a specific and popular FAM articulated in 2013 by Gale and colleagues.

귀납적 데이터 분석: 귀납적 데이터 분석은 구체적인 것(즉, 데이터로부터)에서 일반적인 것(즉, 연구자가 생성하고 데이터에 의해 논리적이고 경험적으로 뒷받침되는 설명이나 통찰에 대한 보다 추상적인 진술)으로 이동하여 현상에 대한 이해를 생성합니다. '아래로부터(데이터) 위로 분석을 생성하는 것을 목표로 하며, 분석은 기존 이론에 의해 형성되지 않습니다(그러나 분석은 항상 연구자의 관점, 학문적 지식 및 인식론에 의해 어느 정도 형성됨)'(브라운과 클라크 p175). 예를 들어, 우리는 왜 일부 의대생들이 사기꾼 증후군을 경험하는지 이해하고 싶을 수 있습니다. 우리는 의대생의 사기 증후군 경험에 대한 많은 의대생의 설명을 수집하고 분석하여 의대생의 사기 증후군 경험과 무수히 많은 개인적, 제도적, 사회적 요인 사이의 관계에 대한 통찰력, 이론 또는 모델을 생성할 것입니다. 
Inductive data analysis: Inductive data analysis generates understanding about a phenomenon by moving from the specific (i.e. from data) to the general (i.e. more abstract statements of explanation or insight that are generated by the researcher(s), and are logically and empirically backed by the data). It ‘aims to generate an analysis from the bottom (the data) up; analysis is not shaped by existing theory (but analysis is always shaped to some extent by the researcher’s standpoint, disciplinary knowledge and epistemology)’ (Braun and Clarke p175). For example, we might be curious to understand why some medical students experience imposter syndrome. We will collect and analyze many medical student accounts of their imposter syndrome experiences to generate insights, theories, or models about the relationship between medical student experiences of imposter syndrome and a myriad of different personal, institutional, and/or social factors.

해석: 질적 해석은 '데이터의 의미를 이해하고 그 의미를 이론화하는 과정'입니다(Braun and Clarke 2013, p332). 따라서 질적 연구에서 데이터 해석은 '데이터의 명백한 의미적 내용을 요약하는 것을 넘어'(브라운과 클라크 p332) 일종의 해석적 개념 구조를 생성하는 것입니다. 따라서 데이터 집합의 품질을 넘어 특정 맥락에서 데이터가 말하거나 의미할 수 있는 더 깊고 추상적인 수준으로 나아가는 것이 포함됩니다.  
Interpretation: Qualitative interpretation is ‘a process of making sense of, and theorising the meanings in, data’ (Braun and Clarke 2013, p332). Thus, interpretation of data in qualitative research ‘goes beyond summarising the obvious semantic content of the data’ (Braun and Clarke p332) to generate some kind of interpretive conceptual structure. It thus involves going beyond the qualities of a dataset to deeper, more abstract levels of what the data could be taken to say or mean in a particular context. 

패러다임: 패러다임은 '과학에 대한 특정 접근 방식을 정의하는 개념, 관행 및 언어로 구성'됩니다(Varpio와 MacLeod 2020, p687). 특정 연구 전통에서 일하는 개인이 문제를 어떻게 이해하고 해결해야 하는지, 그리고 그러한 접근 방식과 관련된 엄격함의 지표에 대해 가지고 있는 신념과 합의의 집합입니다.  
Paradigm: A paradigm ‘consists of the concepts, practices, and language that define a particular approach to science’ (Varpio and MacLeod 2020, p687). It is the set of beliefs and agreements that individuals working from a particular research tradition hold about how problems should be understood, addressed, and the markers of rigor associated with those approaches. 

---

그러나 때로는 질적 연구에 참여하는 이유가 더 지시적directed 때도 있습니다. 사전에 결정된 특정 정보 요구를 충족하기 위한 연구인 경우, 데이터 수집 및 분석의 범위가 좁아질 수 있습니다. 이러한 상황에서는 기존의 이론, 모델 또는 문헌의 증거가 데이터 수집과 분석 방법의 선택을 지시할 수 있습니다. 예를 들어, 실행 및 프로세스 평가 연구에서 이러한 경우가 많습니다(Klingberg 외. 2021; Draper 외. 2022). 이러한 지시적 목표directed goals와 관련된 질적 연구에서 연구자는 종종 대규모 데이터 세트를 수집하고 보다 집중적이고 구조화된 데이터 분석에 참여합니다(Davidson et al. 2019). 이러한 종류의 연구에 참여하는 HPE 연구자는 프레임워크 분석 방법(FAM)을 유용하게 사용할 수 있습니다. FAM은 데이터로부터 추상적인 해석을 위해 귀납적으로 작업하는 대신 연역적 접근 방식을 사용하는 경우가 많으므로 미리 설정된 목적과 목표에서 시작합니다(Pope 외. 2000). 보다 구조화된 형태의 데이터 수집(예: 개방형 설문조사 질문 또는 구조화된 인터뷰)을 포함하며, 데이터 분석은 분석이 시작되기 전, 때로는 데이터 수집이 시작되기도 전에 설정된 이론, 모델, 문헌 조사 결과 및 목적에 따라 기초적으로 형성되고 방향이 정해집니다. 
However, sometimes our reasons for engaging in qualitative research are more directed. Sometimes the study is aimed towards fulfilling specific pre-determined information needs; this focus narrows the scope of data collection and analysis. In these situations, pre-existing theories, models, or evidence from the literature can direct data collection and the choice of analysis methods. For example, this is frequently the case in implementation and process evaluation studies (Klingberg et al. 2021; Draper et al. 2022). In qualitative studies that involve such directed goals, researchers often collect large datasets and engage in more focused and structured data analysis (Davidson et al. 2019). HPE researchers engaging in this kind of research might usefully rely on a framework analysis method (FAM). Rather than working inductively from the data towards abstract interpretation, FAMs often employ a deductive approach, and so begin with pre-set aims and objectives (Pope et al. 2000). They involve more structured forms of data collection (e.g. open ended survey questions or structured interviews), and data analysis is foundationally shaped and directed by theories, models, literature findings, and/or purposes that are established before analysis—and sometimes even before data collection—begins.

FAM의 우산 아래에는 다른 방법과 차별화되는 유용성과 힘을 가진 많은 분석 방법이 있습니다. 이 가이드에서는 FAM과 정성 분석 방법 그룹에 속하는 다양한 방법에 대해 명확하게 설명하고자 합니다. 먼저 오늘날 존재하는 다양한 FAM의 개발을 촉진한 1994년 Ritchie와 Spender가 설명한 프레임워크 분석 접근법과 FAM을 정의하는 것으로 시작합니다. HPE 연구자가 자신의 연구 요구 사항에 가장 적합한 FAM 유형을 결정할 수 있도록 FAM 범주에 속하는 가장 일반적인 방법 몇 가지를 간략히 검토합니다. 그런 다음 일반적으로 사용되는 다른 질적 분석 방법과의 관계에 대해 설명하여 독자가 연구 목적에 맞는 FAM을 파악할 수 있도록 돕습니다. 다음으로, 일반적으로 널리 사용되는 FAM인 프레임워크 방법의 일부인 단계에 대해 설명합니다. FAM이 이미 HPE 연구에서 어떻게 유용하게 활용되었는지를 설명하기 위해 FAM이 어떻게 활용될 수 있는지를 보여주는 몇 가지 발표된 연구 사례를 제공합니다. 마지막으로 정성적 분석에 FAM을 사용할 때 피해야 할 잠재적 함정에 대해 경고하는 것으로 마무리합니다. 
There are many analysis methods that can sit beneath the FAM umbrella—each with utility and power that differentiates it from other methods. In this guide, we aim to provide clarity around FAMs and the variety of methods that are part of this group of qualitative analysis methods. We begin by defining FAMs and the framework analysis approach described in 1994 by Ritchie and Spender which catalyzed the development of the many varieties of FAMs that exist today. We offer a short review of some of the most common methods under the FAM umbrella so that the HPE researcher can decide which type of FAM best suits their research needs. We then describe how FAMs sit in relation to other commonly used qualitative analysis methods to help readers know when FAMs might fit their research purposes. Next, we explain the phases that are typically part of a popular FAM, the framework method. To illustrate how FAMs have already been useful in HPE research, we offer some examples of published research that demonstrate how FAMs might be harnessed. We end by warning readers of potential pitfalls to avoid when using FAMs for qualitative analysis.

FAM이란 무엇인가요?
What are FAMs?

질적 연구의 맥락에서 FAM의 역사는 1980년대 후반 영국에서 수행된 대규모 정책 연구 중 제인 리치와 리즈 스펜서가 만든 프레임워크 분석(FA)으로 거슬러 올라갑니다(Ritchie and Spencer 1994; Gale 외. 2013). FA는 대규모 질적 데이터 세트를 사용하여 특정 질문에 답하고 실행 가능한 인사이트를 창출할 수 있는 질적 데이터 분석 접근 방식에 대한 응용 정책 연구자들의 필요성에서 탄생했습니다(Ritchie and Spencer 1994; Srivastava and Thomson 2009). FA가 시작된 이래로 다양한 변형과 파생물이 개발되었습니다. 이러한 변형과 파생은 원래의 FA와 마찬가지로 FAM의 범주에 속하며, 여러 특징을 공유합니다(Gale et al. 2013).

• 체계적이고 사례별로 구조화된 데이터 코딩 프로세스에 의존하고,
• 비교적 동질적인 데이터 세트(즉, 주제나 주요 문제를 어느 정도 일관되게 다루기 위해 수집된 데이터 세트)에 적용되며,
• 정성적 데이터의 패턴을 주제(예: 공통 경험 및 경험 간 변화)로 포착하고 설명하는 것을 목표로 하고,
• 일반적으로 사례와 교차하는 코드로 구성된 프레임워크 매트릭스를 생성한다는 

글로벌 보건(Klingberg 외. 2022), 보건 서비스 연구(Heath 외. 2012), HPE(Kumar 외. 2011, Howman 외. 2016, Balmer 외. 2021) 등 다양한 분야의 학자들이 다양한 FAM의 힘을 활용하고 있습니다.
In the context of qualitative research, the history of FAMs trace back to framework analysis (FA) which was created by Jane Ritchie and Liz Spencer in the late 1980s during large-scale policy research carried out in the United Kingdom (Ritchie and Spencer 1994; Gale et al. 2013). FA was born out of applied policy researchers’ need for a qualitative data analysis approach that enabled answering specific questions and creating actionable insights using large qualitative datasets (Ritchie and Spencer 1994; Srivastava and Thomson 2009). Since the inception of FA, different variants and offshoots have been developed. These variants and offshoots, as well as the original FA, sit under the FAM umbrella and so share several characteristics:

• they rely on a systematic and by-case-structured data coding process;
• they are applied to relatively homogenous datasets (i.e. datasets collected to address topics or key issues somewhat consistently);
• they aim to capture and describe patterns in qualitative data as themes (e.g. common experiences and variation across experiences); and
• typically produce framework matrices consisting of codes that intersect with cases (Gale et al. 2013).

The power of various FAMs have been harnessed by scholars working in a wide range of fields, including global health (Klingberg et al. 2022), health services research (Heath et al. 2012), and HPE (Kumar et al. 2011; Howman et al. 2016; Balmer et al. 2021).

표 2에는 FAM 우산 아래에 있는 몇 가지 연구 접근법이 나열되어 있습니다. 이 표에서 알 수 있듯이 몇 가지 미묘한 차이점만 있을 뿐, 각 접근법에는 고유하지는 않더라도 특징적인 특징이 있습니다. 특정 연구의 정확한 목적에 따라 HPE 연구자는 정성적 데이터 분석에 가장 적합한 FAM을 선택할 수 있습니다.
In Table 2, we list some research approaches that sit beneath the FAM umbrella. As this table makes clear, only a few nuanced differences separate some of the approaches under the umbrella; nevertheless, each approach has certain characterizing, if not unique, features. Depending on the precise purpose of a particular study, HPE researchers can choose the FAM best suited for analyzing their qualitative data.

---

프레임워크 방식(FM) 
Framework Method (FM) 

프레임워크 방식은 '행(사례), 열(코드), 요약된 데이터의 '셀'로 구성된 프레임워크 매트릭스 도구를 사용하는 것이 특징이며, 이는 '연구자가 데이터를 체계적으로 축소하여 사례별, 코드별로 분석할 수 있는 구조'로 작용합니다(Gale 외. 2013, p2). FM의 주요 특징은 다음과 같습니다: 

• 근거 기반(즉, 원본 데이터에 기반하고 이에 의해 구동됨);
  
• 동적(즉, 분석 프로세스 중에 변경될 수 있음);
  
• 체계적(즉, 데이터를 체계적으로 처리합니다);
  
• 포괄적(즉, 모든 데이터에 대한 전체 검토가 포함됨);
  
• 쉽게 검색할 수 있음(즉, 원본 데이터에 쉽게 액세스할 수 있음);
  
• 사례 내 및 사례 간 분석(즉, 데이터 사례 내 및 사례 간 비교를 지원합니다);
  
• 접근성(즉, 외부 학자가 분석 과정과 결과를 보고 평가할 수 있음); 그리고
  
• 탐색적(예: 설문지의 개방형 질문에 대한 응답을 요약하거나 분류).  

The framework method is characterized by use of the framework matrix tool: ‘rows (cases), columns (codes) and “cells” of summarized data’ that collectively act as ‘a structure into which the researcher can systematically reduce the data, in order to analyze it by case and by code’ (Gale et al. 2013, p2). FM’s key features are that it is:

• grounded (i.e. based in and driven by original data);
• dynamic (i.e. it can change during the analysis process);
• systematic (i.e. it is a methodical treatment of data);
• comprehensive (i.e. it involves a full review of all data);
• enables easy retrieval (i.e. it allows easy access to original data);
• within- and between-case analysis (i.e. it supports comparisons within and across data cases);
• accessible (i.e. the analytical process and outputs can be seen and evaluated by external scholars); and
• exploratory (e.g. summarizing or categorizing the responses to an open-ended question in a questionnaire).  

템플릿 분석 
Template Analysis 

템플릿 분석은 구조화된 접근 방식을 따르며, 일반적으로 연구자가 분석 전에 식별한 코드를 기반으로 개발되는 코딩 템플릿을 활용하지만 반드시 그렇지는 않습니다(King and Brooks 2018). 코딩은 연구 데이터의 분석을 통해 귀납적으로 개발할 수도 있습니다. 코딩 프레임, 즉 템플릿을 개발하고 적용할 때 연구자는 일반적으로 전체 데이터 집합을 읽고 다시 읽는 것을 기반으로 템플릿을 만드는 것이 아니라, 데이터의 하위 집합 또는 샘플로 시작합니다. 템플릿의 최종 버전은 '패턴화된 의미를 계층적으로 매핑하고 더 넓은 의미에서 더 정확한 의미로 이동할 수 있는 방법을 제공합니다'(Braun and Clarke 2021, 243쪽). 따라서 템플릿은 연구자의 해석과 분석 결과를 깊이 있게 알려줍니다. 템플릿을 다듬는 데는 여러 차례의 읽기와 개발 템플릿을 향한 반복적인 작업이 필요할 수 있지만, 이 분석 방법은 대규모 데이터 세트 작업에 적합한 것으로 간주됩니다(버튼과 갤빈 2019).   
Template analysis follows a structured approach, utilizing a coding template that is typically, but not necessarily, developed based on codes that are identified by the researchers prior to analysis (King and Brooks 2018). Codes can also be developed inductively through the analysis of the study data. In developing and applying the coding frame— i.e. the template— the researcher typically starts with a subset or sample of data as opposed to basing the template on reading and re-reading the entire dataset. The final version of the template ‘offers a way of hierarchically mapping patterned meaning, and moving from broader to more precise meanings’ (Braun and Clarke 2021, p243). The template thus deeply informs the researcher’s interpretations and analysis findings. Although the refinement of the template may involve many rounds of reading and iteratively working towards a developed template, this analysis method is considered suitable for working with large datasets (Burton and Galvin 2019).  

매트릭스 분석 
Matrix Analysis 

행렬 분석은 다양한 종류의 테이블, 즉 행렬을 사용하여 데이터를 분류하고 표시함으로써 사례 간 교차 분석을 지원합니다(King and Brooks 2018). 이러한 행렬은 '설명적(기존 조건 또는 상황 묘사), 결과 지향적(결과 및 결과 관련) 또는 과정 지향적(변화의 역학에 초점)'일 수 있습니다(Averill 2002, p856). 프레임워크 분석의 사례 비교 측면을 기반으로 하기 때문에 대량의 데이터를 쉽게 수용할 수 있으며, 해당 연구와 관련된 사례로 미리 설정된 데이터 분류를 사용합니다. Burton과 Galvin(2019)이 주장한 것처럼, 매트릭스 또는 행렬의 구조화된 개발은 질적 데이터를 심층적으로 분석하고 해석하는 것이 아니라, 데이터를 제시하거나 조직화하는 데 더 적합합니다.  
Matrix analysis uses different kinds of tables—matrices—to categorize and display data, thereby supporting cross case analysis (King and Brooks 2018). These matrices ‘can be descriptive (depicting existing conditions or situations), outcome-orientated (concerned with consequences and results), or process-oriented (focused on the dynamics of change)’ (Averill 2002, p856). It can easily accommodate large volumes of data because it builds on the case comparison aspect of framework analysis; it uses pre-established categorizations of data into cases relevant to the study in question. As Burton and Galvin (2019) argue, the structured development of a matrix or matrices is more geared towards presenting or organizing data, as opposed to analyzing and interpreting qualitative data in a greater depth. 

'최적 적합' 프레임워크 합성 
‘Best Fit’ Framework Synthesis 

'최적 적합' 프레임워크 합성은 '잠재적으로 다르지만 관련성이 있는 모집단을 위해 고안된 기존의 공개된 모델을 테스트, 강화 및 구축하는 수단'을 제공합니다(Carroll 외. 2013, p1). 여기에는 선험적 주제를 식별하기 위해 기존의 개념적 프레임워크 또는 모델을 식별하고 사용하는 것이 포함되며, 이는 관련 연구의 질적 연구 결과의 데이터 추출, 코딩 및 종합에 사용됩니다(Carroll 외. 2011; Dixon-Woods 2011). 다른 FAM은 1차 데이터 분석을 지원하지만, '최적 적합' 프레임워크 분석은 출판된 문헌의 데이터를 분석하는 수단입니다.  
‘Best fit’ framework synthesis provides ‘a means to test, reinforce, and build on an existing published model, conceived for a potentially different but relevant population’ (Carroll et al. 2013, p1). It involves identifying and using an existing conceptual framework or model for identifying a priori themes, which are then used for data extraction, coding, and synthesis of qualitative findings from relevant studies (Carroll et al. 2011; Dixon-Woods 2011). While the other FAMs support primary data analysis, ‘best fit’ framework analysis is a means of analyzing data in the published literature. 

---

독자들이 이러한 선택을 할 수 있도록 돕기 위해, 이제 FAM의 정의적 특징에 대해 좀 더 자세히 설명하겠습니다. 다른 정성적 분석 방법과 관련하여 FAM을 고려함으로써 FAM의 범주에 속하는 접근법을 하나로 묶는 일관성을 더 잘 이해할 수 있습니다.
To support readers in making these selections, we next go into more detail about the defining features of FAMs. By considering FAMs in relation to other qualitative analysis methods, we can further understand the coherence that unites approaches that fall underneath the FAM umbrella.

다른 정성적 분석 방법과 FAM 구별하기
Distinguishing FAMs from other qualitative analysis methods

정성적 분석 방법과 다른 정성적 분석 방법의 차이점을 이해하는 한 가지 방법은 분석 프로세스 중에 데이터가 변형되는 정도를 고려하는 것입니다. Sandelowski와 Barroso(2003)는 데이터 변환의 연속선상에서 질적 연구에 대한 다양한 접근 방식을 찾는 데 도움이 됩니다. 그림 1은 

• 이 연속체의 한쪽 끝에서 원시 데이터에 가깝게 유지하고자 하는 연구가 어떻게 데이터를 최소한의 변형(예: 설문지의 개방형 질문에 대한 응답 요약)을 거치는지 보여줍니다. 
• 이와는 대조적으로, 해석적 설명에 중점을 두는 연구에서는 데이터가 원본 데이터에서 많은 변형 과정을 거칩니다(예: 감정적 경험의 본질에 대한 현상학적 분석). 

이러한 양극 사이에는 다양한 연구가 존재하며, 이는 분석이 데이터 내용과 특성에 대한 단순한 목록을 넘어 보다 추상적인 해석 및/또는 인사이트를 생성하는 데까지 나아갈 것으로 기대되는 정도를 반영합니다. 이 연속체는 다양한 정성적 접근 방식과 관련된 분석의 종류를 개념화하는 데 도움이 될 수 있습니다.
One way of understanding what differentiates one qualitative analysis method from another is to consider the extent to which the data is transformed during the analysis process. Sandelowski and Barroso (2003) helpfully located different approaches to qualitative research on a continuum of data transformation. Figure 1 demonstrates

• how, at one end of this continuum, research studies seek to stay close to raw data and so the data undergo minimal transformation (e.g. summarizing the responses to an open-ended question in a questionnaire). In contrast,
• at the other end of the spectrum, studies engage in interpretive explanation and so the data undergo many transformative moves away from the original data (e.g. a phenomenological analysis of the essence of an emotional experience).

There is a spectrum of research that exists between these poles, reflecting the degree to which analyses are expected to move beyond simple inventories of data content and characteristics, to generate more abstract interpretations and/or insights. This continuum can serve as a helpful conceptualization of the kind of analysis involved in different qualitative approaches.

FAM은 일반적으로 연구자가 심층 데이터 변환에 참여하지 않는다는 점을 감안할 때, 일반적으로 Sandelowski와 Barroso의 연속체에서 원시 데이터에 가까운 쪽에서 작업하는 연구를 지원합니다. 따라서 FAM은 특정 상황에서 사용하기에 적합한 방법입니다. FAM을 사용하면 연구자가 데이터에 근접하여 설명, 범주 및/또는 유형을 제공하는 분류, 조직화 및 요약된 데이터의 고도로 구조화된 결과물을 생성할 수 있습니다. 모든 질적 연구가 사회 현상에 대한 새로운 이론이나 고도로 정교한 설명을 만들어내야 하는 것은 아닙니다. 따라서 설명적이고 실용 지향적인 연구를 촉진하기 위해 FAM과 같은 특정 방법의 가치를 인식하는 것이 도움이 됩니다. FAM의 설명적 또는 탐색적 경향은 다양한 참여자 그룹을 포함하고 서로 다른 그룹 간의 결과를 비교하는 것이 분석적 관련성이 있는 질적 데이터 세트를 분석하는 데 특히 유용합니다. 이는 다양한 연령대, 직업 또는 특정 현상에 대한 관계/경험(예: 만성 질환이 있는 의료 전문가와 없는 의료 전문가)과 같이 잠재적으로 관심 있는 자연스러운 하위 집합을 포함하는 대규모 데이터 세트의 경우에 해당할 수 있습니다.
Given that FAMs do not typically engage the researcher in deep data transformation, they generally support research working at the close to raw data end of Sandelowski and Barroso’s continuum. As such, FAMs are methods that lend themselves to be used in specific circumstances. FAMs enable the researcher to stay close to the data to generate highly structured outputs of categorized, organized, and summarized data offering descriptions, categories, and/or typologies. Not all qualitative research needs to produce new theories or highly sophisticated explanations of social phenomena. It is therefore helpful to recognize the value of specific methods—like FAMs—for facilitating descriptive and for-practical-use oriented research. The descriptive or exploratory tendencies of FAMs are also particularly useful for analyzing qualitative datasets that include distinct participant groups and where a comparison of findings between different groups is of analytical relevance. This may well be the case with larger datasets that potentially contain natural subsets of interest, such as different age groups, professions, or relationships with/experiences of a given phenomenon (e.g. health care professionals with and without chronic illness).

FAM과 달리 다른 질적 방법론과 데이터 분석 방법에는 상당한 변형이 수반됩니다. 데이터 변환의 연속선상에서 다양한 질적 연구 접근법이 어떻게 위치할 수 있는지를 고찰함으로써, 어떤 접근법은 데이터에 대한 심층적인 해석과 현상에 대한 설명을 수반하는 반면, 어떤 접근법은 해석을 거의 수반하지 않는다는 점을 강조합니다. 표 3은 프레임워크 방법, FAM을 포함한 네 가지 접근 방식을 이 연속체에 따라 정리하고 각 접근 방식이 일반적으로 사용되는 연구 목적의 측면에서 비교를 제공합니다. 
In contrast to FAMs, other qualitative methodologies and data analysis methods involve considerable transformation. By reflecting on how different qualitative research approaches can be located along the continuum of data transformation, we highlight how some approaches involve deep interpretation of data and explanations of phenomena, while others engage in very little interpretation. Table 3 organizes four different approaches—including framework method, an FAM—along this continuum and offers comparisons in terms of the kind of research purposes each approach is typically used to address.

그렇다고 해서 FAM이 해석이나 데이터 변환이 필요 없다는 뜻은 아니며, 대신 발생하는 변환은 원시 데이터에 가깝게 유지됩니다. FAM의 힘 중 하나는 대량의 데이터를 의도적으로 구성된 사례(예: 분석 단위, 참가자 인터뷰)와 코드(예: '원시 데이터 발췌에 할당된 설명적 또는 개념적 레이블')로 축소하는 능력에 있습니다(Gale 외. 2013, 2페이지). 이러한 사례와 코드는 전체 데이터 세트에 적용되는 코딩 프레임을 구성하며, 코딩은 본질적으로 데이터 발췌에 적절한 코드로 라벨을 붙이는 과정입니다. 모든 데이터가 프레임워크에 코딩되었다고 해서 분석이 완료된 것은 아닙니다. 대신 연구자가 연구의 특정 목표로 돌아가 사례와 코드가 이러한 목표를 충족하는지 확인하고, 관심 있는 현상의 범위 또는 성격을 매핑하고, 유형학을 개발하고, 연관성 또는 설명을 식별해야 합니다(Ritchie와 Spencer 1994). 이 작업에는 분명히 데이터에 대한 해석이 포함되지만, 분석은 데이터에 가깝게 유지되며 일반적으로 추상화 수준이 제한적인 인사이트를 제공합니다.
This is not to suggest that FAMs are free of any interpretation or data transformation; instead, the transformation that takes place stays close to the raw data. Part of the power of FAMs rests in their ability to reduce large amounts of data into a purposefully constructed set of cases (i.e. the units of analysis; e.g. a participant interview) and codes (i.e. ‘a descriptive or conceptual label that is assigned to excerpts of raw data’ (Gale et al. 2013, p2). These cases and codes make up the coding frame which is applied to the entire dataset; this application is essentially a process of labelling data excerpts with the appropriate code. When all the data is coded into the framework, the analysis is not complete. Instead, as Ritchie and Spencer explain, this is when the researcher: returns to the study’s specific objectives and ensures that the cases and codes address these objectives; maps the range and/or nature of the phenomenon of interest; develops typologies; and identifies associations and/or explanations (Ritchie and Spencer 1994). While this work clearly involves interpretations of the data, the analysis stays close to the data and offers insights that are typically limited in their level of abstraction.

FAM을 사용하여 정성적 분석에 참여하는 방법
How to engage in qualitative analysis using a FAM

FAM을 사용하는 방법을 설명하기 위해, 우리는 이 우산 아래에서 프레임워크 방법(FM) 중 하나를 선택합니다. FM은 패턴 기반의 구조화된 기법을 사용하여 데이터를 사례와 코드가 교차하는 매트릭스로 구성하고, 결국 프레임워크 매트릭스의 도움으로 주제를 개발합니다(Gale 외. 2013). 사례(즉, 분석 단위)는 종종 개별 참여자이지만 사례는 참여자 그룹, 조직 또는 다른 범주일 수도 있습니다. 이 접근 방식은 사례를 비교하고 대조하는 것을 장려하기 때문에 데이터 세트가 비교적 균질하고 일관되게 수집되는 것이 중요합니다(Gale 외. 2013). 
To illustrate how to use FAMs, we select one from underneath this umbrella: the framework method (FM). FM uses a pattern-based and structured set of techniques to organize data into a matrix where cases intersect with codes, and eventually developing themes with the help of the framework matrix (Gale et al. 2013). The case (i.e. the unit of analysis) is often an individual participant, but a case could also be a participant group, an organization, or another categorization. Since this approach encourages the comparing and contrasting of cases, it is important that the dataset be relatively homogenous and consistently collected (Gale et al. 2013).

연역적 접근법에서는 기존 이론, 선행 연구 또는 특정 연구 목표를 기반으로 주제 및/또는 코드를 미리 선택하고, 귀납적 접근법에서는 데이터에서 코드와 주제를 생성한 후 분석이 진행됨에 따라 구체화합니다. FM은 전사, 익숙화, 코딩, 작동하는 분석 프레임워크 개발, 분석 프레임워크 적용, 프레임워크 매트릭스에 데이터 차트화, 데이터 해석의 7단계로 구성됩니다(Gale 외. 2013). 아래에서 각 단계를 설명합니다. 이러한 단계는 독립적인 연구자가 수행하거나 연구팀이 공동으로 수행할 수 있습니다. 특히 대규모 데이터 세트로 작업하는 경우, 데이터 관리 및 분석을 돕기 위해 정성적 데이터 분석 소프트웨어를 7단계 중 일부 또는 모두에 활용하는 것이 적절할 수 있습니다. 여기서 설명하는 단계는 FM에 국한된 것이지만, 이 단계에 관련된 작업은 다른 FAM에서 사용되는 많은 프로세스와 유사하다는 점에 유의하는 것이 중요합니다. 
FM can be used both deductively and inductively: in the deductive approach, themes and/or codes are pre-selected based on existing theories, prior research or specific study objectives; in the inductive approach, codes and themes are generated from the data and refined as analysis progresses. FM involves seven stages: transcription; familiarization; coding; developing a working analytical framework; applying the analytical framework; charting data into the framework matrix; and interpretating the data (Gale et al. 2013). We describe each of these below. These stages can be carried out by an independent researcher or collaboratively by a research team. Qualitative data analysis software may be relevant to utilize in many or all seven stages to aid data management and analysis, especially if working with a large dataset. It is important to note that the stages we describe are specific to FM; however, the work involved in these stages parallels many of the processes used in other FAMs.

1단계: 전사
Stage 1: Transcription

대부분의 정성적 분석 방법과 마찬가지로, FM을 사용한 데이터 분석 작업은 전사 작업으로 시작되며, 특히 연구자가 전사 작업을 수행하는 경우 더욱 그렇습니다. 따라서 단어 하나하나를 그대로 옮긴(즉, 축어체) 트랜스크립트를 작성하는 것은 데이터에 대한 첫 번째 검토 역할을 합니다. 그러나 외부 계약업체가 전사 작업을 수행하더라도 FM 연구자는 원본 녹음과 대조하여 전사본을 확인하여 정확성을 보장해야 합니다. 이 과정에서 연구자는 데이터에 몰입하여 연구 목적 및 질문과 관련하여 데이터를 고려해야 합니다. 질적 설문조사 응답을 사용하는 경우처럼 녹음된 데이터의 필사본이 필요하지 않은 경우(Palermo 외. 2019), 2단계가 첫 번째 분석 단계가 됩니다. 
As with most qualitative analysis methods, the work of data analysis using FM begins with transcription—especially if that transcription work is being done by the researcher. As such, the creation of a word-for-word (i.e. verbatim) transcript acts as a first review of the data. However, even if the transcription work is being conducted by an external contractor, the FM researcher should verify the transcript against the original recording to ensure accuracy. This process requires the researcher to immerse themselves in the data and consider them in relation to the research purposes and questions. If no transcription of recorded data is required, as in the case of using qualitative survey responses (Palermo et al. 2019), stage 2 becomes the first analysis phase.

2단계: 익숙화
Stage 2: Familiarization

다양한 질적 데이터 분석 방법에서 여전히 일반적인 이 단계에서는 연구자가 데이터 세트의 범위와 다양성에 익숙해져야 합니다. 이 단계는 본질적으로 데이터에 더 깊이 몰입하는 작업입니다. 익숙해지기 위해서는 기록이나 응답을 읽거나 녹음을 듣는 것이 포함됩니다. 이 숙지 과정에서 연구자는 핵심 아이디어, 생각, 인상, 반복되는 주제에 대한 맥락 및 반성적 메모를 작성해야 합니다.  
This phase of FM, which is still typical for many different qualitative data analysis methods, requires the researcher to become familiar with the range and diversity of the dataset. It is essentially the work of deeper immersion in the data. Familiarization can involve reading of transcripts or responses, and/or listening to recordings. During this familiarization, the researcher should write contextual and/or reflective memos of key ideas, thoughts, impressions, and recurrent themes that they notice.

3단계: 코딩
Stage 3: Coding

코딩의 어떤 형태는 많은 질적 분석 방법에서 공통적이지만, 이 단계에서는 FM이 다른 방법과 더욱 뚜렷해지기 시작하고 FM의 변형(예: 귀납적 또는 연역적)도 서로 달라지기 시작합니다. 이는 질적 방법론과 분석 방법마다 코딩에 접근하는 방식이 매우 다르기 때문입니다. 이 FM 단계에서 연구자는 간단한 설명 코드 또는 의역된 데이터 발췌문으로 데이터 세그먼트에 레이블을 지정합니다. 이 라인별 작업의 목표는 데이터를 조사할 수 있는 주요 문제와 개념을 식별하는 것입니다(Ritchie and Spencer 1994). 코드를 개발할 때 연구자는 데이터 세트의 모든 트랜스크립트(즉, 모든 사례)로 작업하거나 일부만 사용하여 코드를 개발하기로 결정할 수 있습니다. 
While some form of coding is common to many qualitative analysis methods, this is the phase where FM starts to become more distinct from other methods, and where variations of FM (e.g. inductive or deductive) also differ from each other. This is because different qualitative methodologies and analysis methods approach coding in very different ways. During this FM stage, the researcher labels data segments with brief descriptive codes or paraphrased data excerpts. The goal of this line-by-line work is to identify key issues and concepts according to which the data can be examined (Ritchie and Spencer 1994). When developing codes, it may be that the researcher decides to develop codes by working with all transcripts (i.e. all cases) in the dataset or by using only a few.

귀납적 분석을 지원하기 위해 FM을 사용할 때 Gale 등(2013)은 다음과 같이 제안합니다:
When using FM to support inductive analysis, Gale et al. (2013) suggest that:

코드는 실체적인 것(예: 특정 행동, 사건 또는 구조), 가치(예: 근거 기반 의학 또는 환자 선택에 대한 믿음과 같이 특정 진술을 알리거나 뒷받침하는 것), 감정(예: 슬픔, 좌절, 사랑) 및 보다 인상적/방법론적 요소(예: 인터뷰 대상자가 설명하기 어려운 것을 발견함, 인터뷰 대상자가 감정적이 됨, 인터뷰자가 불편함을 느낌)를 나타낼 수 있습니다. (p. 4)
Codes could refer to substantive things (e.g., particular behaviours, incidents or structures), values (e.g., those that inform or underpin certain statements, such as a belief in evidence-based medicine or in patient choice), emotions (e.g., sorrow, frustration, love), and more impressionistic/methodological elements (e.g., interviewee found something difficult to explain, interviewee became emotional, interviewer felt uncomfortable). (p. 4)

이와는 대조적으로, 순수 연역적 FM 연구에서는 주제가 미리 정의되어 있고, 이론, 모델 또는 문헌의 기존 연구 결과를 바탕으로 코드에 정보를 제공합니다(Onyura 외. 2017). 귀납적-연역적 결합 접근 방식을 결합한 경우, 코딩은 미리 식별되거나 개발된 프레임워크에 의해 부분적으로 정보를 얻을 수 있으며, 귀납적 코딩은 연역적으로 결정된 주제에 대한 하위 주제를 개발하는 데 사용될 수 있습니다(Redman et al. 2017).
In contrast, in a purely deductive FM study, themes will have been pre-defined, informed by a theory, a model, or existing findings from the literature, which then informs codes (Onyura et al. 2017). In combined inductive-deductive approaches, the coding can be partly informed by pre-identified or developed frameworks, and inductive coding can be used to develop sub-themes to deductively determined themes (Redman et al. 2017).

코드가 인사이트를 개발하는 기반이 되기 때문에 코드 개발은 FM에서 특히 중요한 측면입니다. Gale 등(2013)은 다음과 같이 설명합니다: '코딩은 모든 데이터를 분류하여 데이터 세트의 다른 부분과 체계적으로 비교할 수 있도록 하는 것을 목표로 합니다'(4페이지). 연구의 성공에 있어 코드의 중요성을 고려할 때, 연구자는 코드가 '적합하지 않거나' 데이터와 잘 맞지 않을 때를 인식하는 것이 필수적입니다. 이러한 상황에서는 연구자가 코드를 재고하고 개선할 준비가 되어 있어야 한다고 Ritchie와 Spencer(1994)는 제안합니다. 이는 연구팀에서 논의함으로써 이루어질 수 있으며, 이러한 관행은 데이터 분석을 더욱 견고하게 만들 것입니다. 
The development of codes is a particularly important aspect of FM since codes are the foundations from which insights are developed. As Gale et al. (2013) explain: ‘coding aims to classify all of the data so that it can be compared systematically with other parts of the dataset’ (p. 4). Given the centrality of codes to the success of the study, it is essential that the researcher recognizes when codes are not a good ‘fit’ or not well aligned with the data. In these situations, Ritchie and Spencer (1994) suggest that the researcher be ready to reconsider and refine codes. This might be done by discussing them in the research team—a practice that should make the data analysis more robust.

4단계: 작업용 분석 프레임워크 개발하기
Stage 4: Developing a working analytical framework

코드가 개발되면 연구자는 작업용 분석 프레임워크를 구축하여 보다 고유하고 정의적인 FM 단계로 진행합니다. 프레임워크는 명확하게 정의되고 설명된 전체 코드 집합으로 구성되며, 일부 코드는 카테고리로 묶여 있습니다. 팀으로 작업하는 경우 이 단계에서는 서로 다른 팀원들의 코딩 접근 방식을 조율해야 하며, 정확한 프로세스는 특정 연구에 대해 취하는 실용적이고 철학적 접근 방식과 분석 프로세스의 목표에 따라 달라집니다. 예를 들어 

• 귀납적 접근 방식으로 작업하는 경우, 연구팀은 코드의 개념화 전반에 걸친 차이를 어떻게 수용할지 결정해야 합니다(예: 한 연구자의 코드 'X'가 다른 연구자의 코드 'Y'와 충분히 겹쳐서 서로 병합할 수 있는가?). 이와 대조적으로
• 연역적 접근 방식에서는 연구자가 기존의 개념적 틀을 활용할 수 있지만(예: Onyura 외. 2017 및 표 4 참조), 연구자는 기존 이론, 모델 및/또는 문헌 기반 코드에 대한 각 코더의 해석이 일치하는지를 확인해야 합니다.

Once codes have been developed, the researcher progresses to the more unique and defining stages of FM by constructing a working analytical framework. This framework consists of the full set of codes—clearly defined and described—and with some codes being clustered together into categories. If working in a team, this phase will involve harmonization of different team members’ coding approaches; the exact process for that will depend on the practical and philosophical approach taken for a specific study, as well as the aims of the analysis process. For instance,

• if working from an inductive approach, the research team will need to determine how to accommodate differences across the conceptualizations of codes (e.g. does one researcher’s code ‘X’ overlap sufficiently with another researcher’s code ‘Y’ so that they can be merged together?). In contrast,
• in a deductive approach, researchers may draw on an existing conceptual framework (see e.g. Onyura et al. 2017 and Table 4), but the researchers will then need to confirm that each coder’s interpretation of the pre-existing theory, model, and/or literature-based codes are aligned.

연구자가 프레임워크가 연구 질문에 답할 수 있는 모든 관련 데이터를 포착하고 있다고 판단하기까지 여러 번의 반복이 필요하기 때문에 (귀납적 접근 방식과 연역적 접근 방식 모두) 프레임워크 개발 작업은 힘들 수 있습니다. Gale 등(2013)이 지적한 것처럼, 분석 프레임워크가 완성될 때까지 '기타' 또는 '기타'와 같은 자리 표시자 코드를 사용하여 점진적으로 개선할 수 있는 공간을 확보하는 것이 좋습니다. 연구자가 귀납적으로 데이터에 접근할수록 분석에 더 많은 시간이 소요될 수 있다는 점에 유의할 필요가 있습니다. 이는 분석 방법이나 접근 방식을 선택하기 전에, 그리고 분석 프로세스를 시작할 때 고려해야 할 실용적이고 방법론적인 고려 사항입니다. 
This work of developing the framework can be laborious since—for both inductive and deductive approaches—several iterations will be required before the researcher decides that the framework is capturing all the relevant data that will enable them to answer their research question(s). As Gale et al. (2013) point out, it is worth making space for this gradual refinement by using placeholder codes such as ‘other’ or ‘miscellaneous’ until the analytical framework can be finalized. It is worth noting that the more inductively the researcher approaches the data, the more time the analysis is likely to take. This is both a practical and methodological consideration worth giving some thought to prior to selecting an analysis method or approach, and when starting the analysis process.

5단계: 분석 프레임워크 적용
Stage 5: Applying the analytical framework

이전 단계에서 개발한 분석 프레임워크를 적용하기 위해 분석 프레임워크에 나열되고 설명된 코드를 사용하여 데이터 세트의 모든 트랜스크립트를 코딩합니다(즉, 코드와 관련된 모든 데이터는 수동으로 또는 소프트웨어의 태그를 사용하여 표시합니다). 연구 데이터 세트의 크기에 따라 질적 데이터 분석 소프트웨어를 사용하여 프레임워크를 적용하는 작업을 신속하게 처리할 수 있습니다. 데이터 세트에 많은 기록(예: 사례)이 있는 경우, 소프트웨어는 연구자가 모든 데이터를 코딩하고 정리할 뿐만 아니라 데이터 발췌문을 독립형 문서로 내보내 사례 간 비교를 용이하게 하는 데 도움을 줄 수 있습니다. 
To apply the analytical framework developed in the previous phase, all transcripts in the dataset will be coded (i.e. all data pertaining to a code will be marked, either manually or using tags in a software) using the codes listed and described in the analytical framework. Depending on the size of the study’s dataset, the work of applying the framework can be expedited using qualitative data analysis software. If the dataset has many transcripts (i.e. cases), software can help the researcher not only to code and organize all data, but also to export data excerpts into stand-alone documents, thereby facilitating cross case comparisons.

6단계: 프레임워크 매트릭스에 데이터 차트화
Stage 6: Charting data into the framework matrix

데이터를 코딩하는 데 사용된 분석 프레임워크를 기반으로 코드(또는 카테고리나 주제와 같은 상위 수준의 구성 요소, 예: Klingberg 외, 2022)와 사례(또는 사례 그룹, 예: Klingberg 외, 2022)를 스프레드시트 구조(예: 열은 코드를 나타내고 행은 사례를 나타내는 구조)로 결합하여 프레임워크 매트릭스를 구성합니다. 각 사례 및 코드에 대해 해당 코드와 관련된 성적표의 측면에 대한 요약 설명을 포함하거나 대표적인 인용문을 매트릭스에 도표로 표시할 수 있습니다. 이렇게 하면 여러 사례 또는 그룹에서 패턴과 뉘앙스를 추적할 수 있습니다.
Based on the analytical framework used to code the data, a framework matrix is constructed by combining codes (or higher-level constructs, such as categories or themes, e.g. Klingberg et al. 2022) and cases (or groups of cases, e.g. Klingberg et al. 2022) into a spreadsheet structure (e.g. where columns represent codes and rows represent cases). For each case and code, a summary description of the aspects of the transcript that relate to that code can be included, or a representative quote can be charted into the matrix. This allows for patterns and nuances to be traced across the different cases or groups.

7단계: 데이터 해석
Stage 7: Interpreting the data

코드를 결정하고 메모를 작성할 때 분석의 초기 단계에서 이미 어느 정도의 해석이 이루어졌다면, 보다 공식적인 데이터 해석 및 테마 생성 단계는 데이터를 프레임워크 매트릭스에 차트화한 후에 이루어집니다. 이 단계에서는 연구자가 연구 목적과 연구를 주도하는 연구 질문을 검토합니다. Ritchie와 Spencer(1994)는 이 단계의 기본 프로세스로 연구자가 차트화된 데이터를 검토하고, 연구 노트/메모를 검토하고, 사례 간 비교 및 대조하고, 패턴과 연관성을 찾고, 연구 질문과 관련된 결과를 밝히는 데 도움이 되는 설명을 찾아야 한다고 언급했습니다. Gale 등(2013)은 다음과 같이 잠재적인 해석 방법을 설명합니다: 
While some level of interpretation already takes place during the earlier phases of analysis when deciding on codes and writing memos, the more formal phase of data interpretation and theme generation occurs after charting data into the framework matrix. This is when the researcher reviews the study purposes and research question(s) driving the research. Ritchie and Spencer (1994) noted that the basic processes for this stage require the researcher: to review the charted data; to examine research notes/memos; compare and contrast across cases; search for patterns and connections; and to seek out descriptions that help to illuminate findings relevant to the research question(s). Gale et al. (2013) describe potential interpretive avenues as follows:

점진적으로 데이터의 특징과 데이터 간의 차이점을 파악하여 유형학을 생성하고, 이론적 개념(이전 개념 또는 데이터에서 나온 개념)을 질문하거나, 범주 간의 연결을 매핑하여 관계 및 인과관계를 탐색합니다. 데이터가 충분히 풍부하다면 이 과정을 통해 도출된 결과는 특정 사례에 대한 설명을 넘어 현상의 출현 이유, 조직이나 기타 사회적 행위자가 상황을 어떻게 유발하거나 대응할지 예측하거나 조직이나 시스템 내에서 제대로 작동하지 않는 영역을 식별하는 데까지 확장될 수 있습니다(5페이지).
Gradually, characteristics of and differences between the data are identified, perhaps generating typologies, interrogating theoretical concepts (either prior concepts or ones emerging from the data) or mapping connections between categories to explore relationships and/or causality. If the data are rich enough, the findings generated through this process can go beyond description of particular cases to explanation of, for example, reasons for the emergence of a phenomena, predicting how an organisation or other social actor is likely to instigate or respond to a situation, or identifying areas that are not functioning well within an organisation or system (p. 5).

또한 데이터 해석은 종종 작성 과정에서 개발되고 개선되므로, 연구 원고를 작성하는 과정도 분석 과정의 일부로 간주된다는 점을 기억하는 것이 중요합니다. Gale 등(2013)은 주제를 분석의 최종 결과물로 설명하지만, 해석의 정확한 과정과 결과는 연구 목적, 분석 접근법(귀납적 또는 연역적), 해당 연구의 설계에 따라 달라집니다. 
It is also important to remember that data interpretations are often developed and refined throughout the writing process and so the process of writing the research manuscript is considered part of the analytic process. While Gale et al. (2013) describe themes as the final output of analysis, the exact process and outcome of interpretation will depend on the purpose, analysis approach (i.e. inductive or deductive), and design the study in question.

HPE 연구에서의 FAM 예시
Examples of FAMs in HPE research

과거에 HPE 학자들이 FAM을 어떻게 성공적으로 사용했는지 설명하기 위해 표 4에는 각각 약간 다른 방식(예: 귀납적, 연역적 또는 두 접근법의 조합)으로 FAM을 활용하는 현장에서 발표된 사례가 요약되어 있으며, 질적 또는 혼합 방법 HPE 연구에서 다양한 목적에 맞는 FAM의 다용도성을 보여 줍니다. 
To illustrate how HPE scholars have successfully used FAMs in the past, Table 4 summarizes published examples from the field, each utilizing FAMs in slightly different ways (e.g. inductively, deductively or a combination of the approaches), illustrating the versatility of FAMs for different purposes in qualitative or mixed methods HPE research.

피해야 할 함정
Pitfalls to avoid

귀납적 및 연역적으로 모두 적용 가능하고, 대규모 정성적 데이터 세트를 분석할 수 있는 수단을 제공하며, 데이터 분석 프로세스에 비교적 구조화된 접근 방식을 제공하는 등 FAM은 상당한 이점을 제공하지만, 연구자가 피해야 할 몇 가지 함정도 있습니다. 첫 번째 함정은 특정 패러다임 내에서 연구를 진행하지 않고 FAM을 사용하는 것입니다(표 1 참조). HPE의 연구자들은 개별 학자들이 제기하는 질문, 개발할 수 있는 지식의 종류, 유용한 방법의 종류, 기대되는 엄격성의 표준을 개념화하는 방식을 형성하는 다양한 연구 전통에 따라 연구에 참여합니다. 이러한 전통 또는 패러다임은 HPE 연구자가 개별 FAM을 활용하는 방식을 변화시킬 것입니다. 따라서 연구자는 단순히 FAM의 단계를 따른다고 가정해서는 안 되며, 패러다임적 방향과 연구의 품질 및 엄격성에 대한 기본 기대치에 맞게 FAM 사용을 조정해야 합니다(Varpio 및 MacLeod 2020). 
Although FAMs offer significant benefits (e.g. being applicable both inductively and deductively; offering means of analyzing large qualitative datasets; and offering relatively structured approach to the data analysis process), there are also certain pitfalls that researchers will want to avoid. The first pitfall is using FAMs without situating their research within a specific paradigm (see Table 1). Researchers in HPE engage in their studies from different research traditions that shape how individual scholars conceptualize the questions being asked, the kind of knowledge that can be developed, the kinds of methods that are useful, and the standards of rigor that are to be expected. These traditions—or paradigms—will change the way the HPE researcher harnesses individual FAMs. Therefore, researchers should not assume that they simply follow the stages of an FAM; instead, they must tailor their FAM use to align with their paradigmatic orientation and the underlying expectations of quality and rigor for the study (Varpio and MacLeod 2020).

또 다른 함정은 [해석]과 [FAM의 보다 구조화된(그리고 잠재적으로 더 따르기 쉬운) 요소] 사이의 균형을 맞추는 문제입니다. 예를 들어, Gale 외(2013)의 FM에서 테마는 전체 데이터 집합을 분석한 최종 결과물로 설명되지만, 분석 단계가 프레임워크 매트릭스에서 테마를 정확히 어떻게 개발해야 하는지를 지시하지는 않습니다. 이는 연구의 접근 방식(예: 귀납적, 연역적 또는 혼합)과 목적(예: 설명적 또는 탐색적)에 따라 달라집니다. 이때 연구 도구로서 질적 연구자의 역할이 강조되어야 하며, 각 연구자는 자신이 선호하는 방식으로 주제를 개발하는 작업에 참여하게 됩니다.

• 귀납적 접근법의 경우, 프레임워크 매트릭스 구조를 사용하여 코드, 범주, 사례 비교를 점진적으로 읽고 다시 읽으면서 이러한 요소들 간의 연결고리를 만들어내는 주제에 대한 분석 메모를 생성하는 등 주제 개발을 지원하는 것이 도움이 될 수 있습니다.
• 연역적 접근법의 경우, 테마는 분석의 결과라기보다는 입력이므로 해석 작업은 관련 테마에 맞춰 코딩 및 프레임워크 개발을 수행하는 데 중점을 둡니다.

연구를 뒷받침하는 접근 방식과 목표에 관계없이 모든 연구 과정과 결과가 목표, 목적 및 수행된 관행에 따라 투명하고 일관되게 보고되는 것이 중요합니다. 
Another pitfall is the challenge of balancing interpretation with the more structured (and potentially easier to follow) elements of an FAM. For example, in Gale et al. (2013) FM, themes are described as the final output of analyzing the entire dataset, but the stages of analysis do not dictate how exactly to develop themes from the framework matrix. This will depend on the approach (i.e. inductive, deductive, or mixed) and aim (e.g. descriptive or exploratory) of the study. This is where the role of the qualitative researcher as a research instrument must be emphasized; each researcher will engage in the work of developing themes in their own preferred way.

• In an inductive approach to FM, it may be helpful to use the framework matrix structure to support the development of themes by, for example, gradually reading and re-reading codes, categories, and case comparisons to generate analytic memos of themes they identity that create connections between these elements.
• In the case of deductive approaches, themes are inputs rather than outputs of the analysis and, as such, the work of interpretation centers on carrying out coding and framework development in line with the relevant themes.

Regardless of the approach and aim that underpins the study, it is important that all research processes and findings are reported transparently and consistently with aims, objectives, and undertaken practices.

Med Teach. 2023 Sep 21:1-8. doi: 10.1080/0142159X.2023.2259073. Online ahead of print.

대관절 누구의 문제인가? 보건의료전문직 교육에서 '문제'의 신화 직면하기 (Med Educ, 2023)
Whose problem is it anyway? Confronting myths of ‘problems’ in health professions education
Aliki Thomas1 | Rachel H. Ellaway2

1 서론
1 INTRODUCTION

생물 의학 및 보건 관련 분야에서 과학적 증거와 실제 사용 사이의 격차, 특히 이러한 격차로 인해 피해와 비효율이 발생할 수 있는 경우에 대한 우려가 커지고 있습니다.1 지식 번역 및 실행 과학 분야는 대부분 이러한 문제를 해결하기 위해 개발되었습니다.2, 3 그러나 상당한 노력에도 불구하고 대부분의 지식 번역 개입은 아니더라도 많은 경우 여전히 원하는 결과를 얻지 못하고 있습니다.4 일부에서는 [연구자들이 다루는 문제]가 [실무자에게 중요한 문제]였다면 지식 번역 분야에서 해결하려는 문제(즉, 연구-실무 격차)가 애초에 존재하지 않았을 것이라고 주장합니다.5 지식 생산자와 사용자 간의 협력적이고 참여적인 접근을 옹호하는 최근의 지식 번역 접근법(통합 KT라고 함)은 임상의, 관리자 및 정책 결정자가 함께 연구자들이 집중해야 하는 문제를 파악하도록 설계되었습니다.6  
There have been growing concerns in the biomedical and health-related sectors over gaps between scientific evidence and its use in practice, particularly when such gaps can result in harms and inefficiencies.1 The fields of knowledge translation and implementation science were in large part developed to address these problems.2, 3 However, despite considerable efforts, many if not most knowledge translation interventions still fail to produce their desired outcomes.4 Some have argued that the problems the knowledge translation field is trying to resolve (i.e. research-practice gaps) would not exist in the first place if the problems researchers addressed were ones that mattered to practitioners.5 Recent knowledge translation approaches (referred to as integrated KT), which advocate for collaborative and participatory approaches amongst knowledge producers and users, have been designed to bring clinicians, managers and policy makers together to identify problems that researchers should focus on.6

보건의료 분야와 마찬가지로 보건의료 전문가 교육도 마찬가지입니다. 보건 전문직 교육(HPE) 커뮤니티는 지식 번역 및 실행 과학의 가치와 관련성을 탐구해 왔습니다.7 그러나 많은 HPE 과학자들이 이러한 요청에 귀를 기울였지만,8,9 누구의 문제를 어떤 목적으로 해결하고 있는지에 대한 질문은 여전히 남아 있습니다. 열망이 무엇이든, 실제로 보건 전문직 교육 연구(HPER)와 HPE의 문제와의 관계는 다소 미약합니다. 
As in health care, so in the education of health care professionals. The health professions education (HPE) community has been exploring the value and relevance of knowledge translation and implementation science.7 However, although many HPE scientists have heeded the call,8, 9 the question of whose problems are being addressed and to what end remains. Whatever the aspirations, in practice, the alignment between health professions education research (HPER) and its relation to problems in HPE is somewhat tenuous.

이는 연구자들이 연구를 항상 문제의 관점에서 표현해야 한다는 기대, 예를 들어 연구 전달을 위한 문제-간극-후크 수사학적 프레임에 대한 기대가 도움이 되지 않았습니다.10 우리는 이것이 학자들이 연구가 기대하는 잠재적 기여를 더 잘 표현하는 데 도움이 되고 실무에 기여하는 연구의 역할을 강조하는 데 도움이 된다는 것을 인정하지만, 모든 HPER을 연구가 해결책을 제공하는 문제의 관점에서 표현해야 하는가? 또한 연구 중인 문제가 대부분의 교육자, 리더 또는 학습자가 실제로 직면하는 문제인지도 의문입니다. 그렇지 않다면 의료 분야에서와 마찬가지로 지식 번역 및 실행 과학이 HPE에서도 실패할 가능성이 높습니다. 따라서 단순히 연구 결과가 실무자의 문제를 해결하는지 여부를 묻는 것보다는 HPER의 연구 문제가 의미 있는 실무자의 문제를 반영하는지 여부를 묻는 것이 더 중요할 것 같습니다. 
This has not been helped by expectations that researchers should always express their studies in terms of problems, exemplified, for instance, in the problem-gap-hook rhetorical frame for communicating research.10 Although we concede that this can help scholars to better articulate the putative contribution that a study is expected to make and has helped highlight the role of research in contributing to practice, should all HPER be articulated in terms of problems to which the study provides a solution? We also question whether the problems being researched are the problems that most educators, leaders or learners actually face. If they are not, then it seems likely that knowledge translation and implementation science will fail in HPE as they have in health care. It would seem, therefore, that, rather than simply asking whether research findings solve practitioner problems, we should also be asking whether research problems in HPER reflect meaningful practitioner problems.

이 신화 논문에서는 HPE와 HPER에 존재하는 다양한 종류의 문제들의 성격과 연관성, 그리고 이들이 어느 정도 일치할 수 있는 방식을 고려합니다. 우리의 목표는 연구 문제와 실무자 문제의 틀, 표현, 제약에 대한 대안적(그리고 보다 현실적인) 사고 방식을 제시하여 한 문제가 다른 문제와 더 잘 연계될 수 있도록 함으로써 증거에서 행동으로 이어지는 경로를 더 원활하게 만드는 것입니다. 연구 문제를 실무자 문제에 맞출 필요가 없는 경우(예: 대상자가 다른 연구자인 경우)에는 해당 연구가 의도한 목표를 더 효과적으로 달성할 수 있도록 노력의 방향을 전환할 수 있습니다. 그래야만 지식 번역과 그 과학적 연구(즉, 실행 과학)가 우리 분야에서 보다 실질적인 역할을 할 수 있는 이유와 방법에 대해 더 강력한 사례를 제시할 수 있습니다. 
In this Mythology paper, we consider the nature and connections between different kinds of problems in HPE and HPER, and the ways in which they may be more or less aligned. Our goal is to offer an alternative (and hopefully more realistic) way of thinking about the framing, articulation and constraints of research problems and practitioner problems so that one can be better aligned with the other, thereby creating a smoother path from evidence to action. Where research problems do not need to be aligned to practitioner problems (such as when the audience is other researchers), we can redirect efforts towards making those studies more effective in meeting their intended goals. Only then, can we make a stronger case for why and how knowledge translation and its scientific study (i.e. implementation science) can play a more substantive role in our field.

다섯 가지 주요 질문을 중심으로 우리의 주장을 구조화했습니다.

• 모든 것이 문제인지, 
• 모든 실무자의 요구는 문제 해결에 관한 것인지, 
• 실무자의 문제는 충분한 증거로 해결할 수 있는지, 
• 모든 학술 출판물이 실무자의 문제를 대상으로 하는지, 
• 실제 실무자의 문제 해결에 초점을 맞춘 연구가 문헌에 중요한 기여를 하는지

문제와 HPER 사이의 연결에 대한 이러한 재개념화를 바탕으로, 우리는 우리 분야에서 지식 번역과 실행 과학이 어떻게 표현될 수 있는지 다시 생각할 수 있는 방법을 제안합니다.
We have structured our arguments around five main questions, each of which reflects what we consider to be an ambient myth in our field:

• whether everything is a problem;
• whether all practitioner needs are about problem solving;
• whether practitioner problems are resolvable with sufficient evidence;
• whether all scholarly publications target practitioner problems; and
• whether studies that focus on solving a real practitioner problem make significant contributions to the literature.

Building on this reconceptualization of the connections between problems and HPER, we propose ways in which we might rethink how knowledge translation and implementation science might be articulated in our field.

논의를 진행하면서 먼저 이러한 문제에 대한 우리 자신의 입장과 관점에 주목합니다. AT는 지식 번역 및 실행 과학 연구자로서 HPE와 임상 실무의 교차점에 있는 업무를 담당하고 있습니다. 작업치료사이자 학자이며 HPE에서 두 개의 저널을 편집하는 부편집장인 그녀는 종종 누가, 어떤 목적으로, 누구와 함께 연구 질문을 생성하는지에 대한 질문을 받곤 합니다. 파트너십 접근법, 다양한 이해관계자와의 공동 구성 및 통합 지식 번역을 사용하는 그녀의 연구는 이 백서에 제시된 아이디어에 영향을 미쳤습니다. RHE는 의학교육 연구자로서 시스템과 구조에 중점을 두고 연구하고 있습니다. 학자뿐만 아니라 부학장, 학부 의학교육 위원회 위원장, 교육 기술 서비스 관리자, 저널 편집자로도 활동했습니다. 그녀는 이러한 역할을 통해 얻은 모든 관점을 바탕으로 이 글을 작성했습니다.  
In advancing our arguments, we first note our own positionality and perspectives on these issues. AT is a knowledge translation and implementation science researcher whose work is at the intersection of HPE and clinical practice. As an occupational therapist, scholar and an associate editor of two journals in HPE, she is often called to question who is involved in generating research questions, to what end, and with whom. Her research, which uses partnership approaches, co-construction with different stakeholders and integrated knowledge translation, has informed the ideas put forth in this paper. RHE is a medical education researcher with a strong focus on systems and structures in her work. As well as being a scholar, she has been an assistant dean, an undergraduate medical education committee chair, a manager of education technology services and a journal editor. She draws on all the perspectives these roles have afforded her in articulating this thought piece.

2 모든 것이 문제인가?
2 IS EVERYTHING A PROBLEM?

연구는 주로 새로운 지식과 사고를 개발하고 발전시키는 것입니다. 이전에는 없던 지식을 제공한다는 점에서 모든 연구는 문제를 해결한다고 주장할 수 있습니다. 물론 이는 다소 순환적인 주장이며 모든 잠재적 지식(HPER에서 생산되는 지식뿐만 아니라)에 적용되기 때문에 쉽게 무시할 수 있는 주장입니다. 대신, 우리가 미지의 세계를 탐구하거나 새로운 개념이나 이론을 개발하는 추상적인 '문제'가 아니라 실질적인 문제를 해결하는 데 관심이 있다면, 우리가 참여하고자 하는 청중에게 '중요한 문제'에 초점을 맞춰야 한다고 말합시다. 따라서 실무 기반 또는 문제 중심 연구11에 종사하는 사람들은 이러한 종류의 탐구의 결과와 한계에 대해 비판적으로 참여할 필요가 있습니다.12 
Research is primarily about developing and advancing new knowledge and thinking. It might be argued that all research addresses a problem, in that it provides knowledge that we did not previously have. Clearly, this is a rather circular argument and one that is easily dismissed as it applies to all potential knowledge (and not only that which is produced in HPER). Instead, let us say that if we are interested in solving tangible problems (rather than, say, abstract ‘problems’ of exploring the unknown or developing new concepts or theories), then we should focus on those ‘problems that matter’ to the audiences we seek to engage. There is a need, therefore, for those who do engage in practice-based or problem-focused research11 to be critically engaged with the consequences and boundedness of this kind of inquiry.12

좋은 연구 질문을 작성하는 것은 이를 위한 핵심적인 부분이며, 따라서 연구 질문은 실현 가능하고, 흥미롭고, 참신하고, 윤리적이며, 관련성이 있어야 합니다.13 이 백서의 맥락에서 관련성의 기준이 특히 중요하다고 주장합니다. 질문이 연구팀과 관련이 있거나 즉각적인 연구 맥락에서 관련이 있으면 충분할까요? 대부분의 사회과학자들은 일반화 가능성과 전이성의 문제와 씨름하며,14 '중간 범위 이론'이라는 개념은 모든 연구가 완전히 관념적이거나 명목적인 것은 아니라는 점을 반영하기 위한 방법으로 개발되었습니다.15 보다 개념적이고 광범위하게 적용 가능한 사회 이론을 구축하기 위해 특정 사회 맥락의 이론을 통합할 필요가 있다는 머튼의 강조15를 고려할 때, 우리 분야에서 연구의 전부 아니면 전무의 공리주의적 또는 관념론적 프레임워크의 바보의 딜레마를 해결하기보다는 '중간 범위의 문제'와 '중간 범위의 연구 질문'을 개발하는 것이 더 낫지 않을까요? 
Writing good research questions is a key part of this and as such, they (and the research that is articulated around them) should be feasible, interesting, novel, ethical and relevant.13 We argue that the criterion of relevancy is particularly important in the context of this paper. Is it enough that questions are relevant to the research team or relevant in the immediate study context? Most social scientists wrestle with issues of generalizability and transferability,14 and the concept of ‘middle-range theory’ was developed as a way of reflecting that not all research is either completely idiographic or nomothetic.15 Given Merton's15 emphasis on the need to consolidate theories from specific social contexts to build more conceptual and broadly applicable social theory, might it be better to develop ‘middle-range problems’ and ‘middle-range research questions’ rather than trying to solve the fool's dilemma of an all-or-nothing nomothetic or idiographic framing of research in our field?

우리는 또한 모든 것을 문제 중심으로 표현하면 제시되는 문제와 실무자 문제와의 연계성 모두에서 인공물을 만들 수 있다고 주장합니다.16 예를 들어, 문제를 중심으로 연구 방향을 잡으면 연구 결과물, 즉 제기된 문제에 대한 해답과 해결책이 상당 부분 미리 결정될 수 있습니다. 하지만 기회나 관점의 차이와 같이 반드시 문제가 되지 않는 현상에 초점을 맞추면 해결책이 필요하지 않을 뿐만 아니라 거의 의미가 없을 수도 있습니다. 문제에만 초점을 맞춘 연구는 문제 해결 행위의 단일화를 강요함으로써 학문적 소통의 다양성을 제한합니다. 또한 본질적으로 문제 중심이 아닌 문제 중심 연구의 커뮤니케이션 논리를 약화시킬 수도 있습니다.
We would also argue that articulating everything around problems can create artefacts, both in the problems being presented and in their alignment with practitioner problems.16 For instance, orienting research around problems to a great extent predetermines what it will produce, that is, answers and solutions to the problem posed. But what if the focus was on a phenomenon that was not necessarily problematic, such as an opportunity or a difference in perspective, for which solutions are not only not needed but may make little sense? Orienting research solely around problems restricts the variety of scholarly communication by forcing a monoculture of problem-solving acts. It can also potentially weaken the logic of those communications of problem-focused research that are not intrinsically problem-focused.

물론 HPE의 모든 연구가 문제 중심적이거나 문제 중심적이어야 하는 것은 아닙니다. 실제로 기초 과학의 대부분은 문제 중심이 아니라 호기심 중심입니다. 응용 분야라고 해도 실무자의 문제에만 초점을 맞출 필요는 없습니다.17, 18 학자는 현재의 관행을 정당하게 비판(문제를 해결하려고 하지 않고 문제를 제기)하고 연구 방법이나 이론을 평가 또는 개발할 수 있습니다. 또한 학자는 다른 학자, 정책 입안자 및 사회 전체와 같이 교육 실무자 이외의 청중을 참여시킬 수 있습니다. 따라서 응용 분야의 연구자가 실무자의 문제에 합법적으로 초점을 맞출 수는 있지만, 이는 전체 그림과는 거리가 멀며 실무자 문제가 우리의 주된 책임 또는 유일한 책임이라는 신화가 도전받지 않을 때 문제가 됩니다. 
Clearly, not all research in HPE is, or needs to be, problem-focused. Indeed, much of the basic sciences are curiosity-driven, rather than problem-driven. Even an applied field does not have to be only, or primarily, focused on practitioners' problems.17, 18 Scholars can legitimately critique current practices (problematizing them without seeking to solve the problem) and appraise or develop research methods or theories. Scholars can also engage audiences other than educational practitioners, such as other scholars, policy makers and society as a whole. So, although researchers in an applied field can legitimately focus on practitioner problems, it is far from the whole picture, and it becomes problematic when the myth that practitioner problems are our main, or even sole, responsibility goes unchallenged.

문제 해결에 대해 모든 실무자가 필요로 하나요?
3 ARE ALL PRACTITIONER NEEDS ABOUT PROBLEM SOLVING?

다른 쪽에서 문제 해결 관계를 고려할 때, 실무자의 니즈가 연구자의 니즈에 대한 이해와 일치하는지 물어볼 수 있습니다. 연구자가 문제라고 생각하는 것(또는 연구자가 문제라고 공식화한 것)이 실무자에게도 특별히 문제가 되는 것으로 보입니까? 실무자는 결국 통일되고 차별화되지 않은 집단이 아닙니다. 일부 실무자는 문제가 있다고 생각하는 사안에 대해 도움이 필요할 수 있지만, 그렇지 않은 실무자도 많을 수 있습니다. 또한 연구자가 개원의의 행동에 문제가 있고 개선이 필요한 부분만 부각하면 개원의와의 관계가 적대적으로 변할 위험이 있습니다. 우리는 권력에 대해 진실을 말할 책임이 있다는 데 동의하며, 이를 위해 연구자는 표준 이하이거나 비효율적이거나 잘못된 관행에 대해 문제제기할 준비가 되어 있어야 합니다. 그러나 실무자의 문제를 해결하는 대신 연구자가 집중해야 할 문제는 어떻게 실무자가 자신의 관행에 대해 깊이 생각하게 만들고, 필요하다면 문제가 있다는 것을 받아들이도록 할지입니다. 그렇다고 연구자가 모두 고상한 사람이고 실무자가 모두 궁핍한 사람이라는 말은 아닙니다. 연구자들도 편견에 사로잡히거나 오만할 수 있고, HPE 실무의 현실을 인정하지 않으려 할 수 있습니다. 생물의학 분야에서 보았듯이 연구자들은 '현실 세계'에 대한 인식과 인식 부족으로 비난받을 수 있습니다.19 그러나 연구자와 실무자가 각자의 활동에서 다소 분리되어 있는 경우가 많다는 점을 고려하면,20 이로 인해 두 그룹 사이에 불일치와 불연속성이 발생할 수 있다는 것은 놀라운 일이 아니며, 두 그룹 간의 신뢰 부족에 대해서도 놀라지 말아야 할 일입니다. 실제로 협력과 신뢰 관계는 실행 가능한 지식을 생산하기 위한 토대이기 때문입니다.21 
Considering problem-solving relationships from the other end, we might ask whether practitioners' needs align with researchers' understanding of those needs. Is what researchers see as a problem (or what they formulate as a problem) also seen as particularly problematic by practitioners? Practitioners are not a unified and undifferentiated group after all. Some practitioners may need help with things they find problematic, but there may be many others who do not. Moreover, researchers risk their relationships with practitioners becoming adversarial if they only frame what practitioners do as problematic and in need of improvement. We agree that there is a responsibility to speak truth to power, and, to that end, researchers should be ready to problematize substandard, inefficient or misguided practice. However, instead of solving a problem for practitioners, the problem that researchers may focus on is how to get practitioners to think deeply about their practice and, when need be, accept that there is a problem. This is not to say that researchers are all high-minded individuals and practitioners are all needy peons. Researchers are just as likely to be biased, arrogant or unwilling to acknowledge the realities of HPE practice. They may, as we have seen in the biomedical arena, be faulted for their lack of recognition and appreciation of the ‘real world’.19 However, given that researchers and practitioners can often be somewhat decoupled in their respective activities,20 it should not be surprising that this can create inconsistencies and discontinuities between them, nor should we be surprised by the ensuing lack of trust between the two groups. The consequence of such differences may be dire; indeed, collaborative and trusting relationships are the foundation for producing actionable knowledge.21

또한 문제에만 초점을 맞춘 연구 기반이 실무자의 요구를 잘 충족하고 있는지 자문해 보아야 합니다. 실무자들은 새로운 기회, 논쟁, 프레임워크, 최적화 또는 경제성 등 다양한 분야에 관심을 가질 가능성이 높기 때문에 모든 것을 문제에 대한 해결책으로 제시하면 문헌이 실무자 청중에게 제공할 수 있는 내용이 제한될 수 있습니다. 물론 기회와 혁신은 모두 문제의 관점에서 제시될 수 있지만, 앞서 언급했듯이 이러한 변증법적 프레임은 잘못된 반대나 긴장을 유발할 수 있습니다. 
We should also ask whether practitioner needs are well-served by a research base that is focused exclusively on problems. Practitioners are just as likely to be interested in emerging opportunities, debates, frameworks, optimization or economics (to name but a few), so presenting everything as a solution to a problem can limit what the literature might offer to practitioner audiences. Of course, opportunities and innovations could all be presented in terms of problems but, as we have noted, this dialectical framing can create false oppositions or tensions.

4 실무자의 문제는 충분한 증거로 해결할 수 있는가?
4 ARE PRACTITIONER PROBLEMS RESOLVABLE WITH SUFFICIENT EVIDENCE?

실무자의 문제가 다루기 쉬운 것이 아니라면 연구자는 실무자에게 거의 도움이 되지 않을 수 있습니다. 예를 들어, 실무자는 해결책이 무엇인지 잘 알고 있지만 물류, 자율성 부족, 자원 부족 또는 교육 정치와 같은 요인으로 인해 실행이 불가능할 수 있습니다.22 이는 불확실성 하에서의 의사결정, 위험에 따른 의사결정 또는 사람들의 행동이 이상에서 벗어나는 것과 관련된 '한계가 있는 합리성'23의 개념에 반영되어 있으며, 이 중 일부 또는 전부가 증거를 실무로 옮기는 가정이 무너질 수 있습니다. 대부분의 HPE 의사 결정권자는 증거의 경로를 따르는 대신 경쟁적인 동인 사이에서 타협해야 하며, 그 중 증거는 거의 설 자리가 없을 수 있습니다.24
Researchers may be of little help to practitioners if the latter's problems are not tractable. For instance, practitioners may have a good understanding of what the solution should be, but factors such as logistics, a lack of autonomy, insufficient resources or educational politics may make it impossible to enact.22 This is reflected in the concept of ‘bounded rationality’23 that involves decision-making under uncertainty, decision-making framed by risk or deviations of people's behaviour from ideals, any or all of which can unravel the assumed translation of evidence to practice. Instead of following the path of evidence, most HPE decision-makers are obliged to compromise between competing drivers, amongst which evidence may have little place.24

전부는 아니더라도 대부분의 교육 프로그램의 한계적 합리성에는 해결책을 찾게 된 근본적인 문제와 수용 가능하고 실행 가능한 절충안을 구성하는 문제, 즉 적어도 두 가지 문제가 있습니다. 우리는 실무자의 문제를 해결하고자 하는 HPE 연구자들은 그들이 영향을 미치고자 하는 의사결정의 대부분이 어떤 식으로든 타협을 수반하며, 실무자가 어쩔 수 없이 감수해야 하는 타협에 대해 실무자를 비판하는 것은 비생산적일 수 있다는 점을 이해해야 한다고 주장하고 싶습니다. 연구자들이 자신들이 생산한 증거가 실무자들이 더 노력하기만 하면 어떻게든 구할 수 있다고 믿는다면 오만하다는 비난을 받을 수 있습니다. 
There are at least two problems here with the bounded rationalities of most, if not all, educational programmes: the original problem that caused the search for a solution and the problem of constructing an acceptable and workable compromise solution. We would argue that HPE researchers who are seeking to solve practitioner problems need to understand that much of the decision-making they seek to influence involves compromises in some way or other and that criticising practitioners for those compromises they are obliged to make and live with might be counterproductive. Researchers could reasonably be accused of hubris if they were to believe that the evidence they produce can somehow save the day if only practitioners were to try harder.

문제를 공식화하고, 합의하고, 추적할 수 있다고 하더라도 일반적으로 연구를 수행하고 검토를 거쳐 출판하기까지 걸리는 시간은 실무자의 문제가 다른 방법으로 해결되었거나 더 이상 관련성이 없을 수 있음을 의미합니다. 예를 들어, 실무자의 문제는 연구 증거가 대응할 수 없는 속도로 발생할 수 있습니다(예: 재난, 팬데믹 또는 기타 위기로 인해 강요된 파괴적인 변화를 수용하는 경우). 이로 인해 연구자와 실무자 사이에 상호 신뢰와 이해가 부족하여 균열이 생기는 경우가 종종 있습니다.19, 25 코로나19 팬데믹이 시작될 때 온라인 학습으로 전환한 것이 대표적인 예입니다. 팬데믹에 대한 이전 연구는 코로나19의 규모나 심각성을 포함하지 않았고, 온라인 학습에 대한 연구도 며칠 만에 전체 프로그램을 온라인으로 변경했다기보다는, 소규모 개입을 지향하는 것과 유사하게 이루어졌습니다. 이는 의미 있는 지식의 번역을 통해 이루어졌다기보다는 연구 증거에도 불구하고 이루어졌다고 주장할 수 있습니다. 
Even if a problem can be formulated, agreed upon and tractable, the time it typically takes to conduct research and go through review to publication can mean that practitioners' problems may well have been resolved in other ways or be no longer relevant. For instance, practitioner problems may occur at speeds that research evidence cannot respond to (such as accommodating disruptive changes forced on them by disasters, pandemics or other crises). This has often produced a rift between researchers and practitioners with a deficit of mutual trust and understanding.19, 25 The pivot to online learning at the start of the COVID-19 pandemic is a case in point; previous research on pandemics did not encompass the scale or severity of COVID, and research on online learning was similarly oriented to small-scale interventions rather than to moving whole programmes in a matter of days. It might be argued that this was achieved despite the research evidence rather than through meaningful knowledge translation.

5 모든 학술 출판물이 실무자의 문제를 대상으로 하나요?
5 DO ALL SCHOLARLY PUBLICATIONS TARGET PRACTITIONER PROBLEMS?

응용 분야에는 일반적으로 많은 청중, 많은 이해관계자, 많은 대화가 있기 때문에 문제 중심 연구는 다른 연구자나 다른 이해관계자(학습자, 정책 입안자, 다른 학자, 환자, 리더 또는 사회 전체 등)의 요구를 대상으로 할 수 있으며, 이러한 요구를 충족하기 위해 문제 중심 연구가 필요하지 않을 수도 있습니다. 
Given that an applied field typically has many audiences, many stakeholders and many conversations, problem-focused research may target the needs of other researchers or other stakeholders in HPE (such as learners, policy makers, other scholars, patients, leaders or society as a whole), and these needs may not require problem-focused research in order to meet them.

학자들이 서비스 기술자가 되어 HPE에 결함이 발생하면 언제든 달려갈 준비가 되어 있지만, 그렇지 않은 경우 연락을 간절히 기다리는 위험을 감수하지 않고서는 실무자의 문제만 해결하는 분야가 될 수 없습니다. 이는 분명 비현실적이고 도움이 되지 않습니다. 그렇다면 100% 적용되지 않는(그리고 적용될 수도 없는) 응용 분야에서 학자의 역할은 무엇이어야 할까요? 과연 우리는 진정한 응용 분야일까요? '응용'이란 무엇을 의미할까요? 무엇을 무엇에 적용하는 것인가요? 

We cannot viably be a field that only solves practitioner problems without risking scholars becoming service technicians, ready to spring into action whenever HPE develops a glitch but otherwise waiting eagerly for the call. Clearly, this is unrealistic and unhelpful. So, what then, should the role of the scholar be in an applied field that is not (and cannot be) 100% applied? Indeed, are we truly an applied field? What do we mean by ‘applied’? What is being applied to what?

• 때때로 '적용'은 자신의 진료에 증거를 적용하는 (희망하는) 실무자를 의미합니다. 
• 때때로 '적용'은 실무자의 필요와 문제에 적용할 수 있는 연구를 수행하거나 수행해야 하는 연구자를 지칭하기도 합니다. 
• 때때로 '적용'은 정통적인 학문적 초점이 부족하고 다른 곳의 방법론, 이론 및 패러다임에 의존하는 것을 의미합니다. 

'응용'이 무엇을 의미하는지에 대한 명확한 개념이 없다면, 연구자와 학자가 실무자의 요구에 부응해야 한다는 규범적 기대가 있을 수 있을까요?

• Sometimes ‘applied’ refers to practitioners who apply (it is hoped) evidence within their practice.
• Sometimes ‘applied’ refers to researchers who do or should conduct research that is applicable to practitioner needs and problems.
• Sometimes ‘applied’ refers to the lack of an orthodox disciplinary focus, and a dependence on methodologies, theories and paradigms from elsewhere.

Without a clear idea of what we mean by ‘applied’, can there ever be a normative expectation of researchers and scholars to serve practitioner needs?

6 실제 실무자의 문제 해결에 초점을 맞춘 연구가 문헌에 가장 중요한 기여를 할 수 있을까요?
6 DO STUDIES THAT FOCUS ON SOLVING A REAL PRACTITIONER PROBLEM MAKE THE MOST SIGNIFICANT CONTRIBUTIONS TO THE LITERATURE?

연구자가 목표로 삼은 문제에 대한 완전하고 확실한 해결책을 제시하거나 제시할 수 있는 논문은 거의 없습니다. 강력한 실제 문제는 맥락에 따라 매우 특수하기 때문에 일반화하기 어렵고, 반대로 일반화가 가능한 연구 결과는 너무 추상적이어서 실무자가 직면한 문제를 해결하는 데 도움이 되지 않을 수 있습니다. 바로 여기에 학자들의 딜레마가 있습니다. 일반화 가능성과 적용 가능성 사이의 '스위트 스팟'을 찾는 것은 학자와 연구 결과를 적용해야 하는 사람들 간의 대화 없이는 어려울 수 있습니다. 이 스윗 스팟을 찾거나 우연히 발견한 경우, 그 결과물은 매우 영향력 있는 논문이 되는 경향이 있습니다. 그러나 이러한 컨텍스트의 솔루션은 컨텍스트 A의 솔루션이 컨텍스트 B, C 또는 D의 솔루션으로 직접 변환되는 구체적인 솔루션이 아닌 경향이 있습니다. 실제로 HPER에서 컨텍스트는 임상에서와 마찬가지로 중요합니다.26 오히려 이러한 논문은 특정 문제에 대한 구체적인 솔루션을 제공하기보다는 메타 솔루션, 문제 유형에 대한 이해 및 성찰 방법을 제공하는 경향이 있습니다. HPE에서 가장 가치 있는 솔루션은 메타 솔루션이며, 연구로부터 실무로의 의미 있는 번역은 실제로 메타 번역의 한 형태일 수 있습니다.
There are very few, if any papers that provide (or that could hope to provide) a complete and definitive solution to the problem they have targeted. Robust practical problems are so context-specific that they do not generalise well; on the other hand, research findings, which are more generalizable, may be too abstract to help address the problems practitioners face. And herein lies the dilemma for scholars. Finding a ‘sweet spot’ between generalizability and applicability can be challenging without a dialogue between scholars and those who are to apply their work. On the occasions when this sweet spot is achieved (or serendipitously found), the resulting papers tend to be very influential. However, solutions in these contexts tend not to be specific solutions, where the solution in Context A directly translates to solutions in Contexts B, C or D. Indeed, context matters in HPER every bit as much as it does in clinical practice.26 Rather, these papers tend to offer meta-solutions, ways of understanding and reflecting on a class of problems, rather than providing concrete solutions to a specific problem. In HPE, it might be that the most valuable solutions are meta-solutions and that meaningful translation from research to practice is really a form of meta-translation.

7 솔루션 지식 번역이 할 수 있는 일과 할 수 있는 일
7 WHAT CAN BE DONE AND IS THE SOLUTION KNOWLEDGE TRANSLATION

우리가 제기한 주장에서 몇 가지 시사점이 있습니다. 첫째, HPE 연구에서 문제의 역할, 표현, 함의가 무엇인지, 그리고 무엇이 되어야 하는지 다시 생각해 볼 필요가 있습니다. 또한 HPER 증거의 수용을 촉진하는 데 있어 지식 번역의 역할과 그 한계는 무엇이며 어디까지인지 다시 생각해 볼 필요가 있습니다. HPE 연구자가 해결하고자 하는 문제를 공식화할 때 실무자, 프로그램 책임자 또는 정책 입안자에게 문제, 요구 사항 및 희망 사항을 조사하는 데 얼마나 많은 시간이나 노력을 투자해야 할까요? 의미 있는 지속적이고 생성적인 대화를 어느 정도까지 개발하고 유지할 수 있을까요? 
There are several implications arising from the arguments we have made. First, we need to rethink what the role, articulation and implications of problems in HPE research are and should be. We also need to rethink the role of knowledge translation in facilitating the uptake of HPER evidence, and what and where its limits are. We might ask: how much time or effort should HPE researchers put into canvassing practitioners, programme directors or policy makers regarding their problems, needs and wishes, when they formulate the problems they plan to solve? To what extent can meaningful ongoing and generative dialogue be developed and sustained?

우리는 HPE 문헌이 실무자의 문제 해결에만 초점을 맞추고 있지 않다고 주장해 왔습니다. 그럼에도 불구하고 여기에는 문제 중심 연구가 많이 포함되어 있으며, 앞으로도 이 분야는 우리가 하는 일의 중요한 부분이 될 것입니다. 그러나 문제와 문제 해결에만 초점을 맞추는 것이 우리가 하는 일의 전형인지에 대해서는 의문을 가질 필요가 있습니다. 문제 중심 연구가 연구 또는 연구 프로그램의 초점이라면, 누구의 문제가 제기되고 누구의 문제가 해결되고 있는지에 대해 더 많은 관심을 기울여야 합니다. 
We have argued that the HPE literature is not focused solely on practitioner problem solving. Nevertheless, it does include much problem-focused research, and it is likely to continue to be a significant part of what we do as a field. However, we need to question an exclusive focus on problems and problem solving as the epitome of what we do. If problem-focused research is the focus of a study or a programme of research, then more thought should be paid to whose problems are being posed and whose problems are being answered.

이러한 주장은 HPE의 지식 번역 및 구현 과학 노력에도 시사점을 줍니다. 지식 번역의 광범위한 목표는 연구-실무 간 격차를 파악하고 설명한 다음, 근거를 실무에 최적화하는 것을 목표로 이론에 기반한 맞춤형 중재를 개발하고 실행하는 것입니다.7 그러나 HPE에서 많은 문제가 지속되는 이유는 근거의 빈약한 활용과 거의 관련이 없는 것으로 보입니다.24 이 중요하고 필요한 조건이 없다면, 지식 번역은 HPE에서 불필요하거나 기능적으로 매우 제한적일 수 있습니다. 지식 번역의 관점은 HPE 과학이 개선, 문제 해결, 오류 예방 등에 초점을 맞춰야 한다는 것을 의미한다는 점을 고려할 때 이는 받아들이기 어려운 입장입니다.7, 24 지식 번역을 완전히 포기하는 대신, 우리 분야에 존재하는 문제와 문제 해결의 과제에 더 잘 대응할 수 있도록 재창조하거나 최소한 조정해야 할 필요가 있을 수 있습니다.
Our arguments also have implications for knowledge translation and implementation science efforts in HPE. The broad aim of knowledge translation has been to identify and explain research-practice gaps, and then to develop and implement tailored and theory-informed interventions with the goal of optimising the uptake of evidence into practice.7 However, it would seem that the reason many problems persist in HPE has had little to do with the poor uptake of evidence.24 Without this important and necessary condition, knowledge translation may well be unnecessary or functionally very limited in HPE. This is a challenging position to take given that a knowledge translation perspective implies that HPE science must focus on improving things, on solving problems and preventing errors, and so forth.7, 24 Rather than abandoning knowledge translation completely, we may need to reinvent, or at the very least adapt it to be more responsive to the challenges of problems and problem solving that are present in our field.

또한 지식 번역이 유일한 해답이 될 수 없으며 지식 생산자와 지식 사용자 사이의 가교 역할만 할 수도 없습니다. 이 분야에서 지식 번역이 어떤 가치를 지니려면 이 백서에서 설명한 보다 복잡한 지식 및 지혜 구축 시스템의 일부로 더 적극적으로 활용될 필요가 있습니다. HPE가 응용 분야라는 다른 널리 퍼진 통념을 받아들이더라도(우리가 주장했듯이 이는 기껏해야 부분적으로만 사실입니다), 교육 관행과 정책을 개선하기 위해 모든 증거를 사용해야 한다는 통념은 도전받아야 합니다.
Moreover, knowledge translation cannot be the only answer and it cannot be just a bridge between knowledge creators and knowledge users; if it has any value in this space, it needs to be more actively a part of the more complex system of knowledge and wisdom building we have outlined in this paper. Even if we accept the other widespread myth that HPE is an applied field (which, as we have argued, at best is only partly true), the myth that any and all evidence should be used to improve educational practices and policies has to be challenged.

역설적이게도 이러한 문제는 증거를 제시함으로써 해결될 수 있는 문제가 아닙니다. 현장에서 토론하고 탐구해야 할 문제입니다. 그들은 우리가 발전시켜온 문화와 그들이 받아들일 준비가 되어 있는 신화를 통해 최대한 많은 것을 해결합니다.
These are not issues, paradoxically, that can be resolved by throwing evidence at them. They are concerns for the field to debate and explore. They resolve, as much as they can, from the cultures we advance and the myths they are prepared to live with.

8 토론
8 DISCUSSION

이 백서를 마무리하기 전에 우리가 제시한 주장에 대해 몇 가지 반성할 점을 짚어보고자 합니다. 첫째, 우리는 논문의 많은 부분을 연구자와 실무자의 역할에 초점을 맞추었는데, 이는 이들이 상당히 별개의 개인이거나 HPE 학술활동에서 상호 작용하거나 공존하지 않는다는 인상을 줄 수 있습니다. 그러나 초기의 반성적 성찰을 반영하듯, 저희를 비롯한 많은 사람들이 다양한 모자를 쓰고 연구와 실무 공간에서 모두 일하고 있습니다. 이러한 맥락을 항상 분리할 수는 없으며, 공생 관계를 유지함으로써 얻을 수 있는 것이 많습니다. 실제로 저희의 주장 중 상당수는 이러한 역할이 우리에게 제공한 혼합된 관점으로부터 나온 것입니다. 또한 연구팀에는 연구 결과에 이해관계가 있는 실무자와 다른 사람들이 포함될 수 있고, 그 반대의 경우도 마찬가지이며, 지식 생성 및 번역 활동의 설계와 수행에 다양한 관점이 포함될 수 있음을 인정합니다. 연구자와 실무자의 관점은 다소 모호하고 다원적일 수 있지만, 각 입장의 전통과 문화는 여전히 이들의 관계에 대한 변증법적 감각을 주도할 수 있으며, 이들의 분열적 경향에 대한 주의가 필요합니다. 
Before closing this paper, we would like to note some points of reflection on the arguments we have put forth. Firstly, we have focused much of our thesis around the roles of researchers and practitioners, which may give the impression that these are quite separate individuals or that they do not interact or co-exist in HPE scholarship. However, reflecting our earliest reflexivity statements, we and many others wear many hats and work in both research and practice spaces. These contexts cannot always be dissociated, and there is much to be gained in keeping these in symbiosis. Indeed, much of our arguments have come from these mixed perspectives our roles have afforded us. We also acknowledge that research teams can (and often should) include practitioners and others with a stake in the findings and vice versa, to embed different perspectives in the design and conduct of knowledge generation and translation activities. Although the perspectives of researchers and practitioners can be somewhat blurred and plural, the traditions and cultures of these respective positions can still drive a dialectical sense of their relationships, and attention to their divisive tendencies is needed.

이 백서에서는 신화적 영향과 신화 간의 연관성에서 특히 중요하다고 생각되는 다섯 가지 신화를 중심으로 설명했습니다. 그러나 이러한 신화만이 이 환경에서 볼 수 있는 것은 아니며 다른 사람들은 더 많은 신화를 볼 수 있습니다. 모든 신화에 대한 우려를 일일이 열거하기보다는 일반적으로 증거의 생산과 사용을 개선하기 위해 우리가 제기한 문제에 관심을 기울이는 것이 중요하다고 생각합니다. 그러나 우리가 제기한 문제를 해결한다고 해서 이 분야가 직면한 모든 문제가 해결될 것이라고 주장하는 것은 아니며, 어디선가 시작해야 할 필요가 있을 뿐입니다. 어쨌든 누구의 문제인지 묻는 것이 대화의 문을 여는 것이라고 믿습니다. 
We have articulated this paper around five myths that we consider particularly important in their mythic impacts and the connections between them. However, these are not the only myths we see in this landscape and others may see even more. Rather than listing every last mythic concern, we think it important to attend to the issues we have raised in order to improve the production and use of evidence in general. However, we do not claim that resolving the issues we have raised will fix all of the problems we face as a field, only that we need to start somewhere. We believe that in asking whose problem is it anyway, we open the door to the conversation.

또한 이러한 주장을 발전시키는 과정에서 우리는 그 함의에서 자유롭지 않다는 것을 인정합니다. 결국, 우리는 이 백서를 통해 어떤 문제를 해결하고자 하는 것일까요? 문제를 중심으로 논문을 어느 정도 명확하게 표현했습니까? 우리가 의도한 청중은 누구인가? 우리는 행동하고 이야기하고 있는가? 마지막 질문에 대한 우리의 대답은 이 논문은 특히 이 증거가 실무자에게 중요한 실제 문제를 해결하는 데 사용될 수 있다는 점에서 증거의 일부 오해와 관련된 문제를 해결하고자 하는 작업의 예이며, 교육 연구자와 실무자 모두를 대상으로 한다는 것입니다. 그러나 이러한 문제는 광범위하고 복잡하기 때문에 이 백서는 우리가 제기한 문제에 대한 사고와 토론을 촉진할 수 있기를 바라며 청중의 참여를 유도하는 행위입니다. 실용적인 문제에만 초점을 맞춘 연구만이 우리가 하는 전부는 아니며, 그렇기 때문에 우리 분야에서 다양한 차원의 참여와 관심의 맥락에서 지식 번역과 실행 과학이 무엇을 의미할 수 있는지 다시 생각해 볼 필요가 있습니다.  
We also acknowledge that in advancing these arguments we are not free of their implications. After all, what problems are we trying to solve with this paper? To what extent did we articulate the paper around problems? Who is our intended audience? Are we walking the walk and talking the talk? Our response to the last question is that this paper is an example of work that is looking to solve problems associated with some of the myths of evidence especially insofar as this evidence can be used to address real-life problems that matter to practitioners, and it is intended for both educational researchers and practitioners. However, these problems are broad and complex and as such, this paper is an act of audience engagement with a hope that it will catalyse thinking and debate around the issues we have raised. Problem-focused research solely on practical issues is clearly not all we do, which is why we need to rethink what knowledge translation and implementation science can mean in the context of different dimensions of engagement and concern in our field.

9 결론
9 CONCLUSIONS

이 백서에서는 HPE에서 문제를 사용하는 것과 관련된 몇 가지 신화에 맞서기 위해 모든 것이 문제인지, 모든 실무자의 요구는 문제 해결에 관한 것인지, 실무자 문제는 충분한 증거로 해결할 수 있는지, 모든 학술 출판물이 실무자 문제를 대상으로 하는지, 실제 실무자 문제 해결에 초점을 맞춘 연구가 문헌에 중요한 기여를 하는지 등 다섯 가지 질문을 제기했습니다. 매번 대답은 '아니오'였습니다. 우리 분야는 문제 중심 연구라는 신화가 암시하는 것보다 훨씬 더 다양한 분야입니다. 따라서 우리는 HPE 커뮤니티가 HPE의 현실과 그것이 우리에게 강요하는 제한적 합리성에 대해 더 열심히 생각하고 더 잘 생각하기를 요청합니다.  
To confront some of the myths associated with the use of problems in HPE, we posed five questions in this paper: whether everything is a problem, whether all practitioner needs are about problem solving, whether practitioner problems are resolvable with sufficient evidence, whether all scholarly publications target practitioner problems and whether studies that focus on solving a real practitioner problem make significant contributions to the literature. Each time, the answer was ‘no’. Ours is a more diverse field than the myth of problem-focused research would suggest. We therefore ask the HPE community to think harder and think better about the realities of HPE and the bounded rationalities it forces upon us.

© 2023 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

혼합방법연구에서 데이터를 통합하는 세 가지 테크닉(BMJ. 2010)
Three techniques for integrating data in mixed methods studies
Alicia O’Cathain,1 Elizabeth Murphy,2 Jon Nicholl1

보건 연구자들은 점점 더 질적 방법과 정량적 방법을 결합한 설계를 사용하고 있으며, 이를 혼합 방법 연구라고 부르기도 합니다.1 연구의 질적 요소와 정량적 요소 간의 상호작용 또는 대화인 통합은 혼합 방법 연구의 중요한 측면이며, 실제로 일부 정의에 필수적입니다.2 그러나 보건 분야의 혼합 방법 연구에 대한 최근 경험적 연구에 따르면 구성 요소 간의 통합이 부족하여3 4 이러한 유형의 연구가 생성하는 지식의 양에 제한이 있는 것으로 나타났습니다. 통합이 없으면 "부분의 합보다 더 큰 전체"를 얻기보다는 질적 연구와 양적 연구를 독립적으로 수행했을 때와 동일한 수준의 지식이 산출됩니다.5 
Health researchers are increasingly using designs that combine qualitative and quantitative methods, and this is often called mixed methods research.1 Integration—the interaction or conversation between the qualitative and quantitative components of a study—is an important aspect of mixed methods research, and, indeed, is essential to some definitions.2 Recent empirical studies of mixed methods research in health show, however, a lack of integration between components,3 4 which limits the amount of knowledge that these types of studies generate. Without integration, the knowledge yield is equivalent to that from a qualitative study and a quantitative study undertaken independently, rather than achieving a “whole greater than the sum of the parts.”5

보건 및 사회 연구 모두에서 통합을 가로막는 장벽이 확인되었습니다.6 7 한 가지 장벽은 혼합 방법 연구에 대한 공식 교육이 없다는 것입니다. 다행히도 질적 방법과 양적 방법의 데이터와 연구 결과를 통합하는 방법에 대한 설명을 포함하여 이러한 교육 격차를 메우기 위한 문헌이 빠르게 확장되고 있습니다.8 9 이 글에서는 보건 연구자가 혼합 방법 연구에서 데이터 또는 연구 결과를 통합하는 데 도움이 될 수 있는 세 가지 기법을 설명하고 이러한 접근 방식에서 생성된 지식을 향상시킬 수 있는 방법을 보여줍니다. 
Barriers to integration have been identified in both health and social research.6 7 One barrier is the absence of formal education in mixed methods research. Fortunately, literature is rapidly expanding to fill this educational gap, including descriptions of how to integrate data and findings from qualitative and quantitative methods.8 9 In this article we outline three techniques that may help health researchers to integrate data or findings in their mixed methods studies and show how these might enhance knowledge generated from this approach.

삼각측량 프로토콜
Triangulation protocol

연구자는 종종 정성적 방법과 정량적 방법을 사용하여 전체 연구 질문의 다양한 측면을 조사합니다. 예를 들어, 무작위 대조 시험을 통해 의료 개입의 효과를 평가하고 환자 및 의료 전문가와의 반구조화된 인터뷰를 통해 실제 환경에서 개입이 사용된 방식을 고려할 수 있습니다. 또는 서비스 사용자에 대한 설문조사를 통해 서비스 만족도를 측정하고 포커스 그룹을 통해 치료에 대한 관점을 더 깊이 탐구할 수도 있습니다. 각 구성 요소에 대해 데이터를 개별적으로 수집하고 분석하여 두 가지 결과를 도출합니다. 그런 다음 연구자들은 이러한 결과를 결합하려고 시도하며, 이 과정을 삼각 측량이라고 부르기도 합니다. 삼각측량이라는 용어는 두 가지 의미가 있기 때문에 혼동될 수 있습니다.10 삼각측량은

• 두 세트의 결과 사이의 확증(보강, corroboration)을 설명하거나
• 보다 완전한 그림을 얻기 위해 다양한 방법을 사용하여 문제를 연구하는 과정

후자의 의미는 혼합 방법 연구에서 일반적으로 사용되며 여기서는 이 의미를 사용합니다. 
Researchers will often use qualitative and quantitative methods to examine different aspects of an overall research question. For example, they might use a randomised controlled trial to assess the effectiveness of a healthcare intervention and semistructured interviews with patients and health professionals to consider the way in which the intervention was used in the real world. Alternatively, they might use a survey of service users to measure satisfaction with a service and focus groups to explore views of care in more depth. Data are collected and analysed separately for each component to produce two sets of findings. Researchers will then attempt to combine these findings, sometimes calling this process triangulation. The term triangulation can be confusing because it has two meanings.10 It can be used

• to describe corroboration between two sets of findings or
• to describe a process of studying a problem using different methods to gain a more complete picture.

The latter meaning is commonly used in mixed methods research and is the meaning used here.

서로 다른 방법의 결과를 삼각 측량하는 과정은 두 데이터 세트가 개별적으로 분석되었을 때 연구의 해석 단계에서 이루어집니다(그림⇓). 연구 결과를 삼각 측량하기 위한 몇 가지 기법이 설명되어 있습니다. 연구자는 연구의 각 구성 요소에서 얻은 결과를 같은 페이지에 나열하고 다음을 고려해야 합니다

• 각 방법의 결과가 일치하는 부분(수렴성),
• 동일한 문제에 대해 보완적인 정보를 제공하는 부분(보완성),
• 서로 모순되는 것처럼 보이는 부분(불일치 또는 부조화).11 12 13

다른 방법의 결과 간에 불일치를 명시적으로 찾는 것은 이 과정의 중요한 부분입니다. 의견 불일치는 연구에 문제가 있다는 신호가 아닙니다. 명백한 "방법 간 불일치"를 탐색하는 것은 연구 질문에 대한 더 나은 이해로 이어질 수 있으며,14 보건 서비스 연구에서 방법 간 불일치를 탐색하기 위해 다양한 접근법이 사용되었습니다.15 
The process of triangulating findings from different methods takes place at the interpretation stage of a study when both data sets have been analysed separately (figure⇓). Several techniques have been described for triangulating findings. They require researchers to list the findings from each component of a study on the same page and consider where findings from each method agree (convergence), offer complementary information on the same issue (complementarity), or appear to contradict each other (discrepancy or dissonance).11 12 13 Explicitly looking for disagreements between findings from different methods is an important part of this process. Disagreement is not a sign that something is wrong with a study. Exploration of any apparent “inter-method discrepancy” may lead to a better understanding of the research question,14 and a range of approaches have been used within health services research to explore inter-method discrepancy.15

삼각측량 수행 방법에 대한 가장 자세한 설명은 삼각측량 프로토콜로,11 여러 질적 방법을 위해 개발되었지만 혼합 방법 연구와 관련이 있습니다. 이 기법에는 연구의 각 구성 요소에서 나온 결과를 같은 페이지에 표시하는 '융합 코딩 매트릭스'를 생성하는 것이 포함됩니다. 그 다음에는 서로 다른 구성 요소의 결과 사이에 일치, 부분 일치, 침묵 또는 불협화음이 있는 부분을 고려합니다. 이 삼각측량 기법은 주제나 결과가 한 데이터 세트에서 발생하지만 다른 데이터 세트에서는 발생하지 않는 침묵을 포함할 수 있는 유일한 기법입니다. 현상의 다양한 측면을 조사하는 다양한 방법의 강점 때문에 침묵이 예상될 수 있지만, 이해를 높이거나 추가 조사로 이어지는 데 도움이 되는 예상치 못한 침묵도 발생할 수 있습니다.
The most detailed description of how to carry out triangulation is the triangulation protocol,11 which although developed for multiple qualitative methods, is relevant to mixed methods studies. This technique involves producing a “convergence coding matrix” to display findings emerging from each component of a study on the same page. This is followed by consideration of where there is agreement, partial agreement, silence, or dissonance between findings from different components. This technique for triangulation is the only one to include silence—where a theme or finding arises from one data set and not another. Silence might be expected because of the strengths of different methods to examine different aspects of a phenomenon, but surprise silences might also arise that help to increase understanding or lead to further investigations.

삼각측량 프로토콜은 연구자들이 각 방법과 관련된 결과에 대한 생각에서 벗어나 다양한 방법의 결과를 가로지르는 메타테마라고 부르는 것으로 이동시킵니다.11 삼각측량 프로토콜의 작동 사례를 보여 주지만, 다른 출판된 사례는 찾을 수 없었습니다. 그러나 새로운 일차 혈관 성형술 서비스에 대한 환자와 보호자의 만족도를 파악하기 위한 반복적 혼합 방법 연구에서도 유사한 원칙이 사용되었습니다.16 

• 연구자들은 16명의 사용자와 보호자를 대상으로 반구조화된 인터뷰를 실시하여 새로운 서비스에 대한 경험과 견해를 조사했습니다. 
• 이를 바탕으로 새로운 서비스 또는 일반적인 치료를 받고 있는 595명의 환자(및 보호자 418명)를 대상으로 설문지를 개발했습니다. 
• 마지막으로, 사후 관리 및 재활에 불만을 표명한 환자 중 17명을 대상으로 반구조화된 인터뷰를 통해 이에 대한 추가 조사를 실시했습니다. 

연구진은 메타주제로의 사고 전환을 통해 인터뷰, 설문조사, 후속 인터뷰의 결과를 순차적으로 보고하는 방식에서 벗어나 속도와 효율성, 치료의 편의성, 퇴원 및 사후 관리라는 메타주제를 고려했습니다. 설문조사 결과, 새로운 서비스를 이용하는 환자 보호자 중 병원 방문의 편의성이 기존 서비스를 이용하는 보호자보다 낮다고 평가한 비율이 더 높았습니다. 인터뷰는 새로운 서비스에 대한 이러한 우려를 뒷받침했지만, 보호자가 가족의 생명을 구할 수 있다는 맥락에서 이러한 우려에 부여하는 비중은 낮다는 사실도 확인했습니다.
The triangulation protocol moves researchers from thinking about the findings related to each method, to what Farmer and colleagues call meta-themes that cut across the findings from different methods.11 They show a worked example of triangulation protocol, but we could find no other published example. However, similar principles were used in an iterative mixed methods study to understand patient and carer satisfaction with a new primary angioplasty service.16 

• Researchers conducted semistructured interviews with 16 users and carers to explore their experiences and views of the new service.
• These were used to develop a questionnaire for a survey of 595 patients (and 418 of their carers) receiving either the new service or usual care.
• Finally, 17 of the patients who expressed dissatisfaction with aftercare and rehabilitation were followed up to explore this further in semistructured interviews.

A shift of thinking to meta-themes led the researchers away from reporting the findings from the interviews, survey, and follow-up interviews sequentially to consider the meta-themes of speed and efficiency, convenience of care, and discharge and after care. The survey identified that a higher percentage of carers of patients using the new service rated the convenience of visiting the hospital as poor than those using usual care. The interviews supported this concern about the new service, but also identified that the weight carers gave to this concern was low in the context of their family member’s life being saved.

Morgan은 이러한 움직임이 질적 요소와 양적 요소를 분석한 후에 발생하기 때문에 "제3의 노력"이라고 설명합니다.17 연구 시간표에 계획해야 하는 시간과 에너지가 필요합니다. 통합 프로세스를 누가 수행할 것인지 고려하는 것도 유용합니다. 삼각 측량 시 두 명의 연구자가 함께 작업해야 하는데, 이는 혼합 방법 연구에서 서로 다른 연구자가 정성적 요소와 정량적 요소를 담당하는 경우 특히 중요할 수 있습니다.11 
Morgan describes this move as the “third effort” because it occurs after analysis of the qualitative and the quantitative components.17 It requires time and energy that must be planned into the study timetable. It is also useful to consider who will carry out the integration process. Farmer and colleagues require two researchers to work together during triangulation, which can be particularly important in mixed methods studies if different researchers take responsibility for the qualitative and quantitative components.11

혼합 방법 매트릭스
Mixed methods matrix

일부 혼합 방법 연구의 독특한 측면은 동일한 사례에 대해 정성적 데이터와 정량적 데이터를 모두 사용할 수 있다는 것입니다. 혼합 방법 연구의 분석 단계에서는 정성적 요소와 정량적 요소의 데이터를 통합할 수 있습니다(그림⇑). 예를 들어, 설문조사 응답자 표본을 대상으로 심층 인터뷰를 실시하여 완성된 설문지와 녹취록이 모두 있는 사례의 하위 집합을 생성할 수 있습니다. 사례는 개인, 그룹, 조직 또는 지역이 될 수 있습니다.9 단일 사례에 대해 수집된 모든 데이터를 함께 연구할 수 있으며, 연구 내에서 변수나 주제보다는 사례에 초점을 맞출 수 있습니다. 예를 들어 설문지에 대한 사람들의 응답을 인터뷰 기록과 비교하는 등 각 사례별로 데이터를 자세히 조사할 수 있습니다. 또는 마일즈와 허버만의 메타 매트릭스에 따라 각 사례의 데이터를 요약하여 매트릭스8 9 20에 표시할 수도 있습니다.21 혼합 방법 매트릭스에서 행은 정성적 데이터와 정량적 데이터가 모두 있는 사례를 나타내고 열은 각 사례에서 수집된 다른 데이터를 표시합니다. 이를 통해 연구자는 단일 사례에 대한 데이터 유형 간의 놀라움과 역설에 주의를 기울인 다음 질적 교차 사례 분석에서 모든 사례20에서 패턴을 찾을 수 있습니다.21 
A unique aspect of some mixed methods studies is the availability of both qualitative and quantitative data on the same cases. Data from the qualitative and quantitative components can be integrated at the analysis stage of a mixed methods study (figure⇑). For example, in-depth interviews might be carried out with a sample of survey respondents, creating a subset of cases for which there is both a completed questionnaire and a transcript. Cases may be individuals, groups, organisations, or geographical areas.9 All the data collected on a single case can be studied together, focusing attention on cases, rather than variables or themes, within a study. The data can be examined in detail for each case—for example, comparing people’s responses to a questionnaire with their interview transcript. Alternatively, data on each case can be summarised and displayed in a matrix8 9 20 along the lines of Miles and Huberman’s meta-matrix.21 Within a mixed methods matrix, the rows represent the cases for which there is both qualitative and quantitative data, and the columns display different data collected on each case. This allows researchers to pay attention to surprises and paradoxes between types of data on a single case and then look for patterns across all cases20 in a qualitative cross case analysis.21

우리는 혼합 방법 매트릭스를 사용하여 보건 서비스 연구에서 팀 작업 유형과 혼합 방법 연구의 통합 정도 사이의 관계를 연구했습니다(표⇓).22 75개의 혼합 방법 연구의 제안서, 보고서 및 동료 검토 출판물에서 정량적 데이터를 추출하고, 이를 분석하여 혼합 방법 저널 논문과 같은 통합 결과물을 가진 연구의 비율을 설명했습니다. 정량적 요소의 두 가지 주요 변수는 해당 연구가 정성적 또는 정량적 데이터 또는 연구 결과를 통합하려고 시도한 것으로 평가되었는지 여부와 생산된 출판물의 유형이었습니다. 이러한 연구 중 일부에 참여한 20명의 연구자와의 질적 인터뷰를 통해 연구팀의 협력 방식 등 혼합 방법 연구가 어떻게 실행되었는지 살펴봤습니다. 
We used a mixed methods matrix to study the relation between types of team working and the extent of integration in mixed methods studies in health services research (table⇓).22 Quantitative data were extracted from the proposals, reports, and peer reviewed publications of 75 mixed methods studies, and these were analysed to describe the proportion of studies with integrated outputs such as mixed methods journal articles. Two key variables in the quantitative component were whether the study was assessed as attempting to integrate qualitative or quantitative data or findings and the type of publications produced. We conducted qualitative interviews with 20 researchers who had worked on some of these studies to explore how mixed methods research was practised, including how the team worked together.

질적 구성 요소와 양적 구성 요소 간에 공유된 사례는 21개의 혼합 방법 연구였습니다(한 인터뷰 참여자가 양적 구성 요소에서 두 개의 연구에 참여했기 때문입니다). 21개의 연구 각각을 행으로 연결하여 매트릭스를 만들었습니다. 행렬의 첫 번째 열에는 연구 식별이, 두 번째 열에는 해당 프로젝트에서 통합이 이루어졌는지 여부가, 세 번째 열에는 연구에서 나온 출판물의 통합 점수가 표시되었습니다. 그런 다음 가장 많이 통합된 사례를 먼저 표시하도록 행의 순서를 정했습니다. 이러한 행 순서를 통해 여러 행에서 패턴을 파악하는 데 도움이 되었습니다. 
The shared cases between the qualitative and quantitative components were 21 mixed methods studies (because one interviewee had worked on two studies in the quantitative component). A matrix was formed with each of the 21 studies as a row. The first column of the matrix contained the study identification, the second column indicated whether integration had occurred in that project, and the third column the score for integration of publications emerging from the study. The rows were then ordered to show the most integrated cases first. This ordering of rows helped us to see patterns across rows.

다음 열은 해당 프로젝트의 연구자와의 질적 인터뷰를 통해 얻은 주제였습니다. 예를 들어, 첫 번째 주제는 팀 내 질적 연구에 대한 전문성과 인터뷰 대상자가 이를 연구에 적절하다고 보고했는지에 관한 것이었습니다. 그런 다음 질적 분석의 맥락에서 매트릭스를 사용하여 통합에 영향을 미치는 문제를 탐색했습니다. 특히 질적 분석에서 부정적인 사례(분석 대상자가 분석이 도출한 결론에 맞지 않는 경우)를 식별하여 이해를 돕는 데 도움이 되었습니다. 인터뷰 참여자들은 혼합 방법 연구에 숙련된 질적 연구자가 있어야 질적 요소가 잘 드러난다고 말했지만, 두 사례에서는 이것이 필요하지도 충분하지도 않다고 답했습니다. 이에 따라 혼합 방법 연구에서 결과물을 생성하고 통합된 결과물을 생성하는 데 도움이 되는 연구팀의 다른 요소를 탐색하게 되었습니다. 
The next columns were themes from the qualitative interview with a researcher from that project. For example, the first theme was about the expertise in qualitative research within the team and whether the interviewee reported this as adequate for the study. The matrix was then used in the context of the qualitative analysis to explore the issues that affected integration. In particular, it helped to identify negative cases (when someone in the analysis doesn’t fit with the conclusions the analysis is coming to) within the qualitative analysis to facilitate understanding. Interviewees reported the need for experienced qualitative researchers on mixed methods studies to ensure that the qualitative component was published, yet two cases showed that this was neither necessary nor sufficient. This pushed us to explore other factors in a research team that helped generate outputs, and integrated outputs, from a mixed methods study.

질적 연구의 주제는 정량적 데이터로 코딩할 수 있을 정도로 요약할 수 있습니다. 매트릭스(표⇑)에서 인터뷰 대상자의 팀 내 질적 전문성의 적절성에 대한 인식은 적절함=1 또는 적절하지 않음=2로 코딩될 수 있습니다. 이를 정성적 데이터의 '정량화'23라고 하며, 코딩된 데이터는 정량적 요소의 데이터로 분석할 수 있습니다. 이 기법은 무작위 대조 임상시험에서 정량적 측정을 통해 평가한 건강 개선도와 심층 인터뷰를 통해 평가한 건강 개선도 간의 차이를 파악하기 위해 의료 연구에서 매우 효과적으로 사용되었습니다.24 
Themes from a qualitative study can be summarised to the point where they are coded into quantitative data. In the matrix (table⇑), the interviewee’s perception of the adequacy of qualitative expertise on the team could have been coded as adequate=1 or not=2. This is called “quantitising” of qualitative data23; coded data can then be analysed with data from the quantitative component. This technique has been used to great effect in healthcare research to identify the discrepancy between health improvement assessed using quantitative measures and with in-depth interviews in a randomised controlled trial.24

Three techniques for integrating data in mixed methods studies

PMID: 20851841

DOI: 10.1136/bmj.c4587

왜 개방형 설문 질문이 강건한 질적 인사이트를 지지하기 어려운가(Acad Med, 2018)
Why Open-Ended Survey Questions Are Unlikely to Support Rigorous Qualitative Insights
Kori A. LaDonna, PhD, Taryn Taylor, MD, PhD, FRCPC, and Lorelei Lingard, PhD

보건 전문직 교육 연구자들은 이 분야의 복잡한 문제를 탐구하기 위해 양적 연구 방법과 질적 연구 방법의 조합에 점점 더 의존하고 있습니다. 이러한 발전은 중요하고 필요하지만, 새로운 방법론적 과제를 야기하고 있습니다. 연구자들은 하나의 접근 방식에 수반되는 엄격성의 원칙뿐만 아니라 여러 접근 방식의 상호 보완성 또는 비호환성을 고려해야 합니다.1 물론 혼합 방법 연구의 경우처럼 생산적인 효과를 위해 전략적으로 방법을 통합할 수도 있지만,2 연구 방법들이 무분별하게 결합될 경우 연구가 제공할 수 있는 인사이트의 질에 부정적인 영향을 미칠 수 있습니다. 
Health professions education researchers are increasingly relying on a combination of quantitative and qualitative research methods to explore complex questions in the field. Although this development is important and necessary, it has created new methodological challenges. Researchers must consider not only the principles of rigor attendant on one approach but also the complementarity or incompatibility of multiple approaches.1 Certainly, methods can be integrated strategically to productive effect, as in the case of mixed-methods research,2 but they can also be combined blithely, with negative implications for the quality of the insights the research can provide.

문제가 될 수 있는 연구 방법 결합의 일반적인 예로는 '정성적' 질문의 하위 집합을 포함하는 정량적 설문조사 또는 측정 도구가 있습니다. 이는 종종 폐쇄형(리커트형 또는 강제 선택형) 항목에 몇 개의 개방형 질문이 뒤따르는 형태이거나, 의학교육 평가에서 교사나 학습자의 성과에 대한 서술형 피드백을 위한 자유 텍스트 필드의 형태를 취합니다. 자유 텍스트 응답에 대한 분석은 종종 "질적" 연구로 제시됩니다. 이 초청 논평에서는 이러한 응답 분석이 엄격한 질적 연구의 기준을 충족하는 경우가 드문 이유를 설명합니다. 
One common example of combining research methods that can be problematic is the quantitative survey or measurement instrument that includes a subset of “qualitative” questions. Often this takes the form of closed-ended (Likert-type or forced-choice) items followed by a few open-ended questions or, in medical education assessment, free-text fields for narrative feedback to teachers or learners about their performance. Analysis of the free-text responses is frequently presented as “qualitative” research. In this Invited Commentary, we explain why the analysis of such responses rarely meets the bar for rigorous qualitative work.

엄격함의 기준은 무엇인가요?
What Is the Bar for Rigor?

질적 연구의 목적은 "사람들이 자신의 경험을 어떻게 해석하는지, 자신의 세계를 어떻게 구성하는지, 자신의 경험에 어떤 의미를 부여하는지"를 이해하는 것입니다.3 이를 위해 질적 연구자는 동료 디브리핑, 문헌 참조, '구성원 확인'4 또는 초기 분석 인사이트를 구체화하기 위한 추가 데이터 수집을 통해 여러 차례의 데이터 코딩을 수행하는 반복적이고 시간이 많이 소요되는 프로세스에 참여합니다.3,5,6 이 프로세스의 엄격성을 평가하는 방법은 여러 가지가 있지만,7-10 트레이시의 8가지 "빅 텐트" 기준11은 품질에 대한 우리의 가정을 구체화합니다: 즉, 질적 연구는 우수성의 기준을 충족하기 위해 다음을 갖추어야 한다.

• (1) 가치 있는 주제를 탐구하고,
• (2) 엄격함을 입증하고,
• (3) 성실하고, (4) 신뢰할 수 있고, (5) 윤리적이어야 하며,
• (6) 청중의 공감을 얻고,
• (7) 중요한 공헌을 하고,
• (8) 의미 있는 일관성을 달성한다.

이러한 기준을 충족하려면 연구 질문과 연구 결과가 모두 시의적절하고 관련성이 있어야 하며, 연구자가 연구 목적에 부합할 뿐만 아니라 풍부하고 적절한 데이터를 생성하는 절차를 선택하고, 반성성을 고려하며,12 "문헌, 연구 질문/초점, 연구 결과 및 해석을 서로 의미 있게 상호 연결"11해야 합니다.
The purpose of qualitative research is to understand “how people interpret their experiences, how they construct their worlds, and what meaning they attribute to their experiences.”3 To do this, qualitative researchers engage in an iterative, time-intensive process that involves multiple rounds of data coding punctuated by peer debriefing, consultation with the literature, and additional data collection either to “member check”4 or to flesh out early analytical insights.3,5,6 While there are multiple ways to assess the rigor of this process,7–10 Tracy’s eight “big tent” criteria11 shape our assumptions about quality: That is, to meet the bar for excellence, qualitative research must

• (1) explore a worthy topic;
• (2) demonstrate rigor;
• be (3) sincere, (4) credible, and (5) ethical;
• (6) resonate with an audience;
• (7) make a significant contribution; and
• (8) achieve meaningful coherence.

Meeting these criteria requires that both the research question and its findings be timely and relevant, and that researchers choose procedures that not only fit the research purpose but also produce rich and appropriate data, attend to reflexivity,12 and “meaningfully interconnect literature, research questions/foci, findings, and interpretations with each other.”11

자유 텍스트 응답에 대한 '정성적' 분석의 문제점은 무엇인가요?
What Is the Matter With a “Qualitative” Analysis of Free-Text Responses?

설문조사 또는 평가 항목에 대한 자유 텍스트 응답은 진정성, 신뢰성, 공감을 얻거나 실질적인 기여를 할 수 있을 만큼 풍부한 데이터를 생성하는 경우가 드뭅니다.11 데이터의 풍부함에는 아래의 것 등이 포함된다고 다양하게 설명되어 왔습니다.

• 사회 세계의 특수성에 대한 설명6,
• 참여자의 감정과 일반적으로 접근하기 어려운 생각의 공개5,
• 맥락, 감정, 사회적 관계를 환기시키는 "무성한" 또는 "두꺼운" 설명13-15,
• 소리, 제스처, 동영상 등 다양한 형식과 표현의 조합

16 요컨대, 데이터가 "풍부"하려면 맥락, 개인적인 의미, 정서적, 사회적 뉘앙스, 세부적인 층위를 갖추어야 합니다. 
Free-text responses to survey or assessment items rarely produce data rich enough either to achieve sincerity, credibility, and resonance or to make a substantial contribution.11 Data richness has been variously described as involving

• descriptions of the particularities of the social world6;
• disclosure of participants’ feelings and commonly inaccessible thoughts5;
• “lush” or “thick” descriptions that evoke context, emotion, and social relationships13–15; and
• various formats and combinations of representation such as sounds, gestures, or videos.16 

In short, for data to be “rich,” they must have context, personal meaning, emotional and social nuances, and layers of detail.

종이 설문조사 도구에서 자유 텍스트 응답을 위한 공간은 몇 인치 정도이며, 전자 또는 온라인 도구에서는 제한된 텍스트 필드인 경우가 많습니다. 경험상 보건 전문직 교사, 학생, 실무자는 일반적으로 할당된 공간에 충분한 서술형 피드백을 제공하지 않습니다. 따라서 몇 문장 이하로 구성된 데이터는 "문맥에 대한 주의와 ... 개념적 풍부함"이 부족한 경우가 많습니다.17 이러한 상황에서는 설문조사 완료 횟수와 무관하게 몇 문장으로 구성된 500개의 응답이 적절한 표본이 될 수 있지만, 특히 질문과 응답이 연구 목표에 대한 부가적인 추가 사항인 경우 반드시 그렇게 되지 않을 수도 있습니다. 따라서 자유 텍스트 응답을 분석하면 연구자가 사전 이해를 얻고 콘텐츠 영역을 스케치하는 데 도움이 될 수 있지만, 일반적으로 질적 연구의 핵심인 "어떻게?" 및 "왜?"라는 질문에는 도달할 수 없습니다. 
The space for free-text responses on paper survey instruments tends to be a few inches; on electronic or online instruments, it is often a restricted text field. In our experience, health professions teachers, students, and practitioners do not typically provide copious narrative feedback in the allotted space. In turn, data consisting of a few sentences (or less) often lack “attention to context and … conceptual richness.”17 In this situation, the number of surveys completed is irrelevant; 500 responses of a few phrases each can constitute an appropriate sample but may not necessarily do so, particularly if the questions—and responses—are tangential add-ons to the research aims. Therefore, while analysis of free-text responses can generate preliminary understanding and help researchers begin to sketch content areas, it usually cannot get at the “how?” and “why?” questions that are the core business of qualitative research.

또한 자유 텍스트 응답은 엄격한 질적 절차를 통해 분석되는 경우가 드뭅니다. 대신, 특히 키워드의 빈도에 중점을 두는 경우 분석이 정성적이기보다는 정량적으로 보일 수 있습니다. 그렇다고 반복되는 단어를 세는 것이 잘못되었다는 것이 아니라, 종종 불충분할 수 있다는 뜻입니다. 자유 텍스트 응답에 대한 강력한 질적 분석(내용,18,19 주제,20 또는 담론적 또는 언어적 절차21에 따른 분석)은 단순히 개수를 세는 것 이상의 역할을 해야 합니다. 그것은 탐구 중인 사회 현상에 대한 우리의 이해를 풍부하게 해야 합니다.  
Additionally, free-text responses are rarely analyzed using rigorous qualitative procedures. Instead, the analysis may appear more quantitative than qualitative, particularly if the primary focus is frequency of keywords. That is not to say that counting recurring words is wrong but, rather, that it will often be insufficient. A robust qualitative analysis of free-text responses—whether it follows content,18,19 thematic,20 or discursive or linguistic procedures21—must do more than count. It must enrich our understanding of the social phenomena being explored.

이러한 이유로, 자유 텍스트 질문에 대한 응답은 정성적 데이터에 요구되는 풍부함의 기준을 거의 충족하지 못하며, 따라서 이러한 응답에 대한 분석은 강력하고 해석 가능한 독립적인 인사이트를 생성하지 못할 위험이 있다고 주장합니다. 따라서 연구자들은 이러한 분석이 그 자체로 발표할 가치가 있는지에 대해 다시 한 번 생각해 볼 것을 권고합니다. 
For these reasons, we contend that responses to free-text questions will rarely meet the standard for richness required of qualitative data, and that the analysis of these responses, therefore, risks falling short of producing robust, interpretive, stand-alone insights. We caution researchers to think twice about whether these analyses are worthy of publication in their own right.

해결책은 무엇인가요?
What Is the Solution?

물론 예외도 있습니다. 즉, 자유 텍스트 응답 데이터가 "새롭거나 독특하거나 희귀"하고 특정 선험적 연구 질문에 답하기에 적합한 경우 가치 있는 기여를 할 수 있습니다.11 예를 들어, 의학교육 평가 도구의 자유 텍스트 응답을 기반으로 한 두 가지 연구가 엄격하고 독립적인 질적 연구의 기준을 충족한다고 생각됩니다.

• Myers 등22 은 주제별 분석 및 일치도 소프트웨어를 사용하여 임상 교사에 대한 레지던트의 자유 텍스트 코멘트가 포함된 임상 교육 평가의 패턴을 설명했습니다. 연구 결과 중에는 교수진의 '개선 영역'에 대한 레지던트의 설명이 교수진의 교수 행동보다 레지던트의 학습 요구에 대해 더 많은 것을 말해줄 수 있다는 통찰이 있었습니다.
• Ginsburg 등23은 레지던트 수련 평가 보고서에 대한 교수진의 서면 코멘트를 분석하여 코멘트의 주제를 설명하고 CanMEDS 역량 프레임워크와의 관계를 탐색했습니다. 그들은 교수진이 중요하게 생각하지만 CanMEDS 프레임워크에는 나타나지 않는 역량을 제안하는 세 가지 반복되는 주제를 서면 의견에서 발견했습니다. 

There are, of course, exceptions. That is, valuable contributions can be made if free-text response data are “new, unique, or rare” and appropriate for answering a specific, a priori research question.11 To illustrate, consider two studies based on free-text comments in medical education assessment instruments that we think meet the bar for rigorous, stand-alone qualitative research.

• Myers et al22 used thematic analysis and concordance software to describe the patterns in clinical teaching assessments containing residents’ free-text comments about their clinical teachers. Among their findings was the insight that residents’ descriptions of “areas of improvement” for faculty may say more about resident learning needs than about faculty teaching behaviors.
• Ginsburg et al23 analyzed written comments by faculty on resident in-training evaluation reports and both described themes in the comments and explored their relationship with the CanMEDS competency framework. They discovered three recurring themes in the written comments that suggested competencies valued by faculty but not represented in the CanMEDS framework.

중요한 점은 이 두 사례 모두에서 자유 텍스트 응답 분석이 대규모 정량적 프로젝트에 추가되는 것이 아니라 연구의 중심이었으며, 결과적으로 이러한 데이터는 연구 질문에 답하기 위해 의도적으로 선택되었다는 점입니다. 인터뷰나 참가자 관찰과 같은 추가 데이터가 있었더라면 저자들의 연구 결과를 개선할 수 있었겠지만, 자유 텍스트 응답이 연구 질문에 적절했습니다. 마지막으로, 두 저자 그룹 모두 기존 문헌 및 개념적 프레임워크와 함께 데이터를 분석하고 제시함으로써 엄밀성을 확보했습니다. 따라서 데이터 자체는 내러티브로서 '풍부'하지는 않았지만, 그럼에도 불구하고 분석은 의미 있는 질적 인사이트를 도출할 수 있었습니다.
Importantly, in both of these examples the analysis of the free-text responses was the central focus of the study, not an add-on to a larger, quantitative project; as a consequence, these data were purposefully selected to answer the research question. Although additional data, such as interviews or participant observations, might have enhanced the authors’ findings, the free-text responses were appropriate for their inquiries. Finally, both groups of authors ensured rigor by analyzing and presenting the data in tandem with existing literature and conceptual frameworks. Therefore, although the data themselves were not “rich” as narratives, the analysis nevertheless was capable of yielding meaningful qualitative insights.

연구자들이 개방형 설문조사 질문을 피해야 한다고 제안하는 것이 아니며, 그러한 질문이 제공하는 데이터를 무시해야 한다고 제안하는 것도 아닙니다. 오히려 설문조사 응답자의 서면 응답은 정량적 결과를 향상시키고, 설문조사 질문의 문제점을 부각시키며, 폐쇄형 질문에 대한 답변을 확증하고, 새로운 연구 방향을 제시할 수 있습니다.17 또한 평가 도구의 서술형 응답은 비록 축약되어 있지만 특정 맥락에서 서면 피드백의 본질과 의미에 대한 중요한 질문에 답할 수 있는 리소스를 제공할 수 있습니다. 
We are not suggesting that researchers should avoid open-ended survey questions, nor are we suggesting that researchers should ignore the data provided by such questions. On the contrary, survey respondents’ written responses can enhance quantitative findings, highlight problems with survey questions, corroborate answers to closed-ended questions, and inspire new avenues for research.17 And narrative responses on assessment instruments, albeit abbreviated, can provide a resource for answering important questions about the nature and meaning of written feedback in specific contexts.

그러나 Silverman24가 주장했듯이 "질적 연구는 단순히 주어진 연구 문제에 끼워 맞출 수 있는 일련의 기술이 아닙니다." 간단한 자유 텍스트 응답을 적절하게 처리하기 위해 세 가지 제안을 제공합니다.

• 첫째, 개방형 질문이 몇 개 포함된 설문조사 도구의 경우, 연구자는 이러한 데이터와 그 분석을 사후에 독립적으로 수행되는 질적 연구의 일부가 아니라 1차 설문조사 연구의 보조 분석으로 선험적으로 개념화해야 합니다.
• 둘째, 많은 평가 도구에서 볼 수 있는 것과 같이 자유 텍스트 항목에 대한 간단한 응답에 의도적으로 초점을 맞춘 연구의 경우, 연구자는 연구 질문이 집중적이고 적절한지 확인해야 하며 탐구 중인 사회 현상에 대한 강력한 통찰력을 제공하는 분석 절차에 참여해야 합니다.
• 마지막으로, 엄밀성을 보장하기 위해 연구 설계를 지원하고 분석이 진행되는 동안 지침을 제공할 수 있는 숙련된 질적 연구자와 상담하는 것이 좋습니다. 

However, as Silverman24 has argued, “qualitative research is not simply a set of techniques to be slotted into any given research problem.” To treat brief free-text responses appropriately, we offer three suggestions. First, in the case of a survey instrument that includes a few open-ended questions, researchers should conceptualize these data and their analysis a priori as an adjunct analysis to the primary survey research, not as a post hoc stand-alone piece of qualitative scholarship. Second, in the case of a study focused purposefully on brief responses to free-text items such as those found in many assessment instruments, researchers should ensure that the research question is focused and appropriate, and they should engage in analytical procedures that offer robust insights into the social phenomena being explored. Finally, to help ensure rigor, we suggest consulting with an experienced qualitative researcher who can both assist with study design and provide guidance as the analysis unfolds.

Acad Med. 2018 Mar;93(3):347-349. doi: 10.1097/ACM.0000000000002088.

교육자의 블루프린트: 설문 시행의 how-to 가이드(AEM Educ Train. 2023)
Educator's blueprint: A how-to guide on survey administration
Kathleen Y. Ogle MD1 | Jeffery Hill MD, MEd2 | Sally A. Santen MD, PhD2,3 | Michael Gottlieb MD4 | Anthony R. Artino Jr. PhD1 

서론
INTRODUCTION

설문조사 기반 의학교육 연구의 복잡성을 고려할 때, 이 시리즈의 의도는 학술 응급의학 내에서 설문조사 연구를 수행하는 과정을 단순화하는 것이었습니다.1, 2 우리의 목표는 설문조사 방법론에 대한 접근 방식을 개선하는 것이었으며, 이에 따라 의학교육 연구자들을 위한 지침으로 일련의 모범 사례 기사를 개발하고자 했습니다. 다른 논문에서는 설문조사 관리에 대해 간략하게 다루었지만, 본 논문에서는 각 유형의 관리 옵션의 문제점과 이점을 자세히 살펴봄으로써 다른 접근 방식을 제시합니다.3, 4 추적, 개인화, 설문조사 기간, 인센티브 사용, 응답자 참여와 관련된 이점과 과제에 대해 자세히 논의합니다. 
Given the complexity of survey-based medical education research, our intention with this series was to simplify the process of conducting survey research within academic emergency medicine.1, 2 Our goal was to improve the approach to survey methodology; as such, we sought to develop a series of best practices articles as a guide for medical education researchers. While other papers have briefly touched on survey administration, our paper offers a different approach, delving further into the challenges and benefits of each type of administration option.3, 4 We further discuss the benefits and challenges with respect to tracking, personalization, survey length, use of incentives, and engaging with respondents.

대상 모집단 샘플링
SAMPLING THE TARGET POPULATION

설문조사 관리 및 전달 방법을 고려할 때 연구자는 먼저 대상 모집단과 샘플링 프레임을 식별해야 합니다.5

• 대상 모집단은 연구자가 궁극적으로 기술하고 잠재적으로 추론하고자 하는 개인 그룹입니다.
• 반면에 샘플링 프레임은 표본을 추출하는 그룹 또는 목록입니다.

완벽한 세계에서는 샘플링 프레임이 대상 모집단과 완벽하게 일치하지만 실제로는 거의 발생하지 않습니다. 예를 들어, 대상 모집단은 ACGME 인증 프로그램의 모든 응급의학 핵심 교수진일 수 있습니다. 이 대상 집단을 샘플링하기 위해 연구자는 응급의학과 레지던트 디렉터 협의회(CORD) 리스트서브를 사용할 수 있습니다. 모든 핵심 교수진이 리스트서브에 가입하지 않을 수 있으므로 이는 대상 집단에 대한 완벽한 근사치는 아니지만, 연구자는 리스트서브가 대상 집단에 근접한 근사치라고 합리적으로 주장할 수 있습니다. 
When considering survey administration and delivery methods, researchers must first identify their target population as well as their sampling frame.5 

• The target population is the group of individuals the researcher ultimately aims to describe and potentially make inferences about.
• The sampling frame, on the other hand, is the group or list from which the sample is drawn.

In a perfect world, the sampling frame would perfectly match the target population; but in practice, this seldom occurs. For example, the target population might be all the emergency medicine core faculty in ACGME-accredited programs. To sample this target population, the researcher might use the Council of Residency Directors in Emergency Medicine (CORD) listserv. This is not a perfect approximation of the target population, since all core faculty may not subscribe to the listserv; however, the researcher could make a reasoned argument that the listserv is a close approximation of the target population.

가장 적절한 대상 집단과 해당 샘플링 프레임을 결정하기 위해 연구자는 설문조사의 목적과 실용적인 문제를 모두 고려하여 대표성 있는 응답과 실현 가능성을 보장하기 위해 적절한 범위의 균형을 맞춰야 합니다. 또 다른 중요한 요소는 설문조사의 응답률입니다. 응답률은 잠재적 설문 응답자 중 완료된 설문조사에 응답한 비율 또는 백분율을 의미합니다. 다시 말해, 응답률은 설문조사에 응답한 개인 수를 전체 잠재 응답자 수로 나눈 비율입니다. 최종 응답률은 개방형 응답과 폐쇄형 응답의 수(즉, 응답자는 일반적으로 긴 개방형 항목을 작성하는 것을 좋아하지 않으므로 응답률이 떨어질 수 있음)를 비롯한 여러 가지 중요한 요소의 영향을 받을 수 있습니다.6, 7 응답률이 중요한 이유는 충분한 사람이 설문조사를 완료하지 않으면 해당 데이터가 전체 그룹의 태도, 의견, 신념 또는 행동을 대표하지 못할 수 있으므로(즉, 무응답 편향이 존재할 수 있음) 응답률이 중요해집니다. 따라서 대표성 있는 표본 추출은 의미 있는 추론을 할 수 있을 만큼 충분한 표본을 확보하는 데 달려 있으며, 응답률은 표본의 대표성을 파악하는 데 필요한 정보의 일부(전부는 아님)를 제공합니다. 
To determine the most appropriate target population and corresponding sampling frame, the researcher must consider both the objectives of the survey and practical issues to balance appropriate coverage to ensure representative responses and feasibility. Another important factor is the survey's response rate. Response rate refers to the fraction or percentage of potential survey respondents who return completed surveys. Stated another way, response rate is the ratio of the number of individuals who responded to a survey divided by the number of total potential respondents. The ultimate response rate can be affected by a number of important factors, including, among other things, the number of open-ended versus closed responses (i.e., respondents generally do not like completing long, open-ended items, and so response rates can suffer).6, 7 Response rates are important because if a survey is not completed by enough people, then that data may not be representative of the attitudes, opinions, beliefs, or behaviors of the entire group (i.e., nonresponse bias may exist). Therefore, representative sampling depends on having a large enough sample to make meaningful inferences, and the response rate provides some (but not all) of the information needed to know how representative the sample is likely to be.

일반적으로 연구자는 연구의 상황적 한계(예: 대상 인구의 전체 규모 및 연구의 재정적 제약)를 고려하여 가능한 한 가장 높은 응답률을 달성하는 것을 목표로 해야 합니다. 또한 일부 학술지에서는 최소 응답률을 요구한다는 사실을 알아두는 것이 중요합니다. 예를 들어, JAMA는 설문조사 연구에 "일반적으로 60% 이상의 충분한 응답률을 요구합니다."8 즉, 표본 규모에 관계없이(특히 응답률이 낮은 경우) 연구자는 웨이브 또는 후속 분석과 같은 기법을 사용하여 잠재적인 무응답 편향이 있는지 평가해야 합니다. 응답률과 무응답 편향에 대한 보다 자세한 설명은 AMEE 가이드 102번: 설문조사에서 응답률 향상 및 무응답 편향 평가.6을 참조하시기 바랍니다.
As a rule, researchers should aim to achieve the highest response rate possible, given their study's contextual limitations (e.g., the overall size of the target population and the study's financial constraints). In addition, it is important to know that some journals require a minimum response rate. For example, JAMA asks that survey studies “have sufficient response rates, generally ≥60%.”8 That said, regardless of the sample size (but especially when response rates are low), researchers should assess for potential nonresponse bias using techniques such as wave or follow-up analysis. For a more complete description of response rates and nonresponse bias, interested readers are directed to AMEE Guide No. 102: Improving Response Rates and Evaluating Nonresponse Bias in Surveys.6

설문조사 관리 매체
MEDIUM OF SURVEY ADMINISTRATION

대상 인구와 샘플링 프레임이 결정되면 연구자는 가능한 한 높은 응답률을 보장하기 위해 잠재적 응답자에게 설문조사를 시행하는 가장 좋은 방법을 고려해야 합니다. 이 결정에는 예산 제약과 기관의 자원도 고려해야 합니다. 설문조사를 관리하거나 배포하는 방법에는 대면 또는 우편을 통한 종이 설문조사, 이메일 또는 스마트폰(모바일 앱 또는 문자)을 통한 전자 설문조사, 대면 또는 가상 회의, 소셜 미디어 등 다양한 방법이 있습니다.5-7, 9, 10 궁극적으로 복합적인 접근 방식이 일반적으로 가장 높은 응답률을 제공합니다.11 이러한 다양한 관리 접근 방식의 장점, 문제점 및 기타 고려 사항은 아래에 설명되어 있습니다(이러한 요소에 대한 요약은 표 1 참조).

Once the target population and sampling frame have been determined, researchers should consider the best way or ways to administer the survey to potential respondents to ensure the highest possible response rate. This decision should also factor in budgetary constraints and institutional resources. There are multiple ways to administer or distribute a survey: paper surveys, in person or via postal mail; electronic surveys, by email or smartphone (mobile app or text); audience response systems, in-person or virtual meetings; and social media.5-7, 9, 10 Ultimately, a multimodal approach will typically yield the highest response rate.11 Some of the benefits, challenges, and other considerations with these various administration approaches are described below (see Table 1 for a summary of these components).

TABLE 1. Survey delivery tool.

종이 설문조사
Hard-copy surveys

직접 대면하거나 우편으로 전달하는 종이 설문조사는 웹 기반 또는 다른 유형의 전자 설문조사에 비해 몇 가지 장점이 있습니다. 종이 설문조사는 응답자에게 촉각적 동기를 부여하여 응답률을 높일 수 있습니다.7 또한 대면 종이 설문조사를 통해 연구자는 비교적 단기간에 대규모 표본 프레임에 쉽게 도달할 수 있습니다(예: 교실에서 학생을 대상으로 대면 설문조사를 실시하는 경우). 또한 종이 설문조사는 응답자가 전화 설문조사에서 같은 질문을 받는 것과 달리 질문한 내용을 시각적으로 더 잘 검토할 수 있습니다. 
Paper surveys, administered in person or less commonly delivered by postal mail, have several advantages over web-based or other types of electronic surveys. Hard-copy surveys provide respondents with a tactile motivator, which may increase response rates.7 In-person paper surveys can also allow researchers to easily reach a large sampling frame in a relatively short period of time (e.g., an in-person survey delivered to a captive audience of students in a classroom). Moreover, a paper survey may allow respondents to better review a visual representation of queried content, as opposed to being asked such questions on a phone survey.

대면 또는 우편 종이 설문조사 사용 시 한 가지 문제점은 응답자가 기밀 유지에 대해 우려하여 민감한 질문에 응답하거나 정확한 답변을 제공하지 않을 수 있다는 것입니다.5 또한 대면 또는 우편 종이 설문조사는 설문지를 인쇄하고 우편으로 발송한 다음 통계 소프트웨어 또는 스프레드시트에 데이터를 입력하는 데 드는 간접 비용이 더 많이 들 수 있습니다. 스캔 가능한 양식과 함께 종이 설문조사를 사용하면 데이터 입력 비용을 줄일 수 있지만, 응답자 입장에서는 '버블 시트'에 응답하는 데 약간의 복잡성이 추가될 수 있습니다. 
One challenge with using in-person or mailed paper surveys is that respondents may be concerned about confidentiality and thus less likely to respond or provide accurate responses to sensitive questions.5 Further, in-person or mailed paper surveys can have higher overhead costs associated with printing the surveys, mailing them, and then entering the data into statistical software or a spreadsheet. Using paper surveys with scannable forms can reduce data entry expense but can also add a small layer of complexity in answering on a “bubble sheet” (from the respondent's perspective).

전자 설문조사
Electronic surveys

전자 설문조사 사용을 고려하는 경우, 연구자가 선택할 수 있는 설문조사 플랫폼은 다양합니다(예: SurveyMonkey, Google 설문조사, Qualtrics, REDCap). 연구자는 이러한 리소스를 사용하기 위해 독립적으로 자금을 투자하기 전에 기관이 후원하는 웹 기반 옵션을 탐색할 수 있습니다(구체적인 예는 표 2에서 확인할 수 있습니다). 전자적 관리 방식에는 플랫폼에 통합된 몇 가지 장점과 기능이 있습니다. 
If considering the use of electronic surveys, researchers have a multitude of survey platforms to choose from (e.g., SurveyMonkey, Google Forms, Qualtrics, REDCap). Researchers might explore institution-sponsored, web-based options before independently investing funds in the use of these resources (specific examples can be found in Table 2). Electronic modes of administration have several benefits and features incorporated into the platform.

TABLE 2. Digital survey platforms.

이러한 각 도구에는 다양한 전달 옵션과 기타 고려 사항이 있습니다:

전자 설문조사와 그 결과 보고에는 몇 가지 어려움과 특별한 고려사항이 있습니다.13 개별 이메일을 사용하는 경우, 연구자는 설문조사가 완전한 익명(즉, 개인화된 데이터가 수집되지 않음)이 아닌 기밀(즉, 비식별화) 설문조사인지 여부를 명시해야 합니다. Qualtrics, SurveyMonkey와 같은 대부분의 전자 설문조사 도구에는 다양한 유형의 기밀 또는 익명 데이터 수집을 허용하는 시스템 설정이 있습니다. 설문조사가 진정으로 익명인 경우(즉, 응답을 개인의 개인 정보와 연결할 방법이 없는 경우) 이를 명시적으로 명시해야 하기 때문에 이 구분이 중요합니다. 그러나 실제로는 설문조사 데이터를 다른 결과와 연결하기 위한 목적으로 개인 정보를 수집하는 경우가 많습니다(예: 의대생의 코스에 대한 의견을 코스 성적과 연결). 이러한 접근 방식은 응답하지 않은 응답자에게 다시 연락하거나 후속 조치를 취하는 데도 용이합니다.  
There are several challenges and special considerations with electronic surveys and in reporting of those results.13 If using individual emails, researchers should specify whether a survey is confidential (i.e., deidentified) as opposed to truly anonymous (i.e., no personalized data is collected). Most electronic survey tools, like Qualtrics and SurveyMonkey, have system settings that allow for various types of confidential or anonymous data collection. This distinction is key because if the survey is truly anonymous (i.e., there is no way to link responses to an individual's personal information), then this should be explicitly stated. In practice, however, personal information is often collected for the purpose of linking survey data to other outcomes (e.g., linking a medical student's opinions on a course to their course grades). Such an approach also facilitates recontact or follow-up for nonresponders.

소셜 미디어와 대규모 리스트서브를 통해 설문조사를 배포할 때 가장 큰 어려움 중 하나는 실제 표본 프레임이나 응답률을 추적할 수 없어 대표성이 제한되고 설문조사 결과를 게시하기 어려울 수 있다는 점입니다. 또한 이메일을 통해 배포되는 설문조사의 경우 분모가 불분명하기 때문에 응답률을 계산하기 어려울 수 있습니다. 어떤 연구자들은 이메일을 보낸 횟수를 계산하고, 어떤 연구자들은 이메일을 열어본 횟수를 계산하며, 또 다른 연구자들은 이메일에서 클릭한 링크 수를 분모로 계산합니다. 어떤 방법을 사용하든 연구자는 응답률과 설문조사 완료율을 계산한 방법을 정확히 설명하는 것이 중요합니다.14 
One of the major challenges of disseminating a survey by social media and large listservs is the inability to track the true sampling frame or response rate, which can limit representativeness and result in survey results that are difficult to publish. What is more, it can be difficult to calculate a response rate for surveys that are distributed via email because the denominator is sometimes unclear. Some researchers count emails sent, and others count emails opened, while still others count the number of links clicked in an email as the denominator. Regardless of the method used, it is important for researchers to describe exactly how they have calculated their response rate and surveys completed.14

또한 연구자는 샘플링 프레임에 속하지 않는 응답자의 응답을 샘플링하게 될 수도 있습니다. 따라서 이 매체가 특정 연구에 적합한 이유(예: 특수 집단에 대한 접근성)를 설명하고 응답자의 대표성을 적절히 확보하는 것이 중요합니다. 마찬가지로 리스트서버를 통해 이메일에 링크를 넣으면 특히 리스트서버가 오래된 주소로 채워진 경우 응답률을 파악하기 어렵습니다. 또한 리스트서브에는 의도한 표본에 포함되지 않은 개인이 포함될 수 있습니다(예: CORD 리스트서브에는 프로그램 디렉터만 있는 것이 아니라 그 이상의 사람들이 포함됨). 
Further, researchers may end up sampling responses from respondents who do not fall in their sampling frame. Therefore, it is important to demonstrate why this medium is appropriate for a specific study (e.g., access to special populations) and ensure adequate representativeness of the respondents. Similarly, placing a link in an email via listserv also makes it difficult to determine response rate, especially if the listserv is populated with outdated addresses. Additionally, the listserv may include individuals who are not part of the intended sample (e.g., the CORD listserv has more than just program directors).

참여자 참여에 영향을 미치는 요인
FACTORS IMPACTING PARTICIPANT ENGAGEMENT

위에서 설명한 바와 같이, 대부분의 연구자들은 무응답 편향을 줄이기 위해 높은 응답률을 얻기 위해 노력합니다. 따라서 연구자는 응답자의 동기를 부여하고 설문조사에 참여하도록 장려하는 전략을 사용할 수 있고 또 사용해야 합니다. 다음은 응답자의 동기를 강화하고 전반적인 응답률을 향상시키는 데 사용할 수 있는 몇 가지 전략입니다. 
As described above, most researchers strive to obtain a high response rate in an effort to reduce nonresponse bias. As such, researchers can and should use strategies to encourage respondent motivation and participation in the survey. The following are several strategies that can be used to bolster respondent motivation and improve overall response rates.

추적
Tracking

설문조사 전달 방법을 선택할 때 연구자는 수신 및 응답을 추적할 수 있는 기능을 고려해야 합니다. 이를 통해 연구팀은 응답하지 않은 참가자에게 리마인더를 보낼 수 있습니다. 대부분의 경우 설문조사 요청에 응답하는 대부분의 참가자는 참여 초대를 받은 후 처음 2주 이내에 응답한다는 점을 기억하는 것이 중요합니다.7, 9 
In selecting a survey delivery method, researchers should consider their ability to track receipt and responses. Doing so allows the research team to send reminders to nonresponding participants. It is important to remember that, in most cases, many participants who respond to a survey request will do so within the first 2 weeks of an invitation to participate.7, 9

개인화
Personalization

대화식 인사말을 사용하여 설문조사 초대를 개인화하면 응답자에게 긍정적인 동기 부여 효과를 줄 수 있으며, 특히 응답자가 아는 사람이 초대를 보낸 경우 더욱 그렇습니다. 경우에 따라서는 영향력이 있거나 기존 관계를 맺고 있는 사람이 수신 설문조사에 대한 사전 주석을 달면 긍정적인 영향을 미칠 수 있습니다. 설문조사가 연구에 사용되는 경우 이러한 접근 방식은 현지 기관 심의위원회의 검토가 필요합니다. 
Personalizing survey invitations using conversational salutations can have a positive motivational effect on respondents, particularly if the invitation also comes from an individual the respondent knows. In some cases, a prenotification of an incoming survey, delivered by a person who has either influence or an existing relationship, may have a positive impact. If the survey is being used for research, then such an approach will require review by the local institutional review board.

설문조사 길이
Survey length

설문조사 길이는 참여자의 참여를 결정하는 데 가장 큰 영향을 미치는 요소 중 하나입니다. 응답률을 높이는 방법에 대한 최근 메타분석에서 Edwards와 동료들은 짧은 설문조사를 사용할 때(긴 도구에 비해) 응답률이 거의 두 배나 높다는 사실을 발견했습니다.9 또한 설문조사 초대장에 "간단한" 또는 "짧은"과 같은 한정어를 제공하는 것이 설문조사에 질문 수를 명시하거나 설문조사 완료에 필요한 시간을 추정하는 것보다 더 도움이 될 수 있습니다.5-7, 17 
Survey length is one of the most influential factors in determining participant engagement. In a recent meta-analysis of methods to increase response rates, Edwards and colleagues found that responses were almost twice as likely to occur when shorter surveys were used (as compared to longer tools).9 In addition, providing a qualifier such as “brief” or “short” in the survey invitation may be more helpful than specifying the number of questions on the survey or estimating the amount of time required to complete the survey.5-7, 17

인센티브
Incentives

현금, 선물 또는 기프트 카드 형태의 인센티브는 연구자들에 의해 다양한 성공 사례와 함께 널리 사용되고 있습니다. 에드워즈 등은 메타분석을 통해 금전적 인센티브를 사용할 경우 응답 확률이 두 배 이상 증가했으며, 이러한 인센티브가 응답에 조건이 없는 경우 그 확률이 다시 두 배 가까이 증가한다는 사실을 발견했습니다.15, 16, 18 즉, 가장 효과적인 인센티브는 조건이나 조건 없이 미리 제공되는 인센티브입니다. 이러한 무조건적인 접근 방식은 연구자와 응답자 사이에 "사회적 계약"을 맺는 효과를 가져옵니다. 즉, 연구자가 잠재적 응답자에게 아무런 조건 없이 돈을 주었기 때문에 응답자는 설문을 완료할 필요가 없더라도 이에 보답하고 설문을 완료해야 할 의무를 느낍니다.18, 19 금전적 인센티브(특히 모든 사람에게 조건 없이 선지급하는 인센티브)를 제공하는 것이 설문조사 완료를 요구하는 인센티브나 추첨 기반 인센티브(예: "참여하면 추첨에 응모하여 경품을 드립니다")보다 훨씬 효과적인 접근 방식인 경향이 있습니다. 
Incentives in the form of cash, a gift, or a gift card are widely used by researchers with varying success. In their meta-analysis, Edwards et al. found that the odds of response were more than doubled when a monetary incentive was used, and those odds nearly doubled again when such incentives were not conditional on response.15, 16, 18 In other words, the most effective incentives are those that are given up front with no conditions or strings attached. This unconditional approach has the effect of creating a “social contract” between the researcher and the respondent. That is, the researcher has given the potential respondent money with no conditions attached, and so the respondent feels obligated to return the favor and complete the survey, even though completion is not required.18, 19 Providing monetary incentives (and especially up-front incentives for everyone, with no conditions) tends to be a much more efficacious approach than incentives that require survey completion or lottery-based incentives (e.g., “if you participate, you will be entered into a lottery to potentially win a prize”).

참여자의 관심도
Participant interest

흥미로운 설문조사는 흥미롭지 않은 설문조사보다 높은 응답률을 보입니다. 실제로 에드워즈와 동료들15은 참가자의 흥미를 염두에 두고 설계된 설문조사의 응답률이 두 배 이상 높다는 사실을 발견했습니다.9 연구자는 잠재적 응답자의 흥미를 끌 수 있는 고품질 설문조사 도구를 만들어 이 결과를 활용할 수 있습니다. 또한 연구자는 광범위한 연구 활동에서 설문조사의 중요성을 명시적으로 언급하고 응답자에게 이 작업이 관심 있는 주제 영역과 어떻게 연결될 수 있는지 설명할 수 있습니다. 반면에 민감한 질문을 하는 설문조사는 응답자 익명성을 약속하더라도 응답 편향이 발생하고 응답률이 훨씬 낮은 경향이 있습니다.9
Interesting surveys garner higher response rates than uninteresting surveys. In fact, Edwards and colleagues15 found that surveys designed with the participant's interest in mind were more than twice as likely to be returned.9 Researchers can use this finding to their advantage by creating high-quality survey tools that are interesting to potential respondents. Researchers can also explicitly address the importance of the survey to their broader research efforts and tell respondents how this work might link to topic areas of interest to them. On the other hand, surveys that ask sensitive questions tend to create response bias and have much lower response rates, even when respondent anonymity is promised.9

커뮤니케이션 및 재연락 프로세스
COMMUNICATION AND RECONTACT PROCESSES

설문조사 관리와 관련하여 응답자와 소통할 때는 신중한 생각과 고려가 필요합니다. 처음부터 설문조사 초대장에는 설문조사와 그 목적에 대한 일관되고 직관적인 설명이 포함되어야 합니다. 연구자는 설문조사와 개별 참가자와의 관련성을 명확하게 설명해야 합니다(위에서 설명한 대로 참가자의 관심을 끌기 위해). 모든 응답자에게 가장 효과적인 특정 초대 시기는 없지만, 초기 초대와 후속 초대 시기를 달리하면varying 응답률 향상에 도움이 될 수 있습니다. 또한, 문헌에 따르면 전체 응답률을 높이려면 최소 3번의 시도(또는 리마인더)를 해야 한다고 합니다.4, 15, 16 Willis 등.20 또한 잠재적 응답자에게 3번 이상의 요청을 보낸 후 응답률이 크게 개선되지 않는 것으로 나타났습니다.15, 20, 21 
Communicating with respondents surrounding survey administration requires careful thought and consideration. From the outset, the invitation must have a coherent and straightforward description of the survey and its purpose. Researchers should articulate the relevance of the survey study to the individual participant (in the hopes of piquing their interest as discussed above). Although there is no specific invitation timing that tends to work best for all respondents, varying the time of delivery of initial and follow-up invitations may help to improve response rates. Moreover, the literature suggests that a minimum of three attempts (or reminders) should be made to improve the overall response rate.4, 15, 16 Willis et al.20 also found no significant improvement in response rates after more than three requests are sent to potential respondents.15, 20, 21

결론
CONCLUSIONS

연구자는 설문조사 관리에 영향을 미치는 요소를 고려해야 합니다. 이러한 요소에는 연구자의 대상 모집단과 표본 추출 프레임, 각각의 장점과 문제점을 고려하여 선택한 관리 방식, 응답자 참여에 영향을 미치는 요소, 마지막으로 커뮤니케이션 및 후속 조치 방식이 포함됩니다. 연구자가 연구 결과를 대상 집단에 적용하려면 샘플링 프레임이 해당 집단을 대표할 수 있어야 합니다. 또한 참여도와 의미 있는 응답을 높이려면 연구가 대상 집단과 관련이 있고 흥미로운 것이면 도움이 됩니다. 선택한 관리 모드에 관계없이 멀티모달 접근 방식이 응답률이 가장 높은 경우가 많으므로 권장됩니다. 또한 개인화, 인센티브 사용, 잠재적 응답자와의 빈번한 고품질 커뮤니케이션도 응답률을 향상시킬 수 있습니다. 결국, 연구자는 대상 집단에 대한 대표 데이터를 수집하기 위해 의도적으로 노력해야 하며, 의도한 추론을 뒷받침하는 응답을 얻기 위해 신중한 선택을 해야 합니다.  

Researchers should consider factors that influence survey administration. These factors include the researcher's target population and sampling frame; their selected modality for administration, taking into account the respective benefits and challenges of each; factors that influence respondent participation; and finally, modes of communication and follow-up. For researchers to apply their results to the target population, the sampling frame should be representative of that group. Further, to enhance engagement and meaningful responses, it is helpful if the research is relevant and interesting to the target population. Regardless of the chosen administration mode, a multimodal approach is recommended, as it often results in the highest response rates. In addition, personalization, the use of incentives, and frequent, high-quality communication with potential respondents can also improve response rates. In the end, researchers should be intentional about collecting representative data about their target population and make deliberate choices when it comes to garnering responses in support of the inferences they intend to make.

Abstract

교육자의 블루프린트: 설문 설계의 how-to 가이드 (AEM Educ Train. 2022)
Educator's blueprint: A how-to guide for survey design
Jeffery Hill MD MEd1 | Kathleen Ogle MD2 | Sally A. Santen MD, PhD1,3 | Michael Gottlieb MD4 | Anthony R. Artino Jr PhD2 

설문조사 배경
BACKGROUND

현대 사회는 설문조사로 가득합니다. 휴대폰의 팝업("이 앱을 어떻게 즐기고 계십니까?")부터 의료 서비스 제공자 방문 후의 Press Ganey 설문조사 또는 연구 프로젝트의 일부로 사용되는 설문조사에 이르기까지, 설문조사에 참여하지 않는 날은 상상하기 어렵습니다. 다른 평가 도구와 마찬가지로 설문조사는 고부담 환경과 저부담 환경 모두에서 사용할 수 있습니다. 연구비 지원 연구와 같이 위험도가 높은 환경에서 설문조사를 사용할 경우, 연구자는 설문조사 점수와 그 용도에 대한 신뢰성과 타당성 증거를 수집해야 하는 부담이 더 큽니다. 이 백서 시리즈에서는 주로 연구 목적으로 사용되는 설문조사에 초점을 맞추어 설문조사 개발 및 시행의 모범 사례에 대해 논의할 것입니다. 
The modern world is replete with surveys. From a pop-up on our phone (“How are you enjoying this app?”) to a Press Ganey survey after a visit to a health care provider or a survey used as part of a research project, it is difficult to imagine a day passing when you are not asked to complete a survey. Like any other assessment tool, surveys can be used in both high-stakes and low-stakes settings. When used in higher-stakes environments, such as a grant-funded research study, there is a greater burden on the researcher to ensure they have collected reliability and validity evidence for the survey scores and their intended use. In this series of papers, we will discuss the best practices in survey development and implementation, focusing primarily on surveys used for research purposes.

설문조사는 의학 교육에서 일반적으로 사용되지만, 단일 설문조사 설계 표준은 없습니다. 대신 설문조사 설계자는 수십 년에 걸친 경험적 증거에 기반한 증거에 기반한 모범 사례를 사용하여 설문조사를 설계해야 합니다. 또한, 경험적 증거가 제한적이거나 상충되는 부분이 많은 경우, 설계자는 이론적 지침을 적용하여 설문조사 설계 노력을 안내해야 합니다. 이 첫 번째 논문에서는 다음 사항을 논의합니다:

• (1) 측정 도구로서의 설문조사 선택,
• (2) 콘텐츠 개발에 대한 의도적인 접근 방식,
• (3) 질문 구성 및 형식에 대한 증거에 기반한 접근 방식

Although surveys are commonly employed in medical education, there is no single survey design standard. Instead, survey designers must use evidence-informed best practices, which are based on decades of empirical evidence, to guide their efforts. Furthermore, in the many places where the empirical evidence is limited or conflicting, designers should apply theoretical guidance to guide their survey design efforts. In this first paper, we discuss:

• (1) the selection of a survey as a measurement tool,
• (2) an intentional approach to content development, and
• (3) an evidence-informed approach to question formulation and formatting.

향후 백서에서는 신뢰성 및 타당성 증거 수집, 설문조사 관리, 보고 모범 사례에 대해 다룰 예정입니다. 
Future papers will cover gathering reliability and validity evidence, survey administration, and best practices for reporting.

설문조사가 적합한 도구인가요?
IS A SURVEY THE RIGHT TOOL?

교육자, 연구자 또는 프로그램 평가자가 가장 먼저 해야 할 가장 중요한 질문은 다음과 같습니다: "설문조사가 내가 관심 있는 변수를 측정하고 질문에 답하는 데 적합한 도구인가?"입니다. 대부분의 경우 이 질문에 대한 답은 "아니오"이며, 설계자는 관심 있는 결과를 다른 방법으로 측정하는 것이 가장 좋다는 것을 알게 될 수 있습니다. 예를 들어,

• 짧은 시간 내에 제공되는 프로시져 교육 비디오의 효과를 평가하는 연구는 프로시져 효과의 객관적인 측정을 통해 가장 잘 수행될 수 있습니다.1
• 또는 시뮬레이션 임상 환경에서 다양한 유형의 스트레스 요인을 조사하는 연구에서는 스트레스 요인에 대한 객관적인 생리적 반응을 평가하기 위해 심박수 변동성을 사용하고, 스트레스에 대한 교육생의 주관적인 인식을 평가하기 위해 설문조사 도구를 사용할 수 있습니다.2
• 또한 질적 방법론은 의사의 수치심과 같이 잘 이해되지 않거나 제대로 정의되지 않은 개념을 심층적으로 탐구하는 데 이상적인 경우가 많습니다.3

궁극적으로 예비 설문조사 설계자는 설문조사를 연구 도구로 사용할 때의 강점과 한계를 신중하게 고려해야 합니다.  
For the educator, researcher, or program evaluator, the first and often most important question to ask is the following: “Is a survey the right tool to measure my variables of interest and answer my question?” In many cases, the answer to this question is “no,” and the designer may find that their outcomes of interest are best measured in other ways. For example,

• a study evaluating the effectiveness of a short, just-in-time procedural education video is likely best accomplished through objective measures of procedural effectiveness.1 
• Alternatively, a study examining different types of stressors in a simulated clinical environment may use heart rate variability to assess objective physiologic response to stressors and a survey instrument to assess trainees' subjective perceptions of stress.2 
• Additionally, qualitative methodologies are often ideally suited to deeply explore poorly understood or poorly defined concepts, such as physician shame.3 

Ultimately, the prospective survey designer should carefully consider the strengths and limitations of using a survey as a research tool.

설문조사는 질문을 사용하여 인구의 일부 측면에 대한 통계 정보를 수집하는 설명적 도구입니다.4 설문조사는 관찰할 수 없는 인간 현상에 대한 데이터를 수집하는 데 가장 적합합니다. 여기에는 태도, 신념, 의견뿐만 아니라 측정할 수 없거나 측정하기 매우 어려운 행동 및 행위에 대한 보고도 포함될 수 있습니다.5 교육 방법이 정의된 교육 목표와 논리적으로 일치해야 하는 교육과정 개발 과정과 유사하게, 설문조사 사용은 질문하는 기본 질문과 연구하는 변수 또는 결과에 논리적으로 일치해야 합니다.6 또한 연구자는 논문에서 이러한 측정의 근거와 설문조사의 후속 사용(또는 용도)을 명확하게 설명해야 합니다.4, 5
Surveys are descriptive tools that employ questions to collect statistical information on some facet of a population.4 Surveys are best suited for collecting data on nonobservable human phenomena. These include attitudes, beliefs, and opinions but can also include reports of behaviors and actions that are otherwise unmeasurable (or very hard to measure).5 Similar to the process of curriculum development, where methods of teaching should logically align with the defined educational objectives, the use of a survey should logically align with the underlying questions being asked and the variables or outcomes being studied.6 What is more, researchers should clearly describe in their articles the rationale for those measures and the subsequent use (or uses) of a survey.4, 5

콘텐츠 개발
CONTENT DEVELOPMENT

고품질 설문조사는 엄격하게 개발된 평가 도구로, 제안된 용도를 뒷받침하는 타당도 증거가 있습니다. 타당도 근거에는 다양한 구성 요소가 있으며, 이에 대해서는 후속 백서에서 자세히 다룰 예정입니다. 설문조사에 대한 콘텐츠 타당도(타당도 증거의 한 원천)를 확립하는 것은 콘텐츠 개발에 대한 의도적이고 엄격한 접근 방식에서 시작됩니다. 이 과정은 교육자가 먼저 커리큘럼의 중요한 목표를 정의한 다음, 그 목표를 성공적으로 달성하기 위해 구체적인 학습 목표를 작성하는 커리큘럼 개발과 유사합니다. 설문조사 개발에서 설계자는 먼저 연구 또는 설문조사의 전반적인 목표(즉, 어떤 질문을 다루고 있으며 설문조사를 통해 어떤 변수를 측정할 것인가?)를 설정해야 합니다. 그런 다음 연구자는 전체 목표에 따라 평가할 연구 변수 또는 결과를 가장 잘 나타내는 구체적인 구인construct을 정의합니다.7 
High-quality surveys are rigorously developed assessment tools that have validity evidence in support of their proposed uses. There are various components of validity evidence, which we will cover in more detail in a subsequent paper. Establishing content validity (one source of validity evidence) for a survey begins with an intentional and rigorous approach to content development. The process is again similar to curriculum development where an educator first defines the overarching goal of a curriculum and then writes specific learning objectives, which build to the successful achievement of that goal. In survey development, the designer should first establish the overall goal of the study or survey (i.e., what question is being addressed and what variables are being measured with the survey?). Following that overall goal, the researcher then defines specific constructs that best represent the study variables or outcomes being assessed.7

예를 들어 가상 강의가 레지던트 교육에 미치는 영향을 조사하는 연구를 예로 들어 보겠습니다. 이러한 연구의 경우 연구자는 먼저 설문조사의 전반적인 목표를 파악해야 합니다(예: "이 설문조사는 레지던트 교육의 학습 결과에 대한 화상 회의 소프트웨어의 인지된 효과를 측정할 것입니다"). 작업-기술 적합성, 인지 부하, 레지던트 건강(몇 가지 예만 들자면) 등 이러한 중요한 목표에 도움이 될 수 있는 여러 가지 구인이 있습니다. 이러한 구인construct은 예를 들어 화상 회의 소프트웨어의 특정 기능의 유용성, 가정 환경의 산만함, 거주자의 태도 등을 평가하는 데 사용되는 개별 설문조사 항목의 개발을 안내합니다. 
Take, for example, a study examining the impact of virtual didactics on resident education. For such a study, the researcher should first identify the overall goal for their survey (e.g., “This survey will measure the perceived effects of video conferencing software for didactic teaching on learning outcomes in resident education”). There are a number of constructs that could feed into that overarching goal, including task-technology fit, cognitive load, and resident wellness (to name just a few). These constructs then guide the development of individual survey items that are used to assess, for example, the utility of specific features of the video conferencing software, distractions in the home environment, and resident attitudes.

목표와 구인을 정의하는 것은 상세한 문헌 검토로 시작하여 이전 작업에서 유사하거나 관련된 변수를 평가하는 데 사용된 이전에 발표된 설문조사를 식별하는 반복적인 프로세스입니다. 연구 목적 또는 연구 질문의 요구사항과 완벽하게 일치하는 설문조사를 찾기란 쉽지 않지만, 이전 설문조사에서 연구의 일부 측면 및/또는 관심 있는 구성을 다뤘을 가능성이 있습니다. 연구자는 강력한 타당도 및 신뢰도 증거를 보고하는 출판된 도구를 찾는 것이 이상적이지만, 많은 출판된 설문조사 도구가 이러한 증거를 적절히 설명하지 못한다는 점을 이해해야 합니다.6 또한 연구자는 새로운 모집단을 대상으로 설문조사를 사용하는 등 기존 설문조사를 변경하면 타당도 논거와 도구가 여전히 (새로운) 용도에 적합한지 여부가 달라질 수 있음을 인지해야 합니다.8 이러한 문헌 검토 과정과 설문조사 목표와 목적에 대한 사려 깊은 고찰은 연구자에게 평가할 구성요소에 대한 철저한 이해와 설문문항 구성 방법에 대한 아이디어를 남겨 주어야 합니다.
Defining the objectives and constructs is an iterative process that starts with a detailed literature review to identify any previously published surveys used to assess similar or related variables in prior work. While identifying a survey that perfectly matches the needs of the study purpose or research question is unlikely, it is possible that previous surveys have addressed some aspects of the study and/or constructs of interest. Researchers should ideally seek out published instruments that report robust validity and reliability evidence, understanding, however, that many published survey instruments fail to adequately describe this evidence.6 Researchers should be aware, as well, that any alterations to existing surveys, to include using the survey in a new population, may change the validity argument and whether or not the instrument is still appropriate for its (new) intended use.8 This process of literature review and thoughtful reflection on the goals and objectives of the survey should leave the researcher with a thorough understanding of the constructs to be assessed and ideas on how to frame their survey questions.

문항 작성을 위한 모범 사례
BEST PRACTICES FOR ITEM WRITING

설문조사가 가장 적합한 측정 도구라고 판단되면 개별 설문조사 항목의 구성construction을 시작할 수 있습니다. 각 문항을 개발하는 방식은 신중한 고려가 필요하며 문헌을 통해 정보를 얻어야 합니다. 인지 심리학, 여론 조사 등 다양한 분야에서 언급했듯이, 모든 응답자가 동일한 방식으로(그리고 설문조사 설계자가 의도한 방식으로) 해석할 수 있는 고품질 설문조사 문항을 작성하는 까다로운 과정을 성공적으로 수행하기 위해서는 여러 단계가 필요할 수 있습니다. 따라서 문항 작성에 모범 사례를 사용하면 궁극적으로 설문조사 설계자가 의미 있는 데이터를 수집할 수 있는 능력을 향상시킬 수 있습니다. 여기에서는 설문조사 개발을 구성 요소로 세분화하여 고품질의 설문조사 기반 학술활동을 지원하기 위한 몇 가지 구조화된 지침을 제안합니다(각 모범 사례의 예는 표 1 참조).
Once it is determined that a survey is the best measurement tool, construction of individual survey items can begin. The manner in which each item is developed requires deliberate consideration and should be informed by the literature. As noted in many different fields, including cognitive psychology and public opinion polling, multiple steps may be required to successfully navigate the challenging process of writing high-quality survey items that all respondents will interpret in the same way (and in the way the survey designer intended). Therefore, the use of best practices in item writing will ultimately enhance the survey designer's ability to capture meaningful data. Herein, we propose some structured guidelines to breakdown survey development into its building blocks, thereby supporting high-quality survey-based scholarship (see Table 1 for examples of each best practice).

표 1. 샘플 질문 및 권장 문구
TABLE 1. Sample questions and recommended phrasing

긍정적인 표현의 질문 작성
Write positively worded questions

개별 설문조사 문항은 일반적으로 긍정적인 표현을 사용해야 합니다. 긍정적인 표현의 문항을 사용하면 응답자가 이해하기 쉽기 때문에 응답 정확도가 향상됩니다. 반면, 부정적인 단어로 된 항목에서는 특히 응답자가 설문조사를 빨리 끝내려고 할 때(종종 그렇듯이) 실수로 '아닌', 'un-'과 같은 접두사나 단어를 놓치는 경우가 많습니다. 부정적으로 표현된 항목은 이해하는 데 더 많은 인지적 자원이 필요하므로 응답자가 쉽게 잘못 해석하여 부정확하거나 해석하기 어려운 데이터로 이어질 수 있습니다.9, 10
Framing of individual survey items should generally use positive language. The use of positively worded items enhances response accuracy because they are easier for respondents to comprehend. On the other hand, many respondents may inadvertently miss words and prefixes like “not” and “un-” in negatively worded items, particularly if respondents are trying to get through the survey quickly (which they often are). Negatively worded items require more cognitive resources to understand and, therefore, can be easily misinterpreted by respondents, leading to inaccurate or otherwise hard-to-interpret data.9, 10

동의/반대 옵션이 있는 문항보다는 질문과 항목별 응답 옵션을 사용합니다.
Use questions and item-specific response options rather than statements with agree/disagree options

설문조사는 여러 면에서 설문조사 설계자와 응답자 간의 대화와 같습니다. 동의/비동의 응답 옵션이 있는 문항을 사용하는 대신 질문을 하면 설문조사 대화가 보다 자연스럽게 흘러가 응답자의 이해도를 높이고 응답자가 질문하는 정보를 처리하는 데 도움이 될 수 있습니다.10 이 주제에 대한 최근의 종합적인 검토에 따르면 동의/비동의 응답 옵션이 있는 문항은 더 바람직하지 않은 결과(예: 묵인 및 해로운 응답 효과)와 관련이 있다고 합니다.11 부록 S1에 명시된 대로 저자들은 대부분의 목적에 동의/비동의 항목 대신 항목별 질문을 사용할 것을 설문조사 설계자에게 권장합니다. 
In many ways, a survey is like a conversation between the survey designer and their respondents. By asking questions rather than using statements with agree/disagree response options, a survey conversation can flow more naturally—which can enhance respondent comprehension and help respondents process the information being asked.10 A recent, comprehensive review of this topic reported that statements with agree/disagree response options are associated with more undesirable outcomes (e.g., acquiescence and deleterious response effects).11 The authors recommended that survey designers use item-specific questions instead of agree/disagree items for most purposes, as noted in Appendix S1.

이중 배럴 항목 피하기
Avoid double-barreled items

연구자들은 설문조사 길이를 줄이기 위해 여러 개의 질문을 하나로 합치려고 시도하는 경우가 많지만, 이러한 접근 방식은 종종 이중 배럴(또는 다중 배럴) 항목이 될 수 있다는 점에서 문제가 있습니다. 응답자는 특히 질문의 한 부분에 대해 한 가지 의견을 가지고 있고 다른 부분에 대해 다른 의견을 가지고 있는 경우 이중 배럴 항목에 응답하는 방법에 대해 혼란스러워할 수 있습니다. 응답자는 이 문제를 해결하기 위해 다양한 전략을 사용하지만, 중요한 점은 설문 설계자가 각 사람이 어떤 접근 방식을 취했는지 알 방법이 없어 개별 응답을 해석할 수 없게 된다는 것입니다. 이 문제에 직면했을 때 연구자는 세 가지 접근 방식을 취할 수 있습니다.9

• (1) 두 가지 아이디어 중 어떤 것이 가장 중요한지 고려하여 그 하나만 묻거나,
• (2) 두 개 이상의 개별 설문 항목을 만들거나,
• (3) 응답자가 더 복잡한 아이디어로 추상화하도록 유도하는 방식으로 질문의 두 측면을 결합하거나 

Researchers often attempt to combine multiple questions into one in an effort to decrease the length of a survey; however, this approach is problematic in that it often results in a double-barreled (or multibarreled) item. Respondents may be confused about how to respond to double-barreled items, particularly if they have one opinion about one part of the question and another opinion about the other. Respondents will use various strategies to handle this challenge, but the critical point is that the survey designer has no way of knowing which approach each person took, thereby making individual responses uninterpretable. When met with this challenge, researchers can take three different approaches:

• (1) consider which of the two ideas is most important and ask only that one,
• (2) create two or more separate survey items, or
• (3) combine the two facets of the question in a way that encourages respondents to abstract to a more complex idea.9 

예를 들어, 세 번째 접근방식의 경우 "환자의 다양한 의사소통 스타일을 식별하고 수용하는 데 얼마나 능숙합니까?"라는 이중 배럴 질문은 "환자의 다양한 의사소통 스타일에 적응하는 데 얼마나 능숙합니까?"라는 식으로 추상화할 수 있습니다. 이 세 가지 접근 방식 중 하나를 취함으로써 디자이너는 응답자가 서로 연결될 수도 있고 연결되지 않을 수도 있는 아이디어 모음보다는 개별 아이디어에 집중하고 더 쉽게 이해할 수 있도록 도울 수 있습니다. 
In the latter case, for example, the double-barreled question “How skilled are you at identifying and accommodating your patients' different communication styles?” could be abstracted to something like “How skilled are you at adapting to patients' different communication styles?” By taking one of these three approaches, designers can help their respondents focus on and more easily comprehend individual ideas, rather than collections of ideas which may or may not tie together.

적절한 수의 응답 옵션 선택
Choose an appropriate number of response options

주관식 설문조사 항목의 응답 옵션 수는 응답의 신뢰도에 영향을 미칠 수 있으므로 연구자는 선택한 옵션의 수를 신중하게 고려해야 합니다. 대부분의 경우, 5~7개의 응답 옵션이 폐쇄형 설문조사 항목에 적합한 경우가 많습니다.12

• 단극적인 구성 요소(예: "전혀 없다"에서 "거의 항상"로 변하는 행동의 빈도와 같이 0에서 더 큰 숫자로 변하는 것)를 정량화하려는 항목의 경우, 응답 옵션이 5개이면 충분한 경우가 많습니다. 반면에
• 양극성이 강한 구성 요소를 평가하려는 항목(예: 태도처럼 부정적인 양에서 긍정적인 양으로 변화하는 항목)의 경우 7개의 응답 옵션이 가장 이상적입니다. 7개 옵션은 부정적인 옵션 3개, 긍정적인 옵션 3개, 중간에 중립적인 옵션 1개를 허용합니다12(표 1의 몇 가지 예 참조).

일반적으로 응답 옵션이 5개 미만이면 설문조사 점수의 신뢰도가 떨어지고, 7개 이상이면 일반적으로 신뢰도가 향상되지 않으며 응답자에게 과도한 부담을 줄 수 있습니다.10 
Since the number of response options in a closed-ended survey item may impact the reliability of the responses, researchers should carefully consider the number of options selected. For most purposes, five to seven response options is often the sweet spot for closed-ended survey items.12 

• For items which seek to quantify constructs that are unipolar (i.e., things that go from zero to a larger number, like the frequency of a behavior that goes from “never” to “almost all the time”), five response options is often adequate.
• On the other hand, for items that seek to assess constructs that are more bipolar (i.e., things that go from a negative amount to a positive amount, like an attitude), seven response options is often ideal. Seven options allow for three negative options, three positive options, and one neutral option in the middle12 (see several examples in Table 1).

As a general rule, fewer than five response options is likely to decrease the reliability of survey scores and more than seven typically does not enhance reliability and may overburden respondents.10

또 다른 고려 사항은 홀수 또는 짝수 응답을 사용할지 여부입니다. 설문조사 설계자는 종종 이 결정에 대해 몇 시간 동안 고민하지만, 제한된 경험적 증거는 이 선택의 결과가 미미하다는 것을 시사합니다.9 즉, 

• 설문조사 항목이 중립점을 갖는 것이 합리적이라면 응답 옵션의 수가 홀수인 것이 가장 합리적일 수 있습니다(즉, 응답자가 문제에 대해 중립적인 것이 합리적일 경우).
• 반면에 자연스러운 중간점이 존재하지 않는다면 중간점이 없는 짝수 개의 응답 옵션을 사용하는 것이 합리적입니다.

Another consideration is whether to use an odd or even number of responses. Although survey designers often spend hours agonizing over this decision, the limited empirical evidence is equivocal, suggesting that the consequences of this choice are minor.9 That said,

• if it makes sense for the survey item to have a neutral point, then an odd number of response options probably makes the most sense (i.e., if it is reasonable for a respondent to be neutral on an issue). On the other hand,
• if no natural midpoint exists, then it is reasonable to instead use an even number of response options with no midpoint.

서식 및 레이아웃에 주의
Attend to formatting and layout

거의 모든 사람, 특히 의료계 전문가가 스마트폰을 가지고 있는 요즘, 대부분의 응답자가 모바일 기기를 사용하여 대부분의 웹 기반 설문조사를 완료한다는 점에 유의해야 합니다. 따라서 모바일 형식을 포함한 다양한 형식의 설문조사 레이아웃을 미리 보는 것이 중요합니다. 예를 들어, SurveyMonkey 또는 Qualtrics와 같은 웹 기반 설문조사 애플리케이션은 일반적으로 컴퓨터 화면에 표시되는 설문조사의 경우 응답 옵션을 페이지 전체에 가로로 정렬하지만, 모바일 사용자를 위해 동일한 옵션을 세로로 정렬하는 기능도 있습니다. 따라서 가독성을 보장하기 위해 두 가지 형식 모두에서 설문조사 항목의 모양을 신중하게 검토하고 사전 테스트하는 것이 중요하며, 특히 이러한 서로 다른 형식은 제공되는 설문조사 응답의 품질에 영향을 미칠 수 있으므로 더욱 그렇습니다.9
At a time when virtually everyone has a smartphone, especially professionals in healthcare, it is important to note that most respondents will use their mobile device to complete most web-based surveys. As such, it is essential to preview the survey layout in multiple formats, including the mobile format. For example, web-based survey applications like SurveyMonkey or Qualtrics typically align response options horizontally across the page for surveys presented on a computer screen, but they also have the capability to format the same options vertically for the mobile user. Thus, it is important that researchers carefully review (and even pretest) the appearance of their survey items in both formats to ensure readability, especially because these different formats can affect the quality of the survey responses provided.9

설문조사 설계자는 정확도를 높이기 위해 응답 옵션에 구두 라벨과 숫자를 모두 포함하려는 경향이 있을 수 있습니다. 그러나 놀랍게도 기존의 제한된 경험적 연구에 따르면 응답자는 이러한 응답 옵션을 다양하게 해석하는 경우가 많습니다(숫자의 의미와 구두 라벨의 의미가 때때로 일치하지 않을 수 있기 때문).13 이 결과는 구두 라벨과 숫자를 모두 포함하는 것이 비효율적인 접근 방식일 수 있음을 시사합니다. 따라서 숫자를 사용하지 않고 구두 레이블만 사용하고 모든 응답 옵션에 레이블을 지정하는 것이 가장 좋은 방법이며, 이렇게 하면 응답자의 인지적 부담이 완화되어 보다 정확한 답변을 유도할 수 있습니다.9 부록 S1에는 일반적으로 연구되는 주제에 대한 구두 레이블의 예가 나와 있습니다.
Survey designers may also be inclined to include both verbal labels and numbers on their response options, with the goal of enhancing precision. Surprisingly, however, the limited empirical research that exists suggests that respondents often variably interpret such response options (since the meaning of numbers and the meaning of verbal labels can sometimes be misaligned).13 This finding suggests that including both verbal labels and numbers may be an ineffective approach. As such, a best practice is to use verbal labels only (without numbers) and to label all response options (as opposed to just the end points); doing so eases respondents' cognitive burden, thereby encouraging more precise answers.9 Appendix S1 outlines a number of example verbal labels for commonly studied topics.

또 다른 중요한 서식 지정 문제는 응답 옵션 간격입니다. 응답 옵션의 간격이 고르지 않으면 특정 옵션이 다른 옵션보다 시각적으로 더 두드러질 수 있습니다. 이는 의도치 않게 응답자가 이러한 옵션에 주목하고 선택할 가능성을 높이는 효과를 가져올 수 있습니다. 설문조사원은 모든 응답 옵션의 간격이 균등하게 유지되도록 서식 지정에 세심한 주의를 기울여야 합니다.9
Another important formatting issue is response option spacing. Unevenly spaced response options can make certain options stand out visually more than others. This can have the inadvertent effect of making these options more likely to be noticed and selected by respondents. Researchers should be meticulous in their formatting efforts, ensuring that all response options are equally spaced.9

의도적으로 설문조사 항목 구성
Organize the survey items intentionally

연구자는 설문조사를 시작하고 궁극적으로 완료하려는 응답자의 동기를 고려할 때, 항목의 순서를 신중하게 고려하고 의도적으로 구성해야 합니다. 설문조사에서 명확하고 해석 가능한 정보를 얻으려면 정확한 데이터 수집이 전제되어야 하므로, 관심 있는 핵심 구인을 다루는 가장 중요한 질문은 설문조사 시작 부분에 배치해야 합니다.9 이렇게 하면 응답자가 설문조사 참여를 중단하더라도 최소한 유용한 데이터는 수집된 것으로 간주할 수 있습니다.
As researchers consider respondent motivation to begin and ultimately complete the survey, the order of the items should be carefully considered and intentional. Obtaining clear and interpretable information from a survey depends on accurate data collection and, as such, the most important questions addressing the central construct of interest should be situated near the beginning of the survey.9 That way, if respondents choose to stop taking the survey, at least some useful data have been collected.

또한 민감한 질문과 인구통계학적 항목(종종 민감한 것으로 간주되는)은 설문조사 마지막에 배치하는 것이 중요합니다. 특히 설문조사나 기타 평가의 초반에 포함된 인종과 민족에 관한 질문은 고정관념 위협이라는 효과를 유발하여 응답 품질과 응답자 동기에 부정적인 영향을 미칠 수 있는 것으로 나타났습니다. 이러한 효과만으로도 대부분의 설문조사 마지막에 인구통계학적 항목을 묻는 충분한 이유가 됩니다.14 마지막으로, 민감한 질문과 관련하여 '친밀감rapport'이라는 개념이 중요합니다. 설문조사 설계자가 설문조사 초기에 응답자와 어느 정도 친밀감을 형성하고 동의를 얻으면 보다 민감한 질문을 할 수 있습니다. 이러한 친밀감을 형성하는 접근 방식은 일상적인 대화와 마찬가지로 설문조사에도 적용됩니다.
Moreover, it is important to keep sensitive questions and demographic items (which are often considered sensitive) toward the end of the survey. In particular, questions about race and ethnicity that are included early in a survey or other assessments have been shown to induce an effect known as stereotype threat, which can negatively impact response quality and respondent motivation. This effect alone is reason enough to ask demographic items near the end of most surveys.14 Finally, with regard to sensitive questions, the notion of “rapport” is critical. Once the survey designer has built some rapport and buy-in with the respondents early in a survey, then more sensitive questions can be asked. This rapport-building approach applies as much for surveys as it does for everyday conversations.

또한 모든 설문조사 질문은 각 응답자와 관련성이 있어야 합니다. 관련성이 없는 질문은 참여자의 의욕을 떨어뜨리고 응답 품질에 부정적인 영향을 미칠 수 있습니다. 이를 염두에 두고 설계자는 분기 질문 사용을 고려해야 합니다.4 예를 들어, 대학 도서관 서비스의 품질에 대한 정보를 수집할 때 설계자는 먼저 "해당 기관의 도서관을 이용해 보셨습니까?"라고 질문한 다음 "예"라고 대답한 응답자에게만 도서관 서비스의 품질에 대해 질문할 수 있습니다. 전자적으로 관리되는 웹 기반 설문조사를 사용하면 디자이너가 이러한 유형의 분기 질문을 쉽게 만들 수 있으며, RedCap, Qualtrics, Google Forms, SurveyMonkey와 같은 많은 웹 기반 설문조사 제품에는 분기 로직으로 설문조사를 구성하는 방법에 대한 자습서가 있습니다. 
In addition, all survey questions should be relevant to each respondent. Irrelevant questions tend to demotivate participants and can negatively impact response quality. With this in mind, designers should consider using branching questions.4 For example, when gathering information about the quality of the university's library services, a designer might first ask: “Have you used the institution's library?” and then ask questions about the quality of the library services only to those who answer “yes.” Electronically administered, web-based surveys make it easy for designers to create this type of branching question, and many web-based survey products, such as RedCap, Qualtrics, Google Forms, and SurveyMonkey, have tutorials on how to construct a survey with branching logic.

결론
CONCLUSION

설문조사는 다른 방법으로는 답할 수 없는 질문에 답할 수 있는 강력한 방법이 될 수 있습니다. 설문조사 설계자는 설문조사 개발 프로세스 초기에 여기에 설명된 모범 사례(및 광범위한 설문조사 설계 문헌)를 사용하여 설문조사 도구가 고품질 의사 결정에 사용할 수 있는 신뢰할 수 있는 평가가 될 수 있도록 할 수 있습니다. 일련의 논문에서 제시하는 설문조사 설계에 대한 증거 기반 접근 방식에는 다음이 포함됩니다: 

• (1) 엄격한 방식으로 콘텐츠 개발하기,
• (2) 설문조사 항목을 명확하게 작성하고 형식화하기,
• (3) 설문조사 결과의 타당성을 뒷받침하는 증거 수집하기,
• (4) 응답률을 극대화하기 위해 설문조사 관리하기,
• (5) 설문조사 결과를 의학 문헌에 명확하게 전달하기 등이 있습니다.

Surveys can be a powerful way to answer otherwise unanswerable questions. By using the best practices described here (and in the broader survey design literature)—early in the process of survey development—designers can help to ensure their survey tools are credible assessments that can be used for making high-quality decisions. The evidence-informed approach to survey design presented in our series of papers includes:

• (1) developing content in a rigorous way,
• (2) writing and formatting survey items with clarity,
• (3) collecting evidence to support the validity of the survey results,
• (4) administering the survey to maximize response rate, and
• (5) clearly communicating the results of the survey in the medical literature.

이 첫 번째 백서에서는 이 프로세스의 처음 두 단계에 초점을 맞추었습니다. 먼저 설문조사의 목표와 조사 대상의 구인을 설명함으로써 설계자는 설문조사 항목의 내용을 결정할 수 있습니다. 다음으로, 설문조사 항목과 응답의 작성 및 서식 지정에 대한 근거에 기반한 가이드라인을 따르면 설계자는 설문조사 점수의 타당성과 의도된 용도를 뒷받침할 수 있습니다. 다음 백서에서는 설문조사 점수와 그 용도에 대한 신뢰성과 타당성 근거를 더욱 확립하기 위해 설문조사를 테스트하고 시범 운영할 때 중요한 측면에 대해 논의할 것입니다. 그 다음에는 설문조사를 관리하고 배포하는 접근 방식과 설문조사 설계 및 연구 노력을 보고하는 모범 사례에 대해 설명할 것입니다. 

In this first paper, we have focused on the first two steps of this process. By first explicating the goals of the survey and the constructs being investigated, designers can determine the content of survey items. Next, by following evidence-informed guidelines for writing and formatting survey items and responses, designers can support the validity of their survey scores and their intended use. In our next paper, we will discuss the critical aspects of testing and piloting surveys to further establish reliability and validity evidence for the survey scores and their proposed uses. Subsequently, we will describe approaches to administering and distributing surveys, as well as best practices for reporting survey design and research efforts.

Abstract

보건전문직교육에서 현상학적 연구: 양쪽 끝에서 터널 만들기(Teach Learn Med, 2022)
Phenomenological Research in Health Professions Education: Tunneling from Both Ends
Chris B. T. Rietmeijera and Mario Veenb

When I say ... 해석적 현상학 (Med Educ, 2018)
When I say . . . hermeneutic phenomenology
William Bynum1 & Lara Varpio2

헤르메스는 그리스 신들 사이와 인간 세계에 메시지를 전달하고, 그 메시지를 해석하여 그 근본적인 의미를 전달하는 일을 담당했습니다.1 해석학적 현상학은 어원을 공유하는 메신저 신과 마찬가지로, 현상을 설명하는 것을 넘어 일상 생활의 맥락에서 그 의미를 탐구하고 전달하는 질적 연구 방법론입니다.2 해석적 현상학이라고도 불리는 해석적 현상학은 현상에 대한 참여자의 생생한 경험의 의미와 중심 구조, 즉 본질, 그리고 현상을 형성하는 맥락적 힘을 밝혀내고자 합니다. 따라서 연구자들은 학습자 학대 및 소진부터 사무직 또는 전문가 간 팀에서의 학습자 경험에 이르기까지 복잡하고 환경의 영향을 받는 현상을 보다 완벽하게 이해하는 데 도움이 될 수 있습니다. 
Among his duties, Hermes was responsible for delivering messages among the Greek gods and to the mortal world, and for interpreting those messages and conveying their underlying meaning.1 Hermeneutic phenomenology, like the messenger god with whom it shares its lexical root, is a qualitative research methodology that goes beyond describing a phenomenon to exploring and conveying its meaning in the context of everyday life.2 Sometimes referred to as interpretive phenomenology, hermeneutic phenomenology seeks to uncover the meaning and central structures, or essences, of a participant's lived experience with a phenomenon and the contextual forces that shape it. As such, it can help researchers more fully understand complex, environmentally influenced phenomena, ranging from learner mistreatment and burnout to learners' experiences on a clerkship or interprofessional team.

이 글에서는 해석학적 현상학의 세 가지 특징에 초점을 맞춰 다른 질적 방법론과 차별화되는 해석학적 현상학의 특징에 대해 설명합니다.

• (i) 해석적 성격과 생생한 경험에 대한 초점,
• (ii) 데이터 수집 및 분석 과정에 연구자의 경험을 포함한다는 점,
• (iii) 데이터 분석을 안내하는 역동적이고 사려 깊은 성찰과 글쓰기 과정에

이러한 특징들이 해석학적 현상학이라는 용어의 의미를 형성합니다.
In this article, we focus on three features of hermeneutic phenomenology that, when combined, distinguish it from other qualitative methodologies:

• (i) its interpretive nature and focus on lived experience,
• (ii) the inclusion of researcher experiences in the processes of data collection and analysis, and
• (iii) the dynamic, thoughtful process of reflecting and writing that guides data analysis.

These features shape what we mean when we say: hermeneutic phenomenology.

설명적 현상학의 목적은 현상을 그것이 존재하는 맥락과 분리된 별개의 실체로 기술하는 것이지만, 해석적 현상학은 현상의 의미를 기술하고 현상을 형성하는 맥락적 힘을 이해하고자 합니다.1, 3

• 반 마넨에 따르면 해석학적 현상학의 목표는 '인간 경험 전체'의 맥락에서 특정 인간 현상의 더 깊은 의미를 더 잘 이해하기 위해 다른 사람들의 경험과 성찰에 주목하는 것입니다.4
• 해석학적 현상학을 통해 우리는
  • 표면적 인식 아래에 가려진 인간 경험의 더 깊은 층을 이해하고,
  • 개인의 생활 세계 또는 그 사람이 사전 성찰적으로 경험하는 세계가 이 경험에 어떻게 영향을 미치는지 이해할 수 있습니다.4
• 따라서 해석학의 목적은 이론을 개발하는 것(예: 근거 이론)이 아니라 우리가 살고 배우는 '세계와 더 직접적으로 접촉할 수 있는 그럴듯한 통찰력'을 개발하는 것입니다.4

예를 들어, 우리는 현재 해석학적 현상학을 사용하여 매우 개인적이고 종종 암묵적이며 인식되지 않는 감정인 수치심에 대한 의료 학습자의 경험을 이해하는 연구를 수행하고 있습니다. 해석학적 현상학은 다음과 같은 개인의 수치심 경험과 관련된 연구 질문에 답할 수 있는 최적의 방법입니다:

• 의료 학습자는 임상 학습 환경 내에서 수치심을 어떻게 경험하는가?
• 학습 환경의 어떤 힘이 학습자가 수치심을 경험하는 방식에 영향을 미치는가?

Whereas the purpose of descriptive phenomenology is to describe a phenomenon as a distinct entity separate from the context in which it exists, hermeneutic phenomenology seeks to describe the meaning of a phenomenon and understand the contextual forces that shape it.1, 3 

• The goal of hermeneutic phenomenology, according to Van Manen, is to attend to other people's experiences and reflections to better understand the deeper meaning of a specific human phenomenon within the context of ‘the whole of human experience’.4 
• Hermeneutic phenomenology allows us to understand
  • the deeper layers of human experience that lay obscured beneath surface awareness and
  • how the individual's lifeworld, or the world as he or she pre-reflectively experiences it, influences this experience.4 
• Thus, rather than developing theory (e.g., as in grounded theory), the purpose of hermeneutics is to develop ‘plausible insights that bring us in more direct contact with the world’ in which we live and learn.4 

For example, we are currently conducting a study using hermeneutic phenomenology to understand medical learners' experiences with shame, a highly personal and often implicit, unrecognised emotion. Hermeneutic phenomenology is an optimal method to answer research questions related to individuals' experience of shame, such as:

• How do medical learners experience shame within the clinical learning environment?
• What forces from the learning environment influence the way in which learners experience it?

해석학적 현상학은 연구자가 자신의 과거 경험과 기존 지식이 해석 과정에 내재되어 있고 필수적인 것으로 인정할 것을 요구합니다.1, 2, 5 일반적으로 설명적 현상학에서 요구되는 것처럼 연구자는 현상에 대한 개인적인 경험, 편견 및 전문 지식을 괄호로 묶는 대신, 데이터 수집 및 분석 중에 자신의 주관성을 공개적으로 반영, 공유 및 주의하면서 동시에 해석학적 전통을 고수하고 반성성을 달성해야 합니다.

• 학습자 수치심에 대한 연구에서 학습자, 교사 또는 인간으로서 자신이 경험한 수치심을 무시하려는 시도는 무의미하며, 참여자의 수치심 경험을 해석하는 의식에서 그러한 형성적이거나 영향력이 있거나 고통스러운 경험을 확실하게 괄호로 묶을 수 없습니다.

Hermeneutic phenomenology requires that researchers acknowledge their own past experiences and existing knowledge as embedded in and essential to the interpretive process.1, 2, 5 Rather than bracketing off their personal experiences, biases and expertise regarding the phenomenon (as is generally required in descriptive phenomenology), researchers openly reflect on, share, and attend to their subjectivity during data collection and analysis, simultaneously adhering to the hermeneutic tradition and achieving reflexivity.

• In our study on learner shame, attempts to ignore the shame that we experienced ourselves as learners, teachers or human beings are futile; we cannot reliably bracket off such formative, impactful or painful experiences from the consciousness through which we interpret the experience of shame in our participants.

데이터 수집과 분석에 개인적인 관점을 인식하고 통합하면 해석 과정에 추가적인 차원을 더할 수 있습니다. 또한 반 마넨은 해석학적 방법론의 핵심 요소는 현상에 대한 직접적인 경험에서 비롯되는 개인적인 관심 주제에서 시작하는 것이라고 주장합니다.4

• 실제로 의학 학습자가 수치심을 경험하는 방식을 이해하는 데 대한 우리의 관심은 수치심이라는 감정에 대한 우리 자신의 투쟁에서 비롯되었으며, 이제 우리 자신과 분리할 수 없는 부분이며 다른 사람들이 어떻게 그 감정을 경험하는지에 대해 이야기하고 이해하는 능력을 향상시켜주는 투쟁에서 비롯되었습니다.

Recognising and incorporating our personal perspectives into data collection and analysis contributes additional dimensions to the interpretive process. Furthermore, Van Manen asserts that a key element of hermeneutic methodology is to begin with a topic of personal interest, one that often arises from our direct experience with the phenomenon.4 

• Indeed, our interest in understanding how medical learners experience shame arose from our own struggles with the emotion, struggles that are now an inseparable part of who we are and that enhance our ability to talk about and understand how others experience the emotion.

해석학적 현상학의 또 다른 특징은 엄격한 분석 기법을 고수하지 않고 연구자가 현상을 형성하는 현상학적 주제, 즉 '생생한 경험의 구조'를 제시하기 위해 '훈련된 사려 깊음'에 의존한다는 점입니다.4 반 마넨은 해석학적 분석이 '규칙에 얽매인 과정'은 아니지만 무작위적인 것도 아니라고 주장합니다.4

• 해석학적 현상학은 우리의 관심을 생생한 경험으로 이끄는 흥미로운 현상을 식별하는 것으로 시작하는 여러 연구 활동 간의 역동적인 상호작용을 중심으로 전개됩니다.
• 그런 다음 연구팀원들은 개념화된 경험이 아닌 실제 경험을 조사하고, 참여자의 현상 경험을 특징짓는 본질적인 주제에 대해 성찰하면서 동시에 자신의 경험에 대해 성찰합니다.
• 연구자는 자신의 성찰을 글로 기록한 다음 다시 성찰하고 글을 쓰는 과정을 반복하여 점점 더 견고하고 미묘한 분석을 개발합니다.
• 분석하는 동안 연구자는 연구 중인 현상에 대한 강한 방향성을 유지하고(즉, 산만함을 피하고) 부분과 전체 간의 상호 작용에 주의를 기울여야 합니다.
• 해석학적 순환이라고도 하는 이 마지막 단계에서는 데이터(부분)가 현상(전체)에 대한 이해를 발전시키는 데 어떻게 기여하는지, 그리고 각 부분이 서로의 의미를 어떻게 향상시키는지를 의도적으로 고려하는 연습을 강조합니다.5 실제로 위의 활동은 간헐적으로 또는 동시에 수행될 수 있습니다.
• 이 기본 분석 프레임워크의 구체적인 적용 사례는 이미 발표되어 있으며, 그 운용에 유용한 예시로 활용되고 있습니다.2, 4, 5 

Another distinguishing characteristic of hermeneutic phenomenology is that it does not adhere to a strict set of analytical techniques; rather, the researcher relies on ‘cultivated thoughtfulness’ to present phenomenological themes, or the ‘structures of lived experience’, that shape the phenomenon.4 Although Van Manen asserts that hermeneutic analysis is not a ‘rule-bound process’, it is also not random.4 

• It revolves around a dynamic interplay among multiple research activities that starts with identifying an interesting phenomenon that directs our attention towards lived experience.
• Members of the research team then investigate experience as it is lived, rather than as it is conceptualised, and reflect on the essential themes that characterise the participant's experience with the phenomenon, simultaneously reflecting on their own experiences.
• Researchers capture their reflections in writing and then reflect and write again, creating continuous, iterative cycles to develop increasingly robust and nuanced analyses.
• Throughout the analysis, researchers must maintain a strong orientation to the phenomenon under study (i.e., avoid distractions) and attend to the interactions between the parts and the whole.
• This last step, also described as the hermeneutic circle, emphasises the practice of deliberately considering how the data (the parts) contribute to the evolving understanding of the phenomena (the whole) and how each enhances the meaning of the other.5 In practice, the above activities may be accomplished intermittently or simultaneously.
• Specific applications of this basic analytical framework have been published and serve as useful examples for its operationalisation.2, 4, 5

해석학적 분석의 산물은 현상에 대한 풍부한 설명으로, 독자를 참여자의 삶의 세계와 더 깊이 연결하여 표면 아래에 남아있을 수 있는 경험의 핵심 요소를 조명합니다.4 학습자 수치심의 경우, 이러한 설명은 의료 학습 환경 내에서 수치심 경험의 존재와 의미에 주목하고 학습자와 교육자 모두의 정서적 회복력을 높일 수 있는 개입을 알려줄 수 있는 잠재력을 지니고 있습니다.
The product of a hermeneutic analysis is a rich description of a phenomenon that more deeply connects the reader to the participant's lifeworld, illuminating key elements of his or her experience that may otherwise remain beneath the surface.4 In the case of learner shame, such descriptions have the potential to draw attention to the presence and meaning of shame experiences within the medical learning environment and to inform interventions that will buoy emotional resilience in learners and educators alike.

헤르메스처럼, 의학 학습과 관련된 어려움을 단순히 설명하는 데 그치지 않고, 이러한 어려움을 경험하는 방식을 전달하고 이에 영향을 미치는 맥락적 힘을 파악하고자 하는 의학교육자가 점점 더 많아지고 있습니다. 다행히도 우울증, 번아웃, 수치심과 같은 복잡한 인간 경험의 깊은 층을 조명하기 위해 그리스 신이 될 필요는 없습니다. 해석학적 현상학을 갖춘 우리 인간도 오늘날의 의료 학습 환경에서 학습자가 된다는 것이 무엇을 의미하는지 해석하고 전 세계에 전달할 수 있습니다.
Like Hermes, an increasing number of medical educators seek to go beyond simply describing the challenges associated with learning medicine to conveying how they are experienced and identifying the contextual forces that influence them. Fortunately, one doesn't have to be a Greek god to illuminate the deep layers of complex human experiences such as depression, burnout and shame. Equipped with hermeneutic phenomenology, even we mere mortals can interpret and convey what it means to be a learner in today's medical learning environment to the rest of the world.

현상학이 어떻게 다른 사람의 경험으로부터 배우게끔 하는가(Perspect Med Educ, 2019)
How phenomenology can help us learn from the experiences of others
Brian E. Neubauer1,2 · Catherine T.Witkop3 · Lara Varpio1

현상학이란 무엇인가요?
What is phenomenology?

간단히 말해서 현상학은 현상을 경험한 사람의 관점에서 현상을 탐구하여 현상의 본질을 설명하고자 하는 연구 접근법이라고 정의할 수 있습니다[6]. 현상학의 목표는 무엇을 경험했는지, 어떻게 경험했는지 등 경험의 의미를 설명하는 것입니다[6]. 현상학에는 여러 가지 종류가 있으며, 각 현상학은 인간 경험의 대상과 방법을 생각하는 각기 다른 방식에 뿌리를 두고 있습니다. 다시 말해, 현상학의 각 접근 방식은 서로 다른 철학 학파에 뿌리를 두고 있습니다. 현상학적 연구 방법론을 선택하려면 학자는 자신이 수용하는 철학에 대해 성찰해야 합니다. 과학자가 수용할 수 있는 철학이 다양하다는 점을 고려할 때, 연구자가 활용할 수 있는 현상학적 전통이 광범위하다는 것은 놀라운 일이 아닙니다. 이 원고에서는 현상학에 대한 초월적 접근법과 해석학적 접근법을 강조하지만, 더 광범위한 현상학적 환경이 존재합니다. 예를 들어, 1997년에 출간된 현상학 백과사전에는 7가지 유형의 현상학에 대한 기사가 실려 있습니다[7]. 초월적/해석학적 분열을 해소하는 더 현대적인 전통도 개발되었습니다. 이러한 전통 중 몇 가지가 탭. 1 [8-10].
In simple terms, phenomenology can be defined as an approach to research that seeks to describe the essence of a phenomenon by exploring it from the perspective of those who have experienced it [6]. The goal of phenomenology is to describe the meaning of this experience—both in terms of what was experienced and how it was experienced [6]. There are different kinds of phenomenology, each rooted in different ways of conceiving of the what and how of human experience. In other words, each approach of phenomenology is rooted in a different school of philosophy. To choose a phenomenological research methodology requires the scholar to reflect on the philosophy they embrace. Given that there are many different philosophies that a scientist can embrace, it is not surprising that there is broad set of phenomenological traditions that a researcher can draw from. In this manuscript, we highlight the transcendental and the hermeneutic approaches to phenomenology, but a broader phenomenological landscape exists. For instance, the Encyclopedia of Phenomenology, published in 1997, features articles on seven different types of phenomenology [7]. More contemporary traditions have also been developed that bridge the transcendental/hermeneutic divide. Several of these traditions are detailed in Tab. 1 [8–10].

현상학에 대한 이러한 접근 방식을 이해하려면 대부분의 접근 방식이 현상학의 연구 대상에 대해 유사한 정의를 내리고 있다는 점을 기억하는 것이 유용합니다. 현상학은 일반적으로 다음에 대한 연구로 설명됩니다[11].

• 우리의 경험에 나타나는 현상,
• 우리가 현상을 인식하고 이해하는 방식, 그리고
• 현상이 주관적 경험에 갖는 의미

간단히 말해, 현상학은 세계에 대한 개인의 생생한 경험을 연구하는 학문입니다[12]. 주관적으로 경험한 그대로의 경험을 조사함으로써 새로운 의미와 인식을 개발하여 그 경험을 이해하는 방법을 알려주거나 심지어 방향을 바꿀 수 있습니다[13].
To understand any of these approaches to phenomenology, it is useful to remember that most approaches hold a similar definition of phenomenology’s object of study. Phenomenology is commonly described as the study

• of phenomena as they manifest in our experience,
• of the way we perceive and understand phenomena, and
• of the meaning phenomena have in our subjective experience [11].

More simply stated, phenomenology is the study of an individual’s lived experience of the world [12]. By examining an experience as it is subjectively lived, new meanings and appreciations can be developed to inform, or even re-orient, how we understand that experience [13].

이러한 공통된 이해를 바탕으로 이제 초월적(설명적) 현상학과 해석적(해석적) 현상학이 이 연구에 서로 다른 방식으로 접근하는 방법을 다루겠습니다. 이러한 접근 방식은 탭에 요약되어 있습니다. 2.
From this shared understanding, we now address how transcendental (descriptive) phenomenology and hermeneutic (interpretive) phenomenology approach this study in different ways. These approaches are summarized in Tab. 2.

 

How phenomenology can help us learn from the experiences of others

PMID: 30953335

PMCID: PMC6468135

DOI: 10.1007/s40037-019-0509-2

Free PMC article

CARDA: 보건전문직교육 연구에서 문헌분석의 가이드 (Med Educ, 2022)
CARDA: Guiding document analyses in health professions education research
Jennifer Cleland1 | Anna MacLeod2 | Rachel H. Ellaway3

1 소개
1 INTRODUCTION

'태초에 말씀이 계시니라'. 요한복음 1:1-3
‘In the beginning was the Word’. John 1:1–3

우리는 문서를 만들고, 문서를 사용하고, 문서를 보관하고, 문서를 주고받습니다. 집과 사무실에 있는 문서, 휴대하고 다니는 문서, 컴퓨터와 기타 디지털 기기에 있는 문서가 있습니다. 보내는 문서와 받는 문서가 있습니다. 현대 사회에 대한 우리의 지식과 현대 사회와의 상호 작용은 상당 부분 문서에 의해 매개됩니다. 정책 및 절차, 회의록, 보고서, 커리큘럼 맵, 시험지, OSCE 스테이션, 학습 사례 및 시뮬레이션 스크립트 등 수많은 문서를 생성하고 이를 통해 재인용되는 보건 전문직 교육(HPE)도 예외는 아닙니다. 문서는 HPE에 관련된 사람들의 일상적인 경험을 구조화하며, '어떤 것은 존재하게 하고 어떤 것은 부재하게 하며, 어떤 것은 보이게 하고 어떤 것은 보이지 않게 하는'(182페이지) 도구 역할을 합니다.1 
We make documents, we use documents, we keep documents and we exchange documents. There are documents in your home and in your office, documents you carry with you and documents on your computer and other digital devices. There are documents you send and documents you receive. Our knowledge of and interactions with contemporary society are substantially mediated by documents. Health professions education (HPE) is no outlier in this regard as it generates and is reinscribed through, its many documents, including policies and procedures, meeting notes, reports, curriculum maps, examination papers, OSCE stations, learning cases and simulation scripts. Documents structure the everyday experiences of those involved in HPE, and they serve as tools ‘through which some things are made present, and others absent, some things visible and others invisible’ (p. 182).1

문서는 연구 관점에서 풍부한 정보를 제공할 수 있습니다. 실제로 문서는 과거 사건을 이해하는 데 있어 가장 좋은, 때로는 유일한 데이터 소스인 경우가 많습니다(예: 2). 마찬가지로 현재에도 사람, 사건, 사회적 관계, 권력에 대한 지식의 대부분은 문서를 통해 간접적으로 얻게 됩니다. 스미스3는 이를 '이러한 형태의 사회를 통치, 관리 및 운영하는 관행의 기본이 되는'(257쪽) '문서적 실재'라고 설명했습니다.
Documents can provide a wealth of information from a research perspective. Indeed, documents are often the best, and sometimes the only, source of data for understanding past events (e.g.,2). Similarly, in the present, much of our knowledge of people, events, social relations and powers arises indirectly, through documents. Smith3 described this as ‘documentary reality’ that ‘is fundamental to the practices of governing, managing and administration of this form of society’ (p. 257).

문서가 우리 주변에 존재함에도 불구하고(그리고 부분적으로는 그 때문에) 문서가 무엇인지, 또는 문서가 되어야 하는지에 대한 하나의 표준적이거나 포괄적인 정의는 없으며, 오히려 문서가 무엇인지에 대한 다양한 담론이 존재합니다. 예를 들어, 문서는 물리적 물건으로 정의될 수도 있고,4 정보 소스5로 정의될 수도 있으며,6 탐구 행위를 통해 탄생할 수도 있습니다(상자 1 참조).
Despite their ambient presence (and perhaps in part because of it), there is no one canonical or overreaching definition of what documents are or should be; rather, there are different discourses of what documents can be. For instance, a document can be defined as a physical item,4 an informational source5 or brought into being by the act of inquiry6—see Box 1.

박스 1: 문서란 무엇인가요?
Box 1: What is a document?

문서가 무엇인지, 또는 문서가 되어야 하는지에 대한 표준적이고 포괄적인 정의는 없으며, 문서가 무엇일 수 있는지에 대한 다양한 담론이 존재합니다. 문서는 텍스트 본문일 수도 있고, 텍스트 내용 외에 연구자가 관심을 가질 만한 특성(예: 이미지, 주석 또는 상호 참조의 사용)이 있는 인공물일 수도 있습니다. 오리어리4는 문서를 다음과 같이 분류했습니다:
There is no one canonical or overreaching definition of what documents are or should be; rather, there are different discourses of what documents can be. They can be bodies of text or they can be artefacts with qualities of interest to researchers beyond their textual content (such as the use of images, annotations or cross-references). O'Leary4 classified documents as follows:

• 공공 기록: 조직의 활동에 대한 공식적이고 지속적인 기록. HPE의 예로는 학생 성적표, 사명 선언문, 연례 보고서, 매뉴얼, 학생 핸드북, 전략 계획 및 강의 계획서 등이 있습니다.
  
• 개인 문서: 개인의 행동, 경험 및 신념에 대한 1인칭 서술. 예를 들면 달력, 이메일, 스크랩북, 블로그, Facebook 게시물, 근무일지, 사건 보고서, 반성문/일기, 신문 등이 있습니다.
  
• 물리적 증거: 연구 환경 내에서 발견된 물리적 물체. 예를 들면 전단지, 이메일, 포스터, 의제, 핸드북, 교육 자료 등이 있습니다.
• Public Records: The official, ongoing records of an organisation's activities. Examples from HPE include student transcripts, mission statements, annual reports, manuals, student handbooks, strategic plans and syllabi.
• Personal Documents: First-person accounts of an individual's actions, experiences and beliefs. Examples include calendars, e-mails, scrapbooks, blogs, Facebook posts, duty logs, incident reports, reflections/journals and newspapers.
• Physical Evidence: Physical objects found within the study setting. Examples include flyers, emails, posters, agendas, handbooks and training materials.

HPE의 맥락에서는 다음으로 구분할 수 있습니다(Ellaway 외., 2019).

• 교육 과정의 일부로 작성된 문서(예: 프로그램 평가, 강의 계획서 및 커리큘럼),
• 교육 과정에서 작성되었지만 교육 목적이 아닌 문서(예: 개인 파일, 조직 정책 및 웹사이트),
• 의학교육과 무관하게 작성된 문서(예: 소셜 미디어 게시물, TV 또는 영화 대본)

문서는 생성 방법과 목적, 보존 또는 큐레이션 방법, 캡처한 미디어, 생성 이후 복사, 필사, 편집 또는 수정 여부에 따라 다를 수 있습니다.
In the context of HPE, we might differentiate between

• documents that were created as part of educational processes (e.g., program evaluations, syllabi and curricula),
• documents created in education but not for educational purposes (e.g., personal files, organisational policies and websites), and
• documents created outside of medical education altogether (e.g., social media posts, TV or film scripts) (Ellaway et al., 2019).

Documents can differ in how they were produced and for what purposes, as well as how they were preserved or curated, what media they were captured on and whether they have been copied, transcribed, edited or redacted since their creation.

문서는 중립적인 것이 아니라 사회적으로 구성된 것입니다.7 문서의 사회성에 주목하면 누가, 어떤 목적으로, 어떤 맥락/사회적 위치에서 문서를 만들었는지에 주목하게 됩니다. 다시 말해, 문서는 단순히 문서에 포함된 정보 그 이상이며, 문서가 무엇을 나타내는지, 그리고 문서가 해석되고 사용될 수 있는 무수한 방식에 관한 문제이기도 합니다. 
Documents are not neutral, they are socially constructed.7 Attending to the sociality of documents focuses attention on who created it, for what purposes and in what context/social situatedness. In other words, a document is more than the information it contains; it is also a matter of what it represents and the innumerable ways in which it might be interpreted and used.

연구자는 각 연구의 맥락에서 문서가 의미하는 바를 정의해야 합니다. Prior8는 ''문서'라는 단어는 어떤 종류의 물리적 또는 전자적 용기를 나타내는 명사로 사용되는 경향이 있지만... 어떤 대상을 문서로 표시하는 것은 그것이 담고 있는 내용이나 물리적 또는 전자적 형식이 아니라 정보의 전달자로서의 역할과 사용'이라고 주장했습니다(Briet9 및 Lund 참조).10 반면에 Ricoeur는 문서를 탐구 행위로 인해 생겨난다고 설명했습니다.6 이는 과학적 탐구에서 데이터의 정의와 더 일치하는데, 합법적인 출처의 독점 목록보다는 선택 및 분석 행위가 더 중요하다는 점입니다. 
Researchers need to define what they mean by documents in the context of each study. Prior8 argued that ‘[T]he word “document” tends to be used as a noun to denote a physical or electronic container of some kind … however, what marks an object as a document is not what it contains nor its physical or electronic format, but its role and use as a conveyor of information’—see also Briet9 and Lund.10 Ricoeur on the other hand described documents as brought into being by the act of inquiry.6 This is more consistent with a definition of data in scientific inquiry: acts of selection and analysis matter more than exclusive lists of legitimate sources.

문서 분석(DA)은 일반적으로 텍스트 및/또는 이미지가 포함된 인쇄 또는 전자 문서를 포함하는 체계적인 연구를 포괄하는 용어입니다.11 DA는 연구 참여자로부터 정보를 직접 도출하지 않으므로 참여자의 반응이나 행동 변화 가능성을 제거하므로 비교적 방해가 적습니다.12 DA는 [과거 사건에 대한 역사적 분석과 비판적 이론적 관점의 표현]에서 [정책 및 이론 개발]에 이르기까지 다양한 용도로 사용될 수 있습니다. 그러나 많은 연구에서 문서가 엄격하고 논리적인 DA 방법론을 따르기보다는 '상대적으로 조용히 '현장'에 들어왔다가 나가는'(417쪽) 경향이 있습니다.5 구어에 비해 문서 기반 데이터를 과소평가하거나 DA 연구의 수행이나 보고에 거의 관심을 기울이지 않는 연구자들에 대한 비판도 있었습니다.13-16
Document analysis (DA) is an umbrella term for systematic research involving printed or electronic documents, typically containing text and/or images.11 It is relatively unobtrusive as it does not involve the direct elicitation of information from research participants and thus removes the potential for reaction or changed behaviour from participants.12 There are many possible uses of DA, ranging from historical analyses and articulations of critical theoretical perspectives on past events to policy and theoretical development. However, rather than following rigorous and logical DA methodologies, documents in many studies have tended ‘to enter and to leave the ‘field’ in relative silence’ (p. 417).5 There has also been criticism of researchers who under-privilege document-based data compared to the spoken word or who pay little attention to the conduct or reporting of DA studies.13-16

보건 전문직 교육(HPE) 실무, 토론 및 문화의 문서화 현실에 의도적으로 조율하고 DA를 사용하는 것은 HPE 연구에서 아직 개발되지 않은 풍부한 잠재력을 가지고 있으며, 이는 다른 연구자들이 더 깊이 탐구하도록 남겨둘 문제입니다. 그러나 이 연구의 계기가 된 것은 DA가 HPE 연구에서 제대로 개발되지 않아 엄밀성과 명확성이 부족하다는 가설이었습니다. 이 가설을 탐구하기 위해 메타 연구 검토 프로세스를 채택하여17 결과보다는 방법에 비판적으로 집중할 수 있었습니다. 따라서 이 연구는 더 나은 방법을 개척하기 위한 연구를 수행하기 위한 것이었습니다.18, 19 
Deliberately attuning to the documentary reality of health professions education (HPE) practice, debate and culture and the use of DA holds a wealth of untapped potential in HPE research, a matter that we will leave others to explore in more depth. However, the trigger for this study was our hypothesis that DA has been underdeveloped in HPE research, with a resulting lack of rigour and clarity. To explore this hypothesis, we employed a meta-study review process,17 which allowed for a critical focus on methods rather than on outcomes. As such, this study was about conducting research on research to pioneer better methods.18, 19

방법론적 입장과 다양한 절차적 방법의 집합으로서 DA에 초점을 맞추기 위해 메타 방법 접근법을 채택했습니다.20 우리의 목표는 HPE 문헌에서 DA의 현재 상태를 설명하고, DA에 참여하는 연구자를 지원하는 방법을 파악하고, 우리 분야의 다른 방법과 비교할 수 있는 방법론적, 분석적, 보고의 엄격성 표준을 제안하는 것이었습니다. 이를 통해 HPE에서 문서 정보에 기반한 연구의 품질을 개선하는 데 기여하고자 했습니다. 
Given our focus on DA both as a methodological stance and as a set of various procedural methods, we adopted a meta-method approach.20 Our aims were to describe the current state of DA in the HPE literature, to identify ways to support researchers engaging in DA and to propose standards of methodological, analytical and reporting rigour comparable to other methods in our field. Collectively, we sought to contribute to improving the quality of document-informed research in HPE.

이를 위해 다음과 같은 검토 질문을 던졌습니다:
To that end, the review questions were as follows:
1. HPE 연구 논문에서 DA는 어떻게 접근해 왔습니까?
2. HPER(보건 전문직 교육 연구)에서 현재 DA 관행의 강점과 약점은 무엇인가?
3. HPER에서 DA 관행을 강화하려면 무엇이 필요한가?
4. DA를 통해 해결할 수 있는 지식의 격차는 무엇입니까?

2 방법론
2 METHODS

DA의 방법론적 입장과 절차적 방법에 초점을 맞추다 보니 범위 검토 접근 방식을 취하게 되었을 수 있습니다. 그러나 범위 검토Scoping review는 '연구 활동의 범위, 범위 및 성격을 검토'하고 '기존 문헌의 연구 공백을 파악'할 수 있지만,21 연구 과정을 명시적으로 고려하는 메타 연구의 초점과 구체성이 부족합니다. 따라서 우리의 연구 설계는 메타 연구에서 inform되었으며,17 '실질적 영역에서 연구의 이론, 방법 및 데이터 분석을 면밀히 조사하는 분석, 그리고 새로운 지식 창출에 적용하는 마무리로 종합'(2페이지)을 포함합니다.

• 분석과 관련하여 우리의 목표는 연구 목적으로 사용된 문서가 식별, 기술, 관리 및 분석된 방식을 종합하고 해석하는 것이었습니다. 즉, 메타 연구는 사용된 DA 방법의 인식론적 건전성(지식의 원천으로서 문서의 표현과 문서에서 도출된 지식 또는 이를 기반으로 한 지식 사이의 일치와 일관성)과 방법론적 적절성에 초점을 맞추었습니다.
• 종합 측면에서, 우리의 목표는 특히 강점과 한계, 문헌의 동향, 우리 분야에서 DA의 수행과 보고가 어떻게 개선될 수 있는지에 중점을 두고 HPER의 DA 연구에 대한 증거에 기반한 설명에 도달하는 것이었습니다. 

Our focus on methodological stance and procedural methods in DA might have led us to take a scoping review approach. However, while scoping reviews can both ‘examine the extent, range and nature of research activity’ and ‘identify research gaps in the existing literature’,21 they lack the focus and specificity of meta-study, which explicitly considers research processes. Our study design was therefore informed by meta-study,17 which involves ‘analysis, the scrutiny of the theory, method, and data analysis of research in a substantive area, and culminates in synthesis, an application of that scrutiny to the generation of new knowledge’ (p. 2).

• With respect to analysis, our goal was to synthesise and interpret the ways in which documents used for research purposes had been identified, described, managed and analysed. This meant that our meta-study focused on the apparent epistemological soundness (an alignment and coherence between the articulation of documents as sources of knowledge and the knowledge that was derived from them or based upon them) and methodological appropriateness of the DA methods used.
• In terms of synthesis, our goal was to arrive at an evidence-informed description of DA research in HPER with a particular focus on its strengths and limitations, trends in the literature and how the conduct and reporting of DA in our field might be improved.

포지셔닝
Positionality

우리는 이 연구를 수행하면서 우리가 가져온 관점에 주목합니다. 이 연구는 HPER의 방법론과 이론에 대한 지속적인 논의를 바탕으로 개발되었으며, 처음에는 DA 연구를 수행한 저희의 경험을 바탕으로 했습니다.

• 보다 구체적으로, JC는 연구의 일환으로 문서 분석을 수행한 경험이 있고(예: Cleland 외.22, Patterson 외.23), 연구 내에서 DA를 사용한 박사 과정 학생을 감독한 경험이 있습니다(예: Coyle 외.24, Hawick 외.25).
• AM은 문제 기반 학습 연구(To 외.26 및 MacLeod 외1)와 리더십 직무 기술서 연구(Gorsky 외.27)에서 문서를 주요 소스로 사용하고 삼각 측량을 위해 DA를 사용한 초기 연구에서 DA를 주요 소스로 사용한 경험을 가지고 있습니다. 각각의 경우 문서 소싱, 관리 및 분석 방법과 관련하여 추가 설명의 기회가 있습니다.
• RHE는 연구의 일환으로 문서 분석을 수행한 경험이 있었는데28-30, 편집자이자 멘토로서의 다른 관점을 이 문제에 적용했습니다. 우리 자신의 DA 경험과 이 분야의 다른 사람들의 DA 작업을 읽으면서 일반적으로 DA 관행의 깊이와 엄격함을 개선하기 위해 노력했습니다. 

We note the perspectives we brought to bear in undertaking this research. The study was developed from our ongoing discussions about methodology and theory in HPER and was based initially on our own experiences in conducting DA research.

• More specifically, JC had experience in conducting document analyses as part of her research (e.g., Cleland et al.22, Patterson et al.23) and in supervising doctoral students who used DA within their research (e.g., Coyle et al.24 and Hawick et al.25).
• AM had experience using DA as a primary source in earlier research where documents were used both as a primary source and to triangulate in studies of Problem Based Learning (To et al.26 and MacLeod et al1) and also as an object in studies of leadership job descriptions (Gorsky et al.27). In each case, there are opportunities for further explanation with respect to how documents were sourced, managed and analysed.
• RHE had experience in conducting document analyses as part of her research28-30 she brought other perspectives from being an editor and mentor to bear on the issue. It was both our own DA experiences and our reading of the DA work of others in the field that led us to seek to improve the depth and rigour DA practices in general.

프로세스
Process

먼저 파일럿 검색을 실시하여 잠정 검색 전략을 테스트하고, 연구 질문을 구체화하며, 검토 범위를 계획하는 데 도움을 받았습니다. 2021년 7월 15일에 익명 모드에서 ['문서 연구' 및 '의학교육']이라는 용어로 Google Scholar를 사용하여 이 파일럿 검색을 실시했습니다. 그 결과 261개의 논문이 반환되었으며, 이 중 처음 50개의 관련성을 분석하여 6개의 논문(12%)을 식별했습니다. 이를 통해 학습한 후, 2021년 7월 16일에 PubMed와 ['문서 분석' 및 '의학 교육']을 사용하여 두 번째 파일럿 검색을 수행한 결과 53개의 논문이 반환되었습니다. 관련성을 검토한 결과, 14개의 논문은 HPE와 관련이 없는 것으로 제외되었고, 39개(74%)의 논문이 신뢰할 수 있는 것으로 나타났습니다. 이는 또한 대규모 메타 연구를 실행할 수 있을 만큼 충분한 HPE 연구에서 어떤 식으로든 DA를 사용했음을 시사합니다. 
We first conducted a pilot search to test our provisional search strategy, refine our research questions and help us plan the scope of the review. We conducted this pilot search using Google Scholar in anonymous mode with the terms [‘document research’ AND ‘medical education’] on 15 July 2021. This returned 261 articles, of which the first 50 were analysed for relevance, identifying six articles (12%). Learning from this, we then conducted a second pilot search using PubMed and [‘document analysis’ AND ‘medical education’] on 16 July 2021, which returned 53 articles. Screening for relevance, 14 articles were excluded as not being relevant to HPE, leaving 39 (74%) that seemed credible. This also suggested that sufficient HPE studies had used DA in some way to render a larger meta-study viable.

전체 검색을 위해 사서와 협력하여 검색 전략을 수립했습니다. 사서의 추천에 따라 범위를 '의학교육'에서 HPE에 대한 보다 광범위한 용어로 확장하고(부록 1a-1c 참조), MEDLINE, CINAHL, Scopus 및 ERIC을 포함하도록 검색을 확대했습니다. Google Scholar는 제외되었으며, 연구에 입력된 논문의 양과 일관성을 관리하기 위해 2000년 1월부터 2021년 10월까지 발표된 영어 논문으로 검색을 제한했습니다. 전체 검색 결과 1298개의 논문이 검색되었으며, 이 단계에서 285개의 중복 논문을 제거했습니다. 그런 다음 인용문을 Excel로 가져왔습니다. 
For our full search, we worked with a librarian to create a search strategy. On their recommendation, we expanded the scope from ‘medical education’ to a set of broader terms for HPE (see Supplementary Appendices 1a–1c), and we expanded the search to include MEDLINE, CINAHL, Scopus and ERIC. Google Scholar was omitted, and we limited the searches to English-language papers published from January 2000 to October 2021 as a way of managing the quantities and coherence of the papers entered into the study. This full search resulted in 1298 articles; 285 duplications were removed at this stage. Citations were then imported into Excel.

그런 다음 각 저자는 전체 텍스트를 읽기 전에 논문 그룹을 필터링하고, 라벨을 붙이고, 제목과 초록을 선별하여 포함하거나 제외한 이유에 대한 의견을 작성했습니다. 이 단계에서 의학 교육에 관한 논문이 아닌 경우, DA를 포함하지 않는 방법론이 포함된 경우, 문서를 참조했지만 해당 문서를 분석하지 않은 경우(예: 논평), 인터뷰 녹취록만 분석한 경우, 영어로 된 논문이 아닌 경우 논문을 제외했습니다. 논평이나 오피니언 기사는 DA와 관련된 내용일 경우 포함했습니다. 
Each author then took a group of articles to filter, label and make comments on why she included or excluded them on title and abstract screening, before full-text reading. At this stage, we excluded articles if they were not on healthcare education, if they involved methodologies that did not include DA, if they referred to documents but did not analyse these documents (such as in commentaries), if the analysis was only of interview transcripts or if they were not in English. We included commentaries or opinion articles when they involved some sort of DA.

파일럿 검색을 통해 얻은 인사이트를 바탕으로 연구 질문 1과 2를 해결하기 위해 데이터 추출은 다음에 중점을 두었습니다.

• DA가 사용된 정도,
• DA의 목적,
• 사용된 DA 방법과 DA 적용 및 보고의 엄격성,
• 사용된 문서의 범위와 유형,
• 연구 질문 해결에 있어 DA의 유용성

이러한 초기 연역적 주제에 매핑된 데이터 추출 도구를 반복적으로 개발했습니다. 또한 Siegner 등이 제시한 정성적 DA의 유형을 참고했습니다.

• 맥락(문서가 연구 질문이나 문제에 대한 관련 배경을 제공함),
• 삼각측량(문서가 다른 데이터를 확증하는 수단으로 사용됨),
• 1차 출처(연구용 데이터),
• 연구 대상(사회적 맥락에서 특정 문서의 역할과 기능)

Based on the insights gained from the pilot search and to address study questions 1 and 2, data extraction focused on

• the extent to which DA had been employed,
• the purpose of DA,
• the DA methods used and the rigour with which DA was applied and reported;
• the range and types of documents used; and
• the utility of DA in addressing the research question.

We iteratively developed a data extraction tool mapped to these initial deductive themes. We also drew on Siegner et al’s31 typology of qualitative DA:

• contextual (documents provide relevant background on the research question or problem),
• triangulation (documents are used as a means of providing corroborating other data),
• primary source (the data for a study) and
• object of the research (the role and function of a specific document in its social context).

세 명의 저자가 처음 몇 개의 논문을 코딩하고 도구로 데이터를 추출한 후, 데이터 추출 도구의 흐름과 명확성을 위해 수정한 다음 선택한 모든 논문에 적용했습니다(보충 부록 2 참조). 이 도구는 추출 데이터의 추적 및 대조가 가능하도록 Qualtrics(유타주 프로보)를 사용하여 제공되었습니다. 
Following the coding of the first few articles and data extraction into the tool by all three authors, the data extraction tool was modified for flow and clarity and then applied to all selected articles (see Supplementary Appendix 2). The tool was delivered using Qualtrics (Provo, UT) to allow for tracking and collation of extraction data.

데이터 추출이 완료되면 Qualtrics에서 리뷰를 다운로드하고 구조화된 응답을 표로 만들고 구조화되지 않은 응답을 대조했습니다. 세 팀원 모두 비정형 응답을 읽고 주요 이슈와 우려 사항을 코딩했습니다. 이 단계는 귀납적이고 해석적이며 반사적인 방식으로 진행되었으며, DA 상태에 대한 초기(선입견) 믿음을 코딩의 출발점으로 삼아 이후 데이터와의 접촉, 회의 및 토론을 통해 이러한 믿음을 지속적으로 재구성했습니다.32 
Once the data extraction was complete, the reviews were downloaded from Qualtrics, the structured responses tabulated and the unstructured responses collated. All three team members read through the unstructured responses and coded for key issues and concerns. This step was inductive, interpretive and reflexive, using our initial (preconceived) beliefs about the state of DA as the starting point for coding and reconstructing these beliefs continuously through subsequent contact with the data, meetings and discussions.32

3 결과
3 RESULTS

검색을 통해 확인된 1013개의 논문 중 898개의 논문이 포함 기준을 충족하지 못했습니다. 그 결과 115개의 논문이 리뷰에 포함되었습니다(리뷰 코퍼스를 구성하는 논문 목록은 그림 1 및 부록 3 참조). 
Of the 1013 articles identified from the search, 898 did not meet our inclusion criteria. This left 115 articles for inclusion in the review—see Figure 1 and Supplementary Appendix 3 for the list of articles that made up the review corpus.

56편의 논문은 의학 교육(n = 20), 보건 과학 교육 발전(n = 9), 의료 교사(n = 9), 학술 의학(n = 6), 전문직 간 진료(n = 4), BMC 의학 교육(n = 5), 의학 교육에 대한 관점(n = 3, 이 저널은 2012년까지 영어로 출판되지 않음), 그리고 다양한 간호 저널에 20편의 논문이 추가로 실렸습니다. 몇몇 논문은 의학 전문 학술지(n = 10)에, 나머지는 다양한 기타 학술지에 게재되었습니다. 2000~2010년(n = 19)에 비해 2011~2021년(n = 96)에 DA 사용을 보고한 논문 수가 크게 증가했습니다. 63편의 논문은 단일 방법(DA만)이었고, 나머지는 혼합 방법 연구(MMR)였습니다. 이 중 22개는 DA와 인터뷰, 나머지 8개는 인터뷰와 포커스 그룹을 포함했습니다. 7건은 일반적으로 인터뷰와 함께 DA 및 설문조사 데이터를 포함했습니다(DA 및 설문조사 데이터만 사용한 논문은 1건뿐). 여러 연구에서 DA, 인터뷰(개별 또는 포커스 그룹), 관찰 등 다양한 데이터 소스를 사용했습니다. 저희가 확인한 연구 중 5건은 특정 정보를 찾기 위해 문서를 면밀히 검토한 후 설명적 또는 통계적 분석을 거친 정량적 연구였습니다. 
Fifty-six articles were in HPE journals including Medical Education (n = 20), Advances in Health Sciences Education (n = 9), Medical Teacher (n = 9), Academic Medicine (n = 6), The Journal of Interprofessional Care (n = 4), BMC Medical Education (n = 5) and Perspectives on Medical Education (n = 3, note this journal did not publish in English until 2012), plus an additional 20 articles in various nursing journals. Several articles were published in medical specialty journals (n = 10), and the remainder, in diverse other journals. There was a significant increase in the number of articles published reporting the use of DA in the period 2011–2021 (n = 96) compared to 2000–2010 (n = 19). Sixty-three articles were single method (DA only), and the others were mixed methods research (MMR). Of these, 22 involved DA and interviews, and a further eight involved interviews and focus groups. Seven included DA and survey data, usually along with interviews (only one paper used DA and survey data only). Several studies used many different sources of data, such as DA, interviews (individual or focus groups) and observations. Five of the studies we identified were quantitative, scrutinising documents for specific information, which was then subject to descriptive or statistical analysis.

문서 말뭉치, 연구 목적, 방법, 연구 결과, 문서 분석의 이론 및 메타학문 측면에서 메타 연구 내러티브 종합을 보고합니다.
We report our meta-study narrative synthesis in terms of the document corpus, purposes, methods, findings and theory and metascholarship in document analyses.

문서 코퍼스
Document corpus

먼저 DA에 입력된 문서, 즉 '문서 말뭉치'(보충 부록 3)부터 시작합니다. 연구 이전에 존재했던 문서(예: 회의록 및 정책 문서)와 연구의 일부로 생산된 문서(예: 현장 노트 및 일기 항목)를 분석하는 데 한 가지 차이점이 있습니다. Charmaz33은 전자의 경우 '현존하는 텍스트'라는 용어를, 후자의 경우 '도출된 텍스트'라는 용어를 사용했습니다. 저희가 검토한 논문 중 단 2개(<2%)만이 연구에서 도출된 데이터를 사용했습니다. Voogt 등34은 정책 문서와 함께 참여자 QI 프로젝트 자료를 분석했고, Ruiz-Lopez 등35은 참여자의 저널을 분석했습니다. 인터뷰 녹취록과 같이 연구에서 생성된 데이터는 포함하지 않았습니다. 
We start with the documents that were entered into the DA; the ‘document corpus’ (Supplementary Appendix 3). One distinction was between the analysis of documents that pre-existed the research (e.g., meeting minutes and policy documents) and documents that were produced as part of a study (e.g., field notes and diary entries). Charmaz33 used the term ‘extant text’ for the former and ‘elicited text’ for the latter. Only two (<2%) of the articles we reviewed used study-elicited data. Voogt et al.34 analysed participant QI project materials (alongside policy documents) and Ruiz-Lopez et al.35 analysed participants' journals. Note that we did not count study-generated data such as interview transcripts.

둘째, 문서 선정 방법, 포함된 문서 수, 분석된 문서의 특성에 대한 정보가 광범위하게 부족했습니다. 실제로 어떤 문서가 사용되었는지(또는 왜 포함되었는지 또는 어떻게 분석되었는지) 보고하지 않은 연구도 있었습니다(예: Brosnan36).

• 다음은 이러한 세부 사항 부족의 대표적인 예입니다: '검토 대상인 전문 규제 측면과 관련된 정책 보고서 또는 논평에 해당하는 텍스트가 포함된 경우'(731쪽).37
• 또 다른 예로, Wong38 은 다음과 같이 언급했습니다: '이용 가능한 모든 부서 및 프로그램 문서를 검토했다'(1211쪽)고 말했지만, 문서가 무엇인지, 문서 수가 얼마나 되는지, 그 밖의 다른 내용은 설명하지 않았습니다.
• 마찬가지로 '핵심 문서'라는 문구가 문서 포함에 대한 유일한 정당화였습니다. 그러나 이러한 핵심 문서가 무엇이고 왜 핵심 문서인지에 대한 정보가 없으면 포함된 문서의 품질이나 적절성을 평가할 근거가 없습니다. 

Secondly, there was a broad deficit of information on how documents were selected, on how many documents were included and on the characteristics of the documents analysed. Indeed, some studies did not report what documents were used (or indeed why they were included or how they were analysed, e.g., Brosnan36).

• The following typifies this lack of detail: ‘texts were included if they constituted policy reports or commentary concerned with those aspects of professional regulation of concern to the review’ (p. 731).37 
• As another example, Wong38 stated: ‘all available departmental and programme documents were examined’ (p. 1211) but did not describe what they were, how many there were, or anything else about them.
• Similarly, the phrase ‘key documents’ was the only justification for document inclusion. However, without information as to what these key documents were and why they were key, there are no grounds on which to assess the quality or appropriateness of the included documents.

DA 말뭉치의 구성에 대한 세부 정보가 부족하기 때문에, 우리가 말할 수 있는 것은 다음과 같은 대략적인 범주에 속하는 문서들이 포함되었다는 것입니다:
Given the lack of detail on the makeup of the DA corpus, the most we can say is that documents approximated to the following broad categories:

목적
Purposes

• Siegner 등의 유형학을 사용하여 31개의 논문에서 삼각 측량 목적으로 DA를 사용한다고 명시적으로 설명했거나, 명시적으로 설명하지 않은 경우 전체 논문을 읽은 후 문서 사용을 그렇게 해석했습니다.
  • 예를 들어, Hawick 외.25는 다음과 같이 말했습니다: '문서 분석의 목적은 다양한 데이터 소스와 방법을 사용하여 수렴과 확증을 추구하는 것이었다'.
• 20개의 기사에서 문서가 맥락적 목적으로 사용된 것으로 보였습니다.
• 그보다 적은 수(n = 16)의 논문이 문서를 연구 대상으로 사용했으며, 이들은 담화 분석 연구인 경향이 있었습니다.
• 나머지 논문(n = 48)에서는 사실 또는 맥락에 대한 주요 참고 자료로 문서가 사용되었습니다(우리가 알 수 있는 한).
  • 예를 들어 보그스트롬 등43은 포트폴리오 콘텐츠를 조사하여 직업적 가치에 대한 언급을 식별하고 분석했습니다.
  • 앤더슨과 갈리아르디44는 여성 건강 커리큘럼에 대한 내용 분석을 수행하여 관련 커리큘럼 내용을 파악했습니다.
  • Waterval 등45 은 다양한 문서의 내용을 사용하여 연구 질문에 대한 정보를 얻었습니다.
• Using Siegner et al’s typology, 31 articles either explicitly described using DA for triangulation purposes or, where this was not made explicit, on reading the full article, we interpreted their use of documents as such.
  • For example, Hawick et al.25 stated: ‘The aim of document analysis was to seek convergence and corroboration through the use of different data sources and methods’.
• In 20 articles, documents seemed to be used for contextual purposes.
• Fewer (n = 16) used documents as the object of the research, and these tended to be discourse analysis studies.
• In the other articles (n = 48), documents had been used (as far as we could tell) as primary reference sources on factual or contextual matters.
  • For example, Borgstrom et al.43 examined portfolio content to identify and analyse references to professional values.
  • Anderson and Gagliardi44 conducted a content analysis of women's health curricula to identify relevant curriculum content.
  • Waterval et al.45 used the content of various documents to inform their research questions.

방법
Methods

문서에서 데이터를 추출하는 방법은 설명이 부족하고 모호한 경우가 많았습니다. 예를 들어, Sirili 등은46 탄자니아 교육 개혁의 정책 과정과 결과를 분석하는 데 사용한 문서를 명확하게 나열했습니다. 그러나 문서 데이터를 어떻게 관리하고 분석했는지에 대한 정보는 논문에서 찾아볼 수 없었습니다.

• 35편(30%)의 논문이 내용 분석, 프레임워크 분석 또는 주제 분석을 사용했다고 보고했지만, 이는 주로 기본적인 사실이나 세부 사항을 추출하는 데 그쳤으며, 권위나 명료성에 거의 주의를 기울이지 않았고 이러한 분석 기법의 사용 간에 별다른 차이를 발견할 수 없었습니다.
• 29개(25%) 논문은 어떤 종류의 담론 분석을 사용했다고 밝혔고, 24개(21%) 논문은 분석 접근법이나 방법론을 사용했다고 언급하지 않았습니다.

예를 들어, Fealy 외.37는 '검색된 모든 텍스트에 대해 문서 분석을 수행했다'(731페이지)고 명시했지만, 어떤 분석을 수행했는지에 대한 자세한 내용은 제공하지 않았습니다. 나머지 논문은 템플릿 분석(예: Chenot 및 Daniel47), 키워드 매칭(예: Wong 외.48) 등 다른 접근법을 사용했습니다.
How data were extracted from documents was often under-described and ambiguous. For example, Sirili et al.46 clearly listed the documents they used to analyse the policy process and outcomes of training reform in Tanzania. However, any information on how they managed and analysed the document data was lacking in the paper.

• Thirty-five articles (30%) reported using content, framework or thematic analyses, although this was often limited to extracting basic facts or details with little attention to their authority or articulation, and we found little distinction between the use of these analytic techniques.
• Twenty-nine (25%) articles stated that they used some kind of discourse analysis, while twenty-four (21%) did not mention having used any analysis approach or methodology.

For example, Fealy et al.37 stated ‘Documentary analysis performed on all retrieved texts’ (p. 731) but did not provide any detail of what was done. The remaining articles employed other approaches, including template analysis (e.g., Chenot and Daniel47) and keyword matching (e.g., Wong et al.48).

MMR 논문에서 대부분의 저자는 DA 사용에 대한 설명에 비해 그들이 사용한 다른 방법에 대해 훨씬 더 실질적인 설명을 제공했습니다. 예를 들어, 인터뷰와 문서를 데이터로 사용한 MMR 연구에서는 인터뷰 질문, 인터뷰 대상자, 인터뷰 횟수, 인터뷰 데이터 분석에 대해 명시적으로 설명한 반면, 문서에 대한 세부 사항(샘플링 방법 포함) 및 분석에 대한 설명은 부족했습니다. 예를 들어, 서덜랜드 등49 은 포커스 그룹의 수와 기간, 참가자 수, 포커스 그룹 데이터 분석에 대한 접근 방식을 명시했지만 문서의 수나 문서의 내용, 분석 방법에 대해서는 언급하지 않았습니다(질적 데이터 관리 소프트웨어에 문서를 입력했다고만 명시). 결과 섹션에는 문서 데이터가 제시되지 않았습니다. 다른 논문에서는 저자가 접근 방식을 구성하거나 수행한 방법을 설명하지 않고 단순히 문서 분석 접근 방식을 사용했다고 언급했습니다.
In the MMR articles, most authors provided much more substantive descriptions of the other methods they had used compared to their descriptions of using DA. For example, in MMR studies that used interviews and documents as data, the interview questions, who was interviewed, the number of interviews and interview data analysis were explicitly described, while parallel details about documents, including how they were sampled, and their analysis were lacking. To illustrate, Sutherland et al.49 specified the number and length of their focus groups, the number of participants and their approach to focus group data analysis but made no mention of the number of documents or what these were or how they were analysed (stating only that documents were entered into qualitative data management software). No document data were presented in the results section. In other articles, authors simply mentioned using a document analytic approach rather than describing how the approach was configured or conducted.

위에서 언급한 바와 같이, 29개 논문(25%)은 담화 분석 접근법을 사용했다고 명시적으로 언급했습니다. 그러나 전체 텍스트를 읽어보면 이러한 분석의 대부분은 내용 분석 또는 주제 분석으로 더 정확하게 설명할 수 있습니다. 비판적 담화 분석을 사용했다고 명시한 논문(n = 22) 중 19편이 푸코주의적 관점을 사용했으며, 이 중 16편은 같은 기관에 소속된 저자의 논문이었습니다. 담론 분석 논문에서는 대상 또는 객체와 다른 데이터와의 삼각 측량으로 처리된 문서를 검토했으며, 방법론적 지향이 명시되어 있어 엄밀성과 방법론적 일관성이 논의되고 분명했습니다.
As stated above, 29 articles (25%) explicitly stated that they took a discourse analysis approach. However, when we read the full texts, many of these analyses would be more accurately described as content or thematic analysis. Of those articles which were explicit about using critical discourse analysis (n = 22), 19 used a Foucauldian perspective and 16 of these were from authors associated with the same institution. In the discourse analysis articles, we reviewed documents that were treated as object or object plus triangulation with other data, and, as they had an explicit methodological orientation, rigour and methodological coherence was both discussed and apparent.

연구 결과 및 논의
Findings and discussions

검토한 논문 중 연구 결과의 맥락에서 문서나 그 내용을 명시적으로 설명한 논문은 거의 없었습니다. 오히려 제시된 증거는 고도로 일반화되었거나 MMR 연구의 경우 다양한 지식 주장을 설명 또는 방어하기 위해 다른 방법론적 흐름(예: 인터뷰 데이터)에서 주로 파생된 것이었습니다. 실제로 방법 섹션에서는 문헌을 언급했지만 결과나 논의에서는 명시적으로 언급하지 않은 경우도 있었습니다(예: 50). 유일한 예외는 문서가 유일한 데이터 소스인 담론 분석 기사였습니다. 고찰 섹션에서도 마찬가지로 문서의 품질, 중요성 또는 기타 특성이 연구 결과의 시사점, 추가 연구에 대한 시사점 또는 연구의 한계와 거의 고려되지 않았거나 연결되지 않았습니다. 이는 권위 있는 출처로서의 문서에 대한 신뢰도가 낮거나, 특히 MMR 연구에서 DA 스트림에 대한 연구자들의 일반적인 사각지대가 반영된 결과라고 볼 수 있습니다.
Very few of the articles we reviewed explicitly described their documents, or the content thereof, in the context of their findings. Rather, the evidence presented was either highly generalised or, in the case of MMR studies, largely derived from other methodological streams (e.g., interview data) to illustrate and/or defend their various knowledge claims. Indeed, at times documents were referred to in the methods section but not referred to explicitly in the results or discussion (e.g.,50). The only exceptions to this were the discourse analysis articles where documents were the lone data source. Similarly in discussion sections, the quality, significance or other characteristics of documents were rarely considered or linked to the implications of findings, implications for further research or limitations of the study. This suggests either a lower sense of confidence in documents as sources of authority or a further reflection of the common blind spots researchers have had regarding DA streams, particularly within MMR studies.

이론과 메타학술성
Theory and Metascholarship

대부분의 논문(담화 분석 제외)은 DA 이론이나 방법론적 문제에 대한 근거가 거의 또는 전혀 없었습니다. 대부분 DA 방법론은 이를 뒷받침하기 위해 방법론적 출처를 한두 번 인용하면서 언급되었는데, 가장 흔한 출처는 Bowen이었습니다.11 이러한 무성의함은 어떤 문서가 있는지, 문서와 관련된 연구자의 입장, DA 방법론의 도전과 논쟁 등에 대한 관심이 부족하다는 것을 반영합니다. 
Most articles (discourse analyses excepted) had little or no grounding in DA theory or methodological concerns. Mostly, DA methodology was stated with one or two citations to a methodological source to back it up, most commonly Bowen.11 This casualness reflected a lack of attention to what documents might be, the position of the researcher in relation to the documents, the challenges and debates in DA methods and so forth.

또한 담론 분석 방법을 사용하는 논문과 커리큘럼 개혁에 초점을 맞춘 논문 중 이론적 렌즈를 사용하여 분석한 논문은 소수에 불과했습니다. 예를 들어, 

• Ellaway 등은 담화 분석을 위해 Gee의51 개념적 틀을 사용했고,
• Razack 등은40 '푸코, 부르디외, 바흐친, 고프만의 성과 이론'을 활용했으며,
• Hawick 등은25 데이터의 측면을 강조하기 위해 '사악한 문제' 프레임워크52 를 적용했습니다.

Moreover, only a few articles, typically but not always those employing discourse analysis methods and those focused on curriculum reform, used a theoretical lens in their analysis. For instance,

• Ellaway et al. used Gee's51 conceptual framing for discourse analysis,
• Razack et al.40 drew on ‘Foucault, Bourdieu and Bakhtin … and the performance theories of Goffman’, while
• Hawick et al.25 applied the ‘wicked problem’ framework52 to highlight aspects of their data.

HPE 학자들은 학문적 연구에 더 많은 이론적 지향성을 요구해 왔으며,53 특히 그렇게 하지 않으면 연구 결과의 개념적 일반화 가능성이나 이전 가능성이 제한되기 때문입니다.54 일부 방법론이 이러한 요구에 부응했지만, 아직까지 DA에 실질적인 영향을 미치지는 않은 것으로 보입니다. 또한 DA 이론, DA 방법 또는 DA 과학 전체에 대한 기여에 대한 실질적인 고려는 거의 찾아볼 수 없었습니다. 
HPE scholars have called for more theoretical orientation to scholarly work,53 not least because not doing so limits the conceptual generalisability or transferability of findings.54 While some methodologies have responded to this call, it seems that this has not yet touched DA in any substantial way. We also note that we found almost no substantive consideration of contributions to DA theory, DA methods or DA science as a whole.

예외
Exceptions

많은 누락에도 불구하고 DA를 수용하고 이를 잘 보도한 기사도 몇 개 발견했습니다. 그 중 눈에 띄는 논문은 Sundberg 등의 논문이었습니다.55 저자들이 사용한 문서뿐만 아니라 길이를 포함한 문서의 특성을 설명하는 방식에 감사했습니다. 또한 인터뷰와 문서 모두에 사용된 분석 접근 방식을 명시하고 분석의 각 측면에 대해 인터뷰 데이터와 문서 데이터를 모두 제시했습니다. 마지막으로, 연구진은 연구 질문과 관련된 소규모 문서 코퍼스의 한계에 대해 인정했습니다. 
Despite the litany of omissions, we found some articles that had embraced DA and reported it well. One example which stood out was a paper by Sundberg et al.55 We appreciated the way the authors specified not only the documents they used but also described the characteristics of the documents, including the length. They also specified the analysis approach used for both their interviews and the documents and presented both interview and document data for each aspect of their analysis. Finally, they acknowledged possible limitations of the small corpus of documents relevant to their research question.

4 토론
4 DISCUSSION

HPE 연구 논문에서 DA는 어떻게 접근했습니까?
How has DA been approached in HPE research articles?

DA 연구에 사용된 문서는 기본 데이터 소스가 아닌 맥락적 및 삼각 측량 목적으로 자주 사용되었습니다. 즉, 대부분의 논문에서 문서를 정적이고 '유순한' 지식의 저장소로 개념화하여

• 문서가 '무엇을 하는가'보다는
• 문서가 무엇을 '말하는가'(내용),
• 문서가 어떻게 말하는가를 조사했습니다.8

We found that documents in DA studies were frequently used for contextual and triangulation purposes, not as a primary data source. This meant that most articles conceptualised documents as static and ‘docile’ containers of knowledge, examining

• what documents ‘say’ (content) and
• to a lesser extent how they say it,
• rather than what documents ‘do’.8 

이러한 차이점에는 연구자가 문서에 관여하는 방식에 대한 암묵적인 변증법이 존재했습니다.

• 한편으로, 문서는 실험적으로 도출된 데이터와 유사한 방식으로 수집, 처리 및 분석되는 1차 데이터로 접근할 수 있습니다.
• 반면에 문서는 그 내용, 표현 방식, 권위에 대한 논란이 있을 수 있으므로, 덜 비판적이거나 직접적인 방식으로 접근할 수 있으며,
• 엄격하게 데이터로 간주되기보다는, 데이터를 성찰하는 데 사용될 수 있습니다. 

There was an implied dialectic of researcher engagement with documents in these differences.

• On the one hand, documents may be approached as primary data that are collected, treated and analysed in similar ways to experimentally derived data.
• On the other hand, documents may be approached in a less critical or direct way such that their content, articulation and authority are moot, and they are used to reflect on data rather than being strictly considered as data.

문서의 내용을 조사하는 것도 분명 의미가 있지만, 문서의 의미나 중요성을 이해하는 데는 문서 작성, 생산 및 소비의 사회적, 물질적 현실이 매우 중요할 수 있다고 생각합니다. 이는 문서를 다음으로 취급해야 한다는 주장을 반영한 것입니다. 

• 자원(독자에게 특정 환경, 조직, 사건 또는 사람에 대해 알려주는 의미, 정보원)으로서,
• 독립적인 인공물로서,56 그리고
• 잠재적으로 여러 온톨로지를 가진 '사회적 위치의 산물'(Scott57, 34쪽)