CARDA: 보건전문직교육 연구에서 문헌분석의 가이드 (Med Educ, 2022)
CARDA: Guiding document analyses in health professions education research
Jennifer Cleland1 | Anna MacLeod2 | Rachel H. Ellaway3

1 소개
1 INTRODUCTION

'태초에 말씀이 계시니라'. 요한복음 1:1-3
‘In the beginning was the Word’. John 1:1–3

우리는 문서를 만들고, 문서를 사용하고, 문서를 보관하고, 문서를 주고받습니다. 집과 사무실에 있는 문서, 휴대하고 다니는 문서, 컴퓨터와 기타 디지털 기기에 있는 문서가 있습니다. 보내는 문서와 받는 문서가 있습니다. 현대 사회에 대한 우리의 지식과 현대 사회와의 상호 작용은 상당 부분 문서에 의해 매개됩니다. 정책 및 절차, 회의록, 보고서, 커리큘럼 맵, 시험지, OSCE 스테이션, 학습 사례 및 시뮬레이션 스크립트 등 수많은 문서를 생성하고 이를 통해 재인용되는 보건 전문직 교육(HPE)도 예외는 아닙니다. 문서는 HPE에 관련된 사람들의 일상적인 경험을 구조화하며, '어떤 것은 존재하게 하고 어떤 것은 부재하게 하며, 어떤 것은 보이게 하고 어떤 것은 보이지 않게 하는'(182페이지) 도구 역할을 합니다.1 
We make documents, we use documents, we keep documents and we exchange documents. There are documents in your home and in your office, documents you carry with you and documents on your computer and other digital devices. There are documents you send and documents you receive. Our knowledge of and interactions with contemporary society are substantially mediated by documents. Health professions education (HPE) is no outlier in this regard as it generates and is reinscribed through, its many documents, including policies and procedures, meeting notes, reports, curriculum maps, examination papers, OSCE stations, learning cases and simulation scripts. Documents structure the everyday experiences of those involved in HPE, and they serve as tools ‘through which some things are made present, and others absent, some things visible and others invisible’ (p. 182).1

문서는 연구 관점에서 풍부한 정보를 제공할 수 있습니다. 실제로 문서는 과거 사건을 이해하는 데 있어 가장 좋은, 때로는 유일한 데이터 소스인 경우가 많습니다(예: 2). 마찬가지로 현재에도 사람, 사건, 사회적 관계, 권력에 대한 지식의 대부분은 문서를 통해 간접적으로 얻게 됩니다. 스미스3는 이를 '이러한 형태의 사회를 통치, 관리 및 운영하는 관행의 기본이 되는'(257쪽) '문서적 실재'라고 설명했습니다.
Documents can provide a wealth of information from a research perspective. Indeed, documents are often the best, and sometimes the only, source of data for understanding past events (e.g.,2). Similarly, in the present, much of our knowledge of people, events, social relations and powers arises indirectly, through documents. Smith3 described this as ‘documentary reality’ that ‘is fundamental to the practices of governing, managing and administration of this form of society’ (p. 257).

문서가 우리 주변에 존재함에도 불구하고(그리고 부분적으로는 그 때문에) 문서가 무엇인지, 또는 문서가 되어야 하는지에 대한 하나의 표준적이거나 포괄적인 정의는 없으며, 오히려 문서가 무엇인지에 대한 다양한 담론이 존재합니다. 예를 들어, 문서는 물리적 물건으로 정의될 수도 있고,4 정보 소스5로 정의될 수도 있으며,6 탐구 행위를 통해 탄생할 수도 있습니다(상자 1 참조).
Despite their ambient presence (and perhaps in part because of it), there is no one canonical or overreaching definition of what documents are or should be; rather, there are different discourses of what documents can be. For instance, a document can be defined as a physical item,4 an informational source5 or brought into being by the act of inquiry6—see Box 1.

박스 1: 문서란 무엇인가요?
Box 1: What is a document?

문서가 무엇인지, 또는 문서가 되어야 하는지에 대한 표준적이고 포괄적인 정의는 없으며, 문서가 무엇일 수 있는지에 대한 다양한 담론이 존재합니다. 문서는 텍스트 본문일 수도 있고, 텍스트 내용 외에 연구자가 관심을 가질 만한 특성(예: 이미지, 주석 또는 상호 참조의 사용)이 있는 인공물일 수도 있습니다. 오리어리4는 문서를 다음과 같이 분류했습니다:
There is no one canonical or overreaching definition of what documents are or should be; rather, there are different discourses of what documents can be. They can be bodies of text or they can be artefacts with qualities of interest to researchers beyond their textual content (such as the use of images, annotations or cross-references). O'Leary4 classified documents as follows:

• 공공 기록: 조직의 활동에 대한 공식적이고 지속적인 기록. HPE의 예로는 학생 성적표, 사명 선언문, 연례 보고서, 매뉴얼, 학생 핸드북, 전략 계획 및 강의 계획서 등이 있습니다.
  
• 개인 문서: 개인의 행동, 경험 및 신념에 대한 1인칭 서술. 예를 들면 달력, 이메일, 스크랩북, 블로그, Facebook 게시물, 근무일지, 사건 보고서, 반성문/일기, 신문 등이 있습니다.
  
• 물리적 증거: 연구 환경 내에서 발견된 물리적 물체. 예를 들면 전단지, 이메일, 포스터, 의제, 핸드북, 교육 자료 등이 있습니다.
• Public Records: The official, ongoing records of an organisation's activities. Examples from HPE include student transcripts, mission statements, annual reports, manuals, student handbooks, strategic plans and syllabi.
• Personal Documents: First-person accounts of an individual's actions, experiences and beliefs. Examples include calendars, e-mails, scrapbooks, blogs, Facebook posts, duty logs, incident reports, reflections/journals and newspapers.
• Physical Evidence: Physical objects found within the study setting. Examples include flyers, emails, posters, agendas, handbooks and training materials.

HPE의 맥락에서는 다음으로 구분할 수 있습니다(Ellaway 외., 2019).

• 교육 과정의 일부로 작성된 문서(예: 프로그램 평가, 강의 계획서 및 커리큘럼),
• 교육 과정에서 작성되었지만 교육 목적이 아닌 문서(예: 개인 파일, 조직 정책 및 웹사이트),
• 의학교육과 무관하게 작성된 문서(예: 소셜 미디어 게시물, TV 또는 영화 대본)

문서는 생성 방법과 목적, 보존 또는 큐레이션 방법, 캡처한 미디어, 생성 이후 복사, 필사, 편집 또는 수정 여부에 따라 다를 수 있습니다.
In the context of HPE, we might differentiate between

• documents that were created as part of educational processes (e.g., program evaluations, syllabi and curricula),
• documents created in education but not for educational purposes (e.g., personal files, organisational policies and websites), and
• documents created outside of medical education altogether (e.g., social media posts, TV or film scripts) (Ellaway et al., 2019).

Documents can differ in how they were produced and for what purposes, as well as how they were preserved or curated, what media they were captured on and whether they have been copied, transcribed, edited or redacted since their creation.

문서는 중립적인 것이 아니라 사회적으로 구성된 것입니다.7 문서의 사회성에 주목하면 누가, 어떤 목적으로, 어떤 맥락/사회적 위치에서 문서를 만들었는지에 주목하게 됩니다. 다시 말해, 문서는 단순히 문서에 포함된 정보 그 이상이며, 문서가 무엇을 나타내는지, 그리고 문서가 해석되고 사용될 수 있는 무수한 방식에 관한 문제이기도 합니다. 
Documents are not neutral, they are socially constructed.7 Attending to the sociality of documents focuses attention on who created it, for what purposes and in what context/social situatedness. In other words, a document is more than the information it contains; it is also a matter of what it represents and the innumerable ways in which it might be interpreted and used.

연구자는 각 연구의 맥락에서 문서가 의미하는 바를 정의해야 합니다. Prior8는 ''문서'라는 단어는 어떤 종류의 물리적 또는 전자적 용기를 나타내는 명사로 사용되는 경향이 있지만... 어떤 대상을 문서로 표시하는 것은 그것이 담고 있는 내용이나 물리적 또는 전자적 형식이 아니라 정보의 전달자로서의 역할과 사용'이라고 주장했습니다(Briet9 및 Lund 참조).10 반면에 Ricoeur는 문서를 탐구 행위로 인해 생겨난다고 설명했습니다.6 이는 과학적 탐구에서 데이터의 정의와 더 일치하는데, 합법적인 출처의 독점 목록보다는 선택 및 분석 행위가 더 중요하다는 점입니다. 
Researchers need to define what they mean by documents in the context of each study. Prior8 argued that ‘[T]he word “document” tends to be used as a noun to denote a physical or electronic container of some kind … however, what marks an object as a document is not what it contains nor its physical or electronic format, but its role and use as a conveyor of information’—see also Briet9 and Lund.10 Ricoeur on the other hand described documents as brought into being by the act of inquiry.6 This is more consistent with a definition of data in scientific inquiry: acts of selection and analysis matter more than exclusive lists of legitimate sources.

문서 분석(DA)은 일반적으로 텍스트 및/또는 이미지가 포함된 인쇄 또는 전자 문서를 포함하는 체계적인 연구를 포괄하는 용어입니다.11 DA는 연구 참여자로부터 정보를 직접 도출하지 않으므로 참여자의 반응이나 행동 변화 가능성을 제거하므로 비교적 방해가 적습니다.12 DA는 [과거 사건에 대한 역사적 분석과 비판적 이론적 관점의 표현]에서 [정책 및 이론 개발]에 이르기까지 다양한 용도로 사용될 수 있습니다. 그러나 많은 연구에서 문서가 엄격하고 논리적인 DA 방법론을 따르기보다는 '상대적으로 조용히 '현장'에 들어왔다가 나가는'(417쪽) 경향이 있습니다.5 구어에 비해 문서 기반 데이터를 과소평가하거나 DA 연구의 수행이나 보고에 거의 관심을 기울이지 않는 연구자들에 대한 비판도 있었습니다.13-16
Document analysis (DA) is an umbrella term for systematic research involving printed or electronic documents, typically containing text and/or images.11 It is relatively unobtrusive as it does not involve the direct elicitation of information from research participants and thus removes the potential for reaction or changed behaviour from participants.12 There are many possible uses of DA, ranging from historical analyses and articulations of critical theoretical perspectives on past events to policy and theoretical development. However, rather than following rigorous and logical DA methodologies, documents in many studies have tended ‘to enter and to leave the ‘field’ in relative silence’ (p. 417).5 There has also been criticism of researchers who under-privilege document-based data compared to the spoken word or who pay little attention to the conduct or reporting of DA studies.13-16

보건 전문직 교육(HPE) 실무, 토론 및 문화의 문서화 현실에 의도적으로 조율하고 DA를 사용하는 것은 HPE 연구에서 아직 개발되지 않은 풍부한 잠재력을 가지고 있으며, 이는 다른 연구자들이 더 깊이 탐구하도록 남겨둘 문제입니다. 그러나 이 연구의 계기가 된 것은 DA가 HPE 연구에서 제대로 개발되지 않아 엄밀성과 명확성이 부족하다는 가설이었습니다. 이 가설을 탐구하기 위해 메타 연구 검토 프로세스를 채택하여17 결과보다는 방법에 비판적으로 집중할 수 있었습니다. 따라서 이 연구는 더 나은 방법을 개척하기 위한 연구를 수행하기 위한 것이었습니다.18, 19 
Deliberately attuning to the documentary reality of health professions education (HPE) practice, debate and culture and the use of DA holds a wealth of untapped potential in HPE research, a matter that we will leave others to explore in more depth. However, the trigger for this study was our hypothesis that DA has been underdeveloped in HPE research, with a resulting lack of rigour and clarity. To explore this hypothesis, we employed a meta-study review process,17 which allowed for a critical focus on methods rather than on outcomes. As such, this study was about conducting research on research to pioneer better methods.18, 19

방법론적 입장과 다양한 절차적 방법의 집합으로서 DA에 초점을 맞추기 위해 메타 방법 접근법을 채택했습니다.20 우리의 목표는 HPE 문헌에서 DA의 현재 상태를 설명하고, DA에 참여하는 연구자를 지원하는 방법을 파악하고, 우리 분야의 다른 방법과 비교할 수 있는 방법론적, 분석적, 보고의 엄격성 표준을 제안하는 것이었습니다. 이를 통해 HPE에서 문서 정보에 기반한 연구의 품질을 개선하는 데 기여하고자 했습니다. 
Given our focus on DA both as a methodological stance and as a set of various procedural methods, we adopted a meta-method approach.20 Our aims were to describe the current state of DA in the HPE literature, to identify ways to support researchers engaging in DA and to propose standards of methodological, analytical and reporting rigour comparable to other methods in our field. Collectively, we sought to contribute to improving the quality of document-informed research in HPE.

이를 위해 다음과 같은 검토 질문을 던졌습니다:
To that end, the review questions were as follows:
1. HPE 연구 논문에서 DA는 어떻게 접근해 왔습니까?
2. HPER(보건 전문직 교육 연구)에서 현재 DA 관행의 강점과 약점은 무엇인가?
3. HPER에서 DA 관행을 강화하려면 무엇이 필요한가?
4. DA를 통해 해결할 수 있는 지식의 격차는 무엇입니까?

2 방법론
2 METHODS

DA의 방법론적 입장과 절차적 방법에 초점을 맞추다 보니 범위 검토 접근 방식을 취하게 되었을 수 있습니다. 그러나 범위 검토Scoping review는 '연구 활동의 범위, 범위 및 성격을 검토'하고 '기존 문헌의 연구 공백을 파악'할 수 있지만,21 연구 과정을 명시적으로 고려하는 메타 연구의 초점과 구체성이 부족합니다. 따라서 우리의 연구 설계는 메타 연구에서 inform되었으며,17 '실질적 영역에서 연구의 이론, 방법 및 데이터 분석을 면밀히 조사하는 분석, 그리고 새로운 지식 창출에 적용하는 마무리로 종합'(2페이지)을 포함합니다.

• 분석과 관련하여 우리의 목표는 연구 목적으로 사용된 문서가 식별, 기술, 관리 및 분석된 방식을 종합하고 해석하는 것이었습니다. 즉, 메타 연구는 사용된 DA 방법의 인식론적 건전성(지식의 원천으로서 문서의 표현과 문서에서 도출된 지식 또는 이를 기반으로 한 지식 사이의 일치와 일관성)과 방법론적 적절성에 초점을 맞추었습니다.
• 종합 측면에서, 우리의 목표는 특히 강점과 한계, 문헌의 동향, 우리 분야에서 DA의 수행과 보고가 어떻게 개선될 수 있는지에 중점을 두고 HPER의 DA 연구에 대한 증거에 기반한 설명에 도달하는 것이었습니다. 

Our focus on methodological stance and procedural methods in DA might have led us to take a scoping review approach. However, while scoping reviews can both ‘examine the extent, range and nature of research activity’ and ‘identify research gaps in the existing literature’,21 they lack the focus and specificity of meta-study, which explicitly considers research processes. Our study design was therefore informed by meta-study,17 which involves ‘analysis, the scrutiny of the theory, method, and data analysis of research in a substantive area, and culminates in synthesis, an application of that scrutiny to the generation of new knowledge’ (p. 2).

• With respect to analysis, our goal was to synthesise and interpret the ways in which documents used for research purposes had been identified, described, managed and analysed. This meant that our meta-study focused on the apparent epistemological soundness (an alignment and coherence between the articulation of documents as sources of knowledge and the knowledge that was derived from them or based upon them) and methodological appropriateness of the DA methods used.
• In terms of synthesis, our goal was to arrive at an evidence-informed description of DA research in HPER with a particular focus on its strengths and limitations, trends in the literature and how the conduct and reporting of DA in our field might be improved.

포지셔닝
Positionality

우리는 이 연구를 수행하면서 우리가 가져온 관점에 주목합니다. 이 연구는 HPER의 방법론과 이론에 대한 지속적인 논의를 바탕으로 개발되었으며, 처음에는 DA 연구를 수행한 저희의 경험을 바탕으로 했습니다.

• 보다 구체적으로, JC는 연구의 일환으로 문서 분석을 수행한 경험이 있고(예: Cleland 외.22, Patterson 외.23), 연구 내에서 DA를 사용한 박사 과정 학생을 감독한 경험이 있습니다(예: Coyle 외.24, Hawick 외.25).
• AM은 문제 기반 학습 연구(To 외.26 및 MacLeod 외1)와 리더십 직무 기술서 연구(Gorsky 외.27)에서 문서를 주요 소스로 사용하고 삼각 측량을 위해 DA를 사용한 초기 연구에서 DA를 주요 소스로 사용한 경험을 가지고 있습니다. 각각의 경우 문서 소싱, 관리 및 분석 방법과 관련하여 추가 설명의 기회가 있습니다.
• RHE는 연구의 일환으로 문서 분석을 수행한 경험이 있었는데28-30, 편집자이자 멘토로서의 다른 관점을 이 문제에 적용했습니다. 우리 자신의 DA 경험과 이 분야의 다른 사람들의 DA 작업을 읽으면서 일반적으로 DA 관행의 깊이와 엄격함을 개선하기 위해 노력했습니다. 

We note the perspectives we brought to bear in undertaking this research. The study was developed from our ongoing discussions about methodology and theory in HPER and was based initially on our own experiences in conducting DA research.

• More specifically, JC had experience in conducting document analyses as part of her research (e.g., Cleland et al.22, Patterson et al.23) and in supervising doctoral students who used DA within their research (e.g., Coyle et al.24 and Hawick et al.25).
• AM had experience using DA as a primary source in earlier research where documents were used both as a primary source and to triangulate in studies of Problem Based Learning (To et al.26 and MacLeod et al1) and also as an object in studies of leadership job descriptions (Gorsky et al.27). In each case, there are opportunities for further explanation with respect to how documents were sourced, managed and analysed.
• RHE had experience in conducting document analyses as part of her research28-30 she brought other perspectives from being an editor and mentor to bear on the issue. It was both our own DA experiences and our reading of the DA work of others in the field that led us to seek to improve the depth and rigour DA practices in general.

프로세스
Process

먼저 파일럿 검색을 실시하여 잠정 검색 전략을 테스트하고, 연구 질문을 구체화하며, 검토 범위를 계획하는 데 도움을 받았습니다. 2021년 7월 15일에 익명 모드에서 ['문서 연구' 및 '의학교육']이라는 용어로 Google Scholar를 사용하여 이 파일럿 검색을 실시했습니다. 그 결과 261개의 논문이 반환되었으며, 이 중 처음 50개의 관련성을 분석하여 6개의 논문(12%)을 식별했습니다. 이를 통해 학습한 후, 2021년 7월 16일에 PubMed와 ['문서 분석' 및 '의학 교육']을 사용하여 두 번째 파일럿 검색을 수행한 결과 53개의 논문이 반환되었습니다. 관련성을 검토한 결과, 14개의 논문은 HPE와 관련이 없는 것으로 제외되었고, 39개(74%)의 논문이 신뢰할 수 있는 것으로 나타났습니다. 이는 또한 대규모 메타 연구를 실행할 수 있을 만큼 충분한 HPE 연구에서 어떤 식으로든 DA를 사용했음을 시사합니다. 
We first conducted a pilot search to test our provisional search strategy, refine our research questions and help us plan the scope of the review. We conducted this pilot search using Google Scholar in anonymous mode with the terms [‘document research’ AND ‘medical education’] on 15 July 2021. This returned 261 articles, of which the first 50 were analysed for relevance, identifying six articles (12%). Learning from this, we then conducted a second pilot search using PubMed and [‘document analysis’ AND ‘medical education’] on 16 July 2021, which returned 53 articles. Screening for relevance, 14 articles were excluded as not being relevant to HPE, leaving 39 (74%) that seemed credible. This also suggested that sufficient HPE studies had used DA in some way to render a larger meta-study viable.

전체 검색을 위해 사서와 협력하여 검색 전략을 수립했습니다. 사서의 추천에 따라 범위를 '의학교육'에서 HPE에 대한 보다 광범위한 용어로 확장하고(부록 1a-1c 참조), MEDLINE, CINAHL, Scopus 및 ERIC을 포함하도록 검색을 확대했습니다. Google Scholar는 제외되었으며, 연구에 입력된 논문의 양과 일관성을 관리하기 위해 2000년 1월부터 2021년 10월까지 발표된 영어 논문으로 검색을 제한했습니다. 전체 검색 결과 1298개의 논문이 검색되었으며, 이 단계에서 285개의 중복 논문을 제거했습니다. 그런 다음 인용문을 Excel로 가져왔습니다. 
For our full search, we worked with a librarian to create a search strategy. On their recommendation, we expanded the scope from ‘medical education’ to a set of broader terms for HPE (see Supplementary Appendices 1a–1c), and we expanded the search to include MEDLINE, CINAHL, Scopus and ERIC. Google Scholar was omitted, and we limited the searches to English-language papers published from January 2000 to October 2021 as a way of managing the quantities and coherence of the papers entered into the study. This full search resulted in 1298 articles; 285 duplications were removed at this stage. Citations were then imported into Excel.

그런 다음 각 저자는 전체 텍스트를 읽기 전에 논문 그룹을 필터링하고, 라벨을 붙이고, 제목과 초록을 선별하여 포함하거나 제외한 이유에 대한 의견을 작성했습니다. 이 단계에서 의학 교육에 관한 논문이 아닌 경우, DA를 포함하지 않는 방법론이 포함된 경우, 문서를 참조했지만 해당 문서를 분석하지 않은 경우(예: 논평), 인터뷰 녹취록만 분석한 경우, 영어로 된 논문이 아닌 경우 논문을 제외했습니다. 논평이나 오피니언 기사는 DA와 관련된 내용일 경우 포함했습니다. 
Each author then took a group of articles to filter, label and make comments on why she included or excluded them on title and abstract screening, before full-text reading. At this stage, we excluded articles if they were not on healthcare education, if they involved methodologies that did not include DA, if they referred to documents but did not analyse these documents (such as in commentaries), if the analysis was only of interview transcripts or if they were not in English. We included commentaries or opinion articles when they involved some sort of DA.

파일럿 검색을 통해 얻은 인사이트를 바탕으로 연구 질문 1과 2를 해결하기 위해 데이터 추출은 다음에 중점을 두었습니다.

• DA가 사용된 정도,
• DA의 목적,
• 사용된 DA 방법과 DA 적용 및 보고의 엄격성,
• 사용된 문서의 범위와 유형,
• 연구 질문 해결에 있어 DA의 유용성

이러한 초기 연역적 주제에 매핑된 데이터 추출 도구를 반복적으로 개발했습니다. 또한 Siegner 등이 제시한 정성적 DA의 유형을 참고했습니다.

• 맥락(문서가 연구 질문이나 문제에 대한 관련 배경을 제공함),
• 삼각측량(문서가 다른 데이터를 확증하는 수단으로 사용됨),
• 1차 출처(연구용 데이터),
• 연구 대상(사회적 맥락에서 특정 문서의 역할과 기능)

Based on the insights gained from the pilot search and to address study questions 1 and 2, data extraction focused on

• the extent to which DA had been employed,
• the purpose of DA,
• the DA methods used and the rigour with which DA was applied and reported;
• the range and types of documents used; and
• the utility of DA in addressing the research question.

We iteratively developed a data extraction tool mapped to these initial deductive themes. We also drew on Siegner et al’s31 typology of qualitative DA:

• contextual (documents provide relevant background on the research question or problem),
• triangulation (documents are used as a means of providing corroborating other data),
• primary source (the data for a study) and
• object of the research (the role and function of a specific document in its social context).

세 명의 저자가 처음 몇 개의 논문을 코딩하고 도구로 데이터를 추출한 후, 데이터 추출 도구의 흐름과 명확성을 위해 수정한 다음 선택한 모든 논문에 적용했습니다(보충 부록 2 참조). 이 도구는 추출 데이터의 추적 및 대조가 가능하도록 Qualtrics(유타주 프로보)를 사용하여 제공되었습니다. 
Following the coding of the first few articles and data extraction into the tool by all three authors, the data extraction tool was modified for flow and clarity and then applied to all selected articles (see Supplementary Appendix 2). The tool was delivered using Qualtrics (Provo, UT) to allow for tracking and collation of extraction data.

데이터 추출이 완료되면 Qualtrics에서 리뷰를 다운로드하고 구조화된 응답을 표로 만들고 구조화되지 않은 응답을 대조했습니다. 세 팀원 모두 비정형 응답을 읽고 주요 이슈와 우려 사항을 코딩했습니다. 이 단계는 귀납적이고 해석적이며 반사적인 방식으로 진행되었으며, DA 상태에 대한 초기(선입견) 믿음을 코딩의 출발점으로 삼아 이후 데이터와의 접촉, 회의 및 토론을 통해 이러한 믿음을 지속적으로 재구성했습니다.32 
Once the data extraction was complete, the reviews were downloaded from Qualtrics, the structured responses tabulated and the unstructured responses collated. All three team members read through the unstructured responses and coded for key issues and concerns. This step was inductive, interpretive and reflexive, using our initial (preconceived) beliefs about the state of DA as the starting point for coding and reconstructing these beliefs continuously through subsequent contact with the data, meetings and discussions.32

3 결과
3 RESULTS

검색을 통해 확인된 1013개의 논문 중 898개의 논문이 포함 기준을 충족하지 못했습니다. 그 결과 115개의 논문이 리뷰에 포함되었습니다(리뷰 코퍼스를 구성하는 논문 목록은 그림 1 및 부록 3 참조). 
Of the 1013 articles identified from the search, 898 did not meet our inclusion criteria. This left 115 articles for inclusion in the review—see Figure 1 and Supplementary Appendix 3 for the list of articles that made up the review corpus.

56편의 논문은 의학 교육(n = 20), 보건 과학 교육 발전(n = 9), 의료 교사(n = 9), 학술 의학(n = 6), 전문직 간 진료(n = 4), BMC 의학 교육(n = 5), 의학 교육에 대한 관점(n = 3, 이 저널은 2012년까지 영어로 출판되지 않음), 그리고 다양한 간호 저널에 20편의 논문이 추가로 실렸습니다. 몇몇 논문은 의학 전문 학술지(n = 10)에, 나머지는 다양한 기타 학술지에 게재되었습니다. 2000~2010년(n = 19)에 비해 2011~2021년(n = 96)에 DA 사용을 보고한 논문 수가 크게 증가했습니다. 63편의 논문은 단일 방법(DA만)이었고, 나머지는 혼합 방법 연구(MMR)였습니다. 이 중 22개는 DA와 인터뷰, 나머지 8개는 인터뷰와 포커스 그룹을 포함했습니다. 7건은 일반적으로 인터뷰와 함께 DA 및 설문조사 데이터를 포함했습니다(DA 및 설문조사 데이터만 사용한 논문은 1건뿐). 여러 연구에서 DA, 인터뷰(개별 또는 포커스 그룹), 관찰 등 다양한 데이터 소스를 사용했습니다. 저희가 확인한 연구 중 5건은 특정 정보를 찾기 위해 문서를 면밀히 검토한 후 설명적 또는 통계적 분석을 거친 정량적 연구였습니다. 
Fifty-six articles were in HPE journals including Medical Education (n = 20), Advances in Health Sciences Education (n = 9), Medical Teacher (n = 9), Academic Medicine (n = 6), The Journal of Interprofessional Care (n = 4), BMC Medical Education (n = 5) and Perspectives on Medical Education (n = 3, note this journal did not publish in English until 2012), plus an additional 20 articles in various nursing journals. Several articles were published in medical specialty journals (n = 10), and the remainder, in diverse other journals. There was a significant increase in the number of articles published reporting the use of DA in the period 2011–2021 (n = 96) compared to 2000–2010 (n = 19). Sixty-three articles were single method (DA only), and the others were mixed methods research (MMR). Of these, 22 involved DA and interviews, and a further eight involved interviews and focus groups. Seven included DA and survey data, usually along with interviews (only one paper used DA and survey data only). Several studies used many different sources of data, such as DA, interviews (individual or focus groups) and observations. Five of the studies we identified were quantitative, scrutinising documents for specific information, which was then subject to descriptive or statistical analysis.

문서 말뭉치, 연구 목적, 방법, 연구 결과, 문서 분석의 이론 및 메타학문 측면에서 메타 연구 내러티브 종합을 보고합니다.
We report our meta-study narrative synthesis in terms of the document corpus, purposes, methods, findings and theory and metascholarship in document analyses.

문서 코퍼스
Document corpus

먼저 DA에 입력된 문서, 즉 '문서 말뭉치'(보충 부록 3)부터 시작합니다. 연구 이전에 존재했던 문서(예: 회의록 및 정책 문서)와 연구의 일부로 생산된 문서(예: 현장 노트 및 일기 항목)를 분석하는 데 한 가지 차이점이 있습니다. Charmaz33은 전자의 경우 '현존하는 텍스트'라는 용어를, 후자의 경우 '도출된 텍스트'라는 용어를 사용했습니다. 저희가 검토한 논문 중 단 2개(<2%)만이 연구에서 도출된 데이터를 사용했습니다. Voogt 등34은 정책 문서와 함께 참여자 QI 프로젝트 자료를 분석했고, Ruiz-Lopez 등35은 참여자의 저널을 분석했습니다. 인터뷰 녹취록과 같이 연구에서 생성된 데이터는 포함하지 않았습니다. 
We start with the documents that were entered into the DA; the ‘document corpus’ (Supplementary Appendix 3). One distinction was between the analysis of documents that pre-existed the research (e.g., meeting minutes and policy documents) and documents that were produced as part of a study (e.g., field notes and diary entries). Charmaz33 used the term ‘extant text’ for the former and ‘elicited text’ for the latter. Only two (<2%) of the articles we reviewed used study-elicited data. Voogt et al.34 analysed participant QI project materials (alongside policy documents) and Ruiz-Lopez et al.35 analysed participants' journals. Note that we did not count study-generated data such as interview transcripts.

둘째, 문서 선정 방법, 포함된 문서 수, 분석된 문서의 특성에 대한 정보가 광범위하게 부족했습니다. 실제로 어떤 문서가 사용되었는지(또는 왜 포함되었는지 또는 어떻게 분석되었는지) 보고하지 않은 연구도 있었습니다(예: Brosnan36).

• 다음은 이러한 세부 사항 부족의 대표적인 예입니다: '검토 대상인 전문 규제 측면과 관련된 정책 보고서 또는 논평에 해당하는 텍스트가 포함된 경우'(731쪽).37
• 또 다른 예로, Wong38 은 다음과 같이 언급했습니다: '이용 가능한 모든 부서 및 프로그램 문서를 검토했다'(1211쪽)고 말했지만, 문서가 무엇인지, 문서 수가 얼마나 되는지, 그 밖의 다른 내용은 설명하지 않았습니다.
• 마찬가지로 '핵심 문서'라는 문구가 문서 포함에 대한 유일한 정당화였습니다. 그러나 이러한 핵심 문서가 무엇이고 왜 핵심 문서인지에 대한 정보가 없으면 포함된 문서의 품질이나 적절성을 평가할 근거가 없습니다. 

Secondly, there was a broad deficit of information on how documents were selected, on how many documents were included and on the characteristics of the documents analysed. Indeed, some studies did not report what documents were used (or indeed why they were included or how they were analysed, e.g., Brosnan36).

• The following typifies this lack of detail: ‘texts were included if they constituted policy reports or commentary concerned with those aspects of professional regulation of concern to the review’ (p. 731).37 
• As another example, Wong38 stated: ‘all available departmental and programme documents were examined’ (p. 1211) but did not describe what they were, how many there were, or anything else about them.
• Similarly, the phrase ‘key documents’ was the only justification for document inclusion. However, without information as to what these key documents were and why they were key, there are no grounds on which to assess the quality or appropriateness of the included documents.

DA 말뭉치의 구성에 대한 세부 정보가 부족하기 때문에, 우리가 말할 수 있는 것은 다음과 같은 대략적인 범주에 속하는 문서들이 포함되었다는 것입니다:
Given the lack of detail on the makeup of the DA corpus, the most we can say is that documents approximated to the following broad categories:

목적
Purposes

• Siegner 등의 유형학을 사용하여 31개의 논문에서 삼각 측량 목적으로 DA를 사용한다고 명시적으로 설명했거나, 명시적으로 설명하지 않은 경우 전체 논문을 읽은 후 문서 사용을 그렇게 해석했습니다.
  • 예를 들어, Hawick 외.25는 다음과 같이 말했습니다: '문서 분석의 목적은 다양한 데이터 소스와 방법을 사용하여 수렴과 확증을 추구하는 것이었다'.
• 20개의 기사에서 문서가 맥락적 목적으로 사용된 것으로 보였습니다.
• 그보다 적은 수(n = 16)의 논문이 문서를 연구 대상으로 사용했으며, 이들은 담화 분석 연구인 경향이 있었습니다.
• 나머지 논문(n = 48)에서는 사실 또는 맥락에 대한 주요 참고 자료로 문서가 사용되었습니다(우리가 알 수 있는 한).
  • 예를 들어 보그스트롬 등43은 포트폴리오 콘텐츠를 조사하여 직업적 가치에 대한 언급을 식별하고 분석했습니다.
  • 앤더슨과 갈리아르디44는 여성 건강 커리큘럼에 대한 내용 분석을 수행하여 관련 커리큘럼 내용을 파악했습니다.
  • Waterval 등45 은 다양한 문서의 내용을 사용하여 연구 질문에 대한 정보를 얻었습니다.
• Using Siegner et al’s typology, 31 articles either explicitly described using DA for triangulation purposes or, where this was not made explicit, on reading the full article, we interpreted their use of documents as such.
  • For example, Hawick et al.25 stated: ‘The aim of document analysis was to seek convergence and corroboration through the use of different data sources and methods’.
• In 20 articles, documents seemed to be used for contextual purposes.
• Fewer (n = 16) used documents as the object of the research, and these tended to be discourse analysis studies.
• In the other articles (n = 48), documents had been used (as far as we could tell) as primary reference sources on factual or contextual matters.
  • For example, Borgstrom et al.43 examined portfolio content to identify and analyse references to professional values.
  • Anderson and Gagliardi44 conducted a content analysis of women's health curricula to identify relevant curriculum content.
  • Waterval et al.45 used the content of various documents to inform their research questions.

방법
Methods

문서에서 데이터를 추출하는 방법은 설명이 부족하고 모호한 경우가 많았습니다. 예를 들어, Sirili 등은46 탄자니아 교육 개혁의 정책 과정과 결과를 분석하는 데 사용한 문서를 명확하게 나열했습니다. 그러나 문서 데이터를 어떻게 관리하고 분석했는지에 대한 정보는 논문에서 찾아볼 수 없었습니다.

• 35편(30%)의 논문이 내용 분석, 프레임워크 분석 또는 주제 분석을 사용했다고 보고했지만, 이는 주로 기본적인 사실이나 세부 사항을 추출하는 데 그쳤으며, 권위나 명료성에 거의 주의를 기울이지 않았고 이러한 분석 기법의 사용 간에 별다른 차이를 발견할 수 없었습니다.
• 29개(25%) 논문은 어떤 종류의 담론 분석을 사용했다고 밝혔고, 24개(21%) 논문은 분석 접근법이나 방법론을 사용했다고 언급하지 않았습니다.

예를 들어, Fealy 외.37는 '검색된 모든 텍스트에 대해 문서 분석을 수행했다'(731페이지)고 명시했지만, 어떤 분석을 수행했는지에 대한 자세한 내용은 제공하지 않았습니다. 나머지 논문은 템플릿 분석(예: Chenot 및 Daniel47), 키워드 매칭(예: Wong 외.48) 등 다른 접근법을 사용했습니다.
How data were extracted from documents was often under-described and ambiguous. For example, Sirili et al.46 clearly listed the documents they used to analyse the policy process and outcomes of training reform in Tanzania. However, any information on how they managed and analysed the document data was lacking in the paper.

• Thirty-five articles (30%) reported using content, framework or thematic analyses, although this was often limited to extracting basic facts or details with little attention to their authority or articulation, and we found little distinction between the use of these analytic techniques.
• Twenty-nine (25%) articles stated that they used some kind of discourse analysis, while twenty-four (21%) did not mention having used any analysis approach or methodology.

For example, Fealy et al.37 stated ‘Documentary analysis performed on all retrieved texts’ (p. 731) but did not provide any detail of what was done. The remaining articles employed other approaches, including template analysis (e.g., Chenot and Daniel47) and keyword matching (e.g., Wong et al.48).

MMR 논문에서 대부분의 저자는 DA 사용에 대한 설명에 비해 그들이 사용한 다른 방법에 대해 훨씬 더 실질적인 설명을 제공했습니다. 예를 들어, 인터뷰와 문서를 데이터로 사용한 MMR 연구에서는 인터뷰 질문, 인터뷰 대상자, 인터뷰 횟수, 인터뷰 데이터 분석에 대해 명시적으로 설명한 반면, 문서에 대한 세부 사항(샘플링 방법 포함) 및 분석에 대한 설명은 부족했습니다. 예를 들어, 서덜랜드 등49 은 포커스 그룹의 수와 기간, 참가자 수, 포커스 그룹 데이터 분석에 대한 접근 방식을 명시했지만 문서의 수나 문서의 내용, 분석 방법에 대해서는 언급하지 않았습니다(질적 데이터 관리 소프트웨어에 문서를 입력했다고만 명시). 결과 섹션에는 문서 데이터가 제시되지 않았습니다. 다른 논문에서는 저자가 접근 방식을 구성하거나 수행한 방법을 설명하지 않고 단순히 문서 분석 접근 방식을 사용했다고 언급했습니다.
In the MMR articles, most authors provided much more substantive descriptions of the other methods they had used compared to their descriptions of using DA. For example, in MMR studies that used interviews and documents as data, the interview questions, who was interviewed, the number of interviews and interview data analysis were explicitly described, while parallel details about documents, including how they were sampled, and their analysis were lacking. To illustrate, Sutherland et al.49 specified the number and length of their focus groups, the number of participants and their approach to focus group data analysis but made no mention of the number of documents or what these were or how they were analysed (stating only that documents were entered into qualitative data management software). No document data were presented in the results section. In other articles, authors simply mentioned using a document analytic approach rather than describing how the approach was configured or conducted.

위에서 언급한 바와 같이, 29개 논문(25%)은 담화 분석 접근법을 사용했다고 명시적으로 언급했습니다. 그러나 전체 텍스트를 읽어보면 이러한 분석의 대부분은 내용 분석 또는 주제 분석으로 더 정확하게 설명할 수 있습니다. 비판적 담화 분석을 사용했다고 명시한 논문(n = 22) 중 19편이 푸코주의적 관점을 사용했으며, 이 중 16편은 같은 기관에 소속된 저자의 논문이었습니다. 담론 분석 논문에서는 대상 또는 객체와 다른 데이터와의 삼각 측량으로 처리된 문서를 검토했으며, 방법론적 지향이 명시되어 있어 엄밀성과 방법론적 일관성이 논의되고 분명했습니다.
As stated above, 29 articles (25%) explicitly stated that they took a discourse analysis approach. However, when we read the full texts, many of these analyses would be more accurately described as content or thematic analysis. Of those articles which were explicit about using critical discourse analysis (n = 22), 19 used a Foucauldian perspective and 16 of these were from authors associated with the same institution. In the discourse analysis articles, we reviewed documents that were treated as object or object plus triangulation with other data, and, as they had an explicit methodological orientation, rigour and methodological coherence was both discussed and apparent.

연구 결과 및 논의
Findings and discussions

검토한 논문 중 연구 결과의 맥락에서 문서나 그 내용을 명시적으로 설명한 논문은 거의 없었습니다. 오히려 제시된 증거는 고도로 일반화되었거나 MMR 연구의 경우 다양한 지식 주장을 설명 또는 방어하기 위해 다른 방법론적 흐름(예: 인터뷰 데이터)에서 주로 파생된 것이었습니다. 실제로 방법 섹션에서는 문헌을 언급했지만 결과나 논의에서는 명시적으로 언급하지 않은 경우도 있었습니다(예: 50). 유일한 예외는 문서가 유일한 데이터 소스인 담론 분석 기사였습니다. 고찰 섹션에서도 마찬가지로 문서의 품질, 중요성 또는 기타 특성이 연구 결과의 시사점, 추가 연구에 대한 시사점 또는 연구의 한계와 거의 고려되지 않았거나 연결되지 않았습니다. 이는 권위 있는 출처로서의 문서에 대한 신뢰도가 낮거나, 특히 MMR 연구에서 DA 스트림에 대한 연구자들의 일반적인 사각지대가 반영된 결과라고 볼 수 있습니다.
Very few of the articles we reviewed explicitly described their documents, or the content thereof, in the context of their findings. Rather, the evidence presented was either highly generalised or, in the case of MMR studies, largely derived from other methodological streams (e.g., interview data) to illustrate and/or defend their various knowledge claims. Indeed, at times documents were referred to in the methods section but not referred to explicitly in the results or discussion (e.g.,50). The only exceptions to this were the discourse analysis articles where documents were the lone data source. Similarly in discussion sections, the quality, significance or other characteristics of documents were rarely considered or linked to the implications of findings, implications for further research or limitations of the study. This suggests either a lower sense of confidence in documents as sources of authority or a further reflection of the common blind spots researchers have had regarding DA streams, particularly within MMR studies.

이론과 메타학술성
Theory and Metascholarship

대부분의 논문(담화 분석 제외)은 DA 이론이나 방법론적 문제에 대한 근거가 거의 또는 전혀 없었습니다. 대부분 DA 방법론은 이를 뒷받침하기 위해 방법론적 출처를 한두 번 인용하면서 언급되었는데, 가장 흔한 출처는 Bowen이었습니다.11 이러한 무성의함은 어떤 문서가 있는지, 문서와 관련된 연구자의 입장, DA 방법론의 도전과 논쟁 등에 대한 관심이 부족하다는 것을 반영합니다. 
Most articles (discourse analyses excepted) had little or no grounding in DA theory or methodological concerns. Mostly, DA methodology was stated with one or two citations to a methodological source to back it up, most commonly Bowen.11 This casualness reflected a lack of attention to what documents might be, the position of the researcher in relation to the documents, the challenges and debates in DA methods and so forth.

또한 담론 분석 방법을 사용하는 논문과 커리큘럼 개혁에 초점을 맞춘 논문 중 이론적 렌즈를 사용하여 분석한 논문은 소수에 불과했습니다. 예를 들어, 

• Ellaway 등은 담화 분석을 위해 Gee의51 개념적 틀을 사용했고,
• Razack 등은40 '푸코, 부르디외, 바흐친, 고프만의 성과 이론'을 활용했으며,
• Hawick 등은25 데이터의 측면을 강조하기 위해 '사악한 문제' 프레임워크52 를 적용했습니다.

Moreover, only a few articles, typically but not always those employing discourse analysis methods and those focused on curriculum reform, used a theoretical lens in their analysis. For instance,

• Ellaway et al. used Gee's51 conceptual framing for discourse analysis,
• Razack et al.40 drew on ‘Foucault, Bourdieu and Bakhtin … and the performance theories of Goffman’, while
• Hawick et al.25 applied the ‘wicked problem’ framework52 to highlight aspects of their data.

HPE 학자들은 학문적 연구에 더 많은 이론적 지향성을 요구해 왔으며,53 특히 그렇게 하지 않으면 연구 결과의 개념적 일반화 가능성이나 이전 가능성이 제한되기 때문입니다.54 일부 방법론이 이러한 요구에 부응했지만, 아직까지 DA에 실질적인 영향을 미치지는 않은 것으로 보입니다. 또한 DA 이론, DA 방법 또는 DA 과학 전체에 대한 기여에 대한 실질적인 고려는 거의 찾아볼 수 없었습니다. 
HPE scholars have called for more theoretical orientation to scholarly work,53 not least because not doing so limits the conceptual generalisability or transferability of findings.54 While some methodologies have responded to this call, it seems that this has not yet touched DA in any substantial way. We also note that we found almost no substantive consideration of contributions to DA theory, DA methods or DA science as a whole.

예외
Exceptions

많은 누락에도 불구하고 DA를 수용하고 이를 잘 보도한 기사도 몇 개 발견했습니다. 그 중 눈에 띄는 논문은 Sundberg 등의 논문이었습니다.55 저자들이 사용한 문서뿐만 아니라 길이를 포함한 문서의 특성을 설명하는 방식에 감사했습니다. 또한 인터뷰와 문서 모두에 사용된 분석 접근 방식을 명시하고 분석의 각 측면에 대해 인터뷰 데이터와 문서 데이터를 모두 제시했습니다. 마지막으로, 연구진은 연구 질문과 관련된 소규모 문서 코퍼스의 한계에 대해 인정했습니다. 
Despite the litany of omissions, we found some articles that had embraced DA and reported it well. One example which stood out was a paper by Sundberg et al.55 We appreciated the way the authors specified not only the documents they used but also described the characteristics of the documents, including the length. They also specified the analysis approach used for both their interviews and the documents and presented both interview and document data for each aspect of their analysis. Finally, they acknowledged possible limitations of the small corpus of documents relevant to their research question.

4 토론
4 DISCUSSION

HPE 연구 논문에서 DA는 어떻게 접근했습니까?
How has DA been approached in HPE research articles?

DA 연구에 사용된 문서는 기본 데이터 소스가 아닌 맥락적 및 삼각 측량 목적으로 자주 사용되었습니다. 즉, 대부분의 논문에서 문서를 정적이고 '유순한' 지식의 저장소로 개념화하여

• 문서가 '무엇을 하는가'보다는
• 문서가 무엇을 '말하는가'(내용),
• 문서가 어떻게 말하는가를 조사했습니다.8

We found that documents in DA studies were frequently used for contextual and triangulation purposes, not as a primary data source. This meant that most articles conceptualised documents as static and ‘docile’ containers of knowledge, examining

• what documents ‘say’ (content) and
• to a lesser extent how they say it,
• rather than what documents ‘do’.8 

이러한 차이점에는 연구자가 문서에 관여하는 방식에 대한 암묵적인 변증법이 존재했습니다.

• 한편으로, 문서는 실험적으로 도출된 데이터와 유사한 방식으로 수집, 처리 및 분석되는 1차 데이터로 접근할 수 있습니다.
• 반면에 문서는 그 내용, 표현 방식, 권위에 대한 논란이 있을 수 있으므로, 덜 비판적이거나 직접적인 방식으로 접근할 수 있으며,
• 엄격하게 데이터로 간주되기보다는, 데이터를 성찰하는 데 사용될 수 있습니다. 

There was an implied dialectic of researcher engagement with documents in these differences.

• On the one hand, documents may be approached as primary data that are collected, treated and analysed in similar ways to experimentally derived data.
• On the other hand, documents may be approached in a less critical or direct way such that their content, articulation and authority are moot, and they are used to reflect on data rather than being strictly considered as data.

문서의 내용을 조사하는 것도 분명 의미가 있지만, 문서의 의미나 중요성을 이해하는 데는 문서 작성, 생산 및 소비의 사회적, 물질적 현실이 매우 중요할 수 있다고 생각합니다. 이는 문서를 다음으로 취급해야 한다는 주장을 반영한 것입니다. 

• 자원(독자에게 특정 환경, 조직, 사건 또는 사람에 대해 알려주는 의미, 정보원)으로서,
• 독립적인 인공물로서,56 그리고
• 잠재적으로 여러 온톨로지를 가진 '사회적 위치의 산물'(Scott57, 34쪽)

(문서의 위치성과 수사적 위치가 어느 정도는 채택된 방법론적 틀 안에 포함되곤 하는) 담론 분석 연구는 다소 예외였다. 예를 들어, Coyle 등24 은 데이터와의 관련성 측면에서 자신의 직업적, 개인적 배경을 밝히고, 서로 다른 삶의 과정, 교육 및 훈련이 문서에 대한 해석과 이 연구의 맥락 및 초점과 관련하여 자신의 입장을 어떻게 형성했는지에 대해 지속적으로 성찰했다고 언급했습니다.
While it is clearly meaningful to investigate the content of documents, we believe the social and material realities of document authorship, production and consumption can be of critical importance in understanding their meaning or significance. This reflects arguments that documents should be treated both

• as resources (meaning, sources of information that tell a reader about a particular setting, organisation, event or person),
• as stand-alone artefacts,56 and
• as ‘socially situated products’ (Scott57, p. 34) with multiple potential ontologies.

The exception, to an extent, was discourse analysis studies where the positionality and rhetorical positioning of the documents were (to some degree) included albeit within the methodological frame adopted. For example, Coyle et al.24 stated their professional and personal backgrounds in terms of relevance to the data and stated that they were continuously reflective about how their differing life courses, education and training shaped their interpretations of the documents and their positioning with respect to the study context and focus of this study.

현재 HPER의 DA 관행의 강점과 약점은 무엇인가요?
What are the strengths and weaknesses of current DA practices in HPER?

서두에서 언급했듯이, 그리고 이번 연구 결과에서 확인했듯이, DA의 활용 가능성은 매우 다양하며, 문서와 그 분석이 학술적 탐구 행위에 가치를 부여할 수 있는 이론적, 실제적 방법도 많습니다. 따라서 우리는 DA의 더 나은 사용이나 더 강력한 사용, 더 나쁜 사용이나 더 약한 사용이 있다고 말할 수 없습니다. 그보다는 DA가 사용된 연구 맥락에서 각각을 명확히 파악하고 평가해야 합니다. 이번 연구 결과는 글로벌 방법론적 규범에 따라 판단하기보다는 연구 내 공통 관심사에 초점을 맞추었기 때문에 이를 반영합니다. 
As we mentioned in our opening and as our findings confirmed, there are many possible uses for DA and many theoretical and practical ways in which documents and analyses of them might lend value to acts of scholarly inquiry. We cannot say therefore that there are better or stronger uses or worse or weaker uses of DA. Rather, each should be articulated and appraised in the study context in which it was used. Our findings reflect this, as we focused on common concerns within studies rather than seeking to judge them against global methodological norms.

예를 들어, 연구를 시작하기 전부터 우려를 했음에도 불구하고(실제로 연구로 이어지기도 했습니다), 저희는 HPER에서 DA가 얼마나 제대로 보고되지 않는지에 놀랐습니다. 물론 예외도 있지만 전반적으로 다음을 보고하는 데에 있어 큰 허점이 있었습니다.

• 문서를 사용한 이유,
• 문서를 식별한 방법,
• 저자가 수행한 작업,
• 문서에서 발견한 내용에 대한 

이는 특히 다른 방법 및 방법론에 비해 일관되게 DA를 덜 엄격하고 세부적으로 다루었거나, 적어도 덜 엄격하고 세부적으로 기술되거나 보고된 MMR 연구에서 두드러지게 나타났습니다. 이로 인해 투명성과 재현성에 대한 근본적인 문제가 발생하고 연구 결과가 의심스러워졌습니다. 부실한 보고는 문서 데이터의 '신뢰성'(예: 신뢰성 및 확인 가능성)을 평가하는 것을 불가능하게 만든다는 것은 잘 알려진 사실입니다58). MMR 연구 내의 다른 데이터 스트림에 대한 보다 실질적인 보고에 비해 반복적으로 DA 보고가 부족하다는 것은 인터뷰 기록의 주제별 분석과 비교하여 DA 방법 사용에 대한 자신감이나 역량이 부족하다는 것을 반영할 수 있습니다. 그러나 역량보다는 주의력 부족을 나타낼 수도 있습니다. 우리가 검토한 모든 논문이 각 저널에 게재되기 전에 일종의 동료 검토 과정을 거쳤으며, 그 과정에서 DA에 대한 설명이 부족하다는 지적을 받거나 수정되지 않았다는 사실이 이를 뒷받침할 수 있습니다. 따라서 이는 저자의 역량이나 집중력 때문이라기보다는 DA 학술활동에 대한 체계적인 부주의를 나타내는 것으로 보입니다. 
For instance, although we had concerns leading into the study (indeed, they led to the study), we were still surprised at how poorly DA has been reported in HPER. Of course, there are exceptions, but, overall, there are major lacunae in terms of reporting on

• why documents were used,
• how documents were identified,
• what the authors did and
• what they found from the documents.

This was particularly apparent in MMR studies where DA was consistently treated with less rigour and attention to detail compared to other methods and methodologies (or at least it was described or reported with less rigour and detail). This created a fundamental problem of transparency and replicability and rendered findings suspect. It is well established that poor reporting makes it impossible to assess the ‘trustworthiness’ of the document data (e.g., credibility and confirmability58). The recurring paucity of DA reporting compared to the more substantive reporting of other data streams within MMR studies may reflect a lack of confidence or competence in using DA methods compared to, say, thematic analysis of interview transcripts. However, it may instead indicate a lack of attention rather than competence. This would be supported by the fact that all the articles we reviewed had passed some kind of peer review process before being published in their respective journals, during which the paucity of the description of DA had not apparently been challenged or corrected. This would seem therefore to indicate a systemic inattention to DA scholarship rather than one solely of author competence or focus.

HPER에서 DA 관행을 강화하기 위해 어떤 지침이나 표준이 필요하나요?
What guidelines or standards are needed to strengthen DA practices in HPER?

DA 보고에 대한 가이드라인과 기준이 필요합니다. 우리는 이 문제에 대해 오랫동안 논의한 끝에 일련의 지침과 검토 결과를 위한 출발점으로 PRISMA(체계적 문헌고찰 및 메타분석을 위한 우선 보고 항목) 프레임워크를 활용하기로 결정했습니다.59 PRISMA는 체계적 문헌고찰 보고를 안내하기 위해 개발되었고 DA와 SR 사이에는 많은 개념적, 절차적 차이가 있지만, 문헌 출처에서 자료를 식별, 선택, 추출, 분석 및 합성하는 것과 관련하여 명확성을 제공하는 원칙은 충분히 유사하여 그 사용을 보증하기에 충분했습니다. 말뭉치에서 일련의 기사를 평가하고 범주, 언어, 필수 및 선택적 요소를 해결하여 프레임워크의 초안을 작성하고 다시 작성했습니다. 수용 가능한 수준의 안정성(새로운 문제나 도전 과제가 발견되지 않음)과 기능성(검토 말뭉치의 샘플 기사에 쉽게 적용할 수 있음)을 달성한 후 검토 및 수정 프로세스를 종료했습니다. 
Guidelines and standards for reporting DA are needed. We discussed this at length and decided to draw on the PRISMA (preferred reporting items for systematic reviews and meta-analyses) framework as a starting point for a set of guidelines as well as on the findings from our review.59 Although PRISMA was developed to guide reporting of systematic reviews and there are many conceptual and procedural differences between DA and SR, the principles of providing clarity with respect to identifying, selecting, extracting, analysing and synthesising material from documentary sources were sufficiently similar to warrant its use. We drafted and redrafted the framework based on evaluating a series of articles from the corpus, resolving categories, language and mandatory and optional elements. We ended the review and revision process once we had achieved acceptable levels of stability (no new issues or challenges were identified) and functionality (we found it easy to apply to sample articles from the review corpus).

그 결과 도출된 프레임워크는 저자가 DA 보고를 안내하고 검토자가 DA 연구의 질을 평가할 수 있도록 체크리스트 형태로 표 1에 제시되어 있습니다. 이 체크리스트인 문서 분석 평가 및 보고 체크리스트(CARDA)(그림 60)는 엄격한 DA를 촉진하고 DA의 다양한 과정을 투명하고 완전하며 정확하게 보고하여 독자가 HPER 및 기타 주제 영역에서 문서 사용 및 분석 결과의 신뢰성을 평가하는 데 도움이 되도록 설계되었습니다.
The resulting framework is presented in Table 1, in the form of a checklist for authors to guide the reporting of DA and for reviewers to guide evaluations of the quality of DA studies. This checklist—the Checklist for Assessment and Reporting of Document Analysis (CARDA) (drawing on60) - is designed to facilitate rigorous DA and transparent, complete and accurate reporting of the various processes of DA, to help readers assess the trustworthiness of the findings from document use and analysis in HPER and other subject areas.

체크리스트의 유용성을 개선하기 위해 파일럿 테스트를 진행했지만, 추가 테스트의 여지가 있다는 점을 잘 알고 있습니다. 분명한 다음 단계는 질적 HPE 학자 및 저널 편집자와 함께 델파이 프로세스를 통해 내용을 계속 평가하고 개선하는 것입니다. 또한 DA에 종사하는 분들을 초대하여 DA 또는 혼합 방법 연구에서 CARDA의 실제 사용을 테스트해 보시기 바랍니다. 또한 다른 방법론 보고를 위한 지침과 체크리스트가 시간이 지남에 따라 발전해 온 것과 마찬가지로, 이러한 피드백이 체크리스트를 더욱 발전시키는 데 사용될 수 있다는 관점에서 학자들이 어떻게 사용했는지에 대한 토론에 참여하도록 초대합니다. 
Although we pilot-tested the checklist to refine its usability, we appreciate that there is room for further testing. An obvious next step would be to continue to assess its content and refine it, perhaps via a Delphi process with qualitative HPE scholars and journal editors. We also invite those engaging in DA to test CARDA's use in practice in DA or mixed methods research. Moreover, we invite scholars to engage in discussion about how they used it, with the view that this feedback can be used to develop the checklist further—in the same way that guidelines and checklists for reporting other methodologies have evolved over time.

DA를 사용하면 어떤 지식의 격차를 해소할 수 있을까요?
What gaps in our knowledge could be addressed using DA?

마지막 연구 질문은 DA를 통해 해결할 수 있는 지식의 격차를 파악하는 것과 관련이 있습니다. 물리적이든 물질적이든, 문서를 수동적인 정보 보유자 이상으로 개념화하면 HPER에서 데이터로서 문서가 가진 엄청난 잠재력을 활용할 수 있습니다. 예를 들어, 다양한 유형, 크기, 형태를 가진 문서는 여러 사회적 세계에 존재하고 이러한 세계 간의 커뮤니케이션을 연결하고 중재하여 여러 세계 간에 지식과 관점의 교환을 촉진하는 경계 개체 역할을 할 수 있습니다(예: 62). 즉, 주어진 텍스트가 어떻게 사용 및/또는 해석될지는 예측할 수 없습니다. 따라서 동일한 경계 개체라도 그것이 서식하는 세계에 따라 다르게 해석될 수 있습니다.

• 예를 들어, 일련의 인증 표준은 규정 준수를 입증해야 하는 사람들을 위한 거버넌스를 구성합니다.
  • 커뮤니케이션 표준과 올바른 모양과 느낌을 준수하기 위해 인증 표준을 브랜딩하는 일을 맡은 사람들에게 이 문서는 일련의 업무 관련 작업을 수행하는 원동력이 됩니다.
  • 수십 년 후 의료 기록 보관소에서 동일한 표준을 확인하는 사람들에게 이 문서는 한 시대의 우선순위를 나타내는 역사적 지표 역할을 합니다.

문서의 여러 복잡성을 파악하면 다양한 사회적, 물질적 행위자들이 원하는 프로젝트를 달성하기 위해 어떻게 협력하는지, 또는 서로 어떻게 충돌할 수 있는지 등 HPER의 지속적인 과제를 해결할 수 있는 새로운 관점을 발견할 수 있습니다. 예를 들어, 한 세기 전 플렉스너 개혁에 대한 슈레브의63 역사적 DA는 북미 의학교육의 발전에 있어 이 중요한 사건과 이전에는 연관되지 않았던 조작과 이념적 포지셔닝의 층위를 확인했습니다. 
Our final research question related to identifying the gaps in our knowledge that could be addressed through DA. Whether physical or material, when we conceptualise a document as more than a passive holder of information, we can begin to leverage the tremendous potential of documents as data in HPER. For example, documents, of various types, sizes, and forms, can serve as boundary objects61 as they exist in multiple social worlds and serve to connect and mediate communication between those worlds, facilitating the exchange of knowledge and perspectives across them (e.g.,62). In other words, the ways in which a given text will be used and/or interpreted cannot be predicted. The same boundary object can therefore be interpreted differently, depending on the world it inhabits.

• A set of accreditation standards, for example, constitutes governance for those who must demonstrate compliance.
  • For those tasked with branding the accreditation standards to comply with communications standards and the right look and feel, the document serves as an impetus to engage in a set of work-related tasks.
  • For those who identify with the same set of standards decades later in a medical archive, the document serves as a historical indicator of the priorities of an era.

Attuning to the multiple complexities of documents can allow us to uncover new angles to address ongoing challenges of HPER, including how the various social and material actors involved cooperate to accomplish a desired project or how they may be in conflict with each other. For example, Schrewe's63 historical DA of the Flexner reforms of a century ago identified layers of manipulation and ideological positioning that have not previously been associated with this critical event in the development of medical education in North America.

이는 자연스럽게 디지털 문서에 대한 고려로 이어집니다. 의과대학 웹페이지를 분석한 몇몇 논문을 제외하고는 검토한 논문에서 디지털 문서에 대한 언급이 눈에 띄지 않는데, 디지털 문서가 제공하는 기회 때문에 많은 사람들이 디지털 문서를 다큐멘터리 연구의 미래로 칭송해 왔습니다. 그러나 디지털 문서는 '해석 과정에서 종종 보이지 않지만 중요한 역할을 하는 물질성을 지닌 고도로 매개된 대상'(1743쪽)입니다.64 디지털 문서가 인쇄 문서와 다르다는 점을 인식하면 '형태의 후과'(96쪽)에 대해 질문할 수 있습니다. 65 매체가 중요하다면 문서를 다루는 사람들은 '디지털 텍스트의 존재론적 지위... 디지털 텍스트가 제공하는 특정한 분석적 어포던스를 논의하는 미래의 작업의 근거가 될 것'(78쪽)을 고려해야 합니다.66 문서의 물성과 그 물성이 가능하게 하는 실천 사이의 관계에 대한 추가 고려는 디지털 인문학 분야에서 찾을 수 있습니다(예: Berry와 Fagerjord67 참조).
This leads naturally to the consideration of digital documents. Conspicuously absent in the articles reviewed—other than a few articles that analysed medical school webpages—digital documents have been extolled by many as the future of documentary research because of the opportunities they offer. However, digital documents ‘are highly mediated objects with a materiality that plays a significant, if often unseen contributory role in the interpretative process’ (p. 1743).64 Recognising that digital documents are different from print documents allows us to ask about the ‘consequences of form’ (p. 96).65 If the medium is important, those working with documents need to consider ‘the ontological status of digital text … that will ground future work discussing the specific analytical affordances offered by digital texts’ (p. 78).66 Further consideration of the relationships between the materiality of documents and the practices enabled by the materiality can be found in the field of digital humanities (see, for instance, Berry and Fagerjord67).

마지막으로, '역사가들은 필연적으로 현재에 배치된 설명을 통해 과거의 행동을 이해하려고 시도한다'(71쪽).68 HPE에 있는 수많은 문서와 문서는 과거 사건을 이해하는 주요 도구이지만, 보건 전문직 교육의 역사를 다룬 논문이 현저히 부족하다는 점에 주목했습니다. 단 9건(8% 미만)의 기사만이 일부 역사적 분석 요소를 포함하고 있었으며, 대부분 프로그램에 대한 단순한 설명에 그쳤습니다. 의학의 역사를 다룬 문헌은 중요하지만(실제로 의학의 역사에 초점을 맞춘 오랜 전통의 학술지[예: 의학 및 연합 과학사 및 의학사 저널]가 여러 개 있습니다), 보건 전문직 교육 분야의 역사적 뿌리와 시간의 흐름에 따른 발전에 주목하는 연구는 거의 없다는 점은 주목할 만합니다. 이 분야는 충분히 연구할 가치가 있는 분야입니다. 
Finally, ‘historians attempt to understand past action through descriptions that are, by necessity, laid out in the present’ (p.71).68 The plethora of documents in HPE and documents are our primary tool for understanding past events, but we noted a significant absence of articles that dealt with the history of health professions education. Only nine articles (<8%) involved some element of historical analysis, and for the most part, these were simple descriptions of programs. While the literature addressing the history of medicine is significant (indeed there are several long-established journals focusing specifically on the history of medicine [e.g., Journal of the History of Medicine and Allied Sciences and Medical History], it is noteworthy that so little work in the field of health professions education attends to its historical roots and development over time. This is an area ripe for investigation.

이전 연구와의 비교
Comparison with previous research

연구 목적으로 문서의 장점을 강조한 것은 저희가 처음이 아닙니다. 또한 이를 위한 지침을 제공한 최초의 연구도 아닙니다(예: O'Leary4 및 Bowen11). 그러나 우리가 아는 한, 특정 분야 내에서 방법론적 프레임으로서 DA의 상태를 평가한 것은 이번이 처음입니다. 메타 리뷰 접근법을 사용하여 우리는 DA가 HPER에서 개념화, 제정 및 보고되는 방식에서 주요 문제를 식별할 수 있었습니다. 엄격성과 명확성이 부족한 이유 중 하나는 기존의 DA 지침이 유용하기는 하지만 '방법'에 대한 세부 사항을 충분히 제공하지 않았기 때문이라고 잠정적으로 판단했습니다. 이와 대조적으로, 본 검토의 면밀한 조사, 해석 및 비판을 통해 이전 지침(예: 오리어리4)을 기반으로 HPER 분야 및 잠재적으로 더 광범위하게 적용되는 DA의 방법론적 및 분석적 엄격성에 대한 증거에 기반한 기준을 설명할 수 있었습니다. 
We are not the first to extol the virtues of documents for research purposes. Nor are we the first to offer guidance for doing so (e.g., O'Leary4 and Bowen11). However, to the best of our knowledge, this is the first evaluation of the state of DA as a methodological frame within a particular field. Using a meta-review approach, we were able to identify major issues in how DA has been conceptualised, enacted and reported in HPER. We tentatively suggest that part of the reason for the lack of rigour and clarity is that existing DA guidance, while useful, has not provided sufficient ‘how to’ detail. In contrast, the level of scrutiny, interpretation and critique in our review allowed us to build on previous guidance (e.g., O'Leary4), to delineate evidence-informed standards of methodological and analytical rigour for DA that apply to the field of HPER and potentially more broadly.

강점과 한계
Strengths and limitations

이 연구에 접근하는 우리의 입장이 이 연구의 과정과 보고에 영향을 미칠 수밖에 없었지만, 우리는 연구 방법과 결과, 그리고 연구에서 도출한 권고안을 개발하는 데 있어 투명성을 유지하기 위해 주의를 기울였습니다. 최근 Greenhalgh 등이 권고한 바와 같이,69 우리는 체계적 문헌고찰과 서술적 문헌고찰 방법을 상호보완적으로 사용했습니다. 특히, 검색 과정에 사서를 참여시켜 데이터베이스 선택과 적격 연구를 검색하기 위한 검색 전략 개발을 지원했습니다(예: 70). 검색, 선택, 관리 및 분석에 신중하고 엄격한 접근 방식을 사용했으며 검토 방법에 대한 감사 추적을 제공했습니다.71 '문서'와 '분석'은 연구 논문에서 일반적으로 사용되는 단어입니다. 최종 데이터 세트를 얻기 위해 포함 기준에 따라 식별된 논문을 면밀히 조사해야 했으며, 다른 사람들이 동의하지 않는 내용을 유지하거나 거부하는 결정을 내렸을 수도 있습니다. 그런 다음 이론적 이해를 증진하고 새로운 질문을 식별하기 위해 식별된 연구를 비판적으로 해석하여 DA가 어떻게 사용되었는지에 대한 통찰력을 수집하는 데 집중했습니다.72 이 후자의 과정은 검토된 논문에서 종종 제공되는 데이터가 부족하기 때문에 현실과 진실에 대한 우리 자신의 이해와 '문서 경험'(1118페이지)73에 상당 부분 의존했습니다. 
Although our positionality in approaching this work will have inevitably shaped the process and reporting of this study, we were careful to be transparent in our methods and findings and in the development of the recommendations we made from the study. As recently recommended by Greenhalgh et al.,69 we used systematic and narrative review methods in a complementary manner. Specifically, we involved a librarian in the search process, to help with the selection of databases and the development of a search strategy to retrieve eligible studies (e.g.,70). We used a deliberate and rigorous approach for searching, selection, management and analysis and provided an audit trail of our review methods.71 ‘Document’ and ‘analysis’ are commonly used words in research articles. Close scrutiny of identified articles against the inclusion criteria was required to obtain the final dataset, and we may have made some decisions as to what to keep and what to reject with which others would disagree. We then focused on critically interpreting the identified studies to gather insight into how DA has been used, for the purpose of advancing theoretical understanding and identifying new questions.72 This latter process depended to a great extent on our own understandings of reality and truth and ‘document experience’ (p. 1118)73 given the paucity of data often provided in the reviewed articles.

우리는 HPER의 DA에 초점을 맞추었지만, DA 실무자에 대한 비평과 지침의 일환으로 광범위한 이론 및 절차 문헌을 활용했습니다. 이 과정에서 HPER에서 확인한 많은 강점과 약점이 다른 많은 분야에서도 발견된다는 점에 주목했습니다(예: Coffey56 참조). 우리는 DA에 대한 접근 방식에서 모범적인 분야나 학문을 발견하지 못했으며, 오히려 서로에게서 배울 점이 많은 것으로 보입니다. 
Although our focus was on DA in HPER, we engaged broader theoretical and procedural literatures as part of our critique of and guidance to DA practitioners. In doing so, we noted that many of the strengths and weaknesses we identified in HPER are also to be found in many other disciplines (for instance, see Coffey56). We found no one field or discipline that was exemplary in their approaches to DA; rather, it would seem that there is much to be learned from each other.

5 결론
5 CONCLUSION

DA는 그 자체로 연구 도구로서, 그리고 HPER에서 혼합 방법 연구의 일부로서 많은 잠재력을 가지고 있습니다. 그러나 DA가 그 잠재력을 발휘하기 위해서는 엄격성과 보고 측면에서 개선되어야 합니다. 우리는 이를 위한 지침을 제공하고 해당 분야의 학자들이 DA를 어떻게 사용하는지에 대한 토론에 참여하도록 초대하며, 궁극적으로는 우리 분야에서 의미를 이해하고 구성하는 데 문서를 더 많이, 더 잘 사용하도록 보장하는 것을 목표로 합니다.
DA has much potential as a research tool in its own right and as part of mixed methods research in HPER. However, for it to fulfil its potential, DA must improve in terms of rigour and reporting. We offer guidance for doing so and invite scholars in the field to engage in discussions about how they use DA, with the ultimate aim of ensuring more and better use of documents for understanding and constructing meaning in our field.

© 2022 Association for the Study of Medical Education and John Wiley & Sons Ltd.

주제분석(TA)를 사용할 수 있나요? 그래야 하나요? 그러지 말아야 하나요? 성찰적 주제분석과 다른 패턴-기반 질적분석 접근(Couns Psychother Res. 2021)
Can I use TA? Should I use TA? Should I not use TA? Comparing reflexive thematic analysis and other pattern-based qualitative analytic approaches
Virginia Braun1 | Victoria Clarke2

1 서론
1 INTRODUCTION

완벽한 질적 분석 접근법이 기다리고 있으며, 그것만 찾아낼 수 있다면 훌륭한 질적 연구를 할 수 있을 것이라고 상상하고 싶은 유혹이 있습니다. 우리는 이러한 사고를 '신성한 방법' 퀘스트라고 부릅니다. 이러한 사고에는 특정 연구 프로젝트에 이상적으로 적합한 분석 접근법이 하나 있으며, 상담 및 심리치료 및 기타 분야에서 연구자의 임무는 그 접근법을 찾아서 사용하거나, 다른 접근법을 사용하는 경우 왜 이상적인 방법을 사용하지 않았는지 정당화해야 한다는 것입니다. 상담 및 심리치료 학생들이 주제 분석(TA)을 사용해도 되는지에 대한 질문에서 이러한 사고가 분명하게 드러나는데, 이는 다른 접근법, 일반적으로 이론, 분석 방법 및 연구 설계의 (요소) 패키지를 미리 제공하는 레디메이드 또는 '기성' 방법론(Chamberlain, 2012)을 사용해야 한다는 말을 들었을 때 발생합니다. 이러한 기성 방법론의 예로는 다음이 있습니다. 

• 근거 이론(GT; Birks & Mills, 2015 참조),
• 해석적 현상학적 분석(IPA; Smith et al., 2009 참조),
• 담화 분석(DA; Willig, 2013 참조) 등

It is tempting to imagine that there is a perfect qualitative analytic approach waiting, and if you can only identify it, you will do excellent qualitative research. We refer to such thinking as a ‘hallowed method’ quest. Within such thinking, there is one analytic approach ideally suited to a particular research project, and the mission of the researcher in counselling and psychotherapy, and other fields, is to identify and use that approach or, if using another approach, justify why they did not use the ideal method. We see such thinking as evident in queries we get about whether it is ‘okay’ to use thematic analysis (TA), when counselling and psychotherapy students have been told they should instead use another approach, usually a ready-made or ‘off-the-shelf’ methodology (Chamberlain, 2012), which provides a pre-prepared package of theory, analytic method and (elements of) research design. Examples of such off-the-shelf methodologies include

• grounded theory (GT; see Birks & Mills, 2015),
• interpretative phenomenological analysis (IPA; see Smith et al., 2009) and
• discourse analysis (DA; see Willig, 2013).

이러한 방법론methodologies(이론에 근거한 연구 프레임워크)은 종종 TA와 같은 방법methods(이론적으로 독립적인 도구 및 기법, 프레이밍 이론은 별도로 결정됨)보다 우월한 것으로 인식됩니다. 이는 TA가 무이론적이기 때문에 분석력과 정교함이 부족하다는 잘못된 믿음에 근거한 것으로 보입니다(Braun & Clarke, 2020).

• [방법론]이 본질적으로 [방법]보다 더 나은 것은 아닐 뿐만 아니라(Chamberlain, 2012 참조), 서로 다른 분석 방법과 방법론이 제공할 수 있는 내용에는 종종 상당한 중복이 있습니다.
• 우리는 이전에 각 분석이 수행되는 방식에 따라 GT, IPA, 심지어 포스트구조주의 DA1과 (반사적) TA와 같은 패턴 기반/사례 간(Yeh & Inman, 2007) 방법론의 '결과물'이 매우 유사할 가능성이 있다고 주장한 바 있습니다(Braun & Clarke, 2013).

즉, 분석 접근법을 고려하고 결정하는 것은 과일을 먹을지, 케이크 한 조각을 먹을지, 햄버거를 먹을지 결정하는 것이 아니라, 어떤 종류의 과일(사과, 오렌지, 바나나?)을 먹을지 결정하는 것과 비슷합니다.  
Such methodologies (theoretically informed frameworks for research) are often perceived as superior to methods (theoretically independent tools and techniques; framing theory is determined seperately) such as TA. This seems to be based on the mistaken belief that TA is atheoretical and thus lacks analytic power and sophistication (Braun & Clarke, 2020).

• Not only are methodologies not inherently better than methods (see Chamberlain, 2012), but there is also often considerable overlap in what different analytic methods and methodologies can deliver.
• We have previously argued that there is potential for great similarity in ‘output’ from pattern-based/across-case (Yeh & Inman, 2007) methodologies like GT, IPA and even poststructuralist DA1, and (reflexive) TA, depending on how each analysis is conducted (Braun & Clarke, 2013).

This means in considering and deciding on an analytic approach it is more like deciding between which type of fruit you will choose to eat (apple, orange or banana?), than deciding whether to have fruit, a slice of cake, or a burger.

저희는 연구 프로젝트에 이상적인 방법 또는 방법론이 하나만 있는 경우는 거의 없다고 생각합니다. 특정 유형의 질적 연구와 관련하여 가장 잘 알려진 접근법이라고 해서 반드시 기성 방법론을 사용해야 할 필요는 없습니다. 연구자는 때로는 개념적, 때로는 실용적, 때로는 자신이나 연구 감독자, 멘토 또는 협력자에게 친숙하고 편안한 접근 방식이기 때문에 등 다양한 이유로 분석 접근 방식을 선택합니다. 패턴화된/사례 간 의미를 탐색하는 데 관심이 있는 경우처럼 분석을 한 가지 방법으로만 다룰 수 있는 경우가 아니라면, 거의 항상 다양한 옵션이 있습니다. 연구자들은 '신성한 방법'을 찾아 헤맬 필요가 없습니다. 중요한 것은 사용된 방법이 프로젝트의 목적에 '적합'하고, 이론적 가정, 연구 질문 및 방법이 일치하며, 전반적인 연구 설계가 일관성이 있어야 한다는 것입니다(Willig, 2013). 이는 설계 일관성 또는 '적합성'이라는 질적 연구 설계의 일반적인 원칙을 반영한 것입니다(Braun & Clarke, 2013). Levitt 등(2017)은 유사한 개념인 '방법론적 무결성'을 제안했습니다: 
We take the view that there is rarely one ideal method—or methodology—for a research project. There is no requirement to use an off-the-shelf methodology just because it is the most well-known approach associated with a particular type of qualitative research. Researchers select analytic approaches for all sorts of reasons, sometimes conceptual, sometimes pragmatic and sometimes because an approach is familiar and comfortable—to themselves or to their research supervisor, mentor or collaborator. Unless the analysis can only be tackled in one way—which is not the case for those interested in exploring patterned/across-case meaning—there is nearly always a range of options. Researchers do not need to go on a ‘hallowed method’ quest. What is important, is that the method used ‘fits’ the project's purpose, that theoretical assumptions, research question and methods are in alignment, and that the overall research design is coherent (Willig, 2013). This reflects a general principle for qualitative research design of design coherence or ‘fit’ (Braun & Clarke, 2013). Levitt et al. (2017) proposed a similar concept of ‘methodological integrity’ to capture when:

반사적 주제 분석 또는 다른 패턴 기반 방법/논리를 언제, 왜 사용해야 하나요?
When and why to use reflexive thematic analysis or another pattern-based method/ology?

질적 분석 기법에서 성찰적 주제 분석이 어디에 위치하는지 이해하는 것은 분석 접근 방식에 대해 알고 반사적으로 선택하고, 그러한 선택이 무엇을 축소하고 가능하게 하는지 이해하는 데 유용합니다. 이 백서에서는 재귀적 TA와 다른 패턴 기반 접근법을 비교하여 유사점과 차이점을 강조합니다. 이 백서는 상담 및 심리치료 연구자들이 다른 방법/이론 대신 성찰적 TA를 선택한 이유를 정당화하거나 설명하는 데 유용한 자료를 제공할 것이며, 실제로 성찰적 TA 대신 다른 방법/이론을 선택한 경우도 있습니다. 각 접근법이 제공하는 이점을 최종적으로 검토하면서, 상담 및 심리치료 연구자들이 성찰적 TA를 사용하는 대신 이러한 접근법을 사용할 수 있는 시기를 고려했습니다. 성찰적 TA가 항상 출발점이 되어야 한다고 생각하기 때문이 아니라, 대조에 대한 앵커 포인트를 제공하기 때문입니다. 
Understanding where reflexive TA sits in the landscape of qualitative analytic techniques is useful for making knowing and reflexive choices about analytic approaches, and appreciating what those choices curtail and enable. In this paper, we compare reflexive TA with other patterned-based approaches, to highlight similarities and differences. This paper will provide a useful resource for counselling and psychotherapy researchers for justifying or explaining why reflexive TA was chosen over another method/ology, or, indeed, another method/ology over reflexive TA. In our final weighing up of what each approach offers, we consider when counselling and psychotherapy researchers might want to use these instead of using reflexive TA. Not because we think reflexive TA should always be the starting point, but because it gives an anchor point for the contrast.

비교의 초점은 질적 데이터 세트를 구성하는 데이터 항목 또는 사례 전반의 의미 패턴 분석에 중점을 둔 다른 질적 분석 접근 방식에 있습니다. 대화 분석(예: Madill 외, 2001) 및 담화 심리학(예: Wiggins, 2016)과 같이 말의 세분화된 또는 상호 작용적인 작업을 조사하는 방법들은 상당히 다른 초점을 가지고 있습니다. 내러티브 분석과 같이 전기, 이야기 또는 삶의 스토리에 초점을 맞추는 방법도 마찬가지입니다(예: Reissman, 2008). 여기서 고려하는 접근 방식은 질적 내용분석(QCA), IPA, GT 및 (패턴 기반) DA입니다. 이 중 (반사적) TA와 마찬가지로 QCA, IPA, GT는 상담 및 심리치료 연구에서 널리 사용됩니다. DA는 덜 널리 사용되지만 중요한 질적 연구 전통을 잘 보여줍니다. 
Our focus of comparison is on other qualitative analytic approaches centred on the analysis of patterns of meaning across the data items or cases that constitute a qualitative data set. Methods that examine the fine-grained or interactional work of speech—such as conversation analysis (e.g. Madill et al., 2001) and discursive psychology (e.g. Wiggins, 2016)—have a quite different focus. As do methods that focus on biography, stories or the storied nature of life such as narrative analysis (e.g. Reissman, 2008). The approaches we consider here are qualitative content analysis (QCA), IPA, GT and (pattern-based) DA. Three of these—QCA, IPA and GT, like (reflexive) TA—are widely used in counselling and psychotherapy research. DA is less widely used but importantly exemplifies the critical qualitative research tradition.

• 성찰적 TA와 QCA와 같은 접근법은 주로 이론적 또는 이론적으로 유연한 도구와 기법을 제공하는 방법입니다. 이러한 방법들은 특정 연구에 적용될 때 이론적 가정이 주입됩니다. 일반적으로 QCA의 경우처럼 방법론 작성자가 명시적으로 요구하지 않더라도 품질 관행을 위해서는 이론을 명시적으로 제시할 필요가 있습니다.
• IPA, GT, DA와 같은 접근법은 연구를 위한 이론적 근거가 있고 구분된 프레임워크로서 방법론으로 생각하는 것이 가장 좋습니다. 이러한 접근법은 단순한 기법이 아니므로 방법론적 기반에서 분리하는 것은 거의 의미가 없으며, 그렇게 하면 분석 실무와 결과물이 제대로 나오지 않는 경우가 많습니다. 

• Approaches like reflexive TA and QCA are primarily methods, offering tools and techniques that are either atheoretical or theoretically flexible. They become infused with theoretical assumptions when enacted in a particular study. Theory needs to be made explicit, for quality practice, even if this is not mandated by methodological authors, as is typically the case with QCA.
• Approaches like IPA, GT and DA are best thought of as methodologies, as theoretically informed and delimited frameworks for research. They are not just techniques, so detaching them from their methodological anchors rarely makes sense, and doing so often results in poor analytic practice and outputs.

우리는 성찰적 TA와 대조적으로 이러한 다른 접근법이 제공하는 것과 연구자가 특정 방법론적 선택을 할 때 헌신해야 할 것과 제약을 받아야 할 것을 강조합니다. 그러나 먼저 성찰적 TA에 대한 접근 방식의 특징과 그것이 속한 TA 방법군에 대해 논의함으로써 이러한 비교를 맥락화합니다. 
We highlight what these different approaches offer, in contrast to reflexive TA, and what researchers need to commit to, and be constrained by, in making a particular methodological choice. But first we contextualise these comparisons by discussing the characteristics of our approach to reflexive TA and the family of TA methods to which it belongs.

반사적 주제 분석과 주제 분석 방법군
Reflexive thematic analysis and the thematic analysis family of methods

TA는 상담 및 심리치료 연구와 그 밖의 다른 분야에서 한 가지 절차로 이루어진 단일 방법으로 오해되는 경우가 많습니다(Clarke & Braun, 2018). 그러나 TA는 몇 가지 공통점이 있지만 근본적인 연구 가치, 핵심 구성 요소의 개념화 및 분석 절차에서 상당한 차이가 있는 방법의 계열로 간주하는 것이 가장 좋습니다(Fugard & Potts, 2020). TA 접근법은 일반적으로

• 코딩에 대한 귀납적(데이터 중심) 및 연역적(이론 중심) 방향의 가능성을 인정하며,
• 의미론적(명시적 또는 명시적) 및 잠재적(암묵적, 잠재적, 반드시 무의식적일 필요는 없음) 의미를 잡아내고,
• 코딩과 주제 개발 과정을 인정하며,
• 연구를 구성하는 이론에 대한 유연성의 잠재력을 인정한다.

TA is frequently misunderstood in counselling and psychotherapy research, and elsewhere, as a singular method with one set of procedures (Clarke & Braun, 2018). However, it is best thought of as a family of methods (Fugard & Potts, 2020), with some characteristics in common but also significant divergences in underlying research values, the conceptualisation of core constructs and analytic procedures. TA approaches typically acknowledge

• the potential for inductive (data-driven) and deductive (theory-driven) orientations to coding,
• capturing semantic (explicit or overt) and latent (implicit, underlying; not necessarily unconscious) meanings,
• processes of coding and theme development, and
• the potential for some flexibility around the theory that frames the research. 

우리는 TA 방법을 크게 세 가지 유형으로 분류했습니다(Braun et al., 2019): 
We have categorised TA methods into three broad types (Braun et al., 2019):

이 유형 외에도 쉬운 분류를 거부하고 여러 유형의 요소를 결합한 TA 접근법, 심리치료 과정 연구를 위해 특별히 개발된 '주제 분석' 버전 등 다양한 유형이 있습니다(예: 마이어 외., 2008). 
There is variation beyond this typology—with TA approaches that defy easy categorisation and combine elements from the different types; there are also versions of ‘theme analysis’ developed specifically for psychotherapy process research (e.g. Meier et al., 2008).

세 가지 유형의 TA는 코딩 신뢰성에서 반사적 접근에 이르기까지 하나의 연속체를 이루는 것으로 개념화할 수 있습니다.

• 코딩 신뢰도 TA는 (포스트)실증주의2 연구 가치에 의해 뒷받침되는 질적 도구와 기법을 사용하는 '작은 q' 질적(Kidder & Fine, 1987)이라고 불리는 것을 예시합니다(Ponterotto, 2005 참조). 이러한 가치관은 일반적으로 정량적 연구를 뒷받침하는 가치관이며, 객관적이고 일반화 가능하며 신뢰할 수 있고 복제 가능한 지식을 이상적으로 강조합니다.
• 반면, 성찰적 TA는 질적 연구를 단순히 도구와 기법으로 개념화하는 것이 아니라 질적 가치 프레임워크 내에서 이러한 도구와 기법의 사용을 포함하는 '빅 큐' 질적 연구(Kidder & Fine, 1987)를 예시합니다. 이러한 이유로 Big Q 질적 연구를 '완전 질적' 연구(즉, 기법과 가치 모두에서 질적인 연구)라고 부르기도 합니다. 질적 연구 가치는 쉽게 정의할 수 없지만, 일반적으로 연구자의 주관성을 연구 자원으로, 의미와 지식을 부분적, 위치적, 맥락적이라고 개념화하는 것을 포함합니다(Braun & Clarke, 2013). 

The three different types of TA can be conceptualised as occupying a continuum, from coding reliability to reflexive approaches.

• Coding reliability TA exemplifies what has been dubbed ‘small q’ qualitative (Kidder & Fine, 1987)—the use of qualitative tools and techniques underpinned by (post)positivist2 research values (see Ponterotto, 2005). These are the values that typically underpin quantitative research and emphasise objective, generalisable, reliable and replicable knowledge as ideal.
• Reflexive TA, by contrast, exemplifies ‘Big Q’ qualitative (Kidder & Fine, 1987)—where qualitative research is not merely conceptualised as tools and techniques but as involving the use of these within a qualitative values framework. For this reason, Big Q qualitative is sometimes termed ‘fully qualitative’ research (i.e. research that is qualitative both in techniques and values). Although qualitative research values are not easily defined, they typically include a conceptualisation of researcher subjectivity as a resource for research and of meaning and knowledge as partial, situated and contextual (Braun & Clarke, 2013).

TA는 상담 및 심리치료 연구에서 흔히 사용되는 현상학적 또는 경험적 질적 연구 전통에 속하는 것으로 이해되는 경우가 많습니다(Morrow, 2007). 이 전통은 참여자의 주관적 경험과 의미 만들기에 대한 탐구에 중점을 둡니다(Braun & Clarke, 2013; Willig, 2013). 많은 코딩 신뢰성 및 코드북 저자들은 이러한 전통에 따라 TA의 버전을 포지셔닝합니다(예: Guest et al., 2012).

TA is often understood as belonging to the phenomenological or experiential qualitative research tradition, common in counselling and psychotherapy research (Morrow, 2007). This tradition is centred on the exploration of participants’ subjective experiences and sense-making (Braun & Clarke, 2013; Willig, 2013). Many coding reliability and codebook authors position their versions of TA within this tradition (e.g. Guest et al., 2012). 

그러나 일부 성찰적 및 코드북 TA 저자(예: Clarke & Braun, 2014; King, 2012)는 또 다른 연구 전통, 즉 비판적 질적 연구의 전통을 인정합니다. 비판적 전통은 종종 사회적으로 내재된 의미 패턴과 그 함의 및 효과에 대한 의문에 초점을 맞춘 포스트구조주의(예: Gavey, 1989) 및 구성주의3(예: Gergen, 2015) 이론적 틀과 연관됩니다(Clarke & Braun, 2014 참조). 포스트구조주의와 구성주의(예: 내러티브 치료 및 연구, Lainson 등, 2019 참조)의 영향을 받은 연구와 실천이 일부 존재하지만, 상담 및 심리치료 연구에서는 비판적 질적 전통이 잘 확립되어 있지 않습니다(Ponterotto 등, 2017). 

However, some reflexive and codebook TA authors (e.g. Clarke & Braun, 2014; King, 2012) acknowledge another research tradition—that of critical qualitative research. The critical tradition is often associated with poststructuralist (e.g. Gavey, 1989) and constructionist3 (e.g. Gergen, 2015) theoretical frameworks, focusing on the interrogation of socially embedded patterns of meaning and the implications and effects of these (see Clarke & Braun, 2014). The critical qualitative tradition is less well established in counselling and psychotherapy research (Ponterotto et al., 2017), although there are pockets of research and practice informed by poststructuralism and constructionism (e.g. narrative therapy and research, see Lainson et al., 2019).

주제 분석과 질적 내용분석의 차이점은 무엇인가요?
What are the differences between thematic analysis and qualitative content analysis?

TA와 QCA는 종종 혼동되어 혼용되는 경우가 많은데, QCA는 아마도 TA와 가장 유사한 분석 접근 방식일 것입니다(Vaismoradi 외., 2013). 이 두 방법의 차이점은 부분적으로 TA와 QCA를 어떻게 정의하느냐에 따라 달라집니다. TA에 대한 접근 방식이 하나만 있는 것이 아니듯, QCA에 대한 접근 방식도 하나만 있는 것은 아닙니다. 또한 TA가 종종 (암묵적으로) 단일한 접근법으로 제시되는 것처럼(예: Vaismoradi 외., 2016; Vaismoradi & Snelgrove, 2019), QCA도 마찬가지입니다(예: Burla 외., 2008). '한 가족의 형제자매로서 다양한 유형의 TA'라는 비유를 확장하면(Fugard & Potts, 2020), TA와 QCA를 각각 많은 자녀를 둔 두 개의 관련 '핵가족'으로 상상하는 것이 유용합니다. 각 가족 내에는 많은 차이가 있으며, 두 가족 사이에는 많은 연결 지점과 약간의 차이가 있습니다. 
TA and QCA are often confused and conflated; QCA is probably the analytic approach most like TA (Vaismoradi et al., 2013). How these two methods differ in part depends on how both TA and QCA are defined. Just as there is no one approach to TA, there is no one approach to QCA. Moreover, just as TA is often (implicitly) presented as a singular approach (e.g. Vaismoradi et al., 2016; Vaismoradi & Snelgrove, 2019), so too is QCA (e.g. Burla et al., 2008). Extending the ‘different types of TA as siblings in a family’ analogy (Fugard & Potts, 2020), it is useful to imagine TA and QCA as two related ‘nuclear families’, each with lots of children. There is lots of variation within each family, and lots of points of connection, and some differences, between the two families.

QCA는 아마도 양적 버전에서 발전했을 것입니다.Mayring(2000; 그러나 Hseih & Shannon, 2005 참조)은 20세기 중반에 내용분석에 대한 질적 접근법의 발전을 설명했습니다(예: Kracauer, 1952). QCA는 종종 질적 데이터에서 주제를 식별하는 방법으로 설명되며(예: Cho & Lee, 2014; Hseih & Shannon, 2005; Vaismoradi 외., 2016), 일부 연구자들은 그들의 접근 방식을 '주제별 내용분석'이라고 부르기도 합니다(예: Brewster 외., 2014). QCA에 대한 일부 정의는 (일반적으로) TA와 유사한 방법을 설명합니다. 예를 들어, Hsieh와 Shannon(2005)은 TA에 대한 일반적인 정의를 작성했을 수 있습니다: 
QCA probably developed from quantitative versions4—Mayring (2000; but see Hseih & Shannon, 2005) described the development of qualitative approaches to content analysis in the middle of the twentieth century (e.g. Kracauer, 1952). QCA is often described as a method for identifying themes in qualitative data (e.g. Cho & Lee, 2014; Hseih & Shannon, 2005; Vaismoradi et al., 2016), and some researchers even label their approach ‘thematic content analysis’ (e.g. Brewster et al., 2014). Some definitions of QCA describe a method that is like TA (in general). For example, Hsieh and Shannon (2005) could have been writing a generic definition of TA:

이 정의에는 코딩 및 주제 개발 과정(TA에서와 마찬가지로 QCA에서도 주제에 대한 널리 합의된 정의는 없지만), 명시적(의미론적) 의미와 추론적(잠재적) 의미, 연구자 주관성의 중심성 등이 포함됩니다. 연구자의 주관성을 강조하는 것을 제외하면, 이러한 특징들은 다양한 출처에서 QCA의 주요 특징입니다(예: Burla et al., 2008; Cho & Lee, 2014; Forman & Damschroder, 2008; Vaismoradi et al., 2013). 다른 일반적인 특징으로는 귀납적 접근법과 연역적 접근법(또는 일반적 접근법과 지시적 접근법) 또는 이 둘의 조합을 모두 사용할 수 있다는 점이 있습니다(예: Cho & Lee, 2014; Hseih & Shannon, 2005). 실제로 일부 QCA 저자들은 '주제 분석' 또는 TA가 QCA의 다른 이름일 뿐이라고 주장하기도 합니다(Schreier, 2012). 일반적인 수준에서 보면 TA와 QCA를 구분하는 것은 거의 없는 것 같습니다. 그러나 TA 접근 방식에 따른 차이는 QCA가 코드북 및 코딩 신뢰성 TA와 가장 많이 겹친다는 것을 의미합니다.

• QCA에 대해 널리 합의된 절차는 없지만, 대부분의 저자는 코드북 또는 코딩 프레임의 사용을 강조하며(예: Burla et al., 2008; Forman & Damschroder, 2008; Schreier, 2012),
• 일부는 여러 독립 코더 사용 및 코더 간 일치도 측정과 같은 코딩 신뢰성을 보장하고 입증하기 위한 관행을 논의합니다(예: Burla et al., 2008; Forman & Damschroder, 2008).

이와는 대조적으로, 성찰적 TA는 연구자에게 절차 및 기본 연구 가치 측면에서 완전히 질적인 접근 방식을 제공하는 것으로 보입니다. 
This definition includes reference to processes of coding and theme development (although, as in TA, there is no widely agreed on definition of a theme in QCA), explicit (semantic) and inferred (latent) meaning, and the centrality of researcher subjectivity. With perhaps the exception of an emphasis on researcher subjectivity, these are key features of QCA in many different sources (e.g. Burla et al., 2008; Cho & Lee, 2014; Forman & Damschroder, 2008; Vaismoradi et al., 2013). Other common features include the possibility of using both inductive and deductive (or conventional and directed) coding approaches, or a combination of the two (e.g. Cho & Lee, 2014; Hseih & Shannon, 2005). Indeed, some QCA authors argue that ‘theme analysis’ or TA is just another name for QCA (Schreier, 2012). At the general level, there does seem to be little that separates TA and QCA. However, the variation across TA approaches means QCA overlaps most with codebook and coding reliability TA.

• Although there is no one widely agreed on set of procedures for QCA, most authors emphasise the use of a codebook or coding frame (e.g. Burla et al., 2008; Forman & Damschroder, 2008; Schreier, 2012) and
• some discuss practices to ensure and demonstrate coding reliability such as using multiple independent coders and measuring inter-coder agreement (e.g. Burla et al., 2008; Forman & Damschroder, 2008).

In contrast, reflexive TA does seem to offer the researcher a distinct approach, one that is fully qualitative in terms of both its procedures and the underlying research values.

QCA는 일반적으로 방법론이라기보다는 하나의 방법으로 제시되지만(Cho & Lee, 2014), 이론적 토대는 거의 논의되거나 인정되지 않습니다. 실제로 QCA와 TA의 주요 차이점 중 하나는 QCA가 이론적으로 유연하기보다는 무이론적인 것으로 암묵적으로, 때로는 명시적으로 제시된다는 점입니다(Forman & Damschroder, 2008).

• 이러한 포지셔닝에도 불구하고, (포스트)실증주의 이론적 가정은 연구자 주관을 최소화하고 코딩의 '정확성'을 극대화하기 위해 코더 간 일치도 계산과 같은 품질 측정을 사용하여 분석에 도입되는 경우가 많습니다.
• 이론적 토대가 인정되는 경우, 일반적으로 (포스트)실증주의 또는 현실주의(또는 '사실주의') 유형에 속합니다(Vaismoradi 외., 2013).

QCA의 이러한 무이론적 위치 때문에 QCA는 설명적 분석만을 위한 방법으로 여겨지기도 하고(Cho & Lee, 2014; Vaismoradi 외., 2013), 따라서 질적 분석 접근법 중 (가장 해석적 접근법이라고 주장하는 GT나 해석적 현상학(예: Vaismoradi 외., 2013)에 비해) 가장 해석적이지 않은 것으로 여겨지기도 합니다. 이 때문에 QCA는 종종 질적 분석 초보자가 접근하기 쉽지만 상대적으로 정교하지 않은 '입문용' 방법(Vaismoradi 외., 2013)으로 인식되는 경우가 많습니다(TA도 종종 잘못 표현되는 것처럼). 
Although QCA is commonly presented as a method rather than a methodology (Cho & Lee, 2014), theoretical underpinnings are rarely discussed or acknowledged. Indeed, one major difference between QCA and TA seems to be that QCA is often implicitly and sometimes explicitly presented as atheoretical, rather than theoretically flexible (Forman & Damschroder, 2008).

• Despite such positioning, (post)positivist theoretical assumptions are often imported into the analysis through the use of quality measures like calculating inter-coder agreement and a concern to minimise researcher subjectivity and maximise the ‘accuracy’ of coding.
• If theoretical underpinnings are acknowledged, it is usually of the (post)positivist or realist (or ‘factist’) variety (Vaismoradi et al., 2013).

The atheoretical positioning of QCA is perhaps why it is often thought of as a method for only producing descriptive analyses (Cho & Lee, 2014; Vaismoradi et al., 2013) and—thus—as the least interpretive of the qualitative analytic approaches, compared to what some claim are the most interpretive approaches, such as GT or interpretive phenomenology (e.g. Vaismoradi et al., 2013). This is perhaps why QCA is often framed as a ‘starter’ method (Vaismoradi et al., 2013), accessible for qualitative beginners, but relatively unsophisticated (as TA is often also misrepresented as).

TA와 QCA는 정량적 내용분석에서 병렬적으로 발전한 것으로 보이며 버전에 따라 어느 정도 겹치는 부분이 있는데, 이를 별개의 방법으로 간주하는 것이 유용할까요? 서로 다른 용어를 사용하면 명확해지나요, 아니면 불필요하게 혼란스럽고 복잡해지나요? 저희의 견해는 후자 쪽에 가깝지만, 이 두 가지 방법이 모두 확고하게 자리 잡았기 때문에 어느 쪽도 사라지지는 않을 것입니다. 그렇다면 왜 TA 대신 QCA를 선택해야 할까요? 이는 아마도 각 방법이 더 많은 '신뢰도' 또는 수용성을 지니고 있으며 특정 상황에서 더 널리 사용되기 때문에 상황에 따라 크게 달라질 수 있습니다. 만약 여러분의 접근 방식이 (포스트)실증주의적/'작은 q'적이라면, 두 가지를 구분할 필요가 거의 없습니다. 하지만 - 이것은 중대한 '하지만'이다 - 우리는 질적 분석이 무이론적이라는 (암묵적인) 포지셔닝에 문제가 있습니다. 연구자의 목적이 무엇이든, 분석에는 항상 이론적 가정과 선택이 수반되기 때문에 질적 분석은 무이론적일 수 없습니다(Ponterotto et al., 2017). 일반적으로 TA 문헌에는 이론적 토대에 대한 논의가 있기 때문에(때때로 제한적이고 때로는 문제가 되기도 하지만), 우리는 어떤 형식을 사용하든 QCA보다 TA를 사용하고 분석의 이론적 근거에 대해 논의할 것을 옹호합니다. 이론적으로 유연한 TA의 프레임워크는 이론을 피할 수 없음을 의미합니다(이론적으로는! - Braun & Clarke, 2020 참조). 또한, 우리는 작업 대상인 '콘텐츠'보다는 '주제', 즉 무엇을 얻고자 하는지에 초점을 맞추는 것을 선호합니다. 전자(contents에 초점을 두는 것)는 데이터 분석에 대해 '진실은 거기에 있다'는 식의 추출적 성향을 불러일으킬 위험이 있습니다(Braun & Clarke, 2016).  
As TA and QCA seem to be parallel developments from quantitative content analysis, and more or less overlap (depending on the version), is it useful to consider them distinct methods? Does having different terms clarify, or does it just confuse and complexify, unnecessarily? Our view tends towards the latter, but as both branches of this family of methods are now firmly established, neither will disappear. So why might you choose QCA over TA? This probably largely depends on context, as each method carries more ‘cachet’ or acceptance and is more widely used in certain contexts. If your approach is more (post)positivist/small q, there is little to distinguish between the two. But—and this is a big but—we are troubled by the (implicit) positioning of QCA as atheoretical. Qualitative analysis cannot be atheoretical—no matter what a researcher's purpose, analysis always involves theoretical assumptions and choices (Ponterotto et al., 2017). Because there is usually some discussion of theoretical underpinnings within the TA literature (albeit at times limited, and sometimes problematic), we therefore advocate for using TA over QCA—whichever form you use, and for discussing the theoretical bases of the analysis. The framing of TA as theoretically flexible means theory cannot be avoided (in theory! - see Braun & Clarke, 2020). Furthermore, we prefer the focus on ‘themes’—what you're aiming to get to—rather than ‘content’—what you're working with. The latter risks evoking an extractive, ‘the truth is in there’ orientation to data analysis (Braun & Clarke, 2016).

주제별 분석과 해석적 현상학적 분석의 차이점은 무엇인가요?
What are the differences between thematic analysis and interpretative phenomenological analysis?

다양한 현상학적 접근법(예: Finlay, 2011; Paley, 2017)이 있으며, 특히 적어도 1980년대부터 현상학적 연구에 사용되어 온 TA(예: Dapkus, 1985)가 가장 대표적인 접근법입니다. 여기서 IPA에 초점을 맞추는 이유는 잘 발달된 방법론적 지침과 함께 상담 및 심리치료 연구에서 점점 더 널리 사용되고 있기 때문입니다(McLeod, 2011). 방법론으로서 IPA는 다음을 지정합니다:

• (a) 지침이 되는 이론적 틀(현상학 - 이 버전에서는 인간이 세계를 경험하고 이해하는 방식을 이해하고 해석하는 데 광범위하게 관련됨),
• (b) 특정 맥락에서의 개인적 경험과 의미 만들기에 초점을 맞춘 연구 질문,
• (c) 작고 동질적인 목적 표본의 사용,
• (d) 개인 경험에 대한 일인칭 설명을 수집하기 위한 인터뷰 사용(예: Smith et al., 2009; Smith & Osborn, 2007; Spiers & Riley, 2019).

There are a wide variety of phenomenological approaches (e.g. Finlay, 2011; Paley, 2017), not least TA, which has been used in phenomenological research since at least the 1980s (e.g. Dapkus, 1985). We focus on IPA here because it is increasingly widely used in counselling and psychotherapy research, with well-developed methodological guidance (McLeod, 2011). As a methodology, IPA specifies:

• (a) a guiding theoretical framework (phenomenology—which in this version is broadly concerned with understanding and interpreting how human beings experience and make sense of the world);
• (b) research questions focused on personal experience and meaning-making in a particular context;
• (c) the use of small, homogenous purposive samples; and
• (d) the use of interviews to collect first-person accounts of personal experience (e.g. Smith et al., 2009; Smith & Osborn, 2007; Spiers & Riley, 2019). 

그러나 1990년대에 처음 소개되었을 때와 달리 IPA가 발전함에 따라 데이터 수집 방법에 대한 다양성이 증가하고 있습니다(예: 포커스 그룹 데이터를 분석하는 데 IPA를 사용하는 것에 대한 논의가 있었습니다; Palmer et al., 2010). 성찰적 TA에서와 마찬가지로 연구자의 주관성은 IPA의 기본 자원입니다. 실제로 IPA 연구는 근본적인 인간의 행위로 묘사되어 왔습니다:

• '인간이 하는 일을 하는 것일 뿐입니다. 좀 더 세밀하게 하고, 좀 더 꾸준히 하고 있지만, 그럼에도 불구하고 연구 과정에서 일어나는 본질적으로 인간적인 과정입니다'(Smith, 2019, 171쪽).

There is, however, increasing variation around data collection methods as IPA has evolved from when it was first outlined in the 1990s (e.g. there has been some discussion of using IPA to analyse focus group data; Palmer et al., 2010). As in reflexive TA, researcher subjectivity is a fundamental resource for IPA. Indeed, IPA research has been described as a fundamentally human practice, it is:

• ‘merely doing what human beings do. OK, it's doing it in more detail, it's doing it more steadfastly, but nonetheless, it's an essentially human process that is happening in the research's endeavour’ (Smith, 2019, p. 171).

방법/방법론의 문제 외에도, 성찰적 TA와 IPA 사이에는 두 가지 중요한 차이점이 있습니다.

• 첫 번째는 IPA는 [사례(참여자) 전반에 걸쳐 주제를 식별하는 주제적 방향]과 [각 사례의 구체적이고 고유한 세부 사항에 관심을 갖고 집중하는 개별 사례적 접근]이라는 이중 분석적 초점을 통합한다는 점입니다.
• 둘째, 이러한 개별 사례적 초점과 부분적으로 관련이 있는데, IPA 절차는 TA 절차와는 다소 다릅니다:
  • IPA는 사례 전반에 걸쳐across 주제를 개발하기 전에 각each 사례의 분석에 세부적으로 초점을 맞추는 것을 포함합니다(Braun & Clarke, 2013).
  • 이는 전체 데이터 세트의 코딩한 다음, 코드에서 사례 전반의across 테마를 개발하는 재귀적 TA의 테마 개발과는 상당히 다릅니다.
  • IPA는 데이터 세트 전체에 걸쳐 주제를 개발하기 위해 전반적인 주제 방향을 잡기 전에 각 데이터 항목에 대해 훨씬 더 깊이 또는 더 깊이 분석합니다. 각 인터뷰 기록은 순차적으로 전체 분석되며, 분석 노트는 기록 자체에 이상적으로 기록되어 각 참가자 이야기의 고유한 특징에 대한 상세하고 면밀한 참여를 유도합니다.

Beyond the method/ology question, there are two important differences between reflexive TA and IPA.

• The first is that IPA incorporates a dual analytic focus: both a thematic orientation—the identification of themes across cases (participants)—and an idiographic approach—interest in and focus on the particular and unique details of each case.
• Second, related in part to this idiographic focus, IPA procedures are rather different from TA procedures:
  • IPA involves a detailed focus on the analysis of each case, before developing themes across cases (Braun & Clarke, 2013).
  • This is quite different from theme development in reflexive TA, where themes are developed across cases from codes, following the coding of the entire data set.
  • IPA goes analytically much deeper or further with each data item, before taking an overall thematic orientation to develop themes across the data set. Each interview transcript is analysed in full, sequentially, and analytic notes are ideally recorded on the transcripts themselves, encouraging detailed and close engagement with the unique features of each participant's account.

IPA 프로세스는 데이터에 상세한 노트를 작성하는 '초기 노팅'로 시작됩니다. 이러한 주석은 TA에서와 같이 설명적(의미론적)이며 참가자의 명시적 의미에 가깝거나, 개념적(잠재적)이며 연구자의 관점에서 참가자의 세계관에 대한 해석을 반영할 수 있습니다. IPA에서 초기 노팅의 또 다른 측면은 언어 사용에 초점을 맞추는 것입니다: Smith 등(2009)은 은유뿐만 아니라 '대명사 사용, 멈춤, 웃음, 언어의 기능적 측면, 반복, 어조, 유창성 정도(명료하거나 머뭇거림)'(88쪽)에도 주의를 기울일 것을 권장했습니다. 은유에 초점을 맞추면 연구자가 더 많은 개념적 의미를 파악하는 데 도움이 될 수 있습니다. IPA에서 언어는 사람들이 생각하고 느끼는 것을 반영하고 전달하는 것으로 가정하는데, 이는 DA 및 기타 비판적 질적 접근법에서 언어가 이론화되는 방식과 크게 다릅니다(Willig, 2013 참조). 이러한 초기 노트는 연구자가 성찰적 TA의 첫 번째 단계에서 작성하는 익숙화 메모와 유사하지만, 일반적으로 더 형식화되고 체계적이며 상세합니다.
The IPA process begins with ‘initial noting’: writing detailed notes on the data. These comments can, like in TA, be descriptive (semantic) and stay close to the participants’ overt meanings, or conceptual (latent) and reflect an interpretation of the participant's worldview from the standpoint of the researcher. An additional aspect of initial noting in IPA is a focus on language use: Smith et al. (2009) encouraged attention to ‘pronoun use, pauses, laughter, functional aspects of language, repetition, tone, degree of fluency (articulate or hesitant)’ (p. 88) as well as metaphor. A focus on metaphor may help the researcher to grasp more conceptual meanings. In IPA, language is assumed to reflect and communicate what people think and feel, which differs profoundly from how language is theorised in DA and other critical qualitative approaches (see Willig, 2013). These initial notes are similar to the familiarisation notes the researcher makes in the first phase of reflexive TA, but they are generally more formalised, systematic and detailed.

다음 단계는 동일한(한 명의) 참가자를 대상으로 '출현(또는 귀납적) 주제'를 개발하는 것입니다(이는 반사적 TA의 코드와 다소 유사합니다. Braun & Clarke, 2013 참조). 떠오르는 주제들 간의 연관성을 찾는 과정을 통해 해당 참가자와 관련된 '상위 주제'를 개발하게 되는데, 이는 재귀적 TA의 주제와 다소 유사하지만, 떠오르는 주제와 연결된 공통된 의미를 가진 주제 요약에 더 가깝다고 할 수 있습니다.
The next step involves the development of ‘emergent (or inductive) themes’ for the same participant (these are somewhat akin to codes in reflexive TA, see Braun & Clarke, 2013). A process of searching for connections across emergent themes leads to the development of ‘super-ordinate themes’ related to that participant—these are somewhat akin to themes in reflexive TA, but can be more like topic summaries, with shared meaning connected to emergent themes.

이 과정은 각 인터뷰마다 반복됩니다. 마지막으로 연구자는 모든 참가자를 위한 상위 주제 목록을 개발합니다. 이러한 '마스터 테마'는 일반적으로 분석의 구조와 조직을 제공하며, 세부적으로 보고되는 것은 출현 주제입니다. 출현 주제와 상위 주제와 관련하여 IPA에서 주제가 개념화되는 방식은 (TA처럼) 지저분messy합니다.

• 때때로 제시된 테마는 '주제 요약'과 유사하며, 이는 특히 상위 종속 테마에서 분명해 보입니다.
• 다른 경우에는 테마가 중심 개념을 중심으로 구성된 의미 기반 패턴을 보고하는 것처럼 보이기도 합니다.

This process is then repeated for each interview. Finally, the researcher seeks to develop a list of super-ordinate themes for all of the participants. These ‘master themes’ typically provide structure and organisation for the analysis; what is reported in detail are the emergent themes. The way themes are conceptualised in IPA, both in relation to emergent and super-ordinate themes is—like with TA—messy.

• Sometimes, themes presented are akin to ‘topic summaries’—this seems particularly evident for super-ordinate themes.
• Other times, themes appear to report meaning-based patterns organised around a central concept.

영국의 심리학자 스미스를 비롯한 주요 저자들의 IPA에 대한 간략한 요약과 방법론적 설명은 '교과서' 버전의 IPA라고 할 수 있으며, 이들의 경험적 연구(예: Eatough & Smith, 2010; Rhodes et al., 2019; Smith & Osborne, 2007)를 통해 그 예시를 확인할 수 있습니다. 이는 더 넓은 연구 커뮤니티에서 IPA를 제정하는 방식과는 다소 다를 수 있습니다(TA와 마찬가지로; Braun & Clarke, 2020 참조). IPA는 아주 작은 표본을 대상으로 TA를 수행하는 방법으로 자주 사용되며, 참가자의 의미 결정에 대한 더 넓은 사회적 맥락을 거의 고려하지 않는 다소 '가벼운' 설명적 분석을 생성하는 데 사용되는 것 같습니다. 이러한 사용은 TA와 IPA의 잠재력을 모두 충족시키지 못합니다. 이러한 평가는 비단 우리만의 생각은 아닙니다. IPA 방법론가들은 IPA가 자주 사용되는 방식에 대해 비판적이었으며(예: Brocki & Wearden, 2006; Larkin 외, 2006; Smith, 2011), 특히 'Personhood의 구성적 근거'로서 사회 세계를 무시하는 것에 대해 비판적이었습니다(예: Chamberlain, 2011; Parker, 2005). IPA의 이러한 (잘못된) 사용이 의미하는 바는 IPA의 '산출'이 현상학적 TA의 산출과 거의 같을 수 있지만, 일반적으로 표본이 더 작다는 것입니다. 그러나 이러한 접근 방식은 달라야 합니다. 
Our brief summary of IPA, and methodological descriptions by key authors, including British psychologist Smith, could be called the ‘textbook’ version of IPA and is exemplified by their empirical work (e.g. Eatough & Smith, 2010; Rhodes et al., 2019; Smith & Osborne, 2007). This can be rather different from how IPA is enacted by the wider research community (much like with TA; see Braun & Clarke, 2020). It seems to us that IPA is quite often used as a method for doing TA on very small samples, and to produce rather ‘light’ descriptive analyses that show little regard for the wider social context of participants’ sense-making. Such use fails the potential of both TA and IPA. We are not alone in this assessment. IPA methodologists have been critical of the way IPA is often used (e.g. Brocki & Wearden, 2006; Larkin et al., 2006; Smith, 2011), and particularly the neglect of the social world as the ‘constituent ground of personhood’ (Larkin et al., 2011, p. 324), as have those less sympathetic to IPA (e.g. Chamberlain, 2011; Parker, 2005). What this (mis)use of IPA means is that the ‘output’ of an IPA can be little different from the output of a phenomenological TA, but usually with a smaller sample. But these approaches should be different.

Spiers와 Riley (2019)는 성찰적 TA와 IPA를 모두 사용하여 47 명의 GP와 인터뷰 한 데이터 세트에서 서로 다른 분석을 생성하는 것을 반영하는 데있어 이례적입니다. TA는 전체 데이터 세트를 분석하는 데 사용되었습니다(비판적 현실주의6 이론적 틀 내에서, IPA의 철학적 토대에 부합하고 귀납적 방향과 의미론적 의미에 초점을 맞추기 위해). IPA는 '인구통계적으로 동질적인'(278페이지) 10개의 인터뷰 하위 집합을 대상으로 실시되었습니다. 저자들은 TA는 폭이 넓고 IPA는 깊이가 있다고 제안했지만, IPA의 경우 표본이 작아 각 인터뷰에 더 깊이 참여할 수 있었고(분석에 시간을 할애하는 것은 우리가 강조하는 부분입니다, Braun & Clarke, 2021), 잠재적 의미에 초점을 맞추면 TA 분석이 'IPA처럼 보이는'(284쪽) 결과를 낳았을 것이라는 점을 인정했습니다. 그들은 데이터를 읽고 해석하는 방식에서 분석 방향을 전환하는 데 어려움을 겪었지만, IPA와 TA가 '방법으로서 잘 작동한다'고 결론지었습니다(287쪽).  
Spiers and Riley (2019) are unusual in providing a reflection of using both reflexive TA5 and IPA to produce different analyses from one data set of interviews with 47 GPs living with distress. TA was used to analyse the full data set (within a critical realist6 theoretical framework, to align with the philosophical underpinnings of IPA and with an inductive orientation and focus on semantic meaning). An IPA was conducted on a ‘demographically homogenous’ (p. 278) subset of 10 interviews. The authors suggested their TA produced breadth, while the IPA produced depth, but acknowledged that the smaller sample for the IPA allowed for more in-depth engagement with each interview (taking time over analysis is something we emphasise, Braun & Clarke, 2021), and that a focus on latent meaning would have resulted in a TA analysis ‘that looked more like IPA’ (p. 284). They noted difficulty in shifting analytic orientation in terms of how they were reading and interpreting the data, but concluded that IPA and TA ‘work well together as methods’ (p. 287).

연구자가 한 가지 접근법만 사용하고 광범위한 경험적 또는 현상학적 연구를 수행한다고 가정할 때, 언제 IPA 대신 반사적 TA를 사용하는 것이 합리적일까요? IPA의 요구사항이나 초점이 연구에 잘 맞지 않을 때는 IPA 대신 TA를 사용하는 것이 좋습니다. 예를 들어 TA를 사용하는 경우는
Assuming a researcher is just using one approach, and conducting a broadly experiential or phenomenological study, when might it make sense to use reflexive TA instead of IPA? We recommend TA instead of IPA when the requirements or focus of IPA are not well met by a study. For instance:

주제별 분석과 근거 이론의 차이점은 무엇인가요?
What are the differences between thematic analysis and grounded theory?

GT는 원래 1960년대에 미국의 사회학자 Glaser와 Strauss에 의해 개발되었는데, 이 시기는 질적 연구가 지금처럼 다양한 방법으로 확립된 개념이 아니었던 시기였습니다(Charmaz & Thornberg, 2020). GT 개념과 관행은 질적 탐구 전반에 걸쳐 많은 아이디어에 영향을 미쳤으며, 때로는 암묵적으로(때로는 포화 개념처럼 정당화할 만한 근거 없이) 영향을 미치기도 했습니다(Braun & Clarke, 2019b). Glaser와 Strauss(1965, 1967)는 사회학 이론을 경험적 증거에 근거한 연구 접근법을 확립하는 것을 목표로 삼았습니다(Charmaz & Thornberg, 2020). 초기의 근거 이론은 오늘날 질적 연구를 위한 대규모 표본과 데이터 수집 및 분석의 동시 프로세스를 포함하는 광범위한 범위였습니다.

• 예를 들어, 최소 9가지 유형의 병동 또는 서비스에 대해 2~4주 동안 관찰하는 등 6개 병원에서 실시한 집중적인 현장 연구, Glaser와 Strauss(1967, 289쪽)의 '간호학생의 죽음과의 만남에 대한 광범위한 인터뷰 데이터' 또는 Charmaz(1983)의 73개 인터뷰 등이 있습니다.

GT was originally developed by US sociologists Glaser and Strauss in the 1960s—at a time when qualitative research was not the established concept with a vast range of methods it has become (Charmaz & Thornberg, 2020). GT concepts and practices have gone on to influence many ideas across qualitative inquiry, often implicitly (and sometimes without good justification—such as in the pervasive concept of saturation; Braun & Clarke, 2019b). Glaser and Strauss (1965, 1967) aimed to establish an approach to research that grounded sociological theories in empirical evidence (Charmaz & Thornberg, 2020). Early grounded theories were broad in scope, involving what would now be regarded as large samples for qualitative research, and concurrent processes of data collection and analysis.

• For instance, intensive fieldwork at six hospitals, including observations lasting two to four weeks on at least nine different types of wards or services, and ‘extensive interview data on nursing students’ encounters with death’ in Glaser and Strauss (1967, p. 289) or 73 interviews in Charmaz (1983).

초기 GT의 절차와 가정은 실증주의에 대한 글레이저의 헌신과 인간의 행동과 상호작용을 통한 의미와 사회 질서의 창조에 관한 사회학 이론인 상징적 상호작용주의에 대한 스트라우스의 관심을 모두 반영한 것으로 보입니다(Charmaz, 2014). 글레이저와 스트라우스는 지적으로 분열되어 각자의 GT 버전을 개발했습니다(예: 글레이저, 1992; 스트라우스 & 코빈, 1990). 그들의 박사 과정 학생들 중 일부, 특히 Charmaz(2014)도 자신만의 GT 버전을 개발했습니다. 심리치료 과정 연구를 포함한 특정 분야에서 사용하기 위해 개발된 변형도 있습니다(Rennie, 2006). 이처럼 다양한 버전의 GT가 존재하기 때문에 성찰적 TA와 GT의 차이점을 파악하는 것은 매우 복잡합니다.7  
The procedures and assumptions of early GT arguably reflected both Glaser's commitment to positivism and Strauss’ interests in symbolic interactionism, a sociological theory concerned with the creation of meaning and social order through human actions and interactions (Charmaz, 2014). Glaser and Strauss split intellectually and developed their own versions of GT (e.g. Glaser, 1992; Strauss & Corbin, 1990). Some of their PhD students, most notably Charmaz (2014), have also developed their own versions of GT. There are also variants developed for use within specific fields including psychotherapy process research (Rennie, 2006). Identifying the differences between reflexive TA and GT, then, is complex, because there are so many different versions of GT.7

많은 근거 이론가들은 GT가 사회적 과정과 같은 특정 유형의 연구 질문과 특정 현상에 영향을 미치고, 뒷받침하고, 형성하는 요인에 초점을 맞춰야 한다고 주장합니다(Charmaz, 2014). 그러나 연구자들은 훨씬 더 다양한 연구 질문을 다루기 위해 GT를 사용하는 경향이 있으며, 상담 및 심리치료 연구에서는 종종 실제 경험에 초점을 맞춘 질문이 이에 해당합니다(예: Lillie, 2006). 인터뷰는 데이터 수집의 일반적인 방법이지만 민족지학적 현장 작업/관찰 방법, 2차 자료(예: 정부 문서, 미디어 자료), 질적 조사, 일기, 사진 및 비디오 등 다양한 데이터 수집 기법을 사용할 수 있습니다(Charmaz, 2014 참조). 
Many grounded theorists argue that GT should be focused on particular types of research questions—such as social processes, and the factors that influence, underpin and shape particular phenomena (Charmaz, 2014). However, researchers tend to use GT to address a much wider variety of research questions—in counselling and psychotherapy research this is often questions focused on lived experience (e.g. Lillie, 2006). Interviewing has been the typical method of data collection, but a wider range of data collection techniques is possible, such as ethnographic field work/observational methods, secondary sources (e.g. Government documents, media items), qualitative surveys, solicited diaries, photographs and videos (see Charmaz, 2014).

Glaser(1992)의 실증주의적 반복에서 Charmaz(2014)의 구성주의적 재작업에 이르기까지 다양한 GT 버전은 서로 다른 이론적 토대를 가지고 있으며 분석 절차에서도 대부분 사소한 차이가 있습니다. 이러한 버전에 걸쳐 GT 분석 프로세스는 다양한 단계 또는 '수준'의 코딩을 포함합니다(Birks & Mills, 2015).

• 일반적으로 초기 또는 '개방형'(줄 단위) 코딩에서
• 보다 '선택적', '통합적' 또는 '집중형'(더 광범위하고, 더 높은 수준, 더 추상적이고, 해석적이거나 개념 지향적인) 코딩으로 이동한다.

Ranging from Glaser’s (1992) positivist iteration to Charmaz’s (2014) constructivist re-working, the various versions of GT have different theoretical underpinnings; there are also mostly minor divergences in analytic procedures. Across these versions, the GT analytic process generally involves different stages or ‘levels’ of coding—

• moving from initial or ‘open’ (line-by-line) coding
• to more ‘selective’, ‘integrative’ or ‘focused’ (broader, higher level, more abstract, interpretive or conceptually oriented) coding (Birks & Mills, 2015).

근거 이론가들은 코드, 개념, 범주를 구분하는데(이 용어들은 종종 혼용되어 사용되기도 함), '범주'는 성찰적 TA의 '주제'에 느슨하게 매핑됩니다. 일반적으로 GT의 결과물은 핵심 개념/카테고리 또는 때때로 계층적으로 관련된 개념/카테고리의 클러스터입니다. 코딩의 후반 단계, 특히 카테고리 개발을 목표로 하는 코딩은 재귀적 TA의 주제 개발 프로세스에 광범위하게 매핑됩니다. 그러나 GT는 TA처럼 두 가지 '수준'의 분석(코드/테마) 사이에 명확한 전환이 없는 것으로 보이는데, 이와 달리 성찰적 TA에서는 코드에서 테마가 개발되는 것이 명확하다. 
Grounded theorists distinguish between codes, concepts and categories (these terms are also often conflated in use)—categories loosely map onto themes in reflexive TA. Generally, the output of a GT is a core concept/category and/or cluster of sometimes hierarchically related concepts/categories. The later stages of coding, and particularly coding aimed at category development, broadly map onto theme development processes in reflexive TA. However, GT does not seem to have such a clear sense of transition between two ‘levels’ of analysis (codes/themes) as TA has—something particularly evident in reflexive TA where themes are developed from codes.

[라인별 코딩] 및 [지속적인 비교 분석]과 같은 근거 이론가들이 개발한 코딩 전략은 종종 TA에 기인하는 경우가 많으며, GT는 영향력이 있습니다(Charmaz & Thornberg, 2020). 우리는 때때로 성찰적 TA 내에서 이러한 전략의 옹호자로 묘사되지만, 우리는 그렇지 않습니다(Braun & Clarke, 2020). 이와는 대조적으로 Charmaz(2014)는 줄 단위 코딩을 사용하는 것이 GT를 '일반적인 주제 분석'과 구별하는 요소라고 지적했습니다(125쪽). 라인별 코딩은 세분화된 코딩부터 데이터의 모든 라인에 대한 코드 생성까지 다양한 의미를 가지며(Charmaz, 2014), 데이터를 청크로 분할하거나 구문 분석하기 전에 선행될 수 있습니다(Pidgeon & Henwood, 1996). 
GT is influential, with coding strategies developed by grounded theorists—such as line-by-line coding and constant comparative analysis—often attributed to TA (Charmaz & Thornberg, 2020). We are sometimes described as advocates of these strategies within reflexive TA, which we are not (Braun & Clarke, 2020). Charmaz (2014), in contrast, noted that the use of line-by-line coding is precisely what distinguishes GT from a ‘general thematic analysis’ (p. 125). Line-by-line coding has different meanings—from fine-grained coding to generating a code for every line of data (Charmaz, 2014)—and can be preceded by segmenting or parsing the data into chunks (Pidgeon & Henwood, 1996).

어떤 의미가 적용되든, 반사적 TA에서는 코딩이 다르게 접근됩니다. 

• 분석을 위해 데이터를 세분화할 필요가 없고,
• 모든 데이터(라인)에 코드를 적용할 필요는 없으며,
• 연구의 목표와 목적에 따라 필요한 만큼 세밀하게 또는 거칠게 코딩할 수 있습니다.

'지속적인 비교 분석'은 데이터를 이해하고 효과적으로 코딩하고 분석하기 위해 [데이터 비트와 다른 데이터 비트, 코드와 코드, 범주와 범주]를 비교하는 전략을 효과적으로 일컫는 복잡한 이름입니다(Birks & Mills, 2015). 넓은 의미에서 모든 형태의 질적 데이터 분석은 예를 들어 데이터의 특정 부분이 이 코드 또는 저 코드로 가장 잘 코딩되는지, 또는 이 프로세스 또는 저 프로세스의 증거인지 등을 고려하는 것을 포함한다. 그렇기에 일반적으로 좋은 질적 분석에서는 지속적인 비교 분석으로 캡슐화된 '아이디어'가 핵심입니다. 그러나 명명되고 체계화된 기법으로서 지속적인 비교 분석은 특히 GT와 관련이 있습니다.
Whichever meaning applies, coding is approached differently in reflexive TA:

• data do not need to be segmented for analysis,
• not all data (lines) need to have codes applied, and
• coding can be as fine grained or as coarse as is required to address the aims and purpose of the research.

‘Constant comparative analysis’ is a complex name for what is effectively a strategy of comparing bits of data with other bits of data, codes with codes and categories with categories, in order to make sense of the data, and code and analyse it effectively (Birks & Mills, 2015). In the broadest sense, all forms of qualitative data analysis involve consideration of whether a specific segment of data is, for example, best coded with this code or that code, or evidence of this or that process, and so on—making the ‘idea’ encapsulated by constant comparative analysis core in good qualitative practice generally. But as a named and systematised technique, constant comparative analysis is specifically associated with GT.

완전히 실현된 GT는 종종 GT 전체를 포괄하고 설명하는 핵심 범주와 핵심 범주와 관련된 다양한 하위 범주를 개발하는 데 중점을 둡니다(Birks & Mills, 2015). GT는 현재 'GT-lite'라는 축약된 형태로 자주 사용됩니다(Braun & Clarke, 2006, 2013).

• 코딩 및 범주화, 메모 작성, 지속적인 비교 분석과 같은 GT의 필수 절차가 많이 사용되지만, 샘플은 종종 GT와 관련된 '최대 변동' 샘플보다는 더 작고 상대적으로 균질한 경향이 있습니다(Fassinger, 2005).
• GT 라이트 버전에서는 데이터 수집과 분석이 반드시 동시에 이루어지는 것은 아닙니다.
  • Charmaz와 Thornberg(2020)는 최근 데이터 수집과 분석의 동시 진행이 GT의 특징이라고 강조했습니다(즉 '이론적 샘플링'의 활용을 통해 분석과 함께 샘플이 개발되는 것. 이 때 개발 중인 분석이 지속적인 참여자 선정에 정보를 제공하는 것).
• GT의 샘플링 및 분석 개발과 관련된 핵심 개념인 포화(이론적 샘플링/데이터 수집이 중단되는 시점으로 광범위하게 정의됨)는 데이터 수집이 '새로운 인사이트를 생성하지 않는' 시점으로 축소되는 경우가 많습니다(Braun & Clarke, 2019b). '포화도'는 (세부적인 동시 데이터 분석보다는) 데이터 수집 중 연구자의 데이터에 대한 느낌에 따라 결정되는 경우가 많습니다.
  • 반면 초기 GT의 이론적 포화는 범주의 속성과 범주 간의 관계가 충분히 설명되어 근거 이론이 나올 수 있는 시점을 나타냅니다(Morse, 2015).
• 마지막으로, 축약된 GT의 분석 결과는 범주 또는 테마의 집합과 이러한 범주 간의 관계에 대한 이해(때로는 모델 형태로 표현됨)입니다.

A fully realised GT often centres on the development of a core category that encompasses and explains the GT as a whole, alongside various subsidiary categories related to the core category (Birks & Mills, 2015). GT is now very often used in an abbreviated form we have sometimes referred to as ‘GT-lite’ (Braun & Clarke, 2006, 2013).

• Although many of the essential procedures of GT, such coding and categorising, memo writing and constant comparative analysis, are used, samples tend to be smaller and relatively homogenous, rather than the ‘maximum variation’ samples often associated with GT (Fassinger, 2005).
• In GT-lite versions, data collection and analysis is not necessarily concurrent.
  • Charmaz and Thornberg (2020) recently emphasised that concurrent data collection and analysis—samples developed in concert with analysis through the use of ‘theoretical sampling’, where the developing analysis informs the ongoing selection of participants—is a defining feature of GT.
• Saturation, a key notion around sampling and analytic development for GT (broadly defined as the point at which theoretical sampling/data collection ceases), is often watered down to the point at which data collection is generating ‘no new insights’ (Braun & Clarke, 2019b). ‘Saturation’ is often determined by the researcher's impression of the data during data collection, rather than on detailed concurrent data analysis.
  • In contrast, theoretical saturation in early GT represented the point at which the properties of categories and the relationships between categories were fully explained so that a grounded theory could arise (Morse, 2015).
• Finally, the analytic output from an abbreviated GT is a set of categories or themes and an understanding of the relationship between these categories (sometimes represented in the form of a model).

이렇듯, 축약된 GT를 사용하면 TA와 사실상 구분할 수 없는 분석 결과를 도출하는 경우가 많습니다. 
This abbreviated use of GT often produces an analysis that is, effectively, indistinguishable from that of TA.

유사한 분석의 가능성을 고려할 때, 언제 GT 대신 성찰적 TA를 사용해야 할까요? 이러한 답변은 'GT'를 단순히 주제를 식별하는 기법으로 개념화하는 것은 GT에 해를 끼칠 뿐만 아니라, 더 적합한 방법을 활용하지 못하는 것이다는 우리의 입장을 반영한 것입니다. 따라서 다음 중 하나 이상에 해당하는 경우 성찰적 TA를 사용하는 것이 좋습니다:
Given the potential for similar analysis, when might you use reflexive TA rather than GT? Our response reflects our position that conceptualising ‘GT’ simply as techniques for identifying themes both does disservice to GT, and fails to utilise a better-suited method. So, our advice is to use reflexive TA when one or more of the following apply:

주제 분석과 (패턴 기반) 담화 분석의 차이점은 무엇인가요?
What are the differences between thematic analysis and (pattern-based) discourse analysis?

DA는 오랫동안 비판적 질적 연구를 정의하는 (유일한) 접근 방식이었습니다. 모든 형태의 DA는 언어를 단순히 참가자의 생각과 감정을 투명하게 반영하는 것이 아니라, (언어가) 활동적이고 수행적이며, 일을 하고, 현실을 이끌어내는 사회적 실천으로 보는 관점에 기반을 두고 있습니다. 따라서 DA는 언어 연습에 초점을 맞추는 것으로 이해할 수 있습니다(Braun & Clarke, 2013). 그러나 GT와 마찬가지로 DA에 대한 구체적인 접근 방식은 사회과학과 보건과학 내에서도 매우 다양합니다. 담화 심리학(Wiggins, 2016), 대화 분석에 기반한 접근법(Madill et al., 2001) 등 일부는 언어 사용의 미시적 세부 사항에 더 초점을 맞춥니다. 해석적 레퍼토리 분석(Wetherell & Potter, 1992)이나 포스트구조주의적 DA(Gavey, 1989)와 같은 다른 접근 방식은 보다 광범위한 담화 패턴이나 주제에 대해 이야기하는 방식에 더 중점을 둡니다. 더 많은 변형이 있습니다.
DA has long been the defining approach of critical qualitative research. All forms of DA are underpinned by a view of language as a social practice, something active and performative, doing things, and bringing forth realities, rather than merely transparently reflecting participants’ thoughts and feelings. Thus, DA can be understood as focusing on language practice (Braun & Clarke, 2013). But, as with GT, specific approaches to DA vary widely, even just within the social and health sciences. Some—such as discursive psychology (Wiggins, 2016), an approach informed by conversation analysis (Madill et al., 2001)—are more focused on the micro details of language practice. Others—such as interpretative repertoire analysis (Wetherell & Potter, 1992) and poststructuralist DA (Gavey, 1989)—focus more on broader discursive patterns or ways of talking about a topic. There are many more variations.

성찰적 TA는 일부 담화 분석 접근 방식이 제공하는 언어 사용의 세부적이고 세분화된 분석을 위한 도구를 제공하지 않습니다. 그러나 어떤 종류의 비판적 질적 이론적 틀(예: 구성주의[Gergen, 2015], 포스트구조주의[Gavey, 1989]) 내에서 구현될 때, 패턴 기반 담화 접근법(Braun & Clarke, 2013)과 유사한 것을 제공할 수 있습니다. 여기에는 앞서 언급한 해석적 레퍼토리 분석, 특히 포스트구조주의적 DA가 포함됩니다. 이러한 패턴 기반 DA는 언어 사용의 미시적인 세부 사항보다는 데이터에서 '담화' 또는 '해석적 레퍼토리'라고 불리는 보다 거시적인 의미 패턴에 분석의 초점을 맞추기 때문에 '패턴 기반 DA'라고 불렀습니다.

• 예를 들어, 기독교 치료사와 함께 일하기로 선택한 기독교 상담 내담자와의 인터뷰에 대한 해석적 레퍼토리 분석에서 Greenidge와 Baker(2012)는 각각 두 가지 해석적 레퍼토리로 구성된 '내담자 담화'와 '기독교 담화'를 개발했습니다. 저자들은 이러한 레퍼토리(예: '상담은 비즈니스 거래', '상담사는 도움을 주도록 훈련받은 전문가')가 상담, 치료사, 치료 관계를 어떻게 구성하고 내담자를 어떻게 포지셔닝하는지를 탐구했습니다.

구성주의 또는 포스트구조주의에 기반한 동일한 데이터에 대한 성찰적 TA도 매우 유사한 분석을 도출할 수 있을 것으로 예상됩니다.
Reflexive TA does not provide tools for a detailed and fine-grained analysis of language practice that some discourse analytic approaches offer. But, when implemented within a critical qualitative theoretical framework of some kind (e.g. constructionism [Gergen, 2015], poststructuralism [Gavey, 1989]), it can offer something akin to what we have elsewhere described as pattern-based discursive approaches (Braun & Clarke, 2013). These include the aforementioned interpretative repertoire analysis and, particularly, poststructuralist DA. We dubbed these pattern-based DA because their overriding analytic focus is on more macro patterns of meaning—whether called ‘discourses’ or ‘interpretative repertoires’—in data, rather than on the more micro details of language practice.

• For example, in an interpretative repertoire analysis of interviews with Christian counselling clients who chose to work with a Christian therapist, Greenidge and Baker (2012) developed a ‘client discourse’ and a ‘Christian discourse’, each constituted by two interpretative repertoires. The authors explored how these repertoires (e.g. ‘counselling is a business deal’ and ‘counsellors are professionals trained to help’) constructed counselling, therapists and the therapeutic relationships and positioned the clients.

We imagine that a reflexive TA of the same data, informed by constructionism or poststructuralism, could produce a very similar analysis.

패턴 기반 DA와 성찰적 TA의 이러한 유사성 외에도, 테리(2016)는 성찰적 TA의 이론적 유연성이 '[...] 다원적 분석 접근 방식에 이상적으로 적합하다'(104쪽)고 주장했습니다. 그는 담론적 접근 방식과 함께 TA를 사용하는 데 많은 가치를 인식했으며, 이러한 반사적 TA의 특정 표현을 '비판적 TA'라고 설명했습니다.
Beyond this similarity between pattern-based DA and reflexive TA, Terry (2016) argued the theoretical flexibility of reflexive TA ‘makes it ideally suited to […] a pluralistic analytic approach’ (p. 104). He perceived much value in using TA in combination with discursive approaches, describing this particular rendition of reflexive TA as ‘critical TA’.

주제적 분해와 주제적 DA를 포함하여 TA와 DA의 요소를 결합한 담론적 접근법도 확립되어 있습니다. 주제별 분해는 이 두 가지 접근법 중 더 널리 사용되는 접근법이며 영국의 비판 심리학자 Stenner(1993)와 가장 밀접한 관련이 있습니다. 이 접근 방식은 언어 및 기타 의미화 관행을 통해 의미가 사회적으로 구성되는 것으로 개념화되는 담론적 프레임워크 안에 위치합니다. 주제적 분해에는 TA에 대한 코드북 접근 방식과 유사하게 코딩과 주제 식별이 포함되며, 포스트구조주의 프레임워크 내에서 주제가 개발됩니다(Stenner 외., 2010). 포스트구조주의 담론적 접근법은 종종 [인격personhood의 담론적 생산]과 [담론이 특정 주체의 위치, 즉 '말하고 행동할 수 있는 담론적 위치'를 제공하는 방식]에 관심을 갖습니다(Willig, 2013, 132쪽). 주제 분해에 대한 포스트구조주의의 영향은 주제가 주관적 의미(예: Stenner 외, 2010), 주관성(예: Gurevich 외, 2007) 또는 주체 위치(예: Ussher 외, 2014)와 관련된다는 개념에서 분명하게 드러납니다.
There are also established discursive approaches that combine elements of TA and DA within their method, including thematic decomposition (Stenner, 1993; Stenner et al., 2010) and thematic DA (Singer & Hunter, 1999; Taylor & Ussher, 2001). Thematic decomposition is the more widely used of these two approaches and is most strongly associated with British critical psychologist Stenner (1993). The approach is situated within a discursive framework in which meanings are conceptualised as socially constituted through linguistic and other signifying practices. Thematic decomposition involves coding and the identification of themes, similar to codebook approaches to TA, with themes developed within a poststructuralist framework (Stenner et al., 2010). Poststructuralist discursive approaches are often concerned with the discursive production of personhood and the ways in which discourses make available particular subject positions, or ‘discursive locations from which to speak and act’ (Willig, 2013, p. 132). The influence of poststructuralism on thematic decomposition is apparent in the notion that themes relate to subjective meanings (e.g. Stenner et al., 2010), subjectivities (e.g. Gurevich et al., 2007) or subject positions (e.g. Ussher et al., 2014).

패턴 기반 DA를 활용하지 않고, 구성주의 또는 포스트구조주의 이론적 틀 내에서 성찰적 TA를 사용하거나, DA의 요소와 TA를 결합하는 경우는 언제, 왜인가요? 이러한 방법들이 제공할 수 있는 부분이 상당히 중복된다는 점을 고려할 때, 여기서는 주로 실용적인 이유를 반영하여 답변합니다. 트위터는 다음 중 하나 이상이 해당될 때 중요한 형태의 재귀적 TA가 더 유용하다고 생각합니다:
When and why would you use reflexive TA within a constructionist or poststructuralist theoretical framework, or combine TA with elements from DA, rather than utilise pattern-based DA? Given that there is considerable overlap in what these methods can provide, our response here reflects mainly pragmatic reasons. We feel that critical forms of reflexive TA are more useful when one or more of the following apply:

2 요약
2 SUMMARY

이 백서는 상담 및 심리치료 연구자들이 여러 사례 분석 접근법 중 어떤 것이 자신의 연구에 적합한지 결정하는 데 도움을 주기 위한 도구로 고안되었습니다. TA 방법군을 소개하고, 성찰적 TA를 다른 네 가지 영향력 있는 질적 분석 방법 및 방법론(QCA, IPA, GT, DA)과 비교 및 대조했습니다. TA와 각 방법/론 사이의 철학적, 절차적 차이점과 유사점을 간략히 설명하고, 연구자가 다른 접근법보다 성찰적 TA를 선택할 수 있는 경우와 추론에 따라 다른 접근법을 사용하는 것이 더 나은 경우에 대한 평가를 제공했습니다. 우리는 이러한 [패턴 기반 접근법의 매핑과 비교 및 대조]를 중립적이라고 주장하지 않습니다(또는 완전하다고 주장하지도 않습니다8). TA 저자로서 우리는 중립적인 평가자가 아니며, 이 매핑은 심리학에 대한 우리의 훈련과 연구 가치를 반영하고 있습니다(예: Braun & Clarke, 2019a). 저희는 질적 연구, 특히 TA에서 무엇이 좋은 관행이고 나쁜 관행인지에 대한 명확한 생각을 가지고 있습니다(Braun & Clarke, 2013, 2020). 상담 및 심리치료 연구에서의 사례 간 접근에 대한 다른 설명(예: McLeod, 2011; Yeh & Inman, 2007)은 그 지형을 다소 다르게 매핑합니다. McLeod(2011)는 TA와 IPA를 GT의 변형으로 설명한 반면, 우리는 이러한 접근법이 GT보다 오래전부터 내려온 전통(각각 내용 분석과 현상학)에서 비롯된 것으로 보고 있습니다. 질적 분석을 수행할 때와 마찬가지로, 우리의 주관성은 질적 연구를 개념화하고 매핑하는 과정에 영향을 미칩니다. 
This paper is designed as a tool to help counselling and psychotherapy researchers decide which of several across-case analytic approaches suits their research. We introduced the TA family of methods, and compared and contrasted reflexive TA with four other influential qualitative analytic methods and methodologies: QCA; IPA; GT; and DA. We briefly outlined some of the philosophical and procedural differences and similarities between TA and each method/ology, and we offered our assessment of when a researcher might choose reflexive TA over the other approach—and, by inference, when the other approach might better be used. We do not claim this mapping of pattern-based approaches and compare and contrast exercise as neutral (nor as exhaustive8). As TA authors, we are not neutral evaluators; the mapping no doubt reflects our training in psychology and our research values (e.g. Braun & Clarke, 2019a). We have clear ideas about what constitutes good and bad practice in qualitative research, and specifically in TA (Braun & Clarke, 2013, 2020). Other accounts of across-case approaches in counselling and psychotherapy research (e.g. McLeod, 2011; Yeh & Inman, 2007) map the terrain rather differently. McLeod (2011) described TA and IPA as variants of GT, whereas we view these approaches as originating in traditions (content analysis and phenomenology, respectively) that long pre-dated GT. As in the doing of qualitative analysis, our subjectivity informs the process of conceptualising and mapping qualitative research.

여기서 우리가 시도한 것은 [사례 전반의 질적 분석을 위한 완벽한 분석 방법/논리가 항상 존재한다는 생각에 문제를 제기하는 것]입니다. 우리는 종종 두 가지 이상의 접근법이 유사한 결과를 제공하거나 연구자가 연구 질문을 해결할 수 있다는 것을 보여 주었으면 합니다. 이러한 접근법을 비교하고 '언제 TA를 해야 하는가'라는 질문을 다루면서, 우리는 무분별한 TA의 광범위한 수용이 아니라, '신성한 방법'에 대한 탐구를 피하고, 대신 분석 접근법을 선택하고 사용할 때 사려 깊고 신중한 연습을 포함하는 방법에 대한 사고 접근법을 장려하고자 합니다.
What we have attempted here is to problematise the idea that there is—always—one perfect analytic method/ology for across-case qualitative analysis. We hope we have shown that often more than one approach would deliver similar results, or allow a researcher to address their research question. In comparing these approaches, and addressing ‘when TA’ questions, we aim to encourage not widespread thoughtless uptake of TA, but an approach to thinking about method that avoids the ‘hallowed method’ quest, and instead involves thoughtful and deliberative practice in choosing and using analytic approaches.

Abstract

전공의의 임상추론 문서의 평가 자동화를 위한 머신러닝 모델 개발 및 타당화(J Gen Intern Med. 2022)
Development and Validation of a Machine Learning Model for Automated Assessment of Resident Clinical Reasoning Documentation 
Verity Schaye, MD, MHPE1,2 , Benedict Guzman, MS1, Jesse Burk-Rafel, MD,MRes1, Marina Marin, MSc1, Ilan Reinstein, MS1, David Kudlowitz, MD1, LouisMiller,MD3, Jonathan Chun, MD4, and Yindalon Aphinyanaphongs, MD, PhD1 

방법
METHOD

설정 및 연구 모집단
Setting and Study Population

뉴욕시 소재 한 학술 의료 센터의 통합 EHR(에픽 시스템즈, 위스콘신주 베로나)에서 두 가지 노트 세트가 검색되었습니다. 

• (1) 2014년 7월부터 2019년 6월까지 내과(IM) 레지던트 및 하위 전문과 펠로우의 입원 기록으로 구성된 ML 개발 데이터 세트와
• (2) 2019년 7월부터 2020년 3월까지 레지던트 입원 기록으로 구성된 인간 검증 및 후향적 데이터 분석 데이터 세트 등

이 연구는 뉴욕대학교 그로스만 의과대학 기관윤리심의위원회의 승인을 받았습니다. 
Two distinct note sets were retrieved from an integrated EHR (Epic Systems, Verona, WI) at one academic medical center in New York City:

• (1) ML development dataset comprised of internal medicine (IM) residents’ and subspecialty fellows’ admission notes from July 2014 to June 2019 and
• (2) human validation and retrospective data analysis dataset comprised of resident admission notes from July 2019 to March 2020.

The study was approved by the NYU Grossman School of Medicine institutional review board.

인간 평가(개정된 DEA 평가)
Human Rating (Revised-DEA Assessment)

지도 머신러닝 모델을 생성하려면 먼저 신뢰할 수 있는 골드 스탠다드에 따라 데이터에 레이블을 지정해야 합니다(그림 1).33 저희는 CR 문서 품질에 대한 골드 스탠다드로 Revised-IDEA 도구의 DEA 구성 요소(이하 Revised-DEA 도구)를 사용했습니다. Revised-IDEA 도구는 4개의 영역(해석적 요약, 감별 진단, 추론 설명, 대체 진단 설명)에 걸쳐 검증된 노트 평가 도구로, 총점 범위는 0~10점, Revised-DEA 하위 점수는 0~6점입니다.34 해석적 요약은 CR의 중요한 측면이지만, 고품질 해석적 요약을 만드는 구성 요소가 너무 복잡하여 초기 ML 개발 단계에서 포착하기 어렵기 때문에, 이 단계에서는 이를 통합하지 않았습니다.  
To create a supervised ML model, data must first be labeled by a reliable gold standard (Fig. 1).33 We used the DEA component (the Revised-DEA tool) of the Revised-IDEA tool as our gold standard for CR documentation quality. The Revised-IDEA tool is a validated note-rating instrument across four domains (Interpretive summary, Differential diagnosis, Explanation of reasoning, Alternative diagnoses explained) with a total score range of 0–10 for the Revised-IDEA score and 0–6 for the Revised-DEA subscore.34 While the interpretive summary is an important aspect of CR, we did not incorporate it at this stage as the components that make for a high-quality interpretive summary were too complex to capture for the initial ML development.

CR 전문 지식을 갖춘 4명의 의사(IM 치프 레지던트, 호스피탈리스트 2명, 심장 전문의(IM 레지던트 프로그램의 수석 부프로그램 책임자)가 Revised-DEA 도구를 사용하여 입원 기록을 검토했습니다. 도구의 특정 앵커를 고려할 때 최소한의 교육만 필요했습니다.34 Kane의 타당도 프레임워크는 채점, 일반화, 추정, 함의의 네 가지 영역에서 타당도 논증의 추론을 식별합니다(그림 2).32 평가자 선정 및 교육 과정은 Kane 프레임워크의 점수 추론에 대한 타당성 증거를 제공했습니다. 

Four physicians with CR expertise (an IM chief resident, two hospitalists, and a cardiologist (who was the senior associate program director for the IM residency program)) reviewed admission notes using the Revised-DEA tool. Minimal training was required given the tool’s specific anchors.34 Kane’s validity framework identifies inferences in the validity argument in four domains: scoring, generalization, extrapolation, and implications (Fig. 2).32 The process of rater selection and training provided validity evidence for the scoring inference of Kane’s framework.

ML 개발 데이터세트 노트는 비식별화되었고, 의사 패널이 평가 및 계획 섹션을 평가했습니다. 처음에는 무작위로 노트를 선택했지만, Revised-DEA 도구에서 평가한 고품질 노트의 수가 적었습니다. 따라서 의도적인 샘플링이 필요했습니다. 1차 평가에서 높은 점수를 받은 펠로우의 노트와 레지던트의 추가 노트를 평가하여 최종 ML 개발 데이터세트에 충분한 수의 고품질 노트를 확보했습니다(최종 데이터세트에서 n = 414개 노트). 평가자 간 신뢰도는 먼저 3명의 평가자가 414개의 노트 중 10%를 평가하고, 나머지는 한 명의 평가자가 평가함으로써 확립되었습니다. 의도적인 샘플링 과정과 평가자 간 신뢰도는 케인 프레임워크의 일반화 추론에 대한 타당성 증거를 제공했습니다(그림 2).

The ML development dataset notes were deidentified, and the assessment and plan sections rated by the panel of physicians. At first, notes were randomly selected; however, the number of high-quality notes as rated by the Revised-DEA tool was low. Therefore, purposive sampling was required: notes from fellows and additional notes from residents, with high-quality notes in the first round of rating, were rated to ensure a sufficient number of high-quality notes in the final ML development dataset (n = 414 notes in the final dataset). Interrater reliability was established by first rating 10% of the 414 notes by three raters; the remainder was rated by a single rater. The process of purposive sampling and the interrater reliability provided validity evidence for the generalization inference of Kane’s framework (Fig. 2).

고품질 CR에 대한 수정-DEA 커트라인은 심사위원이 최소 및 최대 실패율과 허용 가능한 합격 점수를 결정하여 최종 합격 커트라인 점수를 결정하는 규범 참조 기준과 기준 참조 기준을 조합하여 사용하는 Hofstee 기준 설정에 의해 결정되었습니다.35 패널의 각 의사는 최소 허용 가능 및 최대 허용 가능한 수정-DEA 커트라인 점수 및 실패율을 결정했습니다. Revised-DEA 점수가 3점 이상(6점 만점)이면 높은 품질로 간주되었습니다(그림 3). 이 표준 설정 프로세스는 케인 프레임워크의 함의 추론에 대한 타당성 증거를 제공했습니다(그림 2). 

Revised-DEA cutoff for high-quality CR was determined by Hofstee standard setting which utilizes a combination of norm-referenced and criterion-referenced standards where judges decide on the minimum and maximum failure rates and acceptable pass mark to determine the final passing cutoff score.35 Each of the physicians on the panel determined the minimally acceptable and maximally acceptable Revised-DEA cutoff score and failure rate. A Revised-DEA score of ≥ 3 (out of 6) was deemed high quality (Fig. 3). This standard setting process provided validity evidence for the implication inference of Kane’s framework (Fig. 2).

노트 전처리
Note Preprocessing

ML 개발 데이터 세트의 문서 패턴을 검토한 결과, 노트 작성 구조와 길이가 다양하다는 사실을 발견했습니다. 우리는 [주요 문제에 대한 감별진단을 반영하는 평가 및 계획의 부분]을 [리드 및 대체 진단에 대한 설명]과 분리하려고 노력했습니다. 이러한 섹션은 일반적으로 시작 키워드(예: '~을 보였다', '입원하였다')로 시작하고 구분 기호(예: 두 번째 '#'[해시 기호]) 또는 끝 키워드(예: 'ppx', '코드 상태')로 끝맺습니다. 시작 및 종료 키워드의 전체 목록은 두 명의 검토자가 결정했습니다(부록 1). 평가에서 원하는 부분으로 메모를 잘라내기 위해 총 5가지 방법이 개발되었습니다(부록 2).
Review of documentation patterns in the ML development dataset revealed variability in note writing structure and length. We sought to isolate the portion of the assessment and plan reflecting the differential for the main problem with the explanation of the lead and alternative diagnoses. Such sections typically began with a start keyword (e.g., “presents with,” “admitted”) and terminated with either a delimiter (e.g., second “#” [hash sign]) or an end keyword (e.g., “ppx,” “code status”). A complete list of start and end keywords was determined by two human reviewers (Appendix 1). A total of five methods were developed to truncate the notes to the desired portion of the assessment (Appendix 2).

피쳐 엔지니어링
Feature Engineering

[잘린 임상 노트]는 (규칙 기반 및 ML 기술을 사용하여 구조화되지 않은 임상 텍스트에서 정보를 추출하는 오픈 소스 NLP 시스템인) cTAKES 4.0.0에서 처리되었습니다.36 cTAKES는 해부학적 부위, 약물, 질병/장애, 징후/증상, 영상 검사 등의 [명명된 개체]를 동일한 의미를 가진 개념에 대한 개념 고유 식별자(CUI)를 사용하여 식별합니다. 또한 두 명의 의사가 [ML 개발 데이터세트]를 검토하여 CR을 나타내는 단어와 구문(즉, 우선순위가 지정된 감별 진단을 전달할 때 일반적으로 결합어로 사용되는 단어와 구문) 목록을 선별했습니다. 이 검토를 통해 '가장 가능성이 높은', '일치하는', '높은 의심' 등의 총 91개의 단어나 문구가 도출되었습니다(부록 3).
Truncated clinical notes were processed in cTAKES 4.0.0, an open-source NLP system that uses rule-based and ML techniques to extract information from unstructured clinical text.36 cTAKES identifies named entities such as anatomical sites, drugs, diseases/disorders, signs/symptoms, and imaging tests—each with a concept unique identifier (CUI) for concepts with the same meaning. Additionally, two physicians reviewed the ML development dataset and curated a list of words and phrases that conveyed CR (i.e., those typically used as a conjunction in communicating prioritized differential diagnoses). This review yielded 91 words or phrases in total, such as “most likely,” “consistent with,” and “high suspicion” (Appendix 3).

용어 빈도 역 문서 빈도(분석 대상 텍스트에서 특정 단어나 구가 얼마나 중요한지를 나타내는 데 사용되는 NLP 기법)를 통해 ML 모델에 대한 입력 변수(주요 관심사, 잘린 텍스트 길이, 해부학적 부위 언급, 약물 언급, 시술 언급, 원시 텍스트의 숫자 표현 등이)를 여러 번 반복하여 테스트했습니다. 그러나 이러한 입력 변수를 사용하면 다음을 최종적으로 선택한 3가지 변수를 사용한 모델보다 성능이 더 떨어졌습니다.

• (1) 고유한 CUI를 가진 질병/장애 명명 개체의 수,
• (2) CR을 전달한 단어나 구의 수,
• (3) 질병/장애로 명명된 개체에서 5단어 범위 내에서 CR을 전달한 단어나 구의 개수로, 이러한 단어나 구가 CR을 전달하기 위해 사용되었을 가능성이 높은 시기를 구분하기 위한 것입니다.

종속 변수는 CR 노트 품질로, 사람의 평가에 따라 낮은 품질(Revised-DEA 점수 0~2점) 또는 높은 품질(Revised-DEA 점수 3~6점)로 이분화했습니다.
There were multiple iterations of input variables tested for the ML models including chief concern, truncated text length, anatomical site mention, medication mention, procedure mention, and numerical representations of the raw text via term frequency inverse document frequency (an NLP technique used to represent how important a specific word or phrase is in the text being analyzed). However, utilizing these input variables yielded worse performance than the models with the 3 finally selected variables:

• (1) counts of disease/disorder named entities with unique CUIs;
• (2) counts of words or phrases that conveyed CR; and
• (3) counts of words or phrases that conveyed CR within a 5-word window frame from a disease/disorder named entity, to differentiate when these words or phrases were likely used to convey CR.

The dependent variable was CR note quality, binarized as low quality (Revised-DEA score 0–2) or high quality (Revised-DEA score 3–6) as determined by the human rating.

모델 선택 및 평가
Model Selection and Evaluation

ML 개발 데이터 세트는 ML 모델 개발의 표준 절차에 따라 훈련 데이터 세트(71%, 294개 노트)와 검증 데이터 세트(29%, 120개 노트)로 구분되었습니다. 모델 훈련은 훈련 데이터세트에서 반복적으로 수행된 다음, 과적합을 방지하고 일반화 가능성을 높이기 위해 이전에 본 적이 없는 검증 데이터세트에서 모델 성능을 테스트합니다.37 노트 품질을 분류하기 위해 세 가지 종류의 모델을 테스트했습니다:

• (1) 로지스틱 회귀(해석 가능성, 즉 분류 결정을 이해하기 쉽도록),
• (2) 단순 신경망(보다 복잡한 비선형 패턴을 학습하기 위한 다층 퍼셉트론),
• (3) 앙상블 모델(예측 정확도는 높지만 해석 가능성이 떨어지는 랜덤 포레스트 및 극한 그라데이션 부스팅).

The ML development dataset was divided into a training dataset (71%, 294 notes) and validation dataset (29%, 120 notes)—standard procedure for ML model development. Model training occurs iteratively on the training dataset, then model performance is tested on the never-before-seen validation dataset, to counter overfitting and promote generalizability.37 Three classes of models were tested to classify note quality:

• (1) logistic regression (for interpretability, i.e., ease of comprehending classification decisions);
• (2) simple neural network (multilayer perceptron to learn more complex nonlinear patterns); and
• (3) ensemble models (random forest and extreme gradient boosting for high predictive accuracy but reduced interpretability).

모델 출력은 0과 1 사이의 확률로 제공되었으며, 0.50을 기본 컷오프 값으로 설정했습니다(0.50 이상 고품질, 0.50 미만 저품질). 모델 성능은 이진 분류 작업에 대한 표준 지표인 수신기 작동 특성 곡선 아래 면적(AUROC)(컷오프 값에 관계없이 모델이 클래스를 얼마나 잘 구분하는지), 평균 정밀도(또는 양성 예측값, PPV) 및 정확도(둘 다 컷오프 값에 따라 달라짐)를 사용하여 평가되었습니다.38
Model outputs were provided as probabilities (ranging between 0 and 1), with 0.50 as the default cutoff value (> 0.50 high quality and < 0.50 low quality). Model performance was evaluated using standard metrics for binary classification tasks: area under the receiver operating characteristic curve (AUROC) (how good a model distinguishes between classes regardless of cutoff value), and average precision (or positive predictive value, PPV) and accuracy (both dependent on the cutoff value).38

인간 검증 및 후향적 데이터 세트
Human Validation and Retrospective Dataset

이 모델은 새로운 개별 입원 기록 세트(인간 검증 및 후향적 데이터 세트)에 대해 실행되었습니다(n = 9591). 인적 검증의 경우, 의사 검토자 중 한 명이 ML 결과를 보지 못한 채 Revised-DEA 도구를 사용하여 무작위로 선정된 205개의 메모를 평가했습니다. 초기 인간 평가 단계에서 이미 평가자 간 신뢰성이 확립되었기 때문에 이 단계는 한 명의 평가자만 수행했습니다. Revised-DEA 점수와 ML 모델 결과는 Cohen의 카파를 사용하여 비교했습니다. 이 후향적 데이터 세트를 사용하여 ML 모델의 기본 확률 컷오프인 0.5를 새로운 임계값으로 수정하여 민감도를 낮추면서 모델의 특이도를 최대화했습니다. 본적 없는 새로운 데이터에 대해 0.55의 확률 컷오프가 선택되어 70%의 민감도와 80%의 PPV를 목표로 삼았습니다.
The model was run on a new set of distinct admission notes (the human validation and retrospective dataset) (n = 9591). For human validation, one of the physician reviewers, blinded to ML output, rated a random selection of 205 of these notes using the Revised-DEA tool. Only one reviewer performed this round as interrater reliability had already been established in the initial human rating phase. The Revised-DEA score and the ML model output were compared using Cohen’s kappa. Using this retrospective dataset, the default probability cutoff of 0.5 for the ML model was modified to a new threshold to maximize the model’s specificity at a small cost to sensitivity. A probability cutoff of 0.55 was selected for new, unseen data to target a sensitivity of 70% and a PPV of 80%.

데이터 분석
Data Analysis

모든 데이터 전처리, 모델링 및 시각화는 Python(버전 3.6.6, Python Software Foundation)의 Anaconda(버전 5.3.0, Anaconda Inc., 텍사스주 오스틴) 배포판을 사용하여 수행되었습니다. 이 연구에 사용된 라이브러리에는 판다(pandas), 넘피(numpy), 사이킷-런(scikit-learn), 매트플롯리브(matplotlib), xgboost 및 해당 라이브러리 종속성이 포함되었습니다. 
All data preprocessing, modeling, and visualization were performed using the Anaconda (version 5.3.0; Anaconda Inc., Austin, TX) distribution of Python (version 3.6.6; Python Software Foundation, https://www.python.org). Libraries utilized in this study included pandas, numpy, scikit-learn, matplotlib, xgboost, and their respective library dependencies.

설명적 통계, 클래스 내 상관관계, 코헨의 카파를 포함한 비식별화된 데이터의 분석은 SPSS v25(미국 일리노이주 시카고)를 사용하여 완료되었습니다. 선형 추세에 대한 맨텔-헨젤 카이제곱 검정을 사용해 졸업 연도(PGY)와 노트 품질 간의 관계를 조사했습니다.
Analysis of deidentified data including descriptive statistics, intraclass correlation, and Cohen’s kappa was completed with SPSS v25 (Chicago, IL, USA). The Mantel-Haenszel chi-square test for linear trend was used to examine the relationship between post-graduate year (PGY) and note quality.

결과
RESULTS

인적 평가
Human Rating

세 명의 평가자가 채점한 노트 간의 클래스 내 상관관계는 0.84(95% CI 0.74-0.90)였습니다. ML 개발 데이터세트에서 Revised-DEA 등급을 기준으로 195개(47%)의 노트가 높은 품질, 219개(53%)의 노트가 낮은 품질로 분류되었습니다.
Intraclass correlation was 0.84 (95% CI 0.74–0.90) among notes scored by three raters. In the ML development dataset, 195 notes (47%) were high quality and 219 notes (53%) were low quality by Revised-DEA rating.

모델 성능
Model Performance

테스트한 모델 중 로지스틱 회귀 모델과 랜덤 포레스트 모델의 성능 측정값이 가장 높았습니다(표 1). 로지스틱 회귀 모델은 AUROC가 0.88, PPV가 0.68, 평균 정확도가 0.79로 우수한 해석 가능성을 고려하여 선택되었습니다.39
Among the models tested, logistic regression and random forest models had the highest performance measures (Table 1). The logistic regression model with an AUROC of 0.88, a PPV of 0.68, and an average accuracy of 0.79 was selected given its superior interpretability.39

인간 검증
Human Validation

205개의 보이지 않는 검증 세트에서 인간과 ML 평가 간의 평가자 간 신뢰도에 대한 코헨의 카파는 0.67로, 케인의 프레임워크에서 외삽 타당성 증거를 제공했습니다(그림 2).
Cohen’s kappa was 0.67 for interrater reliability between human and ML ratings in the unseen validation set of 205 notes, thus providing extrapolation validity evidence in Kane’s framework (Fig. 2).

후향적 데이터 세트
Retrospective Dataset

후향적 데이터세트에는 295명의 레지던트가 작성한 9591개의 입원 노트(레지던트당 평균 32.5개, 범위는 1-245개)가 있었으며, 이 중 31.1%의 노트가 ML 모델에 의해 높은 품질로 분류되었습니다. 노트 품질은 PGY별로 27.0%(PGY1)에서 31.0%(PGY2)로, 39.0%(PGY3)로 증가했습니다(맨텔-헨젤 테스트 추세 p < .001). 후향적 데이터 세트에는 50가지가 넘는 주요 우려 사항이 있었습니다. 가장 흔한 것은 호흡곤란(11.0%), 기타(7.5%), 상세불명(6.0%), 흉통(6.0%), 복통(4.0%), 낙상(3.0%), 정신 상태 변화(2.0%), 발열(2.0%), 쇠약(2.0%)이었으며 나머지 주요 우려 사항은 각각 2% 미만으로 나타났습니다. 이 대규모 후향적 데이터 세트에 포함된 광범위한 주요 우려 사항과 눈에 띄는 전공의들은 케인 프레임워크의 일반화 추론에 대한 추가적인 타당성 증거를 제공했습니다(그림 2).
In the retrospective dataset, there were 9591 admission notes written by 295 distinct residents (mean 32.5 notes per resident, range 1–245); 31.1% of the notes were classified as high quality by the ML model. Note quality increased by PGY from 27.0% (PGY1) to 31.0% (PGY2) to 39.0% (PGY3) (Mantel-Haenszel test of trend p < .001). There were over 50 chief concerns in the retrospective dataset. The most common were shortness of breath (11.0%), other (7.5%), unspecified (6.0%), chest pain (6.0%), abdominal pain (4.0%), fall (3.0%), altered mental status (2.0%), fever (2.0%), and weakness (2.0%); the remainder of chief concerns occurred < 2% each. The breadth of chief concerns and distinct residents included in this large retrospective dataset provided further validity evidence for the generalization inference of Kane’s framework (Fig. 2).

토론
DISCUSSION

우리는 레지던트 입원 기록에서 CR 문서 품질을 자동으로 분류하기 위해 Kane의 프레임워크를 사용하여 NLP 기반 ML 모델에 대한 타당성 증거를 개발하고 수집했습니다. 이 연구는 ML과 NLP를 사용하여 표준화된 사례에서 CR 문서를 평가하는 이전 연구를 뛰어넘는 것으로, 우리의 모델이 광범위한 주요 관심사가 있는 임상 환경에 적용되고 사전 설정된 임상 정보 목록에 의존하지 않기 때문입니다22,23,24,25,31 우리가 아는 한 이러한 연구는 처음입니다. 저희 기관의 CR 문서화 품질은 전반적으로 낮은 수준이었으며, 이는 널리 보고된 것과 유사했습니다.2,3,4,5 295명의 레지던트가 작성한 후향적 데이터 세트의 9591개 메모 중 31.1%만이 고품질의 CR 문서화를 보여주었습니다. 수련이 더 진행된 레지던트일수록 더 높은 품질의 CR 문서를 보유하고 있었습니다. ML 개발 데이터세트에는 의도적인 샘플링이 사용되었기 때문에 고품질 노트의 비율이 더 높았습니다. 
We developed and collected validity evidence with Kane’s framework for an NLP–based ML model to automatically classify CR documentation quality in resident admission notes. This study goes beyond prior work using ML and NLP to assess CR documentation in standardized cases as our model is applied in the clinical environment with a wide range of chief concerns and is not dependent on a preset list of clinical information22,23,24,25,31—the first study to our knowledge to do so. We found at our institution low overall levels of CR documentation quality, similar to what has been widely reported.2,3,4,5 Only 31.1% of the 9591 notes in the retrospective dataset from 295 residents demonstrated high-quality CR documentation. Residents further along in training did have higher-quality CR documentation. The ML development dataset had a higher proportion of high-quality notes owing to the purposive sampling used.

우리는 케인 프레임워크의 네 가지 영역 모두에서 이 새로운 평가 도구에 대한 타당성 증거를 수집했습니다.

• 채점(평가자가 어떻게 점수를 부여하는가)에 대한 증거
  • 평가자 선정 및 교육에 대한 설명
• 일반화(평가가 이론적 테스트 세계에서 가능한 모든 항목의 성과를 대표한다는 것을 입증)에 대한 증거
  • 의도적 샘플링 과정,
  • 인간 평가자 간 신뢰도,
  • 광범위한 주요 관심사와 레지던트를 대표하는 후향적 데이터 세트의 대규모 표본 규모
• 외삽(이론적 테스트 세계에서의 성과는 관련 구성에 대한 실제 세계의 성과를 반영)에 대한 증거는
  • ML 모델 결과물이 동일한 현상에 대한 인간 평가 참조 표준 측정치(Revised-DEA 점수)와 얼마나 잘 상관관계가 있는지, 그리고
    
  • 전문가와 초보자를 비교한 결과, 교육이 많이 진행된 레지던트가 더 높은 품질의 CR 문서를 작성했다는 사실에서 알 수 있듯이, 마지막으로 전문가와 초보자를 비교한 결과입니다
• 함의(평가 데이터가 사용되는 방법)에 대한 증거는
  
  • 고품질 CR 문서의 컷오프 점수를 결정하는 Hofstee 표준 설정에 대한 

We collected validity evidence for this novel assessment tool in all four domains of Kane’s framework. We provided

• evidence on scoring (how an assessor gives a single score) with
  • the description of rater selection and training;
• evidence on generalization (demonstrating the assessment is representative of performance on all possible items in a theoretical test universe) with
  • the process of purposive sampling,
  • interrater reliability among human raters, and
  • the large sample size of the retrospective dataset with a wide breadth of chief concerns and residents represented;
• evidence on extrapolation (performance in the theoretical test universe reflects performance in the real world on related constructs) 
  • with how well the ML model output correlated with a human rating reference-standard measure of the same phenomenon (the Revised-DEA score) and
  • with expert-novice comparison as evidenced by the fact that residents further along in training had higher-quality CR documentation; and lastly,
• evidence on implications (how the assessment data will be used) with
  • Hofstee standard setting to determine cutoff scores for high-quality CR documentation.32

우리는 ACGME 하위 역량 대인관계 및 의사소통 기술 3(건강 기록의 적절한 활용 및 작성40)과 같은 다른 관련 구성 요소와의 관계를 포함하여 타당성 증거를 계속 수집하고 시행의 영향을 연구할 것입니다. 그러나 평가의 의도가 형성적 피드백이라는 점을 고려할 때, 시범 시행을 보증하기에 충분한 타당성 증거가 수집되었다고 판단하여32 대화형 대시보드에 표시되는 ML 모델 출력을 사용하여 우리 기관의 IM 레지던트에게 피드백을 제공하기 시작했습니다(그림 4). EHR에서 입원 기록을 매일 추출하여 ML 모델로 분석하고 대시보드에 시각화하여 출력합니다. 2개월 동안 2주 야간 로테이션(입원 기록의 대부분이 작성되는 시기)의 중간에 이 대시보드를 통해 레지던트에게 중간 피드백을 제공하는 시범 서비스를 실시했습니다. 레지던트들은 고품질 CR 문서의 중요성과 (개정된-IDEA 프레임워크에 대한) 공유된 정신 모델을 개괄적으로 설명하는 간단한 PowerPoint 프레젠테이션과 자신의 데이터를 보는 방법에 대한 지침이 포함된 대시보드 개요가 포함된 소개 이메일을 받았습니다. 이 교육이 시행되기 전에는 레지던트들에게 개정-IDEA 프레임워크나 CR 문서화에 대한 기타 명시적인 커리큘럼을 교육하지 않았습니다. 레지던트들은 Revised-IDEA 프레임워크를 배우고 노트에 대한 피드백을 받는 것이 도움이 되었다고 보고했습니다. 그러나 이 대시보드를 교수진과 함께 사용하고 더 구체적인 피드백을 ML 모델에 통합하는 것이 향후 반복 작업의 목표라는 일관된 개선 주제가 있었습니다. 

We will continue to collect validity evidence including relation to other related constructs such as ACGME sub-competency interpersonal and communication skills 3 (Appropriate utilization and completion of health records40) and studying the impact of implementation. However, given the intent of the assessment is for formative feedback, we believe sufficient validity evidence has been gathered to warrant pilot implementation32 and have begun providing feedback to IM residents at our institution using ML model output displayed on an interactive dashboard (Fig. 4). Admission notes from the EHR are extracted daily, analyzed by the ML model, and output visualized on the dashboard. For a 2-month period, we piloted providing residents mid-block feedback with this dashboard halfway through their 2-week night rotation (when the majority of admission notes are written). Residents received an introductory email including a brief PowerPoint presentation overviewing the importance of and a shared mental model for (the Revised-IDEA framework) high-quality CR documentation and an overview of the dashboard with instructions of how to view their own data. Prior to this implementation, residents were not taught the Revised-IDEA framework or other explicit curriculum on CR documentation. The residents reported learning the Revised-IDEA framework and receiving feedback on their notes were helpful. However, a consistent theme for improvement was to use this dashboard with faculty and to incorporate more specific feedback into the ML model—both goals for future iterations.

다음 단계는 이 대시보드를 사용하여 CR 문서에 대한 피드백을 제공하도록 교수진을 교육하는 것입니다. 우리는 피드백 세션을 용이하게 하기 위해 개별 및 전체 레지던트 보기가 포함된 대시보드의 교수용 보기화면를 개발했습니다(그림 5). 또한 이 대시보드는 프로그램 리더십이 이 데이터에 액세스할 수 있도록 하여 평가 프로그램에 통합할 수 있습니다. 밀러 피라미드의 '수행' 수준에서 CR에 대한 작업장 기반 평가는 역량 개발에 필수적입니다.41 CR 평가의 과제 중 하나는 상황 특이성(상황의 영향이 CR 프로세스에 미치는 영향) 문제를 고려할 때, 광범위한 사례 샘플링이 필요하다는 것입니다.42 ML 모델을 사용하여 평가에 자동화된 프로세스를 사용하면 다양한 사례에 걸쳐 많은 수의 평가를 신속하게 제공할 수 있으므로 이러한 문제를 극복하는 혁신적인 솔루션이 될 수 있습니다. 마지막으로, 이 ML 모델은 레지던트 개인에게 의미 있는 데이터를 제공하는 것 외에도 커리큘럼 또는 시스템 변경에 대한 정보를 제공하는 데 사용될 수 있습니다. ML 모델은 수동 차트 검토나 기타 평가자 기반 평가(예: 마일스톤)로는 달성할 수 없는 레지던트의 CR 문서화 관행에 대한 대규모 데이터 세트를 즉각적으로 생성할 수 있습니다. 이러한 데이터 세트에서 패턴을 검토하여 부족한 부분을 파악하여 커리큘럼 또는 시스템 변경(예: CR 문서화 커리큘럼 또는 EHR 템플릿 변경)을 알리는 데 도움을 줄 계획이며, 이는 의학교육에서 ML을 혁신적으로 사용하는 것입니다.16 

Next steps are to train faculty to use this dashboard to provide feedback on CR documentation. We have developed a faculty-facing view of the dashboard with individual and aggregate resident views to facilitate feedback sessions (Fig. 5). This dashboard also provides program leadership access to this data which can be integrated into our assessment program. Workplace-based assessment of CR at the “Does” level of Miller’s pyramid is essential to developing competence.41 One of the challenges of CR assessment is it requires a broad sampling of cases given the issue of context specificity (the impact of context on the CR process).42 Using automated processes for assessment with a ML model is an innovative solution to overcome these challenges as it can rapidly provide a large number of assessments across a range of cases. Lastly, in addition to providing meaningful data to the individual resident, this ML model could also be used to inform curricular or systems change. The ML model can instantaneously create large datasets on residents’ CR documentation practices that cannot be achieved with manual chart review or other human-rater-based assessments (e.g., milestones). We plan to review these datasets for patterns to help identify areas of deficiency to inform curricular or systems changes (such as CR documentation curriculum or EHR template changes), which would be an innovative use of ML in medical education.16

한계
LIMITATIONS

ML 모델은 민감도 70%, PPV 80%, 코헨의 카파 0.67로 성능이 뛰어나지만 불완전합니다. 또한, 현재 ML 모델은 노트를 이진 방식으로 분류하지만, 가장 효과적인 피드백은 구체적이고 실행 가능한 피드백입니다.43 또한, ML 모델은 Revised-IDEA 도구의 초기 검증에 포함되었던 해석적 요약을 제외합니다. 그러나 검증 연구에서 D, E, A 항목 간의 일치도는 0.69, I, D, E, A 항목 간의 일치도는 0.53으로 더 높은 것으로 나타났습니다.34 이는 DEA 구성요소가 해석적 요약과는 다른 CR 문서의 측면(감별 진단의 우선순위 지정 및 정당화)을 측정하고 있음을 시사하며,44 따라서 ML 모델 개발에서 DEA 구성요소를 사용하는 것을 뒷받침합니다. 모델 성능을 개선하고 해석 요약을 통합하는 모델을 개발하기 위한 작업이 진행 중입니다. 
The ML model was high performing but imperfect, with a sensitivity of 70%, PPV of 80%, and Cohen’s kappa of 0.67. Furthermore, the current ML model classifies notes in a binary fashion; however, the most effective feedback is specific and actionable.43 Additionally, the ML model excludes the interpretive summary which was included in the initial validation of the Revised-IDEA tool. However, we did find in the validation study higher agreement between the D, E, and A items with a Cronbach alpha of 0.69 vs Cronbach alpha of 0.53 between the I, D, E, and A items.34 This suggests that the DEA component is measuring an aspect of CR documentation (prioritizing and justifying a differential diagnosis) distinct from the interpretive summary,44 thus supporting use of the DEA component in the ML model development. Work is ongoing to improve upon the model performance and develop a model incorporating the interpretive summary.

ML 모델은 CR이 수행되었는지 또는 정확한지 여부는 평가하지 않으며 문서화되었는지 여부만 평가합니다. 레지던트는 문서화하지 못한 고품질 CR을 보유하거나 반대로 임상적으로 부정확한 고품질 CR을 문서화할 수 있습니다. 그러나 CR 문서화는 필수적인 기술이며, 레지던트는 졸업 시 "문서에서 CR을 효과적으로 전달할 수 있는 역량"을 갖추도록 기대됩니다.40 
The ML model does not assess whether CR was performed or was accurate, only if it was documented. Residents may possess high-quality CR that they failed to document or conversely documented high-quality CR that was clinically inaccurate. However, CR documentation is an essential skill and residents are expected to achieve the competency “to demonstrate effective communication of CR in their documentation” upon graduation.40

마지막으로, EHR의 복잡하고 다양한 특성과 이 기술을 구현하는 데 필요한 리소스를 고려할 때 일반화 가능성에 대한 몇 가지 우려가 있습니다. 400개 이상의 라벨이 지정된 데이터 세트로 모델을 학습시키고 다양한 주요 관심사가 포함된 205개의 다른 데이터로 검증했지만, 임상 환경에는 수많은 주요 관심사가 있을 수 있습니다. 예상되는 실제 성능을 확인하기 위해 지속적인 전향적 검증을 수행할 계획입니다.45 또한 다른 레지던트 프로그램에서 이 기술을 구현할 수 있도록 ML 모델 아키텍처를 공개 도메인에서 사용할 수 있도록 하는 프로세스를 진행 중이며 구현을 지원하기 위한 협업에 열려 있습니다. 
Lastly, there are some concerns about generalizability given the complex and varied nature of the EHR and the resources required to implement this technology. While we trained the model with a labeled dataset of over 400 notes and validated with another 205 notes with a wide range of chief concerns, there are numerous possible chief concerns in the clinical environment. To ascertain expected real-world performance, we will plan to perform ongoing prospective validation.45 We are also working on a process to make the ML model architecture available in the public domain so other residency programs could implement this technology and are open to collaborations to assist with implementation.

Development and Validation of a Machine Learning Model for Automated Assessment of Resident Clinical Reasoning Documentation

PMID: 35710676

PMCID: PMC9296753

DOI: 10.1007/s11606-022-07526-0

Free PMC article

© 2022. The Author(s), under exclusive licence to Society of General Internal Medicine.

임상진료상황에서 능숙한 의사소통가의 특징 식별하기(Med Educ, 2022)
Identifying characteristics of a skilled communicator in the clinical encounter
Michelle Verheijden1,2 | Esther Giroldi1,2 | Valerie van den Eertwegh3 | Marscha Luijkx4 | Trudy van der Weijden1 | Anique de Bruin2 | Angelique Timmerman1

1 서론
1 INTRODUCTION

의사-환자 커뮤니케이션은 의료 서비스 제공에 중요한 역할을 하며 핵심 의료 역량으로 인식되고 있습니다.1-3 이러한 인식은 현재의 의료 교육 관행과 의료 서비스에서 변화하는 커뮤니케이션 요구 사이의 불일치를 해결해야 함을 의미합니다.1, 4-10 
Doctor-patient communication plays an important role in the delivery of health care and has been recognised as a core medical competency.1-3 This recognition implies addressing a signalled misalignment between current medical training practices and changing communication needs in health care.1, 4-10

따라서 의료 교육 프로그램에서는 여러 가지 일반적인 의사소통 지침을 도입하여 이러한 불일치를 해결하려고 시도해 왔습니다.8 예를 들어, '환자의 이야기 요약하기' 또는 '적극적인 경청'과 같이 임상에서 필요한 의사소통 기술을 정의하기 위해 개발된 SEGUE 프레임워크11 및 캘거리-캠브리지 모델12, 13이 있습니다.4-7, 14, 15 스킬 기반 접근법은 학습자에게 유용한 상담 구조와 스킬 도구 상자를 제공하므로 높은 평가를 받고 있지만, 실제 풍부한 진료 환경에서 효과적으로 의사소통하는 것은 충분하게 지원하지 못합니다.2, 4-7, 9, 16 학습자는 직면하는 임상 문제에 의해 도전을 받고 환자의 요구를 고려하여 의사소통을 조정합니다.1, 5-7, 17 이는 Veldhuijzen 등과 Essers 등이 의사소통은 일차적으로 목표 중심적이며, 상담의 여러 맥락적 요인(예: 의료, 환자 또는 의사 관련)에 의해 영향을 받는다고 말한 것처럼 각 임상 상황에서 의사소통을 맞춤화할 필요가 있음을 시사합니다.10, 13, 18 
Consequently, medical training programmes have attempted to address this misalignment by introducing multiple generic communication guidelines.8 For instance, the SEGUE framework11 and Calgary–Cambridge model12, 13 were developed to define communications skills needed in the clinical encounter like ‘summarising the patient's story’ or ‘active listening’.4-7, 14, 15 Although a skills-based approach is highly valued as it provides learners a helpful consultation structure and a toolbox of skills, it insufficiently supports them in communicating effectively in the complexity of the authentic rich practice setting.2, 4-7, 9, 16 Learners are challenged by the clinical problems they encounter and adjust communication considering patient needs.1, 5-7, 17 This implies a need to tailor communication in each clinical encounter, as Veldhuijzen et al and Essers et al state that communication is primarily goal driven and influenced by several contextual factors (i.e. medical-, patient- or doctor-related) in the consultation.10, 13, 18

이러한 필요성은 '의사소통 기술'에 초점을 맞추던 것에서 '숙련된 의사소통'으로 전환하는 현재의 담론과 연결됩니다.8, 10 의사-환자 의사소통 학습은 경험적 직장 학습 중 의사소통의 맥락화된 적용을 통해 보다 적절하게 다룰 수 있습니다.7, 9, 10, 16, 17, 19, 20 숙련된 의사소통의 전문성을 얻기 위해서는 성찰과 피드백을 바탕으로, 개인 수행의 [적용, 적응 및 개선 기회]를 제공하는 도전적인 임상 학습 과제에 기반하여 의도적인 연습이 필요합니다.21, 22 
This signalled need connects to the current discourse shifting from focusing on ‘communication skills’ towards ‘skilled communication’.8, 10 Learning doctor–patient communication may be more appropriately addressed by a contextualised application of communication during experiential workplace learning.7, 9, 10, 16, 17, 19, 20 For attaining expertise in skilled communication, deliberate practice is required based on challenging clinical learning tasks that provide opportunities for application, adaptation and refinement of personal performance, based on reflection and feedback.21, 22

그럼에도 불구하고 숙련된 의사소통 접근법이 정확히 무엇이며 숙련된 의사소통자의 특성이 무엇인지에 대한 합의가 부족합니다.1, 7, 9, 15, 23 우리는 숙련된 의사소통의 개념을 설명하기 위한 예비 단계로 의료 의사소통과 관련된 이해관계자들의 관점을 종합하기 위해 명목 그룹 기법(NGT)을 사용했습니다.22 NGT는 의학 교육에 널리 적용되었으며, 구조화된 특성상 모든 이해관계자가 자신의 의견을 표현할 수 있는 동등한 기회를 보장하여 토론을 촉진하고 공유된 합의를 형성합니다.24-26 
Nevertheless, a lack of consensus exists about what a skilled communication approach exactly entails and what characteristics are of a skilled communicator.1, 7, 9, 15, 23 We used the nominal group technique (NGT) to synthesise viewpoints from stakeholders involved in medical communication as a preliminary step to inform describing the concept of skilled communication.22 NGT has been widely applied in medical education, and its structured nature ensures all stakeholders to have equal opportunities to express their views, stimulating discussion and creating a shared consensus.24-26

본 연구는 현재 의료 커뮤니케이션 연구의 이론 구축에 기여하고 숙련된 커뮤니케이션 교육을 위한 학습자 중심 접근법의 개발을 알리고 향후 임상 실무로의 이전을 지원하는 것을 목표로 합니다.9, 10, 15 다음과 같은 연구 질문이 다루어졌습니다: '임상 현장에서 숙련된 커뮤니케이터의 특징은 무엇인가?' 
We aim to contribute to theory building in current health communication research and to inform the development of a learner-centred approach for skilled communication training and support its future transfer to clinical practice.9, 10, 15 The following research question was addressed: ‘What are characteristics of a skilled communicator in the clinical encounter?’

2 방법
2 METHODS

설정
Setting

이 연구는 네덜란드의 일반 진료(GP) 전문 교육 프로그램의 맥락에서 수행되었으며, 8개의 GP 교육 기관 중 5개 기관에서 참가자를 모집했습니다. 일반의의 임상 업무량은 다양한 의학적 및 심리사회적 불만 사항으로 구성되어 있어 임상적 상황에 맞게 커뮤니케이션을 일관되게 조정해야 하기 때문에 GP 환경을 선택했습니다.14, 17, 23, 24, 27, 28 GP 교육 프로그램은 3년에 걸쳐 4일의 직장 기반 교육과 1일의 공식 교육으로 번갈아 가며 구성됩니다. 
The study was performed in the context of the general practice (GP) specialty training programme in the Netherlands, recruiting participants from five out of eight GP training institutes. The GP setting was chosen because the clinical workload of a GP consists of a variety of medical and psychosocial complaints, which requires a consistent adjustment of communication to the needs of the clinical encounter.14, 17, 23, 24, 27, 28 The GP training programme consists of 3 years, alternating 4 days of workplace-based training with 1 day of formal education.

연구 설계
Study design

숙련된 커뮤니케이터의 특성을 규명하기 위해 2020년 4월부터 10월까지 네덜란드의 GP 교육 프로그램 이해관계자를 대상으로 6번의 NGT 세션이 진행되었습니다. NGT는 특정 주제에 대한 아이디어를 도출하기 위한 합의 그룹 방식으로, 참가자들이 구조화된 상호작용을 통해 생각을 공유하고 토론에 참여하도록 지속적으로 자극함으로써 여러 이해관계자의 관점을 통합하는 데 도움이 됩니다.29, 30 COVID-19 팬데믹으로 인해 모든 NGT 세션은 Zoom 플랫폼을 사용하여 전자 환경에서 진행되었습니다.31, 32
Six NGT sessions were conducted between April and October 2020 among Dutch stakeholders of the GP training programmes to elucidate characteristics of a skilled communicator. The NGT is a consensus group method to generate ideas on a certain topic and facilitates the integration of multiple stakeholders' perspectives by constantly stimulating participants to share their thoughts and engage in the discussion through a structured interaction.29, 30 Due to the COVID-19 pandemic, all NGT sessions took place in an electronic environment using the Zoom platform.31, 32

참가자 Participants

각 NGT 세션의 최적 참가자 수는 5~7명으로, 6개의 세션에 최소 30명이 참여해야 합니다.25, 33 의도적 표본 추출을 사용하여 의사-환자 커뮤니케이션에 대한 경험과 전문성을 바탕으로 잠재적 이해관계자 목록을 구성했습니다.34 이 목록에는 (1) GP, (2) GP 연수생, (3) GP 트레이너, (4) GP 연수 프로그램의 조정자 및 교육과정 개발자, (5) 의료 커뮤니케이션 분야 연구자가 포함되었습니다. 75명의 잠재적 이해관계자에게 이메일을 통해 연구의 목적과 절차, 필요한 시간 투자에 대한 정보를 제공하면서 참여를 요청했습니다. 각 NGT 세션 전에 모든 참가자로부터 서면 동의서를 받았으며, 참가자는 자발적으로 참여했습니다. 또한 참가자들은 인구통계학적 설문지를 작성했습니다. 참가자를 식별할 수 있는 모든 개인 식별 정보는 하나 이상의 인공 식별자(가명)로 대체되었습니다.
The optimal number of participants for each NGT session is five to seven, resulting in a minimum of 30 participants for six sessions.25, 33 By using purposive sampling, a list of potential stakeholders was composed based on their experience and expertise in doctor-patient communication.34 The list included (1) GPs, (2) GP trainees, (3) GP trainers, (4) coordinators and curriculum developers of the GP training programme and (5) researchers in medical communication. We invited 75 potential stakeholders to participate via e-mail, providing information about the purpose and procedure of the study and needed time investment. Written informed consent was obtained from all participants prior to each NGT session, and participation was on a voluntary basis. Moreover, participants completed a demographic questionnaire. All personally identifiable personal information, which could lead to the participants, was replaced by one or more artificial identifiers (pseudonyms).

데이터 수집
Data collection

90분에서 120분까지 진행된 NGT 세션은 오디오 녹음 후 그대로 필사되었습니다. 모든 NGT 세션은 동일한 프로토콜(부록 S1)을 사용했으며, 두 명의 사회자, 한 명의 교육 연구자 겸 심리학자(AT)와 한 명의 박사 과정 학생 겸 GP 수련의(MV)가 진행했습니다.35, 36 추가 연구자 겸 보건 과학자(EG)가 세션에 참석하여 관찰하고 현장 메모를 작성했습니다. 연구팀은 숙련된 의사소통에 대한 현재 과학적 담론에서 아이디어를 수집하기 위해 문헌 연구와 의사소통 전문가와의 세 차례의 반구조화 인터뷰를 수행하여 명목 질문을 구성했습니다.29, 36, 37

• 세션 절차에 대한 간략한 설명 후 다음과 같은 명목 질문이 제기되었습니다: '숙련된 GP 의사소통자의 특징은 무엇인가요? NGT 세션에서 우리는 특성을 '임상 상황에서 숙련된 의사소통자를 설명하는 전형적이거나 눈에 띄는 특징'으로 소개했습니다.
• 둘째, 명목상의 질문에 대해 참가자들은 개별적으로 자신의 아이디어를 적었습니다.
• 셋째, 참가자들은 하나의 아이디어를 '라운드 로빈' 방식으로 그룹에 공유했습니다. 진행자 중 한 명이 모든 아이디어를 워드 문서로 옮겨 모든 참가자가 디지털 화면에서 볼 수 있도록 했습니다.
• 넷째, 참가자들은 자신의 아이디어를 명확히 밝히고 비슷한 아이디어를 결합할 수 있는 기회를 제공받았습니다.
• 다섯째, 모든 참가자는 숙련된 커뮤니케이터에게 가장 중요하다고 생각되는 특성을 기술한 7가지 아이디어를 개인적으로 선택하고 1점부터 7점(총 28점)까지 점수를 매겼으며, 7점이 가장 높은 점수를 받았습니다. 웹 기반 플랫폼인 Qualtrics(버전 XM; Qualtrics, 유타주 프로보: 2020)를 사용하여 익명으로 순위를 매기는 과정을 조정하고 보안을 유지했습니다.
• 마지막으로 참가자들은 총 순위에 대해 토론하여 그룹 합의를 도출했습니다. 진행자는 모든 참가자에게 돌아가면서 토론에 참여하도록 개별적으로 초대하고, 각 토론 라운드에서 참가자들이 아이디어와 의견을 공유할 수 있는 충분한 기회를 제공했으며, 최종 순위가 디지털 화면에 표시될 때 각 참가자에게 명시적인 합의를 요청했습니다. 그룹 합의에 도달하지 못한 경우 한두 차례에 걸쳐 순위를 다시 정하는 과정을 거쳤습니다. 그룹 합의는 그룹에서 생성된 특성의 총 순위에 대해 모든 참가자가 구두로 동의하는 것으로 정의되었습니다. 앞서 언급한 단계에 대한 자세한 개요는 부록 S1에서 확인할 수 있습니다.

The NGT sessions, ranging in time from 90 to 120 min, were audio-recorded and transcribed verbatim. All NGT sessions used the same protocol (Appendix S1) and were facilitated by two moderators, one educational researcher and psychologist (AT) and one PhD student and GP trainee (MV).35, 36 An additional researcher and health scientist (EG) was present during the sessions to observe and make field notes. The research team constructed the nominal question by performing a literature study and three semi-structured interviews with communication experts to assemble ideas from the current scientific discourse on skilled communication.29, 36, 37 

• After a brief explanation of the sessions procedure, the following nominal question was posed: ‘What are characteristics of a skilled GP communicator?’ During the NGT sessions, we introduced characteristic as ‘a typical or noticeable feature describing a skilled communicator in the clinical encounter’.
• Second, in response to the nominal question, participants individually wrote down their ideas.
• Third, participants shared a single idea to the group in a ‘round robin’ fashion. One of the moderators transcribed all ideas in a word document, which was visible for all participants on the digital screen.
• Fourth, participants clarified their ideas and were provided with the opportunity to combine similar ideas.
• Fifth, all participants privately selected seven ideas, which described characteristics deemed most important for a skilled communicator and scored them from 1 to 7 (total of 28 points), 7 being the highest rank score. The web-based platform Qualtrics (version XM; Qualtrics, Provo, Utah: 2020) was used to coordinate and secure the anonymous ranking process.
• In the end, participants discussed the total ranking to reach group consensus. The moderators invited all participants individually to take part in the discussion by giving turns to all participants, providing sufficient opportunities for participants to share ideas and views during each round of discussion and asking explicit consensus from each participant when the final ranking was presented on the digital screen. If no group consensus was reached a re-ranking process occurred in one or two rounds. Group consensus was defined as a voiced agreement of all participants on the total ranking of characteristics generated by the group. A more detailed outline of the aforementioned steps is available (Appendix S1).

데이터 분석
Data analyses

모든 NGT 세션의 결과물은 양적, 질적으로 모두 분석되었습니다. 분석 결과 숙련된 커뮤니케이터의 특성과 임상에서 숙련된 커뮤니케이션 접근법의 개념적 모델을 파악할 수 있었습니다.
The output of all NGT sessions was analysed both quantitatively and qualitatively. The analyses resulted both in the identification of characteristics of a skilled communicator and a conceptual model of a skilled communication approach in the clinical encounter.

2.5.1 분석 접근법
2.5.1 Analysis approach

인구통계학적 변수는 Windows용 SPSS 26.0(IBM Corp. Armonk, NY)의 서술적 통계를 사용하여 분석했습니다. 설명적 통계를 사용하여 NGT 세션의 양적 구성 요소를 분석했습니다. NGT 세션의 내용은 5단계에 걸쳐 수행된 (반복되는) 주제를 식별, 분석 및 보고하는 주제별 내용 분석을 사용하여 분석했으며, 이는 흐름도(그림 1)에 설명되어 있습니다.38, 39
Demographic variables were analysed using descriptive statistics in SPSS 26.0 for Windows (IBM Corp. Armonk, NY). We analysed the quantitative components of the NGT sessions using descriptive statistics. The content of the NGT sessions was analysed using thematic content analysis by identifying, analysing and reporting (recurring) themes performed in five phases and is illustrated in the flow diagram (Figure 1).38, 39

• 먼저, 연구팀원(MV, AT, EG)은 각 NGT 세션에 대해 개별적으로 조립된 항목에 대한 일반 설명을 독립적으로 작성했습니다(부록 S3 참조).
• 다음으로, 개별 팀원들이 작성한 일반적 설명을 연구팀이 합의에 도달할 때까지 논의하여 클러스터를 만들었습니다(부록 S4 참조).
• 셋째, 연구팀은 모든 NGT 세션에서 도출된 클러스터를 반복적으로 비교하여 유사한 내용을 병합하여 주제를 종합했습니다(부록 S5 참조).
• 넷째, 의사-환자 전문가 패널의 두 연구자(ML, VvdE)가 식별된 주제와 기본 클러스터에 대한 구성원 점검을 수행하여 모든 NGT 세션의 내용이 포함되었는지 평가하여 최종 주제 및 클러스터 목록을 도출했습니다.
• 마지막으로, 연구팀은 문헌에 대한 내용을 반영하여 테마의 관련성과 내부 일관성을 평가하여 개념을 식별했습니다(사용된 용어의 정의는 부록 S2 참조). 전문 번역가가 최종 주제와 클러스터를 영어로 번역한 후, 영어에 능통한 네덜란드 원어민 연구팀원이 다시 네덜란드어로 번역하여 번역의 정확성을 검증하고 연구팀 전체가 승인했습니다.
• First, research team members (MV, AT, EG) independently formulated general descriptions for the assembled items for each NGT-session separately (see Appendix S3).
• Next, these general descriptions by individual team members were discussed by the research team until consensus was reached, resulting in clusters (see Appendix S4).
• Third, the research team performed an iterative comparison of formulated clusters from all NGT sessions to merge for a similar content, resulting in the synthesis of themes (see Appendix S5).
• Fourth, two researchers (ML, VvdE) of a doctor–patient expert panel performed a member check of the identified themes and underlying clusters to assess if the content of all NGT sessions was covered, resulting in the final list of themes and clusters.
• Finally, the research team assessed the relatedness and internal coherence of the themes by reflecting on their content against literature, resulting in the identification of concepts (see Appendix S2 for definition of used terms). A professional translator translated the final themes and clusters into English, and then members of the research team as native Dutch speakers proficient in English translated them back into Dutch to verify the accuracy of the translations, which was approved by the whole research team.

반사성
Reflexivity

저희는 이 연구의 결과가 연구자와 참여자 간의 상호작용에 의해 공동으로 구성되었음을 인정합니다. 연구팀은 인구통계학적 특징(예: 여성, 백인, 국적)은 비슷했지만 의사-환자 커뮤니케이션 연구 및 교육과 관련된 전문 지식과 관점에는 다양성이 있었습니다. 일반의 수련의 및 박사 과정 학생(MV), 일반의 교육 기관에서 일하는 심리학자(AT), 학부 의료 교육 프로그램에서 일하는 커뮤니케이션 연구자 및 트레이너(EG), 자기조절 학습에 대한 연구 전문성을 갖춘 교육 심리학자(AdB) 등이 참여했습니다. 이러한 다양한 전문적 배경은 팀 토론에 깊이와 풍성함을 더했습니다. 편견을 방지하기 위해 연구팀 내에서 개별 데이터 분석 결과를 논의할 때 비판적인 입장을 견지했으며, 데이터의 의미를 도출하는 과정에서 다른 관점을 모색했습니다.40 
We acknowledge that outcomes in this study are co-constructed by interactions between researchers and participants. While our research team was similar in terms of demographic features (i.e. female, white and nationality), there was diversity in expertise and perspectives related to doctor–patient communication research and training. A GP trainee and PhD student (MV), a psychologist working at a GP training institute (AT), a communication researcher and trainer working at a undergraduate medical training programme (EG) and an educational psychologist with research expertise in self-regulated learning (AdB). These different professional backgrounds provided depth and richness to the team discussions. To prevent biases, we kept critical of our stances in discussing findings from individual data analysis within the research team and explored alternative viewpoints during the process of making meaning of the data.40

3 결과
3 RESULTS

결과는 사회 인구학적 특성, NGT 세션 순위 결과를 설명하는 연구 특성, 주제별 내용 분석 결과 숙련된 커뮤니케이터의 특성, 숙련된 커뮤니케이션 접근 방식을 설명하는 개념적 모델 개발로 제시됩니다.
The results will be presented as socio-demographic characteristics, study characteristics describing the NGT session ranking results, characteristics of a skilled communicator as a result of thematic content analysis, and the development of a conceptual model describing a skilled communication approach.

사회 인구학적 특성
Socio-demographics characteristics

총 34명의 이해관계자가 6개의 NGT 세션 중 하나에 참여(응답률 48%)했습니다. 이해관계자의 연령은 26세에서 65세(평균 45세, SD 13.2세)였으며, 여성이 19명(56%)이었습니다. 표 1은 이해관계자의 특성 및 직업적 배경 구성에 대한 정보를 제공합니다.
A total of 34 stakeholders participated (response rate 48%) in one of the six NGT sessions. The stakeholders' ages ranged from 26 to 65 years (mean 45, SD 13.2 years), and 19 were female (56%). Table 1 provides information on stakeholders' characteristics and the composition of their professional backgrounds.

연구 특성
Study characteristics

6번의 NGT 세션이 진행되었으며, 각 세션마다 참가자들이 NGT 세션에서 정리한 여러 항목(n = 191)으로 구성된 '상위 7가지 특성'(부록 S3 참조)이 도출되어 41개의 클러스터로 이어졌습니다. 질적 분석 결과, 숙련된 커뮤니케이터의 특성을 설명하는 9개의 테마가 도출되었습니다. 표 2는 주제와 해당 클러스터의 순위를 보여줍니다. 테마는 이러한 결합된 기준에 따라 나열되어 있습니다: (1) 일련의 NGT 세션에서 가장 높은 순위를 차지한 클러스터와 (2) 특정 테마 내의 모든 클러스터 점수의 합입니다.

Six NGT sessions were conducted, each resulting in its own ‘Top 7 of characteristics’ (see Appendix S3) consisting of multiple items (n = 191) that were organised by the participants during the NGT sessions, leading to 41 clusters. Qualitative analysis resulted in nine themes, describing characteristics of a skilled communicator. Table 2 shows the rankings of the themes and corresponding clusters. The themes are listed according to these combined criteria:

• (1) the clusters ranked the most often over the series of NGT sessions and
• (2) the sum of all cluster scores within a specific theme.

숙련된 커뮤니케이터의 특성
Characteristics of a skilled communicator

이 섹션에서는 숙련된 커뮤니케이터의 특성을 설명하는 식별된 주제를 그림 2에 설명된 내러티브로 개괄적으로 설명합니다. 주제는 참가자들이 순위를 매겨 조립한 항목에 대한 주제별 콘텐츠 분석의 결과로 식별됩니다.

In this section, the identified themes describing characteristics of a skilled communicator will be outlined and described as a narrative, which are illustrated in Figure 2. Themes are identified as a result of the thematic content analysis of the rank-ordered assembled items by the participants.

3.3.1 A: 환자에게 민감하고 적응하기
3.3.1 A: Being sensitive and adapting to the patient

5번의 NGT 세션 동안 '환자에게 민감하고 적응하기'라는 주제를 나열하고 점수를 매겼습니다. 이 주제는 환자의 경험과 요구에 민감하게 반응하는 것과 환자와의 언어적, 비언어적 의사소통을 조정하는 것으로 세분화할 수 있습니다. 또한, 공통점을 찾는 것은 환자와의 만남에서 무엇이 필요한지 민감하게 파악하고 그에 따라 의사소통을 조정하는 것으로 언급되었습니다.
During five NGT sessions, the theme ‘Being sensitive and adapting to the patient’ was listed and scored. It can be subdivided into being sensitive to the patient's experience, and needs and adjusting verbal and non-verbal communication to the patient. Moreover, finding common ground was mentioned as being sensitive to what is needed in the encounter and adapt communication accordingly.

3.3.2 B: 대인 커뮤니케이션을 능숙하게 적용하는 것
3.3.2 B: Being proficient in applying interpersonal communication

네 개의 NGT 세션에서 '대인 커뮤니케이션을 능숙하게 적용하기'라는 주제를 나열하고 점수를 매겼습니다. 센트럴은 대인 커뮤니케이션을 적용하는 방법을 알고 언제 상담에 적용해야 하는지 아는 측면에서 의사와 환자 간의 관계를 증진하는 대인 커뮤니케이션을 시연하고 있습니다. 이 주제에 따라 평화와 신뢰 형성, 완전한 존재감 드러내기, 충분한 시간 갖기, 희망과 현실 사이의 균형 잡기 등 다양한 목표와 기술이 보고되었습니다. 또한 참가자들은 대화 과정에 대해 상호적으로 논의하고 상호 기대치를 명확히 할 필요성에 대해 언급했습니다.
Four NGT sessions listed and scored the theme ‘Being proficient in applying interpersonal communication’. Central is demonstrating interpersonal communication fostering the relationship between doctor and patient, both in terms of knowing how to apply it and knowing when to apply it in the consultation. Under this theme, different objectives and skills were reported, for example: creating peace and trust, displaying full presence, taking sufficient time and balancing between hope and realism. In addition, participants mentioned the need to attend to reciprocity discuss the dialogical process and articulate mutual expectations.

3.3.3 C: 자기 인식, 학습 능력 및 반성적 역량
3.3.3 C: Self-awareness, learning ability and reflective capacity

'자기 인식, 학습 능력 및 반성적 역량'이라는 주제는 네 번의 NGT 세션에서 나열되고 채점되었습니다. 여기에는 규범과 가치, 경계, 함정, 의사소통 스타일에 대한 개인의 인식이 포함됩니다. 환자와 동료의 피드백에 개방적이고 자신의 의사소통의 단점을 성찰함으로써 자신의 관점이나 편견과 같은 개인적 기준 프레임에 대한 인식이 강화됩니다. 또한, 이 주제에서는 학습에 대한 의지, 즉 이전 경험을 바탕으로 다양한 커뮤니케이션 전략을 실험할 수 있는 성장 마인드가 언급되었습니다.
The theme ‘Self-awareness, learning ability and reflective capacity’ was listed and scored by four NGT sessions. It includes personal awareness of norms and values, boundaries, pitfalls and communication style. By being open for feedback from patients and colleagues and reflecting upon shortcomings in one's communication, performance awareness of own personal frame of reference (e.g. perspectives and prejudices) is fostered. Moreover, within this theme willingness to learn was mentioned: a growth mind-set, which enables experimenting with different communication strategies based upon prior experiences.

3.3.4 D: 진정으로 관심 갖기
3.3.4 D: Being genuinely interested

네 번의 NGT 세션에서 '진정으로 관심 갖기'라는 주제를 나열하고 점수를 매겼으며, 호기심을 보이는 태도를 통해 환자와 열린 대화를 나누는 것이 중요하다고 언급했습니다. 호기심을 갖고, 쉽게 접근하고, 비판적이지 않고, 열린 마음을 갖는 것이 필수적입니다.
Four NGT sessions listed and scored the theme ‘Being genuinely interested’ and to establish an open dialogue with the patient by displaying an attitude of curiosity. It is essential to be curious, easily accessible, non-judgmental and open-minded.

3.3.5 E: 환자 중심 커뮤니케이션을 능숙하게 적용하기
3.3.5 E: Being proficient in applying patient-centred communication

네 번의 NGT 세션 동안 '환자 중심 의사소통을 능숙하게 적용하기'라는 주제가 나열되고 점수가 매겨졌습니다. 이 주제는 의사소통 전략의 메커니즘과 잠재적 효과에 대한 지식과 효과적인 정보 교환 개발로 세분화할 수 있습니다. 의사는 상담 시 환자의 눈높이에 맞게 언어를 유연하게 조정하고, 질문과 설명을 구체적으로 하고 이해 여부를 확인해야 합니다. 
During four NGT sessions, the theme ‘Being proficient in applying patient-centred communication’ was listed and scored. This theme can be subdivided into knowledge about the mechanisms and potential effects of communication strategies and developing an effective information exchange. In their consultations, doctors need to flexibly adjust their language to the level of the patient, being concrete in questioning and providing explanations and checking for understanding.

3.3.6 F: 목표 지향적 의사소통
3.3.6 F: Goal-oriented communication

네 번의 NGT 세션 동안 '목표 지향적 의사소통'이라는 주제를 나열하고 점수를 매겼습니다. 이는, 필요할 때마다, 환자와 의사 모두의 의제를 다루고 추가적인 주의가 필요한 문제와 불필요해 보이는 문제를 구분하기 위해 주도적으로 행동하는 것을 의미합니다. 시간 제한적 개입은 상담 과정에 관한 선택을 할 때 목표 지향적으로 일할 수 있도록 지원합니다. 동시에 분석적이고 깊이 탐구하는 자세는, 임상과 환자의 목표를 모두 고려하고 이를 연결하면서, 내용과 과정 사이의 균형을 맞출 수 있게 해줍니다.
During four NGT sessions, the theme ‘Goal-oriented communication’ was listed and scored. It means taking the lead, whenever it is necessary, to address the agenda of both patient and doctor and differentiate between issues that require additional attention and those that seem superfluous. Time-contingent interventions support goal-oriented working in making choices regarding the course of the consultation. Concomitantly, being analytic and exploring deeper enable balancing between content and process while taking into account both clinical and patients' goals and bridging them.

3.3.7 G: 진정성 확보하기
3.3.7 G: Being authentic

네 개의 NGT 세션에서 '진정성'을 주제로 선정하고 점수를 매겼습니다. 이는 의사소통 성과가 환자에게 거의 감지되지 않는다는 것을 의미합니다. 진정성 있는 방식으로 목표를 달성하면 자연스럽고 개인적인 스타일의 커뮤니케이션으로 이어집니다. 이를 위해서는 공감, 취약성, 그리고 필요한 경우 불안감에 대한 소통을 보여줘야 합니다.
Four NGT sessions listed and scored the theme ‘Being authentic’. It means that communication performance is almost imperceptible to the patient. Achieving goals in an authentic manner leads to a natural and personal style in communication. This necessitates showing empathy, vulnerability and communication about insecurities, if needed.

3.3.8 H: 적극적인 경청
3.3.8 H: Active listening

'적극적 경청'이라는 주제는 세 번의 NGT 세션에서 목록화되어 점수를 받았다. 경청 능력으로 묘사되었다.

• 환자가 자신의 이야기를 할 수 있는 여지를 만들고, 만남에서 환자의 단서와 환자가 강조하는 것에 대해 적극적으로 경청하며 (비)언어적 의사소통에 집중하는 것으로 설명되었습니다.

The theme ‘Active listening’ was listed and scored by three NGT sessions, which was described as the ability to listen:

• attentively and thereby creating room for patients to tell their story, and actively for patient cues in the encounter and what is stressed by the patient, and focus on (non-)verbal communication.

3.3.9 I: 환자와 협력하기
3.3.9 I: Collaborating with the patient

두 개의 NGT 세션에서 '환자와 협력하기'라는 주제를 나열하고 점수를 매겼습니다. 이는 의사와 환자가 투명성을 위해 노력하고 상호 계획에 도달하는 평등에 기반합니다. 다른 한편으로, 협업은 환자가 문제 해결의 공동 파트너가 되어 환자의 자율성을 높이고 공동 의사 결정을 내릴 수 있는 공동 책임에 기반합니다.
Two NGT sessions listed and scored the theme ‘Collaborating with the patient’. On the one hand, this is based on equality: doctor and patient striving towards transparency and reaching a mutual plan. On the other hand, working collaboratively is based on a shared responsibility where the patient becomes co-partner in problem solving enhancing the patients' autonomy and enabling to shared decision making.

숙련된 의사소통 접근법의 개념적 모델
Conceptual model of a skilled communication approach

이 개념적 모델(그림 3 참조)에서는 두 가지 순환적이고 중요한 프로세스가 실제 커뮤니케이션 행동과 커뮤니케이션에 대한 성찰의 중심이 됩니다. 이러한 작업을 수행하려면 다음과 같은 특성이 필요합니다. 의사는 첫 번째 과정인 의사소통에 민감해야 하며, 의사소통을 만남의 필요에 맞게 조정해야 합니다. 관찰된 의사소통 행동은 의사의 적용된 기술과 표시된 태도에 영향을 받습니다. 

• 연구 결과에서 첫 번째 구성 요소는 대인 관계 및 환자 중심 커뮤니케이션을 적용하는 숙련도로 확인되었습니다. 또한, 능동적 경청은 고도로 숙련된 과정으로 확인되었으며, 이는 (대인관계 및 환자 중심) 의사소통을 적용하기 위한 조건부 도구로 볼 수 있습니다.41 
• 두 번째 구성 요소인 태도적 측면은 진정성과 진정한 관심으로 확인되었으며 숙련된 커뮤니케이터의 핵심으로 간주됩니다. 이러한 태도적 측면은 임상적 만남에서 환자에게 민감하게 반응하고 의사소통을 조정하는 과정을 용이하게 합니다.

In this conceptual model (see Figure 3), two circular and overarching processes are central actual communication behaviour and reflection on communication. The following characteristics are needed to perform these tasks. The doctor needs to be sensitive and adapt communication to the needs of the encounter, which is the first process. The communication behaviour observed is influenced by applied skills and displayed attitudes of the doctor.

• The first component is identified in our findings as the proficiency to apply interpersonal and patient-centred communication. Moreover, the characteristic Active listening was identified as a highly skilled process, which could be seen as a conditional tool to apply (interpersonal and patient-centred) communication.41 
• The second component, attitudinal aspects, are identified in as authenticity and genuine interest and considered as core for a skilled communicator. These attitudinal aspects facilitate the process of being sensitive and adapting communication to the patient in the clinical encounter.

또한 숙련된 커뮤니케이터가 환자와 협력하고 필요한 경우 주도권을 잡으면서 임상 진료 중에 목표를 조정할 수 있도록 하는 데 있어 기술과 태도는 조건적인 요소입니다. 이는 의사소통이 본질적으로 맥락적이고 목표 중심적이라는 점과 일맥상통합니다.14, 18, 28 또한, 상담에서 환자와 의사의 관련 목표를 다룰 때 상호 합의점을 찾는 것이 촉진됩니다.14 숙련된 커뮤니케이터는 또한 임상 진료 중 의사소통 과정을 스스로 모니터링할 수 있어야 하며, 이는 두 번째로 확인된 병행 과정과 일맥상통합니다: '자기 인식, 학습 능력 및 반성적 능력'과 일치합니다.42, 43
Skills and attitudes are also conditional in enabling a skilled communicator to adjust goals during the clinical encounter while working collaboratively with a patient and taking the lead if needed. This resonates with communication being inherently contextual and goal driven.14, 18, 28 Furthermore, finding mutual agreement is fostered in addressing both patients' and doctors' related goals in the consultation.14 A skilled communicator should also be able to self-monitor communication processes during the clinical encounter, which resonates with the second identified parallel process: ‘self-awareness, learning ability, and reflective capacity’.42, 43

4 논의
4 DISCUSSION

이 연구의 목적은 의료 커뮤니케이션 분야의 다양한 이해관계자의 관점을 종합하여 숙련된 커뮤니케이션의 개념을 알리는 것이었습니다. 6차례에 걸쳐 진행된 NGT 세션에 참여한 이해관계자들은 총 191개의 항목을 종합적으로 해명했습니다. 이러한 결과를 주제별 내용 분석에 사용하여 임상 현장에서 숙련된 커뮤니케이터의 특성을 설명하는 9가지 주제를 식별했습니다.

• (A) 환자에 대한 민감성과 적응력,
• (B) 대인 커뮤니케이션 적용에 능숙함,
• (C) 자기 인식, 학습 능력 및 성찰 능력,
• (D) 진정으로 관심 있음,
• (E) 목표 지향적 커뮤니케이션,
• (F) 진정성,
• (G) 환자 중심 커뮤니케이션 적용에 능숙함,
• (H) 적극적인 경청,
• (I) 환자와 협력하는 것

식별된 주제는 각 특성이 의사의 개인 레퍼토리의 일부이며 통합된 전체를 구성하기 때문에 내용상 밀접한 관련이 있습니다.9, 14, 16, 44
The purpose of this study was to inform the concept of skilled communication by synthesising viewpoints from different stakeholders in the field of medical communication. Stakeholders participating in the six conducted NGT sessions collectively elucidated 191 items. We used these findings in a thematic content analysis and identified nine themes, describing characteristics of a skilled communicator in the clinical encounter:

• (A) being sensitive and adapting to the patient;
• (B) being proficient in applying interpersonal communication;
• (C) self-awareness, learning ability and reflective capacity;
• (D) being genuinely interested;
• (E) goal-oriented communication;
• (F) being authentic;
• (G) being proficient in applying patient-centred communication;
• (H) active listening; and
• (I) collaborating with the patient.

The identified themes are closely related in content as each characteristic is part of the doctor's personal repertoire and constitutes an integrated whole.9, 14, 16, 44

또한, 확인된 주제를 바탕으로 (1) 환자에 대한 민감성과 적응력, (2) 자기 인식, 학습 능력, 반성적 능력이라는 두 가지 병렬 프로세스를 추출할 수 있고 임상에서 핵심이 되는 숙련된 의사소통 접근법의 개념적 모델을 개발했습니다. 이 모델은 전문적 성과를 모니터링하고 조절하는 넬슨과 나렌스(1990)의 이론적 모델에서 설명하는 순환 과정과 일치합니다.42, 45
Moreover, based on the identified themes, we developed a conceptual model of a skilled communication approach in which two parallel processes could be distilled and are key in the clinical encounter:

• (1) being sensitive and adapting to the patient and
• (2) self-awareness, learning ability and reflective capacity.

This model is concordant with the circular processes described by the theoretical model of Nelson and Narens (1990) of monitoring and regulating professional performance.42, 45

연구 질문에 비추어 볼 때, 의사 소통 행동은 임상적 만남의 필요에 민감하게 반응하고 의사소통을 조정함으로써 조절되며, 이는 환자 중심의 상담 결과에 도달하기 위해서는 의사 행동 적응성(PBA)이 필수적이라고 제안한 Carrard 등의 문헌에 의해 뒷받침됩니다. 의사가 환자의 선호도를 정확하게 해석하고 그에 따라 커뮤니케이션 행동을 조정할 수 있을 때 PBA가 달성됩니다.46 숙련된 커뮤니케이터는 임상 상담의 필요에 따라 다양한 커뮤니케이션 전략을 적응적으로 적용해야 한다는 점에서 PBA는 우리의 연구 결과를 반영합니다.46
In reflecting on our research question, communication behaviour is regulated through being sensitive and adapting communication to the needs of the clinical encounter, which is supported in literature by Carrard et al, who suggest that doctor behavioural adaptability (PBA) is essential to reach patient-centred consultation outcomes. PBA is achieved if the doctor is able to correctly interpret patients' preferences and adapt communication behaviour accordingly.46 PBA mirrors our findings in that a skilled communicator should apply different communication strategies adaptively in response to the needs of the clinical encounter.46

결과적으로 숙련된 커뮤니케이터는 임상 진료 중 의사소통 과정을 스스로 모니터링할 수 있어야 하며, 이는 두 번째로 확인된 병행 과정인 자기 인식, 학습 능력 및 반성적 역량과도 일치합니다. 의사는 의사소통 수행을 평가할 때 진료 중 내면의 생각과 감정을 모니터링하는 것이 필수적입니다.47 이 두 번째 과정과 일치하는 개념은 Hall과 Mast가 소개한 대인관계 정확성입니다.47 대인관계 정확성은 환자의 비언어적 및 단서에 민감하여 환자의 감정, 요구, 의도를 정확하게 인식하는 능력으로 설명됩니다.46, 47
Subsequently, a skilled communicator should also be able to self-monitor communication processes during the clinical encounter, which resonates with the second identified parallel process: self-awareness, learning ability and reflective capacity. Essential is that the doctor monitors internal thoughts and feelings during the encounter in evaluating communication performance.47 In line with this second process is the concept of interpersonal accuracy, introduced by Hall and Mast.47 Interpersonal accuracy is described as the ability to accurately perceive patients' feelings, needs, and intentions by being sensitive to patients' non-verbal and cues.46, 47

의료 교육에서 일상적 전문성과 적응적 전문성을 개발하는 것의 차이는 임상 상황에서 자기 인식, 학습 능력 및 성찰 능력을 병행 과정으로 파악하는 것으로 설명할 수 있습니다.48

• 일상적 전문성을 보이는 의사는 익숙한 임상 상황에서 의사소통할 때는 능숙하지만, 미지의 예상치 못한 상황으로 자신의 성과를 이전하는 데 어려움을 겪을 수 있습니다.48-51 에릭슨의 전문성 습득 모델에서 볼 수 있듯이 이러한 의사소통은 안정되고 자동적이고 쉽게 실행되는 수준에 도달하게 됩니다.22 그 결과 의사소통이 환자의 요구에 유연하게 적응하지 못합니다.21, 48, 52
• 반면 적응적 전문성을 보이는 의사는 모든 임상 상황에서 창의적이고 혁신적인 방식으로 의사소통 행동을 조정할 수 있습니다.22, 53 적응적 전문성에 도달하려면 의도적인 연습에 기반한 상황 학습이 핵심이며 성찰과 피드백이 개인 개발을 이끄는 수단이라고 Eraut는 지적합니다.20, 21, 48 

The differentiation between developing routine and adaptive expertise in medical training may explain identifying self-awareness, learning ability and reflective capacity as a parallel process in the clinical encounter.48 

• Doctors demonstrating routine expertise are proficient when communicating in a familiar clinical situation but may have difficulties in transferring their performance to unknown and unexpected situations.48-51 As Ericsson's model of expertise acquisition shows, this communication will become stable and will reach a level of automaticity and effortless execution.22 This results in communication not becoming flexibly adapted to patient needs.21, 48, 52 
• In contrast, doctors demonstrating adaptive expertise are able to tailor their communication behaviour in a creative and innovative manner in every clinical situation.22, 53 To reach adaptive expertise, Eraut indicates that situated learning based on deliberate practice is key and reflection and feedback are vehicles to steer personal development.20, 21, 48

의료 교육에서는 학습자가 자신의 학습 과정에 능동적으로 참여할 수 있도록 성과에 대한 자기 인식을 촉진하는 학습자 중심 접근법을 촉진하는 데 중점을 두어야 하며, 이를 통해 진료 현장에서 환자의 요구에 맞게 의사소통을 조정할 수 있고, 궁극적으로 개인의 발전을 촉진할 수 있습니다.9, 10, 16, 44, 53-55 그리고 이후 성찰과 정기적인 피드백을 통해 자신의 생각과 느낌을 모니터링합니다.20, 42 
In medical training, emphasis should be on facilitating a learner-centred approach to promote self-awareness of performance for learners to become actively involved in their own learning process, which enables them to adapt communication to patient needs in the encounter, and eventually fosters their personal development,9, 10, 16, 44, 53-55 and, subsequently, monitor their own thoughts and feelings by reflection and regular feedback.20, 42

학습은 실제 임상 환경에서 구성되며, 학습자는 이러한 환경이 학습자에게 영향을 미치기 때문에 이 환경에 적극적으로 영향을 미치는데, 이를 경험적 학습 '현장 학습'이라고도 합니다.20, 56 학습자의 필요와 학습 목표에 따라 학습자가 자신의 개인적인 의사소통 스타일(예: 진정성, 진정한 관심)을 개발하도록 안내하고 학습자의 개인적 발전을 촉진하려면 교육이 종적 지향적이며 적극적인 지원과 안내된 성찰을 제공하는 것이 필수적입니다.56-58
Learning is constructed from the authentic clinical setting, and learners actively influence this setting as this same setting influence learners, also known as experiential learning ‘learning on the job’.20, 56 To guide learners in their needs and learning goals to develop their own personal communication style (e.g. authentic, genuine interested), fostering the personal development of learners, it is essential that training is longitudinal oriented and provides active support and guided reflections.56-58

시사점
Implications

커뮤니케이션 교육 및 연구를 위한 권장 사항을 공식화할 수 있습니다. 이 개념적 모델은 숙련된 커뮤니케이션 학습을 위한 템플릿으로 사용할 수 있는 식별된 특성을 뒷받침합니다. 의사소통 훈련은 임상 현장에서 의사소통에 대한 반복적인 실험을 촉진하고 의사소통 수행에 대한 체계적인 성찰을 지원하여 숙련된 의사소통의 전문성을 확보할 수 있도록 해야 합니다. 이를 통해 학습자는 학습 목표를 설정하고 학습 활동을 계획하는 데 있어 학습 과정을 능동적으로 이끌어갈 수 있으며, 개인의 발전을 촉진할 수 있습니다.9, 16, 21, 47
Recommendations can be formulated for communication training and research. The conceptual model underpins the identified characteristics that may be used as a template for learning skilled communication. Communication training should facilitate repeated experimentation with communication in the clinical encounter and support systematic reflection on communication performance to attain expertise in skilled communication. This may enable learners to actively steer their learning processes in setting goals and planning learning activities, stimulating their personal development.9, 16, 21, 47

또한, 우리의 개념 모델은 숙련된 커뮤니케이션을 운영하며 학습자가 숙련된 커뮤니케이터가 되기 위해 개발해야 하는 두 가지 중요하고 순환적인 프로세스를 설명합니다. 교육은 학습을 평생의 연속체로 생각하고 학습자가 실제 임상 환경에서 접하는 경험에 의미를 부여할 수 있도록 학습자를 적극적으로 지원해야 합니다.20, 56, 57 향후 연구에서는 확인된 숙련된 의사소통 접근법이 임상 업무 환경 학습 중에 어떻게 최적으로 지원될 수 있는지 탐구해야 합니다.
Moreover, our conceptual model operationalises skilled communication and describes two overarching and circular processes learners need to develop to become skilled communicators. Training requires the need to actively support learners as learning is to be thought of as a lifelong continuum and help learners to make meaning of the experiences they encounter in the authentic clinical setting.20, 56, 57 Future research should explore how the identified skilled communication approach can be optimally supported during clinical workplace learning.

강점 및 한계
Strengths and limitations

이번 연구 결과는 강점과 한계를 고려하여 해석해야 합니다. 강점은 다음과 같습니다: 

• (1) 상대적으로 많은 이해관계자 그룹이 다차원적 개념을 세분화하여 총체적인 복잡성을 파악하는 과정에서 광범위한 숙련된 의사소통 특성을 생성했다는 점,
• (2) 다양한 참여 이해관계자(예: GP, GP 수련의, 교수진 및 연구자)가 있었다는 점,
• (3) 다수의 NGT 세션이 식별된 특성의 일반화 가능성을 높였다는 점 등이 있습니다.

Our findings should be interpreted considering the strengths and limitations present. The strengths include:

• (1) a relatively large group of stakeholders generated an extensive number of skilled communication characteristics during the process of breaking down a multidimensional concept to get to grips on its holistic complexity,
• (2) the variety of participating stakeholders (i.e. GPs, GP trainees, faculty members and researchers) and
• (3) multiple NGT sessions increasing the generalisability of the identified characteristics.

또한 한계도 알고 있습니다. 

• 첫째, 코로나19 팬데믹으로 인해 세션이 전자 환경에서 진행되었기 때문에 직접 눈을 마주치지 않고 비언어적 제스처를 취하는 데 어려움이 있을 수 있습니다.54 그러나 NGT 방식은 구조화된 템플릿을 채택하고 진행자가 세션 중 모든 참가자를 개별적으로 초대하여 토론에 참여하도록 했습니다. 따라서 이러한 한계가 연구 결과에 영향을 미치지는 않았을 것으로 예상합니다.
• 둘째, 우리는 본질적으로 복잡하고 다차원적인 개념을 매핑하려고 시도했고, NGT 방법은 풍부한 데이터를 생성했기 때문에 참가자들이 데이터를 개념적으로 심층적으로 탐색할 수 없었다는 점을 알고 있습니다.
• 셋째, 이 연구의 초점은 앵글로색슨 국가의 의료 환경과 특히 GP 교육 프로그램에 맞춰져 있었습니다. 이러한 환경과 이에 대한 사람들의 인식은 국가마다 다를 수 있다는 점을 알고 있습니다. 반면, 네덜란드의 8개 GP 수련 기관 중 5개 기관의 참가자를 포함했기 때문에 연구가 수행된 환경이 강점이라고 생각합니다. 비슷한 교육 시스템과 역량 프레임워크를 고려할 때 본 연구 결과는 다른 앵글로색슨 국가의 의료 교육 및 의료 환경에 일반화할 수 있을 것으로 기대합니다.
• 마지막으로, 본 연구는 의사-환자 커뮤니케이션 교육 영역에서 의료 전문가와 교육자의 관점을 규명하는 데 중점을 두었기 때문에 환자를 포함하지 않은 것은 본 연구의 한계로 볼 수 있습니다.

We are also aware of limitations.

• First, due to the COVID-19 pandemic, the sessions were held in an electronic environment, which can be a challenge due to, for example, the absence of direct eye contact and non-verbal gestures.54 However, the NGT method adopts a structured template and the moderators invited all participants individually to take part in the discussion during the sessions. Therefore, we expect that this limitation did not alter our findings.
• Second, we realise that we have tried to map a concept that is complex and multidimensional in nature, and the NGT method generated a richness of data, which does not enable participants to explore the data in-depth conceptually.
• Third, the focus of this study was on health care settings of Anglo-Saxon countries and on the GP training programme in particular. We are aware that the setting, and people's perceptions thereof, may differ across countries. On the other hand, we consider the setting in which the study was performed a strength as we included participants from five out of eight GP training institutes in the Netherlands. We expect the outcomes of our study to be generalisable to medical training and health care settings in other Anglo-Saxon countries, given comparable educational systems and their competency frameworks.
• Finally, not including patients can be seen as a limitation of this study as we decided to exclude patients as our focus is on elucidating the perspectives of health care professionals and educators within the domain of training doctor–patient communication.

결론
Conclusion

이번 연구 결과는 숙련된 커뮤니케이터의 특성을 밝히고 숙련된 커뮤니케이션 접근 방식을 개념화했으며, 이는 개념적 모델에 요약되어 있습니다. 임상 현장에서 숙련된 의사소통의 전문성을 갖추기 위해서는 (1) 환자에 대한 민감성과 적응력, (2) 자기 인식, 학습 능력, 반성적 역량이라는 두 가지 과정이 병행되어야 합니다. 전문성을 갖추기 위해서는 환자의 요구와 목표에 맞게 커뮤니케이션을 조정하고 임상 진료 중 커뮤니케이션 과정을 지속적으로 모니터링하는 방법을 배우는 것이 상호 의존적입니다. 개념 모델에 제시된 식별된 특성은 의사가 숙련된 커뮤니케이터가 될 수 있도록 지원하는 학습자 중심 접근법을 개발하는 데 도움이 될 수 있으며, 이는 의료 교육에서 직장 학습을 하는 동안에도 마찬가지입니다. 이는 교육에서 학습자의 학습 과정을 적극적이고 종적으로 안내하여 개인 개발을 촉진할 필요가 있음을 의미합니다.
Our findings elucidate characteristics of a skilled communicator and conceptualise a skilled communication approach, which is outlined in a conceptual model. Two parallel processes are essential to attain expertise in skilled communication in the clinical encounter: (1) being sensitive and adapting to the patient and (2) self-awareness, learning ability and reflective capacity. To attain expertise, learning to adapt communication to patients' needs and goals and continuously monitor communication processes during the clinical encounter are interdependent. The identified characteristics laid out in the conceptual model may inform the development of a learner-centred approach in supporting doctors to become skilled communicators, during workplace learning in medical training. For training, this implies the need to actively and longitudinally guide learners in their learning processes to facilitate personal development.

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

전공의 선발 인터뷰 수행 베스트 프랙티스(AAMC)
Best Practices for Conducting Residency Program Interviews

소개
Introduction

AAMC는 레지던트 프로그램, 지원자, 의학교육자, 학생 지도교수 등 모든 이해관계자의 레지던트 전환을 개선하는 데 주력하고 있습니다. 이러한 노력의 일환으로 실시된 프로그램 디렉터를 대상으로 한 AAMC 설문조사에 따르면, 프로그램 디렉터들은 순위 목록을 작성할 때 경험, 학업 지표, 기타 속성 및 역량 등 지원자에 대한 다양한 정보를 평가하는 것으로 나타났습니다. 같은 설문조사에 따르면 전문성, 성실성, 대인관계 및 커뮤니케이션 기술, 신뢰성 및 의존성과 같은 특성이 가장 중요한 것으로 나타났습니다.  
The AAMC is focusing on enhancing the transition to residency for all stakeholders, including residency programs, applicants, medical educators, and student advisors. The AAMC survey of program directors conducted as part of this effort indicated that they evaluate a wide variety of information about applicants—including experiences, academic metrics, and other attributes and competencies—when creating rank order lists. The same survey found that characteristics such as professionalism, integrity, interpersonal and communication skills, and reliability and dependability are among the most important ones.

또한 프로그램 디렉터들은 레지던트 면접이 지원자의 순위를 매기는 데 가장 일반적이고 중요한 도구 중 하나이지만, 프로그램과 전문 분야에 따라 지원자를 면접하는 방식에 상당한 차이가 있다고 답했습니다. 지원자가 면접을 준비하는 데 도움이 되는 리소스는 많지만(예: AAMC 커리어 인 메디신 및 레지던트 면접 과정을 위한 미국 의사 대학 가이드라인), 면접관을 위한 리소스는 거의 존재하지 않습니다. 또한 의사는 환자와의 인터뷰 방법에 대해 상당한 교육을 받지만 지원자와의 인터뷰는 목적, 설계 및 실행 방식이 다릅니다.  
Program directors also reported that the residency interview is one of the most common and important tools used in ranking applicants but that significant variability exists in how applicants are interviewed across programs and specialties. While many resources are available to help applicants prepare for interviews (for example, AAMC Careers in Medicine and the American College of Physicians Guidelines for the Residency Interview Process), fewer resources exist for interviewers. Additionally, though physicians receive considerable training on how to interview patients, interviewing applicants is different in purpose, design, and implementation.

이러한 격차가 확인되자 AAMC는 모범 사례를 요약하고 프로그램 디렉터가 면접 프로세스를 개선하기 위한 옵션을 빠르게 이해할 수 있도록 이 가이드를 작성했습니다. 이 가이드가 일관성을 개선하고 레지던트 성과를 더 잘 예측하는 데 사용할 수 있는 면접 관행 및 프로세스에 대한 유용하고 유용한 소개 역할을 하기를 바랍니다. 
When this gap was identified, the AAMC sought to summarize best practices and assemble this guide to help program directors quickly understand their options for enhancing the interview process. Our hope is that the guide will serve as a helpful and useful introduction to interview practices and processes that can be used to improve consistency and better predict resident performance.

이 가이드의 목적
Purpose of This Guide

이 가이드는 유효하고 공정한 면접 절차를 구현하는 데 도움이 되는 면접 모범 사례를 설명합니다. 면접 구조의 구성 요소와 면접관 교육을 포함하여 면접 프로세스를 개선하면 프로그램과 지원자 모두의 성공 가능성과 호환성을 높이는 데 기여하는 보다 정보에 입각한 결정을 내릴 수 있습니다. 
This guide describes interview best practices to assist with implementing valid and fair interview processes. Any enhancements in the interview process, including components of interview structure and interviewer training, will enable programs to make more informed decisions that contribute to the increased likelihood of success and compatibility for both the programs and the applicants.

이 가이드의 정보는 두 섹션으로 나뉩니다: 
The information in this guide is divided into two sections:

• 섹션 1: 인터뷰 프로세스 구조화하기 - 프로그램 디렉터 가이드에서는 현재 연구 현황과 선발 인터뷰의 모범 사례에 대한 개요를 제공합니다.
  
• 섹션 2: 레지던트 지원자 인터뷰-교직원을 위한 실무 가이드에서는 유용한 팁과 피해야 할 함정 등 인터뷰 진행에 관한 실용적인 정보를 제공합니다.
• Section 1: Structuring Your Interview Process—A Program Director’s Guide provides an overview of the current state of research and best practices in selection interviews.
• Section 2: The Resident Applicant Interview—A Practical Guide for Faculty provides practical information on conducting interviews, including helpful tips and traps to avoid.

레지던트 프로그램에서는 지원자를 평가하고 순위를 매기는 데 다양한 정보를 사용하지만, 이 가이드는 특히 면접에 초점을 맞춥니다. 다른 일반적인 평가(예: 작업 샘플 및 OSCE)를 개발하여 선발 과정에 통합하는 방법에 대한 정보는 포함되어 있지 않습니다. 
While residency programs use many sources of information to evaluate and rank applicants, this guide focuses specifically on interviews. It does not include information about developing and integrating other common assessments (for example, work samples and OSCEs) into the selection process.

참고로, 레지던트 프로그램은 다양한 목적으로 면접일을 활용합니다. 공식적인 인터뷰 외에도 일반적인 인터뷰 데이 활동에는 현 레지던트 및 교수진과의 식사, 질의응답 세션, 캠퍼스 또는 도시 투어와 같은 채용 활동이 포함됩니다. 이러한 비공식 활동과 기숙사 및 프로그램 지원 직원과의 상호작용은 지원자의 대인관계 및 의사소통 능력에 대한 귀중한 정보를 얻을 수 있으며, 프로그램과 지원자 간의 적합성 여부를 판단하는 데 중요한 역할을 합니다. 유익하고 효과적이며 즐거운 면접일을 계획하기 위한 모범 사례(예: 프로그램이 지원자에게 기대하는 바를 모든 관계자가 공통으로 이해할 수 있도록 사전 작업을 수행하고, 모든 관계자가 관련 정보를 공유할 수 있는 피드백 메커니즘을 구현하는 등)가 있지만, 이 가이드는 특히 당일의 공식 면접 구성 요소에 대한 모범 사례에 초점을 맞추고 있습니다. 
On a related note, residency programs use interview days for multiple purposes. In addition to the formal interviews, common interview day activities include recruitment activities such as meals with current residents and faculty, question and answer sessions, and campus or city tours. These more informal activities and interactions with house and program support staff yield valuable information about applicants’ interpersonal and communication skills and play an important role in helping programs—and applicants—determine whether there is a good fit between the applicant and the program. While there are good practices for planning informative, effective, and enjoyable interview days—such as doing advance work to ensure everyone involved shares a common understanding of what the program seeks in applicants and implementing feedback mechanisms that enable everyone involved to share relevant information—this guide focuses specifically on best practices for the formal interview component of the day.

마지막으로, 많은 교육기관에서 이 가이드의 자료를 보완하는 면접관 리소스 및 지침을 제공합니다. 프로그램 디렉터와 면접관은 이러한 리소스를 살펴보는 것이 좋습니다. 면접 절차를 수정하기 전에 지정된 교육기관 관계자, 프로그램 디렉터 및 법률 고문에게 해당 교육기관 및 프로그램의 면접 정책 및 요건에 대해 문의해야 합니다. 
Finally, many institutions provide interviewer resources and guidance that complement the material in this guide. Program directors and interviewers are encouraged to explore those resources. Before modifying the interview process, the designated institutional official, program director, and legal counsel should be consulted about the institution’s and the program’s interview policies and requirements.

섹션 1: 인터뷰 프로세스 구조화하기-프로그램 디렉터를 위한 가이드
Section 1: Structuring Your Interview Process—A Program Director’s Guide

이 섹션에서는 인터뷰 구조와 인터뷰 연구의 현재 상태에 대한 개요를 제공합니다.
This section provides an overview of interview structure and the current state of interview research.

면접은 지원자가 특정 프로그램에서 레지던트로서 성공하는 데 중요한 개인적 특성을 갖추고 있는지, 프로그램의 사명과 목표에 부합하는지 평가할 수 있는 중요한 방법입니다. 예를 들어 레지던트 프로그램이나 기관의 사명과 목표에는 레지던트가 연구, 도시 또는 농촌 진료, 소외된 지역사회, 학계 또는 지역사회 리더십에 집중하기를 바라는 마음이 포함될 수 있습니다. 
Interviews are a valuable way to assess whether an applicant demonstrates the personal characteristics that are critical for success as a resident in a specific program and fit within the program’s mission and goals. For example, the missions and goals of a residency program or institution may include a desire for residents to focus on research, urban or rural practice, underserved communities, or academic or community leadership.

레지던트 선발의 맥락에서 '적합성' 정의하기
Defining “fit” in the context of residency selection

적합성은 프로그램 디렉터와 지원자가 레지던트 선발 과정에서 가장 중요한 요소 중 하나로 꼽는 경우가 많습니다. 그러나 의학교육 문헌에는 적합성에 대한 공통된 정의가 없습니다. 프로그램은 프로그램의 사명, 목표 및 학습 환경의 맥락에서 적합성에 대한 정의를 논의해야 합니다. 이 가이드에서는 명확성을 위해 적합성을 두 가지 차원으로 구분하여 설명합니다:
Fit is often reported as one of the most important factors in the residency selection process by program directors and applicants. However, there isn’t a common definition of fit in the medical education literature. Programs should discuss the definition of fit in the context of their program’s mission, goals, and learning environment. For the purposes of clarity, in this guide, we identify two dimensions of fit:

[개인-조직 적합성]은 지원자의 성격, 태도, 업무 및 학습 스타일/선호도, 목표와 조직 문화 간의 호환성을 의미합니다.
Person-organization fit refers to compatibility between an applicant’s personality, attitudes, work and learning style/preferences, and goals and the organization’s culture.

[개인-직무 적합성]은 지원자의 역량, 지식, 기술, 능력 및 기타 특성과 직무를 성공적으로 학습하고 수행하는 데 필요한 역량 및 특성 간의 호환성을 의미합니다.
Person-job fit refers to compatibility between an applicant’s competencies, knowledge, skills, abilities, and other attributes and the competencies and characteristics required to learn and perform the job successfully.

선발 면접은 여러 측면에서 다양할 수 있으며, 구조화되거나 비구조화될 수 있습니다:
Selection interviews may vary on a number of dimensions and may:

• 구조화되거나 비구조화될 수 있습니다,
  
• 행동 또는 상황 관련 질문을 사용합니다,
  
• 기술적(의료 및 임상 지식, 절차적 기술) 및 비기술적(대인관계 기술, 전문성) 주제를 포함한 직무 관련 내용을 평가합니다.
  
• 평가 척도를 사용하여 응답을 평가합니다.
• be structured or unstructured,
• use behavioral or situational questions,
• assess job-related content, including technical (medical and clinical knowledge and procedural skills) and nontechnical (interpersonal skills, professionalism) topics, and
• use rating scales to evaluate responses.

비구조화 및 구조화 인터뷰
Unstructured and Structured Interviews

비구조화 면접은 재량적인 내용(즉, 미리 선택된 질문이 없음)과 표준화되지 않은 평가 프로세스(즉, 질문별 채점 시스템이 없음)가 특징입니다.
Unstructured interviews are characterized by discretionary content (that is, no preselected questions) and an unstandardized evaluation process (that is, no question-specific scoring system).

구조화된 면접은 표준화를 통해 신뢰도와 타당도를 높이기 위해 면접을 개선한 것이 특징입니다. 채용 면접에 대한 연구에서는 면접 내용에 영향을 미치는 요소와 평가 프로세스에 영향을 미치는 요소의 두 가지 범주의 구조 구성 요소를 확인했습니다.
Structured interviews are characterized by any enhancement of the interview designed to improve reliability and validity by increasing standardization. Research on employment interviews has identified two categories of components of structure: those that influence interview content and those that influence the evaluation process.

• 내용 관련 구조 구성 요소는 직무와 관련된 질문을 하거나 모든 지원자에게 동일한 질문을 하는 등 면접 내용의 표준화를 높이기 위한 모든 개선 사항입니다.
  
• 평가 관련 구조 구성 요소는 평가 척도를 사용하여 면접을 평가하고 면접관에게 평가 절차에 대한 교육을 실시하는 등 평가 프로세스의 표준화를 높이는 모든 개선 사항입니다.
• Content-related components of structure are any enhancements that increase the standardization of the interview content, such as asking questions that are job-related and asking the same questions to all applicants.
• Evaluation-related components of structure are any enhancements that increase standardization of the evaluation process, such as using rating scales to evaluate the interview and training interviewers on evaluation procedures.

표 1에는 내용 및 평가 관련 구조 구성 요소와 각 구성 요소가 면접의 신뢰도, 타당도, 공정성 및 면접에 대한 지원자의 반응에 미치는 영향이 나열되어 있습니다. 그림에서 볼 수 있듯이 각 구성 요소의 효과는 서로 다릅니다. 예를 들어, 직무와 관련된 질문을 포함하면 타당도, 공정성, 지원자의 긍정적인 반응이 증가하는 반면, 탐색 질문을 제한하면 타당도와 공정성은 증가하지만 지원자의 부정적인 반응이 나타날 수 있습니다.
Table 1 lists the content- and evaluation-related components of structure and the effects of each on the interview’s reliability, validity, and fairness and the applicant reactions to the interview. As shown in the figure, the effects of each component differ. For example, including questions that are job-related increases validity, fairness, and positive applicant reactions, whereas limiting probing questions increases validity and fairness, but may lead to negative applicant reactions.

면접 프로세스에 구조를 도입하는 방법을 고려할 때, 프로그램은 선발 목표와 운영 제약 조건에 가장 적합한 구조의 구성 요소를 선택해야 합니다. 면접 결과를 개선하기 위해 모든 구조의 구성 요소를 구현할 필요는 없습니다. 구조의 구성 요소를 약간만 늘려도 지원자의 긍정적인 반응을 유지하면서 면접 결과의 신뢰도와 타당도에 긍정적인 영향을 미칠 수 있습니다.
When thinking about how to introduce structure into the interview process, programs should select the components of structure that best match its selection goals and operational constraints. Not all components of structure need to be implemented in order to improve interview results. Even making modest increases in structure can have a positive effect on the reliability and validity of interview results while maintaining positive reactions from applicants.

표 1. 구조의 구성 요소가 신뢰성, 타당성, 공정성 및 지원자 반응에 미치는 영향
Table 1. The Effects of Components of Structure on Reliability, Validity, Fairness, and Applicant Reactions

참고: '긍정적'은 전반적으로 긍정적인 효과를, '부정적'은 전반적으로 부정적인 효과를, '불충분'은 개선 효과에 대한 연구가 불충분함을 의미합니다. "신뢰도"는 평가 프로세스가 일관되고 지원자 응답이 일관되게 평가되는 정도를 의미합니다. "타당도"는 면접 점수를 통해 추론한 내용의 정확성을 의미합니다.
Note: “positive” means overall positive effect, “negative” means overall negative effect, and "insufficient" means insufficient research on the effect of the enhancement. "Reliability" refers the extent to which the evaluation process is consistent and candidate responses are evaluated consistently. "Validity" refers to the accuracy of inferences made from interview scores.

Source: Adapted from Campion et al. (1997) and Levashina et al. (2014).

행동 및 상황 질문
Behavioral and Situational Questions

면접 질문에는 여러 유형이 있습니다. 그 중 행동 질문과 상황 질문은 널리 연구되어 왔으며 비교적 구조화된 것으로 간주됩니다.
There are many types of interview questions. Two of them—behavioral and situational questions—have been widely studied and are considered relatively structured.

행동 질문은 과거의 행동이 미래의 행동을 예측할 수 있다는 전제를 바탕으로 합니다. 이러한 질문은 지원자에게 면접 중인 직무에서 직면할 수 있는 상황과 관련된 이전 상황(일반적으로 이전 직장, 학교 또는 자원봉사 경험)에서 지원자가 어떤 행동을 했는지 설명하도록 요청합니다. 과거 행동 질문은 지원자에게 특정 상황, 지원자가 취한 행동 또는 조치, 그 행동의 결과 또는 결과를 설명하도록 요청하는 경우가 많습니다.
Behavioral questions are based on the premise that past behavior predicts future behavior. They ask applicants to describe what they did in a previous context (typically, in previous jobs, at school, or in volunteer experiences) that are related to situations they may face in the job for which they are interviewing. Past-behavior questions often ask an applicant to describe a specific situation, the behavior or action they took, and the outcome or consequence of that behavior.

• 예시: 함께 일하던 의료진이 정해진 프로토콜과 일치하지 않는 방식으로 행동하는 것을 목격했던 때를 설명해 주세요. 상황이 어땠는지, 어떤 조치를 취했는지, 그 결과는 어땠는지 설명하세요.
• Example: Please describe a time when you observed a member of the medical team that you were working with behave in a manner that was inconsistent with an established protocol. Explain what the situation was, what actions you took, and the outcome.

행동 면접 질문 개발을 위한 주요 단계
Key Steps for Developing Behavioral Interview Questions

1. PGY-1 직책의 주요 요구 사항 파악하기
2. 면접에서 평가할 역량 3~5개 결정하기
3. 각 역량에 대한 행동 또는 상황별 질문 개발
4. 교수진에게 질문 초안을 검토하고 역량에 매핑하도록 요청합니다.
5. 목표 역량에 매핑되는 질문만 유지합니다.
6. 프로세스를 문서화하고 목표 역량 및 항목이 어떻게 선택되었는지 설명합니다.

1. Identify key requirements of the PGY-1 position
2. Determine which 3-5 competencies to target in the interview
3. Develop behavioral or situational questions for each competency
4. Invite faculty to review draft questions and map them to the competencies
5. Retain only the questions that map to the target competencies
6. Document the process and explain how the target competencies and items were selected

상황 질문은 의도가 미래의 행동을 예측한다는 전제를 기반으로 합니다. 상황 질문은 업무에서 발생할 수 있는 가상의 상황을 제시하고 지원자에게 해당 상황에서 어떻게 대응할 것인지 설명하도록 요청합니다.
Situational questions are based on the premise that intentions predict future behavior. They pose hypothetical situations that might occur on the job and ask applicants to describe how they would respond in the situations.

• 예시: 지원자가 아침 회진을 하고 있다고 상상해 보겠습니다. 치프 레지던트가 주 초에 지원자와 다른 PGY-1이 함께 일했던 어려운 케이스를 설명하며 어려운 상황을 잘 처리했다고 칭찬합니다. 그 과정에서 그녀는 당신에게만 공을 돌리고 당신의 동료가 중요한 역할을 했다는 사실은 언급하지 않습니다. 여러분이라면 어떻게 하시겠습니까?
• Example: I’d like you to imagine that you are on your morning rounds. The chief resident describes a difficult case that you and another PGY-1 worked on earlier in the week and compliments your handling of a difficult situation. In doing so, she gives you sole credit and fails to mention that your colleague played a major role. What would you do?

면접 질문 유형에 대한 연구에 따르면 행동 질문과 상황 질문 모두 강력한 심리 측정 특성을 가지고 있지만, 약간 다른 구성을 측정할 수 있습니다.

• 행동 질문은 주로 경험과 일부 성격 특성을 측정하는 반면,
• 상황 질문은 직무 지식을 측정할 수 있습니다.
• 두 가지 유형의 질문 모두 신뢰할 수 있으며 미래의 직무 수행을 예측하는 유효한 지표이며,
• 행동 질문의 타당도가 약간 더 높습니다.
• 일부 연구에 따르면 과거 행동 질문은 상황 질문보다 속임수에 대한 저항력이 약간 더 강하고 그룹 간 차이가 약간 더 낮을 수 있다고 합니다.

Research on the type of interview questions suggests that both behavioral and situational questions have strong psychometric properties; however, they may be measuring slightly different constructs. Behavioral questions may primarily measure experiences and some personality traits, while situational questions may measure job knowledge. Both types of questions are reliable and are valid predictors of future job performance, with behavioral questions having slightly higher validity. Some research suggests that past-behavior questions may be slightly more resistant to faking and have slightly lower group differences than situational questions.

직무 관련 면접 콘텐츠
Job-Related Interview Content

질문 유형에 관계없이 모든 면접 질문은 직무와 관련된 질문이어야 합니다. 즉, 선발 면접에 포함된 모든 질문은 PGY-1 직책의 주요 요구 사항과 명확하게 연결되어 있어야 합니다. 지원자의 학습 및 업무 스타일과 프로그램 문화 간의 적합성을 평가하는 질문을 포함하여 지원자의 학습 및 업무 스타일과 프로그램 문화 간의 적합성은 프로그램에서 성공하는 데 필수적입니다. 면접 질문에서는 지원자가 이러한 주요 요건 및 적합성을 충족하는 구체적인 사례를 자세히 설명하도록 요구해야 합니다. 가능하면 PGY-1 직책의 주요 요건과 업무 수행 및 새로운 기술 습득에 필요한 역량을 파악합니다. 입사 시 성공에 중요한 것으로 확인된 역량은 1일차 업무 수행에 필요하고 지원자의 향후 프로그램 성과를 예측할 가능성이 높기 때문에 면접의 좋은 대상이 됩니다.
Regardless of question type, all interview questions should be job-related. That is, all questions included in the selection interview should be clearly linked to key requirements of the PGY-1 position. To the extent that alignment between an applicant’s learning and work styles and the program’s culture is essential to success in your program, including questions to assess if the fit is appropriate and job-related. Interview questions should require applicants to elaborate on specific examples that address those key requirements and/or fit. If possible, identify the key requirements of the PGY-1 position and the competencies necessary to perform the work and learn new skills. Competencies that are identified as critical for success at entry are good targets for the interview because they are required to perform work on day 1 and are more likely to predict applicants’ future performance in the program.

PGY-1 직책의 주요 요건을 철저히 분석하는 데 필요한 리소스가 없는 경우, 프로그램의 PGY-1 성과 평가 도구(예: 마일스톤)를 사용하고 다른 교수진과 PGY-1이 프로그램에 입학할 때 성공에 중요한 역량(그리고 부족하면 실패로 이어질 수 있는 역량)에 대해 이야기하는 것을 고려합니다. 또 다른 옵션은 미국의학전문대학원교육인증위원회(ACGME) 핵심 역량, 레지던트 입학을 위한 AAMC 핵심 위탁 전문 활동 또는 전문 기관의 마일스톤을 사용하여 인터뷰에 어떤 내용을 포함할지 생각하는 출발점으로 삼는 것입니다. 마일스톤 또는 기타 모델을 선발 인터뷰의 출발점으로 사용하는 경우, 이는 레지던트 성과에 대한 광범위한 설명이라는 점을 기억하십시오. 어떤 측면이 프로그램의 PGY-1 포지션과 관련이 있는지 고려하는 것이 중요합니다. 선발 인터뷰는 수련 중에 배울 내용이 아니라 수련 1일차에 수련생이 시연해야 하는 내용만을 대상으로 해야 합니다. 
If you do not have the resources required to conduct a thorough analysis of the key requirements of the PGY-1 position, consider using your program’s PGY-1 performance evaluation tools (for example, milestones) and talking to other faculty about what competencies are critical for success when PGY-1s enter your program (and whose lack would lead to failure). Another option is to use the Accreditation Council on Graduate Medical Education (ACGME) Core Competencies, the AAMC Core Entrustable Professional Activities for Entering Residency, or your specialty organization’s milestones as a starting point for thinking about what content to include in the interview. If the milestones or other models are used as a starting point for your selection interview, remember that they are broad descriptions of residency performance. It is important to consider which aspects are relevant to the program’s PGY-1 position. The selection interview should only target content that trainees should be expected to demonstrate on day 1, not content that they will be expected to learn during training.

소개에서 언급했듯이 면접 당일에는 지원자 인터뷰 외에 여러 가지 요소가 포함될 수 있습니다. 면접 데이의 각 구성 요소의 목적과 각 부분에서 어떤 정보를 수집해야 하는지에 대해 생각하는 것이 중요합니다. 지원자를 모집하는 데 면접을 사용하면 지원자의 프로그램 준비도를 평가하는 데 방해가 될 수 있습니다. 가능하면 면접 당일에 지원자를 모집하고 지원자의 질문에 답변하는 시간을 따로 마련하세요. 이렇게 하면 면접이 직무 관련 내용에 집중되고 부수적인 정보가 면접관의 평가에 영향을 미치는 것을 방지할 수 있습니다.
As mentioned in the introduction, the interview day may have several components besides the applicant interview. It is important to think about the purpose of each component of the interview day and what information needs to be gathered in each part. Using interviews to recruit applicants can distract from assessing an applicant’s preparedness for your program. If possible, dedicate separate time for recruiting and answering applicants’ questions during the interview day. This may help keep the interview focused on job-related content and prevent ancillary information from influencing interviewer ratings.

면접 답변 평가하기
Evaluating Interview Responses

가장 좋은 방법은 평가 척도를 사용하여 지원자의 답변을 평가하는 것입니다. 평가 척도를 면접에 통합하면 일반적으로 지원자의 부정적인 반응을 유발하지 않으면서도 면접 점수의 신뢰성, 타당성, 공정성을 높일 수 있습니다. 또한 공통된 척도로 지원자를 평가하기 때문에 면접관이 지원자를 비교할 수 있는 능력도 향상됩니다.
A best practice is to use rating scales to evaluate applicants’ responses. Incorporating rating scales into the interview typically enhances reliability, validity, and fairness of interview scores without causing negative applicant reactions. It will also increase interviewers’ ability to compare applicants because they were evaluated on a common scale.

역량을 평가하는 면접 평가 척도 개발을 위한 주요 단계
Key Steps for Developing Rating Scales for Interviews that Assess Competencies

1. 평가 척도의 점수를 결정합니다.
2. 교수진에게 질문을 검토하도록 초대하고 PGY-1이 어떻게 응답할지 논의합니다.
3. 응답을 사용하여 척도의 각 점수에 대한 행동 예시 초안을 작성합니다.
4. 교직원에게 예시를 평가 대상 역량에 매핑하도록 요청합니다.
5. 매핑에서 살아남은 예만 보관합니다.
6. 프로세스 문서화
7. 면접관에게 평가 척도 사용 방법에 대해 교육하기

1. Decide on the number of points on the rating scale
2. Invite faculty to review questions and discuss how PGY-1s would respond
3. Use responses to create draft behavioral examples for each point on the scale
4. Ask faculty to map the examples to the competencies being assessed
5. Retain only the examples that survive mapping
6. Document the process
7. Train interviewers on how to use the rating scale

평가 척도에 대해 주목해야 할 5가지 핵심 사항이 있습니다:
There are five key points to note about rating scales:

• 개별 질문에 대한 지원자의 답변, 소수의 역량 또는 직무에 대한 전반적인 적합성을 평가하도록 설계할 수 있습니다. 가장 좋은 방법은 면접에서 평가하고자 하는 소수의 역량에 대한 평가 척도를 개발하는 것입니다.
  
• 이러한 평가 척도는 행동 및 상황별 질문과 함께 사용할 수 있도록 개발할 수 있습니다.
  
• 평가 척도의 점수는 보통 3점부터 7점까지 다양합니다. 평가 척도에 몇 점을 넣을지 결정하는 것은 일반적으로 PGY-1에서 관찰되는 행동의 범위를 반영한다고 생각하는 숙련도 수준(또는 척도 점수)의 수에 따라 달라집니다.
  
• 평가 척도의 각 점수는 각 숙련도 수준을 설명하는 행동 예시와 함께 고정되는 것이 이상적입니다. 평가 척도의 행동 예는 PGY-1의 각 수행 수준에 대한 교수진의 기대치를 반영하여 평가자에게 척도의 각 점수에 대한 공통된 정의를 제공해야 합니다. 이렇게 하면 평가자가 평가 작업을 더 쉽게 수행할 수 있고 지원자를 일관된 방식으로 평가하는 데 도움이 됩니다.
  
• 면접관에게는 평가 척도의 행동 예시를 지원자의 응답을 평가하는 일반적인 지침으로 사용하도록 안내해야 합니다.
• They can be designed to evaluate applicants’ responses to individual questions, a small number of competencies, or overall suitability for the job. A best practice is to develop rating scales for the small number of competencies that the interview was designed to assess.
• They can be developed to work with behavioral and situational questions.
• The number of points on the rating scale often varies from three to seven. Deciding how many points there should be on the rating scale typically depends on the number of proficiency levels (or scale points) you think reflect the range of behaviors observed among PGY-1s.
• Ideally, each point on the rating scale is anchored with behavioral examples that describe each level of proficiency. The behavioral examples on the rating scales should reflect faculty expectations of each level of performance for PGY-1s, providing raters with common definitions for each point on the scale. This will both make the rating task easier for raters and help ensure that applicants are being evaluated in a consistent manner.
• Interviewers should be instructed to use the behavioral examples on the rating scale as a general guide for evaluating applicants’ responses.

섹션 2: 레지던트 지원자 면접 - 교직원을 위한 실무 가이드
Section 2: The Resident Applicant Interview—A Practical Guide for Faculty

이 섹션에서는 레지던트 지원자 면접 절차의 각 단계에 대한 모범 사례에 대한 일반적인 지침을 제공합니다:

1. 인터뷰 준비
2. 인터뷰 시작하기
3. 인터뷰 진행
4. 인터뷰 마무리
5. 인터뷰 평가

This section provides general guidance on best practices for the stages of the residency applicant interview process:

1. Preparing for the interview
2. Starting the interview
3. Conducting the interview
4. Closing the interview
5. Evaluating the interview

예비 교직원 및 레지던트 면접관은 기관의 면접관 교육 과정(가능한 경우)을 수강하고, 무의식적 편견에 관한 과정과 같은 기관 또는 국가 교육 프로그램에 참여하며, PGY-1 레지던트의 직무 요건과 기관 및 레지던트 프로그램의 사명 및 목표를 숙지하는 것을 고려해야 합니다.
Prospective faculty and resident interviewers should consider taking the institution’s interviewer training course (if available), participating in institution or national training programs such as a course on unconscious bias, and familiarizing themselves with the job requirements for PGY-1 residents and the mission and the goals of the institution and the residency program.

1단계: 면접 준비하기
Stage 1: Preparing for the Interview

면접관은 지원자를 만나기 전에 면접 자료(예: 면접 스크립트, 가능하거나 필수적인 면접 질문, 역량 정의, 평가 척도에 대한 설명)를 숙지하는 것이 중요합니다. 다음 자료를 쉽게 사용할 수 있어야 합니다:
Before meeting the applicant, it is important that interviewers familiarize themselves with the interview materials (for example, the interview script, possible or required interview questions, competency definitions, and descriptions of rating scales). The following should be readily available:

• 토론할 질문 또는 주제 목록
  
• 인터뷰 중에 메모할 수 있는 방법
  
• 채점 루브릭 또는 평가 척도(해당되는 경우)
  
• 인터뷰 일정
• A list of questions or topics to discuss
• A way to take notes during the interview
• The scoring rubric or rating scale(s), if applicable
• The interview schedule

2단계: 인터뷰 시작
Stage 2: Starting the Interview

편안한 분위기를 조성합니다. 지원자가 정보를 공유할 수 있도록 개방적이고 편안한 분위기를 조성합니다:
Create a comfortable atmosphere. To create an open and relaxed atmosphere that will encourage the applicant to share information:

• 친절한 태도로 지원자를 맞이합니다.
  
• 이름과 직책을 밝히며 자신을 소개합니다.
  
• 지원자에게 인터뷰 시간을 알려줍니다.
  
• 면접 중에 메모를 할 계획이라면 면접을 시작하기 전에 지원자에게 알려주세요. 메모를 하면 답변을 정확하게 기억하는 데 도움이 된다고 설명할 수 있습니다.
  
• 면접 중에 전화나 긴급한 문제로 인해 면접이 중단될 수 있다는 사실을 알고 있다면 면접을 시작하기 전에 지원자에게 그 가능성에 대해 알려주세요.
• Welcome the person in a friendly manner.
• Introduce yourself, giving your name and title.
• Tell the applicant how long the interview will take.
• If you plan on taking notes during the interview, tell the applicant before you begin the interview. You can explain that taking notes helps to ensure that you remember responses accurately.
• If you know that you might be interrupted during the interview by a call or urgent matter, tell the applicant about that possibility before you begin the interview.

첫인상이나 '직감'의 영향을 받지 않도록 하세요. 지원자의 외모나 지원자와의 '케미'가 어떠하든, 이러한 요소는 해당 지원자가 프로그램에서 레지던트로서 얼마나 잘할 수 있을지를 예측할 수 없음을 기억하세요. 첫인상에 의존하면 면접에서 수집하는 직무 관련 정보의 질과 양이 제한될 수 있으므로 지원자의 답변을 경청하는 데 집중하고 모든 지원자에게 가능한 한 철저하게 임하는 것이 중요합니다.
Avoid the influence of first impressions or “gut” instinct. No matter what the applicant's personal appearance is or the "chemistry" between you and the applicant, remember that these do not predict how well a person is likely to do as a resident in your program. Relying on a first impression may limit the quality and amount of job-related information you gather during an interview; it is important to keep your focus on listening to the applicant’s answers and to be as thorough as possible with all applicants.

3단계. 면접 진행
Stage 3. Conducting the Interview

직무와 관련된 질문을 합니다. 면접 질문은 직무 요건과 명확하게 연결되는 것이 가장 좋습니다. 미리 정해진 질문이나 질문 주제가 있는 경우, 면접 전반에 걸쳐 일관성을 유지하기 위해 해당 질문이나 주제를 준수하는 것이 중요합니다. 면접관이 직접 질문을 할 수 있는 경우, 해당 질문이 직무와 관련이 있는지 확인합니다.
Ask job-relevant questions. It is a best practice for interview questions to be clearly linked to job requirements. If there is a set of predetermined questions or topics from which questions should be asked, it is important to adhere to those questions or topics for consistency across interviews. If interviewers can ask their own questions, make sure they are relevant to the job.

가능하면 상황 및 행동 질문을 사용하세요. 행동 질문과 상황 질문은 모두 면접 구조를 개선하고 강력한 심리 측정 특성을 가지고 있습니다. 

• 행동 질문은 지원자에게 특정 상황, 지원자가 취한 행동 또는 조치, 그 행동의 결과 또는 결과를 설명하도록 요청합니다.
• 상황 질문은 업무상 발생할 수 있는 가상의 상황을 제시하고 지원자가 그 상황에서 어떻게 대응할 것인지 설명하도록 요청합니다.

When possible, use situational and behavioral questions. Both behavioral and situational questions improve interview structure and have strong psychometric properties. 

• Behavioral questions ask applicants to describe a specific situation, the behavior or action they took, and the outcome or consequence of that behavior. 
• Situational questions pose hypothetical situations that may occur on the job and ask applicants to describe how they would respond in the situation.

부적절한 질문은 피하고 법률 또는 고용주 정책에 의해 금지될 수 있는 질문에 대해서는 항상 소속 기관의 법률 고문에게 문의하세요. 인터뷰 중에는 다음과 같은 주제는 피해야 합니다:
Avoid inappropriate questions and always check with your institution’s legal counsel about inquiries that may be prohibited by law or employer policy. The following topics should be avoided during an interview:

• 인구 통계: 연령, 인종, 종교, 사회경제적 지위, 민족, 성적 지향, 성 정체성, 출신 국가
  
• 가족: 혈통, 조상, 모국어 또는 모국어, 결혼 여부, 결혼 전 이름 또는 성, 지원자와 함께 사는 사람 또는 관계, 가족 문제(부모 상태, 부양가족의 나이, 자녀 계획)
  
• 개인 정보: 키와 몸무게, 신체적 및 정신적 장애, 외모, 개인적 소속을 조사하는 개인 활동
  
• 기록: 군 제대, 체포, 전과 기록
  
• 기타 프로그램 또는 전문 분야 및 순위 계획: 지원자가 지원할 수 있는 다른 프로그램 또는 전문 분야에 대한 정보 및/또는 지원자가 프로그램 순위를 매길 계획에 대한 정보. (NRMP 정책에 따르면 프로그램은 지원자에게 지원한 프로그램 및 프로그램 순위 결정 방식에 대한 정보 공개를 요구할 수 없습니다.)
  
• Demographics: Age, race, religion, socioeconomic status, ethnicity, sexual orientation, gender identity, national origin
• Family: Lineage, ancestry, primary or native language, marital status, maiden name or family surname, relationships or people the applicant lives with, family issues (parental status, age of dependents, plans for children)
• Personal: Height and weight, physical and mental disabilities, physical appearance, personal activities that probe for personal affiliations
• History: Military discharge, arrests, criminal convictions
• Other programs or specialties, and ranking plans: Information about other programs or  specialties to which they might be applying and/or how the applicant plans to rank your program. (NRMP policies state that programs cannot require any applicant to disclose information about where they have applied and how they plan to rank programs.)

직무 관련 탐색 질문을 하세요. 지원자가 초기 답변에서 충분한 정보를 제공하지 않는 경우가 많으므로 면접관은 추가 정보를 제공하거나 후속 질문을 해야 할 수 있습니다. "좀 더 구체적으로 말씀해 주시겠습니까?" 또는 "그것에 대해 더 자세히 말씀해 주시겠습니까?"와 같은 후속 질문을 하면 지원자의 답변을 유도하지 않고 최대한 많은 정보를 수집하는 데 도움이 됩니다. 탐색 질문을 사용하는 경우, 불완전한 초기 답변을 제공한 모든 지원자에게 일관되게 질문하여 모든 지원자가 동일한 설명 기회를 갖도록 해야 합니다. 너무 많은 탐색 질문을 하면 지원자에게 찾고 있는 답변 유형에 대한 단서를 제공하여 거짓 답변을 할 가능성이 높아질 수 있다는 점에 유의하세요.
Ask job-related probing questions. In many cases, applicants do not provide enough information in their initial response, so the interviewer may need to prompt or ask follow-up questions. Asking a follow-up question such as, “Could you be more specific?” or “Could you tell me more about that?” is helpful in gathering as much information as possible without leading the applicant to an answer. If probing questions are used, they should be used consistently with all applicants who provide an incomplete initial response to ensure that everyone has the same opportunity to explain a response. Be aware that asking too many probing questions provides a cue to applicants about the types of answers you are looking for and may increase the likelihood of faking a response.

상황 또는 행동 면접 질문을 사용하는 경우 STAR 약어를 사용하면 면접관이 각 질문에 대한 중요한 정보를 모두 수집하는 데 도움이 될 수 있습니다:
If using situational or behavioral interview questions, the STAR acronym can help interviewers ensure they gather all important information about each question:

• 상황 또는 과제: 지원자가 논의 중인 사건의 맥락을 설명했나요?
  
• 행동: 지원자가 정확한 행동이나 조치에 대해 설명했나요(또는 무엇을 할 것인지)?
  
• 결과: 신청자가 행동 또는 조치의 결과 또는 결과를 설명했나요?
  
• Situation or Task: Did the applicant describe the context for the event being discussed?
• Action: Did the applicant describe the exact behaviors or actions taken (or what would  be done)?
• Result: Did the applicant describe the outcomes or consequences of the behaviors or  actions?

상황 면접 질문용 프로브
Probes for Situational Interview Questions

상황 또는 과제 Situation or Task

• 이 상황에서 가장 중요한 문제는 무엇이라고 생각하나요?
  
• 다른 어떤 문제가 우려되나요?
• What do you consider the most critical issue in this situation?
• What other issues are of concern?

행동 Action

• 당신은 뭐라고 말하겠습니까?
  
• 가장 먼저 할 일은 무엇인가요?
  
• 어떤 요인이 여러분의 행동 방침에 영향을 미칠까요?
  
• 다른 어떤 조치를 취할 수 있나요?
• What would you say?
• What is the first thing you would do?
• What factors would affect your course of action?
• What other actions could you take?

결과 Results

• 여러분의 행동이 어떻게 받아들여질 것이라고 생각하나요?
  
• 여러분의 행동이 잘 받아들여지지 않는다면 어떻게 하시겠습니까?
  
• 귀하의 행동으로 인해 어떤 이점이 있다고 생각하십니까?
• How do you think your action would be received?
• What would you do if your action was not received well?
• What do you consider benefits of your action?

행동 면접 질문용 프로브
Probes for Behavioral Interview Questions

상황 또는 과제 Situation or Task

• 그 상황이나 과업에 이르게 된 요인은 무엇인가요?
  
• 본인 또는 다른 사람이 해당 상황이나 과제를 예방하기 위해 무언가를 할 수 있었나요?
  
• 이 상황이나 과제에서 해결해야 할 가장 중요한 문제는 무엇이라고 판단했나요?
• What factors led up to the situation or task?
• Could you or anyone else have done something to prevent the situation or task?
• What did you determine as the most critical issue to address in this situation or task?

조치 Action

• 어떻게 대응했나요?
  
• 조치를 취할 때 가장 중요하게 고려한 요소는 무엇인가요?
  
• 가장 먼저 한 일은 무엇인가요?
• How did you respond?
• What was the most important factor you considered in taking action?
• What is the first thing you did?

결과 Results

• 결과는 어땠나요?
  
• 다르게 말하거나 행동했으면 좋았을 것이 있나요?
  
• 그 상황에서 어떤 이점이 있었나요?
• What was the outcome?
• Is there anything you would have said and/or done differently?
• Were there any benefits from the situation?

프로그램에서 상황 또는 행동 면접 질문을 사용하지 않는 경우, 보다 일반적인 개방형 프로빙 질문을 사용할 수 있습니다.
If the program does not use situational or behavioral interview questions, more generic and open-ended probing questions can be used.

개방형 프로빙 질문: 지원자에게 답변에 대해 자세히 설명하도록 요청하는 방법입니다:
Open-ended probing questions: Ways to ask an applicant to elaborate on a response:

• 그것에 대해 자세히 말해 보세요.
  
• 무슨 일이 있었나요?
  
• 그 이유는 무엇인가요?
  
• 어떻게 반응했나요?
  
• 어떻게 그렇게 되었나요?
  
• 더 잘 이해하도록 도와주세요.
  
• 계속하세요.
  
• 설명해 주세요.
  
• 좀 더 구체적으로 설명해 주시겠어요?
  
• 왜요?
  
• 다른 예를 들어주세요.
• Tell me more about that.
• What happened?
• Why is that?
• How did you react?
• How did that come about?
• Help me understand that better.
• Please go on.
• Explain that to me.
• Could you be more specific?
• How come?
• Give me another example, please.

간단히 메모하세요. 메모는 사용 가능한 모든 정보를 바탕으로 평가할 수 있게 해주며, 가장 객관적인 평가를 내리는 데 도움이 됩니다. 메모에는 지원자를 평가하는 방법을 정당화할 수 있도록 면접 내용에 대한 충분한 정보가 포함되어야 합니다. 지원자의 답변을 그대로 기록하기보다는 지원자의 답변에서 관련 핵심 단어나 문구를 기록하는 데 중점을 두세요.
Take short notes. Notes allow you to base your evaluations on all available information and assist you in making the most objective evaluations possible. Your notes should provide sufficient information about the interview content to justify how you evaluate candidates. Focus on recording relevant key words or phrases in the applicant’s responses rather than trying to capture responses verbatim.

메모할 때 피해야 할 몇 가지 중요한 함정은 다음과 같습니다:
Some important traps to avoid when taking notes include:

• 지원자의 의도를 유추하거나 지원자가 말한 내용에 대한 자신의 의견을 적지 마세요. 예를 들어, "나쁜 답변" 또는 "훌륭한 문제 해결사"는 지원자의 답변에 대한 사실적 증거를 제공하지 않는 평가 문장이므로 작성하지 마세요.
  
• 인종, 피부색, 종교, 성별, 출신 국가, 나이 또는 지원자가 언급했더라도 시험장 또는 평가 척도와 관련이 없는 기타 요인에 대한 언급을 포함하지 마세요.
  
• 메모가 지원자의 답변 품질에 대한 신호가 되지 않도록 하세요. 예를 들어, 매우 긍정적이거나 매우 부정적인 내용이 방금 언급되었을 때만 메모하지 마세요.
• Don't make inferences about what the applicant meant or write down your opinions of  what the applicant said. For example, do not write “bad answer” or “great problem solver” as these are evaluative statements that provide no factual evidence of the applicant’s response.
• Don't include any reference to race, color, religion, sex, national origin, age, or other factors not related to the stations or rating scales, even if the applicant mentions these things.
• Don’t allow your note taking to be a signal to applicants about the quality of their responses. For example, do not take notes only when something very positive or very negative has just been said.

4단계: 면접 마무리
Stage 4: Closing the Interview

면접이 끝나면 지원자에게 감사를 표하고 다음 단계를 설명합니다. 지원자에게 면접 성과에 대한 피드백을 주거나 메모를 공유하지 않도록 주의하세요.
At the end of the interview, thank the applicant and explain where to go next. Be careful not to give the applicants any feedback on their interview performance or share your notes.

5단계: 면접 평가
Stage 5: Evaluating the Interview

지원자가 면접실을 나간 후 가능한 한 빨리 메모를 검토합니다. 놓쳤을 수 있는 중요한 세부 사항을 기입하세요. 다음 면접이 시작되기 전에 프로그램에서 설계한 접근 방식을 사용하여 지원자를 평가합니다. 지원자에 대한 평가는 메모를 통해 뒷받침되어야 합니다.
As soon as possible after the applicant leaves the room, review your notes. Fill in any important details you may have missed. Evaluate the applicant using the approach designed by your program—ideally, before the next interview begins. Ratings of the applicant should be supported by the notes.

무의식적인 편견에 유의하세요. 누구나 태도, 연상, 고정관념에 따라 다른 사람이나 집단에 대해 무의식적인 편견을 가지고 있습니다. 면접관은 개인의 편견을 완화하는 데 도움을 줄 수 있습니다:
Be aware of your unconscious bias. Everyone holds unconscious biases about other people or groups of people based on attitudes, associations, and stereotypes. Interviewers can help mitigate their individual biases through:

• 특정 지원자 또는 지원자 유형에 대한 강한 반응에 대한 인식
  
• 첫인상보다는 신중한 사고와 의사 결정에 기반한 점수 부여
  
• 관점 취하기
• awareness of strong reactions for or against a particular applicant or type of applicant
• basing scores on deliberate thinking and decision-making rather than on first impressions
• perspective taking

면접 내용 및 평가의 표준화를 강화하면 무의식적 편견이 면접 과정에 미치는 영향을 줄일 수 있습니다. 예를 들어, 기준을 명확하게 정의하고, 채점 루브릭을 사용하고, 다양한 면접관 풀을 확보하고, 면접관에게 적절한 면접 기법을 교육하는 등 면접 프로세스를 개선함으로써 무의식적 편견의 영향을 부분적으로 완화할 수 있습니다.
Increasing standardization of interview content and evaluation is likely to reduce the impact of unconscious bias on the interview process. For example, the impact of unconscious bias can be mitigated in part through enhancements to the interview process such as clearly defining criteria, using a scoring rubric, having a diverse pool of interviewers, and training interviewers on proper interview technique.

자세한 내용은 AAMC의 의료 전문가를 위한 무의식적 편견 리소스를 참조하세요.
For more information, please see the AAMC’s Unconscious Bias Resources for Health Professionals.

일반적인 평가 오류에 유의하세요. 의도하지 않은 경우가 많지만, 흔히 발생하는 평가 오류는 면접의 유효성과 공정성을 떨어뜨릴 수 있습니다. 다음은 각 지원자의 면접 답변을 평가할 때 주의해야 할 가장 일반적인 평가 오류 유형입니다:
Be aware of common rating errors. Although often unintentional, common rating errors can decrease the validity and fairness of interviews. Here are some of the most common types of rating errors to be mindful of when rating each applicant’s interview responses:

• 후광/뿔 효과: 한 응답을 기반으로 한 성과 평가가 다른 응답에 대한 평가에 영향을 미칠 수 있도록 허용하는 것입니다. 예를 들어, 팀워크를 평가하는 질문에 대한 평가가 동기를 평가하는 질문에 대한 평가에 영향을 줄 수 있도록 허용합니다.
  
• 중앙 경향: 모든 지원자를 평가 척도의 중앙에 평가합니다(예: 5점 평가 척도에서 3점을 모두 부여). 면접관은 평가 척도의 전체 범위를 편안하게 사용해야 합니다.
  
• 관대함/심각함: 지원자의 실제 답변과 관계없이 모든 지원자에게 높거나 낮은 평점을 부여하는 것입니다.
  
• 대조 효과: 한 지원자를 이전에 면접을 본 지원자의 성과와 비교하는 것입니다. 지원자가 면접을 보는 순서는 지원자의 평점에 영향을 줄 수 있습니다. 면접관은 평점을 매길 때 지원자를 비교하는 것을 자제해야 합니다. 대신 면접관은 평가 척도와 관련하여 각 지원자의 답변을 평가하는 데 집중해야 합니다.
• Halo/Horns effect: Allowing ratings of performance based on one response to influence ratings for another response. For example, allowing a rating on a question assessing teamwork to influence the rating on a question assessing motivation.
• Central tendency: Rating all applicants in the middle of the rating scale (for example, giving all 3s in a 5-point rating scale). Interviewers should feel comfortable using the entire range of the rating scale.
• Leniency/severity: Giving high or low ratings to all applicants, irrespective of their actual responses.
• Contrast effects: Comparing one applicant with the performance of previously interviewed applicants. The order in which the applicants are interviewed can affect the ratings they are given. While making ratings, interviewers should refrain from comparing applicants. Instead, interviewers should focus on evaluating each applicant’s response in relation to the rating scale.

면접관에게 프로그램 표준 및 기타 면접과 관련된 채점에 대한 정기적인 교육과 피드백을 제공하면 이러한 오류를 줄이는 데 도움이 될 수 있습니다.
Providing interviewers with regular training and feedback on their scoring relative to program standards and other interviews can help mitigate these errors.

면접 시 해야 할 일과 하지 말아야 할 일
Interview Do’s and Don’ts

면접 진행
Conducting Interviews

해야 할 일 Do:

• 직무와 관련된 질문을 하세요.
  
• 가끔 미소 짓고 고개를 끄덕이는 등 긍정적인 바디랭귀지를 사용합니다.
  
• 지원자가 본론에서 벗어난 경우 지원자의 발언에 대해 간단히 언급(예: "알겠습니다")하여 지원자의 주의를 다시 집중시킨 다음 원래의 질문으로 단호하게 돌아갑니다.
  
• 말하기보다 듣는 데 더 많은 시간을 할애하세요.
• Ask job-related questions.
• Use positive body language such as smiling and nodding occasionally.
• Refocus the applicant if he or she goes off track, by making a brief comment about the applicant’s remarks (such as, “OK”) and then firmly move back to the original question.
• Spend more time listening than talking.

하지 마세요 Don't:

• 눈썹을 치켜뜨거나 인상을 찌푸리거나 거친 목소리 톤을 사용하는 등 부정적인 바디랭귀지를 하는 것
  
• 면접 중 지원자의 성과에 대해 "좋아요" 또는 "훌륭해요"와 같은 피드백을 하는 것
  
• 판단형, 이유형, 선도형, 예/아니오형 질문을 하는 것
• Use negative body language such as raising an eyebrow, frowning, or using a harsh tone of voice.
• Give feedback to the applicant about his or her performance during the interview (such as, “Good” or “Great”).
• Ask judgmental, why, leading, or yes/no questions.

면접 평가하기
Evaluating Interviews

하세요 Do:

• 객관성을 유지하세요. 의견이 아닌 사실에 집중하세요.
  
• 면접 질문에 대한 지원자의 답변에 집중하세요.
  
• 한 번에 한 가지 질문 또는 차원에 집중합니다.
  
• 지원자의 답변을 척도 앵커와 비교하는 데 집중합니다(프로그램에서 평가 척도를 사용하는 경우).
• Stay objective―focus on facts, not opinions.
• Focus on the applicant’s responses to interview questions.
• Focus on one question or dimension at a time.
• Focus on comparing applicants’ responses with scale anchors (if your program uses a rating scale).

하지 마세요 Don't:

• "지원자의 답변에 대한 자신의 해석을 바탕으로 답변의 일부를 '채우기'.
  
• 채점 루브릭 이외의 요소(예: 외모 또는 지원자와의 '케미')를 기준으로 지원자를 판단하기
  
• 면접 중에 한 지원자의 답변을 다른 지원자의 답변과 비교하기
• “Fill in” parts of the answer based on your own interpretations of the applicant’s response.
• Judge an applicant based on anything outside the scoring rubric (for example, personal appearance or your “chemistry”).
• Compare responses of one applicant with those of other applicants during the interview.

출처: https://www.aamc.org/about-us/mission-areas/medical-education/best-practices-conducting-residency-program-interviews#top

보건전문직 교육의 선발 방법에 대한 지원자 인식: 이유와 집단간 차이(Med Educ, 2022)
Applicant perceptions of selection methods for health professions education: Rationales and subgroup differences
Suzanne Fikrat-Wevers1 | Karen Stegers-Jager1 | Marleen Groenier2 | Andries Koster3 | Jan Hindrik Ravesloot4 | Renske Van Gestel3 | Anouk Wouters5,6 | Walter van den Broek1 | Andrea Woltman1 

1 서론
1 INTRODUCTION

학부 보건 전문직 교육(HPE)에 입학하기 위한 선발은 많은 이해관계가 얽혀 있어 공개적인 논쟁의 주제입니다.1 그럼에도 불구하고 다양한 선발 방법에 대한 대부분의 연구는 예측 타당성과 학생 다양성에 미치는 영향에 초점을 맞춘 반면, 지원자의 인식에 대해서는 거의 관심을 기울이지 않았습니다.2 지원자 인식이 대학 입학 기회 확대(WA)의 맥락에서 관련성이 있다고 주장되어 왔기 때문에 이는 놀라운 일입니다.1 사회경제적, 인종적 소수 집단의 과소 대표성은 복잡하고 다양한 문제이지만, 이러한 집단은 선발에 대한 부정적인 인식의 결과에 특히 취약한 것으로 생각됩니다.1, 3 그러나 지금까지 지원자의 여러 하위 그룹 간의 인식을 비교하여 실제로 그러한지 조사한 연구는 없었습니다. 본 연구에서는 학부 HPE의 다양한 전형 방법에 대한 지원자의 인식과 이러한 인식이 지원자의 배경 특성과 어떤 관련이 있는지 조사하여 이러한 지식 격차를 해결했습니다. 
Due to the high stakes involved, selection into undergraduate health professions education (HPE) is a topic of public debate.1 Nevertheless, most research into different selection methods has focused on predictive validity and effects on student diversity, while little attention has been paid to applicant perceptions.2 This is surprising, as it has been argued that applicant perceptions are relevant within the context of widening access (WA).1 Although the underrepresentation of lower socio-economic and ethnic minority groups is a complex and multicausal problem, these groups are thought to be particularly vulnerable to the consequences of negative perceptions regarding selection.1, 3 However, thus far, no research has compared perceptions between different subgroups of applicants to investigate whether this is really the case. In the present study, we addressed this knowledge gap by investigating applicant perceptions of different selection methods in undergraduate HPE and how these perceptions are related to applicants' background characteristics.

선발 방법에 대한 지원자의 인식을 이해하는 것은 여러 가지 이유로 중요합니다. 

• 첫째, 지원자 인식은 광범위한 타당성 프레임워크에서 증거의 원천으로 사용되는 정치적 타당성의 구성 요소입니다.4 정치적 타당성은 이해관계자들이 어떤 방법을 선발에 사용하기에 적절하고 수용 가능한 것으로 간주하는 정도라고 정의됩니다.4 실제로 선발 절차를 설계할 때 정치적 타당도를 고려하는데, 이는 전통적인 면접과 같이 제한된 예측 타당도가 입증된 선발 방법이 여전히 일반적으로 사용되고 있다는 사실에서 잘 드러납니다.1
• 둘째, 지원자의 인식은 선발 방법의 구성 타당도와 지원자의 동기 부여, 성과 및 철회에 미치는 영향을 포함하여 다양한 실질적인 결과를 초래할 수 있기 때문에 특히 중요합니다.2, 5-7 주목할 만한 점은 선발 위원회의 기대에 대한 지원자의 이해가 이러한 숨겨진 기대에 '부합'하기 위해 선발 준비 방식을 형성할 수 있다는 점입니다.8-10
• 또한, 지원자의 인식은 WA와 관련이 있습니다.1 이전 연구에 따르면 사회경제적 수준이 낮고 소수 민족 배경을 가진 예비 학생들은 전형에 대해 더 자주 부정적으로 인식하고 성공적으로 입학할 수 있다는 확신이 적습니다.3, 11 이러한 지원자 하위 그룹은 일반적으로 전형 결과가 더 나쁜 것으로 나타났습니다.12, 13 이는 부정적 인식으로 인한 동기 부여 저하로 부분적으로 설명될 수 있습니다.14

Understanding applicant perceptions of selection methods is important for multiple reasons.

• First, applicant perceptions are a component of political validity, which is used as a source of evidence in broader validity frameworks.4 Political validity is defined as the extent to which stakeholders consider a method as appropriate and acceptable for use in selection.4 In practice, political validity is taken into consideration when designing selection procedures, which is exemplified by the fact that selection methods with proven limited predictive validity, such as traditional interviews, are still commonly used.1 
• Second, perceptions of applicants are of particular interest, as they can have numerous practical consequences, including effects on construct validity of selection methods, and on applicant motivation, performance and withdrawal.2, 5-7 Noteworthy is that applicants' understanding of the expectations of selection committees can shape the way they prepare for selection in order to ‘fit’ these hidden expectations.8-10 
• Moreover, applicant perceptions are relevant with respect to WA.1 Previous research suggests that prospective students with lower socio-economic and ethnic minority backgrounds more often demonstrate negative perceptions of selection and are less confident in their ability to be successfully admitted.3, 11 These subgroups of applicants are shown to have poorer selection outcomes in general,12, 13 which may be partially explained by poorer motivation due to more negative perceptions.14

지원자의 선발에 대한 인식은 일반적으로 분배적 정의와 절차적 정의를 구분하는 조직 정의 이론15을 사용하여 설명합니다.

• 분배적 정의는 선발 절차의 결과 분배의 공정성에 대한 지각된 공정성을 의미하며,
• 절차적 정의는 선발 절차 및 이러한 결과를 생성하는 데 사용되는 방법의 공정성에 대한 지각을 의미합니다.15 절차적 정의는 절차의 형식적 특성, 절차 및 의사 결정에 대한 설명, 대인 관계적 대우의 세 가지 구성 요소로 구성됩니다.

조직 정의 이론에 따르면, 절차적 정의의 세 가지 구성 요소는 선발 절차의 다양한 측면에 대한 인식에 영향을 미칩니다. 본 연구에서는 절차적 정의 구성 요소인 선택의 형식적 특성에 초점을 맞췄는데, 이는 길리랜드에 따르면 본 연구의 주요 관심사인 특정 선택 방법에 대한 인식이 이 구성 요소의 영향을 가장 많이 받기 때문입니다. 이러한 형식적 특성의 예로는 선택 방법의 관련성과 지각된 타당성이 있습니다. 나머지 두 가지 구성 요소인 절차 및 의사 결정에 대한 설명과 대인 관계 처우는 각각 선발 정책과 선발 담당자에 대한 인식에 영향을 미칩니다. 
Applicant perceptions of selection are commonly described using organisational justice theory,15 which distinguishes between distributive and procedural justice.

• Distributive justice describes the perceived fairness of the distribution of the outcome of the selection procedures, while
• procedural justice refers to the perceived fairness of the selection procedure and methods that are used to generate this outcome.15 Procedural justice consists of three components: the formal characteristics of procedures, explanation of procedures and decision-making and interpersonal treatment.

According to organisational justice theory, the three procedural justice components affect perceptions of different aspects of selection procedures. The present study focuses on the procedural justice component formal characteristics of selection, because according to Gilliland,15 perceptions of specific selection methods—the main interest of the present study—are mostly affected by this component. Examples of such formal characteristics include relevance and perceived validity of selection methods. The other two components, explanation of procedures and decision-making and interpersonal treatment, influence perceptions of the selection policy and the selection personnel, respectively.

교육 기관은 선발 절차에서 매우 다양한 방법을 사용합니다. 그러나 이러한 방법에 대한 지원자의 인식에 대한 지식은 여전히 부족합니다.2 체계적 문헌고찰에 따르면 면접과 상황판단검사(SJT)는 지원자의 지지가 높은 반면 적성검사는 덜 수용적이라고 인식하고 있습니다.1 이 문헌고찰에는 많은 수의 연구(71편)가 포함되어 있지만 대부분 단일 기관에서 특정 선발 방법에 대한 노출 후 수행되었습니다. 이전 연구에 따르면 선택 절차가 연구 선택에 영향을 미치는 것으로 나타났기 때문에2, 이러한 16개의 연구 결과는 제한적으로만 비교 및 일반화할 수 있습니다. 또한 Kelly 등1은 특정 선발 방법이 특히 소외계층 및 소수자 그룹에 의해 장벽으로 인식된다고 제안했지만, 검토 대상 연구 중 서로 다른 지원자 하위 그룹의 인식을 직접 비교한 연구는 없었습니다. 
Educational institutions use a great variety of methods in their selection procedures. However, knowledge about perceptions of applicants regarding these methods is still scarce.2 A systematic review concluded that interviews and situational judgement tests (SJTs) are highly supported by applicants, while aptitude tests are perceived as less acceptable.1 Although this review included a large number of studies (71), most were conducted in single institutions after exposure to one specific selection method. Because previous research indicates that the selection procedure plays a role in study choice,2, 16 results of such studies are only limitedly comparable and generalisable. Additionally, while Kelly et al.1 suggested that certain selection methods are specifically perceived as barriers by underrepresented and minority groups, none of the studies under review directly compared perceptions of different applicant subgroups.

지금까지 지원자 인식의 하위 그룹별 차이를 직접 조사한 연구는 거의 없었습니다. 우리가 아는 한, HPE 분야에서 단일 사이트 연구가 수행된 것은 단 한 건뿐입니다. 이 연구는 SJT에 초점을 맞춘 것으로, 소수 민족 학생과 1세대 대학생이 기존 전형에 비해 SJT 전형에 대해 다른 선호도를 보인다는 결론을 내렸습니다.14 학부 심리학 프로그램에서 수행된 또 다른 단일 현장 연구는 다양한 전형 방법을 포함했지만 배경 변수로 성별에만 초점을 맞추었습니다.2 추첨과 고등학교 성적은 낮은 선호도를 보인 반면 시험과 면접은 높은 선호도를 보였지만, 제공된 평가의 근거에 대해서는 살펴보지 않았습니다. 저자들은 동기 부여 설문지에 대해서만 여성이 남성보다 더 긍정적으로 평가했으며, 연구 대상인 다른 선발 방법에 대한 인식은 성별에 따라 다르지 않다는 것을 발견했습니다.
Thus far, only few studies have directly investigated subgroup differences in applicant perceptions. To our knowledge, only one single-site study was executed in the field of HPE. This research focused on SJTs and concluded that ethnic minority students and first-generation university students had other preferences in SJT format compared with their traditional counterparts.14 Another single-site study that was conducted at an undergraduate psychology programme included a wide range of selection methods but only focused on gender as a background variable.2 Low favourability ratings were found for lottery and high school grades, while tests and interviews were perceived as highly acceptable, but the rationales behind the provided ratings were not explored. The authors found that only motivation questionnaires were rated more positively by women than by men, while perceptions of other selection methods under research did not differ by gender.

따라서 다양한 방법을 포함하고 다양한 관련 배경 특성을 포함하는 다중 기관 환경의 연구와 관련하여 지원자 인식 문헌에는 격차가 존재합니다. 본 연구에서는 지원자들이 학부 HPE 입학을 위한 다양한 전형 방법을 어떻게 인식하는지, 그리고 그러한 인식의 근거는 무엇인지 조사했습니다. 또한 지원자의 성별, 이주 배경(인종 지표), 부모 교육(사회경제적 지위 지표), 이전 교육 등 선발 결과와 관련된 배경 변수를 기반으로 지원자 하위 그룹 간에 이러한 인식이 다른지 평가했습니다.12, 13, 17, 18 
Thus, there is a gap in the applicant perceptions literature with respect to research in multi-institutional settings, that includes a variety of methods and that includes numerous relevant background characteristics. In the present study, we investigated how applicants perceive different selection methods for admission into undergraduate HPE and the rationales behind their perceptions. Additionally, we assessed whether these perceptions differ across subgroups of applicants based on background variables that are associated with selection outcomes: applicants' gender, migration background (as an indicator of ethnicity), parental education (as an indicator of SES) and prior education.12, 13, 17, 18

2 방법
2 METHOD

설정 및 절차
Setting and procedure

본 연구는 네덜란드에 있는 3개의 의학 프로그램, 1개의 기술-의료 프로그램, 1개의 약학 프로그램을 포함한 5개의 학부 HPE 프로그램에서 수행되었습니다. 5개 프로그램 모두 자체적으로 설계한 선발 절차가 달랐으며, 최소 두 가지 선발 방법으로 구성되었습니다. 
The present study was conducted at five undergraduate HPE programmes in the Netherlands, including three medical programmes, one technical-medical programme and one pharmacy programme. All five programmes had different self-designed selection procedures, composed of at least two selection methods.

네덜란드에서는 다양한 유형의 학부 HPE 프로그램의 입학 요건이 비슷합니다. 지원 자격을 얻으려면 모든 지원자는 이수 과목(예: 물리, 화학, 생물학) 및 교육 수준(대학 전 교육 졸업 수준)과 관련하여 동일한 엄격한 요건을 충족해야 합니다. 지원자는 다양한 교육 경로를 통해 지원할 수 있지만, 모두 앞서 언급한 요건을 충족한다는 증거를 제출해야 합니다. 결과적으로 지원자 풀은 비교적 동질적이며, 대학 수준의 학부 HPE 프로그램에 지원하는 학생들은 이미 선택성이 높은 중등 교육으로 인해 학업 능력에 따라 강력하게 사전 선발됩니다.19 그러나 pu-GPA와 관련된 입학 요건은 없습니다. 지원자는 자신이 선택한 프로그램에 지원할 때 하나의 특정 교육기관에 지원하게 됩니다. 각 기관마다 미리 정해진 정원이 있습니다. 법에 따라 교육기관은 선발 절차의 일부로 구현할 수 있는 개별 도구인 선발 방법을 사용하여 평가되는 최소 두 가지 선발 기준을 포함해야 합니다. 그러나 선발 방법의 내용 및 품질, 그리고 어떤 방식으로 결합할 것인지에 대한 추가 요건은 없습니다. 따라서 각 기관의 다양한 유형의 HPE 프로그램 간 또는 프로그램 내에서 채택하는 선발 절차는 매우 다양합니다. 현재 프로그램에서 선발 절차의 일부로 (가중치 및 비가중치) 추첨을 선발 방법으로 포함할 수 있도록 허용하는 법안이 계류 중입니다. 
In the Netherlands, admission requirements of different types of undergraduate HPE programmes are comparable. To be eligible, all applicants need to meet the same stringent requirements regarding subjects taken (e.g. physics, chemistry and biology) and educational level (graduation level of pre-university education). Although applicants can apply from different educational routes, they all need to provide proof that they meet aforementioned requirements. Consequently, the applicant pools are relatively homogeneous; students who apply to a university-level undergraduate HPE programme are already strongly preselected based on academic skills due to highly selective secondary education.19 There are no admission requirements, however, with respect to pu-GPA. When applicants apply to their programme of choice, they apply to one specific institution. For each institution, there is a predetermined fixed number of places. By law, institutions are required to include at least two selection criteria, which are assessed using selection methods—the individual tools that can be implemented as part of a selection procedure. However, there are no additional requirements with respect to, for instance, the contents and quality of the selection methods, and in which way they would be combined. Consequently, there is great variety in the selection procedures that programmes employ, both between and within different types of HPE programmes at different institutions. Currently, a bill is pending that should allow programmes to also include (weighted and unweighted) lottery as a selection method as part of their selection procedure.

2020년 9월에 입학 선발 절차에 참여한 모든 지원자(N = 3280명)를 대상으로 지원자 인식에 대한 온라인 설문조사에 참여하도록 초대했습니다. 또한 지원자들은 현장 테스트 당일 또는 이메일을 통해 인구통계학적 설문지를 작성하도록 요청받았습니다.  
All applicants engaged in the selection procedures for entry in September 2020 (N = 3280) were invited to participate in an online survey on applicant perceptions. Additionally, applicants were asked to complete a demographics questionnaire either during an on-site testing day or via e-mail.

모든 참가자로부터 사전 동의를 얻었습니다. 지원자에게는 참여는 자발적인 것이며 선발 결과에 영향을 미치지 않는다는 사실을 알렸습니다. 어떠한 인센티브도 제공되지 않았습니다. 에라스무스 MC의 의료윤리심의위원회는 이 연구가 심의 면제 대상이라고 선언했습니다. 
Informed consent was obtained from all participants. Applicants were informed that participation was voluntary and would not influence their selection outcomes. No incentives were provided. The Medical Ethical Review Committee of Erasmus MC declared the study exempt from review.

척도 Measures

지원자의 인식은 조직 정의 이론에 기반한 7개 항목이 포함된 이전에 보고된 설문지를 사용하여 측정했습니다.14 각 항목은 7점 리커트 척도를 사용하여 평가했습니다.

• 이전 연구에 따라2, 14 일반적 호감도는 두 가지 항목을 사용하여 평가했습니다.
  • 지각된 예측 타당성과 
  • 지각된 공정성
• 나머지 5개 항목은 절차적 정의 차원인 다음을 반영했습니다.
  • 안면 타당도,
  • 지원자 차별성,
  • 학업 관련성,
  • 수행 기회,
  • 부정행위의 용이성
• 각 정의 차원에 대한 구체적인 항목(즉, 응답자에게 제공된 정의)과 평가 척도는 표 S1에서 확인할 수 있습니다.

Applicant perceptions were measured using a previously reported questionnaire including seven items based on organisational justice theory.14 Each item was judged using a 7-point Likert scale.

• In accordance with previous studies,2, 14 general favourability was assessed using two items:
  • perceived predictive validity and
  • perceived fairness.
• The other five items reflected the following procedural justice dimensions:
  • face validity,
  • applicant differentiation,
  • study relatedness,
  • chance to perform and
  • ease of cheating.
• The specific items (i.e. definitions provided to respondents) and rating scales of each justice dimension can be consulted in Table S1.

Table S1. Applicant perception items

응답자들은 [일반적으로 사용되는 11가지 전형 방법]에 대해 지원자 인식 항목을 개별적으로 평가하도록 요청받았습니다.

• 인지능력 검사,
• 커리큘럼 샘플링 검사,
• 이력서(CV),
• 면접,
• 지원동기서,
• 인성 설문지,
• 대학 전 학년 평균(pu-GPA),
• SJT,
• 스킬 테스트,
• 무가중 추첨 및 가중 추첨

무가중 추첨과 가중 추첨의 경우, 다른 항목은 해당 전형 방법과 관련이 없는 것으로 간주하여 일반적 호감도와 안면 타당도만 평가했습니다. 각 선발 방법에 대한 간략한 설명(표 S2)과 함께 SJT 및 인성 설문지의 예시 항목이 제공되었습니다. 각 선발 방법(추첨 포함)에 대해 지원자들은 '[삽입 방법]을 선발 방법으로 사용하는 것에 대해 하고 싶은 말이 있습니까?"라는 개방형 질문에 답하도록 요청받았습니다. 선발 방법은 순서 효과를 완화하기 위해 무작위 순서로 제시되었습니다. 
Respondents were asked to rate the applicant perception items separately for 11 commonly used selection methods:

• cognitive capacity test,
• curriculum-sampling test,
• curriculum vitae (CV),
• interview,
• motivation letter,
• personality questionnaire,
• pre-university grade-point average (pu-GPA),
• SJT,
• skills test,
• unweighted lottery and weighted lottery.

For unweighted and weighted lottery, only general favourability and face validity were assessed, as the other items were considered irrelevant for those methods. A short description of each selection method was provided (Table S2), along with example items for the SJT and personality questionnaire. For each method (including lottery), applicants were also asked to answer the following open-ended question: ‘Do you have any remarks about using [insert method] as a selection method?’ The selection methods were presented in a random order to mitigate order effects.

Table S2. Operational definitions of presented selection methods

인구통계학적 설문지에는 성별, 이주 배경, 이전 교육, 부모 교육 등의 변수가 포함되었습니다. 본 연구에서는 성별 다양성을 인정하여 지원자는 '남성', '여성', '기타(자유 텍스트 상자)'의 세 가지 범주 중에서 선택할 수 있었습니다. 이주 배경은 네덜란드 통계청(CBS)에 따라 정의되었습니다. 지원자는 다음의 세 가지 그룹으로 분류되었습니다. 

• (i) 부모 모두 네덜란드에서 태어난 경우 이주 배경 없음, 
• (ii) 부모 중 한 명 이상이 유럽(네덜란드, 터키 제외), 북미, 오세아니아, 일본 또는 인도네시아에서 태어난 경우 서구 이주 배경, 
• (iii) 부모 중 한 명 이상이 아프리카, 아시아(일본, 인도네시아 제외), 라틴 아메리카 또는 터키에서 태어난 경우 비 서구 이주 배경

사전 교육과 관련해서는 네덜란드의 표준 대학 예비 교육, 대학 및 기타 형태의 사전 교육(예: 고등 직업 교육, 외국 교육)을 구분했습니다. 마지막으로, 부모 교육과 관련하여 지원자의 부모 중 고등 교육(대학 또는 고등 직업 교육)을 받은 사람이 없는 경우 지원자를 1세대 대학 지원자로 분류했습니다.
The following variables were included in the demographics questionnaire: gender, migration background, prior education and parental education. Gender diversity was acknowledged in the present study, and applicants had the option to choose between three categories: ‘man’, ‘woman’ and ‘other, namely [free text box]’. Migration background was defined in accordance with Statistics Netherlands (CBS). Applicants were categorised in three groups:

• (i) no migration background when both parents were born in the Netherlands;
• (ii) a Western migration background when at least one parent was born in Europe (excluding the Netherlands and Turkey), North America, Oceania, Japan or Indonesia; and
• (iii) a non-Western migration background when at least one parent was born in Africa, Asia (excluding Japan and Indonesia), Latin America or Turkey.

With respect to prior education, we distinguished between standard Dutch pre-university education, university and other forms of prior education (e.g. higher vocational education, foreign education). Finally, for parental education, applicants were categorised as first-generation university applicants when none of their parents had attended higher education (university or higher vocational education).

분석 결과
Analyses

다양한 선발 방식에 대한 지원자의 인식을 조사하기 위해 서술적 통계를 사용했습니다. 내적 일관성을 확인한 후, 응답자별로 각 전형 방법에 대한 일반적 호감도는 두 가지 일반적 호감도 항목의 평균 점수로 계산했습니다. 일반 호감도 및 기타 항목에 대해서는 각 선택 방법에 대한 평균 점수와 95% 신뢰 구간을 계산했습니다. 또한 절차적 정의 차원 간의 관계를 조사하기 위해 각 전형 방식에 대한 일반 호감도 점수와 다른 항목 간의 상관관계를 계산했습니다.
In order to investigate applicant perceptions of different selection methods, we used descriptive statistics. After checking for internal consistency, general favourability of each method for each respondent was calculated as the mean score on the two general favourability items. For general favourability and the other items, the mean score and 95% confidence interval for each selection method were calculated. Additionally, we calculated correlations between scores on general favourability and the other items for each method to examine relationships between the procedural justice dimensions.

지원자 하위 그룹에 따라 지원자의 인식이 다른지 알아보기 위해 선형 혼합 모델을 사용했습니다. 혼합 모델을 통해 부분적으로 누락된 데이터를 보완하고 개인 및 상황 관련 차이를 통제할 수 있었습니다. 이 모형의 종속변수는 평균 일반 호감도 점수였습니다. 고정 효과에는 선발 방법뿐만 아니라 각 선발 방법과 관심 있는 인구통계학적 변수(성별, 이주 배경, 이전 교육 및 부모 교육) 간의 상호작용 효과가 포함되었습니다. 무작위 요인에는 지원자 ID와 지원자가 지원한 프로그램이 포함되었으며, 구조화되지 않은 공분산 구조를 사용했습니다. 공분산 구조에 대한 결정은 카이카이크 정보 기준에 따라 이루어졌습니다. 이 분석을 위해 개별 지원자의 데이터는 11가지 선발 방법 중 최소 10개에 대해 일반적 호감도가 평가된 경우에만 사용되었습니다.
To study whether applicant perceptions differed for subgroups of applicants, we used a linear mixed model. The mixed model compensated for partially missing data and allowed us to control for individual and context-related differences. The dependent variable in this model was the mean general favourability score. Fixed effects included the selection method, as well as the interaction effects between each selection method and the demographic variables of interest (gender, migration background, prior education and parental education). Random factors included applicant id and the programme to which the applicant applied, using an unstructured covariance structure. The decision on the covariance structure was based on the Akaike information criterion. For this analysis, data of individual applicants were used only when at least 10 of the 11 selection methods were rated on general favourability.

개방형 질문에 대한 답변은 구성주의 패러다임에서 지원자의 인식 이면에 있는 근거를 보다 심층적으로 파악하는 데 사용되었습니다. 본 연구에서는 지시적 접근법을 사용하여 내용에 대한 질적 분석을 사용했습니다.20 지시적 접근법에서는 이론적 틀을 검증하고 확장하는 것을 목표로 코드 형성을 위한 초기 지침으로 이론을 사용합니다. 본 연구에서는 조직 정의 이론의 이론적 개념이 코딩 과정의 토대를 형성했습니다. 장과 와일더무스가 설명한 분석 절차를 따랐습니다.21 

• 제1저자(SFW)는 데이터를 숙지하고 코딩 매뉴얼을 개발했습니다.
• 설문지의 이론적 개념인 안면 타당도, 지원자 차별화, 연구 관련성, 수행 기회 및 부정행위의 용이성에 따라 상위 코드는 미리 결정되었습니다.
  • 또한 우리가 실시한 설문지에서 다루지 않은 조직 정의 이론의 다른 개념인 분배 정의, 채용 중 반응, 채용 후 반응, 자기 인식과
  • 절차적 정의와 관련하여 이전에 보고된 설문지에서 사용된 기타 항목인 과학적 증거, 대인관계의 따뜻함, 사용할 권리, 사생활 침해, 광범위한 사용, 노력 기대치, 알려진 정보, 재고 기회, 피드백, 관리의 일관성, 개방성, 대우, 쌍방향 커뮤니케이션도 코딩 매뉴얼에 상위 코드로 포함했습니다.2, 22
• 하위 코드는 코딩 과정에서 개발되었습니다.
  • 따라서 먼저 공개 답변이 어떤 이론적 개념을 참조하는지 파악한 후(상위 코드),
  • 지원자가 제공한 구체적인 주장을 코딩했습니다(하위 코드).
• 또한 분석의 모든 단계에서 비판적인 대화를 나누고 이론의 사각지대를 인식함으로써 이론적 틀을 벗어난 잠재적으로 관련성이 있는 결과를 식별하기 위해 반성적 태도를 취하고자 했습니다.
• 제1저자(박사과정, 교육학 전공)와 제2저자(KMSJ, 선임연구원, 교육학 전공, 다양성 연구 경험)는 각 선택 방법에 대해 두 가지 답변을 함께 코딩한 다음, 각 선택 방법에 대해 10개의 무작위 샘플을 독립적으로 코딩했습니다.
• 일치도가 높았기 때문에 나머지 답변은 SFW가 코딩한 후 KMSJ가 일관성 검사를 실시했습니다.
• 일관성 점검은 각 코드에 대해 댓글의 하위 샘플이 해당 특정 코드가 다루는 주제에 실제로 적용되는지 여부를 비판적으로 검토하는 것을 수반했습니다.
• SFW는 전체 연구팀과 논의한 데이터에서 결론을 도출했습니다.

The answers to the open-ended questions were used to get a more in-depth view of the rationales behind applicant perceptions, from a constructivist paradigm. We used qualitative analysis of content, employing a directed approach.20 With a directed approach, a theory is used as initial guidance for the formation of codes with the goal of validating and extending the theoretical framework. In the present study, theoretical concepts of organisational justice theory formed the foundation for the coding process. We followed the analytical procedure described by Zhang and Wildemuth.21 

• The first author (SFW) familiarised herself with the data and developed a coding manual.
• Higher order codes were predetermined and were based on the theoretical concepts of the questionnaire: face validity, applicant differentiation, study relatedness, chance to perform and ease of cheating.
• Additionally,
  • other concepts of organisational justice theory that were not covered by the questionnaire we administered were included as higher order codes in the coding manual, including distributive justice, reactions during hiring, reactions after hiring and self-perceptions,
  • as well as other items used in previously reported questionnaires referring to procedural justice: scientific evidence, interpersonal warmth, right to use, invasion of privacy, wide-spread use, effort expectancy, information known, reconsideration opportunity, feedback, consistency of administration, openness, treatment and two-way communication.2, 22 
• Lower order codes were developed during the coding process.
  • Thus, we first identified to which theoretical concept an open answer referred (higher order codes) and
  • subsequently coded the specific argument the applicant provided (lower order codes).
• We also aimed to employ reflexivity to identify potentially relevant findings that were outside of our theoretical framework, by having critical dialogues throughout all stages of the analyses and being aware for blind spots in the theory.
• SFW (PhD candidate, background in educational sciences) and the second author (KMSJ; senior researcher, background in educational sciences, experienced in research on diversity) coded two answers for each selection method together and then coded a random sample of 10 answers for each selection method independently. 
• Because there was a high level of agreement, SFW coded the remaining answers, after which KMSJ conducted a consistency check.
• The consistency check entailed that for each code, it was critically reviewed whether a subsample of the comments did indeed apply to the subject covered by that specific code.
• SFW drew conclusions from the data that were discussed with the full research team.

3 결과
3 RESULTS

참가자 특성
Participant characteristics

총 704명의 지원자가 연구에 참여했습니다(응답률 = 21%). 응답자 중 71%가 여성으로 확인되었으며, '기타'라고 밝힌 지원자는 1명이었습니다. 이 지원자는 하위 그룹 분석에서 제외되었으므로 결과에는 남성과 여성 범주만 설명되어 있습니다. 또한 35%는 이주 배경을 가지고 있었고(비서양 26%, 서양 9%), 25%는 1세대 대학 지원자였습니다. 사전 교육과 관련하여 77%는 표준 예비 대학 교육, 15%는 대학, 8%는 기타 형태의 사전 교육을 통해 직접 지원했습니다. 성별, 부모 교육 및 사전 교육과 관련하여 본 연구의 인구통계학적 분포는 남성과 1세대 대학 지원자가 과소 대표되는 네덜란드에서 수행된 다른 연구와 비슷했습니다.12, 17, 18 이주 배경을 가진 지원자 역시 네덜란드에서 과소 대표되지만,12 본 연구에서는 상대적으로 큰 하위 그룹을 구성했으며, 이는 포함된 대부분의 프로그램이 도시 환경에 있기 때문일 수 있습니다. 
In total, 704 applicants participated in the study (response rate = 21%). Amongst the respondents, 71% identified as woman, and one applicant identified as ‘other’. This individual was excluded from the subgroup analyses and therefore only the categories men and women are described in the results. Furthermore, 35% had a migration background (26% non-Western, 9% Western), and 25% were first-generation university applicants. With respect to prior education, 77% applied directly from standard pre-university education, 15% from university and 8% from other forms of prior education. With respect to gender, parental education and prior education, demographic distributions in the present study were comparable with those of other research conducted in the Netherlands, where men and first-generation university applicants are underrepresented.12, 17, 18 Applicants with a migration background are also underrepresented in the Netherlands,12 but composed a relatively large subgroup in the present study, which may be due to the urban setting of most of the included programmes.

일반적 호감도
General favourability

두 가지 일반적 호감도 항목은 충분하거나 양호한 내적 일관성을 보였습니다(인지 능력 테스트: α = 0.84, 커리큘럼 샘플링 테스트: α = 0.74, 이력서: α = 0.83, 인터뷰: α = 0. 77, 지원동기서: α = 0.79, 인성검사: α = 0.79, pu-GPA: α = 0.85, SJT: α = 0.81, 스킬 테스트: α = 0.79, 무가중 추첨: α = 0.79, 무가중 추첨: α = 0.86).
The two general favourability items showed a sufficient to good internal consistency (cognitive capacity test: α = 0.84, curriculum-sampling test: α = 0.74, CV: α = 0.83, interview: α = 0.77, motivation letter: α = 0.79, personality questionnaire: α = 0.79, pu-GPA: α = 0.85, SJT: α = 0.81, skills test: α = 0.79, unweighted lottery: α = 0.79, unweighted lottery: α = 0.86).

지원자들은 커리큘럼 샘플링 시험(평균 [M] = 5.32, 95% 신뢰 구간 [95% CI; 5.24, 5.40], 표 1)에 대해 가장 높은 호감도를 보인 반면, 가중치 추첨(M = 3.05 [2.93, 3.17])과 무가중 추첨(M = 2.97 [2.83, 3.10])은 가장 낮게 인식했습니다.
Applicants provided the highest general favourability ratings for curriculum-sampling tests (mean [M] = 5.32, 95% confidence interval [95% CI; 5.24, 5.40]; Table 1), while weighted lottery (M = 3.05 [2.93, 3.17]) and unweighted lottery (M = 2.97 [2.83, 3.10]) were perceived least favourable.

일반 호감도 점수와 다른 지원자 인식 항목 간의 상관관계는 모두 통계적으로 유의미했지만(p <0.05), 상관관계의 강도에 있어서는 큰 폭의 차이가 있었습니다(표 3 참조). 일반적인 호감도와 가장 강력한 상관관계를 보인 정의 차원은 안면 타당도였으며, 부정행위의 용이성과 일반적인 호감도 간의 음의 상관관계는 가장 작았습니다. 
All correlations between the general favourability score and other applicant perception items were statistically significant (p < 0.05), but there was a great range in the strengths of the correlations (see Table 3). The justice dimension that was most strongly related with general favourability was face validity, while the negative correlation between ease of cheating and general favourability was the smallest.

지원자의 인식은 프로그램마다 다른 것으로 나타났습니다(표 2). 일반적으로 지원자들은 자신이 지원한 프로그램에서 사용하는 선발 방식에 대해 사용하지 않는 방식에 비해 더 긍정적인 인식을 가지고 있었습니다. 
Applicant perceptions appear to differ between different programmes (Table 2). Generally, applicants had more positive perceptions towards selection methods used by the programme they applied to compared with methods that were not used.

정의 차원
Justice dimensions

다음 섹션에서는 인식 점수의 정량적 결과와 지원자의 추론에 대한 정성적 결과를 통합하여 다양한 정의 차원에 대한 결과를 제시합니다. 가장 두드러진 결과만 논의하며, 정량적 및 정성적 결과에 대한 전체 개요는 각각 표 3과 표 4를 참조하시기 바랍니다.
In the next sections, the results for the different justice dimensions will be presented by integrating the quantitative findings of perception scores and the qualitative findings of applicants' reasoning. Only the most salient findings are discussed, and for a complete overview of the quantitative and qualitative findings, we refer to Tables 3 and 4, respectively.

 

 

3.3.1 안면 타당도
3.3.1 Face validity

커리큘럼 샘플링 테스트와 기술 테스트가 안면 타당도에서 가장 높은 평가를 받았지만(각각 M = 5.46, 95% CI [5.37, 5.54], M = 5.27 [5.18, 5.36]), 지원자들은 이 차원과 관련하여 이 방법들에 대해 언급하지 않았습니다. 이는 다른 차원에서도 지원자들이 주로 부정적인 측면에 초점을 맞춰 댓글을 달았다는 점을 잘 보여줍니다. 면접은 안면 타당도 척도에서도 높은 평가를 받았습니다(M = 5.17 [5.07, 5.27]). 지원자들은 동기 부여, 성격, 사회적 기술 등의 속성을 중요하게 생각했지만 이러한 속성에 대한 서면 평가보다는 구두 면접을 선호했습니다. 이는 인성 설문지의 상대적으로 낮은 평가(M = 3.87 [3.75, 3.99])를 설명할 수도 있습니다. Pu-GPA 역시 안면 타당도(M = 3.70 [3.58, 3.82])에서 낮은 평가를 받았으며, 지원자들은 입학 요건이 이미 프로그램에 입학할 수 있는 역량을 충분히 증명하기 때문에 pu-GPA는 부가가치가 없다고 언급했습니다. 가중 추첨과 무가중 추첨에 대한 평점이 가장 낮았습니다(각각 M = 2.99 [2.87, 3.12], M = 2.50 [2.37, 2.63]). 지원자들은 두 가지 유형의 추첨이 모두 지원자의 스트레스와 부담을 줄일 수 있다는 점을 인정했지만, 자신을 차별화하려는 강한 열망을 전달했으며 추첨이 가장 우수하고 동기 부여가 높은 학생을 선발하지 못할 것이라고 믿었습니다. 
Curriculum-sampling tests and skills tests received the highest ratings on face validity (respectively, M = 5.46, 95% CI [5.37, 5.54], M = 5.27 [5.18, 5.36]), but applicants did not comment on these methods with respect to this dimension. This is illustrative of the observation that, also for other dimensions, applicants mainly focused on negative aspects in their comments. Interviews were also rated highly on the scale of face validity (M = 5.17 [5.07, 5.27]). Applicants considered attributes such as motivation, personality and social skills important but preferred an oral interview over a written assessment of these attributes. This may also explain the relatively low rating of personality questionnaires (M = 3.87 [3.75, 3.99]). Pu-GPA also received a low rating on face validity (M = 3.70 [3.58, 3.82]), and applicants mentioned that pu-GPA was not of added value as the admission requirements would already provide enough evidence of their capacity to enter the programme. The lowest ratings were provided for weighted and unweighted lottery (respectively, M = 2.99 [2.87, 3.12], M = 2.50 [2.37, 2.63]). Although applicants acknowledged that both types of lottery can reduce stress and pressure for applicants, they communicated a strong desire to distinguish themselves and believed that lotteries would not select the best and most motivated students.

3.3.2 지원자 차별화
3.3.2 Applicant differentiation

기술 테스트와 면접은 지원자 차별화에서 상대적으로 높은 점수를 받았습니다(각각 M = 5.25 [5.16, 5.34], M = 5.23 [5.13, 5.33]). 지원자들이 차별화 기술을 평가하고 평가자가 지원자의 역량을 적절히 파악할 수 있다고 언급한 유일한 전형 방식이었습니다. 그러나 대부분의 선발 방식에 대해 지원자들은 해당 방식이 평가하고자 하는 방식이 아닌 다른 기술을 기준으로 지원자를 구별한다고 지적했습니다.

• 예를 들어, 지원자들에 따르면 동기부여서는 순수한 동기 대신 글쓰기 능력을 평가하고,
• 선발 시험은 목표 지식이나 기술 대신 시험에 대한 지혜와 준비 시간을 측정합니다.
• 인성 문항과 SJT는 지원자의 실제 성격이나 상황에 대한 반응보다는 매우 기초적인 지식인 사회적 기대에 대한 지식에 따라 지원자를 구분한다는 비판을 받았습니다.

Pu-GPA에 대해서 지원자들은 같은 성적을 받은 지원자라도 동기, 노력, 난이도에 따라 차이가 크다고 답해 가장 낮은 점수(M = 3.25 [3.13, 3.36])를 받았습니다. 
Skills tests and interviews received relatively high scores on applicant differentiation (respectively, M = 5.25 [5.16, 5.34], M = 5.23 [5.13, 5.33]). These were the only methods for which applicants mentioned that distinguishing skills are assessed and assessors can get an adequate overview of applicants' competencies. For most of the selection methods, however, applicants indicated that the methods distinguish candidates based on other skills than the methods are intended to assess.

• For instance, according to applicants, motivation letters assess writing skills instead of pure motivation, and
• selection tests measure test wiseness and preparation time instead of the targeted knowledge or skills.
• Personality questionnaires and SJTs received the criticism that applicants are distinguished based on their knowledge of social expectations—which they expected to be very basic knowledge—rather than their actual personality or reactions to situations.

Pu-GPA received the lowest scores (M = 3.25 [3.13, 3.36]), as applicants mentioned that the same grade is the result of a wide range in motivation, effort and degree of difficulty.

3.3.3 학업 관련성
3.3.3 Study relatedness

일반적인 호감도에 비해 학업 관련성에 대한 평균 점수는 모든 전형 방법에서 상대적으로 낮았습니다(범위 M = 2.93~4.43). 이는 각 전형 방법에서 지원자들이 특정 관련 기술만 평가하고 다른 중요한 속성에 대한 정보는 누락되었다고 응답했기 때문일 수 있습니다. 예를 들어, 지원자들에 따르면 인지 능력 테스트는 정보 처리 및 문제 해결과 같은 관련 기술을 평가할 수 있지만 사회성 및 의사 소통 능력은 고려되지 않습니다. 따라서 지원자들은 어떤 방법도 학습 성과를 완벽하게 예측할 수 없다고 생각했으며, 여러 가지 선발 방법을 조합하는 것을 선호했습니다. 지원자들은 광범위한 기술을 평가하는 것을 선호했지만, 프로그램 과정에서 이러한 기술을 개발할 수 있는 여지가 있어야 한다고 답해 딜레마가 발생했습니다. 
Compared with general favourability, the mean scores on study relatedness were relatively low for all selection methods (range M = 2.93–4.43). A possible explanation is that for each selection method, applicants indicated that only certain relevant skills are assessed, while information on other important attributes is missed. For instance, while cognitive capacity tests can, according to applicants, assess relevant skills such as information processing and problem-solving, social and communicative skills are not taken into account. Thus, applicants believed that none of the methods can fully predict study performance and they preferred a combination of selection methods. Although applicants preferred assessment of a broad range of skills, they also stated that there should be room to develop those skills over the course of the program, introducing a dilemma.

스킬 테스트와 커리큘럼 샘플링 테스트는 학습 관련성에서 가장 높은 점수를 받았습니다(각각 M = 4.43 [4.33, 4.53], M = 4.38 [4.28, 4.48]). 지원자들은 두 가지 방법 모두 광범위한 기술을 평가할 수 있다고 언급했습니다. 또한, 이 두 가지 방법의 경우에만 지원자들이 프로그램과 교재에 대해 더 잘 알 수 있어, 지원자가 프로그램 내용에 관심이 있고 대처할 수 있는지를 평가할 수 있는 기회를 제공한다고 답했습니다. 가장 낮은 점수를 받은 평가 방법인 pu-GPA과 이력서(각각 M = 3.11 [3.00, 3.22], M = 2.93 [2.82, 3.04])에 대해 지원자들은 평가된 기술이 너무 일반적이며 이전 성과가 미래의 성공을 예측할 수 없다고 답했습니다. 
Skills tests and curriculum-sampling tests received the highest scores on study relatedness (respectively, M = 4.43 [4.33, 4.53], M = 4.38 [4.28, 4.48]). Applicants mentioned that both methods can assess a broad range of skills. Moreover, only for these methods, applicants stated that they can become more acquainted with the programme and its course materials, creating an opportunity for applicants to assess whether they are interested in and able to cope with the programme content. For the lowest scoring methods—pu-GPA and CV (respectively, M = 3.11 [3.00, 3.22], M = 2.93 [2.82, 3.04])—applicants stated that the assessed skills are too generic and that previous performance is not predictive of future success.

3.3.4 수행 기회
3.3.4 Chance to perform

수행 기회에 대한 평균 점수도 상대적으로 낮았습니다(범위 M = 3.09~4.90). 정성적 결과는 이 결과에 대한 몇 가지 잠재적인 설명을 제공합니다.

• 첫째, 지원자들은 수행 기회와 관련하여 몇 가지 딜레마를 언급했습니다. 예를 들어, 지원자들은 이전 성과보다 현재 지식과 기술에 대한 평가를 선호했으며, 스냅샷 평가의 단점을 지적했습니다.
• 둘째, 각 선발 방식에 대해 지원자들은 특정 하위 그룹의 수행 기회를 방해할 수 있는 불평등의 원인을 발견했습니다. 예를 들어, 의료 분야 내 네트워크의 존재는 이력서를 작성하는 데 유용한 것으로 간주되었으며, 충분한 재정적 자원이 있는 지원자는 더 나은 시험 결과를 위해 상업적 코칭을 받거나 더 높은 pu-GPA을 받기 위해 과외를 받을 수 있었습니다.

실기 시험과 면접은 각각 4.90점(4.80점, 5.00점), 4.77점(4.66점, 4.89점)으로 더 높은 점수를 받았으며, 지원자들은 이러한 방법이 다양한 자질을 보여줄 수 있는 여지를 더 많이 제공한다는 인상을 받았다고 언급했습니다. Pu-GPA가 가장 낮은 점수(M = 3.09 [2.97, 3.21])를 받았는데, 이는 지원 전에 데이터가 수집되었기 때문에 지원자들이 이 선발 방법에 대한 통제력이 부족하다고 느꼈기 때문으로 설명할 수 있습니다.
The mean scores on chance to perform were also relatively low (range M = 3.09–4.90). The qualitative results provide some potentially relevant explanations for this finding.

• First, applicants mentioned some dilemmas with respect to chance to perform. For instance, they preferred assessment of current knowledge and skills over previous achievements and pointed out drawbacks of snapshot assessments.
• Second, for each selection method, applicants noticed sources of inequality that can interfere with the chance to perform on a method for certain subgroups. For example, the existence of a network within the medical field was considered useful for building a CV, and applicants with enough financial resources could take commercial coaching for better test results and tutoring for a higher pu-GPA.

Skills test and interview scored higher on chance to perform (respectively, M = 4.90 [4.80, 5.00], M = 4.77 [4.66, 4.89]), and applicants noted that they got the impression that these methods allow for more space to show a broad range of qualities. Pu-GPA received the lowest scores (M = 3.09 [2.97, 3.21]), which can be explained by the fact that applicants experienced a lack of control for this selection method, as data had been collected before application.

3.3.5 부정행위의 용이성
3.3.5 Ease of cheating

부정행위의 용이성에서 가장 높은 점수를 받은 네 가지 전형 방법인 인성검사, 지원동기서, SJT, 면접(각각 M = 6.06 [5.96, 6.16], M = 5.72 [5.62, 5.82], M = 4.72 [4.57, 4.86], M = 4.62 [4.50, 4.74])에 대해 지원자들은 사회적 바람직성이 중요한 역할을 할 수 있다고 언급했습니다. 지원 동기 편지에 대한 추가 의견으로는 지원자가 다른 사람에게 편지를 쓰게 하여 쉽게 속일 수 있다는 점이 있었습니다. 이력서 역시 상대적으로 부정행위를 저지르기 쉬운 것으로 간주되었습니다(M = 4.42 [4.28, 4.56]). 지원자들은 문서를 위조하기 쉽고, 소수의 이력서 샘플만을 대상으로 정확성 여부를 확인한다고 설명했습니다. 지원자들은 점수가 낮은 선발 방식에서 부정행위가 더 어려운 이유에 대해 별다른 언급을 하지 않았습니다.
For the four selection methods scoring highest on ease of cheating—personality questionnaire, motivation letter, SJT and interview (respectively, M = 6.06 [5.96, 6.16], M = 5.72 [5.62, 5.82], M = 4.72 [4.57, 4.86], M = 4.62 [4.50, 4.74])—applicants mentioned that social desirability can play a major role. An additional remark about motivation letters is that applicants can easily cheat by letting others write their letter. CV was also considered relatively easy to cheat on (M = 4.42 [4.28, 4.56]). Applicants explained that it is easy to forge documents, and only a small sample of CVs is checked on correctness. Applicants did not have any remarks about why it is harder to cheat on the lower scoring selection methods.

3.3.6 추가 차원
3.3.6 Additional dimensions

설문지에서 다루었던 정의 차원 외에도 주관식 질문에 대한 답변에서 여러 가지 추가 차원을 확인했습니다.
Besides the justice dimensions that were covered by the questionnaire, we identified a number of additional dimensions in the answers to the open-ended questions.

첫 번째 정의 차원은 운영의 일관성으로, 이는 결정 절차가 사람에 따라 그리고 시간에 따라 편견 없이 일관되게 적용되는 정도를 의미합니다.22

• 이력서, 지원동기서, 인터뷰 및 기술 테스트는 평가자의 개인적인 의견에 많은 여지를 주고 결과적으로 평가자 간 평가에 잠재적인 차이를 발생시키는 보다 주관적인 방법으로 간주되었습니다.
• 지원자들은 또한 pu-GPA 관리의 일관성에 대해서도 언급했습니다. 현재 pu-GPA는 학교별 시험을 기반으로 합니다. 지원자들은 학교마다 평가 방법, 난이도, 채점 방식에 큰 차이가 있어 다른 학교의 pu-GPA를 비교할 수 없다고 언급했습니다. 

A first justice dimension was consistency of administration, which refers to the extent to which decision procedures are consistent and without bias across people and over time.22 

• CVs, motivation letters, interviews and skills tests were considered as more subjective methods, giving a lot of space to the personal opinion of assessors and consequently creating potential differences in ratings between assessors.
• Applicants also commented on the consistency of administration for pu-GPA. Currently, pu-GPA is based on school-specific examinations. Applicants mentioned that there is a great difference between schools in assessment methods, difficulty level and way of rating, making pu-GPA from different schools incomparable.

둘째, 설문지에서는 학업 관련성에만 초점을 맞춘 반면, 지원자들은 학업 관련성과 직무 관련성을 구분하는 경향이 있었습니다.

• 예를 들어, 지원자들은 학업 관련성과 관련하여 커리큘럼 샘플링에 대해 대체로 긍정적인 의견을 보였지만, 성공적인 의료 전문가가 되기 위해서는 사회성 및 의사소통 능력과 같은 다른 기술도 중요하다고 언급했습니다. 지원자들은
  • 기술 테스트, 인터뷰, SJT, 인성 설문지를 통해 미래 직업에 필요한 중요한 특성을 평가할 수 있다고 답한 반면,
  • 학점, 인지 테스트, 이력서, 커리큘럼 샘플링 테스트는 그렇지 않다고 답했습니다.

Second, while the questionnaire only focused on study relatedness, applicants tended to make a distinction between study relatedness and job relatedness.

• For instance, while applicants had generally positive comments about curriculum sampling with respect to study relatedness, they mentioned that other skills are relevant to become a successful health professional, such as social and communicative skills.
  • They stated that skills tests, interviews, SJTs and personality questionnaires can assess important attributes for the future profession,
  • while this was not so much the case for pu-GPA, cognitive tests, CVs and curriculum-sampling tests.

일부 의견은 절차적 정의보다는 선발 절차 결과의 공정성과 관련된 분배적 정의에 관한 것이었습니다.15 

• 지원자들은 무가중 추첨의 장점으로 입학 기회가 균등해져 더 다양한 학생이 입학할 수 있다는 점을 언급했습니다. 다른 방법을 적용하면 앞서 언급한 불평등한 기회로 인해 학생의 다양성이 감소할 수 있습니다. 
• 합격한 학생들이 비슷한 의견을 갖게 되어 학생 집단에서 관점의 다양성이 줄어들 수 있다는 점도 SJT에 불리한 결과로 언급되었습니다.

Some comments were not related to procedural justice, but rather to distributive justice, relating to the fairness of the outcomes of the selection procedure.15 

• Applicants mentioned that an advantage of unweighted lottery is that the equal chances to be admitted would lead to a more diverse student population. The application of other methods could result in a decrease of student diversity, because of the aforementioned inequal chances to perform.
• An additional unfavourable outcome was mentioned for SJTs: accepted students would have similar opinions and there would be less diversity in perspectives in the student cohorts.

마지막으로, 선발에 대한 인식의 결과로 여겨지는 개인의 태도와 행동과 관련된 조직 정의 이론의 '결과' 부분에 대해 많은 언급이 있었습니다.15 

• 특히 우려되는 주제 중 하나는 선발 방식이 지원자들에게 많은 스트레스와 압박을 유발할 수 있다는 것이었습니다.
• 지원자들은 이력서 작성, 커리큘럼 샘플링 시험 공부 등 많은 준비가 필요한 선발 방식이 학업 및 기타 책임과 병행해야 하기 때문에 스트레스를 받을 수 있다고 언급했습니다.
• 스트레스의 또 다른 원인으로 언급된 것은 지원자들이 시험 당일에 큰 부담감으로 인해 겪는 압박감이었습니다. 지원자들은 또한 여러 전형 방법을 병행할 경우의 단점으로 스트레스를 꼽았습니다.

Finally, numerous remarks were made about the ‘outcomes’ part of organisational justice theory, which relates to the attitudes and behaviours of individuals that are thought to be a result of perceptions of selection.15 

• One particular topic of concern was that selection methods can cause a lot of stress and pressure amongst applicants.
• Applicants mentioned that selection methods that require a lot of preparation, such as building a CV and studying for a curriculum-sampling test, can be stressful as they have to combine this with school and other responsibilities.
• Another source of stress that was mentioned was the pressure that applicants experience during testing days due to the high stakes involved. Applicants also recognised stress as a drawback of combining multiple selection methods.

지원자 하위 그룹에 따른 인식의 차이
Differences in perceptions for subgroups of applicants

각 전형 방법에 대한 전반적인 호감도의 하위 그룹별 차이에 대한 선형 혼합 모형의 결과는 표 5에 나와 있으며, 각 하위 그룹에 대한 기술 통계는 보충 표 S3-S6에 나와 있습니다. 여성에 비해 남성은 가중치 없는 추첨을 유의하게 덜 호의적으로 인식했으며(B = -0.55, 95% CI [-0.84, -0.26]), 이는 1-7점 척도에서 평균적으로 남성은 가중치 없는 추첨을 0.55점 낮게 평가했음을 나타냅니다. 성격 설문지 역시 남성이 훨씬 덜 호의적으로 인식했습니다(B = -0.23, [-0.47, -0.00]). 다른 선택 방법에서는 성별 차이가 발견되지 않았습니다. 흥미롭게도 개방형 질문에 대한 답변에서 여성이 선호하는 이력서 및 pu-GPA 에 대한 언급이 다수 있었는데, 이는 일반적으로 남성이 미래의 학업 방향을 늦게 시작한다는 의미로 해석할 수 있습니다. 이러한 우려는 정량적 조사 결과에는 반영되지 않았습니다.
The results of the linear mixed model for subgroup differences in general favourability ratings for each selection method are depicted in Table 5, and the descriptive statistics for each subgroup are provided in supplemental Tables S3–S6. Compared with women, men perceived unweighted lottery as significantly less favourable (B = −0.55, 95% CI [−0.84, −0.26]), indicating that on average, men rated unweighted lottery 0.55 units lower on a scale from 1–7. Personality questionnaires were also perceived as significantly less favourable by men (B = −0.23, [−0.47, −0.00]). No gender differences were found for other selection methods. Interestingly, in the answers to open-ended questions, multiple remarks were given about CV and pu-GPA favouring women, describing that men generally start later with their future study orientation. This concern was not reflected in the quantitative findings.

비 서구권 이주 배경을 가진 지원자들은 이력서(B = 0.50 [0.22, 0.77])와 커리큘럼 샘플링 테스트(B = 0.25 [0.06, 0.44])에 대해 상당히 높은 호감도를 보인 반면, 기술 테스트와 면접은 상당히 덜 호의적으로 인식했습니다(각각 B = -0.29 [-0.50, -0.09], B = -0.42 [-0.64, -0.20]). 비 서구권 이주 배경을 가진 지원자의 면접 및 기술 테스트 점수가 더 낮은 것은 이러한 방법의 주관적인 특성으로 인해 편견에 더 취약하다는 의견으로 설명할 수 있습니다. 서구 이민 배경을 가진 지원자에 대한 인식은 이민 배경이 없는 지원자와 다르지 않았습니다.
Applicants with a non-Western migration background provided significantly higher favourability ratings for CVs (B = 0.50 [0.22, 0.77]) and curriculum-sampling tests (B = 0.25 [0.06, 0.44]), while skills tests and interviews were perceived significantly less favourable (respectively, B = −0.29 [−0.50, −0.09], B = −0.42 [−0.64, −0.20]). The lower scores on interviews and skills tests for applicants with a non-Western migration background may be explained by remarks about the subjective nature of these methods, making them more susceptible to bias. Perceptions of applicants with a Western migration background did not differ from those without a migration background.

예비 대학 교육 마지막 해에 지원한 지원자들과 비교했을 때, 이미 대학 수준에서 공부하고 있던 지원자들은 면접과 무가중 추첨에 대해 훨씬 더 긍정적인 평가를 내렸습니다(각각 B = 0.33 [0.07, 0.58], B = 0.54 [0.17, 0.92]). 반면, pu-GPA(B = -0.83 [-1.14, -0.52]), 인지 테스트(B = -0.31 [-0.59, -0.04]) 및 가중치 추첨(B = -0.41 [-0.74, -0.08])에 대한 호감도는 유의하게 낮았습니다. 다른 형태의 사전 교육을 받은 지원자들은 대학 교육을 받지 않은 지원자들에 비해 인성 설문과 면접을 훨씬 더 유리하게 평가했습니다(각각 B = 0.49 [0.09, 0.89], B = 0.46 [0.12, 0.80]). 지원자들은 pu-GPA에 대해서만 대학 이전 교육의 역할에 대해 언급했는데, 이는 [pre-university 교육 마지막 해에 지원하지 않은 지원자]의 pu-GPA는 이미 지나간 성취도이며, 지원자의 현재 실력을 정확하게 반영하지 못한다는 것을 나타냅니다.
Compared with applicants applying during their final year of pre-university education, applicants who were already studying at university-level rated interviews and unweighted lottery significantly more positive (respectively, B = 0.33 [0.07, 0.58], B = 0.54 [0.17, 0.92]), while their favourability ratings were significantly lower for pu-GPA (B = −0.83 [−1.14, −0.52]), cognitive tests (B = −0.31 [−0.59, −0.04]) and weighted lottery (B = −0.41 [−0.74, −0.08]). Applicants from alternative forms of prior education rated personality questionnaires and interviews significantly more favourable compared with applicants from pre-university education (respectively, B = 0.49 [0.09, 0.89], B = 0.46 [0.12, 0.80]). Only with respect to pu-GPA, applicants commented on the role of prior education, indicating that pu-GPAs for applicants not applying during their final year of pre-university education are outdated and do not accurately represent applicants' current skills.

1세대 대학 출신 여부에 따른 지원자 인식의 차이는 발견되지 않았습니다.
No differences in applicant perceptions were found based on first-generation university status.

4 토론
4 DISCUSSION

본 연구의 목적은 학부 HPE의 맥락에서 지원자들이 다양한 선발 방법을 어떻게 인식하는지에 대한 심층적인 이해를 얻기 위한 것이었습니다. 연구 결과에 따르면 지원자들은 커리큘럼 샘플링 시험과 기술 시험에 대한 선호도가 가장 높은 반면, 가중치 추첨과 무가중 추첨을 가장 선호하지 않는 것으로 나타났습니다. 또한 선발 방식에 대한 지원자의 인식은 성별, 인종, 사회경제적 지위(SES), 학력에 따른 지원자 하위 그룹에서 전반적으로 유사하게 나타났습니다. 마지막으로, 지원자들은 한 가지 방법만으로는 충분하다고 생각하지 않고 여러 가지 선발 방법을 조합하는 것을 선호한다는 결과가 나왔습니다.
The aim of the present study was to gain a deeper understanding of how applicants perceive different selection methods within the context of undergraduate HPE. Our findings indicate that applicants have the strongest preference for curriculum-sampling tests and skills tests, while they consider weighted and unweighted lotteries the least favourable. Furthermore, applicant perceptions of selection methods are overall similar across subgroups of applicants based on gender, ethnicity, SES and prior education. Finally, the results show that applicants do not think one single method is sufficient, but instead prefer a combination of selection methods.

첫 번째 주요 결과는 지원자들이 '폭넓은' 선발 기준과 자신이 더 '통제할 수 있다'고 느끼는 선발 방법을 선호한다는 것입니다. 가장 높은 평가를 받은 세 가지 전형 방법인 커리큘럼 샘플링 테스트, 스킬 테스트, 면접은 모두 확장된 기준을 반영하며, 이는 pu-GPA과 같은 전통적인 방식에 포함된 인지적 능력을 넘어서는 자질을 평가하는 것을 목표로 합니다.23 본 연구에 참여한 지원자들은 이미 엄격한 입학 요건으로 인해 인지적 특성에 따라 선발된 경향이 강하므로 다른 영역에서 자신을 차별화하는 것을 선호하는 것은 놀라운 일이 아닙니다. 실제로 지원자들은 입학 요건보다 내신 성적과 인지능력 테스트가 갖는 부가가치가 무엇인지에 대해 의문을 제기했습니다. 또한, 조직 정의 이론15과 의대 선발에 관한 이전 연구에 따르면,24 지원자들은 선발 과정에서 '자신을 표현'하고 싶은 욕구를 가지고 있으며, 이는 더 넓은 기준을 반영하는 방법을 통해 더 잘 가능하다고 주장할 수 있습니다. 추첨(우연에 맡김)과 선발 전 획득한 평점(pu-GPA)에 대한 평가가 낮은 것은 지원자들이 '통제할 수 있는 상태'를 선호한다는 것을 나타냅니다. 앞서 주장한 바와 같이,1,2 이는 조직 정의 이론을 통해서도 설명할 수 있는데, 지원자들은 결정 과정에 영향을 미칠 기회가 있을 때 그 방법이 더 공정하다고 인식하기 때문입니다.15 이 결과는 성공과 실패가 자신의 노력과 재능에 기인할 수 있다는 능력주의적 가치에 대한 광범위한 사회적 인식과도 관련이 있습니다.25 결과적으로 HPE 선발 지원자들은 자신이 통제할 수 없다고 느끼는 탈락을 받아들이기 어렵다고 느낄 수 있습니다.26 
A first key finding is that applicants have a preference for ‘broadened’ selection criteria and selection methods on which they feel to be more ‘in control’. The three highest rating selection methods – curriculum-sampling tests, skills tests and interviews—all reflect broadened criteria, which aim to assess qualities that go beyond the cognitive abilities that are included in traditional methods such as pu-GPA.23 Applicants in the current study were already strongly preselected based on cognitive characteristics due to the stringent admission requirements; thus, it is not surprising that they prefer to distinguish themselves in other areas. In fact, applicants questioned the added value of pu-GPA and cognitive capacity tests over the admission requirements. Additionally, according to organisational justice theory,15 as well as previous research in medical school selection,24 applicants have the desire to ‘express themselves’ during a selection procedure, and it can be argued that this is better possible with methods that reflect broadened criteria. The low ratings of lotteries—leaving it to chance—and pu-GPA—obtained prior to selection—indicate that applicants prefer to be ‘in control’. As previously argued,1, 2 this can also be explained through organisational justice theory, because applicants perceive methods as fairer when they have an opportunity to influence the decision process.15 This finding can furthermore be related to a broader societal appreciation of meritocratic values, implying that success and failure can be attributed to one's own efforts and talent.25 Consequently, applicants for selection into HPE can find rejections that feel beyond their control difficult to accept.26

둘째, 연구 결과에 따르면 지원자의 배경은 다양한 선발 방식에 대한 인식에 큰 영향을 미치지 않는 것으로 나타났습니다. 성별, 이주 배경, 사전 교육에 따라 지원자 하위 그룹 간에 통계적으로 유의미한 인식 차이가 일부 발견되었지만, 이러한 차이가 갖는 실질적인 의미는 무시할 수 있는 수준이며, 전반적으로 지원자들의 인식은 매우 유사했습니다. 성별의 경우, 이러한 인식 차이는 심리학 지원자를 대상으로 실시한 이전 연구 결과와 일치합니다.2 그러나 인종 및 사회경제적 배경과 관련된 연구 결과는 예상치 못한 것이었는데, 이전 연구에 따르면 소수 민족 또는 사회경제적 배경이 낮은 지원자는 선발에 대해 더 부정적인 인식을 가지고 있다고 합니다.1, 3, 11 지원자들은 선발의 형식적 특성(예: 선발 방법)은 배경에 관계없이 비슷하게 인식하는 반면, 사회 인구학적 소수 민족 지원자는 (대인 관계적 대우 등) 절차적 정의의 다른 요소에 대해 더 부정적으로 인식할 가능성이 있습니다. 실제로 소수 민족 학생들이 의과대학에 재학 중일 때 불공정한 대우에 대해 더 많이 인식한다는 연구 결과가 있습니다.27, 28

Second, our findings suggest that applicants' background does not play a substantial role in their perceptions of different selection methods. Although we did find some statistically significant differences in perceptions between applicant subgroups based on gender, migration background and prior education, the practical meaning of these differences is negligible, and their perceptions were overall very similar. For gender, this lack of difference in perceptions is in accordance with findings of a previous study conducted with psychology applicants.2 However, our findings with respect to ethnicity and SES were unexpected, as previous research suggested that students with an ethic minority or lower socio-economic background have more negative perceptions towards selection.1, 3, 11 Potentially, applicants perceive the formal characteristics of selection (i.e. selection methods) similar regardless of their background, while applicants with sociodemographic minority backgrounds may have more negative perceptions regarding other components of procedural justice, such as interpersonal treatment. Indeed, research has indicated that ethnic minority students have more perceptions of unfair treatment when they are in medical school.27, 28 

소수 민족 배경을 가진 지원자들이 특정 선발 방법에 대해 더 부정적인 인식을 갖지 않았다는 결과에 대한 다른 이유는,

• 이전 연구에서 주로 아직 지원하지 않은 예비 대학생을 대상으로 하여 부정확하거나 불완전한 정보에 근거하여 인식했을 수 있기 때문입니다.3, 11
• 반대로 본 연구의 참가자들은 선발 경험이 있고 이에 대한 이해가 더 높았을 가능성이 높습니다.
• (이전 연구에서와 같은 경우) 소수 배경을 가진 학생들은 주로 지원 전 기간에는 선발 절차에 대한 정확한 정보에 대한 접근성이 떨어질 수 있습니다.29

그럼에도 불구하고 이전 연구와 일치하는 질적 연구 결과도 있었는데, 예를 들어 소수 배경을 가진 지원자가 의료 분야의 코칭, 과외 및 소셜 네트워크에 대한 접근성이 낮기 때문에 지원자들이 선발 방법이 공평한 의과 교육 입학을 방해 할 수 있다고 생각한다는 징후를 제공했습니다 .3, 11, 29 

An alternative reason for the finding that applicants with minority backgrounds did not have more negative perceptions towards certain selection methods is

• that previous studies mainly included eligible pre-university students who have not yet applied and could have based their perceptions on inaccurate or incomplete information.3, 11 
• Contrarily, participants in the present study had experience with selection and probably had a better understanding of it.
• Thus, students with minority backgrounds possibly experience less access to accurate information about the selection procedure mainly in the period prior to application.29