Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

연구 디자인
Study design

피드백 상호작용에서 환자의 신뢰도에 대한 학생들의 판단을 이해하기 위해 후향적 질적 인터뷰 연구를 수행했습니다. 이 연구에 대한 윤리적 승인은 네덜란드 의학교육협회에서 제공했습니다(NVMO, NERB 파일 번호: 2020.5.8 및 NERB 파일 번호 2021.8.8).  
We undertook a retrospective qualitative interview study to understand students’ credibility judgments of patients in feedback interactions. Ethical approval of this study was provided by the Dutch Association for Medical Education (NVMO, NERB file number: 2020.5.8 and NERB file number 2021.8.8).

연구 배경 및 참여자
Context and participants

우리는 임상적 맥락과 비임상적 맥락에서 환자에 대한 학생들의 신뢰성 판단을 조사했습니다. 두 상황 모두에서 학생들은 (온라인) 일대일 대화를 통해 환자로부터 피드백을 수집했습니다. 
We explored students’ credibility judgments regarding patients in a clinical and a non-clinical context. In both contexts students collected feedback from patients through (online) one-on-one dialogues.

비임상적 맥락에서는 6주간의 선택 과목으로, 6학년 의대생들이 한 조를 이루어 시청각 환자 정보인 지식 클립을 개발했습니다. 지식 클립은 선천성 심장병에 대해 설명하는 짧은 동영상(주로 애니메이션)이었습니다. 학생들은 환자, 그리고 커뮤니케이션 및 정보 과학(CIS) 학생과 협력하여 이러한 지식 클립을 개발했습니다[34]. 의대생의 목표는 환자의 정보 요구를 파악하고, 이해하기 쉬운 정보를 만들고, 환자 및 CIS 학생과 협업하는 방법을 배우는 것이었습니다. 이 과정을 진행하는 동안 두 의대생은 환자와 세 차례 만났습니다. 첫 번째 미팅에서는 의대생과 환자가 서로 친해지고 지식 클립의 주제를 결정했습니다. 2번과 3번 미팅에서 의대생은 지식 클립과 협력 기술에 대한 환자의 피드백을 받았습니다. 의대생 쌍은 시청각 정보 개발 방법에 대한 조언을 제공하고 지식 클립에 대한 피드백을 제공한 CIS 학생과도 세 차례 만났습니다[34]. 2020년 8월, 네덜란드 중심부의 한 대학병원에서 12명의 의대생이 이 선택 과목에 등록했습니다. 이 과정은 코로나19 팬데믹으로 인해 전적으로 온라인으로 진행되었습니다. 이 과정에 등록한 의대생 12명 중 11명이 이 연구에 참여하기 위해 사전 동의를 제공했습니다. 
The non-clinical context was a six-week elective course, in which pairs of sixth-year medical students developed audiovisual patient information, a knowledge clip. The knowledge clips were short (often animated) videos, where for instance a congenital heart disease is explained. Students developed these knowledge clips in collaboration with a patient and a Communication and Information Sciences (CIS) student [34]. The goal for medical students was learn how to identify a patient’s information need, create understandable information, and collaborate with a patient and a CIS student. During the course, the pair of medical students met three times with the patient. In meeting 1, the medical students and the patient got acquainted and determined the subject of the knowledge clip. In meetings 2 and 3, medical students received patient feedback on their knowledge clip and cooperation skills. The medical student pair also met three times with the CIS student, who provided advice on how to develop audiovisual information and gave feedback on the knowledge clip [34]. In August 2020, twelve medical students from an academic hospital in the center of the Netherlands enrolled in this elective course. The course was entirely online, due to the COVID pandemic. Eleven out of twelve medical students who signed up for the course enrollees provided informed consent to participate in this study.

임상 상황은 소아과와 산부인과를 결합한 12주간의 임상 실습이었으며, 4학년 의대생들은 의학 커리큘럼의 필수 과정으로 이 실습에 참여했습니다. 실습 기간 동안 학생들은 두 명의 환자에게 피드백을 요청했습니다. 이에 대비하여 학생들은 대화를 통해 적절한 시기에 적절한 피드백을 요청하는 자기 주도적 피드백 과정을 이수했습니다[35]. 임상 실습이 끝날 무렵, 학생들은 의미 파악과 행동 계획에 초점을 맞춘 촉진된 성찰 세션에 참여했습니다[35]. 2022년 6월부터 8월까지 사무원 과정을 마친 학생들은 이 연구에 참여하도록 요청받았습니다. 54명 중 10명의 학생이 사전 동의를 통해 참여에 동의했습니다. 
The clinical context was a twelve-week clerkship combining Pediatrics and Gynecology, in which fourth-year medical students participated as a mandatory part of their medical curriculum. During the clerkship, students asked two patients for feedback. In preparation, students completed a self-directed feedback course on asking for relevant feedback, at the right time, through dialogue [35]. At the end of the clerkship, students participated in a facilitated reflection session, which focused on sense-making and action-planning [35]. Students who completed their clerkship between June – August 2022, were asked to participate in this study. Ten students out of 54 provided informed consent to participate.

익명성을 보장하고 명확성을 기하기 위해 이 논문에서 모든 학생은 '그녀'로, 모든 환자는 '그'로 지칭합니다. 간결성을 위해 의대생은 '학생'으로 지칭합니다.
To ensure anonymity, and for the sake of clarity, all students in this paper will be referred to as ‘she’, and all patients will be referred to as ‘he’. For the sake of brevity, medical students will be referred to as students.

데이터 수집
Data collection

비임상 분야의 경우, 신뢰성 문헌을 기반으로 반구조화된 인터뷰 가이드를 개발했습니다. 두 명의 학생을 대상으로 인터뷰 가이드를 시범 운영하여 약간의 조정을 거쳤습니다. 그런 다음, 후속 인터뷰가 유사하고 비교 가능한 방식으로 진행될 수 있도록 CE와 NM이 함께 처음 두 번의 인터뷰를 진행했습니다. 나머지 9번의 면접은 NM과 CE가 나누어 진행했습니다. 
For the non-clinical context, we developed a semi-structured interview guide based on credibility literature. We piloted the interview guide with two students, which resulted in minor adjustments. Then, CE and NM conducted the first two interviews together to ensure subsequent interviews were conducted similarly and comparably. The remaining nine interviews were divided between NM and CE.

인터뷰 가이드를 임상 상황에 맞게 조정하고 비임상 상황의 결과를 기반으로 했습니다. 세 번째 연구자(WD)가 임상 맥락에서 대부분의 인터뷰를 수행했습니다. 먼저, CE와 WD가 함께 두 번의 인터뷰를 진행하여 WD가 비임상 상황과 유사한 인터뷰를 수행할 수 있도록 훈련시켰습니다. 그런 다음 나머지 인터뷰는 WD가 진행했습니다. 
We adjusted the interview guide to fit the clinical context and build on the results from the non-clinical context. A third researcher (WD) performed most of the interviews from the clinical context. First, CE and WD conducted two interviews together to train WD in performing the interviews comparably to the non-clinical context. Then, WD conducted the remaining interviews.

인터뷰 가이드에는 환자의 신뢰도, 학생과 환자의 관계, 피드백 메시지에 대한 질문이 포함되어 있었습니다(부록 A 참조). 학생들은 선택 과목 또는 임상실습을 마친 후 개별적으로 인터뷰를 진행했습니다. 화상 통화 또는 대면으로 진행된 인터뷰는 음성으로 녹음하고 그대로 필사했습니다. 인터뷰는 약 60분간 진행되었습니다. 
The interview guide included questions on patients’ credibility, students’ relationship with the patients and the feedback messages (See Appendix A). Students were interviewed individually after completion of the elective course or clerkship. The interviews, which were conducted via video-call or face-to-face, were audio recorded and transcribed verbatim. Interviews lasted approximately 60 minutes.

데이터 분석
Data analysis

학생들이 환자의 신뢰도를 판단하는 방법을 이해하기 위해 신뢰도에 대한 학생들의 추론을 분석했습니다. 우리는 주제별 분석의 한 형태인 템플릿 분석을 수행하여 신뢰도 증가 또는 감소에 대한 학생들의 주장을 파악했습니다[36]. 이 방법을 선택한 이유는 이전의 피드백 신뢰도 문헌을 기반으로 구축할 수 있고, 귀납적으로 환자 신뢰도에 관한 새로운 코드를 개발할 수 있는 여지를 남겨두었기 때문입니다. 학생들이 어떻게 판단을 내리는지, 그리고 이것이 맥락적 요소의 영향을 받는지 이해하기 위해 인과적 네트워크 분석을 수행했습니다. 이 방법을 선택한 이유는 프로세스의 변수 간 일관성을 매핑하기 때문인데, 이는 신뢰성 판단과 같은 인지 프로세스에도 적용될 수 있습니다[37]. 학생들이 환자의 신뢰도를 판단하는 추론의 요소를 이 연구에서는 '논증'이라고 부릅니다. 
To understand how students make credibility judgments of patients, we analyzed their reasoning about credibility. We performed template analysis, which is form of thematic analysis, to identify students’ arguments for increased or reduced credibility [36]. We chose this method because it allowed for building on previous feedback credibility literature, and left room for inductively developing new codes regarding patient credibility. To understand how students built their judgment and how this was impacted by contextual elements, we performed a causal network analysis. We chose this method because it maps the coherence between variables of a process, which can also be applied to cognitive processes such as making a credibility judgment [37]. The elements in students’ reasoning for determining a patient’s credibility are called ‘arguments’ in this study.

인과 관계 네트워크 분석
Causal network analysis

판단이 어떻게 만들어지고 주장이 어떻게 연관되어 있는지 살펴보기 위해 사례 간 인과 네트워크 분석을 수행했습니다[37]. 

• 먼저, 학생들이 신뢰성 판단의 근거로 삼은 모든 주장의 목록을 작성했습니다. 이 목록은 템플릿 분석에서 도출된 것으로, 이 코드북의 각 코드는 하나의 논증과 유사했습니다.
• 둘째, 학생 한 명당 하나씩 21개의 인과 네트워크를 구성하여 이러한 주장과 그 관계를 표시했습니다. 관계를 다음을 통해 식별했습니다.
  • 학생들이 서로 조합하여 언급한 논증(텍스트 조각이 서로 겹치거나 이어지는 것을 의미),
  • 신호어 분석(예: 그렇다면, 그러므로, 그래서, 왜냐하면),
  • 시간성 분석(한 논증이 다른 논증에 영향을 미치는 경우 이 논증이 학생들의 추론에서 먼저 발생해야 함)
• 셋째, 21개의 개별 인과 네트워크는 개별 논증 간의 모든 상호작용을 포함하는 전체 네트워크로 결합되었습니다. 이 네트워크를 이해하기 쉽게 하기 위해 신뢰도 차원과 맥락, 피드백 메시지, 이전 경험의 요소 간의 상호작용만 설명하여 네트워크를 단순화했으며, 그 결과 그림 1과 같이 나타났습니다.

To explore how judgments were built, and how arguments were related, we performed cross-case causal network analyses [37].

• First, we constructed a list of all arguments on which students based their credibility judgments. This list was derived from the template analysis, each code of this codebook resembled an argument.
• Second, we constructed 21 causal networks, one for each individual student, in which we displayed these arguments and their relations. Relations were identified
  • by selecting arguments that students mentioned in combination with each other (meaning text-fragments overlapped or followed-up on each other),
  • by analyzing signal words (for instance: then, therefore, so, because), and
  • by analyzing temporality (if one argument affects the other, this argument must happen first in students’ reasoning).
• Third, the 21 individual causal networks were combined in an overarching network, that comprised all interactions between individual arguments. To make this network comprehensible, we simplified the network by only illustrating the interactions between dimensions of credibility and the elements of the context, the feedback message, and previous experiences, which resulted in Figure 1.

이 그림은 피드백 제공자인 환자에 대한 학생들의 신뢰도 판단을 시각화한 것입니다. 학생들의 신뢰도 판단은 환자의 선의, 신뢰성 및 역량에 관한 여러 가지 논증으로 구성되었습니다. 각 차원 내 및 차원 간의 논증은 서로 상호작용했습니다. 또한 학생들의 신뢰도 판단은 회색 원으로 표시된 것처럼 맥락, 피드백 메시지, 이전 경험 등의 요소에 의해 영향을 받았습니다. 이러한 요소는 환자의 선의, 신뢰성 및 역량에 관한 논쟁에 영향을 미칠 수 있습니다.
This figure visualizes students’ credibility judgments of patients as feedback providers. Students’ credibility judgments consisted of multiple arguments regarding a patient’s Goodwill, Trustworthiness and Competence. Arguments within and between the dimensions interacted with each other. Moreover, students’ credibility judgments were influenced by elements of the context, the feedback message and previous experiences, which is depicted by the gray circle. These elements could affect arguments regarding a patient’s Goodwill, Trustworthiness, and Competence.

반사성
Reflexivity

연구팀은 의사(CE, JF), 교육 과학자(RK, MS), 학생(WD, NM)으로 구성되었습니다. 연구팀의 다양한 배경과 역할은 데이터에 대한 다양한 관점을 제공했습니다. 우리 팀은 환자를 학습의 중요한 파트너이자 정당한 피드백 제공자라는 관점을 가지고 있습니다. 우리의 관점이 연구 참여자에게 전달되는 것을 제한하고 학생들이 자신의 관점을 공유할 수 있도록 인터뷰 질문을 신중하게 구성했습니다. 일부 저자는 비임상 과정(CE, JF)과 임상 맥락에서의 피드백 교육(CE, JF, RK) 개발에 참여했습니다. 연구 기간 동안 이들은 이러한 교육에 강사로 참여하지 않았습니다. 
The research team consisted of medical doctors (CE, JF), educational scientists (RK, MS), and students (WD, NM). The varied backgrounds and roles of our team provided multiple perspectives on our data. Our team has the viewpoint of patients being important partners in learning, and being legitimate feedback providers. To limit transferring our viewpoint to the study participants, and facilitate students in sharing their own viewpoints, we carefully formulated the interview questions. Some authors were involved in the development of the non-clinical course (CE, JF) and the feedback training in the clinical context (CE, JF, RK). During the study period they did not participate as teachers in these trainings.

또한 데이터 수집 및 분석 기간 동안 반사성을 높이기 위해 격주로 연구 회의를 개최하여 데이터 해석과 기본 가정을 논의했습니다. 
Furthermore, to enhance reflexivity biweekly research meetings were held during data collection and analysis, in which interpretation of the data and underlying assumptions were discussed.

학생이 신뢰도 판단의 근거로 삼은 논거
Arguments on which students based their credibility judgments

환자의 신뢰성에 대한 학생들의 판단에는 환자의 역량, 신뢰성, 선의에 관한 여러 논거가 포함되었습니다(표 1 참조). 학생들은 네 가지 논거를 바탕으로 환자의 유능성을 판단했습니다.

• 첫째, 학생들은 특정 과제에 대한 지식을 평가했습니다. 비임상적 맥락에서는 시청각적 의사소통에 대한 지식이 될 수 있습니다. 임상적 맥락에서는 의학 지식이 될 수 있습니다. 예를 들어, 학생들은 환자가 의료계에 종사할 때 더 유능하다고 판단했습니다.
• 둘째, 학생들은 예를 들어 환자가 직접 관찰을 통해 얻을 수 있는 학생의 수행 방식에 대한 지식을 추정했습니다.
• 셋째, 학생들은 환자가 피드백을 제공하는 데 경험이 많고 숙련되어 있는지를 평가했습니다.
• 마지막으로 학생들은 환자의 실제 경험을 추정했습니다.
  • 대부분의 학생들은 환자가 경험적 지식이 많을수록 더 유능하다고 생각했습니다.
  • 반대로, 일부 학생들은 '새로운' 환자가 새로운 관점을 가지고 있기 때문에 더 신뢰할 수 있다고 생각했습니다.

Students’ judgments about a patient’s credibility contained multiple arguments regarding a patient’s Competence, Trustworthiness, and Goodwill, see Table 1. Students judged patients’ Competence based on four arguments.

• First, they estimated their knowledge of the specific task. In the non-clinical context, this could be knowledge about audiovisual communication. In the clinical context, this could regard medical knowledge. For instance, students judged patients as more competent when they were in the medical profession.
• Second, students estimated patients’ knowledge of how the student performed, which patients for instance could have gained through direct observation.
• Third, students estimated whether patients were experienced and skilled in providing feedback.
• Lastly, students estimated patients’ lived experience.
  • Most students regarded patients as more competent when they possessed more experiential knowledge.
  • Conversely, some students reasoned that their ‘new’ patient was actually very credible because he had a fresh perspective.

"그는 병원에 대해 잘 몰랐고 어떻게 운영되는지 등에 대해 잘 몰랐습니다. 그래서 오히려 그의 말이 더 진솔하게 들렸던 것 같아요. 또한 무지에서 비롯된 무지에서 그는 '이건 이해가 안 된다, 저건 이해가 안 된다'는 식의 질문을 많이 했어요. 그렇지만 그는 자신이 느끼는 것을 그대로 말한다는 것을 의미했고, 그래서 더 신뢰가 갔습니다." - St4clinical(실제 경험)
“He was not familiar with the hospital and didn’t know about how things worked and so on. And I think that actually ensured that what he said came out really sincere. Also from this ignorance, he asked many questions like we don’t understand this, or we don’t understand that. That did mean that he really just says what he feels, … I found him more credible because of it.” – St4clinical (Lived experience)

학생들은 두 가지 논거를 바탕으로 환자의 신뢰도를 판단했습니다. 

• 첫째, 학생들은 환자가 피드백에 성실하고 정직한지 여부를 평가했습니다. 
• 둘째, 학생들은 환자의 개방성과 개선할 점을 과감하게 언급하는지 여부를 평가했습니다.

Students judged patients’ Trustworthiness on two arguments.

• First, students estimated whether a patient was sincere and honest in his feedback.
• Second, students estimated a patient’s openness and whether he dared to mention points for improvement.

"[협업에 대한 피드백]의 경우, 환자의 피드백이 대부분 긍정적이었고 100% 정직했는지는 잘 모르겠기 때문에 조금 낮게 평가했습니다. 추정하기 어렵습니다. 그래서 저는 그가 저에게 피드백을 주는 것에 대해 개인적으로 특별히 신뢰할 수 없다고 생각합니다. 그가 피드백에 완전히 정직하게 임하고 있는지 잘 모르겠어요." -St6비임상(성실성)
“In terms of [feedback on] our collaboration, it’s a bit lower, because his feedback was mostly positive and I am not sure if he was being 100% honest. I find that hard to estimate. And that’s why I don’t find him particularly credible, as a person, to give me feedback. I can’t quite sense whether he is being completely honest in his feedback.” –St6nonclinical (Sincerity)

학생들은 두 가지 논거를 바탕으로 환자의 선의를 판단했습니다. 

• 첫째, 학생들은 환자가 시간을 내어 피드백을 제공하고 교육 프로젝트에 참여하는 등 학생의 학습을 돕고자 하는 의지가 있는지를 평가했습니다. 
• 둘째, 학생들은 환자가 학생의 사생활에 관심을 보이고 학생의 존재에 감사를 표하는 등 학생을 인격적으로 돌보는지 여부를 평가했습니다. 후자는 신뢰도를 높이거나 낮출 수 있습니다. 어떤 학생들은 환자가 학생의 감정을 상하게 하지 않기 위해 비판을 피할 것이라고 추론했습니다.

Students judged patients’ Goodwill on two arguments.

• First, they estimated whether the patient had the intention to help the student learn, for instance by taking time to provide feedback and by being engaged in the educational project.
• Second, students estimated whether the patient cared for the student as a person, for instance by showing interest in the student’s personal life and by expressing gratefulness for the student’s presence. The latter could both increase and decrease credibility. Some students reasoned that a patient would avoid criticism to avoid hurting the student’s feelings.

"글쎄요, '그냥 학생일 뿐인데 상처 주고 싶지 않아요'라고 생각할 수도 있죠. 네, 그리고 그 학생도 최선을 다하고 있을 뿐이죠. 부정적인 말을 해서 저에게 상처를 주고 싶지 않을 수도 있죠." -St4clinical(돌보는 사람)
“Well, he might think ‘she’s just a student, I don’t really want to hurt her. Yes, and she’s also just trying to do the best she can.’ He may not want to hurt me by saying anything negative.” –St4clinical (Caring for person)

인과 관계 네트워크 분석 결과, 학생들은 여러 주장에 무게를 두어 판단을 내리는 것으로 나타났습니다. 서로 다른 차원의 주장이 서로 상호작용했습니다(그림 1 참조). 예를 들어, 한 학생은 환자가 자신의 학습에 관심을 갖고 있다고 가정했기 때문에(선의) 환자가 성실하고 개방적이라고 추론했습니다(신뢰성). 연구 결과에 따르면 학생들의 환자의 신뢰도에 대한 판단은 '전부 아니면 전무'의 판단이 아니었습니다. 오히려 학생들은 신뢰도에 기여하는 논거와 신뢰도를 떨어뜨리는 논거를 고려하여 환자에게 어느 정도의 신뢰도를 부여했습니다.
Causal network analysis showed that students built their judgments by weighing multiple arguments. Arguments of different dimensions interacted with each other (See Figure 1). For instance, a student reasoned that the patient was sincere and open (Trustworthiness), since she assumed that the patient cared for her learning (Goodwill). Our results suggest that students’ judgments of a patient’s credibility were not ‘all or nothing’ judgments. Rather, students assigned a certain degree of credibility to a patient, taking into consideration arguments that contributed to credibility, and arguments that reduced credibility.

맥락의 요소가 신뢰도 판단에 미치는 영향
How elements of the context affect credibility judgments

학생들은 신뢰도 판단에 영향을 미치는 네 가지 맥락적 요소를 언급했습니다(표 2 참조).
Students mentioned four contextual elements that affected their credibility judgments (See Table 2).

세 가지 맥락 요소는 임상적 맥락에서 학생들이 언급했거나 비임상적 맥락에서 학생들이 언급했습니다.
Three contextual elements were either mentioned by students in the clinical context, or by students in the non-clinical context.

첫째, 임상적 맥락에서 학생들은 자신과 환자 사이에 치료적 관계가 있다고 언급했는데, 환자는 치료가 필요한 상태이고 학생은 치료를 제공하는 팀의 일원이었습니다. 학생들은 환자가 힘의 불균형을 인식하고 자신에게 의존한다고 느낄 수 있기 때문에 피드백 과정에 방해가 될 수 있다고 추론했습니다. 따라서 환자들이 감히 개방적이고 솔직하게 말하지 못해(신뢰성) 신뢰도가 낮아질 수 있다는 것이었습니다.
First, in the clinical context, students mentioned that there was a therapeutic relationship between them and the patient, with the patient being in need of care and the student being part of the team that provides care. Students reasoned that this could have hindered the feedback process, since patients could perceive a power imbalance and feel dependent on them. Therefore, patients might not dare to be open and honest (Trustworthiness), which lowered their credibility.

"나중에 그 환자도 우리에게 의존하고 있기 때문에 치료 관계를 유지하고 싶다고 말했습니다. 그리고 그도 마음 한구석에 우리와 우호적인 관계를 유지해야 한다는 생각을 가지고 있었기 때문에 너무 비판적으로 대하고 싶지 않았던 것 같습니다."-St4clinical
“He said that later on too, that he wants to maintain the treatment relationship, because he does depend on us as well. And I think that’s why he also has in the back of his mind that he has to remain friendly with us, which is perhaps why he didn’t want to be too critical.”-St4clinical

흥미롭게도 한 학생은 시간이 지남에 따라 환자가 학습자로서의 자신의 역할을 더 잘 인식하게 되었고, 이로 인해 치료 관계는 더 뒷전으로 밀려났으며 학습을 돕고자 하는 환자의 의지가 높아졌다고 말했습니다(Goodwill).
Interestingly, one student mentioned that over time the patient became more aware of her role as a learner, which had put the therapeutic relationship more to the background, and increased the patient’s willingness to help the student learn (Goodwill).

"그 덕분에 그는 인턴이 무엇을 수반하는지 더 잘 알았던 것 같아요. 그리고 실제로 더 나은 피드백을 줄 수 있었던 것 같아요. '당신은 정말 배우러 왔고 내 의사가 아니기 때문에 내 치료 계획을 세우지 않을 거야'라고 생각했기 때문이죠. 그래서 저는 그 부분(즉, 학습)을 도와드리고 싶습니다."-St7clinical
“because of that, I think he knew more what an intern entailed. And I think that actually allowed him to give better feedback, because he was more like okay, so you’re really here to learn and you’re not my doctor, so you’re not going to set my treatment plan. So I want to help you with that [ i.e. learning].”-St7clinical

둘째, 임상 맥락에서 학생들은 환자의 감정 상태가 신뢰도에 영향을 미친다고 언급했습니다. 학생들은 피드백 메시지가 환자의 감정에 의해 형성된다고 추론했습니다. 예를 들어 환자가 좋은 소식을 듣고 행복하거나 안심한 상태라면 피드백이 더 긍정적일 것이고, 그 반대의 경우도 마찬가지입니다. 또한, 학생들은 환자가 낯선 환경에 처해 있거나 매우 아프다는 등의 이유로 취약하다고 느끼면 감히 비판적인 피드백(신뢰성)을 제공하지 않을 것이라고 추론했습니다. 또한 학생들은 스트레스를 받거나 긴장한 환자에 비해 차분하고 편안해 보이는 환자를 더 신뢰할 수 있다고 답했는데, 그 이유는 후자의 경우 학생의 학습에 관심을 갖거나(선의) 학생을 관찰하고 수행 능력을 판단할 수 있는 적절한 마음 상태가 아닐 수 있기 때문입니다(유능성).
Second, in the clinical context, students mentioned that the patient’s emotional state impacted his credibility. Students reasoned that feedback messages were shaped by patients’ emotions. For example, if a patient was happy or relieved due to receiving good news, then his feedback would be more positive, and vice versa. Moreover, students reasoned that patients would not dare to provide critical feedback (Trustworthiness) if they felt vulnerable, for instance because they were in an unknown environment or were very sick. Besides, students mentioned that patients who appeared calm and at ease where more credible compared to patients who were stressed or nervous, because the latter might not be in the right state of mind to care about students’ learning (Goodwill) or observe the student and make judgments about her performance (Competence).

"네, [이 환자는] 따라서 덜 긴장하고 덜 감정적이었으며, 이 업무 환경에서 [내가] 어떻게 하고 있는지 생각할 수 있는 여유가 더 많았습니다. 따라서 자신에게 너무 집중하는 대신 상대방을 바라볼 수 있는 여유도 생겼습니다. 제 생각에 그는 더 나은 피드백을 줄 수 있었고 더 신뢰할 수 있었습니다. 그리고 그는 좀 더 객관적이었던 것 같아요." - St6clinical
“Yes [this patient was] therefore less nervous, and therefore less emotional, with more space to think about how [I am] doing in this work environment. There is therefore also more space to look at the other person instead of focusing too much on yourself. In my opinion, he could therefore give better feedback and was more credible. And he was a bit more objective as well, I think.” – St6clinical

셋째, 비임상 환경의 학생들은 시청각 환자 정보(지식 클립)에 대한 다른 제공자의 피드백 메시지가 환자의 신뢰도에 영향을 미친다고 언급했습니다. 교육 과정에서도 학생들은 의료 전문가와 동료로부터 지식 클립에 대한 피드백을 받았습니다. 환자의 피드백이 의료 전문가나 동료의 피드백에 추가되거나 그에 부합하는 경우, 환자는 더 신뢰할 수 있는 것으로 간주되었습니다.
Third, students in the non-clinical context mentioned that feedback messages of other providers on their audiovisual patient information (the knowledge clip) affected the patient’s credibility. In the educational course, students also received feedback on their knowledge clip from healthcare professionals and peers. When the patient’s feedback added to, or was in accordance with, feedback from healthcare professionals or peers, the patient was seen as more credible.

"실제로 [심리학자]가 제공한 조언은 [환자]의 조언과 완전히 같거나 거의 똑같았습니다. 그래서 항상 매우 비슷했습니다. ... 그래서 [그의] 신뢰성이 강화되었습니다." -St9비임상
“Actually, the tips given by [a psychologist] were exactly the same, or almost exactly the same as [the patient’s]. So that was always very similar. … which did reinforce [his credibility].” -St9nonclinical

맥락의 한 가지 요소인 '신뢰 관계'는 두 맥락 모두에서 학생들이 언급했습니다. 상호 존중과 신뢰로 특징지어지는 유대감은 신뢰도를 높이거나 낮출 수 있습니다. 

• 일부 학생들은 긍정적인 유대감으로 인해 환자가 학습에 더 많은 관심을 갖게 되고(선의), 더 개방적으로 행동하게 된다고 추론했습니다(신뢰성).
• 그러나 다른 학생들은 긍정적인 유대감 때문에 환자들이 관계의 손상을 두려워하여 개선해야 할 점에 대해 덜 솔직해졌다고 추론했습니다(신뢰성). 

One element of the context, ‘trusting bond’, was mentioned by students in both contexts. A bond, characterized by mutual respect and trust, could both increase or decrease credibility.

• Some students reasoned that their positive bond made patients care more about their learning (Goodwill) and made them dare to be more open (Trustworthiness).
• However, other students reasoned that their positive bond made patients less open about points for improvement (Trustworthiness), because they feared damaging the relationship.

"아마도 그 때문에 왠지 신뢰도가 조금 떨어졌을 것 같아요... 우리는 아주 좋은 관계를 유지하고 있는데, 그가 여전히 감히 엄격할 수 있을까, 말하자면 여전히 감히 팁을 제시할 수 있을까 하는 생각이 들었어요." -St3비임상 
“Maybe that somehow made him a little less credible, that I thought … we have a very good relationship, does he still dares to be strict, so to speak, does he still dare to come up with tips.” –St3nonclinical

피드백 메시지와 이전 경험이 신뢰도 판단에 미치는 영향
How the feedback message and previous experiences affect credibility judgments

맥락의 요소 외에도 피드백 메시지와 환자의 피드백에 대한 이전 경험도 학생들의 신뢰성 판단에 영향을 미치는 것으로 나타났습니다. 피드백 메시지와 관련하여, 학생들은 피드백 메시지가 구체적이고 광범위하며 긍정적인 피드백과 개선점을 모두 포함하고 있다고 인식할 때 환자가 자신의 학습에 관심을 갖고(선의), 개방적이고 정직하며(신뢰성), 피드백 제공에 능숙하다고(유능함) 추론했습니다. 이는 그 반대의 경우도 마찬가지였습니다: 
Besides elements of the context, students reasoning also showed that the feedback message, and previous experiences with patient feedback, affected students’ credibility judgments. With regard to the feedback message, when students perceived the feedback message as specific, extensive, and containing both positive feedback and points for improvement, they reasoned that the patient cared for their learning (Goodwill), was open and honest (Trustworthiness), and that he was skilled in providing feedback (Competence). This also worked vice versa:

"그의 피드백은 대부분 긍정적이었지만 그가 100% 정직했는지는 잘 모르겠습니다. 평가하기 어렵습니다. 그래서 저는 그가 저에게 피드백을 주는 것에 대해 인간으로서 특별히 신뢰할 수 없다고 생각합니다. 그가 피드백에 대해 완전히 정직한지 잘 모르겠습니다."-St6nonclinical(성실성) 
“his feedback was mostly positive and I am not sure if he was being 100% honest. I find that hard to estimate. And that’s why I don’t find him particularly credible, as a person, to give me feedback. I can’t quite sense whether he is being completely honest in his feedback.”–St6nonclinical (Sincerity)

개인적 특성과 관련하여 비임상 환경의 일부 학생들은 과거에 환자 피드백에 대한 긍정적인 경험을 가지고 있었습니다. 이 때문에 환자 피드백의 가치를 더 잘 인식하게 되었고, 따라서 환자를 더 신뢰할 수 있다고 판단했습니다. 
With regard to personal characteristics, some students in the non-clinical context had positive past experiences with patient feedback. This made them more aware of the value of patient feedback, and therefore judge patients as more credible.

"환자의 피드백은 궁극적으로 메시지를 전달하고 싶거나 안심시키고 싶은 사람이기 때문에 환자의 피드백에 많은 가치가 있다는 것을 이전의 경험을 통해 알게 된 것 같습니다. 목표를 달성하고자 하는 사람이 바로 환자이기 때문에 목표를 달성했는지 여부와 그 이유 또는 그렇지 않은 이유에 대해 가장 좋은 피드백을 줄 수 있는 사람이기도 합니다." -St1비임상 
“I do think I have learnt through that earlier experience that there is a lot of value in the patient’s feedback, because the patient is ultimately the person you either do want to convey a message to or you want to reassure. That’s the person you want to achieve your objective with, so that’s also the person who can actually give you the best feedback on whether you achieved that goal and why or why not.” –St1nonclinical

신뢰성에 대한 학생들의 추론을 분석한 결과, 환자에 대한 신뢰성 판단은 여러 가지 상호 작용하는 논거를 종합적으로 고려한다는 사실이 명확해졌습니다. 이러한 주장은 맥락, 피드백 메시지 및 이전 경험에 의해 형성됩니다(그림 1 참조). 부록 C에는 한 학생의 인과 네트워크가 표시되어 있는데, 이 학생은 환자에 대한 신뢰성 판단을 어떻게 구축했는지 보여줍니다. 
Analysis of students’ reasoning about credibility clarified that their credibility judgments regarding patients is a weighing of multiple interacting arguments. These arguments are shaped by the context, the feedback message and previous experiences (See Figure 1). Appendix C displays the causal network of a student, which shows how she built her credibility judgment of a patient.

향후 연구를 위한 제한점 및 제안
Limitations and suggestions for future research

이 연구에서는 학생들의 신뢰도 판단에 대한 인식에 초점을 맞추었기 때문에 필연적으로 한계가 있습니다. 연구 데이터는 회상에 기반한 것이기 때문에 신뢰성에 대한 논거가 숨겨져 있을 가능성이 남아있습니다. 또한 지각을 연구했기 때문에 제도적 문화와 같이 신뢰성 판단에 영향을 줄 수 있는 외적, 무의식적 측면도 숨겨져 있었을 수 있습니다[52, 53]. 이러한 측면을 수정하고 통제하는 실험 설계를 통해 신뢰도 판단에 미치는 영향을 밝힐 수 있습니다.
In this study we focused on students’ perceptions of their credibility judgments, which inevitably brings limitations. The study data is based on recall, which leaves the possibility that arguments for credibility remained hidden. Moreover, since we studied perceptions, external and subconscious aspects that can influence credibility judgments, like institutional culture, might also have remained hidden [52, 53]. Experimental designs that modify and control these aspects could reveal their impact on credibility judgments.

또한, 연구 대상 집단이 숙련된 의료 전문가로 제한되어 있어 데이터의 전달성이 제한될 수 있습니다. 임상 현장에 있는 대부분의 학생들에게는 환자에게 피드백을 요청하는 것이 처음이었기 때문입니다. 연구 결과에 따르면 신뢰성 판단은 피드백을 받는 사람의 과거 경험에 의해 부분적으로 형성됩니다. 따라서 숙련된 의료진은 환자의 신뢰도를 다르게 판단할 수 있습니다. 그러나 우리의 목적은 학생의 환자에 대한 신뢰도 판단에 대해 심층적으로 탐구하는 것이었습니다. 따라서 우리의 연구 결과는 (미래의) 의료 전문가가 환자에 대한 신뢰성 판단을 내리는 복잡한 과정을 밝히기 위한 향후 연구의 출발점이 될 수 있습니다. 
Moreover, our study population might limit the transferability of our data to experienced healthcare professionals. For most students in the clinical context, it was their first time asking patients for feedback. Our results show that credibility judgments are partly shaped by past experiences of the feedback receiver. Therefore, experienced healthcare professionals might judge a patient’s credibility differently. However, our purpose was to conduct an in-depth exploration of students’ credibility judgments regarding patients. Our results therefore serve as a starting point on which future studies can build, to further unravel the complex process by which credibility judgments regarding patients are made by (future) healthcare professionals.

결론적으로, 의대생들은 환자의 역량, 신뢰성, 선의의 측면을 판단하여 환자가 신뢰할 수 있는 피드백 제공자인지 여부를 결정합니다[18]. 학생들의 판단은 관계와 관련 목표라는 맥락에서 여러 가지, 때로는 상충되는 요소들을 종합적으로 고려하여 이루어집니다. 임상적 맥락에서 학생-환자 관계의 치료 목표와 교육 목표 사이에 인식되는 긴장은 신뢰성을 떨어뜨릴 수 있습니다. 향후 연구에서는 학생과 환자 간에 목표와 역할을 논의하여 열린 피드백 대화의 장을 마련할 수 있는 방법을 모색해야 합니다. 
In conclusion, medical students judge aspects of patients’ Competence, Trustworthiness and Goodwill to determine whether they are credible feedback providers [18]. Students’ judgments are a weighing of multiple and sometimes conflicting factors, within the context of relationships and their associated goals. In the clinical context, perceived tensions between therapeutic goals and educational goals of the student-patient relationship can diminish credibility. Future research should explore how goals and roles can be discussed between students and patients to set the stage for open feedback conversations.

1Faculty of Medicine, Utrecht University, the Netherlands.

2Department of Pediatrics, University Medical Center Utrecht, the Netherlands.

3Utrecht Center for Research and Development of Health Professions Education, University Medical Center Utrecht, the Netherlands.

4Freudenthal Institute, Utrecht University, the Netherlands.

Introduction: Patient feedback is becoming ever more important in medical education. Whether students engage with feedback is partly determined by how credible they think the feedback provider is. Despite its importance for feedback engagement, little is known about how medical students judge the credibility of patients. The purpose of this study was therefore to explore how medical students make credibility judgments regarding patients as feedback providers.

Methods: This qualitative study builds upon McCroskey's conceptualization of credibility as a three-dimensional construct comprising: competence, trustworthiness, and goodwill. Since credibility judgments are shaped by the context, we studied students' credibility judgments in both a clinical and non-clinical context. Medical students were interviewed after receiving feedback from patients. Interviews were analyzed through template and causal network analysis.

Results: Students based their credibility judgments of patients on multiple interacting arguments comprising all three dimensions of credibility. In estimating a patient's credibility, students reasoned about aspects of the patient's competence, trustworthiness, and goodwill. In both contexts students perceived elements of an educational alliance between themselves and patients, which could increase credibility. Yet, in the clinical context students reasoned that therapeutic goals of the relationship with patients might impede educational goals of the feedback interaction, which lowered credibility.

Discussion: Students' credibility judgments of patients were a weighing of multiple sometimes conflicting factors, within the context of relationships and their associated goals. Future research should explore how goals and roles can be discussed between students and patients to set the stage for open feedback conversations.

의과대학 및 기타 보건 전문직 교육(HPE) 학교는 자격을 갖춘 학생을 선발할 뿐만 아니라 이들이 미래에 복무하게 될 다양한 사회를 반영하는 학생 집단을 만들어야 할 책임이 있습니다(General Medical Council, 2015). 형평성과 공정성 문제 외에도 다양한 의료 인력은 의료 서비스 제공자의 문화적 역량을 향상시키는 것 외에도, 다양한 인구 집단에 대한 양질의 의료 서비스에 대한 접근성을 높이고 균등화하는 데 중요합니다(Cohen et al., 2002; Morgan et al., 2016). 그러나 학부 HPE 프로그램의 선발 절차는 지원자 하위 그룹에 선발 기회가 불균등하게 분배되기 때문에 학생의 다양성이 영향을 받을 수 있습니다(Fielding 외, 2018; Mathers 외, 2016). 선발 절차에는 국가 수준 또는 개별 학교에서 정의한 매우 다양한 도구가 포함될 수 있을 뿐만 아니라 동일한 도구가 다른 방식으로 구현될 수도 있습니다. 이는 서로 다른 도구가 학생 다양성에 차별적인 영향을 미치는지, 그리고 일부 도구가 학생 다양성에 미치는 영향과 관련하여 다른 도구보다 맥락에 더 독립적인지 의문을 제기합니다(Patterson et al., 2016). 본 다중 사이트 연구에서는 다양한 맥락에서 지원자 하위 그룹의 선발 기회와 다양한 선발 도구에 대한 성과를 조사했습니다.
Medical schools and other health professions education (HPE) schools are responsible for selecting qualified students, as well as generating student populations that reflect the diverse society they will serve in the future (General Medical Council, 2015). A diverse healthcare workforce, aside from issues of equity and fairness, is important to improve the cultural competency of healthcare providers, and increase and equalize access to high-quality healthcare for different population groups (Cohen et al., 2002; Morgan et al., 2016). However, student diversity can be affected by the use of selection procedures for undergraduate HPE programs, as selection chances are unequally distributed across subgroups of applicants (Fielding et al., 2018; Mathers et al., 2016). Selection procedures cannot only include a great variety of tools, either defined at a national level or by an individual school, but the same tool can also be implemented in different ways. This raises the question if different tools have differential effects on student diversity (Patterson et al., 2016), and if some tools are more context-independent than others concerning their impact on student diversity. In the present multi-site study, we examined the selection chances of applicant subgroups and their performance on different selection tools in multiple contexts.

지금까지의 연구에 따르면 선발 절차는 주로 사회경제적 지위(SES)가 낮고 소수 민족 출신 지원자의 선발 기회에 부정적인 영향을 미치는 것으로 나타났습니다(Fielding 외, 2018; Mathers 외, 2016; Mulder 외, 2022; Stegers-Jager 외, 2015; Steven 외, 2016). 그러나 절차에 사용된 도구의 조합에 따라 하위 그룹 간의 성과 차이가 달라질 수 있기 때문에 이러한 효과가 항상 단순하지는 않을 수 있습니다(Stegers-Jager, 2018). 전통적으로 미국과 유럽의 선발 절차에는 주로 지적 능력을 측정하기 위한 사전 교육 평점 평균(pre-GPA)과 인지 테스트가 포함되었습니다. 지난 수십 년 동안 기존 도구에서 얻은 정보를 추가하고 종종 개인의 자질을 평가하려는 목적으로 광범위한 선발 기준을 포함하는 방향으로 변화해 왔습니다(Niessen & Meijer, 2017; Stegers-Jager, 2018). 이력서(CV)와 상황 판단 테스트(SJT)가 그 예입니다. 이 백서에서는 이러한 구분을 전통적 기준과 확장된 기준이라는 용어로 지칭할 것입니다. 
So far, literature has shown that selection procedures mainly negatively affect the selection chances of applicants with lower socio-economic status (SES) and from ethnic minorities (Fielding et al., 2018; Mathers et al., 2016; Mulder et al., 2022; Stegers-Jager et al., 2015; Steven et al., 2016). However, this effect may not always be straightforward, as performance differences between subgroups can depend on the combination of tools used in the procedures (Stegers-Jager, 2018). Traditionally, selection procedures in the United States and Europe mainly included prior education grade point average (pre-GPA) and cognitive tests, aimed at measuring intellectual ability. In the past decades, there has been a shift towards the inclusion of broadened selection criteria, which aim to add to the information derived from traditional tools, and often intend to evaluate personal qualities (Niessen & Meijer, 2017; Stegers-Jager, 2018). Examples include curriculum vitae (CV) and situational judgement tests (SJT). In this paper, we will refer to this distinction with the terms traditional and broadened criteria.

선행 연구에 따르면, 전통적인 기준에서는 높은 사회경제적 지위와 다수인종 지원자에게 유리하게 작용하는 것으로 나타났습니다(Girotti 외, 2020; Juster 외, 2019; Lievens 외, 2016; Stegers-Jager 외, 2015). 학생 다양성에 대한 이러한 부정적 영향을 완화하기 위해 부분적으로 확대된 선발 기준이 도입되었지만, 지금까지의 결과는 일관되지 않습니다(Stegers-Jager, 2018). 예를 들어,

• Lievens 등(2016)은 영국에서 SJT를 도입하면 저소득층 지원자의 대표성은 높아지지만 소수민족 지원자의 대표성은 높아지지 않는다는 사실을 발견했습니다.
• 그러나 미국에서 실시한 유사한 연구에서는 SJT를 추가하는 것이 저소득층과 소수민족 지원자 대표성 모두에 유리한 것으로 나타났습니다(Juster et al., 2019).

Prior research demonstrated performance discrepancies on traditional criteria, favoring higher SES and ethnic majority applicants (Girotti et al. 2020; Juster et al., 2019; Lievens et al., 2016; Stegers-Jager et al., 2015). Although broadened selection criteria were partly introduced to mitigate these adverse effects on student diversity, results so far are inconsistent (Stegers-Jager, 2018). For instance,

• Lievens et al (2016) found that the inclusion of an SJT in the United Kingdom could increase the representation of lower SES applicants, but not of ethnic minority applicants.
• However, a similar study in the United States found that adding an SJT was advantageous for the representation of both lower SES and ethnic minority applicants (Juster et al., 2019).

이는 선발 도구가 다양성에 미치는 영향이 적어도 확대된 기준의 경우 상황에 따라 달라질 수 있음을 시사합니다. 커리큘럼 샘플링 테스트는 국제적인 맥락에서 점점 더 많이 사용되고 있으며 학업 성취도를 예측하는 데 효과적인 것으로 입증된 확장된 기준을 평가하는 또 다른 도구입니다(Niessen et al., 2018). 커리큘럼 샘플링 시험은 학업 프로그램 과목의 대표적인 부분을 모방합니다. 일반적으로 지원자는 입문 과정의 소규모 버전에서 문헌을 공부하거나 동영상 강의를 시청한 후 시험을 치릅니다(Niessen 외, 2018). 커리큘럼 샘플링 시험은 지식, 동기 부여, 학습 시간 등 다양한 속성을 측정하는 데 목적이 있습니다(Niessen & Meijer, 2017). 또한 이러한 테스트는 지원자의 프로그램 '적합성'(예: 시험 및 학습 방식)을 평가하는 데 목적이 있습니다. 저희가 아는 한, 이 특정 도구에 대한 하위 그룹별 성과 차이는 아직 조사되지 않았습니다.
This implies that the effects of selection tools on diversity can be context-dependent, at least in the case of broadened criteria. The curriculum-sampling test is another tool assessing broadened criteria that is increasingly used in international contexts and proved effective in terms of predicting academic achievement (Niessen et al., 2018). Curriculum-sampling tests mimic representative parts of a subject of the academic program. Generally, applicants study literature or watch video lectures from small-scale versions of an introductory course, followed by an exam (Niessen et al., 2018). Curriculum-sampling tests are aimed at measuring a mixture of attributes such as knowledge, motivation, and time spent studying (Niessen & Meijer, 2017). Additionally, these tests intend to assess the applicants’ ‘fit’ with the program (e.g., the way of testing and studying). To our knowledge, subgroup performance differences on this specific tool have not yet been investigated.

국가마다 학생 선발 및 입학에 관한 법률과 규정은 물론 학생 다양성에 관한 고유한 맥락이 있습니다. 네덜란드의 경우, 수년간의 추첨 방식이 사라지고 이제는 프로그램에서 자체적으로 선발 절차를 설계하는 것이 일반적입니다. 프로그램은 자체 개발 및 표준화된 도구 중 어떤 도구를 포함할지, 얼마나 많은 도구를 포함할지(최소 2개 이상)를 독립적으로 결정합니다. 그 결과 매우 다양한 절차와 도구가 등장했습니다. 전국적인 후향적 연구 결과에 따르면 추첨제 폐지 이후 지원자 하위 그룹 간 선발 기회의 불평등이 증가한 것으로 나타났습니다(멀더 외, 2022). 저자들은 여성, 다수민족 지원자, 사회경제적 지위가 높은 지원자가 다른 지원자에 비해 입학 확률이 더 높다는 사실을 발견했습니다. 그러나 이 연구에서는 다양한 선발 절차와 도구의 역할은 고려하지 않았습니다. 이전의 한 단일 사이트 연구에서 이 문제를 밝히려고 시도한 결과, 소수 민족과 낮은 SES 지원자는 학업 기준에서는 낮은 점수를 받았지만 비학업 기준에서는 그렇지 않았다는 결론을 내렸습니다(Stegers-Jager 외., 2015). 연구진은 조사 대상 기관의 경우 남성이 여성에 비해 선발 가능성이 더 높다는 사실을 발견했는데, 이는 다시 학업 기준의 성적과만 관련이 있었습니다. 이는 앞서 언급한 국가적 연구 결과와 모순되는 결과입니다(멀더 외, 2022). 이는 선발이 학생의 다양성에 미치는 영향이 맥락에 따라 달라진다는 가설을 강화합니다. 단일 사이트 연구에서 추가로 관찰된 것은 이민 1세대라는 사실이 더 열악한 선발 결과와 관련이 있다는 점입니다(Stegers-Jager 외., 2015). 이는 국가 코호트 연구에서는 고려되지 않은 변수입니다. 두 연구 모두에 포함되지 않은 잠재적으로 관련성이 있는 마지막 변수는 사전 교육입니다. 최근 보고서에 따르면 외국 교육 경험이 있는 지원자는 '전통적인' 대학 전 과정 지원자에 비해 선발 기회가 더 적었습니다(Van Den Broek et al., 2018).  
Every country has its own laws and regulations for selection and admission, as well as a unique context regarding student diversity. Typical for the Netherlands is that, after years of lottery, programs are now responsible for designing their own selection procedures. Programs independently decide which tools they include (both self-developed and standardized), and how many they include (with a minimum of two). This results in a great variety of procedures and tools. Results from a national retrospective study indicate that since the abolishment of lottery, inequality in selection chances between subgroups of applicants has increased (Mulder et al., 2022). The authors found that women, ethnic majority applicants, and applicants with higher SES had a higher probability of admission compared to their peers. However, this study did not take into account the role of the extensive range of possible selection procedures and tools. One previous single-site study attempted to unravel this matter, and concluded that ethnic minority and lower SES applicants had lower scores on academic criteria, but not on non-academic criteria (Stegers-Jager et al., 2015). The researchers discovered that for the institution under consideration, men had higher selection chances compared to women, which was again only related to performance on academic criteria. This contradicts the findings of the aforementioned national study (Mulder et al., 2022). This strengthens the hypothesis that the effects of selection on student diversity are context-dependent. An additional observation of the single-site study was that being a first-generation immigrant was correlated with poorer selection outcomes (Stegers-Jager et al., 2015), a variable that was not accounted for in the national cohort study. A final potentially relevant variable that was included in neither of the studies, is prior education. A recent report indicated that applicants with prior foreign education had smaller selection chances compared to applicants from the ‘traditional’ pre-university track (Van Den Broek et al., 2018).

요컨대, 다양한 선발 도구가 서로 다른 맥락에서 학생의 다양성에 어떤 영향을 미칠 수 있는지는 명확하지 않습니다. 네덜란드의 HPE 프로그램은 선발 절차를 자유롭게 설계할 수 있기 때문에 다양한 선발 도구를 사용하여 여러 절차에서 학생 다양성에 미치는 선발 효과를 비교할 수 있는 독특한 기회를 제공합니다. 본 전향적 다중 사이트 연구는 성별, 이주 배경(인종 지표), 부모 교육(SES 지표), 이전 교육에 따라 지원자 하위 그룹을 대상으로 5개의 학부 HPE 프로그램에 선발될 확률을 평가하는 것을 목표로 했습니다. 또한 두 가지 전통적인 선발 도구(사전 GPA, 생물의학 지식 테스트)와 두 가지 확장된 기준(커리큘럼 샘플링 테스트, 이력서)을 평가하는 도구에 대한 성과 차이를 조사했습니다. 
In short, it is not clear how different selection tools can affect student diversity across different contexts. The freedom of Dutch HPE programs to design their selection procedures creates the unique opportunity to compare the effects of selection on student diversity across different procedures with a variety of selection tools. The present prospective multi-site study aimed to evaluate the probability of selection into five undergraduate HPE programs for subgroups of applicants based on gender, migration background (as an indicator of ethnicity), parental education (as an indicator of SES), and prior education. Additionally, we examined performance differences on two traditional selection tools (pre-GPA, biomedical knowledge test), and two tools assessing broadened criteria (curriculum-sampling test, CV).

연구 설계 및 맥락
Design and context

본 연구는 전향적 다중 사이트 코호트 연구에 관한 것입니다. 네덜란드의 5개 대학 수준의 학부 HPE 프로그램에서 데이터를 수집했는데, 여기에는 3개의 의학 프로그램(A, B, C로 표시), 1개의 기술-의료(임상 기술) 프로그램(D로 표시), 1개의 약학 프로그램(E로 표시)이 포함되었습니다. 포함된 프로그램은 네덜란드의 도시와 농촌 등 각기 다른 지역에 위치해 있으며, 모두 학생 선발 과정의 다양성을 높이는 데 중점을 두고 있습니다. 
The present research concerns a prospective multi-site cohort study. We collected data from five university-level undergraduate HPE programs in the Netherlands, including three medical programs (labeled A, B, and C), one technical-medical (clinical technology) program (labeled D), and one pharmacy program (labeled E). The included programs were located in different parts of the Netherlands, both in urban and rural areas, and were all concerned about enhancing diversity in their selection processes.

네덜란드의 독특한 점은 다양한 유형의 HPE 학부 프로그램의 입학 요건이 동일하다는 점입니다. 입학 자격을 얻으려면 지원자는 물리, 화학, 생물학 등 수강 과목과 교육 수준에 관한 엄격한 요건을 동일하게 충족해야 합니다. 결과적으로 지원자 풀은 학력 면에서 비교적 동질적이며, 대학 수준의 학부 HPE 프로그램에 지원하는 학생들은 이미 고도로 선택적인 중등 교육으로 인해 학업 능력에 따라 강력하게 사전 선발됩니다(Niessen & Meijer, 2016). 지원자는 자신이 선택한 프로그램에 지원할 때 하나의 특정 교육기관에 지원하게 됩니다. 각 교육기관에는 미리 정해진 정원이 있습니다. 법에 따라 교육기관은 최소 두 가지 이상의 선발 기준을 포함해야 하지만, 앞서 언급했듯이 도구의 내용 및 품질과 같은 추가 요건은 없습니다. 따라서 기관마다 서로 다른 유형의 HPE 프로그램 간에 또는 프로그램 내에서 사용하는 선정 절차에 매우 다양한 차이가 존재합니다. 저희는 두 개 이상의 프로그램에서 사용하는 도구를 연구하여 프로그램 간에 효과가 비슷하거나 다른지 평가했습니다. 
Uniquely to the Netherlands is that admission requirements of different types of undergraduate HPE programs are identical. To be eligible, applicants need to meet the same stringent requirements regarding subjects taken (e.g., physics, chemistry, and biology) and educational level. Consequently, the applicant pools are relatively homogeneous in terms of academic background; students who apply to a university-level undergraduate HPE program are already strongly preselected based on academic skills due to highly selective secondary education (Niessen & Meijer, 2016). When applicants apply to their program of choice, they apply to one specific institution. Each institution has a predetermined fixed number of spots. By law, institutions are required to include at least two selection criteria, but as previously mentioned, there are no additional requirements concerning, for instance, the content and quality of the tools. Consequently, great variety exists in the selection procedures that programs employ, both between and within different types of HPE programs at different institutions. We studied tools used by more than one program, to evaluate whether effects were similar or different across programs.

5개 프로그램의 선발 절차는 표 1에 설명되어 있습니다. 여러 프로그램에서 사용한 도구는 사전 GPA, 생물의학 지식 테스트, 커리큘럼 샘플링 테스트, 이력서였습니다.

• 사전 GPA는 일반적으로 수학, 물리, 생물, 화학 등 필수 과목에 대한 지원자의 평균 학교 성적으로 구성되었습니다.
• 생물의학 지식 테스트는 별도의 준비 없이 지원자의 생물의학 과목에 대한 일반적인 지식을 평가했습니다.
• 커리큘럼 샘플링 시험은 대부분 지원자가 시험일 몇 주 전에 받은 강의 및/또는 독서 자료 형태의 준비 자료를 기반으로 진행되었습니다.
• 이력서는 (자발적인) 직업, 인턴십, 특별한 문화 또는 운동 능력에 대한 증거와 같은 과외 활동에 대한 평가로 구성되었습니다.

The selection procedures of the five programs are described in Table 1. The tools used by multiple programs were pre-GPA, biomedical knowledge test, curriculum-sampling test, and CV.

• Pre-GPA comprised of applicants’ average school grades on required subjects, usually mathematics, physics, biology, and/or chemistry.
• Biomedical knowledge tests assessed applicants’ existing general knowledge about biomedical subjects, without requiring any preparation.
• Curriculum-sampling tests were (largely) based on preparatory materials in the form of a lecture and/or reading materials that applicants had received some weeks prior to the testing day.
• CVs consisted of an assessment of extracurricular activities, such as (voluntary) jobs, internships, or evidence of extraordinary cultural or athletic skills.

한 프로그램(D)에서 시행한 바이오메디컬 입학시험(BMAT)의 바이오메디컬 지식 하위 테스트인 표준화된 도구가 포함되었습니다. 샘플에 포함된 다른 모든 선발 도구는 개별 프로그램에서 자체 개발한 것입니다. 따라서 도구의 구체적인 적용은 프로그램마다 달랐으며, 예를 들어 pre-GPA에 포함되는 특정 과목과 시험 문제 유형이 달랐습니다. BMAT를 제외한 모든 선발 도구는 네덜란드어로 시행되었습니다. 프로그램에서 자체적으로 품질 보증을 담당했으며, 저희는 심리측정 정보에 접근할 수 없었습니다. 
One standardized tool was included, the biomedical knowledge subtest of the BioMedical Admissions Test (BMAT), which was administered by one program (D). All other selection tools in our sample were self-developed by the individual programs. Consequently, the specific application of the tools differed between the programs, e.g., the specific subjects included in pre-GPA and the types of questions in tests. All selection tools, except for the BMAT, were administered in Dutch. Programs were responsible for their own quality assurance, and we did not have access to psychometric information.

참가자 및 절차
Participants and procedure

2020년 9월에 진행된 선발 절차에 참여한 모든 지원자(N = 3280명)가 참여하도록 초대되었습니다. 프로그램 A, D, E의 경우 현장 테스트 당일에 지원자를 초대했습니다. 프로그램 B와 C는 코로나19 팬데믹 조치로 인해 현장 테스트를 실시하지 않았으며, 선발 과정에서 이메일을 통해 지원자를 모집해야 했습니다. 
All applicants engaged in the selection procedures for entry in September 2020 (N = 3280) were invited to participate. For programs A, D, and E, applicants were invited during the on-site testing days. Programs B and C did not perform on-site testing due to COVID-19 pandemic measures, necessitating recruitment via e-mail during the selection procedure.

지원자들은 인구통계학적 설문지를 작성하도록 요청받았습니다. 이 설문조사에서 지원자들은 학번, 성별, 이주 배경, 부모 학력 및 이전 교육에 대해 보고하도록 요청받았습니다. 선발 절차에 대한 성과 데이터는 관련 대학 학생 관리 시스템에서 추출했습니다. 학생 번호는 인구 통계 설문지의 데이터를 성과 데이터와 연결하는 데 사용되었습니다. 
Applicants were requested to complete a demographics questionnaire. In this survey, applicants were asked to report their student number, gender, migration background, parental education and prior education. Data on performance on the selection procedures were derived from the related university student administration systems. Student number was used to connect the data from the demographics questionnaire with performance data.

모든 참가자로부터 사전 동의를 얻었습니다. 지원자에게는 참여가 자발적인 것이며 선발 결과에 영향을 미치지 않는다는 사실을 알렸고, 연구진은 선발 위원회와 독립적으로 운영된다는 점을 명시했습니다. 지원자는 연구 참여에 대한 인센티브를 받지 않았습니다. 모든 데이터는 인구통계학적 데이터와 성과 데이터를 결합한 후 즉시 가명 처리되었습니다. 에라스무스 MC의 의료윤리심의위원회는 이 연구가 윤리적 승인 면제 대상임을 선언했습니다. 
Informed consent was obtained from all participants. Applicants were informed that participation was voluntary and would not influence their selection outcomes, and we made explicit that the researchers operated independently from the selection committees. Applicants did not receive incentives for participation in the study. All data were pseudonymized immediately after the demographics and performance data were combined. The Medical Ethical Review Committee of Erasmus MC declared the study exempt from ethical approval.

변수
Variables

예측 변수에는 성별, 이주 배경, 이전 교육, 부모 교육이 포함되었습니다. 
Predictors included gender, migration background, prior education, and parental education.

본 연구에서는 성별의 다양성을 인정하여 지원자가 '남성', '여성', '기타(자유 텍스트 상자)'의 세 가지 범주 중에서 선택할 수 있도록 했습니다. 
Gender diversity was acknowledged in the present study, and applicants had the option to choose between three categories: ‘man’, ‘woman’, and ‘other, namely [free text box]’.

이주 배경은 민족의 다차원적 특성을 완전히 포착하지 못한다는 점을 고려하여 민족의 대용어로 사용되었습니다. 이주 배경은 네덜란드 통계청(CBS)에 따라 정의되었습니다. 부모 중 한 명 이상이 네덜란드 밖에서 태어난 경우 개인은 이주 배경을 갖게 됩니다. CBS의 분류법에 따라 서구와 비서구의 이주 배경을 구분했습니다. 

• 모든 유럽(터키 제외), 북미, 오세아니아 국가, 인도네시아, 일본을 서구 국가로 간주했습니다. 
• 비서양 국가에는 아프리카, 아시아(인도네시아, 일본 제외), 라틴 아메리카, 터키의 모든 국가가 포함되었습니다. 

또한 이민 1세대와 이민 2세대를 구분했습니다. 1세대 이민자는 네덜란드 이외의 지역에서 태어났습니다. 네덜란드에서는 이주 배경과 CBS 분류법을 사용하는 것이 민족을 운영하는 표준으로 간주되며, HPE의 연구에서도 마찬가지입니다(예: Mulder 외., 2022; Stegers-Jager 외., 2015).
Migration background was used as a proxy for ethnicity, recognizing that this does not completely capture the multidimensional character of ethnicity. Migration background was defined in alignment with Statistics Netherlands (CBS). Individuals have a migration background when at least one of their parents was born outside of the Netherlands. Based on the taxonomy of CBS, we distinguished between a Western and non-Western migration background.

• All European (excluding Turkey), North American, and Oceanian countries, Indonesia, and Japan were considered Western.
• Non-Western countries included all countries in Africa, Asia (excluding Indonesia and Japan), Latin America, and Turkey.

Additionally, we distinguished between first-generation and second-generation immigrants. First-generation immigrants were born outside the Netherlands. In the Netherlands, the use of migration background and CBS taxonomy are considered the standard for operationalizing ethnicity, also in research in HPE (e.g., Mulder et al., 2022; Stegers-Jager et al., 2015).

네덜란드에서 HPE 프로그램에 입학하는 일반적인 교육 경로는 보건/과학을 전공하는 중등학교의 예비 대학 과정입니다. 그러나 지원자는 다른 형태의 사전 교육을 받은 후에도 HPE 프로그램에 지원할 수 있습니다. 우리는 다음으로 구분했습니다.

• 네덜란드의 표준 대학 예비 교육, 
• 대학, 
• 고등 직업 교육, 
• 모든 형태의 외국 교육, 
• 기타 형태의 사전 교육(예: 입시 및 성인 교육)

In the Netherlands, the typical educational route to an HPE program is the pre-university track of secondary school with a health/science profile. However, applicants can apply to HPE programs from alternative forms of prior education. We distinguished between

• standard Dutch pre-university education,
• university,
• higher vocational education,
• all forms of foreign education, and
• other forms of prior education (e.g., entrance exams and adult education).

마지막으로, 부모 교육은 SES를 조작화하기 위해 사용할 수 있는 여러 지표 중 하나에 불과하다는 점을 인정하여 SES의 대리 지표로 사용되었습니다. 부모 교육은 지원자 부모의 교육 수준에 따라 결정되었습니다. 지원자의 부모 중 누구도 고등 교육, 즉 대학 이상의 직업 교육을 받은 적이 없는 경우 지원자를 1세대 대학 지원자로 분류했습니다. 1세대 대학 지원자는 이전 연구에서 의대에 입학할 확률이 낮다는 사실이 입증되었기 때문에 관심 하위 그룹으로 분류되었습니다(Mason 외., 2021; Stegers-Jager 외., 2015). 또한, 이들은 의과대학에 지원할 때 입학 절차에 대한 지식 부족과 재정적 장벽 등 수많은 장애물에 직면합니다(Romero 등, 2020).
Finally, parental education was used as a proxy for SES, acknowledging that this is only one of the many indicators that can be used to operationalize SES. Parental education was determined by the educational level of applicants’ parents. Applicants were categorized as first-generation university applicants when none of their parents had attended higher education, i.e., university or higher vocational education. First-generation university applicants were a subgroup of interest, because previous research has demonstrated that their odds of being selected into medical school are lower (Mason et al., 2021; Stegers-Jager et al., 2015). Additionally, they face numerous obstacles when applying to medical school, including a lack of knowledge about the admission process and financial barriers (Romero et al., 2020).

결과 측정
Outcome measures

다섯 가지 결과 측정이 포함되었습니다. 첫 번째 이분법적 결과 측정은 지원자의 순위 번호에 따라 지원자가 선발되었는지 여부(예/아니오)를 나타냅니다. 나머지 네 가지 결과 측정은 연속적인 것으로 사전 GPA, 커리큘럼 샘플링 테스트, 생물의학 지식 테스트, 이력서의 네 가지 도구에 대한 성과를 반영했습니다. 각 도구에 대해 담당 프로그램은 자체 채점 방식에 따라 원시 점수를 계산했습니다. 그런 다음 각 프로그램은 이 원시 점수를 표준화된 Z 점수로 변환하여 트랙 간 도구 비교를 가능하게 했습니다. 이 Z 점수는 연구진에게 제공되어 분석에 사용되었습니다. 
Five outcome measures were included. The first—binary—outcome measure indicated whether an applicant was selected (yes/no), determined by their ranking number. The other four outcome measures were continuous and reflected performance on the four tools: pre-GPA, curriculum-sampling test, biomedical knowledge test, and CV. For each tool, the responsible program calculated a raw score based on its own scoring method. Subsequently, each program transformed these raw scores into standardized Z-scores to enable comparisons of tools between tracks. These Z-scores were made available to the researchers and used for the analyses.

통계 분석
Statistical analyses

다단계 로지스틱 회귀 분석을 수행하여 다양한 예측 변수가 선발 확률에 미치는 영향에 대한 오즈비(OR)를 계산했습니다. OR이 1을 초과하면 선발 가능성이 높아진다는 것을 의미합니다. 프로그램마다 선발 절차의 내용이 다르기 때문에 이 모델에서는 지원자가 지원한 프로그램을 무작위 절편으로 사용했습니다. 프로그램 E는 96%의 높은 선발률로 평균 선발률이 47%인 다른 프로그램과 큰 대조를 이루었기 때문에 분석에서 제외했습니다(부록 1: 표 6). 이 프로그램의 선발률이 이렇게 높았던 이유는 선발 가능 인원에 비해 지원자 수가 적었기 때문입니다. 
Multilevel logistic regression analysis was performed to calculate odds ratios (OR) for the effect of the different predictors on the probability of selection. An OR of > 1 indicates an increased likelihood of selection. Since the content of the selection procedure differed between programs, we used the program to which the applicants applied as a random intercept in this model. Program E was excluded from this analysis, given the high selection rate of 96%, which was in large contrast with other programs having an average selection rate of 47% (Appendix 1: Table 6). The selection rate of this program was this high due to the small number of applicants compared to the number of available spots.

다양한 도구의 성능을 비교하기 위해 참여 프로그램에서 제공한 Z 점수를 사용했습니다. 다단계 선형 회귀분석을 수행하여 중복되는 4개의 도구에 대한 Z점수 간의 성능 차이를 평가했습니다. 프로그램 C는 입학정원 제한이 있는 두 개의 독립적인 선택 트랙에 대해 서로 다른 채점 방법을 적용하여(표 1), 두 개의 서로 다른 트랙에 대한 Z점수를 산출했습니다. 따라서 네 가지 도구의 분석을 위해 '프로그램' 대신 '트랙'이라는 변수를 무작위 절편으로 사용했습니다. 앞서 언급했듯이 각 도구의 구체적인 적용이 설정에 따라 다르기 때문에 이러한 무작위 효과를 포함했습니다. 
To compare performance on different tools, we used Z-scores that were provided by the participating programs. We performed multilevel linear regression to assess performance differences between Z-scores on the four overlapping tools. Program C applied different scoring methods for two independent selection tracks with intake restriction (Table 1), resulting in Z-scores for the two different tracks. Therefore, we used the variable ‘track’ instead of ‘program’ as a random intercept for the analyses of the four tools. This random effect was included because, as mentioned earlier, the specific application of each tool differed across settings.

'프로그램' 또는 '트랙'을 무작위 절편으로 포함했을 때 절편이 없는 모델에 비해 유의미하게 더 많은 변수를 설명하는지 평가하기 위해 경계 보정을 적용한 확률 비율 테스트를 적용했습니다.
We applied likelihood ratio tests with the boundary correction to assess whether the inclusion of ‘program’ or ‘track’ as a random intercept explained significantly more variance compared to the model without the intercept.

분석은 R 버전 4.0.4의 LME4 1.1.26 및 NLME 3.1.152 패키지를 사용하여 실행되었습니다. 모든 통계 분석에서 가정을 확인했습니다. OR이 1.68 이상 0.60 미만이면 작은 효과, OR이 3.47 이상 0.29 미만이면 중간 효과, OR이 6.71 이상 0.15 미만이면 큰 효과로 해석했습니다(Chen et al., 2010).
Analyses were executed using the LME4 1.1.26 and NLME 3.1.152 packages in R version 4.0.4. For all statistical analyses, assumptions were checked. We interpreted OR of > 1.68 or < 0.60 as a small effect, OR of > 3.47 or < 0.29 as a medium effect, and OR of > 6.71 or < 0.15 as a large effect (Chen et al., 2010).

지원자 특성
Applicant characteristics

총 1935명의 지원자가 연구에 참여했습니다(응답률 59%, 개별 프로그램의 경우 34-81% 범위). 성별은 응답자의 30%가 남성으로 나타났으며, '기타'로 응답한 지원자는 1명이었습니다. 이 지원자는 하위 그룹 분석에서 제외되었기 때문에 결과에는 남성과 여성의 범주만 설명되어 있습니다. 또한 38%는 이주 배경이 있었고, 20%는 다른 형태의 이전 교육을 받은 경험이 있었으며, 25%는 1세대 대학 지원자였습니다. 성별과 연령 측면에서 모든 샘플은 전체 지원자 풀을 대표했습니다. 두 가지 프로그램(C와 E)의 경우, 참여 지원자들이 비참여 지원자들에 비해 선발에서 약간 더 좋은 성적을 거두었습니다(순위 기준).
|In total, 1935 applicants participated in the study (response rate 59%, range 34–81% for individual programs). With respect to gender, 30% of the respondents identified as men, and one applicant identified as ‘other’. This individual was excluded from the subgroup analyses, and therefore only the categories of men and women are described in the results. Furthermore, 38% had a migration background, 20% applied from alternative forms of prior education, and 25% were first-generation university applicants. In terms of gender and age, all samples were representative of the complete applicant pool. For two programs (C and E), participating applicants performed slightly better on the selection (in terms of ranking number) compared to non-participating applicants.

지원자들은 일부 중복되는 도구와 일부 고유한 도구에 노출되었고, 한 프로그램은 선발 확률 분석에서 제외되었기 때문에 지원자 특성 분포는 다단계 분석에서 차이를 보였습니다(표 2). 주목할 만한 점은 생물의학 지식 테스트의 경우 이민 배경을 가진 지원자의 비율이 다른 프로그램에 비해 상대적으로 낮았다는 점입니다(28% 대 36~43%). 또한 사전 학력 평가의 경우, 다른 형태의 사전 교육을 받은 지원자 비율이 상대적으로 적었습니다(10% 대 19~23%). 이는 사전 내신 성적이 지원자 선발 도구에 항상 포함되는 것은 아니기 때문인 것으로 보입니다.
Since applicants were exposed to some overlapping tools, but also to some unique tools, and one program was excluded from the analyses on the probability of selection, the distribution of applicant characteristics differed between the multilevel analyses (Table 2). Noteworthy is that for the biomedical knowledge test, the proportion of applicants with a migration background was relatively low compared to the other programs (28% vs 36–43%). Additionally, for pre-GPA, the proportion of applicants from alternative forms of prior education was comparatively small (10% vs 19–23%). This is probably caused by the fact that pre-GPA is not always included as a selection tool for those applicants.

개별 프로그램마다 관심 있는 지원자의 특성 분포에 차이가 있었습니다(부록 1: 표 6, 7). 가장 눈에 띄는 차이점은 다른 프로그램과 비교했을 때, 표본에서 유일한 지방 프로그램인 프로그램 D는 이민 배경을 가진 지원자(13% 대 32-53%)와 대학 1세대 지원자(15% 대 24-32%)의 비율이 낮았다는 점입니다. 인구통계학적 구성의 차이는 입학 요건의 차이로 인한 것이 아니며, 이는 프로그램 간에 모두 비슷하기 때문입니다. 그러나 위치 및 선발 절차 등 기타 기관 관련 요인으로 인해 특정 프로그램이 특정 하위 그룹에게 더 매력적으로 느껴졌을 가능성이 있습니다(Wouters et al., 2017b).
The individual programs differed in their distribution of the applicant characteristics of interest (Appendix 1: Tables 6, 7). The most notable difference is that compared to the other programs, Program D—the only rural program in the sample—had a lower representation of applicants with a migration background (13% vs 32–53%) and first-generation university applicants (15% vs 24–32%). Differences in demographic composition are not caused by differences in admission requirements, since these were all comparable across programs. However, it is possible that other institutional-related factors made certain programs more attractive to specific subgroups, including location and selection procedure (Wouters et al., 2017b).

선발 확률
Probability of selection

서구 이민 1세대는 이민 배경이 없는 지원자에 비해 선발될 확률이 현저히 낮았으며(23% 대 49%), 조정된 OR은 0.45(95% 신뢰구간[CI] [0.20, 0.99]; 표 3)에 해당합니다. 또한, 외국 교육을 받은 지원자는 표준 대학 전 교육을 받은 지원자보다 선발 확률이 더 낮았습니다(24% vs 49%, 조정된 OR = 0.46, 95% CI [0.22, 0.94]). 둘 다 효과가 작은 것으로 해석할 수 있습니다(즉, OR <0.60). '다른 형태의 사전 교육' 범주는 중간 정도(즉, OR <0.29)이지만 유의하지 않은(수준 0.05) 부정적인 효과(18% 대 49%, 조정된 OR = 0.28, 95% CI [0.08, 1.00])를 보였는데, 이는 이 그룹의 규모가 작았기 때문일 수 있습니다(N = 17). 성별과 부모 교육 정도는 선택 확률과 유의미한 관련이 없었습니다. 프로그램의 무작위 효과는 유의하지 않았으며(SD = 0.00, 95% CI [0.00, 0.21], p = 0.50), 이는 고정된 구조(즉, 성별, 이주 배경, 사전 교육 및 부모 교육 변수)를 고려했을 때 선택 확률의 하위 그룹 차이가 프로그램 간에 유사하다는 것을 나타냅니다.
First-generation Western immigrants were significantly less likely to be selected compared to applicants without a migration background (23% vs 49%), corresponding to an adjusted OR of 0.45 (95% confidence interval [CI] [0.20, 0.99]; Table 3). Additionally, foreign-educated applicants had smaller selection odds than those from standard pre-university education (24% vs 49%, adjusted OR = 0.46, 95% CI [0.22, 0.94]). Both can be interpreted as small effects (i.e., OR < 0.60). The category ‘other forms of prior education’ demonstrated a medium (i.e., OR < 0.29), but non-significant (level 0.05) negative effect (18% vs 49%, adjusted OR = 0.28, 95% CI [0.08, 1.00]), which could be due to the small size of this group (N = 17). Gender and parental education were not significantly associated with the probability of selection. The random effect of program was not significant (SD = 0.00, 95% CI [0.00, 0.21], p = 0.50), indicating that subgroup differences in the probability of selection were similar across programs, given the fixed structure considered (i.e., the variables of gender, migration background, prior education and parental education).

기존 기준에서의 성과
Performance on traditional criteria

Pre-GPA
Pre-GPA

사전 GPA는 4개 프로그램(B, C, D, E)에서 사용되었으며, 이 중 한 프로그램은 두 개의 독립적인 선발 트랙을 사용하여 분석에 다섯 개의 트랙(B, C1, C2, D, E)이 사용되었습니다. 1세대 대학 지원자들은 기존 지원자들에 비해 사전 GPA가 유의미하게 낮았습니다(B = - 0.17, 95% CI [- 0.30, - 0.03]; 표 4, 5). 모든 기준에 대해 Z 점수가 사용되었으므로 표준화되지 않은 B는 SD의 차이를 나타냅니다. 예를 들어, 1세대 대학 지원자의 사전 GPA는 비 1세대 대학 지원자보다 0.17 SD 낮았습니다. 대학 학력 및 '기타 형태의 사전 교육'을 받은 지원자는 일반 대학 1세대 지원자에 비해 사전 GPA가 유의하게 낮았으며(각각 B = - 0.41, 95% CI [- 0.63, - 0.18], B = - 0.76, 95% CI [- 1.42, - 0.11]), 외국 교육을 받은 지원자의 사전 GPA는 유의하게 높았다(B = 1.13, 95% CI [0.54, 1.72]). 성별과 이주 배경은 사전 GPA와 관련이 없었습니다. 트랙의 무작위 효과는 유의하지 않았으며(SD = 0.005, 95% CI [0, 506553], p = 0.50), 이는 고정된 구조를 고려했을 때 사전 GPA에서 발견된 성과 차이가 트랙 간에 유사하다는 것을 나타냅니다.
Pre-GPA was used by four programs (B, C, D, and E), of which one program used two independent selection tracks, resulting in five tracks in the analysis (B, C1, C2, D, and E). Compared to traditional applicants, first-generation university applicants had significantly lower pre-GPAs (B = − 0.17, 95% CI [− 0.30, − 0.03]; Tables 4, 5). As Z-scores were used for all criteria, the unstandardized Bs indicate the difference in SD. Thus, for example, pre-GPAs of first-generation university applicants were 0.17 SD lower than those of non-first-generation university applicants. Applicants with university-level and with ‘other forms of prior education’ had significantly lower pre-GPA (respectively, B = − 0.41, 95% CI [− 0.63, − 0.18]; B = − 0.76, 95% CI [− 1.42, − 0.11] compared to standard pre-university applicants, while pre-GPAs of applicants with foreign education were significantly higher (B = 1.13, 95% CI [0.54, 1.72]). Gender and migration background were not associated with pre-GPA. The random effect of track was not significant (SD = 0.005, 95% CI [0, 506553], p = 0.50), indicating that the performance differences found on pre-GPA were similar across tracks, given the fixed structure considered.

생의학 지식 테스트
Biomedical knowledge test

생의학 지식 테스트는 두 가지 프로그램(A와 D)에서 사용되었습니다. 남성과 대학 수준에서 공부한 지원자는 여성과 표준 대학 이전 교육을 받은 지원자에 비해 생물의학 지식 테스트에서 유의미하게 더 높은 점수를 받았습니다(각각 B = 0.21, 95% CI [0.06, 0.37]; B = 0.32, 95% CI [0.11, 0.52]; 표 6, 7). 이주 배경과 부모 교육은 시험 점수와 관련이 없었으며, 트랙의 무작위 효과는 유의하지 않았습니다(SD = 0.01, 95% CI [0, 12114,82], p = 0.46). 이는 고정된 구조를 고려했을 때 하위 그룹의 성과 차이가 프로그램 간에 유사하다는 것을 나타냅니다.
Biomedical knowledge tests were used by two programs (A and D). Men and applicants who were studying at university-level performed significantly better on biomedical knowledge tests compared to women and applicants from standard pre-university education (respectively, B = 0.21, 95% CI [0.06, 0.37]; B = 0.32, 95% CI [0.11, 0.52]; Tables 6, 7). Migration background and parental education were not associated with test scores, and the random effect of track was not significant (SD = 0.01, 95% CI [0, 12114,82], p = 0.46), indicating that subgroup differences in performance were similar across programs, given the fixed structure considered.

확장된 기준에서의 성과
Performance on broadened criteria

커리큘럼 샘플링 테스트
Curriculum-sampling test

세 가지 프로그램에 커리큘럼 샘플링 테스트(A, B, E)가 포함되었습니다. 비서구권 이주 배경을 가진 지원자(1세대와 2세대 모두)는 기존 지원자에 비해 커리큘럼 샘플링 테스트에서 낮은 점수를 받았습니다(각각 B = - 0.43, 95% CI [- 0.67, - 0.20], B = - 0.21, 95% CI [- 0.34, - 0.10]; 표 6, 7). 이미 대학 수준에서 공부하고 있는 지원자는 일반 예비 대학 지원자에 비해 훨씬 더 우수한 성적을 거둔 반면(B = 0.37, 95% CI [0.21, 0.53]), 외국 교육을 받은 지원자는 시험 점수가 더 낮았습니다(B = - 0.56, 95% CI [- 0.91, - 0.22]). 시험 점수는 성별이나 부모의 학력에 영향을 받지 않았습니다. 고정된 구조를 고려했을 때, 트랙의 무작위 효과는 유의미했습니다(SD = 0.09, 95% CI [0.03, 0.32], p = 0.01). 이는 전반적인 결과가 프로그램마다 다르다는 것을 의미합니다. 커리큘럼 샘플링 테스트를 사용한 개별 프로그램의 설명 통계(부록 1: 표 8)에 따르면 프로그램 E의 경우에만 비 서구권 1세대 배경을 가진 지원자가 이주 배경이 없는 지원자에 비해 평균 Z 점수가 현저히 낮았습니다(M = - 0.86 vs M = 0.29). 이 차이는 프로그램 B의 경우 더 작았고(M = - 0.13 vs M = 0.18), 프로그램 A의 경우 존재하지 않았습니다(M = 0.02 vs M = - 0.01). 주목할 만한 점은 프로그램 E에서 다른 두 프로그램보다 상대적으로 더 많은 지원자가 비서구권 1세대 배경을 가지고 있었다는 점입니다.
Three programs included curriculum-sampling tests (A, B, and E). Applicants with a non-Western migration background, both first-generation and second-generation, scored lower on curriculum-sampling tests compared to their traditional counterparts (respectively, B = − 0.43, 95% CI [− 0.67, − 0.20]; B = − 0.21, 95% CI [− 0.34, − 0.10]; Tables 6, 7). Applicants who were already studying at university-level performed significantly better compared to standard pre-university applicants (B = 0.37, 95% CI [0.21, 0.53]), while applicants with foreign education had lower test scores (B = − 0.56, 95% CI [− 0.91, − 0.22]). Test scores were not influenced by gender or parental education. Given the fixed structure considered, the random effect of track was significant (SD = 0.09, 95% CI [0.03, 0.32], p = 0.01), implying that our overall findings differed between programs. Descriptive statistics of the individual programs employing curriculum-sampling tests (Appendix 1: Table 8) indicate that only for program E, applicants with a first-generation non-Western background had notable low mean Z-scores compared to those without a migration background (M = − 0.86 vs M = 0.29). This difference was smaller for program B (M = − 0.13 vs M = 0.18) and non-existent for program A (M = 0.02 vs M = − 0.01). Noteworthy is that in program E relatively more applicants had a first-generation non-Western background than in the other two programs.

이력서
CV

두 개의 서로 다른 프로그램에서 파생된 세 가지 트랙에는 이력서(B, C1, C2)가 포함되었습니다. 여성 또는 일반 지원자에 비해 남성(B = - 0.17, 95% CI [- 0.31, - 0.02]; 표 6, 7), 서구 이민 1세대(B = - 0.43, 95% CI [- 0.85, - 0.00]), 고등 직업 교육, 외국 교육, '기타 형태의 사전 교육'을 받은 지원자의 CV 점수가 유의하게 낮았습니다(B = - 0.61에서 - 0.81 사이). 부모 교육은 이력서 점수와 관련이 없었습니다. CV에 대한 트랙의 유의미한 효과(SD = 0.25, 95% CI [0.08, 0.76] p <0.001)가 있었으며, 이는 고정된 구조를 고려했을 때 앞서 언급한 효과가 트랙에 따라 다르다는 것을 나타냅니다. 기술 통계(부록 1: 표 9)에 따르면 성별에 따른 성과 격차는 다른 트랙에 비해 트랙 B에서 더 작았습니다(트랙 B: M = 0.04(남성) vs M = 0.17(여성), 트랙 C1: M = - 0.29 vs M = - 0.06, 트랙 C2: M = - 0.11 vs M = 0.25). 전반적으로 서구 이민 1세대가 이민 배경이 없는 지원자보다 점수가 낮았다는 결과는 트랙 B(M = - 0.75 vs M = 0.22)와 트랙 C2(M = - 0.42 vs M = 0.09)에서 나타났지만, 트랙 C1(M = - 0.03 vs M = - 0.14)에서는 나타나지 않았습니다. 이주 배경이 없는 지원자와 비교했을 때, 비 서구권 2세 지원자의 경우 트랙 B(M = - 0.28 vs M = 0.22)에서는 CV 점수가 낮았고, 트랙 C1(M = - 0.17 vs M = - 0.14)에서는 비슷했으며, 트랙 C2(M = 0.45 vs M = 0.09)에서는 CV 점수가 더 높았습니다. 트랙 B의 경우, 다양한 형태의 사전 교육 간에 더 큰 차이가 관찰되었지만, 이는 프로그램 C의 경우 사전 교육에 따라 트랙이 구분되어 트랙 C1에는 표준 대학 전 교육이 집중되고 트랙 C2에는 다른 형태의 사전 교육이 집중된 것과 관련이 있는 것으로 보입니다. 
Three tracks derived from two different programs included a CV (B, C1, and C2). Compared to women or traditional applicants, CV scores were significantly lower for men (B = − 0.17, 95% CI [− 0.31, − 0.02]; Tables 6, 7), first-generation Western immigrants (B = − 0.43, 95% CI [− 0.85, − 0.00]), and applicants with higher vocational education, foreign education, and ‘other forms of prior education’ (Bs between − 0.61 and − 0.81). Parental education was not associated with CV scores. There was a significant effect of track for CV (SD = 0.25, 95% CI [0.08, 0.76] p < 0.001), indicating that the aforementioned effects differed across tracks, given the fixed structure considered. Descriptive statistics (Appendix 1: Table 9) suggest that the gender-based performance gap was smaller for track B compared to the other tracks (track B: M = 0.04 (men) vs M = 0.17 (women); track C1: M = − 0.29 vs M = − 0.06, track C2: M = − 0.11 vs M = 0.25). The overall result that first-generation Western immigrants had lower scores than applicants without a migration background was found for track B (M = − 0.75 vs M = 0.22) and track C2 (M = − 0.42 vs M = 0.09), but not for track C1 (M = − 0.03 vs M = − 0.14). Compared to those without a migration background, applicants with a second-generation non-Western background had lower CV scores in track B (M = − 0.28 vs M = 0.22), similar CV scores in track C1 (M = − 0.17 vs M = − 0.14) and higher CV-scores in track C2 (M = 0.45 vs M = 0.09). For track B, larger differences were observed between different forms of prior education, but this is probably related to the fact that for program C, the tracks were distinguished based on prior education, resulting in a large concentration of standard pre-university education in track C1 and a large concentration of other forms of prior education in track C2.

학부 HPE 프로그램에서 독특한 선발 절차가 학생 다양성에 미치는 영향을 밝히기 위해서는 성별, 이주 배경(민족성 지표), 부모 교육(SES 지표), 선행 교육에 따른 하위 그룹이 다양한 맥락에서 적용된 선발 도구에서 어떻게 수행되는지에 대한 통찰이 필요합니다. 연구 결과, 전통적이지 않은 배경을 가진 지원자의 선발 확률은 일반적으로 더 낮았지만, 서구 이민 1세대 지원자와 외국 교육을 받은 지원자의 경우에만 유의미한 차이를 보였습니다. 이러한 결과는 프로그램별로 차이가 없었습니다. 그러나 자세히 살펴보면 하위 그룹별 성과에 더 큰 차이가 있고 효과의 가변성이 더 큰 것으로 나타났습니다. 연구 결과, 커리큘럼-샘플링 테스트와 이력서 등 확장된 기준은 SES 관련 성과 차이를 줄일 수 있지만 지원자 인종에 따른 격차는 줄일 수 없다는 결론을 내렸습니다. 또한 하위 그룹별 성과 차이는 확장된 기준에서는 상황에 따라 달라졌지만, 기존 기준에서는 그렇지 않았습니다. 

Unraveling the impact of distinctive selection procedures on student diversity in undergraduate HPE programs requires an insight into how subgroups based on gender, migration background (as an indicator of ethnicity), parental education (as an indicator of SES), and prior education perform on the applied selection tools in different contexts. Our results demonstrated that selection chances of applicants with non-traditional backgrounds were generally smaller, but only significantly for applicants with first-generation Western migration backgrounds and applicants with foreign education. These findings did not differ between programs. However, when taking a closer look, we found larger differences in subgroup performance and more variability in effects. We conclude that the broadened criteria under research—curriculum-sampling tests and CVs—may reduce SES-related performance differences, but not disparities based on applicant ethnicity. Furthermore, subgroup performance differences were context-specific for broadened criteria, but not for traditional criteria.

기존 기준 대신 확장된 선발 기준을 적용하면 SES에 따른 성과 격차는 줄일 수 있지만 인종에 따른 성과 격차는 완화하지 못할 수 있다는 첫 번째 주요 결과는 Lievens 등(2016)의 이전 연구를 확인시켜줍니다.

• 연구 대상인 전통적인 기준과 관련하여, 1세대 대학 지원자들은 전통적인 배경을 가진 지원자들에 비해 사전 GPA가 낮다는 사실을 발견했으며, 이는 이전 연구(Griffin & Hu, 2015; Juster 외, 2019; Puddey 외, 2011)에서도 확인되었습니다. 그럼에도 불구하고, 사전 GPA는 다수 민족과 소수 민족 지원자 간에 차이가 없었는데, 이는 소수 민족 그룹 간에 사전 GPA가 매우 다양하기 때문일 수 있습니다(Puddey et al., 2011). 생물의학 지식 테스트에서 SES 기반과 인종 기반에 따른 유의미한 성적 차이는 확인되지 않았습니다. 그러나 이 결과 측정 도구의 표본은 다른 도구에 비해 작고 다양하지 않았으며, 이러한 도구에 대한 국제적인 연구에서도 이러한 차이가 지속적으로 드러나고 있습니다(Girotti 외. 2020; Griffin & Hu, 2015; Juster 외., 2019; Lievens 외., 2016; Puddey 외., 2011).
• 확장된 기준과 관련하여, 본 연구는 다중 기관 환경에서 커리큘럼 샘플링 시험과 이력서에 대한 하위 그룹 성과를 조사한 최초의 연구입니다. 연구 대상인 두 가지 확장된 기준 모두에서 SES에 따른 성과 차이는 발견되지 않았으며, 이는 이전 연구(Griffin & Hu, 2015; Juster 외, 2019; Lievens 외, 2016; Stegers-Jager 외, 2015)와 일치하는 결과입니다. 그럼에도 불구하고, 이전 연구에서는 두 도구 모두에서 이주 배경을 가진 지원자가 불리한 결과를 보인 반면, 본 연구에서는 이주 배경을 가진 지원자가 불리한 결과를 보인 것으로 나타났습니다(Juster et al., 2019; Lievens et al., 2016; Stegers-Jager et al., 2015). 

Our first key finding that the implementation of broadened selection criteria instead of traditional criteria potentially reduces performance disparities based on SES, but may not mitigate an ethnicity-related performance gap, confirms the previous work of Lievens et al. (2016).

• With respect to the traditional criteria under research, we found that first-generation university applicants had lower pre-GPAs than applicants from traditional backgrounds, also confirming previous research (Griffin & Hu, 2015; Juster et al., 2019; Puddey et al., 2011). Nevertheless, pre-GPAs did not differ between ethnic majority and ethnic minority applicants, which may be explained by a great variety in pre-GPAs between different ethnic minority groups (Puddey et al., 2011). We did not identify significant SES-based and ethnicity-based performance differences on biomedical knowledge tests. However, the sample for this outcome measure was smaller and less diverse compared to the other tools, and international research on such tools persistently reveals such disparities (Girotti et al. 2020; Griffin & Hu, 2015; Juster et al., 2019; Lievens et al., 2016; Puddey et al., 2011).
• With respect to broadened criteria, our study is the first to investigate subgroup performance on curriculum-sampling tests and CVs in a multi-institutional setting. On both broadened criteria under research, we did not find performance differences based on SES, which resonates with previous research (Griffin & Hu, 2015; Juster et al., 2019; Lievens et al., 2016; Stegers-Jager et al., 2015). Nevertheless, we found that applicants with a migration background were disadvantaged on both tools, whereas previous studies reported mixed findings (Juster et al., 2019; Lievens et al., 2016; Stegers-Jager et al., 2015).

SES에 관한 연구 결과에 대한 한 가지 가능한 설명은 확장된 기준은 표준화되지 않고 프로그램별 특성으로 인해 일반적으로 높은 SES 지원자에게 더 많이 제공되는 코칭을 덜 취약하다는 것입니다(Stemig 외., 2015). 반면에 전통적인 기준은 예를 들어 지원자가 사전 내신 성적을 높이기 위해 개인 과외를 받을 수 있기 때문에 잠재적으로 코칭에 더 취약할 수 있습니다. 동시에 확장된 기준의 표준화가 이루어지지 않으면 문화적 편견의 위험이 증가할 수 있습니다. 예를 들어, 문화적 편견은 소수 민족 그룹의 구성원이 특정 질문을 다르게 해석할 때 발생할 수 있으며, 이는 이주 배경을 가진 지원자의 낮은 점수를 설명할 수 있습니다(Kim & Zebelina, 2015). 모든 이민 1세대에서 일관되게 효과가 관찰되지 않았기 때문에 언어 편향이 이민 배경에 따른 퍼포먼스 격차에 중요한 역할을 하지는 않았을 것입니다. 또한 이전 연구 결과에 따르면 네덜란드어권 국가 출신 이민자에게도 격차가 존재하는 것으로 나타났습니다(Stegers-Jager 외., 2015).  

A possible explanation for our findings regarding SES is that broadened criteria are less prone to coaching—which is generally more available to high SES applicants (Stemig et al., 2015)—due to their unstandardized and program-specific nature. Traditional criteria, on the other hand, are potentially more susceptible to coaching, as applicants can, for instance, purchase private tutoring to increase their pre-GPA. Simultaneously, the lack of standardization of broadened criteria could increase the risk of cultural bias. Cultural bias can, for instance, occur when certain questions are interpreted differently by members from ethnic minority groups, and may explain the lower scores of applicants with migration backgrounds (Kim & Zebelina, 2015). Language bias probably did not play a significant role in performance disparities based on migration background, because effects were not consistently observed amongst all first-generation immigrants. Additionally, results from previous research suggest that disparities also exist for immigrants from Dutch-speaking countries (Stegers-Jager et al., 2015).

두 번째 주요 결과는 확장된 선발 기준의 경우 하위 그룹의 성과 차이가 상황에 따라 달라지는 반면, 기존의 선발 기준은 프로그램 전반에 걸쳐 일관된 효과를 보였다는 것입니다. 이는 두 가지 유형의 기준에 대한 하위집단 성과 차이에 대한 현재 증거에 따른 것으로, 확장된 기준의 사용에 관한 선행 연구 결과는 엇갈리는 반면(Juster 외., 2019; Lievens 외., 2016; Stegers-Jager, 2018; Stegers-Jager et al, 2015), 전통적인 기준의 결과는 소수 민족과 저소득층 지원자에게 불이익을 준다는 점에서 다소 일관성이 있습니다(Griffin & Hu, 2015; Juster 외., 2019; Lievens 외., 2016; Puddey 외., 2011; Stegers-Jager 외., 2015). 또한, 서구 이민 1세대 배경을 가진 남성과 지원자의 이력서 점수가 낮다는 전반적인 결과는 이전의 네덜란드 단일 기관 연구와 일치하지 않았습니다(Stegers-Jager 외., 2015). 이 연구는 겉보기에 비슷해 보이는 도구가 서로 다른 프로그램에서 하위 그룹 성과에 차별적인 영향을 미칠 수 있음을 직접적으로 입증한 최초의 연구입니다. 일반적으로 기준이 넓어지면 더 많은 변수를 허용하고 특정 프로그램 내용에 맞게 조정할 수 있으며, 이는 이러한 도구의 하위 그룹 성과에 대한 상황 의존적 효과가 더 강해지는 원인이 될 수 있습니다. 예를 들어, 커리큘럼 샘플링 테스트는 과목, 준비 자료, 준비 시간이 다양합니다. 또한 이전 연구에 따르면 언어의 복잡성(Lievens 외., 2016)과 문제 형식(Edwards & Arthur, 2007)이 시험 성과의 하위집단 차이에 영향을 미칠 수 있다고 합니다. 마찬가지로, 의료 경험은 다양한 배경을 가진 지원자들이 불평등하게 접근할 수 있는 것으로 간주되기 때문에 채점 방법과  이력서 점수에서 고려되는 과외 활동 유형이 중요한 역할을 할 수 있습니다(Wouters, Croiset, Isik 외., 2017).

A second key finding is that for the broadened selection criteria, subgroup performance differences were context-specific, whereas the traditional selection criteria had consistent effects across programs. This is in accordance with the current evidence for subgroup differences in performance on the two types of criteria: results from prior research regarding the use of broadened criteria are mixed (Juster et al., 2019; Lievens et al., 2016; Stegers-Jager, 2018; Stegers-Jager et al., 2015), while the outcomes from traditional criteria are rather consistent in disadvantaging ethnic minority and lower SES applicants (Griffin & Hu, 2015; Juster et al., 2019; Lievens et al., 2016; Puddey et al., 2011; Stegers-Jager et al., 2015). Additionally, the overall finding that men and applicants with a first-generation Western migration background had lower CV scores was not in line with a previous Dutch single-institution study (Stegers-Jager et al., 2015). Our study is the first to directly demonstrate that seemingly comparable tools can have differential effects on subgroup performance across different programs. Typically, broadened criteria allow for more variation and can be further adjusted to the specific program contents, which may be the cause of stronger context-dependent effects on subgroup performance for these tools. For instance, curriculum-sampling tests vary in their subject, preparatory materials, and preparation time. Additionally, previous research suggests that the complexity of the language (Lievens et al., 2016), and question format (Edwards & Arthur, 2007), may contribute to subgroup differences in test performance. Likewise, the scoring method and the type of extracurricular activities that are considered in CV scores may play a role, since healthcare experiences are considered to be unequally accessible to applicants from different backgrounds (Wouters, Croiset, Isik, et al., 2017).

세 번째 주요 결과는 개별 도구에 대한 하위 그룹의 성과 차이가 항상 해당 하위 그룹의 선발 확률에 영향을 미치지는 않는다는 것입니다. 우리는 서구 이민 1세대 배경을 가진 지원자와 외국 교육을 받은 지원자, 즉 이전 연구에서 주목하지 않았던 두 하위 그룹에 대해서만 선발 가능성이 유의미하게 작다는 것을 발견했습니다. 절차 내 및 절차 간 하위집단의 성과에 차이가 있는 도구를 결합하면 전체 효과의 균형이 깨질 수 있으며, 서로 다른 도구의 가중치가 영향을 미쳤을 수 있습니다(Lievens et al., 2016; Stegers-Jager, 2018). 이러한 연구 결과는 네덜란드의 모든 학부 HPE 프로그램 지원자를 대상으로 한 최근의 후향적 연구 결과에 의해 완전히 뒷받침되지는 않습니다(Mulder et al., 2022). 저자들은 통계적 효과 크기 측면에서 무시할 수 있는 수준이었지만 소수 민족, 남성, 사회경제적 지위가 낮은 그룹에서 선발 확률이 유의미하게 낮다는 사실을 발견했습니다(Chen et al., 2010). 본 연구는 일부 프로그램의 전향적 데이터를 사용했으며, 고령 지원자 및 외국 교육을 받은 지원자 등 보다 이질적인 지원자 그룹을 포함했기 때문에 결과 간의 차이는 대상 그룹 간의 차이로 설명할 수 있습니다.
A third key finding is that subgroup differences in performance on individual tools did not always have consequences for the probability of selection of those subgroups. We found that selection chances were only significantly smaller for applicants with a first-generation Western migration background and applicants with foreign education, two subgroups that were left unnoticed by previous research. Combining tools with differential subgroup performance within procedures and across procedures may have counter-balanced the overall effect, and the weightings of different tools may have played a role (Lievens et al., 2016; Stegers-Jager, 2018). Our findings are not fully supported by the results from a recent retrospective study that included applicants to all Dutch undergraduate HPE programs (Mulder et al., 2022). The authors found significantly lower selection probability for additional ethnic minority groups, men and lower SES groups, although the results were negligible in terms of statistical effect size (Chen et al., 2010). The discrepancy between findings may be explained by differences between target groups: the present study used prospective data of a subset of programs and included a more heterogenous group of applicants, including older applicants and those with foreign education.

본 연구의 강점은 여러 프로그램에서 데이터를 수집하고 다단계 분석 접근법을 사용하여 맥락적 차이를 보정하고 조사할 수 있는 기회를 제공했다는 점입니다. 학교가 자체적으로 선발 절차를 설계할 수 있는 네덜란드의 전형적인 입시 시스템 덕분에 다양한 (활용) 도구를 비교할 수 있었습니다. 결과적으로 모든 프로그램에서 모든 도구를 사용하는 것은 아닙니다. 따라서 서로 다른 결과 측정을 직접 비교하거나 서로 다른 도구 간의 성과 상관관계를 조사할 수 없었습니다. 또 다른 한계는 본 연구가 우리가 알기로는 다양한 유형의 학부 HPE 프로그램의 선발 절차를 포함한 최초의 연구이지만, 모든 전공과 기관을 포괄할 수 없었다는 점입니다. 이는 연구 결과의 일반화 가능성에 영향을 미칠 수 있습니다. 또한, 1세대 대학 지원자들이 고등교육으로 전환하는 과정에서 장벽에 직면하는 것으로 나타났기 때문에 부모의 학력을 SES 관련 지표로 포함했지만, 부모의 소득 및 직업과 같이 잠재적으로 관련된 다른 SES 관련 효과를 간과했을 수 있습니다(Girotti 외, 2020; Mulder 외, 2022; Steven 외, 2016). 마찬가지로, 이주 배경은 민족성을 나타내는 안정적이고 객관적인 지표이지만 민족 정체성을 설명하지는 못합니다(Ross et al., 2020; Stronks et al., 2009). 또 다른 한계는 특정 하위 그룹의 경우 표본 크기가 작기 때문에 이러한 결과를 신중하게 해석해야 한다는 것입니다. 마지막으로, 두 가지 선정 절차가 코로나19 조치에 의해 부분적으로 영향을 받아 연구 결과의 일반화 가능성을 떨어뜨릴 수 있습니다. 그럼에도 불구하고 선택 확률의 효과는 해당 분석의 4개 프로그램 간에 큰 차이가 없었으며, 이 중 2개 프로그램이 코로나19의 영향을 받았습니다.
Strengths of our study include that we collected data from multiple programs and that we used a multilevel analytical approach, creating the opportunity to correct for and examine contextual differences. The typical Dutch admissions system, which allows schools to design their own selection procedure, allowed us to compare a variety of (applications of) tools. As a consequence, not all tools were used by all programs. Therefore, direct comparison across different outcome measures and examination of the correlation of performance between different tools were not possible. Another limitation is that although the present study is, to our knowledge, the first to include the selection procedures of a range of different types of undergraduate HPE programs, it was not possible to cover all specialties and institutions. This may have consequences for the generalizability of our findings. Furthermore, we included parental education as a relevant indicator for SES, since first-generation university applicants have been shown to face barriers during the transition into higher education (Stephens et al., 2014), but we may have overlooked other potentially relevant SES-related effects, such as parental income and profession (Girotti et al. 2020; Mulder et al., 2022; Steven et al., 2016). Likewise, migration background is a stable and objective indicator of ethnicity, but does not account for ethnic identity (Ross et al., 2020; Stronks et al., 2009). Another limitation is that for certain subgroups, sample sizes were small, thus those results should be interpreted with caution. Finally, two selection procedures were partly affected by COVID-19 measures, potentially reducing the generalizability of our findings. Nevertheless, the effects of the probability of selection did not differ significantly between the four programs in that analysis, of which two were affected by COVID.

도구 간, 도구 내 하위집단의 차이가 다양하다는 것은 향후 연구에서 도구의 특정 특성이 다양성에 미치는 영향을 조절하는 역할을 할 수 있는지 여부를 결정해야 함을 의미합니다. 이를 통해 모범 사례를 파악할 수 있습니다. 또한, 이번 연구 결과만으로는 도구의 다양한 가중치가 미치는 영향에 대한 결론을 도출할 수 없습니다. 따라서 우리는 도구의 다양한 가중치가 학생의 다양성에 미치는 영향을 조사하자는 이전 제안을 지지합니다(Stegers-Jager, 2018). 향후 연구에서는 선발 도구가 하위 그룹별로 학업 성취도를 다르게 예측하는지 여부를 조사하여 우리가 발견한 성취도 격차가 편향성(특정 하위 그룹에 대한 과소 예측 또는 과대 예측)과 일치하는지 여부를 확인해야 합니다. 마지막으로, 향후 연구에서는 HPE 선발의 맥락에서 비전통적 배경을 가진 지원자 하위 그룹의 구체적인 기본 특성과 요구 사항을 파악하여 선발 과정과 선발 후에도 더 나은 지원을 제공할 수 있도록 해야 합니다(Lievens, 2015; Wouters, 2020). 예를 들어, 다른 형태의 사전 교육을 받은 지원자는 이전 교육 경험과 크게 다를 수 있는 HPE 선발에서 기대하는 바를 관리하는 데 어려움을 겪을 수 있습니다(Katartzi & Hayward, 2020; Rienties & Tempelaar, 2013). 
The variety in subgroup differences between and within tools implies that future research should determine whether specific characteristics of tools can play a moderating role in their effects on diversity. This could lead to the identification of best practices. Furthermore, based on our results we cannot draw conclusions with respect to the effect of different weightings of tools. Therefore, we endorse a previous suggestion to investigate the effects of different weightings of tools on student diversity (Stegers-Jager, 2018). Future studies should also examine whether selection tools differentially predict academic performance for different subgroups, to determine whether the performance disparities we found correspond with bias (i.e., underprediction or overprediction for certain subgroups). Finally, future research should identify the specific underlying characteristics and needs of subgroups of applicants with non-traditional backgrounds within the context of HPE selection, to provide better support during and, as suggested by others (Lievens, 2015; Wouters, 2020), also after selection. For instance, applicants from alternative forms of prior education may face difficulties managing the expectations in HPE selection that can strongly differ from their previous educational experiences (Katartzi & Hayward, 2020; Rienties & Tempelaar, 2013).

실용적인 관점에서 볼 때, 하위 그룹 간 성과 차이의 맥락별 특이성은 HPE 프로그램이 다른 맥락의 기존 연구에만 의존하지 않고 선발 절차가 학생 다양성에 미칠 수 있는 영향에 대한 지속적인 평가를 수립해야 한다는 것을 나타냅니다. 또한, 당사는 프로그램이 상황에 따라 효과가 달라질 수 있다는 점을 염두에 두고 SJT(Juster et al., 2019) 및 다중 미니 인터뷰(Griffin & Hu, 2015)와 같이 부정적인 영향을 줄이고 필요한 다양성을 명시적으로 증진할 수 있는 대체 도구를 양심적으로 포함하거나 개발할 것을 권장합니다. 학교별 선발 절차가 교육과정과 일치하는 선발 절차는 높은 예측 가치를 가질 수 있기 때문에 학교별 선발 절차를 적용하고자 하는 욕구를 인정합니다(Schreurs et al., 2020). 동시에, 이는 프로그램이 부정적인 영향을 포함하여 선발 절차의 타당성에 대한 다양한 측면을 평가할 책임이 있음을 의미합니다(Schreurs, 2020). 또한 프로그램은 다양한 규범화 그룹을 통해 도구를 검증하는 것도 고려할 수 있습니다(Padilla & Borsato, 2008). 
From a practical viewpoint, the context-specificity of subgroup differences in performance indicates that HPE programs need to establish continuous evaluation of the possible effects of their selection procedures on student diversity, rather than only relying on existing research in other contexts. Additionally, we encourage programs to conscientiously include and/or develop alternative tools that can reduce adverse impact and explicitly promote well-needed diversity, such as SJTs (Juster et al., 2019) and multiple mini-interviews (Griffin & Hu, 2015), while keeping in mind that effects can be context-specific. We acknowledge the desire to apply school-specific selection procedures, as selection procedures that align their contents with the curriculum can have high predictive value (Schreurs et al., 2020). Simultaneously, this creates a responsibility for programs to evaluate different aspects of the validity of their selection procedure, including adverse impact (Schreurs, 2020). Additionally, programs could consider validating their tools with diverse norming groups (Padilla & Borsato, 2008).

결론적으로, 학부 HPE 프로그램 선발은 의도치 않게 학생의 다양성에 영향을 미쳐 공평한 입학을 저해할 수 있습니다. 기존 기준에 비해 확장된 기준은 SES 관련 성과 차이를 줄일 수 있지만 인종에 따른 격차는 줄일 수 없습니다. 확장된 기준의 경우, 하위 그룹의 성과 차이도 상황에 따라 달라집니다. 따라서 우리는 다양성에 대한 선발의 지속적인 평가 효과, 기존 도구 내에서 모범 사례의 식별, 학생 다양성에 긍정적이거나 중립적인 영향을 미치는 도구의 포함, 충분한 품질 관리가 필요하다고 촉구합니다.

In conclusion, selection into undergraduate HPE programs can unintentionally impact student diversity, hindering equitable admission. Compared to traditional criteria, broadened criteria can reduce SES-related performance differences, but not disparities based on ethnicity. For broadened criteria, subgroup differences in performance also vary across contexts. We, therefore, call for continuous evaluation effects of selection on diversity, the identification of best practices within existing tools, the inclusion of tools with a positive or neutral impact on student diversity, and sufficient quality control.

1Institute of Medical Education Research Rotterdam, Erasmus MC, University Medical Center Rotterdam, Room AE-207, PO Box 2040, 3000 CA, Rotterdam, The Netherlands. s.fikrat-wevers@erasmusmc.nl.

2Institute of Medical Education Research Rotterdam, Erasmus MC, University Medical Center Rotterdam, Room AE-207, PO Box 2040, 3000 CA, Rotterdam, The Netherlands.

3Department of Biostatistics, Erasmus MC University Medical Center Rotterdam, Rotterdam, The Netherlands.

4Department of Epidemiology, Erasmus MC University Medical Center Rotterdam, Rotterdam, The Netherlands.

5Department of Pharmaceutical Sciences, Utrecht University, Utrecht, The Netherlands.

6Technical Medical Centre, Technical Medicine, University of Twente, Enschede, The Netherlands.

7Department of Medical Biology, Amsterdam UMC, University of Amsterdam, Amsterdam, The Netherlands.

8Faculty of Medicine VU, Amsterdam UMC Location Vrije Universiteit Amsterdam, Boelelaan 1117, Amsterdam, The Netherlands.

9LEARN! Research Institute for Learning and Education, Faculty of Psychology and Education, VU University Amsterdam, Amsterdam, The Netherlands.

Student diversity in health professions education (HPE) can be affected by selection procedures. Little is known about how different selection tools impact student diversity across programs using different combinations of traditional and broadened selection criteria. The present multi-site study examined the chances in selection of subgroups of applicants to HPE undergraduate programs with distinctive selection procedures, and their performance on corresponding selection tools. Probability of selection of subgroups (based on gender, migration background, prior education, parental education) of applicants (N = 1935) to five selection procedures of corresponding Dutch HPE undergraduate programs was estimated using multilevel logistic regression. Multilevel linear regression was used to analyze performance on four tools: prior-education grade point average (pe-GPA), biomedical knowledge test, curriculum-sampling test, and curriculum vitae (CV). First-generation Western immigrants and applicants with a foreign education background were significantly less likely to be selected than applicants without a migration background and with pre-university education. These effects did not vary across programs. More variability in effects was found between different selection tools. Compared to women, men performed significantly poorer on CVs, while they had higher scores on biomedical knowledge tests. Applicants with a non-Western migration background scored lower on curriculum-sampling tests. First-generation Western immigrants had lower CV-scores. First-generation university applicants had significantly lower pe-GPAs. There was a variety in effects for applicants with different alternative forms of prior education. For curriculum-sampling tests and CVs, effects varied across programs. Our findings highlight the need for continuous evaluation, identifying best practices within existing tools, and applying alternative tools.

연구 설계
Study design

2008년 10월 1일, 2012년, 2015년에 네덜란드에 등록된 모든 16세 청소년(이하 '연령 코호트'라 함)을 대상으로 네덜란드 통계청의 익명화된 비공개 마이크로데이터를 사용하여 후향적 다중 코호트 연구를 수행했습니다. 이 연령 코호트 내에서 과학 중심의 예비 대학 교육 프로필을 가진 학생들을 '적격 학생 풀'로 정의했습니다. 학생들이 연구 프로그램 지원서를 제출하는 네덜란드 기관인 Studielink의 익명화된 데이터를 사용하여 의학, 약학, 임상 기술 또는 치의학에 지원한 사람들을 '지원자 풀'로 정의했습니다. 이 연구에 포함된 4개의 HPE 프로그램에 지원할 수 있는 자격은 고등학교 내신성적, 의대 입학시험 점수, 또는 이와 유사한 형태의 사전 학력에 의해 결정되지 않습니다. 그러나 지원자가 고등학교 최종 시험에서 불합격하여 그 해에 고등 교육에 등록하지 못할 수도 있습니다. 따라서 네덜란드 통계청의 마이크로데이터에 따르면 고등학교 시험에 통과하여 이론적으로 입학 자격이 있는 지원자를 대상으로 분석을 수행했습니다. 지원한 해에 고등학교 시험에 불합격한 지원자는 로지스틱 회귀 분석에서 제외했습니다. 마지막으로, 배치 자격이 있는 지원자 중 3년 후(2011년, 2015년 또는 2018년) 19세가 되었을 때 네덜란드 대학에 의학, 약학, 임상 기술 또는 치의학 학생으로 등록되어 있는 지원자를 'HPE 학생'이라고 불렀습니다. 
We did a retrospective multi-cohort study using anonymised non-public microdata from Statistics Netherlands of all 16-year-olds who were registered in The Netherlands on 1 October 2008, 2012, and 2015, hereafter referred to as ‘age cohorts’. Within these age cohorts, we defined those with a science-focused pre-university education profile as the ‘eligible student pool’. Using anonymised data from Studielink – the Dutch organization where students submit their application for a study programme – we defined those who had applied to Medicine, Pharmacy, Clinical Technology or Dentistry as the ‘applicant pool’. Eligibility to apply to the 4 HPE programs in this study is not determined by high school GPA, score in a medical admissions test, or similar form of prior attainment. However, an applicant may fail their final high school exams and thus be unable to enrol in higher education that year. We have therefore performed our analyses on the applicants who, according to Statistics Netherlands microdata, had passed their high school exams and thus, in theory, were eligible for placement. Applicants who failed their high school exam in the year in which they applied, were excluded from our logistic regression analyses. Finally, out of these applicants who were eligible for placement, those who were registered as Medicine, Pharmacy, Clinical Technology or Dentistry students at a Dutch university three years later (in 2011, 2015, or 2018), at the age of 19 were termed ‘HPE students’.

샘플
Sample

2008년, 2012년, 2015년 10월 1일에 16세였던 네덜란드에 거주하는 것으로 등록된 모든 어린이가 조사 대상에 포함되었습니다. 10월 1일은 각 교육 단계의 학생 등록이 이루어지는 기준일이기 때문에 10월 1일을 선택했습니다. 16세가 되면 대부분의 네덜란드 청소년은 아직 고등학교에 재학 중입니다. 2008년부터 2018년까지 학사 1학년 학생의 평균 연령은 18.6세였습니다(Leijen 외. 2019). 이는 HPE 학생을 포함한 네덜란드 대학생의 대다수가 17세, 18세 또는 19세에 대학에 입학한다는 것을 의미합니다. 따라서 연구 설계에서는 코호트의 대상 학생들이 아직 고등학교에 재학 중이고 3년 후인 19세에 고등학교를 졸업하고 고등교육에 입학했을 가능성이 가장 높다고 판단했습니다. 네덜란드 통계청 마이크로데이터에서 필수 변수를 사용할 수 있는지 여부와 학생들이 고등교육에 입학할 당시의 입학 상황(그림 1)을 고려하여 세 코호트의 연도를 선택했습니다. 
All children, registered as living in The Netherlands, who were 16 years old on 1 October 2008, 2012, and 2015 were included. October 1st was chosen because this is the reference date at which student enrolment at each level of education is registered. At age 16, the majority of Dutch youth is still in high school. The average age of first-year bachelor students between 2008 and 2018 was 18.6 years old (Leijen et al. 2019). This means that the majority of university students in The Netherlands, including HPE students, enter university at age 17, 18, or 19. Therefore, in our research design, we had the highest likelihood that eligible students in the cohorts were still in high school, and that three years later, at age 19, they would have left high school and entered tertiary education. We selected the years of the three cohorts based on the availability of essential variables in Statistics Netherlands microdata, and the admissions context (Figure 1) at the time students entered higher education.

변수
Variables

연구의 변수는 표 1에 설명되어 있습니다. SES를 대신하여 부모의 소득 백분위수, 자산 백분위수, 사회복지 수급자 상태를 사용했습니다. 소득 백분위수와 자산 백분위수는 전체 인구에 비해 상대적인 위치를 나타내기 때문에 유로로 환산한 값 대신 소득과 자산 백분위수를 포함했습니다. 네덜란드 통계청에서 정의한 네덜란드인 이외의 인종 그룹(이주 배경이 없는)은 이후 터키, 모로코, 수리남, 네덜란드 카리브해 이주 배경(TMSD) 또는 기타 이주 배경(OMB)을 가진 인종 그룹으로 지칭합니다. 
Variables in the study are described in Table 1. As proxy for SES, we used parental income percentiles, wealth percentiles, and social welfare recipient status. Income and wealth percentiles, rather than their values in euros, were included because percentiles indicate the relative position one occupies compared to the rest of the population. Statistics Netherlands-defined ethnic groups other than Dutch (without a migration background) are hereafter referred to as having either a Turkish, Moroccan, Surinamese, or Dutch Caribbean migration background (TMSD); or other migration background (OMB).

통계 분석
Statistical analysis

먼저 단변량 로지스틱 회귀 분석을 수행하여 표 1에 설명된 독립변수 중 어떤 것이 HPE 학생이 되는 것과 관련이 있는지 조사했습니다. 통계적 유의 수준은 .05로 설정했습니다. 독립 변수 간에 다중공선성의 증거가 있는지 데이터를 조사했습니다. 둘째, 다변량 로지스틱 회귀를 사용하고 단계적 전진 선택을 적용하여 각 코호트 연도(2008년, 2012년, 2015년)에 대한 모델을 구축했습니다. 그 결과 총 3개의 모델이 만들어졌습니다. 또한 상호작용 조건(가능한 모든 조합)을 추가하면 이러한 모델이 개선되는지도 조사했습니다. 
We first performed univariable logistic regression analyses to examine which of the independent variables described in Table 1 were associated with becoming an HPE student. Statistical level of significance was set at .05. We examined data for evidence of multicollinearity amongst the independent variables. Second, we used multivariable logistic regressions and applied stepwise forward selection to build a model for each cohort year (2008, 2012, and 2015). This resulted in three models in total. We also examined whether adding interaction terms (any possible combination) improved these models.

하이브리드 가중치 추첨 및 선발 절차에서 100% 선발 절차로 전환하는 동안 HPE 학생 집단의 대표성을 확인하기 위해 빈도표를 사용하여 모든 변수에 대한 각 코호트 및 각 기준 그룹의 학생 분포를 비교했습니다. 코호트 간 비율의 변화를 조사하기 위해 두 가지 유형의 로지스틱 회귀 분석을 사용했으며, 2008년 연령 코호트를 참조 범주로 사용했습니다. 성별과 같은 이항 변수의 경우 이항 로지스틱 회귀 분석을, 이주 배경과 같이 두 가지 이상의 범주가 있는 변수의 경우 다항 로지스틱 회귀 분석을 사용했습니다. 모든 분석은 Windows용 IBM SPSS 소프트웨어 버전 25.0(IBM Corp, 뉴욕주 애몬크)을 사용하여 수행되었습니다. 
To determine the representativeness of HPE student populations throughout the transition from a hybrid weighted lottery and selection procedure to a 100% selection procedure, we used frequency tables to compare the distribution of students in each cohort and each reference group on all variables. To investigate the changes in proportions between cohorts, we used two different types of logistic regression analyses, where age cohort 2008 was used as a reference category. For binary variables such as gender, we used binary logistic regression analysis; for variables with more than two categories, such as migration background, we used multinomial logistic regression analysis. All analyses were performed using IBM SPSS software for Windows version 25.0 (IBM Corp, Armonk, NY).

윤리적 고려 사항
Ethical considerations

암스테르담 UMC의 윤리위원회는 이 연구(파일 번호 2019.719)가 세계보건기구(WHO)의 인간 대상 의학 연구법에 따라 승인 면제 대상임을 선언했습니다. 통계 결과는 네덜란드 통계청의 비공개 익명 마이크로데이터를 사용한 LM과 JWRT(암스테르담 UMC)의 계산을 기반으로 하며, 네덜란드 통계청의 모든 개인정보 보호 규정과 비공개 마이크로데이터 사용에 관한 네덜란드 법률을 준수합니다. 지원자 풀의 Studielink에서 선별된 데이터는 네덜란드 통계청에 의해 익명화되었습니다. 연구자들은 식별 가능한 정보에 접근할 수 없었습니다. 
The Ethics Committee at Amsterdam UMC, location VUmc declared the study (File no. 2019.719) exempt from approval under the Medical Research Involving Human Subjects Act (WMO). The statistical results are based on calculations by LM and JWRT (Amsterdam UMC) using non-public anonymised microdata from Statistics Netherlands and comply to all Statistics Netherlands privacy regulations and the Dutch law regarding use of their non-public microdata. Selected data from Studielink of the applicant pool was anonymised by Statistics Netherlands. The researchers had no access to identifiable information.

HPE 학생이 되는 것과 관련된 인구통계학적 변수
Demographic variables associated with becoming an HPE student

단변량 로지스틱 회귀 분석 결과(보충 부록의 표 1 참조), 모든 변수가 적어도 하나의 코호트 내에서 HPE 학생이 되는 것과 연관성이 있는 것으로 나타났습니다. 다중공선성의 증거가 있는지 데이터를 조사했습니다. '이주 배경'과 '해외 출생 부모 수' 간의 피어슨 계수 상관관계가 각 연령 코호트에서 0.82를 초과하여 강한 것으로 간주될 수 있기 때문에 이전에 데이터 세트의 일부였던 한 변수(해외 출생 부모 수)를 제외했습니다(Schober et al. 2018). 따라서 '해외에서 태어난 부모 수'는 추가 분석에서 제외했으며 이 글에서는 포함하지 않았습니다. '이주 배경' 변수를 유지함으로써 100% 선발로의 전환이 이주 배경이 있는 그룹과 없는 그룹에 다른 방식으로 영향을 미치는지 조사할 수 있었습니다. 나머지 변수에서는 다중공선성에 대한 증거를 찾을 수 없었습니다. 따라서 모든 독립변수는 각 지원자 집단에 대해 독립적으로 다변량 회귀 모형에 포함되었습니다(전체 모형은 부록의 표 2, 최종 모형은 본 원고의 표 2 참조). 유의미한 상호작용은 발견되지 않았습니다.
Results from the univariable logistic regression (see Table 1 in Supplementary Appendix) showed that all variables were associated with becoming an HPE student within at least one cohort. We examined data for evidence of multicollinearity. This led us to exclude one variable (number of parents born abroad) which was previously a part of our dataset, because the Pearson coefficient correlations between ‘migration background’ and ‘number of parents born abroad’ were >0.82 in each age cohort, which can be considered strong (Schober et al. 2018). We therefore excluded ‘number of parents born abroad’ from further analyses and did not include it in this article. Keeping the variable ‘migration background’ enabled us to investigate whether the transition to 100% selection impacted groups with or without a migration background in different ways. No evidence was found for multicollinearity in the remaining variables. All independent variables were, therefore, included in multivariable regression models for each applicant cohort independently (see Table 2 in Supplementary Appendix for the full models and Table 2 in this manuscript for the final models). No significant interactions were found.

지원자 풀 모델
Applicant pool models

표 2는 2008년 코호트와 2015년 코호트 사이의 최종 모델 변화를 보여줍니다. 가중치 추첨을 통해 50~100%의 학생이 입학한 2008년 코호트에서는 여성 성별(OR 1.15 [1.01~1.30])과 최고 부유층에 속하는 것(OR 1.29 [1.10~1.51])만이 HPE 학생이 되는 것과 유의미한 양의 상관관계를 보였습니다. 2012년 코호트에서는 가계 자산이 더 이상 이 모델에 유의미한 영향을 미치지 않았습니다. 대신, 부모 소득에 대한 효과가 발견되었으며, 상위 10분위에서 긍정적인 연관성이 나타났습니다(OR 1.37 [1.18-1.60]). 여성 성별은 여전히 긍정적인 연관성을 보였으며(OR 1.49 [1.28-1.73]), 이주 배경은 TMSD 이주 배경을 가진 경우 음의 연관성을 보이며 모델을 개선했습니다(OR 0.68 [0.52-0.89]). 2015년 코호트(100% 선택) 모델에서는 부모 중 한 명 이상의 HP가 있는 경우(OR 1.27 [1.10-1.47]), 여성인 경우(OR 1.35 [1.19-1.53]), 자산 상위 10분위에 속하는 경우(OR 1.28 [1.10-1.49])가 긍정적인 연관성이 있는 것으로 나타났습니다. TMSD 이주 배경(0.72 [0.57-0.91])은 음의 연관성이 발견되었습니다. 다른 변수들은 표 2의 모델에 기여하지 않았기 때문에(p > .05) 포함되지 않았습니다(전체 모델, 즉 단계적 전진 로지스틱 회귀를 수행하기 전의 결과는 부록의 표 2 참조).
Table 2 shows that the final models change between cohort 2008 and 2015. In cohort 2008, where 50–100% of students were admitted through weighted lottery (depending on each HPE faculty), only female gender (OR 1.15 [1.01–1.30]) and belonging to the highest wealth decile (OR 1.29 [1.10–1.51]) were significantly positively associated with becoming an HPE student. In cohort 2012, household wealth no longer contributed significantly to the model. Instead, an effect for parental income was found, with a positive association for the top-10 decile (OR 1.37 [1.18–1.60]). Female gender remained positively associated (OR 1.49 [1.28–1.73]), and migration background improved the model, with a negative association for having a TMSD migration background (OR 0.68 [0.52–0.89]). The model of cohort 2015 (100% selection) showed that having at least one HP as a parent (OR 1.27 [1.10–1.47]), female gender (OR 1.35 [1.19–1.53] and belonging to the top-10 wealth decile (OR 1.28 [1.10–1.49]) were positively associated. Negative associations were found for a TMSD migration background (0.72 [0.57–0.91]). Other variables did not contribute to the models in Table 2 (p > .05) and were therefore not included (see Table 2 in Supplementary Appendix for the result of the full model, that is before performing a stepwise forward logistic regression).

이주 배경과 관련된 결과가 SES의 차이로 설명될 수 있는지 조사하기 위해 각 이주 배경 범주(네덜란드, TMSD, OMB)에 대한 소득 및 부의 빈도 분포를 분석했습니다. 소득과 재산이 세 가지 범주 간에 매우 불균등하게 분포되어 있었기 때문에, 지원자 풀에 대한 추가 분석을 수행하여 소득과 재산 그룹을 재코딩하여 균형을 극대화했습니다. 

• 소득이 가장 낮은 그룹(백분위수 0-60)에서는 2012년과 2015년 코호트에서 TMSD 배경에 대한 음의 연관성이 유의미하게 유지되었습니다(보충 부록의 표 3 참조). 
• 소득 백분위수 0-70 그룹에서는 2015년 코호트에서 TMSD 배경에 대한 음의 연관성이 유의미했습니다. 2012년 코호트에서는 소득 백분위수 71-100 그룹에서도 마찬가지였습니다. 

이는 동일한 소득/부유층에서 이주 배경이 없는 네덜란드 기준 범주와 비교했을 때에도 여전히 음의 연관성을 보였기 때문에 TMSD 이주 배경에 대한 음의 연관성은 SES로 설명할 수 없음을 보여주었습니다.
To investigate whether results related to migration background could be explained by differences in SES, we analysed the frequency distribution of income and wealth deciles for each migration background category (Dutch, TMSD and OMB). As income and wealth were distributed highly unequally between the three different categories, we performed additional analyses on the applicant pool, using recoded income and wealth groups to maximize balance.

• Within the lowest wealth group (percentiles 0–60), the negative association for a TMSD background remained significant in cohort 2012 and 2015 (see Table 3 in Supplementary Appendix).
• In income percentiles group 0–70, the negative association for a TMSD background was significant in cohort 2015. In cohort 2012, this was true for income percentile group 71–100.

This showed that the negative associations for TMSD migration background cannot be explained by SES: they remained negative even when compared to the Dutch reference category without a migration background from the same income/wealth groups.

HPE 학생의 대표성
Representativeness of HPE students

표 3은 모든 (하위) 코호트에서 변수별 학생 분포를 보여줍니다. 여성은 모든 연령 코호트 및 적격 학생 풀의 약 절반을 차지했지만, 지원자 풀과 HPE 학생 인구에서는 그 비율이 훨씬 높았습니다(표 3). 2008년과 2015년 코호트 사이에 HPE 학생 인구에서 남성의 비율은 34.1%에서 28.6%로 16.1% 감소했습니다.
Table 3 shows the distribution of students per variable in all (sub)cohorts. Women represented approximately half of all age cohorts and eligible student pools, but their proportion is significantly higher in the applicant pool and the HPE student population (Table 3). A 16.1% decrease was seen in the proportion of men in the HPE student population between cohort 2008 and 2015 (from 34.1 to 28.6%).

2008년과 2015년 코호트 사이에 HP 부모가 1~2명인 HPE 학생의 비율은 크게 감소했지만, 연령 코호트, 적격자 풀, 지원자 풀과 비교하면 이러한 부모를 둔 학생은 여전히 HPE 학생 중에서 과대 대표되고 있습니다.
The proportion of HPE students with 1 or 2 HP parents decreased significantly between cohort 2008 and 2015, but compared to the age cohort, eligible pool, and applicant pool, students with such parents are still overrepresented amongst HPE student students.

2008년 코호트와 2015년 코호트 사이에 HPE 학생의 소득 그룹별 분포는 큰 변화가 없었지만, 자산 그룹별 분포는 하위 70% 백분위수 학생의 비율은 증가하고 상위 10% 백분위수 학생의 비율은 감소한 것으로 나타났습니다. 그러나 소득 및 자산이 가장 높은 그룹의 학생들은 지원 자격 및 지원자 풀과 비교했을 때, 특히 연령 코호트와 비교했을 때 HPE 학생들 사이에서 여전히 과대 대표되었습니다. 
The distribution of HPE students over the different income groups has not undergone major changes between cohort 2008 and 2015, but their distribution over the different wealth groups shows an increase in the proportion of students from the lowest 70 percentiles, and a decrease of the proportion of students from the top 10 decile. However, students from the highest income and wealth groups remained overrepresented amongst HPE students compared to the eligible and applicant pools, but especially compared to their age cohorts.

부모 중 한 명 이상이 사회복지 혜택을 받는 학생은 적격자 풀에서는 과소 대표되지만, 각 코호트에서 지원자 풀에서 차지하는 비율이 적격자 풀에서 차지하는 비율보다 상대적으로 높은 비율로 지원했습니다. 그러나 입학률은 더 낮기 때문에 HPE 학생의 연령 코호트에 비해 과소 대표됩니다.
Those with at least one parent who receives social welfare are underrepresented in the eligible pool, but they do apply at relatively high rates: in each cohort, their proportion in the applicant pool is higher than their proportion in the eligible pool. However, they are admitted at lower rates, resulting in underrepresentation amongst HPE students compared to their age cohorts.

연령 코호트에 비해, TMSD 학생은 모든 코호트의 적격 풀, 지원자 풀, HPE 학생 집단에서 과소 대표되는 반면, OMB 학생은 지원자 및 HPE 학생 집단에서 과대 대표되는 것으로 나타났습니다.
Relative to the age cohorts, TMSD students are underrepresented in the eligible pool, applicant pool, and HPE student populations for all cohorts, while OMB students are overrepresented amongst applicants and HPE students.

시사점
Implications

이번 연구 결과는 추첨 또는 선발이 지원자에 대한 공정성 및 사회에 대한 공평한 결과를 가져올 수 있는지에 대한 국제적 논쟁에 새로운 차원을 제공할 수 있습니다. 이는 HPE 지원자 풀과 학생 인구의 다양성 또는 대표성이 부족한 모든 국가 및 상황과 관련이 있습니다. 이 보고서는 추첨과 선발에 대한 논쟁이 벌어지고 있는 국제 HPE 커뮤니티에, 초등 및 중등 교육에서 특정 그룹에 대한 누적된 불이익으로 인해 지원자 풀이 해당 연령대를 대표하지 못하는 한 무작위 또는 가중치 추첨은 입학의 공정성 또는 형평성을 달성하기 위한 쉬운 해결책이 아니라는 점을 강조합니다(Hubbeling 2018, Mazer 2021, ten Cate 2021). 따라서 전 세계 HPE 프로그램은 지원자 풀의 다양성을 연령대 및 지원 자격이 있는 학생 인구와 비교하여 파악할 것을 권장합니다. 
Our conclusions can provide a new dimension in the international debate on whether lottery or selection would result in fairness towards applicants and/or equitable outcomes for society. This is relevant to all countries and contexts in which there is a lack of diversity or representativeness in the HPE applicant pool and student population. It emphasises to the international HPE community, in which there is debate about lottery versus selection (Hubbeling 2018; Mazer 2021; ten Cate 2021) that a random or weighted lottery is not an easy solution to achieve fairness or equity in admissions as long as the applicant pool is not representative of their age cohort, due to accumulated disadvantage for certain groups in primary and secondary education. We therefore recommend HPE programmes around the world to gain insight into the diversity of the applicant pool in comparison to their age cohort and the eligible student population.

결국, HPE 프로그램의 지원자 풀이 전체 인구를 대표하지 못한다는 점에서 네덜란드가 유일한 것은 아닙니다(Steven 외, 2016). Cohen 등(2002)은 대학 전 단계의 교육 시스템을 근본적으로 개혁하는 것이 대표적인 보건 전문직 인력을 확보하기 위한 장기적인 해결책이지만, 그러한 개혁이 이루어질 때까지는 HPE 프로그램에서 소수집단 우대 조치 도구가 중요하다고 주장했습니다. 우리의 연구는 이러한 주장을 뒷받침하지만, 이러한 도구 또는 일반적으로 접근성 확대 정책은 현재 네덜란드의 선발 절차에서 사용되지 않고 있으며 법적으로도 허용되지 않습니다. 최근 정부는 추첨 입학을 다시 합법화했지만, 추첨 시스템에는 낮은 사회경제적 지위나 TMSD 이주 배경 등으로 인해 이미 적격 학생 풀이나 지원자 풀에서 상당히 과소 대표되는 사람들을 위한 공평한 경쟁의 장을 만들 수 있는 메커니즘이 마련되어 있지 않습니다. 교육 시스템의 낮은 기대치(네덜란드 교육감찰청 2021), 차별(네덜란드 교육감찰청 2021), 양질의 자원이 풍부한 학교에 대한 차별적 접근(Grafton-Clarke 2016, Kumwenda 외. 2017, 네덜란드 교육감찰청 2021)과 같은 이러한 장벽은 초등 및 중등 교육에 관련된 모든 당사자가 해결해야 할 과제입니다. 그러나 이러한 문제는 이 글의 범위를 벗어납니다. 연구 결과와 교육 불평등에 대한 이러한 광범위한 맥락을 바탕으로, 우리는 HPE 프로그램 대상자 풀이 해당 연령대를 대표하지 않는 한 100% 추첨으로 돌아가는 것이 HPE의 다양성 부족 문제를 해결하는 데 도움이 되지 않는다고 주장합니다.

After all, The Netherlands is not unique in that eligible pools for HPE programmes are not representative for the population as a whole (Steven et al. 2016). Cohen et al. (2002) argued that fundamental reforms of the education system at the pre-college stage are the long-term solution to achieving a representative health professions workforce, but that until those reforms take place, affirmative action tools in HPE programmes are critical. Our study supports that argument, but such tools, or Widening Access policies in general, are currently not being used in the selection procedure in The Netherlands, nor are they permitted by law. Recently, the government made lottery-admission legal again, but a lottery system does not have a mechanism in place to create a level playing field for those who are already significantly underrepresented in the eligible student pool or applicant pool due to the known barriers resulting from a lower SES status or a TMSD migration background. These barriers, such as lower expectations being placed upon them by the education system (Dutch Inspectorate of Education 2021), discrimination (Dutch Inspectorate of Education 2021), and differential access to high-quality and highly resourced schools (Grafton-Clarke 2016; Kumwenda et al. 2017; Dutch Inspectorate of Education 2021), need to be addressed by all parties involved in primary and secondary levels of education. They are however beyond the scope of this article. Based on our findings and this broader context of educational inequality, we argue that a return to 100% lottery will not help in solving the problem of a lack of diversity in HPE, as long as eligible pools for HPE programmes are not representative of their age cohorts.

우리의 연구 설계는 전 세계적으로 복제될 수 있으며, 대표성 있는 학생 집단을 입학시키는 것을 목표로 하는 HPE 프로그램은 이 목표를 달성하는 데 가장 적합한 입학 절차 유형을 결정할 때 연령 집단, 적격 풀, 지원자 풀의 다양성을 고려할 수 있습니다. 각 지역 상황에 따라 해당 연령 코호트(즉, (미래) 환자 집단)를 대표하는 학생 집단을 입학시키기 위해 취해야 할 단계가 다를 수 있습니다. 무작위 추첨은 기껏해야 지원자 풀을 대표하는 HPE 학생 모집단을 구성할 수 있지만, 지원자 풀의 다양성이 부족한 상황에서는 추첨이 해결책이 될 수 없습니다. 이러한 상황에서는 공평한 입학을 우선시하는 명시적인 목표를 가진 선발 절차를 시행할 수 있습니다. 다음을 연구하고 적절한 경우 실행할 수 있을 것입니다. 

• 접근성 확대 정책(포위스 외 2007, 클랜드 외 2015, 알렉산더 외 2017, 마틴 외 2018),
• 쿼터제(베칵과 시리노 2018, 커티스 2018),
• 상황별 입학(의과대학협의회 선발 연합 2018),
• 소외된 학생에게 불이익을 주지 않는 것으로 알려진 선발 도구 사용(제란트 외 2015, 라잭 외 2015, 테일러 외 2015),
• 기타 대표성 있는 보건 전문 인력을 확보할 수 있는 도구의 성공적인 국제 사례

Our study design can be replicated globally, where HPE programmes aiming to admit a representative student population could consider the diversity of the age cohort, eligible pool, and the applicant pool when deciding on the most suitable type of admissions procedure to achieve this goal. Depending on each local context, different steps can be taken to admit a student population which is representative for their age cohort (i.e. the (future) patient population). Random lottery at best results in an HPE student population which is representative of the applicant pool, but in contexts where the applicant pool lacks diversity, lottery is not a solution. In such contexts, selection procedures could be implemented which have the explicit goal to prioritise equitable admissions. Successful international examples of

• Widening Access policies (Powis et al. 2007; Cleland et al. 2015; Alexander et al. 2017; Martin et al. 2018),
• quota systems (Becak and Cirino 2018; Curtis 2018),
• contextualised admissions (Medical Schools Council Selection Alliance 2018),
• using selection tools which are known to not disadvantage underrepresented students (Jerant et al. 2015; Razack et al. 2015; Taylor et al. 2015), and other
• instruments that can ensure a representative health professional workforce,
  • could be studied and implemented where appropriate.

또한, 연령 코호트에 비해 적격자 풀의 다양성이 충분하지 않은 경우, 초중등 교육에 관련된 모든 당사자가 가능한 한 빠른 시일 내에 이 문제를 해결하기 위한 정책을 개발해야 합니다. 지원자 풀의 다양성이 충분하지 않은 경우, 대학 및 기타 당사자가 설계할 수 있는 파이프라인 프로그램 및 기타 참여 확대 노력(Martin 외. 2018; Clayborne 외. 2021)과 같은 채용 영역에 대한 개입이 필요합니다. 
Additionally, if there is insufficient diversity in the eligible pool compared to the age cohort, policies need to be developed to address this problem at the earliest possible stages by all parties involved in primary and secondary education. Where there is insufficient diversity in the applicant pool, interventions are necessary in the area of recruitment, such as pipeline programs and other Widening Participation efforts (Martin et al. 2018; Clayborne et al. 2021), which could be designed by universities and other parties.

조사 결과를 바탕으로 네덜란드의 맥락에서 HPE 프로그램에 대해 다음과 같은 제안을 합니다: 공평한 입학 절차를 개발하여 저소득층 가정 학생, TMSD 이주 배경을 가진 학생, HP 부모가 없는 학생, 남학생의 입학을 우선적으로 늘릴 수 있도록 해야 합니다. 이러한 입학 절차는 법적으로 허용되어야 HPE 프로그램에서 시행할 수 있습니다. 공평한 입학 정책 개발자는 지원자가 소수 민족 및 저소득층 배경을 가진 남성 등 여러 소수자 집단에 속할 수 있으며, 이로 인해 HPE 프로그램에 입학하는 과정에서 누적된 불이익에 직면할 수 있다는 교차성(Crenshaw 1991)을 인식할 것을 권장합니다. 예를 들어 의료 네트워크에 대한 접근성을 제공하는 등 남성과 HP 부모가 없는 학생들이 더 많이 HPE 프로그램에 지원하도록 장려하고 지원하려면 대학 전 단계에서 추가적인 정책적 개입이 필요합니다(Wouters 2020). 또한, 초중등학교는 SES가 낮은 아동과 TMSD 배경을 가진 아동이 과학 중심의 예비 대학 트랙에 성공적으로 등록할 수 있도록 조기에 지원하여 향후 HPE 프로그램에 지원할 수 있는 자격을 만들어야 합니다.
On the basis of our findings, we advance the following suggestions for HPE programmes in the Dutch context: Equitable admissions procedures should be developed to prioritise increasing the admission of students from lower SES families, students with a TMSD migration background, students without HP parents, and men. Such admissions procedures need to become legally permitted, so HPE programs can implement them. We recommend developers of equitable admissions policies to be aware of intersectionality (Crenshaw 1991): applicants can belong to multiple underrepresented groups, e.g. a man with an ethnic minority and lower SES background and may thereby face accumulated disadvantages in the route to an HPE programme. Additional policy interventions at the pre-university stage are necessary to encourage and support men and those without HP parents to apply to HPE programmes in greater numbers, for example by providing them with access to a medical network (Wouters 2020). Furthermore, primary and secondary schools should support lower SES children and children with a TMSD background at an early stage to successfully enrol in the science-focused pre-university track, which would make them eligible to apply for an HPE programme in the future.

제한 사항
Limitations

본 표본은 2008년, 2012년 또는 2015년 10월 1일에 16세였던 60만 명 이상의 개인으로 구성되었습니다. 이 표본의 설계와 규모는 이 연구의 주요 강점입니다. 또 다른 강점은 비슷한 배경을 가진 지원자들을 대상으로 로지스틱 회귀분석을 수행했다는 점입니다. 지원자들은 모두 같은 나이였고, 이들 중 98%(데이터는 표시되지 않음)가 이공계 예비대학 트랙 시험에 합격했습니다(이 코호트의 2%만이 다른 경로(예: 고등직업교육 경로)를 통해 지원했음을 의미함). 이렇게 하면 교란 요인의 위험을 줄일 수 있습니다. 또한, 배정 자격을 갖춘 세 개의 지원자 풀을 2009~2018학년도의 전체 지원자 데이터 세트와 비교했으며, 여기에는 지원했지만 코호트에 속하지 않은 학생들도 포함되었습니다. 연구에 포함된 모든 변수에 대해 이들을 비교하여 코호트 내 지원자 풀이 9년간의 통합 지원자 풀에 대해 얼마나 대표성을 갖는지 확인했습니다. 지원자 풀은 2009~2018년 기간의 전체 지원자(각각 71%, 55%)에 비해 이주 배경이 없는 네덜란드인(78%)과 소득 상위 10%에 속하는 부모를 둔 지원자(60%)가 더 많았지만, 다른 변수에서는 비교적 비슷했습니다. 
Our sample consists of more than 600,000 individuals who were 16 years old on 1 October 2008, 2012, or 2015. The design and size of this sample are major strengths of the study. Another strength is that logistic regression was performed on those applicants who all had similar backgrounds: they were of the same age, and 98% of them (data not shown) had passed the examination of the science-focused pre-university track (meaning only 2% of this cohort applied through a different route (e.g. the higher vocational educational route). This reduces the risk of possible confounders. Additionally, we compared our three applicant pools who were eligible for placement with the combined applicant dataset of the 2009–2018 academic years, including the students who applied and were not part of our cohorts. We compared them on all variables included in the study, to see how representative the applicant pools within our cohorts were for the combined applicant pool of these nine years. Our applicant pools consisted more often of those who were Dutch without a migration background (78%) and with parents who belonged to the top-10 income decile (60%), compared to all applicants in the 2009-2018 period (71%, respectively, 55%), but were relatively comparable on the other variables.

일부 변수에 대한 데이터가 제공되지 않아 100% 추첨을 통해 입학한 학생(2000년 이전)과는 비교할 수 없었습니다. 그러나 2008년 코호트 HPE 학생의 50~100%는 특정 프로그램과 대학에 따라 가중치 추첨을 통해 입학했으므로 100% 선발 절차와 비교할 수 있는 충분한 근거를 제공합니다. 
We could not make a comparison with the students admitted through 100% lottery (before 2000), as data for several variables was not available. However, 50–100% of the HPE students of cohort 2008 was admitted through weighted lottery (depending on the specific programme and university), which does provide sufficient ground for comparison with a 100% selection procedure.

네덜란드의 여러 대학에서 제공하는 의학, 약학, 임상 기술, 치의학 등 개별 프로그램 간에 HPE 학생 집단의 대표성을 비교할 수는 없었습니다. 이는 네덜란드 통계청 규정에 따라 기관 차원의 마이크로데이터 연구가 허용되지 않기 때문입니다. 이러한 한계를 극복하기 위해 2018~2019학년도 각 HPE 프로그램의 국가별 총 정원 수를 데이터 세트의 분포에 대한 대리치로 추가했습니다(Studiekeuze123, 2017): 의학: 2835명(78,9%); 약학: 270명(7.5%); 치의학: 259명(7.2%); 임상 기술: 230명(6.4%); 총: 3594명(100%). 이러한 국가별 비율은 데이터 세트 내의 비율을 가장 잘 대변합니다. 
We could not compare the representativeness of HPE student populations between individual programs of Medicine, Pharmacy, Clinical Technology, and Dentistry offered at different Dutch universities. This is because Statistics Netherlands regulations do not allow for microdata research on the institutional level. To address this limitation, we hereby add the total number of seats in the academic year 2018–2019 for each HPE program on a national level (Studiekeuze123, 2017) as a proxy for their distribution in our dataset: Medicine: 2835 (78,9%); Pharmacy: 270 (7.5%); Dentistry: 259 (7.2%); Clinical Technology: 230 (6.4%); Total: 3594 (100%). These national proportions are the best proxy for the proportions within our dataset.

마지막으로, 부모의 교육 수준은 이 데이터가 표준화되지 않았고 표본의 일부에서 사용할 수 없었기 때문에 포함할 수 없었습니다. 이러한 한계를 극복하기 위해 세 가지 다른 SES 지표를 사용하여 이 문제를 해결했습니다.
Finally, parental education levels could not be included due to this data being unstandardised, and unavailable for a part of the sample. We addressed this limitation by having three other indicators for SES.

추가 연구
Further research

데이터는 입학 정책의 변화가 필요함을 시사할 수 있지만, 증거만으로는 충분하지 않습니다. 각국의 사회적, 정치적, 법적 맥락에 따라 입법적 조정과 사회적 지지 기반 조성이 필요할 수 있습니다. 후속 연구에서는 입법 및 제도적 변화 가능성을 알리기 위해 접근성 확대 정책에 대한 제도적, 사회적 지원 수준을 조사했습니다.
Although data may indicate a need for change in admissions policies, evidence alone does not suffice. Depending on countries’ societal, political, and legal context, legislative adaptations and creating societal support may be needed. In a follow-up study, we investigated the level of institutional and societal support for widening access policies, to inform possible legislative and institutional changes.

대표성 있는 학생 집단을 우선시하는 입학 절차에 가장 적합한 설계에 대한 연구와 더불어, 개별 선발 도구와 도구의 조합이 학생 다양성에 미치는 영향에 대한 추가 연구가 필요합니다.
Next to research into the most suitable designs for admissions procedures which would prioritise a representative student population, further research is required into the effects of individual selection tools, as well as combinations of tools, on student diversity.

Background: Concerns exist about the role of selection in the lack of diversity in health professions education (HPE). In The Netherlands, the gradual transition from weighted lottery to selection allowed for investigating the variables associated with HPE admission, and whether the representativeness of HPE students has changed.

Method: We designed a retrospective multi-cohort study using Statistics Netherlands microdata of all 16-year-olds on 1 October 2008, 2012, and 2015 (age cohorts, N > 600,000) and investigated whether they were eligible students for HPE programs (n > 62,000), had applied (n > 14,000), and were HPE students at age 19 (n > 7500). We used multivariable logistic regression to investigate which background variables were associated with becoming an HPE student.

Results: HPE students with ≥1 healthcare professional (HP) parent, ≥1 top-10% income/wealth parent, and women are overrepresented compared to all age cohorts. During hybrid lottery/selection (cohort-2008), applicants with ≥1 top-10% wealth parent and women had higher odds of admission. During 100% selection (cohort-2015) this remained the case. Additionally, applicants with ≥1 HP parent had higher odds, those with a migration background had lower odds.

Conclusions: Odds of admission are increasingly influenced by applicants' backgrounds. Targeted recruitment and equitable admissions procedures are required to increase matriculation of underrepresented students.

The value of structured development processes has been recognized and implemented in formal physician training programs such as residencies and fellowships. Physicians are seemingly viewed as a "finished product" upon completing formal training. In recent years, a number of academic medical centers have implemented formalized early-career development programs for physicians, largely those who have a major research focus. However, beyond the early stage of physicians' careers, formalized and intentional physician career development programs are rare. The lack of a philosophy of intentional, career-long individual development at academic medical centers reflects a narrow understanding of the implicit contract between employers and employees. The resulting gap leads the vast majority of physicians to fall short of their potential, further leading to long-term loss for the academic medical centers, their physicians, and society as a whole. Based on the framework of analyze-design-develop-implement-evaluate, the authors propose a robust, iterative model for physician career development that goes beyond skills and knowledge maintenance toward leveraging a broad range of individual capabilities, needs, and contexts along the career lifespan. The model provides a means for harnessing physicians' strengths and passions in concert with the needs of their organization to create greater physician fulfillment and success, which in turn would benefit the patients they care for and the academic medical centers in which they work.

연구 설정 및 샘플링
Study Setting and Sampling

연구 환경은 국제 보건 전문직 교육자의 교육 성과 및 리더십 기술 향상을 목표로 2001년에 설립된 미국 기반의 교수진 개발 프로그램인 FAIMER(국제 의학 교육 및 연구 발전 재단) 연구소 펠로우십이었습니다[25]. 이 연구 당시, 변혁적 학습의 원칙[26]에 따라 2년 동안 진행된 이 프로그램은 필라델피아에서 두 차례의 현장 세션과 두 차례의 원격 학습 세션으로 구성되었습니다. 참가자의 소속 기관에서 실행될 교육 프로젝트는 학습의 중심지이자 초국가적 교육자 커뮤니티를 형성하는 매개체였습니다[27]. 40여 개국에서 약 2,000명의 교육자가 FAIMER 인스티튜트에 참여했습니다[25].
The study setting was the FAIMER (Foundation for Advancement of International Medical Education and Research) Institute Fellowship, a US-based faculty development program established in 2001 that aims to improve the teaching performance and leadership skills of international health professions educators [25]. At the time of this study, this two-year program, informed by principles of transformational learning [26], was composed of two onsite sessions in Philadelphia, followed by two distance learning sessions. An education project, to be implemented in participants’ home institutions, was a focal point for learning and a vehicle for creating a transnational community of educators [27]. Almost 2000 educators from over 40 countries have participated in the FAIMER Institutes [25].

저희는 2014년부터 2019년까지 5개 코호트(2014~2019년)의 FAIMER 펠로우와 프로그램에 적극적으로 참여한 FAIMER 교수진 중에서 참가자를 모집했습니다. 적극적인 참여의 기준에는 현장 프로그램 중 최소 한 세션 이상에서 '주임 교수진'으로 간주되는 교수진과 지난 3~5년 동안 FAIMER에서 강의한 경험이 있어 현재 프로그램 콘텐츠와 문화에 익숙한 교수진이 포함되었습니다. FAIMER는 여러 국가에 여러 지역 연구소를 운영하고 있지만, 필라델피아 연구소는 국제적인 코호트를 대표하기 때문에 연구 참가자를 선정했습니다. 연구와 연구팀을 소개하기 위해 WB와 RV는 대상자(72명의 펠로우와 10명의 교수진)에게 이메일을 보냈고, 이어서 SMH와 YS가 동일한 명단에 대한 자세한 이메일 초대장을 보냈습니다. 총 40명의 펠로우와 5명의 교수진이 참여에 동의했으며, 이 중 성별, 국적, 징계 배경, 코호트 연도의 이질성을 보장하기 위해 의도적으로 표본을 추출했습니다. 우리는 새로운 데이터가 새로운 주제나 데이터 해석의 수정으로 이어지지 않을 때 발생하는 정보적 충분성에 도달할 때까지 연구 참가자를 등록했습니다[28]. 
We recruited participants from five cohorts of FAIMER Fellows (2014–2019) and from FAIMER Faculty who were actively involved in the program. Criteria for active involvement included Faculty who were considered “lead faculty” in at least one session during the onsite program and Faculty who had taught in FAIMER within the last 3–5 years and were, therefore, familiar with the current program content and culture. While FAIMER offers several Regional Institutes in different countries, we selected study participants from the Philadelphia site because it represents an international cohort. To introduce the study and research team, WB and RV sent e-mails to the eligible population (72 Fellows and 10 Faculty); this was followed by a detailed e-mail invitation from SMH and YS to the same list. Altogether, 40 Fellows and 5 Faculty agreed to participate, from which we purposefully sampled participants to ensure heterogeneity in gender, nationality, disciplinary background, and cohort year. We enrolled study participants until we reached informational sufficiency, which occurred when new data did not lead to new themes or modifications of data interpretation [28].

데이터 수집 및 분석
Data Collection and Analysis

FAIMER 연구소와 관련이 없거나 이전에 펠로우들에게 알려지지 않았던 SMH는 2019년 가을과 겨울에 Zoom 또는 Skype를 사용하여 반구조화된 인터뷰를 진행하여 펠로우들의 경험과 인식을 이끌어냈습니다. 처음 두 차례의 인터뷰와 데이터 분석을 통해 얻은 조사자들의 개념 정립에 따라 인터뷰 가이드(온라인 부록 1)를 파일럿 테스트했습니다. 이러한 변경 사항에는 질문의 순서를 바꾸고 도입부를 짧게 하여 주요 질문으로 더 빨리 진입하고 인터뷰 시간에 맞출 수 있도록 했습니다. 또한 필요에 따라 다른 문구를 사용하여 FAIMER 교수진에 대한 인터뷰 가이드를 수정했습니다. 예를 들어, 교수진에게는 "당신의 가르침"을, 펠로우에게는 "당신의 학습"을 사용했습니다. 또한 FAIMER 교수진이 문화적 차이를 고려하기 위해 교육 내용이나 과정을 변경한 적이 있는지 조사했습니다. 차별, 판단, 고정관념을 암시할 수 있는 인터뷰 질문은 의도적으로 피했습니다. 인터뷰는 43분에서 74분 동안 진행되었으며, 오디오로 녹음되었고 외부 전문가가 그대로 필사했습니다. SMH는 모든 녹취록의 정확성을 검토했습니다.
SMH, who was not connected to the FAIMER Institute nor previously known to Fellows, conducted semi-structured interviews in the fall and winter of 2019 using Zoom or Skype to elicit Fellows’ experiences and perceptions. We pilot-tested an interview guide (Online Appendix 1), which was adjusted following the first two interviews and the investigators’ evolving conceptualizations that arose from data analysis. These changes included the order of questions asked and a shorter introduction so that we could dive into the main questions more quickly and accommodate the interview timeframe. We also modified the interview guide for FAIMER Faculty by using different wording, as needed. For example, for Faculty, we used “your teaching;” for Fellows, we used “your learning”. We also probed if FAIMER Faculty had ever changed their teaching content or process to take cultural differences into account. We deliberately avoided interview questions that could suggest discrimination, judgment, or stereotyping. Interviews lasted from 43 to 74 minutes, were audio-recorded, and were transcribed verbatim by an external professional. SMH reviewed all transcripts for accuracy.

데이터 분석은 데이터 수집과 함께 반복적으로 진행되었습니다. 귀납적 기법으로 시작하여 예비 패턴과 공통 스레드를 식별하고, 나중에 데이터를 가장 잘 표현하기 위해 병합했습니다. 지속적인 비교 분석을 통해 유사한 코드와 주제에 대한 전체론적, 교차 사례 분석을 수행했습니다. 또한 각 주제를 설명하는 예시적인 인용문도 적극적으로 찾았습니다. 분석 결과를 이해하기 위해 점차 해석 단계로 나아갔고, 이를 통해 의미 있는 주제에 집중하고 분석 결과의 실제 적용을 정교화할 수 있었습니다. 또한 기존의 이론적 프레임워크[22]를 사용하여 코드를 생성하지 않았기 때문에 데이터 분석은 '상향식'이었지만, 분석과 해석이 발전함에 따라 TLT를 활용하여 참가자 간의 상호 연결된 관계와 교육 및 학습의 맥락에 대한 의미 있는 시각을 제공했습니다[23]. 
Data analysis was iterative and started alongside data collection. We began with an inductive technique to identify preliminary patterns and common threads which were later merged to best represent the data. By using constant comparative analysis, we conducted a holistic and cross-case analysis of similar codes and themes. We also actively sought out exemplar quotations, illustrating each theme. To make sense of the findings, we gradually progressed to interpretation; this allowed us to focus on meaningful themes and elaborate on the practical application of findings. Moreover, though our data analysis was “bottom-up” as we did not generate codes using a pre-existing theoretical framework [22], we drew upon TLT as the analysis and interpretation evolved, to provide a meaningful lens on the interconnected relationship between participants and the context for teaching and learning [23].

두 명의 저자(SMH와 YS)가 처음 두 번의 인터뷰를 독립적으로 읽고 코딩한 후, 주요 관찰 사항과 예비 조사 결과를 논의했습니다. SMH는 YS의 의견을 바탕으로 나머지 녹취록을 계속 분석하여 패턴과 주제에 대한 합의를 이끌어냈습니다. 펠로우들과의 15개 인터뷰가 모두 코딩되었을 때, SMH는 나머지 FAIMER 교수진과의 인터뷰 5개를 코딩하기 시작했습니다. SMH와 YS는 정기적으로 만나 확인된 코드, 주제별 그룹, 연구 결과의 해석을 다듬고 합의했습니다. RV와 WB는 주제를 검토하고 주제, 예시 인용 및 연구 결과의 적용에 대한 피드백을 제공했습니다. 
Two authors (SMH and YS) independently read and coded the first two interviews, after which they discussed key observations and preliminary findings. SMH continued analyzing the remaining transcripts with input from YS, which led to consensus on patterns and themes. When all 15 interviews with Fellows had been coded, SMH started coding the remaining five interviews with FAIMER Faculty. SMH and YS met regularly to refine and agree on identified codes, thematic groupings, and interpretations of the findings. RV and WB reviewed the themes and gave feedback on themes, exemplar quotations, and applications of the findings.

반영성
Reflexivity

저자들은 학문적 배경, 교육적 책임, FAIMER 연구소에서의 참여도 등이 서로 달랐습니다. 저자 중 두 명은 미국 출신으로 FAIMER 펠로우십에 참여했습니다. 다른 두 명의 저자는 캐나다(다양한 문화가 공존하는 프랑스어권 지역) 출신입니다. 모든 저자는 국제 교수진 개발에 참여했습니다. 문화에 대해 묻고 있었기 때문에 우리가 직접 문화적 유사점과 차이점을 어떻게 경험하고 인식했는지에 대해 논의하는 것이 중요했습니다. 우리는 개별적으로 또는 함께 반성하고, 우리의 경험이 인터뷰 질문과 데이터 분석에 어떤 영향을 미칠 수 있는지 논의했습니다. 우리는 우리의 이전 경험이 연구의 질문과 설계를 형성했을 뿐만 아니라 데이터 수집과 분석에도 영향을 미쳤을 수 있다는 것을 알고 있었습니다. 정기적으로 모임을 갖고 지속적인 토론과 성찰의 과정에 깊이 참여함으로써 참가자들의 내러티브를 해석하는 데 있어 다양한 관점의 균형을 맞추는 데 도움이 되었습니다. 
The authors differed in their disciplinary backgrounds, educational responsibilities, and involvement in the FAIMER Institute. Two of the authors are from the US and have been involved in the FAIMER Fellowship. The two other authors are from Canada (from a French-speaking province with multiple cultures). All authors have been involved in international faculty development. Since we were asking about culture, it was important for us to discuss how we experienced and perceived cultural similarities and differences ourselves. We reflected individually and together, and we discussed how our experiences could influence the interview questions and data analysis. We were aware that our previous experiences not only shaped the questions and design of the research but might have also impacted data collection and analysis. Meeting regularly and becoming deeply engaged in the process of continuous discussion and reflection further helped us balance diverse perspectives on the interpretation of participants’ narratives.

FAIMER 펠로우와 교수진은 위계질서, 협업, 문서화, 자발성과 관련된 가치와 신념뿐만 아니라 특정 행동과 관행(예: 얼굴 표정, 몸짓, 서로를 대하는 방식, 의견 표현, 물리적 거리두기)에서 문화적 유사점과 차이점을 인식했다고 답했습니다. 
FAIMER Fellows and Faculty commented that they perceived cultural similarities and differences in terms of specific behaviors and practices (e.g., facial expressions, body gestures, ways of addressing each other, opinion expression, physical distancing) as well as values and beliefs related to hierarchy, collaboration, documentation, and spontaneity.

[X]의 사람들은 여러분과 대화할 때 실제로 여러분을 쳐다보지 않습니다. 그들은 아래를 내려다보거나 어깨 너머로 바라봅니다. 여러분은 서로 마주보고 있고, 여러분은 그들을 바라보고 있지만 그들은 여러분의 얼굴을 보고 있지 않습니다. (F-9)
They in [X] don’t actually look at you when they talk to you. They look down, or they look over your shoulder. You are facing each other, and you are looking at them, but they are not looking at your face. (F-9)

우리나라 문화의 특징 중 하나는 상급자에서 하급자로 내려오는 상명하복식 문화입니다. 이는 사람과 사람 사이의 상호작용, 즉 후배와 선배, 젊은이와 나이든 사람 사이의 상호작용과 관련이 있습니다. 이 나라에는 일정한 패턴이 있습니다. (F-6)
One characteristic in the culture in my country, one policy they use, is top-down, from the superior to the subordinate. That’s related to the interaction between people, with junior, with senior, with the younger, with the older ones. There is a certain pattern in this country. (F-6)

일부 문화적 차이는 초창기 FAIMER와의 만남에서 '눈에 보이는' 것으로 여겨졌지만, 일부는 펠로우와 교수진이 함께 시간을 보낸 후에야 분명해졌습니다. 또한 어떤 문화적 차이(예: 의견 표현)는 펠로우들이 온라인 세션을 시작할 때에도 분명했던 반면, 다른 문화적 차이(예: 주도권 잡기, 위계질서 존중)는 펠로우들이 각자의 나라에서 개별 프로젝트를 시작했을 때에 분명해졌습니다. 
While some cultural differences were deemed “visible” in the early FAIMER encounters, some were only evident after Fellows and Faculty had spent time together. Also, several cultural differences (e.g., opinion expression) were evident when Fellows started the online sessions, whereas others (e.g., taking initiative; respecting hierarchy) were apparent when Fellows began working on their individual projects in their own countries.

제가 소속된 기관으로 돌아갔을 때, 그곳의 교육 문화는 상당히 달랐습니다. 사람들은 혼자서 가르치고 다른 사람이 옆에 있는 것을 원하지 않기 때문에 교사들 간의 상호 협력은 FAIMER의 독특한 측면이었는데, 저는 여전히 본국 기관에서 이를 구현하는 데 어려움을 겪고 있습니다. (F-2)
When I went back to my institution, there the culture of how to teach is quite different. People teach in isolation; they don’t want any other person to be there, so the kind of mutual collaboration between teachers was a unique aspect of FAIMER, which I am still struggling with in trying to implement it in my home institution. (F-2)

참가자들은 일반화나 지나친 단순화를 피하기 위해 조심스럽게 문화라는 개념에 접근했습니다. 예를 들어, 참가자들은 한 국가 내에서도 서로 다른 문화적 가치관을 가질 수 있기 때문에 같은 나라에서 온 다른 참가자가 자신의 신념을 공유하지 않을 수도 있다는 점을 강조했습니다. 또한 참가자들은 '문화적 습관'으로 인식되는 것이 반드시 문화와 관련이 있는 것이 아니라 성격, 개인의 선택, 조직 구조 또는 직업적 가치관에 기인할 수 있다는 점에 주목했습니다. 
Participants approached the notion of culture with caution, trying to avoid generalizations or oversimplification. For example, participants highlighted that another participant from their country might not share their beliefs, as people within a single country could have distinct cultural values. Participants also noted that what was perceived as a “cultural habit” might not necessarily be related to culture; instead, it could be attributed to personality, individual choice, organizational structure, or professional values.

따뜻하고 외향적이며 사람들과 대화하는 것을 좋아하는 사람과 사람들과 교류하기 싫어하고 목이 뻣뻣한 사람은 다르게 행동할 수 있습니다. 하지만 이는 모든 문화에 존재합니다. 그게 바로 개성이죠. 저는 그것을 문화와 연결시킬 수 없다고 생각합니다. (F-9)
If you are warm and outgoing and you like to talk to people, if you are a stiff-necked person who doesn’t want to engage with people, you behave differently. But that’s in every culture. That’s personality. I don’t think I can connect it to culture. (F-9)

"제가 다니는 대학은 65년 정도 된 곳인데 [...] 변화에 대한 저항이 엄청나지만, 문화를 그 원인으로 돌리지는 않겠습니다." (F-14)
“My university is about sixty-five-years old […] the resistance to change is enormous, but I’m not going to attribute culture to this.” (F-14)

2) 문화적 다양성이 교수와 학습에 미치는 영향은 무엇인가요?
2) What were the influences of cultural diversity on teaching and learning?

IFDP에서 문화적 차이가 교수와 학습에 미치는 영향과 관련된 세 가지 주제를 확인했습니다. 
We identified three themes related to the influences of cultural differences on teaching and learning in an IFDP.

강점과 한계
Strengths and Limitations

우리가 FAIMER 펠로우십을 선택한 이유는 다양한 국가의 펠로우와 교수진으로 구성된 다문화 환경을 제공하고, 종단적 프로그램 내에서 현장 및 온라인 교육으로 구성되어 있어 다양한 교육 방법을 탐색할 수 있었기 때문입니다. FAIMER 교수진, 현재 펠로우, 이전에 펠로우십을 수료한 펠로우를 인터뷰하여 데이터 출처를 삼각 측량하고 신뢰도를 높일 수 있었습니다. 하지만 이 연구는 하나의 IFDP만 조사했고 참여가 자발적으로 이루어졌기 때문에 연구 결과를 다른 환경에 그대로 적용하기는 어려울 수 있습니다. 참가자들에게 과거에 있었던 경험을 회상하도록 요청했기 때문에 회상 편향도 또 다른 문제였습니다. 마지막으로, 교육과 학습의 일부 측면은 펠로우십 기간 동안 상호작용을 관찰했더라면 더 잘 이해할 수 있었을 것입니다. 
We chose the FAIMER Fellowship because it offered a multicultural environment with Fellows and Faculty from different countries and was composed of onsite and online training within a longitudinal program, thus enabling the exploration of diverse instructional methods. As we interviewed FAIMER Faculty, current Fellows, and Fellows who had previously completed their Fellowship, we were able to triangulate our data sources and enhance trustworthiness. However, this study investigated only one IFDP, and participation was voluntary; hence, findings might not be transferable to other settings. Recall bias was another challenge, since we asked participants to recall experiences that had occurred in the past. Lastly, some aspects of teaching and learning might have been better understood by observing interactions during the Fellowship.

교육 및 연구에 대한 시사점
Implications for Education and Research

본 연구의 결과는 문화가 IFDP에 미치는 영향에 대한 이해를 증진하고 교수진 개발 활동을 개선하고 향후 연구 방향을 제시할 수 있는 제안을 가능하게 합니다.

The findings of this study advance our understanding of the influence of culture on IFDPs and enable us to make suggestions for enhancing faculty development activities and recommending future research directions.

교수진 개발자와 IFDP 참가자를 위한 교육적 시사점을 표 2에 요약했습니다. 연구적 관점에서 볼 때, 교육자들은 다양한 지역의 IFDP를 조사해 볼 것을 권장합니다. 예를 들어, FAIMER 지역 연구소는 'home' 환경에서 문화의 영향력을 탐구하는 데 유용한 데이터 소스가 될 수 있습니다. 또한 민족지학과 같은 다른 방법을 사용하면 전문직 및 프로그램 문화의 영향과 상호 작용에 초점을 맞추어 IFDP에서 문화가 교수와 학습에 미치는 영향에 대해 더 많은 통찰력을 얻을 수 있습니다. TLT의 렌즈를 통해 교수진 개발에 대한 추가 탐구도 가치가 있을 것입니다. 
We have summarized the educational implications for faculty developers and participants in IFDPs in Table 2. From a research perspective, we encourage educators to examine IFDPs in different locations; for example, FAIMER Regional Institutes could be a valuable data source for exploring the influence of culture in “home” settings. Additionally, using other methods such as ethnography could provide more insights into the influence of culture on teaching and learning in IFDPs, with a focus on the influence – and interaction – of professional and program cultures as well. Further exploration of faculty development through the lens of TLT would also be worthwhile.

1Institute of Health Sciences Education, Faculty of Medicine and Health Sciences, McGill University, Montreal, Canada.

2FAIMER (The Foundation for Advancement of International Medical Education and Research), member of Intealth, and Director FAIMER Global Programs, FAIMER Philadelphia, USA.

3The Network: Towards Unity for Health (TUFH) and Founding Co-Director Emeritus of the FAIMER Institute, USA.

4Family Medicine and Health Sciences Education, the former director of the Institute of Health Sciences Education, and the Richard and Sylvia Cruess Chair in Medical Education, Faculty of Medicine and Health Sciences, McGill University, Montreal, Canada.

Introduction: Research on international faculty development programs (IFDPs) has demonstrated many positive outcomes; however, participants' cultural backgrounds, beliefs, and behaviors have often been overlooked in these investigations. The goal of this study was to explore the influences of culture on teaching and learning in an IFDP.

Method: Using interpretive description as the qualitative methodology, the authors conducted semi-structured interviews with 15 Fellows and 5 Faculty of a US-based IFDP. The authors iteratively performed a constant comparative analysis to identify similar patterns and themes. Transformative Learning Theory informed the analysis and interpretation of the results.

Results: This research identified three themes related to the influences of culture on teaching and learning. First, cultural differences were not seen as a barrier to learning; instead, they tended to act as a bridge to cultural awareness and network building. Second, some cultural differences produced a sense of unease and uncertainty, which led to adaptations, modifications, or mediation. Third, context mattered, as participants' perspectives were also influenced by the program culture and their professional backgrounds and experiences.

Discussion: The cultural diversity of health professions educators in an IFDP did not impede learning. A commitment to future action, together with the ability to reflect critically and engage in dialectical discourse, enabled participants to find constructive solutions to subtle challenges. Implications for faculty development included the value of enhanced cultural awareness and respect, explicit communication about norms and expectations, and building on shared professional goals and experiences.

의학교육 문헌에 따르면 임상 실습 중 환자의 사망은 의대생에게 정서적으로 중요한 사건이 될 수 있다고 합니다[1,2,3,4,5,6,7,8,9]. 이러한 감정은 두려움[1], 죄책감[1,2,3,4], 슬픔[2,3,4,5,6,7,8], 충격[2,7,8,9], 분노[3,8]와 같은 부정적이거나 고양된 느낌[2,6]과 같은 긍정적인 것일 수 있습니다. 환자의 죽음에 대한 첫 경험은 가장 기억에 남는 것으로 보고되었으며[7], 감동적이고 고통스러우며 생각과 기억이 지속되는 것으로 나타났습니다[6]. 전임상에서 임상으로 넘어가는 과도기는 환자의 죽음으로 인한 강한 감정을 고조시키는 요인입니다. 이러한 과도기는 의대생이 환자 사망을 처음 경험하는 경우 자신의 역할[5]과 책임[9]을 파악하는 데 어려움을 겪을 수 있습니다. 환자의 죽음에 직면했을 때 스트레스에 대처하거나 감정을 조절하는 방법[10]을 배우는 것은 의대생이 반드시 배워야 할 핵심 기술입니다[11,12,13]. 따라서 이러한 초기 경험은 잠재적으로 어렵지만 중요한 학습의 기회를 제공합니다.
During clinical placements, medical education literature suggests that the death of a patient can be an emotionally significant event for medical students [1,2,3,4,5,6,7,8,9]. These emotions can be negative, such as fear [1], guilt [1,2,3,4], sadness [2,3,4,5,6,7,8], shock [2, 7,8,9] and anger [3, 8], or be positive, such as feeling uplifted [2, 6]. First experiences with patient death have been reported to be the most memorable [7], moving, painful, and persistent in thoughts and memories [6]. The transition period from preclinical to clinical years is a factor that heightens the strong emotions evoked by patient death. This transition period may increase the difficulty for medical students in identifying their roles [5] and responsibilities [9] when encountering their first experiences of patient death. Learning to cope or to regulate emotions under stress [10] when faced with patient death is a key skill that medical students must learn [11,12,13]. Therefore, although potentially difficult, these early experiences also provide significant opportunities for learning.

성찰: 임상 실습 경험을 통해 배우는 방법
Reflection: a way to learn from experiences in clinical practices

이러한 학습 경험을 탐구하는 한 가지 방법은 경험적 학습 이론과 성찰의 렌즈를 통해 살펴보는 것입니다. 경험적 학습 이론은 경험을 통해 지식이 형성될 수 있다는 점에서 임상 기반 학습을 지원합니다[14]. 콜브가 정의한 경험적 학습 주기에서 성찰은 기본 구성 요소입니다 [15, 16]. Atkins 등[17]은 성찰에는 첫째, 불편한 감정과 생각의 식별, 둘째, 그러한 감정과 생각에 대한 비판적 분석, 셋째, 학습에 대한 새로운 관점의 개발이 포함된다고 제안했습니다[17]. 따라서 성찰은 개인이 대처하는 법을 배우는 방법뿐만 아니라 환자의 죽음과 같은 어려운 임상 경험을 통해 더 일반적으로 배우는 방법을 탐구하는 데 유용한 메커니즘이 될 수 있습니다. 2018년 졸업생을 대상으로 한 일반의협의회 결과[18]에 따르면, 성찰은 의사가 임상에서 겪는 어려움에서 회복하는 데 필요한 대처 전략으로 간주됩니다. 
One way to explore these learning experiences is through the lens of experiential learning theory and reflection. Experiential learning theory supports clinical-based learning insofar as it suggests knowledge can be shaped through experiences [14]. In the experiential learning cycle as defined by Kolb, reflection is a fundamental component [15, 16]. Atkins et al. [17] proposed that reflection involves

• first, the identification of uncomfortable feelings and thoughts;
• second, a critical analysis of those feelings and thoughts; and
• third, the development of a new perspective on learning [17].

Therefore, reflection may be a helpful mechanism to explore not only how individuals learn to cope, but also how they learn more generally from difficult clinical encounters such as patient death. According to General Medical Council outcomes for graduates 2018 [18], reflection is regarded as a coping strategy necessary for physicians to recover from difficulties in clinical practice.

환자 사망 경험 시 대처 전략
Coping strategies when experiencing patient death

의대생이 채택하는 다양한 대처 전략이 문헌에서 확인되었습니다(표 1 참조). 그러나 학습이라는 렌즈를 통해 대처 전략을 탐구하는 의학교육 연구는 제한적입니다. 한 가지 예로 Kelly 등[2]은 의대생들이 환자 사망에 대한 초기 경험을 되돌아보면서 대처 전략과 학습 경험을 모두 탐구했습니다. 예를 들어, 이들은 성찰을 통해 드러나는 학생들의 전문적인 정서적 반응과 학문적 지식에 대해 논의합니다. 
Various coping strategies adopted by medical students have been identified in the literature (see Table 1). However, there is limited medical education research that explores coping through the lens of learning. One example is Kelly et al. [2], who explore both the coping strategies and the learning experiences of medical students as they reflect on their early experiences of patient death. For example, they discuss both students’ professional emotional responses and academic knowledge that emerge through reflection.

의료진 및 교수진의 지원
Support from medical team and faculty

표 1에서 도출할 수 있는 한 가지 주요 특징은 일반적인 대처 전략이 누군가에게 이야기하는 것(광범위한 문헌에서는 '지원 구하기'[10])이라는 점입니다. 누군가, 특히 주치의나 컨설턴트와 대화하는 것은 학생들에게 토론하고 보고할 수 있는 기회를 제공합니다[2, 8]. 환자 사망 후의 토론은 반드시 학생이 주도적으로 시작해야만 대처에 도움이 되는 것은 아닙니다. 일부 연구에서는 교직원이 적극적으로 주도한 토론이 학생에게 특히 도움이 되었다고 보고했습니다[3, 9]. 토론은 학생들의 정서적 고통(예: 두려움, 불안, 죄책감)을 줄이고[20], 종결감을 가져다주는 것으로 밝혀졌습니다[5]. 중요한 것은 경험적 학습의 관점에서 볼 때, 문헌에 따르면 환자의 죽음에 대한 토론은 학생들이 학문적 관점, 정서적 조절 관점, 직업적 정체성 개발에서 성찰하고 학습하는 데 도움이 된다고 합니다[2, 5]. 예를 들어, 라타나웡사 등[5]은 경험이 많은 다른 팀원들이 환자 사망에 대해 어떻게 반응했는지를 학습함으로써 의대생들이 자신의 반응과 비교하고 적절한지 평가할 수 있다는 사실을 발견했습니다. 다른 문헌에 따르면, 직업적 정체성 발달 측면에서 환자 사망 후의 토론은 학생들이 "감정과 전문성 사이의 어려운 긴장에 참여"하는 데 도움이 되었다고 합니다([2], 426쪽). 다시 말해, 팀 상호작용은 성숙하고 전문적인 대응을 개발하는 데 도움이 되는 상호작용적이고 '피드포워드' 지향적인 과정으로서 학생들의 반성성을 향상시킵니다.
One main feature that can also be drawn from Table 1 is that a common coping strategy is speaking to someone (‘support seeking’ in the broader literature [10]). Talking to somebody, especially attending physicians or consultants, provides students with a chance to discuss and debrief [2, 8]. A discussion after patient death does not always need to be initiated by the student to be of value for coping. Some studies have reported that a discussion that was actively initiated by the staff member was especially helpful for students [3, 9]. Discussion has been found to lessen students’ emotional distress (e.g. fear, anxiety, guilt) [20] and bring a sense of closure [5]. Importantly, from an experiential learning perspective, the literature suggests that a discussion about patient death helps students reflect and learn from an academic perspective, from an emotional regulation perspective, and in the development of a professional identity [2, 5]. For example, Ratanawongsa et al. [5] found that learning how other more experienced team members reacted to a patient death enabled medical students to compare their own responses and assess whether they were appropriate. Other literature suggests that, in terms of the development of professional identity, a discussion following patient death has supported students to “engage in the difficult tension between emotion and professionalism” ([2], p.426). In other words, team interaction enhances students’ reflexivity as an interactive and ‘feed-forward’ orientation process to support the development of mature and professional responses.

문헌의 풍부함을 높이기 위해 본 연구는 성찰의 렌즈를 통해 학생들의 환자 죽음에 대한 경험을 탐구합니다. 이러한 경험에는 대처 전략, 환자 사망 후 교수진의 지원, 그리고 이러한 경험과 학습 간의 관계가 포함됩니다. 또한 환자 사망 후 학생들을 지원하는 시스템에 대한 권장 사항을 제공합니다. 우리의 연구 질문은 다음과 같습니다: 
To enhance the richness of the literature, our study explores students’ experiences with patient death through the lens of reflection. These experiences include coping strategies, support from faculty following patient death and the relationship between these experiences and learning. Furthermore, we provide recommendations for the systems supporting students following patient death. Our research questions were:

임상 실습 중 환자 사망에 대한 경험을 성찰함으로써: 
Through reflecting on their experiences with patient death during clinical placements:

• 의대생들은 이러한 경험에 어떻게 대처하고 이를 통해 무엇을 배우는가?
  
• 병동 직원과 의과대학의 지원이 이러한 경험에 대처하고 배우는 데 어떻게 도움이 되는가?
  
• 환자 사망 후 학생들을 가장 잘 지원할 수 있는 방법은 무엇일까요?
• How do medical students cope with and learn from their experiences?
• How does support from ward staff and the medical school help them cope with and learn from these experiences?
• How can students be best supported following patient death?

이론적 관점
Theoretical perspective

이 질적 연구는 사회 구성주의 인식론에 의해 뒷받침됩니다. 사회 구성주의 인식론은 지식은 본질적으로 주관적이며, 각 개인의 앎의 방식, 즉 사람들과의 상호작용을 통한 지식 구성에 따라 다양한 현실이 존재한다는 것을 의미합니다[21]. 사회 구성주의는 해석주의적 패러다임으로 사람들의 경험을 수집하고 해석하여 현상을 이해하고자 하는 연구 패러다임으로 특징지어집니다 [21]. 특정 현상은 사회-관계적 맥락에 따라 사람마다 다르게 경험할 수 있으며, 따라서 해석도 다양할 수 있습니다[22]. 예를 들어, 환자의 죽음과 관련된 현실 또는 경험은 학생과 환자, 친척, 병동 직원, 동료 등의 다양한 상호작용에 따라 다양하게 나타날 수 있습니다. 
This qualitative study is underpinned by a social constructionist epistemology. Social constructionist epistemology means that knowledge is subjective in nature, and that multiple realities exist based on each individual’s way of knowing, or knowledge construction through his/her interactions with people [21]. Social constructionism is characterized as an interpretivist paradigm, which is a research paradigm that seeks to understand phenomena through gathering and interpreting people’s experiences [21]. A particular phenomenon can be experienced differently by different people based on their social-relational contexts; therefore, the interpretations can be varied [22]. For example, realities, or experiences with patient death in this regard, can be many according to different interactions between students and patients, relatives, ward staff, colleagues, etc.

방법론: 내러티브 탐구
Methodology: narrative inquiry

내러티브 탐구는 개인의 내러티브 또는 이야기를 분석하여 특정 경험을 이해하는 질적 방법론입니다[23]. 내러티브 탐구는 개인적 경험에 대한 학습을 위한 가장 중요한 방법론으로 여겨지기도 합니다[24]. 내러티브 탐구는 내레이터와 연구자의 관점에서 삶의 사건에 대한 해석을 다루기 때문에 해석주의 연구 패러다임 및 사회 구성주의와 일치합니다 [25]. 내러티브 기록의 본질은 과거 세계에 대한 사실적 재현이 아니라 과거, 현재, 상상된 미래를 연결하는 내레이터의 세계에 대한 해석과 구성에 있습니다 [26].
Narrative inquiry is a qualitative methodology that looks for an understanding of a particular experience through analyzing personal narratives or stories [23]. It is also seen as the first and foremost methodology for learning about personal experiences [24]. Narrative inquiry arguably aligns with an interpretivist research paradigm and with social constructionism, because it deals with an interpretation of life events, both from the narrator and the researcher perspective [25]. The essence of a narrative account is not about a truthful reproduction of the past world, but about an interpretation and a construction of the narrator’s world that connects his/her past, present, and imagined future [26].

방법: 내러티브 설문지
Method: narrative questionnaire

내러티브 데이터는 인터뷰, 자연주의적 의사소통, 현장 노트, 내러티브 글쓰기 등 다양한 방법으로 생성할 수 있습니다 [27]. 내러티브 설문지는 내러티브 글쓰기의 한 형태로, 신중하게 설계하면 스토리텔링을 통해 경험의 다양한 측면(예: 상황 설정, 감정, 기억, 행동)이 담긴 풍부한 정보를 얻을 수 있습니다[22]. Rees 등[22]은 그들의 연구에서 의대생들에게 임상 기간 동안 경험한 직업적 딜레마에 대해 질문하기 위해 내러티브 설문지를 활용했습니다. 설문지에는 참가자들이 경험한 딜레마에 관한 항목이 포함되어 있었습니다. 예를 들어, 딜레마의 간략한 본질, 장소, 관련자, 수행한 행동, 경험에 대한 느낌에 대해 질문했습니다. 각 질문 뒤에는 참가자가 답변을 작성할 수 있는 자유 텍스트 상자가 있었습니다. 이러한 형식을 사용하여 내러티브 설문지를 디자인했습니다. 

Narrative data can be generated in many ways: interviews, naturalistic communication, field notes and narrative writing [27]. A narrative questionnaire is a form of narrative writing that, when carefully designed, can yield rich information full of various aspects of an experience through storytelling (e.g. the setting of the situation, emotion, memory and action) [22]. In their research study, Rees et al. [22] utilized a narrative questionnaire to ask medical students about professional dilemmas that they had experienced during their clinical years. Their questionnaire included items around the dilemma the participants had experienced. For example, they asked about a brief essence of the dilemma, the location, the people involved, the actions done and the feelings about the experience. Each question was followed by a free-text box for the participants to write their answers. We used their format to inform the design of our narrative questionnaire.

설문지 디자인
Questionnaire design

임상 실무에서 어려운 경험에 관한 이전 연구[7, 22]의 설문 문구를 적용하여 환자 사망 후 '가장 기억에 남는' 경험을 중심으로 질문을 구성했습니다. 성찰을 촉진하고 서술에서 자기 인식을 장려하기 위해 질문과 함께 프롬프트가 제공되었습니다 [28]. 학생의 성찰을 통해 환자 사망 경험을 이해하는 것을 목표로 했기 때문에, 참가자들이 그 경험을 통해 배운 것을 묻는 문항에 포함시켰습니다. 또한 참가자들은 참가자 표본의 특성을 파악할 수 있도록 몇 가지 인구통계학적 질문도 작성했습니다. 설문지의 질문 항목은 추가 파일 1을 참조하세요. 
Adapting the questionnaire wording from previous studies concerning difficult experiences in clinical practice [7, 22], the questions were centered around the “most memorable” experience following patient death. Prompts were provided with the questions to promote reflection and encourage self-awareness in the narratives [28]. Because we aimed to understand the experience with patient death through student reflection, our prompts included what the participants had learned from the experience. Participants also completed a few demographic questions to enable characterization of our participant sample. Please see Additional file 1 for the question items in our questionnaire.

연구 절차
Study procedure

이 연구는 던디 대학교의 윤리적 승인을 받은 후 2016년 여름(2016년 6월~9월)에 걸쳐 진행되었습니다. 
After ethical approval was received from the University of Dundee, the study was conducted over the summer of 2016 (June–September 2016).

샘플링 및 모집
Sampling and recruitment

이 연구에서는 접근성과 근접성을 고려하여 피험자를 선정하는 편의표본추출법을 사용했습니다. 연구 대상은 던디 대학교 4학년과 5학년 의대생이었습니다. 연구에 참여하기 위해서는 임상 배치에서 환자 사망을 한 번 이상 경험한 적이 있어야 했습니다. '환자 사망 경험'의 정의는 상당히 광범위했습니다. 예를 들어, 학생들이 임종 중인 환자와 상호작용을 하거나 환자와 상호작용을 하다가 나중에 환자가 사망했다는 사실을 알게 된 경험이 포함될 수 있습니다. 학생들은 (1) 이메일, (2) 가상 학습 환경의 전자 공지, (3) 게시판의 실제 공지, (4) 스노우볼링(기존 참가자가 향후 참가자를 추천하거나 모집하는 방식), (5) 의과대학 소셜 네트워킹(예: 메드블로그) 등 다양한 모집 전략을 통해 참여하도록 초대받았습니다. 학생들은 연구에 대한 정보를 제공하는 초대장을 통해 온라인 설문지 링크를 따라갈 수 있었습니다. 내러티브 설문지(참가자 정보 시트가 첨부된)는 온라인 설문조사 소프트웨어인 브리스톨 온라인 서베이(BOS)에서 작성되어 배포되었습니다. 던디 대학교는 연구자들이 설문조사를 제작, 배포, 분석할 수 있는 사용하기 쉬운 플랫폼에 무료로 액세스할 수 있도록 BOS를 구독하고 있었습니다. 참가자들은 설문지를 작성함으로써 참여에 동의하는 것이며, 모든 데이터 보고서에서 기밀성과 익명성이 유지될 것임을 고지받았습니다. 또한 설문지의 디브리핑 페이지에서 지원 자료와 연구자의 연락처 정보를 제공받았습니다. 
We used a convenience sample for this study where subjects were selected because of their convenient accessibility and proximity. Our subjects were 4th and 5th year medical students at the University of Dundee. In order to participate, they needed to have had at least one experience with patient death on their clinical placements. The definition for ‘experience of patient death’ was quite broad. For example, this could have been an experience where students were interacting with a dying patient or had interacted with a patient to find out later that they had passed away. The students were invited to participate through multiple recruitment strategies, including: (1) email; (2) e-notices on virtual learning environments; (3) physical notices on notice-boards; (4) snowballing (existing participants recommend or help recruit future participants) and (5) medical school social networking (e.g. Medblogs). Through the invitation, which provided information about the study, students could follow a link to the online questionnaire. The narrative questionnaire (with the participant information sheet attached) was created and disseminated within the online survey software Bristol Online Survey (BOS). The University of Dundee had a subscription to BOS enabling researchers free access to the easy-to-use platform where researchers can produce, distribute and analyze surveys. Participants were informed that by completing the questionnaire they were consenting to participate, and that confidentiality and anonymity would be maintained in any data reports. They were also provided with supportive resources and the researchers’ contact information on the debriefing page of the questionnaire.

데이터 분석
Data analysis

주제별 분석
Thematic analysis

주제 분석은 일련의 데이터에 대한 체계적인 접근 방식으로 주요 이슈, 패턴 또는 주제와 이들 간의 연관성을 식별합니다[29, 30]. 이 분석을 통해 연구자들은 연구 질문 또는 기존의 관심사에 따라 데이터의 주요 이슈를 식별하고, 선별하고, 분류할 수 있습니다[29, 30]. 주제별 분석의 한 과정인 주제 매핑은 주제 간의 연결과 연관성을 시각화하는 데도 도움이 되었습니다[29, 30]. 우리는 주제별 분석을 사용하여 대처 전략에 대한 성찰, 학생들이 받은 지원, 이러한 문제와 학습 경험 간의 연관성을 탐색했습니다. 
Thematic analysis is a systematic approach to a set of data to identify key issues, patterns or themes and the association among them [29, 30]. This analysis allowed researchers to identify, sift and sort key issues in the data according to the research questions, or pre-existing interests [29, 30]. Thematic mapping, which is a process in thematic analysis, also supported the visualization of links and associations between themes [29, 30]. We used thematic analysis to explore reflections on coping strategies, the support students received, and the association between these issues and learning experience.

처음에는 응답 샘플을 사용하여 토론(TT 및 AD)을 통해 주제와 하위 주제를 식별했습니다. 그런 다음 TT는 이러한 주제와 하위 주제를 사용하여 초기 프레임워크를 개발했습니다. 그런 다음 전체 팀(TT, AD, TW, SS)이 모여 데이터와 코딩 프레임워크의 초안을 논의했습니다. 이 프레임워크는 반복적으로 수정되어 최종 프레임워크가 완성되었고, 이 프레임워크는 전체 데이터 집합을 코딩하는 데 사용되었습니다. 코딩 후, TT는 데이터의 최종 해석을 지원하기 위해 주제와 하위 주제 간의 패턴과 연관성을 탐색했습니다.
Initially, a sample of responses was used to identify themes and subthemes through discussion (TT and AD). Using these themes and subthemes, TT then developed an initial framework. The full team (TT, AD, TW, and SS) then met to discuss the data and the first draft of the coding framework. The framework was further iteratively revised to achieve the final framework, which was used to code the entire data set. After coding, TT explored patterns and connections between themes and subthemes to support the final interpretation of the data.

내러티브 분석
Narrative analysis

내러티브 분석에 Labov의 프레임워크를 사용하기로 한 이유는 내러티브 내용과 내러티브 전달 방식을 동등하게 강조하는 널리 인정받는 접근 방식이기 때문입니다[26]. Labov의 프레임워크[31]에서 내러티브는 다음과 같은 부분으로 구성됩니다:

• (1) 추상(이야기할 내용이 있다는 표시),
• (2) 방향(시간, 장소, 인물에 대한 설명),
• (3) 평가(이 이야기를 할 가치가 있는 이유에 대한 화자의 표시와 감정 전달),
• (4) 복잡한 행동(이야기의 핵심을 나타내는 일련의 행동),
• (5) 해결(이야기의 마지막 사건),
• (6) 코다(이야기가 끝났다는 표시와 이야기가 화자에게 미치는 영향)

즉, 학생들이 자신의 경험에 대해 성찰하고 무엇을 배웠는지 이해하기 위해 3~6단계에 특히 중점을 둡니다.
We chose to use Labov’s framework for narrative analysis because it is a widely recognized approach that equally emphasizes both the narrative content and the way the narrative is told [26]. In Labov’s framework [31], the narrative is organized into parts, including:

• (1) Abstract (the indication that there is something to tell);
• (2) Orientation (the description of time, place and person);
• (3) Evaluation (the narrator’s indication on why this is worth telling and his/her communication of emotions);
• (4) Complicating action (a sequence of actions representing the core of the story);
• (5) Resolution (the final event in the story) and
• (6) Coda (the indication that the story is finished and the effect of the story on the narrator).

By this means, we put a particular focus on steps 3–6 in order to understand students’ reflections on their experiences and what they learned.

또한 내러티브 분석은 학생이 반성하는 사건에서 정서적 요소를 포착하기 위해 감정적 단어와 부정, 강화, 반복과 같은 기타 극적 장치를 식별하여 추가로 수행할 수 있습니다 [22]. 따라서 우리는 주제별 분석에서 도출된 결과를 보완하기 위해 하나의 예시에 대해 Labov [31]와 Rees 등[22]이 제시한 내러티브 분석 접근법을 모두 적용했습니다. 
Additionally, narrative analysis can be further conducted by identifying emotional words and other dramatic devices such as negatives, intensifiers and repetitions to capture affective elements in the incident the student reflects upon [22]. Therefore, we applied both narrative analysis approaches informed by Labov [31] and Rees et al. [22] on one exemplar to complement the results derived from the thematic analysis.

참가자
Participants

12명의 의대생이 온라인 설문지를 작성했으며, 각 문항당 평균 약 400단어의 서술형 답변을 제공했습니다. 참가자의 특성은 표 2에 나와 있습니다. 
Twelve medical students completed the online questionnaire, with narrative responses averaging around 400 words per narrative. Participants’ characteristics are shown in Table 2.

환자 사망 경험에 대한 학생의 내러티브 내 테마
Themes within students’ narratives about patient death experience

주제별 분석 결과, 학생들의 환자 사망 경험에서 중요한 연구 질문과 관련된 네 가지 주요 주제가 확인되었습니다. 이러한 주제는 다음과 같습니다:

• (1) 가장 기억에 남는 환자 사망 경험,
• (2) 환자 사망의 여파,
• (3) 환자 사망 후 지원에 대한 인식,
• (4) 지원을 위한 제안.

이러한 주제에 대한 결과는 각 연구 질문의 맥락에서 논의될 것입니다.
The findings from thematic analysis identified four major themes within students’ experiences of patient death that related to the overarching research questions. These themes included:

• (1) most memorable experience of patient death;
• (2) the aftermath of patient death;
• (3) perceptions of support following patient death and
• (4) suggestions for support.

The findings from these themes will be discussed in the context of each research question.

환자 사망 경험에 대한 대처와 학습
Coping and learning from experiences with patient death

참가자들이 가장 기억에 남는 죽음으로 꼽은 것은 첫 번째 환자 사망, 예상치 못한 사망, 학생과 개인적으로 친분이 있던 환자의 예상치 못한 사망이었습니다. 참가자들은 환자의 죽음에 직면했을 때 환자와 환자의 동료 및 가족 등 관련된 다른 사람들에 대한 정서적 반응을 확인했습니다. 환자에 대한 정서적 반응은 다양했습니다. 이러한 감정 중 일부는 슬픔, 죄책감 등 부정적인 것이었고, 일부는 긍정과 부정이 혼합된 것이었으며, 일부는 긍정 또는 부정으로 해석될 수 있는 모호한 것이었습니다. 환자 가족과 관련하여 참가자들은 종종 가족에게 공감하는 감정을 느꼈다고 보고했습니다. 의료진의 다른 구성원에 대해 참가자들은 자신의 감정이 동료와 일치하는지 확인하려고 노력했다고 보고했습니다(표 3 참조). 
The deaths described by participants as the most memorable included their first patient death, unexpected deaths, and the expected death of a patient with whom the student had a personal connection. When confronted with the patient death, participants identified their affective responses towards both the patient and the other individuals involved, such as co-workers and family members of the patient. There were a range of affective responses towards patients. Some of these feelings were negative (e.g. sadness, guilt), some were a mix of both positive and negative, while others were ambiguous and could be interpreted as either positive or negative. In relation to the patients’ families, participants often reported feeling empathetic towards the family members. In response to other members of the healthcare team, participants reported trying to identify whether their own feelings were in alignment with their colleagues (see Table 3).

참가자들은 또한 이러한 경험 이후 어떤 일이 있었는지도 보고했습니다. 일부 참가자는 사건이 발생한 후 일정 기간 동안 이 경험으로 인해 영향을 받았다고 보고했습니다. 예를 들어, 두 명의 참가자는 반복되는 꿈을 경험했다고 보고했습니다:
Participants also reported what happened after these experiences. Some participants reported being affected by the experience for a period after the event transpired. For example, two participants reported experiencing recurring dreams:

"그 사건이 저에게 미친 영향 중 하나는 그 후 며칠 동안 그 사람이 제 꿈에 나타난다는 것이었습니다."(5번 학생).
“One of the ways it affected me was he was in my dreams for several days after that” (student no. 5).

참가자들은 이러한 경험에 대응하기 위해 사용한 몇 가지 대처 전략에 대해서도 논의했습니다. 이러한 전략은 외적 대처 전략과 내적 대처 전략으로 분류할 수 있습니다.

• 우리는 내적 대처 전략을 학생들이 경험을 스스로 해결하기 위해 개별적으로 관여하는 내적 과정으로 정의했습니다.
• 반면에 외적 대처 전략은 학생들이 비공식적 또는 공식적 토론을 통해 다른 사람들과 경험을 외부적으로 공유하는 것으로 정의했습니다.

Participants also discussed some of the coping strategies they used in response to the experience. These strategies could be categorized as external and internal coping strategies.

• We defined internal coping strategies as internal processes that students individually engaged in to achieve their own resolution of the experience.
• On the other hand, we defined external coping strategies as those where students shared the experience externally with others, for example, through an informal or formal discussion.

참가자들은 몇 가지 내부 대처 전략을 확인했습니다. 예를 들어, 일부 참가자들은 환자의 죽음에 대한 경험을 해결하기 위해 종교에 의지하여 종교에 비추어 죽음을 해석하는 것에 대해 논의했습니다. 한 참가자는 이렇게 말했습니다:
Participants identified several internal coping strategies. For example, some participants discussed turning to religion, interpreting the death in the light of religion to help resolve their experiences with patient death. One participant said:

"저는 어렸을 때 기억하는 대로 기독교적인 방식으로 해석하여 대처했습니다. 이런 식으로 제가 경험한 모든 것은 사후 세계가 없는 직접적인 실존적, 증거적 부패가 아닌 신학적인 의미를 갖게 되었습니다."(7번 학생).
“I coped with this by interpreting it in a Christian way (as I remembered it in my youth). In this way all I had experienced took on a theological meaning rather than one of a directly existential and evidential decay with no after life” (student no. 7).

일부 학생들은 개인적인 과정을 통해 그 경험을 개인적인 삶에 대한 교훈으로 삼았습니다. 예를 들어, 참가자 중 한 명은 환자의 죽음을 삶을 온전히 살아야 한다는 경각심을 일깨워주는 것으로 인식했습니다: 
Some students employed a personal process to turn the experience into a lesson learned for personal life. For example, one of our participants perceived the patient death as a reminder to live life to the full:

"인생은 참으로 짧기 때문에 우리는 최선을 다해 살려고 노력해야 하고, 우리를 도와준 사람들에게 감사해야 합니다."(1번 학생).

“Life is indeed a short episode and we should try to live to the full and be thankful to people who supported us” (student no. 1).

참가자들은 개인적인 삶에 국한되지 않고 자신의 직업적 역할이라는 렌즈를 통해 자신의 경험을 되돌아보기도 했습니다. 한 참가자는 병동 바닥에서 갑자기 사망한 환자를 목격한 후 그 경험을 떠올렸습니다: 
The lessons learned were not limited to personal life; participants also reflected on their experience through the lens of their professional role. One participant reflected on the experience after seeing a patient die suddenly on the floor of the ward:

"하지만 좀 더 효과적으로 대처했더라면 상황을 훨씬 더 잘 관리할 수 있었을 것이라는 생각이 듭니다. [돌이켜보면 분명 인재가 개입된 비극이었지만요. 이런 경험을 통해 더 나은 의대생이 될 수 있었다고 생각하며, 적시에 '적절한' 장소에 있었던 것이 다행이라고 생각합니다."(4번 학생). 
“I do however feel that the situation could have been managed much better as there were several areas that should have been dealt with more effectively. [ … ] In retrospect, although there was clearly human tragedy involved. I believe being exposed to this has made me a better medical student, and I feel fortunate for having been in the "right" place at the right time” (student no. 4).

다른 대처 전략도 확인되었습니다. 예를 들어, 일부 학생들은 사망 후 다른 일에 몰두함으로써 부정적인 감정으로부터 주의를 돌렸습니다: 
Other strategies for coping were also identified. For instance, some students shifted their attention from negative emotions after the death by being busy with other tasks:

"다른 일로 바쁘게 지내는 것으로 대처했습니다. 바쁘게 지내다 보니 그 환자의 죽음을 받아들이기가 더 쉬워졌어요."(7번 학생).
“I coped by staying busy with other responsibilities. Staying busy made it easier to accept his death” (student no. 7).

어떤 학생들은 그 경험을 누구와도 공유하지 않고 혼자서 감정을 견뎌냈다고 말했습니다. 한 참가자는 이렇게 말했습니다,
Some students reported just enduring the emotion without sharing the experiences with anybody. One participant said,

"저는 아버지의 죽음에 대해 누구와도 이야기하지 않고 혼자서 슬픔을 감당했습니다. [...] 저는 항상 제 생각과 [사망한 환자에 대한] 반복되는 꿈에 대해 조용히 지냈습니다. 사실 저는 항상 그 꿈에서 깨어나서 그런 경험을 했다는 사실을 자각하는 것을 즐겼습니다."(5번 학생).
“I just handled my sadness internally without discussing his death with anyone. [...] I was always quiet about my thoughts and the recurring dreams [about the patient who died]. I actually always enjoyed waking from them and being so aware of having had the experience” (student no. 5).

또한 학생들은 내적 대처 전략으로 정상화를 사용하는 것으로 나타났습니다. 이는 환자의 죽음에 대한 자신의 감정적 반응이 정상적이라고 인식할 때 나타났습니다. 외부 대처 전략과 관련해서는 대다수의 참가자가 직장이나 가족에게 환자의 죽음에 대해 이야기한다고 답한 점이 흥미롭습니다. 주목할 만한 점은 동료나 가까운 지인에게 이야기하는 경우가 많았다는 점입니다.
We also found students employed normalization as an internal coping strategy. This was shown when they recognized that their emotional responses towards patient deaths were normal. Regarding external coping strategies, it is interesting that the majority of participants mentioned speaking to someone at work or in the family about patient death. Of note, many spoke to peers and/or near-peers.

분석을 통해 외적 대처 전략과 내적 대처 전략이 동시에 나타나는 몇 가지 사례를 발견했으며, 이는 이들 주제 간의 관계를 시사합니다. 특히, 동료와의 상호작용이 환자 사망 후 학생들의 대처 메커니즘에 영향을 미치는 것으로 나타났는데, 이는 사망 경험을 교훈으로 정상화하고 재해석하는 것과 관련이 있습니다(그림 1 참조).
Through the analysis, we found several instances where external and internal coping strategies co-occurred, suggesting a relationship between these themes. In particular, we found that an interaction with colleagues influenced the students’ coping mechanisms following patient death (see Fig. 1) in relation to normalization and reinterpretation of the death experience as a lesson learned.

참가자들은 누군가와 대화를 나눌 때 그 경험에 대한 자신의 감정을 정상화하는 데 도움이 되었다고 종종 보고했습니다. 한 참가자는 동료와의 대화와 관련하여 다음과 같이 썼습니다:
When participants spoke with someone, they often reported that this helped normalize their feelings about the experience. One participant wrote in relation to speaking to a colleague:

"[나]의 감정이 혼자가 아니며 시나리오에 대한 정상적인 반응이라는 것을 인식했기 때문에 더 긍정적인 경험이 되었을 것입니다."(9번 학생).
“[It] probably made it [a] more positive experience as [I] recognized [I] wasn't alone in my feelings and that this was [a] normal response to the scenario” (student no. 9).

정상화 외에도 병동에서 누군가와 대화하는 것이 부정적인 감정을 학습의 기회로 재해석하는 것을 촉진한다는 사실을 발견했습니다. 이는 말기 암 환자에 대해 화가 나서 컨설턴트가 환자에게 나쁜 소식을 전하러 왔을 때 병동을 떠났던 한 학생의 반성에서 확인할 수 있습니다. 한 주니어 의사가 그 학생의 행동에 대해 이야기하면서 앞으로는 배울 점이 많으니 이런 경험을 피하지 말라고 조언했습니다: 
In addition to normalization, we found that speaking to someone on the ward promoted the re-interpretation of negative emotions into learning opportunities. This can be seen in the reflection of a student who was upset about an advanced-stage cancer patient and so left the ward when a consultant came to break the bad news to the patient. A junior doctor then spoke with them about their behavior, suggesting that in future they should not avoid the experience because there was a lot they could learn:

"그는 컨설턴트가 [... ] 오는 동안 왜 내가 [... ] 사라졌는지 물었습니다. 그는 사라지는 것이 저에게 아무런 도움이 되지 않을 것이라며 "병동 회진에서 겁먹지 말라"고 조언했습니다. 저는 그의 말이 굴욕감이 아니라 제 자신에 대한 [사실]을 지적하는 측면에서 [매우] 강하다고 느꼈습니다. 제가 병동 회진 중에 사라지지 않았다면 나쁜 소식이 어떻게 알려지는지 봤을 것입니다. 놓치지 말았어야 할 경험을 놓쳤어요 [...] 제가 상담했던 기초의학과 의사는 훌륭한 롤모델이었어요"(2번 학생).
“He asked me why I [had] vanished while the consultant [ … ] came. He suggested vanishing wouldn’t help me with anything, and “don’t be chicken when it comes to ward rounds”. I felt his comment was [very] strong, not in terms of humiliation, but in terms of pointing out [a fact] about myself. If I hadn’t vanished during the ward round, I would have seen how the bad news was brought to light. I did miss an experience I shouldn’t have missed [...] The foundation doctor I spoke to was a great role model” (student no. 2).

2번 학생은 환자가 나쁜 소식을 듣는 것을 목격하는 것이 불쾌한 일이라는 것을 기초 의사가 알고 있었다고 말했습니다. 그러나 그는 학생에게 부정적인 감정을 받아들이고 병동 회진에 참석할 것을 제안했고, 학생은 그 조언이 도움이 되었다고 말했습니다. 또한 이 학생의 의견은 학생들이 협상하는 법을 배워야 하는 환자 사망 경험의 개인적 측면과 직업적 측면의 상호 작용을 강조합니다. 아래 댓글을 보면 동료들의 지원이 학생에게 환자 사망의 개인적, 직업적 측면을 협상하는 데 어떻게 도움이 되었는지 알 수 있습니다: 
The student no. 2 suggested that the foundation doctor knew it was unpleasant to witness the patient being told bad news. However, he suggested that the student embrace their negative emotions and be present during the ward round, which the student found helpful advice. Furthermore, the student’s comments highlight the interplay of both personal and professional aspects of patient death experiences that students must learn to negotiate. In the comment below, we see how support from colleagues helped students negotiate the personal and professional aspects of patient death:

"제 기분을 잘 아는 병동 자매와 이야기를 나누며 대처했습니다. 우리는 [일을 계속해야 한다는 것을 알았기 때문에] 너무 오래 대화하지 않았습니다. 개인적인 감정과 업무를 분리하는 데 도움이 되었죠. 저는 모든 사람이 어떤 식으로든 환자의 죽음에 영향을 받는다고 생각하지만, 환자 중 한 명이 죽었다고 해서 다른 환자를 구할 수 없다는 뜻은 아니라고 생각합니다."(3번 학생).
“I coped by talking to a ward sister who seemed to know how I felt. We didn't spend too long chatting because we knew we had to move on [with doing our jobs]. It helped me separate the personal feelings from my work. I believe everybody is affected by patient death in some way, but [that] one of our patients died doesn't necessarily mean we can't save the others” (student no. 3).

병동 직원과 의과대학의 지원이 대처와 학습에 미치는 영향
Impact of support from ward staff and medical school on coping and learning

환자 사망 후 학생들의 지원에 대한 인식에는 (1) 병동 직원으로부터 받은 지원과 (2) 의과대학으로부터 받은 지원이라는 두 가지 주제가 있었습니다. 

• 전자는 컨설턴트, 레지던트, 재단 의사, 동료, 간호사, 기타 의료진 등 병동에서 함께 일한 사람들로부터 받은 지원에 대한 참가자들의 반응에 초점을 맞췄습니다.
• 후자는 체험이 이루어진 병동 환경에 관여하지 않은 교직원의 지원에 대한 반응에 관한 것이었습니다.

There were two themes for students’ perceptions of support following patient death: (1) Support received from ward staff and (2) Support received from the medical school.

• The former focused on participants’ responses towards support they received from people with whom they worked on the ward, which included consultants, registrars, foundation doctors, colleagues, nurses and other medical staff.
• The latter concerned the responses towards support from academic staff who were not involved in the ward setting where the experience took place.

병동 직원과 관련해서는 병동 직원의 지원 정도에 대한 학생들의 인식에 차이가 있었는데, 만족스럽다는 의견이 있는 반면 만족스럽지 않다는 의견도 있었습니다. 지원이 만족스러웠다고 응답한 경우, 또래 및 가까운 동료의 개인적인 정서적 지원이 공통적인 특징이었습니다. 예를 들어, 한 참가자는 이렇게 썼습니다:
In terms of ward staff, there was a range in students’ perception of how supportive the ward staff were; some people felt that it was satisfactory, while others did not. In instances where the support was satisfactory, personal emotional support from peers and near-peers was a common feature. For instance, one participant wrote:

"5학년 학생과 FY1(파운데이션 닥터 1년차)이 매우 공감해 주었고, 사건에 대해 이야기할 시간을 주었습니다."(7번 학생).
“The 5th year student and the FY1 [foundation doctor Year 1] were very sympathetic and gave me time to discuss the event” (student no. 7).

7번 학생의 만족스러운 지원에 대한 의견은 정서적 지원에만 국한되지 않는다는 것을 알 수 있었습니다. 병동 직원과의 대화는 직업 생활에서 활용할 수 있는 학문적 교훈과도 관련이 있었습니다. 같은 학생이 계속 말했습니다:
We found that the student no. 7’s comments about satisfactory support were not limited to fostered emotional support. Their discussion with ward staff was also associated with academic lessons that they could take forward in their professional life. The same student continued:

"... 제 동료들은 죽음에 대한 제 반응에 당황하기도 하고 공감하기도 하면서 스스로 대처해 나갔던 것 같아요. 우리는 누구를 비난하지 않고 실질적인 방법으로 사건에 대해 논의하면서 서로를 지지했습니다."
“ … my colleagues were, I think, both baffled by and sympathetic to my reactions to the death, while coping with it themselves. We supported each other by discussing the event in practical ways without blaming anybody”.

여기서 우리는 앞서 설명한 것, 즉 누군가와 대화하는 것과 같은 외적 대처 방법이 개인적인 감정과 직업적 역할의 측면에서 내적 대처 과정을 지원한다는 상호 작용을 볼 수 있습니다.
Here we can see the interplay between what we illustrated earlier – that external coping measures (i.e. speaking to someone) supported the internal coping process both in terms of personal feelings and professional roles.

또는 한 참가자는 자신이 지지받지 못했다고 느꼈던 환자의 죽음에 대한 이야기를 들려주었습니다: 
Alternatively, one participant narrated a story about a patient death where they did not feel supported:

"의료계 종사자들은 모두 죽음에 익숙해져 있고 그들에게는 죽음이 자연스러운 일이지만, 처음 경험한 저는 그렇지 않았습니다."(6번 학생).
“Everyone in medicine is so hardened by deaths and it came like nature to them, but not me who had that first experience” (student no. 6).

학생들이 지지를 받지 못한다고 느낀 경험은 개인적인 정서적 지원이 제공되지 않은 상황인 경우가 많았습니다. 여기서 흥미로운 점은 환자의 죽음에 대한 초기의 개인적 정서적 경험(예: 처음)과 학생들의 감정에 민감하게 반응하는 사람들의 지원에 대한 감사 사이의 연관성입니다. 한 참가자의 경험은 이 아이디어를 더욱 발전시켜 총체적인 지원의 중요성을 강조했습니다. 그들은 이렇게 썼습니다: 
Often, experiences where students did not feel supported were situations where personal emotional support was not provided. An interesting point that can be drawn here is the link between early personal emotional experience (i.e. first time) with patient death and the appreciation for support from those who were sensitive to students’ emotions. One participant’s experience took this idea further, highlighting the importance of holistic support. They wrote:

"... [지원]이 많지 않았습니다. 대화는 주로 배운 교훈과 더 잘했어야 하는 부분에 초점을 맞추었는데, 이 부분은 제가 매우 중요하게 생각하는 부분입니다. 개인적/도덕적/실존적 측면은 별로 논의되지 않았습니다."(4번 학생).
“ … not much [support]. The conversations focused primarily on the Lessons Learned, and what should have been done better, which is an area I feel very strongly about getting right. The personal/moral/existential aspects were not really discussed” (student no. 4).

의과대학에서 받은 지원과 관련하여 참가자들은 만족스러운 지원과 불만족스러운 지원의 지점도 파악했습니다. 참가자들은 병동 근무를 준비할 때 받은 지원에 대해 자주 이야기했습니다. 예를 들어 한 참가자는 이렇게 썼습니다: 
In relation to support received from the medical school, participants also identified points of satisfactory and unsatisfactory support. Participants often talked about the support they received in preparing for their work on the wards. For instance, one participant wrote:

"EOL(임종) 문제를 관리할 수 있도록 최선을 다해 준비해 주었습니다. 하지만 거기까지가 그들이 할 수 있는 전부인 것 같고, 나머지는 직접 경험을 통해 배워야 합니다."(2번 학생).
“They did their best in preparing me for managing the EOL [end of life] issues. But that's the farthest they could go, I think; the rest of the lessons we have to learn from hands on experience” (student no. 2).

2번 학생은 의과대학의 지원을 높이 평가했지만, 전임상 단계에서 받은 준비 과정에만 국한된 시각을 가지고 있었습니다. 이 점과 관련하여 참가자들은 환자 사망을 경험한 구체적인 사례에서는 의과대학의 지원이 적절하지 않다고 생각한다는 의견도 언급했습니다. 한 참가자는 이렇게 썼습니다: 
Although the student no. 2 appreciated the support from medical school, their view towards it was limited only to the preparation course they received in preclinical years. Related to this point, participants also referred to the idea that they felt that medical school support was not relevant in these specific instances of experiencing patient death. One participant wrote:

"... 환자를 잃은 순간 학교는 도움을 요청하기에는 너무 멀리 떨어져 있다고 생각했습니다. 학교가 도움을 줄 수도 있겠지만, 저는 함께 일하는 사람들과 이야기하고 싶었습니다."(8번 학생).
“ … at the moment of losing a patient, I thought the school was [too far away] to reach for support. They might be supportive, but I'd rather talk to the people I am working with” (student no. 8).

지원을 위한 제안
Suggestions for support

참가자들은 지원을 위한 두 가지 주요 제안에 대해 이야기했습니다. 첫 번째는 타이밍에 관한 것이었습니다. 학생들은 환자의 임종 경험을 준비할 때 실질적인 측면과 정서적인 측면을 모두 포함한 지원의 중요성에 대해 논의했습니다. 예를 들어, 한 참가자는 기술 준비에 대해 비판했습니다:
Participants talked about two key suggestions for support. The first was around timing. Students discussed the importance of support in the preparation for patient death experiences, including both practical and emotional aspects. For example, one participant criticized the skills preparation:

"죽음과 그에 따라 의료진이 수행해야 하는 업무가 의과대학에서 잘 다루어지거나 가르쳐지지 않는 것 같아요. 언젠가는 임상 술기 세션에서 죽음을 확인하고 인증하는 과정, 즉 실질적이고 감정적인 측면을 다루어야 한다고 생각합니다."(10번 학생).
“I don't think death and the accompanying tasks that need to be performed by medical staff are well covered/taught by the medical school. I think we should have a clinical skills session at some point taking us through confirming and certifying death - the practical and emotional aspects” (student no. 10).

둘째, 좋은 지원의 특징이 강조되었는데, 이는 표 4에 요약되어 있습니다. 이러한 주제는 구조, 활동, 감수성, 포용적 지원과 관련된 것이었습니다. 즉, 

• 환자 사망 후 지원은 구조적이고 공식적이며 조직적이어야 하고,
• 일부 학생은 스스로 지원을 요청하지 않을 수 있으므로 보다 적극적이어야 하며,
• 오랜 기간 환자 사망을 경험한 의료인은 굳어져 의대생의 초기 경험에 대한 민감성을 잃을 수 있으므로 민감해야 하고,
• 동료 및 가까운 동료의 지원이 도움이 될 수 있으므로 포용적이어야 한다는 것입니다.

Second, the characteristics of good support were highlighted; these are summarized in Table 4. These themes concerned structure, activity, sensitivity, and embracing support. In other words, the support following patient death should be structured, formal and organized; it should be more active, as some students might not seek support themselves; it should be sensitive, since over a period of time experiencing a number of patient deaths, a healthcare professional may become hardened and sensitivity to medical students’ early experiences might be lost; and support from peers and near-peers can be helpful and should be embraced.

내러티브 분석의 추가 결과
Further findings from narrative analysis

학생들이 보고한 경험의 유형을 보여줄 뿐만 아니라 이러한 경험을 통한 성찰과 학습 간의 상호작용에 대한 통찰을 제공하기 때문에 10번 학생이 작성한 내러티브의 예시(표 5 참조)를 분석 대상으로 강조했습니다. 
We highlight the exemplar narrative written by the student no. 10 (See Table 5) for analysis, as it not only illustrates the types of experiences that students reported, but also provides insight into the interplay between reflection and learning through these experiences.

화자는 환자의 사망 사건에 대한 성찰을 시간, 장소, 사람(5학년 마지막 주, 병동에서 갑자기 사망한 환자, 1∼2행)에 대한 오리엔테이션으로 시작합니다. 다음 다섯 문장은 병실에 있던 간호사가 환자의 친척인 줄 모르고 사망 확인을 하는 과정에 관한 내용입니다. 이 문장들은 참가자가 감정 단어(예: 모멸감, 끔찍함, 8행)를 사용하여 사건에 대한 평가를 표현한 것으로 보아 라보프[31]의 평가 단계를 나타낸다고 볼 수 있습니다.
The narrator begins their reflection on the patient death incident with an orientation of time, place and person (last week of 5th year, on the ward, a patient who had suddenly died, line1–2). The following five sentences concern the death confirmation process without realizing that the nurse in the room was a patient’s relative. These sentences arguably represent Labov’s [31] evaluation phase as the participant expressed their evaluation of the incident through using emotion words (i.e. mortified and terrible, line 8).

내러티브는 화자가 foundation doctor와 함께 사망 인증을 수행하는 복잡한 행동 단계 [31]로 진행됩니다. 여기서 일종의 미묘한 감정 장치[22]인 반복이 발견되는데, 환자의 친척이 있다는 사실과 그 상황을 어떻게 보았는지(속상하다, 10행)에 대해 반복해서 언급하는 장면이 그것이다. 성찰의 렌즈를 통해 이러한 부정적 감정이 상황의 불편함을 확인하는 학생의 성찰의 첫 단계라고 해석할 수 있습니다.
The narrative proceeds to the complicating action phase [31] in which the narrator performed death certification with a foundation doctor. A repetition, which is a kind of subtle emotional device [22], is found here when they repeated mentioning about the presence of patient’s relative and how they saw the situation (upset, line 10). Through the lens of reflection, we interpreted that these negative feelings were the first stage of the student’s reflection in which they identified discomfort in the situation.

그러나 내러티브가 이야기의 결말을 나타내는 결말과 코다 부분으로 넘어가면[30], 감정 단어가 부정적 감정에서 긍정적 감정으로 전환됩니다. 이 전환점은 이야기 내에서 학생이 자신이 배운 것을 반성하고 그 상황이 자신에게 '가르친 것'에 대해 이야기하는 시점과 일치합니다(11행). 화자의 현재 시점('나는 느낀다', 11행과 12행의 반복으로 명시적으로 알 수 있음)에서 볼 때, 이 상황은 기초 박사 수준의 준비라는 측면에서 좋은 상황입니다. 긍정적(11행), 유익한(12행, 16행), 더 나은(12행) 등의 형용사와 부사가 느낌을 나타내기 위해 사용되었습니다. 유익한(12행과 15행) 앞에 매우라는 강화어가 반복적으로 사용되었는데, 이는 그들이 배운 것 때문에 전반적으로 상황을 긍정적으로 생각하고 있음을 보여줍니다. 
However, when the narrative moves to the resolution and coda parts, indicating the ending of the story [30], the emotion words shift from negative to positive ones. This transition point aligns with the point within the story where the student reflects on what they have learned; they discuss what the situation has ‘taught’ them (line 11). From the narrator’s current point of view (explicitly signaled by the repetition of ‘I feel’, lines 11 and 12), this situation is good in terms of the preparation for the foundation doctor level. Adjectives and adverbs such as positive (line 11), beneficial (lines 12 and 16) and better (line 12) were used to indicate their feeling. The intensifier very was used repeatedly before beneficial (lines 12 and 15), demonstrating how they positively think about the situation overall, arguably because of what they have learned.

이 장면을 통해 참가자가 임상 연도 실습에서 죽음을 인정하기 위한 실질적이고 감정적인 준비에 대해 어떻게 느꼈는지 알 수 있습니다. 화자는 '죽음과 의료진이 수행해야 하는 그에 수반되는 업무가 의과대학에서 잘 다루어지거나 가르쳐지지 않는 것 같다'(17-18행)고 명시적으로 말하며 부정의 표현을 사용합니다. 여기서 부정의 형태로 나타나는 사실과 반대되는 사고를 확인할 수 있는데, 이는 일어났어야 하지만 일어나지 않았다고 생각하는 사건에 대한 실망감을 반영합니다[32]. 성찰 단계의 틀 안에서, 우리는 그들이 사건에 대한 분석을 통해 두 가지 새로운 관점, 즉 사망 인증 과정에서 얻은 교훈과 의과대학이 이 부분에 대한 준비 과정을 개선할 수 있는 기회가 있다고 해석합니다. 
Reflecting on what happened, we also see how the participant felt about the practical and emotional preparation for certifying death in clinical year practice. The narrator employs the use of negation by explicitly saying, ‘I don’t think death and the accompanying tasks that need to be performed by medical staff are well covered/taught by the medical school’ (lines 17–18). A counterfactual thinking in the form of negation can be identified here, reflecting disappointment at an event that they think should have happened but did not [32]. Within the framework of reflection stages, we interpret that there are two new perspectives emerging from their analysis of the event: the lessons they have learned from the death certification process, and the opportunity for the medical school to improve their preparation course regarding this aspect.

이 연구는 의대생들의 환자 사망 경험에 대한 내러티브를 탐색함으로써 연구 질문과 관련된 많은 문제를 확인했습니다. 
By exploring narratives of medical students about their experiences with patient death, this study identified many issues related to the research questions.

환자 사망에 대한 대처 전략
Coping strategies for patient death

주제별 분석을 통해 학생들이 사용하는 많은 대처 전략이 이전 연구의 결과와 유사하다는 것을 관찰했습니다. 이제 각 전략에 대해 논의하여 연구 결과가 기존 논문의 결과를 어떻게 반영하거나 확장하는지 보여드리겠습니다. 
Through thematic analysis, we observed that many coping strategies that students employed resembled the results of previous studies. Each of the strategies will now be discussed to show how the findings reflect or extend the results of existing articles.

종교에 의지하기
Turning to religion

종교에 의지하는 것은 의대생[3, 5, 7], 의사[33], 간호사[34]가 환자가 사망한 후 흔히 취하는 대처 전략으로 확인되었습니다. 종교가 환자 사망 후 의대생의 대처 메커니즘에 어떻게 도움이 되는지 명확하게 설명하는 논문은 많지 않지만, 루디실 등[35]은 의대생의 죽음 이후의 삶에 대한 강한 종교적 신념과 낮은 죽음 불안 사이의 관계를 발견했습니다. 이는 학생들의 종교적 배경에 따라 죽음을 해석하기 때문일 수 있습니다. 예를 들어, 일부 학생들은 죽어가는 환자가 더 높은 힘에 의해 보호받고 있다고 느끼고 죽음을 긍정적인 방식으로 해석할 수 있습니다[36]. 

Turning to religion was identified as a common coping strategy for medical students [3, 5, 7], physicians [33] and nurses [34] after a patient had died. Although there are not many articles clearly explaining how religion helps with medical student coping mechanisms following patient death, Rudisill et al. [35] found a relationship between medical students’ strong religious beliefs about life after death and lower death anxiety. This could be due to the interpretation of death based on the students’ religious background; for example, some students might feel that the dying patient was being protected by a higher power, and then interpret the death in a positive way [36].

바쁘게 지내기
Staying busy

다른 업무로 바쁘게 지내는 것이 환자의 죽음에 대처하는 방법이라는 이전 연구[3, 7, 19]의 결과와 일치하는 것으로 볼 수 있습니다. 그러나 이번 연구에서는 약간의 차이가 있을 수 있습니다. 페사그노 등[3]은 의사의 업무를 계속하는 것이 전문적 속성의 식별과 관련이 있다는 것을 발견했습니다. 즉, 그들의 연구에 참여한 학생들은 "의사와 의대생이 얼마나 많은 환자 사망을 경험하든 간에 다른 사람을 계속 돕는 것이 의학의 필수적인 부분"이라고 생각하기 때문에 스스로를 바쁘게 유지했습니다([3], 54페이지). 우리 연구에 참여한 일부 학생들은 바쁘게 지내는 것을 대처 전략으로 설명했지만, 직업적 속성은 반드시 확인되지 않았습니다. 한편으로는 바쁘게 지내는 것이 그들이 겪고 있는 슬픔으로부터 인식을 전환하는 방법이었습니다. 반면에 바쁘게 지내는 것은 직업적 속성의 발달에 따른 행동일 수도 있습니다. 
Coping by staying busy with other responsibilities might be seen to agree with the results of previous studies [3, 7, 19], showing that keeping on with clinical tasks was a way to cope with patient death. However, there might be a minor difference in this current study. Pessagno et al. [3] found that carrying on with physicians’ tasks was linked to the identification of professional attributes; that is, the students in their study kept themselves busy because they saw that “continuing to help others is an essential part of medicine regardless of how many patient deaths physicians and medical students experience” ([3], p. 54). Some students in our study described staying busy as a coping strategy, without the professional attributes necessarily being identified. On the one hand, staying busy was a way to shift awareness away from sadness they were experiencing. On the other hand, staying busy could be an action following the development of professional attributes.

부정적인 감정 견디기
Enduring negative emotions

이 연구에 따르면 일부 학생들은 부정적인 감정을 내부적으로 처리하는 것으로 나타났습니다. 이러한 대처 방법은 Firth-Cozens 등의 연구를 제외하고는 이전 연구에서 많이 언급되지 않았습니다 [19]. 그들의 연구에서 의대생의 2.3%는 반드시 도움을 구하지 않고 시간이 지나면 그 감정이 사라지도록 내버려 두는 방법을 선택했습니다 [19]. 또한 이러한 대처 전략은 죽음에 대한 불안 수준을 측정하는 심리 측정 도구인 죽음에 대한 두려움(FOD) 점수가 높은 것과 관련이 있다는 것을 발견했습니다 [19]. 흥미롭게도 이 전략을 사용한 현재 연구에 참여한 한 참가자는 사망한 환자에 대한 꿈이 한동안 계속 되풀이되는 경험을 했다고 보고했습니다. 사망한 환자에 대한 이러한 반복적인 꿈은 사망에 큰 영향을 받는 의료진에게 발생할 수 있는 방해가 되는 생각이나 기억으로 해석될 수 있습니다 [37, 38]. 저희가 아는 한, 저희의 연구는 환자 사망 후 의대생들의 방해가 되는 기억을 보고한 최초의 연구입니다. 연구 결과를 통해 우리는 이러한 특징들(지속되는 부정적 감정, 죽음에 대한 불안, 침입적 사고) 사이에 어떤 연관성이 있을 수 있으며, 이러한 연관성은 추가 연구를 위한 영역을 남길 수 있다고 제안합니다. 
This study has revealed that some students processed their negative emotions internally. This method of coping has not been mentioned much in previous studies except that of Firth-Cozens et al. [19]. In their study, 2.3% of medical students chose to let the feeling fade away through time without necessarily seeking support [19]. They also found that this coping strategy was associated with a high Fear of Death (FOD) score, which is a psychometric tool measuring the level of death anxiety [19]. Interestingly, a participant in the current study who used this strategy reported that they experienced dreams about the deceased patient that kept returning for some time. These recurrent dreams about patients who died may be interpreted as intrusive thoughts or memories that can occur to healthcare providers who are powerfully affected by the death [37, 38]. To our knowledge, our study is the first to report intrusive memories in medical students after patient death. From our findings, we also propose that there might be some connections between these features (enduring negative emotions, death anxiety and intrusive thoughts), and that these connections leave an area for further research.

개인적인 삶과 직업적 역할에 대한 교훈으로 경험을 재해석하기
Personal re-interpretation of the experience into a lesson learned for personal life and professional role

생명의 가치를 고려하여 죽음을 긍정적으로 바라보는 것은 의대생의 대처 전략을 연구하는 기존 문헌에서 일반적으로 언급되지 않았습니다. Kelly 등[2]은 젊은 환자의 죽음을 계기로 학생들이 삶의 가치에 대해 고민하게 되었다고 간략하게 언급했습니다. 본 연구는 학생들이 삶을 온전히 살아가고 도움을 준 사람들에게 감사하는 삶의 가치에 대해 어떻게 생각하는지 보여줌으로써 그들의 연구 결과를 뒷받침합니다. 
Seeing the death in a positive light by considering life value has not generally been mentioned in the existing literature studying medical students’ coping strategies. Kelly et al. [2] briefly mentioned that the death of a young patient led to students contemplating their life values. Our study supports their finding by demonstrating how life values were contemplated, in terms of living life to the full and being thankful to people for their support.

환자의 죽음 경험에 대한 또 다른 개인적 재해석은 직업적 역할 측면에서 발견되었습니다. 여기서 학생들은 죽어가는 환자와 환자의 죽음에 대한 향후 접근 방식에 대한 직업적 역할에 대한 교훈으로 경험을 전환하는 방법을 보여주었습니다. 이러한 특징은 주제 분석에서 4번 학생의 의견(심폐소생술 카트와 환자 사망 주변 다른 환자의 존재에 대한 교훈)과 내러티브 분석에서 10번 학생의 의견(사망 인증 과정과 그 준비에 대한 교훈)에서 발견되었습니다. 이는 학생들 스스로가 EOL 실습을 긍정적이고 의미 있는 방식으로 해석할 수 있는 잠재력을 가지고 있음을 보여주며, 이는 맥레오드 외[39]의 연구 결과와도 일치합니다. 
Another personal re-interpretation of patient death experience was found in terms of professional role. Here, students have shown how experiences were turned into lessons learned for their professional role in future approaches to dying patients and patient death. This feature was found in the student no. 4’s comment in the thematic analysis (lessons about CPR cart and the presence of other patients around the death of a patient) and the student no. 10’s comment in narrative analysis (lessons about death certification process and its preparation). This shows that students themselves have the potential to interpret the EOL practice in a positive and meaningful way, aligning with the findings of MacLeod et al. [39].

학생들이 경험의 재해석을 통해 얻은 교훈은 앞서 논의한 성찰의 마지막 단계, 즉 새로운 관점의 개발을 보여준다고 간단히 제안할 수 있습니다. 그러나 4번 학생(환자의 죽음에 대한 경험에서 대처하고 배우기 섹션 참조)과 10번 학생(표 5 참조)의 의견에서 흥미로운 측면을 발견할 수 있었습니다. 두 학생 모두 마지막에 정서적 요소가 부정적에서 긍정적 요소로 바뀌면서 직업적 역할에 대한 귀중한 교훈을 얻게 되었습니다. 특히 10번 학생의 성찰에 대한 내러티브 분석을 통해 학습이 의대생이 경험하는 부정적 감정과 긍정적 감정 사이의 가교 역할을 하는 것을 알 수 있습니다. 부정적인 감정을 생산적인 결과로 전환하는 이러한 특성은 학습뿐만 아니라 정서적 민첩성이라고 주장합니다 [40]. David 외[40]는 정서적 민첩성이란 사람들이 부정적인 감정에 대해 사려 깊고 생산적이며 가치 중심적인 방식으로 접근하는 자질이라고 제안합니다.  
It can be simply proposed that the lessons students have learned through the re-interpretation of experiences display the final stage of reflection we discussed earlier, which is the development of new perspectives. However, we found an interesting aspect from the comments of the student no. 4 (see section Coping and learning from experiences with patient death) and the student no. 10 (see Table 5). In both comments, the affective elements shifted from negative to positive at the end, resulting in valuable lessons for their professional role. In particular, through narrative analysis of the student no 10’s reflections, we can see how learning provides a bridge between the negative and positive emotions that medical students experience. This quality of transforming a negative emotion into a productive consequence is not only learning but, we argue, emotional agility [40]. David et al. [40] propose that emotional agility is the quality by which people approach negative emotions in a mindful, productive and value-driven way. Through reflection there is an opportunity for individuals not only to learn, but to cope through learning. More importantly, there is also an opportunity to learn to cope through developing skills such as emotional agility and mindfulness.

정상화
Normalization

이 연구는 환자의 죽음에 대한 강한 감정이 정상적인 반응으로 인식되어 대처 메커니즘이 생길 수 있음을 보여주었습니다. 우리가 아는 한, 의대생이 환자 사망을 경험한 후 정상화를 대처 전략으로 보고한 기존 논문은 없습니다. 그러나 일부 연구에서는 간호사[41]와 구급차 서비스 종사자[37]가 이 전략을 광범위하게 사용한다고 제안했습니다. 의료 사회학에서 정상화는 의대생과 같은 새로운 사회 구성원이 실무 커뮤니티에 참여함으로써 사고 방식을 배우고 직업적 가치와 행동을 내면화하는 과정입니다[42]. 이 정의는 내적 과정으로서의 정상화를 의미하지만, 우리의 데이터는 다른 사람들과의 상호 작용이 정상화에 영향을 미친다는 것을 시사합니다(그림 1 참조). 로즈-크로프 등[7]은 또한 의대생에게 환자의 사망 후의 감정에 대해 일상적으로 질문하고 임상 실습에는 강한 감정이 수반된다는 사실을 깨닫도록 도와줌으로써 시니어 의사가 이 과정을 향상시킬 수 있다고 주장했습니다. 
This study showed that strong feelings towards the death of a patient could be recognized as normal responses, resulting in coping mechanisms. To our knowledge, none of the existing articles have reported normalization as a coping strategy after medical students’ experiences with patient death. However, some studies suggested that nurses [41] and ambulance service workers [37] broadly employed this strategy. In medical sociology, normalization is the process in which a new social member (such as a medical student) learns the ways of thinking and internalizes the professional values and behaviors through participating in a community of practice [42]. Although this definition implies normalization as an internal process, our data suggest that interaction with other people influences normalization (see Fig. 1). Rhodes-Kropf et al. [7] also advocated that senior staff members could enhance this process by routinely asking medical students about their feelings following the death of a patient and helping them to realize that clinical practices involve strong emotions.

누군가에게 이야기하고 그 경험을 직업적 역할에 대한 교훈으로 재해석하기
Speaking to someone and re-interpretation of the experience into a lesson learned for professional role

누군가와 대화하는 것이 환자 사망 후 대처하는 일반적인 방법으로 나타났으며, 이는 로즈-크로프 외[7] 및 존스 외[8]의 연구 결과와 일치합니다. 또한 환자의 죽음에 대해 누군가에게 이야기하는 것이 정서적 위안과 학문적 이익(2, 5, 8)을 제공할 뿐만 아니라 전문적 특성의 개발에도 도움이 된다는 기존 연구 결과와도 일치합니다[5]. 그러나 이 연구는 전문직 역할에 대한 학습을 지원하는 개인적 성찰과 집단적 성찰 간의 상호작용을 보여줌으로써 기존 문헌을 확장합니다. 특히 학생과 숙련된 전문가 간의 팀 상호작용은 학생들이 환자의 죽음 경험과 관련하여 학습하고 균형을 잡아야 할 개인적 측면과 전문적 측면이 모두 존재한다는 것을 인식하는 데 도움이 되는 것으로 나타났습니다. 
Speaking to someone was shown to be a common method of coping after patient death, aligning with the findings of Rhodes-Kropf et al. [7] and Jones et al. [8]. Our results also correspond with existing research in that speaking to someone about patient death provided not only emotional comfort and academic benefit (2, 5, 8], but also the development of professional attributes [5]. However, this study extends existing literature as it illustrates the interplay between personal and group reflection supporting learning about professional roles. Team interaction, especially between students and experienced professionals, was shown to help the students recognize that there were both personal and professional aspects to learn and balance in relation to patient death experiences.

이전 연구와 일치하는 이번 조사의 또 다른 특징은 참가자들이 죽음에 대해 동료 및 가까운 사람들에게 가장 자주 이야기했다는 점입니다. 이는 동료 지원이 비슷한 맥락과 지적 수준을 가진 사람들이 상호 작용하는 비공식적인 환경에서 발생하기 때문일 수 있습니다[43]. 그러나 다른 문헌에 따르면 동료, 가까운 동료 또는 선배 동료는 종종 의대생에게 실질적인 조언과 지침을 제공하는 신뢰할 수 있는 출처로 간주됩니다 [44]. 
Another feature of this investigation that aligns with previous studies is that participants most often spoke to peers and near-peers about the death. This could be due to the fact that peer support occurs in an informal environment in which people of similar context and intellectual status are interacting [43]. However, other literature has found that peers, near-peers or senior peers are often considered trusted sources of practical advice and guidance for medical students [44].

지원을 위한 제안
Suggestions for support

본 연구에서는 좋은 지원의 핵심 특성으로 타이밍을 확인했습니다. 학생들은 환자 사망을 경험하기 전과 후에 모두 지원이 필요하다고 느꼈습니다. 학생들은 사전에 의과대학에서 이러한 경험에 대비할 수 있도록 준비시켜야 한다고 생각했습니다. 학생들은 준비 과정에 죽음에 대한 실질적인 측면(예: 사망 확인 및 인증)과 정서적인 측면이 모두 포함되어야 한다고 강조했습니다. 이는 환자 사망의 실제적 측면과 정서적 측면을 모두 다루는 것이 중요하다고 밝힌 Jones 등[8]의 연구와도 일치합니다.

Our study has identified timing as being a key characteristic of good support. It was clear that students felt support was needed both before and after an experience with patient death. Beforehand, students felt that medical schools ought to prepare them for these experiences. They highlighted that the preparation process should include both the practical (e.g. death confirmation and certification) and emotional aspects around death. This aligns with work from Jones et al. [8], who also identified the importance of addressing both practical and emotional aspects of patient death.

환자 사망을 경험한 후 학생들은 경험이 많은 동료와 함께 디브리핑할 수 있는 비공식적인 기회를 중요하게 여겼으며, 이는 다른 문헌과도 일치합니다[8]. 중요한 것은 학생들이 환자 사망 경험의 전문적 측면뿐만 아니라 개인적, 정서적 측면을 성찰할 수 있는 기회의 중요성을 강조했다는 점입니다. 또한 학생들이 환자 사망 후 구조화되거나 공식화된 지원이 필요하다는 것을 확인했습니다. 이는 환자 사망 후 공식적인 토론을 통해 학생들이 자신의 경험을 이야기하고 공유할 수 있는 기회를 늘릴 수 있다는 Kelly 등[2]의 연구를 반영한 것입니다. 다른 문헌에서는 숙련된 교수진이 참여하는 정기적인 그룹 세션이 도움이 될 수 있으며[45], 슈와츠 회진[46]과 같은 비문서적 성찰의 형태로도 이루어질 수 있다고 제안합니다.
After experiencing a patient death, students valued informal opportunities to debrief with more experienced colleagues, which aligns with other literature [8]. Importantly, our study highlighted the importance of the opportunity for students to reflect on not only the professional but also the personal and emotional aspects of patient death experiences. We also identified that the students needed structured or formalized support following the death of a patient. This reflects work by Kelly et al. [2], which suggests that formalized discussions after patient death could enhance opportunities for students to talk and share their experiences. Other literature has suggested that regular group sessions where trained faculty is included may be helpful [45] and can also be done in the form of non-written reflection e.g. Schwartz rounds [46].

지원 시기를 고려하는 것 외에도 학생의 경험에 공감하는 것이 중요한 것으로 확인되었습니다. 1961년 로저스가 정의한 공감 능력[47]은 다른 사람의 감정에 민감하게 반응하고 그들과 민감하게 소통할 수 있는 능력입니다. 다른 연구에서 논의된 바와 같이, 환자의 죽음을 여러 번 목격한 의료진의 반응은 경험이 없는 의대생의 반응과 매우 다를 수 있습니다 [9]. 본 연구와 로즈-크로프 외[7]의 연구 결과(표 2 참조)에도 반영된 바와 같이, 학생들은 의료진이 죽음에 대해 너무 굳어져서 학생들과 함께 죽음을 인정할 수 있는 감수성이 부족하다고 느끼는 경우가 있었습니다. 위에서 언급했듯이 정상화는 이러한 의대생들이 대처하는 데 있어 중요한 부분이며, 교직원staff이 학생들의 경험에 공감하는 것이 이 과정에서 도움이 될 수 있습니다. 이러한 연구 결과 중 일부는 학생들이 동료 및 가까운 동료와 대화하는 것이 특히 중요하다고 강조하는 이유도 설명할 수 있습니다. 가까운 동료는 의대생이 직면하고 있는 도전과 어려움을 더 잘 이해하고 공감할 수 있으므로 더 잘 지지하고 적절한 제안을 할 수 있습니다[48, 49]. 

In addition to considering the timing of support, being empathetic to the student experience was identified as important. Empathy, defined by Rogers in 1961 [cited in [47]], is the capacity to be sensitive to what others are feeling and to be able to communicate sensitively with them. As discussed in other work, the reaction of the medical staff, who may have seen patient death many times, could be very different from that of inexperienced medical students [9]. As reflected in both our study and Rhodes-Kropf et al.’s [7] findings (see Table 2), students sometimes felt the healthcare team had become so hardened by death that they lacked the sensitivity to acknowledge it with students. As mentioned above, normalization is an important part of coping for these medical students, and staff being empathetic to students’ experiences may be helpful in this process. Some of these findings might also explain why students highlight speaking to peers and near-peers as being particularly valuable. Near-peers may be able to understand and empathize better with the challenges and difficulties medical students are facing; therefore, they are more able to support and give appropriate suggestions [48, 49].

좋은 지원의 마지막 특징은 의학교육자가 적극적인 역할을 하는 것입니다. 학생은 지원이 필요함에도 불구하고 대화를 시작하지 않을 수 있습니다. 이 결과는 Pessagno 등[3] 및 Smith-Hans 등[9]의 연구 결과와 일치하며, 학생들은 교수진이 적극적으로 시작한 지원을 높이 평가한다는 것을 보여줍니다. 일반적으로 많은 학생들이 어려움을 겪고 있어도 교수진에게 도움을 요청하지 않는 경우가 많기 때문에 교수진의 정기적이고 적극적인 지원이 도움이 되는 것으로 나타났습니다[50]. 
The last characteristic of good support is for medical educators to take an active role. A student might not initiate a conversation, even though he or she needs to be supported. This finding aligns with the results of Pessagno et al. [3] and Smith-Hans et al. [9], showing that students appreciated the support actively initiated by faculty members. In general, regular active support from faculty has been shown to be beneficial, because many students are unlikely to seek help from faculty even if they are having difficulties [50].

본 연구의 강점 및 주요 한계점
Strengths and key limitations of this research

이 연구에는 몇 가지 강점이 있습니다.

• 첫째, 엄격한 질적 연구의 중요한 특성인 내적 일관성을 보여주기 위해 인식론, 방법론, 연구방법이 일치하도록 세심하게 설계되었습니다[51].
• 둘째, 데이터 분석 과정에서 그룹 접근법을 사용했습니다. 따라서 데이터 분석의 신뢰성[52]과 해석의 엄밀성은 연구자 삼각측량[53]을 통해 향상되었습니다.
• 셋째, 주제별 프레임워크 분석과 내러티브 분석 등 다양한 분석 방법을 사용했습니다. 이는 데이터 분석 삼각측량법을 채택하여 관심 있는 현상에 대한 보다 심층적이고 총체적인 이해를 도모하고 질적 연구의 타당성을 높이는 데 도움이 됩니다[54].
• 마지막으로, 해석주의 연구 패러다임을 통해 사회 세계에 대한 다양한 해석이 존재하며 단일한 앎의 방식은 존재하지 않는다는 인식이 있습니다 [21]. 따라서 연구자의 배경과 입장이 연구에 영향을 미칠 수 있으며, 이를 해결하기 위해 반사성을 높이기 위한 여러 가지 접근 방식을 취했습니다. 또한, 연구 과정 전반에 걸쳐 지도교수 및 연구팀의 모든 의견은 연구자의 반성 일지에 기록하였습니다.

This study has several strengths. First, it was carefully designed to have an alignment between epistemology, methodology and method to show internal coherence, which is an important quality of rigorous qualitative research [51]. Second, we employed group approaches in the data analysis process. The reliability of data analysis [52] and interpretative rigor were therefore enhanced by researcher triangulation [53]. Third, multiple analytical methods, including thematic framework analysis and narrative analysis, were used. This denotes the adoption of data analysis triangulation, which helps promote a deeper and holistic understanding of an interested phenomenon and enhance the validity of qualitative research [54]. Finally, through an interpretivist research paradigm, there is a recognition that there are multiple interpretations of our social world and no single way of knowing [21]. Therefore, the researcher’s background and position could have impacted the research and a number of approaches were taken to enhance reflexivity to address this. In addition, every comment from the supervisor and research team was kept in the main researcher’s reflexive journal throughout the study process.

그럼에도 불구하고 본 연구에는 한계가 있습니다. 12명의 참가자는 표본 규모가 작고, 표본 추출 방식에 따라 극단적인 사례나 이상값과 같은 주요 인물을 놓쳤을 수 있습니다[55]. 그러나 이 연구는 질적 연구로서 가장 기억에 남는 환자의 죽음에 대한 의대생들의 경험을 심층적으로 탐구하는 것을 목표로 했습니다. Malterud 등[56]은 질적 연구자는 표본 크기와 관련하여 정보력을 고려해야 한다고 제안합니다. 우리는 정보력에 기여하는 요인이 유리하다고 주장할 수 있습니다. 우리의 데이터는 초점이 좁았던 연구 질문을 다룰 수 있었을 뿐만 아니라 그 내용도 풍부했습니다. 특정 참가자 그룹의 응답은 평균 400단어에 달하는 환자 사망 경험에 대한 내러티브였으며, 이는 우리가 받은 응답이 단순히 짧은 의견이 아님을 보여줍니다. 단어 수가 데이터의 풍부함을 직접적으로 반영하지는 않지만, 단어 수가 길수록 데이터의 풍부함의 다른 차원(예: 개인적인 응답 및 특정 지식이 있는 응답 [57, 58])과 연관성이 있습니다. 우리의 내러티브는 환자의 죽음에 대한 개인적인 성찰과 특정 의학 지식(예: 심폐소생술 카트의 준비 상태 및 사망 인증 절차)이 포함된 내용으로 채워져 있다고 주장할 수 있습니다. 따라서 통계적 대표성이나 논란의 여지가 있는 포화도 기준을 충족하는 것보다 연구 질문에 답할 수 있는 풍부한 데이터와 엄격한 분석 방법이 가장 중요한 요건입니다[56, 59].
Nevertheless, our study contains limitations. Twelve participants is a small sample size and our method of sampling could have missed some key people, such as extreme cases or outliers [55]. However, being qualitative research, this study aimed to explore deeply the medical students’ experiences around their most memorable patient death. Malterud et al. [56] suggest that qualitative researchers should consider information power in relation to sample size. We would argue that the factors which contribute to information power are favorable. Not only were our data able to address our research questions, which were narrow in focus, but the content was rich. Responses from our specific group of participants were narratives about experiences with patient death, averaging 400 words, demonstrating that the responses we received were not just short comments. Although word counts do not directly reflect data richness, there is an association between longer word counts and other dimensions of data richness (e.g. personal responses and responses with specific knowledge [57, 58]). It can be argued that our narratives were filled with personal reflections on patient death and with specific medical knowledge included (such as the readiness of the cardiopulmonary resuscitation cart and the death certification process). Therefore, the richness of data that answers the research questions and our rigorous analytical methods are a prime requirement, rather than statistical representativeness or meeting the controversial criteria of saturation [56, 59].

단일 기관에서 수행된 연구이기 때문에 광범위한 일반화에 주의를 기울여야 합니다. 질적 연구 자체는 일반화 가능성과 관련이 없지만[60], 이전 가능성은 중요합니다. 이전 가능성은 연구 결과가 다른 유사한 환경이나 맥락에서 관련성, 유용성 또는 정보를 제공할 수 있는 정도를 말합니다[53]. 이전 가능성을 높이기 위해 연구 결과와 기존 문헌의 결과를 철저히 비교하여[61], 기존 지식에 추가할 수 있는 많은 관련 사항을 발견했습니다. 또한 설정, 이론적 관점, 방법론, 표본 추출 및 분석과 같은 연구의 세부 사항을 제공하여 독자가 자신의 상황에 이 연구가 적용될 수 있는지 스스로 판단할 수 있도록 하였습니다[61]. 본 연구의 잠재적 이전 가능성은 특히 환자 사망에 관한 학생 지원 영역에서 다양한 학습자 그룹(예: 의대생, 간호대생)과 관련된 광범위한 보건의료 교육 실무에 기여할 수 있기를 바랍니다. 
Being a study conducted at a single institution, caution must be taken in making widespread generalizations. Qualitative research in itself is not concerned with generalizability [60], but transferability is important. Transferability is the extent to which research findings are relevant, useful or able to inform other similar settings or contexts [53]. To enhance transferability, comparisons between our results and those of the existing literature were thoroughly considered [61], and we found many relevant points that added to existing knowledge. Also, the study’s details, such as settings, theoretical perspective, methodology, sampling and analyses, were provided in order for readers to judge themselves whether this study can be applied to their contexts [61]. We hope that the potential transferability of this study could contribute to a wider range of healthcare education practices relevant to multiple learner groups (e.g. medical students, nursing students) especially in the area of student support regarding patient deaths.

또 다른 한계는 임상 연도 교육 전에 참가자들에게 죽음과 임종에 대한 과거 경험에 대해 명시적으로 묻지 않았다는 점입니다. 기존 문헌에 따르면 친한 친구나 가족의 죽음과 같은 개인적인 사별 경험은 사별을 얼마나 잘 처리하느냐에 따라 의대생이 환자의 죽음에 접근하는 방식에 긍정적으로 또는 부정적으로 영향을 미칠 수 있다고 합니다[62]. 또한, 임상 전 단계의 사체 해부는 학생들이 죽음에 대한 감정에 대처하고 배우는 방식에 영향을 미칠 수 있습니다[3, 7]. 설문지는 개방형이었지만, 참가자 중 임상 환자 사망 경험을 가족의 사망과 같은 개인적인 경험이나 해부학 해부 실습 경험에 연결시킨 사람은 없었습니다. 향후 연구에서는 이 부분을 보다 명확하게 조사할 수 있습니다. 
Another limitation is that we did not explicitly ask participants about past experiences with death and dying prior to the clinical year training. Existing literature suggests that previous close personal bereavement, like the death of a close friend or a family member, could both positively or negatively affect how medical students approach patient death [62], depending on how well the bereavement is processed. Furthermore, cadaveric dissection in preclinical years can affect how students cope and learn from their feelings around death [3, 7]. Although our questionnaire was open ended in nature, none of our participants connected their clinical patient death experiences with personal experiences such as a death in the family or with previous experiences in anatomy dissection. Future research could explore this area more explicitly.

향후 연구를 위한 권장 사항
Recommendations for future research

해부학 해부뿐만 아니라 향후 연구에서 주목할 만한 세 가지 핵심 영역이 있습니다. 첫째, 일부 참가자는 환자 사망 후 정서적 고통을 견뎌냈으며, 반복되는 꿈의 형태로 나타나는 방해가 되는 기억을 보고했습니다. 퍼스-코즌스 등[19]은 부정적인 감정을 견디는 것과 죽음 불안 사이의 연관성을 발견했으며, 저희는 부정적인 감정을 견디는 것과 방해가 되는 기억 사이의 잠재적 연관성을 발견했습니다. 이러한 관계를 더 탐구하는 것은 향후 연구의 영역이 될 수 있습니다. 둘째, 의대생들의 대처 경험과 마음챙김 및 정서적 민첩성과의 연관성을 확인했습니다. 스트레스와 고통 관리 측면에서 의학교육에서 마음챙김의 활용을 언급한 논문이 많이 있습니다[63, 64]. 그러나 이들 중 어느 누구도 정서적 민첩성의 일부로 환자의 죽음에 대처하기 위한 마음챙김과 연습을 어떻게 가르칠 수 있는지에 대해 구체적으로 연구하지 않았습니다. 
As well as anatomy dissection, there are three key areas worth highlighting for further research. First, some participants endured emotional pain after patient death and reported intrusive memories that came in the form of recurrent dreams. Firth-Cozens et al. [19] found an association between enduring negative emotions and death anxiety, and we found a potential link between enduring negative emotions and intrusive memories. Further exploring this relationship may be an area for future research. Second, we identified links to mindfulness and emotional agility with the coping experience of medical students. Many articles refer to the use of mindfulness in medical education in terms of stress and distress management [63, 64]. However, none of them specifically studied how mindfulness and practices for coping with patient death could be taught as a part of emotional agility.

셋째, 본 연구는 병동 직원과 의과대학이 환자 사망 후 지원할 준비가 어느 정도 되어 있는지에 대해서는 다루지 않았습니다. 이와 관련하여 의대생의 관점을 연구한 결과, 의대생들은 전공의 등 동료 및 가까운 동료의 지원을 높이 평가하는 것으로 나타났습니다. 그러나 다른 사람들의 지지적 역할에 관한 데이터는 아직 수집되지 않았습니다. 이들의 데이터는 Wear [65]가 요구한 것과 같이 기존 문헌에 풍부함을 더하고 부족한 부분을 해결할 수 있습니다. 
Third, our study has not resolved the extent to which ward staff and the medical school are ready to be supportive after patient death. We have studied medical student perspectives in this regard and found that they appreciated support from peers and near-peers, including foundation doctors. However, data from the perspectives of others concerning their supportive roles have not yet been collected. Data from them could add richness to – and address gaps in – the existing literature, such as that called for by Wear [65].

이번 연구를 통해 의대생들이 임상 실습에서 가장 기억에 남는 환자 사망 경험에 대한 인사이트를 얻을 수 있었습니다. 여기에는 학생과 관계를 맺은 환자의 첫 사망, 예상치 못한 사망, 예상되는 사망이 포함되었습니다. 그 결과 학생들은 다양한 내적 및 외적 대처 전략을 사용한다는 사실을 발견했습니다. 이러한 대처 전략 중 학생들의 성찰은 환자의 죽음에서 얻은 교훈을 발전시키는 데 중요한 것으로 나타났습니다. 일부 학생들은 성찰을 통해 이 두 가지 측면의 균형을 맞출 수 있었고 사건에 대해 성숙하게 행동하는 법을 배웠습니다. 또 다른 학생들은 처음에는 부정적인 감정을 가졌지만 스스로 귀중한 교훈을 얻을 수 있다는 것을 보여주며 정서적 민첩성을 보여주었습니다. 중요한 것은 병동 직원의 지원이 학생들이 경험의 개인적/정서적 측면과 직업적 측면을 모두 인식하도록 도와 반성을 강화하는 데 도움이 되었다는 점입니다. 그러나 참가자들은 성찰적 학습 환경에서 성찰적 학습자로서 더 나은 지원을 받을 수 있는 방법에 대해서도 목소리를 냈습니다. 
Our research provides insights into medical students’ most memorable experiences with patient death in clinical placements. This included the first death, unexpected death and expected death of a patient with whom the student had a connection. We found that students employed many internal and external coping strategies. Within those coping strategies, student reflections were shown to be important for the development of lessons learned from patient death. Through their reflections, some students were able to balance these two sides and learned to act upon the incident maturely. Others showed they could come up with valuable lessons on their own, despite having negative feelings at the beginning, demonstrating emotional agility. Importantly, our results also showed that support from ward staff often enhanced reflections by helping students recognize both personal/emotional and professional aspects of the experience. Yet, participants also gave voice to how they could be better supported as reflective learners in a reflective learning environment.

이러한 조사 결과를 통해 의대생들이 경험을 통해 배우고 성장하는 데 있어 성찰의 중요성이 강조되기를 바랍니다. 학부 의대 교수들은 의대생이 전문가로 성장하는 과정에서 유용한 대처 전략을 갖추도록 하는 것을 궁극적인 목표로 삼아 환자의 죽음 경험에 대한 성찰적이고 지원적인 환경을 조성하는 것을 고려할 것을 제안합니다. 
We hope that these finding will highlight the importance of reflection for medical students to learn and grow from experience. We suggest that undergraduate medical teachers consider promoting a reflective and supportive environment around patient death experiences with the ultimate aim of equipping medical students with helpful coping strategies as they develop as professionals in their own right.

1Bangkok Metropolitan Administration Hospital, 514 Luang Road, Pomprabsattrupai District, Bangkok, 10100, Thailand.

2Office of Medical Education, Billings Clinic, 801 N. 29th St. Billings, Montana, 59101, USA.

3Business School, Edinburgh Napier University, 219 Colinton Road, Edinburgh, EH14 1DJ, UK.

4Centre for Anatomy and Human Identification, University of Dundee, Dow Street, Dundee, DD1 5EH, UK. a.t.wilkinson@dundee.ac.uk.

Background: Existing studies have explored many aspects of medical students' experiences of patient death and propose the importance of faculty support for coping. However, UK-based literature on this subject and research concerning learning through reflection as part of coping are relatively limited. This study, through the lens of reflection, aims to explore students' experiences with patient death in a UK context. These include coping strategies, support from faculty following patient death and the relationship between these experiences and learning. Our research questions were: How do medical students cope with and learn from their experiences?How does support from ward staff and the medical school help them cope with and learn from these experiences?How can students best be supported following patient death?

Methods: We employed narrative inquiry to explore how medical students made sense of their experiences of patient death. Twelve students participated in our study via an online narrative questionnaire. Thematic analysis and complementary narrative analysis of an exemplar were applied to address our research aim.

Results: Coping strategies comprised internal and external strategies. Internal strategies included (1) re-interpretation of the death into a meaningful experience including lessons learned; (2) normalization; (3) staying busy and (4) enduring negative emotions. External strategies included speaking to someone, which was found to influence normalization, and lessons learned. Both satisfactory and unsatisfactory support from ward staff was identified. Satisfactory support was characterized by the inclusion of emotional and professional support. Unsatisfactory support was often characterized by a lack of emotional support. Narrative analysis further demonstrated how the experience with patient death was re-interpreted meaningfully. Students suggested that support should be structured, active, sensitive, and include peers and near-peers.

Conclusion: Many coping strategies, internal and external, were employed in students' experiences with patient death. Student reflections, enhanced by support from ward staff, were shown to be important for learning from patient death. We encourage faculty to have regular sessions in which medical students can reflect on the death incident and discuss appropriately with others, including peers and near-peers.

서구 사회에서 사회문화적 다양성이 증가함에 따라 의료 인력에서 사회문화적 다양성이 과소 대표되고 있는데, 이는 부분적으로는 레지던트로 전환하는 과정에서 사회문화적으로 다양한 배경을 가진 의대 졸업생, 즉 과소 대표되는 소수자(URM)를 잃는 것으로 보이기 때문입니다(Leyerzapf and Abma 2012; Verdonk and Janczukowicz 2018). 이는 문화적으로 민감한 진료에 대한 수요 증가에 비추어 볼 때 안타까운 일입니다(Saha 외. 2008, Goldsmith 2000, 미국 보건복지부 2006, Verdonk and Janczukowicz 2018, Cohen 외. 2002).  
The increasing sociocultural diversity in Western society is underrepresented in the medical workforce (Leyerzapf and Abma 2012; Verdonk and Janczukowicz 2018), partly because we seem to lose medical graduates with a sociocultural diverse background, i.e. underrepresented minorities (URM) in the transition to residency (Leyerzapf and Abma 2012). This is unfortunate in light of the increasing demand for culturally sensitive care (Saha et al. 2008; Goldsmith 2000; U.S. Department of Health Human Services 2006; Verdonk and Janczukowicz 2018; Cohen et al. 2002).

다양성 자극은 의료계에서 소수 인재의 지식과 기술을 통합하는 동시에 대다수 의사의 문화적 감수성을 높이는 것으로 생각됩니다(Cohen 외 2002; Nivet 2015). 또한, 사회 정의의 관점에서 볼 때 의료 분야 내 모든 사람에게 동등한 직업 기회를 제공하는 것은 필수적입니다(Thomas and Ely 1996).
Diversity stimulation is thought to incorporate the knowledge and skills of minority talents in healthcare and at the same time to increase the cultural sensitivity of the majority of physicians (Cohen et al. 2002; Nivet 2015). Furthermore, it is essential from a social justice point of view to have equal career opportunities for all within the medical field (Thomas and Ely 1996).

많은 서구 국가에서 URM 의대생의 수가 증가하고 있음에도 불구하고, 이들은 레지던트 교육과 의료 전문 인력에서 계속 과소 대표되고 있습니다(Leyerzapf 외. 2015; Verdonk and Janczukowicz 2018). 네덜란드의 경우, 의과대학 재학생 중 URM 지원자가 약간 증가했습니다. 선발 관행이 미칠 수 있는 부정적 영향에 대해 연구자들과 보건부를 포함한 국가 기관 모두의 관심이 높아지고 있습니다. 그럼에도 불구하고 이러한 관심의 증가는 다양성에 관한 공식적인 정책으로 반영되지 않았습니다. 이들은 일반적으로 과소 대표될 뿐만 아니라, 의대 졸업생의 비율은 전문의가 되기 위한 경력 경로를 따라 감소하는 것으로 보입니다(Leyerzapf and Abma 2012; Sopoaga 외. 2017). 이러한 현상은 '누수 파이프라인'이라고 불립니다(Freeman 외. 2016). 
Despite the increasing number of URM medical students in many Western countries, they continue to be underrepresented in residency training and in the medical specialist workforce (Leyerzapf et al. 2015; Verdonk and Janczukowicz 2018). In the Dutch context, there has been a slight increase in URM candidates among medical school attendants. The possible adverse impact of selection practices is receiving increasing attention both from researchers and from national organizations, including the Ministry of Health. Nevertheless, this increased attention has not been reflected in a formal policy regarding diversity. Not only are they generally underrepresented, the proportion of URM medical graduates appears to decrease along the career path to becoming a medical specialist (Leyerzapf and Abma 2012; Sopoaga et al. 2017). This phenomenon has been referred to as the ‘leaky pipeline’ (Freeman et al. 2016).

많은 선발 관련 연구(Patterson 외 2016; Roberts 외 2017)는 입학 의사결정을 최적의 결정을 내리는 단계별 인지 과정으로 개념화했습니다(Bolander and Sandberg 2013). 따라서 지원자의 특성이나 지식을 최적으로 측정하는 방법과 미래 성과를 예측할 수 있는 속성을 결정하는 방법에 대한 연구가 집중되어 왔습니다. 최근 발표된 두 건의 리뷰에 따르면 일부 선발 도구가 다른 도구보다 URM 후보자에게 부정적인 영향을 미칠 가능성이 더 높다고 합니다(Patterson 외. 2016; Stegers-Jager 2018). 그러나 보고된 연구들은 일반적으로 선발이 이루어지는 사회적 맥락을 고려하지 않아 선발 위원회가 정적인 비기여 요인으로 가정하고 있습니다.  
Much of selection research (Patterson et al. 2016; Roberts et al. 2017) has conceptualized admissions decision-making as a step-by-step cognitive process that produces an optimal decision (Bolander and Sandberg 2013). Therefore, research has focused on how to optimally measure candidates’ characteristics or knowledge and to determine which attributes are predictive for future performance. Two recent reviews suggest that some selection tools are more likely to have adverse impact on URM candidates than others (Patterson et al. 2016; Stegers-Jager 2018). However, the reported studies generally do not consider the social context in which selection takes place, thereby assuming selection committees are a static non-contributing factor.

선발위원회는 게이트키퍼로서 관련 정보로 무엇을 인식하고 우선순위를 정하며, 결국 의사결정을 위해 이러한 정보를 어떻게 결합하고 해석할지를 결정합니다. 이는 의과대학 선발과 관련이 있으며, 후보자 수가 적고 위원회의 규모가 작으며 일반적으로 모든 후보자를 모든 위원들이 면접하는 졸업후교육 선발에서는 더욱 그러할 것입니다.
As gatekeepers, selection committees determine what they recognize and prioritize as relevant information and eventually how they combine and interpret this information for the purpose of decision making. This is relevant in medical school selection, and probably even more so in postgraduate selection where the number of candidates is smaller, committees are smaller, and usually all candidates are interviewed by all committee members.

의대 선발에 관한 이전 연구에서는 잠재적으로 다양성을 저해할 수 있는 선발 관행의 메커니즘을 조사했습니다. Razack과 동료들은 의대생 선발에 관한 캐나다의 정책 문서를 분석하여 "최고이자 가장 똑똑한 사람"이 의료계에 진입해야 한다는 강력한 능력주의적 신념을 확인했습니다(Razack 외. 2015). 이러한 신념은 형평성이나 사회에 대한 봉사 등 다른 모든 주장을 무시하는 것처럼 보입니다. Wright(2015)는 선발 과정에서 고등학교의 지원에 초점을 맞춰 영국 학생들의 의대 진학 준비를 평가한 결과, 사립학교와 주립학교 간 지원에서 상당한 차이가 있음을 발견했습니다. 이러한 연구는 수백 명의 후보자와 의료 경력 파이프라인의 초기 단계에 있는 상황을 반영하지만, 이러한 메커니즘은 의학 졸업후교육 환경에서도 적용될 수 있습니다(Wright 2015).
Previous research in selection for medical school, has examined mechanisms in selection practices which potentially hinder diversity. Razack and colleagues analyzed Canadian policy documents concerning medical school student selection, identifying a strong meritocratic belief that “the best and the brightest” should enter the medical profession (Razack et al. 2015). This belief seems to overrule all other arguments, including equity and service-to-society. Wright (2015) evaluated the preparation of students in the UK for medical school selection by focusing on the support of high schools in the selection procedure and found considerable differences in support between private and state schools. Although these studies reflect contexts with hundreds of candidates and at an earlier stage in the medical career pipeline, these mechanisms could also be relevant in the postgraduate medical setting (Wright 2015).

이러한 졸업후교육 의료 환경에서는 선발 위원회의 맥락을 고려한 연구가 부족합니다. 졸업후교육 수련 과정의 성취도에 따른 차이를 설명한 연구로는 Leyerzapf 등(2015)과 Woolf 등(2016)이 가장 근접한 연구일 것입니다.

• Leyerzapf와 동료들은 일상적인 의료 행위의 성과 평가를 분석하여 팀에 잘 맞는지, 적절한 사회적 네트워크를 가지고 있는지와 같은 암묵적인 기준에 따라 URM 의사가 명백한 불이익을 받는다는 사실을 밝혀냈습니다(Leyerzapf 외. 2015).
• 울프와 동료들은 영국 졸업후교육 의학 교육에서 성취도 차이의 원인에 대한 소수 및 다수 의료 전문가들의 인식을 조사했습니다. 이들은 영국의 소수민족 및 외국인 졸업생이 졸업후교육 교육에서 학습과 성과를 저해하는 추가적인 어려움을 확인했습니다(Woolf 외. 2016). 

In this postgraduate medical setting, research that takes the context of the selection committee into account is lacking. Leyerzapf et al. (2015) and Woolf et al. (2016) probably go closest while explaining differences in attainment of postgraduate training positions.

• Leyerzapf and colleagues analyzed performance appraisals in daily medical practice and revealed an apparent disadvantage for URM medical doctors based on implicit criteria, such as whether one fits into the team and whether one has the right social network (Leyerzapf et al. 2015).
• Woolf and colleagues explored the perceptions of minority and majority health care professionals on causes of differential attainment in UK postgraduate medical training. They identified additional difficulties faced by UK minority and international graduates impeding their learning and performance in postgraduate training (Woolf et al. 2016).

레지던트 선발 위원회의 의사 결정 관행은 우리가 아는 한 아직 연구 대상이 되지 못했습니다. 게다가 실제 선발 과정을 살펴본 경험적 증거도 거의 없습니다. 따라서 이 백서의 목적은 URM 후보자를 의도치 않게 배제할 수 있는 메커니즘에 특히 초점을 맞추어 이러한 관행에 대한 인사이트를 얻는 것입니다. 
The decision-making practices of medical residency selection committees have, to the best of our knowledge, not yet been subject of research. Besides, there is little empirical evidence looking at selection in practice. Therefore, the purpose of this paper is to gain insight in this practice with particular focus on potential unintended excluding mechanisms for URM candidates.

접근 방식
Approach

이 질적 연구의 설계는 레지던트 선발 의사결정 과정에 관한 지식이 부족하다는 점을 고려하여 탐색적이고 귀납적으로 이루어졌습니다. 우리는 사회구성주의적 관점을 사용하여 의사결정 과정을 관련 전문가들의 해석과 의미 부여에 의해 형성되는 사회적 구성물로 접근했습니다. 
The design of this qualitative study was explorative and inductive, considering the scarcity of knowledge regarding residency selection decision-making processes. We used a socio-constructivist perspective, approaching the decision-making process as a social construct, shaped by interpretations and meaning giving of the professionals involved.

컨텍스트/설정
Context/setting

이 연구는 의과대학 교육 기간이 6년인 네덜란드에서 진행되었습니다. 대부분의 의대 졸업생은 레지던트 수련을 신청하기 전에 [수련의가 아닌 레지던트]로서 업무 경험을 쌓습니다. 이는 경쟁이 치열한 레지던트 프로그램에 들어가기 위해 특히 중요합니다. 레지던트 교육 선발 절차의 설계는 특정 전문 분야의 전국 협회와 지역 레지던트 프로그램 그룹에 의해 통제되기 때문에 실제 선발 절차의 관행은 매우 다양합니다. 
This study was conducted in the Netherlands, where medical school training is 6 years. A majority of medical graduates gains work experience as a resident-not-in-training before applying for residency training. This is particularly relevant for getting into highly competitive residency programs. The design of the selection procedure for residency training is controlled by the national association of that particular specialty and by the regional residency program groups, resulting in a great diversity in actual practices of selection procedures.

샘플링
Sampling

우리는 의도적으로 6개의 서로 다른 선발 절차를 샘플링했으며, 이 중 모든 선발 위원회 위원이 참여하도록 초대했습니다. 새로운 절차를 추가해도 연구 목적에 관한 새로운 인사이트나 추가 정보를 얻을 수 없을 때까지 샘플링을 계속했습니다.
We purposively sampled six divergent selection procedures, of which all selection committee members were invited to participate. Sampling continued until adding new procedures did not lead to new insights or additional information regarding the research purpose.

절차/설계
Procedure/design

풍부하고 구체적인 데이터를 얻기 위해 실제 선발 절차를 사용했습니다. 네덜란드에서 흔히 볼 수 있는 것처럼, 6개의 연구 대상자 선정 절차에서 선발 위원회는 전통적인 면접 방식을 적용했습니다.

• 먼저 지원자의 지원 동기와 이력서를 바탕으로 사전 선발이 이루어졌습니다.
• 다음으로 선발된 후보자들을 대상으로 면접을 실시했습니다.
• 마지막으로 선발 위원들이 그룹 토론을 통해 채용할 후보자를 결정합니다.
• 선발 절차 중 하나에는 평가 라운드가 추가로 포함되었습니다.

To get rich and concrete data actual selection procedures were used. As is common in the Netherlands, the selection committees in the six studied procedures applied a traditional job interview setting.

• First, a preselection based on candidates’ motivation letters and résumés was made.
• Next, job interviews were held with the selected candidates.
• Finally, selection committee members decide in a group discussion which candidates to hire.
• One of the selection procedures additionally contained an assessment round.

연구 설계는 이러한 일반적인 설정에 따라 설명합니다. 선발 절차에 순위를 매기는 방식을 도입한 이유는 선발 절차에서 후보자들의 순위를 의식적으로 매기면 위원들이 의사 결정 과정에서 무의식적으로 내린 결정을 회상하거나 드러내는 데 도움이 될 수 있다고 생각했기 때문입니다. 선발 위원들은 세 가지 순간에 각자의 선호도에 따라 후보자들의 순위를 매기도록 요청받았습니다: (1) 지원 동기와 이력서를 받은 후, (2) 면접을 본 후, (3) 그룹 토론을 마친 후입니다. 모든 선발위원을 대상으로 두 차례의 일대일 반구조화 면접이 별도로 진행되었습니다. 첫 번째 인터뷰는 후보자 사전 선정 후 면접 전에, 두 번째 인터뷰는 모든 절차가 끝난 후 진행되었습니다. 또한 의사 결정 그룹 토론을 참관하고 기록했습니다.

The research design is described according to this general setting. We introduced rankings in the procedure as we assumed that consciously ranking the candidates during the procedure could help committee members to recall decisions or unveil unconscious steps in the decision making process. The selection committee members were asked to rank the candidates numerically according to their individual preference at three moments: (1) after they received the motivation letter and résumés; (2) after the job interviews; and (3) after the group discussion. Two separate one-on-one semi structured interviews were held with all selection committee members. The first interview took place after the preselection of the candidates, but before the job interviews and the second interview took place after the whole procedure. Additionally, the decision-making group discussions were observed and recorded.

이러한 데이터 소스의 삼각 측량을 통해 프로세스에 대한 보다 상세하고 균형 잡힌 시각을 확보할 수 있었기 때문에 인터뷰, 순위, 관찰 결과를 분석에 결합했습니다. 
We combined interviews, rankings and observations in the analysis since triangulation of these data sources enabled a more detailed and balanced view on the process.

인터뷰
Interviews

일대일 인터뷰를 통해 선발 과정에 대한 위원들의 개별적인 견해를 살펴볼 수 있었으며, 참가자들이 위계적 영향 없이 자신의 견해를 자유롭게 표현할 수 있는 환경을 제공했습니다. 모든 인터뷰는 LG에서 진행했습니다. 반구조화 인터뷰의 핵심은 일반적인 인터뷰 가이드("부록")를 사용했지만, 새로운 인사이트, 새로운 관심 주제 또는 서로 다른 사례에 대해서는 조정이 허용되었습니다. 
The one-on-one interviews enabled us to explore the individual views of the committee members on the selection process and provided safety for the participants to express their own view without hierarchical influences. All interviews were conducted by LG. A general interview guide was used for the core of the semi-structured interviews (“Appendix”), but adjustments were allowed for new insights, emerging topics of interest or divergent cases.

선발 의사결정 그룹 토론
Selection decision-making group discussion

그룹 토론의 비디오 및 오디오 녹음은 그룹 의사결정 과정을 최소한으로 방해하지 않도록 설정되었습니다. 인터뷰를 수행한 동일한 연구원(LG)이 그룹 토론을 관찰했습니다. 이 연구에는 총 7.5시간의 관찰이 포함되었습니다. 관찰 노트를 작성하고 곧바로 자세한 설명으로 정리했습니다. 인터뷰와 그룹 토론 녹취록은 그대로 필사했습니다.
The video and audio recordings of the group discussions were set up to least interfere with the group decision-making process. The same researcher who conducted the interviews (LG), observed the group discussions. In total, this study includes 7.5 h of observation. Observational notes were made and worked up into detailed descriptions shortly after. Interviews and group discussion recordings were transcribed verbatim.

분석
Analysis

데이터 분석은 LG(의학 배경을 가진 네덜란드 백인 여성 박사과정 학생), KSJ(네덜란드 백인 여성 박사 후 교육 연구원으로 의과대학의 다양성 및 선발에 대한 전문성을 갖춘 연구자), LF(네덜란드 백인 여성 의학박사, 보건교육의 직장 내 학습에 대한 전문성을 갖춘 교육 연구원으로 박사 후 교육 연구원으로 활동 중인 연구자) 세 명의 연구자가 수행했습니다.
Data were analyzed by three researchers LG (female white Dutch Ph.D. student with a medical background), KSJ (female white Dutch post-doctoral educational researcher with expertise on diversity and selection in medical school) and LF (female white Dutch MD, post-doctoral educational researcher with expertise on workplace learning in health education).

녹취록은 King이 개발한 템플릿 분석 접근법에 따라 분석되었으며, 구성된 코딩 템플릿을 사용하여 주제 분석을 수행했습니다(King and Horrocks 2010). 연구 목표와 관련하여 그 중요성을 고려할 때 '다양성'이 선험적 주제로 선정되었습니다. 초기 코딩 프로세스에 따라 템플릿이 개발되었습니다. 이 템플릿은 후속 코딩 과정에서 더욱 발전되었고 데이터에 따라 지속적으로 비판적으로 검토되었습니다.
Transcripts were analyzed following the template analysis approach developed by King, entailing a thematic analysis using a constructed coding template (King and Horrocks 2010). Given its importance in respect to the research aims ‘diversity’ was an a priori theme. Following the initial coding process, a template was developed. This template was further developed in subsequent coding and continuously critically reviewed on accordance with the data.

데이터는 LG에서 코딩했으며, 필요한 경우 KSJ 및/또는 LF에서 논의 및 검토했습니다. 연구 결과는 레지던트 선발 절차에 관여하는 다른 두 명의 연구원(JdG, MdH)과 정기적으로 검토하고 논의했습니다. 그들의 관점은 우리의 연구 결과를 확인하고 우리의 결정을 정당화하기 위해 도전함으로써 프로세스에 대한 이해를 풍부하게 해주었습니다. 연구 기간 내내 우리는 우리의 배경, 관점, 편견이 연구 과정에 어느 정도 영향을 미쳤는지 정기적으로 고려했습니다. 템플릿의 구성을 투명하게 유지하기 위해 감사 추적을 생성했습니다. 연구 결과는 연구 참여자에게 피드백되어 이해를 더욱 최적화할 수 있었습니다. 분석 관리에는 AtlasTi 7.5가 사용되었습니다. 
The data were coded by LG and if necessary, discussed and reviewed by KSJ and/or LF. The findings were regularly reviewed and discussed with the two other researchers (JdG, MdH), both involved in resident selection procedures. Their perspective enriched our understanding of the process, by affirming our findings and challenging us to justify our decisions. Throughout the study we regularly considered to what extent our backgrounds, perspectives and possible biases influenced the research process. To keep the construction of the template transparent an audit trail was produced. Results were fed back to research participants in order to further optimize our understanding. AtlasTi 7.5 was used to manage the analysis.

분석 프레임워크
Analytic framework

우리는 의사결정 과정이 관련 전문가들의 해석과 의미 부여에 대한 협상을 통해 형성되는 역동적이고 새로운 사회적 과정이라고 가정합니다. 선발 위원들은 후보자에 대해 수집된 정보를 통합하여 정보에 입각한 결정을 내리려고 합니다. 따라서 정보를 받아들이고 처리하며 우선순위를 정하는 방식은 선발 과정의 핵심 요소입니다. 우리는 선발 위원들이 정보를 처리하는 방식에 따라 그들이 '능력merit'으로 인식하는 것을 구성한다고 주장합니다. Posselt(2016)의 추론과 유사하게, 우리는 지금까지의 업적과 인지된 잠재력에 대한 절대적인 척도가 아닌 상대적인 척도로서 장점에 접근했습니다. 능력merit은 선발 절차의 다른 후보자 또는 이전 및 향후 선발 절차의 후보자와 비교하여 평가됩니다. 이러한 장점은 특정 후보자 풀과 관련된 합격 가능성 평가입니다. 또한 특정 개인적 선호도를 가진 위원들로 구성된 선발위원회의 구성에 따라 달라질 수 있습니다.
We assume that the decision-making process is a dynamic and emergent social process, shaped by a negotiation of interpretations and meaning giving of the professionals involved. Selection committee members seek to incorporate the information gathered about candidates to make informed decisions. Therefore, the way of receiving, processing and prioritizing information is a key element in the selection process. We argue that by the way they handle the information, selection committees construct what they recognize as ‘merit’. Similar to Posselt’s (2016) reasoning, we approached merit as a relative measure rather than an absolute measure of achievements to date and perceived potential. Merit is assessed in comparison with the other candidates in the selection procedure, or even with candidates from previous and future selection procedures. As such merit is an admissibility assessment relative to a specific candidate pool. It also depends on the composition of the selection committee, composed of members with specific personal preferences.

이러한 추론에 따라 포셀트는 입학 기준의 명확한 단일 계층 구조가 존재하지 않는다고 추론합니다. 따라서 선발 위원회의 맥락에서 선발을 이해하는 것이 중요합니다(Posselt 2016). 
Following this reasoning, Posselt infers that there is not a clear single hierarchy of admission criteria. Therefore, it is important to understand selection within the context of the selection committees (Posselt 2016).

본 연구에서는 의도치 않게 다양성을 저해하는 메커니즘에 특히 주의를 기울여 실제 결정 과정에 초점을 맞췄습니다. 인터뷰에서 다양성에 명시적으로 초점을 두는 대신, 선발 위원회가 장점을 평가하기 위해 관련 정보로 인식하고 우선순위를 두는 것이 무엇인지, 그리고 최종적으로 의사 결정을 위해 이러한 정보를 어떻게 결합하고 해석하는지에 대해 탐구했습니다. 따라서 이러한 과정에서 URM 후보자를 배제할 수 있는 메커니즘을 파악하는 것을 목표로 삼았습니다. 
The main focus in our study was the actual decision process with specific attention towards mechanisms that unintentionally hinder diversity. Instead of putting explicit focus on diversity in our interviews, we explored what selection committees recognize and prioritize as relevant information to assess merit and how they eventually combine and interpret this information for the purpose of decision making. Thus, we aimed at identifying mechanisms in these processes which could exclude URM candidates.

앞서 언급했듯이 다양성이라는 선험적 코드가 하나 있었습니다. 우리는 오픈 코딩으로 시작했고, 그 결과 연구 질문에 답하는 데 필요한 것보다 더 광범위한 템플릿이 만들어졌습니다. 그런 다음, 구체적인 연구 질문에 답하는 데 필요한 템플릿의 요소들을 계속 추가했습니다. 데이터에서 도출된 세 가지 중요한 주제는 다음의 세 가지였다.

• (1) 이미지 형성,
• (2) 선발 위원회의 의사 결정,
• (3) 지원자가 레지던트에 입학하기까지의 복잡한 경로

이러한 주제를 좀 더 확대하면 관련된 긴장 관계가 드러났습니다. 또한 다양성을 별도의 테마로 유지했습니다.
As noted previously, we had one a priori code which was labelled diversity. We started with open coding, which resulted in a more extensive template than necessary to answer our research question. Next, we continued with those elements of the template needed for answering our specific research question. The three overarching themes arising from the data were

• (1) image creation,
• (2) decision-making of the selection committees, and
• (3) the complex route towards gaining entrance to residency for candidates.

Zooming in further on these themes revealed relevant areas of tension. Additionally, we kept diversity as a separate theme.

본 연구의 선발 절차는 모두 병원 기반 전문과목과 관련이 있습니다. 위원회의 구성은 표 1에 나와 있습니다. 6개 위원회 중 5개 위원회는 전문의 또는 레지던트 등 해당 전문 분야의 의사로만 구성되었습니다. 한 개의 선발 위원회에는 인적 자원 관리 전문가가 포함되었습니다. 총 75건의 인터뷰와 7건의 그룹 토론이 분석되었습니다. 기밀 유지를 위해 공개된 설명 정보는 제한적입니다.
The selection procedures in the present study all concerned hospital based specialties. Committees’ compositions are displayed in Table 1. Five of the six committees were fully composed of physicians within that specialty, i.e. either medical specialists or residents. One selection committee included a human resource management specialist. A total of 75 interviews and seven group discussions were analyzed. For the sake of confidentiality, the descriptive information disclosed is limited.

데이터 분석 결과, 레지던트 선발 의사결정 과정과 관련된 다양한 주제를 나타내는 복잡한 템플릿이 만들어졌습니다. 아래에서는 선발 위원회가 후보자의 장점을 어떻게 평가했는지를 보여주는 테마를 제시합니다. 이는 선발 위원회가 최상의 후보자를 식별하기 위해 후보자의 경험, 기술, 동기 부여 및 성격 특성을 명확하게 파악해야 하기 때문에 이해해야 할 사항입니다. 이 과정에서 선발 위원들은 이러한 기준에서 계층 구조를 협상해야 합니다. 이 계층 구조는 특정 선발 위원회가 장점의 구성 방식을 보여줍니다. 저희는 연구 목표와 가장 관련성이 높고 다양성의 제약을 가장 잘 보여주는 세 가지 주제를 고려했습니다. 이 주제들은 서로 연관되어 있지만, 명확성을 위해 별도로 설명합니다. 
Our data resulted in a complex template representing a diversity of themes involved in the process of residency selection decision-making. Below, we present themes which in our perspective reveal how the selection committees negotiated the candidates’ merit. This is relevant to understand since selection committees need to get a clear view on the candidates’ experience, skills, motivation and personality characteristics in order to be able to identify the best possible candidate. In this process selection committee members need to negotiate a hierarchy in these criteria. The hierarchy reveals how merit is constructed by this particular selection committee. We considered three themes as most relevant for our research goal and most illustrative of possible constraints for diversity. The themes are interrelated, but for the sake of clarity, we describe them separately.

인터뷰 또는 관찰에서 인용한 예시적인 내용은 표 2에 제시되어 있습니다.
Illustrative quotations from the interviews or observations are presented in Table 2.

주제 1: 진정성 있으면서도 게임의 규칙을 준수하기
Theme 1: Being authentic yet playing by the rules of the game

대부분의 선발 위원들은 면접에서 지원자가 정직하고 취약한 모습을 보이는 진정성을 높이 평가했습니다. 하지만 지원자가 게임의 규칙에 따라 플레이해야 하기 때문에 너무 솔직하면 부정적인 영향을 미칠 수 있습니다. '선택의 게임'에는 명시적인 규칙 외에도 지원자가 숙지하고 준수해야 하는 묵시적이고 암묵적인 규칙도 있습니다. 암묵적 규칙 중 하나는 올바른 방식으로 자신을 노출하는 것입니다. 이 중요한 자기표현은 사실 공식적인 선발 절차 이전에 이미 시작되며, 전문 분야마다 다른 방식으로 이루어질 수 있습니다. 일반적으로 임상실습이나 이전 (임상) 업무 또는 연구를 통해 후보자를 선발 위원들에게 알리고 인지도를 높일 수 있습니다. 보다 구체적인 전략은 지원 전에 프로그램 책임자와의 정보 제공 회의를 계획하거나 지역 전공의을 위해 조직된 활동에 참석하여 자신을 알리는 것입니다.
Most of the selection committee members highly valued authenticity; that is, candidates showing honesty and vulnerability in the job interview. Yet, being too honest might have a negative impact since candidates ought to play by the rules of the game. Besides explicit rules, the ‘selection game’ also knows implicit and tacit rules that candidates are expected to be familiar with and adhere to. One implicit rule is to expose yourself in the right way. This crucial self-representation actually already starts before the official selection procedure and might be achieved in different ways in the different specialties. Commonly, visibility is achieved through clerkships and or previous (clinical) work or research, which enable candidates to be seen and known by the selection committee members. A more specific strategy is putting oneself on the radar by planning an informative meeting with the program director before applying or by attending activities organized by and for the regional residents.

또 다른 암묵적 규칙은 특정 전문 분야를 향해 가는 구체적인 길을 가리키는데, 어떤 길은 다른 길보다 덜 의심받습니다. 이 길은 종종 의대를 졸업하기 전에 시작되며, 지원자의 이력 쌓아가기 활동을 의미합니다. 예를 들어, 지원자는 교육 병원에서 근무한 경력이 주는 이점을 알고 있어야 합니다. 교육 병원에서 근무했거나 현재도 근무하고 있는 지원자를 레지던트 수련 과정에 참여시키는 것은 선발 위원들의 이익에 부합하기 때문입니다.
Another implicit rule refers to the specific road taken towards a certain specialty; some roads are less questioned than others. This road, which often starts before finishing medical school, refers to CV building activities of a candidate. As an example, candidates should, be aware of the benefits of work experience in a teaching hospital: it is in the interest of selection committee members to get the candidate who has worked, or still works, at their institution into residency training.

또한 대부분의 선발 위원은 '정답'보다 정직한 답변을 더 중요하게 생각하지만, 일부 답변은 더 바람직한 것으로 보입니다. 지원자들은 적절한 타이밍에 진솔한 답변을 하면서도 게임의 규칙에 따라 계속 플레이해야 하는 미로를 헤쳐나가야 합니다. 기대되는 준비 수준에서도 비슷한 메커니즘이 나타납니다. 대부분의 선발위원은 지원자가 면접 질문에 대해 충분히 준비되어 있기를 기대하며, 준비가 부족해 보이는 지원자는 탈락시킵니다. 그러나 선발위원들은 리허설된 답변은 지원자의 진정성을 의심하게 만들기 때문에 싫어합니다. 일부 선발위원은 자신이 알고 있는 지원자(예: 병원에서 근무하는 지원자)의 면접 준비를 돕기도 합니다.
Furthermore, although most selection committee members claim to value an honest answer over the ‘right’ answer, some answers seem to be more desirable. Candidates have to navigate through a labyrinth by being authentic at the right times, yet being mindful to keep playing by the rules of the game. A similar mechanism is seen in the expected level of preparation. Most selection committee members expect the candidates to be prepared for questions of the job interview and disapprove of candidates who come across as not well prepared. Yet selection committee members dislike rehearsed answers, because it makes them question candidates’ authenticity. Some selection committee members help the candidates they are acquainted with (e.g. candidates working in their hospitals) in preparing the job interview.

주제 2: 눈에 띄면서도 적응하기
Theme 2: Standing out yet fitting in

유능한 지원자 중에서 가장 바람직한 지원자를 선발하는 것은 까다로운 작업입니다. 선발 위원들은 적합한 지원자가 넘쳐나면서 수년 동안 지원자에 대한 기대치가 높아진 것을 알고 있으며, 이는 자격 인플레이션과 유사한 메커니즘입니다. 선발 위원회는 후보자를 다른 지원자와 차별화할 수 있는 역량이나 특성을 찾으며, 이는 대부분 좋은 점으로 간주됩니다. 그럼에도 불구하고 그들은 그룹에 적합한 후보자를 높이 평가합니다. 따라서 후보자는 그룹에 잘 어울리면서도 그룹에서 돋보이는 것이 가장 이상적입니다. 눈에 띄는 것은 기존 레지던트 그룹 또는 더 크게는 전문 분야에 부가가치가 될 뿐만 아니라 독특한 특성을 보유하는 것으로 개념화됩니다. 눈에 띄는 것은 지원서, 이력서 또는 면접에서 억지스럽거나 진정성이 없어 보이지 않으면서도 흥미로운 프로필이나 독창성으로 나타날 수 있습니다.
Selecting the most desirable candidate out of a collection of talented candidates is a demanding task. Selection committee members recognize that the abundance of suitable candidates has raised their expectations of candidates over the years, a mechanism similar to credential-inflation. Selection committees look for competencies or characteristics that set candidates apart from the others, which most often is considered a good thing. Nevertheless, they highly value candidates that fit in the group. So ideally, a candidate fits in, yet stands out of the group as well. Standing out is conceptualized as possessing distinctive characteristics as well as being an added value to the existent residency group or, on a bigger scale, to the specialty. Standing out may manifest itself in an interesting profile or originality in the application letter, resume or job interview without being far-fetched or coming across as unauthentic.

잘 피팅한다fitting in는 것은 여러 수준에서 특정 레지던시 프로그램의 문화에 부합하는 것으로 개념화됩니다. 우선, 선발 위원회는 '호감'이 가는 지원자를 찾고 있습니다. 지원자의 특정 활동은 다른 지원자보다 선발 위원들에게 더 많은 공감을 불러일으킵니다. 둘째, 적응은 기존 전공의 그룹에 적응하는 것으로 개념화됩니다. 이 측면은 선발위원회에 속한 전공의들의 영향을 많이 받습니다. 놀랍게도 사회문화적으로 다양한 전공의 그룹이 있는 선정위원회에서도 다른 위원회와 마찬가지로 적응이 중요해 보였습니다.
Fitting in is conceptualized as fitting the culture of a particular residency program at several levels. First of all, selection committees are looking for candidates with whom they have a “click”. Particular activities of candidates resonate more with selection committees than others. Secondly, fitting in is conceptualized as fitting in the existing group of residents. This aspect is strongly influenced by residents in the selection committee. Remarkably, fitting in seemed just as important in the committee with a sociocultural diverse residency group as in the other committees.

자격을 갖춘 지원자가 많기 때문에 눈에 띄는 것은 쉽지 않습니다. 선발 위원회 위원들은 자신의 전문 분야에 진입하기 위한 기준이 높아진다는 것을 알고 있는 것 같습니다. 그럼에도 불구하고 가장 우수한 후보자를 선발하는 것을 최우선 과제로 삼고 있습니다. 선발 절차에서는 지원자의 인격과 의사로서의 자질을 모두 평가합니다. 흥미로운 점은 전공의 선발 위원회가 후보자를 평가할 때 좋은 의사라는 점 외에 후보자가 가진 잠재력에 더 중점을 두는 경향이 있다는 것입니다. 좋은 의사가 될 수 있는 잠재력을 갖추는 것은 전제 조건이지만 레지던트 자리를 얻기 위한 충분조건은 아닌 것 같습니다. 지원자를 거부하기 위해 제기된 논거 중 하나는 다음과 같습니다: "4년의 임상 경험이 있는 사람이라면 최소한 그 외에 다른 무언가가 더 있어야 합니다. 그 외에 무슨 경력이 더 있는지 모르겠고, 이력서도 없는데..." (그룹 토론)
Standing out is not easy, given the abundance of well qualified candidates. Selection committee members seem to be aware of the rising bar for entering their specialty. Still, their highest priority remains selecting the most excellent candidate. Both person and doctor features are assessed in the selection procedures. Interestingly, in their negotiation of merit selection committees tend to focus more on what candidates have to offer next to being a good doctor. Having the potential to become a good medical specialist seems to be a prerequisite, but not sufficient to obtain a residency position. One of the arguments raised to reject a candidate was: “If somebody has four years of clinical experience, he should at least have something extra besides that. I don’t know what extra he’s got besides that, no CV…” (Group discussion)

주제 3: 다양성을 대하는 자세
Theme 3: Stance towards diversity

후보자를 선정할 때 무엇이 중요하냐는 질문에 위원들은 후보자의 배경과 포부 모두에서 다양성을 자주 언급했습니다.
When asked what was important for them in selecting candidates, committee members frequently mentioned diversity, both in candidates’ backgrounds and ambitions.

그들은 그룹의 역동성과 균형에서 다양성의 부가적인 가치를 보고 있으며, 다양한 의사에 대한 사회적 필요성을 인식하고 있는 것 같습니다.
They see the additional value of diversity in the dynamics and balance of the group, and seem aware of the societal need for a diversity of doctors.

"지원서에서 저는 다양성을 매우 중요하게 생각합니다. 즉, 획일성을 원하지 않고 네덜란드에서는 획일성이 전혀 필요하지 않습니다.... ... ..... 물론 여기에는 # 레지던트들이 있고 그런 그룹의 분위기는 매우 중요하며, 누구를 채용하든 영향을 미칠 것이며, 결정적인 요소라고 말하지는 않겠지만 결국에는 두 후보자 중 하나를 선택할 수 있으며, 그렇지 않으면 팀에 추가 할 것으로 생각되는 후보자를 선택할 수 있습니다. 그리고 우리가 전에 이야기했던 이 다양성은 제가 찾고 있는 다양성이기도 하고, 가능하다면 인종적 다양성이기도 한데, 그게 좀 복잡하죠."
“With applications I very much look at, erm, diversity; that is, I don’t want uniformity, we don’t need uniformity at all in the Netherlands…. … ….. of course we have # residents here and the atmosphere in such a group is extremely important and, erm, whoever you take on will have an impact, and I won’t say it’s the decisive factor but at the end of the day it might decide the choice between two candidates, if there’s not much between them otherwise you might opt for a candidate who you think will add to the team. And this diversity, we talked about this before, is the diversity I am looking for also in, erm, ethnicity preferably, if at all possible, and that is well, that is complicated.”

다양성이 논의되자마자 그 반대급부로 그룹 내 분위기가 언급되는데, 이는 매우 중요하다고 주장됩니다. 그룹에 잘 맞는 사람을 찾으려는 강한 경향은 종종 유사성을 기반으로 하기 때문에 다양성을 저해할 가능성이 높습니다. 선발 위원회는 적합성에 대한 위험을 감수하는 데 신중한 태도를 보입니다. 다양성과 그룹 내 적합성을 대조함으로써 다양성을 그룹 내 적합성의 잠재적 위험으로 인식하는 것으로 보입니다.
As soon as diversity is discussed, the atmosphere in the group is mentioned as counterbalance, which is claimed to be extremely important. The strong tendency to look for someone who will fit in the group is likely to hinder diversity, since fit is often based on similarity. Selection committees appear cautious in taking risks regarding fitting in. By contrasting diversity and fitting in the group, they seem to perceive diversity as a potential risk for fitting in.

놀랍게도 다양성의 중요성을 언급한 거의 모든 위원들이 더 다양한 후보자를 기꺼이 선택하기 위해 충족해야 할 조건으로 동등한 적합성을 덧붙였습니다. 한 위원은 이렇게 설명합니다: "재미있는 점은 선발 위원들이 모두 남성이라는 점입니다. 예전에도 그랬고 지금도 그렇지만 대부분의 경우 여성은 한두 명 정도이고 우리가 뽑는 사람들은 대부분 여성입니다... ... 그리고 저는 항상 말하지만, 우리는 가장 좋은 사람을 선택하지만 동등한 적합성 등의 경우에는 그렇지 않다고 말합니다. 그렇기 때문에 특히 여기서 중요하다고 생각하는 다른 한 가지는 문화적 다양성에 대해 눈을 뜨는 것입니다. 백인 금발 여성도 있고, 유색인종도 한두 명 있고, 지난번에는 모로코 여자를 맡았어요. 확실히 머리 스카프는 없었지만 그녀는 ... 그리고 동등한 적합성을 가졌습니다. 이 역시 선택에 있어 중요한 요소입니다."
Remarkably, almost all committee members who mentioned the importance of diversity added a condition of equal suitability which has to be met in order to be willing to select the more diverse candidate. A committee member elaborates: “So the funny thing is, the selection committee we’re all men. Well that’s not really a good thing, is it, most of the time we do have one or two women here that was and not now and the people we take on are mostly women … … and I always say, we choose the best one but in the case of equal suitability and so on. That is why the other thing I think is important, especially here is that you keep your eyes open for cultural diversity. Hey, we’ve all got white blond women and we’ve got one or two with a color and last time we took on a Moroccan girl. Without a headscarf to be sure, but she … and then with equal suitability. That again is something that also plays a part in your selection.”

이 인용문에서 다양성은 다른 모든 측면이 동등한 가치로 간주될 때만 부가가치로 간주된다는 것을 알 수 있습니다. 최고를 선택하는 것이 최우선 과제인 것처럼 보이며, '최고'의 후보가 한 명도 없을 때만 다양성을 고려하게 됩니다. '최고'는 후보자의 역사적 배경이나 특권과 관계없이 가장 장점이 많은 사람으로 정의되는 것으로 보이며, 이는 이미 특권을 누리고 있는 사람들에게 더 유리할 수 있습니다. 
In this quote it becomes obvious that diversity is only seen as an added value if all other aspects are considered equal in merit. Choosing the best seems to be their first priority and only when there is no one “best” candidate, diversity will be considered. The “best” appears to be defined as the one having the most merit, regardless of a candidate’s historic context or privileges, which might further advantage those already privileged.

그럼에도 불구하고 이 인용문은 의학 전문 분야에 진출한 URM 의사가 있다는 것을 보여줍니다. 문제는 이러한 URM 의사가 전문과목에 들어가기 위해 어느 정도까지 조정해야 했는지, 그로 인해 잠재적 부가가치가 감소했는지에 대한 의문이 남습니다. 
Nevertheless, this quote shows that there are URM medical doctors who make it into the medical specialties. The question remains whether and to what extent these URM medical doctors had to adjust to get in, thereby possibly decreasing their potentially added values.

일부 선발위원회에서는 URM 후보자 중 일부만이 선발 절차에 지원했는데, 이는 일반적으로 후보자들의 직업 선호도가 다르기 때문이라고 지적했습니다. URM 후보자 수가 적은 이유에 대해 다른 설명도 제시되었지만, 대체로 후보자에게 책임을 묻는 경향이 강했습니다. 한 선발 위원은 이렇게 말했습니다:

• "아니요, 사실 많지 않아요, 많지 않아요, 정말 재밌네요.... 특히 기본 교육에서 대략적으로 추산하면 약 50%가 다른 출신origin이며, 우리는 그들이 여기에 나타나지 않는 것을 실제로 보지 못합니다. 어떤 이유에서든요. 나는 그것을 잘 파악하지 못했기 때문에 그것은 많지 않습니다. .... 가끔 전공의들과 함께 있으면 물론 같은 전공의들을 볼 수 있습니다. 하지만 전문 분야로 나아가고 싶다는 분명한 포부를 갖고 이를 위한 조치를 취하는 경우는 거의 없습니다. ...아니면 여전히 GP를 선호하거나. 다른 과목이라면 모르겠지만 ..... 그러나 상당수는 서투르거나 어떤 식 으로든 뒤쳐져 있거나 충분히 열심히 싸우지 않습니다. 그러나 어쨌든 그들은 이력서 등으로 인해 이미 거부당하는 경우가 많습니다. 어쨌든 그들은 다른 사람들만큼 뛰어나지 않습니다."

Some selection committees noticed that only few URM candidates applied for their selection procedures, which was commonly attributed to different career preferences of these candidates. Although other explanations were offered for the lower number of URM candidates, the general tendency was to hold candidates accountable. A selection committee member said:

• “No, not a lot, no not a lot in fact and that’s funny really …. Especially here at the basic training some 50%, rough estimate, is of a different origin and we don’t really see them show up here. For whatever reason. I haven’t quite figured it out, so that’s not a lot. …. Sometimes with the residents you do see of course for they’re the same ones. And still you pretty rarely see a clear ambition to move on then to our specialty and taking action to facilitate that. …Or they still prefer GP medicine. I don’t know, if other subjects ….. But quite a few are clumsy or are lagging behind in some way or don’t fight hard enough. But in any case, quite often they’re already rejected because of their CVs and things like that. At any rate they’re not as good as others.”

이 선발 위원은 의대 재학 중에 명확한 포부를 갖고 이를 실현하기 위해 이미 행동을 취해야 한다고 강조합니다. 이러한 행동 중 일부는 매우 명시적일 수 있지만, 특정 전문 분야로 가는 길에 도움이 될 행동은 종종 암시적입니다. 이러한 암묵적인 규칙을 알기 위해서는 지원자에게 게임의 규칙을 설명해 주거나 길을 안내해 줄 사회적 자본이 필요합니다.
This selection committee member emphasizes the need to have a clear ambition and to already take action to realize it during medical school. While some of these actions may be quite explicit, those which will help along the road to a certain specialty are often implicit. In order to get to know these implicit rules, candidates need social capital; someone who will explain the rules of the game or show them the way.

이 탐색적 연구에서는 실제 레지던트 선발 위원회의 의사결정 과정을 연구했으며, 여기에는 의도하지 않은 잠재적, 추가적 장벽이 URM 후보자에게 미치는 영향도 포함되었습니다. 연구 결과,

• 지원자들은 게임 플레이와 진정성, 적응과 눈에 띄는 것 사이에서 균형을 잡아야 하기 때문에 자신을 호의적으로 표현하는 데 어려움을 겪는 것으로 나타났습니다.
• 지원자는 면접에서 진정성 있게 행동하는 동시에 게임의 암묵적인 규칙에 따라 플레이해야 합니다.
• 또한 지원자는 현재 레지던트 그룹에 대한 자신의 부가가치를 고려하여 후보자 풀에서 돋보이면서도 이 그룹에 잘 어울려야 합니다.
• 후보자가 많으면 선발 기준과 관련하여 자격 요건이 인플레이션되는 메커니즘이 생깁니다. 선발 위원회 위원들은 우수성을 찾고 있으며, 종종 의사로서의 특징보다는 지원자 개인의 특징에서 우수성을 구성합니다. 

In this explorative study, we studied the decision-making process of residency selection committees in actual practice, including potential, unintended, additional barriers for URM candidates.

• We showed that candidates struggle to portray themselves favorably as they have to balance between playing the game and being authentic, and between fitting in and standing out.
• Candidates are expected to behave authentically in interviews, meanwhile playing by the implicit rules of the game.
• Additionally, candidates are expected to stand out of the candidate pool regarding their added value to the current residency group, yet they should also fit in this group.
• The abundance of candidates creates a mechanism of credential inflation with regard to the selection criteria. Selection committee members are looking for excellence, and often construct excellence in person features rather than doctor features.

또한 게임 플레이와 진정성, 어울림과 돋보임 사이에서 균형을 유지하면서 URM 후보자에게 추가적인 장애물을 초래할 수 있는 의도하지 않은 메커니즘에 대해서도 강조했습니다. 앞서 언급한 바와 같이, 

• 어울리기fitting in는 유사성에 기반할 가능성이 높다는 함정이 있습니다(Rivera 2012). 
• 또한 규칙이 암묵적이고 규칙에 익숙해지기 위해 사회적 자본이 필요한 경우가 많기 때문에 규칙에 따라 게임을 플레이하는 것이 URM 후보자에게는 더 문제가 될 수 있습니다. 
• 마지막으로, 특권의 차이가 존재할 수 있습니다. 후보자는 특정 사회적 범주에 속한다는 이유로 다른 후보자보다 유리할 수 있습니다. 

선발 위원회는 다양성을 추구한다고 주장하지만, 동시에 그들의 관행과 절차가 실제로 URM 후보자를 채용하는 데 방해가 되는 것으로 보입니다.
We also highlighted unintended mechanisms that may lead to additional hurdles for URM candidates, while balancing between playing the game and being authentic, and between fitting in and standing out.

• As mentioned before, fitting in has the pitfall to be highly based on similarity (Rivera 2012).
• Furthermore, playing the game by the rules may be more problematic for URM candidates, since the rules are implicit and often require social capital to become familiar with them.
• Finally, differences in privilege may exist; candidates may have an advantage over others on account of being member of a particular social category.

Selection committees claim to look for diversity, but at the same time their practices and procedures seem to hinder them in actually hiring URM candidates.

우리 연구에 따르면 위원회 위원들은 유사성 편향의 희생양이 되는 것으로 나타났습니다(McPherson 외. 2001; Orpen 1984). 선발 위원회는 최고의 후보자를 선발하기 위해 실제로 자신이 이해할 수 있고, 흥미를 느끼거나, 유쾌한 동료처럼 보이고, 그룹에 가장 잘 맞는 후보자를 선발하고 있습니다. 이는 레지던트 선발이라는 고부담 결정에서 위험을 회피하는 행동으로 볼 수 있습니다. 이들은 자신과 매우 유사하게 생각하고, 느끼고, 행동하기 때문에 행동을 예측할 수 있는 후보자를 선택합니다. 훌륭한 의사가 될 수 있는 잠재력을 가진 지원자가 많기 때문에 채용 결정이 업무 관련 기준에 따라 이루어지는 경우는 거의 없습니다. 이는 유사성 편향을 지속시킬 수 있는 다른 주장에 대한 여지를 더 많이 남깁니다. 
In our study, committee members apparently fall prey to similarity bias (McPherson et al. 2001; Orpen 1984). In their attempt to select the best candidate, selection committees are actually selecting candidates whose choices they can understand, whom they find interesting, or who seem like pleasant colleagues and fit the group best. This could be seen as risk-aversive behaviour in the high-stakes decision of selecting for residency. They choose candidates whose behavior they can presumably predict because these candidates think, feel and act very similarly to themselves. Given the many candidates with the potential to become a good doctor, hiring decisions are rarely based on task-related criteria. This leaves more room for other arguments, which might perpetuate similarity bias.

본 연구 결과는 Razack 등(2015)이 확인한 능력주의 담론이 졸업후교육 의학교육에도 존재한다는 것을 시사합니다. 현재 선발의 가장 중요한 목표는 "최고"를 선발하는 것으로 보이며, 이는 현재의 인력 불균형에 기여하거나 유지할 수 있습니다. 최고를 선발하는 것은 환자 치료 외에 다른 분야(예: 연구나 경영에 대한 야망)에 대한 높은 야망을 선호하는 것을 조장하는 것으로 보이지만, 우리는 의료 분야에서 선발의 목표는 사회적 요구를 충족하는 의료 인력을 양성하는 것이어야 한다고 주장합니다. 연구나 경영에 대한 높은 야망에 지나치게 초점을 맞추면 미래의 의사들이 이러한 야망을 쉽게 이룰 수 있는 학계나 대형 병원에서 일할 수 있는 직업을 과도하게 선택할 수 있습니다. 이는 현재 소규모 병원, 특히 지방의 의료 전문가 부족 문제를 더욱 심화시킬 수 있습니다(Rabinowitz 외. 2008).
The findings of our study suggest that the meritocratic discourse identified by Razack et al. (2015) is also present in postgraduate medical education. Currently, the most important goal of selection seems to be selecting “the best”, which might contribute to or maintain the current workforce imbalance. Selecting the best seems to foster favoring high ambitions besides patient care (e.g. having ambitions in research or management), whereas we would argue that in healthcare the aim of selection should be to create a medical workforce that fulfils societal needs. An excessive focus on high ambitions in research or management might lead to overselecting future doctors for jobs in academia and large hospitals, where these ambitions can easier be fulfilled. This potentially adds to the current shortage of medical specialists in smaller hospitals, especially in rural areas (Rabinowitz et al. 2008).

또 다른 주목할 만한 발견은 공정하고 차별적이지 않아야 한다는 선발 위원들의 신념이 실제로는 불평등한 관행을 정당화할 수 있다는 것입니다. 이들은 협상된 장점 구성에 따라 후보자들을 평가하고 동등한 기준에 따라 최고를 선택하려고 합니다. 암묵적으로 능력merit을 정적이고 절대적이며 공정한 평가로 간주함으로써 불평등한 결과에 대한 책임을 지원자에게 돌리는 것입니다. 실제로 경력 경로의 잠재적 장벽을 고려하지 않으면 입학 절차가 특정 그룹에 불이익을 줄 수 있습니다. 레지던트를 향한 가장 바람직한 경력 경로는 장점과 우수성에 대한 맥락화된 아이디어를 바탕으로 구축되며, 암묵적이고 암묵적이기 때문에 '내부자'만이 알 수 있습니다(Razack 외. 2015). '내부자'가 되거나 내부 정보를 얻기 위해서는 사회적 관계, 즉 사회적 자본이 매우 중요합니다(부르디외 1986). 이러한 현상은 의학 졸업후교육 환경에서 아직 설명되지 않았지만, 독특한 현상은 아닙니다. 학계와 의과대학 선택과 같은 다양한 맥락에서 유사한 결과가 발견되었습니다(Van den Brink 2010; Razack 외. 2015; Wright 2015).
Another remarkable finding is that selection committee members’ beliefs of being fair and non-discriminatory might actually justify inequitable practices. They try to weigh the candidates based on their negotiated construction of merit, and choose the best on the basis of equal criteria. By implicitly taking merit as a static, absolute, and fair assessment, they bounce the responsibility for unequal outcomes back to the candidates. In fact, the admission procedure might disadvantage certain groups if potential barriers on their career paths are not taken into account. The most desirable career path towards residency, built on contextualised ideas of merit and excellence, is implicit and tacit and thus only known to “insiders” (Razack et al. 2015). Social connections, and thus one’s social capital, are crucial to become “an insider” or to gain inside information (Bourdieu 1986). Although this phenomenon has not yet been described in the postgraduate medical setting, it is not unique. Similar results have been found in different contexts, such as academia and in medical school selection (Van den Brink 2010; Razack et al. 2015; Wright 2015).

이 연구의 중요한 실무적 시사점은 선발 위원회가 모든 후보자를 동일한 잣대로 측정하는 것이 실제로는 공정하지 않을 수 있다는 점을 인식해야 한다는 것입니다. 형평성의 관점에서 선발하려면 지금까지의 경력 경로에서 기회의 차이를 인정하는 보다 총체적이고 맥락에 맞는 접근 방식이 필요합니다. 동시에 의사의 전체 경력 경로에서 포용성과 소속감에도 주의를 기울여야 합니다. URM 의사가 소속감을 느끼지 못하거나 소속감을 갖기 위해 자신의 진정성을 타협해야 한다고 생각한다면 우리는 다양성을 최대한 누릴 수 없을 것입니다(Sherbin and Rashid 2017).
An important practical implication of our study is that selection committees should be aware that measuring all candidates to the same yardstick might actually not be that fair. Selecting from an equity point of view requires a more holistic and contextualized approach, in which we acknowledge differences in chances in the career path so far. Simultaneously, attention should be given to inclusiveness and belonging along the whole career path of a medical doctor. We will never enjoy diversity to its full potential, when URM doctors feel that they do not belong or should compromise their authenticity in order to belong (Sherbin and Rashid 2017).

이 연구는 선발 위원회가 무의식적으로 선발 절차에 장벽을 만들어 URM 인재를 의료 인력에 포함시키지 못하게 하는 방법을 보여줍니다. 이러한 현상은 후보자의 특성과 지식을 파악하여 '최적의 편견 없는 결정'을 내리는 단계적 과정으로서의 선발 개념에 대한 비판적 수정을 요구합니다. 이 과정과 선발자 자체가 이 현상의 중요한 행위자입니다. 따라서 우리는 이 문제에 대한 가치 있는 심리측정 연구 외에도 선발위원들이 (무의식적으로) 어떤 방식으로 장점을 구성하여 장벽을 높이는지 더 심층적으로 살펴봐야 한다고 주장합니다. 이러한 분석을 바탕으로 선발의 목표를 최고 지원자의 임의적인 선발에서 의료 인력을 위한 선발로 전환하는 데 초점을 맞춘 개입을 설계할 수 있습니다.
This study shows how selection committees unconsciously construct barriers in their selection procedures, which keep them from including URM talents in our medical workforce. This phenomenon calls for a critical revision of our notion of selection as a step-by-step process of uncovering candidates’ characteristics and knowledge leading to an ‘optimal and unbiased decision’. The process and the selectors themselves are important actors in this phenomenon. We therefore argue that besides the valuable psychometric research on this matter, we should look more in-depth at how selection committee members (unconsciously) raise barriers through their construction of merit. Based on such analyses interventions could be designed, focused on shifting the goal of selection from selecting the arbitrary best towards selecting for the workforce.

질적 설계를 통해 삼각 측량이 가능한 다양한 정보 소스를 통해 상당한 양의 경험적 데이터를 살펴볼 수 있었습니다. 연구 결과의 이전 가능성과 관련하여, 확인된 관행은 궁극적으로 네덜란드의 졸업후교육생 선발의 맥락에서 이해되어야 합니다. 독자가 이 연구의 다른 맥락으로의 이전 가능성과 관련성을 평가할 수 있도록 필요한 정보를 제공하기 위해, 우리는 네덜란드의 맥락에 대한 자세한 설명을 제공하고 이전 문헌에 비추어 연구 결과를 논의했습니다. 몇 가지 제한 사항을 고려해야 합니다. 첫째, 저희는 병원 기반의 경쟁력 있는 전문 분야만 포함했습니다. 이러한 전문과목을 의식적으로 선택했지만, 이는 경쟁이 덜 치열한 전문과목의 선발 절차에 대한 전이성에 의문을 제기할 수 있습니다. 둘째, 실제 진료과를 포함하고 이러한 진료과에 최소한의 영향을 미치는 것을 우선순위로 삼았다는 것이 우리의 강점이지만, 예를 들어 그룹 토론에 연구자가 참석하여 진료과에 영향을 미쳤을 가능성을 배제할 수 없습니다. 
Our qualitative design allowed us to look at a considerable amount of empirical data, with different sources of information allowing triangulation. With respect to the transferability of our findings, the identified practices ultimately must be understood in the context of postgraduate selection in the Netherlands. With the aim to provide the reader with the necessary information to be able to evaluate the transferability and relevance of this work to other contexts, we provided a detailed description of the Dutch context and discussed our findings in the light of previous literature. Some limitations should be taken into account. First, we only included hospital-based competitive specialties. Although we consciously chose for these specialties, this might question transferability to selection procedures of less competitive specialties. Second, although our strength is that we included actual practices and our priority was to have a minimal influence on these practices, it cannot be ruled out that, for example, the presence of a researcher at the group discussion influenced the practice.

네덜란드의 레지던트 선발 의사 결정에 대한 연구를 바탕으로, 우리는 선발 위원회가 최고의 후보자를 찾기 위한 헌신으로 인해 거의 불가능한 좋은 자질들의 조합으로 장점을 구성한다고 주장합니다. 역설적인 조합과 모호하고 암묵적인 커리어 맵은 모든 지원자가 레지던트 자리를 얻는 것을 어렵게 만듭니다. 아마도 URM 후보자가 자신을 원하는 후보자로 전달하는 것은 훨씬 더 복잡 할 것입니다. 특히 졸업후교육생 선발에만 초점을 맞추고 파이프라인의 다른 누수를 무시하는 경우 선발 수준에서의 개입만으로는 원하는 변화를 가져올 가능성이 낮습니다. 의과대학과 의학전문졸업후교육 교육에서 포용성을 향한 동시적 개입은 원하는 변화를 이끌어내는 데 매우 중요합니다. 선발 위원회의 경우, 선발 결정 과정에서 위원들의 중요한 역할에 대한 인식을 높이고, 무엇이 능력으로 인식되는지에 대해 비판적인 대화를 나누고, 선발의 목적을 비판적으로 평가할 수 있도록 개입할 수 있습니다. 선발에 대한 연구는 현재의 선발 도구가 실제로 의사 결정에 어떻게 사용되는지에 대한 연구로 확장되어야 합니다. 현재의 선발 의사결정 관행에서 다양성을 가로막는 의도치 않은 장벽을 찾아내야 합니다.
Based on our study of residency selection decision-making in the Netherlands, we argue that selection committees, led by their dedication to look for the best candidates, construct merit as nearly impossible combinations of good qualities. Paradoxical combinations and the fuzzy and tacit career map make it difficult for all candidates to obtain a residency position. Probably, it is even more complicated for URM candidates to convey themselves as the desired candidate. Interventions at the level of selection alone are unlikely to bring about the desired change, particularly if these are solely focused on postgraduate selection and ignore the other leakages along the pipeline. Simultaneous interventions towards inclusivity in medical school and postgraduate medical education are crucial in enabling the desired change. For selection committees, interventions could be sought in developing more awareness of the crucial roles of committee members in the selection decision making processes, having critical dialogues on what is perceived as merit and critically evaluating the purpose of selection. Research on selection should be extended with research on how current selection tools are actually used in decision-making. Our advice is to look for unintentional barriers for diversity in our current selection decision making practices.

1Institute of Medical Education Research Rotterdam (iMERR), Room Ae-227, Erasmus MC, Postbus 2040, 3000 CA, Rotterdam, The Netherlands. L.Gennissen@erasmusmc.nl.

2Institute of Medical Education Research Rotterdam (iMERR), Room Ae-227, Erasmus MC, Postbus 2040, 3000 CA, Rotterdam, The Netherlands.

3Radboud UMC, Nijmegen, The Netherlands.

4Department of Internal Medicine at Radboud UMC, Nijmegen, The Netherlands.

5Center on Research in Learning and Education, Radboud University Medical Center Health Academy, Nijmegen, The Netherlands.

6Department of Pediatrics at Erasmus MC, Rotterdam, The Netherlands.

The diversity of modern society is often not represented in the medical workforce. This might be partly due to selection practices. We need to better understand decision-making processes by selection committees in order to improve selection procedures with regard to diversity. This paper reports on a qualitative study with a socio-constructivist perspective conducted in 2015 that explored how residency selection decision-making occurred within four specialties in two regions in the Netherlands. Data included transcripts of the decision-making meetings and of one-on-one interviews with committee members before and after the group decision-making meetings. Candidates struggled to portray themselves favorably as they had to balance playing by the rules and being authentic; between fitting in and standing out. Although admissions committees had a welcoming stance to diversity, their practices were unintentionally preventing them from hiring underrepresented minority (URM) candidates. While negotiating admissions is difficult for all candidates, it is presumably even more complicated for URM candidates. This seems to be having a negative influence on attaining workforce diversity. Current beliefs, which make committees mistakenly feel they are acting fairly, might actually justify biased practices. Awareness of the role of committee members in these processes is an essential first step.

피드백은 혁신적인 변화를 통해 학습자를 지원할 수 있는 잠재력을 가지고 있습니다[1, 2]. 효과적일 경우 학업 성취도를 향상하고 학습을 촉진하는 데 가장 영향력 있는 요소 중 하나입니다[3]. 그러나 피드백 및 피드백 프로세스는 다양하게 해석되고[4], 제대로 실행되지 않는 등 발달 계획에 따른 명시적인 메시지가 전달되지 않습니다[5]. 고등교육 학습자들은 피드백을 중요하게 생각하지만, 피드백에 대한 불만을 지속적으로 전달하고[6], 피드백을 사용하지 않는 경우도 많습니다[7,8,9,10].
Feedback has potential to support learners through transformational change [1, 2]. When effective, it is one of the most influential factors in improving academic achievement and promoting learning [3]. However, feedback and feedback processes are variably interpreted [4] and poorly executed, i.e. explicit messaging with developmental planning does not occur [5]. While learners in higher education value feedback, they also consistently communicate dissatisfaction with feedback [6], and frequently do not use it [7,8,9,10].

문헌에서는 전통적으로 교사 중심의 단방향 피드백이 보고되어 왔으며, 이는 보건 전문 교육에서 재개념화되었습니다[11, 12]. 이제 학습자는 자신의 개발 계획에 협력하는 능동적인 참여자로 간주됩니다. 피드백 수용에 대한 이러한 재조명은 학습자의 능동적 수용의 속성을 성공의 기본으로 확인했습니다: SAGE(자기 평가, 평가 리터러시, 목표 설정 및 자기 조절, 참여 및 동기 부여). 피드백 리터러시는 "정보를 이해하고 이를 업무 또는 학습 전략을 개선하는 데 사용하는 데 필요한 이해, 역량 및 성향"으로 정의되며, 학습자가 피드백을 이해하고 실행하는 데 참여하고 유능한 사람으로 자리매김합니다[13]. 
Literature has traditionally reported teacher-centred unidirectional feedback, which has been reconceptualised in health professional education [11, 12]. Learners are now considered active participants who collaborate in their developmental planning. This re-focus on feedback uptake has identified attributes of learner proactive recipience as fundamental to its success: SAGE (self-assessment, assessment literacy, goal-setting and self-regulation, engagement and motivation). Feedback literacy, defined as “the understandings, capacities and dispositions needed to make sense of information and use it to enhance work or learning strategies”, positions the learner as engaged and competent in making sense of, and implementing feedback [13].

자기조절 학습(SRL) 이론은 심리학, 교육학, 사회학에서 유래한 잘 정립된 이론입니다. 이는 목표 설정, 전략 선택, 비용과 효과의 균형, 행동 모니터링, 적응 및 수정이 특징인 과제에 참여하는 스타일입니다. 인지적, 메타인지적, 행동적, 동기적, 정서적 영향과 함께 학습에 대한 총체적인 이해를 제안합니다. SRL의 주요 측면에는 기존의 지식과 신념을 활용하고 그에 따라 재조정하기 위해 결과를 모니터링하는 능동적 학습자가 포함됩니다 [14]. 따라서 학습자가 피드백과 같은 학습 정보를 어떻게 받아들이는지 이해하는 데 유용한 모델입니다.
Self-regulatory learning (SRL) theory is a well-established theory with origins in psychology, education and sociology. It is a style of engaging with tasks which is characterised by setting goals, selecting strategies, balancing cost and effect, monitoring, adapting and amending behaviours. It proposes a holistic understanding of learning, with cognitive, metacognitive, behavioural, motivational and emotional influences. Key aspects of SRL include active learners who draw on existing knowledge and beliefs and monitor outcomes to recalibrate accordingly [14]. It is therefore a helpful model to understand how learners take up learning information such as feedback.

다양한 SRL 모델이 존재하며, 본 연구에서는 세 가지 주요 모델에서 강조되는 공통된 개념을 사용합니다[15,16,17].

• 첫째, SRL은 맥락에 중점을 둔 상황 중심 학습 접근 방식을 취합니다. 이는 피드백 반응이 발생하는 맥락과 분리될 수 없다는 기존의 연구 결과와 일치합니다[18].
• 둘째, 자기조절은 목표 지향성을 특징으로 하며, 현대 교육은 학습 이득을 위한 변화에 영향을 미치는 피드백에 중점을 둡니다. "루프 닫기"는 적극적인 피드백을 통해 학습자의 현재 수준에서 더 높은 수준으로 이동하는 것을 의미합니다[19]. '변화를 위한 코칭'은 피드백 대화의 R2C2 모델과 관련이 있으며, 코칭은 합의된 개발 계획을 도출하는 협력적인 양방향 피드백 상호 작용의 일부입니다[20].
• SRL은 학습 정보에 대한 학습자의 행동 변화가 학습자의 동기 및 인지와 관련이 있다는 점을 강조합니다. 피드백 반응은 종종 성장 마인드를 가진 동기 부여와 이를 실행하기 위한 인지 능력 적용과 연결됩니다[21].
• 또 다른 주요 특징은 자기조절 학습자가 학습 전략을 지속적으로 점검하고, 재조정하고, 조정하는 재귀적 특성입니다.
• 마지막으로, 반복할 때마다 다른 맥락에 따라 변화하는 역동적인 과정입니다. 

A number of SRL models exist; this study will employ the shared concepts emphasised across three seminal models [15,16,17].

• Firstly, SRL takes a situated learning approach with an emphasis on context. This aligns with established findings that feedback responses cannot be separated from the context in which they occur [18].
• Secondly, self-regulation is characterised by goal-directedness, with contemporary teaching focussing on feedback that effects change for learning gain. “Closing the loop” describes moving from the learner’s current standard to a higher level via actively implementing feedback [19]. “Coaching for change” relates to the R2C2 model of feedback conversations, whereby coaching is part of a collaborative bi-directional feedback interaction resulting in an agreed developmental plan [20].
• SRL emphasises that learner’s behavioural changes in response to learning information relate to their motivations and cognition. Feedback responses are often linked to motivation with a growth mind-set and applying cognitive ability to implement it [21].
• Another key feature is its recursive nature: the self-regulated learner constantly checks, re-calibrates and tweaks learning strategies.
• Finally, it is a dynamic process which alters with each iteration and with differing contexts.

능동적으로 피드백을 받는 학습자는 학습자의 참여와 피드백 수용에 필요한 요소에 대한 이해를 발전시켜 왔습니다. 피드백 리터러시는 이를 바탕으로 학습자가 피드백을 사용하는 행위에서 중심을 잡을 수 있도록 합니다. 자기조절학습(SRL) 이론은 주어진 피드백 상호작용에서 학습자에게 나타나는 역동적인 전략을 탐구할 수 있는 또 다른 렌즈를 제공합니다. 이 이론은 이러한 개념의 측면을 하나의 프레임워크 아래에 통합합니다. SAGE 분류법(자기 평가, 평가 리터러시, 자기 조절, 참여 및 동기 부여)은 능동적인 피드백을 받기 위해 자기 효능감과 열정이 필요함을 나타내며, 이는 자기 신념과 동기가 학습 정보(예: 피드백)가 향후 학습에서 구현되는 방식에 영향을 미친다는 SRL의 주장과 유사합니다. 피드백 리터러시에서 '판단하기'와 '감정 관리하기'의 개념은 각각 메타인지 인식 및 정서 조절의 SRL 측면과 겹칩니다. 따라서 SRL은 이러한 모든 요소가 전체론적 접근 방식과 어떻게 상호 작용하는지 고려하는 중요한 프레임워크로 유용할 수 있습니다.
Proactive recipience has developed understanding of the factors required for learner engagement and uptake of feedback. Feedback literacy builds on this in centring the learner in the act of using feedback. Self-regulated learning (SRL) theory offers another lens to delve in to the dynamic strategies that play out in the learner in any given feedback interaction. It brings together aspects of these concepts under one framework. The SAGE taxonomy (self-assessment, assessment literacy, self-regulation, engagement and motivation) indicates self-efficacy and enthusiasm are needed to for proactive feedback recipience, which parallels SRL’s assertion that self-belief and motivation influence how learning information (such as feedback) is implemented in future learning. The concepts of “making judgments” and “managing emotions” in feedback literacy overlap with SRL aspects of metacognitive awareness and affective regulation, respectively. SRL may be useful therefore as an overarching framework to consider how all these factors interact with a holistic approach.

SRL의 렌즈를 적용하여 자기조절 활동이 학습 개선을 위한 피드백 통합과 어떻게 상호작용하는지 살펴보고자 합니다. 이를 위해 정서적, 인지적, 행동적, 상황적 요인 간에 상호 작용하는 하위 프로세스를 조사하고자 합니다. 이를 통해 피드백이 SRL을 활성화하는지 여부와 방법, 그리고 어느 하위 영역에서 피드백이 상호 작용하는지를 고려할 수 있습니다. 이것이 바로 우리의 연구 질문입니다: 
By applying the lens of SRL, we aim to explore how self-regulatory activity interacts with incorporating feedback for improved learning. We aim to examine sub-processes that interact between affective, cognitive, behavioural and contextual factors. It allows us to consider the feedback interaction in terms of if and how it activates SRL, and at which sub-areas. Hence our research question:

학습자의 피드백 경험은 학습의 자기 조절과 어떤 관련이 있나요?
In what ways do learners’ experiences of feedback relate to self-regulation of learning?

연구 설계 및 방법론적 방향
Study design and methodological orientation

이 연구는 피드백을 참여자, 상황 및 환경적 요인에 의해 구성되는 사회적 행위로 개념화하는 상대주의적 존재론[22]에서 접근했습니다.

• 피드백은 개인과 특정 상황(예: 성적, 대면 평가, 서면 보고서)에 따라 의미가 달라지는 역동적인 개념으로 간주합니다.

피드백에 관한 연구자의 인식론은 사회구성주의적 관점으로,

• 피드백이 의미하는 바는 피드백 활동에 참여하는 사람들의 가치와 신념의 표현이며 특정한 문화적, 사회적 맥락에 내재되어 있습니다.

우리의 방법론적 접근은 의대생들의 생생한 피드백 경험을 해석하는 데 있어 질적 방법을 사용한 탐색적 접근입니다.

• 이 연구는 질적 연구 보고를 위한 통합 기준(COREQ)에 따라 보고되었습니다(부록 B)[23]. 

This study was approached from a relativist ontology [22], where feedback is conceptualised as a social act, constructed by participants, circumstance and environmental factors.

• We consider feedback a dynamic concept which changes meaning depending on the individual and their particular context, e.g. grades, face-to-face appraisals, written reports.

The researcher epistemology regarding feedback is socio-constructivist;

• what feedback means is an expression of the values and beliefs of the participants in the feedback activity and are embedded in the specific cultural and social context.

Our methodological approach is exploratory using qualitative methods in interpreting the lived experience of feedback for medical students.

• This study is reported in accordance with the consolidated criteria for reporting qualitative research (COREQ) (Appendix B) [23].

참여자
Participants

이 연구는 아일랜드 왕립 외과의과대학(RCSI) 의과대학 및 보건과학대학의 의대 4학년 학생을 대상으로 수행되었습니다. 아일랜드, 바레인, 말레이시아의 3개 캠퍼스에서 학생들을 초대하여 참여하게 했습니다. 모든 학생들은 연구 배경과 연구 질문을 설명하는 프레젠테이션을 통해 연구에 대해 소개받았습니다. 각 연구 연도에 대한 평가 및 피드백 정보는 제공되었지만 피드백 사용 방법에 대한 직접적인 교육은 제공되지 않았습니다. 
This study was undertaken with final-year medical students in the RCSI (Royal College of Surgeons in Ireland) University of Medicine and Health Sciences. Student participants from the three campuses in Ireland, Bahrain and Malaysia were invited to participate. All students were introduced to the study with a presentation explaining background to the study and research questions. They are provided with assessment and feedback information for each year of study, but not provided with directed training on how to use feedback.

연구자
Researchers

MS는 의대 졸업반 학생들과 정기적으로 피드백을 주고받는 선임 강사입니다. TP는 보건 전문직 교육 센터의 명예 교수입니다. MS와 TP는 피드백 연구에 참여하고 있으며 피드백 반응에 대한 체계적인 리뷰를 발표했습니다. JL과 MHJ는 학부 교육에 관여하지 않는 기관의 연구원입니다. 일부 저자(SCL, SM, TP, MS, TP)는 교육에 관여하고 있지만, 각 기관의 면접관(JL-아일랜드, MS-바레인, MHJ-말레이시아)은 대인관계 반사성의 원칙과 참가자에게 영향을 미칠 수 있는 힘의 역학을 인식하여 학생 평가 및 학습에 관여하지 않았습니다[24]. 팀 토론을 통해 다양한 내러티브가 해석에 반영될 수 있었습니다 [25, 26]. 
MS is a senior lecturer who regularly engages in feedback with the final-year medical students. TP is professor emerita of the Health Professions Education Centre. MS and TP are involved in feedback research and have published a systematic review on feedback responses. JL and MHJ are researchers at the institution who do not have a role in undergraduate education. Although some authors (SCL, SM, TP, MS, TP) are involved in education, the interviewer at each site (JL-Ireland, MS- Bahrain, MHJ- Malaysia) was not involved in student assessment and learning, in recognition of principles of interpersonal reflexivity and acknowledging the power dynamics that could influence participants [24]. Team discussions facilitated diverse narratives being captured in our interpretation [25, 26].

연구 참여자 모집 및 데이터 수집
Recruitment and data collection

우리 기관은 다국적 멀티캠퍼스 의과대학으로, 101개 국적의 학생들로 구성된 다양한 학생 집단을 보유하고 있습니다[27]. 모든 사이트에서 윤리 승인을 요청하고 받았습니다. 학생들의 피드백 경험을 조사하기 위해 개별 반구조화 인터뷰를 실시했습니다. 인터뷰 가이드를 설계하기 위해 SRL의 이론적 틀을 사용했습니다(부록 A). 각 사이트에서 파일럿 인터뷰를 실시하고 이를 녹음했습니다. MS는 이를 듣고 녹취록을 검토한 후 TP 및 JL과 함께 인터뷰 프로토콜을 다듬었습니다. 각 인터뷰를 시작할 때 참가자들에게 피드백 형식의 예와 광범위한 정의가 제공되었습니다. 참가자들은 피드백을 사용하는 이유와 방법에 대한 예를 포함하여 자신의 경험을 설명하도록 권장되었습니다. 특정 피드백 이벤트를 지정하지 않았기 때문에 참가자들은 어떤 경험에 대해서도 자유롭게 이야기할 수 있었습니다. 국적, 성별, 근무지에 따라 최대한의 다양성을 확보하기 위해 표본을 추출했습니다. 데이터 분석은 5번의 인터뷰 후 시작되었으며, 정보력이 충분하다고 판단될 때까지 반복적으로 진행되었습니다[28]. 
Our institution is a transnational, multi-campus medical school and our student population is diverse, with students from 101 nationalities [27]. Ethics approval was sought and received at all sites. We conducted individual semi-structured interviews to explore students’ feedback experiences. We used the theoretical framework of SRL to design the interview guide (Appendix A). We conducted pilot interviews at each site, which were recorded. MS listened to these and reviewed the transcripts, then refined the interview protocol with TP and JL. On commencing each interview, participants were provided with examples of feedback formats and a broad definition. Participants were encouraged to describe their experiences, including examples of why and how they use feedback. We did not specify particular feedback events, so participants were free to discuss any experiences. We sampled for maximal diversity for nationality, gender and site of study. Data analysis commenced after five interviews and continued iteratively until it was considered that information power was sufficient [28].

데이터 처리
Data processing

아일랜드의 인터뷰는 대면 인터뷰로 진행되었고, 바레인과 페르다나의 인터뷰는 온라인으로 진행되었습니다. 모든 인터뷰는 처음에 전사 소프트웨어(Otter.ai)를 사용하여 녹음하고 전사했습니다. 필사본은 오디오 녹음과 비교하여 정확성을 위해 편집되었습니다. 모든 식별 가능한 정보는 코딩 전에 익명으로 처리되었습니다. 이후 원본 녹취록은 파기되었습니다.
The interviews in Ireland were done in person, those in Bahrain and Perdana were conducted online. All interviews were recorded and transcribed initially using transcription software (Otter.ai). Transcriptions were edited for accuracy, by comparing with audio recordings. All identifiable information was anonymised prior to any coding. Original recordings were subsequently destroyed.

데이터 분석
Data analysis

주제별 분석에 대한 체계적인 접근법으로 템플릿 분석을 선택했습니다. 이 방법은 우리처럼 대규모 데이터 세트를 관리할 때 유용합니다. 템플릿 분석은 높은 수준의 구조를 가진 계층적 코딩의 사용을 강조합니다. 또한 선험적 코드, 즉 현재 데이터를 검토하기 전에 개발된 코드를 사용할 수 있습니다[29]. 이는 피드백 반응에 대한 이전의 체계적인 검토 결과[4]를 통해 이 분석에 정보를 제공하는 데 용이했습니다. 우리는 6단계 프로세스를 따랐습니다 [30]:
We chose template analysis as a systematic approach to thematic analysis. It is useful when managing large data sets such as ours. It emphasises use of hierarchical coding with high level of structure. It also allows for a priori codes, codes developed before examining the current data [29]. This facilitated informing this analysis with findings from a previous systematic review of feedback responses [4]. We followed the six-stage process [30]:

1. 데이터에 익숙해지기
1.Familiarisation with data

MS와 TP가 녹취록을 읽고 다시 읽었습니다.
MS and TP read and re- read the transcripts.

2. 예비 코딩
2.Preliminary coding

MS는 자기조절 학습 이론의 개념에 부합하는 피드백 응답을 바탕으로 선험적 주제를 제안했습니다. 그런 다음 MS는 각 캠퍼스 현장을 대표하는 다양한 국적과 성별의 학생을 대상으로 귀납적으로 새로운 코드를 선별했습니다. 한 줄 한 줄 코딩하는 대신, 각 녹취록을 읽고 다시 읽으면서 연구 질문과 관련된 상위 주제와 하위 주제를 파악했습니다.
A priori themes were suggested by MS based on feedback responses aligned to concepts of self-regulatory learning theory. MS then inductively screened for new codes initially on a selection of interviews representing each campus site, students of varying nationality and gender. Rather than coding line-by-line, each transcript was read and re-read to identify high-level themes and sub-themes relevant to the research questions.

3. 클러스터링
3.Clustering

새로 식별된 주제는 시각적 매핑을 통해 기존 주제와 클러스터링했습니다. 분석에 도움이 되지 않는다고 판단되는 선험적 코드는 제거했습니다.
Newly identified themes were clustered with existing ones via visual mapping. A priori codes which were agreed to be unhelpful in the analysis were removed.

4. 초기 템플릿 생성
4.Producing an initial template

상위 테마(MS)를 클러스터링하여 템플릿 초안을 개발했습니다.
A draft template was developed from the clustering of high-level themes (MS).

5.템플릿 적용 및 발전
5.Applying and Developing the template

추가적인 반복 분석과 토론(MS, TP)이 이어지면서 템플릿은 주요 주제와 하위 수준 코드의 최종 합의된 계층 구조로 수정되었습니다(MS).
As further iterative analysis and discussion ensued (MS, TP), the template was revised to a final agreed hierarchy of major themes and lower-level codes (MS).

6. 최종 해석
6.Final Interpretation

주요 주제는 합의(MS, TP)를 통해 합의되었으며 최종 템플릿은 세 가지 중요한 영역으로 구성되었습니다. 응답자 검증을 위해 분석 결과를 학생들에게 피드백했으며, 큰 변경은 필요하지 않았습니다(MS)[31].
Major themes were agreed by consensus (MS, TP) and the final template consisted of three overarching domains. We fed back our analysis to students for respondent validation, and no significant changes were required (MS) [31].

템플릿 진화
Template evolution

표 1에는 템플릿의 진화에 대한 자세한 정보가 나와 있습니다. 

• 초기 선험적 코드는 피드백 응답에 대한 이전의 체계적 검토에서 도출되었습니다. 
• 템플릿의 두 번째 반복은 세 가지 중요한 영역, 즉 핀트리치 SRL 모델에 특정한 피드백에 의해 활성화되는 SRL 프로세스로 구성되었습니다[15]. MS와 TP는 이 템플릿을 사용하여 대본을 코딩하여 테마를 평가하고, 새 테마를 추가하고, 기존 테마를 삭제 또는 수정하고, 테마 및 하위 테마의 계층 구조를 다시 정렬했습니다. 이를 통해 
• 세 번째 템플릿 반복을 개발하게 되었으며, 구체적으로 식별된 SRL 응답의 하위 테마가 발생하는 분류로서 지원적 피드백 경험과 비지원적 피드백 경험에 명확히 초점을 맞추게 되었습니다. 
• 최종 반복에서는 경험 유형(지원적 및 비지원적)과 SRL 반응을 이러한 변조의 조정 요소로 통합하여 학습 변조의 세 가지 중요한 영역을 적용합니다.

Table 1 includes more information on evolution of the template.

• Initial a priori codes were derived from a previous systematic review on feedback responses.
• The second iteration of the template consisted of 3 overarching domains: the SRL processes activated by feedback specific to the Pintrich model of SRL [15]. MS and TP used the template to code transcripts to evaluate for themes, add new themes, delete or modify existing themes and re-order the hierarchy of themes and sub-themes..
• This led to the development of the third template iteration, with a clarified focus on supportive and unsupportive feedback experiences as classifications under which sub-themes of the specifically identified SRL responses occurred.
• The final iteration applies three overarching domains of modulation of learning from integrating the experience type (supportive and unsupportive) and SRL responses as moderating factors of these modulations.

57명의 학생 인터뷰를 실시했습니다(표 2의 인구 통계). 
Fifty-seven student interviews were conducted (demographics in Table 2).

메타인지 지식과 신념의 조절
Modulation of metacognitive knowledge and beliefs

SRL은 역량 달성을 위한 인지적, 정서적, 행동적 과정의 변조를 설명합니다. 학습자는 피드백이 학습에 대해 생각하는 방식에 영향을 미치는 여러 가지 방법을 설명합니다(인지적 변조). 학습자는 피드백을 사용하여 자기 평가하고 동료와 비교하여 자신의 능력을 파악합니다. 때때로 자기 평가와 피드백이 일치하지 않을 때 긴장이 발생하기도 하지만, 학습자들은 대부분 반성 후 좋은 의도의 비평을 받아들인다고 말합니다: 
SRL describes modulation of cognitive, affective and behavioural processes to achieve competence. Learners describe a number of ways in which feedback affects how they think about learning (cognitive modulation). They use feedback to self-evaluate and locate their ability against their peers. Occasional tension arose when self-evaluation did not align with feedback; however learners mostly indicate accepting well-intended critique after reflection:

"이 선생님은 우리를 도우려는 좋은 선생님이라는 것을 알았기 때문에... 우리가 얼마나 못했는지에 대해 지적을 해도 해를 끼치려는 것이 아니라는 것을 알기 때문에 받아들입니다. 그들은 우리를 도우려는 것뿐입니다. 그래서 우리는 그것을 받아들일 것입니다."(S10).
“We knew that this teacher is a nice teacher who's trying to help us…So if they made a comment about how bad we were, we accept that because we know they're not trying to be harmful. They're just trying to help us. So we will accept that” (S10).

피드백 상호작용에서 경멸적인 언어와 인격에 대한 공격이 사용되었을 때 자기효능감에 부정적인 영향을 미쳤습니다. 이들은 그 후 오랜 기간 동안 "굴욕감"과 "황폐함"을 느꼈다고 보고했습니다. 이들은 이러한 피드백과 피드백이 자신의 능력에 미치는 영향에 대해 반추합니다. 
Feedback interactions negatively affected self-efficacy when derogatory language and attacks on their character were employed. They report feeling “humiliated” and “devastated” for long periods afterwards. They ruminate on this feedback and its implications of their ability.

피드백은 학습 자체와 관련된 학습자의 신념을 조절합니다. 참가자들은 긍정적인 피드백을 받은 후 특정 활동에 더 깊이 참여하게 되었다고 말합니다. 일반적으로 학습에 대한 열정이 새로워지고 향후 활동에서 적극적으로 피드백을 구하게 되었다고 설명합니다. 학습자는 피드백이 적대적일 때 학습 가치를 하향 조정했습니다. 이들은 피드백을 '무의미한 것'으로 묘사하고 학습을 '포기'하는 것에 대해 이야기합니다. 자세한 예는 표 3에 나와 있습니다.
Feedback modulates learners’ beliefs related to learning itself. Participants describe deeper engagement with a particular activity following a positive feedback encounter. They describe a renewed enthusiasm for learning in general and active feedback-seeking in future activities. Learners adjusted learning value downwards when feedback encounters were hostile. They describe feedback as “pointless” and talk about “walking away” from learning. Further examples are provided in Table 3.

학습 목표의 조절
Modulation of learning goals

SRL 이론은 학습에 있어 동기 부여와 효과적인 영향을 인정합니다. 연구 결과에 따르면 피드백은 학습 목표와 관련하여 이러한 요소와 상호작용하는 것으로 나타났습니다. 이는 크게 두 가지 주제로 나뉩니다: 동기 부여와 노력 투자, 그리고 감정 보호/스트레스 요인 회피입니다.
SRL theory acknowledges motivational and effective influences in learning. Our findings indicated feedback interacts with these factors in relation to learning goals. These came under two main themes: Motivation and effort investment and Protecting Emotions/Avoiding Stressors.

동기 부여 및 노력 투자
Motivation and effort investment

지원적인 피드백 경험은 특히 슈퍼바이저가 있는 곳에서 참가자들의 열정을 불러일으켰습니다. 
Supportive feedback experiences inspired enthusiasm in participants, particularly where the supervisor was.

"여러분이 발전하는 모습을 보고 싶어 하고, 여러분이 한 걸음 더 나아갈 수 있도록 열정적으로 도와주니 정말 변화하고 싶다는 동기가 생겼어요."(S8).
“really engaged in wanting to see you improve and is passionate about, you know, helping you make those extra steps, it really motivates me to change” (S8).

참가자들은 학습 활동에 투자하는 시간이나 노력을 늘림으로써 이를 활용했습니다. 목표를 재조정하고, 학습 일정을 변경하고, 학습 활동을 추가했습니다. 이는 성과가 최선이 아니더라도 피드백 경험이 건설적이었다면 더 많은 계획과 학습에 투자했을 때에도 일어납니다. 참가자들은 일반적으로 노력 투자에 부정적인 영향을 미치는 형식적인 피드백을 경험합니다:
Participants harnessed this by increasing time or effort on the learning activity. They re-calibrate targets, change study schedule, and add study activities. This happens even when their performance was sub-optimal: as long as the feedback experience was constructive, they invested more planning and studying. Participants commonly experience perfunctory feedback which negatively affects effort investment:

"(피드백은) 예상된 것이기 때문에 그냥 비평만 하는 것이기 때문에 피드백 세션을 마치고 나면 '내가 왜 참석했을까? 유용한 건 하나도 없었는데"... "피드백을 위한 피드백"(S8)이라는 생각을 하게 됩니다. 
“(they are) just sort of providing critique, because it's expected, so I leave a feedback session being like, “why did I even bother showing up? Like, nothing useful happened there”…you know, feedback for the sake of giving feedback” (S8).

적대적인 경험을 한 학생은 의욕을 잃은 반면, "부끄럽고 슬프지만 기억할 거예요... 시험에서 실수하는 것보다 수업 중에 부끄러워하는 것이 더 낫죠"(S48)라고 주장하는 학생도 있습니다.
With hostile experiences, some students are demotivated, while others argue that “I'll feel ashamed and sad…But I will remember it…so better ashamed during the class, rather than you make mistakes in the exam” (S48).

감정 보호/스트레스 요인 피하기
Protecting emotions/avoiding stressors

학습자는 위협을 받는다고 느끼는 피드백을 피합니다. 이는 학습자가 "굴욕적", "당황스럽다", "공격적"이라고 묘사하는 이전 경험에서 비롯됩니다. 학습자는 그 상황에서 벗어나는 데 집착하게 됩니다. 이는 향후 학습에 영향을 미치며, 일부는 반복되는 사건을 피하기 위해 노력합니다. 한 참가자는 "그가 나를 많이 괴롭혔다"고 느꼈던 피드백 상황을 설명하며 눈물을 흘렸고, "그 경험 때문에 컨설턴트와 이야기하는 것이 두렵다"고 말하며 더 이상 적극적으로 피드백을 구하지 않는다고 말했습니다(S11). 이는 또한 불출석으로 나타나기도 했는데, 특정 상사나 활동(예: 병동에서 발표하는 것)을 피하는 것으로 나타났습니다. 자세한 예는 표 4에 나와 있습니다. 
Learners avoid feedback where they feel threatened. This stems from prior experiences they describe as “humiliating”, “embarrassing” and “aggressive”. They becomes fixated on escaping. This colours future learning where some go out of their way to avoid a repeat incident. One participant broke down in tears describing a feedback situation where they felt “he was picking on me a lot” and goes on to say they no longer actively seek feedback, “that’s why I'm scared to talk to the consultants because of that experience” (S11). This also manifested as non-attendance; avoiding specific supervisors or activities, e.g. presenting on wards. Further examples are provided in Table 4.

학습 전략의 조절
Modulation of learning strategies

SRL은 학습자가 자신의 상황 내에서 자신의 진행 상황을 모니터링하고 그에 따라 적응할 것을 요구합니다. 학습자들은 피드백과 관련하여 학습 설계 방식이 영향을 미친 두 가지 주요 영역을 설명합니다. 이는 크게 두 가지 주제로 분류됩니다: 전략 선택과 전략 조정.
SRL requires the learner to monitor their progress within their context and adapt accordingly. In relation to feedback, our learners describe two key areas where how they design their learning was affected. These are broadly categorised under two themes: Selecting strategies and adapting strategies.

전략 선택하기
Selecting strategies

학습자들은 피드백을 학습 전략으로 전환하는 데 어려움을 표했습니다. 그들은 명확한 '다음 단계'를 제시하는 피드백을 선호했습니다. 그들은 다음과 같이 말합니다: 
Learners expressed difficulty translating feedback in to learning strategies. They favoured feedback which gave clear “next steps”. They comment that:

"무엇을 해야 할지는 알지만 어떻게 해야 할지는 모르겠다"(S50).
“you'll know what you need to do but you don't know how” (S50).

"좋은" 피드백은 감독자가 단순히 어떤 작업이 필요한지보다는 어떻게 변화할지를 제안하는 것을 의미했습니다. 한 학습자는 그 피드백을 이렇게 설명합니다: 
“Good” feedback meant when supervisors suggested how to change rather than just what needed work. A learner explains that feedback:

"중요한 점에 집중할 수 있도록 도와주셨어요... 그런 조언을 해주지 않았다면 저는 실제로 병동에 가지 않았을 것입니다. 피드백은 제가 개선하기 위해 무엇을 해야 하는지 정확하게 알려주었기 때문에 매우 긍정적이었습니다."(S4). 
“helped me to concentrate on important points…And if he didn't give me that advice, I wouldn't actually go to the wards. And so that was very positive because it really directed me towards exactly what I need to do to improve” (S4).

이들은 발달 영역이 확인된 피드백을 어떻게 다룰 것인지에 대한 명확한 방향이 없으면 이를 활용할 전략을 선택하기가 어렵다는 것을 알게 됩니다. 이 중 일부는 모호한 의견에서 비롯되었습니다: 
They find it challenging to select strategies to use feedback which identified developmental areas, without explicit direction in how to address these. Some of this came from vague comments:

"모든 것이 괜찮다"는 식의 피드백을 주면 어떻게 해야 하나요?" (S45).
“if you give me feedback, like "everything's Okay", what am I gonna do with it?” (S45).

이들은 명확성을 확보하려는 시도가 실패하여 이 전략을 포기하게 되었다고 설명합니다: 
They describe unsuccessful attempts to gain clarity, lead to abandoning this strategy:

"저는 그냥 질문을 그만뒀어요... 저는 중고등학교 때 선생님들과 함께 살면서 서로가 같은 생각을 할 때까지 모든 것을 물어봤어요... 여기서는 기본적인 질문을 해도 제대로 된 대답을 들을 수 없으니까요... 그래서 그냥 질문을 그만뒀는데, 끔찍하죠. 지금은 많은 것을 이해하지 못하니까요. 물어볼 사람이 없어요" S26. 
“I just stopped asking questions …I would live with the teachers in secondary school…and ask everything until we both were on the same page… Here, you can ask a basic question and you don’t get a proper response… So I just stopped asking, which is awful. Because now I don't understand lots of things. I have no one to ask” S26.

적응 전략
Adapting strategies

저희는 이를 행동 전략, 인지 전략, 감정 관리를 위한 분리라는 세 가지 주제로 나누었습니다. 
We have divided these in to three themes: behavioural strategies, cognitive strategies and disengagement to manage emotions.

행동 전략
Behavioural strategies

참가자들은 신체검사의 기법 변경, 병력 청취 시 질문 추가, 구조와 우선순위를 조정한 사례 발표 등 과제별 행동에 피드백을 통합하는 방법에 대한 다양한 사례를 제공했습니다. 
Participants provided many examples of how they incorporated feedback in to task-specific actions, e.g. changing technique in physical examination, adding questions in history-taking, presenting cases with tweaks to structure and prioritisation.

인지 전략
Cognitive strategies

피드백은 인지 학습 전략에 더 다양한 영향을 미쳤습니다. 참가자들은 약리학 지식을 위한 특정 앱을 사용하거나, 프레젠테이션을 서면 연습에서 구두 연습으로 학습 방향을 바꾸는 등 과제 또는 활동별 조정을 쉽게 실행했습니다.
Feedback had more variable influences on cognitive learning strategies. Participants readily implemented task or activity-specific tweaks, e.g. using a specific app for pharmacology knowledge, redirecting study from written to verbal practice of presentations.

학습 전략에 대한 보다 정교한 점검이 제안되었을 때 학생들의 반응은 엇갈렸습니다. 어떤 학생들은 기꺼이 적응하겠다는 반응을 보였고, 어떤 학생들은 신뢰할 수 있는 전략을 바꾸는 것이 불편하다고 말했습니다;
When more elaborate overhaul of their study strategy was suggested, responses were mixed. Some were open to adapt; others were uncomfortable changing reliable strategies, saying;

"이 시점에서 제 공부 습관이 꽤 굳어졌어요...., 지금까지는 잘 해왔어요, 누군가 저에게 모든 것을 완전히 바꾸라고 하면 조언에 감사할 뿐 실제로 실행하지는 않을 거예요"(S4).
“I've found my studying habits to be pretty set in stone at this point…., they've done me well, up until now, if somebody told me to completely revamp everything, I would thank them for their advice and not actually implement it” (S4).

학습자는 후속 학습 전략에 통합할 피드백 요소를 정기적으로 골라 선택합니다:
Learners regularly pick and choose which elements of feedback to incorporate in subsequent learning tactics:

"피드백이 좋은지, 나쁜지, 사용할 만한 가치가 있는지 등 피드백을 필터링하는 것이 중요합니다."(S1).
“it's a lot about filtering the stuff that comes, whether it's good, whether it's bad, you know, if there's something worth using, to go with it” (S1).

참여도 저하
Disengagement

학습자는 피드백이 적대적인 것으로 인식될 때 참여를 중단합니다. 이러한 상황은 빈번하게 발생하며 경멸적인 언어, 부정적인 비언어적 커뮤니케이션(눈동자 굴리기, 한숨, 훈계하는 어조), 끼어들기 및 고함, 인격이나 의사로서의 능력에 대한 언급 등 여러 가지 형태로 나타납니다. 피드백 메시지가 잠재적으로 유용할 수도 있지만, 일부는 의식적으로 무시하기도 합니다:
Learners disengage when feedback is perceived as hostile. Such encounters are frequent and have several manifestations—derogatory language, negative non-verbal communication (eye-rolling, sighing, admonishing tone), interrupting and shouting, making comments about character or ability to be a doctor. While the feedback message may be potentially useful, some consciously walk away:

"상대방이 한 말이 사실이든 아니든, 내가 불편하게 느낀 방식으로 표현했고 마음에 들지 않는다면 그냥 "그거 알아? 아니, 고마워요"라고 말할 것입니다. 프로페셔널하게 대하지 않을 거라면 "안녕히 가세요"라고 말하죠.
“Whether what they said is true or not, if they phrased it in a way that I felt uncomfortable with, and I didn't appreciate, I will just be like "do you know what? Nah, thanks". If you're not going to be professional then, “Bye””S30.

다른 사람들은 그 순간에 부담을 느낍니다:
Others feel overwhelmed in the moment:

"나는 문을 닫았다. 어린아이가 된 기분이에요, 정말 싫어요."(S2).
“I shut down. I feel like a small child, I hate it” (S2).

이러한 피드백을 사용하지 않거나 사용할 수 없다고 생각하지만, 많은 학습자가 피드백에 많은 시간을 할애합니다: 
While they feel they will not or cannot use this feedback, many learners spend a lot of time with it:

"나는 그것에 대해 숙고할 것이다... 나는 그것에 대해 꽤 오랫동안 생각할 것이다. .... 만약 그것이 매우 가혹하다면, 그것은 영원히 남아있을 것이다"(S49).
“I'll be like pondering over it…I'll be thinking about it quite some time ….if it's very very harsh, then it will remain forever” (S49).