Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

1G.W.G. Bendermacher is educational policy advisor, Institute for Education, and a PhD candidate, School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht University, the Netherlands; ORCID: https://orcid.org/0000-0002-7804-4594.

2W.S. De Grave is an educational psychologist, School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht University, the Netherlands.

3I.H.A.P. Wolfhagen is associate professor, Department of Educational Development and Research, and deputy director, Institute for Education, School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht University, the Netherlands.

4D.H.J.M. Dolmans is professor of innovative learning arrangements, Department of Educational Research and Development, School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht University, the Netherlands; ORCID: https://orcid.org/0000-0002-4802-1156.

5M.G.A. oude Egbrink is professor of implementation of educational innovations, Department of Physiology, and scientific director, Institute for Education, School of Health Professions Education, Faculty of Health, Medicine and Life Sciences, Maastricht University, the Netherlands; ORCID: https://orcid.org/0000-0002-5530-6598.

Purpose: This study sought to identify key features of an organizational quality culture and explore how these features contribute to continuous quality improvement of undergraduate medical education.

Method: Between July and December 2018, researchers from Maastricht University in the Netherlands conducted a multicenter focus group study among 6 education quality advisory committees. Participants were 22 faculty and 18 student representatives affiliated with 6 medical schools in the Netherlands. The group interviews focused on quality culture characteristics in relation to optimizing educational development, implementation, evaluation, and (further) improvement. Template analysis, a stepwise type of thematic analysis, was applied to analyze the data.

Results: Five main themes resembling quality culture constituents to continuous educational improvement were identified: (1) fostering an open systems perspective, (2) involving stakeholders in educational (re)design, (3) valuing teaching and learning, (4) navigating between ownership and accountability, and (5) building on integrative leadership to overcome tensions inherent in the first 4 themes. A supportive communication climate (which can be fueled by the organization's leaders) contributes to and is integrated within the first 4 themes.

Conclusions: The results call for a shift away from static quality management approaches with an emphasis on control and accountability toward more flexible, development-oriented approaches focusing on the 5 themes of a culture for continuous quality improvement. The study provides new insights in the link between theory and practice of continuous quality improvement. Specifically, in addition to quality management systems and structures, faculty's professional autonomy, collaboration with peers and students, and the valuing of teaching and learning need to be amplified.

전 세계적으로 의료계는 주로 부유한 배경을 가진 사람들로 구성되어 있으며, 평균보다 높은 수준의 교육을 받은 경우가 많습니다(AFMC 2010, 교육훈련부 2019, Milburn 2012). 학교별 격차는 의대 지원에도 반영됩니다. 예를 들어, 영국 의대 지원자의 80%는 영국 고등학교의 20% 출신이며, 최근 몇 년간 의대 지원자를 한 명도 배출하지 않은 학교도 절반에 달합니다(Medical Schools Council 2014a, b); 지원자의 44%는 문법(학업 선택제) 및 독립(학비 납부) 학교 출신인 반면(Mathers 외 2016), 학령 인구의 약 6.5%만이 이러한 학교에 다니고 있습니다(Bolton 2017; ISC 2020).
Globally, the medical profession consists predominantly of individuals from affluent backgrounds, often educated in schools which outperform the average (AFMC 2010; Department of Education and Training 2019; Milburn 2012). School disparities are reflected in medical school applications. For example, 80% of UK medical school applicants come from only 20% of UK high schools, and half of schools have sent no applicants to medicine in recent years (Medical Schools Council 2014a, b); 44% of applicants come from grammar (academically selective) and independent (fee-paying) schools (Mathers et al. 2016), whilst only approximately 6.5% of the school age population attend these schools (Bolton 2017; ISC 2020).

의학 분야의 사회경제적 다양성 부족으로 인해 의과대학이 사회 이동성을 촉진하지 못하거나, 의과대학이 서비스를 제공하는 인구를 돌볼 수 있는 최상의 인력을 창출하지 못할 수 있다는 우려가 제기되고 있습니다(Larkins 외. 2015; Medical Schools Council 2014a; Milburn 2012; O'Connell 외. 2017; Puddey 외. 2017). 독립 및 문법학교 출신 지원자가 주립(무료) 학교 출신 지원자에 비해 의대에 합격할 확률이 약간 더 높기 때문에(Steven 외 2016), 지원자 풀이 전체 인구의 대표성을 높여야 한다는 요구가 강하게 제기되어 왔습니다(Mathers 외 2011; McLachlan 2005; O'Neill 외 2013). 이로 인해 전통적으로 의대 진학을 고려하지 않는 학교 및 지역사회와 협력하여 의대 진학에 대한 인식을 높이고 지원을 지원하는 의과대학의 폭 넓은 접근(WA) 이니셔티브(파이프라인, 멘토링, 아웃리치 또는 학업 강화 프로그램이라고도 함)가 증가하고 있습니다(Medical Schools Council 2014b). WA 이니셔티브는 영국 고등 교육에 참여하는 다양한 인구통계학적 그룹의 학생들 간의 불균형을 줄이기 위한 정부 정책에서 비롯되었습니다(Connell-Smith and Hubble 2018). 이러한 프로그램은 영국(Greenhalgh 외. 2006; Kamali 외. 2005; Ratneswaran 외. 2015; Smith 외. 2013), 미국(Crews 외. 2020; Martos 외. 2017; Navarre 외. 2017; Soto-Greene 외. 1999), 캐나다(Robinson 외. 2017; Rourke 2005), 호주(Bennett 외. 2015; Gale and Parker 2013; Naylor 외. 2013) 전역에서 다양하게 운영되고 있다. 
The lack of socioeconomic diversity in medicine has caused concern that medical schools may not be promoting social mobility nor creating the best possible workforces to care for the populations they serve (Larkins et al. 2015; Medical Schools Council 2014a; Milburn 2012; O’Connell et al. 2017; Puddey et al. 2017). As applicants from independent and grammar schools are only slightly more likely to be accepted for a place at medical school in comparison to those applying from state (free to attend) schools (Steven et al. 2016), there have been strong calls for the applicant pool to become more representative of the population as a whole (Mathers et al. 2011; McLachlan 2005; O’Neill et al. 2013). This has caused an increase in medical schools’ widening access (WA) initiatives (otherwise known as pipeline, mentorship, outreach or academic enrichment programmes) which work with schools and communities that may not traditionally consider a career in medicine, to raise awareness about the career and support an application (Medical Schools Council 2014b). WA initiatives stem from governmental policies that aim to reduce discrepancies between the participation of different demographic groups of students in UK higher education (Connell-Smith and Hubble 2018). A wide variety of these programmes run across the UK (Greenhalgh et al. 2006; Kamali et al. 2005; Ratneswaran et al. 2015; Smith et al. 2013), the US (Crews et al. 2020; Martos et al. 2017; Navarre et al. 2017; Soto-Greene et al. 1999), Canada (Robinson et al. 2017; Rourke 2005) and Australia (Bennett et al. 2015; Gale and Parker 2013; Naylor et al. 2013).

학교 교사는 학생들이 의과대학과 의학에 대한 정보와 이니셔티브에 접근하는 주요 경로로 인식되고 있으며(Fleming and Grace 2014; McHarg 외 2007; 의과대학협의회 2016), 교사의 격려가 학생들의 전반적인 학업 성취도와 졸업 후 선택에 긍정적인 영향을 미칠 수 있습니다(Alcott 2017; Gale 외 2010). 따라서 학교 교사들은 게이트키퍼이자 영향력 있는 사람으로서 WA의 성공에 있어 핵심적인 이해관계자로 자리매김하고 있습니다(플레밍과 그레이스 2014; 올리버와 케틀리 2010). 그러나 영국 국공립학교에서 정식으로 교육을 받은 대학생들은 교사의 질 낮은 지도와 격려 부족으로 인해 졸업 후 진로 선택에 어려움을 겪었다고 보고합니다(Mathers and Parry 2009, McHarg 외. 2007, 의과대학협의회 2013, UCAS 2015). 교사의 열악한 지원에 대한 이러한 보고는 미국, 캐나다, 호주 등 소외 계층에 대한 접근성을 확대하는 데 초점을 맞춘 다른 국가의 사례와 유사하지만(Behrendt 외 2012; Fray 외 2019; Gale and Parker 2013; Murray-García와 García 2002; Restoule 외 2013; Tomaszewski 외 2017), 교사가 WA에 미치는 영향에 대한 연구는 제한적입니다. 주립대 의대생들은 교사가 자신의 성공 가능성을 과소평가하고(McHarg 외 2007), 실패할 운명이라는 인상을 주며(Southgate 외 2017), 학교에 기대치가 낮은 반학문적 문화가 존재한다고 주장합니다(Mathers and Parry 2009). 다른 연구에서는 적합한 특성을 가진 학생들 중 상당수가 의사로서의 자신을 상상할 기회가 주어지지 않거나 입학 요건을 적절히 준비할 수 있는 지원이 부족하기 때문에 의대 진학을 미루는 것으로 나타났습니다(Greenhalgh 외. 2004; Southgate 외. 2015). 
School teachers are recognised as a key pathway through which pupils access information and initiatives about medical schools and medicine (Fleming and Grace 2014; McHarg et al. 2007; Medical Schools Council 2016) and their encouragement can positively influence pupils’ overall attainment and post-school choices (Alcott 2017; Gale et al. 2010). As such they are positioned as key stakeholders in the success of WA, acting as gatekeepers and influencers (Fleming and Grace 2014; Oliver and Kettley 2010). University students formally educated at UK state schools report, however, that poor quality guidance and lack of encouragement from teachers hindered their ability to make post-school choices (Mathers and Parry 2009; McHarg et al. 2007; Medical Schools Council 2013; UCAS 2015). These reports of poor teacher support parallel those in other countries with a focus on widening access to underrepresented groups, for example, the US, Canada and Australia (Behrendt et al. 2012; Fray et al. 2019; Gale and Parker 2013; Murray-García and García 2002; Restoule et al. 2013; Tomaszewski et al. 2017) however, studies on teachers’ influence on WA are limited. Medical students from state schools claim their teachers underestimated their chances of success (McHarg et al. 2007), gave them the impression they were destined for failure (Southgate et al. 2017), and that there was an anti-academic culture of low expectations in their schools (Mathers and Parry 2009). Other studies suggest that pupils, many of whom do have suitable attributes, may be put off medicine as they are not given the opportunity to imagine themselves as doctors, or lack the support to prepare themselves adequately for admission requirements (Greenhalgh et al. 2004; Southgate et al. 2015).

따라서 의과대학은 불우한 환경의 학교 교사들과 더욱 긴밀히 협력하여(예: 미국의과대학협의회 2018), 이들이 WA 이니셔티브와 전문직의 다양화에 장애가 되지 않도록 해야 합니다(미국의과대학협의회 2014a). 그러나 WA 내에서 영향력 있는 이해관계자로서의 역할에도 불구하고, 학교 교사들의 의학에 대한 WA에 대한 태도는 문헌에서 거의 연구되지 않았습니다. 앞서 언급한 연구들은 학생과 의대생의 관점에서 교사가 학생의 의학에 대한 열망과 선택에 미치는 영향을 고려했지만, Southgate 등(2015)만이 교사(진로 상담사) 자신의 견해를 포함했습니다. 따라서 의과대학이 교사들과 어떻게 가장 잘 소통하고 협력해야 하는지, 왜 현재 의대 지원을 저해하는 관행이 계속되고 있는지에 대한 이해에는 상당한 격차가 있습니다. 교사들의 지원이 없다면 잠재적 지원자들이 불필요하게 의대 진학 경로를 이탈하거나 의대를 떠나고 싶다는 생각을 하게 될 수 있습니다. 
Medical schools are thus recommended to work more closely with teachers in disadvantaged schools (e.g., Medical Schools Council 2018) to prevent them becoming a barrier to WA initiatives and thus the diversification of the profession (Medical Schools Council 2014a). However, despite their role as influential stakeholders within WA, schoolteachers’ attitudes towards WA to medicine have been little explored in the literature. Although the aforementioned studies consider the influence of teachers on pupils’ aspirations and choices towards medicine from the point of view of pupils and medical students, only Southgate et al. (2015) included views from teachers (careers advisers) themselves. There is thus a substantial gap in understanding about exactly how medical schools should best engage and work with teachers, and why they may currently continue practices which discourage application to medicine. Without their support, potential applicants may leak out of the WA pipeline unnecessarily or feel encouraged to leave.

따라서 이 연구에서는 지역 의과대학의 WA 이니셔티브에 참여할 자격이 있는 고등학교에서 학생들에게 의학에 대해 조언하는 교사들을 인터뷰하여 그들의 관행과 태도를 알아보고, 그들이 학생들에게 의과대학을 옵션으로 홍보하는 것을 꺼리는 이유와 방법에 대한 통찰력을 구축하고자 했습니다. 우리의 전반적인 목표는 이해를 높이고, 이를 통해 의과대학이 어떻게 하면 교사들을 의대 진학에 대한 옹호자로 더 잘 참여시킬 수 있을지 고려하는 것이었습니다. 그러나 이 연구에는 교사 스스로가 왜 WA 이니셔티브와 그 안에서 자신의 역할에 문제가 있다고 생각하는지, 그렇다면 이것이 실무에 어떤 영향을 미치는지 고려하고자 하는 보다 중요한 목적도 있었습니다. 이는 교육자가 학생의 역량을 개발하여 자신의 미래를 자유롭게 선택할 수 있도록 장려하는 역량 접근법(Walker and Unterhalter 2010)을 통한 결과 해석을 통해 촉진되었습니다. 다음과 같은 연구 질문이 연구를 이끌었습니다: 영국 WA 학교의 교사들은 학생들이 의대를 지망하고 지원서를 준비하도록 격려하는 데 있어 자신의 역할이 무엇이라고 인식하는가? 
This study thus interviewed teachers advising pupils about medicine in high schools that were eligible for local medical schools’ WA initiatives to learn about their practices and attitudes, and to build insight into how and why they may be reluctant to promote medical school as an option to their pupils. Our overall aim was to build understanding and thereby consider how medical schools might better engage teachers as advocates for WA to medicine. However, the study also had a more critical purpose, in that we wished to consider why teachers themselves might find WA initiatives and their role within them problematic, and if so, how this impacted their practice. This was facilitated by the interpretation of results through the capability approach (Walker and Unterhalter 2010) which encourages educators to develop their students’ capability and thus freedom to choose their own future. The following research question guided the work: What do teachers in UK WA schools perceive to be their role in encouraging pupils to aspire to medicine and prepare an application?

패러다임
Paradigm

이 연구는 참여자들의 다양하고 복합적인 현실을 인정하는 해석학적 존재론에 기반을 두고 있으며, 이는 참여자들의 사회적, 문화적 참조 프레임과 맥락에 따라 구축됩니다(Crotty 2003). 인식론적으로 이 연구는 의미를 연구자와 참여자가 함께 구성하는 것으로 이해하는 사회적 구성주의를 따르며, 연구자는 지식 창출 과정에서 참여자의 경험을 신뢰할 수 있고 공정하게 표현하기 위해 노력합니다(Mann and MacLeod 2015). 이 패러다임은 참가자의 해석과 맥락에 특히 중점을 두어 참가자가 인지한 역할과 경험에 대한 상세하고 주관적인 설명을 수집할 수 있게 해 주었습니다(Bunniss and Kelly 2010). 
This study is based within an interpretivist ontology, which acknowledged participants’ diverse and multiple realities, built relative to their social and cultural frames of reference and context (Crotty 2003). Epistemologically, the study follows social constructivism, which understands meaning to be co-constructed between researcher and participant, with the researcher striving to portray a credible and fair representation of participants’ experiences within this process of knowledge creation (Mann and MacLeod 2015). This paradigm allowed us to gather detailed and subjective accounts of participants’ perceived role and experiences, with a particular emphasis on their interpretations and context (Bunniss and Kelly 2010).

이 접근 방식은 연구자가 연구의 구상부터 보급에 이르기까지 연구 과정의 모든 측면에서 주관적이고 능동적인 요소로 이해합니다. 의학교육학 박사 학위를 취득하기 전, KA는 대학 아웃리치 및 WA 이니셔티브를 설계하고 운영한 경력이 있고, JC는 심리학자이며, SN은 임상 학자입니다. 모두 의학교육 연구 분야에서 활발한 활동과 경험을 가지고 있으며, 특히 의료 접근성 확대에 관심이 많고, 저자 중 한 명은 고등교육기관에서 WA를 경험한 바 있습니다. 의미 구성에서 우리의 관점이 참여자의 관점보다 우위에 있지 않도록 하기 위해 우리는 데이터에 대한 우리의 입장과 관계를 지속적이고 비판적으로 고려했습니다. 예를 들어, KA는 WA 실무자로 일한 경험이 있었기 때문에 처음에는 교사를 게이트키퍼로 인식하고, 교사가 학생들의 참여를 긍정적으로 독려하면 이니셔티브의 활용을 촉진하는 데 효과적인 동맹이 되지만 그렇지 않으면 문제가 될 수 있다는 가정을 바탕으로 연구에 접근했습니다. 그러나 데이터 수집과 분석 과정에서 이러한 가정에 의문을 제기하고 교사의 대안적인 역할을 탐색하고 논의하고 정당화했습니다. 그 결과, 이 논문에서는 이러한 초기 가정을 뛰어넘는 더 넓고 미묘한 범위의 가능한 교사 역할을 고려합니다. 
This approach understands the researchers to be a subjective and active element in all aspects of the research process, from conception to dissemination. Prior to obtaining a PhD in medical education, KA’s professional background was in designing and running university outreach and WA initiatives; JC is a psychologist; and SN is a clinical academic. All have experience and active roles in medical education research, with a particular interest in widening access to medicine and one author experienced a WA trajectory to higher education. To ensure that our perspectives did not dominate those of participants’ in the meanings constructed, we considered our positions and relationships with the data constantly and critically. For example, KA’s previous experience as a WA practitioner meant that she initially approached the study with assumptions built from this perspective: perceiving teachers as gatekeepers, either effective allies in boosting the uptake of initiatives if they positively encouraged pupils to participate, or problematic if they did not. However, during data collection and analysis, these assumptions were challenged and alternative roles for teachers were explored, discussed and justified. As a result, the paper considers a wider and more nuanced range of possible teacher roles, which go beyond this initial assumption.

데이터 수집
Data collection

학교 및 참여자
Schools and participants

영국 학령기 학생의 93.5%가 공립학교에서 교육을 받고 있습니다(ISC 2020). 고등학교는 11~18세 학생을 대상으로 하는 반면, 6년제 대학은 마지막 학년(16~18/19세)의 학생들만 교육합니다. 아동이 진학할 수 있는 학교는 지역에 따라 크게 제한되며, 따라서 학교는 사회경제적, 사회적으로 분리되어 있는 경우가 많습니다(Jerrim 외, 2017; The Challenge 외, 2017). 이러한 차이는 학교 성과 평가에 반영됩니다(스코틀랜드 정부 2019, 영국 정부 2019). 이번 연구는 다양한 주정부 지원 학교에서 근무하는 교사들의 폭넓은 경험을 수집하는 것을 목표로 했으며, 이들 학교는 지역 의과대학에서도 WA 이니셔티브의 대상이 되는 학교이기도 하였습니다. 이니셔티브의 대상이 되는 학교는 의대 진학률이 평균 이하이거나 사회경제적 빈곤 지역에 위치한 학교였습니다. 
93.5% of school-aged pupils in the UK are educated at state-run schools (ISC 2020). High schools take pupils aged 11–18, whereas sixth-form colleges only educate pupils in their final years (16–18/19). The schools available to a child are strongly restricted by their location, and schools are thus often socioeconomically and socially segregated (Jerrim et al. 2017; The Challenge et al. 2017). These differences are reflected in school performance ratings (Scottish Government 2019; UK Government 2019). The current study aimed to capture a breadth of experiences from teachers working in a wide range of state-funded schools, which were also targeted by local medical schools for participation in WA initiatives. To be targeted for initiatives, schools had below average rates of progression to medicine and/or were situated in areas of socioeconomic deprivation.

세 곳의 의과대학(각기 다른 지역에 위치)이 이 연구를 승인하고 WA 이니셔티브의 대상 학교 목록을 제공했습니다. 연구팀은 이 목록을 검토한 후 16개 학교로 구성된 소규모 목적 그룹을 선정하여 참여 초대를 보냈습니다. 이 그룹은 대규모 학교부터 소규모 학교까지, 도시부터 시골까지, 그리고 매년 의대에 지원하는 지원자 수가 다양한 학교를 최대한 폭넓게 포함하도록 설계되었습니다(표 1 참조). 이러한 결정은 정부 웹사이트에서 공개적으로 제공되는 데이터를 사용하여 이루어졌습니다.
Three medical schools (each in a different geographical region) approved the study and provided a list of the schools targeted by their WA initiatives. These lists were considered by the research team and a smaller purposive group of sixteen schools were targeted for an invitation to participate. This group was designed to contain the broadest possible diversity of schools: large to small; urban to rural; and with varying numbers of applicants applying to medicine each year (see Table 1). These decisions were informed using data publicly available on government websites.

교장(교감)에게는 연구 정보와 학교의 참여 요청서를 보냈습니다. 연락을 받은 16개 학교 중 8개 학교의 교장(교장)이 자신의 학교에서 연구가 진행되도록 허락했습니다. 거부 사유를 밝힌 교장들은 학생들에게 직접적인 혜택이 없는 활동에 교사가 참여할 수 있는 자원이 부족하다는 이유를 들었습니다. 교장 선생님이 동의한 후, 학생들에게 대학 선택에 대한 조언을 담당하는 교사(의대를 중심으로)에게 편지와 이메일을 통해 참여를 권유하고, 교장 선생님을 통해 또는 연구자가 직접 표준화된 정보 시트를 제공했습니다. 영국 공립학교에서는 특별한 관심을 가진 교사 한 명이 의대 진학 지도교사로 자원하는 것이 일반적이지만, 이들의 실질적인 역할은 매우 다양할 수 있습니다. 지원자들은 연구자에게 이메일로 직접 연락하여 연구의 목적과 실제에 대해 논의하고, 연구자를 소개하고, 궁금한 점을 묻고, 진행에 동의하는 경우 인터뷰 일정을 잡았습니다. 13명의 교사가 관심을 표명했고 11명이 인터뷰 진행을 희망했습니다. 
Headteachers (principals) were sent the study information and an invitation for their school to participate. Of the sixteen schools contacted, eight headteachers gave permission for the study to be conducted in their school. Those who gave a reason for refusal, cited a lack of resources to allow teachers to participate in activities which did not directly benefit pupils. After headteachers had provided consent, teachers with responsibility for advising students on university choices (with a focus on medicine) were invited to participate by letter and email, and provided with a standardized information sheet via the headteacher or directly from the researcher. It is common in UK state schools for one teacher with a special interest to volunteer to be the key advisor for medicine, but their substantive roles may be very varied. Volunteers responded directly to the researchers by email to discuss the purpose and practicalities of the study, to be introduced to the researchers, ask any questions and, if happy to proceed, to arrange an interview. Thirteen teachers expressed interest and eleven wished to proceed to interview.

우리의 연구 설계와 목표는 교사들의 인식을 정량화하거나 일반화하지 않고 그 범위와 복잡성을 이해하고 탐구하고자 했기 때문에 소규모 참여자 그룹이 필요했습니다(Crouch와 McKenzie 2006). 소규모 접근 방식은 연구 결과의 전이성을 제한하지만, 교사들의 생생한 경험, 맥락, 내러티브의 개성을 보존하고 그들 사이의 주제적 유사성을 더 충분히 탐구할 수 있게 해줍니다. 
Our research design and objectives called for a small participant group, as we sought to understand and explore the range and complexity of these teachers’ perceptions—not to quantify or generalize them (Crouch and McKenzie 2006). Although a small-scale approach limits the transferability of findings, it preserves the individuality of teachers’ lived experiences, contexts and narratives, and allows any thematic similarities between them to be more fully explored.

인터뷰
Interviews

KA는 연구용 인터뷰에 대한 교육을 받은 후 참여자들의 학교에서 반구조화된 인터뷰를 진행했습니다. KA는 자신을 의학교육 박사과정에 재학 중이며, WA 이니셔티브 실행을 전문으로 하는 사람이라고 소개하며 의사나 의대 직원이 아님을 명확히 밝혀 참가자들이 느끼는 권력 불균형을 바로잡고 자유롭게 이야기할 수 있도록 유도했습니다. 참가자들에게 던진 주요 질문의 요약은 표 2에 나와 있습니다. 또한 참가자들은 인터뷰 가이드에서 다루지 않았지만 관련성이 있다고 생각되는 주제를 소개하도록 장려되었습니다. 
KA conducted semi-structured interviews at participants’ schools, following training on interviewing for research. KA introduced herself as a PhD student in medical education whose professional background was in the area of implementing WA initiatives, clarifying that she was not a doctor nor medical school staff to calibrate any perceived power imbalance and encourage participants to speak freely. A summary of the main questions for participants are included in Table 2. Participants were also encouraged to introduce topics they perceived to be of relevance which were not covered in the interview guide.

참가자에게는 연구에 대해 질문할 기회가 주어졌으며, 연구 참여는 전적으로 자발적인 것이며 동의를 철회할 수 있음을 알렸습니다. 모든 참가자는 인터뷰 내용을 음성으로 녹음하여 전사하고 인터뷰 중 현장 메모를 작성하는 데 동의하는 서면 동의서를 제출했습니다. 
Participants were given the opportunity to ask questions about the study, were made aware that participation was entirely voluntary and that their consent could be withdrawn. All participants gave written consent to participate, for their interview to be audio recorded for transcription and for field notes to be made during interview.

데이터 분석
Data analysis

템플릿 분석(King 2004)은 코딩이 진행됨에 따라 데이터를 주제별로 정리하고 분석하여 주제 간의 관계를 의미 있게 보여주기 위해 사용되었습니다. 템플릿 분석은 해석과 패턴 식별을 개발하는 데 있어 선행 문헌과 경험의 불가피한 영향을 인정하고 통합하지만, 주로 데이터 중심이며, 이는 우리의 탐색적 연구에서 중요했습니다. 하지만 데이터의 하위 집합을 기반으로 구축된 초기 템플릿의 형태로 구조를 조기에 도입한 것은 특정 연구 질문에 초점을 맞추는 데 도움이 되었습니다. 템플릿은 코딩이 진행됨에 따라 개선되고 수정되었으며, 예상치 못한 인사이트가 포함될 수 있도록 유연성을 유지하여 분석 내에서 귀납적 성격을 유지했습니다. 
Template analysis (King 2004) was used to organise and analyse data thematically and meaningfully show the relationships between themes as coding progressed. Template analysis acknowledges and incorporates the inevitable influence of prior literature and experience in the development of interpretations and pattern-identification, but remains largely data-driven, which was important within our exploratory study. The early introduction of structure, in the form of an initial template built on a subset of data, was beneficial however as it directed our focus to our specific research question. The template was refined and revised as coding progressed and remained flexible for unexpected insights to be included, thus maintaining an inductive character within the analysis.

인터뷰 녹음은 그대로 전사하고, 익명으로 처리하고, 정확성을 검증한 후 NVivo 11(호주 빅토리아주 돈캐스터에 위치한 QSR International Pty Ltd)로 가져와 데이터 분석을 정리하고 용이하게 했습니다. KA는 초기 코딩을 맡았고, 이후 분석 주기 동안 정기적으로 JC 및 SN과 이 코드에 대해 논의하여 확인 가능성을 보장했습니다. 개발 주제에 대한 신뢰성을 면밀히 검토하고 연구팀 간의 비판적 대화를 통해 도출된 결정에 대해 탐구하고 이의를 제기하며 정당화했습니다. 
Interview recordings were transcribed verbatim, anonymized, proofed for accuracy and imported to NVivo 11 (QSR International Pty Ltd, Doncaster, Vic, Australia) to organise and facilitate data analysis. KA undertook initial coding and discussed these codes with JC and SN at regular intervals throughout subsequent analytical cycles to ensure confirmability. Developing themes were scrutinised for trustworthiness and explored through critical conversation amongst the research team to explore, challenge and justify decisions taken.

윤리
Ethics

애버딘 대학교의 예술 및 사회과학, 비즈니스 분야의 연구 윤리 및 거버넌스 위원회에서 연구 수행을 허가했습니다. 
Permission to conduct the study was granted by the Committee for Research Ethics and Governance in Arts and Social Sciences and Business at the University of Aberdeen.

11명의 교사가 연구에 참여했습니다. 이들은 영국의 3개 지역에 있는 7개 학교에서 근무했습니다(표 1 참조). 교사들은 평균 10.5년, 최소 4년의 교육 경력을 가지고 있었습니다. 인터뷰는 1:1로 진행되었지만, 교사들의 요청에 따라 두 명의 교사가 함께 인터뷰한 경우도 있었습니다. 인터뷰 시간은 평균 28분(범위: 23~60분)이었습니다.  
Eleven teachers participated in the study. They worked in seven schools across three regions of the UK (see Table 1). Collectively, teachers had an average of 10.5 years and a minimum of 4 years teaching experience. Interviews were one-to-one, except in one case, where two teachers were interviewed together at their request. Interview length averaged 28 min (range: 23–60 min).

결과 발표에서는 학생들이 의대를 지망하고 지원서를 준비하도록 격려하는 데 있어 교사들이 자신의 역할을 어떻게 인식하고 있는지 살펴봅니다. 발표는 다음과 관련된 주제를 탐구하는 세 가지 섹션으로 구성됩니다: 
The presentation of results explores how these teachers perceived their role in encouraging pupils to aspire to medicine and to prepare an application. It is structured in three sections, which explore themes related to:

1. 의학에 대한 학생들의 열망에 대한 교사의 태도.
1.Teachers’ attitudes towards their pupils’ aspiration to medicine.

2. 학생이 의대 지원서를 준비하는 동안 상황적 장벽을 해결하는 데 있어 교사의 역할에 대한 인식.
2.Teachers’ perceived role in addressing contextual barriers during their pupils’ preparation for a medical school application.

3. 학생의 열망과 지원 결정에 영향을 미치는 교사의 역할에 대한 인식.
3.Teachers’ perceived role in influencing pupils’ aspirations and decisions about application.

뒷부분의 토론에서는 이러한 연구 결과를 학생들의 경험에 관한 광범위한 문헌에 배치하고 역량 접근법의 렌즈를 통해 비판적으로 분석합니다.
Later on, in the Discussion, these findings are situated within the wider literature on the experiences of pupils and critically analysed through the lens of the capability approach.

섹션 1: 의학에 대한 학생들의 열망에 대한 태도
Section 1: Attitudes towards pupils’ aspiration to medicine

전반적으로 교사들은 의학을 권위 있고 가치 있는 직업으로 긍정적으로 인식하고 있었습니다. 그들은 의대에 진학한 제자들에 대해 따뜻하고 자랑스럽게 이야기했습니다. 그러나 이러한 대체로 긍정적인 시각에도 불구하고 교사들은 제자들이 의사를 지망하는 것에 대해 문제가 있거나 위험한 열망으로 묘사하며 주저하는 모습을 보이기도 했습니다. 그 이유는 상황에 따라 크게 달라졌지만, 아래에서 살펴보는 세 가지 주요 주제에 집중되어 있었습니다: 
Overall, teachers expressed a positive perception of medicine as a prestigious and worthwhile career. They talked warmly and proudly of former pupils who had entered medical school. Despite this generally positive view, however, teachers also communicated hesitations about their pupils aspiring to medicine, portraying this as a problematic or risky aspiration. Reasons for this were strongly context dependent but clustered around three main themes, explored below:

가족의 압력으로 인한 열망
Aspiration due to family pressure

의대에 대한 열망이 보통에서 높은 수준인 학교(표 1 참조)의 교사들은 일부 가정에서 의대를 자녀의 성공의 중요한 지표로 삼는다고 인식했습니다. 교사들은 적어도 처음에는 "누가 시켜서 의대를 선택한"(참가자 7, 런던) 학생들이 많다고 설명했습니다. 
In schools where aspiration to medicine was moderate to high (see Table 1), teachers perceived that medicine was strongly prioritised by some families as an important marker of a child’s success. Teachers described numerous pupils who, at least initially, “choose medicine because they are told to” (Participant 7, London).

부모의 압력이 전적으로 해롭다고 볼 수는 없지만(교사들은 그것이 학생들에게 긍정적인 동기를 부여할 수도 있다고 생각했습니다), 모든 교사들은 의학이라는 직업에 대한 진정한 관심이 필수적이라고 강하게 강조했습니다. 따라서 그들은 학생이 의학에 대한 열망이 단지 가족의 바람을 반영한 것이라고 느낄 때 깊은 우려를 표명하고 이를 경계해야 한다고 생각했습니다.
Although parental pressure was not seen as entirely detrimental (teachers reasoned it could also positively motivate pupils), all teachers strongly emphasised that they felt a genuine interest in the career of medicine was essential. They thus expressed deep concern when they felt a pupil’s aspiration to medicine was solely a reflection of their family’s wishes and were alert to watch out for this.

교사들은 또한 의학에 대한 가족의 강한 열망이 학생들이 더 성취감이 있거나 개인적으로 보람을 느낄 수 있는 다른 직업을 고려하는 것을 방해할 수 있다고 인식했습니다:
Teachers also perceived that a strong familial aspiration to medicine could prevent pupils from considering a range of other careers, including those that were more achievable or personally rewarding:

두 가지 문제는... 열망이 항상 실제 전망과 일치하는 것은 아니며, 학생과 가족이 신중하지 않으면 다른 기회, 다른 경로를 차단하는 효과를 가져올 수 있다는 것입니다. (참가자 8, 런던) 
the two-fold challenge is that… not always does the aspiration meet real prospects, and that it can have the effect of shutting down other opportunities, other routes if students and their families are not careful. (Participant 8, London)

부적절하거나 정보에 근거하지 않은 동기 부여
Unsuitable or uninformed motivations

교사들은 학업 능력이 있는 학생에게 의학은 분명한 선택지이며, 따라서 학생들이 이 진로를 선택하지 않는다면 그 가능성을 인식하지 못했기 때문이 아니라고 답했습니다. 교사들은 학생들이 어렸을 때부터 이 직업에 대해 알고 있었고, 사람들을 돕는다는 점 등 몇 가지 매력적인 측면을 인식하고 있었다고 느꼈습니다. 
Teachers reported that medicine was an obvious option for academically able pupils, and therefore if pupils chose not to pursue this career, it was not because they were unaware of it as a possibility. They felt that pupils were aware of the career from a young age and perceived some aspects to be appealing (e.g. the idea of helping people).

교사들은 일부 학생의 경우 의학 공부에 대한 열망에 동기가 부여되었지만, 다른 학생의 경우 이러한 열망이 순진하거나 획일화될 수 있으며, 의료 과목 내에 만연한 위계질서로 인해 의학에 대한 열망이 악화될 수 있다고 보고했습니다: 
Teachers reported that, for some pupils the aspiration to study medicine was well motivated, however, that for others, these aspirations could be naïve or uniformed, and that the draw to medicine could be exacerbated by a pervasive hierarchy within healthcare subjects:

...학생들과 이야기를 나누다 보면 그들은 실패하고 싶지 않고 의학을 정점으로 여기는 것 같아요. (참가자 9, 남부 잉글랜드)
…talking to the students and it’s just, they kind of don’t want to fail and they see that as the thing, they see that as the pinnacle, medicine. (Participant 9, South England)

그 결과, 교사들은 소수의 학생들이 의학이라는 과목이나 직업에 매력을 느껴서라기보다는 자신이 높은 성취도를 가진 학생임을 증명하기 위해 의학을 지망한다고 인식했습니다. 교사들은 이러한 동기가 의학과 같은 직업에 대한 즐거움, 탁월함, 인내심 측면에서 부적합하다고 생각했습니다. 
As result, teachers perceived that a minority of pupils aspired to medicine, not because the subject matter or career appealed, but rather to prove themselves as a high achieving student. Teachers saw this motivation as unsuitable, believing it to be untenable in terms of enjoying, excelling and persevering in a vocational career such as medicine.

'성적 미달'에 대한 두려움
Fear of not ‘making the grade’

교사들은 많은 학생들이 의대 과정과 직업에서 성공할 수 있는 충분한 학업 능력과 적합한 개인적 자질을 갖추고 있다고 확신했습니다. 그러나 그들은 학교와 학생의 가정 생활의 맥락적 요인을 고려할 때 학업 성취도가 높은 학생들도 입학 요건을 달성하는 데 어려움을 겪을 것이라고 믿었습니다('방법' 섹션 참조). 
Teachers were confident that many of their pupils had ample academic ability and suitable personal qualities to be successful in a medical course and career. However, they believed that even their high-fliers would struggle to achieve the academic entry requirements given the contextual factors in their schools and pupils’ home lives (see section “Methods”).

저에게 찾아오는 학생들 중에는 절대 성적을 올릴 수 없다는 것을 알고 있는 학생들도 있습니다(참가자 10, 남부 잉글랜드).
I do have students who come to me and I know they are never going to make the grade (Participant 10, South England)

따라서 많은 학생들이 의대에 대한 열망은 학생들이 그 직업을 가질 능력이 없어서라기보다는 입학 경쟁률과 성적 요건 때문에 비현실적인 것으로 암시되었습니다.
Aspiration to medicine was thus implied to be unrealistic for many pupils because of the competitiveness of entry and the grade requirement, rather than because pupils were not capable of the career.

섹션 2: 의대를 위한 준비
Section 2: Preparation for medicine

이 섹션에서는 교사들이 학생들이 의학에 대한 열망을 키우고 지원서를 준비하는 데 어떻게 도움을 주었는지 살펴봅니다. 전반적으로 교사들은 일반적으로 의대 지원 과정을 벅차고, 길고, 감정적으로 어렵다고 생각했습니다. 치열한 입시 경쟁과 낮은 합격률로 인해 교사들은 학생들이 상당한 시간, 에너지, 정서적 헌신을 해야 하는 만큼 위험 부담이 큰 투자라고 생각했습니다:  
This section explores how teachers helped pupils develop an aspiration for medicine and prepare for an application. Overall, teachers generally regarded the application process to medicine as daunting, long and emotionally difficult. The intense competition for places and the schools historic acceptance rates, meant that teachers framed the substantial time, energy and emotional commitment pupils required as a high-risk investment:

...하지만 제가 다른 학생들과 공유할 수 있는 것은 이것은 긴 과정이라는 것입니다. 정말 하고 싶다면 인내심을 가져야 하고, 긴 과정이 될 것입니다. (참가자 7, 런던) 
…but that’s something I can share with the other students, this is a long process: if you really want to do it, you are going to have to hang in there, it’s going to be a long process. (Participant 7, London)

학교의 물질적 제약
Material constraints in schools

교사들은 학생들이 의학에 대한 학문적, 비학문적 요구 사항을 인식하도록 하는 것이 자신의 역할이라고 답했습니다. 그러나 그들은 학생들이 이러한 입학 요건을 충족하기 위해서는 정보 외에도 적극적인 지원이 필요하다는 점을 인정했습니다. 많은 참여 교사들이 자발적으로 학생들을 지원하기 위해 추가 세션을 운영했지만, 의대 입학 시험 준비 지원 부족, 수업 시간 단축, 제한된 과목 선택, 인력 부족 등 학생들에게 부과된 제약을 해결할 수 있는 능력에 대해 여전히 좌절감을 느끼고 때때로 무력감을 느꼈습니다: 
Teachers reported that it was their role to ensure pupils were aware of the academic and non-academic requirements for medicine. They acknowledged, however, that in addition to information, pupils required active support if they were to meet these entry requirements. Although many of the participating teachers voluntarily ran extra sessions to help support their pupils, they still expressed frustration and occasionally a sense of powerlessness about their ability to address the constraints imposed on pupils, for example: lack of support to prepare for the compulsory medical admissions tests; reduced teaching hours; limited subject choices; and staff shortages:

... 화학 선생님이 떠나고, 생물 선생님이 떠나고, 물리학 선생님이 떠나고, [학생들은] 결국 시간이 거의 없는 부교사나 부장 선생님이 가르치게 되었습니다... 학생 스스로 많은 것을 해야 한다는 것은 알지만, 선생님의 도움이 필요합니다. 결과적으로 [의대 지망학생은] 의대를 지원하지 않고 마지막 순간에 그만뒀어요. (참가자 5, 스코틀랜드 북동부)
…the Chemistry teacher left, the Biology teacher left, the Physics teacher left, and [the pupils] ended up being taught by a deputy or the Head of Department who had practically no time… I know you’re supposed to do a lot of it yourself, but you do need some teacher input. Consequently, [our aspiring medic] didn’t apply for medicine, he pulled out at the last minute. (Participant 5, Northeast Scotland)

학교는 특히 과학 분야에서 직원, 시설, 장비가 부족한 경우가 많았습니다. 일부 학교에서는 수업 시간을 해당 과목의 권장 수업 시간의 절반 이하로 제한하거나, 자격 수준이 다른 학생들을 함께 가르치는 등의 방법을 통해 부족한 인력을 확보했습니다. 시골 학교들은 학생과 교직원을 한데 모아 한 곳에서 마지막 학년 과학을 가르치기 위해 힘을 합쳤습니다. 한 교사는 이러한 접근 방식이 성적이 우수한 학생들이 '같은 생각을 가진 다른 학생들'과 어울리며 자신감을 키울 수 있게 해준다고 칭찬했습니다(참가자 1, 스코틀랜드 북동부). 특히 많은 시골 학생들이 대학 진학을 위해 집을 떠나는 것에 대해 불안해하는 상황에서 이러한 접근 방식은 많은 시골 학생들에게 의대 진학을 막는 장애물이었습니다. 그러나 또 다른 학생은 일주일에 여러 번 다른 도시로 통학해야 하는 상황을 지적했습니다: "피곤하죠. 좋지 않아요."(참가자 5, 스코틀랜드 북동부). 
The schools often lacked staff, facilities and equipment, especially in science. Some schools resorted to restricting teaching hours to less than half those recommended for the course, or teaching pupils at different qualification levels together, to ensure provision. Rural schools banded together to collectively pool pupils and teaching staff to provide final year science in a central location. This approach was praised by one the teacher as it allowed high-achieving pupils to socialise with “like-minded others” and build their confidence (Participant 1, Northeast Scotland) especially as many pupils in the school were nervous about leaving home to attend university, an anxiety that precluded medical school for many rural pupils. However, as another pointed out, traveling several times a week to another town to attend class: “That’s tiring. You know, it’s not good” (Participant 5, Northeast Scotland).

모든 교사는 가능한 경우 학교 및 지역 대학에서 학생들을 지원받을 수 있는 곳으로 안내했습니다. 잠재적 지원자가 많은 6학년 대학(16~19세 학생만 받는 대규모 학교-표 1 참조)에서는 교사들이 의대 및 유사 학과(예: 옥스브리지, 법학)를 지망하는 학생들을 위한 또래 그룹이나 준비 프로그램을 만들고 운영했습니다. 한 교사는 이 프로그램을 특권층 학생들 사이에서 자연스럽게 일어나는 것과 같은 수준으로 학생들의 기술과 문화적 인식을 개발하기 위한 도구라고 설명했습니다: 
All teachers directed pupils to sources of support where available, either in school and/or by local universities. In sixth-form colleges (large schools which take pupils aged 16-19 only—see Table 1), where there were greater numbers of potential applicants, teachers created and ran peer groups or preparation programmes for pupils aspiring to medicine and similarly classified subjects (e.g. Oxbridge, Law). One teacher described their programme as a tool to try to develop pupils’ skills and cultural awareness to the same level as happens naturally for more privileged pupils:

이것은 수업에서 가르치는 것이 아닙니다... 이것은 동화되는 것이며, 우리는 이러한 [특권층] 지원자 대부분이 종종 접할 수 있는 문화 등을 포함하여 개인적, 학문적 발전의 거의 자연스러운 과정인 것과 일치하는 메커니즘을 찾아야 합니다. (참가자 8, 런던)
This is not something that you’re taught in a lesson… this is something that’s assimilated, and we’ve got to find mechanisms to kind of match what for most of these [more privileged] applicants will be almost a natural process of personal and academic development, including all those wider enrichments of culture and so forth that they often have access to. (Participant 8, London)

교사들은 자신의 시간과 학교 자원이 제한적이라는 점을 인정하면서도 이러한 그룹을 학생들이 감정적으로 힘들고, 고된 의대 선택 과정에서 서로를 지원할 수 있는 기회로 인식했습니다: 
Acknowledging that their own time and school resources were limited, teachers also recognised these groups as an opportunity for pupils to provide each other with mutual support during the emotional and arduous selection process for medicine:

제 가장 큰 임무 중 하나는 학생들이 인생에서 처음 겪게 될지도 모를, 정말 큰 거절에 대비하는 것이며, 그것은 연이은 거절일 수도 있습니다. 그리고 높은 점수를 받은 학생의 경우... 대부분 한 번도 해본 적이 없기 때문에 대처하기가 매우 어렵습니다. 그리고 그것은 정말 모든 학생들의 자신감을 무너뜨리고, 모든 학생들의 자신감을 무너뜨립니다. 그래서 우리는 [프로그램] 내에서 많은 공유와 토론, 상호 지원 그룹이 진행되고 있으며, 사람들이 직면하고 있는 문제와 이슈에 대해 이야기하는 매우 개방적인 세션입니다. (참가자 7, 런던) 
One of my biggest jobs is preparing them for possibly their first rejection in their lives, and really big rejection, and it could be serial rejections as well. And for high flying students… that is such a difficult thing to cope with… most of them haven’t done it before. And that really does knock back the confidence in all, well in all of them, it knocks them back. And so we have an awful lot of sharing and discussions and mutual support groups going on within [the programme], it’s a very, very open session, where people talk about the issues and the problems they are facing. (Participant 7, London)

의료진 지망생이 적은 학교일수록 대학의 지원 프로그램에 더 많이 의존하여 맞춤형 준비를 제공했습니다. 시골에 있는 교사들은 학생들이 버스비를 감당하지 못하거나 대학까지 가는 여정에서 포기할까 봐 걱정하여, 한 교사는 자신의 차로 학생들을 행사장에 데려다 주었다고 설명했습니다. 참가자들의 이야기는 의료진 지망생을 지원하기 위한 개별 교사들의 헌신적인 노력을 보여주었지만, 이미 축소되거나 중단된 제도의 사례도 보고했습니다. 따라서 이러한 관행은 제도화된 관행이라기보다는 헌신적인 개인들의 전유물로 보였으며, 교사의 은퇴 또는 이러한 프로그램에 할당된 시간과 자원의 철수는 이러한 프로그램의 지속을 끊임없이 위협하는 요소로 작용했습니다. 
Schools with small numbers of aspiring medics relied more heavily on universities’ outreach programmes to provide targeted preparation. Rural teachers were concerned pupils might be unable to afford the bus fare or be put off by the journey to the university, so one teacher described how she transported pupils to events in her own car. Participants’ accounts revealed the dedication of individual teachers to supporting aspiring medics, however, they also reported examples of schemes that had already been curtailed or discontinued. These practices thus appeared to be largely the preserve of committed individuals rather than institutionalised practices, and the prospect of a teacher’s retirement or the withdrawal of allocated time and resources to these programmes was a constant threat to their continuation.

이러한 장벽을 고려할 때 교사들은 뛰어난 추진력, 결단력, 적극적인 태도를 의료 지망생에게 필수적인 특성으로 꼽았습니다. 
Given these barriers, teachers considered exceptional drive, determination and a proactive attitude to be essential characteristics for medical aspirants.

낮은 자신감으로 인한 장벽
Low confidence as a barrier

교사들은 학생들이 저소득층 가정에서 생활하는 것과 관련된 어려움과 스트레스 요인을 자주 경험한다고 보고했습니다(예: "과밀, 부모님 또는 조부모님이 몸이 좋지 않으세요"(참가자 6, 런던)). 따라서 교사들은 학생들이 "다른 지역의 많은 또래들이 겪지 않는 엄청난 장애물과 도전에도 불구하고"(참가자 8, 런던) 학업 성취도를 높이고 침착함을 유지하며 동기를 유지하는 놀라운 회복탄력성을 보인다는 사실을 발견했습니다. 그러나 그들은 또한 많은 학생들이 잠재적 의료인으로서 자신을 상상할 때 '사기꾼 증후군'(Clance 1985)을 경험하여 지원서에서 자신의 강점, 경험 및 회복탄력성을 의료계에서 바람직한 특성으로 인식하고 논의하는 데 어려움을 겪었다고 보고했습니다. 
Teachers reported that their pupils often experienced difficulties and stressors related to living in low-income households (e.g. “overcrowding, parents perhaps, or grandparents, are unwell” (Participant 6, London)). Teachers thus found that their pupils demonstrated admirable resilience to achieve academically, keep calm and stay motivated “often despite incredible obstacles and challenges, not necessarily face by many of their peers in other areas” (Participant 8, London). They also reported, however, that many pupils experienced ‘imposter syndrome’ (Clance 1985) when imagining themselves as a potential medic and thus struggled to recognise and discuss their strengths, experiences and resilience as desirable traits for the career in their applications.

의학에 대한 열망이 일반적이지 않은 학교의 교사들은 자신감이 낮기 때문에 학생들이 공개적으로 의대 지원을 결심하고 준비하는 데 방해가 된다고 보고했습니다. 그 결과, 교사들은 때때로 학생이 의대에 관심이 있다는 사실을 인지하지 못해 적절한 정보나 지원을 제공하지 못하는 경우가 있었습니다: "우리가 완전히 놓친 한 여학생은 정말 끔찍했습니다."(참가자 5, 스코틀랜드 북동부). 
In schools where aspiration to medicine was not common, teachers reported that low confidence deterred pupils from openly committing to, and preparing for, a medical application. As a result, teachers were sometimes not aware that a pupil was interested, and thus did not know to offer them targeted information or support: “one girl we completely missed which was terrible” (Participant 5, Northeast Scotland).

한 교사는 학생들이 의학에 관심을 보인 것에 대해 "거의 사과할 뻔했다"고 말했는데, 그 이유는 학생들이 "충분히 잘할 수 있을 것"이라고 믿지 않았기 때문입니다(참가자 4, 스코틀랜드 북동부). 또 다른 학생은 학급 앞에서 의학에 대한 열망을 드러내면 또래 집단으로부터 조롱을 받을 수 있다고 말했습니다: 
One teacher reported pupils were “almost apologetic” for their interest in medicine, because they didn’t believe they would “be good enough” (Participant 4, Northeast Scotland). Another suggested revealing an aspiration for medicine in front of the class would invite ridicule from the peer group:

친구들이 비웃을 것이기 때문에 '나는 정말 의사가 되고 싶고, A를 5개나 받기로 결심했다'고 말할 수 있을 만큼 자신감이 있는 것은 아닙니다. 농담일 수도 있고 농담일 수도 있지만, 그런 농담에 대해 '그래, 넌 어떻게 할 건데'라고 대답할 수 있을 만큼 튼튼하지 못합니다."(참가자 3, 스코틀랜드 북동부).
They’re not always confident enough to say: ‘I really want to do medicine, I’m determined to get these five As’ you know, because their mates will have a pop at them. Maybe just banter, maybe just jokes, but they’re not sturdy enough to handle that kind of banter, to have a response and say: ‘Yeah I am, what are you going to do?’ (Participant 3, Northeast Scotland).

이 학교의 지도 교사들은 학생들과 일대일로 진로 선택에 대해 논의할 수 있는 시간을 어느 정도 보장받았지만, 이는 일반적으로 연간 10분으로 제한되었습니다. 따라서 교사들은 진로에 대한 열망과 조언을 제공하기 위해 공식적인 구조보다는 학생과 과목 교사 간의 비공식적인 대화에 크게 의존하고 있었습니다. 
Guidance teachers in these schools did have some protected time to discuss career choices with pupils one-to-one, however, this was typically limited to an annual ten-minute appointment. Teachers thus heavily relied upon informal conversations between pupils and subject teachers to provide careers aspiration and advice, rather than formal structures.

섹션 3: 학생의 결정에 영향력 행사하기
Section 3: Influencing pupils’ decisions

이 섹션에서는 교사가 의학에 대한 열망에 영향을 미치기 위해 사용한 전략과 지원 여부에 대해 학생들에게 조언하는 접근 방식에 대해 설명합니다. 이를 통해 조언자로서의 의무와 역할의 경계에 대한 참가자들의 인식을 살펴봅니다. 
This section discusses the strategies teachers employed to influence aspiration to medicine, and their approaches to advising pupils on whether or not to apply. In so doing, it explores our participants’ perception of the duties and boundaries of their role as an advisor.

지원 동기와 적합성을 테스트할 수 있는 기회 제공
Promoting opportunities to test motivations and suitability

모든 학교에서 교사가 학생에게 의대 진학을 구체적으로 제안하기보다는 학생이 자발적으로 의대 진학을 희망한다고 답했습니다. 또한, 한 학교를 제외한 모든 학교에서 교사들은 학생들이 의학에 대한 열망을 드러냈을 때 이를 긍정적인 진로 선택으로 인정하는 동시에 "가능한 한 창의적으로 생각하라"(참가자 11, 남부 잉글랜드), "네가 가지고 있고 할 수 있는 모든 것을 생각하라"(참가자 9, 남부 잉글랜드)고 격려했다고 보고했습니다. 이러한 전략은 다른 직업도 똑같이 가치 있고 흥미로운 것으로 제시하고, 가족의 압력이나 의학이 최고 또는 유일한 직업으로 인식되는 위계질서에 맞서기 위한 것이었습니다:
Across all schools, teachers reported that their pupils usually volunteered an aspiration for medicine, rather than teachers suggesting this specifically to pupils. Moreover, in all but one school, teachers reported that when pupils revealed an aspiration to medicine, they acknowledged this as a positive career choice, but also simultaneously encouraged them to “think as creatively as possible” (Participant 11, South England) and “think of all you have and could possibly do” (Participant 9, South England). This strategy was intended to present other careers as equally valuable and interesting, and to combat familial pressure or the perceived hierarchy of medicine as the best or only career choice:

저는 학교 내에서 과학을 장려하고 학생들에게 의학, 생물 의학 같은 것을 홍보하는 데 많은 노력을 기울이고 있습니다. (참가자 1, 스코틀랜드 북동부) 
I’m heavily involved in trying to help promote sciences within the school and promote medical, biomedical sort of things to pupils. (Participant 1, Northeast Scotland)

교사들은 학생들이 의사라는 직업의 현실에 대해 더 많이 배우고, 순진하거나 부적절한 동기를 없애고, 이 직업이 즐겁고 보람을 느낄 수 있는지 알아볼 수 있는 기회를 제공하는 것이 중요하다고 생각했습니다. 또한 의학에 대한 이해와 대안 직업에 대한 인식이 높아지면 학생들이 부모의 뜻을 거스르고 자신의 뜻을 관철할 수 있는 자신감을 키우는 데 도움이 될 수 있다고 생각하는 교사들도 있었습니다.
Teachers considered it important to guide pupils to opportunities in which they could learn more about the realities of a medical career, to dispel naïve or inappropriate motivations and discover whether they would find the career enjoyable and rewarding. Some also felt a better understanding of medicine, and awareness of alternative careers, could help pupils build up enough confidence to resist parents’ wishes in favour of their own.

교사들은 학생들이 자기소개서와 면접 기술을 준비할 수 있도록 지원하는 데 중점을 두었는데, 이는 부분적으로는 높은 수준의 성과를 내기 위한 것이지만, 학생들이 자신에게 적합한 기술과 동기를 가지고 있는지 스스로 탐구하고 질문하도록 격려하기 위해서이기도 했습니다. 입학 시험(예: UKCAT, BMAT)에 익숙해지는 것은 가장 적은 관심을 받았습니다. 
Teachers focussed their own support on helping pupils prepare their personal statement and interview skills: partly to produce a high-quality performance, but also further encourage pupils to explore and question whether they possessed the right skills and motivations. Familiarization with admissions tests (e.g. UKCAT, BMAT) were given the least attention.

선택의 자유 보장
Preserving a freedom to choose

위에 제시된 이유로 교사들은 학생의 진로 결정에 지나치게 많은 영향력을 행사하는 것에 대해 조심스러워하는 것으로 나타났습니다. 따라서 진로에 대해 조언할 때는 사실에 입각한 조언을 하려고 노력했으며, 학생의 장래 희망을 유도하려는 경우 일반적으로 의학보다는 과학이나 보건 과목과 같은 특정 과목에 대한 조언을 주로 했습니다: 
For the reasons given above, teachers appeared cautious about exerting too much influence in a pupil’s decision about medicine. When advising about the career they thus tried to appear factual and if they did try to direct pupils’ aspirations, this was generally towards a group of subjects (e.g. the sciences or healthcare subjects) rather than medicine in particular:

저는 모든 것을 매우 사실적으로 설명하는 편입니다. '이 일을 하려면 이런 기술이 필요하고, 이런 종류의 기술을 찾고 있다'고 설명하면 학생들이 알아서 결정하도록 하는 편입니다. 저는 영향을 미치려 한다기보다는 정보를 제공하려고 노력하는 것 같아요. (참가자 4, 스코틀랜드 북동부)
I just tend to keep it all very factual: ‘this what you’ll need to do, this is the kind of skills they’re looking for’ and then they go away and make up their minds kind of thing. I don’t think I try and influence, I think I just try and inform. (Participant 4, Northeast Scotland)

마찬가지로, 학생이 의학에 관심을 갖지 않기로 결정한 경우에도 대개는 문제 삼지 않고 받아들여졌습니다:
Likewise, if a pupil decided not to pursue an interest in medicine, this was also usually accepted without a challenge:

그녀의 지도 선생님은... '이봐, 넌 그냥 한 번 해보고 이런 것들을 시도해봐야 해'라고 말했지만, 그녀는 와서 아니요, 나는 그것을하고 싶지 않다고 말했습니다. 그래서 그게 끝이었죠. 그래서 우리는 그들을 강요할 수 없습니다. (참가자 6, 스코틀랜드 북동부)
Her Guidance teacher… he kind of said: ‘look, you should just give it a go and try these things’, but she came and she said, no, I don’t want to do it. So, that was that. So, you know, we can’t make them do it. (Participant 6, Northeast Scotland)

학생들은 다양한 이유로 의대를 지원하지 않기로 결정했지만, 가장 흔한 이유는 성적이 충분히 높지 않거나 높을 것으로 예상되지 않았기 때문이었습니다. 교사들은 대개 학생들이 스스로 이러한 결정을 내렸으며 교사의 개입이 필요 없었다고 보고했습니다. 
Although pupils decided against applying for medicine for a variety of reasons, most commonly this was because they had not achieved, or were not predicted to achieve, high enough grades. Teachers reported that pupils usually came to this decision by themselves, and with no need for teacher intervention.

그러나 입학 요건을 갖추지 못한 학생이 지원하기로 결정한 경우, 교사들은 학생들이 현실적인 기회를 알 수 있도록 하는 것이 의무라고 생각했습니다: "학생들이 자신에게 불리한 확률이 있다는 것을 알 수 있도록요."(참가자 11, 남부 잉글랜드). 그들은 자신의 역할에서 이 부분이 어렵다고 느꼈습니다: "학생들이 받아들일 수 있는 적절한 시기에 현실감을 주는 것이 때때로 어려운 일이라고 생각합니다."(참가자 9, 남부 잉글랜드). 
When pupils were determined to apply without possessing the entry requirements, teachers felt, however, that it was their duty to ensure pupils knew their realistic chances: “so they can see that, you know, the odds are stacked against them” (Participant 11, South England). They found this part of their role challenging: “getting the realism at the right time when they can take it I suppose, I think, is the challenge sometimes” (Participant 9, South England).

그럼에도 불구하고 교사들은 "궁극적으로는 학생이 결정해야 한다"(참가자 11, 남부 잉글랜드), "나는 학생을 설득하지 않는다"(참가자 7, 런던)고 강력하게 답했습니다. 오히려 교사는 학생들이 정보에 입각한 현실적인 방식으로 스스로 결정을 내릴 수 있도록 돕는 것이 자신의 역할이라고 생각했습니다. 교사들은 이로 인해 더 적은 수의 후보자가 지원하지만 더 많은 후보자가 지원하게 될 것이라고 답했으며, 이는 긍정적으로 인식되었습니다. 
Nonetheless, teachers strongly reported that “ultimately it has to be the student’s decision” (Participant 11, South England) and “I don’t dissuade them” (Participant 7, London). Rather, teachers saw their role as aiming to ensure pupils made their own decisions in an informed and realistic way. Teachers reported that this meant fewer, but stronger, candidates would apply, which was perceived positively.

의과대학에 대한 접근성을 확대하고 코호트를 다양화해야 한다는 압력이 증가하고 있는 가운데(Mathers 외. 2011; McLachlan 2005; O'Neill 외. 2013), 이 연구는 접근성 확대(WA) 학교의 교사들이 의학 홍보를 꺼리는 것으로 보고된 이유에 대한 상당한 지식 격차를 다루고 있습니다(Mathers and Parry 2009; McHarg 외. 2007; Medical Schools Council 2013; UCAS 2015). 
Against a backdrop of increasing pressure on medical schools to widen access and diversify their cohorts (Mathers et al. 2011; McLachlan 2005; O’Neill et al. 2013) this study addresses a significant knowledge gap about why teachers in widening access (WA) schools have been reported as reluctant to promote medicine (Mathers and Parry 2009; McHarg et al. 2007; Medical Schools Council 2013; UCAS 2015).

저희는 학생들이 의대 진학을 꿈꾸고 준비하도록 격려하는 데 있어 교사들의 역할을 더 잘 이해하기 위해 다양한 영국 고등학교와 6년제 대학에 소속된 11명의 교사를 인터뷰했습니다. 연구 결과에 따르면 교사들은 이전 연구에서 학생 및 이전 학생들과 동일한 행동을 많이 보고했습니다. 여기에는 다음 등이 포함되었습니다. 

• 의학에 지원하는 것이 어려울 것이라고 학생들에게 경고하는 것(Mathers and Parry 2009),
• 합격하는 학생이 거의 없을 것이라고 믿는 것(Southgate 외 2017),
• 학교 내 물질적 제약으로 인해 교사들이 충분한 지원을 제공할 수 없다는 것(Mathers and Parry 2009; Robb 외 2007; Southgate 외 2015)

그러나 중요한 것은 연구 참여자들이 학생들의 의과대학 지원으로부터 막으려는 의도가 없었다는 점입니다. 대신, 교사들은 학생들이 의학의 현실에 대한 지식을 향상시키고 대안적인 직업을 연구하며 지원 여부를 스스로 결정할 수 있는 역량을 키울 수 있도록 안내하는 것, 즉 영향을 주는 것이 아니라 정보를 제공하는 것이 자신의 역할이라고 답했습니다. 
We interviewed eleven teachers in a diverse range of UK high schools and sixth-form colleges targeted by WA initiatives, to better understand their perceived role in encouraging pupils to aspire to, and prepare, an application to medicine. Our findings show that teachers reported many of the same behaviours as pupils, and former pupils, have in previous studies. These included:

• warning pupils that it was going to be tough to apply to medicine (Mathers and Parry 2009);
• a belief that few pupils would be accepted (Southgate et al. 2017); and
• that teachers were unable to provide sufficient support because of material restraints within their schools (Mathers and Parry 2009; Robb et al. 2007; Southgate et al. 2015).

Importantly, however, we found that our participants did not intend their actions to deter pupils from medicine. Instead, teachers reported that it was their role to guide pupils to improve their knowledge about the realities of medicine, as well as research alternative careers, and to build their capacity to make their own decisions about whether to apply: i.e. to inform, not influence.

접근성 확대를 위한 옹호자로서의 교사들
Teachers as advocates for widening access

무엇보다도 이번 연구는 교사들이 왜 이러한 인식을 갖고 있는지에 대한 인사이트를 제공합니다. 일부 참가자들은 학생들의 의대 진학 준비를 지원하기 위해 상당한 시간, 에너지, 헌신을 쏟았음에도 불구하고, 특권privileged 교육기관이나 가정에서 제공하는 혜택과 경쟁하기에는 학교의 역량이 제한적이라는 점을 기꺼이 인정했습니다. 교사들은 가장 강하고 회복탄력성이 뛰어나며 헌신적인 지원자들이 의대 지원에서 성공할 수 있는 학교 환경(그리고 이후 의사로서의 경력)을 묘사한하면서도, 대다수의 지원자들은 지원 전 포기하게 되는 학교 환경을 설명했습니다. 
Vitally, our study offers insight into why teachers held these perceptions. Despite the substantial time, energy and commitment some of our participants dedicated to supporting their pupils prepare for medicine, they readily acknowledged the limited capacity of their schools to compete with the advantages provided by more privileged institutions and families. Teachers described school environments in which the strongest, most resilient and dedicated applicants could succeed in their medical applications (and subsequently in their careers as doctors) whereas the majority would bow out pre-application.

따라서 교사의 관행과 태도는 그들이 일하는 구조에 맞춰져 있으며, 낮은 기대치를 설정한 교사에게 책임을 돌리는 것은 학교의 자원 부족과 특정 지역이 경험하는 박탈감의 수준을 더 악화시킨다는 주장이 제기될 수 있습니다. 직업에 대한 공정한 접근에 관한 패널의 최종 보고서에 따르면: 
It can thus be argued that teachers’ practices and attitudes are adapted to the structures they work within, and that an individualisation of blame onto teachers for setting low expectations detracts from the wider under-resourcing of schools and levels of deprivation experienced by certain neighbourhoods. As the Final Report of the Panel on Fair Access to the Professions states:

현재 많은 진로 상담이 전문 상담사가 아닌 정규직 교사에 의해 제공되고 있습니다. 젊은이들의 미래가 교사의 정상적인 교육 의무를 넘어선 조언과 지원에 의존하는 것은 용납될 수 없습니다. 많은 교사들이 선의의 의도를 가지고 청소년의 사회 진출을 돕기 위해 헌신하고 있지만, 진로 상담은 전문적이고 전문적인 서비스이므로 이를 바탕으로 운영되어야 합니다(2009 직업에 대한 공정한 접근에 관한 패널).
much careers advice is currently provided by staff who are full-time teachers, rather than professional advisers. It is not acceptable that the futures of young people rely on teachers having to provide advice and support above and beyond their normal teaching duties. While many teachers are well-meaning and dedicated to helping young people get on in life, careers advice is a professional and specialist service and should be operated on that basis (Panel on Fair Access to the Professions 2009)

따라서 우리는 누가 의사를 지망할 수 있는지에 대한 문화적 변화[더 이상 부유층과 중산층의 전유물로 여겨지지 않음(Alexander 외 2019)]가 있었음에도 불구하고, 중등 또는 고등 교육에서 자원이 부족한 지망생이 더 특권을 누리는 동료들과 실제로 의학에 들어갈 수 있는 동일한 기회를 가질 수 있도록 구조적 변화가 수반되지 않았다고 제안합니다. 
We thus suggest that although there has been a cultural shift in terms of who can aspire to medicine [it is no longer seen as the sole preserve of the affluent and middle-class (Alexander et al. 2019)], there has not been an accompanying structural shift in secondary or tertiary education to allow less well-resourced aspirants the same opportunities to actually enter medicine as their more privileged peers.

이러한 상황을 고려할 때, 교사가 의학의 옹호자가 되어야 하는지에 대해서도 의문을 제기할 수 있습니다. 이해관계자들이 젊은이들이 전통적으로 지역사회에서 고려되지 않았던 직업에 도전하도록 격려하는 것은 대학 WA 이니셔티브의 핵심입니다(Milburn 2012). 그러나 이 연구에 참여한 교사들은 오히려 학생들이 성취하고 시야를 넓히도록 격려하는 역할에 치우쳐 있었으며, 특정 이니셔티브를 강력하게 지시하거나 영감을 주거나 진로 선택에 대한 가치 판단을 내리는 것을 원하지 않았습니다. 교사들은 손을 떼는 접근 방식을 통해, 학생들이 더 많은 정보를 얻고 정보에 입각한 결정을 내릴 수 있지만, 결정에 대한 주도권은 여전히 학생 스스로 행사할 수 있다고 암시했습니다. 이는 교육의 핵심 목표가 학생에게 스스로 합리적인 결정을 내릴 수 있는 능력과 자유를 제공하는 것이어야 한다고 주장하는 능력 접근법과 일맥상통합니다(Walker 2005). 이 이론은 사회 정의와 교육 간의 관계를 탐구하고(Gale and Molla 2015, Walker and Unterhalter 2010, Wilson-Strydom 2015), WA의 개입을 평가하는 데 점점 더 많이 사용되고 있습니다(Hart 2012, Walker 2008, Watts and Bridges 2006, Wilson-Strydom 2017). 또한, 젊은 세대가 성인이 되어 살아갈 환경이 매우 불확실하고 급변하는 상황에서 성인이 젊은 세대에게 '좋은' 미래나 직업에  대한 특정한 비전을 제시하는 것은 도덕적으로나 실질적으로 문제가 있다고 주장할 수 있습니다(Facer 2016).
Given these circumstances, we can also question whether teachers should be expected to be advocates for medicine. Encouraging stakeholders to challenge young people to aspire to careers not traditionally considered within their communities is at the heart of universities’ WA initiatives (Milburn 2012). The teachers in this study, however, rather erred towards a role in which they encouraged pupils to achieve and to broaden their horizons but did not wish to strongly direct or inspire them to any particular initiative or impart value-judgement on career choices. Teachers implied that their hands-off approach allowed pupils to be more informed and thus more capable of making an informed decision, but to still exert their own agency over decisions. This chimes with the capability approach, which argues a key goal of education should be to provide pupils with the capability and freedom to make rational decisions for themselves (Walker 2005). This theory is increasingly used to explore the relationship between social justice and education (Gale and Molla 2015; Walker and Unterhalter 2010; Wilson-Strydom 2015) and to evaluate WA interventions (Hart 2012; Walker 2008; Watts and Bridges 2006; Wilson-Strydom 2017). Moreover, it can be argued that it is morally and practically problematic for adults to ascribe particular visions of a ‘good’ future or career on younger generations, given the vast uncertainty and rapidly changing environment in which these generations will live as adults (Facer 2016).

그러나 학생의 진로 선택에 전적인 자유를 허용하는 것에 대한 정당한 비판도 존재합니다. 예를 들어, 학생들이 자신의 열망을 드러내고(Hart 2012), 높은 요구 사항을 달성하고, 의학과 같이 도전적이고 생소한 직업을 선택할 수 있도록 자신감과 기회를 주기 위해서는 보다 개입주의적인 자세가 필요할 수 있습니다(Donnelly 2015; Oliver and Kettley 2010). 따라서 '손을 떼는' 접근 방식은 사회적 정체를 초래할 위험이 있으며, 불이익disadvantage이 (문제가 제기되기보다는) 세대를 거쳐 재생산될 수 있습니다. 역량 접근법 내에서 개념화된 교사들의 설명에 따르면, 교사들은 WA 이니셔티브를 학생들의 열망 자체를 변화시키기보다는 학생들이 역량(예: 기술, 지식, 지원 시스템, 열망, 자신감)을 구축하여 자신의 삶과 진로 목표를 실현할 수 있는 더 나은 위치에 서기 위한 추가 자원으로 주로 인식하고 있었다. 또한 교사들의 설명에 따르면, 교사들은 학생들에게 이러한 (그리고 다른) 리소스를 안내하는 것이 자신의 역할이지 참석이나 참여를 강요하는 것이 아니라고 인식하고 있었습니다. 즉, 자원을 역량으로 전환할지 여부는 주로 학생 개개인의 선택에 맡겨져 있었습니다. 따라서 열망하는 역량은 자원을 통해 구축되지만, 학생들이 이용할 수 있는 자원을 다양한 잠재적 열망으로 전환하도록 장려하지 않으면 이미 보유하고 있는 자원을 고수할 가능성이 높다는 문제가 발생합니다. 
There are, however, also legitimate criticisms of allowing pupils total freedom in their choice of career. For example, a more interventionist stance may be necessary to give pupils the confidence and opportunity to reveal their aspirations (Hart 2012), achieve the high requirements, and select a challenging and unfamiliar career such as medicine (Donnelly 2015; Oliver and Kettley 2010). A ‘hands off’ approach thus risks social stasis and allows disadvantage to be reproduced through the generations rather than challenged. Conceptualised within the capability approach, teachers’ accounts suggest that they saw WA initiatives primarily as additional resources for pupils to build their capability (i.e. skills, knowledge, support systems, aspiration, confidence) and thus be better positioned to realise their life and career goals; rather than to change the pupils’ aspirations per se. Teachers’ accounts also suggest they perceived it to be their role to be to direct pupils to these (and other) resources but not to push them to attend or engage. In other words, the choice whether to convert the resource to capability was largely left to the choice of the individual pupil. A problem thus arises, in that the capability to aspire is built out of resources, but if pupils are not encouraged to convert the resources available to them into a range of potential aspirations, they are instead likely to stick with those they already possess.

따라서 이 연구는 WA 정책의 목표와 교사들의 우선순위 사이에 잠재적인 긴장이 있음을 드러냅니다. 교사들은 일반적으로 WA 이니셔티브와 의학을 지지했지만, 사회적 이동성을 높이기 위한 교육 정책의 추진보다 학생들이 자신의 열망과 기회를 넓힐 수 있는 선택의 자유를 우선시했습니다. 
This study thus exposes a potential tension between the objectives of WA policy and the priorities of teachers. Although teachers were supportive of WA initiatives and medicine in general, they prioritised pupils’ freedom to choose whether to broaden their aspiration and opportunity set over the promotion of educational policies to increase social mobility.

강점과 한계
Strengths and limitations

저희는 의도적으로 다양한 상황, 학교 유형, 교사 역할을 가진 교사들을 인터뷰하여 폭넓은 관점을 포함하고자 했습니다. 이를 통해 유사점과 공통 주제를 탐색하고 개별 경험의 세분성을 보존할 수 있었습니다. 연구 목적에는 유용했지만, 상황적 차이와 소규모 참여자 그룹은 연구 결과의 적용 가능성에 상당한 제한을 가했습니다. 우리는 대학 연구자에게 의학에 대한 비판적 견해를 표현하는 것에 대한 교사들의 주저함을 줄이기 위해 연구 설계에 조치를 취했지만, 그럼에도 불구하고 일부 참가자들은 연구 목적을 고려할 때 의학에 대해 부정적으로 말하는 것에 주저함을 느꼈을 수 있음을 인정합니다. 또한, 참여도가 낮은 교사나 의학에 대해 덜 긍정적인 견해를 가진 교사의 경우 참여 의향이 낮았을 것으로 합리적으로 예상할 수 있습니다. 교직원의 참여를 허락하지 않은 교장(교감)은 자원 부족을 가장 큰 이유로 꼽았는데, 이는 이러한 상황에 처한 학교가 조사 대상에 포함될 가능성이 낮다는 것을 의미할 수 있습니다. 
We purposely interviewed teachers in a range of contexts, school types and teaching roles to include a wide breadth of perspectives. This allowed us to explore similarities and shared themes, as well as preserve the granularity of individual experiences. Although useful for our study purpose, the contextual differences and the small participant group add substantial limitations to the transferability of findings. We built measures into the research design to lessen teachers’ inhibitions about expressing critical views of medicine to a university researcher but acknowledge some participants may nevertheless have felt inhibited about speaking negatively about medicine given the study’s aims. Moreover, we can reasonably expect that less engaged teachers and those with a less positive view of medicine may have been less inclined to participate. Headteachers (principals) who declined to permission for their staff to participate cited under-resourcing as the major reason, which may mean schools in this situation were also less likely to be included.

교사들의 바쁜 일정이나 갑작스럽게 학생들을 돌봐야 하는 상황으로 인해 일부 인터뷰는 짧게 진행되었으며, 이는 데이터의 양에 영향을 미쳤습니다. 두 명의 교사를 함께 인터뷰한 경우, 상대방의 판단을 두려워하여 자신의 경험을 충분히 설명하지 못했을 수 있습니다. 반면에 함께 인터뷰하는 것은 그들의 선택이었기 때문에 상황을 더 편안하게 만들어서 두 사람 모두로부터 더 깊고 미묘한 기여를 이끌어 냈을 수도 있습니다(Finch 외. 2014). 
Due to the restrictions of teachers’ busy schedules and/or the need to suddenly attend to pupils, some interviews were cut short, with implications for the quantity of data. Two teachers were interviewed together, which may have inhibited their willingness to give a full account of their experiences, fearing the judgement of the other. On the other hand, being interviewed together was their choice, which might have made the situation more comfortable and hence generated deeper and more nuanced contributions from both (Finch et al. 2014).

소규모 참가자 그룹 내에서는 일부 목소리가 해석에 불균형적으로 영향을 미치는 경향이 더 클 수 있습니다. 이러한 가능성을 해결하기 위해, 우리는 각 참가자의 경험과 웅변력 수준은 다르지만 분석과 글쓰기에서 각 참가자의 설명에 동등한 비중을 부여하기 위해 의식적으로 노력했습니다. 참여자 검증을 포함했다면 작업의 신뢰도를 더욱 높일 수 있었겠지만, 교사들의 업무량을 가중시키지 않고 반복적인 접촉이 모집에 걸림돌이 될 수 있다고 판단하여 이를 배제하기로 결정했습니다.
There may be a greater tendency within a small participant group for some voices to disproportionately influence interpretations. To address this possibility, we made a conscious effort to give equal weight to each participant’s account in analysis and write-up, despite their different levels of experience and eloquence. The inclusion of participant validation may have further boosted the credibility of the work, however, we decided against this, primarily to not add more to teachers’ workload and because we thought the commitment to repeated contact might be a barrier to recruitment.

연구자 편향 가능성을 최소화하기 위해 연구 방법에서 설명한 대로 반성적 사고와 연구팀 간의 비판적 토론을 실천했습니다. 팀원들이 서로 다른 관점에서 데이터와 주제에 접근했기 때문에 팀 내 다양한 직업적 배경이 강점이었습니다. 하지만 모든 연구원이 여성, 백인, 중산층으로 구성되어 있어 이 분야의 의학교육 연구자라면 흔히 볼 수 있는 다양성에는 한계가 있었습니다.
Practicing reflexivity, as described in the methods, as well as critical discussions amongst the research team were used to minimize potential researcher bias. The diverse professional backgrounds within the team was a strength in this regard, as members approached the data and topic from differing perspectives. There were limits to this diversity however, as all researchers now identity as female, white and middle-class, which is typical for medical education researchers in this area.

연구 및 실무에 대한 시사점
Implications for research and practice

다양한 학교(공립학교와 사립학교, 그리고 참여도가 낮은 WA 대상 주립학교 포함)의 교사들의 인식과 전략을 조사하는 비교 연구는 다양한 맥락에서 교사들의 접근 방식과 역할 인식에 대한 흥미로운 통찰력을 제공할 수 있을 것입니다. 또한, 영국과 다른 국가들에서 교사들이 비슷한 자원 부족 환경에서 일하고 의학에 대해 비슷하게 보수적인 메시지를 홍보하는 유사점을 고려할 때(Southgate 외. 2015), 이 연구의 목적과 결과는 다른 맥락에서 추가 조사가 필요할 수 있습니다. 교사와 학생의 목소리를 모두 포함하는 비교 연구도 도움이 될 것입니다. 이 연구에서는 교사의 설명에 대한 탐구로 제한되어 있으며 학생의 행동에 대한 해석에 대해서는 언급할 수 없습니다. 
Comparison studies to investigate the perceptions and strategies of teachers from a variety of schools (including grammar and independent, as well as less-engaged WA eligible state schools) would offer interesting insight into teachers’ approaches and perception of role in different contexts. Furthermore, given the parallels between the UK and other countries, where teachers work in similarly under-resourced environments and promote similarly conservative messages about medicine (Southgate et al. 2015), the study aims and findings may warrant further investigation in other contexts. Comparison studies that include both teacher and their pupils’ voices would also be beneficial: in this study we are limited to the exploration of teachers’ accounts and cannot comment on pupils’ interpretation of their behaviour.

위에서 설명한 바와 같이, 교사는 자신의 역할을 그 자체로 자원이라기보다는 학생들이 의학 자원에 대한 WA 접근을 용이하게 하는 것으로 개념화하는 것으로 나타났습니다. 이는 위에서 인용한 전문직에 대한 접근성 보고서와 일치하는 것으로, 기본적으로 과학 교사가 의학에 대한 전문적 조언자 역할까지 해야 하는 것은 적절하지 않다고 주장합니다. 그러나 우리의 연구는 이러한 경계가 종종 모호해짐을 보여줍니다. 부족한 자원을 보충해야 한다는 압박감 때문에 헌신적인 교사들이 스스로 준비 프로그램을 만들고 목회적pastoral 지원을 제공하게 되는 것입니다. 따라서 우리는 WA 이해관계자 간에 공개적인 논의를 통해 이해관계자의 역할을 명확하게 조정하고 구분하는 데 합의할 것을 제안합니다. 합의가 이루어지면 의과대학은 개선된 커뮤니케이션과 정보 공유 네트워크를 통해 교사들이 전문 자원에 쉽게 접근할 수 있도록 지원하고, 의과대학은 이러한 전문 자원을 제공하는 데 집중할 수 있습니다. 
As described above, teachers appeared to conceptualise their role as facilitating pupils’ access to WA to medicine resources, rather than as a resource themselves. This concurs with the Access to the Professions report (quoted above), which essentially argues it is not appropriate to require a science teacher to also be an expert advisor on medicine. Our study reveals how these lines are often blurred however: pressure to compensate for lacking resources results in dedicated teachers taking it upon themselves to create preparation programmes and provide pastoral support. As a result, we suggest open discussions between WA stakeholders to agree a clear alignment and delimitation of stakeholder roles. If agreed, medical schools might then focus on supporting teachers to facilitate access to expert resources through improved communication and information sharing networks; whilst medical schools provide this expert resource.

또한 의과대학은 교사들을 지원하여 [더 많은 학생들이 가용한 자원에 참여할 수 있도록 보다 적극적으로 장려하여 새로운 포부와 기회가 창출될 수 있도록] 하고자 할 수 있습니다. 따라서 의과대학과 정책 입안자들은 의대 진학이 교사들에게 덜 위험한 선택으로 보이도록 시스템을 재조정할 수 있는 방법을 고려할 것을 제안합니다. 의과대학은 학생들이 지원서에서 자신의 강점(예: 지적 능력, 헌신, 회복탄력성)을 강조할 수 있도록 가장 잘 지원할 수 있는 방법에 대한 대화에 교사들을 참여시키고, 의대 지원의 일부 현실(예: 합격률 및 재지원 관련)에 대해 교사들에게 알리고 안심시키는 신화를 깨는 과정을 고려할 수 있습니다. 이는 파운데이션 프로그램과 게이트웨이 과정 등 의학의 대안적 진로에 대한 교사들의 인식을 높이는 것과 결합될 수 있습니다. 보다 근본적으로 의과대학은 교사 전문성 개발 및 교육 팀과 협력하여 교사들이 학생의 개별적인 선택에 우선순위를 두는 선의의 신념의 제약을 인식하도록 도울 수 있는 방법에 대한 전문가의 조언을 받는 것도 고려할 수 있습니다.  
Medical schools may also wish to support teachers to be more proactive in encouraging a wider range of pupils to engage with the resources that are available, to enable the possibility of new aspirations, as well as opportunities, to be built. We suggest that medical schools and policy makers thus consider ways in which they can realign systems to make promoting medicine appear a less risky choice to teachers. Medical schools could consider how to engage teachers in a dialogue about how they can best support pupils to highlight their strengths (e.g. intellectual ability, commitment, resilience) in an application, as well as inform and reassure teachers about some of the realities of medical application (e.g. around acceptance rates and re-application) in a process of myth-busting. This could be combined with heightening teachers’ awareness of alternative paths to medicine, including foundation programmes and gateway courses. More fundamentally, medical schools might also consider working with teacher professional development and training teams, to receive expert advice on how they might help teachers recognise the constraints of a well-intentioned belief in prioritising a pupil’s individual choices.

전반적으로 이 연구는 호주 학교에서 매일 존재하는 상황적 장벽을 재확인하고, 이러한 장벽이 교사의 역할에 대한 인식에 어떤 영향을 미칠 수 있는지에 대한 독창적인 통찰력을 보여줍니다. 또한 학생들이 스스로 진로를 선택하는 데 있어 교사의 우선순위를 강조하고 있습니다. 저희는 WA 학교의 교사들이 의학을 옹호하는 것이 단독으로 이루어질 수 없으며, 이를 위해서는 다른 이해관계자들의 지원, 정책 및 시스템이 연계되어 학생들이 자신의 역량을 개발할 수 있는 기회를 제공하고 실제로 그 자리를 차지할 수 있는 더 나은 기회를 제공해야 한다고 제안합니다(Alexander and Cleland 2018; Gorman 2018). 교사의 우려를 인정하고 이해하며 더 나은 파트너십을 구축하고 의대를 향한 여정에 대해 더 긍정적인 시각을 갖도록 협력하는 것이 가시적인 시작이 될 수 있습니다(Greany 외. 2014).  
Overall, this study reaffirms the contextual barriers present daily in WA schools, and reveals original insight into how these may influence teachers’ perceptions of their role. It also highlights these teachers’ prioritisation of pupils making their own choice of career. We suggest that the expectation for teachers in WA schools to advocate medicine cannot happen in isolation and instead that this requires the support of other stakeholders, policies and systems aligning to provide their pupils with opportunities to develop their capability, as well as better chances of actually achieving a place (Alexander and Cleland 2018; Gorman 2018). Acknowledging and understanding teachers’ concerns and working with them to construct better partnerships and a more positive view of the journey to medicine, might be a tangible start (Greany et al. 2014).

1Research Department of Medical Education (RDME), UCL Medical School, University College London (UCL), London, UK. k.alexander@ucl.ac.uk.

2Centre for Medical Education, Institute of Health Sciences Education, Barts and the London School of Medicine and Dentistry, Queen Mary University of London, London, UK.

3Medical Education Research and Scholarship Unit (MERSU), Lee Kong Chian School of Medicine, Nanyang Technological University Singapore, Singapore, Singapore.

Medical schools worldwide undertake widening access (WA) initiatives (e.g. pipeline, outreach and academic enrichment programmes) to support pupils from high schools which do not traditionally send high numbers of applicants to medicine. UK literature indicates that pupils in these schools feel that their teachers are ill-equipped, cautious or even discouraging towards their aspiration and/or application to medicine. This study aimed to explore teachers' perspectives and practices to include their voice in discussions and consider how medical schools might best engage with them to facilitate WA. Interviews were conducted with high school teachers in three UK regions, working in schools targeted by WA initiatives. Data were analysed thematically using template analysis, using a largely data-driven approach. Findings showed that although medicine was largely seen as a prestigious and worthwhile career, teachers held reservations about advocating this above other choices. Teachers saw it as their role to encourage pupils to educate themselves about medicine, but to ultimately allow pupils to make their own decisions. Their attitudes were influenced by material constraints in their schools, and the perception of daunting, long and emotionally difficult admissions requirements, with low chances of success. Medical schools may wish to work with teachers to understand their hesitations and help them develop the mindset required to advocate a challenging and unfamiliar career, emphasising that this encouragement can further the shared goal of empowering and preparing pupils to feel capable of choosing medicine. Reciprocally, medical schools should ensure pupils have fair opportunities for access, should they choose to apply.

서구 사회에서 사회문화적 다양성이 증가함에 따라 의료 인력에서 사회문화적 다양성이 과소 대표되고 있는데, 이는 부분적으로는 레지던트로 전환하는 과정에서 사회문화적으로 다양한 배경을 가진 의대 졸업생, 즉 과소 대표되는 소수자(URM)를 잃는 것으로 보이기 때문입니다(Leyerzapf and Abma 2012; Verdonk and Janczukowicz 2018). 이는 문화적으로 민감한 진료에 대한 수요 증가에 비추어 볼 때 안타까운 일입니다(Saha 외. 2008, Goldsmith 2000, 미국 보건복지부 2006, Verdonk and Janczukowicz 2018, Cohen 외. 2002).  
The increasing sociocultural diversity in Western society is underrepresented in the medical workforce (Leyerzapf and Abma 2012; Verdonk and Janczukowicz 2018), partly because we seem to lose medical graduates with a sociocultural diverse background, i.e. underrepresented minorities (URM) in the transition to residency (Leyerzapf and Abma 2012). This is unfortunate in light of the increasing demand for culturally sensitive care (Saha et al. 2008; Goldsmith 2000; U.S. Department of Health Human Services 2006; Verdonk and Janczukowicz 2018; Cohen et al. 2002).

다양성 자극은 의료계에서 소수 인재의 지식과 기술을 통합하는 동시에 대다수 의사의 문화적 감수성을 높이는 것으로 생각됩니다(Cohen 외 2002; Nivet 2015). 또한, 사회 정의의 관점에서 볼 때 의료 분야 내 모든 사람에게 동등한 직업 기회를 제공하는 것은 필수적입니다(Thomas and Ely 1996).
Diversity stimulation is thought to incorporate the knowledge and skills of minority talents in healthcare and at the same time to increase the cultural sensitivity of the majority of physicians (Cohen et al. 2002; Nivet 2015). Furthermore, it is essential from a social justice point of view to have equal career opportunities for all within the medical field (Thomas and Ely 1996).

많은 서구 국가에서 URM 의대생의 수가 증가하고 있음에도 불구하고, 이들은 레지던트 교육과 의료 전문 인력에서 계속 과소 대표되고 있습니다(Leyerzapf 외. 2015; Verdonk and Janczukowicz 2018). 네덜란드의 경우, 의과대학 재학생 중 URM 지원자가 약간 증가했습니다. 선발 관행이 미칠 수 있는 부정적 영향에 대해 연구자들과 보건부를 포함한 국가 기관 모두의 관심이 높아지고 있습니다. 그럼에도 불구하고 이러한 관심의 증가는 다양성에 관한 공식적인 정책으로 반영되지 않았습니다. 이들은 일반적으로 과소 대표될 뿐만 아니라, 의대 졸업생의 비율은 전문의가 되기 위한 경력 경로를 따라 감소하는 것으로 보입니다(Leyerzapf and Abma 2012; Sopoaga 외. 2017). 이러한 현상은 '누수 파이프라인'이라고 불립니다(Freeman 외. 2016). 
Despite the increasing number of URM medical students in many Western countries, they continue to be underrepresented in residency training and in the medical specialist workforce (Leyerzapf et al. 2015; Verdonk and Janczukowicz 2018). In the Dutch context, there has been a slight increase in URM candidates among medical school attendants. The possible adverse impact of selection practices is receiving increasing attention both from researchers and from national organizations, including the Ministry of Health. Nevertheless, this increased attention has not been reflected in a formal policy regarding diversity. Not only are they generally underrepresented, the proportion of URM medical graduates appears to decrease along the career path to becoming a medical specialist (Leyerzapf and Abma 2012; Sopoaga et al. 2017). This phenomenon has been referred to as the ‘leaky pipeline’ (Freeman et al. 2016).

많은 선발 관련 연구(Patterson 외 2016; Roberts 외 2017)는 입학 의사결정을 최적의 결정을 내리는 단계별 인지 과정으로 개념화했습니다(Bolander and Sandberg 2013). 따라서 지원자의 특성이나 지식을 최적으로 측정하는 방법과 미래 성과를 예측할 수 있는 속성을 결정하는 방법에 대한 연구가 집중되어 왔습니다. 최근 발표된 두 건의 리뷰에 따르면 일부 선발 도구가 다른 도구보다 URM 후보자에게 부정적인 영향을 미칠 가능성이 더 높다고 합니다(Patterson 외. 2016; Stegers-Jager 2018). 그러나 보고된 연구들은 일반적으로 선발이 이루어지는 사회적 맥락을 고려하지 않아 선발 위원회가 정적인 비기여 요인으로 가정하고 있습니다.  
Much of selection research (Patterson et al. 2016; Roberts et al. 2017) has conceptualized admissions decision-making as a step-by-step cognitive process that produces an optimal decision (Bolander and Sandberg 2013). Therefore, research has focused on how to optimally measure candidates’ characteristics or knowledge and to determine which attributes are predictive for future performance. Two recent reviews suggest that some selection tools are more likely to have adverse impact on URM candidates than others (Patterson et al. 2016; Stegers-Jager 2018). However, the reported studies generally do not consider the social context in which selection takes place, thereby assuming selection committees are a static non-contributing factor.

선발위원회는 게이트키퍼로서 관련 정보로 무엇을 인식하고 우선순위를 정하며, 결국 의사결정을 위해 이러한 정보를 어떻게 결합하고 해석할지를 결정합니다. 이는 의과대학 선발과 관련이 있으며, 후보자 수가 적고 위원회의 규모가 작으며 일반적으로 모든 후보자를 모든 위원들이 면접하는 졸업후교육 선발에서는 더욱 그러할 것입니다.
As gatekeepers, selection committees determine what they recognize and prioritize as relevant information and eventually how they combine and interpret this information for the purpose of decision making. This is relevant in medical school selection, and probably even more so in postgraduate selection where the number of candidates is smaller, committees are smaller, and usually all candidates are interviewed by all committee members.

의대 선발에 관한 이전 연구에서는 잠재적으로 다양성을 저해할 수 있는 선발 관행의 메커니즘을 조사했습니다. Razack과 동료들은 의대생 선발에 관한 캐나다의 정책 문서를 분석하여 "최고이자 가장 똑똑한 사람"이 의료계에 진입해야 한다는 강력한 능력주의적 신념을 확인했습니다(Razack 외. 2015). 이러한 신념은 형평성이나 사회에 대한 봉사 등 다른 모든 주장을 무시하는 것처럼 보입니다. Wright(2015)는 선발 과정에서 고등학교의 지원에 초점을 맞춰 영국 학생들의 의대 진학 준비를 평가한 결과, 사립학교와 주립학교 간 지원에서 상당한 차이가 있음을 발견했습니다. 이러한 연구는 수백 명의 후보자와 의료 경력 파이프라인의 초기 단계에 있는 상황을 반영하지만, 이러한 메커니즘은 의학 졸업후교육 환경에서도 적용될 수 있습니다(Wright 2015).
Previous research in selection for medical school, has examined mechanisms in selection practices which potentially hinder diversity. Razack and colleagues analyzed Canadian policy documents concerning medical school student selection, identifying a strong meritocratic belief that “the best and the brightest” should enter the medical profession (Razack et al. 2015). This belief seems to overrule all other arguments, including equity and service-to-society. Wright (2015) evaluated the preparation of students in the UK for medical school selection by focusing on the support of high schools in the selection procedure and found considerable differences in support between private and state schools. Although these studies reflect contexts with hundreds of candidates and at an earlier stage in the medical career pipeline, these mechanisms could also be relevant in the postgraduate medical setting (Wright 2015).

이러한 졸업후교육 의료 환경에서는 선발 위원회의 맥락을 고려한 연구가 부족합니다. 졸업후교육 수련 과정의 성취도에 따른 차이를 설명한 연구로는 Leyerzapf 등(2015)과 Woolf 등(2016)이 가장 근접한 연구일 것입니다.

• Leyerzapf와 동료들은 일상적인 의료 행위의 성과 평가를 분석하여 팀에 잘 맞는지, 적절한 사회적 네트워크를 가지고 있는지와 같은 암묵적인 기준에 따라 URM 의사가 명백한 불이익을 받는다는 사실을 밝혀냈습니다(Leyerzapf 외. 2015).
• 울프와 동료들은 영국 졸업후교육 의학 교육에서 성취도 차이의 원인에 대한 소수 및 다수 의료 전문가들의 인식을 조사했습니다. 이들은 영국의 소수민족 및 외국인 졸업생이 졸업후교육 교육에서 학습과 성과를 저해하는 추가적인 어려움을 확인했습니다(Woolf 외. 2016). 

In this postgraduate medical setting, research that takes the context of the selection committee into account is lacking. Leyerzapf et al. (2015) and Woolf et al. (2016) probably go closest while explaining differences in attainment of postgraduate training positions.

• Leyerzapf and colleagues analyzed performance appraisals in daily medical practice and revealed an apparent disadvantage for URM medical doctors based on implicit criteria, such as whether one fits into the team and whether one has the right social network (Leyerzapf et al. 2015).
• Woolf and colleagues explored the perceptions of minority and majority health care professionals on causes of differential attainment in UK postgraduate medical training. They identified additional difficulties faced by UK minority and international graduates impeding their learning and performance in postgraduate training (Woolf et al. 2016).

레지던트 선발 위원회의 의사 결정 관행은 우리가 아는 한 아직 연구 대상이 되지 못했습니다. 게다가 실제 선발 과정을 살펴본 경험적 증거도 거의 없습니다. 따라서 이 백서의 목적은 URM 후보자를 의도치 않게 배제할 수 있는 메커니즘에 특히 초점을 맞추어 이러한 관행에 대한 인사이트를 얻는 것입니다. 
The decision-making practices of medical residency selection committees have, to the best of our knowledge, not yet been subject of research. Besides, there is little empirical evidence looking at selection in practice. Therefore, the purpose of this paper is to gain insight in this practice with particular focus on potential unintended excluding mechanisms for URM candidates.

접근 방식
Approach

이 질적 연구의 설계는 레지던트 선발 의사결정 과정에 관한 지식이 부족하다는 점을 고려하여 탐색적이고 귀납적으로 이루어졌습니다. 우리는 사회구성주의적 관점을 사용하여 의사결정 과정을 관련 전문가들의 해석과 의미 부여에 의해 형성되는 사회적 구성물로 접근했습니다. 
The design of this qualitative study was explorative and inductive, considering the scarcity of knowledge regarding residency selection decision-making processes. We used a socio-constructivist perspective, approaching the decision-making process as a social construct, shaped by interpretations and meaning giving of the professionals involved.

컨텍스트/설정
Context/setting

이 연구는 의과대학 교육 기간이 6년인 네덜란드에서 진행되었습니다. 대부분의 의대 졸업생은 레지던트 수련을 신청하기 전에 [수련의가 아닌 레지던트]로서 업무 경험을 쌓습니다. 이는 경쟁이 치열한 레지던트 프로그램에 들어가기 위해 특히 중요합니다. 레지던트 교육 선발 절차의 설계는 특정 전문 분야의 전국 협회와 지역 레지던트 프로그램 그룹에 의해 통제되기 때문에 실제 선발 절차의 관행은 매우 다양합니다. 
This study was conducted in the Netherlands, where medical school training is 6 years. A majority of medical graduates gains work experience as a resident-not-in-training before applying for residency training. This is particularly relevant for getting into highly competitive residency programs. The design of the selection procedure for residency training is controlled by the national association of that particular specialty and by the regional residency program groups, resulting in a great diversity in actual practices of selection procedures.

샘플링
Sampling

우리는 의도적으로 6개의 서로 다른 선발 절차를 샘플링했으며, 이 중 모든 선발 위원회 위원이 참여하도록 초대했습니다. 새로운 절차를 추가해도 연구 목적에 관한 새로운 인사이트나 추가 정보를 얻을 수 없을 때까지 샘플링을 계속했습니다.
We purposively sampled six divergent selection procedures, of which all selection committee members were invited to participate. Sampling continued until adding new procedures did not lead to new insights or additional information regarding the research purpose.

절차/설계
Procedure/design

풍부하고 구체적인 데이터를 얻기 위해 실제 선발 절차를 사용했습니다. 네덜란드에서 흔히 볼 수 있는 것처럼, 6개의 연구 대상자 선정 절차에서 선발 위원회는 전통적인 면접 방식을 적용했습니다.

• 먼저 지원자의 지원 동기와 이력서를 바탕으로 사전 선발이 이루어졌습니다.
• 다음으로 선발된 후보자들을 대상으로 면접을 실시했습니다.
• 마지막으로 선발 위원들이 그룹 토론을 통해 채용할 후보자를 결정합니다.
• 선발 절차 중 하나에는 평가 라운드가 추가로 포함되었습니다.

To get rich and concrete data actual selection procedures were used. As is common in the Netherlands, the selection committees in the six studied procedures applied a traditional job interview setting.

• First, a preselection based on candidates’ motivation letters and résumés was made.
• Next, job interviews were held with the selected candidates.
• Finally, selection committee members decide in a group discussion which candidates to hire.
• One of the selection procedures additionally contained an assessment round.

연구 설계는 이러한 일반적인 설정에 따라 설명합니다. 선발 절차에 순위를 매기는 방식을 도입한 이유는 선발 절차에서 후보자들의 순위를 의식적으로 매기면 위원들이 의사 결정 과정에서 무의식적으로 내린 결정을 회상하거나 드러내는 데 도움이 될 수 있다고 생각했기 때문입니다. 선발 위원들은 세 가지 순간에 각자의 선호도에 따라 후보자들의 순위를 매기도록 요청받았습니다: (1) 지원 동기와 이력서를 받은 후, (2) 면접을 본 후, (3) 그룹 토론을 마친 후입니다. 모든 선발위원을 대상으로 두 차례의 일대일 반구조화 면접이 별도로 진행되었습니다. 첫 번째 인터뷰는 후보자 사전 선정 후 면접 전에, 두 번째 인터뷰는 모든 절차가 끝난 후 진행되었습니다. 또한 의사 결정 그룹 토론을 참관하고 기록했습니다.

The research design is described according to this general setting. We introduced rankings in the procedure as we assumed that consciously ranking the candidates during the procedure could help committee members to recall decisions or unveil unconscious steps in the decision making process. The selection committee members were asked to rank the candidates numerically according to their individual preference at three moments: (1) after they received the motivation letter and résumés; (2) after the job interviews; and (3) after the group discussion. Two separate one-on-one semi structured interviews were held with all selection committee members. The first interview took place after the preselection of the candidates, but before the job interviews and the second interview took place after the whole procedure. Additionally, the decision-making group discussions were observed and recorded.

이러한 데이터 소스의 삼각 측량을 통해 프로세스에 대한 보다 상세하고 균형 잡힌 시각을 확보할 수 있었기 때문에 인터뷰, 순위, 관찰 결과를 분석에 결합했습니다. 
We combined interviews, rankings and observations in the analysis since triangulation of these data sources enabled a more detailed and balanced view on the process.

인터뷰
Interviews

일대일 인터뷰를 통해 선발 과정에 대한 위원들의 개별적인 견해를 살펴볼 수 있었으며, 참가자들이 위계적 영향 없이 자신의 견해를 자유롭게 표현할 수 있는 환경을 제공했습니다. 모든 인터뷰는 LG에서 진행했습니다. 반구조화 인터뷰의 핵심은 일반적인 인터뷰 가이드("부록")를 사용했지만, 새로운 인사이트, 새로운 관심 주제 또는 서로 다른 사례에 대해서는 조정이 허용되었습니다. 
The one-on-one interviews enabled us to explore the individual views of the committee members on the selection process and provided safety for the participants to express their own view without hierarchical influences. All interviews were conducted by LG. A general interview guide was used for the core of the semi-structured interviews (“Appendix”), but adjustments were allowed for new insights, emerging topics of interest or divergent cases.

선발 의사결정 그룹 토론
Selection decision-making group discussion

그룹 토론의 비디오 및 오디오 녹음은 그룹 의사결정 과정을 최소한으로 방해하지 않도록 설정되었습니다. 인터뷰를 수행한 동일한 연구원(LG)이 그룹 토론을 관찰했습니다. 이 연구에는 총 7.5시간의 관찰이 포함되었습니다. 관찰 노트를 작성하고 곧바로 자세한 설명으로 정리했습니다. 인터뷰와 그룹 토론 녹취록은 그대로 필사했습니다.
The video and audio recordings of the group discussions were set up to least interfere with the group decision-making process. The same researcher who conducted the interviews (LG), observed the group discussions. In total, this study includes 7.5 h of observation. Observational notes were made and worked up into detailed descriptions shortly after. Interviews and group discussion recordings were transcribed verbatim.

분석
Analysis

데이터 분석은 LG(의학 배경을 가진 네덜란드 백인 여성 박사과정 학생), KSJ(네덜란드 백인 여성 박사 후 교육 연구원으로 의과대학의 다양성 및 선발에 대한 전문성을 갖춘 연구자), LF(네덜란드 백인 여성 의학박사, 보건교육의 직장 내 학습에 대한 전문성을 갖춘 교육 연구원으로 박사 후 교육 연구원으로 활동 중인 연구자) 세 명의 연구자가 수행했습니다.
Data were analyzed by three researchers LG (female white Dutch Ph.D. student with a medical background), KSJ (female white Dutch post-doctoral educational researcher with expertise on diversity and selection in medical school) and LF (female white Dutch MD, post-doctoral educational researcher with expertise on workplace learning in health education).

녹취록은 King이 개발한 템플릿 분석 접근법에 따라 분석되었으며, 구성된 코딩 템플릿을 사용하여 주제 분석을 수행했습니다(King and Horrocks 2010). 연구 목표와 관련하여 그 중요성을 고려할 때 '다양성'이 선험적 주제로 선정되었습니다. 초기 코딩 프로세스에 따라 템플릿이 개발되었습니다. 이 템플릿은 후속 코딩 과정에서 더욱 발전되었고 데이터에 따라 지속적으로 비판적으로 검토되었습니다.
Transcripts were analyzed following the template analysis approach developed by King, entailing a thematic analysis using a constructed coding template (King and Horrocks 2010). Given its importance in respect to the research aims ‘diversity’ was an a priori theme. Following the initial coding process, a template was developed. This template was further developed in subsequent coding and continuously critically reviewed on accordance with the data.

데이터는 LG에서 코딩했으며, 필요한 경우 KSJ 및/또는 LF에서 논의 및 검토했습니다. 연구 결과는 레지던트 선발 절차에 관여하는 다른 두 명의 연구원(JdG, MdH)과 정기적으로 검토하고 논의했습니다. 그들의 관점은 우리의 연구 결과를 확인하고 우리의 결정을 정당화하기 위해 도전함으로써 프로세스에 대한 이해를 풍부하게 해주었습니다. 연구 기간 내내 우리는 우리의 배경, 관점, 편견이 연구 과정에 어느 정도 영향을 미쳤는지 정기적으로 고려했습니다. 템플릿의 구성을 투명하게 유지하기 위해 감사 추적을 생성했습니다. 연구 결과는 연구 참여자에게 피드백되어 이해를 더욱 최적화할 수 있었습니다. 분석 관리에는 AtlasTi 7.5가 사용되었습니다. 
The data were coded by LG and if necessary, discussed and reviewed by KSJ and/or LF. The findings were regularly reviewed and discussed with the two other researchers (JdG, MdH), both involved in resident selection procedures. Their perspective enriched our understanding of the process, by affirming our findings and challenging us to justify our decisions. Throughout the study we regularly considered to what extent our backgrounds, perspectives and possible biases influenced the research process. To keep the construction of the template transparent an audit trail was produced. Results were fed back to research participants in order to further optimize our understanding. AtlasTi 7.5 was used to manage the analysis.

분석 프레임워크
Analytic framework

우리는 의사결정 과정이 관련 전문가들의 해석과 의미 부여에 대한 협상을 통해 형성되는 역동적이고 새로운 사회적 과정이라고 가정합니다. 선발 위원들은 후보자에 대해 수집된 정보를 통합하여 정보에 입각한 결정을 내리려고 합니다. 따라서 정보를 받아들이고 처리하며 우선순위를 정하는 방식은 선발 과정의 핵심 요소입니다. 우리는 선발 위원들이 정보를 처리하는 방식에 따라 그들이 '능력merit'으로 인식하는 것을 구성한다고 주장합니다. Posselt(2016)의 추론과 유사하게, 우리는 지금까지의 업적과 인지된 잠재력에 대한 절대적인 척도가 아닌 상대적인 척도로서 장점에 접근했습니다. 능력merit은 선발 절차의 다른 후보자 또는 이전 및 향후 선발 절차의 후보자와 비교하여 평가됩니다. 이러한 장점은 특정 후보자 풀과 관련된 합격 가능성 평가입니다. 또한 특정 개인적 선호도를 가진 위원들로 구성된 선발위원회의 구성에 따라 달라질 수 있습니다.
We assume that the decision-making process is a dynamic and emergent social process, shaped by a negotiation of interpretations and meaning giving of the professionals involved. Selection committee members seek to incorporate the information gathered about candidates to make informed decisions. Therefore, the way of receiving, processing and prioritizing information is a key element in the selection process. We argue that by the way they handle the information, selection committees construct what they recognize as ‘merit’. Similar to Posselt’s (2016) reasoning, we approached merit as a relative measure rather than an absolute measure of achievements to date and perceived potential. Merit is assessed in comparison with the other candidates in the selection procedure, or even with candidates from previous and future selection procedures. As such merit is an admissibility assessment relative to a specific candidate pool. It also depends on the composition of the selection committee, composed of members with specific personal preferences.

이러한 추론에 따라 포셀트는 입학 기준의 명확한 단일 계층 구조가 존재하지 않는다고 추론합니다. 따라서 선발 위원회의 맥락에서 선발을 이해하는 것이 중요합니다(Posselt 2016). 
Following this reasoning, Posselt infers that there is not a clear single hierarchy of admission criteria. Therefore, it is important to understand selection within the context of the selection committees (Posselt 2016).

본 연구에서는 의도치 않게 다양성을 저해하는 메커니즘에 특히 주의를 기울여 실제 결정 과정에 초점을 맞췄습니다. 인터뷰에서 다양성에 명시적으로 초점을 두는 대신, 선발 위원회가 장점을 평가하기 위해 관련 정보로 인식하고 우선순위를 두는 것이 무엇인지, 그리고 최종적으로 의사 결정을 위해 이러한 정보를 어떻게 결합하고 해석하는지에 대해 탐구했습니다. 따라서 이러한 과정에서 URM 후보자를 배제할 수 있는 메커니즘을 파악하는 것을 목표로 삼았습니다. 
The main focus in our study was the actual decision process with specific attention towards mechanisms that unintentionally hinder diversity. Instead of putting explicit focus on diversity in our interviews, we explored what selection committees recognize and prioritize as relevant information to assess merit and how they eventually combine and interpret this information for the purpose of decision making. Thus, we aimed at identifying mechanisms in these processes which could exclude URM candidates.

앞서 언급했듯이 다양성이라는 선험적 코드가 하나 있었습니다. 우리는 오픈 코딩으로 시작했고, 그 결과 연구 질문에 답하는 데 필요한 것보다 더 광범위한 템플릿이 만들어졌습니다. 그런 다음, 구체적인 연구 질문에 답하는 데 필요한 템플릿의 요소들을 계속 추가했습니다. 데이터에서 도출된 세 가지 중요한 주제는 다음의 세 가지였다.

• (1) 이미지 형성,
• (2) 선발 위원회의 의사 결정,
• (3) 지원자가 레지던트에 입학하기까지의 복잡한 경로

이러한 주제를 좀 더 확대하면 관련된 긴장 관계가 드러났습니다. 또한 다양성을 별도의 테마로 유지했습니다.
As noted previously, we had one a priori code which was labelled diversity. We started with open coding, which resulted in a more extensive template than necessary to answer our research question. Next, we continued with those elements of the template needed for answering our specific research question. The three overarching themes arising from the data were

• (1) image creation,
• (2) decision-making of the selection committees, and
• (3) the complex route towards gaining entrance to residency for candidates.

Zooming in further on these themes revealed relevant areas of tension. Additionally, we kept diversity as a separate theme.

본 연구의 선발 절차는 모두 병원 기반 전문과목과 관련이 있습니다. 위원회의 구성은 표 1에 나와 있습니다. 6개 위원회 중 5개 위원회는 전문의 또는 레지던트 등 해당 전문 분야의 의사로만 구성되었습니다. 한 개의 선발 위원회에는 인적 자원 관리 전문가가 포함되었습니다. 총 75건의 인터뷰와 7건의 그룹 토론이 분석되었습니다. 기밀 유지를 위해 공개된 설명 정보는 제한적입니다.
The selection procedures in the present study all concerned hospital based specialties. Committees’ compositions are displayed in Table 1. Five of the six committees were fully composed of physicians within that specialty, i.e. either medical specialists or residents. One selection committee included a human resource management specialist. A total of 75 interviews and seven group discussions were analyzed. For the sake of confidentiality, the descriptive information disclosed is limited.

데이터 분석 결과, 레지던트 선발 의사결정 과정과 관련된 다양한 주제를 나타내는 복잡한 템플릿이 만들어졌습니다. 아래에서는 선발 위원회가 후보자의 장점을 어떻게 평가했는지를 보여주는 테마를 제시합니다. 이는 선발 위원회가 최상의 후보자를 식별하기 위해 후보자의 경험, 기술, 동기 부여 및 성격 특성을 명확하게 파악해야 하기 때문에 이해해야 할 사항입니다. 이 과정에서 선발 위원들은 이러한 기준에서 계층 구조를 협상해야 합니다. 이 계층 구조는 특정 선발 위원회가 장점의 구성 방식을 보여줍니다. 저희는 연구 목표와 가장 관련성이 높고 다양성의 제약을 가장 잘 보여주는 세 가지 주제를 고려했습니다. 이 주제들은 서로 연관되어 있지만, 명확성을 위해 별도로 설명합니다. 
Our data resulted in a complex template representing a diversity of themes involved in the process of residency selection decision-making. Below, we present themes which in our perspective reveal how the selection committees negotiated the candidates’ merit. This is relevant to understand since selection committees need to get a clear view on the candidates’ experience, skills, motivation and personality characteristics in order to be able to identify the best possible candidate. In this process selection committee members need to negotiate a hierarchy in these criteria. The hierarchy reveals how merit is constructed by this particular selection committee. We considered three themes as most relevant for our research goal and most illustrative of possible constraints for diversity. The themes are interrelated, but for the sake of clarity, we describe them separately.

인터뷰 또는 관찰에서 인용한 예시적인 내용은 표 2에 제시되어 있습니다.
Illustrative quotations from the interviews or observations are presented in Table 2.

주제 1: 진정성 있으면서도 게임의 규칙을 준수하기
Theme 1: Being authentic yet playing by the rules of the game

대부분의 선발 위원들은 면접에서 지원자가 정직하고 취약한 모습을 보이는 진정성을 높이 평가했습니다. 하지만 지원자가 게임의 규칙에 따라 플레이해야 하기 때문에 너무 솔직하면 부정적인 영향을 미칠 수 있습니다. '선택의 게임'에는 명시적인 규칙 외에도 지원자가 숙지하고 준수해야 하는 묵시적이고 암묵적인 규칙도 있습니다. 암묵적 규칙 중 하나는 올바른 방식으로 자신을 노출하는 것입니다. 이 중요한 자기표현은 사실 공식적인 선발 절차 이전에 이미 시작되며, 전문 분야마다 다른 방식으로 이루어질 수 있습니다. 일반적으로 임상실습이나 이전 (임상) 업무 또는 연구를 통해 후보자를 선발 위원들에게 알리고 인지도를 높일 수 있습니다. 보다 구체적인 전략은 지원 전에 프로그램 책임자와의 정보 제공 회의를 계획하거나 지역 전공의을 위해 조직된 활동에 참석하여 자신을 알리는 것입니다.
Most of the selection committee members highly valued authenticity; that is, candidates showing honesty and vulnerability in the job interview. Yet, being too honest might have a negative impact since candidates ought to play by the rules of the game. Besides explicit rules, the ‘selection game’ also knows implicit and tacit rules that candidates are expected to be familiar with and adhere to. One implicit rule is to expose yourself in the right way. This crucial self-representation actually already starts before the official selection procedure and might be achieved in different ways in the different specialties. Commonly, visibility is achieved through clerkships and or previous (clinical) work or research, which enable candidates to be seen and known by the selection committee members. A more specific strategy is putting oneself on the radar by planning an informative meeting with the program director before applying or by attending activities organized by and for the regional residents.

또 다른 암묵적 규칙은 특정 전문 분야를 향해 가는 구체적인 길을 가리키는데, 어떤 길은 다른 길보다 덜 의심받습니다. 이 길은 종종 의대를 졸업하기 전에 시작되며, 지원자의 이력 쌓아가기 활동을 의미합니다. 예를 들어, 지원자는 교육 병원에서 근무한 경력이 주는 이점을 알고 있어야 합니다. 교육 병원에서 근무했거나 현재도 근무하고 있는 지원자를 레지던트 수련 과정에 참여시키는 것은 선발 위원들의 이익에 부합하기 때문입니다.
Another implicit rule refers to the specific road taken towards a certain specialty; some roads are less questioned than others. This road, which often starts before finishing medical school, refers to CV building activities of a candidate. As an example, candidates should, be aware of the benefits of work experience in a teaching hospital: it is in the interest of selection committee members to get the candidate who has worked, or still works, at their institution into residency training.

또한 대부분의 선발 위원은 '정답'보다 정직한 답변을 더 중요하게 생각하지만, 일부 답변은 더 바람직한 것으로 보입니다. 지원자들은 적절한 타이밍에 진솔한 답변을 하면서도 게임의 규칙에 따라 계속 플레이해야 하는 미로를 헤쳐나가야 합니다. 기대되는 준비 수준에서도 비슷한 메커니즘이 나타납니다. 대부분의 선발위원은 지원자가 면접 질문에 대해 충분히 준비되어 있기를 기대하며, 준비가 부족해 보이는 지원자는 탈락시킵니다. 그러나 선발위원들은 리허설된 답변은 지원자의 진정성을 의심하게 만들기 때문에 싫어합니다. 일부 선발위원은 자신이 알고 있는 지원자(예: 병원에서 근무하는 지원자)의 면접 준비를 돕기도 합니다.
Furthermore, although most selection committee members claim to value an honest answer over the ‘right’ answer, some answers seem to be more desirable. Candidates have to navigate through a labyrinth by being authentic at the right times, yet being mindful to keep playing by the rules of the game. A similar mechanism is seen in the expected level of preparation. Most selection committee members expect the candidates to be prepared for questions of the job interview and disapprove of candidates who come across as not well prepared. Yet selection committee members dislike rehearsed answers, because it makes them question candidates’ authenticity. Some selection committee members help the candidates they are acquainted with (e.g. candidates working in their hospitals) in preparing the job interview.

주제 2: 눈에 띄면서도 적응하기
Theme 2: Standing out yet fitting in

유능한 지원자 중에서 가장 바람직한 지원자를 선발하는 것은 까다로운 작업입니다. 선발 위원들은 적합한 지원자가 넘쳐나면서 수년 동안 지원자에 대한 기대치가 높아진 것을 알고 있으며, 이는 자격 인플레이션과 유사한 메커니즘입니다. 선발 위원회는 후보자를 다른 지원자와 차별화할 수 있는 역량이나 특성을 찾으며, 이는 대부분 좋은 점으로 간주됩니다. 그럼에도 불구하고 그들은 그룹에 적합한 후보자를 높이 평가합니다. 따라서 후보자는 그룹에 잘 어울리면서도 그룹에서 돋보이는 것이 가장 이상적입니다. 눈에 띄는 것은 기존 레지던트 그룹 또는 더 크게는 전문 분야에 부가가치가 될 뿐만 아니라 독특한 특성을 보유하는 것으로 개념화됩니다. 눈에 띄는 것은 지원서, 이력서 또는 면접에서 억지스럽거나 진정성이 없어 보이지 않으면서도 흥미로운 프로필이나 독창성으로 나타날 수 있습니다.
Selecting the most desirable candidate out of a collection of talented candidates is a demanding task. Selection committee members recognize that the abundance of suitable candidates has raised their expectations of candidates over the years, a mechanism similar to credential-inflation. Selection committees look for competencies or characteristics that set candidates apart from the others, which most often is considered a good thing. Nevertheless, they highly value candidates that fit in the group. So ideally, a candidate fits in, yet stands out of the group as well. Standing out is conceptualized as possessing distinctive characteristics as well as being an added value to the existent residency group or, on a bigger scale, to the specialty. Standing out may manifest itself in an interesting profile or originality in the application letter, resume or job interview without being far-fetched or coming across as unauthentic.

잘 피팅한다fitting in는 것은 여러 수준에서 특정 레지던시 프로그램의 문화에 부합하는 것으로 개념화됩니다. 우선, 선발 위원회는 '호감'이 가는 지원자를 찾고 있습니다. 지원자의 특정 활동은 다른 지원자보다 선발 위원들에게 더 많은 공감을 불러일으킵니다. 둘째, 적응은 기존 전공의 그룹에 적응하는 것으로 개념화됩니다. 이 측면은 선발위원회에 속한 전공의들의 영향을 많이 받습니다. 놀랍게도 사회문화적으로 다양한 전공의 그룹이 있는 선정위원회에서도 다른 위원회와 마찬가지로 적응이 중요해 보였습니다.
Fitting in is conceptualized as fitting the culture of a particular residency program at several levels. First of all, selection committees are looking for candidates with whom they have a “click”. Particular activities of candidates resonate more with selection committees than others. Secondly, fitting in is conceptualized as fitting in the existing group of residents. This aspect is strongly influenced by residents in the selection committee. Remarkably, fitting in seemed just as important in the committee with a sociocultural diverse residency group as in the other committees.

자격을 갖춘 지원자가 많기 때문에 눈에 띄는 것은 쉽지 않습니다. 선발 위원회 위원들은 자신의 전문 분야에 진입하기 위한 기준이 높아진다는 것을 알고 있는 것 같습니다. 그럼에도 불구하고 가장 우수한 후보자를 선발하는 것을 최우선 과제로 삼고 있습니다. 선발 절차에서는 지원자의 인격과 의사로서의 자질을 모두 평가합니다. 흥미로운 점은 전공의 선발 위원회가 후보자를 평가할 때 좋은 의사라는 점 외에 후보자가 가진 잠재력에 더 중점을 두는 경향이 있다는 것입니다. 좋은 의사가 될 수 있는 잠재력을 갖추는 것은 전제 조건이지만 레지던트 자리를 얻기 위한 충분조건은 아닌 것 같습니다. 지원자를 거부하기 위해 제기된 논거 중 하나는 다음과 같습니다: "4년의 임상 경험이 있는 사람이라면 최소한 그 외에 다른 무언가가 더 있어야 합니다. 그 외에 무슨 경력이 더 있는지 모르겠고, 이력서도 없는데..." (그룹 토론)
Standing out is not easy, given the abundance of well qualified candidates. Selection committee members seem to be aware of the rising bar for entering their specialty. Still, their highest priority remains selecting the most excellent candidate. Both person and doctor features are assessed in the selection procedures. Interestingly, in their negotiation of merit selection committees tend to focus more on what candidates have to offer next to being a good doctor. Having the potential to become a good medical specialist seems to be a prerequisite, but not sufficient to obtain a residency position. One of the arguments raised to reject a candidate was: “If somebody has four years of clinical experience, he should at least have something extra besides that. I don’t know what extra he’s got besides that, no CV…” (Group discussion)

주제 3: 다양성을 대하는 자세
Theme 3: Stance towards diversity

후보자를 선정할 때 무엇이 중요하냐는 질문에 위원들은 후보자의 배경과 포부 모두에서 다양성을 자주 언급했습니다.
When asked what was important for them in selecting candidates, committee members frequently mentioned diversity, both in candidates’ backgrounds and ambitions.

그들은 그룹의 역동성과 균형에서 다양성의 부가적인 가치를 보고 있으며, 다양한 의사에 대한 사회적 필요성을 인식하고 있는 것 같습니다.
They see the additional value of diversity in the dynamics and balance of the group, and seem aware of the societal need for a diversity of doctors.

"지원서에서 저는 다양성을 매우 중요하게 생각합니다. 즉, 획일성을 원하지 않고 네덜란드에서는 획일성이 전혀 필요하지 않습니다.... ... ..... 물론 여기에는 # 레지던트들이 있고 그런 그룹의 분위기는 매우 중요하며, 누구를 채용하든 영향을 미칠 것이며, 결정적인 요소라고 말하지는 않겠지만 결국에는 두 후보자 중 하나를 선택할 수 있으며, 그렇지 않으면 팀에 추가 할 것으로 생각되는 후보자를 선택할 수 있습니다. 그리고 우리가 전에 이야기했던 이 다양성은 제가 찾고 있는 다양성이기도 하고, 가능하다면 인종적 다양성이기도 한데, 그게 좀 복잡하죠."
“With applications I very much look at, erm, diversity; that is, I don’t want uniformity, we don’t need uniformity at all in the Netherlands…. … ….. of course we have # residents here and the atmosphere in such a group is extremely important and, erm, whoever you take on will have an impact, and I won’t say it’s the decisive factor but at the end of the day it might decide the choice between two candidates, if there’s not much between them otherwise you might opt for a candidate who you think will add to the team. And this diversity, we talked about this before, is the diversity I am looking for also in, erm, ethnicity preferably, if at all possible, and that is well, that is complicated.”

다양성이 논의되자마자 그 반대급부로 그룹 내 분위기가 언급되는데, 이는 매우 중요하다고 주장됩니다. 그룹에 잘 맞는 사람을 찾으려는 강한 경향은 종종 유사성을 기반으로 하기 때문에 다양성을 저해할 가능성이 높습니다. 선발 위원회는 적합성에 대한 위험을 감수하는 데 신중한 태도를 보입니다. 다양성과 그룹 내 적합성을 대조함으로써 다양성을 그룹 내 적합성의 잠재적 위험으로 인식하는 것으로 보입니다.
As soon as diversity is discussed, the atmosphere in the group is mentioned as counterbalance, which is claimed to be extremely important. The strong tendency to look for someone who will fit in the group is likely to hinder diversity, since fit is often based on similarity. Selection committees appear cautious in taking risks regarding fitting in. By contrasting diversity and fitting in the group, they seem to perceive diversity as a potential risk for fitting in.

놀랍게도 다양성의 중요성을 언급한 거의 모든 위원들이 더 다양한 후보자를 기꺼이 선택하기 위해 충족해야 할 조건으로 동등한 적합성을 덧붙였습니다. 한 위원은 이렇게 설명합니다: "재미있는 점은 선발 위원들이 모두 남성이라는 점입니다. 예전에도 그랬고 지금도 그렇지만 대부분의 경우 여성은 한두 명 정도이고 우리가 뽑는 사람들은 대부분 여성입니다... ... 그리고 저는 항상 말하지만, 우리는 가장 좋은 사람을 선택하지만 동등한 적합성 등의 경우에는 그렇지 않다고 말합니다. 그렇기 때문에 특히 여기서 중요하다고 생각하는 다른 한 가지는 문화적 다양성에 대해 눈을 뜨는 것입니다. 백인 금발 여성도 있고, 유색인종도 한두 명 있고, 지난번에는 모로코 여자를 맡았어요. 확실히 머리 스카프는 없었지만 그녀는 ... 그리고 동등한 적합성을 가졌습니다. 이 역시 선택에 있어 중요한 요소입니다."
Remarkably, almost all committee members who mentioned the importance of diversity added a condition of equal suitability which has to be met in order to be willing to select the more diverse candidate. A committee member elaborates: “So the funny thing is, the selection committee we’re all men. Well that’s not really a good thing, is it, most of the time we do have one or two women here that was and not now and the people we take on are mostly women … … and I always say, we choose the best one but in the case of equal suitability and so on. That is why the other thing I think is important, especially here is that you keep your eyes open for cultural diversity. Hey, we’ve all got white blond women and we’ve got one or two with a color and last time we took on a Moroccan girl. Without a headscarf to be sure, but she … and then with equal suitability. That again is something that also plays a part in your selection.”

이 인용문에서 다양성은 다른 모든 측면이 동등한 가치로 간주될 때만 부가가치로 간주된다는 것을 알 수 있습니다. 최고를 선택하는 것이 최우선 과제인 것처럼 보이며, '최고'의 후보가 한 명도 없을 때만 다양성을 고려하게 됩니다. '최고'는 후보자의 역사적 배경이나 특권과 관계없이 가장 장점이 많은 사람으로 정의되는 것으로 보이며, 이는 이미 특권을 누리고 있는 사람들에게 더 유리할 수 있습니다. 
In this quote it becomes obvious that diversity is only seen as an added value if all other aspects are considered equal in merit. Choosing the best seems to be their first priority and only when there is no one “best” candidate, diversity will be considered. The “best” appears to be defined as the one having the most merit, regardless of a candidate’s historic context or privileges, which might further advantage those already privileged.

그럼에도 불구하고 이 인용문은 의학 전문 분야에 진출한 URM 의사가 있다는 것을 보여줍니다. 문제는 이러한 URM 의사가 전문과목에 들어가기 위해 어느 정도까지 조정해야 했는지, 그로 인해 잠재적 부가가치가 감소했는지에 대한 의문이 남습니다. 
Nevertheless, this quote shows that there are URM medical doctors who make it into the medical specialties. The question remains whether and to what extent these URM medical doctors had to adjust to get in, thereby possibly decreasing their potentially added values.

일부 선발위원회에서는 URM 후보자 중 일부만이 선발 절차에 지원했는데, 이는 일반적으로 후보자들의 직업 선호도가 다르기 때문이라고 지적했습니다. URM 후보자 수가 적은 이유에 대해 다른 설명도 제시되었지만, 대체로 후보자에게 책임을 묻는 경향이 강했습니다. 한 선발 위원은 이렇게 말했습니다:

• "아니요, 사실 많지 않아요, 많지 않아요, 정말 재밌네요.... 특히 기본 교육에서 대략적으로 추산하면 약 50%가 다른 출신origin이며, 우리는 그들이 여기에 나타나지 않는 것을 실제로 보지 못합니다. 어떤 이유에서든요. 나는 그것을 잘 파악하지 못했기 때문에 그것은 많지 않습니다. .... 가끔 전공의들과 함께 있으면 물론 같은 전공의들을 볼 수 있습니다. 하지만 전문 분야로 나아가고 싶다는 분명한 포부를 갖고 이를 위한 조치를 취하는 경우는 거의 없습니다. ...아니면 여전히 GP를 선호하거나. 다른 과목이라면 모르겠지만 ..... 그러나 상당수는 서투르거나 어떤 식 으로든 뒤쳐져 있거나 충분히 열심히 싸우지 않습니다. 그러나 어쨌든 그들은 이력서 등으로 인해 이미 거부당하는 경우가 많습니다. 어쨌든 그들은 다른 사람들만큼 뛰어나지 않습니다."

Some selection committees noticed that only few URM candidates applied for their selection procedures, which was commonly attributed to different career preferences of these candidates. Although other explanations were offered for the lower number of URM candidates, the general tendency was to hold candidates accountable. A selection committee member said:

• “No, not a lot, no not a lot in fact and that’s funny really …. Especially here at the basic training some 50%, rough estimate, is of a different origin and we don’t really see them show up here. For whatever reason. I haven’t quite figured it out, so that’s not a lot. …. Sometimes with the residents you do see of course for they’re the same ones. And still you pretty rarely see a clear ambition to move on then to our specialty and taking action to facilitate that. …Or they still prefer GP medicine. I don’t know, if other subjects ….. But quite a few are clumsy or are lagging behind in some way or don’t fight hard enough. But in any case, quite often they’re already rejected because of their CVs and things like that. At any rate they’re not as good as others.”

이 선발 위원은 의대 재학 중에 명확한 포부를 갖고 이를 실현하기 위해 이미 행동을 취해야 한다고 강조합니다. 이러한 행동 중 일부는 매우 명시적일 수 있지만, 특정 전문 분야로 가는 길에 도움이 될 행동은 종종 암시적입니다. 이러한 암묵적인 규칙을 알기 위해서는 지원자에게 게임의 규칙을 설명해 주거나 길을 안내해 줄 사회적 자본이 필요합니다.
This selection committee member emphasizes the need to have a clear ambition and to already take action to realize it during medical school. While some of these actions may be quite explicit, those which will help along the road to a certain specialty are often implicit. In order to get to know these implicit rules, candidates need social capital; someone who will explain the rules of the game or show them the way.

이 탐색적 연구에서는 실제 레지던트 선발 위원회의 의사결정 과정을 연구했으며, 여기에는 의도하지 않은 잠재적, 추가적 장벽이 URM 후보자에게 미치는 영향도 포함되었습니다. 연구 결과,

• 지원자들은 게임 플레이와 진정성, 적응과 눈에 띄는 것 사이에서 균형을 잡아야 하기 때문에 자신을 호의적으로 표현하는 데 어려움을 겪는 것으로 나타났습니다.
• 지원자는 면접에서 진정성 있게 행동하는 동시에 게임의 암묵적인 규칙에 따라 플레이해야 합니다.
• 또한 지원자는 현재 레지던트 그룹에 대한 자신의 부가가치를 고려하여 후보자 풀에서 돋보이면서도 이 그룹에 잘 어울려야 합니다.
• 후보자가 많으면 선발 기준과 관련하여 자격 요건이 인플레이션되는 메커니즘이 생깁니다. 선발 위원회 위원들은 우수성을 찾고 있으며, 종종 의사로서의 특징보다는 지원자 개인의 특징에서 우수성을 구성합니다. 

In this explorative study, we studied the decision-making process of residency selection committees in actual practice, including potential, unintended, additional barriers for URM candidates.

• We showed that candidates struggle to portray themselves favorably as they have to balance between playing the game and being authentic, and between fitting in and standing out.
• Candidates are expected to behave authentically in interviews, meanwhile playing by the implicit rules of the game.
• Additionally, candidates are expected to stand out of the candidate pool regarding their added value to the current residency group, yet they should also fit in this group.
• The abundance of candidates creates a mechanism of credential inflation with regard to the selection criteria. Selection committee members are looking for excellence, and often construct excellence in person features rather than doctor features.

또한 게임 플레이와 진정성, 어울림과 돋보임 사이에서 균형을 유지하면서 URM 후보자에게 추가적인 장애물을 초래할 수 있는 의도하지 않은 메커니즘에 대해서도 강조했습니다. 앞서 언급한 바와 같이, 

• 어울리기fitting in는 유사성에 기반할 가능성이 높다는 함정이 있습니다(Rivera 2012). 
• 또한 규칙이 암묵적이고 규칙에 익숙해지기 위해 사회적 자본이 필요한 경우가 많기 때문에 규칙에 따라 게임을 플레이하는 것이 URM 후보자에게는 더 문제가 될 수 있습니다. 
• 마지막으로, 특권의 차이가 존재할 수 있습니다. 후보자는 특정 사회적 범주에 속한다는 이유로 다른 후보자보다 유리할 수 있습니다. 

선발 위원회는 다양성을 추구한다고 주장하지만, 동시에 그들의 관행과 절차가 실제로 URM 후보자를 채용하는 데 방해가 되는 것으로 보입니다.
We also highlighted unintended mechanisms that may lead to additional hurdles for URM candidates, while balancing between playing the game and being authentic, and between fitting in and standing out.

• As mentioned before, fitting in has the pitfall to be highly based on similarity (Rivera 2012).
• Furthermore, playing the game by the rules may be more problematic for URM candidates, since the rules are implicit and often require social capital to become familiar with them.
• Finally, differences in privilege may exist; candidates may have an advantage over others on account of being member of a particular social category.

Selection committees claim to look for diversity, but at the same time their practices and procedures seem to hinder them in actually hiring URM candidates.

우리 연구에 따르면 위원회 위원들은 유사성 편향의 희생양이 되는 것으로 나타났습니다(McPherson 외. 2001; Orpen 1984). 선발 위원회는 최고의 후보자를 선발하기 위해 실제로 자신이 이해할 수 있고, 흥미를 느끼거나, 유쾌한 동료처럼 보이고, 그룹에 가장 잘 맞는 후보자를 선발하고 있습니다. 이는 레지던트 선발이라는 고부담 결정에서 위험을 회피하는 행동으로 볼 수 있습니다. 이들은 자신과 매우 유사하게 생각하고, 느끼고, 행동하기 때문에 행동을 예측할 수 있는 후보자를 선택합니다. 훌륭한 의사가 될 수 있는 잠재력을 가진 지원자가 많기 때문에 채용 결정이 업무 관련 기준에 따라 이루어지는 경우는 거의 없습니다. 이는 유사성 편향을 지속시킬 수 있는 다른 주장에 대한 여지를 더 많이 남깁니다. 
In our study, committee members apparently fall prey to similarity bias (McPherson et al. 2001; Orpen 1984). In their attempt to select the best candidate, selection committees are actually selecting candidates whose choices they can understand, whom they find interesting, or who seem like pleasant colleagues and fit the group best. This could be seen as risk-aversive behaviour in the high-stakes decision of selecting for residency. They choose candidates whose behavior they can presumably predict because these candidates think, feel and act very similarly to themselves. Given the many candidates with the potential to become a good doctor, hiring decisions are rarely based on task-related criteria. This leaves more room for other arguments, which might perpetuate similarity bias.

본 연구 결과는 Razack 등(2015)이 확인한 능력주의 담론이 졸업후교육 의학교육에도 존재한다는 것을 시사합니다. 현재 선발의 가장 중요한 목표는 "최고"를 선발하는 것으로 보이며, 이는 현재의 인력 불균형에 기여하거나 유지할 수 있습니다. 최고를 선발하는 것은 환자 치료 외에 다른 분야(예: 연구나 경영에 대한 야망)에 대한 높은 야망을 선호하는 것을 조장하는 것으로 보이지만, 우리는 의료 분야에서 선발의 목표는 사회적 요구를 충족하는 의료 인력을 양성하는 것이어야 한다고 주장합니다. 연구나 경영에 대한 높은 야망에 지나치게 초점을 맞추면 미래의 의사들이 이러한 야망을 쉽게 이룰 수 있는 학계나 대형 병원에서 일할 수 있는 직업을 과도하게 선택할 수 있습니다. 이는 현재 소규모 병원, 특히 지방의 의료 전문가 부족 문제를 더욱 심화시킬 수 있습니다(Rabinowitz 외. 2008).
The findings of our study suggest that the meritocratic discourse identified by Razack et al. (2015) is also present in postgraduate medical education. Currently, the most important goal of selection seems to be selecting “the best”, which might contribute to or maintain the current workforce imbalance. Selecting the best seems to foster favoring high ambitions besides patient care (e.g. having ambitions in research or management), whereas we would argue that in healthcare the aim of selection should be to create a medical workforce that fulfils societal needs. An excessive focus on high ambitions in research or management might lead to overselecting future doctors for jobs in academia and large hospitals, where these ambitions can easier be fulfilled. This potentially adds to the current shortage of medical specialists in smaller hospitals, especially in rural areas (Rabinowitz et al. 2008).

또 다른 주목할 만한 발견은 공정하고 차별적이지 않아야 한다는 선발 위원들의 신념이 실제로는 불평등한 관행을 정당화할 수 있다는 것입니다. 이들은 협상된 장점 구성에 따라 후보자들을 평가하고 동등한 기준에 따라 최고를 선택하려고 합니다. 암묵적으로 능력merit을 정적이고 절대적이며 공정한 평가로 간주함으로써 불평등한 결과에 대한 책임을 지원자에게 돌리는 것입니다. 실제로 경력 경로의 잠재적 장벽을 고려하지 않으면 입학 절차가 특정 그룹에 불이익을 줄 수 있습니다. 레지던트를 향한 가장 바람직한 경력 경로는 장점과 우수성에 대한 맥락화된 아이디어를 바탕으로 구축되며, 암묵적이고 암묵적이기 때문에 '내부자'만이 알 수 있습니다(Razack 외. 2015). '내부자'가 되거나 내부 정보를 얻기 위해서는 사회적 관계, 즉 사회적 자본이 매우 중요합니다(부르디외 1986). 이러한 현상은 의학 졸업후교육 환경에서 아직 설명되지 않았지만, 독특한 현상은 아닙니다. 학계와 의과대학 선택과 같은 다양한 맥락에서 유사한 결과가 발견되었습니다(Van den Brink 2010; Razack 외. 2015; Wright 2015).
Another remarkable finding is that selection committee members’ beliefs of being fair and non-discriminatory might actually justify inequitable practices. They try to weigh the candidates based on their negotiated construction of merit, and choose the best on the basis of equal criteria. By implicitly taking merit as a static, absolute, and fair assessment, they bounce the responsibility for unequal outcomes back to the candidates. In fact, the admission procedure might disadvantage certain groups if potential barriers on their career paths are not taken into account. The most desirable career path towards residency, built on contextualised ideas of merit and excellence, is implicit and tacit and thus only known to “insiders” (Razack et al. 2015). Social connections, and thus one’s social capital, are crucial to become “an insider” or to gain inside information (Bourdieu 1986). Although this phenomenon has not yet been described in the postgraduate medical setting, it is not unique. Similar results have been found in different contexts, such as academia and in medical school selection (Van den Brink 2010; Razack et al. 2015; Wright 2015).

이 연구의 중요한 실무적 시사점은 선발 위원회가 모든 후보자를 동일한 잣대로 측정하는 것이 실제로는 공정하지 않을 수 있다는 점을 인식해야 한다는 것입니다. 형평성의 관점에서 선발하려면 지금까지의 경력 경로에서 기회의 차이를 인정하는 보다 총체적이고 맥락에 맞는 접근 방식이 필요합니다. 동시에 의사의 전체 경력 경로에서 포용성과 소속감에도 주의를 기울여야 합니다. URM 의사가 소속감을 느끼지 못하거나 소속감을 갖기 위해 자신의 진정성을 타협해야 한다고 생각한다면 우리는 다양성을 최대한 누릴 수 없을 것입니다(Sherbin and Rashid 2017).
An important practical implication of our study is that selection committees should be aware that measuring all candidates to the same yardstick might actually not be that fair. Selecting from an equity point of view requires a more holistic and contextualized approach, in which we acknowledge differences in chances in the career path so far. Simultaneously, attention should be given to inclusiveness and belonging along the whole career path of a medical doctor. We will never enjoy diversity to its full potential, when URM doctors feel that they do not belong or should compromise their authenticity in order to belong (Sherbin and Rashid 2017).

이 연구는 선발 위원회가 무의식적으로 선발 절차에 장벽을 만들어 URM 인재를 의료 인력에 포함시키지 못하게 하는 방법을 보여줍니다. 이러한 현상은 후보자의 특성과 지식을 파악하여 '최적의 편견 없는 결정'을 내리는 단계적 과정으로서의 선발 개념에 대한 비판적 수정을 요구합니다. 이 과정과 선발자 자체가 이 현상의 중요한 행위자입니다. 따라서 우리는 이 문제에 대한 가치 있는 심리측정 연구 외에도 선발위원들이 (무의식적으로) 어떤 방식으로 장점을 구성하여 장벽을 높이는지 더 심층적으로 살펴봐야 한다고 주장합니다. 이러한 분석을 바탕으로 선발의 목표를 최고 지원자의 임의적인 선발에서 의료 인력을 위한 선발로 전환하는 데 초점을 맞춘 개입을 설계할 수 있습니다.
This study shows how selection committees unconsciously construct barriers in their selection procedures, which keep them from including URM talents in our medical workforce. This phenomenon calls for a critical revision of our notion of selection as a step-by-step process of uncovering candidates’ characteristics and knowledge leading to an ‘optimal and unbiased decision’. The process and the selectors themselves are important actors in this phenomenon. We therefore argue that besides the valuable psychometric research on this matter, we should look more in-depth at how selection committee members (unconsciously) raise barriers through their construction of merit. Based on such analyses interventions could be designed, focused on shifting the goal of selection from selecting the arbitrary best towards selecting for the workforce.

질적 설계를 통해 삼각 측량이 가능한 다양한 정보 소스를 통해 상당한 양의 경험적 데이터를 살펴볼 수 있었습니다. 연구 결과의 이전 가능성과 관련하여, 확인된 관행은 궁극적으로 네덜란드의 졸업후교육생 선발의 맥락에서 이해되어야 합니다. 독자가 이 연구의 다른 맥락으로의 이전 가능성과 관련성을 평가할 수 있도록 필요한 정보를 제공하기 위해, 우리는 네덜란드의 맥락에 대한 자세한 설명을 제공하고 이전 문헌에 비추어 연구 결과를 논의했습니다. 몇 가지 제한 사항을 고려해야 합니다. 첫째, 저희는 병원 기반의 경쟁력 있는 전문 분야만 포함했습니다. 이러한 전문과목을 의식적으로 선택했지만, 이는 경쟁이 덜 치열한 전문과목의 선발 절차에 대한 전이성에 의문을 제기할 수 있습니다. 둘째, 실제 진료과를 포함하고 이러한 진료과에 최소한의 영향을 미치는 것을 우선순위로 삼았다는 것이 우리의 강점이지만, 예를 들어 그룹 토론에 연구자가 참석하여 진료과에 영향을 미쳤을 가능성을 배제할 수 없습니다. 
Our qualitative design allowed us to look at a considerable amount of empirical data, with different sources of information allowing triangulation. With respect to the transferability of our findings, the identified practices ultimately must be understood in the context of postgraduate selection in the Netherlands. With the aim to provide the reader with the necessary information to be able to evaluate the transferability and relevance of this work to other contexts, we provided a detailed description of the Dutch context and discussed our findings in the light of previous literature. Some limitations should be taken into account. First, we only included hospital-based competitive specialties. Although we consciously chose for these specialties, this might question transferability to selection procedures of less competitive specialties. Second, although our strength is that we included actual practices and our priority was to have a minimal influence on these practices, it cannot be ruled out that, for example, the presence of a researcher at the group discussion influenced the practice.

네덜란드의 레지던트 선발 의사 결정에 대한 연구를 바탕으로, 우리는 선발 위원회가 최고의 후보자를 찾기 위한 헌신으로 인해 거의 불가능한 좋은 자질들의 조합으로 장점을 구성한다고 주장합니다. 역설적인 조합과 모호하고 암묵적인 커리어 맵은 모든 지원자가 레지던트 자리를 얻는 것을 어렵게 만듭니다. 아마도 URM 후보자가 자신을 원하는 후보자로 전달하는 것은 훨씬 더 복잡 할 것입니다. 특히 졸업후교육생 선발에만 초점을 맞추고 파이프라인의 다른 누수를 무시하는 경우 선발 수준에서의 개입만으로는 원하는 변화를 가져올 가능성이 낮습니다. 의과대학과 의학전문졸업후교육 교육에서 포용성을 향한 동시적 개입은 원하는 변화를 이끌어내는 데 매우 중요합니다. 선발 위원회의 경우, 선발 결정 과정에서 위원들의 중요한 역할에 대한 인식을 높이고, 무엇이 능력으로 인식되는지에 대해 비판적인 대화를 나누고, 선발의 목적을 비판적으로 평가할 수 있도록 개입할 수 있습니다. 선발에 대한 연구는 현재의 선발 도구가 실제로 의사 결정에 어떻게 사용되는지에 대한 연구로 확장되어야 합니다. 현재의 선발 의사결정 관행에서 다양성을 가로막는 의도치 않은 장벽을 찾아내야 합니다.
Based on our study of residency selection decision-making in the Netherlands, we argue that selection committees, led by their dedication to look for the best candidates, construct merit as nearly impossible combinations of good qualities. Paradoxical combinations and the fuzzy and tacit career map make it difficult for all candidates to obtain a residency position. Probably, it is even more complicated for URM candidates to convey themselves as the desired candidate. Interventions at the level of selection alone are unlikely to bring about the desired change, particularly if these are solely focused on postgraduate selection and ignore the other leakages along the pipeline. Simultaneous interventions towards inclusivity in medical school and postgraduate medical education are crucial in enabling the desired change. For selection committees, interventions could be sought in developing more awareness of the crucial roles of committee members in the selection decision making processes, having critical dialogues on what is perceived as merit and critically evaluating the purpose of selection. Research on selection should be extended with research on how current selection tools are actually used in decision-making. Our advice is to look for unintentional barriers for diversity in our current selection decision making practices.

1Institute of Medical Education Research Rotterdam (iMERR), Room Ae-227, Erasmus MC, Postbus 2040, 3000 CA, Rotterdam, The Netherlands. L.Gennissen@erasmusmc.nl.

2Institute of Medical Education Research Rotterdam (iMERR), Room Ae-227, Erasmus MC, Postbus 2040, 3000 CA, Rotterdam, The Netherlands.

3Radboud UMC, Nijmegen, The Netherlands.

4Department of Internal Medicine at Radboud UMC, Nijmegen, The Netherlands.

5Center on Research in Learning and Education, Radboud University Medical Center Health Academy, Nijmegen, The Netherlands.

6Department of Pediatrics at Erasmus MC, Rotterdam, The Netherlands.

The diversity of modern society is often not represented in the medical workforce. This might be partly due to selection practices. We need to better understand decision-making processes by selection committees in order to improve selection procedures with regard to diversity. This paper reports on a qualitative study with a socio-constructivist perspective conducted in 2015 that explored how residency selection decision-making occurred within four specialties in two regions in the Netherlands. Data included transcripts of the decision-making meetings and of one-on-one interviews with committee members before and after the group decision-making meetings. Candidates struggled to portray themselves favorably as they had to balance playing by the rules and being authentic; between fitting in and standing out. Although admissions committees had a welcoming stance to diversity, their practices were unintentionally preventing them from hiring underrepresented minority (URM) candidates. While negotiating admissions is difficult for all candidates, it is presumably even more complicated for URM candidates. This seems to be having a negative influence on attaining workforce diversity. Current beliefs, which make committees mistakenly feel they are acting fairly, might actually justify biased practices. Awareness of the role of committee members in these processes is an essential first step.

피드백은 혁신적인 변화를 통해 학습자를 지원할 수 있는 잠재력을 가지고 있습니다[1, 2]. 효과적일 경우 학업 성취도를 향상하고 학습을 촉진하는 데 가장 영향력 있는 요소 중 하나입니다[3]. 그러나 피드백 및 피드백 프로세스는 다양하게 해석되고[4], 제대로 실행되지 않는 등 발달 계획에 따른 명시적인 메시지가 전달되지 않습니다[5]. 고등교육 학습자들은 피드백을 중요하게 생각하지만, 피드백에 대한 불만을 지속적으로 전달하고[6], 피드백을 사용하지 않는 경우도 많습니다[7,8,9,10].
Feedback has potential to support learners through transformational change [1, 2]. When effective, it is one of the most influential factors in improving academic achievement and promoting learning [3]. However, feedback and feedback processes are variably interpreted [4] and poorly executed, i.e. explicit messaging with developmental planning does not occur [5]. While learners in higher education value feedback, they also consistently communicate dissatisfaction with feedback [6], and frequently do not use it [7,8,9,10].

문헌에서는 전통적으로 교사 중심의 단방향 피드백이 보고되어 왔으며, 이는 보건 전문 교육에서 재개념화되었습니다[11, 12]. 이제 학습자는 자신의 개발 계획에 협력하는 능동적인 참여자로 간주됩니다. 피드백 수용에 대한 이러한 재조명은 학습자의 능동적 수용의 속성을 성공의 기본으로 확인했습니다: SAGE(자기 평가, 평가 리터러시, 목표 설정 및 자기 조절, 참여 및 동기 부여). 피드백 리터러시는 "정보를 이해하고 이를 업무 또는 학습 전략을 개선하는 데 사용하는 데 필요한 이해, 역량 및 성향"으로 정의되며, 학습자가 피드백을 이해하고 실행하는 데 참여하고 유능한 사람으로 자리매김합니다[13]. 
Literature has traditionally reported teacher-centred unidirectional feedback, which has been reconceptualised in health professional education [11, 12]. Learners are now considered active participants who collaborate in their developmental planning. This re-focus on feedback uptake has identified attributes of learner proactive recipience as fundamental to its success: SAGE (self-assessment, assessment literacy, goal-setting and self-regulation, engagement and motivation). Feedback literacy, defined as “the understandings, capacities and dispositions needed to make sense of information and use it to enhance work or learning strategies”, positions the learner as engaged and competent in making sense of, and implementing feedback [13].

자기조절 학습(SRL) 이론은 심리학, 교육학, 사회학에서 유래한 잘 정립된 이론입니다. 이는 목표 설정, 전략 선택, 비용과 효과의 균형, 행동 모니터링, 적응 및 수정이 특징인 과제에 참여하는 스타일입니다. 인지적, 메타인지적, 행동적, 동기적, 정서적 영향과 함께 학습에 대한 총체적인 이해를 제안합니다. SRL의 주요 측면에는 기존의 지식과 신념을 활용하고 그에 따라 재조정하기 위해 결과를 모니터링하는 능동적 학습자가 포함됩니다 [14]. 따라서 학습자가 피드백과 같은 학습 정보를 어떻게 받아들이는지 이해하는 데 유용한 모델입니다.
Self-regulatory learning (SRL) theory is a well-established theory with origins in psychology, education and sociology. It is a style of engaging with tasks which is characterised by setting goals, selecting strategies, balancing cost and effect, monitoring, adapting and amending behaviours. It proposes a holistic understanding of learning, with cognitive, metacognitive, behavioural, motivational and emotional influences. Key aspects of SRL include active learners who draw on existing knowledge and beliefs and monitor outcomes to recalibrate accordingly [14]. It is therefore a helpful model to understand how learners take up learning information such as feedback.

다양한 SRL 모델이 존재하며, 본 연구에서는 세 가지 주요 모델에서 강조되는 공통된 개념을 사용합니다[15,16,17].

• 첫째, SRL은 맥락에 중점을 둔 상황 중심 학습 접근 방식을 취합니다. 이는 피드백 반응이 발생하는 맥락과 분리될 수 없다는 기존의 연구 결과와 일치합니다[18].
• 둘째, 자기조절은 목표 지향성을 특징으로 하며, 현대 교육은 학습 이득을 위한 변화에 영향을 미치는 피드백에 중점을 둡니다. "루프 닫기"는 적극적인 피드백을 통해 학습자의 현재 수준에서 더 높은 수준으로 이동하는 것을 의미합니다[19]. '변화를 위한 코칭'은 피드백 대화의 R2C2 모델과 관련이 있으며, 코칭은 합의된 개발 계획을 도출하는 협력적인 양방향 피드백 상호 작용의 일부입니다[20].
• SRL은 학습 정보에 대한 학습자의 행동 변화가 학습자의 동기 및 인지와 관련이 있다는 점을 강조합니다. 피드백 반응은 종종 성장 마인드를 가진 동기 부여와 이를 실행하기 위한 인지 능력 적용과 연결됩니다[21].
• 또 다른 주요 특징은 자기조절 학습자가 학습 전략을 지속적으로 점검하고, 재조정하고, 조정하는 재귀적 특성입니다.
• 마지막으로, 반복할 때마다 다른 맥락에 따라 변화하는 역동적인 과정입니다. 

A number of SRL models exist; this study will employ the shared concepts emphasised across three seminal models [15,16,17].

• Firstly, SRL takes a situated learning approach with an emphasis on context. This aligns with established findings that feedback responses cannot be separated from the context in which they occur [18].
• Secondly, self-regulation is characterised by goal-directedness, with contemporary teaching focussing on feedback that effects change for learning gain. “Closing the loop” describes moving from the learner’s current standard to a higher level via actively implementing feedback [19]. “Coaching for change” relates to the R2C2 model of feedback conversations, whereby coaching is part of a collaborative bi-directional feedback interaction resulting in an agreed developmental plan [20].
• SRL emphasises that learner’s behavioural changes in response to learning information relate to their motivations and cognition. Feedback responses are often linked to motivation with a growth mind-set and applying cognitive ability to implement it [21].
• Another key feature is its recursive nature: the self-regulated learner constantly checks, re-calibrates and tweaks learning strategies.
• Finally, it is a dynamic process which alters with each iteration and with differing contexts.

능동적으로 피드백을 받는 학습자는 학습자의 참여와 피드백 수용에 필요한 요소에 대한 이해를 발전시켜 왔습니다. 피드백 리터러시는 이를 바탕으로 학습자가 피드백을 사용하는 행위에서 중심을 잡을 수 있도록 합니다. 자기조절학습(SRL) 이론은 주어진 피드백 상호작용에서 학습자에게 나타나는 역동적인 전략을 탐구할 수 있는 또 다른 렌즈를 제공합니다. 이 이론은 이러한 개념의 측면을 하나의 프레임워크 아래에 통합합니다. SAGE 분류법(자기 평가, 평가 리터러시, 자기 조절, 참여 및 동기 부여)은 능동적인 피드백을 받기 위해 자기 효능감과 열정이 필요함을 나타내며, 이는 자기 신념과 동기가 학습 정보(예: 피드백)가 향후 학습에서 구현되는 방식에 영향을 미친다는 SRL의 주장과 유사합니다. 피드백 리터러시에서 '판단하기'와 '감정 관리하기'의 개념은 각각 메타인지 인식 및 정서 조절의 SRL 측면과 겹칩니다. 따라서 SRL은 이러한 모든 요소가 전체론적 접근 방식과 어떻게 상호 작용하는지 고려하는 중요한 프레임워크로 유용할 수 있습니다.
Proactive recipience has developed understanding of the factors required for learner engagement and uptake of feedback. Feedback literacy builds on this in centring the learner in the act of using feedback. Self-regulated learning (SRL) theory offers another lens to delve in to the dynamic strategies that play out in the learner in any given feedback interaction. It brings together aspects of these concepts under one framework. The SAGE taxonomy (self-assessment, assessment literacy, self-regulation, engagement and motivation) indicates self-efficacy and enthusiasm are needed to for proactive feedback recipience, which parallels SRL’s assertion that self-belief and motivation influence how learning information (such as feedback) is implemented in future learning. The concepts of “making judgments” and “managing emotions” in feedback literacy overlap with SRL aspects of metacognitive awareness and affective regulation, respectively. SRL may be useful therefore as an overarching framework to consider how all these factors interact with a holistic approach.

SRL의 렌즈를 적용하여 자기조절 활동이 학습 개선을 위한 피드백 통합과 어떻게 상호작용하는지 살펴보고자 합니다. 이를 위해 정서적, 인지적, 행동적, 상황적 요인 간에 상호 작용하는 하위 프로세스를 조사하고자 합니다. 이를 통해 피드백이 SRL을 활성화하는지 여부와 방법, 그리고 어느 하위 영역에서 피드백이 상호 작용하는지를 고려할 수 있습니다. 이것이 바로 우리의 연구 질문입니다: 
By applying the lens of SRL, we aim to explore how self-regulatory activity interacts with incorporating feedback for improved learning. We aim to examine sub-processes that interact between affective, cognitive, behavioural and contextual factors. It allows us to consider the feedback interaction in terms of if and how it activates SRL, and at which sub-areas. Hence our research question:

학습자의 피드백 경험은 학습의 자기 조절과 어떤 관련이 있나요?
In what ways do learners’ experiences of feedback relate to self-regulation of learning?

연구 설계 및 방법론적 방향
Study design and methodological orientation

이 연구는 피드백을 참여자, 상황 및 환경적 요인에 의해 구성되는 사회적 행위로 개념화하는 상대주의적 존재론[22]에서 접근했습니다.

• 피드백은 개인과 특정 상황(예: 성적, 대면 평가, 서면 보고서)에 따라 의미가 달라지는 역동적인 개념으로 간주합니다.

피드백에 관한 연구자의 인식론은 사회구성주의적 관점으로,

• 피드백이 의미하는 바는 피드백 활동에 참여하는 사람들의 가치와 신념의 표현이며 특정한 문화적, 사회적 맥락에 내재되어 있습니다.

우리의 방법론적 접근은 의대생들의 생생한 피드백 경험을 해석하는 데 있어 질적 방법을 사용한 탐색적 접근입니다.

• 이 연구는 질적 연구 보고를 위한 통합 기준(COREQ)에 따라 보고되었습니다(부록 B)[23]. 

This study was approached from a relativist ontology [22], where feedback is conceptualised as a social act, constructed by participants, circumstance and environmental factors.

• We consider feedback a dynamic concept which changes meaning depending on the individual and their particular context, e.g. grades, face-to-face appraisals, written reports.

The researcher epistemology regarding feedback is socio-constructivist;

• what feedback means is an expression of the values and beliefs of the participants in the feedback activity and are embedded in the specific cultural and social context.

Our methodological approach is exploratory using qualitative methods in interpreting the lived experience of feedback for medical students.

• This study is reported in accordance with the consolidated criteria for reporting qualitative research (COREQ) (Appendix B) [23].

참여자
Participants

이 연구는 아일랜드 왕립 외과의과대학(RCSI) 의과대학 및 보건과학대학의 의대 4학년 학생을 대상으로 수행되었습니다. 아일랜드, 바레인, 말레이시아의 3개 캠퍼스에서 학생들을 초대하여 참여하게 했습니다. 모든 학생들은 연구 배경과 연구 질문을 설명하는 프레젠테이션을 통해 연구에 대해 소개받았습니다. 각 연구 연도에 대한 평가 및 피드백 정보는 제공되었지만 피드백 사용 방법에 대한 직접적인 교육은 제공되지 않았습니다. 
This study was undertaken with final-year medical students in the RCSI (Royal College of Surgeons in Ireland) University of Medicine and Health Sciences. Student participants from the three campuses in Ireland, Bahrain and Malaysia were invited to participate. All students were introduced to the study with a presentation explaining background to the study and research questions. They are provided with assessment and feedback information for each year of study, but not provided with directed training on how to use feedback.

연구자
Researchers

MS는 의대 졸업반 학생들과 정기적으로 피드백을 주고받는 선임 강사입니다. TP는 보건 전문직 교육 센터의 명예 교수입니다. MS와 TP는 피드백 연구에 참여하고 있으며 피드백 반응에 대한 체계적인 리뷰를 발표했습니다. JL과 MHJ는 학부 교육에 관여하지 않는 기관의 연구원입니다. 일부 저자(SCL, SM, TP, MS, TP)는 교육에 관여하고 있지만, 각 기관의 면접관(JL-아일랜드, MS-바레인, MHJ-말레이시아)은 대인관계 반사성의 원칙과 참가자에게 영향을 미칠 수 있는 힘의 역학을 인식하여 학생 평가 및 학습에 관여하지 않았습니다[24]. 팀 토론을 통해 다양한 내러티브가 해석에 반영될 수 있었습니다 [25, 26]. 
MS is a senior lecturer who regularly engages in feedback with the final-year medical students. TP is professor emerita of the Health Professions Education Centre. MS and TP are involved in feedback research and have published a systematic review on feedback responses. JL and MHJ are researchers at the institution who do not have a role in undergraduate education. Although some authors (SCL, SM, TP, MS, TP) are involved in education, the interviewer at each site (JL-Ireland, MS- Bahrain, MHJ- Malaysia) was not involved in student assessment and learning, in recognition of principles of interpersonal reflexivity and acknowledging the power dynamics that could influence participants [24]. Team discussions facilitated diverse narratives being captured in our interpretation [25, 26].

연구 참여자 모집 및 데이터 수집
Recruitment and data collection

우리 기관은 다국적 멀티캠퍼스 의과대학으로, 101개 국적의 학생들로 구성된 다양한 학생 집단을 보유하고 있습니다[27]. 모든 사이트에서 윤리 승인을 요청하고 받았습니다. 학생들의 피드백 경험을 조사하기 위해 개별 반구조화 인터뷰를 실시했습니다. 인터뷰 가이드를 설계하기 위해 SRL의 이론적 틀을 사용했습니다(부록 A). 각 사이트에서 파일럿 인터뷰를 실시하고 이를 녹음했습니다. MS는 이를 듣고 녹취록을 검토한 후 TP 및 JL과 함께 인터뷰 프로토콜을 다듬었습니다. 각 인터뷰를 시작할 때 참가자들에게 피드백 형식의 예와 광범위한 정의가 제공되었습니다. 참가자들은 피드백을 사용하는 이유와 방법에 대한 예를 포함하여 자신의 경험을 설명하도록 권장되었습니다. 특정 피드백 이벤트를 지정하지 않았기 때문에 참가자들은 어떤 경험에 대해서도 자유롭게 이야기할 수 있었습니다. 국적, 성별, 근무지에 따라 최대한의 다양성을 확보하기 위해 표본을 추출했습니다. 데이터 분석은 5번의 인터뷰 후 시작되었으며, 정보력이 충분하다고 판단될 때까지 반복적으로 진행되었습니다[28]. 
Our institution is a transnational, multi-campus medical school and our student population is diverse, with students from 101 nationalities [27]. Ethics approval was sought and received at all sites. We conducted individual semi-structured interviews to explore students’ feedback experiences. We used the theoretical framework of SRL to design the interview guide (Appendix A). We conducted pilot interviews at each site, which were recorded. MS listened to these and reviewed the transcripts, then refined the interview protocol with TP and JL. On commencing each interview, participants were provided with examples of feedback formats and a broad definition. Participants were encouraged to describe their experiences, including examples of why and how they use feedback. We did not specify particular feedback events, so participants were free to discuss any experiences. We sampled for maximal diversity for nationality, gender and site of study. Data analysis commenced after five interviews and continued iteratively until it was considered that information power was sufficient [28].

데이터 처리
Data processing

아일랜드의 인터뷰는 대면 인터뷰로 진행되었고, 바레인과 페르다나의 인터뷰는 온라인으로 진행되었습니다. 모든 인터뷰는 처음에 전사 소프트웨어(Otter.ai)를 사용하여 녹음하고 전사했습니다. 필사본은 오디오 녹음과 비교하여 정확성을 위해 편집되었습니다. 모든 식별 가능한 정보는 코딩 전에 익명으로 처리되었습니다. 이후 원본 녹취록은 파기되었습니다.
The interviews in Ireland were done in person, those in Bahrain and Perdana were conducted online. All interviews were recorded and transcribed initially using transcription software (Otter.ai). Transcriptions were edited for accuracy, by comparing with audio recordings. All identifiable information was anonymised prior to any coding. Original recordings were subsequently destroyed.

데이터 분석
Data analysis

주제별 분석에 대한 체계적인 접근법으로 템플릿 분석을 선택했습니다. 이 방법은 우리처럼 대규모 데이터 세트를 관리할 때 유용합니다. 템플릿 분석은 높은 수준의 구조를 가진 계층적 코딩의 사용을 강조합니다. 또한 선험적 코드, 즉 현재 데이터를 검토하기 전에 개발된 코드를 사용할 수 있습니다[29]. 이는 피드백 반응에 대한 이전의 체계적인 검토 결과[4]를 통해 이 분석에 정보를 제공하는 데 용이했습니다. 우리는 6단계 프로세스를 따랐습니다 [30]:
We chose template analysis as a systematic approach to thematic analysis. It is useful when managing large data sets such as ours. It emphasises use of hierarchical coding with high level of structure. It also allows for a priori codes, codes developed before examining the current data [29]. This facilitated informing this analysis with findings from a previous systematic review of feedback responses [4]. We followed the six-stage process [30]:

1. 데이터에 익숙해지기
1.Familiarisation with data

MS와 TP가 녹취록을 읽고 다시 읽었습니다.
MS and TP read and re- read the transcripts.

2. 예비 코딩
2.Preliminary coding

MS는 자기조절 학습 이론의 개념에 부합하는 피드백 응답을 바탕으로 선험적 주제를 제안했습니다. 그런 다음 MS는 각 캠퍼스 현장을 대표하는 다양한 국적과 성별의 학생을 대상으로 귀납적으로 새로운 코드를 선별했습니다. 한 줄 한 줄 코딩하는 대신, 각 녹취록을 읽고 다시 읽으면서 연구 질문과 관련된 상위 주제와 하위 주제를 파악했습니다.
A priori themes were suggested by MS based on feedback responses aligned to concepts of self-regulatory learning theory. MS then inductively screened for new codes initially on a selection of interviews representing each campus site, students of varying nationality and gender. Rather than coding line-by-line, each transcript was read and re-read to identify high-level themes and sub-themes relevant to the research questions.

3. 클러스터링
3.Clustering

새로 식별된 주제는 시각적 매핑을 통해 기존 주제와 클러스터링했습니다. 분석에 도움이 되지 않는다고 판단되는 선험적 코드는 제거했습니다.
Newly identified themes were clustered with existing ones via visual mapping. A priori codes which were agreed to be unhelpful in the analysis were removed.

4. 초기 템플릿 생성
4.Producing an initial template

상위 테마(MS)를 클러스터링하여 템플릿 초안을 개발했습니다.
A draft template was developed from the clustering of high-level themes (MS).

5.템플릿 적용 및 발전
5.Applying and Developing the template

추가적인 반복 분석과 토론(MS, TP)이 이어지면서 템플릿은 주요 주제와 하위 수준 코드의 최종 합의된 계층 구조로 수정되었습니다(MS).
As further iterative analysis and discussion ensued (MS, TP), the template was revised to a final agreed hierarchy of major themes and lower-level codes (MS).

6. 최종 해석
6.Final Interpretation

주요 주제는 합의(MS, TP)를 통해 합의되었으며 최종 템플릿은 세 가지 중요한 영역으로 구성되었습니다. 응답자 검증을 위해 분석 결과를 학생들에게 피드백했으며, 큰 변경은 필요하지 않았습니다(MS)[31].
Major themes were agreed by consensus (MS, TP) and the final template consisted of three overarching domains. We fed back our analysis to students for respondent validation, and no significant changes were required (MS) [31].

템플릿 진화
Template evolution

표 1에는 템플릿의 진화에 대한 자세한 정보가 나와 있습니다. 

• 초기 선험적 코드는 피드백 응답에 대한 이전의 체계적 검토에서 도출되었습니다. 
• 템플릿의 두 번째 반복은 세 가지 중요한 영역, 즉 핀트리치 SRL 모델에 특정한 피드백에 의해 활성화되는 SRL 프로세스로 구성되었습니다[15]. MS와 TP는 이 템플릿을 사용하여 대본을 코딩하여 테마를 평가하고, 새 테마를 추가하고, 기존 테마를 삭제 또는 수정하고, 테마 및 하위 테마의 계층 구조를 다시 정렬했습니다. 이를 통해 
• 세 번째 템플릿 반복을 개발하게 되었으며, 구체적으로 식별된 SRL 응답의 하위 테마가 발생하는 분류로서 지원적 피드백 경험과 비지원적 피드백 경험에 명확히 초점을 맞추게 되었습니다. 
• 최종 반복에서는 경험 유형(지원적 및 비지원적)과 SRL 반응을 이러한 변조의 조정 요소로 통합하여 학습 변조의 세 가지 중요한 영역을 적용합니다.

Table 1 includes more information on evolution of the template.

• Initial a priori codes were derived from a previous systematic review on feedback responses.
• The second iteration of the template consisted of 3 overarching domains: the SRL processes activated by feedback specific to the Pintrich model of SRL [15]. MS and TP used the template to code transcripts to evaluate for themes, add new themes, delete or modify existing themes and re-order the hierarchy of themes and sub-themes..
• This led to the development of the third template iteration, with a clarified focus on supportive and unsupportive feedback experiences as classifications under which sub-themes of the specifically identified SRL responses occurred.
• The final iteration applies three overarching domains of modulation of learning from integrating the experience type (supportive and unsupportive) and SRL responses as moderating factors of these modulations.

57명의 학생 인터뷰를 실시했습니다(표 2의 인구 통계). 
Fifty-seven student interviews were conducted (demographics in Table 2).

메타인지 지식과 신념의 조절
Modulation of metacognitive knowledge and beliefs

SRL은 역량 달성을 위한 인지적, 정서적, 행동적 과정의 변조를 설명합니다. 학습자는 피드백이 학습에 대해 생각하는 방식에 영향을 미치는 여러 가지 방법을 설명합니다(인지적 변조). 학습자는 피드백을 사용하여 자기 평가하고 동료와 비교하여 자신의 능력을 파악합니다. 때때로 자기 평가와 피드백이 일치하지 않을 때 긴장이 발생하기도 하지만, 학습자들은 대부분 반성 후 좋은 의도의 비평을 받아들인다고 말합니다: 
SRL describes modulation of cognitive, affective and behavioural processes to achieve competence. Learners describe a number of ways in which feedback affects how they think about learning (cognitive modulation). They use feedback to self-evaluate and locate their ability against their peers. Occasional tension arose when self-evaluation did not align with feedback; however learners mostly indicate accepting well-intended critique after reflection:

"이 선생님은 우리를 도우려는 좋은 선생님이라는 것을 알았기 때문에... 우리가 얼마나 못했는지에 대해 지적을 해도 해를 끼치려는 것이 아니라는 것을 알기 때문에 받아들입니다. 그들은 우리를 도우려는 것뿐입니다. 그래서 우리는 그것을 받아들일 것입니다."(S10).
“We knew that this teacher is a nice teacher who's trying to help us…So if they made a comment about how bad we were, we accept that because we know they're not trying to be harmful. They're just trying to help us. So we will accept that” (S10).

피드백 상호작용에서 경멸적인 언어와 인격에 대한 공격이 사용되었을 때 자기효능감에 부정적인 영향을 미쳤습니다. 이들은 그 후 오랜 기간 동안 "굴욕감"과 "황폐함"을 느꼈다고 보고했습니다. 이들은 이러한 피드백과 피드백이 자신의 능력에 미치는 영향에 대해 반추합니다. 
Feedback interactions negatively affected self-efficacy when derogatory language and attacks on their character were employed. They report feeling “humiliated” and “devastated” for long periods afterwards. They ruminate on this feedback and its implications of their ability.

피드백은 학습 자체와 관련된 학습자의 신념을 조절합니다. 참가자들은 긍정적인 피드백을 받은 후 특정 활동에 더 깊이 참여하게 되었다고 말합니다. 일반적으로 학습에 대한 열정이 새로워지고 향후 활동에서 적극적으로 피드백을 구하게 되었다고 설명합니다. 학습자는 피드백이 적대적일 때 학습 가치를 하향 조정했습니다. 이들은 피드백을 '무의미한 것'으로 묘사하고 학습을 '포기'하는 것에 대해 이야기합니다. 자세한 예는 표 3에 나와 있습니다.
Feedback modulates learners’ beliefs related to learning itself. Participants describe deeper engagement with a particular activity following a positive feedback encounter. They describe a renewed enthusiasm for learning in general and active feedback-seeking in future activities. Learners adjusted learning value downwards when feedback encounters were hostile. They describe feedback as “pointless” and talk about “walking away” from learning. Further examples are provided in Table 3.

학습 목표의 조절
Modulation of learning goals

SRL 이론은 학습에 있어 동기 부여와 효과적인 영향을 인정합니다. 연구 결과에 따르면 피드백은 학습 목표와 관련하여 이러한 요소와 상호작용하는 것으로 나타났습니다. 이는 크게 두 가지 주제로 나뉩니다: 동기 부여와 노력 투자, 그리고 감정 보호/스트레스 요인 회피입니다.
SRL theory acknowledges motivational and effective influences in learning. Our findings indicated feedback interacts with these factors in relation to learning goals. These came under two main themes: Motivation and effort investment and Protecting Emotions/Avoiding Stressors.

동기 부여 및 노력 투자
Motivation and effort investment

지원적인 피드백 경험은 특히 슈퍼바이저가 있는 곳에서 참가자들의 열정을 불러일으켰습니다. 
Supportive feedback experiences inspired enthusiasm in participants, particularly where the supervisor was.

"여러분이 발전하는 모습을 보고 싶어 하고, 여러분이 한 걸음 더 나아갈 수 있도록 열정적으로 도와주니 정말 변화하고 싶다는 동기가 생겼어요."(S8).
“really engaged in wanting to see you improve and is passionate about, you know, helping you make those extra steps, it really motivates me to change” (S8).

참가자들은 학습 활동에 투자하는 시간이나 노력을 늘림으로써 이를 활용했습니다. 목표를 재조정하고, 학습 일정을 변경하고, 학습 활동을 추가했습니다. 이는 성과가 최선이 아니더라도 피드백 경험이 건설적이었다면 더 많은 계획과 학습에 투자했을 때에도 일어납니다. 참가자들은 일반적으로 노력 투자에 부정적인 영향을 미치는 형식적인 피드백을 경험합니다:
Participants harnessed this by increasing time or effort on the learning activity. They re-calibrate targets, change study schedule, and add study activities. This happens even when their performance was sub-optimal: as long as the feedback experience was constructive, they invested more planning and studying. Participants commonly experience perfunctory feedback which negatively affects effort investment:

"(피드백은) 예상된 것이기 때문에 그냥 비평만 하는 것이기 때문에 피드백 세션을 마치고 나면 '내가 왜 참석했을까? 유용한 건 하나도 없었는데"... "피드백을 위한 피드백"(S8)이라는 생각을 하게 됩니다. 
“(they are) just sort of providing critique, because it's expected, so I leave a feedback session being like, “why did I even bother showing up? Like, nothing useful happened there”…you know, feedback for the sake of giving feedback” (S8).

적대적인 경험을 한 학생은 의욕을 잃은 반면, "부끄럽고 슬프지만 기억할 거예요... 시험에서 실수하는 것보다 수업 중에 부끄러워하는 것이 더 낫죠"(S48)라고 주장하는 학생도 있습니다.
With hostile experiences, some students are demotivated, while others argue that “I'll feel ashamed and sad…But I will remember it…so better ashamed during the class, rather than you make mistakes in the exam” (S48).

감정 보호/스트레스 요인 피하기
Protecting emotions/avoiding stressors

학습자는 위협을 받는다고 느끼는 피드백을 피합니다. 이는 학습자가 "굴욕적", "당황스럽다", "공격적"이라고 묘사하는 이전 경험에서 비롯됩니다. 학습자는 그 상황에서 벗어나는 데 집착하게 됩니다. 이는 향후 학습에 영향을 미치며, 일부는 반복되는 사건을 피하기 위해 노력합니다. 한 참가자는 "그가 나를 많이 괴롭혔다"고 느꼈던 피드백 상황을 설명하며 눈물을 흘렸고, "그 경험 때문에 컨설턴트와 이야기하는 것이 두렵다"고 말하며 더 이상 적극적으로 피드백을 구하지 않는다고 말했습니다(S11). 이는 또한 불출석으로 나타나기도 했는데, 특정 상사나 활동(예: 병동에서 발표하는 것)을 피하는 것으로 나타났습니다. 자세한 예는 표 4에 나와 있습니다. 
Learners avoid feedback where they feel threatened. This stems from prior experiences they describe as “humiliating”, “embarrassing” and “aggressive”. They becomes fixated on escaping. This colours future learning where some go out of their way to avoid a repeat incident. One participant broke down in tears describing a feedback situation where they felt “he was picking on me a lot” and goes on to say they no longer actively seek feedback, “that’s why I'm scared to talk to the consultants because of that experience” (S11). This also manifested as non-attendance; avoiding specific supervisors or activities, e.g. presenting on wards. Further examples are provided in Table 4.

학습 전략의 조절
Modulation of learning strategies

SRL은 학습자가 자신의 상황 내에서 자신의 진행 상황을 모니터링하고 그에 따라 적응할 것을 요구합니다. 학습자들은 피드백과 관련하여 학습 설계 방식이 영향을 미친 두 가지 주요 영역을 설명합니다. 이는 크게 두 가지 주제로 분류됩니다: 전략 선택과 전략 조정.
SRL requires the learner to monitor their progress within their context and adapt accordingly. In relation to feedback, our learners describe two key areas where how they design their learning was affected. These are broadly categorised under two themes: Selecting strategies and adapting strategies.

전략 선택하기
Selecting strategies

학습자들은 피드백을 학습 전략으로 전환하는 데 어려움을 표했습니다. 그들은 명확한 '다음 단계'를 제시하는 피드백을 선호했습니다. 그들은 다음과 같이 말합니다: 
Learners expressed difficulty translating feedback in to learning strategies. They favoured feedback which gave clear “next steps”. They comment that:

"무엇을 해야 할지는 알지만 어떻게 해야 할지는 모르겠다"(S50).
“you'll know what you need to do but you don't know how” (S50).

"좋은" 피드백은 감독자가 단순히 어떤 작업이 필요한지보다는 어떻게 변화할지를 제안하는 것을 의미했습니다. 한 학습자는 그 피드백을 이렇게 설명합니다: 
“Good” feedback meant when supervisors suggested how to change rather than just what needed work. A learner explains that feedback:

"중요한 점에 집중할 수 있도록 도와주셨어요... 그런 조언을 해주지 않았다면 저는 실제로 병동에 가지 않았을 것입니다. 피드백은 제가 개선하기 위해 무엇을 해야 하는지 정확하게 알려주었기 때문에 매우 긍정적이었습니다."(S4). 
“helped me to concentrate on important points…And if he didn't give me that advice, I wouldn't actually go to the wards. And so that was very positive because it really directed me towards exactly what I need to do to improve” (S4).

이들은 발달 영역이 확인된 피드백을 어떻게 다룰 것인지에 대한 명확한 방향이 없으면 이를 활용할 전략을 선택하기가 어렵다는 것을 알게 됩니다. 이 중 일부는 모호한 의견에서 비롯되었습니다: 
They find it challenging to select strategies to use feedback which identified developmental areas, without explicit direction in how to address these. Some of this came from vague comments:

"모든 것이 괜찮다"는 식의 피드백을 주면 어떻게 해야 하나요?" (S45).
“if you give me feedback, like "everything's Okay", what am I gonna do with it?” (S45).

이들은 명확성을 확보하려는 시도가 실패하여 이 전략을 포기하게 되었다고 설명합니다: 
They describe unsuccessful attempts to gain clarity, lead to abandoning this strategy:

"저는 그냥 질문을 그만뒀어요... 저는 중고등학교 때 선생님들과 함께 살면서 서로가 같은 생각을 할 때까지 모든 것을 물어봤어요... 여기서는 기본적인 질문을 해도 제대로 된 대답을 들을 수 없으니까요... 그래서 그냥 질문을 그만뒀는데, 끔찍하죠. 지금은 많은 것을 이해하지 못하니까요. 물어볼 사람이 없어요" S26. 
“I just stopped asking questions …I would live with the teachers in secondary school…and ask everything until we both were on the same page… Here, you can ask a basic question and you don’t get a proper response… So I just stopped asking, which is awful. Because now I don't understand lots of things. I have no one to ask” S26.

적응 전략
Adapting strategies

저희는 이를 행동 전략, 인지 전략, 감정 관리를 위한 분리라는 세 가지 주제로 나누었습니다. 
We have divided these in to three themes: behavioural strategies, cognitive strategies and disengagement to manage emotions.

행동 전략
Behavioural strategies

참가자들은 신체검사의 기법 변경, 병력 청취 시 질문 추가, 구조와 우선순위를 조정한 사례 발표 등 과제별 행동에 피드백을 통합하는 방법에 대한 다양한 사례를 제공했습니다. 
Participants provided many examples of how they incorporated feedback in to task-specific actions, e.g. changing technique in physical examination, adding questions in history-taking, presenting cases with tweaks to structure and prioritisation.

인지 전략
Cognitive strategies

피드백은 인지 학습 전략에 더 다양한 영향을 미쳤습니다. 참가자들은 약리학 지식을 위한 특정 앱을 사용하거나, 프레젠테이션을 서면 연습에서 구두 연습으로 학습 방향을 바꾸는 등 과제 또는 활동별 조정을 쉽게 실행했습니다.
Feedback had more variable influences on cognitive learning strategies. Participants readily implemented task or activity-specific tweaks, e.g. using a specific app for pharmacology knowledge, redirecting study from written to verbal practice of presentations.

학습 전략에 대한 보다 정교한 점검이 제안되었을 때 학생들의 반응은 엇갈렸습니다. 어떤 학생들은 기꺼이 적응하겠다는 반응을 보였고, 어떤 학생들은 신뢰할 수 있는 전략을 바꾸는 것이 불편하다고 말했습니다;
When more elaborate overhaul of their study strategy was suggested, responses were mixed. Some were open to adapt; others were uncomfortable changing reliable strategies, saying;

"이 시점에서 제 공부 습관이 꽤 굳어졌어요...., 지금까지는 잘 해왔어요, 누군가 저에게 모든 것을 완전히 바꾸라고 하면 조언에 감사할 뿐 실제로 실행하지는 않을 거예요"(S4).
“I've found my studying habits to be pretty set in stone at this point…., they've done me well, up until now, if somebody told me to completely revamp everything, I would thank them for their advice and not actually implement it” (S4).

학습자는 후속 학습 전략에 통합할 피드백 요소를 정기적으로 골라 선택합니다:
Learners regularly pick and choose which elements of feedback to incorporate in subsequent learning tactics:

"피드백이 좋은지, 나쁜지, 사용할 만한 가치가 있는지 등 피드백을 필터링하는 것이 중요합니다."(S1).
“it's a lot about filtering the stuff that comes, whether it's good, whether it's bad, you know, if there's something worth using, to go with it” (S1).

참여도 저하
Disengagement

학습자는 피드백이 적대적인 것으로 인식될 때 참여를 중단합니다. 이러한 상황은 빈번하게 발생하며 경멸적인 언어, 부정적인 비언어적 커뮤니케이션(눈동자 굴리기, 한숨, 훈계하는 어조), 끼어들기 및 고함, 인격이나 의사로서의 능력에 대한 언급 등 여러 가지 형태로 나타납니다. 피드백 메시지가 잠재적으로 유용할 수도 있지만, 일부는 의식적으로 무시하기도 합니다:
Learners disengage when feedback is perceived as hostile. Such encounters are frequent and have several manifestations—derogatory language, negative non-verbal communication (eye-rolling, sighing, admonishing tone), interrupting and shouting, making comments about character or ability to be a doctor. While the feedback message may be potentially useful, some consciously walk away:

"상대방이 한 말이 사실이든 아니든, 내가 불편하게 느낀 방식으로 표현했고 마음에 들지 않는다면 그냥 "그거 알아? 아니, 고마워요"라고 말할 것입니다. 프로페셔널하게 대하지 않을 거라면 "안녕히 가세요"라고 말하죠.
“Whether what they said is true or not, if they phrased it in a way that I felt uncomfortable with, and I didn't appreciate, I will just be like "do you know what? Nah, thanks". If you're not going to be professional then, “Bye””S30.

다른 사람들은 그 순간에 부담을 느낍니다:
Others feel overwhelmed in the moment:

"나는 문을 닫았다. 어린아이가 된 기분이에요, 정말 싫어요."(S2).
“I shut down. I feel like a small child, I hate it” (S2).

이러한 피드백을 사용하지 않거나 사용할 수 없다고 생각하지만, 많은 학습자가 피드백에 많은 시간을 할애합니다: 
While they feel they will not or cannot use this feedback, many learners spend a lot of time with it:

"나는 그것에 대해 숙고할 것이다... 나는 그것에 대해 꽤 오랫동안 생각할 것이다. .... 만약 그것이 매우 가혹하다면, 그것은 영원히 남아있을 것이다"(S49).
“I'll be like pondering over it…I'll be thinking about it quite some time ….if it's very very harsh, then it will remain forever” (S49).

더 많은 예가 표 5에 나와 있습니다. 
Further examples are provided in Table 5.

이 연구는 의대생들의 피드백 경험이 학습의 자기조절과 어떤 관련이 있는지 살펴보고자 했습니다. 이는 확립된 이론적 틀에 기반하여 미래 학습의 관점에서 피드백 반응을 고려했다는 점에서 문헌에 중요한 추가 사항입니다. 다양한 학생 집단을 대상으로 세 곳의 해외 사이트에서 연구를 수행함으로써 연구 결과의 신뢰성이 더욱 강화되었습니다. 
This study sought to explore how medical students’ experiences of feedback relate to self-regulation of learning. This is an important addition to the literature as it considers feedback responses from the perspective of future learning, underpinned by an established theoretical framework. The trustworthiness of our findings are strengthened by having conducted this research across three international sites with diverse student populations.

연구 결과에 따르면 의대생들은 피드백을 자신과 함께 하는 것이 아니라 자신에게 일어나는 것으로 인식하는 경우가 많습니다. 최근의 피드백 연구와 대조적으로, 학생들은 향후 학습에 피드백을 포함시키기 위해 평가자가 주도하는 교육을 기대하는 경우가 많다는 것을 보여줍니다. 학습자가 자기 조절을 위해 피드백을 사용하면 메타인지적 학습 전략과 행동적 학습 전략이 모두 변화하지만, 이는 특히 피드백이 감정에 미치는 영향에 따라 맥락화됩니다.
Our findings indicate that medical students often perceive feedback as something that happens to them, rather than with them. Contrasting with contemporary feedback research, we show that they often expect rater-led instruction in order to embed it in future learning. When learners use feedback to self-regulate, they change both metacognitive and behavioural learning strategies, but this is contextualised particularly by how feedback affects their emotions.

학습자들은 좋은 피드백을 명시적인 지시라고 설명했습니다. 이는 '어떻게' 또는 '무엇을' 하라는 지시를 받으면 쉽게 변화하는 과제별 피드백의 사례에서 더욱 강조됩니다. 최근의 피드백 모델은 공동 구성에 중점을 둔 학습자 주도 계획[20, 32]에 초점을 맞추고 있는데[33], 이는 참가자들이 피드백을 개념화하는 방식과 상충됩니다. 졸업후교육 연구에서 비롯된 모델은 의대생의 자기조절 능력을 과대평가한 것일 수 있습니다. 주니어 학습자는 학습을 탐색하는 데 더 많은 지원이 필요하며, '노력형'과 같이 무엇을 해야 하는지 알려줘야 하는 특정 학습자 '유형'이 존재할 수 있다는 것은 이미 밝혀진 사실입니다[34]. 따라서 교육자들은 학부 맥락에서 보다 명확한 지원과 점진적인 책임 분담을 제공하기 위해 대학원 모델을 수정해야 할 수도 있다는 점을 고려할 것을 권장합니다. 
Learners described good feedback as explicit direction. This was further emphasised by examples of enacted task-specific feedback- they readily changed when told “how” or what”. Recent feedback models focus on learner-led planning [20, 32], with a focus on co-construction [33]; this is at odds with how our participants conceptualise it. It may be that models originating from postgraduate research overestimate the self-regulatory abilities of medical students. It is established that junior learners need more support in navigating learning and certain learner “types” can exist such as “effortful”, who need to be told what to do [34]. Therefore, we encourage educators to consider that postgraduate models may require modification to provide this more explicit support and gradual sharing of responsibility in undergraduate contexts.

피드백을 해독하는 데 있어 학습자의 한계나 피드백 리터러시 개념은 새로운 것이 아닙니다[13, 35]. 이 연구는 학습자가 피드백에 의해 어떻게 도전을 받는지에 대해 알려진 것을 확장합니다. 의대생은 피드백의 의미와 실행 방법을 이해하는 데 있어 적극적인 참여자라기보다는 정보의 수신자로서의 위치에 있습니다. 많은 연구에서 높은 수준의 자기조절 능력을 가진 학습자조차도 독립적으로 학습 전략을 개발하는 데 어려움을 겪는다는 사실을 뒷받침합니다[36, 37]. 학습자는 학습이 진행됨에 따라 학습을 통제해야 할 필요성을 인식하지만[38], 이러한 과정을 안내하는 것이 매우 중요해 보입니다.
Neither the concept of learners’ limitations in decoding feedback, nor feedback literacy are new [13, 35]. This study extends what is known about how learners are challenged by feedback. Medical students position themselves as recipients of information rather than active participants in making sense of what feedback means and how to enact it. Much work supports that even learners with high levels of self-regulation struggle to develop their learning strategies independently [36, 37]. Learners identify a need to take control of learning as they progress [38] but guidance through this progression appears critical.

학습자가 피드백을 중요하게 생각하더라도 피드백을 사용하지 않을 수도 있습니다. 학습 습관과 같은 인지적 전략은 뿌리 깊게 박혀 있어, 이를 바꿀 가치가 있다고 인정하면서도 변화를 고려하는 참가자는 소수에 불과했습니다. 학습에 대한 학생들의 신념은 비교적 안정적이며 피드백과 상호작용하는 방식에 영향을 미칩니다[16, 39]. 두 번째 수준의 경험은 의대생이 사전 학습에서 관행을 가져와서 더 절대주의적인 입장을 조장할 수 있습니다[40][41]. 학습 전략에 영향을 미치는 데 있어 피드백보다 기존의 신념이 더 중요할 수 있습니다.
Even when learners value feedback, they may choose not to use it. Cognitive strategies such as study habits were ingrained: only a few participants would consider changing them, even while acknowledging this could be worthwhile. Students’ beliefs about learning are relatively stable and influence how they interact with feedback [16, 39]. Second- level experiences potentially foster more absolutist stances [40] with medical students importing practices from prior learning [41]. It is possible that their pre-existing beliefs out-weigh feedback in affecting their learning strategies.

지지적이지 않은 경험은 학생에게 갈등을 야기합니다. 학습자는 인지적으로는 피드백이 잠재적으로 유용하다고 판단할 수 있지만, 적대적으로 전달되는 피드백 때문에 참여를 중단하거나 감정적인 압도감으로 인해 학습에 집중할 수 없게 됩니다. Sargeant는 또한 부정적인 감정이 피드백을 받아들이는 데 장애가 된다는 사실을 확인했습니다[42]. 연구 결과에 따르면 부정적인 감정이 학생의 피드백 반응을 유도하는 데 있어 다른 고려 사항보다 더 중요하다고 합니다. 이전 연구에 따르면 학습자[43]는 관찰된 능력이 학습자의 자아 개념과 상충할 때 긴장을 경험한다고 합니다[43, 44]. 우리의 연구 결과는 이러한 선행 연구 결과와 다릅니다. 개인의 약점을 강조하는 피드백은 학습자를 실망시키지만, 적대적인 피드백은 감정적으로 과부하가 걸리고 학습을 방해한다는 점에서 이와는 구별됩니다. 우리는 부정적인 감정이 "나쁘다"는 것이 아니라 학습에 외재적 동기 부여가 잠재적인 역할을 한다는 것을 인정합니다[45, 46]. 우리는 감정이 문제가 아니라 심리적 안전의 부족이 문제라고 제안합니다 [47]. 학생들이 SRL에 참여하는 능력은 긍정적인 감독자 관계의 영향을 받으며[48], '불확실한' 학습자는 감독자 관계와 안전한 환경에 따라 효율적으로 자기 조절을 할 수 있습니다[34]. 피드백에서 감정의 담론을 성찰적 실천으로 활용하고, 슈퍼바이저가 동맹이 되어 성찰을 촉진하면 수용과 건설적인 사용으로 재구성할 수 있습니다[20, 49].
Unsupportive experiences create a conflict for students. While the learner may judge cognitively that the feedback has potential use, they either choose to disengage because of the hostile delivery, or they are incapable of engaging, because the emotional overwhelm distracts them from learning. Sargeant also identified that negative emotions are a barrier to accepting feedback [42]. Our findings suggest that negative emotions outweigh other considerations in guiding students’ feedback response. Previous work reports learners [43] experience tension when observed ability conflicts with the learner’s self-concept [43, 44]. Our findings are distinct from these prior findings. Feedback that highlights personal weaknesses disappoints but feedback that is hostile is distinct from this: it emotionally overloads and derails learning. We do not suggest that negative emotions are “bad”; we acknowledge their potential role in extrinsic motivation of learning [45, 46]. We propose that the emotions are not the problem, the lack of psychological safety is [47]. Students’ ability to engage with SRL is influenced by positive supervisor relationships [48], and the “uncertain” learner depends on supervisor relationships and a safe environment to self-regulate efficiently [34]. Employing the discourse of emotion in feedback as reflective practice, whereby supervisors are allies and facilitate reflection can reframe towards acceptance and constructive use [20, 49].

효율적인 자기 조절자는 피드백을 더 많이 활용합니다[2, 50]. 우리의 연구 결과는 '사용'이 모든 SRL 반응을 반영하지 않을 수 있음을 시사합니다. 사용은 종종 외부에서 관찰할 수 있는 결과인 반면, SRL은 학습자의 내부 규제 과정과 그에 따른 관찰 가능한 변화를 모두 반영합니다 [2]. 학습자들은 '사용'이라고 표현하기는 부적절하지만, 학습을 크게 변화시킨 내부 반응을 설명합니다. 첫째, '사용'은 선형적이지 않았습니다. 동일한 학습자가 다른 맥락에서 피드백을 사용하거나 거부하는 것을 설명합니다. 둘째, 학습자는 사용하지 않는 피드백에 많은 시간을 소비합니다. 학습자들은 이러한 피드백에 대해 반추합니다. 일부는 자신감과 동기를 잃고, 일부는 피드백 및 관련 학습 과제를 평가 절하합니다. 학습자는 이러한 반응을 향후 학습에 반영합니다. 이러한 눈에 보이지 않는 반응은 학습 가치와 후속 행동에 큰 영향을 미칩니다.
Efficient self-regulators make more use of feedback [2, 50]. Our findings suggest that “use” may not reflect all SRL responses. Use is often an externally observable outcome, whereas SRL reflects both the learner’s internal regulatory processes and the subsequent observable changes [2]. Our learners describe internal responses which are inadequately represented by “use” but significantly changed their learning. Firstly, “use” was not linear- the same learner describes using feedback and rejecting it in different contexts. Secondly, learners spend a lot of time with feedback that they do not use. They ruminate on this feedback.. Some lose confidence and motivation; some devalue feedback and the associated learning task. They take these responses with them to their future learning. These invisible responses have significantly impacted their learning values and subsequent actions.

교육자를 위한 시사점
Implications for educators

학습자는 피드백에 기반한 전략 선택에 어려움을 겪습니다.
Learners struggle to select strategies based on feedback

학습자는 피드백을 실질적인 전략으로 전환하는 데 어려움을 겪습니다. 의과대학 학부생들은 교사가 단계별 실행 계획을 명시적으로 제시할 것이라는 기대가 있으며, 공동 개발에서 학습자의 역할에 대한 고려는 거의 없습니다. 교육자는 학습자가 전략에 대해 점진적으로 더 많은 소유권을 갖도록 장려하고, 교사는 지도가 필요한 부분을 입력함으로써 학습자의 자기 조절력을 키워야 합니다. 이전 연구에 따르면 문제 기반 학습(PBL) 맥락에서의 퍼실리테이션은 학습자가 학습 계획을 세우는 데 도움이 됩니다[51]. 교육자는 성찰적 피드백 대화를 사용함으로써 학습자의 자율성을 높이고 피드백을 통한 자기 조절에 참여할 수 있습니다[52].
Learners find it hard to translate feedback into tangible strategies. There is an expectation in undergraduate medical students that the teacher will provide an explicit step-by-step action plan, and little consideration for learner role in co-development. Educators should foster learners’ self-regulation through encouraging incrementally more ownership of strategies, with teachers inputting where guidance is needed. Previous work indicates that facilitation in a problem-based learning (PBL) context helps learners to generate learning plans [51]. By employing reflective feedback conversations, educators can increase learner agency and engagement in self-regulation with feedback [52].

학습자는 피드백을 실행하는 데 장애가 되는 안정적인 학습 신념을 가지고 있을 수 있습니다.
Learners may have stable learning beliefs that are a barrier to enacting feedback.

학습자가 학습에 대한 기존의 신념을 가지고 있는 경우, 피드백을 통해 조언되는 변화와 충돌할 수 있습니다. 교육자 및 동료와의 성찰 대화 및 자기 평가는 학습자가 피드백에서 자신의 역할을 이해하고 인식하는 데 도움이 되며[53], 잠재적으로 개발을 제한하는 선입견에 도전할 수 있습니다. 
When learners have pre-existing beliefs about learning, they may be in conflict with changes advised via feedback. Facilitated reflection conversations with educators and peer and self-assessment help learners understand and appreciate their role in feedback [53]; potentially challenging preconceived notions that limit development.

학습자가 안전하지 않다고 느낄 때 피드백은 듣지 않습니다.
Feedback goes unheard when learners feel unsafe

첫째, 피드백 상호 작용에서 빈번하게 적대감으로 인해 감정적 반응이 흔하게 나타나며, 이는 이후의 태도, 참여도 및 학습 가치에 영향을 미칩니다. 학습자는 괴로울 때 피드백 메시지를 처리하기보다는 감정을 관리하는 데 에너지를 쏟습니다. 피드백 리터러시는 학습자가 비평을 처리할 때 자신의 감정을 관리할 것을 요구하지만, 이는 노골적인 적대감을 처리하는 것과는 구별됩니다. 피드백 리터러시를 갖춘 교육자는 취약성을 인식하고 학생의 감정이 존중되는 안전한 환경을 조성하여 피드백 메시지를 들을 수 있도록 합니다.
Firstly, emotional reactions are commonplace due to frequent hostility in feedback interactions, and influence subsequent attitude, engagement and learning values. Learners direct their energy to managing emotions rather than processing feedback messages, when they are distressed. While feedback literacy requires the learner to manage their emotions in navigating critique, this is distinct to handling overt hostility. Feedback-literate educators will recognise vulnerability and create a safe environment where students’ emotions are respected, allowing feedback messages to be heard.

시행하지 않는다고 해서 영향이 없는 것은 아닙니다
Not implemented does not mean no impact

피드백을 사용하지 않는 것을 무시하는 것과 혼동해서는 안 됩니다. 학습자는 종종 피드백을 숙고하는 데 많은 시간을 소비합니다. 무반응은 때로는 자신감의 '파괴'로 인한 마비, 때로는 학습 및 학습 목표에 대한 평가 절하를 나타냅니다. 교육자는 학습자가 무관심하다고 가정하기보다는 학습자가 피드백을 적용하지 않게 된 원인을 파악하기 위해 학습자와 함께 세심한 탐색을 수행할 것을 권장합니다. 이는 '효과적인' 피드백을 평가하는 방법에도 영향을 미치며, 학습자와 학습자의 성과에서 관찰 가능한 변화와 더불어 성찰을 촉진하는 데 초점을 맞춰야 합니다. 피드백 활동에서 SRL을 지원하기 위한 주요 결과와 제안된 접근 방식에 대한 요약은 표 6에 나와 있습니다.
Not using feedback should not be confused with ignoring it. Learners often spend a lot of time pondering feedback. They indicate inaction is sometimes paralysis from “destroyed” confidence, sometimes devaluation of learning and learning goals. Rather than assuming indifference, we encourage educators to undertake sensitive exploration with learners to identify what may have led them to not apply feedback. This also has implications for how we evaluate “effective” feedback; a focus on facilitated reflection should be considered in addition to observable changes in the learner and their performance. A summary of our key findings and suggested approaches to supporting SRL in feedback activities is provided in Table 6.

강점 및 한계
Strengths and limitations

이 연구는 학습의 이론적 틀 안에서 피드백 반응을 해석하는 데 있어 독특합니다. 이를 통해 이러한 반응을 학습 행동과 연계할 뿐만 아니라 학습의 인지적, 메타인지적, 효과적, 행동적 측면을 인정합니다. 템플릿을 여러 번 반복하여 개발함으로써 주제 간의 상호 연결과 상호작용에 대한 풍부한 이해를 촉진했습니다. 국제적인 연구팀이 참여하여 다양한 맥락에서 해석할 수 있었습니다. 다양한 배경과 경험을 가진 다양한 국적의 학생들을 대상으로 한 이 다중 사이트 연구는 연구 결과의 적용 가능성을 높였습니다. 우리는 피드백에 대한 반응이 복잡하고 고도로 맥락화되어 있으며, 대학원생과 다른 학습자의 연구 결과가 그러한 맥락의 영향을 받을 수 있음을 인정합니다. 우리의 연구는 복잡한 분석을 가능하게 하는 풍부한 내러티브 설명을 이끌어냈지만, 학습자의 내적 처리를 탐구하는 데는 성찰 일기와 같은 대체 데이터 수집 방법이 도움이 될 수 있음을 인식하고 있습니다.
This study is unique in interpreting feedback responses within a theoretical framework of learning. In doing so, it aligns these responses not just with learning actions, but acknowledges the cognitive, metacognitive, effective and behavioural aspects to learning. The development of multiple iterations of the template facilitated rich understanding of interconnections and interactions between themes. Having an international research team brought a diversity of context to the interpretation. This multi-site study of students from a broad range of nationalities, with varied backgrounds and experiences, improves the likelihood of transferability of our findings. We recognise that feedback responses are complex and highly contextualised; we acknowledge that findings in postgraduate populations and other learners may be affected by such contexts. While our work elicited rich, narrative descriptions that allowed a complex analysis, we recognise that exploring learners’ internal processing may benefit from alternative data collection methods such as reflective diaries.

SRL의 렌즈를 통해 피드백 반응을 탐구함으로써 학습자가 피드백 처리를 통해 어떻게 움직이는지 더 잘 이해하는 데 기여할 수 있습니다. 피드백은 상황에 따라 학습 목표에 긍정적으로 또는 부정적으로 영향을 미칠 수 있습니다. 의대생은 과제별 피드백을 기꺼이 받아들이지만, 현대 피드백의 정의에서 이해되는 공동 구성보다는 단방향 교육을 계속 기대합니다. 피드백이 적대적인 경험일 경우, 학습은 고통으로 인해 탈선하기 때문에 그 잠재력을 잃게 됩니다. 피드백을 사용하지 않는 것을 무관심과 혼동하는 것은 주의해야 합니다. 피드백을 사용하지 않는 것은 향후 학습에 중대한 영향을 미치는 장기간의 내부 처리의 신호일 수 있습니다.
By exploring feedback responses through the lens of SRL, we contribute to a better understanding of how learners move through feedback processing. Feedback can influence learning goals positively and negatively, depending on context. Medical students willingly adapt task-specific feedback, but continue to expect unidirectional instruction rather than the co-construction understood in modern feedback definitions. When feedback is a hostile experience, its potential is lost, as learning is derailed by distress. Conflation of non-use with indifference is cautioned; disengagement may be a sign of prolonged internal processing with significant impact on future learning.

Introduction: While feedback aims to support learning, students frequently struggle to use it. In studying feedback responses there is a gap in explaining them in relation to learning theory. This study explores how feedback experiences influence medical students' self-regulation of learning.

Methods: Final-year medical students across three campuses (Ireland, Bahrain and Malaysia) were invited to share experiences of feedback in individual semi-structured interviews. The data were thematically analysed and explored through the lens of self-regulatory learning theory (SRL).

Results: Feedback interacts with learners' knowledge and beliefs about themselves and about learning. They use feedback to change both their cognitive and behavioural learning strategies, but how they choose which feedback to implement is complex. They struggle to generate learning strategies and expect teachers to make sense of the "how" in addition to the "what"" in planning future learning. Even when not actioned, learners spend time with feedback and it influences future learning.

Conclusion: By exploring our findings through the lens of self-regulation learning, we advance conceptual understanding of feedback responses. Learners' ability to generate "next steps" may be overestimated. When feedback causes negative emotions, energy is diverted from learning to processing distress. Perceived non-implementation of feedback should not be confused with ignoring it; feedback that is not actioned often impacts learning.

Background: Qualitative research approaches are increasingly integrated into medical education research to answer relevant questions that quantitative methodologies cannot accommodate. However, researchers have found that traditional qualitative methodological approaches reflect the foundations and objectives of disciplines whose aims are recognizably different from the medical education domain of inquiry (Thorne, 2016, Interpretive description. New York, NY: Routledge). Interpretive description (ID), a widely used qualitative research method within nursing, offers an accessible and theoretically flexible approach to analysing qualitative data within medical education research. ID is an appropriate methodological alternative for medical education research, as it can address complex experiential questions while producing practical outcomes. It allows for the advancement of knowledge surrounding educational experience without sacrificing methodological integrity that long-established qualitative approaches provide.

Purpose: In this paper, we present interpretive description as a useful research methodology for qualitative approaches within medical education. We then provide a toolkit for medical education researchers interested in incorporating interpretive description into their study design. We propose a coherent set of strategies for identifying analytical frameworks, sampling, data collection, analysis, rigour and the limitations of ID for medical education research. We conclude by advocating for the interpretive description approach as a viable and flexible methodology for medical education research.

Introduction: The mistreatment or abuse (maltreatment) of medical learners by their peers and supervisors has been documented globally for decades, and there is significant research about the prevalence, sequelae and strategies for intervention. However, there is evidence that learners experience maltreatment as being less clear cut than do researchers, educators and administrators. This definitional ambiguity creates problems for understanding and addressing this issue. The objective of this study was to understand how medical learners and educators make sense of less-than-ideal interactions in the clinical learning environment, and to describe which factors influenced their perception that the encounter constituted maltreatment.

Methods: Using constructivist grounded theory, we interviewed 16 medical students, 15 residents or fellows, and 18 educators associated with a single medical school (n = 49). Data collection began with the most junior learners, iterating with analysis as we progressed through the project. Constant comparative analysis was used to gather and compare stories of 'definitely', 'maybe' and 'definitely not' maltreatment across a variety of axes including experience level, clinical setting and type of interaction.

Results: Our data show that learners and educators have difficulty classifying their experiences of negative interpersonal interaction, except in the most severe and concrete cases. While there was tremendous variation in the way they categorised similar experiences, there was consistency in the elements drawn upon to make sense of those experiences. Participants interpreted negative interpersonal interactions on an individual basis by considering factors related to the interaction, initiator and recipient.

Conclusions: Only the most negative behaviour is consistently understood as maltreatment; a complex process of individual sense-making is required to determine the acceptability of each interaction. The differences between how individuals judge these interactions highlight an opportunity for administrative, research and faculty development intervention.

역량 기반 의학교육(CBME)은 새로운 교육 프레임워크가 아니라 1978년에 처음 도입되었습니다(McGaghie et al., 1978). 또한, 성과 기반 교육의 특수한 유형으로서 그 기원은 1960년대로 거슬러 올라갑니다(Morcke 외, 2013). 1990년대에 CanMED 및 ACGME 핵심 역량과 같은 역량 프레임워크가 도입되면서(Frank 외, 2017; Holmboe 외, 2016) 의학교육 시스템 내에서 CBME로의 전환이 활성화되었고, 이는 현재 전 세계적으로 널리 퍼져 있으며 특히 모든 대학원 의학교육(PGME) 프로그램이 CBME 모델로 전환하고 있는 캐나다에서 영향력을 발휘하고 있습니다. 
Competency-based medical education (CBME) is not a new education framework (Harden, 1999); it was initially introduced in 1978 (McGaghie et al., 1978). Moreover, as a special type of outcomes-based education it traces its origins to the 1960s (Morcke et al., 2013). The introduction of competency frameworks such as CanMEDs and the ACGME Core competencies in the 1990s (Frank et al., 2017; Holmboe et al., 2016) reinvigorated a transition to CBME within medical education systems that is now widespread around the world and particularly influential in Canada, where all postgraduate medical education (PGME) programs are transitioning to a CBME model.

오랜 역사와 국제적으로 의학교육 시스템에 CBME가 지속적으로 도입되고 있음에도 불구하고 CBME를 설명하는 데 있어 합의점을 찾는 것은 여전히 어려운 과제입니다. CBME의 한 가지 정의는 "역량에 대한 조직화된 프레임워크를 사용하여 의학교육 프로그램의 설계, 실행, 평가 및 평가에 대한 성과 기반 접근법"(Frank 외, 2010)입니다. 그러나 이 정의의 명백한 명확성에는 의학교육계에서 CBME를 개념화하는 방식이 일관성이 없고 부정확하다는 점이 숨어 있습니다. 국제 CBME 협력체(International CBME Collaborative)는 CBME 프로그램을 구성하는 주요 구성요소를 지지하지만, 이러한 표현이 널리 채택되지는 않았습니다(Van Melle 외, 2019). 최근 Brydges 등이 수행한 종합 연구에서는 CBME의 개념화에 대해 문헌 내에서 일관성 없이 적용되는 30개 이상의 가정을 확인했습니다(Brydges 등, 2020). 

Despite its long history and the ongoing international adoption of CBME into medical education systems, consensus in describing CBME remains a challenge. One definition of CBME is: “an outcomes-based approach to the design, implementation, assessment, and evaluation of medical education programs, using an organizing framework of competencies” (Frank et al., 2010). However, the apparent clarity of this definition belies the inconsistency and imprecision with which the medical education community conceptualizes CBME. While the International CBME Collaborative endorses key components that comprise a CBME program, this articulation has not been widely adopted (Van Melle et al., 2019). A recent synthesis by Brydges et al. identified more than 30 assumptions, inconsistently applied within the literature, about the conceptualization of CBME (Brydges et al., 2020). 

위탁 가능한 전문 활동(EPA) 및 마일스톤과 같은 주요 CBME 용어는 여러 관할권에서 공통적으로 사용되지만, 관할권마다 그 의미와 설계가 다릅니다(Englander 외, 2017; Hawkins 외, 2015). 캐나다에서 PGME 교육을 인증하는 두 대학은 CBME에 대한 접근 방식이 다릅니다. 

• 캐나다 왕립 의사 및 외과의사 대학은 마일스톤으로 정의된 교육 단계, 맞춤형 임상 경험 및 교육, EPA 데이터를 사용하여 진도 결정을 내리는 역량 위원회를 통해 CBME를 운영합니다(캐나다 왕립 의사 및 외과의사 대학, 2020). 
• 캐나다 가정의학회는 결과 역량을 명확히 정의하고 현장 기록을 활용한 종단적 관찰과 업무 기반 평가를 강조합니다(Ellaway 외, 2018). 

역량 프레임워크의 한계(Lingard & Hodges, 2012; Norman 외, 2014; Talbot, 2004)와 실행의 정치성(Boyd 외, 2018; Whitehead & Kuper, 2017)에 대한 논의는 합의된 출발점이 없다는 점에서 주목할 만합니다. 예를 들어, Norman 등은 CBME에 대한 비평에서 CBME의 개념화, 심리측정 및 측정 문제, 실행의 로지스틱스 등 세 가지 관련 영역의 긴장을 풀기 위해서는 각기 다른 이론적 근거와 일련의 가정에서 출발해야 한다고 말합니다(Norman 등, 2014).
Key CBME terms, such as entrustable professional activities (EPAs) and milestones, while common across jurisdictions, possess different meanings and design between jurisdictions (Englander et al., 2017; Hawkins et al., 2015). In Canada, the two colleges accrediting PGME training differ in their approaches to CBME.

• The Royal College of Physicians and Surgeons of Canada operationalizes CBME via stages of training defined by milestones, tailored clinical experiences and instruction, and competence committees making progression decisions using EPA data (Royal College of Physicians & Surgeons of Canada, 2020).
• The College of Family Physicians of Canada articulates outcome competencies and emphasizes longitudinal observation and work-based assessments using field notes (Ellaway et al., 2018).

Debate on the limitations of competency-frameworks (Lingard & Hodges, 2012; Norman et al., 2014; Talbot, 2004) and the politics of implementation (Boyd et al., 2018; Whitehead & Kuper, 2017) are notable for a lack of an agreed starting position. For example, Norman et al., in their critique of CBME, unpack tensions in three related areas—conceptualization of CBME, issues of psychometrics and measurement, and logistics of implementation—each of which require starting with a different theoretical basis and set of assumptions (Norman et al., 2014).

따라서 학문적 담론은 정교하고 명확한 두 입장 간의 논쟁이 아니라 다양한 관점과 여러 수준에서 다양한 가정을 전제로 의견 불일치가 발생하는 것입니다. 이러한 각각의 예는 집단적 수용 실어증(즉, 문자나 구어를 이해하지 못하는 상태)을 상징하는 담론을 제시하며, 정의, 가정 및 시작 입장에 대한 명시적인 표현이 부족하다는 점에서 주목할 만합니다. 학문적 담론의 목표가 반드시 합의의 도출일 필요는 없지만, 최선의 경우 집단적인 의미의 공동 구성과 논쟁 중인 내용에 대한 명확한 이해가 수반되어야 합니다. 이는 비판과 대화에 참여하기 전에 가정, 목표, 가치가 명확하지 않으면 이루어질 수 없습니다. 출발점이 모호하고 부정확한 담론은 커리큘럼 실행에 영향을 미치고, 프로그램 평가를 저해하며, 교육 자원을 소모하고, 서로 다른 목적을 위해 일하는 교육 공동체를 분열시킵니다. 의학교육 커뮤니티의 구성원들이 같은 단어를 사용하지만 서로 다른 의미를 갖는다면 문제가 됩니다.
Thus, the academic discourse is not a debate between two elaborated and explicit positions; rather disagreement occurs across multiple perspectives and several levels with many differing assumptions. Each of these examples suggest a discourse emblematic of a collective receptive aphasia (i.e. inability to understand written or spoken language), notable for a lack of an explicit articulation of definitions, assumptions and starting positions. While the goal of academic discourse need not be the development of consensus, at its best, it involves a collective co-construction of meaning and clear understanding of what is under debate. This cannot occur unless assumptions, goals and values are clear before engaging in critique and dialogue. A discourse with fuzzy and imprecise starting positions impacts curriculum implementation, impairs program evaluation, consumes educational resources and fractures education communities working at cross purposes. It matters if members of the medical education community use the same words but mean different things.

이러한 문제를 해결하려면 교육자, 관리자, 임상의가 CBME에 대해 이야기하고 생각하는 다양한 방식을 이해하여 담론을 보다 명확하게 하는 것이 중요합니다. 그렇다고 해서 CBME의 단일 개념화가 바람직한 기대치라는 것은 아닙니다. 오히려 다양한 맥락과 환경에서 CBME가 어떻게 개념화되는지를 조명함으로써 서로 다른 가정을 명확히 하고, 교육 커뮤니티 전반의 대화를 개선할 수 있는 토대를 제공할 수 있을 것입니다.
To redress this concern, it is critical to understand the different ways educators, administrators and clinicians are talking and thinking about CBME with the goal to bring greater clarity to the discourse. This is not to suggest a single conceptualization of CBME is a desirable expectation. Rather, illumination of how CBME is conceptualized in various contexts and environments would clarify differing assumptions, thereby providing a foundation on which to improve dialogue across the education community.

CBME의 본질에 대한 합의가 부족한 상황에서 이 연구의 목적은 캐나다의 주요 오피니언 리더들이 역량 기반 의학교육의 철학과 실천을 어떻게 설명하는지 탐구하는 것입니다. 이 연구가 교육적 주장을 뒷받침하는 다양한 가정과 출발점을 밝혀냄으로써 CBME에 대한 대화와 토론을 개선하는 데 도움이 되기를 바랍니다.
Given the lack of consensus about the nature of CBME, the purpose of this study is to explore how Canadian key opinion leaders describe the philosophy and practice of competency-based medical education. Hopefully, this study will lead to improved dialogue and debate about CBME by elucidating the variety of assumptions and starting positions informing educational arguments.

구성주의 근거 이론의 원칙을 채택하여 질적 주제 분석을 수행했습니다(Charmaz, 2000; Stalmeijer 외, 2014). 구성주의적 근거 이론은 현재 적절한 이론이 존재하지 않는 사회 현상을 탐구하는 데 매우 적합합니다(차트마즈, 2006). 이 패러다임은 우리의 목표가 현재 CBME의 원리와 실천이 개념화되는 방식에 대해 참가자들과 함께 폭넓게 이해하는 것이었기 때문에 특히 적절하다고 생각했습니다. 민감화개념에는 CBME의 현재 정의와 프레임워크가 포함되었습니다.
A qualitative thematic analysis was conducted (Charmaz, 2000; Stalmeijer et al., 2014), adopting the principles of constructivist grounded theory. Constructivist grounded theory is well suited to explore social phenomena for which no adequate theory currently exists (Chartmaz, 2006). This paradigm was felt to be particularly appropriate given that our goal was to co-construct a broad understanding with our participants of the ways in which the principles and practices of CBME are currently conceptualized. Sensitizing concepts included current definitions and frameworks of CBME.

분석에 들어가기 전에 연구팀은 CBME와 관련된 각자의 입장과 가정을 논의하고 명확히 했습니다. JS는 CanMEDS 2015 프레임워크의 공동 편집자이며 캐나다에서 응급의학을 위한 국가 CBME 커리큘럼의 시행을 주도했습니다. SG는 CBME의 평가 및 피드백을 검토하는 연구를 수행하며 내과 전문의로서 연구 당시 내과는 CBME의 파일럿 단계에 있었습니다. KD는 캐나다에서 CBME를 검토하는 장학금과 보다 광범위한 평가 연구를 수행했습니다. GR은 캐나다 왕립 의사 및 외과의 대학에서 컨설턴트로 활동하며 CBME와 관련된 커리큘럼 요소를 개선했습니다. 분석 전반에 걸쳐 저널링과 그룹 토론을 통해 반성적 사고를 촉진했습니다.
Before engaging in analysis, the research team discussed and articulated their stances and assumptions in relation to CBME. JS is a co-editor of the CanMEDS 2015 framework and led the implementation of a national CBME curriculum for emergency medicine in Canada. SG conducts research examining assessment and feedback in CBME and is an academic internist; internal medicine was in the pilot phase of CBME at the time of study. KD has conducted scholarship examining CBME in Canada and research in assessment more broadly. GR served as a consultant with the Royal College of Physicians and Surgeons of Canada refining curricular elements relevant to CBME. Reflexivity was promoted via journaling and group discussion throughout the analysis.

주요 오피니언 리더는 이메일을 통해 모집했습니다. 연구팀은 캐나다의 CBME 시행과 관련된 다양한 임상 분야, 학문적 역할, 기관 및 지역을 반영하여 의도적인 샘플링 전략을 사용하여 잠재적 참가자 목록을 작성했습니다. 오피니언 리더는 CBME 이니셔티브를 실행, 연구 또는 감독하는 국가적 차원에서 전문적인 영향력을 가진 개인으로 정의했습니다. 샘플링 전략은 의도적으로 CBME의 설계 또는 대화에 영향을 미치거나 잠재적 영향력을 가진 개인을 찾았습니다. 이 전략은 참가자가 연구에 포함될 가능성이 있는 오피니언 리더를 추가로 추천할 수 있는 눈덩이 모집 전략으로 보완되었습니다.
Key opinion leaders were recruited by email. The research team compiled a list of potential participants using a purposeful sampling strategy, reflecting diversity of clinical disciplines, academic roles, institutions, and geography relevant to the Canadian implementation of CBME. Opinion leaders were defined as individuals with professional influence at a national level that were implementing, studying or overseeing CBME initiatives. The sampling strategy intentionally sought individuals whose influence or potential influence impacted the design of or dialogue about CBME. This strategy was complemented by a snowball recruitment strategy, where participants could nominate additional opinion leaders for potential inclusion in the study.

반구조화된 전화 인터뷰는 한 명의 연구자(KD)가 진행했습니다. 인터뷰 중에 참가자들은 CBME에 대한 자신의 철학과 실제 적용 방법을 설명하도록 요청받았습니다. 데이터 수집과 함께 분석을 시작할 수 있도록 각 인터뷰에 대한 비식별화된 녹취록이 작성되었습니다. 인터뷰 가이드는 질문의 명확성을 보장하기 위해 분석 대상에 포함되지 않은 두 명의 보건 전문직 교육자와 함께 시범적으로 사용되었습니다. 인터뷰 가이드는 분석이 진행됨에 따라 새로운 인사이트를 다루기 위해 수정되었습니다. 최종 인터뷰 가이드는 '부록'을 참조하세요. 
Semi-structured phone interviews were conducted by a single researcher (KD). During the interviews, participants were asked to describe their philosophies of CBME and how they were applied in practice. Verbatim, de-identified transcripts of each interview were created that allowed analysis to begin alongside data collection. The interview guide was piloted with two health professions educators, not included in the analysis, to ensure clarity of the questions. The interview guide was modified as the analysis progressed to address emerging insights. See “Appendix” for the final interview guide.

두 명의 연구원(KD와 SG)이 각 인터뷰 녹취록을 읽고 2~3번의 인터뷰가 끝날 때마다 한 줄씩 코딩을 시작했습니다. 데이터 분석은 데이터와 식별된 코드를 지속적으로 비교하고 앞뒤로 이동하는 반복적인 과정으로 진행되었습니다. 오픈 코딩이 완료된 후 축 코딩이 시작되었고, 데이터에서 핵심 주제가 확인되면 선택적 코딩이 이어졌습니다. 이 과정에서 두 연구자는 여러 차례 만나 코드를 검토하고 이견이 있을 경우 합의를 통해 해결했습니다. 합의에 도달할 때까지 전체 연구팀과 여러 차례 토론을 진행했습니다. 주제별 포화 상태에 도달했다고 주장하지는 않지만, 각 주제에 대한 심층적인 이해를 발전시킬 수 있을 만큼 데이터가 풍부하다고 판단될 때까지 분석을 계속했습니다(Hennink 외, 2017). 이 시점에서 모집은 중단되었습니다. 
Two researchers (KD and SG) read each interview transcript and began line by line coding after every 2 to 3 interviews. Data analysis proceeded in an iterative process, using constant comparison and moving back and forth between the data and identified codes. Axial coding commenced after open coding was complete, followed by selective coding once key themes were identified in the data. During this process the two researchers met several times to review the codes and to resolve disagreements by consensus. Multiple discussions occurred with the entire research team until consensus was reached. While we don’t claim to have achieved thematic saturation, we continued our analysis until we reached sufficiency; that is, the data were deemed rich enough to develop an in-depth understanding of each theme (Hennink et al., 2017). At this point, recruitment ceased.

코딩과 데이터의 패턴 검색을 용이하게 하기 위해 QSR NVivo12를 사용했습니다. 분석 결정을 메모하고 기록하여 감사 추적을 유지했습니다. 
QSR NVivo12 was used to facilitate coding and the search for patterns in the data. An audit trail was maintained via memoing and recording analytic decisions.

2018년 11월 캐나다 맥마스터 대학교에서 열린 전국적 공개 회의의 맥락에서 수정된 통합 지식 사용자 확인 프로세스를 수행하여 관련 지식 사용자가 연구 결과의 해석과 결과 전파를 도울 수 있도록 했습니다. (캐나다 보건 연구소, 2021). 이 회의의 초청장은 모든 캐나다 대학과 국립 의학교육 기관에 공개 모집을 통해 발송되었으며, PGME 분야에서 전국적인 인지도를 가진 교육자, 연구자 및 지도자를 찾았습니다. 이 회의의 목적은 캐나다에서 시행되고 있는 CBME의 목표와 과제에 대한 다양한 관점의 실시간 대화를 가능하게 하고, 문헌의 격차를 바탕으로 CBME를 뒷받침하는 가정을 시험하는 장학 우선순위를 파악하는 것이었습니다. 회의 둘째 날에는 오피니언 리더 인터뷰에 대한 예비 분석 결과를 발표하고 소규모 및 대규모 그룹 토론을 진행하여 참가자들로부터 피드백을 구했습니다. 참가자들은 예비 결과의 관련성, 공감대, 유용성을 고려하고 토론했습니다. 회의 중에 현장 메모를 작성하여 최종 분석에 반영했습니다. 캐나다 교육계는 상대적으로 규모가 작기 때문에 이 회의에는 일부 연구 참여자가 참석했지만, 익명성을 보장하기 위해 예비 결과 발표 중에는 이들의 신원을 밝히지 않았습니다. 
A modified integrated knowledge user checking process was conducted in the context of a national, open meeting held at McMaster University, Canada, November, 2018 to allow relevant knowledge users to aid in the interpretation of the findings and the dissemination of results. (Canadian Institutes of Health Research, 2021). Invitations for the meeting were sent out via an open call to all Canadian universities and national medical education organizations seeking educators, researchers, and leaders with a national profile in PGME. The expressed purpose of the meeting was to enable a real-time dialogue across differing perspectives on the goals and challenges of CBME as implemented in Canada, and to identify scholarship priorities, based on gaps in the literature, that test the assumptions underpinning CBME. On day two of the meeting feedback was solicited from participants by presenting a preliminary analysis of the opinion leader interviews and holding small and large group discussions. Participants considered and discussed the relevance, resonance and utility of preliminary results. Field notes were taken during the meeting and were incorporated into the final analysis. Because the Canadian education community is relatively small, some research participants were present at this meeting; they were not identified during the presentation of preliminary findings to ensure anonymity.

연구윤리위원회의 승인을 받았습니다(해밀턴 통합 연구윤리위원회 #5338).
Research ethics board approval was received (Hamilton Integrated Research Ethics Board #5338).

2018년 9월부터 2018년 11월까지 17건의 반구조화 인터뷰를 실시했습니다. 총 17개 중 10개 대학, 캐나다 왕립 의사 및 외과의 대학, 캐나다 가정의학과 대학, 캐나다 의료 위원회를 대표했습니다. 참가자들은 스스로 교육 연구자(9명), 교육 리더(6명), 프로그램 책임자(3명), 전문의(9명), 가정의학과 의사(3명)라고 밝혔습니다. 43명의 개인이 통합 지식 사용자 확인 프로세스에 참여했습니다. 11개 대학, 캐나다 왕립 의사 및 외과의 대학, 캐나다 가정의학과 대학, 캐나다 의학 협의회가 대표로 참여했습니다. 참가자들은 스스로를 교육 연구자(19명), 교육 리더(20명), 프로그램 디렉터(4명), 전문의(16명), 가정의학과 의사(4명)라고 밝혔습니다. 
We conducted 17 semi-structured interviews between September 2018 and November 2018. They represented 10 (out of 17) universities, the Royal College of Physician and Surgeons of Canada, the College of Family Physicians of Canada and the Medical Council of Canada. Participants self-identified as education researchers (9), education leaders (6), program directors (3), specialist physicians (9), and family physicians (3). Forty-three individuals participated in the integrated knowledge user checking process. Eleven universities, the Royal College of Physicians & Surgeons of Canada, the College of Family Physicians of Canada and the Medical Council of Canada were represented. Participants self-identified as education researchers (19), education leaders (20) program directors (4), specialist physicians (16) and family physicians (4).

전반적으로 참가자들은 CBME에 대해 열정적으로 토론에 참여했습니다. 그러나 CBME나 그 핵심 구성요소를 설명하는 데 있어 하나의 지배적인 프레임을 확인할 수는 없었습니다. 일부 참가자는 CBME의 기본 개념 모델을 강조한 반면, 다른 참가자는 주로 실용적인 측면에서 설명의 틀을 잡았습니다. 이 담론은 특정한 입장의 양극성 없이 다양한 관점이 제시되었다는 점에서 주목할 만했습니다. 참가자 간의 관점에 대한 합의와 공통점은 제한적이었습니다. 이러한 불일치는 아래에서 자세히 설명하는 것처럼 CBME의 여러 측면에서 나타났습니다. 
Overall, participants were engaged and passionate in discussing CBME. However, we could not identify one dominant framing for describing CBME or its key components. Some participants emphasized CMBE’s underlying conceptual models, while others framed their descriptions predominantly in practical terms. The discourse was notable for its multiple perspectives without a specific polarity of positions. There was limited agreement and commonality of perspective between participants. These discrepancies manifested in a number of aspects of CBME as elaborated below.

CBME를 정의하는 철학과 이론
Philosophies and theories that define CBME

면접관이 직접 질문했을 때, 대부분의 참가자들은 CBME를 뒷받침하는 교육 철학이나 이론을 즉시 파악하는 데 어려움을 겪었습니다. 많은 참가자가 이전에 이 질문을 자세히 생각해 본 적이 없다고 답했습니다. 한 참가자의 말처럼, "제가 그냥 뱉어낼 수 있는 것이 아닙니다. 혀끝에 있는 것이 아니라 뇌의 앞쪽에 있는 것이죠." (P9) 이 참가자는 커리큘럼 변경을 주도하는 기관에서조차 결정할 수 없는 부분이라고 덧붙였습니다: "저는 지금 이 순간에도 왕립대학의 CBME에 대한 철학이 무엇인지 잘 모르겠습니다." (P9) 참가자들은 종종 CBME의 교육 철학에 대한 논의를 회피하고 응용 또는 디자인 기능에 집중하는 것을 선호했습니다. 
When directly asked by the interviewer, most participants struggled to immediately identify an education philosophy or theory that underpinned CBME. Many indicated that they had not previously considered this question in detail. As articulated by one participant, “It’s not just like I can spit out things. They are not on the tip of my tongue, on the front of my brain.” (P9) This participant further expressed that this was not something that they could even determine from the institutions leading the curricular change: “You know what, I don’t even know at this moment—I can tell you what the Royal College’s philosophy is on CBME.” (P9) Frequently, participants would sidestep the discussion of the educational philosophy of CBME, preferring to focus on applied or design features.

저는 실용주의자이기 때문에 CBME의 다양한 의미와 그 철학적 토대에 대한 광범위한 대화에 너무 얽매이지 않고 좀 더 실용적으로 접근하려고 노력합니다. (P6)
I’m a pragmatist, and don’t get too caught up with the extensive dialogues that’s occurred about the various meanings of CBME and its philosophical underpinnings and try to be more practical about it. (P6)

대부분의 참가자들은 이러한 과정을 통해 CBME의 설계를 뒷받침하는 이론적 입장을 구축할 수 있었습니다. 그러나 이러한 입장은 일관성이 부족하고 때로는 모순되기도 했습니다. 예를 들어, 한 참가자는 CBME의 기본 이론이 행동주의적 입장을 취하고 있다고 설명했습니다: "철학적, 개념적으로는 행동주의적 접근법입니다... 행동주의적 입장을 취하지 않는다면 역량, 즉 CBME 접근법을 믿지 않는 것은 어렵다고 생각합니다." (P16) 인터뷰 후반부에 같은 참가자는 "역량 모델은 절대적으로 생산 모델입니다. 결과를 정의하고, 가르칠 내용을 정의하고, 평가하고, 결과에 도달하는 것이죠. "(P16) 이와는 대조적으로 다른 참가자는 다음과 같이 주장했습니다.
When pushed, most participants were able to construct a theoretical stance that supported the design of CBME. Yet, these positions lacked uniformity and sometimes were contradictory. For example, one participant described the underlying theory of CBME as taking a behaviourist stance: “Philosophically, conceptually, it’s a behaviorist approach … I mean I think that it is hard not to believe in a competency, CBME approach, unless you take a behaviourist stance.” (P16) Later in the interview, the same participant suggested that “a competency model is absolutely a production model. You define the outcome, you define what you teach, you assess it, and you reach the outcome. “(P16) In contrast, a different participant asserted the following.

CBME는 학습이 학습자와 사회 시스템의 맥락의 상호작용이라는 구성주의를 강력하게 참조하고 있습니다."(P10)
CBME is strongly referencing constructivism—that learning is very much an interaction of the learner and context of a social system.(P10)

참가자들이 다양하게 언급한 교육 관련 개념과 이론으로는 자기결정 이론, 자기조절 학습, 비고츠키의 근거리 발달 영역, 숙달 학습, 정체성 이론, 교육 동맹, 의도적 실천, 학습자 중심주의, 성장 마인드, 위탁성 등이 있었습니다. "하나의 철학이나 단일 구조가 아니며" CBME가 "묶음"(P10)에 가깝다는 데는 대체로 동의하는 것처럼 보였지만, CBME를 뒷받침하는 일련의 구조가 "완전한 패키지"(P10)인지, CBME가 효과적으로 "모든 것을 하나로 묶는"(P9) 것인지, 아니면 "하나의 라벨 아래 상당히 자의적으로 묶인 여러 원칙과 실천"인지에 대해서는 합의가 덜 이루어졌습니다. (P4). 
Specific education-related concepts and theories that were variously invoked by different participants included: self-determination theory, self-regulated learning, Vygotsky’s zone of proximal development, mastery learning, identity theory, educational alliance, deliberate practice, learner centredness, growth mindset and entrustability. While there seemed to be general agreement that “it is not a single philosophy or single construct” and that CBME was more like a “bundle” (P10), there was less agreement on whether the set of constructs that underpin CBME is “a complete package” (P10), whether CBME effectively “knits them all together” (P9) or whether it is “a number of principles and practices which have been lumped together fairly arbitrarily under one label.” (P4).

어떤 경우에는 이러한 여러 이론과 철학이 일치하는 것처럼 느껴지기도 했지만, 때로는 충돌하는 경우도 있었습니다.

• 예를 들어, 한 참가자는 코치가 학습자가 목표를 설정하는 데 도움을 줄 수 있다는 점에서 종적 관계 내 코칭의 원칙이 자기조절학습의 개념과 잘 부합한다고 설명했습니다. 그러나 이 참가자는 계속해서 설명했습니다: "저는 실제로 프로그램식 평가가 역량 기반 혁신이 ... 학습자의 자기조절 능력을 향상시키는 데 도움이 되는 능력을 약화시킬 수 있다고 생각합니다." (P11) 이는 역설적으로 피드백을 문서화하는 데 지나치게 집중하는 결과로 이어져 "...학습자가 상사와 함께 하는 모든 순간이 성과가 되는 것이 아니라, 그 환자와 혼자 있을 때 진정으로 하는 일이 되는" 상황으로 이어질 수 있다고 생각했습니다. (P11)
• 업무의 진정성이 결여되면 레지던트에게 진정으로 유용하거나 목표 지향적이지 않은 피드백으로 이어집니다. 또 다른 참가자는 의사가 환자 중심적이고 사회의 요구를 더 잘 충족시키기를 바라는 동시에 학습자 중심의 접근 방식을 장려하는 것 사이의 긴장을 갈등으로 인식했습니다. 한 참가자는 이렇게 설명했습니다:

While in some cases these multiple theories and philosophies were felt to be aligned, at times they were in conflict.

• For example, one participant described how the principle of coaching within a longitudinal relationship aligned well with the concept of self-regulated learning, as the coach can help the learner set goals. However, the participant went on to explain: “I actually think programmatic assessment may actually undermine the ability of competency-based innovations … to help [learners] become more self-regulating.” (P11) This was felt to result, paradoxically, in an excessive focus on documentation of feedback, which could lead to a situation where “…every moment of the learner’s day with their supervisor [is] a performance, as opposed to being authentically what they would do if they were alone with that patient.” (P11)
• The inauthenticity of the task then leads to feedback that isn’t truly useful or goal-oriented for the resident. Another participant recognized conflict was the tension between wanting physicians to be more patient-centered, and better at meeting society’s needs, while also promoting a learner-centered approach. As explained by one participant:

CBME는 환자의 결과를 기반으로 하기 때문에 약간의 모순이 있습니다. 사회의 요구가 무엇인지에 기반해야 하지만, 학생 중심이기도 하므로... 어려운 주문입니다.(P13).
It’s kind of an oxymoron a little bit – because [CBME] is based on patient outcomes. It should be based on what the needs of society are, but it is also student centered, so … it’s a tall order.(P13)

주요 운영 관행으로 정의되는 CBME
CBME defined by key operational practices

참가자들은 종종 CBME에 대한 설명을 원칙과 철학에서 벗어나 실제 운영 관행에 대한 논의로 이끌었습니다. 참가자들은 평가와 학습자-교사 관계의 본질이라는 두 가지 소주제를 두드러지게 다루었고, 이 두 가지 주제는 정기적으로 자세히 설명했습니다. 
Participants often steered the description of CBME away from principles and philosophies towards a discussion of practical operational practices. Two subthemes were prominent and regularly elaborated by participants: assessment and the nature of the learner-teacher relationship.

대다수의 참가자가 평가는 CBME의 기본 조직 관행으로 명시했습니다. 평가 관행에는 다음 등이 포함되었습니다.

• 학습해야 할 내용을 표시하는 지표로 EPA와 마일스톤 사용,
• 학습자의 임상 수행에 대한 직접 관찰 증가,
• 직접 관찰에 기반한 보다 빈번하고 구체적인 피드백 제공,
• 위임 판단으로 구성된 구체적이고 관찰된 수행에 대한 빈번하고 저부담의 작업장 기반 평가 사용,
• 학습자를 위한 정보에 기반한 교육 결정과 처방을 내리기 위해 대량의 (개별적으로는 저부담의) 데이터를 집계하고 해석하는 역량 위원회의 사용 

Assessment was articulated as the fundamental organizing practice of CBME by a majority of participants. Assessment practices included:

• the use of EPAs and milestones as markers of what should be learned;
• increased direct observation of learners’ clinical performances;
• the provision of more frequent and more specific feedback based on direct observation;
• the use of frequent, low stakes, workplace-based assessment of specific, observed performances framed as entrustment judgements; and
• the use of competency committees to aggregate and interpret the large amount of (individually low stakes) data to make informed educational decisions and prescriptions for learners.

저에게 CBME는 더 많은 관찰과 더 많은 평가를 하는 평가 방식의 변화와 더불어 결과 기반 접근법이라고 말하고 싶습니다...(P7).
I would say CBME for me is an outcomes-based approach in addition to a change in the way we also do assessment, in having more observations, more assessments… (P7)

따라서 CBME의 핵심은 ... 마일스톤과 EPA를 명시적으로 연결하고 평가를 강화하는 것입니다. (P6)
So at its core, I would find CBME is … the explicit connections of milestones and EPAs and ramped up assessments. (P6)

... 그렇다면 어떤 것을 가리키며 CBME라고 말하는 것을 어떻게 정의할 수 있을까요? ... 저는 임상 역량 위원회가 그 중 하나라고 말하고 싶습니다. (P9)
…so what would define it to point at something and say that’s CBME? … I would say that it is clinical competency committees is one of those. (P9)

CBME에 대한 설명은 주로 평가와 관련된 것이었지만, 일부 참가자들은 CBME의 본질적인 특징으로서 학습자-교사 관계의 본질에 초점을 맞추었습니다. 한 참가자는 이러한 관계가 CBME의 핵심이라고 설명했습니다:
While the articulated practices of CBME were predominantly concerned with assessment, some participants focused on the nature of the learner-teacher relationship as an essential feature of CBME. One participant described this relationship as being key to CBME:

학습자가 자신에게 다가오는 모든 정보를 처리하고 자기 조절력을 키울 수 있도록 돕는 것이야말로 근본적인 개입, 즉 종단적 코치라고 생각합니다. (P11)

I actually think that’s the fundamental intervention, the longitudinal coach piece, to help the learner process all the information coming at them, to help them become more self-regulating. (P11)

코칭이라는 개념 외에도 일부 참가자는 도제식 모델에 대한 설명에서와 같이 종적 관계에 대한 다른 목적을 명시했습니다.
In addition to the idea of coaching, some participants articulated different purposes to the longitudinal relationship, such as in this description of an apprenticeship model.

저는 어떤 의미에서 이상적인 CBME는 교수진이 소수의 학습자를 보유할 수 있도록 하는 연속적인serial 도제식 모델이라고 생각합니다. 당신은 그들의 성과에 투자했습니다. 학습자와 충분한 시간을 함께 보내면서 그들의 성장을 확인할 수 있었습니다. 학습자에게 피드백을 줄 시간이 있었습니다. 피드백을 주고 난 후의 변화나 상황이 그들을 도울 수 있는지 확인할 시간이 있었습니다. (P10)
I think the ideal CBME in a way would be a serial apprenticeship model, so that you as a faculty would have a few learners. You were invested in their performance. You knew them as people—you spent enough time with them that you could see their growth. You had time to give them feedback on things. You had time to see if after feedback or things changing you could help them. (P10)

주목할 점은 종단적 관계에 대해 논의한 많은 참가자들이 이를 "종단적 평가"(P7)라고 표현했다는 점인데, 이는 개인이 CBME를 개념화할 때 평가가 얼마나 널리 퍼져 있는지 다시 한 번 보여줍니다.
Of note, many participants who discussed longitudinal relationships also framed it as “longitudinal assessment” (P7), illustrating again the pervasive role of assessment in individuals’ conceptualizations of CBME.

CBME가 해결하는 문제
Problems CBME solves

참가자들은 의학교육의 현안이나 문제 중 CBME가 해결하고자 하는 것이 무엇인지 질문했습니다. 'Failure to Fail'이 자주 언급되었는데, 이는 어려움에 처한 학습자를 식별하고 해결하려는 일반적인 무능력 또는 의지가 부족하여 필요한 교정 없이도 시스템을 진행하고 심지어 졸업할 수 있다는 의미로 설명되었습니다.
Participants were asked what current issues or problems in medical education CBME was intended to solve. ‘Failure to fail’ was a frequently cited rationale, which was described as a general inability or unwillingness to identity and address learners in difficulty, allowing them to progress through the system and even graduate without the necessary remediation.

우리는 여전히 여러 가지 이유로 실무에 적합하지 않은 의사를 실무에 투입하고 있습니다. 단지 그렇게 하지 않기가 어렵거나 우리가 알아차리지 못할 뿐입니다. (P4)
We are still entering physicians into practice who are not fit for practice for a number of reasons—it’s just hard not to, or we don’t notice. (P4)

...누가 실제 시험에 불합격할 위험이 있는지 예측할 수 있지만...우리는 이런 사람들을 다룰 용기가 없습니다. (P3)
…we can predict who is at risk of failing their actual exams…and we do not have the guts to deal with these people. (P3)

이 문제는 진정한 성과를 검증할 수 있는 직접적인 관찰이 부족한 평가 시스템으로 인해 더욱 악화되었고, 대신 훈련 종료 평가의 위태로운 타당성에 의존하게 되었습니다.
This issue was compounded by assessment systems that lacked direct observation to verify authentic performance, relying instead on the precarious validity of end of training high stakes assessment.

가장 큰 문제는 직접 관찰이었습니다...... 프로그램 책임자가 환자를 한 번도 본 적이 없는 항목을 작성하는 것, 즉 아무도 환자를 관찰한 적이 없는 정보를 바탕으로 작성하는 것이기 때문에 이 평가가 처음 고안되었을 때 해결하고자 했던 큰 문제였다고 생각합니다. (P2)
The big problem was the direct observation….ITERs is [an] example where your program director is filling out an item they’ve maybe never seen you—it’s based on information that nobody has ever observed you with a patient—so I think that was the big problem it was trying to address when it was first thought of. (P2)

... 프로그램 마지막에 실시하는 고부담 총괄 평가는 좋은 교육 이론에 전혀 부합하지 않는다고 생각합니다. (P15)
…the high-stake summative assessment at the end of the program is very much not – is not at all in keeping I don’t think with good educational theory. (P15)

Failure to tail이라는 생각에 묶여, 참가자들은 실무에 필요한 모든 능력을 습득했는지 확인하기 위한 현행 교육 프로그램의 엄격함에 대해 우려를 표명했습니다. 무작위로 구성된 순환 근무의 교육 시스템이 유능하고 다재다능한 의사를 배출하는 데 필요한 경험에 우연적으로 노출된다는 의견이 제시되었습니다:
Tied to the idea of failure to fail, participants expressed concern with the rigour of current training programs to ensure all necessary abilities required for practice had been acquired. It was suggested that an education system of randomly organized rotations led to haphazard exposure of the necessary experiences to produce competent, well rounded physicians:

학부든 대학원이든, 가정의학과든, 어떤 수련 프로그램을 거치더라도 일정 기간 동안 한 장소에서 근무하는 특성 때문에 우연히 한 가지 이상의 영역에 대해 배우지 못했거나 노출되지 않았거나 능력을 개발하지 못한 사람이 있을 수 있습니다. (P12) Somebody could get through a training program, whether undergrad or postgrad, family medicine, whatever, 
where by chance they did not learn or were not exposed or did not develop an ability in one or more areas purely because of the nature of your in a place in a context for a period of time. (P12)

몇몇 참가자들은 사회가 필요로 하는 의사를 배출한다는 사회 계약을 이행하는 의학전문대학원 교육 시스템과 그에 따른 전문가 지위 상실 가능성에 대한 우려도 확인했습니다.
Several participants also identified concerns about the postgraduate medical educational system fulfilling the social contract to produce physicians needed by society and the attendant possibility of losing professional status.

또한 의과대학의 특권적 권위가 그동안 약화되었으며, 이는 부분적으로 의과대학이 올바른 방법을 사용하지 않았고 올바른 제품을 제공하거나 만들지 않았기 때문이라는 인식이 커지고 있습니다(P4).
There is also this growing sense…that the privilege[d] authority of medical schools has diminished over this time and that is in part because they have not used the right methods and they have not been delivering or creating the right product (P4)

CBME의 예상치 못한 결과
Unanticipated consequences of CBME

많은 참가자들은 CBME가 의사 진료의 총체적인 본질을 개별적인 능력으로 해체하는 환원주의적 역량 프레임으로 이어진다는 우려를 표명했습니다. 이러한 참가자들은 의사의 다른 교차적이고 상호 보완적인 능력과의 필수적인 상호작용을 고려하지 않고 개별 능력을 적절하게 가르치거나 평가할 수 있는지에 대해 회의적이었습니다. 또한 정의된 개별 능력의 임의적인 목록을 재조합했을 때 총체적으로 유능한 의사가 될 수 있을까요?
A number of participants expressed concern that CBME leads to a reductionist framing of competence, where the holistic nature of physician practice is deconstructed into discrete abilities. These participants were skeptical that discrete abilities could be adequately taught or assessed without considering the necessary interaction with the other intersecting and complimentary abilities of a physician. Moreover, would the arbitrary list of the defined, discrete abilities constitute a holistic competent physician when reassembled?

CBME의 가장 큰 위험 중 하나는 항목화되거나 사물을 구성 요소로 세분화하여 너무 아래로 내려가면, 우리는 이러한 구성 요소를 보고 전체가 괜찮은지 확인하고 한 단계에서 다음 단계로 이동한다는 생각으로 돌아가야 하는데, 그렇지 못하고 잡초 속으로 빠져들게 된다는 것입니다. (P3)
One of the biggest risks of CBME is that it is itemized or breaks things down into its component parts and gets—it’s too far down there, and we need to get back to thinking that we are looking at these components parts and see if the whole is okay, and move from one stage to the next, and we are not and we have gotten down into [the] weeds. (P3)

어려운 점 중 하나는 역량이 어떤 것이고, 정의할 수 있는 것이며, 어떻게든 환경과 분리할 수 있는 개인의 특성이라는 가정이 있다는 것입니다. 따라서 모든 것을 EPA로 세분화하고, 누군가가 그런 일을 세 번 하는 것을 지켜본 다음 '예, 유능합니다'라고 말하면 문제가 해결된다는 생각은 잘못된 것입니다. (P5)
I think one of the challenges is there is a bit of assumption that competence is a thing, that it is a definable thing and that it somehow becomes a trait of an individual that is separable a bit from their environment. So, the idea that we can break everything down into EPAs, watch someone do those things three times and then say yes, they are competent, and our problem is solved. (P5)

다른 참가자들은 CBME가 만들어내는 직접적인 관찰과 평가에 대한 관심 증가와 함께 전공의의 복지와 학습 환경의 본질에 대한 관심을 강조했습니다.
Other participants emphasized concern for resident wellbeing and the nature of the learning environment with the increased attention to direct observation and assessment that CBME creates.

['안전한 학습 환경'이라는 목표와 '포괄적인 문서화'라는 목표 사이에 갈등이 있습니다... 이는 [레지던트와 감독자 간의] 상호작용의 성격을 근본적으로 변화시키는데, 이는 두 사람이 똑같은 관찰을 하고 있고 단지 그들 사이의 대화일 뿐이며 아무데도 갈 필요가 없는 경우와는 대조적입니다. (P3)
[There is] conflict between the goal of ‘safe learning environments’ versus ‘comprehensive documentation’…That fundamentally changes the nature of the interaction [between resident and supervisor], as opposed to if the two of them were having the exact same observation and it was just a conversation between them and it didn’t have to go anywhere. (P3)

... 우리가 낮은 수준의 평가를 자주 하려고 노력한다고 해도 레지던트들이 항상 평가를 받고 있다는 인식이나 느낌, 높은 경계심을 갖고 스트레스를 받는다는 것은 학습자의 건강과 웰빙에 부정적인 영향을 미칠 수 있다고 생각합니다. (P15)
…even though we’re trying to be frequent low stakes assessments is the perception or feeling that residents are always being assessed, being on high alert and being stressed out from that cause I think that could have negative implications for the health and wellness of our learners. (P15)

통합 지식 사용자 점검 과정에서 확인되고 널리 지지된 새로운 주제는 긍정적이고 의외의 이점에 대한 인식이었습니다. 참가자들은 CBME가 일선 임상 교사의 지식과 능력을 향상시켜 더 나은 피드백을 전달하고 더 나은 평가를 제공할 수 있다고 언급했습니다. 다양한 맥락에서 초기 관찰 결과, 임상 교사들은 이제 이전보다 더 지식이 풍부하고 정교한 방식으로 교육에 대해 '이야기'할 수 있게 되었다고 합니다. 일부 참가자들은 레지던트의 발전과 레지던트 역량에 대한 레지던트 프로그램의 종합적인 판단을 향상시킬 수 있는 개선된 피드백 및 평가 관행에 주목했습니다.
A new theme identified and widely endorsed during the integrated knowledge user checking process was acknowledgment of a positive, surprise benefit. Participants noted that CBME could enhance the knowledge and ability of front-line clinician teachers to deliver improved feedback and provide better assessments. Early observations in various contexts suggested that clinician teachers could now “talk the talk” of education in a more knowledgeable and sophisticated way than before. In some cases, participants noted improved feedback and assessment practices which could enhance residents’ progression and residency programs’ summative judgements about resident competence.

캐나다 의학교육의 주요 오피니언 리더를 대상으로 한 이 연구는 역량 기반 의학교육에 대한 일관된 정의, 설명 또는 프레임워크가 없다는 CBME 관련 문헌을 검토하면서 느낀 점을 재확인시켜 줍니다. 이는 의학교육이 부정확한 분류체계로 인해 어려움을 겪고 있기 때문에 놀라운 발견은 아닙니다(Mills et al., 2020). 전문직업성(van Mook 외, 2009), 성찰(Nguyen 외, 2014), 임상적 추론(Young 외, 2019), 문제 기반 학습(Schmidt, 1993)은 명시적이고 공통된 정의가 부족하다는 더 큰 문제를 보여주는 좋은 예입니다. 또한 의학교육 학술에서는 어휘의 결함에 대해 자주 비판을 받습니다(Eva, 2017; Walsh & Eva, 2013).
This study of Canadian medical education key opinion leaders reaffirms our sense in reviewing the literature on CBME that there is no consistent definition, description or even framing of competency-based medical education. This is not a surprising finding as medical education is plagued by an imprecise taxonomy (Mills et al., 2020). Professionalism (van Mook et al., 2009), reflection (Nguyen et al., 2014), clinical reasoning (Young et al., 2019) and problem-based learning (Schmidt, 1993) are ready examples of the larger problem of a lack of explicit and common definitions. Moreover, medical education scholarship is frequently critiqued for deficiencies in its lexicon (Eva, 2017; Walsh & Eva, 2013).

이 연구의 결과는 Lochnan 등이 최근 실시한 범위 검토에서 대부분의 출판물이 참조 표준을 인용하지 않은 채 문헌에서 CBME에 대한 여러 가지 정의가 존재한다는 사실을 입증한 것과 일치합니다(Lochnan 등, 2020). 부정확한 정의의 문제는 EPA, 마일스톤, 역량과 같은 용어가 인증 기관마다 다르기 때문에 더욱 문제가 됩니다(Englander 외., 2017; Hawkins 외., 2015). 
The findings of this study are consistent with a recent scoping review by Lochnan et al. that demonstrated the multiple definitions of CBME in the literature with the vast majority of publications failing to cite a reference standard (Lochnan et al., 2020). The challenge of imprecise definitions becomes more problematic as terms such as EPAs, milestones and competence also vary between accrediting bodies (Englander et al., 2017; Hawkins et al., 2015).

이 연구의 주요 오피니언 리더들은 CBME에 대한 일관된 철학적 또는 이론적 틀을 제공하는 데 어려움을 겪었습니다. 이는 담론의 양극단을 시사하는 것이 아니라, 다양한 이슈에 걸쳐 입장이 분산되어 있음을 시사하는 결과입니다. 그러나 시너지 효과가 있든 모순적이든 사후적으로 제시된 수많은 설명 이론이 반드시 CBME의 치명적인 결함을 나타내는 것은 아닙니다. 이러한 현상은 CBME가 팀 기반 학습이나 객관적 구조화 임상 평가(OSCE)와 같은 단일 교육 개입이 아니라는 점을 반영할 수 있습니다. 오히려 참가자들이 다양한 운영 사례를 설명했다는 점을 고려할 때 CBME는 교육 번들로 더 잘 개념화될 수 있습니다. 중재 번들은 단일 중재가 효과적이지 않은 복잡한 문제(예: 환자 치료 핸드오프의 오류(Starmer et al., 2014))를 해결하기 위해 도입되었습니다. 번들에는 더 큰 목표를 달성하기 위해 여러 수준과 이해관계자를 대상으로 하는 여러 가지 상호 보완적인 개입이 포함됩니다(Wong & Headrick, 2020). 이러한 개념화에서 코칭의 빈도와 질을 높이고, 평가 횟수를 늘리고, 대중에게 더 많은 과정 투명성을 제공하는 등 CBME 번들 내에서 가능한 수많은 교육 개입은 참가자들이 생성한 다양한 이론 목록에 반영된 것처럼 수많은 지원 프레임워크를 예상할 수 있습니다. 
The key opinion leaders in this study struggled to provide a coherent philosophical or theoretical framing for CBME. This is not to suggest a polarity in the discourse; rather, the findings suggest a diffuse disconnect of positions across numerous issues. However, the multitude of post hoc explanatory theories that were offered, whether synergistic or contradictory, does not necessarily indicate a fatal flaw with CBME. This phenomenon may reflect that CBME is not a single educational intervention like team-based learning or the objective structured clinical evaluation (OSCE). Rather, given that participants also described numerous operational practices, it may be that CBME is better conceptualized as an education bundle. Intervention bundles are introduced to solve complex problems (e.g., errors in patient care handoff (Starmer et al., 2014)) where no single intervention is effective. Bundles include multiple, complimentary interventions directed at multiple levels and stakeholders to achieve larger goals (Wong & Headrick, 2020). In this conceptualization, the numerous possible education interventions within the CBME bundle, such as increasing the frequency and quality of coaching, systematizing increased numbers of assessments, or providing more process transparency to the public, would anticipate numerous supporting frameworks, as reflected by the diverse list of theories generated by participants.

다양한 관점의 존재는 시스템의 각 참여자가 자신의 부족한 부분을 인식하도록 요구하며, 이를 통해 문제와 해결책에 대한 보다 정교한 정의를 반복적으로 재구성하고 공동 구성할 수 있게 해줍니다(Cristancho, 2014). 위험은 다양한 관점이 존재한다는 데 있는 것이 아니라, CBME 담론에서 이러한 다양한 관점을 인식하지 못한다는 데 있습니다. 이런 의미에서 임상의, 교육자, 관리자가 CBME를 어떻게 개념화하는지를 밝혀내는 것은 그러한 프레임워크 사이의 상호 보완적인 특성과 단일 관점의 한계를 드러냅니다. CBME를 교육 번들로 설정하면, 여러 가지 개입이 여러 가지 지원 이론과 함께 작용하며, 이 모든 것이 더 큰 조직 영역 내에서 이루어지고 있음을 명확히 알 수 있습니다. CBME의 구조화에 대한 여러 가정에 대한 명확성을 개선하면, 문헌의 담론을 개선하고, 커리큘럼 혁신을 위한 노력을 강화하며, 프로그램 평가를 위한 명확성을 제공할 수 있습니다.
The presence of multiple perspectives requires each participant in the system to be cognizant of their own lacunae and thereby enables them to iteratively reconstruct and co-construct a more sophisticated definition of the problem as well as the solution (Cristancho, 2014). The danger lies not in the multitude of perspectives, but in the failure to appreciate those multiple perspectives in the discourse on CBME. In this sense, uncovering how clinicians, educators and administrators conceptualize CBME exposes the complimentary nature between such framings and the limitations of a single perspective. Situating CBME as an education bundle makes explicit that multiple interventions are at play with multiple supporting theories, all within a larger organizing domain. Improving clarity around the multiple assumptions of the structuring of CBME may improve discourse in the literature, enhance efforts at curricular innovation, and provide clarity for program evaluations.

마찬가지로, 많은 참가자들이 강조하는 CBME의 실용적이고 무이론적인 틀(CBME가 해결한 주요 운영 사례와 문제에서 알 수 있듯이)이 결함이 있는 설계와 동일시될 필요는 없습니다. 캐나다의 전통적인 대학원 의학 교육 시스템도 명시적이고 완전히 통합된 이론적 토대 위에 구축되지 않았다는 점을 기억하는 것이 중요합니다. 오히려 학부 의학교육의 질적 문제를 해결하기 위해 개발된 실용적인 솔루션을 차용했습니다. 북미 의과대학에 대한 카네기 재단의 보고서(Flexner, 1910)를 반영한 미국의학협회의 기준은 캐나다에서 큰 영향을 미쳤습니다. 학부 의학교육 생물의학 모델이 PGME에 미친 영향은 이론적인 측면이 아니라 실용적인 측면을 따랐습니다. 같은 맥락에서 이 연구의 주요 오피니언 리더들은 한 세기 동안 최소한의 점진적 변화로 PGME를 발전시킨 후 발생한 현 세대의 문제를 해결하기 위한 실질적인 해결책으로 CBME에 대한 여러 가지 근거를 제시했습니다. 대중과 학습자 모두에게 중요한 CBME는 레지던트 수련의 책무성을 향상시킵니다(Albanese 외., 2008; Goldhamer 외., 2020; Holmboe 외., 2017). 
Similarly, the practical and atheoretical framing of CBME emphasized by many of our participants (as suggested by the key operational practices and problems CBME solves), need not equate with flawed design. It is important to remember that the traditional postgraduate medical education system in Canada was also not built on an explicit and fully integrated theoretical foundation. Rather, it borrowed practical solutions developed to address issues of quality in undergraduate medical education. The American Medical Association’s standards, reflecting the Carnegie Foundation report on North American medical schools (Flexner, 1910), was highly influential in Canada. The influence of the undergraduate medical education biomedical model on PGME has been along practical, and not theoretical, lines. In the same spirit, key opinion leaders in this study suggested a number of rationales for CBME as a practical solution for solving the current generation of problems that have developed after a century of minimal, incremental change in PGME. Significant to both the public and learners, CBME improves the accountability of residency training (Albanese et al., 2008; Goldhamer et al., 2020; Holmboe et al., 2017).

우리는 이 연구의 특정 결과의 이전 가능성은 우리의 설계 선택에 의해 필연적으로 제한된다는 점에 유의합니다. 예를 들어, 저희는 참가자 코호트를 캐나다의 저명한 이해관계자로 제한했는데, 이는 다른 관할권의 의견을 대표하지 못할 수도 있습니다. 또한 캐나다의 의대 교육자 커뮤니티가 상대적으로 작고 데이터를 익명화하려는 노력에도 불구하고 인식될 수 있다는 우려로 인해 참가자들이 개인적인 의견을 모두 공유하는 데 다소 제약을 느꼈을 수 있습니다. 따라서 이러한 다양성에도 불구하고, 이번 조사 결과는 전 세계 의학교육 담론의 근간이 되는 다양한 관점, 가정, 입장을 모두 반영하지 못했을 가능성이 높습니다. 우리의 목표는 가능한 모든 관점의 포괄적인 목록을 작성하는 것이 아니라 이러한 다양성에 대한 대화를 시작하고 다른 사람들이 자신의 사고, 계획 및 글쓰기에 이러한 고려 사항을 포함하도록 장려하는 것이었습니다.
We note that the transferability of the specific findings of this study are necessarily limited by our design choices. For example, we limited our cohort of participants to prominent stakeholders in the Canadian context, which might not be representative of the opinions from other jurisdictions. Further, our participants might have felt somewhat constrained to share the full range of their personal opinions given the relatively small community of medical educators in Canada and possible concerns of being recognized despite efforts at anonymizing the data. Thus, despite the variability seen, our findings likely under-represent the full range of lenses, assumptions and positions that underlie the discourses in the literature and the implementations of CBME across the globe. Our goal was not to create a comprehensive list of all possible perspectives, but rather to open the conversation regarding this variability and to encourage others to include such considerations in their own thinking, planning and writing.

그럼에도 불구하고 이 연구는 캐나다의 주요 오피니언 리더들 사이에서 CBME에 대한 정의가 상당히 이질적이라는 것을 보여주었습니다. 이러한 차이는 CBME 커리큘럼이 현지에서 설계되고 실행되는 방식에 차이가 있을 것으로 예상됩니다. 당연히 이는 CBME라는 공통된 레이블 아래에서 다양한 학습자 및 시스템 결과로 이어질 것입니다. 따라서 CBME의 개념화에 관한 향후 연구에서는 실행 과학에 기반하고 적절한 실행 연구 프레임워크(CFIR 연구팀-임상관리연구센터, 2021)에 근거하여 실행의 충실성(Keith et al., 2010; O'Donnell, 2008)을 탐구할 수 있습니다. 실행 과정의 영향을 이해하지 못하면 차세대 의학교육 설계자와 리더는 역량 기반 의학교육을 수정하고 개선하는 방법에 어려움을 겪을 것입니다.
Nonetheless, this study has demonstrated impressive heterogeneity in the definition of CBME among Canadian key opinion leaders. Such variance anticipates divergence in how CBME curricula are locally designed and implemented. Naturally, this will lead to varying learner and system outcomes, all under the common label of CBME. Thus, future work around the conceptualization of CBME might explore fidelity of implementation (Keith et al., 2010; O’Donnell, 2008), informed by implementation science and grounded in an appropriate implementation research framework (CFIR Research Team-Centre for Clinical Management Research, 2021). Without understanding the influence of the implementation process, the next generation of medical education designers and leaders will struggle with how to revise and refine competency based medical education.

The current discourse on competency-based medical education (CBME) is confounded by a lack of agreement on definitions and philosophical assumptions. This phenomenon impacts curriculum implementation, program evaluation and disrupts dialogue with the education community. The purpose of this study is to explore how Canadian key opinion leaders describe the philosophy and practice of CBME. A purposeful and snowball sample of Canadian key opinion leaders, reflecting diversity of institutions and academic roles, was recruited. A qualitative thematic analysis of semi-structured interviews was conducted using the principles of constructivist grounded theory. A modified integrated knowledge user checking process was accomplished via a national open meeting of educators, researchers, and leaders in postgraduate medical education. Research ethics board approval was received. 17 interviews were completed between September and November 2018. 43 participants attended the open meeting. There was no unified framing or definition of CBME; perspectives were heterogenous. Most participants struggled to identify a philosophy or theory that underpinned CBME. CBME was often defined by key operational practices, including an emphasis on work-based assessments and coaching relationships between learners and supervisors. CBME was articulated as addressing problems with current training models, including failure to fail, rigor in the structure of training and maintaining the social contract with the public. The unintended consequences of CBME included a reductionist framing of competence and concern for resident wellness with changes to the learning environment. This study demonstrates a heterogeneity in defining CMBE among Canadian key opinion leaders. Future work should explore the fidelity of implementation of CBME.

큰 혁신은 갑자기 가능한 것이 절실히 필요한 것과 만날 때 일어납니다.
Big breakthroughs happen when what is suddenly possible meets what is desperately necessary.

토마스 프리드먼 (2012)
Thomas Friedman (2012)

For more than 60 years, competency-based education has been proposed as an approach to education in many disciplines. In medical education, interest in CBME has grown dramatically in the last decade. This editorial introduces a series of papers that resulted from summits held in 2013 and 2016 by the International CBME Collaborators, a scholarly network whose members are interested in developing competency-based approaches to preparing the next generation of health professionals. An overview of the papers is given, as well as a summary of landmarks in the conceptual evolution and implementation of CBME. This series follows on a first collection of papers published by the International CBME Collaborators in Medical Teacher in 2010.

This paper describes the medical curriculum designed to foster adaptive expertise. Engaging in the formal and informal curriculum, students learn to achieve desired outcomes in novel situations, perform comfortably with uncertainty, and are often recognized for creative problem-solving. Students learn by asking and answering their own and others' questions. They readily operate at the metacognitive level, anticipating events, self-monitoring, and checking decisions and emotions. A key function of the reflective process is to identify gaps or shortcomings in the thinking process. The adaptive learner shifts into reflective thinking when confronted with complex contextual and situational demands. We are only beginning to understand how to create educational pathways to foster adaptive learning. An essential focus is the adaptive teacher who frames learning and assessment around predictive analytics, reflective spaced practice, and authentic learning material. To be effective, the teacher must engage the learner outside the formal classroom in the parallel curriculum. A major premise is that learning occurs individually and together with peers, teachers, and team members in multiple contexts. During the learning process, the learner readily operates at the metacognitive level, anticipating behavior, self-monitoring and assessing, and checking theirs and others decisions and emotions. The adaptive medical curriculum provides the pathway for such learning.

전 세계 의사를 위한 입문 수준 기준
Entry-level Standards for Physicians around the World

국가마다 의학교육과 훈련에 큰 차이가 있지만, 초급 의학교육의 최소 기준은 학사 학위 교육을 요구합니다.

• 호주, 필리핀, 미국 등 일부 국가에서는 의대생이 의학전문대학원 수준의 의학 프로그램에 입학해야 면허 시험에 응시할 수 있습니다.7
• 미국의 경우 미국 의사 면허 시험(USMLE)에 응시하려면 학사 학위(4년)와 의과대학 4년 졸업 학위가 필요합니다.8 공인된 레지던트 프로그램(3~7년)을 마친 후 의료 행위가 허용됩니다. 따라서 미국에서 주치의가 되기 위해서는 약 11년, 외과의사가 되기 위해서는 13년 이상의 수련 기간이 소요됩니다.

Although there are large variations in medical education and training across countries, the minimum standards for entry-level medical education require bachelor-degree training.

• Some countries, such as Australia, Philippines, and the USA, even require medical student to enter the graduate-level medical program before they can attend the licensing examinations.7 
• In the US, in order to be eligible for the United States Medical Licensing Examination (USMLE), candidates require a bachelor degree (4 years), and a four-year graduate degree from medical schools.8 Medical practice is allowed after completing an accredited residency program (3–7 years). Therefore, it takes around 11 years of training to become a primary care physician and over 13 years to become a surgeon in the United States.

개발도상국인 태국의 경우 반세기 전에 학사 수준의 교육으로 입문 의학교육이 시작되었습니다.9

• 태국의 학부 의학교육(입문 의학교육)은 6년이 걸리며 보통 1학년은 기초 교육, 2~3학년은 기초 의학 교육, 4~6학년은 임상 교육으로 3단계로 나뉩니다.9,10
• 태국보다 선진국인 중국이 왜 이런 이상한 의학교육 시스템을 유지하면서 교육 기간과 재능이 다른 모든 졸업생을 의사가 될 수 있도록 하는지 의문이 들 수밖에 없습니다. 의료 인력 부족과 인구 건강 개선의 시급한 필요성이 이러한 의료 교육 및 훈련 시스템을 개발하게 된 초기 이유였지만, 오늘날 중국이 직면하고 있는 주요 문제는 더 이상 아닙니다.

In Thailand, a developing country, the entry-level medical education was set at bachelor-level training a half-century ago.9 

• The Thai undergraduate medical program (entry-level medical education) takes 6 years to finish and is usually divided into three stages: the first year for basic education, the 2nd-3rd years for basic medical education, and the 4th-6th years for clinical training.9,10 
• This raises a question why China, a country more developed than Thailand, would keep such an odd medical education system and allow all graduates with different training periods and different talents to become doctors. The shortage of health workforce and urgent need to improve population health were the initial reasons for developing this system of medical education and training, but they are no longer the main issues China is facing today.

의대생 공급 과잉
Oversupply of Medical Students

중국은 세계에서 가장 큰 규모의 의료 인력 교육 시스템을 갖추고 있습니다. 2014년부터 2018년까지 의과대학 통계에 따르면 중국의 의대 졸업생 수는 총 560만 명 증가했지만, 의료 인력 규모는 210만 명 증가에 그쳤습니다. 일정 비율의 인력 감소가 있더라도 전체 시장에서 의대 졸업생의 공급과 고용 사이의 큰 격차를 설명하기는 여전히 어렵습니다. 한 가지 가능한 설명은 일부 저학력 의대생이 보건 분야에 진출하지 않아 의대 졸업생 공급 과잉을 초래했다는 것입니다. 
China has the largest education system for health workforce in the world. According to the statistics of medical schools from 2014 to 2018, the number of medical graduates in China increased by 5.6 million in total, but the size of the health workforce increased by only 2.1 million. Even though there is a certain proportion of workforce attrition, it is still difficult to explain the huge gap of the whole market between supply and employment of medical graduates. One possible explanation is that some less-educated medical students did not enter into the health sector and created an oversupply of medical graduates.

또한, 매년 전문 의과대학 및 중등 의과대학에 등록하는 의대생 수는 의학 학사 이상 프로그램에 등록하는 학생 수보다 훨씬 더 많았습니다.

• 예를 들어, 2018년에 고등 의과대학에 등록한 의대생 수는 85만 5,000명이었으며, 이 중 61만 1,000명이 전문대학 학사 학위 프로그램에 등록했습니다. 또한 전문학사 학위 프로그램에 등록한 학생은 39만 명에 달했습니다.

이러한 공급 패턴은 의학교육의 질에 영향을 미칠 뿐만 아니라 보건 인력 수급의 불균형을 심화시켰습니다.11 중등 직업 교육 및 직업 교육 졸업생의 과잉 공급은 전문과목 혼합의 왜곡(잘 훈련된 일차 진료 의사의 부족)과 의사 시장에서 의대 졸업생 간의 치열한 경쟁을 심화시키는 결과를 초래했습니다. 
Moreover, the number of medical students enrolled each year at junior medical colleges and secondary schools was much higher than that at medical bachelor programs or above.

• For example, in 2018, the number of medical students enrolled in tertiary medical schools was 855,000, of which 611,000 were enrolled in vocational college diploma programs. In addition, there were 390,000 students enrolled in SVD programs.

This supply pattern not only affected the quality of medical education but also led to an increasing imbalance in the supply and demand of health workforce.11 The oversupply of graduates with secondary vocational education and vocational education further resulted in the distortion of specialty mix (inadequate numbers of well-trained primary care physicians) and increased intensive competition among medical graduates in physicians’ market.

같은 규모로 볼 때 중국의 개업 의사 수는 더 이상 다른 비교 대상 국가보다 적다고 볼 근거가 없습니다. 1인당 의료비 지출과 인구 10,000명당 의사 수 사이에는 양의 상관관계가 있는 것으로 알려져 있는데, 이는 의료비 지출이 의료 시스템에서 고용하는 직원 수와 관련이 있다는 사실을 반영하는 것입니다. WHO 데이터를 기반으로 국제 비교 관점에서 중국의 의사 수를 조사했습니다.12 그림 2에 따르면 중국의 의사 공급은 모든 국가 중에서 상대적으로 적절한 수준입니다. 
We have reasons to believe that, on the same scale, the stock of practicing physicians in China is no longer less than that in any other comparable countries. There is a known positive association between health expenditure per capita and the number of medical doctors per 10,000 people, which reflects the fact that how much you spend is related to how many employees the system hires. We examined the number of physicians in China from the perspective of international comparison based on the WHO data.12 Figure 2 suggests that the provision of practicing physician in China is relatively adequate among all nations.

다단계 의료 교육 시스템이 의료 시장에 미치는 장기적 비용
The Long-term Costs of Multi-tiered Medical Education System on Healthcare Market

2019년 Hsieh & Tang의 논문에 따르면, 의사들의 학력 차이가 현저한 의료 시장은 환자 입장에서 더 나은 서비스를 제공할 수 있는 양질의 의사를 찾는 데 추가적인 탐색 및 정보 비용을 부과합니다.2 학력이 높은 의사는 도시 지역에서 진료하는 경향이 있기 때문에 대형 병원에 고용될 가능성도 높습니다. 이로 인해 농촌 지역과 1차 의료 기관의 인적 자원이 악화되고 있습니다. 1970년대에 아켈로프가 개발한 모델에 따르면13 의사의 능력은 관찰할 수 없으며, 이는 의사의 보수가 그들이 제공하는 서비스의 질에 따라 달라지지 않는다는 것을 의미합니다. 규제 시장regulated market에서는 모든 의사에게 평균 수준의 임금을 지급하므로 우수한 의대생이 더 나은 보수를 기대하기 때문에 의료 시장에 진입할 동기가 부족합니다. 또한 의사들은 추가 의료 교육을 받거나 인적 자본에 투자할 인센티브가 적습니다. 장기적으로 다단계 의학교육 시스템은 의료 시장의 형평성과 효율성 측면에서 두 가지 해악을 초래할 것입니다. 
According to Hsieh & Tang’s paper in 2019, the health care market in which physicians have remarkable differences in their education, imposes additional searching and information costs to the seeking of quality doctors who can provide better services from patients’ perspective.2 As doctors with higher educational background tend to practice in urban areas, they are also more likely to be employed by larger hospitals. This has caused a deterioration of human resources in rural areas and at primary health care facilities. Based on the model developed by Akerlof in the 1970s,13 physicians’ ability cannot be observed, which means physicians’ remuneration does not depend on the quality of services they provide. The regulated market pays all the doctors an average level of wage, so there is a lack of motivation for high-quality medical students to enter the health care market since they would expect better payments. Doctors would also have less incentives to receive further medical education and to invest in their human capital. In the long run, a multi-tiered medical education system will contribute to twofold harms in both equity and efficiency of the health care market.

법 개정 및 시행의 어려움
Difficulties in Amending and Implementing the Law

일반적으로 법률과 사법 제도는 그 시행을 위해 비교적 안정적인 기대치를 필요로 합니다. 안정성을 유지하기 위해서는 일단 의사에 대한 법률이 시행된 후 사회적 상황이 크게 변화하기 전에 자의적으로 폐지하거나 개정할 수 없습니다. 따라서 법 개정은 법안 제출부터 법안 심사, 의결 및 채택, 공포 및 시행에 이르기까지 엄격한 절차를 거쳐야 하므로 시간이 걸립니다. 예를 들어, 중화인민공화국 의사 개업에 관한 법률은 1998년에 국회 위원회에서 통과되었지만 23년 후인 2021년에 첫 번째 개정이 이루어졌습니다. 이 기간 동안 중국의 경제 발전은 눈부신 성과를 거두어 지난 20년 동안 GDP가 7조 9,700억 위안에서 82조 7,122억 위안으로 약 937% 증가했으며,14 이에 따라 의료 수요와 의료 시장에도 큰 변화가 일어났습니다. 법 개정 과정이 더디더라도 의학교육 체계 정상화를 위한 법 개정이 시급한 상황입니다. 
Generally speaking, legislation and the judicial system require a relatively stable set of expectations of the law for its implementation. In order to maintain stability, it cannot be abrogated or amended discretionarily before the social contexts change significantly once the law for physicians goes into effect. Therefore, any amendment of the law must follow a rigorous procedure, from submission to the consideration of the draft law, then to the vote and adoption, and to the promulgation and implementation of the law, which will take time. For example, the law for practicing physicians of the People’s Republic of China was passed by the Committee of the Congress in 1998, while its first amendment came twenty-three years later in 2021. The economic development of China has made extraordinary achievements during this period, with its GDP growing from 7.97 trillion yuan to 82.7122 trillion yuan in the last two decades and an increase of about 937%,14 and thus significant changes have taken place in health demands and health care market. There is an urgency to amend the law to normalize the medical education system even though the process of amendment will be slow.

2021년 개정안 제정 및 시행을 위한 장애물도 존재합니다. 2019년 중국 보건 통계 연감의 데이터에 따르면15 현재 전문 학사 학위 대학에 재학 중인 의대생은 100만 명이 넘습니다. 이러한 의대생의 경력 개발과 전환, 교수진 및 관련 인력에 미치는 영향을 신중하게 고려해야 하며, 그렇지 않으면 모든 개혁이 그들의 이익에 대한 비용으로 간주되어 저항을 받게 될 것입니다. 
There are also obstacles for the enactment and implementation of the 2021 amendment. According to data from the Health Statistical Yearbook of China in 2019,15 there are over one million medical students currently enrolled in vocational diploma colleges. The career development and transition for these medical students and the impact on their faculties and related personnel need to be carefully considered, otherwise any reforms will be seen as costs of their interests and thus resisted.

The Law for Licensing Medical Practitioners of the People's Republic of China, enacted in 1999, was amended in 2021. This commentary reviews the key points of the amendment and raises doubts as to one of its points. Specifically, we argue that the minimum education level required to take the physicians' licensing examination should be set to completion of a bachelor degree, instead of a vocational diploma or junior college graduation as in the 2021 amendment. China adopted a system of multi-tiered medical education more than 70 years ago. This policy has resulted in a threshold of entry-level medical education far below the global standards. The highly heterogeneous education background of physicians in China has led to low standards of practicing physicians, which in turn have significantly negative impacts on the health care market. We illustrate changes over time in the educational distribution and regional distribution of practicing physicians in China, and present reasons to improve entry-level educational standards, by setting the physician licensing threshold at an appropriate level. This will not only improve the overall quality of physicians but will also help address equity and efficiency issues in the health care market.