Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

Introduction: Many residency programmes struggle to demonstrate how they prepare trainees to become competent health advocates. To meaningfully teach and assess it, we first need to understand what 'competent' health advocacy (HA) is and what competently enacting it requires. Attempts at clarifying HA have largely centred around the perspectives of consultant physicians and trainees. Without patients' perspectives, we risk training learners to advocate in ways that may be misaligned with patients' needs and goals. Therefore, the purpose of our research was to generate a multi-perspective understanding about the meaning of competence for the HA role.

Methods: We used constructivist grounded theory to explore patients' and physicians' perspectives about competent health advocacy. Data were collected using photo elicitation; patients (n = 10) and physicians (n = 14) took photographs depicting health advocacy that were used to inform semi-structured interviews. Themes were identified using constant comparative analysis.

Results: Physician participants associated HA with disruption or political activism, suggesting that competence hinged on medical and systems expertise, a conducive learning environment, and personal and professional characteristics including experience, status and political savvy. Patient participants, however, equated physician advocacy with patient centredness, perceiving that competent HAs are empathetic and attentive listeners. In contrast to patients, few physicians identified as advocates, raising questions about their ability to train or to thoughtfully assess learners' abilities.

Conclusion: Few participants perceived HA as a fundamental physician role-at least not as it is currently defined in curricular frameworks. Misperceptions that HA is primarily disruptive may be the root cause of the HA problem; solving it may rely on focusing training on bolstering skills like empathy and listening not typically associated with the HA role. Since there may be no competency where the patient voice is more critical, we need to explore opportunities for patients to facilitate learning for the HA role.

Purpose: Current knowledge about the interplay between emotions and professional identity formation is limited and largely based on research in Western settings. This study aimed to broaden understandings of professional identity formation cross-culturally.

Method: In fall 2014, the authors purposively sampled 22 clinical students from Taiwan and the Netherlands and asked them to keep audio diaries, narrating emotional experiences during clerkships using three prompts: What happened? What did you feel/think/do? How does this interplay with your development as a doctor? Dutch audio diaries were supplemented with follow-up interviews. The authors analyzed participants' narratives using a critical discourse analysis informed by Figured Worlds theory and Bakhtin's concept of dialogism, according to which people's spoken words create identities in imagined future worlds.

Results: Participants talked vividly, but differently, about their experiences. Dutch participants' emotions related to individual achievement and competence. Taiwanese participants' rich, emotional language reflected on becoming both a good person and a good doctor. These discourses constructed doctors' and patients' autonomy in culturally specific ways. The Dutch construct centered on "hands-on" participation, which developed the identity of a technically skilled doctor, but did not address patients' self-determination. The Taiwanese construct located physicians' autonomy within moral values more than practical proficiency, and gave patients agency to influence doctor-patient relationships.

Conclusions: Participants' cultural constructs of physician and patient autonomy led them to construct different professional identities within different imagined worlds. The contrasting discourses show how medical students learn about different meanings of becoming doctors in culturally specific contexts.

조직 문화를 설명하는 사례 연구
Case study to illustrate the organisational culture

영국에서 파운데이션 수련의의 처방 오류 원인에 대한 심층 조사를 실시한 결과,26 뉴질랜드의 두 보건 서비스에서도 비슷한 문제를 인식했습니다. 약사가 처방 오류를 발견했지만 전문가 간 협업 문화가 없었기 때문에 의사-약사 협업을 통해 이러한 오류를 예방할 수 없었습니다. 두 의료 서비스의 교육 부서는 질 향상 약사와 협력하여 일상적인 상호작용에서 의사와 약사 간의 전문직 간 협업을 활용하여 효과적인 처방을 촉진하는 방법을 모색했습니다.27-29 약사는 질 향상 전문 지식을, 교육 부서는 직장 학습 및 전문직 간 교육에 대한 전문 지식을 가져와 문제를 해결했습니다. 서로 협력한 결과 오류 감소뿐만 아니라 협업 문화도 개선되었습니다.27-29 
In response to an in-depth investigation in the United Kingdom into causes of prescribing errors by foundation trainees,26 two health services in New Zealand recognised a similar problem. Prescribing errors were detected by pharmacists, but there was not a culture of interprofessional collaboration, so preempting such errors through doctor–pharmacist collaboration did not occur. The education units of both health services partnered with quality improvement pharmacists and explored ways to leverage the interprofessional collaboration between doctors and pharmacists in their everyday interactions to promote effective prescribing practice.27-29 The pharmacists brought their quality improvement expertise, and the education units brought expertise in workplace learning and interprofessional education to address the problem. They partnered with each other and found not only a reduction in errors but also an improvement in collaborative culture.27-29

한 사이트는 다른 사이트에 비해 더 큰 영향을 미쳤습니다.28 학습자와 교육자의 질적 인터뷰 데이터는 그 이유에 대한 통찰력을 제공하고 전수 가능성 및 조직 문화에 관한 귀중한 교훈을 제공했습니다. 효과가 가장 컸던 현장에는 시뮬레이션에 대한 높은 수준의 지원을 제공하는 시뮬레이션 유닛이 있었고, 병동 기반 전문가 간 코칭에 대한 사전 경험이 있었습니다. 공유된 임상 리더십과 의료 서비스 코드 설계 및 개선 학습에 대한 헌신은 조직의 목표였습니다. 따라서 두 서비스 간의 강력한 협업 문화와 함께 프로그램을 수행하기 위한 전제 조건이 있는 직장 환경과 문화를 갖추고 있었습니다. 다른 사이트는 그 효과가 적었고, 돌이켜보면 시행 전에 더 많은 교육과 브리핑이 필요하다는 것을 깨달았습니다. 
There was greater impact at one site compared with the other.28 The qualitative interview data from learners and educators provided insight into why and offered a valuable lesson regarding transferability and organisational culture. The site with the greatest effect had a simulation unit that provided a high level of support for the simulations, as well as prior experience of interprofessional ward-based coaching. Shared clinical leadership and a commitment to codesign of health services and improvement learning were espoused organisational goals. It therefore had a workplace environment and culture with prerequisites for undertaking the programme with a strong culture of collaboration between the two services. The other site had a lesser effect and retrospectively we realised that it needed to undertake more training and briefing prior to implementation.

이중 사이트 구현을 통해 업무 환경과 문화적 요인이 사이트마다 다를 수 있으며, 광범위하게 구현하려면 이를 예상해야 한다는 사실을 깨닫게 되었습니다. 모든 사이트에는 고유한 실행 강점과 과제가 있습니다. 
Dual-site implementation reminds us that workplace contextual and cultural factors will vary across sites and any widespread implementation needs to anticipate this. All sites have their own implementation strengths and challenges.

실습 환경을 설명하는 사례 연구
Case studies to illustrate the practice environment

1. 수퍼바이저 트레이너인 저자 중 한 명(박사)은 수퍼바이저 교육 과정 중 참가자들이 자신의 학습 환경을 감사하도록 요청받은 실습을 감독했습니다. 참가자들은 한 발 물러서서 학습 환경으로서 자신의 직장을 관찰하고 성찰하여 배치의 학습 기회를 파악하도록 요청받았습니다. 이는 직장 커리큘럼 매핑4의 개념에서 파생된 활동이었지만 보다 미시적인 수준에서 수행되었습니다. 교육에 참여한 감독자들은 익숙한 환경을 새로운 시각으로 바라보는 것의 가치를 높이 평가하면서 이 활동이 도움이 되고 눈을 뜨게 하는 활동이라고 보고했습니다. 수업 시간에는 장애물을 공유하고 해결책을 찾기 위해 노력했습니다.
   As a trainer of supervisors one of the authors (D. S.) oversaw an exercise within a supervisor training course where participants were asked to audit their learning environment. They were asked to step back, observe and reflect on their workplace as a learning environment to identify the learning opportunities of the placement. This was an activity drawn from the concept of mapping the workplace curriculum4 but undertaken at a more microlevel. Supervisors in training reported this as a helpful and an eye-opening activity, appreciating the value of looking at a familiar environment through a change of lens. In class they shared barriers and worked on solutions for workarounds.
2. 학습 환경을 직접 관찰한 결과 학습은 종종 '한입 크기'(한 번에 1분 미만)로 이루어졌으며, 업무의 성격과 리듬으로 인해 특정 장소와 특정 시간에 발생할 가능성이 더 높았습니다.11
   Direct observation of a learning environment uncovered learning often occurred in ‘bite-sized’ pieces (<1 min at a time) and were more likely to occur in specified places and at particular times due to the nature and rhythm of work.11
3. 조산사 배치 현장 두 곳의 경험 경로와 교육적 특성을 매핑하여 조산사 커리큘럼이 프로그램의 의도된 학습 결과를 실현하는 특정 교육적 관행에 의해 어떻게 주문되고 보강될 수 있는지 파악했습니다.12 두 가지 실습 기반 경험은 학생들에게 뚜렷한 학습 결과를 만들어 냈습니다.
   The pathways of experiences and pedagogic properties of two midwifery placement sites were mapped to identify how the midwifery curriculum could be ordered and augmented by particular pedagogic practices that realise the program's intended learning outcomes.12 The two different practice-based experiences generated distinct learning outcomes for the students.

개인 문화와 조직 문화의 조화를 보여주는 사례 연구
Case study illustrating reconciling personal culture with organisational culture

팟캐스트 시리즈에서 마오리족 의대생인 엠마 에스피너는 마오리족을 차별하는 의료 시스템에서 일하는 것이 어떤 것인지 설명합니다. '불평등한 결과란 마오리족인 경우 사망 확률이 높다는 뜻입니다."38 그녀는 의과대학에서 마오리족 건강 통계에 대해 배우는 것과 '실제 사람들, 즉 와나우(대가족)와 함께 실시간으로 플레이하는 것'이 어떻게 다른지에 대해 이야기합니다.38
In a podcast series, a Māori medical student Emma Espiner describes what it is it like working in a health system that discriminates against your people. ‘Unequal outcomes is jargon for a better chance of dying if you are Māori.’38 She discusses how it is one thing to learn about Māori health statistics at medical school and another to see this ‘Playing out in real time with real people, your whānau [extended family]’.38

그녀는 마오리 의료 서비스 제공자(키아 오라 응아티와이)의 의사로 일하는 한 일반의(GP)의 경험을 설명합니다38:
She describes the experience of a general practitioner (GP) working as a doctor for a Māori health provider (Ki A Ora Ngātiwai)38:

'한 번은 지역사회의 건강에 깊이 관여하고 있는 사람에게 제 깨달음을 설명한 적이 있습니다. 내가 웰빙(오라)의 개념에 대해 설명하기 시작하자 그녀는 코웃음을 치며 마오리족에게 오라는 개인의 웰빙이 아니라 집단주의에서 비롯된 웰빙이라고 말했다...... 지역사회 거버넌스와 소유권이 키아 오라 응아티와이의 특징이지만 그렇다고 해서 키아 오라 응아티와이가 서비스를 제공하는 지역사회에 대한 의료 제공을 통제할 수 있는 권한이 있다는 의미로 해석되지는 않는다. 모든 마오리족 의료 제공자와 마찬가지로 자금 조달 메커니즘, 계약 보고 요건 및 성공 척도는 마오리족이 아닌 세계를 반영하는 구조와 시스템에 의해 결정되고 이에 따라 정의됩니다. 이러한 환경은 마오리족 의료 서비스 제공자들을 더욱 구별 짓는 요소이며, 자결권을 위한 지속적인 정치적 투쟁이 바로 제가 일하는 세계입니다.
‘Once I described my epiphany to someone who was heavily involved with the health of her community. She snorted when I started to expound on my conceptualisation of wellness (ora) and [said] in not so many words, that for Māori ora is not individual wellness but is instead the wellness arising from collectivism.… While community governance and ownership are defining features of Ki A Ora Ngātiwai this does not translate into having control over the delivery of health care into the communities that Ki A Ora Ngātiwai services. Like all Māori health providers the funding mechanisms, contract reporting requirements and measures of success are dictated by, and defined by, structures and systems that reflect a non-Māori world. It is this environment that further distinguishes Māori health providers — the ongoing political struggle for self-determination — and it is in this world that I work.’

이 사례는 마오리족 의료 종사자들이 현재 시스템 내에서 최선을 다하면서 변화를 옹호해야 하는 어려움이 있음을 반영합니다. '새로운 세상을 설계하면서 반창고를 붙이는 동시에 동의하지 않는 사람들과 싸우고 있습니다.'38
This example reflects that the challenge for Māori health practitioners is that they are advocating for change while having to do their best within the current system. ‘You are putting on the band aid on while designing the new world and all the while fighting those who do not agree with you.’38

As part of this State of the Science series on Self, Society and Situation, we focus on how we might see the situation of the workplace as a learning environment in the future. Research to date into how health professionals learn while working in clinical workplace environments has mostly focused on the supervisor-trainee relationship or on the interaction between the affordances of a workplace and the receptiveness of trainees. However, the wider environment has not received as much focus-though frequently mentioned, it is seldom investigated. We suggest there is a need to embrace the wider institution factors, recognise and acknowledge an organisation's values and culture as they impact on clinical learning in order to work with these, not around them or ignore them, to make what may be tacit visible through reflection and observation and to embrace a range of perspectives on culture.

의학교육이 여성의 소외를 지속시키는 방식에 대한 최근의 연구는 오늘날 여성이 남성과 동등하게, 때로는 더 많은 수의 의과대학에 입학함에 따라 훨씬 더 중요해졌습니다(Kelly-Blake et al., 2018; Pelley & Carnes, 2020). 안타깝게도 여성 의대생의 경우, 의과대학의 오랜 남성적 문화, 즉 백인, 유럽 중심 및/또는 북미의 이상에서 비롯된 문화가 의대생의 의학 학습 및 실습 방식에 오랜 그림자를 드리우고 있습니다(참조; Phelan 외., 2010; Sharma, 2019). 이러한 전통은 남성을 의학의 지배적인 지식 보유자로 자리매김하여 여성의 목소리, 경험, 지식의 방식을 부차적인 것으로 만들었습니다(Babaria 외., 2009, 2012; Bruce & Battista, 2015; Drinkwater 외., nd; Ludmerer, 2020). 예를 들어,

• 의학교육의 학습 역학 및 숨겨진 커리큘럼은 종종 여학생에 대한 편향된 대우를 나타냅니다(Cheng & Yang, 2015; Dijkstra et al., 2008; Lempp & Seale, 2004).
• 또한, 학계 의학 분야에서는 남성 의사가 여성 의사보다 더 빠른 속도로 승진하는 경우가 많으며(Borges 외, 2012; Howell 외, 2017; Murphy 외, 2021; Richter 외, 2020),
• 여성이 가정을 꾸리기 시작하면 경력 발전에 불이익을 받기도 합니다(Butler 외, 2019; Winkel 외, 2021).
• 성별화된 상징, 역사, 전통은 여성 의대생들이 의학에 속하지 않는다고 느끼도록 만들거나(Balmer 외, 2020; Blalock 외, 2022; Levine 외, 2013),
• 남성이 지배하는 전문 분야를 여성이 지속하지 못하도록 막았습니다(Baptiste 외, 2017; Burgos & Josephson, 2014). 

이러한 관행의 정점은 의학계에서 여성을 합법적이고 타당한 지식 보유자로 인정하지 않는 데 기여하며, 이러한 관행을 인식론적 불공평이라고 합니다. 

Recent scholarship on the ways medical education perpetuates the marginalization of women has become vastly more important today as women enter medical school in equal and sometimes greater numbers to men (Kelly-Blake et al., 2018; Pelley & Carnes, 2020). Unfortunately, for women medical students their numbers alone do not change a long-standing masculine culture in medical school, a culture born from White, Eurocentric and/or North American ideals, casting a long shadow on how medical students learn and practice medicine (see; Phelan et al., 2010; Sharma, 2019). These traditions have positioned men as the dominant knowledge holders in medicine, rendering women’s voices, experiences, and ways of knowing as subaltern (Babaria et al., 2009, 2012; Bruce & Battista, 2015; Drinkwater et al., n.d.; Ludmerer, 2020). For example,

• learning dynamics and hidden curriculum in medical education often exhibit biased treatment of women students (Cheng & Yang, 2015; Dijkstra et al., 2008; Lempp & Seale, 2004).
• Moreover, the field of academic medicine frequently promotes men physicians at faster rates then women physicians (Borges et al., 2012; Howell et al., 2017; Murphy et al., 2021; Richter et al., 2020)
• while penalizing women in career advancement when they begin having families (Butler et al., 2019; Winkel et al., 2021).
• Gendered symbols, histories, and traditions have made women medical students feel they do not belong in medicine (Balmer et al., 2020; Blalock et al., 2022; Levine et al., 2013) or
• discouraged women from persuing specialties dominated by men (Baptiste et al., 2017; Burgos & Josephson, 2014).

The culmination of these practices contributes to dismissing women in medicine as legitimate and valid knowledge holders, a practice known as epistemic injustice.

인식론적 부정의는 종종 사회적 정체성(예: 여성, 소수자, 학생 등)에 근거하여 특정인을 정당한 지식 보유자로 인정하지 않거나 무시하거나 의심하는 관행입니다(Dotson, 2012; Fricker, 2011). 또한 인식론적 불공정은 아는 것과 모르는 것에 대한 차별의 순간에만 국한되는 것이 아니라 다른 합법적인 앎의 방식에 대한 무시도 포함합니다. Dotson(2012)은 인식론적 불공정은 "해석학적으로 소외된 공동체 내부에 존재하는 대안적 인식론, 반신화, 숨겨진 기록 등을 고려해야 한다"(31쪽, 원문 강조)고 설명합니다. 본질적으로 인식론적 불공정은 사회적 정체성에 기반한 개인의 지식을 즉각적으로 불신하는 행위이자 다른 방식의 앎에 대한 가능성을 지속적으로 무시하는 행위입니다.
Epistemic injustice is the practice of discrediting, ignoring, or doubting people as legitimate knowers often based on their social identity (e.g., women, minority, student, etc.) (Dotson, 2012; Fricker, 2011). Furthermore, epistemic injustice is not only confined to moments of discrimination about what one knows or does not know; it also includes a disregard for other legitimate ways of knowing. Dotson (2012) explains epistemic injustice must “account for alternative epistemologies, countermythologies, and hidden transcripts that exist in hermeneutically marginalized communities among themselves” (p. 31, emphasis in original). In essence, epistemic injustice is both the immediate discrediting of an individual’s knowledge based on their social identity and the act of persistently ignoring possibilities for other ways of knowing.

인식론적 부정의의 증거는 생명윤리 및 의학교육 학계에 잘 기록되어 있으며(Battalova 외., 2020; Blease 외., 2017; Carel & Kidd, 2014; Seidlein & Salloch, 2019), 의학계 여성에게 인식론적 부정의는 가부장적인 의학의 역사에서 기인한 형태로 만연해 있습니다. 이러한 남성 중심적 태도는 무의식적으로 이성과 합리성을 남성, 남성성, 남성다움에 부여하는 표현입니다(Lloyd, 1979; Samuriwo 외., 2020; Shaw 외., 2020). 남성을 이성적인("더 나은" 또는 "더 숙련된") 의사로 습관적으로 인식하는 것은 역사적으로 의학계에서 여성의 위치를 낮추고, 여성의 기여를 약화시키며, 여성의 전문직 진출을 선택적으로 제한해 온 이 분야에 광범위한 영향을 미칩니다(Roberts, 2020; Sharma, 2019). 이러한 관행을 종합하면 성별에 기반한 인식론적 불공정의 은밀하고 명백한 사례입니다(Tuana, 2017). 
Evidence of epistemic injustice is well-documented in bioethics and medical education scholarship (Battalova et al., 2020; Blease et al., 2017; Carel & Kidd, 2014; Seidlein & Salloch, 2019), and for women in medicine forms of epistemic injustice are rampant and stem from a patriarchal history in medicine. These androcentric attitudes are manifestations of sub-consciously assigning reason and rationality to men, masculinity, and maleness (Lloyd, 1979; Samuriwo et al., 2020; Shaw et al., 2020). Habitually recognizing men as reasoned (read “better” or “more skilled”) physicians has far-reaching implications for the field, one that has historically discounted the place of women in medicine, undermined their contributions, and selectively limited their advancement in the profession (Roberts, 2020; Sharma, 2019). Combined, these practices are discreet and obvious examples of epistemic injustice based on gender (Tuana, 2017).

인식론적 불공정이 발생하는 경우, 여성 의사의 지식은 종종 의학에 대한 "올바른" 또는 "정확한" 지식에 대한 획일적인 이해와 비교됩니다. 여성이 이러한 형태의 규범적 지식을 입증하면 인식적 불공정의 형태를 회피할 수 있습니다. 예를 들어, 여성 의사는 보다 "남성적"인 행동을 취하거나 채택하거나 의학에서 정당한 것으로 인정되는 특성에 더 기꺼이 자신을 맞출 수 있습니다. 그러나 그렇게 하기 위해 여성은 자신의 커뮤니티와 문화, 심지어 자신에게서 비롯된 지식의 형태를 숨기거나 보류해야 할 수도 있습니다(Dotson, 2012). 따라서 의학계 여성이 순응을 통해 인식론적 불의에 저항할 때, 여성으로서의 사회적 정체성과 자신의 젠더 경험, 인종과 민족, 자신을 키워준 공동체에서 비롯된 지식, 즉 "반-신화와 숨겨진 기록"을 소홀히 하게 됩니다. 여성이 의학 분야에 가져다주는 중요한 지식을 인정하지 않는다면, 백인 남성으로서의 의사의 존재를 지속적으로 재생산하는 동시에 이 분야에서 지식으로 간주되는 것에 대한 한계를 강화함으로써 의료 분야는 빈곤해질 것입니다. 
During events of epistemic injustice, women physicians’ knowledge is often compared to a monolithic understanding of a “correct” or “accurate” knowledge for medicine. If a woman demonstrates this form of normative knowledge, then they may evade forms of epistemic injustice. For example, women physicians may take on or adopt behaviors that are more “masculine” or align themselves more willingly to characteristics that are recognized as legitimate in medicine. However, to do so, women may be tasked with hiding or withholding the very forms of knowledge that arises from their communities and from their cultures, even themselves (Dotson, 2012). Thus, when women in medicine resist epistemic injustice through conformity, they neglect their social identity as women and the knowledge arising from their own gendered experiences, their race and ethnicity, and the communities that raised them—their “countermythologies and hidden transcripts” (Dotson, 2012, p. 31). Without acknowledging the important knowledges women bring to the field of medicine, the medical field will be impoverished by continually reproducing the presence of doctors as White men, while reinforcing limits on what counts as knowledge in the field.

인식론적 불공정의 프레임워크는 이러한 불공정을 바로잡을 수 있는 방법도 제공합니다. 이러한 불공정이 어떻게 발생하는지 분석하는 과정에는 인식적 불공정의 관행을 줄이고 궁극적으로 개혁할 수 있는 방안에 대한 가능성이 내재되어 있습니다(Dotson, 2012). 학생들의 의료 경험이 권력과 억압의 맥락에 놓여 있더라도(Chow 외, 2018; Vanstone & Grierson, 2021; Wyatt 외, 2021 참조) 인식론적 불공정을 시정할 수 있는 능력은 지식이 위치한 위치(예: 자신의 커뮤니티 내, 의료 분야 내, 학습 환경 내)와 밀접하게 연관되어 있습니다. 예를 들어, 유색인종 학생은 의과대학에서의 교육 경험에 자신의 지역사회와 배경에서 비롯된 관점이라는 혁신적인 관점을 가져옵니다(Solorzano & Delgado Bernal, 2001; Wyatt et al., 2018). 
In its entirety, the framework of epistemic injustice also offers avenues to redress such injustices. Embedded in analyzing how such injustices occur are possibilities for ways to reduce and eventually reform the practice of epistemic injustice (Dotson, 2012). Even as students’ medical experiences are situated within the context of power and oppression (see, Chow et al., 2018; Vanstone & Grierson, 2021; Wyatt et al., 2021) their ability to redress epistemic injustices are tightly coupled with where their knowledge is situated (e.g., within their own communities, within the medical field, within a learning environment). For example, students of Color bring with them transformative perspectives into their educative experiences in medical school, perspectives originating from their own communities and backgrounds (Solorzano & Delgado Bernal, 2001; Wyatt et al., 2018).

인식적 불공정의 형태에 맞서기 위해, 우리는 인식적 주체성의 개념을 활용하여 참가자의 행동을 해석합니다. 인식적 주체성이란 특정 커뮤니티 내에서 자신의 인식적 자원(예: 지식 체계, 학습, 관행 등)을 설득력 있게 활용하고 공유하는 개인의 능력을 말합니다(Dotson, 2012). 우리는 의학교육의 결핍된 내러티브에 대응하기 위해 의대생이 주체성을 발휘하는 순간에 초점을 맞췄습니다. 이러한 순간은 데이터 분석에 대한 우리의 접근 방식(페미니스트적, 주체적, Tuana, 2017 참조)과 인식론적 불공정의 개념적 틀을 전체적으로 사용하여 데이터를 제시하는 방법에 대한 의도적인 결정을 반영합니다(Dotson, 2012). 주체성은 참여자 경험에 대한 자산 기반 관점을 제공하며, 이는 의대생의 소진과 차별 경험에 대한 풍부한 문헌의 균형을 맞추는 데 도움이 됩니다(Daya & Hearn, 2018; Frajerman 외, 2019; Kilminster 외, 2007; Neumann 외, 2011; Orom 외, 2013). 의료 및 고등 교육 분야에서 도출한 기관의 역할은 (1) 관점 취하기(O'Meara, 2015), (2) 전략적 저항(Baez, 2000, 2011; Ellaway & Wyatt, 2021, 2022; Gonzales, 2018)으로 요약할 수 있습니다.

• 관점 취하기는 의대생이 목표를 달성하는 데 도움이 되는 상황과 자신에 대한 반사적 숙고를 의미하며, 이러한 반사적 숙고는 더 큰 사회적 요인에 의해 형성되고 배양된 내적 대화 또는 자기 대화입니다(O'Meara, 2015). 반면
• 전략적 저항은 의대생이 자신과 타인을 불법적인 지식인으로 만드는 제도적 구조에 저항하거나 이를 전복하려는 의도적인 전술을 말합니다(Baez, 2000, 2011; Ellaway & Wyatt, 2021; Gonzales, 2018). 

To combat forms of epistemic injustice, we leverage the concept of epistemic agency to interpret actions of participants. Epistemic agency refers to a person’s ability to persuasively utilize and share their epistemic resources (e.g., knowledge systems, learnings, practices, etc.) within a given community (Dotson, 2012). We focused on moments of agency in medical students to counter deficit-narratives in medical education. These moments reflect both our approach to data analysis (feminist and agentic, see Tuana, 2017) as well as an intentional decision in how to present the data using the conceptual framework of epistemic injustice in its entirety (Dotson, 2012). Agency provides an asset-based perspective on participant experiences, one that helps balance the plentiful literature on medical student experiences of burn-out and discrimination (Daya & Hearn, 2018; Frajerman et al., 2019; Kilminster et al., 2007; Neumann et al., 2011; Orom et al., 2013). Drawn from the fields of medical and higher education, we frame agency as (1) perspective-taking (O’Meara, 2015), and (2) strategic resistance (Baez, 2000, 2011; Ellaway & Wyatt, 2021, 2022; Gonzales, 2018).

• Perspective-taking refers to medical students’ reflexive deliberations of a situation and of themselves that help them to advance goals—these reflexive deliberations are inner conversations or self-talk shaped and cultivated by larger societal factors (O’Meara, 2015).
• Strategic resisting, by contrast, refers to medical students’ intentional tactics to resist or subvert institutional structures that render them and others as illegitimate knowers (Baez, 2000, 2011; Ellaway & Wyatt, 2021; Gonzales, 2018).

이를 위해 이 연구의 목적은 두 가지입니다. 

• (1) 여의대생의 경험에서 인식론적 불공정이 어떻게 나타나는지 이해하고, 
• (2) 종종 여의대생을 정당한 지식인으로서 불신, 침묵 또는 자격을 박탈하는 환경에서 학습하는 여의대생의 주체적 경험을 설명하는 것입니다. 

우리는 의료계에서 성평등과 성평등이 아직 완전히 실현되지 않았다는 점을 이해하면서 여의대생의 경험에 특히 초점을 맞춥니다(Butler et al., 2019; Dimant et al., 2019). 우리의 연구 결과는 여학생들이 불의에 맞서는 방식과 그들이 경험한 불의의 형태를 시정하기 위해 취하는 행동에 대한 설명을 제공합니다. 페미니스트 주체적 관점(Tuana, 2017)을 통해 우리는 지식이 다면적이고 개인과 공동체에 모두 존재하며, 가부장적 제도와 직업 내에서 여성의 존재가 여전히 인식되지 않는 경우가 많다는 점을 인식합니다(Sharma, 2019). 또한 지식이 정의되는 방식은 지식에 대한 규범적이거나 공유된 집단적 이해 또는 지배적인 집단이 지식으로 구독할 수 있는 내용보다 훨씬 더 큰 의미를 갖습니다. 따라서 이 백서에 대한 접근 방식의 핵심은 참여자가 누구인지, 어디에서 왔는지, 의대 경험에서 그 지식을 어떻게 구현하는지에 따라 파생된 지식을 인식하는 것입니다.
To this end, the purpose of this study is two fold:

• (1) to understand how epistemic injustice appears in women medical students’ experiences and
• (2) to describe the agentic experiences of women medical students who are learning in environments that are often discrediting, silencing, or disqualifying them as legitimate knowers.

We focus specifically on the experiences of women medical students while understanding that gender-equality and gender-equity in the health professions is yet to be fully realized (Butler et al., 2019; Dimant et al., 2019). Our results offer descriptions of the ways women students confront injustices and the actions they take to redress the forms of injustice they experienced. Through a feminist agentic lens (Tuana, 2017), we recognize knowledge as multifaceted and existing both within individuals and shared communities, and for women, often situated within a patriarchal system and a profession where their presence is still in large part, unrecognized (Sharma, 2019). Additionally, how knowledge is defined is much larger than a normative or shared collective understanding of knowledge, or what a dominant group may subscribe as knowledge. Thus, central to our approach to this paper is recognizing knowledges of our participants derived from who they are, where they come from, and how they enact that knowledge in the medical school experiences.

비판적 연구자로서(Denzin, 2015; Denzin & Lincoln, 1994), 우리는 모든 연구 질문을 사회의 더 큰 구조적 규범(예: 인종, 계급, 성별 등) 내에 위치시키고 더 큰 형평성을 추구하여 이러한 규범을 비판하고 변화시키려고 노력합니다. 방법론적으로, 이 연구는 참여자의 경험을 이야기함으로써 공유된 현상을 시간의 흐름에 따라 조사하는 내러티브 전통에 뿌리를 두고 있습니다(Clandinin, 2013; Clandinin & Connelly, 2000). 따라서 이 연구의 설계는 의과대학에 재학 중인 여성으로서 의사가 된 이야기를 들려주기 위해 동일한 공유 경험에 대해 질문하여 참가자들을 여러 번 참여시키는 것이었습니다. 
As critical researchers (Denzin, 2015; Denzin & Lincoln, 1994), we situate any research question within the larger structural norms of society (e.g., race, class, gender, etc.) and seek to critique and transform these norms pursuant of greater equity. Methodologically, this study is rooted in the narrative tradition, one where a shared phenomenon is examined in and over time by storying participants’ experience (Clandinin, 2013; Clandinin & Connelly, 2000). Hence, the design for this study was to engage the participants multiple times, asking about the same shared experience to tell their story of becoming a doctor as women in medical school.

클랜디닌과 코넬리(2000)는 "내러티브 질문은 항상 자서전적 요소가 강합니다. 우리의 연구 관심사는 우리 자신의 경험 이야기에서 비롯되며 내러티브 탐구 플롯을 형성합니다."(121쪽). 저희 둘 다 유색인종 여성이고, AEB는 아시아계/백인 혼혈 여성이며, DRL은 라틴계 여성입니다. 우리의 정체성, 경험, 역사에는 인식론적 불의에 대한 우리 자신의 경험, 그리고 이러한 경험을 검증하기 위해 우리 커뮤니티와 서로를 어떻게 바라보았는지에 대한 수많은 줄거리(Polkinghorne, 1988)가 포함되어 있습니다. 의학 분야에서 여성의 경험은 남성과 크게 다르다는 점을 계속 강조할 필요성을 감안하여(Sharma, 2019), 이 연구는 여성이라고 밝힌 학생들을 대상으로 설계되었습니다. 22명의 참가자는 모두 시스 여성으로 자신을 밝히고 발표했지만, 향후 의학계의 젠더에 관한 연구를 통해 젠더의 개념이 확장되기를 바랍니다. 이 연구는 성별 문제에 기반을 두고 있기 때문에 참가자와 동료를 식별하기 위해 '여성female' 또는 '남성male'이라는 용어 대신 '여성woman'과 '남성man'이라는 용어를 사용했습니다. 참가자가 '여성' 또는 '남성'을 사용했을 때 따옴표에서 그 표현을 바꾸지 않았습니다. 또한, 연구자들은 결핍에 초점을 맞춘 연구에 대응하기 위해 내러티브에 대응하기 위해 노력하면서 참가자들이 직면한 불의를 시정하기 위해 취한 구체적인 행동을 찾았으며, 이러한 행동이 인종주의, 계급주의, 성차별적 구조의 한계 내에서 수행되었음을 이해했습니다(Acker, 1990; Nguemeni Tiako 외., 2021; Ray, 2019). 

Clandinin and Connelly (2000) noted “narrative inquiries are always strongly autobiographical. Our research interests come out of our own narratives of experience and shape our narrative inquiry plotlines” (p. 121). For both of us, we are women of Color, AEB a biracial Asian/White woman and DRL a Latina woman. Our identities, experiences, and histories contain numerous plot-points (Polkinghorne, 1988) of our own experiences with epistemic injustices, and how we have looked to our own communities and one another to validate these experiences. Given the need to continue to emphasize that women’s experiences in medicine are vastly different from men (Sharma, 2019), this study was designed to look at students who identified as women. Although all 22 participants identified and presented as cis-women, we hope future work on topics of gender in medicine will expand the construct of gender. We use the term “woman” and “man” rather than “female” or “male” to identify participants and their peers since this study is grounded in issues of gender. When participants used “female” or “male,” we did not change their wording in their quotes. Further, as researchers committed to counter narratives to attend to deficit-focused research, we sought out specific actions participants took to redress the injustices they encountered, all the while understanding that these actions were performed within the confines of racist, classist, and sexist structures (Acker, 1990; Nguemeni Tiako et al., 2021; Ray, 2019).

이 연구는 2020년 10월부터 2021년 5월까지 8개월에 걸쳐 진행되었으며, 내러티브 연구자들의 요청에 따라 시간의 흐름에 따른 현상을 탐구하기 위해 진행되었습니다. 우리는 참가자들에게 "어떻게 의사가 되어가고 있나요?"라는 질문을 던졌고, 시간의 흐름에 따른 변화를 관찰할 수 있는 가능성을 탐구하기 위해 8개월 동안 이 질문을 계속 이어나갔습니다(Balmer et al., 2021; Gordon et al., 2017). 모든 참가자는 미국 중서부에 있는 대규모 연구 대학의 동종요법 인체 의학 학교 출신입니다. 또한 이 연구는 코로나19 팬데믹으로 인해 극도로 혼란스러운 시기에 진행되었습니다. 참가자들은 인터뷰와 성찰을 통해 팬데믹에 대해 언급했으며, 일부는 의대 재학 중 원격 학습으로 인한 혼란을 언급했습니다. 연구 수행을 위해 대학과 학교 차원의 위원회를 통해 IRB 승인을 받았습니다. 대학 전체 리스트서브를 사용하여 모든 1학년 학생에게 약 200개의 이메일을 보내 여성으로 확인된 학생에게 참여를 권유했습니다. 22명이 8개월 동안 계속 참여하기로 동의했습니다. 이 22명의 학생은 인종과 민족, 국적과 이민자 신분 등 다양한 여학생 그룹을 대표합니다(표 1 참조). 또한 몇몇 참가자는 가족 중 처음으로 대학에 진학했는데, 이러한 사회적 정체성이 의과대학에서의 경험과 학생들이 받은 잠재적인 경제적 또는 사회적 네트워크 지원에 영향을 미쳤을 수 있습니다(Brosnan 외., 2016). 22명의 참가자 중 3명은 의학계에서 과소 대표되는 것으로 간주됩니다(URiM). 데이터 수집이 끝날 때 각 참가자에게는 75달러의 아마존 기프트 카드가 제공되었습니다. 많은 참가자가 이 인센티브에 대해 잊고 있었으며, 첫해에 자신의 경험을 공유하는 것이 카타르시스를 느꼈다고 말했는데, 이는 연구 참여를 유지하기 위해 스스로 선택한 것일 수도 있습니다.   

This study took place over the course of eight months, from October 2020 to May 2021, to heed the call of narrative researchers to explore a phenomenon within and over time. Our phenomenon is the question we posed to our participants, “how are you becoming a doctor?” and we threaded that question throughout the eight-month period hoping to explore the possibilities of observing change throughout time (Balmer et al., 2021; Gordon et al., 2017). All participants are from a school for allopathic human medicine at a large research university in the Midwest United States. Additionally, this study took place during an extremely disruptive time due to the COVID-19 pandemic. Participants commented about the pandemic throughout interviews and reflections, and some noted the disturbance of remote learning during medical school. IRB approval was obtained through the university, as well as through the school level board for research conduct. Approximately 200 emails were sent to all first-year students using the college-wide listserv, inviting those who identified as women to participate. Twenty-two agreed to remain involved over the entirety of the eight months. These 22 students represent a diverse group of women students, in race and ethnicity, as well as nationality and immigrant status (See Table 1). Additionally, several participants were first in their family to attend college, a social identity that may have informed their experience of medical school and the potential economic or social network support these students received (Brosnan et al., 2016). Of the 22 participants, three are considered underrepresented in medicine (URiM). At the end of the data collection, each participant was offered a $75 Amazon Gift Card. Many participants had forgotten about this incentive and commented how sharing their experiences during their first year was cathartic, perhaps indicating some self-selection in maintaining engagement in the research study.

데이터 수집은 먼저 내러티브 전통(Clandinin & Connelly, 2000)을 사용하여 설계된 반구조화 인터뷰로 진행되었으며, 2020년 10월에 실시되었습니다. 내러티브 전통을 사용하여 인터뷰 질문을 만드는 것은 참여자의 이야기를 찾고 연구 조사 대상자에게 초점을 맞추는 것을 의미합니다. 따라서 내러티브 전통은 하나의 연구 질문에 답하기보다는 개인 및 가족 역사와 공유된 경험에 관심을 갖습니다(Clandinin & Connelly, 2000). 인터뷰는 AEB에서 수행했습니다. 인터뷰는 평균 45분 동안 진행되었습니다. 다음으로, 약 3주마다 참가자들에게 자신이 의사가 되는 과정을 중심으로 성찰문을 작성하도록 요청하고, 의사가 되는 과정에서 자신의 성별에 대해 더 깊이 성찰하도록 요청했습니다. (성찰 프롬프트 선택은 표 2 참조). 2020년 11월부터 2021년 4월까지 총 6차례에 걸쳐 반성문을 수집하여 총 105개의 반성문을 작성했습니다(참가자당 평균 4.7개). 모든 참가자는 최소 2개의 반성문을 제공했습니다. 2021년 5월에 각 참가자와의 최종 인터뷰가 진행되었으며, 인터뷰는 평균 45분간 진행되었습니다. 이 최종 인터뷰는 의과대학 1학년을 되돌아보고, 의사가 되기까지 자신의 지식과 정체성이 어떻게 영향을 미쳤는지에 대해 이야기하는 데 중점을 두었습니다. 

Data collection proceeded first with semi-structured interviews, designed using the narrative tradition (Clandinin & Connelly, 2000) and performed in October 2020. Crafting interview questions using a narrative tradition means seeking out the story of participants and focusing on the people in the research inquiry. Thus, the narrative tradition is interested in personal and familial histories and shared experiences rather than answering a single research question (Clandinin & Connelly, 2000). Interviews were conducted by AEB. These interviews lasted on average 45 min. Next, approximately every three weeks, participants were asked to provide reflections largely centered around how they felt they were becoming doctors as well as asked participants to reflect more deeply on their gender in how they were becoming doctors. (See Table 2 for selection of reflection prompts). Six rounds of reflections were gathered from November 2020 to April 2021, making a total of 105 number of reflections (on average 4.7 per participant). All participants provided at least 2 reflections. A final interview in May 2021 with each participant was performed and lasted on average 45 min. This final interview was focused on looking back at their first year of medical school, and about how they felt their own knowledge and their identities informed how they were becoming doctors.

내러티브 분석
Narrative analysis

이 연구에서는 참가자들이 의사가 되는 과정을 어떻게 생각하는지 반복적으로 질문하는 데 중점을 두었습니다. 성별, 학습, 의학에 대한 직업적 사회화에 대한 폭넓은 경험에 대한 조사도 포함했기 때문에 인터뷰와 성찰을 통해 참가자들이 직면한 어려움과 기회, 때로는 희망적인 가능성에 대한 이야기를 이끌어냈습니다. (Anderson & Kirkpatrick, 2015)에서 설명한 것처럼, 이야기로서의 내러티브 탐구는 "단순한 사건의 목록이 아니라 화자가 시간과 의미에서 사건을 연결하려는 시도"(632쪽)입니다. 연구자로서 우리의 위치, 연구자로서의 성찰, 의대 여학생들의 비판적 작업과 노력을 높이려는 우리 자신의 노력을 바탕으로, 우리는 이 이야기를 인식론적 불의를 바로잡는 이야기로 서술합니다.
For this study, we focused on repeatedly asking how the participants felt they were becoming doctors. Since we also included probes about gender, learning, and broad experiences with professional socialization into medicine, interviews and reflections also elicited stories about challenges participants faced as well as opportunities and sometimes possibilities where they were hopeful. As (Anderson & Kirkpatrick, 2015) explain, narrative inquiry as story “is not just a list of events, but an attempt by the narrator to link them both in time and meaning” (p. 632). Based on our positionalities, reflexivity as researchers, and our own efforts to uplift the critical work and efforts of women students in medical school—we narrate this story as one about redressing epistemic injustice.

참여자들의 유효한 지식과 역사적, 문화적, 사회적 기원과 함께 그들의 경험에서 인식론적 불공정의 명백한 존재를 염두에 두고, 우리는 분석에 전체론적 접근 방식을 사용했습니다(Clandinin, 2013; Clandinin & Connelly, 2000; Konopasky et al., 2021). 전체론적 접근 방식은 개인의 역사를 고려할 뿐만 아니라 "체계적인 전체를 구성하는 이야기, 사건 또는 일련의 이야기와 사건 내의 연결에 초점을 맞추는" 접근 방식입니다(Konopasky 외., 2021). 이 논문의 체계적인 전체는 의과 대학 1학년 동안 참가자들이 인식론적 불의와 주체성 집행의 순간이었습니다. 우리는 먼저 데이터를 반복적으로 읽고 참가자의 초기 생활과 의대 재학 기간 동안 인식적 불공정의 순간을 중심으로 메모를 독립적으로 작성하는 것으로 시작했습니다(Richardson, 1997; Richardson & St. Pierre, 2000). 다음으로, 이번에는 의대 시절의 사건에 초점을 맞추어 인식적 불공정의 사례와 참가자들이 이러한 불공정에 어떻게 대응했는지에 대한 더 큰 내러티브를 구축하기 위해 다시 녹취록을 읽기로 했습니다. 여러 참가자들의 이야기를 읽으면서 정확히 같은 이야기는 아니더라도 비슷한 이야기가 공유되고 있음을 발견했습니다. 이러한 이야기를 정리하고 인식론적 부정의와 인식론적 주체성을 모두 포함하는 내러티브 아크arc를 개발하기 위해 우리는 중간 텍스트를 작성하기 시작했습니다. 
Holding in mind the valid knowledge and historical, cultural, and social origins of our participants alongside the unmistakable presence of epistemic injustice in their experiences, we used a holistic approach to analysis (Clandinin, 2013; Clandinin & Connelly, 2000; Konopasky et al., 2021). A holistic approach considers personal histories, as well as “focuses on connections within a story, an event or even a series of stories and events that build a systematic whole” (Konopasky et al., 2021). The systemic whole for this paper were the moments of epistemic injustice and the enactment of agency on the part of the participants during their first year of medical school. We began by first performing repeated readings of the data and independently writing memos centered on moments of epistemic injustice during both the early lives of our participants and their time in medical school (Richardson, 1997; Richardson & St. Pierre, 2000). Next, we moved to reading transcripts again, this time focused on events during medical school to build the larger narrative of both instances of epistemic injustice and any connections to how participants responded to these injustices. Throughout readings we found similar if not the exact same story being shared by multiple participants. To organize these stories and develop a narrative arc including both epistemic injustice and epistemic agency, we moved to writing interim texts.

중간 텍스트는 연구 결과를 어떻게 정리할지, 어떤 이야기를 강조할지에 대한 가능성의 초안이었습니다(Clandinin & Connelly, 2000; St. Pierre & Jackson, 2014). 이 글들은 코딩과 코드 번들링의 첫 번째와 두 번째 단계(Saldaña, 2016)와 연구 결과의 최종 버전 사이의 텍스트, 즉 우리가 서로 협상하는 데 도움이 되는 글과 우리가 전한 이야기 사이의 텍스트 역할을 했습니다. 표 3 중간 텍스트 주제와 시간은 의료 환경에서의 인식론적 불공정에 대한 초기 경험, 의과대학에서의 인식론적 불공정의 순간, 불공정에 대응하는 인식론적 주체성의 사례를 정리한 최종 중간 텍스트의 한 예입니다. 각 열은 우리가 시간의 '플롯 포인트'라고 부르는 것을 나타냅니다. 각 행 안에는 불의 또는 기관에 따라 식별한 주제가 있습니다. 표에서 왼쪽에서 오른쪽으로 이동하면 이러한 불공정이 시간순으로 배치되고 참가자들이 불공정을 어떻게 시정했는지에 대한 예시가 표시됩니다. 각 행은 셀을 왼쪽에서 오른쪽으로 느슨하게 연결합니다. 조사 결과 발표에는 '초기 생애'의 구체적인 예가 포함되어 있지 않지만, 내러티브 분석을 위해 참가자의 생애 전체를 어떻게 끌어왔는지 설명하기 위해 이 부분을 열로 포함했습니다. 예를 들어, 간호사로 추정되거나 혼란스러웠던 경험은 일부 참가자가 의사 진료실에서 젊은 여성이라는 말을 듣지 못했던 초기 경험을 떠올리게 합니다. 마찬가지로, 참가자들이 추근대거나 수술복이 어떻게 보이는지 설명한 사례는 신체에 대한 초기 경험을 반영한 것입니다. 표 3은 연구 결과를 최종적으로 정리한 청사진입니다.  

Interim texts were drafts of possibilities for how we organized our findings, and what stories we would emphasize (Clandinin & Connelly, 2000; St. Pierre & Jackson, 2014). They served as texts between first and second phases of coding and code bundling (Saldaña, 2016) and final versions of findings; writings that helped us make negotiations with one another and the story we told. Table 3 Interim Text Themes and Time is an example of one of our final interim texts that organizes early experiences of epistemic injustice in healthcare settings, moments of epistemic injustice in medical school, and examples of epistemic agency in response to injustices. Each column represents what we call “plot-points” in time. Within each row are the themes we identified according to injustices or agency. Moving from left to right on the table places these injustices in time and examples of how participants redressed injustices. Each row loosely connects the cells from left to right. Although our presentation of findings does not include specific examples of “early life,” we included this as a column to illustrate how we pulled on the entirety of a participant’s life to inform our narrative analysis. For example, being assumed to be a nurse or feeling confused are reminiscent of early experiences some participants shared of not being heard as young women in a doctor’s office. Similarly, instances of being hit on, or when participants described ways their scrubs looked were reflections of earlier experiences of their physical bodies. Table 3 was a blueprint for how our findings were finally organized.

지배적인 지식에 대한 실제적인 차이와 대안을 설명하기 위해 인식론적 불공정의 틀을 짜는 것은 개인이 불공정의 경험을 통해 어떻게 작동하는지에 대한 더 깊은 인식을 유도합니다. 또한, 인식론적 불공정에 대한 접근 방식은 개인의 역사, 개인적 경험, 특히 커뮤니티 지식을 포함하여 불공정이 개인 전체에게 어떻게 발생하는지 인식합니다. 아래 연구 결과는 의과대학 8개월 동안의 인식론적 불공정의 타임라인을 설명합니다. 이 조사 결과에 사용된 인용문은 22명의 참가자 표본을 대표합니다. 질적 내러티브 연구자로서 우리는 이 연구에 참여한 사람들의 더 큰 이야기를 반영하는 발췌문을 제공하고 다양한 참여자의 인용문을 제시하기 위해 노력했습니다. 먼저 참가자들의 경험의 배경을 제공하기 위해 불공정한 사례를 소개합니다. 이러한 사례는 교수진, 다른 남학생, 커리큘럼과의 상호작용 중에 발생했습니다. 다음으로, 참가자들이 인식적 불공정을 시정하고 자신에게 가해진 피해에 어떻게 대응했는지에 대해 이야기하는 인식적 주체성의 순간을 제공합니다. 불의를 바로잡기 위한 세 가지 가능성, 즉 자신이 의학계에 속해 있음을 재확인하고, 목소리를 내고, 서로를 격려하는 방법이 제시되었습니다. 
Framing epistemic injustice to account for the very real differences and alternatives to dominant knowledges invites deeper recognition of how individuals are working through experiences of injustice. Additionally, our approach to epistemic injustice recognizes how injustices occur upon the whole person, inclusive of their history, personal experience, and especially their community knowledge. The findings below describe the timeline of epistemic injustice over an eight-month period of medical school. The quotes used in these findings are representative of the sample of 22 participants. As qualitative narrative researchers, we strive to provide excerpts that reflect the larger shared story of those in this study and ensure a variety of participant quotes were presented. We first introduce instances of injustice to provide a backdrop of the experiences of the participants. These instances occurred during interactions with faculty, other men students, and the curriculum. Next, we offer moments of epistemic agency, describing the ways the participants redressed epistemic injustice and talked about how they countered the harm they felt was being done to them. Three possibilities for redressing injustices are presented:

• reaffirming they belong in medicine,
• calling out and speaking up, and
• uplifting one another.

의과대학 내 인식론적 불공정 사례
Epistemic injustice in medical school

인식론적 불공정의 사례는 종종 참가자들이 의학을 추구하는 목적에 의문을 품게 만들었고, 때로는 이 분야에서 자신의 존재에 의문을 품게 만들었습니다. 그러나 무시당한다는 느낌을 받은 모든 상호작용이 명백한 것은 아니었습니다. 많은 참가자들은 도슨(2012)이 "불평등을 만들고 유지하는 사회 인식론적 구조..."(30쪽)로 인해 신뢰를 잃었다고 느낀 미묘한 순간을 설명했습니다. 의과대학에서 이러한 사회 인식론적 구조는 역사에서 파생된 문화로, 여성이 의과대학에 속하지 않는다는 수사를 유지합니다(Kang & Kaplan, 2019). 예를 들어, 한 참가자는 소그룹 학습 중 자신의 상호작용을 설명하면서 "명시적으로 언급되지 않았거나 현실이 아닐 수도 있지만, 때때로 남학생과 여학생 사이에 차이가 있는 것 같고, 때로는 남학생이 과학적 개념을 더 쉽게 이해할 수 있다는 명시되지 않은 암시가 있는 것 같다"고 반성했습니다. 이 참가자의 관찰은 성별이 학습 그룹에서 비언어적 상호 작용 중에도 한 성별을 다른 성별보다 우대하는 방식을 어떻게 형성할 수 있는지를 설명합니다. 이 참가자의 관찰에서 주목할 만한 점은 남성이 과학을 더 잘한다는 교육적 역학 관계를 경험한 결과 자신과 남성인 반 친구들 사이에서 느낀 '분리divide'였습니다. 이 참가자가 느낀 인식론적 불공평은 주로 성별에 근거한 것이었습니다. 그런 다음 그녀는 자신의 관찰이 '현실'인지 의문을 제기하고, 자신과 남성인 학생들 사이의 다른 대우에 대한 자신의 감정이 실제로 사실인지 숙고하면서 의과대학에서 자신의 지식과 위치에 의문을 제기해야 했습니다.
Instances of epistemic injustice often left participants questioning their purpose for pursuing medicine, and sometimes their presence in the field. However, not all interactions that led to feelings of being overlooked were explicit. Many participants described subtle moments of feeling divested of credibility due to, what Dotson (2012) refers to as the “socioepistemic structures that create and sustain situated inequality…” (p. 30). These socioepistemic structures in medical school are the cultures, derived from history, that maintain the rhetoric that women do not belong in medical school (Kang & Kaplan, 2019). For example, when describing her interactions during small group learning, one participant reflected, “Sometimes, although it is never explicitly stated or may not be reality, it does seem like there is a divide between the men and women medical students, and sometimes there appears to be this unstated undertone that the men have an easier time of understanding the scientific concepts.” This participant’s observation describes how gender may shape the way a learning group can privilege one gender over another, even during non-verbal interactions. Notable to this participant’s observation is the “divide” she felt between herself and classmates who are men, a result of experiencing the larger educative dynamic that men are better at science. The epistemic injustice this participant felt was largely based on her gender. She then questioned whether her observations were “reality” and pondered if her feelings about different treatment between herself and the students who are men was in fact true, an exercise in having to question her own knowledge and place in medical school.

다른 참가자들도 인식적 불공정의 사례를 공유하면서 자신이 의과대학에 속하지 않았다는 느낌을 공통적으로 드러냈습니다. 
Other participants, when sharing instances of epistemic injustice, also disclosed the overarching sense that they did not belong in medical school.

항상 이곳에 속하지 않는다는 느낌이 들었습니다. 마치 우리가 여러분을 들여보낸 것처럼, 여러분은 본질적으로 이 공간에 속해 있는 것이 아니라 우리가 여러분을 들여보냈다는 것을 상기시켜줄 것입니다. 그리고 여러분 스스로도 그렇게 생각해야 합니다. 많은 남성, 특히 백인 남성은 자신이 이 공간에 속해 있다는 것을 상기시키기 위해 해야 하는 감정 노동을 이해하지 못한다고 생각합니다. 
There’s always this feeling of just, you don’t quite belong here. Like you’ve been let in and we’re going to remind you that we let you in versus you just intrinsically belong in this space. And you have to remind yourself that you do. And I think a lot of men, particularly White men, don’t understand the emotional labor you have to do to remind yourself that you belong in this space.

이 참가자의 말은 성별에 따라 의과대학에 가면 안 된다고 은근히 또는 노골적으로 느꼈던 다른 참가자들의 많은 경험을 떠올리게 합니다. 이러한 경험은 참가자들이 의학을 추구해서는 안 된다고 느끼도록 만드는 인식론적 불공정을 나타냅니다. 한 구체적인 상호작용은 참가자들이 의과대학에서 교수진으로부터 질문을 받을 때 자신의 지식과 씨름하는 동시에 성별을 떠올리게 되는 과정을 보여줍니다: 
This participant’s words recall many of the experiences of other participants, of feelings discreetly or overtly that they should not be in medical school largely based on their gender. These experiences are indicative of epistemic injustices, as participants would be made to feel they should not be pursuing medicine. One specific interaction demonstrates how participants grappled with their own knowledge in medical school when being questioned from faculty, while also being reminded of their gender:

저는 한 의사와 의사가 환자의 슬픔을 다루는 데 도움을 줄 수 있는 방법에 대한 아이디어를 논의하고 있었습니다. 저는 그분께 이 아이디어를 제시했고, 그분은 "계속 찾아보세요. 당신이 할 수 있는 일이 정말 많아요."라고 말해주었습니다. 나중에 제가 약리학의 기초 과학적 질문에 대한 아이디어를 제시했을 때 그가 한 말은 충격적이었습니다. 그는 저에게 "넌 똑똑한 애야. 네가 조사하기에 훨씬 더 좋은 질문이야."라고 말했죠. 저는 공중 보건과 사람들을 정서적으로 돌보는 것이 육체적으로 돌보는 것의 중요한 부분인 곳에서 왔습니다. 제 신념 체계 전체에 의문을 갖게 되었어요. 
I was discussing an idea that I had with a physician, something on the topic of how physicians can help patients handle grief. I presented this idea to him and he told me, “keep looking. There are so many things that you could do.” So then when I presented to him later with an idea about a basic science question in pharmacology, the thing that he told me was shocking. He told me “you’re a smart girl. This is a much better question for you to investigate.” I come from a place where public health and taking care of people emotionally is a major part of taking care of them physically. It just made me question my entire belief system.

이 참가자는 교수진과의 상호작용을 통해 자신의 가치와 신념에 의문을 갖게 되었습니다. 유색인종 여성으로서 그녀는 자신의 인종과 성별과 함께 자신이 알고 있는 '똑똑함'을 사실로 바로잡아야 하는 상황에 직면했습니다. 게다가 공중 보건에 대한 이전 교육이 유효한지 여부에 대해서도 의문을 품었습니다. 이 참가자를 가장 힘들게 한 것은 아마도 [사람들을 돌보겠다는 헌신]과 [더 많은 "과학적 질문"을 추구해야 한다는 압박] 사이의 긴장감일 것입니다. 이 참가자에게는 이 두 가지 추구가 서로 상충되는 것이었습니다.

This participant’s interaction with her faculty member made her question her own values and beliefs. As a woman of Color, she was also faced with having to rectify her “smartness” with what she knows to be true, alongside her race and gender. Moreover, she questioned whether or not her previous education in public health was valid. Perhaps most frustrating for this participant was the tension between her commitment to care for people and pressure to pursue more “science questions.” For this participant these two pursuits were at odds.

참가자와 남성인 다른 학생들 간의 상호작용에서도 인식론적 불공평이 드러났습니다. 별도의 성찰에서 많은 참가자가 학습에 영향을 미친 사건을 설명했습니다. 한 유색인종 참가자는 시나리오를 설명했습니다:
Interactions between participants and other students who were men also introduced epistemic injustices. In separate reflections, many participants described an event that impacted their learning. One participant of Color described the scenario:

3주 전, 저는 신체 검사를 담당할 SIM 남성 파트너를 배정받았습니다. 우리는 함께 환자를 면담해야 했습니다. 그런데 그 남학생은 저를 기다리지 않고 바로 정보를 수집하기 시작했습니다. 그는 도를 넘었고 문진 부분만 하겠다고 말했음에도 불구하고 제게 말할 기회를 주지 않았습니다. 마침내 환자에게 "이제 신체검사를 실시하겠습니다"라고 말했고, 제가 청진기를 꺼내는 동안 남성 파트너는 대담하게도 환자에게 달려가 재빨리 장비를 챙겨서 신체검사를 시작했습니다. 그는 제가 마치 그의 서기인 것처럼 작은 발견 사항 하나하나를 중얼거리며 메모해 주었습니다. 저는 매우 충격을 받았습니다. 
Three weeks ago, I was assigned a SIM male partner to perform a physical exam. We had to interview the patient together. But the male student did not wait for me, and he immediately began to gather information. He was overstepping and did not give me a chance to speak, even though he said that he will only do the history for the interview portion. I finally told the patient “I will now perform the physical exam” and as I was taking out my stethoscope my male partner had the audacity to run to the patient and quickly grab his equipment and begin performing the PE. He mumbled every little finding to me as though I was his scribe, just taking notes for him. I was very shook.

이 참가자는 옆으로 밀려나고 무시당하는 경험에 괴로움을 느꼈고, 동료 학생에게 심한 무례함을 느꼈습니다. 또한 이 참가자는 파트너와 환자 면담 진행 방식에 대해 합의한 후 환자와 면담실에 들어갔지만, 의대생으로서의 지식이 부족할 뿐만 아니라 도가 지나쳤다고 지적했습니다. 한 순간의 SIM 경험에서 인식론적 불공정은 성별에 따라 이 참가자의 의대생으로서의 자신감과 지식을 표적으로 삼았고, 그녀는 "흔들리는" 느낌을 받았습니다. 
The experience of being pushed aside and talked over were distressful for this participant, making her face acute disrespect from her fellow classmate. Additionally, this participant pointed out she and her partner had come to an agreement about how the patient interview would proceed, and once in the room with the patient she was not only overstepped, but also minimized in her knowledge as a medical student. In one swift SIM experience, epistemic injustice targeted this participant’s confidence and knowledge as a medical student based on her gender and she left feeling “shook.”

인식론적 불공정은 커리큘럼에서 분명하게 드러나는 다른 학습 경험에서도 존재했습니다. 한 백인 참가자는 여성 환자를 성적으로 묘사한 필수 독서에 대해 설명했습니다. 이 참가자는 불쾌감을 느꼈을 뿐만 아니라 교수진이 자신과 여성인 다른 학급 친구들에 대해 어떻게 생각할지 혼란스러웠다고 말했습니다. "우리 중 많은 여성들이 매우 불쾌했습니다. 어떻게 이게 괜찮을 수 있죠? 여성 환자를 성적 대상화하지 않고도 이 자료를 가르칠 수 있는 다른 강의는 세상에 없었을까요?" 이 경험은 참가자들에게 피해를 입혔고, 다른 세 명은 반성문을 통해 이 시나리오를 공유하고 부적절하다고 생각되는 내용이 어떻게 학습에서 중립적인 것으로 제시될 수 있는지에 대해 의문을 제기했습니다. 다른 학습 사례에서도 참가자들은 학습에서 여성의 신체가 얼마나 적게 표현되었는지를 깨닫고 혼란을 겪었습니다. 
Epistemic injustices were also present during other learning experiences, evident in curriculum. One White participant described required reading that portrayed a female patient in a sexualized manner. This participant shared how offended she felt, as well as confused about what faculty may think about her and her other classmates who were women. “A lot of us females were super offended, I mean, how is this okay? Is there no other article in the world that could have taught us the material without sexualizing a female patient?” This experience caused harm to participants and three others shared this scenario through their written reflections and questioned how something they believed inappropriate could be presented as neutral in learning. Other learning instances also stirred confusion for participants when they realized how little representation a woman’s body had in their learning.

저를 괴롭힌 몇 가지 사항이 있습니다. 예를 들어 신체검사를 해야 하는데 여성에게 신체검사를 하는 방법을 가르쳐주지 않았어요. 그리고 제 실습 파트너는 여자였어요. 그래서 다섯 번째 늑간 공간을 만질 때 말 그대로 가슴에 있는 그 부분을 만져야 하나요? 어떻게 해야 하나요? 브래지어를 들어 올려야 하나요? 브래지어 위로 해야 하나요?  사소한 질문이 너무 많아서 제대로 하고 있는지 확인하고 싶었어요. 하지만 가르쳐주지 않았어요. 그게 정말 중요하지 않나요? 그래서 제가 여성이라는 사실을 더 자각하게 되었죠. 
There are some things that kind of bothered me. Like we had to do our physical exam, but they didn’t teach us how to do it on a woman. And my practice partner was a girl. And so when we feel for the fifth intercostal space, that’s literally on your breasts, like, are we supposed to touch it? How are we supposed to do it? Was I supposed to lift the bra up? Are we supposed to do it over the bra?  There were so many little questions and we wanted to make sure we’re doing it right. But they didn’t teach us. And isn't that really important? So it made me more aware of being a woman.

백인 1세대 학생인 이 참가자는 신체 검사를 위해 여성의 몸을 어떻게 움직여야 하는지 모르는 것뿐만 아니라 학습 과정에서 여성의 신체에 대한 배려가 없는 것 같아 괴로웠습니다. 다른 방식의 앎과 학습에 대한 이러한 무시는 학생들의 의학 교육에서 여성을 신체적으로 "타자"로 젠더화하는 인식론적 불공정이 어떻게 나타날 수 있는지를 보여주는 예입니다. 이 경험을 통해 그녀는 자신의 성별에 대해 더 잘 인식하게 되었고, 자신의 신체가 의과대학에 속하지 않을 수 있으며, 더 나아가 의과대학에서 배울 만큼 중요한 신체로 간주되지 않을 수 있다는 생각을 증폭시켰습니다.
This participant, a White first-generation student, was troubled by both not knowing how to maneuver around a woman’s form for a physical exam, but also that there seemed not to be consideration for a woman’s body in her learning. This disregard for other ways of knowing (and learning) is an example of how epistemic injustice can appear in students’ medical training, gendering women physically as “other.” This experience made her more aware of her gender, amplifying how her body may not belong in medical school, and potentially worse, might not be considered a body important enough to learn about in medical school.

인식론적 주체성을 통한 인식론적 불공정의 시정
Redressing epistemic injustice through epistemic agency

참가자들은 의대 재학 중 인식론적 불공정을 겪었지만, 8개월이 지나면서 의대 재학 중 자신의 가치와 시스템 내에서 변화를 만드는 데 참여하는 것의 중요성을 인식하게 되었습니다. 참가자들은 남성인 다른 학생 및 교수진과 교류하고 정해진 커리큘럼을 배우는 과정에서 여성이라는 이유로 무시당하고 소외되는 느낌을 받았으며, 자신의 지식이 정당하지 않다고 느끼게 되었습니다. 또한 의사의 공감에 대해 연구하고 싶었던 참가자의 경우처럼 자신이 알고 있는 지식은 물론 새로운 지식조차도 가치가 없다고 느꼈습니다. 이러한 인식론적 불공정의 순간을 바로잡기 위해 참가자들은 

• (1) 자신이 의과대학에 속한 이유를 되찾고, 
• (2) 커리큘럼에서 배운 내용을 상기시키며, 
• (3) 서로를 격려하기 위해 노력했습니다.

Although participants described encounters with epistemic injustice during medical school, over the course of eight months they came to recognize their own value in being in medical school as well as the importance of being a part of making change within the system. During interactions between themselves and other students and faculty who were men, and learning from prescribed curriculum, participants experienced feeling overlooked and marginalized because they are women; thus being made to feel their own knowledge was not legitimate. Furthermore, they described how their own way of knowing and even new ways of knowing (as in the case of the participant who hoped to research physician empathy) were not valuable. To redress these moments of epistemic injustice, participants worked to

• (1) reclaim why they belong in medical school,
• (2) call out their curricular materials, and
• (3) uplift one another.

의과대학에 소속된 이유 되찾기
Reclaiming why they belong in medical school

소속감을 느끼는 동시에 소외감을 느끼는 불안정한 감정으로 인해 많은 참가자가 의대를 선택한 이유를 다시 확인했습니다. 또한 참가자들은 자신이 이 분야에 가져온 지식을 상기하기 위해 노력했습니다. 참가자들은 반성적 숙고를 통해 자신이 왜 의대를 선택했는지 스스로에게 상기시키는 시간을 가졌습니다. 컬러의 한 참가자는 "저는 정말 힘을 얻었고, 제 '이유'는 개인으로서 그리고 리더십으로서 성장하고 싶다는 것입니다."라고 말했습니다. 다른 참가자들은 자신의 성별과 여성으로서 의학계에서 자신이 어떻게 소속되어 있는지 재확인했습니다: 
The unsettled feeling between knowing they belong while also being marginalized led many participants to reaffirm why they chose to pursue medicine. Additionally, participants worked to remind themselves of the knowledge they brought to the field. Through reflexive deliberations, they shared how they spent time reminding themselves about why they pursued medical school. One participant of Color shared, “I feel really empowered… and my ‘why’ is I want to grow as an individual and in my leadership.” Others reaffirmed their gender and how they belong in medicine as women:

여성으로서의 경험과 제가 가지고 있는 모든 것이 환자와 대화하거나 학습하는 데 있어 가장 좋은 방법이 무엇인지 이해하는 데 도움이 될 수 있다고 생각합니다. 성장과 경험, 상호작용에 관한 모든 것. 
I feel that my experience as a female and everything I have to bring to the table can help me understand what’s the best way to approach interactions or talking to patients or learning. Anything regarding growth and experiences and interactions.

마찬가지로 한 참가자는 "제 성별 때문에 정서적 보호자가 되어야 한다는 사회적 기대가 생겼고, 이는 환자와 상호작용할 때 그대로 드러납니다. 하지만 정서적 교감이 환자와의 만남에서 가장 만족스러운 요소라고 생각합니다."라고 말했습니다. 참가자들은 자신의 성별뿐만 아니라 성별과 관련된 더 큰 사회적 규범에 대해서도 자각하고 있었습니다. 간병인 및 보호자가 되는 것에 대한 기대는 참가자들이 의과대학에서 자신의 소속감을 상기시키고 정서적 연결을 가져다주는 역할을 다시금 상기시키는 특성이었습니다.
Likewise, one participant reflected, “my gender has raised me with societal expectations of being the emotional caretaker, and that comes through when I’m interacting with patients. But I believe the emotional connection is the most satisfying component of the patient encounter.” Participants were self-aware of their gender, as well as the larger societal norms connected to their gender. Expectations of being caregivers and caretakers were attributes these participants reclaimed as reminders as to how they belonged in medical school; to bring emotional connections.

정서적 측면 외에도 많은 참가자가 의과대학에 소속된 이유에 대한 더 큰 그림에 대해 논의했습니다. 이러한 큰 그림은 종종 참가자들이 제도적 문제에 대한 인식과 이러한 문제를 해결하기 위한 각자의 역할을 지적하는 것이었습니다. 한 URiM 참가자는 "지치고 패배감을 느끼는 날에는 내가 어떻게 지역사회를 위해 봉사할 수 있을지 자주 생각하게 됩니다. 의사가 다른 사람들의 삶에 긍정적인 영향을 미칠 수 있는 놀라운 잠재력을 떠올리게 됩니다."라고 말했습니다. 마찬가지로 다른 참가자도 "우리는 환자를 옹호할 수 있고 정말 열심히 노력할 수 있습니다. 하지만 결국 중요한 것은 환자와 어떻게 상호 작용하고 무엇을 하고 있는지, 환자와 함께 무엇을 위해 기꺼이 싸울 것인지입니다."라고 말했습니다. 따라서 참가자들은 자신의 이야기와 역사가 학습 방법과 의과대학에 있는 이유에 어떻게 영향을 미치는지 알게 되었습니다: 
In addition to the emotional aspect, many other participants discussed the bigger picture of why they belonged in medical school. These bigger pictures often pointed to participants’ awareness of systemic challenges, and their individual roles in addressing these challenges. One URiM participant shared, “On days when I am feeling tired and defeated, I often think back to how I will serve as an advocate for my community. I am reminded of the incredible potential that a physician has to positively impact the lives of others.” Likewise, another participant shared, “We can advocate for our patients and we can try really hard. But at the end of the day, it is how we interact with our patients and what we're doing, what we're willing to fight for with them.” Thus, participants were aware of how their own stories and histories informed how they are learning, as well as why they are in medical school:

의과대학에서 우리를 형성하는 많은 배움은 학교 안에서만 일어나는 것이 아닙니다. 때로는 외부에서 경험하고 같은 반 친구들이 인생에서 겪은 일에 대해 이야기하는 것을 듣기도 합니다. 의사가 되기 전의 경험과 의료계에서 어떤 대우를 받았는지, 그리고 가족들이 어떤 대우를 받았는지가 의사로서 자신을 형성하는 데 많은 영향을 미친다고 생각합니다. 그리고 그것이 중요하다고 생각합니다. 
A lot of the learning that happen that shape us in medical school or the stuff doesn’t even happen within school itself. Sometimes it’s our outside experience and listening to classmates talk about what they've gone through in their life. I think a lot of what shapes you as a physician is your experience prior to med school and how you have been treated and how your family has been treated in medicine. And I think that is important.

참가자들은 의료계의 더 큰 인식적 불공정을 예리하게 인식하고, 학습 여정에서 자신의 역사, 지식, 경험을 인식했으며, 의대 재학 중과 졸업 후 환자와의 상호작용이 더 큰 불공정과 불균형을 시정할 수 있는 방법임을 재확인했습니다. 또한 참가자들은 반성적 숙고를 통해 여성으로서 자신의 관점이 어떤 가치가 있는지 스스로 되새겼습니다. 
Participants were acutely aware of the larger epistemic injustices in healthcare, recognized their own histories, knowledge, and experiences in their learning journeys, and reaffirmed ways that interactions they would have with patients during and after medical school would be the way could redress larger injustices and disparities. Furthermore, participants engaged in reflexive deliberations to remind themselves about ways their own perspectives as women were valuable.

커리큘럼 자료 불러내기
Calling out curricular materials

한 해 동안의 어려운 학습 경험은 학생들이 커리큘럼을 외쳐야 한다고 느끼는 방식을 강조했습니다. 학생들은 외치는 행위를 통해 전략적으로 저항하고, 자신의 권위를 주장하고, 자신이 직접 확인하고 경험한 인식론적 불의에 대응했습니다. 참가자들이 반성문과 최종 인터뷰에서 언급했던 문제가 되는 기사가 이러한 호소의 한 예입니다. 한 참가자는 "모욕적"이고 "여성 환자를 성적으로 묘사한" 동일한 기사를 다른 참가자는 용납할 수 없다고 지적했습니다: "남성 동료들이 여성 환자를 대하는 방법과 같은 허용 가능한 행동을 배운다고 생각하니 좋지 않다고 생각해요. 물론 그대로 두되, 이 글이 허용되지 않는 이유에 대해 소그룹과 대화를 나눈다는 내용을 넣으세요."라는 댓글이 달렸습니다.  
Troubling learning experiences throughout the year highlighted how students felt they needed to call out the curriculum. Through the act of calling out, students engaged in strategic resisting, asserting their authority and countering the epistemic injustices they identified and experienced directly. One such example of calling out is the troubling article participants commented on in their reflections and final interview. The same article one participant described as “offensive” and “sexualizing a female patient,” another participant indicated as impermissible: “the thought of my male colleagues learning that’s acceptable behavior, like a way to treat a female patient I don’t think this is good. Sure leave it up, but put something that says have a conversation with a small group about why this article is not acceptable.”

기사에 댓글을 단 참가자들은 교수진에게 다가가 해당 기사의 적절성에 대해 대화를 시작했습니다. 궁극적으로 이들의 행동은 최종 목표를 달성하는 데 성공했지만, 이러한 행동은 또한 자신과 특정 교수진 사이에 더욱 긍정적이고 존중하는 상호 작용을 촉진했습니다. 
Participants who commented on the article approached the faculty member, opening up a conversation about the appropriateness of the reading. Ultimately, their actions were successful towards their end-goals, but these actions also stewarded more positive and respectful interactions between themselves and this particular faculty member.

결국 그 글은 삭제되었습니다. 이 일을 계기로 저희는 정말 우리가 목소리를 낼 수 있다는 것을 느꼈습니다. 비록 우리는 의대생일 뿐이고 무엇을 해야 하고 무엇을 읽어야 하는지 지시를 받지만, 우리의 의견은 중요합니다. 그리고 목소리를 내기에 결코 늦지 않았습니다.
In the end, the article did get taken down. It really made us feel like we do have a voice. And even though we're just medical students and we're told what to do and what to read, our opinion does matter. And it's never too late to speak up.

참가자들은 자신의 가치와 지식으로 자신이 피해를 입었다고 느낀 부분을 바로잡을 수 있을 만큼 용감하고 신념이 있었습니다. 이를 통해 참가자들은 자신의 의견이 중요하고 자신의 지식이 정당하다는 것을 인식할 수 있었으며, 교수진이 경청하고 변화를 이끌어낼 수 있었습니다. 
Participants were both brave enough and convicted by their own values and knowledge to redress how they felt harmed. This allowed participants to recognize their “opinion does matter” and their knowledge were legitimate, enough so for a faculty member to listen and make a change.

커리큘럼 자료를 불러오는 다른 사례는 더 미묘했으며, 참가자들이 시뮬레이션에서 스크립트화된 상호작용을 하는 동안 환자 상호작용에 대한 자신의 지식과 직관을 어떻게 활용했는지를 보여주었습니다. 참가자들은 반성적 숙고를 통해 자신의 지식과 경험을 불러일으켰고, 환자 시뮬레이션 중에 이를 활용하여 때때로 긴장되는 학습 경험에서 자신을 편안하게 하고 시뮬레이션된 환자를 편안하게 했습니다. 한 유색인종 참가자는 "커리큘럼이 모든 것을 체크리스트로 제시하고 환자 상호 작용에서 감정을 분리하는 것 같습니다."라고 말했습니다. 또 다른 백인 참가자는 체크리스트에 대한 다른 견해를 제시했습니다. "우리는 체크리스트를 사용하고 정서적 상담에 더 깊이 파고드는 데 중점을 두었습니다. 환자를 위로하는 것이 중요하지만 모든 환자가 그런 식으로 마음을 여는 것을 좋아하는 것은 아닙니다." 몇몇 참가자는 체크리스트를 사용하여 공감이나 연민을 이끌어내거나 환자 면담을 더 잘 수행하는 방법을 배우는 데 도움이 되었다고 말했습니다. 그러나 참가자들은 대인 관계에 대한 자신의 지식을 활용하고 이러한 지식을 임상 및 시뮬레이션 경험에 삽입하는 방법도 배웠습니다. 한 참가자는 다음과 같이 말했습니다, 
Other instances of calling out curricular materials were more subtle and revealed how participants navigated their own knowledge and intuition about patient interactions during more scripted interactions in simulation. Through reflexive deliberations, they called upon their own sense of knowing and experience and used this during patient simulation to both put themselves at ease during sometimes nerve-racking learning experiences and put the simulated patient at ease. One participant of Color noted, “I feel a little like our curriculum presents everything as a checklist and detaches the emotion from our patient interactions.” Another White participant offered a different view of checklists, “A lot of our focus has been to use checklists and dig deeper into emotional counseling. While it is important to comfort patients, not all patients like to open up that way.” Several participants commented on using checklists to elicit empathy or compassion, or to help them learn how to better perform patient interviews. However, participants also learned how to draw on their own knowledge about interpersonal connections and insert this knowledge into their clinical and simulated experiences. One participant shared,

체크리스트는 분명히 환자와의 감정에 관한 것이고, 저는 실제로 환자와 교감하고 있습니다. 저는 환자와 소통하는 능력에 대해 보완을 받았고, 환자와의 만남에서 가장 만족스러운 요소는 정서적 연결이라고 생각하며, 이는 환자와 상호작용할 때 드러납니다."라고 말했습니다. 
Clearly the checklists are about emoting with the patient, and I actually connect with the patient. I have been complemented on my ability to connect with them…and I believe the emotional connection is the most satisfying component of the patient encounter and this comes through when I’m interacting with them.

마찬가지로 다른 참가자는 "환자마다 개성이 다르기 때문에 반드시 지켜야 하는 체크리스트를 따르는 것이 항상 병상 매너를 가르치는 올바른 방법은 아닙니다. 저는 환자가 방문의 흐름을 결정하고 적응하고 기어를 바꿀 수 있도록 내버려둘 수 있었습니다." 마지막으로 한 참가자는 "[환자 면담은] 항상 제게 제2의 천직이었으며, 많은 SP가 제 연민으로 인해 잠재적으로 무서운 의학적 문제를 겪고 있는 환자에게 보살핌과 위로를 받았다고 큰 피드백을 주었습니다."라고 설명했습니다. 
Similarly, another participant shared “Every patient is unique and following a checklist that we absolutely must stick to is not always the correct way to teach bedside manners. I’ve been able to let the patient decide the flow of a visit and adapt, and shift gears.” Finally, one participant explained, “[Patient interviewing] has always been second nature to me and many of the SPs have given me great feedback about how my compassion made them feel cared about and comforted them during a potentially scary medical problem.”

참가자들은 체크리스트를 읽거나 따라야 하는 학습 경험을 통해 자신의 지식과 경험을 쌓고, 그 지식과 경험을 행동으로 옮길 수 있었습니다. 다른 참가자들은 표준화 환자들로부터 격려적인 피드백을 받으면서 환자 면담을 수행하는 방법에 대한 자신의 개인적 지식을 재확인하여 환자로부터 주요 관심사를 이끌어내는 참가자들만의 방법을 지원받았습니다. 참가자들은 목소리를 내고 목소리를 높임으로써 받아들일 수 없는 커리큘럼 자료에 대해 전략적으로 저항하고 체크리스트와 기타 커리큘럼 자료를 환자 치료에 대한 접근 방식에 맞게 더 유연하게 만들 수 있는 방법을 고민하기도 했습니다. 
Participants were able to shore up their own knowledge and experience during learning experiences that required reading or following checklists and put that knowledge and experience into action. Other participants received encouraging feedback from standardized patients, reaffirming their own personal knowledge about how to perform a patient interview, thereby supporting participants’ own way of eliciting chief concerns from patients. By speaking up and calling out, participants deployed strategic resistance to unacceptable curricular material, and also deliberated how they could make checklists and other curricular material more flexible towards their approach to patient care.

서로 격려하기
Uplifting one another

공동체의 고양감을 갖는 것은 참가자들이 인식의 불공정을 바로잡는 데 중요한 역할을 했습니다. 참가자들의 커뮤니티 형성은 주로 의과대학에서 여성이라는 공통된 경험을 중심으로 이루어졌습니다. 또한 특정 사건을 계기로 함께 모이게 되었습니다. 예를 들어, 한 백인 참가자는 짝을 지어 환자를 검사하는 실습에서 다른 참가자들이 옆으로 밀려난 경험이 있다는 사실을 알게 된 후, 그 경험에 대해 디브리핑하고 행동 계획을 수립했습니다.
Having a sense of communal uplift was an important part in how participants redressed epistemic injustices. Forming community for participants was primarily around their shared experience of being women in medical school. Their coming together was also ignited after specific incidences. For example, after learning that several others had experienced being pushed aside during a paired patient exam exercise, a White participant described how many of them debriefed about the experience and developed a plan of action.

어느 날 SIM에서 짝을 이루어 프리셉터 없이 환자 병력과 신체검사를 해야 하는 과제를 받은 적이 있었습니다. 그런데 제 친구로부터 파트너가 그 상황을 완전히 장악하고 자신이 어떤 작업도 할 수 없도록 했다는 이야기를 들었습니다. 그때 저는 우리 모두가 남성과 여성으로 나뉘어 있다는 사실을 깨달았습니다. 그 후 다른 친구로부터 같은 이야기를 들었는데, 그 친구 역시 남자 파트너가 전체 만남을 장악하고 있었습니다. 그리고 또 들었어요! 그리고 또 들었습니다! 너무 많은 사람들이 이런 일을 겪었기 때문에 저희는 말 그대로 "SIM의 위대한 스팀롤링"이라는 이름을 붙였을 정도로 심각한 문제였습니다. 언젠가 적어도 8명의 다른 여성들과 함께 테이블에 둘러앉아 우리의 경험에 대해 이야기하던 때가 기억납니다. 그들 중 다수는 언젠가 남성 동료와 비슷한 상황을 겪은 적이 있었습니다. 우리는 이것이 학습 경험에 방해가 된다는 데 동의했습니다. 저는 그 테이블에 앉아 똑똑하고 강인하며 동정심이 많은 여성들을 둘러보았습니다. 저는 물었습니다... 이렇게 해도 괜찮을까요? 그냥 이런 일이 일어나게 놔둘까요? 저는 이 문제를 어떻게 해결할 수 있을지 생각했습니다. 이런 일이 일어났을 때 여성으로서 나서서 무언가를 말해야 한다는 부담감을 갖거나. 아니면 우리 코호트의 남성들에게 그들이 하는 행동이 해롭다는 것을 가르치고 성별과 특권이 그들의 행동에 어떤 영향을 미치는지 인식하도록 돕습니다. 그래서 저는 두 가지를 모두 하면 어떨까 생각했습니다. 
There was this one day in SIM where we were paired up and tasked to do a patient history and physical without a preceptor. And I heard from my friend that her partner had totally commandeered the encounter and didn’t allow her to do any of the tasks. It was then that I realized we were all broken into male-female pairs. I then heard this SAME story from another friend, whose male partner took over the entire encounter as well. And then I heard it again! And again! It was such a problem that we literally gave it a name, “The Great Steamrolling of SIM” because it had happened to so many of us. I remember one day, sitting around a table with at least 8 other women talking about our experiences. Many of them had a similar situation occur with a male colleague at some point or another. We agreed that this detracted from the learning experience. Sitting at that table, I looked around at this group of smart, strong, compassionate women. I asked… so are we okay with this? Do we just let this happen? I thought about how we could fix it. Either we put the burden on us as women to step up and say something when this is happening. OR we teach the males in our cohort that what they are doing is harmful and help them become aware of how their gender and privilege influence their behaviors. So I thought, what if we did both?

이 참가자는 많은 반 친구들이 감정적으로 힘들고 괴로운 경험을 겪은 후, 함께 모여 사건에 대해 공유했을 뿐만 아니라 이 사건을 해결하기 위한 계획을 세운 과정을 설명했습니다. 서로의 경험을 공유할 수 있는 커뮤니티를 형성함으로써 참가자들은 자신이 겪은 피해를 인식하는 동시에 자신의 지식과 정보를 검증할 수 있었습니다. 이 참가자는 같은 반 친구들을 똑똑하고 강인하며 자비로운 여성으로 묘사하면서 그들의 임계치와 공유된 경험이 남성 동료들에게 중요한 변화를 촉발할 수 있다는 것을 알았습니다. 또한 이 참가자는 이러한 성찰을 통해 유해한 상호 작용에 대한 자신의 지식이 어떻게 이용되어서는 안 되는지를 확인했습니다. 따라서 SIM의 위대한 스팀롤링을 경험한 참가자들은 존중하는 학습이 무엇인지에 대한 지식을 바탕으로 동료들을 교육함으로써 지속적인 문제를 해결할 방법을 함께 결정했습니다. 간단히 말해, 그들은 자신이 경험한 불공정을 바로잡기 위한 전략을 함께 세웠습니다. 
This participant described how after an emotionally charged and distressing experience for many of her classmates, they came together to not only share what had happened but also make a plan to address this incident. By forming a community together where shared experiences could be heard, the participants were able to recognize the harm they had experienced while also validating their own knowledge and intelligence. As this participant described her classmates as smart, strong, compassionate women she knew their critical mass and shared experience could catalyze important change with their men peers. Furthermore, in this reflection, this participant also identifies how her knowledge about the harmful interaction should not be taken advantage of; thus, the participants who experienced The Great Steamrolling of SIM drew from their knowledge about what respectful learning is, and together decided how to address an ongoing problem by educating their peers. Simply, they came together with a strategy to redress the injustice they had experienced.

서로를 고양하는 것은 대인관계와 관찰을 통한 상호작용에서도 나타났습니다. 한 백인 참가자는 자신이 수업 시간에 대답할 때 "이건 틀린 것 같지만..."이라는 말을 계속 사용하는 것을 알아차린 다른 학생으로부터 어떻게 지지를 받았는지 공유했습니다. 그녀는 이렇게 설명했습니다, 
Uplifting one another also came in more interpersonal and observational interactions. One White participant shared how she felt supported by another student who noticed her continued use of prefacing her class-time answers with “this is probably wrong but…” She described,

저는 제 자신을 보호하기 위해 답변 앞에 '이것이 옳은지 잘 모르겠습니다'와 같은 문구를 넣었습니다. 하지만 같은 반 친구는 자신도 비슷한 감정을 경험했으며 미래의 여성 의사로서 자신을 과소평가하지 말고 우리 자신과 잠재력을 의심하지 말아야 한다고 말했습니다. 저는 그 친구의 말에 전적으로 동의하며, 제 답변이나 설명에 자기 의심을 앞세우지 않으려고 노력하고 있습니다. 여의대생들도 비슷한 감정을 경험하는 것은 매우 흔한 일이라고 생각하지만, 우리는 이런 이야기를 자주 하지 않습니다. 우리는 자신이 부족해 보일까 봐 약해 보이거나 연약해 보이고 싶지 않아요. 
I preceded my answers with statements like ‘I’m not sure if this is right’ to shield myself. But my classmate shared that she had also experienced similar feelings, and that as future female physicians we need to stop selling ourselves short and stop doubting ourselves and our potential. I completely agree with her and I’ve been making an effort to stop prefacing my answers or explanations with self-doubt. I think it's very common for female medical school students to experience similar feelings, however we don't often talk about these things. We don't want to seem weak or vulnerable in fear of being seen as less than.

이 고양의 순간은 나약하고 연약하다는 느낌을 공유한 두 참가자 간의 간단한 대화에서 비롯되었으며, 한 참가자는 다른 참가자에게서 이를 발견했습니다. 두 사람은 함께 이러한 어려움을 극복하고 보다 적극적인 태도를 통해 변화를 일으키거나 보다 명확한 전략적 주체성과 저항을 구현하기 위해 노력했습니다. 
This moment of uplift came from a simple conversation between two participants, one who shared the same challenges of feeling weak and vulnerable, and noticing this in another. Together, they worked through these challenges and worked to make changes or enact clearer strategic agency and resistance by being more assertive.

이 연구는 여의대생들의 경험에서 인식론적 불공정에 대한 설명을 제시하고 이러한 불공정을 시정하기 위해 학생들이 어떻게 노력했는지에 대한 설명을 제공하는 것을 목표로 했습니다. 인식론적 불공정의 틀을 통해 참가자들이 배웠던 교육 공간과 상호 작용에 대한 배경을 제시하고, 참가자들이 종종 유효한 지식인valid knowers으로서 불신을 받는 과정을 설명했습니다. 참가자들이 이러한 불의에 대응하는 방식은 스스로의 관점을 취하거나 자기 대화를 통해, 그리고 보다 중요한 전략적 저항 행위를 통해 이루어졌습니다. 관점 취하기와 전략적 저항을 통해 학생들의 주체성이 확립되었지만, 이러한 인식론적 부당함과 학생들의 반응은 다층적입니다. 학생들의 주체적 행동은 의료계의 더 큰 거시적 부조리를 조명합니다. 예를 들어, 자신이 왜 의과대학에 속해 있는지 스스로에게 상기시키는 것은 참가자들이 자신의 영향력 영역에 대한 인식과 의과대학에서 경험하는 많은 어려움이 체계적이라는 것을 이해하는 것을 정확히 보여줍니다. 
This study aimed to present descriptions of epistemic injustice in the experiences of women medical students and provide accounts about how these students worked to redress these injustices. Through the framework of epistemic injustice, we offered a backdrop for the educative spaces and interactions the participants learned in, describing how participants were often discredited as valid knowers. The ways participants countered these injustices were through both their own perspective taking or self-talk, and more critical acts of strategic resistance. While their agency was enacted through perspective-taking as well as strategic resistance, these epistemic injustices and the students’ reactions are multi-layered. The agentic behavior of the students illuminates the larger macro-injustices of the medical profession. For example, reminding themselves why they belong in medical school pinpoints participants’ awareness of their sphere of influence and their understanding that many of the challenges they experience in medical school are systemic.

참가자들은 의대를 선택한 이유에 대한 자신의 신념을 되새기며 어떤 의사가 될 것인지, 누구를 위해 봉사할 것인지, 왜 의대에 왔는지에 대한 중요한 지식을 가지고 있음을 스스로에게 상기시켰습니다. 이러한 성찰은 의과대학의 지배적이고 남성 중심적인 문화에도 불구하고(또는 때로는 그럼에도 불구하고) 학생들이 자신의 목표를 향해 나아가는 데 도움이 되었습니다. 또한 참가자들은 자신이 의학에 속해 있다는 것을 어떻게 알았는지에 대해 열정적으로 이야기했지만, 미래의 의사로서 자신의 특별한 위치에 대해 순진하지 않았습니다. 참가자들은 또한 자신만의 노하우를 활용하여 처음에는 처방에 의존하던 환자 진료 방식을 조정하고 특정 상황에서는 개선하기도 했습니다. 참가자들은 환자 면담 체크리스트와 같은 암기식 학습 경험을 통해 자신과 환자 간의 관계를 형성하고 공감하며 궁극적으로 배려하는 의사소통을 이끌어내는 방법에 대한 직관에 귀를 기울였습니다. 다시 말하지만, 이러한 일상적인 학습 경험을 통해 참가자들이 나눈 내면의 대화는 그들의 인식론적 지식과 수완을 반영하는 것이었습니다. 그들은 스스로를 신뢰하며 일부 학습 상황에서 자신의 접근 방식이 유효하다는 점을 강조했습니다. 
Participants pulled on their own beliefs about why they pursued medicine, reminding themselves that they held important knowledge about what kind of doctor they would become, who they would serve, and why they came to medical school. These were reflexive deliberations and helped them advance in their goals, despite (or at times in spite of) the dominating androcentric culture of medical school. Moreover, while participants spoke passionately about how they knew they belonged in medicine, they were not naïve about their singular position as future physicians. Participants also used their own ways of knowing to tweak and in certain situations, improve a patient encounter that had initially been prescriptive. They used rote learning experiences such as checklists for patient interviews as opportunities to listen to their intuitions about how to relate, empathize, and eventually elicit caring communication between themselves and patients. Again, the inner conversations participants had during these more routine learning experiences were a reflection of their epistemic knowledge and their resourcefulness. They trusted themselves, reinforcing that their approaches in some learning situations were valid.

참가자들은 관점을 취하는 것 외에도 보다 전략적인 이니셔티브를 통해 인식의 불공정을 바로잡았습니다. 참가자들은 서로를 의지하여 공동의 소외를 인식하고 이러한 공동의 소외를 변화시키기 위해 집단적으로 행동할 수 있는 커뮤니티를 구축했습니다. '위대한 심 스팀롤링' 기간 동안 참가자들은 서로 협력하여 자신의 지성을 고양하고 이러한 사례가 종식될 수 있도록 행동했습니다. 마찬가지로, 몇몇 참가자는 부적절한 학문적 독서에 대해 의견을 제시하고 결국 교수진에게 접근하여 이 독서에 대해 논의했습니다. 이러한 행동은 참가자들이 자신을 불법적인 지식인으로 만드는 더 큰 구조에 저항하는 동시에, 특히 교수진이 경청할 뿐만 아니라 동일한 행동action in-kind으로 응답했을 때 합법적인 지식인이 될 수 있도록 하기 위해 사용한 구체적인 전술이었습니다. 인식론적 불공정의 영역에 놓일 때, 이러한 주체적 행동은 더 큰 시스템적 변화가 일어나야만 인식될 수 있습니다. Dotson(2012)은 인식론적 불공정을 해결하기 위해서는 "진정한 차이를 인식하기 위해 일종의 '세계 여행'이 필요하다"고 주장합니다(Dotson, 2012, 34-35쪽). 이러한 종류의 세계 여행은 "대화와 대화를 넘어서는 것"으로, 다른 앎의 방식을 소중히 여길 뿐만 아니라 상황에 따라 다른 앎의 방식이 더 적합할 때를 이해하고 인식하는 데 헌신해야 합니다. 
In addition to perspective taking, participants redressed epistemic injustices through more strategic initiatives. They drew on one another to build a community that could both recognize shared marginalization and collectively act to change this shared marginalization. During “The Great SIM Steamrolling” participants worked with one another, both uplifting their own intelligence and then acting to ensure instances such as this would end. Likewise, several participants commented on an inappropriate academic reading, and eventually approached the faculty member to discuss this reading. These actions were concrete tactics participants used to both resist the larger structure that rendered them as illegitimate knowers, while also enabling them as legitimate knowers, particularly when faculty not only listened but responded with action in-kind. When placed within the realm of epistemic injustice, these agentic behaviors may only be recognized once larger systemic change takes place. Dotson (2012) argues that addressing epistemic injustice “demands a kind of ‘world’-traveling…[where] we come to appreciate genuine differences” (Dotson, 2012, pp. 34–35). This kind of world-traveling “extends beyond conversation and dialogue;” it requires commitment to not only valuing other ways of knowing but also to understanding and recognizing when other ways of knowing (and coming to know) are a better fit given the context.

의학교육의 맥락에서 세계 여행은 의학계에서 여성이 다수를 차지한다고 해서 성 고정관념이 뿌리 깊게 박힌 문화가 바뀌지 않는다는 것을 이해하는 것을 의미할 수 있습니다.

• 더 넓은 관점에서 세계 여행은 의과대학의 리더십 역할에서 성별 및 인종적 다양성을 추구하거나 캠퍼스 전체 행사에 더 다양한 초청 연사를 초청하기 위해 의도적으로 노력하는 것을 의미할 수 있습니다.
• 보다 미시적인 관점에서 세계 여행은 학생들과 그들의 배경과 문화에 대해 배우는 시간을 갖거나 학생들이 소외되거나 차별받았던 경험을 이야기할 때 경청하는 것을 의미할 수 있습니다.

세계 여행은 학생들의 지식 구현을 지원하는 학습 환경을 구축하고 학생들이 중요한 지식의 형태를 활용하도록 장려하는 것을 의미할 수 있습니다(Rocha 외., 2022; Wyatt 외., 2018). 이러한 격려란 학생들에게 자신의 경험이 의과대학에서 학습하는 방식을 어떻게 형성하는지 묻거나, 의학에 대한 자신의 역사가 커리큘럼과 상호작용하는 방식에 어떤 영향을 미칠 수 있는지에 대해 생각해 보도록 유도하는 것을 의미합니다. 학생들의 이러한 중요한 지식을 인정하고 육성하는 것은 학생들 자신의 직업적 정체성 개발에 도움이 될 수 있으며, 의사가 되는 개인적, 공동체적 이유를 강화할 수 있습니다. 세계 여행은 의대생이 '백지 상태'가 아니라는 마음가짐으로 교육과 학습에 접근하는 것을 의미하며(퍼거스 외, 2018), 의사로서 자신의 정체성을 배우고 개발하는 방법을 알려주는 풍부한 경험을 가져올 수 있습니다. 교수법을 개선하고자 학생들과 상호작용하고 가르치는 사람들은 인식론적 불공정의 렌즈를 사용하여 의과대학의 보다 공식적인 교육 및 학습에 잠재되어 있거나 무언의 또는 숨겨진 형태의 커리큘럼이 어떻게 내재되어 있는지 조사하는 것을 고려할 수 있습니다(Milem 외., 2012; Nazar 외., 2015).  

In the context of medical education, world-traveling can mean understanding that a majority representation of women in medicine will not change a culture deeply embedded with gender stereotypes.

• From a broader standpoint, world-traveling can mean pursuing more gender and racial diversity in leadership roles in medical colleges or making intentional efforts to invite more diverse guest speakers to all-campus events.
• From a more micro-standpoint, world-traveling can mean taking time to learn about students and their backgrounds and cultures or listening when students bring up experiences of being marginalized or discriminated against.

World-traveling can mean establishing learning environments that support students’ embodiment of their knowledge and further encouraging students to draw on their important forms of knowledge (Rocha et al., 2022; Wyatt et al., 2018). This encouragement means asking students how their own experiences may be shaping how they learn material in medical school or inviting students to reflect on ways their history with medicine may be informing how they interact with curriculum. Acknowledging and fostering these important knowledges in students may aid in their own professional identity development and strengthen their personal and communal reasons for becoming doctors. World-traveling can mean approaching teaching and learning with the mindset that medical students are not “blank slates” (Fergus et al., 2018) and bring with them a wealth of experience that inform how they learn and develop their own identities as physicians. Those who interact and teach students seeking to improve their teaching practice might consider engaging the lens of epistemic injustice to examine ways latent and unspoken or hidden forms of curricula are embedded in more formal teaching and learning in medical school (Milem et al., 2012; Nazar et al., 2015).

이 연구에 참여한 여학생들이 보여준 에이전시는 공유된 경험을 해결하거나 개선하기 위해 함께 노력하는 지식인 커뮤니티를 반영합니다. 또한, 이들의 에이전시는 보다 긴밀한 소규모 그룹에 속해 학습 경험을 공유하던 첫 해에 공유되었습니다. 이와 같은 공동 대리인 관행은 수습 기간에는 불가능할 수도 있지만, 이 연구 참여자들의 집단적 대리인(Beier et al., 2016; Lockie, 2004)을 인식하면 커리큘럼의 내용과 설계뿐만 아니라 첫해와 향후 몇 년 동안 동시에 많은 학습자에게 영향을 미칠 수 있는 능력에 대한 관점을 전환하는 데 도움이 됩니다. 이러한 접근 방식은 인식론적 변화를 달성하기 위해서는 관련된 모든 사람의 의도적이고 공동의 노력과 다양한 형태의 인식론적 불공정을 가려낼 수 있는 능력이 필요하다는 Dotson(2012)의 주장에 귀를 기울이는 데 도움이 됩니다. 'the 올바른' 앎의 방식에서 'a 올바른' 앎의 방식으로 사고방식을 전환하는 것은 학생들의 개인적, 직업적 발전에 중요한 이점을 가져올 수 있습니다. 의대생들의 집단적 주체성은 향후 의과대학에서 교육과 학습을 위한 중요한 수단이 될 수 있을 뿐만 아니라, 공유된 공동의 경험 안에서 개인의 경험의 균형을 맞추는 데에도 도움이 될 수 있습니다. 또한, 권력을 가진 사람들이 인식적 불공정의 만연을 제한하기 위해 어떻게 더 큰 구조적 변화와 공동의 대리성을 지원할 수 있는지에 대한 추가적인 연구도 필요합니다. 이 연구에서 살펴본 참여자들의 주체성 사례와 그들의 주체성을 엿보는 것이 제도화될 가능성이 있는 더 큰 공평한 변화를 촉진하는 촉매제가 되기를 바랍니다(Carr et al., 2017; Sugarman & Martin, 2011). 

The agency the women students in this study demonstrated reflects a community of knowers working together to address/redress a shared experience. Furthermore, their agency was shared during their first year, a time when they were in more close-knit small groups and shared learning experiences. These same practices of communal agency may not be possible in clerkship years, but recognizing the collective agency (Beier et al., 2016; Lockie, 2004) of the participants in this study helps shift perspectives on ways curriculum is networked not just in its content and design, but also in its ability to impact a large group of learners simultaneously in their first-year and potentially in future years. This approach helps heed Dotson’s (2012) call that achieving epistemic change requires intentional and concerted efforts among all involved, and an ability to sift through multiple forms of epistemic injustice. Shifting mindsets from “the” correct way of knowing to “a” correct way of knowing can have important benefits for students in their own personal and professional development. Collective agency on the part of medical students may be an important avenue for future work on teaching and learning in medical school, as well as balancing individual experiences within a shared communal experience. Additionally further work on understanding how those in power may support larger structural changes and communal agency to limit the pervasiveness of epistemic injustice is also needed. We hope the examples of agency on the part of our participants, and the glimpses of their agency in this study may also catalyze larger equitable change that has the possibility to become institutionalized (Carr et al., 2017; Sugarman & Martin, 2011).

1Office of Medical Education Research and Development, Michigan State University College of Human Medicine, 964 Wilson Road, Fee Hall A214, East Lansing, MI, 48824, USA. blalocka@msu.edu.

2Michigan State University College of Education, East Lansing, USA.

This study presents descriptions of epistemic injustice in the experiences of women medical students and provides accounts about how these students worked to redress these injustices. Epistemic injustice is both the immediate discrediting of an individual's knowledge based on their social identity and the act of persistently ignoring possibilities for other ways of knowing. Using critical narrative interviews and personal reflections over an eight-month period, 22 women students during their first year of medical school described instances when their knowledge and experience was discredited and ignored, then the ways they enacted agency to redress these injustices. Participants described three distinct ways they worked to redress injustices: reclaiming why they belong in medicine, speaking up and calling out the curriculum, and uplifting one another. This study has implications for recognizing medical students as whole individuals with lived histories and experiences and advocates for recognizing medical students' perspectives as valuable sources of knowledge.

전문직업성은 시대와 문화에 따라 달라지는 복잡하고 다차원적이며 통합적인 구성 요소이며(Hodges et al., 2011), 사회에서 의사에게 기대하는 행동과 속성으로 볼 수 있습니다(Cruess et al., 2009). 전문직업성 연구 분야에서는 덕목 기반, 행동 기반, 정체성 형성 등 세 가지 주요 유형의 프레임워크가 발전해 왔습니다(Irby & Hamstra, 2016). 각 프레임워크는 서로를 보완하고 더 큰 전체에 기여하는 강점과 한계를 가지고 있습니다.

• 미덕 기반 프레임워크는 인성을 강조하고 의사의 내적 습관, 도덕적 추론, 인문학적 자질에 중점을 둡니다.
• 전문직 정체성 형성은 개인과 집단 모두를 포함하며, 정체성 개발과 실무 커뮤니티로의 사회화에 중점을 둡니다.
  • 이 두 가지 유형의 프레임워크 모두 학습자에게 동기를 부여하는 데 도움이 되지만, 덕성 기반 프레임워크의 경우 인성 및 도덕적 추론을 평가하기 어렵고, 전문직 정체성 형성을 설명, 해석 및 평가하기는 더욱 어렵습니다(Barnhoorn et al., 2019; Irby & Hamstra, 2016).
• 위의 두 가지 프레임워크의 문제점에 비해 행동 기반 프레임워크는 행동이 내면의 정신 모델을 반영할 수 있다는 전제하에 관찰 가능한 행동의 측정을 강조합니다. 통합된 작업이나 활동의 여러 구성 요소를 개별 행동으로 분리할 수 있지만, 관찰 가능한 행동을 평가하는 것이 통일성과 객관성을 확보하는 데 가장 용이할 수 있습니다(Barnhoorn & van Mook, 2015). 실제로 이러한 행동은 종종 개별 전문가와 환자의 수준을 넘어 동료 및 의료 시스템과의 상호 작용을 포함합니다(Irby & Hamstra, 2016; Lesser et al., 2010). Lesser 등이 제안한 바와 같이 관찰 가능한 행동의 렌즈를 통해 전문직업성을 바라보는 것은 전문직업성이 다차원적이라는 개념을 강화하고 의사가 실제로 발휘해야 하는 판단과 기술의 범위를 지적합니다(Lesser 등, 2010).

Professionalism is a complex, multidimensional, and integrated construct that varies across time and culture (Hodges et al., 2011) and can be viewed as the behaviors and attributes expected of a doctor by society (Cruess et al., 2009). In the field of professionalism research, three dominant types of frameworks have evolved, namely virtue-based, behavior-based, and identity formation (Irby & Hamstra, 2016). Each framework has strengths and limitations that complement each other and contribute to the larger whole.

• The virtue-based framework emphasizes character and focuses on the inner habits of the heart, moral reasoning, and humanistic qualities of the physician.
• Professional identity formation involves both the person and the group, focusing on identity development and socialization into a community of practice.
  • While both these types of frameworks help to motivate learners, it is difficult to assess character and moral reasoning for the virtue-based framework, and it is even more difficult to describe, interpret, and assess professional identity formation (Barnhoorn et al., 2019; Irby & Hamstra, 2016).
• Against the challenges of the above two frameworks, the behavior-based framework emphasizes measurement of observable behaviors, with the premise that behaviors may reflect inner mental models. Though it may separate different components of integrated tasks or activities into discrete behaviors, assessment of observable behaviors may be easiest to achieve uniformity and objectivity (Barnhoorn & van Mook, 2015). In fact, these behaviors often go beyond levels of the individual professional and the patient to include interactions with colleagues and with the health care system (Irby & Hamstra, 2016; Lesser et al., 2010). As proposed by Lesser et al., viewing professionalism through the lens of observable behaviors reinforces the notion that professionalism is multidimensional and points to the range of judgment and skills physicians need to exhibit in practice (Lesser et al., 2010).

전문직업성은 의사의 경력 전반에 걸쳐 배양되고 평가되어야 하며, 학부 및 대학원 환경에서 전문직업성 원칙을 확립하기 위해서는 조기 교육이 매우 중요합니다(O'Sullivan 외., 2012). 레지던트 기간은 의사가 수련과 경험을 통해 전문직업성 행동을 개발하는 중추적인 시기입니다. 이를 인식한 미국의학전문대학원교육인증위원회(ACGME)는 레지던트가 레지던트를 졸업하기 전에 갖춰야 할 6가지 일반 역량 중 하나로 '전문직업성'을 우선적으로 꼽았습니다(미국의학전문대학원교육인증위원회, 2021). 수련 중인 레지던트는 의대생과 달리 훨씬 더 많은 수의 환자에 노출되고 업무의 복잡성이 높으며 단순한 관찰이 아닌 환자 진료에 대한 감독 책임을 져야 합니다(Levinson et al., 2014). 그 결과, 전공의들은 임상 수련 과정에서 전문직업성과 관련하여 많은 어려움에 직면하게 됩니다(Kinoshita et al., 2015; McArthur & Moore, 1997). 예를 들어, 전공의는 제한된 시간 내에 임상 지식과 기술을 향상시켜야 한다는 압박감을 느낄 수 있으며, 이로 인해 전문직업성 문제보다는 생산성과 효율성에 더 많은 관심을 갖게 됩니다(Brainard & Brislen, 2007; Chang et al., 2017). 또한 비윤리적이거나 비전문직업적이라고 생각되는 임상 활동을 목격하거나 참여할 수도 있습니다(Christakis & Feudtner, 1993; Kinoshita et al., 2015). 그러나 병원 위계질서의 숨겨진 커리큘럼 하에서는 전공의가 선배 의사의 결정이나 명령에 반대하기 어렵기 때문에 침묵해야 할 의무를 느낄 수 있으며(Martinez et al., 2015), 이로 인해 전공의는 전문직업성 딜레마에 빠지게 됩니다(Monrouxe & Rees, 2012). 

Professionalism should be cultivated and assessed throughout the physician’s career, and early education is critical for establishing professionalism principles in both undergraduate and postgraduate settings (O’Sullivan et al., 2012). Residency is a pivotal period for physicians to develop their professionalism behaviors with training and experience. Recognizing this, the Accreditation Council for Graduate Medical Education (ACGME) has preferentially listed “professionalism” as one of the six general competencies that residents must possess before graduating from residency (Accreditation Council for Graduate Medical Education, 2021). Different from medical students, residents-in-training are exposed to a significantly increased number of patients, have higher work complexity, and need to take supervised responsibility for patient care instead of mere observation (Levinson et al., 2014). As a result, residents encounter many challenges with regard to professionalism in their clinical training (Kinoshita et al., 2015; McArthur & Moore, 1997). For example, they may feel pressured to improve clinical knowledge and skills within a limited time, which makes them more concerned about productivity and efficiency than about professionalism issues (Brainard & Brislen, 2007; Chang et al., 2017). They may also witness or participate in clinical activities which they believe to be unethical or unprofessional (Christakis & Feudtner, 1993; Kinoshita et al., 2015). However, under the hidden curriculum of hospital hierarchy, it is difficult for residents to stand against senior physicians’ decisions or orders, and so they might feel obligated to keep silent (Martinez et al., 2015), thus causing residents to fall into professionalism dilemmas (Monrouxe & Rees, 2012).

실제로 레지던트들은 종종 전문직업성 딜레마를 경험하는데, 이는 전문직업적으로 또는 전문직업성 기준에 따라 행동하는 방법을 알고 있지만 제도적, 위계적 또는 사회문화적 제약으로 인해 행동할 수 없거나 어렵다고 느끼는 갈등 상황을 말합니다(Cuban, 2001; Wiggleton 외., 2010). 윤리적 또는 전문직업적 행동을 반복적으로 수행하지 못할 때, 

• 일부 레지던트는 시간이 지남에 따라 이러한 부정적인 사건을 경험하면서 괴로워하는 반면, 
• 일부 레지던트는 임상 역할 모델의 규범적 행동과 태도를 집단적이고 수동적으로 흡수하고 채택하여 특정 비전문직업적 행동이 용인되고 "바뀌지 않음" 문화가 강화됩니다 

또한 전문직업성 딜레마는 전문직업적 태도, 행동 및 전문직업적 정체성 형성에 부정적인 영향을 미친다는 증거도 있습니다(Kushner & Thomasma, 2001). 오늘날의 레지던트들은 미래의 레지던트를 교육하는 사람들이 될 것입니다. 전문직업성 딜레마가 적시에 적절하게 해결되지 않으면 의사(예: 연민 피로 및 소진)와 의료 서비스 전체(예: 환자 치료의 질 저하, 심지어 환자 안전 위협)에 여러 가지 심각한 결과가 나타날 수 있습니다(Monrouxe et al., 2015).
Indeed, residents often experience professionalism dilemmas, which refer to conflictual situations when one knows how to behave professionally or in accordance with the standards of professionalism but instead feels unable or difficult to act due to institutional, hierarchical, or sociocultural constraints (Cuban, 2001; Wiggleton et al., 2010). When repeatedly failing to perform ethical or professional behaviors,

• some residents become distressed when experiencing these negative events over time, while
• others collectively and passively absorb and adopt normative behaviors and attitudes from their clinical role models, resulting in certain unprofessional behaviors becoming acceptable and reinforcing a “no change” culture (Caldicott & Faber-Langendoen, 2005; Kelly & Nisker, 2009).

Evidence also showed that professionalism dilemmas negatively impact the development of professional attitudes, behaviors, and professional identity formation (Kushner & Thomasma, 2001). Today’s residents will be the ones who train residents in the future. If professionalism dilemmas are not appropriately addressed in a timely manner, a number of serious consequences may emerge for both physicians (e.g., compassion fatigue and burnout) and the whole of healthcare (e.g., decreasing the quality of patient care, even threatening patient safety) (Monrouxe et al., 2015).

중국의 의료 및 의학 교육
Health care and medical education in China

중국은 전 세계 인구의 약 5분의 1(14억 명 이상)이 의료비를 부담하고 있으며, 복잡한 의료 및 건강보험 시스템을 갖추고 있습니다. 중국의 병원은 기능과 업무에 따라 1차, 2차, 3차 병원의 세 가지 계층으로 분류됩니다. 이 분류에 따라 각 계층에 속하는 병원은 다시 A, B, C 등급으로 세분화되며, 가장 전문화된 병원을 위한 특별 등급인 3AAA 병원이 추가로 지정됩니다. 따라서 중국 병원 분류 시스템을 3단계 10등급 시스템이라고 합니다(중화인민공화국 보건부, 1989).

• 이 시스템 내에서 일차 병원은 서구의 진료소, 지역 병원 및 1차 진료 기관과 유사합니다. 일반적으로 병상 수가 100개 미만이며 예방 치료, 재활 치료 및 기타 기본적인 의료 서비스를 제공합니다.
• 2차 병원은 서양의 지역 병원 또는 지방 병원과 유사하며 일반적으로 100~500개의 병상을 보유하고 종합적인 의료 서비스를 제공하며 지역 의료 연구 및 교육을 수행합니다.
• 3차 병원은 서양의 진료 의뢰 병원과 동등한 수준으로 간주되며 시, 도 또는 국가 차원의 종합적인 대형 병원입니다. 3차 병원은 주변 지역의 의료 허브 역할을 하며 1, 2차 병원의 진료뿐만 아니라 전문 의료 서비스도 제공합니다. 따라서 3차 병원은 가장 많은 병상(500개 이상)을 보유하고 있으며 의학 교육과 과학 연구 분야에서 훨씬 더 큰 역할을 담당합니다. 

China bears the health burden of nearly one-fifth of the world’s population (more than 1.4 billion) and is home to a complex health care and health insurance system. Hospitals in China are classified by function and tasks into three tiers, namely primary, secondary, and tertiary hospitals. On top of this classification, hospitals within each tier are then sub-graded into A, B, and C levels, with an additional special level—the 3AAA hospital—reserved for the most specialized hospitals. Therefore, the Chinese hospital classification system is referred to as the 3-tier 10-level system (Ministry of Health of the People’s Republic of China, 1989).

• Within this system, primary hospitals are similar to medical clinics, community hospitals, and primary care institutions in the West. They usually contain less than one hundred beds and fulfill preventive care, rehabilitative care, and other basic medical care needs.
• Secondary hospitals, similar to Western regional or district hospitals, usually have between one hundred and five hundred beds, provide comprehensive health services, and conduct regional medical research and education.
• Tertiary hospitals are regarded as equivalents to referral hospitals in the West and are comprehensive large-scale hospitals at the municipal, provincial, or national level. Tertiary hospitals act as medical hubs for their surrounding areas and provide both specialist health services as well as consultations for primary and secondary hospitals. As such, tertiary hospitals have the highest bed capacities (over five hundred) and play a much larger role in medical education and scientific research.

2020년 기준 중국 인구의 95% 이상이 최소 기본 의료 보험에 가입했습니다(중화인민공화국 국가의료보장국, 2021). 중국의 기본 의료 보험에는 도시 직장인 기본 의료 보험(UEBMI), 도시 전공의 기본 의료 보험(URBMI), 신농촌 협동 의료 제도(NRCMS) 등 세 가지 주요 유형이 있습니다. 대부분의 국가에서 기본 의료 보험이 제공되지만, 공공 의료 보험은 일반적으로 의료비의 절반 정도만 보장하며 만성 질환의 경우 보장 범위가 더 낮을 수 있습니다. 또한 보험 유형에 관계없이 병원 등급이 높아질수록 환급률이 감소한다는 사실도 있습니다(예: NRCMS의 환급률은 1차 병원에서 60%의 보장률을 유지하지만 3차 병원에서는 약 30%에 불과합니다). 환자들은 길고 지루한 진료 의뢰 절차를 거쳐 여러 기관을 거치는 것을 선택할 수도 있고, 환자가 하위 병원에 대한 신뢰가 부족한 경우처럼 직접 상위 병원으로 이동하는 것을 선택할 수도 있습니다(Wang, 2019). 2020 보건 통계 보고서에 따르면 병상 가동률은 1차 병원에서 54.7%, 2차 병원에서 81.6%인 반면 3차 병원에서는 97.5%였습니다(중화인민공화국 국가위생건강위원회, 2021a). 이처럼 3차 병원의 높은 점유율은 환자 대 의사 비율 증가, 의사-환자 관계의 긴장감 증가, 3차 병원의 의료 서비스 제공자 및 의료진의 과중한 업무 부담 등의 문제를 야기합니다(Wen et al., 2016). 
As of 2020, more than 95% of the Chinese population had at least basic health insurance coverage (National Healthcare Security Administration of the People’s Republic of China, 2021). China’s basic medical insurance scheme includes three main types: the Urban Employee Basic Medical Insurance (UEBMI), the Urban Residents Basic Medical Insurance (URBMI), and the New Rural Co-operative Medical Scheme (NRCMS). Despite most of the country having basic medical coverage, public health insurance usually only covers about half of medical expenses, and this coverage may be even lower for chronic illnesses. Additionally, regardless of the type of insurance, all come with the fact that reimbursement rates decrease as hospital ranking increases (e.g., the reimbursement rate of NRCMS maintains 60 percent coverage in primary hospitals but only about 30 percent in tertiary hospitals). Patients can choose to undergo the long and tedious referral process up the chain of institutions, or patients can choose to jump the line and personally go directly to higher-level hospitals, as is often the case when patients lack trust in lower-level hospitals (Wang, 2019). According to the 2020 Health Statistics Report, bed utilization rates were 54.7% in primary hospitals and 81.6% in secondary hospitals, while the rate was 97.5% in tertiary hospitals (National Health Commission of the People’s Republic of China 2021a). This marked higher occupancy in tertiary hospitals also brings about problems such as higher patient-physician ratios, increased tensions in physician–patient relationships, and overburdening of healthcare providers and medical staff at tertiary hospitals (Wen et al., 2016).

중국의 국가 표준 레지던트 교육 시스템은 2014년에 설립되었습니다(국가보건가족계획위원회, 2014). 레지던트 프로그램은 전공과목에 관계없이 3년으로 정해졌으며, 임상에서 일하고자 하는 모든 의대 졸업생은 먼저 표준화된 레지던트 교육을 이수해야 합니다. 다른 많은 국가(예: 일본, 브라질, 네덜란드, 영국)와 유사한 의료 수련 모델을 가지고 있음에도 불구하고(Wijnen-Meijer 외, 2013), 중국의 레지던트 수련 시스템은 모든 레지던트가 일반적으로 최고 수준의 병원 기관이자 가장 바쁜 3차 A급 병원에서 수련을 받도록 요구합니다(중화인민공화국 국가위생건강위원회 2021b). 이러한 수련 환경에서 중국인 전공의는 과도한 업무량, 긴 근무 시간, 수면 부족, 근무 시간 외의 지속적인 당직 등으로 고통받고 있습니다(Bai et al., 2021). 또한 중국 전공의들은 개인적인 이익보다 대인 관계와 사회적 조화를 중시하는 중국 집단주의 사회의 문화적 영향과 요구와 함께 숨겨진 커리큘럼의 어려움에도 직면합니다. 따라서 서구의 전형적인 일과 삶의 분리는 개인적 관계와 직업적 관계 사이에 명확한 이분법이 없는 중국 환경에서는 달성하기가 훨씬 더 어렵습니다(Bedford, 2022). 그러나 현재까지 중국 전공의가 직면할 수 있는 전문직업성 딜레마와 도전 과제에 대해 조명한 연구는 거의 없습니다.
A system for national standardized residency training in China was established in 2014 (National Health & Family Planning Commission, 2014). Residency programs were set at three years in duration regardless of specialty, and all medical graduates looking for work in a clinical capacity must first complete standardized residency training. Despite having similar models of medical training to many other countries (e.g., Japan, Brazil, Netherlands, UK) (Wijnen-Meijer et al., 2013), the resident training system in China requires all residents to be trained in tertiary A-grade hospitals, which are usually the highest-level hospital institution and also the busiest (National Health Commission of the People’s Republic of China 2021b). In this kind of training environment, Chinese residents suffer from an excessive workload, longer working hours, sleep deprivation, and consistently being on call outside of working hours (Bai et al., 2021). In addition, Chinese residents also face the challenges of the hidden curriculum, along with cultural influences and demands of China’s collectivist society, where interpersonal relationships and social harmony are valued above personal interests. As such, the typical work-life separation in the West is much harder to achieve in the Chinese setting, where there is not necessarily a clear dichotomy between personal and professional relations (Bedford, 2022). However, to date, few studies have shed light on some of the professionalism dilemmas and challenges that Chinese residents may face.

전문직업성 딜레마에 대한 포괄적인 목록은 병원 관리자와 의료 교육자 모두에게 많은 이점을 제공할 것입니다. 예를 들어, 병원은 이 목록을 체크리스트로 사용하여 기존의 전문직업성 문제를 평가하고 레지던트를 위한 목표 개선안을 마련할 수 있으며(Cullen et al., 2017), 병원 관리자는 이 종합 목록을 사용하여 제도적 변화를 구현할 수 있는지 평가할 수 있습니다. 임상 교수진과 레지던트 프로그램 디렉터는 이 체크리스트의 단일 또는 여러 딜레마를 기반으로 교육 사례를 설계할 수 있으며, 이 체크리스트를 사용하여 이러한 전문직업성 딜레마로 인해 심각한 문제를 겪고 있는 레지던트를 선별하고 체크리스트에 제시된 구체적이고 관찰 가능한 행동 관련 문제에 따라 교정을 시행할 수 있습니다(Cullen 등, 2017; Hawkins 등, 2009). 따라서 본 연구는 행동 기반 전문직업성 프레임워크에 기반한 전문직업성 딜레마 체크리스트를 개발하고, 중국 전공의가 듣거나 목격하거나 경험한 전문직업성 딜레마의 범위와 비율을 조사하고, 전문직업성 딜레마에 직면했을 때 전공의의 관점을 이해하는 것을 목표로 합니다. 
A comprehensive list of professionalism dilemmas would provide many benefits for both hospital administration as well as medical educators. For example, hospitals can use this as a checklist to assess existing professionalism challenges and to create targeted remediation for their residents (Cullen et al., 2017); on the institutional side, hospital administrators can also use this comprehensive list to assess whether institutional changes can be implemented. Clinical faculty and residency program directors can design teaching cases based on single or multiple dilemmas from this checklist and can also use this checklist to screen residents who may be deeply troubled by these professionalism dilemmas and implement remediation, guided by the specific, observable behavior-related challenges presented in the checklist (Cullen et al., 2017; Hawkins et al., 2009). Therefore, our research aims to develop a checklist of professionalism dilemmas based on a behavior-based professionalism framework, to examine the range and proportion of professionalism dilemmas heard of, witnessed, or experienced by Chinese residents, and to gain understanding of residents’ perspectives when faced with professionalism dilemmas.

연구 설계
Study design

본 연구는 정성적(문서 분석 및 포커스 그룹 인터뷰)과 정량적(소규모 설문조사) 데이터로 구성된 혼합 방법 연구였습니다. 문서 분석은 이전에 발표된 논문에서 전문직업성 딜레마 항목을 요약하여 후속 포커스 그룹 인터뷰를 위한 전체적인 개요와 가이드를 제공했습니다. 포커스 그룹 인터뷰에서는 전문직업성 딜레마 항목에 대한 참가자들의 경험과 인식을 탐색하고 이해하기 위해 내러티브 탐구(Monrouxe & Rees, 2012; Wang & Ho, 2020)를 사용했습니다. 질적 연구 결과를 보고할 때는 질적 연구 보고 기준(SQRQ)을 따랐습니다(O'Brien et al., 2014). 각 포커스 그룹에서 소규모 설문조사를 실시하여 참가자들이 들어본 적이 있거나 목격하거나 경험했다고 답한 전문직업성 딜레마 항목의 비율을 조사했습니다. 

Our study was a mixed methods study consisting of qualitative (document analysis and focus group interviews) and quantitative (a small-scale questionnaire survey) data. Document analysis summarized professionalism dilemma items from previously published papers, providing an overall outline and guide for subsequent focus group interviews. For focus group interviews, we used narrative inquiry (Monrouxe & Rees, 2012; Wang & Ho, 2020) to explore and make sense of participants’ experiences and perceptions of professionalism dilemma items. When reporting qualitative results, we followed the Standards for Reporting Qualitative Research (SQRQ) (O’Brien et al., 2014). A small-scale questionnaire survey was conducted during each focus group to investigate the proportion of professionalism dilemma items that participants reported to have heard of, witnessed, or experienced.

모집 및 샘플링
Recruitment and sampling

2021년 3월과 4월 사이에 랴오닝성 선양에 위치한 종합 3차 A급 병원의 대학원 수련부 공고를 통해 6개월 이상 수련을 받은 레지던트를 대상으로 의도적 표본 추출(Moser & Korstjens, 2018)을 실시했습니다. 이 레지던트들은 이미 임상 경험이 어느 정도 있고 연구에 충분하고 유용한 정보를 제공할 수 있기 때문에 선발되었습니다. 또한 성별, 수련 기간, 전공이 다른 레지던트들을 의도적 표본 추출에 포함시켜 참여자 특성의 다양성을 확대했습니다. 참가자들을 전문 분야에 따라 여러 포커스 그룹으로 분류했습니다. 그런 다음 각 포커스 그룹 인터뷰 라운드마다 각 전문화 그룹에 대한 인터뷰를 연속적으로 진행했으며 주제별 포화 상태에 도달하면 모집을 중단했습니다. 연구 참여는 자발적으로 이루어졌으며 모든 참가자는 서면 동의서에 서명했으며 어떠한 보상도 받지 않았습니다.  
Between March and April 2021, we conducted purposive sampling (Moser & Korstjens, 2018) of residents who have undergone at least 6 months of training through announcements made by the Postgraduate Training Department of a comprehensive tertiary A-grade hospital in Shenyang, Liaoning province. These residents were selected because they already have some clinical experience and can provide sufficient and useful information for our research. Also, residents of different sex, duration of training completed, and specialization were selected in the purposive sampling to expand the diversity of participant characteristics. We grouped the participants into different focus groups according to their specialization. Then, for each round of focus group interviews, we conducted interviews with each specialization group in consecutive order and stopped recruiting when we reached thematic saturation. Participation in the study was voluntary, and all participants signed written informed consent forms and did not receive any compensation.

데이터 수집
Data collection

먼저 검색 주제를 '전문직업성 딜레마', '전문직업성 도전', '전문직업성 과실'로 설정하고 검색 대상을 '의사', '레지던트', '의대생'으로 설정한 논문에 대해 Web of Science에서 문헌 검색을 실시했습니다. 논문은 특정 시나리오를 설명하거나 특정 행동을 나열한 경우 포함할 수 있었습니다. 자세한 검색 전략은 보충 정보 부록 A에서 확인할 수 있습니다. 등록된 모든 논문에 기술된 딜레마, 도전 과제 또는 비전문직업적 행동은 Monrouxe와 Rees(2012)가 구성한 전문직업성 딜레마 주제 목록을 참조하여 추출 및 요약하여 전문직업성 딜레마 항목 풀을 생성했습니다. 그런 다음 템플릿 분석(King, 1998)을 사용하여 모든 항목을 Li 등(Li, 2017)의 중국 의사를 위한 기존 행동 기반 전문직업성 프레임워크에 매핑하여 네 가지 영역으로 구성했습니다. 이 과정은 두 명의 연구자(XZS, NJ)가 개별적으로 수행했으며, 이견이 있는 문항은 다른 세 명의 저자(ND, HHL, RYQ)와 함께 그룹 토론을 통해 해결했습니다. 그 결과 체크리스트의 첫 번째 버전이 만들어졌고, 이 체크리스트는 포커스 그룹의 첫 번째 라운드에서 사용되었습니다. 
We first conducted a literature search on Web of Science for papers with retrieval themes focused on “professionalism dilemma”, “professionalism challenge”, and “professionalism lapse” and the retrieval population focused on “physician”, “resident”, and “medical student”. Papers were eligible for inclusion if they described specific scenarios or listed specific behaviors. The detailed search strategy can be found in Supplementary information Appendix A. We extracted and summarized the dilemmas, challenges, or unprofessional behaviors described in all the enrolled papers with reference to the list of professionalism dilemma themes constructed by Monrouxe and Rees (2012) and generated an item pool of professionalism dilemmas. Using template analysis (King, 1998), all items were then mapped to an existing behavior-based professionalism framework for Chinese physicians by Li et al., comprising four domains (Li, 2017). This process was performed individually by two researchers (XZS and NJ), and disputes were settled by group discussion with three other authors (ND, HHL, and RYQ). The result was the first version of the checklist, to be used in the initial round of focus groups.

그 후 포커스 그룹 인터뷰를 반복적으로 실시했습니다. 모든 인터뷰는 허가를 받아 오디오로 녹음하고 익명으로 처리했습니다.

• 각 인터뷰 세션이 시작될 때 그룹 진행자(XZS)는 참가자들에게 전문직업성의 개념을 소개했습니다.
  • 의사 헌장(ABIM 재단, 2002)의 기본 원칙,
  • ACGME(의학전문대학원 교육 인증위원회, 2021)에서 제안한 전문직업성의 속성,
  • Li 등의 전문직업성 프레임워크(Li, 2017)
• 그런 다음 참가자들에게 전문직업성 딜레마에 대한 첫 번째 버전 체크리스트를 가이드로 제공하고 첫 번째 하위 영역의 각 항목을 읽고 해당 항목에 대해 들어본 적이 있는지, 목격한 적이 있는지, 경험한 적이 있는지 선택하도록 요청했습니다(체크박스에 체크).
• 모든 참가자가 하위 영역을 완료한 후, 그룹 진행자는 참가자들에게 차례로 자신이 들었거나 목격했거나 경험한 구체적인 시나리오를 구두로 설명하고 개인적인 태도와 느낌을 공유하도록 요청했습니다.
• 첫 번째 하위 영역의 기존 항목에 대해 논의한 후, 그룹 진행자는 참가자들에게 하위 영역에 나열되지 않은 다른 시나리오를 경험한 적이 있는지 설명해 달라고 요청했습니다. 이후 각 하위 영역에서도 동일한 형식이 이어졌습니다.
• 연구원들은 각 포커스 그룹 인터뷰의 데이터를 분석하여 체크리스트의 업데이트 버전을 작성했으며, 이 체크리스트는 첫 번째 라운드와 동일한 형식의 후속 포커스 그룹에서 사용되었습니다.
• 새로운 항목이 보고되지 않으면 데이터 수집이 종료되었습니다. 

We then conducted iterative rounds of focus group interviews. All interviews were audio recorded with permission and anonymized.

• At the beginning of each interview session, the group facilitator (XZS) introduced participants to the concept of professionalism, including
  • fundamental principles from the Physician Charter (ABIM Foundation, 2002),
  • attributes of professionalism proposed by the ACGME (Accreditation Council for Graduate Medical Education, 2021), and
  • Li et al.’s professionalism framework (Li, 2017).
• Participants were then given the first version checklist on professionalism dilemmas as a guide and were asked to read each item in the first sub-domain and select (by checking the box) whether they had heard of, witnessed, or experienced the given item.
• After everyone had completed a sub-domain, the group facilitator invited participants to, in turn, verbally describe the specific scenarios they had heard of, witnessed, or experienced and share some of their personal attitudes and feelings.
• After discussing existing items in the first sub-domain, the group facilitator then asked participants to describe if they had experienced any other scenario not listed within the sub-domain. The same format continued for each subsequent sub-domain.
• Researchers analyzed data from each round of focus group interviews to compile an updated version of the checklist, which was then used in the subsequent round of focus groups that followed the same format as the first round.
• Data collection ended when no new items were reported.

데이터 분석
Data analysis

Li 등의 행동 기반 전문직업성 프레임워크는 연구자가 코드를 추가, 수정 또는 삭제하는 등 데이터를 해석하는 동안 조정할 수 있는 사전 정의된 템플릿을 제공했습니다(King, 2004). 강력하고 잘 정의된 선험적 템플릿을 사용하면 주제를 미리 설정할 수 있는 동시에 연구자에게 어느 정도 유연성을 제공할 수 있었습니다(Brooks et al., 2015). 포커스 그룹 인터뷰의 첫 번째 라운드가 끝난 후, 모든 인터뷰 오디오 파일을 전사하고 비식별화했습니다. 녹음된 인터뷰는 NVivo 12(QSR International Pty Ltd., Doncaster, VC, Australia)를 사용하여 코딩했습니다. 두 명의 연구자(XZS와 CYX)가 모든 참가자의 녹취록을 독립적으로 검토하여 각 항목과 관련된 인용문을 식별했습니다. 두 연구자가 이견이 있는 시나리오와 체크리스트의 각 하위 영역 끝에 새로 제안된 시나리오에 대해서는 5명의 연구자(XZS, NJ, HHL, ND, CYX)가 모여 전문직업성 딜레마로 분류할 수 있는지 논의하고, 분류할 수 있다면 체크리스트 하위 영역의 기존 항목에 속할지 아니면 새로운 항목으로 추가할지에 대해 협의했습니다. 참가자들의 이야기를 바탕으로 체크리스트 초판의 기존 항목의 문구를 수정하여 중국 전공의에게도 적용 가능하도록 수정했습니다. 
The behavior-based professionalism framework by Li et al. provided a predefined template from which researchers could make adjustments during interpretation of data, including adding, modifying, or deleting codes (King, 2004). Using a strong, well-defined a priori template allowed for themes to be established in advance while also providing some flexibility for researchers (Brooks et al., 2015). After the first round of focus group interviews, all interview audio files were transcribed and de-identified. We coded the recorded interviews using NVivo 12 (QSR International Pty Ltd., Doncaster, VC, Australia). Two researchers (XZS and CYX) independently reviewed all the participants’ transcripts to identify quotes related to each of the items. For any scenario where the two researchers had disputes on and for any newly proposed scenario at the end of each subdomain of the checklist, five researchers (XZS, NJ, HHL, ND, and CYX) met to discuss whether it can be classified as a professionalism dilemma and, if so, conferred on whether it belonged to an existing item in the checklist subdomain or to add this scenario as a new item. From participant narratives, we revised the wording of the original items in the first version of the checklist to make it applicable to Chinese residents.

각 포커스 그룹 인터뷰가 끝난 후 데이터 분석을 수행한 후 체크리스트의 업데이트 버전을 작성하여 다음 라운드에 사용했습니다. 연구자들은 새로운 코드가 나오지 않을 때 주제별 포화 상태가 충족되었다고 동의했고, 그 이후에는 새로운 포커스 그룹 인터뷰를 진행하지 않았습니다. 이 시점에서 모든 항목이 체크리스트의 최종 버전으로 확정되었고 각 항목과 관련된 모든 인용문이 확인되었습니다. 그런 다음 모든 연구원이 모여 질적 편집 분석 프로토콜(Miller & Crabtree, 1992)을 사용하여 각 항목을 가장 대표할 수 있는 인용문을 선정했습니다. 그런 다음 대표 인용문을 영어로 번역했습니다. 분석이 진행되는 동안 코딩이 진행됨에 따라 연구자의 성찰을 기록하기 위해 메모를 작성했습니다. 
Data analysis was performed after each round of focus group interviews, following which we compiled an updated version of the checklist and used it for the next round. Researchers agreed that thematic saturation had been met when no new codes emerged, following which no new rounds of focus group interviews were conducted. At this point, all the items were finalized into the final version of the checklist and all quotes related to each of the items were identified. Then, all researchers convened to select quotes that were most representative of each item using a qualitative editing analysis protocol (Miller & Crabtree, 1992). Representative quotes were then translated into English. Throughout the analysis, memos were created to serve as records of researchers’ reflections as the coding progressed.

두 차례의 포커스 그룹 인터뷰를 통해 50명의 참가자 전원이 작성한 체크리스트 설문지를 바탕으로 참가자들이 보고한 전문직업성 딜레마 항목의 비율을 해당 항목에 대해 들어본 적이 있는지, 목격한 적이 있는지, 경험한 적이 있는지에 따라 계층화하여 계산했습니다. 
Based on checklist questionnaires filled out by all 50 participants during two rounds of focus group interviews, we calculated the proportion of professionalism dilemma items as reported by participants, stratified by whether they had heard of, witnessed, or experienced the item.

반사성
Reflexivity

연구팀은 데이터 수집 및 분석 과정에서 각 구성원의 이전 경험, 역할, 동기가 데이터 해석에 영향을 미칠 수 있음을 이해했습니다. 따라서 정기적으로 회의를 통해 각자의 개인적인 관찰과 관점, 그리고 그것이 데이터 분석 및 결과 적용과 어느 정도 관련성이 있는지에 대해 논의함으로써 반성적 사고를 실천했습니다. 또한 데이터 분석 중에 메모를 작성하여 코딩하는 동안 연구자의 반성을 기록했습니다. 
Throughout the data collection and analysis, the research team understood that each member’s prior experiences, roles, and motivations may influence the interpretation of the data. Therefore, we practiced reflexivity by regularly meeting to discuss our personal observations and perspectives and the extent to which they may be relevant to the data analysis and to the application of our results. Memos were also created during data analysis to record researcher reflections during coding.

연구팀의 모든 구성원은 질적 연구 및 의료 전문직업성 연구에 대한 교육이나 배경 지식을 갖추고 있습니다. 또한 XZS와 HHL은 의료 정보학에 대한 배경 지식이 있습니다. NJ는 영어 원어민으로 MBBS 학위를 보유하고 있으며 중국에서 임상 교육 경험이 있습니다. XZS와 CYX는 데이터 수집 당시 의학교육학 박사 과정 중이었습니다. ND, HHL, RYQ는 학부 및 대학원 전문직업성 과정의 교수진 및 과정 개발자였으며, XZS는 조교였습니다. DLW는 소아과 과장을 역임했으며 현재는 의학교육과 교수로 재직 중입니다. 각자의 고유한 배경과 경험을 바탕으로 각 멤버는 그룹 토론에 풍부하고 건설적인 피드백을 더했습니다. 
All members of the research team have some training or background in qualitative research and in medical professionalism research. Additionally, XZS and HHL have backgrounds in medical informatics. NJ is a native English speaker who holds an MBBS degree and has clinical training experience in China. XZS and CYX were PhD candidates in medical education at the time of data collection. ND, HHL, and RYQ are teaching faculty and course developers for undergraduate and graduate professionalism courses; XZS is the teaching assistant. DLW was a chief of pediatrics and is now a professor of medical education. Based on their own unique backgrounds and experiences, each member added richness and constructive feedback to the group discussions.

검색 전략에 따라 1차 검색에서 총 613개의 출판물이 검색되었습니다. 적격성 기준에 따라 55개의 출판물이 최종 연구에 등록되었습니다. 그런 다음 등록된 출판물에서 전문직업성 딜레마에 관한 53개 항목을 수집, 분석, 요약하여 Li 등이 제시한 전문직업성 프레임워크의 10개 하위 영역에 매핑했습니다. 등록된 모든 출판물, 딜레마 또는 도전과 비전문직업적 행동에 대한 특정 시나리오, 문서 분석의 1차 버전 체크리스트는 부록 정보 부록 B에 나와 있습니다. 
Following our search strategy, a total of 613 publications were retrieved in the initial search. Based on eligibility criteria, 55 publications were enrolled in the final study. We then compiled, analyzed, and summarized 53 items on professionalism dilemmas from these enrolled publications and mapped them to the 10 sub-domains of the professionalism framework by Li et al. All enrolled publications, corresponding specific scenarios on dilemmas or challenges and unprofessional behaviors, and the first version checklist from document analysis are shown in Supplementary information Appendix B.

총 두 차례의 포커스 그룹 인터뷰(1라운드에서는 3개 그룹, 2라운드에서는 2개 그룹)를 진행했으며, 50명의 전공의가 참여했습니다. 표 1에는 참가자의 인구통계학적 특성이 요약되어 있습니다. 1차 포커스 그룹 인터뷰에서는 5개의 새로운 항목이 생성되었으며, 2차 인터뷰에서는 새로운 항목이 나타나지 않았습니다. 문서 분석과 두 차례의 포커스 그룹 인터뷰를 거쳐 최종 58개 항목의 전문직업성 딜레마 체크리스트(문서 분석에서 53개 항목, 포커스 그룹 인터뷰에서 5개 항목)가 생성되었습니다(표 2 참조). 58개 항목은 4개의 영역과 10개의 하위 영역으로 나뉘며, 각 영역의 명칭과 포함된 항목 수는 다음과 같다.

• 연민(2),
• 존중(6),
• 의사소통(6),
• 협업(7),
• 성실성(9),
• 의무(5),
• 우수성 추구(8),
• 의료 자원의 공정한 관리(4),
• 환자 기밀성(4),
• 사전 동의(7) .

각 전문직업성 딜레마 항목에 해당하는 발췌문은 보충 정보 부록 C에 나와 있습니다. 

In total, we conducted two rounds of focus group interviews—three groups in round one, and two groups in round two—involving 50 residents. Table 1 summarizes the demographic characteristics of the participants. Five new items were generated in the first round of focus group interviews, and no new items emerged in the second round. After document analysis and two rounds of focus group interviews, a final 58-item checklist of professionalism dilemmas was generated—53 items from document analysis and five items from focus group interviews (see Table 2). These 58 items were distributed in four domains and 10 sub-domains, whose names and the number of contained items were:

• compassion (2),
• respect (6),
• communication (6),
• collaboration (7),
• integrity (9),
• duty (5),
• pursuit of excellence (8),
• fair stewardship of health care resources (4),
• patient confidentiality (4), and
• informed consent (7).

Excerpts corresponding to each professionalism dilemma item are shown in Supplementary information Appendix C.

전문직업성 딜레마 테마
Professionalism dilemma themes

연민 딜레마
Compassion dilemmas

이 테마에는 환자에 대한 연민과 공감과 관련하여 레지던트들이 겪는 어려움을 반영하는 두 가지 딜레마 항목이 포함되어 있습니다. 가장 자주 보고된 딜레마 항목은 연민을 느끼지만 환자를 도울 힘이 없다고 느끼는 경우로, 레지던트의 38%가 경험한 적이 있으며, 이 항목에서 가장 자주 언급된 시나리오는 환자가 높은 의료비 때문에 치료를 포기해야 하는 경우였습니다. 한 참가자는 이러한 딜레마를 다음과 같이 설명했습니다: 
This theme contained two dilemma items, reflecting challenges that residents encountered relating to compassion and empathy for patients. The more frequently reported dilemma item was Showing compassion but feeling powerless to help patients, with 38% of residents having experienced it, and the most frequently mentioned scenario within this item was Patients were forced to give up treatment because of high medical expenses. One participant described this dilemma as follows:

가정 경제적인 이유로 치료를 포기하는 환자들이 많은데, 이는 매우 안타까운 일입니다. 솔직히 일부 환자들은 조기에 치료를 받으면 생명을 연장할 수 있는 가능성이 있지만, 가정 형편 때문에 포기하고 집에 가서 병의 자연스러운 진행을 기다려야 합니다. 그들을 도울 수 없다는 것이 안타깝습니다. (A6, 산부인과)
Due to family financial reasons, there are a lot of patients who give up treatment, which is very unfortunate. To be honest, some patients may have the possibility to prolong their lives if they are treated as early as possible, but they give up because of family conditions and have to go home to wait for the natural progression of the disease. It’s a pity that I am unable to help them. (A6, Obstetrics and Gynaecology)

이 항목에서 흔히 보고된 또 다른 시나리오는 기존의 의료 기술로 효과적인 치료를 제공하거나 환자의 고통을 완화할 수 없다는 것이었습니다:
Another common reported scenario within this item was Existing medical techniques cannot offer effective treatment or alleviate patient suffering, as described by one of the participants:

수술 병동에서 한 환자를 만난 적이 있습니다. 그는 나이가 많았고 장암이 재발한 상태였습니다. 수술이 금기인 데다 현재의 기술로는 통증을 해결할 수 없었기 때문에 치료를 포기하고 남은 여생을 집에서 보내기로 결정했습니다. 이런 환자를 만나면 어떻게 해야 할지 모르겠고 아무것도 도와줄 수 없는 것 같아 마음이 아픕니다. (E8, 외과)
I once met a patient in the surgery wards. He was up in age and his bowel cancer had recurred. Because he was contraindicated for surgery and the current technology was not able to resolve his pain, he gave up treatment and chose to spend the rest of his days at home. When I encounter this kind of patient, I feel like I don’t know what to do and can’t do anything to help. (E8, Surgery)

존중 딜레마
Respect dilemmas

이 주제는 환자, 선배 의사, 동료 및 기타 의료 전문가와의 상호존중에 대한 레지던트들의 어려움을 반영하여 6개의 딜레마 항목으로 구성되었습니다. 가장 흔하게 보고된 딜레마는 환자로부터의 직간접적인 언어적 또는 신체적 굴욕감으로, 레지던트의 44%가 이를 경험한 적이 있다고 답했습니다. 레지던트들은 환자로부터 모욕감을 당해도 별다른 조치를 취할 수 없었으며 최대한 참고 견디려고 노력했다고 설명했습니다.
This theme consisted of six dilemma items, reflecting residents’ challenges on mutual respect with patients, senior physicians, peers, and other health care professionals. The most common reported dilemma was Direct or indirect verbal or physical humiliation from patients, with 44% of residents having experienced it. Residents described they could not do much about being humiliated by their patients and tried to just endure and bear with it as much as possible.

환자로부터의 굴욕감은 흔한 일입니다. 예를 들어, 류마티스 질환과 함께 종양이 진행된 한 환자는 정신 건강이 매우 좋지 않았습니다. 그는 진통제를 많이 복용했는데, 류머티즘 약과 함께 "죽여버릴 거야"와 같은 말을 하며 언어적 공격성을 보이기도 했습니다. 무엇이 환자의 행동을 유발했는지는 모르겠지만 그는 우리의 생명을 언어적으로 위협하고 있었습니다. (B7, 내과)
Humiliation from patients is common. For example, a patient with advanced stage tumor combined with rheumatic disease displayed very poor mental health. He would take a lot of pain medication, which, along with the rheumatism medication, led to some verbal aggression, saying words like “I’m going to kill you”. I don’t know what drove the behavior of the patient, but he was verbally threatening our lives. (B7, Internal medicine)

또 다른 흔하게 보고된 딜레마는 선배 의사로부터의 부적절한 비판, 굴욕감 또는 처벌이었습니다. 전공의들은 선배 의사로부터 비판을 받거나 모욕을 당했을 때 선배 의사의 행동을 이해할 수 있지만, 선배 의사가 전공의의 감정을 배려해 환자 앞에서 심하게 말하지 않기를 바란다고 답했습니다.
Another common reported dilemma was Inappropriate criticisms, humiliation, or punishments from senior physicians. When criticized or even humiliated by senior physicians, residents said they could understand senior physicians’ behaviors, but hoped that senior physicians would consider their feelings and try not to speak harshly of them in front of patients.

첫 부서인 신생아 병동으로 로테이션을 갔을 때가 기억납니다. 주치의 선생님은 정말 엄격하셨어요. 처음 갔을 때 많은 사람들 앞에서 제가 잘못한 것을 지적하는 경우가 많았고, 거칠게 들리는 말을 하셔서 기분이 정말 불편했어요. (D6, 소아과)
I remembered when I rotated to my first department, which was the neonatal ward. The senior physician was so strict. When I first got there, she often pointed out what I did wrong in front of a lot of people, and she would say something that sounds harsh, which made me feel really uncomfortable. (D6, Pediatrics)

커뮤니케이션 딜레마
Communication dilemmas

이 주제는 전공의들이 환자와 소통하는 과정에서 겪는 어려움을 반영하여 총 6개의 딜레마 항목으로 구성되었습니다. 6개 딜레마 항목 중 4개 항목에 대해 레지던트의 50% 이상이 해당 항목과 관련된 경험을 보고했습니다. 가장 흔하게 보고된 딜레마는 환자가 개인 연락처 정보를 끈질기게 요구하는 경우로, 레지던트의 90%가 이 문제를 경험한 것으로 나타났습니다. WeChat은 중국에서 인스턴트 메시징, 소셜 미디어, 모바일 결제에 사용되는 주요 독립형 앱입니다. 많은 레지던트들이 개인 생활과 직장 생활 모두에서 이러한 환자들의 반복적인 방해를 경험한 후 더 이상 환자들과 위챗이나 개인 연락처 정보를 공유하지 않겠다고 밝혔습니다. 
This theme included six dilemma items, reflecting the challenges that residents encountered in the process of communicating with patients. For four of the six dilemma items, at least 50% of residents reported experiences related to the item. The most common reported dilemma was Patients being persistent for personal contact information, with 90% of residents having experienced it. WeChat is the major standalone app used for instant messaging, social media, and mobile payment in China. Many residents expressed that they would no longer share their WeChat or personal contact information with patients after they had experienced repeated interruptions by these patients in both their personal and work lives.

일반적으로 환자가 제 위챗을 요청하면 검사지를 보낼 수 있도록 알려줍니다. 하지만 환자가 제가 어떻게 대답해야 할지 모르거나 너무 바빠서 제 시간에 응답하지 못하면 환자는 저를 비난합니다. 개인 연락처를 알려줘야 할지 말아야 할지 고민할 때도 있어요. (B6, 내과)
Generally, when the patient asks for my WeChat, I will give him so that I can send him test sheets. But if the patient asks me something I don’t know how to answer or I am too busy to respond in time, he will blame me. Sometimes I struggle with whether or not I should give out my personal contact information. (B6, Internal medicine)

환자의 가족은 좋은 사람들이기 때문에 제가 할 수 있는 한 최선을 다해 도와야겠다고 생각하곤 합니다. 하지만 좋은 의도가 실제로 좋은 결과를 가져오는 것은 아니며, 가족들이 더 압박을 받는다는 것을 알게 될 때가 있어요. 그들은 온갖 종류의 질문을 하고 사소한 것까지 물어보곤 했죠. 지금은 환자 가족들에게 제 개인 위챗 정보를 제공하지 않습니다. 감당하기 너무 힘들거든요. 아무리 좋은 환자 가족이라도 나중에 이렇게 골칫거리가 될 수도 있어요. (D10, 소아과)
I may find that my patient’s family members are nice people, so I think to myself that I’d do as much as I can to help them out. But then sometimes I found out that good intentions don’t actually have good results, and the family members will become more pressing. They would ask all kinds of questions and ask about every little thing. I don’t give out my personal WeChat info to patient family members now. It’s too difficult to handle. The nicest family members of patients may still become this troublesome some ways down the road. (D10, Pediatrics)

치료에 협조하지 않는 환자나 가족, 의사소통 및 언어 장벽, 어리거나 경험이 없다고 무시하는 환자도 레지던트들이 흔히 겪는 딜레마였습니다. 레지던트들은 의사소통의 딜레마를 겪을 때 일반적으로 환자와 적극적으로 소통한다고 답했습니다. 그래도 효과가 없을 경우 일부 레지던트는 문제를 보고하고 상사에게 도움을 요청하기도 했습니다.

Patients or their families refusing to cooperate with treatment, Communication and language barriers, and Patients dismissing them as young or inexperienced were also dilemmas commonly reported by residents. Residents said when experiencing communication dilemmas, they would generally actively communicate with patients. If it remained ineffective, some of them would report the problem and turn to their superiors for help.

협업 딜레마
Collaboration dilemmas

이 주제에는 레지던트들이 동료, 선배 의사 및 기타 의료 전문가와 협력하는 과정에서 겪는 어려움을 반영하는 7가지 딜레마 항목이 포함되었습니다. 가장 많이 보고된 딜레마는 다른 의료 전문가와의 협력에 대한 어려움으로, 52%의 레지던트가 이를 경험한 적이 있다고 답했습니다. 한 레지던트는 전문가 간 협업에 대한 불만을 표하기도 했습니다. 
This theme included seven dilemma items, reflecting the challenges that residents encountered in the process of cooperating with peers, senior physicians, and other healthcare professionals. The most common reported dilemma was Difficulty in cooperating with other healthcare professionals, with 52% of residents having experienced it. One resident also expressed some displeasure in interprofessional collaboration.

요즘은 의사와 간호사가 동등하다고 하지만, 실제로는 간호사가 우리 레지던트보다 더 높은 지위를 가지고 있다고 느낍니다. 저희가 진료 지시를 내리면 실행은 간호사가 담당하는데, 가끔 급하게 대응해야 하는 경우가 있어서 간호사에게 서둘러 달라고 요청하곤 했어요. 하지만 간호사는 제가 서너 번을 요청할 때까지는 그렇게 하지 않았는데, 나중에 알고 보니 곧 점심시간이 되기 때문이었습니다. 전에도 이런 식으로 동료 전공의를 꾸짖고 울게 만드는 간호사를 본 적이 있습니다. (D1, 산부인과) 
Although it’s said that physicians and nurses are equal nowadays, I feel that nurses actually have a higher status than us residents. After we put in a medical order, nurses would be responsible for executing it, but sometimes the order would require an urgent response, so I would ask the nurse to rush it. But the nurse wouldn’t do it until I have asked three or four times, which I found out was because it was going to be her lunch break soon. I have witnessed nurses scolding my peer like this before and sending her crying. (D1, Obstetrics and Gynaecology)

또 다른 일반적인 딜레마는 책임과 업무를 다른 사람에게 미루는 것이었습니다. 한 참가자는 자신의 불만 경험을 이야기했습니다. 하지만 그 상황에서도 상대방의 기분을 상하게 하거나 갈등이나 불편을 초래하고 싶지 않아서인지, 그는 동료에게 자신이 해야 할 일을 계속해달라고 요청하지 않았습니다. 
Another common reported dilemma was Pushing responsibilities and work tasks off to others. One participant recounted his experience with grievance. However, even in his situation, possibly out of consideration for not wanting to offend or cause conflict or inconveniences, he did not reach out to ask his peer to continue the work she was supposed to do.

제 앞의 레지던트는 저에게 많은 일을 맡겼습니다. 저는 그런 분들을 만났습니다. 한 아이가 30일 이상 입원해 있었습니다. 단계별 요약과 사례 논의가 필요했습니다. 이 환자를 담당했던 제 동료는 아무것도 쓰지 않았습니다. 결국 저는 어느 날 밤 거의 5시간 동안 혼자서 모든 정보를 작성했습니다. 전화도 하지 않았어요. (D10, 소아과) 
The resident before me left a lot of work to me. I have met such kinds of people. A child had been hospitalized for more than 30 days. There needed to be a phased summary and case discussion. My peer, who was responsible for this patient, didn’t write anything. Finally, I spent nearly five hours one night and filled in all the information by myself. I didn’t call her either. (D10, Pediatrics)

무결성 딜레마
Integrity dilemmas

이 주제에는 금전적 이득, 의사와 환자 또는 의료 대리인 간의 관계 등 레지던트들이 정의 또는 정직에 대한 인식을 위반할 수 있는 어려움을 반영하는 9가지 딜레마 항목이 포함되었습니다. 가장 흔하게 보고된 딜레마는 환자로부터의 선물 수락이었으며, 60%의 레지던트가 이를 경험한 것으로 나타났습니다. 레지던트들은 과일과 꽃은 허용되는 선물이지만 빨간 봉투(현금 선물)와 기프트 카드는 반환해야 한다고 생각했으며, 직접 반환할 수 없는 경우 환자의 병원 계좌로 입금해야 한다고 답했습니다. 또한 전공의들은 환자가 방금 입원했는지, 퇴원했는지에 따라 선물의 의미를 다르게 인식했습니다. 퇴원을 앞둔 환자들은 환자 치료가 잘 안 될까 봐 의사의 비위를 맞추기 위해 억지로 선물을 주기보다는 레지던트들의 노고에 감사하는 마음에서 진심으로 선물을 준다고 인식하고 있었습니다. 
This theme included nine dilemma items, reflecting the challenges that residents encountered that may violate their perceptions of justice or honesty, including financial gains and relationships between physicians and patients or medical representatives. The most common reported dilemma was Accepting gifts from patients, with 60% of residents having experienced it. Residents thought that fruits and flowers were acceptable gifts, but red envelopes (cash gifts) and gift cards should be returned, including crediting the patient’s hospital account when the money could not be returned in person. Residents also viewed the meaning of gifts differently depending on whether patients were just admitted to hospital or after they had been discharged. Residents perceived that patients who are about to be discharged from hospital give gifts due to their appreciation of the residents’ work and from a place of real gratitude, rather than because they are forced to please the doctors for fear of poor patient care.

사실 선물은 아주 흔한 일이라고 생각합니다. 환자가 돈 대신 무언가를 줄 수 있다는 것은 의사에게 마음에서 우러나오는 감사의 표시이자, 의사와 환자 간의 화합을 도모할 수 있는 방법이기도 합니다. 과일뿐만 아니라 지역 특산품도 선물하는 환자분들을 많이 봤습니다. (C7, 외과) 
I think gift-giving is actually quite common. When a patient can give something instead of money, it shows that he is grateful to the physician from his heart, and it is also a way to promote harmony between doctors and patients. I see that patients not only give fruits but also local specialties. (C7, Surgery)

또 다른 공통된 딜레마는 가족이나 친구에게 연고주의를 보이는 것으로, 36%의 레지던트가 경험한 적이 있다고 답했습니다. 전공의들은 주로 사회적 관계 역학 관계에 따라 이러한 행동을 이해할 수 있다고 생각했습니다. 한 참가자는 자신의 진료 예약일 경우 친한 의사에게 도움을 요청하기 위해 줄을 서는 경우도 있다고 답했습니다. 

Another common reported dilemma was Showing nepotism for family and friends, with 36% residents having experienced it. Residents believed this kind of behavior to be understandable, mainly out of adherence to social relationship dynamics. One participant reported that he would even jump the queue to seek help from a familiar physician if it was his own medical appointment.

저는 제 진료를 위해 대기열을 건너뛰고 주치의가 여의치 않으면 무료 진찰을 해줄 수도 있습니다. 예를 들어, 동료의 가족이 입원해야 하는 경우, 주치의는 실제로 기꺼이 도움을 주고 외래 진료실이나 입원 병동을 배정하는 등 일반적으로 거절하지 않는 것을 보았습니다. (B2, 내과) 

I would jump the queue for my own medical treatment, then the senior physician may provide me with a free examination if convenient. I have seen that, for example, if a peer’s family members needed to be hospitalized, the senior physician would in fact be willing to provide help and would generally not refuse, such as arranging an outpatient clinic or inpatient ward for them. (B2, Internal medicine)

지각이나 결근 시 서명을 위조하거나 동료에게 대신 서명을 부탁하는 것도 흔한 딜레마로 보고되었습니다. 레지던트들은 임상 업무와 의학 강의 참석의 균형을 맞추는 것이 어렵다고 보고했습니다. 한 참가자는 다른 사람이 의학 강의에 로그인하는 것을 도와주는데 거절하는 방법을 모른다고 말했습니다. 
Forging signatures or asking peers to sign on one’s behalf when late or absent was also a common reported dilemma. Residents reported finding it difficult to balance clinical work with medical lecture attendance. One participant reported he would help others sign in for medical lectures and did not know how to refuse.

다른 사람을 위해 로그인했다가 행정 직원에게 발각되어 경고를 받았습니다. 동료가 저에게 대신 로그인해 달라고 요청하면 "강의는 들으러 가겠지만 대신 로그인해 줄 수 없습니다"라고 말할 수 없을 것 같습니다. (C10, 외과) 
I signed in for others and was found and warned by the administrative staff. If a peer asked me to sign in for him, I don’t think I could say something like “I will go to the lecture, but I cannot sign in for you”. (C10, Surgery)

의무 딜레마
Duty dilemmas

이 주제에는 전공의들이 직무를 수행하면서 직면하는 어려움을 반영하는 5가지 딜레마 항목이 포함되었습니다. 가장 많이 보고된 딜레마는 과도한 업무량으로 인한 일과 삶의 균형 부족으로, 70%의 전공의가 이를 경험한 적이 있다고 답했습니다. 레지던트들은 과중한 업무량으로 인해 휴일에도 초과 근무를 하는 것이 일반적이라고 생각했습니다. 특히 외과 전공의와 산부인과 전공의는 수술의 복잡성이나 양이 많아 밤늦게까지 일하는 경우가 많다고 답했습니다. 
This theme included five dilemma items, reflecting the challenges that residents faced in fulfilling their professional duties. The most common reported dilemma was Lack of work-life balance due to excessive workload, with 70% of residents having experienced it. Residents believed it to be common to work overtime due to heavy workloads, even during holidays. In particular, surgery residents and obstetrics and gynecology residents said that they often worked late at night because of the complexity or volume of operations.

외과에서 과중한 업무량은 매우 흔한 일이라고 생각합니다. 일과 삶의 균형을 맞추기 어려운 것은 어쩔 수 없는 일입니다. 그것은 우리가 감당할 수 있는 일이 아닙니다. 환자에게 수술이 필요하거나 수술이 매우 복잡합니다. 이런 상황에서는 어떻게 해야 할까요? (C1, 외과) 
I think the heavy workload in surgery is extremely common. It is inevitable that it is difficult to balance work and life. It’s not something that we can deal with. The patient needs an operation or the operation is very complex. What can anyone do in this situation? (C1, Surgery)

또 다른 일반적인 딜레마는 급여와 복리후생이 기존 업무량과 일치하지 않는 것으로, 67%의 레지던트가 이를 경험한 적이 있다고 답했습니다. 레지던트들은 의사와 마찬가지로 환자 중심의 자세를 가져야 하지만, 낮은 급여와 발생하는 특정 문제를 해결할 수 없는 현실에 괴로워하며 성과에 기반한 공정한 임금 분배를 요구했습니다. 
Another common reported dilemma was Salary and benefits do not match existing workload, with 67% of residents having experienced it. Residents should hold the same patient-centered attitude as physicians, but plagued by low salary and the inability to resolve certain problems that arise, they called for performance-based fair distribution of wages.

우리는 매우 바쁘고 거의 모든 일을 하고 있습니다. 우리 사이에는 "일할 때는 의사이지만 돈을 계산할 때는 학생이다"라는 속담이 있습니다. 모두가 잘 알고 있는 말입니다. (E7, 외과)
It’s obvious that we are very busy, and we do almost everything. There is a very popular saying between us, which is, “you are a doctor when you work, and you are a student when they count money”. Everyone knows this well. (E7, Surgery)

레지던트의 40%는 과중한 업무량과 낮은 급여의 어려움 외에도, 매우 피곤한 상황에서도 예정된 근무 시간이 끝난 후에도 선배 의사로부터 계속 일해달라는 요청을 받은 경험이 있다고 답했습니다. 레지던트들은 육체적, 정신적으로 피곤한 상태에서 환자를 수술하는 것이 환자 안전을 위협할 수 있다고 생각했지만 위계적인 구조 때문에 용기를 내어 거절하지 못했습니다. 
In addition to the challenges of heavy workload and low pay, 40% of residents experienced Being asked by a senior physician to continue working even after a scheduled shift time had ended, even when they were very tired. Residents thought that performing surgery on patients when they were physically and mentally fatigued would threaten patient safety, but due to the hierarchical structure, they were not brave enough to say no.

일이 너무 많다고 생각해요. 산부인과에서 야간 당직을 서고 있었는데, 밤새도록 일하다 보니 거의 하루 종일 쉬지 않고 밤낮으로 일했죠. 그런데 야간 근무를 마치고 퇴근할 때 선배 의사에게 수술이 있다고 연락이 왔어요. 그 당시 저는 이미 매우 졸려서 수술실에서 선배 의사에게 기계적으로 협조하고 있었어요. 저에게는 매우 고통스러웠고, 만약 문제가 생기면 환자에게 책임질 수 없다고 생각했습니다. (D3, 산부인과) 
I think it’s too much work. I was on a night shift in obstetrics, and I had been up all night, which was basically a day and a night without a break. However, when I was leaving the night shift, I was pulled in by the senior physician for a surgery. I was already very sleepy at that time, just mechanically cooperating with the senior physician in the OR. It was very excruciating for me, and I don’t think we were being responsible to the patient if something goes wrong. (D3, Obstetrics and Gynaecology)

우수성 딜레마
Excellence dilemmas

이 주제는 전공의들이 임상술기 향상이나 과학적 지식 습득 등 탁월함이나 자기계발을 추구하는 과정에서 겪는 어려움과 도전을 반영하여 총 8개의 딜레마 항목으로 구성되었습니다. 가장 많이 보고된 딜레마는 '과학 연구, 시험, 임상 업무의 압력 사이에서 균형을 맞추기 어려움'이었으며, 전공의의 58%가 이를 경험한 적이 있다고 답했습니다. 레지던트들은 연구 성과가 승진을 위한 필수 요건임에도 불구하고 퇴근 후를 제외하고는 낮에 과학 연구를 할 수 있는 시간이 매우 제한적이라고 언급했습니다. 심지어 시험이 있는 날에도 선배 의사들은 전공의들이 퇴근하는 것을 꺼려했습니다. 
This theme included eight dilemma items, reflecting the difficulties and challenges that residents encountered in the process of pursuing excellence or self-improvement, such as improving clinical skills or acquiring scientific knowledge. The most common reported dilemma was Difficulty balancing pressures from scientific research, examinations, and clinical work, with 58% of residents having experienced it. Residents mentioned that there was very limited time for scientific research during the day, except after work, despite research achievements being a requirement for promotion. Even in the face of exams, senior physicians were reluctant to let them off work.

예를 들어, 시험이 다가오는데 상사는 제가 교육을 받으러 왔다고 생각해서 계속 일해야 한다고 생각하죠. 시험 준비를 위한 휴가를 주지 않았고, 제가 휴가를 요청해도 승인하는 것을 매우 꺼려했습니다. (E3, 내과) 
For example, there would be an exam coming up, but the superior would think that I am here for training, so I have to work for him. He wouldn’t give me leave to prepare for my exams, and he would be very reluctant to approve any leave when I ask. (E3, Internal medicine)

레지던트들은 때때로 임상 진료 표준을 준수하지 않는 정상화 실패를 보고했습니다. 한 참가자는 전공의의 표준 이하의 의료 행위를 언급했고, 그 영향을 받아 레지던트도 같은 행동을 하기 시작했습니다.
Residents sometimes reported Normalizing failures to adhere to clinical practice standards. One participant mentioned substandard medical practices by the senior physician, and under his influence, the resident began to do the same.

제 선배 의사는 임상 능력이 뛰어납니다. 하지만 그는 항상 장갑 없이 드레싱을 갈아입고, 환자를 진찰할 때도 장갑을 사용하지 않습니다. 하지만 그는 매우 유능한 의사였고, 모든 사람들이 우리 부서장보다 훨씬 더 숙련되었다고 말했습니다. 그러다 보니 저도 익숙해져서 장갑을 끼지 않는 경우가 많아요. (C5, 외과) 
My senior physician has excellent clinical competence. However, he always changes dressings without gloves and also doesn’t use gloves when examining patients. But he is a very capable doctor, with everyone commenting that he is even more skilled than our department director. Then I got used to it as well, so I often don’t wear gloves either. (C5, Surgery)

또 다른 딜레마는 자신의 능력을 넘어서는 의료 업무를 독립적으로 완수하도록 부탁받는 것입니다. 레지던트의 10%만이 이러한 경험을 했다고 답했지만, 이러한 행동의 결과는 심각할 수 있으며 잠재적으로 환자 안전을 위협할 수 있습니다. 한 참가자는 자신이 겪은 위태로운 경험을 보고했지만 결과는 긍정적이었습니다.
Another dilemma was Being asked to independently complete medical tasks beyond one’s ability. Although only 10% of residents reported they experienced this, the consequences of this behavior can be serious and may potentially threaten patient safety. One participant reported a precarious experience he had, though the outcome was positive.

한 번은 선배 의사가 근무를 마치고 집으로 돌아갔고, 저도 퇴근 후 집에 가야 했는데 환자의 배액관이 떨어졌습니다. 이때 어떻게 해야 할지 몰라 선배 의사에게 전화를 걸어 상황을 사진으로 찍어 보내 어떻게 해야 할지 물어봤어요. 그는 저에게 혼자서 처리하라고 했습니다. 저는 망설였지만 시키는 대로 했습니다. 시술 도중에 환자가 고통스러워 비명을 지르기 시작했고, 저는 튜브가 복막에 닿았을지도 모른다고 생각했습니다. 저는 배액관을 빼서 소독하고 다시 시술을 진행했고, 두 번째 시술은 순조롭게 진행되었습니다. 수술 내내 침착해 보였지만 속으로는 많이 긴장했어요! (C1, 외과) 
Once my senior physician went home after his shift, and I was supposed to go home after work, but a patient’s drainage tube fell off. At this point, I did not know what to do, so I called my senior physician and sent photos of the situation to ask what to do. He told me to take care of it alone. I hesitated but did as he asked. Halfway through the procedure, the patient started to scream in pain, so I thought the tube might have touched his peritoneum. I withdrew the drain to sterilize and performed the procedure again, which worked out smoothly the second time. I looked calm the whole time, but I was very nervous inside! (C1, Surgery)

의료 자원의 공정한 관리에 대한 딜레마
Dilemmas on the fair stewardship of health care resources

이 주제에는 의료 자원의 불공정한 관리를 다룰 때 전공의들이 겪는 어려움을 반영하는 네 가지 딜레마 항목이 포함되었습니다. 가장 흔하게 보고된 딜레마는 불필요한 의료 서비스나 처방을 계속 요구하는 환자로, 66%의 전공의가 이를 경험한 적이 있다고 답했습니다. 병원에 입원한 일부 환자는 의료 보험이 입원 환자 검사에 대해서만 환급을 해준다는 이유로 질병과 관련 없는 추가 의료 검사를 요구한다고 언급했습니다. 또한 일부 환자는 기대만큼 효과가 없을지라도 회복을 앞당기기 위해 의사에게 더 높은 등급의 항생제나 더 비싼 약을 처방해달라고 요청했습니다. 
This theme included four dilemma items, reflecting the challenges that residents encountered when dealing with unfair stewardship of health care resources. The most common reported dilemma was Patients persisting to ask for unnecessary medical services or prescriptions, with 66% of residents having experienced it. Residents mentioned that some patients admitted to the hospital asked for additional medical tests not related to their disease because their medical insurance would only reimburse them for inpatient tests. Some patients also asked physicians to prescribe higher-grade antibiotics or more expensive drugs to accelerate their recovery, even if these drugs would not be as effective as they expect.

환자는 약간의 사소한 문제가 있었고 치질로 병원에 왔습니다. 그런 다음 그는 그것을 전체 검진으로 취급하고 모든 것을 확인하고 싶어했습니다. 저는 그에게 단순한 치질이라고 설명했지만 그는 제가 거짓말을한다고 생각했고 심지어 게으르다고 비난했습니다. 이런 환자에게 뭐라고 말해야 할지 모르겠어요. (C3, 외과) 
The patient had some minor problems and came to the hospital for hemorrhoids. Then he treated it as a full checkup and wanted to check everything. I explained that it was simple hemorrhoids to him, but he thought I was lying to him and even accused me of being lazy. I don’t know what to say to patients like this. (C3, Surgery)

전공의들은 선배 의사들의 과잉진료를 목격했다고 보고했습니다. 그러나 일부 전공의는 의학 지식이 부족해 선배 의사의 과잉진료 여부를 판단할 수 없었다고 답했다. 
Residents reported that they witnessed Overtreatment by senior physicians. However, some residents also expressed that their medical knowledge was limited, so they could not judge whether the senior physicians were indeed overtreating.

저는 과잉진료에 대해 듣고 목격한 적이 있습니다. 한 번은 주치의가 적응증과 가이드라인을 초과하는 약물과 용량을 조합하여 사용한 적이 있습니다. 그에게는 이유가 있었어요. 더 안전하고 원활하게 치료하고 싶었을 뿐이었죠. 그래서 주치의에게 물어봤고, 주치의는 괜찮다고 대답했지만 여전히 기존 임상 지침에 부합하지 않는다고 생각했습니다. (C10, 외과) 
I did hear about and witness excessive medical treatment. Once, my attending physician used drugs and dosages in combinations that exceeded the indications and guidelines. He had his reasons; he just wanted to make it safer and smoother. So, I asked him about it, he answered me, and I thought it was ok, but it still didn’t meet the existing clinical guidelines. (C10, Surgery)

환자 기밀 유지에 대한 딜레마
Dilemmas on patient confidentiality

이 주제는 전공의들이 환자 비밀을 지키는 데 겪는 어려움과 과제를 반영하여 4개의 딜레마 항목으로 구성되었습니다. 한 참가자는 동료 레지던트들이 환자의 개인정보나 신원과 관련된 정보를 소셜 미디어에 게시하는 것을 목격했다고 공유했습니다. 그녀는 이러한 행동이 비전문직업적이라고 생각했지만, 이에 대해 아무런 조치를 취하지 않았습니다.
This theme included four dilemma items, reflecting the difficulties and challenges that residents encountered in keeping patient confidentiality. One participant shared that her peers were involved in Posting information related to a patient’s privacy or identification on social media. Though she thought the behavior was unprofessional, she did not take any action on it.

다른 사람들이 정말 귀여운 아이들의 사진이나 동영상을 찍어 모자이크 없이 WeChat이나 웨이보에 게시하는 것을 본 적이 있습니다. 나쁜 의도는 없었다고 생각하지만 여전히 좋은 행동은 아닌 것 같아요. (D8, 소아과) 
I have seen others take photos or videos of really cute kids and then post them on WeChat or Weibo without mosaics. I don’t think they had any ill intentions, but it’s still not a very good thing to do. (D8, Pediatrics)

사전 동의에 관한 딜레마
Dilemmas on informed consent

이 주제에는 환자와 의사 모두 사전 동의 위반 시 레지던트들이 겪는 어려움을 반영하는 7가지 딜레마 항목이 포함되었습니다. 가장 흔하게 보고된 딜레마는 환자 가족의 요청이나 다른 이유로 환자에게 진실을 숨기는 것이었습니다. 레지던트들은 환자가 자신의 질병에 대해 알 권리가 있다고 믿지만, 문화적 전통과 부작용에 대한 두려움 때문에 환자의 상태를 가족에게 먼저 알리는 것을 우선순위로 삼았습니다. 
This theme included seven dilemma items, reflecting the challenges that residents encountered in violations of informed consent, for both patients and physicians. The most common reported dilemma was Concealing the truth from patients at the request of the patient’s family or for other reasons. Even though residents believed that patients had the right to know about their illness, due to cultural traditions and fear of adverse consequences, they still made it a priority to inform the family member first about the patient’s condition.

악성 종양에 걸린 환자가 있었는데 아들이 그 사실을 숨겼습니다. 제가 그 환자라면 저도 제 병에 대해 알 권리가 있다고 생각했습니다. 시간이 얼마 남지 않았더라도 앞으로 어떻게 해야 할지 알고 후회하지 않아야 한다고 생각했습니다. 하지만 환자가 정신적으로 무너지고 살 시간이 줄어들지 않도록 숨기는 것이 좋을 수도 있습니다. 하지만 그래도 환자에게 알려야 한다고 생각해요. (A1, 산부인과)
I had a patient who had a malignant tumor that she didn’t know about, and her son kept it from her. I thought if I was that patient, I should have the right to know my illness. Even if I don’t have much time left, I would want to know what I should do next and have no regrets. But maybe it’s good for him to keep it from her, lest she break down mentally and have less time to live. But I still think the patient should be told. (A1, Obstetrics and Gynaecology)

악성 종양을 가진 일부 환자의 경우 가족들이 의사에게 "아직 환자에게 말하지 말아주세요"라고 말합니다. 중국인의 눈에는 환자에게 말하면 환자가 소식을 견딜 수 없을 수도 있습니다. (B1, 내과) 
For some patients with malignant tumors, their families will say to the doctor, “Please don’t tell the patient yet.” In the eyes of Chinese people, if you tell the patient, he may not be able to bear the news. (B1, Internal medicine)

전공의들은 사전 동의를 받을 수 없는 상황에 대해 불만과 무력감을 표했습니다. 법과 정책에 따라 사전 동의서에 서명하지 않으면 환자는 수술이나 처방과 같은 특정 의료 서비스를 제공받을 수 없습니다.  
Residents expressed frustration and helplessness when it came to Inability to obtain informed consent. Due to laws and policies, without signing informed consent, patients cannot be provided certain medical services, such as surgeries or prescriptions.

저희 내과에서는 큰 수술은 하지 않지만 스텐트 삽입과 같은 최소 침습적 시술은 시행합니다. 동맥이 막혀 스텐트 삽입이 필요한 위독한 상태의 환자가 있었습니다. 하지만 가족들은 반대했습니다. 가족들은 특정 종교적 신념이 있는 것 같았고 동의서에 서명하기를 거부했습니다. 시술을 진행하기 위해 서명을 강요할 수 없었기 때문에 환자의 의료 기록에 무슨 일이 있었는지 기록할 수밖에 없었습니다. (E6, 내과) 
We don’t do major surgical procedures in our internal medicine department, but we do perform some minimally invasive procedures like stenting. I had a patient who was in a critical condition and had a blocked artery and needed stenting. But his family members disagreed. They seemed to have certain religious beliefs and refused to sign the consent form. Well, then we could only make a note of what happened in the patient’s medical record, because we couldn’t force them to sign anything for the procedure to go ahead. (E6, Internal medicine)

첫 번째 인터뷰 라운드에서 새로운 딜레마 항목이 등장했습니다: 환자나 그 가족이 오디오 녹음을 하거나 사진/비디오를 찍는 것이었습니다. 레지던트들은 이러한 행동이 의사의 사전 동의를 위반하는 것으로 인식했지만, 이를 막거나 그냥 넘어가는 등 서로 다른 반응을 보였습니다.
During the first round of interviews, a new dilemma item emerged: Patients or their families making audio recordings or taking photos/videos. Residents perceived such a behavior as a violation of informed consent for the physician but reacted differently toward it, either stopping it or letting it go.

문서 분석과 포커스 그룹 인터뷰를 통해 행동 기반 관점에서 전문직업성 딜레마 체크리스트를 개발했습니다. 체크리스트에는 4개 영역에 걸쳐 58개 항목과 10개 하위 영역이 포함되어 있습니다. 문서 분석은 수많은 기존 출판물을 바탕으로 이루어졌기 때문에 체크리스트에 포함된 대부분의 전문직업성 딜레마는 국제 사회에도 적용될 수 있습니다(보충 정보 부록 B 참조). 예를 들어, 레지던트가 전문직업성 결여와 문제를 목격하거나 직접적으로 관련된 선행 연구에서 보고된 것(예: 환자에 대한 차별적이고 무례한 대우, 환자 대상화 및 표준 이하의 진료, 자신의 능력 이상의 수행 요구, 환자에게 공개적으로 모욕당함)이 이에 해당합니다. 또한 중국 문화에 고유한 전문직업성 딜레마, 특히 문화 간 전문직업성 딜레마에 대해 Ho 등이 보고한 내용을 정리했으며(Ho 등, 2017), 이러한 딜레마의 각각의 근거를 지적하고 원칙, 의미, 영향 및 문화적 규범을 언급했습니다(Ho 등, 2012). 
Through document analysis and focus group interviews, we developed a checklist of professionalism dilemmas from a behavior-based perspective. The checklist included 58 items over four domains, with 10 sub-domains. Since document analysis drew from a plethora of existing publications, most of the professionalism dilemmas in our checklist would be applicable to the international community (see Supplementary information Appendix B), such as those reported by previous studies on residents observing or being directly involved in professionalism lapses and challenges (e.g., discriminatory and disrespectful treatment of patients, objectification of patients and substandard practice, being asked to perform beyond their capability, being openly humiliated by patients). We also collated some professionalism dilemmas that are unique to the Chinese culture, especially intercultural professionalism dilemmas reported by Ho et al. (Ho et al., 2017), who also pointed out these dilemmas’ respective rationales, referencing principles, implications, affects, and cultural norms (Ho et al., 2012).

본 연구에서 전문직업성 딜레마의 중요한 원인은 "거절하기 어려움"에 기인할 수 있습니다. 중국인과 미국인의 거절 전략에 대한 비교 연구에 따르면 미국인은 중국인보다 직접 거절을 훨씬 더 자주 사용하며(Cai, 2009), 중국인의 개인적 경계에 대한 내재적 장애물인 미안지(얼굴)를 발견했습니다. Mianzi는 중국인들은 체면을 잃는 것에 큰 불쾌감을 느끼며 체면이 손상되는 상황을 피하기 위해 항상 노력한다는 점에서 중국 문화에 깊이 뿌리내린 심리사회적 구조입니다. 레지던트가 상사에게 거절하는 것은 이미 전 세계적으로 공통적으로 발생하는 병원 위계질서와 의료 시스템의 숨겨진 커리큘럼으로 인해 어려운 일입니다(Chang et al., 2017; Komaromy et al., 1993). 이는 때때로 전공의가 자신의 능력을 넘어서는 의료 업무를 수행하도록 요구받거나(우수성-43) 과도한 육체적, 정신적 피로에도 불구하고 초과 근무를 해야 하는 경우(의무-33)와 같이 환자 안전을 위험에 빠뜨리기도 합니다. 특히 레지던트가 자신의 진료 수준을 저하시킬 수 있는 업무에 직면했을 때 자유롭게 의견을 말할 수 있도록 제도적 차원에서 보다 전문직업적인 업무 문화를 장려하기 위해 모든 노력을 기울여야 합니다.  
An important source of professionalism dilemmas in our study could be attributed to “difficulty saying no”. A comparative study of Chinese and American refusal strategies found that Americans use direct refusal far more frequently than the Chinese (Cai, 2009), with mianzi (face) being an inherent obstacle to personal boundaries for Chinese. The psychosocial construct of mianzi is deeply rooted in Chinese culture in that people take great offense at any loss of face, and efforts are always made to avoid face-risking situations. It is already difficult for residents to say no to their superiors owing to hospital hierarchy and the hidden curriculum of the health care system, which is a common occurrence throughout the world (Chang et al., 2017; Komaromy et al., 1993). This may sometimes even place patient safety at risk, such as when residents are required to perform medical tasks beyond their ability (Excellence-43) or when they are required to work overtime despite excessive physical and mental fatigue (Duty-33). Every effort should be made to encourage a more professional work culture, especially at a systemic level, so that residents can have the freedom to speak up when they are faced with tasks that may compromise their level of care.

친구나 동료와 같은 지인의 부탁을 거절하기는 어렵지만, 특히 중국인 전공의의 경우 더욱 그러할 것으로 보입니다. 전공의들은 친구가 우선 의료 예약을 요청하거나(청렴성-23) 동료를 위해 로그인해 달라는 요청(청렴성-24)과 같은 특정 행동이 연고주의이며 도덕적 청렴성의 기본 원칙에 위배된다는 것을 이해하지만, 대부분은 여전히 이러한 요청에 '예'라고 답합니다. 중국 문화에서 이러한 행동은 사회의 조화로운 균형에 중요한 역할을 하는 렌칭renqing의 교환(Chen, 2005; Wang & Pak, 2015)에 기인할 수 있습니다. 지인이 이러한 문제를 해결하도록 돕는 것은 전공의들에게 체면을 세워줄 수 있지만, 도움을 거부하면 지인의 관계적 기대에 위배될 뿐만 아니라 유교 윤리에 기반한 더 넓은 사회적 규범에 위배되어 양측 모두 체면을 잃게 되는 경우가 많습니다(Bedford, 2022). 신뢰의 감소는 지인 네트워크 내에서 화합이라는 가장 중요한 사회적 가치를 상쇄했다는 것을 의미할 수 있습니다.  
While it is difficult for residents to say no to their acquaintances, such as friends or peers, this seems to especially be the case for Chinese residents. Although residents understand that certain behaviors, such as when friends request priority medical bookings (Integrity-23) or when they are asked to sign-in for peers (Integrity-24), are nepotic and violate basic principles of moral integrity, most will still choose to say yes to these requests. In Chinese culture, this kind of behavior can be attributed to an exchange of renqing (Chen, 2005; Wang & Pak, 2015), which is crucial to the harmonious balance of society. Helping acquaintances resolve these troubles would add much face for the residents, but if they refuse to help, it would not only violate the relational expectations of the acquaintance, it would also violate a wider social norm grounded in Confucian ethics, often resulting in both parties losing face (Bedford, 2022). The reduction in trust may imply that you have offset the paramount social value of harmony within this network of acquaintances.

중국인들은 또한 일부 어려운 환자의 요청을 거절하는 데 어려움을 겪고 있다고 보고했습니다. 전공의의 나이가 젊어 보인다는 이유만으로 전공의가 잘 할 수 있는 시술을 더 높은 수준의 의사에게 의뢰하거나(의사소통-10, 12), 환자가 불필요하거나 과한 의료 서비스를 요구하는 경우(의료 자원의 공정한 관리-44) 등 불합리해 보이는 요청에도 환자의 고집에 타협하는 경우가 있다고 합니다. 이제 막 입사한 레지던트가 환자의 요청에 따라 개인 연락처를 알려주는 데 동의하는 현상도 있습니다(커뮤니케이션-9). 레지던트들은 학부 의학교육 과정에서 배운 이타주의의 강한 영향력을 "내가 할 수 있는 한 많이 도와야 한다"와 같은 말로 간접적으로 자주 언급했습니다. 이타주의는 조화로운 의사-환자 관계를 구축하려는 궁극적인 목표와 함께 강조되는 핵심 요소일 수 있습니다(Luo et al., 2017). 그러나 이러한 바람직한 결과를 달성하기 위해서는 좋은 이타적 의도와 적절한 전문직업성 교육 및 제도적 지원이 병행되어야 합니다. 중국에서는 위챗이 주요 커뮤니케이션 앱으로 성장했으며, 일부 중국 의사들은 지속적인 진료를 제공하기 위해 위챗에 자체 환자 그룹을 개설하기도 합니다(Zhang, 2017). 그러나 의사들은 WeChat 연락처를 가진 환자로부터 지속적으로 압박을 받거나 심지어 괴롭힘을 당한다고 보고했으며, 이로 인해 의사들은 환자에게 개인 연락처 정보를 제공할지 여부를 놓고 고민하고 있습니다. 이러한 상황이 만연해 있으므로 레지던트는 임상 로테이션을 시작하기 전에 사적인 채널을 통해 환자와 소통할 경우 어떤 결과가 초래될 수 있는지 알려야 합니다. 여기에는 일과 휴식 사이의 뚜렷한 이분법 부족, 비공식적인 상담으로 인한 잠재적 오진 및 위험 등이 포함될 수 있지만 이에 국한되지는 않습니다(Hu, 2020). 이 모든 것은 중국의 의료 교육에 개인정보 보호 및 정보 관리 교육이 포함되어야 함을 시사하며, 이는 현재 아직 개발 중입니다. 일부 중국 의료진이 사적인 채널을 통해 환자와 소통하는 이유에 대해서는 병원 내 공개 커뮤니케이션 채널의 활용도가 낮고(Liu, 2017) 미국, 영국, 호주 등 국가에서 이미 시행 중인 전문직업성에 대한 통일된 소셜 미디어 가이드라인이 없기 때문이며(DeJong, 2018), 중국 의료기관은 일반적인 권고 사항(예: 사적인 채널을 통해 진단이나 치료를 해서는 안 된다)만 제시하고 비공식 커뮤니케이션 채널에 대한 명확한 제한을 설정하지 않았기 때문이라고 설명합니다. 이와 같은 의사들의 딜레마를 해결하기 위해서는 전문직업성 교육이 무엇보다 중요하지만, 국가 차원에서 소셜 미디어 가이드라인을 마련하고, 병원은 공개 및 내부 커뮤니케이션 시스템을 강화하며, 지역사회 차원에서 이러한 주제에 대한 환자 교육을 실시할 것을 권장합니다. 

Chinese residents also reported difficulty saying no to the requests of some difficult patients. Even if requests seem unreasonable, the resident may compromise at the patient’s insistence, such as when patients request a higher-level physician for a procedure the resident can well take care of simply because the resident appears young in age (Communication-10 & 12) or when patients request unnecessary or over-the-top medical services (Fair stewardship of health care resources-44). A phenomenon is that some residents who are just entering the workplace would agree to give patients their personal contact information at the patient’s request (Communication-9). Residents have frequently, and sometimes indirectly, referenced the strong influence of altruism taught during their undergraduate medical education, with statements such as, “helping as much as I can”. Altruism may be a key factor here, emphasized with the ultimate goal to build a harmonious physician–patient relationship (Luo et al., 2017). However, to achieve this desired outcome, good altruistic intentions would need to be paired with appropriate professionalism training and institutional support. In China, WeChat has grown to become the primary communications app, and some Chinese physicians establish their own patient groups on WeChat to provide continuation of care (Zhang, 2017). However, residents have reported being constantly pressed or even harassed by patients who have their WeChat contact, which leaves residents struggling with whether to give patients their personal contact information. Given the pervasiveness of these situations, residents should be informed the consequences of communicating with patients through private channels prior to the start of their clinical rotations. These may include but are not limited to lack of a distinct dichotomy between work and rest and potential misdiagnoses and risks arising from informal consultations (Hu, 2020). All of this suggest that medical education in China should include privacy and information management training, which is currently still under development. As for why some Chinese medical staff continue to communicate with patients through private channels, it comes down to poorly utilized public communication channels in hospitals (Liu, 2017) and the lack of unified social media guidelines on professionalism, such as those already in effect in countries such as the US, UK, and Australia (DeJong, 2018), and Chinese medical institutions have only provided general recommendations (e.g., diagnoses or treatment should not be done via private channels) but have not established clear restrictions on unofficial communication channels. While professionalism education is paramount in the wake of this type of dilemma for residents, we also recommend that social media guidelines be set at a national level, hospitals strengthen their public and internal communication systems, and patient education on these topics be provided at the community level.

한 레지던트는 동료가 모자이크(프라이버시 보호를 위해 사진을 디지털 픽셀로 처리한 것) 처리 없이 소아 환자의 사진을 WeChat 모멘트에 게시하는 것을 목격했다고 언급했습니다(환자 기밀-50). 의사나 레지던트가 의도적이든 의도적이지 않든 위챗과 같은 소셜 미디어 앱에 환자 정보를 공개하는 경우가 있기 때문에, 이러한 사례는 비단 한 사람에게만 국한된 것은 아닙니다. WeChat은 이제 중국에서 없어서는 안 될 올인원 앱으로, 메시징 앱으로 기능하고, 공식 계정을 호스팅하고, 대화형 소셜 피드 플랫폼(WeChat 모멘트)을 지원하고, 디지털 결제 서비스(WeChat Pay)를 제공하고, 미니 프로그램이나 비디오 채널을 제공합니다(CMI 미디어 그룹, 2020). 의료 전문가들도 WeChat을 사용하여 앱 내에서 의료용 애플릿에 액세스하고 WeChat 모멘트에서 업무 및 생활 업데이트를 공유합니다(오슬로 대학교 인문학부, 2020). 이 레지던트는 환자 사진을 소셜 미디어에 공유하는 것이 비전문직업적이라고 생각했지만, 숨겨진 커리큘럼이나 사회 규범 위반에 대한 두려움 때문에 동료에게 이 문제를 제기하거나 상사에게 보고하지 않았습니다. 그럼에도 불구하고 중국 법률은 의사가 환자의 사생활을 공개하는 것을 명시적으로 금지하고 있으며, 이로 인한 부작용에 따라 경고, 벌금, 의사 면허 정지 또는 취소에 이르는 처벌이 부과될 수 있습니다(중화인민공화국 국무원, 2021). 그러나 현실적으로 의료기관이 직원들이 소셜 미디어에서 공유하는 모든 정보를 모니터링하기는 어렵기 때문에 의사와 레지던트에 대한 처벌은 환자 개인의 불만부터 병원 경영에 이르기까지 사안별로 발생할 가능성이 높습니다. 환자의 프라이버시와 의사의 전문직업성을 모두 보호한다는 관점에서, 의료 전문가에게 환자 프라이버시 침해로 간주되는 행동을 명확하게 알리는 프로그램과 가이드라인을 시행하는 것도 마찬가지로 중요합니다.  
One resident mentioned witnessing colleagues post photos of child patients without mosaic (digital pixelation of photos to protect privacy) on WeChat moments (Patient confidentiality-50). This may not be an isolated singular scenario, since at times, physicians or residents may intentionally or unintentionally disclose patient information on social media apps such as WeChat. WeChat is now an indispensable all-in-one app in China, functioning as a messaging app, hosting official accounts, supporting an interactive social feeds platform (WeChat Moments), providing digital payment services (WeChat Pay), and featuring mini programs or video channels (CMI Media Group, 2020). Health professionals also use WeChat to access medical applets within the app and to share work and life updates in WeChat Moments (Faculty of Humanities of University of Oslo, 2020). For this resident, even though she believed sharing photos of patients to social media was unprofessional, she did not confront her colleagues about this or report it to her superiors, possibly for fear of the hidden curriculum or violating social constructs. Nevertheless, Chinese law explicitly prohibits physicians from disclosing patients’ privacy, and punishments ranging from warnings, fines, suspension or even revocation of physicians’ licenses can be imposed depending on the adverse consequences caused (The State Council of the People’s Republic of China, 2021). However, in actuality, it may be difficult for medical institutions to monitor all information shared by its employees on social media, so consequences against physicians and residents are more likely to crop up on a per-case basis from patients’ individual complaints to hospital management. In view of protecting both patient privacy and physician professionalism, it is equally important to implement programs and guidelines to clearly inform health professionals of behaviors that are indicative of a breach of patient privacy.

환자의 가족은 임상적 의사 결정에 중요한 역할을 하는데(Weng et al., 2011), 이는 환자 가족의 요청에 따라 환자에게 진실을 숨기는 경우(사전 동의-53), 가족의 서명 거부로 사전 동의를 받을 수 없는 경우(사전 동의-55) 등의 딜레마가 발생하는 이유를 설명해 줍니다. 중국에서는 문화적, 사회적, 법적 요인이 환자에게 질병 상태를 완전히 공개하지 않는 데 근본적인 역할을 합니다. 예를 들어, 환자가 암 진단을 받으면 의사는 환자의 가족에게 먼저 알리고, 가족은 환자가 질병에 대해 어느 정도 알아야 하는지 결정합니다(Tang et al., 2006). 의사가 암 진단에 대한 정보를 가족에게 먼저 제공하도록 선택할 수 있다는 것은 중국 법률에 의해 뒷받침됩니다(중화인민공화국 국무원, 2021). 많은 중국인에게 죽음에 대한 논의는 금기시되기 때문에(Ho et al., 2017), 가족 구성원은 환자가 감당하기 힘들고 정서적 붕괴로 이어져 환자의 죽음을 앞당길 수 있다는 두려움 때문에 환자에게 진실을 밝히기 위해 숨기거나 점진적인 접근 방식을 취하는 경향이 있습니다(Weng et al., 2011). 또한 중국의 집단주의 문화에서는 환자를 별도의 개인으로 간주하지 않고 가족의 구성원으로 간주합니다(Ho et al., 2012). 따라서 자연스럽게 임상적 결정과 정서적 부담 모두 환자의 가족 전체가 공유합니다. Su 등은 암 진단을 통보받은 직후에는 환자에게 불안과 고통을 유발할 수 있지만, 암 진단을 완전히 공개하는 것이 장기적으로 환자에게 도움이 된다고 제안합니다(Su 등., 2020). 우리는 집단주의 문화권에서 가족의 역할은 환자에게 중대한 질병을 숨기는 것이 아니라 환자에게 알린 후 환자가 정서적 부담을 감당할 수 있도록 돕는 것으로 구체화되어야 한다고 믿습니다.  
Family members of patients play an important role in clinical decision-making (Weng et al., 2011), which explains why there are dilemmas such as Concealing the truth from patients at the request of the patient’s family (Informed consent-53) and Inability to obtain informed consent owing to the family’s refusal to sign (Informed consent-55). In China, cultural, social, and legal factors play a fundamental role in not fully revealing disease status to patients. For example, when a patient is diagnosed with cancer, the physician would often first inform the patient’s family members, who would then determine how much the patient should know about the condition (Tang et al., 2006). It is supported by Chinese law that physicians may choose to give information about cancer diagnoses to family members first (The State Council of the People’s Republic of China, 2021). For many Chinese, discussions of death are taboo (Ho et al., 2017), so family members tend to conceal or take more gradual approaches to disclose the truth to the patient because they fear it would be too much for the patient to bear and would lead to an emotional breakdown that would accelerate the patient’s death (Weng et al., 2011). Additionally, under the Chinese collectivist culture, the patient is not considered to be a separate individual but rather a component of the family (Ho et al., 2012). Therefore, naturally, both clinical decisions and emotional burdens are shared by the patient’s entire family. Su et al. suggest that although it may cause anxiety and distress in patients immediately after being informed of their diagnosis, the complete disclosure of cancer diagnoses benefits patients in the long term (Su et al., 2020). We believe that in collectivist cultures, the role of the family should be embodied in helping patients bear the emotional burden after informing patients rather than concealing critical illnesses from patients.

우리의 연구 결과는 집단주의와 관계주의가 중국인이 직면하는 전문직업성 딜레마를 분석하는 데 큰 설명력을 가지고 있음을 시사하는 것 같습니다.

• 집단주의는 상호 의존적인 사회적 지향을 나타내며, 이는 자아를 중요한 관계를 포괄하는 상호 연결된 존재로 보는 관점과 관련이 있습니다(Grossmann & Na, 2014). 집단주의 사회는 조화, 관련성, 사회적 연결에 중점을 두는 경향이 있습니다(Oyserman & Lee, 2008). 또한 토착 심리학자들은 유교 문화의 영향을 강조하며 유교 사회에서 개인을 고립된 존재가 아닌 사회적 관계의 관점에서 이해할 것을 제안하며, 렌칭, 꽌시, 면지는 사회적 관계와 개인 행동을 이해하는 데 중요한 개념입니다(Wang & Pak, 2015). 이러한 관점에서 볼 때, 중국인들이 자기 자신에 대한 영향에 대해서는 덜 합리화하지만 자신의 행동이 가능한 모든 팀원과의 관계, 환자 및 가족과의 관계에 미치는 파급 효과에 대해서는 광범위하게 고려하는 것은 놀라운 일이 아닙니다(Ho et al., 2012). 이는 한국, 일본, 싱가포르와 같이 유교의 영향을 받은 사회에 문화적 뿌리를 둔 의사들을 만날 때 특히 주목해야 할 현상입니다.
• 관계주의는 유교 사회에서 더 두드러지지만, 복종과 충성의 원칙을 인정하지 않는 등 개인주의가 더 뚜렷한 사회에서도 관계에 대한 관심이 없는 것은 아닙니다(Lingard et al., 2001). 아마도 전 세계의 레지던트들을 위해 의학교육자들은 현재 개인 수준에서 적용되는 원칙을 강조하는 것에서 나아가 임상 환경에서 관계의 균형을 잡을 수 있도록 명시적으로 도와야 할 것입니다. 

Our results seem to suggest that collectivism and relationalism have great explanatory power in the analyses of professionalism dilemmas encountered by Chinese residents.

• Collectivism represents an interdependent social orientation, which is associated with a view of the self as interconnected, encompassing important relationships (Grossmann & Na, 2014). Collectivist societies tend to focus on harmony, relatedness, and social connection (Oyserman & Lee, 2008). Also, indigenous psychologists highlight the influence of Confucian culture and propose to understand the individual in Confucian societies not in isolation but in terms of social relationships, and renqing, guanxi, and mianzi are important concepts in understanding social relationships and personal behaviors (Wang & Pak, 2015). From this perspective, it is not surprising that Chinese residents rationalised less frequently about implications for self but extensively considered the rippling effects of their behaviors on their relationships with all possible team members and with patients and their families (Ho et al., 2012). It is a phenomenon to which we should pay special attention when we encounter physicians with cultural roots in Confucius-influenced societies, such as those of Korea, Japan, and Singapore.
• Although relationalism is more pronounced in Confucian societies, attention to relationships is not absent in societies in which individualism is more evident, such as in unavowed principles of obedience and allegiance (Lingard et al., 2001). Perhaps, for residents all over the world, medical educators should move beyond the current emphasis on principles that apply at the individual level and explicitly help them to balance relationships in clinical settings.

집단주의와 관계주의는 타인에 대한 친절, 이타심, 연대, 상호 도움, 신뢰, 지원, 개선을 옹호하며(Wang, 2006), 깊은 상호의존 관계, 사회적 조화와 안정, 사회의 균형을 가져다줍니다(Oyserman et al., 2002). 그러나 이러한 긍정적인 효과에도 불구하고, 본 연구 결과와 앞선 논의에서 살펴본 바와 같이 강한 집단주의 사회의 문화적 증상은 뚜렷한 개인적 경계가 없는 것과 같은 문제점을 야기하기도 합니다. 따라서 우리가 작성한 전문직업성 딜레마 체크리스트는 이러한 전문직업성 문제를 해결하기 위한 초기 도구로 사용될 수 있습니다. 체크리스트에 제시된 항목과 주제는 향후 사례 연구 및 평가 루브릭을 위한 기반을 마련하여 다양한 개입 또는 개선 접근법을 알려줄 수 있습니다. 이를 바탕으로 전문직업성 교육은 레지던트들이 전문직업적으로 행동하고 임상에서 전문직업성 딜레마와 도전에 대처하는 데 필요한 대처 기술을 연마하고 보건 시스템 및 병원 관리 원칙과 지침을 개선하는 데 도움이 될 것입니다. 이 연구 결과의 또 다른 이점은 체크리스트에서 제기된 사항을 바탕으로 의학 지식의 대중화, 의료진 존중, 의료 시스템 탐색 등 개선이 필요한 영역을 다룰 수 있는 환자 교육에서의 역할이 될 것입니다.  

Collectivism and relationalism advocate kindness to others, selflessness, solidarity, and mutual help, trust, support, and improvement (Wang, 2006) and bring about deeply interdependent relationships, social harmony and stability, and a balance to society (Oyserman et al., 2002). However, despite these positive effects, cultural symptoms of a strongly collectivist society also pose its own challenges, such as a lack of distinct personal boundaries, as demonstrated in the results of this study and in the previous discussion. As such, the checklist of professionalism dilemmas we have compiled may serve as an initial tool to begin tackling these professionalism challenges. The items and themes presented in the checklist would pave the way for future case studies and evaluation rubrics that could inform a variety of interventions or remedial approaches. Based on these, professionalism training would equip residents to conduct themselves professionally and also hone the necessary coping skills to deal with professionalism dilemmas and challenges in clinical practice and aid in improving health system and hospital management principles and guidelines. An added benefit of the results of this study would be its role in patient education, where areas that require improvement, such as popularizing medical knowledge, respect for healthcare providers, and navigating the health care system, can be addressed based on points raised within the checklist.

본 연구에는 몇 가지 한계가 있습니다. 이 연구에서 인터뷰 대상자를 의도적으로 샘플링했기 때문에 편향된 대표성을 나타낼 수 있습니다(Tongco, 2007). 포커스 그룹은 단일 병원에서 실시되었기 때문에 다른 기관에서 근무하는 레지던트의 경험과 관찰을 반영하지 못할 수 있으므로 연구 결과를 더 많은 집단에 일반화하는 데 한계가 있습니다. 또한 레지던트 수련 기간이 길수록 각 전문직업성 딜레마에 대해 듣고, 목격하고, 경험한 레지던트의 비율이 더 높을 가능성이 높았습니다. 이 연구에서는 수련 기간이 다른 레지던트들을 포함했지만, 모집된 참가자 중 52%가 수련 기간이 6개월밖에 되지 않은 레지던트였기 때문에 전문직업성 딜레마에 대한 전반적인 보고율이 낮을 수 있습니다. 향후 대규모 표본 추출을 통해 레지던트를 폭넓게 대표하는 정량적 연구에서는 잠재적 편향에 대한 우려를 최소화하기 위해 전공과, 경력 수준, 사회인구학적 배경에 따라 레지던트들이 보고한 전문직업성 딜레마의 범위를 비교해야 합니다. 이 버전의 전문직업성 딜레마 체크리스트가 완전한 것은 아니며 향후 임상 분야, 기관 및 지역 전반에 걸쳐 의견을 폭넓게 수렴하려는 노력이 필요하다는 점에 유의할 필요가 있습니다. 이 연구의 주요 목적은 전문직업성 딜레마 체크리스트를 구성하는 것이었지만, 이 체크리스트가 실행된다면 심리측정 특성에 대한 추가 테스트를 통해 이러한 전문직업성 딜레마가 레지던트의 복지 및 제공되는 의료 서비스의 질과 어떤 관련이 있는지 밝혀낼 수 있을 것입니다.  

Our study has several limitations. The purposive sampling of interviewees in this study could have led to a biased representation (Tongco, 2007). Focus groups were conducted at a single hospital and may not reflect the experiences and observations of residents at other institutions, so generalization of research findings to the larger population is limited. In addition, longer residency training was more likely to increase the proportion of residents who have heard of, witnessed, and experienced each of the professionalism dilemmas. In this study, although we included residents with different training years, 52% of the recruited participants were residents who had only been in training for 6 months, which may lower the overall reporting rates of professionalism dilemmas. Future quantitative studies of a wide representation of residents through large-scale sampling should compare the range of professionalism dilemmas reported by residents across specialties, experience levels, and sociodemographic backgrounds in order to minimize concern for potential bias. It is worth noting that this version of the professionalism dilemma checklist is not inexhaustible and would benefit from future efforts to broaden input across clinical disciplines, institutions, and regions. Although the main aim of this study was to construct a checklist of professionalism dilemmas, if this checklist is to be implemented, further testing of its psychometric properties would shed light on how these professionalism dilemmas relate to resident wellbeing and quality of health care provided.

Residents play a pivotal role in the healthcare system. However, few tools have systematically revealed the dilemmas and challenges faced by residents. This study aimed to develop a checklist for professionalism dilemmas based on a behavior-based professionalism framework and to examine the range and proportion of professionalism dilemmas heard of, witnessed, or experienced by Chinese residents. Mixed methods were used, comprising qualitative (document analysis and focus group interviews) and quantitative (a small-scale questionnaire survey) data. Document analysis summarized professionalism dilemma items from previous publications. For focus group interviews, we used narrative inquiry to explore and make sense of residents' experiences and perceptions of professionalism dilemmas. A small-scale questionnaire survey was conducted during each focus group to investigate the proportion of professionalism dilemma items that residents reported to have heard of, witnessed, or experienced. Through document analysis and focus group interviews, we developed a checklist of professionalism dilemmas based on a behavior-based professionalism framework. The checklist included 58 items over four domains, with 10 sub-domains (compassion, respect, communication, collaboration, integrity, duty, pursuit of excellence, fair stewardship of health care resources, patient confidentiality, and informed consent). We also sought a preliminarily subjective impression by exploring the proportion of residents who have heard of, witnessed, and experienced each of the professionalism dilemma items and residents' perspectives when faced with professionalism dilemmas. Residents inevitably encounter or experience a diverse range of professionalism dilemmas. This checklist of professionalism dilemmas that was developed could prove to be a significant reference for targeted professionalism education, both for the resident as well as for faculty. It can also act as a helpful tool for improving hospital management guidelines and patient education.

그림 1 사례 기반 학습에 대한 실증주의 및 구성주의 접근 방식.
Figure 1 Positivist and Constructivist Approaches to Case-Based Learning.

형식
Format

텍스트 기반 증례의 형식은 꾸준히 도전받지 않고 있습니다. 기관마다 차이가 있을 수 있지만, 일반적으로 사례는 간결하게 작성되고 사례의 임상적 초점을 강조하는 전통적인 구조를 따르는 것이 일반적입니다. 일반적으로 증상, 조사 및 치료법이 나열된 환자 시나리오에 대한 설명, 일련의 학습 목표 및 리소스, 몇 가지 안내 질문이 포함됩니다. 
The format of text-based cases remains consistently unchallenged. While there might be variation between institutions, we have generally come to expect cases that are written concisely, and offer a traditional structure that highlights the clinical focus of the case. They generally include a description of the patient scenario where symptoms, investigations, and treatments are listed; a set of learning objectives and resources; and some guiding questions.

각 사례마다 등장하는 환자의 이름과 상태는 다르지만 사례의 틀 자체는 몇 번이고 반복해서 재현됩니다. 학생들은 이를 다소 지루하게 느낄 수 있으며, 이는 "PBL 피로감"[40]의 원인이 될 수 있습니다. 또한 이러한 유사한 구조의 사례는 각 모의 임상 상황을 다소 '동일'하게 제시하여 각 환자의 고유성과 복잡성을 떨어뜨리고, 환자 및 동료와의 임상 상황(예: 구두 사례 인계 시)에서 경험할 수 있는 구술 방식에서 벗어날 수 있습니다. 또한 텍스트가 많은 문서는 난독증과 같은 학습 장애를 가진 학습자를 포함하여 다양한 학습 프로필을 가진 학습자의 접근성에 장벽이 될 수 있습니다.
Although each case is unique in terms of the names and conditions of the patients represented, the framework for the case, itself, is reproduced again and again. Students can begin to find this rather boring, contributing to what has been referred to as “PBL fatigue” [40]. Additionally, these similarly structured cases present each simulated clinical encounter as more or less “the same,” detracting from the uniqueness and complexity of each patient, and deviating from the ways that spoken speech may be experienced in clinical encounters with patients and colleagues (e.g., during oral case handovers). Further, text-dense documents may pose barriers to accessibility for learners with diverse learning profiles, including those with learning differences such as dyslexia.

표준화된 판례 형식을 재현하는 것은 오랜 관행으로 보입니다. 예를 들어, 1993년 굿과 굿은 "사례 구성 방식(사회적, 개인적 특성은 최소화되고, 생리적 세부 사항은 매우 많음)과 환자가 사례로 재구성되는 방식에 대해 명시적인 주의를 기울이지 않는다"고 관찰했습니다. [41 p94].
The reproduction of a standardized case format appears to be a long-standing practice. For example, in 1993, Good and Good observed, “No explicit attention is paid to how cases are constructed (with minimal social and personal characteristics and great physiological detail) and how sufferers are reconstructed as cases….” [41 p94].

존재론적 충실성을 고려하기 위해 사례 형식을 재구상한다면, 사례 구조화에 대한 규정된 접근 방식을 재고할 수 있습니다. 템플릿은 포함해야 하는 모든 세부 사항을 처리한다는 측면에서 의심할 여지 없이 유용하지만, 템플릿은 모든 사례가 동일하게 보이고, 따라서 동일한 방식으로 관리될 수 있다는 기대를 강화하는 역할을 하기도 합니다. 각 사례와 그 사례에서 영감을 얻거나 필요로 하는 관련 활동이 고유하도록 정보의 순서를 변경할 수 있습니다. 어떤 사례에는 환자의 이야기(글 또는 동영상)가 포함될 수 있고, 어떤 사례에는 의료진의 반성적 의견이 포함될 수도 있습니다. 유도 질문은 특정 정보를 이끌어내기 위해 고안된 것이 아니라 더 높은 수준의 토론, 비판적 사고 및 공감을 불러일으키기 위해 방향을 바꿀 수 있습니다.  
Were we to reimagine case format to attend to ontological fidelity, we might reconsider the prescribed approach to structuring cases. While templates are undoubtedly helpful in terms of attending to all the details that need to be included, templates also serve to reinforce the expectation that all cases look the same, and relatedly, can be managed in the same way. The order of information might be changed so that each case, and the related activities it inspires/requires, is unique. Sometimes cases may feature stories from patients (which could be written or video), and in others they might include reflective comments from practitioners. Guiding questions, rather than being designed to draw out specific bits of information, might be reoriented to inspire higher level discussion, critical thinking, and empathy.

콘텐츠
Content

사례 기반 접근법은 흔히 '환자 중심'의 교육적 접근법으로 설명됩니다[14, 16, 27, 42, 43, 44, 45, 46, 47]. 각 사례에는 환자가 등장하는데, 그 외에 다른 무엇이 있을 수 있을까요? 
Case-informed approaches are frequently described as a “patient-centred” pedagogical approach [14, 16, 27, 42, 43, 44, 45, 46, 47]. Each case features a patient—how could they be anything else?

그러나 우리는 단순히 각 사례에 이름이 지정된 환자가 있는 것만으로는 존재론적 충실성에 필요한 환자 관점을 제공하지 못한다고 생각합니다. 교육 사례에서 환자는 종종 내러티브 장치, 즉 생물의학 또는 임상 정보를 전달하는 2차원적인 수단으로 쓰입니다. 이러한 환자들은 이름과 직업이 부여된 증상 목록으로 제시됩니다. 

• 환자의 목소리를 직접 듣는 경우는 거의 없습니다[2].
• 해당 사례의 감정적 요소에 대해 배우거나 고려하는 경우는 거의 없습니다.
• 개별 환자에게 진단이 얼마나 큰 영향을 미치는지, 진단을 받은 환자의 삶이 어떻게 변할지를 거의 다루지 않습니다. 특히 몇 주에서 몇 달에 걸친 긴 검사와 진료 예약을 거치는 동안의 삶은 서류상 한두 단락과 동일시할 수 없다.
• 환자의 사회적 위치에 따라 질병이 다르게 경험된다는 진단의 사회적 현실을 다루는 사례는 거의 없습니다.

대신, 사례는 일반적으로 환자의 구체화된 경험, 주체성, 인간성의 윤곽이 결여되어, 평면적이고, 정돈되고, 질서정연합니다. 이러한 평면성은 어떤 악의적인 의도에서 비롯된 것은 아니지만, 그 결과는 심각합니다. 
We believe, however, that simply having a named patient in each case does not offer the patient perspectives necessary for ontological fidelity. The patient in an educational case is often written as a narrative device: a two-dimensional vehicle for relaying biomedical or clinical information.

• They are presented as a list of symptoms assigned a name and, in some instances, a job.
• Rarely do we hear from a patient in their own voice in cases [2].
• Rarely do we learn about, or even consider, the emotional elements of the case in question.
• Rarely do cases engage with the magnitude of the diagnosis for individual patients and what life will look like for those who have been diagnosed, particularly as they wade through lengthy weeks and months of testing and appointments, which does not equate to a paragraph or two on paper.
• Rarely do cases address the social realities of a diagnosis: that an illness is experienced differently depending on social location of the patient.

Instead, cases are generally flat, tidy, and orderly—lacking the contours of a patient’s embodied experience, agency, and humanness. While this flatness does not arise from any ill intent, it is consequential.

존재론적 충실성을 고려하기 위해 사례 콘텐츠를 재구상한다는 것은 관련 임상 정보뿐만 아니라 임상적 만남의 다른 인간적 차원에도 주의를 기울이는 것을 의미할 수 있습니다. 환자는 종종 신뢰할 수 없는 정보 출처로 고정관념화되어 지식 생성에 기여할 수 있는 능력을 부정당하는 등 인식론적 불공평으로 인해 환자의 목소리는 역사적으로 배제되어 왔습니다[48]. 사례 작성 과정에서 실제 환자(뿐만 아니라 의사 및 기타 의료 서비스 제공자)를 초대하여 일상적인 임상 이야기를 공유함으로써 환자-의사 상호작용의 내러티브 특성을 더욱 부각시킬 수 있습니다. 
Reimagining case content to attend to ontological fidelity might mean attending not only to the relevant clinical information, but also to the other human dimensions of a clinical encounter. The patient voice has historically been excluded, in part, due to epistemic injustice: patients are often stereotyped as unreliable sources of information and are therefore denied the capacity to contribute to knowledge generation [48]. The narrative nature of any patient-physician interaction would be made more present by inviting real patients (as well as physicians and other health care providers) to share everyday clinical stories in the case writing process.

우리는 (임상의, 환자 및 당면한 시나리오와 관련된 다른 사람들의) 목소리를 들을 수 있습니다. 사용된 단어, 표현된 감정, 묘사된 반응은 진솔할 것이며, 이야기는 깔끔하거나 논리적인 타임라인을 따르지 않을 수도 있고, 심지어 약간 지저분할 수도 있습니다! 학습자가 커리큘럼을 진행하면서 기술, 지식 및 자신감을 얻게 되면 의료 행위를 포함한 인간 경험의 특징인 불확실성과 모호함에 대한 편안함을 키우기 위해 노력하면서 사례가 점차 더 지저분해질 여지가 있을 수도 있습니다. 
We would hear voices—of clinicians, of patients, and of others relevant to the scenario at hand. The words used, the feelings expressed, and the reactions described would be authentic, and the story might not follow a neat or logical timeline—it might even be a bit messy! There may even be room for cases to become progressively messier as learners move through the curriculum and gain skill, knowledge, and confidence, working toward fostering comfort with uncertainty and ambiguity that characterizes human experience, including medical practice.

목적
Purpose

풍부한 대화를 유도하고 깊은 사고를 불러일으키는 사례를 작성하기 위해 최선을 다하고 있지만, 일반적으로 커리큘럼을 구성하는 사례는 주로 필수 정보를 전달하는 것을 목표로 합니다. 따라서 사례는 일종의 체크리스트 역할을 하는 경우가 많습니다. 
Despite our best efforts to write cases that lead to rich conversation and inspire deep thinking, the cases that commonly structure our curriculum aim primarily to impart essential information. Consequently, cases often come to serve as a type of checklist.

사례의 의식화된 목적은 학생들이 기대하는 일련의 규정된 소그룹 학습 관행을 불러일으키며, 강렬하고 스트레스가 많은 업무량[49]으로 인해 '일단 해치우자'는 태도로 접근하는 경우가 많습니다[2]. 사례에 접근하는 방식을 사례에 대입하면, 사례는 종종 세부 사항이 제한되어 간결하게 작성되고[33], 복잡한 아이디어를 암기하기 쉬운 단계나 범주로 단순화하며, 다가오는 시험에서 평가될 수 있는 자료를 간소화하는 데 중점을 두는 경우가 많다는 것을 의미합니다.
The ritualized purpose of a case invokes a set of prescribed small-group learning practices that students have come to expect, and—motivated by a workload that is intense and stressful [49]—these are often approached with a ‘let’s get this done’ attitude [2]. Translated into how we approach cases, this means that they are often anticipated to be succinct with limited detail [33]; they simplify complex ideas into easy-to-memorize steps or categories; and they focus on streamlining material that might be assessed on an upcoming exam.

마찬가지로 사례는 일상적인 방식으로 전개될 것으로 예상됩니다. 부정적(예: 환자의 사망으로 끝나는 경우)이든 긍정적(예: 환자의 회복과 번영으로 끝나는 경우)이든 학습자는 일반적으로 사례가 구체적인 해결책으로 마무리될 것으로 기대합니다. 그러나 사례의 목적이 학생이 맥락에서 학습할 수 있는 메커니즘을 제공하는 것이라면 사례는 다층적이고 복잡한[14, 17, 30] 실제 의료 행위의 맥락을 시뮬레이션해야 합니다[50]. 반응과 풍부한 대화를 유도하기 위해 사례는 다소 복잡할 것이라고 예상할 수 있습니다.
Likewise, cases are expected to unfold in a routine way. Whether negative (ending with the patient’s death, perhaps) or positive (ending with the patient recovering and thriving, for example), learners generally expect the cases to conclude with a concrete resolution. However, if the purpose of cases is to provide a mechanism for students to learn in context, cases ought to simulate the context of real-life medical practice [14, 17, 30], which is multi-layered and complex [50]. One might expect that cases would be somewhat convoluted, in order to inspire reaction and rich conversation.

존재론적 충실도를 고려하기 위해 사례를 재구성한다면, 의료 행위를 구성하는 스토리를 위한 공간을 확보할 수 있도록 사례를 재구성할 수 있습니다. 사례는 복잡한 상황이나 일상에서 벗어나 쉽게 해결되지 않을 수 있는 상황을 제시할 수 있습니다. 이러한 사례는 의사들이 실제 진료에서 직면하게 될 문제 유형에 대해 더 깊은 사고와 성찰, 분석을 촉진할 수 있습니다. 
If we were to reimagine cases to attend to ontological fidelity, we might reorient cases so that they make space for the stories that constitute medical practice. Cases might present a complicated situation, or one that moves away from the routine and might not be easily resolved. This could foster deeper thinking, introspection, and analysis of the types of challenges they will face moving forward in practice.

1Department of Continuing Professional Development and Medical Education, Dalhousie University, Halifax, Nova Scotia, Canada.

2Department of Emergency Medicine, Dalhousie University, Halifax, Nova Scotia, Canada.

3Department of Pediatrics, Dalhousie University, Halifax, Nova Scotia, Canada.

Case-informed learning is an umbrella term we use to classify pedagogical approaches that use text-based cases for learning. Examples include Problem-Based, Case-Based, and Team-Based approaches, amongst others. We contend that the cases at the heart of case-informed learning are philosophical artefacts that reveal traditional positivist orientations of medical education and medicine, more broadly, through their centering scientific knowledge and objective fact. This positivist orientation, however, leads to an absence of the human experience of medicine in most cases. One of the rationales for using cases is that they allow for learning in context, representing aspects of real-life medical practice in controlled environments. Cases are, therefore, a form of simulation. Yet issues of fidelity, widely discussed in the broader simulation literature, have yet to enter discussions of case-informed learning. We propose the concept of ontological fidelity as a way to approach ontological questions (i.e., questions regarding what we assume to be real), so that they might centre narrative and experiential elements of medicine. Ontological fidelity can help medical educators grapple with what information should be included in a case by encouraging an exploration of the philosophical questions: What is real? Which (and whose) reality do we want to simulate through cases? What are the essential elements of a case that make it feel real? What is the clinical story we want to reproduce in case format? In this Eye-Opener, we explore what it would mean to create cases from a position of ontological fidelity and provide suggestions for how to do this in everyday medical education.

소규모 코호트에서 적절하고 방어 가능한 표준 설정의 어려움에 대한 조사
Investigating the challenge of appropriate, defensible standard setting in small cohorts

이 백서에서는 훈련된 임상 평가자가 있는 소규모 코호트에서 BRM이 방어 가능한 표준을 제공할 수 있는 조건에 관한 보다 맥락화된 증거 기반을 개발하기 위해 다양한 소규모 코호트 맥락에서 BRM의 사용을 조사합니다. 특히 소규모 코호트에서 표준 설정에 이 접근법을 사용할 때 발생하는 문제(및 그 유병률)를 더 잘 이해하는 데 관심이 있습니다. 연구실 수준의 품질을 측정하는 주요 지표로, 글로벌 등급과 체크리스트 점수 사이의 선형적 연관성의 강도를 측정하는 R-제곱을 사용합니다(Pell 외. 2010). 공식적으로 이는 두 점수 간의 공유 분산 비율을 정량화하며, 높은 값(예: 0.8)은 강한 연관성을 나타내며 BRM에 따른 점수 및 표준 설정의 유효성에 대한 증거를 제공하는 반면, 낮은 값(예: 0.4 또는 0.5 미만)은 스테이션에 잠재적으로 문제가 있음을 나타냅니다((Pell et al. 2010). 또한 점수의 확산 정도를 평가하기 위해 분산 그래프를 육안으로 검사하며, 방법 섹션에서 접근 방식에 대한 자세한 내용을 제공합니다. 
In this paper we investigate the use of BRM in a range of different small cohort contexts in order to develop a more contextualized evidence-base regarding the conditions under which BRM in small cohorts with trained clinical assessors might provide defensible standards. We are particularly interested in better understanding the issues (and their prevalence) that arise when using this approach to standard setting in small cohorts. As our main metric of station-level quality, we use R-squared, the measure of the strength of linear association between the global grade and the checklist-score (Pell et al. 2010). Formally, this quantifies the proportion of shared variance between the two scores, with high values (e.g. 0.8) indicating a strong association and providing some evidence of validity in the scoring and standard setting under BRM, whereas low values (e.g. less than 0.4 or 0.5) potentially signify problems in the station ((Pell et al. 2010). We also employ visual inspection of scatter graphs to assess the degree of spread in scores – we give more details of our approach in methods section.

이 논문은 시험장 수준에서의 표준 설정에 초점을 맞추고 있으며, 시험 수준에서의 결합 표준 사용과 관련된 더 광범위한 시험 문제(예: 통과된 최소 시험장 또는 측정 표준 오차)는 다루지 않습니다(Cizek and Bunch 2007, 2장; Hays et al. 2008). 소규모 코호트 성능 테스트에서 이러한 결합 표준을 사용하는 것은 별도의 조사가 필요합니다.
This paper focuses on standard setting at station level and does not explore wider examination issues related to the use of conjunctive standards at the test level (e.g. minimum stations passed or standard errors of measurement) (Cizek and Bunch 2007, chap. 2; Hays et al. 2008). The use of these conjunctive standards in small cohort performance testing merits separate investigation.

소규모 코호트를 사용한 평가 상황
Assessment contexts with small cohorts

우리는 상당히 다른 세 가지 고부담 평가 맥락에서 BRM의 사용을 조사합니다: 
We investigate the use of BRM in three quite different high stakes assessment contexts:

세 가지 후보 상황 모두에서 공통적으로 사용되는 방법
Common methods across all three candidate contexts

위에서 설명한 대로 다양한 스테이션 수준 데이터를 사용하여 스테이션 및 테스트 수준 메트릭을 조사하고 스테이션의 글로벌 등급과 총 주요 기능/도메인 점수 간의 관계를 조사합니다(Pell 외. 2010). R-제곱 값이 '낮은'(예: 0.4 미만) 스테이션의 경우(Pell 외. 2010), 각 스테이션 내에서 등급과 점수가 충분한 변동을 보이는 정도도 평가합니다. 전반적인 접근 방식은 체크리스트/영역 점수와 글로벌 등급 간의 충분히 만족스러운 양의 관계와 각 스테이션 내 등급/점수의 적절한 분포를 기반으로 스테이션 수준에서 BRM이 '작동'하고 있다는 증거가 있는지 평가하는 것입니다. 
Using a range of station-level data as detailed above, we investigate station- and test-level metrics and examine the relationship between global grades and total key feature/domain scores in stations (Pell et al. 2010). For stations with ‘low’ R-Squared value (e.g. below 0.4) (Pell et al. 2010), we also assess the extent to which grades and scores show sufficient variation within each station. Our overall approach is to assess whether there is evidence that BRM is ‘working’ at the station level – based on a sufficiently satisfactory positive relationship between checklist/domain scores and global grades, and an adequate spread of grades/scores within each station.

PLAB2 시험에 특정한 방법
Methods specific to PLAB2 exams

PLAB2 데이터의 경우, 위에서 설명한 일반적인 분석 외에도 시험장 수준(n = 3645)에서 간단한 기술 및 상관 분석 방법을 사용하여 컷 점수, 시설(합격률) 및 R-제곱 값 간의 관계를 조사하고 여러 행정부에 걸쳐 동일한 시험장에서 컷 점수가 달라지는 정도를 측정합니다. 
For the PLAB2 data, in addition to the common analyses outlined above, we also use simple descriptive and correlational methods at the station level (n = 3645) to probe the relationships between cut-scores, facility (pass rate) and R-squared values, and to measure the extent to which cut scores vary for the same station across multiple administrations.

순차적 시험에 특화된 방법
Methods specific to sequential exams

순차적 시험의 경우, BRM에서 설정한 표준을 이전 시험의 주요 코호트에서 생성된 표준과 비교하여 상당히 다른 학생 코호트에서 표준의 일관성을 평가합니다. 이 논문에서 고려한 다른 두 가지 상황과 달리, 2차 시험에 응시한 학생들은 1차 시험에서 충분히 우수한 성적을 거두지 못했기 때문에 이것만으로는 '합격'할 수 없다는 점에서 전체 코호트를 대표하지 않는다는 점에서 '극단적인 하위 집단'이라고 정의할 수 있습니다. 이는 전통적인 '재시험 OSCE'와 같이 시험장 및 시험 품질을 보장하는 데 사용되는 일반적인 측정 항목의 적절한 해석에 영향을 미칩니다(Pell 외. 2010). 점수의 범위가 제한적이어서 점수 간 상관관계가 낮을 가능성이 높고(Bland and Altman 2011), 전체 코호트에서 사용할 때보다 스테이션 실패율이 높을 것으로 예상되기 때문에 일반적인 신뢰도 측정은 일반적으로 적절하지 않습니다. 
For the sequential context, we also compare the BRM-set standards with those generated from main cohorts in a previous administration in order to assess the consistency of the standards across these quite different cohorts of students. In contrast to the other two contexts considered in this paper, the students sitting the sequence two examinations are by definition an ‘extreme sub-group’ in the sense that they are not representative of the full cohort, having failed to perform sufficiently strongly in the first sequence to ‘pass’ based on this alone. This has implications for the appropriate interpretation of the usual range of metrics used for assuring station and exam quality, akin to a traditional ‘resit OSCE’ (Pell et al. 2010). Typical measures of reliability are not usually appropriate as scores are likely to have a limited range which lowers correlation between scores (Bland and Altman 2011), and station failure rates will be expected to be high compared to when used in the full cohort.

PA 시험에 특화된 방법
Methods specific to the PA exams

PA 시험의 경우, 현재 실제 표준을 제공하기 위해 사용되는 수정된 앙고프 접근법의 표준과 스테이션 수준 및 전체 BRM 표준도 비교합니다. 이러한 비교 작업을 통해 BRM이 설정한 표준에 대한 추가적인 타당성 증거를 제공할 수 있습니다. 다른 두 가지 컨텍스트인 PLAB2와 Sequential의 경우, 앙고프 판단을 사용할 수 없으므로 이러한 추가 분석이 불가능합니다. 또한 재샘플링 접근법을 사용하여 각 시험에서 전체 합격 점수의 표준 오차를 계산합니다(Homer et al. 2016).  
For the PA exam, we also compare station-level and overall BRM standards with those from the modified Angoff approach that is currently employed to provide the actual standard. This comparative work allows for the possibility of providing additional validity evidence for the BRM-set standards. Note that for the other two contexts, PLAB2 and Sequential, Angoff judgements are not available so this additional analysis is not possible. We also calculate the standard error of the overall pass mark in each exam using a resampling approach (Homer et al. 2016).

PLAB2 시험
PLAB2 exams

크론바흐 알파로 측정한 198개 18개 스테이션 시험의 신뢰도는 198개 알파 값 분포의 5번째, 50번째, 95번째 백분위수가 각각 0.64, 0.79, 0.87로 전반적으로 양호한 수준입니다. 
The reliability of these 198 18-station examinations, as measured by Cronbach’s alpha, is generally good with the 5th, 50th and 95th percentiles of the distribution of 198 alpha values being 0.64, 0.79, and 0.87, respectively.

글로벌 성적과 도메인 점수 간의 관계의 강도(R-제곱)
The strength of the relationship between global grades and domain scores (R-squared)

주요 분석을 위해 먼저 198개 시행의 R-제곱 값의 분포를 살펴봅니다. 분석 대상인 3,564개 시행의 평균 R-제곱 값은 0.75입니다(표준 편차 0.12, 5, 50 및 95번째 백분위수 = 각각 0.51, 0.77, 0.89). 이 데이터는 대부분의 시험장에서 글로벌 성적과 도메인 점수 간의 관계 강도가 매우 우수하다는 것을 나타내며, 이는 BRM이 일반적으로 이 시험에 대해 방어 가능한 표준을 제공하고 있음을 시사합니다(Pell 외. 2010). 
For our main analysis, we first look at the distribution of R-squared values across the 198 administrations. Across the 3,564 stations in the analysis, the mean value of R-squared is 0.75 (standard deviation 0.12; 5th, 50th and 95th percentiles = 0.51, 0.77, 0.89, respectively). This data indicates that in the vast majority of these stations the strength of the relationship between global grades and domain scores is very good – in turn suggesting that BRM is generally providing defensible standards for this examination (Pell et al. 2010).

R-제곱 값이 상대적으로 낮은 경우, 이는 도메인 점수가 서로 다른 글로벌 등급 간에 변별력이 크지 않다는 것을 의미합니다(Pell et al. 2010). 전체 데이터 세트에서 가장 극단적인 예(R-제곱 = 0.10)는 그림 1에 나와 있습니다(환자가 비뇨기 질환을 호소하는 스테이션):
Where the value of R-squared is relatively low, this implies that the domain scores are not discriminating strongly between different global grades (Pell et al. 2010). The most extreme example in the whole data set (R-squared = 0.10) is shown in Figure 1 (a station where a patient presents with a urinary problem):

이 스테이션의 단일 시험에 대한 이 스테이션 수준 도표는 글로벌 성적과 도메인 '점수' 간의 상관 관계를 강조합니다. 플롯의 각 '점'은 개별 평가자-응시자 관찰을 나타내며, 더 큰 '점'은 동일한 관찰/점수가 많음을 반영합니다. 그림 1에서는 대부분의 응시자가 전체 성적과 영역 점수 모두에서 상당히 높은 점수를 받고 있으며, 이 두 가지 측정치 모두에서 변별력이 상대적으로 부족합니다. 
This station level plot of a single administration of this station highlights the degree of correlation between a global grade and domain ‘score’. Each ‘dot’ on the plot represents an individual assessor-candidate observation, with bigger ‘dots’ reflecting a number of identical observation/scores. In Figure 1, there is a relative lack of discrimination in scores – most candidates are scoring quite highly in both global grades and domain scores, and there is a lack of spread in both of these measures.

이 중요한 지표의 값이 이처럼 낮다면, 표준 세트의 방어 가능성에 어떤 영향을 미칠까요? 일반적으로 전체 PLAB2 데이터 세트에서 스테이션의 R-제곱 값과 해당 스테이션 수준의 컷 점수 사이에는 약한 음의 상관관계가 있는 것으로 나타났습니다(r = -0.13, n = 3564, p < .001). 이는 R-제곱 값이 낮을수록 일반적으로 약간 높은 컷 점수와 연관되어 잠재적으로 더 높은 실패율을 초래할 수 있음을 시사합니다. 
For such poor values of this important metric, the key question is what the impact is on the defensibility of the standard set? In general, across the full PLAB2 dataset, we find there is a weak negative correlation between R-squared values in stations and corresponding station-level cut-scores (r = −0.13, n = 3564, p < .001). This suggests that low values of R-squared are typically associated with slightly higher cut-scores, potentially leading to higher failure rates.

비뇨기 스테이션(그림 1에 표시된 단일 투여)은 해당 기간 동안 22회 시행되었습니다. 흥미롭게도, 이들 시행의 R-제곱 중앙값은 0.70으로 이 스테이션에서 낮은 R-제곱이 일반적이지 않다는 것을 매우 강력하게 시사하며, 따라서 스테이션 설계의 근본적인 문제라기보다는 개별 평가자 문제이거나 이 특정 관리의 스테이션에서 점수가 분산되지 않은 문제일 가능성이 높습니다. 이 22개 행정 구역의 컷 점수는 표준 편차가 0.86점(척도의 7.2%에 해당)으로 약간의 편차를 보였으며, 그림 1에 표시된 것처럼 R-제곱 값이 가장 낮은 컷 점수가 이 스테이션의 모든 시행에서 가장 높은 컷 점수를 생성합니다. 그러나 데이터 세트 전체에서 R-제곱 값이 낮은 스테이션의 비율은 5% 정도로 낮다는 점을 강조합니다.
The urinary station (single administration shown in Figure 1) has been administered 22 times over the period concerned. Interestingly, the median R-squared across these administrations is 0.70 which very strongly suggests that the low R-squared is not typical for this station, and therefore is likely to be either an individual assessor issue, and/or a problem with lack of spread in the scores in the station in this particular administration, rather than an underlying problem with the station design. The cut-scores across these 22 administrations show some variation, with a standard deviation of 0.86 domain marks (equivalent to 7.2% of the scale) – and the cut-score with the lowest R-squared value (as shown in Figure 1) produces the highest cut-score across all administrations of this station. However, we emphasize that the prevalence of stations with poor R-squared values across the data set as a whole is low (e.g. 5%).

시퀀스 2 시험
Sequence 2 exams

이 하위 그룹은 정의상 전체 코호트보다 약하기 때문에 시퀀스 2에 대한 신뢰도 수치를 따로 계산하는 것은 적절하지 않습니다. 대신, 의사 결정 이론을 사용하여 시퀀스 1 점수만을 기반으로 전체 신뢰도를 추정합니다. (Pell 외. 2013). 이러한 맥락에서 전체 시퀀스에 대한 오메가-총계(Revelle and Zinbarg 2009)는 연구된 6개의 검사 각각에 대해 0.80(또는 그 이상)입니다.
It is not appropriate to calculate reliability figures for Sequence 2 in isolation as this sub-group, is by definition, weaker than the full cohort. Instead, we use decision theory to estimate overall reliability based on Sequence 1 scores alone. (Pell et al. 2013). In this context, omega-total (Revelle and Zinbarg 2009) for the full sequence is of the order of 0.80 (or greater) for each of the six examinations studied.

2017년부터 2019년까지 6번의 순차적 시험에서 BRM 지표와 점수 분포가 충분히 만족스러운 것으로 판단되어 해당 커트라인 점수를 두 번째 시험의 표준 설정에 자신 있게 사용할 수 있는 시험장의 수를 표 1에 제시했습니다. 그렇지 않은 경우, 전체 코호트 시행에서 도출된 해당 스테이션의 이전 컷 점수와 만족스러운 BRM 지표가 사용되었습니다. 
Across the six sequential examinations from 2017–2019, Table 1 gives the number of stations where BRM metrics and spread of marks were judged sufficiently satisfactory for the corresponding cut scores to be used with confidence in the standard setting for the second part of the sequence. Where this was not the case, the previous cut-score for the station, derived from administration in a full cohort and with satisfactory BRM metrics, was used.

표 1에 요약된 분석에 따르면 BRM은 대부분의 시험장(86%)에서 표준 설정에 대해 실현 가능하고 방어 가능한 접근 방식을 제공합니다. 경계선 회귀가 적용되지 않는 좋은 예가 그림 2에 나와 있는 무릎 시험장(2018년 5학년, 22명의 응시자)입니다. 여기서 문제는 전체 성적의 분산이 부족하여(5개의 가능한 성적 중 2개만 사용됨) R-제곱이 낮고(=0.14), 결과적으로 이 시험의 BRM 합격 점수의 정확성에 대한 우려로 이어진다는 점입니다. 

The analysis summarized in Table 1 suggests that BRM provides a feasible, and defensible approach to standard setting in these exams for a large percentage of stations (86%). A good example of where borderline regression is not doing so is shown in Figure 2, a knee examination station (Year 5, 2018, 22 candidates). The problem here is lack of spread in the global grades (only two of five possible grades employed), which leads to a low R-squared (=0.14) and subsequently to concern about the accuracy of the BRM pass mark for this administration.

이 스테이션의 경우, 지표가 양호한 전체 코호트에서 이전에 이 스테이션을 사용한 BRM 컷 점수가 선호됩니다. 
For this station, the BRM cut-score from a previous use of this station in a full cohort with good metrics is preferred.

PA 시험
PA exams

2018년의 네 가지 PA 시험 각각에 대해 크론바흐 알파로 계산한 전체 시험 수준의 신뢰도는 각 경우에서 최소 0.80입니다. 
Overall test level reliability as calculated by Cronbach’s alpha for each of the four PA examinations from 2018 is at least 0.80 in each case.

표 2에는 분산 그래프와 R-제곱 값을 육안으로 확인한 결과, 각 시험에서 BRM 지표가 만족스러운 것으로 판정된 스테이션 수가 자세히 나와 있습니다. 대부분의 스테이션(88%)에서 데이터에 따르면 BRM 표준을 방어할 수 있는 것으로 나타났습니다. 
Table 2 details the number of stations in each examination where BRM metrics were judged satisfactory based on visual inspection of scatter graphs and values of R-squared. We see that in the majority of stations (88%) the data suggest that BRM standards are defensible.

앙고프 판정과의 비교
Comparison with Angoff judgements

기존 관행의 일환으로, PA OSCE 팀은 각 스테이션에 대해 스테이션을 통과할 수 있는 최소한의 유능한 PA 후보자의 예상 비율을 기준으로 각 스테이션에 대한 앙고프형 판정을 내립니다. 이 접근 방식을 BRM에서 파생된 표준과 비교하는 데는 분명한 관심이 있습니다. 그림 3은 2018년 1차 시험의 산포 그래프로, BRM 기준(가로)과 앙고프 기준(세로)을 비교하여 총 스테이션 점수의 백분율로 계산한 것입니다. 파란색(점선)은 가장 잘 맞는 선(r = 0.68, n = 16, p = .004)이고 주황색(굵은선)은 y = x입니다(즉, 각 표준 설정 방법의 컷 점수가 각 스테이션에서 동일하다면 모두 이 선에 있을 것임): 

As part of established practice, the PA OSCE team produces an Angoff-type judgement of each station in terms of the expected proportion of minimally competent PA candidates who would pass the station. There is obvious interest in comparing this approach with a BRM derived standard. Figure 3 gives a scatter graph for the 2018 Year 1 examination comparing BRM standards (horizontally) with those from the Angoff (vertically) – both calculated as the percentage of the total station score. The blue (dashed) line is the line of best fit (r = 0.68, n = 16, p = .004), the orange (bold) line is y = x (i.e. if cut-scores for each standard setting method were the same in each station they would all be on this line):

그림 3은 2018년 1차 PA 시험에서 난이도가 높은 시험장(그래프의 왼쪽 하단)의 경우 Angoff가 BRM(굵은 선 위의 점)에 비해 더 높은 커트 점수를 부여하는 경향이 있고, 쉬운 시험장(오른쪽 상단)의 경우 더 낮은 커트 점수를 부여하는 경향이 있음을 보여줍니다(굵은 선 아래의 점). 이러한 차이로 인해 Angoff는 전체 커트라인 점수가 69% 대 66%로 더 높았으며, 이는 모든 스테이션에서 Angoff가 설정한 커트라인 점수에 해당하는 약 20명의 응시자 코호트에서 한 명의 추가 불합격이 발생한 것과 같습니다. 

Figure 3 shows that for more challenging stations (bottom left corner of graph), Angoff tends to give a higher cut-score compared to BRM (dots above the bold line) for the 2018 Year 1 PA exam, and for easier stations (top right) it tends to give a lower cut-score (dots below bold line). These differences result in Angoff giving a higher overall cut-score – 69 vs. 66% for BRM, and this corresponds to one additional failure for the cohort of approximately 20 candidates under an Angoff set cut-score across all stations.

스테이션 수준에서도 2018년 1차 PA 시험에서 앙고프에 따른 개별 스테이션 불합격이 더 많았습니다(78 대 52). 마지막으로, BRM은 합격 점수의 편차가 더 컸습니다. BRM은 스테이션 전체에서 39%의 더 넓은(수평) 범위의 커트라인을 가진 반면, 앵고프(수직) 범위는 19%에 불과했으며, 다른 PA 데이터에서도 비슷한 결과가 나타났습니다. 이러한 분석 결과를 합리적으로 해석하면 BRM은 보다 현실적인 범위의 컷 점수를 산출하는 반면, Angoff 점수는 보다 제한된 범위를 보여줍니다.
At the station level, there are also more individual station failures in the 2018 Year 1 PA exam under Angoff (78 vs. 52). Finally, BRM gives more variation in passing scores – BRM has a broader (horizontal) range of 39% in cut-scores across stations compared to a more constricted Angoff (vertical) range of 19% – with similar findings in the other PA data. A reasonable interpretation of these analyses suggest that BRM is producing a more realistic range of cut-scores, whereas Angoff scores show a more restricted range.

평가자 엄격성 및 평가 설계
Assessor stringency and assessment design

세 가지 상황과 대규모 코호트 시험의 중요한 차이점 중 하나는 전자의 경우 병렬 회로가 없다는 것입니다(Harden 외. 2015, 6장). 즉, 세 가지 상황에서는 각 스테이션에 해당하는 평가자가 (보통) 한 명인 반면, 대규모 의과대학의 경우 병렬 회로가 20개 이상일 수 있으므로 각 스테이션은 많은 수의 개별 평가자가 평가하게 됩니다. 어떤 의미에서는 한 명의 평가자가 모든 응시자를 시험 전반에 걸쳐 동일한 평가자가 관찰하기 때문에 스테이션 채점에 일관성을 가져올 가능성이 더 높습니다. 반면, 소규모 코호트에서는 단일 평가자가 스테이션과 혼동될 수 있으며 스테이션 수준에서 평가자의 엄격성을 직접 비교할 수 있는 쉬운 방법이 없습니다(Pell 외. 2010; Yeates 외. 2019). 또한, 여러 서킷에 걸쳐 여러 평가자가 아닌 스테이션당 한 명의 평가자가 존재할 경우 동일한 스테이션을 모두 심사하는 동료 그룹에 비해 보정이 부족할 수 있습니다. 이 문제와 관련하여 Crossley 외(2019)의 최근 연구에서는 평가자가 변화에 대한 개방성과 개인적 판단에 대한 충실성 사이에서 균형을 잡는 '경계된 호기심'(동료의 비교 판단), 정서적 편향, '적당한 보수주의'의 복잡한 균형에 대해 설명합니다. 

One important difference between our three contexts and larger cohort exams is the lack of parallel circuits in the former (Harden et al. 2015, chap. 6). In other words, there is (usually) a single assessor corresponding to each station in our three contexts, whereas in a large undergraduate medical school, for example, there might be of the order of 20 or more parallel circuits, so that each station is assessed by a large number of individual assessors. In one sense, having a single assessor is more likely to bring consistency to the marking of the station since all candidates will be observed by the same set of assessors across the exam. On the other hand, in small cohorts, single assessors are confounded with stations and there is no easy way to directly compare assessor stringency at the station level (Pell et al. 2010; Yeates et al. 2019). The presence of a single assessor per station (rather than multiple across circuits) may also contribute to a lack of calibration compared to a group of peers all examining the same station. Pertinent to this issue, recent work by Crossley et al. (2019) describes a complex balance of ‘guarded curiosity’ (of comparative judgments by peers), affective bias and ‘moderated conservatism’ where assessors balance openness to change alongside loyalty to personal judgments.

이 주제를 좀 더 자세히 살펴보면, 평가자의 점수 엄격성(즉, '매와 비둘기')이 소규모 코호트에서 BRM 표준에 미치는 영향이 더 클 수 있습니다(Yeates and Sebok-Syer 2017). '관대한' 채점을 사용하면 점수가 분산형 다이어그램의 오른쪽 상단 모서리에 위치하는 경향이 있으며(그림 1 참조), 이는 회귀선을 통해 경계선 등급으로 다시 추정할 때 '정확한' 컷 점수에 상당한 불확실성이 있다는 것을 의미합니다. 이 문제는 마커가 더 엄격하면 점수가 경계선 등급에 가까워지고 외삽의 정도, 따라서 '오차'가 상대적으로 작아질 가능성이 높기 때문에 덜 심각할 수 있습니다. 이와 관련이 있지만 직관적이지 않을 수 있는 점은 덜 엄격한 평가자가 실제로 BRM에서 컷 점수를 높일 수 있다는 점입니다. 그림 1에 표시된 비뇨기 스테이션의 투여는 데이터 세트에서 동일한 스테이션의 22개 투여 중 컷 점수가 가장 높지만 평가자는 상대적으로 높은 점수를 부여하고 있으며 평가자 엄격도 척도의 비둘기파 쪽에 속할 가능성이 높습니다. 이러한 문제는 분명 복잡하며, 소규모 코호트 시험에서 평가자 선정 및 교육과 관련하여 더 많은 사고를 도울 수 있는 통계적 시뮬레이션 방법(Currie and Cleland 2016; Homer 외. 2016)을 사용하여 추가 조사를 하는 것이 도움이 될 수 있습니다. 
Exploring this theme further, the impact of assessor scoring stringency (i.e. ‘hawks and doves’) (Yeates and Sebok-Syer 2017) is likely to be greater on BRM standards in small cohorts. With ‘generous’ markers, the scores will tend to be in the top right corner of the scatter diagram (see Figure 1) and this means that there is considerable uncertainty in the ‘correct’ cut-score when extrapolating back towards the borderline grade via the regression line. This issue is perhaps less acute with stricter markers as then the scores will be near the borderline grade and the degree of extrapolation, and hence the ‘error’, is, therefore, likely to be smaller in comparison. A related, but perhaps, counter-intuitive point is that less stringent assessors might actually raise the cut-score under BRM – the administration of the urinary station shown in Figure 1 has the highest cut-score out of the 22 administration of the same station in the dataset, and yet the assessor is giving relatively high scores and is likely to be on the dovish end of the assessor stringency scale. Clearly, these issues are complex and would benefit from further investigation, perhaps using statistical simulation methods (Currie and Cleland 2016; Homer et al. 2016), which could aid further thinking with regard to the selection and training of assessors in small cohort exams.

설계 문제에 관한 마지막 의견은 글로벌 성적에 대한 평가 척도의 성격과 관련이 있습니다. 예를 들어 상황에 따라 4점 또는 5점 척도가 더 적절한지, 소규모 코호트에서는 더 짧은 척도를 선호할 수 있는지를 조사하기 위해서는 더 많은 연구가 필요합니다. 한 가지 권장 사항은 응시자 풀의 능력 프로필을 광범위하게 반영하여 평가자가 실제로 모든 성적을 사용할 가능성을 높이는 것입니다. 교수진은 평가 척도를 작성하기 위해 '안전'의 양쪽에서 볼 수 있는 성과 범위를 개념화해야 하며, 이 과정을 정기적으로 검토할 수 있습니다. 세 가지 상황 모두에서 이 척도는 여러 개의 합격 등급과 하나의 불합격 등급으로 구성된 비대칭형입니다. 저희가 아는 한, BRM에 따라 다르게 구성된 글로벌 평가 척도의 효율성을 비교한 연구는 아직 발표되지 않았습니다.
A final comment concerning design issues relate to the nature of the rating scale for the global grade. More research is needed to investigate whether, for example, four or five-point scales are more appropriate depending on the context – and perhaps in small cohorts the evidence might favour a shorter scale. One thing we recommend is that the scale broadly reflects the ability profile of the candidate pool – thereby making it more likely that all grades are actually used by assessors. Faculty should conceptualize the range of performances that are seen, either side of just ‘safe’ to produce the rating scale, and this process can be reviewed regularly. In all three of our contexts the scale is asymmetric, with multiple passing grades and a single fail grade. To our knowledge, there is no published work comparing the efficacy of differently constructed global rating scales under BRM.

다른 표준 설정 접근 방식과의 비교
Comparisons with other standard setting approaches

일반적으로 저희는 스테이션 설계 요소, 현재 의료 관행, 평가자 교육 표준이 지속적으로 발전하고 있는 이전 시행의 데이터에서 파생된 표준보다는 실제 시험의 데이터를 사용하여 설정된 표준을 선호합니다. 이러한 모든 요소를 점수/등급 부여 패턴에 충분히 고려하고 그에 따라 기준을 설정할 수 있는 것은 현 행정부에서만 가능합니다. 그러나 6번의 순차적 시험 시행을 분석한 결과, 시험 대상인 소규모 코호트에서 직접 도출한 2단계 스테이션의 BRM 도출 표준과 대규모 코호트에서 도출한 동일한 스테이션의 표준(예: 1단계의 일부로 설계된 경우)에는 약간의 차이가 있는 것으로 나타났습니다. 이는 분명히 중요한 문제이며, 이러한 차이가 소규모 코호트와 대규모 코호트 간 평가자 행동의 실질적이고 체계적인 변화의 결과인지 더 잘 이해하기 위해 추가 조사가 필요합니다. 시퀀스 2 시험에서 학생들은 정의상 더 약한 하위 그룹에 속하며, 평가자가 어느 정도는 시퀀스 1 시험보다 더 높은 지분을 가진 것으로 인식할 수 있습니다. 이러한 지식이 평가자가 제공하는 채점에 영향을 미칠 수 있나요? 
As a general principle, we prefer standards set using data from the actual examination, rather than that derived from data from previous administrations – elements of station design, current medical practice, and standards of assessor training are constantly developing. It is only in the current administration that all these factors can be taken into account fully in the pattern of scores/grades awarded, and the standard thereby set. However, analysis of six sequential test administrations has shown small differences in the BRM derived standards of Sequence 2 stations when derived directly from the small cohort examined versus those from that same stations derived from larger cohorts (e.g. when blueprinted as part of Sequence 1). This is clearly an important issue and merits further investigation to better understand whether these differences are the result of substantive, systematic changes in assessor behaviour between small and large cohorts. In the sequence 2 examination, the students are by definition a weaker sub-group, and to an extent, the stakes may be perceived by assessors to be higher than they are in the sequence 1 examination. Might this knowledge influence the marking that assessors provide?

PA 시험에서 우리는 평가자가 앙고프 점수를 제공할 때 극단적인 점수를 피하는 경향이 있음을 보았습니다(BRM에서는 이 문제가 훨씬 덜함). 이는 평가자가 전체 척도를 사용하는 것을 꺼리는 작업장 기반 평가에서 잘 알려진 문제의 반향을 담고 있습니다(Crossley and Jolly 2012). 선험적 표준 설정 회의에서 이러한 꺼려하는 것으로 추정되는 사회적 이유도 있을 수 있지만(Fitzpatrick 1989), 현재 연구에는 이 문제에 대해 언급할 만한 데이터가 없습니다.
In the PA exam, we have seen that assessors tend to shy away from extremes when providing their Angoff scores (and that this is far less of a problem with BRM) – this carries an echo of the well-known issue in workplace-based assessment where there is a reluctance for assessors to use the full scale (Crossley and Jolly 2012). There may also be social reasons for this presumed reluctance in an a priori standard setting meeting (Fitzpatrick 1989) but the current study has no data to speak to this issue.

Introduction: Borderline regression (BRM) is considered problematic in small cohort OSCEs (e.g. n < 50), with institutions often relying on item-centred standard setting approaches which can be resource intensive and lack defensibility in performance tests.Methods: Through an analysis of post-hoc station- and test-level metrics, we investigate the application of BRM in three different small-cohort OSCE contexts: the exam for international medical graduates wanting to practice in the UK, senior sequential undergraduate exams, and Physician associates exams in a large UK medical school.Results: We find that BRM provides robust metrics and concomitantly defensible cut scores in the majority of stations (percentage of problematic stations 5, 14, and 12%, respectively across our three contexts). Where problems occur, this is generally due to an insufficiently strong relationship between global grades and checklist scores to be confident in the standard set by BRM in these stations.Conclusion: This work challenges previous assumptions about the application of BRM in small test cohorts. Where there is sufficient spread of ability, BRM will generally provide defensible standards, assuming careful design of station-level scoring instruments. However, extant station cut-scores are preferred as a substitute where BRM standard setting problems do occur.

소개
Introduction

의학교육이 학부(UME), 대학원(GME) 및 평생의학교육(CME) 프로그램 전반에 걸쳐 역량 기반 평가를 강조하는 방향으로 점점 더 이동함에 따라, 의학교육자가 이러한 평가와 그 결과의 질과 엄격성을 보장해야 할 필요성이 증가하고 있습니다(Pell 외. 2010). 마일스톤, EPA(위탁 가능한 전문 활동) 또는 역량에 관계없이 교육기관은 평가를 기반으로 내린 결정이 신뢰할 수 있고 방어할 수 있음을 모든 이해관계자에게 보장하는 데 필요한 지식과 기술을 습득해야 할 필요가 있습니다(Lockyer 외. 2017). 성취한 역량에 기반한 교육 시스템으로 전환해야 하는 상황에서 합격선 설정(역량을 입증하는 점수 결정으로 진급자 및/또는 재교육 대상자를 결정)이 더욱 중요해졌습니다. 그러나 교육 예산이 점점 더 타이트해지고 임상의 교수진의 임상 생산성 요구가 증가함에 따라 더 적은 리소스로 이 작업을 수행해야 하는 과제에 직면해 있습니다(Price 외. 2018). 
As medical education moves increasingly to emphasize competency-based assessments throughout the spectrum of undergraduate (UME), graduate (GME) and continuing medical education (CME) programs, there is an increased need for medical educators to ensure the quality and rigor of these assessments and their outcomes (Pell et al. 2010). Whether we are working with milestones, EPAs (Entrustable professional activities) or competencies, there is a need for institutions to acquire the knowledge and skills necessary to assure all stakeholders that the decisions made based on their assessments are reliable and defensible (Lockyer et al. 2017). With the imperative to move to an educational system based on competencies achieved, standard setting (determining the score that demonstrates competency to decide who moves forward and/or who must be remediated) becomes ever more crucial. However, as education budgets get tighter and as our clinician faculty have increasing clinical productivity demands, we are faced with the challenge of accomplishing this task with fewer resources (Price et al. 2018).

합격선 설정 결정은 복잡하며 교육기관의 문화, 정치적 분위기, 커리큘럼 프로그램, 리소스 등 다양한 변수에 따라 달라집니다(Downing and Yudkowsky 2009). 지난 20년 동안 성과 기반 평가를 위한 표준 설정 전략에 대한 지식이 엄청나게 성장했습니다(De Champlain 2018). 표준 설정 방법에는 일반적으로 두 가지 유형이 있습니다.

• (1) 교수자가 예정된 시험과 무관하게 시험 자료를 검토할 수 있는 시험 자료 검토 방법(예: 앙고프 및 에벨 방법)과
• (2) 수험자의 수행을 검토하는 방법(예: 경계선, 경계선 회귀 및 대조군 방법)

영국과 캐나다에서는 보건의료 및 의학교육 시스템의 구조상 이를 허용하는 교수진이 평가자로 사용되는 경우가 많기 때문에 고부담 OSCE(관찰형 표준화 임상시험)에 사용되는 수험자 중심의 표준 설정 방법에 대한 많은 연구가 수행되었습니다(Price et al. 2018). 교수진은 각 스테이션에서 학습자를 관찰하고 체크리스트와 전체 평가 점수를 작성한 다음 경계선 방법을 사용하여 학습자의 점수와 합격 기준을 모두 결정하는 데 사용합니다. 교수 평가자를 사용하는 교육 환경에서 경계선 그룹 및 경계선 회귀 방법은 신뢰할 수 있고 실용적인 표준 설정 방법인 것으로 나타났습니다(Kilminster and Roberts 2004; Boursicot 외. 2006; Wood 외. 2006; Boursicot 외. 2007; Wilkinson 외. 2008; Hejri 외. 2013; Yousuf 외. 2015; Malau-Aduli 외. 2017). 
Standard setting decisions are complex and based on a multitude of variables that are specific to an institution’s culture, political climate, curricular program, and resources (Downing and Yudkowsky 2009). The past twenty years have seen an enormous growth of knowledge in standard setting strategies for performance-based assessments (De Champlain 2018). Standard setting methods are typically of two types;

• (1) Those involving review of examination materials (e.g. Angoff and Ebel methods) where faculty can review these materials independent of scheduled testing, and
• (2) Those involving review of examinee performance (e.g. Borderline, borderline regression and contrasting groups methods) (Kilminster and Roberts 2004; Pell et al. 2010).

Much of the work on the examinee-focused standard setting methods used for high stakes OSCEs (observed standardized clinical exam) has been done in the UK and Canada where faculty are used as raters, as the structure of their health care and medical education systems allow for this (Price et al. 2018). These faculty observe the learners at each station and complete checklists and global rating scores, which are then used to determine both the learners’ scores as well as the passing standard using the borderline method. In educational settings using faculty raters, the borderline group and borderline regression methods have been shown to be reliable and practical standard setting methods (Kilminster and Roberts 2004; Boursicot et al. 2006; Wood et al. 2006; Boursicot et al. 2007; Wilkinson et al. 2008; Hejri et al. 2013; Yousuf et al. 2015; Malau-Aduli et al. 2017).

현재 교수진이 평가에 참여하지 않는 OSCE에 사용되는 가장 신뢰할 수 있는 표준 설정 방법은 앙고프 방법과 그 파생 방법입니다(Kilminster and Roberts 2004). 그러나 경계선 방법과 달리 앙고프 표준 설정 방법은 합격 기준을 설정하는 소규모 전문가 그룹의 판단에 상당한 시간을 투자해야 합니다. 이 방법은 더 많은 비용으로 경계선 방법보다 덜 신뢰할 수 있는 표준을 생성하는 것으로 나타났습니다(도피니 외. 1997). 이러한 여러 가지 요인으로 인해 저희 학교를 포함한 미국의 많은 학교에서는 표준 설정에 규범 기반 기준을 사용해 왔습니다. 물론 이 방법은 역량 기반 평가를 실천하고자 하는 우리의 바람과는 상반됩니다.
Currently, the most reliable standard setting method used for OSCEs that does not involve the faculty being present for the assessment is the Angoff method and its derivations (Kilminster and Roberts 2004). However, in contrast to the borderline methods, the Angoff standard setting method requires significant investment of time from a small expert group of faculty whose judgments set the passing standards. The method has been shown to produce less reliable standards than the borderline methods at a greater cost (Dauphinee et al. 1997). Due to these many factors, many schools in the US, including ours, have used a norm-based criterion for standard setting. This method, of course, runs counter to our desire to practice competency-based assessment.

미국에서는 미국국립의학시험위원회(NBME)와 외국 의대 졸업생 교육위원회(ECFMG)는 물론 많은 의과대학에서 고도로 훈련된 표준화 환자(SP)를 사용하여 환자를 묘사하고 학생의 점수를 생성하는 체크리스트 또는 척도를 작성합니다(Zanten 외. 2007). 많은 교육기관에서 SP는 임상 술기에 대한 교육과 피드백을 제공하는 교육자로서도 중요한 역할을 합니다(Howley 2013; May et al. 2009). 표준화된 환자에 의한 학생의 임상 술기 평가가 신뢰할 수 있고 타당하다는 것을 보여주는 많은 문헌이 있습니다. SP 평가자가 교수 평가자만큼 신뢰할 수 있다는 일부 문헌도 있습니다: Han 등(2006)은 SP 평가자가 체크리스트 채점에서 의사 평가자와 동일한 신뢰도를 보였으며, 4학년 의대생 임상 술기 OSCE에서 전체 평가에서 의사보다 더 높은 신뢰도를 보였다고 밝혔습니다. 
In the U.S., both the National Board of Medical Examiners (NBME) and Educational Commission for Foreign Medical Graduates (ECFMG), as well as many medical schools, use highly trained standardized patients (SPs) to both portray the patients as well as complete the checklists or scales that create the students’ scores (Zanten et al. 2007). In many institutions SPs also play a key role as educators providing instruction and feedback on clinical skills (Howley 2013; May et al. 2009). There is a significant body of literature showing that the rating of students’ clinical skills by standardized patients is both reliable and valid (Boulet et al. 2002; Humphrey-Murto and Macfadyen 2002; Kilminster and Roberts 2004; Whelan et al. 2005; Han et al. 2006; McKinley and Norcini 2014). There is also some literature showing that SP raters may even be as reliable as faculty raters: Han et al. (2006) demonstrated SP raters had the same reliability as physician raters on checklist scoring and higher reliability than the physicians on global rating in a 4th year medical student clinical skills OSCE.

미국은 영국이나 캐나다와 같은 시스템보다 OSCE에 참석할 교수진의 시간이 더 제한되어 있으므로, 이 연구의 목표는 경계선 표준 설정 방법을 사용하는 데 필요한 글로벌 평가 점수를 작성하는 데 SP를 안정적으로 사용할 수 있는지 조사하는 것이었습니다. SP가 신뢰할 수 있는 점수를 제공할 수 있다면, 임상시험 OSCE에 교수진이 참석할 필요가 없어질 것입니다. 
Faculty time to be present for OSCEs is more limited in the USA than in systems such as the UK and Canada, so the goal of this study was to investigate whether SPs could reliably be used to complete the global rating score needed to use the borderline method of standard setting. If SPs could provide reliable scores, it would obviate the need for faculty to be present for the clinical encounter OSCE.

(의도된 목적에 따라) 신뢰할 수 있는 점수는 점수의 타당성을 뒷받침하는 데 필요한(충분하지는 않지만) 증거이며, 이는 지속적인 조사 과정입니다(Kane 2013). 부정확한 점수는 일관된 내용의 표현, 수험자 순위, 합격/불합격 결정, 예측 또는 기타 점수 활용을 뒷받침할 수 없습니다. 이 논문의 핵심 목표는 OSCE 설계 및 채점 결정을 기반으로 점수의 reliability과 dependability의 토대를 구축하는 것이었습니다. 물론 이 측정 방법을 개발하는 과정에서 내용 및 구성 타당도를 확립하기 위한 일반적인 접근 방식도 통합했으며, 이에 대해서는 방법에서 설명합니다. 
Reliable scores (for an intended purpose) is a necessary (but not sufficient) piece of evidence to have in support of score validity, which is an ongoing investigative process (Kane 2013). Imprecise scores cannot support representation of cohesive content, examinee ranking, pass/fail decisions, predictions, or other score uses in its absence. Our central goal in this paper was to establish the foundation of score reliability and dependability based on our OSCE design and scoring decisions. Of course, in our development of this method of measure, we also incorporated common approaches to establishing content and construct validity, which we describe in the methods.

방법
Methods

SP 교육
SP training

표준화된 환자(SP)가 술기 체크리스트(병력, 신체 검사 및 의사소통 기술)를 사용하여 (학생들이 진료 후 노트를 작성하는 10분 동안) 학생들의 수행을 평가했습니다. SP 그룹은 표준화 환자로 훈련받았으며 이 역할에 4~25년의 경력을 가진 전문 배우들이었습니다. 이들은 30년 동안 이 일을 해온 의사와 SP 트레이너가 각 사례에 맞게 모집하고 훈련했습니다. SP는 OSCE와 관련된 다분야 의사 그룹이 개발한 허용 가능한 신체 검사 기법 매뉴얼을 기반으로 신체 검사 기법 표준에 대해 의사로부터 광범위하게 교육을 받았습니다. 이들은 SP 트레이너로부터 표준화된 방식으로 사례를 묘사하고 학생들이 질문한 병력 항목을 안정적으로 보고할 수 있도록 사례에 대한 교육을 받았습니다. 글로벌 평가 항목(그림 1)에서는 SP에게 훈련받고 경험이 풍부한 SP로서의 관점과 해당 학습자의 환자가 되어본 느낌에 대해 글로벌 평가를 하도록 요구했지만, 교수 평가자에게 요청하는 것처럼 임상적 판단을 하도록 요구하지는 않았습니다. 
The students’ performances were evaluated by standardized patients (SPs) using skills checklists (history, physical exam and communication skills), during the 10 minutes that the students had to write their post-encounter note. The group of SPs were professional actors who had been trained as standardized patients and had from 4 to 25 years of experience in this role. They were recruited and trained for each case by a physician and SP trainer who had been doing this work for 30 years. The SPs were extensively trained by the physician on physical exam technique standards based on a manual of acceptable physical exam maneuvers that had been developed by a multi-disciplinary group of physicians involved with the OSCE. They were trained on the cases by the SP trainer to both portray the case in a standardized fashion as well as to reliably report which history items had been asked by the students. The global rating item (Figure 1) required the SPs to make a global rating from their perspective as a trained and experienced SP as well as what it was like to be this learner’s patient, but did not ask them to make a clinical judgment as would be asked of a faculty rater.

저자 중 한 명은 SP 트레이너와 협력하여 약 60분 동안 의사소통 기술 체크리스트 및 글로벌 평가 항목 사용에 대한 참조 프레임 평가자 교육(Holmboe and Hawkins 2008) 세션을 진행했습니다. 참조 프레임 훈련은 수행 차원 훈련의 연장선이며 평가자 간 신뢰도를 높이는 데 매우 효과적인 것으로 나타났습니다(Roch 외. 2012). 저희 교육에서는 SP에게 다양한 역량 수준에서 수행한 이전 학생들의 비디오 클립을 시청하게 하고, 평가할 동일한 사례를 묘사한 표준화 환자를 인터뷰한 후, SP가 의사소통 기술 체크리스트와 글로벌 평가 항목의 일부를 완료하도록 했습니다. 각 영상이 끝난 후 SP는 주어진 항목에 대한 자신의 등급을 보고하기 위해 손을 들어 응답했습니다. 의견이 일치하지 않는 경우 평가자는 자신이 선택한 이유를 설명했습니다. 평가자에게 행동 앵커를 참조하고, 행동을 적절한 차원으로 분류하고, 각 행동의 효과를 탐색하고, 행동이 역량 표준을 충족할 때 강화했습니다. 각 항목은 합의에 도달할 때까지 논의되었습니다. 
One of the authors worked with the SP trainer to administer a frame-of-reference rater training (Holmboe and Hawkins 2008) session on the use of the communication skills checklist and global rating item, lasting about 60 minutes. Frame of reference training is an extension of performance dimension training and has been shown to be very effective in increasing inter-rater reliability (Roch et al. 2012). In our training we had the SPs view video clips of previous students performing at various competency levels and interviewing the standardized patients portraying the same cases they would be rating, the SPs completed portions of the communication skills checklist and global rating item. After each clip, the SPs responded to a show of hands to report their rating on a given item. When there was disagreement, raters explained their reasons for their choices. We referred raters to the behavioral anchors, categorized behaviors into appropriate dimensions, explored the effectiveness of each behavior and reinforced when behaviors met competency standards. Each item was discussed until consensus was reached.

교수진 교육
Faculty training

교수진은 검토자로 프로그램에 참여하면 2시간의 교육을 받습니다. 여기에는 각 사례에 대한 수행 기준을 제공하는 병력 및 신체 검사 체크리스트와 의사소통 기술 체크리스트에 대한 행동 앵커에 대한 광범위한 논의가 포함됩니다. 또한 교수진이 모여 점수, 비디오 및 SP 코멘트를 논의하여 학생이 합격에 필요한 역량 기준을 충족하는지 여부를 결정하는 추가 회의가 있습니다. 
Faculty receive a 2-hour training when they enter the program as reviewers. This includes extensive discussion of the history and physical exam checklists and behavioral anchors for communication skills checklist which provide a performance standard for each case. In addition, there are additional meetings where faculty meet to discuss the scores, videos and SP comments to decide whether students meet the competency standard for passing.

도구: 역사, 신체 검사 및 커뮤니케이션 기술 체크리스트
Instruments: History, physical exam, and communication skills checklists

OSCE의 각 케이스에는 약 14개 항목으로 구성된 케이스별 병력 체크리스트가 있습니다. 신체검사가 포함된 사례의 경우 약 8개의 항목으로 구성된 케이스별 신체검사 체크리스트가 있었습니다(스테이션 사례 요약 및 체크리스트 항목 수는 표 1 참조). 이 두 가지 사례별 체크리스트의 항목은 여러 전문 분야로 구성된 임상 교수진 그룹이 해당 사례의 감별 진단을 결정하는 데 필수적인 항목으로 선정했습니다. 
Each case in the OSCE had a case-specific history checklist with approximately 14 items. For cases that included a physical exam, there was a case-specific physical exam checklist with approximately eight items (Table 1 for a breakdown of station case summaries and checklist item counts). The items on both of these case-specific checklists were chosen by a multi-specialty group of clinical faculty as items essential to the determination of the differential diagnoses for that case.

그런 다음 행동에 기반한 의사소통 기술 체크리스트를 모든 사례에 사용했습니다. 이 체크리스트는 2004년 3년차 OSCE를 위해 다른 기관과 협력하여 처음 개발되었으며, 2006년에 의료 커뮤니케이션 아카데미에서 개발하여 우리 기관에서 의사소통 기술을 교육하는 데 사용하는 3기능 모델 및 파트너십, 공감, 사과, 존중, 정당화 및 지원(PEARLS) 라포 형성 모델(Cole and Bird 2013)과 보다 밀접하게 일치하도록 개정되었습니다. 이 체크리스트는 교수진과 표준화 환자의 피드백을 바탕으로 2010년에 현재 버전(부록 1)으로 한 번 더 개정되었습니다. 체크리스트는 정보 수집(4개 항목), 촉진(2개 항목), 영어 능력(1개 항목), 관계 형성(3개 항목), 환자 교육(2개 항목)의 기술 영역으로 구성되어 있습니다. 체크리스트는 일반화 가능성 이론을 사용하여 분석되었으며, 이번 3년차 OSCE에 사용하기에 Φ̂=0.79의 점수 신뢰도가 있는 것으로 나타났습니다.
The behaviorally anchored communication skills checklist was then used across all cases. The checklist was first developed in 2004 in collaboration with another institution for the 3rd year OSCE and was revised in 2006 to more closely align with the 3-function model and Partnership, Empathy, Apology, Respect, Legitimation, and Support (PEARLS) model of rapport building (Cole and Bird 2013), developed by the Academy of Communication in Healthcare and used for teaching communication skills at our institution. It was revised once more to its current version (Supplementary Appendix 1) in 2010 based on feedback from faculty and standardized patients. The checklist is organized into the following skill areas: information gathering (four items), facilitation (two items), English Language proficiency (one item), relationship building (three items), and patient education (two items). The checklist was analyzed using generalizability theory and found to produce score reliability of Φ̂=0.79  for use with this third year OSCE.

분석
Analyses

먼저 체크리스트와 경계선 방식을 사용할 필요가 있는지, 아니면 글로벌 평가 점수가 합격과 불합격을 결정할 수 있을 만큼 정확하고 신뢰할 수 있는지를 고려했습니다. 우리는 G 이론을 사용하여 글로벌 점수의 컷 점수 신뢰도(Brennan and Kane 1977)를 계산하여 컷 결정을 내릴 때 관찰된 점수의 정확성을 평가했습니다. 
We first considered whether it was necessary to use the checklist and borderline method at all, or whether the global rating scores were precise and reliable enough to make pass or fail decisions. We calculated the cut score dependability (Brennan and Kane 1977) of the global scores using G-theory, assessing the accuracy of observed scores for making cut decisions.

저희는 Homer와 Pell(2009)의 제안(보충 부록 2, A4)에 따라 OSCE 점수의 품질과 경계선 회귀 결과를 평가했으며, 글로벌 점수와 스테이션 점수에 대해 각각 무작위 효과 분산분석(random-effects ANOVA)을 실시했습니다. 이를 통해 스테이션/평가자 점수가 전반적으로 얼마나 다른지, 스테이션에서 개인별 점수가 얼마나 다른지, 학습자 능력과 사례/평가자에 의해 설명되지 않는 분산의 비율(글로벌 평가 일관성 포함)을 설명했습니다(보충 부록 2, A5). 
We evaluated the quality of OSCE scores and borderline regression results based on suggestions from Homer and Pell (2009) (Supplementary Appendix 2, A4) and we conducted random-effects ANOVAs for the global scores and station scores, separately. This explained the degree that station/rater scores differed overall, how much person scores at stations differed, and the proportion of variance unexplained by learner ability and cases/raters, including global rating consistency (Supplementary Appendix 2, A5).

마지막으로, 기존 방법의 대안으로 경계선 회귀법의 타당성을 평가하기 위해 경계선 회귀법을 사용하여 결정된 전체 OSCE 점수에 대한 합격률을 기존의 규범 기반 표준 설정 방법(합격 점수가 평균보다 2 표준편차 이상 낮을 경우 합격)과 비교했습니다. 
Finally, we went on to evaluate the feasibility of the borderline regression method as an alternative to our former method, and we compared the passing rate for the overall OSCE score determined by this new method, using borderline regression, to our previous norm-based standard setting method (in which passing score is >2 standard deviations below the mean).

합격 기준을 충족하지 못한 지원자의 OSCE 결과를 면밀히 검토하여 점수에 불만족스러운 성과가 반영되었는지 확인했습니다. 숙련된 교수진은 비디오, 체크리스트 점수, SP 의견 및 학생 메모를 검토하여 불합격 점수가 실제로 표준 이하의 성과를 반영하는지, 불합격 결정이 타당하지 않거나 부정확한 합격 점수로 인한 것이 아닌지 확인했습니다. 
The OSCE results for persons that did not meet passing standards were carefully reviewed to ensure that their scores reflected unsatisfactory performance. Trained faculty reviewed videos, checklist scores, SP comments and student notes to ensure that sub-passing scores truly reflected substandard performance, and that a fail decision was not an artifact of an invalid or imprecise passing score.

결과
Results

먼저 SP에 의한 평가의 안정성과 신뢰성을 평가했습니다. 학생들의 체크리스트 총점 평균은 0.96점(SD = 0.053점)이었으며, 글로벌 평가 점수는 평균 3.25점(SD = 0.44점)이었습니다. 글로벌 점수의 신뢰도는 0.44로, 그 자체만으로는 중요한 의사 결정 기준으로 신뢰하기에는 너무 낮았습니다. 체크리스트는 한 명의 평가자만 채점했기 때문에 평가자 효과와 스테이션 효과가 혼동되어 평가자 신뢰도를 직접 추정할 수 없었습니다. 그러나 체크리스트와 같은 사례 세부 사항이 아닌 보다 일반적인 평가이므로 글로벌 평가에 대한 평가자 신뢰도를 평가할 수 있었습니다. SP의 글로벌 등급(스테이션 난이도와 혼동)의 클래스 내 상관관계로서의 신뢰도는 ICC = 0.09/(0.09 + 0.81/8) = 0.47(이 값의 출처는 표 2 참조)로, '괜찮은' 일관성을 보였습니다(Cicchetti 1994). 글로벌 평가 점수가 중요한 결정을 내리기에는 충분히 정확하지 않고 스테이션에 중첩된 평가자의 일관성이 공정한 수준이라는 점을 감안하여 경계선 회귀법에서 함께 사용된 글로벌 및 스테이션 점수를 기준으로 결정의 품질을 평가했습니다. 

We first assessed the stability and reliability of ratings by SPs. Students had an average total score on the checklists of 0.96 (SD = 0.053), and they had average global rating scores of 3.25 (SD = 0.44). The dependability of the global scores was 0.44, which was too low to be reliably used as a high-stakes decision point by itself. The checklists were only scored by one rater, and so rater effects and station effects were confounded, and rater reliability could not be directly estimated. However, rater reliability could be assessed for the global rating, as this was a more general rating and not specific to case details like the checklists. The reliability as intraclass correlations (Shrout and Fleiss 1979) of the SPs global ratings (confounded with station difficulty) was ICC = 0.09/(0.09 + 0.81/8) = 0.47 (Table 2 for the source of these values), which is ‘fair’ consistency (Cicchetti 1994). Given that the global rating score was not precise enough for high-stakes decisions and the raters nested in stations had only fair consistency of consistency, we assessed the quality of decisions based on global and station scores as used together in the borderline regression method.

경계선 회귀 방법을 사용한 합격 점수는 시범 도입 및 사용 후 7년간 일관되게 높았지만 그 정도는 다양했습니다(표 4). 전체 합격 점수는 0.6~4.0% 포인트 더 높았으며, 평균 차이는 2.64% 포인트였습니다. 그 결과 해당 연도에 시험을 치른 전체 학생의 1.1%(N = 2명)에서 7.4%(N = 12명)까지, 총 161명에서 182명에 이르는 매우 작지만 꾸준히 불합격 학생이 증가했습니다. 

The passing score using the borderline regression method was consistently higher but to a varying degree in the seven years following the institution of its piloting and use (Table 4). The overall passing score ranged from 0.6 to 4.0 percentage points higher with a mean difference of 2.64 percentage points. This resulted in an increase in a very small-but-consistent increase in student failures ranging from 1.1% (N = 2) to 7.4% (N = 12) of the total students taking the exam in the year, which ranged from a total of 161 to 182 students.

표 2의 결과는 무작위 효과 공변량 분석에서 체크리스트 점수와 전체 점수의 변동성 정도를 나타냅니다. 체크리스트 사례/평가자 측면의 표준편차는 0.056으로 전체 평균인 0.96에 비해 상대적으로 작았습니다. 마찬가지로 전체 점수의 경우 사례/평가자 표준편차는 0.31로, 0~5점 사이의 등급 범위에 비해 스테이션 간 변동성이 훨씬 작았습니다. 이러한 결과는 등급과 점수의 변동성이 부분적으로 스테이션 간의 차이로 인한 것으로, 스테이션 간 점수가 비교적 균일하다는 것을 시사합니다. 
The results in Table 2 describe the degree of variability of checklist scores and global scores from the random effects ANOVA analysis. The checklist case/rater facet had a standard deviation of 0.056, which is relatively small, compared to the overall mean of 0.96. Similarly, the global scores had a case/rater standard deviation of 0.31, which is even smaller variability across stations relative to the rating range of 0 to 5. These results suggested that the variability in the ratings and scores was in small part due to differences between the stations, indicating relatively homogeneous scoring across stations.

토론
Discussion

경계선 회귀 표준 설정 방법을 사용하여 8개의 임상 사례 OSCE에서 신뢰할 수 있는 합격 기준을 생성할 수 있었으며, SP는 SP로서의 관점에서 글로벌 등급 항목을 사용하는 유일한 평가자였습니다. 개별 사례 점수만으로는 신뢰도 기준을 충족하지 못하지만, 8개 사례의 점수는 각각 신뢰도 > =0.70이었습니다. OSCE에서 글로벌 등급을 사용하면 타당한 점수를 산출한다는 연구 결과가 여러 차례 발표되었습니다(Solomon 외. 2000; Scheffer 외. 2008). 그러나 본 연구에서는 글로벌 등급 점수만으로는 합격/불합격 결정을 내릴 수 있는 신뢰도 기준을 충족하지 못했지만, 경계선 회귀 방법의 일부로 사용했을 때 수용 가능한 수준 이상의 신뢰도를 보여주었습니다. 또한 경계선 회귀법을 사용한 결과 불합격률이 상대적으로 적게 증가하여 우리 기관의 정치적, 재정적 관점에서 전적으로 수용 가능한 것으로 나타나 이러한 기준 설정 방법의 변경이 매우 실현 가능한 것으로 나타났습니다. 
We were able to produce reliable passing standards in an eight-case clinical encounter OSCE using the borderline regression standard setting methods with SPs as the only raters employing the global rating item from their perspective as an SP. Using any individual case score alone would not meet reliability standards, but scores from each of the 8 cases had dependability > =0.70. There have been several studies showing the use of global rating producing a valid score in OSCEs (Solomon et al. 2000; Scheffer et al. 2008). In our study, however, use of the global rating score alone would not meet reliability standards on which to make a pass/fail decision, but used as part of the borderline regression method it demonstrated more than acceptable dependability. In addition, our results showed that the relatively small increase in failure rate using the borderline regression method was entirely acceptable from both a political and financial perspective at our institution making this change in standard setting method to be very feasible.

경계선 회귀 방법은 교수 평가자를 사용하는 성과 기반 시험의 표준 설정에 매우 신뢰할 수 있는 방법이라는 것이 입증되었습니다. 또한 Homer와 Pell(2009)은 모의 환자의 평가를 포함시킴으로써 교수 평가에 비해 OSCE 평가의 신뢰도가 높아졌음을 보여줄 수 있었습니다. 또한, 경계선 회귀법은 (직접 비교 연구 시) 성과 기반 평가를 위한 유일한 근거 기반 표준 설정 방법인 Angoff 방법보다 더 신뢰할 수 있는 점수를 산출했습니다(Dauphinee 외. 1997; Kramer 외. 2003). 영국의 5개 학교에서 6개의 OSCE 사례에 대한 합격 기준을 설정하는 데 Angoff 방법을 사용했을 때, 이 학교들에서 설정된 기준에는 허용할 수 없는 변동성이 있었습니다(Boursicot 외. 2006). 경계선 그룹과 수정된 경계선 모두 OSCE의 표준 설정 방법으로 인정받고 있지만, 경계선 회귀 방법은 신뢰도가 높고 오류가 적으며 특히 소수의 학습자가 참여하는 OSCE에 유용한 것으로 나타났습니다(Wood et al. 2006). 최근 연구에서는 다른 표준 설정 방법과 경계선 회귀 방법을 비교하여 경계선 회귀 방법을 상대적 황금 표준으로 삼았습니다(Yousuf 외. 2015; Malau-Aduli 외. 2017). 경계선 그룹 방법의 사용은 경계선 회귀 방법을 사용하기 위한 통계적 지원이 없는 프로그램에서 고려할 수 있는 중요한 방법입니다. 
The borderline regression method has been shown to be a highly reliable method for standard setting for performance-based exams using faculty raters. In addition, Homer and Pell (2009) were able to show an increased level of reliability in their OSCE assessments over the faculty ratings by including the ratings of simulated patients. Furthermore, the borderline regression method, when studied in direct comparison, has produced more reliable scores than the Angoff method, which is the only other evidence based standard setting method for performance-based assessment (Dauphinee et al. 1997; Kramer et al. 2003). When the Angoff method was used to set passing standards for a set of 6 OSCE cases across five schools in the UK, there was unacceptable variability in the standards set across these schools (Boursicot et al. 2006). While both the borderline group (Kilminster and Roberts 2004) and modified borderline (Humphrey-Murto and Macfadyen 2002) are both accepted standard setting methods for OSCEs, the borderline regression method has been shown to have greater reliability, lower error and be particularly useful when the OSCE involves a small number of learners (Wood et al. 2006). Recent studies have compared other standard setting methods to the borderline regression method as the relative gold standard (Yousuf et al. 2015; Malau-Aduli et al. 2017). Use of the borderline group method is an important method to consider for programs without the statistical support to use the borderline regression method.

비의사 평가자(SP)가 임상 술기 OSCE의 맥락에서 신뢰할 수 있는 글로벌 평가 점수를 산출할 수 있는지에 대한 질문과 관련하여, 우리의 결과는 비의사를 포함한 비전문가도 글로벌 평가를 사용할 때 신뢰할 수 있는 평가자 역할을 할 수 있다는 최근의 문헌과 일치합니다. 외과 분야에서는 콘텐츠 전문성 수준이 평가 점수의 신뢰도 향상과 관련이 없으며(Patnaik 외. 2020), 의대생 OSCE를 포함하여 훈련된 비전문가도 신뢰할 수 있고 타당한 성과 기반 평가를 제공할 수 있다는 연구(Mahmood 외. 2018; Pradarelli 외. 2021)가 여러 차례 발표되었습니다(Donohoe 외. 2020). 본 연구 결과는 본 연구와 더 밀접한 관련이 있는 연구와 일치합니다. Berger 등(2012)과 최근 Yudkowsky 등(2019)은 비임상 평가자가 상세한 채점 루브릭을 제공받았을 때 교수 평가자만큼 신뢰성 있게 OSCE 환자 기록을 채점하고 임상 추론을 평가할 수 있음을 보여 주었기 때문입니다. 마지막으로 Han 등(2006)은 일반화 가능성 분석을 통해 의대 4학년 학생을 대상으로 의사소통 기술 태도와 전반적인 수행을 평가하는 5점 만점 항목 3개를 사용할 때 SP 평가자가 교수 평가자보다 더 신뢰할 수 있는 점수를 산출할 수 있음을 입증할 수 있었습니다. 이 결과는 'SP 기반 기본 임상술기 시험에 전문가가 필요한가'라는 질문에 대한 답이기도 합니다(한 외, 2006, 308쪽). 이 의문을 해결하기 위해 다음 프로젝트에서는 교수진에게 동일한 체크리스트를 사용하게 하고, 비디오로 촬영한 학생의 모습에 대한 SP와 교수진의 평가를 직접 비교하는 연구를 진행할 예정입니다. 
Regarding the question of whether a non-physician rater (SP) can produce a reliable global rating score in the context of a clinical skills OSCE, our results are in alignment with the growing literature that non-experts, including non-physicians, can serve as reliable raters even when using global rating. In the field of surgery, there are several studies showing that level of content expertise is not associated with improved reliability in rating scores (Patnaik et al. 2020) and that trained non-experts can provide reliable and valid performance-based assessments (Mahmood et al. 2018; Pradarelli et al. 2021) including in a medical student OSCE (Donohoe et al. 2020). Our results are in accord with research more closely related to our study, as both Berger et al. (2012) and more recently Yudkowsky et al. (2019) showed that non-clinician raters, when provided with a detailed grading rubric were able to score OSCE patient notes and assess clinical reasoning as reliably as faculty raters. Lastly, Han et al. (2006) was able to demonstrate, using generalizability analysis, that when using three 5-point global items assessing communication skills attitude and overall performance, SP raters could produce more reliable scores than the faculty raters in a 4th year medical student. Our results also echo the question they raised, ‘whether experts are required for an SP based basic clinical skills exam’ (Han et al. 2006 p. 308). In order to further address this question, our next project will be to have faculty use the same checklists and to directly compare SP and faculty ratings of students’ videotaped encounters.

본 연구의 잠재적으로 중요한 한계 중 하나는 단일 기관에서 표준화된 단일 환자를 대상으로 수행되었다는 점입니다. 우리 SP는 경험이 풍부하고 수년에 걸쳐 누적적으로 매우 잘 훈련된 사람들입니다. 우리는 지속적으로 우리와 함께 일할 수 있는 미취업 배우가 많은 도시에 위치하고 있습니다. 새로운 SP 프로그램이나 아직 배우로 훈련받지 않은 사람들을 훈련시키는 프로그램을 운영하는 기관에서는 본 연구에서 발견한 수준의 신뢰도를 재현하지 못할 가능성이 높습니다. 또한, 본 연구의 일반화 가능성에 대한 또 다른 잠재적 한계는 본 연구가 임상 환자를 대상으로 임상 기술을 평가하는 OSCE였다는 점입니다. 보다 다양한 학생의 술기를 평가하는 OSCE에는 유용하지 않을 수 있습니다. 마지막으로, OSCE 설계의 효율적이고 비용 효율적인 특성으로 인해 평가자와 사례 효과를 분리하여 독립적으로 연구할 수 없기 때문에 SP, 체크리스트 항목 또는 사례 특징을 조정할 수 있는 진단 능력이 제한됩니다. 그러나 신뢰도 추정치는 이러한 제한의 영향을 받지 않습니다. 
One of the potentially significant limitations of our study is that it was done in a single institution using a single cadre of standardized patients. Our SPs are highly experienced and cumulatively over the years, very well trained. We are located in a city with a large number of underemployed actors who are consistently available to work with us. It is quite possible that institutions with newer SP programs or programs that train people not already trained as actors might not be able to reproduce the level of reliability found in our study. In addition, another potential limitation to the generalizability of these findings is that ours was an OSCE evaluating clinical skills with clinical patient encounters. It may not be as useful for OSCEs that assess a greater variety of student skills. Finally, because of the efficient and cost-effective nature of the OSCE design, it is not possible to disaggregate rater and case effects such that they can be studied independently, which limits our diagnostic ability to adjust SPs, checklist items, or case features. However, the estimates of dependability are unaffected by this limitation.

요약하면, 우리의 결과는 글로벌 등급을 제공하는 데 있어 SP의 역할을 뒷받침하는 새로운 연구 및 문헌을 더욱 확인시켜 주며(Homer and Pell 2009), 경계선 방법이 매우 신뢰할 수 있는 합격 기준 점수를 생성할 수 있다는 과거의 연구 결과와도 일치합니다(Dauphinee 외. 1997; Kramer 외. 2003). 신뢰도 높은 전체(및 스테이션) 커트라인 점수에 대한 증거는 이 방법에 대한 신뢰도 증가에 추가적인 신뢰를 제공합니다(Yousuf 외. 2015; Malau-Aduli 외. 2017). 임상의가 아닌 SP가 신뢰할 수 있고 유효한 성과 기반 평가를 생성할 수 있고(Mahmood 외. 2018; Patnaik 외. 2020; Donohoe 외. 2020; Pradarelli 외. 2021), 잘 훈련된 SP가 교수진과의 신뢰도에 상응하는 평가를 생성할 수 있다는 다른 연구 결과(Berger 외. 2012; Yudkowsky 외. 2019)에 따라, 단독 SP를 평가자로 사용하는 경계선 방법이 매우 신뢰할 수 있는 기준 점수를 생성한다는 것을 발견했습니다. 이상적으로는 타당도 프로세스의 다음 단계는 합격 또는 불합격 결정의 기준 및 예측 타당도를 탐색하는 것이지만, 전문적인 효능 및 결과 데이터의 가용성이 부족하기 때문에 수집하기 매우 어려운 증거입니다. 
In summary, our results further confirm the emerging research and literature that supports the role of SPs in providing global ratings (Homer and Pell 2009), and our results are also consistent past findings that the borderline method can produce highly dependable pass criterion scores (Dauphinee et al. 1997; Kramer et al. 2003). Our evidence of highly reliable overall (and station) cut scores gives additional credence to the increasing confidence in the method (Yousuf et al. 2015; Malau-Aduli et al. 2017). In line with other research finding that non-clinician SPs can produce reliable and valid performance-based assessments (Mahmood et al. 2018; Patnaik et al. 2020; Donohoe et al. 2020; Pradarelli et al. 2021), and that well-trained SPs can produce ratings commensurate in reliability with faculty (Berger et al. 2012; Yudkowsky et al. 2019), we found that the borderline method using sole SPs as raters produced a highly reliable criterion score. Ideally, a next step in our validity process would be to explore criterion and predictive validity of our pass or fail decisions, which is very difficult evidence to collect, given the scant availability of professional efficacy and outcomes data.

결론
Conclusion

결론적으로, 우리가 사용한 표준 설정 방법은 평가자가 OSCE 동안 한 가지 추가 항목(글로벌 평가)만 완료하면 됩니다. 성과 기반 평가에서 SP 평가자를 사용하는 기관은 환자의 관점에 기반한 글로벌 평가 항목 사용에 대해 SP에게 짧은 교육(본 연구에서는 1시간)만 받으면 이 표준 설정 방법을 활용할 수 있습니다. 요약하면, 본 연구는 경계선 회귀 방법을 SP만 평가자로 사용하여 임상 진료 OSCE에서 신뢰할 수 있는 합격 점수를 생성하는 데 사용할 수 있음을 보여줍니다. 
In conclusion, the standard setting method we used requires only that the raters complete one additional item (global rating) during the OSCE. Institutions using SP raters in a performance-based assessment can utilize this standard setting method with a short training (one hour in our study) of their SPs on the use of the global rating item based on their perspective as the patient. In summary, our study demonstrates that the borderline regression method can be used with only SPs as raters to create reliable passing scores in a clinical encounter OSCE.

Finding a reliable, practical and low-cost criterion-referenced standard setting method for performance-based assessments has proved challenging. The borderline regression method of standard setting for OSCEs has been shown to estimate reliable scores in studies using faculty as raters. Standardized patients (SPs) have been shown to be reliable OSCE raters but have not been evaluated as raters using this standard setting method. Our study sought to find whether SPs could be reliably used as sole raters in an OSCE of clinical encounters using the borderline regression standard setting method.SPs were trained for on a five-point global rating scale. In an OSCE for medical students, SPs completed skills checklists and the global rating scale. The borderline regression method was used to create case passing scores. We estimated the dependability of the final pass or fail decisions and the absolute dependability coefficients for global ratings, checklist scores, and case pass-score decisions using generalizability theory.The overall dependability estimate is 0.92 for pass or fail decisions for the complete OSCE. Dependability coefficients (0.70-0.86) of individual case passing scores range demonstrated high dependability.Based on our findings, the borderline regression method of standard setting can be used with SPs as sole raters in a medical student OSCE to produce a dependable passing score. For those already using SPs as raters, this can provide a practical criterion-referenced standard setting method for no additional cost or faculty time.

Purpose: Setting standards is critical in health professions. However, appropriate standard setting methods do not always apply to the set cut score in performance assessment. The aim of this study was to compare the cut score when the standard setting is changed from the norm-referenced method to the borderline group method (BGM) and borderline regression method (BRM) in an objective structured clinical examination (OSCE) in medical school.

Methods: This was an explorative study to model of the BGM and BRM. A total of 107 fourth-year medical students attended the OSCE at seven stations with encountering standardized patients (SPs) and one station with performing skills on a manikin on 15 July 2021. Thirty-two physician examiners evaluated the performance by completing a checklist and global rating scales.

Results: The cut score of the norm-referenced method was lower than that of the BGM (p<0.01) and BRM (p<0.02). There was no significant difference in the cut score between the BGM and BRM (p=0.40). The station with the highest standard deviation and the highest proportion of the borderline group showed the largest cut score difference in standard setting methods.

Conclusion: Prefixed cut scores by the norm-referenced method without considering station contents or examinee performance can vary due to station difficulty and content, affecting the appropriateness of standard setting decisions. If there is an adequate consensus on the criteria for the borderline group, standard setting with the BRM could be applied as a practical and defensible method to determine the cut score for OSCE.

표준 설정 시험에서 "경계선"으로 평가된 수험생은 전문 표준을 명확하게 충족한 수험생과 그렇지 않은 수험생을 구분하는 중요한 점수 범위를 나타내며, 어떤 "경계선" 수험생이 표준을 충족했는지를 파악하는 것이 과제입니다. 객관적 구조화 임상시험(OSCE)의 데이터로 커트라인 점수를 계산하기 위해 다양한 경계선 그룹 방법이 도입되었습니다[1,2,3,4,5,6]. 수정된 BGM은 사용 편의성을 최우선으로 고려했습니다[4]. 일반적으로 경계선으로만 평가된 수험자의 평균 점수가 각 스테이션에 대해 계산됩니다. 그런 다음 스테이션 평균 점수를 평균하여 최종 OSCE 컷 점수를 얻습니다. 최종 결정은 시험관의 판단을 최대한 반영하여 실제 수행을 관찰한 결과를 바탕으로 이루어집니다. 따라서 별도의 표준 설정 패널이 필요하지 않아 컷 점수 설정에 드는 노력과 비용을 크게 줄일 수 있다는 장점이 있습니다[7,8,9,10,11]. 그러나 이 방법의 유용성에 대한 초기 증거는 대규모 국가 OSCE의 맥락에서 나온 것입니다. 각 시험장마다 여러 명의 시험관이 있었고 각 시험장의 경계선 코호트 규모가 컸습니다[4]. 시험관 편차가 전체 등급에 미치는 영향과 경계선 그룹에 속한 이상치 응시자의 영향은 평균화하여 역별 컷 점수에 미치는 영향을 최소화하거나 전혀 영향을 미치지 않았습니다. 소규모 단일 기관 OSCE의 경우, 경계선 코호트에서 시험관 분산과 이상치 응시자, 또는 심지어 OSCE 스테이션에 경계선 응시자가 거의 또는 전혀 없는 경우에도 컷 점수에 상당한 부정적 영향을 미칠 수 있습니다. 
In standard-setting exercises, examinees rated as “borderline” represent a critical range of scores separating those that clearly met the professional standard and those that did not, the challenge being to determine which “borderline” examinees have also met the standard. A variety of borderline group methods have been introduced [1,2,3,4,5,6], for calculating cut scores with data from objective structured clinical exams (OSCE). The modified BGM places ease of use at the top of the list [4]. Typically the mean scores of examinees exclusively rated as borderline are calculated for each station. Then, the station mean scores are averaged to achieve a final OSCE cut score. The final decision is based on observations of actual performances, making the most of the judgment of the examiners. Consequently, another advantage is eliminating the need for a separate standard-setting panel, significantly reducing the effort and cost of setting a cut score [7,8,9,10,11]. However, early evidence of the method’s utility was in the context of a large-scale national OSCE. There were multiple examiners for each station and the borderline cohorts for each station were large [4]. The impact of examiner variance on the global ratings and the effect of outlier examinees in the borderline groups were averaged out with minimal to no impact on the station cut scores. For smaller, single institution OSCEs, examiner variance and outlier examinees in the borderline cohorts, or even having few to no borderline examinees identified for an OSCE station, can significantly and negatively impact the cut score.

본 연구는 수정된 BGM의 타당성을 유지하면서 소규모 코호트에서 수정된 BGM 사용의 위험을 완화할 수 있는 OSCE 컷 점수 설정 프로세스를 평가하기 위해 수행되었습니다. 이를 위해 이 연구에서는 회귀 기반 수정과 라쉬 기반 수정을 수정된 BGM과 비교하여 고려했습니다. 회귀 기반 경계선 그룹 방법(회귀 BGM)과 라쉬 기반 경계선 그룹 방법(라쉬 BGM)의 강점을 아래에서 자세히 설명합니다. 
The present study was conducted to assess a process for setting an OSCE cut score that would mitigate the risks of using modified BGM with smaller cohorts while retaining the feasibility of modified BGM. To this end, this study considered a regression-based modification and Rasch-based modification in comparison to modified BGM. We expand on the strengths of both a regression-based borderline group method (regression BGM) and Rasch-based borderline group method (Rasch BGM) below.

회귀 BGM은 수정 BGM에서와 같이 경계선 수험생의 데이터뿐만 아니라 모든 수험생의 점수 데이터를 회귀 방정식에 사용하여 스테이션별 편차를 처리합니다. 회귀 BGM 표준 설정에서 각 시험장에 대한 선형 방정식은 각 수험생의 글로벌 등급을 독립 변수로, 관련 총 시험장 점수를 종속 변수로 사용하여 계산됩니다[5,6,7]. 그런 다음 경계선 표준을 나타내는 글로벌 등급(예: 5점 척도 3점)을 방정식에 삽입하여 스테이션별 컷 점수를 나타내는 해당 스테이션 점수를 예측합니다[5,6,7]. 데이터 그래프를 검토하고 회귀선에서 글로벌 점수와 스테이션 점수 사이의 교차점을 식별하여 이 작업을 수행할 수도 있습니다. 그런 다음 예측된 스테이션 컷 점수를 평균화하여 최종 OSCE 컷 점수를 결정합니다. 이 통계 분석은 일반적인 통계 소프트웨어 또는 스프레드시트를 사용하여 선형 회귀 분석을 스테이션 데이터에 적용하기만 하면 되기 때문에 매력적입니다 [5,6,7]. 회귀 BGM은 보건 교육에서 OSCE를 위한 최적의 선택으로 설명되어 왔으며[12], 여러 연구에서 OSCE 표준 설정 접근법에 대한 신뢰성이 입증되었습니다[13, 14]. 또한 회귀 BGM은 수정 BGM의 모든 장점을 포함하고 있습니다 [5]. 회귀 BGM은 경계선 등급 데이터뿐만 아니라 전체 등급의 모든 데이터를 사용함으로써 경계선 등급을 받은 수험생이 없더라도 스테이션 컷 점수를 설정할 수 있습니다. 그러나 수정된 BGM과 마찬가지로, 이 계산은 특히 스테이션당 시험관 수가 적은 경우 극단적인 시험관 평가에 여전히 취약합니다.  

The regression BGM addresses variance from a station by using all the examinee score data in the regression equation, not just data from the borderline examinees, as is done in modified BGM. In a regression BGM standard setting, a linear equation for each station is calculated using the global rating for each examinee as the independent variable and the associated total station scores as the dependent variable [5,6,7]. The global rating that represents the borderline standard (e.g. three on a 5-point scale) is then inserted into the equation to predict a corresponding station score that represents the station-specific cut score [5,6,7]. This can also be accomplished by examining a graph of the data and identifying the point of intersection on the regression line, between the global and station scores. The predicted station cut scores are then averaged to determine the final OSCE cut score. This statistical analysis is appealing as regression BGM only requires the application of a linear regression analysis to the station data, using common statistical software or spreadsheets [5,6,7]. The regression BGM has been described as an optimal choice for OSCEs in health education [12] and its reliability for OSCE standard-setting approach has been upheld in several studies [13, 14]. Furthermore, regression BGM includes all the advantages of modified BGM [5]. By using all the data from the global rating, not just the borderline rating data, regression BGM is able to set station cut scores even if no examinees are rated as borderline. However, as with modified BGM, the calculations are still vulnerable to extreme examiner ratings, especially when the number of examiners per station is small.

라쉬 BGM은 수정 BGM과 회귀 BGM의 동일한 장점과 시험자 편차의 영향을 완화할 수 있는 가능성을 제공합니다. 특히 Stone 등[15]은 수험자, 시험관, 시험장 및 전체 글로벌 성과 점수를 포함하는 4면체 라쉬 모델 분석을 Facets 소프트웨어에서 개발했습니다. Stone 등[15]은 라쉬 BGM이 평가 대상에 대한 잘못 정의된 구성에 대한 수정된 BGM의 의존도를 바로잡는다고 주장합니다. 라쉬 BGM의 뛰어난 특징은 정성적 전문가 판단을 평가 대상의 구성을 정의하는 정량적 단일 선형 척도로 변환한다는 것입니다[16, 17]. 이 표준화된 척도를 사용하면 콘텐츠 난이도와 응시자 능력 간의 직접적인 점수 비교가 가능하며, 이 척도를 따라 컷 점수를 점수로 표시할 수 있습니다. 커트라인 점수는 능력 수준이 충분하다고 판단되고 필수 지식 또는 역량을 습득한 것으로 간주되는 지점을 척도 상에 표시합니다. 다면 라쉬 측정 모델은 수험자의 점수에 영향을 줄 수 있는 시험 요소, 즉 OSCE와 같은 수행 평가에서 시험관의 채점 행동과 같은 요소를 포함할 수 있습니다. 여러 측면을 포함하면 이러한 측면과 관련된 분산을 추정할 수 있으며 시험관 매개 평가를 위한 객관적인 표준 설정 방법의 개발이 가능해집니다. 시험관을 포함함으로써 모델은 엄격하거나 관대한 채점과 관련된 분산을 설명할 수 있었습니다. 글로벌 등급 패싯은 경계선 수험생과 관련 역 점수 간의 직접 점수 비교를 위한 추정치를 계산하는 데 사용되었습니다. Stone 등[15]은 라쉬 기반 컷 점수가 패널 기반 표준 설정 패널의 결과와 매우 유사한 결과를 산출하여 라쉬 BGM이 검사자 매개 평가를 위한 유효하고 자원 집약적이지 않은 표준 설정 대안임을 입증했다고 밝혔습니다. 
The Rasch BGM offers the same advantages of both modified BGM and regression BGM, and the possibility of mitigating the impact of examiner variance. Specifically, Stone et al. [15] developed a four-facet Rasch model analysis in Facets software, which included examinees, examiners, stations, and the overall global performance score. Stone et al. [15] argue the Rasch BGM rectifies modified BGM’s reliance on a poorly defined construct of what is being assessed. The outstanding feature of Rasch BGM is the translation of qualitative expert judgments onto a quantitative single linear scale that defines the construct being assessed [16, 17]. Using this standardized scale, it is possible to make direct score comparisons between content difficulty and test-taker ability and to represent the cut score as a point along this scale. The cut score marks the point on the scale where ability level is judged sufficient and essential knowledge or competence is deemed to be mastered. The many-facet Rasch measurement model allows for the inclusion of test facets that may influence examinee scores; facets such as examiner scoring behaviour in performance assessments like an OSCE. The inclusion of multiple facets allows the variance associated with these facets to be estimated and makes the development of an objective standard-setting method for examiner-mediated assessments possible. Including examiners allowed the model to account for variance associated with stringent or lenient scoring. The global rating facet was used to calculate estimates for direct score comparisons between borderline examinees and their associated station scores. Stone et al. [15] found that the Rasch-based cut score produced results that were very similar to results from a panel-based standard-setting panel, thereby demonstrating that Rasch BGM was a valid and less resource-intensive standard-setting alternative for examiner-mediated assessments.

세 가지 경계선 그룹 방법의 공통적인 장점은 위에 언급된 연구에 열거되어 있습니다:

• (1) 기준 참조 컷 점수는 임상 전문가가 여러 번의 실제 수행을 직접 관찰하여 (비디오로 촬영된 소량의 샘플이나 가상 수행에 근거한 판단이 아니라) 달성되며,
• (2) 이미 OSCE에 참여하고 있는 시험관에게 의존함으로써 실현 가능성이 크게 향상되고,
• (3) 기본 소프트웨어를 사용하여 각 시행 후 컷 점수 계산이 신속하게 완료되며,
• (4) 비용, 시간 또는 노력 측면에서 컷 점수 설정과 관련된 자원이 적다는 점 등이 있습니다. 

The common advantages of all three borderline group methods are enumerated in the studies referenced above:

• (1) a criterion-referenced cut score is achieved based on direct observation of multiple actual performances by clinical experts (rather than judgments based on a small sample of videotaped or hypothetical performances),
• (2) feasibility is significantly enhanced by reliance on examiners who are already part of the OSCE,
• (3) calculating the cut score is completed quickly after each administration using basic software, and
• (4) resources associated with setting the cut score are small, whether measured in terms of money, time, or effort.

저희의 의도는 시험관 및 기타 원치 않는 변수의 영향을 최소화하여 OSCE 표준 설정 결정에 더 나은 정보를 제공할 수 있는 가능성을 고려하여 더 일반적으로 사용되는 수정된 BGM 및 회귀 BGM과 비교하여 라쉬 BGM의 정확성을 설명하는 것이었습니다. 각 방법은 캐나다에서 실무 경험을 쌓고자 하는 국제적으로 훈련된 간호사를 평가하는 고난도 12개 스테이션 OSCE의 커트라인 점수를 설정하는 데 채택되었습니다.  
Our intent was to describe the accuracy of the Rasch BGM, compared to the more commonly used modified BGM and the regression BGM, given its potential to minimize the impact of examiner and other unwanted variance with the goal of better informing OSCE standard-setting decisions. Each method was adopted to set the cut score for a high-stakes 12-station OSCE assessing internationally trained nurses seeking entry to practice in Canada.

이 연구의 데이터는 캐나다 내 주정부 등록 절차의 일환으로 평가 프로그램을 이수한 112명의 국제 교육을 받은 간호사를 평가한 2016년 OSCE에서 얻었습니다. OSCE는 다양한 환자 인구 통계에 걸쳐 공통적이고 중요한 환자 프레젠테이션을 샘플링하는 12개 스테이션으로 구성되었습니다. 응시자는 각 스테이션을 11분 이내에 완료해야 했습니다. 
Data for this study came from a 2016 OSCE that assessed 112 internationally educated nurses who completed an assessment program as part of a provincial registration process within Canada. The OSCE consisted of 12 stations that sampled common and important patient presentations across various patient demographics. Examinees were required to complete each station within 11 min.

모든 응시자는 연구 및 품질 관리 목적으로 데이터를 사용하는 데 동의했으며, 모든 보고서는 모든 개인 식별자를 제거한 집계 데이터만 사용한다는 데 동의했습니다. 맥마스터 대학교의 해밀턴 통합 연구위원회는 이 동의서에 따라 수행된 OSCE 연구(보고 포함)는 추가적인 윤리 검토가 면제되는 것으로 간주했습니다. 
All the examinees consented to the use of their data for research and quality control purposes with the agreement that any reports would only use aggregate data with all personal identifiers removed. The Hamilton Integrated Research Board of McMaster University deemed OSCE research done under this consent agreement, including reporting, exempt from further ethics review.

성과는 주 간호대학에서 정의한 입문-실무 역량과 관련된 14개의 사전 정의된 역량을 사용하여 채점되었습니다.

• 지식 기반 실무에는 (1) 병력 및 데이터 수집, (2) 신체 사정, (3) 결과 분석 및 해석, (4) 우선순위 결정, (5) 간호 전략 실행, (6) 의사소통, (7) 고객과의 협력, (8) 의료팀과의 협력, (9) 간호 계획 개발, (10) 간호 평가 및 모니터링 등 10가지 역량이 포함되었습니다.
• 윤리적 실천의 경우 (1) 책임과 성실성, (2) 안전, (3) 옹호, (4) 법적 의무의 네 가지 역량이 있었습니다.

각 스테이션에서 이 중 10~12개의 역량을 평가했습니다. 수험생들은 4개의 트랙 중 하나에 배정되었으며, 같은 날 모두 세 개의 세션 중 하나에 배정되었습니다. 각 스테이션당 4명의 시험관이 배치되었으며, 각 시험관은 28개의 수행을 관찰하여 총 48명의 시험관이 참여했습니다.  
Performance was scored using 14 predefined competencies related to entry-to-practice competencies defined by the provincial college of nurses.

• For knowledge-based practice, there were 10 competencies: (1) health history and data collection, (2) physical assessment, (3) analysis and interpretation of findings, (4) prioritization, (5) implementation of care strategies, (6) communication, (7) collaboration with the client, (8) collaboration with the health care team, (9) nursing care plan development, and (10) evaluation and monitoring of care.
• For ethical practice, there were four competencies: (1) responsibility and integrity, (2) safety, (3) advocacy, and (4) legal obligations.

Ten to 12 of these competencies were assessed in each station. The examinees were allocated to one of four tracks, as well as one of three sessions all conducted on the same day. There were four examiners per station, with each one observing 28 performances, for a total of 48 examiners.

시험관들은 현재 주 내에서 근무 중인 간호사들로 구성되었습니다. 이들은 OSCE에 대한 정보(기본 사항, 평가 대상 역량, 평가 지침 등)로 시작하여 태블릿 채점 및 시험 당일 물류에 대한 지침으로 구성된 공식 교육을 받았습니다. 또한 필기 내용에 대한 이해도를 보정하고 표준화하기 위한 소그룹 작업도 있었습니다. 마지막으로, 화상 회의와 후속 토론을 통해 대그룹 채점 연습이 진행되었습니다. 총 교육 시간은 이틀에 걸쳐 12시간이었습니다. 
Examiners were registered nurses currently practicing within the province. They received formal training that began with information about the OSCE (i.e. fundamentals, competencies being assessed, and rating guidelines), followed by instructions on tablet scoring and exam day logistics. There was also small group work to calibrate and standardize their understanding of the written content. Finally, there was a large group scoring exercise using videotaped encounters and follow-up discussions. Total training time was 12 h spread over 2 days.

시험관들은 각 역량에 대해 동일한 5점 만점 평가 척도를 사용하여 배정된 스테이션 내에서 수험생의 수행을 채점했습니다. 평가 척도는 녹색(탁월한 성과), 파란색, 노란색, 주황색, 빨간색(긴급한 성과)의 색상으로 고정되었습니다. 시험관이 피시험자의 성과에 범주형 라벨을 부여하도록 장려하기 위해 숫자 대신 색상을 성과 수준을 나타내는 지표로 사용했습니다. 터치스톤 연구소에서 실시한 내부 품질 보증 조사에 따르면, 시험관들은 숫자 등급이 암시하는 정확성이나 등급이 수험생의 합격 또는 불합격 여부에 영향을 미치는 것과는 달리, 색상 등급이 성능에 더 집중하는 데 도움이 된다고 생각하여 색상 등급을 선호한다고 답했습니다. 이 척도에서 파란색은 앵커 점수 또는 시험 표준을 나타내며, 이는 수험생이 최근 캐나다 간호 프로그램을 졸업한 사람에게 기대되는 실무 진입 표준과 동등한 수준의 수행을 하고 있음을 의미합니다. 시험관은 이 표준에 약간 미달하는 점수에는 노란색을, 이보다 더 낮은 점수를 받은 수험생에게는 주황색을 할당하도록 훈련받았습니다. 이러한 색상 수준은 사후에 5(녹색)에서 1(빨간색)까지의 수치 점수로 변환되었습니다. 각 스테이션의 등급 척도 점수의 평균이 해당 스테이션에 대한 수험자의 점수입니다. 각 스테이션 점수의 평균은 각 수험자의 총 OSCE 점수입니다. 
During the OSCE, examiners scored examinee performances within their assigned stations using the same 5-point global rating scale for each competency. The rating scales were anchored by colours ranging from green (exceptional performance), blue, yellow, orange, to red (emergent performance). Colours were used as indicators of performance level, instead of numbers, to encourage examiners to assign a categorical label to the examinee’s performance. Internal quality assurance inquiries conducted at Touchstone Institute indicated that examiners preferred a colour scale as they felt it helped them focus more on the performance, as opposed to the precision implied by a number rating, or whether their rating would be responsible for passing or failing the examinee. On this scale, blue represents the anchor score or test standard, meaning an examinee is performing at a level equivalent to the Entry to Practice Standard expected of a recent graduate of a Canadian nursing program. Examiners are trained to allocate yellow to a performance slightly below this standard and orange to an examinee who performs even further below this. These colour levels were converted to numerical scores ranging from 5 (green) to 1 (red) post hoc. The mean of the rating scale scores for each station was the examinee’s score for that station. The mean of the station scores was each examinee’s total OSCE score.

합격 기준은 해당 주 내에서 최근 간호사를 졸업한 사람들이 수용할 수 있는 성적을 획득하는 것으로 정의되었습니다. 각 스테이션에 대해 시험관들은 위에서 설명한 역량에 점수를 매기는 데 사용한 것과 동일한 5점 척도를 사용하여 각 수험자의 성과를 전반적으로 평가했습니다. 다음과 같은 지침이 제공되었습니다. "이 스테이션의 전반적인 성과에 근거하여, 최근 주 학사 간호 프로그램을 졸업한 졸업생과 비교한 수험생의 현재 역량 수준은 -입니다."입니다. 5점 만점에 3점(노란색)을 받으면 "경계선"에 해당하는 수행을 확인할 수 있습니다. 수정된 BGM과 회귀 BGM의 경우 스테이션 점수가 사용되었습니다. 라쉬 BGM의 경우, 스테이션 점수를 먼저 백분율로 변환했습니다. 모든 OSCE 컷 점수는 가장 가까운 정수로 반올림했습니다.  
The standard for passing was defined as attaining a performance acceptable for recent nurse graduates within the province. For each station, examiners rated each examinee’s performance globally, using the same 5-point rating scale as used to score the competencies described above. The following guideline was provided, “Based on the overall performance for this station, the examinee’s current level of competence as compared to a recent graduate from a provincial baccalaureate nursing program is–”. A global rating of 3 (yellow) out of 5 identified performances that were “borderline”. For modified BGM and regression BGM, stations scores were used. For Rasch BGM, station scores were first converted to a percent. All the OSCE cut scores were rounded to the nearest whole number.

• 수정된 BGM의 경우, 경계선 수행능력의 평균 점수가 해당 스테이션의 컷 점수가 되고, 스테이션 컷 점수의 평균이 OSCE 컷 점수가 되었습니다. 계산은 스프레드시트에서 수행되었습니다.
  For modified BGM, the mean score of the borderline performances became the cut score for the station and the average of the station cut scores became the OSCE cut score. The calculations were done in a spreadsheet.
• 회귀 BGM의 경우, 각 수험생의 글로벌 등급을 독립변수로, 해당 스테이션 점수를 종속변수로 사용하여 12개 스테이션 각각에 대한 선형 방정식을 계산했습니다. 이러한 계산은 스프레드시트에서도 수행되었습니다. 각 방정식에서는 3등급의 경계선 등급을 사용하여 스테이션별 예상 컷 점수를 계산했습니다. 스테이션별 컷 점수의 평균을 계산하여 OSCE 컷 점수를 생성했습니다.
  For regression BGM, a linear equation for each of the 12 stations was calculated using the global rating for each examinee as the independent variable and the corresponding station score as the dependent variable. These calculations were done in a spreadsheet as well. The borderline rating of three was used in each equation to calculate the predicted station-specific cut scores. The station cut scores were averaged to generate the OSCE cut score.
• 라쉬 BGM의 경우, 백분율로 표시되는 점수[18,19,20,21]에 유용한 4면 B100 라쉬 모델을 Facets 소프트웨어[22] 내에서 생성하여 각 스테이션에 개별적으로 적용했습니다. 패싯 1은 수험생, 패싯 2는 시험관, 패싯 3은 스테이션의 전체 글로벌 성능 점수(1~5로 코딩), 패싯 4는 수험생의 스테이션 점수로 구성되었습니다.
  For Rasch BGM, a four-facet B100 Rasch model, useful for scores expressed as percentages [18,19,20,21], was created within Facets software [22] and applied to each station separately. Facet One was examinees, Facet Two was examiner, Facet Three was the overall global performance score for the station, coded as 1 to 5, and Facet Four was examinees’ station scores.

단절되거나 분리된 하위 집합을 처리하기 위해 패싯 1(수험생)을 0에 고정하고 중심이 아닌 패싯 4(스테이션 점수)를 고정했습니다. 따라서 패싯 1은 각 수험자를 수험자 표준 셀의 대표로 취급하는 더미 변수로 나타났습니다[18]. 데이터가 Rasch 모델 사양에 어느 정도 부합하는지, 따라서 이 분석에 적합한지 확인하기 위해 소프트웨어 출력의 일부로 생성된 적합 평균 제곱(MnSq) 통계를 조사했습니다. 적합도 또는 정보 가중치 통계는 개인을 대상으로 하는 항목에 대한 응답 패턴에 더 민감하며 그 반대의 경우도 마찬가지이므로 일반적으로 모델 적합도 데이터를 결정할 때 적합도보다 더 유용한 것으로 간주됩니다[19]. 그 범위에 대해서는 종종 논란이 있지만, 우리는 0.50에서 1.50 사이의 인핏 MnSq 값을 "측정에 생산적"으로, 0.50 미만과 1.50에서 2.0 사이는 생산성은 떨어지지만 저하되지는 않는 것으로, 2.0 이상은 측정 시스템을 왜곡하는 것으로 채택했습니다[19, 20]. 또한 출력의 일부로 생성된 분리 신뢰도 지수 통계는 각 패싯에 포함된 요소 간의 분산 또는 이질성 수준을 나타냅니다. 이 통계는 0에서 1 사이의 범위를 사용하며, 1에 가까운 값은 요소 간의 분산 수준이 높음을 나타냅니다[21]. 
To deal with disconnected or disjointed subsets, we anchored Facet One (examinees) at 0 and non-centred Facet Four (station score). Facet One therefore represented a dummy variable which treated each examinee as a representative of their examiner-standard cell [18]. To determine the extent to which the data fit the Rasch model specifications and therefore its suitability for this analysis, we investigated the infit mean square (MnSq) fit statistics generated as part of the software output. Infit or information-weighted statistics are more sensitive to the pattern of responses to items targeted on the person and vice versa; they are therefore generally considered more useful than outfit in determining data to model fit [19]. Although the range is often disputed, we adopted infit MnSq values between 0.50 and 1.50 as “productive for measurement”, less than 0.50 and between 1.50 and 2.0 as less productive but not degrading, and greater than 2.0 as distorting the measurement system [19, 20]. The Reliability of Separation Index statistic, also generated as part of the output, provided an indication of the level of variance or heterogeneity between the elements included within each facet. This statistic adopts a range from 0 to 1, with values closer to 1 representing higher levels of variance between elements [21].

경계선 수험생의 공정 평균 점수는 각 스테이션의 커트라인 점수가 되었습니다. 각 측면의 공정 평균 점수는 원래 점수 지표를 사용하여 계산되었으며, 시험관 배정과 관련된 분산과 같은 맥락[18,19,20,21]을 고려한 관찰된 평균을 나타냅니다. 그런 다음 스테이션 컷 점수를 평균화하여 최종 Rasch BGM 컷 점수를 생성했습니다. 
The fair averagescore for borderline examinees became the cut score for each station. The fair average score for each facet was calculated using the original score metric and represents the observed average, accounting for context [18,19,20,21], for instance, the variance associated with examiner assignment. The station cut scores were then averaged to generate the final Rasch BGM cut score.

알파 계수와 함께 OSCE에 대한 기술 통계가 계산되었습니다. 컷 점수와 합격률, 결정 정확도 및 일관성 지수도 BB-CLASS 소프트웨어[23,24,25]를 사용하여 계산했습니다. 항목별 총 상관관계 및 컷 점수와 함께 스테이션 수준의 설명 통계도 분석에 포함되었습니다. 회귀 분석의 스테이션 수준 결과도 제공됩니다. 
Descriptive statistics for the OSCE, along with the alpha coefficient, were calculated. The cut scores and pass rates were also calculated, along with decision accuracy and consistency indices, which were generated using BB-CLASS software [23,24,25]. Station-level descriptive statistics along with item-total correlations and cut scores were included in the analysis. Station-level results from the regression analyses are also provided.

OSCE는 큰 문제 없이 시행되었습니다. 평균 점수는 64%, 표준 편차는 7.7%, 알파 계수는 0.85였습니다. 스테이션별 기술통계 결과는 평균 점수의 범위가 54.8~73.3%로 스테이션별 난이도의 범위를 보여줍니다. 모든 스테이션의 항목-총상관계수(ITC)는 0.20 이상으로 12개 스테이션에서 적절한 수준의 내부 일관성이 있음을 나타냅니다[24]. 스테이션에 대한 설명적 결과는 표 1에 나와 있습니다. 
The OSCE was administered without any significant issues. The mean score was 64% with a standard deviation of 7.7% and an alpha coefficient of 0.85. Station-level descriptive results show a range in mean scores from 54.8 to 73.3%, illustrating a range in station difficulty. All stations had item-total correlations (ITC) greater than 0.20, indicating an adequate degree of internal consistency across the 12 stations [24]. The descriptive results for the stations are provided in Table 1.

전반적으로 데이터는 인핏 MnSq 통계에 의해 결정된 모델 사양에 충분히 부합했습니다. 구체적으로,

• 패싯 2(검사자)는 12개 스테이션에서 평균 1.34(범위: 0.94~1.93)의 인핏 MnSq 값을 달성했고,
• 패싯 3(글로벌 성능 점수)은 평균 1.28(범위: 0.55~2.11)을 달성했습니다. 패싯 3의 경우, 스테이션 8의 한 스테이션만이 측정 시스템을 왜곡하는 것으로 간주되는 값(2.11)을 달성하여 평가 품질 보증을 위해 추가 조사가 필요했으며, 본 연구 내에서 스테이션 8에 대한 조정은 이루어지지 않았습니다.
• 마지막으로, 패싯 4(스테이션 점수)는 1.31(범위: 0.95~1.79)의 평균 적합도 MnSq 값을 달성했습니다.
• 이 패싯은 더미 변수로 모델에 포함되었기 때문에 패싯 1(수험자)에 대한 적합도 통계는 생성되지 않았습니다. 

Overall, the data achieved sufficient fit to model specifications as determined by infit MnSq statistics. Specifically,

• Facet Two (examiners) achieved a mean infit MnSq value of 1.34 (range: 0.94 to 1.93) across the 12 stations,
• Facet Three (global performance score) achieved a mean of 1.28 (range: 0.55 to 2.11). For Facet Three, only one station, namely Station 8, achieved a value considered distorting to the measurement system (2.11) and warranted further investigation for assessment quality assurance purposes; no adjustments were made to Station 8 within this study.
• Lastly, Facet Four (station score) achieved a mean infit MnSq value of 1.31 (range: 0.95 to 1.79).
• Note, fit statistics were not generated for Facet One (examinees), as this facet was included in the model as a dummy variable.

패싯 2와 패싯 3에 각각 표시된 수험자 및 글로벌 성과 점수 요소에 걸쳐, 결과는 수험자 간에는 중간에서 높은 수준의 분산이, 글로벌 성과 점수 간에는 높은 수준의 분산이 나타났습니다. 특히 시험관의 경우, 평균 분리 신뢰도 지수는 0.64(범위: 0.18~0.94)로, 일부 시험소의 경우 시험관의 채점 행동에 상당한 차이가 있음을 나타냅니다. 전체 수행 점수 간의 차이 측면에서, 3번 영역의 분리 신뢰도는 12개 스테이션에서 평균 0.96(범위: 0.88~0.99)을 기록했으며, 이는 시험관이 이 점수를 사용하여 각 스테이션에서 응시자 간의 전반적인 수행 수준을 적절하게 식별했음을 나타냅니다. 
Across the examiner and global performance score elements represented in Facet Two and Facet Three, respectively, results showed moderate to high levels of variance across examiners, and high levels of variance across global performance scores. Specifically for examiners, a mean Reliability of Separation Index of 0.64 (range: 0.18 to 0.94) was achieved, indicating that for some stations, examiners displayed significant differences in their scoring behaviour. In terms of differences between global performance scores, Reliability of Separation for Facet Three achieved a mean of 0.96 (range 0.88 to 0.99) across the 12 stations, indicating that examiners used these scores to appropriately identify distinct overall levels of performance between examinees in each station.

세 가지 방법으로 생성된 컷 점수는 거의 비슷했으며(범위 64-65%), 회귀 BGM과 라쉬 BGM 컷 점수는 동일한 값(65%)으로 반올림되었습니다. BB-CLASS 분석[23, 24]에서는 의사 결정 일관성과 의사 결정 정확도 지표를 제공했습니다. 결정 일관성은 반복 테스트에서 동일한 합격/불합격 결정을 내릴 가능성이 얼마나 되는지를 나타내며, 결정 정확성은 다른 측정치와 비교하여 동일한 결과를 얻을 가능성이 얼마나 되는지를 나타냅니다[24]. 세 가지 컷 점수는 모두 0.82 이상의 지수로 허용 가능한 일관성과 정확성을 보였으며, 이는 의사 결정에 대한 위양성과 위음성의 위험을 충분히 최소화한다는 것을 의미합니다. 표 2에는 세 가지 컷 점수에 대한 결과가 요약되어 있습니다. 
The cut scores generated by the three methods were close (range 64–65%), with regression BGM and Rasch BGM cut scores rounding to the same value (65%). A BB-CLASS analysis [23, 24] provided decision consistency and decision accuracy indices. Decision consistency indicates how likely the same pass/fail decisions would be achieved on repeat testing while decision accuracy indicates how likely the same results would be achieved relative to other measures [24]. All three cut scores were acceptably consistent and accurate with indices ≥ 0.82, meaning they sufficiently minimized the risk of false positives and false negatives for decision-making. Table 2 summarizes the results for the three cut scores.

컷 점수의 작은 차이가 합격률에 영향을 미칠 수 있습니다. 표 2에서 볼 수 있듯이, 가장 높은 합격률(즉, 56%)은 수정된 BGM 컷 점수 64%에서 발생했습니다. 기준 설정 방식에 따라 합격률은 4%의 변동이 있었습니다.
Small differences in cut scores may impact pass rates. As shown in Table 2, the highest passing rate (i.e. 56%) was generated by the modified BGM cut score of 64%. Depending on the standard-setting method, the pass rate fluctuated by 4%.

표 3은 각 스테이션의 경계선 그룹 크기와 각 방법 내 관련 컷 점수를 설명합니다. 각 스테이션별 경계선 그룹의 크기는 다양했지만 n = 31(코호트의 27.7%)에서 n = 67(59.8%)까지 모두 컸으며, 경계선 그룹이 n = 40(35.7%) 이하로 떨어진 경우는 단 3곳에 불과했습니다. 회귀 BGM과 라쉬 BGM 방법 모두 시험관의 경계선 판단을 사용하여 컷 점수를 설정했지만 전체 코호트의 점수와 함께 사용했습니다.  

Table 3 describes the size of the borderline group in each station and the relevant cut score within each method. The size of the borderline group for each station varied but all were large, ranging from n = 31 (27.7% of the cohort) to n = 67 (59.8%), with only three borderline groups falling below n = 40 (35.7%). Both the regression BGM and Rasch BGM methods used the examiners’ borderline judgments to set the cut score but worked with the scores for the total cohort.

표준 설정은 궁극적으로 표준 설정 방법이 모범 사례를 반영하고 일관되게 따를 때 가장 방어할 수 있는 정책 결정입니다. 경계선 그룹 방법은 수험자 기반 및 기준 참조 방식이며 OSCE 형식과 잘 부합합니다. 이러한 방법에 대한 연구에 따르면 이러한 방법은 중대한 의사 결정을 지원하기에 충분히 타당하고 신뢰할 수 있는 것으로 입증되었습니다[5, 26, 27]. 또한 극단적인 시험관의 판단, 경계선에 있는 수험생 코호트가 작거나 존재하지 않는 경우, 시험장당 시험관이 소수이고 수험생 코호트가 작은 경우, 극단적인 수험생의 성적으로 인해 공정한 커트라인 점수를 설정할 때 발생할 수 있는 위험성을 강조한 연구도 있습니다[28]. 
Standard setting is ultimately a policy decision that is most defensible when the standard-setting method reflects best practice and is followed consistently. Borderline group methods are examinee-based and criterion-referenced and align well with the OSCE format. Studies of these methods have demonstrated that they are sufficiently valid and reliable to support high-stakes decision-making [5, 26, 27]. Studies have also highlighted the risks posed to setting a fair cut score introduced by the judgments of extreme examiners, small or non-existent cohorts of borderline examinees, and extreme examinee performances when there are only a few examiners per station and examinee cohorts are smaller [28].