부정의 바로잡기: 어떻게 여자 의과대학생이 주체성을 발휘하는가 (Adv Health Sci Educ Theory Pract. 2023)
Redressing injustices: how women students enact agency in undergraduate medical education
A. Emiko Blalock1 · Dianey R. Leal2

 

 

소개
Introduction

의학교육이 여성의 소외를 지속시키는 방식에 대한 최근의 연구는 오늘날 여성이 남성과 동등하게, 때로는 더 많은 수의 의과대학에 입학함에 따라 훨씬 더 중요해졌습니다(Kelly-Blake et al., 2018; Pelley & Carnes, 2020). 안타깝게도 여성 의대생의 경우, 의과대학의 오랜 남성적 문화, 즉 백인, 유럽 중심 및/또는 북미의 이상에서 비롯된 문화가 의대생의 의학 학습 및 실습 방식에 오랜 그림자를 드리우고 있습니다(참조; Phelan 외., 2010; Sharma, 2019). 이러한 전통은 남성을 의학의 지배적인 지식 보유자로 자리매김하여 여성의 목소리, 경험, 지식의 방식을 부차적인 것으로 만들었습니다(Babaria 외., 2009, 2012; Bruce & Battista, 2015; Drinkwater 외., nd; Ludmerer, 2020). 예를 들어,

  • 의학교육의 학습 역학 및 숨겨진 커리큘럼은 종종 여학생에 대한 편향된 대우를 나타냅니다(Cheng & Yang, 2015; Dijkstra et al., 2008; Lempp & Seale, 2004).
  • 또한, 학계 의학 분야에서는 남성 의사가 여성 의사보다 더 빠른 속도로 승진하는 경우가 많으며(Borges 외, 2012; Howell 외, 2017; Murphy 외, 2021; Richter 외, 2020),
  • 여성이 가정을 꾸리기 시작하면 경력 발전에 불이익을 받기도 합니다(Butler 외, 2019; Winkel 외, 2021).
  • 성별화된 상징, 역사, 전통은 여성 의대생들이 의학에 속하지 않는다고 느끼도록 만들거나(Balmer 외, 2020; Blalock 외, 2022; Levine 외, 2013),
  • 남성이 지배하는 전문 분야를 여성이 지속하지 못하도록 막았습니다(Baptiste 외, 2017; Burgos & Josephson, 2014). 

이러한 관행의 정점은 의학계에서 여성을 합법적이고 타당한 지식 보유자로 인정하지 않는 데 기여하며, 이러한 관행을 인식론적 불공평이라고 합니다. 

Recent scholarship on the ways medical education perpetuates the marginalization of women has become vastly more important today as women enter medical school in equal and sometimes greater numbers to men (Kelly-Blake et al., 2018; Pelley & Carnes, 2020). Unfortunately, for women medical students their numbers alone do not change a long-standing masculine culture in medical school, a culture born from White, Eurocentric and/or North American ideals, casting a long shadow on how medical students learn and practice medicine (see; Phelan et al., 2010; Sharma, 2019). These traditions have positioned men as the dominant knowledge holders in medicine, rendering women’s voices, experiences, and ways of knowing as subaltern (Babaria et al., 2009, 2012; Bruce & Battista, 2015; Drinkwater et al., n.d.; Ludmerer, 2020). For example,

  • learning dynamics and hidden curriculum in medical education often exhibit biased treatment of women students (Cheng & Yang, 2015; Dijkstra et al., 2008; Lempp & Seale, 2004).
  • Moreover, the field of academic medicine frequently promotes men physicians at faster rates then women physicians (Borges et al., 2012; Howell et al., 2017; Murphy et al., 2021; Richter et al., 2020)
  • while penalizing women in career advancement when they begin having families (Butler et al., 2019; Winkel et al., 2021).
  • Gendered symbols, histories, and traditions have made women medical students feel they do not belong in medicine (Balmer et al., 2020; Blalock et al., 2022; Levine et al., 2013) or
  • discouraged women from persuing specialties dominated by men (Baptiste et al., 2017; Burgos & Josephson, 2014).

The culmination of these practices contributes to dismissing women in medicine as legitimate and valid knowledge holders, a practice known as epistemic injustice.

인식론적 부정의는 종종 사회적 정체성(예: 여성, 소수자, 학생 등)에 근거하여 특정인을 정당한 지식 보유자로 인정하지 않거나 무시하거나 의심하는 관행입니다(Dotson, 2012; Fricker, 2011). 또한 인식론적 불공정은 아는 것과 모르는 것에 대한 차별의 순간에만 국한되는 것이 아니라 다른 합법적인 앎의 방식에 대한 무시도 포함합니다. Dotson(2012)은 인식론적 불공정은 "해석학적으로 소외된 공동체 내부에 존재하는 대안적 인식론, 반신화, 숨겨진 기록 등을 고려해야 한다"(31쪽, 원문 강조)고 설명합니다. 본질적으로 인식론적 불공정은 사회적 정체성에 기반한 개인의 지식을 즉각적으로 불신하는 행위이자 다른 방식의 앎에 대한 가능성을 지속적으로 무시하는 행위입니다.
Epistemic injustice is the practice of discrediting, ignoring, or doubting people as legitimate knowers often based on their social identity (e.g., women, minority, student, etc.) (Dotson, 2012; Fricker, 2011). Furthermore, epistemic injustice is not only confined to moments of discrimination about what one knows or does not know; it also includes a disregard for other legitimate ways of knowing. Dotson (2012) explains epistemic injustice must “account for alternative epistemologies, countermythologies, and hidden transcripts that exist in hermeneutically marginalized communities among themselves (p. 31, emphasis in original). In essence, epistemic injustice is both the immediate discrediting of an individual’s knowledge based on their social identity and the act of persistently ignoring possibilities for other ways of knowing.

인식론적 부정의의 증거는 생명윤리 및 의학교육 학계에 잘 기록되어 있으며(Battalova 외., 2020; Blease 외., 2017; Carel & Kidd, 2014; Seidlein & Salloch, 2019), 의학계 여성에게 인식론적 부정의가부장적인 의학의 역사에서 기인한 형태로 만연해 있습니다. 이러한 남성 중심적 태도는 무의식적으로 이성과 합리성을 남성, 남성성, 남성다움에 부여하는 표현입니다(Lloyd, 1979; Samuriwo 외., 2020; Shaw 외., 2020). 남성을 이성적인("더 나은" 또는 "더 숙련된") 의사로 습관적으로 인식하는 것은 역사적으로 의학계에서 여성의 위치를 낮추고, 여성의 기여를 약화시키며, 여성의 전문직 진출을 선택적으로 제한해 온 이 분야에 광범위한 영향을 미칩니다(Roberts, 2020; Sharma, 2019). 이러한 관행을 종합하면 성별에 기반한 인식론적 불공정의 은밀하고 명백한 사례입니다(Tuana, 2017). 
Evidence of epistemic injustice is well-documented in bioethics and medical education scholarship (Battalova et al., 2020; Blease et al., 2017; Carel & Kidd, 2014; Seidlein & Salloch, 2019), and for women in medicine forms of epistemic injustice are rampant and stem from a patriarchal history in medicine. These androcentric attitudes are manifestations of sub-consciously assigning reason and rationality to men, masculinity, and maleness (Lloyd, 1979; Samuriwo et al., 2020; Shaw et al., 2020). Habitually recognizing men as reasoned (read “better” or “more skilled”) physicians has far-reaching implications for the field, one that has historically discounted the place of women in medicine, undermined their contributions, and selectively limited their advancement in the profession (Roberts, 2020; Sharma, 2019). Combined, these practices are discreet and obvious examples of epistemic injustice based on gender (Tuana, 2017).

인식론적 불공정이 발생하는 경우, 여성 의사의 지식은 종종 의학에 대한 "올바른" 또는 "정확한" 지식에 대한 획일적인 이해와 비교됩니다. 여성이 이러한 형태의 규범적 지식을 입증하면 인식적 불공정의 형태를 회피할 수 있습니다. 예를 들어, 여성 의사는 보다 "남성적"인 행동을 취하거나 채택하거나 의학에서 정당한 것으로 인정되는 특성에 더 기꺼이 자신을 맞출 수 있습니다. 그러나 그렇게 하기 위해 여성은 자신의 커뮤니티와 문화, 심지어 자신에게서 비롯된 지식의 형태를 숨기거나 보류해야 할 수도 있습니다(Dotson, 2012). 따라서 의학계 여성이 순응을 통해 인식론적 불의에 저항할 때, 여성으로서의 사회적 정체성과 자신의 젠더 경험, 인종과 민족, 자신을 키워준 공동체에서 비롯된 지식, 즉 "반-신화와 숨겨진 기록"을 소홀히 하게 됩니다. 여성이 의학 분야에 가져다주는 중요한 지식을 인정하지 않는다면, 백인 남성으로서의 의사의 존재를 지속적으로 재생산하는 동시에 이 분야에서 지식으로 간주되는 것에 대한 한계를 강화함으로써 의료 분야는 빈곤해질 것입니다. 
During events of epistemic injustice, women physicians’ knowledge is often compared to a monolithic understanding of a “correct” or “accurate” knowledge for medicine. If a woman demonstrates this form of normative knowledge, then they may evade forms of epistemic injustice. For example, women physicians may take on or adopt behaviors that are more “masculine” or align themselves more willingly to characteristics that are recognized as legitimate in medicine. However, to do so, women may be tasked with hiding or withholding the very forms of knowledge that arises from their communities and from their cultures, even themselves (Dotson, 2012). Thus, when women in medicine resist epistemic injustice through conformity, they neglect their social identity as women and the knowledge arising from their own gendered experiences, their race and ethnicity, and the communities that raised them—their “countermythologies and hidden transcripts” (Dotson, 2012, p. 31). Without acknowledging the important knowledges women bring to the field of medicine, the medical field will be impoverished by continually reproducing the presence of doctors as White men, while reinforcing limits on what counts as knowledge in the field.


인식론적 불공정의 프레임워크는 이러한 불공정을 바로잡을 수 있는 방법도 제공합니다. 이러한 불공정이 어떻게 발생하는지 분석하는 과정에는 인식적 불공정의 관행을 줄이고 궁극적으로 개혁할 수 있는 방안에 대한 가능성이 내재되어 있습니다(Dotson, 2012). 학생들의 의료 경험이 권력과 억압의 맥락에 놓여 있더라도(Chow 외, 2018; Vanstone & Grierson, 2021; Wyatt 외, 2021 참조) 인식론적 불공정을 시정할 수 있는 능력은 지식이 위치한 위치(예: 자신의 커뮤니티 내, 의료 분야 내, 학습 환경 내)와 밀접하게 연관되어 있습니다. 예를 들어, 유색인종 학생은 의과대학에서의 교육 경험에 자신의 지역사회와 배경에서 비롯된 관점이라는 혁신적인 관점을 가져옵니다(Solorzano & Delgado Bernal, 2001; Wyatt et al., 2018). 
In its entirety, the framework of epistemic injustice also offers avenues to redress such injustices. Embedded in analyzing how such injustices occur are possibilities for ways to reduce and eventually reform the practice of epistemic injustice (Dotson, 2012). Even as students’ medical experiences are situated within the context of power and oppression (see, Chow et al., 2018; Vanstone & Grierson, 2021; Wyatt et al., 2021) their ability to redress epistemic injustices are tightly coupled with where their knowledge is situated (e.g., within their own communities, within the medical field, within a learning environment). For example, students of Color bring with them transformative perspectives into their educative experiences in medical school, perspectives originating from their own communities and backgrounds (Solorzano & Delgado Bernal, 2001; Wyatt et al., 2018).

인식적 불공정의 형태에 맞서기 위해, 우리는 인식적 주체성의 개념을 활용하여 참가자의 행동을 해석합니다. 인식적 주체성이란 특정 커뮤니티 내에서 자신의 인식적 자원(예: 지식 체계, 학습, 관행 등)을 설득력 있게 활용하고 공유하는 개인의 능력을 말합니다(Dotson, 2012). 우리는 의학교육의 결핍된 내러티브에 대응하기 위해 의대생이 주체성을 발휘하는 순간에 초점을 맞췄습니다. 이러한 순간은 데이터 분석에 대한 우리의 접근 방식(페미니스트적, 주체적, Tuana, 2017 참조)과 인식론적 불공정의 개념적 틀을 전체적으로 사용하여 데이터를 제시하는 방법에 대한 의도적인 결정을 반영합니다(Dotson, 2012). 주체성은 참여자 경험에 대한 자산 기반 관점을 제공하며, 이는 의대생의 소진과 차별 경험에 대한 풍부한 문헌의 균형을 맞추는 데 도움이 됩니다(Daya & Hearn, 2018; Frajerman 외, 2019; Kilminster 외, 2007; Neumann 외, 2011; Orom 외, 2013). 의료 및 고등 교육 분야에서 도출한 기관의 역할은 (1) 관점 취하기(O'Meara, 2015), (2) 전략적 저항(Baez, 2000, 2011; Ellaway & Wyatt, 2021, 2022; Gonzales, 2018)으로 요약할 수 있습니다.

  • 관점 취하기는 의대생이 목표를 달성하는 데 도움이 되는 상황과 자신에 대한 반사적 숙고를 의미하며, 이러한 반사적 숙고는 더 큰 사회적 요인에 의해 형성되고 배양된 내적 대화 또는 자기 대화입니다(O'Meara, 2015). 반면
  • 전략적 저항의대생이 자신과 타인을 불법적인 지식인으로 만드는 제도적 구조에 저항하거나 이를 전복하려는 의도적인 전술을 말합니다(Baez, 2000, 2011; Ellaway & Wyatt, 2021; Gonzales, 2018). 

To combat forms of epistemic injustice, we leverage the concept of epistemic agency to interpret actions of participants. Epistemic agency refers to a person’s ability to persuasively utilize and share their epistemic resources (e.g., knowledge systems, learnings, practices, etc.) within a given community (Dotson, 2012). We focused on moments of agency in medical students to counter deficit-narratives in medical education. These moments reflect both our approach to data analysis (feminist and agentic, see Tuana, 2017) as well as an intentional decision in how to present the data using the conceptual framework of epistemic injustice in its entirety (Dotson, 2012). Agency provides an asset-based perspective on participant experiences, one that helps balance the plentiful literature on medical student experiences of burn-out and discrimination (Daya & Hearn, 2018; Frajerman et al., 2019; Kilminster et al., 2007; Neumann et al., 2011; Orom et al., 2013). Drawn from the fields of medical and higher education, we frame agency as (1) perspective-taking (O’Meara, 2015), and (2) strategic resistance (Baez, 2000, 2011; Ellaway & Wyatt, 2021, 2022; Gonzales, 2018).

  • Perspective-taking refers to medical students’ reflexive deliberations of a situation and of themselves that help them to advance goals—these reflexive deliberations are inner conversations or self-talk shaped and cultivated by larger societal factors (O’Meara, 2015).
  • Strategic resisting, by contrast, refers to medical students’ intentional tactics to resist or subvert institutional structures that render them and others as illegitimate knowers (Baez, 2000, 2011; Ellaway & Wyatt, 2021; Gonzales, 2018).

이를 위해 이 연구의 목적은 두 가지입니다. 

  • (1) 여의대생의 경험에서 인식론적 불공정이 어떻게 나타나는지 이해하고, 
  • (2) 종종 여의대생을 정당한 지식인으로서 불신, 침묵 또는 자격을 박탈하는 환경에서 학습하는 여의대생의 주체적 경험을 설명하는 것입니다. 

우리는 의료계에서 성평등과 성평등이 아직 완전히 실현되지 않았다는 점을 이해하면서 여의대생의 경험에 특히 초점을 맞춥니다(Butler et al., 2019; Dimant et al., 2019). 우리의 연구 결과는 여학생들이 불의에 맞서는 방식과 그들이 경험한 불의의 형태를 시정하기 위해 취하는 행동에 대한 설명을 제공합니다. 페미니스트 주체적 관점(Tuana, 2017)을 통해 우리는 지식이 다면적이고 개인과 공동체에 모두 존재하며, 가부장적 제도와 직업 내에서 여성의 존재가 여전히 인식되지 않는 경우가 많다는 점을 인식합니다(Sharma, 2019). 또한 지식이 정의되는 방식은 지식에 대한 규범적이거나 공유된 집단적 이해 또는 지배적인 집단이 지식으로 구독할 수 있는 내용보다 훨씬 더 큰 의미를 갖습니다. 따라서 이 백서에 대한 접근 방식의 핵심은 참여자가 누구인지, 어디에서 왔는지, 의대 경험에서 그 지식을 어떻게 구현하는지에 따라 파생된 지식을 인식하는 것입니다.
To this end, the purpose of this study is two fold:

  • (1) to understand how epistemic injustice appears in women medical students’ experiences and
  • (2) to describe the agentic experiences of women medical students who are learning in environments that are often discrediting, silencing, or disqualifying them as legitimate knowers.

We focus specifically on the experiences of women medical students while understanding that gender-equality and gender-equity in the health professions is yet to be fully realized (Butler et al., 2019; Dimant et al., 2019). Our results offer descriptions of the ways women students confront injustices and the actions they take to redress the forms of injustice they experienced. Through a feminist agentic lens (Tuana, 2017), we recognize knowledge as multifaceted and existing both within individuals and shared communities, and for women, often situated within a patriarchal system and a profession where their presence is still in large part, unrecognized (Sharma, 2019). Additionally, how knowledge is defined is much larger than a normative or shared collective understanding of knowledge, or what a dominant group may subscribe as knowledge. Thus, central to our approach to this paper is recognizing knowledges of our participants derived from who they are, where they come from, and how they enact that knowledge in the medical school experiences.

방법론적 설계
Methodological design

비판적 연구자로서(Denzin, 2015; Denzin & Lincoln, 1994), 우리는 모든 연구 질문을 사회의 더 큰 구조적 규범(예: 인종, 계급, 성별 등) 내에 위치시키고 더 큰 형평성을 추구하여 이러한 규범을 비판하고 변화시키려고 노력합니다. 방법론적으로, 이 연구는 참여자의 경험을 이야기함으로써 공유된 현상을 시간의 흐름에 따라 조사하는 내러티브 전통에 뿌리를 두고 있습니다(Clandinin, 2013; Clandinin & Connelly, 2000). 따라서 이 연구의 설계는 의과대학에 재학 중인 여성으로서 의사가 된 이야기를 들려주기 위해 동일한 공유 경험에 대해 질문하여 참가자들을 여러 번 참여시키는 것이었습니다. 
As critical researchers (Denzin, 2015; Denzin & Lincoln, 1994), we situate any research question within the larger structural norms of society (e.g., race, class, gender, etc.) and seek to critique and transform these norms pursuant of greater equity. Methodologically, this study is rooted in the narrative tradition, one where a shared phenomenon is examined in and over time by storying participants’ experience (Clandinin, 2013; Clandinin & Connelly, 2000). Hence, the design for this study was to engage the participants multiple times, asking about the same shared experience to tell their story of becoming a doctor as women in medical school.

클랜디닌과 코넬리(2000)는 "내러티브 질문은 항상 자서전적 요소가 강합니다. 우리의 연구 관심사는 우리 자신의 경험 이야기에서 비롯되며 내러티브 탐구 플롯을 형성합니다."(121쪽). 저희 둘 다 유색인종 여성이고, AEB는 아시아계/백인 혼혈 여성이며, DRL은 라틴계 여성입니다. 우리의 정체성, 경험, 역사에는 인식론적 불의에 대한 우리 자신의 경험, 그리고 이러한 경험을 검증하기 위해 우리 커뮤니티와 서로를 어떻게 바라보았는지에 대한 수많은 줄거리(Polkinghorne, 1988)가 포함되어 있습니다. 의학 분야에서 여성의 경험은 남성과 크게 다르다는 점을 계속 강조할 필요성을 감안하여(Sharma, 2019), 이 연구는 여성이라고 밝힌 학생들을 대상으로 설계되었습니다. 22명의 참가자는 모두 시스 여성으로 자신을 밝히고 발표했지만, 향후 의학계의 젠더에 관한 연구를 통해 젠더의 개념이 확장되기를 바랍니다. 이 연구는 성별 문제에 기반을 두고 있기 때문에 참가자와 동료를 식별하기 위해 '여성female' 또는 '남성male'이라는 용어 대신 '여성woman'과 '남성man'이라는 용어를 사용했습니다. 참가자가 '여성' 또는 '남성'을 사용했을 때 따옴표에서 그 표현을 바꾸지 않았습니다. 또한, 연구자들은 결핍에 초점을 맞춘 연구에 대응하기 위해 내러티브에 대응하기 위해 노력하면서 참가자들이 직면한 불의를 시정하기 위해 취한 구체적인 행동을 찾았으며, 이러한 행동이 인종주의, 계급주의, 성차별적 구조의 한계 내에서 수행되었음을 이해했습니다(Acker, 1990; Nguemeni Tiako 외., 2021; Ray, 2019). 

Clandinin and Connelly (2000) noted “narrative inquiries are always strongly autobiographical. Our research interests come out of our own narratives of experience and shape our narrative inquiry plotlines” (p. 121). For both of us, we are women of Color, AEB a biracial Asian/White woman and DRL a Latina woman. Our identities, experiences, and histories contain numerous plot-points (Polkinghorne, 1988) of our own experiences with epistemic injustices, and how we have looked to our own communities and one another to validate these experiences. Given the need to continue to emphasize that women’s experiences in medicine are vastly different from men (Sharma, 2019), this study was designed to look at students who identified as women. Although all 22 participants identified and presented as cis-women, we hope future work on topics of gender in medicine will expand the construct of gender. We use the term “woman” and “man” rather than “female” or “male” to identify participants and their peers since this study is grounded in issues of gender. When participants used “female” or “male,” we did not change their wording in their quotes. Further, as researchers committed to counter narratives to attend to deficit-focused research, we sought out specific actions participants took to redress the injustices they encountered, all the while understanding that these actions were performed within the confines of racist, classist, and sexist structures (Acker, 1990; Nguemeni Tiako et al., 2021; Ray, 2019).

이 연구는 2020년 10월부터 2021년 5월까지 8개월에 걸쳐 진행되었으며, 내러티브 연구자들의 요청에 따라 시간의 흐름에 따른 현상을 탐구하기 위해 진행되었습니다. 우리는 참가자들에게 "어떻게 의사가 되어가고 있나요?"라는 질문을 던졌고, 시간의 흐름에 따른 변화를 관찰할 수 있는 가능성을 탐구하기 위해 8개월 동안 이 질문을 계속 이어나갔습니다(Balmer et al., 2021; Gordon et al., 2017). 모든 참가자는 미국 중서부에 있는 대규모 연구 대학의 동종요법 인체 의학 학교 출신입니다. 또한 이 연구는 코로나19 팬데믹으로 인해 극도로 혼란스러운 시기에 진행되었습니다. 참가자들은 인터뷰와 성찰을 통해 팬데믹에 대해 언급했으며, 일부는 의대 재학 중 원격 학습으로 인한 혼란을 언급했습니다. 연구 수행을 위해 대학과 학교 차원의 위원회를 통해 IRB 승인을 받았습니다. 대학 전체 리스트서브를 사용하여 모든 1학년 학생에게 약 200개의 이메일을 보내 여성으로 확인된 학생에게 참여를 권유했습니다. 22명이 8개월 동안 계속 참여하기로 동의했습니다. 이 22명의 학생은 인종과 민족, 국적과 이민자 신분 등 다양한 여학생 그룹을 대표합니다(표 1 참조). 또한 몇몇 참가자는 가족 중 처음으로 대학에 진학했는데, 이러한 사회적 정체성이 의과대학에서의 경험과 학생들이 받은 잠재적인 경제적 또는 사회적 네트워크 지원에 영향을 미쳤을 수 있습니다(Brosnan 외., 2016). 22명의 참가자 중 3명은 의학계에서 과소 대표되는 것으로 간주됩니다(URiM). 데이터 수집이 끝날 때 각 참가자에게는 75달러의 아마존 기프트 카드가 제공되었습니다. 많은 참가자가 이 인센티브에 대해 잊고 있었으며, 첫해에 자신의 경험을 공유하는 것이 카타르시스를 느꼈다고 말했는데, 이는 연구 참여를 유지하기 위해 스스로 선택한 것일 수도 있습니다.   

This study took place over the course of eight months, from October 2020 to May 2021, to heed the call of narrative researchers to explore a phenomenon within and over time. Our phenomenon is the question we posed to our participants, “how are you becoming a doctor?” and we threaded that question throughout the eight-month period hoping to explore the possibilities of observing change throughout time (Balmer et al., 2021; Gordon et al., 2017). All participants are from a school for allopathic human medicine at a large research university in the Midwest United States. Additionally, this study took place during an extremely disruptive time due to the COVID-19 pandemic. Participants commented about the pandemic throughout interviews and reflections, and some noted the disturbance of remote learning during medical school. IRB approval was obtained through the university, as well as through the school level board for research conduct. Approximately 200 emails were sent to all first-year students using the college-wide listserv, inviting those who identified as women to participate. Twenty-two agreed to remain involved over the entirety of the eight months. These 22 students represent a diverse group of women students, in race and ethnicity, as well as nationality and immigrant status (See Table 1). Additionally, several participants were first in their family to attend college, a social identity that may have informed their experience of medical school and the potential economic or social network support these students received (Brosnan et al., 2016). Of the 22 participants, three are considered underrepresented in medicine (URiM). At the end of the data collection, each participant was offered a $75 Amazon Gift Card. Many participants had forgotten about this incentive and commented how sharing their experiences during their first year was cathartic, perhaps indicating some self-selection in maintaining engagement in the research study.

데이터 수집은 먼저 내러티브 전통(Clandinin & Connelly, 2000)을 사용하여 설계된 반구조화 인터뷰로 진행되었으며, 2020년 10월에 실시되었습니다. 내러티브 전통을 사용하여 인터뷰 질문을 만드는 것은 참여자의 이야기를 찾고 연구 조사 대상자에게 초점을 맞추는 것을 의미합니다. 따라서 내러티브 전통은 하나의 연구 질문에 답하기보다는 개인 및 가족 역사와 공유된 경험에 관심을 갖습니다(Clandinin & Connelly, 2000). 인터뷰는 AEB에서 수행했습니다. 인터뷰는 평균 45분 동안 진행되었습니다. 다음으로, 약 3주마다 참가자들에게 자신이 의사가 되는 과정을 중심으로 성찰문을 작성하도록 요청하고, 의사가 되는 과정에서 자신의 성별에 대해 더 깊이 성찰하도록 요청했습니다. (성찰 프롬프트 선택은 표 2 참조). 2020년 11월부터 2021년 4월까지 총 6차례에 걸쳐 반성문을 수집하여 총 105개의 반성문을 작성했습니다(참가자당 평균 4.7개). 모든 참가자는 최소 2개의 반성문을 제공했습니다. 2021년 5월에 각 참가자와의 최종 인터뷰가 진행되었으며, 인터뷰는 평균 45분간 진행되었습니다. 이 최종 인터뷰는 의과대학 1학년을 되돌아보고, 의사가 되기까지 자신의 지식과 정체성이 어떻게 영향을 미쳤는지에 대해 이야기하는 데 중점을 두었습니다. 

Data collection proceeded first with semi-structured interviews, designed using the narrative tradition (Clandinin & Connelly, 2000) and performed in October 2020. Crafting interview questions using a narrative tradition means seeking out the story of participants and focusing on the people in the research inquiry. Thus, the narrative tradition is interested in personal and familial histories and shared experiences rather than answering a single research question (Clandinin & Connelly, 2000). Interviews were conducted by AEB. These interviews lasted on average 45 min. Next, approximately every three weeks, participants were asked to provide reflections largely centered around how they felt they were becoming doctors as well as asked participants to reflect more deeply on their gender in how they were becoming doctors. (See Table 2 for selection of reflection prompts). Six rounds of reflections were gathered from November 2020 to April 2021, making a total of 105 number of reflections (on average 4.7 per participant). All participants provided at least 2 reflections. A final interview in May 2021 with each participant was performed and lasted on average 45 min. This final interview was focused on looking back at their first year of medical school, and about how they felt their own knowledge and their identities informed how they were becoming doctors.

내러티브 분석
Narrative analysis

이 연구에서는 참가자들이 의사가 되는 과정을 어떻게 생각하는지 반복적으로 질문하는 데 중점을 두었습니다. 성별, 학습, 의학에 대한 직업적 사회화에 대한 폭넓은 경험에 대한 조사도 포함했기 때문에 인터뷰와 성찰을 통해 참가자들이 직면한 어려움과 기회, 때로는 희망적인 가능성에 대한 이야기를 이끌어냈습니다. (Anderson & Kirkpatrick, 2015)에서 설명한 것처럼, 이야기로서의 내러티브 탐구는 "단순한 사건의 목록이 아니라 화자가 시간과 의미에서 사건을 연결하려는 시도"(632쪽)입니다. 연구자로서 우리의 위치, 연구자로서의 성찰, 의대 여학생들의 비판적 작업과 노력을 높이려는 우리 자신의 노력을 바탕으로, 우리는 이 이야기를 인식론적 불의를 바로잡는 이야기로 서술합니다.
For this study, we focused on repeatedly asking how the participants felt they were becoming doctors. Since we also included probes about gender, learning, and broad experiences with professional socialization into medicine, interviews and reflections also elicited stories about challenges participants faced as well as opportunities and sometimes possibilities where they were hopeful. As (Anderson & Kirkpatrick, 2015) explain, narrative inquiry as story “is not just a list of events, but an attempt by the narrator to link them both in time and meaning” (p. 632). Based on our positionalities, reflexivity as researchers, and our own efforts to uplift the critical work and efforts of women students in medical school—we narrate this story as one about redressing epistemic injustice.

참여자들의 유효한 지식과 역사적, 문화적, 사회적 기원과 함께 그들의 경험에서 인식론적 불공정의 명백한 존재를 염두에 두고, 우리는 분석에 전체론적 접근 방식을 사용했습니다(Clandinin, 2013; Clandinin & Connelly, 2000; Konopasky et al., 2021). 전체론적 접근 방식개인의 역사를 고려할 뿐만 아니라 "체계적인 전체를 구성하는 이야기, 사건 또는 일련의 이야기와 사건 내의 연결에 초점을 맞추는" 접근 방식입니다(Konopasky 외., 2021). 이 논문의 체계적인 전체는 의과 대학 1학년 동안 참가자들이 인식론적 불의와 주체성 집행의 순간이었습니다. 우리는 먼저 데이터를 반복적으로 읽고 참가자의 초기 생활과 의대 재학 기간 동안 인식적 불공정의 순간을 중심으로 메모를 독립적으로 작성하는 것으로 시작했습니다(Richardson, 1997; Richardson & St. Pierre, 2000). 다음으로, 이번에는 의대 시절의 사건에 초점을 맞추어 인식적 불공정의 사례와 참가자들이 이러한 불공정에 어떻게 대응했는지에 대한 더 큰 내러티브를 구축하기 위해 다시 녹취록을 읽기로 했습니다. 여러 참가자들의 이야기를 읽으면서 정확히 같은 이야기는 아니더라도 비슷한 이야기가 공유되고 있음을 발견했습니다. 이러한 이야기를 정리하고 인식론적 부정의와 인식론적 주체성을 모두 포함하는 내러티브 아크arc를 개발하기 위해 우리는 중간 텍스트를 작성하기 시작했습니다. 
Holding in mind the valid knowledge and historical, cultural, and social origins of our participants alongside the unmistakable presence of epistemic injustice in their experiences, we used a holistic approach to analysis (Clandinin, 2013; Clandinin & Connelly, 2000; Konopasky et al., 2021). A holistic approach considers personal histories, as well as “focuses on connections within a story, an event or even a series of stories and events that build a systematic whole” (Konopasky et al., 2021). The systemic whole for this paper were the moments of epistemic injustice and the enactment of agency on the part of the participants during their first year of medical school. We began by first performing repeated readings of the data and independently writing memos centered on moments of epistemic injustice during both the early lives of our participants and their time in medical school (Richardson, 1997; Richardson & St. Pierre, 2000). Next, we moved to reading transcripts again, this time focused on events during medical school to build the larger narrative of both instances of epistemic injustice and any connections to how participants responded to these injustices. Throughout readings we found similar if not the exact same story being shared by multiple participants. To organize these stories and develop a narrative arc including both epistemic injustice and epistemic agency, we moved to writing interim texts.

중간 텍스트는 연구 결과를 어떻게 정리할지, 어떤 이야기를 강조할지에 대한 가능성의 초안이었습니다(Clandinin & Connelly, 2000; St. Pierre & Jackson, 2014). 이 글들은 코딩과 코드 번들링의 첫 번째와 두 번째 단계(Saldaña, 2016)와 연구 결과의 최종 버전 사이의 텍스트, 즉 우리가 서로 협상하는 데 도움이 되는 글과 우리가 전한 이야기 사이의 텍스트 역할을 했습니다. 표 3 중간 텍스트 주제와 시간은 의료 환경에서의 인식론적 불공정에 대한 초기 경험, 의과대학에서의 인식론적 불공정의 순간, 불공정에 대응하는 인식론적 주체성의 사례를 정리한 최종 중간 텍스트의 한 예입니다. 각 열은 우리가 시간의 '플롯 포인트'라고 부르는 것을 나타냅니다. 각 행 안에는 불의 또는 기관에 따라 식별한 주제가 있습니다. 표에서 왼쪽에서 오른쪽으로 이동하면 이러한 불공정이 시간순으로 배치되고 참가자들이 불공정을 어떻게 시정했는지에 대한 예시가 표시됩니다. 각 행은 셀을 왼쪽에서 오른쪽으로 느슨하게 연결합니다. 조사 결과 발표에는 '초기 생애'의 구체적인 예가 포함되어 있지 않지만, 내러티브 분석을 위해 참가자의 생애 전체를 어떻게 끌어왔는지 설명하기 위해 이 부분을 열로 포함했습니다. 예를 들어, 간호사로 추정되거나 혼란스러웠던 경험은 일부 참가자가 의사 진료실에서 젊은 여성이라는 말을 듣지 못했던 초기 경험을 떠올리게 합니다. 마찬가지로, 참가자들이 추근대거나 수술복이 어떻게 보이는지 설명한 사례는 신체에 대한 초기 경험을 반영한 것입니다. 표 3은 연구 결과를 최종적으로 정리한 청사진입니다.  

Interim texts were drafts of possibilities for how we organized our findings, and what stories we would emphasize (Clandinin & Connelly, 2000; St. Pierre & Jackson, 2014). They served as texts between first and second phases of coding and code bundling (Saldaña, 2016) and final versions of findings; writings that helped us make negotiations with one another and the story we told. Table 3 Interim Text Themes and Time is an example of one of our final interim texts that organizes early experiences of epistemic injustice in healthcare settings, moments of epistemic injustice in medical school, and examples of epistemic agency in response to injustices. Each column represents what we call “plot-points” in time. Within each row are the themes we identified according to injustices or agency. Moving from left to right on the table places these injustices in time and examples of how participants redressed injustices. Each row loosely connects the cells from left to right. Although our presentation of findings does not include specific examples of “early life,” we included this as a column to illustrate how we pulled on the entirety of a participant’s life to inform our narrative analysis. For example, being assumed to be a nurse or feeling confused are reminiscent of early experiences some participants shared of not being heard as young women in a doctor’s office. Similarly, instances of being hit on, or when participants described ways their scrubs looked were reflections of earlier experiences of their physical bodies. Table 3 was a blueprint for how our findings were finally organized.

연구 결과
Findings

지배적인 지식에 대한 실제적인 차이와 대안을 설명하기 위해 인식론적 불공정의 틀을 짜는 것은 개인이 불공정의 경험을 통해 어떻게 작동하는지에 대한 더 깊은 인식을 유도합니다. 또한, 인식론적 불공정에 대한 접근 방식은 개인의 역사, 개인적 경험, 특히 커뮤니티 지식을 포함하여 불공정이 개인 전체에게 어떻게 발생하는지 인식합니다. 아래 연구 결과는 의과대학 8개월 동안의 인식론적 불공정의 타임라인을 설명합니다. 이 조사 결과에 사용된 인용문은 22명의 참가자 표본을 대표합니다. 질적 내러티브 연구자로서 우리는 이 연구에 참여한 사람들의 더 큰 이야기를 반영하는 발췌문을 제공하고 다양한 참여자의 인용문을 제시하기 위해 노력했습니다. 먼저 참가자들의 경험의 배경을 제공하기 위해 불공정한 사례를 소개합니다. 이러한 사례는 교수진, 다른 남학생, 커리큘럼과의 상호작용 중에 발생했습니다. 다음으로, 참가자들이 인식적 불공정을 시정하고 자신에게 가해진 피해에 어떻게 대응했는지에 대해 이야기하는 인식적 주체성의 순간을 제공합니다. 불의를 바로잡기 위한 세 가지 가능성, 즉 자신이 의학계에 속해 있음을 재확인하고, 목소리를 내고, 서로를 격려하는 방법이 제시되었습니다. 
Framing epistemic injustice to account for the very real differences and alternatives to dominant knowledges invites deeper recognition of how individuals are working through experiences of injustice. Additionally, our approach to epistemic injustice recognizes how injustices occur upon the whole person, inclusive of their history, personal experience, and especially their community knowledge. The findings below describe the timeline of epistemic injustice over an eight-month period of medical school. The quotes used in these findings are representative of the sample of 22 participants. As qualitative narrative researchers, we strive to provide excerpts that reflect the larger shared story of those in this study and ensure a variety of participant quotes were presented. We first introduce instances of injustice to provide a backdrop of the experiences of the participants. These instances occurred during interactions with faculty, other men students, and the curriculum. Next, we offer moments of epistemic agency, describing the ways the participants redressed epistemic injustice and talked about how they countered the harm they felt was being done to them. Three possibilities for redressing injustices are presented:

  • reaffirming they belong in medicine,
  • calling out and speaking up, and
  • uplifting one another.

의과대학 내 인식론적 불공정 사례
Epistemic injustice in medical school

인식론적 불공정의 사례는 종종 참가자들이 의학을 추구하는 목적에 의문을 품게 만들었고, 때로는 이 분야에서 자신의 존재에 의문을 품게 만들었습니다. 그러나 무시당한다는 느낌을 받은 모든 상호작용이 명백한 것은 아니었습니다. 많은 참가자들은 도슨(2012)이 "불평등을 만들고 유지하는 사회 인식론적 구조..."(30쪽)로 인해 신뢰를 잃었다고 느낀 미묘한 순간을 설명했습니다. 의과대학에서 이러한 사회 인식론적 구조는 역사에서 파생된 문화로, 여성이 의과대학에 속하지 않는다는 수사를 유지합니다(Kang & Kaplan, 2019). 예를 들어, 한 참가자는 소그룹 학습 중 자신의 상호작용을 설명하면서 "명시적으로 언급되지 않았거나 현실이 아닐 수도 있지만, 때때로 남학생과 여학생 사이에 차이가 있는 것 같고, 때로는 남학생이 과학적 개념을 더 쉽게 이해할 수 있다는 명시되지 않은 암시가 있는 것 같다"고 반성했습니다. 이 참가자의 관찰은 성별이 학습 그룹에서 비언어적 상호 작용 중에도 한 성별을 다른 성별보다 우대하는 방식을 어떻게 형성할 수 있는지를 설명합니다. 이 참가자의 관찰에서 주목할 만한 점은 남성이 과학을 더 잘한다는 교육적 역학 관계를 경험한 결과 자신과 남성인 반 친구들 사이에서 느낀 '분리divide'였습니다. 이 참가자가 느낀 인식론적 불공평은 주로 성별에 근거한 것이었습니다. 그런 다음 그녀는 자신의 관찰이 '현실'인지 의문을 제기하고, 자신과 남성인 학생들 사이의 다른 대우에 대한 자신의 감정이 실제로 사실인지 숙고하면서 의과대학에서 자신의 지식과 위치에 의문을 제기해야 했습니다.
Instances of epistemic injustice often left participants questioning their purpose for pursuing medicine, and sometimes their presence in the field. However, not all interactions that led to feelings of being overlooked were explicit. Many participants described subtle moments of feeling divested of credibility due to, what Dotson (2012) refers to as the “socioepistemic structures that create and sustain situated inequality…” (p. 30). These socioepistemic structures in medical school are the cultures, derived from history, that maintain the rhetoric that women do not belong in medical school (Kang & Kaplan, 2019). For example, when describing her interactions during small group learning, one participant reflected, “Sometimes, although it is never explicitly stated or may not be reality, it does seem like there is a divide between the men and women medical students, and sometimes there appears to be this unstated undertone that the men have an easier time of understanding the scientific concepts.” This participant’s observation describes how gender may shape the way a learning group can privilege one gender over another, even during non-verbal interactions. Notable to this participant’s observation is the “divide” she felt between herself and classmates who are men, a result of experiencing the larger educative dynamic that men are better at science. The epistemic injustice this participant felt was largely based on her gender. She then questioned whether her observations were “reality” and pondered if her feelings about different treatment between herself and the students who are men was in fact true, an exercise in having to question her own knowledge and place in medical school.

다른 참가자들도 인식적 불공정의 사례를 공유하면서 자신이 의과대학에 속하지 않았다는 느낌을 공통적으로 드러냈습니다. 
Other participants, when sharing instances of epistemic injustice, also disclosed the overarching sense that they did not belong in medical school.

항상 이곳에 속하지 않는다는 느낌이 들었습니다. 마치 우리가 여러분을 들여보낸 것처럼, 여러분은 본질적으로 이 공간에 속해 있는 것이 아니라 우리가 여러분을 들여보냈다는 것을 상기시켜줄 것입니다. 그리고 여러분 스스로도 그렇게 생각해야 합니다. 많은 남성, 특히 백인 남성은 자신이 이 공간에 속해 있다는 것을 상기시키기 위해 해야 하는 감정 노동을 이해하지 못한다고 생각합니다. 
There’s always this feeling of just, you don’t quite belong here. Like you’ve been let in and we’re going to remind you that we let you in versus you just intrinsically belong in this space. And you have to remind yourself that you do. And I think a lot of men, particularly White men, don’t understand the emotional labor you have to do to remind yourself that you belong in this space.

이 참가자의 말은 성별에 따라 의과대학에 가면 안 된다고 은근히 또는 노골적으로 느꼈던 다른 참가자들의 많은 경험을 떠올리게 합니다. 이러한 경험은 참가자들이 의학을 추구해서는 안 된다고 느끼도록 만드는 인식론적 불공정을 나타냅니다. 한 구체적인 상호작용은 참가자들이 의과대학에서 교수진으로부터 질문을 받을 때 자신의 지식과 씨름하는 동시에 성별을 떠올리게 되는 과정을 보여줍니다: 
This participant’s words recall many of the experiences of other participants, of feelings discreetly or overtly that they should not be in medical school largely based on their gender. These experiences are indicative of epistemic injustices, as participants would be made to feel they should not be pursuing medicine. One specific interaction demonstrates how participants grappled with their own knowledge in medical school when being questioned from faculty, while also being reminded of their gender:

저는 한 의사와 의사가 환자의 슬픔을 다루는 데 도움을 줄 수 있는 방법에 대한 아이디어를 논의하고 있었습니다. 저는 그분께 이 아이디어를 제시했고, 그분은 "계속 찾아보세요. 당신이 할 수 있는 일이 정말 많아요."라고 말해주었습니다. 나중에 제가 약리학의 기초 과학적 질문에 대한 아이디어를 제시했을 때 그가 한 말은 충격적이었습니다. 그는 저에게 "넌 똑똑한 애야. 네가 조사하기에 훨씬 더 좋은 질문이야."라고 말했죠. 저는 공중 보건과 사람들을 정서적으로 돌보는 것이 육체적으로 돌보는 것의 중요한 부분인 곳에서 왔습니다. 제 신념 체계 전체에 의문을 갖게 되었어요. 
I was discussing an idea that I had with a physician, something on the topic of how physicians can help patients handle grief. I presented this idea to him and he told me, “keep looking. There are so many things that you could do.” So then when I presented to him later with an idea about a basic science question in pharmacology, the thing that he told me was shocking. He told me “you’re a smart girl. This is a much better question for you to investigate.” I come from a place where public health and taking care of people emotionally is a major part of taking care of them physically. It just made me question my entire belief system.

이 참가자는 교수진과의 상호작용을 통해 자신의 가치와 신념에 의문을 갖게 되었습니다. 유색인종 여성으로서 그녀는 자신의 인종과 성별과 함께 자신이 알고 있는 '똑똑함'을 사실로 바로잡아야 하는 상황에 직면했습니다. 게다가 공중 보건에 대한 이전 교육이 유효한지 여부에 대해서도 의문을 품었습니다. 이 참가자를 가장 힘들게 한 것은 아마도 [사람들을 돌보겠다는 헌신]과 [더 많은 "과학적 질문"을 추구해야 한다는 압박] 사이의 긴장감일 것입니다. 이 참가자에게는 이 두 가지 추구가 서로 상충되는 것이었습니다.

This participant’s interaction with her faculty member made her question her own values and beliefs. As a woman of Color, she was also faced with having to rectify her “smartness” with what she knows to be true, alongside her race and gender. Moreover, she questioned whether or not her previous education in public health was valid. Perhaps most frustrating for this participant was the tension between her commitment to care for people and pressure to pursue more “science questions.” For this participant these two pursuits were at odds.

참가자와 남성인 다른 학생들 간의 상호작용에서도 인식론적 불공평이 드러났습니다. 별도의 성찰에서 많은 참가자가 학습에 영향을 미친 사건을 설명했습니다. 한 유색인종 참가자는 시나리오를 설명했습니다:
Interactions between participants and other students who were men also introduced epistemic injustices. In separate reflections, many participants described an event that impacted their learning. One participant of Color described the scenario:

3주 전, 저는 신체 검사를 담당할 SIM 남성 파트너를 배정받았습니다. 우리는 함께 환자를 면담해야 했습니다. 그런데 그 남학생은 저를 기다리지 않고 바로 정보를 수집하기 시작했습니다. 그는 도를 넘었고 문진 부분만 하겠다고 말했음에도 불구하고 제게 말할 기회를 주지 않았습니다. 마침내 환자에게 "이제 신체검사를 실시하겠습니다"라고 말했고, 제가 청진기를 꺼내는 동안 남성 파트너는 대담하게도 환자에게 달려가 재빨리 장비를 챙겨서 신체검사를 시작했습니다. 그는 제가 마치 그의 서기인 것처럼 작은 발견 사항 하나하나를 중얼거리며 메모해 주었습니다. 저는 매우 충격을 받았습니다. 
Three weeks ago, I was assigned a SIM male partner to perform a physical exam. We had to interview the patient together. But the male student did not wait for me, and he immediately began to gather information. He was overstepping and did not give me a chance to speak, even though he said that he will only do the history for the interview portion. I finally told the patient “I will now perform the physical exam” and as I was taking out my stethoscope my male partner had the audacity to run to the patient and quickly grab his equipment and begin performing the PE. He mumbled every little finding to me as though I was his scribe, just taking notes for him. I was very shook.

이 참가자는 옆으로 밀려나고 무시당하는 경험에 괴로움을 느꼈고, 동료 학생에게 심한 무례함을 느꼈습니다. 또한 이 참가자는 파트너와 환자 면담 진행 방식에 대해 합의한 후 환자와 면담실에 들어갔지만, 의대생으로서의 지식이 부족할 뿐만 아니라 도가 지나쳤다고 지적했습니다. 한 순간의 SIM 경험에서 인식론적 불공정은 성별에 따라 이 참가자의 의대생으로서의 자신감과 지식을 표적으로 삼았고, 그녀는 "흔들리는" 느낌을 받았습니다. 
The experience of being pushed aside and talked over were distressful for this participant, making her face acute disrespect from her fellow classmate. Additionally, this participant pointed out she and her partner had come to an agreement about how the patient interview would proceed, and once in the room with the patient she was not only overstepped, but also minimized in her knowledge as a medical student. In one swift SIM experience, epistemic injustice targeted this participant’s confidence and knowledge as a medical student based on her gender and she left feeling “shook.”

인식론적 불공정은 커리큘럼에서 분명하게 드러나는 다른 학습 경험에서도 존재했습니다. 한 백인 참가자는 여성 환자를 성적으로 묘사한 필수 독서에 대해 설명했습니다. 이 참가자는 불쾌감을 느꼈을 뿐만 아니라 교수진이 자신과 여성인 다른 학급 친구들에 대해 어떻게 생각할지 혼란스러웠다고 말했습니다. "우리 중 많은 여성들이 매우 불쾌했습니다. 어떻게 이게 괜찮을 수 있죠? 여성 환자를 성적 대상화하지 않고도 이 자료를 가르칠 수 있는 다른 강의는 세상에 없었을까요?" 이 경험은 참가자들에게 피해를 입혔고, 다른 세 명은 반성문을 통해 이 시나리오를 공유하고 부적절하다고 생각되는 내용이 어떻게 학습에서 중립적인 것으로 제시될 수 있는지에 대해 의문을 제기했습니다. 다른 학습 사례에서도 참가자들은 학습에서 여성의 신체가 얼마나 적게 표현되었는지를 깨닫고 혼란을 겪었습니다. 
Epistemic injustices were also present during other learning experiences, evident in curriculum. One White participant described required reading that portrayed a female patient in a sexualized manner. This participant shared how offended she felt, as well as confused about what faculty may think about her and her other classmates who were women. “A lot of us females were super offended, I mean, how is this okay? Is there no other article in the world that could have taught us the material without sexualizing a female patient?” This experience caused harm to participants and three others shared this scenario through their written reflections and questioned how something they believed inappropriate could be presented as neutral in learning. Other learning instances also stirred confusion for participants when they realized how little representation a woman’s body had in their learning.

저를 괴롭힌 몇 가지 사항이 있습니다. 예를 들어 신체검사를 해야 하는데 여성에게 신체검사를 하는 방법을 가르쳐주지 않았어요. 그리고 제 실습 파트너는 여자였어요. 그래서 다섯 번째 늑간 공간을 만질 때 말 그대로 가슴에 있는 그 부분을 만져야 하나요? 어떻게 해야 하나요? 브래지어를 들어 올려야 하나요? 브래지어 위로 해야 하나요?  사소한 질문이 너무 많아서 제대로 하고 있는지 확인하고 싶었어요. 하지만 가르쳐주지 않았어요. 그게 정말 중요하지 않나요? 그래서 제가 여성이라는 사실을 더 자각하게 되었죠. 
There are some things that kind of bothered me. Like we had to do our physical exam, but they didn’t teach us how to do it on a woman. And my practice partner was a girl. And so when we feel for the fifth intercostal space, that’s literally on your breasts, like, are we supposed to touch it? How are we supposed to do it? Was I supposed to lift the bra up? Are we supposed to do it over the bra?  There were so many little questions and we wanted to make sure we’re doing it right. But they didn’t teach us. And isn't that really important? So it made me more aware of being a woman.



백인 1세대 학생인 이 참가자는 신체 검사를 위해 여성의 몸을 어떻게 움직여야 하는지 모르는 것뿐만 아니라 학습 과정에서 여성의 신체에 대한 배려가 없는 것 같아 괴로웠습니다. 다른 방식의 앎과 학습에 대한 이러한 무시는 학생들의 의학 교육에서 여성을 신체적으로 "타자"로 젠더화하는 인식론적 불공정이 어떻게 나타날 수 있는지를 보여주는 예입니다. 이 경험을 통해 그녀는 자신의 성별에 대해 더 잘 인식하게 되었고, 자신의 신체가 의과대학에 속하지 않을 수 있으며, 더 나아가 의과대학에서 배울 만큼 중요한 신체로 간주되지 않을 수 있다는 생각을 증폭시켰습니다.
This participant, a White first-generation student, was troubled by both not knowing how to maneuver around a woman’s form for a physical exam, but also that there seemed not to be consideration for a woman’s body in her learning. This disregard for other ways of knowing (and learning) is an example of how epistemic injustice can appear in students’ medical training, gendering women physically as “other.” This experience made her more aware of her gender, amplifying how her body may not belong in medical school, and potentially worse, might not be considered a body important enough to learn about in medical school.

인식론적 주체성을 통한 인식론적 불공정의 시정
Redressing epistemic injustice through epistemic agency

참가자들은 의대 재학 중 인식론적 불공정을 겪었지만, 8개월이 지나면서 의대 재학 중 자신의 가치와 시스템 내에서 변화를 만드는 데 참여하는 것의 중요성을 인식하게 되었습니다. 참가자들은 남성인 다른 학생 및 교수진과 교류하고 정해진 커리큘럼을 배우는 과정에서 여성이라는 이유로 무시당하고 소외되는 느낌을 받았으며, 자신의 지식이 정당하지 않다고 느끼게 되었습니다. 또한 의사의 공감에 대해 연구하고 싶었던 참가자의 경우처럼 자신이 알고 있는 지식은 물론 새로운 지식조차도 가치가 없다고 느꼈습니다. 이러한 인식론적 불공정의 순간을 바로잡기 위해 참가자들은 

  • (1) 자신이 의과대학에 속한 이유를 되찾고, 
  • (2) 커리큘럼에서 배운 내용을 상기시키며, 
  • (3) 서로를 격려하기 위해 노력했습니다.

Although participants described encounters with epistemic injustice during medical school, over the course of eight months they came to recognize their own value in being in medical school as well as the importance of being a part of making change within the system. During interactions between themselves and other students and faculty who were men, and learning from prescribed curriculum, participants experienced feeling overlooked and marginalized because they are women; thus being made to feel their own knowledge was not legitimate. Furthermore, they described how their own way of knowing and even new ways of knowing (as in the case of the participant who hoped to research physician empathy) were not valuable. To redress these moments of epistemic injustice, participants worked to

  • (1) reclaim why they belong in medical school,
  • (2) call out their curricular materials, and
  • (3) uplift one another.

의과대학에 소속된 이유 되찾기
Reclaiming why they belong in medical school

소속감을 느끼는 동시에 소외감을 느끼는 불안정한 감정으로 인해 많은 참가자가 의대를 선택한 이유를 다시 확인했습니다. 또한 참가자들은 자신이 이 분야에 가져온 지식을 상기하기 위해 노력했습니다. 참가자들은 반성적 숙고를 통해 자신이 왜 의대를 선택했는지 스스로에게 상기시키는 시간을 가졌습니다. 컬러의 한 참가자는 "저는 정말 힘을 얻었고, 제 '이유'는 개인으로서 그리고 리더십으로서 성장하고 싶다는 것입니다."라고 말했습니다. 다른 참가자들은 자신의 성별과 여성으로서 의학계에서 자신이 어떻게 소속되어 있는지 재확인했습니다: 
The unsettled feeling between knowing they belong while also being marginalized led many participants to reaffirm why they chose to pursue medicine. Additionally, participants worked to remind themselves of the knowledge they brought to the field. Through reflexive deliberations, they shared how they spent time reminding themselves about why they pursued medical school. One participant of Color shared, “I feel really empowered… and my ‘why’ is I want to grow as an individual and in my leadership.” Others reaffirmed their gender and how they belong in medicine as women:

여성으로서의 경험과 제가 가지고 있는 모든 것이 환자와 대화하거나 학습하는 데 있어 가장 좋은 방법이 무엇인지 이해하는 데 도움이 될 수 있다고 생각합니다. 성장과 경험, 상호작용에 관한 모든 것. 
I feel that my experience as a female and everything I have to bring to the table can help me understand what’s the best way to approach interactions or talking to patients or learning. Anything regarding growth and experiences and interactions.

 

마찬가지로 한 참가자는 "제 성별 때문에 정서적 보호자가 되어야 한다는 사회적 기대가 생겼고, 이는 환자와 상호작용할 때 그대로 드러납니다. 하지만 정서적 교감이 환자와의 만남에서 가장 만족스러운 요소라고 생각합니다."라고 말했습니다. 참가자들은 자신의 성별뿐만 아니라 성별과 관련된 더 큰 사회적 규범에 대해서도 자각하고 있었습니다. 간병인 및 보호자가 되는 것에 대한 기대는 참가자들이 의과대학에서 자신의 소속감을 상기시키고 정서적 연결을 가져다주는 역할을 다시금 상기시키는 특성이었습니다.
Likewise, one participant reflected, “my gender has raised me with societal expectations of being the emotional caretaker, and that comes through when I’m interacting with patients. But I believe the emotional connection is the most satisfying component of the patient encounter.” Participants were self-aware of their gender, as well as the larger societal norms connected to their gender. Expectations of being caregivers and caretakers were attributes these participants reclaimed as reminders as to how they belonged in medical school; to bring emotional connections.

정서적 측면 외에도 많은 참가자가 의과대학에 소속된 이유에 대한 더 큰 그림에 대해 논의했습니다. 이러한 큰 그림은 종종 참가자들이 제도적 문제에 대한 인식과 이러한 문제를 해결하기 위한 각자의 역할을 지적하는 것이었습니다. 한 URiM 참가자는 "지치고 패배감을 느끼는 날에는 내가 어떻게 지역사회를 위해 봉사할 수 있을지 자주 생각하게 됩니다. 의사가 다른 사람들의 삶에 긍정적인 영향을 미칠 수 있는 놀라운 잠재력을 떠올리게 됩니다."라고 말했습니다. 마찬가지로 다른 참가자도 "우리는 환자를 옹호할 수 있고 정말 열심히 노력할 수 있습니다. 하지만 결국 중요한 것은 환자와 어떻게 상호 작용하고 무엇을 하고 있는지, 환자와 함께 무엇을 위해 기꺼이 싸울 것인지입니다."라고 말했습니다. 따라서 참가자들은 자신의 이야기와 역사가 학습 방법과 의과대학에 있는 이유에 어떻게 영향을 미치는지 알게 되었습니다: 
In addition to the emotional aspect, many other participants discussed the bigger picture of why they belonged in medical school. These bigger pictures often pointed to participants’ awareness of systemic challenges, and their individual roles in addressing these challenges. One URiM participant shared, “On days when I am feeling tired and defeated, I often think back to how I will serve as an advocate for my community. I am reminded of the incredible potential that a physician has to positively impact the lives of others.” Likewise, another participant shared, “We can advocate for our patients and we can try really hard. But at the end of the day, it is how we interact with our patients and what we're doing, what we're willing to fight for with them.” Thus, participants were aware of how their own stories and histories informed how they are learning, as well as why they are in medical school:

의과대학에서 우리를 형성하는 많은 배움은 학교 안에서만 일어나는 것이 아닙니다. 때로는 외부에서 경험하고 같은 반 친구들이 인생에서 겪은 일에 대해 이야기하는 것을 듣기도 합니다. 의사가 되기 전의 경험과 의료계에서 어떤 대우를 받았는지, 그리고 가족들이 어떤 대우를 받았는지가 의사로서 자신을 형성하는 데 많은 영향을 미친다고 생각합니다. 그리고 그것이 중요하다고 생각합니다. 
A lot of the learning that happen that shape us in medical school or the stuff doesn’t even happen within school itself. Sometimes it’s our outside experience and listening to classmates talk about what they've gone through in their life. I think a lot of what shapes you as a physician is your experience prior to med school and how you have been treated and how your family has been treated in medicine. And I think that is important.

참가자들은 의료계의 더 큰 인식적 불공정을 예리하게 인식하고, 학습 여정에서 자신의 역사, 지식, 경험을 인식했으며, 의대 재학 중과 졸업 후 환자와의 상호작용이 더 큰 불공정과 불균형을 시정할 수 있는 방법임을 재확인했습니다. 또한 참가자들은 반성적 숙고를 통해 여성으로서 자신의 관점이 어떤 가치가 있는지 스스로 되새겼습니다. 
Participants were acutely aware of the larger epistemic injustices in healthcare, recognized their own histories, knowledge, and experiences in their learning journeys, and reaffirmed ways that interactions they would have with patients during and after medical school would be the way could redress larger injustices and disparities. Furthermore, participants engaged in reflexive deliberations to remind themselves about ways their own perspectives as women were valuable.

커리큘럼 자료 불러내기
Calling out curricular materials

한 해 동안의 어려운 학습 경험은 학생들이 커리큘럼을 외쳐야 한다고 느끼는 방식을 강조했습니다. 학생들은 외치는 행위를 통해 전략적으로 저항하고, 자신의 권위를 주장하고, 자신이 직접 확인하고 경험한 인식론적 불의에 대응했습니다. 참가자들이 반성문과 최종 인터뷰에서 언급했던 문제가 되는 기사가 이러한 호소의 한 예입니다. 한 참가자는 "모욕적"이고 "여성 환자를 성적으로 묘사한" 동일한 기사를 다른 참가자는 용납할 수 없다고 지적했습니다: "남성 동료들이 여성 환자를 대하는 방법과 같은 허용 가능한 행동을 배운다고 생각하니 좋지 않다고 생각해요. 물론 그대로 두되, 이 글이 허용되지 않는 이유에 대해 소그룹과 대화를 나눈다는 내용을 넣으세요."라는 댓글이 달렸습니다.  
Troubling learning experiences throughout the year highlighted how students felt they needed to call out the curriculum. Through the act of calling out, students engaged in strategic resisting, asserting their authority and countering the epistemic injustices they identified and experienced directly. One such example of calling out is the troubling article participants commented on in their reflections and final interview. The same article one participant described as “offensive” and “sexualizing a female patient,” another participant indicated as impermissible: “the thought of my male colleagues learning that’s acceptable behavior, like a way to treat a female patient I don’t think this is good. Sure leave it up, but put something that says have a conversation with a small group about why this article is not acceptable.”

기사에 댓글을 단 참가자들은 교수진에게 다가가 해당 기사의 적절성에 대해 대화를 시작했습니다. 궁극적으로 이들의 행동은 최종 목표를 달성하는 데 성공했지만, 이러한 행동은 또한 자신과 특정 교수진 사이에 더욱 긍정적이고 존중하는 상호 작용을 촉진했습니다. 
Participants who commented on the article approached the faculty member, opening up a conversation about the appropriateness of the reading. Ultimately, their actions were successful towards their end-goals, but these actions also stewarded more positive and respectful interactions between themselves and this particular faculty member.

결국 그 글은 삭제되었습니다. 이 일을 계기로 저희는 정말 우리가 목소리를 낼 수 있다는 것을 느꼈습니다. 비록 우리는 의대생일 뿐이고 무엇을 해야 하고 무엇을 읽어야 하는지 지시를 받지만, 우리의 의견은 중요합니다. 그리고 목소리를 내기에 결코 늦지 않았습니다.
In the end, the article did get taken down. It really made us feel like we do have a voice. And even though we're just medical students and we're told what to do and what to read, our opinion does matter. And it's never too late to speak up.

참가자들은 자신의 가치와 지식으로 자신이 피해를 입었다고 느낀 부분을 바로잡을 수 있을 만큼 용감하고 신념이 있었습니다. 이를 통해 참가자들은 자신의 의견이 중요하고 자신의 지식이 정당하다는 것을 인식할 수 있었으며, 교수진이 경청하고 변화를 이끌어낼 수 있었습니다. 
Participants were both brave enough and convicted by their own values and knowledge to redress how they felt harmed. This allowed participants to recognize their “opinion does matter” and their knowledge were legitimate, enough so for a faculty member to listen and make a change.

커리큘럼 자료를 불러오는 다른 사례는 더 미묘했으며, 참가자들이 시뮬레이션에서 스크립트화된 상호작용을 하는 동안 환자 상호작용에 대한 자신의 지식과 직관을 어떻게 활용했는지를 보여주었습니다. 참가자들은 반성적 숙고를 통해 자신의 지식과 경험을 불러일으켰고, 환자 시뮬레이션 중에 이를 활용하여 때때로 긴장되는 학습 경험에서 자신을 편안하게 하고 시뮬레이션된 환자를 편안하게 했습니다. 한 유색인종 참가자는 "커리큘럼이 모든 것을 체크리스트로 제시하고 환자 상호 작용에서 감정을 분리하는 것 같습니다."라고 말했습니다. 또 다른 백인 참가자는 체크리스트에 대한 다른 견해를 제시했습니다. "우리는 체크리스트를 사용하고 정서적 상담에 더 깊이 파고드는 데 중점을 두었습니다. 환자를 위로하는 것이 중요하지만 모든 환자가 그런 식으로 마음을 여는 것을 좋아하는 것은 아닙니다." 몇몇 참가자는 체크리스트를 사용하여 공감이나 연민을 이끌어내거나 환자 면담을 더 잘 수행하는 방법을 배우는 데 도움이 되었다고 말했습니다. 그러나 참가자들은 대인 관계에 대한 자신의 지식을 활용하고 이러한 지식을 임상 및 시뮬레이션 경험에 삽입하는 방법도 배웠습니다. 한 참가자는 다음과 같이 말했습니다, 
Other instances of calling out curricular materials were more subtle and revealed how participants navigated their own knowledge and intuition about patient interactions during more scripted interactions in simulation. Through reflexive deliberations, they called upon their own sense of knowing and experience and used this during patient simulation to both put themselves at ease during sometimes nerve-racking learning experiences and put the simulated patient at ease. One participant of Color noted, “I feel a little like our curriculum presents everything as a checklist and detaches the emotion from our patient interactions.” Another White participant offered a different view of checklists, “A lot of our focus has been to use checklists and dig deeper into emotional counseling. While it is important to comfort patients, not all patients like to open up that way.” Several participants commented on using checklists to elicit empathy or compassion, or to help them learn how to better perform patient interviews. However, participants also learned how to draw on their own knowledge about interpersonal connections and insert this knowledge into their clinical and simulated experiences. One participant shared,

체크리스트는 분명히 환자와의 감정에 관한 것이고, 저는 실제로 환자와 교감하고 있습니다. 저는 환자와 소통하는 능력에 대해 보완을 받았고, 환자와의 만남에서 가장 만족스러운 요소는 정서적 연결이라고 생각하며, 이는 환자와 상호작용할 때 드러납니다."라고 말했습니다. 
Clearly the checklists are about emoting with the patient, and I actually connect with the patient. I have been complemented on my ability to connect with them…and I believe the emotional connection is the most satisfying component of the patient encounter and this comes through when I’m interacting with them.

마찬가지로 다른 참가자는 "환자마다 개성이 다르기 때문에 반드시 지켜야 하는 체크리스트를 따르는 것이 항상 병상 매너를 가르치는 올바른 방법은 아닙니다. 저는 환자가 방문의 흐름을 결정하고 적응하고 기어를 바꿀 수 있도록 내버려둘 수 있었습니다." 마지막으로 한 참가자는 "[환자 면담은] 항상 제게 제2의 천직이었으며, 많은 SP가 제 연민으로 인해 잠재적으로 무서운 의학적 문제를 겪고 있는 환자에게 보살핌과 위로를 받았다고 큰 피드백을 주었습니다."라고 설명했습니다. 
Similarly, another participant shared “Every patient is unique and following a checklist that we absolutely must stick to is not always the correct way to teach bedside manners. I’ve been able to let the patient decide the flow of a visit and adapt, and shift gears.” Finally, one participant explained, “[Patient interviewing] has always been second nature to me and many of the SPs have given me great feedback about how my compassion made them feel cared about and comforted them during a potentially scary medical problem.”

참가자들은 체크리스트를 읽거나 따라야 하는 학습 경험을 통해 자신의 지식과 경험을 쌓고, 그 지식과 경험을 행동으로 옮길 수 있었습니다. 다른 참가자들은 표준화 환자들로부터 격려적인 피드백을 받으면서 환자 면담을 수행하는 방법에 대한 자신의 개인적 지식을 재확인하여 환자로부터 주요 관심사를 이끌어내는 참가자들만의 방법을 지원받았습니다. 참가자들은 목소리를 내고 목소리를 높임으로써 받아들일 수 없는 커리큘럼 자료에 대해 전략적으로 저항하고 체크리스트와 기타 커리큘럼 자료를 환자 치료에 대한 접근 방식에 맞게 더 유연하게 만들 수 있는 방법을 고민하기도 했습니다. 
Participants were able to shore up their own knowledge and experience during learning experiences that required reading or following checklists and put that knowledge and experience into action. Other participants received encouraging feedback from standardized patients, reaffirming their own personal knowledge about how to perform a patient interview, thereby supporting participants’ own way of eliciting chief concerns from patients. By speaking up and calling out, participants deployed strategic resistance to unacceptable curricular material, and also deliberated how they could make checklists and other curricular material more flexible towards their approach to patient care.

서로 격려하기
Uplifting one another

공동체의 고양감을 갖는 것은 참가자들이 인식의 불공정을 바로잡는 데 중요한 역할을 했습니다. 참가자들의 커뮤니티 형성은 주로 의과대학에서 여성이라는 공통된 경험을 중심으로 이루어졌습니다. 또한 특정 사건을 계기로 함께 모이게 되었습니다. 예를 들어, 한 백인 참가자는 짝을 지어 환자를 검사하는 실습에서 다른 참가자들이 옆으로 밀려난 경험이 있다는 사실을 알게 된 후, 그 경험에 대해 디브리핑하고 행동 계획을 수립했습니다.
Having a sense of communal uplift was an important part in how participants redressed epistemic injustices. Forming community for participants was primarily around their shared experience of being women in medical school. Their coming together was also ignited after specific incidences. For example, after learning that several others had experienced being pushed aside during a paired patient exam exercise, a White participant described how many of them debriefed about the experience and developed a plan of action.

어느 날 SIM에서 짝을 이루어 프리셉터 없이 환자 병력과 신체검사를 해야 하는 과제를 받은 적이 있었습니다. 그런데 제 친구로부터 파트너가 그 상황을 완전히 장악하고 자신이 어떤 작업도 할 수 없도록 했다는 이야기를 들었습니다. 그때 저는 우리 모두가 남성과 여성으로 나뉘어 있다는 사실을 깨달았습니다. 그 후 다른 친구로부터 같은 이야기를 들었는데, 그 친구 역시 남자 파트너가 전체 만남을 장악하고 있었습니다. 그리고 또 들었어요! 그리고 또 들었습니다! 너무 많은 사람들이 이런 일을 겪었기 때문에 저희는 말 그대로 "SIM의 위대한 스팀롤링"이라는 이름을 붙였을 정도로 심각한 문제였습니다. 언젠가 적어도 8명의 다른 여성들과 함께 테이블에 둘러앉아 우리의 경험에 대해 이야기하던 때가 기억납니다. 그들 중 다수는 언젠가 남성 동료와 비슷한 상황을 겪은 적이 있었습니다. 우리는 이것이 학습 경험에 방해가 된다는 데 동의했습니다. 저는 그 테이블에 앉아 똑똑하고 강인하며 동정심이 많은 여성들을 둘러보았습니다. 저는 물었습니다... 이렇게 해도 괜찮을까요? 그냥 이런 일이 일어나게 놔둘까요? 저는 이 문제를 어떻게 해결할 수 있을지 생각했습니다. 이런 일이 일어났을 때 여성으로서 나서서 무언가를 말해야 한다는 부담감을 갖거나. 아니면 우리 코호트의 남성들에게 그들이 하는 행동이 해롭다는 것을 가르치고 성별과 특권이 그들의 행동에 어떤 영향을 미치는지 인식하도록 돕습니다. 그래서 저는 두 가지를 모두 하면 어떨까 생각했습니다. 
There was this one day in SIM where we were paired up and tasked to do a patient history and physical without a preceptor. And I heard from my friend that her partner had totally commandeered the encounter and didn’t allow her to do any of the tasks. It was then that I realized we were all broken into male-female pairs. I then heard this SAME story from another friend, whose male partner took over the entire encounter as well. And then I heard it again! And again! It was such a problem that we literally gave it a name, “The Great Steamrolling of SIM” because it had happened to so many of us. I remember one day, sitting around a table with at least 8 other women talking about our experiences. Many of them had a similar situation occur with a male colleague at some point or another. We agreed that this detracted from the learning experience. Sitting at that table, I looked around at this group of smart, strong, compassionate women. I asked… so are we okay with this? Do we just let this happen? I thought about how we could fix it. Either we put the burden on us as women to step up and say something when this is happening. OR we teach the males in our cohort that what they are doing is harmful and help them become aware of how their gender and privilege influence their behaviors. So I thought, what if we did both?

이 참가자는 많은 반 친구들이 감정적으로 힘들고 괴로운 경험을 겪은 후, 함께 모여 사건에 대해 공유했을 뿐만 아니라 이 사건을 해결하기 위한 계획을 세운 과정을 설명했습니다. 서로의 경험을 공유할 수 있는 커뮤니티를 형성함으로써 참가자들은 자신이 겪은 피해를 인식하는 동시에 자신의 지식과 정보를 검증할 수 있었습니다. 이 참가자는 같은 반 친구들을 똑똑하고 강인하며 자비로운 여성으로 묘사하면서 그들의 임계치와 공유된 경험이 남성 동료들에게 중요한 변화를 촉발할 수 있다는 것을 알았습니다. 또한 이 참가자는 이러한 성찰을 통해 유해한 상호 작용에 대한 자신의 지식이 어떻게 이용되어서는 안 되는지를 확인했습니다. 따라서 SIM의 위대한 스팀롤링을 경험한 참가자들은 존중하는 학습이 무엇인지에 대한 지식을 바탕으로 동료들을 교육함으로써 지속적인 문제를 해결할 방법을 함께 결정했습니다. 간단히 말해, 그들은 자신이 경험한 불공정을 바로잡기 위한 전략을 함께 세웠습니다. 
This participant described how after an emotionally charged and distressing experience for many of her classmates, they came together to not only share what had happened but also make a plan to address this incident. By forming a community together where shared experiences could be heard, the participants were able to recognize the harm they had experienced while also validating their own knowledge and intelligence. As this participant described her classmates as smart, strong, compassionate women she knew their critical mass and shared experience could catalyze important change with their men peers. Furthermore, in this reflection, this participant also identifies how her knowledge about the harmful interaction should not be taken advantage of; thus, the participants who experienced The Great Steamrolling of SIM drew from their knowledge about what respectful learning is, and together decided how to address an ongoing problem by educating their peers. Simply, they came together with a strategy to redress the injustice they had experienced.

서로를 고양하는 것은 대인관계와 관찰을 통한 상호작용에서도 나타났습니다. 한 백인 참가자는 자신이 수업 시간에 대답할 때 "이건 틀린 것 같지만..."이라는 말을 계속 사용하는 것을 알아차린 다른 학생으로부터 어떻게 지지를 받았는지 공유했습니다. 그녀는 이렇게 설명했습니다, 
Uplifting one another also came in more interpersonal and observational interactions. One White participant shared how she felt supported by another student who noticed her continued use of prefacing her class-time answers with “this is probably wrong but…” She described,

저는 제 자신을 보호하기 위해 답변 앞에 '이것이 옳은지 잘 모르겠습니다'와 같은 문구를 넣었습니다. 하지만 같은 반 친구는 자신도 비슷한 감정을 경험했으며 미래의 여성 의사로서 자신을 과소평가하지 말고 우리 자신과 잠재력을 의심하지 말아야 한다고 말했습니다. 저는 그 친구의 말에 전적으로 동의하며, 제 답변이나 설명에 자기 의심을 앞세우지 않으려고 노력하고 있습니다. 여의대생들도 비슷한 감정을 경험하는 것은 매우 흔한 일이라고 생각하지만, 우리는 이런 이야기를 자주 하지 않습니다. 우리는 자신이 부족해 보일까 봐 약해 보이거나 연약해 보이고 싶지 않아요. 
I preceded my answers with statements like ‘I’m not sure if this is right’ to shield myself. But my classmate shared that she had also experienced similar feelings, and that as future female physicians we need to stop selling ourselves short and stop doubting ourselves and our potential. I completely agree with her and I’ve been making an effort to stop prefacing my answers or explanations with self-doubt. I think it's very common for female medical school students to experience similar feelings, however we don't often talk about these things. We don't want to seem weak or vulnerable in fear of being seen as less than.

이 고양의 순간은 나약하고 연약하다는 느낌을 공유한 두 참가자 간의 간단한 대화에서 비롯되었으며, 한 참가자는 다른 참가자에게서 이를 발견했습니다. 두 사람은 함께 이러한 어려움을 극복하고 보다 적극적인 태도를 통해 변화를 일으키거나 보다 명확한 전략적 주체성과 저항을 구현하기 위해 노력했습니다. 
This moment of uplift came from a simple conversation between two participants, one who shared the same challenges of feeling weak and vulnerable, and noticing this in another. Together, they worked through these challenges and worked to make changes or enact clearer strategic agency and resistance by being more assertive.

토론
Discussion

이 연구는 여의대생들의 경험에서 인식론적 불공정에 대한 설명을 제시하고 이러한 불공정을 시정하기 위해 학생들이 어떻게 노력했는지에 대한 설명을 제공하는 것을 목표로 했습니다. 인식론적 불공정의 틀을 통해 참가자들이 배웠던 교육 공간과 상호 작용에 대한 배경을 제시하고, 참가자들이 종종 유효한 지식인valid knowers으로서 불신을 받는 과정을 설명했습니다. 참가자들이 이러한 불의에 대응하는 방식은 스스로의 관점을 취하거나 자기 대화를 통해, 그리고 보다 중요한 전략적 저항 행위를 통해 이루어졌습니다. 관점 취하기전략적 저항을 통해 학생들의 주체성이 확립되었지만, 이러한 인식론적 부당함과 학생들의 반응은 다층적입니다. 학생들의 주체적 행동은 의료계의 더 큰 거시적 부조리를 조명합니다. 예를 들어, 자신이 왜 의과대학에 속해 있는지 스스로에게 상기시키는 것은 참가자들이 자신의 영향력 영역에 대한 인식과 의과대학에서 경험하는 많은 어려움이 체계적이라는 것을 이해하는 것을 정확히 보여줍니다. 
This study aimed to present descriptions of epistemic injustice in the experiences of women medical students and provide accounts about how these students worked to redress these injustices. Through the framework of epistemic injustice, we offered a backdrop for the educative spaces and interactions the participants learned in, describing how participants were often discredited as valid knowers. The ways participants countered these injustices were through both their own perspective taking or self-talk, and more critical acts of strategic resistance. While their agency was enacted through perspective-taking as well as strategic resistance, these epistemic injustices and the students’ reactions are multi-layered. The agentic behavior of the students illuminates the larger macro-injustices of the medical profession. For example, reminding themselves why they belong in medical school pinpoints participants’ awareness of their sphere of influence and their understanding that many of the challenges they experience in medical school are systemic.

참가자들은 의대를 선택한 이유에 대한 자신의 신념을 되새기며 어떤 의사가 될 것인지, 누구를 위해 봉사할 것인지, 왜 의대에 왔는지에 대한 중요한 지식을 가지고 있음을 스스로에게 상기시켰습니다. 이러한 성찰은 의과대학의 지배적이고 남성 중심적인 문화에도 불구하고(또는 때로는 그럼에도 불구하고) 학생들이 자신의 목표를 향해 나아가는 데 도움이 되었습니다. 또한 참가자들은 자신이 의학에 속해 있다는 것을 어떻게 알았는지에 대해 열정적으로 이야기했지만, 미래의 의사로서 자신의 특별한 위치에 대해 순진하지 않았습니다. 참가자들은 또한 자신만의 노하우를 활용하여 처음에는 처방에 의존하던 환자 진료 방식을 조정하고 특정 상황에서는 개선하기도 했습니다. 참가자들은 환자 면담 체크리스트와 같은 암기식 학습 경험을 통해 자신과 환자 간의 관계를 형성하고 공감하며 궁극적으로 배려하는 의사소통을 이끌어내는 방법에 대한 직관에 귀를 기울였습니다. 다시 말하지만, 이러한 일상적인 학습 경험을 통해 참가자들이 나눈 내면의 대화는 그들의 인식론적 지식과 수완을 반영하는 것이었습니다. 그들은 스스로를 신뢰하며 일부 학습 상황에서 자신의 접근 방식이 유효하다는 점을 강조했습니다. 
Participants pulled on their own beliefs about why they pursued medicine, reminding themselves that they held important knowledge about what kind of doctor they would become, who they would serve, and why they came to medical school. These were reflexive deliberations and helped them advance in their goals, despite (or at times in spite of) the dominating androcentric culture of medical school. Moreover, while participants spoke passionately about how they knew they belonged in medicine, they were not naïve about their singular position as future physicians. Participants also used their own ways of knowing to tweak and in certain situations, improve a patient encounter that had initially been prescriptive. They used rote learning experiences such as checklists for patient interviews as opportunities to listen to their intuitions about how to relate, empathize, and eventually elicit caring communication between themselves and patients. Again, the inner conversations participants had during these more routine learning experiences were a reflection of their epistemic knowledge and their resourcefulness. They trusted themselves, reinforcing that their approaches in some learning situations were valid.

참가자들은 관점을 취하는 것 외에도 보다 전략적인 이니셔티브를 통해 인식의 불공정을 바로잡았습니다. 참가자들은 서로를 의지하여 공동의 소외를 인식하고 이러한 공동의 소외를 변화시키기 위해 집단적으로 행동할 수 있는 커뮤니티를 구축했습니다. '위대한 심 스팀롤링' 기간 동안 참가자들은 서로 협력하여 자신의 지성을 고양하고 이러한 사례가 종식될 수 있도록 행동했습니다. 마찬가지로, 몇몇 참가자는 부적절한 학문적 독서에 대해 의견을 제시하고 결국 교수진에게 접근하여 이 독서에 대해 논의했습니다. 이러한 행동은 참가자들이 자신을 불법적인 지식인으로 만드는 더 큰 구조에 저항하는 동시에, 특히 교수진이 경청할 뿐만 아니라 동일한 행동action in-kind으로 응답했을 때 합법적인 지식인이 될 수 있도록 하기 위해 사용한 구체적인 전술이었습니다. 인식론적 불공정의 영역에 놓일 때, 이러한 주체적 행동은 더 큰 시스템적 변화가 일어나야만 인식될 수 있습니다. Dotson(2012)은 인식론적 불공정을 해결하기 위해서는 "진정한 차이를 인식하기 위해 일종의 '세계 여행'이 필요하다"고 주장합니다(Dotson, 2012, 34-35쪽). 이러한 종류의 세계 여행은 "대화와 대화를 넘어서는 것"으로, 다른 앎의 방식을 소중히 여길 뿐만 아니라 상황에 따라 다른 앎의 방식이 더 적합할 때를 이해하고 인식하는 데 헌신해야 합니다. 
In addition to perspective taking, participants redressed epistemic injustices through more strategic initiatives. They drew on one another to build a community that could both recognize shared marginalization and collectively act to change this shared marginalization. During “The Great SIM Steamrolling” participants worked with one another, both uplifting their own intelligence and then acting to ensure instances such as this would end. Likewise, several participants commented on an inappropriate academic reading, and eventually approached the faculty member to discuss this reading. These actions were concrete tactics participants used to both resist the larger structure that rendered them as illegitimate knowers, while also enabling them as legitimate knowers, particularly when faculty not only listened but responded with action in-kind. When placed within the realm of epistemic injustice, these agentic behaviors may only be recognized once larger systemic change takes place. Dotson (2012) argues that addressing epistemic injustice “demands a kind of ‘world’-traveling…[where] we come to appreciate genuine differences” (Dotson, 2012, pp. 34–35). This kind of world-traveling “extends beyond conversation and dialogue;” it requires commitment to not only valuing other ways of knowing but also to understanding and recognizing when other ways of knowing (and coming to know) are a better fit given the context.


의학교육의 맥락에서 세계 여행의학계에서 여성이 다수를 차지한다고 해서 성 고정관념이 뿌리 깊게 박힌 문화가 바뀌지 않는다는 것을 이해하는 것을 의미할 수 있습니다.

  • 더 넓은 관점에서 세계 여행은 의과대학의 리더십 역할에서 성별 및 인종적 다양성을 추구하거나 캠퍼스 전체 행사에 더 다양한 초청 연사를 초청하기 위해 의도적으로 노력하는 것을 의미할 수 있습니다.
  • 보다 미시적인 관점에서 세계 여행은 학생들과 그들의 배경과 문화에 대해 배우는 시간을 갖거나 학생들이 소외되거나 차별받았던 경험을 이야기할 때 경청하는 것을 의미할 수 있습니다.

세계 여행은 학생들의 지식 구현을 지원하는 학습 환경을 구축하고 학생들이 중요한 지식의 형태를 활용하도록 장려하는 것을 의미할 수 있습니다(Rocha 외., 2022; Wyatt 외., 2018). 이러한 격려란 학생들에게 자신의 경험이 의과대학에서 학습하는 방식을 어떻게 형성하는지 묻거나, 의학에 대한 자신의 역사가 커리큘럼과 상호작용하는 방식에 어떤 영향을 미칠 수 있는지에 대해 생각해 보도록 유도하는 것을 의미합니다. 학생들의 이러한 중요한 지식을 인정하고 육성하는 것은 학생들 자신의 직업적 정체성 개발에 도움이 될 수 있으며, 의사가 되는 개인적, 공동체적 이유를 강화할 수 있습니다. 세계 여행은 의대생이 '백지 상태'가 아니라는 마음가짐으로 교육과 학습에 접근하는 것을 의미하며(퍼거스 외, 2018), 의사로서 자신의 정체성을 배우고 개발하는 방법을 알려주는 풍부한 경험을 가져올 수 있습니다. 교수법을 개선하고자 학생들과 상호작용하고 가르치는 사람들은 인식론적 불공정의 렌즈를 사용하여 의과대학의 보다 공식적인 교육 및 학습에 잠재되어 있거나 무언의 또는 숨겨진 형태의 커리큘럼이 어떻게 내재되어 있는지 조사하는 것을 고려할 수 있습니다(Milem 외., 2012; Nazar 외., 2015).  

In the context of medical education, world-traveling can mean understanding that a majority representation of women in medicine will not change a culture deeply embedded with gender stereotypes.

  • From a broader standpoint, world-traveling can mean pursuing more gender and racial diversity in leadership roles in medical colleges or making intentional efforts to invite more diverse guest speakers to all-campus events.
  • From a more micro-standpoint, world-traveling can mean taking time to learn about students and their backgrounds and cultures or listening when students bring up experiences of being marginalized or discriminated against.

World-traveling can mean establishing learning environments that support students’ embodiment of their knowledge and further encouraging students to draw on their important forms of knowledge (Rocha et al., 2022; Wyatt et al., 2018). This encouragement means asking students how their own experiences may be shaping how they learn material in medical school or inviting students to reflect on ways their history with medicine may be informing how they interact with curriculum. Acknowledging and fostering these important knowledges in students may aid in their own professional identity development and strengthen their personal and communal reasons for becoming doctors. World-traveling can mean approaching teaching and learning with the mindset that medical students are not “blank slates” (Fergus et al., 2018) and bring with them a wealth of experience that inform how they learn and develop their own identities as physicians. Those who interact and teach students seeking to improve their teaching practice might consider engaging the lens of epistemic injustice to examine ways latent and unspoken or hidden forms of curricula are embedded in more formal teaching and learning in medical school (Milem et al., 2012; Nazar et al., 2015).

이 연구에 참여한 여학생들이 보여준 에이전시는 공유된 경험을 해결하거나 개선하기 위해 함께 노력하는 지식인 커뮤니티를 반영합니다. 또한, 이들의 에이전시는 보다 긴밀한 소규모 그룹에 속해 학습 경험을 공유하던 첫 해에 공유되었습니다. 이와 같은 공동 대리인 관행은 수습 기간에는 불가능할 수도 있지만, 이 연구 참여자들의 집단적 대리인(Beier et al., 2016; Lockie, 2004)을 인식하면 커리큘럼의 내용과 설계뿐만 아니라 첫해와 향후 몇 년 동안 동시에 많은 학습자에게 영향을 미칠 수 있는 능력에 대한 관점을 전환하는 데 도움이 됩니다. 이러한 접근 방식은 인식론적 변화를 달성하기 위해서는 관련된 모든 사람의 의도적이고 공동의 노력과 다양한 형태의 인식론적 불공정을 가려낼 수 있는 능력이 필요하다는 Dotson(2012)의 주장에 귀를 기울이는 데 도움이 됩니다. 'the 올바른' 앎의 방식에서 'a 올바른' 앎의 방식으로 사고방식을 전환하는 것은 학생들의 개인적, 직업적 발전에 중요한 이점을 가져올 수 있습니다. 의대생들의 집단적 주체성은 향후 의과대학에서 교육과 학습을 위한 중요한 수단이 될 수 있을 뿐만 아니라, 공유된 공동의 경험 안에서 개인의 경험의 균형을 맞추는 데에도 도움이 될 수 있습니다. 또한, 권력을 가진 사람들이 인식적 불공정의 만연을 제한하기 위해 어떻게 더 큰 구조적 변화와 공동의 대리성을 지원할 수 있는지에 대한 추가적인 연구도 필요합니다. 이 연구에서 살펴본 참여자들의 주체성 사례와 그들의 주체성을 엿보는 것이 제도화될 가능성이 있는 더 큰 공평한 변화를 촉진하는 촉매제가 되기를 바랍니다(Carr et al., 2017; Sugarman & Martin, 2011). 

The agency the women students in this study demonstrated reflects a community of knowers working together to address/redress a shared experience. Furthermore, their agency was shared during their first year, a time when they were in more close-knit small groups and shared learning experiences. These same practices of communal agency may not be possible in clerkship years, but recognizing the collective agency (Beier et al., 2016; Lockie, 2004) of the participants in this study helps shift perspectives on ways curriculum is networked not just in its content and design, but also in its ability to impact a large group of learners simultaneously in their first-year and potentially in future years. This approach helps heed Dotson’s (2012) call that achieving epistemic change requires intentional and concerted efforts among all involved, and an ability to sift through multiple forms of epistemic injustice. Shifting mindsets from “the” correct way of knowing to a” correct way of knowing can have important benefits for students in their own personal and professional development. Collective agency on the part of medical students may be an important avenue for future work on teaching and learning in medical school, as well as balancing individual experiences within a shared communal experience. Additionally further work on understanding how those in power may support larger structural changes and communal agency to limit the pervasiveness of epistemic injustice is also needed. We hope the examples of agency on the part of our participants, and the glimpses of their agency in this study may also catalyze larger equitable change that has the possibility to become institutionalized (Carr et al., 2017; Sugarman & Martin, 2011).

 


Adv Health Sci Educ Theory Pract. 2023 Aug;28(3):741-758. doi: 10.1007/s10459-022-10183-x. Epub 2022 Nov 17.

 

Redressing injustices: how women students enact agency in undergraduate medical education

Affiliations collapse

1Office of Medical Education Research and Development, Michigan State University College of Human Medicine, 964 Wilson Road, Fee Hall A214, East Lansing, MI, 48824, USA. blalocka@msu.edu.

2Michigan State University College of Education, East Lansing, USA.

PMID: 36394683

PMCID: PMC9672615

DOI: 10.1007/s10459-022-10183-x

Free PMC article

 

 

Abstract

This study presents descriptions of epistemic injustice in the experiences of women medical students and provides accounts about how these students worked to redress these injustices. Epistemic injustice is both the immediate discrediting of an individual's knowledge based on their social identity and the act of persistently ignoring possibilities for other ways of knowing. Using critical narrative interviews and personal reflections over an eight-month period, 22 women students during their first year of medical school described instances when their knowledge and experience was discredited and ignored, then the ways they enacted agency to redress these injustices. Participants described three distinct ways they worked to redress injustices: reclaiming why they belong in medicine, speaking up and calling out the curriculum, and uplifting one another. This study has implications for recognizing medical students as whole individuals with lived histories and experiences and advocates for recognizing medical students' perspectives as valuable sources of knowledge.

Keywords: Agency; Epistemic injustice in medicine; Longitudinal qualitative research; Women medical students.

의학교육에서 장애 표용: 질향상 접근을 향하여 (Med Educ, 2022)
Disability inclusion in medical education: Towards a quality improvement approach
Satendra Singh1 | Lisa M. Meeks2

 

1 서론
1 INTRODUCTION

장애를 가진 의사를 포함한 보다 다양한 인력으로 초점을 전환하는 것은 국제적으로 상당한 주목을 받고 있습니다.1,2 실제로 장애 포용은 의학교육에서 르네상스를 경험하고 있습니다. 전 세계의 의학교육 협회, 규제 기관 및 프로그램은 장애 포용의 가치를 지지하며 자격을 갖춘 장애 수련의에 대한 제도적 장벽을 제거하고 포용적 관행을 강화하는 등 시스템 변화를 촉구하고 있습니다.3-7 
The shift in focus to a more diverse workforce that includes physicians with disabilities has gained considerable international traction.1, 2 Indeed, disability inclusion is experiencing a renaissance in medical education. Across the globe, medical education associations, regulating bodies and programmes espouse the value of disability inclusion and are calling for systems change, including removing systemic barriers to qualified trainees with disabilities and strengthening inclusive practices.3-7

2 의료 협회 지침
2 MEDICAL ASSOCIATION GUIDANCE

최근 몇 년 동안 5개 의학 협회는 다음과 같이 의학교육에서 직접적으로 행동을 촉구하는 중요한 지침 문서를 제공했습니다:

  • 의학교육에서의 접근성, 포용성 및 행동: 장애를 가진 학습자 및 의사의 생생한 경험(미국의과대학협회, 2018),3
  • 환영 및 가치 인정: 의학 교육 및 훈련에서 장애인 학습자 지원(영국의학위원회, 2018),4
  • 포용적 의학 교육: 장애가 있는 의대 프로그램 지원자 및 학생에 대한 지침(호주 및 뉴질랜드 의과대학 학장협회, 2021),5
  • 장애가 있는 수련의를 위한 의학교육 장벽 평가 연구(미국의사협회, 의학교육위원회, 2022)6 
  • 의료계에서의 장애(영국의사협회, 2020).7

이러한 간행물은 장애 포용성 강화를 촉구하는 동시에 의학교육 전반에 걸쳐 자격 있는 수련의가 직면한 글로벌 장벽과 지속적인 과제를 드러내기도 합니다.
In recent years, five medical associations have provided significant guiding documents that directly call for action in medical education including:

  • Accessibility, Inclusion, and Action in Medical Education: Lived Experiences of Learners and Physicians With Disabilities (Association of American Medical College, 2018),3 
  • Welcomed and Valued: Supporting disabled learners in medical education and training (General Medical Council, UK, 2018),4 
  • Inclusive Medical Education: Guidance on medical programme applicants and students with a disability (Medical Deans Australia and New Zealand Inc, 2021),5 
  • A Study to Evaluate Barriers to Medical Education for Trainees with Disabilities (American Medical Association, Council on Medical Education, 2022)6 and
  • Disability in the Medical Profession (British Medical Association, 2020).7 

While these publications call for greater disability inclusion, they also unveil global barriers and ongoing challenges for qualified trainees across the medical education continuum.

3 규제 부족
3 LACK OF REGULATION

알려진 장벽에도 불구하고 장애가 있는 수련의를 보호하기 위한 규제는 거의 존재하지 않습니다. 일반적으로 수련의 지원을 규제하는 인증 기관은 차별 금지 및 합리적 편의 제공에 대한 법적 요건 외에 장애 포용에 대한 지침을 거의 제공하지 않습니다.8 장애에 초점을 맞춘 규정은 없지만 일부 인증 기관은 학교가 질 개선(QI) 노력에 참여하도록 요구하고 있습니다.9, 10 
Despite known barriers, little regulation exists to protect trainees with disabilities. Accrediting bodies, which usually regulate trainee support, offer little guidance on disability inclusion beyond legal requirements for non-discrimination and reasonable accommodation.8 While disability-focused regulations are absent, some accreditation bodies do require schools to engage in Quality Improvement (QI) efforts.9, 10

의료 협회의 장애 포용에 대한 요구3-7와 규제의 부재를 고려할 때, 질 개선 모델은 장애 포용 및 서비스 노력을 유도하는 데 중요한 이점을 제공할 수 있습니다. 이 논평에서는 의학교육의 질 향상을 위한 고려사항을 제시하며, 이는 전 세계적으로 개정된 세계의학교육연맹(WFME)의 교육(기초의학교육, BME), 수련(의학전문대학원 교육, PME), 실무(지속적 전문성 개발, CPD)의 세 가지 수준 모두에서의 QI 표준 3부작을 다룹니다(표 1). 우리는 조직의 실천과 행동을 안내하기 위해 고안된 데밍의 질 관리를 위한 핵심 사항을 사용하여 시스템 기반의 장애 포용적이고 접근 가능하며 공평한 의학교육의 비전을 제안합니다.11 
Given the calls for disability inclusion by medical associations,3-7 coupled with the prevailing lack of regulation, models of quality improvement may hold material benefits for guiding disability inclusion and service efforts. In this commentary, we offer considerations for quality improvement in medical education that address the globally revised trilogy of World Federation for Medical Education (WFME) standards of QI at all three levels of education (Basic Medical Education, BME), training (Postgraduate Medical Education, PME) and practice (Continuing Professional Development, CPD) (Table 1). We propose a vision of systems-based disability-inclusive, accessible and equitable medical education using key points from Deming's Points for Quality Management, designed to guide organisational practice and behaviour.11

TABLE 1. Deming's points for quality management applied to disability inclusion

     
  W. Edwards Deming's 14 points Where applicable in medical education
1. Create constancy of purpose towards improvement BME/PME/CPD
  Recommendation: Build long-range disability inclusion QI into the institutional planning.
2. Adopt the new philosophy. BME/PME
  Recommendation: Adopt a new philosophy that disability diversity results in stronger, more capable and innovative systems and that physicians with disabilities add value to health care and should be celebrated.
3. Cease dependence on inspection to achieve quality. BME/PME
  Recommendation: Build quality into the system by removing barriers to access found in physical space, curriculum, policy, technical standards, disability service, licensure and accommodation request.
4. Move towards a single supplier for any one item. (Standards to minimise variation/interpretation) BME/PME
  Recommendation: Provide specialised disability resource providers to assist with disability inclusion and regulate the requirement for this position.
5. Improve constantly and forever every process for planning, production, and service BME/PME/CPD
  Recommendation: Develop a task force to consistently and quickly respond to new disability related barriers and to proactively recommend changes that improve access for all.
6. Institute training on the job. BME/PME/CPD
  Recommendation: Provide staff and faculty training on disability justice, disability competency and consciousness.
7. Adopt and institute leadership. BME/PME
  Recommendation: Leadership must communicate the commitment to disability inclusion and must create actionable steps to reach their goals.
8. Drive out fear. BME/PME
  Recommendation: Fear must be driven out through two mechanisms; creating a safe place for trainees to disclose and educating institutional stakeholders about the success of physicians with disabilities.
14. The transformation is everybody's job. BME/PME/CPD
  Recommendation: Communicate to the training community that access is an organisational commitment and that each stakeholder has a specific role.
  • Abbreviations: BME: Basic Medical Education; CPD: Continuing Professional Development; PME: Postgraduate Medical Education.

품질 관리를 위한 데밍의 포인트
4 DEMING'S POINTS FOR QUALITY MANAGEMENT

데밍의 모델은 처음에는 산업을 위해 고안되었지만 의학교육 분야에도 적용되었습니다.12, 13 데밍의 모델은 특히 장애 포용이라는 주제에 적용할 수 있습니다.

  • 첫째, 데밍의 개선 접근 방식은 개인이 아닌 시스템에 초점을 맞추고 있습니다. 역사적으로 장애 포용은 시스템에 대한 검토 없이 개인의 문제로 간주되어 왔으며,14 개인을 문제시해 왔습니다.
  • 둘째, 데밍의 모델은 결함이 있는 시스템을 계속 사용하면 기업의 성장이 저해된다는 점을 인식하고, 장애 포용에 초점을 맞춘 연구자들이 지지하는 접근 방식인 업무 수행 방식에 대한 역사적 이론을 버리고 조직이 근본적인 변화를 겪을 것을 촉구합니다.15
  • 다음으로, 데밍의 이론은 사람들이 서비스 품질 개선을 위한 새로운 통찰력과 아이디어를 창출할 수 있는 기회를 만들기 위해 조직적, 직업적 장벽을 허물어야 한다고 주장합니다.
  • 마지막으로 데밍은 리더에게 서비스 실행의 불확실성과 변동성을 최소화할 것을 요구하는데, 이는 문헌에서 지지하는 필요성입니다.3, 8, 16

여기서는 데밍의 14가지 품질 관리 이론 중 9가지를 적용하여 장애인을 의료 교육에 포함할 수 있도록 개선합니다. 
Although initially designed for industry, Deming's models have been applied to the field of medical education.12, 13 Deming's model is especially applicable to the subject of disability inclusion.

  • First, Deming's approach to improvement is specific to the system versus the individual. Disability inclusion has historically been viewed as an individual issue, problematizing the person,14 without review of the system.
  • Second, Deming's model recognises that the continued use of a flawed system will hinder a company's growth and calls for organisations to undergo fundamental change, throwing out historical theories of how work is accomplished, an approach supported by researchers focused on disability inclusion.15 
  • Next, Deming's theory calls for us to break down organisational and professional barriers as a necessary move for creating opportunities for people to generate new insights and ideas for improving service quality.
  • Finally, Deming calls on leaders to minimise uncertainty and variability in executing service, a need endorsed in the literature.3816 

Here, we apply 9 of Deming's 14-point quality management theory to improve the inclusion of individuals with disabilities in medical education.

장애 포용에 적용되는 데밍의 포인트
5 DEMING'S POINTS AS APPLIED TO DISABILITY INCLUSION

5.1 데밍의 포인트 1: 개선을 향한 목적의 일관성 만들기
5.1 Deming point 1: Create constancy of purpose towards improvement

알바니즈(1999)는 데밍의 요점 1을 사용하여 의학교육이 장애 포용의 핵심 아이디어인 학습 환경의 지속적인 개선에 중점을 두고 장기적인 관점을 통합하는 제도적 문화를 조성할 것을 촉구했습니다.13 실제로 의학교육에서 장애 포용 작업은 정책, 실무 및 커리큘럼에서 장애 포용을 옹호하는 한 두 명의 챔피언이 주도하는 학교별 작업인 경우가 많습니다. '챔피언' 모델을 고려할 때, 교수진이 바뀌면 장애 포용 업무가 축소되거나 완전히 없어질 수 있습니다. 또는 전체 의학교육 기업이 지속적인 개선 모델에 전념하는 경우, 교수진이나 리더십의 변화와 관계없이 장애 포용은 기업의 우선 순위로 유지됩니다. 
Using Deming's point 1, Albanese (1999) called for medical education to create an institutional culture that incorporates the long-range perspective with a focus on continual improvement of the learning environment—a key idea for disability inclusion.13 Indeed, disability inclusion work in medical education is often school specific, spearheaded by one or two champions who advocate for disability inclusion in policy, practice and curricula. Given the ‘champion’ model, a change in faculty may result in a reduction in—or complete elimination of—disability inclusion work. Alternatively, if the entire medical education enterprise commits to a continuous improvement model, then disability inclusion remains a priority of the enterprise, regardless of changes in faculty or leadership.

5.2 데밍 포인트 2: 새로운 철학의 채택
5.2 Deming point 2: Adopt the new philosophy

데밍은 품질 개선을 위해 새로운 철학을 채택할 것을 제안했습니다. 역사적으로 장애인 포용은 소송 위험을 완화하는 것을 주요 목표로 하는 규정 준수 문제로 간주되어 왔습니다. 교육 환경마다 장애 포용에 대한 접근 방식은 다양하지만, 모든 측면에서 다양성을 증진하려는 노력을 포함하는 사회 정의적 관점은 장애와 관련하여 종종 잊혀졌습니다. 장애 포용에 관한 연구에서 Jain은 장애를 인간 다양성의 정상적인 부분이자 가치 있는 사회적 정체성으로 간주하는 의도적 포용의 원칙에 따라 '변혁적' 접근 방식을 요구합니다.17 이러한 접근 방식에 따라 교육 환경은 모든 교육생을 포함하도록 의도적으로 설계되고 시스템에 보편적 설계유연성이 내장된 환경으로 전환됩니다.17, 18 변화는 모든 훈련생을 위한 환경을 개선하고 여러 가지 다양한 경로를 통해 역량을 달성하는 것을 목표로 하는 지속적인 과정(데밍 포인트 5 참조)입니다.17 따라서 새로운 철학은 장애 다양성이 더 강력하고 유능하며 혁신적인 시스템으로 이어진다고 말할 수 있습니다. 이 철학의 지배적인 사고방식은 장애가 있는 수련생은 의료서비스에 가치를 더하며, 따라서 축하받아야 한다는 것입니다. 
Deming suggested adopting a new philosophy for quality improvement. Historically, disability inclusion has been viewed as a compliance issue, with the primary goal of mitigating litigation risk. While training environments vary in their approach to disability inclusion, the social justice lens, which includes an avowed commitment to increasing diversity in all respects, is oft-forgotten when it comes to disability. In her work on disability inclusion, Jain calls for a ‘transformative’ approach, guided by the principles of intentional inclusion, where disability is viewed as a normal part of human variation and a valued social identity.17 Under this approach, the training environment shifts to one that is intentionally designed to include all trainees, with universal design and flexibility built into the system.17, 18 Change is an ongoing process (see Deming point 5), with the goal of improving the environment for all trainees and the achievement of competency through multiple and diverse pathways.17 Thus, a new philosophy would state that disability-diversity results in stronger, more capable and innovative systems. The prevailing mindset under this philosophy is that trainees with disabilities add value to health care and, therefore, should be celebrated.

5.3 데밍의 요점 3: 검사에 대한 의존을 중단하고 처음부터 제품에 품질을 구축하여 품질을 달성해야 합니다.
5.3 Deming's point 3: Cease dependence on inspection to achieve quality by building quality into the product in the first place

Albenese(1999)는 데밍의 3단계를 의학교육에 적용할 때, 평가는 양질의 교육과 조기 문제 발견에 중점을 두고 학생들이 개선해야 할 부분을 파악하여 교정이 적용될 수 있도록 돕기 위한 목적이어야 한다고 주장했습니다.13 그러나 장애가 있는 능력주의 환경에서는 양질의 수련생 평가가 이루어지지 않을 수 있습니다.15 
Albenese (1999) argued that in applying Deming's step 3 to medical education, assessment should be for the purpose of helping students identify where they need to improve with the focus on high-quality education and early problem detection so that remediation can be applied.13 However, high-quality trainee assessment may be absent when it occurs within a barrier-laden, ableist environment.15

의학교육 내에서 장애는 종종 시스템에 대한 위협으로 문제시됩니다.14 실제로 의료화medicalization, 즉 '의료기관이 [다양하고 비합치적non-conforming 인간의 상태와 행동]을 [생의학 지식의 영역에 들어오는 문제]로 취급하는 경향'은 자주 보고되는 문제입니다.19 장애 포용의 '상태'는 접근에 대한 시스템적 장벽으로 측정할 수 있으며, 이는 비장애 동료와 비교하여 장애인 수련생에게 불균등한 결과를 초래합니다.20 이러한 장벽은 다음을 포함한 여러 영역에 존재합니다.24, 25 

  • 입학,3, 21, 22 교육,18 과정,16 의학 교육 및 면허 시험에서의 편의 제공,23, 24 합리적이고 적절한 편의/조정에 관한 지식 부족3, 16 및 의사 면허를 위한 차별적 관행

Within medical education, disability is often problematized as a threat to the system.14 Indeed, medicalization, or the ‘tendency of a medical institution to deal with diverse, non-conforming human conditions and behaviors entering the realm of biomedical knowledge’ as problems to be cured, is an oft-report issue.19 The ‘State’ of disability inclusion can be measured by systemic barriers to access, which lead to disparate outcomes for trainees with disabilities compared to their non-disabled peers.20 These barriers are present in several domains, including:

  • admissions,32122 instruction,18 process,16 access to accommodation in medical training and licensure exams,2324 lack of knowledge regarding reasonable and appropriate accommodation/adjustments316 and discriminatory practices for physician licensure.2425 

능력주의적이고 역사적으로 적대적인 환경의 맥락에서, 장애를 스스로 확인해야 하는 상황은 또한 장애를 과소 보고하는 결과를 낳고, 수련생들은 묵묵히 고통받으며 프로그램을 충분히 이용하지 못하고 의료계에 소속감을 느끼는 혜택을 누리지 못합니다.25 미국에서는 수련생이 주도하는 공개 및 요청에 대한 정책 지원이 부분적으로 법에 근거하고 있습니다.26 이 경우 기관이나 단체가 장애인이라고 선제적으로pre-emptively 판단하고 편의를 제공하는 것을 금지하고 있습니다. 사전 문의pre-inquiry에 대한 법적 제한에도 불구하고, 기관은 유니버설 교수 설계Universal Design of Instruction의 메커니즘을 활용하여 가능한 한 모든 교육생을 위해 설계된 교수 학습 제품을 만들어 모든 학습자가 학습 환경에 접근할 수 있도록 하는 사전 접근proactive 방식을 취할 수 있고 또 취해야 합니다.18 현재까지 장애 포용에 대한 장벽을 제거하기 위한 시스템 전반의 요구 사항은 존재하지 않으므로 데밍의 포인트 4로 이어집니다. 
In the context of an ableist and historically hostile environment.15 The need to self-identify a disability will also result in an underreporting of disability and a cadre of trainees who are silently suffering, never truly having full access to our programmes and never reaping the benefits of feeling included in the medical community.25 The policy support for US-based trainee-driven disclosure and request is partially informed by the law.26 In this case, it prohibits institutions or organisations from pre-emptively determining that a person is disabled and offering accommodation. Despite legal restrictions on pre-inquiry, organisations can and should engage in proactive approaches to access by utilising mechanisms of Universal Design of Instruction, making the learning environment accessible to all learners through the creation of teaching and learning products that are designed for all trainees to the fullest extent possible.18 To date, no system-wide requirement to remove barriers to disability inclusion exist, leading us to Deming's point 4.

5.4 데밍 포인트 4: 하나의 품목에 대해 단일 공급자로 이동(변형/해석을 최소화하는 표준)
5.4 Deming point 4: Move towards a single supplier for any one item (standards to minimise variation/interpretation)

데밍은 제조업체가 단일 공급업체와의 관계를 발전시킬 것을 강력히 촉구합니다.11 원래 목표는 제조업체로 들어오는 재료의 품질을 높이고 변동성을 줄이는 것입니다. 의학교육에서는 장애를 공개한 후 수련의를 지원하는 일관된 프로세스가 없습니다.8 실제로 대부분의 수련의는 규제되지 않고 정보가 부족한 시스템에 들어가게 되며, 의사가 될 수 있는 능력에 대한 지속적인 믿음과 전문적 지원 부족으로 인한 과소 수용 또는 노골적인 거부에 취약해집니다.16 장애 포용 노력은 모범 사례나 규정 없이 개별 기관에 맡겨져 일관되지 않은 의사 결정과 매우 다양한 수련의 경험으로 이어지곤 합니다.16 편견을 줄이고, 이해 상충을 피하며, 과정에 대한 근접성과 전문성을 향상시키기 위해 설계된 '구조'가 존재하지만3 이러한 구조적 권장 사항은 규제되지 않습니다.16
Deming strongly urges manufacturers to develop a relationship with a single supplier.11 The original goal is to raise the quality and reduce the variability of the materials that come to the manufacturer. In medical education, there is no consistent process for supporting a trainee once a disability disclosure is made.8 Indeed, most will enter an unregulated, uninformed system leaving them vulnerable to persistent ableist beliefs about their ability to become physicians and under-accommodation or outright denial of accommodation due to lack of specialised support.16 Disability inclusion efforts are often left to the individual institutions, sans best practice or regulation, leading to inconsistent decision-making and highly varied trainee experiences.16 While suggested ‘structures’ exist3 and are designed to reduce bias, avoid conflicts of interest and enhance proximity and expertise to the process, these structural recommendations are not regulated.16 

문헌에는 [접근성access을 위한 전문가 접점expert touch point]으로서 [전문 장애 자원 전문가]를 갖출 것에 대한 요구가 다수 존재한다.3, 6, 8, 16 이 '단일 공급자' 접근법은 [장애 지원 제공자]를 한 명으로 하여 장애 수련의가 의료 교육에서 장애 포함 및 편의에 대한 전문 지식을 갖춘 비-평가적인 지도자에게 비밀리에 접근하는 모범 사례를 가리킵니다. 이러한 '단일 공급자'는 시스템 전반에 걸쳐 여러 번의 협상의 필요성을 줄이고, 민감한 장애 관련 문서를 보관할 수 있는 중앙 집중식 기밀 공간을 제공하며, 편의 제공에 대한 해석이 필요한 교수진이나 관리자를 지원합니다.16 또한 평가자가 장애에 기반한 편견을 인식하지 못할 때 발생할 수 있는 차별적 대우를 줄여줍니다. 규제 기관이 정신건강 서비스 제공자에게 요구하는 것과 유사하게 의과대학 전반에 걸쳐 이러한 역할을 요구한다면 의학교육이 데밍의 요점 4에 더 가까워지고 변형/해석을 최소화할 수 있을 것입니다.8 
The literature consists of multiple calls for a specialised disability resource professional as an expert touch point for access.3, 6, 8, 16 This single supplier approach points towards the best practice of having a single disability resource provider so that trainees with disabilities have access to a confidential, non-evaluative leader with expertise in disability inclusion and accommodation in medical training. This ‘single supplier’ reduces the need for multiple negotiations across the system, allows for a centralised and confidential space for holding sensitive disability documentation and provides support to faculty or administrators who require interpretation of an accommodation.16 It also reduces disparate treatment that can sometimes occur when evaluators are unaware of their disability-based biases. If regulating bodies were to require this role across medical schools, similar to how they require mental health providers, medical education would move closer to Deming's point 4 and minimise variation/interpretation.8

5.5 데밍의 요점 5: 계획, 생산 및 서비스를 위한 모든 프로세스를 지속적으로 그리고 영원히 개선해야 합니다.
5.5 Deming's point 5: Improve constantly and forever every process for planning, production and service

데밍은 증가하는 요구사항에 진정으로 대응하기 위해서는 조직이 지속적인 개선에 집중해야 한다고 강조했습니다. 더 많은 장애인 교육생이 시스템에 들어와 정보를 제공함에 따라 새로운 장벽이 식별되고 더 큰 포용의 기회가 발견될 것입니다. 지속적인 개선을 위한 노력은 시스템을 민첩하게 만들고, 장벽을 파악하고, 신속하게 대응할 수 있게 해주며, 유니버설 디자인, 커리큘럼 변경 또는 비표준 시간 내에 의학 학위를 이수할 수 있도록 시스템 내 유연성 강화를 통해 많은 교육생의 요구를 충족하도록 시스템을 발전시킬 수 있습니다.
Deming highlighted that to be truly responsive to growing needs, an organisation must focus on continuous improvement. As more trainees with disabilities enter and inform the system, new barriers will be identified and opportunities for greater inclusion uncovered. A constant commitment to improving allows the system to be nimble, identify barriers, and respond quickly, evolving the system to meet the needs of many trainees through universal design, curricular changes or enhanced flexibility within a system to allow for completion of a medical degree in non-standard time.

5.6 데밍의 요점 6: 직무에 대한 교육 실시
5.6 Deming's point 6: Institute training on the job

의학교육의 사회적 책무는 국가적, 세계적 차원에서 환자와 의료 시스템의 요구사항에 대응하기 위한 노력과 능력을 의미합니다.27 2006년 장애인 권리 협약과 2011년 세계 장애 보고서에서 인권 원칙에 기반한 장애 교육을 보장하기 위한 제도를 강조했음에도 불구하고, 원칙적으로 정착되지 않았습니다.28-31 
Medical education's social accountability implies a commitment and ability to respond to the requirements of patients and health care systems on a national and global scale.27 Despite the Convention on the Rights of Persons with Disabilities in 2006, and the World Report on Disability in 2011 emphasising institutions to ensure disability training based on human rights principles, it has not percolated down in principle.28-31

의사들이 장애는 사회적 구성물이며, 교육이나 진료에서 장애를 인권의 부정이나 제한을 위한 정당한 근거로 삼아서는 안 된다는 점을 인식해야 할 필요성이 커지고 있습니다. 이러한 이유로 연구자들은 정의와 자율성을 구현하기 위해 의료 환경 내에서 장애 문화적 역량을 구현할 것을 요구해 왔으며, 인증 기관에 서한을 보내 BME와 PME에 이를 의무적으로 포함하도록 요청해 왔습니다. 그러나 장애 역량이 의학교육의 필수적인 부분이 되도록 사법 운동을 통해 변화를 이끌어내는 것은 소수의 열정적인 장애 인권 운동가들에게 달려 있는 경우가 많습니다.32-37 데밍의 institute training on the job 철학을 실현하고 법적 의무를 이행하기 위해서는 장애 역량으로서 장애 권리에 대한 의학교육자의 의무적인 교육과 더불어 장애 의식을 가르치려는 열망,38 데밍의 포인트 5와 6을 바탕으로 맥락 내에서의 장애에 대한 이해를 일관되고 지속적으로 성장시키는 것을 목표로 삼아야 합니다. 또한 장애를 '극복'한 것으로 간주하는 장애 포용 철학에서 교육기관이 장애 교육생을 다양한 학습자 커뮤니티의 일원으로 예상하고 정상화하는 철학으로 조정되어야 합니다. 
There is a growing need for physicians to realise that disability is a social construct, and be it in teaching or practice, disabilities must not be taken as a legitimate ground for the denial or restriction of human rights. On this account, researchers have been calling for disability cultural competencies within health care settings to implement justice and autonomy and statutory bodies writing to accreditation bodies to mandatory include it in the BME and PME. Yet, more often than not, the onus lies on a few passionate disability rights activists to bring change through judicial activism to ensure disability competencies are a mandatory part of medical education.32-37 To realise Deming's philosophy of institute training on the job, and to fulfil legal obligations, there must be mandatory training of medical educators on disability rights as disability competencies as well as an aspiration to teach disability consciousness,38 which draws on Deming's Points 5 and 6; to consistently and continually aim to grow in our understanding of disability in context. In addition, the philosophy of disability inclusion must be adjusted from one where disabled trainees are viewed as having ‘overcome’ disability to one where institutions anticipate and normalise disabled trainees as part of the community of diverse learners.

5.7 데밍의 요점 7: 리더십 채택 및 제도화
5.7 Deming's point 7: Adopt and institute leadership

의학계 전반에 걸쳐 장애 포용에 대한 행동 촉구에도 불구하고, 이러한 요구를 실행 가능한 조치로 전환하고 장애인 인구의 성장을 환영하고 지원하며 촉진하는 환경을 조성하는 데 실패하고 있습니다. 실제로 교육 접근성에 대한 지속적인 보고는 앞서 언급한 가이드라인이 널리 채택되지 않았다는 증거입니다.39-41 
Despite calls to action on disability inclusion across medical associations, there exists a failure to translate these calls into actionable steps and to create environments that welcome, support and foster growth in the disabled population. Indeed, continued reports of inaccessibility in training stand as evidence that the aforementioned guidelines are not widely adopted.39-41

연구자들은 사명 선언문을 뛰어넘는 모범 사례를 제안했습니다.3, 42 장애 포용에 성공하려면 시스템의 모든 이해관계자, 특히 리더십이 목적에 전념해야 합니다. 데밍의 기관 리더십 철학은 기관이 조직 전반에 걸쳐 양질의 포용성을 수용하고 최고 수준의 리더십이 장애 커뮤니티의 정보를 바탕으로 측정 가능한 변화를 가져오는 데 전념할 때만 달성할 수 있습니다. 그들은 '우리 없이는 아무것도 없다'는 장애 포용의 모토에 따라 행동해야 하며, 대의에 대한 헌신과 목표 달성을 위한 실행 가능한 계획을 커뮤니티에 전달해야 합니다. 
Researchers have suggested best practices to move beyond mission statements.3, 42 If we are to excel at disability inclusion, all stakeholders in the system must be committed to the purpose, especially leadership. Deming's philosophy of institute leadership can only be achieved; however, if institutions embrace quality inclusion throughout the organisation and where the highest levels of leadership are committed to bringing about measurable change, informed by the disability community. They must act in line with the disability inclusion mantra, ‘nothing about us, without us’ and communicate to the community their commitment to the cause and an actionable plan to reach the goal.

5.8 데밍의 요점 8: 두려움을 몰아내세요
5.8 Deming's point 8: Drive out fear

의대 교육자 및 지도자, 학생에게 두려움은 장애 포용을 방해할 수 있습니다. 수련의 관점에서 볼 때 의과대학 입학 지원 절차는 좋은 지원자에 대한 제한적인 시각을 유지합니다. 수련생들은 의대 프로그램이 좋은 의사를 몸이 불편하지 않은 사람으로 간주한다고 보고합니다. 이상적인 의대 지원자이자 미래의 의대 수련의는 '엄격한 학업 요구와 적극적인 사회적 헌신을 병행하면서 우수한 평가를 유지하는 사람'입니다.41 의대 입학의 경쟁적 특성을 고려할 때, 많은 수련의는 공개에 대한 두려움에 시달리며 장애와 같이 결점으로 간주될 수 있는 정보를 공유하지 않도록 권장될 수 있습니다. 접근하기 어려운 지원서 양식, 의과대학 입학 시험에서 편의 제공 부족, 의사 섀도잉에 대한 불공평한 접근, 입학 위원회에 대한 반장애인주의 교육 부족 등 입학 절차 자체가 부담스러울 수 있습니다.15, 21, 22 
For medical educators and leaders, and students, fear may stall disability inclusion. From the trainee perspective, the application process for medical school entry retains restrictive views of a good applicant. Trainees report that their programmes view the good doctor as someone who is not unwell. The ideal medical applicant and future medical trainee is someone who ‘juggles rigorous academic demands with active social commitments while maintaining excellent evaluations’.41 Given the competitive nature of medical school admissions, many trainees are driven by fear of disclosure and may be encouraged not to share information that might be considered a deficit, like a disability. The admissions process itself may prove burdensome, with inaccessible formats for application, lack of access to accommodation on medical school entry examinations, inequitable access to physician shadowing and lack of anti-ableist training for admissions committees.15, 21, 22

반대로, 입학 위원회, 교수진 및 관리자는 미지의 영역에 대한 두려움으로 장애인이 의학 분야에 적합하지 않다고 잘못 판단할 수 있습니다. 장애 포용을 장려하기 위해서는 프로그램이 장애를 공개하고 편의를 요청할 수 있는 안전한 공간이라는 신뢰와 명확한 이해를 통해 학습자의 두려움을 없애야 합니다. 교육 프로그램에서 장애를 가진 의사의 실제 성공 사례를 공유하면 두려움을 없애는 데 직접적인 도움이 될 수 있습니다. 
Conversely, admissions committees, faculty and administrators may fear the unknown, and may falsely believe that individuals with disabilities are not well suited for a career in medicine. In order to encourage disability inclusion, fear must be driven out of learners through trust and a clear understanding that the programme is a safe space to disclose and request accommodations. For training programmes, sharing success stories of physicians with disabilities in practice can help directly drive out fear.

5.9 데밍의 요점 14: 변화는 모두의 일이다
5.9 Deming's point 14: The transformation is everybody's job

행동 촉구에도 불구하고 의학교육에 장애를 포용하고 의학교육 내 장애 커리큘럼에 대한 글로벌 지침이 부족합니다. 교육 기관의 모든 구성원은 장애 접근성에서 각자의 역할을 수행하며, 자신이 교육 기관의 장애 접근성이라는 큰 그림에 어떻게 부합하는지 이해해야 합니다. 장애 접근은 또한 장애 정보를 제공해야 합니다. 장애인 수련의에 대한 동등한 접근은 환자와 의료 제공자 모두에서 세계에서 가장 큰 소수인 장애인의 요구를 해결하지 않는 한 달성할 수 없습니다. 데밍에 따르면 이러한 결함[오류]은 학습의 기회로 보아야 합니다. 변화는 우리 모두의 일이므로, 최근 의학교육에서의 장애 포용을 위한 국제위원회43 가 출범하고 국제적으로 장애 편의시설을 마련하기 위해 노력하는 것은 환영할 만한 움직임이며, 지침이 없는 국가에 다가갈 수 있도록 WFME 지역 협회의 적극적인 참여가 필요합니다.1, 2, 44  
Despite calls to action, we lack global guidance on disability inclusion in medical education and disability curriculum within medical education. Each person in the institution plays a role in disability access and should understand how they fit into the larger picture of institutional access. Disability access must also be disability informed. Equal access for disabled trainees, will not be achieved until and unless we address the needs of the world's largest minority—people with disabilities—both as patients and providers. These deficiencies [errors] must be seen as learning opportunities, per Deming. As transformation is everyone's job, the recent launch of the International Council for Disability Inclusion in Medical Education43 and its work on producing disability accommodations internationally is a welcome move and needs active participation from the WFME regional associations to reach out to nations with no guidance.1, 2, 44

6 결론
6 CONCLUSION

WFME는 품질 개선을 위한 글로벌 표준 3부작을 제시했습니다. 우리는 장애 포용의 질을 개선하기 위해 QI 개입을 사용할 수 있는 여러 지점을 제공했습니다. 인권의 관점에서 장애를 바라보고, 합리적인 편의에 대한 표준화된 접근과 이해를 제공하고, 시스템의 모든 이해관계자에게 교육을 제공하면 장애 포용을 향한 문화와 분위기가 인간화될 수 있습니다. 보다 다양한 보건 전문 인력은 건강 결과를 개선하고, 건강 격차를 완화하며, 장애를 포용하고 접근 가능하며 공평한 보건 전문 교육, 훈련 및 실습으로 이어질 수 있습니다.
WFME has given the trilogy of Global Standards for Quality Improvement. We provided multiple points where QI intervention can be used to improve the quality of disability inclusion. Viewing disability from the human rights perspective, providing standardised access and understanding of reasonable accommodation and providing training to all stakeholders in the system may result in humanising the culture and climate towards disability inclusion. A more diverse health professional workforce can improve health outcomes, mitigate health disparities and lead to disability-inclusive, accessible and equitable health profession education, training and practice.

 


 

 

Med Educ. 2023 Jan;57(1):102-107. doi: 10.1111/medu.14878. Epub 2022 Jul 24.

 

 

Disability inclusion in medical education: Towards a quality improvement approach

Affiliations collapse

1University College of Medical Sciences, University of Delhi, Delhi, India.

2Departments of Learning Health Sciences and Family Medicine, University of Michigan Medical School, Ann Arbor, Michigan, USA.

PMID: 35837829

DOI: 10.1111/medu.14878

Abstract

The issue: The shift to a more diverse workforce that includes physicians with disabilities has gained considerable international traction. Indeed, disability inclusion is experiencing a renaissance in medical education. However, the philosophy of disability inclusion must be adjusted from one where disabled trainees are viewed as problematic and having to 'overcome' disability to one where institutions anticipate and welcome disabled trainees as a normative part of a diverse community.

Observations: Most trainees with disabilities will enter an unregulated, uninformed system leaving them vulnerable to under-accommodation, systems barriers and lack of informed support. Further, the perception of the super human good doctor creates disincentives for candidates to disclose their disability, creating structural barriers that the system needs to address. A less often discussed contributor to health care inequities is the inadequate training of health professional educators on disability rights and disability competencies. Indeed, the lack of education, coupled with minimal exposure to disability outside of the hierarchical patient-provider relationship, perpetuates to stereotypes and biases that impact clinical care.

Approach: Disability inclusion has not been reviewed through the lens of quality improvement. To close this gap, we examine the state of the science through the lens of disability inclusion and offer considerations for a quality improvement approach in medical education that addresses the global revised trilogy of World Federation for Medical Education standards of quality improvement at all three levels of education, training and practice.

Conclusion: We propose a vision of systems-based disability-inclusive, accessible and equitable medical education using 9 of Deming's 14 points as applicable to medical education.

의학교육에서 장애 역량 훈련(Med Educ Online. 2023)
Disability competency training in medical education (Med Educ Online. 2023)
Danbi Leea,b, Samantha W. Pollackb, Tracy Mroza,b, Bianca K. Frognerb and Susan M. Skillmanb

 

소개
Introduction

장애인은 건강 상태와 의료 서비스에서 지속적인 격차를 경험합니다. [1,2,3] 적절한 의료 서비스를 가로막는 다단계 장벽의 핵심은 장애인의 다양한 경험과 필요에 대한 의료 서비스 제공자의 인식과 교육 부족, 부정적인 태도와 가정입니다[4,5]. 장애인은 접근하기 어려운 공간 및 장비, 의사소통 부족, 치료 결정 시 기존 장애 또는 기능적 상태를 고려하지 않는 등 의료 제공자의 장애 친화적 진료 부족으로 인해 양질의 의료 서비스를 이용하는 데 어려움을 겪고 있습니다[6-8]. 의사를 포함한 25,000명 이상의 의료 서비스 제공자를 대상으로 한 최근 연구에 따르면 60% 이상이 장애인에 대한 자신의 암묵적인 편견을 인식하지 못하고 있는 것으로 나타났습니다[9]. 그러나 문헌에 따르면 의료 서비스 제공자들은 장애에 대한 부정적인 태도와 특정 임상 및 접근 요구 사항을 포함한 장애인의 광범위한 의료 요구 사항을 다루는 제한된 교육만 받고 있습니다[10-13]. 
People with disabilities experience persistent disparities in health status and health care. [1, 2,3] Central to the multilevel barriers to adequate health care are the lack of awareness and training among health care providers about the varied experiences and needs of individuals with disabilities, as well as negative attitudes and assumptions [4,5]. People with disabilities continue to experience challenges in accessing quality health care because of lack of disability-competent care by providers such as inaccessible space and equipment, poor communication, and not considering existing disability or functional status in making treatment decisions [6–8]. A recent study of over 25,000 health care providers, including physicians, found that more than 60% were unaware of their own implicit bias against people with disabilities [9]. Yet, literature shows that providers receive only limited training addressing negative attitudes towards disability and the wide range of health care needs of people with disabilities including specific clinical and access needs [10–13].

2017년에 발표된 미국 의과대학 장애 커리큘럼을 검토한 결과, 장애 역량을 통합하는 수준은 여전히 이질적이며 주로 노출에 기반한 것으로 나타났으며 종단적 모델을 제공하는 학교는 소수에 불과했습니다[12]. 여기에는 강의 및 단일 코스와 같은 교훈적인 방법부터 사무직 로테이션 중 표준화된 장애 환자 포함, 6주 통합 사무직 경험, 위의 모든 방식과 4년간의 장애 중심 선택적 사무직에 대한 옵션이 포함된 4년 통합 장애 커리큘럼에 이르기까지 다양합니다. 의학교육에서 장애에 대해 무엇을 가르쳐야 하는지에 대한 합의가 부족하기 때문에 장애 커리큘럼 제공의 다양성은 내용에도 영향을 미칩니다[14]. 
A review of published U.S. medical school disability curricula in 2017 found that the level of integrating disability competency remained to be heterogeneous and primarily exposure-based with only a few schools providing a longitudinal model [12]. These range from didactic methods like lectures and single courses, to the inclusion of standardized patients with disabilities during clerkship rotations; 6-week integrated clerkship experiences; and 4-year integrated disability curriculum that included all of the above modalities and the option of attending a 4th-year disability-focused elective clerkship. The variability in delivering disability curricula also extends to content as there has been lack of agreement on what to teach about disability in medical education [14].

이러한 격차를 인식하고 2019년에 보건의료 교육 장애 연합은 장애 관련 콘텐츠와 경험을 보건의료 교육 및 훈련 프로그램에 통합하는 것을 촉진하기 위해 보건의료 교육 장애에 관한 핵심 역량(핵심 역량)을 발표했습니다[15]. 다양한 보건의료 분야의 보건의료 교육자, 교수진 및 전문가로 구성된 연합 회원들은 역량 초안을 작성하고 140명의 장애 전문가 및 보건교육자로부터 두 차례에 걸친 반복적인 프로세스를 통해 피드백을 받았습니다. 2년에 걸친 이 과정을 통해 장애의 사회적, 환경적, 신체적 측면에 대한 보건의료 교육 표준을 제공하는 6개의 핵심 역량과 49개의 하위 역량(표 1)이 도출되었습니다[14,15]. 이러한 핵심 역량이 의학교육에서 다루어지고 있는지 여부와 그 방법을 조사한 연구는 아직 없습니다. 이 연구는 미국의 의학교육 프로그램에서 핵심역량이 어느 정도 다루어지고 있는지, 그리고 교과과정 통합을 확대하는 데 있어 촉진요인과 장벽이 무엇인지 살펴보는 것을 목표로 했습니다.  
Recognizing this gap, in 2019, the Alliance for Disability for Health Care Education published Core Competencies on Disability for Health Care Education (Core Competencies) to promote the integration of disability-related content and experiences into health care education and training programs [15]. Members of the alliance composed of health care educators, faculty and professionals across different health care disciplines drafted the competencies and received feedback through a two-wave iterative process from 140 disability experts and health educators. This two-year process resulted in six core competencies and 49 sub-competencies (Table 1) that provide health care education standards on social, environmental, and physical aspects of disability [14,15]. There has yet been a study that examined whether and how these Core Competencies are addressed in medical education. The study aimed to explore the extent the Core Competencies are addressed in medical education programs in the U.S. and the facilitators and barriers to expanding curricular integration.

ADHCE Core Competencies on Disability for Health Care Education post-consensus-Core-Competencies-on-Disability_8.5.19.pdf
0.26MB

https://www.adhce.org/Core-Competencies-on-Disability-for-Health-Care-Education

연구 방법
Methods

이 연구는 순차적 혼합 방법 설계를 사용하여 온라인 설문조사에 이어 정성적 인터뷰를 진행했습니다. 문제에 대한 보다 심층적이고 완전한 이해를 제공하기 위해 양적 및 질적 데이터를 모두 수집했습니다[16]. 이 연구는 워싱턴대학교 기관생명윤리심의위원회(IRB# MOD00007591)에서 면제를 결정했습니다. 
The study used a sequential mixed-methods design, where an online survey was followed by qualitative interviews. Both quantitative and qualitative data were collected to provide a more in-depth and complete understanding of the problem [16]. This study was determined to be exempt by the University of Washington Institutional Review Board (IRB# MOD00007591).

설문지
Questionnaire

23개 항목으로 구성된 설문지는 장애 연구(DL), 의료 서비스(TM, BF, SS, SP), 의료 인력(DL, TM, BF, SS, SP) 연구 분야의 전문가로 구성된 다학제 프로젝트 팀에 의해 개발되었습니다. 객관식 질문은 현재 커리큘럼에서 어떤 핵심 역량이 다루어지고 있는지, 학교에서 장애 콘텐츠를 커리큘럼에 통합하는 데 있어 어떤 촉진자와 장벽이 있는지, 장애인이 어떻게 참여하고 있는지 파악하기 위해 사용되었습니다. 핵심 역량에 매핑된 학습 활동의 세부 사항(예: 이름, 내용/주제, 형식, 필수/선택 사항, 활동 시기)을 수집하기 위해 개방형 질문이 사용되었습니다. 예비 설문조사 문항은 장애 교육에 전문성을 갖춘 의과대학 교수진과 장애인의 공평한 의료 서비스를 옹호하는 장애인 단체의 장애인 전문가 등 6명의 전문가로 구성된 자문 패널에 의해 파일럿 테스트 및 검토를 거쳤습니다. 이후 이들의 피드백을 바탕으로 설문지를 수정했습니다. 
A 23-item questionnaire was developed by a multidisciplinary project team of experts in the research areas of disability studies (DL), health services (TM, BF, SS, SP), and health workforce (DL, TM, BF, SS, SP). Multiple-choice questions were used to identify which Core Competencies are currently addressed in the curriculum; what facilitators and barriers schools experience in to incorporating disability content into the curriculum; and how people with disabilities are involved. Open-ended questions were used to gather details of learning activities mapped to the Core Competencies (i.e., name, content/topic, format, required/optional, and timing of the activity). Preliminary survey questions were pilot-tested and reviewed by an advisory panel of six experts including faculty from medical schools with expertise in disability education and experts with disabilities from disability organizations advocating for equitable health care of people with disabilities. The survey was then revised based on their feedback.

설문조사는 2019학년도 현재 예비 또는 잠정 인증 상태를 유지하고 있는 프로그램을 포함하여 미국의 모든 동종요법 및 정골요법 의과대학(n = 196개)에 배포되었습니다. 2020년 2월부터 6월 사이에 커리큘럼 학장, 학부 교육 학장, 프로그램 디렉터에게 이메일 초대장과 6차례의 리마인더를 보냈습니다. 설문조사 응답의 데이터 수집에는 REDCap(Research Electronic Data Capture)이 사용되었습니다[17]. 
The survey was distributed to all allopathic and osteopathic medical schools in the U.S. (n = 196), including programs with preliminary or provisional accreditation status as of the 2019 academic year. Email invitations and six reminders were sent to curriculum deans, deans of undergraduate education, and program directors between February and June 2020. Research Electronic Data Capture (REDCap) was used for data collection of survey responses [17].

질적 인터뷰
Qualitative interviews

질적 인터뷰 대상자는 설문조사 응답자 중에서 다양한 지역의 의과대학을 대표할 수 있도록 의도적으로 선정되었습니다. 제1저자와 제2저자는 반구조화된 인터뷰 가이드를 사용하여 Zoom을 통해 30~60분간 개별 인터뷰를 진행했습니다. 설문조사 결과를 바탕으로 설문조사에 기술된 학습 활동과 장벽 및 지원 사항을 더 잘 이해할 수 있도록 설계된 인터뷰 가이드(표 2)를 작성했습니다. 인터뷰 가이드는 동일한 다학제 프로젝트 팀에서 개발했습니다. 인터뷰에 앞서 참가자들은 연구 참여에 대한 사전 동의를 제공했습니다. 동의한 참가자에게는 장애 콘텐츠가 포함된 학습 활동과 그것이 학생에게 미치는 영향, 학습 활동을 시작하고 유지하는 데 도움이 되는 요소, 더 많은 통합을 가로막는 장벽에 대해 설명해 달라는 요청을 받았습니다. 인터뷰는 허가를 받아 녹음되었습니다. 
Qualitative interviewees were purposefully selected from survey respondents to represent medical schools from different regions. Thirty to sixty-minute individual interviews were conducted by the first and second authors via Zoom using a semi-structured interview guide. Informed by the survey findings, the interview guide that was designed to better understand the learning activities and barriers and supports described in the survey (Table 2). The interview guide was developed by the same multidisciplinary project team. Prior to the interview, participants provided informed consent to their research participation. Consented participants were asked to describe learning activities with disability content and their impact on students, facilitators to initiating and maintaining learning activities, and barriers to integrating more. Interviews were recorded with permission.

데이터 분석
Data analysis

O'Cathain 외[18]가 제안한 데이터 삼각측량 프로토콜에 따라 데이터를 먼저 개별적으로 분석한 다음 해석 단계에서 통합했습니다. 먼저, 의과대학에서 어떤 핵심역량을 얼마나 많이 다루고 있는지, 장애인이 어떻게 참여하고 있는지, 어떤 지원과 장벽이 존재하는지 파악하기 위해 서술적 통계를 사용하여 설문조사 데이터를 분석했습니다. 개방형 질문에 기술된 학습 활동의 세부 사항(예: 학습 활동의 유형, 초점, 길이, 빈도)을 코딩하고 정성적, 정량적으로 요약했습니다. 그런 다음 개별 인터뷰의 메모와 녹취록을 주제 분석을 사용하여 분석했습니다[19]. 주제는 연구팀과 논의했습니다. 코딩-재코딩, 데이터 삼각측량, 데이터의 두꺼운 기술, 반성성(장애인으로서의 입장에 대한 끊임없는 성찰과 토론)을 통해 신뢰성, 전달성, 확인성을 확보했습니다. 마지막으로 해석의 깊이를 더하기 위해 양적 데이터와 질적 데이터의 결과를 비교하고 수렴성, 상호보완성, 불일치성을 검토했습니다[18]. 

Following the data triangulation protocol suggested by O’Cathain et al. [18], data were first analyzed separately then integrated at the interpretation stage. First, survey data were analyzed using descriptive statistics to identify which and how many Core Competencies were addressed in medical schools, how people with disabilities are involved, and what supports and barriers exist. Details of the learning activities described in the open-ended questions were coded (e.g., types, focus, length, and frequency of the learning activities) and summarized qualitatively and quantitatively. Then, notes and transcripts from the individual interviews were analyzed using thematic analysis [19]. Themes were discussed with the research team. Credibility, transferability, and confirmability were ensured through coding-recoding, data triangulation, thick description of data, and reflexivity (i.e., constant reflection and discussion regarding positionality as persons without disabilities). Finally, to add depth to the interpretation, results from quantitative and qualitative data were compared and examined for convergence, complementarity, and discrepancy [18].

 

결과
Results

참가자
Participants

총 14개 프로그램에서 설문조사를 완료했습니다. 대부분의 응답자는 대규모 코호트를 보유한 동종요법 공립 의과대학이었습니다(표 3). 5명의 의과대학 대표가 질적 인터뷰에 참여했습니다. 여기에는 미국의 4개 인구조사 지역을 대표하는 사립 의과대학 1개와 공립 의과대학 4개가 포함되었습니다.
A total of 14 programs completed the survey. Most respondents were allopathic public medical schools with larger cohorts (Table 3). Five medical school representatives participated in the qualitative interview. This included one private and four public medical schools representing four U.S. census regions.

조사 결과
Findings

설문조사와 질적 인터뷰 결과를 통합하여 두 가지 주제 영역으로 분류했습니다:

  • 1) 핵심 역량을 다루는 장애 역량 교육 현황,
  • 2) 장애 역량 교육을 통합하는 데 있어 장벽과 촉진 요인.

특히 질적 데이터를 통해 다음에 대해 보다 심층적으로 이해할 수 있었습니다.

  • 1) 커리큘럼 구조와 시간이 핵심역량 통합에 미치는 영향,
  • 2) 자원과 챔피언의 중요한 역할

Integrated, the results from the survey and qualitative interviews were categorized into two topic areas: 1) status of disability competency training addressing the Core Competencies and 2) barriers and facilitators to integrating disability competency training. Qualitative data particularly provided more in-depth understanding on 1) the influence of curricular structure and time on integrating Core Competencies and 2) the crucial role of resources and champions.

핵심 역량을 다루는 장애 역량 교육 현황
Status of disability competency training addressing the Core Competencies

14개 학교 중 11개 학교가 교육과정에서 5~6개의 핵심 역량을 다루고 있다고 응답했습니다(표 4). 대부분의 학교(n=13)는 장애에 대한 맥락 및 개념적 프레임워크와 팀 및 시스템 기반 실무에 대해 다루고 있다고 답했습니다. 법적 의무와 책임에 관한 역량은 가장 적게 다루고 있었습니다(n = 6). 
Eleven out of 14 schools reported that their curriculum addresses five to six Core Competencies in their curriculum (Table 4). Most schools (n = 13) said that they address contextual and conceptual frameworks on disability and teams and systems-based practice. Competencies around legal obligations and responsibilities were least addressed (n = 6).

 

장애 역량 교육의 정도는 다양했습니다. 의과대학의 약 절반은 커리큘럼에 한두 가지 학습 활동이 있다고 답했고, 나머지 절반은 세 가지 이상의 학습 활동이 있다고 답했습니다. 대부분의 학습 활동은 일회성 환자 패널 또는 환자 시뮬레이션과 같이 45분~2시간의 단일 세션으로 제공되었습니다. 일부는 2년 이상의 통합 사례, 1년 이상의 주간 시뮬레이션, 4주간의 임상 로테이션 등 여러 과정과 장기간에 걸쳐 통합된 더 긴 학습 활동도 있었습니다. 고급 배치 또는 임상 로테이션과 같은 연장된 경험은 선택 사항이었지만 대부분의 학습 활동은 필수였습니다. 4학년의 임상 로테이션과 3학년의 몇 가지 환자 대면을 제외하고 보고된 모든 학습 활동은 의학교육의 첫 2년 동안 완료되었습니다. 
The extent of disability competency training varied. About half of the medical schools reported one or two learning activities within their curriculum; the other half described three or more learning activities. Most learning activities described were offered in single 45-minute to 2-hour sessions such as one-time patient panels or patient simulations. Some were longer and more integrated across different courses and extended time periods, including integrated cases over 2 years, weekly simulations over a year, and 4-week clinical rotations. The majority of learning activities were required although most of the extended experiences such as advanced placement or clinical rotations were optional. Except for the clinical rotations in year 4 and a few patient encounters in year 3, all learning activities reported were completed during the first two years of medical education.

학습 활동에는 강의, 사례 연구, 패널 토론, 소그룹 토론이 포함되었습니다. 많은 학교에서

  • 장애에 대한 인식을 높이기 위해 다양한 장애 모델, 능력주의, 암묵적 편견과 같은 주제를 논의하고,
  • 장애 에티켓과 임상 평가 또는 다학제 진료에서 장애인과 상호작용하는 방법을 다루었으며,
  • 환자 패널을 통해 장애인의 생생한 경험에 대해 배울 수 있는 기회를 제공했습니다.

일부 학교에서는 재활의 맥락에서 의학적 상태로서의 장애에 대해 배우거나(예: 재활 현장 방문, PM&R 임상 로테이션) 의학적 맥락에서 장애 관련 진단(예: 뇌성마비, 치매)을 이해하는 데 중점을 둔 활동을 보고했습니다. 장애인 또는 표준화된 환자와의 일회성 만남 및 시뮬레이션이 더 일반적이었으며, 장애 커뮤니티와의 현장 프로젝트 또는 장애인과의 장기 임상 경험과 같은 몰입형 체험 학습 기회를 제공하는 학교는 더 적었습니다. 핵심 역량과 연계된 학습 활동의 구체적인 예는 표 4에 나와 있습니다.  
The learning activities included lectures, case studies, panel discussions, and small group discussions. Many

  • discussed topics such as different disability models, ableism, and implicit bias to raise awareness of disability;
  • addressed disability etiquette and how to interact with people with disabilities in clinical assessments or in interdisciplinary care; and
  • provided opportunities to learn about the lived experiences of people with disabilities through patient panels.

Some schools reported activities focused on learning about disability as a medical condition within the context of rehabilitation (e.g., visiting rehabilitation sites, clinical rotation in PM&R) or understanding disability-related diagnoses (e.g., cerebral palsy, dementia) in a medical context. One-time encounters and simulations with people with disabilities or standardized patients were more common, and less schools offered immersive experiential learning opportunities such as a field project with disability communities or extended clinical experiences with people with disabilities. Specific examples of learning activities linked to the Core Competencies are listed in Table 4.

의과대학 커리큘럼에서 신체적 장애를 가장 많이 다루고 있었으며(n = 13), 감각 장애에 대한 논의는 가장 적었습니다(n = 9). 또한 설문조사 결과에 따르면 장애인은 패널(n = 9) 또는 환자(n = 7)로서 학습 활동에 참여하는 경우가 많았으며, 교육(n = 4) 또는 커리큘럼 활동 계획(n = 4)에 참여하는 역할은 적었습니다. 3개 학교는 장애인이 전혀 참여하지 않았다고 보고했습니다. (표 5 참조)
Most frequently, the medical school curricula addressed physical disability (n = 13) while sensory disabilities were least discussed (n = 9). The survey result also shows that people with disabilities were often engaged in learning activities as panelists (n = 9) or patients (n = 7) with less of a role in teaching (n = 4) or planning curricular activities (n = 4). Three schools reported no involvement of individuals with disabilities. (see Table 5)

설문조사 결과와 유사하게, 주요 정보 제공자들과의 질적 인터뷰에서는 패널과 함께하는 짧은 독립 세션, 시뮬레이션 또는 특정 주제를 다루는 토론과 관련된 학습 활동이 많이 논의되었습니다. 인터뷰 참여자들은 패널과 환자와의 만남이 종종 학생들이 좋아하고 긍정적인 영향을 미친다고 언급했습니다.
Similar to the survey results, in the qualitative interviews with key informants, many learning activities discussed involved short independent sessions with panels, simulations, or discussions that address particular topics. Interviewees noted that panels and patient encounters are often liked by students and have a positive impact.

... 학생들은 이러한 세션이 끝난 후 훨씬 더 자신감이 생겼다고 말했습니다... [장애] 환자와 함께 방에 들어가서 어떻게 행동해야 하는지 알고, 때로는 조금 어색할 수 있지만 괜찮습니다... 에티켓과 H&P(병력 및 신체 검사) 방법에 대해 염두에 두고 환자에게 물어보십시오. (CS1)
… students have voiced that they feel a lot more confident after these sessions … going into the room with a patient with [disabilities], knowing how to act, and kind of owning that sometimes, yeah, you’re going to feel a little awkward, that’s ok … be mindful of etiquette and how you go about an H&P [history and physical examination], you know, ask the patient. (CS1)

그러나 이러한 교육은 일반적으로 커리큘럼 전체에 걸쳐 한 번만 제공되기 때문에 많은 인터뷰 대상자가 충분하지 않다고 설명했습니다. 일부 인터뷰 참여자들은 4년 동안 여러 곳에서 장애에 대해 이야기하는 것이 중요하다고 강조했습니다. '커리큘럼에 장애를 더 많이 포함시키는 더 좋은 방법은 장애인 사례를 곳곳에 배치하는 것이라고 생각합니다...' 몇몇은 다양성 및 건강 격차 논의에 장애 내용을 엮는 방법에 대해 언급했습니다. 한 학교는 3학년과 4학년 가정의학과 및 내과 실습에 다양성 및 의료 격차 스레드의 일부로 장애 관련 학습 이벤트 두 개를 포함했습니다. 또 다른 인터뷰 참여자는 다음과 같이 말했습니다, 
However, because they were typically offered only once throughout the curriculum, many interviewees described those as not enough. Some interviewees stressed the importance of talking about disability in multiple places throughout the four years: ‘I think a better way to get more disability into the curriculum would be to put more examples of people with disabilities…peppered throughout…’ A few mentioned how they weave disability content into the diversity and health disparities discussion. One school included two disability-related learning events as part of their diversity and health care disparities thread in their 3rd and 4th year family medicine and internal medicine clerkships. Another interviewee shared,

우리는 ... 자폐증 패널과 모의 환자 만남을 ... 커리큘럼의 일부에서 집단 내 환자에 대해 이야기하고 있습니다 ... 저는 장애가 [건강의 사회적 결정 요인을 이해하는] 이 맥락에서 전적으로 적절하다는 사례를 만들 수 있었습니다... (CS2). 
We have … the autism panel and the simulated patient encounter … in a part of the curriculum where they’re talking about patients within populations … I was able to make the case that disability is totally appropriate in this context [of understanding social determinants of health] … (CS2)

처음 2년 동안만 학습 활동을 한 참가자들은 이후 임상에서 정보를 다시 연결시키는 반복적인 경험이 부족하다는 데 동의했습니다: '[T]3년차와 4년차에는 사람들이 반드시 모여서 첫 2년 동안 배운 내용을 되돌아볼 수 있는 기회가 없기 때문에... 완전히 적중하거나 놓치는 경우가 있습니다'(CS5). 또한 프로그램 구조가 장벽이 될 수 있다는 점을 인식했습니다. '[첫 18개월 이후에는] 학생들이 수백 개의 장소에 있기 때문에 교육 단계에서 지식을 쌓는 데 환자 경험을 활용할 수 없다고 생각합니다'(CS4). 하지만 이 참가자는 임상 실습 중에 장애 콘텐츠를 통합하기 위해 필수 온라인 강의를 사용할 수 있는 가능성을 제시했습니다. 
Participants who only had learning activities in their first two years agreed that an iterative experience tying back the information in later clinical years is missing: ‘[T]here’s nothing in the third and fourth year where people necessarily come together to think back on what they learned in the first two years … So it’s completely hit or miss what they get’ (CS5). They also recognized that program structure could be a barrier: ‘[after the first 18 months] I don’t think there is a capitalization on the patient experience to build their knowledge in their phases of training because [students] are in hundreds of locations’ (CS4). This participant yet expressed the potential of using required online lectures to integrate disability content during clerkships.

장애 역량 교육 통합의 장벽 및 촉진 요인
Barriers and facilitators to integrating disability competency training

표 6에서 볼 수 있듯이, 장애 역량 교육을 커리큘럼에 통합하는 데 가장 자주 확인된 촉진제는 교수진의 지지자(n = 11)였으며, 학술적 리더십의 지원(n = 8), 지역사회 기반 장애 단체와의 파트너십(n = 7)이 그 뒤를 이었습니다. 장애 학생, 교수진 또는 교직원이 프로그램에 참여하는 것도 장애 역량 교육의 통합에 긍정적인 영향을 미치는 것으로 보입니다. 가장 큰 장벽은 커리큘럼에 새로운 콘텐츠를 추가할 시간이 부족하다는 점(n = 10)이었으며, 리소스 부족(n = 5)이 그 뒤를 이었습니다. 일부 응답자는 촉진 요인(예: 교수진의 지지자, 장애인 단체와의 관계)의 부족도 장벽으로 보고했습니다. 
As seen in Table 6, the most frequently identified facilitator to incorporating disability competency training into curriculum was having a faculty champion (n = 11) followed by support of academic leadership (n = 8) and partnership with community-based disabilities organizations (n = 7). Having students, faculty, or staff with disabilities in the program also seems to positive affect the integration of disability competency training. An overwhelming barrier was lack oftime in the curriculum to add new content (n = 10), followed by inadequate resources (n = 5). Lack of factors identified as facilitators (e.g., faculty champion, relationship with disability organizations) was also reported as barriers by some respondents.

 
 

설문조사 결과와 일관되게, 모든 주요 정보 제공자들은 제한된 커리큘럼 시간을 확보하기 위한 경쟁이 더 많은 장애 역량 콘텐츠를 통합하는 데 가장 큰 어려움이라는 데 동의했습니다. 한 인터뷰 참여자는 '커리큘럼에서 발판을 마련하는 것이 정말 어렵습니다. 정말 어렵죠. 두 시간을 위해 싸워야 합니다. (CS5). 인터뷰에서는 장애 역량 교육을 커리큘럼에 통합하는 데 있어 교수진 또는 학생 챔피언이 있다는 점도 분명하게 드러났습니다. 챔피언은 대개 이 주제에 관심을 갖고 강의 자료를 개발하고 실행한 교수진이었습니다. 한 프로그램에서는 장애 형제가 있는 학생 챔피언이 학생들이 장애인 환자, 간병인 및 장애인과 함께 일하는 다른 의료 종사자들과 교류할 수 있는 선택 과목을 개설했습니다. 한 인터뷰 참여자는 휠체어를 사용하는 의사인 코스 디렉터가 의사로서 자신의 장애 경험에 대해 이야기해주기 때문에 '훌륭한 자산'이 되었다고 설명했습니다(CS1).
Consistent with the survey result, all key informants agreed that competition for limited curriculum time is the biggest challenge to integrating more disability competency content. One interviewee said, ‘finding a foothold in the curriculum is huge. It’s really hard. You fight for your two hours.’ (CS5). In the interviews, it was also clear that having a faculty or student champion has been a force in integrating disability competency training into the curriculum. The champions were usually faculty members who were invested in this topic and who developed and carried out course materials. In one program, a student champion who has a sibling with a disability initiated an elective course where students have chances to interact with patients with disabilities, their caregivers, and other health care workers that work with people with disabilities. One interviewee described that having a course director who is a physician using a wheelchair has been a ‘wonderful asset’ because he would talk about his own disability experience as a physician (CS1).

질적 인터뷰를 통해 이러한 챔피언에 대한 지나친 의존이 얼마나 취약한지를 알 수 있었습니다. 휠체어 사용자인 의사의 은퇴가 다가오면 학생들이 그와 교류하고 배울 기회를 잃게 될 것이기 때문에 인터뷰 대상자는 이를 우려했습니다(CS1). 다른 사람들도 이러한 의견을 제시했습니다. 한 사람은 '[교수 챔피언이] 떠났을 때 재활의학과에 있는 누구와도 연결이 되지 않았습니다. 연락이 끊겼어요. (CS4). 한 인터뷰 대상자는 챔피언이 촉진자로 여겨지는 반면, 장애 역량 교육의 약점이라고 지적했습니다: 장애인 역량 교육 접근 방식이 항상 챔피언에 의존해 왔다는 점이 이 노력의 큰 약점이라고 생각합니다. 저는 그들[챔피언]이 할 수 있는 일에 대해 존경심을 가지고 있습니다... 하지만 지속 가능하지도 않고 확장 가능하지도 않습니다... 챔피언이 은퇴하자마자 콘텐츠와 커리큘럼에 판매 기한이 정해져 있는 것과 같습니다. 커리큘럼에 대한 수요의 힘을 견딜 수 없습니다. (CS2) 
The qualitative interviews also revealed the fragility of too much reliance on these champions. The upcoming retirement of the physician who is a wheelchair user was a concern of the interviewee because students would lose the opportunity to interact with and learn from him (CS1). This sentiment was also presented by others. One person said, ‘When [the faculty champion] left, I didn’t have a connection with anyone in rehabilitation. I lost those contacts.’ (CS4). While having a champion was seen as a facilitator, one interviewee pointed out how that is a weakness of disability competency training: I think that’s a huge weakness in this effort, that the disability training approach has always relied on champions. I have so much respect for what they [champions] are able to do … But, it’s not sustainable, and it’s not scalable … [A]s soon as the champion retires, there’s like a sell-by date on the content and the curriculum. It just cannot withstand the forces of the demands on the curriculum. (CS2)

인터뷰 참여자들은 또한 커리큘럼에 장애 콘텐츠를 통합하는 데 있어 기관의 지원과 리소스가 중요한 역할을 한다고 지적했습니다. 그들은 어떤 특정 리소스를 이용할 수 있고 어떻게 활용했는지에 대한 자세한 정보를 제공했습니다. 이러한 자원에는 다음 등이 포함되었습니다.

  • 콘텐츠 개발을 위한 보호된 시간,
  • 패널 또는 환자와의 만남 세션을 조정할 전담 직원,
  • 패널 또는 표준화된 환자와 가족에게 지급할 자금,
  • 환자 자원봉사자 모집을 위한 장애인 단체와의 연결 

Interviewees also pointed to the critical role of institutional supports and resources in integrating disability content in the curriculum. They provided more information on what specific resources they had access to and how they utilized those. These resources included

  • protected time to develop content,
  • designated staff to coordinate panel or patient encounter sessions,
  • funds to pay panelists or standardized patients and families, and
  • connection to disability organizations to recruit patient volunteers.

환자와의 만남과 패널을 실행하는 데 필요한 리소스가 자주 지적되었습니다. 한 프로그램에서는 참가자의 접근성을 보장하기 위해 패널/시뮬레이션 세션을 지원하는 데 많은 직원이 참여했습니다(예: 자폐증 환자에게 적합한 환경, 시각 장애가 있는 환자 안내)(CS3). 일부의 경우, 리소스 부족으로 인해 모범 사례라고 생각했던 활동을 하지 못했습니다. '[문제 기반 학습]을 위해 퍼실리테이터를 위해 [장애인] 사람들을 모았는데...[제한된 리소스 때문에] 그 이후로 하지 못했습니다.'(CS5). (CS5). 
Resource needs for implementing patient encounters and panels have been frequently noted. One program had many of their staff involved in supporting the panel/simulation session to ensure accessibility of participants (e.g., appropriate environment for patients with autism, guiding patients with visual impairment) (CS3). For some, the lack of resources prevented activities they believed to be best practice: ‘I brought people [with disabilities] together for the facilitators for [problem-based learning]…[H]aven’t done it since because of limited resources.’ (CS5).

기대하는 효과에 적합한 패널리스트를 찾는 것은 때때로 어려운 일이었습니다. 일부 패널은 전달하고자 하는 다른 메시지(예: 총기 규제)를 가지고 있었기 때문에 한 참가자(CS4)는 '그들이 무슨 말을 할 지 모르겠다'고 말했습니다. 팬데믹으로 인해 패널 세션을 계획하는 데 시간을 내기가 어려워지자, 이 프로그램은 학생들이 장애인과 장애인 권리 운동의 생생한 경험을 접할 수 있는 방법으로 '크립 캠프' 다큐멘터리를 시청하고 성찰하는 것으로 대체했습니다. 인터뷰 대상자는 '잘 만들어진 영화가 메시지를 전달하는 데 더 효과적일 것 같다'고 말했습니다. 
Finding the right panelists for the hoped impact was sometimes a challenge. ‘I don’t know what they are going to say’ said one participant (CS4) as some panelists had other messages they wanted to communicate (e.g., gun control). When finding time for planning a panel session became a challenge due to the pandemic, this program replaced it with watching and reflecting on the ‘Crip Camp’ documentary, as a way to expose students to the lived experience of people with disabilities and the disability rights movement. The interviewee shared, ‘maybe a very well-done film will be more effective in bringing across the messages.’

일부 인터뷰 대상자는 장애인 단체 또는 다른 분야의 콘텐츠 전문가(예: 언어 병리학 및 물리 치료 교수진)와의 파트너십이 중요하다고 언급했는데, 이는 자신들이 이 주제에 대한 전문성을 갖추지 못했기 때문입니다. 그래서 그들[사무국장]은 그것[장애 콘텐츠]이 중요하다고 느꼈고... 아마도 [장애 단체]가 전문가이기 때문에 그들의 편에 서 있다는 것을 알고 훨씬 더 자신감을 느꼈을 것입니다. (CS1) 
Some interviewees mentioned the importance of having partnership with a disability organization or content experts from different disciplines (e.g., faculty from speech language pathology and physical therapy), as they did not have expertise in this topic. So they [clerkship directors] felt like it [disability content] was important and … probably felt a lot more confident knowing that [the disability organization] was in their corner, because they’re the experts. (CS1)

새로운 콘텐츠를 개발하기 위한 시간과 자원을 확보하기 위한 또 다른 방법으로 한 인터뷰 참여자는 외부 자금을 적극적으로 모색했습니다. 이 사람은 외부 지원금이 '첫 발을 내딛는 데' 도움이 된다고 말했습니다. 이 인터뷰 참여자는 콘텐츠가 개발되면 일반적으로 학생들에게 인기가 있고 보조금이 끝난 후에도 계속되는 경향이 있지만, 외부 자금이 없었다면 애초에 이러한 활동은 일어나지 않았을 것이라고 말했습니다: '큰 금액은 아니더라도 보조금을 제공하는 것은 의과대학의 협조를 구하는 측면과 실제로 콘텐츠를 개발하고 실행하는 측면에서 밤낮으로 힘든 일입니다.' (CS2) 
As another way to secure time and resources to develop new content, one interviewee actively sought external funding. This person reported that external grant helps ‘get a foot in the door.’ Once content is developed, those activities are typically popular with students and tend to continue after the grant ends, said this interviewee, but they would not happen in the first place without external funding: ‘Offering grants, even if it’s not a huge amount of money, is night and day in terms of getting cooperation from the medical school, and in terms of actually developing content and implementing.’ (CS2)

한 인터뷰 참여자는 핵심 역량을 의학교육 연락위원회(LCME) 인증 기준에 포함시키면 챔피언이나 자원이 없어도 장애 콘텐츠를 적극적으로 통합할 수 있다고 제안했습니다. 
One interviewee suggested that embedding the Core Competencies into the Liaison Committee on Medical Education (LCME) accreditation standards may lead to proactive integration of disability content even without a champion or resources.

토론
Discussion

이 연구에서는 의과대학이 커리큘럼에 핵심역량을 통합하는 정도와 통합을 방해하는 장벽 및 촉진 요인을 조사했습니다. 설문조사 응답에서 많은 학교가 대부분의 핵심 역량을 다루고 있다고 답했습니다. 장애 역량 교육의 정도는 의과대학 프로그램마다 차이가 있었으며, 대부분 장애에 대한 심도 있는 이해의 기회가 제한적인 것으로 나타났습니다. 대부분의 학교는 제한적이기는 하지만 장애인과 어느 정도 교류하고 있었습니다. 가장 빈번한 촉진자는 교수진이었으며, 더 많은 학습 활동을 통합하는 데 가장 큰 장벽은 커리큘럼 내 시간 부족이었습니다. 질적 인터뷰는 커리큘럼 구조와 시간의 영향, 교수진 챔피언과 자원의 중요성에 대한 더 많은 통찰력을 제공했습니다. 
The study explored the extent medical schools integrate the Core Competencies in their curriculum and the barriers and facilitators to the integration. In survey responses, many schools reported addressing most of the Core Competencies. The extent of disability competency training varied across medical programs with the majority showing limited opportunities for in-depth understanding of disability. Most schools had some, although limited, engagement with people with disabilities. Having faculty champions was the most frequent facilitator and lack of time in the curriculum was the most significant barrier to integrating more learning activities. Qualitative interviews provided more insight on the influence of the curricular structure and time and the importance of faculty champion and resources.

이전 문헌[11,12]과 일관되게, 의과대학에서 장애 역량 학습 활동의 형식과 기간은 다양했습니다. 이 연구에 참여한 대부분의 참가자들은 커리큘럼에서 여러 핵심 역량을 다루고 있다고 답했지만, 대부분의 역량이 한두 가지 학습 활동에서 다루어져 관련 주제에 대한 심도 있는 이해를 제공하지 못할 가능성이 높았습니다. 일회성 패널이나 환자와의 만남은 장애인과의 상호작용에 대한 학생의 자신감과 장애 경험에 대한 이해에 영향을 미칠 수 있지만, 이전 연구에 따르면 이러한 영향은 단기적이며[11,20] 장기적으로 장애인을 위한 임상 치료의 질 향상으로 이어지지는 않는 것으로 나타났습니다[16]. 특히 의료진의 암묵적인 편견이 장애인의 평등하고 질 높은 의료 서비스를 저해하는 요인이 될 수 있으므로 장애 문제에 대해 성찰하고 이를 접할 수 있는 기회를 자주 갖는 것이 중요합니다[9]. 또한 설문조사에 따르면 대부분의 활동이 첫 2년 동안 완료된 것으로 나타났습니다. 장애 관련 콘텐츠가 조기에 도입된 것은 긍정적이지만, 임상 진료와 관련된 역량은 학생들이 임상 상황에서 지식을 적용해야 하기 때문에 후반기에 주로 발생합니다. 
Consistent with previous literature [11,12], the format and length of disability competency learning activities in medical schools varied. Although most participants in this study reported that their curriculum addresses multiple Core Competencies, most competencies were addressed in one or two learning activities that is likely not providing an in-depth understanding of the related topics. While one-time panels or patient encounters can have an impact on student confidence in interacting with people with disabilities and their understanding of disability experiences, previous research found that this impact is short term [11,20] and does not translate into improved quality of clinical care for people with disabilities long term [16]. Especially, with health care provider’s implicit bias being a contributor to equal and quality healthcare for people with disabilities, frequent opportunities to reflect on and be exposed to disability issues are critical [9]. The survey also showed that most activities were completed in the first two years. It is positive that disability content was introduced early; however, competencies related to clinical care would require students to apply their knowledge in clinical context, which often occur in later years.

연구 참여자와 문헌에서 제안한 바와 같이, 오래 지속되는 혁신적 경험을 촉진하기 위해 의료 프로그램은 커리큘럼 전반에 걸쳐 종적, 반복적, 통합적 학습 활동을 고려해야 합니다[8,13,20]. 강의, 패널, 토론과 함께 몰입형 체험 학습 활동이 이상적입니다[8,21]. 그러나 제한된 자원과 시간 제약을 고려할 때, 기존 커리큘럼에 콘텐츠를 엮고 커리큘럼의 기존 사례를 수정하는 것이 장애 관련 내용을 전체적으로 통합하고 학생들의 장애 관련 임상 치료 역량을 촉진하는 데 더 현실적이고 효과적인 변화일 수 있습니다[20]. 사례 전반에 걸쳐 장애를 대표하고 다양성과 문화적 겸손의 맥락에서 장애에 대해 이야기하는 것을 일상화하면 미래의 의사들이 장애인과 함께 일할 때 명시적 및 암묵적 편견을 적극적으로 성찰하고 제거하는 데 도움이 될 수 있습니다[22]. 다양성 및 문화적 역량 논의에서 장애는 종종 누락됩니다[22]. 의학 프로그램이 장애 역량을 의학교육의 필수적인 부분으로 간주하고 커리큘럼 개선을 위한 투자를 하려면 LCME 표준에 장애를 문화적 역량의 일부로 명시적으로 포함하는 등 더 나은 제도화가 이루어져야 합니다[22]. 
As suggested by the study participants and literature, to promote long-lasting transformative experiences, medical programs should consider longitudinal, iterative, and integrated learning activities woven throughout the curriculum [8,13,20]. Along with lectures, panels, and discussions, immersive experiential learning activities would be ideal [8,21]. However, considering limited resources and time constraints, weaving content into existing curriculum and modifying existing cases in the curriculum may be more realistic and effective changes to make to integrate disability content throughout and to facilitate students’ competency in disability related clinical care [20]. Having disability representation throughout cases and normalizing talking about disability in context of diversity and cultural humility could help future physicians actively reflect on and work towards eliminating their explicit and implicit biases when working with people with disabilities [22]. Disability is often omitted from diversity and cultural competency discussions [22]. Better systemization, such as explicitly including disability as part the cultural competency in LCME standards, needs to be made for medical programs to view disability competency as an essential part of medical education and make the investment for improving curricular [22].

이 연구와 이전 출판물에서는 장애 역량 교육을 의학교육에 통합하기 위해 챔피언을 발굴해야 할 필요성을 강조했습니다[8,13]. 챔피언에 대한 의존도는 의과대학 전반에서 장애 교육의 다양성에 기여하는 요인으로 확인되었습니다[14]. 의과대학 전반에 걸쳐 장애학 전문 지식이나 실무 경험을 갖춘 교수진이 부족하다는 것은 강화된 LCME 표준이 적용되더라도 장애 역량을 가르치는 능력은 다양할 수 있기 때문에 문제가 됩니다. 비전문가도 쉽게 실행할 수 있는 수업 계획이나 리소스를 만들고 공유하는 데 더 많은 노력을 기울이면 이러한 다양성을 줄일 수 있습니다. 예를 들어, Borowsky 등은 능력주의, 장애의 사회적 모델, 장애의 역사와 문화, 건강 격차에 대해 논의하는 2시간짜리 참여형 수업 계획을 발표했습니다[23]. 필요한 모든 자료가 포함된 이 계획과 가이드는 지식이나 경험이 적은 사람들도 쉽게 실행할 수 있습니다. 그러나 가장 중요한 것은 장애 주제에 대한 대다수 교육자의 무능력과 옹호자의 부족은 장애인이 의료 교육과 진료에 더 쉽게 접근하고 포용할 수 있도록 인력을 다양화할 필요가 있음을 요구한다[22]. 
This study and previous publications have highlighted the need for identifying a champion to integrate disability competency training into medical education [8,13]. The dependency on champions has been identified as a contributor to variability in disability training across medical schools [14]. The lack of faculty with disability studies expertise or lived experiences across medical schools is problematic because even with a strengthened LCME standard, the ability to teach disability competency will vary. The variability may be reduced with more efforts in creating and sharing lesson plans or resources that can be easily implemented by non-experts. For example, Borowsky et al. published a participatory 2-hour lesson plan that discusses ableism, the social model of disability, disability history and culture, and health disparities [23]. With all materials needed, these plans and guides may be easy to implement for those with less knowledge or experience. Yet, most importantly, the incompetency of majority of educators in the topic of disability and lack of champions call for the critical need for diversifying the workforce by making medical education and practice more accessible and inclusive for individuals with disabilities [22].

이 연구에서 장애인은 주로 자문위원이나 강사가 아닌 패널리스트 또는 표준화 환자로 참여했습니다. 환자와의 만남은 표준화된 행위자보다 장애인과 그 가족을 통해 이루어지는 경우가 더 많았는데, 이는 장애인 커뮤니티에서 비판받는 접근 방식입니다[21]. 그러나 장애인 또는 장애인 커뮤니티의 참여에는 시간과 금전적, 인적 자원이 필요하기 때문에 종종 부담으로 인식되는 것으로 나타났습니다. 또한 지역 장애 커뮤니티와의 연결이 항상 챔피언 없이 구축되는 것은 아닙니다. 이 연구에 참여한 한 학교가 공유한 것처럼, 장애인의 직접적인 참여를 조정할 자원이 부족한 프로그램에서는 장애인 권리와 문화에 관한 다큐멘터리나 회고록을 활용하는 것이 좋은 대안이 될 수 있습니다[21]. 비전문가가 관계를 시작하는 데 관심이 있는 경우 장애 콘텐츠를 기획하고 가르치기 위해 지역 장애 단체를 찾고 참여하는 방법에 대한 자료도 출판되어 있습니다[24]. 
In this study, people with disabilities were primarily involved as panelists or standardized patients rather than advisory members or instructors. Patient encounters were more often completed with individuals with disabilities and their families than with standardized actors, an approach criticized by disability communities [21]. However, we found that engaging people with disabilities or the disability community requires time and monetary and human resources and thus is often perceived as burden. In addition, connections with local disability communities are not always established without a champion. Like one school in this study shared, using documentaries or memoirs about disability rights and culture could be good alternatives for programs lacking the resources to coordinate direct involvement of people with disabilities [21]. There are also published materials on how to find and engage with local disability organizations to plan and teach disability content if a non-expert is interested in initiating a relationship [24].

장애인이 자문위원이나 강사로 활동하는 학교는 소수에 불과했습니다. 전반적으로 교수진, 학생 및 자문위원의 장애 대표성을 개선하면 커리큘럼 결정에 장애인의 목소리가 반영될 수 있습니다[10]. 이는 의학계에서 장애를 가진 의사가 3.1%에 불과하고[25], 의대생의 4.5%만이 장애를 가지고 있다고 밝힌[26] 최근 연구 결과와도 일치합니다. 장애 역량 교육에 대한 많은 장벽과 필요성은 더 많은 학생, 교수진, 장애를 가진 의사가 현장에 투입되면 해결될 수 있습니다. 장애를 가진 사람들이 많아지면 더 많은 챔피언이 나올 것입니다. 또한 임상 환경에서 환자가 아닌 동료, 동료, 교사, 멘토로서 장애인을 대할 때 교수진과 학생은 장애가 아닌 그 사람을 바라보고 부정확한 가정과 불편함을 해소할 수 있습니다[27]. 이러한 변화는 의학교육의 정책과 관행에서 장벽을 제거하고 접근성과 포용성을 증진하려는 의도적인 노력을 통해서만 달성할 수 있습니다[22,28]. 
Only a few schools had a person with a disability serving as an advisory member or instructor. Overall, improving disability representation among faculty, students, and advisory members will ensure that curricular decisions reflect their voices [10]. This is consistent with recent studies that confirmed the underrepresentation of disability in Medicine as having only 3.1% of physicians [25] and 4.5% of medical students identify as disabled [26]. Many barriers and needs to disability competency training could be mended with more students, faculty, and physicians with disabilities in the field. With more individuals with disabilities, there will be more champions. In addition, the interaction with someone with a disability as a peer, colleague, teacher, and mentor, and not as a patient in a clinical setting, will allow faculty and students to see the person and not their disability and debunk inaccurate assumptions and discomfort [27]. These changes can only be achieved with intentional efforts to remove barriers and promote access and inclusion in policies and practices in medical education [22,28].

이 연구에는 몇 가지 한계가 있습니다. 모집 노력에도 불구하고 설문조사 응답률이 낮았던 것은 연구 기간 동안 의과대학과 의과대학장에게 영향을 미친 코로나19 팬데믹의 영향일 가능성이 높습니다. 이 주제에 더 많은 투자와 관심이 있는 학교일수록 설문조사에 응답할 가능성이 더 높았을 것입니다. 또한 이러한 역량을 직접적으로 다루지 않는 학교는 이러한 부족함을 드러내려고 하지 않았을 수도 있습니다. 따라서 이 연구 결과는 일반적으로 의과대학이 커리큘럼에서 장애 역량을 다루는 방식을 대표하지 않을 수 있습니다. 
This study has a few limitations. Despite efforts to recruit, the low response rate to the survey was likely influenced by the onset of the COVID-19 pandemic, which affected medical schools and directors during the study period. Schools who are more invested and interested in this topic may have been more likely to respond to the survey. In addition, schools that are not directly addressing these competencies may not have been as willing to reveal this deficit. Therefore, the study results may not represent how medical schools in general address disability competency in the curricula.


이러한 한계에도 불구하고 이번 연구 결과를 통해 시간이 제한된 의학교육 내에서 장애 역량 교육을 통합하기 위한 노력과 잠재력을 파악할 수 있었습니다. 또한 모든 의과대학에 이 연구에서 설명한 것과 같은 제도적 지원과 지지자가 있는 것은 아니라는 점도 중요합니다. 인터뷰 참여자 중 한 명이 권고한 바와 같이, 의과대학이 이 중요한 주제를 교육에 통합하도록 장려하기 위해 핵심역량을 LCME 인증 기준에 명시적으로 통합하는 것을 추가로 고려할 필요가 있으며, 이는 가능한 옹호자, 자원 및 지원과 관계없이 의과대학에 인센티브를 제공할 수 있습니다. 모든 의사가 장애인과 함께 일할 수 있도록 교육을 받도록 하는 것은 장애인의 건강 및 의료 서비스 격차를 줄이기 위한 중요한 단계가 될 것입니다. 

Despite these limitations, the findings allowed for an understanding of efforts made and the potential for integrating disability competency training within time-restricted medical education. It is also important to note that not all medical schools have the institutional support and champions that this study described. As recommended by one of the interviewees, further consideration of explicitly integrating the Core Competencies into LCME accreditation standards may be needed so medical schools are incentivized to integrate this important topic in their education regardless of available champions, resources, and supports. Ensuring that all physicians are trained to work with people with disabilities would be a critical step towards reducing disparities in health care for and the health of people with disabilities.


Med Educ Online. 2023 Dec;28(1):2207773. doi: 10.1080/10872981.2023.2207773.

Disability competency training in medical education

Affiliations collapse
1Department of Rehabilitation Medicine, University of Washington, Seattle, USA.

2Center for Health Workforce Studies, Department of Family Medicine, University of Washington, Seattle, USA.

PMID: 37148284

PMCID: PMC10167870

DOI: 10.1080/10872981.2023.2207773

Free PMC article

Abstract

Purpose: Lack of health care providers' knowledge about the experience and needs of individuals with disabilities contribute to health care disparities experienced by people with disabilities. Using the Core Competencies on Disability for Health Care Education, this mixed methods study aimed to explore the extent the Core Competencies are addressed in medical education programs and the facilitators and barriers to expanding curricular integration.

Method: Mixed-methods design with an online survey and individual qualitative interviews was used. An online survey was distributed to U.S. medical schools. Semi-structured qualitative interviews were conducted via Zoom with five key informants. Survey data were analyzed using descriptive statistics. Qualitative data were analyzed using thematic analysis.

Results: Fourteen medical schools responded to the survey. Many schools reported addressing most of the Core Competencies. The extent of disability competency training varied across medical programs with the majority showing limited opportunities for in depth understanding of disability. Most schools had some, although limited, engagement with people with disabilities. Having faculty champions was the most frequent facilitator and lack of time in the curriculum was the most significant barrier to integrating more learning activities. Qualitative interviews provided more insight on the influence of the curricular structure and time and the importance of faculty champion and resources.

Conclusions: Findings support the need for better integration of disability competency training woven throughout medical school curriculum to encourage in-depth understanding about disability. Formal inclusion of the Core Competencies into the Liaison Committee on Medical Education standards can help ensure that disability competency training does not rely on champions or resources.

Keywords: Disability competency; disability; diversity; health care education; medical education.

갭에 마음쓰기: 성찰의 여러 이점에 관한 철학적 분석(Teach Learn Med, 2023)
Mind The Gap: A Philosophical Analysis of Reflection’s Many Benefits
Sven Peter Charlotte Schaepkensa and Thijs Lijsterb

 

 

소개
Introduction

의료 행위와 의학교육에서 성찰에 대한 기대는 매우 높으며, 성찰은 다양한 목적을 달성하기 위한 수단으로 주장됩니다. 성찰은 소진을 줄이고,1,2 공감 능력을 높이며,2 스트레스를 줄이고,3 전문성을 개발하며,4 임상 기술을 개선하고,5-7 의사가 이론에서 실무로 전환하는 데 도움을 주고,8-11 그 외에도 많은 이점이 있습니다. 여러 연구자들이 성찰의 이점에 관한 경험적 증거에 대해 다소 유보적인 입장을 보이기는 하지만,12-15 성찰은 잠재력이 있는 것으로 보입니다. 따라서 일부 연구자들은 예를 들어 성찰의 목적을 세 가지 영역으로 분류하여 성찰의 확산된 목적에 질서를 만들려고 시도하는 반면,13 다른 연구자들은 "성찰이 모든 상처를 치유하는 일반적인 연고가 되었다"16(p263) 또는 단순히 목적을 위한 수단으로 환원적으로 활용되고 있다고 주장합니다.17 우리는 의학교육과 의사를 위한 성찰의 가치를 거부하지는 않지만, 왜 성찰이 그토록 다양한 혜택을 가져올 수 있으며 이것이 의학교육 실무에서 성찰의 지위에 대해 무엇을 의미하는지를 묻고 있습니다. 
Expectations of reflection run high in medical practice and medical education; it is claimed as a means to many ends. Reflection can reduce burnout,1,2 increase empathy,2 decrease stress,3 develop professionalism,4 refine clinical skills,5–7 help practitioners transition from theory to practice,8–11 and many more. Albeit various researchers show some reserve about the empirical evidence concerning the benefits of reflection,12–15 reflection seemingly blossoms with potential. Consequently, some researchers attempt to create order in reflection’s proliferated ends, for instance by categorizing reflection’s purposes in three domains,13 while others argue that “reflection has become a generic salve to heal all wounds,”16(p263) or has become reductively utilized as purely a means to an end.17 While we do not reject the value of reflection for medical education and practitioners, we ask why reflection can (potentially) yield so many different benefits, and what that implies for the status of reflection in medical education practice.

우리는 교사와 수련의가 성찰 활동에 많은 시간과 많은 교육 자원을 할애하기 때문에 성찰이 많은 (잠재적) 혜택과 어떻게 관련되어 있는지 비판적으로 분석하는 것이 중요하다고 주장합니다. 의학 커리큘럼에는 성찰을 반영하고, 가르치고, 평가하는 다양한 방법이 있습니다. 성찰 활동은 포트폴리오 작성, 에세이, 저널, 멘토 프로그램, 교육 프로그램, 소그룹에서 동료들과 임상 경험에 대해 토론하는 것 등을 포함합니다.14 성찰 활동은 특정 이점을 가져온다는 전제하에 정당성을 얻습니다.  
We argue that it is important to critically analyze how reflection relates to its many (potential) benefits because teachers and trainees dedicate much time and many educational resources to reflective activities. In medical curricula, there is a wide variety of ways to reflect, teach, and assess reflection. Reflective activities span written portfolios, essays, journals, mentor programs, training programs, or discussing clinical experience with peers in small groups.14 Reflective activities receive justification based on the premise that they yield certain benefits.

우리의 분석은 개념 성찰에 대한 철학적 조사로 구성될 것입니다. 특히 철학자들이 성찰을 이론과 실천 사이의 간극, 개인적 감각과 공동체적 감각 사이의 간극과 어떻게 연결시켰는지에 대한 철학적 전통의 논의에 초점을 맞출 것입니다. 그런 다음 철학적 고찰을 성찰에 관한 최신 연구와 연관시켜 연구자들이 성찰의 이점을 정확히 파악하기 위해 성찰을 개념적으로 어떻게 사용했는지 알아볼 것입니다. 마지막으로, 분석 결과에 비추어 의료 행위와 교육에서 성찰을 위한 세 가지 구체적인 권장 사항을 공식화할 것입니다. 
Our analysis will consist of a philosophical investigation of the concept reflection. We will focus on debates from the philosophical tradition, specifically how philosophers connected reflection to the gap between theory and practice, and the gap between an individual sense and communal sense. We will then relate our philosophical considerations to the current research on reflection to determine how researchers conceptually used reflection to pinpoint its benefits. Finally, in the light of our analysis we will formulate three concrete recommendations for reflection in medical practice and education.

성찰 연구에 대한 철학적 접근 방식
A philosophical approach to research on reflection

이 글에서 우리는 성찰에 대한 철학적, 개념적 분석을 수행했습니다.18-20 우리는 성찰을 둘러싼 이론적 전제에 의문을 제기하고 이 교육적 실천과 그 (잠재적) 이점에 영향을 미치는 배경 전제와 가치를 추적했습니다.21,22 우리는 대륙 철학 전통, 특히 임마누엘 칸트, 마틴 하이데거, 한나 아렌트, 자크 데리다의 작업에서 철학적 고려를 이끌어냈습니다. 이러한 철학자들은 인간 지식의 한계를 매핑하고 아포리아, 즉 '틈'이 인간의 경험과 성찰에 얼마나 중요한 역할을 하는지에 대해 비판적으로 생각하기 때문에 우리가 주목했습니다. 이들에게 아포리아는 해결해야 할 문제가 아니라 인식이 필요한 한계로 이해되어야 합니다. 따라서 우리는 성찰과 주장된 혜택과의 관계를 이해하는 데 도움이 되는 격차의 관점에서 분석을 시작했습니다.  
For this article, we conducted a philosophical, conceptual analysis of reflection.18–20 We questioned the theoretical presuppositions surrounding reflection, and traced background premises and values that affect this educational practice and its (potential) benefits.21,22 We drew our philosophical considerations from the continental philosophical tradition, particularly the work of Immanuel Kant, Martin Heidegger, Hannah Arendt and Jacques Derrida. We turned to these philosophers because they map the limits of human knowledge, and critically think about aporias, or how “gaps” play a vital role in human experience and reflection. For them, these aporias should not be understood as problems that are to be solved, but rather as limits that require awareness. Therefore, we started our analysis from the perspective of the gaps to help us understand reflection and its relation to the alleged benefits.

분석은 두 단계로 구성되었습니다. 첫째, 성찰에 관한 주요 철학적 논쟁, 특히 이론과 실천 사이의 간극, 개인적 의미와 공동체적 의미 사이의 간극에 초점을 맞췄습니다. 둘째, 우리는 철학적 고찰을 성찰에 관한 최신 연구와 연관시키고, 연구자들이 성찰을 개념적으로 어떻게 사용했는지 면밀히 조사하여 그 이점을 정확히 찾아냈습니다. 따라서 2000년대 이후부터 2021년까지 의학교육 또는 의료 실무에서 성찰에 관한 연구에 대한 문헌 검토를 통해 인사이트를 도출했습니다. 
Our analysis consisted of two phases. First, we focused on key philosophical debates on reflection, particularly the gap between theory and practice, and the gap between the individual and communal sense. Second, we related our philosophical considerations to current research on reflection, and scrutinized how researchers conceptually used reflection to pinpoint the benefits. Therefore, we drew insights from literature reviews about research on reflection in medical education or medical practice since the 2000s until 2021.

1단계: 성찰에 대한 철학적 논쟁
Phase one: philosophical debates on reflection

이론과 실천의 간극
The theory–practice gap

철학의 전통에서 철학자들은 성찰지식 습득 또는 맹목적인 규칙과 계산을 따르는 것과 자주 대조했습니다. 고대 그리스인들은 이미 진정한 지혜에는 단순한 '책 속의' 지식 이상의 것이 필요하다는 것을 인식하고 있었습니다. 예를 들어 아리스토텔레스는 성찰(숙고라고도 번역됨)을 습득한 지식과 전문적 경험 또는 이론과 실천을 연결하는 능력이라고 설명했습니다.23 성찰은 최고의 지적 덕목이자 의학, 정치, 법률, 군사 전략과 같은 분야에서 전문직업성의 절대적 필수 요소로 간주한 "실천적 합리성"("프 로네시스")의 핵심이었습니다. 
In the tradition of philosophy, philosophers regularly contrasted reflection with knowledge acquisition, or blindly following rules and calculation. The ancient Greeks already acknowledged that true wisdom required something more than mere “bookish” knowledge. Aristotle, for instance, described reflection (sometimes also translated as deliberation) as the ability to connect acquired knowledge with professional experience, or theory with practice.23 It was the key to “practical rationality” (“phronèsis”), which he considered as the highest intellectual virtue, and as an absolute necessity of professionalism in fields such as medicine, politics, law, and military strategy.

이론과 실천(또는 지식과 경험)이 연결될 수 있다는 사실은 그 사이에는 반드시 간극이 존재한다는 것을 의미하기도 합니다. 바로 이 간극이 지속적인 철학적 문제로 제기되어 왔으며, 성찰을 통해 잠재적인 해결책이 형성되었습니다. 이 문제를 이해하기 위해 여러 면에서 현대 철학의 아버지로 여겨지는 칸트를 참고할 수 있습니다. 칸트 역시 이론과 실천 사이에 괴리가 존재한다는 사실을 인정했습니다. 특정 전문 분야(그는 법과 의학을 예로 들었습니다)에서는 모든 규칙과 개념을 알고 있지만 실제로는 이를 제대로 적용하지 못할 수 있습니다. 그는 이를 "어리석음"이라고 적절하게 표현합니다.24
The fact that theory can be connected with practice (or knowledge with experience) also implies that there must be a gap between them to begin with. It is precisely this gap that has posed a continuous philosophical problem, to which reflection formed a potential solution. To get a sense of that problem, we can refer to Kant, who in many ways is considered the father of modern philosophy. Kant, too, acknowledged that there exists a gap between theory and practice. One may, within a particular professional field (he mentions law and medicine as examples), know all the rules and concepts, but may still be unable to properly apply them in practice. He aptly calls this “stupidity.”24

주어진 상황에서 규칙이나 개념을 적절히 적용하는 능력을 칸트는 판단력이라고 부르지만, 이 판단력에는 문제가 있습니다. 판단력이 일련의 규칙을 실제로 적용하는 것을 의미한다면, 첫 번째 규칙을 어떻게 적용해야 하는지를 결정하기 위해 항상 두 번째 규칙이 필요합니다. 그러나 두 번째 규칙을 적용하려면 세 번째 규칙을 적용하는 방법을 결정하는 등 여러 가지 규칙이 필요합니다. 이런 식으로 규칙을 적용하기 위해 규칙을 공식화하는 무한 퇴행에 빠지게 되고, 이론과 실제 사이의 간극을 메울 수 없게 됩니다. 이 점을 설명하기 위해 체스에 대한 칸트 해설가 헨리 앨리슨의 설명을 생각해 보겠습니다.25,26 체스를 두려면 체스의 규칙을 공식적으로 배우는 것이 필요하지만, 좋은 수를 두려면 주어진 구체적인 상황에 대한 복잡한 해석이 필요합니다. 주어진 상황에는 항상 예외와 대안이 있기 때문에 더 많은 규칙을 고안한다고 해서 상황이 해결될 수 없습니다. "특정 상황에 필요한 것이 무엇인지 스스로 결정해야 할 필요성에서 벗어날 수 없다."25(206쪽) 따라서 칸트는 판단의 규칙을 공식화하거나 가르치거나 배우는 것은 원칙적으로 불가능해야 한다고 주장합니다. 그는 『순수이성비판』에서 판단력은 "전혀 가르칠 수 없고 오직 연습할 수 있는 특별한 재능"이라고 결론지었습니다.27(p(A133/B72)14) 
The ability to properly apply a rule or concept in a given situation is what Kant calls the power of judgment, but with this power of judgment comes a problem. If judgment means applying a set of rules to practice, a second set of rules will always be necessary to determine how the first set of rules should be applied. However, that second set of rules would require a third set of rules to determine how they should be applied, and so forth. In this way, we end up in an infinite regression of formulating rules for applying rules, and we would never bridge the gap from theory to practice. To illustrate this point, consider Kant commentator Henry Allison’s explanation of playing chess.25,26 Formally learning the rules of chess is necessary to play, but making a good move requires complex interpretations of the given, concrete situation. The situation cannot be remedied with devising more rules, since there are always exceptions and alternatives in any given situation. One is not relieved of the necessity “of determining for oneself what the particular situation requires.”25(p206) Therefore, Kant argues that it must be in principle impossible to formulate, teach, or learn the rules for judgment. In Critique of Pure Reason, he concludes that judgment is “a particular talent that cannot be taught at all but can only be practiced.”27(p(A133/B72)14)

가르칠 수 없는 판단력은 매우 불만족스러워 보였고, 칸트도 마찬가지였기 때문에 그의 후기 저작인 『판단력 비판』에서 이 문제를 다시 다루었습니다. 칸트는 판단력이 단순히 일련의 규칙을 실천에 적용하는 능력으로만 구성될 수 없다고 주장합니다(이는 '결정적 판단력'이라고 부르며 제한적 이해라고 본다). 앨리슨은 다음과 같이 말합니다: "결정의 관점에서만 판단을 설명하는 것은 본질적으로 불완전하며, 칸트가 '반성'이라고 부르는 활동을 보완해야 합니다."27(18쪽) 규칙을 적용하는 능력 외에도, 판단력은 규칙과 개념을 습득, 확장, 발전시키는 능력으로 구성되며, 사람들은 실제 경험에 기초하여 그리고 그 경험과의 대화를 통해 규칙과 개념을 성찰합니다. 그는 이를 "성찰적" 판단이라고 부릅니다. 
Judgment that cannot be taught seems quite unsatisfactory, and so it was too for Kant, which is why he returned to this problem in his later work Critique of Judgment. Judgment, he argues, cannot merely consist in the ability to apply a set of rules to practice (a limited understanding which he now calls “determinative judgment”). As Allison writes: “an account of judgment solely in terms of determination is inherently incomplete, requiring as its complement the activity that Kant terms ‘reflection’.”27(p18) Besides the ability to apply rules, judgment also consists of the ability to acquire, expand, and develop rules and concepts; people reflect on them on the basis of, and in dialogue with, practical experience. This he calls “reflective” judgment.

칸트는 반성적 판단이 무엇을 하는지를 다음과 같이 설명합니다:

  • "반성(또는 고찰)한다는 것은 주어진 제시를 다른 제시 또는 자신의 인지력[그 자체]과 비교하고, 이[비교]가 가능하게 하는 개념과 관련하여 비교하는 것이다."28(p400,FI,211)

즉, 반성적 판단은 당면한 문제를 '지배'하고 추상적으로 분류하고 결정하는 것(결정적 판단)이 아니라 자신의 (개념적) 사고를 다루고 있는 대상이나 상황과 '조화'시키는 것을 포함합니다. 칸트에 따르면, 반성적 판단은 우리가 사용하는 개념과 그것을 적용하는 규칙이 세계와 근본적으로 관련되어 있다고 가정하기 때문에 경험의 조건 자체를 형성합니다. 
What reflective judgment does is described by Kant in the following way:

  • “To reflect (or consider) is to hold given presentations up to, and compare them with, either other presentations or one’s cognitive power [itself], in reference to a concept that this [comparison] makes possible.”28(p400,FI,211) 

In other words, reflective judgment involves not so much a “ruling over” the matters at hand, categorizing and determining them in abstract fashion (which would be determinative judgment), but rather “harmonizing” one’s (conceptual) thought with the object or situation one is dealing with. Reflective judgment, according to Kant, thus forms the very condition of one’s experience, since it assumes that the concepts one uses and the rules with which one applies them are principally related to the world.

개인적 감각과 공동체적 감각 사이의 간극
The gap between an individual and communal sense

2.1절에서 칸트에게 성찰은 이론과 실천의 간극을 메우는 일이며, 이것이 바로 경험의 조건이라고 설명했습니다. 이 섹션에서는 칸트가 성찰에서 중요한 역할을 하는 또 다른 본질적인 간극을 확인했으며, 그것은 개인적 감각공동체적 감각 사이에 존재한다는 것을 보여줍니다. 아렌트는 칸트의 사고 개념("반성적 판단")을 그의 전임자들과 구분 짓는 가장 중요한 측면은 그것의 실천적 성격뿐만 아니라 사회적 성격이라고 주장했습니다. 칸트에게 반성적 판단은 자신의 이성을 공적으로 사용하는 것이며, 따라서 자신의 고려 사항을 다른 사람들과 협상하는 것으로 구성됩니다: 
In Section 2.1, we explained that reflection for Kant involves bridging the theory–practice gap, and that it is the very condition of experience. In this section, we show that Kant identified another quintessential gap that plays a role in reflection, and it resides between one’s individual sense and a communal sense. Arendt argued that the most important aspect that sets Kant’s notion of thinking (as “reflective judgment”) apart from his predecessors’ is not only the practical, but also the social nature of it. Reflective judgment, for Kant, consists in the public use of one’s reason, and hence the negotiation of one’s considerations with others:

[칸트는 '자유롭고 공개적인 시험'이 없이는 어떤 사고도, 어떤 의견 형성도 불가능하다고 믿었습니다. 이성은 '스스로를 고립시키기 위해 만들어진 것이 아니라 다른 사람들과 공동체 속으로 들어가기 위해' 만들어졌다. 29(p40)
[Kant] believes that the very faculty of thinking depends on its public use; without ‘the test of free and open examination,’ no thinking and no opinion formation are possible. Reason is not made ‘to isolate itself but to get into community with others’. 29(p40)

성찰의 공공성 타인의 배려나 인정을 필요로 하지 않는 단순한 계산이나 규칙 추종과는 분명하게 구별된다. 칸트는 이러한 판단의 공적 성격을 미적 판단, 즉 특정 대상의 아름다움에 관한 진술로 설명합니다. 칸트는 미적 판단은 공유된 감각, 즉 센수스 코뮤니스라고 부르는 것에 근거한다고 주장합니다. 아름다움에 대한 판단은 단순히 주관적인 느낌이 아니라 개인이 상상하는 감각을 모두가 공유하는 것으로 간주합니다. 예를 들어, 내가 아름다운 꽃을 보거나 모차르트 소나타의 소리를 듣는다면 다른 사람들도 내 감각을 공유할 것이라고 기대할 수밖에 없는데, 이는 내 감각과 다른 사람의 감각을 구별할 수 있는 특별한 요소가 없기 때문입니다. 그러나 내 판단을 다른 사람의 판단과 비교한다고 해서 내 취향을 다수의 취향에 맞추는 것은 아닙니다. 다만 나의 아름다움에 대한 감각은 나만의 감각일 수 없으며, 일반적으로 공유되는 아름다움에 대한 감각에 기반해야 한다는 것을 전제할 뿐입니다.
The public nature of reflection is clearly distinguished from mere calculation or rule following, for which one would not need the considerations or recognition of others. Kant illustrates this public nature of judgment by means of
 esthetic judgments, i.e. statements concerning the beauty of certain objects. One’s esthetic judgments, Kant argues, are based on what he calls a sensus communis, a shared sense. One considers judgments of beauty not as merely subjective feeling, but rather as a sensation that individuals imagine is shared by all. For example, if I enjoy the sight of a beautiful flower or the sound of a Mozart sonata, I cannot help but expect that others will share my feeling, precisely because there is nothing in particular about me that would distinguish my sensation from that of others. Comparing my judgment with those of others, however, does not mean that I adjust my taste to that of the majority. I only presume that my sensation of beauty cannot merely be my own; it must be based on some generally shared sense of beauty.

아렌트에 따르면 미적 판단의 본질에 대해 칸트가 말한 것은 일반적인 판단에도 해당됩니다. 타인의 관점을 고려하는 것은 사고를 구성하는 근본적인 부분이며 심지어 우리를 인간으로 만드는 요소이기도 합니다. 그것은 세상을 경험하는 방식과 공동체를 연결합니다. 다시 한 번 말씀드리지만, 모든 사람이 제 판단에 실제로 동의할 것이라고 주장하는 것은 아닙니다. 오히려 저는 성찰을 통해 제 판단을 가상의 커뮤니티와 연관시킵니다: 
What Kant says about the nature of esthetic judgment is true for judgments in general, according to Arendt. That one takes the perspective of others into account is a fundamental part of what constitutes thought and even what makes us human. It connects the way one experiences the world with a community. Again, this does not mean that I claim that everyone will actually agree with my judgments. Rather, in reflection I relate my judgments to a hypothetical community:

우리는 우리의 판단을 (실제가 아니라) 다른 사람들의 가능한 판단과 비교하고, [따라서] 우리 자신의 판단에 붙을 수 있는 한계를 추상화함으로써 다른 모든 사람의 입장에 서게 됩니다. 28(p.160)
We compare our judgments not so much with actual as rather with the merely possible judgments of others, and [thus] put ourselves in the position of everyone else, merely by abstracting from the limitations that [may] happen to attach to our own judging. 28(p.160)

다른 모든 사람의 입장에 서는 것은 상상력의 힘에 달려 있지만, 그렇다고 해서 공동체가 완전히 허구라는 의미는 아닙니다. "상상의 힘에 의해 다른 사람들이 존재하게 되고, 따라서 잠재적으로 공공의 공간, 사방에 열려 있는 공간에서 움직이게 됩니다."29(43쪽)
To place oneself in the position of everyone else depends on the power of imagination, but that does not mean that the community is entirely fictitious. “By the force of imagination it makes the others present and thus moves in a space that is potentially public, open to all sides.”
29(p43)

격차 해소와 성찰의 광기
Bridging gaps and the madness of reflection

앞선 섹션에서 우리는 성찰이 인간 경험에서 중요한 역할을 하는 두 가지 전형적인 격차, 즉 이론과 실천의 격차, 개인적 감각과 공동체적 감각 사이의 격차와 관련되어 있음을 살펴보았습니다. 이를 통해 실무자가 이러한 격차를 어떻게 해소할 수 있는지에 대한 분석이 이루어지며, 성찰을 가르치고 배울 수 있는지 여부와 방법이 시급한 질문이 됩니다. 
We saw in the previous sections that reflection concerns two quintessential gaps that play a role in human experience: the theory–practice gap, and the gap between the individual and communal sense. This brings the analysis to the point how practitioners can bridge these gaps, and the pressing question becomes whether and how reflection can be taught and learned.

다시 한 번 칸트의 성찰에 대한 철학적 분석, 특히 성찰이 근본적으로 체계화에 저항하는 두 가지 방식으로 돌아가 보겠습니다. 첫째, 앞서 살펴본 바와 같이 칸트는 이론과 실천을 연결하는 궁극적인 규칙은 무한한 퇴행으로 이어질 수 있기 때문에 공식화할 수 없다고 주장했습니다. 간단히 요약하자면, 체스의 규칙을 형식적으로 배우는 것과 당면한 복잡한 상황을 해석하여 좋은 수를 두는 것에는 반성적 판단이 필요한 차이가 있습니다. 따라서 칸트는 레시피처럼 규칙을 공식적으로 배우는 것이 아니라 예시를 통해 성찰을 훈련할 것을 제안했습니다.26 성찰은 일반적인 규칙을 특수한 상황과 대화하는 독특한 재능으로 가르칠 수 없고, 오로지 연습할 수 있을 뿐이다. 이러한 관점에서 볼 때 성찰은 근본적으로 체계화에 저항합니다. 
We return once more to Kant’s philosophical analysis of reflection, specifically to two ways reflection fundamentally resists systematization. First, as we have seen, Kant argued that the ultimate rule to connect theory with practice cannot be formulated because that would lead to an infinite regression. To recapitulate briefly, there is a difference between formally learning the rules of chess, and making a good move by interpreting the complex situation at hand, which requires reflective judgment. Therefore, Kant suggested to train reflection with examples, not by formally learning rules like a recipe.26 Reflection cannot be taught but only practiced as that peculiar talent that brings general rules into dialogue with particular circumstances. From this perspective, reflection fundamentally resists systematization.

체계화에 대한 두 번째 유형의 저항은 개인적 성찰과 공동체적 성찰 사이의 간극에 관한 것입니다. 1.2절에서 설명했듯이, 개인은 자신의 개인적인 판단을 (상상된) 공동체의 판단과 연관시킵니다. 그러나 이 공동체는 완전히 안정된 것이 아니라 우발적인 것이며, 공동체를 구성하는 개인들 역시 변화할 수 있습니다. 따라서 커뮤니티는 시간의 흐름과 커뮤니티의 고유한 구성에 따라 변화합니다. 성찰의 경우, 공동체의 상대적 불안정성으로 인해 누구도 언제 어디서나 모든 사람을 위한 성찰의 결과를 명확하게 공식화할 수 없습니다. 
The second type of resistance to systematization concerns the gap between the individual and communal sense of reflection. As we explained in Section 1.2, individuals relate their personal judgments to those of the (imagined) community. However, this community is not fully stable but contingent; moreover, the individuals who constitute the community are also viable to change. Thus, the community alters with the passing of time and unique constitution of the community. In the case of reflection, the community’s relative instability prevents anyone from definitively formulating what the outcome of reflection should be for everyone, at all times, and everywhere.

칸트 이후 철학에서는 [체계화에 대한 저항]이 많은 논쟁을 불러일으켰습니다. 어떤 경우에는 반성이 계산적 합리성으로 이해되는 과학과 직접적으로 대립하기도 했습니다. 철학자 하이데거는 "과학은 사유하지 않는다."30(p8)고 도발적으로 말했는데, 이는 과학을 부정하려는 의도가 아니라 (철학적) 성찰이 명백한 전제에 기초하여 논리적으로 추론하는 미리 정해진 방법론에 따라 진행되지 않는다는 점을 강조하기 위한 것이었습니다. 하이데거에 따르면 사상가는 훨씬 더 불확실한 영역으로 들어갑니다: "여기에는 다리가 없고 도약만 있다." 그리고 그것은 우리를 반대편으로 데려갈 뿐만 아니라 완전히 다른 곳으로 데려간다.30(p8) 
After Kant, the resistance to systematization has been much debated in philosophy. In some cases, reflection has even been pitted directly against science, understood as calculative rationality. The philosopher Heidegger provocatively stated that “science does not think,”30(p8) which was certainly not meant to disqualify science, but rather to emphasize that (philosophical) reflection does not proceed according to a predetermined methodology, logically inferring on the basis of evident premises. The thinker, according to Heidegger, enters a much more uncertain field: “There is no bridge here – only the leap,” and that takes us not only to the other side, but to a totally different place.30(p8)

과학에 대한 하이데거의 비판은 과장된 것이며, 과학자들이 철학자만큼이나 불확실한 지형을 정기적으로 밟고 있다는 사실을 무시하고 있다. 그럼에도 불구하고 하이데거의 지적은 의료 분야의 성찰에 대한 분석과 관련이 있습니다. 어떻게 진행해야 하는지 미리 안다면 "생각할 필요가 없다"는 것입니다. 다시 말해, 반성(또는 사고)과 계산 또는 규칙 준수 사이에는 근본적인 차이가 있습니다. 따라서 성찰은 정확한 공식화에 저항하며, 심지어 성찰이 획일적인 학습 결과로 해석될 때 성찰이 위태로워진다고 말할 수 있습니다. 성찰이 맹목적으로 올바른 상자에 체크하는 문제가 된다면, 그러한 과정은 진정한 성찰을 대체할 위험이 있으며, 그로 인해 전문적인 태도도 대체될 수 있습니다. 
Heidegger’s criticism of science is exaggerated, and ignores the fact that scientists regularly tread terrain as uncertain as that of the philosopher. Still, Heidegger’s point is relevant for our analysis of reflection in the medical field: if one would know beforehand how to proceed, one would not have to “think.” There is, in other words, a fundamental difference between reflecting (or thinking) and calculating or rule following. One could therefore say that reflection resists precise formalization, and that reflection even becomes jeopardized when it is translated into uniform learning-outcomes. If reflection becomes a matter of blindly checking the right boxes, such a process risks replacing actual reflection, and with that the professional attitude.

성찰을 포괄하는 전문적 태도를 고려하기 위해 철학자 데리다가 법의 실천은 결코 단순한 법의 적용이 아니라고 주장한 점을 고려해야 합니다. 따라서 그는 법과 정의를 구분합니다. 정의가 실현되기 위해서는 항상 법이 적용 가능한지 여부를 결정해야 합니다. 즉, 법과 당면한 사건에 대한 해석을 모두 포함하는 전문적인 성찰의 과정이 필요합니다. 그렇지 않고 정의가 단순히 규칙이나 프로토콜을 따르는 것으로 구성된다면, 이는 완전히 계산 가능한 프로세스가 될 것이고 우리는 이 프로세스를 컴퓨터에 쉽게 아웃소싱할 수 있을 것입니다. 엄밀한 의미에서 결정이나 판단의 순간은 전혀 존재하지 않을 것입니다. 이는 의료 전문가에게 [흥미로운 역설]을 초래합니다. 모든 결정에는 그 결정이 옳은지, 정당한지 불확실한 '결정 불가능성'의 순간이 반드시 수반됩니다.31 데리다가 쇠렌 키에르케고르의 말을 인용한 것처럼 "결정의 순간은 광기다."32(65쪽) 과장된 것처럼 보일 수 있지만 키에르케고르는 성찰을 규칙 준수나 특정 지식으로 환원할 수 없음을 정확히 강조하고 있습니다
To consider a professional attitude that encompasses reflection, we take into consideration how the philosopher Derrida argues that the practice of law is never a mere application of the law. He therefore makes the distinction between law and justice. For justice to occur, one must always decide whether the law is, in this case, applicable. In other words, a process of professional reflection is needed, which involves the interpretation both of the law and of the case at hand. Were that not so, and justice would consist in the mere following of a rule or protocol, it would be a fully calculable process and we could easily outsource it to a computer. There would, in the strict sense, be no moment of decision or judgment at all. This leads to an interesting paradox for medical professionals. Each decision involves a necessary moment of “undecidability,” that is an uncertainty whether the decision is right, or just.31 “The instant of decision is madness,” as Derrida quotes from Søren Kierkegaard.32(p65) This might seem exaggerated, but Kierkegaard precisely emphasizes the impossibility of reducing reflection to rule-following or certain knowledge.

사례에 적용된 철학적 분석
The philosophical analysis applied to examples

이 단계에서는 성찰과 두 가지 간극에 대한 철학적 분석이 의료 행위와 의학교육의 두 가지 구체적인 사례와 어떻게 관련될 수 있는지 설명하는 것이 도움이 될 것입니다. 
At this stage, it is helpful to illustrate how our philosophical analysis of reflection and the two gaps could relate to two concrete examples from medical practice and medical education.

첫 번째 사례는 유능하고 전문적인 마취과 의사가 삽관 및 인공호흡이 불가능하다는 사실을 인지하지 못해 환자 일레인 브로마일리가 비극적으로 사망한 2008년의 사례입니다.33 "[그들은] 다른 전략으로 변경해야 할 때 삽관 및 인공호흡 시도를 계속했습니다."34(61페이지) 에비 피오라투와 동료들은 이를 고정 오류 또는 "과거 경험에 대한, 현재 상황을 해치는, 도움이 되지 않는 의존"으로 평가했습니다.34(61페이지) 그들은 이러한 오류를 방지할 쉬운 수정 방법이 없다고 주장합니다. 일반적으로 루틴을 개발하고, 프로토콜을 따르고, 체크리스트를 사용하는 것이 중요합니다.7,35 그러나 브로마일리의 사례는 고착화가 "(...) 경험 법칙의 자연스러운 부산물"이라는 것을 보여주었습니다.34(p62)  
Our first example comes from 2008, when patient Elaine Bromiley tragically died after competent and expert anesthetists failed to recognize that they could not intubate and ventilate.33 “[They] persevered with attempts to intubate and ventilate when they should have changed to another strategy.”34(p61) Evie Fioratou and colleagues assessed this as a fixation error, or an “unhelpful reliance on past experience to the detriment of the current situation.”34(p61) They argued that there is no easy fix to prevent this error. Generally, developing routine, following protocols and using checklists are important.7,35 However, Bromiley’s case also showed how fixation is a “natural by-product of (…) rules of thumb.”34(p62)

브로마일리의 사례는 이론과 실천의 간극을 메우는 칸트의 문제를 잘 보여줍니다. 칸트처럼 의료 종사자와 연구 전문가들은 반성적 판단을 통해 특정 상황에서 규칙과 기준을 어떻게 적용해야 하는지를 정확히 파악합니다. 전문가들에 따르면 여기에는 불확실성을 받아들이고 의도적으로 대안을 모색하는 훈련,36 "멈추고 생각하기"(및 사례에 비추어 체크리스트 검토7), 잠재적 고착에 대한 인식을 높이기 위해 일상적인 사례와 일상적이지 않은 사례에 대한 노출 등이 포함됩니다.34,36 그러나 궁극적으로 이론과 실무 사이의 격차는 남아 있으며 실무자는 이를 뛰어넘는 방법을 배워야 합니다. 
Bromiley’s case illustrates Kant’s problem of bridging the theory–practice gap. Just like Kant, medical practitioners and research experts turn to reflective judgment to pinpoint how practitioners must come to grips with applying rules and standards in particular situations. According to experts this encompasses, for instance, training to accept uncertainty and deliberately seeking out alternatives,36 embedding moments to “stop and think” (and review checklists in light of the case7), and exposing practitioners to routine and non-routine cases to increase their awareness about potential fixations.34,36 Ultimately, however, the gap between theory and practice will remain, and practitioners must learn to deal with jumping over it.

일레인 브로마일리의 사례는 개인적 감각과 공동체적 감각 사이의 간극을 메우는 것의 가치를 잘 보여줍니다.37 마취과 의사와는 달리 주치의 간호사는 문제를 인식했지만 마취과 의사에게 이를 전달하지 못했고 "임상의의 정신 모델을 무시하고 바꾸지 못했습니다."35(p116) 따라서 사회적 차원을 이해하고 팀원으로부터 피드백을 받는 것이 좋습니다.36,38,39 이는 시술의 올바른 적용에 대한 실무자 개인의 감각(그리고 확신)을 점검해 줍니다.
Elaine Bromiley’s case also illustrates the value of bridging the gap between an individual and communal sense.37 Contrary to the anesthetists, the attending nurses did recognize the problem, but were unable to communicate that to the anesthetists, and failed to “override and change the clinicians’ mental model.”35(p116) Understanding the social dimension and allowing feedback from team members is therefore advized.36,38,39 It checks practitioners’ individual sense (and certainty) about their correct application of procedures.

두 번째 사례는 네덜란드 GP 전문 교육에서 매주 실시하는 그룹 성찰 세션에 대한 연구에서 나온 것입니다.40,41 마리오 빈과 앤 드 라 크로아는 참가자들이 어떻게 경험을 "공유"하고 "성찰"하게 만드는지 연구했습니다. 한 사례로, 일로네는 자신의 상사가 "전화를 받을 때 자신의 이름을 부르는 방식이 화가 났다."40(329쪽) 그런 다음 일로네는 동료들에게 물었습니다: "당신들도 그렇게 세세하게 관찰하는지 궁금합니다. (...) 이런 부분인가요, 아니면 제 GP 트레이너가 갑자기 아주 세세한 부분까지 집중하는 건가요?"40(328쪽) 이후 이 경험에 대한 토론이 이어졌고, (느슨하게) 관련된 주제를 탐색하고 조언을 제공했습니다. 
Our second example comes from a study on weekly group reflection sessions in the Dutch GP specialty training.40,41 Mario Veen and Anne de la Croix studied how participants themselves make experiences “shared” and “reflectable.” One case involves registrar Ilone, who told the group how her supervisor criticized “the way she says her name when she answers the phone, which upset her.”40(p329) Then, Ilone asked her peers: “I wondered if with you they also observe in such detail? (…) Is this part of it or is it something that my GP trainer suddenly focusses on, very fussy details.”40(p328) What ensued was a discussion of this experience, which involved exploring (loosely) related themes and giving advice.

브로마일리의 사례와 마찬가지로 일론의 사례도 성찰과 두 가지 간극을 모두 보여줍니다. 그러나 브로마일리의 사례와 비교하면 두 가지 간극이 다르게 드러납니다. 첫째, GP 등록의사는 수퍼바이징을 받는 동안 어떤 일반적인 원칙(이론)이 역할을 하는지 (회고적으로) 탐색하고, 둘째, 이러한 원칙이 일로네의 경험(실천)과 어떻게 관련되는지 살펴봅니다. 이 사례에는 수퍼바이저가 어떻게 수퍼바이징을 해야 하는지, 세부 사항에 대한 주의와 소란스러움 사이의 균형, 피드백 제공, 메타 커뮤니케이션, 레지스트라로서의 경계 설정 등이 포함되었습니다.40 또한 일로네는 동료들에게 수퍼바이징 경험에 대해 질문했습니다. 이는 공유된 의미 만들기의 한 형태이며,42 레지스트라들은 감독을 받는다는 개인적, 공동체적 의미를 (재)구성했습니다.  
Like Bromiley’s example, Ilone’s example also illustrates reflection and both gaps. Compared to the Bromiley example, however, the two gaps materialize differently.

  • First, GP registrars explore (retrospectively) what general principles (theory) play a role while being supervised, and
  • second, how those relate to Ilone’s experience (practice).

The case involved how supervisors should supervise; balancing attention to detail with fussing over details; providing feedback; meta-communication and setting boundaries as a registrar.40 Moreover, Ilone asked peers about their experiences with supervision. This is a form of shared meaning making,42 and the registrars (re)constructed their individual and communal sense of being supervised.

요약하자면, 이 두 가지 사례를 통해 성찰을 이론과 실제, 그리고 특정 상황에서 개인적 의미와 공동체적 의미 사이의 간극을 넘나드는 인간의 기본적 역량으로 이해한다면 성찰이 실무자에게 가치를 창출하는 유연성을 보여줄 수 있음을 알 수 있습니다. 임상적 추론에 사용되는 성찰은 전문성 개발을 위해 매주 (회고적) 그룹 성찰 세션을 하는 것과는 다릅니다. 성찰의 위치는 우리가 비판적으로 주목할 가치가 있지만, 각 사례는 단순한 계산이나 다른 사람의 의견이 필요 없는 맹목적인 규칙 적용을 초월합니다. 모든 것이 명확하고 확실할 때는 결정이나 판단을 내릴 필요가 없으며, 컴퓨터가 작업을 실행할 수 있습니다. 실천은 크고 작은 불확실성의 순간으로 가득 차 있습니다. 불확실성은 (규칙, 절차, 모델, 이론에 담긴) 일반적인 원칙이 고유한 현실에 잘 맞지 않을 때 실무자가 광기에 직면할 때 발생합니다. 
In sum, with these two examples we illustrate reflection’s flexibility to yield value for practitioners, if one understands it as a fundamental human capacity to cross the gaps between theory and practice, and the individual and communal sense in a particular situation. Reflection used for clinical reasoning is different from doing weekly (retrospective) group reflection sessions for the sake of professional development. The situatedness of reflection deserves our critical attention; however, each case transcends mere calculation and blind application of rules that would not require input from others. No decisions or judgments need to be made when everything is clear and certain; then, a computer could execute the tasks. Practice is riddled with minor or major moments of uncertainty. Uncertainty occurs when practitioners face the madness when general principles (captured in rules, procedures, models, theory) do not neatly fit the unique reality.

2단계: 철학적 고려사항이 성찰 연구와 어떻게 관련되는지 살펴보기
Phase two: how the philosophical considerations relate to research on reflection

2단계에서는 철학적 고려 사항을 성찰의 (잠재적) 이점을 논의한 연구와 연관시켰습니다. 2000년대 이후 성찰에 관한 연구에 대한 문헌 검토에서 다양한 이점을 나열한 것을 발견했습니다. 한편, 많은 리뷰에서 통일된 이론적 이해의 부족과 경험적 증거의 부족을 지적하기도 했습니다.12-15 우리는 이 보고서에서 이론적 합의나 경험적 증거를 평가하지는 않았지만, 철학적 고려를 통해 성찰의 개념적 사용과 이를 통해 연구자들이 다양한 이점을 정확히 찾아낼 수 있는 방법을 면밀히 조사했습니다. 
In phase two, we related our philosophical considerations to research that discussed reflection’s (potential) benefits. We found that literature reviews about research on reflection since the 2000s listed a wide range of benefits. Meanwhile, many reviews also admonished the lack of a unified theoretical understanding and the paucity of empirical evidence.12–15 We did not assess theoretical consensus nor empirical evidence in these reports, but used our philosophical considerations to scrutinize the conceptual use of reflection and how that allows researchers to pinpoint various benefits.

성찰에 관한 연구의 이론과 실제의 격차
The theory–practice gap in research on reflection

문헌 검토를 통해 다음과 같은 개념적 성향을 확인할 수 있었습니다. 연구 분야에서는 이론과 실천의 간극을 메우기 위한 근본적인 방법으로 성찰을 수용했습니다. 그러나 이는 인간 경험의 조건이며, 이 분야는 결국 어디에나 있고 다양하게 적용할 수 있는 성찰의 이점을 열거하는 것으로 마무리된다. 이 전략은 실무자가 매일, 다양한 상황에서, 다양한 이유로 이론과 실무의 간극을 넘어야 한다는 점을 염두에 두었을 때 특히 두드러졌습니다. 
In the literature reviews, we saw the following conceptual inclination occur. The research field embraced reflection as a fundamental way to bridge the theory–practice gap. This is, however, the very condition for human experience, and the field ended up listing benefits of reflection that are ubiquitous and multi-applicable. This strategy became especially salient when one kept in mind that practitioners must cross the theory–practice gap on a daily basis, on many different occasions, and for many different reasons.

문헌 검토에서는 "성찰은 이론과 실천 사이의 간극을 좁혀 궁극적으로 실천을 향상시키는 데 도움이 된다."고 말한다10(p495) 또한, 검토에서는 이론과 실천 사이의 전환을 설명하기 위해 다양한 표현을 사용했습니다. 예를 들어, 성찰은 실무자가 실무와 이론의 경험을 연관시키거나,8 이론과 실무를 연결하거나 통합하거나,43,44 모호성을 처리하거나,45 맥락화를 통해,13 이론이 실무에 어떻게 내재되어 있는지를 드러내는 데 도움이 되었습니다.9 또한 리뷰에서는 성찰이 이론-실무 간 간극을 건너는 데 도움이 되는 특정 영역(예: 임상 추론)을 구분했습니다.46 후자의 영역 내에는 다양한 개념이 존재하여 성찰의 유익한 효과에 차이가 있음을 주목해야 합니다.7
The literature reviews reported that “reflection helps narrow the gap between theory and practice, ultimately enhancing practice.”10(p495) Additionally, reviews also used different wordings to describe the transition between theory and practice. For instance, reflection helped practitioners relate experiences from practice to theory,8 linked or integrated theory with practice,43,44 handled ambiguity,45 through contextualization,13 or exposed how theory is embedded in practice.9 Reviews also demarcated specific domains wherein reflection helped traverse the theory–practice gap, for instance, clinical reasoning.46 Take note that within the latter domain different conceptions of reflection exist, which led to variation in its beneficial effects.7

이론과 실제의 격차에 초점을 맞춘 리뷰어들은 성찰이 다양한 변화를 일으켰다고 보고했습니다. 예를 들어, 성찰은 행동과 지식을 변화시켰습니다.46,47 또 다른 리뷰에서는 성찰을 권한 부여와 연결하여 다음과 같은 다양한 변화를 암시했습니다. 
The focus on the theory–practice gap led reviewers to report that reflection instigated a variety of changes. For example, reflection transformed behavior and adapted knowledge.46,47 Another review linked reflection to empowerment and implied various transformations, like more consistently

연구 증거를 실무에 활용하고, 
시간을 들여 이론과 실무를 연결하고, 
임상 상황과 실무에 대해 비판적으로 평가하고, 질문하고, 대화하고, 문제를 해결하고, 
실천와 사고에 변화를 일으키고, 
실천에서 자신의 행동이 갖는 의미에 대해 토론하고,
이전에 가지고 있던 가치, 신념, 가정에 도전하기 위해 위험을 감수하고,
새로운 학습과 사전 지식을 통합하는 것 등입니다. 44(p643)

using research evidence in practice;
taking time to link theory with practice;
critically evaluating, questioning, dialoguing about, and problem solving clinical situations and practices;
enacting changes in their practice and thinking;
debating implications of their actions in practice;
taking risks to challenge previously held values, beliefs, and assumptions; and
integrating new learning with prior knowledge. 44(p643)

이 인용문은 개념적 성향을 명확하게 보여줍니다. 현대 연구는 성찰을 근본적인 문제를 해결하기 위한 중심 수단으로 제시했는데, 칸트적 용어로 말하자면 이론과 실천의 간극을 메우는 것입니다. 그 결과, 연구자들은 성찰이 다양하지만 근본적인(행동, 인지, 정체성) 변화에 도움이 되는 원동력이 되어 다양한 상황에서 많은 (잠재적인) 이점을 가져다준다는 사실을 발견했습니다.
This quote illustrates the conceptual inclination clearly: contemporary research posited reflection as a central means to address a fundamental problem, which in Kantian terms is bridging the theory–practice gap. Consequently, researchers found how reflection became a beneficial driver for many different but fundamental (behavioral, cognitive, identity) changes that help cross that divide, resulting in many (potential) benefits in a wide range of situations.

성찰에 관한 연구에서 개인적 의미와 공동체적 의미 사이의 간극
The gap between the individual and communal sense in research on reflection

문헌 검토를 통해 개인적 의미와 공동체적 의미의 영역에서 다음과 같은 개념적 성향을 발견할 수 있었습니다. 문헌 검토에서는 성찰의 이점을 자기 인식과 연결하여, 성찰을 통해 자각할 수 있는 것들이 다양하며, 이를 통해 자신과 공동체에 다양한 유익한 효과를 가져올 수 있다고 보았다. 이러한 전략은 전문성 개발 또는 성장에 대한 언급과 함께 자주 등장했습니다. 
In the literature reviews, we encountered the following conceptual inclination that occurred within the domain of the individual and communal sense. Literature reviews connected the benefits of reflection to self-awareness, which led to a wide array of things one can become self-aware of, with diverse beneficial effects for oneself and the community. This strategy co-occurred often with references to professional development or growth.

리뷰에서는 일반적으로 성찰이 자신에 대해 더 많이 알게 됨으로써 전문직업적 발달에 영향을 미쳤다고 보고했습니다.48 전반적으로, "확립된 성찰 모델은 경험을 검토하여 미래의 실무에 정보를 제공하는 새로운 이해를 생성하기 때문에 시간이 지남에 따라 개인적 성장이 일어난다고 제안합니다."49(p437) 특히, 성찰은 개인의 신념을 파악하고,13,49-53 자신의 직업적 강점과 약점에 대한 통찰력을 얻고,3,6 개인적인 편견,4,5,54 및 태도를 인식하며,5,52 스트레스와 불안을 줄이고,3,6 소진을 예방합니다.1,2 예를 들어, 성찰 글쓰기 연습을 통해 실무자에게 나타나는 다른 유익한 효과로는 다음과 같은 것이 있습니다:
The reviews generally reported that reflection impacted professional development,48 by learning more about oneself.6 Overall, “established models of reflection propose that personal growth occurs over time, as experiences are examined to produce new understanding that informs future practice.”49(p437) In particular, reflection helped identify personal beliefs,13,49–53 gain insight into one’s professional strengths and weaknesses,3,6 recognize personal bias,4,5,54 and attitudes,5,52 decrease stress and anxiety,3,6 and prevent burnout.1,2 Other beneficial effects for practitioners, by doing for instance reflective writing exercises, include:

업무에 대한 태도 개선, 
업무 잠재력의 개발 경로, 
내성적 지식의 향상, 
표현 능력의 풍부함, 
환자 및 동료와의 대인 관계 개선, 
비판적이고 성찰적인 사고의 사용 개발 등이 있습니다. 6(p8)

an ameliorated attitude towards work;
a development path for [their] job potential;
an enhancement of their introspective knowledge;
an enrichment of their expressive capability;
an improvement of their interpersonal relationships with patients and colleagues
and [it] develop[s] their use of critical and reflective thinking. 6(p8)

문헌 검토에서는 성찰이 개인 의료진에게 주는 이점뿐만 아니라 커뮤니티에 주는 이점도 나열했습니다. 성찰은 "공동체 의식을 촉진하는 신뢰의 분위기를 조성"9(1642페이지)하거나, 진료 커뮤니티를 구축하고 전문가 간 관계를 개선하는 데 도움을 주었습니다.55,56 성찰은 "다른 관점, 의료 문화, 다양성의 중요성"을 이해하는 데 도움이 되었습니다.49(432페이지) ) 환자는 더 이상 단순한 치료의 대상이 아니며,2,49,52 의료진은 환자에게 공감하고 "환자를 돌보는 이유의 중요성"을 이해했습니다.4(p10) 성찰은 이타심을 불러일으켰고,57 의료진이 "지배적 담론과 억압적 권력 및 사회 구조에 도전"하는 데도 도움이 되었습니다.55(p221)
Literature reviews not only listed benefits of reflection for the individual practitioner, but also benefits for the community. It “generate[d] a climate of trust which promoted a sense of community,”
9(p1642) or supported building a community of practice and better interprofessional relations.55,56 Reflection helped practitioners understand “other perspectives, medical culture, and the importance of diversity.”49(p.432) Patients were no longer mere objects of care but practitioners also empathized with them,2,49,52 and understood “the importance of why they were caring for patients.”4(p10) Reflection kindled altruism,57 while it also helped practitioners “challenge dominant discourses and oppressive power and social structures.”55(p221)

다양한 개인적 및 공동체적 혜택의 근간이 되는 개념적 성향은 자기 인식을 중심으로 전개됩니다. "자기 인식은 어떤 상황에서는 환경 조작이 필요하고, 다른 상황에서는 지식 개선이 필요하다는 인식으로 이어질 수 있습니다."46(p387) 또는 일부 연구자들은 다음과 같이 결론지었습니다: "'높은 수준의' 논문은 (...) 자기 인식과 성찰에 대한 참여가 증가하고 (...) 지속적인 전문성 개발을 확인합니다."53(p312) 연구자들이 자기 인식을 촉발하는 성찰로 눈을 돌렸을 때, 성찰은 많은 이점을 제공하는 핵심 요소로 자리 잡았습니다.
The conceptual inclination that underlies the various individual and communal benefits pivots around self-awareness. “Self-awareness may lead to [the] perception that environmental manipulation is needed in one situation and knowledge improvement in another.”46(p387) Or as some researchers concluded: “‘Higher quality’ papers identify (…) increased self-awareness and engagement in reflection (…) and continuous professional development.”53(p312) When researchers turned to reflection that instigates self-awareness, it became a linchpin for many benefits.

당면한 문제는 개인이 자신의 판단을 다른 사람의 판단과 비교하거나 개인의 감각을 공동체의 감각과 대면하는 것입니다. 사실상 개인은 특정 주제에 대한 자신의 입장을 인식할 수 있습니다. 그 결과, 문헌 검토에서는 자신의 가치관, 편견, 의사소통 등에 이르기까지 (자기)자각할 수 있는 다양한 것들이 나열되었습니다. 자각할 수 있는 것의 목록은 무궁무진해 보입니다. 
The issue at hand is that individuals compare their own judgments with those of others, or confronting their individual sense with the communal one. In effect, they (could) gain awareness of their own position on any given subject. As a result, the literature reviews listed a wide variety of things that one could become (self-)aware of, ranging from one’s values, biases, to communication and so forth. The list of things that one could become self-aware of seems potentially endless.

토론
Discussion

이 분석을 통해 우리는 두 가지 격차가 성찰의 이점에 어떤 역할을 하는지, 왜 성찰의 이점이 많은지, 그리고 이것이 의학교육에 시사하는 바가 무엇인지 보여주고자 합니다. 첫째, 성찰은 실무자가 이론과 실무의 간극을 좁히는 데 도움이 됩니다. 둘째, 성찰은 실무자가 개인적 감각과 공동체적 감각 사이의 간극을 좁히는 데 도움이 됩니다. 그러나 이러한 간극을 건너는 것은 인간 이해에 매우 근본적인 것이기 때문에 성찰은 광범위한 상황에서 많은 특정 혜택을 위해 무분별하게 의존하는 보편적이고 일반적인 것이 될 위험이 있습니다. 성찰은 거의 만병통치약처럼 작동하기 시작합니다.16 성찰이 체계화에 저항한다는 점을 고려할 때, 이러한 격차를 해소하기 위한 성찰의 이점을 정확하게 정의할 수 있는 목록은 잠재적으로 무한합니다. 따라서 우리는 성찰의 잠재적으로 무궁무진한 구체적인 이점을 추구하고 경험적으로 검증하는 데 있어 자제를 권고합니다.18 
With our analysis, we aim to show how two gaps play a role in the benefits of reflection, why there might be so many benefits to reflection, and what that implies for medical education. First, reflection helps practitioners cross the theory–practice gap. Second, reflection helps practitioners cross the gap between the individual and communal sense. Yet, crossing these gaps is so fundamental for human understanding that reflection runs the danger of becoming ubiquitous and generic, indiscriminately relied on for many specific benefits in a wide range of situations. Reflection almost starts behaving like a panacea.16 In our view, the list to precisely define reflection’s benefits for crossing these gaps is potentially endless, also when one takes into consideration that reflection resists systematization. Thus, we advise restraint in pursuing and empirically validating potentially endless specific benefits of reflection.18

스텔라 응과 동료들이 주장했듯이, 성찰의 모든 이점을 정확히 찾아내려는 추구는 성찰을 공리주의적 목적을 위한 수단으로 환원적으로 이해하는 데 크게 작용합니다.12,14 실무자들은 "성찰이 '효과가 있다'는 것을 '증명'하기 어렵기 때문에 결국 [성찰이] 목표에 미치지 못한다고 인식할 수 있습니다."17(p468) 우리는 결정할 수 없는 순간, 심지어 광기의 순간은 의학 교육에서 감당하기 어렵다는 것을 제안합니다. 그것을 받아들일 수 없는 사람들은 그 공백을 메우려고 노력합니다. 이러한 비판적 관찰은 여전히 우리가 "간극을 메우기를 거부할 때" 어떻게 성찰을 실천할 수 있는지에 대한 의문을 남깁니다. 다음 섹션에서는 의학교육과 의료 실무에서 성찰을 위한 세 가지 구체적인 권장 사항을 제시합니다. 
As Stella Ng and colleagues argued, the pursuit to pinpoint all benefits of reflection plays heavily into a reductive understanding of reflection as a means to utilitarian ends.12,14 Practitioners “may eventually perceive [reflection] as falling short of its goals because it is difficult to ‘prove’ reflection ‘works’.”17(p468) We suggest that the moment of undecidability, or even madness, is difficult to swallow in medical education. Those who cannot accept it, attempt to fill the gaps. These critical observations still leave us with the question how reflection can be practiced if we refuse to “fill the gaps.” In the next section, we provide three concrete recommendations for reflection in medical education and medical practice.

세 가지 권장 사항
Three recommendations

철학 전통에서 성찰에 대한 개념 분석과 이것이 성찰에 대한 현대 연구와 어떻게 관련되는지에 근거하여, 우리는 성찰은 상황에 맞게 사용되어야 한다고 생각합니다.18 우리는 성찰에 "만능"은 없다는 것을 지지합니다.58 그럼에도 불구하고 성찰에 비판적으로 접근하지 않을 수 없으며, 철학적 고려를 통해 의학교육에 바람직한 몇 가지 권고안을 도출했습니다.
Based on our conceptual analysis of reflection in the tradition of philosophy, and how these relate to contemporary research on reflection, we think that reflection occurs in its situated use.18 We support that there is no “one-size-fits-all” to reflection.58 Nonetheless, this does not relieve us from critically approaching reflection, and our philosophical considerations led us to certain preferred recommendations for medical education.

첫째, 우리는 고독한 성찰 활동보다 공동의 성찰 활동을 우선시할 것을 권장하며, 이를 통해 현장의 사례가 번성하고 생생하게 살아날 수 있습니다. 성찰 에세이, 과제물 또는 포트폴리오 형태의 서면 성찰도 장점이 있다는 것을 부정하지는 않습니다. 예를 들어, 성찰을 훈련하거나 "자신의 의식적인 마음에서 두 번째 의견을 얻을 수 있습니다."36(550쪽) 그럼에도 불구하고, 우리의 철학적 고려에 따르면, 우리는 실무자가 이론과 실천의 격차와 씨름할 때 개인의 감각과 대조되는 공동체의 감각을 적극적이고 즉각적으로 표현하는 성찰 활동을 더 선호합니다. 이러한 교류는 실무자가 고독한 성찰 활동을 통해 개인적 감각에 '고착'59되는 것을 방지합니다. 그룹 성찰 활동은 구체적인 사례를 바탕으로 의료계의 공동체적 감각을 교정할 수 있는 보다 상호작용적인 수단을 제공합니다.42,60 실제로 네덜란드 GP 전문 수련의 경험 교환(EoE) 라운드와 같은 (성찰적) 토론 그룹을 긍정적인 예로 들 수 있습니다.40-42 일주일에 한 번, 두 명의 교사가 감독하는 소그룹의 GP 레지스트라가 모여 열린 대화 환경에서 임상 경험에 대해 토론합니다. 그룹 토론은 구체적인 경험에 대해 개인과 공동체적 의미(다른 개인으로 대표되는) 사이의 다양한 관점을 즉각적으로 교환하도록 유도합니다.40-42 이러한 공유된 의미 만들기는 "전문가 정체성 형성을 촉진합니다."42(876페이지).  
First, we recommend giving precedence to communal reflective activities over solitary ones, wherein situated examples can flourish and come to life. We do not deny that written reflections in the form of reflective essays, written assignments, or portfolios have some merit. For instance, they could train introspection, or “getting a second opinion from your own conscious mind.”36(p550) Nonetheless, based on our philosophical considerations, we prefer reflective activities that include active and immediate representation of the communal sense that contrasts with one’s individual sense when practitioners wrestle with the theory–practice gap. Such exchanges curb practitioners from being “stuck”59 in their individual sense through solitary reflective activities. Group reflection activities provide more interactive means for calibrating the communal sense of the medical profession based on concrete examples.42,60 Practically, we take (reflective) discussion groups as a positive example, for instance the Exchange of Experience (EoE) rounds in the Dutch GP specialty training.40–42 Once a week, a small group of GP registrars under supervision of two teachers come together to discuss their clinical experiences in an open, dialogic environment. Group discussions entice immediate exchanges of diverse perspectives between the individual and communal sense (as represented by other individuals) about concrete experiences.40–42 Such shared meaning making “promotes the formation of professional identities.”42(p876)

둘째, 자신의 직업적 정체성을 위해 성찰을 사용할 때, 우리는 성찰을 위한 공식적인 지침과 모델을 실무자가 어떻게 성찰해야 하는지를 지시하는 규범적 모델이 아니라 성찰을 위한 영감의 원천으로 사용할 것을 권장합니다.18,61 우리는 성찰은 체계화에 저항하며, 형식적으로 규칙을 배우는 것은 성찰과는 다른 것이라는 칸트의 주장에 근거합니다.26,62 따라서 칸트에게 성찰은 실천과 (상황에 맞는) 사례에 직면함으로써 훈련되는 것입니다. 구체적으로 앞서 언급한 네덜란드의 EoE 토론 그룹을 다시 한 번 사례로 들어보겠습니다. EoE에서는 경험이 중심이 됩니다. 등록의사는 안전한 환경에서 토론하는 동안 판단력을 키울 수 있도록 상황에 맞는 사례에 대한 이야기를 들려줍니다.60 이러한 토론은 지시되지 않고 "구조화된 자발성"으로 이루어집니다.40,42 토론은 지저분해지지만,40 등록의사는 경험을 자유롭게 토론할 수 있는 (안내된) 자유가 전문성 개발에 도움이 된다는 것을 알게 됩니다.42 
Second, when it comes to using reflection for one’s professional identity, we recommend using formal guidelines and models for reflection as sources of inspiration to reflect, and not as normative models that dictate how practitioners should reflect.18,61 We ground our recommendation in the Kantian argument that reflection resists systematization and that formally learning rules is something other than reflection.26,62 Thus, for Kant, reflection is trained by practice and by being confronted with (situated) examples. Concretely, we take the aforementioned Dutch EoE discussion groups as a case in point once more. In EoE, the experiences take center stage. Registrars tell stories about situated examples that allow them to sharpen their judgments during discussions in a safe environment.60 These discussions are not dictated, but take shape as “structured spontaneity.”40,42 The discussions become messy,40 but registrars find that having (guided) freedom to discuss experiences is valuable for professional development.42

셋째, 성찰에 대한 공식적인 지침을 영감으로 삼는다면 성찰에 대한 평가도 재고해야 합니다.63 성찰에 대한 평가는 종종 특정 규칙을 준수하는지 확인하는 것으로 귀결되는데, 성찰에 대한 명확한 평가 지침이 자의성과 편견의 문제에 대응하려는 의도는 이해하지만, 그러한 평가는 규칙을 올바르게 따르고 평가를 통과하려는 행동을 선동합니다.62,64 반대로 칸트적 의미에서 성찰은 규칙 준수 이상의 의미를 가지므로 성찰이 충분히 이루어졌는지 평가하려면 반드시 "광기의 순간(이론-실천 격차를 뛰어넘는)"을 포함하게 될 것입니다. 가이드라인은 그 간극을 메울 수 없으므로 신중하게 사용해야 합니다. 또한, 도약은 혼자 하는 것이 아니기 때문에 동료 전문가들의 공동 감각과 자신의 감각을 비교해야 합니다. 요컨대, 이론과 실제의 간극과 개인과 공동체의 감각의 간극은 평가자에게도 여전히 존재하며, 특히 성찰에 있어서는 더욱 그렇습니다. 
Third, when we take formal guidelines for reflection as inspiration, then we also must reconsider assessing reflection.63 Assessment of reflection often comes down to checking if certain rules are followed, and although we understand that clear assessment guidelines for reflection intend to counter problems of arbitrariness and bias, such assessment instigates behavior to correctly follow the recipe and pass the assessment.62,64 Conversely, reflection in the Kantian sense moves beyond following rules, so assessing whether or not reflection sufficiently took place will necessarily involve moments of “madness” (leaping over the theory–practice gap). Guidelines cannot fill the gap and should be used with caution. Moreover, one is not alone in leaping, and therefore must check one’s individual sense against the communal sense of fellow professionals. In sum, the theory–practice gap and the individual–communal sense gap remain in place for assessors too, particularly when it comes to reflection.

결론
Conclusion

성찰의 이점은 (잠재적으로) 풍부합니다. 성찰에 관한 연구에 대한 문헌 검토는 이러한 이점을 나열하고 검증하려고 시도하지만, 우리는 성찰이 왜 그렇게 많은 이점을 가질 수 있는지 철학적으로 분석했습니다. 철학적 전통을 바탕으로 우리는 성찰의 본질적인 역할을 하는 두 가지 간극이 존재한다고 주장했습니다. 한편으로는 실무자가 메우는 이론과 실천의 간극이 있고, 다른 한편으로는 실무자가 특정 상황에서 자신의 직업에 대한 공동체적 감각과 반대되는 개인적 감각을 메우는 것입니다. 
The benefits of reflection are (potentially) abundant. While literature reviews about research on reflection attempt to list and validate these benefits, we philosophically analyzed why reflection can have so many benefits. Based on the philosophical tradition, we argued that there are two gaps that play an inherent role in reflection. On the one hand, there is the theory–practice gap that practitioners bridge; on the other hand, practitioners bridge an individual sense opposed to a communal sense of their profession in particular situations.

칸트, 아렌트, 하이데거, 데리다와 같은 철학자들은 성찰이 이러한 간극을 좁히는 데 도움이 될 수 있으며, 이를 실천할 수 있음을 보여줍니다. 그러나 그들은 또한 성찰이 그 자체로 체계화에 저항한다고 경고합니다. 이러한 양쪽의 간극을 메울 수 있는 최종적인 열쇠를 형성하는 명확한 규칙이나 프로토콜은 존재하지 않습니다. 그러면 성찰은 단지 개별적이고 학습 가능한 기술이나 특정 목적을 위한 경험적으로 검증된 수단에 그치게 됩니다. 따라서 성찰을 학습 가능한 규칙으로 포착할 수 없다면, 성찰을 평가하는 데 유보적인 태도를 보여야 합니다. 한 쪽에서 다른 쪽으로 점프하는 것만 남아 있습니다. 실무자는 특히 전문가 커뮤니티에 속해 서로의 경험을 교환하면서 "간극을 염두에 두고" 점프를 연습할 수 있습니다. 
Philosophers like Kant, Arendt, Heidegger, and Derrida show that reflection can help cross these gaps, which one can practice. However, they also warn us that reflection, by its very condition, resists systematization. There is no definitive set of rules or protocols that form the final keystone to bridge both sides of these divides. Then, reflection also ceases to be merely an individual, learnable skill or an empirically validated means to some particular end. Consequently, if reflection cannot be caught in learnable rules, one should show reserve about assessing it. There only remains the jump from one side to the other. Practitioners can practice jumping, particularly when they are within a community of professionals and exchange their experience while they “mind the gap.”


Teach Learn Med. 2023 Jun-Jul;35(3):368-377. doi: 10.1080/10401334.2022.2142794. Epub 2022 Dec 8.

Mind The Gap: A Philosophical Analysis of Reflection's Many Benefits

Affiliations

1Department of General Practice, Erasmus University Medical Center, Rotterdam, The Netherlands.

2Faculty of Arts, University of Groningen, Groningen, The Netherlands.

PMID: 36475951

DOI: 10.1080/10401334.2022.2142794

Abstract

Issue: Expectations of reflection run high in medical practice and medical education; it is claimed as a means to many ends. In this article, the authors do not reject the value of reflection for medical education and medical practitioners, but they still ask why reflection can (potentially) yield so many different benefits, and what that implies for the status of reflection in medical education practice. Evidence: Based on a conceptual analysis of debates about reflection in the philosophical tradition, the authors argue that there are two quintessential gaps that play a role in the proliferation of (potential) benefits. First, reflection deals with bridging the gap between theory and practice; second, it deals with bridging the gap between the individual sense and communal sense. These gaps prevent the systematization of reflection, and they are fundamental to human thinking and experience in any situated environment, which led contemporary research on reflection to list a wide variety of benefits. Implications: The authors argue that if reflection resists systematization, it cannot be learned by following rules or protocols, but only practiced. Then, reflection should no longer be taught and researched as an individual skill one learns, nor as a means to some particular, beneficial end. Rather, one should practice reflection, and experience what it means to be part of a community wherein professionals jump the theory-practice gap constantly in a myriad of situations. Based on their analysis, the authors provide three concrete recommendations for reflection in medical education. First, to give precedence to reflective activities that encompass both gaps wherein situated examples can flourish; second, to use reflective guidelines as sources of inspiration; third, to show reserve about assessing reflection.

Keywords: Benefits; Communal Sense; Philosophical Analysis; Reflection; Theory Practice Gap.

 

반대편-질환에-존재함: 의학교육과 임상진료의 현상학적 존재론(Teach Learn Med, 2023)
Being-Opposite-Illness: Phenomenological Ontology in Medical Education and Clinical Practice
John Humm

소개
Introduction

질병은 환자에게만 일어나는 일입니다. 이것은 의대생으로서 일찍부터 배우는 중요한 교훈입니다.
Illness is something that happens only to patients. This is an important lesson you learn early on as a medical student.

헨리 마쉬1(p215)
Henry Marsh1(p215)

해를 끼치지 마라
Do No Harm

현상학은 의학에 유용한 도구입니다. 질병에 대한 생생한 경험에 대한 서술적이고 상세한 설명은 정량적인 과학적 탐구만으로는 놓칠 수 있는 특징을 밝혀냅니다.2 현상학은 인간 존재론의 근본적인 측면을 밝혀낼 수 있습니다.3 이 작업에서 '존재론'과 '존재론적'은 하이데거의 존재에 대한 연구를 의미합니다.4 우리의 존재론 또는 존재 방식의 다른 측면이나 변화는 우리가 세계를 경험하는 방식을 변화시킵니다. 이러한 개념을 처음 접하는 독자들을 위해 간단한 예를 들자면, 드 보부아르의 여성됨 연구는 여성으로서의 경험에 대한 현상학적 고찰을 기반으로 합니다.5 드 보부아르는 자신과 다른 여성들의 일상적 경험에 대한 고찰을 통해 "여성으로 태어나는 것이 아니라 오히려 여성이 되는" 존재론적 변화로서 여성이 되는 것을 제시합니다.5(295쪽) 이 연구는 이러한 접근법을 의과대학생들의 경험에 적용하고 있습니다. 의대생으로서 환자와 상호작용하는 경험과 이것이 시간이 지남에 따라 어떻게 변화했는지에 대한 현상학적 설명을 제공하는 것이 저의 의도입니다. 이를 통해 의사의 존재론에 대한 논의를 시작하고자 합니다.  
Phenomenology is a useful tool for medicine. Descriptive, detailed accounts of lived experiences of illness bring to light features that can be missed by quantitative scientific inquiry alone.2 Phenomenology can reveal underlying aspects of human ontology.3 Ontology’ and ‘ontological’ in this work refer to Heidegger’s study of being developed.4 Different aspects of, or changes to, our ontology, or way-of-being, change the way we experience the world. To use a simplified example for readers new to these concepts: de Beauvoir’s study of being female is based on a phenomenological examination of her experience of being a woman.5 De Beauvoir presents becoming a woman as an ontological transformation over time, “one is not born, but rather becomes, a woman,” in part through her examination of her and other women’s everyday experiences.5(p295) This work applies this approach to the experience of medical students. My intention is to provide a phenomenological description of my experience as a medical student interacting with patients, and how this has changed over time. By doing so, I intend to open a discussion on the ontology of the doctor.

질병은 근본적으로 세상을 경험하는 방식에 영향을 미칩니다.2 하이데거의 용어를 빌리자면, 질병은 환자의 세계 내 존재에 영향을 미칩니다. 저는 질병을 목격하고 치료하는 것 또한 존재론적 영향을 미칠 수 있다고 제안합니다.4 저는 이것이 의사에게 독특한 존재 방식을 초래한다고 주장하며, 이를 위해 질병-반대편의-존재라는 용어를 사용합니다. 간단히 말해, 질병-반대편의-존재환자를 객관화함으로써 발생하는 존재론적 결과를 말하는데, 이는 질병을 보는 것에 대한 신체적 반응을 줄이기 위해 필요한 것으로 보입니다. 
Illness fundamentally affects one’s way of experiencing the world.2 To use Heidegger’s term: it affects a patient’s being-in-the-world. I suggest witnessing and treating illness can also have ontological effects.4 I argue this results in a unique way of being for the doctor, for which I use the term being-opposite-illness. In brief, being-opposite-illness refers to the ontological result of objectifying patients, which appears to be required to reduce one’s bodily response to seeing illness.

현상학은 의학교육에도 유용한 도구로 활용되고 있습니다.6,7 특히, 현상학은 일상적인 경험을 주의 깊게 살펴봄으로써 겉으로 보기에 별것 아닌 사건이 그 경험의 근본 구조를 어떻게 숨길 수 있는지를 보여줍니다. 이러한 영향력을 인정하고 그에 따라 행동하면 의학교육자가 교육 실습에 대한 새로운 접근 방식을 만들어내는 데 도움이 될 수 있습니다. 또한 이 작품은 철학을 배우고 읽으면서 의대생인 제가 환자를 보는 방식이 어떻게 바뀌었는지 보여줍니다. 
Phenomenology has also been shown to be a useful tool for Medical Education.6,7 Specifically, phenomenology’s careful examination of everyday experiences demonstrates how seemingly unremarkable occurrences can hide underlying structures of those experiences. Acknowledging and acting on these influences can help medical educators produce renewed approaches to educational practice. Furthermore, this work shows how learning and reading philosophy changed the way I, a medical student, see patients.

이 작업은 세 부분으로 나뉩니다.

  • 첫 번째 섹션에서는 철학적 방법으로서의 현상학을 소개하고 신체에 대한 생물 의학적 관점과 현상학적 관점의 차이점을 강조합니다.
  • 섹션 2에서는 현상학적 설명의 층위를 구축하기 위한 세 가지 유형의 경험, 즉 타자와의 기본적인 만남(우리가 다른 사람과 상호작용하는 방식), 질병과의 만남(우리가 아프거나 다친 사람을 경험하는 방식), 임상적 만남(의사가 환자와 상호작용하는 방식)에 대해 설명합니다. 임상적 만남과 일반인이 질병을 접하는 방법의 핵심적인 차이점은 질병을 대면하는 것입니다.
  • 섹션 3에서는 두 의사의 1인칭 이야기를 살펴봅니다: 헨리 마쉬1와 폴 칼라니티입니다.8 이 두 의사의 이야기는 '반대되는 질병'과 그것이 의사와 의사-환자 관계에 미치는 영향에 대한 강력한 예시를 제시합니다.

This work is split into three sections.

  • In section one, I introduce phenomenology as a philosophical method and stress the differences between biomedical and phenomenological views of the body.
  • In section two, I describe three types of experience to build up layers of phenomenological description: the basic encounter with the Other (how we interact with any other person), the encounter with illness (how we experience someone who is ill or injured), and the clinical encounter (how doctors interact with patients). Being-opposite-illness is a key difference between the clinical encounter and how the public may encounter illness.
  • In section three, I explore first-person accounts from two doctors: Henry Marsh1 and Paul Kalanithi.8 I suggest both accounts provide powerful illustrations of being-opposite-illness and its effect on doctors and the doctor-patient relationship.

용어를 정의하고 설명의 한계를 설정하기 위해.

  • '타자'는 우리가 만나는 또 다른 사람입니다.9
  • '의사'는 서양의 현대 전통 의료에서 훈련된 임상의를 의미합니다.
  • '환자'는 질병을 가진 개인을 의미합니다.
    • 질병disease은 "신체의 생리적 기능 장애"를 의미합니다.2(p1) 이 '병리학적 해부학'은 의학적 시선의 초점입니다.10(p152)
    • 대신, 질환illness은 "심각하고 만성적이며 삶을 변화시키는 불건강"이라는 주관적인 삶의 경험을 의미합니다.2(p2) 우리는 이것이 환자와 의사가 질병과 상호작용하는 방식 사이에 중요한 구분임을 알게 될 것입니다.
  • 임상적 만남이란 의사와 환자 간의 대면 만남을 의미합니다. 여기에는 상담과 신체 검사는 물론 수술과 같이 의사가 직접 대면하여 수행하는 치료가 포함됩니다.
  • 또한 일반 대중이 질병과 만나는 과정도 탐구합니다. 여기서 '일반인'이란 의학적 교육을 받지 않은 일반인을 의미합니다.

마지막으로, 이 연구는 저나 특정 의사에 대한 단일 임상 사례와 그 존재론적 영향에 대한 조사가 아닙니다. 그보다는 임상적 경험, 의사, 환자에 대한 일반화를 시도하여 필수적인 특징을 파악하고 마지막 섹션에서 텍스트 분석을 통해 이를 뒷받침합니다. 
To define the terms and set out the limits of my description.

  • The ‘Other’ is another person which we encounter.9 
  • ‘Doctor’ refers to the trained clinician of western contemporary conventional healthcare.
  • ‘Patient’ refers to an individual with illness.
    • Disease refers to “physiological dysfunction of the body.”2(p1) This ‘pathological anatomy’ is the focus of the medical gaze.10(p152) 
    • Instead, illness denotes the subjective lived experience of “serious, chronic, and life-changing ill health.”2(p2) We will see this be an important separation between the way patients and doctors interact with illness.
  • By clinical encounter, I refer to the face-to-face meeting between doctor and patient. This includes the consultation and physical examination, as well as treatments conducted by doctors face-to-face, such as surgery.
  • I also explore the general public’s encounter with illness. By ‘public’ I refer to non-medically trained members of the general population.

Lastly, this is not an examination of a single clinical encounter and its ontological effects upon me or a specific doctor. Rather, I attempt generalization of the clinical encounter, doctor, and patient to identify essential features and support this with textual analysis in the final section.

다른 일인칭 현상학과 마찬가지로, 제 경험은 백인, 유능한 신체, 시스젠더 남성으로서의 제 구체화embodiment에 의해 결정됩니다. 이러한 범주에 속하지 않는 사람들의 생생한 경험은 저와 다를 것입니다. 따라서 여기서 제가 설명하는 것은 단지 출발점에 불과합니다. 또한, 저의 현상학적 분석은 학부 시절 의과대학을 다니며 겪은 생생한 경험에 뿌리를 두고 있으며, 그 경험으로부터 확장됩니다. 의학교육은 국제적, 기관적, 개인적 수준에서 매우 다양합니다. 따라서 저는 현대 서양의 생물 의학에서 훈련받은 모든 사람들에게 공통적인 의학교육과 임상 실습의 측면을 끌어내려고 노력했습니다. 
As with any first-person phenomenology, my experience is dictated by my embodiment as a white, able-bodied, cis-gender male. The lived experience of those who do not identify with these categories will be different from my own. Thus, my description here intends to be only a starting point. Furthermore, my phenomenological analysis is rooted in, and spreads outwards from, my lived experience through medical school as an undergraduate. Medical education varies significantly at the international, institutional, and individual levels. Hence, I have attempted to draw on aspects of medical education and clinical practice common to all those who have trained in modern Western biomedicine.

섹션 1: 배경
Section 1: background

데카르트, 생물의학, 객관화
Descartes, biomedicine, and objectification

데카르트가 신체를 확장된 존재로 규정한 것은 의학에 대한 서양의 과학적 접근 방식이 발전하는 데 매우 중요한 역할을 했습니다. 데카르트는 영혼은 신체가 아닌 비물질적인 정신에 붙어 있다고 주장하여 신체를 비종교적인 대상으로 만들었습니다. 이를 통해 이전에는 금지되었던 시체 해부를 통해 신체를 과학적으로 연구할 수 있게 되었습니다.11 푸코10는 해부학의 발달에 따른 의료 행위의 변화를 이야기합니다. 그는 '병리학적 해부학'에 대한 과학적 연구가 질병에 대한 새로운 이해를 가능하게 했고, 이는 환자 개개인의 추상화를 촉진했다고 주장한다.10(152쪽) 해부를 통해 처음으로 "서구인은 자신의 눈에 자신을 과학의 대상으로 구성할 수 있었다."10(243쪽) 따라서 푸코의 대상화하는 의료 시선의 발전은 데카르트적 존재론에 의존했다. 
Descartes’ designation of the body as res extensa was vital for the development of the western scientific approach to medicine. Descartes argued the soul was attached to the immaterial mind, not the body, making the body a non-religious object. This allowed the body to be studied by science through the dissection of cadavers, which was previously prohibited.11 Foucault10 recounts the resulting changes in medical practice following the development of dissection. He argues the scientific study of ‘pathological anatomy’ enabled a new understanding of disease which encouraged abstraction of the individual patient.10(p152) Through dissection, for the first time, “western man could constitute himself in his own eyes as an object of science.”10(p243) Therefore, the development of Foucault’s objectifying medical gaze depended on cartesian ontology.

현대의 생물심리사회적 임상 실습은 동일한 존재론적 가정을 유지하며 신체-객체에 초점을 맞추고 있습니다.11,12 따라서 객관화는 2.3절에서 살펴본 임상적 만남의 필수적인 부분이 됩니다. 다른 철학 작품들에서도 임상 검사가 객관화되는 촉감, 시선, 청진을 가지고 있음을 보여주었습니다.10,13-15 또한 푸코10 는 병력기록의 언어가 증상(환자의 생생한 경험)에서 벗어나 신체-객체의 기저질병의 식별자로 이동하면서, 주로 개별 주체로서의 환자를 건너뛰는 변화를 언급하고 있습니다. 
Modern biopsychosocial clinical practice keeps the same ontological assumptions and focuses on the body-object.11,12 Thus, objectification becomes an essential part of the clinical encounter explored in Sec. 2.3. Other works of philosophy have shown the clinical examination to have an objectifying touch, gaze, and auscultation.10,13–15 Furthermore, Foucault10 recounts changes in the language of the history-taking: moving away from symptoms (lived patient experiences) and toward identifiers of underlying disease of the body-object, largely bypassing the patient as an individual subject.

신체와 질병의 현상학
Phenomenology of the body and illness

현상학은 우리에게 나타나는 대로 경험을 주의 깊게 연구하는 학문입니다. 이러한 강조점은 데카르트와 비교하여 신체에 대한 태도를 상당히 다르게 만듭니다.2,16 우리가 일상에서 사물 또는 현상과 상호 작용하는 방식을 신중하게 고려할 때, 우리의 마음과 신체는 분리할 수 없습니다. 그것들은 내가 나라고 이해하는 하나의 존재의 일부입니다. 매일 나에게 있는 그대로의 내 몸, 즉 살아있는 몸은 우리가 세상을 경험할 수 있게 해줍니다. 나는 내 몸을 마치 사물처럼 만지고 경험할 수 있지만, 내가 먼저 체화되어 있기 때문에 만질 수 있습니다.16,17 
Phenomenology is the careful study of experience as it appears to us. This emphasis results in significantly different attitudes to the body compared to Descartes.2,16 When we carefully consider how we interact with objects, or phenomena, in the everyday, our mind and body are inseparable. They are part of one being which I understand to be myself. My body as it is for me each day, or the lived body, enables our experience of the world. I can touch and experience my own body as if it were an object, but I can only touch because I am first embodied.16,17

하이데거4는 현상학을 사용하여 인간 존재를 가능하게 하는 근본적인 구조 또는 '존재'의 방식을 탐구합니다. 그는 독일어로 완전히 통일된 존재 방식을 설명하기 위해 긴 신조어를 만들어 냈습니다. 이 단어들은 원래의 의미를 유지하기 위해 영어로 번역할 때 하이픈으로 연결됩니다. 세계-안-존재는 인간이 세계 자체와 분리될 수 없으며, 우리가 항상 세계 안에서 이미 자신을 발견하는 방식을 설명합니다. 이것은 존재의 본질적이고 피할 수 없는 부분입니다.4 하이데거의 연구를 바탕으로 사르트르9는 일상적인 세계 경험에서 침묵-속-지나쳐버리는 신체에 대해 설명합니다.

  • 내 몸은 내 관심의 초점이 되는 경우는 거의 없으며, 그 대신에 내가 하고 있는 일을 완수할 수 있게 해주는 배경이 됩니다.
  • 이와는 대조적으로, 질병에 걸리면 우리의 프로젝트는 중단되고 몸은 더 이상 침묵 속에서 지나치지 않고 세계 안에서 하나의 대상으로서 자신을 드러내고 우리의 주의를 끌게 됩니다.2,18,19 질병은 또한 우리가 세계와 상호 작용하는 방식에 영향을 미치므로 세계-속-존재에 영향을 미칩니다.2,18

다음 섹션에서는 타자에서 질병을 목격하는 것을 제안하며, 몸은 질병에서와 마찬가지로 더 희미하고 미묘하지만 대상으로서 자신을 다시 드러냅니다.
Heidegger4 uses phenomenology to examine the underlying structures or ways of ‘being’ which make human existence possible. In German, he forms long new words intended to describe complete unified ways of being. These are hyphenated when translated to English to maintain this original meaning. Being-in-the-world describes human inseparability from the world itself and how we always already find ourselves within the world. This is an essential, unavoidable part of being.4 Building on the work of Heidegger, Sartre9 describes the body as normally passed-by-in-silence in my everyday experience in the world.

  • My body is rarely the focus of my attention, instead, in the background, it enables me to complete whatever task I happen to be doing.
  • In contrast, in illness, our projects are interrupted, and the body is no longer passed-by-in-silence, it reveals itself as an object within the world and draws our attention.2,18,19 Illness also affects how we interact with the world and thus effects our being-in-the-world.2,18 

In the next section, I suggest witnessing illness in the Other, the body again reveals itself as an object, as it does in illness, however more faintly and subtly.

툼스18는 임상 현장에서 의사와 환자가 질병을 대하는 서로 다른 방식에 대해 관찰합니다. 툼스에게 있어 의사는 질환의 특정 측면에 집중하고, 이를 질병 진단으로 '주제화'합니다. 우리가 어떤 경험을 어떻게 주제화하는지는 궁극적으로 우리의 전기적 상황에 의해 좌우되는 마음의 습관에 달려 있습니다.18 따라서 의사가 질병신체-대상에 집중하는 방식은 의사-존재, 즉 의학교육에 따라 달라지며 그 결과입니다. 결정적으로, 투움스는 의사의 구체화된 경험에 대한 자세한 설명을 제공하지 않습니다. 따라서 저는 의사의 구체화가 임상적 만남 자체에 영향을 미치고, 임상적 만남이 의사의 구체화에 영향을 미친다는 것을 보여드리려고 합니다.
Toombs18 makes observations about the different ways doctors and patients attend to illness within the clinical encounter. For Toombs, doctors focus upon certain aspects of illness and ‘thematise’ it into a diagnosis of disease. How we thematise any experience is ultimately dependent upon habits of mind, which are dictated by our biographical situation.18 Therefore, the way in which doctors focus on disease and the body-object is dependent on, and results from, their being-a-doctor, and thus their medical education. Crucially, Toombs does not provide a detailed description of the embodied experience of the doctor. Therefore, I attempt to show the embodiment of the doctor influences the clinical encounter itself, and the clinical encounter influences the doctor’s embodiment.

섹션 2: 임상적 만남
Section 2: the clinical encounter

기본적인 만남
The basic encounter

다른 사람에 대한 나의 경험은 사물에 대한 나의 경험과 다릅니다. 나는 체화된 의식으로서 타자의 행동을 통해 다른 개인(또는 타자)이 나처럼 자신의 목표와 프로젝트를 향해 나아가는 것을 봅니다.17 역동적이고 복잡하며 체화된 행동에서 타자를 나와 같은 존재로 봄으로써 나는 나 자신이 그들과 같은 존재임을 깨닫습니다. 타자의 생동감 있는 행동을 통해 나는 타자가 다른 어떤 대상처럼 행동하지 않으며, 나 역시 마찬가지라는 것을 알게 됩니다. 분명히 말하지만, 이것은 우리 자신의 행동과 타자의 행동을 신중하게 고려한 후 내리는 지적인 판단이 아니라, 우리가 타자를 경험하는 기본적인 방식입니다.16
My experience of another person is different to my experience of objects. Through their behavior, as embodied consciousnesses, I see other individuals (or the Other) orientate themselves toward their goals and projects as I would.17 By seeing the Other as being like me in their dynamic, complex, embodied behavior, I realize myself as being like them. Through their animated behavior, I see the Other does not behave like any other object, and neither do I. To be clear, this is not an intellectual judgment we make after carefully considering our own behavior and the behavior of the Other, rather it is the basic way in which we experience the Other.16

[저는 타자의 질병에 대한 우리의 반응]이 타자와 유사한 구체화에 달려 있다고 제안합니다. 나와 테이블과의 만남은 타자와의 만남과 동일하지 않습니다. 따라서 테이블 다리가 부러지는 것에 대한 나의 경험과 반응은 누군가의 다리가 부러지는 것을 보는 것과는 근본적으로 다릅니다. 타자의 질병, 고통, 경험에 대한 나의 즉각적인 반응은 그들과 유사한 나의 구체화에 뿌리를 두고 있습니다.
I suggest, our response to the illness of the other depends on this similar embodiment to the Other. My encounter with the table is not the same as my encounter with the Other. Therefore, my experience and reaction to breaking a table leg are fundamentally different to seeing someone break their leg. My immediate reaction to the Others illness, pain, and experience is rooted in my similar embodiment to them.

질환과의 만남
The encounter with illness

병에 걸린 사람은 저마다 독특한 경험을 하게 됩니다. 병에 걸리기까지의 개인의 경험, 현재 상황, 특정 병리에 따라 각 질병의 사례는 독특합니다. 그러나 철학자들은 이러한 경험의 근본적인 특징이 모두에게 공통적이라고 제안합니다.2,18 이 섹션에서는 아프거나 아프게 된 타자를 만나는 경험에서 유사한 근본적인 구조를 탐구하는 것을 목표로 합니다. 
Each individual who becomes ill will have a unique experience. A person’s experience up to the point of becoming ill, their current situation and the specific pathology make each instance of illness unique. However, philosophers suggest there are underlying features of this experience that are common to all.2,18 This section aims to explore the similar underlying structures in the experience of encountering the Other who is, or becomes, ill.

노인이 길에 쓰러지는 것을 보면 지나가던 사람들은 움찔하고 몸을 움츠리게 됩니다. 누군가 다치는 것을 보면 마치 자신의 몸을 보호하듯 팔을 가슴으로 가져갑니다. 아이가 이빨을 부러뜨리는 것을 보면 내 이빨에 불편한 감각이 느껴집니다. 정형외과 의사가 환자에게 부상이 어떻게 발생했는지 설명하는 동안 저는 대퇴골이 부러진 엑스레이를 보며 다리를 잡습니다. 의과대학에 입학하기 전, 열일곱 살 때 처음 수술을 본 저는 메스꺼움에 압도되어 집중할 수 없었고 기절했습니다. 쓰러진 사람이든 인공호흡기를 달고 있는 사람이든 병에 걸린 사람을 보면 즉각적인 무의식적 신체 반응이 일어납니다. 이러한 반응은 나에게도 같은 질병이 발생할 수 있다는 의식적인 고려를 통해 일어나는 것이 아닙니다. 오히려 내가 무슨 일이 일어났는지 의식적으로 고려하기 전에 신체가 먼저 반응합니다. 이전 연구에서도 생체역학 시뮬레이션을 통해 학생들에게 이러한 정서적 반응이 존재함을 보여주고 그 교육적 중요성을 강조했습니다.20 묄러와 동료들은 학습자가 "자신의 신체와 관련된 [부상의] 시각적 표현을 맥락화하는 것이 교육적 가치가 있다고 결론지었습니다."20(p144). 
In seeing the old man fall on the street, passersby will wince and recoil. In seeing someone injure themselves, our arms are brought to our chests as if protecting our own bodies. I see a child knock their teeth out and there is an uncomfortable sensation within my own teeth. I grasp my leg looking at an x-ray of a broken femur as the Orthopedic surgeon explains how the injury occurred to the patient. Before medical school the first time I saw surgery, aged seventeen, I was overwhelmed with nausea, unable to concentrate, and fainted. There is an immediate unconscious, bodily response to seeing someone with an illness, whether this is someone falling or someone on a ventilator. This response does not occur through conscious consideration of how the same illness could occur to me. Rather, the body reacts before I have a chance to consciously consider what has occurred. Previous research has also shown the presence of and stressed the educational importance of this emotional response in students through biomechanics simulation.20 Möller and their colleagues concluded there is educational value for learners to “contextualize the visual representations [of injury] relative to one’s own body.”20(p144)

스타인의 공감 현상학은 최근 인지 과학계에서 주목을 받고 있으며 이러한 신체적 반응에 대한 설명을 제공합니다. 스타인은 공감의 기본 유형을 "다른 생명체의 경험을 느끼는 것"이라고 설명합니다.21(p746) 스타인은 다른 사람의 경험에 대한 신체적 반응이 공감의 한 유형이라고 제안합니다. 아프거나 다친 다른 사람을 볼 때 우리가 경험하는 신체적 반응이 바로 이러한 유형이라고 제안합니다. 이것은 우리에게도 같은 일이 일어날 수 있다고 상상하기 전에 일어나는 것이지, 우리가 상상해서 일어나는 것이 아닙니다. 사전 반사적 반응입니다. 타자의 질병에 대한 이러한 신체적 반응을 통해 우리의 관심의 초점은 질병 자체에서와 마찬가지로 아픈 사람에게서 우리 자신의 몸으로 바뀔 수 있습니다. 예를 들어, 저는 속이 메스꺼워 기절하지 않으려고 노력하면서 환자의 수술에 집중하는 것이 (당연히) 어렵다는 것을 알았습니다. 
Stein’s phenomenology of empathy has received recent attention in the cognitive sciences and provides an explanation for this bodily response. Stein describes a basic type of empathy as “felt experiences of other living bodies.”21(p746) Stein suggests bodily responses to the experiences of another is a type of empathy. I suggest, when we see another person who is ill, or who injures themselves, it is this type of bodily response we experience. This occurs before we might imagine the same happening to us, not because we do. It is pre-reflective. Through this bodily response to illness in the Other, the focus of our attention may turn away from the person who is ill and onto our own bodies, as it does in illness itself. For instance, I found it (unsurprisingly) difficult to concentrate on the patient’s surgical procedure while trying not to faint from the nausea in my stomach.

중요한 것은 스타인의 공감이 의사가 환자의 경험에 공감할 수 있는 다른 유형의 상상적 공감도 배제하지 않는다는 점입니다.21 따라서 환자의 신체적 대상에 대한 신체적 반응이 없더라도 의사와 환자 사이에는 다른 형태의 공감이 가능하다는 것입니다. 나는 직접 만난 적이 없고 전쟁을 느끼는 난민과 같이 공통된 경험을 거의 공유하지 않는 사람들과도 공감할 수 있습니다. 나는 그들의 경험을 의식적으로 상상하고 머릿속에서 재생함으로써 이를 달성할 수 있습니다. 스타인의 공감 현상학은 이러한 형태의 공감을 배제하는 것이 아니라, 신체적 반응을 통해 우리가 어떻게 전-의식적으로 공감할 수 있는지에 대한 설명을 제공합니다. 
Importantly, Stein’s empathy does not exclude other types of imaginative empathy, through which doctors may also relate to patient experiences.21 Therefore, even in the absence of bodily reactions to the body-object of the patient, other forms of empathy are possible between doctor and patient. I can empathize with people whom I have never met face to face and share little common experience, such as refugees feeling war. I may achieve this by consciously imagining their experiences and replaying them in my head. Stein’s phenomenology of empathy does not exclude this form of empathizing but rather provides an explanation for how we can empathize pre-consciously through a bodily reaction

자너는 『자아의 맥락』에서 신체-대상이 우리 자신이 아플 때만 자신을 드러낸다고 가정하는 것은 "완전한 순진함"이며, 대신 "건강한 신체에는 희미하게나마 존재한다."19(56쪽) 아이가 이빨이 빠지는 것을 볼 때, 우리는 자신의 이빨도 마찬가지로 빠질 수 있는 대상으로 인식하게 된다고 말한다. 반면에 평소에는 내 치아와 그 취약성을 인식하지 못합니다. 질병을 목격함으로써 신체는 더 이상 무심코 지나치지 않고, 내 몸이라는 대상을 세상 속에서 연약하고 취약한 존재로 인식하는 것으로 잠시나마 대체됩니다.
Zaner in The Context of Self states “it would be an utter naivety” to assume the body-object only announces itself in times of our own illness, instead it is “present, however faintly, in the healthy body.”19(p56) I suggest when we see the child knock their teeth out, we become aware of our own teeth as objects that could similarly be knocked out. Whereas, normally I am unaware of my teeth and their apparent fragility. Through seeing illness, the body is no longer passed-by-in-silence and is replaced, perhaps only briefly, by an awareness of my body-object as a fragile, vulnerable thing within the world.

또 다른 예로, 어머니가 채소를 썰다가 칼에 베는 모습을 보면 움찔하고 배가 뒤집어집니다. 심지어 무의식적으로 제 손가락을 잡을 수도 있습니다. 제가 어머니로부터 칼질을 이어받으면 어머니가 칼질하는 모습을 보지 않았을 때보다 더 조심스럽게 칼질을 합니다. 신체 반응을 통해 나는 손가락이 세상 안에서 연약한 물체라는 것을 인식하게 되었습니다. 자너는 타인의 질병을 마주하는 독특하고 불편한 본질을 암시합니다: 
Another example: if I see my mother cut herself while chopping the vegetables, I wince, and my stomach turns. I may even unconsciously grab my own finger. When I take over the cutting from her, I cut with more care than I would have if I had not seen her cut herself. Through my bodily reaction, I have become aware of my fingers as fragile objects within the world. Zaner alludes to the unique, uncomfortable nature of encountering illness in another:

실제로, [질병]이 그토록 특이한 극적인 힘, 즉 '정상인'이 병든 사람이나 불구자를 만났을 때 발생하는 침묵, 불안, 경외감을 주는 것은 바로 질병과 장애가 우리의 고유한 인간성에서 우리에게 직접적으로 영향을 준다는 점입니다.19(159쪽)
Indeed, what gives [illness] such peculiarly dramatic force—the hush, anxiety and awe engendered when the “normal” person encounters the ailing or the maimed—is precisely that illness and impairment affect us directly in what seems our unique humanity.19(p159)

[타자 안에 있는 우리 자신에 대한 인식과 우리 몸에 대한 인식]은 질병과의 만남에 그 심각성과 낯섦을 부여합니다. 질병과 정면으로 마주했을 때, 몸은 더 이상 침묵 속에서 지나치지 않습니다. 저는 자신의 몸에 대한 이러한 인식이 의료 행위와 교육에 도전을 준다고 주장합니다. 누군가 자신의 몸을 베는 것을 보고도 움찔한다면 어떻게 메스로 똑바로 베는 법을 배울 수 있을까요? 스물다섯 살의 제가 어떻게 기절하지 않고 수술을 보조할 수 있을까요? 의사에게는 어느 정도의 냉철한 객관적 사고가 필요하며, 의사들은 질병을 보는 것에 대한 신체적 반응이 줄어든 것으로 보입니다. 의학교육의 결과, 이름도 없고, 주소도 없고, 가르침도 없는 존재론적 변화가 이미 내 안에 일어난 것 같습니다. 이 변화의 결과는 정반대의 질병입니다. 이 점을 염두에 두고 이제 임상적 만남 자체에 대해 이야기해 보겠습니다. 
Our recognition of ourselves in the Other and our awareness of our own body gives the encounter with illness its salience and strangeness. When confronted with illness face-to-face, the body is no longer passed-by-in-silence. I argue, this awareness made of one’s own body presents a challenge to medical practice and education. If we flinch when we see someone cut themselves, how can we learn to cut straight with a scalpel? How am I now able to assist in surgery, aged twenty-five, and not faint? A certain level of detached objective thinking appears to be required from doctors, and doctors appear to have a reduced bodily response to seeing illness. As a result of medical education, an unnamed, unaddressed, and untaught ontological transformation appears to have already occurred within me. The result of this transformation is being-opposite-illness. With this in mind, we now come to the clinical encounter itself.

임상적 만남
The clinical encounter

일반인과 달리 의사는 의학교육을 통해 해부학, 병리학, 치료 옵션에 대한 광범위한 지식을 보유하고 있습니다. 툼스가 논의했듯이, 의학교육을 통해 질병을 질병으로 주제화하는 것이 가능해지며, 이는 환자를 진단하는 데 사용됩니다.18 의대생은 객관적이고 의학적인 시선으로 보는 법을 배웁니다.10 의사의 존재, 그들의 교육, 목표, 전문성이 임상적 만남을 일반 대중의 질병과의 만남과 구분 짓는 요소입니다. 다음으로 사르트르의 '시선' 현상학에 주목하여 환자의 대상화와 의사의 질병에 대한 신체적 반응의 감소를 연결해 보겠습니다.9(276-326쪽) 나는 대상화하는 자로서의 의사와 대상화되는 형태로서 환자들이 질병-반대편의-존재 존재론적 대립의 축을 형성한다고 제안합니다. 
Unlike the public, through medical education, doctors possess extensive knowledge on anatomy and pathology and treatment options. As Toombs discussed, through medical education, the thematization of illness into disease becomes possible and is used to diagnose patients.18 Medical students learn to look with an objectifying, medical gaze.10 It is the presence of the doctor, their education, goals, and expertise which distinguishes the clinical encounter from the general public’s encounter with illness. Next, I will focus on Sartre’s phenomenology of ‘the look’ to link patient objectification to the doctor’s reduced bodily response to illness.9(p276–326) I suggest the doctor as the objectifier and the patient as objectified forms the ontological axis of opposition for being-opposite-illness.

사르트르9는 열쇠구멍을 들여다보면서 사물로서의 자신의 몸을 인식하게 되었다는 이야기를 들려줍니다. 이전에는 문 너머에서 일어나는 일에 집중했다면, 누군가 오는 소리가 들리자 자신의 몸과 그 모습이 상대방에게 어떻게 보이는지 인식하게 됩니다. 타자의 시선이 불러일으키는 수치심을 통해 사르트르는 자신의 몸을 세상의 사물로 인식하게 됩니다. 수치심에 대한 사르트르의 설명은 신체-대상이 대상화되는 임상적 만남에서 환자가 느끼는 수치심에 대한 설명과 직접적으로 유사합니다.9,22
Sartre9 provides an account of becoming aware of his body-as-object while looking through the keyhole. While previously he was focused on what was occurring on the other side of the door, when he hears someone coming, he becomes aware of his own body and how it appears to them. Through the shame brought about by the look of the Other, Sartre becomes aware of his body as an object in the world. Sartre’s account of shame parallels directly with accounts of shame felt by patients within the clinical encounter, where one is objectified as their body-object is focused upon.9,22

우리가 타자를 대상으로 구성할 때 이러한 두려움에서 벗어나 "[자신을] 회복"할 수 있습니다. 열쇠구멍을 들여다보던 중 고개를 돌려 우리를 바라보는 타자라고 생각했던 것이 나무 그림자라는 것을 깨닫는다면, 우리는 더 이상 우리를 바라보지 않는다는 것을 깨닫고 몸은 다시 침묵 속으로 사라집니다."9(p313) 
One can escape this fear and “recover [oneself]” if we constitute the Other as an object. While looking through the keyhole, if we turn and realize what we thought was the Other looking at us is instead, say, the shadow of a tree, we realize we are no longer looked at and the body fades back into silence, since one cannot be an “object for an object.”9(p313)

대중질병을 마주할 때, 자신의 몸을 병을 가진 타자와 유사하게 형상화함으로써 자신의 몸을 세상에서 취약한 대상으로 인식하게 된다. 의사에 의한 환자 대상화는 환자를 하나의 객체로 구성한다. 의사는 대상화될 수 없기 때문에 의사는 주체로서의 존재를 유지하고, 신체적 반응을 제한하며, 따라서 의사의 초점은 자신을 넘어 환자에게로 향하게 됩니다. 질환-반대편에-존재함은 구체적으로 이러한 존재론적 극성을 의미합니다. 의사가 자신을 주체로 유지하면서 자신의 목표에 집중하고, 환자의 신체는 침묵 속에 지나가는 동안 환자는 객체로 축소됩니다. 임상에서 환자는 자신의 몸으로만 간주되는 경향이 있는 반면, 의사의 몸은 잊혀집니다. 
For the public’s encounter with illness, one recognizes their body as a vulnerable object in the world, through their similar embodiment to the Other-with-illness. Patient objectification by the doctor constitutes the patient as an object. Since the doctor cannot be objectified by an object, this maintains the doctor’s being-as-subject, limits their bodily response, and thus their focus remains beyond themselves and toward the patient. Being-opposite-illness specifically refers to this ontological polarity. The patient is reduced to an object as the doctor maintains themselves as a subject, tending to their goals, with their body passed-by-in-silence. In the clinical encounter, the patient tends to be considered as only their body, whereas the doctor’s body is forgotten.

극단적인 예를 들자면, 해부학 수업을 통해 환자의 다리를 테이블 다리와 다를 바 없는 것으로 경험할 수 있다면 대퇴골 고정을 위한 수술실에서 느끼는 메스꺼움이 현저히 줄어들 것입니다. 수술이 학문적 장인 정신의 절차에 지나지 않는다고 생각할 수 있었습니다. 또한 칼라니티는 해부 시 얼굴을 가리는 것을 고려합니다. 이는 환자를 객관화시키고 수술에 대한 신체적 반응을 제한합니다.8
To use a prior example, in the extreme, if anatomy class allows me to experience a patient’s leg as no different from a table leg, my nausea in the operating theater for a femur fixation would be significantly reduced. I could see the operation as nothing more than a procedure of academic craftsmanship. Furthermore, Kalanithi considers covering faces during dissection. This is objectifying for the patient and limits his bodily response to the procedure.8

전신 마취 상태에서 무의식 상태로 수술을 받는 환자는 클리닉에서 진찰을 받는 환자보다 더 객관화될 수밖에 없습니다. 그러나 저는 환자의 다리를 해부학적 모델과 다를 바 없는 완전한 객관화는 불가능하다고 주장합니다. 죽음에 이르러서도 시체에 대한 우리의 반응은 다른 물체와 동일하지 않습니다.4 의과대학에서 신체에 대해 배우면서 환자와 시체에 대한 신체적 반응은 감소합니다. 그러나 의사가 완전한 객관화가 불가능하다는 것을 보여주는 환자의 경험에 완전히 영향을 받지 않을 수는 없습니다. 이는 소진과 대리 외상이라는 잘 알려진 현상에서 잘 드러납니다.23,24 사실 의사가 객관화를 통해 거리를 두는 것은 환자에게 영향을 받을 수 있기 때문에 필요한 것일 수 있습니다. 제 경험에 따르면 수술 중에도 신체적 대상인 환자는 인간성을 유지하며 완전히 물건으로 환원되지 않습니다. 그럼에도 불구하고 객관화는 윤리적 우려와 논쟁을 불러일으킵니다. 환자와 시체는 테이블과 같은 물건이 아니며, 결코 그렇게 취급해서는 안 됩니다. 
The patient undergoing surgery, inert under general anesthesia, is no doubt objectified more than the patient examined in the clinic. However, I maintain that complete objectification—constituting the patient’s leg as no different from the anatomical model—is not possible. Even in death, our reaction to a cadaver is not the same as another object.4 As one learns about the body at medical school, one’s bodily response to patients and cadavers does reduce. However, doctors cannot remain completely unaffected by the experiences of patients showing complete objectification is not possible. This is shown in the well-documented phenomena of burnout and vicarious traumatization.23,24 In fact, doctors distancing themselves through objectification may only be necessary because they can be affected by their patients. In my experience, even in surgery, the patient as body-object maintains their humanity and are not reduced entirely to an object. Despite this, objectification raises ethical concerns and debates. Patients and cadavers are not objects like a table, and should never be treated as such.

의사가 환자를 객관화하는 데 어려움을 겪을 수 있는 마지막 예를 살펴보겠습니다. 일반의협의회 지침에 따르면 의사는 자기 가족 이외의 일반의에게 등록해야 합니다.25 부분적으로는 의사가 가족을 객관화하기 어렵기 때문에 객관적으로 정확하게 치료하는 것이 어렵다고 생각합니다. 외과의사가 자신의 가족을 수술해야 한다면 집중하기 어려울 것이라고 상상해 보십시오. 객관화가 부족하면 의사는 객관적으로 생각하지 못하고 질병에 대해 더 감정적이고 신체적으로 반응하게 됩니다. 우리는 가까운 사람을 주체로서 모든 것을 알고 있기 때문에 대상화하기 어렵습니다. 우리는 그들이 좋아하는 것, 싫어하는 것, 희망, 꿈을 알고 있습니다. 제가 주장했듯이 객관화가 부족하면 신체를 침묵-속에-지나가는-것으로 유지할 수 없습니다. 따라서 의사는 눈앞의 환자를 객관화하고 신체 반응을 제한 할 수있을 때 더 분리 된 방식으로 생각할 수 있으며, 이는 가족에게는 더 어렵습니다.
Let us explore a final example where the doctor may struggle to objectify the patient. General Medical Council guidance states doctors should be registered to a General Practitioner outside their family.25 I suggest, in part, it is difficult for doctors to treat their family objectively precisely because it is difficult to objectify them. One imagines if a surgeon was to operate on a member of their family, they would struggle to focus. The lack of objectification stops the doctor from thinking objectively and results in a more emotional, bodily response to illness. It is difficult to constitute a person close to us as an object because we are aware of everything they are as a subject. We are aware of their likes, dislikes, hopes, and dreams. As I have argued, a lack of objectification results in an inability to maintain the body passed-by-in-silence. Thus, doctors are more able to think in a detached manner when they can objectify the patient in front of them and limit their bodily response, and this is harder to do with a family member.

이 섹션에서 저는 타자의 질병을 볼 때 우리의 유사한 구현이 '신체적 취약성'의 경험, 즉 [우리 몸이 세계 내에서 취약한 대상으로 인식되는 불편한 경험]을 제시한다는 것을 보여 주려고 시도했습니다. 저는 환자를 대상화함으로써 임상에서 의사의 신체적 취약성을 감소시키는 것을 설명합니다. 이는 의사의 신체를 침묵-속에서-지나가는-존재로 유지하고 환자의 신체에 집중하도록 유도합니다. 이러한 변화는 의학교육을 통해 이루어지며, 이를 통해 학생들은 객관화된 의학적 시선으로 바라보고 질병을 질병으로 주제화할 수 있게 됩니다. 따라서 의학교육은 질병에 대한 학생의 반응이 대중과 일치하는 것에서 의사의 존재-대립-질병으로 바뀌는 존재론적 변화로 간주할 수 있습니다. 의학교육의 결과인 질병-반대편에-존재함의사의 고유한 존재론으로, 환자를 대상화하는 데 뿌리를 둔 질병에 대한 신체적 반응이 감소하는 것으로 입증됩니다. 
In this section, I have attempted to show when seeing illness in the Other, our similar embodiment presents the experience of ‘bodily fragility’: an uncomfortable experience through which our body is realized as a vulnerable object within the world. I account for the reduction of bodily fragility in doctors within the clinical encounter through patient objectification. This maintains their body as passed-by-in-silence and directs their focus toward the body of the patient. This transformation occurs through medical education, as this enables students to look with an objectifying medical gaze and thematise illness into disease. Thus, medical education can be considered an ontological transformation, where a student’s response to illness changes from one aligned with the publics to the doctor’s in being-opposite-illness. Being-opposite-illness, as a result of medical education, is the unique ontology of the doctor, demonstrated by the diminished bodily response to seeing illness, rooted in objectification of the patient.

 

섹션 3: 질병-반대편의-존재
Section 3: being-opposite-illness

이 섹션에서는 폴 칼라니티8와 헨리 마쉬의 유명한 일인칭 서술 두 편을 살펴봅니다.1 저는 이들의 분석을 통해 환자의 신체를 대상화하고 이것이 환자의 존재 방식에 어떤 영향을 미치는지에 초점을 맞추고자 합니다. 또한, 저자들이 직접 병에 걸렸을 때 병에 걸린다는 사실이 삶의 경험에 미치는 영향도 살펴볼 수 있습니다. 이 섹션에서는 이러한 유형의 문헌에 대한 포괄적인 검토를 제공하려는 의도는 없습니다. 대신 텍스트 분석에 중점을 두어 위에 제시된 주장에 대한 예시를 제공하고자 합니다. 
This section will look at two popular first-person accounts from Paul Kalanithi8 and Henry Marsh.1 My analysis focuses on their objectification of patients’ bodies, and how this impacts their way of being. Furthermore, the impact of being-opposite-illness upon lived experience can be seen when the authors fall ill themselves. This section does not intend to provide a comprehensive review of this type of literature. Instead, I focus on textual analysis to provide illustrations of the arguments put forward above.

칼라니티의 '숨결이 바람 될 때'8는 저자가 암과 싸워온 과정을 가슴 아프게 솔직하게 묘사한 책입니다. 의과대학 시절, 칼라니티는 "죽은 자를 객관화하여 말 그대로 장기, 조직, 신경, 근육으로 환원"하는 법을 배우는 것에 대해 이야기합니다.8(p49) 그러나 의대생이 된 첫날, 칼라니티에게 "시체의 인간성을 부정할 수는 없다."8(p49) 칼라니티가 시체를 점점 더 객관화하면서 그의 경험은 "혐오감, 상쾌감, 메스꺼움"이라는 신체적 느낌이 지배하는 것에서 단순히 "학문적 연습"의 경험으로 바뀌게 됩니다. "8(44쪽) 칼라니티는 시체를 '가짜'로 '가장'하고 얼굴을 가리는 것이 "일을 더 쉽게 해준다."8(45쪽) 여기서 우리는 해부학을 배워야 하고 신체 반응의 산만함으로 인해 제약을 받는 의대생에게 '질환-반대편에-존재함'이 미치는 영향과 유용성을 모두 볼 수 있습니다. 시체와 상호작용하는 것의 중요성과 특이성은 최근의 연구에서 탐구되었으며 칼라니티의 경험을 반영하고 있습니다.3 
Kalanithi’s8 When Breath Becomes Air is a heart-breaking candid account of the author’s fight with cancer. During medical school, Kalanithi discusses learning to “objectify the dead, literally reducing them to organs, tissues, nerves and muscles.”8(p49) However, for Kalanithi, on a medical student’s first day, “you simply [cannot] deny the humanity of the corpse.”8(p49) As Kalanithi increasingly objectifies the cadavers, his experience changes from one dominated by bodily feelings of “revulsion, exhilaration, [and] nausea” to an experience of merely “academic exercise.”8(p44) Kalanithi adds “pretending” cadavers are “fake” and covering their faces “makes work easier.”8(p45) Here we see both the impact and usefulness of being-opposite-illness to the medical student who needs to learn the anatomy and is limited by the distraction of bodily reactions. The salience and peculiarity of interacting with cadavers has been explored in more recent research and echoes Kalanithi’s experiences.3

칼라니티8는 외과의사로서의 경력에 대한 객관화를 계속하고 있습니다. 그는 환자가 아니라 "거대 동맥류, 뇌내 동맥 우회술, 동정맥 기형"과 같은 "케이스"를 가지고 수술실에 있다고 묘사합니다.8(p10-11) 저자와 가까운 사람에게 질병과 죽음이 닥쳤을 때 비로소 그는 [환자로부터의 분리]와 (자신을 이반 일리치의 의사와 비교하면서) ["다양한 진단"으로 "깔끔하게 포장하는" 방법]을 깨닫게 됩니다.8 (p85),26 나는 저자가 친구에 대한 친숙함과 그로 인한 객관화 불능이 그녀를 수술한다는 생각에 대한 불편한 신체적 반응을 불러 일으킨다고 제안합니다.
Kalanithi8 continues his objectification into his career as a surgeon. He describes being in theater, not with patients but, with “cases” such as “giant aneurysms, intracerebral arterial bypasses, arteriovenous malformations.”8(p10–11) It is only when illness, and death, strikes someone close to the author, he realizes his detachment from patients and how he “neatly packages” them into “various diagnoses,” comparing himself to Ivan Ilych’s doctor.8(p85),26 I suggest, the author’s familiarity with his friend and resulting inability to objectify them, drives the uncomfortable bodily reaction he has to the thought of conducting surgery on her.

환자를 대상화한 것이 칼라니티가 병에 걸렸을 때 어떤 영향을 끼쳤는지 알 수 있습니다. 그의 표현을 빌리자면, 그는 "의사에서 환자로, 행위자에서 피행위자로, 주체에서 직접적인 대상으로" 변모하고 그 영향은 그에게 미친다.8(180쪽) 마쉬의 서문을 인용하며 칼라니티는 자신의 병을 마치 환자에게 일어나는 일처럼 묘사하기로 한다: 
We can see the impact of his objectification of patients on Kalanithi’s embodiment when he becomes ill. In his own words, he transforms “from doctor to patient, from actor to acted upon, from subject to direct object” and its effect on him.8(p180) Echoing the epigraph quote from Marsh, Kalanithi chooses to describe his illness as if it were happening to a patient:

설명할 수 없는 체중 감소와 새로 시작된 허리 통증이 있는 35세의 환자에게 정답은 (C) 암입니다.8(p5)
thirty-five-year-old with unexplained weight loss and new-onset back pain—the obvious answer would be (C) Cancer.8(p5)

칼라니티는 자신의 질병으로부터 자신을 추상화하기로 결정합니다. 그는 자신의 질환을 가상의 환자의 질병으로 주제화합니다. 이를 통해 칼라니티는 매우 쉽게 진단을 내릴 수 있지만 자신의 병을 받아들이는 데 어려움을 겪습니다. 나중에 칼라니티는 신체를 대상으로 진단하는 것이 쉬워졌음에도 불구하고 자신이 암에 걸렸는지 의심하게 됩니다:
Kalanithi chooses to abstract himself from his own illness. He thematises his illness into the disease of an imaginary patient. Through this, Kalanithi can very easily provide a diagnosis but struggles to come to terms with the illness being his own. Later, Kalanithi doubts whether he has cancer, despite his ease when diagnosing the body-as-object:

(허리 통증의 해부학, 생리학, 환자들이 다양한 종류의 통증을 설명할 때 사용하는 여러 단어 등) 허리 통증에 대해 많이 알고 있었지만 어떤 느낌인지 몰랐다. 어쩌면 그게 전부였을지도 모른다.8(p12)
I knew a lot about back pain—its anatomy, its physiology, the different words patients used to describe different kinds of pain—but I didn’t know what it felt like. Maybe that’s all this was.8(p12)

이 구절들을 보면 칼라니티가 자신의 질환을 질병으로 주제화함으로써 자신의 병을 다루기가 더 쉬워졌다는 것을 알 수 있습니다. 칼라니티에게 질병은 대상화된 몸에서 일어나는 사건이며, 따라서 대개 침묵 속에서 무심코 지나치기 때문에 자신의 것이 아니다. 칼라니티는 질병을 데카르트적 신체-객체에서 발생하는 것으로 쉽게 이해하지만, 살아있는 현상학적 신체는 이해하지 못합니다.
It is clear from these passages Kalanithi finds it easier to deal with his illness by thematising it into disease. For Kalanithi, disease is an event in the objectified body and thus not his own as it is usually passed-by-in-silence and unfelt. Kalanithi readily understands illness as it occurs to the cartesian body-object, but not the lived phenomenological body.

수련을 중단한 후 칼라니티는 급격한 신체적 쇠퇴를 경험하고, 일주일 전만 해도 "거의 36시간"에 가까운 수술 시간을 보냈었는지 놀라움을 금치 못합니다. 칼라니티는 "병자를 돌봐야 할 의무가 [자신을] 밀어붙이지 않으면 [자신은] 무능한 사람이 되고 말았다."8(125쪽) 수술실에서는 Being-opposite-illness가 되면서, 칼라니티의 몸은 환자들의 몸에만 집중하며 passed-by-in-silence가 되었다. 임상에서 물러난 후 칼라니티의 몸은 음소거가 해제되었고, 그는 자신의 증상을 훨씬 더 잘 인식하게 되었습니다.
After ceasing to practice, Kalanithi describes a fast-physical decline and is stunned how he spent “nearly thirty-six hours” operating less than week before. Kalanithi concludes “without [the] duty to care for the ill pushing [him] forward, [he] became an invalid.”8(p125) Being-opposite-illness in the operating theater, Kalanithi’s body remained passed-by-in-silence by focusing on that of the patients. Once removed from clinical practice, Kalanithi’s body becomes unmuted, he becomes far more aware of his symptoms.

칼라니티의 종양 전문의인 에밀리는 그를 또 다른 의사로서 존중하며, 두 명의 임상의가 세 번째 환자에 대해 결정하듯이 종종 그의 치료에 대한 결정을 함께 내립니다.7 그러나 에밀리는 칼라니티에게 자신의 책임을 내려놓고 "의사가 되게 해달라"며 칼라니티에게 "그냥 환자가 되라"고 함의합니다.8(p182) 그러나 "통제권을 내려놓는다는 생각은 칼라니티가 "불가능"하다고 여깁니다. 대신, 칼라니티는 "의사-자신은 환자-자신에 대해 [여전히] 책임이 있다."8(p183) 이 구절은 의료 직업이 개인의 존재론에 미치는 강력한 영향력을 강조합니다. 칼라니티에게 의사 자아의 영향력은 수술실을 넘어 병에 걸린 후에도 지속됩니다. 이는 병에 걸린다는 것이 직업적 페르소나로서 켜고 끌 수 있는 것이 아니라는 것을 보여줍니다. 
Kalanithi’s oncologist, Emily, respects him as another doctor and they often make decisions about his care together, as two clinicians would about a third patient.7 However, Emily suggests he could abdicate his responsibility and allow her to “just be the doctor” implying Kalanithi just be a patient.8(p182) However, the thought of “abdicating control” is one Kalanithi finds “impossible.” Instead, Kalanithi’s “doctor-self [remained] responsible for [his] patient-self.”8(p183) This passage highlights the powerful influence the medical profession has on an individual’s ontology. For Kalanithi, the influence of his doctor-self extends far beyond the operating room and persists once he becomes ill. This shows being-opposite-illness is not something which is switched on and off as a professional persona.

의대, 수술, 질병에 대한 마쉬의1 경험은 모두 칼라니티와 저의 경험과 유사합니다. 서문에서 Marsh1(p.xi)는 다음과 같이 조언합니다: "눈에 보이는 것을 객관적으로 바라보되, 그 과정에서 인간성을 잃지 않는 법을 배워야 합니다." 마쉬는 처음부터 의사에게 요구되는 냉철함과 타인의 고통에 대한 감정적 반응이 균형을 이루어야 한다는 점에 초점을 맞춥니다. 
Marsh’s1 experiences of medical school, surgery, and illness all bear similarities to Kalanithi’s and mine. From the preface, Marsh1(p.xi) instructs: “You must learn to be objective about what you see, and yet not lose your humanity in the process.” From the outset, Marsh focuses on the detachment required from doctors, which must be balanced with the emotional response to the suffering of others.

이 책의 뒷부분에 저의 조사를 촉발시킨 대목이 있습니다. Marsh1(p215)는 의대생들이 "자기 보존"의 문제로 요구되는 "필요한 분리"에 대해 배우면서 소위 "의대생 증후군"인 건강염려증이 거의 지속되지 않는다고 지적합니다. 마쉬는 의과대학이 자신의 신체와의 관계를 어떻게 변화시키는지에 주목합니다. 이러한 관계의 변화를 통해 학생들은 "질병은 환자에게만 일어나는 일이라는 것을 배웁니다. 그것은 의과대학에서 일찍부터 배우는 것입니다."1(p215) 그러므로 질병-반대편의-존재는 환자 대상화를 통해 자신의 몸으로부터 존재론적 분리를 가능하게 합니다.
Later in the book lies the line which sparked my investigation. Marsh1(p215) notes the so-called hypochondria of “medical student syndrome” rarely persists as medical students learn about the “necessary detachment” required as a matter of “self-preservation.” Marsh draws attention to how medical school changes one’s relationship with their body. Through this changed relationship, students learn “illness is something that only happens to patients. That is something you learn early on a medical school.”1(p215) Being-opposite-illness, then, allows an ontological separation from one’s own body through patient objectification.

마시1(p216)는 의사들이 "단순한 환자"가 되는 것을 피하기 위해 "초기 증상을 무시"하고 "자신의 질병을 진단하는 데 느리게" 행동한다고 지적합니다. 이 모든 것은 Marsh가 스스로에게서 발견한 행동이며 칼라니티의 기록에서도 찾아볼 수 있습니다. Marsh는 다리가 부러진 후 석고를 갈기 위해 기다리는 동안 동료 컨설턴트와의 짧고 놀라운 만남에 대해 설명합니다. 
Marsh1(p216) remarks that doctors often “dismiss their initial symptoms” and are “slow to diagnose their own illnesses” all to escape becoming a “mere patient.” All of which are behaviors Marsh finds in himself and are found in Kalanithi’s account. Marsh describes breaking his leg and while waiting for his plaster to be changed, he describes a brief, remarkable encounter with a fellow consultant.

그는 내 다리가 부러지는 것을 허용함으로써 내가 단순한 환자가 된 저속한 방식에 불만을 품은 듯 매우 원초적인 목소리로 '오, 이런'이라고 말했습니다.1(229쪽) 
‘Oh dear’, he said in a very prim voice, as though he disapproved of the vulgar way in which, by allowing my leg to be broken, I had become a mere patient.1(p229)


허용이라는 단어 선택은 의사로서 마쉬가 다리를 부러뜨리는 것이 자신의 통제 범위 안에 있다는 태도를 유추하게 한다. 물론 마쉬가 그랬던 것처럼 계단에서 넘어지는 것은 누구에게나 일어날 수 있는 터무니없는 일이다. 의사의 뼈는 환자의 뼈와 다르지 않습니다. passed-by-in-silence in being-opposite-illness로 유지하는 것은 의사에게 병이 발생하지 않았다는 잘못된 태도를 조장합니다. 
The word choice of allowing infers an attitude that, as a doctor, Marsh breaking his leg was within his control. Of course, this is absurd, falling down the stairs, as Marsh did, could happen to anyone. A doctor’s bones are no different to that of a patient. The bodies maintenance as passed-by-in-silence in being-opposite-illness promotes a false attitude of illness not occurring to doctors.

마쉬와 칼라니티의 설명은 의사의 독특한 존재론과 의학교육 전반에 걸쳐 변화하는 모습을 보여줍니다. 환자 대상화는 의사의 존재론을 변화시키고, 의사를 자신의 몸으로부터 멀어지게 합니다. 그 결과 의사가 질병과 직접 대면하는 신체적 반응이 부족해집니다. 그러나 타자를 대상화함으로써 자신의 몸으로부터 초점을 돌릴 수 있다.9 이런 식으로 몸을 침묵 속에 묻어두면 질병은 "환자에게만 일어나는 일"이 된다."1(215쪽) 환자의 질병-존재함의사의 질환-반대편에-존재함 사이에는 존재론적 분리가 존재한다. 환자가 대상화되면서 의사의 시선은 단지 [바라보는 방식]이 아니라 [존재의 방식]이 된다. 의사는 바라보지만 바라봐지지 않는 존재가 된다. 대상화하는 시선은 의사와 환자 사이의 유사한 구체화를 부정합니다. 존재-대립-질병은 의사와 환자 사이의 이러한 존재론적 극성을 나타냅니다. 
Marsh and Kalanithi’s accounts demonstrate a unique ontology of the doctor and the transformation undergone throughout medical education. Patient objectification changes a doctor’s ontology, distancing them from their own body. I suggest, this results in the lack of the doctor’s bodily reaction being face-to-face with illness. However, by objectifying the Other I can direct my focus away from my own body.9 By muting the body in this way, keeping it passed-by-in-silence, illness becomes “something that happens only to patients.”1(p215) There is an ontological separation between the patient’s being-ill and the doctor’s being-opposite-illness. As the patient is objectified, the medical gaze is not only a way of looking but becomes a way of being: the doctor looks without being looked at. The objectifying gaze denies the similar embodiment between doctor and patient. Being-opposite-illness denotes this ontological polarity between doctor and patient.

 

한계와 결론
Limitations and conclusions

메를로-퐁티, 하이데거, 사르트르가 모두 백인, 시스젠더, 유능한 남성의 경험만을 설명했다는 비판을 받을 수 있다는 것을 알고 있습니다.2,5,27,28 이것은 중요한 비판이며, 앞으로의 연구가 제 연구에 추가하고 수정할 수 있기를 바랍니다. 저는 모든 의사에게 공통된 의사 경험의 측면에 집중하여 제 경험에 적용될 수 있는 특징을 파악하려고 노력했습니다. 이 조사는 의대생 시절뿐만 아니라 일반인으로서 환자가 되어 다른 사람의 질병을 본 경험을 바탕으로 작성되었습니다. 이 글을 쓰는 시점에서 저는 의사로서 첫 직업을 시작한 지 몇 달이 지났고, 의대 재학 기간 동안 환자의 객관화를 이해하기에 충분한 경험을 쌓았다고 생각합니다. 또한 이 글은 서양의 전통적인 현대 의학만을 다루고 있으며, 대면 임상 경험만을 설명하려고 시도했습니다. 간호사나 다른 의료 전문가에게는 적용될 수도 있고 적용되지 않을 수도 있습니다. 마지막으로, 이 설명의 한계는 정신과 임상 사례에 국한되어 있다는 점입니다. 정신과 질환의 양상과 정신과 질환에 대한 현재의 학문적 이해로 인해, 저는 제 설명을 정신과 임상 사례까지 확장하지 않았으며 정신과 임상 사례는 그 자체로 완전한 현상학적 분석이 필요하다고 생각합니다. 
I am aware that I may be criticized as Merleau-Ponty, Heidegger, and Sartre all have been for providing accounts explaining only the experiences of white, cis-gendered, able-bodied, males.2,5,27,28 This is an important critique and I hope further works can add to and correct mine. I have tried to focus on aspects of doctor’s experiences common to all to identify features that apply beyond my own experiences. This investigation is built on my experiences of being a patient and seeing illness in other people both as an untrained member of the public as well as during my time as a medical student. At the time of writing, I am months from starting my first job as a doctor and I believe my years at medical school have given me enough experience to understand patient objectification. Additionally, this account concerns only western conventional contemporary medicine and attempts to describe only the face-to-face clinical encounter. It may or may not apply to nurses or other healthcare professionals. Finally, a limitation of this account is the psychiatric clinical encounter. Due to how psychiatric illness presents and the current academic understanding of psychiatric disease, I do not extend my account to the psychiatric clinical encounter and maintain the psychiatric clinical encounter warrants its own complete phenomenological analysis.


여기서 의사의 존재론에 영향을 미칠 수 있다고 생각하여 제외시킨 다른 현상들에는 의사와 환자에 대한 사회의 시각도 포함된다. 드 보부아르5 가 제안하고 영28 이 이를 바탕으로 구축한 것처럼, 사회가 개인을 바라보는 방식은 개인이 세상에 존재하는 방식에 영향을 미친다. 둘째, 나는 임상적 만남의 시간적 요소를 탐구하지 않았다. 병동 회진이나 진료실에서 환자들은 연속적으로 마주칩니다. 따라서 의사는 다음 환자에게 집중하기 위해 각 환자로부터 자신을 분리할 수 있습니다. 
Further phenomena that I have excluded here I believe may affect the ontology of the doctor includes society’s view of doctor and patient. As de Beauvoir5 suggests and Young28 builds upon, the way a society views an individual affects their being-in-the-world. Secondly, I have not explored the temporal element of the clinical encounter. On the ward round and in clinic, patients are encountered in series. Therefore, it may be that doctors detach themselves from each patient to focus on the next.

결론적으로, 이 분석은 의사들의 구체화된 삶의 경험을 설명함으로써 의사들의 경험을 탐구하는 새로운 방법을 제시하고자 합니다. 이러한 설명은 의대생 시절의 경험과 저의 의료 인문학과의 접목을 인정하지 않고서는 불가능했을 것입니다. 앞서 주장했듯이, 이 연구는 의대생에게 철학을 가르치는 것의 가치를 보여줍니다.7 임상적 만남을 체화된 두 개인 간의 만남으로 논의하는 것은 의사-환자 관계와 임상 술기 교육에 대한 새로운 접근을 촉진할 수 있습니다. 특히 의대생의 존재론적 전환을 설명함으로써 말입니다. 저는 의학교육자로서 공감과 연민과 같은 현상을 새롭게 바라보고, 이것이 어떻게 발달하지만 또한 어떻게 상실되는지 탐구할 수 있기를 바랍니다. 또한, 향후 연구에서는 의대생의 존재론적 전환이 의료 윤리에 미치는 영향을 살펴보고, 질병에 대한 신체적 반응을 윤리적 요구로서 선을 행하는 것으로 탐구할 수도 있습니다. 요약하자면, 저는 의과대학과 임상 실습을 통해 존재론적 전환을 겪는다는 것을 보여드리려고 노력했습니다. 이는 궁극적으로 의사의 독특한 존재 방식, 즉 '질병-반대편의-존재'로 귀결됩니다. 
In conclusion, this analysis attempts to present a new way of exploring the experiences of doctors by accounting for their embodied lived experience. This account would not be possible without acknowledging the medical student experience and my medical humanities intercalation. As argued previously, this work illustrates the value of teaching philosophy to medical students.7 The discussion of the clinical encounter as being between two embodied individuals may promote renewed approaches to the doctor-patient relationship and clinical skills education. Specifically, by accounting for the ontological transition of medical students. I hope as medical educators we can take a fresh look at phenomena like empathy and compassion, exploring how these are developed but also lost. Furthermore, future work may look at the impact of the ontological transition of medical students on medical ethics, perhaps exploring the bodily response to illness as an ethical demand to do good. In sum, I have attempted to show that one undergoes an ontological transformation at medical school and through clinical practice. This ultimately results in a unique way of being for doctors: being-opposite-illness.

 


 

 

Teach Learn Med. 2023 Jan-Mar;35(1):108-116. doi: 10.1080/10401334.2022.2108814. Epub 2022 Aug 18.

 

Being-Opposite-Illness: Phenomenological Ontology in Medical Education and Clinical Practice

Affiliations collapse

1Hull-York Medical School, University of York, York, UK.

PMID: 35979806

DOI: 10.1080/10401334.2022.2108814

Abstract

Issue: Phenomenology has proven to be a very useful tool for medicine. Descriptive, first-person accounts of patient experiences can reveal new and unique insights. These insights can inform renewed approaches to medical education and practice. However, comparatively little research has been done on the other side of the clinical encounter. This leaves the lived experiences of doctors diagnosing and treating illness unaddressed and the ontological transformation of medical students through medical education unexplored. Evidence: This paper provides a phenomenological description of the clinical encounter and ontological transformation of the medical student into the doctor. I argue doctors have a unique ontology, rooted in the objectification of the patient, for which I use the term being-opposite-illness This is achieved, through phenomenological examination of my experiences as a medical student and through descriptions of three distinct types of face-to-face encounters: the basic encounter with the Other, the encounter with illness, and the clinical encounter, which I argue are all metaphysically distinct. Finally, textual analysis of popular first-person accounts from two doctors, Henry Marsh and Paul Kalanithi, provide an illustration of being-opposite-illness in clinical practice and how this ontological transformation occurs through medical education. Implications: Together, the phenomenology of the clinical encounter and textual analysis of Marsh and Kalanithi reveal clinical practice and medical education be an ontological transformative process. This paper attempts a new understanding of this experience of doctors by accounting for their unique ontology. In sum, I suggest being-opposite-illness can represent a new lens for analyzing the experience of doctors. Through this, I hope to promote new medical education and practice approaches.

Keywords: Phenomenology; medical education; medical humanities; student perspective.

 

우리는 돌보기에: 의학교육의 정신에 대한 철학적 탐구(Teach Learn Med, 2022)
Because We Care: A Philosophical Investigation into the Spirit of Medical Education
Camillo Cocciaa and Mario Veenb

 

 

소개
Introduction

의료 교육에 대한 우리의 일상적인 경험에서 돌봄은 끊임없이 등장하는 주제입니다. 수련생은 환자를 돌봐야 하는 의료 시스템 내에서 교육을 받습니다. 이 교육에 등록하려면 유능한 의료 전문가가 되고자 하는 충분한 동기, 즉 수년간의 헌신적인 교육에 임할 수 있는 충분한 동기가 있어야 합니다. 교육자, 학생, 의료 전문가 커뮤니티로서 우리의 직업 생활에서 '돌봄'의 많은 사례를 통해 우리는 '돌봄'의 의미를 정확히 알고 있다고 믿을 수 있습니다. 그러나 우리와 가장 가까이 있고 우리 주변에 있는 것이 가장 정의하기 어려운 경우가 많습니다. 이 백서에서는 돌봄의 구체적인 사례를 넘어 철학적 질문을 던져보려고 합니다: 케어란 무엇인가?  
In our daily experiences with health care education, care is a theme that arises constantly. Trainees are educated within a health care system where they are supposed to care about and for their patients. To enroll in this education, we demand that they are sufficiently motivated to, that is, care about becoming competent health care professionals, to put in years of dedicated training. The many instances of ‘care’ in our professional lives as a community of educators, students, and health care professionals may lead us to believe we know exactly what ‘care’ means. But that which is closest to us and all around us is often most difficult to define. In this paper, we will try to go beyond particular instances of care to ask a philosophical question: What is care?

'건강'의 개념은 의학에서 널리 논의되고 있습니다. 건강이란 무엇이고 질병이란 무엇일까요? 예를 들어, WHO의 건강 정의는 다음과 같습니다: "건강이란 단순히 질병이나 허약함이 없는 상태가 아니라 신체적, 정신적, 사회적으로 완전히 안녕한 상태입니다."1 이 정의는 지속적인 논쟁의 대상이 되고 있으며, 많은 의학 커리큘럼에서 이를 의료 교육의 일부로 포함하고 있습니다. 이러한 교육은 수련생이 건강과 웰빙의 정의, 질병과 질병을 구분하는 것의 의미, 건강과 건강하지 않은 상태의 경계선, 어떤 경우에 증거로 간주되는 것, 불확실성에 대처하는 방법 등을 검토하는 프로그램의 형태로 이루어집니다.2-4 
The concept of ‘health’ is widely discussed in medicine. What is health and what is illness? For instance, the WHO’s definition of health states: “Health is a state of complete physical, mental and social well-being and not merely the absence of disease or infirmity.”1 This definition is subject to ongoing debate and many medical curricula include it as part of medical training. These take the form of programs where trainees examine definitions of health and wellness, and what it means to make distinctions between disease and illness, where one should draw the line between being healthy and unhealthy, what counts as evidence in which case, how to deal with uncertainty.2–4

돌봄care과 관련해서는 이와 유사한 논쟁이 부족합니다. 상세한 조사의 필요성은 분명하지만,5 돌봄이 무엇인지에 대한 언급은 거의 없습니다. 문헌은 연민, 환자 중심 치료, 돌봄 관계, 전문성, 타인을 배려하는 방법과 같은 특정 주제에 초점을 맞춰 연민이 윤리적 행동과 어떤 관련이 있는지 탐구하는 경향이 있습니다.6-9 이러한 주제는 탐구하고 조사해야 할 중요한 주제이지만, 이러한 접근 방식은 치료의 기본 원칙이 이미 이해되었으며 적절한 적용만 필요하다는 것을 전제로 합니다. 그러나 우리는 모든 사람이 돌봄에 대해 '일상적으로' 이해하고 있으며, 이는 너무 당연해서 명시적으로 설명할 필요가 없을 수도 있다는 데 동의하지만, 돌봄에 대한 이러한 암묵적 이해를 명시적으로 설명할 필요가 있다고 주장합니다. 임마누엘 칸트 철학의 핵심 통찰은 우리가 실천을 경험하고 성찰하는 개념은 종종 경험과 성찰의 대상이 아니라는 것입니다.10 이러한 개념은 우리의 실천을 형성하지만 그 자체로는 일반적으로 조사 대상이 아닙니다.  
A similar debate is lacking when it comes to care. While the need for detailed investigation is articulated,5 there is little addressing what care is. The literature tends to focus on particular themes like compassion, patient-centred care, caring relationships, professionalism and how to show due consideration to others to explore how compassion relates to ethical behavior.6–9 While these are crucial themes to explore and investigate, these approaches presuppose that the underlying principle of care is already understood, and only needs proper application. But while we agree that everyone has an ‘everyday’ understanding of care, which may seem so obvious that it does not warrant making explicit, we argue it is necessary to make this tacit understanding of care explicit. A central insight from Immanuel Kant’s philosophy is that the concepts through which we experience and reflect on our practices are often not objects of experience and reflection.10 These are concepts that shape our practices but are themselves not usually subject to investigation.

우리는 돌봄을 보건의료 교육의 정신으로 가장 잘 볼 수 있다고 주장합니다. 보건의료 교육을 케이크에 비유한다면, 돌봄은 케이크의 재료 중 하나가 아니라 베이킹 과정을 안내하는 화학 법칙과 같습니다. 이 법칙은 그 안에서 일어나는 모든 일에 스며들어 있으며, 주변적인 것이 아니라 본질적인 개념이므로 근본적인 개념입니다. 이처럼 서로 다른 정당한 의미를 하나로 묶는 것이 무엇인지에 대한 질문은 이론적인 질문이 아니라 존재론적인 철학적 질문입니다. 우리 모두는 돌봄에 대한 사전 성찰적이고 구체화된 이해를 가지고 있기 때문에 돌봄은 우리가 '배우고' 나서 '적용'해야 하는 것이 아닙니다. 그러나 돌봄이 무엇을 의미하는지 진정으로 이해하려면 이러한 사전 성찰적 이해를 명시적으로 만들어야 하는데, 이것이 바로 현상학의 과제입니다.11
We argue that care can best be seen as the spirit of health care education. If health care education is a cake, care is not just one of its ingredients, but the laws of chemistry that guide the baking process. It permeates everything else that happens there; it is essential rather than peripheral, and therefore a fundamental concept. The question of what unites these different and legitimate meanings is not a theoretical question, but an ontological philosophical question. Since we all have a pre-reflective, embodied understanding of care, care is not something we have to ‘learn’ and then ‘apply’. But to authentically understand what care means we have to make this pre-reflective understanding explicit, which is the task of phenomenology.11

우리가 근본적인 개념에 대한 주인의식을 갖지 않으면 정치적, 경제적 이해관계나 문화적 신념과 습관에 따라 달라질 수 있습니다. 이 논문에서 우리는 돌봄을 유연하고 변화에 개방적인 이동하는 개념으로 취급합니다.12,13 분명히 말하지만, 우리의 의도는 돌봄을 최종적으로 정의하는 것이 아니라 성찰의 대상이 되어야 하는 것으로서 돌봄에 주목하는 것입니다. 이를 위해서는 돌봄과 같은 기본 개념을 충분히 다루기 위해 다양한 철학적 탐구 방법을 이해하는 새로운 방식을 개발해야 합니다. 
If we do not take ownership of our fundamental concepts, they can be subject to political and economic interests, or whatever our cultural beliefs and habits happen to be. In this paper we treat care as a traveling concept that is flexible and open to change.12,13 To be clear, our intention is not to define care finally, but rather to draw attention to care as something that should be subject to reflection. In order to do this, we need to also develop new modes of understanding a variety of philosophical avenues of inquiry in order to fully address foundational concepts like care.

20세기 주요 철학 저작 중 하나로 널리 알려진 존재와 시간14은 현상학과 실존주의 발전의 중심이 되었습니다. 이 작품은 존재, 특히 인간에 대한 질문에 초점을 맞추고 있습니다. 1927년에 출판된 이 저작은 저자가 파시스트 독일에서 개인적, 정치적 선택에 문제가 있었다는 점을 인정해야 하지만,15 하이데거가 돌봄이 인간 존재의 존재론적 구조라고 결론을 내린다는 점에서 더 깊이 탐구할 가치가 있는 작품이라고 할 수 있습니다. 다음에서는 보건의료 교육 현실에서 발생하는 돌봄의 의미를 하이데거의 돌봄 개념의 관점에서 살펴봄으로써 어떻게 더 깊은 성찰의 지평을 열 수 있는지 살펴보고자 합니다. 
Widely recognized as one of the major philosophical works of the 20th century, Being and Time14 was central to the development of phenomenology and existentialism. The work focuses on the question of being, particularly of human being. Though it was published in 1927 and we need to acknowledge its author’s later problematic personal and political choices in fascist Germany,15 the work warrants further exploration if only because Heidegger concludes that care is the ontological structure of human existence. In the following, we will explore how the meaning of care as it occurs in the reality of health care education can be opened up for deeper reflection by examining it from the perspective of Heidegger’s concept of care.

하이데거의 존재론적 방법14을 활용하여 돌봄일상적인 사용과 더 깊은 의미를 연결해 보겠습니다. 하이데거의 철학은 영향력이 크지만 어렵기로 악명이 높습니다. 여기서는 단 하나의 '하이데거적' 개념, 즉 온틱과 존재론의 차이로만 한정하여 설명하겠습니다. '온틱'(문자 그대로: 존재)은 구체적이고 사실적인 존재를 가리키는 반면, '존재론'(문자 그대로: 존재에 대한 연구)은 다른 존재와의 관계에 주의를 기울여 그 존재를 연구하는 것을 말합니다. 예를 들어, 존재론적으로 나는 방에 혼자 있을 수 있지만, 존재론적으로 나는 본질적으로 사회적 존재입니다. 이 구체적이고 특정한 존재로서 나는 혼자이거나 다른 사람들과 함께 있을 수 있으며, 나 자신을 더 사교적인 사람 또는 더 내성적인 사람으로 묘사할 수 있습니다. 그러나 존재론적으로 다른 사람과 함께 있다는 것은 우리가 인생에서 무엇을 하든 항상 우리 존재의 핵심입니다. 예를 들어, 다른 사람과 어울리는 것을 피하는 것은 다른 사람과 관계를 맺지만 부정적인 방식으로 관계를 맺는 것입니다. 나는 온틱적으로 홀로 남아 있지만, 존재론적으로는 여전히 다른 사람들과 관계를 맺고 있습니다. 하이데거는 『존재와 시간』에서 존재의 방식을 탐구한다는 의미에서 존재론을 수행하면 존재론적으로 더 의식적이고 자유로운 관계를 맺을 수 있음을 보여주었습니다. 따라서 존재론적 돌봄과 관련하여 보건의료 교육에서의 다락방 돌봄을 분석하는 것은 무엇을 해야 하는지, 어떤 유형의 돌봄이 가장 좋은지 알려주는 것이 아니라 개념을 더 깊이 성찰하고 탐구할 수 있도록 열어주는 것입니다. 
We will draw on Heidegger’s ontological method14 to relate the everyday use of care to its deeper meaning. Heidegger’s philosophy, while highly influential, is notoriously difficult. We will limit ourselves to only one ‘Heideggerian’ notion: the difference between the ontic and the ontological. ‘Ontic’ (literally: being) refers to concrete, factual existence, while ‘ontological’ (literally: study of being) refers to the being of that being with due attention to its relations to other beings. For instance, ontically I may be alone in a room, while ontologically I am an inherently social being. As this concrete, particular being I may be either alone or with others, and might describe myself as having a more social or more introverted person. But ontologically, being-with-others is always at the heart of our being, no matter what else we do in life. For instance, avoiding the company of others is relating to others but in a negative way. While I remain ontically alone, I am still relating to others ontologically. In Being and Time,14 Heidegger showed that doing ontology, in the sense of examining ways of being, can yield a more conscious and free relationship to beings ontically. Thus our analysis of ontic care in health care education in relation to ontological care will not tell us what to do, or which type of care is best, but rather open up the concept to a deeper reflection and exploration.

철학적 측면에서 우리는 돌봄의 온틱적 의미를 존재론적 의미와 연관시키려고 시도할 것입니다. 먼저, 보건의료 교육에서 돌봄이 이미 사용되고 있는 방식에서 돌봄이 갖는 의미를 살펴볼 것입니다. 이 분석에서 서로 다른 의미 사이의 충돌이 나타나며, 이를 실제 사례를 통해 설명합니다. 그런 다음 케어에 대한 하이데거의 실존 분석적 관점을 살펴보고 이것이 오늘날 보건 교육에서 '케어'가 어떻게 사용되고 있는지에 대해 어떻게 조명할 수 있는지 살펴볼 것입니다. 마지막으로, 돌봄의 관점에서 보건의료 교육을 살펴보면 의사가 되는 것이 기계적이고 공식적인 과정이 아니라 몰입적이고 성찰적인 과정이라는 것을 알 수 있습니다.
In philosophical terms, we will attempt to relate the ontic meaning of care with its ontological meaning. First, we will examine the meaning that care already has in the way that it is being used in health care education. From this analysis emerge some clashes between its different meanings, which we illustrate with a working example. Then, we will investigate Heidegger’s perspective of existential analytic on Care and ask how it can shed light on how ‘care’ is used in health care education today. Finally, we will attempt to show that an examination of health care education in terms of care reveals that becoming a doctor is not a mechanical, formulaic process but rather an immersive and reflective one.

돌봄의 일상적 의미
The everyday meaning of care

일상에서의 돌봄
Care in everyday life

일상에서 '보살핌'이라는 단어는 아이를 돌보는 어머니의 모습이나 아플 때 사랑하는 사람의 보살핌을 받았던 기억을 떠올리게 합니다. 광고에서 보살핌의 표현으로 부드러움과 친밀감이 흔히 등장합니다. 이는 종종 우리에게 중요한 무언가를 표현하는 것으로, "Because we Care"라는 캐치프레이즈에 불을 붙입니다. 더 크게 보면, 우리는 위험으로부터 보호한다는 의미에서 덜 친밀하고 더 단호한 버전의 보살핌을 발견할 수 있습니다. 우리는 보살핌을 옹호라고 생각할 수 있습니다. 목소리를 낼 수 없는 사람들은 목소리를 낼 수 있는 사람들에 의해 지지되고 대변될 수 있습니다. 그러나 이 의미는 또한 중요함을 나타내기도 합니다. 즉, 관심 있는 것을 방어, 보호 또는 옹호하는 것입니다.16 보다 중립적인 의미에서 돌봄은 개인적 또는 기관적 수준(보육, 재정적 돌봄, 재향군인 돌봄, 법적 돌봄) 또는 (국가 간) 수준에서 필요한 모든 것을 제공하는 것을 의미하기도 하는데, 의료가 대표적인 예입니다. 
In everyday life, the word ‘care’ conjures up images of a mother nursing a child, or memories of ourselves being nurtured by our loved ones when we are sick. Tenderness and intimacy are commonplace in advertising as representations of care. These are often representations of something important to us, igniting the catchphrase: “Because we Care”. On a larger scale, we find a less intimate and more assertive version of care, in the sense of protection against harm. We may view care as advocacy: those who are unable to have a voice may be supported and spoken for by those who can. But this meaning also indicates importance: one defends, protects or advocates for that which one cares about.16 In a more neutral sense, care is also used to imply the provision of whatever is necessary on a personal or institutional level (daycare, financial care, veteran care, legal care), or even on an (inter)national level, of which health care is a prime example.

의료 교육에서의 케어
Care in health care education

의료 교육에서는 일상적인 돌봄의 의미에 대한 다양한 변형을 발견할 수 있습니다. 이는 의료 교육 자체가 의지와 능력을 갖춘 예비 의사를 유능한 의료 전문가로 양성하는 교육을 제공하는 '돌봄 시스템'의 일부이기 때문에 당연한 결과입니다. 의료 전문가는 환자에게 의료 자금을 분배하기 위해 시스템에 요청해야 하는 시스템 내에서 일합니다. 이 시스템 내에서 사람들은 히포크라테스 선서의 의미에 따라 건강을 돌보는 방법에 대한 집단적 지식과 이러한 지식을 실제로 적용할 수 있는 기술을 접할 수 있습니다: "나는 나의 능력과 판단에 따라 환자의 이익을 위해 고려하는 치료법을 따르고 해롭고 장난스러운 것은 무엇이든 삼가겠다."17는 히포크라테스 선서의 의미입니다. 
In health care education we can find variations on everyday meanings of care. This is logical as health care education is itself part of a ‘care system’ that concerns itself with providing training that forms willing and able prospective physicians into competent medical professionals. Health care professionals work within a system that requires them to ask a system to distribute medical funding toward their patients. Within this system, people have access to a collective body of knowledge about how to care for health, and the skills to apply this knowledge in practice, in the sense of the Hippocratic Oath: “I will follow that system of regimen which, according to my ability and judgment, I consider for the benefit of my patients, and abstain from whatever is deleterious and mischievous.”17

보호로서의 보살핌은 여러 가지 실제적인 방식으로 나타납니다. 과잉진료를 하는 의사로부터 환자를 보호하는 안전장치와 윤리적 경계, 의사가 익숙하지 않은 상황에 대처할 때 보다 안전한 방법을 안내하는 제도적 프로토콜을 생각해 볼 수 있습니다. 이를 치료하는 의사에게 중요한 것은 환자의 안녕이라는 관점에서 보면 돌봄라고 생각할 수 있습니다. 의사는 환자의 안녕을 염려하기 때문에 환자가 해를 입지 않도록 보호하고(우선 의학적 또는 윤리적 실수로 인해 자신이 입을 수 있는 해로부터), 환자를 간호하여 병을 완화하는 데 필요한 의학적 치료를 제공합니다. 같은 방식으로 교육 전문가가 유능한 전문가가 되기 위해 필요한 것을 제공하는 시스템을 구축하여 의료 수련생을 돌봐야 하는 보건의료 교육의 구조에 대해 생각해 볼 수 있습니다.
Care as protection has a multitude of practical ways of showing itself. We may think of safety mechanisms and ethical boundaries which protect patients from overzealous doctors, and of institutional protocols that guide doctors toward safer methods when they deal with situations with which they are unfamiliar. We can imagine this as care in the way that what matters to the treating physician is the well-being of their patient. As they care about their patient’s well-being, they protect them against harm (firstly against the harm they themselves could do by making a medical or ethical mistake), and nurse them, that is, give them the medical attention they need to alleviate what ails them. In the same way, we can think about the structure of health care education, where educational professionals are expected to care for and about medical trainees by setting up a system that provides them with what they need to become competent professionals.

의료 교육에서 돌봄을 다루는 다른 방법도 있습니다. 첫 번째는 '환자 중심 진료'라는 개념으로 표현됩니다. 진료의 중심을 어디에 둘 것인지에 대한 대안이 없다면 왜 이 개념이 존재할까요? 환자 중심 진료라는 개념이 존재한다는 것은 환자의 건강 요구와 희망이 의료 서비스를 주도한다는 것이 당연한 것이 아니라는 것을 의미합니다. 치료와 관련하여 환자 중심주의를 의제화함으로써 치료라는 단어는 무엇이 중요한지를 가리키는 것으로 나타납니다. 의료기관은 이를 모토로 삼아 의료기관이 중요하게 생각하는 것이 무엇인지 나타낼 수 있습니다. 이런 의미에서 돌봄은 약속이기도 합니다. 누군가 또는 무언가에 관심을 갖는다는 것은 그들의 필요를 채워주겠다는 약속입니다.
There are other ways in which care is addressed in health care education. The first is expressed by the concept of ‘patient-centred care’. Why would this concept exist if there were no alternatives for what to center care around? The fact that the concept of patient-centred care exists implies that it is not a given that the patient’s health needs and wishes drive health care. By agendizing patient-centeredness in relation to care, the word care emerges as pointing to what is important. Institutions can have this in their mottos to indicate that it is what they care about. In this sense, care is also a commitment: if one cares about someone or something, this is a promise that one will take care of their needs.

돌봄은 보건 교육에서의 성찰을 논의할 때도 다뤄집니다. 성찰은 보호와 밀접한 관련이 있는 개념으로, 성찰적 실무자는 미래의 행동에 정보를 제공하기 위해 현재 자신의 과거 경험과 실수를 검토하는 평생 학습자입니다.18
Care is also addressed in discussing reflection in health care education. It is a concept that is closely related to protection: reflective practitioners are lifelong learners who examine their past experiences and mistakes in the present in order to inform their actions in the future.18

중요성으로서의 돌봄친밀성으로서의 돌봄과 밀접한 관련이 있습니다: 사랑하는 사람의 건강 상태에 대한 소식을 기다리는 가족들로 가득 찬 병원 대기실을 상상할 수 있습니다. 환자의 설명을 듣거나 나쁜 소식을 전할 때, 또는 환자 및 그 가족과의 기타 상호작용을 할 때 의사는 단순히 의학 지식을 병든 신체에 적용하는 것이 아니라, 환자를 한 인간으로서 배려해야 한다고 배워왔습니다. 이는 의료 교육 문헌에서 공감 또는 연민과 같은 제목으로 논의되며 전문직업성이라는 개념도 포함되어 있습니다. 이러한 의미에서 돌봄은 종종 감정 또는 태도로 설명되며,6 개별 교육생 내에서 인지 과정으로 개념화됩니다. 수련의가 모든 환자에게 친밀한 방식으로 배려할 것을 합리적으로 기대할 수 있는지, 아니면 상대방이 어떤 사람인지 상상하기 어려울 정도로 자신과 다른 사람에게 배려할 것을 기대하는 것은 너무 피곤하고 어쩌면 불가능한 일인지에 대한 논의가 있습니다. 위에서 설명한 기술적이고 경험적으로 검증 가능한 돌봄의 사용 외에도 친밀성으로서의 돌봄이 예를 들어 응급 치료 프로토콜이나 교육 프로그램의 품질 및 효과와 같은 유형의 측정 대상이 될 수 있는지에 대한 논쟁도 있습니다.19-21 예를 들어, 교육생들은 진정으로 공감을 경험하지 못했을 때 "유감입니다"라고 말해야 할 때 부조화를 느낀다고 보고합니다.22
The meaning of care as importance is closely related to care as intimacy: we can imagine waiting rooms of hospitals with families waiting for news on loved ones’ medical conditions. In listening to a patient presentation, or delivering bad news, or in any other interaction with patients and their families, doctors have been taught not to just apply their medical knowledge to diseased bodies, but to care about the patient as a human being. This is discussed in health care education literature under headings such as empathy or compassion, and the concept of professionalism is also included. Care, in this sense, is often described as an emotion or an attitude,6 and conceptualized as a cognitive process within individual trainees. There are discussions about whether we can reasonably expect trainees to care about every patient an intimate way, or if it is too exhausting and perhaps even impossible to expect that they would care about people who are different from them in some respect to the point where it is difficult for them to imagine what something is like for the other person. There are also debates on whether, in addition to the technical and empirically verifiable use of care outlined above, care as intimacy can be subjected to the same types of measurement as the quality and effectiveness of, for instance, emergency care protocols or educational programs.19–21 For instance, trainees report a feeling of dissonance when they are expected to say “I’m sorry to hear that” when they do not authentically experience empathy.22

다른 사람과의 공감 외에도 감정과 중요성(사람에게 중요한 것)으로서의 돌봄도 동기부여라는 제목의 연구에서 연관되어 있습니다. 동기 부여에 관한 연구에서는 의대생의 동기 부여 여부를 나타내는 요인을 조사하고23 내재적 동기와 외재적 동기를 구분합니다.24 목표는 예를 들어 수련의가 건강 프로토콜을 공부하거나 유능한 사람이 되기 위해 필요한 다른 일을 하는 데 필요한 것이 무엇인지 구분하는 것입니다. 교육생이 이미 충분히 돌봄의 능력을 갖고 있는가, 아니면 시험과 평가를 연계하는 등을 통해 돌봄의 능력을 갖추도록 만들어야 하는가? 성찰과 공감과 관련하여 시험examination의 문화는 성찰20 및 공감21의 문화와 충돌할 수 있으며, 이는 돌봄의 두 가지 의미, 즉 기대로서의 돌봄감정으로서의 돌봄 사이의 충돌로 다시 표현할 수 있다고 합니다. 공감과 성찰과 같은 현상에 대한 심리측정 평가에 반대하는 사람들은 평가가 그와 관련된 행동의 성과를 이끌어내지만, 성과를 요구하는 것은 돌봄을 가치 있게 만드는 진정성 있고 감정적인 경험을 방해한다고 주장합니다. 지지자들은 이러한 역량을 더 이상 평가하지 않는다면 교육생이 해당 역량을 배울 만큼 관심을 갖지 않을 수 있다고 반박합니다.
In addition to empathy with other people, care as emotion and importance (what matters to a person) are also linked in studies under the header of motivation. Studies about motivation examine what factors indicate whether a medical student is motivated,23 and distinguish between intrinsic and external motivation.24 The goal is to distinguish what is required for a trainee to, for instance, study health protocols or do other things that are necessary to become competent. Do they already care about this enough, or should they be made to care, for instance, by coupling tests to assessment? In relation to reflection and empathy it has been said that the culture of examination may clash with the culture of reflection20 and empathy21, which can be rephrased as a clash between two meanings of care: care as anticipation versus care as emotion. Opponents of psychometric assessment of phenomena like empathy and reflection argue that assessment brings out performances of behavior that is associated with them, but demanding performance interferes with the authentic and emotional experience of caring that makes it valuable. Proponents counter that if we would no longer assess these competencies, trainees might not care enough to learn them.

이러한 의미에서 돌봄의 시간적 측면, 즉 기대로서의 돌봄뿐만 아니라 과거와 현재에 대한 인식도 드러납니다. 병원 대기실에 있는 가족들은 어떤 소식을 듣게 될지 기대에 부풀어 걱정하고 있습니다. 성찰적인 실무자는 미래의 상황에서 배우기 위해 현재 자신의 과거 행동을 분석합니다. 커뮤니케이션에서 공감은 내가 이런 말을 하면 상대방이 어떻게 느낄지, 또는 환자에 대한 의학적으로 관련 있는 정보를 제공하는 반응을 이끌어내기 위해 어떤 말을 해야 할지 예상하는 것과 관련이 있습니다. 그러나 환자가 이전 상담에서 공유한 개인 정보를 기억하는 것도 배려의 표시가 될 수 있습니다. 
In these meanings, the temporal aspect of care becomes visible: care as anticipation, but also of awareness of the past and present. The family members in the hospital waiting room are worried in anticipation of what news they might receive. Reflective practitioners analyze their past actions in the present, in order to learn from it in future situations. Empathy in communication has a lot to do with anticipating what another person might feel if one were to say this, or what one should say in order to elicit this response that would provide one with medically relevant information about a patient. But it can also be a sign of care if one remembers the personal details that a patient shared in a previous consultation.

실제에서의 돌봄
Caring in practice

지금까지 의료 교육에서 '돌봄'이라는 단어와 관련된 다양한 의미와 몇 가지 공통된 특성이 서로 다른 돌봄의 방식을 어떻게 묶는지에 대해 살펴보았습니다. 이러한 광범위한 분석의 위험은 단어가 모든 것을 의미할 수 있는 컨테이너 개념이 되어 개념적 힘을 잃는다는 것입니다. 이것은 우리 모두가 어떤 개념에 대해 정확히 같은 것을 의미해야 한다는 것이 아니라 "의미적으로 동의하지 않을 수 있는" 충분한 상호주관성이 있다는 것을 의미합니다.12(13쪽) 개념은 서로 다른 의미가 충돌하는 것으로 보이는 구체적인 상황에서 더욱 명확하게 구분될 수 있습니다. 이제 실제 사례를 살펴보고 이 사례가 돌봄의 일상적 의미에 비추어 어떻게 보이는지 살펴보겠습니다. 
So far we have focused on the plurality of meanings associated with the word ‘care’ in health care education, and how a few common qualities bind different modes of caring. The risk with such a broad analysis is that the word becomes a container concept that can be taken to mean anything and thereby loses its conceptual power. This does not mean that we should all mean exactly the same thing by a concept, but that there is enough intersubjectivity to “meaningfully disagree”.12(p. 13) Concepts can become more clearly distinguished in a concrete situation in which its different meanings can be seen to clash. We will now look at a practical example and examine how this example looks in the light of the everyday meaning of care.

내과 레지던트 후배가 응급실의 의뢰로 근무 시간 외 환자를 진료했다고 가정해 보겠습니다. 입원 후 레지던트는 입원 전 일상적인 조사로 혈액 검사가 필요하다는 사실을 알게 됩니다. 레지던트는 환자와 상담한 결과 채혈을 여러 번 시도했고 환자의 팔에 멍이 들어 있어 환자가 불안하고 불편해하는 것을 발견했습니다. 아침 병동 회진에서 어텐딩은 혈액 검사 결과를 요청하고 레지던트는 당연히 당황하게 됩니다. 이때 주치의는 혈액 검사 결과 없이는 어떤 결정도 내릴 수 없다는 사실에 짜증이 납니다. 또한 전공의가 혈액 검사에 전혀 신경을 쓰지 않는 것처럼 보일 수도 있습니다. 
Imagine a junior resident in internal medicine has seen a patient after-hours as a referral from the ER. Upon admission, the resident notices a blood test is required as a routine investigation prior to admission. Upon consulting with the patient, the resident notices that multiple attempts had been made to draw blood and that the patient’s arms were bruised, making the patient restless and uncomfortable. On the morning ward round the attending requests the blood results and, naturally, the resident is at a loss. The attending at this point is annoyed that no decision can be made without the results of a blood test. It also may seem to the attending that the resident did not care to do the blood tests at all.

이 예에서는 여러 가지 요소가 작용하고 있습니다. 동정심을 느끼는 사람에게 해를 끼치고 싶지 않다는 친밀한 의미의 돌봄이 환자의 안녕을 보호하는 것과 상충될 수 있습니다. 여기에는 기대감도 작용합니다. 레지던트는 실제로 채혈을 시도하지는 않지만, 환자에게 이 질문을 던지는 것만으로도 불쾌한 환경을 조성하거나 환자의 신뢰를 훼손할 수 있다고 걱정합니다.
There are a multitude of elements at work in this example. Care in the intimate sense of not wanting to do harm to someone that one feels compassion for may be conflicted with the safeguarding of the patient’s well-being. Anticipation is also at work here. The resident does not actually attempt to draw blood but worries that even confronting the patient with the question may bring about an unpleasant environment or that she somehow would undermine their trust.

역설적이게도 주치의에게는 부주의하다고 인식되는 것에서도 배려가 드러납니다. 우리는 레지던트가 환자의 안녕을 걱정하는 마음프로토콜을 따르지 않는 레지던트에 대한 주치의의 시각을 이해할 수 있습니다. 레지던트가 아침 회진에서 내려야 할 결정을 위해 일상적인 혈액 검사의 중요성을 인식하지 못했고 의사 결정이 지연되면 환자의 건강에 영향을 미칠 수 있다는 사실에 짜증이 날 수도 있습니다. 그러나 다른 관점에서 보면 레지던트는 환자를 돌보았습니다. 레지던트는 환자가 사소한 시술로 인해 속상해하고 신체적 고통을 경험할 수 있다는 점을 고려했습니다. 레지던트가 절차적 요구보다 이러한 우려를 우선시한 것은 배려의 한 방법으로 볼 수 있습니다. 
Paradoxically, care shows itself even in what is perceived by the attending as carelessness. We can understand the residents’ care about the patient’s well-being, as well as the attending’s view of the resident not following protocols. They might be annoyed that the resident did not see the importance of the routine blood tests for the decision that was to be made on the morning round and that a delay in decision-making may affect the health of the patient. From another perspective, however, we see that the resident did care. The resident cared that the patient may feel upset and experience physical pain for what the resident sees as a minor procedure. It might be seen as a way of caring that the resident prioritized these concerns over procedural demands.

레지던트의 결정과 어텐딩의 상황 평가에는 아직 환자 치료를 완전히 맡겨지지 않은 수련의로서의 역할, 환자를 치료하는 의료 전문가로서의 역할, 프로토콜을 따라야 하는 병원 직원으로서의 역할 등 세 가지 돌봄의 대상이 경쟁적으로 실현되기 위해 경쟁하고 있습니다.

  • 환자 중심 치료의 관점에서 레지던트는 환자를 충분히 돌보는 것으로 간주될 수 있습니다.
  • 직원의 관점에서 보면 레지던트의 행동은 병원에서 모든 직원이 따라야 하는 진료 구조와 충돌합니다.
  • 수련의의 관점에서 주치의는 레지던트가 배워야 할 것을 배우지 못한 것으로 간주할 수 있습니다. 

Three objects of care are competing for realization within the resident’s decision as well as the attending’s assessment of the situation: the role of the resident as a trainee who is assessed and not yet entrusted fully with patient care, as a health care professional who treats patients, and as an employee of the hospital who is expected to follow protocols.

  • From the perspective of patient-centered care, the resident may be seen as fully caring.
  • From the perspective of an employee, her actions conflict with the care structure that all employees are supposed to follow in the hospital.
  • From the perspective of being a trainee, the attending may see the resident as failing at having learned something that they are supposed to learn.

레지던트가 무언가를 돌보지 않는다는 예를 상상할 수 없을 정도로 돌봄은 매우 근본적인 것입니다. 그것이 후배 의사의 경력이든, 병원의 프로토콜이든, 재정적 이익이든, 도덕적 무결성이든, 그 어떤 것이든 돌봄이 존재합니다. 부주의한 상황에서도 돌봄은 항상 작용하기 때문에 문제는 '보살핌이 있느냐'가 아니라 '이 특정 사례에서 보살핌이 어떤 형태를 취했느냐'입니다. 의료 교육과 돌봄의 근본적인 관계 때문에 우리는 돌봄이 단순히 실용적, 교육적, 심리적 문제가 아니라 심오한 철학적 문제라고 주장합니다. 
Care is so fundamental that it is impossible to imagine the example without the resident caring about something. Whether that something is the junior doctor’s career, the hospital’s protocols, financial benefits or moral integrity, care is present. Since even in encounters with carelessness, care is always at work, the question is not do they care?’, but ‘what form has care taken in this particular case?’ The fundamental relationship of care to health care education is why we argue that care is not just a practical, educational or psychological matter, but a deeply philosophical one.

돌봄과 철학적 만남
Philosophical encounters with care

하이데거는 『존재와 시간』에서 현대 사회에서 지식이 폭발적으로 증가하던 20세기 초를 배경으로 글을 씁니다. 이 시기에 하이데거는 철학이 존재한다는 것이 무엇을 의미하는가라는 가장 근본적인 질문으로 돌아가야 한다고 주장합니다. 이전의 철학자들과는 달리 그는 인간을 고립된 실체로 접근하는 것이 아니라 일상 생활에 완전히 몰입하여 모든 혼란, 양면성, 기쁨, 어려움을 겪는 존재로 접근합니다. 이러한 환경에서 사람은 "내가 여기서 무엇을 하고 있는가?"라고 질문할 수 있습니다. 하이데거의 대답은 돌봄입니다. 하이데거는 돌봄을 태도나 기술이 아니라 질문에 대한 응답으로 봅니다: "존재한다는 것은 무엇을 의미하는가?" 
In Being and Time,14 Heidegger writes from the beginning of the 20th Century during an explosion of knowledge in the modern world. During this time, Heidegger asks philosophy to return to the most fundamental question: what does it mean to be? In contrast to earlier philosophers, he does not approach human beings as isolated entities, but as beings that are completely immersed in daily life with all its befuddlements, ambivalence, joys, and difficulties. In this setting a person may ask, “what am I doing here?” Heidegger’s response is care. Heidegger does not see care as an attitude or technique but as a response to the question: “What does it mean to be?

존재와 시간의 관점에서 보면 우리의 모든 일상 활동은 돌봄을 중심으로 구조화되어 있습니다. 이러한 맥락에서 건강은 인간이 관심을 갖는 돌봄의 대상 중 하나일 뿐이며, 우리는 건강 자체를 위해서가 아니라 기분이 좋고, 가족과 함께 시간을 보내고, 오래 살고, 일하고, 지붕을 덮을 수 있기를 원하기 때문에 건강을 돌봅니다. 건강하면 일, 가족, 장수와 같은 다른 문제에 관심을 기울일 수 있습니다. 하이데거에게 건강 관리는 죽음을 연기하는 것입니다. 우리가 필멸자이기 때문에 치료가 존재하는 것입니다. 달리 말하면, 의료 교육에서 이 세 가지 용어 중 가장 근본적인 것은 돌봄입니다. 병원이 존재하는 이유도, 예시에서 레지던트가 자신의 명백한 실패에 죄책감과 체념을 느끼는 것도 모두 그 근원에 돌봄이 있음을 나타냅니다. 
From the perspective of Being and Time, all our daily activities are structured around care. In this context, health is only one of the objects of care that human beings are concerned with: we care for our health not for its own sake, but because we want to feel well, to spend time with our family, to live a long life, to be able to work and put a roof over our heads, and so on. Being healthy allows us to direct our attention to other matters such as work, family, or living a long life. For Heidegger, health care is about postponing death. It is precisely because we are mortal that care exists. Put differently, in health care education, the most fundamental of these three terms is care. Both the reason that hospitals exist and that the resident in our example feels guilt and resignation at her apparent failure indicate care at their origin.

간단한 예시를 통해 이러한 욕구가 항상 일치하는 근본적인 방향이 있음을 알 수 있습니다. 하이데거는 이를 시간의 구조와 동일시합니다. 현재에 무언가가 필요한 이유는 현재 상황에서 발생하는 미래를 상상하기 때문일 수 있습니다. 하이데거는 시간과 얽혀 있는 세 가지 요소, 즉 과거 현재 미래, 이미 있음, 함께 있음, 아직 없음이라는 개념을 통해 돌봄에 대한 자신의 생각을 소개합니다. 
We can see in simple examples there is always an underlying direction to which these needs align. Heidegger identifies this with the structure of time. One might need something now in the present, but it is only because we imagine a future arising from the current state of affairs. Heidegger introduces his idea of care with three elements that are intertwined with time: past present and future, which he calls already-there, being-with and not-yet.

이미 있음: "우리는 이 집에 태어났습니다. 이 세상 속으로 우리는 던져진다" - 1967년 문
Already-there: “into this house we’re born. Into this world we’re thrown” – the doors 1967

하이데거는 우리가 우리보다 훨씬 이전에 존재했던 세계에 도착한다는 사실을 주로 인정합니다. 레지던트는 의료 수련을 시작하기 전부터 이미 존재했던 병원에 있습니다. 수많은 시스템과 장비가 레지던트들이 임무를 수행하는 데 도움을 줍니다. 일상적인 혈액 샘플 채취라는 단순한 행위조차도 글로벌 제조 공급망, 재고 주문 및 관리, 임상 기술 교육 등의 조율된 구조에 따라 달라집니다. 의료 수련 과정에서 레지던트는 이미 의료가 존재하고 있기 때문에 이미 구축된 세계에 '던져진' 것입니다. 
Heidegger primarily acknowledges the fact that we arrive in a world which has been in existence long before us. The resident is in a hospital that was already there before they started medical training. A multitude of systems and equipment serve to assist them in doing their duty. Even the simple act of taking a routine blood sample is contingent on a coordinated structure of global manufacturing supply chains, stock ordering, and management, training in clinical skills etc. In medical training, the resident is ‘thrown’ into a world that was already there and has been constructed because care is already present.

존재-함께: "인간의 환경은 동료 인간이다." - 줄스 델더
Being-with: “the environment of the human being is fellow human being.” – Jules Deelder

레지던트는 주로 겁에 질리고, 취약하고, 압도당할 수 있는 사람으로서 환자를 만납니다. 레지던트의 관심은 환자를 병원에 오게 한 실질적인 이유(이미 병원에 온 이유와 앞으로 달성해야 할 목표 모두)에서 벗어나 현재의 다른 무언가에 쏠리게 됩니다. 이 순간 환자는 더 이상 단순한 조사 대상이 아니라 레지던트에게 원활한 의사소통과 개방성을 요구하고 한 인간으로서 인정받아야 하는 존재가 됩니다. 이러한 호감은 관계 형성의 시작이며, 레지던트의 모든 태도나 분위기에 영향을 미칩니다. 예를 들어, 환자가 레지던트의 인간성에 호소하는 경우, 레지던트는 자신이 원하는 절차를 따르지 못하고 부서나 상사의 절차에 얽매여 있는 것에 짜증을 낼 수 있습니다. 
Our resident encounters the patient primarily as someone who is scared, vulnerable, and perhaps overwhelmed. Their attention is drawn away from the practical reason that brought them to hospital (both in the sense of a reason for the visit that was already there and the future goal that needs to be accomplished) and instead to something else in the present. At this moment, the patient is no longer simply an object for investigation but a human being whose presence demands good communication, openness, and for the resident to acknowledge them as a person. This appeal is the beginning of forming a relationship which colors the resident’s attitude or mood toward everything else. For instance, in light of the patient’s appeal to her humanity, the resident may be annoyed that they cannot follow the procedure they need to but are bound to the processes of her department or supervisor.

레지던트의 상황은 단순히 객관적으로 존재하는 것들(환자, 주사기, 레지던트가 있는 방)의 집합이 아닙니다. 레지던트가 특정한 방식으로 함께 있는 요소들의 집합입니다. 이 예에서 레지던트와 상황의 관계는 두 개의 경쟁적인 치료 대상의 갈등에 대한 반응으로서 좌절감입니다. 좌절감을 주는 것은 개별적인 요소가 따로 있는 것이 아닙니다. 사랑에 빠지거나 지루한 사람이 사랑이나 지루함의 관점에서 모든 것을 경험하는 것처럼, 모든 것은 좌절의 관점에서 발생합니다.
The resident’s situation is not a collection of things that are merely objectively present (the patient, the syringe, the room they are in). It is a constellation of elements that the resident is with in a particular way. In our example, the resident’s relationship with the situation is frustration as a response to the conflict of two competing objects of care. It is not any distinct individual element that is frustrating. Everything occurs in the light of being frustrated, just as a person who is in love or bored experiences everything in the light of being in love or of boredom.

아직은 아니죠: "미래는 일어나기 훨씬 전에 우리 안에서 스스로 변화하기 위해 우리에게 들어온다." 릴케, 젊은 시인에게 보내는 편지, 10번 편지
Not-yet: “the future enters us, to change itself in us, long before it happens.” Rilke, letters to a young poet, letter 10

하이데거에게 돌봄의 마지막 차원은 가장 중요한 차원입니다. 이 세 가지가 모두 하나의 통일체이지만, 이것이 바로 돌봄에 의미와 방향을 부여하는 것입니다. 레지던트가 애초에 그곳에 앉아 이미 존재하는 구조 안에서 환자와 함께 있는 이유는 의사가 되고자 하는 의학적 수련을 받고 있기 때문입니다. 이 예에서 주치의는 환자의 안전을 위해 일상적인 혈액 검사가 중요하다고 지적할 수 있지만, 가장 중요한 것은 레지던트가 이 검사가 자신의 전문적 성장을 위해 왜 중요한지 이해하는 것입니다. 
The final dimension of care is the most important for Heidegger. Even though all three are one unity, this is the one that gives care its meaning and direction. The reason the resident is sitting there in the first place, being with a patient within a structure that was already there, is that they are in medical training: they want to become a physician. In our example, the attending may point out that this routine blood sample is important to do for patient safety but most importantly it is crucial that the resident understands why the test is important for her own professional growth.

이 예에서 우리는 이러한 예상 가능한 측면이 작동하는 것을 볼 수 있습니다. 환자는 위험 가능성으로부터 보호되어야 하며, 레지던트는 자신의 성장과 학습을 보여주기 위해 이러한 일상적인 검사의 중요성을 배워야 합니다. 갈등은 레지던트가 불필요한 검사로 인해 환자에게 상처를 입힐까 봐 걱정하고 두려워할 때 발생합니다. 이 갈등은 실제 사건이 아니라 가능한 사건 사이에서 발생하지만 상황을 결정적으로 형성합니다. 
In this example, we see these anticipatory facets at work. The patient must be protected from the possibility of harm and the resident must learn the importance of these routine tests for them to show her growth and learning. The conflict arises when the resident is concerned and scared of hurting the patient for what may possibly be an unnecessary test. This conflict is between possible events, not actual events, and yet they decisively shape the situation.

하이데거에게는 이것이 문제의 핵심입니다. 의료 실습생은 아직 의사가 아니지만 의사가 되기 위한 과정에 있습니다. 따라서 의료 수련생은 자신에게 중요한 것이 무엇인지, 그리고 미래에 자신이 어떻게 될 것인지에 대해 성찰해야 합니다. 이 사례의 레지던트는 환자가 겪게 될 고통에 대해 걱정하면서도 주치의가 자신을 어떻게 생각할지, 그리고 이것이 자신의 평가에 미칠 영향에 대해 걱정하는 양면성을 지니고 있습니다. 이러한 돌봄 대상의 갈등 속에서 레지던트는 어려운 선택에 직면하게 됩니다. 사실 이러한 갈등은 의사가 환자에게 하는 다양한 약속의 핵심을 관통합니다. 이러한 갈등은 진료의 대상이 실제로 무엇이며 어떻게 기능하는지 면밀히 검토할 필요성을 제기합니다. 여기서 우리는 수련의가 임상적 또는 윤리적 의사 결정에서 이러한 어려움을 헤쳐 나갈 때 중요한 고려 사항을 파악하고 이해하도록 돕는 것이 교육의 근본적인 초점이라는 사실을 발견합니다.
For Heidegger, this is the crux of the matter. The medical trainee is not yet a doctor but is in the process of becoming one. This asks a medical trainee to reflect on what is significant to them and how they see themselves being in the future. The resident in this example is ambivalent: she cares about the suffering her patient will experience but also cares what her attending will think of her and the effect this may have on her assessment. In this conflict of objects of care it is obvious that the resident is confronted by a difficult choice. In fact, this conflict cuts to the very core of the different commitments a doctor makes to their patients. It brings into view the need to closely examine what these objects of care really are and how they function. This is where we discover that a fundamental focus of education is helping trainees identify and comprehend the important considerations when navigating these difficulties in clinical or ethical decision-making.

철학은 이러한 복잡한 갈등을 헤쳐나가는 데 어떻게 도움이 될 수 있을까요? 존재와 시간에서의 돌봄은 다음과 같이 설명할 수 있습니다. 다른 사람, 사물, 장비와 함께하는 우리의 태도를 형성하고 현재 순간을 비추는 종말을 예상하는 것입니다. 이는 교육 프로그램의 효과를 극대화하기 위해 활용하는 기술적 모델이 아니라 의료 교육의 인간적 요소에 초점을 맞추는 데 도움이 될 수 있는 성찰적 패러다임입니다.
How can philosophy help us navigate these complicated conflicts? Care in Being and Time can be described as follows: anticipating an end that shapes our attitude to being with others, things, and equipment, that illuminate our current moment. This is not a technical model that we utilize for maximizing effectiveness of our teaching programmes but a reflective paradigm that can help us bring the human elements of health care education into full focus.

시사점: 의료 교육에서의 돌봄
Implications: Care in medical education

보건의료 교육에서의 돌봄에 대한 철학적 분석에서 우리는 『존재와 시간』에 나타난 돌봄의 개념이 보건의료 교육의 정신으로서 돌봄에 대한 깊은 성찰을 어떻게 열어줄 수 있는지 탐구하려고 시도했습니다. 우리는 이를 탐구하기 위해 '철학자 하이데거'나 다른 철학적 관점의 비교를 출발점으로 삼기보다는 하나의 철학 작품에서 하나의 개념으로 의식적으로 제한했습니다. 
In our philosophical analysis of care in health care education, we have attempted to explore how the concept of Care as it appears in Being and Time can open up a deep reflection on care as the spirit of health care education. We have consciously limited ourselves to one concept in one philosophical work to explore this, rather than, taking ‘the philosopher Heidegger’ or a comparison of different philosophical perspectives as a starting point.

더 많은 탐구를 위해 존재와 시간 외에도 돌봄에 대한 다른 해석을 살펴볼 수 있습니다. 하이데거는 이 작업 이후 자신의 철학을 더욱 발전시켰는데, 예를 들어 의료 전문가를 대상으로 한 일련의 강연인 졸리콘 세미나25가 있습니다. 그러나 하이데거의 실존 분석을 비판적으로 구축한 다른 철학자들이 있는데, 이들은 의료 교육에서 소홀히 다루어지는 치료 방식을 지적하는 데 사용할 수 있습니다. 레비나스는 삶의 윤리적 만남에서 연민으로 행동하는 타자를 강조합니다.26 하이데거와 니체를 자신의 두 가지 주요 영향으로 꼽은 푸코는 '존재론적으로' 돌봄은 결코 중립적이지 않으며 권력/지식 관계의 네트워크에서 발생한다는 것을 보여주었습니다.27 드 보부아르의 연구에 이어,28 보건의료 교육의 성차별적 과거는 일부에게 특권을 부여하는 돌봄의 방식을 강조한 것으로 볼 수 있습니다. 돌봄은 여성의 의무로 여겨졌고, 간호 업무는 돌보는 일로 여겨졌지만, (아마도 남성인) 의사의 의무는 질병에 대한 냉철하고 과학적인 이해로 여겨졌습니다. 우리는 이 두 가지 모두 돌봄의 방식이므로 역할이나 성별에 관계없이 모든 의료 전문가에게 기대해야 한다고 주장합니다. 마지막으로, 스티글러는 기술도 치료의 한 방식이라는 사실을 지적합니다. 
For further avenues of exploration, we could look at other interpretations of care beyond Being and Time. Heidegger himself further developed his philosophy after this work; for instance, the Zollikon Seminars25 is a series of lectures he gave for medical professionals. But there are other philosophers who critically built on Heidegger’s existential analytic who could be used to point us to neglected modes of care in health care education. Levinas places emphasis on the Other in acting compassionately in the ethical encounters of life.26 Foucault, who named Heidegger and Nietzsche as his two major influences, showed that ‘ontically’, care is never neutral but it happens in a network of power/knowledge relations.27 Following De Beauvoir’s work,28 health care education’s sexist past could be seen as highlighting a mode of care that privileges some over others. While caring was seen as the duty of a woman, the work of nursing was seen to be the work of caring, the duty of the (presumably male) doctor was seen as a cold detached and scientific understanding of disease. We argue that both of these are modes of care and thus should be expected of all health care professionals, regardless of role or gender. Finally, Stiegler points us to the fact that technology is also a mode of care, but that its double-sided nature can also threaten care.29,30

우리는 존재와 시간의 경계 안에 머물기로 한 우리의 선택을 되돌아봅니다. 이 논문이 게재되는 시리즈의 목적은 철학이 의료 교육에 어떻게 도움이 될 수 있는지 탐구하는 것입니다. 이전 연재에서는 한 철학자31 또는 전체 철학적 전통11 또는 철학적 분야4의 연구가 어떻게 한 문제를 전체적으로 해명할 수 있는지 살펴보았습니다. 
We reflect on our choice to stay within the boundaries of Being and Time. The purpose of the series in which this paper appears is to explore how philosophy can be helpful for health care education. Previous installments have explored how the work of a philosopher31 or even an entire philosophical tradition11 or philosophical field4 can elucidate an issue as a whole.

윤리로써의 돌봄을 살펴보면 의료 교육 문헌에 이미 존재한다는 것을 알 수 있습니다. 현재 의료 교육 모델에서는 해부학, 생리학, 약리학 임상 기술을 합쳐서 의사가 되고, 이를 배려하는 방식으로 적용하는 방법을 아는 의사가 되는 것을 목표로 삼고 있습니다. 그러나 우리가 공감을 가르치려고 노력하는 동안 의대생들은 교육을 통해 공감 능력이 떨어지고 있습니다.32 그러나 존재론적으로 돌봄이 어디에나 존재한다면, 질문은 "왜 학생들은 덜 돌보는가?"에서 "왜 학생들은 한 가지 돌봄 방식을 다른 방식보다 우선시하도록 가르치는가?"로 바뀝니다.  
If we examine care as an ethic, we find it already present in health care education literature. The models of health care education currently view making a medical student by adding together anatomy, physiology, pharmacology clinical skills and ensure that the doctor knows how to apply these in a caring manner. However, while we are trying to teach empathy, medical students are becoming less empathetic through their education.32 But if, ontologically, care is ubiquitous, the question changes from “why do students care less?” to “why are students taught to privilege one mode of care over others?”

존재론적 수준에서 돌봄을 이해하는 것의 실질적인 가치는 성찰적 학습을 통해 드러납니다. 성찰은 쉽지 않은 주제이지만,33 성찰의 목표는 학습을 확장하고 업무 환경을 더 잘 이해하는 것입니다. 물론 우리는 의대생이 환자의 의학적 상태, 환자의 전반적인 신체 건강, 환자를 현재 상태에 이르게 한 인과적 요인의 성격 등 물질적 상황에 대해 성찰하기를 바랍니다. 하지만 이 과정에서 "이 진단이 나에게 무엇을 의미하는가?"와 같은 질문을 불러일으킬 수 있는 표정이나 날카로운 침묵에도 주목해야 합니다. 
The practical value of understanding care on an ontological level emerges through reflective learning. While reflection is a slippery subject,33 the goal of reflection is to expand learning and to better understand a work environment. Of course, we want medical students to reflect on the material circumstances of the patients’ medical condition, their general physical health, and the nature of the causal agents that brought the patient to where they are today. But in doing this they must also notice the facial expression or the pointed silence which can invite questions like “what does this diagnosis mean for me?”

하이데거는 우리의 존재에 대해 어려운 질문을 던지는 것을 방해하는 것이 일상 생활의 현실이기 때문에 이것을 철학적 탐구의 영역으로 끌어들입니다. 그러나 하이데거는 이러한 현실적인 방해가 항상 더 깊은 사고의 구조를 향하고 있다는 사실에도 주목합니다. 예를 들어, 저는 체크리스트의 일부로 정맥주사를 놓을 수도 있지만, 환자의 첫 번째 화학요법에서도 역할을 하고 있습니다. 치료 기반 분석의 목표는 이러한 일상적인 기술 프로세스의 근본적인 시간적 구조를 밝혀내는 것입니다. 이러한 기본 구조는 반드시 인과관계가 있는 것은 아니지만, 의료 전문가라는 존재의 근간이 되는 약속입니다. 만약 우리가 진료의 표면적인 현상만을 계속 살펴본다면, 우리는 의료전문직업인이 주어진 상황에서 올바르게 행동했는지 또는 잘못 행동했는지 여부만 판단할 수 있을 것입니다. 하지만 이러한 진료의 겉으로 드러나는 현상 너머를 들여다보면 그 근본적인 구조가 철학적 탐구를 위해 완전히 열려 있다는 것을 알 수 있습니다. 
Heidegger draws this into the domain of philosophical enquiry as it is the practicalities of everyday life that prevent us asking difficult questions about our existence. However, Heidegger also notices that these practical distractions are always directed at some deeper structure of care. For instance, I might well be putting up an IV line as part of my checklist, but I am also playing a role in a patient’s first dose of chemotherapy. The aim of a care-based analytic is to be able to bring to light the underlying temporal structure of these everyday technical processes. These underlying structures are not necessarily causal agents but are rather the commitments that underlie the being of a Health Care Professional. If we were to continue to look at the ontic manifestations of care, we might only be able to judge whether a HCP acted correctly or incorrectly in a given situation. But if can look beyond these manifestations of care we see that the underlying structure is completely open for philosophical investigation.

우리의 주장은 성찰하는 의료진은 이 두 가지를 모두 수행해야 한다는 것입니다. 그들은 조사가 적절한지 또는 병리 또는 치료 양식을 더 잘 이해하기 위해 더 많은 주의를 기울여야 하는지에 대해 잠시 멈추고 성찰할 수 있어야 합니다. 그러나 이러한 기술적 프로세스가 궁극적으로 의사가 되기 위한 다양한 약속을 어떻게 지향하는지 조사할 수 있어야 합니다. 우리는 의료 교육에서 철학의 역할이 어떤 행동을 취해야 하는지, 취하지 말아야 하는지에 대한 범주적 판단을 가르치는 것이 아니라 올바른 질문을 할 수 있도록 돕는 것이라고 주장합니다. 궁극적으로 이것이 의료 교육에 대한 도전입니다. 우리는 교육과 가르침의 기술적 과정을 넘어 다음과 같은 질문을 할 수 있을까요? 의사가 된다는 것은 무엇을 의미할까요? 
Our claim is that a reflective practitioner ought to do both. They should be able to pause and reflect on whether an investigation is appropriate or whether some more attention should be paid to better understanding pathology or treatment modalities. However, they should also be able to investigate how these technical processes are ultimately aimed at the various commitments that constitute being a doctor. We argue that this is the place of philosophy in health care education, not to teach categorical determinations of what action should or should not be taken, but rather to help us to ask the right questions. Ultimately this is the challenge to health care education. Are we able to look past the technical processes of education and teaching and start asking: What does it mean to be a doctor?


Teach Learn Med. 2022 Jun-Jul;34(3):341-349. doi: 10.1080/10401334.2022.2056744. Epub 2022 Apr 25.

Because We Care: A Philosophical Investigation into the Spirit of Medical Education

Affiliations collapse

1Department of Medicine, University of Cape Town, Cape Town, South Africa.

2Department of General Practice, Erasmus Medical Center, Rotterdam, The Netherlands.

PMID: 35469534

DOI: 10.1080/10401334.2022.2056744

Abstract

Although in health care education we encounter the word care at every turn, the concept is hardly ever defined or subjected to scrutiny. Care is a foundational concept of health care education, and if we do not take control of our basic concepts, their meaning can be subject to other influences. We take a philosophical approach to care and ask what care is, to connect different conceptions of care in health care education to their common root. We do this by first examining how the concept is used in health care education, how it features in Martin Heidegger's Being and Time, and finally, how these philosophical implications may be applied to medical education.

The use of care in medical education suggests that it is foundational to understanding health care education. However, presently the concept is ambiguous and risks being a 'container concept' that becomes meaningless because it is used generally. In publications that feature the concept, it is usually in service of another aspect that is under investigation, and not care itself. For instance, publications on teaching patient-centred care focus on the meaning of 'patient-centeredness' rather than care. In 'health care', there are debates about what 'health' means, but not care. The concept is also used in different and sometimes contradictory meanings: care as the organizational structure of health care that safeguards (health care system), care as empathy or careful attention of medical trainees for patients (caring about one's patients, treating them carefully), and, finally, care as motivation and focus toward a goal (caring about graduating, making a contribution). We turn to the philosophy of Heidegger to integrate these different appearances of care into a unified structure. Heidegger's Being and Time describes care as the basic ontological structure of human existence. This turns out to be a structure of time: in the familiar structure of past present and future. Anticipating a future end, which determines our attitude toward the people, objects, and physical structures we are with now, and in the light of which we orient ourselves to what is already there.

By describing the ontological (foundational) structure of care, we argue that care is the spirit of health care education. This unifying structure can be used to integrate phenomena that are recognized as important in health care education but are usually seen as separate. We use an example to illustrate how empathy, health protocols, and educational goals can be connected in one situation. Just as health provides a framework for patient management, care can provide this framework for education. This fundamental concept of care can be used in practice for reflection on anticipated ends in situations in which different modes of care seemingly conflict. Beyond our focus on care, we also illustrate how one can take an important concept in health care education and use philosophy to root it in a foundational understanding of that concept.

Keywords: Philosophy; care; empathy.

임상 카데바의 라이프사이클: 실천-기반 민족지학(Teach Learn Med, 2022)
The Lifecycle of a Clinical Cadaver: A Practice-Based Ethnography
Anna MacLeoda , Victoria Luonga , Paula Camerona , George Kovacsb, Molly Fredeena, Lucy Patrickb, Olga Kitsc and Jonathan Tummonsd

 

 

소개
Introduction

최근 학자들은 의학교육 탐구에서 보다 명확한 철학적 전환을 요구하며 우리 커뮤니티가 과학 철학을 접하고 "아무도 찾지 못한 문제"를 탐구하도록 장려하고 있습니다.1,2 존재를 다루는 철학의 한 분야인 존재론에 대한 질문은 의학교육 영역에서 중요한 고려 사항으로 제기되었습니다.3 우리는 의학교육에서 가장 복잡한 실습 중 하나인 카데바 기반 시뮬레이션(CBS)을 경험적 및 철학적으로 탐구함으로써 이 요청에 응답했습니다. 이 논문에서는 사람들이 시체를 대면할 때마다 몰입하는 매혹적인 철학적 움직임에 대해 새롭게 조명합니다. 
Scholars have recently called for a more explicit philosophical turn in medical education inquiry, encouraging our community to engage with philosophies of science, and to explore “problems no one looked for.”1,2 Questions of ontology, the branch of philosophy that deals with being, have been raised as important considerations in the realm of medical education.3 We responded to this call by both empirically and philosophically exploring one of the most complex practices of medical education: cadaver-based simulation (CBS). In this paper, we shed new light on the fascinating philosophical moves in which people engage each time they find themselves face to face with a cadaver.

시체는 전통적으로 해부학 교육 영역에서 많은 의학교육 프로그램에서 중요한 요소입니다.4,5 의학교육에서 전통적인 시체에 관한 문헌은 해부학 교육에 대한 효과뿐만 아니라,6 시체 사용과 관련된 윤리적7,8 및 전문적9-11 복잡성을 탐구해 왔습니다. 많은 사람들이 논란의 여지가 있는 시체 해부의 역사를 되돌아보면서 한때 "도덕적이지 않고 거의 합법적이지 않은 활동"11(p3)에서 최고 수준의 존중을 요구하는 활동으로 진화했으며, 이는 현재 시체 기반 교육에 관한 윤리 지침 및 법적 규정에 반영되어 있습니다.12 또한 최근의 저자들은 안구 자극부터 불안, 놀라움, 열정에 이르기까지 의료 실습생이 시체 해부와 관련하여 보이는 다양한 신체적, 정신적, 정서적 반응을 탐구했습니다.7,13-17 일반적으로 이러한 연구는 다른 해부학 교육 방법에 비해 시체 기반 학습의 우수성을 입증하고 있으며,6 시체가 학생의 공감과 휴머니스틱 케어에 미칠 수 있는 긍정적인 영향을 입증하고 있습니다.18,19 
Cadavers are an important element in many medical education programs, traditionally in the realm of anatomy education.4,5 The literature on traditional cadavers in medical education has explored not only their effectiveness for teaching anatomy,6 but also some of the ethical7,8 and professional9–11 complexities associated with their use. Many have reflected on the controversial history of cadaveric dissection, which has evolved from a once “dubiously moral and barely legal activity” 11(p3) to one demanding the highest standards for respect, which are reflected in current ethical guidelines and legal regulations around cadaver-based education.12 As well, recent authors have explored the various physical and psycho-emotional reactions medical trainees have in relation to cadaveric dissection—ranging from ocular irritation, to anxiety, surprise, and enthusiasm.7,13–17 Generally speaking, these studies attest to the superiority of cadaver-based learning compared to other methods of anatomy education,6 as well as the positive impacts cadavers may have on student empathy and humanstic care.18,19

그러나 맥도날드20와 할람21과 같은 일부 학자들은 시체의 역동적이고 전개되는 특성에 주목하기 위해 인류학 및 민족지학적 접근 방식을 취했습니다. 맥도날드는 학생들이 시체를 어떻게 "습득"하는지를 보여줍니다. "끊임없이 활동하는 미세 관절 과정"에서 학생들은 시간이 지남에 따라 다양한 방식으로 보고, 냄새 맡고, 다루고, 듣는 법을 배웁니다.20(129쪽) 예를 들어, 저자는 학생들이 매뉴얼에 설명된 도표를 눈앞의 시체와 일치시키는 방법을 점차적으로 배우는 과정을 설명하는데, 맥도날드는 이를 "특정한 눈을 획득...보는 법을 배우는 것"으로 묘사하고 있습니다. 또한 할람21은 사후 시신 해부를 "관계적 과정"21(p100)으로 간주하며, 시신은 항상 시신의 조달, 사용 및 추모와 관련된 사회적, 물질적 요소와 관련하여 이해됩니다. 이러한 방식으로 "사후 시신은 인격체로서, 해부학적 지식의 생성 및 전달을 위한 자료로서, 의학 발전을 위한 선물로서 가치가 있다"21(p99). 
Some scholars, however, such as McDonald20 and Hallam,21 have taken an anthropological and ethnographic approach to attend to the dynamic and unfolding character of cadavers. McDonald demonstrates how cadavers are “acquired” by students; in an “ever-active process of micro articulation,” students learn to see, smell, handle, and hear in various ways over time.20(p129) For example, the author explains how students gradually learn to match diagrams illustrated in their manuals to the cadavers before them: a process McDonald describes as “acquir[ing] particular eyes…learn[ing] to see.” Moreover, Hallam21 considers the dissection of a body after death a “relational process”21(p100) whereby the cadaver is always understood in relation to the social and material elements involved in their procurement, use, and memorialization. In this manner, “bodies after death are valued as persons, as materials for the generation and communication of anatomical knowledge, and as gifts for the advancement of medical science”21(p99)

최근에는 보존 기술의 발전으로 특히 술기 교육 및 시뮬레이션 영역에서 시체가 새롭게 활용되고 있습니다.22-27 다른 형태의 시뮬레이션과 마찬가지로 CBS는 학습자가 실제와 같은 맥락에서 술기를 연습하고 지식을 적용한다는 아이디어에 기반합니다. 실제 인체보다 인체의 복잡성, 가변성, 특수성을 더 충실하게 재현할 수 있는 마네킹은 없기 때문에 CBS는 특히 고숙련, 저빈도 술기 연습을 위한 유망한 교육 접근법으로 부상하고 있습니다.22-27 이러한 보존 기술은 아직 비교적 새롭기 때문에 임상 사체의 사용을 구체적으로 검토한 연구는 부족합니다. CBS에 관한 기존 문헌은 몇 가지 주목할 만한 예외를 제외하고는 주로 학습에 대한 유효성과 효과를 측정하는 데 중점을 두었습니다.22-28. 예를 들어, 더글러스 존스(Douglas-Jones)29 의 민족지학적 설명은 대만의 추기경 침묵 멘토 프로그램인 메디컬 시뮬레이션 센터에서 사람들이 기증자의 신원을 인정하기 위해 사진을 배치하고 기증자의 삶에 대한 이야기를 들려줌으로써 기증의 문화적 특수성을 자세히 설명합니다. 
More recently, advancements in preservation techniques have led to new uses for cadavers, specifically in the realm of procedural skills teaching and simulation.22–27 CBS, like any form of simulation, is based on the idea that learners practice skills and apply knowledge in lifelike contexts. Arguably, no manikin can offer more fidelity in reproducing the complexity, variability, and particularity of the human body than an actual human body; thus, CBS is emerging as a promising approach for teaching, particularly for practicing high-skill, low frequency procedures.22–27 Because these preservation techniques are still relatively new, there is a paucity of research examining the use of clinical cadavers specifically. The limited existing literature on CBS has largely focused on measuring its validity and effectiveness for learning,22–28 with a few notable exceptions. Douglas-Jones’29 ethnographic account, for example, details the cultural specificities of donation in the Taiwanese Tzu Chi Buddhist Silent Mentor program Medical Simulation Center, where people make a deliberate effort to acknowledge the identity of the donor, by positioning photographs and telling stories about the donor’s life.

이러한 시체의 윤리적, 전문적 복잡성은 기존 시체와 크게 다를 수 있습니다. 예를 들어, 전통적인 시신과 비교했을 때 CBS를 위해 준비된 시신은 시각적으로나 촉각적으로 더 생생합니다.

  • 딱딱하게 고정된(전통적인) 시신은 포름알데히드라는 화학 물질을 사용하여 방부 처리하는데, 이는 시신 조직의 분해를 지연시킬 뿐만 아니라 시신을 뻣뻣하고 유연하지 않게 만들기도 합니다. 이러한 시신은 신체 조직의 복잡한 형태와 위치를 유지하지만 살아있는 시신과 잘 닮지 않습니다.30
  • 반면, 최근에 Thiel,31과 대만,29,32 볼티모어, 핼리팩스의 과학자들이 개발한 소프트 보존(CBS) 시신은 마취된 환자의 모습과 느낌을 그대로 유지합니다. 코백과 동료들은 임상 시체라고 부르는 이러한 실물보다 더 실물 같은 시체를 사용하여27 높은 수준의 충실도로 시술을 연습할 수 있습니다.34 

Arguably, the ethical and professional complexities of these cadavers could differ significantly from those of traditional cadavers. For example, compared to traditional cadavers, bodies prepared for CBS are undeniably more lifelike—both visually and tactilely. 

  • Hard-fixed (traditional) cadavers are embalmed using the chemical formaldehyde, which delays the decomposition of the body’s tissues, but also renders them stiff and unpliable. These cadavers maintain the intricate form and location of bodily tissues but poorly resemble living bodies.30 
  • In contrast, soft-preserved (CBS) cadavers, such as those more recently developed by Thiel,31 as well as scientists in Taiwan,29,32 Baltimore, and Halifax,27,33 maintain the look and feel of anesthetized patients. Medical learners across the continuum can use these more lifelike cadavers, termed clinical cadavers by Kovacs and colleagues,27 to practice procedures with high degrees of fidelity.34

맥도날드나 할람과 같은 학자들은 시체 해부의 인류학적 및 관계적 차원에 대한 풍부한 통찰력을 제공했으며, '해부' 과정에서 시체가 갖는 다양한 가치와 역할을 암시했습니다.20,21 그러나 이 분야의 학자들은 아직 CBS에 실제와 같은 시체를 사용하는 것과 관련된 근본적인 철학적 및 존재론적 문제를 충분히 검토하지 못했습니다. 또한 일부는 수술 술기 교육을 용이하게 하기 위해 다르게 보존된 시체를 사용하는 프로그램의 문화적 뉘앙스를 설명했지만,29,32 이러한 논문은 아직 CBS에 관련된 사람들이 행정에서 교육에 이르기까지 당면한 다양한 작업을 수행하기 위해 참여해야 하는 개념적 작업에 대해서는 다루지 않았습니다. 이러한 격차를 해소하기 위해 우리는 들뢰즈와 과타리의 창조로서의 존재론 개념을 활용하여 의학교육자들이 시체를 이해하면서 어떻게 진화하는 개념들을 개발하는지를 분석했습니다.35 저자들은 고전적인 저작인 "철학이란 무엇인가?"에서 우리가 세상을 이해하려고 할 때 관여하는 세 가지 주요 행위를 과학, 예술, 철학으로 구분했습니다. 우리는 의학교육자들이 오랫동안 CBS의 과학과 예술을 접해 왔지만, 이 작업의 철학적 측면, 특히 존재론에 대한 질문에는 아직 주의를 기울이지 않았다고 주장합니다. 
Scholars such as McDonald and Hallam have given us rich insights into some of the anthropological and relational dimensions of cadaveric dissection, hinting at the multiple values and roles that bodies take on during the process of “anatomisation.”20,21 However, scholars in the field have not yet fulsomely examined the underlying philosophical and ontological questions associated with using lifelike cadavers to engage in CBS. And, while some have described the cultural nuances of programs using cadavers that are differently preserved in order to facilitate surgical skills teaching,29,32 these pieces have not yet addressed the conceptual work in which people involved with CBS must engage to accomplish the variety of tasks at hand—ranging from administrative to educational. In an effort to address this gap, we worked with Deleuze and Guattari’s notion of ontology as creation to analyze how medical educators develop an evolving suite of concepts to make sense of cadavers as they go about their work.35 In their classic work What is Philosophy?,35 the authors distinguished three primary acts in which we engage as we try to make sense of the world: science, art, and philosophy. We argue that medical educators have long engaged with the science and art of CBS; however, we have not yet carefully attuned to the philosophical aspects of this work, and in particular to questions of ontology.

2년에 걸친 실무 기반 36 민족지학적 CBS 연구를 통해 우리는 시체가 존재론적으로 복잡하며 끊임없이 개념이 재창조되는 과정에 있다는 것을 알게 되었습니다. 여기에서는 교육용 시신의 6단계 생애주기를 설명하면서 CBS를 통한 교육 및 학습 작업을 용이하게 하기 위해 각 단계에서 발생해야 하는 존재론적 전환을 설명합니다. 이 백서는 실제와 같은 시체를 다루는 작업의 더 깊고 철학적인 복잡성을 조사하여 현재의 이해를 확장합니다.
Through a two-year practice-based
36 ethnographic study of CBS, we learned that cadavers are ontologically complex, and in a process of constant conceptual re-creation. We describe herein a six-step lifecycle of an educational cadaver, delineating the ontological transitions that must occur at each stage to facilitate the work of teaching and learning through CBS. This paper expands our current understanding, probing the deeper, philosophical complexities of working with lifelike cadavers.

방법
Method

이론적 틀
Theoretical frame

본 연구는 실천 이론에 이론적 틀을 두고 있습니다.36 실천 이론은 사회 세계를 "숙련된 인간의 몸과 마음, 사물과 텍스트에 새겨지고 한 수행의 결과가 다른 수행의 자원이 되는 방식으로 함께 매듭지어져 내구성이 있는 방대한 수행의 배열 또는 집합체"로 보는 관점을 제시한다고 할 수 있습니다.37(p20) 실천은 물질적으로 매개되고 사회적이고 관계적인 것과 얽혀 있습니다.36 이 접근법은 사람들이 직장과 기타 일상 환경에서 참여하는 일상 활동의 네트워크를 이해하는 데 중점을 둡니다.37,38
Our study is theoretically framed in Practice Theory.36 Practice theory can be said to present a view of the social world as

  • “a vast array or assemblage of performances made durable by being
    inscribed in skilled human bodies and minds, objects and texts and
    knotted together in such a way
    that the results of one performance become the resource for another.”37(p20) 

Practices are materially mediated and entangled with the social and relational.36 This approach focuses on understanding the networks of everyday activities in which groups of people engage in their workplaces and other everyday settings.37,38

우리는 시체 업무와 관련된 여러 인간 및 비인간 행위자를 고려하면서 사람(예: 시체 보관소 직원, 관리자, 교사, 학습자)과 사물(도구, 공간, 법률 및 교육 문서)은 물론 한계 공간에 존재하며 어떻게 보면 인간인 동시에 비인간인 시체 자체에 주목했습니다.39 우리는 CBS의 복잡성을 충분히 이해하고 설명하기 위해 일상적이고 당연하게 여겨지는 요소를 세밀하게 연구하는 데 관심이 있었기 때문에 실무 기반 접근법을 선택했습니다. 사체는 인간과 비인간 배열의 일부이며 이러한 네트워크와 관행에서 관련 행위자입니다. "... 사물이 승인, 허용, 여유, 장려, 허용, 제안, 영향, 차단, 가능, 금지 등을 할 수 있기 때문이다."40(p72) 카데바 작업의 관행에 집중함으로써 우리는 이러한 전문적인 환경에서 수행되는 일상적인 활동의 복잡성을 명확하게 표현하고 더 잘 이해할 수 있었습니다.
We considered multiple human and non-human actors associated with cadaver work, taking care to note both people (e.g., cadaver staff, administrators, teachers, learners) and things (tools, spaces, legal and educational documents), as well as the cadaver itself, which exists in a liminal space, and is somehow both human, and non-human.39 We selected a practice-based approach because we were interested in studying, in fine detail, the everyday, taken for granted elements of CBS in order to fulsomely understand and describe its complexities. Cadavers are part of the human and non-human arrangement and are relevant actors in these networks and practices as “… things might authorize, allow, afford, encourage, permit, suggest, influence, block, render possible, forbid, and so on.”40(p72) Focusing on the practices of cadaver work allowed us to articulate, and better understand, the complexities of day-to-day activities performed in these professional settings.

분석과 해석과 관련하여 우리는 '시체'의 개념이 어떻게 진화하는지 이해하기 위해 들뢰즈와 과타리의 '되기'와 '차이'에 대한 아이디어를 활용했습니다. 들뢰즈와 과타리는 차등적 존재론자고 불리며, 이는 개념이 항상 차이에 기초하여 구성된다는 가정 하에 작업한다는 의미입니다(우리는 사물을 아닌 것으로 식별합니다). 따라서 이러한 관점을 존재론의 문제에 접목하려면 새로운 사고 방식이나 이해 방식을 제시하기 위해 존재에 대한 전통적인 관념을 해체하려는 고의적인 노력이 필요합니다.
With respect to analysis and interpretation, we drew on Deleuze and Guattari’s ideas about becoming and difference to understand how the concept of “cadaver” evolves. Deleuze and Guattari have been referred to as differential ontologists, meaning that they worked with the assumption that concepts are always constituted on the basis of difference (we identify things by what they are not). Folding this perspective into questions of ontology, then, requires a deliberate effort to unravel traditional ideas about being in order to offer new ways of thinking or understanding.

들뢰즈와 과타리는 철학의 목적이 세계가 실제로 어떤 것인지 '발견'하는 것이라고 믿지 않았습니다. 그들에게 이것은 불가능한 목표였습니다. 대신 그들은 철학을 개념의 창조와 동일시했습니다철학은 우리가 세상의 무한한 복잡성을 이해하는 데 도움이 되는 틀을 만드는 것입니다. 우리가 일상에서 하는 모든 행위에는 새로운 개념에 영감을 줄 수 있는 잠재력이 있습니다. 따라서 존재는 발견이 아닌 창조의 과정으로 개념화됩니다. 이는 발견해야 할 하나의 이야기나 통일된 진실이 없다는 것을 의미합니다. 오히려 세상을 구성하는 개념을 창조하는 것은 우리의 몫입니다.
Deleuze and Guattari did not believe that the purpose of philosophy was to “discover” what the world is really like. To them, this was an impossible goal. Instead, they equated philosophy to the creation of concepts: philosophy is about creating frameworks that help us make sense of the infinite complexity of the world. Each act in which we engage in our everyday life has the potential to inspire new concepts. Being, then, is conceptualized as a process of creation rather than discovery. This means that there is no one story, or unified truth to be discovered. Rather, it is up to us to create the concepts that structure the world.

우리의 사례와 관련하여, 우리는 인체 기증과 시체 기반 시뮬레이션의 심오한 복잡성을 더 잘 이해하는 데 도움이 되는 일련의 개념을 제시하는 데 관심이 있습니다. 이러한 들뢰즈의 아이디어를 우리의 실무 기반 접근 방식과 연결하면 인체 기증과 시체 기반 시뮬레이션이라는 일상적인 활동이 실제로는 '되기'의 행위로 간주될 수 있음을 알 수 있습니다. 이러한 관점에서 시신은 고정된 정체성이 없으며, 우리가 시신과 상호작용하거나 시신에 무언가를 할 때마다 끊임없이 다른 존재가 됩니다
Specific to our case, we are interested in putting forth a series of concepts that help us better understand the profound complexity of the practices of human body donation and cadaver-based simulation. Linking these Deluezian ideas to our practice-based approach, we see that the everyday activities of human body donation and cadaver-based simulation can, in fact, be taken as acts of becoming. From this perspective, a cadaver has no fixed identity; it is constantly becoming something different each time we interact with, or do things to, it.

설정
Setting

우리는 Dalhousie 임상 시체 프로그램(CCP)에 대한 실무 기반 민족지학적 조사를 실시했습니다. Dalhousie CCP는 레지던트와 의사가 통제된 환경에서 고도로 전문화되고 종종 생명을 구하는 시술 기술을 연습할 수 있도록 새로 사망한 부드러운 보존 상태의 임상 시체를 제공합니다. Dalhousie CCP는 매년 약 150구의 시신을 수락하는 Dalhousie University 인체 기증 프로그램(HBD)에서 시신을 확보합니다. 두 프로그램이 원활하게 운영될 수 있도록 CCP와 HBD의 관리자와 직원이 함께 협력하고 있습니다. 
We conducted a practice-based ethnographic investigation of the Dalhousie Clinical Cadaver Program (CCP). The Dalhousie CCP provides newly deceased, soft-preserved, clinical cadavers that allow residents and physicians to practice highly specialized, often life-saving, procedural skills within a controlled setting. The Dalhousie CCP obtains their bodies from the Dalhousie University Human Body Donation Program (HBD), which accepts approximately 150 bodies per year. Administrators and staff from the CCP and HBD work in concert to ensure that both programs operate smoothly.

방법론
Methodology

민족지학적 몰입은 실천에 기반한 이론적 접근 방식과 일치하여 연구자가 일상적인 활동을 관찰하고 문서화할 수 있습니다. 따라서 우리는 의학 교육에서 시체 작업의 일상적인 관행을 자세히 이해하기 위해 다양한 데이터 수집 전략을 사용했습니다. 니콜리니의 실천 이론 접근법에 따라 카데바 작업의 특정 측면을 '확대'한 다음, 의학교육에서 카데바 작업과 시뮬레이션에 대한 보다 광범위한 사회적 대화에서 이러한 관행을 찾기 위해 '축소'했습니다.38 이를 위해 2년 동안(2018/19-2019/20) 여러 출처에서 데이터를 반복적으로 수집하고 분석했습니다.
Ethnographic immersion is consistent with a practice-based theoretical approach, allowing researchers to observe and document everyday activity. We therefore used a range of data collection strategies in order to develop a detailed understanding of everyday practices of cadaver work in medical education. In accordance with Nicolini’s approach to practice theory, we “zoomed in” on specific facets of cadaver work, and then “zoomed out” to locate these practices in broader societal conversations about cadaver work and simulation in medical education, more broadly.38 In order to do this, we iteratively collected and analyzed data from multiple sources over a two-year period (2018/19–2019/20).

팀 구성 및 반사성
Team composition and reflexivity

우리는 교육 민족지학(AM, PC, OK, VL, JT), 실무 이론(AM, PC, OK, VL, JT), 임상의학(GK, VL, LP), CBS(GK, LP) 등 의학 및 의학교육의 다양한 측면에 전문성을 가진 연구자들로 구성된 팀입니다. 우리는 다양한 전문 분야를 한데 모아 절차적 술기 학습과 임상 시체를 이용한 시뮬레이션에 대한 새로운 질문을 던졌습니다.  
We are a team of researchers with expertise in various facets of medicine and medical education including educational ethnography (AM, PC, OK, VL, JT), practice theory (AM, PC, OK, VL, JT), clinical medicine (GK, VL, LP), and CBS (GK, LP). We brought our various areas of expertise together to ask new questions about procedural skills learning and simulation with clinical cadavers.

이 과정에서 임상 시체 프로그램 의료 책임자(GK)와 CBS를 경험한 학습자(LP)의 CBS 프로그램에 대한 내부 지식을 바탕으로 질문을 진행했습니다. 이 팀원들은 인터뷰할 주요 인물과 관찰해야 할 중요한 교육적 노력을 파악하는 데 도움을 주었습니다. 또한 CBS 직원들과의 연결을 용이하게 하여 운송부터 교육에 이르기까지 시체 작업이 이루어지는 공간에 접근할 수 있도록 도와주었습니다.  
Throughout the process, we relied on insider knowledge of the CBS program from the Medical Director of the Clinical Cadaver Program (GK) and a learner experienced with CBS (LP) to guide our inquiry. These team members helped us identify key people to interview, as well as important educational endeavors to observe. They also facilitated connections with the workers of CBS, so that we might gain access to spaces in which cadaver work—everything from transportation to education—was taking place.

반성적인 대화와 연구 과정 및 전략의 개선은 우리 작업의 정기적인 부분이었습니다. 다시 말해, 우리의 프로세스는 선형적이지 않았고, 즉흥적인 대화에 반사성이 내재되어 있었습니다. 이는 작업의 초점이 시신에 맞춰져 있고, 시신과 마주치면 당황스럽고 불안할 수 있다는 사실을 고려할 때 특히 중요했습니다.16,20,41 우리는 정기적으로 분석 대화를 나누며 데이터에 대해 토론하고 반영했습니다. 이러한 대화는 데이터에 대한 공동 분석을 발전시키는 데 도움이 되었지만, 동시에 반성하는 연습이기도 했습니다. 우리 팀에게 중요한 훈련 중 하나는 개인으로서 교육 목적으로 시신 기증을 고려할 수 있는지 생각해보는 것이었습니다. 우리는 최근에 관찰한 시나리오나 최근에 인터뷰한 사람에 따라 이 질문에 대한 답이 달라진다는 사실을 발견했습니다.  
Reflexive conversations and refinement of our research processes and strategies were a regular part of our work. In other words, our process was not linear, and reflexivity was built into our emergent conversations. This was particularly important given the focus of the work, and the fact that encountering cadavers can be upsetting and unsettling.16,20,41 We held regular analytical conversations to discuss and reflect upon our data. While these conversations served to advance our collaborative analysis of the data, they were also an exercise in reflexivity. One important exercise for our team was to reflect upon whether we, as individuals, would consider donating our bodies for educational purposes. We found that, depending on which scenario we had recently observed, or which person we had recently interviewed, the answer to that question changed.

데이터 수집
Data collection

민족지학적 몰입
Ethnographic immersion

아래에서는 공식적, 비공식적으로 CBS 관련 활동을 관찰한 시간을 보고하지만, 우리의 작업은 근본적으로 민족지학적 연구입니다. 즉, 저희는 CBS와 HBD의 공간과 사람들과 '어울리며' 상당한 시간을 보냈습니다. 우리는 배경 자료를 읽고 영안실, 시뮬레이션실, 시체 준비 및 교육 공간을 방문했습니다. 우리는 HBD 및 CBS 관계자들과 함께 앉아 프로젝트에 대해 논의하고, 시간을 내어 질문에 답하고, 자신을 개방함으로써 신뢰를 쌓고 관계를 구축하기 위해 열심히 노력했습니다. 이를 통해 현장에서 질문하고 시간을 보내며 편안하고 친숙해질 수 있는 기회를 얻을 수 있었습니다. 
While we report below on the hours we spent formally and informally observing CBS related activities, our work is fundamentally ethnographic. This meant that we spent a significant amount of time “hanging around” the spaces and people of CBS and HBD. We read background materials and visited morgues, simulation suites, and cadaver preparation and teaching spaces. We worked hard to build trust and establish relationships with the people involved with HBD and CBS by sitting down to discuss our project with them, making time to answer their questions, and making ourselves available. This, in turn, provided us an opportunity to ask questions and spend time in the field in order to become comfortable and familiar with it.

구체적으로, 우리가 방문한 곳은 캐나다 핼리팩스에 있는 Dalhousie University의 CBS 공간과 장소였습니다. 대서양 연안에 위치한 달하우지 의과대학은 해양 의과대학으로 알려져 있으며, 캐나다 3개 주의 지역사회에 서비스를 제공하고 있습니다: 노바스코샤, 뉴브런즈윅, 프린스 에드워드 아일랜드입니다. Dalhousie 의과대학은 핼리팩스 준비27로 알려진 Thiel 시체 준비 기법의 개선과 이러한 임상 시체를 활용한 지속적인 전문성 개발 기회로 국제적으로 인정받고 있습니다. 
Specifically, our field was the spaces and places of CBS at Dalhousie University in Halifax, Canada. Situated on the Atlantic Coast, Dalhousie Medical School is known as the Medical School of the Maritimes, and serves the communities of three Canadian Provinces: Nova Scotia, New Brunswick, and Prince Edward Island. Dalhousie Medical School is internationally recognized for our refinement of the Thiel Cadaver preparation technique, known as the Halifax Preparation27 and our continuing professional development opportunities that make use of these clinical cadavers.

이 기관에서 수년간 의료 교육 분야에서 일해 왔음에도 불구하고 임상의가 아닌 팀원들에게는 이러한 공간 중 많은 부분이 처음이었습니다. 특히 CBS의 업무 대부분은 일화적으로 들어본 적은 있지만 직접 걸어볼 기회는 없었던 일련의 터널로 연결된 지하 공간에서 이루어집니다. 따라서 우리의 민족지학적 작업은 익숙한 장소에서 숨겨진 공간을 발견하는 낯선 과정이었으며, 우리는 비공식적인 대화에서 이를 "지하세계"라고 불렀습니다. 
Despite years of working in medical education at this institution, many of these spaces were new to the non-clinician team members. Notably, much of the work of CBS takes place in underground spaces, connected by a series of tunnels that we had heard mentioned anecdotally, but had never had the opportunity to walk through. Thus, our ethnographic work was a strange process of discovering hidden spaces in familiar places, which we referred to in our informal conversations as “the underworld.”

이와는 대조적으로 기증자를 모집하고 기록을 관리하며 교육 목적으로 임상 시체를 준비하는 HBD의 업무는 오피스 타워의 가장 높은 층에서 이루어집니다. 이 공간에는 작은 사무실과 시체 준비 공간, 교육 실습실이 있습니다. 이 공간은 밝고 깨끗하며 위생적입니다. 세탁기와 톱 및 기타 도구가 있다는 것 외에는 이곳에서 시신 준비가 어떻게 이루어지는지에 대한 단서는 거의 없었습니다. 
In contrast, the work of HBD, where donors are recruited, records are managed, and clinical cadavers are prepared for educational purposes, takes place on the highest floors of an office tower. The space includes small offices, as well as cadaver preparation spaces and teaching labs. Here, the space is bright, pristine, and hygienic. There were few clues about the cadaver preparation that happens here, except for the presence of washing machines and saws and other types of tools.

일부 팀원들은 지속적인 전문성 개발 과정에 참여하는 학습자 집단에 합류하여 CBS의 활동에 어느 정도 참여할 수 있었습니다. 단순히 그림자처럼 따라 하는 것이 아니라 강의에 참여했고, CBS의 자료를 보고 냄새 맡고 만질 수 있었기 때문에 참여 자체가 감각적인 경험이었습니다.
Some team members were able to participate, to some degree, in the activities of CBS, by joining a cohort of learners participating in a continuing professional development course. Rather than simply shadowing, we were engaged in the lectures, and even our participation was a sensory experience, as we were able see, smell, and touch the materials of CBS.

관찰
Observations

우리 연구팀은 4회의 지속적인 전문성 개발 기도 관리 과정(관찰 40시간 × 관찰자 2~3명/회 = 90시간), 4회의 응급 레지던트 교육 세션(8시간 × 관찰자 1~2명/회 = 10시간), 1회 안치식 및 기증자를 기리는 추모식(5시간 × 관찰자 2명 = 10시간) 등 총 110시간의 공식 관찰을 통해 교육용 카데바 사용의 다양한 측면을 공식적으로 관찰했습니다. 관찰할 교육 활동과 기타 중요한 행사/장소는 전문 팀원과의 협의와 후속 인터뷰 중 참가자들의 조언을 바탕으로 선정했습니다. 현장 노트는 관찰 가이드(부록 A)에 따라 공간, 행위자, 활동, 사물, 행위, 이벤트, 시간, 목표와 관련된 메모와 성찰을 기록했습니다.42 또한 다감각적 참여에 참여하여38 CBS와 관련된 소리, 냄새, 감정을 문서화했습니다.
Our research team formally observed various facets of educational cadaver use including four continuing professional development airway management courses (40 hours of observations × 2–3 observers/session = 90 hours), four emergency resident teaching sessions (8 hours × 1–2 observers/session = 10 hours), as well as one interment and two memorial services honoring donors (5 hours × 2 observers = 10 hours) for a total of 110 hours of formal observation. We identified educational activities and other significant events/locations to observe based on consultation with expert team members, and on advice that emerged from participants during subsequent interviews. Field notes were guided by an observation guide (Appendix A), these recorded notes and reflections surrounding spaces, actors, activities, objects, acts, events, times, and goals.42 We also engaged in multisensory participation,38 documenting the sounds, smells, and emotions involved in CBS.

또한 구조화되지 않은 관찰도 완료했습니다. 이러한 관찰 세션은 반응성 효과를 줄이기 위해 생체 내에서가 아니라 후향적으로 문서화한 다음43 연구팀 간에 논의했습니다. 이를 통해 프로그램에 대한 전반적인 지식과 사체 프로그램의 범위를 파악할 수 있었습니다. 여기에는 HBD 본사(0.5시간 × 연구원 2명 = 1시간), 대학 영안실(2시간 × 연구원 3명 = 6시간), 시체 준비 공간(2시간 × 연구원 3명 = 6시간), 다양한 병원 기반 시뮬레이션 공간(3시간 × 연구원 2명 = 6시간), 지역 해부학 박물관(2시간 × 연구원 4명 = 8시간) 방문이 포함되었습니다. 이렇게 해서 총 27시간의 비정형 관찰이 이루어졌습니다. 
We also completed unstructured observations. These were observational sessions which were documented retrospectively rather than in vivo to reduce reactivity effects43 and then discussed amongst the research team. They informed our overall knowledge of the program and the scope of the cadaver program. This included visits to the HBD main office (0.5 hours × 2 researchers = 1 hour), the university morgue (2 hours × 3 researchers = 6 hours), the cadaver preparation space (2 hours × 3 researchers = 6 hours), various hospital-based simulation spaces (3 hours × 2 researchers = 6 hours), and the local anatomy museum (2 hours × 4 researchers = 8 hours). This led to a total of 27 hours of unstructured observations.

총 137시간의 공식적인 관찰 데이터를 수집했습니다. 
In total, we gathered 137 hours of formal observational data.

인터뷰
Interviews

관찰과 함께 학습자(지속적인 전문성 개발 학습자 n = 5명, 응급의학과 레지던트 n = 4명), 임상 교사(n = 4명), 과거 기증자의 가족(n = 5명)을 대상으로 24회의 반구조화 인터뷰를 실시했습니다. 또한 인체 기증 직원(n = 6)에는 CCP 프로그램의 행정(예: 기증자 연락, 기록 보관), 법률(예: 시신 수락 및 관리), 기술(예: 시신 준비) 업무에 관여하는 사람들이 포함되었습니다. 저희는 전문가 팀원들의 자문을 바탕으로 인터뷰 대상자를 선정했습니다. 의도적으로 24명을 모집하여 초대를 수락한 모든 사람을 인터뷰했습니다. 인터뷰 가이드는 대화 형식으로 각 참가자의 역할에 맞게 제작되었으며(예시는 부록 B 참조), 연구팀의 여러 구성원이 함께 개발했습니다. 우리는 진화하는 주제에 따라 지속적으로 가이드를 수정했습니다. 
Alongside observations, we conducted 24 semi-structured interviews with learners (continuing professional development learners n = 5 & emergency medicine residents n = 4), clinical teachers (n = 4), as well as family members of past donors (n = 5). As well, human body donation staff (n = 6) included those involved in the administrative (e.g., contacting donors, record keeping), legal (e.g., accepting and managing bodies), and technical (e.g., preparing cadavers) tasks of the CCP program. We identified individuals to interview based on consultation with expert team members. We purposively recruited 24 people and interviewed all who accepted the invitation. Our interview guides were conversational in nature and were tailored to each participant’s role (see Appendix B for an example); they were developed by multiple members of the research team. We continuously revised the guides according to evolving themes.

문서 분석
Document analysis

인체 기증 프로그램 및 시신 기반 교육과 관련된 문서도 검토했습니다[n = 22]. 여기에는 시신 기증 및 매장 과정과 관련된 법률 행위 및 보고서, 인체 기증 프로그램 관련 문서, 커리큘럼 자료 및 광고와 같은 교육 자료, 언론 보도 등이 포함되었습니다. 이전에 개발한 문서 검토 양식을 개선하여 이 부분의 분석을 구성했습니다(부록 C).44 
Documents related to the Human Body Donation program and cadaver-based education were also reviewed [n = 22]. This included legal acts and reports related to the process of body donation and burial; documents related to the human body donation program; educational material such as curriculum materials and advertisements; and media coverage. We refined our previously developed document review form to structure this piece of the analysis (Appendix C).44

데이터 분석
Data analysis

저희의 분석은 민족지학적 데이터 분석에 대한 울콧의45 3단계 접근 방식기술, 분석, 해석과 일치했습니다. 이 접근 방식은 다음의 조합을 사용합니다. 

  • 순수한 기술(데이터에 근접),
  • 체계적 분석(핵심 요소와 관계 파악),
  • 해석(데이터 너머로 확장하여 무슨 일이 일어나고 있는지 이해)

울콧은 정성적 데이터를 변환하는 세 가지 방법을 구분하지만, 이 세 가지 방법은 서로 겹치면서 동시에 발생한다는 점을 강조합니다. 따라서 우리는 시신의 개념이 생애주기에 걸쳐 어떻게 변화했는지, 그리고 그 진행과 전환에 기여한 행위자와 자료에 주목하면서 반복적인 분석 접근 방식을 따랐습니다. 
Our analysis aligned with Wolcott’s45 three-step approach to the analysis of ethnographic data: description, analysis, and interpretation. This approach uses a combination of

  • pure description (staying close to the data),
  • systematic analysis (identifying key factors and relationships), and
  • interpretation (extending beyond the data, making sense of what is happening).

Although Wolcott distinguishes three ways to transform qualitative data, he emphasizes that they overlap and occur simultaneously. Accordingly, we followed an iterative approach to analysis, attuning to how the concept of the cadaver changed across the lifecycle, as well as the actors and materials contributing to its progression and transitions.

설명 단계에서는 출처별(문서, 관찰, 인터뷰), 유형별(응급 레지던트 또는 지속적인 전문성 개발 과정 참가자 관찰, 학생, 교사, 직원 또는 기증자/기증자 가족 인터뷰) 등 각 데이터 세트를 개별적으로 검토한 다음 이러한 통찰력을 더 넓은 전체의 일부로 재검토하는 작업이 포함되었습니다. 세 명의 연구원(MF, PC, VL)이 안전한 데이터 관리 및 공유를 지원하는 질적 데이터 분석 소프트웨어(ATLAS.ti)를 사용하여 각 데이터 소스를 독립적으로 검토하고 코딩했습니다.
Broadly speaking, the descriptive phase involved reviewing each data set separately, including by source (document, observation, interview) and by type (observation of emergency residents or continuing professional development course participants; interview with student, teacher, staff, or donor/donor’s family), and then reconsidering these insights as part of a broader whole. Three researchers (MF, PC, VL) independently reviewed and coded each data source using qualitative data analysis software (ATLAS.ti) which also assisted with secure data management and sharing.

분석 단계에서는 현장 조사, 인터뷰, 문서 검토를 통해 얻은 아이디어를 적극적으로 번역하고 그룹별로 토론하여 서면으로 표현했습니다. 패턴, 일관성, 불일치를 찾으면서 참가자들이 임상 시체의 모호성을 관리하면서 철학적 작업에 참여하는 방식에 흥미를 갖게 되었습니다. 특히, 기증자/시신/시체가 어떻게 사용되느냐에 따라 시신을 생각하는 방식이 크게 달라진다는 점에 주목했습니다. 이 시점에서 우리는 '라이프사이클'이라고 부르기 시작한 6단계를 식별하고, 특히 다양한 언어 패턴과 작업에 맞게 조정하여 존재론적 전환을 식별할 수 있었습니다. 
At the analytic phase, ideas borne from our field work, interviews, and document review were actively translated, discussed as a group, and represented in written form. As we searched for patterns, consistencies, and inconsistencies, we became intrigued by the way in which participants were engaging in philosophical work as they managed the ambiguity of clinical cadavers. In particular, we noted that the ways in which donors/bodies/cadavers were conceived evolved significantly, depending on how they were being used. At this point, we identified the six stages of what we began to refer to as a “lifecycle,” and specifically attuned to different language patterns and tasks which in turn allowed us to identify ontological transitions.

해석 작업에 참여하면서 우리는 개념적 전환이 시체가 생애주기를 어떻게 통과할 수 있게 했는지에 초점을 맞춰 들뢰즈적 관점에서 실무에서 얻은 통찰력을 고려했습니다. 이 해석 작업에는 시체가 어떻게 끊임없이 변화하는 상태에 있는지 탐구하고, 각 단계에서 참가자들이 다양한 유형의 작업에 참여하면서 눈앞의 시체를 이해하기 위해 어떻게 적극적으로 새로운 개념을 만들어냈는지 묘사하는 것이 포함되었습니다. 
As we then engaged in interpretive work, we considered our practice-generated insights from a Deleuzian perspective, focusing on how the conceptual shifts allowed the cadaver to move through the lifecycle. This interpretive work involved exploring how the cadaver was in a constant state of becoming, and delineating how, at each stage, participants actively created new concepts to make sense of the body in front of them, as they engaged in various types of work.

윤리적 고려 사항
Ethical considerations

노바스코샤 보건연구윤리위원회는 이 연구를 승인했습니다(REB 파일 번호: 1023958). 인체 기증자의 기밀을 유지하기 위해 관찰 내용을 식별할 수 있는 사진, 비디오 또는 오디오 녹음을 하지 않았습니다. 
The Nova Scotia Health Research Ethics Board approved this study (REB FILE#: 1023958). No identifying photographs, videos, or audio-recordings of observations were taken in order to preserve the confidentiality of human donors.

결과
Results

인체 기증(HBD)과 CBS를 통해 사망한 사람은 자신의 신체가 살아있는 환자를 위해 "대신" 살아 있는 "사후의 삶"에 참여했습니다. 여기에서는 기증자 등록부터 최종 안치까지 이 주기와 각 단계의 관련 존재론적 전환에 대해 설명합니다(표 1). 우리가 설명하는 요소는 우리가 연구한 HBD 프로그램에 한정된 것이지만, 이러한 전환 자체는 다른 상황에도 적용될 수 있다고 생각합니다. 
Through Human Body Donation (HBD) and CBS, a deceased person participated in a “life after death” where their body “stood in” for a living patient. We describe herein this cycle, from donor enrollment to eventual interment, and the associated ontological transitions at each stage (Table 1). While the elements we describe are specific to the HBD program we studied, we believe the transitions, themselves, are transferable to other contexts.

온톨로지는 "존재"에 대한 질문, 즉 "무엇이 있는가"에 초점을 맞춥니다. 교육용 시신과 관련해서는 존재론적 질문이 중요했습니다: 이것은 사람인가? 이것은 교육용 도구인가? 무엇이 사람을 사람답게 만드는가? 우리는 기증자의 시신이 HBD 프로그램을 통해 진행됨에 따라 연구 참여자들이 시신을 개념화하는 방식이 크게 바뀌는 것을 발견했으며, 이러한 개념 변화를 존재론적 전환이라고 부릅니다. 이러한 전환은 참가자들이 언어를 사용하는 방식에서도 분명하게 나타났습니다. 예를 들어 직원, 교사, 학습자, 연구자 모두 시신을 사람, '사람이 아닌 것', 환자, 표본, 이 사람/저 사람, 신체, 그/그녀, 교육 도구 등으로 혼용하여 불렀습니다. 이러한 변화하는 온톨로지는 참가자들이 시신을 다루는 방식에서도 분명하게 드러났습니다. 때때로 참가자들은 살아있는 생명체에게는 하지 않는 방식으로 몸을 연습하기도 하고, 무생물에게는 절대 보여주지 않을 것 같은 부드러움과 존중으로 몸을 대하기도 했습니다. 이러한 방식으로 참가자들은 시체를 완전한 사람이 아닌 사물 이상의 존재로 생각했습니다. 
Ontology focuses on questions of “being”—in other words, “what is.” With respect to educational cadavers, the ontological questions were significant: Is this a person? Is this an educational tool? What makes something human? We noted that as a donor’s body progressed through the HBD program, the ways in which study participants conceptualized the body changed significantly, and we refer to these changing concepts as ontological transitions. These transitions were apparent in the way participants used language. For example, staff, teachers, learners, and researchers alike interchangeably referred to the cadaver as a person, a “not-a-person”, a patient, a specimen, this/that “guy”, a body, a him/her, and an educational tool. These shifting ontologies were also apparent in the way participants handled the bodies. At times, they practiced on the body in ways that they would not on a living being; at others, they treated the body with a tenderness and respect that they likely would never show an inanimate object. In this manner, participants conceived of cadavers as not fully people, but also as much more than things.

시신과 관련하여 관찰한 존재론적 복잡성에는 사람, 인체, 시신, 교육 도구 사이의 불확실하고 변화하는 경계가 포함되었습니다. 시체를 이해하는 방식은 공간과 시간에 따라 지속적으로 변화했으며, 때로는 예측 가능하지만 때로는 예측할 수 없는 방식으로 변동하고 진화했습니다. 다음 섹션에서는 전문적인 관행을 통한 이러한 철학적 작업이 기증자, 시신, 시신, 교육용 시신, 교사, 사랑하는 사람/유산의 '생애주기'를 따라 시신을 어떻게 이끌어 가는지 설명합니다.
The ontological complexity we observed in relation to the cadaver involved uncertain and shifting boundaries between person, human body, cadaver, and educational tool. How the cadaver was understood changed continuously over space and time, fluctuating and evolving in sometimes predictable, but sometimes, unpredictable ways. The following sections illustrate how this philosophical work brought about through professional practices drives the cadaver along its “lifecycle” from person to donor, body, cadaver, educational cadaver, teacher, and loved one/legacy.

우리가 설명하는 단계는 "깔끔한" 단계가 아니며 개별적인 단계도 아니라는 점을 분명히 말씀드리고 싶습니다. 가독성을 높이고 존재론적 전환을 명확히 하기 위해 단순화했지만, 실제로 이러한 단계는 명확하게 정의되어 있지도 않고 정적인 것도 아닙니다. 사람/시체/시신은 끊임없이 변화하는 상태이며, 다양한 단계에 대한 설명은 특정 시점의 CBS 및 HBD와 관련된 관행에 초점을 맞추기 위해 확대한 시점을 나타내는 '스냅샷'일 뿐이라는 것이 저희의 관점입니다. 
We want to state clearly that the stages we describe are not “neat,” nor are they discrete. We have simplified, in order to increase readability and clarify the ontological transitions, but in reality, these stages are not clearly defined nor are they static. Our perspective is that people/bodies/cadavers are in a perpetual state of becoming, and our description of the various stages are only “snapshots” representing points in time, when we zoomed in to focus on the practices associated with CBS and HBD at a given moment.

저희는 의도적으로 사망 시점부터 유산에 이르기까지 시신의 생애주기를 따라가려고 한 것이 아닙니다. 사실 이 작업을 시작할 당시에는 공동 기술, 분석 및 해석을 통해 개발하게 될 라이프사이클에 대한 개념이 없었습니다. 대신 우리는 민족지학적 몰입을 통해 CBS와 HBD의 프로세스와 활동에 대해 배웠습니다. 즉, HBD 및 CBS의 사람들과 함께하고 관계를 구축함으로써 우리는 공식적으로 관찰할 사건/시나리오를 식별하고 결정할 수 있었습니다. 
We did not set out to deliberately follow a cadaver from point of death to legacy, through the lifecycle we described. In fact, when we began this work, we had no concept of the lifecycle which we would eventually develop through collaborative description, analysis, and interpretation. Instead, we learned about the processes and activities of CBS and HBD through ethnographic immersion. In other words, by being present and building relationships with the people of HBD and CBS, we were able to identify and decide upon events/scenarios to formally observe.

사람에서 기증자로
Person to donor

한 사람이 기증자가 된 것은 공동의 의사 결정, 관료적 업무, 윤리적 문제에 대한 신중한 고려의 (때로는 긴) 과정을 거친 후입니다. 저희가 인터뷰한 기증자 가족에 따르면, 대부분의 사람들이 이타적인 이유로 기증자가 되기를 희망했습니다. 많은 사람들이 잘 알려지지 않은 질병으로 고통받고 있었기 때문에, '과학에 기여하고 싶다', 즉 미래 세대가 질병에 대한 더 많은 이해를 통해 혜택을 받을 수 있도록 돕고 싶다는 소망이 대화에 스며들었습니다. 기증자와 가족들의 이러한 바람은 HBD 프로그램의 일부 종사자들에게 긴장감을 주기도 했습니다. HBD 직원들은 참가자들이 종종 자신의 기부가 표적이 될 것이라는 생각을 가지고 있다고 지적했습니다. 한 사람은 다음과 같이 말했습니다.  
A person became a donor after a (sometimes long) process of shared decision-making, bureaucratic work, and careful consideration of ethical concerns. According to the family members we interviewed, most people wished to become donors for altruistic reasons. As many suffered from illnesses that were poorly understood, an overarching wish to contribute “to science”—as in, to help future generations benefit from a greater understanding of their illness— permeated our conversations. This wish of donors and family members, we observed, presented a tension for some workers in the HBD program. HBD workers noted that participants often have the idea that their donation will be targeted. One person noted

'남편이 파킨슨병으로 돌아가셨기 때문에 파킨슨병 연구에 도움이 될 수 있는 일이라면 무엇이든 하고 싶어요. 저는 [우리 프로그램이] 매우 정직하다고 생각합니다. 시신 기증자와 가족들에게 시신은 연구용으로 사용하는 것이 아니라 교육용으로 사용한다고 말합니다. [대부분의 기증자들은 '아, 그것도 괜찮아요'라고 말합니다. 하지만 저는 항상 약간의 단절이 있는 것이 걱정됩니다. (HBD 직원) 
‘You know, my husband died of Parkinson’s disease, so whatever I can do to help Parkinson’s research.’ I think [our program] is very honest. We [tell donors and families that we] don’t really use the bodies for that, we use them for teaching. [Most donors say] ‘oh, well, you know, that’s fine too.’ But, I always worry that there’s a little disconnect. (HBD Staff)

다른 기부자들은 의대생들이 "책으로는 배울 수 없는" "실전 학습"을 할 수 있도록 돕고 싶다고 분명히 밝히거나, 한 기부자의 말처럼 "누군가의 학업을 발전시킬 수 있다면 좋은 생각이라고 생각했다"고 말했습니다. 대개 이 프로그램에 대해 알고 있는 가족이나 친구를 통해 이 프로그램에 대해 알게 된 기부자 또는 그 가족은 프로그램에 연락하여 동의서를 제출하는 서류 작업을 시작했습니다.
Others clearly articulated that they wanted to help medical students gain “hands-on learning” that they simply “can’t learn in a book” or, as one donor noted, “we just thought it was a good idea if we could further somebody’s studies.” After finding out about the program (usually through family or friends who knew about the program), these individuals or their loved ones reached out to the program and initiated the paperwork involved in providing consent.

이 첫 접촉 이후, HBD 직원은 기부가 이루어지기 위해 몇 가지 작업을 수행해야 했습니다. 이 작업의 대부분은 프로그램 자료(예: 웹사이트, 정보 팜플렛, 동의서) 개발과 기록 보관 등 문서 제작과 관련된 것이었습니다. 우리의 현장 기록46은 개인에서 기증자로의 전환과 관련된 행정 업무의 진화하는 특성을 문서화하는 데 핵심적인 관행을 형성했습니다. 민족지학적 몰입은 1900년대 초로 거슬러 올라가는 원본 장부를 검토할 수 있는 기회를 제공했으며, 이 장부에는 기부자의 이름이 자필로 기재되어 있습니다. 잠재적 기부자에게 정보를 제공하기 위해 고안된 문서에는 "차분하다"고 표현할 수 있는 신중하게 선택된 언어가 사용되었습니다. 프로그램 문서를 분석한 결과, "기부 프로그램은 쉽게 접근할 수 있고, 정중하며, 부드러우면서도 규정이 엄격하다는 것을 알 수 있었습니다. 사용된 언어는 존중과 지속적인 추모(예: "지속적인 유산")를 의미합니다." 
After this initial contact, HBD staff needed to accomplish several tasks in order for donation to occur. Much of this work was bound up in the production of texts: developing program materials (e.g., website, information pamphlets, consent forms) and recording-keeping. Our field noting46 formed a key practice in documenting the evolving nature of administrative work associated with the transition from person to donor. Our ethnographic immersion provided the opportunity for us to review original ledgers, dating back to the early 1900s, listing the names of donors in handwriting. The documents designed to provide information for potential donors used carefully chosen language, that we described as “calm.” Through our analysis of program documents, we noted that “the donation program is easily accessible, respectful, gentle, but firm on its regulations. The language used implies respect and ongoing remembrance (i.e. “lasting legacy”).”

비공식적으로 직원들은 기증자 및 그 가족들과 신뢰 관계를 형성하고, 기증에 대한 기대치를 관리하며, 시신이 존중받을 것이라는 확신을 주어야 했습니다. 
More informally, staff also needed to create trusting relationships with donors and their families, manage expectations around donation, and give them the confidence that the body would be treated with respect.

또한 직원들은 사전 동의와 같은 시신 기증과 관련된 윤리적 문제와도 씨름해야 했습니다. 무엇보다도 HBD 프로그램은 사전 동의를 "모든 일의 주춧돌"이라고 생각했습니다. 하지만 기증자가 사망하기 30년 전에 동의하고 그 이후로 프로그램에 연락하지 않았다면 어떻게 해야 할까요? 가족이 반대했다면 어떻게 해야 할까요? 이러한 질문은 프로그램에서 심각하게 고려한 질문입니다: 
Further, staff grappled with the ethical challenges associated with body donation, such as informed consent. Chiefly, the HBD program considered informed consent “the pillar stone of everything [they] ever do”. But what if the donor consented 30 years prior to their death and had not contacted the program since? What if the family was opposed? These are questions the program took seriously:

아버지, 어머니, 형제 또는 자매가 여기 있을지도 모른다는 사실에 겁에 질린 누군가를 그런 상황에 처하게 하고 싶지 않으니까요. 가족에게 이런 말을 하기는 어렵고 저도 절대 하지 않겠지만, 결국에는 죽은 사람은 알 수 없기 때문에 그 사람이 그 사실을 알 수 있는지 여부에 영향을 미쳐야 한다고 생각해요. (시신 직원) 
Because you don’t want to put someone in that situation where they’re just horrified by the fact that, you know, their father, mother, brother or sister or whatever would be here. And I think…that that should play a part in whether or not the person…because at the end of the day—it’s hard to say this to a family and I never would—but at the end of the day, the person who’s dead is not going to know. (Cadaver staff)

따라서 기증자 본인과 가족, HBD 프로그램 직원을 포함한 여러 사람이 중요한 결정을 내리고, 행정 업무와 기록 보관에 참여하고, 구체적인 조치를 취하고, 불가피한 협상에 참여한 후에야 한 사람이 기증자가 될 수 있습니다
A person thus became a donor only after multiple people—including the donors themselves, their families, and staff from the HBD program—made important decisions, engaged in administrative work and record keeping, took concrete actions, and engaged in inevitable negotiations.

시신 기증자
Donor to body

죽음은 기증자에서 시신으로 전환되는 가장 확실한 신호입니다. 한 학습자가 설명한 것처럼, 살아 숨 쉬는 사람(누군가)과 생명이 없는 시신(무언가)의 차이는 명확하게 느껴졌습니다: 
Death is the most obvious marker of the transition from donor to body. As one learner illustrated, the difference between a living, breathing person (a somebody) and a still, lifeless body (a something) felt unambiguous:

이불 속에서 얕은 숨을 쉬며 잠들어 있는 89세 노인과 문밖에서 바라보고 있는 사람 사이에는 큰 차이가 있습니다. 하지만 그분들이 살아있다는 것을 알 수 있는 무언가가 있습니다. 그리고 그들이 죽으면 사라져 버리죠. 그게 뭔지 모르겠어요. 하지만 시체는 그냥 가구가 되죠. 침대, 의자, TV, 그리고 죽은 사람이 있는 것과 같죠. 침대, TV, 의자가 있고 거기서 자고 있는 사람이 있는 것과는 많이 다르죠. (응급 의학 학습자) 
There’s a huge difference between the 89-year-old who’s under the covers asleep, breathing shallowly, and you’re just looking in from the door. But there’s something there that you just know they’re alive. And when they die, it’s gone. And I don’t know what it is. But bodies just become furniture. You know, it’s like there’s a bed, a chair, a TV, and a dead person. Which is much different than there’s a bed, a TV, a chair, and there’s somebody sleeping in there. (Emergency Medicine Learner)

동시에 기증자가 시신이 된 정확한 순간은 기증자가 사망한 순간이 아니었습니다. 오히려 주변 사람들이 기증자의 죽음을 알게 되는 순간이었습니다. 시신의 맥박, 동공 및 촉각 반응, 자발 호흡 등 생명 징후를 검사하고 사망을 선언하고 사망 진단서에 서명함으로써 사망을 '공식화'하는 것은 담당 의사의 재량에 달려 있었습니다. 
At the same time, the exact moment that the donor became a body was arguably not the moment the donor died. Rather, it was the moment those around them become aware of their death. This moment was up to the discretion of the doctor in charge who made the death “official” by examining the body for signs of life (e.g., pulse, pupil and tactile response, spontaneous respiration), declaring death, and signing a death certificate.

사망 선언을 통해 일련의 일상적인 이벤트가 동원되어 결국 임상 시체가 만들어졌습니다. '사망 시'에 어떤 일이 일어나는지 설명하기 위해 설계된 프로그램 문서를 분석한 결과, 기증자에서 시신으로 개념이 바뀌는 것을 확인할 수 있었습니다. 이러한 자료는 사망이 발생한 장소에 따라 어떻게 진행해야 하는지에 대한 지침을 포함하여 물류에 중점을 두었습니다. 이 문서에는 시신의 프로그램 수용 여부를 최종적으로 결정하는 '해부 검사관'의 역할에 대한 언급도 처음 포함되었습니다. 
The declaration of death mobilized a routine set of events that eventually led to the creation of a clinical cadaver. Through our analysis of programmatic documentation designed to delineate what happens “at the time of death”, we saw the conceptual shift beginning from a donor to a body. These materials focused on logistics, including instructions on how to proceed, depending on where the death occurred. These documents also included the first mention of the role of the “Inspector of Anatomy,” who ultimately determined whether a body would be accepted into the program.

기증자가 병원에서 사망하면 간호 직원은 시신에서 심장 및 산소 모니터, 삽관 튜브, 중심정맥관, 정맥주사, 바디 테이프 및 기타 모든 의료 장비를 제거하는 작업을 수행했습니다. 또한 피부에서 혈액과 기타 물질을 닦아내고 담요를 교체하고 눈을 감겼습니다. 이러한 활동은 기증자가 병원 밖에서 사망했을 때 특히 중요했습니다. 이러한 경우 시신을 청소한다는 것은 죽음에 대한 공포를 완화하는 것을 의미하는데, 대부분의 경우 새로 죽은 시신의 모습은 정말 불안할 수 있기 때문입니다: 
When a donor died in-hospital, nursing staff attended to removing heart and oxygen monitors, intubation tubes, central lines, IVs, body tape, and all other medical equipment from the body. They wiped blood and other substances from the skin, replaced blankets, and closed the eyes. These activities were especially important when a donor died outside of the hospital. In these cases, cleaning the body meant attenuating the horror of death because, in many cases, the appearance of newly dead bodies could be truly unsettling:

처음 가서 시체를 수습할 때요. 입이 열려 있고, 때로는 눈이 열려 있고, 입에서 토사물이 나올 수도 있고... 그냥 깨끗하지 않은 상태의 시신을 보게 될 겁니다. 그리고 궤양이 생기기도 하고... 토사물에 질식하기도 하고... (시체 직원)
The first time you go and pick up a dead body. Their mouths’ open, sometimes their eyes are open, there could be purge coming out of their mouth…you’ll get people in a state where they’re just, they’re not clean. And you’re going to get some ulcers…if they soil themselves…they choke on their vomit… (Cadaver staff)

이러한 활동의 목적은 시신을 외부 세계에 '보기 좋게' 보이게 하여 가족들이 시신을 인식하고 반응하는 방식을 바꾸고, 시신을 보려는 사람들의 충격을 완화하는 데 있습니다. 
The purpose of these activities was to make the body look “presentable” to the outside world, transforming the way the family will perceive and react to the body, and serving to soften the blow for those who wish to view it.

시신에서 시신으로
Body to cadaver

의료진과 HBD 직원이 시신에서 질병(예: 산소 모니터, 삽관 튜브)과 사망(예: 혈액, 체액 분비물)의 가장 명백한 징후를 제거한 후 시신body은 시신cadaver이 될 준비가 되었습니다. HBD 직원들의 일련의 전문적이고 관료적인 활동은 이러한 전환을 완료하는 데 도움이 되었습니다. 
After healthcare workers and HBD staff removed the most obvious signs of illness (e.g., oxygen monitors and intubation tubes) and death (e.g., blood, bodily secretions) from the body, it was ready to become a cadaver. A series of specialized, bureaucratic activities from the part of HBD staff served to complete this transition.

기증자가 사망한 장소와 관계없이 의료진은 사망 진단서를 받자마자 해부 검사관(IoA)에게 연락하여 알렸습니다. 보건부 장관이 임명하는 해부조사관은 HBD 프로그램에 대한 첫 번째 연락 창구였습니다. 이 담당자는 시신을 프로그램에 수용할지 여부(즉, 시신으로 인정할지 여부)를 결정하기 위해 치료를 담당한 의료진, 가족, HBD 직원과 소통합니다. 특히, IoA는 시신에 특정 금기 사항(예: 전염병 위험, 이전 부검, 병적 비만, 주요 절단)이 없는지 확인하고 기증자 가족에게 연락하여 지속적인 동의 여부를 확인합니다. 의심스러운 사망 상황에서는 검시관도 관여했을 수 있으며, 부검이 필요한 경우 시신은 프로그램에서 제외되었습니다. 대학 영안실은 특정 수의 시신만 보관할 수 있고, HBD 프로그램은 특정 목적에 따라 특정 유형의 시신을 수시로 필요로 했기 때문에 임상 시신 담당 직원은 시신이 현재 요구 사항을 얼마나 잘 충족하는지 평가하는 데 IoA를 지원했습니다. 
Regardless of where the donor died, healthcare workers would contact and inform the Inspector of Anatomy (IoA) as soon as they received the death certificate. Appointed by the Minister of Health, the IoA was the first point of contact to the HBD program. This individual would communicate with medical personnel in charge of their care, the family, and HBD staff in order to decide whether or not the body should be accepted into the program (i.e., to become a cadaver). Specifically, the IoA verified that the body lacked specific contraindications (e.g., risk of infectious disease, previous autopsy, morbid obesity, major amputations) and contacted the donor’s family to ensure their ongoing consent. In circumstances of suspicious death, the medical examiner may have also been involved; need for an autopsy excluded the body from the program. Because the university morgue was only able to hold a certain number of cadavers and the HBD program required certain types of bodies for specific purposes at any given time, clinical cadaver staff aided the IoA in assessing how well the body met their current needs.

이 단계에 참여한 HBD 직원들은 프로그램의 요구와 고통에 처한 가족의 요구 사이의 균형을 맞추는 데 주력했습니다. 한 참가자는 시신을 프로그램에 받아들이는 데 관련된 관료적 업무를 관리하는 데 어려움을 겪었다고 설명했습니다. 
HBD workers involved at this stage were engaged in balancing the needs of the program with the needs of a family in distress. One participant described the challenges of managing the bureaucratic work involved in accepting a body into the program.

사망 진단서 없이는 행동할 수 없습니다. ... 집에서 누군가 사망하면 전화를 받습니다... 시신을 기증하고 싶다고 하는데... 사망 진단서가 없으면 아무것도 할 수 없습니다. 따라서 시신은 사망 장소에 머물거나 가족이 비용을 부담해야하며, 수락 여부에 대한 결정이 내려질 때까지 저온 보관소가있는 장례식장으로 가져 가야합니다. (HBD 직원) 
I can’t act without a death certificate. … So, if someone dies at home, I get a call… The person wishes to donate their body …but without a death certificate, I can’t do anything. And so, the body has to either stay at the place of death or at the family’s expense, needs to be taken to a funeral home which has cold storage until a decision can be made about acceptance. (HBD Staff)


프로그램에 접수된 시신은 병원이나 지역 공공 영안실에 임시로 보관되는 경우가 많았습니다. 공간이 확보되면 HBD 프로그램은 운송 직원을 고용하여 시신을 대학 영안실로 가져왔습니다. 보관 공간의 중요성은 프로그램 전반에 걸쳐 중요한 고려 사항이었으며, 시신을 관리해야 할 대상으로 인식하는 데 중요한 역할을 했습니다. HBD 참가자들은 기증자를 위한 '공간'이 필요하며, 공간의 물리적 용량 내에서 작업해야 한다고 자주 설명했습니다. 몰입과 관찰을 통해 시설의 물리적 현실과 관련 보관에 대해 참가자들이 설명한 어려움은 분명해졌습니다. 한 연구자는 다음과 같이 언급했습니다: 
Once accepted by the program, the cadaver was often temporarily stored in the hospital or local public morgue. When space became available, the HBD program hired transportation staff to bring the cadavers to the university morgue. The importance of storage space was a key consideration throughout and pointed to a conception of the body as a thing to be managed. Participants from the HBD frequently described having “room” for a donor, and a need to operate within the physical capacity of the space. Through immersion and observation, the physical realities of the facilities, and related storage, challenges participants described were made plain. One researcher noted:

[뇌가 가득 담긴 양동이와 시신으로 가득 찬 냉장고가 선반에 쌓여 있었습니다. 화장터로 가는 복도에는 관 모양의 골판지 상자가 줄지어 있었습니다. 그리고 그 한가운데에는 지게차가 있었습니다. (현장 노트) 
[there were] buckets full of brains and a fridge full of bodies—stacked up on shelves. The hallways were lined with coffin-shaped cardboard boxes on their way to the crematorium. And in the middle of it all, there was a forklift. (Fieldnote)

이러한 물리적, 물류적 보관 문제에도 불구하고 각 장소에서는 시신 처리에 신중을 기했습니다. 대학 영안실의 일반적인 파란색 또는 흰색 비닐 봉투 대신 부드러운 자수가 놓인 천으로 된 봉투에 시신을 옮겼습니다. HBD 프로그램과는 별개로 진행되었지만, 운송 직원들은 시신을 픽업하고 내려놓기 위해 정장 차림으로 한 번도 빠짐없이 도착했습니다. 
Despite these physical and logistical storage challenges, in each of these locations, handling of the cadavers was taken seriously. Rather than the typical blue or white plastic bags of the university morgue, cadavers were transferred at this moment to bags of soft embroidered fabric. Despite being independent from the HBD program, transportation staff never failed to arrive fully dressed in formal suits to pick up and drop off the bodies.

 

시신에서 교육용 시신으로
Cadaver to educational cadaver

시신이 대학 시체 안치소에 도착하면 HBD 직원들은 시신을 교육용으로 준비하기 시작했습니다. 이들은 분비물을 제거하고 체액이 계속 고여 있는 목과 위를 석션하고 대변이 더 이상 배출되지 않도록 청소했습니다. 때로는 기관과 식도 등 신체의 특정 부위를 잘라 체액이 더 이상 축적되는 것을 막기도 했습니다. 그런 다음 시신을 방부 처리하고 냉동 보관했습니다. 가능한 한 익명을 보장하기 위해 머리를 밀었고, 이후 각 시신을 식별하기 위해 발가락에 장부에 있는 번호에 해당하는 태그를 붙였습니다. 각 CBS 세션 전에 스태프들은 시신을 얼리지 않고 깨끗이 씻고 석션한 다음 눈은 수술용 모자로, 나머지 신체 부위는 파란색 수술용 천으로 덮었습니다. 한 연구원이 지적했듯이 눈과 머리 윗부분을 덮는 것이 특히 중요했습니다:  
Once cadavers arrived at the university morgue, HBD staff began preparing them for their educational purposes. These individuals further cleaned the body of its secretions, suctioning the throat and stomach which had continued to build up fluids, and cleaned any further release of feces. They sometimes cut certain parts of the body, such as the trachea and esophagus, to halt further build-up of fluids. They then embalmed and froze the bodies. To make them as anonymous as possible, they shaved their heads; to identify each body thereafter, they attached tags to their toes with a number corresponding to one in a ledger book. Before each CBS session, staff unfroze these bodies, freshly cleaned and suctioned them, then covered their eyes with surgical caps and the rest of their bodies in blue surgical drapes. The covering of eyes and the top of the head were particularly significant, as one researcher noted:

하지만 한 번은 시체의 얼굴 덮개가 벗겨져 은빛 눈동자, 아가페 입, 두개골을 가로지르는 넓은 상처가 거칠게 꿰매진 것을 볼 수 있었습니다. 이런 디테일은 저를 괴롭혔습니다. 그렇지 않으면 수면 중인 환자와 시체 사이의 차이를 최소화하기 위해 전략적으로 덮는 것이 트릭을 수행하는 것 같았습니다. (현장 노트)
Once, though, a cadaver’s face covering slipped, and I could see blank silver eyes, mouth agape and a broad gash roughly stitched across its skull. These details [bothered me]. Otherwise, strategic covering seemed to do the trick to minimize the difference between a sleeping patient and cadaver. (Fieldnote)

교육용 시신을 준비하기 위해 HBD 직원이 사용한 위에서 설명한 절차는 전통적인 방부 처리사나 장례 전문가가 장례식을 위해 시신을 준비할 때 사용하는 절차와는 크게 달랐습니다. 예를 들어, 장례식을 위해 준비된 시신은 순전히 미적인 목적으로 세척하고 옷을 입히며, 이 경우 기관과 식도를 절단하거나 폐를 보기 위해 가슴을 열 이유가 없습니다. 따라서 시신 준비에 관여하지 않은 방부처리사나 장의사는 이러한 행위를 시신 훼손으로 간주하는 경우가 많았습니다: 
The procedures described above, which HBD staff used to prepare an educational cadaver, differed markedly from those traditional embalmers and funeral professionals use to prepare bodies for a funeral service. For instance, bodies prepared for a funeral service are cleaned and dressed for purely esthetic purposes; there is no reason, in these cases, to sever the trachea and esophagus or cut open the chest to help visualize the lungs. Consequently, embalmers and funeral directors who were not involved in cadaver preparation often saw these acts as mutilation:

장례식장에서는 장례식장 방부사가 준수해야 하는 기준이 정해져 있습니다. 반면에 아주 사소한 일탈도 하지 말아야 할 일을 하는 것으로 간주됩니다. (HBD 직원) 
In a funeral home, I mean everything is, there’s a set kind of standard that funeral embalmers should adhere to. Whereas even the smallest diversion [is considered] doing something that you shouldn’t. (HBD staff)

참가자들은 시신을 사용하여 의미 있는 교육적 경험을 제공한다는 목표를 향해 일하고 있다는 점을 염두에 두고 작업에 집중함으로써 이러한 복잡성을 헤쳐 나간다고 설명했습니다. 
Participants described navigating this complexity by focusing on the work and keeping in mind that they were working toward a goal: using the cadaver to generate a meaningful educational experience.

작업에 집중할 수 있을수록 더 좋은 결과를 얻을 수 있습니다. ... 제가 제 일을 제대로 잘하면 [학습자에게] 도움이 될 것입니다. ... 여기서도 동일한 자부심과 동일한 관심을 가지고 학생들을 위한 교재를 제작합니다. (HBD 직원)
I find that the more I can concentrate on the task [the better]. … If I do my job properly well that’s going to help [learners]. … Here again the same pride and the same attention is to create those teaching materials for the students. (HBD staff)

따라서 시신 담당 직원들의 전문적인 (때로는 논란의 여지가 있는) 작업은 전통적인 장례 관행에서 벗어나 시신을 시신과는 다른, 즉 임상 도구로 탈바꿈시키는 과정이었습니다.
Hence, the specialized—and sometimes controversial—work of cadaver staff deviated from traditional funeral practices and transformed the cadaver into something different from a dead body: it was in the process of becoming a clinical tool.

교육용 카데바에서 교사로
Educational cadaver to teacher

시뮬레이션 실습실에서 전담 직원은 촉촉하고 노랗게 얼룩진 흰색 시트와 깨끗한 파란색 커튼으로 겹겹이 덮인 금속 테이블 위에 시체를 놓았습니다. 짧은 세션 동안에는 시신을 시신 가방에 넣어 지퍼를 다시 닫아 냉장고에 보관하기도 했습니다. 그들은 수술 도구, 기계, 스크린을 사이드 테이블과 이동식 카트 위에 조심스럽게 배치했습니다. 
In the simulation lab, dedicated staff placed cadavers on metal tables, covered in layers of moist, yellow-stained white sheets and clean, blue drapes. For short sessions, they often kept the cadavers in their body bags, ready to be zipped back up and returned to their refrigerators. They carefully arranged surgical instruments, machines, and screens throughout the room on side tables and mobile carts.

시뮬레이션 세션이 시작되자 노란색 가운과 파란색 장갑을 착용한 교사와 학습자들이 시신을 둘러싸고 있었습니다. 최적의 학습 환경을 제공하기 위해 교사, 학습자, 시체 보관소 직원들이 분주하게 움직였습니다. 한 연구자는 공간의 분주함을 다음과 같이 설명했습니다, 
When the simulation sessions began, teachers and learners, dressed in yellow gowns and blue gloves, encircled the cadavers. The room would be busy as teachers, learners, and cadaver staff worked to provide an optimal learning environment. One researcher described the busyness of the space, noting,

사람들이 서로 다른 도구나 공간으로 이동하기 위해 서로를 피해야 하는 모습은 마치 콘서트장의 관중을 헤쳐나가는 것 같았고, 서로 부딪히지 않으려고 애쓰는 모습이 떠올랐습니다. (현장 노트)
The way people have to duck around each other to get to different tools or spaces makes me think of navigating a concert crowd – lots of shuffling and trying not to bump anything. (Fieldnote)

여기저기서 흡입하는 소리와 흥분된 목소리가 들려왔고, 방부액과 체액 분비물이 섞인 다양한 냄새가 방 안 구석구석에 스며들었습니다. 가만히 들여다보면 아이러니가 무르익어 있었습니다. 시신의 눈을 가리는 수술용 보닛은 종종 알록달록한 행복한 얼굴이나 곰 인형으로 장식되어 있었습니다. 한 번은 심지 3개짜리 양초가 배경에서 천천히 타오르면서 방에 "설탕을 넣은 스니커 낙서" 냄새가 났던 적도 있습니다. 
The sounds of suctioning and excited voices arose from huddles, and various smells—mostly embalming fluid mixed with bodily secretions—infiltrated all corners of the room. When one attended to it, irony was ripe in this environment. The surgical bonnets that covered the eyes of the cadavers were often decorated with colorful happy faces or teddy bears. On one occasion, a 3-wick candle burned slowly in the background, making the room smell of “sugared snicker doodle.”

이러한 공간에서 시체는 이야기하고, 기대고, 만지고, 찌르고, 자르는 대상이 되었습니다. 시신은 온전하게 보존되어 있었지만 학습자가 살펴보고 조작할 수 있는 분리된 부위(무릎, 턱, 가슴 창)의 집합으로 개념화되었습니다. 학습자들은 시체 주위에 모여들면서 각 학습자가 당분간 작업할 신체 부위를 '소유'하고, 작업이 끝나면 다른 학습자가 그 자리를 차지하도록 했습니다. 교사가 다양한 기술을 시연할 수 있었기 때문에 교육 도구로서 시체의 어포던스는 분명했습니다: 
In these spaces, cadavers became things that were talked about, leaned on, touched, prodded, and cut. While the cadavers remained fully intact, they were conceptualized as a collection of isolated parts (a knee, a jaw, a chest window) that learners examined and manipulated. As they crowded around the body, each learner “claimed” a body part to work on for the time being, letting another learner take their place when they were finished. The affordances of the cadaver as an educational tool were clear, as teachers were able to demonstrate different techniques:

첫 번째 그룹을 관찰하기 위해 멈춰선 교사는 기도 시술에서 흔히 사용하는 '스니핑' 자세에 대한 대안적인 머리 자세를 설명하고 있었습니다. 그는 참가자들에게 바에서 테이블로 걸어갈 때 맥주 윗부분을 홀짝이는 자세인 '홀짝이기' 자세를 시도해 보라고 권유했습니다. 이 설명에 주위에 모인 참가자들은 잔잔한 웃음을 터뜨렸습니다. (현장 노트) 
The first group I stopped to observe: the teacher was describing an alternative head position to the “sniffing” position often advocated for in airway procedures. He encouraged participants to try the “sipping” position: how you might sip the top of a beer as you walk from the bar to your table. This description was met with gentle laughter in the cluster of participants gathered around him. (Fieldnote)

시체 위와 다리 사이에 장비가 쌓이기 시작했습니다. 많은 교사와 학습자에게 이 순간 시체는 임상 도구였습니다:
Equipment would begin piling up on the cadaver and between its legs. For many teachers and learners, the cadaver was, at this moment, a clinical tool:

시체가 그곳에 있을 때 저에게는 그저... 교육 도구일 뿐입니다. 무례하다는 뜻이 아닙니다. 제 말은 그것들이 거기에 있지만, 저는 그것들을 예전과 같은 것으로 생각하지 않는다는 것입니다. (교사) 
To me when they’re there, they’re just a…teaching tool. And I don’t mean that in a disrespectful way. I mean they’re there, I just don’t think of them as what they were. (Teacher)
제 생각에는 인지적으로 우리는 이 사람이 사람이었다는 사실을 정말 분리해서 생각하는 것 같아요. 우리는 그들을 존중하지만 또한... 우리가 [시신 준비 실험실]에있을 때 우리 중 많은 사람들이이 사람이 살아 있었을 때 어떤 사람이었을지 생각하지 않는 것 같아요. 그것은 우리 모두가 가지고 있는 일종의 인지적 분리라고 생각합니다. (학습자) 
I think part of it is like the, cognitively, we really separate the fact that… We really keep the fact that this was a person kind of separate. We treat them with respect, but we also… I don’t think when we’re in [the body preparation lab], I don’t think very many of us are thinking like about who this person might have been when they were alive or something. I think that that’s just sort of a cognitive separation thing that we all have. (Learner)

교사와 학습자 모두 세션이 진행되는 동안 눈과 몸에서 흘러내린 보닛과 커튼을 계속 교체했습니다. 시신을 덮어두는 것은 환자의 존엄성을 지키기 위한 목적도 있지만, 시신을 사람으로 보지 않는 '분리감'을 강화하는 역할도 했습니다:
Both teachers and learners continuously replaced bonnets and drapes that slipped off the eyes and body during the course of the session. While keeping the body covered primarily aimed to preserve the patient’s dignity, it also served to reinforce a “detachment” from viewing the cadaver as a person:

우리는 시신을 최대한 가린 상태로 유지하려고 노력합니다... 시간이 지남에 따라 학생들은 시신의 손이나 발을 노출하면 보는 것이 부담스러워진다는 것을 알고 있다고 설명하는 것을 보았습니다. 그리고 시체를 교육 자료로 사용하는 데 있어 학생들이 편안함을 느끼는 부분 중 하나는 이것이 사람이었다는 사실에 대해 조금은 거부감을 느낄 수 있다는 것입니다. 조금만 분리할 수 있다면 침습적인 시술을 반복해서 하는 것이 조금 더 쉬워질 수 있습니다. (교사) 
We try to keep the cadaver as covered up as possible…I’ve seen over time, students describe like you know they get bothered by seeing—if you expose a cadaver’s hands or feet. And I think…part of their comfort level in working with a cadaver as a teaching resource is that they may disconnect a little bit from saying this was a person. Where it’s a little easier to do some invasive procedures over and over again if you can disconnect a little bit from that. (Teacher)

시체 실습에서 학습자의 불편함을 줄이는 중요한 작업을 수행했음에도 불구하고 교사와 선임 학습자는 시체가 (전) 사람이라는 생각을 강화하고 학습자에게 시체를 존중하는 태도로 대할 것을 상기시켰습니다:
Despite accomplishing the important work of reducing learners’ discomfort in the cadaver lab, teachers and senior learners also reinforced the idea that the cadaver was a (former) person, and reminded learners to treat the body with respect:

우리는 학생들에게 시체가 사람이라는 사실을 상기시키는 데 큰 중점을 둡니다. 그들은 환자입니다. 우리는 모두 다른 연설을 합니다. 저는 기본적으로 시신을 환자와 가족들이 들을 수 있는 사람처럼 대하는 것을 기본 원칙으로 삼고 있습니다. 그리고 다른 환자처럼 대하세요. (교사) 
We make a big point…to remind students that they are people. They are patients. We all have different speeches. Mine is basically about, you know, you treat the cadaver as if it’s a patient who can hear you and their family members can hear you. And treat them as if they’re any other patient. (Teacher)
저는 여전히 최소한의 손상을 입히는 데 집중하고 있습니다... 실제 환자에게도 하지 않을 일을 하고 싶지 않아요. (시니어 학습자) 
I’m still focusing on causing minimal damage…I wouldn’t want to do something that I wouldn’t do in real life with a real patient. (Senior learner)

몇몇 학습자는 시체 교사를 복제할 수 없는 자원으로, 심지어 생명의 은인이나 영웅으로 개념화했습니다. 한 참가자는 이렇게 말했습니다: 
Several learners conceptualized the cadaver teacher as an irreplicable resource, and even a lifesaver, or hero. One participant noted:

가장 큰 차이점은 [CBS]에서 하는 것과 외상실에서 하는 것은 사실상 같은 일이기 때문에 차이가 거의 없다고 생각합니다... 말 그대로 일주일 후에 삽관하는 다음 환자는 이완, 해부학적인 측면에서 매우 유사했습니다... 선생님은 그냥 거기에 계셨던 것입니다. (학습자) 
I think that the biggest difference is going from what you’re doing in [CBS] to the trauma room is so small because it’s effectively the same thing … literally the next patient I was intubating like a week later was very similar in terms of their relaxation, the anatomy… you were just there. (Learner)

사랑하는 사람에 대한 스승이자 유산
Teacher to loved one and legacy

시신이 교육 도구로서의 역할을 마친 후, HBD 프로그램은 가족에게 연락하여 시신을 돌려주거나 화장 또는 대학 전용 묘지에 안장할 준비를 했습니다. 기증자의 가족은 매년 봄에 열리는 안장식 및 추모식에 초대되었습니다. 
Once the cadaver completed its intended role as an educational tool, the HBD program contacted the family and made arrangements to either return the body to them or to prepare it for cremation and/or burial in the university’s dedicated cemetery. Family members of the donors were invited to an annual interment and memorial service in the Spring.

안장식은 공동묘지에서 진행되었습니다. 기증자의 유골이나 유골함은 천막 아래에 놓여 있었고 그 위에 기증자의 이름이 적힌 명판이 놓여 있었습니다. 참석자들은 그 옆에 꽃과 기념품을 놓았습니다. 파이퍼가 연주하고, 성직자들이 연설하고, 비둘기가 날아갔으며, HBD 프로그램 대표가 150여 명의 기부자 이름을 큰 소리로 읽었습니다. 이 행사는 공동체적이면서도 매우 개인적인 행사였습니다. 
The interment ceremony happened at a cemetery. The ashes or urns of the donors were set out under a tent with plaques placed on top indicating their names. Attendees placed flowers and keepsakes beside them. A piper played, members of the clergy spoke, doves were released, and a representative from the HBD program read the names of more than 150 donors out loud. The event was both communal and deeply personal.

추모식은 웅장한 가톨릭 교회에서 열렸습니다. HBD 직원, 교수진, 학생들은 모두 정장 차림으로 장례식장을 가득 메운 기부자 가족들과 함께했습니다. 학생들은 물망초 씨앗을 깔끔하게 꽂은 안내 책자를 나눠주며 기부에 동참했습니다. 성직자, HBD 프로그램 회원, 교사, 학습자 등 다양한 사람들이 연설했습니다. 그들은 감사, 슬픔, 관대함, 인간관계에 대해 이야기했습니다: 
The memorial service happened in a grand Catholic church. HBD staff, faculty, and students—all formally dressed in funeral wear—joined the families of donors as they filled into the pews. Students contributed by handing out information booklets with forget-me-not seeds tucked neatly inside them. A number of people spoke: clergy, members of the HBD program, teachers, and learners. They spoke of gratitude, grief, generosity, and human connection:

다양한 의료 직종에 종사하는 많은 학습자가 강단에 올라 이 프로그램을 통해 어떤 혜택을 받았는지 이야기했습니다. 대부분 교과서적인 내용입니다. 충분히 사려 깊고 친절하지만 여러분이 기대할 수 있는 그런 내용입니다. 하지만 가장 아름답고 의미 있는 연설을 하는 사람이 한 명 있습니다. 그 연설이 감동적이었던 이유는 그가 인간으로서 우리를 연결하는 요소에 초점을 맞추었기 때문이라고 생각해요. 그는 우리가 누군가를 알 수 있는 모든 방법, 학습자가 함께 일하는 (전?) 사람들을 친밀하게 알게 되는 방법에 대해 이야기했습니다. 그리고 이것이 어떻게 그가 남겨진 사람들과 공유하는 유대감인지에 대해 이야기했습니다. 교육, 슬픔, 희망을 연결하는 방법, 즉 예상했던 것을 미묘하게 재조정하는 것이죠. 완벽했습니다. (현장 노트) 
A number of learners from the various health professions come to the lectern to speak about how they’ve benefited from the program. For the most part, they’re pretty textbook remarks. Thoughtful and kind enough, but the kind of thing you’d expect. But there’s one guy who gives the most beautiful, meaningful speech. And, I’ve thought about this—I think the thing that made it so poignant was the fact that he focused on what connects us as humans. He talked about all the ways we can know someone, how learners come to intimately know the (former?) people they work on. How this is a bond that he shares with the people who were left behind. It’s a subtle reorientation of the expected—a way to connect education, grief, and hopefulness. It was perfect. (Fieldnote)

따라서 안장식과 추모식은 고인에 대한 감사와 추모에 전념했습니다. 이렇게 교구로서의 시신은 배경으로 사라졌습니다. 그 대신 시신을 기증한 관대한 '영웅'을 추모하고 참석자들은 다음 현장 노트에서 볼 수 있듯이 그들이 제공한 모든 것에 대해 감사를 표했습니다: 
The interment and memorial service was thus dedicated to thanking and commemorating the dead. In this manner, the cadaver-as-teaching-tool faded to the background. In its place, all celebrated the memory of the generous “hero” who donated their body and attendees appreciated them for all that they have offered, as illustrated in the following field note:

연사 중 한 명이 부모님을 축하하기 위해 이 자리에 모인 모든 사람을 먼저 기립시키고, 그 다음에는 형제자매를 축하하는 사람, 사랑하는 사람, 사랑하는 사람의 기증으로 혜택을 받은 모든 사람이 기립하도록 요청하는 특별한 순간이 있었는데, 연사가 "이것이 바로 영향력이고, 이것이 바로 사랑이며, 이것이 우리가 여기 있는 이유"라고 말하며 마지막에 모든 사람이 기립한 모습은 정말 놀라웠습니다. 고인의 시신뿐만 아니라 고인이 나눈 사랑과 고인이 감동한 삶이 무대 위의 디스플레이로는 결코 담아낼 수 없는 거대하고 강력한 에너지와 결합되어 있다는 사실이 갑자기 이해가 되었습니다. 
There is an exceptional moment when one of the speakers asks first everyone who is here to celebrate their parent to stand, then those celebrating their sibling, then their loved one, then anyone who’s benefitted from the loved ones’ donation—everyone at the end of it was standing and the speaker said “this is the impact, this is the love, this is why we are here” and it was stunning. All of a sudden, the relatively small candle memorial makes sense—it’s not just about the person’s body but about the love they shared and the lives they’ve touched, all combined a massive and powerful energy that could never be captured by a display on a stage.

토론
Discussion

시체 작업의 복잡성의 핵심은 존재론적 모호함, 즉 시체를 사람 또는 사물, 인간 또는 인간이 아닌 것, 교사 또는 도구로 규정할 수 없다는 것입니다. 이러한 구분은 시체를 산 자와 구별할 수 없게 만드는 새로운 보존 기술의 발달로 인해 더욱 모호해지고 있습니다. 우리가 설명하는 수명 주기의 일부 단계가 반드시 임상 시신에만 적용되는 것은 아니라는 점을 잘 알고 있습니다. 물론 기존의 고정된 시신은 다양한 맥락에서 다르게 사용됨에 따라 변형됩니다. 그러나 우리는 시체가 딱딱하고 회색일 때, 즉 인간성을 간과하기 쉬울 때 철학적 작업이 덜 어려울 수 있다고 믿습니다. 임상 사체의 존재론적 충실성은 생애주기의 각 단계에서 특정 관행에 영감을 주며, 우리는 사람들이 말하고 행동하는 방식을 주목하고 분류하는 과정에서 이를 확인했습니다. 이러한 말과 행동36은 임상 시체의 모호하지만 부인할 수 없는 인간성의 산물입니다. 
Central to the complexity of cadaver work is what we refer to as its ontological ambiguity: the inability to qualify the cadaver as either a person or a thing; human or not human; or as a teacher or a tool. This distinction is becoming ever more ambiguous with the development of novel preservation techniques that render cadavers less and less distinguishable from the living. We recognize that some of the stages of the lifecycle we describe are not necessarily unique to clinical cadavers. Certainly, a traditional hard-fixed cadaver is transformed as it is used differently, in different contexts. We believe, however, that the philosophical work may be less troubling when the cadaver is rigid and gray—its humanity is perhaps easier to overlook. The ontological fidelity of clinical cadavers inspires specific practices at each stage of the lifecycle, which we identified in noting, and classifying, the ways in which people speak and act. These sayings and doings36 are a product of the nebulous, but undeniable, humanness of clinical cadavers.

CBS는 시체 해부에는 예술과 과학이 모두 존재한다는 것을 관찰했습니다.

  • 예술적 측면에서는 시체를 준비하고 전시하는 방식이 예술적이었으며, 작업자들은 실제 임상 사례에 가까운 상호작용을 장려하는 실제와 같은 표본을 제시하는 데 자부심을 가지고 있었습니다.
  • 과학과 관련해서는 보존 기술의 혁신, 정교한 기술, 도구 및 장치 테스트에 주목했습니다.

하지만 카데바 기반 시뮬레이션의 철학은 좀 더 모호했습니다. 하지만 철학적 작업이 사실 CBS의 근간을 이루고 있다는 사실을 알게 되었습니다. 
We observed that there is both an art, and a science, to CBS.

  • With respect to art, the ways in which cadavers are prepared and presented was artful, with workers taking pride in presenting lifelike specimens that encouraged an interaction closer to a real clinical encounter.
  • With respect to science, we noted the innovations in preservation techniques, the refined skill, the testing of tools and devices.

The philosophy of cadaver-based simulation, however, was more nebulous to identify. Yet, once we attuned to it, it became clear that philosophical work was, in fact, foundational to CBS.

들뢰즈적 관점에서 보면 CBS에 종사하는 사람들은 철학을 하고 있는 셈입니다.47 여기에는 사체가 생애주기를 거치면서 존재론적 모호성을 관리하는 개념적, 정서적, 윤리적, 기술적 작업이 포함되며 전문적인 관행에 의해 능동적으로 형성됩니다. 해부학적 대상으로서의 교육용 시체를 제작하고 재제작하는 것은 중요한 고려 사항이며20, 시체 기반 교육학의 관계적/사회적 요소21는 교육용 시체 작업의 복잡성에 대한 이해를 넓혀주었지만, 시체의 생애주기에 걸친 철학적 전환에 조율하는 것은 미묘한 요소를 추가합니다. 

  • 당사자에서 기증자로의 전환을 통해 참가자들은 사후에 시신이 어떻게 사용될지 계획하고 조직할 수 있었습니다. 
  • 사망 시 발생하는 기증자에서 시신으로의 존재론적 전환은 미래의 생명을 구하기 위한 시신 기반 교육의 실제 실습을 위한 프로세스를 시작할 수 있게 했습니다. 
  • 시신에서 시체로 전환된다는 것은 참가자들이 특정 상황에서 특정 시신으로 무엇을 할 것인지에 대한 결정을 내릴 수 있다는 것을 의미했습니다. 
  • 시신에서 교육용 시신으로 전환하면서 참가자들은 '더 큰 선', 즉 자신의 치료가 필요할 미래의 상상 속 환자에 초점을 맞추면서 시신을 비인격화할 수 있었습니다. 
  • 교육용 시신에서 교사로 전환한 참가자들은 시신에 직접 손을 대고 임상 술기와 절차를 연습할 수 있었습니다. 
  • 마지막으로, 교사에서 유산으로의 전환을 통해 참가자들은 자신이 참여하는 복잡한 작업에 대해 성찰하고, 기증자를 기리는 공간을 제공하며, 시신을 기증한 사람들의 인격을 기억하는 생애주기의 시작점으로 돌아갈 수 있었습니다.

From a Deleuzian perspective, then, people engaged in CBS are doing philosophy.47 This involves the conceptual, emotional, ethical, and technical work of managing ontological ambiguities as the cadaver passes through the lifecycle and is actively shaped by professional practices. While the making and remaking of teaching cadavers as anatomical objects is an important consideration20 and the relational/social elements of cadaver-based pedagogy21 have broadened our understanding of the complexity of educational cadaver work, attuning to the philosophical transitions across the lifecycle of a cadaver adds a nuanced element to the conversation.

  • The transition from person to donor allowed participants to plan and organize for how a body will be used after death.
  • The ontological transition from donor to body that occurred at death allowed the process to be set in motion for the actual hands-on work of cadaver-based education, which is intended to save future lives.
  • The transition from body to cadaver meant that participants were able to make decisions about what to do with a particular body, in a particular set of circumstances.
  • The transition from cadaver to educational cadaver allowed participants to depersonalize the cadaver as they focused on “the greater good”: future, imagined patients who will need their care.
  • The transition from educational cadaver to teacher allowed participants to do things to the cadaver, practicing clinical skills and procedures.
  • Finally, the transition from teacher to legacy allowed participants to reflect on the complex work in which they engage, providing space to honor donors, and returning us to the start of the lifecycle where we remember the personhood of those who gave the gift of their body.

이러한 존재론적 전환에 대한 철학적 작업은 라이프사이클의 각 단계에서 수행해야 하는 작업의 기초가 됩니다. 예를 들어, 우리가 신체를 사람으로 생각하기를 멈추지 않는다면, 해부학적 구조를 관찰하기 위해 신체를 절단하는 것은 상상하기 어렵습니다. 우리는 이 철학적 작업이 사실 "사전 경험적"이라고 믿습니다."35 이는 우리가 시체 기반 교육의 예술이나 과학에 참여하기 전에 먼저 들뢰즈와 과타리가 "개념을 형성, 발명, 조작하는 것"으로 정의한 철학에 참여해야 한다는 것을 의미합니다. 35(p2) 참가자들이 눈앞의 신체를 이해하기 위해 만들어낸 개념은 CBS의 전문적 관행과 분리할 수 없습니다. 
This philosophical work of ontological transitions is foundational to the tasks that must occur at each stage of the lifecycle. It is difficult to imagine, for example, cutting into a body to observe its anatomical structures had we never stopped thinking about that body as a person. We believe this philosophical work is, in fact, “pre-empirical.”35 This means that before we can engage in the art or science of cadaver-based education, we must first engage in philosophy, which Deleuze and Guattari defined as “forming, inventing, and fabricating concepts.” 35(p2) The concepts which participants created in order to make sense of the body before them are inseparable from the professional practices of CBS.

온톨로지 충실도
Ontological fidelity

CBS에 관한 문헌은 주로 시뮬레이터의 효과성 문제에 초점을 맞추고 있습니다. 22,27,34 특히, 현실을 재현하는 사실감의 정도 또는 정확성으로 정의되는 높은 충실도 때문에 의학교육자들에게 CBS는 매력적입니다.48 의학교육자들은 일반적으로 두 가지 유형의 충실도를 인식합니다.49

  • 물리적(즉, 시뮬레이터의 모양과 느낌의 유사성)
  • 기능적(즉, 시뮬레이터가 조작 또는 개입에 반응하는 방식의 유사성)

그러나 CBS에 대한 우리의 연구는 물리적 및 기능적 충실도보다 더 많은 것이 있음을 시사합니다. 특히, 저희는 세 번째 관련 충실도 유형인 존재론적 충실도가 있다고 주장합니다.
The literature on CBS has primarily been focused on issues of simulator effectiveness. 22,27,34 In particular, CBS is appealing to medical educators because of its high fidelity, defined as the degree of realism, or exactness with which it reproduces reality.48 Medical educators generally recognize two types of fidelity:

  • physical (i.e., similarity in the look and feel of the simulator) and
  • functional (i.e., similarity in how the simulator responds to manipulation or intervention).49 

Our study of CBS suggests, however, that there is more to fidelity than physical and functional. Specifically, we argue that there is a third relevant type of fidelity: ontological fidelity.

존재론적 충실도가 중요하다는 것은 부인할 수 없는 사실입니다. 기존의 딱딱하게 고정된 시신과 달리 임상 시신에는 마네킹 시뮬레이터 및 실제 신체와 구별되는 본질적인 고유성이 있습니다. 카데바는 사람이므로 부드러움과 존중을 가지고 다뤄야 합니다. 그러나 카데바는 살아있는 사람이 아니므로 교육용 도구처럼 자르고, 찌르고, 조작할 수 있습니다. 시체에는 냄새, 촉감, 이야기가 있습니다. 교육생이 CBS에 접근하는 진지함은 다른 어떤 학습 활동과도 비교할 수 없습니다. 따라서 우리의 연구는 시체가 무엇인지에 대한 질문이 CBS 실습에 중요하며 대체할 수 없는 고유한 실습이라는 것을 보여주었습니다. 아무리 기술적으로 진보된 고충실도 마네킹이라도 '인간됨'을 속일 수는 없기 때문에 실제 인체를 대체할 수는 없을 것입니다. 
It is undeniable that ontological fidelity matters. In contrast to traditional, hard-fixed cadavers, there is something inherently unique to the clinical cadaver that makes it distinct from both the manikin simulator and the living body. The cadaver is human, and therefore needs to be treated with tenderness and respect. The cadaver is not, however, a living person, and therefore can be cut, prodded, and manipulated like an educational tool. The cadaver has a smell, a feel, and a story. The seriousness with which trainees approach CBS is incomparable to any other learning activity. Our study thus demonstrated that the question of being—what a cadaver ismatters to the practice of CBS, and makes it a unique and irreplaceable practice. Arguably, the most technologically advanced, high-fidelity manikin will never replace a real human body, because you simply cannot fake “human.”

우리는 존재론적 충실도가 들뢰즈와 과타리의 세 가지 사고 방식(예술, 과학, 철학)과 관련하여 빠진 조각일 수 있다고 생각합니다.35 예술이 개념의 감각적, 지각적 측면을 표현하고 과학이 그 기능을 설명하고 조작할 수 있게 해 준다면 철학은 새로운 개념을 묘사하고 창조할 수 있게 해 줍니다. 충실도를 물리적, 기능적, 존재론적 개념으로 개념화하면 CBS를 예술적, 과학적, 철학적으로 표현하는 데 도움이 될 수 있습니다.
We believe ontological fidelity may be the missing piece related to Deleuze and Guattari’s three modes of thought (art, science, and philosophy).35 If art allows us to represent the sensory and perceptual aspects of a concept; science allows us to explain and manipulate its functions; then philosophy allows us to delineate and create new concepts. Conceptualizing fidelity as physical, functional, and ontological can help us represent CBS artistically, scientifically, and philosophically.

시체의 존재론적 충실도 개념은 결과적인 개념입니다. 더글러스-존스가 설명한 "침묵의 멘토"와 함께 작업할 때의 감정적 요소와 함께,29 이는 대면 시체 작업을 없애는 것에 반대하는 중요한 논거를 제공합니다. 현대에는 시체가 더 이상 필요하지 않다는 주장도 있습니다. 특히 코로나19 팬데믹 기간 동안 해부학 학습을 위한 가상 기술의 괄목할 만한 발전으로 값비싸고 자원 집약적인 임상 시체 프로그램이 필요하지 않게 되었습니다.50 그러나 우리의 연구에 따르면 화면을 통해 전달하기 훨씬 더 어려운 시체의 인간성 수준이 중요하다는 것을 알 수 있습니다.39 
The concept of ontological fidelity of cadavers is a consequential one. Along with the emotional elements of working with “silent mentors” as described by Douglas-Jones,29 it provides an important argument against eliminating in-person cadaver work. There has been some argument that cadavers are no longer necessary in the modern era. Particularly during the COVID-19 pandemic, there have been notable advancements in virtual technologies for anatomy learning that could eliminate the need for expensive and resource-intensive clinical cadaver programs.50 However, our research suggests that the level of humanness of the cadaver—something much more difficult to convey through a screen—matters.39

올레자즈41 는 해부 실습실을 도덕적 실험실, 윤리 교육을 실제로 이해할 수 있는 공간, 해부에 사용되는 인체의 모호함에 대처하는 방법을 기증자로부터 배울 수 있는 공간으로 묘사하고 있습니다. 마찬가지로 CBS와 관련된 교육 공간은 도덕적 교육 역할을 합니다. 이 독특한 환경에서 의학교육의 연속선상에 있는 학습자들은 눈앞에 놓인 시체의 물질적 형태와 씨름하며 새로운 개념을 만들어내고, 이를 통해 수행해야 하는 과제를 용이하게 수행할 수 있습니다. 절차적 술기를 가르칠 수 있는 마네킹이나 기타 시뮬레이터 형태의 다른 교육 도구도 분명 존재하지만, 시체의 존재론적 충실도와 그 사용과 관련된 철학적 작업은 대체할 수 없다고 생각합니다. 
Olejaz41 describes the dissection lab as a moral laboratory, a space in which we may come to understand ethics training in practice, as well as a space where students are given a chance by donors to learn how to deal with the ambiguity of human bodies that are used for dissection. Similarly, the teaching spaces associated with CBS serve as a moral pedagogy. It is in this unique environment that learners across the continuum of medical education grapple with the material form of the cadaver in front of them, creating new concepts to facilitate the tasks that must be accomplished. While there are certainly other educational tools available in the form of manikins or other such simulators which enable the teaching of procedural skills, we believe that the ontological fidelity of cadavers, and the philosophical work associated with its use, are irreplicable.

실제 인체와 함께 작업하는 것은 다른 유형의 시뮬레이터로 작업하는 것과는 본질적으로 다르며, 시뮬레이션을 통해 배울 수 있는 것과 그렇지 않은 것, 또는 배울 수 있는 것에 영향을 미치는 방식이 다릅니다.
Working with a real human body is inherently different from working with any other type of simulator in ways that influence what is, is not, or can be learned from simulation.

한계점
Limitations

일반적인 민족지학적 전통에 따라, 우리의 실습 기반 연구는 한 기관에 대해서만 심층적인 설명을 제공합니다. 특히 임상 시신의 준비는 제한된 수의 기관에서만 고유하게 이루어집니다. 이 연구에서 얻은 통찰력이 인체 기증 및 기타 유형의 시신 기반 교육과 관련된 다른 상황에도 적용될 수 있다고 생각하지만, 우리 연구의 이전 가능성을 보장할 수는 없습니다. 
In typical ethnographic tradition, our practice-based study provides an in-depth description of only one institution. The preparation of clinical cadavers, in particular, is unique to a limited number of institutions. While we believe the insights garnered herein translate to other contexts engaging in both human body donation and other types of cadaver-based education, we cannot guarantee the transferability of our work.

우리는 철학적 원리가 중요한 교육 개념을 재고하는 데 어떻게 도움이 될 수 있는지 보여주기 위해 들뢰즈와 과타리의 『철학이란 무엇인가』를 참고했습니다. 그러나 여기서 소개하는 내용은 단순화되고 집중적이며 교훈을 주기 위한 것입니다. 각자의 맥락에서 철학적 작업에 참여하고자 하는 동기를 가진 독자는 예술, 과학 및 철학에 대한 들뢰즈와 과타리의 관점의 미묘한 차이를 이해하기 위해 원본 기고문35을 읽어 보시기를 권장합니다. 
We drew on Deleuze and Guattari’s What is Philosophy in order to demonstrate how philosophical principles can help us to reconsider important educational concepts. However, what we present here is simplified, focused, and intended to be instructive. We encourage readers who are motivated to engage in philosophical work in their own contexts to read the original contribution,35 in order to understand the subtleties of Deleuze and Guattari’s perspectives on art, science, and philosophy.

결론
Conclusion

카데바 기반 시뮬레이션은 카데바 기반 의학 교육의 오랜 역사 속에서 유망하고 흥미로운 혁신입니다. 교육용 카데바는 그 자체로 삶과 죽음 사이의 공간에 존재하며, 눈에 보이는 것과 보이지 않는 곳에서 전문가 간 팀이 수행하는 실습으로 인해 '되기'의 사이클에 있습니다. 시체의 '인간성'은 시체를 분류하기 어려운 자료로 만듭니다. 그러나 이러한 모호성은 절차적 기술 학습뿐만 아니라 참가자들이 시체에 대해 말하는 방식과 시체에 대해 한 일 또는 하지 않은 일에서 분명하게 드러나는 의식적, 무의식적 성찰을 불러일으키는 강력한 교육 도구이기도 합니다. 따라서 CBS는 삶과 죽음의 이분법, 그리고 교육적 타당성을 확립하는 데 필요한 관행에 대한 고정 관념을 불안정하게 만듭니다. 우리는 CBS와 관련하여 "실재하는 것은 되는 것이 통과하는 고정된 조건이 아니라 되는 것, 그 자체, 되는 블록"이라는 들뢰즈와 과타리의 관점을 지지합니다. 35(p238)
Cadaver-based simulation is a promising, and fascinating innovation within the long history of cadaver-based medical education. The educational cadaver, itself, exists in a space between life and death, and is in a cycle of “becoming” because of the practices performed by an interprofessional team both visible and behind the scenes. The “humanness” of the cadaver makes it a difficult material to categorize. However, this ambiguity also makes a powerful educational tool, inspiring not only procedural skills learning, but also conscious and unconscious reflection, made evident in the ways in which participants spoke about cadavers, and in the things they did, or did not do, to them. CBS, then, unsettles fixed ideas about the life/death binary, and about the practices required to establish educational relevance. We support Deleuze and Guattari’s perspective that, when it comes to CBS, “what is real is the becoming, itself, the block of becoming, not the supposedly fixed terms through which that which becomes passes.” 35(p238)

교사, 학습자, 시체 보관소 직원들은 시체의 존재론적 가단성을 관리하면서 철학을 적극적으로 수행하고 있습니다. 우리는 이러한 사전 경험적 철학적 작업이 사실 CBS를 움직이는 원동력이라고 믿습니다. 이러한 존재론적 전환을 개념적으로 관리하고 실질적으로 실행하지 않으면 CBS의 작업은 불가능할 것입니다. 이 논문이 교육 수명 주기 전반에 걸쳐 시신을 관리할 때 참여자들이 불러일으키는 철학적 전략을 반영함으로써 의학교육에서 시신 작업의 복잡한 세계를 새롭게 조명할 수 있기를 바랍니다.
Teachers, learners, and cadaver staff are actively doing philosophy as they manage the ontological malleability of cadavers. We believe this pre-empirical philosophical work is, in fact, the motor that drives CBS. Without conceptually managing and materially enacting these ontological transitions, the work of CBS would not be possible. We hope that in reflecting on the philosophical strategies invoked by our participants as they manage the cadaver across its educational lifecycle, this paper sheds new light on the complex world of cadaver work in medical education.


 

 

Teach Learn Med. 2022 Oct-Dec;34(5):556-572. doi: 10.1080/10401334.2022.2092111. Epub 2022 Jun 30.

 

 

The Lifecycle of a Clinical Cadaver: A Practice-Based Ethnography

Affiliations collapse

Affiliations

1Department of Continuing Professional Development and Medical Education, Dalhousie University, Halifax, Nova Scotia, Canada.

2Department of Emergency Medicine, Dalhousie University, Halifax, Nova Scotia, Canada.

3Research Methods Unit, Nova Scotia Health, Halifax, Nova Scotia, Canada.

4School of Education, Durham University, Durham, UK.

PMID: 35770381

DOI: 10.1080/10401334.2022.2092111

 

Abstract

PhenomenonCadavers have long played an important and complex role in medical education. While research on cadaver-based simulation has largely focused on exploring student attitudes and reactions or measuring improvements in procedural performance, the ethical, philosophical, and experiential aspects of teaching and learning with cadavers are rarely discussed. In this paper, we shed new light on the fascinating philosophical moves in which people engage each and every time they find themselves face to face with a cadaver. ApproachOver a two-year period (2018/19-2019/20), we applied ethnographic methods (137 hours of observation, 24 interviews, and the analysis of 22 documents) to shadow the educational cadaver through the practical stages involved in cadaver-based simulation: 1. cadaver preparation, 2. cadaver-based skill practice with physicians and residents, and 3. interment and memorial services. We used Deleuze and Guattari's concepts of becoming and acts of creation to trace the ontological "lifecycle" of an educational cadaver as embedded within everyday work practices. FindingsWe delineated six sub-phases of the lifecycle, through which the cadaver transformed ontologically from person to donor, body, cadaver, educational cadaver, teacher, and loved one/legacy. These shifts involved a network of bureaucratic, technical, educational, and humanistic practices that shaped the way the cadaver was perceived and acted upon at different moments in the lifecycle. By highlighting, at each phase, 1) the ontological transitions of the cadaver, itself, and 2) the practices, events, settings, and people involved in each of these transitions, we explored questions of "being" as it related to the ontological ambiguity of the cadaver: its conceptualization as both person and tool, simultaneously representing life and death. InsightsEngaging deeply with the philosophical questions of cadaver-based simulation (CBS) helped us conceptualize the lifecycle as a series of meaningful and purposeful acts of becoming. Following the cadaver from program entry to interment allowed us to contemplate how its ontological ambiguity shapes every aspect of cadaver-based simulation. We found that in discussions of fidelity in medical simulation, beyond both the physical and functional, it is possible to conceive of a third type: ontological. The humanness of the cadaver makes CBS a unique, irreplaceable, and inherently philosophical, practice.

Keywords: Cadaver-based simulation; human body donation; medical education; ontological fidelity; philosophy of science.

보건전문직교육에서 현상학적 연구: 양쪽 끝에서 터널 만들기(Teach Learn Med, 2022)
Phenomenological Research in Health Professions Education: Tunneling from Both Ends
Chris B. T. Rietmeijera and Mario Veenb

 

소개
Introduction

다음은 CBTR(크리스)과 MV(마리오)의 이메일 대화 내용입니다. 이 대화는 비엔나에서 열린 2019 유럽 의학교육협회 컨퍼런스에서 시작되었으며, 그 이후로 계속되고 있습니다. 그 목적은 두 가지 관점을 보건 전문직 교육(HPE) 연구의 현상학이라는 공통 기반에 연결하는 것이었습니다. 우리는 현상학적 관점에서 의미 있는 연구를 수행하는 데 관심이 있을 뿐만 아니라 교육 연구자들이 현재 이용할 수 있는 '지침'에 대한 불만도 공유하고 있습니다. Chris는 일반의(GP)이자 GP 수련 프로그램 디렉터로, 수퍼바이저가 GP 수련생을 직접 관찰하는 박사 연구를 진행하고 있습니다. 마리오는 의학적 배경이 없는 학제 간 철학자이자 교육 연구자입니다. 양쪽 끝에서 터널링을 통해 공통의 지점에서 만나려는 시도를 경험했습니다. 이 과정에서 마리오는 직접 관찰 상황에서 환자의 경험에 대한 Chris의 연구 프로젝트에 참여하여 우리가 논의하던 현상학적 원칙을 구체화하는 데 도움을 주었습니다. 현상학적 접근 방식에 충실하게 우리의 대화는 여전히 계속되고 있습니다. 이 논문에서는 현재의 이해를 제시합니다. 이 글은 부분적으로 대화 형식으로 작성되었지만, 우리는 모든 섹션의 후속 초안과 최종 논문을 함께 논의하고 작성했습니다. 
What follows is the substrate of an e-mail dialogue between CBTR (Chris) and MV (Mario). We started this dialogue at the 2019 Association for Medical Education in Europe conference in Vienna, and it has been ongoing since then. The purpose was to connect our two perspectives to a common ground: phenomenology in health professions education (HPE) research. We share an interest in conducting meaningful research from a phenomenological perspective, as well as a frustration with the current “pointers” that are available for educational researchers. Chris is a general practitioner (GP) and GP training program director, who is conducting PhD research on direct observation of GP trainees by their supervisors. Mario is an interdisciplinary philosopher and educational researcher, with no medical background. Tunneling from both ends is how we experienced this attempt to meet on common ground. During this process Mario joined Chris’s research project on patients’ experiences in direct observation situations, which helped us concretize the phenomenological principles we were discussing. True to the phenomenological approach, our dialogue is still continuing. In this paper, we present our current understanding. While this text is – partly – written as a dialogue, we discussed and wrote subsequent drafts of all sections and the final paper together.

크리스 소개
Introduction Chris

몇 년 전, 제 박사 지도교수가 환자 인터뷰 연구에 현상학적 접근법을 제안했습니다.1 우리는 일반 수련에서 직접 관찰(DO)에 대한 레지던트와 수퍼바이저의 관점에 대한 구성주의적 근거이론 포커스 그룹 연구를 두 차례 마쳤습니다.2,3 지도교수는 우리가 DO 상황에 대한 환자들의 경험에 관심이 있으므로 현상학적 접근법이 적절할 것 같다고 주장했습니다. 저는 혼란스러워서 레지던트와 수퍼바이저의 경험을 연구할 때 사용했던 구성주의적 근거 이론 접근법과 어떤 차이가 있는지 물어보았습니다. 이미 현상학적 접근법이 아니었나요? 
A few years ago, my PhD supervisor suggested a phenomenological approach for a patient interview study.1 We had finished two constructivist grounded theory focus group studies on the residents’ and the supervisors’ perspectives on direct observation (DO) in general practice training.2,3 My supervisor argued that since we were interested in the patients’ experiences with DO situations, a phenomenological approach seemed appropriate. This confused me and I asked him what the difference would be from the constructivist grounded theory approach we had used to study the experiences of residents and supervisors. Was that not already phenomenological?

이것이 제 연구에서 현상학의 가치를 이해하고 현상학적 접근이 지금까지 해왔던 것과 어떻게 다른지 배우기 위한 탐구의 시작이었습니다. 저는 HPE 안팎에서 현상학에 관한 문헌을 검색하기 시작했습니다. HPE 문헌에서 저는 여러 현상학 학파에 대한 개요를 발견했습니다.4-6 이 문헌에서는 후설의 설명적 또는 초월적 현상학과 하이데거의 해석적 또는 해석학적 현상학 간의 차이점을 설명하는 경우가 많았습니다. 현상학에 대한 설명과 "괄호치기", "현상학적 환원", "사전 반성적 경험"과 같은 트레이드마크 용어를 제공합니다. 안타깝게도 저는 이러한 설명이 복잡하고 때때로 모순된다는 것을 알았습니다. 제 프로젝트에 대한 구체적인 지침을 제공하지 못했습니다. 
This was the beginning of my quest to understand the value of phenomenology for my research, and to learn how a phenomenological approach differs from what I had been doing so far. I embarked on a search of the literature on phenomenology in and outside HPE. In HPE literature, I found overviews of distinct phenomenological schools.4–6 This literature often explains the differences between Husserl’s Descriptive or Transcendental phenomenology and Heidegger’s Interpretive or Hermeneutic phenomenology. It provides descriptions of phenomenology and trademark terms such as “bracketing,” “phenomenological reduction,” and “pre-reflective experience.” Unfortunately, I found these descriptions complex and at times contradictory. They did not provide concrete guidance for my project.

그래서 저는 현대 현상학자들의 저작을 읽기로 결심했습니다.7,8 이를 통해 현상학적 원리를 이해하는 데 도움이 되었지만 혼란이 가중되기도 했습니다. 이 분야의 노련한 과학자들 사이에서 많은 의견 차이를 접했습니다: 반 마넨은 스미스의 해석적 현상학적 분석을 공격합니다.9 자하비는 반 마넨이 "상당히 잘못 이해하고 있다"고 비난합니다.10 분명히 현상학자들 스스로도 현상학이 무엇인지에 대해 동의하지 않는 것 같습니다. 게다가 인터뷰 연구와 같은 연구에서 현상학을 적용하는 방법에 대한 실용적인 지침을 거의 찾을 수 없었습니다. 실제로 이 문헌을 통해 현상학의 핵심 요소 중 하나는 연구 방법은 말할 것도 없고 정해진 규칙이 없다는 점을 분명히 알 수 있었습니다. 
I therefore decided to read works by some contemporary phenomenologists.7,8 This helped me start to grasp some phenomenological principles, but also added to my confusion. I encountered many disagreements among seasoned scientists in this field: Van Manen attacks Smith’s Interpretive Phenomenological Analysis.9 Zahavi accuses van Manen of “getting it quite wrong.”10 Apparently, phenomenologists themselves disagree on what phenomenology is. Moreover, I hardly found any practical guidelines on how to apply phenomenology in research, such as in the context of an interview study. Indeed, this literature made clear to me that one of the core elements of phenomenology is the absence of fixed rules, let alone a research method.

세 번째 전략으로 현상학적 접근법을 주장하는 HPE 영역의 연구 논문 사례를 연구했습니다. Ajjawi와 Higgs11는 물리 치료사가 임상적 추론을 학습하는 방법과 이에 대해 소통하는 방법에 대한 연구를 수행했습니다. 바이넘과 동료들은 레지던트들의 수치심 경험을 조사했습니다.12 맥라클란과 동료들은 의대생 교육에 대한 환자들의 경험을 연구했습니다.13 더 많은 사례가 있습니다.14,15 이 인터뷰 연구의 저자들은 현상학적 방법을 자세히 설명하고 있으며, 데이터에 대한 몰입과 철저한 반성을 통해 세심한 분석의 증거를 보았습니다. 안타깝게도 많은 논문의 질적 수준에는 깊은 인상을 받았지만, 제가 보기에는 다른 질적 탐구 방법의 결과와 상당히 유사해 보였습니다. 현상학적 입장과 방법에 대한 설명이 다소 혼란스러웠고, 현상학적 연구와 '비현상학적' 인터뷰 연구를 구별할 수 있는 어떤 종류의 '현상학적 마법' 또는 적어도 실행 가능한 요소를 발견할 수 없었습니다. 
As a third strategy, I studied examples of research papers in the HPE domain that claim a phenomenological approach. Ajjawi and Higgs11 conducted research on how physical therapists learn clinical reasoning and how to communicate about this. Bynum and colleagues investigated shame experiences of residents.12 McLachlan and colleagues studied patients’ experiences of medical student teaching encounters.13 There are more examples.14,15 The authors of these interview studies describe their phenomenological methods in detail, and I saw evidence of meticulous analyses through immersion in data and thorough reflexivity. Alas, although I was impressed by the quality of many of these papers, to me, the type of results they provided seemed quite similar to the results of other qualitative inquiry methods. I found descriptions of the phenomenological stance and methods somewhat confusing, and was unable to discern any kind of “phenomenological magic,” or at least a workable ingredient that would distinguish phenomenological from “non-phenomenological” interview studies.

저는 HPE 문헌에서 현상학은 종종 사람들이 어떤 현상에 대해 갖는 주관적인 경험을 조사하는 것과 동의어로 제시된다는 결론을 내렸습니다. 하지만 구성주의적 근거 이론과 같은 다른 유형의 질적 연구에서도 이를 조사할 수 있습니다. 후설 이후 120년이 지난 지금, 모든 질적 연구자들이 현상학에서 얻은 통찰을 통합하여 이 용어가 불필요해진 것이 아닌가 하는 생각이 들었습니다. 
I concluded that, in HPE literature, phenomenology is often presented as synonymous with investigating subjective experiences that people have with some phenomenon. But other types of qualitative research, such as constructivist grounded theory, can also investigate this. The thought occurred to me that perhaps, 120 years after Husserl, all qualitative researchers have integrated insights from phenomenology so that the term has become superfluous.

그래서 저는 이 세 가지 검색을 통해 매혹, 압도, 빈손, 짜증이라는 세 가지 감정을 발견했습니다. 그 자체로 유망한 세계인 현상학에 매료되고 압도되었지만 외부인에게는 이해할 수 없었습니다. 대부분의 철학자가 평생 동안 임상적 추론을 마스터하지 못하는 것과 마찬가지로, 저는 GP로서 평생 동안 고전적 현상학을 깊이 있게 이해하지 못할 것이라는 사실을 이쯤 되면 분명히 알 수 있었습니다. 명확한 실용적인 연구 방법론을 찾지 못해 공허함을 느꼈고, 제가 볼 수 있는 한 다른 질적 접근 방식과 근본적으로 다른 결과를 제공하지 않는 연구 논문에서 현상학에 대한 혼란스러운 설명에 약간 짜증이 났었습니다. 
So, here I found myself after these three searches, fascinated, overwhelmed, empty handed, and annoyed. Fascinated and overwhelmed by phenomenology as a promising world in itself, but incomprehensible to outsiders. It was clear to me by now that in my lifetime, as a GP, I was never going to really understand classical phenomenology in depth, in the same way that most philosophers, in their lifetime, are never going to master clinical reasoning. I felt empty handed because I had not found a clear practical research methodology, and a bit annoyed with confusing descriptions of phenomenology in research papers that, as far as I could see, did not deliver results that fundamentally differed from some other qualitative approaches.

그럼에도 불구하고 저는 현상학에 흥미를 느꼈고, 사람들이 어떤 현상에 노출되었을 때 기본적으로 경험하는 것을 밝혀낼 수 있다는 점에서 그 가능성을 보았습니다. 그래서 포기하지 않고 현상학적 접근법이 구성주의적 근거 이론과 같은 다른 질적 접근법과 어떻게 다른지, 그리고 그것을 이해하기 쉬운 언어와 방법으로 어떻게 포착할 수 있는지 알아보고자 결심하게 되었습니다. 이 과정에서 비엔나에서 열린 AMEE 컨퍼런스에서 마리오 선생님을 만났습니다. 철학자로서 저의 혼란을 이해해주셔서 안심이 되었습니다. 또한 단기적으로는 불편했지만, 당신 스스로도 HPE 연구에 현상학을 적용하는 데 어려움을 겪고 있었으며 간단한 해답이 없었다는 사실에 위안을 받았습니다. 그때부터 우리는 광범위한 편지 교환을 통해 이 터널링 프로젝트를 시작했습니다. 
Nevertheless, phenomenology intrigued me and I saw beauty in its promise to reveal what people basically experience when exposed to a phenomenon. So, instead of throwing in the towel, I became determined to find out how a phenomenological approach differs from other qualitative approaches, such as constructivist grounded theory, and how that can be captured in understandable language and methods. Somewhere in this process I met you, Mario, at the AMEE conference in Vienna. It was a relief that you, as a philosopher, understood my confusion. It was also a consolation, though inconvenient for the short term, that you yourself were struggling with the application of phenomenology in HPE research; you had no brief answers. That is when we started this tunneling project through an extensive exchange of letters.

마리오 소개
Introduction Mario

현상학에 대한 질문으로 저에게 다가오셨을 때, 관련성이 있는 질문이라는 것은 알지만 쉽게 대답할 수 없다는 점에서 당혹스러웠습니다. 저는 인문학 전공자이고 약 10년 전에 의학교육 분야에서 일하기 시작했습니다. 이는 흥미로운 경험이자 문화적 충격이었습니다. 인문학에서 익숙했던 연구 접근 방식이 의학교육 연구에서는 '현상학'이라고 불린다는 것을 알게 되었습니다. 종종 이것은 "경험적" 연구와 대조되었습니다. 그런데 놀랍게도 현상학은 경험적 연구를 수행하기 위한 '방법'으로 제시된다는 사실도 알게 되었습니다. 
When you approached me with questions about phenomenology, this was confronting in the sense that I recognized your questions as relevant but could not answer them easily. My background is in the Humanities and I started working in medical education about ten years ago. This was an interesting experience and culture shock. I found out that the approach to research I was used to in the Humanities was referred to as “phenomenology” in medical education research. Often, this was contrasted with “empirical” research. But, to my confusion, I also found out that phenomenology was presented as a “method” for conducting empirical research.

인문학에서 누군가 현상학에 대해 주장할 때 가장 먼저 하는 질문은 "누구의 현상학인가?"입니다. 현상학은 서로 다른 사상가들이 현상학이 무엇이며 어떻게 실천할 것인가에 대해 서로 다른 반응을 보이는 지적 전통으로 볼 수 있습니다. 후설은 일반적으로 철학적 현상학의 창시자로 여겨집니다. 그러나 그는 칸트나 헤겔과 같은 초기 사상가들도 이 용어를 사용했습니다. 그의 제자 하이데거 역시 후설에 응답했지만, 후설이 현상학에 대해 가졌던 몇 가지 근본적인 가정을 비판하기도 했습니다. 현상학의 역사적 전통에서 각 사상가는 전임자의 개념을 발전시키기도 하고 다른 사상가를 비판하기도 합니다. 예를 들어 버틀러16는 젠더 연구와 문화 이론에 큰 영향을 미친 드 보부아르의 젠더 개념17을 발전시켰습니다. 이 모든 사상가들의 공통점은 무엇을 현상학으로 보는지, 또는 누구의 현상학을 사용하는지 먼저 정의한다는 점입니다.
In the Humanities, when someone makes a claim about phenomenology, the first question is “whose phenomenology?” Phenomenology can be seen as an intellectual tradition in which different thinkers respond to each other and differ with regard to what phenomenology is and how to put it into practice. Husserl is generally seen as the founder of philosophical phenomenology. But he responded to earlier thinkers such as Kant and Hegel, who also used the term. His student, Heidegger, in turn responded to Husserl, but also criticized some fundamental assumptions that Husserl had made about phenomenology. In the historical tradition of phenomenology, each thinker both develops notions of their predecessor and criticizes others. For instance, Butler16 develops de Beauvoir’s notion of gender17 in a way that was hugely influential in gender studies and cultural theory. All of these thinkers have in common that they first define either what they see as phenomenology, or whose phenomenology they are using, rather than treating it as an out-of-the-box method.

여러분이 저에게 질문을 던졌을 때 저는 여러분이 말했듯이 쉬운 대답을 할 수 없었습니다. 이것은 철학과 의학교육 연구에서 계속되는 투쟁입니다. 하지만 현상학은 일상적인 현상을 연구하는 과학으로서 경험, 의미, 의도 등 우리에게 친숙한 단어를 기술적으로 사용한다는 점에서 또 다른 도전에 직면해 있습니다. 일상 언어와 HPE 연구에서 우리는 종종 "경험"과 같은 단어를 마치 그 의미를 정확히 알고 있는 것처럼 사용합니다. 현상학에서는 이에 대해 의문을 제기합니다(경험이란 무엇인가?). HPE 연구는 실무 지향적이기 때문에 이러한 각 용어에 대해 자세히 설명할 여력이 없습니다. 
When you approached me with questions, I had, as you say, no easy answers. This is an ongoing struggle with philosophy and medical education research. But phenomenology faces an additional challenge; as a science of studying everyday phenomena, it uses words that are familiar to us in a technical way for instance: experience, meaning, and intention. In our everyday language and HPE research, we often use words such as “experience” as if we know exactly what they mean. Phenomenology calls these into question (what is experience?). Since HPE research is practically oriented, we simply do not have the bandwidth to elaborate on each of these terms in depth.

그럼에도 불구하고 현상학에 대한 기술적 정의부터 시작하겠지만, 이 정의가 실제로 무엇을 의미하는지는 연구를 진행하면서 명확해져야 할 것입니다. 현상학을 한다는 것은 의식에서 발생하는 것(현상)을 설명하는 것을 의미합니다. 현상학은 현상을 근본적인 객관적 또는 주관적 실재의 표현으로만 취급하는 것이 아니라, 그 자체로 설명할 가치가 있는 대상으로 취급합니다. [그러한 실재가 존재하는지, 그리고 우리가 그러한 실재에 도달할 수 있는지]는 현상학이 답을 구하기보다는 "괄호"(제쳐두는) 질문으로, 현상학은 [현상이 언제 어떻게 우리에게 일어나는지 정확히 기술하고 현상에서 반복되는 패턴이나 구조를 찾는 데] 집중하기 위해 이 질문에 답하지 않습니다. 이러한 구조를 현상의 본질18이라고 부를 수 있는지, 아니면 우리가 세상에 존재하는 우연적인 현상19이라고 부를 수 있는지는 현상학자들이 논쟁하는 근본적인 질문 중 하나입니다.
Let us start with a technical definition of phenomenology nonetheless, although what this definition means in practice will have to become clear as we go along. Doing phenomenology means describing that which arises in consciousness (phenomena). Phenomenology treats phenomena as objects worthy of description in their own right, rather than only as manifestations of an underlying objective or subjective reality. Whether there is such a reality and whether we can ever get to it, is a question that phenomenology “brackets” (sets aside) rather than trying to answer it, in order to focus on describing phenomena exactly how and when they occur to us, and looking for recurrent patterns or structures in their occurrence. Whether these structures can be called essences18 of phenomena or are contingent manifestations of our being-in-the-world19 is one of those fundamental questions phenomenologists debate.

말씀하신 문제에 대해 제 의견을 말씀드리자면, 현상학이 HPE 연구에 도움이 되는 것은 사실이지만, 현상학은 바로 적용할 수 있는 '방법'이나 '방법론'이 아닙니다. 현상학은 연구자의 특정 태도를 요구하는 연구 접근 방식입니다. 이러한 태도는 연구 질문, 데이터 수집, 세분화된 분석, 결과 보고 방식, 연구자로서의 자신의 입장에 대한 성찰 등 연구의 모든 단계에 스며들어 있습니다. 이러한 태도가 없으면 철학적 접근 방식으로서 현상학에 부합하지 않는 방식으로 현상학으로 분류되는 방법을 사용할 수 있지만, 이는 좋은 연구가 아니라는 의미가 아니라, 현상학이 아니라는 의미일 뿐입니다. 반대로 현상학으로 분류되지 않는 방법을 현상학적인 방식으로 사용할 수도 있습니다. 이러한 복잡성에 더해, 연구의 한 측면(예: 현상학적 인터뷰20)에만 현상학적 접근 방식을 취할 수 있고 다른 측면에는 적용하지 않을 수도 있습니다.
Here is my version of the problem that you stated: while we both see benefits of phenomenology in HPE research, phenomenology is not an out-of-the-box “method” or even “methodology” that we can simply apply. It is an approach to research that requires a certain attitude of the researcher. This attitude permeates all levels of the research: research question, data collection, fine-grained analysis, how you report your results, and reflexivity on your own position as a researcher. Without this attitude, one can use methods that are labeled as phenomenological in a way that is inconsistent with phenomenology as a philosophical approach – which does not mean it is not good research; it is just not phenomenology. And conversely, one can use methods that are not labeled as phenomenology in a phenomenological way. Adding to this complexity, one can take a phenomenological approach to only one aspect of the research – e.g. phenomenological interviewing20 – but not to others.

서로 다른 현상학적 접근법 간의 논쟁에 휘말리지 않기 위해 HPE 연구와 직접적으로 관련된 현상학의 몇 가지 기본 사항을 이해하는 것으로 한정하겠습니다. 
To avoid getting bogged down in a debate between different phenomenological approaches, let us confine ourselves to understanding some basics of phenomenology that are directly relevant to HPE research.

현상학이란 무엇인가요?
What is phenomenology?

제가 현상학을 어떻게 보는지 전문 용어를 최소화하여 공유하겠습니다. 현상학은 우리가 편향되거나 편향되지 않은 지식을 가질 수 있는 객관적 실체로서 세계를 조사하는 연구 접근 방식과는 근본적으로 다른 출발점을 가지고 있습니다. 현상학의 주요 특징은 인간에게 일어나는 세계에 초점을 맞추고, 세계가 일어나는 방식과 무관하게 세계를 객관적으로 '있는 그대로' 설명하는 것은 불가능하다고 주장한다는 점입니다. 
Let me share - with a minimum of jargon - how I see phenomenology. Phenomenology has a radically different starting point from approaches to research that investigate the world as an objective reality that we can have biased or unbiased knowledge of. Its key feature is that it focuses on the world as it occurs to human beings, and asserts that it is impossible to describe the world as it objectively “is” independent of how it occurs.

현상학은 우리가 마주하는 현상을 분석하는 학문입니다. 세상이 일상 생활에서 우리 인간에게 나타나는 방식이 그 출발점입니다. 현상은 사물부터 상황, 생각이나 경험에 이르기까지 우리가 하루를 보내면서 인식하게 되는 모든 것이 될 수 있습니다.

  • 현상은 스스로 드러나는 것, 또는 일어나는 것을 의미합니다.
  • 따라서 현상은 우리에게 나타나는 대로 우리에게 나타나는 것을 연구하는 것을 의미합니다.19

이러한 방식으로 현상학은 일상생활을 출발점으로 삼지 않는 과학 및 연구 접근법, 일상생활을 그 자체로 보지 않고 미리 설정된 분석적 틀 안에서 조사하는 접근법과 대조됩니다. 
Phenomenology is the analysis of phenomena as we encounter them. The way the world presents itself to us human beings in ordinary life is its starting point. A phenomenon can be anything from a thing to a situation to a thought or experience that we become aware of as we go about our day. 

  • Phenomenon means that which shows itself, or that which occurs.
  • Phenomenology therefore means to study that which shows itself to us as it shows itself to us.19 

In this way, phenomenology is contrasted with approaches to science and research that do not take everyday life as a starting point, and with those that examine everyday life occurrences not on their own terms, but within preset analytical frameworks.

예를 들어, 잠에서 깨어나 그날 밤 꾼 꿈을 기억한다고 생각해 보세요. 꿈은 현상입니다. 아마도 꿈에서 당신은 하늘을 날고 있었을 것입니다. 그 꿈에 대해 생각하고 분석하면서 생각을 적고 기분이 어땠는지, 반복되는 꿈인지, 그 꿈이 자신에게 어떤 의미가 있는지 살펴볼 수 있습니다. 매일 아침 꿈을 적고, 비교하고, 패턴을 찾고, 일기를 쓰는 등 하루 중 꿈의 특정 요소와 겹치는 다른 사건이 있는지 살펴봄으로써 꿈에 대한 현상학적 분석을 수행할 수도 있습니다. 이 현상학적 분석에서는 꿈이 진짜인지 아닌지, 예측 가치가 있는지 없는지, 꿈의 원인이 무엇인지에 대해서는 관심을 두지 않는다는 점에 유의하세요. 여러분은 단순히 자신에게 일어나는 일을 설명하는 것을 목표로 하고 있습니다. 
As an example, think of waking up and remembering a dream you had that night. The dream is the phenomenon. Perhaps, in the dream, you were flying. You could think about the dream and analyze it, writing your thoughts down and examining how it makes you feel, whether this is a recurring dream and if the dream means anything to you. You could even perform a phenomenological analysis of your dreams by writing them down each morning, comparing them, looking for patterns, and examining (e.g. by keeping a diary) whether there are other events in your day that seem to co-occur with certain elements in dreams. Notice that in this phenomenological analysis, you have not concerned yourself with whether dreams are real or not, whether they have predictive value, or what causes them. You are simply aiming to describe what occurs to you.

예를 들어 꿈을 낮 동안의 미완성 된인지 활동의 처리로 보는 등 꿈에 대한 신경학적 또는 심리적 이론을 살펴보기 시작하는 순간 우리는 현상학을 벗어난 것이다. 그렇다고 현상학에서 신경학적 또는 다른 설명의 가능성을 부정하는 것은 아니며, 현상이 의미 있는 사건으로 우리에게 어떻게 나타나는지에 집중하지 않기 위해 이 옵션을 일시 중단한 것입니다. 현상학에서 설명이나 이론을 중단하는 것을 '괄호 치기'라고 하는데, 우리는 현상(이 경우 꿈)이 '진짜'인지 또는 무엇이 '원인'인지에 대해서는 관심을 두지 않습니다. 대신 '사물 자체'를 설명하는 데 집중합니다.18(168쪽) 해석적 틀을 통해 현상을 분석하기 전에 현상이 어떻게 발생하는지를 포착하는 것이 현상학의 핵심이자 주요 과제입니다. 이는 '가공된' 세계가 아니라 세계가 우리에게 제시하는 날것 그대로의 방식, 즉 반성 이전의 인식을 포착하는 것이 이상적입니다. 우리(특히 연구자)는 분석적 프레임워크 내에서 현상을 분류하여 즉각적으로 분석하는 데 익숙하기 때문에 이는 매우 어려운 일입니다.  
The moment we start to look at neurological or psychological theories about dreams, for instance by seeing dreams as the processing of unfinished cognitive activities during the day, we have left phenomenology. This does not mean that, in phenomenology, we deny the possibility of neurological or other explanations; we simply suspend this option in order not to be distracted from how the phenomenon shows itself to us as a meaningful event. This suspending of explanations or theory in phenomenology is called “bracketing”: we are not concerned with whether the phenomenon – in this case the dream – is “real” or with what “caused” it. Instead, we remain focused on describing the “things themselves”.18(p168) This is both the core and the major challenge of phenomenology, to capture how a phenomenon occurs before we analyze it through interpretive frameworks. This is the ideal of capturing pre-reflective awareness: the raw way in which the world presents itself to us, rather than a “processed” version of it. This is so challenging because we (especially researchers) are used to instantly analyzing phenomena by categorizing them within analytical frameworks.

현상학의 몇 가지 기본 원칙
Some basic principles of phenomenology

현상에 대한 즉각적인 접근
Immediate access to phenomena

이 예를 염두에 두고 현상학은 우리가 즉각적으로 접근할 수 있는 것에 관심을 갖는다고 현상학에 대한 기본적인 설명을 할 수 있습니다. 꿈을 꾸는 사람만이 꿈에 직접 접근할 수 있습니다. 다른 사람들(연구자 포함)은 꿈꾼 사람이 보고하는 것을 통해서만 꿈에 접근할 수 있습니다.

  • 비현상학적 접근법은 일반적으로 우리가 즉각적으로 접근할 수 있는 것을 넘어 심리학이나 신경학과 같이 미리 정의된 이론적 입장에서 현상을 분석하려고 시도합니다.
  • 비현상학적 접근의 또 다른 예인 현실주의적 평가"인과적 규칙성을 발생시키는 근본적이고 생성적인 메커니즘"을 파악하려고 시도합니다.21(p1)

현상학은 이러한 종류의 메커니즘이 존재하는지, 또는 무엇으로 구성되어 있는지에 대해 어떠한 주장도 하지 않으며, 단지 우리가 단순히 우리에게 일어나는 것을 관찰할 때 즉시 이용할 수 없다는 것만 주장합니다. 이러한 현상학의 원리를 환자가 직접 관찰(DO) 상황을 경험하는 방식에 대한 인터뷰 연구에 적용하여,1 우리의 목표는 일상 생활 맥락에서 참가자가 현상에 즉각적으로 접근하는 방식을 연구하여 DO 상황과 환자 간의 관계에서 반복되는 패턴을 찾는 것이었습니다. 
With this example in mind, we come to a basic description of phenomenology as being concerned with that to which we have immediate access. Only the dreamer has direct access to the dream. Others (including researchers) only have access to the dream through what dreamers report.

  • Non-phenomenological approaches usually attempt to go beyond that which we have immediate access to, and instead analyze phenomena from a pre-defined theoretical position, such as psychology or neurology.
  • Realist evaluation, as another example of a non-phenomenological approach, attempts to identify “underlying, generative mechanisms that give rise to causal regularities”.21(p1) 

Phenomenology does not make any claim about whether these kinds of mechanisms exist or what they consist of, but only that they are not immediately available when we simply observe what occurs to us. Applying this principle of phenomenology to our interview study on how patients experience direct observation (DO) situations,1 our goal was to study participants’ immediate access to the phenomenon in an everyday life context, looking for recurring patterns in the relationship between the DO situation and the patient.

그러나 HPE 연구 실무에서 문제는 참가자가 직접 접근할 수 있는 것뿐만 아니라, 연구자로서 어떤 데이터와 방법을 통해 상황에 접근할 수 있는지에 대한 것입니다. 이 질문에 대한 명확한 답은 없습니다. 우리의 DO 연구는 연구자가 참여자가 되어 자신의 경험을 기술하고 성찰하는 자기인류학 방법을 사용하여 수행될 수 있었습니다. 또는 실제 DO 상황을 녹화하고 비디오 녹화를 분석하는 방법을 사용할 수도 있습니다. 이 경우 언어적 상호작용뿐만 아니라 시선 접촉, 누가 어디에 앉는지 등 DO 중에 보이는 것과 들리는 것을 즉각적으로 파악할 수 있었을 것입니다. 그래서 저희는 참가자와의 인터뷰를 진행하기로 결정했습니다. 그러나 어떤 데이터 수집 방법을 채택하든, 처음부터 해석, 기억 또는 기타 분류의 필터를 거치지 않고 현상 또는 현상의 일부가 그 자체로 드러날 수 있도록 하는 데 초점을 맞춰야 합니다.  
However, in the practice of HPE research, the question is not just what the participants have direct access to, but through which data and methods we as researchers can gain access to the situation. There is no obvious answer to that question. Our DO study could have been done using methods of autoethnography, in which the researcher is the participant and describes and reflects on their own experience. Or alternatively, through recording actual DO situations and analyzing the video recordings. In that case, we would have had immediate access to what is visible and audible during DO: what happens in terms of verbal interaction, but also in terms of eye contact, who sits where, etc. We opted for conducting interviews with participants. But whatever data collection method one adopts, it should be focused on the phenomenon, or part of the phenomenon, being able to show itself on its own terms, rather than through a filter of interpretation, memory, or any other categorization we impose on it from the start.

경험적 연구에서 '사전 성찰'은 이상적이지만, 저희는 참가자가 그 DO 상황에 처했을 때의 '날것' 경험을 최대한 포착하려고 노력했습니다. DO 상황이 발생한 직후에 인터뷰를 진행했기 때문에 참가자들이 그 경험을 '생생하게' 느끼고 반성할 시간이 많지 않았습니다. 인터뷰에서는 특정 현상과 관련하여 참가자에게 인식된 장벽과 조력자에 대해 명시적으로 묻는 인터뷰 연구에서와 같이 DO에 대한 의견이나 이에 대한 참가자의 해석에 초점을 맞추기보다는 경험의 '방법'에 초점을 맞춰 참가자를 부드럽게 안내했습니다. 정교한 질문을 통해 해석의 틀을 제시하는 대신 고개를 끄덕이거나 문장의 마지막 단어를 반복하는 등 비지시적인 프롬프트를 통해 참가자를 자극했습니다. 
Although in the practice of empirical research “pre-reflective” is an idealization, we tried as much as possible to capture the “raw” experience of what it was like for the participant to have been part of that DO situation. We performed the interviews immediately after the DO situation, so that the experience was still “fresh” and the participants did not have much time to reflect on it. In the interviews, we gently steered participants to the “how” of the experience, rather than focusing on their opinions about DO or their own interpretations of it – as might be done in an interview study that explicitly asks participants about perceived barriers and enablers with regard to a certain phenomenon. Instead of introducing interpretive frameworks through elaborate questions, we stimulated participants with non-directive prompts, like nodding and repeating the last words of a sentence.

의미와 자연스러운 태도를 괄호로 묶기
Meaningfulness and bracketing the natural attitude

두 번째 기본 원칙으로, 현상학에서는 의미를 현상의 필수적인 부분으로 간주하며, '객관적인' 연구 대상을 갖기 위해 제거해야 하는 것이 아니라고 생각합니다. 현상은 누군가에게 발생하며 무언가를 가리킵니다. 예를 들어, 누군가에 의한, 그리고 무언가에 대한 지식이 아닌 '지식'이란 존재하지 않습니다. HPE 연구에서 다루는 연구 대상은 거의 항상 의미가 있습니다. 예를 들어 의학과는 달리 우리는 화학적 과정이 아니라 인간의 과정을 연구합니다. 우리는 대상과 대상 간의 관계를 연구합니다. 이번 연구 프로젝트에서는 환자가 주체가 되어 환자가 처한 DO 상황과의 관계를 연구했습니다. 현상학에서는 주체와 객체, 그리고 이들 간의 관계를 현상의 본질적인 부분으로 간주하며, 이 관계 없이는 현상을 이해할 수 없습니다. 이러한 관계는 당연한 것으로 받아들이는 것이 아니라 현상학적 탐구의 일부입니다.
As a second basic principle, phenomenology considers meaning to be an integral part of phenomena and not something that we have to do away with in order to have an “objective” research object. Phenomena occur to someone and point to something. For instance, there is no such thing as “knowledge” that is not knowledge by someone and about something. The research objects that HPE research concerns itself with are almost always meaningful. Unlike medical science, for instance, we do not study chemical processes but human processes. We study relationships between objects and subjects. In our research project, the patient was the subject and we studied their relationship to the DO situation that they were in. Phenomenology treats subjects, objects, and the relationships between them as essential parts of phenomena without which we cannot understand them. These relationships are part of a phenomenological investigation instead of taking them for granted.

후설은 관계를 당연시하는 것을 자연적 태도, 즉 객관적 실재의 존재나 그 실재와의 관계에 대해 의문을 제기하지 않는 일상적 삶의 태도라고 불렀습니다.22 이는 또한 우리 외부에 우리가 속하지 않고도 조사할 수 있는 경험적 실재가 있다는 관점에서 연구를 수행하는 비현상학적 HPE 연구에서 우리가 취하는 태도입니다. 자연적 태도의 관점에서 보면 레지던트는 환자와 상담을 하고 슈퍼바이저는 관찰을 위해 '그냥 거기'에 있는 것입니다. 물론 이것이 이상적이라는 것은 알고 있지만, 수퍼바이저가 이 역할에 충실하고 '벽에 붙은 파리'가 될수록 관찰이 더 성공적으로 이루어질 수 있습니다.2 예를 들어 자연적 태도에서는 참여자와 인터뷰를 하고 코딩할 수 있습니다.
Husserl called this taking for granted of relationships the natural attitude: the attitude of everyday life in which we do not question the existence of an objective reality or our relationship to it.22 It is also the attitude we have in non-phenomenological HPE research, in which we conduct research from the perspective that there is an empirical reality outside of us that we can investigate without being part of it. From the perspective of the natural attitude, the resident has a consultation with a patient, and the supervisor is “just there” to observe. Of course we know this is an ideal, but the more the supervisor can conform to this role and be a “fly on the wall,” the more successful the observation will be.2 From the natural attitude, we could, for instance, hold interviews with the participants and code them.

그러나 현상학적 태도(자연적 태도에 괄호를 치는)에서 우리는 "직접 관찰"이라는 아이디어에 의문을 제기했습니다. 우리는 슈퍼바이저와 참석자 간의 관계가 어떤지 미리 알고 있다고 가정하지 않았습니다. 사실, 이것이 바로 우리가 조사하고자 했던 것이었습니다. 이 조사의 일환으로 저희는 환자들이 그 상황을 어떻게 경험했는지에 대해 인터뷰하고 싶었습니다. 그런 다음 이러한 인터뷰를 분석하면서 환자가 상황 전체에 대한 관계와 함께 동석한 다른 두 사람과의 관계를 어떻게 구성했는지에 초점을 맞추었습니다.
But from a phenomenological attitude (bracketing the natural attitude), we called the idea of “direct observation” into question. We did not assume that we knew beforehand what the relationship was between the supervisor and the other people present. In fact, this was precisely what we wanted to investigate. As part of this investigation, we wanted to interview patients about how they experienced the situation. In the analysis of these interviews, we then focused on how patients constructed their relationship to the situation as a whole and their relationship to the two other people that were present.

중요한 것은 자신이 알고 있는 것만 괄호로 묶을 수 있다는 것입니다. 현상에 대해 우리가 이미 가지고 있는 성향을 인식하는 것은 그것들을 한쪽에 배치하는 것만큼이나 중요합니다. 현상학에서 우리는 우리가 인식하는 대상에 우리의 관점, 판단, 가치관이 스며들어 있음을 인식합니다.3 우리가 보는 모든 것은 이미 세상에 대한 우리의 근본적인 태도에 의해 채색되어 있습니다. 그러나 자신의 근본적인 가정을 인식하는 것은 가장 어려운 철학적 관행 중 하나입니다.23 이는 연구 전후에 한 번만 성찰하는 것이 아니라 현상학적 연구 전반에 걸쳐 지속적으로 수행되는 관행입니다. 본 연구에서는 인터뷰를 진행하기 전에 두 명의 주요 연구자가 각각 DO 상황에서 환자가 되는 것에 대한 자신의 가정에 대한 에세이를 썼습니다. 그런 다음 이 에세이에 대해 서로 인터뷰했습니다. 이 세션은 녹음, 필사 및 분석되었으며, 이 과정은 두 연구자가 연구 기간 내내 작성한 반성적 일기의 시작이 되었습니다.
Importantly, one can only bracket what one is aware of. Becoming aware of the dispositions we already have toward the phenomenon is just as important as placing them to one side. In phenomenology, we recognize that the objects we are aware of are imbued with our perspective, our judgements, and our values.3 Anything we see is already colored by our fundamental attitude to the world. However, becoming aware of one’s own fundamental assumptions is one of the most challenging philosophical practices.23 It is an ongoing practice throughout phenomenological research, rather than a one-time reflection before or after the research. In our study, prior to conducting interviews the two main researchers each wrote an essay on their own assumptions about being the patient in a DO situation. They then interviewed each other about these essays. This session was recorded, transcribed, and analyzed, and this process served as the start of a reflexive diary that both researchers kept throughout the study.

연구자의 반성적 성찰은 모든 질적 접근 방법의 일부이지만, 일반적으로 연구자로서의 자신의 배경이 관점을 편향되게 만들었을 수 있는 방법을 찾기 위해 자신의 입장을 성찰하는 것으로 귀결됩니다. 그러나 괄호는 연구자가 가질 수 있는 의견(또는 기타 "편견")이 아니라 관계에 대한 가정(예: 이 경우 DO 상황에서 환자와 레지던트 및 감독자 간의 관계)과 DO에서 작동한다고 가정하는 기본 메커니즘에 대한 가정에 관한 것입니다. 
While researcher reflexivity is a part of all qualitative approaches, it usually comes down to reflecting on one’s own positionality to look for ways in which one’s own background as a researcher might have biased their perspective. However, bracketing is not so much about the opinions (or other “biases”) one might have, but on assumptions about the relationships, such as, in this case, for example, the relationship between the patient and the resident and supervisor in the DO situation, and about what underlying mechanisms one assumes are at work in DO.

현상을 그 자체로 설명하기
Describing phenomena on their own terms

세 번째 원칙으로, 현상학은 대부분의 연구 접근 방식에서 익숙한 방식, 즉 현상을 '파일화할 수 있는' 연구 대상으로 환원하고 주관적 경험의 고유성에서 추상화하는 것을 지양합니다이론은 '제3의 관점', 즉 내 것도 네 것도 아닌 일종의 비인격적 입장에서 세상을 설명합니다. 현상학에서 현상은 일차적인 것이며, 의학교육 연구에서 체계적으로 또는 일상에서 '비공식적으로' 사물을 분석하는 방식으로 현상을 이론화하고 분석하는 것은 이 일차적인 경험에 뿌리를 두고 있습니다. 현상학은 3인칭의 '외부' 관점에서 공식화된 범주가 아닌, 현상 자체의 관점에서 현상을 이해하는 것을 목표로 합니다.
As a third principle, phenomenology refrains from doing something that we are so used to in most approaches to research: reducing phenomena to research objects that become “fileable” entities and abstracting them from the uniqueness of subjective experience. Theory describes the world from a “third perspective,” a kind of impersonal position that is neither yours nor mine. In phenomenology, the phenomenon is primary, and theorizing and analyzing phenomena – whether systematically in medical education research, or in the way that we analyze things “informally” throughout our day – is rooted in this primary experience. Phenomenology aims to understand phenomena on their own terms rather than in terms of categories that have been formulated from a third-person, “outside” perspective.

환자 연구에서 우리는 구성주의적 근거 이론의 목표가 될 수 있는 심리적 또는 사회학적 과정에 대한 이론을 구축하는 측면에서 말한 내용을 이해하려고 노력하지 않았습니다. 대신, 우리는 사람들의 성찰 전 경험 사이의 공통점을 설명하고자 했습니다. 예를 들어, 일부 환자들은 레지던트와 수퍼바이저 간의 명확한 역할 분담이 수련 중에 위반되어서는 안 되는 중요성에 대해 보고했습니다. 그러나 역할 위반이 때때로 DO와 일치하는 것으로 취급된다는 징후도 발견했습니다. 또한 많은 환자들이 레지던트와 슈퍼바이저가 서로 조화를 이루는 것 같아서 즐거운 경험이었다고 강조했습니다. 
In our patient study, we were not striving for an understanding of what was said in terms of building theory on psychological or sociological processes as could, for instance, be the aim of constructivist grounded theory. Instead, we wanted to describe commonalities between people’s pre-reflective experiences. As an example, some patients reported on the importance of a clear role division between resident and supervisor that should not be breached during DO. But we also found indications that role breaching was sometimes treated as consistent with DO. Moreover, many patients emphasized that the experience had been pleasant because the resident and supervisor seemed in harmony with each other.

비현상학적 접근법이었다면, 우리는 이러한 결과를 통해 DO 상황에서의 역할 분담과 조화에 대한 이론을 유도했을 것입니다. 대신 우리는 이러한 환자들의 생각을 반복되는 경험의 사전 반성적 구조로 거슬러 올라갔습니다. 즉, 진료 상황에서 환자가 된다는 것은 두 명의 의사와 한 공간에 있는 것을 의미하며, 그들이 서로 어떻게 상호작용할지, 그리고 자신과 어떻게 상호작용할지 모른다는 것을 의미했습니다. 이는 차분하고 친근한 상호 작용에 대한 환자의 요구와 이를 보장하기 위한 환자의 수동적인 역할에 공감을 불러일으켰습니다. 
In a non-phenomenological approach, we might have induced from these findings a theory on role division and harmony in DO situations. Instead we traced these patients’ ideas back to a recurring pre-reflective structure of the experience: being the patient in a DO situation meant being in a room with two doctors, not knowing how they will interact with each other and with oneself. This resonated with patients’ needs for calm and friendly interactions, and their passive role in securing these.

경험에서 반복되는 패턴을 파악하기 위해 우리는 이 요소(상상적 변형)가 없어도 그 현상을 여전히 그 현상이라고 할 수 있는지에 대한 질문에 따라 안내를 받았습니다.7 예를 들어, 환자와 슈퍼바이저 사이의 눈맞춤에 대한 많은 코드가 있었기 때문에 경험의 필수 요소로 보였습니다. 그러나 우리는 이러한 아이컨택이 없어도 DO 상황에서 환자가 되는 것은 여전히 같은 현상이 될 것이라고 생각했습니다. 아이컨택은 DO에 필수적이지 않은 것 같았습니다. 환자가 공감하고 안심할 수 있는 두 번째, 더 선배 의사의 존재가 필수적인 것으로 보였고, 이 때 아이컨택이 중요한 역할을 하는 경우가 많았습니다.
To identify recurring patterns in the experience, we were guided by the question of whether the phenomenon would still be the phenomenon without this element (imaginative variation).7 We had, for example, many codes about eye contact between the patient and the supervisor, which therefore seemed an essential element of the experience. However, we reasoned that without this eye contact, being the patient in a DO situation would still be the same phenomenon. Eye contact did not seem essential for DO. What seemed essential was the presence of a second, more senior doctor that the patient could relate to and be reassured by, in which eye contact often played a role.

HPE 연구의 현상학적 관행
Phenomenological practices in HPE research

질적 연구에 대한 배경 지식이 있는 독자는 위에서 설명한 많은 원칙의 측면을 자신의 연구 방법에서 인식하고 현상학과 (다른 형태의) 질적 연구의 차이점이 무엇인지 궁금해할 수 있습니다. 실제로 현상학이 일반적으로 질적 연구와 즉시 구별되지 않는 경우가 많기 때문에 현상학이 무엇인지 파악하는 데 있어 HPE 연구자들이 겪는 어려움 중 하나가 바로 이것입니다. 
Readers with a background in qualitative research might recognize aspects of many of the principles discussed above in their own methods, and wonder what constitutes the difference between phenomenology and (other forms of) qualitative research. Indeed, this is one of the challenges for HPE researchers in grasping what phenomenology is: it is often not immediately distinguishable from qualitative research in general.

여기에는 역사적, 철학적 이유가 있습니다. 예를 들어, 사회 구성주의는 후설, 하이데거, 메를로퐁티와 같은 현상학자들을 배경으로 그리고 그들과의 대화를 통해 발전해 왔기 때문에 [현상학]을 [사회 구성주의적 접근 방식]과 대조하는 것은 오해의 소지가 있습니다. HPE 연구에 영향을 미친 사상가 중 한 명인 푸코(이 시리즈의 이전 연재 주제25)는 흔히 포스트 구조주의자로 분류되며 구성주의 및 구성주의와 관련이 있습니다. 그러나 푸코는 하이데거를 자신의 사고에 가장 중요한 영향을 준 사람 중 한 명으로 꼽았습니다.26 역사적 관점에서 보면 현대의 민족지학, 구성주의, 담론 분석 등은 모두 현상학이라는 역사적, 철학적 운동의 존재에 어느 정도 의존하고 있습니다. 따라서 현상학을 공부하면 종종 현상학과 대조되지만 실제로는 현상학에 의존하는 접근법을 더 잘 이해할 수 있습니다. 
There are historical and philosophical reasons for this. For instance, it is misleading to contrast phenomenology with social constructivist approaches, since social constructivism has been developed against the background of and in dialogue with phenomenologists like Husserl, Heidegger, and Merleau-Ponty. Foucault, one of the thinkers who has been influential in HPE research24 (and the subject of a previous installment in this series25), is often categorized as a post-structuralist and associated with constructivism and constructionism. However, Foucault listed Heidegger as one of the most important influences on his thinking.26 In historical terms, our modern versions of ethnography, constructivism, discourse analysis, and so on, are all to some extent dependent on the existence of the historical and philosophical movement of phenomenology. Studying phenomenology will therefore also lead to a better understanding of approaches that are often contrasted with it, but that actually depend on it.

[철학적 사유]란 [연구 수행에 대한 광범위한 접근 방식]과 [구체적인 연구 방법] 간의 관계에 관한 것입니다. 우리가 설명한 방식으로 자연스러운 태도를 괄호로 묶지 않고도, 자신의 해석적 틀의 관점이 아닌 자신의 용어로 문화 현상을 설명하기 위해 열린 자세로 민족지학에 현상학적 접근법을 취할 수 있는 것처럼, 비현상학적 방식으로 해석적 현상학적 분석(IPA)27을 적용할 수 있습니다. 현상학은 [과학에 대한 접근 방식]이지 [특정 과학적 방법]이 아닙니다. 현상학은 해답을 제공할 뿐만 아니라 구체적인 연구 수행과 관련된 특정 질문을 하도록 자극합니다. 
The philosophical reason concerns the relationship between broad approaches to conducting research and concrete research methods. Without bracketing the natural attitude in the way we have described, one can apply Interpretive Phenomenological Analysis (IPA)27 in a non-phenomenological way, just as one can take a phenomenological approach to ethnography with a deep commitment to being open to describe cultural phenomena on their own terms rather than from the perspective of one’s own interpretive frameworks. Phenomenology is an approach to science, and not a particular scientific method. Not only does it provide answers, it also stimulates asking certain questions related to the concrete practice of doing research.

모든 연구자, 특히 현상학적 관점에서 연구를 수행하고자 하는 연구자가 스스로에게 던져볼 수 있는 네 가지 질문이 있습니다:
There are four questions we suggest all researchers, but especially those committed to conducting research from a phenomenological perspective, could ask themselves:

  1. 내가 연구하고자 하는 현상에 대해 어떤 즉각적인 접근이 가능한가, 그리고 다양한 데이터 수집 방법이 접근에 어떤 영향을 미치는가? 예를 들어, 인터뷰를 통해 그 사람이 그 상황에 처했을 때 어땠는지 보다 직접적으로 접근할 수 있지만, 과거의 상황이기 때문에 항상 어느 정도 해석과 반영이 필요합니다. 상황의 비디오 녹화를 통해 각 참가자의 말과 행동 측면에서 상황이 어떤지 즉각적으로 알 수 있지만, 그들이 생각하거나 느끼는 것, 또는 의도가 무엇인지에 대해서는 알 수 없습니다.
    What immediate access do I have to the phenomenon I want to study, and what implications do different data collection methods have for access? For instance, through interviews I have a more direct access to what it was like for that person to be in that situation, but because the situation is in the past, there is always some extent of interpretation and reflection. Through video recordings of the situation I do have immediate access to what the situation is like in terms of what each participant says and does, but I do not have access to what they think or feel, or what their intentions are.
  2. 내 데이터를 통해 즉각적으로 접근할 수 있는 것이 무엇인지에 대한 질문과 관련하여, 연구에서 현상에 대해 알고 주장할 수 있는 것의 한계는 어디까지일까요? 연구를 수행한다는 것은 우리가 무엇을 연구하고 있는지, 우리가 연구하는 대상과 어떤 관계가 있는지, 그리고 그것에 대해 어떤 종류의 진술을 할 수 있는지 또는 할 수 없는지에 대해 정확하게 파악하는 것을 의미합니다. 예를 들어, '감정'이 아닌 '감정에 대해 인터뷰하는 사람들의 오디오 녹음'과 같은 데이터가 무엇인지, 그리고 이 연구 데이터를 통해 무엇을 말할 수 있는지 명확히 해야 합니다. 인터뷰 녹음에서는 '생각'을 관찰하는 것이 아니라 설명, 상호작용 등과 같은 사회적 행동을 관찰합니다. 따라서 우리는 "환자가 생각한다"라고 말하지 않고 "참가자가 그렇게 보고한다..."라고 말합니다. 
    Related to the question of what my data gives me immediate access to, what are the limits to what I can know and assert about the phenomenon in my research? To conduct research means to be precise about what we are studying, what our relation is to that which we are studying, and what kind of statements we can or cannot make about it. We have to be clear what our data is (for instance, “audio recordings of people being interviewed about emotions,” instead of “emotions”) and what this research data allows us to say. In recordings of interviews, we do not observe “thoughts,” but social actions such as descriptions, interactions, and so on. So, we do not say “patients think”, but "participants report that…".
  3. 내가 조사하는 상황에 대한 나의 자연적 태도는 무엇이며, 그 현상이 저절로 나에게 나타나기 위해서는 무엇이 필요할까요? 일반적인 연구(따라서 현상학적 연구 포함)와 관련된 성찰과는 달리, 이러한 유형의 성찰은 나의 문화적 배경과 가정이 (객관적인) 현상에 대한 나의 인식을 어떻게 편향시키는지에 관한 것이 아니라, 나와 인터뷰 대상자와의 관계 또는 인터뷰 대상자와 그들이 말하는 DO 상황의 관계와 같은 관계에 관한 가정에 관한 성찰입니다. "편향"이라는 용어는 주관적인 연구자가 관점을 가지고 있는 상황이 존재한다고 말하는 자연스러운 (객관주의적) 태도를 말합니다. 즉, 주관성은 가능한 한 비활성화해야 하는 필터로 간주됩니다. 그러나 현상학에서 주관성은 나쁜 것이거나 현상에 덧붙여진 것이 아니라 오히려 현상의 필수적인 부분이며 현상을 이해하기 위한 필수 요건입니다. 예를 들어, 담화 심리학28에서는 상황의 기록에서 눈에 보이고 들리는 것만 기술하도록 제한하고, 참여자가 수행해야 하는 제도적 역할이나 남성인지 여성인지와 같은 상호작용 외적인 범주에 대해서는 언급하지 않습니다. 물론 참여자 스스로가 이러한 범주를 관찰 가능하게 만들어 상호작용과 현상의 일부로 삼지 않는 한 말이죠.
    What is my natural attitude toward the situation I examine and what would it take for the phenomenon to show itself to me on its own terms? In contrast to reflexivity as it pertains to research in general (thus, including phenomenological research), this type of reflection is less about how my cultural background and assumptions would bias my perception of the (otherwise objective) phenomenon, but rather about assumptions regarding relationships, such as my relationship to the interviewee, or the relationship of the interviewee to the DO situation they are speaking about. The term “bias” refers to the natural (objectivist) attitude that says that there is a state of affairs out there that a subjective researcher has a perspective on. In other words, subjectivity is seen as a filter that we should disable as much as possible. Within phenomenology, however, subjectivity is not something bad or added on to phenomena, but rather it is an integral part of phenomena and a requirement to understand them. In Discursive Psychology,28 for instance, we confine ourselves to only describing what is visible and audible in the recordings of the situation, and refrain from referring to interaction-external categories such as the institutional role that a participant is expected to fulfill or whether they are male or female – unless, of course, the participants themselves observably make these categories part of the interaction and therefore of the phenomenon.
  4. 내 연구 장치가 내가 조사하는 현상에 어떤 영향을 미치나요? 이 질문에서 알 수 있듯이 연구 장치, 즉 내가 일하는 대학의 전체 구성, 라이브 인터뷰든 Zoom을 통한 인터뷰든, 인터뷰 코딩 방식, 논문 작성 방식은 현상에 대한 외부의 관점이 아니라 현상의 일부로 간주됩니다.29 연구도 다른 관행과 마찬가지로 관행입니다. 연구를 수행하는 사람들과 그들이 처한 상황에 따라 달라집니다. 이는 연구 장치를 중립적인 것으로 취급할 수 없음을 의미합니다. 여기에는 연구자의 업무 환경부터 방법론적 선택, 인터뷰 중 던지는 질문까지 모든 것이 포함됩니다. 연구자는 연구 외부에 있는 것이 아니라 연구에 '체화embodied'되어 있는, 즉 연구의 필수적인 부분입니다. 우리는 모든 연구 프로젝트에서 어떤 식으로든 이러한 인사이트를 정의롭게 구현해야 합니다. 이에 대한 한 가지 실질적인 의미는 데이터에서 분석이 "이루어졌다"는 인상이나 주제가 "나타났다"는 인상을 주지 않도록 능동태로 작성하는 것입니다.
    How does my research apparatus factor into the phenomenon I am investigating? As this question suggests, the research apparatus – the whole constellation of the university I work in, whether I interview live or via Zoom, the way I code the interviews, the way I write up the paper – is considered part of the phenomenon rather than an outside perspective on it.29 Research is a practice like other practices. It is contingent on the people who conduct it and the circumstances in which they conduct it. This means that we can never treat the research apparatus as neutral. It includes everything from one’s work environment to methodological choices and questions asked during an interview. The researcher is not outside the research, but is “embodied,” i.e., an integral part of it. We have to do justice to this insight in some way in every research project. One practical implication of this is to write in the active voice, so as not to give the impression that an analysis “was made” and themes “have emerged” from the data.

터널 끝의 마법
Magic at the end of the tunnel

지난 2년 동안 이 터널을 파면서 크리스인 제가 배운 것은 무엇일까요? 무엇보다도 현상학은 방법이 아니라 과학에 대한 접근 방식이라는 점입니다. 그리고 그것은 자연스러운 태도를 중단하고 근본적으로 다른 방식으로 바라볼 것을 요구합니다. 
What have I, Chris, learned while digging this tunnel over the last two years? First and foremost, that phenomenology is not a method but an approach to science. And that it calls for a radically different way of looking, suspending the natural attitude.

둘째, 실용적인 연구자로서 저는 이제 현상학적 인터뷰 연구에서 어떤 종류의 결과를 찾고 있는지, 그리고 이것이 인터뷰 데이터를 사용하는 다른 접근 방식의 결과와 어떻게 다른지 알게 되었습니다. 우리는 사람들의 [생각, 감정, 의견 그 자체]에 관심이 있는 것이 아니라 이러한 생각, 감정, 의견의 근간이 되는 반복적인 경험 구조에 관심이 있다는 것을요. 제가 보기에 현상학적 마술은 데이터의 소위 "이데아적 환원"8,30에 있으며, 데이터를 이러한 반복적인 경험 구조에 대해 드러내는 것으로 되돌려 놓는 데 있습니다. 제가 생각하는 마법은 수많은 설명을 현상의 의미 있는 소수의 특성으로 구조화하는 결과의 단순성에 있습니다. 이렇게 관리 가능한 수의 특성을 고려하면 지속적인 문제를 해결하는 데 도움이 될 수 있다는 실용적인 관련성이 있습니다. 
Second, as a practical researcher, I now know what kind of results I am looking for in a phenomenological interview study, and how these differ from results of other approaches that make use of interview data: we are not interested in people’s thoughts, feelings, or opinions per se, but rather in the recurring structures of experience that underlie these ideas, opinions, and feelings. To me, that is the phenomenological magic: it is in the so-called “eidetic reduction8,30 of data, in bringing the data back to what it reveals about these recurring structures of experience. The magic, to me, is in the simplicity of its results that structure numerous accounts into a small number of meaningful characteristics of the phenomenon. The practical relevance of this is that taking this manageable number of characteristics into account may help resolve persistent problems.

이를 설명하기 위해 마지막으로 한 가지 예를 들자면, 일반과 레지던트 시절의 진료 상황에 대한 환자들의 경험을 조사한 결과, 환자들은 후배와 선배라는 두 명의 의사가 있는 상황을 경험했습니다. 이 단순하고 반복적인 구조는 선배에 대한 환자의 모든 종류의 생각과 행동에 영향을 미쳤습니다.1 예를 들어, 환자들은 종종 치료 계획에 대한 선배의 승인 표시를 찾았습니다. 이 연구 결과를 통해 우리는 수퍼바이저가 DO를 진행하는 동안 수퍼바이저가 관찰하고자 하는 상황을 완전히 바꾸어 버리는 즉흥적인 접근 방식의 적절성에 의문을 갖게 되었습니다. 자명하지만 종종 간과되는 이 발견은 이러한 상황에서 우리가 가장 잘 행동할 수 있는 방법과 학습 및 평가 목적에 가장 잘 사용하는 방법에 영향을 미칠 수 있습니다. 
To give one last example to illustrate this, in our investigation of patients’ experiences with DO situations in general practice residency, patients experienced the presence of two doctors, a junior and a senior. This simple, recurring structure was responsible for all kinds of thoughts and behaviors of patients toward the senior.1 For instance, patients often looked for signs of approval from the senior of the treatment plan. This finding made us question the appropriateness of a fly-on-the-wall approach by supervisors during DO; supervisors, by being there, completely change the situation that they intend to observe. This self-evident but often overlooked finding may have consequences for how we can best behave in these situations and how best to use them for purposes of learning and assessment.

결론
Conclusion

현상학적 관점에서 HPE 연구를 수행하는 것은 복잡하지만 가치 있는 일입니다. 그 복잡성은 기술적 고려 사항 때문이 아니라 많은 연구자, 특히 의과학 배경을 가진 연구자에게 익숙한 것과는 다른 기본 태도를 습득해야 하기 때문입니다. 이를 위해 HPE 연구원들은 일상적인 연구 관행을 뒷받침하는 몇 가지 철학적 "편견"31에 대해 한 발 물러서서 숙고하는 노력을 기울여야 합니다. 현상학이 취하는 근본적으로 다른 접근 방식에 대한 기본적인 개념이 없다면, 현상학적 '방법'은 이름만 현상학적인 것일 수 있습니다. 
Conducting HPE research from a phenomenological perspective is complex but valuable. Its complexity is not due to technical considerations, but to acquiring a basic attitude that is different from what many researchers, especially those with a medical science background, are used to. To achieve this, HPE researchers must make the effort to step back and contemplate some of the philosophical “biases”31 that underpin our daily research practice. Without some basic idea of the fundamentally different approach that phenomenology takes, phenomenological “methods” may be phenomenological in name only.

현상학은 HPE에서 주제를 조사하기 위한 논리적 출발점입니다. 현상학은 연구를 시작하기 전부터 현상을 어느 정도 파악하고 있느냐에 따라 연구가 제한됩니다. 의학교육의 대부분의 연구는 연구 대상을 정의하는 것에서 시작됩니다. 이는 종종 연구 대상에 대한 정의를 제공하는 것으로 이루어집니다. 예를 들어, "성찰은 메타인지적 과정으로...". 현상학의 관점에서 볼 때, 이것은 연구 대상을 해당 현상에 대한 가정을 전제로 하는 특정 해석 프레임워크로 미리 축소하는 환원주의입니다. 해석적 틀에 맞지 않는 것은 전혀 고려되지 않거나 연구와 무관한 것으로 무시됩니다. 현상학자들은 연구의 목표가 현상을 이해하는 것이라면, 현상이 무엇인지 이미 알고 있다고 주장하지 말고 현상 그 자체로 드러나도록 내버려 두어 현상이 무엇인지 이해하려는 노력부터 시작해야 한다고 반박합니다. 현상학자는 해석의 틀을 괄호로 묶고 현상에 대해 "초보자의 마음"32을 가정합니다. 현상학적 분석 과정에서 성찰과 같은 현상은 성찰이 특정 결과로 이어져야 하는 인지적 렌즈, 감정의 렌즈, 교육적 렌즈 등을 통해 더 깊이 이해할 수 있다는 것이 분명해질 수 있습니다. 연구 대상을 그 자체로 이해하려는 초기 시도는 환자 중심성, 학생 중심성, 맥락 민감성을 추구하는 HPE 연구의 야망과 밀접하게 맞닿아 있습니다. HPE 연구에서 우리는 우리의 맥락이 아닌 그들의 맥락에서 현상을 이해하고자 합니다. 

Phenomenology is a logical start for investigating topics in HPE. Research is limited in advance by the degree to which it has apprehended the phenomenon even before the research starts. Most research in medical education starts with delineating the research object. Often, this is done by providing a definition of the research object. For instance, “reflection is a metacognitive process that…”. From the perspective of phenomenology, this is reductionism: reducing the research object in advance to a specific interpretive framework that makes assumptions about the phenomenon in question. Anything that does not fit the interpretive framework is not seen at all or is dismissed as irrelevant to the research. Phenomenologists counter that, if the goal of our research is to understand a phenomenon, then we should start with trying to understand what the phenomenon is by letting it show itself on its own terms, instead of claiming to already know what it is. A phenomenologist brackets interpretive frameworks and assumes a “beginner’s mind”32 to the phenomenon. In the course of the phenomenological analysis it may become clear that a phenomenon like reflection can be further understood through the lens of cognition, the lens of emotion, the educational lens in which reflection should lead to a specific result, and so on. The initial attempt to understand a research object on its own terms fits closely with the ambition of HPE research to do justice to patient-centeredness, student-centeredness, and context sensitivity. In HPE research, we want to understand phenomena in their context, not ours.

 


 

 

Teach Learn Med. 2022 Jan-Mar;34(1):113-121. doi: 10.1080/10401334.2021.1971989. Epub 2021 Sep 29.

 

 

Phenomenological Research in Health Professions Education: Tunneling from Both Ends

Affiliations collapse

Affiliations

1Department of General Practice/Family Medicine, Amsterdam University Medical Centers, Amsterdam, The Netherlands.

2Department of General Practice, Erasmus Medical Center, Rotterdam, The Netherlands.

PMID: 34586929

DOI: 10.1080/10401334.2021.1971989

Abstract

Issue: The term "phenomenology" is increasingly being used in Health Professions Education research. Phenomenology refers to a philosophical tradition or discipline. For researchers in Health Professions Education without a philosophical or humanities background, there are two practical problems. The first is that it is not always clear how studies that call themselves "phenomenological" are distinct from studies that use other methods; phenomenology as a label seems to be used for any study that is interested in the experiences of participants. The second problem is that a more in-depth study of phenomenology in the literature yields either abstract definitions such as "examining the underlying structures of consciousness," or contrasting translations of phenomenology to concrete research tools. What would phenomenology in medical education research look like that is both true to its philosophical roots and yields research findings that contribute to the quality of medical education? Evidence: Two medical education researchers, one with a medical background and the other with a philosophy background, engaged in a dialogue with the purpose of formulating an approach for phenomenology in medical education research. The first departed from the practical demands of his research project in which phenomenology was suggested as a methodology, but guidance was lacking. The other departed from the philosophical tradition of phenomenology with the purpose of exploring how phenomenological insights can be valuable for medical education research. The paper presents these journeys and the results of this dialogue where they formulate starting points for an approach to conducting HPE research that has scientific phenomenological integrity and yields practical results. Implications: Phenomenology has been one of the defining developments in philosophy and the humanities in the 20th century. A basic grasp of its insights is useful for medical education researchers since any research today takes place in the light of these insights. Within medical education, there are certain types of phenomena, research questions, and research goals that call for an explicitly phenomenological approach. Rather than prescribing specific methods or methodologies, phenomenology offers signposts for how to think about the relationship between our research object, methods, and data, and our own role as researchers. We suggest that researchers in HPE, when reporting a phenomenological study, instead of claiming to have followed a certain phenomenological method, explain how their research question, methods, and results fit the purposes and standards of phenomenology. We illustrate this with an example of how to use phenomenology in an interview study.

Keywords: Phenomenology; interview study; philosophy of science; qualitative research.

 

의학교육에서 우리의 인종적 과거를 다루기: 푸코적 관점(Teach Learn Med. 2021)
Contending with Our Racial Past in Medical Education: A Foucauldian Perspective
Zareen Zaidia , Ian M. Partmanb, Cynthia R. Whiteheadc, Ayelet Kuperd, and Tasha R. Wyatte

 

"의학이, 그리고 이를 통해 정부가 시민을 바라봐야 하는 자유로운 시선이 어떻게 지식의 난해함과 사회적 특권의 경직성에 얽매이지 않고 유능한 역량을 갖출 수 있을까요?" - 미셸 푸코, 클리닉의 탄생
“How can the free gaze that medicine, and, through it, the government, must turn upon the citizens be equipped and competent without being embroiled in the esotericism of knowledge and the rigidity of social privilege?” – Michel Foucault, The Birth Of The Clinic

미국 사회와 기관의 구조에 깊이 뿌리내린 체계적이고 구조적인 인종차별에 대한 국가적 논의가 계속되는 가운데, 교육 기관, 특히 대학이 스스로의 인종차별적 역사, 관행, 편견을 인식하고 이를 완화하기 위한 전략을 개발해야 한다는 압력이 커지고 있습니다. 이러한 압력과 함께 의학 및 의학교육을 포함한 교육기관 내에서 인종 불평등을 논의하거나 줄이기 위해 사용되는 기존의 방법이 불충분하거나 경우에 따라서는 문제가 있다는 인식이 증가하고 있습니다. 1 이러한 기관들은 어떻게 그리고 왜 제도적 구조 내에서 조직적인 인종차별을 피상적으로만 다루고 있을까요? 의학교육과 그 기관이 이러한 실패를 완화하고 궁극적으로 바로잡는 데 방해가 되는 것은 무엇일까요? 
Amidst ongoing national conversations about the systemic and structural racism deeply embedded in the fabric of American society and institutions, there is growing pressure for educational institutions – in particular, colleges and universities – to reckon with their own racist histories, practices, and biases and develop strategies for mitigation. With this pressure comes increasing recognition that preexisting methods employed to discuss or decrease racial inequality within institutions, including medicine and medical education, are insufficient or, in some instances, problematic. 1 How and why do these institutions only superficially address systemic racism within their institutional architectures? What is preventing medical education and their institutions from mitigating and ultimately rectifying these failures?

이 초청 글에서 우리는 이러한 실패가 중립적이지도 우연적이지도 않으며, 특정 개인에게 다른 개인보다 특권을 부여하는 깊숙이 자리 잡은 체계적 위계질서의 직접적인 결과라고 주장합니다. 우리는 다음과 같은 두 가지 질문을 제기합니다:

  • (1) 이러한 위계를 어떻게 이해할 수 있는지,
  • (2) 프랑스 이론가 미셸 푸코의 이론을 바탕으로 의학교육에서 체계적인 인종 차별을 해체하기 위한 단계를 어떻게 식별할 수 있는지.

의학교육의 인종 정치 분석에 대한 이러한 푸코적 접근 방식을 통해 우리는 실질적이고 실행 가능한 해결책으로 이어지는 이론 중심의 해답을 제시할 수 있습니다. 
In this invited article, we argue that these failures are neither neutral nor accidental, but the direct result of a deeply entrenched systematic hierarchy that privileges specific individuals over others. We take up the dual questions of:

  • (a) how we can understand this hierarchy and
  • (b) how we can identify steps to dismantle systemic racism in medical education drawing upon the theoretical work of French theorist Michel Foucault.

This Foucauldian approach to the analysis of the racial politics of medical education enables us to propose theory-driven answers to our questions that lead to practical, actionable solutions.

왜 푸코인가?
Why Foucault?

미셸 푸코는 의학과 의학교육에 대해 잘 알려져 있지만, 그의 연구는 의료 사회학 및 인류학과 같은 다른 분야에서 더 잘 알려져 있습니다. 2 이론가로서 푸코는 받아들여지는 지식의 형태, 과학적 이해, 무엇이 진리로 간주되는지를 통해 권력이 어떻게 구성되는지 이해하는 데 관심이 있습니다. 특히 교육과 의료와 같은 '돕는' 직업이 고객의 요구에 부응하기 위해 어떻게 권력을 행사하는지에 대해 관심을 갖고 있습니다. 특히 푸코는 전문가가 새로운 지식을 창출하고 이를 실제로 사용할 때 개인이 자신을 보는 방식, 타인과의 관계, 자신이 살고 있는 현실에 어떤 영향을 미치는지 살펴봅니다. 푸코의 사상은 현재 우리 의료계가 환자와 수련의 모두에게 영향을 미치는 인종차별, 즉 우리 직업에 뿌리 깊게 자리 잡은 조직적 인종차별을 어떻게 다룰지 고민하고 있는 상황에서 특히 적절합니다. 
Michel Foucault is no stranger to medicine and medical education, yet his work has perhaps greater visibility in other disciplines, such as medical sociology and anthropology. 2 As a theorist, Foucault is interested in understanding how power is constituted through accepted forms of knowledge, scientific understanding, and what is considered truth. Of particular concern is how “helping” professions, such as education and medicine exercise power in an attempt to serve their clients’ needs. Specifically, Foucault examines how, when professionals create new knowledge and use it in practice, they affect how individuals view themselves, their relationship to others, and the reality in which they live. Foucault’s ideas are particularly relevant now as our field grapples with how to address the deep-seated systemic racism in our profession; racism that affects both patients and trainees.

주체의 만들기
The making of a subject

권력과 지식의 관계에 대한 푸코의 탐구는 그의 학문적 작업의 중심이었습니다. 그러나 그는 자신의 목표가 권력 그 자체에 대한 연구가 아니라 인간이 주제로 만들어지는 방식에 대한 연구라는 점을 분명히 했습니다. 2 주제대상화 과정을 통해 만들어집니다. 푸코는 그의 저서에서 개인이 "권력의 효과"에 의해 행동하고 영향을 받는 대상화의 세 가지 방식 또는 기법을 설명합니다. 3 (375쪽) 이러한 대상화 과정은 개인과 집단을 다른 사람들의 조직적, 기능적 요구에 부응하기 위해 명명되고, 분류되고, 재분류되는 대상으로 재구성합니다. 
Foucault’s exploration of the relationship between power and knowledge was central to his academic work. He was clear, however, that his goal was not the study of power itself, but of the ways that humans are made into subjects that interested him most. 2 Subjects are created through a process of objectification. In his work, Foucault describes three different modes or techniques, of objectification in which individuals are acted upon and influenced by an “effect of power.” 3 (p.375) This objectification process recasts individuals and groups as objects where they are named, sorted, and reclassified to serve the organizational and functional needs of others.

첫 번째 기법은 '탐구 방식' 또는 지식을 생성하고 체계화하는 방법을 다룹니다. 4 (777쪽) 의학의 탐구 방식은 주로 생물 의학적인 것으로, 의사는 심리적, 환경적, 사회적 영향을 배제하고 질병에 대한 생물학적 요인과 설명에 초점을 맞춥니다. 따라서 의학교육은 교육 커리큘럼을 생물의학에 맞추고, 환자 치료에 대한 이러한 접근 방식을 강화하는 실무에서 의사를 교육하는 것과 관련된 문제에 관심을 갖고 있습니다. 
The first technique deals with “modes of inquiry” or ways of creating and codifying knowledge. 4 (p.777) Medicine’s mode of inquiry has primarily been biomedical, in which physicians focus on biological factors and explanations for disease to the exclusion of psychological, environmental, and social influences. As such, medical education is concerned with issues related to aligning their training curriculum with biomedical sciences, and then training physicians in practices that reinforce this approach to patient care.

이러한 생물의학적 접근 방식은 의사가 환자와 질병을 보는 방식에 광범위한 영향을 미쳤으며, 다른 형태의 지식을 주변부로 밀어냈습니다. 전 세계 다른 곳의 의사들은 북미를 지배하는 생의학적 접근 방식 외에도 건강에 대해 생각하고, 인체 내 치유를 지원하며, 질병을 치료하는 다양한 방법을 사용합니다. 5 학문과 전문직 내에서 이러한 탐구 방식은 대상화의 수단으로 면밀히 검토되는 경우는 드물지만, 지식이 생성되고 주제를 보는 방식을 형성하는 과정입니다. 의학에서는 환자를 보는 방식과 의사를 교육하는 방식에 영향을 미쳤습니다. 
This biomedical approach has had far reaching consequences for how physicians see patients and their diseases and has pushed other forms of knowing to the periphery. Elsewhere in the world, physicians use different ways of knowing, thinking about health, supporting healing within human bodies, and treating disease beyond just the biomedical approach that dominates North America. 5 Such modes of inquiry within disciplines and professions are rarely scrutinized as a means of objectification, yet they are the process by which knowledge is created and shapes the way we see subjects. In medicine, this has had consequences for how we see patients and the way we train physicians.

두 번째 기법은 사람들을 분류하고 그룹화한 다음 그 분류와 그룹에 따라 다른 사람들과 분리하는 과정인 '분할 관행'을 통해 발생합니다. 푸코의 관점에서 볼 때, 과소 대표 소수자(URM)라는 용어 자체에는 인종 차별적 대상화 프로젝트가 내포되어 있습니다. 의학교육에서 URM이라는 범주는 이제 직업 내에서 보호받는 인종 그룹(예: 흑인, 라틴계, 원주민)을 나타내는 데 보편적으로 사용되며, 이러한 그룹 간에는 중요한 차이가 있음에도 불구하고 이 용어가 사용되고 있습니다. 이 문구는 주로 미국의 제도적, 학문적 언어에서 비백인 학생을 설명할 때 사용되지만, 이러한 커뮤니티의 많은 사람들은 이러한 방식으로 스스로를 식별하지 않습니다. 흑인 의대생의 경험은 히스패닉계 학생의 경험과 크게 다르기 때문에 이러한 분류에 의해 그 차이가 사라지기 때문입니다. 두 학생 모두 소수자이자 비백인이라는 신분적 특성으로 인해 예속의 형태를 경험하지만, 그러한 예속의 경험은 억압의 다양한 역사적, 사회적 맥락에 따라 달라집니다
The second technique occurs through “dividing practices,” which is the process by which people are labeled, grouped, and then separated from others in accordance with that labeling and grouping. From a Foucauldian perspective, the very term, underrepresented minorities (URM) is steeped in a project of racist objectification. In medical education, the category of URM is now ubiquitously used to represent protected racial groups within the profession (e.g., Black, Latinx, Indigenous) even though there are important differences between these groups. The phrase appears mostly in American institutional, academic language to describe nonwhite students, however, many of these communities do not self-identify in this way. This is because the experience of a Black medical student is vastly different from that of a Hispanic student, differences that are washed away by this grouping. Even though both students experience forms of subjugation by nature of their underrepresented and nonwhite status, their experience of such subjugation is contingent on the different historical and social contexts of their oppression.

따라서 '분할 관행'의 문제는 그것이 사용되는 것 자체가 아니라 그 사용 방법과 이유에 있습니다. 특정 정체성과 개인에 대한 역사적 과소대표를 통해 다양성과 포용의 틀을 짜려는 열망이 좋은 의도를 가지고 있더라도, 이러한 열망의 결과가 정작 혜택을 받아야 할 사람들에게는 부정적일 수 있음을 우리는 URM이라는 용어의 반복을 통해 알 수 있습니다. URM의 프레임워크는 의료기관 내 대표성에 대한 보다 강력한 설명을 허용하기보다는 교차성과 관련된 중첩된 차별 체계에 대한 관심 없이 소수자라는 용어를 일반화함으로써 분할 관행을 성문화하고, 결과적으로 집단적 예속의 역사적으로 특정한 성격을 지워버립니다. 분할 관행은 개인을 대상화하여 다른 사람들이 생각하고 행동할 수 있는 주제가 되게 하는 방법 중 하나로, 우리의 제도적 정책, 관행, 담론에 깊이 내재되어 있는 기법입니다. 결국 이러한 용어를 사용하는 것은 권력 관계를 유지하고 기존의 사회적 위계를 정당화합니다. 관행을 구분하는 것은 선택적 포용과 배제의 미덕을 통해 규범이 어떻게 성문화되는지를 밝히는 데 도움이 됩니다. 

The problem with “dividing practices,” then, is not so much that they are used, but how and why. We see – in the very iteration of the term URM – that even when the aspiration to frame diversity and inclusion efforts through historical underrepresentation of certain identities and individuals is well-intended, the consequences of these aspirations can be negative precisely for those whom they are supposed to benefit. Rather than allow for more robust accounts of representation within medical institutions, the framework of URM codifies dividing practices by generalizing the term to minorities without attention to overlapping systems of discrimination associated with intersectionality and, subsequently, erasing the very historically specific nature of their collective subjugations. Dividing practices is one of the ways that individuals are objectified and then become subjects for others to think about and act upon, a technique that is deeply embedded in our institutional policies, practices, and discourses. In turn, using these terms maintains power relations and legitimatizes preexisting social hierarchies. Dividing practices help to illuminate how norms are codified through the virtue of selective inclusion and exclusion.

세 번째 기법은 인종, 계급, 섹슈얼리티, 성별 등 특정 범주의 존재를 '주체화'하여 특정 인간 집단이 주체가 되는 과정입니다. 여기서 사람은 자신의 정체성의 일부로 자신의 라벨을 받아들입니다. 예를 들어, 다른 사람에 의해 URM으로 분류된 사람들은 자신을 URM 그룹의 일부로 식별하기 시작합니다. 주체가 자신에게 주어진 정체성을 형성하고 연관시키는 이러한 대상화 방식은 제도 내에서 권력 관계를 성공적으로 유지하는 데 가장 중요한 역할을 합니다. 예를 들어, URM이라는 문구에는 개인의 정체성과 그 정체성이 기관의 권력 매트릭스 내에서 어떻게 배치되는지에 대한 가정이 내재되어 있습니다. 이는 여러 가지 의문을 제기합니다: 누가 대표성을 갖는 것으로 간주되고 누가 과소 대표성을 갖는 것으로 간주되는가? 대표성과 과소 대표성의 기준은 무엇인가요? URM이라는 문구는 대표성에 대한 결정을 누가 어떤 조건으로 내리는지에 대한 질문도 떠올리게 합니다. 동일시는 주체가 외부의 관점에서 자신을 생각하는 방법을 배우는 데 영향을 미치며, 이는 다시 이러한 라벨의 내면화에 영향을 미칩니다.
The third technique is the process by which specific groups of human beings become subjects through “subjectification” with certain categories of being, such as race, class, sexuality, or gender. Here, a person takes up their label as part of their identity. For example, those labeled by others as URMs begin to identify themselves as part of the URM group. This mode of objectification, by which subjects form and associate themselves with identities that were handed to them is paramount to the success of maintaining power relationships within institutions. For example, embedded in the phrase URM is an assumption about the person’s identity and how that identity is placed within the matrices of power in an institution. It raises questions around: Who counts as represented and who counts as underrepresented? What are the thresholds for representation and underrepresentation? The phrase URM also conjures questions of who makes the decision about representation, and under what terms. Identification affects how subjects learn to think of themselves from an outside perspective, which in turn affects their internalization of these labels.

이러한 객관화 기술에 대한 푸코의 이해는 누가 주체로 간주되는지, 주체가 제도적 풍경을 어떻게 탐색하는지와 같은 더 깊은 질문을 제기합니다. 의학교육에 적용하면 푸코의 연구는 다음과 같은 다른 질문을 제기합니다: 

  • 의학교육에서 누가 주체가 될 수 있는가?
  • 어떤 주체가 지식에 대한 권위를 갖는가?
  • 그 권위는 권력과 어떻게 연결되어 있으며, 주체가 될 수 없는 사람들에게 이 권력이 미치는 영향은 무엇인가?
  • 마지막으로, 교육기관 내에서 주체는 어떻게 계속 대상화되고 있을까요?
  • 그리고 아마도 가장 중요한 것은 이러한 객관화 과정을 성문화하는 제도 내에서 이러한 객관화 과정에 어떻게 이의를 제기하고 도전할 수 있을까요?

Foucault’s understanding of these techniques of objectification raise deeper questions such as who counts as a subject and how do they navigate institutional landscapes. Applied to medical education, Foucault’s work raises other questions, such as:

  • Who gets to be a subject within medical education?
  • Which subjects have authority over knowledge?
  • How is that authority linked to power, and what is the effect of this power on those who cannot become subjects?
  • And finally, how do subjects continue to be objectified within our institutions?
  • And perhaps, most importantly, how might these processes of objectification be contested and challenged within the institutions that befit and codify them.

의학교육의 정상화
Normalization in medical education

정상화란 사회적으로 구성된 어떤 것이 정상으로 간주되는 과정을 말합니다. 이는 사람을 측정하는 과학에 의해 만들어진 기준일 수 있습니다(예: 제정신인 사람 또는 법을 준수하는 시민은 "정상" 사람). 그러나 "정상"이라는 개념은 비정상적인 존재(예: 광인 또는 범죄자)의 존재를 의미하기도 합니다. 6 즉, 일탈이라는 개념은 규범이 존재하는 곳에서만 가능합니다. 푸코에게 규범은 "정상" 범주에 부합하지 않는 사람들을 배제하기 때문에 우리를 평가하고 통제하는 데 끊임없이 사용되는 대상화의 기술입니다. 따라서 정상화 과정은 피할 수 없지만 현대 사회에서 교묘하게 해로운 특징입니다.
Normalization is the process whereby something that is socially constructed comes to be considered normal. This could be a standard created by science against which people are measured (e.g., the sane man or the law-abiding citizen are "normal" people). But the idea of "normal" also implies the existence of the abnormal (i.e., the madman or the criminal). 6 In other words, an idea of deviance is possible only where norms exist. For Foucault, norms are techniques of objectification that are constantly used to evaluate and control us because they exclude those who cannot conform to "normal" categories. As such, the process of normalization is unavoidable, but an insidiously harmful feature of modern society.

정상화는 행동, 신념, 관행을 강화하여 특정 형태의 지식을 정당화하고 특정 종류의 주체를 만들어내는 데 사용됩니다. 정상화의 과정은 푸코의 다른 권력 개념과 불가분의 관계에 있습니다. 정상과 비정상을 규정함으로써 감시 시스템에서 규범을 벗어난 방식으로 행동하는 사람들을 자격을 부여하고 분류하고 처벌할 수 있게 됩니다. 6 결국 이 시스템은 주체를 형성하고 표준화된 존재 방식과 사고 방식에 참여하도록 강요합니다. 
Normalization is employed by reinforcing behaviors, beliefs, and practices, which legitimatize certain forms of knowledge, and the creation of certain kinds of subjects. The process of normalization is inextricably linked to Foucault’s other ideas of power. By establishing what is normal and abnormal, it makes it possible to qualify, classify, and punish those who behave in ways outside the norm in a system of surveillance. 6 In turn, this system shapes subjects and coerces them into engaging in standardized ways of being and thinking.

정상화 과정은 표준화된 교육, 의료 전문직 조직, 교육 병원과 같이 건강에 대한 일반적인 규범을 지속적으로 영속화하는 시스템의 도입에 존재합니다. 

  • 예를 들어, 의학교육에서 전문직 정체성 형성(PIF) 문헌은 백인 남성이 지지하는 전문직 정체성과 일치하는 특정 유형의 의사 이미지를 강화하는 데 도움이 되는 방식으로 연구를 구성한 연구로 가득 차 있습니다. 7 이와는 대조적으로 유색인종 의사의 PIF 경험을 조사한 연구는 단 한 건에 불과하며, PIF를 연구하는 데 사용되는 비판적 입장은 거의 부재했습니다. 8 의사가 된다는 것이 무엇을 의미하는지에 대한 이러한 협소한 구성은 규범 관행에 영향을 미치며 흑인/아프리카계 미국인 의사가 자신을 보는 방식과 상충됩니다. 8 

The process of normalization exists in the introduction of standardized education, the organization of the medical profession, and systems that continue to perpetuate general norms of health, such as teaching hospitals.

  • For example, in medical education, the professional identity formation (PIF) literature is replete with studies that have framed research in ways that help to reinforce the image of a certain kind of physician, one that has a professional identity that is in line with those espoused by white men. 7 In contrast there is only one study that explores experiences of PIF in URM physicians and there was an almost complete absence of critical stances used to study PIF. 8 This narrow construction of what it means to be a physician influences norming practices, and conflicts with the ways in which Black/African American physicians see themselves. 8

어느 기관에서나 특정 주체의 직위를 승인하고 정상화하기 위한 근거로 지배적인 관점과 아이디어가 존재합니다. 이러한 관점은 "규범"과의 관계에 따라 일부에게는 진입을 허용하고 다른 사람들에게는 진입을 거부하는 근거가 됩니다. 따라서 정상화는 기존의 지배와 억압의 현장을 강화하는 데 사용됩니다. 7 이를 위해 정상화는 현대 미국 사회를 조직하는 백인 우월주의 규범을 유지하고, 만들고, 형성하는 데 중심적인 역할을 하는 것으로 볼 수 있습니다. 9

  • 다른 예로는 백인 학생들이 의학에 내재된 다양한 의미를 말하고 접근하는 방식이 있습니다. 10 의학적 맥락에서 언어 사용의 미묘한 의미 변화를 이해하면 백인 학습자는 의학 언어를 접하지 못한 소수계 학습자가 이용할 수 없는 방식으로 의학 커뮤니티에 참여할 수 있기 때문에 유리한 위치에 서게 됩니다. 

Within any institution, dominant perspectives and ideas exist as the basis for authorizing and normalizing certain subject positions. These perspectives become the basis for granting entry to some and denying entry to others based on their relationship to the “norm.” Normalization is thus used to reinforce preexisting sites of domination and oppression. 7 

  • To this end, normalization can be seen as playing a central role in upholding, creating, and shaping the white supremacist norms that organize contemporary American society. 9 
  • Other examples include the ways of speaking and accessing the multiple meanings embedded in medicine that white students bring to the profession. 10 Understanding subtle meaning shifts in language use within a medical context puts white learners at an advantage because it helps them join the medical community in ways that are not available for minoritized learners who have not had access to the language of medicine.

의학교육에서 규범화 과정은 일부 의대생에게 멘토로부터 더 나은 의대생 성과 평가서(MSPE)11를 받을 수 있는 기술을 갖추게 하고, 알파 오메가 알파 명예 의사회(AOA)에 선발될 가능성을 높이는 기타 기술을 갖추게 함으로써 혜택을 줍니다. 12 , 13 이러한 리소스는 학습자가 명망 있는 수련의 자리를 확보할 가능성을 높여줄 뿐만 아니라,14 학습자의 경력에 더 큰 영향을 미칠 수도 있습니다. 예를 들어, 백인 학습자는 의학의 언어와 프레임워크에 접근할 수 있기 때문에 소수 민족보다 첫 번째 R01 연구 보조금을 확보할 가능성이 더 높습니다. 15 이는 학습자가 사전에 수준 높은 예비 교육, 이전 업무 경험 및 기타 특권 양식을 이용할 수 있는 경우 내부자 지위를 얻는 것이 훨씬 더 쉽기 때문입니다. 16 종종 인식하지 못하는 것은 개인이 자신의 가치, 신념, 관행을 중심으로 조정된 사회에서 성장하면 그 사회의 거의 모든 곳에서 유리한 위치에 놓이게 된다는 사실입니다. 
In medical education, the process of normativity also benefits some medical students by equipping them with the skills that result in better Medical Student Performance Evaluation letters (MSPE) 11 from mentors, and other skills that increase their likelihood of selection for the Alpha Omega Alpha Honor Medical Society (AOA). 12 , 13 These resources increase learners’ likelihood of securing prestigious training positions, 14 but may also have influence further along in learners’ careers. For example, because white learners have access to the language and framing of medicine, white individuals are more likely than minoritized individuals to secure their first R01 research grants. 15 This is because achieving insider-status is much easier when learners have prior access to high-quality preparatory education, previous work experience, and other modalities of privilege. 16 What often goes unrecognized is that when an individual grows up in a society that is calibrated around their values, beliefs, and practices, they are placed at an advantage almost anywhere in that society.

궁극적으로 정상화 과정의 기저에는 백인을 표준으로 다른 모든 인구를 비교하는 암묵적인 관념이 자리 잡고 있습니다. 미국 기관은 소수 인종을 관리하고 통치하기 위해 고안된 이와 같은 개별적인 형태의 지배를 품고 있습니다. 17 따라서 기관은 다른 사람들의 권위를 유지하기 위해 특정 개인에 대한 차별적 행위를 제재하는 방식으로 작동하기 때문에 이 과정에 연루되어 있습니다.

  • 예를 들어, 의학교육은 과소 대표 집단과 과대 대표 집단을 명확하게 구분하는 것을 정상화함으로써 소위 과소 대표를 초래한 문제와 시스템을 계속 회피하고 있습니다. 18 이러한 회피는 권력으로서의 과대 대표성이라는 역동성을 강화합니다.
  • 다른 예로는 의과대학입문자격시험(MCAT)과 같은 의학교육 전 평가와 의과대학 입학 관행이 있으며, 19 이러한 평가는 규범화 그룹에 속하지 않은 의사를 선별하는 데 사용됩니다.
  • 다른 관행으로는 의학교육에서 인종을 생물학적 변수로 취급하는 의학 커리큘럼이 있으며,20 이는 소수 인종 환자와 학습자의 건강과 삶의 경험에 대한 사회역사적 맥락이라는 더 큰 문제를 근본적으로 지워버리는 것입니다.

문화적 역량 커리큘럼이나 다양성 프로그램과 같이 의료기관 내 인종차별에 맞서기 위한 선의의 이니셔티브조차도 의학교육에 깊이 뿌리내린 관행에 의미 있게 도전하지 못하며, 따라서 정상화 과정의 전개에 도전하는 데 실패합니다. 21-23
Ultimately, what is underlying the process of normalization is the unspoken notion that white people are the norm whereby all other populations are compared. American institutions harbor discrete forms of domination, such as these which are designed to govern and manage minoritized populations. 17 Therefore, institutions are complicit in this process because they work by sanctioning discriminatory acts against certain individuals in order to maintain the authority of others.

  • For example, by normalizing a clear distinction between underrepresented and overrepresented groups, medical education continues to sidestep the issues and systems that have led to the so-called underrepresentation. 18 This sidestep reinforces the very dynamic of overrepresentation-as-power.
  • Other examples include pre-medical education assessments like the MCAT and medical admission practices, 19 which are used to screen physicians, many of whom are not a part of the norming group.
  • Other practices include medical curricula, which treats race as a biological variable in medical education, 20 essentially erasing larger issues of sociohistorical context on the health and lived experiences of minoritized patients and learners.

Even well-intentioned initiatives to combat racism in medical institutions, such as cultural competency curricula and diversity programs fail to meaningfully challenge deeply entrenched practices in medical education, and as such deploy processes of normalization. 21–23

정상화 과정은 모든 학생에게 해롭지만, 특히 [백인이 정한 규범을 따르라는 요구를 가장 눈에 띄게 받는 소수계 의사]에게는 더욱 어렵습니다. 다시 말해, 백인 사회에 고유한 규범을 사용하여 의사에게 기대되는 것을 규범화함으로써, 의학교육은 소수계 의사를 자신이 선택한 주체로 형성하는 데 그 힘과 지식을 사용합니다. 정상화에 맞서기 위해서는 기관이 정책과 절차에 맞서야 하는데, 이는 결국 그 기원이 "있는 그대로의 모습"에 포함되기 때문에 어려울 수 있습니다. 예를 들어, 2020년에 트럼프 행정부는 연방 기금을 받는 기관이 해당 기관 내에서 암묵적 편견 교육에 참여, 후원 및/또는 자금을 지원하는 것을 기능적으로 금지하는 행정 명령을 만들었습니다. 24 백악관은 암묵적 편견 교육을 근본적으로 반미 운동으로 규정했으며, 이는 앞으로 한동안 인종 관계에 영향을 미칠 수 있습니다. 시간이 지나면 기관들은 인종 문제를 다루지 않을 위험에 처하게 될 것이며, 이러한 회피는 "정상"으로 느껴질 것입니다. 사회적, 제도적, 교육적 차원에서 전개되는 이러한 정책과 관행은 우리 사회의 인종 차별적 구조를 영속화합니다. 
While the process of normalization is harmful to all students, it is particularly difficult for minoritized physicians who are most noticeably asked to conform to the norms set by white individuals. In other words, by norming what is expected from physicians using norms endemic to white society, medical education uses its power and knowledge of what is expected to shape minoritized physicians into subjects of their choosing. Combating normalization requires that institutions confront their policies and procedures, which can be challenging because their origins are eventually subsumed into the “just the way things are.” For example, in 2020, the Trump administration created an executive order that functionally prohibits federally funded institutions from engaging in, sponsoring, and/or funding implicit bias training within those institutions. 24 The White House labeled implicit bias training as fundamentally an anti-American exercise, which could have consequences for race relations for some time to come. In time, institutions would run the risk of not addressing issues of race, and this avoidance would feel “normal.” Deployed at the societal and institutional and educational level, policies and practices like these perpetuate racist structures in our society.

푸코를 의학교육에 맥락화하기
Contextualizing Foucault into medical education

모든 교육 기관과 마찬가지로 의학교육도 권력을 유지하기 위한 수단으로서 정상화 과정에 깊숙이 개입되어 있는 것은 분명합니다. 푸코는 "공간의 처분, 내부 생활을 지배하는 세심한 규정, 그곳에서 조직되는 다양한 활동, 그곳에서 살거나 서로 만나는 다양한 사람들, 각자의 기능과 잘 정의된 성격을 가진 사람들, 이 모든 것이 능력-소통-권력의 블록을 구성한다"고 썼습니다. 4 (787쪽) 의료계에서 조직적이고 체계적인 인종 차별의 정상화는 비단 현대의 문제만은 아닙니다. 인종차별은 미국 사회에 깊은 뿌리를 두고 있으며, 역사적으로 흑인 및 기타 소수계 의사가 배제된 것에서 가장 쉽게 찾아볼 수 있습니다. 1910년 아브라함 플렉스너는 카네기 재단으로부터 북미 전역의 의과대학을 조사해 달라는 의뢰를 받았는데, 그의 보고서에 따르면 역사적으로 흑인 의과대학 두 곳을 제외한 모든 의과대학이 문을 닫아 흑인 예비 의사가 수련의 기회를 갖지 못하게 되었습니다. 25 그는 종종 현대 의학 표준화의 조상으로 알려져 있지만, 이러한 학교를 폐쇄하라는 권고를 정당화하면서 흑인 의사 양성에 대한 그의 발언은 흑인 의사를 위한 의학교육의 기능은 "자신의 인종"을 위해 봉사할 미래의 의사를 양성하는 것뿐만 아니라, 아프리카계 미국인 커뮤니티에서 전염되는 질병으로부터 백인 인구를 보호하는 것이라고 주장하는 명백한 인종차별주의자였습니다:

Clearly, medical education, like all educational institutions is deeply enmeshed in the process of normalization as a means to uphold power. As Foucault writes, “the disposal of its space, the meticulous regulations which govern its internal life, the different activities which are organized there, the diverse persons who live there or meet one another, each with his own function, his well-defined character – all these things constitute a block of capacity-communication-power.” 4 (p.787) Normalization of systemic and systematic racism in medicine is not just a contemporary issue. It has deep roots in American society and is often most easily seen in the historical exclusion of Black and other minoritized physicians. In 1910, when Abraham Flexner was commissioned by the Carnegie Foundation to survey medical schools across North America, his report closed all but two historically Black medical schools essentially leaving Black would-be physicians without an opportunity to train. 25 He is often credited for being the grandfather of standardizing modern medicine, yet in justifying his recommendations for closing these schools, his comments toward the training Black physicians were overtly racist, insisting that the function of medical education for Black doctors was not only to train future physicians to be a service to “[their] own race” but also to protect white populations from diseases contracted from African American communities:

흑인은 그를 위해서뿐만 아니라 우리를 위해서도 교육을 받아야 합니다. 그는 인간의 눈으로 볼 수있는 한 국가의 영구적 인 요소입니다. 그는 개인으로서 권리와 마땅한 가치를 지니고 있지만, 그 외에도 감염과 전염의 잠재적 원천으로서 엄청난 중요성을 지니고 있습니다. 25 (p.180) 
The negro must be educated not only for his sake, but for ours. He is, as far as human eye can see, a permanent factor in the nation. He has his rights and due and value as an individual; but he has, besides, the tremendous importance that belongs to a potential source of infection and contagion. 25 (p.180)

흑인 인구가 백인 공동체의 안전에 본질적인 건강 위험을 초래한다는 플렉스너의 믿음과 역사적으로 흑인 의과대학의 대부분을 폐쇄하자는 그의 제안은 정상화가 사회와 제도 내에서 비대칭적인 권력 관계를 유지하는 데 얼마나 널리 퍼져 있는지를 보여줍니다. 플렉스너의 보고서에 따르면 의학교육을 개선한다는 명목으로 거의 한 세기 동안 흑인 의사에 대한 인종적 폭력이 자행되었으며, 그 이후에도 흑인 의사는 백인 의사와 비교할 수 없을 정도로 낮은 비율의 인력을 유지하고 있습니다.
Flexner’s belief that Black populations posed an inherent health risk to the safety of white communities, and his suggestion to close the majority of historically Black medical schools, demonstrates the pervasiveness of how normalization works to maintain asymmetrical power relations in society and within our institutions. In the name of improving medical education, Flexner’s report committed forms of racial violence against Black physicians for nearly a century and since then, Black physicians remain unrepresented in the workforce at levels incommensurate with white physicians.

흑인을 의료계로 끌어들이려는 여러 시도가 있었지만, 이러한 입법 개혁은 이러한 불평등을 약간만 해소하는 데 그쳤습니다. 예를 들어, 이러한 재조정 이니셔티브 중 일부에는 의과대학과 병원이 연방 기금을 받으려면 인종 차별을 해소해야 한다는 내용이 포함되었습니다. 미국 차별 금지법을 통해 제안된 다른 프로그램들은 보건 분야에서 소외된 소수자를 위한 학업 지원 시스템을 개선했습니다. 1977년 미국 대법원 판례인 캘리포니아 대학교 리전트 대 바케 사건은 입학의 다양성을 높이기 위해 고안된 적극적 차별 금지 조치 관행을 승인했습니다. 26 전문가 수준에서는 미국 의과대학협회(AAMC)가 소수자 우대 정책을 감독하여 의과대학에 입학하는 소수자 비율이 3%에서 10%로 증가했습니다. 27 그 후 AAMC는 "2000년까지 3000명" 보건 전문가 파트너십 이니셔티브를 시행하여 전국적으로 파이프라인 프로그램을 만들어 2000년까지 의과대학의 URM 수를 두 배로 늘렸습니다. 28 목표에는 미치지 못했지만, 이 이니셔티브는 1995년까지 소수계 등록률을 12%까지 끌어올렸습니다. 24 그러나 1996년 이후 미국에서 소수집단 우대 조치 프로그램이 공격받기 시작했고, 그 결과 URM 의대생 입학이 감소했습니다. 29 
Even though there have been multiple attempts to enfold Black individuals into the profession, these legislative reforms have had only slightly countered these inequalities. For example, some of these rebalancing initiatives included forcing medical schools and hospitals to desegregate if they were to receive federal funding. Others proposed programs through US anti-discrimination legislation improved academic support systems for under-represented minorities in health. The 1977 U.S. Supreme Court case University Of California Regents vs. Bakke authorized affirmative action practices designed to increase diversity in admissions. 26 At the professional level, the Association of American Medical Colleges (AAMC) oversaw affirmative action policies, which resulted in an increase in minority enrollment in medical schools from 3 to 10%. 27 Then later, the AAMC implemented the “3000 by 2000” Health Professional Partnership Initiative, which created pipeline programs nationally to double the number of URMs in medical schools by the year 2000. 28 While falling short of its goal, the initiative led to a further increase in minority enrollment to 12% by 1995. 24 However, since 1996, affirmative action programs have been under attack in the U.S., which has resulted in a decline in URM medical student admissions. 29

의학교육 내에서 권력의 균형을 재조정하려는 이러한 이니셔티브는 중요합니다. 그러나 푸코의 관점에서 보면 의과대학의 인종을 고려한 입학 정책이 소수계 학생의 등록률과 입학률을 높인다고 해도 의대 내에 존재하는 인종차별적 규범, 편견, 정책을 바꾸지는 못할 것입니다. 인종차별은 단순히 소수인종 의대생을 더 많이 수련과정에 입학시킨다고 해서 사라지지 않습니다. 인종차별은 그 자체로 권력의 한 형태이며, 기관 내에서 정상화되어 있기 때문에 지속되는 것이므로, 입학의 경우 과소 대표성을 형성하는 관행을 먼저 고려하지 않고는 바로잡을 수 없습니다. 필요한 것은 백인이 아닌 사람들을 희생시키면서 개인을 올바른 종류의 주체로 형성하기 위해 노력하는 기관에서 사용하는 규범을 전문직이 조사하는 것입니다. 소수계 의사가 자신의 가치, 신념, 인종적 규범을 지키는 의사가 될 수 있도록 규범화 관행은 반드시 해결되어야 합니다. 8 
These initiatives to rebalance power within medical education are important. However, viewed from the Foucauldian lens, even if medical schools’ race-conscious admissions policies increase the enrollment and admissions rates of minority students, this will not change the racist norms, biases, and policies that exist within the profession. Racism does not go away simply by admitting more minoritized medical students into training. Racism is itself a form of power that persists precisely because of its normalization within institutions, and thus, cannot be rectified without accounting for – in the case of admissions – the practices that shape underrepresentation in the first place. What is needed is for the profession to interrogate the norms used by institutions that work to shape individuals into the right kind of subject at the expense of nonwhite subjects. It is the norming practice that must be addressed, so that minoritized physicians can be the kind of physician that upholds their own values, beliefs, and racial norms. 8

그러나 앞서 언급했듯이 백인 개인은 다른 모든 집단과 비교되는 규범이며, 우리 교육 시스템에서 조직적인 힘으로 작용하는 것은 백인 규범 집단이기 때문에 이 문제는 어렵습니다. 고등 교육에서 백인 규범이 작동하고 있다는 사실은 최근 대법원이 대학이 입학 과정에서 인종 할당제를 사용하는 것은 위헌이지만 소수계 지원자를 받아들이기 위해 학교가 적극적 우대 조치를 사용하는 것은 합헌이라고 판결한 캘리포니아주 리전트 대 바케 사건에서 드러난 바 있습니다. 대법원에서 바케는 "소수자 입학 계획은 역사적으로 억압받지는 않았지만 평등 보호 조항의 의미 내에서 '사람'인 백인에 대한 수정헌법 제14조의 보장을 약화시켰다"고 주장했습니다. 30 (1772쪽) 이 판결은 인종을 고려한 입학의 수혜자가 아닌 백인을 위한 특별 입학 프로그램의 폐지에 대한 선례를 남김으로써 백인 규범성을 지지했습니다. 31 이와 같은 사례는 백인 규범성주체를 만들고 대우하는 데 강력한 힘을 발휘한다는 것을 보여줍니다. 이러한 규범성은 기관의 외부나 가장자리에만 존재하는 것이 아니라 기관 내부에 깊숙이 내재되어 있습니다. 
However, this is challenging because as noted earlier, white individuals are the norm against which all other groups are compared, and it is the white norming group that works as an organizing force in our educational systems. The existence of a white norm at work in higher education was recently revealed in the Regents of California vs. Bakke case where the Supreme Court ruled that a university’s use of racial quotas in its admissions process was unconstitutional, but a school’s use of affirmative action to accept minoritized applicants was constitutional. In the Supreme Court, “Bakke argued that the minority admissions plan abridged Fourteenth Amendment guarantees for whites, who although not historically oppressed, were nevertheless ‘persons’ within the meaning of the Equal Protection Clause.” 30 (p.1772) This ruling upholds white normativity by setting a precedent for the abandonment of special-admissions programs which would otherwise have aided the nonwhite beneficiaries of race-conscious admissions. 31 Cases like these demonstrate that white normativity is powerful in the creation and treatment of subjects. It does not exist solely outside of or on the edges of institutions; it is deeply embedded within them.

숨겨진 교육과정으로서의 인종계약
The racial contract as hidden curriculum

의학의 커리큘럼의 표면 아래에는 의학의 구조적인 조건, 의학 교육의 문화적인 역사, 그리고 의학 지식이 권력의 계통을 따라 계층화되는 방식을 감추는 숨겨진 커리큘럼 32의 일부로 볼 수 있습니다. 이러한 숨겨진 연습은 의학의 모든 측면에 영향을 행사하면서, 불문율적이고 비공식적인 존재, 사고, 그리고 느낌의 방식으로 의대생들을 사회화하는 숨겨진 커리큘럼 32의 일부로 볼 수 있습니다.

  • 누가 커리큘럼에 무엇이 포함되고 우선순위가 될 것인지 결정합니까?
  • 누가 커리큘럼 개발과 평가를 맡고, 그들은 무엇이 포함되는지에 대해 어떻게 결정합니까? 

Lurking under the surface of medicine’s curriculum are hidden practices, which mask the structural conditions of medicine, the cultural history of medical education, and the ways in which medical knowledge is stratified along lines of power. These hidden practices might be viewed as part of the hidden curriculum 32 that socializes medical students in ways of being, thinking, and feeling that are unwritten and unofficial, exerting influence over all aspects of medicine and call into question:

  • Who decides what is to be included and prioritized in the curriculum?
  • Who is charged with curricular development and assessment, and how do they make decisions about what is included?

숨겨진 커리큘럼은 암묵적이고 강력하다. 비대칭적인 권력 관계를 강화하고 합법화하는 방식으로 제도를 변형하고 조직하기 때문이다. 그것은 정상화 과정과 주체의 창조에 관련되어 있습니다. 예를 들어, 숨겨진 커리큘럼은 의학이 사회와 사회적 계약을 형성하는 데 있어 강력한 힘입니다. 이것들은 어떤 종류의 의사가 적합한지를 규제하는 역할을 하는 기관과 사회 사이의 (명시적이기보다는) 암묵적인 협약이다. 한 쪽에서, 의사들은 전문성의 가치를 지지하고, 아픈 사람들을 돌보며, 전문가로서 그들의 역할을 수행할 것으로 기대됩니다. 그 대가로, 사회는 그들과 그들의 직업 존중, 실천의 자율성, 자율성, 그리고 재정적인 보상을 부여합니다. 그러나 사회 계약은 주체를 이상적인 버전의 의사로 형성함으로써 숨겨진 커리큘럼에 복무합니다. 이러한 방식으로, 그것들은 백인과 그들의 유전적인 후손을 보호하기 위해 만들어졌기 때문에 그들은 항상 인종차별을 핵심에 품고 있습니다. 34 본질적으로, 의학의 사회 계약은 훈련생을 올바른 종류의 의사로 형성하려고 시도하고, 35는 그렇게 함으로써 명시적으로 되는 것이 드물지만, 힘, 지식, 그리고 정규성의 과정에 대한 푸코의 개념의 선에 해당하는 방식으로 소수화된 개인들을 억압합니다.
The hidden curriculum is tacit and powerful as it transforms and organizes institutions in ways that reinforce and legitimatize asymmetrical power relationships. It is implicated in normalization processes and in the creation of subjects. For example, the hidden curriculum is a powerful force in shaping medicine’s social contract with society. These are more implicit than explicit agreements between institutions and society that serve to regulate what kinds of physicians are suitable. On one side, physicians are expected to uphold the values of professionalism, care for the sick, and fulfill their role as a professional. In return, society grants them and their profession respect, autonomy in practice, self-regulation, and financial rewards. 33 However, social contracts serve the hidden curriculum by shaping of subjects into an idealized version of a physician. In this way, they always harbor racism at its core because they were created to protect white people and their genetic descendants. 34 Essentially, medicine’s social contract attempts to shape trainees into the right kind of physician, 35 thereby oppressing minoritized individuals in ways that are rarely made explicit, yet fall along the lines of Foucault’s notions of power, knowledge, and processes of normativity.

예를 들어, 백인이 아닌 학생들이 학습 기관에 입학할 때 그들은 "학교와 사회가 그들에게 이용할 수 있는 정체성과 열망의 한계" 안에서 배웁니다. 36 (p.470) 이 제한적인 환경은 소수화된 학생들이 백인 학생들이 이용할 수 있는 가능성에 대한 접근을 거부함으로써 교육적 불평등과 계층화를 받아들이도록 훈련시키는 환경입니다. 다른 예들은 학생들이 주로 강의, 세미나, 그리고 임상 연구를 통해 가르치는 의과 대학의 교육학에서 발견됩니다. 의과대학 교육은 생의학의 실증주의와 객관성의 근본적인 구성과 같은 특정한 가치와 믿음을 전달합니다. 이러한 교육학적 관행의 사용은 주체를 만드는 바로 그 형태의 대상화를 강화합니다. 학생들이 환자와의 상호 작용에서 객관적인 탐구 방식과 분열적인 관행을 사용함에 따라 이것은 더욱 재확인됩니다. 푸코는 "권력의 행사는 명백한 사실, 제도적 권리도 아니고 버티거나 부수는 구조도 아닙니다. 그것은 정교화되고 변형되고 조직화됩니다. 그것은 상황에 다소 조정된 과정을 스스로에게 제공합니다." 38 (p.792)
For example, when nonwhite students enter institutions of learning they are taught within “the limits of the identities and aspirations that school and society make available to them.” 36 (p.470) This limiting environment is one that trains minoritized students to accept educational inequities and stratifications by denying them access to possibilities available to white students. Other examples are found in medical schools’ pedagogy in which students are taught primarily through lectures, seminars, and clinical research, 37 which impart particular values and beliefs, such as biomedicine’s underpinning constructs of positivism and objectivity. Use of these pedagogical practices reinforces the very form of objectification that creates subjects. This is further reified as students employ objective modes of inquiry and divisive practices in their interactions with patients. As Foucault writes, “the exercise of power is not a naked fact, an institutional right, nor is it a structure which holds out or is smashed: it is elaborated, transformed, organized; it endows itself with processes which are more or less adjusted to the situation.” 38 (p.792)

이러한 관점에서 볼 때, 엘리트의 사회적 헤게모니를 보존하기 위한 일차적인 기능을 가진 엘리트 그룹에 복무하는 커리큘럼 프로젝트가 조직됩니다. 39 이런 식으로 자주 언급되지는 않지만 숨겨진 커리큘럼은 학습자를 규범적 공간에 동화시키기 위한 수단이며, 이는 학습자를 이미 억압적이고 깊은 인종차별적인 사회로의 진입을 불균등하게 준비시킵니다. 40 
Seen in this perspective, curricular projects are organized in service of elite groups with a primary function to preserve the elite’s social hegemony. 39 Although not often spoken of in this way, the hidden curriculum is a means to assimilate learners into a normative space, which unevenly prepares learners for entrance into an already oppressive and deeply racist society. 40

의학교육의 기존 권력구조에 대한 저항
Resisting existing power structures in medical education

현대 의학교육에서 숨겨진 커리큘럼의 만연한 효과를 고려할 때, 인종폭력의 규모와 범위를 줄이기 위해서는 체계적인 인종차별을 밝히고 훼손하기 위한 카운터-방법론과 교육학을 개발하는 것이 필수적입니다. 41 필요한 것은 푸코가 "주체와 권력"에서 말하는 "권력관계의 새로운 경제"; 4 (p.779), 즉 의료기관 내 권력관계의 분배와 상호작용에 대한 광범위한 이해를 포괄하는 방법론과 의제입니다. 카운터-방법론을 개발하는 데 있어 목적은 의학교육을 개혁하는 것이 아니라, 기존 권력구조에 저항하고 완전히 뒤집는 것이라는 것을 이해하는 것이 중요합니다. 
Given the pervasive effects of hidden curricula in contemporary medical education, developing counter-methodologies and pedagogies to reveal and undermine systemic racism is imperative for reducing the scale and scope of racial violence. 41 What is needed is what Foucault refers to in “The Subject and Power” as a “new economy of power relations”; 4 (p.779) that is, methodologies and agendas that encompass a broad understanding of the distribution and interaction of power relations within medical institutions. In developing counter-methodologies, it is important to understand that the aim is not to reform medical education, rather to resist existing power structures and upend it altogether.

의학 교육을 개선하는 과정에서, 의학 내의 다양성의 부족이 "학습과 전문적인 발전을 방해"하기 때문에, 그 직업은 인종적으로 다양한 교수진의 채용에 집중할 필요가 있습니다. 42 (p.251) 의학 학생의 다양성을 증가시키기 위해 많은 노력을 기울였지만, 교수진의 대다수는 백인입니다. 43 푸카우디안의 분석에 따르면, 교수진의 다양성의 부족은 또한 교육학적 다양성을 제한하고 방해할 수 있습니다. 백인 교수진은 [그들과 그들의 경험, 관행, 가치]가 [다른 모든 경험, 관행, 가치]를 제한하는 지배적인 규범으로 간주하는 사회를 경험하기 때문에, 그들이 그들의 교육 과정에 대해 가지고 있는 지식의 종류는 미국 사회의 체계적인 인종차별의 복잡한 형태, 특히 체계적인 인종차별이 그들의 지식을 얼마나 적극적으로 구성하는지와 관련하여 제한됩니다. 24 확실히, 더 다양한 의학 교수진이 반 인종주의 의학 교육 과정으로 직접적으로 번역되지는 않습니다. 그러나, 교수진 다양성의 부족은 기존의 권력 관계를 보존하고 선의의 개혁 노력을 개발할 수 있는 기관의 능력을 약화시키는 문제가 있습니다.
In the process of upending medical education, the profession needs to focus on the recruitment of racially diverse faculty because the lack of diversity within medicine “hampers learning and professional development”. 42 (p.251) Great efforts have been made to increase the diversity of medical students, however faculty members remain majority white. 43 Following a Foucauldian analysis, a lack of faculty diversity may also limit and hamper pedagogical diversity. Because white faculty experience a society that regards them and their experiences, practices, and values as the dominant norm by which all other experiences, practices, and values are circumscribed, the kinds of knowledge they have about their curriculum is limited in regards to the complex shape of systemic racism in American society – and particularly, how systemic racism actively constitutes their knowledge. 24 Certainly, a more diverse medical faculty doesn’t directly translate into an anti-racist medical curriculum. However, the lack thereof is problematic that preserves existing power relations and undermines an institutions ability to develop well-intentioned reformation efforts.

게다가, 의학교육은 교육에 대한 질적이고 비판적인 틀의 접근법보다 양적 연구와 경험적인 임상 기반 교육을 특권으로 부여합니다. 44–46

  • 강의와 소규모 그룹과 같은 교훈적인 교육은 이러한 접근법을 탐구하고 참여할 수 있는 공간을 거의 부여하지 않으며, 객관식 질문 은행은 생물학적 인종에 대한 자연화된 이해를 강화하고 유해한 고정관념을 영구화하는 것으로 나타났습니다. 47

이러한 관행은 교육 과정의 내용에 상한ceiling을 두고 생의학에 대한 학제 간 접근법의 가능성을 제한합니다. 의료 교육 프로그램은 역량 기반 의료 교육(CBME) 프레임워크에 의해 점점 더 형성됩니다. CBME는 교육 과정 내용을 효율적으로 전달하는 것을 돕는 반면, 접근법이 의료 교육의 모든 측면에 적합한지 여부에 대한 질문이 제기되었습니다. 5 의학교육을 탈식민화하고, 실용적인 지혜(프로네시스)에 집중해야 한다는 요구가 있어 왔습니다. 프로네시스가 의사에서 구현될 때 생의학 및 임상 과학의 지식과 기술을 도덕적 지향성 및 소명과 연결하게 된다48 필요한 것은 "임상적 만남을 둘러싼 대인 관계망, 환경적 요인 및 정치/사회 경제적 힘의 인식"과 더 나아가 이러한 변수가 건강 악화를 위한 조건을 생성하는 방식을 강조하는 교육 과정입니다. 49 (p.684)  
Additionally, medical education privileges quantitative research and experiential, clinical-based education over qualitative, critical-frame approaches to education. 44–46 

  • Didactic instruction, like lectures and small groups, grant little space for exploring and engaging in these approaches, and multiple-choice question banks have been shown to reinforce a naturalized understanding of race-as-biological and perpetuate harmful stereotypes. 47 

These practices produce a ceiling on the content of the curriculum and limit the possibility for interdisciplinary approaches to biomedicine. Medical education programs are increasingly shaped by the Competency Based Medical Education (CBME) framework. While CBME helps deliver curriculum content efficiently questions have been raised about whether the approach is appropriate for all aspects of medical education. 5 There have been calls to decolonize medical education and focus on practical wisdom (phronesis) which, when embodied in the physician, links the knowledge and skills of the biomedical and clinical sciences with a moral orientation and call. 48 What is needed is a curriculum that emphasizes “recognition of the web of interpersonal networks, environmental factors and political/socioeconomic forces that surround clinical encounters,” and further, the way that these variables produce the conditions for poor health. 49 (p.684)

푸코를 통한 의학교육 재구상
Reimagining medical education through Foucault

푸코의 연구는 권력과 지식의 창조가 권력의 위치에 있는 사람들에게 유리한 불균형한 체계를 유지하는 방식에 관심을 끕니다. 권력, 지식, 대상화 및 규범성을 통해 의사들은 그들을 기관에 의해 통제될 수 있는 주체로 바꾸는 방식으로 전문 분야에 포함됩니다. 우리가 소수화된 개인들의 학대를 지지하는 시스템적 인종차별과 구조를 해결하려면 의료 교육 사업에 계속해서 사소한 조정을 하는 것은 이 목표에 도달하기에 불충분합니다. 필요한 것은 시스템을 유지하는 구조를 방해할 수 있는 제안된 해결책입니다. 푸코의 접근법은 개인에만 초점을 맞추는 것이 아니라 미국 의과 대학(AAMC)의 지도자 자리를 포함하여 의학의 모든 사람(즉, 의사, 과학자, 관리자, 교육자, 직원 및 훈련생)이 시스템적 인종차별을 해결하는 데 참여하는 공동의 노력을 주장합니다. 51

Foucault’s work draws attention to the ways power and the creation of knowledge uphold a system that is unbalanced in favor of those in positions of authority. Through power, knowledge, objectivation, and normativity, physicians are enfolded into the profession in ways that turn them into subjects that enable them to be controlled by institutions. If we are to address systemic racism and its structures that uphold the mistreatment of minoritized individuals, continuing to make minor adjustments to the medical education enterprise are insufficient to reach this goal. 50 What are needed are proposed solutions capable of disrupting the structures that keep the system in place. A Foucauldian approach would not just focus on individuals, but insist on a coordinated effort in which everyone in medicine (i.e. physicians, scientists, administrators, educators, staff, and trainees), including those in leadership positions at the American Association of Medical Colleges (AAMC) be involved in addressing systemic racism. 51

이를 위해, 우리는 푸코가 지지할 것이라고 믿는 세 가지 전략을 제안합니다.
To this end, we propose three strategies that we believe Foucault would support.

첫째, 의학 교육은 의학 교육을 역사적으로 구성되고 사회적으로 협상된 것으로 인식하고 포지셔닝하는 것으로 시작해야 하며, 그 다음 이러한 구성이 어떻게 유지되는지 이해하기 위해 노력해야 합니다. 50 이것을 달성하기 위해, 교육자들은 학술 의학에서 그들의 역할을 재개념화하고 교육학적 방법을 비판 의식의 요소를 통합하는 쪽으로 전환해야 합니다. 52

  • 비판 의식은 개인의 사회적 현재 상태와 비판하려는 노력으로 그들을 만든 힘에 대한 이해를 높이고 따라서 이러한 조건을 변화시킵니다. 53
  • 비판 의식을 보건 전문 교육에 통합하라는 여러 요구가 있었고, 21 그리고 이러한 모든 노력에서 교육자들은 의과 대학을 "사회적, 문화적, 역사적 맥락"에 배치하려고 시도하고 있습니다. 53 (p.782)
  • 비판 의식을 통합하면 교육 과정에서 훈련생들이 체계적인 인종 차별을 유지하는 근본 구조를 확인하고 의사로서 그들에 저항하는 방법을 배울 수 있는 플랫폼을 만들 수 있습니다.
  • 게다가, 그것의 통합은 훈련생들이 의학의 "문화가 없는 문화"와 씨름하는 것을 도와서 그들이 어떻게 시스템이 다른 그룹보다 부당하게 유리한지에 대한 민감성을 발달시킬 수 있을 것입니다 

First, medical education must begin by recognizing and positioning medical education as historically constructed and socially negotiated, and then work to understand how these constructions are maintained. 50 To achieve this, educators must reconceptualize their role in academic medicine and shift their pedagogical methods to incorporate elements of critical consciousness. 52 

  • Critical consciousness raises individuals’ understanding of their social current conditions and the forces that have created them in an effort to critique and therefore change these conditions. 53 
  • There have been multiple calls to incorporate critical consciousness into health professions education, 21 and in all of these efforts, educators are attempting to place medical schools in a “social, cultural, and historical context… [coupling it] with an active recognition of societal problems and a search for appropriate solutions”. 53 (p.782) 
  • Incorporating critical consciousness would create a platform for trainees to identify the underlying structures that maintain systemic racism and learn how to resist them as physicians in training.
  • Further, its integration would help trainees grapple with medicine’s “culture of no culture,” so that they can develop sensitivities to how the system unfairly advantages some groups over others. 54

의학 교육에서 비판적 의식을 촉진하기 위해 사용할 수 있는 많은 도구들이 있지만, 성공적으로 그렇게 하는 것은 현재 권장되는 것과는 다른 종류의 전문적인 발전을 필요로 할 것입니다. 21, 55 

  • 예를 들어, 교육자들은 개인의 맥락이 새로운 지식의 창조에 어떻게 영향을 미치는지에 대한 훈련생의 이해를 돕기 위해 훈련생의 개인적인 역사와 살아있는 경험을 이끌어내는 활동을 통합해야 합니다. 21, 56
  • 추가적으로, 소외된 집단의 경험으로부터의 교육과정을 통합함으로써, 학생들은 종종 당연하게 여겨지는 환자와 그들의 필요에 노출될 것입니다. 57

There are many tools available to promote critical consciousness in medical education, but successfully doing so will necessitate different kinds of professional development than what is currently recommended. 21 , 55 

  • For example, educators should incorporate activities that elicit trainees’ personal histories and lived experience, to assist trainees’ understanding how an individuals’ context impacts the creation of new knowledge. 21 56 
  • Additionally, by incorporating curricula from marginalized groups’ experiences, students will be exposed to patients and their needs that are often taken for granted. 57

둘째로, 의학 교육은 오랫동안 의사들이 긴 근무 시간, 대단히 많은 양의 내용, 그리고 불합리한 환자 치료 기대로 그들에게 과도한 부담을 주는 체계에서 회복력이 있어야 한다는 생각을 지지해 왔습니다. 그러나, 고장난 체계를 바로잡지 않고 의사의 회복력을 높이기 위한 시도는 진실하지 않은 것에 가깝습니다. 59 푸카우디안의 관점은 의학 교육이 현재의 체계를 유지하는 현재의 기대에 부합하기 보다는 학생들이 언제 현재의 구조에 저항해야 하는지를 더 잘 이해하도록 돕기 위한 노력에 다시 집중할 필요가 있다고 제안할 것입니다.
Second, medical education has long supported the idea that physicians must be resilient in a system that overburdens them with long working hours, grueling amounts of content, and patient care expectations that are unreasonable. 58 However, attempts to boost physician resilience without correcting broken system borders on the disingenuous. 59 A Foucauldian perspective would suggest that medical education needs to refocus its efforts to better help students understand when individuals should resist current structures, rather than conform to current expectations that keep the current system in place.

이러한 이유로, 의학 교육은 의사로서 훈련에 생산적이고 필수적인 것으로 옹호 노력을 재평가할 필요가 있습니다. 현재, 의학 교육에서 옹호 훈련은 논란이 많습니다.

  • 한 쪽에서는, 의사들이 정치적인 문제에 관여하는 것이 의사의 전문적인 책임 밖에 있다고 믿지만,
  • 다른 쪽에서는, 의사들은 사회적인 요인들과 건강 사이의 연관성을 관찰하고 묘사할 수 있는 독특한 자격이 있다고 생각됩니다. 61

Foucauldian 분석은 사회적인 조건을 개선하기 위해 옹호에 참여하는 방법에 대한 훈련생의 직접적인 교육을 지원할 것입니다. 다른 의과 대학이 영감으로 사용할 수 있는 옹호 훈련의 효과를 보여주는 다양한 웹 사이트에 대한 몇 가지 작은 연구와 사례가 있습니다. 41, 62–64 추가적으로, 훈련생을 위한 더 건강한 시스템을 만드는 데 도움이 될 의료 교육의 임상 및 학습 환경 전반에 걸쳐 체계적인 인종 차별을 해결하기 위해 기관이 취할 수 있는 다른 구조적인 조치가 있습니다. 51 
For this reason, medical education needs to recast advocacy efforts as productive and integral to their training as physicians. Currently, advocacy training in medical education is controversial.

  • On one side, physicians believe that it is outside the professional responsibility of physicians to engage in political issues, 60 
  • whereas on the other, physicians are thought to be uniquely qualified to observe and delineate links between social factors and health. 61 

A Foucauldian analysis would support trainees’ direct instruction on how to engage in advocacy to improve societal conditions. There are several small studies and examples on various websites that show the efficacy of advocacy training other medical schools might use as inspiration. 41 , 62–64 Additionally, there are other structural actions that institutions can take to address systemic racism throughout medical education’s clinical and learning environments that would help create a healthier system for trainees. 51

셋째, 의학교육에서 교육과정 작성과 전달은 개인이 대상화되는 한 가지 방법입니다. 따라서 교육자들은 내용이 재구성되고, 소수화된 개인의 살아있는 경험을 반영할 수 있도록 소수화된 학생들과 교육과정을 공동으로 구성해야 합니다. 지배적인 관점만을 가르치는 것은 소수화된 훈련생과 환자를 계속해서 대상화하는 과정을 새롭게 만드는 것입니다. 따라서 교육자들은 학생들과 교육자들을 공유된 공간으로 초대하여 의료교육의 교육과정, 평가 방법 및 목표한 결과를 재구성할 수 있는 전략을 개발해야 합니다. 65
Third, in medical education, curricula writing and delivery is one way that individuals are objectified. Therefore, educators should co-construct curricula with minoritized students so that content is reimagined and reflective of the lived experiences of minoritized individuals. To only teach dominant perspectives is to reify the processes that continue to objectify minoritized trainees and patients. Therefore, educators should develop strategies that invite students and educators into a shared space to reimagine the educational process, methods of assessment, and targeted outcomes of medical education. 65

결론
Conclusion

미셸 푸코의 역사적이고 이론적인 작업은 의학 교육과 그 기관 내의 권력과 체계적인 인종차별의 행렬을 분석할 수 있는 생성 렌즈를 제공합니다. 우리의 목표는 광범위하게 정의된 현대 의학 교육과정의 권력 경향과 인종 중립적인 프로젝트에 저항하면서 의학 교육을 다시 상상하는 것의 중요성을 보여주는 것이었습니다. 명백하게 급진적이고 반 인종주의적인 의학 교육학은 의료 교육 내의 제도적 및 교육 관행에 정보를 제공하고 지위 다양성 이니셔티브의 물질적 단점을 피해야 합니다. 
The historical and theoretical work of Michel Foucault provides a generative lens from which to analyze the matrices of power and systemic racism within medical education and its institutions. Our goal has been to demonstrate the importance of re-imagining medical education, resisting the tending-toward power and race-neutral projects of contemporary medical curricula broadly defined. An explicitly radical, anti-racist medical pedagogy should inform institutional and educational practices within medical education and avoid the material shortcomings of status-quo diversity initiatives.

그러한 관행의 위험은 크지만, 전술한 결과는 훨씬 더 큽니다. 의도적이고 결과적인 형태의 권력과 지식으로서 숨겨진 커리큘럼, 인종을 의식하는 다양성 이니셔티브, 평가 편향을 백인 규범성의 스키마에 정면으로 배치함으로써, 우리는 의학 교육이 어떻게 그리고 왜 소수화된 학생들을 실패하게 하는지 더 잘 이해할 수 있습니다. 나아가, 우리는 이러한 실패를 의미 있고 영향력 있는 방법으로 완화하는 데 필요한 방법론을 개발할 수 있습니다. 전국의 기관들이 체계적인 반흑인 인종주의로 인한 피해에 대해 큰 책임을 지고 있기 때문에, 우리는 그러한 인종차별적 폭력을 강화하고, 합법적이며, 정상화하는 의료 기관 내에서 어떻게 구체적인 권력 기술이 제정되는지 고려하지 않는 것이 좋을 것입니다. 푸코가 우리에게 상기시키듯이, "이것이 권력인 곳에는 저항이 있습니다." 66 (p.95) 우리 모두는 그 저항의 일부가 될 필요가 있고, 그것은 억압 체계를 유지하기 위한 더 큰 역사적, 문화적, 정치적 행위를 계속 수용하는 방식을 우리의 기관들을 조사하는 것에서 시작합니다.

The stakes of such a practice are large, but the consequences of its foregoing are much larger. By placing hidden curricula, race-conscious diversity initiatives, and assessment bias squarely in the schema of white normativity, as intentional and consequential forms of power and knowledge, we can better understand how and why medical education fails minoritized students. Further, we can develop the methodologies necessary to mitigate these failures in meaningful and impactful ways. As institutions across the country face great reckoning for the damage caused by systemic anti-Black racism, we would be remiss not to consider how specific technologies of power are enacted within medical institutions that reinforce, legitimate, and normalize such racist violence. As Foucault reminds us, “where this is power, there is resistance.” 66 (p.95) We all need to be part of that resistance, and it starts by examining our institutions for the ways in which it continues to harbor larger historical, cultural, and political acts meant to maintain systems of oppression.

 


 

 

Teach Learn Med. 2021 Aug-Sep;33(4):453-462. doi: 10.1080/10401334.2021.1945929. Epub 2021 Jul 11.

 

 

Contending with Our Racial Past in Medical Education: A Foucauldian Perspective

Affiliations collapse

Affiliations

1Department of Medicine, University of Florida College of Medicine, Gainesville, Florida, USA.

2New York University, New York, New York, USA.

3Department of Family and Community Medicine, University of Toronto, Toronto, Ontario, Canada.

4Department of Medicine, University of Toronto, Toronto, Ontario, Canada.

5Department of Medicine, Uniformed Services University, Bethesda, Maryland, USA.

PMID: 34279159

DOI: 10.1080/10401334.2021.1945929

Abstract

Practices of systemic and structural racism that advantage some groups over others are embedded in American society. Institutions of higher learning are increasingly being pressured to develop strategies that effectively address these inequities. This article examines medical education's diversity reforms and inclusion practices, arguing that many reify preexisting social hierarchies that privilege white individuals over those who are minoritized because of their race/ethnicity. Evidence: Drawing on the work of French theorist Michel Foucault, we argue that medical education's curricular and institutional practices reinforce asymmetrical power differences and authority in ways that disadvantage minoritized individuals. Practices, such as medical education's reliance on biomedical approaches, cultural competency, and standardized testing reinforce a racist system in ways congruent with the Foucauldian concept of "normalization." Through medical education's creation of subjects and its ability to normalize dominant forms of knowledge, trainees are shaped and socialized into ways of thinking, being, and acting that continue to support racial violence against minoritized groups. The systems, structures, and practices of medical education need to change to combat the pervasive forces that continue to shape racist institutional patterns. Individual medical educators will also need to employ critical approaches to their work and develop strategies that counteract institutional systems of racial violence. Implications: A Foucauldian approach that exposes the structural racism inherent in medical education enables both thoughtful criticism of status-quo diversity practices and practical, theory-driven solutions to address racial inequities. Using Foucault's work to interrogate questions of power, knowledge, and subjectivity can expand the horizon of racial justice reforms in medicine by attending to the specific, pervasive ways racial violence is performed, both intra- and extra-institutionally. Such an intervention promises to take seriously the importance of anti-racist methodology in medicine.

Keywords: Foucauldian analysis; advocacy; critical consciousness; resistance; structural racism.

프로젝트 기반 학습과 연구 기반 학습(Higher Education Faculty Career Orientation and Advancement, Ch 8)
P
ROJECT BASED LEARNING (PBL) AND RESEARCH BASED LEARNING

V P S AroraParul SaxenaNeha Gangwar3

1Pro Chancellor, Shri Venkateshwara University Uttar Pradesh

2Assistant Professor, Sharda University, Greater Noida

3Assistant Professor, Periyar Management and Computer College, New Delhi

 

8.2 소개
8.2 Introduction

문제/프로젝트/연구/사례 기반 학습은 전통적인 교실 학습에 대한 흥미로운 대안입니다. 이러한 학습 방법은 학생 중심의 학습으로, 능동적인 학습과 지식의 이해 및 유지를 향상시킵니다. 이를 통해 학생들은 콘텐츠 지식을 향상시키고 의사소통, 문제 해결, 비판적 사고, 협업 및 자기 주도적 학습 능력을 키우는 생활 기술을 개발할 수 있습니다. 이러한 접근 방식을 통해 학생들은 실제 경험을 최적으로 해결할 수 있는 능력을 갖추게 됩니다. 이러한 접근 방식은 주로 강의 기반인 기존의 교수 학습 철학에서 패러다임의 전환을 의미합니다. 이러한 방법을 통한 교육 구성은 전통적인 강의실 또는 강의식 교육과는 매우 다르며 소그룹 학습을 지원하기 위해 더 많은 준비 시간과 리소스가 필요한 경우가 많습니다. 이 방법에서 교사는 학생들에게 강의나 과제, 연습 문제가 아닌 문제를 제시합니다. 학생들에게 '콘텐츠'를 전달하지 않기 때문에 학생들이 문제 해결에 필요하다고 판단되는 콘텐츠를 스스로 발견하고 작업한다는 의미에서 학습이 활발해집니다. 이 과정에서 교사는 "솔루션"의 제공자가 아니라 촉진자이자 멘토의 역할을 합니다.  
Problem/ Project/ Research/ Case-based learning are exciting alternatives
to traditional classroom learning. These methods of learning are student-focused, which allow for active learning and better understanding and retention of knowledge. These facilitate students develop life skills that enhance content knowledge, foster the development of communication, problem solving, critical thinking, collaboration, and self-directed learning skills. Through these approaches students are positioned to optimally act resolving real-world experiences. These approaches represent a paradigm shift from traditional teaching and learning philosophy, which is primarily lecture based. The constructs for teaching through these methods are very different from traditional classroom or lecture teaching and often requires more preparation time and resources to support small group learning. Under these methods teacher presents students a problem, not lectures or assignments or exercises. Since students are not handed “content”, the learning becomes active in the sense that students discover and work with content that you determine to be necessary to solve the problem. In the process the teacher acts as facilitator and mentor, rather than a source of “solutions.”

문제 기반 학습(PBL)은 학생들이 개방형 문제를 해결하기 위해 그룹으로 협력하여 과목을 학습하도록 하는 학생 중심 접근 방식입니다. 문제는 동기 부여와 학습의 원동력이 됩니다. 관련 자료를 가르친 다음 학생들이 지식을 적용하여 문제를 해결하도록 하는 것이 아니라 문제가 먼저 제시됩니다. 확실한 해결책을 찾기 위해 진행하는 고유한 메커니즘은 없습니다. 그러나 이 과정에는 지식 습득, 향상된 그룹 협업 및 커뮤니케이션이 포함됩니다. PBL 프로세스는 처음에 의학 교육을 위해 개발되었으며 이후 다른 학습 영역으로 확대 적용되었습니다. 이 프로세스를 통해 학습자는 향후 실무에 사용할 기술을 개발할 수 있습니다. 이 프로세스는 비판적 평가, 문헌 검색을 향상시키고 팀 환경에서 지속적인 학습을 장려합니다.
Problem-based learning
(PBL) is a student-centered approach in which students are made to learn a subject by working in groups to solve an open-ended problem. The problem is what drives the motivation and the learning. Rather than teaching relevant material and subsequently having students apply the knowledge to solve problems, the problem is presented first. There is no unique mechanism to proceed to find a definite solution. The process however includes knowledge acquisition, enhanced group collaboration and communication. The PBL process was initially developed for medical education and has since been broadened in applications for other domains of learning. The process allows for learners to develop skills used for their future practice. It enhances critical appraisal, literature retrieval and encourages ongoing learning in a team environment.

이 과정은 학습 과정을 지원, 안내 및 모니터링함으로써 교사를 촉진자로 활용합니다. 교사는 학생에게 자신감을 심어주고 문제에 대한 이해를 높이는 것 외에도 학생들을 격려합니다. 학생들은 먼저 용어를 명확히 하고 문제를 정의한 다음, 브레인스토밍을 통해 문제를 구조화하고 가설과 학습 목표를 수립한 다음, 마지막으로 연구를 수행하고 결과를 종합합니다. PBL을 받는 학생들은 일반적으로 - 문제를 식별하고, 조사하고, 개념화합니다;
The process uses teacher as a facilitator by supporting, guiding, and monitoring the learning process. He builds confidence in students, and encourages them besides improving their understanding of the problem. Students first clarify terms and define problem(s), then brainstorm, structure the issues and formulate hypothesis and learning objectives, and finally conduct study and synthesis the findings. Students under PBL generally • Identify, examine and conceptualize the problem;

  • 문제의 요소 또는 그와 관련된 이슈를 탐색하고 근본적인 문제에 대해 무엇을 알고 있는지 알아봅니다;
  • 문제를 해결하기 위해 무엇을 배워야 하는지, 어떤 정보와 도구를 습득하거나 이해해야 하는지 결정합니다;
  • 문제와 문제를 해결하기 위한 대체 방법을 평가합니다;
  • 문제에 대한 가능한 최선의 해결책을 찾습니다.
  • 보고서 준비
  •  • Explore the elements of the problems or issues involved therein as also what do they know about underlying issues;
  •  • Determine as to what they need to learn and what information and tools they need to acquire or understand to resolve the issues problem;
  •  • Evaluate alternate ways to resolve the issues and the problem as such;
  •  • Find the best possible solution to the problem; and
  •  • Prepare the report

다음은 문제 기반 학습 프로젝트를 개발하는 기본 단계입니다:
Following are the basic steps in developing a Problem Based Learning Project:

  • 프로젝트의 학습 결과, 즉 학생들이 무엇을 알 것으로 기대되는지 또는 과제 참여로 어떤 결과가 예상되는지 명확하게 설명합니다.
  • 문제 생성. 학생들이 프로젝트에 흥미를 갖도록 하려면 실제 상황 또는 학생들이 향후 직업이나 생활에서 직면할 수 있는 문제여야 합니다.
  • 학생들이 그룹으로 효과적으로 작업할 수 있도록 처음에 가이드라인을 설정합니다.
  • 학생들이 자신의 작업과 동료의 작업을 모두 평가하는 연습을 할 수 있는 준비 운동을 통해 그룹 프로세스를 준비합니다.
  • 각 학생에게 다른 역할을 맡기거나 전체 프로젝트를 나누어 학생에게 다른 역할을 부여하는 설계를 개발합니다.
  • 과제를 평가하고 평가할 수 있는 기준을 설정합니다. 학생이 자신의 작업과 팀원의 과제에 대해 자신만의 평가 방법을 만들도록 하는 것이 이상적입니다.
  •  • Articulation of learning outcomes of the project i.e. what students are expected to know or what result of participation in the assignment is anticipated?
  •  • Creation of the problem. To make the project exciting to students the problem should be a real-world situation or that students may encounter in their future careers or lives.
  •  • Establishment of guidelines in the beginning itself so that students to work effectively in groups.
  •  • Prepare students for group processes by doing some warm up exercises that allow them to practice assessing both their own work and that of their peers.
  •  • Develop a design wherein each student is to take a different role or the entire project is divided having different roles for students.
  •  • Establish yardsticks to evaluate and assess the assignment. Ideally let students make their own methods of assessments of their own work and that of their teammate’s of the assignment.

위에서 언급한 단계를 통해 학습 과정과 그룹 역학은 학생들이 사회적 지식 구성에 참여하는 능동적인 주체가 되는 PBL의 필수 구성 요소임을 알 수 있습니다. PBL은 경험과 상호작용을 기반으로 의미를 창출하고 세상에 대한 개인적인 해석을 구축하는 과정을 지원합니다. 다음 섹션에서는 프로젝트 기반 학습, 연구 기반 학습 및 사례 기반 학습 방법에 대해 자세히 설명합니다.
From the above mentioned steps it is revealed that the learning process and group dynamics are essential components of PBL wherein students are active agents who engage in social knowledge construction. PBL assists in processes of creating meaning and building personal interpretations of the world based on experiences and interactions. In following sections project based learning, research based learning, and case based learning methods are detailed.

 

8.3 프로젝트 기반 학습
8.3 Project Based Learning

프로젝트 기반 학습에 대한 단일 정의는 존재하지 않지만, 벅 교육 연구소(BIE)에서는 광범위한 범위의 간결한 표준 중심 정의를 제시하고 있습니다. BIE(Markham, Larmer, & Ravitz, 2003)에 따르면 프로젝트 기반 학습은 "복잡하고 실제적인 질문과 신중하게 설계된 제품 및 과제를 중심으로 구조화된 확장된 탐구 과정을 통해 학생들이 지식과 기술을 학습하도록 하는 체계적인 교수법"입니다. 프로젝트 또는 활동을 구현하는 것만으로는 프로젝트 기반 학습으로 간주할 수 없으며, 5가지 필수적인 특징이 충족되지 않으면 프로젝트 기반 학습으로 간주할 수 없습니다. PBL의 필수 기능은 다음과 같습니다.
While a single accepted definition for PBL does not exist, the Buck Institute for Education (BIE) does offer a concise standards-focused definition, broad in scope. According to the BIE (Markham, Larmer, & Ravitz, 2003), project-based learning is “
a systematic teaching method that engages students in learning knowledge and skills through an extended inquiry process structured around complex, authentic questions and carefully designed products and tasks”. Implementing a project or activity is not enough to be considered project-based learning unless five definitive features are met. The essential features of PBL include

1. 중심 프로젝트;
2. 중요한 지식과 기술에 대한 구성주의적 초점;
3. 복잡한 질문, 문제 또는 도전의 형태로 진행되는 활동;
4. 교사가 안내하는 학습자 주도 조사;
5. 학습자에게 진정성이 있는 실제 프로젝트

  • 1. A central project;
  • 2. A constructivist focus on important knowledge and skills;
  • 3. A driving activity in the form of a complex question, problem, or challenge;
  • 4. A learner-driven investigation guided by the teacher;
  • 5. A real-world project that is authentic to the learner

킬패트릭(1918)은 프로젝트 방법에 대한 광범위한 개념을 제시했습니다. 그는 표 1에 나열된 절차에 따라 네 가지 유형의 프로젝트를 식별했습니다: 
Kilpatrick (1918) offered a broad conception of project method. He identified four types of projects with procedures listed in Table 1: 

이 장에서는 프로젝트 기반 코스를 설계할 때 교사가 사용할 수 있는 새로운 프레임워크, 즉 일련의 지침을 제시했습니다. 이 프레임워크는 6가지 테마로 구성됩니다:
In this chapter we have presented an em
ergent framework, a set of guidelines, for teachers when designing project based courses. The framework consists of six themes:

(1) 프로젝트 목표/주제 파악,
(2) 프로젝트 설계,
(3) 프로젝트 그룹 구성,
(4) 모니터링
(5) 피드백 및
(6) 코스 평가 및 개선.

  • (1) Identifying Project objectives/themes,
  • (2) Project Design,
  • (3) Constituting the project group,
  • (4) Monitoring,
  • (5) feedback and
  • (6) Course evaluation and improvement.

학습과 지속적인 개선 및 프로세스 관점은 이 프레임워크에서 분명하게 드러납니다. 이 부문에서 정교화된 프레임워크는 전문가 그룹의 규범과 능동적인 커리큘럼 내에서 교사의 전문적 자율성 개발을 지원해야 합니다. 이 프레임워크가 코스의 질에 긍정적인 영향을 미친다는 강력한 징후가 있습니다. 공식적인 코스 평가에서 학생들은 명확한 코스 설계, 높은 학생 활동, 관련성 있고 진정성 있는 프로젝트 과제, 명시적인 프로젝트 그룹 작업 조건, 명시적인 기준 세트에 따른 다양한 시험 양식, 교사의 수준 높은 피드백을 성공적인 프로젝트 기반 학습의 중요한 구성 요소로 강조했습니다. 프로젝트 기반 학습의 몇 가지 이점은 다음과 같이 요약할 수 있습니다:
The learning and continuous improvement and process perspective is evident in the framework. The framework elaborated in this segment should support teachers’ development of a professional autonomy within the norms of a professional group and an active curriculum. There are strong indications that the framework has positive effects on the quality of the courses. In a formal course evaluation, the students’ have highlighted a clear course design, high student activity, relevant and authentic project tasks, explicit project group work conditions, a variation in examination forms based on an explicit set of criteria, and high quality feedback from the teachers as important constituents of a successful project based learning. Some of the benefits of Project based learning can be summed up as follows:

  •  - 다양한 범위의 학습 스타일을 대상으로 함
  •  - 협업을 촉진하고 그룹 효능감과 자기 효능감을 높입니다.
  •  - 탐구심을 촉진하고 학생들 간의 동기 부여를 증가시킵니다.
  •  - 콘텐츠 지식, 비판력 및 문제 해결 능력 측면에서 긍정적인 학생 반응 보고
  •  - 책임감을 더 잘 받아들여 학업 성취도가 향상됨
  •  - 높은 수준의 학생 참여 유도
  •  - 학생의 자신감 향상 및 커뮤니케이션 능력 향상
  •  • Targets different range of learning styles
  •  • Promotes collaboration and increased group efficacy and self efficacy
  •  • Promotes Inquiry and results in increased motivation among students
  •  • Reports positive student response in terms of content knowledge, critical and problem solving skills
  •  • Results in better academic gains with greater acceptance of responsibility
  •  • Results in high level of student engagement
  •  • Builds student confidence and results in better communication skills

PBL은 학생뿐만 아니라 교사/강사에게도 효과적인 도구임이 입증되었습니다. PBL을 실행하면 수업 결석률이 감소하고, 평생 학습을 촉진하며, 교사가 학습 결과를 평가할 수 있는 다양한 평가 방식을 사용할 수 있다는 것이 연구를 통해 입증되었습니다.
PBL has yielded benefits not only for the students but it has proved to be an effective tool for teachers/ instructors too. It has been proven through studies that implementation of PBL results in reduced absenteeism in class and promotes life-long learning and let teacher have different assessment modalities to evaluate the learning outcomes.

8.3.1 프로젝트 목표/주제 파악하기
8.3.1 Identifying Project Objectives/Themes

목표 설정은 프로젝트 기반 코스에서 핵심적인 요소입니다. 목표는 교사/강사가 학생과 상의하여 설정해야 합니다. 학생은 자신의 관심사와 경험에 맞게 과제를 자유롭게 구성하고 틀을 잡을 수 있어야 합니다. 프로젝트 목표는 다음과 같아야 합니다:
The setting- up of objectives is a core aspect in a project based course. The objectives should be set up by the teacher/instructor in consultation with the students. The students should be given some freedom shape and frame the tasks to fit their own interests and experiences. The project objectives should be:

  • 관련성 및 진정성 - 프로젝트 과제와 프로젝트 결과는 커리큘럼 및 미래 직업(예: 시스템 개발자, IT 또는 경영 컨설턴트, 프로젝트 리더)의 기본 기술을 달성하기 위해 관련성이 있어야 하며 실제 상황(예: ERP 시스템 구현 프로젝트의 문제 해결, 경영학과 학생의 채용처 및 교육 기관 파악)을 반영해야 합니다.
  • 다양한 학습 스타일을 다루기 위해 교사가 텍스트 및 구두로 소개합니다.
  • 특정 또는 간격의 시간 공간을 기반으로합니다. 학습 포인트를 명시하는 것도 중요합니다. 특정 과제를 수행하는 데 필요한 시간에 대한 학생의 기대치에 영향을 미치기 위해 이를 중요한 포인트로 파악했습니다. 시간 관리 및 계획은 프로젝트 작업 설정과 강사가 학생이 습득하기를 바라는 학생의 기술에서도 중요한 부분입니다.
  • 구체적이고 명시적으로 표현합니다: 프로젝트 목표를 명확하게 설정할 때는 코스에서 프로세스 및/또는 제품에 중점을 두는 정도를 정의하는 것도 중요합니다. 교수자는 프로세스 및 제품 차원의 필요성을 명확하게 정의해야 합니다.
  • 학생의 관심사 및 경험에 맞게 조정할 수 있을 만큼 유연해야 합니다.  
  •  • Relevant and authentic – the project task and the project outcome should be relevant in order to achieve basic skills in the curriculum and in a future profession (e.g. as a system developer, IT- or management consultant, project leader) and reflect authentic situations (for example problem solving in an ERP system implementation project, or identifying the sources of recruitment of and educational institute for a management student).
  •  • Introduced by teachers in text and orally in order to address different learning styles.
  •  • Based on a certain or interval space of time. It is also important to make the study points explicit. We have identified this as an important point in order to have an influence on student expectations of time needed to work with a particular task. Time management and plans are also important parts of the project work setting and the student skills that the instructor would like students to gain.
  •  • Concrete and expressed explicitly: When making the project objectives explicit it is also important to define the degree of process and/or product focus in the course. The instructor should clearly define the need for making the process and product dimension
  •  • Flexible enough to adjust to student interests and experiences.  

 

8.3.2 학생 프로젝트 설계하기
8.3.2 Designing Students’ Project

교사는 코스를 전반적으로 설계할 때 다음과 같은 측면을 고려해야 합니다:
In the overall design of a course a teacher should consider the following aspects:

  • 학습 목표는 교사가 명확하게 명시하고 학생들도 알 수 있어야 합니다. 코스 설계의 이러한 측면은 실습(프로젝트에서 학생의 입장)과 이론에 따라 중요합니다.
  • 코스 설계는 전체적으로 다음과 같은 자극을 주어야 합니다:
    • o 학생 활동.
    • o 학생 자신의 경험과 지식을 고려.
    • o 학습 과정과 학생의 자격에 중점을 둠.
    • o 코스의 기반이 되는 커리큘럼의 개선.
  • 코스 활동은 메타인지 수준에서 사고와 기술을 자극해야 합니다(문제 해결의 기본 원리 및 패턴에 대한 성찰과 인식, 학생 자신의 사고 및 학습).
  • 교사의 관점에서 코스 설계는 지난번에 코스를 운영했을 때(해당되는 경우)에 대한 성찰을 기반으로 해야 하며, 그 당시 제기된 변화 요구 사항을 다루어야 합니다.
  • 프로젝트 그룹의 구성은 학급 규모, 달성하고자 하는 학습 결과, 마지막으로 학생들의 다양한 학습 스타일을 염두에 두고 학급 규모에 따라 이루어져야 합니다. 연구에 따르면 그룹은 홀수로 구성해야 효과적입니다. 효과적이고 생산적인 그룹의 이상적인 규모는 7~9명 사이입니다.
  •  • The learning objectives should be clearly stated by the teacher and known by the students. This aspect of course design is important according to practice (student standpoints in our project) and theory.
  •  • The design of the course as a whole should give a stimulus to: o Student activity. o Take students own experiences and knowledge into account. o Focus on a learning process and student qualifications o An improvement of the curriculum that serves as a basis for the course.
  •  • The course activities should stimulate thoughts and skills on a meta-cognitive level (reflection and awareness of underlying principles and patterns in problem solving, students own thinking and learning)
  •  • The design of the course should, from a teacher perspective, be based upon a reflection over the last time the course was run (if applicable) and should address the change needs addressed at that time
  •  • The composition of projects groups should be based on the class size and keeping in mind the class size, the learning outcomes aimed to be achieved and finally the different learning styles of the students. As per the research, the groups should be formed in odd numbers to be effective. An ideal size of the group to be effective and productive is between7-9.

 

8.3.3 프로젝트 모니터링 및 피드백
8.3.3 Project Monitoring and Feedback

모니터링의 설계 및 구성은 코스 설명서/강의 계획서에 명시적으로 설명되어야 하며, 교사는 현재 채점 간격과 함께 구두로 설명해야 합니다. 모니터링은 사전 정의된 기준(예: 문제 처리, 분석, 결론 등의 측면에서 고품질 작업의 특징 설명)에 따라 이루어져야 하며, 교사는 교육 활동을 수행할 때 코스 설계의 효과, 경험 및 가능한 개선 사항에 대한 일지를 작성해야 합니다.
The design of the monitoring and its organizing should be explicitly described in a course description/ syllabus and orally by the teacher together with the present marking interval. Monitoring should be based on a predefined set of criteria (describing for example the distinguishing features of a high quality work in terms of problem handling, analysis, conclusions etc.).The teacher should keep a logbook over the effects, experiences of the course design and possible improvements when performing the education activities.

이상적인 모니터링에는 다양한 학생의 학습 스타일을 다루고 무임승차자의 위험을 줄이기 위해 항상 최소 두 가지 형태의 시험이 포함되어야 합니다
An ideal monitoring should always include at least two different forms of examination in order to address different student learning styles and reduce the risk of free riders.

  • 한 코스에서 적어도 한 번의 시험은 개별 학생의 성취도를 측정해야 합니다.
  • 시험은 신뢰할 수 있고 공정하며 공평해야 합니다.
  • 시험은 교사와 학생 간에 상호 신뢰를 유지해야 합니다.
  • 시험은 학생이 더 많은 것을 배울 수 있는 기회여야 합니다.
  • 시험은 현재의 커리큘럼, 강의 계획서 및 해당 과목에서 표현한 기타 의도와 관련성이 있어야 합니다.
  •  • At least one examination in a course should measure an individual student’s achievement.
  •  • Examination should be reliable, fair and impartial.
  •  • Examination should maintain a reciprocal trust between the teacher and the student.
  •  • Examination should be an opportunity for the students to learn more.
  •  • Examination should be relevant compared with the present curriculum, syllabus and other intentions expressed by the subject area.

8.3.4 피드백
8.3.4 Feedback

여기서 해석하는 피드백은 한편으로는 특정 프로젝트 마일스톤 또는 기타 결과물 달성과 관련된 학습 및 프로젝트 과정의 일부일 수 있으며, 다른 한편으로는 특정 점수 외에 교사의 시험 및 학생과의 커뮤니케이션의 명시적인 부분이 될 수 있습니다.
Feedback, as interpreted here, can on one hand be a part of learning and project process, for example related to achieving certain project milestones or other deliverables, and on the other hand be an explicit part of the teacher’s examination and communication with the student besides a particular mark.

  • 예상되는 피드백의 종류는 교사가 특정 작업의 전제 조건에 명시해야 합니다.
  • 피드백 시점은 항상 교사가 명시해야 합니다.
  • 피드백은 비판적이어야 합니다: 비판적이어야 하고, 차이를 만들어야 하며, 반성적이어야 합니다.
  • 건설적인 비판을 표현하고 검토한 성취도의 긍정적인 측면과 부정적인 측면을 모두 포함해야 합니다.
  • 특정 점수에 대한 표현만 포함해서는 안 된다는 의미에서 질적이어야 합니다. 담당 교사(시험관)의 평가가 포함되어야 합니다. 한 코스에서 여러 단계 또는 단계를 통합합니다.
  • 피드백은 학생과 교사 또는 학습 과정의 일부로서 같은 코스를 수강하는 학생 간의 지속적인 대화를 자극해야 합니다.
  •  • The expected kind of feedback should be expressed by the teacher in the prerequisites of a particular task.
  •  • The point of time for feedback should always be expressed by the teacher.
  •  • Feedback should: Be critical, make a difference, and be reflective.
  •  • Express constructive criticism and contain positive and negative aspects of the achievement examined.
  •  • Be qualitative in a sense that it should not only contain the expression of a particular mark. It should contain estimation from the responsible teacher (examiner).Integrate different stages or phases in a course
  •  • The feedback should stimulate to a continuous dialogue between the student and the teacher or with a student who is on the same course as a part of a learning process.

 

8.3.5 프로젝트 평가
8.3.5 Project Evaluation

프로젝트 평가는 프로젝트 기반 학습의 가장 중요한 측면입니다. 교사/강사는 네 가지 차원을 포괄하는 세 가지 유형의 평가, 즉 자기 평가, 동료 평가, 교사 평가 및 공개 평가를 고려할 수 있습니다:
Project evaluation is the most important aspect of project based learning. A teacher / instructor can consider three types of evaluation encompassing four dimensions viz. Self, peer, teacher and public evaluation:

  • 머디 카드 평가 - 코스 중간에 '머디 카드' 평가를 수행할 수 있습니다(학생이 장단점이 적힌 카드를 작성하고, 이를 바탕으로 노력도를 평가합니다).
  • 교사의 관점에서 수행되는 최종 평가. 학생에게 구술 시험을 보도록 요청하거나 평가를 위해 자신의 경험을 바탕으로 반성적 에세이를 작성하도록 요청할 수 있습니다. 한 과목 영역에서 여러 교사 간의 공동 작업(허용되는 경우)을 수행할 수도 있습니다.
  • 코스 마지막에 학생의 관점에 기반한 자체 평가를 통합할 수도 있으며, 종합적인 평가를 위해 개인 발표/그룹 발표를 권장할 수 있습니다. 자기 평가는 자료, 프로세스 및 최종 결과물에 대한 더 높은 수준의 사고와 인식을 활용하기 때문에 종합 평가의 중요한 부분입니다. 이를 통해 학생은 자신의 성공, 실수 및 다음 목표에 대해 생각하게 됩니다. 구두 또는 서면 형식을 선택하고 이 평가에 대한 기대치 또는 루브릭을 포함합니다.
  • 동료 평가는 교사가 학생의 경험을 고려하기 때문에 더 나은 공동 작업 과정을 촉진하므로 공동 작업 프로젝트에 고유합니다. 이 정보를 사용하여 다음 프로젝트의 워크플로를 수정하고 학생의 작업(노력, 팀에 대한 건설적인 기여도 등)에 대한 책임을 물을 수 있습니다. 평가에서 얻은 의견은 현재 코스를 개선하기 위한 기초 자료로 활용해야 합니다.
  •  • Muddy card evaluation- “Muddy Cards” evaluation can be performed in the middle of the course (student fill in cards with pros. and cons, and based on their listing are evaluated for their efforts
  •  • A Final evaluation performed from a teacher perspective. The students can be asked to appear for a viva- voce exam or to write a reflective essay based on their experience for evaluation purposes A joint action between several teachers (if permissible) in a subject area can also be conducted.
  •  • A self- evaluation based on a student perspective at the end of the course can also be incorporated wherein individual presentation/ group presentations can be encouraged for a comprehensive evaluation. Self-evaluation is an important piece of the summative evaluation because it taps into higher-level thinking and awareness of the material, process, and final product. It makes students think about their successes, mistakes, and goals for the next time. Choose oral or written form, and include expectations or rubrics for this evaluation.
  •  • Peer evaluations are unique to collaborative projects, as they facilitate a better collaborative process because the teacher considers the student experience. We can use this information to modify the workflow for the next project and hold students accountable for their work (effort, constructive contributions to the team, etc.). The input from the evaluation should serve as a basis for improvement of the present course.

8.3.6 프로젝트 기반 학습에 대한 도전 과제
8.3.6 Challenges to Project Based Learning

PBL은 학생 중심 교육을 구현하고 장려하는 효과적인 방식이지만 다음과 같은 과제가 있는 것으로 인식되고 있습니다:
Though PBL is an effective mode to implement and encourage student centric education, it is perceived to have the following challenges:

1. 코스/과목에 대한 심도 있는 탐구 및 PBL 실행을 위한 시간 부족
2. 교육구 커리큘럼 지침을 준수하면 유연성을 발휘할 공간이 거의 또는 전혀 없음
3. 대학/학교 일정 내에서 프로젝트 실행
4. 구성원의 학습 스타일, 관심사, 경험이 다양하므로 프로젝트 그룹 관리 및 모니터링
5. 학생의 이해와 학습 결과를 측정하기 위한 진정한 평가 설계

  • 1. Lack of time for in-depth exploration of the course / subject and implement PBL
  • 2. Adherence to district curriculum guidelines leaves little or no space for flexibility
  • 3. Implementing the project within the University/ school schedule
  • 4. Managing and monitoring project groups as the learning style, interest, experience of the members vary
  • 5. Design of authentic assessment to measure student understanding and learning outcomes

 

8.4 연구 기반 학습
8.4 Research Based Learning

시대의 변화에 따라 고등 교육은 전통적인 강의식 학습에서 학생 중심 교육으로 패러다임이 전환되고 있습니다. 점점 더 많은 고등 교육 기관이 연구 기반 학습의 중요성을 깨닫고 있습니다. 연구 기반 학습은 이론적 지식 기반 또는 이론적 지식을 적절한 데이터 수집 및 분석 절차를 사용하여 현상이나 발생을 조사, 검증 또는 연구하는 통합입니다. 미래 전문가로서의 연구 역량을 키우기 위해서는 탐구와 연구를 실천하는 활동이 필요합니다. 학생들은 이론과 실제가 서로 연결되고 상호 작용하는 학습 과정에 참여해야 합니다. 또한 학생들은 이론 중심의 방법론 수업이 필요하며 관찰, 인터뷰, 해석과 같은 기술을 익혀야 합니다. 연구 기반 교육은 학생들이 자신의 코스에서 독립적으로 연구를 수행하고 그 결과를 공개하는 것을 의미합니다. 이러한 형태의 교수 학습은 강사와 학생이 공동으로 새로운 지식을 습득하는 데 중점을 둡니다. 이를 위해서는 강사가 교사와 학습자로서의 역할을 성찰해야 합니다. 연구 기반 학습의 의도는 대학 학자들이 학생들이 연구 분야와 학생 자신의 학습 사이에 강력한 지적 및 실용적 연결을 구축하도록 돕기 위해 긍정적인 움직임을 보이는 것입니다. 이는 연구 수행 및 방법, 정확한 질문 구성, 연구 과정 처리 및 모니터링과 같은 기술을 내면화하고 연습하는 데 도움이 됩니다. 학생들은 불확실성에 대처하는 능력, 독립성, 팀워크 및 조직 기술을 습득합니다. 
With the changing times, higher education is going through a paradigm shift, moving away from traditional lecture bound learning to student centric education. More and more institutions of higher learning have realized the importance of research based learning. Research based learning is the integration of the theoretical knowledge base or theoretical knowing with the use of appropriate data collection and analysis procedures to examine, verify or study a phenomenon or occurrence. Activities of practicing inquiry and research are needed to develop research competences of future professionals. Students should be involved in a learning process where the theory and practice emerged and interconnect each other. Students also need theoretically oriented method courses and need to work on skills like observation, interview and interpretation. Research-based teaching implies that students carry out research in their courses independently and with an open outcome. This form of teaching and learning focuses on the joint acquisition of new knowledge by instructors and students. This requires lecturers to reflect on their role as teachers and learners. The intention of research-based learning is that university academics make positive moves to help students build strong intellectual and practical connections between research frontiers and the students’ own learning. This helps to internalize and practice research conducts and methods, skills such as formulating a precise question and processing and monitoring a research process. Students attain abilities in dealing with uncertainty, independence, teamwork and organizational skills.

8.4.1 연구 기반 학습의 이점
8.4.1 Benefits from Research Based Learning

학생이 연구 기반 학습을 통해 얻을 수 있는 이점은 다음과 같습니다: 
Benefits Students can derive from research based learning include:

  • 학생 동기 부여 및 수업 참여도 증가
  • 다음을 포함한 학생의 기술 및 역량 개발 및 향상:
    • 비판적 및 분석적 사고, 정보 검색 및 평가와 같은 일반적인 기술 및 문제 해결 능력 향상
  • 학생들의 긍정적인 학습 결과와 연결된 탐구 기반 및 체험적 방법과 같은 교수 학습 접근 방식에 대한 향상된 기회를 제공합니다.
  • 자신이 선택한 학문이 사회에 어떻게 긍정적으로 기여하는지에 대한 학생들의 이해 증진
  • 능동적 학습 촉진; 학생이 지식과 기술을 개발하는 데 적극적으로 참여할 때 가장 많은 것을 배울 수 있습니다.
  • 학습 내용과의 관련성 및 연관성 찾기
  • 학습에 대한 애정을 키우고 평생 학습자 되기
  • 직업 및 개인 생활에서 성공하는 데 필요한 새롭고 필요한 기술과 능력을 개발합니다. 또한 그룹 작업, 시간 및 리소스 관리, 데이터 처리와 같이 이전 가능한 귀중한 기술을 습득합니다.
  •  • Increasing Student motivation and class engagement
  •  • Developing and enhancing students skills and capabilities including: Generic skills such as critical and analytical thinking, information retrieval and evaluation; and problem solving
  •  • Providing enhanced opportunities for teaching and learning approaches such as inquiry-based and experiential methods that have been linked to positive learning outcomes for students
  •  • Increasing students’ understanding of how their chosen discipline contributes positively to society
  •  • Promoting Active learning; student learn most when they are actively involved in developing their knowledge and skills
  •  • Finding relevance in and connections with what they are learning
  •  • Developing a love of learning and become lifelong learners
  •  • Developing new, necessary skills and abilities to be successful in professional and personal life. Also valuable transferable skills such as group work, time- and resource-management and data handling.

 

학생을 위한 교육 혜택은 다음과 같습니다:
Educational benefits for students include:

  • 교수진 멘토와 긴밀히 협력
  • 학생이 선택한 분야의 이슈, 방법, 리더에 대해 학습할 수 있습니다.
  • 수업에서 배운 개념을 '실제' 상황에 적용하기
  • 문제 해결 능력 강화
  • 주요 문헌을 읽는 법 배우기
  •  • Working closely with a faculty mentor
  •  • Learning about issues, methods, and leaders in students’ chosen field
  •  • Applying concepts learned in coursework to ‘real-life’ situation
  •  • Sharpening problems-solving skills
  •  • Learn to read primary literature


학생을 위한 직업적 혜택은 다음과 같습니다:
Professional benefits for students include:

  • 미래 직업 탐색 및 준비
  • 시장성 있는 기술 개발
  • 전문적인 커뮤니케이션 기술 향상
  • 다른 사람들과 협업하고 팀의 일원으로서 효과적으로 일하기
  •  • Exploring and preparing for future careers
  •  • Developing marketable skills
  •  • Enhancing professional communication skills
  •  • Collaborating with others and working effectively as part of a team

학생을 위한 개인적 혜택은 다음과 같습니다:
Personal benefits for students include:

  •  - 분석적이고 독립적인 사상가로서의 성장
  •  - 학생의 비판적 사고, 작문 및 말하기 강화
  •  - 도전 과제를 해결하고 프로젝트를 완료할 수 있는 능력 입증
  •  - 개인적인 관심사 발견 및 증가
  •  • Growing as a analytical and independent thinker
  •  • Strengthens student’ critical thinking, writing, and speaking
  •  • Meeting challenges and demonstrating the ability to complete a project
  •  • Discovering personal interests and increases

강사/교사/진행자를 위한 잠재적 혜택은 다음과 같습니다:
Potential Benefits for Instructor/ Teacher/ facilitator include:

  • 학생과 교사의 관계를 돈독히 합니다: 교육과 연구 활동을 긴밀하게 연계하면 둘 사이의 노력의 경제를 지원합니다.
  • 수업 준비에 소요되는 시간 감소: 학생을 위해 고안할 수 있는 연구와 유사한 학습 활동이 많을수록 교사는 콘텐츠 기반 커리큘럼 준비에 집중할 필요가 줄어듭니다. 교육 콘텐츠에서 학습 과정으로 강조점을 전환하면(종종 학생에게 더 많은 책임을 부여하는 것을 포함) 결국 준비 시간을 줄일 수 있습니다.
  • 연구 과정에 대한 기여도: 학생들이 연구와 같은 학습에 더 많이 참여할수록 학생과 교사 간에 연구 활동에 도움이 되는 대화가 더 많이 이루어질 가능성이 높아집니다.
  • Builds strong student – teacher relationships: Drawing teaching and research activities closely together supports an economy of effort between the two
  •  • Less time spent on teaching preparation: The more research-like learning activities that can be devised for students, the less the teacher has to concentrate on preparing a content-based curriculum. A switch of emphasis from teaching content to learning processes (that often include placing more responsibility on the students) can eventually reduce preparation time.
  •  Contributions to the research process: The more involved students are with research-like learning, the more likely there will be dialogue between students and teachers which feeds into research activity.

8.4.2 연구 기반 학습의 프레임워크
8.4.2 Framework of research-based learning

새로운 도전에 직면하기 위해 대학 프로그램은 학생들의 연구 역량, 특히 연구 프로젝트 수행과 관련된 역량을 개발하고 지식과 학문적 경험을 전문 교육 실무로 이전할 수 있도록 학습 프로그램과 방법을 조정해야 합니다. 이 제안에서 '연구 기반 교육'의 패러다임은 대학 연구 제안에서 구현하기에 가장 적합한 것 중 하나로 보입니다. 연구 기반 교사 교육은 다양한 맥락과 교육 수준에서 연구되어 왔으며, 석-박사 과정에서도 중요한 관심을 가지고 있습니다. 미래 전문직의 연구 역량을 개발하기 위해서는 학습 프로그램의 일부로 탐구와 연구를 실천하는 활동이 필요합니다. 연구 기반 학습은 연구와 교육을 연계하는 다양한 학습 및 교수 전략을 지칭하는 다면적 개념입니다. 연구 기반 학습의 좋은 프레임워크에는 다음이 포함될 수 있습니다: 
In order to face new challenges, university programs have to adapt their study programs and methods in order to develop students’ research competences, especially those related to conduct research projects and also to be able to transfer their knowledge and academic experiences to their professional teaching practice. For this propose, the paradigm of “research-based education” seems to be one of the most adequate to be implemented in the universities study proposals. Researchbased teacher education has been studied in different contexts and education levels, and has a crucial interest in master and doctoral studies. In order to develop research competences of future professionals, activities of practicing inquiry and research are needed as part of the study programs. Research-based learning is a multi-faceted concept referring to a variety of learning and teaching strategies that link research and teaching. Good framework of research-based learning may include:

  • 커리큘럼을 포괄하는 연구 결과 설정
  • 연구 과정 기반 교수학습 방법의 광범위하고 신중한 사용
  • 학생들에게 연구 도구 사용에 대한 워크샵/자습서를 통한 교육 제공
  • 포괄적인 연구 맥락 개발(Blackmore & Fraser, 2007)
  •  • Setting research outcomes that cover the curriculum
  •  • Extensive and Judicious use of research-process based methods of teaching and learning
  •  • Imparting training through workshops/ tutorials to students for using the research tools
  •  • Developing an inclusive research context (Blackmore & Fraser, 2007)

 
8.4.3 연구 기반 학습을 커리큘럼에 통합하기 위한 전략
8.4.3 Strategies for incorporating research-based learning into curriculum

다음 전략은 연구 기반 학습을 코스 및 프로그램에 통합하기 위한 일반적인 지침을 제공합니다. 범주 간에 중복되는 부분이 있을 수 있으며, 일부 제안은 일부 학문 분야, 일부 학년 수준 및 일부 교수-학습 상황에서 다른 것보다 더 적절할 수 있습니다. 아래에 나열된 전략은 다양한 옵션을 제공하며 교수자는 특정 상황과 학생 집단에 맞게 조정할 수 있습니다. 
Following strategies provide general guidelines for incorporating research-based learning into courses and programs. There might be an overlap between categories and some suggestions are more appropriate in some disciplines, at some year levels and in some teaching and learning contexts than others are. The strategies listed below give a range of options and the instructor can tailor these to be used in particular context and student cohort.

코스를 설계하고 가르칠 때 개인 연구를 활용하기
Draw on personal research in designing and teaching courses

  • 현재 진행 중인 연구를 전체 코스의 초점으로 커리큘럼에 직접 통합합니다.
  • 학생들이 아이디어, 개념 및 이론을 이해하는 데 도움이 되도록 연구에서 '실제' 문제를 해결한 자신의 경험을 예시적인 사례로 제시합니다.
  • 대학원생을 포함한 교수진이 현재 진행 중인 연구 프로젝트에 대해 토론하도록 하여 해당 학문의 가치, 관행 및 윤리를 설명합니다.
  • • Incorporate current research directly into the curriculum as the focus of an entire course.
  •  • Refer to your own experience of tackling ‘real world’ problems in your research as illustrative examples to help students understand ideas, concepts and theories.
  •  • Illustrate the values, practices and ethics of your discipline by having faculty members, including postgraduate students, discuss their current research projects.

학과 연구 프로젝트에 학생 참여
Involve students in departmental research projects

  • 학생들에게 더 큰 프로젝트 내에서 독립적인 프로젝트를 제공하세요.
  • 학생들이 대학원생이나 교수진의 연구 조교로 활동하도록 조직합니다.
  • 연구 센터, 산업체 현장 방문을 조직합니다.
  •  • Give students a self-contained project within a larger project.
  •  • Organize students to act as research assistants to higher degree research students or faculty members.
  •  • Organize site visits to research centres, industries

프로그램 내에서 연구 방법, 기술 및 기술을 명시적으로 가르침
Teach research methods, techniques and skills explicitly within programs

  • 실험실 수업 중 연구 방법론에 대한 학생들의 이해도를 높입니다.
  • 실제 연구 문제에 연구 기술을 적용할 수 있는 기회를 제공하는 연구 방법론 과정을 설계합니다.
  • 학생들에게 현대의 주요 연구 문제와 관련된 다양한 방법과 기술을 배울 수 있는 기회를 제공하는 과목 내 평가 과제를 설계합니다.
  •  • Develop students’ understanding of research methodologies during laboratory classes.
  •  • Design research methodology courses that provide opportunities to apply research skills to authentic research problems.
  •  • Design assessment tasks within subjects that provide students with opportunities to learn different methods and skills associated with key contemporary research issues.

소규모 연구 활동을 학부 과제로 만들기
Build small-scale research activities into undergraduate assignments

  • 모든 수준의 학생들은 종종 그룹으로 수행할 수 있는 소규모 연구 활동의 이점을 누릴 수 있습니다. 이는 개인 연구보다는 연구 팀에서 작업하는 연구 문화를 반영합니다.
  • 학생에게 기존 '실제' 프로젝트의 연구 데이터를 분석하도록 요청합니다.
  • 학생들에게 소규모 문헌 검토를 수행하고, 방법론을 결정하고, 데이터를 수집하고, 결과를 작성하고, 결론에 도달해야 하는 연구 질문을 제공합니다.
  •  • Students at all levels can benefit from small-scale research activities that can often be carried out in groups. This mirrors the research culture of working in research teams rather than conducting individual research.
  •  • Ask students to analyze research data from existing ‘real world’ projects.
  •  • Provide students with a research question which requires them to conduct a small-scale literature review, decide on methodology, gather data, write up results and reach conclusions.

학생들이 학과의 연구 문화의 일부라고 느끼도록 장려합니다.
Encourage students to feel part of the research culture of Departments

  • 학부생에게 자신이 공부하고 있는 학과의 연구 관심 분야와 직원들의 강점에 대해 알려주세요.
  • 동료의 관심 분야와 업적을 언급하고 가능하면 동료가 학생들과 자신의 연구에 대해 이야기하도록 초대합니다.
  • 학부생과 대학원생이 학자 방문 연구 세미나에 참석하고, 컨퍼런스에서 논문을 발표하고, 학생 컨퍼런스를 주최하도록 장려합니다.
  •  • Inform undergraduate students about the research interests and strengths of staff in the Departments in which they are studying.
  •  • Refer to colleagues’ areas of interest and achievements and, where possible, invite them to speak to students about their work.
  •  • Encourage undergraduate and postgraduate students to attend research seminars by visiting scholars, give papers at conferences, and host student conferences.

교육에 연구자의 가치를 불어넣으세요.
Infuse teaching with the values of researchers.

  • 학생들이 객관성, 증거 존중, 타인의 견해 존중, 모호성에 대한 관용, 분석적 엄격성 등 연구자의 가치를 이해하고 이를 지향하도록 장려하세요:
  • 강의실 상호작용에서 연구자의 가치 모델링하기
  • 연구자가 논문이 출판되기 전에 거치는 과정과 일반적으로 수정을 거치는 횟수에 대해 이야기하기
  • 동일한 주제에 대해 상반된 주장을 제시하는 연구 논문을 제공하고 학생에게 그 타당성을 분석하고 결론을 도출하도록 요청하는 등, 학생이 이러한 가치를 개발하도록 요구하는 구조화된 학습 경험을 제공합니다
  • • Encourage students to understand and aspire to researchers’ values such as objectivity, respect for evidence, respect for others’ views, tolerance of ambiguity, and analytical rigour, by:
  •  • Modeling researchers’ values in classroom interactions
  •  • Talking about the process that researchers go through before their work is published and the number of revisions typically involved
  •  • Providing structured learning experiences that require students to develop these values, such as, providing research articles presenting opposing arguments on the same topic and asking students to analyze their validity and draw a conclusion

8.4.4 현대 연구 이슈를 중심으로 학습 활동 설계하기
8.4.4 Designing learning activities around contemporary research issue

  • 학생들에게 최신 연구 문제를 탐구하거나 학문의 기초에 대한 지식을 바탕으로 현재 현실 세계의 문제에 대한 해결책을 제안하도록 요청합니다. 이 활동의 변형으로는 학생들에게 다음과 같은 질문을 하는 것도 포함됩니다:
  • 연구에 대한 언론 보도와 공식 보고서를 비교하여 해당 분야의 현재 연구 문제 현황에 대한 보고를 조사합니다.
  • 최근 연구 결과를 설명하는 저널 기사에 제시된 방법론과 논거를 분석합니다.
  • 소규모 문헌 검토를 수행하여 지식의 현재 상태와 해결해야 할 추가 질문에 대한 결론을 도출합니다.
  • • Ask students to explore cutting-edge research problems or to suggest solutions to current real world problems based on their knowledge of the fundamentals of the discipline. Variants of this activity include asking students to:
  •  • Investigate the reporting of the status of a current research question in the discipline by comparing media reporting of a study with the official report.
  •  • Analyze the methodology and argument presented in a journal article setting out recent research findings.
  •  • Conduct a small-scale literature review, leading to a conclusion about the current state of knowledge and further questions to be addressed.

8.4.5 프로그램 내에서 연구 방법, 기법 및 기술을 명시적으로 가르치기
8.4.5 Teaching research methods, techniques and skills explicitly within programs

학부 및 대학원 수준의 많은 학생들이 연구 수행을 위한 기초가 매우 취약합니다. 이러한 결핍은 교수자와 학생 모두에게 좌절감을 안겨줄 수 있는 도전적인 과제가 됩니다. 이러한 문제를 방지하기 위해 강사는 다음 사항을 고려해야 합니다.
Many students at both undergraduate and graduate levels possess very weak foundations for conducting research. This deficit makes it a challenging undertaking that can lead to frustration for both the instructor and the student. For avoiding the problems the instructor should take into consideration the following points.

  • 실험실 수업 중에 연구 방법론에 대한 학생의 이해를 개발합니다. 
  • 연구 과제를 더 잘 이해할 수 있도록 시뮬레이션 과정을 설계합니다. 
  • 학생에게 현대의 주요 연구 문제와 관련된 다양한 방법과 기술을 배울 수 있는 기회를 제공하는 과목 내 평가 과제를 설계합니다. 
  • 실제 연구 문제에 연구 기술을 적용할 수 있는 기회를 제공하는 연구 방법론 과정을 설계합니다. 
  • 수업 세션 중에 학생들을 팀으로 나누고 각 팀이 매우 직관적인 가설을 세우고 질문을 생성하도록 장려해야 합니다. 
  • 문헌 검토 단계에서는 일반적으로 다른 코스에서는 사용되지 않지만 독창적인 연구를 수행하는 데 필수적인 중요한 온라인 아카이브를 학생에게 노출할 수 있는 기회를 교수자에게 제공합니다. 
  • 학생에게 다양한 통계 소프트웨어 및 통계 방법에 대한 실무 지식을 제공합니다. 
  •  • Develop students’ understanding of research methodologies during laboratory classes.
  •  • Designing simulation courses for better understanding the research tasks.
  •  • Design assessment tasks within subjects that provide students with opportunities to learn different methods and skills associated with key contemporary research issues.
  •  • Design research methodology courses that provide opportunities to apply research skills to authentic research problems.
  • • During a class session, students may be divided into teams, and each team came up with a set of very intuitive hypotheses, they should be encouraged to generating the question.
  •  • The literature review step offers the instructor an opportunity to expose students to important online archives that typically are not used in other courses, but that are essential to conducting original research.
  •  • Proving some hands-on knowledge to the students for different statistical software and statistical methods.

8.4.6 소규모 연구 활동 구축하기
8.4.6 Building small-scale research activities

모든 수준의 학생들은 종종 그룹으로 수행할 수 있는 소규모 연구 활동의 혜택을 누릴 수 있습니다. 이는 개인 연구보다는 연구 팀에서 일하는 연구 문화를 반영합니다. '실습' 접근 방식을 강조하는 코스에서는 학생들에게 연구가 어떻게 수행되는지 가르쳐야 하지만, 사회과학에서 경험주의의 중요성을 전달하기 위한 방법으로 학생들이 직접 연구를 수행하도록 요구해야 합니다. 강사와 학생 모두 소규모 연구 활동의 이점을 누릴 수 있습니다. 교수자에게는 연구와 강의를 통합할 수 있는 기회를 제공하고, 학생들에게는 활발한 연구 의제에 직접 참여할 수 있는 기회를 제공합니다. 교수는 특정 분야를 연구한 경험을 학생들과 공유할 수 있습니다. 이 경우 학생들은 권위자를 조사하면서 발견한 어려움, 보람, 기회에 대한 솔직한 토론을 높이 평가했습니다. 
Students at all levels can benefit from small-scale research activities that can often be carried out in groups. This mirrors the research culture of working in research teams rather than conducting individual research. A course that stresses the “hands-on” approach should teach students how research is conducted, but it also should require them to do the research, as a way of communicating the importance of empiricism in the social sciences. Both instructors and students can benefit from the small scale research activities. It gives the instructor an opportunity to integrate research with teaching, and to inject students directly into an active research agenda. Professors are able to share with students their experiences of trying to research a particular area. In this case, students appreciated the frank discussions regarding the difficulties, rewards, and opportunities that they discovered while researching authorities.

  • 학생들이 자신의 관심 분야에 대해 발표된 연구를 평가하는 등 자신의 관심 분야에 방법을 적용할 수 있는 과제를 제시하세요.
  • 자신의 교실, 학생 또는 라이프스타일 문제에서 문제가 되는 영역을 찾아내는 과제를 주는 등 다양한 분야에서 수행된 실제 연구 사례를 통해 학생들의 참여를 유도합니다.
  • 학생들에게 기존 '실제' 프로젝트의 연구 데이터를 분석하도록 요청합니다.
  • 학생들에게 소규모 문헌 검토를 수행하고, 방법론을 결정하고, 데이터를 수집하고, 결과를 작성하고, 결론에 도달해야 하는 연구 질문을 제공합니다.
  • 이전 학기에 습득한 연구 기술과 학문적 지식을 활용하여 주요 프로젝트에 초점을 맞춘 캡스톤 과정을 제공합니다.
  • 동료의 관심 분야와 성과를 참고하고, 가능하면 동료가 학생들과 자신의 작업에 대해 이야기하도록 초대합니다.
  • 학부생과 대학원생이 학자 방문 연구 세미나에 참석하고, 학회에서 논문을 발표하고, 학생 컨퍼런스를 주최하도록 장려합니다.
  • • Give assignments that let students apply methods to their own area of interest such as evaluate published studies in their area of interest.
  •  • Engage them with real world examples of research conducted in different areas, such as give them a task to indentify the area of issue in their own classroom, students or their life style issues.
  •  • Ask students to analyze research data from existing ‘real world’ projects.
  •  • Provide students with a research question which requires them to conduct a small-scale literature review, decide on methodology, gather data, write up results and reach conclusions.
  •  • Offer capstone courses that focus on a major project utilizing the research skills and disciplinary knowledge acquired in previous semesters.
  •  • Refer to colleagues’ areas of interest and achievements and, where possible, invite them to speak to students about their work.
  •  • Encourage undergraduate and postgraduate students to attend research seminars by visiting scholars, give papers at conferences, and host student conferences.

8.4.7 학생(고등 연구생)에게 연구 가치관 심어주기
8.4.7 Infusing research values in the students (higher degree research students)

학생들이 객관성, 증거 존중, 타인의 견해 존중, 모호성에 대한 관용, 분석적 엄격성과 같은 연구자의 가치를 이해하고 열망하도록 장려합니다: 
Encourage students to understand and aspire to researchers’ values such as objectivity, respect for evidence, respect for others’ views, tolerance of ambiguity, and analytical rigour, by:

  • 강의실 상호작용에서 연구자의 가치 모델링하기
  • 연구자가 논문이 출판되기 전에 거치는 과정과 일반적으로 수정을 거치는 횟수에 대해 이야기하기
  • 동일한 주제에 대해 상반된 주장을 제시하는 연구 논문을 제공하고 학생에게 그 타당성을 분석하고 결론을 도출하도록 요청하는 등 학생들이 이러한 가치를 개발하도록 요구하는 구조화된 학습 경험을 제공합니다. 학부 연구에 참여하는 것은 학생들에게 교육적, 직업적, 개인적으로 유익합니다. 연구를 통해 얻을 수 있는 이점에 대해 교육합니다.
  •  • Modeling researchers’ values in classroom interactions
  •  • Talking about the process that researchers go through before their work is published and the number of revisions typically involved
  •  • Providing structured learning experiences that require students to develop these values, such as, providing research articles presenting opposing arguments on the same topic and asking students to analyze their validity and draw a conclusion Participation in undergraduate research benefits students educationally, professionally, and personally. Educate them for about the benefits they get from doing research.

8.5 사례 기반 학습
8.5 Case Based Learning

"사례"우리가 사용하는 문제 또는 의사 결정자가 실제로 직면하여 그의 분석과 결정을 필요로 하는 상황에 대한 설명입니다. 학습 환경에서는 주어진 환경에서 문제에 대한 가능한 최선의 해결책을 찾기 위해 그룹 토론을 하는 경우가 많습니다. 사례 토론은 단순한 경험의 공유를 넘어 협동적이고 창의적인 사고의 연습입니다. 확실히 함께 행동하는 그룹의 작업은 개별 부분의 합보다 더 많은 것을 의미합니다. 따라서 이 학습 방법은 사례와 토론이라는 똑같이 중요한 두 가지 요소를 기반으로 한다는 점을 명심해야 합니다. 
A “Case” is a problem in our usage, or a description of a situation that has actually faced a decision maker and required his analysis and decision. In learning environment it is quite often a group discussion exercise to find the best possible solution to the problem in the given environment. Case discussion is more than just a pooling of experience; it is an exercise in cooperative and creative thinking. Certainly the work of the group acting together is something more than the sum of its individual parts. Thus it is important to bear in mind that this method of learning is based on two equally important elements—cases and discussions.

8.5.1 사례 사용의 철학/근거
8.5.1 Philosophy / Rationale for Use of Case

다음은 교육에 사례를 사용하는 철학 및/또는 근거에 대한 발췌문입니다.
Here is an excerpt on the philosophy and / or rationale for using cases for teaching.

"의심할 여지없이 교과서와 강의의 경로를 통해 소위 지식을 습득하는 것이 더 쉬울 것입니다. 사례 방식은 어려운 방식입니다. 그럼에도 불구하고 사례법은 실제 교육과 단순히 수동적으로 습득한 단어와 아이디어 사이의 차이를 만듭니다. 지식이 곧 힘이라는 말은 자주 사용됩니다. 너무 자주 이 말은 지식이 권력을 부여한다는 의미로 해석됩니다. 수동적으로 습득한 지식이 받는 사람에게 어떤 권력을 부여한다는 것은 사실과 다릅니다. "지식은 힘이다"라는 말의 진정한 의미는 진정한 지식은 문제를 해결하고, 문제를 분석하고, 사실을 정리하고, 무엇을 해야 하는지 파악한 다음 실행할 수 있는 힘, 이러한 힘으로 구성된다는 것입니다. 즉, 진정한 교육은 단순히 책으로 배우는 것이 아니라 상황에 대처할 수 있는 힘, 특히 새롭고 낯선 상황에 대처할 수 있는 힘을 길러줘야 합니다. 이제 그런 힘은 주어지는 것이 아닙니다. 습득해야 합니다. 개인적인 노력을 통해 습득해야 합니다. 진정한 교육은 노력입니다. 강사의 아이디어를 주입하는 것이 아니라 학생의 마음을 끌어내는 과정입니다. 케이스 방식에서는 학생 스스로 무언가를 찾아내야 합니다. 케이스 방식에서는 학생이 수동적인 역할이 아니라 능동적인 역할을 합니다. 강사가 지시하는 것이 아니라 학습자가 사례를 연구하여 강사에게 말하기를 기대합니다. 그런 다음 자신이 취한 입장을 논리적으로 정당화할 수 있는지 질문합니다. 처음에는 사례 방식이 어렵게 느껴질 수 있지만 결국에는 큰 도움이 될 것입니다. "(브라운 외 1961) 
“Undoubtedly it would be easier for you to acquire so-called knowledge by the route of the textbook and the lecture. The case method is the hard way. Nevertheless the case method makes the difference between real education and merely passively acquired words and ideas. The statement frequently is made that knowledge is power. Too frequently that is interpreted to mean that knowledge confers power. Nothing could be less true than the passively acquired knowledge confers any power on the recipient. The true meaning of the statement “knowledge” is power” is that true knowledge consists of power, power to tackle a problem, break it down, sort out the facts, see what must be done, and then get it done. In other words, real education should equip the student not just with book learning but with power to deal with situations, particularly power to deal with new and unfamiliar situations. Now that kind of power cannot be conferred. It has to be acquired. It has to be acquired by painstaking personal effort. Real education is hard work. It is a process of drawing out the student’s mind, not of pouring in the instructor’s ideas. Under the case method you are expected to dig things out for yourself. Under the case method you play an active rather than a passive role. The instructor does not tell you, he expects you to study the case and tell him. Then he questions you to see whether you can logically justify the position which you take. You will find the case method hard at the outset but it will pay dividends in the end. “(Brown et.al 1961)

........ 지혜는 말할 수 없기 때문에2
……..
Because wisdom can’t be told2

현명한 말과 건전한 조언을 듣는 단순한 행위는 누구에게도 도움이 되지 않는다고 단호하게 말할 수 있습니다. 학습 과정에서는 학습자의 역동적인 협력이 필요하지만, 이러한 협력이 저절로 생기는 것은 아닙니다. 이러한 협력은 제공되어야 하고 지속적으로 장려되어야 합니다. 
It can be said flatly that the mere act of listening to wise statements and sound advice does little for anyone. In the process of learning, the learner’s dynamic cooperation is required, such cooperation form students does not arise automatically, however. It has to be provided for and continually encouraged.

비즈니스를 학문으로 삼은 사람들의 축적된 경험과 지혜를 강의와 독서를 통해 지적인 젊은이들에게 전달함으로써 원하는 결과를 얻을 수 있다는 분석되지 않은 가정을 쉽게 받아들일 것입니다. 물론, 보다 신중하게 선택된 젊은이들이 다른 사람들이 습득하고 발전시키는 데 평생이 걸렸던 정보와 일반적인 원칙을 제공받는 이점을 가지고 비즈니스 경력을 시작한다면, 그들은 정보가 부족한 동시대 사람들보다 확실히 앞서 나갈 것으로 기대할 수 있습니다. 
It would be easy to accept the unanalyzed assumption that by passing on, by lectures and readings, to young men of intelligence the accumulated experience and wisdom of those who have made business their study, the desired results could be achieved. Surely, if more carefully selected young men were to begin their business careers with the advantage of having been provided with information and general principles which it has taken others a lifetime to acquire and develop, they might be expected to have a decided head start over their less informed contemporaries.

교사는 다른 사람들의 지식의 지평을 넓히는 것이 자신의 목표이기 때문에 특히 자신이 알고 있는 것을 알려주고 올바른 생각과 행동의 길을 제시하고 싶은 유혹에 시달립니다. 그들의 도움이 요청되는 영역은 그들이 여러 번 침투한 영역입니다. 그들은 아마도 모든 각도에서 자신의 주제에 대해 성찰했을 것입니다. 그들은 자신이 답을 알고 있다고 생각하며 사심 없이 모든 사람에게 기꺼이 알려줍니다. 따라서 그들의 학생들은 그들이 그렇게 훌륭한 답을 찾을 수 있다고 가정하더라도 문제를 해결하는 데 걸렸을 모든 시간과 노력을 절약 할 수 있습니다. 
Teachers, since it is their avowed objective to extend the knowledge boundaries of others, are particularly beset by the temptation to tell what they know - - to point out right paths of thoughts and action. The areas in which their help is called for are the once they have penetrated many times. They have reflected, presumably, upon their subjects from all angles. They feel that they know the answers and, with unselfish abandon, they are willing to tell all. Their students thus will be saved all the time and effort it would have taken them to work things out for them, even granted they ever could work out such excellent answers.

우리는 다른 사람의 통찰력과 지식을 효과적으로 사용할 수 없습니다: 우리가 사용하는 것은 반드시 우리 자신의 지식과 통찰력이어야 합니다.....
We cannot effectively use the insight and knowledge of others: it must be our own knowledge and insight that we use…..

8.5.2 사례 교수법에 따라 학생과 교사는 어떻게 되나요?
8.5.2 What happens to students and teachers under the case method of teaching?

사례 중심 교수법은 사실상 정반대의 가부장적 성격을 띠는 주입식 교수법과는 달리 민주적이라고 할 수 있습니다. 사례법을 사용하면 교사와 학생 등 학습 그룹의 모든 구성원이 동일한 기본 자료를 가지고 있으며, 이를 바탕으로 분석하고 결정을 내릴 수 있습니다. 따라서 각자는 비즈니스 관행과 정책을 규율하는 원칙 체계에 기여할 수 있는 동일한 기회를 갖게 됩니다. 모두가 동등한 위치에 있으며 모두가 경쟁하고 있습니다. 강의실 안팎에서 강력한 기브앤테이크가 이루어질 수 있는 기반이 마련됩니다. 상호 만족스럽고 우월한 개념을 구축하는 것을 목표로 아이디어를 교환하는 귀중한 예술이 배양됩니다. 이러한 교환은 생각을 자극하고 다른 사람으로부터 배우는 방법에 대한 교훈을 제공하며 자신의 아이디어를 효과적으로 전달하는 경험도 제공합니다.
The case plan of instruction may be described as democratic in distinction to the telling method, which is in effect diametrically patriarchal. With the case method, all members of the academic group, teacher and students, are in possession of the same basic materials into the light of which analysis are to be made and decisions arrived at. Each therefore, has an identical opportunity to make a contribution to the body of principles governing business practice and policy. Everyone is on a par and everyone is in competition. The basis is provided for strong give and take both inside and outside the classroom. The valuable art of exchanging ideas is cultivated, with the object of building up some mutually satisfactory and superior notion. Such an exchange stimulates thought, provides a lesson in how to learn from others, and also gives experience in effective transmission of one’s own ideas.

교사와 학생 모두에게 사례 학습 방법의 규율은 엄격합니다. 가부장적인 강사의 지배를 받아왔기 때문에 사실과 아이디어를 다소 수동적으로 받아들이고 그대로 반복하는 비교적 단순한 작업만 해왔던 젊은 남성들에게는 때때로 그 충격이 치명적일 수 있습니다. 모든 학생이 능동적으로 사고하고 동시대 사람들의 격렬한 도전을 받을 수 있는 독립적인 판단을 내리는 부담을 견딜 수 있는 것은 아닙니다. 많은 사람들은 항상 정답이 정해져 있는 것을 선호합니다. 특히 시스템에 익숙하지 않은 교사들은 독단주의라는 안전한 피난처를 떠나 민주적인 방식으로 학생들을 만나는 것이 때때로 부담스러울 수 있습니다. 그러나 사례 시스템의 본질적으로 극적이고 도전적인 특성은 새로 온 사람에게 불안과 혼란을 야기할 수 있지만, 동시에 깊은 관심을 불러일으키고 적응에 필요한 노력을 기울이게 합니다. 
For both teachers and students, the disciplines of the case method of learning are severe. Sometimes the shock is devastating to young men who previously have been dominated by patriarchal instructors and thus have been faced merely with the relatively simple task of more or less passive reception and verbatim repetition of facts and ideas. Not all students can bear the strain of thinking actively, of making independent judgments which may be challenged vigorously by their contemporaries. Many people will always prefer to have answers handed to them. Teachers, for their part, particularly those unused to the system, sometimes find it straining to leave the safe haven of dogmatism and meet their students on a democratic plane. The inherently dramatic and challenging character of the case system, however, although it may produce anxiety and confusion for the newcomer, also arouses his deep interest and leans him to make the effort required for adjustment.

모든 학생들이 동시대 사람들의 격렬한 도전을 받을 수 있는 독립적인 판단을 내리는 능동적인 사고를 견딜 수 있는 것은 아닙니다. 많은 사람들은 항상 정답이 정해져 있는 것을 선호합니다. 특히 시스템에 익숙하지 않은 교사들은 독단주의라는 안전한 피난처를 떠나 민주적인 방식으로 학생들을 만나는 것이 때때로 부담스러울 수 있습니다. 그러나 사례 시스템의 본질적으로 극적이고 도전적인 특성은 새로 온 사람에게 불안과 혼란을 야기할 수 있지만, 동시에 깊은 관심을 불러일으키고 적응에 필요한 노력을 기울이게 합니다.
Not all students can bear thinking actively, of making independent judgments which may be challenged vigorously by their contemporaries. Many people will always prefer to have answers handed to them. Teachers, for their part, particularly those unused to the system, sometimes find it straining to leave the safe haven of dogmatism and meet their students on a democratic plane. The inherently dramatic and challenging character of the case system, however, although it may produce anxiety and confusion for the new comer, also arouses his deep interest and leans him to make the effort required for adjustment.

8.5.3 사례를 어떻게 분석하고 준비하나요? (데이비드 외 1965)
8.5.3 How to Analyze and prepare a case? (David et al 1965)

사례 분석에 대한 공식은 없으며, 각 사례는 새롭고 독특한 상황으로 다루어야 합니다. 한 사례에 적절해 보이는 접근 방식이 다른 사례에는 매우 부적절할 가능성이 높습니다. 그러나 사례 준비 시 따를 수 있는 몇 가지 일반적인 절차가 있습니다. 많은 사례를 분석하기 위한 전제 조건은 의사 결정의 언어에 대한 이해입니다. 각 사례에는 결정이 필요한 문제가 있습니다. 당연히 결정은 사건의 사실관계에 대한 정확한 파악을 바탕으로 내려져야 합니다. 따라서 사례에 접근하는 데 있어 중요한 첫 번째 단계는 사건 자체를 주의 깊게 읽고 파악하는 것입니다. 사실 첫 번째 읽기로 사실관계를 파악하는 것은 거의 불가능하며, 첫 번째 읽기는 주로 주요 쟁점을 분리하고 배경을 스케치하는 수단으로 유용합니다. 일반적으로 세부 사항을 채우려면 두 번째 읽기가 필요합니다.
There is no formula for the analysis of cases; each must be handled as a new and unique situation. The approach that appears to be appropriate for one case is more than likely quite inappropriate for another. There are, however, certain general procedures that can be followed in the preparation of cases. A prerequisite to analysis of many cases is an understanding of the language of the decision making. Each case poses issues requiring decision(s). Obviously, decisions should be based on a sound grasp of the facts of the case. A vital first step in approaching any case, then, is to read and read carefully the case itself. It is seldom possible to assimilate the facts in a first reading; indeed, the first reading is useful primarily as a means of isolating leading issues and sketching the background. A second reading is generally necessary to fill in the details.

학생은 사례를 읽는 동안 끊임없이 스스로에게 질문해야 합니다: 무엇이 문제인가? 조치가 필요한 요점은 무엇인가? 이 상황을 초래한 원인은 무엇인가요? 대부분의 경우 문제는 매우 간단하고 직접적일 수 있지만, 어떤 경우에는 복잡하고 모호할 수 있습니다. 많은 경우, 처음 읽었을 때 문제처럼 보이는 것이 자세히 살펴보면 더 깊고 근본적인 문제의 한 증상일 수 있습니다. 사례 처리의 이 단계는 의사가 환자의 질병을 진단하려고 시도하는 것과 유사합니다. 의사는 여러 가지 증상을 관찰하여 가설을 세웁니다. 사실상 여기 학생도 같은 일을 하고 있는 것입니다. 의료 사례에서와 마찬가지로 이 진단 단계는 문제의 진단에 따라 조치에 대한 권장 사항이 달라지기 때문에 매우 중요합니다. 진단 기술은 교과서를 읽는다고 해서 생기는 것이 아니라 실제 사례를 반복적으로 관찰하는 데서 비롯됩니다. 
Throughout his reading of the case, the student should be constantly asking himself:
what is the problem? What is the point (or points) on which action is required? What has caused this situation? In many cases, the issue will be quite simple and direct; in others, it will be complex and obscure. In many cases, what seems like the issue on first reading may upon reflection be only a symptom of some deeper, more basic problem. This stage in the handling of a case is analogues to the physician attempting to diagnose his patient’s illness. He develops a hypothesis by observing a number of symptoms. In effect, the student here is doing the same. As in a medical case, this stage of diagnosis is crucial, for it is on the diagnosis of the problem that recommendations for action will depend. Skill in diagnosis seldom from reading textbooks: it comes from repeated observation of actual cases.

핵심 문제와 그 원인을 진단한 학생은 일반적으로 몇 가지 대안적인 행동 방침에 직면하게 되는데, 이 단계에서 가능한 모든 행동 방침의 전체 목록을 작성하는 것이 종종 유용합니다. 그런 다음 각각을 개별적으로 고려하고 그 의미와 예상되는 결과를 검토할 수 있습니다. 이 과정에서 각 조치가 회사 내부 운영뿐만 아니라 소비자, 경쟁사 및 경제 전체에 미치는 영향을 신중하게 검토해야 합니다. 그런 다음 일부 대안은 더 이상 고려하지 않고 신속하게 제거할 수 있습니다. 이제 사례를 읽고, 진단하고, 대안을 고려했습니다. 이 절차를 통해 실현 가능한 대안을 두세 가지로 줄이는 데 성공했다고 가정하고, 이 대안들이 모두 상당히 균형 있게 고려되었다고 가정해 봅시다. 이 시점에서 명확한 결정을 내리기 전에 답을 구해야 하는 일련의 질문으로 중심 문제를 세분화하는 것이 유용할 수 있습니다.
Having diagnosed the central problem and its likely causes, the student is generally faced with several alterative courses of action; it is frequently useful at this stage to make a complete listing of all the possible courses of action. Then each may be considered individually, and the implications and likely results examined. In this process, the effects of each action, not only upon the internal operations of the firm, but upon consumers, competitors, and the economy as a whole, should be carefully weighed. Some alternatives may then be quickly eliminated from further consideration. The case has now been read, diagnosed, and alternatives considered. Let us, suppose that this procedure has succeeded in reducing the feasible alternatives to two or three in number, all fairly evenly balanced. It may be useful at this point to break down the central problem into a series of questions which requires answers before any definite decisions can be made.

많은 경우 질문에 대한 명확한 답이 나오지 않을 것입니다. 학생이 질문에 답할 수 있을 만큼 충분한 정보가 없는 경우도 종종 있습니다. 이 경우 좌절감을 느낄 수 있지만, 학생은 비즈니스에서도 동일한 상황이 종종 발생한다는 점을 인식해야 합니다. 대부분의 의사 결정은 불완전한 정보를 바탕으로 이루어집니다. 학생들은 정보에 입각한 추측을 하거나 직감에 의존해야 합니다. 
At many points, no definite answers will be forthcoming in response to questions. Often there will not be sufficient information in the case to enable the student to answer the questions. While this may prove frustration, the student should realize that the same situation is often the case in business itself. The vast majority of decisions are made on the basis of incomplete information. They must make informed guesses, or even play hunches.

8.5.4 교실에서 기대되는 것은 무엇인가? (David 외 1965)
8.5.4 What is expected in the Classroom? (David et al 1965)

개별 사례 연구를 통해 얻을 수 있는 보상은 의심할 여지가 없지만, 교실에서의 주고받기는 사례 방법을 진정한 결실로 가져다 줍니다. 어떤 학생은 이 단계가 가장 어렵다고 느낄 수 있으며, 개인 작업에서 가장 뛰어난 학생도 다른 사람들 앞에서 자신의 생각을 발표하고 방어해야 할 때는 상당히 비효율적이 될 수 있습니다. 물론 그 반대도 마찬가지입니다. 아마도 이 글을 읽는 대부분의 독자는 관리직에 진출할 계획이 있기 때문에 이 글을 읽고 있을 것입니다. 경영은 진공 상태에서 이루어지는 것이 아니라 사람을 위해 사람이 운영하는 것입니다. 다른 사람들과 소통하고 협력하는 능력은 효과적인 경영을 위해 필요한 자질 목록에서 높은 순위를 차지합니다. 
While there are undoubted rewards from individual study of cases, the give and take of the classroom brings the case method to true fruition. Some students will find this the most difficult step of all; some who are most brilliant in their individual work become quite ineffective when called on to present and defend their thinking before others. The reverse is also true, of course. Presumably, most of the readers are here because they plan to enter a management career. Management is not carried on in a vacuum; it is run by people for people. The ability to communicate with others and to work with others stands high on the list of qualities necessary for effective management.

사례법을 수업에 활용하면 상대방의 의견을 경청하는 법을 배우고, 자신을 표현하고 다른 사람을 자신의 관점으로 설득하는 방법을 배우는 경험을 할 수 있습니다. 이 방법은 자신의 판단에 대한 자신감을 얻을 수 있는 기회를 제공할 뿐만 아니라 어느 정도의 겸손함도 제공합니다. 또한 문제의 한 차원 또는 다른 차원에 대한 엄격한 논리적 분석과 공통 분모가 없는 여러 요소를 고려해야 할 때 판단력이 어느 정도까지 발휘되는지 배울 수 있는 가장 귀중한 기회를 제공합니다.5 
The case method if used in class provides an experience in learning to listen to the views of one’s gears and in learning how to express one’s self and perhaps to persuade others to one’s point of view. The method provides an opportunity to gain confidence in one’s own judgment, but also a degree of humility as well. It also provides a most invaluable opportunity to learn how far one can go by rigorous logical analysis of one or another dimension of the problem and the extent to which judgment comes into play when many factors which have no common denominator must be weighed.
5

8.5.5 케이스 방법의 한계: (말콤 1954)
8.5.5 Limitations of Case Method: (Malcolm 1954)

그러나 사례법에는 단점도 있습니다. 
The case method, however, has its disadvantages.

첫째, 행정 기술 개발의 진전이 느리고, 특히 학생이 사례법을 처음 접하고 사례법에 따른 자신의 변화된 지위와 책임을 이해하려고 노력하는 초기에는 학생과 교사 모두 좌절감을 느낀다. 
First, progress in developing administrative skills is slow, and student and teacher alike feel thwarted, especially in the early months, when the student first comes into contact with the case method and is seeking to comprehend his changed position and responsibilities under the case method of instruction.

둘째, 교육에 적용되는 사례법은 사실에 대한 기본적인 지식과 성숙도(책임을 받아들일 준비가 되어 있는 상태)를 전제로 하는데, 그 결과가 현실적이기 위해서는 학생의 젊음에 한계를 두어야 합니다.
Secondly, the case method as applied to instruction assumes a basic knowledge of facts as well as a maturity - - a readiness for acceptance of responsibility- - that, if the results are to be realistic, puts a lower limit to the youthfulness of the student.

사례 방법의 더 중요한 한계는 문제 상황을 지나치게 단순화한다는 것입니다. 검색해야 할 영역이 사례 자체에 의해 제한되기 때문에 문제 인식이 단순화되는데, 이는 비즈니스에서는 일반적이지 않은 조건입니다. 또한, 비즈니스 상황에서는 어떤 정보가 필요한지 결정하고 적절한 노력을 기울이면 얻을 수 있는지를 파악하는 것이 관리자의 중요한 업무인 반면, 사례에서는 분석과 계획에 필요한 요소와 많은 정보가 사례 작성자에 의해 사례에 통합되어 있습니다. 사례 방법의 또 다른 중요한 한계는 전체 행정 프로세스를 종합할 수 없다는 것입니다. 분석이 완료되고 계획이 수립된 후에는 실제 수행 과정, 대면 수준에서 세부 사항을 매일 감독하고 결과를 확인하는 작업이 있으며, 이 과정에서 사례 방법은 제한적으로 도움이 될 수 있습니다.
A more important limitation of the case method is that it oversimplifies the problem situation. Recognition of a problem is simplified because the areas to be searched are limited by the case itself, a condition not typical of business. Furthermore, the factors involved and much of the information needed for analysis and planning have been incorporated in the case by the case writer; whereas in the business situation, deciding what information is required and getting it (if it is available with an appropriate expenditure of effort) are an important part of the task of the administrator. Another important limitation of the case method is that it cannot synthesize the whole administrative process. After analysis is completed and plans have been laid, there is the actual carrying-out process, the daily supervision of details on a face-to-face level, and the checking up on results, in operation for which the case method can be of limited help.

8.6 요약
8.6 Summary

변화하는 사회에 적응하는 새로운 직업 문화 속에서 고등 교육은 지속적인 변화를 경험하고 있습니다. 따라서 교육자/강사는 전통적인 강의식 학습을 넘어서는 사고방식이 필수적이 되었습니다. 교육 전문가는 자신의 전문적 요구와 전문 분야에서 발생하는 새로운 주제에 대해 철저히 생각할 수 있는 연구자이자 지식 사용자가 되어야 합니다. 따라서 문제, 프로젝트 및 연구 기반 학습은 수동적인 학습에서 능동적인 학습으로의 전환을 촉진하여 교육자와 학생이 자신의 분야가 얼마나 복잡한지 인식하고 이 분야를 형성하는 사회적, 문화적, 역사적, 철학적, 심리적 맥락에 부합해야 한다는 것을 이해할 수 있도록 합니다. 성공적인 교육을 위해서는 교사가 자신의 전문 분야에 대한 연구자가 되어야 합니다. 이 제안을 위해 대학 프로그램은 학생과 교사의 연구 역량, 특히 연구 프로젝트 수행과 관련된 역량을 개발하고 지식과 학문적 경험을 전문적 실천으로 옮길 수 있도록 학습 프로그램과 방법을 조정해야 합니다. 이 장에서는 수업 기반 교수법에 대한 대체 학습 모델, 즉 문제 기반 학습, 프로젝트 기반 학습, 연구 기반 학습 및 사례 기반 학습에 대해 자세히 설명했습니다. 이러한 방법과 관련된 프로세스, 주의 사항 및 이러한 방법을 통해 얻을 수 있는 이점에 대해 설명했습니다. 
In this new professional culture, adapted to a changing society, higher education is experiencing a continuous transformation. Thus, it has become imperative for educators/ instructors to think beyond the traditional lecture bound learning. Education professionals ought to be researchers and knowledge users to be able to think thoroughly upon their own professional needs and upon the new topics arising in their professional field. And thus problem, project, and research based learning facilitate a shift from a passive to an active learning enabling educators and students to become aware of how complex their field is and to understand that this field should meet the social, cultural, historical, philosophical, and psychological context shaping it. Teachers should become researchers of their own professional practice, in order to give thrive successfully. For this propose, university programs have to adapt their study programs and methods in order to develop both students/ teachers’ research competences, especially those related to conduct research projects and also to be able to transfer their knowledge and academic experiences to their professional practice. The current chapter has gone into details about alternate learning models to class based teaching viz., problem based learning, project based learning, research based learning and case based learning. Process involved in, cautions to be exercised, and benefits accrued from these methods have been described.

8.7 주요 용어 및 정의
8.7 Key terms with Definition

문제 기반 학습: 문제 기반 학습은 학생들이 개방형 문제를 해결하기 위해 그룹으로 작업하여 과목을 학습하도록 하는 학생 중심 접근 방식입니다. 문제는 동기 부여와 학습의 원동력이 됩니다. 
Problem based Learning:
Problem based Learning is a student-centered approach in which students are made to learn a subject by working in groups to solve an open-ended problem. The problem is what drives the motivation and the learning.

프로젝트 기반 학습: 프로젝트 기반 학습은 "복잡하고 실제적인 질문과 신중하게 설계된 제품 및 과제를 중심으로 구성된 확장된 탐구 과정을 통해 학생들이 지식과 기술을 학습하도록 유도하는 체계적인 교육 방법"입니다.
Project based Learning:
Project based Learning is “a systematic teaching method that engages students in learning knowledge and skills through an extended inquiry process structured around complex, authentic questions and carefully designed products and tasks”

연구 기반 학습: 연구 기반 교수법이란 학생들이 코스에서 독립적으로 실험/연구를 수행하고 그 결과를 공개하는 것을 의미합니다. 이러한 형태의 교수학습은 강사와 학생이 공동으로 새로운 지식을 습득하는 데 중점을 둡니다.
Research based learning:
Research-based teaching means that students carry out experiments/ research in their courses independently and with an open outcome. This form of teaching and learning focuses on the joint acquisition of new knowledge by lecturers and students.

사례 기반 학습: 사례 기반 학습은 주어진 환경에서 문제에 대한 가능한 최선의 해결책을 찾기 위한 체계적인 그룹 토론 연습입니다. 이는 단순한 경험의 공유를 넘어 협동적이고 창의적인 사고의 연습입니다.
Case based Learning:
Case based Learning is a systematic group discussion exercise to find the best possible solution to the problem in the given environment. It is more than just a pooling of experience; it is an exercise in cooperative and creative thinking.

8.8 검토 질문
8.8 Review Questions

1. 문제 기반 학습이란 무엇을 이해합니까? 강사/교사가 학생들에게 이러한 유형의 학습을 장려하는 것이 왜 중요하다고 생각하십니까?
2. 프로젝트 기반 학습이란 무엇입니까? 전통적인 교실 학습과 어떻게 다른가요? 오늘날의 역동적인 비즈니스 세계와 어떤 관련이 있습니까?
3. 프로젝트 기반 학습에서 직면하는 다양한 도전 과제에 대해 설명하고, 강사/진행자로서 이러한 장애물을 극복할 수 있는 방법을 제안하세요?
4. 연구 기반 학습이란 무엇을 이해합니까? 몇 가지 예를 들어 설명하십시오.
5. 교실에서 연구 기반 학습을 시작하는 것이 왜 중요하다고 생각하는가?
6. 연구를 통해 가르치는 것이 학생뿐만 아니라 교수자에게도 어떤 이점이 있는지 설명하십시오.
7. 사례 기반 학습이란 무엇을 이해합니까? 이러한 유형의 학습을 통해 학생들이 탐구할 수 있는 다양한 생활 기술/취업 능력에는 어떤 것이 있습니까?

  • 1. What do you understand by Problem based learning? Why do you think it is important for instructor/ teacher to encourage this type of learning among students?
  • 2. What is Project based learning? How is it different form the traditional classroom learning? What is its relevance in today’s dynamic business world?
  • 3. Describe various challenges confronted in project based learning; suggest means to overcome these hurdles as instructor/ facilitator?
  • 4. What do you understand by research based learning? Explain with few examples.
  • 5. In your opinion why it is important to initiate research based learning in the classroom.
  • 6. What area the benefits of teaching through research to the instructor as well as student, explain.
  • 7. What do you understand by case based learning? What are the different life skills/ employability skills of students can be explored through this type of learning?

 

8.9 사례 연구
8.9 Case Study

기업가 정신: 사례
Entrepreneurship: A Case

디팍 조시는 17살 때 한 가게에서 아이스크림을 맛보고 더 맛있게 만들 수 있다고 생각했습니다. 그는 자신만의 레시피를 만들어 고향인 벨가움에서 아이스크림 바, 콘, 컵을 판매하기 시작했습니다. 사람들은 그에게 더 많은 것을 요청하기 시작했습니다. 디팍은 마이소르에서 직접 교육을 받고 다양한 맛과 구성의 아이스크림을 만드는 기술을 개발했습니다. 디팍 조시는 적은 수익과 어머니의 부엌을 이용해 아이스크림을 대량으로 만들기 시작했습니다. 그 후 그는 직접 포장지를 디자인하고 여러 학교에서 아이스크림을 판매하는 친구들을 위한 커미션 시스템을 개발했습니다. 
When Deepak Joshi was 17 years old, he sampled ice cream at a store and thought that he could make it better. He made his own recipe and began selling ice cream bars, cones, and cups in his hometown of Belgaum. People began asking him for more. Deepak got himself trained at Mysore and developed skills to prepare ice creams of different flavours and compositions. Using meager profits and his mother’s kitchen, Deepak Joshi began making large batches of ice creams. He then designed his own wrappers and developed a commission system for friends who sold ice creams at several schools.

장사가 너무 잘되어 집착이 될 정도였습니다. 디팍은 방과 후, 주말, 공휴일에도 일했고, 보건부에서 아이스크림 제조 허가를 받을 때까지 잠시 영업을 중단한 기간을 제외하고는 대학을 졸업할 때까지 자신만의 방법으로 다양한 종류의 아이스크림을 만들었습니다. 처음에는 특별한 장비를 구입하거나 다른 활동을 희생하지 않고도 수요를 충족할 수 있었지만, 대학 기금 모금 행사나 축제에 아이스크림을 제공하기 시작하자 수요가 수용 능력을 초과했고, 결국 Deepak은 전문 장비를 구입하고 도우미를 고용하고 대량으로 물품을 구입해야 했습니다. 
Business was so good that it became an obsession. Deepak worked after college, weekends, and holidays and aside from a brief period when the health department suspended his operations until he obtained proper permits to make ice cream, he made different types of ice cream by trying his own methods until he graduated from college. At first, he could meet the demand without purchasing special equipment or sacrificing other activities, but when he began providing ice creams for college fund raising events and fun fairs, demand exceeded capacity, and Deepak found himself buying professional equipment, hiring helpers, and purchasing bulk supplies.

디팍은 당시를 돌이켜보며 사업에 대한 집착과 긴 시간, 그리고 배움에 대한 열정을 떠올렸습니다. 디팍은 지역 상점에 주문하고 수십 개의 학교, 대학, 케이터링 업체, 호텔, 시민 단체와 계약을 맺기 시작했습니다. 그의 사업은 곧 가족과 가장 친한 친구들까지 끌어들여 회사를 등록하고 아이스크림 가게를 차렸습니다. 첫 달에 18,000건의 주문을 받았고, 졸업할 무렵에는 3개 주에 있는 소매점에 특수 아이스크림을 납품하고 있었습니다. 
Looking back, Deepak recalled the obsession, the long hours, and the drive to learn about business. Deepak set about placing orders with local stores and developing contracts with dozens of schools, colleges, caterers, hotels, and civic organizations. His business soon consumed his entire family and closest friends; he registered the company and set up an ice cream parlour. During the first month, he has 18,000 orders, and by the time he graduated, Deepak was distributing specialty ice creams to retail stores in three States.

26세가 되던 해, 디팍은 회사를 특수 아이스크림의 주요 유통업체로 재편하고 현재의 아이스크림 제조 및 유통 시스템을 보완할 수 있는 고급 아이스크림 가게 체인을 계획하기 시작했습니다. 계획을 잠시 멈추고 생각해보니 지역 또는 전국적인 체인을 시작하려면 조직에 큰 변화가 필요하다는 것을 깨달았습니다. 그와 그의 가족이 모든 책임을 감당해서는 안 되며, 디팍의 아이스크림 사업의 성격이 바뀔 것입니다. 큰 사업을 추진한다는 생각은 흥미로웠지만, 디팍은 불안한 마음을 감출 수 없었습니다. 
At the age of 26, Deepak repositioned his company as a major distributor of specialty ice creams and began planning a chain of upscale ice cream parlours which would complement his current ice cream manufacturing and distribution system. When he paused to think about his plans, he realized that to launch a regional or national chain would mean major changes in his organization. He and his family should not handle all the responsibilities, and the nature of Deepak’s ice cream business would change. Though the idea of pursuing a major business was exciting, Deepak would not help feeling apprehensive.

디팍은 자신의 사업을 되돌아보며 많은 사람들이 자신의 성공을 그저 좋은 아이스크림을 만들다가 우연히 좋은 시장을 몇 군데 발견한 한 젊은이의 운에 지나지 않는다고 생각한다는 사실을 깨달았습니다. 사실 그는 고객을 유치하기 위해 매우 열심히 노력했습니다. 대부분의 고객들은 젊은 대학생에게 물건을 사는 것을 불편해했고, 고객들은 오랫동안 그와 거래하기 전까지는 그를 진지하게 받아들이지 않았습니다. 디팍에게 고객을 확보하는 것은 장애물이 아니라 항상 도전이었으며, 특이한 아이스크림을 만드는 일은 흥미진진했습니다. 
Reflecting upon his business, Deepak realized that many people considered his success to be no more than the luck of a personable young man who made good ice creams and accidentally stumbled upon a few good markets. In fact, he had worked extremely hard to attract clients. Most of his customers had not been comfortable buying from a young college student, and customers seldom took him seriously until they had dealt with him for a long time. Winning over customers had always been a challenge to Deepak, not a roadblock, and creating unusual ice creams had been exciting.


회사 경영자가 되고 싶다는 생각은 없었고, 항상 다른 사람들과 잘 어울렸지만 디팍은 독립하는 것을 좋아했습니다. 회사를 운영한다는 것은 자신의 자율성을 희생하는 것을 의미하지만, 자신의 전문 아이스크림을 판매하는 매장 체인을 만드는 것은 수년 동안 꿈꿔온 일이었습니다. 동시에 사업 확장은 재정적 위험을 수반하기 때문에 디팍은 항상 부채를 피하고 현금으로만 거래하며 사소한 손실도 피하기 위해 항상 신중하게 비용을 계산해왔습니다. 디팍은 자신의 젊은 커리어에서 중요한 기로에 서 있다는 것을 깨달았습니다. 꿈을 좇아 사업을 확장할지, 아니면 기존 사업에 만족할지 선택해야 했습니다. 
He was not anxious to become a corporate manager, and although he had always worked well with others, Deepak liked being independent. Running a company would mean sacrificing his autonomy, yet the idea of a chain of stores selling his specialty ice creams had been a dream for years. At the same time, expansion would mean financial risk, and Deepak had always avoided debt; he dealt in cash and had always carefully calculated his expenses to avoid even the slightest loss. He realized that he was at a major crossroad in his young career. The choice seemed to be whether to follow his dream and expand or to be content with his existing business.

사례 연구를 위한 질문
Questions for Case Study

1. 디팍 조시의 기업가적 특성을 파악하세요. 성공적인 기업가의 특징과 어떻게 일치하는가?
2. 아이스크림 가게 체인으로 확장할지 여부에 대해 디팍이 직면한 결정에 대한 입장을 취하십시오.
3. 디팍에 대해 알고 있는 것과 그의 특성이 무엇이라고 생각하는지에 근거하여, 그의 성공이 운 때문이라고 할 것인가 아니면 끈기 때문이라고 할 것인가? 설명하십시오.
4. 모든 비즈니스 벤처에서 운은 어떤 역할을 하는가?

  • 1. Identify the entrepreneurial characteristics of Deepak Joshi. How do they match the characteristics described for successful entrepreneurs?
  • 2. Take a position regarding the decision facing Deepak on whether to expand into a chain of ice cream parlours.
  • 3. Based on what you know about Deepak and what you believe his characteristics to be, would say his success was due to luck or persistence? Explain.
  • 4. How does luck play a role in any business venture?

 

 

 

연구-바탕 교육과정 설계에서의 실제성 프레임워크 (TEACHING IN HIGHER EDUCATION, 2017)
A framework for authenticity in designing a research-based curriculum
Navé Wald and Tony Harland

소개
Introduction

저희는 뉴질랜드 오타고 대학교의 학부 생태학 커리큘럼을 살펴보던 중 고등 교육에서 진정성이라는 주제에 관심을 갖게 되었습니다(Harland, Wald, Randhawa, 곧 출간 예정). 이 프로그램에서 학생들은 연구를 통해 학습하며, '진정성'이라는 개념은 오랫동안 학습 활동 설계의 중심이 되어 왔습니다. 기본 아이디어는 학생들이 생태학을 공부할 때마다 어떤 형태로든 진정성 있는 연구에 참여해야 한다는 것입니다. 우리가 진정성이라고 생각하는 것을 달성하기 위해 교사는 전문적인 연구 활동을 사용하여 학생들을 안내합니다. 진정성을 갖추기 위해 교사-학생 관계는 대학원 감독과 호환되는 모델로 전환됩니다. 교육 및 커리큘럼에 대한 이러한 일반적인 접근 방식은 연구자로서 학생을 가르치기 위한 전략 2에서 Jenkins, Healey, Zetter(2007)에 의해 설명되었지만, 이 저자들은 진정성을 주장하지는 않습니다. 생태학에서는 이전에는 '진정성'의 정확한 의미를 고려하지 않았으며, 이 글에서는 이 용어의 사용과 관련된 담론적 수사를 이론 및 교육 실무와 관련하여 살펴볼 것입니다. 그런 다음 이러한 지식을 바탕으로 연구를 통해 교수의 진정성에 대한 프레임워크를 제시합니다.  
We became interested in the subject of authenticity in higher education while examining the undergraduate ecology curriculum at the University of Otago, New Zealand (Harland, Wald, and Randhawa forthcoming). In this programme, students learn by doing research and the concept of ‘authenticity’ has long been central to the design of learning activities. The basic idea is that anytime students are studying ecology, they should be engaged in some form of authentic research. In order to achieve what we consider as authenticity, teachers use their professional research activities to guide them. In order to be authentic, the teacher-student relationship shifts towards a model compatible with postgraduate supervision. This general approach to teaching and curriculum has been described by Jenkins, Healey, and Zetter (2007) in their Strategy 2 for teaching students as researchers, although these authors do not claim authenticity. In ecology, we had not previously considered the precise meaning of ‘authenticity’ and in this essay the discursive rhetoric around the use of the term will be examined in relation to theory and teaching practice. We then use this knowledge to offer a framework for authenticity in teaching through research.

우리는 연구자로서 학생들을 가르치는 다양한 모델에서 진정성에 대한 주장을 찾기 시작했지만(Hung and Chen 2007, Laursen 외. 2010, Sadler 외. 2010, Sadler and McKinney 2010), 고등 교육에서도 다양한 맥락에서 진정성이 사용된다는 사실을 발견했습니다. 여기에는 교수 및 학습(Cranton 2001, Cranton과 Carusetta 2004a, 2004b, Herrington과 Herrington 2006, Herrington, Reeves, Oliver 2014), 평가(Frey, Schmitt, and Allen 2012, Gulikers, Bastiaens, Kirschner 2004, Herrington과 Herrington 1998), 성취(Newmann 1996, Newmann과 Archbald 1992) 등이 포함됩니다. 거의 모든 경우에서 '진정성' 또는 '진정성 있는 행동'을 구성하는 요소의 의미는 완전히 설명되지 않았으며, 따라서 여전히 애매한 상태로 남아 있습니다. 고등 교육에서 진정성에 대한 연구는 결코 미지의 영역이 아니지만, 역사적 측면에서 보면 20세기 듀이주의 사상(Petraglia 1998)에 뿌리를 둔 비교적 최근의 아이디어이므로 교육의 진정성에 대한 탐구는 긴 궤적을 가지지 않습니다(Splitter 2009).
Although we set out to find claims to authenticity in various models of teaching students as researchers (Hung and Chen 2007; Laursen et al. 2010; Sadler et al. 2010; Sadler and McKinney 2010), we discovered that it was also used in many different contexts in higher education. These include teaching and learning (Cranton 2001; Cranton and Carusetta 2004a, 2004b; Herrington and Herrington 2006; Herrington, Reeves, and Oliver 2014), assessment (Frey, Schmitt, and Allen 2012; Gulikers, Bastiaens, and Kirschner 2004; Herrington and Herrington 1998), and achievement (Newmann 1996; Newmann and Archbald 1992). In nearly all cases the meaning of what constitutes ‘being authentic’ or ‘doing something authentically’ is not fully explained and thus remains elusive. While the study of authenticity in higher education is by no means uncharted territory (for examples see Carusetta and Cranton 2005; Cranton and Carusetta 2004a, 2004b; Kreber 2013; Kreber et al. 2007), in historical terms it is a relatively recent idea rooted in twentieth-century Deweyan thought (Petraglia 1998), and thus inquiries into educational authenticity do not have a long trajectory (Splitter 2009).

진정성의 복잡성을 이해하기 시작하려면 용어의 다양한 용도와 정의를 살펴보는 것부터 시작할 수 있습니다. 옥스퍼드 영어 사전(1989)은 '진위성'을 명사로, '진품'을 형용사이자 명사로 정의합니다. 주로 이러한 용어는 사람, 문서, 인공물, 아이디어, 행동, 정체성, 프로세스 등 어떤 것을 지칭합니다. - 진짜, 진품, 진실, 원본, 사실, 정확성, 유효성, 권위 등의 고유한 특성을 지닌 것으로 인식되는 것을 의미합니다. 정확한 의미는 구체적인 맥락에 따라 달라집니다. 사회학적 관점에서 '진정성은 존재의 상태가 아니라 과정이나 표현의 객관화, 즉 특정 시간과 장소의 사람들이 이상이나 모범을 대표한다고 동의하게 된 일련의 자질을 의미합니다'(Vannini and Williams 2009, 3). 따라서 진정성은 사회적으로 구성되므로 유동적이고 맥락에 따라 달라지며 논쟁의 대상이 될 수 있습니다. 따라서 진정성의 구성은 권력, 현실성, 권위, 그리고 궁극적으로는 우월성에 대한 내재적이고 암묵적인 아이디어를 암시합니다. 따라서 진정성은 다양한 의미와 가치가 담긴 키워드입니다(Williams 1976).
To begin to appreciate the complexity of authenticity one can start by examining the term’s various uses and definitions.

  • The Oxford English Dictionary (1989) defines ‘authenticity’ as a noun and ‘authentic’ as both adjective and noun. Primarily, these terms refer to something – person, document, artefact, idea, behaviour, identity, process, etc. – having the perceived inherent quality of being real, genuine, true, original, factual, accurate, valid, authoritative, and so forth. The exact meaning will depend on the specific context at hand.
  • From a sociological perspective, ‘Authenticity is not so much a state of being as it is the objectification of a process or representation, that is, it refers to a set of qualities that people in a particular time and place have come to agree represent an ideal or exemplar’ (Vannini and Williams 2009, 3). 

Thus, authenticity is socially constructed and as such is fluid, highly contextual and may be contested. Constructions of authenticity, then, allude to inherent and implicit ideas of power, realness, authority and, ultimately, of superiority. Authenticity is, therefore, a keyword laden with a range of meanings and values (Williams 1976).

연구를 통해 과학을 가르친다는 좁은 맥락에서조차도 실질적으로 다른 교육 모델과 관련하여 진정성에 대한 주장이 제기되는 것은 놀라운 일이 아닙니다. 그런 다음 우리는 '어떤 이유로 사건과 경험이 어떻게 해석되고 해석되어야 하는지에 대해 궁금증을 불러일으킬 때 철학을 해야 한다'고 주장한 맥신 그린(1973, 10)에서 힌트를 얻습니다. 달리 말하면, 그린은 우리가 파편화되고 의미가 거의 없는 그림에서 더 나은 일관성을 추구할 때 추상화로 전환할 것을 촉구합니다. 따라서 이 글에서는 이 용어의 사용과 관련된 담론적 수사를 살펴볼 것입니다. 진정성에 관한 문헌을 읽은 것은 연구를 통한 학습의 원리와 진정성 이론을 연결할 수 있는 중요한 아이디어를 발견하기 위한 목적으로 특별히 수행되었습니다. 본질적으로 우리는 '우리의 작업이 '진정성있다'라는 말을 이해하는 데 도움이 되는 매우 복잡한 현상에서 무엇을 취할 수 있을까'라는 연구 질문을 던졌습니다. 문헌 검토를 통해 새롭게 등장한 연관성을 바탕으로 교육과 학습, 그리고 진정성에 대한 현재의 논쟁에 정보를 제공하기 위해 설계된 프레임워크를 구축했습니다. 그 결과, 우리의 질문과 관련된 진정성을 이해하는 세 가지 방법을 확인할 수 있었습니다:  
It is of little surprise then that even within the narrower context of teaching science through research, claims for authenticity are made in relation to substantially different educational models. We then take a cue from Maxine Greene (1973, 10) who argued we ought to ‘philosophize when, for some reason, we are aroused to wonder about how events and experiences are interpreted and should be interpreted’. Put differently, Greene urges us to turn to abstraction when we seek better coherence from a picture otherwise fragmented and of little sense. In this article, therefore, the discursive rhetoric around the use of the term will be examined. Our reading of the literature on authenticity was done specifically with the purpose of discovering significant ideas that might connect the principles of learning through research with the theories of authenticity. Essentially we were asking the research question: ‘what can we take from a highly complex phenomenon that would help us understand our work as authentic?’ After our literature review, emerging associations were used to construct a framework designed to inform both teaching and learning and the current debates around authenticity. We were able to identify three ways of understanding authenticity that were relevant to our inquiry:

  1. '실제 세계'와 관련된 진정성
    Authenticity as relating to the ‘real-world’
  2. 실존적인 진정한 자아
    The existential authentic self
  3. 의미의 정도
    A degree of meaning

 

'현실 세계'와 관련된 진정성
Authenticity as relating to the ‘real world’

진정성을 과학교육과 연결하는 가장 일반적이고 응용적인 관점은 '실제 세계'를 반영하는 교육입니다. 간단히 말해, '진정성 있는 과학은 과학자들이 연구하는 방식과 밀접하게 일치하는 탐구 교육의 변형이며 전통적인 학교 과학 실험실 실습과는 다르다'(크로포드 2015, 113)고 할 수 있으며, 이 개념은 우리가 여기서 다루는 생태 프로그램의 커리큘럼 설계에 큰 지침이 되었습니다. 과학교육의 진정성에 대한 이러한 단순한 개념화는 '상응하는 관점'(Kreber 2013, Splitter 2009)으로도 알려져 있으며, 존 듀이와 진보주의 운동의 실용주의 교육적 신념과 강하게 공명합니다. 듀이는 엘리트주의-이상주의 교육과 직업-도제 교육 사이의 확립된 이분법을 거부했는데, 이는 '아이디어의 궁극적 중요성은 현실 세계에 적용될 때 그 결과에서 찾을 수 있다는 가정에 뿌리를 둔 거부'였습니다(Petraglia 1998, 26). 따라서 페트라글리아(1998)는 듀이가 교육과 '실제 삶' 사이의 벽을 허물고, 이를 통해 진정성에 대한 특정한 수사학을 확립한 영향력 있는 유산을 남겼다고 평가합니다. 듀이는 '학습은 학생들에게 '배울 것'이 아니라 '할 일'이 주어질 때 일어난다'고 믿었으며, 학생들이 하는 일은 '실제 삶'과 관련되어야 하며, 이것이 바로 이러한 접근 방식을 의미 있고 가치 있게 만드는 이유입니다(Greene 1973, 158, 원문에서 강조). 
The most common and applied perspective that links authenticity with science education is teaching that mirrors the ‘real world.’ Put simply, ‘Authentic science is a variation of inquiry teaching that aligns closely with how scientists do their work and differs from traditional school science laboratory exercises’ (Crawford 2015, 113), and this concept has largely guided the curriculum design of the ecology programme that we address here. This simple conceptualisation of authenticity in science education, also known as the ‘corresponding view’ (Kreber 2013; Splitter 2009), strongly resonates with the pragmatist pedagogical beliefs of John Dewey and the Progressivist movement. Dewey rejected the established dichotomy between an elitist-idealist education and vocational-apprenticeship training, a rejection that ‘was rooted in the assumption that the ultimate significance of an idea is to be found in its consequences when applied in the real world’ (Petraglia 1998, 26). Thus, Petraglia (1998) attributes to Dewey the influential legacy of dismantling the wall between education and ‘real life,’ by which a particular rhetoric of authenticity was established. Dewey believed that ‘learning takes place when students are given something to do rather than something to learn,’ and what they do should relate to ‘real life,’ which is what renders this approach significant and worthwhile (Greene 1973, 158, emphasis in original).

예를 들어, 헤링턴, 리브스, 올리버(2014, 401)는 '진정성 있는 학습은 학습 과제를 미래의 사용 맥락에 위치시키는 교육학적 접근 방식'이라고 주장합니다. 따라서 진정한 학습의 모델은 지식이 실제 생활에서 그리고 나중에 어떻게 활용될지를 반영하도록 설계됩니다. 이 접근 방식에 따르면 학생들은 졸업 후 자신이 선택한 직업과 분야에서 지식을 창출하고 혁신을 이룰 수 있는 지식과 기술을 습득해야 합니다. 따라서 진정성은 전문적인 환경에서 지식이 어떻게 생산되고 전달되는지를 반영합니다(Herrington 및 Herrington 2006). 이러한 교육적 접근 방식은 지식이 적용될 맥락에서 의미 있는 학습이 설정된다는 Brown, Collins, Duguid(1989)의 상황적 학습 또는 상황적 인지 이론에 뿌리를 두고 있습니다(Herrington, Reeves, Oliver 2010).

Herrington, Reeves, and Oliver (2014, 401), for example, maintain that ‘Authentic learning is a pedagogical approach that situates learning tasks in the context of future use.’ Models of authentic learning are thus designed to reflect how knowledge will be utilised in real life and at a later time. Accoㄴrding to this approach, students should acquire knowledge and skills that would allow them, after graduation, to create knowledge and innovate in their chosen professions and fields. Therefore, authenticity reflects how knowledge is produced and communicated in professional settings (Herrington and Herrington 2006). This pedagogical approach is rooted in Brown, Collins, and Duguid’s (1989) theory of situated learning or cognition in which meaningful learning is set in the context within which the knowledge will be applied (Herrington, Reeves, and Oliver 2010).

그러나 Hung과 Chen(2007)은 학교 공동체와 전문직 공동체 모두 그 자체로 진정성이 있다고 주장합니다. 그들은 이 두 커뮤니티 간의 관계를 맥락-프로세스 프레임워크 내에서 분석해야 한다고 제안합니다. 이 프레임워크에서 진정성에 대한 접근 방식은 주로 유동적이고 다면적인 정체성 개념과 학교 공동체와 전문직 공동체 사이의 전환과 관련된 정체성의 문화화, 형성 및 변화에 초점을 맞추고 있습니다. Hung과 Chen(2007, 162-3)은 '진정성의 문제를 현실 세계의 실천과 학문에만 국한시켜서는 안 되며, 맥락과 과정 차원을 모두 만족시킬 때 진정성 있는 학습이 가능하다'고 말했는데, 여기서 전자는 실천 공동체를, 후자는 정체성 함양과 변형을 의미합니다. 이와는 대조적으로 Splitter(2009, 139)는 '교실 밖의 세계'에서 일어나는 일이 우리가 진정성이 의미하는 바, 또는 의미할 수 있는 바에 대한 표준을 제공한다는 가정에 의문을 제기합니다. 이 저자는 교실에서 이루어지는 일과 '실제 세계'에서 이루어지는 일 사이의 단순한 관계에 반대합니다. 대신, 스플리터에게 진정성은 과업의 의미, 성취도 또는 가치에 뿌리를 두고 있기 때문에 '실제'에 있는 것은 실제보다 덜 중요하다고 말합니다. 이 개념은 진정성에 대한 주장이 이상화된 관행에 대한 주관적인 가치 판단에 근거한다는 것을 의미합니다(Splitter 2009).
However, Hung and Chen (2007) argue that both what they call school community and professional community are authentic in their own right. They propose that the relationships between these two communities should be analysed within a context-process framework. In this framework, approaches to authenticity focus predominantly on the fluid and multi-faceted notion of identity, and its enculturation, formation and transformation within and in relation to the transition between the school community and the professional community. For Hung and Chen (2007, 162-3) ‘the issue of authenticity should not be constrained to real world practices and disciplines, but authentic learning should be possible when we satisfy both context and process dimensions,’ where the former refers to the practice community and the latter to identity enculturation and transformation. In contrast, Splitter (2009, 139) questions ‘the presumption that what happens in “the world beyond the classroom” offers a standard for what we mean, or might mean, by authenticity.’ This author argues against a simple relationship between what is done in the classroom and what is being done in the ‘real world.’ Instead, for Splitter authenticity is rooted in a task’s degree of meaning, fulfilment or worthiness, and therefore what is ‘out there’ is less important than what ought to be. This idea means that assertions of authenticity are based on subjective value judgments about idealised practices (Splitter 2009).

수학적 모델링을 가르치는 맥락에서 Vos(2011)는 '교육-현실 세계'의 연결고리에 대한 다른 관점을 제시합니다. Vos는 진정성의 개념이 사회적으로 구성되는 것으로 인식하고 특정 맥락에서 진정성을 형성하는 데 신중을 기할 것을 촉구합니다.

  • 먼저, 진정성이 사본과 시뮬레이션을 지칭할 수 있는지, 아니면 무조건적인 원본을 지칭할 수 있는지 결정해야 합니다.
  • 두 번째 고려 사항은 진위가 예/아니오의 이진법인지, 아니면 어느 정도 서수적 품질을 갖는지에 관한 것입니다.

보스는 진위성의 정의는 이분법적이어야 하며 원본만을 지칭해야 한다고 주장합니다. 따라서 교육 과제는 전체적으로 진정성이 있는 것이 아니라, 진정성 있는 측면을 포함할 수 있습니다. 또한 과제에 진정성 요소가 있으려면 학교 밖 전문가가 인증 할 수있는 학교 밖에서 유래 한 널리 인식 할 수있는 품질이 있어야하며, 이는 '실제로 ... 진정성을 구현'해야합니다 (Vos 2011, 720). 
Writing within the context of teaching mathematical modelling, Vos (2011) provides a different view on the ‘teaching-real world’ nexus. Vos recognises the concept of authenticity as being socially constructed and urges its formation in a particular context to be done thoughtfully.

  • First, a decision should be made as to whether authenticity can refer to copies and simulations or to unconditional originals.
  • The second consideration concerns whether authenticity is a yes/no binary or has an ordinal more-or-less quality.

Vos argues that a definition of authenticity should be a binary and refer only to originals. Consequently, an educational task will never be authentic as a whole; rather, it may contain authentic aspects. In addition, for a task to have authentic elements it must have a widely recognisable quality that has an out-of-school origin certifiable by out-of-school experts, which ‘in fact … embody the authenticity’ (Vos 2011, 720).

실존적 진정성 자아
The existential authentic self

교육에서 진정성의 또 다른 중요한 측면은 실존 철학과 자아 및 존재 감각과 관련이 있습니다. 교육 문헌에서는 교사의 행동 및 가치관, 교사-학생 관계와 관련하여 진정성의 이러한 측면을 논의하는 경향이 있지만, 여기서는 연구를 통해 교육이라는 주제와도 연결하고자 합니다. 
Another important facet of authenticity in education is linked to existential philosophy and to a sense of self and of being. Whereas the education literature tends to discuss this aspect of authenticity in relation to teachers’ behaviour and values and to teacher-student relations, here we also wish to link it to the theme of teaching through research.

철학적 관점에서 볼 때, 일부 진정성은 '현대 서구 세계의 문화적 구성물이며 ... [그리고] 개인에 대한 서구의 개념과 밀접하게 연관되어 있다'(Handler 1986, 2). 테일러(1991)의 『진정성의 윤리』에서 그는 이러한 개인주의가 현대 사회의 업적이면서 동시에 그 폐해라고 말하며, 개인주의가 사람들의 의미와 존재감에 미친 결과에 대해 우려하고 있습니다. '진정성'이란 사회적 관습과 압력에도 불구하고 자기 자신에 대해 독창적이고 진실한 것을 의미합니다. 트릴링(1972, 93)은 진정성이 '불길한 의미를 지닌 단어'이며, '이 단어가 우리 시대의 도덕적 속어의 일부가 된 것은 타락한 상태의 특이한 본질, 존재와 개인 존재의 신뢰성에 대한 불안을 가리킨다'고 지적합니다. 기든스(1991)도 자아 정체성, 대인 관계, 도덕성 또는 도덕적 지지와 관련하여 진정성에 대해 논의합니다. 그에 따르면 '진정성 있는 사람은 자신을 알고 그 지식을 담론적으로 그리고 행동 영역에서 상대방에게 드러낼 수 있는 사람'입니다(Giddens 1991, 186-7). 따라서 진정성은 사람들 간의 신뢰와 도덕적 지원을 강화하기 위해 자아의 무결성을 활용하는 데 매우 중요합니다.
From a philosophical standpoint, for some authenticity is ‘a cultural construct of the modern Western world … [and is] closely tied to Western notions of the individual’ (Handler 1986, 2). In Taylor’s (1991) Ethics of Authenticity, this individualism is both an achievement of modern society and its malaise, and he is concerned with the consequences it has had for people’s sense of meaning and being. Being ‘authentic’ means being original and true to one’s self in spite of societal conventions and pressure. Trilling (1972, 93) notes that authenticity ‘is a word of ominous import’ and that this ‘word has become part of the moral slang of our day points to the peculiar nature of our fallen condition, our anxiety over the credibility of existence and of individual existences.’ Giddens (1991) also discusses authenticity in relation to self-identity, interpersonal relationships and morality, or moral support. For him, ‘the authentic person is one who knows herself and is able to reveal that knowledge to the other, discursively and in the behavioural sphere’ (Giddens 1991, 186-7). Authenticity, then, is crucial for harnessing the integrity of the self for enhancing trust and moral support among people.

따라서 진정성은 일반적으로 긍정적인 의미를 지니며, 포터(2010, 6)가 '모성어'라고 부르는 '커뮤니티', '지속 가능성', '자연'과 같은 유사한 강력한 용어 그룹에 속한다고 볼 수 있습니다. 서구 사회는 진정성에 대한 추구에 사로잡혀 있으며, 포터는 현대 생활에서 의미를 찾기 위해 자기 성취와 발견을 추구하는 개인주의적 추구로 이해합니다. 그러나 포터에게 진정성이란 특권의 본질은 누구나 가질 수 있는 것이 아니기 때문에 특권을 구성하는 관계적이고 주관적인 속성인 허구입니다. 따라서 진정성에 대한 열망은 현대 사회의 문제에서 벗어나기보다는 근대 이전의 삶에 대한 잘못된 낭만적 관념을 조장합니다(Potter 2010). 치커링(2006)도 진정성의 일반적인 긍정적 속성과 함께 진정성이 나쁠 수 있는 가능성에 주목합니다. 그에게 진정성은 개념적으로 간단합니다. '진정성이 있다는 것은 보이는 것이 곧 얻는 것임을 의미합니다. 내가 믿는 것, 내가 말하는 것, 내가 행동하는 것이 일관성이 있다는 것입니다'(Chickering 2006, 8). 그러나 내적 일관성은 진정으로 선하거나 악한 사람에게도 똑같이 적용될 수 있습니다. 
Thus, authenticity usually carries positive connotations and arguably belongs to a group of similarly powerful terms like ‘community,’ ‘sustainability’ and ‘natural;’ what Potter (2010, 6) calls ‘motherhood words.’ Western society is possessed by a quest for authenticity, which Potter understands as an individualistic pursuit after self-fulfilment and discovery in order to find meaning in modern life. For Potter, however, authenticity is a hoax, a relational and subjective attribute that constructs privilege, because the very nature of privilege is that not everybody can have it. So rather than escaping the malaises of modern society, the aspiration to authenticity promotes ill-informed romantic notions of pre-modern life (Potter 2010). Chickering (2006) also notes the usual positive attribute of authenticity alongside the possibility for authenticity to be bad. For him, authenticity is conceptually straightforward: ‘Being authentic means that what you see is what you get. What I believe, what I say, and what I do are consistent’ (Chickering 2006, 8). Internal consistency, however, can be equally ascribed to someone who is authentically good or evil.

Kreber (2013)와 Kreber 외(2007)가 교육과 학문적 실천에서 진정성을 조사했을 때, 하이데거의 실존철학과 '죽음을 향한 진정한 존재의 존재론적 가능성'과 관련하여 '일상성', '진정성', '비진정성' 사이의 구별에 상당한 주의를 기울였습니다(Heidegger 1962, 304). 

  • 여기서 일상성이란 자신의 행동과 신념이 타인의 행동과 신념에 의해 지시되는 순응주의를 의미합니다. 이 상태는 '부(un)진정성'으로 간주되는 반면,
  • '비(in)진정성'은 사람이 자신의 예정된 죽음을 받아들이거나 깨닫지 못하여 자신의 삶을 비판적으로 검토하지 않는 상태입니다.
  • 따라서 진정성개인이 자신의 유한한 존재를 인식하고 성찰하는 삶을 살도록 요구합니다. '하이데거의 작업에서 [돌본다는 것은] 세속적인 일과 자신의 존재에 대해 '관심을 갖는 것'을 의미하기 때문에'(Kreber 외, 2007, 32, 원문 강조) 돌봄의 개념은 이러한 성찰적 삶의 핵심입니다.

When Kreber (2013) and Kreber et al. (2007) examined authenticity in teaching and academic practice, considerable attention was paid to Heidegger’s existential philosophy and his distinction between ‘everydayness,’ ‘authenticity,’ and ‘inauthenticity’ in relation to the ‘ontological possibility of an authentic Being-towards-death’ (Heidegger 1962, 304).

  • Here, everydayness denotes conformism, where one’s actions and beliefs are directed by those of others. This state is deemed unauthentic,’
  • whereas inauthenticity’ is when persons do not come to terms with or realise their own predetermined demise and therefore do not critically examine their lives.
  • Authenticity, then, requires individuals to appreciate their finite existence and live examined lives. The notion of care is central to such examined life; for ‘in Heidegger’s work, [to care] means “to be concerned about worldly affairs and one’s own existence’ (Kreber et al. 2007, 32, emphasis in original).

하이데거의 존재 방식은 무엇보다도 자신의 유한한 경력을 고려하고 이 시기에 무엇을 성취하고 싶은지, 성취해야 하는지를 고민해야 하는 교사의 직업적 삶과 관련이 있습니다.

  • 일상성이라는 선택지는 교사가 다른 모든 사람들이 하는 것처럼 보이는 일을 하는 길을 의미합니다.
  • 반대로 진정성이란 교육자로서 자신의 제한된 선택지를 인식하는 동시에 가르치는 것에 대해 성찰하고 반성하며, 자신이 가르치는 대상과 영향력에 대해 진정으로 관심을 갖는 것을 의미합니다.
  • Kreber 등(2007)에 따르면 비진정성은 가르치기를 꺼려하고 이기적인 이유만으로 가르치는 것을 의미합니다.

이러한 진정성 개념화의 초점은 주로 자기 자신에 맞춰져 있지만, 크레버와 동료들은 개인이 생활하고 행동하는 사회적 맥락의 중요성을 강조한 아도르노(1973)의 비판에도 주목합니다. 개인의 결정, 신념, 행동이 환경의 영향을 받는다는 점에서 아도르노의 진정성에 대한 관점은 보다 구조주의적입니다. 이를 깨닫기 위해서는 비판적 의식이 필요합니다.
Heidegger’s modes of Being are relevant to the professional lives of teachers, who first and foremost should consider their own finite careers and ponder what they wish or ought to achieve in this time.

  • The option of everydayness implies a path where a teacher does what everybody else seems to be doing.
  • In contrast, being authentic means to be cognisant of one’s limited options as an educator but also to be reflective and reflexive towards teaching, and to genuinely care about one’s subject and impact.
  • Inauthenticity, for Kreber et al. (2007), implies being reluctant to teach and doing so only for selfish reasons.

The focus of this conceptualisation of authenticity is devoted primarily to one’s self, but Kreber and colleagues also note Adorno’s (1973) critique that emphasises the importance of the social context within which individuals live and act. Adorno’s view of authenticity is more structuralist as an individual’s decisions, beliefs and actions are influenced by their environment. Realising this requires a critical consciousness.

의식이라는 개념은 실존주의와 진정성에 관한 사르트르의 저술에서도 핵심적인 개념입니다. 사르트르에게 있어 사람의 존재는 본질보다 우선합니다. 이것은 '인간은 무엇보다도 먼저 존재하고, 자신을 만나고, 세계로 솟구쳐 오르고, 그 후에 자신을 정의한다'는 것을 의미합니다(Sartre 2001, 29). 이는 무엇보다도 인간이 되는 데에 미리 정해진 목적이 없으며, 인간은 자신의 실존적 존재를 구성할 책임과 자유가 있다는 것을 의미합니다(카코리 및 후투넨 2012). 그러나 자신의 존재에 의미를 부여하는 자유와 책임은 내면적으로만, 고립적으로만 일어나는 것이 아니라 '존재는 본질에 선행하기 때문에 자신이 무엇이며 타인을 위해 무엇을 하는지에 대해 도덕적으로 책임이 있다. 사람은 자신에 대해서만 책임지는 것이 아니라 모든 인간에 대해 책임을 져야 한다'(카코리와 후투넨 2012, 355). 따라서 자신의 선택에 대한 책임감은 사르트르(1957)의 실존주의 사상의 핵심입니다. 또한, 선택의 자유와 능력은 아무리 제약이 있더라도 '의식의 존재와 그 자체에 대한 의식을 수반한다'(Priest 2001, 107)고 말합니다.
The idea of consciousness is also central in Sartre’s writings on existentialism and authenticity. For Sartre, a person’s existence comes before essence. This means ‘that man first of all exists, encounters himself, surges up in the world – and defines himself afterwards’ (Sartre 2001, 29). This means, inter alia, no predetermined purpose for being human as well as humans’ responsibility and freedom to construct their own existential being (Kakkori and Huttunen 2012). The freedom and responsibility for giving meaning to one’s being, however, does not happen only internally, in isolation; but rather, ‘Because existence precedes essence, one is morally responsible for what one is and what one does for others. One is not responsible for only oneself but instead for all humans’ (Kakkori and Huttunen 2012, 355). This sense of responsibility for one’s own choices, then, is key in Sartre’s (1957) existential ideas. Moreover, one’s freedom and capacity of making choices, however constrained, ‘entails the existence of consciousness, and consciousness of itself’ (Priest 2001, 107).

사르트르의 실존주의는 하이데거의 실존주의에 비해 고등 교육 분야에 덜 영향을 미쳤지만, 존재와 자아에 대한 그의 사상은 어느 정도 구매력이 있었습니다. 예를 들어, Barnett(2007)은 사르트르의 사상을 고등 교육에서 학생들이 (자신의 행동에 대한 책임을 지는 것과 같이) 자신의 존재를 변화시키는 여정과 연결시킵니다. Barnett(2007, 61)은 '고등 교육은 학생이 진정성을 갖게 될 때 정점에 도달한다'고 말하며, 여기서 하이데거의 작품에서도 발견할 수 있는 '소유권'이라는 개념이 중추적인 역할을 한다고 말합니다. 책임감소유권이라는 실존적 개념은 개인이 독립적인 학습자가 되는 데 중요하며, 이러한 학습은 답을 찾는 것뿐만 아니라 질문하는 사람이 됨으로써 이루어집니다(Greene 1973). 
Sartre’s existentialism has had less impact on the field of higher education, compared with Heidegger’s, but his ideas of being and self did have some purchase. Barnett (2007), for example, links Sartre’s ideas to the journey students undergo in higher education, where they transform their being by, among other things, assuming responsibility for their actions. For Barnett (2007, 61), ‘Higher education achieves its apogee when the student becomes authentic,’ where the idea of ‘ownership,’ which he also finds in Heidegger’s work, is pivotal. These existential ideas of responsibility and ownership are important for individuals’ ability to become independent learners, and this learning happens by means of not only finding answers but also being the ones asking the questions (Greene 1973).

Brook(2009)도 하이데거의 실존 철학과 진정성 개념을 통해 교수법을 검토합니다. 다시 말하지만, 하이데거의 실존적 의미의 진정성은 진정한 인간이 되는 것을 필요로 합니다. 이것은 자기 자신이 되고, 타인을 돌보고, 자신의 필멸성과 따라서 시간성을 깨닫는 것을 포함합니다. 인간은 진정성 있는 존재로 태어나지 않으며, 평생을 진정성 있는 존재가 되지 못한 채 살아갈 수도 있기 때문에 진정성 있는 존재가 되고 변화한다는 개념이 중요합니다. 따라서 인간은 진정한 존재가 될 수 있으며, '하이데거는 교육을 진정한 의미에서 진정성의 형성으로 공식화한다'(Brook 2009, 51, 강조 추가)고 말합니다. 이러한 맥락에서 크레버(2013, 45)는 교사와 학생 모두의 진정성을 증진하는 것이 '고등교육의 주요 목적 또는 보편적 목표가 되어야 한다'고 주장합니다. 그녀에게 고등 교육에서 그리고 고등 교육을 통해 진정성을 형성하는 것은 궁극적으로 사람들이 더 비판적이고, 인식하고, 동정심을 갖고, 연결되는 더 공정하고 풍요로운 세상을 촉진하는 것을 목표로합니다. Jarvis(1992)에 따르면 교사는 관련된 모든 사람의 개인적 발전과 성장을 촉진하려고 노력할 때 진정성 있게 행동합니다. 이 과정에서 학습은 일방적인 것이 아니라 교사와 학생이 대화를 통해 학습하고 상호 성장을 위한 책임을 공유한다는 Paulo Freire(2000)의 아이디어를 따릅니다.  
Brook (2009) also turns to Heidegger’s existential philosophy and notions of authenticity for examining teaching. Again, Heidegger’s existential meaning of authenticity necessitates becoming truly human. This constitutes being one’s self, caring for others and realising one’s own mortality and hence temporality. This notion of becoming, of transforming, is key because humans are not born authentic and may live their entire lives without being authentically themselves. Thus, they can become authentic beings, and ‘Heidegger formulates education in its proper sense as the formation of authenticity’ (Brook 2009, 51, emphasis added). In this vein, Kreber (2013, 45) argues that promoting the authenticity of both teachers and students ‘should be a chief purpose or universal aim of higher education.’ For her, the formation of authenticity in and through higher education ultimately aims to promote a fairer and more enriched world, where people are more critical, aware, compassionate and connected. For Jarvis (1992), teachers act authentically when they attempt to nurture the personal development and growth of everybody involved. In this process, learning is not uni-directional; but rather, it follows Paulo Freire’s (2000) ideas around teachers and students learning in dialogue and sharing responsibilities for mutual growth.

프레이레(2000)는 그의 대표작인 '억압받는 자의 교육학'에서 진정성을 언급하거나 '진정성'이라는 용어를 다양한 방식으로 사용했습니다. 주로 '진실성' 또는 '진정성'을 의미하며, 예를 들어 혁명(지도자가 민중과 소통하는 것)과 권위(권력이 위임되고 공유되는 것)와 관련해서도 사용됩니다. 프레이레는 연대, 자유, 진정성을 함께 연결하며, 이러한 결합은 양방향 소통의 교육학에 달려 있습니다. '진정한 교육은 'A'가 'B'를 위해 또는 'A'가 'B'에 대해 수행하는 것이 아니라, 'A'와 'B'가 (세계, 즉 양 당사자에게 감동을 주고 도전하며 그에 대한 견해나 의견을 제시하는) 세계를 매개로 수행됩니다'(Freire 2000, 93, 원문에서 강조 표시). 교사의 사고는 학생의 사고에 의해 인증되어야 하며, 프레이레에 따르면 이는 학생이 자신의 비진정적이고 억압된 존재를 확인하고 그 사고를 해방하기 위해 행동하지 않는 한 일어날 수 없습니다. 이러한 억압을 내면화하는 상태는 본질적으로 하이데거(1962)가 말한 일상성, 즉 현실을 수동적으로 받아들이고 독창적이고 비판적인 사고가 결여된 상태입니다.
In his seminal work Pedagogy of the Oppressed, Freire (2000) refers to authenticity or uses the term ‘authentic’ in various ways. It primarily denotes ‘truthfulness’ or ‘genuineness,’ for instance in relation to revolution (where leaders communicate with the people) and authority (where power is delegated and shared). Freire links together solidarity, freedom and authenticity, whose combination depends on a pedagogy of bidirectional communication, ‘Authentic education is not carried on by “A” forB” or by “A” aboutB,” but rather by “A” withB,” mediated by the world – a world which impresses and challenges both parties, giving rise to views or opinions about it’ (Freire 2000, 93, emphasis in original). The teacher’s thinking must be authenticated by student thinking and, for Freire, this cannot occur unless the students are able to identify their inauthentic and oppressed being and act to liberate their thought. Such a state of internalising oppression is essentially Heidegger’s (1962) everydayness: a passive acceptance of reality and lack of original and critical thinking.

크레버(2013, 11)는 '진정성은 적어도 세 가지의 광범위한 철학적 전통, 즉 실존주의, 비판주의, 공동체주의에 의해 뒷받침되는 다차원적 개념'이라고 말합니다. 

  • 실존적 관점에서 진정성은 자신의 가능성과 삶의 목적에 대한 자기 인식과 내면의 견해에 대한 헌신으로 이해됩니다. 
  • 비판적 관점에서 실존적 진정성을 포함한 진정성은 자신의 지식, 가치, 신념에 대한 반성적 비판을 전제로 합니다. 이러한 비판은 이러한 것들이 어떻게 무비판적으로 동화되어 왔으며, 때로는 당연한 것으로 받아들여졌는지를 고려합니다. 
  • 공동체주의적 관점은 개인의 진정성에 영향을 미치는 사회적 맥락의 중요성을 지적함으로써 비판적 관점과 관련이 있습니다. 

진정성은 종종 자기 자신을 발견하고 진실해지는 것과 관련이 있지만, 사람들은 고립되어 살지 않으며 공동체주의 관점은 관계의 중요성과 사람들의 상호 연결성을 강조합니다.
Kreber (2013, 11) notes that ‘Authenticity is a multidimensional concept underpinned by at least three broad philosophical traditions: the existential, the critical and the communitarian.’

  • From an existential perspective authenticity is understood as self-awareness of one’s own possibilities and purpose in life, and commitment to one’s inner views.
  • From a critical perspective, authenticity, including existential authenticity, is contingent on reflective critique of one’s own knowledge, values and beliefs. This critique would take account of how these have been uncritically assimilated and, at least sometimes, taken for granted.
  • The communitarian perspective is related to the critical by pointing to the importance of social contexts in affecting an individual’s authenticity.

While authenticity is often associated with discovering and being true to one’s self, people do not live in isolation and the communitarian perspective stresses the importance of relationships and people’s interconnectedness.

의미의 정도
A degree of meaning

의미의 정도진정성의 가치를 구성한다는 생각은 두 가지 측면이 있습니다.

  • 첫째, 서론에서 언급했듯이 진정성이라는 개념은 복잡하고 상황에 따라 달라지지만, 본질적으로 긍정적인 속성을 가지고 있습니다. 이런 의미에서 진정성이 있다고 평가받으려면 사람, 사물, 아이디어 또는 프로세스가 기본적으로 높은 수준의 의미를 가져야 합니다.
  • 둘째, 교육학적 관점에서 볼 때 의미의 정도는 실존적 자아뿐만 아니라 해당 관점(Splitter 2009)의 중요한 속성입니다. 따라서 의미 정도라는 개념을 통해 진정성을 이해하는 것은 여기에서 확인된 진정성의 다른 가치에 내재되어 있기 때문에 의문을 제기할 수 있습니다.

그러나 우리는 고등 교육에서 그리고 고등 교육을 통해 진정성을 향상시키는 데 중요하기 때문에 이 아이디어를 별도로 다루었습니다(Kreber 2013 참조). 이를 별개의 가치로 다루는 것은 위에서 설명한 것처럼 의식, 책임, 소유권, 보살핌에 관한 실존적 아이디어의 중요성을 강조하는 데 도움이 됩니다. 이러한 의미에서 우리는 진정한 자아가 다소 개인적인 의미를 지닌 경험('현실 세계'에 해당하거나 그렇지 않은 경험)에 따라 다르게 영향을 받는다고 주장합니다. 개인적 의미를 지닌 경험은 부과된 과제와 필수 지식을 포함하는 교육 시스템에서 항상 제공되는 것은 아니며, 학생들은 학습 과제에서 주인의식책임감에 따라 의미를 찾을 가능성이 더 높습니다.
The idea that a degree of meaning constitutes a value of authenticity is twofold.

  • First, as noted in the introduction, while the concept of authenticity is complex and context dependent, it has an inherent positive attribute. In this sense, to be regraded authentic, a person, an object, an idea or a process must by default have a high degree of meaning.
  • Second, from a pedagogical perspective, a degree of meaning is an important attribute of the corresponding view (Splitter 2009) as well as of the existential self. As such, understanding authenticity through the idea of a degree of meaning could be questioned because it is inherent to the other values of authenticity identified here.

However, we have treated this idea separately because of its importance for enhancing authenticity in and through higher education (see Kreber 2013). Having this as a distinct value serves to emphasise the importance of existential ideas around consciousness, responsibility, ownership and care, as outlined above. In this sense, we argue that the authentic self is influenced differently by experiences (‘real world’ corresponding or otherwise) that have more or less personal meaning. Experiences that have personal meaning are not always available in a system of education that includes imposed tasks and required knowledge, and students are more likely to find meaning in a learning task depending on the sense of ownership and responsibility it animates in them.

학습이 학생에게 의미를 가져야 한다는 생각은 단순히 '암기식 학습'에 반대하여 '의미 있는 학습'을 경험하는 것에 관한 것이 아닙니다(Novak 2002; Ramsden 2003). 또한 의미 있는 지식은 학습자가 이미 알고 있고 할 수 있는 것을 기반으로 구축되어야 한다는 구성주의적 관점도 아닙니다. 여기서 우리가 관심을 두는 것은 학습 경험의 맥락에서 개인적 의미를 개발하는 것입니다(Rawson 2000). Rawson에 따르면, 개인적 의미는 학생이 스스로 지식을 탐색하고, 어느 정도의 자기 결정권과 주제와 맥락을 초월할 수 있는 잠재력을 제공하는 활동에 참여할 때 가장 잘 달성됩니다. 이러한 의미에서 의미 있다는 것은 학생이 중요하거나 가치 있다고 판단하는 경험을 의미하며, 결과적으로 다른 진정성 가치와도 잘 부합합니다. 또한 하이데거와 사르트르에 따르면 학습자 개개인은 항상 더 넓은 사회적 맥락에서 주체이며, 개인의 의미는 더 넓은 커뮤니티의 다른 사람들을 통해 구성되고 그들과 공유된다고 주장합니다.
The idea that learning should have meaning for a student is not just about experiencing ‘meaningful learning’ as opposed to ‘rote learning’ (Novak 2002; Ramsden 2003). Neither is it about the constructivist view that to have meaning knowledge should be built on what the learner already knows and can do. What we are concerned about here is developing personal meaning in the context of the learning experience (Rawson 2000). According to Rawson, personal meaning is best achieved when students are engaged in their own search for knowledge, an activity that offers a degree of self-determination and the potential to transcend both subject and context. Being meaningful in this sense is about an experience that the student determines to be significant or worthwhile, and as a consequence fits well with other authenticity values. In addition, following Heidegger and Sartre, we also argue that the individual learner is always a subject in a wider social context and that personal meaning is both constructed through, and shared with, others in a wider community.

'진정성 있는' 연구를 통한 학부생 교육
Teaching undergraduate students through ‘authentic’ research

우리는 진정성의 세 가지 렌즈를 사용하여 오타고 대학의 생태학 프로그램에서 진정성 있는 연구에 대한 우리의 주장을 재고했습니다. 이 작업을 돕기 위해 이론적 아이디어를 출발점으로 삼아 각 아이디어를 교육, 커리큘럼, 지식 및 학생 학습 결과에 대한 아이디어와 연결하는 프레임워크가 개발되었습니다. 이를 통해 우리는 생태학 분야의 진정한 학부 연구를 구성하는 요소에 대한 보다 자세한 설명을 만들었습니다(표 1). 이 표에는 생태학 프로그램의 현재 관행 중 일부가 진정성에 대한 요건을 충족한다고 주장할 수 있는 개념이 포함되어 있지만, 더 중요한 것은 이러한 개념이 현상에 대한 이해를 발전시키는 데 도움이 된다는 것입니다. 프레임워크를 설명한 후에는 연구를 통한 다른 형태의 학부 교육이 이 진정성 프레임워크와 어떻게 비교되는지 논의할 것입니다.

Using the three lenses of authenticity we have reconsidered our claim to authentic research in the ecology programme at the University of Otago. To help us in this task a framework was developed that took the theoretical ideas as a starting point and then connected each of these to ideas about teaching, curriculum and outcomes for knowledge and student learning. In doing so we have produced a fuller explanation of what we consider constitutes authentic undergraduate research in ecology (Table 1). The table includes concepts that allow us to claim that parts of the present practices in the ecology programme meet the requirements for authenticity, but more importantly, these concepts assist our developing understanding of the phenomenon. After explaining the framework, we will discuss how other forms of undergraduate teaching through research compare with respect to this framing of authenticity.

이 프레임워크는 특정 맥락에서 진정성의 핵심 가치로 간주되는 것을 통합합니다. 이러한 가치는 커리큘럼을 조정할 때 교사가 집중해야 하는 주요 개념과 일치합니다(Biggs and Tang 2011). 표 1에서 정렬은 커리큘럼 설계, 교수 전략 또는 특정 교수 철학의 채택을 통해 초점 포인트를 적용하는 것을 의미합니다. 따라서 우리는 '실제 세계'에서 과학이 수행되는 방식을 반영하는 보다 응용적 속성과 실존적 자아에 대한 철학적 요소를 함께 가져옵니다. 그러나 결정적으로, 진정성은 맥락에 따라 달라지고 사회적으로 구성되기 때문에 이 프레임워크는 진정성을 주장하는 데 필요한 의미의 정도를 전달합니다. 따라서 연구를 통한 진정성 있는 교육 모델은 학생에게 연구에 대한 주인의식을 고취시켜야 하며, 이는 학생에게 과제에 대한 책임동료에 대한 보살핌을 맡기고, 교사는 전문적인 지원을 제공함으로써 달성됩니다. 따라서 이 프레임워크는 이론적 요소뿐만 아니라 실제적 요소도 포함하고 있습니다. 언급된 결과 중 많은 부분이 측정하거나 평가하기 어려운 것은 사실이지만, 더 많은 경험적 테스트가 필요하지만 현재 연구를 통해 다양한 교육 모델과 비교하여 검토할 수 있습니다. 
The framework incorporates what we consider the core values of authenticity within our particular context. These values are then matched with the main concepts that teachers would need to focus on when aligning a curriculum (Biggs and Tang 2011). In Table 1 alignment refers to the application of focus points, either through curriculum design, teaching strategies or adopting specific teaching philosophies. As such we bring together the more applied attributes of mirroring how science is done in the ‘real world,’ and philosophical elements of the existential self. But crucially, since authenticity is context dependent and socially constructed, the framework conveys the degree of meaning necessary for claiming authenticity. Thus conceived, an authentic model of teaching through research should promote students’ sense of ownership over the research, which is achieved by entrusting them with the responsibility for the work and care for their peers, while teachers provide expert support. The framework therefore contains theoretical as well as practical elements. It is certainly the case that many of the outcomes noted will be difficult to measure or evaluate, but while more empirical testing is required, it is currently possible to examine it against different models of teaching through research.

이 프레임워크를 뒷받침하기 위해 Chinn과 Malhotra(2002)는 듀이(1938)가 사용한 용어인 '진정한 탐구'와 관련된 인지적 과정에 대한 포괄적인 개요를 제공합니다. 이러한 과정에는 자신의 연구 질문 생성, 복잡한 절차의 발명, 자신의 결과에 대한 의문 제기, 다양한 형태의 논증 사용, 이전 연구의 (때로는 상충되는) 결과의 사용 등이 포함됩니다. 이러한 과제는 학생의 주인의식과 고차원적인 학습 결과로 이어집니다. 그러나 일부 저자는 완전히 다른 패러다임과 관련하여 진정성을 주장하기도 했습니다. 따라서 진정한 탐구 또는 연구, 즉 '진짜 과학을 하는 것'에 대한 단순한 이해는 일반적으로 공유되지만, 우리의 프레임워크에서는 진정성이라는 하나의 가치로만 구성됩니다. 진정성에 대한 유일한 척도를 갖는 것과는 대조적으로, 이 프레임워크를 구성하는 일련의 가치들은 필연적으로 연구를 통해 근본적으로 일관된 형태의 교육을 초래할 것입니다. 이 주장을 받아들인다면, 생태학에 대한 우리의 주장을 포함하여 모든 주장이 그 자체로 진정성이 있을 수 있는지에 대한 의문이 제기됩니다. 우리는 대답은 '아니오'라고 제안하며, 여기에 제시된 프레임워크가 연구 모델을 통한 진정한 교육을 설계하는 데 어느 정도 유연성을 허용하지만, 적절하고 인식 가능한 경계를 설정하기 때문에 충분히 제약적이라는 점에 유의해야 합니다. 
In support of the framework, Chinn and Malhotra (2002) provide a comprehensive overview of the cognitive processes implicated in what they call ‘authentic inquiry,’ a term also used by Dewey (1938). These processes include the generation of one’s own research questions, the invention of complex procedures, the questioning of one’s own results, the employment of multiple forms of argument, the use of (sometimes conflicting) results from previous studies, and more. These tasks lead to both ownership and higher-order learning outcomes for students. However, some authors have made claims for authenticity in relation to quite different paradigms. Therefore, while the simple understanding of authentic inquiry or research – namely ‘doing real science’ – is commonly shared, in our framework it constitutes only one value of authenticity. In contrast to having a sole measure for authenticity, the set of values constituting this framework will inevitably result in a fundamentally consistent form of teaching through research. If this argument is accepted, then it brings into question whether all claims can be authentic in their own right (including our own for ecology). We suggest the answer is no, and further note that although the framework offered here allows for some flexibility in designing an authentic teaching through research model, it is also sufficiently constraining because it sets adequate and recognisable boundaries.

이를 '실제 세계'의 가치와 관련하여 설명하기 위해 Laursen 외(2010, 2)에 따르면 '실제 연구란 질문, 방법, 일상적인 작업 방식이 해당 분야에 진정성 있는 연구'라고 합니다. 따라서 학부 연구는 진정성에 대한 해당 관점을 주요 특징으로 삼고, 프로그램의 가치나 효과를 평가할 수 있는 기준으로 삼습니다. 같은 저자들은 또한 진정성이 교직원과 학생 모두에게 유익한 것으로 보고 있으며 다음과 같은 점에 주목합니다:
To illustrate this with reference to the ‘real world’ value, according to Laursen et al. (2010, 2), ‘real research is an investigation whose questions, methods, and everyday ways of working are authentic to the field.’ Undergraduate research, therefore, privileges the corresponding view of authenticity as a key feature, and positions it as a benchmark according to which the value or effectiveness of a programme could be evaluated. The same authors also see authenticity as being beneficial to both staff and students and note that:

지도교수는 답을 알 수 없지만 자신과 자신의 학문에 관심이 있고, 그 답에 기득권을 가지고 있기 때문에 진짜인 연구 질문에서 시작합니다. 그들은 그 질문의 범위를 정의하고, 제한된 시간 내에 초보 연구자에게 적절한 규모의 프로젝트를 제공하는 접근 방식을 고안한 다음, 의도적으로 가르칠 수 있는 순간을 활용합니다. (Laursen 외. 2010, 205)
Advisors begin with a research question that is real because its answer is unknown but of interest to them and their discipline; they have vested interest in its answer. They define the scope of that question and devise approaches to it that offer a right-sized project to a novice researcher with a limited time frame, then purposefully exploits its teachable moments. (Laursen et al. 2010, 205)

그러나 진정성 있는 연구에 대한 이러한 관점에도 문제가 없는 것은 아닙니다. 이러한 연구 프로젝트는 교실을 넘어서는 관련성이 있고 독창적이라는 측면에서 진정성이 있을 수 있지만, 학생들의 독창성, 창의성 및 아이디어와 관련된 측면에서는 그렇지 않을 수 있습니다. 또한 Hung과 Chen(2007)의 말을 빌리자면, 이 모델은 과학자로서의 정체성을 형성하고 교양을 쌓는 진정한 학습의 과정 차원에서는 부적절할 수 있습니다. 마찬가지로, 우리의 프레임워크를 사용하면 이러한 모델이 '실제' '지식 결과' 기준의 일부 요소를 충족할 수 있지만 학생의 기여도를 완전히 인정받지 못할 수도 있습니다. 또한 학생이 연구 설계 및 수행에 대한 책임이 있다는 의미에서 프로젝트를 소유하지 않기 때문에 세 가지 가치 범주에 걸친 학생의 성과가 실현될 가능성이 낮습니다. 
This view of authentic research, however, is not without problems. Such a research project could be authentic in terms of having relevance beyond the classroom and being original, but not so much in relation to students’ originality, creativity and ideas. And, borrowing from Hung and Chen (
2007), this model may be inadequate for the process dimension of authentic learning, where identity formation and enculturation as scientists are developed. Similarly, using our framework, whereas such a model may satisfy some elements of the ‘real-world’ ‘knowledge outcomes’ criterion, the contribution of the student may not be fully recognised. In addition, student outcomes across the three value categories are unlikely to materialise because the student does not own the project in the sense of having the responsibility for designing and performing the research.

다른 학생 연구 모델도 있으며, 미국에서는 학부생이 기존 과학 연구팀에서 견습생으로 일할 수도 있습니다(Laursen 외. 2010). Grabowski, Healy, Brindley(2008)는 학부생이 교수진의 연구 프로젝트와 매칭되어 구직 지원과 유사한 과정을 거치는 프로그램을 조사했습니다. 오버하우저와 르분(2012)은 학부생이 시민 과학이라는 더 넓은 틀 안에서 연구에 참여하는 약간 다른 사례를 조사합니다. 이 모델에서 학생들은 연구 설계, 프로토콜 테스트, 데이터 수집, 출판물 공동 저술과 같은 다양한 연구 과제를 수행했으며, 이 모든 과제는 진정성 있는 것으로 간주되었습니다. 그러나 이 연구의 대부분이 여름 방학 동안 이루어졌고, 얼마나 많은 학생이 프로젝트에 참여했는지 명확하지 않았으며, 학생들이 다른 실제 하위 과제에 참여했을 수 있기 때문에 전체 연구 과정을 경험했는지 또는 얼마나 많은 학생이 경험했는지는 확실하지 않습니다. 
There are other models of student research and in the United States, undergraduates may work as apprentices in an established scientific research team (Laursen et al. 2010). Grabowski, Healy, and Brindley (2008) examine a programme where undergraduate students are matched with faculty members’ research projects in a process that resembles a job application. Oberhauser and LeBuhn (2012) examine a slightly different example whereby undergraduate students engage in research within a broader framework of citizen science. In this model students performed different research tasks such as study design, protocol testing, data collection and co-authoring publications, all of which were deemed authentic. It seems, however, that much of this research was done over summer breaks, it was not clear how many students were involved in the project, and because students may have been involved in different authentic sub-tasks it is not certain if or how many experienced the complete research process.

학부 연구에 대한 접근 방식에 대한 간략한 논의에서 Harvey와 Thompson(2009, 13)은 진정한 학부 연구 경험이란 '발표 및 출판을 목표로 연구를 수행하는 지적 동료로서 한 명 이상의 학생을 참여시키는 교수 주도 프로젝트'라고 주장합니다. 저자들이 인정하듯이 이 접근 방식에는 소수의 선별된 학생만 참여할 수 있고 교수의 연구 관심사에 치우칠 수 있지만, 지속 가능한 모델이 될 수 있습니다. 결정적으로, 학생의 참여는 인지적으로나 인식론적으로 유의미해야 하며, 의미 있는 협업으로 이어져야 하는데, 이는 위에서 언급한 다른 견습 모델보다 더 중요한 요건일 수 있습니다. 그러나 저자들이 이 견습 모델이 지속 가능한 상생 모델이라는 보다 명시적인 주장과 '실제 과학을 하는 것'이라는 암묵적인 주장 외에 왜 이 모델이 진정성 있는 것으로 간주되는지는 명확하지 않습니다. 
In their brief discussion of approaches to undergraduate research, Harvey and Thompson (2009, 13) maintain that an authentic undergraduate research experience is ‘a faculty-led project [that] engages one or more students as intellectual colleagues who conduct research directed toward presentation and publication.’ This approach would include, as the authors admit, only a small and selective number of students and would lean towards the teacher’s research interest, but this would make it a sustainable model. Crucially, students’ involvement should be cognitively and epistemically significant, resulting in a meaningful collaboration, a requirement that perhaps goes further than some of the other apprenticeship models mentioned above. It is not entirely clear, however, why this apprenticeship model is deemed authentic by the authors, beyond the more explicit claim that it is a win-win sustainable model and the implicit claim that it is about ‘doing real science.’

연구 견습생 관련 문헌을 검토한 새들러와 맥키니(2010)는 여러 연구에서 이러한 직책을 맡은 학부생이 지식과 기술 수준이 향상되었다는 증거를 발견했다고 언급했습니다. 그러나 이 저자들은 '이러한 경험이 데이터 분석, 질문 제기, 가설 세우기 등 인식론적으로 더 까다로운 관행을 포함하도록 발전하지 않으면 고차원적인 결과에 대한 학습 이득이 제한될 수 있다'는 우려를 표명합니다(Sadler and McKinney 2010, 48). 따라서 학생들이 '실제' 연구에 참여할 수는 있지만, 어떤 역할이나 과제를 수행해야 하는지, 주인의식, 책임감, 관심을 통해 의미를 가질 수 있을 만큼 연구 과정을 충분히 경험할 수 있는지 여부가 항상 명확하지는 않습니다.  
In a review of the research apprentice literature, Sadler and McKinney (2010) noted that several studies found evidence that undergraduate students that held such positions improved their level of knowledge and skills. However, these authors express a concern that ‘if these experiences do not evolve to include more epistemically demanding practices, such as data analysis, question posing, and hypothesizing, then learning gains on higher-order outcomes will likely be limited’ (Sadler and McKinney 2010, 48). Thus, students may be involved in ‘real-world’ research but it is not always clear what roles or tasks they are required to perform and whether or not they get to experience enough of the research process for it to have meaning through a sense of ownership, responsibility and care.

또한, 도제식 모델에서 '실제' 연구를 통한 학습이 대중 고등 교육에 적합한 전략인지에 대한 적절한 의문이 제기되고 있습니다. 소수의 재능 있는 학생을 선별하여 연구 기회를 제공하는 것과 모든 능력을 갖춘 다수의 학생이 독창적인 연구를 수행하여 학습하는 것은 결코 같을 수 없기 때문에 이 질문은 중요합니다. 예를 들어, Gardner 등(2015)은 '떠오르는 대학 신입생'(62명)을 포함한 견습생 연구 프로그램을 연구했는데, 그 수는 공개되지 않았지만 8명의 학생이 연구 참여에 동의했습니다. 따라서 이 프로그램은 상대적으로 소수의 뛰어난 능력을 가진 학생들을 대상으로 한 것으로 보입니다. 반면, 우리의 프레임워크는 연구를 통한 진정한 교육을 학급의 모든 학생을 위한 커리큘럼에 통합할 수 있는 지침을 제공하는 것을 목표로 합니다. 
Moreover, there is a pertinent question as to whether learning through ‘real-world’ research in an apprenticeship model is a viable strategy for mass higher education. This question is important since selectively identifying a small number of talented students for research opportunities is by no means the same as getting a large number of students of all abilities to learn by carrying out original research. Gardner et al. (2015), for instance, studied an apprenticeship programme of research that included what they describe as ‘rising college freshmen’ (62), and while their number was not disclosed, eight student agreed to take part in the study. It seems, therefore, that this programme was targeted at relatively small number of exceptionally capable students. In contrast, our framework aims to provide guidance for the incorporation of authentic teaching through research into a curriculum for all students in a class.

2000년대 초 오타고 대학교의 생태학 프로그램이 재설계되었을 때 주요 목표 중 하나는 비판적 사고 능력을 개발하는 것이었습니다. 과학자가 되는 법을 배우는 것도 우선 순위가 높았지만 이는 대부분 비판적 사고의 범주에 속했습니다. 그러나 이 두 가지 모두 학생들이 진정한 연구에 참여하게 함으로써 달성할 수 있는 목표였습니다(Spronken-Smith 외. 2011). Spronken-Smith 외(2011, 732)는 '생태학 프로그램의 탐구는 학생에게 새로운 지식을 창출하고 궁극적으로 과학에 새로운 지식을 제공할 수 있는 모든 기회가 있어야 한다는 의미에서 진정성이 있었다'고 말합니다... [프로그램의 3년 동안의] 모든 연구 활동은 생태학자의 작업 측면을 다루기 때문에 이런 의미에서 모두 진정성이 있다'고 설명합니다. 앞서 언급한 '실제 세계'에 상응하는 진정성에 대한 주장은 좀 더 심도 있는 설명이 필요합니다. 
When the ecology programme at the University of Otago was redesigned in the early 2000s one of the main aims was to develop critical thinking skills. Learning to be a scientist also featured high as a priority, but this largely fell within the parameters of critical thinking. Both, however, were to be achieved through getting students engaged in authentic research (Spronken-Smith et al. 2011). Spronken-Smith et al. (2011, 732) note that ‘the inquiry in the ecology programme was authentic in the sense that there had to be every chance of new knowledge being created for the student and eventually new knowledge to science … All research activities [over three-years of the programme] cover aspects of an ecologist’s work so, in this sense, they are all authentic.’ This earlier claim to ‘real world’ corresponding authenticity requires some more in-depth explanation.

커리큘럼은 모든 학생이 대학에 처음 입학할 때부터 연구자로서의 훈련을 받도록 설계되어 3년 동안의 경험 중 일부는 연구를 통해 배우는 데 중점을 두어 연구를 수행하도록 합니다. 연구 활동은 학생들의 현재 능력에 맞게 조정되며, 프로그램이 진행됨에 따라 기대되는 연구 수준이 높아져 결국에는 고급 대학원생이나 심지어 학부 교사의 작업과 비슷해집니다(Harland 2016). 이 프로그램은 학생들이 완전히 설계하고 주도하는 캡스톤 연구 프로젝트로 마무리됩니다. 이 연구 프로젝트의 준비는 프로그램에 참여한 교사들이 연구를 수행하는 방식을 면밀히 따릅니다. 학생들은 짝을 이루어 2학년 때 짧은 현장 학습을 통해 다양한 생태계를 탐험한 후, 3학년 프로젝트에 대한 연구 제안서와 함께 보조금 신청서를 작성합니다. 이 보조금 신청서는 교직원과 학생이 모두 참여하는 이중 맹검 동료 검토 과정을 거치며, 피드백은 연구 설계를 개선하는 데 사용됩니다. 프로그램 3년차에는 학생들이 연구 프로젝트를 수행하고 보고서를 작성합니다. 이러한 프로젝트에서 생성된 지식은 해당 분야에 새로운 지식일 가능성이 높으며, 지난 몇 년 동안 일부는 기존 학술지(Harland, Wald, Randhawa 곧 출간 예정)에 연구를 발표하기도 했습니다. 그러나 이 프로그램은 미래의 학자를 양성하는 것이 목적이 아니라 학생 연구자로서의 작업을 통해 모든 학생의 개인적 성장을 촉진하고자 합니다(Harland 2016).
The curriculum is designed so that all students are trained as researchers from when they first start at university so that a part of their experiences over three years focuses on learning through research by learning to do research. Research activities are aligned to students’ current abilities and as they progress in the programme, the expected level of research increases so that eventually their work resembles that of more advanced postgraduate students or even of their academic teachers (Harland 2016). The programme concludes with a capstone research project that is fully designed and led by the students. The preparation of this research project follows closely how the teachers in the programme do research. Working in pairs, and following a short fieldtrip in second-year where students explore a number of different ecosystems, students write a grant application with a research proposal for the third-year project. This grant application goes through a double-blind peer-review process involving both staff and students, and the feedback is then used to improve the research design. In the third year of the programme, students conduct their research projects and write their reports. The knowledge generated in these projects has every chance of being new to the discipline and in past years some have published their research in established journals (Harland, Wald, and Randhawa forthcoming). The programme, however, does not aim to train future academics; instead, it wishes to promote the personal growth of all students through their work as student-researchers (Harland 2016).

이 모델에는 '실제 과학 수행'이라는 익숙한 형태로 '실제 세계'와의 대응이 포함될 수 있지만, 우리는 더 이상 이것만으로는 '진짜authentic'라고 부르기에 충분하다고 주장하지 않습니다. 오히려 연구를 통한 교육이 진정성을 가지려면 학생들이 자신이 선택한 학문 분야에서 학습자이자 연구자로서, 그리고 교실 밖에서도 자아를 긍정적이고 의미 있게 발전시킬 수 있어야 한다는 것이 우리의 견해입니다. 진정성 있는 학습자는 자신의 가치와 행동에 대한 지식을 얻고 이것이 자신과 타인에게 어떤 영향을 미치는지 알게 됩니다. 학생들의 의식에 대한 이러한 실존적 효과는 학생들이 더 큰 책임감을 갖도록 장려하고 연구를 결정할 수 있는 더 많은 자유를 부여하는 커리큘럼을 통해 달성됩니다. 이 주장을 받아들인다면, 이러한 교육 모델에서 연구는 독창적일 뿐만 아니라 대부분 학생이 주도해야 한다는 결론이 나옵니다. 표 2는 생태학 프로그램의 캡스톤 프로젝트에서 학생과 교사가 책임져야 하는 '실제' 과제를 세분화하여 보여줍니다.
The ‘real-world’ correspondence may be embedded in this model in the familiar form of ‘doing real science,’ but we would no longer claim that this in itself is sufficient for calling it ‘authentic.’ Rather, it is our view that for teaching through research to be authentic, it should positively and meaningfully enable students to develop their sense of self, both within their chosen discipline as learners and researchers, and beyond the classroom. The authentic learner gains knowledge about his or her values and actions and how these impact on self and others. This existential effect on students’ consciousness is achieved by a curriculum that encourages them to assume greater responsibility and that gives them more freedom to determine their research. If this argument is accepted, then it follows that in such a pedagogical model research should be not only original but also largely student-led. Table 2 breaks down ‘real-world’ corresponding tasks and shows what students and teachers assume responsibility for in the capstone project of the ecology programme.


이러한 책임은 진정한 자아의 일부이지만, 이것이 프로젝트 주인의식을 전제로 하는 개인적으로 의미 있는 경험과 어떻게 관련될지 예측하기는 더 어려워 보입니다. 학생에게 책임감을 부여하고 프로젝트를 설계하도록 요구할 수는 있지만, 진정성에 대한 우리의 관점에서 진정으로 느껴야 하는 소유권을 부여할 수는 없습니다(Barnett 2007). 지금까지는 코스 평가에서 주인의식이 특히 학습자이자 연구자로서 자신감을 키우는 데 매우 중요하다는 사실이 일관되게 밝혀졌다는 사실 외에 이러한 경험이 학생들에게 어떤 의미를 갖는지는 명확하지 않았습니다. 진정성의 맥락에서 우리는 진정성 있는 학습 경험에 어느 정도의 개인적 의미가 필요한지 묻고 있습니다. 우리가 결정해야 할 것은 의미가 학습자이자 생태학자가 되는 데, 그리고 궁극적으로 한 사람의 존재와 자아가 되는 데 어떤 영향을 미치는지입니다(Barnett 2007). 그런 다음 이것이 공동 연구 커뮤니티 내에서 일하는 것과 어떤 관련이 있는지, 그리고 나중에 학생들이 사회에 더 광범위하게 기여하는 방법과 어떤 관련이 있는지 확인해야 합니다. 

Such responsibility is part of the authentic-self but it seems more difficult to predict how this might relate to personally meaningful experiences that are predicated on the idea of project ownership. Students may be given responsibility and be required to design a project, but they cannot be given ownership, which has to be genuinely felt (Barnett 2007) in our view of authenticity. To date it has not been clear what the experiences have meant to students, beyond the fact that course evaluations have consistently shown that ownership has been very important, particularly with respect to students growing in confidence as both learners and developing researchers. In the context of authenticity we are asking what degree of personal meaning is required for an authentic learning experience. What we need to determine is how meaning impacts on becoming a learner and an ecologist, and ultimately on being and becoming one’s own person (Barnett 2007). We then need to ascertain how this relates to working within a collaborative research community and perhaps later how students contribute to society more broadly.

전반적으로, 그리고 보다 실용적인 측면에서 볼 때, 연구를 통한 진정한 교육 모델은 대학원 및 학부 연구자들이 지식을 학습하고 생성하는 방식을 최대한 가깝게 따르는 모델이며, 여기에는 여러 가지 기술적 작업뿐만 아니라 연구에 만연한 복잡성, 불확실성, 정치성을 다루어야 하는 것도 포함됩니다. 이 개념에서 학부생은 마치 대학원생처럼 일하기 때문에 일반적으로 이 수준에서 기대할 수 있는 것보다 훨씬 더 큰 학습 책임을 지는 동시에 교수와 훨씬 더 긴밀하고 협력적인 관계를 구축합니다(Harland 2016). 이러한 새로운 관계는 고차원적인 학습 성과와 인식론적으로 까다로운 관행에 대한 요구의 결과입니다. 우리 중 한 명은 수년 동안 이 프로그램에 참여해 왔고 오랫동안 학생들을 연구자로 가르치는 것을 지지해 왔지만, 연구를 통한 교육에서 진정성을 위한 프레임워크의 정교화는 프로그램 개발에서 거의 고려되지 않았던 기술적 과제와 가치를 모두 강조했습니다. 이는 대부분 실존적인 진정한 자아와 의미의 정도와 관련이 있습니다. 이 프레임워크를 통해 우리는 이러한 형태의 교육학, 무엇에 집중해야 하는지, 우리의 가치를 실천과 어떻게 일치시킬 수 있는지 재고할 수 있었습니다. '현실 세계'에 해당하는 과제는 비교적 쉽게 연계할 수 있는 것처럼 보이지만, '존중', '소속감', '풍요로움'과 같은 가치는 학생의 학습 결과에 대한 광범위한 토론에서 거의 주목을 받지 못했으며, Barnett(2007)의 '되기'는 더더욱 그러했습니다. 그러나 우리는 이러한 요소들이 모두 진정한 연구를 통해 학습의 필수적인 부분이라고 주장할 수 있습니다. 
Overall, and in more pragmatic terms, an authentic model of teaching through research is one that follows as closely as possible how postgraduate and academic researchers learn and generate knowledge, which includes a number of technical tasks as well as having to deal with the complexities, uncertainties and politics that are omnipresent in research. In this conception, undergraduate students work as if they were postgraduate students and so have a far greater responsibility over their learning than might typically be expected at this level, while establishing a much closer and more collaborative relationship with their teachers (Harland 2016). These new relationships are a consequence of the drive for higher-order learning outcomes and epistemologically demanding practises. Although one of us has been involved in this programme for many years, and has long been an advocate of teaching students to be researchers, the elaboration of a framework for authenticity in teaching though research has highlighted both technical challenges and values that have received little consideration in the development of the programme. These are mostly related to the existential authentic self and degree of meaning. The framework has allowed us to reconsider this form of pedagogy, what to focus on and how to align our values with practice. Although the ‘real world’ corresponding tasks seem relatively straightforward to align, values such as ‘respect’, ‘belonging’ and ‘enrichment’ have received little attention in wider debates on student learning outcomes; Barnett’s (2007) ‘Becoming,’ even less so. Yet we would argue that they are all an essential part of learning through authentic research.

결론
Conclusions

이 논문은 학부 생태학 프로그램에서 연구를 통한 교육과 관련하여 무엇이 진정성을 구성하는지에 대한 논의에서 시작되었습니다. 과학 교육에서 진정성이란 일반적으로 과학자들이 교실에서 생각하고 작업하는 방식을 그대로 재현하는 것을 의미합니다(Crawford 2015). 그러나 우리의 토론은 진정성에 대해 더 미묘하고 정보에 입각 한 조사를 수행하도록 자극하는 여러 가지 질문을 제기했습니다. 학부생들이 독창적인 연구를 통해 새로운 지식을 창출하는 데 참여하도록 하는 아이디어는 연구를 통한 교수법에서 중추적인 역할을 하며, 진정성은 일반적으로 소위 '실제 세계'와 '대응하는 관점'으로 알려진 것과 관련하여 프레임워크가 구성됩니다(Splitter 2009). 
This paper was conceived out of a discussion about what constitutes authenticity in relation to teaching through research in an undergraduate ecology programme. The common use of authenticity in science teaching refers to replicating the way in which scientists think and work in the classroom (Crawford 2015). Our discussion, however, raised a number of questions that prompted us to carry out a more nuanced and informed inquiry into authenticity. The idea of getting undergraduate students involved in generating new knowledge through original research is pivotal in pedagogies of teaching through research and authenticity is commonly framed in relation to the so-called ‘real world,’ and what has become known as the ‘corresponding view’ (Splitter 2009).

그러나 여기에 제시된 진정성에 대한 제안된 프레임워크는 연구를 통한 교육에서 진정성을 구성하는 요소에 대한 보다 복잡한 이해를 제공합니다. 이는 일반적으로 사용되는 '현실 세계'에 해당하는 관점에 진정성의 다른 두 가지 핵심 가치, 즉 실존적 진정한 자아의미의 정도를 추가함으로써 그렇게합니다. 하이데거, 아도르노, 사르트르와 같은 실존 철학자들의 연구, 특히 의식, 책임, 소유권, 보살핌과 관련된 진정성에 대한 그들의 분석은 고등 교육 분야의 학자들에 의해 확인되고 사용되어 왔습니다. 그러나 여기서 우리의 주요 기여는 이러한 아이디어를 연구를 통해 교육 맥락에서 '현실 세계'에 대한 상대적으로 더 일반적인 아이디어와 결합하는 것입니다. 실존주의와 밀접한 관련이 있는 의미의 정도는 진정성과 관련된 주로 긍정적인 의미를 반영하며, 이는 다시 우수한 모범의 표현이라는 개념의 더 일반적인 의미를 반영합니다. 이러한 가치들을 종합하면 교사가 주요 초점 포인트와 이러한 포인트가 다양한 결과와 어떻게 연계되는지를 안내하는 프레임워크가 구성됩니다. 이 프레임워크는 커리큘럼을 설계할 때 어느 정도 유연성을 허용하는 동시에 연구를 통해 과학 교육의 맥락에서 우리가 진정성이 있다고 인식하는 것에 대한 명확한 지침과 경계를 제공합니다. 
The proposed framework for authenticity presented here, however, offers a more complex understanding of what constitutes authenticity in teaching through research. It does so by adding to the commonly used ‘real world’ corresponding view two other core values of authenticity; namely, the existential authentic self and a degree of meaning. The work of existential philosophers such as Heidegger, Adorno and Sartre, and more specifically their analyses of authenticity in relation to consciousness, responsibility, ownership and care, have been identified and used by scholars in higher education. But our main contribution here is joining these ideas together with the relatively more common ideas about the ‘real world’ within the context of teaching through research. A degree of meaning, which is also closely related to existentialism, reflects the predominantly positive connotation associated with authenticity, which in turn echoes the concept’s more common meanings as a representation of a superior exemplar. Put together, these values constitute a framework that directs teachers towards key focus points and how these align with different outcomes. It allows for some flexibility in designing a curriculum while at the same time provides clearer guidance and boundaries for what we perceive to be authentic in the context of science teaching through research.

따라서 제안된 프레임워크는 주로 연구를 통한 진정한 교육 모델이 어떻게 학생들의 개인적, 심지어 직업적 발달에 긍정적이고 의미 있으며 장기적인 효과를 가져올 수 있는지에 초점을 맞추고 있습니다. 프레임워크의 '학생'과 '지식 결과'에는 교육자로서 학생들이 갖추기를 바라는 몇 가지 핵심 가치와 기술이 포함되어 있습니다. 프레임워크의 '초점' 및 '정렬' 구성 요소는 커리큘럼이 이러한 가치와 기타 결과를 심어줄 수 있는 방법에 대한 지침 역할을 합니다. 원하는 결과를 달성하기 위한 이러한 수단은 주로 학생이 주도하고 책임감, 주인의식, 파트너십 및 배려의 개념을 키우는 학습 환경에 의해 조정되는 '실제 세계'에 해당하는 과제에 달려 있습니다. 하지만 이 프레임워크 내에서 '실제 세계' 측면에 대한 몇 가지 좋은 증거가 있지만, 실존과 의미 속성에 대해서는 더 많은 조사가 필요합니다. 
The proposed framework is thus mainly concerned with how an authentic model of teaching through research could lead to positive, meaningful and long-lasting effects on the personal, and perhaps even professional, development of students. The ‘student’ and ‘knowledge outcomes’ in the framework include some key values and skills that we as educators wish our students to have. The ‘focus’ and ‘alignment’ components in the framework serve as guidance for ways in which a curriculum could instil those values and other outcomes. These means for achieving the desired outcomes predominantly rests on ‘real world’ corresponding tasks that are student-led and moderated by a learning environment that fosters notions of responsibility, ownership, partnership and care. And yet, while we have some good evidence for the ‘real world’ aspects within this framework, the existential and meaning attributes require further inquiry.


ABSTRACT

This conceptual paper is concerned with the discursive and applied attributes of ‘authenticity’ in higher education, with a particular focus on teaching science through student research. Authenticity has been mentioned in passing, claimed or discussed by scholars in relation to different aspects of higher education, including teaching, learning, assessment and achievement. However, it is our position that in spite of the growing appeal of authenticity, the use of the term is often vague and uncritical. The notion of authenticity is complex, has a range of meanings and is sometimes contested. Therefore, we propose here a practice-oriented and theoretically-informed framework for what constitutes authenticity within the context of teaching through research. This framework brings together aspects of the ‘real world,’ existential self, and embedded meaning, and aligns them with different outcomes relating to knowledge and to students. Different models of teaching through research with conflicting claims to authenticity are used to illustrate the framework.

연구-바탕 학습이 효과적인가? 사회과학에서 사전-사후 분석(STUDIES IN HIGHER EDUCATION, 2021)
Is research-based learning effective? Evidence from a pre–post analysis in the social sciences
Insa Wessels a,b, Julia Rueßa, Christopher Gessa, Wolfgang Deickea and Matthias Zieglerb

 

소개
Introduction

교육과 연구는 잘 정의된 다양한 교육 형식을 통해 연결될 수 있습니다. 그 중 하나는 학생이 지도 교수자의 도움을 받아 스스로 연구를 수행하는 연구 기반 학습(RBL)입니다. RBL은 현재 의미 있는 학습 경험의 부족과 자극적인 교육 형식의 필요성 등 고등 교육 분야의 다양한 요구를 해결하기 위한 만병통치약으로 여겨지고 있습니다. 따라서 몇몇 저자와 기관은 모든 학문적 연구 프로그램은 아니더라도 많은 학문적 연구 프로그램의 커리큘럼에 RBL을 통합해야 한다고 주장합니다(예: Healey와 Jenkins 2009). 실제로 미국 국립과학재단의 REU 프로그램과 같이 다양한 학문 분야와 형태로 RBL을 구현하려는 프로그램이 점점 더 많이 시도되고 있습니다. 이러한 노력의 주요 목표는 학생들에게 연구 참여를 경험할 수 있는 기회를 제공하는 것입니다. 과학, 기술, 공학 및 수학(STEM) 분야에서는 RBL이 실제로 그 약속에 부응하고 효과적인 학습 경험을 구성한다는 증거가 있습니다(Linn 외. 2015). 그러나 STEM 분야 외의 분야에서는 RBL이 어떤 연구 성향을 촉진하는지는 아직 불분명합니다. 따라서 본 연구는 다양한 인지적, 정의적 동기부여적 연구 성향의 습득에 관한 RBL의 효과를 사회과학 분야로 일반화할 수 있는지 살펴보고자 합니다. 
Teaching and research can be linked through a variety of well-defined instructional formats. One of these is research-based learning (RBL), in which students conduct their own research with the help of a supervisor. RBL is currently seen as a panacea for addressing a range of demands within higher education, e.g. a lack of meaningful learning experiences and the need for stimulating instructional formats. Accordingly, several authors and institutions claim that RBL should be incorporated into the curriculum of many if not every academic study programme (e.g. Healey and Jenkins 2009). Indeed, a growing number of programmes have attempted to implement RBL in a range of disciplines and forms, e.g. the REU programme by the US National Science Foundation. The main goal of these endeavours is to provide students with an opportunity to experience participation in research. In science, technology, engineering, and mathematics (STEM) disciplines, there is evidence that RBL does indeed live up to its promises and constitutes an effective learning experience (Linn et al. 2015). However, outside the STEM disciplines, it is still unclear which research dispositions RBL fosters. Thus, this study aims to examine whether RBL’s effectiveness regarding the acquisition of various cognitive and affective-motivational research dispositions can be generalised to the social sciences.

이론적 배경
Theoretical background

다른 형태의 연구 관련 교육과 관련하여 연구 기반 학습의 포지셔닝
Positioning research-based learning in relation to other forms of research-related teaching

교육과 연구는 다양한 방식으로 연결될 수 있습니다. 널리 사용되는 모델에서 Healey와 Jenkins(2009)는 두 가지 축을 따라 학생을 연구에 참여시키기 위한 다양한 교육 형식을 구분합니다.

  • 첫 번째 축은 연구 결과 또는 연구 과정 중 어느 쪽을 강조하는지를 설명합니다.
  • 다른 축은 학생이 참여자로서 능동적인 역할을 맡는지, 아니면 청중으로서 수동적인 역할을 맡는지를 설명합니다.

이 두 축은 네 가지 형식으로 결합할 수 있습니다: 연구-지도형, 연구 주도형, 연구 중심형, 연구 기반 학습입니다. RBL에서는 교수자가 연구 과정에 초점을 맞추고 학생은 능동적으로 연구와 탐구를 수행합니다. 그러나 이러한 설명은 학생의 연구 참여의 정확한 본질을 설명하지 못합니다. Huber(2014)는 RBL을 학생이 자신의 연구 질문에 따라 자율적인 방식으로 전체 연구 과정을 진행하는 교육 형식으로 정의합니다. 교수자는 촉진자 역할을 맡습니다. 이론적으로 도출된 이 정의는 연구 관련 형식의 경험적 분류(Rueß, Gess, Deicke 2016)에서 재현되었으며, 현재 연구에서 RBL의 기본 정의로 사용됩니다.각주1 
Teaching and research can be linked in different ways. In a popular model, Healey and Jenkins (2009) distinguish among different instructional formats for engaging students in research along two axes. The first axis describes whether the research results or the research process is emphasised. The other axis describes whether students take on an active role as participants or a passive role as audience. These two axes can be combined into four different formats: research-tutored, research-led, research-oriented and research-based learning. In RBL, teaching focuses on the research process, and students actively conduct research and inquiry. However, this description fails to describe the exact nature of students’ involvement in research. Huber (2014) further defines RBL as an instructional format in which students work through the entire research process in a self-regulated manner, guided by their own research questions. The instructor takes on a facilitating role. This theoretically derived definition was replicated in an empirical classification of research-related formats (Rueß, Gess, and Deicke 2016) and serves as the underlying definition of RBL in the current study.Footnote1

연구 기반 학습의 효과
The effectiveness of research-based learning

자신의 연구 프로젝트를 수행하는 것은 다양한 인지적, 행동적, 정서적 경험을 수반하며(Lopatto, 2009, 29), 이는 결과적으로 RBL과 관련된 다양한 이점으로 이어집니다. 
Conducting one’s own research project involves various cognitive, behavioural, and affective experiences (Lopatto, 2009, 29), which in turn lead to a wide range of benefits associated with RBL.

RBL은 과학적 커리어를 육성할 수 있기 때문에 장기적인 사회적 혜택과 관련이 있습니다: RBL에 참여한 학생들은 대학원 교육 또는 박사 학위 취득에 더 큰 관심을 보였으며(Lopatto 2007; Russell, Hancock, McCullough 2007), 졸업 후 6년 후에도 과학 관련 직업에 종사할 가능성이 더 높았습니다(Hernandez et al. 2018). 
RBL is associated with long-term societal benefits because it can foster scientific careers: Students participating in RBL reported a greater interest in pursuing postgraduate education or PhDs (Lopatto 2007; Russell, Hancock, and McCullough 2007) and were more likely to be engaged in scientific careers six years after graduation (Hernandez et al. 2018).

또한 RBL은 학계 밖의 직업에도 필요한 연구 기술을 육성합니다(British Academy 2012). RBL은 데이터나 상황을 객관적으로 검토하고 문제 해결의 즐거움을 찾는 능력, 즉 '연구자적 사고방식'을 개발하는 데 도움이 된다고 합니다(Wood 2003). 연구자의 사고방식은 다양한 직업 활동에서 효과적일 수 있습니다. 예를 들어 심리 치료 분야에서 치료사는 연구 지식을 활용하여 새로운 치료 접근법에 대한 증거를 참조할 수 있습니다(Levant 외. 2006). 따라서 연구 관련 지식과 기술을 습득하는 것은 과학 및 비과학 분야 모두에서 성공적으로 커리어를 쌓기 위한 전제 조건이며, 이는 이 글의 적절한 초점입니다. 
In addition, RBL fosters research skills that are also necessary for occupations outside academia (British Academy 2012). RBL is said to facilitate the development of a ‘researcher’s mindset’ – the ability to objectively examine data or a situation and finding enjoyment in solving problems (Wood 2003). A researcher’s mindset can be effective in a wide range of professional activities. For example, in the field of psychotherapy, therapists could draw upon their research knowledge to consult evidence on new therapeutic approaches (Levant et al. 2006). Hence, the acquisition of research-related knowledge and skills is a prerequisite for successfully engaging in both scientific and non-scientific careers – making it an appropriate focus for our article.

과제를 성공적으로 수행하려면 지식과 같은 인지적 성향과 이러한 지식을 실천에 옮기기 위한 정서적 동기 부여 성향이 모두 필요합니다(Blömeke, Gustafsson, Shavelson 2015). 성향특정 상황에서 개인이 일반적으로 어떻게 행동할지를 결정하는 다양한 잠재적, 개인적 자원(예: 태도, 특성 및 능력)을 나타내는 포괄적인 용어입니다(Schmidt-Atzert와 Amelang 2012, 63). 따라서 연구 영역에서 유능한 성과를 내기 위해서는 다양한 인지적(예: 지식) 및 정서적-동기적(예: 흥미) 연구 성향이 필요합니다. RBL이 다양한 인지적 및 정의적-동기적 연구 성향의 개발을 촉진하는 데 효과적인지 여부는 이전 연구의 초점이었습니다. 기존 증거는 다음 섹션에서 소개합니다. 
Successfully engaging in a task requires both cognitive dispositions, such as knowledge, and affective-motivational dispositions to put this knowledge into practice (Blömeke, Gustafsson, and Shavelson 2015). Disposition serves as an umbrella term to denote a range of latent, personal resources (e.g. attitudes, traits and abilities) that determine how an individual will normally act in a certain situation (Schmidt-Atzert and Amelang 2012, 63). Accordingly, competent performance in the research domain requires various cognitive (e.g. knowledge) and affective-motivational (e.g. interest) research dispositions. Whether RBL is effective at facilitating the development of different cognitive and affective-motivational research dispositions has been the focus of previous studies. The existing evidence will be introduced in the following sections.

인지적 이득
Cognitive gains

RBL의 효과에 대한 대부분의 경험적 연구는 인지적 연구 성향에 초점을 맞추고 있습니다. 그러나 이러한 연구의 대부분은 STEM 학생을 평가했으며(예: Linn 외. 2015; Seymour 외. 2004), 사회과학 분야에서 RBL의 효과를 조사한 연구는 소수에 불과합니다. 사회복지학 분야의 한 연구에서 학생들은 영역 전반의 연구 지식을 습득했습니다(Whipple, Hughes, Bowden 2015). 타라반과 로그(2012)는 심리학 학생들이 연구에 참여함으로써 연구 방법 기술 향상과 같은 다양한 인지적 이점을 얻을 수 있다는 증거를 발견했습니다. RBL에 참여하면 과학적 과정 전반에 대한 이해도도 높아질 수 있습니다(Lloyd, Shanks, Lopatto 2019). 
Most empirical studies on the effectiveness of RBL focus on cognitive research dispositions. However, the majority of these studies assessed STEM students (e.g. Linn et al. 2015; Seymour et al. 2004), with only a few studies investigating the effect of RBL in the social sciences. In a study from the field of social work, students gained domain-general research knowledge (Whipple, Hughes, and Bowden 2015). Taraban and Logue (2012) found evidence for a range of cognitive benefits of psychology students’ participation in research, such as improved research methods skills. Participation in RBL can also lead to increased understanding of the scientific process as a whole (Lloyd, Shanks, and Lopatto 2019).

다른 연구자들은 개별 연구 단계와 관련된 특정 기술, 예를 들어 통계 소프트웨어 사용 능력(Whipple, Hughes, Bowden 2015), 연구 결과의 전달 및 발표 능력(Stanford 외. 2017)을 조사했습니다. 또한 RBL은 비판적 사고(Hunter, Laursen, Seymour 2007; Kilgo, Ezell Sheets, Pascarella 2015)와 독립적으로 작업하는 능력(Stanford 외. 2017)과 같은 보다 일반적인 인지적 성향을 촉진하는 것으로 보입니다. 
Other researchers have examined specific skills pertaining to individual research steps, e.g. the ability to use statistics software (Whipple, Hughes, and Bowden 2015) and communicating and presenting one’s research (Stanford et al. 2017). RBL also seems to facilitate more general cognitive dispositions like critical thinking (Hunter, Laursen, and Seymour 2007; Kilgo, Ezell Sheets, and Pascarella 2015) and the ability to work independently (Stanford et al. 2017).

따라서 사회과학에서 RBL은 다양한 인지적 성향을 촉진하는 데 효과적인 것으로 보이지만, 이러한 결과는 예비적 증거로만 사용될 수 있습니다. 이 분야의 이러한 연구와 다른 연구들의 해석 가능성과 관련된 문제는 방법론적 설계에 있습니다: 대부분의 기존 연구는 주관적인 사후 평가와 스스로 평가한 기술 향상에 초점을 맞추고 있습니다(예: 스탠포드 외. 2017). 그러나 자기 평가는 종종 성격(John and Robins 1994) 또는 기술 수준 자체(숙련되지 않은 학생은 자신의 능력을 과대평가함, Kruger와 Dunning 1999 참조)에 의해 왜곡될 수 있습니다. 객관적인 척도를 사용한 대규모 조사는 보다 실질적인 결론을 제공하지만, 지금까지는 STEM 학생을 대상으로만 완료되었습니다(예: Russell, Hancock, McCullough 2007). Linn 등(2015)은 RBL의 효과를 객관적으로 조사할 수 있는 유효한 척도가 부족하다는 것이 근본적인 문제라고 지적합니다. 이 문제를 해결하기 위해 사회과학 분야의 인지적 연구 성향을 객관적으로 측정하는 사회과학 연구 역량 테스트가 Gess와 동료들에 의해 개발되었습니다(Gess, 가이거, 지글러 2018; Gess, 웨셀스, 블뢰메케 2017). 이 도구는 연구 과정의 중요한 단계를 수행하는 데 필요한 다양한 연구 지식 영역의 일관된 모델을 기반으로 합니다(부록 1, 온라인 보충 데이터 참조). 검증 연구에서 이 도구는 사회과학 연구 교육을 평가하는 데 적합한 것으로 나타났으며 RBL의 인지적 이점을 객관적으로 측정할 수 있는 도구로 사용될 수 있습니다. 
Thus, while RBL in the social sciences seems to be effective at facilitating a range of different cognitive dispositions, these results can only serve as preliminary evidence. A problem concerning the interpretability of these and other studies in the field lies in their methodological designs: Most existing studies focus on subjective ex-post assessments and self-evaluated skill gains (e.g. Stanford et al. 2017). However, self-assessments are often distorted by personality (John and Robins 1994) or skill levels themselves (unskilled students overestimate their abilities, see Kruger and Dunning 1999). Large-scale investigations using objective measures provide more substantial conclusions, but have so far only been completed for STEM students (e.g. Russell, Hancock, and McCullough 2007). Linn et al. (2015) note that the underlying problem is a lack of valid measures to objectively investigate the effectiveness of RBL. To address this problem, the Social-scientific Research Competency Test, an objective measure of cognitive research dispositions in the social sciences, was developed by Gess and colleagues (Gess, Geiger, and Ziegler 2018; Gess, Wessels, and Blömeke 2017). The instrument is based on a coherent model of different areas of research knowledge necessary to conduct critical steps in the research process (see Appendix 1, online supplemental data). In validation studies, the instrument has been shown to be suitable for evaluating social-scientific research education and could serve as an objective measure of the cognitive benefits of RBL.

정서적 동기 부여 효과
Affective-motivational gains

고등 교육 연구에서 학습에 대한 정서적 동기 부여 측면의 중요성을 점점 더 인정하고 있습니다(예: Postareff와 Lindblom-Ylänne 2011). 이러한 일반적인 추세를 반영하여 RBL에 대한 연구에서도 정서적 동기 부여에 대한 관심이 높아지고 있습니다. 
Higher education research is increasingly acknowledging the importance of affective-motivational aspects for learning (e.g. Postareff and Lindblom-Ylänne 2011). Reflecting this general trend, affective-motivational gains have also drawn increased attention in research on RBL.

RBL이 정서적 동기 부여 연구 성향을 변화시킬 수 있다는 증거는 여러 분야의 표본을 대상으로 한 연구에서 종종 발견됩니다. 연구 자기 효능감 향상(Deicke, Gess, Rueß 2014; Whipple, Hughes, Bowden 2015), 지적 호기심 증가(Bauer, Bennett 2003), 연구 과정의 장애물에 대한 높은 내성(Lloyd, Shanks, Lopatto 2019) 등의 이점이 입증되었습니다. 또한 STEM 학생을 대상으로 한 연구에서는 학습에 대한 열망이 더 크고 모호한 문제를 해결하려는 성향이 증가하는 것으로 나타났습니다(Ward, Bennett, Bauer 2003). 
Evidence on RBL’s potential to alter affective-motivational research dispositions often stems from studies with multidisciplinary samples. Demonstrated benefits include higher research self-efficacy (Deicke, Gess, and Rueß 2014; Whipple, Hughes, and Bowden 2015), increased intellectual curiosity (Bauer and Bennett 2003) and a higher tolerance for obstacles in the research process (Lloyd, Shanks, and Lopatto 2019). Furthermore, a study with STEM students demonstrated a greater desire to learn and an increased disposition towards working with ambiguity (Ward, Bennett, and Bauer 2003).

기존의 몇몇 연구는 모두 개인의 정서적-동기적 연구 성향을 조사했으며, 주로 탐색적인 방식으로 진행되었습니다. 그러나 연구를 수행하는 것은 학생들이 불확실성과 다양한 좌절을 처리해야 하는 특히 까다로운 작업입니다(John and Creighton 2011). 따라서 연구를 성공적으로 수행하려면 연구 과정의 어려움에 대처할 수 있는 다양한 정서적-동기적 성향이 필요하다고 가정할 수 있습니다. 사회과학 분야의 학생 연구에 필요한 정서적-동기적 연구 성향에 대한 일관되고 경험적으로 근거한 모델이 최근에 개발되었습니다(Wessels 외. 2018). 예를 들어, 연구 과정을 시작하고 유지하는 데 필요한 성향은 연구 흥미가 필요하며, 연구 과정을 지속하려면 불가피한 좌절에 대처할 수 있는 좌절 내성이 필요합니다. RBL이 이러한 연구 성향을 개발하는 데 효과적인지 여부는 불분명합니다.  
The few existing studies all examine individual affective-motivational research dispositions, often in an exploratory manner. However, conducting research is an especially demanding task that requires students to handle uncertainties and manifold frustrations (John and Creighton 2011). Thus, it can be assumed that successfully conducting research requires a range of different affective-motivational dispositions to cope with the challenges of the research process. A coherent, empirically grounded model of the affective-motivational research dispositions necessary for student research in the social sciences has been recently developed (Wessels et al. 2018). It encompasses dispositions that are necessary to begin and to sustain the research process: for example, research interest is needed to initiate a research process, while sustaining it requires frustration tolerance to cope with inevitable setbacks. It is unclear whether RBL is effective in developing these research dispositions.

전반적으로 사회과학에서 RBL의 본질과 효과에 대한 연구는 다른 분야의 연구와 달리 일반적으로 부족하고 취약한 방법론적 설계에 기반하는 경우가 많습니다. 그러나 STEM 학생을 대상으로 한 연구에서 얻은 증거가 사회과학에 쉽게 적용된다고 가정할 수는 없습니다.

  • 첫째, 연구는 사회과학보다 자연과학 분야의 대학 프로그램에서 더 중요해 보입니다(Taraban and Logue 2012 참조).
  • 둘째, STEM 분야의 연구 경험은 대부분 교육적 문화가 다를 수 있는 구조화된 실험실 환경에서 이루어집니다(Rand 2016).
  • 셋째, 학문 분야별 결과 변수를 조사하려면 해당 학문 분야에서 연구를 수행해야 합니다. 

Overall, studies on the nature and effectiveness of RBL in the social sciences are generally scarce and often based on weak methodological designs – in contrast to studies from other disciplines. However, one cannot assume that the evidence gained in studies with STEM students easily translates to the social sciences.

  • First, research seems more important to university programmes in the natural sciences than in the social sciences (cf. Taraban and Logue 2012).
  • Second, most research experiences within STEM disciplines occur in structured lab environments that might have a different pedagogical culture (Rand 2016).
  • Third, if discipline-specific outcome variables are to be investigated, a study needs to be conducted in that specific discipline.

또 다른 미해결 질문은 사회과학에서 RBL이 다양한 연구 성향의 변화에 영향을 미치는 과정에 관한 것입니다. STEM 학생을 대상으로 한 연구에서 학습 향상에 대한 주요 예측 변수는 연구 경험의 기간과 강도입니다. 연구 경험이 오래 지속되고 강도가 높을수록 기술 수준이 더 크게 향상됩니다(Bauer와 Bennett 2003). 또 다른 연구에 따르면 연구 과정에서 자율성(예: 스스로 방법론을 결정할 수 있는 자율성)이 높은 학생일수록 학습 성과가 더 높은 것으로 나타났습니다(Gilmore 외. 2015). 그러나 사회과학에서 RBL 과정의 어떤 특성이 다양한 연구 성향의 변화에 영향을 미치는지는 아직 연구되지 않았습니다. 
Another open question pertains to the processes by which RBL in the social sciences affects changes in different research dispositions. In studies with STEM students, the main predictors of learning gains are the duration and intensity of the research experience: longer-lasting and more intense research experiences lead to stronger increases in skill levels (Bauer and Bennett 2003). Another study found that students with higher levels of autonomy in the research process, e.g. the autonomy to make their own methodological decisions, showed stronger learning gains (Gilmore et al. 2015). However, which characteristics of RBL courses in the social sciences affect changes in different research dispositions has not been studied yet.

연구 질문 및 가설
Research questions and hypotheses

이 백서의 목적은 사회과학에서 RBL 과정의 효과를 분석하는 것입니다.

  • (1) 연구 기반 학습이 인지적 및 정의적-동기적 연구 성향에 긍정적인 영향을 미치는가?
  • (2) 다양한 코스 특성이 이러한 연구 성향의 변화와 어떤 관련이 있는가?

The objective of this paper is to analyse the effectiveness of RBL courses in the social sciences. Two main research questions guided our work:

  • (1) Does research-based learning have a positive effect on cognitive and affective-motivational research dispositions?
  • (2) How do different course characteristics relate to changes in these research dispositions?

첫 번째 연구 질문과 관련하여 다음과 같은 가설을 테스트했습니다:
Pertaining to the first research question, the following hypotheses were tested:

  • 가설 1a: 이전 연구에서 학생의 연구 경험과 자기 평가 지식 습득 간의 연관성이 발견되었으므로(Taraban and Logue 2012), 연구 지식(방법 지식, 방법론 지식, 연구 과정 지식)에 대한 사전 시험 점수보다 사후 시험 점수가 유의미하게 높을 것으로 예측합니다. 
    Hypothesis 1a:
     As previous studies have found associations between student research experiences and self-evaluated knowledge gains (Taraban and Logue 2012), we predict that students will have significantly higher post-test scores than pre-test scores for research knowledge (knowledge of methods, knowledge of methodologies and research process knowledge).
  • 가설 1b: 이전 연구에서 학생의 연구 경험과 연구 과정의 장애물에 대한 높은 내성(Lloyd, Shanks, and Lopatto 2019)과 모호성을 다루는 능력 증가(Ward, Bennett, and Bauer 2003) 사이의 연관성이 발견되었으므로, 우리는 학생들이 정서적 동기 연구 성향에 대해 사전 테스트 점수보다 사후 테스트 점수가 유의하게 높을 것으로 예측합니다. 
    Hypothesis 1b:
     As previous studies have found associations between student research experiences and a higher tolerance for obstacles in the research process (Lloyd, Shanks, and Lopatto 2019) as well as an increased ability to work with ambiguity (Ward, Bennett, and Bauer 2003), we predict that students will have significantly higher post-test scores than pre-test scores for affective-motivational research dispositions.

두 번째 연구 질문과 관련하여 다음과 같은 가설을 테스트했습니다:
Pertaining to the second research question, the following hypotheses were tested:

  • 가설 2a: STEM 분야의 연구에서 더 길고 강도 높은 연구 경험(Bauer와 Bennett 2003)이 RBL 참여 효과에 긍정적인 영향을 미친다는 사실이 입증되었으므로, 연구 경험의 강도, 즉 수행한 연구 단계의 수가 연구 지식의 변화에 영향을 미칠 것으로 예측합니다. 
    Hypothesis 2a: Since studies in STEM disciplines have demonstrated that longer and more intense research experiences (Bauer and Bennett 2003) have a positive influence on the effect of participation in RBL, we predict that the intensity of the research experience, i.e. the number of research steps performed, will influence changes in research knowledge.
  • 가설 2b: 연구 과정에서의 자율성이 높을수록 RBL 참여 효과에 긍정적인 영향을 미친다는 연구 결과(Gilmore 외. 2015)가 있으므로, 학생들의 자율성, 즉 연구 질문과 연구 방법을 자유롭게 선택할 수 있는 능력은 정서적-동기적 연구 성향의 변화에 긍정적인 영향을 미칠 것으로 예측합니다. 
    Hypothesis 2b: Since studies in STEM disciplines have demonstrated that higher levels of autonomy in the research process (Gilmore et al. 2015) positively impact the effect of participation in RBL, we predict that students’ autonomy, i.e. ability to freely choose a research question and a research method, will positively affect changes in affective-motivational research dispositions.
  • 가설 2c: 학생들의 자기 효능감, 자신이 '진짜 연구'를 하고 있다는 지각, 학생들의 과제에 대한 교수자의 관심, 향후 진로에 대한 RBL의 유용성 지각 등 다양한 동기 부여 요인이 정의적-동기적 성향의 변화에 긍정적인 영향을 미칠 것이라고 예측합니다. 
    Hypothesis 2c: We predict that different motivating factors, e.g. students’ self-efficacy, the perception that they are doing ‘real research’, perceived instructor interest in the students’ work, and the perceived usefulness of RBL for their later career will positively affect changes in affective-motivational dispositions.

연구 방법
Methods

연구 질문에 답하기 위해 10개 대학에서 다양한 사회과학 분야에서 제공되는 RBL 과정의 시작과 종료 시점에 종이 기반 측정을 실시했습니다.
To answer our research questions, paper-based measurements were conducted at the beginning and the end of RBL courses offered in different social scientific disciplines at 10 different universities.

절차
Procedure

사회과학 분야의 비교 가능한 RBL 과정을 연구하는 것이 목적이었기 때문에 경험적 사회과학 연구 방법을 사용하는 학습 프로그램의 커리큘럼만 고려했습니다. 여기에는 사회학, 정치학, 심리학, 교육학이 포함되었습니다(Gess, Wessels, Blömeke 2017 참조). 
As the objective was to study comparable RBL courses in the social sciences, only the curricula of study programmes employing empirical social science research methods were considered. These included sociology, political science, psychology, and education science (see also Gess, Wessels, and Blömeke 2017).

적합한 RBL 코스는 코스 설명을 통해 확인했습니다. RBL의 정의에 따라 학생들이 자율적인 방식으로 전체 연구 주기를 경험할 수 있는 코스만 고려했습니다. 146개 코스의 강사에게 이메일을 통해 연락하여 연구 참여를 요청했으며, 65명이 참여에 동의했고 50명은 주로 강의 시간 제약으로 인해 참여를 원하지 않았으며 나머지 31명의 강사는 응답하지 않았습니다. 사전 테스트는 과정의 첫 2주 동안, 사후 테스트는 과정의 마지막 2주 동안 예정되어 있었습니다.
Suitable RBL courses were identified via their course descriptions. Only courses that allowed students to experience a full research cycle in a self-regulated manner were considered, in line with our definition of RBL. The instructors of 146 courses were contacted via email and asked to participate in the study; 65 agreed to participate, 50 did not wish to participate, mostly due to time constraints in the course, and the remaining 31 instructors did not respond. Pre-tests were scheduled for the first two weeks of the course, and post-tests for the last two weeks of the course.

사전 및 사후 측정은 독일 전역의 10개 대학에서 총 70개의 RBL 코스에서 실시되었습니다. 실험에 참여한 모든 대학은 다양한 분야의 학위를 제공하는 10,000~50,000명의 학생을 보유한 국공립 대학이었습니다. 
Altogether, pre- and post-measurements were conducted in N = 70 RBL courses at 10 universities across Germany. All universities included were state-funded public universities with 10,000-50,000 students offering degrees in a wide range of disciplines.

테스트는 이 기사의 저자 중 한 명이 수업 시간에 진행했으며, 그는 연구의 절차 및 일반적인 목적을 설명했습니다. 설문지는 인쇄된 소책자 형태로 배포되었습니다. 생일 월 등 민감하지 않은 정보를 기반으로 한 개인 6자리 코드를 사용하여 익명성을 보장하면서 사전 및 사후 설문지를 일치시켰습니다. 설문지를 작성하는 데 약 25분 정도 소요되었습니다. 사후 테스트도 동일한 절차를 따랐습니다. 또한 코스 강의의 특성에 대한 간단한 강사 설문조사도 실시했습니다. 
The testing itself was conducted during class time by one of the authors of this article, who explained the procedure and general purpose of the study. The questionnaires were administered in the form of printed booklets. A personal 6-digit code based on non-sensitive information, e.g. birthday month, was used to match pre- and post-test questionnaires while granting anonymity. Filling in the questionnaire took approximately 25 min. The post-test followed the same procedure. Additionally, a brief instructor survey on characteristics of the course instruction was administered.

샘플
Sample

표본은 총 952명의 학생(여성 74.1%, 남성 23.5%)으로 구성되었으며, 이 중 881명이 1차 측정에, 539명이 2차 측정에 참여했습니다. 첫 번째 측정 시점의 참여율이 더 높았던 이유는 학기 초에 코스 출석률이 높았기 때문입니다.
The sample encompassed N = 952 students (74.1% female, 23.5% male), of which 881 participated in the first measurement and 539 participated in the second measurement. Higher participation rates at the first measurement point were due to higher course attendance at the beginning of the semester.

참여 학생의 평균 연령은 M = 24.38세(SD = 4.79)였습니다. 학생의 61.6%는 학사 과정에 재학 중이었고 29.5%는 석사 과정에 재학 중이었습니다. 50명의 학생은 전통적인 독일 대학 졸업장과 같은 다른 학습 프로그램에 등록했으며, 학습 진도에 따라 학사 또는 석사 과정 학생으로 분류되었습니다. 학사 과정 학생들은 평균적으로 2학년이 거의 끝날 무렵이었으며, 이수한 학기 수는 평균 3.33학점(SD = 1.67)이었습니다. 석사 과정 학생들은 평균적으로 석사 2학년 초에 재학 중이었으며, 평균 이수 학기는 M = 2.57 (SD = 1.63) 학기였습니다.  
The mean age of the participating students was M = 24.38 years (SD= 4.79). 61.6% of the students were enrolled in a bachelor’s programme, while 29.5% were enrolled in a master’s programme. Fifty students were enrolled in other study programmes, such as the traditional German university diploma, and were treated as either bachelor’s or master’s students depending on their study progress. Bachelor’s students were near the end of their second year of study on average; the mean number of semesters completed was M = 3.33 (SD= 1.67). Master’s students were at the beginning of their second year of master’s studies on average, with M = 2.57 (SD= 1.63) semesters of the degree completed on average.

학생들은 교육학(31.4%), 심리학(22.4%), 사회학(10.3%), 커뮤니케이션학(8.6%), 정치학(5.5%) 등 다양한 전공 분야에 등록했으며 나머지 학생들은 미디어 연구와 같은 보다 구체적인 사회과학 과목을 공부하고 있었습니다. 
The students were enrolled in different fields of study, namely educational science (31.4% of the students), psychology (22.4%), sociology (10.3%), communication science (8.6%), and political science (5.5%) The remaining students were studying other, more specific social scientific subjects (i.e. media studies).

학생들은 70개의 RBL 과정 중 하나에 등록했습니다. 참여는 종종 학생들의 학습 프로그램에서 필수적인 부분이었습니다: 41.8%의 학생들은 이 특정 과정에 의무적으로 등록해야 했고, 35.7%는 다른 RBL 과정을 선택할 수 있었으며, 17.6%만이 RBL 교육 형식이 포함되지 않은 과정을 선택할 수 있었습니다. 코스당 평균 참가자 수는 M = 13.54명(SD = 12.62명)이었습니다. 대부분의 학생은 한 학기 코스에 등록했으며(77.7%), 22.3%의 학생은 두 학기 코스에 등록했습니다. 65명의 강사 또는 공동 교수진이 강의를 진행했습니다. 이 중 52명의 강사가 코스 종료 시 강사 설문조사에 참여했습니다. 
The students were enrolled in one of 70 RBL courses. Participation was often a mandatory part of the students’ study programmes: 41.8% of the students were required to enrol in this specific course; an additional 35.7% could have chosen a different RBL course, while only 17.6% could have chosen a course not involving the instructional format of RBL. The average number of participants per course was M = 13.54 (SD = 12.62). The majority of students were enrolled in one-semester courses (77.7%); 22.3% of the students were enrolled in two-semester courses. The courses were led by 65 different instructors or co-teaching teams. Fifty two of these instructors participated in the instructors’ survey at the end of the course.

측정 항목
Measures

연구 지식 Research knowledge

사회과학 분야의 연구 지식을 평가하기 위해 Gess, Wessels, Blömeke(2017)의 9개 항목으로 구성된 사회과학 연구 역량 측정의 짧은 버전이 사용되었습니다. 이 테스트는 양적 연구와 질적 연구에 관한 문항으로 연구 방법에 대한 지식, 방법론에 대한 지식, 연구 과정 지식을 평가합니다. 이 시험은 다양한 연구 문제에 대한 객관식 문항과 함께 짧은 비네팅을 사용합니다(부록 1, 온라인 보충 데이터의 샘플 문항 참조). 이 도구는 여러 검증 연구를 거쳤으며 학사 및 석사 학위 프로그램에서 사회과학 연구 과정을 평가하는 데 적합합니다(Gess, Geiger, Ziegler 2018; Gess, Wessels, Blömeke 2017). 27개 문항으로 구성된 전체 측정은 완료하는 데 35분이 걸리고 수업 시간이 부족하기 때문에 변별 변인, 문항 난이도, 신뢰도, 장문 버전과의 상관관계를 바탕으로 내용 영역 측면에서 원래 시험의 전체 범위를 반영하는 9개 문항으로 구성된 짧은 버전이 개발되었습니다. 짧은 버전의 개인별 점수와 긴 버전의 개인별 점수의 상관관계는 r = 0.86으로, 두 버전이 유사한 구성을 측정한다는 것을 나타냅니다. 그러나 짧은 버전의 테스트는 긴 버전과 동일한 검증 절차를 거치지 않았다는 점에 유의해야 합니다. 학생들의 답변은 정답(1) 또는 오답(0)으로 코딩되어 최종 데이터는 9개의 이분법적 항목으로 구성되었습니다. 신뢰도는 가중 오메가 h = 0.69로 수용 가능한 수준이었습니다(표 1 참조). 

A 9-item short version of the social-scientific research competence measure by Gess, Wessels, and Blömeke (2017) was used to assess research knowledge in the social sciences. This test assesses knowledge of research methods, knowledge of methodologies and research process knowledge with items referring to both quantitative and qualitative research. The test uses short vignettes coupled with multiple choice questions on different research problems (see sample item in Appendix 1, online supplemental data). The instrument has gone through several validation studies and is suitable for the evaluation of research courses in the social sciences in both bachelor’s and master’s degree programmes (Gess, Geiger, and Ziegler 2018; Gess, Wessels, and Blömeke 2017). Since the full 27-item measure takes 35 min to complete and in-class time was sparse, a 9-item short version reflecting the full breadth of the original test in terms of content areas was developed based on the discrimination parameters, item difficulty, reliability and correlation with the long version. The correlation of the person scores for the short version and the person scores for the long version is r = 0.86, which indicates that the two versions measure a similar construct. However, it must be noted that the short version of the test has not undergone the same validation procedure as the long version. The students’ answers were coded as either correct (1) or incorrect (0), such that the final data consisted of 9 dichotomous items. The reliability was acceptable, with weighted omega h = 0.69 (see Table 1).

cshe_a_1739014_sm1493.docx
0.34MB

 

정서적-동기적 연구 성향

Affective-motivational research dispositions

정서적-동기적 연구 성향 모델(Wessels 등, 2018)은 사회과학 연구를 수행하는 데 필요한 9가지 성향을 포괄하며, 이 중 4가지 성향을 본 연구에서 조사 대상으로 선정했습니다.

  • (1) 연구에 대한 가치 관련 관심은 연구의 유용성에 대한 신념을 포함합니다.
  • (2) 연구 수행의 즐거움은 다양한 연구 활동과 관련하여 경험하는 즐거움을 의미합니다.
  • (3) 연구 관련 불확실성 내성은 연구 과정의 불확실성에 대처하는 성향을 의미합니다.
  • (4) 연구 관련 좌절 내성은 연구 과정에서 좌절을 견딜 수 있는 성향을 의미합니다.

The model of affective-motivational research dispositions (Wessels et al. 2018) encompasses nine necessary dispositions for pursuing research in the social sciences, of which four were selected to be investigated in the present study.

  • (1) Value-related interest in research subsumes beliefs about the usefulness of research.
  • (2) Finding joy in conducting research denotes the joy experienced with respect to different research activities.
  • (3) Research-related uncertainty tolerance is the disposition to handle uncertainties in the research process.
  • (4) Research-related frustration tolerance is the disposition to endure setbacks in the research process.

자기 평가 척도(샘플 항목과 기본 설명 데이터는 표 1에서 확인할 수 있음)는 연역적 및 귀납적 검사 구성 절차에 따라 다단계 프로세스로 개발되었습니다(Burisch 1984). 먼저, 고정된 이론 중심의 구성 원칙에 따라 각 성향별로 최소 20개의 문항을 구성했습니다(Wilson 2005). 문항은 사회과학과 학생 250명을 대상으로 한 파일럿 연구를 바탕으로 선정 및 개선되었습니다. 최종 도구는 각 성향당 4~5개 문항으로 구성되었으며, 보통 또는 양호한 신뢰도를 보였습니다(가중 오메가 h = 0.68-0.82). 모든 정서적 동기 부여 측정의 응답 형식은 1점(전혀 동의하지 않음)에서 5점(전혀 동의함)까지의 5점 리커트 척도입니다.
Self-assessment scales (sample items and basic descriptive data can be found in Table 1) were developed in a multistep process following deductive and inductive test construction procedures (Burisch 1984). First, at least 20 items per disposition were constructed according to fixed theory-driven construction principles (Wilson 2005). The items were selected and refined based on a pilot study with N = 250 students from the social sciences. The final instruments encompass 4 or 5 items per disposition and exhibit acceptable or good reliabilities (weighted omega h = 0.68–0.82). The response format for all affective-motivational measures was a five-point Likert scale ranging from 1 (completely disagree) to 5 (completely agree).

교수자 및 코스 특성
Instructor and course characteristics

학생 설문 조사
Student survey

사전 및 사후 테스트 중에 학생에게 추가 정보를 요청했습니다. 사전 테스트에서는 학생들이 스스로 평가한 연구 자기 효능감(5점 척도 6개 항목, 예: '주요 변수를 조작하기 어렵더라도 정량적 연구에 적합한 평가 도구를 찾을 수 있다고 확신한다')이 포함되었습니다. 사후 테스트에서 학생들은 지금까지 수행한 연구 단계(예: 관련 문헌 검색), 연구 프로젝트에 대한 강사의 관심도, '실제' 연구를 하고 있는지에 대한 인식, 향후 커리어에 대한 이 과정의 유용성에 대해 질문했습니다(모두 5점 척도로 각 항목 1개씩 측정). 
During the pre- and post-test, students were asked for additional information. At pre-test, this included their self-assessed research self-efficacy (6 items on a 5-point scale, e.g. ‘I am sure I can find suitable assessment tools for a quantitative study, even if the main variable is difficult to operationalize’). At post-test, students were asked about the research steps (e.g. searching for relevant literature) they had completed so far, their perception of the instructor’s interest in their research project, their perception of whether they were doing ‘real’ research, and the perceived usefulness of the course for their later career (all measured with one item each on a 5-point scale).

강사 설문조사
Instructor survey

사후 테스트는 강사의 관점에서 강좌의 교육 개념에 대한 정보를 수집하는 데에도 사용되었습니다. 강사에게 배포된 5분 분량의 설문지를 통해 학생들이 연구 질문과 방법을 자율적으로 선택할 수 있는지에 대해 질문했습니다(5점 척도 2개 항목). 
The post-test was also used to gather information about the course’s instructional concept from the instructor’s perspective. A 5-minute questionnaire distributed to the instructors asked about students’ autonomy in choosing their own research question and method (two items on a five-point scale).

통계 분석
Statistical analysis

첫 번째 단계로, 학생들의 사전 및 사후 테스트 데이터는 개인 6자리 코드를 통해 매칭되었습니다. SPSS 23을 사용하여 데이터 확인 및 매니페스트 변수에 대한 설명적 분석을 수행했습니다. 시간 경과에 따른 다양한 변수의 변화를 조사하기 위해 잠재 변화 점수 모델링(McArdle 2009, LCM)과 다중 회귀 분석을 사용했습니다. LCM과 필요한 모든 선행 분석은 Mplus 버전 8(Muthén and Muthén 2017)을 사용하여 수행했습니다. 다음 세 단계가 수행되었습니다:  
In a first step, students’ pre- and post-test data were matched via their personal six-digit code. We used SPSS 23 to conduct data checks and descriptive analyses of the manifest variables. To investigate changes in the different variables over time, we employed latent change score modelling (McArdle 2009; LCM) and multiple regressions. LCM and all necessary preceding analyses were performed with Mplus version 8 (Muthén and Muthén 2017). The following three steps were performed:

차원성 테스트
Dimensionality tests

가정된 요인 구조를 확인하고 데이터의 의미 있는 해석을 위해 모든 변수에 대해 확인적 요인 분석을 실시했습니다(부록 2, 온라인 보충 데이터 참조). 거의 모든 변수에 대해 단차원 모형이 더 나은 모델 적합도를 보였습니다. 유일한 예외는 '연구 수행의 즐거움 찾기' 변수였는데, 이 변수는 1차원 모형과 3차원 모형 모두에서 부적합한 모델 적합도를 나타냈습니다. 따라서 데이터의 의미 있는 해석을 위해 이 구성요소를 두 가지 요인으로 분리하여 후속 분석을 실시했습니다.

  • 첫 번째 요인은 '과학 문헌 작업의 즐거움'을,
  • 두 번째 요인은 '경험적 데이터 작업의 즐거움'을 설명합니다. 

To confirm the assumed factor structures and allow for a meaningful interpretation of the data, we conducted confirmatory factor analyses on all variables (see Appendix 2, online supplemental data). For almost all variables, the unidimensional model exhibited better model fit. The only exception was the variable ‘Finding joy in conducting research’, which exhibited inadequate model fits in both the unidimensional and the three-dimensional solution. Hence, subsequent analyses were conducted with two separate factors for this construct to ensure a meaningful interpretation of the data. The first factor describes ‘joy in working with scientific literature’, while the second describes ‘joy in working with empirical data’.

측정값 불변성 테스트
Measurement invariance tests

잠재 변화 점수 모델링의 전제 조건은 강력한 요인 불변성입니다(McArdle 2009). 강력한 요인 불변성이 주어져야만 모든 요인 적재량과 절편이 모든 측정 지점에 대해 동일한 값으로 고정될 수 있습니다. Meredith와 Horn(2001)에 따라 점점 더 제약이 많은 모델의 CFI 값을 비교했습니다(부록 3, 온라인 보충 데이터 참조). 모든 변수에 대해 강력한 요인 불변성 또는 부분 측정 불변성이 확립되었으며, 이는 후속 분석이 의미 있게 해석될 수 있음을 의미합니다. 
A prerequisite for latent change score modelling is strong factorial invariance (McArdle 2009). Only if strong factorial invariance is given can all factor loadings and intercepts be fixed to the same values for all measurement points. Following Meredith and Horn (2001), the CFI values of increasingly constrained models were compared (see Appendix 3, online supplemental data). For all variables, either strong factorial invariance or partial measurement invariance was established, meaning that the subsequent analyses can be meaningfully interpreted.

잠재 변화 점수 모델링
Latent change score modelling

그런 다음 시간에 따른 변수의 변화를 조사하기 위해 잠재 변화 점수 모델링(LCM)을 사용했습니다. LCM에서 변화는 두 개 이상의 측정 지점에서의 변화를 표현하는 잠재 차이 변수로 모델링됩니다(그림 1 참조). 이 접근 방식을 통해 측정 오류 없이 개인 내 변화의 개인 간 차이를 관찰할 수 있습니다(McArdle 2009).  
We then employed LCMs to examine changes in our variables over time. In LCM, change is modelled with latent difference variables that express the change across two or more measurement points (see Figure 1). This approach enables us to observe interindividual differences in intraindividual change free from measurement error (McArdle 2009).

LCM 분석은 두 단계로 수행되었습니다:

  • 첫 번째 단계에서는 각 변수에 대해 단변량 LCM(두 개의 측정 지점, T1 및 T2 포함)을 지정했습니다. 잠재 변화 변수는 T1에서 T2까지의 개인 내 변화를 나타냅니다. 따라서 이 변수는 가설 H1a 및 H1b(효과)를 테스트하기 위해 해석되었습니다. 잠재 변화 변수의 분산은 개인 간 차이, 즉 학생의 연구 성향이 다른 방식으로 발전하는지 여부를 나타냅니다.
  • 유의미한 개인 간 차이가 발견되면 두 번째 단계로 잠재 변화 변수를 6가지 코스 특성에 따라 회귀 분석했습니다. 그런 다음 회귀 계수를 해석하여 가설 H2a, H2b 및 H2c(코스 특성의 영향)를 테스트했습니다. 

LCM analyses were performed in two steps:

  • In the first step, we specified univariate LCMs (with two measurement points, T1 and T2) for each variable. The latent change variable indicates intraindividual changes from T1 to T2. Therefore, this variable was interpreted to test hypotheses H1a and H1b (effectiveness). The variance of the latent change variable indicates interindividual differences, i.e. whether students’ research dispositions develop in different ways.
  • When significant interindividual differences were found, in a second step, the latent change variable was regressed on six different course characteristics. The regression coefficients were then interpreted to test hypotheses H2a, H2b and H2c (impact of course characteristics).

데이터의 중첩된 구조(70개 코스에 중첩된 952명의 학생)를 설명하기 위해 Mplus 명령 TYPE = COMPLEX를 사용하여 코스를 클러스터 변수로 사용했습니다. 또한 두 측정 지점에서 동일한 항목을 사용하여 발생하는 방법 분산을 설명하기 위해 자동 상관 오류를 포함했습니다. 누락된 데이터는 전체 정보 최대 가능성 추정(FIML)을 사용하여 처리했습니다. 양호한 모델 적합도를 결정하기 위한 기준으로는 Hu와 Bentler(1999)가 제시한 기준을 사용했으며, CFI가 0.95 이상이고 RMSEA가 0.06 미만인 모델을 적절한 적합도를 가진 것으로 간주했습니다. 
To account for the nested structure of the data (N = 952 students nested in 70 courses), we used the course as a cluster variable with the Mplus command TYPE = COMPLEX. Additionally, auto-correlated errors were included to account for method variance resulting from the use of the same items over the two measurement points. Missing data were handled using full-information maximum likelihood estimation (FIML). The criteria suggested by Hu and Bentler (1999) were used as a reference point for determining good model fit: models with a CFI > 0.95 and a RMSEA < 0.06 were considered to have adequate fit.

결과
Results

단변량 잠재 변화 점수 모델: 시간에 따른 개인의 인지 및 정서적-동기적 연구 성향의 변화(가설 H1a 및 H1b)
Univariate latent change score models: changes in individual cognitive and affective-motivational research dispositions over time (hypotheses H1a and H1b)

연구 지식
Research knowledge

연구 지식에 대한 LCM은 양호한 모델 적합도를 보였습니다(표 2 참조). 변화 변수의 평균은 작지만 유의미했으며(ΔM = 0.04, p < .01), 이는 T1에서 T2로 유의미한 변화가 있었음을 나타냅니다. 즉, RBL 과정을 수강한 후 학생들은 T1보다 평균 0.45개 문항(9개 문항 중)을 더 많이 정답으로 맞힐 수 있었습니다. 따라서 데이터는 가설 H1a를 지지했습니다. 변화 변수의 분산은 매우 작고 유의하지 않았으며(σ2 = 0.001, p = .8), 이는 개인 간 차이가 없음을 나타냅니다. 
The LCM for research knowledge exhibited good model fit (see Table 2). The mean of the change variable was small but significant (ΔM = 0.04, p < .01), indicating a significant change from T1 to T2. This means that after taking the RBL course, students were able to correctly answer 0.45 questions more on average (out of nine questions) than at T1. Thus, the data supported hypothesis H1a. The variance of the change variable was very small and not significant (σ2 = 0.001, p = .8), indicating that there were no interindividual differences.

모든 정서적 동기 부여 성향에 대한 단변량 LCM은 매우 우수한 모델 적합도를 보였습니다(표 2 참조). 이러한 성향은 T1에서 T2로 발전하는 과정에서 차이가 있었습니다:
The univariate LCMs for all affective-motivational dispositions had very good model fits (see Table 2). The dispositions differed in their development from T1 to T2:

연구에 대한 가치 관련 관심
Value-related interest in research

그 결과 T1에서 T2로 넘어갈수록 유의미한 감소가 나타났습니다(ΔM = -0.14, p < .01). 변화 변수의 유의미한 분산(σ2 = 0.33, p < .01)은 관심도 변화에 개인 간 차이가 있음을 나타냅니다.
The results revealed a significant decrease from T1 to T2 (ΔM = −0.14, p < .01). The significant variance of the change variable (σ2 = 0.33, p < .01) indicates the presence of interindividual differences in changes in interest.

연구 활동과 관련된 기쁨
Joy with respect to research activities

위에서 설명한 바와 같이 이 변수는 두 가지 요인으로 구성되어 있으며, 각 요인의 발달을 개별적으로 조사했습니다.

  • 그 결과, '과학 문헌 작업의 즐거움'이 T1에서 T2로 넘어가면서 유의미하게 감소한 것으로 나타났습니다(ΔM = -0.17, p < .01). 변화 변수의 유의미한 분산(σ2 = 0.36, p < .01)은 학생들의 궤적에 차이가 있었음을 나타냅니다.
  • 두 번째 요인인 '경험적 데이터 작업의 즐거움'에서는 유의미한 변화가 관찰되지 않았습니다(ΔM = -0.05, p = .25). 유의미한 분산은 학생의 궤적에 개인 간 차이가 있음을 나타냅니다(σ2 = 0.15, p < .01).

As described above, this variable consisted of two distinct factors whose development was examined individually. The results suggest a significant decrease in ‘joy in working with scientific literature’ from T1 to T2 (ΔM = −0.17, p < .01). The significant variance of the change variable (σ2 = 0.36, p < .01) indicates that there were differences in students’ trajectories. No significant change was observed for the second factor, ‘joy in working with empirical data’ (ΔM = −0.05, p = .25). The significant variance indicates the presence of interindividual differences in students’ trajectories (σ2 = 0.15, p < .01).

불확실성 내성
Uncertainty tolerance

결과는 T1에서 T2로 유의미한 증가를 시사합니다(ΔM = 0.12, p < .01). 유의미한 분산(σ2 = 0.38, p < .01)은 학생의 궤적에 상당한 개인 간 차이가 있음을 나타냅니다.  
The results suggest a significant increase from T1 to T2 (ΔM = 0.12, p < .01). The significant variance (σ2 = 0.38, p < .01) indicates that there were substantial interindividual differences in students’ trajectories.

좌절감 내성
Frustration tolerance

결과에 따르면 좌절감 내성은 T1에서 T2로 크게 변하지 않았습니다(ΔM = 0.03, p = .24). 유의미한 차이는 개인 간 차이를 나타냅니다(σ2 = 0.12, p < .01). 
The results show that frustration tolerance did not change significantly from T1 to T2 (ΔM = 0.03, p = .24). The significant variance was indicative of interindividual differences (σ2 = 0.12, p < .01).

따라서 이 데이터는 불확실성 내성에 대해서만 가설 H1b를 지지합니다. 연구에 대한 가치 관련 흥미와 과학 문헌 작업에 대한 즐거움의 경우 유의미한 감소가 발견되었습니다. 
Therefore, the data supports hypothesis H1b only with respect to uncertainty tolerance. For value-related interest in research and joy in working with scientific literature, significant decreases were found.

시간 경과에 따른 다양한 연구 성향의 변화에 대한 다른 변수의 영향(가설 H2a, H2b 및 H2c)
Influence of other variables on changes in different research dispositions over time (hypotheses H2a, H2b and H2c)

다음으로, 단변량 LCM에서 개인 간 차이의 증거가 있는 연구 성향에 대해 변화 변수의 예측 변수를 분석했습니다. 연구에 대한 가치 관련 관심, 과학 문헌 작업에 대한 즐거움, 불확실성에 대한 내성이 그 예입니다.  
Next, predictors of the change variable were analysed for the research dispositions for which the univariate LCMs showed evidence of interindividual differences. This was the case for value-related interest for research, joy in working with scientific literature and uncertainty tolerance.

연구에 대한 가치 관련 관심
Value-related interest for research

다중 회귀 분석 결과 연구에 대한 가치 관련 관심의 잠재적 변화에 대한 두 가지 유의미하고 긍정적인 예측 변수가 밝혀졌는데, 바로 나중에 커리어에 대한 강의의 유용성과 학생의 작업에 대한 교수자의 관심도였습니다. 이 회귀 모델로 설명된 전체 분산은 10%였습니다(표 3 참조). 
The multiple regression revealed two significant and positive predictors of the latent change in value-related interest in research: the perceived usefulness of the course for one’s later career and the instructor’s perceived interest in the students’ work. The overall variance explained by this regression model was 10% (see Table 3).

과학 문헌 작업의 즐거움
Joy in working with scientific literature

과정의 유용성은 T1에서 T2로의 기쁨의 잠재적 변화에 대한 중요한 예측 변수로 작용했습니다. 이 과정이 나중에 커리어에 유용하다고 인식한 학생은 과학 문헌을 다루는 기쁨이 더 크게 증가했습니다. 전체 회귀 모델은 기쁨 변화의 분산 중 5%를 설명했습니다(표 3 참조). 
The perceived usefulness of the course served as a significant predictor of the latent change in joy from T1 to T2. Students who perceived the course as useful for their later career experienced greater increases in joy in working with scientific literature. The full regression model explained 5% of the variance in the change in joy (see Table 3).

불확실성 내성
Uncertainty tolerance

불확실성 내성은 T1에서 연구 자기효능감에 의해 유의미하게 예측되었습니다. 자기효능감은 음의 예측 변수로 작용했는데, 학생의 자기효능감이 높을수록 불확실성 내성이 더 많이 감소하거나 덜 증가했습니다. 이 회귀 모델로 설명된 전체 분산은 6%였습니다(표 3 참조). 
Uncertainty tolerance was significantly predicted by research self-efficacy at T1. Self-efficacy served as a negative predictor: the higher a student’s self-efficacy, the more uncertainty tolerance decreased or the less it increased. The overall variance explained by this regression model was 6% (see Table 3).

이러한 결과는 추가적인 동기 부여 요인의 영향을 조사한 가설 H2c와 일치합니다. 가설 H2a와 H2b는 지지되지 않았습니다. 
These findings are in line with hypothesis H2c, which examined the influence of additional motivating factors. Hypotheses H2a and H2b were not supported.

토론 및 시사점
Discussion and implications

본 연구에서는 사회과학 분야에서 RBL의 효과를 조사했습니다. 70개 코스에서 사전-사후 측정을 적용하여 RBL 참여를 통한 다양한 인지적 및 정의적-동기적 연구 성향의 변화를 조사했습니다. 연구 지식은 유의미하게 증가했지만, 추가 조사가 필요한 개인 간 차이는 관찰되지 않았습니다. 연구 관련 불확실성 내성은 증가한 반면, 연구 흥미와 과학 문헌 작업에 대한 즐거움은 RBL 참여 기간 동안 감소했습니다. 후속 회귀 분석 결과, 불확실성 내성의 변화는 연구 자기 효능감에 의해 유의미하게 예측되는 것으로 나타났습니다. 흥미와 즐거움의 변화는 향후 커리어에 대한 강좌의 유용성 지각에 의해 예측되었으며, 흥미의 변화는 강사가 학생의 과제에 대해 지각한 관심도에 의해 예측되기도 했습니다. 
Our study examined the effectiveness of RBL in the social sciences. By applying pre–post measurements in 70 courses, we examined changes in different cognitive and affective-motivational research dispositions through participation in RBL. Research knowledge increased significantly, but no interindividual differences were observed that could be further investigated. Research-related uncertainty tolerance increased, whereas research interest and joy in working with scientific literature decreased over the course of RBL participation. Subsequent regression analyses showed that the change in uncertainty tolerance was significantly predicted by research self-efficacy. The changes in interest and joy were predicted by the perceived usefulness of the course for one’s later career, while the change in interest was also predicted by the instructor’s perceived interest in the students’ work.

예상과는 달리, RBL을 경험하는 동안 수행한 연구 단계의 수와 학생들에게 주어진 자율성은 정서적-동기적 연구 성향의 변화에 영향을 미치지 않았습니다. 
Contrary to our expectations, the number of research steps performed and the autonomy students were given during the RBL experience did not have an effect on changes to any of the affective-motivational research dispositions.

연구 지식
Research knowledge

전반적으로 RBL에 참여하는 동안 연구 지식이 크게 증가했습니다(가설 1a 참조). 개별 사회과학 분야의 학생을 대상으로 한 이전 연구에서도 비슷한 결과가 보고된 바 있습니다(예: 타라반과 로그 2012). 우리는 연구 지식의 세 가지 하위 영역인 방법 지식, 방법론 지식, 사회과학 연구 과정 지식을 평가하는 객관적인 테스트 도구를 사용하여 이러한 결과를 확인할 수 있었습니다. 
Overall, research knowledge increased significantly over the course of RBL participation (see hypothesis 1a). Previous studies with students from individual social scientific disciplines have reported comparable results (e.g. Taraban and Logue 2012). We were able to confirm these findings using an objective test instrument assessing three sub-areas of research knowledge: knowledge of methods, knowledge of methodologies and research process knowledge in the social sciences.

그러나 표본에 포함된 학생들은 향상도에서 상당한 개인 간 차이를 보이지 않았으며, 다른 변수와 관련하여 관찰된 변화의 차이를 설명하기 위한 추가 분석을 수행할 수 없었습니다. 이러한 개인 간 차이가 나타나지 않은 것은 지식 항목의 답안 패턴이 비슷했기 때문일 수 있습니다. 저희는 9개 항목으로 구성된 짧은 버전의 긴 테스트를 사용했기 때문에 학생들 간의 실질적인 차이를 파악하기에 충분하지 않았을 수 있습니다. 향후 프로젝트에서는 27개 문항으로 구성된 테스트 양식이나 학생들의 답변에 더 많은 변수가 있는 다른 객관적인 측정을 사용할 것을 권장합니다.
However, the students in our sample did not exhibit substantial interindividual differences in their improvement and no further analyses could be conducted to explain differences in the observed change with reference to other variables. This lack of interindividual differences might have been due to similar answering patterns on the knowledge items. We used a 9-item short version of a longer test, which might not have been sufficient to identify substantial differences between students. In future projects, we would recommend using the 27-item test form or another objective measurement that yields more variance in students’ answers.

 

정서적 동기 부여 연구 성향
Affective-motivational research dispositions

조사된 네 가지 정서적-동기적 연구 성향 중 세 가지에서 첫 번째 측정 시점과 두 번째 측정 시점 사이에 유의미한 변화가 발견되었습니다. 
A significant change from the first to the second measurement point was found for three out of the four affective-motivational research dispositions examined.

우리의 예상(가설 1b 참조)에 따라 RBL에 참여하는 동안 불확실성 내성이 증가했습니다. 이러한 불확실성 내성의 변화는 연구 자기 효능감에 의해 유의미하게 예측되었습니다(가설 2c 참조). 그러나 자기효능감은 음의 예측 변수로 작용하여 학생의 자기효능감이 높을수록 불확실성 내성의 긍정적인 변화는 더 작았습니다. 연구 자기효능감이 낮은 학생은 연구 경험이 적기 때문에 불확실성 내성이 더 크게 증가할 수 있으며, 따라서 RBL에 참여함으로써 더 큰 혜택을 받을 수 있습니다. 높은 수준의 불확실성 내성은 연구 과정의 예측할 수 없는 특성에 대처하는 데 중요합니다. 불확실성 내성은 연구 수행뿐만 아니라 점점 더 복잡해지는 세상과 마주하는 데에도 필수적이라는 주장도 있습니다(Brew 2010). 이러한 의미에서 불확실성 내성은 학생들이 과학 경력을 쌓는 데 도움이 될 뿐만 아니라 다른 직업을 준비하는 데도 도움이 됩니다. 학생들의 불확실성 내성을 어떻게 변화시킬 수 있는지는 현재 여러 분야에서 논쟁의 대상이 되고 있습니다. 보건 과학 분야에서는 불확실성과 관련된 감정 과정을 모니터링하고 통제함으로써 의대생의 불확실성 내성을 향상시킬 수 있다는 제안이 있었습니다(Iannello 외. 2017). 이 권고를 사회과학 연구에 적용하면, 연구 과정에서 불확실성과 관련된 경험적 감정에 대한 안내를 통합하는 것이 좋습니다. 이를 위한 한 가지 방법은 반성적 학습 일기를 사용하는 것입니다(Nevalainen, Mantyranta, Pitkala 2010). 하지만 저희는 표본에서 불확실성과 관련된 반성적 과정을 테스트하지 않았습니다. 일부 강사가 연구와 관련된 불확실성에 대해 반성하고 논의했다고만 추정할 수 있습니다. 보다 포괄적인 결론을 도출하기 위해서는 RBL 과정에서의 불확실성 내성 발달에 대한 안내된 성찰 과정의 영향을 조사하는 추가 연구가 필요합니다.  
In line with our expectations (see hypothesis 1b), uncertainty tolerance increased over the course of RBL participation. This change in uncertainty tolerance was significantly predicted by research self-efficacy (see hypothesis 2c). However, self-efficacy served as a negative predictor: the higher a student’s self-efficacy, the smaller the positive change in uncertainty tolerance. Students with low levels of research self-efficacy might exhibit stronger increases in uncertainty tolerance because these students have less research experience and thus benefit more strongly from participation in RBL. A high level of uncertainty tolerance is important for coping with the unpredictable nature of the research process. Some claim that uncertainty tolerance is vital not only for conducting research but also for facing an increasingly complex world in general (Brew 2010). In this sense, uncertainty tolerance not only assists students in pursuing scientific careers but also prepares students for other professions. How students’ uncertainty tolerance can be changed is currently a subject of debate in several fields. In the health sciences, it has been suggested that medical students’ uncertainty tolerance can be enhanced by monitoring and controlling emotional processes related to uncertainty (Iannello et al. 2017). Translating this recommendation to research in the social sciences, we suggest integrating guided reflections on experienced emotions related to uncertainty in the research process. One way of doing so would be to use reflective learning diaries (Nevalainen, Mantyranta, and Pitkala 2010). However, we did not test for reflective processes related to uncertainty in our sample. We can only assume that some instructors reflected on and discussed research-related uncertainties. Further research investigating the influence of guided reflection processes on the development of uncertainty tolerance in RBL courses would be necessary to come to a more comprehensive conclusion.

연구에 대한 흥미와 즐거움은 사전 및 사후 테스트 모두에서 높은 평균값을 보였으며, 이는 참여 학생들이 일반적으로 연구 및 관련 활동을 매우 좋아한다는 것을 나타냅니다. 그러나 불확실성 내성과는 달리 흥미와 즐거움은 RBL에 참여하는 동안 감소했습니다(가설 1b 참조). 이에 대한 몇 가지 가능한 설명이 있습니다. 아마도 학생들은 과정을 진행하는 동안 연구가 무엇인지에 대해 보다 현실적인 아이디어를 얻었을 것입니다. 연구를 시작할 때 학생들의 연구 개념은 해당 사회의 지배적인 연구 관점의 영향을 받을 수 있습니다. 독일에서는 대중이 연구를 흥미롭고 신뢰할 수 있는 것으로 인식하고 있습니다(Wissenschaft im Dialog 2018). 따라서 단일 연구 프로젝트의 설명력이 얼마나 작은지 깨닫는 것은 좌절감이나 환멸을 줄 수 있습니다. 연구의 본질과 실제에 대한 보다 현실적인 이해는 연구에 대한 관심이나 기쁨을 감소시키는 동시에 다른 사람들이 '과학자가 되는 것'이라고 부르는 것의 지표가 될 수 있습니다(Hunter, Laursen, Seymour 2007).
Interest and joy in research exhibited high mean values during both the pre- and post-test, indicating that the participating students are generally very fond of research and related activities. However, unlike uncertainty tolerance, interest and joy decreased over the course of RBL participation (see hypothesis 1b). There are several possible explanations for this. Perhaps students gain a more realistic idea of what research is during the course. At the beginning of their studies, students’ conceptions of research might be influenced by the predominant view of research in their society: in Germany, the public perceives research as interesting and trustworthy (Wissenschaft im Dialog 2018). Thus, realising how small the explanatory power of a single research project is might be frustrating or disillusioning. Gaining a more realistic understanding of the nature and practice of research might lead to decreased interest or joy in research, while simultaneously serves as an indication of what others have termed ‘becoming a scientist’ (Hunter, Laursen, and Seymour 2007).

회귀 분석 결과 특정 코스 변수가 유의미한 예측 변수로 작용하는 것으로 나타났습니다(가설 2c 참조). 즉, 학생의 연구에 대한 관심의 변화는 교수자가 학생의 연구에 대해 가지는 관심도학생이 평가한 해당 코스의 향후 경력에 대한 유용성에 의해 유의미하게 예측되었습니다. 강사가 자신의 연구에 관심이 있다고 지각하는 것은 학생에게 동기를 부여하고 연구에 대한 관심을 높일 수 있습니다. 실용적인 의미로, 교수자가 학생의 작업에 관심이 있는 척해야 한다는 의미는 아닙니다. 교수자가 진정으로 관심 있는 주제(예: 자신의 연구 주제)를 RBL 코스의 주제로 선택하는 것만으로도 충분할 수 있습니다. 자신의 연구 주제를 강의실에 가져와서 교육과 연구를 결합하는 것은 종종 교수자에게 유용한 관행으로 권장되어 왔습니다(Vicens and Bourne 2009). 이에 대한 주요 주장 중 하나는 교육과 연구 모두에 관여하는 강사의 귀중한 시간을 절약할 수 있다는 것입니다. 또한 연구 결과에 따르면 교육과 연구를 병행하면 교수자의 주제에 대한 관심에 더 많은 동기를 부여받는 학생에게도 이점이 있는 것으로 나타났습니다. 
The regression analyses showed that certain course variables served as significant predictors (see hypothesis 2c): changes in students’ interest in research were significantly predicted by the instructor’s perceived interest in the students’ research and the perceived usefulness of the course for their later career (both rated by the students). Perceiving that the instructor is interested in their work might be motivating for students and increase their own interest in research. As a practical implication, this does not mean that instructors should pretend to be interested in students’ work. It could suffice for instructors to choose topics for RBL courses that are of genuine interest to them – for example, their own research topics. Bringing one’s own research topics into the classroom, thereby combining one’s teaching and research, has often been recommended as a useful practice for instructors (Vicens and Bourne 2009). One of the main arguments for this is that it saves valuable time for instructors involved in both teaching and research. Our results additionally suggest that combining teaching and research comes with benefits for students, who feel more motivated by their instructors’ interest in the topic.

즐거움의 변화는 학생들의 향후 커리어에 대한 강좌의 유용성에 따라 유의미하게 예측되었습니다. 강좌가 향후 커리어에 유용하다고 인식한 학생들은 연구에 더 많은 즐거움을 얻었습니다. 학문적 커리어를 목표로 하지 않는 학생의 경우, 비학문적 커리어에 관심이 있는 연구 주제를 선택하거나 서비스 학습을 적용하는 등 학계 밖에서의 유용성을 강조하거나 강화하는 것이 도움이 될 수 있습니다(Potter, Caffrey, Plante 2003). 이러한 방식으로 더 많은 학생들이 자신의 연구 프로젝트를 수행하는 것이 학계 밖의 경력에 유용하다고 인식하여 연구하는 데 더 큰 즐거움을 찾을 수 있습니다. 
Changes in joy were significantly predicted by the perceived usefulness of the course for students’ later careers: those students who perceived the course as useful for their future career gained more joy in research. For students who do not aspire to academic careers, it might be beneficial to emphasise or enhance the course’s usefulness for outside academia, e.g. by choosing research topics that are of interest in non-academic careers or applying service learning (Potter, Caffrey, and Plante 2003). In this way, more students might perceive conducting their own research projects as useful for careers outside academia and therefore find greater joy in doing research.

예상과는 달리, RBL을 경험하는 동안 수행한 연구 단계의 수와 학생들에게 주어진 자율성은 정서적-동기적 연구 성향의 변화에 영향을 미치지 않았습니다(가설 2a 및 2b 참조). 이는 미리 정의된 연구 문제를 해결하거나 제한된 양의 연구 단계만 완료해도 학생들에게 긍정적인 영향을 미친다는 것을 나타냅니다.
Contrary to our expectations, the number of research steps performed and the autonomy students were given during the RBL experience did not have an effect on changes to any of the affective-motivational research dispositions (see hypothesis 2a and 2b). This indicates that even working on pre-defined research problems or completing only a limited amount of research steps has a positive effect on students.

전반적으로 다양한 정서적 동기 변수의 변화를 예측하는 데 사용된 회귀 모델은 잠재적 변화 변수의 분산 중 5%(과학 문헌 작업의 즐거움), 6%(불확실성 허용), 10%(연구 흥미)를 차지했습니다. 이러한 효과 크기는 작은 것으로 분류될 수 있지만(Cohen 1988), 학생들이 예측 변수에 대한 설문지에 응답하는 데 1~2분밖에 걸리지 않았다는 점을 고려할 때 이러한 회귀 분석의 비용 대비 가치 비율은 매우 긍정적인 것으로 간주할 수 있습니다. 보다 근본적인 관점에서 볼 때, 정서적 동기 부여 성향은 현재의 기분이나 개인적인 삶의 사건과 같은 다양한 외부 변수의 영향을 받는 복잡하고 다차원적인 현상이라는 점에 유의해야 합니다. 이 연구에서 조사한 변수(예: 학생의 자율성, 교수자의 관심도)는 전체 코스에 걸쳐 다양한 정서적 동기 부여 연구 성향의 변화를 정확하게 예측하기에 충분하지 않습니다. 그러나 부분적으로 중요한 예측 변수로 작용하여 RBL 코스 설계에 실용적인 새로운 아이디어를 제공했습니다. 
Overall, the regression models used to predict changes in different affective-motivational variables accounted for 5% (joy in working with scientific literature), 6% (uncertainty tolerance) and 10% (research interest) of the latent change variable’s variance. While these effect sizes can be classified as small (Cohen 1988), it is important to put these values into perspective: given that answering the questionnaires on the predictor variables took students only 1–2 min, the cost-value ratio of these regression analyses can be considered very positive. From a more fundamental perspective, it must be noted that affective-motivational dispositions are complex, multidimensional phenomena that are influenced by a range of external variables, such as current mood or personal life events. The variables examined in this study (e.g. student autonomy, instructors’ interest) are not sufficient to accurately predict changes in different affective-motivational research dispositions over an entire course. However, they did partially serve as significant predictors and thus provide practical new ideas for designing RBL courses.

향후 연구를 위한 한계와 시사점
Limitations and implications for future research

본 연구와 이 분야의 다른 연구의 문제점은 대조군이 없다는 점입니다(Lopatto 2004 참조). 적절한 비교 그룹이 없으면 연구 경험 자체가 효과적인지 또는 RBL 코스에 참여하는 학생의 유형이 효과적인지 여부가 불분명합니다(Linn 외. 2015). 일부 저자들은 RBL 과정을 찾는 학생들이 애초에 다른 학생들보다 학업 능력이 더 높고 동기 부여가 더 강하다고 주장합니다(Carter 외. 2016). 우리 표본에서는 RBL 과정 참여가 학생들의 학습 프로그램에서 필수적인 부분인 경우가 많았기 때문에 표본에서 강한 자기 선택 편향이 있을 가능성을 배제할 수 없습니다. 그럼에도 불구하고 RBL의 효과에 대한 최종 결론을 도출하기 위해서는 의미 있고 일치하는 대조군이 필요합니다(예: RBL 과정 대기자 명단이 있는 학습 프로그램을 조사하는 등). 
A problem with our and other studies in the field is the lack of a control group (cf. Lopatto 2004). Without an adequate comparison group, it remains unclear whether the research experience itself is effective or whether it is the type of student who participates in RBL courses (Linn et al. 2015). Some authors claim that students who seek out RBL courses have higher academic abilities and are more motivated than other students in the first place (Carter et al. 2016). In our sample, participation in the RBL course was often a mandatory part of the students’ study programme; thus, a strong self-selection bias in our sample can be ruled out. Nevertheless, a meaningful, matched control group is still necessary to draw final conclusions on the effectiveness of RBL, e.g. by examining study programmes with a waiting list for RBL courses.

또 다른 한계는 테스트 시점과 관련이 있습니다. 사후 측정은 강의가 끝날 무렵 강의실에서 실시되었기 때문에 최종 논문 작성이나 연구 결과 발표의 효과를 반영하지 못했습니다. 그러나 자신의 연구에 대해 공개적으로 발표하는 것은 학생들에게 특히 동기를 부여하는 것으로 묘사되어 왔으며(Cuthbert, Arunachalam, Licina 2012), 따라서 RBL과 관련된 학습 결과에 영향을 미칠 수 있습니다. 향후 연구에서는 추후 또는 후속 측정을 통해 최종 과제의 효과를 통합해야 합니다. 
Another limitation concerns the testing time point. Since the post-measurement was conducted in the classroom towards the end of the course, our results do not reflect the effect of writing final papers or presenting research results. However, giving a public presentation on one’s research has been described as particularly motivating by students (Cuthbert, Arunachalam, and Licina 2012) and thus might influence the learning outcomes associated with RBL. Future research should incorporate the effects of final assignments by using later or follow-up measurements.

본 연구의 정량적 설정은 연구 프로젝트에 대한 학생들의 개인적인 관점, 연구 과정의 어려움에 대한 개별적인 반응, 교수자의 행동에 대한 추가적인 생각을 다룰 수 없음을 의미했습니다. 향후 프로젝트에서는 심층 인터뷰를 통해 학생들의 관점을 통합하여 본 연구의 예비 결과와 그에 따른 시사점을 추가로 탐색하고 검증할 수 있습니다. 
Our study’s quantitative set-up meant that the students’ personal perspectives on their research projects, individual reactions to challenges in the research process and additional thoughts on their instructors’ behaviour could not be addressed. A future project could further explore and validate the preliminary findings of this study and the resulting implications by incorporating students’ perspectives via in-depth interviews.

이 연구의 목적은 인지적 및 정서적 동기부여 연구 성향을 향상시키기 위한 사회과학 분야의 RBL 과정의 효과를 조사하는 것이었습니다. 연구 결과에 따르면 RBL은 연구 지식과 연구 관련 불확실성 내성을 향상시키는 데 효과적인 교육 형식이라는 결론을 내릴 수 있습니다. 특히 학생들이 RBL 경험이 향후 커리어에 도움이 될 것이라고 생각할 때 RBL 과정이 효과적이라는 것이 입증되었습니다. 
The aim of this study was to examine the effectiveness of RBL courses in the social sciences for enhancing cognitive and affective-motivational research dispositions. Based on the results, we can conclude that RBL is an effective instructional format for enhancing research knowledge and research-related uncertainty tolerance. RBL courses proved especially effective when students thought the RBL experience was useful for their later career.

RBL이 효과적인 교육 형식인지에 대한 질문은 지금까지 STEM 분야의 연구에서 주로 다루어져 왔으며, 사회과학 분야의 증거는 아직 부족합니다. 본 연구에서는 사전-사후 설계를 사용하여 다양한 사회과학 분야의 학생들을 대상으로 RBL의 효과에 대한 체계적인 설명을 제공함으로써 학문별 측정치를 향상시키고자 했습니다. 선택한 절차는 해당 분야의 기존 증거를 확장하는 데 적합했지만, 추가 연구 노력에서 해결해야 할 다양한 미해결 질문이 남아 있습니다.

The question of whether RBL is an effective instructional format has so far been dominated by studies from the field of STEM, while evidence from the social sciences remains scarce. Our study sought to provide a systematic account of the effectiveness of RBL among students from different social scientific disciplines for enhancing discipline-specific measures using a pre–post design. While the chosen procedure was suitable for extending existing evidence in the field, a range of open questions remain that should be addressed in further research endeavours.

 


ABSTRACT

Research-based learning (RBL) is regarded as a panacea when it comes to effective instructional formats in higher education settings. It is said to improve a wide set of research-related skills and is a recommended learning experience for students. However, whether RBL in the social sciences is indeed as effective as has been postulated for other disciplines has not yet been systematically examined. We thus administered a pre–post-test study to N = 952 students enrolled in 70 RBL courses at 10 German universities and examined potential changes in cognitive and affective-motivational research dispositions. Latent change score modelling indicated that students increased their cognitive research dispositions, whereas most affective-motivational research dispositions decreased. The instructors’ interest in the students’ work served as a significant predictor of changes in research interest and joy. Practical implications for designing RBL environments can be inferred from the results.

의학교육커리큘럼에서 인공지능의 필요성, 도전, 적용(JMIR Med Educ. 2022)
Needs, Challenges, and Applications of Artificial Intelligence in Medical Education Curriculum
Joel Grunhut1*, BA; Oge Marques2,3*, PhD; Adam T M Wyatt4*, PhD

 

소개
Introduction

인공지능(AI)과 그 응용 분야는 진단, 진단 촉진, 의사 결정, 빅데이터 분석, 관리 등 의료 분야의 많은 글로벌 문제를 해결할 수 있는 큰 가능성을 가지고 있습니다[1,2]. AI는 전 세계 의사 부족 문제를 해결하고 전 세계 오지에 의료 서비스를 제공할 수 있는 잠재력을 가지고 있습니다[2].  
Artificial intelligence (AI) and its applications hold great promise for solving many of health care’s global issues including making diagnoses, facilitating diagnostics, decision-making, big-data analytics, and administration [1,2]. AI has the potential to solve the global doctor shortage and bring access to health care to remote areas of the world [2].

이미 많은 의료 분야에서 AI의 실제 적용을 통해 혜택을 보고 있습니다. 예를 들어 심방세동, 간질 발작, 저혈당증을 감지하거나 조직 병리 검사 또는 의료 영상에 기반한 질병 진단 등이 있습니다[3]. AI의 사용은 영상의학이나 병리학 분야에 국한된 것이 아니라, 1차 진료부터 긴급한 중환자 결정에 이르기까지 다양한 분야를 아우르는 단일 데이터 형태인 이미지 인식에 대한 AI의 힘을 보여주는 지표입니다. 최근 데이터에 따르면 의학의 모든 전문 분야에서 의사를 보조하는 데 AI를 활용하는 방안을 모색하고 있습니다[4]. 딥러닝 알고리즘은 다양한 의료 분야에서 웨어러블, 스마트폰 및 기타 모바일 모니터링 센서를 통해 개인이 매일 사용하는 데이터의 양이 증가함에 따라 이를 기능적으로 이해할 수 있습니다[3]. AI는 대부분의 데이터 형태에 대해 분석을 수행하고 지능적인 실행 가능한 권장 사항을 제공하는 기능을 지속적으로 개선할 것입니다[5]. 향후 AI의 발전은 의료의 모든 측면에 스며들 것으로 예상됩니다[6]. 
Many fields of medicine have already seen benefit from the practical application of AI. Examples include the detection of atrial fibrillation, epilepsy seizures, and hypoglycemia, or the diagnosis of disease based on histopathological examination or medical imaging [3]. The use of AI is not limited to the fields of radiology or pathology; rather, those fields are indicators of the power of AI for image recognition, a singular form of data that transverses many fields spanning from primary care practice to urgent midsurgical decisions. Recent data show that every specialty in medicine is exploring the use of AI in assisting physicians [4]. Deep learning algorithms can make functional sense of increasing amounts of data used by individuals daily through wearables, smartphones, and other mobile monitoring sensors in different areas of medicine [3]. AI will continue to improve its capabilities to perform analysis and provide intelligent actionable recommendations on most forms of data [5]. It is expected that the future advancements in AI will permeate all aspects of medicine [6].

파괴적 혁신
Disruption

AI가 의료 분야에서 계속 발전하고 있지만 도전 과제가 없는 것은 아닙니다. AI는 이러한 임상 진료의 진화에 대비하지 못한 의사들의 저항에 직면해 있습니다[3]. 의사들은 AI의 발전으로 혜택을 받을 가능성이 높지만, 대체에 대한 두려움으로 인해 이러한 기회를 놓칠 수 있습니다. 또한 AI에 대한 지식이 부족하면 머신러닝 예측의 신뢰성에 대한 회의론이 생길 수 있습니다. 이러한 반발로 인해 다른 전문 분야에서는 AI 솔루션을 사용하여 산업을 발전시키는데 반해 의료 부문의 상당 부분이 AI에 적응하지 못하고 있을 수 있습니다[3].  
As AI continues to make advancements in health care, it is not without challenges. AI is met with resistance from physicians ill-equipped for such an evolution of clinical practice [3]. It is likely that physicians would benefit from the advancements of AI, but an understandable fear of replacement may prevent these opportunities. Furthermore, a lack of knowledge in AI can create skepticism in the trustworthiness of a machine learning prediction. This pushback may be preventing a large part of the health care sector from adapting to AI as other professional sectors continue to use AI solutions to advance their industries [3].

AI는 기존의 임상의사-환자 양자 구도를 훨씬 더 윤리적이고 감정적으로 복잡한 임상의사-AI-환자 삼자 구도로 변화시킬 것입니다. 이는 윤리적, 법적, 재정적 영향과 함께 신뢰와 책임 측면을 극적으로 변화시킬 것입니다[7]. 의사는 이러한 큰 변화에 대비해야 합니다[8]. 
AI will change the dynamics of the traditional clinician-patient dyad to a much more ethically and emotionally complex clinician-AI-patient triad. This will dramatically alter the trust and accountability aspects with ethical, legal, and financial implications [7]. Physicians must be prepared for this great change [8].

AI와 같은 신흥 기술은 전통적인 교육 프로그램을 통해 유지되는 노동 시장을 혼란에 빠뜨릴 잠재력을 가지고 있습니다. 이러한 시장 혼란에 탄력적으로 대응하기 위해서는 의사 교육 프로그램에 변화가 필요합니다[9]. 현재의 학부 의학교육(UME) 커리큘럼은 진화하는 기술의 새로운 요구사항에 점점 더 부합하지 못하고 있습니다. 대부분의 의과대학이 변화를 수용하고 의학 커리큘럼의 구성 요소를 정기적으로 업데이트하기 위해 노력하고 있지만, 대대적인 개편은 달성하기 어렵고 커리큘럼에서 AI를 구현하는 데 방해가 될 수 있습니다. 깊이 내재된 가치와 인증 과정 등 다양한 요인으로 인해 중요한 커리큘럼 개혁을 달성하기는 어렵습니다[10]. 
Emerging technologies such as AI have the potential to disrupt labor markets maintained through traditional education programs. In order to be resilient to these market disruptions, physician training programs will require change [9]. The current undergraduate medical education (UME) curriculum is increasingly out of sync with the new needs of an evolving technology. Although most medical schools embrace change and strive to regularly update the components of the medical curriculum, a major overhaul is difficult to achieve and may be a hindrance to the implementation of AI in the curriculum. The path to significant curricular reform is difficult because of a variety of factors, including deeply embedded values and the accreditation process [10].

UME는 미래를 맞이하고 학생들에게 AI를 통해 더 넓은 범위의 의료 서비스에 대한 접근성을 제공해야 합니다. [데이터 과학에 대한 지식, 알고리즘 품질 평가, 다양한 AI 제품 간 변별]은 의학교육의 필수 구성 요소이며, 교수진은 이를 통합하기 시작해야 합니다. 의과대학은 의사가 미래에 대체할 수 없는 역할을 확립하기 위해 컴퓨터보다 경쟁 우위를 점할 수 있는 고유한 인간 능력을 가르치고 육성하기 시작해야 합니다[9]. 
UME must begin to welcome the future and provide students access to a broader scope of health care through AI. Knowledge on data science, assessing algorithmic quality, and differentiating among different AI products are necessary components of medical education, which faculty must begin to incorporate. Medical schools must begin to teach and nurture unique human abilities that give physicians a competitive advantage over computers to establish an irreplaceable role in the future [9].

의사에게는 어떤 기술이 필요할까요?
What skills Do Physicians Need?

의료계는 임상 의사 결정을 개선하기 위한 데이터 사용이 증가하면서 숙련된 의사와 기계의 상호 작용이 필요한 AI 시대에 접어들고 있습니다[11]. 차세대 의사에게 올바른 기술과 AI에 대한 적응력을 교육하면 이 새로운 데이터 과학 혁명의 일원이 될 수 있습니다[8]. 현재 의사가 AI와 함께할 수 있는 접근 방식은 다양합니다. 데이터 과학 과정을 수강하는 의사, 펠로우십 기회를 얻는 의사, 의학교육 프로그램에 참여하는 데이터 과학자 등이 있습니다. 이들은 전체 의사 인구의 극히 일부에 불과하므로 UME에서 보다 통합적이고 전향적인 접근 방식이 필요합니다. 
The practice of medicine is entering the age of AI in which the use of data to improve clinical decision-making will grow, bringing forth the need for skillful medicine-machine interaction [11]. Educating the next generation of physicians with the right techniques and adaptations to AI will enable them to become part of this emerging data science revolution [8]. Currently, there are different approaches for physicians to become accompanied to AI. There are physicians taking courses in data science, fellowship opportunities, and data scientists entering medical education programs. These represent a small fraction of the total physician population, and therefore a more integrative and forward approach in UME is necessary.

의료 전문가들은 AI의 장점과 비용 절감, 품질 향상, 의료 서비스 접근성 확대 등의 잠재력에 대해 충분히 교육받아야 합니다. 마찬가지로 중요한 것은 의사가 투명성 및 책임과 같은 AI의 단점에 대해 잘 알고 있어야 한다는 것입니다. 이러한 목표를 달성하기 위해서는 커리큘럼의 여러 측면에 걸쳐 AI를 원활하게 통합해야 합니다[11].  
Medical professionals need to be sufficiently trained in AI, its advantages, and its potential to lower cost, improve quality, and expand access to health care. Of equal importance, physicians should be knowledgeable in its shortfalls such as transparency and liability. AI needs to be seamlessly integrated across the different aspects of the curriculum to achieve these goals [11].

AI 솔루션의 권장 사항을 환자의 치료 과정에 통합할 때 의사는 환자가 가질 수 있는 모든 우려에 답할 수 있어야 합니다. 더 중요한 것은 의사가 AI가 환자 치료에 도움이 되는 기술이 되고 해를 끼치는 기술이 되지 않도록 할 책임이 있다는 것입니다. 기술 혁명은 의료 분야에서 AI 기반 구현에 대한 윤리적 고려 사항과 관련하여 많은 과제를 제기합니다. 데이터베이스의 소수자 배제, 법적 보호 문제, 인본주의적 터치의 감소 등 여러 윤리적 문제들이 의료 분야에 AI를 적용하는 데 있어 우려를 불러일으킵니다. 이러한 이유로 인해 미래의 의사에게 매우 중요한 의무인 AI에 대한 충분한 지식과 경험 습득의 중요성이 부각되고 있습니다[12]. 
When incorporating recommendations from AI solutions to a patient’s course of treatment, physicians should be capable to answer any concerns that patients may have. Perhaps even more importantly, physicians are responsible for ensuring that AI becomes a technology beneficial for patient care and not possibly a cause of harm. The technological revolution raises many challenges with regards to ethical considerations of AI-based implementation in health care. Minority exclusions in databases, issues with legal protections, and a decrease in humanistic touch, among other ethical issues, raise concern for an adaptation of AI in health care. These reasons bring forth the importance of acquiring sufficient knowledge and experience about AI, an obligation of high importance for future physicians [12].

의과대학은 학생들에게 데이터 과학, 생물 통계학, AI의 생명윤리적 영향, 근거 기반 의학 등과 함께 기초 및 임상 의학에 대한 폭넓은 지식을 교육하는 데 필요한 조치를 취해야 합니다. 의대생 교육에는 [올바른 정보와 수사를 구별하는 능력][환자와 대중을 위해 철저하게 검증되고 신뢰할 수 있는 정보를 만들고 배포하는 방법을 이해하는 능력] 개발이 포함되어야 합니다[12].  
Medical schools should take necessary steps to educate students with widespread knowledge of basic and clinical medicines along with data science, biostatistics, bioethical implications of AI, and evidence-based medicine. Part of a medical student’s training should include developing the abilities to distinguish correct information from rhetoric and to understand how to create and disseminate thoroughly validated, trustworthy information for patients and the public [12].

제안 단계
Suggested Steps

현재 의학교육에서 인공지능은 초기 단계에 있으며 추측 단계에 머물러 있습니다[13-16]. 이전에 우리는 이 주제에 대해 발표된 대부분의 문헌이 학부 의학교육의 변화를 요구하고 있으며 커리큘럼 변화를 뒷받침하기 위한 연구가 필요하다는 것을 보여주었습니다[17]. 그럼에도 불구하고 이러한 변화를 만들기 위해 취해야 할 단계에 대해 고민한 사람은 거의 없습니다. 이는 주요 커리큘럼 개편을 실행하는 데 어려움이 있기 때문에 예상되는 일입니다. 여기에서는 인식되는 어려움에 대한 개요를 제공하고 이러한 문제를 해결하기 위한 해결책을 제시합니다(표 1).
Currently, the state of AI in medical education is in its infancy and speculative stages [13-16]. Previously, we have shown that the majority of published literature on the topic call for change in undergraduate medical education and that research is necessary to support curricular changes [17]. Even so, few have given thought to the steps that must be taken to create this change. This is expected because of the difficulty in implementing major curricular changes. Here, we provide an outline of the perceived difficulties and offer solutions to resolve these challenges (Table 1).

의과대학 커리큘럼 변경은 변화에 대한 저항으로 인해 실행하기 어렵습니다. 이러한 저항은 변화를 통합하는 방법에 대한 합의가 부족하고 이미 바쁜 커리큘럼으로 인해 정당화됩니다. 이러한 이유로 추가 교과목이나 업무량을 제안하면 의대생에게 최선의 이익이 되는 의학교육 교수진의 비판에 직면할 가능성이 높습니다. 국가 인프라 수준에서 이러한 문제는 의학교육 및 기관의 리더가 지원할 수 있습니다. 이러한 인식은 연례 미국 의과대학 졸업 설문조사에 1~3개의 질문을 추가하여 학생들의 관심도와 능력을 측정함으로써 쉽게 명확히 할 수 있습니다. 예를 들어, 설문지에는 UME 기간 동안 AI를 가르쳐야 하는지, 몇 학년도에 가르쳐야 하는지, 어떻게 통합해야 하는지에 대한 동의를 구할 수 있습니다. 이러한 의견은 인증 요건으로 전환되어 변화를 촉진할 수 있습니다. 
Medical school curricular changes are difficult to implement due to resistance to change. This resistance is justified through a lack of consensus on how to incorporate change and an already busy curriculum. For this reason, proposing additional courses or workload will likely be met with criticism from medical education faculty in the best interest of medical students. On a level of national infrastructure, these issues can be supported by leaders of medical education and organizations. These perceptions can be clarified easily through the addition of 1-3 questions on the annual Association of American Medical Colleges Graduation Questionnaire to gauge interest and ability over time from students. For example, the questionnaire can ask for agreement on whether AI should be taught during UME, what year of training it should be taught in, and how it should be incorporated. These can translate into accreditation requirements and drive change forward.

Table 1. Multitiered solutions to include AI in the medical education curriculum.
Levels and target areas of improvement Examples
National infrastructure  
  AAMCb Questionnaire, materials, and guidance
  LCMEc Minimal requirements and expert panels
  Multi-institutional research Longitudinal research on attitudes and quality improvements
Individual school  
  Faculty expansion Bioethics, bioinformatics, and medical AI experience
  Basic knowledge lessons Introductory courses, benefits and pitfalls of AI, and ethics of AI
  Case-based learning Multispecialty implications in previous cases and biostatistical implications
Student specific  
  Journal clubs or reading groups Specialty-specific journals, health care systems journals, and AI in health care journals
  Use of AI in clinical setting Tumor board, radiology rotation, and point of care ultrasound

aAI: artificial intelligence.

bAAMC: Association of American Medical Colleges.

cLCME: Liaison Committee on Medical Education.

더 중요한 질문은 학부 의학교육자들이 어떻게 연합하여 커리큘럼에 AI를 통합하는 것에 대한 수준 높은 연구를 수행할 수 있는가 하는 것입니다. 연구와 프로토콜의 기준이 서로 다른 개별 학교의 보고서가 모든 학부 의학교육에 필요한 변화를 정의할 수 있을까요? 여러 의과대학의 공동 및 연합 연구 노력은 이 문제에 대한 다각적이고 다양한 의견을 제공할 수 있으며, 이는 반드시 필요합니다. 
A more overarching question is how undergraduate medical educators can unite to perform high-quality research on the incorporation of AI in the curriculum. Would individual school reports with differing standards in research and protocol do justice to a necessary change across all undergraduate medical education? A joint and united research effort from multiple medical schools would provide a multifaceted and diverse input on the issue and is necessary.

개별 학교 차원에서는 커리큘럼을 개선하기 위한 자원 투자가 필요할 것입니다. 시간 및 내용 제약 문제를 해결하기 위해 UME 전반에 걸친 종단적 AI 스레드를 옹호해야 합니다. 근거 기반 의학을 가르치는 과정에는 AI의 입력을 평가하는 추가적인 관점을 통합해야 합니다. 의과대학 교수진은 근거 기반 의학에서 AI의 역할에 대한 질문에 답하거나 토론할 준비가 되어 있지 않을 수 있습니다. 따라서 의과대학 교수진에 다른 학교의 임상의학 데이터 과학자나 컴퓨터 과학 및 공학 교수진을 추가하는 것이 필수적입니다.  
On an individual school level, investments of resources will be necessary to create improvements in the curriculum. A longitudinal AI thread throughout the UME should be advocated to solve time and content constraint issues. Courses teaching evidence-based medicine should incorporate an additional perspective of evaluating the input of AI. Medical school faculty may not be equipped to answer questions or discuss the role of AI in evidence-based medicine. Therefore, it is imperative to add clinician data scientists or computer science and engineering faculty from other schools to medical school teaching faculty.

공중 보건 과학을 배우는 학생들은 AI가 미래의 연구와 진료에서 무엇을 할 수 있고 무엇을 할 수 없는지 알기 위해 AI에 대한 배경 지식을 습득해야 합니다. 의과대학 커리큘럼에서 AI의 전체 과정을 가르치는 것은 너무 어렵습니다. 의학에서 AI에 대한 입문 강의는 반드시 필요하고 옹호되어야 합니다. 대부분의 학교에서는 강사가 데이터 과학자일 가능성이 높지만, 강사가 강의 경험이 있고 의대생에게 친숙하며 의학에서 AI의 역할에 대해 잘 알고 있는 사람이어야 합니다. 강사는 이전에 컴퓨터 과학 과목에서 의학에서 AI의 역할에 대해 이미 가르친 적이 있는 것이 좋습니다. 가장 중요한 것은 강사가 AI가 의료 분야에 가져온 광범위한 윤리적 문제를 다룰 수 있는 수준의 생명윤리 역량을 갖추고 있어야 한다는 것입니다. 
Students learning public health sciences must be introduced to a background in AI in order to know what AI can and cannot do for their future research and practices. It is far too difficult to teach entire courses of AI in a medical school curriculum. An introductory lecture to AI in medicine is a necessity and should be advocated for. In most schools, the instructor will likely be a data scientist, but it is important that the instructor has teaching experience, is familiar with medical students, and is conversant with the role of AI in medicine. Preferably, the instructor will have already taught about the role of AI in medicine previously in a computer science course. Most importantly, instructors should have levels of competency in bioethics to address the expansive ethical issues AI has brought to health care.

사례 기반 학습과 시뮬레이션 학습은 임상 시나리오에 AI 기반 권장 사항을 통합할 수도 있습니다. 사례와 시뮬레이션에 AI를 통합함으로써 학생들은 AI 기반 솔루션을 접하고 친숙해질 수 있습니다. AI 애플리케이션을 협업하고 관리하려면 의대생이 확률적 추론에 대한 깊은 이해와 윤리적 고려가 필요합니다[10]. 이러한 수업은 AI 추천의 정확성과 해석에 대한 지식을 갖춘 교수진이 가르쳐야 합니다. 의과대학은 의학 콘텐츠에서 양질의 AI를 제공하기 위해 이 분야의 교수진을 추가로 채용해야 할 가능성이 높습니다. 
Case-based learning and simulation learning can also incorporate AI-based recommendations in clinical scenarios. By integrating AI into cases and simulations, students can have exposure and familiarity with AI-based solutions. Collaborating and managing AI applications will require a deep understanding of probabilistic reasoning and ethical consideration from medical students [10]. These lessons should be taught from faculty with knowledge about the accuracy and interpretations of AI recommendations. It is likely that medical schools will need to hire additional faculty in this field to ensure quality delivery of AI in medicine content.

또 다른 제안은 다른 기관에서 만든 웹 기반 의료 프로그램(예: 스탠포드 대학의 의료 분야의 인공 지능 전문가 프로그램)에서 AI에 대한 액세스를 제공하는 것입니다. 이러한 프로그램은 의료와 AI의 접점에서 세계적으로 유명한 전문가인 교수진이 가르치며, 의대생은 비용을 지불하고 프로그램을 이용할 수 있습니다. 프로그램에 대한 액세스를 제공함으로써 의과대학은 다른 방법으로는 제공할 수 없었던 새로운 지식을 커리큘럼에 주입할 수 있습니다.  
Another suggestion is for institutions to offer access to AI in web-based health care programs created at other institutions (eg, Stanford University’s Artificial Intelligence in Healthcare professional program). These programs are taught by faculty who are world-renowned experts at the interface of health care and AI, and the programs are available to medical students with a cost. Providing access to a program will enable medical schools to infuse new knowledge in a curriculum that could not be provided otherwise.

학생 개개인의 차원에서는 학생들이 AI에 능동적으로 참여함으로써 교육의 변화를 주도할 수 있습니다. 앞서 의대생이 AI 도구를 코딩하고 만드는 방법을 배울 필요는 없지만, AI의 작동 방식과 한계는 이해해야 한다는 데 대부분의 최신 문헌이 동의하고 있음을 살펴봤습니다[17]. 학생들은 의학 저널에서 의료 분야의 AI 발전에 대해 읽을 수 있습니다. 의료 AI를 주제로 한 저널을 포함하여 많은 주요 저널에서 AI 연구가 활발히 진행되고 있습니다. 의료 분야 AI의 최신 동향을 읽음으로써 학생들은 의료의 미래에 대한 정보를 얻고 준비할 수 있습니다. 의과대학에서 증거 기반 의학 학습과 결합하면 학생들은 AI 연구의 무결성을 평가할 수 있습니다. 
On an individual student level, students can help drive change in their education with a proactive engagement with AI. Previously, we have shown that most of the current literature agrees that medical students do not need to learn how to code and create AI tools, but they should understand how AI works and its limitations [17]. Students can read about AI advancements in health care in medical journals. AI research has a strong appearance in many leading journals, including medical AI-themed journals. Reading the current trends in AI in health care will inform and prepare students for the future of health care. When combined with evidence-based medicine learning at medical school, students will be able to assess the integrity of AI research.

학생들은 임상 환경에서도 AI를 접할 수 있습니다. 이미 AI 기반 소프트웨어가 탑재된 개별 휴대용 초음파를 통해 학생들이 교육에 도움을 받았다는 보고가 있습니다[18,19]. 학생들은 방사선과 로테이션에서 AI 애플리케이션을 보고 AI 애플리케이션의 영향을 받는 환자 치료에 관여하는 여러 전문 분야의 방사선과 전문의 및 임상의와 임상 의사 결정에서 AI의 역할에 대해 토론할 수 있습니다. AI 통합은 전문 분야에 따라 다르겠지만, 의료 서비스 전반에 걸쳐 AI가 도입될 가능성이 높습니다. 예를 들어 방사선과 전문의, 병리학자, 종양 전문의, 외과의로 구성된 종양 위원회는 AI 애플리케이션의 영향을 받습니다. 학생들은 관심 있는 분야에 대한 노출을 맞춤화할 수 있습니다. 위의 제안은 의학교육 전반에 적용되며 일반 의학교육의 중요성과 개선의 여지를 강조합니다. 전문 분야에 특화된 AI 주제는 UME에는 필요하지 않을 수 있지만 레지던트 과정과 그 이후에는 필요할 수 있습니다. 그럼에도 불구하고 의과대학은 AI에 대한 종단적 커리큘럼을 통해 학생들이 AI를 사용하여 다양한 전문 분야를 접할 수 있도록 할 수 있습니다.
Students can expose themselves to AI in the clinical setting as well. There are already reports of students receiving individual portable ultrasounds with AI-driven software to help advance their education [18,19]. Students can see AI applications in their radiology rotations and discuss its role in clinical decision-making with radiologists and clinicians across different specialties involved in patient care impacted by AI applications. AI integration will be specialty specific, but AI as a whole will likely be present across health care. For example, a tumor board, consisting of radiologists, pathologists, oncologists, and surgeons, is impacted by AI applications. Students can tailor their exposure toward fields of interests. The suggestions above apply to medical education as a whole and highlight the importance and room for improvement in general medical education. Specialty-specific AI topics would not be necessary for UME but perhaps in residency and beyond. Nevertheless, through a longitudinal curricular thread in AI, medical schools can expose their students to a wide variety of specialties using AI.

AI를 통한 의사 결정의 교훈은 도시와 농촌을 막론하고 의료 서비스의 전 영역에 걸쳐 개인에게 적용될 것입니다. AI는 의료 서비스에 대한 접근성을 확대할 수 있는 잠재력을 가지고 있기 때문에 다양한 의료 환경에 침투할 것으로 예상됩니다. 따라서 학생 개개인은 어떤 의료 분야를 선택하든 AI에 대해 학습하여 대비해야 합니다. 
Lessons in decision-making with AI will apply to individuals across the spectrum of health care, both in city and rural settings. It is expected that AI will permeate various health care settings because of its potential to expand access to health care. Therefore, individual students should be prepared by learning about AI no matter what area of medicine they choose.

방법론적 접근
A Methodological Approach

새로운 의학 커리큘럼의 변화는 의대생에게 긍정적이거나 부정적인 영향을 미칠 수 있습니다. 또한 완전히 새로운 주제를 도입하는 것과 같은 커리큘럼의 변화는 어려운 작업입니다. 따라서 여러 지역의 의학교육 전문가들이 함께 협력하여 시행된 변화를 만들고 평가하는 것이 중요합니다. 교육 연구는 다양한 커리큘럼 개혁의 효과를 평가하는 데 필수적입니다[20]. 이러한 성공을 달성하기 위한 한 가지 제안은 커리큘럼에서 다양한 AI 구현의 결과를 측정하기 위한 장기 연구를 시작하는 것입니다. 
New medical curricular changes can have tremendous positive and negative impacts on medical students. Additionally, a change in curriculum such as the introduction of an entire novel topic is a difficult task. Therefore, it is important that medical education specialists across different regions work in unison to create and assess the implemented changes. Educational research is vital to assessing the effectiveness of different curricular reforms [20]. One suggestion to achieving such success is to begin a long-term study to measure the outcomes of different implementations of AI in the curriculum.

학생과 교수진의 태도, 기술 수준, UME에서 AI에 대한 구체적인 요구 사항을 측정하는 연구는 현 시점에서 매우 중요하고 시급한 과제입니다. 이러한 제안을 통합하기 위한 추가 노력은 측정 가능하고 해석 가능한 데이터를 확보하여 UME에서 AI 구현을 발전시켜야 합니다. 이러한 목표를 달성하기 위해서는 여러 기관이 공동으로 연구하는 것이 논리적인 접근 방식입니다.
Research measuring student and faculty attitudes, skill level, and specific needs of AI in UME is crucial and urgent at this point in time. Further efforts to incorporate these suggestions should be measurable and have interpretable data to advance the implementation of AI in UME. A concerted multi-institutional study is a logical approach in order to achieve these goals.

의과대학 학장들이 모여 AI 커리큘럼 개혁을 논의하고 계획해야 합니다. 조직 차원에서 의학교육 관리 기관은 이러한 변화를 제정하고 촉진해야 합니다. 의학교육 연락 위원회는 특별 위원회를 통해 AI를 의학교육에 가장 잘 통합하는 방법에 대한 제안과 지침을 제공해야 합니다. 
Medical education deans need to gather to discuss and plan AI curricular reform. At the organizational level, medical education governing bodies must enact and promote these changes. The Liaison Committee on Medical Education should provide suggestions and guidelines of how to best incorporate AI to medical education through special committees.

2018년에 미국의학협회는 "의학교육에서 AI 교육이 학습 및 임상 결과에 미치는 효과에 관한 연구"를 촉구했습니다[21]. 3년이 지난 지금, 이용 가능한 문헌에 따르면 UME는 이 요청에 대해 느리게 대응하고 있습니다[17]. 따라서 이 원래의 요청을 실천으로 옮기기 위해 더 많은 노력을 기울여야 합니다. 
In 2018, the American Medical Association called for “Research regarding the effectiveness of AI instruction in medical education on learning and clinical outcomes” [21]. Three years later, the available literature suggests UME has been slow to address this call [17]. Thus, further efforts should be made to advance this original call into practice.

 

결론
Conclusion

현재와 미래의 의학 분야 AI의 발전으로 인해 학부 의학교육자들은 커리큘럼에 AI를 도입하고 구현해야 합니다. 이러한 커리큘럼 변화를 가장 효과적으로 달성하는 방법을 효과적으로 연구하기 위해서는 종단적 연구 계획이 필요합니다. 의학교육 관리 기관, 의학교육 학장, 의학교육 연구자들은 학부 의학교육 커리큘럼에 AI를 구현하기 시작해야 합니다. 이러한 기관의 집단적 합의를 통해 앞으로 나아간다면 미래의 의사인 재학생들이 적절한 AI 노출을 받을 수 있을 것입니다. 
The current and future advancements of AI in medicine oblige undergraduate medical educators to act and implement AI in the curriculum. Longitudinal research plans are necessary to effectively study how to best achieve these curricular changes. Medical education governing bodies, medical education deans, and medical education researchers should begin to implement AI in the undergraduate medical education curriculum. Moving forward with collective agreement from these entities will ensure current students—our future physicians—receive adequate AI exposure.

 


JMIR Med Educ. 2022 Jun 7;8(2):e35587. doi: 10.2196/35587.

Needs, Challenges, and Applications of Artificial Intelligence in Medical Education Curriculum

Affiliations collapse

1Schmidt College of Medicine, Florida Atlantic University, Boca Raton, FL, United States.

2Department of Electrical Engineering and Computer Science, College of Engineering and Computer Science, Florida Atlantic University, Boca Raton, FL, United States.

3Department of Biomedical Sciences, Schmidt College of Medicine, Florida Atlantic University, Boca Raton, FL, United States.

4Department of Population Health and Social Medicine, Schmidt College of Medicine, Florida Atlantic University, Boca Raton, FL, United States.

#Contributed equally.

PMID: 35671077

PMCID: PMC9214616

DOI: 10.2196/35587

Free PMC article

Abstract

Artificial intelligence (AI) is on course to become a mainstay in the patient's room, physician's office, and the surgical suite. Current advancements in health care technology might put future physicians in an insufficiently equipped position to deal with the advancements and challenges brought about by AI and machine learning solutions. Physicians will be tasked regularly with clinical decision-making with the assistance of AI-driven predictions. Present-day physicians are not trained to incorporate the suggestions of such predictions on a regular basis nor are they knowledgeable in an ethical approach to incorporating AI in their practice and evolving standards of care. Medical schools do not currently incorporate AI in their curriculum due to several factors, including the lack of faculty expertise, the lack of evidence to support the growing desire by students to learn about AI, or the lack of Liaison Committee on Medical Education's guidance on AI in medical education. Medical schools should incorporate AI in the curriculum as a longitudinal thread in current subjects. Current students should understand the breadth of AI tools, the framework of engineering and designing AI solutions to clinical issues, and the role of data in the development of AI innovations. Study cases in the curriculum should include an AI recommendation that may present critical decision-making challenges. Finally, the ethical implications of AI in medicine must be at the forefront of any comprehensive medical education.

Keywords: AI; artificial intelligence; medical education; medical student.

When I say ... 해석적 현상학 (Med Educ, 2018)
When I say . . . hermeneutic phenomenology
William Bynum1 & Lara Varpio2

 

헤르메스는 그리스 신들 사이와 인간 세계에 메시지를 전달하고, 그 메시지를 해석하여 그 근본적인 의미를 전달하는 일을 담당했습니다.1 해석학적 현상학은 어원을 공유하는 메신저 신과 마찬가지로, 현상을 설명하는 것을 넘어 일상 생활의 맥락에서 그 의미를 탐구하고 전달하는 질적 연구 방법론입니다.2 해석적 현상학이라고도 불리는 해석적 현상학은 현상에 대한 참여자의 생생한 경험의 의미와 중심 구조, 즉 본질, 그리고 현상을 형성하는 맥락적 힘을 밝혀내고자 합니다. 따라서 연구자들은 학습자 학대 및 소진부터 사무직 또는 전문가 간 팀에서의 학습자 경험에 이르기까지 복잡하고 환경의 영향을 받는 현상을 보다 완벽하게 이해하는 데 도움이 될 수 있습니다. 
Among his duties, Hermes was responsible for delivering messages among the Greek gods and to the mortal world, and for interpreting those messages and conveying their underlying meaning.1 Hermeneutic phenomenology, like the messenger god with whom it shares its lexical root, is a qualitative research methodology that goes beyond describing a phenomenon to exploring and conveying its meaning in the context of everyday life.2 Sometimes referred to as interpretive phenomenology, hermeneutic phenomenology seeks to uncover the meaning and central structures, or essences, of a participant's lived experience with a phenomenon and the contextual forces that shape it. As such, it can help researchers more fully understand complex, environmentally influenced phenomena, ranging from learner mistreatment and burnout to learners' experiences on a clerkship or interprofessional team.

이 글에서는 해석학적 현상학의 세 가지 특징에 초점을 맞춰 다른 질적 방법론과 차별화되는 해석학적 현상학의 특징에 대해 설명합니다.

  • (i) 해석적 성격과 생생한 경험에 대한 초점,
  • (ii) 데이터 수집 및 분석 과정에 연구자의 경험을 포함한다는 점,
  • (iii) 데이터 분석을 안내하는 역동적이고 사려 깊은 성찰과 글쓰기 과정에

이러한 특징들이 해석학적 현상학이라는 용어의 의미를 형성합니다.
In this article, we focus on three features of hermeneutic phenomenology that, when combined, distinguish it from other qualitative methodologies:

  • (i) its interpretive nature and focus on lived experience,
  • (ii) the inclusion of researcher experiences in the processes of data collection and analysis, and
  • (iii) the dynamic, thoughtful process of reflecting and writing that guides data analysis.

These features shape what we mean when we say: hermeneutic phenomenology.

설명적 현상학의 목적은 현상을 그것이 존재하는 맥락과 분리된 별개의 실체로 기술하는 것이지만, 해석적 현상학은 현상의 의미를 기술하고 현상을 형성하는 맥락적 힘을 이해하고자 합니다.1, 3

  • 반 마넨에 따르면 해석학적 현상학의 목표는 '인간 경험 전체'의 맥락에서 특정 인간 현상의 더 깊은 의미를 더 잘 이해하기 위해 다른 사람들의 경험과 성찰에 주목하는 것입니다.4
  • 해석학적 현상학을 통해 우리는
    • 표면적 인식 아래에 가려진 인간 경험의 더 깊은 층을 이해하고,
    • 개인의 생활 세계 또는 그 사람이 사전 성찰적으로 경험하는 세계가 이 경험에 어떻게 영향을 미치는지 이해할 수 있습니다.4
  • 따라서 해석학의 목적은 이론을 개발하는 것(예: 근거 이론)이 아니라 우리가 살고 배우는 '세계와 더 직접적으로 접촉할 수 있는 그럴듯한 통찰력'을 개발하는 것입니다.4

예를 들어, 우리는 현재 해석학적 현상학을 사용하여 매우 개인적이고 종종 암묵적이며 인식되지 않는 감정인 수치심에 대한 의료 학습자의 경험을 이해하는 연구를 수행하고 있습니다. 해석학적 현상학은 다음과 같은 개인의 수치심 경험과 관련된 연구 질문에 답할 수 있는 최적의 방법입니다:

  • 의료 학습자는 임상 학습 환경 내에서 수치심을 어떻게 경험하는가?
  • 학습 환경의 어떤 힘이 학습자가 수치심을 경험하는 방식에 영향을 미치는가?

Whereas the purpose of descriptive phenomenology is to describe a phenomenon as a distinct entity separate from the context in which it exists, hermeneutic phenomenology seeks to describe the meaning of a phenomenon and understand the contextual forces that shape it.1, 3 

  • The goal of hermeneutic phenomenology, according to Van Manen, is to attend to other people's experiences and reflections to better understand the deeper meaning of a specific human phenomenon within the context of ‘the whole of human experience’.4 
  • Hermeneutic phenomenology allows us to understand
    • the deeper layers of human experience that lay obscured beneath surface awareness and
    • how the individual's lifeworld, or the world as he or she pre-reflectively experiences it, influences this experience.4 
  • Thus, rather than developing theory (e.g., as in grounded theory), the purpose of hermeneutics is to develop ‘plausible insights that bring us in more direct contact with the world’ in which we live and learn.4 

For example, we are currently conducting a study using hermeneutic phenomenology to understand medical learners' experiences with shame, a highly personal and often implicit, unrecognised emotion. Hermeneutic phenomenology is an optimal method to answer research questions related to individuals' experience of shame, such as:

  • How do medical learners experience shame within the clinical learning environment?
  • What forces from the learning environment influence the way in which learners experience it?

해석학적 현상학은 연구자가 자신의 과거 경험과 기존 지식이 해석 과정에 내재되어 있고 필수적인 것으로 인정할 것을 요구합니다.1, 2, 5 일반적으로 설명적 현상학에서 요구되는 것처럼 연구자는 현상에 대한 개인적인 경험, 편견 및 전문 지식을 괄호로 묶는 대신, 데이터 수집 및 분석 중에 자신의 주관성을 공개적으로 반영, 공유 및 주의하면서 동시에 해석학적 전통을 고수하고 반성성을 달성해야 합니다.

  • 학습자 수치심에 대한 연구에서 학습자, 교사 또는 인간으로서 자신이 경험한 수치심을 무시하려는 시도는 무의미하며, 참여자의 수치심 경험을 해석하는 의식에서 그러한 형성적이거나 영향력이 있거나 고통스러운 경험을 확실하게 괄호로 묶을 수 없습니다.

Hermeneutic phenomenology requires that researchers acknowledge their own past experiences and existing knowledge as embedded in and essential to the interpretive process.1, 2, 5 Rather than bracketing off their personal experiences, biases and expertise regarding the phenomenon (as is generally required in descriptive phenomenology), researchers openly reflect on, share, and attend to their subjectivity during data collection and analysis, simultaneously adhering to the hermeneutic tradition and achieving reflexivity.

  • In our study on learner shame, attempts to ignore the shame that we experienced ourselves as learners, teachers or human beings are futile; we cannot reliably bracket off such formative, impactful or painful experiences from the consciousness through which we interpret the experience of shame in our participants.

데이터 수집과 분석에 개인적인 관점을 인식하고 통합하면 해석 과정에 추가적인 차원을 더할 수 있습니다. 또한 반 마넨은 해석학적 방법론의 핵심 요소 현상에 대한 직접적인 경험에서 비롯되는 개인적인 관심 주제에서 시작하는 것이라고 주장합니다.4

  • 실제로 의학 학습자가 수치심을 경험하는 방식을 이해하는 데 대한 우리의 관심은 수치심이라는 감정에 대한 우리 자신의 투쟁에서 비롯되었으며, 이제 우리 자신과 분리할 수 없는 부분이며 다른 사람들이 어떻게 그 감정을 경험하는지에 대해 이야기하고 이해하는 능력을 향상시켜주는 투쟁에서 비롯되었습니다.

Recognising and incorporating our personal perspectives into data collection and analysis contributes additional dimensions to the interpretive process. Furthermore, Van Manen asserts that a key element of hermeneutic methodology is to begin with a topic of personal interest, one that often arises from our direct experience with the phenomenon.4 

  • Indeed, our interest in understanding how medical learners experience shame arose from our own struggles with the emotion, struggles that are now an inseparable part of who we are and that enhance our ability to talk about and understand how others experience the emotion.

해석학적 현상학의 또 다른 특징은 엄격한 분석 기법을 고수하지 않고 연구자가 현상을 형성하는 현상학적 주제, 즉 '생생한 경험의 구조'를 제시하기 위해 '훈련된 사려 깊음'에 의존한다는 점입니다.4 반 마넨은 해석학적 분석이 '규칙에 얽매인 과정'은 아니지만 무작위적인 것도 아니라고 주장합니다.4

  • 해석학적 현상학은 우리의 관심을 생생한 경험으로 이끄는 흥미로운 현상을 식별하는 것으로 시작하는 여러 연구 활동 간의 역동적인 상호작용을 중심으로 전개됩니다.
  • 그런 다음 연구팀원들은 개념화된 경험이 아닌 실제 경험을 조사하고, 참여자의 현상 경험을 특징짓는 본질적인 주제에 대해 성찰하면서 동시에 자신의 경험에 대해 성찰합니다.
  • 연구자는 자신의 성찰을 글로 기록한 다음 다시 성찰하고 글을 쓰는 과정을 반복하여 점점 더 견고하고 미묘한 분석을 개발합니다.
  • 분석하는 동안 연구자는 연구 중인 현상에 대한 강한 방향성을 유지하고(즉, 산만함을 피하고) 부분과 전체 간의 상호 작용에 주의를 기울여야 합니다.
  • 해석학적 순환이라고도 하는 이 마지막 단계에서는 데이터(부분)가 현상(전체)에 대한 이해를 발전시키는 데 어떻게 기여하는지, 그리고 각 부분이 서로의 의미를 어떻게 향상시키는지를 의도적으로 고려하는 연습을 강조합니다.5 실제로 위의 활동은 간헐적으로 또는 동시에 수행될 수 있습니다.
  • 이 기본 분석 프레임워크의 구체적인 적용 사례는 이미 발표되어 있으며, 그 운용에 유용한 예시로 활용되고 있습니다.2, 4, 5 

Another distinguishing characteristic of hermeneutic phenomenology is that it does not adhere to a strict set of analytical techniques; rather, the researcher relies on ‘cultivated thoughtfulness’ to present phenomenological themes, or the ‘structures of lived experience’, that shape the phenomenon.4 Although Van Manen asserts that hermeneutic analysis is not a ‘rule-bound process’, it is also not random.4 

  • It revolves around a dynamic interplay among multiple research activities that starts with identifying an interesting phenomenon that directs our attention towards lived experience.
  • Members of the research team then investigate experience as it is lived, rather than as it is conceptualised, and reflect on the essential themes that characterise the participant's experience with the phenomenon, simultaneously reflecting on their own experiences.
  • Researchers capture their reflections in writing and then reflect and write again, creating continuous, iterative cycles to develop increasingly robust and nuanced analyses.
  • Throughout the analysis, researchers must maintain a strong orientation to the phenomenon under study (i.e., avoid distractions) and attend to the interactions between the parts and the whole.
  • This last step, also described as the hermeneutic circle, emphasises the practice of deliberately considering how the data (the parts) contribute to the evolving understanding of the phenomena (the whole) and how each enhances the meaning of the other.5 In practice, the above activities may be accomplished intermittently or simultaneously.
  • Specific applications of this basic analytical framework have been published and serve as useful examples for its operationalisation.245


해석학적 분석의 산물은 현상에 대한 풍부한 설명으로, 독자를 참여자의 삶의 세계와 더 깊이 연결하여 표면 아래에 남아있을 수 있는 경험의 핵심 요소를 조명합니다.4 학습자 수치심의 경우, 이러한 설명은 의료 학습 환경 내에서 수치심 경험의 존재와 의미에 주목하고 학습자와 교육자 모두의 정서적 회복력을 높일 수 있는 개입을 알려줄 수 있는 잠재력을 지니고 있습니다.
The product of a hermeneutic analysis is a rich description of a phenomenon that more deeply connects the reader to the participant's lifeworld, illuminating key elements of his or her experience that may otherwise remain beneath the surface.4 In the case of learner shame, such descriptions have the potential to draw attention to the presence and meaning of shame experiences within the medical learning environment and to inform interventions that will buoy emotional resilience in learners and educators alike.

헤르메스처럼, 의학 학습과 관련된 어려움을 단순히 설명하는 데 그치지 않고, 이러한 어려움을 경험하는 방식을 전달하고 이에 영향을 미치는 맥락적 힘을 파악하고자 하는 의학교육자가 점점 더 많아지고 있습니다. 다행히도 우울증, 번아웃, 수치심과 같은 복잡한 인간 경험의 깊은 층을 조명하기 위해 그리스 신이 될 필요는 없습니다. 해석학적 현상학을 갖춘 우리 인간도 오늘날의 의료 학습 환경에서 학습자가 된다는 것이 무엇을 의미하는지 해석하고 전 세계에 전달할 수 있습니다.
Like Hermes, an increasing number of medical educators seek to go beyond simply describing the challenges associated with learning medicine to conveying how they are experienced and identifying the contextual forces that influence them. Fortunately, one doesn't have to be a Greek god to illuminate the deep layers of complex human experiences such as depression, burnout and shame. Equipped with hermeneutic phenomenology, even we mere mortals can interpret and convey what it means to be a learner in today's medical learning environment to the rest of the world.


Med Educ. 2018 Mar;52(3):252-253. doi: 10.1111/medu.13414. Epub 2017 Sep 12.

When I say … hermeneutic phenomenology

Affiliations collapse

1Fort Belvoir, Virginia, USA.

2Bethesda, Maryland, USA.

PMID: 28895184

DOI: 10.1111/medu.13414

No abstract available

근거이론의 퀄리티를 추구하며 (QUALITATIVE RESEARCH IN PSYCHOLOGY, 2021)
The pursuit of quality in grounded theory
Kathy Charmaza and Robert Thornberg

 

 

소개
Introduction

미국의 사회학자 바니 글레이저와 안셀름 스트라우스(1967)의 '근거 이론의 발견': 질적 연구를 위한 전략'은 새로운 분석 방법을 제안했을 뿐만 아니라 질적 연구의 질을 지키는 데 앞장섰습니다. 근거 이론은 데이터 수집을 구체화하고 이를 분석하기 위한 명시적인 전략을 제공하는 체계적인 연구 수행 방법입니다. 이 방법의 명확한 목적은 연구 대상의 하나 이상의 핵심 관심사에 대한 추상적인 이해를 제공하는 이론을 구성하는 것입니다. 
American sociologists Barney Glaser and Anselm Strauss’s (1967) The Discovery of Grounded Theory: Strategies for Qualitative Research not only proposed a new method of analysis, but also led the charge of defending the quality of qualitative research. Grounded theory is a systematic method of conducting research that shapes collecting data and provides explicit strategies for analyzing them. The defining purpose of this method is to construct a theory that offers an abstract understanding of one or more core concerns in the studied world.

근거 이론 연구에서는 연구자의 분석 초점이 경험적 탐구가 시작되기 전에 결정되는 것이 아니라 연구 과정 중에 나타납니다. 점점 더 많은 근거 이론가들은 이 방법을 연구 과정 전반에 걸쳐 데이터에 대해 사고하고, 구성하고, 상호 작용하는 방식이라고 가정합니다(Morse 외, 곧 발표 예정). 이제 근거 이론을 사용한다는 것은 참가자의 삶에 대해 개방적으로 학습한다는 것 이상의 의미를 갖습니다. 또한 연구가 철저하고 체계적으로 수행된 과정을 보여줌으로써 연구자가 배운 것을 투명하게 공개하는 것을 의미합니다.
In grounded theory studies, the researcher’s analytic focus emerges during the research process, rather than being determined before empirical inquiry begins. Increasingly, grounded theorists assume that the method is a way of thinking about, constructing, and interacting with data throughout the research process (Morse et al., forthcoming). Using grounded theory now means more than openness to learning about the participants’ lives. It also means making what the researchers learn transparent by showing how the research has been conducted thoroughly and systematically.

근거 이론 방법은 연구자의 이론적 분석을 발전시키는 데 유용한 전략을 제공합니다. 이 방법은 연구자가 자신의 학문 분야와 더 큰 연구 문헌에서 새로운 개념을 생성하는 데 도움이 됩니다. 이러한 개념은 심리학을 비롯한 여러 분야의 전문 정책과 실무에 직접 적용될 수 있습니다.
The grounded theory method offers useful strategies to develop researchers’ theoretical analyses. This method helps them to generate new concepts in their discipline and the larger research literature. These concepts may have direct application for professional policies and practices in psychology and beyond.

먼저 이 방법의 논리를 간략하게 설명한 다음, 근거 이론의 발전의 역사적 맥락을 스케치해 보겠습니다. 근거 이론은 그 시작부터 현재까지 질적 연구의 질에 대한 질문을 다루어 왔습니다. Glaser와 Strauss(1967)는 질적 연구를 새로운 이론적 공헌과 연결시켰습니다. 논의 전반에 걸쳐, 우리는 근거 이론 연구에서 품질에 대한 우려가 연구 프로세스에 어떻게 퍼져 있는지 자세히 설명합니다. 또한 근거 이론가들의 품질에 대한 개념을 더 큰 문헌과 비교한 다음 개념의 발전과 이론적 프레임워크와의 관계를 자세히 설명합니다. 마지막으로 요점을 종합하고 구성주의 근거 이론 연구에서 품질을 수행하기 위한 체크리스트와 제안을 제공하는 것으로 마무리하지만, 대부분의 제안은 다른 버전의 근거 이론에도 적용될 수 있습니다.
We begin by briefly explaining the logic of the method and then sketch the historical context of the development of grounded theory. From its beginning to the present, grounded theory has addressed questions about quality in qualitative research. Glaser and Strauss (1967) tied quality to making new theoretical contributions. Throughout our discussion, we detail how concerns about quality pervade the research process in grounded theory studies. We also compare notions of quality among grounded theorists with the larger literature and then detail development of a concept and its relation to a theoretical framework. We end by synthesizing our key points and offering a checklist and suggestions for conducting quality in constructivist grounded theory research, although most of the suggestions are applicable to other versions of grounded theory as well.

근거 이론 연구의 품질에 대해 설명하기 전에, 많은 연구자, 그중에서도 심리학자들이 이론 구성 대신 또는 이론 구성과 함께 다양한 가치 있는 목적으로 이 방법을 사용한다는 점을 지적하고 싶습니다. 이러한 목적에는 다음 등이 있습니다.

  • 새로운 연구 영역 탐색(Bronk 2012),
  • 주요 과정 설명 및 이해(Qin and Lykes 2006),
  • 대중의 목소리를 거부당한 사람들의 상황 조명(Ayón 외. 2017; Gibson 2016; Scull, Mbonyingabo, Kotb 2016; Tuason 2013),
  • 정책 개발(Faija 외. 2017),
  • 전문적 실천에 대한 시사점(Song and de Jong 2013; Yakushko 2010) 

수많은 연구자들이 주제별 분석을 수행하기 위해 몇 가지 근거 이론 전략을 사용합니다(브라운과 클라크 2006 참조). 이 글에서는 다른 목적에도 부합하는지 여부와 관계없이 이론 구축을 목표로 하는 근거 이론 연구의 품질을 강조합니다. 
Before outlining quality in grounded theory research, we wish to point out that many researchers, psychologists among them, use this method for a variety of worthy purposes instead of or in conjunction with theory construction. Such purposes include

  • exploring a new area of study (Bronk 2012)
  • explicating and understanding a major process (Qin and Lykes 2006),
  • illuminating the situations of people denied a public voice (Ayón et al. 2017; Gibson 2016; Scull, Mbonyingabo, and Kotb 2016; Tuason 2013),
  • developing policy (Faija et al. 2017), and
  • implications for professional practice (Song and de Jong 2013; Yakushko 2010). 

Numerous researchers use several grounded theory strategies for conducting thematic analyses (cf. Braun and Clarke 2006). In this article, we emphasize quality in grounded theory studies that aim for theory construction, despite whether they also serve other goals.

근거 이론의 논리
The logic of grounded theory

글레이저와 스트라우스(1967)는 병원에서의 죽음과 임종에 대한 주목할 만한 질적 연구를 구성하는 데 사용한 방법을 설명함으로써 근거 이론을 발전시켰습니다(Glaser & Strauss, 1965, 1968). 이 방법론적 논문에서 그들은 동시 데이터 수집 및 분석이라는 혁신적이고 체계적인 전략을 도입했습니다. 이는 근거 이론의 특징이 되었으며 질적 조사 전반에 걸쳐 널리 채택되었습니다. 글레이저와 스트라우스는 데이터 수집과 분석의 반복적인 과정을 통해 연구자가 연구 분야에서 가장 중요한 문제에 순차적으로 집중할 수 있다고 주장했습니다. 데이터 수집과 분석을 동시에 수행하면 연구자는 데이터에 대한 개념을 개발하는 데 꾸준히 집중하고 초기 개념을 구체화하는 추가 데이터를 수집하는 데 도움이 됩니다. 글레이저와 스트라우스는 당시 민족지학 연구의 특징이었던 데이터 수집과 분석의 분리에 반대했습니다. 1960년대의 민족지학자들은 일반적으로 상당한 양의 데이터가 깊이와 풍부함이 부족하다는 사실을 발견했습니다. 그러나 이 반갑지 않은 발견을 했을 때는 이미 연구 현장을 떠난 후여서 돌아오지 못하는 경우가 많았습니다. 그러나 연구자들이 데이터를 수집할 때 체계적으로 질문하면 초기 아이디어가 후속 데이터 수집에 영향을 줄 수 있습니다. 
Glaser and Strauss (1967) developed grounded theory by explaining the methods they used to construct their remarkable qualitative studies of death and dying in hospitals (Glaser & Strauss, 1965, 1968). In this methodological treatise, they introduced the innovative and systematic strategy of simultaneous data collection and analysis. It became a hallmark of grounded theory and has become widely adopted throughout qualitative inquiry. Glaser and Strauss argued that by engaging in an iterative process of data collection and analysis, researchers would sequentially focus on the most significant issues in the field of study. Simultaneous data collection and analysis help researchers to steadily focus on developing concepts about the data and to gather further data that flesh out their nascent concepts. Glaser and Strauss opposed the separation of data gathering and analysis that characterized ethnographic research of their time. Ethnographers of the 1960s commonly discovered their considerable quantities of data lacked depth and richness. But by the time they made this unwelcome discovery, they had left the research site and often could not return. If, however, researchers systematically interrogate their data as they gather it, their early ideas can then inform subsequent data collection.

데이터 분석을 시작하기 위해 Glaser와 Strauss는 데이터를 비교하고 코딩할 것을 주장했습니다. 이들에게 초기 코딩이란 데이터의 스니펫에 레이블을 지정하여 데이터를 분리하는 동시에 데이터가 제시하는 의미와 조치에 주의를 기울이는 것을 의미했습니다. 연구자가 데이터를 새롭게 바라보고, 데이터의 조각을 비교하고, 분석적인 질문을 던질 수 있도록 하기 때문에 우리는 첫 번째 단계로 라인별 코딩을 권장합니다. 근거 이론 방법은 연구자가 데이터를 종합하는 데 도움이 될 뿐만 아니라, 무슨 일이 일어나고 있는지 설명하는 새로운 개념을 구성하여 설명을 넘어서는 데도 도움이 됩니다. 
To begin analyzing data, Glaser and Strauss advocated comparing and coding the data. For them, initial coding meant labeling snippets of data to take them apart while being attentive to the meanings and actions suggested by these data. We advocate line-by-line coding as a first step, because it forces the researcher to take a fresh look at the data, compare fragments of these data, and ask analytic questions about them. The grounded theory method not only helps researchers to synthesize data but, moreover, to move beyond description through constructing new concepts that explicate what is happening.

라인별 코딩은 근거 이론가가 연구 참여자의 경험과 관점을 이해하는 데 도움이 됩니다. 이러한 이해를 얻으면 연구자가 데이터에 적합하다고 믿었던 소중한 학문적 개념을 다시 생각하거나 포기할 수 있습니다

  • 예를 들어, 심리학자들은 회복탄력성에 관한 중요한 연구를 많이 수행해 왔습니다. 그러나 이 개념의 유용성은 지속적인 위기를 경험하는 절망적인 사람들의 입장에는 맞지 않을 수 있습니다. 카프리스키 세이데(Charmaz 2020, 166)는 콜레라가 유행하던 아이티의 상황을 직접 조사했습니다. 그녀는 노숙자, 극심한 빈곤, 굶주림, 고립, 절망, 죽음과 마주했습니다. 세이데는 '젊은 여성에게 회복탄력성이라는 단어는 patronizing하였고, 더 많은 아이티인들이 일상 생활에서 시험과 도전을 받아 '이성을 잃지 않는다'는 사실이 놀랍기 때문에 구조적 폭력을 정상화하는 것처럼 보였다'고 보고했습니다.

Line-by-line coding helps grounded theorists to understand their research participants’ experiences and perspectives. Gaining this understanding can lead to rethinking or relinquishing cherished disciplinary concepts that researchers might have believed would fit their data.

  • For example, psychologists have conducted many important studies about resilience. However, the usefulness of this concept may not fit the stance of desperate people who experience constant crises. Kapriskie Seide (in Charmaz 2020, 166) conducted firsthand research on the situation in Haiti during the cholera epidemic. She found herself face-to-face with homelessness, immense poverty, starvation, isolation, hopelessness, and death. Seide reported that ‘For a young woman, the word resilient was patronizing and seemed to normalize structural violence as it is surprising to some that more Haitians are not ‘losing their shit’ from being tested and challenged by their everyday lives’.

글레이저와 스트라우스(1965, 1968)의 연구는 여러 현장에서의 광범위한 현장 연구를 기반으로 했습니다. 오늘날 대부분의 근거 이론 연구는 인터뷰를 기반으로 합니다. 근거 이론가들은 초기 인터뷰의 코드에 대한 후속 연구를 통해 보다 핵심적인 질문을 개발하고 중요할 것이라고 예상하지 못했던 영역에 대해 질문합니다. 데이터와 분석 사이를 오가며 초기 아이디어의 타당성을 확인하고, 타당성이 있는 아이디어의 분석 수준을 높이며, 이를 더욱 완벽하게 뒷받침하는 데 도움이 됩니다. 근거 이론가들은 코딩을 하는 동안 코드와 코드에 대해 궁금한 점에 대해 메모를 작성합니다.
Glaser and Strauss’s (1965, 1968) studies were based on extensive field research in multiple sites. Today, most grounded theory studies are based on interviews. By following up on codes in the early interviews, the grounded theorists develop more pointed questions and ask about areas that they had not anticipated would be important. Tacking back and forth between data and analysis helps to check the pertinence of their nascent ideas, raise the analytic level of those that hold up, and support them more fully. While grounded theorists are coding, they write memos about their codes and the questions they have about them.

메모 작성코딩과 (잠정 분석을 포함한) 논문 초안 작성 사이의 중간 단계입니다. 초기 메모에는 근거 이론가의 코드, 분석 및 방법론적 질문, 데이터 조각 간의 비교에 대한 논의가 포함될 수 있습니다. 다른 메모는 근거 이론가들이 코드를 분해하기 때문에 더 분석적입니다.

  • 먼저 코드의 속성이나 특징에 따라 코드를 정의하는 것이 좋습니다. 이러한 속성은 코드를 구성하고 다른 코드와 차별화하는 요소입니다.
  • 명시되지 않은 가정을 찾아보고 자신과 연구 참여자의 가정을 검토하세요.
  • 코드가 어디로 연결되는지, 다른 코드와 어떻게 연결되는지 기록하세요.
  • 모든 코드가 동일한 것은 아닙니다. 어떤 코드는 구체적이고 설명적입니다. 다른 코드는 보다 분석적이고 광범위한 데이터를 설명합니다.
  • 연구를 진행하면서 메모는 더욱 명확해지고 분석적이 됩니다. 이런 식으로 연구에 퀄리티를 쌓아가는 것입니다.

Memo writing is the intermediate step between coding and writing the first draft of the paper, including the provisional analysis. Early memos may include discussions of grounded theorists’ codes, analytic and methodological questions as well as comparisons between fragments of data. Other memos are more analytic because grounded theorists take codes apart.

  • We suggest that you first define a code by its properties or characteristics. These properties are what constitute the code and differentiate it from other codes.
  • Look for unstated assumptions and examine your own as well as those of your research participants.
  • Record where the code takes you and how it is linked to other codes.
  • Not all codes are equal. Some codes are concrete and descriptive. Others are more analytic and account for a wider range of data.
  • As you proceed with your research, your memos become more definitive and analytic. In this way, you are building quality into your study.

얼마나 많은 줄 단위 코딩을 해야 할까요? 코드가 어떻게 합쳐지는지 확인하고 어떤 코드가 가장 중요한지 파악한 후에는 줄 단위 코딩을 중단할 수 있습니다. 가장 중요한 코드를 집중 코드로 정의하세요. 이러한 코드는 다른 코드보다 더 많은 데이터를 설명하고, 관련 코드를 하위에 포함하며, 작업의 분석 수준을 높입니다. 그런 다음 집중 코드를 사용하여 대량의 데이터 배치에서 어떻게 작동하는지 살펴보세요. 집중 코딩은 데이터에 대한 강력한 기반을 유지하면서 분석 프로세스를 신속하게 진행합니다. 집중 코드는 잠정적인 분석 범주를 생성하는 데 도움이 됩니다. 이 범주가 유효할까요? 이 범주가 데이터를 설명할 수 있을까요, 아니면 다른 문제가 있을까요?
How much line-by-line coding should you do? After seeing how your codes coalesce and identifying which are the most important, you can stop line-by-line coding. Define the most important codes as focused codes. These codes account for more data than other codes, subsume related codes, and raise the analytic level of your work. Then use the focused codes to examine how they work with large batches of data. Focused coding expedites the analytic process while retaining your strong foundation in the data. Focused codes help to generate tentative analytic categories, which you then pursue. Do these categories hold up? Can they account for these data, or is something else going on?

근거 이론은 집중 코딩과 같이 연구 프로세스에 품질에 기여하는 점검을 구축합니다. 동시에 집중 코딩을 사용하면 분석 속도를 높이고 후속 데이터 수집을 간소화하여 새로운 분석에서 질문에 답할 수 있는 타깃 데이터를 수집할 수 있습니다. 따라서 근거 이론은 연구자에게 더 적은 데이터로 더 많은 분석력을 제공합니다. 그럼에도 불구하고 이 점이 매우 작은 샘플을 사용하는 것을 변명할 수는 없습니다(참조, Thomson 2011). 
Grounded theory builds checks into the research process that contribute to its quality, such as engaging in focused coding. Simultaneously, using focused coding helps you to expedite your analysis and streamline your subsequent data collection to gather targeted data that answer questions in your emerging analysis. Hence, grounded theory gives the researcher more analytic power with fewer data. Nonetheless, this point does not excuse having very small samples (cf., Thomson 2011).

질적 연구를 통해 연구자는 데이터에서 명시적 및 암시적 프로세스를 식별할 수 있습니다. 근거 이론은 프로세스를 연구하는 유용한 방법을 제공합니다. 프로세스를 명시하기 위해 근거 이론가들은 행동과 의미를 연구하고 이들이 어떻게 연결되어 있는지 보여줍니다. 

  • 예를 들어, 심리학자 Qin과 Lykes(2006)는 의미와 행동의 융합에 대한 훌륭한 분석을 제공합니다. 이들은 미국에 있는 중국 여성 대학원생들의 상황을 연구하여 파편화된 자아를 재구성함으로써 자기 이해를 얻는 기본적인 심리적 과정을 발견했습니다. 이 학생들은 미국에 도착하기 전에 분열된 자아를 경험한 경우가 많았습니다. 중국에서는 성차별, 정치적 부패, 사회적 관계망에 대한 관리 능력 부족 등으로 인해 자기 이해가 파편화되었습니다. 고등 교육에 대한 학생들의 열망은 여성에 대한 문화적 규범과 모순되었습니다. 미국에서는 '차별, 무례, 외로움, 자기 의심'(192쪽)을 경험하면서 자아가 더욱 분열되었습니다. 그러나 많은 사람들이 자기 이해에 다문화적 통찰을 접목하면서 더 복잡한 자아를 갖게 되었습니다.

Qualitative research allows researchers to discern explicit and implicit processes in their data. Grounded theory offers a useful way of studying processes. To make processes explicit, grounded theorists study actions as well as meanings and show how they are connected.

  • For example, psychologists Qin and Lykes (2006) provide an excellent analysis of the convergence of meanings and actions. They studied the situations of Chinese women graduate students in the United States and discovered the basic psychological process of gaining self-understanding through reweaving a fragmented self. These students often experienced a fragmented self before their arrival in the US. In China, their self-understanding became fragmented due to gender discrimination, political corruption, and inability to manage the web of social relationships in which they were embedded. The students’ quest for higher education contradicted cultural norms for women. In the US their selves became further fragmented, as they experienced ‘discrimination, disrespect, loneliness, and self-doubt’ (p. 192). Yet many gained more complex selves as they rewove cross-cultural insights into their self-understandings.

연구 과정의 모든 단계에서 근거 이론가들은 데이터로 시작하여 범주 간의 비교로 끝나는 비교를 합니다.각주1 그 후, 그들은 최종 범주 또는 범주를 기존 문헌과 비교합니다. 근거 이론이 어떤 방향으로 나아갈지 미리 알 수 없기 때문에 연구를 완료할 때 문헌을 체계적으로 검색해야 합니다.
At every stage of the research process grounded theorists make comparisons beginning with data and ending with comparisons between their categories.Footnote1 Subsequently, they compare their final category or categories with the existing literature. Because they do not know in advance where grounded theory may take them, they need to do a systematic search of the literature as they complete their study.

글레이저와 스트라우스는 연구자의 개념 범주의 분석력을 높이는 반복적인 과정이 근거 이론에 많은 힘을 준다는 사실을 깨달았습니다. 그들은 새로운 데이터로 이러한 범주를 채우기 위해 새로운 유형의 샘플링인 '이론적 샘플링'을 제안했습니다. 이 유형의 샘플링에서 연구자는 범주를 설명할 수 있는 데이터를 찾습니다. 이 용어는 정량적 연구에서 대표 표본 추출로 오인되는 경우가 많기 때문에 혼동될 수 있습니다. 그러나 이론적 샘플링은 대표 샘플링과는 아무런 관련이 없습니다. 글레이저와 스트라우스는 새로운 개념 범주의 이론적 포화라고 부르는 것을 목표로 삼고 있습니다. 근거 이론가들은 이론적 샘플링을 하면서 더 많은 데이터를 찾지만 범주의 새로운 속성이나 특성을 발견하지 못할 때 이론적 포화 상태에 도달합니다. 이론적 샘플링이론적 포화는 반복적인 프로세스를 추구하고 구축된 범주를 데이터와 비교하여 철저하게 확인하는 데 달려 있습니다. 그러나 연구자가 각 참가자에게 동일한 질문만 던진다면 주제에 대해 비슷한 이야기를 이끌어낼 가능성이 높습니다. 이는 데이터 포화 상태이며, 상대적으로 적은 수의 인터뷰에서도 발생하지만 연구의 분석력에는 거의 기여하지 않습니다. 
Glaser and Strauss realized that the iterative process of increasing the analytic power of the researcher’s conceptual categories gave grounded theory much of its strength. They proposed a new type of sampling, ‘theoretical sampling’, to fill out these categories with new data. In this type of sampling, researchers look for data that will inform their categories. The term is confusing because it is often mistaken for representative population sampling in quantitative research. However, theoretical sampling has nothing to do with representative sampling. Glaser and Strauss are aiming for what they call theoretical saturation of the emerging conceptual categories. Grounded theorists achieve theoretical saturation, when they seek more data while theoretical sampling, but find no new properties or characteristics of their categories. Theoretical sampling and theoretical saturation depend upon pursuing the iterative process and thoroughly checking the constructed categories against data. If, however, researchers only ask the same questions of each participant, they are likely to elicit similar stories about the topic. That is data saturation, and it occurs with relatively few interviews but seldom contributes to the analytic power of the study.

이론적 샘플링과 이론적 포화는 연구자의 분석을 강화하고 명확한 주장을 할 수 있는 자료를 제공함으로써 연구의 품질에 기여합니다. 요컨대, 근거 이론가들은 상담 심리학자 Morrow(2005)와 Williams와 Morrow(2009)가 연구 실무에서 반드시 달성해야 한다고 주장한 연구의 'trustworthiness'을 구축하고 있습니다.
Theoretical sampling and theoretical saturation contribute to the quality of the study by strengthening researchers’ analysis and giving them material for making explicit claims about it. In short, grounded theorists are building the kind of ‘trustworthiness,’ of their research that counseling psychologists Morrow (2005) and Williams and Morrow (2009) rightly argue is imperative to achieve in research practice.

근거 이론 개발의 질에 대한 우려
Concerns about quality in the development of grounded theory

글레이저와 스트라우스(1967)가 최첨단 이론을 발표할 당시만 해도 그들은 사회학자들에게 많은 이야기를 하고 있었습니다. 그들은 자신들의 방법이 심리학, 간호학, 의학, 교육, 컴퓨터 과학, 도시 계획 등 여러 학문 분야와 전문 분야의 경계를 넘나들 것이라고는 꿈에도 생각하지 못했습니다. 사회학에서 질적 연구의 질에 대한 글레이저와 스트라우스의 옹호는 양적 사회학자에 대한 용감한 반박이었습니다. 1960년대에 이르러 질적 연구는 객관성, 타당성, 신뢰성, 재현성이 결여된 것으로 간주하는 미국의 양적 사회학자들의 공격을 받게 되었습니다(Bryant & Charmaz 2007; Charmaz, 1995, Charmaz 2006). 정량적 연구는 이미 체계적으로 체계화되어 있었고, 그 방법을 배울 수 있는 교과서도 점점 더 많이 보급되고 있었습니다. 반면, 질적 연구는 주로 구전으로 내려오는 멘토링 전통과 탐구 분야에 대한 몰입을 통해 배워왔습니다. 그 결과는 소규모의 설명적 연구였습니다. Glaser와 Strauss(1967)의 진술이 나오기 전까지는 고품질의 질적 이론 분석을 구성하는 방법에 대해 체계적으로 성문화된 글은 거의 없었으며, 그보다 훨씬 적은 양이었습니다. 
At the time of Glaser and Strauss’s (1967) cutting edge statement, they were very much speaking to sociologists. They never dreamt that their method would cross many disciplinary and professional borders such as in psychology, nursing, medicine, education, computer science, and urban planning. Glaser and Strauss’s defense of the quality of qualitative research in sociology stood as a valiant rebuttal to quantitative sociologists. By the 1960s, qualitative research had come under attack by US quantitative sociologists who viewed qualitative inquiry as lacking objectivity, validity, reliability, and replicability (Bryant & Charmaz 2007; Charmaz, 1995, Charmaz 2006). Quantitative research had already been systematically codified and textbooks were increasingly available for learning how to do it. In contrast, qualitative research had largely been taught through an oral tradition of mentoring and immersion in the field of inquiry. The results were small descriptive studies. Until Glaser and Strauss’s (1967) statement, little had been written, much less codified into a systematic statement, about how to construct a qualitative theoretical analysis of high quality.

질적 연구에 대한 양적 사회과학자들의 날카로운 비판에 대해 글레이저와 스트라우스는 양적 전통의 교리에 따라 질적 연구를 평가하는 일반적인 관행을 거부했습니다. 글레이저와 스트라우스는 질적 연구에 대한 양적 연구자들의 비판을 체계적이지 않고 편향적이며 직관적이라는 이유로 거부했습니다. 대신, 그들은 질적 연구는 지배적인 양적 전통에 의해 강요된 기준이 아니라 그 자체의 표준에 따라 평가되어야 한다고 주장했습니다. 
When answering quantitative social scientists’ sharp criticisms of its quality, Glaser and Strauss rejected the common practice of evaluating qualitative research according to the tenets of the quantitative tradition. Glaser and Strauss rejected quantitative researchers’ criticisms of qualitative inquiry as being unsystematic idiosyncratic, biased, and intuitive. Instead, they argued that qualitative research must be evaluated on its own canons, not on those imposed by the dominant quantitative tradition.

글레이저와 스트라우스는 연역적 정량적 연구는 연구자가 연구를 시작하기 전에 '올바른' 질문을 알고 있다고 가정한다고 주장했습니다. 이러한 질문은 일반적으로 경험적 세계와는 거리가 먼 사변적 이론에서 파생된 것이었습니다. 글레이저와 스트라우스는 다음과 같이 제안했습니다.

  • (1) 연구 질문은 경험적 상황을 연구하는 과정에서 생겨나야 하고, 
  • (2) 연역적 가설 테스트는 새로운 이론적 접근법 개발을 저해하며, 
  • (3) 따라서 연구 결과의 품질, 관련성 및 유용성을 떨어뜨린다고 

Glaser and Strauss avowed that deductive quantitative research assumed that researchers knew the ‘right’ questions to ask before beginning their studies. Such questions were typically derived from speculative theorizing far removed from the empirical world. Glaser and Strauss proposed that

  • (1) research questions had to arise from studying empirical situations,
  • (2) deductive hypothesis testing undermined developing new theoretical approaches, and
  • (3) thus, reduced the quality, relevance and usefulness of the research products.

요컨대, 글레이저와 스트라우스는 풍부한 직접 데이터를 활용한 귀납적 질적 연구가 이론 구축으로 이어질 수 있으며, 객관성, 타당성, 신뢰성, 재현성의 규범을 고수하는 것은 이론화를 저해할 수 있다고 선언했습니다. 따라서 연구를 수행하기 전에 연구와 이론적 문헌에 몰입하면 연구자가 흔들리고 결과적으로 연구에 대한 선입견을 갖게 된다고 주장했습니다. 글레이저와 스트라우스에게 이론화, 즉 수준 높은 연구를 위해서는 연구 대상 현상에 대한 직접적인 지식이 전제되어야 했습니다. 또한 직접 경험에 대한 연구는 엄격하게 수행될 수 있다고 주장했습니다.
In short, Glaser and Strauss declared that inductive qualitative research with rich first-hand data could lead to theory construction and that adhering to canons of objectivity, validity, reliability and replicability would inhibit theorizing. Hence, they argued that immersion in the research and theoretical literatures before conducting research would sway researchers and subsequently, preconceive their studies. For Glaser and Strauss, theorizing–and creating high quality research–needed to be predicated on direct knowledge of the studied phenomenon. Moreover, they contended that studies of direct experience could be conducted with rigor.

글레이저와 스트라우스의 입장을 맥락에 맞게 이해하려면 1960년대 미국 사회학과에서 어떤 일이 벌어지고 있었는지 자세히 알아두면 도움이 됩니다. 사회학과 인류학은 20세기에 접어들면서 학문이 시작될 때부터 질적 연구를 직접 수행해 온 오랜 역사를 가지고 있습니다. 그러나 1960년대에 이르러 양적 연구자들이 사회학의 주요 부서, 학술지, 연구 기관, 연구비 지원 기관을 장악하면서 질적 연구를 공격하고 소외시켰습니다. 그들은 소수의 재능 있는 스타만이 학계의 주목을 받을 만한 질적 연구를 수행할 수 있다고 믿었습니다. 글레이저와 스트라우스는 이러한 견해를 거부하고 질적 연구를 민주화했습니다. 그들은 근거 이론이 일반 연구자들에게 각자의 분야에서 견고한 이론을 구축할 수 있는 도구를 제공할 것이라고 약속했습니다. 
To place Glaser and Strauss’s position in context, it helps to know more about what was happening in US sociology departments of the 1960s. Sociology and anthropology have had long histories of first-hand qualitative research from the beginning of their disciplines at the turn of the 20th century. But by the 1960s, quantitative researchers had attacked and marginalized qualitative inquiry in sociology by gaining control over leading departments, journals, research institutes, and funding agencies. They believed only a few talented stars could produce qualitative studies worthy of academic attention. Glaser and Strauss rejected this view and democratized qualitative inquiry. They promised that grounded theory would give ordinary researchers the tools to construct solid theories in their respective areas.

글레이저와 스트라우스의 책(1967)은 여러 세대의 대학원생들에게 영감을 주었습니다. 이 책은 귀납적 질적 연구를 정당화했고 코딩과 메모 작성을 질적 탐구의 필수 전략으로 만들었습니다. 그러나 이론적 샘플링과 포화에 관심을 갖고 이론을 구성한 연구자는 거의 없었습니다. Strauss와 Corbin(1990, 1998)의 등장으로 연구자들에게 근거 이론을 수행하는 방법에 대한 지침을 제공한다고 주장하며 큰 인기를 끌었던 매뉴얼이 등장했습니다. 그러나 이들의 책은 Strauss(1959)의 초기 연구에서 보여준 개방적이고 유동적인 접근 방식과 뚜렷한 대조를 이루며 경직되고 규범적인 것으로 비춰졌습니다.각주2 Strauss와 Corbin의 매뉴얼은 Glaser(1978)의 정교한 방법론과도 차이가 있었으며, Glaser(1992)의 격렬한 반응과 유일한 '고전적' 근거 이론 방법을 가지고 있다고 공언한 것과도 차이가 있습니다. 
Glaser and Strauss’s (1967) book inspired generations of graduate students. The book legitimized inductive qualitative research and made coding and memo-writing integral strategies of qualitative inquiry. However, few researchers engaged in theoretical sampling and saturation and constructed theory. The appearance of Strauss and Corbin (1990, 1998) immensely popular manuals claimed to give researchers instructions about how to do grounded theory. However, their books came across as rigid and prescriptive in sharp contrast to the open-ended, fluid approach of Strauss’s (1959) earlier work, and evident in the Discovery book.Footnote2 Strauss and Corbin’s manuals also diverged from Glaser’s (1978) elaboration of the method, to Glaser’s (1992) furious response and avowals to have the only ‘classic’ grounded theory method.

아이러니하게도 초기의 근거 이론 연구자와 지지자들(예: Glaser 1978; Strauss와 Corbin 1990, 1998)은 이 방법을 데이터를 수집하고 분석하는 절차의 기계적인 적용으로 취급하는 경우가 많았습니다. 실증주의 인식론의 잔재는 글레이저와 스트라우스와 코빈의 텍스트에서도 분명하게 드러나는데, 그 이유는 아래와 같은 중립적인 관찰자를 전제로 하기 때문입니다. 

  • (1) 세심한 관찰을 통해 발견할 수 있는 외부 세계를 가정하고,
  • (2) 연구 과정으로부터 자신을 분리하고,
  • (3) 데이터에 대한 객관적인 시각을 형성하고,
  • (4) 연구 참여자와 연구 과정에 대한 그들의 대표성을 문제가 없는 것으로 간주한다. 

Perhaps ironically, early grounded theory researchers and proponents (e.g., Glaser 1978; Strauss and Corbin 1990, 1998) often treated the method as a mechanistic application of procedures to gather and analyze data. The residues of an epistemology of positivism are also evident in both Glaser’s and Strauss and Corbin’s texts because they presuppose neutral observers who

  • (1) assume an external world, which can be discovered by meticulous observation,
  • (2) separate themselves from the research process,
  • (3) form an objective view of the data, and
  • (4) treat their representation of research participants and the research process as unproblematic.

또한 글레이저는 소규모 표본을 옹호하고, 근거 이론을 모든 인식론(지식의 본질과 그에 대한 합리적 정당화에 대한 철학적 이론)과 함께 사용할 수 있다고 가정하며, 시간, 장소, 개인, 상황을 초월하는 검약한 이론적 일반화를 추구합니다. 그러나 인식론적 입장은 연구자가 데이터를 수집하는 방법과 이러한 데이터와 후속 분석에 대한 영향력을 인정할지 여부를 결정하기 때문에 중요합니다.
In addition, Glaser defends small samples, presumes that grounded theory can be used with any epistemology (a philosophical theory of the nature of knowledge and reasoned justifications for it) and pursues parsimonious theoretical generalizations that transcend time, place, individuals, and circumstances. Epistemological stances are, however, significant because they shape how researchers gather their data and whether they acknowledge their influence on these data and the subsequent analysis.

심리학자 헨우드와 피전(2003)은 17년 전에 근거 이론에 대해 오늘날에도 여전히 유효한 중요한 지적을 제기했습니다. 그들은 근거 이론을 하나의 단일 방법으로 보기보다는 질적 탐구에서 중요한 문제에 대해 토론할 수 있는 유용한 결절점으로 볼 수 있다고 주장했습니다. 근거 이론을 수행하는 방법을 설명하는 초기의 매뉴얼과 달리, Bryant(2017, 2019), Charmaz(2006, 2014), Corbin과 Strauss(2008, 2015), Thornberg와 Charmaz(2014)를 포함한 현대 버전의 방법론은 근거 이론에 유연하게 접근하고 보다 최근의 인식론을 채택하고 있습니다. 이러한 방법론자들은 다양한 현실을 인정하고, 다양한 관점을 추구하며, 연구 과정 전반에 걸쳐 비판적 분석에 참여하는 것을 지지합니다. 이 접근법은 아래와 같은 연구자에게 호소력을 발휘합니다.

  •  (1) 연구 과정 전반에 걸쳐 반성적으로 참여하고,
  • (2) 자신의 입장, 출발점, 연구 활동을 가능한 한 투명하게 하고자 하며,
  • (3) 연구에 참여하기 전에 해당 주제에 대한 이론적, 실체적 문헌을 읽되 이러한 문헌을 반드시 진실이나 최종 진술로 받아들이지 않고,
  • (4) 근거 이론을 포함한 모든 방법론적 접근은 인식론을 가정한다고 본다.

Psychologists Henwood and Pidgeon (2003) raised a crucial point 17 years ago about grounded theory that still holds today. They contended that rather than seeing grounded theory as a unitary method, we can view it as a useful nodal point around which we can debate significant issues in qualitative inquiry. Unlike earlier manuals describing how to do grounded theory, contemporary versions of the method including Bryant (2017, 2019), Charmaz (2006, 2014), Corbin and Strauss (2008, 2015), and Thornberg and Charmaz (2014) take a flexible approach to grounded theory and adopt more recent epistemologies. These methodologists subscribe to acknowledging multiple realities, seeking diverse perspectives, and engaging in critical analysis throughout the research process. This approach appeals to researchers who

  • (1) engage in reflexivity throughout the research process,
  • (2) aim to make their standpoints, starting points, and research actions as transparent as possible,
  • (3) read theoretical and substantive literatures on their topics before engaging in research, but do not necessarily take these literatures as true or final statements, and
  • (4) assume every methodological approach, including grounded theory, assumes an epistemology.

근거 이론에 대한 글레이저와 스트라우스의 주장은 1960년대에 혁명적이었습니다. 2007년에 케네스 게르겐(Kenneth Gergen)은 '사실에 대한 모든 지식은 경험에서 비롯되거나 그 검증을 위해 경험이 필요하다고 주장하는' 인식론적 접근 방식인 경험주의에 의존하기 때문에 Glaser와 Strauss(1967)의 근거 이론을 시대에 뒤떨어진 것passé 으로 일축했습니다(APA 심리학 사전). 게르겐은 모든 경험적 견해는 해석적이라고 지적했는데, 이는 21세기 대부분의 근거 이론가들이 공유하는 인식론적 관점입니다. 언어와 경험은 연구자가 세상을 보는 방식을 형성합니다. 이와는 대조적으로 Glaser(2013)는 여전히 데이터가 문제가 없다고 가정하고, 연구자가 이전의 개념, 관점 및 연구를 불러와 데이터를 분석할 때 선입견을 가져서는 안 된다고 주장합니다. 
Glaser and Strauss’s statement of grounded theory was revolutionary in the 1960s. By 2007, Kenneth Gergen (in Cisneros-Puebla 2007) dismissed Glaser and Strauss’s (1967) grounded theory as passé because of its reliance on empiricism, an epistemological approach ‘holding that all knowledge of matters of fact either arises from experience or requires experience for its validation’ (APA Dictionary of Psychology). Gergen pointed out that all empirical views are interpretive, an epistemological view most 21st century grounded theorists share. Language and experience shape how researchers see the world. In contrast, Glaser (2013) still assumes that data are unproblematic and insists researchers must not preconceive analyzing them by invoking earlier concepts, perspectives, and studies.

질적 연구와 심리학
Qualitative research and psychology

질적 연구의 품질에 대한 기준은 아직 명확하게 정립되지 않았습니다. 질적 연구에서 품질은 매우 중요하지만, 코빈의 말처럼 '질적 연구에 적합한 평가 기준이 무엇인지에 대한 합의가 거의 이루어지지 않고 있습니다'(코빈과 스트라우스 2015, 341). 이는 적어도 부분적으로는 다양한 존재론적, 인식론적 신념과 연구 이상에 뿌리를 둔 질적 연구 전통(예: 담화 분석, 민족지학, 현상학적 연구, 대화 분석)과 그 안의 다양성(예: 비판적 담화 분석, 해석적 현상학적 분석, 비판적 민족지학, 구성주의 근거 이론)으로 설명할 수 있습니다. 심리학자들은 이러한 다양한 질적 방법을 구독하고 그 발전에 기여해 왔습니다.  
Criteria about the quality in qualitative research remain unsettled. Although quality is crucial in qualitative research, there is, as Corbin states, ‘little consensus about what constitutes an appropriate set of evaluation criteria for qualitative research’ (Corbin and Strauss 2015, 341). This can, at least in part, be explained by the multiplicity of qualitative research traditions (e.g., discourse analysis, ethnography, phenomenological research, conversation analysis) and diversities within them (e.g., critical discourse analysis, interpretative phenomenological analysis, critical ethnography, constructivist grounded theory), rooted in various ontological and epistemological beliefs and research ideals. Psychologists have subscribed to this wide range of qualitative methods and contributed to their development.

질적 연구의 객관성, 타당성, 신뢰성 및 재현성에 대한 우려는 여전히 학문적 심리학에 만연해 있습니다. 최근의 한 예로, Anczyk 외(2019)는 질적 연구에서의 복제성을 주장합니다. Rubin, Bell, McCleland(2018)는 대학원 심리학 프로그램에 대한 혼합 방법 연구에서의 우려를 문서화했습니다. 이들은 오랫동안 심리학 분야에서 질적 연구에 대한 부정적인 시각이 존재해 왔다는 사실을 발견했습니다. 응답 프로그램 중 13%만이 질적 연구 과정을 요구한다고 보고했습니다. 1960년대 질적 연구에 대한 사회학적 비판을 반영하듯, 루빈 등의 응답자들은 "질적 연구는 '부정확하고', '주관적이며', '엄밀성이 결여된' 것으로 상상되거나 믿어졌다"(41페이지)고 말했습니다. 그러나 응답자들은 질적 연구가 '페미니즘, 커뮤니티 기반, 사회 정의 연구에 가장 적합한 방법'이라고 설명했습니다(43페이지). 이 점에 대해서는 비평가들이 옳습니다. 심리학자들은 이 분야에서 엄청난 공헌을 해왔으며, 이들 중 다수는 근거 이론을 사용합니다(예: Ayón 외. 2017; Faija 외. 2017; Gibson, 2016; Lee 2018; Scull, Mbonyingabo, Kotb 2016; Tsai, L. 2017; Tuason 2013 참조). 
Concerns about objectivity, validity, reliability and replicability in qualitative research still pervade academic psychology. In a recent example, Anczyk et al. (2019) plea for replication in qualitative research. Rubin, Bell, and McCleland (2018) document the above concerns in their mixed methods study of graduate psychology programs. They found negative judgments about qualitative inquiry that had long been evident in the discipline. They reported that only 13% of the responding programs required a course in qualitative research. Echoing sociological criticisms of qualitative studies in the 1960s, Rubin et al.’s respondents stated that “qualitative research was either imagined to be or believed to be ‘inaccurate,’ ‘subjective,’ and ‘lacking rigor’ (p. 41). However, the respondents described qualitative research as providing the ‘best methods for feminist, community-based, and social justice research’ (p. 43). The critics are correct on this point. Psychologists have made enormous contributions in these areas, and many of them use grounded theory (see, for example, Ayón et al. 2017; Faija et al. 2017; Gibson, 2016; Lee 2018; Scull, Mbonyingabo, and Kotb 2016; Tsai, L. 2017; Tuason 2013).

그러나 비평가들은 질적 연구를 수행하는 심리학자들의 기여에 대한 다른 중요한 고려 사항을 무시하는 것 같습니다.

  • 질적 심리학자들은 다양한 문제를 연구하며 의학 및 정신의학, 교육, 종교, 민족 및 젠더 연구, 비즈니스 등 다양한 프로그램에 소속되어 있습니다.
  • 질적 심리학자들의 위치와 다양한 출판 매체는 연구의 질과 기여의 범위를 가릴 수 있습니다(예: Bronk 2012; Mazzone 외. 2018; Tsai, Seballos-Llena, Castellano-Datta 2017; Wójcik 2018).
  • 또한 질적 심리학자들은 종종 다학제적 팀의 전문 분야에서 일하기도 합니다(예: Khankeh 외. 2015).각주3
  • 또한 심리학자가 심리학 프로그램에 고용되지는 않더라도 여러 분야의 전문 지식을 보유하는 것은 드문 일이 아닙니다.각주4 

Yet critics appear to ignore other important considerations about the contributions of psychologists who conduct qualitative research.

  • Qualitative psychologists study an amazing array of problems and are affiliated with a wide range of programs, including those in medicine and psychiatry, education, religion, ethnic and gender studies, and business, to name a few.
  • Their locations and diverse publication outlets may mask both the quality of their research and the scope of their contributions (e.g. Bronk 2012; Mazzone et al. 2018; Tsai, Seballos-Llena, and Castellano-Datta 2017; Wójcik 2018).
  • Also, qualitative psychologists often work in specialized areas on multidisciplinary teams (e.g. Khankeh et al. 2015).Footnote3 
  • Furthermore, it is not unusual for psychologists to hold multi-disciplinary expertise, although they may not be employed in psychology programs.Footnote4

1960년대와 마찬가지로 일반적으로 질적 연구도, 특히 근거 이론도 양적 연구에 기반한 질적 판단에 적합하지 않습니다. 우리는 가치 있는 주제, 풍부한 엄격성, 성실성, 신뢰성, 공명, 유의미한 기여, 윤리성, 의미 있는 일관성(837쪽)이라는 Tracy(2010)의 질적 연구의 '빅 텐트' 지표에 동의합니다. 그러나 연구 실무에서 이러한 용어가 의미하는 바는 연구자마다 다를 수 있습니다. 그럼에도 불구하고 근거 이론가들은 연구자들이 철저한 연구를 수행할 때 이러한 질적 지표를 충족할 수 있습니다. 점점 더 많은 연구자들이 질적 연구의 품질 기준으로 투명성과 반성성을 요구하고 있습니다(예: Treharne and Riggs 2014). 
As in the 1960s, neither qualitative research, in general, nor grounded theory, in particular, fit judgments of quality based on quantitative research. We agree with Tracy’s (2010) ‘big tent’ markers of quality in qualitative research: a worthy topic, rich rigor, sincerity, credibility, resonance, significant contribution, ethics, and meaningful coherence (p. 837). However, what these terms mean in research practice may differ among researchers. Nonetheless, grounded theorists can meet these markers of quality when researchers conduct thorough studies. Increasingly, researchers ask for transparency and reflexivity as criteria of quality in qualitative research (e.g. Treharne and Riggs 2014).

다양한 버전의 근거 이론의 품질 기준
Quality criteria in various versions of grounded theory

근거 이론은 그 고유한 특성으로 인해 품질을 평가하기 위한 자체 기준이 필요하지만(참조: Berthelsen, Grimshaw-Aagaard, Hansen 2018; Chiovitti와 Piran 2003; Elliott와 Lazenbatt 2005; Hutchison, Johnston, Breckon 2011), 근거 이론가는 인터뷰, 현장조사 등의 품질을 보장하기 위한 데이터 수집 방법 사용에 관한 보다 일반적인 지침에서 벗어날 수 없습니다. 특히 데이터와 근거에 중점을 둔다는 점에서 '쓰레기 투입, 쓰레기 배출'의 원칙은 근거 이론에 매우 유용하게 적용될 수 있습니다. 근거 이론의 품질을 평가하는 기준은 어떤 버전의 근거 이론이 문제가 되는지에 따라 달라질 수 있습니다. 가장 초창기이지만 덜 발전된 이론인 Glaser와 Strauss(1967)는 신뢰성적용 가능성에 중점을 두었습니다.

  • 이들은 신뢰성을 실제 현장을 면밀히 연구하고 분석하여 데이터에 대한 체계적인 지식을 습득한 연구자 자신의 지식에 대한 확신과 연결시켰습니다. 글레이저와 스트라우스는 신뢰성을 판단하는 몇 가지 기준을 제시했습니다.
    • (1) 독자가 현장에 있는 듯한 느낌을 받을 수 있도록 데이터에 대한 상세하고 생생한 설명,
    • (2) 연구자가 어떻게 결론에 도달했는지에 대한 독자의 평가(데이터는 무엇이며 어떻게 수집하고 분석했는가),
    • (3) 이론의 범위와 일반성을 높이고 새로운 이론을 다양한 상황에 맞게 수정하고 조정하기 위한 여러 비교 그룹.
  • 적용 가능성은 일반화 가능성과 연결될 수 있으며(참조, Larsson 2009), Glaser와 Strauss(1967)는 상호 관련된 네 가지 기준을 제안했습니다:
    • (1) 적합성: '이론은 그것이 적용될 실질적인 영역에 적합해야 한다'(238쪽)는 것으로, 이들은 이론이 연구 대상인 데이터에 적합해야 한다고 강조했습니다.
    • (2) 이해: 이론은 해당 실체적 영역에서 일하거나 생활하는 비연구자들도 이해할 수 있어야 합니다.
    • (3) 일반성: 이론은 적용 가능성을 높이기 위해 충분히 일반적이어야 합니다. '범주는 민감성을 잃을 정도로 추상적이어서는 안 되지만, ... 이론이 다조건적이고 끊임없이 변화하는 일상 상황에 대한 일반적인 지침이 될 수 있을 정도로 추상적이어야 합니다'(242페이지).
    • (4) 통제: 이론은 사용자가 사회적 현실을 이해하고 분석하는 데 도움을 주며, 상황에서 무슨 일이 일어나고 있는지, 어떻게 변화를 가져올 수 있는지에 대한 충분한 설명력을 포함해야 합니다.

Grounded theory needs its own set of criteria for evaluating quality due to its unique features (cf., Berthelsen, Grimshaw-Aagaard, and Hansen 2018; Chiovitti and Piran 2003; Elliott and Lazenbatt 2005; Hutchison, Johnston, and Breckon 2011), although grounded theorists cannot escape more general guidelines concerning their use of data gathering methods to ensure quality in doing interviews, fieldwork etc. The principle of ‘garbage in, garbage out’ is very much applicable to grounded theory, particularly considering its emphasis on data and groundedness. Criteria for evaluating quality in grounded theory can vary due to which version of grounded theory is of concern. In the original but less developed one, Glaser and Strauss (1967) focused on credibility and applicability.

  • They connected credibility to researchers’ confidence in their own knowledgeability based on carefully studying and analyzing the actual field, and gaining systematic knowledge of the data. Glaser and Strauss suggested a few criteria for judging credibility:
    • (1) a detailed and vivid description of data so the readers feel that they have been in the field as well, and literally can hear and see the participants;
    • (2) readers’ assessments of how the researchers came to their conclusions (what are the data and how have they been gathered and analyzed?); and
    • (3) multiple comparison groups to increase the scope and generality of the theory, and to correct and adjust the emerging theory to diverse conditions. 
  • Applicability, in turn, can be connected to generalizability (cf., Larsson 2009), and Glaser and Strauss (1967) proposed four interrelated criteria:
    • (1) Fitness: The ‘theory must fit the substantive area to which it will be applied’ (p. 238), and they emphasized that the theory needs to fit the data under study.
    • (2) Understanding: The theory should make sense and be understandable to non-researchers working or living in the substantive area.
    • (3) Generality: The theory needs to be sufficiently general to increase its applicability – ‘categories should not be so abstract as to lose their sensitizing aspect, but yet must be abstract enough to make … theory a general guide to multi-conditional, ever-changing daily situations’ (p. 242).
    • (4) Control: The theory should help the users to understand and analyze their social reality, to include enough explanatory power on what is going on in situations and how to bring about change in them.

근거이론을 더욱 발전시킨 Glaser(1978, 1998)는 품질을 판단하는 네 가지 기준을 제시했습니다:

  • (1) 실행가능성: 이론이 연구의 실질적인 영역에서 관련 행동을 설명하는 데 효과가 있는가?
  • (2) 관련성: 실제 분야의 사람들과 관련성이 있는가?
  • (3) 적합성: 이론이 실체적 영역에 적합한가? 이론과 그 범주가 데이터에 맞아야 합니다.
  • (4) 수정가능성: 새로운 데이터가 등장할 때 이론을 쉽게 수정할 수 있는가?

근거 이론을 개발할 때 Strauss와 Corbin(1990; Corbin과 Strauss 1990; Strauss와 Corbin 1998)은 네 가지 일반적인 기준을 강조했습니다:

  • (1) 데이터의 질, 즉 근거이론가는 데이터의 신뢰성과 신뢰성을 확보하기 위해 데이터 수집에 사용된 방법과 관련된 질적 기준을 신중하게 다루고 채택해야 하며,
  • (2) 이론 자체의 타당성과 가치,
  • (3) 연구 과정의 적절성(표본 추출 절차, 이론적 표본 추출, 코딩, 범주화, 가설 또는 범주 간 개념 관계 개발, 이론을 개발하는 핵심 범주 선정),
  • (4) 이론의 경험적 근거에 대한 문제 등이 있습니다.

이 두 가지 기준의 평가를 위한 체크리스트와 지침에 대한 포괄적인 설명은 Strauss와 Corbin(1990; Corbin과 Strauss 1990; Strauss와 Corbin 1998)에서 제공합니다.

In his further development of grounded Glaser (1978, 1998) suggested four criteria in judging quality:

  • (1) Workability: Does the theory work to explain relevant behavior in the substantive area of the study?
  • (2) Relevance: Does it have relevance to the people in the substantive field?
  • (3) Fit: Does the theory fit the substantive area? The theory and its categories must fit the data.
  • (4) Modifiability: Is the theory readily modifiable as new data emerge?

In their development of grounded theory, Strauss and Corbin (1990; Corbin and Strauss 1990; Strauss and Corbin 1998) emphasized four general criteria:

  • (1) quality of the data, in other words, grounded theorists need to carefully address and adopt quality criteria related to methods used for data gathering to secure credibility and trustworthiness of data;
  • (2) the plausibility and value of the theory itself;
  • (3) adequacy of the research process (sampling procedures, theoretical sampling, coding, categorization, development of hypotheses or conceptual relations between categories, and selection of core category through which the theory is developed); and
  • (4) the issue of the empirical grounding of the theory. A comprehensive description of checklists and guidelines for evaluation of the two later criteria is offered by Strauss and Corbin (1990; Corbin and Strauss 1990; Strauss and Corbin 1998).

스트라우스와 코빈에 따르면, 연구의 경험적 근거와 관련하여 질문해야 할 사항은 다음과 같습니다: 

  • (1) 개념이 생성되었는가?
  • (2) 개념이 체계적으로 관련되어 있는가?
  • (3) 개념적 연결이 많으며 범주가 잘 발달되어 있는가? 범주에 개념 밀도가 있는가?
  • (4) 이론에 변이가 내재되어 있는가? 개념이 광범위한 조건에서 검토되었으며 여러 차원을 제공하는가?
  • (5) 변이를 발견할 수 있는 조건이 연구에 내장되어 있고 설명되어 있는가?
  • (6) 프로세스를 고려하고 식별했는가?
  • (7) 이론적 발견이 중요해 보이는가, 그 정도는 어느 정도인가?
  • (8) 이론이 시간의 시험을 견뎌내고 관련 사회 및 전문가 그룹 간에 교환되는 토론과 아이디어의 일부가 되는가? (자세한 내용은 스트라우스와 코빈 1998, 270-272쪽 참조).

According to Strauss and Corbin, questions to ask regarding empirical grounding of the study are:

  • (1) Are concepts generated?
  • (2) Are the concepts systematically related?
  • (3) Are there many conceptual linkages, and are the categories well developed? Do categories have conceptual density?
  • (4) Is variation built into the theory? Have the concepts been examined under a broad range of conditions and do they offer several dimensions?
  • (5) Are the conditions under which variation can be found built into the study and explained?
  • (6) Has process been considered and identified?
  • (7) Do the theoretical findings seem significant, and to what extent?
  • (8) Does the theory stand the test of time and become part of the discussions and ideas exchanged among relevant social and professional groups? (For further reading, see Strauss and Corbin 1998, pp. 270–272.)

이후 판(Corbin과 Strauss 2008, 2015)에서 Corbin은 질적 연구의 질에 대한 보다 일반적인 기준을 추가하기도 했습니다.

  • 방법론적 일관성, 
  • 목적의 명확성, 
  • 자기 인식, 
  • 질적 연구 수행 방법에 대한 훈련, 
  • 참여자와 데이터에 대한 민감성, 
  • 열심히 일하려는 의지, 
  • 창의적 자아와 연결되는 능력, 
  • 방법론적 인식, 
  • 연구에 대한 강한 열망

In later editions (Corbin and Strauss 2008, 2015), Corbin also added more general criteria of quality in qualitative research:

  • methodological consistency,
  • clarity of the purpose,
  • self-awareness,
  • training in how to conduct qualitative research,
  • sensitivity to participants and data,
  • willingness to work hard,
  • ability to connect with the creative self,
  • methodological awareness, and
  • strong desire to do research.

원래의 근거 이론(Glaser와 스트라우스 1967), 글레이저 근거 이론(Glaser 1978, 1998), 스트라우시안 근거 이론(스트라우스와 코빈 1990, 1998)에서는 설명력(즉, 설명하고 예측하는 힘)이 구성된 이론의 중요한 품질 기준이라는 점에 유의하세요. 이러한 근거 이론의 접근 방식은 Charmaz(2006, 2014)가 말하는 이론의 실증주의적 정의(즉 원인을 찾고 설명력, 예측력, 일반성 및 보편성을 강조하는 것)을 공유합니다.
Note that in the original grounded theory (Glaser and Strauss 1967), Glaserian grounded theory (Glaser 1978, 1998) and Straussian grounded theory (Strauss and Corbin 1990, 1998), explanatory power (i.e., the power to explain and predict) is a significant quality criterion of the constructed theory. These approaches of grounded theory share what Charmaz (2006, 2014) terms as positivist definitions of theory: theories that seek causes, and stress explanation, prediction, generality, and universality.

근거 이론에 대한 구성주의적 관점에서 Charmaz(2006, 2014)는 이러한 이론 정의를 '해석을 강조하고 설명보다 추상적 이해를 더 우선시하는'(Charmaz 2014, 230) 이론의 해석적 정의와 대조합니다. 이러한 이론은 의미와 행위, 그리고 사람들이 그것을 구성하는 방식을 이해하는 것을 목표로 하며, '행위자의 주관성을 끌어들이고, 연구자의 주관성을 인정할 수 있다'(231쪽). 이들은 사회적, 역사적, 지역적, 상호 작용적 맥락에 위치situated합니다. 
From a constructivist view of grounded theory, Charmaz (2006, 2014) contrasts such definitions of theory with interpretive definitions of theory, in which theory ‘emphasizes interpretation and gives abstract understanding greater priority than explanation’ (Charmaz 2014, 230). Such theories aim to understand meanings and actions and how people construct them, and they ‘bring in the subjectivity of the actor and may recognize the subjectivity of the researcher’ (p. 231). They are situated in their social, historical, local, and interactional contexts.

따라서 [근거 이론의 서로 다른 버전] 간에 [서로 다른 인식론, 이상, 목표 등]이 [근거 이론의 품질을 평가하고 근거 이론의 품질 기준을 논의]할 때 고려되어야 합니다(글라제리안, 스트라우시안, 구성주의 근거 이론 접근법 간의 유사점과 차이점에 대한 개요는 Berthelsen, Grimshaw-Aagaard, Hansen 2018 참조); 인식론과 품질 기준 사이의 연관성에 대한 자세한 논의는 Healy 와 Perry 2000, Lincoln, Lynham, Guba 2018, Lützhöft, Nyce, Petersen 2010, Santiago-Deleofosse et al. 2015).
Thus, different epistemologies, ideals, aims etc. between different versions of grounded theory have to be considered when evaluating quality and discussing quality criteria for grounded theory (for overviews of similarities and differences between Glaserian, Straussian and constructivist grounded theory approaches, see Berthelsen, Grimshaw-Aagaard, and Hansen 2018; Thornberg 2017; for further discussions about the link between epistemology and quality criteria, see for example; Healy and Perry 2000; Lincoln, Lynham, and Guba 2018; Lützhöft, Nyce, and Petersen 2010; Santiago-Deleofosse et al. 2015).

구성주의적 근거 이론 내에서 Charmaz(2006, 2014)는 근거 이론 연구에 대한 네 가지 주요 기준, 즉 신뢰성, 독창성, 공명, 유용성을 제안합니다.

  • 신뢰성은 데이터에 대한 예리한 질문을 할 수 있는 충분한 관련 데이터를 확보하고, 연구 과정 전반에 걸쳐 체계적으로 비교하고, 철저한 분석을 개발하는 것에서 시작됩니다. 논란의 여지가 많은 주제 및/또는 분석일수록 연구자는 회의적인 청중을 설득하기 위해 더 많은 데이터가 필요합니다.

Within a constructivist grounded theory, Charmaz (2006, 2014) proposes four main criteria for grounded theory studies: credibility, originality, resonance, and usefulness. 

  • Credibility begins with having sufficient relevant data for asking incisive questions about the data, making systematic comparisons throughout the research process, and developing a thorough analysis. The more controversial the topic and/or analysis is, the more data the researcher needs to persuade skeptical audiences.

신뢰성에는 연구자의 견해와 행동도 포함됩니다. 구성주의적 근거 이론은 연구 과정 전반에 걸쳐 강력한 반성성을 요구합니다. 즉, 연구자는 당연하게 받아들여지는 가정을 설명해야 하며, 이를 위해서는 숨겨진 신념이 연구 과정에 어떻게 개입할 수 있는지에 대한 '방법론적 자의식'(Charmaz 2017)을 가져야 합니다. 브라질에서 현장 조사를 하던 중 엘리자베스 호지-프리먼(Elizabeth Hordge-Freeman)은 우연히 백인 가정에서 입양된 흑인 딸인 필하스 데 크리아시온의 곤경을 발견했습니다(Charmaz 2020, 168-169쪽). 호지-프리먼은 이렇게 썼습니다:
Credibility also involves the researcher’s views and actions. Constructivist grounded theory requires strong reflexivity throughout the research process. This means researchers must explicate their taken-for-granted assumptions, which requires gaining ‘methodological self-consciousness’ (Charmaz 2017) of how hidden beliefs can enter the research process. During her fieldwork in Brazil, Elizabeth Hordge-Freeman (in Charmaz 2020, pp. 168–169) accidentally discovered the plight of black adopted daughters, filhas de criação, in white families. Hordge-Freeman writes:

한 여성이 입양 가정에서 바닥에서 잠을 자고 있고 다른 여러 여성이 40년 넘게 입양 가정에서 무급으로 일하고 있다는 사실을 알게 되었을 때, 저는 이러한 불의에 대한 분노에 휩싸였습니다. 비판적 연구자로서 초기 충동은 이러한 '괴물 같은' 가족을 폭로하여 정의를 실현하고 싶다는 것이었지만, 데이터에 대한 해석을 면밀히 검토하고 지속적인 성찰을 강조하는 구성주의적 근거 이론의 감성은 아주 일찍부터 데이터를 더 미묘한 방식으로 분석하고 감정적 반응까지 조사하도록 저를 설득했습니다. 그렇게 하면서 저는 이 불의를 '바로잡고' 인터뷰 대상자들을 자유롭게 하려는 저의 탐구가 제가 백인 초국적 연구자들을 비판했던 구세주 콤플렉스와 매우 유사하게 들린다는 것을 깨달았습니다. 결국 저는 구성주의적 근거 이론을 사용하여 구조적, 정서적 제약이 신생아의 삶을 어떻게 형성하는지 더 잘 이해할 수 있는 데이터를 수집할 수 있도록 질문의 방향을 바꾸고, 인터뷰 대상자의 해석이 진지하게 받아들여질 수 있도록 반성적 태도를 사용하기로 결정했습니다. 
When I discovered that one woman was sleeping on the floor in their family’s home and several others had been working for no pay in adoptive families for over 40 years, I was overwhelmed with a sense of anger over this injustice. As a critical researcher, my initial impulse was a desire to mete out justice by exposing these ‘monstrous’ families; however, very early on the sensibilities of constructivist grounded theory with its emphasis on scrutinizing our interpretations of data and engaging in sustained reflexivity persuaded me to analyze the data in more nuanced ways and to even interrogate my affective responses. By doing so, I realized that my quest to ‘right’ this injustice and free the interviewees sounded eeringly similar to the savior complex for which I had critiqued white transnational researchers. Ultimately, using constructivist grounded theory, I re-directed my questions to be able to collect data that provided me a greater understanding of how structural and affective constraints shape
 filhas de criação lives and used reflexivity to ensure that my interviewees’ interpretations were taken seriously.

호지-프리먼의 진술은 구성주의 근거 이론에서 가장 옹호하는 강력한 반사성의 유형을 나타냅니다. 방법론적 자의식의 근간을 이루는 강한 반성성(Charmaz 2017)은 연구자의 방법론적 결정을 검토하는 것 이상의 의미를 갖습니다. 연구자가 누구인지 면밀히 검토하는 개방성을 의미합니다. 
Hordge-Freeman’s statement represents the type of strong reflexivity most advocated in constructivist grounded theory. The strong reflexivity undergirding methodological self-consciousness (Charmaz 2017) means more than examining the researcher's methodological decisions. It means openness to scrutinizing who the researcher is.

독창성다양한 형태로 나타날 수 있습니다. 

  • 새로운 통찰력 제공,
  • 인식된 문제에 대한 새로운 개념화,
  • 분석의 중요성 확립 등 

공명은 연구자가 연구 참여자의 경험을 대표할 뿐만 아니라, 다른 사람들에게도 통찰력을 제공하는 개념을 구성했음을 보여줍니다. 공감을 얻으려면 연구자는 데이터 수집 전략을 참가자의 경험을 조명하는 데 맞춰야 합니다.

  • 제니퍼 로이스(2010)는 홈스쿨링 엄마들에 대한 자신의 질문이 질이 아닌 시간의 양에 초점을 맞추고 있다는 사실을 깨닫고 새로운 관점에서 엄마들의 이야기를 듣고 질문을 수정함으로써 공감을 얻었습니다. 이후 '순서대로: 향수를 불러일으키고 후회를 예상하기'(434쪽)와 '음미하기: 현재에 머무르며 양질의 시간을 만들기'(437쪽)라는 코드를 통해 엄마들의 행동을 이해할 뿐만 아니라 시간적 감정의 개념을 구성할 수 있게 되었습니다. 그녀는 후회나 희망과 같은 현재의 특정 감정이 현재에서 과거 또는 미래로 시간대를 넘나들어야만 느낄 수 있다는 사실을 밝혀냈습니다. 로이즈는 사람들이 시간적 감정을 다루는 방식이 시간이 지남에 따라 자아의 상대적 연속성에 영향을 미친다는 이론을 세웁니다.

Originality can take varied forms such as

  • offering new insights,
  • providing a fresh conceptualization of a recognized problem, and
  • establishing the significance of the analysis. 

Resonance demonstrates that the researchers have constructed concepts that not only represent their research participants’ experience, but also provide insight to others. To gain resonance, researchers must fit their data-gathering strategies to illuminate their participants’ experience.

  • Once Jennifer Lois (2010) realized her questions of homeschooling mothers focused on quantity of time instead of quality, she gained resonance by hearing their stories from a new standpoint and revising her questions. Her subsequent codes: ‘Sequencing: eliciting nostalgia and anticipating regret,’ (p. 434) and ‘Savoring: staying present and creating quality time’ (p. 437) not only led her to understand these mothers’ actions but also to construct the concept of temporal emotions. She reveals how certain present feelings like regret or hope can only be felt by crossing timeframes from the present to the past or future. Lois theorizes that how people handle temporal emotions influences their relative continuity of self over time.

유용성은 아래와 같은 것 등입니다.

  • 연구 참여자의 일상 생활에 대한 이해를 명확히 하고,
  • 정책 및 실무 적용을 위한 기반을 형성하며,
  • 새로운 연구 라인을 만드는 데 기여하고,
  • 만연한 과정과 관행을 밝히는 데 기여하는 

그레고리 해들리(Gregory Hadley, Charmaz 2020, 168쪽)는 병원에서의 죽음과 임종에 대한 글레이저와 스트라우스의 분석의 유용성에 대해 설명합니다.

Usefulness includes

  • clarifying research participants’ understanding of their everyday lives,
  • forming a foundation for policy and practice applications,
  • contributing to creating new lines of research, as well as
  • revealing pervasive processes and practices.

Gregory Hadley (in Charmaz 2020, 168) describes the usefulness of Glaser and Strauss’s analysis of death and dying in hospitals.

예를 들어, 글레이저가 스트라우스와 함께 쓴 저서 "죽어감에 대한 인식"은 장인어른이 말기 암으로 투병 중이던 시기에 일본 병원에서 '무슨 일이 일어나고 있었는지'에 대한 많은 의미를 밝혀주었습니다. 이 근거 이론이 반세기 후 수천 마일 떨어진 문화권에서도 빛을 발할 수 있었다는 것은 글레이저와 스트라우스가 고전적 근거 이론을 사용한 천재성을 입증하는 증거입니다.
Glaser’s work with Strauss in his book, “An Awareness of Dying”, for example, unlocked much of the meaning of what was “going on” in a Japanese hospital during the time when my father-in-law was on the trajectory of terminal cancer. That this grounded theory could have salience a half century later in a culture thousands of miles away is a testament to the genius behind what Glaser and Strauss did using Classical Grounded Theory.

이 사례에서 글레이저와 스트라우스의 광범위한 연구는 그들이 어떻게 유용한 수준의 일반성을 달성했는지 보여줍니다. 구성주의적 근거 이론을 사용하여 스노우와 모스(2014)는 행동과 감정을 형성하는 조건을 포함하여 겉으로 보기에 자발적인 집단 행동이 발생하는 조건을 설명합니다. 이러한 조건에 대한 민감성은 사회 운동 주최자가 군중을 동원하는 데 도움이 될 수 있습니다. 
In this case, Glaser and Strauss’s extensive research shows how they achieved a useful level of generality. Using constructivist grounded theory, Snow and Moss (2014) delineate the conditions, including those shaping behavior and emotions, in which seemingly spontaneous collective action arises. Sensitivity to these conditions can assist social movement organizers in mobilizing crowds.

이중 희생: 근거 이론에 기반한 새로운 개념 개발의 사례
Double victimizing: an example of developing a new concept with grounded theory

구성주의적 근거 이론 연구인 Thornberg 외(2013)는 학교 괴롭힘의 피해자였던 개인이 괴롭힘 경험을 어떻게 인식하는지, 그리고 이러한 경험이 자신에게 어떤 영향을 미쳤는지 조사했습니다. 이 프로젝트는 스웨덴의 3개 중등학교와 2개 대학교에 재학 중인 학생들에게 523개의 개방형 설문지를 배포하는 것으로 시작되었습니다. 설문지에는 괴롭힘에 대한 과거 경험과 괴롭힘에 대한 인터뷰를 받을 의향이 있는지에 대해 질문했습니다. 511명의 응답자 중 168명의 학생이 과거에 괴롭힘을 당한 적이 있다고 답했으며 36명이 인터뷰에 응했습니다. 연구진은 1년 이상 괴롭힘을 당한 학생 21명을 대상으로 인터뷰를 진행했습니다. 모든 인터뷰를 진행한 할딘, 볼름스요, 피터슨은 질적 인터뷰에 대한 교육과 훈련을 받았습니다. 편안하고 사적이며 조용한 면담 환경 조성, 면담 대상자와의 친밀감 형성 및 강조, 관심 있는 학습자의 역할 수행, 적극적인 경청, 개방형 질문 사용 및 선행 질문 피하기, 프로빙, 비판적 접근법 채택 등 문헌에서 제시하는 질적 기준이 이들의 면담을 이끌었습니다(예: King & Horrocks, 2010; Kvale & Brinkmann, 2009; Seidman, 2006). 
In their constructivist grounded theory study, Thornberg et al. (2013) examined how individuals, who had been victims of school bullying, perceived their bullying experiences, and how these had affected them. The project began with distributing 523 open-ended questionnaires to students in three secondary schools and two universities in Sweden. The questionnaire asked about their past experiences with bullying and their willingness to be interviewed about it. Of 511 responses, 168 students reported having been bullied in the past and 36 volunteered to be interviewed. The researchers interviewed the 21 students who had been bullied for more than one year. Halldin, Bolmsjö and Petersson, who conducted all the interviews, were instructed and trained in qualitative interviewing. Quality criteria from the literature guided their interviewing, such as establishing a comfortable, private, and quiet interview setting building rapport and emphasizing with the interviewee; taking the role of an interested learner; active listening; using open-ended questions and avoiding leading questions; probing; and adopting a non-judgmental approach (e.g., King & Horrocks, 2010; Kvale & Brinkmann, 2009; Seidman, 2006).

구성주의 근거 이론(Charmaz 2014)에서 인터뷰는 현실을 반영하려는 노력이 아니라, 인터뷰 대상자의 경험과 관점에 대한 상호 탐색을 통해 발생하는 상호 작용으로 간주됩니다. 따라서 [인터뷰어의 접근 방식과 질문 방식, 인터뷰 대상자가 말하는 것을 경청하고 후속 조치를 취하는 것]은 데이터의 공동 구성과 품질에 매우 중요합니다. 질적 인터뷰 문헌에 기반한 이러한 접근 방식은 Thornberg 등(2013)이 생생하고 풍부하며 포괄적인 데이터를 수집하는 데 도움이 되었습니다. 이들은 근거 이론에 따라 데이터 수집과 분석(반복적 과정) 사이를 오갔습니다. 이 접근 방식에는 네 가지 장점이 있습니다.

  • (1) 피상적이고 무작위적인 방식으로 데이터를 수집하거나,
  • (2) 분석되지 않은 방대한 양의 데이터로 인해 압도감을 느끼거나,
  • (3) 오랜 기간 동안 집중하지 못하거나,
  • (4) 참가자의 견해나 주식 규율 범주를 무비판적으로 채택하는 것을 방지할 수 있었습니다. 

In constructivist grounded theory (Charmaz 2014), interviewing is not considered as efforts to mirror reality but as emergent interactions through a mutual exploration of the interviewee’s experiences and perspectives. Therefore, the interviewer’s approach and way of asking questions, listening and following up what the interviewee is telling are crucial in the co-construction and quality of data. Such an approach, based on the qualitative interview literature, helped Thornberg et al. (2013) to gather vivid, rich, and comprehensive data. In accordance with grounded theory, they moved back and forth between gathering and analyzing data (iterative process). This approach has four advantages. It prevented them from

  • (1) gathering data in a superficial and random way;
  • (2) feeling overwhelmed due to a huge amount of unanalyzed data;
  • (3) being unfocused for lengthy periods; and
  • (4) uncritically adopting the participants’ view or stock disciplinary categories.

Thornberg 등(2013)은 데이터와 데이터, 데이터와 코드, 코드와 코드를 비교하는 초기 코딩을 통해 데이터에 맞는 코드를 구성하고, 데이터에서 무슨 일이 일어나고 있다고 해석하는지에 대해 열린 자세를 유지하며 탐구하는 과정을 계속했습니다. 잠정적인 초기 코드는 서로, 그리고 데이터와 주의 깊게 비교하고 유사점과 차이점에 따라 더욱 정교하게 그룹화하여 더 적지만 더 집중적이고 포괄적인 코드로 이어졌습니다. 반복적인 과정과 코딩, 지속적인 비교를 통해 구축된 초점 코드는 데이터와 밀접하게 일치했습니다. 예를 들어, '자기 억제'라는 초점 코드는 '눈에 띄지 않으려고 노력함', '사회적 두려움으로 소극적이 됨', '자신을 낮춤', '사회적 투명성이 괴롭힘을 방지한다고 믿음', '자아의 사회적 존재감을 억제함', '침묵함'과 같은 초기 코드에 뿌리를 두고 있었습니다. 또 다른 초점 코드인 '자기 의심'은 표 1과 2에 표시된 것처럼 '불안해짐', '무가치함을 느끼기', '자신감 상실', '괴롭힘으로 인해 자신감이 떨어짐'과 같은 초기 코드에 뿌리를 두고 있습니다.

Thornberg et al. (2013) constructed codes that fit the data by engaging in initial coding, in which they compared data with data, data with codes, and codes with codes, and stayed close to and remained open to exploring what they interpreted was happening in the data. The provisional, initial codes were carefully compared with each other and with data, further elaborated and grouped together based on similarities and differences, leading to fewer but more focused and comprehensive codes. As a result of the iterative process, coding and constant comparison, their constructed focused codes fit tightly with their data. For example, the focused code ‘self-inhibiting’ had its roots in initial codes like ‘trying to not stand out’, ‘becoming passive out of social fear’, ‘keeping oneself down’, ‘believing social invisibility prevents bullying’, ‘inhibiting the social presence of self’, and ‘becoming silent’. Another focused code, ‘self-doubting’, had its roots in initial codes like ‘becoming insecure’, ‘feeling self-worthlessness’, ‘loss of self-confidence’, and ‘getting bad self-confidence from being bullied’, as indicated in Tables 1 and 2.

 

쏜버그와 동료들이 집중 코딩을 하는 동안 데이터 수집 및 분석에 대한 비교 접근법(2013)에는 이론적 샘플링이 반복적 프로세스의 중요한 부분으로 포함되었으며, 이는 이후 인터뷰를 안내하고 새로운 범주를 작성하는 데 도움이 되었습니다. Charmaz(2014)가 언급했듯이, 이들의 초점 코딩은 이후 분석을 위한 프레임의 기초를 제공했습니다. 그러나 이러한 초점 코드를 최종 프레임으로 사용하기보다는 Thornberg 등(2013)은 학교 괴롭힘의 피해자가 되고 그로부터 자신을 구출하는 과정에 대한 분석을 개발했습니다(Charmaz 2014, 141). 
Thornberg and colleagues’ comparative approach to data collection and analysis (2013) during their focused coding included theoretical sampling as a prominent part of the iterative process, which guided their later interviews and helped them to fill out emerging categories. As noted by Charmaz (2014), their focused codes provided the makings of a frame for the later analysis. ‘Rather than using these focused codes as the final frame, however, Thornberg et al. (2013) developed an analysis of processes involved in becoming a victim of school bullying and in extricating self from it’ (Charmaz 2014, 141).

집중 코딩, 이론적 코딩, 지속적인 비교, 메모 작성 및 이론적 샘플링의 근거 이론 방법을 통해 Thornberg 등(2013)은 '자기 억제', '자기 고립', '감정 끄기'와 같은 집중 코드를 통합하여 '자기 보호'라는 범주로 개발하여 이 범주를 구성하는 이전의 집중 코드를 다른 자기 보호 전략을 나타내는 하위 범주로 포함시켰습니다. 다른 초점 코드 그룹은 '어울리지 못한다는 느낌', '자책' 등 보다 포괄적인 다른 범주로 병합되었습니다. [풍부한 데이터의 공동 구성, 지속적인 비교, 집중 코딩, 이론적 코딩, 메모 작성 및 이론적 샘플링] 간의 상호 작용은 데이터에 고정된 일련의 개념적 범주를 개발하는 데 매우 중요했습니다.
Grounded theory methods of focused coding, theoretical coding, constant comparison, memo-writing and theoretical sampling guided Thornberg et al. (2013) to merge focused codes such as ‘self-inhibition’, ‘self-isolation’, and ‘turning off emotions’ into an even more comprehensive focused code developed into a category that they labeled ‘self-protecting’, in which the former focused codes that constituted this category were included as subcategories representing different self-protecting strategies. Other groups of focused codes were further merged into other more comprehensive categories such as ‘a sense of not fitting in’ and ‘self-blaming’. The interplay between co-constructing rich data, constant comparison, focused coding, theoretical coding, memo-writing and theoretical sampling was crucial in order to develop a set of conceptual categories anchored in the data.

이러한 반복적인 과정을 통해 Thornberg 등(2013)은 Glaser(1998)와 Corbin과 Strauss(2015)가 연구의 '핵심 개념'이라고 부르는 주요 범주, 즉 '이중 피해자화'를 구성할 수 있었습니다. 이 주요 범주는 외부적 피해자화(즉, 피해자를 향한 반복적인 유해 행위로 인해 또래 사이에서 피해자 역할을 확인하는 사회적 과정)와 내부적 피해자화(즉, 피해자가 자신을 보호하기 위한 전략을 개발하는 동시에 외부적 피해자화가 만들어낸 피해자 이미지를 통합하는 과정) 간의 상호 작용 및 순환 과정을 의미합니다. '이중 피해자화'는 핵심 개념(Corbin and Strauss 2015; Glaser 1998)과 마찬가지로 실제로 가장 중요하고 빈번한 코드였으며, 다른 많은 코드와 연관되어 있고 다른 범주보다 더 많은 데이터를 차지했습니다. 
This iterative process helped Thornberg et al. (2013) to construct a major category – what Glaser (1998) and Corbin and Strauss (2015) would refer to as the ‘core concept’ of the study – namely ‘double victimizing’. This major category refers to an interplay and cycling process between external victimizing (i.e., a social process of repeated harmful acts directed at the victims that confirmed their victim role among the peers) and internal victimizing (i.e., victims incorporated the victim-image produced by external victimizing at the same time as they tried to develop strategies in order to protect themselves). Like the term core concept (Corbin and Strauss 2015; Glaser 1998), ‘double victimizing’ was indeed the most significant and frequent code, and was related to as many other codes as possible and accounted for more data than other categories.

결국 다른 범주는 이중 피해의 일부이거나 다른 방식으로 이중 피해와 관련되어 있다는 이중 피해에 대한 근거 이론이 구축되었습니다. 예를 들어, 외적 피해자화는 다른 사람으로 분류되어 낙인찍히고 사회적으로 배제되는 사회적 과정으로 구성되는 반면, 내적 피해자화는 어울리지 못한다는 느낌, 타인 불신, 자기 보호, 자기 의심, 자책, 체념 등을 포함합니다. 초기 공격은 이중 피해자화보다 먼저 발생했으며, 이중 피해자화가 괴롭힘에서 벗어나면 괴롭힘의 후유증으로 내부 피해자화가 남는 것으로 나타났습니다. 본 연구에서는 이론적 완성도를 갖춘 근거 이론을 구축했다는 측면에서 이론적 포화 상태에 도달하기 위해 이론적 샘플링이 필요했습니다(Charmaz 2014; Glaser, 2001). 
A grounded theory of this double victimizing was finally constructed in which the other categories were parts of the double victimizing or in other ways related to it. For instance, whereas external victimizing consists of the social processes of stigmatizing by being labelled as different and social excluding, internal victimizing includes a sense of not fitting in, distrusting others, self-protecting, self-doubting, self-blaming, and resignation. Initial attacks antedated double victimizing, and when double victimizing ended in terms of bullying exit, after-effects of bullying included a lingering internal victimizing. In this study, theoretical sampling was necessary to reach theoretical saturation in terms of having constructed a grounded theory with theoretical completeness (Charmaz 2014; Glaser, 2001).

신중하게 수행된 인터뷰와 근거이론 방법의 체계적인 사용은 학교폭력 이중피해에 대한 최종 근거이론이 이론과 그 개념이 데이터와 명확하게 일치하고(Glaser 1998), 신뢰성(Charmaz 2014; Strauss and Corbin 1998)과 신뢰성을 입증함으로써 경험적 근거에 도달(Strauss and Corbin 1998)할 수 있게 했습니다. 또한 이론의 경험적 근거는 다음과 같이 이어졌습니다:

  • (a) 개발된 중간 범위 이론인 작업성(Glaser 1998): 괴롭힘 피해와 정신 건강 문제 사이의 연관성을 설명하는 데 기여하는 문헌(예, Klomek, Sourander, and Elonheimo 2015),
  • (b) 추상적 이해(Charmaz, 2017): 의미와 행동, 피해자가 이를 구성하는 방식에 대한 이해를 높이는 데 기여,
  • (c) 관련성(Glaser 1998)과 공명(Charmaz 2014): 연구 참여자와 다른 학교폭력 피해자가 이중 피해자화 근거 이론에 포함된 대부분의 또는 모든 과정을 인식할 수 있었기 때문에 

The carefully conducted interviews and the systematic use of grounded theory methods made sure that the final grounded theory of double victimizing in school bullying reached empirical grounding (Strauss and Corbin 1998) as the theory and its concepts clearly fitted with the data (Glaser 1998), and demonstrated credibility (Charmaz 2014; Strauss and Corbin 1998) and trustworthiness (Strauss and Corbin 1998). In addition, the empirical grounding of the theory led to:

  • (a) workability (Glaser 1998) as the developed middle-range theory contributes to explain the link between bullying victimization and mental health problems in the literature (e.g., Klomek, Sourander, and Elonheimo 2015) from the voice and perspectives of the participants;
  • (b) abstract understanding (Charmaz, 2017) as it contributes to increase our understanding of meanings and actions and how victims construct them; and
  • (c) relevance (Glaser 1998) and resonance (Charmaz 2014) as participants in the study and other victims of school bullying could recognize most or all processes included in the grounded theory of double victimizing.

개방적이고 탐구적인 접근 방식으로 인해 개발된 근거이론은 새로운 통찰력을 제공하고 피해자의 경험과 학교폭력 이후의 경로에 대한 새로운 개념화를 증명함으로써 문헌에 기여하는 독창성을 보여주었습니다(Charmaz 2014). 경험적 근거, 적합성, 신뢰성, 관련성, 실행 가능성, 공명도 등을 종합적으로 평가한 결과, Thornberg 등(2013)의 이중피해이론은 새로운 연구 계통 창출에 기여하고, 학교폭력 피해자 경험을 명확히 하며, 학교폭력이 끝난 후에도 내적 피해는 몇 년 동안 지속된다는 것을 밝혀내 학교폭력 예방에 시사하는 바가 있어 유용성이 인정되었다(Charmaz 2014). 지식과 앎에 대한 실용주의적 관점에 따라 구성주의적 근거 이론 접근법(Charmaz 2006, 2014; Thornberg 2012)의 근간이 되는 Thornberg 등(2013)의 이중 피해에 대한 근거 이론은 위치, 오류, 잠정적인 것으로 간주되며 따라서 수정가능성을 수용합니다(Glaser 1998). 새로운 데이터는 이론을 더욱 수정하고 정교화할 수 있습니다. 
Due to the open and exploratory approach, the developed grounded theory showed originality (Charmaz 2014) as it contributes to the literature by offering new insights and proving a fresh conceptualization of victims’ experiences and path through school bullying and beyond. As a result of empirical grounding, fit, credibility, relevance, workability and resonance, Thornberg et al. (2013) grounded theory of double victimizing also demonstrated usefulness (Charmaz 2014) as it contributes to creating new lines of research, clarifies bullying victim experiences, and reveals that an inner victimizing seems to continue several years after bullying has ended, which has anti-bullying implications. In accordance with the pragmatistic view of knowledge and knowing, underlying the constructivist grounded theory approach (Charmaz 2006, 2014; Thornberg 2012), Thornberg et al. (2013) grounded theory of double victimizing is considered to be situated, fallible and provisional, and therefore embraces modifiability (Glaser 1998). New data may revise and elaborate the theory further.

구성주의 근거 이론의 품질: 체크리스트 및 가이드라인
Quality in constructivist grounded theory: checklists and guidelines

마지막으로 구성주의 근거 이론의 대학원생과 초심자가 작업을 수행하는 동안 체크리스트로 사용할 수 있는 가이드라인을 제시합니다. 이 목록은 엄밀한 연구를 대신하는 것이 아니라 리소스로 활용하시기 바랍니다. Barbour(2001)가 지적했듯이, 체크리스트를 사용하면 방법에 대한 깊은 몰입을 피하는 방법론적 버팀목이 될 위험이 있습니다. 우리는 연구자가 자신의 방법과 데이터에 깊이 관여할 것을 강력히 지지합니다.
We conclude by offering guidelines that graduate and postgraduate students and beginners in constructivist grounded theory can use as a checklist while conducting their work. Use the list as a resource, not as a substitute for rigorous research. As Barbour (2001) observes, using checklists risks becoming a methodological crutch that avoids deep engagement with the method. We strongly advocate that researchers gain a deep engagement with their method and data.

다양한 버전의 근거 이론 간의 유사점과 차이점을 구분할 수 있지만, 일반적인 가이드라인을 제공합니다. 동시에, 사용하기로 선택한 특정 버전의 근거 이론의 방법론적 담론에서 강조하는 엄격성, 신뢰성 및 품질 문제에 대해 자세히 알아볼 것을 권장합니다. 따라서 이러한 사항을 일반적으로 질적 연구를 수행하거나 특히 근거 이론 연구를 구성할 때 고려할 수 있는 유연한 지침으로 삼으시기 바랍니다.
Although we can discern similarities and differences between various versions of grounded theory, we offer a general set of guidelines. At the same time, we recommend you learn more about issues of rigor, credibility and quality emphasized in the methodological discourse of the specific version of grounded theory that you choose to use. So just take these points as flexible guidelines to consider when conducting qualitative inquiry in general or constructing a grounded theory study in particular.

  1. 방법론적 자의식을 갖기 위해 노력하세요(Charmaz 2017)
    1. 특정 주제, 방법론 및 방법을 선택한 이유는 무엇이며, 이것이 연구자의 정체성, 연구 목표 및 질문과 어떻게 부합하는가? 
    2. 어떤 버전의 근거 이론을 채택했으며 그 이유는 무엇인가요? 
    3. 존재론적 및 인식론적 가정은 무엇이며, 이러한 가정이 연구 과정, 연구자의 위치, 연구 결과 및 전이 가능성을 포함한 품질 문제에 어떤 의미가 있나요?
  1. Strive to achieve methodological self-consciousness (Charmaz 2017).
    1. Why have you chosen the specific topic, methodology and methods, and how do these fit with who you are and your research objectives and questions?
    2. What version of grounded theory have you adopted and why?
    3. What are the ontological and epistemological assumptions, and what do these mean for the research process, researcher position, findings, and quality issues, including transferability?
  2. 내러티브 탐구, 담화 분석, 근거 이론 등 어떤 질적 탐구 유형을 채택하든 가능한 한 모든 것을 알아보세요. 가능하다면 접근 방식에 대해 잘 알고 있는 멘토와 함께 작업하세요.
    Learn everything you can about the type of qualitative inquiry you adopt, whether it’s narrative inquiry, discourse analysis, or a version of grounded theory. If possible, work with a mentor who is knowledgeable about your approach.
  3. 해당 분야의 기존 문헌에 대해 개방적이고 비판적이며 분석적인 관점을 취하세요. 글레이저주의 근거 이론과는 달리, 스트라우시안 및 구성주의 근거 이론에 부합하는 문헌을 검토하여 연구에 대한 방어 가능한 근거를 확립하고, 바퀴를 재발명하지 않으며, 이론적 민감성을 높이는 것이 좋습니다. 문헌을 진리가 아닌 잠정적이고 오류가 있을 수 있는 것으로 취급하세요(자세한 내용은 Thornberg 2012, Thornberg and Dunne 2019 참조).
    Take an open, non-committal, critical, analytic view of the existing literature in the field. In contrast to Glaserian grounded theory but in line with Straussian and constructivist grounded theory, we recommend that you review the literature to establish a defensible rationale for the study, to avoid re-inventing the wheel, and to increase theoretical sensitivity. Treat the literature as provisional and fallible, not as the Truth (for further reading, see Thornberg 2012; Thornberg and Dunne 2019).
  4. 풍부한 데이터를 수집하세요. 심리학자에게 풍부한 데이터란 일반적으로 특정 경험을 했거나 현재 경험하고 있는 사람들의 이야기를 학습하고 수집하는 것을 의미합니다. 풍부한 데이터는 경험적 세계에 대한 개방성과 나와는 다른 사람들의 경험을 이해하려는 의지가 있음을 의미합니다.
    Gather rich data. For psychologists, rich data usually means learning and collecting the stories of people who have had or are having a specific experience. Rich data means an openness to the empirical world and a willingness to try to understand the experiences of people who may be far different from you.
  5. 투명성을 유지하세요. 연구를 수행한 방법, 샘플을 확보한 방법, 참여자를 포함시킨 방법과 이유, 근거 있는 이론과 데이터 수집 방법을 사용한 방법을 설명하세요. 선택의 정당성을 포함하세요.
    Be transparent. Describe how you conducted your study, obtained your sample and state how and why you have included the participants, and how you have used grounded theory and data collection methods. Include justifications of your choices.
  6. 데이터와 개발 중인 분석 사이를 오가며 후속 데이터 수집에 집중하고 새로운 분석 범주를 채우세요.
    Go back and forth between data and your developing analysis to focus your subsequent data collection and to fill out your emerging analytic categories.
  7. 경험적 세계에 친숙해지고 이를 이해하기 위한 분석적 핸들을 만들기 위해 고군분투하는 동안 모호함을 용인하세요.
    Tolerate ambiguity while you struggle to gain intimate familiarity with the empirical world and to create an analytic handle to understand it.
  8. 진행하면서 새로운 분석을 개발하는 데 도움이 되는 데이터에 대해 점진적으로 집중적인 질문을 하세요.
    As you proceed, ask progressively focused questions about the data that help you develop your emerging analysis.
  9. 데이터와 데이터에 대한 아이디어를 가지고 놀아보세요. 데이터에 대한 가능한 모든 이론적 설명을 찾아서 확인합니다.
    Play with your data and your ideas about it. Look for all possible theoretical explanations of the data and check them.
  10. (1) 유용한 비교를 하고, (2) 강력한 분석 범주를 만들고, (3) 독자들에게 범주의 중요성을 설득할 수 있도록 충분한 데이터를 수집하세요.
    Collect sufficient data to (a) make useful comparisons, (b) create robust analytic categories, and (c) convince readers of the significance of your categories.
  11. 카테고리에 대해 질문하세요: 카테고리의 속성은 무엇인가? 어떤 방식으로 하위 카테고리를 포함하나요? 주요 카테고리는 어떻게 연결되어 있나요? 어떻게 이론적 진술을 하는가? 이 진술의 의미는 무엇인가요?
    Ask questions about your categories: What are their properties? In which ways do they subsume minor categories? How are your main categories connected? How do they make a theoretical statement? What is the significance of this statement?
  12. 코드, 범주 및 이론적 개요는 항상 잠정적인 것으로 취급하고 새로운 데이터와 추가 분석에 비추어 수정하거나 거부할 수 있도록 열어 두세요.
    Always treat your codes, categories and theoretical outlines as provisional and open for revision and even rejection in the light of new data and further analysis.
  13. 분석을 완료한 후에는 이전 검토에서 다루지 않은 사례 연구 및 관점을 포함할 수 있는 문헌의 관련 자료와 비교하세요. 이때 검토는 자신이 개발한 아이디어에 중점을 두어야 합니다. 이 검토를 통해 여러분의 분석이 해당 분야의 선도적인 아이디어와 어떻게 부합하는지, 확장되는지, 또는 어떻게 도전하는지 보여줄 수 있는 기회를 얻을 수 있습니다.After you have completed your analysis, compare it with relevant material from the literature, which may well include case studies and perspectives that you did not address during your earlier review. At this time, your review will be focused on the ideas that you have developed. This review gives you the opportunity to show how your analysis fits, extends, or challenges leading ideas in your field.

ABSTRACT

This article introduces grounded theory and places this method in its historical context when 1960s quantitative researchers wielded harsh criticisms of qualitative research. The originators of grounded theory, sociologists Glaser and Strauss, sought to defend the quality of qualitative research and argued that grounded theory increased its quality by providing a method of theory construction. Our major foci include: (1) introducing the logic of grounded theory, with emphasis on how researchers can use it to construct theory, (2) detailing criteria for quality in the major forms of grounded theory advocated by Glaser and Strauss and augmented by Glaser, Strauss and Corbin and refined by Corbin, and Charmaz and (3) providing an analysis of how constructivist grounded theorists Thornberg, Halldin, Bolmsjö and Petersson attended to the interviewing process, coding, and developing their theoretical concept of double victimizing. Students and researchers new to the method can use our concluding guidelines as a checklist to assess the quality of their constructivist grounded theory research.

인공지능을 활용하여 어떻게 피드백이 위임을 나타나는지 탐색하기 (Med Educ, 2022)
Exploring how feedback reflects entrustment decisions using artificial intelligence
Brian C. Gin1 | Olle ten Cate2,3 | Patricia S. O'Sullivan3,4 | Karen E. Hauer3 | Christy Boscardin3,5

 

 

1 소개
1 INTRODUCTION

임상 책임의 발전은 수련의가 의료 역량을 개발하는 데 매우 중요합니다. 이러한 발전은 위임이라는 과정을 통해 이루어지며, 임상 감독자는 수련자에게 환자 진료에 대한 책임감을 부여함으로써 수련의의 성장을 유도합니다.1, 2 이상적으로는 감독자가 수련의의 역량 수준에 맞는 적절한 수준의 독립성을 부여하는 위임 결정을 내리는 것이 좋습니다.3 그러나 교육자들이 위임의 틀을 적용함에 따라, 위임 기반 평가가 교육 목표 달성을 위한 수련의의 지침을 어떻게 제공하는지에 대한 증거는 아직 명확하지 않습니다.4-7 위임을 부여하는 임상에서 수퍼바이저의 피드백은 수련의에게 더 높은 위임을 달성하는 방법에 대한 지침을 제공하고, 이는 다시 수련의의 학습 요구를 파악할 수 있게 합니다. 수퍼바이저의 위임 결정과 수련의의 학습 요구 사이의 이러한 상호작용은 아직 경험적으로 입증되지 않았습니다. 특히, 다양한 수준의 위임이 연수생에게 제공되는 피드백의 성격 및 품질과 어떤 관련이 있는지는 불분명합니다. 위임을 부여하는 만남에서 생성된 내러티브 피드백을 조사하면 내러티브 주제와 위임 등급 간의 연관성을 발견할 수 있습니다. 이러한 연관성은 위임 결정이 감독자의 연수생 지도에 어떤 영향을 미치는지에 대한 통찰력을 제공하여 위임 기반 평가의 개발과 유용성을 더욱 지원할 수 있습니다. 
Progressions in clinical responsibility are crucial for trainees to develop medical competence. These progressions are mediated by a process called entrustment, through which clinical supervisors guide trainees' growth by granting them increasing responsibility for patient care.1, 2 Ideally, supervisors make entrustment decisions that grant a trainee an appropriate degree of independence to match their level of competence.3 Yet, as educators apply the framework of entrustment, evidence of how entrustment-based assessment provides trainees' guidance for achieving educational goals remains less clear.4-7 Supervisors' feedback from entrustment-granting clinical encounters may provide trainees with guidance on how to achieve higher entrustment, which may, in turn, capture trainees' learning needs. This interaction between supervisors' entrustment decisions and trainees' learning needs has yet to be demonstrated empirically. Particularly, it is unclear how different levels of entrustment may relate to the nature and quality of feedback provided to trainees. Examining narrative feedback generated from entrustment-granting encounters may reveal associations between narrative themes and entrustment ratings. These associations may provide insight into how making entrustment decisions affects supervisors' guidance of trainees, to further support the development and utility of entrustment-based assessments.

위임 결정은 몇 가지 주요 요인에 의해 영향을 받기 때문에 수련생이 다양한 수준의 위임을 달성할 수 있는 방법에 대한 지침도 이러한 요인에 의해 형성될 것이라고 추론할 수 있습니다.8-10 선행 연구에서는 수련생과의 피드백 상호 작용의 맥락에서가 아니라 위임에 대한 감독자의 사고 과정에 대한 해석을 조사하여 이러한 요인을 탐색했습니다.11-13 위임을 결정하는 요인에는 과제의 복잡성과제가 완료될 임상적 맥락이 포함됩니다. 대인관계 요인에는 다음이 포함됩니다.9, 14 

  • 과제에 대한 수련자의 신뢰성(역량 및 경험 포함),
  • 수퍼바이저의 신뢰 성향(위험 허용 및 지원 제공 능력 포함),
  • 수련자와 수퍼바이저의 관계(서로에 대한 상호 신뢰 포함)

Because entrustment decisions are influenced by several key factors, it could be inferred that guidance for how trainees can achieve different levels of entrustment would also be shaped by those factors.8-10 Prior research explored these factors by examining supervisors' interpretations of their own thought processes around entrustment but not in the context of feedback interactions with trainees.11-13 Entrustment-determining factors include the complexity of the task and the clinical context in which the task is to be completed. Interpersonal factors include

  • the trustworthiness of the trainee for the task (including competence and experience),
  • the supervisor's tendency to trust (including tolerance of risk and ability provide support) and
  • the relationship between the trainee and supervisor (including their mutual trust in each other).914 

이러한 요인은 주로 수퍼바이저의 이전 위임 결정에 대한 회상 또는 향후 만남에 대한 예측을 사용하여 식별되었습니다.15, 16 최근의 한 연구에서는 수퍼바이저가 위임 결정을 내린 직후(또는 '임시')15, 17에 인터뷰를 실시하여 잠재적인 회상 편향을 완화했지만,11 인터뷰 중 수퍼바이저의 자기보고가 연수생 이해관계자에 대한 책임을 반드시 반영하지 않을 수 있기 때문에 왜곡 가능성이 여전히 남아있을 수 있습니다. 대인관계 요인은 위임을 탐색하는 데 있어 감독자와 연수생 간의 의사소통의 중요성을 강조하며, 이는 Telio 등의 '교육 동맹' 연구에도 반영되어 있습니다.12, 13 피드백은 이러한 의사소통의 한 형태입니다. 피드백 상호작용은 수퍼바이저가 연수생의 신뢰도와 역량을 판단하는 방법뿐만 아니라 각 위임 등급에서 연수생의 교육적 요구를 해결하기 위해 이러한 판단을 해석하는 방법도 반영할 수 있습니다. 
These factors were largely identified using supervisors' recall of prior entrustment decisions or projections of how they would approach future encounters.15, 16 While a recent study mitigated potential recall bias, by performing interviews with supervisors shortly after in-the-moment (or ‘ad-hoc’)15, 17 entrustment decisions,11 a potential for distortion may still remain, because supervisor self-reports during interviews may not necessarily reflect their accountability to trainee stakeholders. The interpersonal factors highlight the importance of communication between supervisor and trainee in navigating entrustment, as is also reflected in Telio et al.'s work on the ‘educational alliance’.12, 13 Feedback represents one such form of communication. Feedback interactions may reflect not only how the supervisors judge trainees' trustworthiness and competence but also how they translate these judgements to address trainees' educational needs at each entrustment rating.

여러 연구에서 위임 평가가 피드백에 어떻게 반영될 수 있는지 조사했습니다. Dolan 등은 평가에 위임 언어를 포함하면 감독자가 더 낮은 점수를 선택하려는 의지가 증가하고 더 자세한 설명으로 이를 정당화할 수 있다는 사실을 발견했습니다.18 Dudek 등은 질적 연구에서 피드백의 위임 앵커피드백 품질 개선 간에 유사한 연관성을 발견했습니다.5 위임은 학습자의 과제별 및 일반적인 자질 모두에 영향을 받습니다.15 위임을 결정하는 일반적인 요인을 피드백에서 어떻게 도출할 수 있는지, 피드백 내용이 관련 위임 등급에 따라 어떻게 변하는지에 대해서는 알려진 바가 많지 않습니다. 이 흥미로운 질문에도 불구하고 내러티브 피드백 데이터를 질적으로 분석하여 학습자가 감독자 사이에서 자신의 과제 수행에 대한 신뢰를 높이는 데 필요한 요소를 이해하는 데 도움이 될 수 있는 요인을 추출하려면 많은 자원과 인적 노력이 필요할 것입니다.19 

Several studies have examined how entrustment can be captured in feedback. Dolan et al. found that including entrustment language in an assessment increased supervisors' willingness to choose lower scores and also to justify them with more written detail.18 Dudek et al. found a similar connection between entrustment anchors in feedback and improved feedback quality in a qualitative study.5 Entrustment is affected by both task-specific and general qualities of the learner.15 Not much is known about how general factors determining entrustment can be derived from feedback and how feedback content varies with associated entrustment ratings. Despite this intriguing question, it would require extensive resource and human effort to analyse narrative feedback data qualitatively to extract factors that might guide learners in understanding what it takes to enhance trust in their task execution among supervisors.19

이 연구에서는 임상실습 시기의 의대생과 임상 감독자가 함께 작성한 즉석 평가에 기록된 임시 위임 결정과 관련된 요인을 조사하고자 했습니다. 이 평가는 핵심 임상실습 기간 동안 위임을 부여하는 만남에서 생성된 피드백 내러티브의 대규모(약 3300건 관찰) 데이터 세트와 후향적 위임-감독(ES) 수준(학생이 임상 과제를 완료하는 데 필요한 감독 정도를 나타내는 수치 평가)을 생성했습니다. 설명 가능한 자연어 처리(NLP) 방법론을 개발 및 활용하여 이 내러티브를 통해 ES 수준을 예측하고, 그 예측에 사용된 주제에 대한 결과를 검토하여 감독된 임상 만남 및 관련 피드백 상호 작용 내에서 위임 요인이 어떻게 작동하는지에 대한 경험적 증거를 얻습니다. 특히 역량 기반 의학교육(CBME)을 시행하는 기관에서 유사한 데이터 세트를 생성하는 의료 커뮤니티의 다른 사람들이 위임을 탐색할 수 있도록 방법론을 자세히 설명합니다. 
In this study, we sought to investigate factors associated with ad hoc entrustment decisions as documented by in-the-moment assessments completed together by clerkship-year medical students and their clinical supervisors. Generated from entrustment-granting encounters during the core clerkships, this assessment yielded a large (~3300 observation) dataset of feedback narratives paired with retrospective entrustment-supervision (ES) levels—a numeric rating indicating how much supervision a student required to complete a clinic task. We develop and employ an explainable natural language processing (NLP) methodology to predict ES levels from this narrative and examine results for themes NLP used to make that prediction—yielding empirical evidence for how entrustment factors operate within supervised clinical encounters and their associated feedback interactions. We detail our methodologies so that others in the medical community, particularly in institutions implementing competency-based medical education (CBME), generating similar datasets can explore entrustment.

2 방법론
2 METHODS

NLP 접근 방식 개요
Overview of NLP approach

최근 인공지능(AI) 및 NLP의 발전은 대규모 내러티브 데이터 세트 분석의 한계를 극복하기 위해 적용되었습니다.20-24 NLP는 언어학, 의미론 및 AI의 한 분야로 기계 학습(ML) 알고리즘을 활용하여 언어의 의미 패턴을 인식하며 이러한 패턴은 단어, 구문, 문장, 문단 수준에서 인식할 수 있습니다.22 문장 및 단락 수준에서 NLP는 정성적 코딩에서 생성된 것과 유사한 주제를 인식하는 데 사용할 수 있으며, 기존의 정성적 분석으로는 접근하기 어려운 대규모 내러티브 데이터 세트에 적용할 수 있다는 추가적인 이점이 있습니다.25 
Recent developments in artificial intelligence (AI) and NLP have been applied to overcome limitations in analysing large narrative datasets.20-24 NLP is a branch of linguistics, semantics and AI that harnesses machine learning (ML) algorithms to recognise semantic patterns in language; these patterns can be recognised at the level of the word, syntax, sentence, paragraph and beyond.22 At the sentence and paragraph level, NLP can be used to recognise themes similar to those generated by qualitative coding—with the added advantage of application to large narrative datasets frequently inaccessible to traditional qualitative analysis.25

스탈 등은 NLP를 활용하여 다양한 위임 수준과 관련된 내러티브를 모델링했습니다.26 이들의 방법은 위임 수준별로 내러티브를 그룹화하고 각 수준에서 높은 빈도로 발견되는 키워드를 식별했습니다. 이러한 키워드는 다양한 수준의 위임과 관련된 기술에 대한 인사이트를 제공했지만 명확하게 정의할 수 있는 질적 주제나 요인을 나타내는 데는 부족했습니다. 최근 외틀레쉬(Ötleş) 등27은 NLP 알고리즘의 예측 능력을 입증하기 위해 사람이 품질을 코딩한 피드백 댓글의 하위 집합을 학습시킨 후 내러티브 피드백의 품질을 인식하도록 NLP 알고리즘을 훈련시켰습니다. 스탈 등은 더 발전된 NLP 기술을 사용하는 향후 연구에서는 위임과 관련된 주제를 자동으로 식별하고 이를 사용하여 내러티브 데이터에서 위임 수준을 예측할 수 있을 것으로 예상했습니다. 
Stahl et al. utilised NLP to model narratives associated with different entrustment levels.26 Their method grouped narratives by entrustment level and identified keywords found with high frequency at each level. These keywords gave insight into the skills relevant to different levels of entrustment but stopped short of representing clearly definable qualitative themes or factors. Demonstrating predictive capabilities of NLP algorithms, Ötleş et al.27 recently trained an NLP algorithm to recognise the quality of narrative feedback after training it on a subset of feedback comments coded by humans for their quality. Stahl et al. projected that future studies using more advanced NLP techniques would automatically be able to identify themes related to entrustment and use these to predict entrustment levels from narrative data.

내러티브 피드백을 통해 위임 등급을 예측하도록 NLP 알고리즘을 훈련시킬 수는 있지만, 알고리즘이 어떤 테마를 인식하여 예측을 했는지 이해할 수 없다면 이는 제한적으로 사용될 것입니다. 이러한 '설명 가능성'의 부족은 AI 애플리케이션에 대한 주요 비판 중 하나입니다. AI가 복잡한 작업에서 인간의 인지를 모방하는 데는 성공했지만, 그 작동 방식을 이해할 수 있는 간단한 방법이 없는 경우가 많기 때문입니다. 마찬가지로, 설명가능성의 부족은 피드백 품질에 대한 외틀쉬의 작업에도 영향을 미칩니다. NLP 알고리즘이 품질을 할당하기 위해 어떤 내러티브 특징을 인식했는지 불분명하기 때문입니다. AI 시스템이 패턴을 인식하고 의사 결정을 내리는 방식에 대한 인사이트를 얻는 것은 새롭게 떠오르는 설명 가능한 AI 분야의 주제입니다.28 NLP의 관점에서 설명 가능성을 향한 첫 번째 단계는 알고리즘이 텍스트를 기반으로 예측, 분류 또는 의사 결정을 내리기 위해 인식하는 의미론적 주제가 무엇인지 이해하는 것입니다. 
While NLP algorithms could be trained to predict entrustment ratings from narrative feedback, this would be of limited use if we could not understand what themes the algorithm recognised to make predictions. This lack of ‘explainability’ is one of the key criticisms of AI applications—although AI has succeeded in mimicking human cognition on complex tasks, there is often no straightforward way to understand how it works. Similarly, a lack of explainability affects Ötleş's work on feedback quality—it is unclear what narrative features their NLP algorithm recognised to assign quality. Gaining insight into how AI systems recognise patterns and make decisions is the subject of the emerging field of explainable AI.28 From the perspective of NLP, a first step towards explainability is understanding what semantic themes an algorithm recognises to make predictions, classifications or decisions based on text.

저희는 각 피드백 내러티브에 할당된 ES 수준과 짝을 이루는 데이터 세트를 사용했으며, 이는 의대생들이 직접 관찰한 임상 사례 중 빈도가 낮고 빈도가 높은 상황에서 생성되었습니다.29 먼저 각 피드백 내러티브에 ES 수준과 관련된 단어 또는 문구가 포함되어 있는지 여부를 조사했습니다. 이를 위해 (복잡한 인지를 가장 잘 모방할 수 있는 것으로 여겨지는 기계 언어 방법론인) 심층 신경망(DNN)을 사용했습니다. 지도* ML 접근 방식에서는, 감독자가 지정한 ES 수준이 '골드 스탠다드'(즉, 특정 내러티브와 관련된 실제 ES 수준)를 나타낸다고 가정하고, 피드백 내러티브로부터 ES 수준을 예측하도록 DNN을 훈련시켰습니다. DNN은 복잡한 작업을 수행할 수 있지만, 전통적으로 설명이 가장 어려운 AI 방법 중 하나로 여겨져 왔습니다.31, 32 우리는 훈련된 DNN을 심문interrogate하는 새로운 방법을 개발하여, DNN이 다양한 ES 레벨을 할당하도록 유도하는 특정 단어와 구문('특징features'이라고 함)을 식별함으로써 감독자의 ES 레벨 할당과 관련된 요소를 밝혀냄으로써 이 과제에 접근했습니다. 

We used a dataset of feedback narratives each paired with an assigned ES level, generated during low-stakes, high frequency directly observed clinical encounters of clerkship-year medical students.29 We first examined whether each feedback narrative contained words or phrases associated with its ES level. To do this, we employed a deep neural network (DNN)—a machine language methodology that has been viewed as the most capable of mimicking complex cognition. In a supervised* ML approach, we trained the DNN to predict ES levels from feedback narratives, assuming that the ES level assigned by the supervisors represented the ‘gold standard’ (i.e. the true ES level associated with any given narrative). While capable of complex tasks, DNNs have traditionally been seen as one of the least explainable AI methods.31, 32 We approached this challenge by developing a new method to interrogate trained DNNs, identifying specific words and phrases (termed ‘features’) that triggered the DNN's assignment of different ES levels, thus revealing the factors associated with supervisors' ES level assignment.

데이터, 참가자 및 환경
Data, participants and setting

데이터는 216명의 고유(비식별화된) 의대생에 대한 3328개의 개별 평가로 구성되었으며, 1455명의 고유(비식별화된) 임상 감독자(교수진 및 레지던트)가 관찰했습니다. 각 평가는 관찰된 단일 임상 상황에서 생성되었으며, 과제 유형, 개방형 프롬프트에 의해 생성된 피드백 서술, 과제에 대해 얼마나 많은 감독이 제공되었는지를 후향적으로 표시하기 위해 1에서 4까지의 ES 수준(수정된 O-SCORE 척도 기준)으로 구성되었습니다(상자 1).33 이러한 평가는 감독자와 의대생이 공동으로 작성하고 온라인 설문지에 감독자 또는 의대생이 입력했습니다(이 경우 학생에게 피드백을 요약하여 제출할 기회가 주어졌으며 감독자의 승인을 받아야 했습니다). 학생들은 일주일에 2번의 평가를 수집해야 했습니다(따라서 데이터는 연구 기간 동안 핵심 임상 실습을 순환한 모든 의대생을 대표합니다). 데이터는 2020년 1월부터 7월까지 미국의 4년제 학사 학위 취득 후 의과대학에서 수집되었으며, 하나의 주State에 여러 임상실습 사이트가 있습니다. 이 데이터 세트에 포함된 클리닉은 마취과, 가정의학과, 내과(3년차 클리닉 및 4년차 인턴십), 신경과, 산부인과, 소아과, 정신과 및 외과였습니다. 관찰된 임상 과제는 의사소통, 구두 발표, 병력, 신체 검사, 메모 작성 및 기타(분류되지 않음)의 6가지 유형으로 나뉘었습니다. 감독자와 학생은 무작위로 할당된 숫자 자리 표시자를 사용하여 비식별화되었습니다. 기관 심의 위원회는 연구 프로토콜을 승인했습니다(연구 ID 20-32 478). 
The data consisted of 3328 individual assessments of 216 unique (de-identified) medical students, observed by 1455 unique (de-identified) clinical supervisors (faculty and residents). Each assessment was generated from a single observed clinical encounter and consisted of type of task, a feedback narrative generated by an open-ended prompt and an assigned ES level (based on the Modified O-SCORE scale) ranging from 1 to 4 (Box 1) to indicate retrospectively how much supervision was provided for the task.33 These assessments were completed collaboratively by the supervisor and medical student and were entered into an online questionnaire by either the supervisor or medical student (in which case the student was given the opportunity to summarise and submit the feedback with supervisor approval). Students were required to collect 2 assessments per week (thus, the data represent all medical students who rotated through their core clinical clerkships during the study period). The data were collected from January to July 2020 at a 4-year post baccalaureate medical school in the United States with multiple sites in a single state. The clerkships included in this dataset were anesthesiology, family and community medicine, internal medicine (3rd-year clerkship and 4th-year acting internship), neurology, obstetrics/gynaecology, paediatrics, psychiatry and surgery. Clinical tasks observed were divided into six types: communication, oral presentation, history, physical exam, note taking and other (uncategorized). Supervisors and students were de-identified using randomly assigned numerical placeholders. Our Institutional Review Board approved the study protocol (study ID 20-32 478).

주제 정의-전문가 지원 축 코딩
Defining themes—Expert-assisted axial coding

DNN은 다른 정성적 분석과 마찬가지로 주제를 암시하는 features에 따라 내러티브 데이터를 클러스터링할 수 있지만, 콘텐츠 전문 지식을 통해 이러한 테마의 해석 가능성이 향상됩니다. DNN은 텍스트 데이터를 단어, 단어 패턴, 구문 등 특정 features에 의해 우선적으로 활성화되는 상호 연결된 인공 뉴런의 집합으로 모델링합니다. 따라서 우리는 내러티브 데이터 클러스터 내에서 DNN이 식별한 각 features이 무엇을 나타내는지에 대한 합의를 도출하고 의학 교육자에게 의미 있는 방식으로 각 특징을 정의하기 위해 인간 전문가 패널을 고용했습니다. 이 과정은 질적 분석의 축 코딩 및 주제 분석과 유사합니다.34 이 그룹은 제1저자(BG)와 보건 전문직 교육 위임에 초점을 맞춘 이전 연구 경험이 있는 세 명의 학자(OtC, PO'S 및 CB)로 구성되었습니다. 구성원들은 훈련된 DNN이 식별한 features(아래 설명 참조)을 기반으로 독립적으로 주제를 정의하고 각 주제에 대한 합의된 정의에 공동으로 도달했습니다. 
While DNNs can cluster narrative data by features suggestive of themes, as in other qualitative analysis, the interpretability of these themes is enhanced with content expertise. DNNs model textual data as a set of interconnected artificial neurons activated preferentially by specific features: words, patterns of words and phrases. As such, we employed a panel of human experts to reach consensus as to what each of the DNN's identified features represented within the cluster of narrative data and to define each in a way that is meaningful to medical educators. This process is similar to axial coding and thematic analysis in qualitative analysis.34 This group was composed of first author (BG) and three scholars with prior work focused on entrustment in health professions education (OtC, PO'S and CB). Members independently defined themes based on features identified by the trained DNN's (as described below) and collaboratively reached consensus definitions of each theme.

NLP 구현
NLP implementation

내러티브 데이터에서 ES 수준을 예측하기 위한 머신러닝 알고리즘은 텐서플로우 2.3에서 스택형 장단기 메모리(LSTM) 아키텍처30를 사용하는 DNN으로 구현되었습니다(기술적 세부 사항은 부록 S1 참조). LSTM은 언어의 단어 시퀀스와 계층 구조를 인식하는 능력으로 NLP 애플리케이션에서 사용되는 인공 뉴런의 일종입니다.36, 37 입력 텍스트를 인코딩하기 위해 GloVe 사전 학습된 단어 임베딩38을 사용한 다음 두 개의 양방향 LSTM 레이어4방향 다중 클래스 분류를 수행하는 최종 예측 레이어를 사용했습니다.

  • 원본 데이터 세트의 30%를 차지하는 무작위로 추출된 하위 집합에서 생성된 훈련 세트(각 평가에 대해 피드백 내러티브와 ES 수준을 모두 사용할 수 있는)를 사용하여 여러 번의 반복(또는 NLP 용어로 '에포크')으로 DNN을 훈련시켰습니다.
  • 그런 다음 원본 데이터 세트의 나머지 70%를 나타내는 검증 세트(알고리즘에 피드백 내러티브만 제공되고 할당된 ES 레벨은 보류됨)에 훈련된 DNN을 적용했습니다.

그런 다음 검증 세트에서 예측된 ES 레벨과 보류된 ES 레벨을 비교하여 수신자 운영 특성(ROC) 곡선을 만들고 곡선 아래 면적(AUC)을 계산하여 각 ES 레벨을 예측하는 DNN의 능력을 표시했습니다(AUC가 1이면 완벽한 예측 능력을, 0.5이면 그러한 능력이 없음을 나타냄). ES 수준과 내러티브 특징 간의 연관성을 기대할 수 없는(그리고 AUC가 0.5에 가까워야 하는) 무작위로 할당된 ES 수준의 피드백 내러티브를 사용하여 DNN을 훈련시킨 대조 실험에서 이러한 단계를 반복했습니다.  

Our ML algorithm for predicting ES levels from narrative data was implemented as a DNN employing a stacked long short-term memory (LSTM) architecture30 in TensorFlow35 2.3 (see Appendix S1 for technical details). LSTMs are a type of artificial neuron that have been used in NLP applications for their ability to recognise sequences of words and hierarchical structures in language.36, 37 We used the GloVe pretrained word embeddings38 to encode the input text, followed by two bidirectional LSTM layers, and a final prediction layer that performed 4-way multiclass classification. We trained the DNN in multiple iterations (or ‘epochs’ in NLP terminology) using a training set (where both the feedback narrative and ES level were available for each evaluation) created from a randomly drawn subset representing 30% of our original dataset. We then applied the trained DNN to a validation set (where only the feedback narrative was available to the algorithm, and the assigned ES levels were withheld), which represented the remaining 70% of the original dataset. We then compared the predicted ES levels from the validation set to the withheld ES levels, constructing receiver operating characteristic (ROC) curves and calculating the area under the curve (AUC) to indicate the DNN's ability to predict each ES level (an AUC of 1 represents perfect predictive ability; 0.5 represents no such ability). We repeated these steps in a control experiment in which the DNN had been trained using feedback narratives with randomly assigned ES levels, where no association between ES levels and narrative features should be expected (and the AUC should approach 0.5).

DNN의 예측 능력이 확립된 다음에는 어떤 features(예: 특정 단어 또는 단어 패턴)이 위임 수준과 관련이 있는 것으로 '학습'되는지 파악하는 것이 주요 목표였습니다. 이를 위해서는 훈련된 DNN의 중간 계층 내에 있는 인공 뉴런(상자 2 참조)을 조사해야 했습니다. 훈련 후 이러한 인공 뉴런은 특정 내러티브 features에 민감하게 반응합니다. 마지막 중간 레이어(부록 S1의 레이어 4)에서 훈련된 DNN을 잘라내어 이러한 features을 추출하여 개별 인공 뉴런의 출력(즉, 활성화)을 주어진 내러티브에 대한 반응으로 평가할 수 있도록 했습니다. 이러한 활성화를 다차원 벡터 공간으로 표현하고 주성분 분석(PCA)을 사용하여 차원을 줄였습니다.39 처음 세 개의 주성분은 데이터 세트의 분산 중 90% 이상을 설명했습니다(부록 S1의 그림 A2). 세 가지 주성분 각각과 가장 강한 상관관계가 있는 내러티브와 약한 상관관계가 있는 내러티브(즉, 가장 긍정적인 내적 곱과 가장 부정적인 내적 곱이 있는 내러티브)를 식별하여 총 6개의 내러티브 세트를 도출한 다음, 위에서 설명한 전문가 패널을 통해 코딩했습니다. 또한, 각 내러티브 세트에 단어가 각 주성분의 해당 인공 뉴런을 얼마나 강하게 활성화했는지를 반영하는 워드 클라우드로 각 내러티브 세트를 보강했습니다(부록 S2의 그림 B3). 이 절차는 부록 S2에서 더 자세히 설명합니다. 
With the predictive ability of our DNN established, we turned to the primary goal of the determining which features (i.e. specific words or patterns of words) it ‘learned’ as being related to entrustment levels. This required us to examine the artificial neurons (see Box 2) within the intermediate layers of the trained DNN. After training, these artificial neurons develop sensitivities to specific narrative features. We extracted these features by truncating our trained DNN after the last intermediate layer (Layer 4 in Appendix S1), so that the outputs (i.e. activations) of individual artificial neurons could be assessed in response to any given narrative. We represented these activations in a multidimensional vector space and used principal component analysis (PCA) to reduce its dimensionality.39 The first three principal components explained >90% of the variance in our dataset (Figure A2 of Appendix S1). We identified the narratives most strongly and weakly correlated with each of the three principal components (i.e. narratives that had the most positive and most negative inner products), yielding six total sets of narratives that we then coded via the expert panel described above. Additionally, we augmented each narrative set with a word cloud reflecting how strongly the words activated each principal component's corresponding artificial neurons (Figure B3 of Appendix S2). We describe this procedure in more detail in Appendix S2.

medu14696-sup-0001-supporting_information_proof-revision.docx
0.37MB

3 결과
3 RESULTS

평가 데이터 세트 특성
Assessment dataset characteristics

비식별처리된 평가 데이터의 출처는 표 1에 전문 분야 및 과제 유형과 함께 요약되어 있습니다. '기타' 범주로 표시된 대부분의 작업은 봉합, 정맥로 확보, 삽관 및 배액관 제거와 같은 절차적 술기였습니다. 전반적으로 높은 ES 레벨이 우세했으며, 가장 낮은 ES 레벨인 1을 받은 평가는 70개에 불과했습니다. 

The de-identified sources of assessment data are summarised in Table 1 with specialty and task type. Most tasks represented by the ‘other’ category were procedural skills such as suturing, i.v. placement, intubation and drain removal. We found a predominance of higher ES levels overall, and just 70 assessments received the lowest ES level of 1.

ES 수준과 관련된 주제 식별
Identification of themes related to ES levels

표 2는 알고리즘에 의해 식별된(그리고 전문가 패널에 의해 코딩된) 내러티브의 특징과 해당 특징을 구성하는 내러티브에 대한 관련 ES 수준을 보여줍니다. 표 2에 따르면 내러티브는 각각 고유한 특징과 연관된 네 가지 범주의 ES 수준에 따라 그룹화할 수 있습니다: 
Table 2 shows the narrative features identified by the algorithm (and coded by the expert panel) and the associated ES level for the narratives making up that feature. Table 2 reveals that narratives could be grouped according to four categories of ES levels, each associated with distinct features:

1. 가장 높은 ES 수준과 연관된 내러티브는 높은 위임 평가에 대한 정당성으로 교육생의 특정 행동과 특성을 언급하는 상세한 강화 피드백을 나타냅니다(평균 ES = 3.83 [SD 0.67]). 
1. Narratives associated with the highest ES levels represented
 detailed reinforcing feedback that cited specific trainee behaviours and characteristics as justification for the high entrustment ratings (average ES = 3.83 [SD 0.67]).

문서/SOAP 메모를 시작할 때 한 줄로 시작하는 탁월한 사용. 환자 우려 사항과 관련된 철저한 HPI. 노트에서 평가와 계획을 분리하고, 평가에서 관련 세부 사항에 초점을 맞춥니다. 
Outstanding use of a one-liner to start the documentation/SOAP note. Thorough HPI relevant to patient concerns. Separate assessment from plan in the note, and focus on pertinent details in the assessment …


2. 다음으로 높은 ES 수준과 관련된 서술은 세부적인 일반적 칭찬(3.40 [0.65])과 임상적 추론에 대한 상세한 건설적 피드백(3.32 [0.55])을 모두 나타냈습니다. 
2. Narratives associated with the next highest set of ES levels represented both low detail generic praise (3.40 [0.65]) and detailed constructive feedback on clinical reasoning (3.32 [0.55]).

병력을 작성하는 동안 이러한 증상에 대한 감별 진단을 염두에 두고 체계적으로 더 질문하고 싶은 핵심 증상 한두 가지를 생각해 보세요. 
During the history taking think about what your differential is and the one or two key symptoms you would like to ask more questions about in a systematic way, keeping in mind your differentials for these symptoms.
전반적으로 잘했습니다. 
Good job overall.

3. ES 수준이 낮을수록 디테일이 적은 강화 피드백(2.86 [0.63])과 수술 및 검사 기술에 대한 건설적인 피드백(2.85 [0.84])이 모두 낮게 나타났습니다. 
3. Narratives associated with lower ES levels represented both low detail reinforcing feedback (2.86 [0.63]) and constructive feedback on surgical and exam skills (2.85 [0.84]).

바늘을 피부와 수직으로 움직이고 피부 가장자리를 일직선으로 만들기 위해 얼마나 많이 물어야 하는지 생각해야 합니다. 
Make sure to drive the needle perpendicular to the skin and think about how much of bite you need to take to make the skin edge line up.
구두 발표가 우수합니다. 
Excellent oral presentation.

4. 가장 낮은 ES 수준과 관련된 서술은 향후 수행을 위한 구체적인 지침을 제공하는 모든 유형의 술기에 대한 상세하고 건설적인 피드백을 나타냈습니다(2.57 [0.61]). 
4. Narratives associated with the lowest ES levels represented detailed constructive feedback on all types of skills that provided specific instructions for future performance (2.57 [0.61]).

몇 가지 다른 팁 시간순으로 살펴보기: 증상이나 기타 데이터를 얻을 때마다 해당 증상이 나타난 시간대를 파악하세요. 지리적/직업적/관계 마커를 사용해 시간대를 구분하세요. 기분 에피소드나 입원의 경우, 주요 증상을 파악하고 싶을 때 ... 
A few other tips: Make sure you go chronologically: whenever you get symptoms or other data, ensure that you know the time frame in which they are present. Block out epochs of time with geographic/occupational/relationship markers. For mood episodes or hospitalizations, you want to get primary symptoms …
 

강화로 분류된 내러티브만 고려했을 때, 구체적인 강화 피드백일반적인 칭찬이나 비특이적 강화 피드백보다 평균 ES 수준이 더 높았으며, 각각 평균 3.83, 3.40, 2.86이었습니다(모든 쌍별 비교에서 p <0.001). 
Considering only narratives classified as reinforcing, specific reinforcing feedback had a higher average ES level than generic praise or nonspecific reinforcing feedback, with means 3.83, 3.40, and 2.86, respectively, (p < 0.001 for all pairwise comparisons).

이러한 결과는 알고리즘이 위임 수준과 관련된 다음과 같은 피드백의 특징을 인식하고 있음을 시사합니다. 

  • (i) 피드백의 세부 수준,
  • (ii) 피드백이 건설적인지 강화적인지 여부,
  • (iii) 피드백이 절차적 기술인지 인지적 기술인지 또는 과제를 반영하는지 여부와 같은 

These findings suggest that the algorithm recognised the following feedback features associated with levels of entrustment:

  • (i) the level of detail of the feedback,
  • (ii) whether the feedback was constructive versus reinforcing and
  • (iii) whether the feedback reflected procedural versus cognitive skills or tasks.

피드백 내러티브를 통한 ES 수준 예측
Prediction of ES levels from feedback narratives

감독된 NLP 알고리즘은 ES 레벨 2~4(높은 수준의 위임, 낮은 수준의 감독)에 대해 중간 정도의 변별력(AUC 0.6~0.7)을 보여주었습니다.40, 41 알고리즘은 이 ES 점수가 할당된 평가의 수가 적기 때문에 가장 낮은 ES 레벨 1(AUC 0.5)을 변별하지 못했습니다. 이러한 결과는 부록 S1의 그림 A1에 각 ES 레벨에 대한 ROC 곡선과 AUC를 보여줍니다. 오른쪽 삽입물은 알고리즘이 예상한 결과를 제공하는지 확인하기 위해 각 내러티브의 ES 수준을 무작위로 지정한 대조 실험(섹션 2 참조)의 결과를 보여줍니다(AUC 0.5는 무작위로 할당된 ES 수준으로 훈련했을 때 알고리즘이 내러티브를 변별할 수 없음을 나타냄). 
The supervised NLP algorithm demonstrated low-to-moderate discrimination ability (AUC 0.6–0.7) for ES Levels 2 through 4 (higher levels of entrustment, lower levels of supervision).40, 41 The algorithm was unable to discriminate the lowest ES level 1 (AUC 0.5) due to the small number (70) of evaluations assigned this ES score. These findings are depicted in Figure A1 of Appendix S1 showing the ROC curves and AUCs for each ES level. The right inset shows the results of the control experiment (see Section 2) where we randomised the ES level of each narrative to verify that the algorithm gave the expected result (an AUC of 0.5 indicating the algorithm's inability to discriminate narratives when trained with randomly assigned ES levels).

4 토론
4 DISCUSSION

우리는 NLP를 사용하여 위임 결정과 피드백이 교육생에게 특정 학습 목표를 달성하는 데 필요한 세부 정보를 제공할 수 있는 방식으로 상호 작용한다는 사실을 발견했습니다. 감독자들은 특정 목표 설정, 즉 높은 수준의 위임을 획득(또는 유지)하고 위임을 획득(또는 유지)하는 방법에 대한 자세한 지침을 제공하는 피드백 프로세스에서 무의식적으로 위임 프레임워크를 사용하는 것으로 보였습니다. 최근 사례 연구에서 슈퍼바이저가 서로 다른 역량 수준의 연수생에게 접근하는 일관성에 의문이 제기되었지만,4 NLP를 통해 더 큰 데이터 세트를 조사하여 ES 수준과 연수생 지도 사이의 두드러진 경향을 밝혀냈습니다. 즉, 위임 척도의 높은 끝과 낮은 끝 모두에서 지침의 세부 수준과 구체성이 증가한다는 점에서, 위임이 슈퍼바이저의 연수생 지도에 영향을 준다는 것을 알 수 있었습니다. 또한 내러티브 평가 데이터의 신뢰성이 이전에 입증된 점을 고려할 때 내러티브의 위임 등급을 예측하는 NLP 알고리즘의 능력은 예상치 못한 것이 아니었습니다.42 알고리즘에 대한 심층 분석을 통해 위임과 특별히 연관된 특징이 밝혀졌습니다. 이러한 특징들을 위임 모델(수련생, 수퍼바이저, 상황, 업무 및 관계) 내에서 구성하여 수퍼바이저가 위임 수준을 할당할 때 고려하는 요소를 제시했습니다.8, 43 한 가지 요소(관계)를 제외한 모든 요소가 데이터에 직접적으로 반영된 것으로 나타났습니다.  
We found by using NLP that entrustment decisions and feedback interacted in a way that could provide trainees with details necessary to achieve specific learning goals. Supervisors appeared to employ, perhaps subconsciously, the entrustment framework in the feedback processes guiding specific goal-setting—i.e. earning (or maintaining) a high level of entrustment—and providing detailed instruction on how to earn (or maintain) that entrustment. While a recent case study cast doubt on the consistency with which supervisors approach trainees at different competency levels,4 NLP allowed us to examine a larger dataset to reveal a prominent trend between ES levels and trainee guidance: the level of detail and specificity of instruction increased at both high and low ends of the entrustment scale, suggesting that entrustment does affect supervisors' guidance of trainees. Further, the ability of the NLP algorithm to predict entrustment ratings of narratives was not unexpected given the previously demonstrated reliability of narrative assessment data.42 Deeper analysis of the algorithm revealed the features specifically associated with entrustment. We framed these features within an entrustment model (trainee, supervisor, context, task and relationship) suggesting factors supervisors considered when assigning entrustment levels.8, 43 All but one factor (relationship) appeared to be directly reflected in our data.

연수생
Trainee

수퍼바이저의 성찰에서 도출된 수련의 요인의 개념화(신뢰성과 관련된 수련의 자질에 초점을 맞춘)와 비교했을 때,15 여기서 확인된 주제는 수련의가 임상 업무를 수행하는 방법의 실용성에 초점을 맞추는 경향이 있었습니다. 실제로 ES 수준이 가장 높거나 낮은 것과 관련된 내러티브는 과제를 어떻게 유능하게 수행했거나 수행했어야 하는지에 대한 구체적인 세부 사항에 집중하는 것으로 나타났습니다. 위임의 사용은 이러한 세부 사항을 불러일으키는 데 도움이 되었을 수 있습니다. 교육생에 대한 감독자의 긍정적인 감정(칭찬 및 강화 진술에 반영됨)은 유능한 교육생의 성과에 대한 구체적인 증거를 인용하는 것보다 덜 중요한 것으로 보였으며, [일반적인 칭찬]이나 [비특이적 강화 피드백]보다 [구체적인 성과에 대한 강화 피드백]이 평균 ES 수준이 더 높았습니다. 
Compared with conceptualizations of the trainee factor derived from supervisor reflections (that focused on trainee qualities associated with trustworthiness),15 the themes identified here tended to focus on the practicalities of how trainees perform clinical tasks. Indeed, the narratives associated with the highest and lowest ES levels appeared to centre on the specific details of how a task was, or should have been, performed competently. The use of entrustment may have helped to engender these details. Supervisors' positive sentiments about trainees (reflected by praise and reinforcing statements) appeared to be less important than their citing specific evidence of competent trainee performance—specific reinforcing feedback had a higher average ES level than generic praise or nonspecific reinforcing feedback.

감독자들이 과제별 증거에 집중하는 것은 효과적인 피드백은 학생의 특성보다는 학생의 성과와 관련되어야 한다는 Gibbs 등의 명제를 반영합니다.44 낮은 ES 수준을 할당할 때, 감독자들은 더 높은 수준의 위임을 받기 위해 연수생이 앞으로 수행해야 할 구체적인 단계를 상세하게 설명했습니다. 이 결과는 위임 척도 사용이 피드백에 미치는 영향에 대한 Dolan 등 및 Dudek 등의 연구와 건설적인 피드백은 구체적이고 미래의 방향을 포함해야 한다는 결론을 내린 여러 연구를 뒷받침합니다.45-48 또한, 본 연구 결과는 수퍼바이저가 수련생에게 제공하는 지도의 양이 위임 결정에 영향을 미치는 주요 요인이며, 지도의 필요성이 증가할수록 ES 수준이 낮아진다는 Robinson 등의 최근 질적 인터뷰 결과를 뒷받침합니다.11 따라서 낮은 ES 수준에 대한 본 연구 결과는 이러한 선행 연구의 맥락에서 예상되는 것이지만, 가장 높은 ES 수준에서도 서술의 세부 수준이 높아진 것은 다소 의외입니다. 이 결과는 감독자가 더 높은 수준의 위임을 선택한 이유와 이를 뒷받침할 수 있는 증거의 가용성과 관련이 있을 수 있습니다. 
Supervisors' focus on task-specific evidence mirrors Gibbs et al.'s proposition that effective feedback should relate to students' performance rather than their characteristics.44 When assigning low ES levels, supervisors detailed specific steps for trainees to perform in the future, to earn higher levels of entrustment. This finding corroborates the work of Dolan et al. and Dudek et al. on the effects of using an entrustment scale on feedback, as well as several studies concluding that constructive feedback should be specific and contain future direction.45-48 In addition, our results support Robinson et al.'s recent finding from qualitative interviews that the amount of guidance a supervisor provided to a trainee was the primary factor that influenced their entrustment decision, where an increasing need for guidance led to lower ES levels.11 While our results about low ES levels are thus expected in the context of these prior studies, it is somewhat surprising that the level of narrative detail was also increased at the highest ES levels. This finding may relate to how supervisors justified their choice of higher entrustment and the availability of evidence to support it.

감독자
Supervisor

피드백의 세부 수준에 대한 조사 결과는 수퍼바이저가 위임을 정당화할 때 공정성에 대한 고려를 반영할 수도 있습니다.

  • 세부 수준이 높을수록 피드백의 공정성에 대한 인식이 높아지는 것으로 생각되며,49 이는 또한 수퍼바이저가 ES 수준을 높고 낮게 지정할 때 더 구체적이고 세부적으로 지정하는 경향이 있는 이유를 설명할 수 있습니다.
  • 최고 또는 최저 ES 등급을 선택하는 데 대한 슈퍼바이저의 자신감 부족은 관찰 및 피드백 제공에 대한 슈퍼바이저의 참여가 적기 때문일 수 있습니다.50 또한, 중간 ES 등급에서 세부 사항이 부족하다는 것은 슈퍼바이저가 더 높거나 낮은 ES 등급을 명확하게 정당화할 증거가 부족하다는 것을 반영할 수 있습니다.
  • 피드백을 강화하는 '일반적인' 칭찬은 아직 더 높은 수준의 위임을 받을 자격이 없는 학생을 격려하려는 감독자의 시도로 볼 수 있습니다.51 

Our findings about the level of detail of feedback may also reflect supervisors' considerations of fairness in justifications of entrustment.

  • An increased level of detail is thought to support perceptions of fairness in feedback,49 which could also explain why supervisors tended to be more specific and detailed when assigning both higher and lower ES levels.
  • Lack of supervisor confidence to choose the highest or lowest ES levels may be a consequence of less supervisor participation in the exercise of observing and giving feedback.50 Furthermore, the lack of detail at the middle ES ratings may reflect supervisors' lack of evidence to clearly justify a higher or lower ES rating.
  • ‘Generic’ praise as reinforcing feedback could be seen as supervisors' attempts to encourage students who did not yet deserve higher levels of entrustment.51

맥락과 과제
Context and task

본 연구는 위임 결정에서 맥락과 과제 요인의 중요성을 강조하는 동시에 추가적인 질문을 제기합니다. 감독자들은 인지적 과제(환자 의사소통 및 임상적 추론 포함)에 비해 절차적 과제(수술 및 검사 기술 포함)에 대해 더 낮은 ES 수준을 부여하는 경향이 있었습니다. 이러한 과제 유형의 효과는 의과대학 초기에 절차적 기술을 쌓을 기회보다는 인지적 기술(환자 사례, 임상 추론, 기초 과학 등)을 쌓는 데 중점을 두는 것을 반영할 수 있습니다.52 또는 수행되는 전문 분야(예: 외과 대 내과), 학생과 레지던트 수련의에게 업무를 맡기는 임상 문화의 잠재적 차이 또는 편견을 반영할 수도 있습니다.53 마지막으로, 이 발견은 시술의 자율성에 대한 어포던스가 제한될 수 있고 환자 안전에 대한 우려가 높기 때문에, 임상실습 기간 동안 의대생이 인지적 과제에 비해 절차적 과제에 대해 지각(감독자 편견 또는 평가 척도에 대한 이해로 인해) 또는 실제 신뢰도에 내재된 차이를 추가로 반영할 수 있습니다.53 이러한 기여를 분석하려면 추가 연구가 필요하지만, 우리의 결과는 수련의 및 감독자의 고려 사항과는 별개로 과제 및 상황 요인의 영향에 대한 직접적인 증거를 제공한다는 것은 분명합니다. 
Our study highlights the importance of context and task factors in entrustment decisions while raising further questions. Supervisors tended to assign lower ES levels for procedural tasks (including surgical and exam skills) compared with cognitive tasks (including patient communication and clinical reasoning). This effect of task type may reflect the focus during the early years of medical school on cognitive skill-building (such as patient cases, clinical reasoning and basic sciences) rather than opportunities for building procedural skills.52 Alternatively, it may reflect context—the specialty in which it is performed (i.e. surgery versus medicine) and potential differences or biases in clinical cultures' tendencies to entrust student versus resident trainees.53 Finally, this finding may additionally reflect an inherent difference in perceived (due to supervisor bias or understanding of the rating scale) or actual trustworthiness of medical students for procedural tasks compared with cognitive ones during the clerkship years, because affordances for autonomy in procedures may be limited and concerns about patient safety are high.53 While further investigation is needed to parse these contributions, it is clear that our results provide direct evidence of the effects of task and context factors independent from trainee and supervisor considerations.

AI는 문헌에 보고되지 않은 인사이트를 제공했지만, 이는 의료 분야와 그 밖의 분야에서 최근의 ML 성과에 기반이 되는 DNN의 새로운 기능을 통해서만 가능했습니다.54, 55 동시에 이러한 복잡한 네트워크가 어떻게 '사고' 또는 '학습'하는지는 평가하기 어려웠으며, 이는 AI의 '블랙박스' 문제를 보여줍니다.24 연구자들은 설명 가능한 AI 기술을 사용하여 전자 의료 기록을 검토하고 재입원과 관련된 요인을 파악하고 방사선과에서 병리 분류에 중요한 이미지의 특징을 강조하는 데 사용했습니다.56-58 우리의 절차는 ES 수준에 연결된 특정 인공 뉴런을 활성화하는 단어와 문장을 식별하여 NLP에 유사한 설명 가능한 AI 전략을 도입합니다. NLP를 설명 가능하게 만들기 위한 노력이 계속되고 있지만,28,59,60 우리의 방법론은 이제 의학교육 연구자들이 그러한 인사이트에 접근할 수 있게 해줍니다. 이 방법론은 의학교육 연구자가 기존의 질적 방법으로는 평가하기 어려울 수 있는 엄청나게 큰 내러티브 데이터베이스에서 주제를 탐색할 수 있도록 AI 매개 지원을 제공함으로써 기존의 질적 및 혼합 방법 분석을 보강합니다(예: 리소스 제한으로 인해 선택적 샘플링이 필요하거나 코딩 일관성 제한으로 인해 전체 데이터 집합을 고려하지 못할 수 있음).25 질적 데이터를 정량적으로 평가하는 새로운 도구를 제공하여 질적 데이터와 범주형 또는 연속형 변수 간의 연관성을 조사하고 그러한 연관성에 기여하는 요소를 밝혀야 하는 시나리오에 적용할 수 있습니다. 예를 들어, 고품질 노트와 관련된 요인을 파악하고 이러한 요인을 자동화된 피드백의 기초로 사용하여 교육생에게 문서 품질에 대한 피드백을 제공하는 데 사용할 수 있습니다. 
While AI provided insights that have not been reported in the literature, this only happened through the emerging capabilities of the DNNs underlying recent ML achievements in healthcare and beyond.54, 55 At the same time, how these complex networks ‘think’ or ‘learn’ has been difficult to assess, illustrating AI's ‘black box’ issue.24 Researchers have used explainable AI techniques to review electronic health records and determine factors associated with readmission and in radiology for highlighting features of images important to pathology classification.56-58 Our procedure brings a similar explainable AI strategy to NLP by identifying words and sentences that activate specific artificial neurons tied to ES levels. While there are ongoing efforts to make NLP explainable,28, 59, 60 our methodology makes such insights accessible to medical education researchers now. Our methods augment traditional qualitative and mixed-methods analysis by giving medical education researchers AI-mediated assistance to explore themes in prohibitively large narrative databases that may be difficult to assess with traditional qualitative methods (i.e. resource limitations may lead to selective sampling, or coding consistency limitations may restrict consideration of the entire dataset).25 The methodology provides a new tool to assess qualitative data quantitatively, applying to scenarios in which associations between qualitative data and a categorical or continuous variable need to be examined and the factors contributing to such associations elucidated. For example, it could be used to provide trainees with feedback on the quality of their written documentation by both identifying factors associated with high-quality notes and using these factors as a basis for automated feedback.

이 연구에는 한계가 있습니다. 데이터 세트 수집 방식을 변경하면 위임(일반적인 피드백 대비)과 결과의 관련성을 개선할 수 있습니다. 첫째, 피드백 내러티브 프롬프트는 (감독자에게 할당된 ES 수준을 정당화하도록 요청하는 것과 달리) 비특이적이었습니다. 또 다른 한계는 후향적('얼마나 많은 슈퍼비전이 제공되었습니까?') ES 척도의 성격이었습니다.33 전향적 ES 척도('향후 사례에 대해 얼마나 많은 슈퍼비전이 권장됩니까?')였다면 내러티브와 할당된 척도 값 사이에 더 강력한 연결 고리를 제공했을 것입니다.61 실제로, 낮은 수준에서 중간 수준의 예측 능력(부록 S1의 그림 A1)은 알고리즘 자체의 약점이 아니라 데이터 수집 도구가 부과한 한계를 반영하는 것일 수 있습니다.42 의학 텍스트에 대해 사전 학습된 어휘집을 사용하는 것도 결과를 개선할 수 있지만, 최근 연구에 따르면 어휘집 선택이 분류에 큰 영향을 미치지 않을 수 있다고 합니다.62 위임 요인과 관련하여, 교수 수퍼바이저와 레지던트 수퍼바이저 간의 결과를 비교하여 수퍼바이저 요인의 명확성을 검토할 수도 있습니다.9 우리의 데이터는 관계 요인에 대한 유의미한 증거를 밝히지 못했으며, 이는 수퍼바이저와 수련의의 종적 짝을 중심으로 데이터 집합을 수집함으로써 잠재적으로 해결될 수 있을 것입니다. 이 연구의 또 다른 한계(결과의 일반화 가능성에 영향을 미침)로는 단일 기관에서 수집했다는 점, 주로 임상실습 연도에 초점을 맞췄다는 점, 상업적으로 훈련된 NLP 애플리케이션에 비해 훈련 데이터의 가용성이 제한적이라는 점을 들 수 있습니다. 
This study has limitations. The relevance of our results to entrustment (versus feedback in general) could be improved by making changes to how our dataset was collected. Firstly, the feedback narrative prompt was nonspecific, as opposed to asking supervisors to justify the ES levels assigned. Another limitation was the nature of the retrospective (i.e. ‘how much supervision was provided?’) ES scale.33 A prospective ES scale (‘how much supervision is recommended for future instances?’) might have provided a stronger link between the narratives and assigned scale values.61 Indeed, the low-to-moderate predictive abilities (Figure A1 of Appendix S1) likely do not reflect a weakness of the algorithm itself but rather a ceiling imposed by the data collection instrument.42 Using a lexicon pretrained on medical texts may also improve results, but a recent study suggests that lexicon choice may not significantly impact classification.62 With respect to entrustment factors, clarification of the supervisor factor could also be examined by comparing results between faculty supervisors and resident supervisors.9 Our data did not reveal significant evidence for the relationship factor, which may potentially be addressed by collecting a dataset focused on longitudinal pairings of supervisors and trainees. Additional limitations of this study (affecting generalizability of our results) include collection at a single institution, the focus primarily on the clerkship year and the limited availability of training data compared to commercially trained NLP applications.

5 결론
5 CONCLUSIONS

결론적으로, 위임 중심 피드백 상호작용은 학습자가 임상 과제를 수행할 수 있는 역량을 갖추도록 구체적인 단계를 안내할 수 있으며, 위임 척도의 양 극단에서 더 많은 세부 정보를 제공하고 있다. 본 연구 결과는 감독자의 관점에 기반하여 Hauer 등이 발전시킨 이전 모델을 확증하는 한편, 위임 기반 평가에서 이러한 요소가 교육생-감독자 피드백 상호작용 내에서 어떻게 작용하는지를 보여줍니다. 본질적으로 위임의 프레임워크에는 더 높은 수준의 위임을 받는다는 목표가 내재되어 있으며, 따라서 이 목표를 달성하는 데 필요한 역량을 중심으로 피드백 프로세스63가 이루어지는 것으로 보입니다. 우리의 혁신적인 ML 접근 방식은 기존에는 불투명한 NLP 알고리즘으로만 가능했던 복잡한 분류 작업에 대한 투명성을 확보하여 NLP에서 설명 가능한 AI를 향해 한 걸음 더 나아가고 있습니다. 이러한 기술을 더욱 발전시키면 형성 평가 데이터의 사용을 강화하여 학습자의 성과를 파악하고 향후 학습 및 환자 치료를 안내할 수 있습니다. 

In conclusion, entrustment-centred feedback interactions can drive concrete steps in guiding the learner towards achieving competence to perform clinical tasks, with increasing detail provided at both extremes of the entrustment scale. While our results corroborate prior models advanced by Hauer et al. and Holzhauzen et al. based on supervisor perspectives, our results reveal how these factors operate within trainee–supervisor feedback interactions within entrustment-based assessment. In essence, the framework of entrustment carries the built-in goal of earning higher levels of entrustment, thus appearing to centre feedback processes63 around the competencies needed to achieve this goal. Our innovative ML approach creates transparency around complex classification tasks traditionally afforded only by opaque NLP algorithms, taking a step towards explainable AI in NLP. Further developing these techniques can strengthen the use of formative assessment data to understand learner performance and guide their future learning and patient care.


 

 

Med Educ. 2022 Mar;56(3):303-311. doi: 10.1111/medu.14696. Epub 2021 Dec 1.

 

 

Exploring how feedback reflects entrustment decisions using artificial intelligence

Affiliations collapse

1Department of Pediatrics, University of California San Francisco, San Francisco, CA, USA.

2Utrecht Center for Research and Development of Health Professions Education, University Medical Center, Utrecht, The Netherlands.

3Department of Medicine, University of California San Francisco, San Francisco, CA, USA.

4Department of Surgery, University of California San Francisco, San Francisco, CA, USA.

5Department of Anesthesia, University of California San Francisco, San Francisco, CA, USA.

PMID: 34773415

DOI: 10.1111/medu.14696

Abstract

Context: Clinical supervisors make judgements about how much to trust learners with critical activities in patient care. Such decisions mediate trainees' opportunities for learning and competency development and thus are a critical component of education. As educators apply entrustment frameworks to assessment, it is important to determine how narrative feedback reflecting entrustment may also address learners' educational needs.

Methods: In this study, we used artificial intelligence (AI) and natural language processing (NLP) to identify characteristics of feedback tied to supervisors' entrustment decisions during direct observation encounters of clerkship medical students (3328 unique observations). Supervisors conducted observations of students and collaborated with them to complete an entrustment-based assessment in which they documented narrative feedback and assigned an entrustment rating. We trained a deep neural network (DNN) to predict entrustment levels from the narrative data and developed an explainable AI protocol to uncover the latent thematic features the DNN used to make its prediction.

Results: We found that entrustment levels were associated with level of detail (specific steps for performing clinical tasks), feedback type (constructive versus reinforcing) and task type (procedural versus cognitive). In justifying both high and low levels of entrustment, supervisors detailed concrete steps that trainees performed (or did not yet perform) competently.

Conclusions: Framing our results in the factors previously identified as influencing entrustment, we find a focus on performance details related to trainees' clinical competency as opposed to nonspecific feedback on trainee qualities. The entrustment framework reflected in feedback appeared to guide specific goal-setting, combined with details necessary to reach those goals. Our NLP methodology can also serve as a starting point for future work on entrustment and feedback as similar assessment datasets accumulate.

일반외과에서 NLP와 EPA에 대한 텍스트 피드백: 머신러닝 모델과 전공의 자율성(Am J Surg. 2021)
Natural language processing and entrustable professional activity text feedback in surgery: A machine learning model of resident autonomy 
Christopher C. Stahl a, Sarah A. Jung a, Alexandra A. Rosser a, Aaron S. Kraut b, Benjamin H. Schnapp b, Mary Westergaard b, Azita G. Hamedani b, Rebecca M. Minter a, Jacob A. Greenberg a, *

소개
Introduction

외과 교육은 현장과 환자의 요구를 충족하기 위해 끊임없이 진화하고 있습니다. 외과 졸업생이 수련을 마친 후 독립적으로 수술할 수 있는 능력에 대한 우려로 인해 외과에서 역량 기반 교육이 추진되고 있습니다.1 역량 기반 교육과 관련된 근본적인 과제 중 하나는 역량 측정입니다. 레지던트가 언제 독립적으로 안전하게 수술할 준비가 되었는지 어떻게 알 수 있을까요? 
Surgical education is constantly evolving to meet the needs of the field and its patients. There has been a push towards competency-based education in Surgery due to concerns about the ability of surgical graduates to operate independently upon completion of their training.
1 One of the fundamental challenges involved in competency-based education is the measurement of competency: how do we know when a resident is ready to safely practice independently?

위임 가능한 전문 활동(EPA)은 의학전문대학원 교육에서 위임 결정을 정의하고 표준화하는 데 도움을 주기 위해 개발된 새로운 역량 기반 평가 프레임워크입니다. EPA는 특정 전문과목에 종사하는 의사의 필수 활동을 나타냅니다. 현재 일반외과에 대해 5개의 EPA가 존재하며, 레지던트가 EPA 평가를 완료할 때마다 교수진이 미세평가를 완료합니다. 미세 평가는 숫자 점수('관찰만'에서 '다른 사람 감독'에 이르는 0~4점)와 전문 활동에 대한 피드백을 제공하는 자유 텍스트 의견 옵션으로 구성됩니다.2 각 EPA는 해당 '위임 로드맵'과 함께 게시되며, 각기 다른 0~4 위임 수준에 해당하는 레지던트가 보여준 행동에 대한 서술형 텍스트 설명이 포함되어 있습니다. 이러한 위임 로드맵은 내러티브 코멘트 내에서 특정 행동에 대한 점수 할당 및 토론을 안내하기 위한 것입니다.  
Entrustable Professional Activities (EPAs) are a novel competency-based assessment framework developed to help define and standardize entrustment decisions in graduate medical education. EPAs represent the essential activities of a practicing physician in a given specialty. Five EPAs currently exist for general surgery, and each time a resident completes an EPA evaluation, faculty complete a microassessment. The microassessment consists of a numeric score (0–4, ranging from “observation only” to “supervising others”) and an option for free text comments giving feedback on the professional activity.2 Each EPA is published with a corresponding ‘entrustment roadmap’, a narrative text description of the behaviors demonstrated by the resident that correspond to the different 0–4 entrustment levels. These entrustment roadmaps are meant to guide score assignment and discussion of specific behaviors within the narrative comments.

이러한 위임 로드맵은 ABS, APDS, RRC 및 RAS의 대표로 구성된 전문가 위원회에서 신중하게 작성되었습니다.2 그러나 당시에는 실제로 외과의사 교육자들이 각 EPA 위임 수준에 대해 대표적인 행동으로 간주하는 것이 무엇인지에 대한 데이터가 거의 없었습니다. 각 위임 수준과 관련된 실제 EPA 의견에 대한 심층 분석은 "현장에 있는" 외과 교수진이 레지던트 위임에 대해 중요하게 생각하는 것이 무엇인지에 대한 중요한 통찰력을 제공할 수 있습니다. 또한 이 데이터는 일상적인 관행을 더 잘 반영하기 위해 EPA 위임 로드맵을 반복적으로 수정하는 데 사용될 수 있습니다. 
These entrustment maps were carefully written by an expert committee with representation from the ABS, APDS, RRC, and RAS.2 However, at that time there was very little data on what surgeon educators out in practice considered representative behaviors for each EPA entrustment level. An in-depth analysis of real-world EPA comments associated with each given entrustment level can offer important insight into what “boots on the ground” surgical faculty consider important for resident entrustment. Additionally, this data could be used to iteratively revise the EPA entrustment roadmaps to better reflect daily practice.

이 연구는 자연어 처리(NLP)의 힘을 활용하여 이러한 분석을 수행합니다. 잠재 디리클레 할당(LDA) 주제 모델링을 사용하여 EPA 내러티브 피드백 내에서 잠재 주제를 식별했습니다. 이러한 코멘트 내에서 위임 가능한 전문 활동(EPA) 프레임워크에 정의된 다양한 위임 수준에 일관되게 매핑되는 주제를 식별하는 LDA 알고리즘의 능력을 평가했습니다. 그런 다음 식별된 주제를 검토하여 컴퓨터로 생성된 이러한 주제를 위임 수준에 매핑하는 것이 인간 평가자가 이해할 수 있는지 여부를 결정했습니다. 
This study harnesses the power of natural language processing (NLP) to perform such an analysis. Latent Dirichlet allocation (LDA) topic modeling was used to identify latent topics within EPA narrative feedback. We assessed the ability of the LDA algorithm to identify topics within these comments that consistently mapped to different entrustment levels as defined within the Entrustable Professional Activities (EPA) framework. We then reviewed the identified topics to determine if the mapping of these computer-generated topics to entrustment levels was comprehensible to human raters.

자료 및 방법
Material and methods

EPA 데이터
EPA data

우리 기관은 외과 교육에서 위임 가능한 전문 활동(EPA)에 대한 미국 외과학회(ABS)의 전국적 파일럿 시험에 참여하고 있습니다. 앞서 설명한 바와 같이, EPA 평가에 대한 우리의 실행 전략에는 레지던트와 교수진이 위임 점수("관찰만"에서 "다른 사람 감독"에 이르는 0~4점)와 레지던트의 성과에 대한 자유 텍스트 의견을 모두 포함하는 EPA 평가를 제출할 수 있는 휴대폰 애플리케이션이 포함됩니다.3 평가는 2018년 7월부터 2020년 1월까지 현재 시범 시험 중인 5개 일반외과 EPA(일반 외과 상담, 외상, 담낭 질환, 우하단부 통증, 사타구니 탈장)에 대해 수집했습니다. 레지던트에 대한 교수진의 평가만 분석에 포함되었습니다. 이 실행 전략의 독특한 특징은 외과 및 응급의학과 교수진이 레지던트에 대한 교수 평가를 수행하는 등 여러 부서의 협업을 통해 이루어졌다는 점입니다. 이 두 교수진 그룹이 수행한 평가는 모두 분석에 포함되었습니다. 
Our institution is participating in the national American Board of Surgery (ABS) pilot trial of Entrustable Professional Activities (EPAs) in surgical education. As previously described, our implementation strategy for EPA assessment involves a mobile phone application to which residents and faculty can submit EPA assessments containing both an entrustment score (0–4, ranging from “observation only” to “supervising others”) and free text comments on the resident’s performance.3 Assessments were collected for the five general surgery EPAs currently in the pilot trial (General Surgical Consultation, Trauma, Gallbladder Disease, Right Lower Quadrant Pain, Inguinal Hernia) from July 2018 to January 2020. Only faculty assessments of residents were included in the analysis. A unique feature of our implementation strategy is multi-departmental collaboration, with faculty evaluations of residents performed by both Surgery and Emergency Medicine faculty. Assessments performed by both of these faculty groups were included in the analysis.

토픽 모델링
Topic modeling

자연어 처리(NLP)는 자연어 데이터와 상호 작용하기 위해 컴퓨터를 활용하는 것을 포함합니다. 토픽 모델링은 텍스트 데이터의 말뭉치(본문) 내에 존재하는 토픽을 발견하기 위해 고안된 NLP의 하위 집합입니다. 좀 더 기술적인 수준에서는 텍스트에서 용어(단어) 발생 빈도에 대한 확률적 프레임워크를 제공하는 생성 통계 모델입니다.4 NLP 및 기계 학습 분야의 상당한 발전에도 불구하고, 대부분의 텍스트 컴퓨터 분석은 여전히 단어장 모델을 사용하여 데이터와 상호 작용하고 있다는 점에 유의하세요. 향후에는 컴퓨터가 '개념 가방' 또는 '서술 가방'과 같이 인간에게 더 친숙한 방식으로 텍스트와 상호 작용할 수 있게 되겠지만, 현재는 '단어 가방' 모델이 우세합니다.5 즉, 이러한 방법을 사용하여 생성된 주제는 주어진 주제에 속할 가능성(단어 분포)에 따라 정렬된 단어 목록이며 여전히 사람의 해석이 필요합니다.6 
Natural language processing (NLP) involves the utilization of computers to interact with natural language data. Topic modeling is a subset of NLP designed to uncover topics present within a corpus (body) of text data. On a more technical level, these are generative statistical models that provide a probabilistic framework for the frequency of term (word) occurrence in text.4 Of note, despite significant advances in the fields of NLP and machine learning, most computational analyses of text still interact with data using a bag-of-words model. Future developments may allow computers to interact with text in a more humanly familiar way, such as a ‘bag-of-concepts’ or ‘bag-of-narratives’, but currently bag-of-words models predominate.5 This means that the topics generated using these methods are lists of words ordered by likelihood of belonging to a given topic (a distribution over words) and still require human interpretation.6

잠재 디리클레 할당
Latent Dirichlet Allocation

잠재 디리클레 할당(LDA)은 토픽 모델링에 사용되는 일반적인 접근 방식입니다. LDA는 문서에 존재하는 단어를 토픽으로 할당하기 위해 디리클레 분포를 사용하여 텍스트 말뭉치에서 숨겨진(잠재) 토픽을 식별하는 데 사용되는 생성적, 확률적, 베이지안, 비지도 머신 러닝 알고리즘입니다.4,7 할당 과정을 간단히 살펴보면 다음과 같습니다.

  • 알고리즘은 데이터 코퍼스의 모든 단어를 k개의 토픽 중 하나에 무작위로 할당합니다(토픽 수[k]는 사용자가 미리 지정함).
  • 그런 다음 알고리즘은 단일 단어에 대한 토픽을 "버린"다음 다른 모든 단어의 분포를 기반으로 해당 단어가 할당될 가능성이 가장 높은 토픽을 다시 계산합니다.
  • 그런 다음 해당 단어를 가장 가능성이 높은 토픽에 다시 할당하고 말뭉치의 모든 단어를 다시 할당할 때까지 다음 단어에 대해 이 과정을 반복합니다.
  • 이 프로세스는 단어가 새로운 주제에 지속적으로 할당되는 것을 멈출 때까지(즉, 추정치가 안정 상태에 도달할 때까지) 수천 번 반복됩니다

Latent Dirichlet Allocation (LDA) is a common approach used for topic modeling. LDA is a generative, probabilistic, Bayesian, unsupervised machine learning algorithm used to identify hidden (latent) topics in text corpora using a Dirichlet distribution to allocate the words present in documents into topics.4,7 A simplified view of the allocation process is as follows:

  • the algorithm randomly assigns every word in the corpus of data to one of k topics (the number of topics [k] is pre-specified by the user).
  • The algorithm then “throws out” the topic for a single word and re-calculates the topic to which that word is most likely to be assigned based on the distribution of all other words.
  • It then reassigns that word to its most likely topic and repeats the process for the next word until it has reassigned all words in the corpus.
  • This process is repeated thousands of times, until the words stop consistently getting reassigned to new topics (i.e., the estimates have reached a steady state).

해석
Interpretation

LDA 프로세스가 완료되면 문서-토픽 확률(감마)단어-토픽 확률(베타)을 생성합니다.8

  • LDA는 각 문서를 토픽의 혼합으로 모델링하며, 각 문서-토픽 쌍에는 해당 토픽으로 구성된 문서의 비율을 나타내는 감마가 있습니다. 감마는 확률처럼 보고되며, 값이 1이면 해당 문서의 100%가 해당 토픽으로 구성되어 있음을 의미하고 0이면 0%를 나타냅니다.
  • 각 토픽은 단어의 분포로 구성되며, 각 단어에는 단어-토픽 확률(베타)이 있으며 베타가 높을수록 해당 단어가 해당 토픽에 포함될 가능성이 높습니다. 각 단어는 다양한 확률로 여러 토픽에 나타날 수 있습니다. LDA를 사용하여 식별된 토픽은 베타 값이 감소하는 순서대로 정렬된 단어 가방입니다.

이러한 용어에 대한 요약은 표 1에서 확인할 수 있습니다. 
After the LDA process is complete, it generates document-topic probabilities (gamma), and word-topic probabilities (beta).8 

  • LDA models each document as a mixture of topics—each document-topic pair has a gamma that represents proportion of the document made up of that topic. Gamma is reported like a probability, with a value of 1 meaning that 100% of that document is made up of the given topic, and a value of zero indicating 0%.
  • Each topic consists of a distribution of words—each word has a word-topic probability (beta), with a higher beta representing a higher likelihood of that word being present in the corresponding topic. Each word may appear in multiple topics, albeit with varying probability. The topics identified using LDA are bags-of-words ordered by decreasing beta values.

A summary of these terms can be found in Table 1.

분석
Analysis

LDA 분석을 위해 EPA 코멘트는 축약어와 특수 문자를 제거하여 정리한 다음 R의 tm 패키지를 사용하여 개별 단어로 토큰화했습니다.9 정지어("the", "and" 등과 같이 일반적으로 의미가 거의 없는 영어에서 일반적으로 사용되는 단어)는 세 글자 미만의 모든 단어와 함께 제거되었습니다. 중복된 단어는 제거되지 않았습니다. 위임 수준이 0인 평가는 빈도가 낮아 제거되었습니다(1015개 중 n = 8개). 토픽모델 패키지는 데이터의 EPA 위임 수준("1", "2", "3", "4")과 일치하도록 k 토픽을 4로 설정한 표준 변형 기대 최대화(VEM) 알고리즘을 사용하여 LDA 분석을 수행하는 데 사용되었습니다.4 문서별 토픽 분포에 대한 디리클레 선행의 매개변수인 알파는 토픽모델 패키지 기본값인 50/k에 따라 시작값이 할당되었습니다. 이 분석은 '유니그램'(단일 단어) 항목을 사용하여 수행되었습니다. '준비되지 않음' 또는 '유능하지 않음'과 같은 부정적 수식어의 영향을 포착하기 위해 유니그램 + 빅그램(두 단어 항목) 결합 분석을 사용하여 분석을 반복했습니다. 빅그램의 추가는 결과에 큰 영향을 미치지 않았으며 단순화를 위해 이 원고에서는 생략했습니다. 문서-토픽 확률(감마)을 사용하여 LDA에서 생성된 토픽과 EPA 위임 수준의 매핑을 분석했습니다. 이 분석은 각 개별 EPA(외상, 일반 외과 상담 등)에 대해 반복되었습니다. 
EPA comments were cleaned for LDA analysis by removing contractions and special characters and then tokenized into individual words using the tm package in R.9 Stop words (commonly used words in the English language that typically provide little meaning such as “the”, “and”, etc.) were removed, along with any words less than three letters long. Duplicate words were not removed. Assessments with an entrustment level of 0 were removed due to low frequency (n = 8 out of 1015). The topicmodels package was used to perform the LDA analysis using the standard variational expectation-maximization (VEM) algorithm with k topics set at 4 to match the number of EPA entrustment levels (“1”, “2”, “3”, “4”) in the data.4 Alpha, the parameter of the Dirichlet prior for the per-document topic distribution, was assigned a starting value per the topicmodels package default of 50/k. This analysis was performed using ‘unigram’ (single word) items. The analysis was repeated using a combined unigram + bigram (two word item) analysis to help capture the impact of negative modifiers such as ‘not ready’ or ‘not competent’. The addition of bigrams did not significantly impact the results and were omitted from this manuscript for simplicity. The mapping of LDA-generated topics to EPA entrustment levels was analyzed using document-topic probabilities (gammas). This analysis was repeated for each individual EPA (Trauma, General Surgical Consultation, etc.).

각 주제와 연관된 상위 10개 단어(단어-주제 확률[베타]를 사용하여 계산)를 수동으로 검토하여 주제가 위임 수준과 일관되게 일치하는지 확인했습니다. 한 명의 외과 레지던트가 위임 수준에 따라 다르며 자율성과 연관된 단어를 식별했습니다. 이러한 단어는 위임 수준에 따라 색상이 지정된 상자(낮음=빨간색, 중간=노란색, 높음=초록색)를 사용하여 수동으로 강조 표시한 다음 다른 저자 4명(외과의사 및 교육 과학자)이 이 과제를 검토했습니다. 이 수동 검토는 체계적이지 않고 비구조적이라는 점에 유의하는 것이 중요합니다. 토픽 모델링으로 생성된 토픽을 해석하는 한 가지 방법은 없으며, 토픽 모델링을 시도하는 모든 그룹은 특정 프로젝트의 요구 사항에 적합한 방법을 선택하는 것이 좋습니다. 이 수동 검토는 컴퓨터로 생성된 주제가 사람이 이해할 수 있는지 신속하게 확인하는 방법으로, EPA 평가 수준을 그룹으로 완벽하게 분류했지만 해석 가능한 패턴이나 내러티브를 제공하지 못하는 주제는 실제 유용성이 제한될 수 있습니다. 
The top ten words associated with each topic (calculated using word-topic probabilities [betas]) were manually reviewed to determine if the topics coherently corresponded to the entrustment levels. A single surgery resident identified words that differed between entrustment levels and were associated with autonomy. These words were manually highlighted using boxes colored according to the level of entrustment they appeared to represent (low = red, intermediate = yellow, high = green) and then these assignments were reviewed by 4 other authors (surgeons and education scientists). It is important to note that this manual review was unstructured, and not systematic. There is no one way to interpret the topics created by topic modeling, and we recommend that any group attempting to do so select a method well suited to the needs of their specific project. This manual review was a way to quickly check that the computer-generated topics were understandable by humans—topics that perfectly sorted EPA assessment levels into groups but failed to provide any interpretable pattern or narrative would have limited real-world utility.

이 프로젝트는 기관 보건 과학 IRB의 검토를 거쳐 공식적인 검토가 면제된 것으로 인증되었습니다. 사전 동의는 면제되었습니다. 모든 데이터 분석 및 시각화는 R 3.6.1(오스트리아 비엔나, 통계 컴퓨팅을 위한 R 재단)을 사용하여 수행되었습니다. 
This project was reviewed by the institutional Health Sciences IRB and certified as exempt from formal review. Informed consent was waived. All data analysis and visualizations were performed using R 3.6.1 (R Foundation for Statistical Computing, Vienna, Austria).

결과
Results

LDA-EPA 상관관계
LDA-EPA correlation

2018년 7월부터 2020년 1월까지 1015개의 교수진 EPA 평가가 수집되었으며, 이 중 97%는 자유 텍스트 코멘트와 연관되어 있었습니다. 이러한 코멘트는 32,215개의 단어로 구성되었습니다. 중지 단어, 길이가 3글자 미만인 단어, 레벨 0 평가를 제거한 후 13,364개의 단어가 남았습니다. 단어는 모든 EPA에 고르게 분포되어 있었으며, 각 EPA에는 최소 1831개의 단어가 포함되어 있었습니다. 
1015 faculty EPA assessments were collected between July 2018 and January 2020; 97% of these assessments were associated with free text comments. These comments consisted of 32,215 words. After removal of stop words, words less than three letters in length, and level 0 assessments, 13,364 words remained. Words were well distributed across all EPAs, with each EPA containing at least 1831 words.


5개의 EPA를 모두 단일 그룹으로 분석했을 때, LDA 알고리즘은 1:1로 매핑되는 토픽을 EPA 위임 수준 1-4에 식별할 수 있었습니다(모든 감마 >0.99)(그림 1). 안타깝게도 이러한 주제는 수준 간 위임의 차이보다는, 각 위임 수준에 일반적으로 할당되는 서로 다른 EPA를 정성적으로 반영했습니다. 따라서 더 의미 있는 토픽이 생성되는지 확인하기 위해 개별 EPA에 대해 개별적으로 LDA 분석을 반복했습니다. 그 결과, 위임 수준 간의 매우 효과적인 구분이 개별 EPA 수준에서 재현되었고(모든 감마 >0.99), 더 이해하기 쉬운 토픽이 생성되었습니다(그림 2, 그림 3, 그림 4, 그림 5, 그림 6). 

When all 5 EPAs were analyzed together as a single group, the LDA algorithm was able to identify topics that mapped 1:1 onto EPA entrustment levels 1–4 (all gammas >0.99) (Fig. 1). Unfortunately, these topics qualitatively reflected the different EPAs commonly assigned to each entrustment level, rather than differences in entrustment between levels. Therefore, the LDA analysis was repeated for each EPA individually to see if more meaningful topics would be generated. The highly effective discrimination between entrustment levels was replicated at the individual EPAs level (all gammas >0.99), and more comprehensible topics were generated (Fig. 2, Fig. 3, Fig. 4, Fig. 5, Fig. 6).

 

주제 해석
Topic interpretation

개별 EPA에 대해 발견된 주제는 해당 위임 수준 아래에 표시됩니다(그림 2, 그림 3, 그림 4, 그림 5, 그림 6). 예시 단어는 한 명의 검토자가 위임 수준에 따라 색상이 지정된 상자를 사용하여 수동으로 강조 표시했습니다(낮음 = 빨간색, 중간 = 노란색, 높음 = 녹색). 조사된 모든 개별 EPA에서 낮은 위임 단어에서 높은 위임 단어로 논리적인 추세가 있는 것으로 보입니다(그림 2, 그림 3, 그림 4, 그림 5, 그림 6). 예를 들어, RLQ 통증 EPA(그림 4)의 경우,

  • 위임 수준 1과 2는 충수절제술의 기술적 측면("기구", "손/손/취급", [따라] "지시")을 배우는 것을 설명하는 것으로 보이는 반면,
  • 위임 수준 3과 4는 독립적으로 사례를 완료하는 것, 종종 후배 전공의를 감독하면서("독립적으로", "완료", "감독", "취하다", "후배", "레지던트", "관리") 설명하는 것처럼 보였습니다.

흥미롭게도 레벨 3은 사례의 기술적 난이도("간단함")를 명확히 하는 것으로 보이며, 이는 레벨 3과 4 수행 간의 중요한 차이를 강조할 수 있습니다. 
The topics uncovered for individual EPAs are shown underneath the corresponding entrustment levels (Fig. 2, Fig. 3, Fig. 4, Fig. 5, Fig. 6). Illustrative words were manually highlighted by a single reviewer using boxes colored according to the level of entrustment they appeared to represent (low = red, intermediate = yellow, high = green). There appears to be a logical trend from low entrustment words to higher ones for all of the individual EPAs examined (Fig. 2, Fig. 3, Fig. 4, Fig. 5, Fig. 6). For example, for the RLQ Pain EPA (Fig. 4) entrustment levels 1 and 2 seem to describe learning technical aspects of an appendectomy (“instruments”, “hand/hands/handling”, [following] “directions”), while levels 3 and 4 seem to describe independently completing cases, often while supervising junior residents (“independently”, “complete”, “supervise”, “taking”, “junior”, “residents”, “management”). Interestingly, level 3 appears to clarify the technical difficulty of the case (“straightforward”), which may highlight a critical difference between level 3 and 4 performance.

마찬가지로, 외상 EPA 수행에 있어 위임의 경로는

  • 기본 평가("초기", "평가", "2차", "조사")를 학습하는 것부터
  • 효과적으로 의사소통하고 적절한 후속 연구를 지시하는 것("의사소통", "영상"),
  • 마지막으로 이전의 모든 기술을 효과적으로 수행하고 외상 베이를 관리하는 것("우수", "침착")으로 추적할 수 있습니다(그림 6).

평가된 나머지 세 개의 EPA에서도 유사한 일관된 경향을 발견할 수 있습니다(그림 2, 그림 3, 그림 5). 
Similarly, the path to entrustment in the performance of Trauma EPAs may be traced

  • from learning the fundamental evaluation (“initial”, “assessment”, “secondary”, survey”)
  • to communicating effectively and ordering appropriate follow up studies (“communication”, “imaging”),
  • to finally performing all of the previous skills effectively and managing the trauma bay (“excellent”, “calm”) (Fig. 6).

Similar coherent trends can be found in the remaining three EPAs evaluated (Fig. 2, Fig. 3, Fig. 5).

토론
Discussion

LDA는 다양한 EPA 위임 수준과 관련된 텍스트 피드백의 고유한 패턴을 식별할 수 있습니다. LDA를 사용하여 생성된 토픽은 EPA 위임 수준에 합리적으로 매핑됩니다. 이는 실제 적용 가능성도 있는 중요한 개념 증명입니다. 첫째, 수술 교육에 EPA를 구현하는 것은 진화하는 과정입니다. 각 위임 로드맵에 명시된 현재 행동은 외과 교육 전문가들이 전문가 의견을 바탕으로 작성하고 개선한 것입니다.2 전문가 의견은 항상 유용한 출발점이지만, 이 연구에서 확인된 EPA 위임 수준-LDA 주제 쌍은 구현된 EPA 시스템 내에서 일하는 광범위한 교육자 풀로부터 실제로 각 위임 수준을 차별화하는 요소에 대한 데이터를 제공합니다. 이는 교육생의 자율성/위임과 의미 있는 상관관계가 있는 행동에 대한 중요한 통찰력을 제공하며, 데이터에 기반하여 기존 위임 설명을 수정하고 정보에 기반한 향후 위임 로드맵을 작성할 수 있게 해줍니다. 
LDA is capable of identifying unique patterns of text feedback associated with different EPA entrustment levels. Topics generated using LDA map sensibly to EPA entrustment levels. This is an important proof-of-concept that also has practical applicability. First, the implementation of EPAs into surgical education is an evolving process. The current behaviors ascribed to each entrustment roadmap were created and refined by experts in surgical education based on their expert opinion.2 While expert opinion is always a useful starting point, the EPA entrustment level—LDA topic pairs identified in this study provide data from a broad pool of educators working within an implemented EPA system on what actually differentiates the distinct entrustment levels. This provides important insight into what behaviors meaningfully correlate with trainee autonomy/entrustment and will allow for a data-driven revision of the existing entrustment descriptions and informed creation of future entrustment roadmaps.

더 넓은 범위에서 이 원고는 외과 교육에서 NLP 전략의 잠재적 유용성을 보여줍니다. 놀랍지 않게도 외과 교육자들은 서로 다른 EPA 위임 수준에서 레지던트 성과에 대해 설명할 때 서로 다른 어휘와 구조를 사용합니다. 중요한 것은 LDA가 이러한 중요한 차이점을 포착하고 평가자가 해석할 수 있는 방식으로 위임 수준의 주요 차별화 측면을 강조할 수 있었다는 점입니다. 이는 자연어 처리 기술을 외과 교육에 광범위하게 통합하는 데 있어 유망한 첫 단계입니다. 레지던트 성과에 대한 대량의 텍스트 기반 데이터를 통합하는 평가 프레임워크가 개발됨에 따라 이러한 데이터를 대규모로 해석할 수 있는 전략이 필요합니다. NLP는 데이터를 통해 외과 교육을 확장하는 데 도움이 될 수 있습니다. 예를 들어, 추출 기반의 자동화된 문서 요약은 레지던트에게 제공되는 내러티브 피드백 코퍼스 내에서 가장 중요한 코멘트를 강조 표시할 수 있어 CCC 위원회를 통해 신속하게 검토할 수 있습니다.10,11 감독형 LDA(sLDA)와 같은 예측 모델링 기법은 평가를 그룹으로 분류하는 데 가장 능숙한 주제 대신 응답(점수)을 예측하는 잠재 주제를 식별하는 것을 목표로 관련 응답이 포함된 텍스트 평가 본문(예: 쌍을 이룬 위임 점수를 가진 EPA 평가)을 사용하여 학습할 수 있습니다. 그런 다음 레이블이 지정되지 않은 평가의 점수를 모델을 사용하여 추정할 수 있습니다. 이러한 시스템은 개별 레지던트에 대한 대량의 텍스트 데이터에 대한 요약적인 해석을 제공할 수 있어 잠재적으로 CCC의 의사 결정을 지원할 수 있습니다. 또는 교육자는 전공의에게 형성적인 무료 텍스트 피드백을 제공하는 데만 집중하고, 각 EPA 의견을 '점수'로 종합적으로 평가하는 작업은 컴퓨터에 맡기는 시스템을 상상해 볼 수 있습니다. 

On a broader scale, this manuscript demonstrates the potential utility of NLP strategies in surgical education. Not surprisingly, surgical educators use different vocabulary and structure in their comments on resident performance at different EPA entrustment levels. Critically, LDA was able to pick up on these important differences, and highlight key differentiating aspects of entrustment levels in ways that are interpretable to human raters. This is a promising first step in a broader integration of NLP into surgical education. As assessment frameworks that consolidate large volumes of text-based data on resident performance are developed, strategies to interpret this data at scale are needed. NLP can help surgical education scale with its data. For example, extraction-based automated document summarization can highlight the most important comments within a corpus of narrative feedback provided to a resident—allowing for rapid review via CCC committee.10,11 Predictive modeling techniques, such as supervised LDA (sLDA) can be trained using a body of text assessments with an associated response (e.g. EPA assessments with a paired entrustment score) with the goal of identifying latent topics predictive of the response (score) instead of the topics most adept at classifying the assessments into groups. Then an unlabeled assessment’s score can be estimated using the model. Such a system would be able to provide a summative interpretation of a large body of text data for any individual resident, potentially assisting CCC decision making. Or one could imagine a system in which educators can focus only on providing formative free text feedback to their residents, while the job of summatively assessing this each EPA comment for a ‘score’ could be left to the computer.

외과 교육에서 NLP의 잠재적 가능성에도 불구하고 이 연구에는 몇 가지 한계가 있습니다. 무엇보다도, 이 연구는 단일 센터에서 단일 EPA 평가를 시행한 연구이므로 일반화 가능성에 한계가 있습니다. 향후 무료 텍스트 데이터를 EPA 평가에 통합하는 다른 센터와 협력하여 위치 또는 구현 전략에 따라 피드백 패턴이 어떻게 달라질 수 있는지 살펴보고자 합니다. 이 연구는 또한 일반외과를 위해 만들어진 처음 5개의 EPA만 평가하는데, 이는 레지던트가 졸업할 때까지 축적해야 하는 전체 수술 지식의 일부만을 다루고 있습니다. NLP 기술은 낮은 품질의 텍스트 데이터를 보완할 수 없습니다. 평가자는 여전히 알고리즘이 분석할 수 있도록 레지던트에게 고품질 텍스트 피드백을 제공해야 합니다. 마지막으로, 현재의 토픽 모델링 기법은 여전히 '단어 가방' 모델에 국한되어 있어 결과 토픽에 대한 사람의 해석이 필요합니다. 이 원고의 다른 연구자나 독자는 우리의 해석에 동의하지 않을 수 있습니다. 저희의 데이터와 해석은 EPA의 위임과 자율성에 대한 논의를 시작하기 위한 것이지 최종적인 권위 있는 중재자 역할을 하는 것이 아닙니다. 궁극적으로 컴퓨터가 자연어 데이터에서 의미론(개념 가방) 또는 실용론(내러티브 가방)을 구분하여 더 유용한 정보를 제공할 수 있게 되겠지만, 그렇게 될 때까지 이러한 중요한 논의를 미룰 이유가 없다고 생각합니다. 
Despite the potential promise for NLP in surgical education, this study has several limitations. Foremost, this was a single center study with a single implementation of EPA assessments, limiting generalizability. We hope to collaborate with other centers that incorporate free text data into their EPA assessments in the future to see how patterns in feedback might vary based on location or implementation strategy. This study also only assesses the first 5 EPAs created for general surgery, which cover only a fraction of the total knowledge of surgery which residents must accumulate by graduation. NLP techniques cannot make up for low quality text data. Evaluators will still need to provide high-quality text feedback to residents for the algorithms to analyze. Finally, current topic modeling techniques are still limited to the ‘bag of words’ model, requiring human interpretation of resulting topics. Different researchers or readers of this manuscript may disagree with our interpretations. We encourage this—our data and interpretations are meant to start discussions about entrustment and autonomy in EPAs, not function as a final authoritative arbiter. Eventually, computers may be able to distinguish semantics (bag of concepts) or pragmatics (bag of narratives) from natural language data to provide more useful input, but we see no reason to delay these important discussions until that is possible.

결론
Conclusions

잠재 디리클레 할당을 사용한 토픽 모델링은 EPA 위임 수준을 구분할 수 있습니다. LDA로 생성된 주제는 위임 수준에 일관되게 매핑되어 외과의 교육자가 수련의의 자율성을 설명하고 위임을 부여하는 방식에 대한 통찰력을 제공합니다. 이 데이터는 향후 EPA 위임 로드맵을 작성하고 기존 로드맵을 데이터 기반으로 개정하는 데 사용할 수 있습니다. 외과 교육에서 NLP 방법론이 더욱 발전하면 외과의사 교육자는 대량의 텍스트 평가 데이터를 확장 가능한 방식으로 분석할 수 있습니다. 

Topic modeling using latent Dirichlet allocation is capable of discriminating between EPA entrustment levels. Topics generated by LDA map coherently to entrustment levels, providing insight on how surgeon educators describe trainee autonomy and grant entrustment. This data can be used to inform the creation of future EPA entrustment roadmaps, and data-driven revision of existing ones. Further development of NLP methodologies in surgical education may allow surgeon educators to analyze large amounts of text assessment data in a scalable fashion.

 


Am J Surg. 2021 Feb;221(2):369-375. doi: 10.1016/j.amjsurg.2020.11.044. Epub 2020 Nov 26.

Natural language processing and entrustable professional activity text feedback in surgery: A machine learning model of resident autonomy

Affiliations collapse

1Department of Surgery, University of Wisconsin School of Medicine and Public Health, Madison, WI, USA.

2Department of Emergency Medicine, University of Wisconsin School of Medicine and Public Health, Madison, WI, USA.

3Department of Surgery, University of Wisconsin School of Medicine and Public Health, Madison, WI, USA. Electronic address: greenbergj@surgery.wisc.edu.

PMID: 33256944

PMCID: PMC7969407

DOI: 10.1016/j.amjsurg.2020.11.044

Free PMC article

Background: Entrustable Professional Activities (EPAs) contain narrative 'entrustment roadmaps' designed to describe specific behaviors associated with different entrustment levels. However, these roadmaps were created using expert committee consensus, with little data available for guidance. Analysis of actual EPA assessment narrative comments using natural language processing may enhance our understanding of resident entrustment in actual practice.

Methods: All text comments associated with EPA microassessments at a single institution were combined. EPA-entrustment level pairs (e.g. Gallbladder Disease-Level 1) were identified as documents. Latent Dirichlet Allocation (LDA), a common machine learning algorithm, was used to identify latent topics in the documents associated with a single EPA. These topics were then reviewed for interpretability by human raters.

Results: Over 18 months, 1015 faculty EPA microassessments were collected from 64 faculty for 80 residents. LDA analysis identified topics that mapped 1:1 to EPA entrustment levels (Gammas >0.99). These LDA topics appeared to trend coherently with entrustment levels (words demonstrating high entrustment were consistently found in high entrustment topics, word demonstrating low entrustment were found in low entrustment topics).

Conclusions: LDA is capable of identifying topics relevant to progressive surgical entrustment and autonomy in EPA comments. These topics provide insight into key behaviors that drive different level of resident autonomy and may allow for data-driven revision of EPA entrustment maps.

Keywords: Assessment; Entrustable professional activities; Feedback; Natural language processing; Surgery education.

머신러닝을 활용하여 전공의 수행능력에 대한 주치의 피드백 평가하기 (Anesth Analg. 2021)
Using Machine Learning to Evaluate Attending Feedback on Resident Performance
Sara E. Neves, MD,* Michael J. Chen, BS,* Cindy M. Ku, MD,† Suzanne Karan, MD,‡ Amy N. DiLorenzo, PhD,§ Randall M. Schell, MD, MACM,§ Daniel E. Lee, MD, PhD,║ Carol Ann B. Diachun, MD, MSEd,¶ Stephanie B. Jones, MD,# and John D. Mitchell, MD* 

250

 

고품질의 활용도 높은 피드백을 제공하는 것은 교육생 개발에 필수적이며, 교육생들이 매우 원합니다.4-7 활용도 높은 피드백은 레지던트를 위한 개선 계획을 수립하는 데 도움이 됩니다. 반대로 부실한 피드백은 학습자가 좌절감을 느끼고 대응 방법을 불확실하게 만들어 해로운 영향을 미칠 수 있습니다.8 고품질 피드백은 상세하고 구체적이며 행동 중심적이고 실행 가능하며 개선 영역을 제공합니다.9 이러한 피드백은 피드백을 기존의 자기 평가와 조정하는 자기 성찰을 촉진하여 향후 실습에 피드백을 통합하는 데 도움을 줍니다.10 형성적 평가는 체크리스트를 통해 수집할 수 있지만, 연구 결과에 따르면 전문성 및 커뮤니케이션과 관련된 서술적 피드백은 학습자를 지도하는 데 특히 유용합니다.11 서술적 피드백을 검토하면 교수진에게 피드백을 제공하고 지속적으로 개선하는 방법을 가르치는 워크숍과 같은 프로그램을 개발할 수 있습니다. 
The delivery of high-quality and high-utility feedback is essential to the development of trainees, and is highly desired by them.4–7 High-utility feedback helps devise improvement plans for residents. Conversely, poor feedback can have deleterious effects by leaving learners frustrated and uncertain how to respond.8 High-quality feedback is detailed, specific, behavior-focused, actionable, and provides areas for improvement.9 Such feedback promotes self-reflection to reconcile feedback with existing self-assessments, helping incorporate feedback into future practice.10 While formative assessments can be collected via checklists, research demonstrates narrative feedback related to professionalism and communication is particularly valuable for guiding learners.11 Reviewing narrative feedback enables development of programs such as workshops to teach faculty how to provide feedback and continuously improve it.

이전에는 평가자가 온라인 양식을 통해 제공된 의견을 수동으로 검토하고 점수를 매겨야 하는 피드백 평가 시스템을 개발하여 시행했습니다.11 물류상의 문제로 인해 이 중요한 도구를 일관성 있게 적용하지 못했고, 레지던트에 대한 피드백의 품질과 유용성에 대해 직원에게 적시에 피드백을 제공하지 못했습니다. 수동 피드백 평가는 시간이 많이 걸립니다. 저희의 경험에 따르면, 먼저 평균 6시간의 평가자 교육과 보정이 필요합니다. 그런 다음 피드백을 수집하고, 비식별화하여 평가자가 점수를 매기고, 다시 제공자에게 매핑해야 합니다. 최근 한 저자(J.D.M.)의 채점 작업에는 총 15시간이 소요되었으며, 이는 베스 이스라엘 디코니스 메디컬 센터의 마취과 레지던트 프로그램에서 한 달 동안 받은 피드백에 해당하는 200개의 코멘트를 수집하고 채점하는 데 소요된 시간입니다. 
We previously developed and implemented a feedback rating system that required raters to manually review and score comments provided via online forms.11 Logistical challenges resulted in inconsistent application of this valuable tool and prevented us from providing timely feedback to staff on the quality and utility of their feedback to residents. Manual feedback rating is time-consuming. In our experience, it first entails an average of 6 hours of rater training and calibration. It then requires feedback be collected, deidentified, scored by raters, and mapped back to providers. A recent scoring effort by an author (J.D.M.) totaled 15 hours to collate and score 200 comments, representing a month of feedback from Beth Israel Deaconess Medical Center’s anesthesiology residency program.

머신러닝(ML)은 데이터를 분석하고 과거 정보를 바탕으로 자동으로 작업을 완료하는 방법을 학습하는 인공 지능 시스템 또는 컴퓨터 프로그램의 개발과 관련이 있습니다. ML은 진단12 및 방사선 영상 처리 등 의학 분야에서 광범위하게 응용되고 있습니다.13,14 ML은 의학교육에서도 많은 잠재적 응용 분야와 함께 큰 관심을 받고 있습니다.15 ML로 촉진된 사례 로깅과 분석을 함께 사용하면 레지던트 평가의 준수 및 적시성을 높이는 데 도움이 되었습니다.16 또한 수련 중 시험 점수를 사용하여 보드 시험에서 레지던트의 성과를 예측하는 데 적용되고 있습니다.17
Machine learning (ML) involves development of artificially intelligent systems or computer programs that analyze data and learn to complete tasks automatically based on historical information. It has found a wide range of applications in medicine, including diagnostics12 and radiology image processing.13,14 ML is also of significant interest in medical education, with many potential applications.15 Using ML-facilitated case logging coupled with analytics has helped increase compliance and timeliness of resident evaluations.16 It has also been applied to predict resident performance on Board examinations using in-training examination scores.17

ML 모델은 일단 개발되면 대량의 정보를 신속하고 자율적으로 처리할 수 있습니다. 우리는 레지던트에 대한 교수진의 서면 피드백을 평가하고 피드백을 신속하게 검토 및 평가할 수 있는 예측 모델을 만들고자 했습니다. 우리의 가설은 ML 모델을 개발하고 적용하여 활용도가 낮고 품질이 낮은 피드백을 독립적이고 효율적으로 식별할 수 있다는 것이었습니다. 
Once developed, ML models can process large volumes of information rapidly and autonomously. We sought to create predictive models to assess written faculty feedback to residents, to expedite the review and assessment of feedback. Our hypothesis was that we could develop and apply ML models to independently and efficiently identify low-utility and low-quality feedback.

방법
METHODS

피드백 수집 및 채점
Feedback Collection and Scoring

이전 연구에서,11 3명의 숙련된 교육자(J.D.M., S.B.J., C.M.K.)가 마취과 레지던트(대학원 2~4년차)의 성과에 관한 1925개의 피드백 코멘트를 blindly 평가했습니다. 이러한 의견은 4개 기관의 마취과 레지던트 프로그램에서 수집되었습니다: 베스 이스라엘 디코니스 메디컬 센터, 로체스터 대학교 메디컬 센터, 켄터키 대학교 의과대학, 캘리포니아 대학교 샌디에이고. 피드백 의견은 당일 또는 단기간 동안 레지던트와 함께 근무한 주치의가 전자 평가 시스템에 입력한 정성적인 자유 텍스트였습니다. 평가자는 피드백 특성의 존재를 확인하고 할당된 의견에 대한 유용성 점수를 제공했습니다. 146명의 주치의 평가자가 190명의 레지던트에 대해 의견을 제공했으며, 평가자당 의견의 중앙값은 5개, 한 명의 평가자가 제공한 의견은 최대 67개(데이터 세트의 3.48%)였습니다. 레지던트당 코멘트의 중앙값은 10건이었으며, 한 레지던트에 대한 코멘트은 최대 31건(데이터 세트의 1.61%)이었습니다. 의견은 2013년부터 2014년까지 약 8개월 동안 미국 내 4개의 레지던트 프로그램에서 수집되었습니다. 데이터 수집을 시작하기 전에 4개 기관 모두에서 사전 동의서 면제와 함께 기관생명윤리위원회(IRB)의 승인을 받았습니다. 
In a prior study,11 3 experienced educators (J.D.M., S.B.J., C.M.K.) blindly rated 1925 feedback comments regarding performance of anesthesiology residents (Postgraduate Years 2–4). These comments were collected from anesthesiology residency programs from 4 institutions: Beth Israel Deaconess Medical Center, University of Rochester Medical Center, University of Kentucky College of Medicine, and University of California San Diego. Feedback comments were qualitative free text entered into an electronic evaluation system by an attending physician who worked with a resident that day or over a short period of time. Raters identified the presence of feedback traits and provided utility scores for their assigned comments. Comments were provided by 146 different attending evaluators on 190 different residents, with a median of 5 comments per evaluator and maximum of 67 comments provided by a single evaluator (3.48% of the dataset). There was a median of 10 comments per resident, with a maximum of 31 comments concerning a single resident (1.61% of the dataset). Comments were collected from 4 residency programs in the United States from over a course of roughly 8 months between 2013 and 2014. Institutional review board (IRB) approval with a waiver of documentation of informed consent was obtained at all 4 institutions before the start of data collection.

 

예측 모델 개발
Predictive Model Development

ML 모델은 6가지 피드백 특성(실행 가능, 행동 중심, 상세, 부정적 피드백, 전문성/소통, 구체적)을 식별하도록 학습되었습니다(정의와 예시는 표 1에 나와 있습니다). 피드백 특성은 존재하거나 존재하지 않는 것으로 간주되었습니다. 개선의 여지가 있는 코멘트를 식별하기 위해 6가지 특성 중 4개 이상이 존재하는 것으로 확인된 항목은 고품질로 간주하고 3개 미만인 항목은 저품질로 간주했습니다. 원래 평가자들은 교육자가 레지던트를 위한 개선 계획을 수립하는 데 피드백이 얼마나 유용한지를 설명하는 피드백 코멘트의 유용성 점수를 1~5점으로 매겼으며(표 1), 3점은 평균적인 유용성을 가진 코멘트를 나타냅니다. 개선할 수 있는 의견을 식별하기 위해 활용도 점수가 4점과 5점인 경우 활용도가 높은 것으로 간주하고 1점, 2점, 3점인 경우 활용도가 낮은 것으로 간주했습니다.
ML models were trained to identify 6 feedback traits:

  • actionable,
  • behavior focused,
  • detailed,
  • negative feedback,
  • professionalism/communication, and
  • specific;

definitions and examples are displayed in Table 1. Feedback traits were considered to be either present or not present. To identify comments that had room for improvement, entries that had ≥4 of the 6 traits identified as present were considered high-quality while entries with ≤3 were considered low-quality. The original raters had assigned feedback comments utility scores from 1 to 5 describing how useful feedback would be in helping educators shape an improvement plan for the resident (Table 1), with scores of 3 representing comments of average utility. To identify comments that could improve, utility scores of 4 and 5 were considered high-utility while scores of 1, 2, and 3 were considered low-utility.

 

사용된 데이터 과학 플랫폼은 RapidMiner Studio, 버전 9.6(2020), 교육용 라이선스 에디션(RapidMiner, Inc, 보스턴, 매사추세츠)입니다.18 RapidMiner는 Java로 작성되었으며 데이터 준비, ML 및 예측 모델 배포에 사용됩니다. 그림 1은 프로젝트 및 ML 워크플로우를 보여주며, 주석이 달린 스크린샷 예시는 보충 디지털 콘텐츠 1, 그림, https://links.lww.com/AA/D228, 모델 개발을 위한 데이터 테이블을 생성하는 RapidMiner 워크플로우 프로세스의 주석이 달린 스크린샷과 보충 디지털 콘텐츠 2, 그림, https://links.lww.com/AA/D229, RapidMiner에서 수행되는 텍스트 처리 단계의 주석이 달린 스크린샷에서 확인할 수 있습니다. 일반적인 ML 용어에 대한 자세한 정의는 용어집을 참조하세요. 
The data science platform used was RapidMiner Studio, version 9.6 (2020), educational license edition (RapidMiner, Inc, Boston, MA).18 RapidMiner is written in Java and used for data preparation, ML, and deployment of predictive models. Figure 1 depicts our project and ML workflow; annotated screenshot examples of workflows in RapidMiner can be seen in Supplemental Digital Content 1, Figure, https://links.lww.com/AA/D228, an annotated screenshot of RapidMiner workflow process to create data table for model development; and Supplemental Digital Content 2, Figure, https://links.lww.com/AA/D229, an annotated screenshot of the text processing steps taken in RapidMiner. Please see the glossary for detailed definitions of common ML terms.

 

aa_2020_09_25_mitchell_aa-d-20-01380_sdc1.pdf
0.08MB
aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc2.pdf
0.11MB


먼저 6가지 피드백 특성 각각에 대해 개별 예측 모델을 만들었습니다. 텍스트 처리 단계에서는 텍스트를 단어로 분리하고, 중요도가 낮은 단어를 제거하고(텍스트 처리 중에 제거되는 단어의 유형을 설명하는 보충 디지털 콘텐츠 3, 표, https://links.lww.com/AA/D230 참조), 스노우볼 알고리즘을 통해 어간이 같은 단어를 풀링하고1, 용어 빈도 역 문서 빈도(TF-IDF) 점수를 추출했습니다. TF-IDF는 단어와 문서의 관련성에 대한 가중치를 부여한 통계적 척도로, 문서 세트 전체에서 얼마나 자주 나타나는지에 따라 상쇄됩니다.2 TF-IDF 점수, 문자 길이, 코멘트의 의미 있는 단어 수는 피드백 특성을 감지하기 위한 예측 모델을 생성하기 위한 ML 알고리즘의 입력으로 사용되었습니다. 텍스트 처리로 생성된 테이블의 스크린샷 예시는 보충 디지털 콘텐츠 4, 그림, https://links.lww.com/AA/D231, 텍스트 처리로 생성된 단어 목록 테이블의 스크린샷과 보충 디지털 콘텐츠 5, 그림, https://links.lww.com/AA/D232, 텍스트 처리로 생성된 데이터 테이블의 스크린샷에서 확인할 수 있습니다. 
We first created individual predictive models for each of our 6 feedback traits. Text processing steps separated text into words, removed words with low significance (see Supplemental Digital Content 3, Table, https://links.lww.com/AA/D230, which describes types of words removed during text processing), pooled words with the same stem via Snowball algorithm,1 and extracted term frequency-inverse document frequency (TF-IDF) scores. TF-IDF is a weighted statistical measure of a word’s relevance to a document, offset by how frequently it appears across the set of documents.2 TF-IDF scores, character length, and number of meaningful words in comments were used as inputs for ML algorithms to create predictive models for detecting the presence of feedback traits. Screenshot examples of the tables generated from text processing can be seen in Supplemental Digital Content 4, Figure, https://links.lww.com/AA/D231, screenshot of a wordlist table generated from text processing; and Supplemental Digital Content 5, Figure, https://links.lww.com/AA/D232, screenshot of a data table generated from text processing.

aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc3.docx
0.02MB

 

aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc4.pdf
0.10MB
aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc5.pdf
0.22MB

예측 모델을 생성하기 위해 RapidMiner의 자동 모델 확장 기능이 사용되었습니다. 자동 모델은 사용 가능한 데이터의 60%를 사용하여 모델을 학습시키고, 40%의 데이터는 7개의 분리된 하위 집합으로 분할하여 생성된 모델의 점수를 매기기 위해 예약합니다. 가장 크고 성능이 우수한 하위 집합은 제거되고 나머지 5개 하위 집합의 평균 성능 메트릭이 보고됩니다. 이 접근 방식은 모델 타당성 검사 품질과 런타임의 균형을 맞춥니다. 또한 자동 모델은 관련 없는 입력을 제외하여 기능 선택을 최적화하여 정확도와 단순성을 높인 모델을 생성할 수 있습니다. 모델 학습에 도움이 되지 않는 변수를 식별한 후, 각 특성에는 특징 선택을 수행하기 전에 고려해야 할 21~23개의 입력이 있었습니다. 특징 선택에 할당된 시간은 자동 모델 실행당 30분으로 임의로 제한했으며, 이 프로세스는 감독을 필요로 하지 않았습니다. 
RapidMiner’s Auto Model extension was used to create our predictive models. Auto Model uses 60% of available data to train models; 40% of data is split into 7 disjointed subsets and reserved for scoring generated models. The largest and highest performing subsets are removed, and average performance metrics on the remaining 5 subsets are reported. This approach balances model validation quality and runtimes. Furthermore, Auto Model can optimize feature selection by excluding irrelevant inputs to create models with greater accuracy and simplicity. After identifying variables unlikely to help train models, each trait had 21–23 inputs to consider before performing feature selection. We limited time allotted for feature selection to an arbitrary 30 minutes per Auto Model run; this process did not require supervision.

초기 모델링 시도에서는 관찰된 우세한 클래스의 예측에 크게 치우쳐 데이터 세트에 과도하게 적합한 모델이 생성되었습니다. 예를 들어, 평가자들은 원래 코멘트의 75.7%를 전문성이나 커뮤니케이션과 관련이 없는 것으로 평가했는데, 모델은 단순히 모든 코멘트가 전문성이나 커뮤니케이션과 관련이 없는 것으로 예측함으로써 이러한 정확도를 달성할 수 있었고, 일부 경우에는 정확히 그렇게 했습니다. 이는 정확한 예측으로 인한 이익과 잘못된 예측으로 인한 비용의 합계를 최대화하는 것을 목표로 하는 모델에서 비롯된 것입니다.
Initial modeling attempts resulted in models that overfit datasets by heavily favoring the prediction of the observed predominant class. For example, raters originally scored 75.7% of our comments as not pertaining to professionalism or communication; models could achieve this accuracy by simply predicting all comments to not pertain to professionalism or communication, and did exactly that in some cases. This stemmed from models aiming to maximize the sum value of gains from correct predictions versus costs from wrong predictions.

이러한 클래스 불균형 문제를 해결하기 위해 각 모델을 생성하는 동안 비용 행렬을 조정하여 모델이 비우세 클래스를 정확하게 추측하는 데 더 높은 가치를 부여하고, 예시를 우세 클래스로 잘못 예측하는 데 더 큰 불이익을 주도록 했습니다.3 특성의 경우, 평가자가 특성이 존재한다고 언급한 코멘트와 그렇지 않은 코멘트의 비율에 따라 비용 행렬을 수정했습니다. 유용성의 경우, 각 유용성 점수 값에 대해 원래 평가자가 주어진 값으로 점수를 매긴 코멘트 수와 우세한 유용성 점수에서 코멘트 수의 비율을 기준으로 비용 매트릭스를 수정했습니다. 각 모델의 비용 매트릭스에 대한 자세한 내용은 특성 모델 개발의 비용 매트릭스를 자세히 설명하는 보충 디지털 콘텐츠 6과 유용성 모델 개발의 비용 매트릭스를 자세히 설명하는 보충 디지털 콘텐츠 7에 나와 있습니다.
To address this issue of class imbalance, we adjusted the cost matrix during each model generation so that models would place higher value in correctly guessing nonpredominant classes and more heavily penalize incorrectly predicting examples as the predominant class.3 For traits, cost matrices were modified based on the ratio of comments where traits were noted to be present by raters versus comments that were not. For utility, the cost matrix was modified for each utility score value based on the ratio of the number of comments scored as a given value by the original raters versus the number of comments in the predominant utility score. Details on each model’s cost matrix are displayed in Supplemental Digital Content 6, Table, https://links.lww.com/AA/D233, which details cost matrices for trait model development; and Supplemental Digital Content 7, Table, https://links.lww.com/AA/D234, which details the cost matrix for utility model development.

aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc6.docx
0.01MB
aa_2020_09_25_mitchell_aa-d-20-01380r2_sdc7.docx
0.01MB


유용성의 경우, 코멘트에 대한 텍스트 처리 워크플로우를 처음 시도했을 때 적합하지 않은 모델이 생성되었습니다. 따라서 6개의 피드백 특성 모델에서 생성된 신뢰도 점수 값을 사용하여 앙상블 모델을 생성하여 유용성 점수 예측을 생성했습니다.
For utility, initial attempts with our text processing workflow on comments generated ill-fitting models. We therefore created an ensemble model using confidence score values generated by the 6 feedback trait models to generate utility score predictions.

점수 모델
Scoring Models

모델을 생성한 후, 점수 데이터에서 가장 높은 순이익을 얻은 알고리즘을 선택했습니다. 유용성 범주와 품질 범주는 각각 유용성 점수와 특성 존재 여부에 대한 모델 예측에서 추정되었습니다. 6가지 피드백 특성, 유용성 범주 및 품질 범주 모두에 대해 원래 평가자와 모델 간의 평가자 간 일치도(정확도)를 계산했습니다. 유용성 점수의 경우, 평가자 간 일치도를 평가하고 앙상블 모델과 원래 평가자 간의 평균 절대 오차(MAE)와 평균 제곱 오차(RMSE)를 계산했습니다. 앙상블 모델이 코멘트 길이만을 기준으로 유용성 범주를 할당하지 않도록 하기 위해, 코멘트이 유용성이 높은 것으로 예측된 경우와 낮은 것으로 예측된 경우의 문자 수 사전 처리 통계를 비교했습니다. 
After generating models, we selected the algorithms with the highest net gains on the scoring data. Utility category and quality category were extrapolated from model predictions on utility score and trait presence respectively. Interrater agreement (accuracy) was calculated between the original raters and our models for all 6 feedback traits, utility category, and quality category. For utility score, we assessed the interrater agreement and calculated the mean absolute error (MAE), and root mean square error (RMSE) between our ensemble model and the original raters. To ensure the ensemble model was not assigning utility categories solely based on comment length, we compared statistics for character count pretext processing when comments were predicted as high- versus low-utility.

결과
RESULTS

피드백 특성 모델
Feedback Trait Models

 

최종 예측 모델의 구성과 해당 점수 하위 집합(n = 550)에 대한 성능에 관한 자세한 내용은 표 2에 설명되어 있습니다. 따옴표로 묶인 용어는 따옴표로 묶인 단어 어간의 TF-IDF 점수가 입력되었음을 나타냅니다. 민감도와 특이도의 경우, 양성 클래스는 특성 모델에 대해 "특성 존재"로 설정되었으며, 이러한 메트릭은 여러 클래스 값을 가진 유용성에는 적용되지 않았습니다. 6가지 피드백 특성의 존재 여부에 대한 평균 합산 일치도는 전체 데이터 세트(n = 1925)에서 4.6(표준 편차 1.3)이었으며 중앙값은 5였습니다. 피드백 특성 모델의 정확도는 74.4%에서 82.2%에 달했습니다. 
Details regarding the construction of our final predictive models and their performance on their scoring subsets (n = 550) are described in Table 2. Terms in quotes indicate the TF-IDF score of the quoted word stem was an input. For sensitivity and specificity, the positive class was set as “trait present” for the trait models; these metrics did not apply to utility with its multiple class values. Mean sum concordance on presence of the 6 feedback traits was 4.6 (standard deviation of 1.3) across the full dataset (n = 1925), with a median of 5. Feedback trait models had accuracies ranging from 74.4% to 82.2%.

유틸리티 점수 예측
Utility Score Predictions

채점 하위 집합에 대한 원래 평가자와 모델의 유용성 점수를 비교한 결과, 0.7 ± 0.9의 MAE와 1.2의 RMSE가 산출되었습니다. 유용성 예측은 채점 하위 집합에서 54.9%의 경우 원래 평가자의 정확한 점수와 일치했으며, 원래 평가자의 점수와 ±1점 이내로 일치한 예측의 수는 79.6%였습니다. 그림 2는 전체 데이터 세트(n = 1925)에서 예측된 유용성 점수의 분포를 원래 평가자와 비교한 것입니다. 원래 평가자의 유용성 점수는 평균 1.9점, 중앙값 1점(전체 코멘트의 50.6%가 원래 유용성 1점으로 평가됨), 표준편차 1.2점, 높은 양의 왜곡 값 1.10점, 첨도 0.1점이었습니다. 앙상블 모델의 예측된 유용성 점수는 평균 2.0, 중앙값 2, 표준편차 1.2, 중간 정도의 높은 양의 왜곡도 값 0.98, 첨도 -0.1이었습니다.
Comparing the original raters’ and our models’ utility scores on the scoring subset, we calculated an MAE of 0.7 ± 0.9 and RMSE of 1.2. Utility predictions matched the original raters’ exact scores 54.9% of the time on the scoring subset; the number of predictions that fell within ±1 point of the original rater’s score was 79.6%. Figure 2 compares the distribution of predicted utility scores to the original raters, on the full dataset (n = 1925). The original raters’ utility scores had a mean of 1.9, median of 1 (50.6% of all comments were originally rated as a 1 for utility), standard deviation of 1.2, high positive skewness value of 1.10, and kurtosis of 0.1. Our ensemble model’s predicted utility scores had a mean of 2.0, median of 2, standard deviation of 1.2, moderately high positive skewness value of 0.98, and kurtosis of −0.1.

표 3은 앙상블 모델의 유용성 예측에서 추정된 유용성 범주 지정을 전체 데이터 세트의 원래 평가자와 비교한 것입니다. 유용성 범주 예측에 대한 전반적인 정확도는 82.1%였으며, 의견 불일치는 주로 모델이 코멘트을 유용성이 높은 것으로 분류할 때 발생했습니다. 특성이 더 정확하게 예측된 코멘트의 경우 유용성 범주 예측 정확도가 향상되었습니다.

Table 3 compares utility category designations as extrapolated from the ensemble model’s utility predictions compared to the original raters on the full dataset. Overall accuracy on utility category predictions was 82.1%; disagreement primarily occurred when our model classified comments as high-utility. Accuracy on utility category predictions improved for comments with more correct trait predictions.

모델에서

  • 활용도가 높은 것으로 분류된 코멘트의 글자 수 중앙값은 499개, 사 분위수 범위는 389~693개, 총 범위는 119~1493개였으며, 
  • 활용도가 낮은 것으로 분류된 코멘트의 글자 수 중앙값은 159개, 사 분위수 범위는 60~220개, 총 범위는 4~736개였습니다. 

활용도가 높은 예측과 낮은 예측의 범위가 겹친다는 것은 모델이 코멘트 길이만을 기준으로 활용도 분류를 지정하지 않았음을 보여주지만, 중앙값이 해당 사분위수 범위 내에 속하지 않는 것을 관찰했습니다.

Comments our model classified as

  • high-utility had a median character count of 499, interquartile range of 389–693, and total range of 119–1493;
  • low-utility classifications had a median character count of 159, interquartile range of 60–220, and total range of 4–736.

Overlapping ranges between high- and low-utility predictions show the model did not assign utility category based solely on comment length, although we observed the medians did not fall within their counterpart’s interquartile ranges.

피드백 품질 비교
Feedback Quality Comparison

 

또한 코멘트 데이터에 모델을 적용하여 원래 평가자가 평가한 코멘트의 품질이 높거나 낮은 것으로 간주되는 코멘트을 예측 모델과 비교하여 피드백 품질을 평가했습니다. 표 4는 전체 데이터 세트에서 원래 평가자와 비교한 모델의 예측 결과를 보여줍니다. 피드백 품질 예측에 대한 전반적인 정확도는 78.5%였으며, 불일치는 주로 모델이 코멘트을 고품질로 분류할 때 발생했습니다.
Our models were also applied to the comment data to assess feedback quality by comparing comments considered to be high-/low-quality as scored by our original raters versus our predictive models. Table 4 displays the model’s predictions compared to the original raters on the full dataset. Overall accuracy on feedback quality predictions was 78.5%; disagreement primarily occurred when our model classified comments as high-quality.

모델 생성에 소요된 시간
Time Spent Creating Models

모든 모델은 ML에 대한 공식적인 배경 지식이 없는 연구 조교 한 명이 15~20시간에 걸쳐 만들었습니다. 여기에는 소프트웨어에 익숙해지고, 초기 프로토타입을 만들고, 문제를 해결하는 데 소요된 시간이 포함되었습니다. 시간의 상당 부분은 자동 모델에서 30분 기능 선택 설정으로 무감독 상태에서 모델을 생성하는 데 사용되었습니다. 이 프로그램은 데이터를 읽고, 모델을 적용하고, 몇 분 안에 예측을 생성했습니다.
All models were created in 15–20 hours by a single research assistant (M.J.C.), who did not have a formal background in ML. This included time spent becoming familiar with software, creating initial prototypes, and troubleshooting. A significant portion of time involved Auto Model generating models with our 30-minute feature selection setting while unsupervised. The program read data, applied models, and generated predictions within minutes.

토론
DISCUSSION

기존 피드백의 품질과 유용성을 평가하는 것은 향후 피드백을 개선하는 데 있어 매우 중요합니다. 일관되고 신속한 피드백 평가는 평가자 간 변동성을 줄이고 개입의 정량적 평가를 높여 교육 연구를 용이하게 합니다. ML을 사용하면 피드백 평가와 관련된 시간 문제를 해결할 수 있습니다. 예측 모델을 만들고, 이전에 채점된 코멘트를 분석하고, 모델의 성능을 분석하는 데 사용되는 이론과 소프트웨어에 익숙해지는 데는 초기 시간 투자가 필요합니다. 하지만 이러한 투자는 큰 결실을 맺을 수 있습니다. 숙련된 평가자가 200개의 코멘트을 신중하게 평가하는 데 2주 동안 누적 15시간이 걸렸습니다. 반면, 저희는 15~20시간 내에 수천 개의 코멘트을 단 몇 분 만에 평가할 수 있는 모든 예측 모델을 만들었습니다. 
Assessing quality and utility of existing feedback is pivotal in improving future feedback. Consistent, rapid assessment of feedback facilitates educational research by reducing interrater variability and increasing quantitative assessment of interventions. Using ML can address time issues associated with feedback assessment. There is an initial time investment required to become familiar with the theory and software used to create predictive models, analyze previously scored comments, and analyze performance of models. However, this investment may result in great dividends. It took our experienced rater a cumulative 15 hours during 2 weeks to carefully assess 200 comments. In contrast, within 15–20 hours, we created all our predictive models that can evaluate thousands of comments in minutes.

ML을 활용하려면 모델 생성 및 해석을 이해하는 데 상당한 수준의 기술 전문 지식이 필요하다는 우려가 있을 수 있지만, 저희의 경험은 그렇지 않았습니다.19,20 공개 온라인 리소스에서 필요한 지식과 기술을 쉽게 습득할 수 있었습니다.1-3,21,22 5시간의 자기 주도 학습만으로도 이러한 작업을 수행하는 데 필요한 기본 개념을 익힐 수 있습니다. 이전에 검토된 1925개의 기존 피드백 코멘트를 사용하여 모델을 훈련하고 점수를 매겼습니다. 그러나 이러한 노력을 반영하고자 하는 교육자는 자체 모델을 생성하는 데 많은 코멘트가 필요하지 않습니다. 150개의 코멘트로 훈련된 이전의 유틸리티 예측 모델에서도 유사한 유틸리티 카테고리 예측 성능을 보였습니다. 이번 연구는 ML이 서면 피드백과 같은 정성적 데이터를 객관적으로 평가하기 위한 교육 연구와 같이 이전에 잘 알려지지 않은 영역에 적용될 수 있음을 보여줍니다. 교육 및 디브리핑 세션의 주제별 분석과 같이 의학교육 연구의 다른 텍스트 기반 데이터에도 유사한 모델을 적용할 수 있습니다. 
While there may be concerns that utilizing ML requires significant levels of technical expertise to understand model creation and interpretation, this was not our experience.19,20 We were able to easily acquire requisite knowledge and skills from open online resources.1–3,21,22 Five hours of self-directed learning is sufficient to learn basic concepts needed to undertake these efforts. A preexisting bank of 1925 previously reviewed feedback comments was used to train and score models. However, educators wishing to mirror these efforts do not need as many comments to generate their own models; an earlier utility prediction model trained on just 150 comments resulted in similar utility category prediction performance. Our study illustrates that ML can be applied in previously underexplored areas, such as in education research to objectively assess qualitative data such as written feedback. Similar models could be applied to other text-based data in medical education research, such as thematic analyses of training and debriefing sessions.

ML을 사용하여 피드백 교육을 통해 혜택을 받을 수 있는 교수진을 식별하는 것이 목표이므로, 품질과 유용성이 낮은 피드백과 높은 피드백을 구분할 수 있는 임계값을 설정해야 합니다. 식별된 특성이 4개 이상인 경우 고품질, 점수가 4개 이상인 경우 높은 유용성에 대한 임계값을 결정한 것은 모든 평가자가 레지던트의 성장을 촉진하기 위해 탁월한 피드백을 남기기를 바라는 마음에서였습니다. 프로그램은 기관에 적합한 임계값과 생성된 예측의 용도를 고려해야 합니다. 
With our goal of using ML to identify faculty who could benefit from feedback training, we inevitably must set a threshold to differentiate lower quality and utility feedback from higher. Decisions of thresholds for high-quality at ≥4 traits identified and high-utility at scores ≥4 were based on desiring all our evaluators leave exceptional feedback to promote resident growth. Programs should consider thresholds appropriate for their institutions and intended applications of generated predictions.

코멘트이 길수록 활용도가 높은 것으로 분류될 가능성이 높았지만, 활용도가 [높은 것으로 예측된 코멘트]와 [낮은 것으로 예측된 코멘트]의 글자 수 사분위수 범위가 겹치는 것에서 알 수 있듯이 길이가 활용도 범주를 결정하는 유일한 요소는 아니었습니다. 활용도 예측은 특성 존재 예측의 신뢰도 점수에서 생성되었으며, 이러한 신뢰도 점수는 코멘트 길이와 관련 단어 어간의 TF-IDF 점수 모두에 의해 생성되었습니다. 따라서 관련 단어 어간의 TF-IDF 점수가 충분히 높으면 짧은 코멘트도 특성이 있는 것으로 분류될 수 있고 그 반대의 경우도 마찬가지입니다. 그러나 코멘트 길이가 6개 특성 모델 중 5개 모델에서 가장 가중치가 높은 입력이라는 점과 활용도가 낮은 예측과 높은 예측의 문자 수 중앙값이 해당 사분위수 범위 내에 속하지 않는다는 점에서 알 수 있듯이 코멘트 길이는 여전히 주요 요인으로 작용했습니다. 
While longer comments were more likely to be classified as high utility, length was not the sole deciding factor for utility category as evidenced by overlapping interquartile ranges of character count for comments predicted to be high and low utility. Utility predictions were generated from confidence scores of trait presence predictions, and those confidence scores were generated by both comment length and TF-IDF scores of relevant word stems. Therefore, if TF-IDF scores of relevant word stems were high enough, short comments could still be classified as having traits present and vice versa. However, comment length was still a major factor as evidenced by how it was the most heavily weighted input for 5 of 6 trait models, and how median character counts of low and high utility predictions did not fall within their counterparts’ interquartile ranges.

잠재적 응용 분야
Potential Applications

저희는 ML을 사용하여 피드백 배치를 주기적으로 검토하고 예측된 평가를 분석하여 교수진의 피드백을 개선하는 데 도움을 줄 수 있을 것으로 기대하고 있습니다.

  • 이 도구는 많은 데이터를 신속하고 표준화된 방식으로 평가할 수 있기 때문에 피드백의 질에 초점을 맞춰 개입을 평가하는 연구 프로젝트에 유용할 수 있습니다.
  • ML 피드백 평가의 더 즉각적인 활용은 양질의 피드백 제공에 대한 교수진 개발 및 교육을 지원하고 개입 대상을 식별하는 것입니다. 지속적으로 수준 이하의 피드백을 남기는 교수진은 자신의 피드백에 대한 보다 객관적인 검토를 받을 수 있으며, 이를 통해 피드백 기술을 개선하도록 유도할 수 있습니다.
  • 또 다른 응용 분야로는 교수진이 입력 시스템에 피드백을 제출한 직후 예측 모델이 해당 코멘트에 점수를 매기는 방식에 대한 피드백 제출 후 즉시 보고서를 제공하는 것입니다.
  • 마지막으로, 실시간 '피드백 지원' 도구를 전자 피드백 양식에 구현하여 교수진이 더 높은 활용도/높은 품질의 피드백을 작성할 수 있도록 지원할 수 있습니다. 이 프로젝트는 우리가 일반적으로 보아왔던 전통적인 수치 데이터 애플리케이션 외에도 텍스트 기반 및 주관적인 데이터 요소에도 ML을 적용할 수 있다는 희망적인 징후를 보여줍니다. 

We envision using ML to assist periodic reviews of feedback batches, and analyzing the predicted assessments to improve faculty feedback.

  • This tool can be helpful in research projects that focus assessing interventions on quality of feedback, as it allows rapid and standardized assessment of many pieces of data.
  • A perhaps more immediately gratifying use of ML feedback assessment would be to assist in faculty development and education on providing quality feedback and identify targets for intervention. Faculty who are consistently leaving subpar feedback could receive a more objective review of their feedback that may be received more openly that may prompt improvement in feedback techniques.
  • Another application could be providing faculty with an immediate postfeedback-submission report on how the predictive models would score the comment, immediately after submitting feedback in the entry system.
  • Finally, a real-time “feedback assist” tool could be implemented in electronic feedback forms to help faculty craft higher utility/higher quality feedback. Our project offers promising signs that ML can also be applied to more text-based and subjective data points, in addition to the more traditional numerical data applications we typically have seen.

제한 사항
Limitations

최적의 기능 집합을 찾기 위해 수천 개의 모델을 생성하는 자동 모델 생성 프로세스에 상당한 시간이 소요되었습니다. 각 모델 생성에 대한 기능 선택을 위해 자동 모델을 임의로 30분으로 제한했습니다. 자동 모델은 컴퓨터의 리소스를 많이 사용할 수 있으므로 시스템 또는 소프트웨어 오류를 방지하기 위해 실행 중에는 컴퓨터가 프로그램에만 전념하도록 하는 것이 좋습니다. 모델링과 텍스트 처리는 자동 모델 없이도 Python이나 R과 같은 무료 프로그래밍 언어를 사용하여 수행할 수 있습니다. 
Significant time was attributable to the Auto Model generation process, which created thousands of models to find optimal feature sets. We arbitrarily limited Auto Model to 30 additional minutes for feature selection for each model generation. Auto Model can be resource intensive on computers; we advise computers be solely dedicated to the program during runs to avoid systemic or software failure. Modeling and text processing can still be performed without Auto Model, and in free programming languages such as Python or R.

제한된 인구통계 정보만 수집했기 때문에 소수자나 취약 계층에 대한 모델의 의도치 않은 편향성을 평가할 수 없었습니다. 향후 피드백 분석 프로젝트에서는 모델 개발 과정에서 의도치 않게 발생할 수 있는 이러한 잠재적 편향성을 확인하기 위해 하위 그룹 분석을 모색할 계획입니다. 
As we only collected limited demographics information, we could not assess for inadvertent biases of models with respect to minorities or vulnerable populations. In future feedback analysis projects, we aim to explore subgroup analyses to check for such potential biases that may inadvertently be developed during model development.

평가자가 코멘트을 '인위적으로' 길게 늘리거나 유행어를 사용하여 예측 모델을 속이려고 시도할 가능성이 있습니다. 이러한 가능성은 ML의 일반적인 문제입니다.23,24 그러나 피드백 샘플을 주기적으로 수동으로 검토하면 모델이 코멘트을 적절하게 분류하고 있는지 확인하여 이러한 시도를 방지할 수 있습니다. 이상적인 미래 모델은 코멘트 길이 대신 특징 단어의 TF-IDF 점수에 더 많이 의존함으로써 잠재적인 조작에 대해 더욱 강력해질 것입니다.
There is a possibility that evaluators could try to fool the predictive models by “artificially” lengthening their comments and using buzzwords; such a possibility is a general problem for ML.23,24 However, periodic manual reviews of feedback samples can safeguard against those attempts by verifying whether models are appropriately classifying comments. Ideally, future models will be more robust against potential manipulations by relying more on TF-IDF scores of feature words instead of comment length.

표 3에서 볼 수 있듯이, 앙상블 모델의 정확도 손실은 대부분 활용도가 높은 코멘트에 대한 예측에서 비롯되었습니다. 이 모델은 합산 일치도가 높은 코멘트에 대해 정확도, 민감도, 특이도가 더 높았지만, 합산 일치도와 관계없이 활용도가 높은 코멘트을 예측할 때 클래스 정밀도는 떨어지는 경향이 있었습니다. 향후 모델에서는 이러한 측면을 개선하고자 합니다. 한 가지 접근 방식은 인간 평가자를 예측 모델로 완전히 대체하는 대신, 예측 모델을 사용하여 표준 방식으로 대량의 피드백을 선별한 다음, 인간 평가자가 수동으로 선택적으로 재평가할 수 있는 하이브리드 접근 방식으로 ML을 사용하는 것입니다. 

As seen in Table 3, most of the ensemble model’s loss in accuracy came from its predictions for high-utility comments. While this model had higher accuracy, sensitivity, and specificity for comments on which the sum concordance was higher, class precision when predicting comments to be high-utility tended to be poor regardless of sum concordance. We hope to improve on this aspect in future models. One approach is to use ML in a hybrid approach that uses our predictive models to screen large amounts of feedback in a standard way, which can then be selectively reassessed by human raters manually, rather than completely replace human raters with predictive models.

모델 성능을 개선할 수 있는 잠재적 방법
Potential Ways to Improve Model Performance

텍스트 처리 워크플로에서는 단어가 어떻게 사용되는지에 대한 문맥적 구분을 하지 않았습니다. 예를 들어, "계획을 직원에게 명확하게 전달했습니다"는 긍정적 피드백에서는 "전달하다"를 사용하는 반면, "계획을 직원에게 전달하는 것을 잊지 마세요"는 부정적 피드백에서 사용되는 단어를 나타냅니다. 또한 문법적 문맥을 구분하기 위해 품사별로 단어를 태그하지 않았습니다. 예를 들어 "환자를 주의 깊게 배치했습니다."와 "훌륭한 간호를 제공했습니다."에서 "간호"는 다르게 사용됩니다. 이로 인해 잘못된 예측이 발생할 수 있으며, 부정적인 피드백을 감지하는 것이 우려되는 영역입니다. 자연어 처리NLP 도구를 통합하면 단어가 어떻게 사용되는지 구별하는 데 도움이 되지만, 선택할 수 있는 특징feature의 수가 다양해지기 때문에 더 복잡한 모델을 생성해야 합니다. 특징 선택feature selection 은 모델 개발에 매우 중요하므로, 모델 성능을 향상시킬 수 있는 특징을 식별하는 동시에 모델 성능과 런타임을 악화시키는 관련 없는 특징을 제거할 수 있도록 텍스트 처리 접근 방식을 재평가해야 합니다. 또한 여러 센터에서 다양한 양식의 피드백을 통합하여 텍스트 셀에 긍정적인 피드백이나 부정적인 피드백을 기록하는 영역을 구분하지 않았습니다. 향후 피드백 검토에서는 '긍정적' 피드백과 '부정적' 피드백을 위한 별도의 텍스트 필드를 사용할 것입니다. 
Our text processing workflow did not make contextual distinctions on how words were used. For example, “You clearly communicated your plan with the staff” uses “communicate” in positive feedback, whereas “Remember to communicate your plan with the staff” indicates the word used in negative feedback. Also, we did not tag words by part of speech to differentiate grammatical contexts. For example, “care” is used differently in “You carefully positioned patients” versus “You provided excellent care.” This can result in false predictions—with an area of concern being detecting negative feedback. Incorporating natural language processing tools would help distinguish how words are being used, but would require more complex model generation as the number of features to select from become more diverse. As feature selection is crucial to model development, we would have to reevaluate our text processing approach to ensure we strike a balance between identifying features that can improve model performance while removing irrelevant features that would only worsen model performance and runtimes. Additionally, we combined feedback from different forms from multiple centers, so the text cells did not separate areas to note positive feedback or negative feedback. In future feedback review, we would use separate text fields for “positive” and “negative” feedback.

훈련 데이터세트에서 관찰된 클래스 비율에 따라 비용/이득 값을 조정하여 클래스 불균형을 설명하는 간단한 방법을 사용했습니다. 비용 행렬은 알고리즘이 이득을 위한 최적의 모델을 결정하는 방법을 결정하므로, 비용 행렬을 설정하는 데 다른, 잠재적으로 더 복잡한 접근 방식을 사용하면 모델 성능이 크게 달라질 수 있습니다. 예를 들어,

  • 유틸리티 비용 행렬을 조정하여 오분류에 대해 2점 이상 더 큰 불이익을 주면 잠재적으로 인간 평가자의 점수에 더 근접한 예측을 할 수 있습니다.
  • 또한 다수majority 클래스에서 예시를 제거하는 다운샘플링이나 소수minority 클래스에서 무작위로 예시를 복제하여 강화하는 업샘플링과 같이 클래스 불균형을 해결하기 위한 다른 기법도 존재합니다. 

We used a straightforward way of accounting for class imbalance by adjusting cost/gain values based on the class ratios observed in the training dataset. Cost matrices dictate how algorithms determine the optimal model for gains, so using a different, potentially more complex approach to setting the cost matrix could lead to vastly different model performance.

  • For example, the utility cost matrix could be adjusted to more heavily penalize misclassifications by ≥ 2 points, potentially making predictions closer to the human raters’ scores.
  • Additionally, other techniques to address class imbalance exist such as downsampling, which removes examples from majority classes, or upsampling, which duplicates random examples from the minority classes to reinforce them.

이러한 모델의 잠재적인 결함에도 불구하고 75% 이상의 코멘트이 6개 중 4개 이상의 특성에서 원래 평가자와 모델의 예측이 일치했습니다. 이러한 모델을 사용하여 피드백 품질을 예측한 결과, 품질이 낮은 피드백을 식별하는 민감도가 86.1%로 높았으며, 유용성 범주를 예측하는 앙상블 모델의 경우 유용성이 낮은 피드백을 식별하는 민감도가 89.2%로 높았습니다. ML에 대한 공식적인 배경 지식이 없음에도 불구하고 적은 시간을 투자하여 저품질/저유용성 피드백을 안정적으로 선별하는 모델을 생성할 수 있는 능력은 유사한 작업에 관심이 있는 다른 프로그램에도 영감을 줄 수 있을 것입니다. 고급 기술을 추가하면 성능이 향상될 수 있지만, 저희 모델은 이러한 기술을 추가하지 않고도 저품질(85.0%)/저유용성(89.8%) 코멘트을 예측하는 높은 수준의 정확도를 달성할 수 있었습니다. 따라서 특정 기간 동안 평가자가 모델에 의해 저품질/저유용성으로 표시된 코멘트의 비율이 높다면, 해당 평가자가 실제로 수준 이하의 피드백을 남기는 것은 아닌지 의심해 볼 수 있습니다.
In spite of the potential flaws in these models, more than 75% of comments had concordance on 4 or more traits out of 6 between the original raters’ and the models’ predictions. Using those models to predict feedback quality resulted in a high sensitivity for identifying low-quality feedback (86.1%), and the ensemble model for predicting utility category had high sensitivity for identifying low-utility feedback (89.2%). Our ability to generate models to reliably screen for low-quality/low-utility feedback with a modest time investment, despite not having formal backgrounds in ML, should encourage other programs interested in similar pursuits. While additional advanced techniques could improve performance, our models were still able to achieve a high class precision for predicting low-quality (85.0%)/low-utility (89.8%) comments without them. Therefore, if an evaluator has a high proportion of comments during a given span flagged as low-quality/low-utility by models, there would be reasonable concern about that evaluator truly leaving subpar feedback.

활용도가 높은 피드백을 분석하는 것은 레지던트 성과에 대한 개선 계획을 개발할 수 있는 중요한 가치가 있습니다. 활용도가 높은 피드백을 정확하게 식별하는 모델의 기능을 개선하는 것은 향후 연구해야 할 또 다른 영역입니다. 향후 모델의 반복 학습을 위해 활용도가 높은 피드백의 예를 더 많이 수집하면 성능이 향상될 수 있습니다. 
There is significant value in analyzing high-utility feedback, which can develop improvement plans for resident performance. Improving our model’s ability to correctly identify high-utility feedback is another area for future investigation. Collecting more examples of high-utility feedback to train future iterations of the model may improve performance.

결론
CONCLUSIONS

ML 예측 모델링 접근 방식은 높은 민감도로 활용도가 낮은 피드백을 빠르게 식별하고 허용 가능한 민감도로 품질이 낮은 피드백을 빠르게 식별할 수 있었습니다. 이러한 발전은 피드백을 더욱 신속하게 평가하고 피드백의 유용성과 품질을 개선하기 위한 노력에 도움이 될 것입니다. 저희는 시간이 지남에 따라 이 모델을 개선하여 전 세계적으로 그리고 개별 교수진별로 피드백 제공의 유용성과 품질을 선별하고 평가하는 데 사용하는 것을 목표로 하고 있습니다. 
A ML predictive modeling approach was able to rapidly identify low-utility feedback with high sensitivity and low-quality feedback with acceptable sensitivity. This advancement will allow for more rapid assessment of feedback and aid efforts to improve feedback utility and quality. We aim to enhance this model over time and use it to screen and assess the utility and quality of feedback provision, both globally and by individual faculty.

 


 

 

Anesth Analg. 2021 Feb 1;132(2):545-555. doi: 10.1213/ANE.0000000000005265.

 

 

Using Machine Learning to Evaluate Attending Feedback on Resident Performance

Affiliations collapse

1From the Department of Anesthesiology, Beth Israel Deaconess Medical Center, Boston, Massachusetts.

2Department of Anesthesiology, Queen's Medical Center, Honolulu, Hawaii.

3Department of Anesthesiology, University of Rochester Medical Center, Rochester, New York.

4Department of Anesthesiology, University of Kentucky College of Medicine, Lexington, Kentucky.

5Department of Anesthesiology and Pediatrics, University of California, San Diego, San Diego, California.

6Department of Anesthesiology, University of Florida-Jacksonville, Jacksonville, Florida.

7Department of Anesthesiology, Albany Medical College, Albany, New York.

PMID: 33323789

DOI: 10.1213/ANE.0000000000005265

Abstract

Background: High-quality and high-utility feedback allows for the development of improvement plans for trainees. The current manual assessment of the quality of this feedback is time consuming and subjective. We propose the use of machine learning to rapidly distinguish the quality of attending feedback on resident performance.

Methods: Using a preexisting databank of 1925 manually reviewed feedback comments from 4 anesthesiology residency programs, we trained machine learning models to predict whether comments contained 6 predefined feedback traits (actionable, behavior focused, detailed, negative feedback, professionalism/communication, and specific) and predict the utility score of the comment on a scale of 1-5. Comments with ≥4 feedback traits were classified as high-quality and comments with ≥4 utility scores were classified as high-utility; otherwise comments were considered low-quality or low-utility, respectively. We used RapidMiner Studio (RapidMiner, Inc, Boston, MA), a data science platform, to train, validate, and score performance of models.

Results: Models for predicting the presence of feedback traits had accuracies of 74.4%-82.2%. Predictions on utility category were 82.1% accurate, with 89.2% sensitivity, and 89.8% class precision for low-utility predictions. Predictions on quality category were 78.5% accurate, with 86.1% sensitivity, and 85.0% class precision for low-quality predictions. Fifteen to 20 hours were spent by a research assistant with no prior experience in machine learning to become familiar with software, create models, and review performance on predictions made. The program read data, applied models, and generated predictions within minutes. In contrast, a recent manual feedback scoring effort by an author took 15 hours to manually collate and score 200 comments during the course of 2 weeks.

Conclusions: Harnessing the potential of machine learning allows for rapid assessment of attending feedback on resident performance. Using predictive models to rapidly screen for low-quality and low-utility feedback can aid programs in improving feedback provision, both globally and by individual faculty.

인공지능 학술활동: 보건의료전문직 연구에서 LLM (Adv Health Sci Educ Theory Pract. 2023)
Artificial scholarship: LLMs in health professions education research
Rachel H. Ellaway1 · Martin Tolsgaard2

0

이 사설은 누가 썼나요? 저자로 우리 두 명이 이름을 올렸는데, 이 논문이 인공지능(AI)이 작성한 것이 아니라고 어떻게 확신할 수 있을까요? 아니면 AI가 공개되지 않은 제3의 저자였다면 어떻게 해야 할까요? 또는 이 논문이 작성된 시점부터 여러분 앞에 도착할 때까지 여러 AI에 의해 편집되었다면 어떻게 해야 할까요? 인간과 기계를 구분할 수 없거나 학술 논문이 인간과 AI가 생성한 자료의 혼합물인 경우 이 작업은 어떤 권한을 갖나요? 이러한 작업에 대한 책임은 누가 지나요? 학문에 어떤 영향을 미칠까요? 이것이 이 사설의 출발점입니다. 
Who wrote this editorial? There are two of us named as authors, but how can you tell that this paper wasn’t written by a some kind of artificial intelligence (AI)? Or perhaps an AI was an undisclosed third author, what then? Or what if this paper has been edited by multiple AIs between the time we wrote it and it arrived in front of you? What authority does this work have if you cannot tell humans from machines, or you cannot tell when an academic paper is a hybrid of human and AI generated material? Who is accountable for such work? What are the implications for scholarship? These are the starting points for this editorial.

우려 사항
Concerns

인공지능에 대한 실질적인 연구와 개발은 차치하고서라도, 인공지능은 오랫동안 문화적 밈이 되어 왔으며, 거의 항상 위협적인 존재로 묘사되어 왔습니다(예: HAL, 매트릭스, 다양한 터미네이터, 울트론 등). 인공지능을 실제로 만나기 시작한 지금, 인공지능이 유용한 기술인지 아니면 실존하는 위협인지에 대해 의견이 분분한 것은 당연한 일입니다. 그렇다면 '인공지능'이란 무엇을 의미할까요? 현재 대부분의 대화는 대규모 언어 모델(LLM)로 알려진 도구 제품군 중 가장 잘 알려진 ChatGPT를 언급하고 있으며, 다른 도구로는 Google Bard와 Microsoft Bing 등이 있습니다. 이러한 LLM은 복잡한 텍스트 입력을 처리하고 사람이 생성한 것과 구별하기 어려운 텍스트 응답을 제공할 수 있습니다. 이러한 새로운 LLM의 힘과 능력 때문에 Springer Nature(출판사)는 출판하는 논문에 LLM을 저자로 등재하는 것을 금지하고 있습니다: 
Setting aside the substantial research and development into AI, artificial intelligence has long been a cultural meme, almost always portrayed in terms of a threat (such as HAL, The Matrix, various Terminators, and Ultron, to name but a few). Not surprisingly then, now that we are beginning to encounter very real artificial intelligences, opinions are divided as to whether they are useful technologies or existential threats. But what do we mean by ‘AI’? Currently, much of the conversation refers to ChatGPT, which is currently the best known of a family of tools known as large language models (LLMs); others include Google Bard and Microsoft Bing. These LLMs can process complex textual inputs and provide textual responses that can be hard to distinguish from those generated by humans. Such is the power and capacity of these emerging LLMs that Springer Nature (our publisher) has banned LLMs from being listed as authors on articles it publishes:

"첫째, 어떤 LLM 도구도 연구 논문의 공저자로 인정되지 않습니다. 저자의 귀속에는 작업에 대한 책임이 수반되며, 기계로서의 AI는 그러한 책임을 가질 수 없기 때문입니다. 둘째, LLM 도구를 사용하는 연구자는 방법 또는 인정 섹션에 이러한 사용을 문서화해야 합니다." (Anon 2023)
“First, no LLM tool will be accepted as a credited author on a research paper. That is because any attribution of authorship carries with it the expectation of accountability for the work, and AIs as machines cannot have such responsibility. Second, researchers using LLM tools should document this use in the methods or acknowledgements sections.”
 (Anon 2023)

실제로 우리는 이미 학술 논문을 작성하기 위해 LLM을 사용하는 연구자들과 비인간 저자를 식별하고 잠재적으로 차단하기 위해 LLM 탐지 도구를 개발하는 출판사 간에 군비 경쟁을 벌이고 있는 것처럼 보입니다. AI를 활용하는 학자와 그렇지 않은 학자를 구분하는 것이 중요한 이유는 무엇일까요? 기존의 LLM이 진정으로 생성적이라고 가정한다면(물론 새로운 구성이긴 하지만 이미 쓰여진 것을 재현하는 경우가 많기 때문에 과장된 표현일 수 있습니다), 이러한 이유만으로 그들의 도움을 받아 생산된 과학이 반드시 열등한 것일까요? 이전 시대에도 비슷한 우려가 제기되었습니다(예: 라디오, 텔레비전 또는 인터넷을 도입할 때)(Rosen et al., 1987). 다시 말해, LLM이 사람보다 더 잘 쓰여지고, 편향성이 적고, 간결하고, 접근성이 높은 논문을 작성할 수 있다면 그 논문이 더 우수한 결과물이 아닐까요? 물론 이것은 글쓰기의 '방법'과 '내용'을 분리하는 것으로, LLM이 잘 쓰여진 논문을 작성할 수 있을지는 몰라도 무엇을 쓰고 있는지, 정보와 아이디어가 어디에서 나오는지에 대한 의문은 여전히 남아 있습니다. 이는 논문에 이름을 올린 모든 저자가 반드시 지켜야 할 학술적 저자에 대한 ICMJE의 권고 사항의 기본 원칙입니다: 
Indeed, we already seem to be in an arms race between those using LLMs to generate academic papers and publishers developing LLM detection tools to identify and presumably stop non-human authorship. Why is it important to distinguish between AI-augmented scholars and those who are not using AI? Assuming that the existing LLMs are truly generative (which admittedly may be a stretch since they often reproduce what has already been written, albeit in new configurations), is the science produced with their help necessarily inferior for this reason alone? Similar concerns were voiced in previous eras (for example, when introducing the radio, television, or the Internet (Rosen et al., 1987). Put another way, if an LLM can produce a paper that is better written, less biased, more concise, and more accessible than a human can then is that not a superior product? Of course, this separates the ‘how?’ of writing from the ‘what?’, an LLM might be able to produce a well-written paper but there is still the question as to what is being written about and where the information and ideas come from. It is a fundamental tenet of the ICMJE’s recommendations on academic authorship that all named authors on a paper have made:

"저작물의 개념 또는 설계, 또는 저작물을 위한 데이터의 수집, 분석 또는 해석에 대한 실질적인 기여, 저작물의 초안 작성 또는 중요한 지적 내용에 대한 비판적 수정, 출판될 버전의 최종 승인, 저작물의 정확성 또는 무결성과 관련된 문제가 적절히 조사되고 해결될 수 있도록 저작물의 모든 측면에 대해 책임을 지는 데 동의합니다." (ICMJE nd)
“Substantial contributions to the conception or design of the work; or the acquisition, analysis, or interpretation of data for the work; AND drafting the work or revising it critically for important intellectual content; AND final approval of the version to be published; AND agreement to be accountable for all aspects of the work in ensuring that questions related to the accuracy or integrity of any part of the work are appropriately investigated and resolved.”
 (ICMJE nd)



이를 위해서는 LLM이 연구를 공동 설계하고, 연구 실행에 밀접하게 참여했으며, 논문 작성에 밀접하게 관여하고, 논문을 승인하고, 저자가 될 자격을 갖추기 위해 책임을 져야 합니다. 저술에 기여하는 것만으로는 충분하지 않습니다. AHSE는 ICMJE의 권고사항을 전적으로 지지하며, 이러한 권고사항은 저자의 역량에 중점을 두고 있습니다. 이번 호의 '누가 이 논문의 저자가 되어야 하는가'에 대한 질문과 답변 기사도 참조하시기 바랍니다(Kuper 외. 이번 호).
This would require an LLM to have co-designed a study, been intimately part of its execution, been intimately involved in writing the paper, approved it, and stood accountable for it to be eligible to be an author. Contributing to the writing alone is not sufficient. AHSE fully supports the ICMJE recommendations and these firmly centre on the capabilities of human authors. Please also see this issue’s Questions and Queries article on ‘Who Should Be an Author on This Paper?’ (Kuper et al. THIS ISSUE).

스프링거 네이처에 게재된 논문을 포함하여 출판되고 있는 많은 입장 논문과 관점에서는 이러한 문제만이 제기되고 있는 것은 아닙니다. 예를 들어, Seghier 단일 언어(영어)와 문화(미국)가 지배하는 기술에 대한 형평성과 문화적 우려에 대해 언급했습니다:
These are not the only issues being raised in the many position papers and perspectives being published including those in our own Springer Nature imprint (see https://www.nature.com/search?q=chatgpt&order=relevance) For instance, Seghier noted equity and cultural concerns of a technology dominated by a single language (English) and culture (US):

"프랑스어와 아랍어는 세계에서 가장 일반적으로 사용되는 언어 중 하나이며 인터넷에서 널리 사용되고 있습니다. 하지만 ChatGPT에서 두 언어의 풍부한 응답과 글의 명료성은 영어에 비해 현저히 떨어졌습니다." (세기어 2023)
“French and Arabic are among the world’s most commonly spoken languages and they have a widespread presence on the Internet. However, the richness of ChatGPT’s response and the intelligibility of its writing in both languages were notably inferior to those in English.”
 (Seghier 2023)

잠재적 이점
Potential benefits

'기계의 부상'을 두려워하고 저항해야 할까요? 글쎄요, 반드시 그럴 필요는 없습니다. LLM이 유용한 역할을 할 수 있는 것은 분명합니다. 예를 들어, 의학 교육 문헌이 영어권 국가와 영어를 제2외국어로 구사하는 사람들의 기여에 의해 주도되고 있다는 점을 고려할 때, 언어가 이미 영어가 모국어가 아닌 사람들을 불리하게 만드는 장벽을 형성하고 있습니다. 이러한 맥락에서 언어 장벽을 줄일 수 있는 방식으로 원고를 번역하고 교정하는 데 LLM을 활용할 수 있으며, 이를 통해 영어가 모국어가 아닌 국가의 학술적 작업이 보다 동등한 입장에서 고려될 수 있습니다. 물론 영어를 모국어로 사용하는 사람 중에도 이러한 교정의 혜택을 받을 수 있는 사람이 많습니다. 실제로 제출하기 전에 이미 LLM을 통해 자신의 글을 교정하는 동료들이 있습니다. 이것이 적절하지 않다고 생각한다면 Grammarly나 맞춤법 검사기를 사용하는 것과 어떤 차이가 있는지 스스로에게 물어보세요. 이러한 종류의 질문에 대한 답은 LLM을 통해 얼마나 많이 변경되거나 '개선'되고 있는지에 달려 있습니다. 예를 들어, AI 커뮤니티에서 몇몇 유명 학회에서는 제출된 저작물을 생성하는 데 LLM을 사용하는 것을 금지하고 있지만, 사람이 생성한 콘텐츠를 다듬는 데는 허용하고 있습니다. (Vincent, 2023) 
Is this ‘rise of the machines’ to be feared and resisted? Well, not neccessarily, clearly LLMs can play useful roles. For instance, given that the medical education literature is dominated by contributions from English-speaking countries and those competent in English as a second language, language already creates a barrier that puts non-native English speakers at a disadvantage. In this context, LLMs could be used to translate and correct manuscripts in ways that could reduce language barriers, thereby allowing scholarly work from non-native English-speaking countries to be considered on a more equal footing. Of course, there are also many native English speakers whose writing could benefit from this kind of copy-editing. Indeed, we have colleagues who are already using LLMs to proof their written work prior to submission. If you think this is not appropriate, then ask yourself how different this is from using Grammarly or a spell checker. Answering these kinds of questions comes down to how much is being changed or ‘improved’ by the LLM. For example, in the AI community, several high-profile conferences have prohibited the use of LLMs in generating work submitted to them, but they allow its use in refining human-generated content. (Vincent, 2023)

작문 지원만이 보건 전문직 교육 연구에서 LLM의 유일한 잠재적 역할은 아닙니다. 예를 들어 문헌 검토를 위해 정보를 수집하거나 정보를 신속하게 종합하는 데 LLM을 활용할 수 있습니다. 체계적 문헌고찰을 지원하는 사서의 업무를 LLM에게 맡기는 것은 어떨까요? 이 작업은 사람을 고용하는 것보다 더 빠르고 저렴할 수 있지만, 연구 과정에서 점점 더 많은 사람을 배제할 경우 어떤 영향을 미칠지 예측하기 어려울 수 있습니다. 넘지 말아야 할 윤리적 선이 있지만, 그 선이 어디에 있는지, 상황에 따라 언제 어떻게 변하는지는 여전히 불분명합니다. 
Writing support is not the only potential role for LLMs in health professions education research. LLMs could be used to gather information, for instance for a literature review, or conduct a rapid synthesis of a body of information. What about getting LLMs to do the work of librarians in support of systematic reviews? This might be faster and cheaper than engaging humans to do this work but the impacts of removing more and more humans from research processes may be unpredictable at best. There are ethical lines that will need to be drawn (and not crossed), but quite where these lines are and how and when they shift according to context remains unclear.

학술 업무에서의 윤리와 진실성
Ethics and Integrity in Academic Work

학술적 글쓰기에 AI를 사용하는 것에 반대하는 사람들이 모든 기술적 지원을 피하려는 것이 아니라는 점에 유의하는 것이 중요합니다. 많은 학자들이 Grammarly와 같은 도구를 사용하여 글쓰기에 도움을 받을 뿐만 아니라 참조 관리자, 데이터베이스, 기타 다양한 웹 서비스 및 리소스를 사용하고 있습니다. 실제로 이 사설은 저자들의 노트북에서 Microsoft Word를 사용하여 작성되었고, 캘거리와 코펜하겐에서 이메일을 통해 초안을 교환했으며, 스프링거의 도구와 기술을 사용하여 이 원고를 제출하고 처리했습니다.

  • 이것이 허용되는 증강이라면 허용되는 AI 증강과 허용되지 않는 AI 증강 사이에 의미 있는 경계를 어떻게 그릴 수 있을까요?
  • 직업적 무결성과 책임감을 잃지 않으면서 기술 사용이나 의존을 어느 정도까지 허용할 수 있을까요(또는 허용할 수 있을까요)?

It is important to note that those opposing the use of AI in academic writing are not seeking to eschew all technological supports. Many scholars use tools such as Grammarly to help them in their writing, as well as using reference managers, databases, and a cornucopia of other Web services and resources. Indeed, this editorial was written on the authors’ laptops using Microsoft Word, we exchanged drafts between Calgary and Copenhagen via email, and we submitted and processed this manuscript using Springer’s tools and technologies.

  • If these are acceptable augmentations, then how do we draw a meaningful boundary between accepted and non-accepted AI-augmentation?
  • How much technology use or dependence can there be (or will we accept) without losing professional integrity and accountability?

결국, 이러한 기술이 오용될 수 있는 만큼 아이디어 생성, 텍스트 초안에 대한 피드백 받기, 언어 수정, 구조 제공, 반복적인 작업 완료 등 매우 유용할 수도 있습니다. 또한, 아직은 권장할 만한 수준은 아니지만, 궁극적으로는 AI를 사용하여 학술지에 제출된 논문을 선별하고, 인간 심사자를 확보할 수 없는 경우 심사자를 대신할 수도 있습니다. 심지어 언젠가는 일부 저널이 거의 전적으로 AI에 의해 운영될 수도 있습니다. 그렇게 되면 처리 시간이 대폭 단축되겠지만, 과연 얼마나 신뢰할 수 있고 공정할까요? 결국 크뤼겔 외(2023)는 LLM이 도덕성은 없지만 (아마도) 이러한 능력을 가진 인간에게 큰 영향을 미칠 수 있다는 도덕적 우려를 제기했습니다.
After all, as much as these technologies could be misused, they can also be very useful, for instance in generating ideas, getting feedback on drafts of text, revising language, providing structure, or completing repetitive tasks. Moreover, although not yet advisable, AI might eventually be used to screen articles submitted to journals such as ours and even to substitute for reviewers when human reviewers cannot be secured. It might even be the case that some journals might someday be run almost entirely by AIs. Processing times would be cut drastically if this were the case, but how reliable and fair would this be? After all, Krügel et al. (2023) raised moral concerns that LLMs have no morality and yet can be very influential of humans who do (presumably) have this capability.

또 다른 예로, 캘리포니아 버클리 대학교 컴퓨터 연구소의 연구원들은 ChatGPT 출시 직후 유능한 과학자를 식별하는 스크립트를 만들 때 AI 모델이 비남성 및 비백인 과학자에 대한 편견을 보였다는 사실을 입증했습니다(Alba, 2022). 이러한 모든 기술에는 제작자의 편견이 반영될 것이며, 잠재적으로 학습하는 자료에 이러한 편견이 반영되어 공정성이 구조적 편견에 의해 공허해질 수 있다는 것은 공리입니다. 또한 대부분의 LLM이 명시적 콘텐츠 알고리즘이 아닌 적응형 심층 강화 학습을 사용하기 때문에 제작자가 이를 완전히 이해하지 못한다는 점도 우려됩니다(명시적 콘텐츠 알고리듬은 ADRL과 경쟁하기에는 너무 번거롭고 성능이 부족한 것으로 입증됨).
As another example, researchers at the computer lab at Berkeley, University of California, demonstrated shortly after the release of ChatGPT that the AI model exhibited bias against non-male and non-white scientists when tasked with creating a script to identify competent scientists (Alba, 2022). It is axiomatic that all such technologies will reflect their creators’ biases and potentially that in the materials they train on such that their impartiality is hollowed out by structural bias. It is also concerning that most LLMs are not fully understood by their makers as they use adaptive deep reinforcement learning rather than explicit content algorithms (the latter having proved too onerous and underpowered to compete with ADRL).

이러한 문제에도 불구하고 이러한 새로운 기술을 도입하려는 움직임은 분명합니다. 이 사설을 준비하는 동안에도 학자들에게 글쓰기와 연구에 LLM을 사용하도록 가르치는 강좌 광고가 쏟아져 나왔습니다. 예를 들어, 스틸과 파리보르지의 온라인 강좌(2023년)는 학자들에게 문헌 검토(검색 수행, 논문의 관련성 및 품질 평가, 검색 결과 분석 및 종합)를 자동화하고, 논문 작성(문헌 종합, 논문 초안 작성, 제출 준비, 검토자 및 편집자에게 응답)의 일부가 되며, "복잡한 연구 목표를 잠재적인 국가 및 기타 자금 지원 기관을 위해 설득력 있고 소화 가능한 콘텐츠로 종합"하기 위해 LLM을 사용하여 보조금 작성법을 가르친다고 제안했습니다. 준비가 되었든 안 되었든, 지니는 이미 병에서 나왔습니다. 
These problems notwithstanding, the rush to employ these emerging technologies is clear. Even as we were preparing this editorial, we have been bombarded by advertisements for courses teaching scholars to use LLMs in writing and research. As an example, an online course from Steel and Fariborzi (2023) offered to teach scholars to use LLMs to automate literature reviews (conducting searches, assessing the relevance and quality of papers, and analyzing and synthesizing the results of searches), to be a part of authoring papers (by synthesizing the literature, drafting papers, preparing them for submission, and responding to reviewers and editors), and grant writing by using LLMs to “synthesize complex research goals into compelling and digestible content for potential national and other funding bodies”. Ready or not, the genie is out of the bottle.

LLM이 데이터를 수집 및 종합하고 연구 결과에 대한 논문을 작성하는 임무를 맡게 되면 어떻게 될까요? 인간 연구자나 저자가 할 수 있는 것보다 훨씬 더 빠른 속도로, 적어도 스타일적으로는 훨씬 더 높은 품질로 이 작업을 수행할 수 있다면 어떻게 될까요? 저널 측의 LLM이 이러한 LLM이 생산한 논문을 검토하고 수락 및 거부한다면 어떻게 될까요? LLM이 다른 LLM이 출판할 논문을 편집하고 수정하여 다른 LLM이 이를 소비하도록 한다면 어떻게 될까요? 학술 출판의 모든 작업이 사람의 손길 없이 이루어질 수 있다면 어떻게 될까요? 이는 다소 불가능해 보일 수 있지만 결코 불가능한 것은 아닙니다.
What happens if LLMs are tasked with gathering and synthesizing data and writing papers on their findings? What happens if they can do this at a much greater rate and, stylistically at least, of a much higher quality than human researchers or authors can manage? What happens if LLMs on the journals’ side are reviewing and accepting and rejecting these LLM-produced papers? What happens if LLMs are editing and revising papers, for other LLMs to publish, so that yet other LLMs consume them? If all of the tasks of academic publishing can be accomplished without human input, then what? While this may seem rather improbable, it is by no means impossible.

그러나 학문적 버전의 스카이넷에 대한 디스토피아적 불안감에 빠지기보다는, 기계가 모방할 수 없거나 모방하려고 해서는 안 되는 인간만이 할 수 있고 할 수 있는 일이 무엇인지 생각해 볼 필요가 있습니다. 예를 들어,

  • 인간의 지혜, 창의성, 판단력은 모방할simulated 수는 있지만 모방할emulated 수는 없으며,
  • [인간의 정서적 강점과 취약성]을 모두 갖춘 윤리적 사고가 우리가 하는 일에 필요하며,
  • 서로에 대한 책임감은 학문 활동에서 타협할 수 없는 부분이라고 제안할 수 있습니다.

인간과 AI는 서로 다른 영역에서 뛰어난 능력을 발휘하기 때문에 문제는 AI가 인간을 대체할 것인가가 아니라, AI와 어떻게 협력하여 AI나 인간 혼자서는 불가능했던 결과를 달성할 수 있는가일 수 있습니다.
However, rather than descending into dystopian anxiety over the academic version of Skynet, perhaps we should ask what it is humans can and do add that machines cannot or should not seek to emulate. We would suggest for instance

  • that human wisdom, creativity, and judgment might be simulated but not emulated,
  • that ethically minds that have both human emotional strengths and fragilities are required to do the work we do, and
  • that accountability to each other is a nonnegotiable part of academic activity.

Since humans and AI excel in different areas, the question may not be whether AI will replace us, but rather, how can we collaborate with AI to achieve results that were not possible for either AI or humans alone.

HPE 연구 및 출판에 대한 시사점
Implications for HPE research and publishing

LLM 및 기타 AI가 연구, 실용적, 윤리적, 도덕적으로 미치는 잠재적 영향은 매우 크며, 이로 인해 많은 학문적 프로세스와 표준에 대한 재평가가 이루어지고 있습니다. 예를 들어 Van Dis 등(2023)은 연구자와 출판인에게 어떤 연구 과제를 아웃소싱해야 하는지, 아웃소싱하지 말아야 하는지, AI 지원 연구 프로세스에서 사람의 검증이 필요한 단계는 무엇인지, 연구자의 교육 및 훈련에 LLM을 어떻게 통합해야 하는지 등 일련의 필수적인 질문을 던졌습니다.
The potential impact of LLMs and other AIs on research, practically, ethically, and morally is large, and this has created a reappraisal of much of academic processes and standards. For instance, Van Dis et al. (2023) asked a set of essential questions for researchers and publishers including: which research tasks should or should not be outsourced, what steps in an AI-assisted research process require human verification, and how should LLMs be incorporated into the education and training of researchers?

지금까지 학술지의 반응은 신중하고 비판적이었습니다. 예를 들어, 최근 Academic Medicine의 편집자들은(DeVilbiss & Roberts, 2023) 네 가지 원칙의 관점에서 입장을 표명했습니다. 

  • 저자가 자신의 연구에 대해 책임을 져야 한다는 점(LLM은 이 기준을 충족하지 못한다는 지적),
  • 저널에 제출된 논문을 개발하거나 작성할 때 LLM을 사용한 경우 이를 공개해야 한다는 점,
  • 연구 과정에서 LLM을 사용한 경우 해당 연구에 대한 논문에서 명확하게 기술해야 한다는 점,
  • 이러한 기술이 매우 빠르게 변화하고 있으므로 이러한 변화를 추적하기 위해 시간이 지남에 따라 정책이 적응해야 한다는 점

이는 다소 일반적인 문제이기는 하지만, 저희는 Advances에서 이를 지지합니다. 
So far, the response from journals has been cautious and critical. As an example, the editors of Academic Medicine recently (DeVilbiss & Roberts, 2023) stated their position in terms of four broad principles:

  • that authors must be accountable for their work (noting that LLMs do not meet this standard);
  • that any use of LLMs in developing or writing papers submitted to the journal must be disclosed;
  • that any use of LLMs in the research process must be clearly described in any paper reporting on that research; and,
  • as these technologies are changing so quickly, that policies will need to adapt over time to track these changes.

These are somewhat generic concerns, albeit ones that we support at Advances.

고려해야 할 더 큰 문제도 있습니다. 예를 들어, LLM은 이론 사용, 평가 관행의 개념화, 학습 및 성과 연구 등에 어떤 영향을 미칠까요? 주요 학술지에서 가장 많이 인용되고 다운로드되는 출판물의 대부분이 비경험적 연구, 논평, 편지, 반성적 글들로 구성된 분야(HPE를 한 분야로 가정)에서 LLM을 사용하면 출판되는 몇 안 되는 독창적인 연구 기여도가 더 낮아질까요? 누구나 몇 분 안에 LLM으로 작성된 리뷰를 작성할 수 있게 되면 우리 연구의 과학적 가치와 무결성이 떨어질까요?
There are bigger issues to consider. For instance, what implications do LLMs have for our use of theory, the conceptualization of assessment practices, learning and performance research etc.? In a field (assuming that HPE is a field) where many of the most cited and downloaded publications in the major journals consist of non-empirical work, commentaries, letters, and reflective pieces, will the use of LLMs further water down the few original research contributions that remain published? Will the scientific currency and integrity of our work be diminished if anyone can produce an LLM-generated review within minutes?

HPE 장학금과 HPE 간의 인터페이스뿐만 아니라 의료 전반과의 인터페이스도 고려해야 할 사항입니다. AI는 이미 의학(Li 외, 2019)과 의학교육(Tolsgaard 외, 2020; Katznelson & Gerke, 2021)에 도입되고 있습니다. 실제로 인공지능의 중요성, 기회, 위험 및 기타 결과에 대한 많은 추측성 의견들이 AHSE 및 기타 저널에 제출되고 있습니다. 저널로서 이것은 흥미로운 이슈이지만, 우리는 추측이 아닌 실질적인 이론적, 철학적 또는 경험적 연구를 찾습니다. 여러 면에서 코로나19 팬데믹 기간에 보았던 것과 유사한 이론적, 비실험적 연구의 새로운 물결이 일어날 것으로 예상하지만, 지금은 LLM과 AI 기술의 희망, 기대, 위험에 초점을 맞추고 있습니다.  
There are also the interfaces between HPE scholarship and HPE to be considered, as well as our interfaces with healthcare as a whole. AIs are already finding their way into medicine (Li et al., 2019) and into medical education (Tolsgaard et al., 2020; Katznelson & Gerke, 2021). Indeed, we are seeing a great many speculative opinion pieces being submitted to AHSE and other journals about the importance, opportunities, risks, and other consequences of AIs. As a journal this is an interesting issue, but we look for substantial theoretical and philosophical or empirical work, not speculation. In many ways, we predict a new wave of atheoretical and non-empirical work similar to that we saw during the COVID pandemic but now focused on the hopes, expectations, and dangers of LLMs and AI technology.

우리가 지적한 문제들은 사소한 것이 아니며, 실제로는 혁신적이고 파괴적인 것으로 판명될 수도 있습니다. 따라서 저희는 과학계가 LLM에 의해 개념, 이론, 관행이 어떻게 형성되고 있는지, 그리고 그 함의에 대해 깊이 생각해 볼 것을 권장합니다. 또한 Advances에 제출되는 모든 논문은 LLM 사용에 대한 새로운 공개 기준을 충족해야 하며, LLM 사용을 주제로 하는 모든 논문은 이론과 실제 모두에서 관련된 많은 문제와 보건 과학 교육 발전에 미치는 영향에 대해 사려 깊고 비판적으로 검토해 주시기 바랍니다. 
The problems we have noted are not trivial, indeed they may prove transformative and even disruptive. We encourage our scientific community therefore to think deeply about how concepts, theories, and practices are being shaped by LLMs and the implications thereof. We also ask that all work submitted to Advances meets the emerging disclosure standards for the use of LLMs, and that any work submitted that takes the use of LLMs as its subject is thoughtful and critical of the many issues involved and their implications for advances in health sciences education, both in theory and in practice.

 


Adv Health Sci Educ Theory Pract. 2023 Jun 19. doi: 10.1007/s10459-023-10257-4. Online ahead of print.

Artificial scholarship: LLMs in health professions education research

Affiliations collapse

1Department of Community Health Sciences and Office of Health and Medical Education Scholarship, Cumming School of Medicine, University of Calgary, Calgary, AB, Canada. rellaway@gmail.com.

2University of Copenhagen, Copenhagen Academy for Medical Education and Simulation (CAMES), Copenhagen University Hospital Rigshospitalet, Copenhagen, Denmark.

PMID: 37335338

DOI: 10.1007/s10459-023-10257-4

Abstract

This editorial examines the implications of artificial intelligence (AI), specifically large language models (LLMs) such as ChatGPT, on the authorship and authority of academic papers, and the potential ethical concerns and challenges in health professions education (HPE).

의학교육연구에서 인공지능의 기본: AMEE Guide No. 156 (Med Teach, 2023)
The fundamentals of Artificial Intelligence in medical education research: AMEE Guide No. 156
Martin G. Tolsgaarda,b , Martin V. Pusicc , Stefanie S. Sebok-Syerd , Brian Gine, Morten Bo Svendsena, Mark D. Syerf , Ryan Brydgesg , Monica M. Cuddyh and Christy K. Boscardini 

 

 

소개 및 목표
Introduction and aim

의학교육에서 AI를 사용하는 것은 종종 높은 희망과 비현실적인 기대를 동반합니다. 지난 10년 동안 의학 분야의 AI는 임상 적용 측면에서 기하급수적으로 성장해 왔으며, 이는 최근에서야 AI를 사용한 연구가 보고되기 시작한 의학교육과는 다른 양상입니다(Tolsgaard 외. 2020). 
The use of AI in medical education is often accompanied by high hopes and unrealistic expectations. Over the past decade, AI in medicine has grown exponentially in terms of its clinical applications; this differs from medical education where only recently studies started reporting using AI (Tolsgaard et al. 2020).

이 가이드에서는 AI 접근법을 사용한 의학교육 연구를 수행하고 해석할 때 고려해야 할 실질적인 사항을 설명합니다. 먼저 기본 용어를 소개하고 어떤 문제와 데이터가 다양한 AI 방법을 사용하기에 적합한지 파악하는 것으로 시작합니다. 또한 방법론적 엄격성을 평가하는 방법과 AI 중심 연구 프로젝트를 시작하는 데 필요한 전제 조건을 고려하는 방법도 다룹니다. 의학교육에서 AI 연구의 잠재력을 극대화하기 위한 모범 사례를 제공합니다. 부록 A에서는 이 가이드에서 사용된 용어에 대한 용어집을 제공합니다. 
In this guide, we describe the practical considerations involved in conducting and interpreting medical education studies using AI approaches. We start by introducing basic terminology and identifying which problems and data are well-suited for the use of different AI methods. We also address how to evaluate methodological rigor and consider prerequisites needed to initiate an AI-focused research project. We offer best practices to maximize the potential of AI research in medical education. Supplementary Appendix A provides a glossary of terms used in this guide.

imte_a_2180340_sm6522.docx
0.01MB

용어 및 기본 개념
Terminology and basic concepts

AI라는 용어는 '지능형 기계, 특히 지능형 컴퓨터 프로그램을 만드는 과학 및 공학'으로 정의한 존 매카시가 처음 사용했습니다. (McCarthy 외. 1956). 그 이후로 AI 분야는 통계적 방법과 계산 능력의 기술적 발전에 힘입어 큰 변화를 겪었으며, 대량의 데이터를 처리하여 명시적으로 프로그래밍하지 않고도 분류와 예측을 할 수 있게 되었습니다. 이 가이드에서는 AI를 보다 현대적인 정의에 초점을 맞추고 있습니다. 

  • '시각 인식, 음성 인식, 의사 결정 등
    일반적으로 인간의 지능을 필요로 하는 작업을 수행할 수 있는
    컴퓨터 시스템의 이론과 개발'
    (옥스퍼드 사전 2022)

The term AI was first coined by John McCarthy who defined it as ‘the science and engineering of making intelligent machines, especially intelligent computer programs.’ (McCarthy et al. 1956, https://jmc-stanford-edu.access.hanyang.ac.kr:8443/artificial-intelligence/what-is-ai/). Since then, the field of AI has gone through significant changes, largely driven by technical developments in statistical methods and computational power, enabling the processing of large amounts of data to make classifications and predictions without being explicitly programmed to do so. In this guide, we focus on a more contemporary definition of AI and view it as the

  • ‘theory and development of computer systems able to perform tasks normally requiring human intelligence, such as visual perception, speech recognition, [and] decision-making…’ (Oxford Dictionary 2022).

이 정의를 의학교육 분야에 적용하여, 우리는 AI를 컴퓨터 과학, 수학/통계학 및 도메인 전문 지식의 상호 연관성으로 개념화하여 의학교육자 및 학습자에게 관련성이 있고 상당한 인적 자원이 필요한 작업을 수행할 수 있도록 합니다(그림 1). 
By applying this definition to the field of medical education, we conceptualize AI as the interrelatedness of computer science, mathematics/statistics, and domain expertise that can enable the performance of tasks relevant for medical educators and learners and would otherwise require significant human resources (Figure 1).

 

분석 도구로서의 AI
AI as an analytic tool

AI는 하나의 방법이 아니며, 데이터 마이닝(데이터에서 패턴을 추출하고 발견하는 것) 및 분석에 대한 접근 방식으로서 대규모의 복잡한 데이터 세트에 대해 다양한 통계 기법을 사용합니다. 표 1에서 볼 수 있듯이, 주성분 분석(PCA) 및 다중 비교에 불이익을 주는 고급 방법을 사용하는 회귀 모델과 같이 AI와 관련된 일부 통계적 방법은 수십 년 동안 의학 교육에서 사용되어 왔습니다(Parsell and Bligh 1999; Reed et al. 2007). 데이터 마이닝이나 이미징 데이터 분석에 일반적으로 사용되는 심층 신경망(DNN)과 같이 기존 통계와 거의 유사하지 않은 다른 AI 방법도 있습니다. DNN은 컴퓨터 비전 발전의 기반이며 영상의학, 피부과, 병리학 분야에서 초인적인 진단 성능을 보여주는 놀라운 혁신의 원동력입니다(Topol 2019). 
AI is not one method but rather an approach to data mining (extracting and discovering patterns in data) and analysis using a wide range of statistical techniques on large and often complex data sets. As illustrated in Table 1, some statistical methods associated with AI have been used in medical education for decades – such as Principal Component Analysis (PCA) and regression models with advanced methods for penalizing multiple comparisons (Parsell and Bligh 1999; Reed et al. 2007). Other AI methods share little resemblance with traditional statistics, for example deep neural networks (DNNs), which are commonly used for data mining or analyzing imaging data. DNNs are the basis for advancements in computer vision and are responsible for remarkable breakthroughs demonstrating super-human diagnostic performance within radiology, dermatology, and pathology (Topol 2019).

생물학적 신경망에서 영감을 얻은 DNN은 여러 노드(또는 뉴런)로 구성된 일련의 숨겨진 레이어를 통해 연결된 데이터의 입력 레이어에 의존하여 출력 레이어의 결과에 도달할 수 있도록 상호 작용합니다(그림 2).

  • 연구에 따르면 피부과에 적용된 DNN은 악성 흑색종을 진단할 때 전문 피부과 의사만큼 정확했으며(Esteva 외. 2017), 병리학에 적용된 DNN은 병리 슬라이드에서 림프절의 미세 침범을 감지할 때 대부분의 병리학자보다 더 정확했습니다(Ehteshami Bejnordi 외. 2017; Golden 2017). 대장 내시경 검사 중 용종을 발견하거나 안과에서 당뇨병성 망막증을 발견할 때, 심장 영상에서 유사한 결과가 관찰되었습니다(Topol 2019). 

Inspired by biological neural networks, DNNs rely on an input layer of data, connected through a series of hidden layers that consist of multiple nodes (or neurons) which interact in a way that allows them to arrive at an outcome in the output layer (Figure 2).

  • Research shows that DNNs, applied in dermatology performed as well as expert dermatologists when diagnosing malignant melanoma (Esteva et al. 2017), and DNNs applied in pathology were more accurate than most pathologists in detecting microinvasion of lymph nodes in pathology slides (Ehteshami Bejnordi et al. 2017; Golden 2017). Similar results have been observed when detecting polyps during colonoscopies, when detecting diabetic retinopathy in ophthalmology, and in cardiac imaging (Topol 2019).
 

임상 연구에 적용된 이러한 AI 분석 기술은 음성, 텍스트, 이미지, 동영상 등 다양한 데이터 소스에서 일반적으로 사람이 수행하는 작업(예: 평가, 지시, 피드백, 선택)을 자동화하기 위해 의학교육 연구에도 활용될 수 있습니다.
These AI analytical techniques applied in clinical studies can also be utilized in medical education research to automate tasks usually performed by humans (e.g. assessment, instruction, feedback, selection) across a variety of data sources including voice, text, images, and videos.

의대 교육에서의 AI: 최신 연구 현황
AI in medical education: Current state-of-the-science

의학교육에서 AI를 활용한 독창적인 연구는 아직 부족하지만, AI 기술을 활용한 의학교육 연구가 증가하는 추세를 보이고 있습니다. 지금까지 많은 경험적 연구는 학습 지원을 위한 AI 사용(Chan and Zary 2019) 또는 임상 술기의 자동화된 평가에 초점을 맞추었지만, 이론이나 개념적 프레임워크의 사용은 제한적이었습니다(Tolsgaard 외. 2020). 최근 몇 년 동안 AI 입문서(Masters 2019), 인력에 미치는 영향에 대한 권장 사항(Reznick 외. 2020), 의료 커리큘럼에 AI 통합(Lee 외. 2021) 등 여러 가이드, 성명서 및 권고안이 발표되었습니다. 또한 AI의 잠재력과 가능성에 대한 논평과 사설도 다수 발표되었습니다. 자동화된 평가, 자연어 처리를 사용한 자동 채점, 의료 영상 피드백을 위한 딥 러닝의 활용에 대한 경험적 연구가 서서히 나타나고 있습니다(아래 예시 참조). 이는 AI의 기술적으로 복잡한 특성과 AI 연구에 대규모 팀, 대규모 자금, 데이터 및 시간이 필요한 경우가 많다는 사실을 반영하는 것일 수 있습니다. 이 가이드는 잠재적인 장벽을 완화하고 학자들이 의학교육에서 AI 연구에 참여할 수 있도록 돕기 위해 고안되었습니다. 
Despite the scarcity of original research using AI in medical education, we are starting to see an upward trend of studies in Medical Education using AI techniques. Until now many empirical studies have focused on the use of AI for learning support (Chan and Zary 2019) or automated assessments of clinical skills, however often with limited use of theory or conceptual frameworks (Tolsgaard et al. 2020). Several guides, statement papers, and recommendations have been published in recent years, including primers to AI (Masters 2019), recommendations for workforce implications (Reznick et al. 2020), and integration of AI in medical curricula (Lee et al. 2021). Additionally, a large number of commentaries and editorials have been published about the potential and promise of AI. Empirical studies are slowly emerging in the use of automated assessments, automated scoring using natural language processing, and deep learning for medical imaging feedback (see examples below). This may reflect the technically complex nature of AI and the fact that research in AI often requires larger teams, scales of funding, data and time. This guide is designed to help mitigate potential barriers and facilitate scholars ability to engage in AI research in medical education.

AI 연구, 특히 의학교육에서 어떤 종류의 데이터가 필요합니까?
What kind of data are needed for AI studies, specifically in medical education?

AI 연구에 사용되는 데이터 유형은 광범위할 수 있으며, 영상 데이터(예: 방사선 데이터), 수치 학습 과정 데이터(예: 작업장 기반 평가) 또는 텍스트 데이터(예: 내러티브 피드백 코멘트)가 포함될 수 있습니다. 필요한 데이터의 유형은 개발 또는 테스트 중인 AI 시스템의 목적과 용도에 따라 달라집니다. 데이터 분석을 위해 데이터를 준비해야 하는 경우가 많습니다. 데이터 준비에는 데이터 세트 큐레이팅, 여러 데이터 소스 구성 및 통합, 데이터 주석 달기 등이 포함될 수 있습니다. 데이터 주석은 AI가 알려진 결과를 가진 일부 데이터를 학습하여 결과를 예측하도록 '학습'하는 지도 학습(예: 이미지의 다양한 객체에 주석을 달거나 문장의 특정 단어를 분류하는 것)에 필요합니다. 목적에 따라 데이터 주석 달기에 사용할 수 있는 무료 소프트웨어 프로그램이 여러 가지 있습니다(예: 행동 관찰 연구용 대화형 소프트웨어 BORIS, boris.unito.it에서 제공). 
The types of data used in AI studies can be wide-ranging and may involve imaging data (e.g. radiology data), numerical learning process data (e.g. workplace-based assessments), or text data (e.g. narrative feedback comments). The type of data needed depends on the aim and purported use of the AI system that is being developed or tested. Often, data needs to be prepared for data analysis. The data preparation may involve curating data sets, organizing and integrating multiple data sources, as well as annotating data. Data annotation is needed for supervised learning, where an AI ‘learns’ to predict an outcome by training on some data with known outcomes (for example, annotating different objects in images or classifying particular words in a sentence). There are several free software programs available for data annotation depending on the purpose (for example, Behavioural Observation Research Interactive Software BORIS, available from boris.unito.it among other sources).

학습 분석에 다양한 데이터 소스와 형식을 통합하는 것은 의학교육에서 AI와 점점 더 관련성이 높아지는 사례가 되고 있습니다. '학업 진도를 평가하고, 미래의 성과를 예측하고, 잠재적인 문제를 발견하기 위해 학생이 생성하고 학생을 대신하여 수집한 광범위한 데이터의 해석'으로 정의되는 학습 분석은 학습자가 시간이 지남에 따라 어떻게 발전하는지 파악하는 데 점점 더 많이 사용되고 있으며, 교육 중 특정 이정표에 언제 얼마나 잘 도달하는지 모니터링하는 데도 사용될 수 있습니다(Johnson 외. 2011). 이러한 분석에는 종단 평가, 사무원 평가 점수, 시뮬레이터 점수, 필기 시험 점수 등 디지털화할 수 있는 모든 학습 과정 데이터가 포함될 수 있습니다(Holmboe 외. 2020). AI는 학습자의 기술 능력에 대한 AI 기반 자동 채점(Hung 외. 2018) 또는 크고 복잡한 데이터 세트를 사용한 팀 협업(Andersen 외. 2020) 등 학습 분석과 관련된 다양한 데이터 형식을 효율적으로 관리할 수 있는 접근 방식을 제공합니다. 
The integration of a variety of data sources and formats in learning analytics is becoming an increasingly relevant case for AI in medical education. Learning analytics - defined as ‘the interpretation of a wide range of data produced by and gathered on behalf of students to assess academic progress, predict future performance, and spot potential issues’ - are increasingly used to determine how learners develop over time and can also be used to monitor when and how well they reach certain milestones during their training (Johnson et al. 2011). These analytics may include longitudinal assessments, clerkship assessment scores, simulator scores, and written exam scores – any learning process data that can be digitized (Holmboe et al. 2020). AI affords an efficient approach to managing a variety of data formats that are often associated with learning analytics, including AI-based automated scoring of learners’ technical skills (Hung et al. 2018) or team collaboration (Andersen et al. 2020) using large and complex data sets.

AI로 어떤 종류의 작업을 해결할 수 있나요?
What kind of tasks can be solved using AI?

AI는 분석 도구와 접근 방식을 확장하는 데 도움을 주는 등 현재 연구 및 교육 팀에서 어려움을 겪고 있는 작업의 효율성을 높이는 데 도움이 될 수 있습니다.

  • 연구 설계 단계에서는 AI가 제공하는 데이터 소스의 유연성과 데이터 추출의 자동화를 통해 다른 질문, 방법, 접근 방식에 대한 가능성을 열어줄 수 있습니다.
  • 데이터 준비 단계에서 AI는 여러 소스에 걸친 데이터 집계, 빅 데이터의 저장 및 검색을 통해 효율성을 높이고 데이터 탐색을 지원할 수 있습니다.
  • 분석 단계에서 신경망은 일반적으로 많은 인력과 시간이 필요한 분석을 효율성과 정확성을 높여 신속하게 제공할 수 있습니다. 또한, 신경망은 기존 분석으로는 쉽게 확인할 수 없는 데이터 내부 및 데이터 전반의 복잡한 연관성을 포착하고 강조 표시할 수 있습니다.

AI can help increase efficiency around tasks that are currently challenging for research and education teams, including helping to expand analytical tools and approaches.

  • During the research design phase, flexibility of data sources and automaticity of data extraction afforded by AI may open-up possibilities for alternative questions, methods and approaches.
  • In the data preparation phase, AI can increase efficiency with data aggregation across multiple sources, storage and retrieval of big data, and assist in data exploration.
  • During the analysis phase, neural networks can provide expedited analytics that would typically require many hours of human resources and time with increased efficiency and accuracy. Additionally, neural networks can capture and highlight complex associations within and across data that may not be easily ascertained by traditional analysis.

아래에서는 의학교육과 관련된 두 가지 데이터 유형에 사용되는 데이터 분석 유형을 설명하기 위해 두 가지 예를 제공합니다.
Below, we provide two examples to illustrate the types of data analysis used with two different data types relevant to medical education.

예제
Examples

예시 1. 의학 교육에서 텍스트 분석을 위한 자연어 처리 및 심층 신경망 사용
Example 1. Using Natural language processing and deep neural Networks for text analysis in medical education

AI에 관한 한, 텍스트 분석텍스트 마이닝모두 대규모 텍스트 데이터 세트(예: 인터뷰 필사본)에서 패턴을 찾아 의미를 추출하기 때문에 동의어라고 할 수 있습니다. 텍스트 분석 접근 방식인 자연어 처리(NLP)는 인간의 언어 처리를 시뮬레이션하여 기계가 텍스트 데이터를 이해하고 분석하는 데 도움을 줍니다. 하지만 인간과 달리 NLP는 체계적이고 매우 효율적인 방식으로 무제한의 데이터를 분석할 수 있습니다. 의학 교육에서의 NLP 연구의 예로는

  • 필기 시험(예: 에세이) 채점,
  • 서술형 피드백에서 위탁 평가와 관련된 요인 파악(Stahl 외. 2021; Solano 외. 2021),
  • 서술형 피드백 품질 평가(Gin 외. 2021; Neves 외. 2021),
  • 교정이 필요한 학습자의 조기 식별(Tremblay 외. 2019),
  • 시험 항목의 자동화된 생성(Chary 외. 2019) 등을 들 수 있습니다.

As far as AI is concerned, text analysis and text mining are synonyms since they both look for patterns in large sets of text data (e.g. transcriptions of interviews) to extract meaning. Natural language processing (NLP), a text analysis approach, helps the machines understand and analyse textual data by simulating human language processing. However, unlike humans, NLP can analyse unlimited amounts of data in a systematic, highly efficient way. Examples of NLP studies in medical education include

  • scoring of written exams (e.g. essays; Zhang et al. 2012),
  • identification of factors tied to entrustment ratings in narrative feedback (Stahl et al. 2021; Solano et al. 2021),
  • assessment of narrative feedback quality (Gin et al. 2021; Neves et al. 2021),
  • early identification of learners in need of remediation (Tremblay et al. 2019), and
  • the automated generation of test item distractors (Chary et al. 2019).

방법
Methods

NLP에서 분류기는 텍스트의 의미적 의미를 인식하고 레이블을 지정할 수 있는 알고리즘입니다. NLP 분류기는 사람이 놓치기 쉬운 기능어(예: 그녀, 또는, of)는 물론 내용어(예: 환자, 가슴, 심장)와 구문(n-그램)을 빠르게 식별하여 보다 체계적으로 분류함으로써 인간 코더에 의한 기존 텍스트 분류보다 효율성을 제공합니다. 자동화된 에세이 채점이나 특정 루브릭 또는 등급과 관련된 서술형 의견의 검토에는 텍스트 분류 접근 방식을 사용하는 경우가 많습니다.
In NLP, a classifier is an algorithm that is capable of recognizing and labelling semantic meaning of text. NLP classifiers provide efficiency over traditional text classification by human coders by quickly identifying both function words (e.g. she, or, of), which we humans often miss, as well as content words (e.g. patient, chest, or heart) and phrases (n-grams) for classification more systematically. Automated essay scoring or examination of narrative comments associated with specific rubrics or ratings often use text classification approaches.

작업 예
Worked example

의학교육에서 NLP를 활용하는 가상의 예로, 수련의의 현재 병력(HPI)의 질에 대한 자동 채점을 생각해 보겠습니다. 임상의 교육자가 수작업으로 교육생의 HPI를 채점할 수도 있지만, 이 프로세스를 자동화하면 교육생이 노트를 작성할 때 실시간으로 형성적인 피드백을 제공하고, 정교화가 필요할 수 있는 부분(예: 환자 불만 사항, 타임라인 등)을 강조하는 데 도움이 될 수 있습니다. 전문가 평가자를 위한 채점 가이드가 개발되었는데, 이 예에서 예시적으로 사용한 것은 Lewin 등의 환자 프레젠테이션 평가(PPR, Lewin 등, 2013)입니다. 이 도구는 DNN을 사용하여 NLP 분류기로 자동화할 수 있습니다. 여기에서는 DNN을 사용하여 NLP 분류기를 구현하여 HPI를 채점하는 방법을 간략하게 설명합니다:
As a hypothetical example of NLP in medical education, consider the automated scoring of the quality of a trainee’s history of present illness (HPI). While a trainee’s HPI could be scored manually by clinician educators, automating the process could be helpful for giving real-time, formative feedback to trainees when writing notes, highlighting where elaboration (e.g. on patient complaints, timelines, etc.) may be necessary. Scoring guides for expert raters have been developed such as Lewin et al.’s Patient Presentation Rating (PPR, Lewin et al. 2013), which we use illustratively in this example. This tool could be automated as an NLP classifier using DNNs. Here, we outline how to implement an NLP classifier using a DNN to score HPIs:

  1. 선택한 평가 도구(이 경우 PPR)에서 평가한 다양한 품질을 나타내는 서술 형식(즉, 서면 또는 필사본)의 교육생 HPI 데이터베이스를 수집합니다. 
    Collect a database of trainee HPIs in narrative form (i.e. written or transcribed) that represent a range of quality as assessed by the rating instrument of choice (in this case the PPR).
  2. 인간 평가자가 PPR을 사용하여 HPI 서술의 하위 집합에 점수를 매깁니다(예: PPR의 두 번째 항목인 '입원 사유가 포함된 명확한 환자 소개'를 사용하여 1~5점 척도를 사용합니다). 이렇게 수동으로 분류(라벨링)된 하위 집합은 DNN을 훈련하고 검증하는 데 사용됩니다.
    Score a subset of HPI narratives by human raters using the PPR – for example, using the second item of the PPR: a clear patient introduction with reason for admission’ – using a scale of 1-5. This manually classified (labelled) subset will be used to train and validate the DNN.
  3. DNN을 설계합니다(그림 2 참조). NLP 분류의 경우, DNN의 입력 레이어는 일반적으로 텍스트를 숫자 표현으로 변환합니다. 중간 계층에는 특정 단어, 단어 패턴, 내러티브 테마 등 텍스트의 더 복잡한 '특징'을 점진적으로 인식하는(훈련을 통해) 스택형 인공 뉴런이 포함될 수 있습니다. 그런 다음 출력 레이어는 이러한 특징을 사용하여 원본 내러티브가 어느 범주에 속하는지(이 예에서는 1~5점 사이의 점수)를 예측합니다.
    Design the DNN (see Figure 2). For NLP classification, a DNN’s input layer typically converts text into numerical representations. The intermediate layers may involve stacked artificial neurons that progressively recognize (through training) more complicated ‘features’ of the text – specific words, patterns of words, and narrative themes. The output layer then uses these features to predict which category the original narrative belongs to – in this example a score between 1-5.
  4. 2단계에서 수동으로 레이블이 지정된 HPI 내러티브 하위 집합의 일부(즉, '훈련 세트')를 사용하여 DNN을 학습시킨 다음, 학습된 DNN을 사용하여 수동으로 레이블이 지정된 나머지 HPI 내러티브 하위 집합(즉, '검증 세트')의 점수를 예측합니다. 타당성 검사 세트만 사용하여 예측된 점수를 수동으로 라벨링된 점수와 비교하여 분류기의 성능을 결정합니다(아래 평가 기준 참조). 앞서 설명한 DNN을 구현하고 훈련할 수 있는 몇 가지 패키지가 있으며, 가장 일반적으로 사용되는 패키지는 오픈 소스 TensorFlow 플랫폼입니다.
    Train the DNN using a portion of the manually labelled subset of HPI narratives from Step 2 (i.e. the ‘training set’), then use the trained DNN to predict the scores of the remaining manually labelled subset of HPI narratives (i.e. the ‘validation set’). Using the validation set only, compare the predicted scores to the manually labelled scores to determine the performance of the classifier (see Evaluation Criteria below). There are several packages that could implement and train the DNN outlined; the most commonly used package is the open-source TensorFlow platform.
  5. 이제 NLP 분류기를 사용하여 수동으로 레이블이 지정되지 않은 내러티브의 점수를 예측할 수 있지만, 설명 가능한 AI를 사용하여 예측 점수의 기반이 되는 잠재적 구조/요소를 탐색하는 것이 통찰력이 될 수 있습니다. 이러한 방법은 현재 분류 범주와 관련된 핵심 단어와 구문을 강조하는 '히트맵' 접근법을 개발하고(Stahl 외. 2021; Pryzant 외. 2018, 2020; Danilevsky 외. 2020), NLP 분류기에 의해 식별된 잠재적 특징(즉, 분류의 기반이 되는 내러티브 주제)을 추론하기 위해 모색되고 있습니다. 최근 연구에서는 DNN 기반 NLP 분류기가 사전 분류된 피드백 내러티브에서 위탁 수준을 예측하기 위해 훈련하는 동안 '학습'한 잠재적 피드백 특성(절차적 대 인지적 기술, 건설적 대 강화적 등)을 확인했습니다(그림 3, Gin 외. 2021). 
    While the NLP classifier may now be used to predict the scores of narratives that have not been manually labelled, it may be insightful to explore the latent constructs/factors that underlie the predicted scores using explainable AI. Such methods are currently being explored to develop a ‘heatmap’ approach highlighting key words and phrases pertaining to the classification categories (Stahl et al. 2021; Pryzant et al. 2018, 2020; Danilevsky et al. 2020), and also to infer latent features (i.e. narrative themes underlying classification) identified by an NLP classifier. Recent work identified latent feedback characteristics (procedural vs cognitive skills, constructive vs reinforcing, etc) that a DNN-based NLP classifier ‘learned’ during training to predict entrustment levels from pre-classified feedback narratives (Figure 3, Gin et al. 2021).

 

요약하자면, 텍스트 분석은 DNN의 훌륭한 응용 분야로, 대규모 텍스트 코퍼스에서 주제를 효율적으로 드러낼 수 있는 방법을 보여줍니다. 교육생이 생성하거나 교육생을 대신하여 생성하는 방대한 양의 텍스트가 감독자의 검토 능력을 압도할 수 있다는 점을 고려할 때, 이 애플리케이션은 특히 HPE에서 장점이 있습니다.
In summary, text analysis is an excellent application of DNNs, showing how they can efficiently surface themes from a large corpus of text. Given that the voluminous texts generated by and on behalf of trainees can overwhelm the capacity of their supervisors to review them, this application has particular merit in HPE.

다음 예에서는 텍스트 분석에서 이미지 및 비디오 분석으로 넘어갑니다.
In the next example, we move from text analysis to analysing images and videos.

 

예제 2. 영상 피드백에 컨볼루션 신경망 사용
Example 2. Using convolutional neural Networks for imaging feedback

많은 전문 분야에서는 환자 진단 및 관리를 위해 의료 이미지에 의존합니다. 방사선과, 병리과, 피부과와 같은 전통적인 영상 전문 분야 외에도 여러 임상 전문 분야에서 의료 이미지가 현장 진료 검사의 일부로 점점 더 많이 사용되고 있습니다(Topol 2019). 예를 들어 산부인과 의사는 초음파로 태아를 스캔하여 태아의 건강 상태를 확인하거나 안과 의사는 안과 검사의 일상적인 부분으로 망막 초음파에 의존할 수 있습니다. 문제는 의료 영상에서 시각적 진단을 위한 학습 곡선이 길고 임상의가 필요한 빈도로 특정 진단을 접하지 못하기 때문에 전문가 수준의 성능에 도달하지 못할 수 있다는 것입니다(Tolsgaard 외. 2019). 의료 영상 분야에서 AI를 사용하면 임상 교육 및 평가에 잠재적으로 큰 영향을 미칠 수 있는 시각적 단서뿐만 아니라 진단 제안을 포함하여 의료 전문가에게 피드백 및 의사 결정 지원을 제공할 수 있습니다(Tschandl et al. 2020). 
Many specialties rely on medical images for patient diagnosis and management. Besides the traditional imaging specialties such as radiology, pathology, and dermatology, medical images are now increasingly used as part of point-of-care examinations in multiple clinical specialties (Topol 2019). For example, an obstetrician may scan the fetus using ultrasound to determine fetal well-being or an ophthalmologist may rely on retinal ultrasound as a routine part of an eye examination. The problem is that the learning curves for visual diagnosis in medical imaging are often long, and clinicians may never attain expert-level performance because they do not encounter specific diagnoses with the frequency needed (Tolsgaard et al. 2019). The use of AI in the field of medical images enables feedback and decision-support to the health care professional including diagnostic suggestions as well as visual cues which can potentially have significant impact on clinical instruction and assessment (Tschandl et al. 2020).

방법
Methods

의료 이미지 분석에 가장 자주 사용되는 AI 기술은 신경망(특히 합성곱 신경망)으로, 현재 컴퓨터 비전의 선도적인 기술입니다(Krohn 2019). 신경망 사용의 기본 아키텍처와 방법론은 위 섹션에서 설명했습니다. 의료 이미지의 분류 또는 분할을 위해 새로운 AI 모델을 훈련할 때 사전 훈련된 네트워크가 시작점으로 사용되는 경우가 많으며, 이는 공개적으로 사용 가능한 대규모 이미지 데이터베이스(예: Image-Net.org)에서 사전 훈련된 일반 모델 또는 관심 있는 이미징 절차에 대한 이전 출판물에서 제공된 특정 모델을 기반으로 할 수 있습니다. 아래의 작업 예는 산부인과 초음파 검사를 수행할 때 수련의를 지원하기 위한 AI 모델 개발을 목표로 하는 실제 연구 프로젝트에 대해 설명합니다.  
The AI technique most often used in the analysis of medical images is neural networks (specifically convolutional neural networks), which are now the leading technology in computer vision (Krohn 2019). The basic architecture and methodology behind the use of neural networks have been described in the sections above. Often, a pre-trained network is used as a starting ground when training a new AI model for classification or segmentation of medical images - this may be based on pretrained generic models from large publicly available image databases (e.g. Image-Net.org) or specific models that have been made available from previous publications on the imaging procedure of interest. The worked example below describes an actual research project that aims to develop AI models for supporting trainees when performing obstetric ultrasound examinations.

작업 예시
Worked example

임상의, 데이터 과학자 및 의학교육 과학자로 구성된 그룹(Tolsgaard 외. 2021)은 산부인과 초음파 검사 중 성능에 대한 자동화된 피드백을 제공하기 위해 이미지 품질에 대한 AI 기반 채점 시스템 개발에 착수했습니다. 이 초음파는 태아의 생체 인식 및 태아 기형의 존재 여부와 같은 결과를 보고합니다. 처음부터 끝까지 프로세스는 다음과 같습니다: 
To provide automated feedback on performance during screening obstetric ultrasound examinations, a group consisting of clinicians, data scientists and medical education scientists (Tolsgaard et al. 2021) set out to develop an AI-based scoring system for image quality. These ultrasounds report findings such as fetal biometries and the presence of any fetal malformations. The process from start to finish is described below:

  1. 먼저, 관련 국가 및 지역 보건 당국에 데이터 액세스와 관련된 규제 및 법적 권한을 확인했습니다. 
    First, regulatory and legal permissions regarding data access were verified with relevant national and regional health authorities.
  2. 임상 전문가가 일상적인 초음파 검사 데이터에 수동으로 주석을 달았습니다(이미지에 다양한 해부학적 구조를 나타내는 라벨을 붙임). 이를 통해 어떤 이미지의 품질이 높은지 낮은지를 판단했습니다. 이러한 작업에는 다양한 오픈 소스 주석 소프트웨어 솔루션을 사용할 수 있습니다. 평가자 간 신뢰도를 측정한 결과, 한 명의 평가자가 각 이미지에 계속 주석을 달 수 있을 만큼 충분히 높은 것으로 판정되었습니다. 
    Data from routine ultrasound examinations were manually annotated (labels provided onto images denoting different anatomical structures) by clinical experts to determine which images were of high versus low quality. A variety of open-source annotation software solutions are available for these tasks (https://github.com/taivop/awesome-data-annotation). Inter-rater reliability was determined and was deemed high enough for a single assessor to continue to annotate each image.
  3. 2,000개 이상의 이미지에 주석을 단 후, 신경망의 첫 번째 반복은 다른 장비로 다른 모집단으로 개발된 이전에 발표된 네트워크를 기반으로 훈련되었습니다. 그 결과 기존 연구와 비슷한 성능이 나타났습니다. 사전 훈련된 다양한 신경망을 자유롭게 사용할 수 있습니다. 
    After having annotated more than 2000 images, the first iteration of the neural network was trained based on a previously published network that was developed in a different population with different equipment. Similar performance was found as in the original study. A variety of pre-trained neural networks are freely available.
  4. 임상의에게 신경망이 특정 분류에 어떻게 도달했는지에 대한 시각적 피드백을 제공하기 위해 히트맵을 사용했습니다. 히트맵은 이미지 분류에서 AI가 특히 중요하게 생각한 픽셀을 강조 표시합니다(예는 그림 4 참조). 
    To provide visual feedback to the clinicians on how the neural network arrived at a certain classification, heatmaps were used. The heatmap highlights pixels that were particularly important for the AI in the classification of an image, see Figure 4 for an example.
  5. 이 신경망을 시뮬레이션 학습 환경에서 평가 목적으로 사용할 수 있는지 알아보기 위해 컴퓨터 애니메이션 그래픽이 포함된 가상현실 시뮬레이터에서 연습하는 대규모 훈련생 그룹의 퍼포먼스에 신경망을 적용했습니다. 안타깝게도 신경망은 이러한 성능을 완전히 분류할 수 없었고 시뮬레이션 환경의 데이터를 기반으로 완전히 새로운 모델을 학습시켜야 했습니다(모델 성능을 평가하는 방법의 예는 그림 5 참조). 신경망은 훈련 데이터와 유사한 데이터를 사용하여 좁은 문제를 해결하는 데 가장 효과적이며, 훈련과 전달 문제 간에 큰 차이가 있을 때 스킬을 평가하는 것과 같이 보다 광범위한 문제에는 적합하지 않습니다.  
    To explore whether this neural network could be used for assessment purposes in a simulation learning environment, the neural network was applied to performances from a large group of trainees practicing on virtual reality simulators with computer-animated graphics. Unfortunately, the neural network was completely unable to classify these performances and an entirely new model had to be trained based on data from the simulated setting (see Figure 5 for example of how to evaluate model performance). This is a frequent finding: neural networks work best to solve narrow problems using data that resembles the training data and are ill-equipped for more broad problems, such as evaluating a skill when there are large differences between training and transfer problem.

 

 

AI 결과물 이해 - 과제와 앞으로의 방법
Understanding AI outputs - challenges and ways forward

신경망에 의존하는 많은 AI 시스템에 내재된 한 가지 문제는 그 결정을 설명하기 어렵다는 것입니다. 신경망의 여러 계층에 있는 뉴런 간의 수많은 상호 작용을 데이터 과학자를 포함한 사람이 쉽게 해독할 수 없기 때문입니다. 기술적 관점에서 설명 가능성은 항상 쉬운 것은 아니지만, 여러 가지 유망한 접근 방식이 등장하기 시작했습니다(Linardatos 외. 2021). 예를 들어, 설명 가능한 AI(XAI)라는 개념은 지난 몇 년 동안 AI 커뮤니티 내에서 성장해 왔습니다. 
One problem inherent in many AI systems that rely on neural networks is that their decisions are difficult to explain. This is because the many interactions between neurons in the multiple layers of a neural network are not easily deciphered by humans (including data scientists). Explainability is not always easy from a technical point of view but different promising approaches are beginning to emerge (Linardatos et al. 2021). For instance, the concept of explainable AI (XAI) has grown within the AI community over the past few years.

설명 가능성에 대한 또 다른 접근 방식은, 새로운 AI 시스템을 학습하는 동안 특정 개념을 사용하여 교육적 관점에서 관련성이 있을 수 있는 선택된 기능 클래스를 기반으로 피드백을 제공하는 시각화를 사용하여 AI가 개념적 결과물을 제공하도록 강제하는 것입니다(Koh et al. 2020). 선택한 기술적 접근 방식에 관계없이, 설명 가능성은 기술적 복잡성이 추가됨에도 불구하고 의학교육 관점에서 AI 시스템의 유용성을 평가할 때 종종 바람직합니다. 
Another approach to explainability is forcing the AI to provide conceptual outputs by using visualizations, where certain concepts are used during the training of new AI systems to enable feedback based on selected classes of features that may be relevant from an educational perspective (Koh et al. 2020). Regardless of the technical approach selected, explainability is often desirable when evaluating the utility of AI systems from a medical education perspective despite its added technical complexity.

마지막으로, 그림 4와 같이 AI 분류 또는 회귀에 중요한 픽셀을 시각적으로 표현하는 히트 맵을 사용하는 간단한 접근 방식이 있습니다. 그러나 이러한 접근 방식은 초보 학습자가 특정 기능이 중요한지 아닌지를 식별하는 데 도움이 되는 개념적 인사이트를 제공하지 못할 수 있습니다. 
Finally, a simplistic approach is to use heat maps as shown in Figure 4, which provide visual representations of the pixels that are important for AI classification or regression. However, these approaches may still fail to provide conceptual insights that help novice learners to identify why certain features are or are not important.

AI 연구를 위한 평가 기준
Evaluation Criteria for AI studies

AI 연구에 대한 평가 기준은 일반적으로 모델 개발모델 검증이라는 두 가지 주요 범주로 나뉩니다. AI 연구와 가장 관련성이 높은 가이드라인은 EQUATOR(건강 연구의 품질 및 투명성 향상) 네트워크에서 제공하며, 이 네트워크는 특히 AI 연구를 위한 TRIPOD-ML(개인 예후 또는 진단을 위한 다변량 예측 모델의 투명한 보고) 표준을 개발했습니다(콜린스 외. 2015). 의학교육에서 AI 연구를 평가하는 데 사용할 수 있는 포괄적인 모델 설명에는 모델 개발 및 검증에 사용된 접근 방식에 대한 세부 정보가 포함됩니다. 
Evaluation criteria for AI studies is commonly broken down into two main categories: model development and model validation. The most relevant set of guidelines for AI studies comes from the EQUATOR (Enhancing Quality and Transparency of Health Research) Network, and they have developed the TRIPOD-ML (Transparent Reporting of a Multivariable Prediction Model for Individual Prognosis or Diagnosis) standards specifically for AI studies (Collins et al. 2015): https://www.equator-network.org/reporting-guidelines/tripod-statement/. A comprehensive model description that can be used to evaluate AI studies in Medical Education will include details about the approaches used in both developing and validating the model.

예를 들어, AI 연구에 대한 일반적인 접근 방식은 하나 이상의 소스에서 데이터를 수집하고, 모델링을 위해 데이터를 준비하고, 알고리즘을 개발하고, 모델을 훈련한 다음(예: 데이터의 70%로) 나머지 데이터(이 예에서는 30%)로 모델을 테스트하는 것입니다. 대부분의 경우 첫 번째 단계는 미세 조정된 초기 모델을 개발하는 것이며, 모델 구축 절차를 설명할 때 모델 사양 및 성능과 같은 개선 사항에 대한 감사를 포함하는 것이 좋은 보고 관행입니다. 
For example, a common approach for AI studies is to gather data from one or more sources, prepare the data for modelling, develop an algorithm and train a model (e.g. with 70% of the data), then test the model with the remaining data (i.e. 30% in this example). More than likely, the first step is to develop an initial model that is fine-tuned, and good reporting practice is to include an audit of the refinements made (e.g. model specification and performance) as the model building procedures are described.

모델 개발 기준
Model development Criteria

AI 모델을 개발할 때는 데이터 소스와 샘플링 방법(예: 평가 데이터, 오픈 소스 데이터)을 설명해야 합니다. 모든 사례 유형을 설명하면 데이터의 완전성과 대표성을 평가할 수 있을 뿐만 아니라 모델이 개발되고 학습된 특성과 조건을 이해할 수 있는 정보를 얻을 수 있습니다. 

  • 데이터 설명은 데이터가 모델 예측의 대상이 될 수 있는 더 많은 인구(예: 연령, 성별, 인종)를 대표한다는 증거를 제공해야 합니다
  • 다른 절차와 마찬가지로 샘플링은 모델 개발 및 선택에 큰 영향을 미칠 수 있으므로 데이터에 시스템적 편향이 존재하지 않도록 노력해야 합니다. 
  • 또한 데이터 설명에는 알고리즘 개발 시 편향성을 유발할 수 있는 누락된 데이터를 구체적으로 언급해야 합니다누락된 데이터를 대입하는 경우 대입imputation 방법을 설명해야 합니다.
  • 또한 예측자와 수행된 '피쳐 엔지니어링'(예: 예측자의 규모 조정, 표준화 또는 분류 또는 주성분 분석과 같은 접근 방식을 사용하여 새로운 예측자 생성)을 설명하는 것도 중요합니다.
  • 마지막으로, 결과 측정값을 명시하고 결과를 평가한 방법에 대한 세부 정보를 제공해야 합니다.

When developing an AI model, one must describe the data sources and how they were sampled (e.g. assessment data, open-source data). Describing all case types provides information to assess not only the completeness and representativeness of the data, but also an understanding of the characteristics and conditions under which the model was developed and trained.

  • The data description should provide evidence that the data are representative of the larger population who may be subject to the model predictions (e.g. age, gender and race). Similar to other procedures, sampling can greatly impact model development and selection, requiring efforts to ensure that systemic biases do not exist in the data.
  • Data descriptions should also specifically reference any missing data, which has the potential to contribute bias in the development of an algorithm. If missing data are imputed the imputation approach must be described.
  • It is also crucial to describe predictors and any ‘feature engineering’' that was performed (e.g. scaling, standardizing or categorizing the predictors or creating new predictors using approaches such as principal component analysis).
  • Finally, the outcome measure must be specified, with details about how the outcome was assessed.

모델 개발에 대해 보고할 때는 모델이 어떻게 개발되었는지, 어떤 예측 변수를 제외할지 또는 다른 예측 변수에 더 많은 가중치를 부여할지 등 어떤 결정을 내렸는지 설명해야 합니다.
When reporting on model development, one must describe how the model was developed and any decisions that were made, such as whether to exclude one predictor or to assign more weight to another predictor.

개발 중 모델 검증
Model validation during development

모델 개발에 대한 일반적인 접근 방식은 데이터를 학습, 테스트, 유효성 검사의 세 가지 데이터 세트로 분할하는 것입니다.

  • 첫 번째 데이터 세트인 학습 세트는 모델을 학습시키는 데 사용됩니다.
  • 두 번째 데이터 세트인 테스트 세트는 모델의 성능을 평가하여 반복적으로 테스트하는 데 사용됩니다. 모델의 성능이 좋지 않으면 다른 결정을 내리고, 모델을 다시 학습시키고(학습 데이터에서), 모델을 다시 테스트(테스트 데이터에서)함으로써 모델을 반복적으로 개선해야 할 수 있습니다.
  • 세 번째 세트는 모델을 검증할 준비가 될 때까지 따로 보관합니다. 모델이 '본 적이 없는' 데이터, 즉 학습이나 반복 테스트에 포함되지 않은 데이터에 대해 성능을 평가합니다. 이 세 번째 세트는 최종 평가 지표 세트를 보고하는 데 한 번만 사용되며, 특히 모델이 전반적으로 잘 작동하고 학습 및/또는 테스트 데이터에 과도하게 적합하지 않도록 알고리즘을 반복적으로 수정하는 데는 사용되지 않습니다.

A common approach to model development is to split the data into three different data sets: training, test and validation.

  • The first data set, the training set, is used to train the model.
  • The second set, the test set, is used to iteratively test the model by assessing its performance. If the model performs poorly then it may be necessary to iteratively improve the model by making different decisions, re-training the model (on the training data), and re-testing the model (on the test data).
  • The third set is set aside until the model is ready for validation. Where its performance is assessed on data that the model has never ‘seen’ meaning that it was not part of either the training or iterative testing. This third set is used only once for reporting a final set of evaluation metrics, and specifically NOT used to iteratively modify the algorithm ensuring that the model performs well overall and does not overfit on the training and/or test data.

단일 데이터 세트가 학습, 테스트 및 유효성 검사 데이터 세트로 분할되는 경우 이를 내부 타당성 검사라고 합니다. 그러나 아직 수집되지 않은 데이터(알고리즘을 일반화/적용하고자 하는 데이터)를 사용하여 외부 타당성 검사을 수행하는 것이 이상적입니다. 예를 들어, 2020년 대학 입학을 설명하는 데이터를 수집하고 이 데이터를 학습, 테스트 및 내부 검증 데이터 세트로 분할한 다음 2021년 대학 입학을 설명하는 데이터를 수집하여 외부 검증을 수행할 수 있습니다(Baron 외. 2020).
When a single set of data are split into training, testing and validation data sets we refer to the validation as an internal validation. However, ideally you would also perform an external validation using data that has not yet been collected (and to which you wish to generalize/apply your algorithm). For example, one might collect data describing university admissions in 2020 and split this data into training, testing and internal validation data sets and then collect data describing university admissions in 2021 for external validation (Baron et al. 2020).

모델 검증 보고 메트릭
Model validation Reporting metrics

최종 모델 검증 지표를 보고할 때는 모델의 성능을 평가하기 위해 어떤 측정값을 사용했는지 설명해야 합니다. AI 연구에 사용되는 일반적인 모델 적합도 지표는 다음과 같습니다:

  • R-제곱(R2), 평균 제곱 오차(MSE), 평균 제곱 오차(RMSE).

When reporting the final model validation metrics, one must describe what measures were used to assess the performance of the model. Common model fit metrics used in AI studies include:

  • R-Squared (R2), Mean Squared Error (MSE), and Root Mean Squared Error (RMSE).

혼동 행렬(모델 예측과 참조 표준(예: 정밀도, 리콜, 정확도 및 수신기 작동 특성 곡선 아래 면적)을 비교하는 행렬)에서 파생된 측정값도 범주형 결과 측정값의 예측을 평가하는 데 사용됩니다.
Measures derived from the confusion matrix – a matrix comparing model predictions with a reference standard (e.g. precision, recall, accuracy and area under the receiver operating characteristics curve) are also used to evaluate the predictions of categorical outcome measures.

최종 모델을 제시할 때 대부분의 보고서는 가능한 경우 모든 회귀 계수를 신뢰 구간과 함께 포함하지만, 복잡한 모델(특히 신경망)의 경우 불가능할 수 있습니다. 대부분의 모델 유형에 대해 허용되는 보고 규칙이 존재합니다. 의학 교육자는 도메인 전문가와의 협업을 통해 다른 사람들이 모델을 정확하게 평가할 수 있는 방식으로 모델에 대한 설득력 있는 논거를 개발하는 데 도움을 받을 수 있습니다. 
When presenting the final model, most reports include all regression coefficients with confidence intervals, if possible, although this may not be feasible for complex models (especially neural networks). Accepted reporting conventions exist for most model types. Collaborations with domain experts can help medical educators develop a compelling argument for their model in a way that allows others to accurately appraise it.

관심 있는 결과에 따라 응답을 구분하는 모델의 능력(변별력) 및 편향되지 않은 응답을 하는 모델의 능력(보정) 외에도, 교육 실무에서 제안된 모델의 사용법을 고려해야 합니다. 

  • 예를 들어, 모델이 실시간으로 의사 결정에 정보를 제공해야 하는 경우 모델의 응답 시간(즉, 모델이 예측을 내리는 데 필요한 시간)이 중요합니다.
  • 다른 예로는 모델 예측의 투명성 및 설명 가능성과 같이 모델이 학습자 또는 교육자에게 정보를 제공하는 방식이 있습니다.
  • 일반적으로 모델은 원래 설계된 목적 이외의 용도로 사용해서는 안 됩니다.

In addition to the model’s ability to separate out responses according to the outcome of interest (discrimination) and the model’s ability to make unbiased responses (calibration), the proposed uses of the model in educational practice must be taken into consideration.

  • For example, if the model is to inform decisions in real-time then the model’s response time (i.e. the time needed for the model to make a prediction) is important.
  • Other examples include how the models are supposed to inform learners or educators, such as transparency and explainability in the model predictions.
  • In general, models should not be used for purposes beyond those for which they were originally designed.

의학교육에서의 AI 연구에 대한 추가 평가 고려 사항
Additional evaluation considerations for AI studies in Medical Education

의학교육에서 AI를 사용할 때는 특별히 고려해야 할 사항이 있습니다. 학자들은 모델 자체를 평가하는 것 외에도 교육 연구자가 이론을 AI 알고리즘의 근거와 필요성에 어떻게 통합했는지 먼저 평가하여 연구 전체를 고려해야 합니다. AI가 사용되는 많은 경우(예: 임상 의학)에서 목표는 일반화 가능성입니다. 그러나 의학교육에서는 항상 그렇지는 않을 수 있습니다. 예를 들어, 특정 의과대학이나 레지던트 프로그램에 대한 지원자의 적합성 평가를 지원하기 위한 AI 알고리즘을 개발하는 것은 해당 기관이나 프로그램에는 유용할 수 있지만 다른 기관이나 프로그램에 반드시 일반화할 수는 없습니다(Baron 외. 2020).
There are particular considerations for AI in medical education. Beyond evaluating the model itself, scholars must also consider the study as a whole by first evaluating how the education researcher incorporated theory into the rationale and need for an AI algorithm. In many instances where AI is used (e.g. clinical medicine) the goal is generalizability. However, within medical education this may not always be the case. For example, developing an AI algorithm to support the assessment of the suitability of applicants to a particular medical school or residency program may prove useful for that institution or program, but may not necessarily generalize to other institutions or programs (Baron et al. 2020).

의학교육에 AI 기술을 사용할 때는 개인이 자신의 데이터가 어떻게 사용되는지 이해하는 정도(데이터 사용 및 개인정보 보호 기대치)도 고려해야 합니다. 임상 환경에서 진단과 적절한 치료 계획을 결정하기 위해 AI를 사용하는 경우, 의사는 환자에게 AI 모델의 목적과 의학적 결정에 AI가 어떤 정보를 제공했는지 설명할 수 있습니다. 연구 환경에서는 특히 기존 데이터 세트를 사용하고 소급하여 동의를 받을 수 없는 경우, 이러한 유형의 정보에 입각한 동의를 얻기가 더 어려울 수 있습니다.
When employing AI techniques in medical education, one must also consider the extent to which individuals understand how their data will be used (data usage and privacy expectations). In clinical settings, when AI is used to determine diagnoses and appropriate treatment plans, physicians can communicate to their patients the purpose of the AI models and how medical decisions were informed by them. In a research environment, it may be more difficult to obtain this type of informed consent, especially when pre-existing data sets are used and consent cannot be obtained retroactively.

토론
Discussion

이 가이드에서는 기본 정의부터 실제 사례, 평가 접근 방식에 이르기까지 의학교육 연구에서 AI를 개발하고 사용할 때 고려해야 할 실질적인 사항을 제공합니다. AI에 대한 관심이 높아지고 적용 범위가 확대되는 상황에서 이 가이드는 의료 전문직 교육 분야의 얼리어답터를 위한 실용적인 가이드 역할을 합니다. 제공된 예시에서 알 수 있듯이 의료 교육에서 AI는 에세이 채점이나 대규모 이미지 데이터에 기반한 피드백 제공과 같은 작업을 처리하는 데 이상적입니다. 또한 대부분의 AI는 데이터에 특화되어 있고 일반화가 잘 되지 않으며 광범위한 추가 통계 모델링이 필요한 경우가 많기 때문에 현재의 AI 모델에는 한계가 있음을 인정합니다.
In this guide, we provide practical considerations for the development and use of AI in medical education research, from basic definitions to worked examples to evaluation approaches. Given the growing interest and increased application of AI, this guide serves as an practical guide for early adopters in health professions education. As highlighted by the examples provided, AI in medical education is ideal for handling tasks such as essay scoring or providing feedback based on large-scale image data. We also acknowledge that current AI models are limited; most AI are data-specific, generalize poorly, and often require extensive additional statistical modelling.

AI는 임상의와 연구자로서 우리가 일하는 방식에 점점 더 많은 영향을 미치고 있으며, 유능한 임상의가 된다는 것의 의미에도 영향을 미치고 있습니다. 이에 따라 캐나다 왕립 의사 및 외과의사 대학은 최근 미래 의학 커리큘럼에 AI에 대한 지식을 구축하는 것이 중요하다고 강조했습니다(Royal College 2022). 의료 교육자, 학습자, 연구자가 AI 시스템의 강점, 특히 한계를 이해하려면 새로운 기술이 필요합니다. 예를 들어, 초보 학습자는 좋은 AI 피드백을 통해 가장 많은 것을 얻을 수 있지만(Tschandl 외. 2020), AI 시스템이 제공하는 잘못된 조언에 전문가보다 더 취약할 수 있습니다(Gaube 외. 2021). 
Since AI is increasingly affecting how we work as clinicians and researchers, it also affects what it means to be a competent clinician. Accordingly, the Royal College of Physicians and Surgeons of Canada recently stressed the importance of building knowledge about AI into future medical curricula (Royal College 2022). New skills are needed to understand the strengths - and in particular the limitations - of AI systems for medical educators, learners, and researchers. For example, while novice learners may gain the most from good AI feedback (Tschandl et al. 2020), they may be more susceptible than experts to incorrect advice provided by AI systems (Gaube et al. 2021).

학습 및 임상 수행을 지원하기 위한 AI 사용이 증가함에 따라 AI 모델 및 예측의 정확성과 신뢰성뿐만 아니라 한계를 이해하는 것이 중요해질 것입니다. 일부 AI 시스템은 매우 높은 통계적 정밀도를 보여줄 수 있지만 내장된 시스템적 편향으로 인해 여전히 부정확한 결과를 생성할 수 있습니다. 예를 들어, 많은 피부과 AI 지원 진단의 정확도는 연구 참여자의 피부색을 샘플링하는 것으로 제한되어 있어 더 다양한 환자 집단에 사용할 경우 잠재적으로 부정확하거나 편향된 결정을 내릴 수 있습니다(Ternov 외. 2022).
Understanding the limitations as well as the accuracy and reliability of AI models and predictions will be critical with the increased use of AI for supporting learning and clinical performances. Some AI systems may demonstrate extremely high statistical precision but still produce inaccurate results due to built-in systematic biases. For example, the accuracy of many dermatological AI-supported diagnoses is limited to sampling of the available skin colour of the study participants leading to potentially inaccurate or biased decisions when used on a more diverse patient population (Ternov et al. 2022).

의학 교육의 맥락에서, 학습 분석 및 AI에 대한 비평가들은 개인정보 보호 문제, 효율성에 대한 바람직하지 않은 초점을 포함하여 결과물의 의미 부족에 대해 경고했습니다(10 Cate 외. 2020). 이러한 우려 중 일부(예: 개인 정보 보호 및 자율성 문제)는 일반적인 지지를 얻고 있는 것으로 보이지만(쿨라세가람 2022), 빅데이터와 AI의 사용이 교육 환원주의로 이어질 것이라는 우려(반 데르 니트 및 블레이클리 2020)와 같은 다른 우려는 AI 기반 학습 분석에 빅데이터를 사용하는 것과 관련하여 의학교육 커뮤니티 내에서 더 깊은 공리학적 및 인식론적 균열을 나타낼 수 있습니다.
In the context of medical education, critics of learning analytics and AI have warned about privacy issues, lack of meaningfulness in outputs, including an undesirable focus on efficiency (ten Cate et al. 2020). While some of these concerns (for example, privacy and autonomy concerns) seem to gather general support (Kulasegaram 2022), other concerns such as the worry that the use of big data and AI will lead to educational reductionism (van der Niet and Bleakley 2020) may represent deeper axiological and epistemic clefts within the medical education community around the use of big data for AI-powered learning analytics.

AI 시스템에 대한 과도한 의존은 무인 자동차 산업의 오토파일럿 실패 사례에서 알 수 있듯이 잘못된 신뢰와 잠재적인 오류 증가로 이어질 수 있습니다(New York Times 2021). 실제로 의료 교육 맥락에서 상용화된 대부분의 임상 AI 시스템은 임상의의 학습을 개선하기 위한 것이 아니라 임상의의 성과를 지원하기 위해 개발되었습니다. 무인 자동차에 비유하자면, 의료 분야의 기존 AI 시스템은 운전 중 수행을 지원하는 것을 목표로 하지만 운전자의 기술을 향상시키지는 못합니다. 성과를 개선하는 개입이 학습에 부정적인 영향을 미칠 수 있고 그 반대의 경우도 마찬가지이기 때문에 학습과 성과는 종종 상충되는 경우가 많습니다(Schmidt 외. 1990). 지도guidance 가설에서 강조한 바와 같이, 수행 중에 임상의에게 동시에 피드백을 제공하는 기존의 상용 AI 시스템은 수행 후 요약된 피드백을 통해 학습을 지원하도록 설계된 시스템에 비해 학습에 부정적인 영향을 미칠 수 있습니다(Schmidt 외. 1989). 이러한 과제는 새로운 AI 시스템을 개발할 때 학습 과학을 임상 과학 및 데이터 과학과 통합하여 AI 시스템에 대한 과도한 의존학습자의 임상 기술에 대한 잠재적인 부정적인 영향을 방지하는 동시에 전문가 수준의 자동화된 지침 및 피드백에 대한 액세스의 이점을 누리는 것이 중요하다는 점을 강조합니다. 
Over-reliance on AI systems can lead to false confidence and potentially increased errors as demonstrated from the autopilot failures in the driverless car industry (New York Times 2021). Indeed, in medical education contexts, most commercially available clinical AI systems are developed to support clinicians’ performances and not to improve their learning. To use the driverless car analogy, existing AI systems in healthcare aim to support performances while driving, but fail to improve drivers’ skills. Learning and performance are often at odds (Schmidt et al. 1990) as interventions that improve performance can negatively affect learning and vice versa. As highlighted by the guidance hypothesis, existing commercially available AI systems that provide concurrent feedback to clinicians during performances may negatively influence learning as compared to systems that are designed to support learning - for example through summarized feedback that is provided post-performance (Schmidt et al. 1989). These challenges highlight the importance of integrating learning sciences with clinical science and data science when developing new AI systems to prevent an overreliance on AI systems and potential negative effects on learners’ clinical skills, while also reaping the benefits of access to expert-level automated guidance and feedback.

이를 위해서는 AI 시스템 기술 개발 초기에 교육 이론과 개념을 통합하는 데 더 중점을 두어야 합니다. 기존의 AI 연구는 현재 임상 저널에 기술된 응용 연구와 학회 회의록에 보고된 기술 보고서 사이에 양극화되어 있습니다(Topol 2019). 의학교육에서는 다양한 맥락에서 일반화하고자 하는 욕구 때문에 이러한 양극화가 문제가 될 수 있습니다(Tolsgaard). 이러한 의미에서 의학교육에서의 AI 연구는 10~20년 전 시뮬레이션 문헌에서 관찰된 것과 동일한 단점, 즉 AI가 언제, 왜, 누구에게 가치를 제공할 수 있는지, 위험과 과제를 탐구하려는 연구보다 'AI가 효과가 있다'는 정당화 연구가 과대 대표되는 것을 반복할 위험이 있습니다{Issenberg}.
The key to doing this may involve a greater focus on integrating educational theory and concepts earlier within the technical development of AI systems. Existing AI research is currently polarized between applied work described in clinical journals and technical reports reported in conference proceedings (Topol 2019). In medical education, this may constitute a problem because of the desire to generalize across different contexts (Tolsgaard). In this sense, AI research in medical education risks repeating some of the same shortcomings as observed in the simulation literature 10-20 years ago: the overrepresentation of justification studies demonstrating that ‘AI works’ over work that intends to explore when, why and for whom AI may provide value, risks and challenges.{Issenberg}


요약하자면, AI는 교육 제공과 교육 연구 모두에서 점점 더 많이 사용되고 있습니다. 학습 과학을 의료 분야의 AI 시스템 개발 및 사용에 통합하는 것은 앞으로 몇 년 동안 계속 도전 과제가 될 것입니다. AI는 의학교육 커뮤니티에 특별한 기회를 제공할 수 있지만, 의학교육자, 교육 연구자, 데이터 과학자, 임상의 간의 긴밀한 학제 간 협업을 필요로 합니다. 의학교육에서 AI에 신중하고 주의 깊게 접근하면 학습과 성과는 물론 설명 가능성과 투명성을 지원하는 AI 시스템을 개발할 수 있습니다.

To summarize, AI is increasingly being used in both the provision of education and in education research. Integrating learning sciences into the development and uses of AI systems in healthcare is likely going to continue to be a challenge in the years to come. While potentially offering unique opportunities for the medical education community, AI requires close interdisciplinary collaborations between medical educators, education researchers, data scientists, and clinicians. In approaching AI in medical education with caution and care, we can enable the development of AI systems that support learning and performance as well as explainability and transparency.


 

 

Med Teach. 2023 Jun;45(6):565-573. doi: 10.1080/0142159X.2023.2180340. Epub 2023 Mar 2.

 

 

The fundamentals of Artificial Intelligence in medical education research: AMEE Guide No. 156

Affiliations collapse

1Copenhagen Academy for Medical Education and Simulation (CAMES), Copenhagen, Denmark.

2Department of Obstetrics, Copenhagen University Hospital Rigshospitalet, Copenhagen, Denmark.

3Department of Pediatrics, Harvard University, Boston, MA, USA.

4Department of Emergency Medicine, Stanford University, Palo Alto, CA, USA.

5Department of Pediatrics, University of California San Francisco, San Francisco, USA.

6School of Computing, Queen's University, Kingston, Canada.

7Allan Waters Family Simulation Centre, St. Michael's Hospital, Unity Health Toronto & Department of Medicine, University of Toronto, Toronto, Canada.

8NBME, Philadelphia, PA, USA.

9Department of Medicine and Anesthesia, University of California San Francisco, San Francisco, CA, USA.

PMID: 36862064

DOI: 10.1080/0142159X.2023.2180340

Abstract

The use of Artificial Intelligence (AI) in medical education has the potential to facilitate complicated tasks and improve efficiency. For example, AI could help automate assessment of written responses, or provide feedback on medical image interpretations with excellent reliability. While applications of AI in learning, instruction, and assessment are growing, further exploration is still required. There exist few conceptual or methodological guides for medical educators wishing to evaluate or engage in AI research. In this guide, we aim to: 1) describe practical considerations involved in reading and conducting studies in medical education using AI, 2) define basic terminology and 3) identify which medical education problems and data are ideally-suited for using AI.

Keywords: Artificial Intelligence; assessment; big data; machine learning; medical education.

ChatGPT로 논문쓰기: 학술 저자를 위한 능력, 한계, 함의 (Perspect Med Educ. 2023)
Writing with ChatGPT: An Illustration of its Capacity, Limitations & Implications for Academic Writers
LORELEI LINGARD

 

ChatGPT와 기타 인공지능(AI) 도구가 학계 전반에 경종을 울리고 있습니다. 이러한 우려의 대부분은 ChatGPT가 교육에 어떤 영향을 미칠 것인가에 집중되어 있습니다. 학생의 학습에 어떤 영향을 미칠까요? 학생들의 부정행위가 만연할까요? 전통적인 지식 평가[1]의 종말을 의미할까요? 최근 이러한 우려는 우리의 학문적 사명에도 영향을 미쳤습니다. 새로운 기술 자원일까요, 아니면 과학적 무결성에 대한 위협일까요? 어떤 용도가 적절하며, 어떻게 인정해야 할까요? 
ChatGPT and other artificial intelligence (AI) tools are raising alarm bells across academia. Much of the alarm centers on how ChatGPT will affect the educational mission. How will it affect student learning? Will it lead to rampant student cheating? Will it mean the death of traditional knowledge assessments [1]? Recently, the alarm has reached our scholarly mission as well. Is it a new technological resource, or a threat to scientific integrity? What uses are appropriate, and how should they be acknowledged?

이는 추상적인 질문이 아닙니다. ChatGPT는 이미 2023년 1월부터 사전 인쇄물 및 동료 심사를 거친 출판 논문에서 저자로 인정받고 있습니다[2]. 신뢰할 수 없는 또는 부정 사용에 대한 우려가 제기되어 왔으며[3], 현재 주요 학술지들은 이 문제에 대한 입장을 밝히고 있습니다.

  • 예를 들어, 스프링거 네이처 저널은 연구에 대한 책임을 질 수 없기 때문에 ChatGPT는 공동 저자가 될 수 없다고 선언했으며, 연구자가 방법 또는 감사의 말 섹션에 ChatGPT를 사용한 사실을 문서화할 것을 요구하고 있습니다[4].
  • Academic Medicine에서는 저자가 학술 연구에서 AI 도구의 사용을 공개하고, 그 사용의 성격을 투명하게 설명하며, 정확성과 무결성에 영향을 미치는 제한 사항을 인식하도록 안내합니다[5].
  • 의료 교육, 연구 및 실무 분야의 최근 체계적 검토에서는 ChatGPT의 가능성을 인정하면서도 "윤리적, 저작권, 투명성 및 법적 문제, 편견의 위험, 표절, 독창성 부족, 환각의 위험이 있는 부정확한 콘텐츠, 제한된 지식, 잘못된 인용, 사이버 보안 문제, 인포데믹의 위험"을 고려하여 "극도로 신중하게" 도입해야 한다는 결론을 내렸습니다. [6]. 

These are not abstract questions. ChatGPT has already been credited with authorship in preprints and peer-reviewed published articles since January 2023 [2]. Concerns have been raised about its uncredited or fraudulent use [3], and major journals are now declaring their positions on the issue.

  • For instance, the Springer Nature journals have declared that ChatGPT cannot be a co-author because it cannot take responsibility for the work, and they require that researchers document any use of ChatGPT in their Methods or Acknowledgements sections [4].
  • Academic Medicine guides authors to disclose the use of AI tools in scholarship, describe transparently the nature of that use, and be aware of limitations that affect accuracy and integrity [5].
  • A recent systematic review in the domain of healthcare education, research and practice acknowledged ChatGPT’s promise but concluded that it should be embraced with “extreme caution” considering concerns with “ethical, copyright, transparency, and legal issues, the risk of bias, plagiarism, lack of originality, inaccurate content with risk of hallucination, limited knowledge, incorrect citations, cybersecurity issues, and risk of infodemics.” [6].

우리는 이미 연구와 글쓰기를 지원하기 위해 테크놀로지를 사용하고 있습니다. 데이터 분석을 관리하기 위한 SPSS나 NVivo, 인용을 정리하기 위한 Reference Manager, 철자와 문법을 교정하기 위한 Grammarly 편집 소프트웨어가 없다면 어떻게 될지 상상해 보십시오. 이 작가의 기술에서는 작가들이 ChatGPT에 익숙해져서 효과적이고 적절하게 사용할 수 있도록 하는 것을 목표로 합니다. 2023년 3월과 4월에 ChatGPT4와 나눈 채팅을 바탕으로 그 기능과 한계를 설명하고, 일련의 주의 사항과 인사이트를 추출하여 점진적 프롬프트를 사용하여 소프트웨어를 '훈련'하는 방법, 브레인스토밍과 개요 및 요약과 같은 콘텐츠 생성에 사용하는 방법, 편집자로 활용하는 방법을 안내해 드립니다. 
We already use technology to assist our research and writing. Imagine how you’d function without SPSS or NVivo to manage your data analysis, Reference Manager to organize your citations, or Grammarly editing software to correct your spelling and grammar. This Writer’s Craft aims to familiarize writers with ChatGPT so that they might use it effectively and appropriately. Drawing on chats I had with ChatGPT4 in March and April 2023 to illustrate its capacity and its limitations, I extract a series of Cautions and Insights and guide writers in how to use incremental prompting to ‘train’ the software, how to use it for brainstorming and generating content like outlines and summaries, and how to employ it as an editor.

ChatGPT란 정확히 무엇인가요?
What is ChatGPT, exactly?

ChatGPT는 AI 대규모 언어 모델입니다. 현재 버전(3.5 및 4.0)은 2021년 이전에 방대한 양의 데이터로 사전 학습되어 언어 패턴과 연관성을 학습하여 프롬프트가 표시될 때 사람과 유사한 대화 텍스트를 생성하는 데 사용할 수 있습니다. ChatGPT에 프롬프트를 입력하면 입력 내용을 분석하고 인터넷 사용 시 머신 러닝을 통해 얻은 정보를 바탕으로 신속하게 응답을 생성합니다. 이 기술은 사람과 유사한 텍스트로 정보를 처리하고 추출하여 구두로 표현하는 데 탁월하며[7], 특히 시간 제약과 기타 리소스 제한을 고려할 때[8] 글쓰기 노동의 일부를 아웃소싱할 수 있다면 학술 저술가에게 중요한 자산이 될 가능성이 있습니다. 
ChatGPT is an AI large language model. Current versions (3.5 and 4.0) have been pre-trained on massive amounts of data pre-2021, allowing it to learn language patterns and associations which it uses to generate human-like conversational text when prompted. When you input a prompt into ChatGPT, it analyzes the input and rapidly generates a response drawn from information acquired via machine learning in engagement with the internet. It excels at processing, distilling and presenting information verbally in human-like text [7]; it has the potential, therefore, to be an important asset for academic writers, particularly if we can outsource some of the labor of writing [8] given time constraints and other resource limitations.

ChatGPT는 문법적으로 정확하고 의미적으로 의미 있는 응답을 생성합니다. 하지만 항상 정확한 것은 아닙니다. AI 대규모 언어 모델에는 일반적인 의미의 '지식'이 없고, 데이터를 저장하거나 검색하지 않으며, 검색 엔진처럼 웹을 크롤링하여 정보를 찾지 않기 때문입니다. 그들은 학습한 내용을 바탕으로 "시퀀스에서 다음 단어를 예측하는 데 능숙할 뿐"[9]입니다. 따라서 ChatGPT는 "사실 정확도가 고르지 못하며"[10], 텍스트의 내용이 진실하고, 견고하며, 검증 가능하고, 유효하며, 일반화 가능한지 확인하려고 하지 않습니다. [11]. 머신 러닝 용어로 "환각"을 일으켜 실제가 아닌 것처럼 보이는 자료를 자신 있게 제시할 수 있습니다[12]. 
ChatGPT generates responses that are grammatically correct and semantically meaningful. They are not, however, always accurate. This is because AI large language models don’t have ‘knowledge’ in the usual sense of the word; they don’t store or retrieve data; they don’t crawl the web like a search engine for information. They are “just good at predicting the next word(s) in a sequence” [9] based on what they have learned. Thus, ChatGPT has “uneven factual accuracy” [10]; moreover, it does not try to ensure that the content of its text is true, robust, verifiably, valid, generalizable, etc. [11]. In machine learning terms, it can “hallucinate”, confidently presenting legitimate-sounding material that it is not real [12].

점진적 프롬프트를 통한 ChatGPT 훈련
Training ChatGPT through incremental prompting

ChatGPT의 기본값은 일반적이고 설명적인 응답을 제공하는 것입니다. 점진적 프롬프트는 점차적으로 주의를 집중시키고 사용자의 관심사와 이해 수준에 맞는 응답을 제공하도록 훈련시키는 프로세스입니다. 아래 질문과 같은 일반적인 프롬프트가 시작점으로 좋습니다: 
ChatGPT’s default is to offer generic and descriptive responses. Incremental prompting is the process by which you gradually focus its attention and train it to give you responses tailored to your interests and your level of understanding. General prompts are fine as a starting point, such as my question below:

 

능동태와 피동태에 대한 설명이 이어지지만, 제가 실제로 관심을 갖고 있는 부분은 아닙니다. 저는 좀 더 구체적인 답변을 얻고자 제 이야기를 해보려고 합니다.

lf:It goes on to explain active and passive voice, but that’s not really what I’m interested in. I try to get a more specific answer by telling it about myself:

 

스타일과 어조에 대해 이야기하고 대명사의 예가 더 구체적이라는 점에서 다소 나아졌습니다. 하지만 여전히 제가 원하는 것보다 더 일반적입니다. 제가 요청합니다:

That’s somewhat better: it’s talking about style and tone, and the example of pronouns is more specific. But it is still more generic than I would like. I ask it to:

 
 

이 답변은 학술적 글쓰기에서 목소리에 대해 이야기하기 위해 좀 더 형식적인 언어적 특징을 사용하며, 딕시스, 양식 및 일관성에 대한 예를 제시합니다. 그러나 학자들이 학술적 목소리에 대해 이야기할 때 이러한 특징이 주된 관심사는 아닙니다. 그래서 다음 질문은 학술적 목소리의 저명한 언어학자에 대해 묻고 있습니다:

This response employs more formal linguistic features to talk about voice in academic writing, and offers illustrations of deixis, modality, and coherence. However, these aren’t the primary features that scholars are concerned with when they talk about academic voice. So my next prompt asks about a prominent linguistic scholar of academic voice:

 

Hyland의 이론은 세 가지 주요 구성 요소로 이루어져 있으며, 그 중 하나만 명시적으로 응답("입장")에 표현되어 있습니다. 다음 점진적 프롬프트는 이를 더욱 집중적으로 다루려고 합니다:

This is accurate, but still generic and selective: Hyland’s theory has three main components, only one of which is explicitly represented in its response (“stance”). My next incremental prompt tries to focus it further:

 

이제 ChatGPT는 Hyland의 이론에 대한 360단어 설명과 함께 세 가지 구성 요소에 대한 유용한 예시를 몇 초 만에 제공할 수 있게 되었습니다. 하지만 이제 궁금한 점이 생겼습니다. 제가 프롬프트에서 Hyland에 집중하느라 음성 관련 다른 언어 이론에 대해 알려주지 않은 것은 무엇일까요? 그래서 묻습니다:

ChatGPT is now able, in a few seconds, to offer a 360-word description of Hyland’s theory with helpful, illustrative examples of its three components. But now, I wonder, what other linguistic theories of voice did it not tell me about, due to my focusing in on Hyland in my prompting? So I ask:

 

이제 ChatGPT는 음성에 대한 네 가지 중요한 이론을 설명하며, 점진적인 프롬프트를 통해 더 자세히 살펴볼 수 있습니다. 또한 이러한 이론을 비교하거나 이론 간의 긴장을 설명하거나 더 최근의 이론가들이 이러한 이론을 어떻게 구축했는지 제안하도록 요청할 수도 있습니다. 이 정도의 구체성에 도달하면 ChatGPT는 여러분이 직접 읽고 쓸 때 추구해야 할 아이디어 간의 연결점을 지적하는 데 매우 유용할 수 있습니다. 
Now ChatGPT describes four important theories of voice, which I could probe further with incremental prompting. I could also ask it to compare these theories, or to describe tensions among them, or to suggest how more recent theorists have built on them. Once you get to this level of specificity, ChatGPT can be very helpful in pointing out connections among ideas for you to pursue in your own reading and writing.

이 대화에서 알 수 있듯이 점진적 프롬프트는 ChatGPT의 응답 가치를 극대화하는 데 핵심적인 역할을 합니다. 그러나 효과적인 증분 프롬프트를 사용하려면 도메인에 대한 지식이 필요합니다. 도메인을 이미 잘 알고 있어야 ChatGPT의 응답이 얼마나 정확하고 선택적이거나 포괄적인지 판단하고 후속 프롬프트를 사용하여 응답을 개선할 수 있습니다. 잘 모르는 도메인에 대해 질문하면 ChatGPT가 어떤 정보를 선택했는지, 왜 어떤 것을 선택했는지, 왜 다른 것을 선택하지 않았는지 불분명합니다. 
As this conversation illustrates, incremental prompting is a key to maximizing the value of ChatGPT’s responses. But effective incremental prompting requires domain-specific knowledge: you need to know the domain quite well already, so that you can judge the extent to which ChatGPT’s response is accurate, selective or comprehensive, and use follow up prompts to improve it. If you ask it about domains you don’t know well, it will be unclear what information ChatGPT has selected from, and why it has selected some things and not others.

마지막으로 '학습' ChatGPT에 대해 한 가지 더 말씀드리자면, 학습한 내용이 현재 채팅을 넘어 일관되게 전달되지 않는 것 같습니다. 별도의 채팅을 열고 "켄 하일랜드의 학문적 음성 이론에 대해 무엇을 이해하나요?"라고 다시 질문했을 때, 첫 번째 응답은 이 모델의 세 가지 특징을 모두 설명하는 것으로 이전 채팅에서 학습한 내용이 전달되는 것처럼 보였습니다. 하지만 다음 섹션에서 설명하겠지만 항상 그런 것은 아닙니다.
One final point about ‘training’ ChatGPT: what it learns does not appear to consistently transfer beyond the current chat. When I opened a separate chat and asked again “What do you understand about Ken Hyland’s theory of academic voice in writing”, the first response included described all three features of this model: that seemed to represent learning transferred from the previous chat. But this is not always the case, as I will discuss in the next section.

주의: ChatGPT의 기본 응답은 일반적이면서도 (눈에 보이지 않게) 선택적인 응답을 제공합니다.
인사이트: 점진적 프롬프트는 구체성을 높이고, 선택을 안내하며, 제외 항목을 표시할 수 있습니다.

Caution:
 ChatGPT’s default responses are both generic and (invisibly) selective.

Insight: Incremental prompting can increase specificity, guide selections & reveal exclusions.

브레인스토밍을 위한 ChatGPT 사용
Using ChatGPT for brainstorming

ChatGPT는 다른 기능보다 몇 가지 기능이 더 뛰어납니다. 가장 큰 차이점은 콘텐츠 생성과 구조적 지원입니다. 콘텐츠 생성의 경우, 앞서 학술적 글쓰기 음성에 대한 대화에서 설명한 것처럼 ChatGPT가 제공하는 콘텐츠의 품질을 판단하려면 콘텐츠를 잘 알고 있어야 합니다. 소프트웨어가 잘하는 것으로 확인된 콘텐츠 생성의 한 가지 형태는 개요 생성입니다[13]. 저는 이 작가의 기술에 대한 개요를 제공하기를 원했기 때문에 작가의 기술 장르에 대해 무엇을 알고 있는지 물어보는 것부터 시작했습니다: 

ChatGPT is better at some things than others. The main distinction is between content generation and structural support. In terms of content generation, as the previous conversation about academic writing voice illustrated, you need to know the content well to judge the quality of what ChatGPT is giving you. One form of content generation that the software has been identified to be good at is the creation of outlines [13]. I wanted it to provide an outline for this Writer’s Craft for me, so I began by asking what it knew about the Writer’s Craft genre:

 

여기서 멈추세요. '작가의 기술'은 일련의 책이 아니며, 저는 이런 제목의 책을 쓴 적이 없습니다. 이 예에서 알 수 있듯이 점진적 프롬프트의 각 단계에서 잘못된 응답을 경계해야 합니다. ChatGPT는 두뇌가 아닌 텍스트 생성기입니다. 질문한 주제와 관련하여 함께 찾을 수 있는 단어를 조합하는 것입니다. 그렇다고 해서 이 단어들이 서로 '속한다'거나 '진실'이라는 의미는 아닙니다. 사실 ChatGPT는 헛소리를 만들어내는 것을 즐기는 것 같습니다. 이 서비스가 제공하는 참고 자료를 절대 신뢰할 수 없습니다. 2021년 이후의 자료에 접근할 수 없기 때문만이 아니라, 작가의 기술 시리즈는 2015년까지 거슬러 올라가는데, 이를 알지도 못하고 찾으려고 하지도 않는 것 같습니다. 대신 "환각"을 일으켜 책 시리즈를 구성합니다. 다행히도 "생성 중지" 버튼을 누르면 이 작업을 중단할 수 있습니다. 그런 다음 수정했습니다: 

Stop right there: the Writer’s Craft is not a series of books, and I have never written books with these titles. As this illustrates, at each stage of the incremental prompting, you should be alert for false responses. ChatGPT is a text generator, not a brain: it is putting together words that are likely to be found together around the topic you’ve asked about. That doesn’t mean these words ‘belong’ together or that they are ‘true’. In fact, ChatGPT seems to enjoy making sh*t up. You absolutely cannot trust the references it gives you. And not only because it doesn’t have access to material post-2021; the Writer’s Craft series extends back to 2015, but it doesn’t know them and apparently doesn’t try to find them. Instead, it “hallucinates”, making up a book series. Happily, you can stop it in its tracks when it does this, by hitting the “Stop Generating” button, which I did. Then I corrected it:

 

이 답변 역시 프롬프트에서 말씀드린 내용을 대부분 반복하는 것이기 때문에, 집중해서 작가의 기술 시리즈 제목을 물어봄으로써 구체적인 내용을 파악하려고 노력했습니다: 

This answer too, is mostly repetition of what I told it in the prompt, so I try to focus it down and get specifics by asking for the titles of the Writer’s Craft series:

 

문제는 이러한 제목이 실제 제목이 아니라 지어낸 제목이라는 것입니다. 특정 참고 문헌을 제공하라는 메시지가 표시되면 종종 이를 만들어내는 경우가 많다는 점이 ChatGPT의 주요 약점 중 하나입니다[14]. 이러한 발명품은 단어 연관성을 기반으로 하기 때문에 키워드와 공동 저자의 현실적인 조합을 갖게 됩니다. 하지만 가짜가 아닐 가능성도 그만큼 높습니다. 이 문제를 해결하기 위해 웹에 대한 ChatGPT의 액세스를 개선하거나 Google Scholar 참조로 제한하는 확장 프로그램과 같은 기술이 등장하고 있지만, 그 효과에 대한 보고는 다양합니다[15]. 
The problem is, these aren’t real titles: they’re made up. This is one of ChatGPT’s main weaknesses: when you prompt it to provide specific references, it often invents them [14]. Because these inventions are based on word associations, they will have realistic combinations of keywords and coauthors. But they are as likely as not to be bogus. Techniques for addressing this problem are emerging, such as extensions that improve ChatGPT’s access to the Web or restrict it to Google Scholar references; however, reports of their effectiveness vary [15].

주의: ChatGPT는 사용자에게 거짓말을 할 수 있으며, 이러한 현상은 AI 환각으로 알려져 있습니다.
인사이트: 생성하는 모든 콘텐츠, 특히 참고 문헌을 다시 한 번 확인하세요.
Caution:
 ChatGPT will lie to you, a phenomenon known as an AI hallucination.

Insight: Double check any content it generates, particularly references.

하지만 ChatGPT는 제목에 있어서는 다소 창의적이라고 말할 수 있습니다. 예를 들어, 저는 이 가짜 작가의 기술이라는 제목을 썼으면 좋았을 것 같습니다: "링가드 L. 나를 설득하라: 논증의 기술. 의학 교육에 대한 관점. 2013; 2(2): 75-78." 이는 소프트웨어를 효과적으로 사용하는 한 가지 방법이 제목 제안을 요청하는 것임을 시사합니다. 실험으로, 저는 최근 '독자를 위한 글쓰기'라는 제목을 붙인 '작가의 기술'의 도입 단락을 제공했습니다: 독자를 위한 글쓰기: 독자의 기대 원칙을 사용하여 명확성 극대화하기"라는 제목을 붙인 글의 도입부를 제공하고 가능한 제목을 물어보았습니다:

I will say, though, that ChatGPT is rather creative when it comes to titles. I wish, for instance, that I had written this fake Writer’s Craft: “Lingard L. Convince me: the art of argumentation. Perspectives on Medical Education. 2013; 2(2): 75–78.” This suggests that one way to use the software effectively would be to ask it for title suggestions. As an experiment, I give it the introductory paragraphs from a recent Writer’s Craft (that I had entitled “Writing for the Reader: Using Reader Expectation Principles to Maximize Clarity) and I ask it for possible titles:

 

저는 특히 1번과 6번을 좋아하는데, 만약 제가 새 제목을 쓴다면 이 중 몇 가지를 조합해서 쓸 것 같습니다. 
Some of these are pretty good: I especially like 1 and 6, and if I were going to write a new title it would likely combine pieces of these favorites.

ChatGPT에서 이 작가의 기술에 대한 개요를 작성하기 위해 ChatGPT를 사용했던 시도로 돌아가 보겠습니다. 
Back to my attempt to get ChatGPT to create an outline for this Writer’s Craft on ChatGPT.

실제 작가 크래프트 작품에 익숙해지도록 하려고 했지만 잘 안 되더군요. 
I tried to get it to familiarize itself with actual Writer’s Craft pieces, but it resisted.

 

처음에는 능력과 시간(!)이 있는 것은 분명한데 실제로 시리즈 전체를 읽는 것을 거부하는 것이 당황스러웠습니다. 아마도 모든 참조를 제공하면 더 잘 반응 할 것입니다. 하지만 여기서는 다시 일반론으로 돌아갑니다: "이 시리즈는 약 20개의 아티클로 구성되어 있으며, 각 아티클은 학술적 글쓰기의 다른 측면에 초점을 맞출 것입니다...", "이 시리즈는 연구자들이 학술적 글쓰기에 사용할 수 있는 실용적인 조언과 전략을 제공할 것입니다..." 등등. 지금까지는 ChatGPT가 실제로 제가 예시로 제공한 특정 글쓰기를 포함하여 작가의 기술 중 어느 것도 읽지 않았다는 확신을 가질 수 없었습니다. 하지만 ChatGPT는 읽거나 분석하는 것이 아니라 언어 패턴을 인식하는 것뿐이라는 것을 기억합니다. 그래서 다시 묻습니다: 

At first I’m puzzled that it resists actually reading the entire series, as it surely does have the ability and the time (!). Perhaps if I gave it all the references it would respond better. Here though, it reverts again to generalities: “The series consists of approximately 20 articles, each of which likely focuses on a different aspect of academic writing…”; The series likely provides practical advice and strategies for researchers to use in their academic writing…”, and so on. So far, I can’t have confidence that ChatGPT has actually read any of the Writer’s Crafts, even the specific one that I provided as an example. But then I remember that ChatGPT is neither reading nor analyzing – it’s just recognizing language patterns. Thus, I prompt again:

 

점점 가까워지고 있습니다. ChatGPT가 이 작가의 기술의 주요 구조를 파악했다는 것을 알 수 있을 정도로 충분한 디테일이 있습니다. 하지만 제 자신의 기존 지식이 얼마나 중요한지 주목하세요: 저는 이 기사를 잘 알고 있기 때문에(제가 작성했습니다!) ChatGPT가 일반적인 내용을 말하는 경우와 제가 지시한 기사에 대해 실제로 이야기하는 경우를 쉽게 구분할 수 있었습니다. 
That’s getting closer. There is sufficient detail that I can tell ChatGPT has picked up the main structure of this Writer’s Craft. Notice though, how important my own existing knowledge is: I know this article well (I wrote it!) and so I have been able to readily discern when ChatGPT is spouting generic stuff and when it is actually talking about the article(s) I’ve directed it to.

주의: ChatGPT에 의존해 기사를 읽지 마세요.
인사이트: 낯선 도메인보다는 익숙한 도메인과 관련하여 ChatGPT를 사용하세요.
Caution:
 Don’t rely on ChatGPT to read articles for you.

Insight: Use ChatGPT in relation to familiar domains rather than unfamiliar ones.

 

이제 (마침내) 특정 글쓰기 기술의 특징을 인식하도록 만들었으니 원래의 목표, 즉 이 글의 개요를 브레인스토밍하는 데 ChatGPT를 사용하도록 하는 것에 도달할 수 있게 되었습니다: 
Now that I’ve (finally) gotten it to recognize the features of a specific Writer’s Craft, I can get to my original aim: getting ChatGPT to brainstorm an outline for this paper:

 
 

이것은 유용합니다. 물론 제가 가르쳤던 '작가의 기술'의 형식과 정확히 일치하는 것은 아니며, 다소 일반적인 구조로 되돌아갔습니다. 그리고 제가 실제로 이 글을 어떻게 구성하기로 결정했는지는 (눈치 채셨을 것입니다) 아닙니다. 그러나 필요한 섹션 중 일부를 개념화하는 데 도움이됩니다. 그리고 초안 작성 과정에서 다시 돌아가서 제가 무엇을 강조하고 간과했는지 확인하는 데 유용했습니다. 
This is useful. Admittedly, it’s not precisely the format from the Writer’s Craft I trained it on: it has reverted to a somewhat more generic structure. And it is not (you will have noticed) how I actually decided to organize this piece. It does, however, help me conceptualize some of the necessary sections. And it was useful to return to during the drafting process, to see what I was emphasizing and overlooking.

점진적인 프롬프트를 통해 ChatGPT를 이 단계까지 끌어올리면 모든 종류의 브레인스토밍을 할 수 있는 정점에 도달한 것입니다. 각 섹션을 완성하는 데 도움이 되는 몇 가지 구체적인 정보가 필요하다고 가정해 봅시다:

Once you get ChatGPT to this point through incremental prompting, you’re on the cusp of all kinds of brainstorming bounty. Let’s say you want some specifics to help you flush out each section:

 
Insight: If you dread the blank page, a ChatGPT outline could jumpstart your drafting process.
Caution: Its ideas are generic; use them as a starting place, not a replacement for your own.

글의 깊이를 더하기 위해 몇 가지 추가 아이디어를 짜는 데 도움이 필요하다면 어떻게 해야 할까요? 가능한 한 구체적으로 말씀해 주세요: 

What if you wanted help weaving in some additional ideas, to deepen the piece of writing? Just ask, remembering to be as specific as you can be:

 

이것들은 모두 관련성이 있는 요점들이며, 각각에 대한 이해를 마무리하기 위해 Google Scholar에 입력할 수 있는 검색어를 제공합니다. 
These are all relevant points, and they provide me with search terms I could input into Google Scholar to round out my understanding of each.

위의 채팅에서 볼 수 있듯이 ChatGPT를 사용하여 견고한 윤곽을 만들 수 있습니다. 글을 쓸 장르에 대해 훈련하고 다룰 주제 영역에 대한 지식을 판단해야 하지만, 이러한 단계를 수행한 후에는 순서, 섹션, 강조점이 다른 일련의 개요를 빠르게 요청할 수 있습니다. 이렇게 하면 원고에 접근하는 다양한 방법을 상상해보고 가장 적합한 방법을 선택하여 초안을 작성하는 데 도움이 됩니다. 
As my chat above illustrates, ChatGPT can be used to create solid outlines. You need to train it on the genre you’re going to write in and you need to judge its knowledge about the subject areas you’ll cover, but once you’ve taken those steps you can quickly request a series of outlines with different orders, sections, emphases. This can help you imagine different ways of approaching the manuscript: choose the best one, and start drafting.

ChatGPT는 일단 올바른 방향으로 안내를 받으면 빠르게 진행되지만(전체 채팅은 10분도 채 걸리지 않았습니다), 이러한 훈련 노력이 새로운 채팅으로 이어지지는 않습니다. 시스템은 모든 채팅 로그를 저장합니다. 사이드바에서 채팅 로그를 보고 다시 돌아가서 액세스할 수 있지만, 이는 개별적인 개체입니다. "컨텍스트 메모리는 현재 대화에만 적용됩니다. ChatGPT의 상태 비저장 아키텍처는 대화를 독립적인 인스턴스로 취급하기 때문에 이전 대화의 정보를 참조할 수 없습니다. 새 채팅을 시작하면 항상 모델의 상태가 초기화됩니다."[16]. 이 사실을 모르고 며칠 후 새 채팅을 시작하고 "연구자들의 학술적 글쓰기 향상을 돕기 위해 로렐라이 링가드가 (주로) 쓴 '작가의 기술' 시리즈에 대해 아는 것을 말해 주세요"라고 다시 물었더니 제가 쓴 적도 없는 책 5권에 대해 또다시 대답을 들었습니다. 저장된 채팅 로그로 돌아가서 중단한 부분부터 다시 프롬프트를 받았을 때 결과는 더 나아졌지만 일관성이 없었는데, 이는 ChatGPT의 문맥 기억의 한계 때문이거나 "관련성이 없다고 판단되는 지시를 삭제하는"[16] 경향으로 인해 "문맥을 깨뜨리는" 경향 때문일 수 있습니다. 
ChatGPT is fast once you get it pointed in the right direction (this whole chat took less than 10 minutes), but that training effort doesn’t transfer to new chats. The system saves all your chatlogs: you can see them on the sidebar and go back and access them, but they are discrete entities. “Contextual memory only applies to your current conversation. ChatGPT’s stateless architecture treats conversations as independent instances; it can’t reference information from previous ones. Starting new chats always resets the model’s state” [16]. Not knowing this, a few days later I started a new chat and asked it again “Tell me what you know about the Writer’s Craft series written (predominantly) by Lorelei Lingard to help researchers improve their academic writing”, only to be told again about 5 books I had never written. When I went back into saved chat logs and picked up my prompting where I’d left off, the result was better but not consistently so, which may be due either to limits on ChatGPT’s contextual memory or to its tendency to “break character” due to “dropping instructions it deems irrelevant” [16].

주의: ChatGPT는 여러 채팅에서 수행한 훈련을 전송하지 않습니다.
인사이트: 저장된 채팅 로그로 돌아가서 이전 프롬프트를 통해 수행한 훈련을 바탕으로 학습할 수 있을 것입니다.
Caution:
 ChatGPT doesn’t transfer the training you’ve done across chats.

Insight: Try returning to saved chat logs; you may be able to build on the training you’ve done through previous prompting.

반론, 요약 및 요약 생성하기
Generating counterarguments, summaries, and abstracts

콘텐츠 생성에 ChatGPT를 사용하는 유용한 방법은 개요뿐이 아닙니다. 또한 주장의 한 부분을 검토하고 반론을 제안하도록 요청할 수도 있습니다. 사용하는 ChatGPT 버전이 중요하다는 점을 명심하세요. 무료 ChatGPT 3.5는 읽고 응답할 수 있는 단어가 약 500단어로 제한되어 있으므로 전체 결과 또는 토론 섹션을 입력하면 이 오류 메시지가 표시됩니다: 
Outlines are not the only useful way to use ChatGPT for content generation. You can also ask it to review a section of your argument and suggest counter arguments. Keep in mind that the version of ChatGPT you use matters. The free ChatGPT 3.5 has a limit of about 500 words on what it can read and respond to, so if you input your whole results or discussion section you’ll get this error message:

 

유료 버전인 ChatGPTPlus는 한 번에 최대 25,000단어까지 처리할 수 있지만, 읽고 응답할 수 있는 단락을 몇 개 이상 입력하려고 하면 여전히 오류 메시지가 표시됩니다. 따라서 초안을 작성하는 동안 섹션에 대한 대략적인 요약을 제공하고 반론을 요청하는 것이 더 낫다고 생각합니다. 이 프롬프트에서는 현재 작업 중인 논문 결과의 요점을 요약하고, 그 결과를 바탕으로 제가 주장하고자 하는 바를 ChatGPT에 말한 다음 반론을 제시해 달라고 요청합니다: 
ChatGPTPlus (the paid version) is supposed to handle up to 25,000 words at a time, but I still received the error message when I tried to input more than a few paragraphs for it to read and respond to. Therefore, I think it’s better to give it a rough summary of a section (say, while you’re still drafting it) and ask it for counterarguments. In this prompt I summarize the gist of the results of a paper I’m currently working on, tell ChatGPT what I want to argue based on those results, and ask it to suggest counterarguments:

 

약 3초 만에 (얼마나 빨리 작동하는지 아직도 숨이 멎을 정도입니다) ChatGPT는 이를 제공합니다:

In about 3 seconds (it still leaves me breathless how quickly it works), ChatGPT offers this:

 

이 정도면 충분했습니다: 토론의 '반론' 섹션을 쉽게 작성할 수 있습니다. 이러한 아이디어 중 일부를 완전히 이해하지 못했거나 더 구체적인 내용을 원할 경우, 추가 질문을 통해 답변에 집중할 수 있습니다. 
This is enough to get my wheels turning: I could readily start writing a ‘counterargument’ section of my discussion. If I don’t understand fully some of these ideas or I want more specificity, further prompting would focus these responses.

통찰력: ChatGPT는 좋은 브레인스토밍 리소스가 될 수 있습니다.
주의: 하지만 그 제안을 맹목적으로 받아들이지 마세요. 여러분은 인공지능보다 더 똑똑합니다(적어도 현재 형태에서는).
Insight:
 ChatGPT can be a good brainstorming resource.

Caution: But don’t accept its suggestions blindly. You are smarter than it is (at least in its current form).


ChatGPT와 같은 AI 도구는 더 많은 청중이 더 쉽게 접근하고 포용할 수 있는 글을 작성하는 데에도 도움이 될 수 있습니다. 예를 들어, 최근 지원금 신청서의 첫 문단을 주고 100단어로 된 일반인용 요약문을 작성해 달라고 요청했더니 응답이 왔습니다: 

AI tools like ChatGPT can also help you to make your writing more accessible and inclusive of a wider audience. For instance, I gave it the opening paragraphs of a recent grant application and asked it to generate a 100-word lay summary, to which it responded:

 

이는 여전히 다소 형식적인 표현으로, 처음 프롬프트에서 '평이한 요약'의 의미가 자명하지 않은 것 같아서 더 자세히 설명했습니다: 

This was still a bit formal, suggesting that the meaning of ‘lay summary’ was perhaps not self-evident in my initial prompt, so I prompted it further:

 

이제 수정할 수 있는 초안이 완성되었으니, 예를 들어 '과학적 무결성'과 같이 삭제된 키워드 몇 개를 다시 넣을 수 있을 것입니다. 하지만 실행 가능한 초안이 있었기 때문에 최소 30분의 작업 시간을 절약할 수 있었습니다. 
This is an acceptable first draft that I can now rework; for instance, I would probably reinstate a few of the keywords (like “scientific integrity”) that were removed. But having a workable draft to start from has probably saved me at least 30 minutes of work.


초록은 ChatGPT가 도움을 줄 수 있는 또 다른 글쓰기 노동입니다. 프롬프트에 입력할 수 있는 단어가 제한되어 있어 논문 전체를 읽을 수 없기 때문에 첫 번째 초록 초안을 작성하는 데는 도움이 되지 않습니다. 하지만 항상 너무 긴 초록의 첫 초안을 필요한 단어 수 제한으로 줄이는 데는 도움이 될 수 있습니다. 이는 대부분의 사람들이 기꺼이 아웃소싱할 수 있는 노동력입니다: 저는 아직 초록의 단어 수를 줄이는 작업(과 시간!)을 소중히 여기는 작가를 만나지 못했습니다. 하지만 인공지능에게 완벽하게 적합한 것처럼 보이는 이 작업도 전적으로 신뢰할 수는 없습니다. 
Abstracts are another piece of writing labor that ChatGPT can help with. It can’t help you with your first abstract draft, because it can’t read your entire paper due to limits on the words you can enter in a prompt. But it can help you take your abstract’s first draft, which is invariably too long, and reduce it to the required word limit. This is labor most of us would be happy to outsource: I have yet to meet a writer who cherishes the task (and time!) of whittling words from their abstract. But even with this task which seems perfectly suited to AI, you can’t entirely trust it.

예를 들어, 제가 제공한 구조화된 초록에서 27개의 단어를 제거해 달라고 요청하면서 내용 그대로를 최대한 적게 다시 작성해 달라고 덧붙였습니다. 그 결과 약 100단어 길이의 비정형 버전이 만들어졌습니다. 저는 응답했습니다: 

As illustration, I asked it to remove 27 words from a structured abstract which I provided, adding that I wanted it to rewrite as little as possible as I liked the content as it was. It produced an unstructured version about 100 words long. I responded:

 

이제 구조화된 초록이 반환되었지만 여전히 제가 요청한 것보다 훨씬 짧았습니다. 이번에는 단어 수를 빼는 수학적 작업을 요청하지 않고 응답에 대한 단어 수 제한(300개)을 설정하여 다시 요청했습니다(약간 짜증이 났음을 고백합니다): 
Now it returned a structured abstract, but still much shorter than I had requested. I prompted again (I confess, a bit irritated), this time not asking it to do the mathematical task of subtracting the number of words, but setting a word limit (300) for its response:

 
 


이해하는 것 같지만 다음 버전도 300 단어가 아니 었습니다 (예, 이때까지 단어 수를 확인하기 위해 모든 시도를 Word 문서에 복사하여 붙여 넣었습니다): 

It seems like it understands, but the next version wasn’t 300 words either (yes, by this time I was copying and pasting all the attempts into a Word document to check the word count):

 

마지막으로 성공: 최종 버전은 310단어였습니다(이 중 10개가 구조화된 제목이었으므로 ChatGPT에 점수를 주겠습니다).
Finally, success: the last version was 310 words (we’ll give ChatGPT the point, because 10 of those were the structured headings). 

인사이트: ChatGPT는 분명히 셀 수 없습니다.
주의: 구체적인 작업을 수행하더라도 실패에 주의해야 합니다.
Insight:
 ChatGPT apparently can’t count.

Caution: Even with concrete tasks, be alert for failure.

물론 수학 문제를 풀도록 요청하면 ChatGPT는 계산할 수 있습니다. 하지만 정확한 단어 개수를 세는 것은 분명 장점은 아닙니다. 그럼에도 불구하고 ChatGPT는 기존 초록을 새로운 목적에 맞게 재구성하는 데 여전히 유용합니다. 250단어로 구성된 구조화된 컨퍼런스 초록이 있는데, 100단어로 구성된 비정형 초록이 필요한 다른 컨퍼런스에 제출하고 싶다고 가정해 보겠습니다:
ChatGPT can count, of course: if you ask it to solve math problems, it can do so. But exact word counts clearly aren’t its forte. Nevertheless, ChatGPT is still useful for reformatting existing abstracts for new purposes. I have a structured conference abstract of 250 words, which I want to submit to another conference that requires unstructured, 100-word abstracts:

 

아직 정확하게 계산하지는 못했지만(108단어) 비정형 초록으로 형식을 바꾸고 핵심 아이디어는 유지했습니다. 이 버전을 다시 작업할 때 여분의 단어 8개를 다듬을 예정인데, 전체 서식을 직접 다시 지정하는 것보다 확실히 빠릅니다.
It still hasn’t counted accurately (this is 108 words), but it has reformatted to an unstructured abstract and retained the key ideas. I’ll trim the extra 8 words when I rework this version; that’s certainly faster than doing the whole reformat myself.

명확성과 일관성을 개선하기 위해 ChatGPT로 편집하기
Editing with ChatGPT to improve clarity and coherence

이 도구를 사용하는 또 다른 방법은 초안 섹션의 명확성과 일관성을 강화하는 것입니다. 특히 독자를 잃을 수 있다고 생각되는 밀집된 부분의 명확성과 일관성을 강화하는 것입니다. 내부 일관성을 강화하려면 한 단락을 입력하고 요점을 설명하기 위해 토큰 문장을 추가할 위치를 제안하는 등 아이디어가 더 설득력 있게 전개되도록 다시 작성해 달라고 요청할 수 있습니다. 저는 초안을 작성한 단락을 입력하고 세 가지 주제 문장을 제안해 달라고 요청했고, 이에 응답했습니다: 

Another way to use the tool is to strengthen the clarity and coherence of sections of your draft, particularly those dense spots where you think you might lose the reader. To strengthen internal coherence, you could input a single paragraph and ask it to rewrite so that the ideas develop more convincingly, including suggesting where you should add token sentences to illustrate your points. I inputted a paragraph I’d drafted and asked it for three possible topic sentences, to which it responded:

 

각 주제 문장에서 서로 다른 강조점을 확인함으로써 단락에서 관심을 끌기 위해 경쟁하는 문제를 파악하고 더 일관성 있게 만드는 데 도움이 되었습니다.
Seeing the different emphases in each topic sentence helped me to identify the issues that were vying for attention in the paragraph, and make it more coherent.

인사이트: ChatGPT에 주제 문장을 요청하면 단락의 일관성 문제를 파악하는 데 도움이 될 수 있습니다.
주의: 이러한 문장을 그대로 사용하지 마세요. 이는 해결책이 아니라 신호일 뿐입니다.
Insight:
 Asking ChatGPT for topic sentences can help reveal issues with paragraph coherence.

Caution: Don’t use those sentences verbatim. They are a signal, not a solution.


이론적으로는 일련의 단락을 입력하고 새로운 주제 및 전환 문장을 제안하도록 요청하여 ChatGPT로 외부 일관성을 강화할 수도 있습니다. 저는 이번 작가의 기술을 위해 초안을 작성했던 첫 문단에 대해 ChatGPT에 도움을 요청했습니다:

Theoretically, you can also strengthen external coherence with ChatGPT, by inputting a series of paragraphs and asking it to suggest new topic and transition sentences. I asked ChatGPT for help with the opening paragraphs I had drafted for this Writer’s Craft:

 

제안한 내용은 다음과 같습니다:

Here’s what it suggested:

 

첫째, ChatGPT는 요청에 따라 주제와 전환 문장뿐만 아니라 모든 문장을 변경했습니다. 예를 들어, 수동태 구조(예: "촉발되었다", "점화되었다", "인정되었다")를 많이 사용하고, 단순한 주제를 좀 더 정교한 구조로 변경했습니다(예: "ChatGPT"가 "학계 내 ChatGPT의 영향력 증가"로 변경됨). 이제, 제가 제 글에 대해 약간 귀중하게 여길 수 있다는 것을 인정하는 첫 번째 사람이 되겠지만, 이것이 제가 부탁한 것은 아닙니다. 따라서 분명히 밝힙니다: 

I noticed two things immediately: first, ChatGPT changed all the sentences, not only the topic and transition sentences as requested. And second, it also changed the writing style: for instance, it uses many passive voice constructions (e.g., “has sparked”, “has ignited”, “has been acknowledged”), and changed out my simple subjects for more elaborate constructions (e.g., my “ChatGPT” has been changed to “the rising influence of ChatGPT within academia”). Now, I will be the first to admit that I can be a bit precious about my writing, but this is not what I asked it to do. Thus, I clarify:

 

Ugh. 은유가 지나치게 섞여 있습니다! - 은유가 지나쳤습니다. 그리고 어조가 답답한 학자에서 발랄한 청소년으로 바뀌었습니다. 다음 프롬프트는 제 짜증을 드러냅니다:

Ugh. It has overdone – and mixed! – the metaphors. And the tone has swung from stuffy academic to effusive adolescent. My next prompt reveals my irritation:

 

이 글은 제 글쓰기 스타일에 더 가깝고, 주제와 전환 문장이 시작 논거를 연결하고 발전시키는 데 효과적입니다. 글의 내적 또는 외적 일관성을 유지하는 데 어려움을 겪고 있다면 이 자료가 도움이 될 수 있습니다. 그러나 일관성 문제로 어려움을 겪고 있지 않다면(이 글에서는 특별히 그렇지 않았습니다) 이 제안이 흥미롭지 않을 수 있으며, 일부 제안은 좌절감을 줄 수도 있습니다.
This is closer to my writing style, and the topic and transition sentences are effective at connecting and developing the opening argument. If you’re struggling with internal or external coherence in a piece of writing, this could be a helpful resource. But if you’re not struggling with coherence (as I wasn’t particularly in this piece), its suggestions are unlikely to excite you – and some of them may frustrate you.

주의: ChatGPT는 콘텐츠뿐만 아니라 글쓰기 스타일도 편집합니다.
인사이트: ChatGPT가 생성한 자료를 다시 작성할 때 스타일을 자신만의 것으로 만드세요.
Caution:
 ChatGPT will edit your writing style as well as your content.

Insight: As part of your rewrite of ChatGPT-generated material, make the style your own.

ChatGPT를 통해 글쓰기에서 어떤 부분을 개선하고 싶으시다면, 그 글의 특징 뒤에 있는 문법적/수사적/언어적 개념을 ChatGPT가 이해하고 있는지 확인해야 합니다. 무엇을 "알고 있는지" 물어보기 전까지는 알 수 없습니다. 저는 제 학생 중 한 명이 왼쪽 분기 문장(많은 세부 사항을 일찍 도입하고, 주요 아이디어를 나중으로 미루어 다른 모든 세부 사항을 정리하기 위해 주요 아이디어가 필요한 독자에게 혼란을 줄 수 있는 문장)을 작성하는 경향을 파악하고 개선하는 데 도움이 될 수 있는지 알아보고 싶었습니다. 저는 먼저 물어보았습니다: 

Whatever you want ChatGPT to help improve in your writing, you need to ensure that it understands the grammatical/rhetorical/linguistic concepts behind that feature of your writing. You don’t know what it “knows” until you ask it. I wanted to see if it could help one of my students identify and improve their tendency to write left-branching sentences (those that introduce a lot of detail early, leaving the main idea until late and thus potentially creating confusion for the reader who needs the main idea to organize all the other details). I started by asking it:

 

보시다시피, 거꾸로 되어 있었습니다. 제가 수정했습니다:
As you can see, it had them backwards. I corrected it:

 
 
 

생성된 모든 문장이 마음에 들지는 않지만 오른쪽으로 더 많이 분기됩니다. 작가의 습관을 파악하고 ChatGPT가 관심 있는 문법적 특징에 대한 정확한 지식을 갖추게 되면 유용한 코칭 리소스가 될 수 있습니다. 예를 들어, 많은 작가들이 강력한 동사의 레퍼토리를 확장하는 데 어려움을 겪고 있습니다. ChatGPT에 글의 몇 단락을 제공하고 더 강하고 역동적인 동사로 다시 작성하도록 요청할 수 있습니다. 몇 가지 다른 버전을 요청하면 갑자기 선택할 수있는 새로운 동사의 멋진 카탈로그가 생깁니다. 
I don’t like all of the sentences it has created, but they are more right-branching. This would be a useful coaching resource, once a writer’s habits are identified and we have ensured that ChatGPT has accurate knowledge of the grammatical features we’re interested in. For instance, many writers struggle to expand their repertoire of strong verbs. We could give ChatGPT a few paragraphs of their writing and ask it to rewrite with stronger, more dynamic verbs. Ask it for a few different versions and suddenly you have a nice catalogue of new verbs to choose from.

더 일반적으로 ChatGPT는 영어를 추가 언어(EAL)로 쓰는 학자들을 위한 무료 언어 편집기 역할도 할 수 있습니다. 현재 많은 EAL 작가들이 언어 편집에 드는 비용(시간/노력 및 재정적 비용 모두)을 부담하고 있는데, 특히 초안 작성 및 수정 단계에서 이러한 비용을 일부 경감하고 작가들이 아이디어에 집중하고 문법에 대해 덜 걱정할 수 있게 해줄 수 있습니다. 
More generally, ChatGPT could also serve as a free language editor for scholars writing in English as an additional language (EAL). Many EAL writers now incur the costs (both time/effort and financial) of language editing: it could alleviate some of those costs, particularly during the drafting and revision stages, and free writers to focus on the ideas and worry less about the grammar.

윤리에 대한 참고 사항
A note on ethics

ChatGPT에 대한 우려의 대부분은 사용의 윤리와 관련이 있습니다. 즉, 대신 글을 써주는 것이 '공정한가' 하는 것입니다. 이미 눈치채셨겠지만, 저는 이 도구가 여러분을 대신 작성하도록 하는 것을 권장하지 않습니다. 제 글의 대부분은 제가 직접 작성한 글을 ChatGPT에 입력한 후 제안을 요청하거나(여기 소개글이 있는데 좋은 제목을 제안해 주세요), 번거로운 작업을 하거나(여기 초록이 있는데 반으로 잘라 주세요), 문법적 변화를 설명하거나(여기 왼쪽 분기 문장 패턴이 있는데 오른쪽 분기 대안을 제안해 주세요) 하는 식으로 이루어집니다. 저는 이것이 윤리적이고 적절한 ChatGPT 사용이라고 주장하고 싶습니다. 저는 모든 지적이고 창의적인 작업을 ChatGPT에 요청하는 것이 아니라 일부 노동을 아웃소싱하는 것입니다[14]. 제가 ChatGPT에게 저를 위해 무언가(개요, 가능한 반론 목록, 더 강력한 주제와 전환 문장으로 개선된 구절 등)를 만들어 달라고 요청한 경우, 저는 이를 다음 수정 작업의 출발점으로 취급합니다. 물론 이것도 물론 중요하지만, ChatGPT의 글을 제 글인 것처럼 보이지 않기 위해서만이 아닙니다. 또한 (적어도 어떤 날은) 저에게 기쁨을 주는 글쓰기 기술을 아웃소싱하고 싶지 않기 때문이기도 합니다. 그리고 저는 확실히 ChatGPT처럼 '소리'를 내고 싶지 않고 제 글이 저처럼 들리기를 원합니다. 지금까지의 경험에 비추어 볼 때, ChatGPT가 저를 흉내 내도록 하는 것보다 제 목소리로 작업하는 것이 더 적은 시간이 걸리고 더 만족스러울 것입니다. 
Much of the alarm about ChatGPT has to do with the ethics of its use: is it ‘fair’ to have it write for you? As you will have noticed, I don’t advise having it write for you. Most of my examples involve putting my own writing into ChatGPT and asking it to make suggestions (here’s my introduction, please suggest some good titles), to do some tiresome labor (here’s my abstract, please cut it in half), to illustrate grammatical changes (here’s my left branching sentence pattern, please suggest right branching alternatives). I would argue that these are ethical and appropriate uses of ChatGPT. I’m not asking it to do all the intellectual, creative work, I’m outsourcing some of the labor [14]. Where I have asked ChatGPT to create something for me (an outline, a list of possible counterarguments, a passage improved with stronger topic and transition sentences), I treat it as a starting point for my next round of revisions. This isn’t only to avoid presenting ChatGPT’s writing as my own, although that’s of course important. It is also because I don’t want to outsource the writing craft, which (on some days, at least) gives me joy. And I certainly don’t want to ‘sound’ like ChatGPT – I want my writing to sound like me. Based on my experiences so far, it will take less time (and be more satisfying) to work on my voice than to work on getting ChatGPT to mimic me.

요약하자면
In Summary

작가들은 놀라거나 불안해하기보다는 ChatGPT의 장단점을 이해할 필요가 있습니다.

  • 내용보다는 구조에 더 강합니다. 좋은 브레인스토밍 도구(제목, 개요, 반론 등)이지만, 특히 자신의 전문 영역을 벗어나는 경우 모든 내용을 다시 한 번 확인해야 합니다.
  • 복잡한 아이디어를 요약하고 다른 아이디어와 연결할 수 있지만, 일반적인 기본값에서 벗어나 관심사에 집중하도록 훈련시키는 데 필요한 점진적인 프롬프트에 대해 많은 생각을 한 경우에만 가능합니다.
  • 정보에 대한 액세스 권한은 원래 훈련받은 정보로 제한되므로, 부족한 부분과 부정확한 부분을 파악하기 위해서는 사용자가 직접 훈련하는 단계가 필수적입니다.
  • 초록의 형식을 바꾸거나 섹션의 길이를 줄이는 등의 노동에는 사용할 수 있지만, 어떤 단락이나 아이디어에 더 많은 단어가 필요한지, 어떤 단락이나 아이디어는 줄여야 하는지를 결정하는 작가의 사고를 대체할 수는 없습니다.
  • 부정확할 수 있습니다. 사실, 고집스럽게도 부정확성을 지적받은 후에도 부정확성을 고집하면서 동시에 다음 시도를 수정된 것으로 제시합니다. 나는 그것이 지각이 없고 동기나 감정이 없다는 것을 알고 있지만, 일부 교환에서 그것이 음침하고 다루기 힘들고 심지어 고의적으로 성실하지 않다는 생각을 할 수밖에 없습니다. 

Rather than being alarmed or anxious, writers need to understand ChatGPT’s strengths and weaknesses.

  • It is better at structure than it is at content. It is a good brainstorming tool (think titles, outlines, counter-arguments), but you must double check everything it tells you, especially if you’re outside your domain of expertise.
  • It can provide summaries of complex ideas, and connect them with other ideas, but only if you have put a lot of thought into the incremental prompting needed to shift it from its generic default and train it to focus on what you care about.
  • Its access to information is limited to what it was originally trained on, therefore your own training phase is essential to identify gaps and inaccuracies.
  • It can be used for labor, such as reformatting abstracts or reducing the length of sections, but it can’t replace the thinking a writer does to determine why some paragraphs or ideas deserve more words and others can be cut back.
  • It can be inaccurate: in fact, rather stubbornly so, persisting with inaccuracies even after they are pointed out, while at the same time presenting its next attempt as corrected. I know it isn’t sentient and doesn’t have motivations or emotions, but I can’t help but think in some of our exchanges that it was being sullen, intractable, even deliberately insincere.

그럼에도 불구하고 작가들은 그 힘을 활용하여 프로세스를 더 효율적으로 만들고 제품을 더 견고하게 만들 수 있습니다. AI 도구를 사용한 글쓰기에 대한 정책이 계속 생겨나고 진화하고 있으므로 대상 저널을 확인하시기 바랍니다. 하지만 저널 매개변수 내에서 ChatGPT를 최대한 활용하세요. 글쓰기 과정에서 막히는 순간을 파악하세요. 개요를 생성하거나 스토리라인의 다음 요점을 브레인스토밍하는 등 ChatGPT가 도움이 될 수 있을까요?

  • 문법 문제를 해결하는 데 사용하거나(예: 기본적으로 수동태를 사용하는 경우, 문장을 능동태로 변경하여 비교하도록 요청),
  • 복잡한 논증 부분의 일관성을 강화하는 데 사용하거나,
  • 오른쪽 분기 문장을 왼쪽 분기 문장으로 변환하여 명확성을 높이는 데 사용할 수 있습니다.

힘든 작업과 창의적인 글쓰기를 구분하세요.

  • 전자는 ChatGPT를 사용하여 지원하고, 후자는 혼자서 하세요.
  • 그리고 항상 생성된 초안을 초안으로 보고 자신만의 특별한 강조점, 고유한 목소리와 스타일을 불어넣어 다듬고 재작업할 수 있습니다. 


Still, writers can harness its power to make our processes more efficient and our products more robust. Do check your target journal, as policies about writing with AI tools are emerging and evolving. Within journal parameters, however, leverage ChatGPT to your advantage. Identify the moments in your writing process where you get stuck: can ChatGPT help you there by generating an outline or brainstorming the next points in the storyline?

  • Use it to help address your grammar challenges (e.g., if you default to passive voice, ask it to change sentences to active so you can compare);
  • use it to strengthen coherence of a complex section of your argument;
  • get it to increase clarity by converting your right-branching sentences to left-branching.

Distinguish the laborious from the creative writing tasks:

  • use ChatGPT to support the former, and keep the latter for yourself.
  • And always view what it has generated as a first draft which you will refine and rework, infusing it with your own particular emphases, your unique voice and style.

Perspect Med Educ. 2023 Jun 29;12(1):261-270. doi: 10.5334/pme.1072. eCollection 2023.

Writing with ChatGPT: An Illustration of its Capacity, Limitations & Implications for Academic Writers

Affiliations collapse

1Western University, CA.

PMID: 37397181

PMCID: PMC10312253

DOI: 10.5334/pme.1072

Free PMC article

질적연구 실용 가이드: Part 6: 일차의료 연구에서 종단적 및 복잡한 건강 주제를 위한 종단적 질적 및 혼합방법 접근(Eur J Gen Pract.2022)
Series: Practical guidance to qualitative research. Part 6: Longitudinal qualitative and mixed-methods approaches for longitudinal and complex health themes in primary care research
Irene Korstjensa and Albine Moserb,c

 

소개
Introduction

수년에 걸쳐 저희는 질적 연구를 감독하면서 질적 연구가 많은 질문과 도전을 불러일으키는 경향이 있음을 발견했습니다. 질적 연구에 대한 실용적인 지침을 제공하기 위한 시리즈[1-5]의 여섯 번째 글인 이 글에서는 일차 진료 연구에서 종단적이고 복잡한 다면적인 건강 주제를 다루기 위한 두 가지 접근법을 소개합니다. 
Over the years, in our supervisory work, we have noticed that qualitative research tends to evoke many questions and challenges. This article, the sixth in a series aiming to provide practical guidance for qualitative research [1–5], introduces two approaches for addressing longitudinal and complex multifaceted health themes in primary care research.

일차 진료의 도전 과제
Challenges in primary care practice

일차 진료는 점점 더 고령화되고 복잡하며 다질환을 앓고 있는 인구에게 고품질의 접근 가능하고 저렴한 의료 서비스를 제공하는 데 어려움을 겪고 있으며, 환자와 일반의 간의 관계는 파트너십, 개인화된 의료 서비스, 자가 관리 지원으로 변화하고 있습니다[6]. 유럽은 세계에서 가장 고령 인구가 많은 국가 중 하나이며, 특히 남유럽의 인구 고령화가 가장 빠르게 진행되고 있어 기능 장애, 허약, 장기요양 의존으로 전환될 수 있는 고령자를 다루고 있습니다[7]. 이러한 환자들의 다양한 건강 문제와 복잡한 요구로 인해 다양한 임상 환경에서 여러 의료 전문가와 빈번한 상호작용을 하게 됩니다. 이러한 도전적인 발전은 일반의의 전문가 간 협업을 점점 더 많이 필요로 합니다[8]. 현재 일상적인 진료에서 발생하는 복잡한 건강 문제를 다루는 데 도움이 되는 적절한 연구 접근법이 필요합니다. 이 백서에서는 이러한 접근법 중 두 가지에 대해 논의합니다. 
Primary care encounters challenges in providing high quality, accessible and affordable care for an increasingly ageing, complex, and multi-morbid population, while the relationship between patients and general practitioners is transforming towards partnership, personalised healthcare and supported self-management [6]. Europe has some of the world’s oldest populations – with the most rapidly ageing populations in Southern Europe – and is dealing with elderly people who may experience transitions to functional disability, frailty, and dependence on long-term care [7]. The diverse health problems and complex needs of these patients lead to frequent interactions with multiple health care professionals in different clinical settings. These challenging developments require more and more interprofessional collaboration from general practitioners [8]. Appropriate research approaches are needed to support them in dealing with the complex health issues of current day-to-day practice. In this paper, we will discuss two of these approaches.

종단 및 혼합 방법 접근법
Longitudinal and mixed-methods approaches

종단적 질적 연구는 시간을 두고 사람들을 추적합니다. 따라서 사람들이 일차 진료 및 사회 서비스와 상호 작용하면서 어떻게 변화하는지, 어떻게 자신의 상태를 관리하는지에 대한 통찰력을 제공할 수 있습니다[9]. 종단적 질적 연구는 만성 질환 환자의 궤적[10], 전문 정신 건강 서비스와 일차 진료 사이를 이동하는 정신병 청년의 전환 또는 일반의가 진료에 건강 증진 신체 활동 처방을 도입하는 과정[11,12] 등에 대한 이해를 지원합니다. 
Longitudinal qualitative research follows people over time. Therefore, it can provide insights into how people move through their transitions as they interact with primary care and social services, and how they manage their conditions [9]. Longitudinal qualitative research supports understanding of, for example, trajectories of patients with chronic conditions [10], transitions of young people with psychosis moving between specialist mental health services and primary care or processes of general practitioners introducing health promoting physical activity prescriptions in their practice [11,12].

지난 15년 동안 일차 진료 및 가정의학 연구에서 혼합 방법 연구가 일반화되었습니다[13]. 이 접근 방식은 양적 데이터와 질적 데이터를 의도적으로 수집하고 각각의 강점을 결합하여 연구 질문에 답하는 것입니다[14]. 혼합 방법 연구는 예를 들어 유용성 및 타당성(예: 개념 증명 또는 파일럿 연구)을 다룸으로써 일차 진료에서 복잡한 개입의 개발 및 평가를 지원할 수 있습니다. 종단적 질적 연구는 혼합 방법 연구 프로젝트의 일부가 될 수 있습니다[15,16].
Over the last 15 years, mixed-methods research has become common in primary care and family medicine research [13]. This approach involves the intentional collection of both quantitative and qualitative data and combines the strengths of each to answer research questions [14]. Mixed-methods research can – by addressing, for example, usability and feasibility (e.g. proof-of-concept or pilot studies) – support developing and evaluating of complex interventions in primary care. Longitudinal qualitative research can be part of mixed-methods research projects [15,16].

이 기사의 대상 및 내용
Target audience and content of this article

이 글은 종단적 질적 연구 및 혼합 방법 연구에 대한 소개입니다. 이 글은 질적 연구 경험이 있는 연구자 중 이러한 방법에 관심이 있는 연구자와 이러한 방법론을 사용한 논문을 점점 더 많이 읽게 될 일반 실무자가 처음 접할 수 있도록 작성되었습니다. 이 책에서는 이러한 접근법의 맥락과 무엇을, 왜, 언제, 어떻게 접근해야 하는지, 그리고 주요 실무적, 방법론적 과제에 대한 가능한 질문을 다룹니다. 1차 진료 및 기타 의료 영역에서 발표된 경험적 연구의 예와 추가 자료로 활용할 수 있는 출처를 제공합니다.
We regard this article as an introduction to longitudinal qualitative and mixed-methods research. It is intended as a first acquaintance for researchers – with some experience in qualitative research – who are interested in these methods and general practitioners who will increasingly read articles using these methodologies. We address possible questions about the context and the what, why, when and how of these approaches and their main practical and methodological challenges. We provide examples of published empirical studies in primary care and other health care domains and sources for further reading.

생애 과정에서의 변화를 이해하기 위한 종단적 질적 연구
Longitudinal qualitative research to understand change during the life course

컨텍스트
Context

일반 진료는 생애 과정에서 환자와 가족을 돌보는 전통을 가지고 있습니다. 일반의는 만성 질환이나 다질환을 앓고 있는 환자가 노화 과정에서 겪는 변화를 이해해야 한다는 요구가 증가하고 있습니다. 종단적 질적 연구는 생애 과정의 연속성과 변화, 그리고 개인적, 건강 관련, 사회적, 환경적 요인이 이러한 과정을 어떻게 형성하는지에 대한 통찰력을 제공할 수 있습니다[17]. 이 접근법을 사용하여 발표된 경험적 연구에는 다음이 포함됩니다:
General practice has a tradition of caring for patients and families during their life course. General practitioners face increasing demands for understanding the changes patients with chronic illness or multimorbidity undergo during ageing. Longitudinal qualitative studies can provide insights into continuity and change during the life course and how individual, health-related, social and environmental factors shape these processes [17]. Published empirical studies using this approach include:

  • 다질환을 앓고 있는 고령자가 보고한 1차 진료에서의 환자 안전 위협: 종단적 질적 연구의 기초 연구 결과 및 개입에 대한 시사점 [9].
  • 신체 활동 처방을 진료에 통합하려는 시도에 대한 가정의의 경험을 설명하는 종단적 질적 연구: '습관을 바꾸는 것은 쉽지 않다'[12].
  • 종단적 질적 연구를 사용하여 추가 케어 주택을 탐색합니다[17].
  • 정신병에 대한 조기 개입 서비스에서 벗어나는 것에 대한 서비스 사용자의 견해: 일차 진료의 종단적 질적 연구 [11].
  • Threats to patient safety in primary care reported by older people with multimorbidity: baseline findings from a longitudinal qualitative study and implications for intervention [9].
  • Longitudinal qualitative study describing family physicians’ experiences with attempting to integrate physical activity prescriptions in their practice: ‘It’s not easy to change habits’ [12].
  • Using longitudinal qualitative research to explore extra care housing [17].
  • Service users' views of moving on from early intervention services for psychosis: a longitudinal qualitative study in primary care [11].

무엇?
What?

종단적 질적 연구는 시간이 지남에 따라 경험이 어떻게 그리고 왜 변화하는지를 연구하는 것을 목표로 합니다. 종단적 질적 연구는 사회과학에 뿌리를 두고 있으며, 밀레니엄 시대에 접어들면서 뚜렷한 방법론적 패러다임으로 등장했습니다[18]. 다른 질적 연구와 구별되는 점은 시간과 변화를 분석적 관심의 중심 초점으로 의도적으로 강조한다는 점입니다[15]. 종단적 질적 연구에는 발달 또는 인과 관계에 대한 종단적 연구 질문, 여러 데이터 수집 지점을 포함하는 표본, 시간 경과에 따른 변화를 명시적으로 다루는 분석이라는 세 가지 특징적인 요소가 있습니다. 질적 연구는 건강 문제를 경험하는 이유와 방법에 관한 것이며, 종단적 질적 연구는 이러한 경험이 시간이 지남에 따라 어떻게 그리고 왜 변화하는지에 초점을 맞춥니다[17]. 
Longitudinal qualitative research aims to study how and why experiences change over time. It is rooted in the social sciences and emerged as a distinct methodological paradigm around the turn of the millennium [18]. What distinguishes it from other qualitative research is the deliberate emphasis on time and change as the central focus of analytical attention [15]. Longitudinal qualitative research has three distinguishing elements: a longitudinal research question about developmental or causal relationships, a sample that includes multiple data collection points and an analysis that explicitly addresses change over time. Qualitative research is about why and how health issues are experienced, and longitudinal qualitative research focuses on how and why these experiences change over time [17].

왜 그리고 언제?
Why and when?

종단적 질적 연구는 개인과 환자 그룹의 생활 방식을 보다 복잡하고 현실적으로 이해할 수 있는 가능성을 제공합니다[18]. 이는 노화 및 생애 과정 문제, 장기 요양 및 복잡한 건강 개입의 과정 평가를 연구하는 데 도움이 되는 것으로 입증되었습니다[15,19]. 종단적 질적 연구의 장점은 시간과 맥락 간의 상호작용을 비선형적인 방식으로 평가할 수 있는 유연한 접근 방식에서 비롯됩니다[19]. 종단적 질적 연구를 통해 참가자는 과거와 현재의 사건을 반성적으로 바라보고 미래에 대한 열망을 변화시키면서 정서적 거리를 경험할 수 있습니다. 또한, 장기간에 걸쳐 진행되는 인터뷰는 참여자와 연구자 간의 친밀감, 신뢰, 대화를 촉진하고 연구자가 일회성 인터뷰보다 더 적절한 순간에 민감한 주제를 제기할 수 있게 해줍니다[20]. 
Longitudinal qualitative research offers the possibility of generating more complex and thus realistic understanding of how individuals and patient groups live [18]. It has proved helpful for studying ageing and life course issues, long-term care and process evaluation of complex health interventions [15,19]. Its advantages stem from its ability to take a flexible approach to evaluate interactions between time and context in a non-linear manner [19]. Longitudinal qualitative research can enable participants to experience emotional distance while reflexively viewing past and present events and changing their aspirations for the future. Furthermore, interviews carried out over time promote familiarity, trust and dialogue between participant and researcher and enable a researcher to raise sensitive topics at a more opportune moment than in a one-off interview [20].

어떻게?
How?

종단적 질적 연구를 수행하려면 연구자의 관계 인식과 참여자와 소통하고 관심을 기울이려는 의지가 필요합니다[21]. 또한 상당한 규모의 질적 데이터베이스를 수집, 관리 및 유지하고 반복적인 단면 또는 종단 분석을 수행하기 위한 지식과 기술이 필요합니다(표 1)[22].
Longitudinal qualitative research requires researchers’ relational awareness and willingness to connect with and care about participants [21]. Furthermore, it requires knowledge and skills to gather, manage and maintain a sizeable qualitative database and to conduct either recurrent cross-sectional or longitudinal analyses (Table 1) [22].

질적 연구자는 연구를 설계하기 위해 이론적 접근 방식과 연구 초점, 표본 및 분석을 고려해야 합니다[3,4]. 종단적 질적 연구에는 변화 또는 시간적 관점을 다루는 연구 질문과 두 개 이상의 시점을 체계적으로 비교하는 것이 필요합니다[19]. 또한 분석에는 코드, 영역, 인터뷰 질문, 분석 매트릭스 또는 사례, 반복적인 단면 또는 종단 분석 사용 등 비교 대상에 대한 투명성이 요구됩니다. 두 가지 유형의 분석이 모두 필요한 특정 연구 질문이 있을 수 있습니다. 
To design the study, qualitative researchers need to consider the theoretical approach and research focus, the sample and the analysis [3,4]. A longitudinal qualitative study requires a research question that addresses a change or time perspective and systematic comparisons of two or more time points [19]. Furthermore, the analysis requires transparency about what is compared, such as codes, domains, interview questions, analytical matrices or cases, and the use of either recurrent cross-sectional or longitudinal analysis. There may be some specific research questions requiring both types of analysis.

혼합 방법 연구
Mixed-methods research

컨텍스트
Context

혼합 방법 연구는 다양한 환경에서 다양한 의료 요구가 있는 환자를 다루는 일차 진료의 복잡성을 이해하는 데 도움이 됩니다[13]. 이 접근 방식은 질적 방법과 양적 방법을 통합하고 일차 진료의 복잡하고 다면적인 주제를 개선하고 해결하기 위한 새로운 통찰력을 제공합니다[13]. 혼합 방법을 사용하여 발표된 경험적 연구에는 다음이 포함됩니다:
Mixed-methods research supports understanding the complexity of primary care dealing with patients with diverse health care needs in various settings [13]. This approach integrates qualitative and quantitative methods and provides new insights to improve and address the complex and multifaceted themes of primary care [13]. Published empirical studies using mixed methods include:

  • 질병별 임상 경로 - 일차 진료에서 실현 가능한가? 혼합 방법 연구 [23].
  • 네덜란드 지역 사회 간호사와 일반의 간의 의사 소통에는 구조가 부족합니다: 탐색적 혼합 방법 연구 [24].
  • 일차 진료에서 완화 치료 요구에 대한 컴퓨터 스크리닝: 혼합 방법 연구 [25].
  • COVID-19 팬데믹 이후 영국 일차 진료에서 원격 컨설팅 구현: 혼합 방법 종단 연구 [16].
  • Disease-specific clinical pathways – are they feasible in primary care? A mixed-methods study [23].
  • Communication between Dutch community nurses and general practitioners lacks structure: an explorative mixed-methods study [24].
  • Computer screening for palliative care needs in primary care: a mixed-methods study [25].
  • Implementation of remote consulting in UK primary care following the COVID-19 pandemic: a mixed-methods longitudinal study [16].

무엇?
What?

혼합 방법 연구는 실제 상황에 대한 이해와 다차원적 관점을 요구하는 연구 질문에 중점을 둡니다. 이는 구성 요소의 규모와 빈도를 평가하는 엄격한 정량적 연구와 구성 요소의 의미와 이해를 탐구하는 엄격한 정성적 연구를 사용합니다. 여러 방법을 통합하고 여러 철학적, 이론적 입장 내에서 연구의 틀을 잡습니다[14].
Mixed-methods research focuses on research questions calling for real-life contextual understandings and multi-level perspectives. It employs rigorous quantitative research assessing magnitude and frequency of constructs and rigorous qualitative research exploring the meaning and understanding of constructs. It integrates multiple methods and frames the research within several philosophical and theoretical positions [14].

정성적 데이터와 정량적 데이터를 통합하는 것은 단순히 정량적 데이터나 정성적 데이터를 수집하고 분석하는 것 이상의 추가적인 통찰력을 제공하기 때문에 혼합 방법 연구의 핵심적인 특징입니다[26,27]. '통합'이란 혼합 방법 연구에서 데이터 수집-분석 또는 정성적-정량적 결과의 해석 과정에서 정량적 요소와 정성적 요소를 명시적으로 상호 연관시키는 것을 의미합니다[28]. 
Integrating qualitative and quantitative data is a central feature of mixed-methods research as it provides additional insight beyond what might be gained from simply collecting and analyzing quantitative data or qualitative data [26,27]. ‘Integrating’ means the explicit interrelating of the quantitative and qualitative components in a mixed-methods study, e.g. during the data collection-analysis or the interpretation of qualitative and quantitative results [28].

왜 그리고 언제?
Why and when?

혼합 방법 연구는 연구의 폭과 깊이를 최적화할 수 있으며 사회 문화적 맥락과 실제 환경을 고려하여 문제와 잠재적 해결책을 더 잘 이해하는 데 도움이 됩니다[28]. 예를 들어,

  • 양적 횡단면 연구와 질적 연구, 행정 데이터베이스를 결합하면 가족 간호에 사례 관리자를 도입하기 위한 모델이나 일차 의료 서비스 평가를 위한 지표를 개발하는 데 도움이 될 수 있습니다[28].
  • 질적 연구와 무작위 대조 시험을 결합하면 프로그램의 작동 방식과 이유를 더 잘 이해하는 데 도움이 될 수 있습니다[28].

Mixed-methods research can optimize the breadth and depth of a study and helps take into account the socio-cultural context and the real-world environment to better understand the problem and potential solutions [28].

  • For example, combining quantitative cross-sectional and qualitative studies and administrative databases might support developing a model for introducing case managers in family care or indicators for evaluation of primary health care [28].
  • Combining a qualitative study with a randomized controlled trial might support better understanding of how and why a program works or not [28].

혼합 방법 연구를 하는 이유는 다음과 같습니다[28,29]:

  • 정량적 결과를 통해 정성적 결과를 강화 또는 구축하거나 그 반대의 경우,
  • 현상에 대한 포괄적 이해 제공(예: 변수 및 관점),
  • 결과 삼각 측량,
  • 다양한 관점 결합,
  • 샘플링 촉진(예: 설문조사를 사용하여 인터뷰 참가자 선정),
  • 도구 개발 및 테스트(예: 포커스 그룹을 사용한 설문지 개발).  

Reasons for mixed-methods research include [28,29]:

  • enhance or build upon qualitative findings with quantitative results and vice versa,
  • provide a comprehensive understanding of a phenomenon (e.g. variables and viewpoints),
  • triangulate results,
  • combine diverse viewpoints,
  • facilitate sampling (e.g. using a survey to select interview participants), and
  • develop and test instruments (e.g. develop a questionnaire using focus groups).

어떻게?
How?

연구자는 처음부터 혼합 방법 설계를 계획하거나 프로젝트 진행 중에 '긴급' 설계를 사용할 수 있습니다[26]. Creswell과 Hirose는 5가지 프로젝트 단계를 설명했습니다[27].

  • 첫째, 혼합 방법 연구가 연구 질문에 답하는 데 가장 적합한 방법론인지 판단하고 그 근거를 제시합니다.
  • 둘째, 정량적 및 정성적 하위 질문과 필요한 데이터를 식별하고 각 데이터베이스에 대해 엄격한 데이터 수집 및 분석 절차를 사용합니다.
  • 셋째, 혼합 방법 설계를 결정하고 명확한 다이어그램을 그립니다.
  • 넷째, 이 시리즈의 이전 간행물[3,4]에서 설명한 대로 정량적 통계 및 질적 서술 결과를 별도의 제목으로 분석하여 보고합니다. 제목에는 설계의 단계와 정량적 구성 요소와 정성적 구성 요소 간의 명확한 연결 고리가 표시되어야 합니다(표 2).
  • 마지막으로, 본문에서 정량적 결과와 정성적 결과를 나란히 논의하거나 정량적 결과, 정성적 결과 및 통합의 영향을 보여주는 표를 사용합니다.

Researchers can plan a mixed-methods design from the start or use an ‘emergent’ design during a project [26]. Creswell and Hirose described five project steps [27].

  • First, determine if mixed-methods research is the best methodology for answering the research questions and provide a rationale.
  • Second, identify the quantitative and qualitative sub-questions and the data needed and use rigorous data collection and analysis procedures for each database.
  • Third, determine the mixed-methods design and draw a clear diagram.
  • Fourth, analyse and report under distinct headings the quantitative statistical and the qualitative narrative results as described in previous publications of this series [3,4]. The headings should show the steps in the design and a clear linkage between the quantitative and qualitative components (Table 2).
  • Last, discuss the quantitative and qualitative results side by side in the text or use a table showing the quantitative results, the qualitative findings and the impact of the integration.

표 2는 가장 일반적인 3가지 혼합 방법 설계를 제시하지만, 연구 질문에 따라 연구자는 주로 '양적 중심' 연구, 동등한 지위/'상호작용' 연구, 주로 '질적 중심' 연구에 이르기까지 다양한 설계 중에서 선택할 수 있습니다[26,30,31]. 표 3은 보고에 대한 권장 사항을 제시합니다[31].
Table 2 presents three most common mixed-methods designs but depending on the research questions, researchers can choose between various designs on a continuum from a predominantly ‘quantitatively driven’ study, via an equal-status/’interactive’ study to a predominantly ‘qualitatively driven’ study [26,30,31]. Table 3 presents recommendations for reporting [31].

종단적 질적 연구와 혼합 방법 연구의 도전과 전략
Challenges and strategies in longitudinal qualitative research and mixed-methods research

종단적 질적 연구와 혼합 방법 연구의 주요 실무적, 방법론적 과제를 언급하고 이러한 과제를 해결하기 위한 전략을 표 4에 제시합니다[14,15]. 이러한 연구 프로젝트의 기간은 다양하지만, 단기 계약 자금으로는 달성하기 어려운 지속적인 자금 지원이 필요할 수 있습니다[32]. 예를 들어, 한 장기 프로젝트는 핵심 기관 자금을 지원받고 기존 연구팀이 추가 프리랜서 작업으로 참여를 지원했습니다[32]. 이러한 프로젝트를 성공적으로 수행하기 위해서는 적절한 시간과 자원을 투자해야 합니다.

We mention the main practical and methodological challenges in longitudinal qualitative and mixed-methods research and provide strategies for addressing these challenges in Table 4 [14,15]. The duration of such research projects will vary but they may demand a continuity of funding, which is difficult to achieve within short term contract funding [32]. For example, a long-term project received core institutional funding and an existing team of researchers supported their involvement with additional freelance work [32]. Investing adequate time and resources is necessary for successfully conducting these projects.

 

Longitudinal qualitative research
  • Balmer D, Richards BF. Longitudinal qualitative research in medical education Perspect Med Educ. 2017;6:306–310.
  • Calman L, Brunton L, Molassiotis A. Developing longitudinal qualitative designs: lessons learned and recommendations for health services research. BMC Med Res Methodol. 2013;13:14.
  • Derrington M. Qualitative research methods: qualitative longitudinal methods. Thousand Oaks (CA): Sage; 2019.
  • Grossoehme D, Lipstein E. Analysing longitudinal qualitative data: the application of trajectory and recurrent cross-sectional approaches. BMC Res Notes. 2016;9(1):1–5.
  • Nevedal A, Ayalon L, Briller S. A qualitative evidence synthesis review of longitudinal qualitative research in gerontology. Gerontologist. 2019;59:e791–e801.
  • Thomson R, McLeod J. New frontiers in qualitative longitudinal research: an agenda for research. J Soc Res Methodol Int. 2015;18:243–250.

Mixed-methods research:
  • Creswell JW, Hirose M. Mixed methods and survey research in family medicine and community health. Fam Med Com Health. 2019;7:e000086. Doi:10.1136/fmch-2018-000086.
  • Creswell JW, Klassen AC, Plano Clark VL, Smith KC for the Office of Behavioural and Social Sciences Research. Best practices for mixed methods research in the health sciences. 2011. National Institutes of Health. https://obssr.od.nih.gov/sites/obssr/files/Best_Practices_for_Mixed_Methods_Research.pdf.
  • Creswell JW, Plano Clark VL. Designing and conducting mixed methods research. 3rd edn. Los Angeles (CA): Sage; 2018.
  • Kaur N, Vedel I, El Sherif R, et al. Practical mixed methods strategies used to integrate qualitative and quantitative methods in community-based primary health care research. Fam Pract. 2019;36:666-671. Doi:10.1093/fampra/cmz010.
  • Mixed Methods Program University of Michigan. http://www.mixedmethods.org..
  • Schoonenboom J, Johnson R. How to construct a mixed methods research design. Köln Z Soziol. 2017;69:107–131.
  • Vedel I, Kaur N, Hong QN, et al. Why and how to use mixed methods in primary health care research. Fam Pract. 2019;36:365–368. Doi:10.1093/fampra/cmy127.

 


 

Eur J Gen Pract. 2022 Dec;28(1):118-124. doi: 10.1080/13814788.2022.2053106.

Series: Practical guidance to qualitative research. Part 6: Longitudinal qualitative and mixed-methods approaches for longitudinal and complex health themes in primary care research

Affiliations collapse

1Faculty of Health Care, Research Centre for Midwifery Science, Zuyd University of Applied Sciences, Maastricht, The Netherlands.

2Faculty of Health Care, Research Centre Autonomy and Participation of Chronically Ill People, Zuyd University of Applied Sciences, Heerlen, The Netherlands.

3Department of Family Medicine, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands.

PMID: 35593106

PMCID: PMC9132407

DOI: 10.1080/13814788.2022.2053106

Free PMC article

Abstract

This article, the sixth in a series aiming to provide practical guidance for qualitative research in primary care, introduces two approaches for addressing longitudinal and complex health themes in primary care research. The first approach - longitudinal qualitative research - supports the study of change during the life course. The second approach - mixed-methods research - integrates quantitative and qualitative research to gain new insights to address the complex and multifaceted themes in primary care.We discuss the context, what, why, when and how of these approaches and their main practical and methodological challenges. We provide examples of empirical studies using these approaches and sources for further reading.

Keywords: Primary care; longitudinal qualitative research; mixed-methods research.

도전적 시기의 적응적 리더십: 보건의료전문직 교육을 위한 효과적 전략: AMEE Guide No. 148 (Med Teach, 2022)
Adaptive leadership during challenging times: Effective strategies for health professions educators: AMEE Guide No. 148
Judy McKimma,b , Subha Ramanic,d,e , Kirsty Forrestf, Jo Bishopf, Ardi Findyartinig, Chloe Millsh , Mohammed Hassanieni,j, Abdulmonem Al-Hayanik, Paul Jonesl, Vishna Devi Nadarajahm and Greg Radun,o 

 

 

소개
Introduction

보건 전문직(HPE) 교육자는 여러 시스템과 조직에 걸쳐 다수의 학습자와 자격을 갖춘 직원에게 교육을 제공하기 때문에 보건 전문직 교육 리더십은 항상 어려운 과제입니다. 코로나19 팬데믹은 의료 및 보건 전문직 교육 분야의 리더들이 직면한 가장 어려운 상황 중 하나였습니다. 리더들은 '즉석에서' 결정을 내리고 새로운 도전에 적응하는 동시에 자신과 전문 직원, 학자, 학습자, 임상 교사의 안녕을 돌보고 프로그램과 조직의 안정성을 유지해야 했습니다(Nadarajah 외. 2020; Paixão 외. 2020). 팬데믹 기간 동안 리더십에 대해 배운 교훈은 앞으로도 새로운 도전이 계속 발생할 것이므로 의료 교육 리더의 유연성과 적응력이 필요하기 때문에 앞으로 나아가는 데 매우 적합합니다. 
Leadership in health professions education (HPE) is always challenging, as health professions (HP) educators work across multiple systems and organisations to provide training for large numbers of learners and qualified staff. The COVID-19 pandemic has been one of the most challenging situations that leaders in healthcare and health professions education have faced. Leaders have had to make decisions ‘on the fly’ and adapt to new challenges while also attending to the well-being of themselves, their professional staff, academics, learners, clinical teachers, as well as maintaining the stability of programmes and organisations (Nadarajah et al. 2020; Paixão et al. 2020). Lessons learned about leadership during the pandemic are highly relevant as we move forward because new challenges will continue to arise in the future, which will require flexibility and adaptability on the part of healthcare education leaders.

이 가이드에서는 몇 가지 현대적인 리더십 접근 방식과 리더가 이러한 접근 방식에 대한 기술을 개발하는 방법을 소개합니다. 가이드 전반에 걸쳐 전 세계의 실제 사례를 통해 불확실하고 어려운 시기의 리더십에 중점을 두고 다양한 맥락에서 리더십의 측면을 강조합니다.
In this guide, we introduce some contemporary leadership approaches and how a leader might develop skills in these approaches. Throughout the guide, real-life examples are drawn from around the world highlight aspects of leadership in various contexts, with a focus on leadership during uncertain and challenging times.

리더십이란 무엇인가요?
What is leadership?

리더십은 비전과 방향을 설정하고 전달하는 원동력, 에너지 또는 '힘'으로 설명되며, 사람들이 변화를 이루도록 영향력을 행사하고 동기를 부여하는 데 도움을 줍니다(Scouller 2011, Swanwick과 McKimm 2017). 효과적인 리더는 불확실하고 어려운 시기에 필수적인 긍정적인 문화와 분위기를 조성하기 때문에 리더십은 조직의 성공을 위한 핵심 요소입니다. 널리 퍼져 있는 리더십 신화 중 하나는 리더십은 조직 내 지위와 권력을 통해서만 발휘된다는 것입니다. 이는 사실이 아닙니다. 리더십은 프로젝트나 이니셔티브를 이끌거나, 회의에서 안건을 주도하거나, 학생들과의 교실 토론을 주도하는 등 다양한 수준에서 발생할 수 있으며, 실제로 다양한 HP 교육자가 매일 리더십을 발휘하고 있습니다. HP 교육자는 리더와 팔로워로서 개인 내, 대인 관계/팀, 조직 및 시스템 수준에서 어떻게 행동해야 하는지 알고 있어야 합니다.
Leadership is often described as the driving force, energy or ‘power’ that establishes and communicates vision and direction, helping to influence and motivate people towards making a change (Scouller 2011; Swanwick and McKimm 2017). It is a key factor for organisational success, as effective leaders promote a positive culture and climate—a necessity in uncertain and difficult times. One of the pervasive leadership myths is that leadership is solely vested in positional power in an organisation. This is untrue. Leadership can (and does) occur at many levels and is undertaken by a range of HP educators daily, e.g. leading a project or initiative, leading on an item at a meeting, or leading a classroom discussion with students. HP educators need to be aware of how they, as both leaders and followers, operate at the intrapersonal, interpersonal/team, organisational, and system levels.

'리더십 트라이어드'
The ‘leadership triad’

HPE에서는 팀, 서비스, 프로그램, 조직(또는 그 일부인 평가, 레지던트, 연차, 부서장, 연구 활동 등) 내에서 다양한 방식으로 리더십을 발휘할 수 있는 기회가 있습니다. HPE 리더십 활동은 대학이나 학교부터 병원 및 지역사회의 의료 서비스에 이르기까지 다양한 경계를 넘나듭니다. HPE의 '리더십'은 다른 조직 및 부문의 리더십과 많은 유사점을 가지고 있습니다. 리더십은 리더십, 관리, 팔로워십 활동의 역동적인 조합으로 구성되며, '리더십 트라이어드'(McKimm and O'Sullivan 2016)로 알려져 있으며, 학계와 의료 서비스 전반에 걸쳐 개인, 그룹, 조직 간에 그리고 조직 내에서 이루어집니다.
In HPE, people have opportunities to promote leadership in many ways, including within teams, services, programmes, and organisations (or parts of them, such as assessment, residency, year lead, head of the department, or research activities). HPE leadership activities span many boundaries, from universities or schools to health services in hospitals and communities. ‘Leadership’ in HPE has many similarities with leadership in other organisations and sectors. It comprises a dynamic combination of leadership, management, and followership activities, known as the ‘leadership triad’ (McKimm and O'Sullivan 2016), and takes place between and within individuals, groups, and organisations across academia and healthcare services.

전통적 문헌에 반영된 바와 같이 리더십은 조직 내에서 가장 중요한 일련의 활동을 포함하지만, 리더가 효과적이기 위해서는 관리와 팔로워십도 똑같이 중요하다는 점을 강조할 필요가 있습니다(Barrow 외. 2011). 

  • 리더십이 비전을 설정하는 반면, '관리'는 비전을 실천하는 데 도움이 되는 일련의 활동에 필요하며, 문제를 식별하고 해결책을 찾는 프로세스에 대한 관심을 포함합니다(McKimm and Jones 2018). 
  • 관리는 재정, 커리큘럼 또는 인력 등의 안정성을 제공하여 조직이나 프로그램을 불안정하게 만들지 않으면서도 변화가 이루어질 수 있도록 합니다. 
  • 리더를 지지하면서도 리더에게 도전할 수 있는 적극적이고 효과적인 팔로워는 예상되는 변화가 원활하게 이루어질 수 있도록 하는 데 필수적인 요소입니다. 

리더십은 전체 트라이어드 내에서 관계를 구축하고 유지하는 것과 매우 밀접한 관련이 있습니다. HPE 리더는 '리더십 트라이어드'의 세 가지 상호 연결된 위치에 대한 인식과 관련 기술을 결합하여 추종자들을 어려운 여정으로 이끌면서 특정 상황을 인식하는 동시에 강력하고 목적 지향적인 리더십을 제공할 수 있는 가장 좋은 위치에 있을 것입니다. 박스 1에서는 리더십 삼위일체를 실천에 옮긴 예를 제시합니다.
As echoed in the traditional literature, leadership involves the most important set of activities within an organisation; however, it needs to be emphasised that management and followership are equally important for leaders to be effective (Barrow et al. 2011).

  • While leadership sets the vision, ‘management’ is necessary for the set of activities that helps put the vision into practice, involving attention to processes that identify problems and help find solutions (McKimm and Jones 2018).
  • Management provides stability, for example financial, curricular or workforce, so that changes can be made without destabilising the organisation or programme.
  • Active and effective followers, those who support but also may challenge the leader, are an essential part of ensuring that envisaged change happens smoothly.

Leadership is very much about building and maintaining the relationships within the entire triad. An HPE leader will be best placed to provide strong and purposeful leadership if they combine an awareness of, and skills related to, the three interlinked positions in the ‘leadership triad’, taking their followers with them on what might be a difficult journey, while being aware of their specific context. In Box 1, we provide an example of putting the leadership triad into practice.

박스 1 사례 연구: '리더십 삼위일체'를 실천에 옮기다.
Box 1 Case study: Putting the ‘leadership triad’ into practice.


한 교육 리더는 멘토링에 대한 열정에 영감을 받아 7개국에서 온 같은 생각을 가진 멘토들로 구성된 커뮤니티 형성을 주도했습니다. 이 그룹은 스피드 멘토링 워크숍을 제공하고 2019년 유럽 의학교육협회(AMEE) 컨퍼런스에서 일대일 멘토링 이니셔티브에 참여했습니다(Ramani 외. 2021). 코로나19 팬데믹으로 인해 이 그룹은 특정 교육 주제 또는 문제에 초점을 맞춘 가상 멘토링 세션을 제공하여 글로벌 대화를 촉진하고 도전 과제와 성공 사례를 공유하는 것을 목표로 삼았습니다(McKimm 외. 2020; Thampy 외. 2020). 이후 이 그룹은 전 세계 더 많은 지역의 교육 리더를 포함하도록 확장되었으며, 현재 핵심 그룹은 11개국의 회원으로 구성되어 있습니다. 리더가 그룹 결성을 주도했지만, 적극적인 팔로워들은 리더에게 조언하고 브레인스토밍에 참여하며 그룹을 위한 실행 계획을 수립합니다.
An educational leader, inspired by a passion for mentoring, led the formation of a community comprising like-minded mentors from seven countries. The group offered a speed mentoring workshop and participated in a one-on-one mentoring initiative at the 2019 Association for Medical Education in Europe (AMEE) conference (Ramani et al. 2021). The COVID-19 pandemic spurred this group to offer virtual mentoring sessions, each focusing on a specific educational topic or problem, aiming to stimulate global conversations and share challenges and success stories (McKimm et al. 2020; Thampy et al. 2020). The group has since expanded to include educational leaders from more regions of the world; currently, the core group consists of members from 11 countries. Though a leader initiated the formation of the group, active followers advise the leader, participate in brainstorming, and formulate action plans for the group.


이 '국경을 초월한 멘토' 커뮤니티에서는 리더십, 관리, 팔로워십 역할이 프로젝트에 따라 순환되고, 자기 관리 및 관계 관리와 같은 감성 지능 역량이 그룹을 유지하는 데 중요하며, 긍정 심리학 원칙이 그룹이 작업을 계속하고 승리를 축하하도록 동기를 부여하고, 포용적이고 사람 중심의 리더십이 다양한 관점을 가져올 수 있는 여러 글로벌 지역의 회원을 확장하고 포용하도록 촉진하고, 가장 중요한 심리적 안전의 분위기가 회원들이 서로 멘토링하고 배우도록 장려하는 등 여러 가지 핵심 리더십 원칙을 채택하고 있습니다(Mannion et al. 2015; 맥킴과 매니언 2015; 아민 외. 2018; 맥킴 외. 2020). 마지막으로, 특정 이니셔티브의 리더는 구성원들이 관심사와 시간 제약에 따라 이니셔티브를 주도하거나 참여하거나 심지어 물러날 수 있도록 명시적인 메시지를 보냅니다.
Many key leadership principles have been adopted by this ‘mentors across borders’ community: leadership, management, and followership roles are rotated for different projects; emotional intelligence competencies such as self-management and relationship management are critical to maintaining the group; positive psychology principles motivate the group to stay on task and celebrate wins; inclusive and person-centred leadership has stimulated expansion and inclusion of members from different global regions who can bring in different perspectives; and, most importantly, a climate of psychological safety promotes members to mentor and learn from each other (Mannion et al. 2015; McKimm and Mannion 2015; Amin et al. 2018; McKimm et al. 2020). Finally, the leaders of a specific initiative send explicit messages allowing members to lead, participate in, or even step aside based on their interests and time constraints.

 

 

리더를 위한 도전 과제
Challenges for leaders

우리가 리더십을 개념화하는 방식은 주로 어떤 환경에서든 교육이 제공되는 방식에서 의미 있고 지속 가능한 변화와 개선을 촉진하고 가능하게 하는 것입니다(Buchanan 외. 2004). 이는 HPE 리더의 가장 중요한 임무 중 하나입니다. 이는 단순히 변화를 위한 변화를 의미하는 것이 아니라, 교육에 대한 사고의 광범위한 변화를 인식하고, 아이디어를 자신의 상황에 적용하는 데 있어 번역 또는 '센스 메이킹' 역할을 수행하며, 학습자와 교수진의 어려움과 과제를 적극적으로 파악하고 이에 대한 해결책을 찾는 것을 의미합니다. '평상시'에도 HPE 리더와 교육자는 정기적이고 일상적으로 다양한 문제를 처리해야 합니다(표 1 참조).

The way we conceptualise leadership is primarily about facilitating and enabling meaningful and sustainable change and improvement in the way education is provided in whatever setting (Buchanan et al. 2004). This is one of the most important tasks of the HPE leader. This does not mean making changes simply for the sake of it but is about being aware of the broader shifts in thinking about education, taking a translational or ‘sense-making’ role in bringing ideas to your own context, being proactive in identifying struggles and challenges for learners and faculty and finding solutions to these. Even in ‘normal’ times, HPE leaders and educators must deal with a range of issues on a regular and routine basis (see Table 1).

어려운 시기의 리더십 접근 방식
Leadership approaches in challenging times

코로나19 팬데믹 기간 동안 변화는 내부에서 촉진된 것이 아니라 외부에서 강요된 것이었습니다. 전 세계의 HPE 리더, 학습자, 직원은 이러한 변화의 동인을 통제할 수 없었으며 대신 전례 없는 도전, 큰 불확실성, 위기를 관리하는 방법을 적응하고 배워야 했습니다(Nadarajah 외. 2020). 이를 위해서는 다양한 리더십 접근 방식이 필요했습니다(Kotter 2007; Kanter 2020). 표 2에는 리더십이 작동하는 네 가지 수준, 어려운 시기에 도움이 되는 접근 방식, 그리고 이러한 접근 방식을 돕기 위해 리더가 개발할 수 있는 기술이 나열되어 있습니다. 
During the COVID-19 pandemic, change was not stimulated from within but instead imposed from outside. HPE leaders, learners, and staff around the world had no control over these change drivers but instead had to adapt and learn how to manage unprecedented challenges, great uncertainty, and crises (Nadarajah et al. 2020). This required different leadership approaches (Kotter 2007; Kanter 2020). Table 2 lists the four levels in which leadership operates, approaches that are helpful during challenging times, and the skills that leaders can develop to help with these approaches.

이제 각 수준에 따른 구체적인 리더십 접근 방식을 뒷받침하는 몇 가지 이론적 원칙에 대해 논의하겠습니다. 다음 섹션에서는 이러한 원칙을 실무에 적용하는 방법과 필요한 기술을 개발하는 방법에 대한 예를 다룹니다.
We will now discuss some theoretical principles underpinning specific leadership approaches under each of the levels we operate in. The following section addresses the application of these principles to practice with examples of how to build the skills required.

개인 내적 수준(자아): 정서적 및 사회적 지능 개발하기
The intrapersonal level (self): developing emotional and social intelligence

연구에 따르면 직업이나 위치에 관계없이 가장 성공적인 리더는 높은 수준의 감성 지능을 가지고 있는 것으로 나타났습니다(Boyatzis 2008). 성공적인 리더십의 지표로서 감성 지능(EI)은 1990년대에 다니엘 골먼에 의해 처음 논의되었습니다. 그는 인성, 비전, 결단력, 지능과 같은 기술만으로는 성공적인 리더가 될 수 없으며 자기 인식, 자기 조절, 동기 부여, 공감, 사회적 기술도 그에 못지않게 중요하다는 결론을 내렸습니다(Goleman 1998). 보야치스와 골먼은 함께 가장 성공적인 리더들의 핵심 속성을 분석하기 시작했습니다. 정서적 및 사회적 지능의 12가지 역량은 네 가지 영역으로 설명되었습니다(Boyatzis 2009). 네 가지 영역은 자기 인식, 자기 관리, 사회적 인식, 관계 관리입니다. 리더가 이끄는 사람들의 그룹을 관리하기 위해서는 네 가지 영역의 EI 역량이 모두 필수적입니다(상자 2 참조). 
Research indicates that the most successful leaders, regardless of profession or location, have a high degree of emotional intelligence (Boyatzis 2008). Emotional intelligence (EI) as a marker of successful leadership was first discussed by Daniel Goleman in the 1990s. He concluded that skills such as toughness, vision, determination, and intelligence were not enough to be a successful leader and that the skills of self-awareness, self-regulation, motivation, empathy, and social skills were equally, if not more, important (Goleman 1998). Together, Boyatzis and Goleman went on to analyse the core attributes among the most successful leaders. Twelve competencies of emotional and social intelligence were described under four domains (Boyatzis 2009). The four domains are: self-awareness, self-management, social awareness, and relationship management. All four domains of EI competencies are essential for leaders to manage the groups of people they lead (see Box 2).

박스 2 네 가지 EI 영역의 영향력.
Box 2 The impact of the four EI domains.

1. 자기 인식을 통해 리더는 자신의 가정과 편견, 그리고 이것이 세계관에 어떤 영향을 미치는지 인식할 수 있습니다.


2. 자기 관리 행동에 앞서 생각하고, (부정적인 감정을 다스리는 데 필수적인) 자신의 감정과 반응을 관리할 수 있는 능력을 촉진합니다.


3. 사회적 인식은 리더가 팀을 구성하는 개인을 이해하고 관점과 성격의 차이를 인식할 수 있게 해줍니다.


4. 관계 관리 다양한 관점을 수용하고 인재를 육성하며 개인, 팀, 조직의 잠재력과 생산성을 극대화하는 데 필수적입니다. 멘토링과 코칭 기술은 이 영역에 속합니다.


  1. Self-awareness allows leaders to recognise their assumptions and biases, and how these affect their worldview.
  2. Self-management promotes thought before action and the ability to manage own emotions and reactions, essential for reigning in negative emotion.
  3. Social awareness allows leaders to understand the individuals who make up their team and recognise differences in viewpoints and personalities.
  4. Relationship management is essential to welcome a variety of perspectives, nurture talent, and maximise the potential and productivity of individuals, teams, and the organisation. Mentoring and coaching skills fall under this domain

EI 역량은 리더가 변화를 주도하고 관리하는 데 유용한 가이드입니다. 그러나 리더가 속한 조직과 사회 문화에 따라 가장 효과적인 특정 행동은 달라질 수 있습니다. 리더, 직원, 학습자의 구성이 다양성을 특징으로 하는 교육기관은 팀원 개개인이 공통의 목표를 향해 일할 때에도 서로 다른 신체 언어와 감정적 반응을 보일 수 있다는 점을 인식해야 합니다.
EI competencies are a useful guide to leaders in leading and managing change. However, the specific behaviours that are most effective depending on the organisational and societal culture within which the leader is situated. Institutions that feature diversity in the composition of their leaders, staff, and learners should recognise that individuals on a team might have different body language and emotional reactions even when working towards a common goal.

대인관계 수준(다른 사람과 함께 일하기): 진정성 있고 포용적이며 원초적인 리더십
The interpersonal level (working with others): authentic, inclusive, and primal leadership

항상 그렇지만 특히 변화무쌍하고 불확실한 시기에는 사람들이 리더에게 원하는 것은 진정성 있는 목소리입니다. 팔로워들은 리더가 자신의 이야기를 경청하고, 자신의 우려를 진지하게 받아들이고 있으며, 변화를 주도하고 관리할 수 있는 전문성과 권한을 가지고 있다고 느끼기를 원합니다. 리더는 팔로워가 리더를 어떻게 보고, 관계를 맺고, 신뢰하는지에 따라 만들어지고 유지됩니다(Uhl-Bien 및 Carsten 2018). 팔로워는 리더가 자신을 안전하게 지켜줄 수 있고 함께 '그 안에' 있다고 느끼면 매우 위험한 상황(예: 전쟁)에도 리더를 따를 것입니다(Sinek 2014).
At all times, but especially in changing and uncertain times, what people want from their leaders is an authentic voice. Followers want to feel that their leaders are listening, taking their concerns seriously and that they have the expertise and authority to lead and manage change. Leaders are created and maintained by how their followers see, relate to, and trust them (Uhl-Bien and Carsten 2018). Followers will follow their leaders into highly unsafe situations (such as war) if they feel their leaders can keep them safe and that they are ‘in it’ together (Sinek 2014).

불확실한 시대에 필요한 리더십에 대한 적절한 접근법으로 원초적이고 진정성 있는 리더십이 주목받고 있습니다. '원초적 리더십'이라는 용어는 리더의 영향력(정서적 수준)과 그에 따른 행동이 조직 내 다른 모든 사람의 참여, 동기 부여 및 행동에 강력한 영향을 미친다는 것을 나타내기 위해 만들어졌습니다. '리더의 기분은 말 그대로 전염성이 있으며 비즈니스 전체에 빠르고 끝없이 퍼집니다'(Goleman 외. 2001, 44쪽). 
Primal and authentic leadership have come to the fore as relevant approaches to leadership required for uncertain times. The term ‘primal leadership’ was coined to indicate that the affect (emotional level) of a leader and resulting behaviours have a powerful effect on engagement, motivation, and behaviours of everyone else within their organisation: ‘the leader’s mood is literally contagious, spreading quickly and inexorably throughout the business; (Goleman et al. 2001, p. 44).

진정성 있는 리더십은 리더가 자신의 강점을 활용하고 자신의 약점과 편견을 인식하는 데 중점을 둡니다(Avolio and Gardner 2005, Sosik 외. 2009, Cardiff 외. 2018, Hollander 2012). 진정한 리더는 문제에 대한 다양한 관점을 적극적으로 모색하고 주변 사람들의 의견을 소중히 여기고 경청하는 모습을 보여줍니다. 또한 리더는 지적 겸손, 실수 인정, 비판과 다른 관점으로부터의 학습, 한계를 극복하기 위한 다른 사람의 기여를 인정하고 구하는 특성을 보여야 합니다. 이러한 리더십 스타일은 EI 역량과 밀접한 관련이 있지만, 리더의 관점이 팀원들의 기분, 행동, 업무 완수, 결과적으로 팀원들의 직업적 성취감과 웰빙에 어떤 영향을 미치는지에 초점을 맞추고 있습니다. 긍정적인 전망은 이 접근 방식의 핵심 요소이지만, 진정성 또한 필요합니다. 
Authentic leadership is very much focused on the leader drawing from their own strengths and being aware of their own weaknesses and biases (Avolio and Gardner 2005; Sosik et al. 2009; Cardiff et al. 2018; Hollander 2012). Authentic leaders proactively seek a range of perspectives on issues and demonstrate that they value and listen to those around them. Leaders also need to demonstrate traits of intellectual humility, admitting mistakes, learning from criticism and different points of view, and acknowledging and seeking contributions from others to overcome limitations. Though this leadership style is closely related to EI competencies, the focus is on how a leader’s outlook impacts their team members’ moods, behaviours, task completion, and consequently their sense of professional fulfilment and well-being. While a positive outlook is a key component of this approach, it is also necessary to be authentic.

복잡한 조직 또는 시스템 수준: 적응적 리더십
The complex organisational or system level: Adaptive leadership

복잡계 사고 접근법은 시스템 내 모든 주체들의 상호의존성과 상호관계를 명백히 인정하고, '단순한' 규칙이나 변화가 큰 효과를 가져올 수 있으며, 시스템의 한 부분의 변화가 시스템 전체에 예기치 않은 결과를 초래할 수 있다는 렌즈를 제공합니다(Till 외. 2016; Obolensky 2017).
A complex system thinking approach provides a lens that overtly acknowledges the interdependency and interrelationships of all agents within the system, that ‘simple’ rules or changes can lead to large effects, and that a change in one part of the system can have unanticipated consequences throughout the system (Till et al. 2016; Obolensky 2017).

우리는 VUCA(변동성, 불확실성, 복잡성, 모호성, Worley and Jules 2020) 및 RUPT(급변성, 불확실성, 역설성, 얽힘, Till et al. 2016)의 세계에 살고 있으므로 변화하고 복잡한 상황에 적응할 수 있을 만큼 유연하고 민첩한 리더십이 요구되는 것입니다. 적응적 리더십(Heifetz 외. 2009; Randall and Coakley 2007)은 특히 복잡한 시스템이나 상황에서의 리더십에 초점을 맞추며, 변화, 불확실성, 위기에 대응하는 방법을 생각할 때 유용합니다. 이 접근법은 복잡하고 급변하는 환경에 대한 적응의 중요성을 강조하고 합의된 목표를 달성할 수 있는 조직적 여건을 조성합니다(Hodges and Gill 2014). 적응적 문제는 일반적으로 모호하고 복잡하며 '사악한' 문제입니다. 적응적 리더십 접근법의 창시자인 Ronald Heifetz와 Marty Linsky는 효과적인 적응적 리더십의 네 가지 기본 원칙을 다음과 같이 정의했습니다: 
We live in a VUCA (Volatile, Uncertain, Complex, Ambiguous; Worley and Jules 2020) and RUPT (Rapid, Uncertain, Paradoxical, Tangled; Till et al. 2016) world; therefore, the HPE leadership needed is one that is flexible and agile enough to adapt to changing and complex circumstances. Adaptive leadership (Heifetz et al. 2009; Randall and Coakley 2007) is specifically focused on leadership in complex systems or situations and is helpful when thinking about how to respond to change, uncertainty, and crisis. This approach emphasises the importance of adaptation to a complex and rapidly changing environment and creates the organisational conditions to achieve agreed goals (Hodges and Gill 2014). Adaptive problems are usually vague, complex, and ‘wicked’. The creators of the adaptive leadership approach, Ronald Heifetz and Marty Linsky, defined four foundational principles of effective adaptive leadership, which are: 

  1. 조직의 정의: 적응형 리더는 조직의 모든 구성원의 의견을 들을 수 있는 환경을 조성합니다. 조직의 의견은 적응형 리더십에 필수적입니다.
    Organisational justice: Adaptive leaders create an environment in which every member of the organisation can be heard. Organisational input is integral to adaptive leadership.
  2. 감성 지능: 적응형 리더십은 관계를 중시합니다.
    Emotional intelligence: Adaptive leadership values relationships.
  3. 개발: 적응형 리더는 조직 변화의 과정을 통해 동료와 직원이 배우고 성장할 수 있도록 지원합니다.
    Development: Adaptive leaders empower their colleagues and employees to learn and grow through the process of organisational change
  4. 인성: 적응형 리더는 윤리적 책임감과 도덕성을 보여줍니다. 이들은 커뮤니케이션 스타일이 투명하며 팀원들에게 동일한 기준을 적용합니다.
    Character: Adaptive leaders demonstrate ethical responsibility and morality. They are transparent in their communication style and hold themselves to the same standards to which they hold their team.

진정한 리더십과 마찬가지로 이러한 차원은 EI 역량과 많은 유사점이 있습니다. 적응형 리더십에서 가장 유용한 개념 중 하나는 '소중한 것'과 '소모적인 것'을 구분하는 능력입니다(Heifetz 외. 2009). '소중한 것'은 조직에 매우 중요한 것으로, 교육에서는 학습자 자신, 교수진, 교육 제공의 질, 조직의 핵심 가치 등이 포함되며, 위기와 변화에 대응할 때 이들에 대한 초점을 잃지 않아야 합니다. 적응형 리더는 무엇이 소중한지 인식하고 이를 보호하고 육성할 수 있도록 합니다.
Like authentic leadership, these dimensions have many parallels with EI competencies. One of the most useful concepts in adaptive leadership is the ability to diagnose the ‘precious’ from the ‘expendable’ (Heifetz et al. 2009). The ‘precious’ is what is vitally important to the organisation; in education, this includes the learners themselves, the faculty, the quality of educational provision, and the core values of the organisation; you do not want to lose the focus on these as you respond to crisis and change. Adaptive leaders recognise what is precious and make sure that this is looked after and nurtured.

글로벌 생태계 수준: 메타, 에코, 재생 리더십
The global eco-system level: Meta, eco, and regenerative leadership

메타 리더십
Meta-leadership

메타 리더십은 뉴욕 9/11 테러와 뉴올리언스 허리케인 카트리나 대응과 같은 위기 상황에서 리더를 관찰하고 분석하여 최근의 가장 큰 도전 과제 중 일부에서 탄생했습니다. 최근의 팬데믹 역시 의료계와 의료 교육에 있어서는 위기 상황입니다. 메타 리더십은 변혁적 리더십, 공유 리더십, 팔로워십, 복합적 적응 리더십 등 다양한 리더십 이론을 활용하고 통합합니다(Marcus 외. 2015). 메타 리더십은 조직 내 및 조직 간 환경에서 [서로 다른 이해관계자 간의 연결성을 창출하는 경계를 아우르는 리더십]에 중점을 둡니다. 이러한 방식으로 이러한 '메타 리더'는 다른 사람에게 영향을 미치고 자신의 통제 범위를 넘어 변화를 활성화하는 데 관심을 갖습니다. Marcus 등(2008)은 메타리더가 자신에게 요구되는 것보다 더 넓은 목적에 의해 움직이며, 따라서 조직의 장벽을 '초월'할 수 있다고 설명합니다. 이들은 메타 리더십의 차원을 다음과 같이 설명합니다:
Born out of some of the biggest recent challenges, meta-leadership was described through observation and analysis of leaders in crisis circumstances such as the September 11 attacks in New York and the response to Hurricane Katrina in New Orleans. The recent pandemic is also such a crisis for healthcare and for healthcare education. Meta-leadership draws upon and integrates a wide range of leadership theories including transformational leadership, shared leadership, followership, and complex adaptive leadership (Marcus et al. 2015). Meta-leadership is focused on boundary-spanning leadership that generates connectivity among disparate stakeholders in both intra- and inter-organisational settings. In this way, these ‘meta-leaders’ are concerned with influencing others and activating change beyond the established lines of their own control. Marcus et al. (2008) describe that they are driven by a wider purpose than what has been asked of them and can thus ‘transcend’ organisational barriers. They describe the dimensions of meta-leadership as follows:

메타 리더십의 차원
The Dimensions of Meta-Leadership

  1. 사람(자기 지식, 인식, 규제): 메타리더는 높은 자기 인식, 자기 인식, 자기 규제를 발달시킵니다.
    The person (self-knowledge, awareness, and regulation): Meta-leaders develop high self-awareness, self-knowledge, and self-regulation.
  2. 상황(리더십의 맥락 파악): 메타리더는 종종 불완전한 정보를 가지고 상황을 매핑하여 무슨 일이 일어나고 있는지, 이해관계자는 누구인지, 다음에 일어날 가능성이 있는 일은 무엇인지, 중요한 선택 포인트와 행동 옵션은 무엇인지 파악합니다.
    The situation (discerning the context for leadership): With often incomplete information, the meta-leader maps the situation to determine what is happening, who are the stakeholders, what is likely to happen next, and what are the critical choice points and options for action.
  3. 연결(긍정적이고 생산적인 관계 육성): 메타 리더는 앞으로 나아갈 방향을 제시하고, 결정을 내리고, 그 결정을 실행하며, 폭넓은 참여와 지원을 이끌어내기 위해 효과적으로 소통합니다.
    The connection (fostering positive, productive relationships): The meta-leader charts a course forward, making decisions, operationalising those decisions, and communicating effectively to recruit wide engagement and support.

의료 및 교육 분야에서 우리의 행동과 행동을 이끄는 기본 가치는 타인(종종 취약한 사람들과 커뮤니티)의 개발과 보살핌에 대한 책임이 있기 때문에 기본이 됩니다. 환경윤리 및 재생 리더십 접근법은 리더가 이러한 핵심 가치를 파악하고 이를 실제로 구현하는 방법을 파악하는 데 도움이 됩니다.
In healthcare and education, the underpinning values that drive our behaviours and actions are fundamental as we are responsible for the development and care of other, often vulnerable people and communities. Eco-ethical and regenerative leadership approaches help leaders to identify these core values and how to implement them in practice.

환경 윤리적 리더십
Eco-ethical leadership

맥킴과 맥린(2020)은 지속 가능한 보건 전문직 교육과 관행의 필요성에 대한 리더의 생각을 집중시키는 '환경 윤리적' 리더십 접근법의 사례를 제시합니다. 환경윤리적 리더십은 지속 가능성, 가치, 협력, 정의, 옹호, 그리고 필요한 경우 행동주의를 중심으로 하는 통합적 접근 방식입니다. 상자 3에는 '환경 윤리적' 리더십의 주요 특징이 나와 있습니다.
McKimm and McLean (2020) make the case for an ‘eco-ethical’ leadership approach that focuses leaders’ minds on the need for sustainable health professions education and practices. Eco-ethical leadership is an integrated approach centred around sustainability, values, collaboration, justice, advocacy and, when required, activism. Box 3 lists key features of ‘eco-ethical’ leadership.

상자 3 보건 전문직 교육을 위한 '환경 윤리적' 리더십 접근법의 주요 특징.
Box 3 
Key features of an ‘eco-ethical’ leadership approach for health professions education.


환경 윤리적 리더
는 다음과 같은 가치와 신념을 보유하고, 일상적인 행동과 행동을 통해 보여주고, 표현합니다:

Eco-ethical leaders hold, display (through day-to-day behaviours and actions), and articulate the following values and beliefs:

  • 지구와 자원의 청지기적 책임에 대한 도덕적 의무를 가지고 행동합니다.
  • 자신의 행동에 책임을 지고, 옹호나 행동주의가 필요한 시기를 인식합니다.
  • 개인적으로나 업무적으로 환경적으로 지속 가능한 실천의 롤 모델링.
  • 환경, 조직, 지역사회의 지속 가능성 및 재생에 대한 헌신을 보여줍니다.
  • 인지적 복잡성을 연습하고 역동적인 시스템 관점에서 세상을 바라봅니다.
  • 경청, 신뢰, 네트워킹, 정보 및 권한 공유, 소통, 분야와 직종 간, 직종 내 협업을 통해 의미 있는 변화를 이끌어낼 수 있는 가장 강력한 방법은 집단 지성이라고 믿습니다.
  • 포용성과 사회 및 생태적 정의를 구현하는 사회 문화적, 생태적 가치를 보여줍니다.
  • 변화에 대한 진정성 있고, 사람 중심적이며, 공감하고, 자비로운 접근 방식을 취하고, 변화를 만드는 것은 어렵고, 사람들은 서로를 지지하고 작은 변화처럼 보일 수 있는 것을 축하해야 한다는 것을 인식합니다.
  • A moral duty to act in terms of taking responsibility for stewardship of the planet and its resources.
  • Being accountable for their actions, recognising when advocacy or activism is needed.
  • Role modelling environmentally sustainable practice, both personally and professionally.
  • Demonstrating commitment to environmental, organisational, and community sustainability and regeneration.
  • Practising cognitive complexity and seeing the world from a dynamic systems perspective.
  • Believing that collective intelligence is the most powerful way to engender meaningful change though listening, trust, networking, sharing information and power, communicating, and working collaboratively across and within disciplines and professions.
  • Demonstrating socio-cultural and ecological values that embody inclusivity and social and ecological justice.
  • Taking an authentic, person-centred, empathic, and compassionate approach to change, recognising that making changes is difficult, and that people need to support one another and celebrate what might seem to be small changes.

재생적 리더십
Regenerative leadership

팬데믹에 대한 HPE의 대응과 관련된 또 다른 접근 방식은 '재생적' 리더십입니다(Hutchins and Storm 2019). 재생적 리더십은 우리가 살고 있는 취약한 생태계에 대한 인간의 노력이 미치는 영향을 인정하고 줄이는 방식으로 조직과 조직 내 사람들을 육성하는 데 도움을 줄 의무를 리더에게 부여합니다. 지속 가능한 미래는 우리가 항상 해왔던 방식으로 일을 계속하는 것이 아니라 적극적으로 재생을 추구하는 것에 의존하는 미래로 상상됩니다. 이는 웰빙, 협업, 공동 창의성을 강조하고 모든 사람의 기여를 소중히 여김으로써 달성할 수 있습니다.
Another approach relevant to HPE and its response to the pandemic is that of ‘regenerative’ leadership (Hutchins and Storm 2019). Regenerative leadership places a duty on the leader to help nurture organisations and the people within them, in such a way that acknowledges and reduces the impact of human endeavour on the fragile eco-systems in which we live. A sustainable future is envisaged as one that relies on actively pursuing regeneration, rather than continuing to do things the way we always have. This is achieved through an emphasis on wellbeing, collaboration, co-creativity, and valuing everyone’s contribution.

리더십 실천을 개선하려면 어떻게 해야 하나요?
How can I improve my leadership practice?

이론적 접근법을 실제로 적용하기 위한 전략도 희망하는 리더가 탐구해야 합니다. 때때로 압도적으로 느껴질 수 있는 일련의 문제와 변화에 대처하기 위한 개인 전략을 개발하는 것은 모든 리더에게 필수적이며, 이러한 전략이 없으면 사기와 인내심이 떨어지고 심지어 스트레스와 탈진으로 이어질 수 있습니다. 이 섹션에서는 근성, 신뢰, 논리, 공감, 취약성, 편견에 대한 인식, 적응력 향상, 글로벌 사고 등 리더가 집중할 수 있는 영역에 대해 소개합니다. 모든 수준의 상호작용은 리더의 행동이나 대응 방식에 영향을 받기 때문에 이 섹션에서는 네 가지 수준(표 2)의 맥락에서 함께 고려합니다. 
Strategies for applying theoretical approaches in practice must also be explored by the hopeful leader. Developing personal strategies to deal with what can sometimes feel an overwhelming series of issues and changes is essential for any leader; without these, morale and patience can dip, even leading to stress and burnout. In this section, we present the following area's leaders can focus on: grit, trust, logic, empathy, vulnerability, awareness of bias, becoming more adaptive, and thinking globally. These are considered in the context of the four levels (Table 2) together in this section, as interactions at any level will be influenced by the way you behave or respond.

그릿
Grit

리더는 종종 자신의 능력을 벗어났다고 느낄 수 있지만, 회복탄력성과 '그릿'(Duckworth와 Duckworth 2016)을 바탕으로 한 걸음 더 나아가 자신이 책임지고 있는 사람들에게 효과적인 리더십을 제공해야 합니다. 그릿은 열정과 끈기라는 두 가지 핵심 자질의 조합으로 정의됩니다.

  • 열정개인이 목표의 우선순위를 정할 수 있게 해주고,
  • 끈기도전에 직면했을 때 끈질기게 목표를 추구하도록 촉진합니다(Duckworth 외. 2007; Duckworth와 Gross 2014).

어려운 상황과 좌절 속에서 그릿을 발휘하는 리더는 영감을 주는 롤모델이 되고, 팀원들에게 동기를 부여하며, 결과적으로 팀원들의 그릿을 더욱 향상시킵니다. 내부 동기를 부여하고 그릿을 향상시키기 위한 리더십 전략에는 암묵적인 역할 모델링, 성공 사례와 고난에 대한 명시적인 공유, 열정과 비전을 투명하게 전달하는 것 등이 포함됩니다(Ribeiro 외. 2020).
While leaders may often feel out of their depth, they must draw upon their resilience and ‘grit’ (Duckworth and Duckworth 2016), step up and provide effective leadership to the people they are responsible for. Grit is defined as the combination of two key qualities: passion and persistence.

  • Passion allows individuals to prioritise goals, and
  • persistence promotes the tenacious pursuit of goals in the face of challenges (Duckworth et al. 2007; Duckworth and Gross 2014).

Leaders who demonstrate grit during challenging circumstances and setbacks serve as inspiring role models, motivate their team members, and in turn enhance their grit even further. Leadership strategies to drive internal motivation and enhance grit can include implicit role modelling, explicit sharing of stories of successes and their struggles, and transparency in communicating their passion and vision (Ribeiro et al. 2020).

상자 4의 예는 리더십 신뢰도가 오랜 세월에 걸쳐 구축되는 경우가 많으며 그릿이 필요하다는 것을 보여줍니다. 리더의 비전에서 시작하여 비전을 실행하고(그 과정에서 조직의 정책과 절차를 탐색하는 방법을 배우며) 실무의 변화를 이끌어내는 단계로 나아갑니다.
The example in Box 4 illustrates how leadership credibility is often built over many years and requires grit. It starts with the leader’s vision, moves on to implementing the vision, (in the meantime, learning how to navigate organisational policies and procedures), and results in practice change.

박스 4 사례 연구: 비전에서 실천의 변화로.
Box 4 Case study: From vision to changing practice.



'평가가 학습을 이끈다'는 조지 밀러(George E. Miller)의 고전적인 명제는 많은 의과대학과 의학교육자들이 소속 기관의 평가 품질을 개선하도록 영감을 주었습니다(Wood 2009). 또한 이 사례 연구의 저자가 10년 이상 성공적인 평가 여정을 시작하도록 영감을 주었습니다. 그 여정은 2009년에 인도 루디아나에 있는 크리스천 의과대학의 지역 FAIMER 연구소에 커리큘럼 프로젝트를 제출하는 것으로 시작되었습니다(CMCL-FAIMER). 이 프로젝트는 사우디아라비아 킹 압둘아지즈 대학교(KAU) 의과대학의 학생 평가 프로세스를 표준화하고 품질을 개선하는 것을 목표로 했습니다. 프로젝트가 성공적으로 수행된 후, 그 성과를 문서화하여 널리 전파하여 혜택을 극대화하고 공유했습니다. 이러한 학술적 작업은 평가의 전체 과정을 문서화하기 위한 시험 워크시트 개발, KAU에서 평가에 관한 수십 개의 교육 과정 실시, 평가에 관한 교육용 YouTube 동영상 제작, 국내외 회의 및 컨퍼런스에서 프로젝트 발표, 학생 평가 표준화를 위한 6단계 발표 등 다양한 형태로 이루어졌습니다(Hassanien 및 Abou-Kamer 2018).
‘Assessment drives learning’, the classic statement of George E. Miller, has inspired many medical schools and medical educators to improve the quality of assessment at their institution (Wood 2009). It also inspired the writer of this case study to embark on a successful journey in assessment for more than ten years. The journey started in the year 2009 by submitting a curricular project to the regional FAIMER institute in Christian Medical College in Ludhiana in India (CMCL-FAIMER). The project aimed at standardising and improving the quality of the process of student assessment in the Faculty of Medicine at King Abdulaziz University (KAU), in Saudi Arabia. After successful implementation of the project, the achievement was written up and disseminated widely to maximize and share the benefits. These scholarly works took different forms which included: developing an exam worksheet to document the whole process of assessment, conducting tens of training courses on assessment in KAU, creating educational YouTube videos on assessment (Hassanien and Abou-Kamer 2018) presenting the project in national and international meetings and conferences, and publishing six steps for standardising student assessment (Hassanien 2018).


변화를 지속하기 위한 가장 중요한 단계는 KAU 시험 및 학생 평가 정책을 개발하고 학부에 평가 부서를 설립하여 프로세스를 제도화하는 것이었습니다. 2019년 약학부는 전체 평가 프로세스를 감독하고 학생 평가에 대한 대내외 검증을 보장하기 위해 평가 부서를 설립하는 데 앞장섰습니다. 변화와 개선은 결과를 얻기까지 수년이 걸릴 수 있지만, 비전을 전달하고 끈기를 가지고 가능한 모든 기회를 활용하면 지속 가능하고 효과적인 노력을 할 수 있습니다. 변화의 지속 가능성을 위한 가장 중요하고 중요한 단계는 변화가 단순히 한시적인 '프로젝트'가 아니라 교육기관의 문화에 내재화되어 업무 수행 방식이 되도록 하는 것입니다.
The most important step to sustain the change was done by institutionalising the process through developing the KAU examination and student assessment policy and establishing assessment units in faculties. In 2019, The Faculty of Pharmacy took the initiative to establish its assessment unit to oversee the entire assessment process and to ensure the internal and external verification of student assessment. Change and improvement may take years to give results, but communicating the vision, persistence, and utilising all possible opportunities will make efforts sustainable and effective. The most important and crucial step for change sustainability is to ensure it is embedded in the culture of the institution, so it becomes the accepted way of doing things and not merely a time-limited ‘project’.

 

신뢰
Trust

Frei와 Morriss(2020)는 신뢰에는 논리, 공감, 진정성이라는 세 가지 동인이 있으며, 이 세 가지가 함께 신뢰의 삼각형을 이룬다고 설명합니다. 모든 리더는 특히 위기 상황에서 흔들리는 동인(삼각형의 한 점)을 하나 이상 가지고 있으며, 이 중 하나가 너무 약하면 신뢰가 떨어집니다(그림 1).
Frei and Morriss (2020) describe trust as having three drivers: logic, empathy, and authenticity, which together make up a triangle of trust. All leaders will have at least one driver (one point of the triangle) they falter on, especially in a crisis, and when one of these is too weak, trust falls (Figure 1).

논리 Logic

리더는 자신의 전문성을 보여주되 이기적이지 않아야 하며, 해당 산업에 대해 잘 알아야 합니다. 이는 다른 팀원들에게 신뢰감을 주는 것이 핵심입니다. 좋은 질문을 던지고, 통찰력 있는 제안을 하고, 핵심 가치를 반영한 결정을 내리는 리더를 직장 내 예로 들 수 있습니다. 또한 커뮤니케이션에 대한 일관성과 명확성이 요구됩니다.
Leaders need to show their expertise, but not be egotistical, and know their industry. This is all about being credible to other members of the team. Workplace examples include leaders asking good questions, offering insightful suggestions and decisions reflecting their core values. Consistency and clarity around communication are also expected.

공감 Empathy

사람들은 배려하는 것으로 인식되고 연민과 연결을 보여주고 공유하는 리더를 신뢰하는 경향이 있습니다. 이는 다른 사람이 말할 때 휴대전화를 보지 않거나 회의에서 다른 사람의 말을 경청하는 것만큼이나 간단할 수 있습니다. '정서적 자본'이라는 개념은 부르디외의 사회적 실천 이론(부르디외 1986)에서 등장했습니다. 연구에 따르면 정서적 자본이 높은 기관의 업무 성과가 더 높은 것으로 나타났습니다. 이러한 자본은 거창한 감동적인 강연이 아니라 인정받기, 미소 짓기, 잡담 나누기, 감사하기 등 긍정적인 미시적 행동에 의해 구축됩니다. 연구에 따르면 정서적 자본을 구축하면 직장에서의 좌절로 인한 부정적인 영향을 완충할 수 있다고 합니다. Frei의 연구에 따르면 이 지점은 가장 큰 '흔들림'이 있는 지점, 즉 리더가 가장 많이 실수하는 지점이라고 설명합니다.
People tend to trust leaders who are perceived as caring and who show and share compassion and connection; this can be as simple as not looking at your phone or watching in meetings when others are speaking. The concept of ‘emotional capital’ emerged from Bourdieu’s theory of social practice (Bourdieu 1986). Studies have shown that institutions, where emotional capital is high, have an increase in work performance. This capital is not built on grandiose displays of inspiring talks but by positive micro-behaviors: being acknowledged, smiled at, engaging in small talk, or being thanked. Research shows that building emotional capital can also buffer the negative effects of setbacks at work. Frei’s work describes this point as the one with the biggest ‘wobbles’, i.e. the one that leaders get wrong the most.

진정성 Authenticity

사람들은 리더가 실제 나와 상호작용하고 있다고 믿을 때 리더를 신뢰하는 경향이 있습니다. 누군가가 진정성 있는 사람인지 아닌지는 직감으로 알 수 있는 경우가 많지만, 일관성, 자신의 가치관에 따라 행동, 책임감, 불필요한 동료의 압력에 굴복하지 않는 것과 같은 특징이 있습니다. 그러나 가장 강력한 특성은 자신의 지저분한 부분을 보여주는 것, 즉 취약성을 드러내고 포용하는 것입니다.
People tend to trust leaders when they believe they are interacting with the real you. Knowing whether someone is being authentic is often a gut feeling, but there are characteristics such as being consistent, acting according to one’s own values, taking responsibility, and not giving in to needless peer pressure. However, the most powerful characteristic is showing the messy parts of yourself, i.e. showing and embracing vulnerability.

취약성
Vulnerability

다니엘 코일은 성공적인 팀이나 조직이 강조해야 할 세 가지 기술, 즉 모두를 위한 안전한 환경, 취약성 공유, 공동의 목표 수립 요건을 설명합니다(Coyle 2018). 취약성의 기술, 즉 실패했을 때 다른 사람들과 공유하는 것, 즉 '학습의 첫 시도'는 시간이 지남에 따라 신뢰를 쌓을 수 있습니다. 이러한 개념은 용기 있는 대화와 취약성에 기대는 것을 강조하는 브레네 브라운의 리더십 연구와 밀접하게 일치하며, 이러한 취약성 공유는 리더로부터 시작되어야 합니다(Brown 2012). 취약성은 사람들이 심리적으로 안전하다고 느낄 때만 장려될 수 있으며(Edmondson 2018), 이는 모든 사람이 부정적인 결과나 당혹감에 대한 두려움 없이 아이디어, 질문, 우려 사항을 자유롭게 말하거나 실수를 인정할 수 있다고 믿는 환경을 조성하는 데 달려 있습니다. 이는 다양성과 포용성의 이점을 극대화할 수 있도록 팀이 다양할 때 점점 더 중요해지고 있습니다(Barrow 외. 2015).
Daniel Coyle describes three skills a successful team or organisation needs to emphasise: a safe environment for all, sharing vulnerability, and the requirement to establish common goals (Coyle 2018). The skill of vulnerability, i.e. to share with others when you FAIL, or your ‘First Attempt In Learning’, will build trust over time. These concepts align closely with Brené Brown’s research on leadership, where she highlights courageous conversations and leaning into vulnerability and that this sharing of vulnerability must start with the leader (Brown 2012). Vulnerability can only be encouraged when people feel psychologically safe (Edmondson 2018), which hinges on creating an environment where everyone believes they can freely speak up with ideas, questions, concerns, or acknowledge mistakes without fear of negative consequences or embarrassment. This is increasingly important when teams are diverse so that the benefits of diversity, as well as inclusivity, can be maximised (Barrow et al. 2015).

편견에 대한 인식
Awareness of biases

무의식적(암묵적) 편견은 모든 사람의 무의식 속에 존재하며 무의식적으로 의사 결정이나 판단에 영향을 미칩니다. 편견은 경험, 양육, 문화, 주변 환경 등 '삶'에 노출되는 동안 자연스럽게 형성되거나 발전합니다. 이러한 편견은 의도하지 않았고 반드시 나쁜 것은 아니지만 현대 사회에서 차별에 기여하는 경우에는 해결해야 합니다. 이러한 편견은 우리의 행동과 동료와의 상호 작용에 영향을 미칠 수 있습니다(Marcelin 외. 2019; Teal 외. 2012). 무의식적 편견을 해결하려면 편견을 인식하고 이해해야 합니다(Liao and Thomas 2020; Velarde 외. 2022). 암묵적 연상 테스트와 같이 도움이 될 수 있는 설문조사와 공인된 도구가 있습니다. 서로 다른 사회적 집단에 속한 사람들 사이에서 자신의 검사 결과에 대해 토론하는 것은 다른 관점을 공유할 수 있는 안전한 환경에서 특히 효과적입니다. 편견 리터러시를 증진하기 위해 촉진된 토론을 활용하면 직장에서의 편견을 최소화하는 데 효과적일 수 있습니다. 편견은 학습자뿐만 아니라 리더에게도 나타날 수 있으며, 그 예는 상자 5에 자세히 나와 있습니다.
Unconscious (implicit) biases are part of everyone's unconscious minds that unknowingly influence decisions or judgements. They are shaped or develop naturally during exposure to ‘life’: experiences, upbringing, culture, and surrounding environments. They are unintentional and not necessarily bad but need to be addressed when they contribute to discrimination in modern society. These biases can affect our behaviours and the interactions we have with colleagues (Marcelin et al. 2019; Teal et al. 2012). Addressing unconscious biases requires that one must recognise and understand them (Liao and Thomas 2020; Velarde et al. 2022). There are surveys and recognised instruments such as the Implicit Association Test that can be of help. Discussion of one’s test results amongst those in dissimilar social groups is particularly powerful in a safe environment that allows alternative viewpoints to be shared. Utilising facilitated discussions to promote bias literacy can be effective in minimising bias in the workplace. Biases are shown by learners as well as leaders, an example of which is detailed in Box 5.

상자 5 학습자 편견.
Box 5 Learner biases.


최근 발표된 논문(Khasan 외. 2020)에 따르면, 천연자원 생태학에 관한 학부 온라인 강좌의 136명의 학생은 성에 따라 남성 또는 여성 조교(TA)를 '배정'받았습니다. 그러나 여성 박사 과정 학생인 카잔은 실제로 모든 학생의 조교였습니다. 조교의 '성별'은 학생들에게 제공된 가짜 이름, 사진, 짧은 약력을 바탕으로 결정되었습니다. 과정을 마친 후 학생들은 조교가 여성이라고 생각했을 때와 남성이라고 생각했을 때를 비교했을 때 5배나 더 부정적인 평가를 내렸습니다. 하노버 리서치(2013)의 2013년 보고서에서는 교수진을 평가할 때 학생 편견 문제를 줄이고 잠재적으로 제거할 수 있는 기회를 설명합니다. 이 연구에서는 내면화된 편견이 5점 척도에서 여성 교수에게는 최대 0.4점, 흑인 교수에게는 최대 0.6점의 불이익을 주며, 평가도 학대나 괴롭힘으로 변질될 수 있다고 강조했습니다. 이 검토에서는 교수진이 구체적인 질문을 하고, 수업 중에 종이에 평가를 관리하며, 평가 양식에 암묵적 편견에 대한 정보를 포함할 것을 권장합니다(Finelter-Rosenbluh 2020).
In a recent publication (Khasan et al. 2020), 136 students in an undergraduate online course on natural resource ecology were ‘assigned’ either a male or female teaching assistant (TA), dependent on their surnames. However, a female Ph.D. student Khazan was really the TA for everyone. The TA’s ‘gender’ was based on fake names, photographs and a short biography made available to students. On completion of the course, students gave the TA five times as many negative evaluations when they believed that she was a woman compared to when they thought she was a man. A 2013 report by Hanover research (2013) outlines opportunities to reduce and potentially eliminate the problem of student bias when evaluating faculty. Their review highlighted that internalised bias penalise female faculty by up to 0.4 and Black faculty by up to 0.6 on a 5-point scale, with evaluations also becoming abusive and bullying. The review recommends that faculty ask concrete questions, administer evaluations on paper during class and include information about implicit bias within evaluations forms (Finelter-Rosenbluh 2020).

 

적응력 높이기
Becoming more adaptive

적응형 리더는 상황이나 조직의 외부 또는 그 이상의 관점을 취할 수 있는 사람입니다. 적응형 리더는 '댄스 플로어에서 내려 발코니로 나가는'(Heifetz와 Linsky 2002) 리더로, 사람과 시스템이 어떻게 작동하는지에 대한 이해를 통해 지속 가능한 변화를 촉진하고, 서로 상호작용하여 변화를 함께 만들어갈 수 있습니다(Obolensky 2017). 이러한 리더는 자신과 팀이 불확실성과 모호성을 가지고 일할 수 있는 안전한 공간을 조성하고, 새로운 변화를 창출하기 위해 '치열한 대화'를 할 수 있습니다. 상자 6에서는 코로나19 팬데믹 기간 동안 적응형 리더십이 어떻게 작동했는지를 보여주는 조직과 시스템 전반에 걸친 리더십의 사례를 간략히 소개합니다.
Adaptive leaders are those who can take a perspective from outside or above the situation or organization. Adaptive leaders ‘get off the dance floor and go to the balcony’ (Heifetz and Linsky 2002), can facilitate sustainable change through their understanding of how people and systems work, and interact with one another to co-create change (Obolensky 2017). Such leaders are able to create safe spaces for both themselves and their teams to work with uncertainty and ambiguity and have ‘fierce conversations’ in order to generate emergent change. In Box 6 we outline an example of leadership enacted across an organisation and system which highlights how adaptive leadership operated in action during the COVID-19 pandemic.

박스 6 위기 속 조직과 시스템의 도전: 행동하는 적응적 리더십
Box 6 Organisation and system challenge in crisis: Adaptive leadership in action.


HPE 리더는 고등 교육 및 의료 산업의 상호 의존성을 반영하는 환경에서 고도의 규제를 받고 공공 또는 민간 기관으로 운영되는 조직과 시스템에서 근무합니다. HPE 리더는 점점 더 많은 기업 책임을 지고 있으며, 대학에 대한 공적 자금 지원 감소로 인해 재정 및 자원 관리에 대한 통찰력을 갖춰야 합니다. 공공의 이익을 위해 봉사하는 조직의 리더로서 HPE 리더는 높은 사회적 지위를 가지고 있습니다. 또한 다양성, 포용성, 형평성을 증진하는 좋은 거버넌스, 책임성, 운영 시스템에 대한 집중적인 조사를 받고 있습니다(McKimm and McLean, 2020). HPE 리더가 근무하는 조직과 시스템은 매우 복잡한 환경입니다. 현재의 팬데믹 및 기타 위기로 인해 조직은 적응하고 필요한 조치를 취하여 기능을 유지하고 미래를 위한 새로운 규범을 설정해야 합니다(Ashokka 외. 2020).
HPE leaders work in organisations and systems that are highly regulated and operate as either public or private entities in settings that reflect the interdependence of both the higher education and healthcare industry. HPE leaders increasingly have corporate responsibilities and are expected to have financial and resource management acumen due to reduced public funding for universities. As leaders of organisations that serve public interests, HPE leaders have high social standing. They are also under intense scrutiny for good governance, accountability and operating systems that promote diversity, inclusivity, and equity (McKimm and McLean, 2020). The organisations and systems in which HPE leaders work is a highly complex environments. The current pandemic and other crises force the organisations to adapt and take necessary measures to keep functioning as well to set new norms for the future (Ashokka et al. 2020).


아시아에서는 코로나19 팬데믹 기간 동안 주요 중앙 결정을 내리기 위해 전담 대응팀이 구성되었습니다. 이 팀은 기술에 적응한 의학교육과 평가를 제공하는 데 있어 조율된 조치를 통합하는 동시에 임상 실습 학생, 레지던트, 모든 교직원을 위해 높은 안전 기준에 따라 가능한 한 임상 과제를 할당하려고 노력했습니다. 대응팀은 팬데믹 기간 동안 지역 정부의 전반적인 대응 시스템을 세심하게 활용했습니다. 이러한 적응적 접근 방식은 기관의 집단주의, 계층적 시스템의 적절한 사용, 혼란스러운 상황에서 불확실성을 줄이려는 시도를 반영하여 적시에 충분한 정보를 바탕으로 한 결정을 내릴 수 있게 했습니다(Ashokka 외. 2020; Lazarus 외. 2020). 일부 리소스 제한에도 불구하고 팬데믹 기간 동안 최전선에서 일하는 새로 졸업한 의사를 지원하기 위해 신속한 대응을 위한 대규모 온라인 공개 강좌를 개설하기 위해 적응적 접근 방식을 취하기도 했습니다(Findyartini 외. 2021).
In an Asian setting, a dedicated response team was set up to provide key central decisions during the COVID-19 pandemic. This team was able to consolidate coordinated actions in delivering technology-adapted medical education and assessment while still attempting to allocate clinical assignments where possible with high safety standards for students in clinical years, residents, and all staff members. The response team employed the overall response system during the pandemic from the local government meticulously. Such an adaptive approach allowed for timely and well-informed decisions which reflected institutional collectivism, the appropriate use of the hierarchical system and attempts to reduce the uncertainty during a chaotic situation (Ashokka et al. 2020; Lazarus et al. 2020). Despite some resource limitations, the adaptive approach was also taken to create a fast response Massive Open Online Course to support newly graduated medical doctors working at the frontlines during the pandemic (Findyartini et al. 2021).

박스 7에서는 조직과 시스템 전반에 걸쳐 시행된 리더십의 또 다른 사례를 소개합니다. 이 사례는 한 조직이 외부 변화와 변화하는 이해관계자의 요구에 대응하여 교육자를 위한 전문 표준 프레임워크를 도입하기 위한 비전을 개발하고 제정하는 과정을 설명합니다. 팬데믹 시기가 아닌 안정적인 시기였으며, 품질 개선이라는 접근 방식을 활용했습니다.
In Box 7 we lay out another example of leadership enacted across an organisation and system. This one describes the way in which an organisation developed and enacted a vision to introduce a professional standards framework for educators in response to external shifts and changing stakeholder demands. This was during a stable time, not during a pandemic, and draws on an approach of quality improvement.

박스 7 고등교육의 질 향상: 조직 및 시스템 변화.
Box 7 Improving the quality of higher education: Organisational and system change.


지난 10년 동안 학습, 교수 및 학생 경험의 질을 개선하려는 시장의 힘, 이해관계자의 요구 및 발전에 자극을 받아 주로 영국, 호주, 뉴질랜드, 아일랜드 등 서구를 중심으로 대학 교직원을 위한 여러 전문 표준 프레임워크가 시행되었습니다. 사우디아라비아의 킹 압둘아지즈 대학교(KAU)는 대학에서 일하는 교직원을 위한 전문 표준 프레임워크를 개발하면 대학 부문 전반에서 학습 및 교수의 질을 표준화하고 개선하는 데 도움이 될 것이라는 사실을 파악했습니다.
Over the last decade, stimulated by market forces, stakeholder demands and developments to improve the quality of learning, teaching and the student experience, several professional standards frameworks have been implemented for university staff, primarily in the West (e.g. the UK, Australia, New Zealand, and Ireland). In Saudi Arabia, King Abdulaziz University (KAU) identified that developing a professional standards framework for academics working in universities would help standardise and improve the quality of learning and teaching across the university sector.


KAU의 리더들은 지역 및 더 넓은 사우디 국가적 맥락에 적합한 전문 표준 프레임워크를 개발하는 데 앞장섰습니다. 이 프레임워크는 KAU 고유의 것이지만 모범 사례와 증거에 기반한 주요 국제적 모범 사례를 반영하고 있습니다(Al-Youbi 외. 2021). 프로젝트가 제기하는 기술적 과제를 해결하기 위한 일환으로, 일련의 정책과 절차는 리더와 교사가 채용, 교수진 개발 및 훈련, 평가 및 성과 평가, 승진에 전문 표준 프레임워크를 사용할 수 있도록 돕습니다.
Leaders at KAU took the initiative to develop a professional standard framework suitable for the local and the wider Saudi national context. This framework is unique to KAU yet reflects key international exemplars grounded in best practice and evidence (Al-Youbi et al. 2021). As part of addressing the technical challenges posed by the project, a set of policies and procedures help leaders and teachers to use the professional standard framework for recruitment, faculty development and training, appraisal and performance evaluation and promotion.

 

글로벌 사고
Thinking globally

글로벌 생태계 전반에서 리더십을 발휘하고자 할 때 개인이 혼자서 이를 시도하는 것은 불가능하기 때문에 협업과 글로벌 실천 커뮤니티 형성이 필수적입니다. 아래에 자세히 설명된 HPE의 프로그램 개발에서 포용적이고 글로벌한 리더십을 발휘한 사례는 협업이 실천 커뮤니티를 강화하고 확장하는 데 어떻게 도움이 되는지 잘 보여줍니다.
When trying to enact leadership across global ecosystems, it is impossible for individuals to attempt to do this on their own, therefore collaboration and forming global communities of practice are essential. An example of inclusive and global leadership in the development of a programme for HPEs, detailed below, highlights how collaboration helps strengthen and expand a community of practice.

환경윤리 및 재생 리더십에 필요한 많은 기술에는 책임감, 옹호, 행동주의에 대한 이해가 필요합니다. 모든 사람이 활동가가 되지는 않겠지만(혹은 되어야만 하는 것은 아닙니다), 때로는 복잡한 시스템에서 권력과 정치에 적극적으로 개입해야 할 때가 있습니다. 책임감, 옹호, 행동주의의 모든 기술에는 핵심 가치를 행동으로 옮기고 이를 일상적인 행동에 통합하는 것이 포함됩니다. 표 3은 핵심 가치와 이를 행동으로 보여주는 방법, 필요한 훈련 및 교육을 사례와 함께 보여줍니다.
For many of the skills required for eco-ethical and regenerative leadership, an understanding of accountability, advocacy, and activism is required. Not everyone will (or should?) become an activist, but when we feel very strongly, sometimes we must step up and work actively with power and politics in complex systems. All the skills of accountability, advocacy and activism involve putting core values into action and incorporating these into everyday behaviours. Table 3 shows the core values and how these might be displayed in action, the training and education required, with examples.

모든 수준의 리더가 자신의 가치를 리더십에 통합한 매우 시사적이고 시급한 사례로는 학생과 의사의 기후 변화 운동이 있습니다(상자 9). 현재의 기후 위기는 곧 건강 위기입니다. 예를 들어, 영국의 일반의협의회(2018)의 의사의 의무에 따르면 의사는 환자의 안전, 존엄성 또는 편안함이 침해될 수 있다고 생각되면 즉각적인 조치를 취해야 하므로, 많은 의사들이 개인적, 직업적 생태 발자국을 최소화하기 위해 노력하면서 '행동주의'에 의지하는 것은 놀라운 일이 아닙니다.
A highly topical and urgent example of how leaders (at all levels) have incorporated their values into leadership is that of student and doctor climate change activism (Box 9). The current climate crisis is a health crisis (https://www.who.int/news-room/photo-story/photo-story-detail/urgent-health-challenges-for-the-next-decade). Since, for example, the UK’s General Medical Council (2018) Duties of a Doctor requires that doctors take prompt action if they think that patient safety, dignity, or comfort may be compromised, it is not surprising that many doctors are resorting to ‘activism’ while also striving to minimising their personal and professional ecological footprints.

박스 8 의학교육의 AMEE 전문가 자격증.
Box 8 The AMEE Specialist Certificate in Medical Education.


수년 동안 AMEE는 연례 학술대회 기간 중 또는 그 이전에 열리는 교육 과정에 참여할 수 있는 기회를 제공해 왔습니다. 이를 통해 참가자들은 다양한 ESME 인증서 중 하나를 취득할 수 있으며, 이 중 다수는 학교 및 기관 수준에서 공신력 있는 성취 증명서로 인정받고 있습니다. 지난 몇 년 동안 전 세계 여러 국가에서 추가적인 온라인 및 주제별 과정이 제공되었습니다. 교수진이 학생 및/또는 수련의를 계속 가르칠 수 있도록 의학교육에 대한 기본 자격을 갖추어야 한다는 압력이 증가하고 있지만, 많은 교육자, 특히 추가 임상 및 학업 책임이 있는 교육자나 자원이 부족한 환경에 있는 교육자는 이러한 자격을 갖추지 못하고 있습니다.
For many years AMEE has provided opportunities to participate in courses held during or prior to the annual conference. These allow participants to obtain one of the various ESME Certificates, many of which are recognised at the school and institutional level as a credible certificates of achievement. Over the last few years, additional online and subject-specific courses have been delivered in various countries around the world. There is increasing pressure upon faculty to have a basic qualification in medical education, which allows them to continue teaching their students and/or trainees, however, these are not available for many educators, particularly those with additional clinical and academic responsibilities and those in low resource settings.


2018년, 전 세계 교육자들의 요구를 해결하고 이들이 글로벌 실무 커뮤니티로 진출할 수 있도록 돕기 위해 일부 ESME 과정을 AMEE 의학 교육 전문가 자격증으로 통합하는 방안이 제안되어 합의되었습니다. AMEE 전문가 인증서는 의학교육에 대한 시간, 자금 또는 학위 수여 프로그램을 이용할 수 없는 개인에게 상황과 경력 목표에 맞게 개별적으로 조정할 수 있는 유연한 프로그램을 제공함으로써 국제적으로 인정받는 의학교육 인증서를 취득할 수 있는 기회를 제공하는 것을 목표로 합니다. 이 인증서는 AMEE에서 인정하는 4개의 과정으로 구성되어 있으며, 이를 통해 개인이 지정된 학습 결과를 달성했음을 증명할 수 있습니다. 이러한 과정은 전 세계의 다양한 컨퍼런스(AMEE 연례 컨퍼런스 포함) 및 기타 장소에서 온라인으로 운영됩니다. 현재까지 수백 명의 교육자가 자격증을 취득했거나 취득을 위해 노력하고 있으며, 자격증이 자신감, 역량 및 경력에 긍정적인 영향을 미치고 있다고 보고하고 있습니다.
In 2018, it was proposed and agreed to combine some of the ESME courses into an AMEE Specialist Certificate in Medical Education aimed at addressing the needs of educators globally and helping them to move into the global community of practice. The AMEE Specialist Certificate aims to give individuals (who may not have the time, funding for or access to award bearing programmes in medical education) opportunities to gain an internationally recognised Certificate in Medical Education, through the provision of a flexible programme, which can be individually tailored to suit circumstances and career aspirations. The Certificate comprises four courses recognised by AMEE, which together demonstrate that an individual has achieved the specified learning outcomes. Such courses are run online, around the world at various conferences (including the AMEE annual conference) and in other locations. To date, hundreds of educators have obtained or are working towards their Certificate and reporting that this is having a positive impact on their confidence, competence, and careers.

 

박스 9 학생과 의사의 기후 변화 운동.
Box 9 Student and doctor climate change activism.



학교 학생, 보건 전공 학생 및 보건 전문가들이 '활동가'가 되어 정부에 긴급한 조치를 취하도록 로비를 벌이고 있습니다. 예를 들면 다음과 같습니다:
School students, health professional students and health professionals have become ‘activists’, lobbying governments to take urgent action. Examples include:

  • #미래를 위한 금요일: 2018년 8월, 15세 소녀 그레타 툰베리가 기후를 위한 학교 파업을 시작하면서 시작된 글로벌 기후 파업 운동입니다.
    #FridaysforFuture
    : A global climate strike movement that began in August 2018 when 15-year-old Greta Thunberg began a school strike for climate.
  • 국제 의과대학 학생회 연맹: 건강 문제에 관한 정책 문서를 발표하고 국가별 국제 회의에 참석하는 등 활발한 활동을 펼치고 있습니다. 최근 정책 문서로는 건강 형평성, 건강 비상사태(2020년 8월), 건강, 환경 및 기후 변화(2020년 3월)가 있습니다.
    The International Federation of Medical Students’ Association: Active in terms of publishing policy documents on health issues and attending national international meetings. Recent policy documents include Health Equity, Health Emergencies (Aug 2020) and Health, Environment and Climate Change (March 2020).
  • 멸종 반란을 위한 의사들: 웹사이트에는 다음과 같이 적혀 있습니다: ".... 기후 변화가 임박한 공중 보건 재앙임을 인식하고, 멸종 반란과 함께 시민 불복종에 착수하기로 결정했습니다."
    Doctors for Extinction Rebellion
    : On their website, they write the following: “…. Appreciating that Climate Change is an impending public health catastrophe, have decided to undertake Civil Disobedience with Extinction Rebellion

 

상자 10 캐나다의 수평적 및 수직적 리더십 개발.
Box 10 Horizontal and vertical leadership development in Canada.


"RCPSC와 캐나다 의과대학 학부협회(AFMC)는 리더십 교육을 UGME(MD 교육)와 PGME(레지던트 교육) 모두에서 중점적으로 고려할 것을 권장했습니다. "직업적 책임, 자기 인식, 피드백 제공 및 받기, 갈등 해결, 변화 관리, 리더, 조력자 또는 팀원으로서 팀의 일원으로 일하는 것"에 초점을 맞출 것을 권장했습니다.  대부분의 프로그램은 리더십 교육의 일부로 캐나다 의사협회(CMA)에서 제공하는 것과 같은 활동을 포함한 선택적 활동에 대한 접근을 용이하게 합니다:  레지던트와 의사를 위한 리더십 교육은 일반적으로 유료 과정(https://joulecma.ca/learn. . . )을 통해 제공됩니다.
“RCPSC and the Association of Faculties of Medicine of Canada (AFMC) have recommended that leadership training be considered a focus in both UGME (MD training) and PGME (residency training). The recommendation was to focus on “professional responsibilities, self-awareness, providing and receiving feedback, conflict resolution, change management, and working as part of a team as a leader, facilitator, or team member.  The majority of programs facilitate access to optional activities as part of their leadership offer which include activities such as these provided by the Canadian Medical Association (CMA):  https://www.cma.ca/physician-wellness-hub/resources/leadership-professional-development/leadership-development-courses-for-medical-students-and-residents. . . .  Training in leadership for residents and physicians is usually facilitated through fee-paying courses (https://joulecma.ca/learn. . . . ).


리더십 개발은 캐나다의 학부 의학교육(UGME)의 커리큘럼에도 포함되어 있습니다. 다음은 오타와 대학교의 예입니다:  
Leadership development is also included in the curricula in undergraduate medical education (UGME) in Canada. This is an example from the University of Ottawa:  https://med.uottawa.ca/undergraduate/education/social-accountability/associated-programs/leadership. . . .
박스 11 리더십에 대한 문화적 관점.
Box 11 Cultural perspectives on leadership.


리더십에 대한 동남아시아의 관점
South-East Asian perspectives on leadership


동남아시아 국가에서는 문화적 가치가 강력하게 자리 잡고 있으며 삶의 모든 측면에 영향을 미칩니다. 이 지역 국가들의 다양한 인종, 지리적 분포, 정부 정책, 교육 및 의료 시스템으로 인해 보건 전문직 교육에서 문화적 가치가 리더십에 미치는 영향을 논의하기 위해서는 포괄적인 이해와 역동적인 접근이 필요합니다. 호프스테드의 문화적 가치에 따르면 이 지역은 높은 권력 거리 또는 위계질서, 집단주의, 불확실성 회피, 장기적 지향, 남성성과 여성성의 균형이 특징이며, 이를 잘 인식하고 관리하는 리더가 있어야 필요한 변화가 일어날 수 있습니다.
Cultural values are strongly held and influence all aspects of life in South-East Asian countries. With diverse ethnicities, geographical distribution, governmental policies, education and healthcare systems in the countries within this region, discussing the impact of cultural values on leadership in health professions’ education requires comprehensive understanding and a dynamic approach. Based on Hofstede’s cultural values, this region is characterised by high power-distance or hierarchy; collectivism; uncertainty avoidance; long-term orientation, and a balance of masculinity and femininity, which are best aware and managed with by the adaptive leaders hence necessary changes can take place.


리더십에 대한 중동의 관점
Middle Eastern perspectives on leadership


중동 아랍 국가들은 신뢰에 뿌리를 둔 독특한 문화 유산을 가지고 있습니다. 개인은 일반적으로 꾸란의 원칙에 따라 자신의 유산을 소중히 여기고 종교적 신념과 중요한 관계를 보존합니다. 이러한 문화는 중동의 일반적인 리더십 스타일과 리더와 추종자 간의 관계를 규정하는 요소에 큰 영향을 미칩니다. 이러한 관점에서 볼 때 중동 리더십 스타일의 고유한 특징은 다음과 같습니다: 높은 권력-거리, 탁월함을 바탕으로 한 신뢰 구축, 모든 사람에게 사명과 역할이 있음, 개방적인 문화, 개별 의사 결정과 협의의 균형.
Middle Eastern Arab countries have a unique cultural heritage that is rooted in trust. Individuals are generally guided by the Quran's principles: they value their heritage and preserve their religious beliefs and relationships of importance. This culture has a profound effect on the common leadership styles in the Middle East and on the factors regulating the relationships between leaders and their followers. From this perspective, the following are unique characteristics for the middle eastern leadership style: high power-distance; trust is built based on excellence; every person has a mission and a role to play; an open-door culture, and balance consultation with individual decision-making.



리더의 존재와 리더 되기
Being and becoming a leader

방대한 양의 이론과 관리 모델, 그리고 끊임없이 변화하는 환경은 HPE 리더가 '리더가 되는 것'(Souba, 2011)과 '리더십 활동을 수행하는 것'을 매우 어렵게 만들 수 있습니다

  • 리더가 '되는 것'은 여기서 논의한 많은 리더십 접근법과 기법을 일상 업무에 통합하는 것을 포함하지만,
  • 리더가 '되어가는 것'은 리더로서의 정체성을 개발하는 과정(의식적, 무의식적)을 포함합니다(Maile 외. 2019).

The sheer volume of theories and management models, plus the constantly changing environment in which HPE leaders have to work can make ‘being and becoming a leader’ Souba, 2011) as well as ‘doing leadership activities’ very difficult.

  • ‘Being’ a leader involves incorporating many of the leadership approaches and techniques discussed here into everyday practice, whereas
  • ‘becoming’ a leader involves a process (conscious and unconscious) of developing an identity as a leader (Maile et al. 2019).

Petrie의 연구는 이를 맥락에 맞게 설명하는 데 도움이 됩니다. 그는 리더십 개발의 두 가지 유형, 즉 수평적 리더십과 수직적 리더십을 설명합니다(Petrie 2014). 
Petrie’s work helps put this into context. He describes two types of leadership development: horizontal and vertical (Petrie 2014). 

  • 수평적 리더십 개발은 개념, 모델 및 사용 가능한 도구를 포함하여 리더십 이론에 대한 지식을 늘리는 것입니다. 여기에는 점점 더 많은 수의 대학원 자격증이 포함됩니다. 리더가 경험을 쌓고 공식적인 학습을 시작하면 수직적 리더십 개발의 원칙을 활용하는 것을 목표로 삼아야 합니다. 여기에는 리더십의 맥락에서 자신과 자신이 직면한 도전에 대해 배우는 것이 포함됩니다.
    Horizontal leadership development is about increasing your knowledge of the theory of leadership including the concepts, models, and tools available. This includes postgraduate qualifications of which there are increasing numbers on offer. As leaders begin to gain experience and possibly undertake some formal learning, they should aim to utilise the principles of vertical leadership development. This involves learning about yourself in the context of leadership and the challenges you face.
  • 수직적 리더십에서 리더는 자신이 직면한 도전('뜨거운 경험')을 성찰과 대화를 통해 '감각화'하고, 현재 상황에 대해 '충돌하는 관점'에 개방적인 태도를 취함으로써 어떻게 개선하거나 다르게 행동할 수 있는지 분석합니다. 의도적인 성찰과 대화는 임포스터 감정을 완화하고, 리더십에 대한 자신감과 유능함을 키우며, '실용적인 지혜'를 개발하여 궁극적으로 우리의 가치를 실천할 수 있다고 느끼는 데 도움이 될 수 있습니다. 서로 다른 관점이 충돌하는 예는 아래 예시에서 볼 수 있듯이 세계 여러 지역에서 나타나는 다양한 리더십 가치와 스타일에서 잘 드러납니다.
    In vertical leadership, leaders use the challenges they meet (‘heat experiences’), to analyse how they might improve or do things differently through ‘sense-making’ of the experience (through reflection and conversation) and being open to ‘colliding perspectives’ about what is going on. Purposeful reflection and conversations can help us alleviate imposter feelings and become more confident and competent at leadership, developing our ‘practical wisdom’, and ultimately feeling able to live out our values. An example of colliding perspectives is highlighted by the different leadership values and styles displayed in different regions of the world, illustrated by the example below.

코칭과 멘토링을 찾는 것은 정확하고 정직한 자기 성찰을 촉진하고 성장 마인드를 개발할 수 있는 충돌하는 관점에 열려 있는 풍부한 예입니다(Dweck 2016). 이는 수직적 리더십 개발의 또 다른 예입니다. 멘토링 관계는 멘티와 멘토 모두에게 중요합니다. HPE 리더는 대부분 멘토의 역할을 맡지만, 리더십 개발에서는 기꺼이 멘티의 역할을 맡을 수 있어야 합니다. 궁극적으로 이러한 멘토링 이니셔티브는 조직에 도움이 됩니다. Burgess 외(2018)의 검토에 따르면 멘토링 관계의 모든 이해관계자가 얻을 수 있는 이점을 고려하고 아래 표 4에 요약했습니다.
Seeking coaching and mentoring are rich examples of being open to colliding perspectives that can facilitate accurate and honest self-reflection and develop a growth mindset (Dweck 2016). This is another example of vertical leadership development. Mentoring relationships are important for both mentee and mentor. HPE leaders mostly take on the role of a mentor, however, in leadership development, they need to be willing to take on a mentee role. Ultimately, these mentoring initiatives benefit the organisation. Based on the review by Burgess et al. (2018), the benefits for all stakeholders of mentoring relationships are considered and summarised in Table 4 below.

 
 

결론
Conclusion

이 가이드에서는 리더십의 여러 이론적 측면을 살펴보고 리더, 관리자, 팔로워가 문제와 도전에 어떻게 대처할 수 있는지에 대한 예를 제공했습니다. 리더십은 다양한 수준(개인 내, 대인관계/팀, 조직 및 시스템 수준)에서 발생하며, 리더는 이러한 수준에 익숙해지고 능숙하게 대처할 수 있어야 합니다. 리더십은 학부 단계부터 공식적으로 가르쳐야 하며, 교육자의 커리어를 통해 지속적으로 재교육하여 사람들이 리더십과 팔로워십 역할을 적절히 수행하고 여러 전문가로 구성된 팀에서 일할 수 있도록 준비시켜야 합니다. 모든 리더는 다른 사람들이 변화를 일으키도록 영향력을 발휘할 수 있도록 신뢰할 수 있어야 하므로, 교육자는 시간을 들여 자신이 근무하는 맥락을 이해하여 HPE를 구성하는 다양한 교육 및 의료 시스템 내에서 그리고 그 시스템 전반에서 일할 수 있어야 합니다.
In this guide, we have explored many theoretical aspects of leadership and provided examples of how leaders, managers and followers might address issues and challenges. Leadership takes place at various levels (the intrapersonal, interpersonal/team, organisational and system levels) and leaders need to become familiar with and adept at navigating these levels. Leadership needs to be formally taught right from the undergraduate stage and refreshed throughout an educator’s career so that people are equipped to take on leadership and followership roles appropriately and work in multi-professional teams. Any leader needs to be credible to influence others towards making change, therefore educators need to take time to understand the context in which they work so that they can work within and across the various education and healthcare systems that comprise HPE.

직장에서의 평생 학습은 지속적인 리더십 개발에서 가장 큰 부분을 차지하며, 이를 통해 다양한 리더십 활동과 상황에서 효과적으로 대처할 수 있는 경험과 실용적인 지혜를 얻을 수 있습니다. 리더십은 또한 매우 개인적인 것으로, 모든 사람이 다르므로 각자의 강점을 발휘해야 합니다. 자신과 자신의 가치관을 이해하는 것은 감성 지능, 근성, 진정성을 키우고 리더로서 어디에 관심을 집중할지 결정할 수 있도록 하는 데 필수적입니다. 여기에는 때때로 난간을 넘어서거나, 첫 번째 팔로워가 되거나, 옹호를 넘어 행동주의로 나아가는 것이 포함될 수 있습니다. 어떤 분야에서 어떤 리더십을 발휘하든, 이 가이드가 여러분의 발전을 위한 몇 가지 아이디어를 제공하고 보건 전문직 교육에서의 리더십에 대해 더 자세히 알아보는 데 도움이 되기를 바랍니다.
Lifelong learning in the workplace forms the greatest part by far of ongoing leadership development; this is where you gain the experience and the practical wisdom to be effective in a wider range of leadership activities and situations. Leadership is also very personal; everyone is different and should play to their strengths. Understanding yourself and your values is essential so that you can work on and nurture your emotional intelligence, grit and authenticity and decide where you want to focus your attention as a leader. This may involve stepping above the parapet sometimes, being the first follower, or moving beyond advocacy to activism. Wherever and whatever you decide to lead on, we hope this guide has provided some ideas for your development and inspired you to learn more about leadership in health professions education.


 

 

Med Teach. 2023 Feb;45(2):128-138. doi: 10.1080/0142159X.2022.2057288. Epub 2022 May 11.

 

 

Adaptive leadership during challenging times: Effective strategies for health professions educators: AMEE Guide No. 148

Affiliations collapse

1Swansea University Medical School, Wales, UK.

2Department of Internal Medicine, King Saud University, Riyadh, Saudi Arabia.

3Harvard Medical School, Boston, USA.

4Massachusetts General Hospital Institute for Health Professions Education, Boston, USE.

5Honorary Professor of Medical Education, University of Manchester, Manchester, UK.

6Faculty of Health Sciences and Medicine, Bond University, Gold Coast, Queensland, Australia.

7Head of Medical Education Unit and Head of Cluster, Centre for Medical Education, Indonesia Medical Education and Research Institute, Faculty of Medicine Universitas Indonesia, Jakarta, Indonesia.

8Department of Applied Linguistics, Swansea University, Swansea, UK.

9Department of Clinical Biochemistry & Medicasl Education, College of Pharmacy Practice, King Abdulaziz University, Jeddah, Saudi Arabia.

10College of Medicine, Tanta University, Tanta, Egypt.

11Anatomy, Department of Anatomy, Faculty of Medicine, King Abdulaziz University, Jeddah, Saudi Arabia.

12Faculty of Medicine & Health Sciences, Swansea University, Swansea, UK.

13Institutional Development at the International Medical University, Kuala Lumpur, Malaysia.

14Departement of Psychiatry, Memorial University, St. Clare's Hospital, St. John's, Canada.

15Department of Health and Community Services, Government of Newfoundland and Labrador, St John's, Canada.

PMID: 35543323

DOI: 10.1080/0142159X.2022.2057288

 

Abstract

Leadership and management are becoming increasingly recognised as vital for high-performing organisations and teams in health professions education. It is often difficult for those embarking on leadership activities (as well as more experienced leaders) to find their way through the volume of literature and generic information on the topic. This guide aims to provide a framework for developing educators' understanding of leadership, management, and followership in the context of health professions education. It explains many relevant approaches to leadership and suggests various strategies through which educators can develop their practice to become more effective.

Keywords: Health professions education; followership; leadership; management.

연구평가지표를 위한 라이덴 선언
LEIDEN MANIFESTO FOR RESEARCH METRICS

 

Use these ten principles to guide research evaluation, urge Diana Hicks, Paul Wouters and colleagues.

Credit: Illustration by David Parkins

 

연구활동을 지원하고 운영하는데 있어 실증적인 데이터 사용이 증가하고 있다. 과거에는 필요한 경우에만 동료에 의해서 연구평가가 수행되었지만 최근에는 일상적으로 이루어질 뿐만 아니라 계량적인 평가지표에 크게 의존하고 있다1. 이 때 연구평가가 데이터 기반으로 이루어지고 심사자의 판단이 부재하다는 점은 문제이다. 이러한 상황에서 연구성과 관련 계량적 평가지표들이 빠르게 확산되고 있다. 올바른 연구성과평가를 위한 목적으로 평가지표가 개발되고 있으나, 개발된 평가지표들이 충분히 이해되지 못하거나 때론 잘못 사용하기도 한다. 계량적 지표에 근거한 연구성과평가가 점점 더 확산되고 있지만, 많은 기관에서는 실제로 어떻게 수행하고 해석해야 하는지에 대한 충분한 지식이나 도움이 부재한 상황이다. 연구성과평가 체계를 향상시키기 위해 만든 도구인 평가지표로 인해 도리어 평가 체계 자체가 위협 받고 있다. 
Data are increasingly used to govern science. Research evaluations that were once bespoke and performed by peers are now routine and reliant on metrics1. The problem is that evaluation is now led by the data rather than by judgement. Metrics have proliferated: usually well intentioned, not always well informed, often ill applied. We risk damaging the system with the very tools designed to improve it, as evaluation is increasingly implemented by organizations without knowledge of, or advice on, good practice and interpretation.

2000년도 이전에는 Institute for Scientific Information (ISI)이 Science Citation Index를 CDROM 형태로 발간하였으며 전문가의 분석 업무에 사용되었다. 2002년에는 톰슨 로이터스가 통합 웹 플랫폼을 발족하여 Web of Science 데이터베이스의 광범위한 접근을 가능하게 하였다. 엘스비어의 Scopus(2004년 발표)와 Google Scholar(2004년 베타버전 발표)의 등장으로 인용색인 데이터베이스가 다양화되었다. Web of Science 기반의 InCites와 Scopus 기반의 SciVal 과 같이 기관 단위의 연구 생산성과 영향력을 쉽게 비교할 수 있는 웹 기반 도구들이 소개되고, Google Scholar를 활용하여 개인 저자 단위 인용 프로필을 분석하는 소프트웨어(Publish or Perish, 2007년 발표)도 등장하였다.
Before 2000, there was the Science Citation Index on CD-ROM from the Institute for Scientific Information (ISI), used by experts for specialist analyses. In 2002, Thomson Reuters launched an integrated web platform, making the Web of Science database widely accessible. Competing citation indices were created: Elsevier's Scopus (released in 2004) and Google Scholar (beta version released in 2004). Web-based tools to easily compare institutional research productivity and impact were introduced, such as InCites (using the Web of Science) and SciVal (using Scopus), as well as software to analyse individual citation profiles using Google Scholar (Publish or Perish, released in 2007).

2005년에는 미국 캘리포니아 주립대학교 샌디에고 캠퍼스에 재직중인 물리학자 Jorge Hirsch가 h-지수를 제안하여 개별 연구자의 인용 평가를 대중화했다. 1995년 이래로 저널영향력지수에 대한 관심은 꾸준히 증가하고 있다(‘저널영향력지수에 대한 집착(impact-factor obsession*)’ 참조). 
In 2005, Jorge Hirsch, a physicist at the University of California, San Diego, proposed the h-index, popularizing citation counting for individual researchers. Interest in the journal impact factor grew steadily after 1995 (see 'Impact-factor obsession').

최근 연구성과의 사회적인 이용과 온라인 상의 의견을 포괄하는 평가지표가 점차 중요해지고 있다. 그 예로 F1000Prime(2002년 설립), Mendeley(2008년 설립), Altmetric.com(Nature Publishing Group를 가지고 있는 Macmillan Science and Education의 후원 아래 2011년 설립) 을 들 수 있다. 
Lately, metrics related to social usage and online comment have gained momentum — F1000Prime was established in 2002, Mendeley in 2008, and Altmetric.com (supported by Macmillan Science and Education, which owns Nature Publishing Group) in 2011.

과학계량학자, 사회과학자, 연구관리자로서 우리는 만연해있는 평가지표의 오용 정도가 심각해지고 있음을 목도해왔다. 세계의 대학들이 국제 대학 순위(상하이 랭킹, Times Higher Education 리스트 등)에서의 순위에 집착하는 것은 평가지표 오용의 수많은 예 중 하나이다. 심지어 우리 관점에서 볼 때 이 순위들은 부정확한 데이터와 편협하고 비논리적인 지표에 기반한 것으로 보이지만 세계 대학들은 이에 집착하고 있다. 
As scientometricians, social scientists and research administrators, we have watched with increasing alarm the pervasive misapplication of indicators to the evaluation of scientific performance. The following are just a few of numerous examples. Across the world, universities have become obsessed with their position in global rankings (such as the Shanghai Ranking and Times Higher Education's list), even when such lists are based on what are, in our view, inaccurate data and arbitrary indicators.

일부 인사담당자는 임용지원자에게 h-지수를 요청하기도 한다. 몇몇 대학들은 일정 값 이상의 h-지수와 영향력지수가 높은 저널에 실린 논문의 수에 따라 승진을 결정한다. 연구자의 CV는 이러한 지표 값을 내세우는데 사용되어 왔으며 특히 의생물학 분야에서 이러한 경향이 두드러진다. 지도교수는 아직 준비가 채 되지 않은 박사과정 학생에게 영향력지수가 높은 저널에 논문을 게재하고 외부 연구비를 수주하도록 요구하는 일이 만연하고 있다.
Some recruiters request h-index values for candidates. Several universities base promotion decisions on threshold h-index values and on the number of articles in 'high-impact' journals. Researchers' CVs have become opportunities to boast about these scores, notably in biomedicine. Everywhere, supervisors ask PhD students to publish in high-impact journals and acquire external funding before they are ready.

스칸디나비아와 중국의 몇몇 대학들은 획일화된 지표 값에 따라 개별 연구자에게 연구비나 보너스를 지급한다. 예를 들어, 개별 연구자의 영향력 점수를 계산하여 연구비를 배정하거나 저널영향력지수 값이 15보다 높은 저널에 논문을 게재한 경우 연구자에게 보너스를 지급하는 식이다 2.
In Scandinavia and China, some universities allocate research funding or bonuses on the basis of a number: for example, by calculating individual impact scores to allocate 'performance resources' or by giving researchers a bonus for a publication in a journal with an impact factor higher than 15 (ref. 2).

대부분의 경우 연구자와 평가자는 여전히 균형 잡힌 연구성과평가를 위해 노력하고 있다. 그러나 연구성과 평가지표의 오용은 간과하기 어려울 정도로 광범위하게 이루어지고 있다. 
In many cases, researchers and evaluators still exert balanced judgement. Yet the abuse of research metrics has become too widespread to ignore.

이러한 상황 때문에 라이덴 선언(Leiden Manifesto)을 발표하게 되었다. 이 이름은 라이덴 선언이 구체화된 학회 개최지(http://sti2014.cwts.nl 참조)를 따랐다. 라이덴 선언의 열 가지 원칙은 과학계량학자에게는 새롭지 않지만 지금까지 성문화되지 않았기 때문에 명확하게 제시하기 어려웠다. ISI의 창립자인 Eugene Garfield와 같은 이 분야의 권위자들은 이 원칙들 중 몇 가지를 공식적으로 언급한 적이 있다3,4. 그러나 이러한 권위자들의 권고사항을 대학 행정담당자가 잘 인지하고 있어서 연구성과평가보고서를 살펴볼 때 고려할 것이라고 기대하기는 어렵다. 왜냐하면 이들은 성과평가 방법론의 전문가가 아니기 때문이다. 또한 평가 대상이 된 연구자가 평가에 대한 이의를 제기하고자 할 때 이러한 원칙들이 전문적인 저널에 흩어져 있어 접근이 어렵다.
We therefore present the Leiden Manifesto, named after the conference at which it crystallized (see http://sti2014.cwts.nl). Its ten principles are not news to scientometricians, although none of us would be able to recite them in their entirety because codification has been lacking until now. Luminaries in the field, such as Eugene Garfield (founder of the ISI), are on record stating some of these principles3,4. But they are not in the room when evaluators report back to university administrators who are not expert in the relevant methodology. Scientists searching for literature with which to contest an evaluation find the material scattered in what are, to them, obscure journals to which they lack access.

우리는 계량 지표 기반 연구성과평가에 벤치마킹이 될 만한 방법론으로서 열 가지 원칙을 제안한다. 이를 통해 연구자는 평가자를 이해할 수 있고 평가자는 계량적 평가지표를 이해할 수 있다.
We offer this distillation of best practice in metrics-based research assessment so that researchers can hold evaluators to account, and evaluators can hold their indicators to account.

Credit: Data Source: Thomson Reuters Web of Science; Analysis: D.H., L.W.

열 가지 원칙
Ten principles

1. 정량적 평가는 정성적 평가와 전문가 평가를 지원하는데 사용되어야 한다. 정량적 평가지표는 동료평가에서 발생할 수 있는 편향성에 대한 이의 제기와 검토를 용이하게 한다. 일련의 관련 정보 없이 동료에 대한 평가를 내리는 것은 어렵기 때문에 정량적 평가는 동료평가에서 활용되어야 한다. 하지만, 평가자는 연구성과에 대한 전반적 평가 관련 의사결정을 계량지표 값 자체로 대체해서는 안 된다. 평가지표가 평가자의 숙련된 판단을 대체할 수 없으며, 평가자는 평가지표에 자신의 평가에 대한 책임을 전가해서는 안 된다.

1) Quantitative evaluation should support qualitative, expert assessment. Quantitative metrics can challenge bias tendencies in peer review and facilitate deliberation. This should strengthen peer review, because making judgements about colleagues is difficult without a range of relevant information. However, assessors must not be tempted to cede decision-making to the numbers. Indicators must not substitute for informed judgement. Everyone retains responsibility for their assessments.

2. 기관, 연구 집단, 연구자의 목표에 따라 성과를 측정하라. 목표가 처음부터 명시되어야 하며, 성과평가에 사용되는 지표는 그 목표와 분명하게 연관되어야 한다. 평가지표의 선택과 적용방법은 사회/경제적, 문화적 맥락을 충분히 고려하여야 한다. 연구자의 목표는 다양하다. 선구적 학술 탐구 연구는 사회 문제 해결에 중점을 두는 연구와는 다르다. 그리고 리뷰는 학문적 아이디어의 우수성보다 정책, 산업, 공공의 요구에 기반을 둘 수 있다. 따라서 하나의 평가 모델이 모든 맥락에 동일하게 적용될 수 없다.
2) Measure performance against the research missions of the institution, group or researcher.
 Programme goals should be stated at the start, and the indicators used to evaluate performance should relate clearly to those goals. The choice of indicators, and the ways in which they are used, should take into account the wider socio-economic and cultural contexts. Scientists have diverse research missions. Research that advances the frontiers of academic knowledge differs from research that is focused on delivering solutions to societal problems. Review may be based on merits relevant to policy, industry or the public rather than on academic ideas of excellence. No single evaluation model applies to all contexts.

3. 지역적으로 가치 있는 연구의 우수성을 인정하라. 세계 도처에서 영어로 쓰여진 출판물이 곧 우수한 연구로 간주되고 있다. 예를 들어, 스페인 법은 스페인 연구자가 영향력이 높은 저널에 논문을 게재하는 것을 권고한다**. 저널영향력지수는 미국에서 출반된 영문저널 중 Web of Science에 색인된 저널들을 기반으로 산출된다. 이러한 편향은 지역적, 국가적인 요구에 기반한 연구가 주를 이루는 사회과학과 인문학에서 특히 문제가 된다. 또한 사하라사막 이남 아프리카의 HIV 전염병학처럼 인문사회학이 아닌 많은 다른 분야도 국가적, 지역적 가치를 지닌다.

연구의 다양성과 사회적 연관성은 저널영향력지수 값이 높은 영문 저널에 논문을 출판하려는 연구 경향에 의해 그 성장이 억제되고 있다. Web of Science에서 인용되는 스페인 사회학자들은 추상적 모델 연구나 미국의 데이터를 대상으로 연구한다. 지역 노동법, 노령자를 위한 가정의료, 이민노동자와 같은 지역 특수성을 반영한 연구를 하는 사회학자들의 이름은 Web of Science에 색인된 주요 스페인어 저널에서도 자취를 감추었다5. 수준 높은 비영어 학술문헌에 기반한 계량적 평가지표가 제공된다면 지역적으로 가치 있는 연구의 우수성을 규명하고 적절히 평가하는데 기여할 수 있을 것이다.

3) Protect excellence in locally relevant research. In many parts of the world, research excellence is equated with English-language publication. Spanish law, for example, states the desirability of Spanish scholars publishing in high-impact journals. The impact factor is calculated for journals indexed in the US-based and still mostly English-language Web of Science. These biases are particularly problematic in the social sciences and humanities, in which research is more regionally and nationally engaged. Many other fields have a national or regional dimension — for instance, HIV epidemiology in sub-Saharan Africa.

This pluralism and societal relevance tends to be suppressed to create papers of interest to the gatekeepers of high impact: English-language journals. The Spanish sociologists that are highly cited in the Web of Science have worked on abstract models or study US data. Lost is the specificity of sociologists in high-impact Spanish-language papers: topics such as local labour law, family health care for the elderly or immigrant employment5. Metrics built on high-quality non-English literature would serve to identify and reward excellence in locally relevant research.

4. 데이터 수집과 분석 기법은 공개되어야 하며 투명하고 단순해야 한다. 평가를 위한 데이터베이스 구축은 확실하게 명시된 규칙을 따라야 하며 그 규칙은 평가를 완료하기 전에 제시되어야 한다. 이 과정은 수 십 년 동안 계량서지학적 평가방법을 개발한 학계와 영리 단체가 따른 통상적 관례이다. 그리고 이 관례는 동료심사제를 거친 문헌에 게재된 프로토콜이다. 이러한 투명성은 엄정한 평가를 가능하게 했다. 예를 들어, 2010년 우리 그룹 중 하나인 네덜란드 라이덴 대학교 과학기술연구센터(the Centre for Science and Technology Studies at Leiden University in the Netherlands)에서 사용하는 주요 평가지표 계산 방법을 공개토론을 통해 수정하였다6. 이 분야에 새로이 진입하는 영리단체는 이러한 규정을 준수해야 한다. 불투명한 블랙박스 같은 연구성과평가 과정은 수용될 수 없다. 
4) Keep data collection and analytical processes open, transparent and simple.
 The construction of the databases required for evaluation should follow clearly stated rules, set before the research has been completed. This was common practice among the academic and commercial groups that built bibliometric evaluation methodology over several decades. Those groups referenced protocols published in the peer-reviewed literature. This transparency enabled scrutiny. For example, in 2010, public debate on the technical properties of an important indicator used by one of our groups (the Centre for Science and Technology Studies at Leiden University in the Netherlands) led to a revision in the calculation of this indicator6. Recent commercial entrants should be held to the same standards; no one should accept a black-box evaluation machine.

이해하기 쉬운 명확하고 간단한 연구성과평가지표는 평가의 투명성을 높여준다. 그러나 단순화된 평가지표가 연구활동 전반을 반영할 수 없으므로, 왜곡의 소지가 있다(원칙 7 참조). 따라서 평가자는 연구 과정의 복잡성과 평가지표의 단순성 간의 균형을 반드시 유지해야 한다.
Simplicity is a virtue in an indicator because it enhances transparency. But simplistic metrics can distort the record (see principle 7). Evaluators must strive for balance — simple indicators true to the complexity of the research process.

단순성은 투명성을 높여주기 때문에 지표의 미덕입니다.
Simplicity is a virtue in an indicator because it enhances transparency.

5. 평가 대상자가 평가 데이터와 분석과정을 확인할 수 있도록 하라. 연구성과 평가에 사용되는 데이터의 품질을 확실히 하기 위하여 평가에 관련된 모든 연구자는 연구성과가 정확하게 반영되었는지를 확인할 수 있어야 한다. 평가과정을 감독하고 관리하는 평가 담당자는 자체검증 또는 외부감사를 통하여 데이터의 정확성을 담보하여야 한다. 대학의 연구정보시스템(RIS)에는 데이터 검증 모듈이 포함되어야 하며, 이는 연구정보시스템 공급업체 선정의 기준이 되어야 한다. 정확한 고품질 데이터를 수집하고 처리하기 위해서는 시간과 재원이 필요하므로 이를 위한 예산 할당이 필요하다.
5) Allow those evaluated to verify data and analysis.
 To ensure data quality, all researchers included in bibliometric studies should be able to check that their outputs have been correctly identified. Everyone directing and managing evaluation processes should assure data accuracy, through self-verification or third-party audit. Universities could implement this in their research information systems and it should be a guiding principle in the selection of providers of these systems. Accurate, high-quality data take time and money to collate and process. Budget for it.

6. 학문 분야에 따른 출판과 인용관행의 다양성을 인정하라. 최선의 방법은 여러 개의 연구성과 평가지표 세트를 만든 후 학문 분야별로 적절한 평가지표를 선택하도록 하는 것이다. 몇 년 전, 유럽의 역사학자들이 국내 동료심사 평가에서 상대적으로 낮은 점수를 받았다. 이는 그들이 Web of Science에 색인된 저널에 논문을 게재하기 보다 단행본을 출판했기 때문이다. 이들은 운 나쁘게도 소속이 심리학과였다. 역사학자들과 사회과학자들은 단행본과 자국어로 쓴 문헌을 그들의 출판물 수에 포함시켜 줄 것을 요구하고, 컴퓨터 과학자들은 학술대회 논문을 출판물 수에 포함시켜 주길 요구한다.
6) Account for variation by field in publication and citation practices.
 Best practice is to select a suite of possible indicators and allow fields to choose among them. A few years ago, a European group of historians received a relatively low rating in a national peer-review assessment because they wrote books rather than articles in journals indexed by the Web of Science. The historians had the misfortune to be part of a psychology department. Historians and social scientists require books and national-language literature to be included in their publication counts; computer scientists require conference papers be counted.

인용률은 학문 분야에 따라 다르다. 수학 분야에서 상위저널의 영향력지수 값은 약 3정도이고, 세포 생물학 분야에서 상위저널의 영향력지수 값은 약 30 정도이다. 정규화된 평가지표가 필요하며, 가장 안정적인 정규화 방법은 백분위(percentile)이다. 이 때 개별 논문은 해당 분야의 인용 분포에 따른 백분위 중 어디에 해당하느냐에 기반하여 가중치를 받게 된다(예를 들어, 상위 1%, 10%, 20%). 인용 평균에 기반하게 되면 한 두 개의 출판물에 의해 특정 대학의 순위가 크게 변동될 수 있으나, 백분위에 기반하게 되면 한두 논문에 의한 큰 순위 변동이 발생하지 않는다7.
Citation rates vary by field: top-ranked journals in mathematics have impact factors of around 3; top-ranked journals in cell biology have impact factors of about 30. Normalized indicators are required, and the most robust normalization method is based on percentiles: each paper is weighted on the basis of the percentile to which it belongs in the citation distribution of its field (the top 1%, 10% or 20%, for example). A single highly cited publication slightly improves the position of a university in a ranking that is based on percentile indicators, but may propel the university from the middle to the top of a ranking built on citation averages7.

7. 개별 연구자 평가는 연구자의 전체 연구실적에 대한 정성적 판단에 기초하여야 한다. 새로운 논문을 발표하지 않더라도 연구자의 경력이 오래될수록 h-지수가 높다. 또한 h-지수는 학문 분야에 따라 그 값이 다르게 나타나는데, 탁월한 생명과학자의 h-지수는 200, 물리학자는 100, 사회과학자의 경우 20-30으로 나타난다(원문의 ref 8 참조). h-지수는 데이터베이스에 따라서도 다르게 나타나는데, 예를 들면 컴퓨터공학 연구자들의 h-지수가 Web of Science에서는 약 10 정도로 산출되지만 Google Scholar에서는 20-30 정도로 산출된다9. 따라서 연구자의 논문을 읽고 판단하는 것이 특정 계량지표 값 하나에 의존하는 것보다 훨씬 바람직하다. 여러 연구자를 비교할 때도 개인의 전문지식, 경험, 활동, 영향력에 관한 다양한 정보를 고려하는 것이 최선의 방법이다.
7) Base assessment of individual researchers on a qualitative judgement of their portfolio.
 The older you are, the higher your h-index, even in the absence of new papers. The h-index varies by field: life scientists top out at 200; physicists at 100 and social scientists at 20–30 (ref. 8). It is database dependent: there are researchers in computer science who have an h-index of around 10 in the Web of Science but of 20–30 in Google Scholar9. Reading and judging a researcher's work is much more appropriate than relying on one number. Even when comparing large numbers of researchers, an approach that considers more information about an individual's expertise, experience, activities and influence is best.

8. 구체성 오류(misplaced concreteness)와 정확성 과신(false precision)에 주의하라. 과학기술 지표는 개념적으로 모호하고 불분명한 경향이 있고 일반적이지 않은 엄격한 가설을 필요로 한다. 예를 들어 인용빈도가 가지는 의미는 오랫동안 논쟁의 대상이 되어 왔다. 그러므로 더욱 안정적이고 다원적인 평가를 위해서는 여러 개의 평가지표를 사용하는 것이 최선의 방법이다. 만약 오차 구간(error bar) 등을 사용하여 불확실성과 오류를 정량화 할 수 있다면, 이를 평가지표 값과 함께 제공해야 한다. 이것이 불가능하다면, 평가지표 제공자는 적어도 정확성을 과신하지 말아야 한다. 예를 들어, 저널영향력지수는 동점을 피하기 위해 소수점 이하 셋째 자리까지 공개된다. 그러나 인용빈도의 개념적 모호함과 임의적 변동성을 고려해볼 때, 매우 작은 영향력지수 값의 차이를 가지고 저널들을 구분하는 것은 의미가 없다. 정확성을 과신하지 마라. 소수점 첫째 자리까지가 적정하다.
8) Avoid misplaced concreteness and false precision.
 Science and technology indicators are prone to conceptual ambiguity and uncertainty and require strong assumptions that are not universally accepted. The meaning of citation counts, for example, has long been debated. Thus, best practice uses multiple indicators to provide a more robust and pluralistic picture. If uncertainty and error can be quantified, for instance using error bars, this information should accompany published indicator values. If this is not possible, indicator producers should at least avoid false precision. For example, the journal impact factor is published to three decimal places to avoid ties. However, given the conceptual ambiguity and random variability of citation counts, it makes no sense to distinguish between journals on the basis of very small impact factor differences. Avoid false precision: only one decimal is warranted.

9. 평가지표와 평가가 연구환경에 미칠 수 있는 영향을 염두에 두라. 평가지표는 보상체계를 통해 연구환경에 영향을 미칠 수 있으므로 예상 가능해야 한다. 따라서 어떤 경우라도 여러 개의 평가지표를 사용하는 것이 바람직하다. 단일 지표를 성과평가에 사용하게 되면 연구환경이 혼탁해지거나 평가지표 값을 높게 받는 것 자체가 연구의 목적이 되는 상황을 초래할 수 있다(즉, 평가지표 자체가 연구 목표가 되어 버리는 것이다). 한 예로 1990년대 호주 정부는 연구 기관에서 발표한 논문의 수에 크게 의존한 평가지표를 사용하여 대학의 연구비 지원을 결정하였다. 호주 대학들은 논문의 ‘가치’를 이 논문이 실린 학술지에 근거하여 연구비로 환산하여 계산할 수 있었다. 예를 들어, 2000년을 기준으로 한 논문의 연구비 가치가 호주달러로 800불(미국화폐로 약 480불)인 것으로 나타났다. 예상대로 호주 연구자가 발표한 논문의 수는 증가하였다. 하지만 그 논문들은 인용이 많이 되지 않는 저널에 실렸다. 즉, 논문의 수준은 하락하였다고 볼 수 있다10.
9) Recognize the systemic effects of assessment and indicators.
 Indicators change the system through the incentives they establish. These effects should be anticipated. This means that a suite of indicators is always preferable — a single one will invite gaming and goal displacement (in which the measurement becomes the goal). For example, in the 1990s, Australia funded university research using a formula based largely on the number of papers published by an institute. Universities could calculate the 'value' of a paper in a refereed journal; in 2000, it was Aus$800 (around US$480 in 2000) in research funding. Predictably, the number of papers published by Australian researchers went up, but they were in less-cited journals, suggesting that article quality fell10.

10. 정기적으로 평가지표를 철저히 검토하고 개정하라. 연구목표와 평가의 목적은 변화하고, 연구 시스템은 그와 함께 진화한다. 한때 유용했던 평가지표들이 부적절해질 수 있으며, 새로운 지표들도 등장한다. 연구성과 평가지표 시스템을 검토해야 하고 필요한 경우 개정해야 한다. 앞서 언급한 지나치게 단순화된 연구성과 평가 방식이 연구체계에 미친 영향을 알게 된 호주는 2010년에 연구 품질을 강조하는 다원화된 Excellence in Research for Australia 이니셔티브를 도입하였다.
10) Scrutinize indicators regularly and update them.
 Research missions and the goals of assessment shift and the research system itself co-evolves. Once-useful metrics become inadequate; new ones emerge. Indicator systems have to be reviewed and perhaps modified. Realizing the effects of its simplistic formula, Australia in 2010 introduced its more complex Excellence in Research for Australia initiative, which emphasizes quality.

향후 전망
Next steps

위의 열 가지 원칙 준수를 통해 연구성과평가는 과학의 발전과 과학과 사회간의 상호작용에 있어서 중요한 역할을 수행할 수 있을 것이다. 연구성과평가지표는 개인의 전문지식으로는 수집하거나 이해하기 어려운 중요한 정보를 제공할 수 있다. 그러나 평가지표가 제공하는 정량적 정보가 연구성과평가 도구에서 연구의 목적으로 바뀌어서는 안 된다.
Abiding by these ten principles, research evaluation can play an important part in the development of science and its interactions with society. Research metrics can provide crucial information that would be difficult to gather or understand by means of individual expertise. But this quantitative information must not be allowed to morph from an instrument into the goal.

견고한 통계 기법과 함께 평가 대상이 되는 연구의 목적과 본질을 신중하게 고려하였을 때 최선의 연구성과평가가 가능하다. 평가를 위해서는 정량적인 근거와 정성적인 근거 모두 필요하며, 이 둘은 각각의 방식으로 객관성을 지닌다. 학문에 관한 의사결정은 양질의 데이터를 바탕으로 한 양질의 평가 과정에 기초하여야 한다.
The best decisions are taken by combining robust statistics with sensitivity to the aim and nature of the research that is evaluated. Both quantitative and qualitative evidence are needed; each is objective in its own way. Decision-making about science must be based on high-quality processes that are informed by the highest quality data.

 

leidenmanifesto_kor.pdf
0.22MB

http://www.leidenmanifesto.org/

http://www.leidenmanifesto.org/translations.html

 


 

 

Nature. 2015 Apr 23;520(7548):429-31. doi: 10.1038/520429a.

 

 

Bibliometrics: The Leiden Manifesto for research metrics

Affiliations collapse

1Georgia Institute of Technology, Atlanta, Georgia, USA.

2Centre for Science and Technology Studies, Leiden University, the Netherlands.

3Spanish National Research Council and the Polytechnic University of Valencia, Spain.

PMID: 25903611

DOI: 10.1038/520429a

 

No abstract available

샌프란시스코 연구 평가 선언

San Francisco Declaration on Research Assessment

 
 

과학자의 연구 성과를 평가하는 방식이 개선되어야 한다는 요구가 날로 커지고 있다. 이를 논의 하기 위하여 2012년 12월 16일, 캘리포니아주 샌프란시스코에서 열린 미국세포생물학회(American Society for Cell Biology) 연례 회의에 몇몇 학술지 편집자들과 출판인들이 모였다. 이들이 만든 제안서를 ‘연구 평가에 관한 샌프란시스코 선언(San Francisco Declaration on Research Assessment)’이라 부른다. 영문 약어로 DORA인 이 선언을 우리는 ‘새로운 연구 평가 선언’이라 부르고자 한다. 우리는 모든 과학 분야의 이해관계자들이 이 선언에 그들의 이름을 올려 함께 지지해 주길 바란다.

과학 연구의 성과물은 매우 방대하고 다양하다. 이 성과는 새로운 내용 (지식, 데이터, 시료, 소프트웨어)을 담은 학술 논문, 지적 재산권, 그리고 고도로 숙련된 젊은 과학자들을 양성하는 것을 포함한다. 연구 성과의 질과 영향력은 연구비를 지원하는 기관들이나 과학자를 고용하는 연구소들, 그리고 과학자들 간에서도 끊임없이 평가된다. 따라서 이러한 평가 방법은 정확하면서도 현명하게 이루어 져야 한다.

연구 성과를 평가할 때 가장 많이 사용하는 주요 지표는 학술지 인용지수(Journal Impact Factor; JIF; 임팩트 팩터)다. 톰슨 로이터(Thomson Reuters) 사가 만든 이 지표는 본래 도서관 사서들이 도서관에 비치할 학술지를 구매하는데 참고하도록 만들어진 것으로, 어떤 연구 논문의 과학적 질을 평가하기 위한 것은 아니었다. 그러므로 연구 성과를 평가하는 도구로 현재 흔히 쓰이는 이 학술지 인용지수에는 몇 가지 결함이 있다는 점을 꼭 이해해야 한다. 그 한계는 다음과 같다.

  • A) 학술지 내의 개별 논문의 인용 분포가 극단적으로 왜곡되어 있다[1-3];
  • B) 학술지 인용지수의 특성이 각 분야마다 다르다. 게다가 인용지수는 학술논문과 종설논문 등 여러 종류의 글을 복합적으로 아우른 결과이다[1,4];
  • C) 학술지 인용지수는 편집 방침에 따라 조작될 수 있다[5];
  • D) 학술지 인용지수를 계산하는 데 사용되는 자료의 공개가 투명하지 않고, 대중이 쉽게 구할 수 없다[4,6,7].

따라서 연구 성과의 질을 평가하는 방식을 개선할 것을 다음과 같이 제안한다. 우리는 앞으로 연구 성과를 입증하는 데 연구 논문만이 아닌 다른 성과들의 비중 역시 커지길 바란다. 여전히 동료 평가(peer-reviewed)를 기반으로 하는 학술 논문은 연구 성과를 평가하는 핵심 요소가 될 것이다. 그러므로 우리의 제안은 동료 평가를 기반으로 한 학술 논문을 중심으로 하되, 논문만이 아니라 기초 데이터와 같은 결과물들도 중요한 연구 성과로 포함될 수 있도록 확대하자는 것이다. 이 제안은 연구비 지원 기관, 연구 기관, 학술지, 각종 학술 지표를 제공하는 단체, 그리고 개별 연구자 모두를 대상으로 한다. 

본 제안에는 다음과 같은 세부 주제가 있다.

  • 연구비 책정, 고용, 승진 등을 심사할 때 학술지 인용지수(IF)와 같이 학술지 지표 사용을 제한할 필요성
  • 연구 평가시 그 연구가 출간된 학술지가 아니라 그 자체의 가치로 평가할 필요성
  • 논문의 온라인 출간을 장려할 필요성 (논문의 글자 수, 그림 수, 참고문헌 수의 불필요한 제한이 사라지고, 연구의 영향력과 중요성을 판단할 새로운 지표를 확인할 기회 등)

우리는 여러 연구비 지원 기관, 연구 기관, 학술지 출판사, 그리고 연구자들이 이미 연구 평가시 개선안을 장려하고 있는 것을 알고 있다. 그런 노력들은 더 정교하고 의미 있는 연구 평가 방식을 위한 첫걸음이자 앞으로 주요 구성원들 모두가 함께 정립할 평가 방식의 기반이 될 것이다.

‘연구 평가에 관한 샌프란시스코 선언’의 서명인들은 연구 평가에서 다음의 지침을 행동으로 옮기는 것을 지지한다.

일반 제언

  1. 학술지 인용지수(JIF)와 같이 학술지 자체의 지표를 과학자 개인의 기여도나 임용, 승진, 연구비 수여 결정을 위해 연구 논문의 품질을 평가하는 대리 지표로 사용하지 않는다.

연구비 지원 기관들은

  1. 연구비를 신청하는 이들에게 과학적 생산성을 평가하는 기준을 명확하게 설명하고, 특히 경력이 짧은 연구자들에게는 학술 논문에 담긴 과학적 내용이 출판 지표나 그 논문이 발표된 학술지의 정체성보다 훨씬 중요하다는 것을 분명히 알린다.
  2. 연구 평가를 위해 학술 논문만이 아니라 기초데이터나 소프트웨어 등 모든 연구 결과물의 영향력과 가치를 고려한다. 나아가 정책 결정이나 실생활에 미치는 영향력처럼 연구 결과가 가져올 영향을 정성적으로 판단할 수 있는 지표들을 두루 고려한다.

연구 기관들은

  1. 경력이 짧은 초기 단계 연구자들에게 출판 지표나 논문이 발표된 학술지의 정체성보다 논문의 과학적 내용이 중요하다고 설명하고, 연구 기관 고용, 테뉴어 결정, 승진 결정 등의 기준을 명확히 밝힌다.
  2. 연구 평가 시 학술 논문만이 아니라 모든 연구 성과물 (데이터셋이나 소프트웨어 등)의 영향력과 가치를 고려한다. 나아가 정책 결정이나 실생활에 미치는 영향 등 연구의 파급력을 정성적으로 판단할 수 있는 지표들을 두루 고려한다.

출판사들은

  1. 학술지 인용지수를 홍보용으로 강조하는 것을 현저히 줄인다. 이상적으로는 인용지수 홍보를 멈추거나 학술지의 성과를 보다 풍부하게 제공할 수 있도록 인용지수를 다른 학술지 기반 지표(5년간 인용지수, Eigen지수, SCImago, h-index, 학술지의 편집 및 출간 기간 등)들과 함께 보여준다.
  2. 개별 논문의 성과를 보여주는 여러 지표들을 제공함으로써 논문이 발표된 학술지 출판 지표보다 개별 논문의 과학적 내용을 바탕으로 평가되도록 변화를 촉진한다.
  3. 책임감 있는 저자권 습관을 촉구하고 저자들의 구체적인 기여도 정보를 제공하게 한다.
  4. 개방형(open-access) 학술지와 구독형(subscription-based) 학술지 모두에 대하여 학술 논문 내 참고문헌 목록에 대한 재사용 제한을 모두 제거하고 이를 크리에이티브 커먼즈 퍼블릭 도메인 기증(Creative Commons Public Domain Dedication) 라이선스로 모두에게 공개한다.
  5. 학술 논문에 쓸 수 있는 참고문헌 개수 제한을 없애거나 줄이고, 가능하다면 해당 사실을 처음으로 보고한 사람들이 인정받을 수 있게 리뷰논문 대신 1차 저작물을 인용하게 한다.

지표를 제공하는 단체들은

  1. 지표를 계산하는 모든 방법과 사용한 자료들을 제공하여 투명성을 유지한다.
  2. 자료를 제공하되 제한 없이 재사용할 수 있게 하고, 가능하면 개인이 자료를 가지고 직접 계산을 할 수 있게 한다.
  3. 평가를 위해 학술지의 여러 지표를 부적절하게 조작하는 것은 절대 허용되지 않음을 명확히 한다. 부적절한 조작이 정확히 무엇인지, 그리고 이에 대응하기 위해 어떤 조치들을 취할 것인지 명백히 한다.
  4. 학술지 지표를 사용하고, 집계하고, 비교할 때에는 글의 종류가 다름을 염두에 두고(종설 논문과 학술논문), 학술 분야마다의 차이도 고려한다.

개별 연구자들은

  1. 연구비 수여, 고용, 테뉴어, 혹은 승진을 결정하는 위원회에 소속되어 있을 때에는 평가의 기준을 출판 지수가 아니라 과학적 내용으로 한다.
  2. 가능한 한 인정을 받아야 할 이가 인정받을 수 있도록, 리뷰보다는 관찰 결과가 처음으로 보고된 1차 저작물을 인용한다.
  3. 자기 소개서 등을 쓸 때는 출간된 논문의 영향력과 다른 연구 성과를 다양한 개별 논문 지수나 지표 등을 이용해 보여준다.
  4. 학술 인용지수에만 부적절하게 의존하는 연구 평가 방식에 이의를 제기하고, 특정 연구 성과의 가치와 영향력에 초점을 두는 최선의 방식을 가르치고 홍보한다.

 

There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties.To address this issue, a group of editors and publishers of scholarly journals met during the Annual Meeting of The American Society for Cell Biology (ASCB) in San Francisco, CA, on December 16, 2012. The group developed a set of recommendations, referred to as the San Francisco Declaration on Research Assessment. We invite interested parties across all scientific disciplines to indicate their support by adding their names to this Declaration.

The outputs from scientific research are many and varied, including: research articles reporting new knowledge, data, reagents, and software; intellectual property; and highly trained young scientists. Funding agencies, institutions that employ scientists, and scientists themselves, all have a desire, and need, to assess the quality and impact of scientific outputs. It is thus imperative that scientific output is measured accurately and evaluated wisely.

The Journal Impact Factor is frequently used as the primary parameter with which to compare the scientific output of individuals and institutions. The Journal Impact Factor, as calculated by Thomson Reuters*, was originally created as a tool to help librarians identify journals to purchase, not as a measure of the scientific quality of research in an article. With that in mind, it is critical to understand that the Journal Impact Factor has a number of well-documented deficiencies as a tool for research assessment. These limitations include:

  • A) citation distributions within journals are highly skewed [1–3];
  • B) the properties of the Journal Impact Factor are field-specific: it is a composite of multiple, highly diverse article types, including primary research papers and reviews [1, 4];
  • C) Journal Impact Factors can be manipulated (or “gamed”) by editorial policy [5]; and
  • D) data used to calculate the Journal Impact Factors are neither transparent nor openly available to the public [4, 6, 7].

Below we make a number of recommendations for improving the way in which the quality of research output is evaluated. Outputs other than research articles will grow in importance in assessing research effectiveness in the future, but the peer-reviewed research paper will remain a central research output that informs research assessment. Our recommendations therefore focus primarily on practices relating to research articles published in peer-reviewed journals but can and should be extended by recognizing additional products, such as datasets, as important research outputs. These recommendations are aimed at funding agencies, academic institutions, journals, organizations that supply metrics, and individual researchers.

A number of themes run through these recommendations:

  • the need to eliminate the use of journal-based metrics, such as Journal Impact Factors, in funding, appointment, and promotion considerations;
  • the need to assess research on its own merits rather than on the basis of the journal in which the research is published; and
  • the need to capitalize on the opportunities provided by online publication (such as relaxing unnecessary limits on the number of words, figures, and references in articles, and exploring new indicators of significance and impact).

We recognize that many funding agencies, institutions, publishers, and researchers are already encouraging improved practices in research assessment. Such steps are beginning to increase the momentum toward more sophisticated and meaningful approaches to research evaluation that can now be built upon and adopted by all of the key constituencies involved.

The signatories of the San Francisco Declaration on Research Assessment support the adoption of the following practices in research assessment.

General Recommendation

1. Do not use journal-based metrics, such as Journal Impact Factors, as a surrogate measure of the quality of individual research articles, to assess an individual scientist’s contributions, or in hiring, promotion, or funding decisions.

For funding agencies

2. Be explicit about the criteria used in evaluating the scientific productivity of grant applicants and clearly highlight, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.

3. For the purposes of research assessment, consider the value and impact of all research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice.

For institutions

4. Be explicit about the criteria used to reach hiring, tenure, and promotion decisions, clearly highlighting, especially for early-stage investigators, that the scientific content of a paper is much more important than publication metrics or the identity of the journal in which it was published.

5. For the purposes of research assessment, consider the value and impact of all
research outputs (including datasets and software) in addition to research publications, and consider a broad range of impact measures including qualitative indicators of research impact, such as influence on policy and practice.

For publishers

6. Greatly reduce emphasis on the journal impact factor as a promotional tool, ideally by ceasing to promote the impact factor or by presenting the metric in the context of a variety of journal-based metrics (e.g., 5-year impact factor, EigenFactor [8], SCImago [9], h-index, editorial and publication times, etc.) that provide a richer view of journal performance.

7. Make available a range of article-level metrics to encourage a shift toward assessment based on the scientific content of an article rather than publication metrics of the journal in which it was published.

8. Encourage responsible authorship practices and the provision of information about the specific contributions of each author.

9. Whether a journal is open-access or subscription-based, remove all reuse limitations on reference lists in research articles and make them available under the Creative Commons Public Domain Dedication [10].

10. Remove or reduce the constraints on the number of references in research articles, and, where appropriate, mandate the citation of primary literature in favor of reviews in order to give credit to the group(s) who first reported a finding.

For organizations that supply metrics

11. Be open and transparent by providing data and methods used to calculate all metrics.

12. Provide the data under a licence that allows unrestricted reuse, and provide computational access to data, where possible.

13. Be clear that inappropriate manipulation of metrics will not be tolerated; be explicit about what constitutes inappropriate manipulation and what measures will be taken to combat this.

14. Account for the variation in article types (e.g., reviews versus research articles), and in different subject areas when metrics are used, aggregated, or compared.

For researchers

15. When involved in committees making decisions about funding, hiring, tenure, or promotion, make assessments based on scientific content rather than publication metrics.

16. Wherever appropriate, cite primary literature in which observations are first reported rather than reviews in order to give credit where credit is due.

17. Use a range of article metrics and indicators on personal/supporting statements, as evidence of the impact of individual published articles and other research outputs [11].

18. Challenge research assessment practices that rely inappropriately on Journal Impact Factors and promote and teach best practice that focuses on the value and influence of specific research outputs.

 

 


출처: https://sfdora.org/read/read-the-declaration-korean/

출처: https://sfdora.org/read/

지나칠 정도로(Adv Health Sci Educ Theory Pract. 2023)
To a fault
Kevin W. Eva1

 

저는 조지 한천입니다. 지금까지 저를 어떻게 생각하시나요? 장인어른이 수없이 기뻐하시며 말씀하셨던 이 대사는 많은 사람이 첫인상에 대해 갖는 매력과 직관을 아름답게 요약합니다. 첫인상은 매우 강력하기 때문에 효과적인 네트워킹에 관한 모든 워크숍과 영업 입문 과정에서는 '첫인상을 남길 기회는 두 번 다시 없다'며 새로운 상호작용에 대한 접근 방식을 세심하게 만드는 것이 얼마나 중요한지 강조합니다. 기초적인 글쓰기 조언도 마찬가지로 '첫머리를 묻지 말라'는 격언처럼 관심을 빠르게 사로잡는 것이 얼마나 중요한지 강조합니다. 두 가지 권장 사항 모두 사람들이 바쁘고 주의력이 덧없다는 사실에 내재된 부인할 수 없는 위험을 올바르게 강조합니다(Eva, 2013). 
I’m George Agar. How do you like me so far? That line, said countless gleeful times by my father-in-law, beautifully sums up the fascination and intuitions many have with first impressions. They are considered so powerful that every workshop on effective networking and every introductory sales course stresses how important it is to finely craft one’s approach to a new interaction: You never get a second chance to make a first impression!’ Foundational writing advice similarly emphasizes how critical it is to capture interest quickly, for instance in the aphorism: Don’t bury the lede!’ Both recommendations rightly highlight the undeniable risk inherent in the facts that people are busy and attention is fleeting (Eva, 2013).

마찬가지로 부인할 수 없는 사실은 첫인상이 영향력을 발휘하기 위해 노력할 필요가 없다는 것입니다. 첫인상은 매우 빠르게 형성되기 때문에 첫인상을 막을 수 없다는 것입니다. 윌리스와 토도로프(2006)의 고전적인 연구에 따르면 얼굴은 일관된 생각으로 인상을 표현하는 것보다 더 빠른 밀리초 이내에 판단된다고 합니다. 의학계에서는 의사들이 새로운 환자를 접한 후 몇 초 안에 가능성을 언급하기 시작할 정도로 빠르게 진단을 내리는 것으로 오랫동안 알려져 왔습니다(Barrows et al., 1982). 
Equally undeniable is that we need not seek to use first impressions for them to be influential; they form so rapidly that early impressions cannot be prevented. Classic work by Willis & Todorov (2006) suggested that faces are judged within milliseconds, faster than one could express their impression with a coherent thought. In medicine, it has long been known that physicians formulate diagnoses so quickly they start naming possibilities within seconds of encountering a new patient (Barrows et al., 1982).

이러한 속도에 따른 편견과 오류의 위험 때문에 의료 전문가 교육에서 첫인상이 의사 결정에 어떤 영향을 미칠 수 있는지 이해하는 것이 필수적입니다. 이러한 이유로 이번 호에 게재된 첫인상과 면접 평가의 관계에 대한 Klusmann, Knorr, Hampe의 연구(2022)와 같은 연구는 환영할 만한 연구인 동시에 더욱 확대되어야 할 필요가 있습니다. 
The risks of bias and error that such speed creates make it essential that we in health professional education understand how first impressions can influence our decision-making. For that reason, work like Klusmann, Knorr and Hampe’s, (2022) exploration of the relationship between first impressions and interview ratings, published in this issue of Advances, is both welcome and in need of further expansion.

다행히도 우리는 더 많은 이해를 쌓을 수 있는 탄탄한 토대를 가지고 있습니다. 결국 개인의 첫인상은 심리학 및 경제학(Kahneman, 2011)과 의료 전문가 교육(Eva, 2005; Norman, 2005)에서 오랫동안 연구되어 온 빠르고 간결한 추론 과정의 한 형태에 불과합니다. 이러한 광범위한 문헌에서와 마찬가지로 첫인상과 관련된 증거는 첫인상이 필연적으로 판단에 해를 끼친다거나 휴리스틱 기반 추론이 오류의 주요 원인이라고 가정하는 데 주의해야 함을 시사합니다. 
Fortunately, we have a solid foundation on which to build greater understanding. First impressions of individuals, after all, are but one form of the fast and frugal reasoning processes that have been studied at length in psychology and economics (Kahneman, 2011) as well as health professional education (Eva, 2005; Norman, 2005). And, just as in those broader literatures, the evidence pertaining to first impressions suggests we must be careful about assuming they inevitably harm judgment or that heuristic-based reasoning is a dominant cause of error.

"얇은 조각"의 정보가 매우 정확한(효율적인 것은 말할 것도 없고) 의사 결정 수단을 제공할 수 있다는 Ambady와 Rosenthal(1992)의 연구 결과를 대중화시킨 것은 아마도 Gladwell의 Blink(2005)가 가장 큰 책임이 있을 것입니다. '블링크'는 아주 적은 정보로(즉, 눈 깜짝할 사이에) 형성된 인상이 신중한 분석에 기반한 의사 결정만큼, 또는 그보다 더 나은 의사 결정을 내릴 수 있음을 보여주는 다양한 연구를 한 단어로 요약한 것입니다. 그러나 비분석적 정신 과정의 힘을 강조하기 위해 책을 쓴 글래드웰조차도 첫인상에 의존할 수 있다는 점을 인정하는데, 특히 초기 반응을 지배하는 단서들이 오해의 소지가 있을 수 있기 때문입니다. 
Gladwell’s Blink (2005) is likely most responsible for popularizing Ambady and Rosenthal’s (1992) findings that “thin slices” of information can provide highly accurate (not to mention efficient) means of decision-making. “Blink” is a one-word summary of an array of research illustrating that impressions formed with very little information (i.e., in the blink of an eye) can be as good as, or better than, decisions based on careful analyses. In writing a book aimed at celebrating the power of non-analytic mental processes, however, even Gladwell admits that we can rely on first impressions to a fault, not least because the cues that dominate our initial reactions can be misleading.

제가 아는 한, '직관적 판단'(즉, 비분석적, 휴리스틱적, 인상에 기반한 판단)이 언제 우리를 잘못된 길로 이끌 가능성이 있는지에 대한 지침을 제공하는 가장 좋은 출처는 Kahneman & Klein(2009)입니다. 이 논문은 휴리스틱의 광범위한 사용이 전문가의 직관이라는 개념을 어떻게 약화시킬 수 있는지에 대한 카네만의 노벨상 수상 연구와 전문성의 놀라운 업적을 보여주는 클라인의 자연주의적 의사 결정에 대한 연구를 조화시키려는 저자들의 노력을 요약한 것입니다. 두 저자의 세계관에는 큰 차이가 있지만, 직관적 판단의 정확성을 높이려면 (1) 환경의 예측 가능성과 (2) 환경의 규칙성을 학습할 기회가 필요하다는 결론은 일치했습니다. 
To my knowledge, Kahneman & Klein (2009) remains the best source of guidance as to when “intuitive judgments” (i.e., those based on non-analytic, heuristic-based, impressions) are likely to lead us astray. That paper summarizes the authors’ effort to reconcile Kahneman’s Nobel winning research on how prevalent use of heuristics can undermine the notion of expert intuition with Klein’s research on naturalistic decision making that reveals astonishing feats of expertise. Despite the appearance of vast differences in their worldviews, the authors aligned in their conclusion that intuitive judgment accuracy requires (a) predictability in the environment and (b) opportunity to learn its regularities.

첫 번째 기준과 관련하여 클루스만, 크노르, 햄페가 연구를 수행한 맥락이 '예측 가능한' 것으로 간주될 수 있는지 여부를 판단하는 것은 첫인상보다 더 어렵습니다. 이들의 다중 미니 인터뷰(MMI)는 '사회적 역량'을 측정하기 위한 것으로, 미래 행동에 대한 완벽한 예측은 고사하고 이러한 자질의 전체 복잡성을 측정할 수 있는 도구는 없다고 확신할 수 있습니다. 사실 맥락은 매우 중요하기 때문에 특정 역량이 단순한 레이블이 암시하는 것처럼 고결한 것이라고 가정해서는 안 됩니다(Grant & Schwartz, 2011). 우리는 지원자가

  • 자신감이 있기를 바라지만, 자신감이 결점(자기애)이 될 수도 있고,
  • 회복탄력성이 있기를 바라지만, 회복탄력성이 결점(경직성)이 될 수도 있고,
  • 친절하기를 바라지만, 친절함이 결점(복종성)이 될 수도 있고,
  • 이타심을 원하지만, 이타심이 결점(자기 부정성)이 될 수도 있습니다. 

With respect to the first criterion, determining whether the context in which Klusmann, Knorr and Hampe did their work can be deemed ‘predictable’ is more difficult than first impressions might suggest. Their Multiple Mini Interview (MMI) was intended to measure “social competence” and we can be quite confident there is no tool that could ever measure the full complexity of such qualities let alone make perfect prediction about future behaviour. Context is so important, in fact, that we should not even assume any given competence to be as virtuous as a simple label might suggest (Grant & Schwartz, 2011).

  • We want candidates to be confident, but one can be confident to a fault (narcissism);
  • we want them to be resilient, but one can be resilient to a fault (rigid);
  • we want kindness, but one can be kind to a fault (obsequious); and,
  • we want altruism, but one can be altruistic to a fault (self-denying).

판단에 기반한 평가 상황에서는 기껏해야 특정 시점에 개인이 바람직한 수준의 미덕을 어느 정도 드러내는지에 대한 평가자의 관점을 측정할 수 있을 뿐입니다. 이러한 상황에서 '예측 가능성'이 유용하기 위해서는 미래에 일어날 모든 일을 예측할 수 있는 능력을 의미할 필요는 없으며, 예측 가능성은 보다 근본적으로 여러 상황 내에서 또는 여러 상황 간에 서로 다른 행동 간에 어떤 상관관계가 존재하는지 이해하는 것을 의미합니다. MMI 스테이션의 초반에 하는 행동(또는 표시)이 나중에 같은 스테이션에서 하는 행동을 의미 있게 예측할 수 있다면, 해당 스테이션에서의 성과는 첫인상으로부터 '예측 가능'하다고 간주해야 합니다. 마찬가지로, MMI 스테이션 모음에서 수집한 비교적 "얇은" 조각에서 나타난 행동이 다른 사람과 얼마나 쉽고 빠르게 친밀감과 신뢰를 쌓을 수 있는지와 관련이 있다면, 이러한 첫인상은 훈련이 완료된 후 바람직한 역량을 발휘할 가능성에 관한 귀중한 (불완전하더라도) 정보원이 될 수 있습니다(Eva 외., 2012).
At best, in any judgment-based assessment situation, we might ably measure raters’ perspectives on the extent to which an individual reveals a desirable level of demonstrable virtues at that given moment in time. To be useful, ‘predictability’ in such situations need not refer to the capacity to anticipate everything that will happen in the future; rather, predictability is more fundamentally about understanding where correlations exist between different behaviours within or across different situations. If what one does (or displays) early in an MMI station meaningfully anticipates what they do later in the same station, their performance in that station should be considered “predictable” from first impressions. Similarly, if the behaviours demonstrated in the still relatively “thin” slices gathered from a collection of MMI stations relate to how easily or quickly one can build rapport and trust with others, those first impressions may serve as a valuable (even if imperfect) source of information regarding the likelihood of exhibiting desirable competencies after training is completed (Eva et al., 2012).

환경 규칙에 대해 학습할 수 있는 역량은 어떨까요? 대부분의 경우 면접 상황에서 평가자는 관찰과 장기적인 결과 사이의 관계에 대한 피드백을 거의 또는 전혀 받지 못합니다. 안타깝게도 인터뷰 환경에서 시간을 들여 "두꺼운" 정보 조각을 만든다고 해서 이 문제가 해결되지는 않습니다. 면접 시간이 길어지면 만나는 지원자의 수가 줄어들어 규칙성에 대해 배울 수 있는 기회가 줄어들 뿐만 아니라, Ambady와 Rosenthal(1992)의 연구에서 입증된 것처럼 면접 시간이 길어지면 새로운 정보를 추가하기보다는 평가자의 자신감을 강화하는 데 더 많은 영향을 미칩니다. 물론 사람들이 첫인상을 조정할 수는 있지만, 주어진 상황에서의 성과는 초기부터 후기까지 충분히 일관된(즉, 예측 가능한) 경향이 있기 때문에 평가자의 조정 능력을 테스트하기 위한 연구에서는 첫인상을 강화하는 후기 순간의 어려움을 극복하기 위해 실험적으로 자극을 조작하는 경향이 있습니다(예: Wood et al., 2018; Eva & Cunnington, 2006).
What though of the capacity to learn about environmental regularities? In most circumstances, raters in interview contexts receive little to no feedback regarding the relationship between their observations and long-term outcomes. Unfortunately, taking the time to create “thicker” slices of information within interview settings will not address that issue. Not only do longer interviews reduce the number of applicants one encounters, thus reducing opportunity to learn about regularities, but as Ambady and Rosenthal’s (1992) work demonstrated, longer interviews do more to reinforce raters’ confidence than they do to add new information to the mix. It is possible, of course, for people to adjust their first impressions, but performance within a given situation tends to be consistent (i.e., predictable) enough from early to late stages that studies aimed at testing raters’ capacity to adjust tend to rely on experimentally manipulating stimuli to overcome the challenge of later moments reinforcing first impressions (e.g., Wood et al., 2018; Eva & Cunnington, 2006).

즉, 상황 간(서로 다른 인터뷰 포함) 성과는 일관성이나 예측 가능성이 거의 없는 경향이 있는데, 이러한 현상을 맥락 특이성이라고 합니다(Eva et al., 1998). 이러한 강력한 현상이 존재한다는 점을 고려할 때, 면접관에게 [관찰과 장기적인 성과 사이의 규칙성]에 대해 가르치려는 노력은 [개인에 대한 관찰 횟수가 적을수록 규칙성을 학습할 가능성이 낮기 때문에] 잘못된 것입니다. 클루스만, 크노르, 햄페는 결과의 가치를 할인할 때 이 점을 인식하고 두-스테이션 OSCE를 사용했습니다. 대신 MMI 프로세스는 한 평가자의 약점은 다른 평가자의 강점을 통해 보정될 수 있고, 그 반대의 경우도 마찬가지이기 때문에 진정한 '예측 가능한' 인상을 수집하기 위해서는 여러 개의 얇은 조각을 함께 겹쳐야 한다는 개념에 기반하고 있습니다. 이 개념은 다양한 방식으로 언급되지만, 질적 연구에서 삼각측량 논리의 핵심이며(Carter et al., 2014), 진단 오류에 대한 스위스 치즈 모델(Reason, 2000), 충분한 정보가 수집될 때까지 프로그램 평가에서 의사 결정을 보류하라는 조언(Schuwirth & van der Vleuten, 2012), 샘플링 전략을 활용하여 유용성을 높이는 기타 평가 방법론(Eva, 2018)의 핵심이기도 합니다. 
That said, performance between situations (including different interviews) tends not to be nearly as consistent or predictable, a phenomenon widely known as context specificity (Eva et al., 1998). Given the existence of that robust phenomenon, efforts to teach interviewers about regularities between their observations and longer-term performance would be misplaced because the fewer the observations one has made about an individual the less likely it is that regularities exist to be learned. Klusmann, Knorr and Hampe recognize this when they discount the value of their outcome – a two-station OSCE. MMI processes, instead, are built upon the notion that layering many thin slices together is necessary to gather truly ‘predictive’ impressions because weaknesses in one rater’s impressions can be corrected through strengths in the impressions of others (and vice versa). While spoken about in many different ways, this concept is the essence of triangulation logic in qualitative research (Carter et al., 2014), the Swiss cheese model of diagnostic error (Reason, 2000), the advice to withhold decision-making in programmatic assessment until sufficient information has been gathered (Schuwirth & van der Vleuten, 2012), and any other assessment methodology that draws upon sampling strategies to increase their utility (Eva, 2018).

요약하자면, 첫인상은 결함이 있을 수 있지만, 더 많은 상호작용을 통해 형성된 인상도 결함이 있을 수 있으며, 이는 우리가 첫인상을 보완하지 않는다면 주로 첫인상을 지나칠 정도로 신뢰한다는 것을 시사합니다. 그러나 가장 가치 있는 보완은 [첫인상을 무시하려는 노력]에서 오는 것이 아니라, 다양한 맥락에서 다양한 사람들이 형성한 많은 인상을 먼저 보려는 노력에서 오는 것일 수 있습니다(Eva, 2018). 결국 판단의 지혜는 판단의 근거가 되는 정보의 포괄성보다는 수집된 인상의 수, 독립성, 그리고 그 인상이 나온 사람들의 다양성에 따라 성장합니다(Surowiecki, 2004).

In sum, first impressions can be flawed, but so can impressions formed from more extended interactions, which suggests that we trust our early intuitions to a fault primarily when we fail to supplement them. The most valuable supplementation, however, may not come from effort to discount one’s first impression so much as it comes from effort to look across many impressions, first or otherwise, formed by a variety of people in a variety of contexts (Eva, 2018). Wisdom of judgment, after all, grows with the number of impressions collected, their independence, and the diversity of people from whom they came, rather than from the comprehensiveness of information on which judgments are based (Surowiecki, 2004).


 

 

Adv Health Sci Educ Theory Pract. 2023 May;28(2):537-540. doi: 10.1007/s10459-022-10181-z. Epub 2022 Nov 30.

 

 

To a fault

Affiliations collapse

1Centre for Health Education Scholarship, University of British Columbia, Vancouver, Canada. kevin.eva@ubc.ca.

PMID: 36449112

DOI: 10.1007/s10459-022-10181-z

Abstract

Are first impressions misleading? This commentary explores that question by drawing on the more general cognitive psychology literature aimed at understanding when, why, and how any non-analytic reasoning process can help or hurt decision-making.

보건전문직교육에서 '알아채기': 관심을 줄 시간? (Med Educ, 2022)
‘Noticing’ in health professions education: Time to pay attention?
Tim Clement | Joanne Bolton | Leonie Griffiths | Carolyn Cracknell | Elizabeth Molloy

 

 

모든 실천의 핵심은 눈에 띄는 것입니다.
At the heart of all practice lies noticing.

John Mason

1 소개
1 INTRODUCTION

"무엇을 알아차렸습니까?"라는 질문은 일반실무 임상교육자들이 직장에서 가르치는 동료의 비디오 발췌본을 시청한 후 던진 질문입니다.1 우리는 각 답변을 '알아차림'이라고 불렀는데, 이는 교사 교육 문헌에서 차용한 용어입니다2 그리고 다듬어지지 않은 '알아차림'은 그들의 답변을 총체적으로 지칭하기 위해 불렀습니다. 거의 같은 시기에 루니와 바우드3는 학생 간호사들이 시뮬레이션 활동의 특정 측면을 '주목'하도록 유도하는 방법을 설명하고 '주목의 교육학'을 개발하기 위한 근거를 설명했습니다. 
‘What did you notice?’, a question we asked of general practice clinical educators after they had watched video excerpts of their colleagues teaching in the workplace.1 We called each answer a ‘noticing’—a term that we had borrowed from the teacher education literature2—and the unpolished ‘noticings’ to refer to their answers in the aggregate. At about the same time Rooney and Boud3 described how student nurses were prompted to ‘notice’ particular aspects of a simulation activity and outlined a rationale for the development of a ‘pedagogy of noticing’.

그렇다면 '주목하다'는 것은 무엇을 의미할까요? 이 단계에서는 '인식하다'라는 사전적 정의로 충분합니다.4 우리는 보고, 듣고, 만지고, 맛보고, 냄새 맡는 등 외부 감각을 통해 사물을 인식하거나 생각과 감정 등 내부 감각을 통해 내면에서 일어나는 일을 인식하게 됩니다. 하지만 우리는 쏟아지는 감각 정보 중 일부만 인식할 수 있습니다. 우리가 효과적으로 기능하기 위해서는 '넘쳐나고 윙윙거리는 감각 데이터의 혼란'(5페이지)5을 걸러내야 합니다. 이러한 필터링은 '관련성 있는' 정보를 전면에 내세우고 '관련성 없는' 정보를 배경으로 밀어내어 우리가 알아차리는 것을 조절합니다.6 
But what does it mean ‘to notice’? At this stage, a dictionary definition—‘to become aware of’—will suffice.4 We become aware of things that we have seen, heard, touched, tasted or smelled (i.e. through our external senses) or become aware of what is happening within ourselves (i.e. through our internal senses), such as thoughts and feelings. Yet we only become aware of a proportion of the sensory information that we are bombarded with. We must filter the ‘blooming, buzzing confusion of sensory data’ (p. 5)5 in order to function effectively. This filtering regulates what we notice, foregrounding ‘relevant’ information and pushing ‘irrelevant’ information into the background.6

이 논문에서는 수학 및 과학 교육에서 '주목하기'가 어떻게 연구되고 적용되었는지 살펴보고, 보건 전문직 교육에서 이와 유사한 초점을 맞추는 것이 어떤 이점을 가져다줄 수 있는지에 대해 논의합니다. 우리는 보건 전문직(및 보건 전문가)의 학습자가 직업적 삶과 개인적 삶 모두에서 '사물'을 더 민감하게 알아차릴 수 있도록 '알아차리기'에 대해 가르칠 수 있는 사례를 제시합니다. 
In this paper, we examine how ‘noticing’ has been investigated and applied in mathematics and science education and deliberate on the benefits of a similar focus in health professions education. We make the case for teaching learners in the health professions (and health professionals) about noticing, so that they are more sensitised to notice ‘things’ in both their professional and personal lives.

보건 전문직 교육에서의 주목하기
Noticing in health professions education

교사 교육, 특히 수학 교육과 관련하여 '알아차리기'에 대한 상당한 문헌이 있지만 신경학,7 간호학,8 사회복지학9 및 대체의학에서 옹호되고 있음에도 불구하고 보건 전문직 교육에서는 이와 같은 관심을 얻지 못했습니다.10
Although there is a significant literature on ‘noticing’ in teacher education, particularly in relation to teaching mathematics, it has not garnered the same interest in health professions education despite advocacy in neurology,7 nursing,8 social work9 and alternative medicine.10

이러한 관심 부족의 한 가지 이유는 주목하는 것은 모든 사람이 일상생활을 하면서 하는 일이기 때문에,11 사람들이 거의 관심을 기울이지 않기 때문일 수 있습니다. 아인슈타인이 "물고기가 평생 헤엄치는 물에 대해 무엇을 알 수 있겠는가?"라고 말했듯이.12
두 번째 이유는 '관찰하다'와 같은 알아채기notice의 동의어가 임상 의사 결정, 임상 탐구, 임상 판단, 임상 관찰 및 임상 추론과 같이 잘 알려진 보건 전문직의 교육에 포함되어 있기 때문일 수 있습니다.13-15 '주목하기'에 새로운 것이 없으며 기존 교육과정에서 적절하게 다루고 있다는 인상을 줄 수 있습니다. 

One reason for this lack of interest could be that as noticing is something that everyone engages in as they go about their daily lives,11 they pay little attention to it. As Einstein noted, ‘What does a fish know about the water in which he swims all his life?’.12 
A second reason could be that synonyms for notice, such as ‘observe’, are embedded in the teaching of more well-known health professions' constructs, such as clinical decision-making, clinical inquiry, clinical judgement, clinical observation and clinical reasoning,13-15 giving the impression that there is nothing new about ‘noticing’ and that it is adequately addressed in extant curricula.

그러나 상반된 주장에 따르면 '알아차리기'에 대한 집중적인 관심이 시의적절할 수 있습니다. 예를 들어, Dossey10는 '눈치채지 못하는 것은 현대 문화에서 느슨한 바이러스'(225쪽)이며, 이는 의료 전문가들에게 사실이라면 환자에게 부정적인 결과를 초래할 것이라고 주장합니다.8 이와 관련하여 Gottlieb14은 '구조 실패'라는 문구는 의료 전문가가 환자의 상태를 악화시키는 '경고 신호'를 알아차리지 못한 결과를 설명하기 위해 의학 용어로 등장했다고 주장합니다. Dossey10는 젊은 의사들이 50년 전의 동시대 의사들보다 신체 검사에 대한 전문성이 떨어진다고 주장하며, Gottlieb14은 환자의 이야기를 듣는 것, 즉 환자가 말하는 것을 알아채는 것 역시 임상적 탐구 도구로서 비슷하게 쇠퇴했다고 말합니다. 이러한 단점에 대한 책임의 일부는 의료 전문가가 감각을 사용하여 알아차리는 것을 방해하는 기술과 임상 테스트에 의존하는 데 기인합니다.7 신경과학자인 수잔 그린필드는 디지털 기술의 사용 증가를 주의 집중 시간 단축, 대인 관계 공감 능력 저하, 의사소통 능력 악화와 연관시켰지만, 이러한 주장은 다른 의료 전문가들에 의해 반박되고 있습니다.16 
Yet competing claims suggest that a focused interest in ‘noticing’ might be timely. Dossey,10 for example, claims that ‘Not noticing is a virus that is loose in modern culture’ (p. 225), which, if true of the health professions, will have adverse outcomes for patients.8 Relatedly, Gottlieb14 argues that the phrase ‘failure to rescue’ appeared as a medical term to describe the consequences of health professionals failing to notice the ‘warning signs’ that lead to patients' conditions deteriorating. Dossey10 further claims that young doctors are less expert in performing physical examinations than their contemporaries of 50 years ago, and Gottlieb14 states that listening to patients' stories, that is, noticing what they say, has similarly declined as a clinical inquiry tool. Part of the blame for these shortcomings is attributed to the reliance on technology and clinical tests, which deters health professionals from using their senses to notice.7 The neuroscientist Susan Greenfield has linked the increased use of digital technologies to shorter attention spans, declining interpersonal empathy and worsening communication skills, although these claims have been disputed by other medical experts.16

정보 수집과 문제 해결을 위해 디지털 기술에 대한 의존도가 높아짐에 따라, 지난 10년 동안 특히 의료 분야에서 위임가능전문 활동의 확산을 통해 보건 전문직 학습자가 감독 없이 할 수 있는 일에 대한 관심이 높아졌습니다.17

  • 학습자가 감독 없이 의료행위를 맡겨서 수행에 대한 직접적인 관찰을 덜 받는다면, 학습자와 감독자 간에 실습에서 발견한 것에 대한 대화가 줄어들 수 있습니다.18
  • 이와 관련하여 연구자들은 자율성을 중시하는 의료 서비스 문화19 와 의료 서비스 제공자에게 효율성을 높여 서비스를 제공해야 한다는 압박(예: 교육 시간 단축 및 보건 전문직 교육 비용 절감 요구20)이 동시에 존재하는 곳에서는 '주목'에 대한 관찰 및 관찰 후 토론 기회가 드물다고 보고합니다.18, 21

코칭, 평가적 판단, 피드백, 반성적 실천 영역의 저자들은 학습자와 수퍼바이저가 '좋은 것'이 무엇이며 이 표준으로 나아가는 방법을 더 잘 이해하기 위한 방법으로 실천에 대한 '주목'을 공유하는 시간을 가질 것을 옹호합니다.22 크리스토스23 가 주장하듯이, 경험은 학습의 토대가 될 수 있지만, '경험을 지식으로 전환하기 위해 포착, 조사, 분석, 고려 및 부정해야 하기 때문에'(161쪽) 학습이 일어나는 것을 보장하지는 않습니다.
Along with this increased reliance on digital technologies to help collect information and solve problems, a focus on what learners in the health professions can do without supervision has received heightened attention over the last decade—particularly in medicine—through the spread of Entrustable Professional Activities.17 If learners receive less direct observation of performance, because they have been entrusted to practice unsupervised, then there may be fewer conversations between learners and supervisors about what they noticed in practice.18 Researchers relatedly report that in health service cultures that value autonomy,19 and where there are concurrent pressures on health providers to deliver services with increasing efficiency (e.g. calls for both shorter training time and reductions in the cost of health professions education20), that opportunities for observation and post-observation discussion of ‘noticings’ are scarce.18, 21 Authors in the domains of coaching, evaluative judgement, feedback and reflective practice advocate for learners and supervisors to have dedicated time to share their ‘noticings’ about practice as a way to better understand what ‘good’ looks like and how to migrate towards this standard.22 As Christos23 argues, experience may be the bedrock of learning, but it does not guarantee that learning will take place, as ‘experience has to be arrested, examined, analysed, considered and negated to shift it to knowledge’ (p. 161).

주목하기는 보건 전문직 교육에서 잠재적으로 유용한 구성요소라고 주장할 때, 우리는 그것이 완전히 새롭거나 이전의 아이디어와 무관하다고 주장하는 것이 아닙니다.5 보건 전문직은 항상 사물을 주목하도록 배워왔으며,2 '주목하기'가 관찰에서 비롯된다고 자명하게 자리매김한다면, 보건 전문직은 전통적으로 앞서 언급한 임상 능력의 전제조건으로 관찰 기술의 교육을 강조해왔습니다. 심리학 문헌에서 주목하기는 의식 이론과 기억 모델24에 등장하며, 바우드와 워커25는 직장에서 사람들이 어떻게 학습하는지에 대한 설명에 '주목하기'를 포함시켰습니다. 그러나 과거에는 개인적 탐구의 한 형태로서 주목하기의 발전보다는 주목해야 할 '사물'(예: 사물, 사건 및 세부 사항) 또는 학습해야 할 관련 지식에 중점을 두는 경향이 있었습니다. 
In making the case that noticing is a potentially useful construct in health professions education, we are not claiming it as entirely novel, nor unrelated to previous ideas.5 Health professionals have always been taught to notice things,2 and if we self-evidently position ‘noticing’ as arising from observation, then the health professions have traditionally emphasised the teaching of observational skills as a prerequisite for the aforementioned clinical abilities. Within the psychological literature, noticing appears in theories of consciousness and models of memory24; and Boud and Walker25 incorporated ‘noticing’ in their explication of how people learn in the workplace. However, past emphasis has tended to be on the ‘thing’ to be noticed (e.g. an object, incident and detail) or the related knowledge to be learned, rather than the development of noticing as a form of personal inquiry.

논문 개요
An outline of the paper

알아차림을 탐구하는 것이 왜 유용한지에 대한 사례를 제시한 후, 기초적인 '교사 알아차림' 문헌에서 논의를 계속하고 알아차림 어휘에 질서를 부여하여 알아차림, 감각화, 반응의 과정과 세 가지 유형의 알아차림을 구분합니다: 일반적, 전문적, 의도적(표 1). 다음으로, 보건 전문직 교육에서 학생들이 복잡한 상황을 특정한 방식으로 바라볼 수 있도록 지각의 틀을 개발하도록 사회화하는 방법을 간략하게 설명합니다. 우리는 이를 '보는 방식'전문적 주목하기라고 부르며 다른 개념과의 유사성에 주목합니다. 우리는 '교사 주목하기' 연구에서 이전 가능한 통찰력을 도출하는 것은 이질성 때문에 문제가 있다고 제안합니다. 우리는 보건 전문직 교육자가 학생들에게 특정한 것을 알아차리도록 가르치기 위해 사용하는 두 가지 광범위한 교수 전략, 즉 '지시적 알아차리기'와 '개방적 알아차리기'를 설명합니다. 우리는 의도적 주목하기의 핵심 과정인 표시하기, 기록하기, 감각화하기, 반응하기의 개요를 설명하고, 의도적 주목하기의 관행에 대해 배우는 것이 보건 전문직 학생들에게 도움이 될 것이며, 이는 학생들이 커리어 전반에 걸쳐 활용할 수 있을 것이라고 제안합니다. 현존하는 증거 기반이 없는 상황에서 의도적 주목하기의 실천을 가르치는 방법을 고려하고, 보건 전문직 학생을 대상으로 시범 운영 중인 모듈에 대해 설명하며, 보건 전문직이 얻을 수 있는 이점에 대해 추측해봅니다. 마지막으로, 보건 전문직 교육에 종사하는 동료들에게 이러한 아이디어의 유용성에 대해 함께 고민하고 토론해 보도록 초대합니다. 

Having made the case for why it might be useful to explore noticing, we continue our discussion in the foundational ‘teacher noticing’ literature and bring some order to the noticing lexicon, differentiating between the processes of noticing, sensemaking and responding and three types of noticing: Ordinary, Professional and Intentional (Table 1). Next, we outline how health professions education socialises students to develop perceptual frameworks so that they view complex situations in particular ways. We call this ‘way of seeingProfessional Noticing and note its similarity to other concepts. We suggest that drawing-out transferable insights from the ‘teacher noticing’ studies are problematic because of their heterogeneity. We describe two broad teaching strategies that health professions' educators employ to teach students to notice particular things: ‘directed’ and ‘open noticing’. We outline the core processes of Intentional Noticingmarking, recording, sensemaking and responding—and suggest that learning about the practices of Intentional Noticing would be of value to health professions students, which they will be able to draw on throughout their careers. In the absence of an extant evidence base, we consider how one might teach the practices of Intentional Noticing, describe a module we are piloting with health professions students and speculate about the benefits for the health professions. Finally, we invite our colleagues in health professions education to contemplate and debate the utility of these ideas.

2 주목하기의 핵심 개념과 과정
2 NOTICING—KEY CONCEPTS AND PROCESSES

'교사 주목하기' 연구는 교육 개혁의 맥락에서 시작되었으며, 이는 교사가 아동이 제기하는 아이디어에 집중하고 그에 따라 교육을 조정하는 특정 수학 교육 방식을 장려했습니다. 아동의 수학적 사고에 집중하는 것은 직관적인 연습이 아니며 교육 경험만으로는 성장할 수 없기 때문에 이러한 연구에서는 교사들이 아동의 수학적 사고에 주목하도록 유도함으로써 필요한 주목(및 감각화) 능력을 습득할 수 있는 전문성 개발 활동을 시도했습니다.2, 28
The ‘teacher noticing’ studies took off in the context of educational reform, which promoted a particular way of teaching mathematics, whereby teachers focus on ideas that children raise and subsequently adapt instruction. As focusing on children's mathematical thinking is not an intuitive practice, nor one that will grow from teaching experience alone, these studies trialled professional development activities to enable teachers to acquire the requisite noticing (and sensemaking) abilities by directing teachers to notice children's mathematical thinking.2, 28

예비 교사의 노티싱29 과 과학교육에서의 '교사 노티싱'27 에 대한 최근의 검토에 따르면, 이러한 초기 연구 이후 학계에서는 노티싱에 대한 일관되지 않은 개념화를 채택하고 서로 다른 이론적 관점으로 작업을 뒷받침해 왔으며, 이러한 과정은 어떤 용어든 주목을 받으면 가속화되는 프로세스이다. 표 2에는 '교사 노티싱' 연구에 사용된 주요 이론적 관점이 나와 있습니다.30
Recent reviews of prospective teachers' noticing29 and ‘teacher noticing’ in science education27 have underscored that, since these early studies, academics have employed inconsistent conceptualisations of noticing and underpinned their work with different theoretical perspectives: a process that accelerated once the term gained traction. Table 2 lists the main theoretical perspectives that have been employed in ‘teacher noticing’ studies.30

이러한 차이에도 불구하고, 수학자이자 수학교사 교육자인 존 메이슨26이 쓴 '주목하기의 훈련'31이라는 부제가 붙은 책과 수학 및 과학교육의 맥락에서 '주목하기 학습'2,32 및 전문적 주목하기28의 개념이 중요한 출판물 중 하나라는 데에는 동의하는 것 같습니다.
Despite these differences, there seems to be agreement that the book written by John Mason26 (a mathematician and educator of mathematics teachers31), subtitled ‘The discipline of noticing’, and the concepts of ‘Learning to Notice’2, 32 and Professional Noticing28—both in the context of mathematics and science education—are amongst the seminal publications.

그림 1은 '주목하기 문헌'을 특징짓는 '개념의 숲'에서 초기 클리어링을 시도한 것으로, 핵심 개념과 프로세스의 틀을 보여줍니다.
Figure 1 is our attempt to create an initial clearing in the ‘conceptual forest’ that characterises the ‘noticing literature’, which illustrates our framing of key concepts and processes.


앞서 언급했듯이 '주목하기'는 자연스러운 행위이며, 일상적인 용어로 '일상적 주목하기',28 '자연적 주목하기'11 및 '일반적 주목하기'라고 다양하게 불리는 사람들이 일상생활을 하면서 관찰하는 것을 말합니다.26 '일반적 주목하기'라는 용어를 사용하면 전문적인 전문성을 구성하는 '전문적 주목하기'와 구별할 수 있습니다.5 
As we mentioned earlier, ‘noticing’ is a natural act, and in day-to-day usage refers to the observations that people make as they go about their lives, variously referred to as ‘everyday noticing’,28 ‘natural noticing’11 and ‘ordinary noticing’.26 Using the term ‘ordinary noticing’ allows us to make a distinction from the ‘specialised’ or Professional Noticing that is a component of professional expertise.5

우리는 타이핑할 때 키가 딸깍거리는 소리나 환자의 바지 색깔과 같이 끊임없이 쏟아지는 감각 정보를 필터링해야 하기 때문에 어떤 요소에 주의를 집중하고 어떤 요소는 무시하며 어떤 요소는 완전히 놓치기도 합니다(즉, 우리가 알아차리는 것과 그렇지 않은 것이 존재합니다26). 이러한 정보를 필터링하는 방법은 개인의 가정, 교육, 과거 경험, 사건에 부여된 의미나 중요성 등 다양한 요소의 영향을 받습니다.14
As we have to filter the constant stream of sensory information, such as the click of the keys as we type, or the colour of a patient's trousers, we focus our attention on some elements, tune-out others and miss some completely (i.e. there are things that we notice and those that we do not26). How we filter this information is influenced by a range of factors, such as a person's assumptions, education, past experience and the meaning or significance attached to an event.14

사람들은 현상을 알아차려야만 현상을 이해할 수 있으며, 이를 통해 대응 여부와 방법을 결정할 수 있습니다.6 알아차림, 감각화, 대응의 과정은 종종 하나의 통합된 움직임으로 동시에 일어나는 것처럼 보이며,28 이러한 과정은 신속하고 상대적으로 무의식적인 전문성을 특징으로 하는 건전한 '순간적' 의사 결정을 뒷받침합니다.33 그러나 이러한 전문가 행동은 일반적으로 느리고 힘들게 시작하여 연습을 통해서만 흐름과 노력이 자연스럽게 이루어지게 됩니다. 신규 보건 전문직 학생의 눈치 채는 능력은, 특히 요구되는 업무가 까다롭거나 임상 배치 환경이 '잡음이 많은' 경우, 그들이 '하는' 일 중 자동화된 것이 거의 없기 때문에 더욱 저하됩니다.34
Only if people notice phenomena can they make sense of them; and in turn decide whether and how they are going to respond.6 The processes of noticing, sensemaking and responding often appear to happen simultaneously in a single, integrated move,28 and they underpin the sound ‘in-the-moment’ decision-making that characterises professional expertise, which is rapid and relatively unconscious.33 However, such expert behaviour typically starts off as slow and effortful, only becoming flowing and effortless through practice. New health professions students' ability to notice is particularly compromised when the tasks asked of them are demanding, or the clinical placement settings are ‘noisy’, because little of what they ‘do’ is automatic.34

이러한 알아차림, 감각화, 반응의 과정이 밀접하게 연결되어 있기 때문에 앞서 언급한 알아차림에 대한 다양한 개념화가 이루어졌습니다. 

  • 일부 저자는 주목하는 것을 사람들이 주의를 기울이는 것으로만 정의했습니다.35
  • 다른 저자는 주목하는 것을 특정 사건에 주의를 기울이고 이해하는 것으로 간주합니다.36
  • 또 다른 저자는 '감각 만들기'를 '해석'으로만 제한하거나, 대응 방법 또는 대응 행위를 포함하는 결정으로 확장하여 개념화하는 방식에 차이가 있습니다.5

As these processes of noticing, sensemaking and responding are closely linked, it has led to the aforementioned differing conceptualisations of noticing.

  • Some authors have defined noticing exclusively as that to which people attend to.35 
  • Others consider noticing to involve attending to particular events and making sense of them.36 
  • Further authors differ on how they conceptualise ‘sensemaking’, either limiting it to ‘interpretation’ or broadening it to include decisions about how to respond or the act of responding.5

이 백서에서는 주목하기, 감각 만들기, 반응하기를 어느 정도 분리하되, 주목하기에서 '가장 큰 비중'을 두는 것이 도움이 된다고 생각합니다. 그러나 그림 1에서 볼 수 있듯이 감각 형성은 보건 전문직 교육에서 중요한 수많은 인지 과정에 그림자를 드리웁니다. 보건 전문직 학생들을 교육하거나 보건 전문직의 실무를 조사할 때, 우리는 그들이 알아차린 것을 어떤 의미로 받아들이는지, 그리고 그러한 감각화가 알아차린 사건에 대응하는 데 어떻게 사용되는지에 관심이 있습니다.29 예를 들어, Sehlbach 등37 은 호흡기 질환 클리닉에서 같은 의사가 불안한 환자 한 명에게는 농담을 사용하여 안심시키고, 대인관계 단서가 다르게 인식되는 다른 환자에게는 유머를 사용하지 않는 방식으로 환자들과의 의사소통을 조정한 것을 보고합니다. 
For our purposes, we think that it is helpful to maintain some separation between noticing, sensemaking and responding, with noticing having the ‘lion's share’ of our attention in this paper. However, as Figure 1 shows, sensemaking casts its shadow over numerous cognitive processes that are important in health professions education. In educating health professions students for professional practice, or investigating health professionals' practice, we are self-evidently interested in what sense they make of what they notice, and how that sensemaking is used to respond to noticed events.29 For example, Sehlbach et al.37 report how the same doctor adjusted his communication with patients in a respiratory disease clinic, using a joke to reassure one anxious patient, but refraining from using humour with another when the interpersonal cues were perceived differently.

3 전문적 노티싱 및 관련 개념
3 PROFESSIONAL NOTICING AND RELATED CONCEPTS

보건 전문직 교육의 핵심은 학생들에게 특정한 것을 알아차리도록 가르치는 것이며, 시간이 지남에 따라 보건 전문직과 고유하게 관련된 방식으로 보고 행동하게 됩니다.27 학생들이 다양한 보건 전문직에 사회화되는 이 과정은 정보를 필터링하는 방법, 따라서 실무자로서 주의해야 할 사항과 정보에 입각한 선택을 하는 방법을 변화시킵니다. 예를 들어, 신생아를 돌볼 때 부모가 아닌 학생 간호사는 생후 2일 된 영아의 대변의 색깔, 농도, 냄새가 어떤지 알기 위해 감각을 다시 훈련해야 합니다.14
At its core, health professions education is concerned with teaching students to notice particular things, which over time results in a way of seeing and behaving that is uniquely relevant to a health profession.27 This process of socialising students to the different health professions changes how they filter information and therefore what they pay attention to as practitioners and how they make informed choices. For example, in caring for a newborn, unless they are already a parent, a student nurse needs to retrain her senses to know what the colour, consistency and odour of a 2-day old infant's faeces is like.14

이러한 시각 방식(전문적 주목)은 다른 학문적 개념과 유사합니다. 예를 들어 굿윈(Goodwin)38은 '전문적 시선'을, 로러(Lawlor)39는 '임상적 시선'이라는 개념을 사용하여 의료 전문가가 세상을 바라보는 특정한 입장을 나타냅니다. 고틀립14은 간호사의 전문적 시선을 설명할 때 이 두 가지를 결합하여 '간호사가 주의를 기울이기로 선택한 대상과 간호사의 에너지, 노력, 행동의 방향을 결정하는 것'(205쪽)이라고 설명합니다. '임상적 시선'은 모든 보건전문직과 짝을 이루어 해당 전문직의 구성원이 상황을 바라보는 특정한 방식을 나타낼 수 있습니다. 신경과 전문의인 리스는 '일을 뒤로하고' 런던 지하철에서 동료 여행객의 생리학을 바라보는 자신의 '신경학적 시선'이 어떻게 작용했는지에 대해 썼습니다.7
This way of seeing—Professional Noticing—is similar to other academic concepts. Goodwin,38 for example, refers to ‘professional vision’, while Lawlor39 uses the notion of ‘clinical gaze’ to signify a health professional's particular stance towards the world. Gottleib14 combines the two in describing nursing's professional gaze, which ‘determines what the nurse selects to attend to and where she then directs her energy, efforts, and actions’ (p. 205). ‘Clinical gaze’ can be paired with any health profession to signify the particular ways in which members of that profession view situations. Lees, a neurologist, writes of his difficulties in ‘leaving work behind’ and how his ‘neurological gaze’ was directed at the physiognomy of fellow travellers on the London Underground, the capital's train network.7

모든 감각으로 알아차리기
Noticing with all our senses

'보는 방식', '전문적 시선', '임상적 시선'이라는 용어는 시각적 이해 방식에 특권을 부여합니다.39 주의 깊게 관찰하는 '관찰'과 같은 용어도 마찬가지로 시각에 특권을 부여하는 경향이 있으며,14 의학 교육자들은 진단 전문성을 향상시키기 위해 '시각적 문해력', 즉 '이미지에서 의미를 찾는 능력'40 (991페이지)을 가르치는 데 많은 투자를 해왔습니다. 예를 들어, 리피 등은 1829년에 그려진 빌헬름 벤츠의 그림인 '슬개골 부위의 부종'을 임상 관찰 능력을 향상시키는 데 어떻게 사용할 수 있는지 설명합니다.41
The terms, ‘way of seeing’, ‘professional vision’ and ‘clinical gaze’, privilege visual modes of understanding.39 A term like ‘observation’—to watch carefully—similarly tends to privilege the visual,14 and medical educators have invested heavily in trying to teach ‘visual literacy’—‘the ability to find meaning in imagery’40 (p. 991)—in order to improve diagnostic expertise. Lippi et al., for example, describe how Wilhelm Bendz's 1829 painting, Svulst i Regio Patellaris (Swelling in the Region of the Patella), can be used to enhance clinical observation abilities.41

일부 의료 전문 분야(예: 방사선학, 병리학, 피부과42)는 시각적 단서에 크게 의존하지만, 시각적 이미지인 이 렌즈를 통해 알아차리는 것을 논의할 때 위험은 다른 네 가지 외부 감각을 사용한 알아차림의 중요성이 소외될 수 있다는 점입니다. 물론 경청은 환자와의 상호작용에서 중요한 능력이지만, 저활동성 장음과 같이 정상 및 비정상적으로 구현된 소리를 듣는 것까지 확장됩니다. 간호사는 환자의 피부를 만져보고 온도질감(예: 뜨겁고 촉촉함)을 느낄 수 있습니다. 환자의 입에서 암모니아 냄새가 나면 만성 신장 질환을 나타낼 수 있습니다. 미각은 당뇨병 진단에 사용되었는데, 17세기 영국의 한 의사는 '꿀이나 설탕이 스며든 것처럼 놀라울 정도로 달콤하다'고 묘사했습니다.43 
Although some health specialties rely heavily on visual cues (e.g. radiology, pathology and dermatology42), a danger in discussing noticing through this lens—another visual image—is that the importance of noticing using the other four external senses is marginalised. Listening is, of course, an important ability in interacting with patients but extends to listening to normal and abnormal embodied sounds, such as hypoactive bowel sounds. A nurse may touch a patient's skin and notice its temperature and texture (e.g. hot and moist). The smell of ammonia on a person's breath may indicate chronic kidney disease. Taste was used to diagnose diabetes, described by a 17th Century English doctor as ‘wonderfully sweet as if it were imbued with honey or sugar’.43

고틀립14은 이러한 외부 감각뿐만 아니라 우리 몸에 무슨 일이 일어나고 있는지, 특히 심장이 뛰고 불안한 느낌과 같은 생각과 감정을 알아차리는 내부 감각에도 주목해야 한다고 말합니다. 일반의의 일화 모음집에는 불안감, 즉 무언가 '옳지 않다'는 느낌을 보고하는 의사들의 사례가 담겨 있습니다. 올란스 등은 '내면의 목소리' 또는 '직감'에 귀를 기울이면 단순한 정보 수집과 연역적 추론으로는 놓칠 수 있는 건강하지 않은 환자(예: 어린이의 심각한 감염)를 식별하는 데 도움이 될 수 있다고 제안합니다.44 엡스타인 등은 의료 전문가가 환자와 상호작용할 때 자신의 (신체적) 감각, 이미지, 느낌, 생각을 확인하는 데 도움이 되는 니모닉 'SIFT'를 제시합니다.45 우리 안에서 일어나는 일에 주목함으로써 외부 세계에서 일어나는 일에 대해 더 잘 이해할 수 있습니다.
As well as these external senses, Gottlieb14 states that health professionals also need to notice internal senses; noticing what is happening to our body, especially noticing our thoughts and feelings (e.g. a racing heart and an uneasy feeling). An edited collection of anecdotes from General Practitioners contains examples of doctors reporting feelings of unease; that something ‘isn't quite right’. Orlans et al. suggest that listening to an ‘inner voice’ or ‘gut feeling’ may help to identify unwell patients (e.g. a serious infection in a child), which simple information gathering and deductive reasoning may miss.44 Epstein et al. offer the mnemonic ‘SIFT’ to help health professionals check their (bodily) Sensations, Images, Feelings and Thoughts when interacting with patients.45 By noticing what is taking place within ourselves, we may better understand what is happening in the external world. 

전문적 알아차리기-주의 사항
Professional Noticing—Caveats

전문적 알아채기에 대한 다양한 용어는 특정 전문직에 대한 이상화된 '존재 방식'을 나타내게 될 수 있으며, 이는 현재 이해되고 있는 '모범 사례'를 상정하여 같은 전문직 구성원 간의 차이를 약화시키고, 보건 전문직 간의 차이를 강조할 수 있습니다. 보건전문직 구성원에게 '고정된 본질'이 있다는 순진한 본질주의에 대한 비난을 피하기 위해, 우리는 특정 보건전문직이 되는 표준이나 보편적인 방법은 없다는 Lawlor39의 주장에 동의합니다. 간호사라고 해서 모두 같은 방식으로 세상을 보는 것은 아니며, 보건전문직 교육이 교육에 참여한 개인의 '존재 방식', 즉 바우드와 워커25가 '경험의 개인적 토대'라고 부르는 것 전체를 재구성하지는 않습니다. 이는 바람직하지도 않습니다. 실제로 우리는 같은 핵심 전문직 내에서도 파편화되어 있음을 인정해야 합니다. 예를 들어, 중환자실 간호사는 수술실의 수술 간호사와는 다른 것을 알아차리도록 훈련받습니다. 또한 서로 다른 의료 전문직 간의 차이점이 강조되는 것에 대응하기 위해서는 이들이 공통된 목표(예: 양질의 의료 서비스)를 공유할 가능성이 높다는 점을 인정해야 합니다.
The different terms for Professional Noticing can come to represent an idealised ‘way of being’ for a particular profession, which envisions ‘best practice’ as it is currently understood and attenuates any differences between members of the same profession and accentuates differences between health professions. In order to head off accusations of naïve essentialism, of suggesting that members of a health profession have a ‘fixed essence’, we agree with Lawlor39 that there is not a standard or universal way of being a particular health professional. Nurses do not all see the world in the same way and health professions education is not going to reshape the entirety of an individual's ‘way of being’ with which they entered their training; what Boud and Walker25 term the ‘personal foundation of experience’. Nor would this be desirable. Indeed, we should acknowledge the fragmentations within the same core profession. An intensive care nurse, for example, is trained to notice different things to a scrub nurse in an operating theatre. And, to counter the accentuation of differences between the different health professions, it should be acknowledged that they are also likely to share some common goals (e.g. quality care).

그러나 이러한 '결함'에도 불구하고 앞서 언급한 개념에는 유용성을 부여하는 '진실'의 핵심이 포함되어 있습니다. 서로 다른 의료 전문직의 구성원들은 서로 다른 지각 체계를 개발할 것이며, 이는 같은 상황에서도 서로 다른 것을 알아차릴 수 있음을 의미합니다. 전문직 간 협력적 진료를 개발하기 위한 이니셔티브는 이러한 다양한 관점의 힘을 활용하고자 합니다.46 
Yet despite these ‘flaws’, the aforementioned concepts contain a kernel of ‘truth’, which gives them utility. Members of the different health professions will develop different perceptual frameworks, which means that they may notice different things in the same situation. Initiatives to develop interprofessional collaborative practice look to harness the power of these diverse perspectives.46

4 전문적 알아차림 개발 - '교사 알아차림' 연구에서 도출한 교훈 도출의 어려움
4 DEVELOPING PROFESSIONAL NOTICING—DIFFICULTIES IN DRAWING LESSONS FROM THE ‘TEACHER NOTICING’ STUDIES

현재, 주로 다른 분야의 '응용 연구'에서 보건 전문직 교육에 대한 핵심적인 실용적 통찰력을 이끌어내는 것은 불가능한 일일 수 있습니다. 20년간의 '교사 눈치 채기' 연구는 앞서 언급한 바와 같이 눈치 채기가 개념화되는 방식이 서로 다른 이질성을 특징으로 합니다. 많은 교육적 개입과 마찬가지로, 노티싱이 연구된 다양한 방식과 개입이 보고된 일관되지 않은 방식 때문에 발표된 연구로부터 확고한 결론을 도출하는 것은 문제가 있습니다.47 이러한 이질성은 아래 등 다양한 요인이 있습니다.

  • 다양한 이론적 관점(예: 인지심리학적, 사회문화적),
  • 연구 대상(예: 예비교사 또는 현직 교사),
  • 개입의 '얼마나' 제공되었는지(예: 교사가 '주목하기' 활동에 소요한 시간, 한 리뷰에서 3시간에서 150시간까지 다양30),
  • 다양한 시간대(예. 예: '단발성' 학습 경험 또는 종단적 학습 경험),
  • 개입의 성격(예: 교사 자신의 수업 맥락 또는 모의 수업 상황의 인공물 사용),
  • 의도한 학습 결과의 차이(예: 주목할 만한 것에 주목하기 및/또는 주목한 것에 대한 추론),
  • 결과 측정 방법(예: 서면 또는 구두 응답) 

물론 '주목의 씨앗'은 생산적이었지만, 그 씨앗이 뿌려진 특정한 '연구 영토'가 다양한 결과물을 낳았고, 이는 '백 송이 꽃을 피우는 것'에 해당하는 연구였습니다. 
At present, highlighting key practical insights for health professions education from what is primarily ‘applied research’ from another field may be an impossible task. The two decades of ‘teacher noticing’ research are characterised by heterogeneity, such as the aforementioned differing ways that noticing has been conceptualised. Like many educational interventions, drawing firm conclusions from the published research is problematic, because of the diverse ways in which noticing has been researched and the inconsistent ways in which interventions have been reported.47 This heterogeneity is marked by

  • different theoretical perspectives (e.g. cognitive psychological and sociocultural),
  • whom has been studied (e.g. pre-service or in-service teachers),
  • ‘how much’ of the intervention has been delivered (e.g. the number of hours teachers spent on ‘noticing’ activities, ranging from three to 150 hours in one review30),
  • differing timespans (e.g. ‘one shot’ learning experiences or longitudinal ones),
  • the nature of the intervention (e.g. using artefacts from teachers own teaching context or simulated teaching situations),
  • differing intended learning outcomes (e.g. attending to what is noteworthy and/or reasoning about what has been noticed),
  • how outcomes are measured (e.g. written or verbal responses), and so on.

Certainly, the ‘noticing seed’ has been productive, but the particular ‘research terroir’ in which it has been sown has resulted in diverse products; a research equivalent of ‘letting a hundred flowers blossom’.

따라서 주목 능력을 개발하는 구체적인 학습 경험에 대해 알아내기 위해 해야 할 일이 있지만, 보건 전문직 교육은 수학 및 과학 교사의 전문성의 중요한 구성 요소로서 주목 능력을 받아들이고 전문성 개발 활동에 예비 및 현직 교사를 참여시키는 것이 주목 능력의 변화와 향상으로 이어진다는 점을 기반으로 구축할 수 있습니다.27, 29, 48, 49
So, although there is work to be done to learn about the specific learning experiences that develop noticing abilities, health professions education can build on the acceptance of noticing as a crucial component of mathematics and science teachers' expertise and that engaging pre-service and in-service teachers in professional development activities leads to changes and improvement in noticing abilities.27, 29, 48, 49

보건 전문직 교육에서의 '지시적' 및 '개방적' 노티싱
‘Directed’ and ‘open noticing’ in health professions education

앞서 언급한 바와 같이, 보건 전문직 교육의 대부분은 흑색종을 암시할 수 있는 피부 병변의 특징과 같은 특정 사항을 학생들이 알아차리도록 지도하는 것과 유사합니다.50 학생들에게 특정 사항을 알아차리도록 지도하는 것은 임상 실습, 섀도잉 및 시뮬레이션과 같은 활동 중에 교육자가 활용하는 '지시적 또는 집중적 주목'이라고 부르는 교수 전략의 한 예입니다.
As previously stated, much of health professions education is similarly concerned with directing students to notice particular things, such as the features of skin lesions that may be suggestive of a melanoma.50 Directing students to notice particular things is an example of a teaching strategy that we refer to as ‘directed or focused noticing’, which is utilised by educators during activities such as, clinical placements, shadowing and simulations.

또 다른 교수 전략은 '개방적 주목하기'로, 앞서 언급한 연구에서 임상 교육자가 일반 진료 동료가 강의하는 비디오 발췌본을 시청한 후 '무엇을 주목했습니까?"라는 질문을 받은 것처럼 학습자가 자신에게 눈에 띄는 '무엇'을 표현하도록 하는 것이 목표입니다.1 이 질문은 '무엇이든 상관없다'는 정신에서 묻는 것이 아니라 질문이 제기된 맥락에 따라 제한됩니다. 이 경우 참가자들은 전문성 개발의 일환으로 자신의 교육 관행에 대해 질문했습니다. 이 접근 방식의 두 가지 장점은 참가자들이 서로 다른 것을 알아차리고, 이를 통해 참가자들이 '소유'하는 풍부한 '의제'를 생성할 수 있다는 것입니다.
Another teaching strategy is ‘open noticing’, where the aim is to get learners to articulate ‘things’ that stand out for them, as in the aforementioned study where clinical educators watched video excerpts of their general practice colleagues teaching and were subsequently asked, ‘What did you notice?’.1 The question is not asked in the spirit of ‘anything goes’ but is bounded by the context in which the question was posed. In this instance, the participants were inquiring into their teaching practices as part of their professional development. Two advantages of this approach are that participants notice different things, which creates a rich ‘agenda’ that is ‘owned’ by the participants.

개인적 질문의 한 형태로서의 주목하기
Towards noticing as a form of personal inquiry

'지시적 주목'과 '개방적 주목'이라는 용어는 새로운 것을 설명하는 것이 아님이 분명합니다. 의학교육자들은 오랫동안 특정 기능에 학습자의 주의를 집중시키는 활동과 규정된 과제를 선택하고24 학생들이 살펴보기를 원하는 특징을 지적하거나, 지나치게 단순화할 위험이 있지만, 학습자 중심의 접근 방식을 사용하여 학생들이 학습 과정과 학습의 초점을 더 잘 제어할 수 있도록 했습니다(예: '무엇이 눈에 띄었나요?' 질문하기). 교수학습 전략을 선택하고 특정 내용을 가르치는 것은 모든 커리큘럼의 핵심 요소입니다.51 그러나 의학교육자들은 [의도한 성과]가 일반적으로 보건 전문직 학생들이 학습자로서 자신을 인식하게 하는 것과는 거의 관련이 없기 때문에, 특정 전략이나 절차를 사용하는 근거를 학생들과 공유하지 않으며, 학생들이 학습하는 방식과 관련된 병행 목표를 포함하지 않습니다. 최근에는 보건 전문가가 방대한 분야의 지식을 습득하고 실무에 필요한 핵심 기술을 배양하기를 기대하는 것 외에도 평가 판단력53 및 피드백 리터러시54와 같은 학습 성향을 졸업 성과로 개발하는 방향으로 전환되고 있습니다. 우리는 의료 전문가가 정규 교육 과정에서 마지막 유형의 주목하기인 의도적 주목하기를 통해 주목 능력을 개발하는 것이 이러한 졸업 성과에 더해져 의료 분야에서 경력을 쌓는 동안 유용하게 사용될 수 있을 것으로 추측합니다. 
The terms ‘directed noticing’ and ‘open noticing’ are self-evidently not describing something new. Medical educators have long selected activities and prescribed tasks that focused learners' attention on particular features24 and pointed out characteristics that they wanted students to look at, or—at the risk of over simplification—used a more learner-centred approach to give students greater control over the learning process and the focus of learning (e.g. by asking, ‘What stood out for you?’). Selecting teaching and learning strategies and ensuring that particular content is taught are core elements of any curriculum.51 However, medical educators do not typically share their rationale for using particular strategies or procedures with students, as the intended outcomes generally have little to do with making health professions students aware of themselves as learners, that is, include parallel objectives related to how students are learning. More recently, there has been a turn towards developing learning dispositions as graduate outcomes,52 such as evaluative judgement53 and feedback literacy,54 in addition to expecting health professionals to learn large bodies of disciplinary knowledge and cultivate key skills for practice. We surmise that developing health professionals' noticing abilities during their formal education, through the last of our types of noticing—Intentional Noticing—could be a valuable addition to these graduate outcomes, which will have utility for the duration of a career in health care.

5 의도적 노티싱
5 INTENTIONAL NOTICING

존 메이슨은 '노티싱의 아버지'로 불렸지만, 아마도르 외29 는 그들의 검토에서 그의 연구를 자신의 연구에 중심적으로 배치한 연구는 거의 없다고 지적했습니다. 우리는 메이슨의 '주목하기'에 대한 보다 광범위한 접근 방식26을 뒷받침하는 관행이 의도적 주목하기[일반적인 능력이자, 전문성 개발을 위한 가치 있는 접근 방식]으로 육성할 수 있는 수단을 제공한다고 주장합니다. 전문성 개발을 강조할 때, 우리는 보건의료 전문가가 공식 교육을 마친 후에도 이러한 관행이 유용할 것이며, 개인이 전 생애에 걸친 경험을 통해 학습하는 과정을 의미하는 '평생 학습'을 강화할 것이라고 제안합니다.55 따라서 의도적 주목하기의 기반이 되는 관행을 사용하여 자신의 '일상적 주목하기'와 보건의료 전문가로서 주목하게 된 것(즉, 전문적 주목하기의 습관) 모두를 개인적인 질문의 대상으로 만들 수 있습니다. 전자의 예로, 파트너와의 타협에 대해 분노를 느낄 수 있으며, 이러한 감정을 알아차리는 데 집중하고 관련 의사 결정에 대해 숙고하게 될 수 있습니다. 그림 2는 의도적 눈치채기의 주요 프로세스를 간략하게 설명하고 잠재적인 결과를 제시합니다.
Although John Mason has been referred to as ‘the father of noticing’, Amador et al.29 noted that few studies in their review positioned his work centrally to their own. It is our contention that the practices that underpin Mason's26 more expansive approach to ‘noticing’ provide a means to foster Intentional Noticing as a generic ability and a worthwhile approach to professional development. In emphasising professional development, we are suggesting that the practices will remain useful once health professionals have completed their formal education and augment ‘lifelong learning’, by which we mean the processes by which individuals learn from experiences across their lifespans.55 Thus, one can use the practices that underpin Intentional Noticing to make both one's ‘ordinary noticing’, and what one has come to notice as a health care professional (i.e. the habits of Professional Noticing), the subject of personal inquiry. As an example of the former, you may feel resentment about the compromises you are making with your partner, which could lead to focusing on noticing these feelings and subsequent deliberation of the related decision-making. Figure 2 outlines the key processes of Intentional Noticing and proposes potential outcomes.

앞서 언급했듯이, 우리는 경험의 대부분을 그냥 지나치기 때문에 더 발전시키기 위해 활용하지 않습니다.26 슈미트는 이것이 근본적으로 우리의 제한된 기억 시스템의 결과이며, 단기 기억으로 처리되지 않은 것은 영원히 손실되고, 단기 기억에 저장된 것도 손실되지 않으려면 장기 기억으로 부호화해야 한다고 말합니다.24 메이슨의 '표시'와 '기록' 관행을 통해 누군가의 말처럼 우리가 중요하다고 생각한 것을 나중에 추가 분석을 위해 접근할 수 있습니다
As we noted earlier, much of our experience passes us by and is therefore not drawn upon for further development.26 Schmidt states that this is fundamentally a consequence of our limited memory system, for anything that is not processed into short-term memory is forever lost, and once in short-term memory, it must be further encoded into long-term memory if it is also not to be lost.24 Mason's practices of ‘marking’ and ‘recording’ allow something that we noticed as significant, for example, something someone said, to be accessed later for further analysis.

'정신적 메모'를 하거나 동료에게 '어머, 그거 흥미로운 말이었어'라고 언급하는 것은 나중에 심의할 때 '데이터'로 활용할 수 있는 가능성을 높입니다.  따라서 댓글을 무심코 지나칠 때보다 더 큰 에너지를 필요로 하기 때문에 더 높은 수준의 주의가 요구됩니다. 사건을 재빨리 조사하지 않으면 발언의 세부 사항을 놓칠 수 있으므로, 메이슨26은 가능한 한 빨리 '짧지만 생생한' 기술 메모를 작성하여, 기록을 통해 사건을 재입력하고, 분석에 활용하며, 향후 행동에 어떤 결과가 초래될 수 있는지 생각할 수 있도록 해야 한다고 주장합니다. (메이슨은 이러한 즉각적인 기록을 기술적으로 유지함으로써 성급한 설명과 이론화를 피할 수 있다고 말합니다.) 사건을 분석하고 이해함으로써 향후 유사한 상황에서 대응할 수 있는 방법을 늘릴 수 있습니다. 단순히 과거를 돌아보며 '이렇게 할 수도 있었어'라고 말하는 것이 아니라, 미래를 내다보며 '다음에 이런 상황이 발생하면 이렇게 해야지'라고 말하거나, 여러 가지 가능한 행동 중에서 '(다음엔) 이렇게 하는 것'의 가능성을 최소한으로라도 떠오르게 하는 것이 중요합니다. 상자 1은 의도적 주목하기 단계의 실행 예시를 보여줍니다.
Making a ‘mental note’, or perhaps remarking to a colleague, ‘Gee, that was an interesting comment’, makes what was said more likely to be available as ‘data’ for subsequent deliberation. As such, it is a heightened form of noticing because it requires greater energy than if we gave the comment only casual attention. Unless we interrogate that incident quickly, we may lose the detail of what was said, and thus, Mason26 advocates making ‘a brief-but-vivid’ descriptive note as soon as possible, so that through the record, we can re-enter the incident, use it for analysis and think about what consequences there might be for our future behaviour. (In keeping these immediate records descriptive, Mason suggests that we can avoid premature explaining and theorising.) It is in analysing the incident, of making sense of it, that we increase the ways that we might respond in similar circumstances in the future. The point is not simply to look back and say ‘I could have done this’, but to look forward, to say, ‘Next time I notice this situation, I'm going to do this’, or minimally have the possibility of ‘doing this’ come to mind amongst a range of possible actions. Box 1 gives an example of the Intentional Noticing stages in action.


박스 1. '무엇을 알아차렸나요?': 실제 '의도적 노티싱'
Box 1. ‘What did you notice?’: ‘Intentional Noticing’ in practice

우리가 몇 번 언급했던 GP 임상 교육자 회의에서 참가자들은 참가자 중 한 명이 GP 수련생과의 상담에 대해 논의하는 비디오 녹화를 보고 있었는데, 그 수련생은 12살 아들과 단둘이 이야기할 수 있도록 어머니에게 상담실에서 나가달라고 요청했습니다. 그는 연수생에게 '어떻게 그렇게 했나요? 무슨 말을 했나요? 어떤 언어를 사용했나요?'라고 물었습니다. 특히 마지막 문장인 "어떤 언어를 사용했나요?"라는 문장은 다른 참가자 중 한 명이 '주목하기'로 선택되었습니다. 그는 이 문구에 '표시'를 하면서 자신에게 익숙하지 않고 유용하다고 생각되는 '잘 표현된 질문'이라며 그룹과 토론할 수 있도록 제안했습니다. 
In a meeting of the GP clinical educators that we have referred to a couple of times, the participants were watching a video-recording of one of the participants discussing a consultation with a GP-trainee, where the trainee had asked a mother to leave the consulting room so that she could talk with her 12-year-old son alone. He asks the trainee, ‘How did you do that? What did you say? What language did you use?’ This utterance, particularly the last sentence, ‘What language did you use?’, was picked-up as a ‘noticing’, by one of the other participants. In ‘marking’ the phrase, he offered it up for discussion with the group as a ‘well-phrased question’ that was unfamiliar to him and he thought useful.

참가자들은 4분 분량의 동영상 발췌본을 받았기 때문에 개별 구성원에게 두드러진 '주목할 만한 점'을 기록할 수 있는 특권을 가졌습니다. 이 발언, 즉 감각 만들기에 대해 논의할 때 그룹은 질문 문구가 연수생의 정확한 말을 이끌어내는 데 도움이 되었고, 다른 문구의 질문으로는 얻을 수 없었을 수도 있는 그녀의 연습에 대한 진솔한 설명을 이끌어냈다고 생각했습니다. 회의 말미에 참가자들에게 앞으로의 강의에 어떤 '배움'을 접목할 것인지, 즉 새로운 미래의 응답을 말하도록 요청했을 때, 이 발언을 눈여겨본 참가자는 질문이 연수생의 정확한 언어를 이끌어낸 방식에 주목하며, '다음번에는 연수생에게 상호작용에서 어떤 언어를 사용했는지 꼭 물어보고 더 잘 이해하도록 해야겠다'는 말을 덧붙였습니다. 

The participants were privileged in this setting, in that they had been given a transcript of the 4-minute video excerpt, so they had a record of any ‘noticings’ that were salient for the individual members. In discussing this utterance—the sensemaking—the group thought the phrasing of the question was instrumental in eliciting the trainee's exact words, and in doing so had drawn out an authentic account of her practice, which might not have been achieved by a differently phrased question. At the end of the meeting, where the participants were asked to state what ‘learnings’ they were going to incorporate into their future teaching—a new future response—the participant who had noticed the utterance flagged the way in which the trainee's precise language had been elicited by the question and added, ‘Next time, I think I'll definitely ask my trainees what language did they use in the interaction to get a better understanding’.


 

'마킹'이 보건 전문가에게 중요한 관행인 이유 중 하나는 그들이 '하는 일'의 대부분이 역동적인 의료 환경에서 이루어지며, 이는 '교사의 주목'에 대한 연구의 초점이었던 지각적으로 '시끄러운' 교실 환경과 유사하기 때문입니다.27 '사건'을 당시 눈에 띄는 것으로 표시하고 이후 기록하지 않으면 손실될 가능성이 높습니다. 또한 보건 전문가는 다르게 행동할 수 있는 가능성을 갖기 위해 스스로 알아차릴 수 있는 '순간적' 상황을 인식하는 능력이 필요한데, 이를 '맥락에서 알아차림'3 또는 '실천에서 알아차림'이라고 표현합니다.34 다른 의도적 알아차림 단계와 마찬가지로 이 능력은 유능한 보건 전문가의 업무를 특징짓는 자동 처리에 약간의 혼란이 필요하므로 신중한 접근 방식이 필요합니다.24 
One reason that ‘marking’ is an important practice for health professionals is that much of what they ‘do’ takes place in dynamic health care environments, which parallel the perceptually ‘noisy’ classroom environments that were the focus of the research into ‘teacher noticing’.27 Unless ‘incidents’ are marked as salient at the time, and subsequently recorded, they are likely to be lost. Health professionals also need the ability to recognise the ‘in-the-moment’ situations that they have primed themselves to notice in order to have the possibility of acting differently, expressed as the ability to ‘notice in context’3 or ‘notice in practice’.34 Like the other Intentional Noticing stages, this ability requires deliberate approaches to practice as it requires some disruption of the automatic processing that characterises the work of competent health professionals.24

6 의도적 주목하기 실습을 가르치기 위한 가능성
6 POSSIBILITIES FOR TEACHING THE PRACTICES OF INTENTIONAL NOTICING

그렇다면 의도적 주목하기의 실천을 어떻게 발전시켜 보건전문직 학생들이 자신의 전문적, 개인적 실천을 탐구하는 '마음의 습관'이 될 수 있도록 할 수 있을까요? 이 질문에 답하는 것은 우리가 그러한 성향을 개발하는 데 좋은 사례를 만들었다고 생각하는 경우에만 필요하다는 점에 유의하십시오. 안타깝게도 의도적 주목의 실천을 가르치는 것은 보건 전문직 교육에서 새로운 시도이며, 수학 및 과학 맥락에서 발견한 결과를 옮길 때 약간의 주의가 필요하기 때문에 즉각적이고 직접적으로 관련된 연구 증거가 존재하지 않습니다. 새로운 아이디어의 효과 여부를 입증하는 데 필요한 증거가 혁신에 비해 뒤처지는 경우가 많습니다. 
So how might we develop the practices of Intentional Noticing so that they become a disposition for health professions students, that is, a ‘habit of mind’ to inquire into one's own professional and personal practices? We note that answering this question is only necessary if you think that we have made a good case for developing such a disposition. Unfortunately, because teaching the practices of Intentional Noticing is novel in health professions education, and some caution is required in transferring the findings from the mathematics and science contexts, there is not an immediate, directly related body of research evidence on which to draw. As is the case, the evidence that one requires to show whether a novel idea is effective (or not) lags behind the innovation.

이 백서의 개념적 작업은 보건 전문직 교육에서 의도적 주목의 실천을 발전시킬 수 있는 교육 형태를 식별하기 위한 전제 조건으로 간주합니다.51 이 개념적 작업은 3개 보건 전문직 학생들과 함께 시범 운영 중인 새로운 모듈을 뒷받침하며, 이 모듈은 학생들이 협력적 실무에 필요한 학문적 지식과 기술, 의도적 주목의 실천을 모두 주목할 수 있는 능력을 개발하도록 설계되었습니다(박스 2).
We see the conceptual work in this paper as a prerequisite for identifying the forms of instruction that might develop the practices of Intentional Noticing in health professions education.51 This conceptual work underpins a new module that we are piloting with students from three health professions, which has been designed to develop students' abilities to notice both the disciplinary knowledge and skills required for collaborative practice, and the practices of Intentional Noticing (Box 2).


상자 2. 성향으로서의 의도적 주목하기: 파일럿 모듈
Box 2. Engendering Intentional Noticing as a disposition: A pilot module

'협업 실습을 위한 노티싱'은 학생들이 협업 실습(주제)에 대해 배우는 파일럿 모듈로, 의도적 노티싱을 병행하여 개발할 수 있는 수단을 제공합니다(또한 주제이기도 합니다). 이 온라인 대화형 모듈은 학습자에게 세 가지 형태의 노티싱을 소개한 다음, 전문가 간 팀 기반 상호작용을 녹화한 동영상을 시청하면서 의도적 노티싱에 참여하도록 요청합니다. 교육 개발자는 학습자가 입력한 반응(또는 '표시')에 대한 답을 제공하지 않았는데, 이는 학습자가 자신의 '노티싱'을 교정할 수 있는 '정답'을 제공하지 않겠다는 약속에 따른 것입니다. 오히려 임상의, 교육자 및 연구자(모듈 개발 팀의 일부)가 비디오 '데이터'에서 이러한 인상을 형성하는 데 있어, 자신이 누구이며 어디에서 왔는지에 대한 설명과 함께 자기자신의 '노티킹'을 예시로 제공했습니다. 이러한 방식으로 의도적 주목하기의 취지에 맞게 학습자가 [주변의 단서를 해석하는 다양한 방법]이 있다는 것을 이해할 수 있기를 바랐습니다. 후속 활동에서 학습자는 실제 의료 현장 환경(임상 배치의 일부)에서 전문가 간 협업 실습을 관찰하고, 관찰한 팀원 중 학생과 다른 전문 분야 출신인 팀원과 함께 자신의 '주목'에 대해 토론합니다. 학생은 이 디브리핑 대화에서 나온 '표시'를 사용하여 관찰 과정과 이를 통해 알게 된 내용에 대한 비판적 설명을 작성합니다.  
‘Noticing for collaborative practice’ is a pilot module where students learn about collaborative practice (the subject), which provides the vehicle for developing Intentional Noticing in parallel (also the subject). The online, interactive module inducts the learner to the three forms of noticing and then asks them to engage in Intentional Noticing through watching a video-recording of an interprofessional team-based interaction. The educational developers have not provided answers in response to learners' entered reactions (or ‘markings’), as the commitment was to not provide the ‘right’ answer by which learners could calibrate their own ‘noticings’. Rather clinicians, educators and researchers (part of the module development team) provided their own ‘noticings’ as examples, with a statement about who they are and where they were coming from in forming these impressions from the video ‘data’. In this way, true to Intentional Noticing, we hoped that learners might come to an understanding that there are multiple ways of interpreting cues around them. In a subsequent activity, learners observe an interprofessional collaborative practice encounter in an authentic health workplace setting (part of their clinical placement) and discuss their ‘noticings’ with a member of the observed team, but who is from a different professional discipline to that of the student. The student uses the ‘markings’ from this debriefing conversation and writes a critical account of the noticing process and what it revealed for them.


탄탄한 증거 기반이 없다면, 논문의 아이디어와 모듈의 개발 및 평가는 해머슬리의56 '헌신적인 실용 연구'라는 개념과 연결될 수 있는데, 여기서 초기 개념 작업은 '주목하기'를 조작화하고 모듈을 개발하는 즉각적인 실용 문제에 직면한 교육자에게 필요했습니다. 이 단계에서 세 가지 유형의 '주목하기'를 구분하는 것은 실용적인 가치를 가졌습니다. 교육적 휴리스틱으로서, 이 정의를 통해 우리는 보건 전문직 학생 및 학생들의 학습 개선에 이해관계가 있는 다른 동료들과 함께 '주목하기'의 유형에 대해 논의하고 조사를 시작할 수 있었습니다.
Without a solid evidence base, the ideas in the paper and the development and evaluation of the module can be linked to Hammersley's56 notion of ‘dedicated practical research’, where the initial conceptual work was needed by the educators who were faced with the immediate practical problem of operationalising ‘noticing’ and developing the module. At this stage' distinguishing between the three types of ‘noticing’ has had practical value. As educational heuristics, the definitions have allowed us to discuss and begin investigating the types of ‘noticing’ with health professions students and other colleagues with a stake in improving students' learning.

현재 우리의 생각은 의도적 주목하기의 실천을 독립된 모듈로 가르칠 것이 아니라 나선형 커리큘럼처럼 교육 프로그램에 통합하여57 전체 프로그램에 걸쳐 성향 형성이 이루어지도록 해야 한다는 것입니다. 파일럿 모듈의 평가는 콘텐츠의 매력, 교수학습 활동, 의도적 고지의 관련성에 대한 인식에 대한 몇 가지 유용한 정보를 제공할 것입니다. 이는 의도적 알림의 유용성에 대한 증거를 제공하기 위한 첫 번째 작은 단계입니다.
Our current thinking is that the practices of Intentional Noticing should not be taught in a stand-alone module but should be woven into an educational programme, as in a spiral curriculum,57 so that building the disposition happens over the entire programme. The evaluation of our pilot module will provide some useful information about the appeal of the content, the teaching and learning activities, as well as the perceived relevance of Intentional Noticing. This is our first small step on the road to providing evidence for the utility of Intentional Noticing.

앞서 임상 배치 환경이 새로운 보건 전문직 학생들에게 '시끄러운' 환경이라는 점을 언급한 점을 고려할 때, 보건 전문직 학생들에게 작업장 밖에서 의도적 노티싱에 대해 가르치는 동시에 이 콘텐츠가 실습 환경에서 일어나는 일과 통합되도록 하는 것이 초기에는 몇 가지 이점이 있다고 생각합니다. 노티싱에 대해 인용된 연구와 노티싱에 대한 교육은 대부분 '실무 환경'의 요구와 무관하게 이루어졌습니다. [임상 실무로부터 도출할 수 있는 능력]은 보건학 전공 학생과 실무 보건 전문가 모두에게 의도적 노티싱의 실천을 발전시키는 데 중요한 활동이 될 것입니다. [실제 결과를 초래하는 행동을 취하지 않고, 좀 더 여유로운 환경에서 알아차린 것을 논의할 수 있는 것]은 실습 환경과 비교하면 인위적인 상황이지만, 무엇을 알아차리고 무엇을 놓쳤는지 탐색하고, 결정적으로 '순간에 알아차리기'를 훈련하기 위해서는 반성할 시간을 갖는 것이 필수적입니다.26 예를 들어, 시뮬레이션 중 학생이 주도적으로 잠시 멈춰서('타임아웃') 시뮬레이션 후 디브리핑에만 의존하지 않고 중요하다고 생각하는 '주목'을 고려하도록 하는 것은 유용한 활동이 될 수 있습니다.58
Given our earlier remarks about clinical placement settings being ‘noisy’ environments for new health professions students, we think that there are some initial advantages in teaching health professions students about Intentional Noticing away from the workplace, while at the same time making sure that the content is integrated with what happens in practice settings. Much of the cited research about noticing, and education about noticing, similarly took place away from the demands of the ‘practice setting’. Being able to draw back from clinical practice is likely to be an important activity for developing the practices of Intentional Noticing for both health professions students and practising health professionals. Although being able to discuss what you noticed in a more leisurely environment and without having to take actions that have real consequences is an artificial situation in comparison with the practice environment, having time to reflect is essential in order to explore what was noticed, what was missed and crucially to train oneself to ‘notice in-the moment’.26 For example, allowing student-initiated pauses during simulations (‘time-outs’) to consider the ‘noticings’ that they consider important, rather than relying solely on post-simulation debriefing, may be a useful activity.58

'오래된 와인' 그 이상: 연구 및 실습 확장
More than ‘old wine’: Extending research and practice

앞서 언급했듯이 이러한 교수 학습 활동은 앞서 언급한 '새 술은 새 부대에 담는다'는 암묵적인 책임과 함께 반성-내면화 및 행동화와 같은 다른 교육 개념을 떠올리게 할 수 있습니다. 메이슨26은 '성찰'이 경험을 통한 학습을 전면에 내세우는 여러 모델에 등장하는 용어일 뿐만 아니라, 잘 수행되는 것보다 더 많이 회자되는 용어라고 주장합니다. 의도적으로 주목하기 위해서는 각 단계마다 추가적인 에너지가 필요하며, 이는 일부 사람들에게 장벽으로 여겨질 수 있습니다. 새로운 교육 및 학습 접근 방식과 함께 언어의 변화는 다른 사람들에게서 육성하기 어려웠던 '성찰적 실천가'의 관행을 발전시키는 데 도움이 될 수 있습니다. 우리의 경험에 따르면 '알아차리기' 어휘는 일상 언어에 쉽게 녹아들고 직관적인 매력을 지니고 있는 것 같습니다
As before, these teaching and learning activities may evoke other educational concepts, such as reflection-in and on-action, with the aforementioned implicit charge of ‘old wine in new bottles’. Mason26 observes that ‘reflection’ is a term that not only appears in a number of models that foreground learning from experience but also claims that it is more talked about than done well. It should be apparent that Intentional Noticing requires resolve, with each stage requiring additional levels of energy, which some people may see as a barrier. A change of language, with new teaching and learning approaches, may help to develop the envisioned practices of the ‘reflective practitioner’, which have been hard to foster in other people. Our experience is that the ‘noticing’ lexicon has slipped easily into our everyday language and seems to have an intuitive appeal.

의도적 주목하기는 의료 전문가가 공식적인 교육을 마친 후 자신의 전문적 관행을 발전시키거나 활성화하는 데 사용할 수 있습니다. 이미 확립된 습관 중 일부는 행동이 일반적인 표준에서 벗어났거나 표준 자체가 변경되어 더 이상 모범 사례에 부합하지 않기 때문에 면밀히 조사하는 것이 도움이 될 수 있습니다. 예를 들어, 보건 전문직 학생들은 환자의 존엄성 침해와 같은 의료 전문가의 비전문적 행동을 목격했다고 보고하는데,59 가해자는 이에 대해 다시 민감하게 반응해야 합니다. 개인적인 질문의 한 형태인 '의도적 주목하기'는 '사회 정의' 문제에 대한 현대의 초점이 강조하고자 하는 일부 의료 관행을 뒷받침하는 해로운 가정에 대한 의문을 제기하는 것으로 이어질 수 있습니다. 예를 들어, 노티싱을 개념화하는 방법의 연장선상에서 루이는 수학 교사의 노티싱을 분석할 때 '공평한 노티싱'이라는 개념을 사용하여 문화와 이데올로기를 전면에 내세웁니다.60 
Intentional Noticing can be used by health professionals to develop or reinvigorate their professional practice once their formal training has been completed. Some of their established habits may benefit from being scrutinised, perhaps because they are no longer align with best practice, either because their behaviours have drifted away from accepted standards or the standards themselves have changed. For example, health professions students report witnessing unprofessional behaviours from health professionals, such as breaches of patient dignity,59 which the perpetrators should be resensitised to notice. As a form of personal enquiry, ‘Intentional Noticing’ may lead to the questioning of the harmful assumptions that underpin some health care practices, which the contemporary focus on issues of ‘social justice’ have sought to highlight. For example, in a further extension of how noticing is conceptualised, Louie uses the concept of ‘equitable noticing’ to foreground culture and ideology in her analysis of mathematics teachers' noticing.60

7 결론
7 CONCLUDING COMMENTS

이 논문의 서문에서 밝히고 있듯이, 의료 전문가가 주목하는 것은 자명하게도 중요하며, 주목은 모든 진료의 핵심입니다. 수학과 과학교육 문헌의 연구에 자극을 받아, 우리는 보건 전문직 교육에서 유용하다고 생각되는 '알아차리기'의 유형을 구분했습니다. '유형학'을 설명함으로써 우리는 전문적 주목의도적 주목이 어떻게 가르치거나 장려될 수 있는지에 대한 예를 제공하고, 후자의 관행을 명시적으로 가르치는 것에 대한 사례를 만들었습니다. 생각을 공유할 때, 결과적으로 더 중요한 목표는 우리 생각의 주제를 동료들로부터 비평받는 것입니다. 유용성이 있나요? 단순히 다른 사람들이 제시하는 접근 방식에 대한 참신한 '테이크'일 뿐인가요? 우리는 이러한 아이디어가 '다리가 있다'고 생각하며, 서비스 제공 압력, 디지털 혁신, 독립성에 대한 관심이 높아지면서 주목받는 것이 변화하고 우리의 '주목'을 되돌아보고 토론할 시간이 부족한 이 시점에 보건 전문직 교육 커뮤니티 내에서 더 많은 관심을 불러일으키기를 바랍니다. 아마도 '교사의 주목하기'의 경우처럼, 이 아이디어는 보건 전문직 교육자와 연구자들이 자신의 업무를 재구상하는 데 도움이 될 수 있으며,5 보건 전문가들이 주목하는 능력을 연마하여 주변에서 일어나는 일을 더 잘 인식하고 자신의 내부에서 일어나는 일에 더 잘 적응할 수 있도록 도울 수 있을 것입니다. 

What health professionals notice is self-evidently important and as the paper's epigraph declares; noticing lies at the heart of all practice. Galvanised by research from the mathematics and science education literature, we have differentiated between types of ‘noticing’ that we think have utility in health professions education. Through explicating a ‘typology’, we have provided examples of how Professional Noticing and Intentional Noticing might be taught or encouraged and made the case for explicitly teaching the practices of the latter. In sharing our thinking, the resultant, and more important aim, is to have the subject of our ideas critiqued by our peers. Do they have utility? Are they simply a novel ‘take’ on approaches put forward by others that do the job just as well? We think that the ideas ‘have legs’ and we hope that they will spark wider interest within the health professions education community at a time when service delivery pressures, digital innovation and a heightened focus on independence have combined in such a way that what is noticed has changed, and time to reflect on and discuss our ‘noticings’ is at a premium. Perhaps, as was the case for ‘teacher noticing’, the ideas may help health professions educators and researchers reimagine their own work,5 as well as help health professionals sharpen their noticing abilities, so that they can become more aware of what is happening around them and more attuned to what is going on within them.


Med Educ. 2023 Apr;57(4):305-314. doi: 10.1111/medu.14978. Epub 2022 Nov 29.

'Noticing' in health professions education: Time to pay attention?

Affiliations collapse

1Faculty of Medicine, Dentistry and Health Sciences, University of Melbourne, Melbourne, Victoria, Australia.

PMID: 36404285

DOI: 10.1111/medu.14978

Abstract

Background: Health professions education teaches students to notice particular things, but has given little attention to teaching 'noticing' as a form of personal inquiry. The former is self-evidently important, as it develops a way of seeing and behaving that is uniquely relevant to each health profession. Despite this emphasis, health professionals may fail to notice 'warning signs' in patients, be unaware of their own biases or develop unrecognised habits that have moved away from accepted standards. It has been suggested that such 'not noticing' is currently endemic.

Approach: We situate our exploration of noticing in the mathematics and science education literature and John Mason's treatise on 'The discipline of noticing', differentiating between the observations that people make as they go about their lives ('ordinary' noticing), the specialised noticing that underpins professional expertise (Professional Noticing) and practices that can enhance the capacity to notice and to learn from experience (Intentional Noticing). We make the case for teaching health professions students about these conceptualisations of noticing, being able to notice with all our senses, and learning about the practices of Intentional Noticing in particular, which we suggest will have utility across health professional careers and personal lives.

Implications: We acknowledge the difficulties in transferring heterogenous finding from one field to another but suggest that there are gains to be made in applying these noticing concepts to health professions education. We tentatively propose some strategies and activities for developing Professional Noticing and the practices of Intentional Noticing and link them to a new module that we are piloting with health professions students. As well as aiding health professionals sharpen their noticing abilities, reinvigorate their practice and interrogate assumptions that underpin health care, we suggest that ideas about 'noticing' may also help educators and researchers in the health professions reimagine their work.

시스템 문제로서 UME-GME 이행: 근본 원인 분석(Acad Med, 2023)
The Undergraduate to Graduate Medical Education Transition as a Systems Problem: A Root Cause Analysis
Jennifer L. Swails, MD, Steven Angus, MD, Michael A. Barone, MD, MPH, Jessica Bienstock, MD, MPH, Jesse Burk-Rafel, MD, Michelle A. Roett, MD, MPH, and Karen E. Hauer, MD, PhD

 

 

환자와 의료 시스템의 요구를 충족시킬 유능한 의사를 양성하려면 의예과부터 임상 실습에 이르는 효과적인 의학교육 연속체가 필요합니다. 그러나 이 연속체는 의예과, 의과대학(학부 의학교육[UME]), 레지던트 및 펠로우십(대학원 의학교육[GME]), 무감독 임상 실습이라는 개별 단계로 구성되어 있으며, 각 단계마다 고유한 관습과 절차가 있기 때문에 수련의는 각 전환 시 학습 상황, 환경, 책임, 감독에서 갑작스러운 전환을 경험하게 됩니다. 
Training competent physicians who will meet the needs of patients and our health care system depends on an effective medical education continuum, from premedical school to clinical practice. However, this continuum is organized into discrete phases—premedical school, medical school (undergraduate medical education [UME]), residency and fellowship (graduate medical education [GME]), and unsupervised clinical practice—with trainees experiencing abrupt transitions in learning context, environment, responsibilities, and supervision at each transition, as each phase has unique customs and procedures.

학생이 환자 치료에 영향을 미치는 결정을 내릴 수 있는 의사가 되는 핵심 이정표인 UME-GME 전환은 학습자의 발전과 환자 안전에 중요한 영향을 미치는 복잡한 시스템으로 구성되며 교육 연속체 내에서 갑작스러운 변화를 나타냅니다. 현재 이러한 전환은 형평성, 비용, 복지와 관련된 역기능으로 가득 차 있으며, 학생과 레지던트 프로그램은 이 과정에 상당한 시간, 비용, 에너지를 소비해야 합니다. 레지던트 지원과 면접은 안정적인 매칭률에도 불구하고 계속해서 증가하고 있으며, 레지던트 프로그램 지원자를 선발할 때, 미션에 부합하는 총체적인 검토를 사용하기보다는, 시험 점수와 성적에 의존하고 있습니다. 4 총체적 검토는 지원자의 경험, 특성, 역량 및 지표를 균형 있게 고려하여 지원자가 기관의 미션에 어떻게 기여할 수 있는지 판단함으로써 형평성을 증진합니다. 5,6 재정적 지출7과 불안, 우울증, 소진 등 웰빙과 관련된 인적 요인으로 측정되는 비용도 동시에 증가했습니다. 8 의료계의 많은 사람들이 UME-GME 전환의 문제점을 인정하고 학습자들이 이러한 우려를 해결하기 위한 신속한 조치를 촉구하고 있지만,9 근본적인 원인은 복잡하고 쉽게 해결되지 않고 있습니다.
The UME-GME transition, a key milestone in which students become physicians able to make decisions that impact patient care, constitutes a complex system with important implications for learner progression and patient safety and represents an abrupt shift within the educational continuum. Currently, this transition is fraught with dysfunction related to equity, cost, and well-being, requiring students and residency programs to spend significant time, money, and energy on the process. Residency applications and interviews continue to rise despite stable match rates, 1–3 along with a reliance on exam scores and grades to select candidates for residency programs, rather than the use of mission-aligned holistic review. 4 Holistic review promotes equity by balancing the consideration of an applicant’s experiences, attributes, competencies, and metrics to determine how they could contribute to the mission of an institution. 5,6 Costs have increased in parallel, measured by both financial expenditures 7 and human factors related to well-being, such as anxiety, depression, and burnout. 8 Although many in the medical community acknowledge the problems with the UME-GME transition and learners have called for prompt action to address these concerns, 9 the underlying causes are complex and have defied easy fixes.

이 글에서 의사의 책임성을 위한 연합(CoPA)의 학부 의학교육-의학전문대학원 교육 검토 위원회(UGRC) 위원들은 질 개선 접근법10,11과 시스템 사고를 적용하여 UME-GME 전환의 역기능에 대한 근본적인 원인을 탐구합니다. 시스템 사고

  • "시스템을 식별 및 이해하고, 행동을 예측하고, 원하는 효과를 내기 위해 시스템을 수정하는 능력을 향상시키는 데 사용되는 일련의 시너지 분석 기술"입니다. 12

시스템적 사고를 정의하는 세 가지 측면이 있습니다(표 1). 13

  • 첫째, 시스템 사고는 시스템의 구성 요소와 특성(이하 구성 요소)에 대한 인식이 필요합니다.
  • 둘째, 시스템 사고는 시스템 부분 간의 연결과 상호의존성(이하 연결)을 이해하는 데 기반합니다.
  • 셋째, 시스템은 공유되고 명확하며 가치 있는 시스템의 목적 또는 목표(이하 목적)가 있을 때 최적으로 작동합니다.
  • 목적은 식별하고 설명하기 가장 어려운 측면이지만 시스템의 작동 방식을 이해하는 데 가장 중요한 요소입니다.

In this article, members of the Coalition for Physician Accountability’s (CoPA’s) Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC) apply a quality improvement approach 10,11 and systems thinking to explore the underlying causes of dysfunction in the UME-GME transition. Systems thinking is

  • “a set of synergistic analytic skills used to improve the capability of identifying and understanding systems, predicting their behaviors, and devising modifications to them to produce desired effects.” 12 

Three aspects define systems thinking (Table 1). 13 

  • First, systems thinking requires an appreciation of the components and characteristics of the system (hereafter components).
  • Second, systems thinking is based on understanding the connections and interdependencies among the parts of the system (hereafter connections).
  • Third, systems function optimally with a shared, clear, and valued purpose or goal of the system (hereafter purpose).
  • The purpose, despite being the most difficult aspect to discern and describe, is the most important for understanding how a system functions.

UME-GME 전환과 같은 복잡한 적응 시스템에서는 환경 내에서 기능하는 자율적 개체가 예상치 못한 영향을 미칠 수 있습니다. 14 시스템적 사고의 렌즈를 통해 이러한 전환에 대한 현재 문제의 근본 원인을 파악하고 학습자, 의과대학, 레지던트 프로그램, 그리고 가장 중요한 환자에게 더 나은 서비스를 제공할 수 있는 근본 원인을 목표로 하는 개입을 만들 수 있습니다. 예를 들어, 문헌에 대한 범위 검토를 통해 지원 상한선, 선호도 신호 또는 새로운 UME 평가 절차와 같이 레지던트 지원 절차를 다루는 개입을 통해 UME-GME 전환을 개선하기 위한 시스템 수준의 제안을 분류했습니다. 15 그러나 전체 UME-GME 전환을 해결하기 위한 광범위한 시스템적 사고 접근 방식은 설명되지 않았습니다. 
In a complex adaptive system, such as the UME-GME transition, autonomous entities functioning within the environment can have unexpected effects. 14 Through a systems thinking lens, it is possible to identify root causes of the current challenges to this transition and craft interventions to target root causes that better serve learners, medical schools, residency programs and, most importantly, patients. For example, a scoping review of the literature cataloged systems-level proposals to improve the UME-GME transition through interventions addressing the residency application process, such as application caps, preference signaling, or new UME assessment procedures. 15 However, a broader systems thinking approach to address the entire UME-GME transition has not been described.

UME-GME 전환에 있어 개혁의 필요성을 인식한 CoPA를 구성하는 조직들은 이러한 지속적인 문제에 대한 해결책을 제안하기 위해 UGRC를 소집했습니다. 16 UGRC는 학생, 레지던트, 프로그램 디렉터, UME 리더, GME 리더, 일반인 대표, CoPA 대부분의 회원 기관의 조직 구성원을 포함하여 UME-GME 전환 전반에 걸친 이해관계자들로 구성되었습니다. 17 이 그룹은 레지던트 준비성 보장, 지원 절차의 메커니즘 해결, 경기 후 GME로의 전환 최적화 등 UME에서 GME로의 전환을 개선하기 위한 권고안을 마련하는 임무를 CoPA로부터 부여받았습니다. 심의에서는 다음의 세 가지 교차 주제를 강조했습니다.

  • (1) 다양성, 형평성, 포용성, 공정성,
  • (2) 복지,
  • (3) 공익을 위한 봉사

Recognizing the need for reforms in the UME-GME transition, the organizations which comprise the CoPA convened the UGRC to propose solutions to these persistent problems. 16 The UGRC was composed of stakeholders from across the spectrum of the UME-GME transition, including students, residents, program directors, UME leaders, GME leaders, representatives from the public, and organizational members of most of the member institutions of CoPA. 17 The group was charged by CoPA with making recommendations to improve the transition from UME to GME, including ensuring residency readiness, addressing mechanics of the application process, and optimizing the post-Match transition into GME. The deliberations emphasized 3 cross-cutting themes:

  • (1) diversity, equity, inclusion, and fairness;
  • (2) well-being; and
  • (3) serving the public good.

구성 요소, 연결, 목적이라는 시스템 사고의 원칙은 UME-GME 전환에 품질 개선 접근법을 적용하기 위한 프레임워크를 제공했습니다(표 1). 
The principles of systems thinking—components, connections, and purpose—provided a framework for applying a quality improvement approach to the UME-GME transition (Table 1).

구성 요소: 비효율적인 UME-GME 전환의 근본 원인들
Components: Root Causes of the Ineffective UME-GME Transition

프로세스
Process

UGRC는 이상적인 상태와 현재 시스템(또는 실제 상태) 사이의 격차를 드러내기 위해 UME-GME 전환의 이상적인 상태를 정의했습니다. 18 UGRC는 환자안전19 및 의학교육20,21 분야에서 잘 확립되어 있고 관찰된 문제의 근본적인 구조를 밝히는 프로세스인 근본 원인 분석(RCA)을 수행하여 각 작업 그룹으로 나누어 UME-GME 전환의 일부에 대한 문제 진술을 확인했습니다. 문제 진술은 인과관계에 의문을 제기하여 문제의 근본 원인을 심층적으로 탐구하는 반복적인 프로세스인 5가지 이유를 사용하여 조사되었습니다. 그런 다음 작업 그룹은 이시카와(또는 피쉬본) 다이어그램을 사용하여 문제의 구조를 만들고 문제의 모든 기여 요인을 시각화하여 탐색했습니다. 22,23 각 그룹은 이시카와 다이어그램을 발표하여 전체 위원회에 피드백을 제공했습니다. 24 그런 다음 UGRC는 그룹 간의 공통점을 강조하는 복합 다이어그램을 만들었습니다(그림 1). 
The UGRC defined the ideal state of the UME-GME transition to reveal gaps between the ideal and current system (or actual state). 18 The UGRC undertook root cause analysis (RCA)—a process that is well established in both patient safety 19 and medical education 20,21 and that reveals the structures underlying observed problems—by dividing into workgroups, each of which identified a problem statement for a portion of the UME-GME transition. The problem statements were investigated using the 5 whys, an iterative process of questioning causality to deeply explore the root contributors to a problem. The workgroups then used Ishikawa (or fishbone) diagrams to create structure for and to visualize and explore all contributors to the problem. 22,23 Each group presented their Ishikawa diagram for feedback to the entire committee. 24 The UGRC then created a composite diagram highlighting the commonalities across groups (Figure 1).

복합 피쉬본 다이어그램의 문제 진술은 다음과 같습니다: "현재의 UME-GME 전환은 비효율적이다." 이를 통해 문제를 광범위하게 탐색할 수 있었습니다. 모든 작업 그룹은 피쉬본 다이어그램의 도메인(즉, 큰 뼈대)을 수정하여 UME-GME 전환과 관련된 단편화된 시스템을 기반으로 근본 원인 구성 요소를 보다 논리적이고 구체적으로 그룹화할 수 있도록 했습니다. 따라서 표준화되어 있는 도메인(예: 장비, 인력)을 조정하여 UME-GME 전환 프로세스를 보다 정확하게 포괄하고 설명할 수 있도록 했습니다. 근본 원인 구성 요소는 아래 논의에서 도메인별로 그룹화되어 있습니다.
The problem statement for the composite fishbone diagram was: “The current UME-GME transition is ineffective,” which allowed a broad exploration of the problems. All workgroups modified the domains (i.e., the large bones) of the fishbone diagram to facilitate more logical and specific grouping of root cause components based on the fragmented system involved in the UME-GME transition. Therefore, the domains, which are sometimes standardized (e.g., equipment, personnel), were adjusted to encompass and describe the UME-GME transition process more precisely. The root cause components are grouped by domain in the discussion below.

비효율적인 UME-GME 전환에 대한 피쉬본 분석
Fishbone analysis of the ineffective UME-GME transition

문화.
Culture.

UME-GME 전환은 지원자, 의과대학, 레지던트 프로그램 간에 경쟁적인 분위기를 조성할 수 있으며, 이로 인해 참가자들이 전체적인 이익 대신 개별적인 결과를 우선시하게 될 수 있습니다. 지원자와 레지던트 프로그램은 특정 프로그램(학생별) 또는 지원자(프로그램별)의 선택이 레지던트 기간 동안 평가되는 미래의 성과를 예측한다는 약하고 상충되는 증거에도 불구하고,8 가능한 "최상의" 개별 결과를 정의하고 추구하기 위해 상당한 자원을 기꺼이 희생할 수 있습니다. 26,27 또한, 교수진과 학생은 이 과정에서 고정형 사고방식으로 인해 학습자의 좌절을 성장 또는 회복탄력성의 증거를 찾는 대신 숨겨야 할 실패로 간주하여 보건 전문직 교육에서 성장 마인드가 성공에 도움이 된다는 증거가 있음에도 불구하고 어려움을 겪을 수 있습니다. 28,29 이러한 요인으로 인해 학생들은 학습과 성장보다 성과에 중점을 두는 채점 시스템의 경험을 바탕으로 팀과 환자에게 기여할 수 있는 방법 대신 개인의 성과에 집중하게 될 수 있습니다. 30 지원, 원정(방문) 로테이션, 표준화된 시험 준비에 할애하는 시간을 극대화하기 위해 환자 치료를 포기할 수도 있습니다. 31 학생과 의과대학은 특정 학습 요구를 지원할 수 있는 프로그램을 찾는 대신 과거의 어려움을 숨길 수 있습니다. 프로그램은 성장 마인드, 32 다양성, 형평성, 프로그램의 사명과 학습자의 목표(예: 의사-과학자, 보건 정책 리더, 농촌 진료 제공자 되기) 간의 연계성을 우선시하는 대신 지원자 사이에서 인식되는 명성의 지표를 강조할 수 있습니다. 
The UME-GME transition may create a competitive atmosphere among applicants, medical schools, and residency programs, which can push participants to prioritize individual outcomes instead of the overall good. Applicants and residency programs may be willing to sacrifice significant resources to define (via ranking 25) and pursue the “best” possible individual outcome, 8 despite weak and conflicting evidence that the selection of particular programs (by students) or applicants (by programs) predicts future performance as assessed during residency. 26,27 Furthermore, faculty and students may suffer from a fixed mindset in this process, viewing learner setbacks as failures to be hidden instead of seeking evidence of growth or resilience, despite evidence of the benefits of a growth mindset to success in health professions education. 28,29 These factors could cause students to focus on their individual performance instead of the ways that they can contribute to teams and patients, building on the experience of grading systems that promote performance over learning and growth. 30 They may choose to forgo patient care to maximize time for applications, away (visiting) rotations, and standardized test preparation. 31 Instead of searching for programs that can support any specific learning needs, students and medical schools may hide previous struggles. Programs may emphasize markers of perceived prestige among applicants instead of prioritizing a growth mindset, 32 diversity, equity, or alignment between the program’s mission and the learners’ goals (e.g., becoming a physician-scientist, health policy leader, or rural practice provider).

비용 및 제한된 리소스.
Costs and limited resources.

UME-GME 전환의 모든 단계에서 비용이 가용 리소스를 능가합니다. 예를 들어, 신청 과정에서 신청자가 부담하는 과도한 비용은 UGRC 논의 전반에 걸쳐 변화의 주요 동인 중 하나였습니다. 지원자들은 의대 커리큘럼에서 벗어나 돈, 33 정서적 에너지, 시간 등의 형태로 자원을 소비합니다. 31 일반적으로 높은 비용은 시스템 내에서 행동을 감소시키지만, 레지던트 지원 과정의 높은 위험성으로 인해 지출이 증가함에 따라 학생들은 종종 더 많은 투자를 합니다. 9,33 많은 학생들이 레지던트 자리를 확보하지 못하면 상환이 더욱 어려워지는 상당한 학자금 대출 부채를 떠안고 있습니다. 34,35 이러한 잘못된 피드백 루프는 시스템 기능 장애의 원인이 됩니다. 어려움을 겪고 있는 레지던트를 지원하기 위한 높은 교육 자원 비용36은 레지던트 프로그램이 의과대학에서 추가 지원이 필요했던 지원자를 고려하는 것을 꺼리게 하는 원인이 될 수 있습니다. 레지던트 프로그램은 대량의 지원자를 모집하는 데 상당한 시간과 재정적 자원을 투입하는데, 37-39 이는 잠재적으로 현재 레지던트에 대한 총체적인 검토나 지원을 희생할 수 있습니다. 기능적인 시스템은 낭비(과도한 지원에 소요되는 지원자 비용 등)를 줄이고 필요한 자원(레지던트 프로그램이 총체적인 검토를 수행하기 위한 인력, 교육, 기술 등)을 강화함으로써 시스템의 효율성과 효과성을 모두 증진할 수 있습니다. 40 
Costs outpace available resources at every level of the UME-GME transition. For example, the excess cost to applicants during the application process was one of the main drivers for change throughout UGRC discussions. Applicants expend resources in the form of money, 33 emotional energy, and time away from their medical school curriculum. 31 Even though high costs typically reduce behavior within a system, students often invest more as expenditures rise due to the perceived high-stakes nature of the residency application process. 9,33 Many students shoulder significant student loan debts that will be even more difficult to repay if they do not secure a residency position. 34,35 This misaligned feedback loop contributes to system dysfunction. The high cost of educational resources to assist struggling residents 36 may contribute to reluctance by residency programs to consider applicants who have required extra assistance in medical school. Residency programs dedicate significant time and financial resources to recruiting large volumes of applicants, 37–39 potentially at the expense of holistic review or support for current residents. A functional system would promote both efficiency and efficacy of the system through reducing waste (such as applicant money spent on excessive applications) and enhancing needed resources (such as personnel, training, and technology for residency programs to conduct holistic review). 40

편견.
Bias.

불평등이 UME-GME 전환에 스며들어 있습니다. 레지던트 선발에서 중요한 지표가 되는 사무직 성적,41 아너 소사이어티 회원,42 및 표준화된 면허 시험 점수,43에는 인종 및 민족적 격차가 존재합니다. 이러한 그룹 간 차이는 실제 학습자의 능력과는 무관한 구조적 차이일 수 있으므로 구조적 편견을 나타낼 수 있습니다. 지원서 검토 과정에서도 암묵적 편견이 발생할 수 있습니다. 44 지원서 양이 증가함에 따라 미션 기반의 총체적 검토는 감소할 수 있습니다. 45 이러한 상황에서 레지던트 프로그램은 면허 시험 점수, 4개 지역 또는 의과대학을 기준으로 지원서를 검토 대상으로 선정할 수 있습니다. 46 이러한 유형의 기준에 우선순위를 두면 인종, 민족, 성별, 학위(MD 대 DO) 또는 출신 의과대학(미국 의대 졸업생 대 해외 의대 졸업생)에 따라 특정 그룹에 불균형하게 영향을 미칠 수 있습니다.
Inequity permeates the UME-GME transition. Racial and ethnic disparities exist in clerkship grading, 41 honor society membership, 42 and standardized licensing examination scores, 43 which are often valued metrics in resident selection. These group differences may be construct-irrelevant (not related to actual learner ability) and therefore represent structural bias. Implicit bias may also occur in the application review process. 44 Mission-based holistic review may decrease as the volume of applications increases. 45 In these situations, residency programs may select applications for review based on licensing examination scores, 4 geography, or medical school. 46 Prioritizing these types of criteria may disproportionately affect specific groups based on race, 47 ethnicity, gender, degree (MD vs DO), or medical school of origin (U.S. vs international medical graduate).

시스템.
Systems.

지원자가 전문 분야를 선택하고, 면접 일정을 잡고, 좁은 기간 내에 레지던트 자리를 확보해야 하는 시간적 압박을 포함하여 UME-GME 전환에 내재된 여러 제약 조건은 의학교육 커뮤니티에서 잠재적으로 수정할 수 있습니다. 프로그램과 지원자에 대한 정보를 배포하는 데 사용되는 테크놀로지 시스템은 접근, 이해, 신뢰가 어려울 수 있습니다. 48,49 이러한 제한으로 인해 학습자와 프로그램 모두 동료의 추천에 따라 과도하게 지원하거나(이러한 행동이 결과를 개선하지 못한다는 데이터에도 불구하고), 프로그램에서 세부적으로 검토할 지원자 수를 줄이는 등 편법을 택할 수 있습니다. 45 레지던트 직책에 대한 자금 지원, 전문의 보상, 병원 인력 요구, 일반 수련의 면허에 대한 법적 장벽 등 UME-GME 전환에 중대한 영향을 미치는 추가적인 시스템 문제는 UGRC의 책임 범위 밖에 있었습니다. 
Multiple constraints built into the UME-GME transition, including time pressures for applicants to select a specialty, schedule interviews, and secure a residency position within a narrow window of opportunity, are potentially modifiable by the medical education community. The technological systems used to disseminate information about both programs and applicants can be difficult to access, understand, and trust. 48,49 These limitations can cause both learners and programs to take shortcuts, such as applicants overapplying based on peer recommendations despite data that this behavior will not improve their outcomes 8 or a program decreasing the number of applications that will be reviewed in detail. 45 Additional system issues that significantly affect the UME-GME transition, such as funding for residency positions, specialty compensation, hospital staffing needs, and legal barriers to universal trainee licensure, were outside the scope of the charge to the UGRC.

표준 부족.
Lack of standards.

효과적이고 의미 있는 UME-GME 전환 시스템을 구현하기 위한 전제 조건으로 공유된 정신 모델이 절실히 필요합니다. 40 성공적인 매칭, 학습자의 레지던트 준비도, 역량 및 전문성과 같은 중요한 개념을 구성하는 요소에 대한 공유된 실행 가능한 정의가 부족하여 전환에 어려움을 겪고 있습니다. 의과대학에서 다양한 학생 평가 방법과 성과 보고 관행을 사용하는 것은 레지던트 프로그램에서 지원자를 비교하는 것을 복잡하게 만듭니다. 지원자 또는 프로그램에 대한 성공적인 매칭에 대한 정량화 가능한 정의가 없기 때문에 통합된 비전을 개발하고 UME-GME 전환 과정을 최적화하기가 어렵습니다. 13 시스템은 스펙트럼 전반에 걸쳐 다양하고 중요한 목표를 적절히 달성하는 데 어려움을 겪고 있으며, 이러한 상황은 참여자들이 서로 다른 가정하에 기능할 때 UME 및 GME 이해관계자 간의 신뢰 부족을 유발합니다. 공유된 정신 모델은 참여자들이 시스템의 목표와 프로세스에서 자신의 역할에 대한 합의를 도출하는 데 도움이 될 수 있습니다. 51 
There is an urgent need for shared mental models as prerequisites to effective and meaningful implementation of a functional UME-GME transition system. 40 The transition suffers from a lack of shared actionable definitions of important concepts, such as what constitutes a successful match, learner readiness for residency, competence, and professionalism. The use of variable student assessment methods and performance reporting practices across medical schools 50 complicates residency programs’ comparisons of applicants. The absence of a quantifiable definition of a successful match for either applicants or programs makes it difficult to develop a unified vision and optimize the UME-GME transition process. 13 The system struggles to adequately meet varied and important goals across the spectrum, a situation that prompts lack of trust among UME and GME stakeholders when participants are functioning under different presumptions. Shared mental models could help participants develop consensus on the goals of the system and on their role in the process. 51

일관성 부족.
Lack of alignment.

불연속성은 UME-GME 전환의 역기능의 핵심 원인입니다. 이 시스템은 여러 개의 독립적인 프로세스로 구성되어 있으며, 각 프로세스는 별도의 리더십, 목표, 책임 및 재무 구조를 가진 별개 조직에서 관리합니다. 따라서 전체 시스템의 최선의 이익이 관련된 개별 조직의 재정적 이익을 증진하지 못할 수도 있습니다.

  • 또한, 모든 미국 졸업생을 매칭하려는 동기를 가진 UME 커뮤니티와 사용 가능한 지표를 사용하여 '최고의' 지원자를 받아들이고 레지던트 기간 동안 어려움을 겪을 수 있는 지원자를 피하려는 동기를 가진 GME 교육자 사이에는 내재적인 갈등이 존재합니다.
  • 마찬가지로, 지원 절차는 지원자의 선호도를 우선시합니다. 이러한 목표는 장점이 있지만 시스템 관점에서 볼 때 이러한 설계는 자원이 부족한 전문과목 및 지리적 위치의 의사에 대한 대중의 요구에 불이익을 줄 수 있습니다. 52
  • 마지막으로, 학생들이 "완벽한 지원서"를 작성하고 성장이 필요한 부분을 숨기는 연습은 의사들 사이에서 자기 주도적 학습을 촉진하는 습관과 행동을 육성하기 위해 UME와 GME 모두에서 권장하는 성장 마인드에 반하는 것입니다. 53 

Discontinuity is a core contributor to the dysfunction in the UME-GME transition. The system is organized into multiple independent processes, each managed by a different organization with separate leadership, goals, accountabilities, and financial structures. Hence, the best interest of the whole system may not promote the financial interests of the individual organizations involved.

  • Additionally, there is inherent conflict between the UME community, which is motivated to match all U.S. graduates, and GME educators, who are motivated to accept the “best” applicants using the available metrics and avoid applicants who may struggle during residency.
  • Similarly, the application process prioritizes applicant preferences; though this aim has merit, from a systems perspective, this design may disadvantage the public’s need for physicians in underresourced specialties and geographic locations. 52 
  • Finally, the exercise for students of creating a “perfect application” and hiding areas in need of growth is antithetical to the growth mindset that is encouraged in both UME and GME to foster habits and behaviors that facilitate self-directed learning among physicians. 53

연결: 시스템 사고를 통한 결과 예측
Connections: Predicting Outcomes Through Systems Thinking

UGRC가 RCA 프로세스를 사용하여 역기능적인 UME-GME 전환의 구성 요소를 식별한 후, 구성원들은 각 요소 간의 연결을 고려했습니다. 복합 피쉬본 다이어그램의 각 뼈대는 작업 그룹 내에서 5가지 이유 운동의 결과를 나타냅니다(그림 1). 상호 작용을 주의 깊게 조사한 결과 시스템의 여러 측면이 피드백 루프와 원형archetypes으로 작동한다는 사실이 밝혀졌습니다. 시스템 사고에서 원형은 "서로 다른 환경에서 반복적으로 발생하는 공통 패턴"입니다. 54 시스템 사고는 교육자가 이러한 원형을 식별하고 분석하여 행동을 예측하고 해결책을 제안하도록 안내합니다(표 1).
After the UGRC used the RCA process to identify component parts of the dysfunctional UME-GME transition, members considered connections among the parts. Each bone of the composite fishbone diagram represents the outcomes of the 5 whys exercise within workgroups (Figure 1). Carefully investigating the interactions revealed that several aspects of the system function in feedback loops and archetypes. In systems thinking, archetypes are “common patterns … that occur repeatedly in different settings.” 54 Systems thinking guides educators to identify and analyze these archetypes to predict behavior and propose solutions (Table 1).

개념 증명: 복잡한 결과를 설명하는 아키타입
Proof of concept: Archetypes explain complex outcomes

시스템 사고의 원형은 UME-GME 전환의 문제를 직접 분석하는 데 도움이 될 수 있습니다. 예를 들어, 하나의 원형인 [실패한 수정]은 시스템 내의 증상적인 문제를 빠르게 완화하지만 근본적인 문제를 해결하지 못하여 전체적으로 문제를 악화시키는 솔루션을 설명합니다. 54 이 원형은 지원자 스트레스, 과잉 지원, 고난도 지표의 상호 작용을 설명하는 데 도움이 될 수 있습니다. 이는 합격/불합격 채점 및 점수 보고에 대한 움직임이 왜 많은 사람들이 책임을 져야 하는 다른 시스템 변화가 없는 상황에서 문제를 완화하기는커녕 악화시킬 가능성이 있는지를 명확히 해줍니다. 그림 2는 UME-GME 전환의 5가지 이유에 대한 선형 인과관계 다이어그램의 지나치게 단순화된 예를 보여줍니다.
Systems thinking archetypes can help direct analysis of problems in the UME-GME transition. For example, one archetype, fixes that fail, describes solutions that quickly alleviate symptomatic problems within the system but that do not address underlying issues, and therefore lead to worsening problems overall. 54 This archetype can help explain the interaction of applicant stress, overapplication, and high-stakes metrics. It clarifies why the movement toward pass/fail grading and score reporting has the potential to exacerbate, rather than alleviate, problems absent other systems changes for which many bear responsibility. Figure 2 demonstrates an oversimplified example of a linear cause-and-effect diagram of the 5 whys for the UME-GME transition.

 

그림 3A는 애플리케이션 수가 증가하는 양적 피드백 루프에 의해 구동되는 시스템을 괴롭힌 증폭 캐스케이드를 보다 명확하게 보여주는 강화 루프를 보여줍니다. 이 루프에 따르면 지원자가 시간, 비용, 정서적 에너지를 과도하게 소비하는 근본 원인 중 하나는 요약 평가에 중점을 두는 것입니다.

Figure 3A demonstrates a reinforcing loop, which more clearly demonstrates the amplification cascade that has plagued the system, driven by a positive feedback loop of increasing numbers of applications. Based on this loop, 1 root cause for the excessive expenditure of time, money, and emotional energy by applicants is the emphasis on summative evaluations.

그림 3B는 합격/불합격 채점으로 전환하여 이 루프를 해결하려는 시도가 학습 및 교육 문화 개선에 대한 채점 체계의 잠재적 이점에도 불구하고 지원자 지출을 증가시킬 수 있는 방법을 보여줍니다. 이는 강화 루프의 일부 구성 요소에 대한 해결책이 개별적으로 구현될 때 역설적으로 전체 시스템을 악화시키는 전형적인 fix that fails 원형에 해당합니다. 54 이 지나치게 단순화된 예에서, 애플리케이션에서 잠재적으로 문제가 될 수 있는 지표(불공평성, 정확성 또는 신뢰성 부족으로 인한 문제)가 사라지면 프로그램 책임자의 명확성이 떨어지고, 이로 인해 애플리케이션에 남아 있는 정량적 데이터에 대한 의존도가 높아져 업무가 더욱 과중해질 수 있습니다. 프로그램 디렉터들은 미국 의사 면허 시험 1단계가 합격/불합격 점수 보고로 전환되면서 이러한 우려를 표명했습니다. 55 이 사례는 UME-GME 전환을 위해 총점 보고가 필요하다는 것을 시사하는 것이 아니라 시스템 사고 도구가 복잡한 상호작용과 시스템 개선을 위한 개입의 성공 가능성을 예측하고 설명하는 데 도움이 될 수 있다는 것을 보여주기 위한 것입니다. 이는 원하는 변화를 달성하기 위해서는, 전체 시스템을 위해 작동하는 조정된 솔루션 세트가 필요하다는 것을 보여줍니다

Figure 3B illustrates how trying to address this loop by moving to pass/fail grading could increase applicant expenditures, despite the potential benefits of this grading scheme for learning and improving the educational culture. It constitutes a classic fix that fails archetype, in which a solution to some components of a reinforcing loop paradoxically worsens the overall system, when implemented in isolation. 54 In this oversimplified example, loss of potentially problematic metrics (problematic due to inequity and lack of accuracy or reliability) in the applications leads to less clarity for program directors, which could make them more overwhelmed and increase their reliance on whatever quantitative data remain in the application. Program directors have expressed this concern with the transition of the United States Medical Licensing Examination Step 1 to pass/fail score reporting. 55 To be clear, this example is not meant to suggest that summative grade reporting is necessary for the UME-GME transition, but rather that systems thinking tools can help predict and explain complex interactions and the likelihood of success of interventions to improve the system. It illustrates that a coordinated set of solutions that work for the entire system is needed to achieve desired changes.

 

 

앞으로의 전망: 균형 잡힌 프로세스로 시스템 안정화 가능
Looking forward: Balancing processes can stabilize the system

애플리케이션 인플레이션 프로세스와 같이 강화 루프 내에서 기하급수적인 성장을 안정화하기 위한 구체적인 개입을 제안하는 시스템 접근 방식은 그림 3C에 나와 있습니다. 밸런싱 프로세스는 시스템 내에서 피드백을 생성하여 이상적인 상태로 되돌아가도록 유도합니다. 이러한 바람직한 상태, 즉 균형 잡힌 시스템으로 작동하려면 목표에 대한 명확한 이해와 함께 시스템 내에서 실제 성능과 예상 성능 간의 격차를 모니터링하는 메커니즘이 필요합니다. 실제 기능과 이상적인 기능의 차이는 프로세스 내 이해관계자, 공식 위원회 또는 둘 다에 의해 투명하게 모니터링될 수 있습니다. 그림 3C는 UME-GME 전환을 최적화하기 위해 작동할 수 있는 균형 조정 프로세스의 간단한 예를 보여줍니다. 즉, 프로그램 디렉터가 지표 사용이 프로그램 다양성과 같은 공유되고 가치 있는 이상에 어떤 영향을 미치는지에 대한 피드백을 받으면 이 정보를 바탕으로 전체론적 검토를 강화하고 모든 지원자에 대한 검토 프로세스를 개선할 수 있습니다. 궁극적으로 다양성 데이터가 공개되면 모든 참가자의 초점이 프로그램 순위와 경쟁 문화에 기여하는 다른 요소 대신 형평성과 다양성이라는 공동의 목표로 옮겨갈 수 있습니다. 
A systems approach that suggests specific interventions to stabilize the exponential growth within reinforcing loops, such as the application inflation process, is shown in Figure 3C. A balancing process creates feedback within the system to steer it back toward its ideal state. This desired state, a balanced system that operates in equilibrium, requires a clear understanding of the goal, as well as a mechanism to monitor the gap between actual and expected performance within the system. The difference between actual and ideal function can be monitored transparently for stakeholders within the process, a formal committee, or both. Figure 3C illustrates a simple example of a balancing process that could work to optimize the UME-GME transition. That is, if program directors receive feedback on how the use of metrics is influencing a shared and valued ideal, for example, program diversity, this information may influence them to increase holistic review and improve the review process for all applicants. Eventually, if diversity data become publicly available, the focus of all participants may shift toward the mutual goals of equity and diversity instead of program rankings and other contributors to the culture of competition.

목적: 다양한 유형의 목표를 향한 구성 요소 및 연결 적용
Purpose: Applying Components and Connections Toward Different Types of Objectives

공유되고 명확하며 가치 있는 목표
Shared, clear, and valued goals

UGRC는 원형과 시스템 사고의 원칙을 적용하여 UME-GME 전환을 개선하기 위한 권장 사항을 개발했습니다. 위에서 설명한 균형 조정 과정과 같이 이상적인 상태가 이미 명확하게 정의되어 있고 이해관계자 그룹이 그 중요성에 동의한 경우도 있습니다. 이러한 경우, 현재 상태에 대한 투명성과 변화를 촉진하기 위한 자원이 결합되면 시스템 변화를 유도하기에 충분할 수 있습니다. 
The UGRC applied the principles of archetypes and systems thinking to develop recommendations to improve the UME-GME transition. In some cases, such as the balancing process described above, the ideal state had already been clearly defined and stakeholder groups have agreed on its importance. In these cases, transparency about the current state combined with resources to facilitate change may be sufficient to induce the system to change.

예를 들어, 다양성, 형평성, 포용성의 경우 UGRC는 교육 결과에 대한 투명성 및 모니터링 강화를 권고했습니다. 다음 권장 사항은 형평성 결과에 대한 데이터 수집 및 측정을 가능하게 하며, 이를 통해 교육 기관 내에서, 그리고 잠재적으로 이해관계자 그룹 사이에서 가시화될 수 있는 변화를 유도할 수 있습니다:
For example, in the case of diversity, equity, and inclusion, the UGRC recommended increased transparency and monitoring of educational outcomes. The following recommendations would allow data collection and measurement of equity outcomes, which can then drive change as they become visible within institutions and, potentially, among stakeholder groups:

  • 검증 가능한 GME 프로그램/트랙 정보가 포함된 대화형 데이터베이스를 생성하여 모든 지원자, 의과대학, 레지던트 프로그램에 무료로 제공합니다. 여기에는 이전에 각 GME 프로그램/트랙에 지원하고, 면접을 보고, 순위를 매기고, 매칭된 개인의 종합적인 특성이 포함됩니다. (권장 사항 6)
    Create an interactive database with verifiable GME program/track information and make it available to all applicants, medical schools, and residency programs and at no cost to the applicants. This will include aggregate characteristics of individuals who previously applied to, interviewed at, were ranked by, and matched for each GME program/track. (Recommendation 6)
  • 의과대학은 채점의 시스템적 편견을 없애기 위해 인종, 민족, 성 정체성/표현, 성적 정체성/성향, 종교, 비자 상태, 능력, 위치(예: 위성 또는 임상 현장 위치)에 따른 성적 분포 패턴을 포함하여 임상 사무직 채점에 대한 초기 및 연간 탐색적 검토를 수행해야 하며, 편견을 완화하기 위해 정기적으로 교수 개발을 수행해야 합니다. UME-GME 연속체 전반의 프로그램은 편견이 학생 및 레지던트 평가, 경기 결과, 소모, 명예 학회 선발에 미치는 영향을 조사해야 합니다. (권장 사항 10)
    To eliminate systemic biases in grading, medical schools must perform initial and annual exploratory reviews of clinical clerkship grading, including patterns of grade distribution based on race, ethnicity, gender identity/expression, sexual identity/orientation, religion, visa status, ability, and location (e.g., satellite or clinical site location), and perform regular faculty development to mitigate bias. Programs across the UME-GME continuum should explore the impact of bias on student and resident evaluations, match results, attrition, and selection to honor societies. (Recommendation 10)
  • 인식을 높이고 형평성과 책임성을 촉진하는 조정을 용이하게 하기 위해 지원자의 자체 보고 인구통계학적 정보(예: 인종, 민족, 성 정체성/표현, 성적 정체성/지향, 종교, 비자 상태 또는 능력)를 측정하고 UME-GME 전환 과정에서 실시간으로 프로그램 및 의과대학을 포함한 주요 이해관계자들과 공유해야 합니다. (권고안 16) 24
    To raise awareness and facilitate adjustments that will promote equity and accountability, self-reported demographic information of applicants (e.g., race, ethnicity, gender identity/expression, sexual identity/orientation, religion, visa status, or ability) should be measured and shared with key stakeholders, including programs and medical schools, in real time throughout the UME-GME transition. (Recommendation 16) 24

이러한 개입은 형평성 목표와 실제 결과 사이의 격차를 조명함으로써 UME-GME 전환을 안정화할 수 있습니다. 격차가 벌어질수록 형평성 증진을 위한 노력이 증가하여 격차가 줄어들고 시스템이 이상적인 상태에 가까워져야 합니다.
These interventions could stabilize the UME-GME transition by shining light on the gap between equity goals and actual outcomes. As the gap widens, efforts to promote equity should increase, thereby shrinking the gap and bringing the system closer to the ideal state.

이상적인 상태에 대한 의견 불일치 영역
Areas of disagreement about the ideal state

시스템 사고아키타입실제 상태와 이상적인 상태 사이의 격차를 명확히 하고, 목표를 설정하기 어려울 때도 유용합니다.

  • 공유지의 비극과 같이 일부 원형은 지속적인 평가와 감독이 필요합니다. 56 이 원형에서는 "시스템 내의 각 사람이 개인의 이익을 위해 점점 더 많은 자원을 사용함에 따라 공유 자원에 과도한 부담이 가해집니다. 결국 자원이 줄어들거나 소멸되어 관련된 모든 사람의 이익이 감소하게 됩니다." 56
  • 이 원형은 지원 인플레이션 문제에도 분명히 적용 가능합니다. 학생들은 개별적으로 더 많은 지원서를 제출하고 더 많은 면접 기회를 확보함으로써 이익을 얻을 수 있지만, 검토를 위한 프로그램 리소스는 무한하지 않습니다. 많은 조직이 관여하고 매년 지원자에게 높은 수준의 피드백을 제공하는 프로세스의 특성 때문에 실시간 피드백이 내재된 개입을 설계하는 것은 어려운 일입니다.

Systems thinking and archetypes are also helpful when the gap between the actual and ideal state is not easy to clarify and target.

  • Some archetypes require ongoing evaluation and even oversight, such as the tragedy of the commons56 In this archetype, “a shared resource becomes over-burdened as each person in the system uses more and more of the resource for individual gain. Eventually, the resource dwindles or is wiped out, resulting in lower gains for everyone involved.” 56 
  • This archetype is clearly applicable to the problem of application inflation. Students may individually benefit from sending more applications and securing more interviews, but program resources for review are not infinite. Designing an intervention with inherent, real-time feedback is challenging because of the many organizations involved and the high-stakes nature of the process for the applicants each year.

UGRC는 개선된 커리어 조언과 신뢰할 수 있는 레지던트 정보 데이터베이스의 형태로 상당한 리소스를 제공할 것을 권장했지만,24 이러한 리소스만으로는 충분하지 않을 수 있습니다. UGRC는 또한 문제 해결을 위해 파일럿 개입을 권장했지만,24 파일럿에 대한 평가는 지원자를 레지던트 포지션에 배치하는 것이 어떻게 [개인의 선호도]와 [공익] 모두를 충족시킬 수 있는지라는 핵심적인 긴장의 핵심에 놓이게 될 것입니다. 이상적인 프로세스는 가능한 한 많은 지원자를 선호하는 프로그램에 매칭하는 동시에 모든 전문 분야와 지역에 의사를 고르게 배치하는 균형을 맞추는 것입니다. 이 이상적인 프로세스에서 시스템은 임상 또는 교육 기업에서 불필요하게 자원을 전용하지 않고 지원자와 의료 시스템에 적합한 비용으로 이러한 작업을 수행합니다. 18 

The UGRC recommended significant resources in the form of improved career advising and a reliable database of residency information, 24 but resources alone are unlikely to be sufficient. The UGRC also recommended pilot interventions to solve the problem, 24 but the evaluation of the pilots will sit at the crux of a key tension: how the placement of applicants into residency positions can serve both the preferences of individuals and the public good. The ideal process will balance matching as many applicants as possible into their preferred programs, while also distributing physicians across all specialties and geographic regions. In this ideal process, the system will perform these tasks at a cost that is appropriate for applicants and the health care system, without unnecessarily diverting resources from the clinical or educational enterprise. 18 

이해관계자마다 이러한 긴장의 각 측면을 다르게 평가할 것입니다. 예를 들어, 임상 리더십은 환자 치료에 미치는 영향을 줄이는 데 가장 관심이 있는 반면, 지원자와 프로그램 디렉터는 매칭률을 최적화하는 데 가장 관심이 있을 수 있습니다. 따라서 형평성, 복지, 공익에 중점을 두고 전반적인 시스템을 모니터링할 그룹을 임명하는 것이 중요합니다. 이해관계자의 요구를 신중하게 균형 있게 고려하고 시스템 내의 역동적인 변화에 적절히 유연하게 대응할 수 있는 국가 차원의 지속적인 품질 개선 위원회가 UGRC에서 UME-GME 전환의 변화를 시작하는 데 가장 중요한 촉진자로 선정한 이유도 바로 이 때문입니다:

Different stakeholders will valuate each aspect of this tension differently. For example, clinical leadership may be most concerned with reducing impact on patient care, while applicants and program directors may be most interested in optimizing match rates. Therefore, it is important to appoint a group to monitor the overall system, with an emphasis on equity, well-being, and the public good. These are the reasons that a national continuous quality improvement committee that would thoughtfully balance stakeholder needs and respond with appropriate flexibility to dynamic changes within the system was identified by the UGRC as the most important facilitator to initiating change in the UME-GME transition:

  • 이행된 권고안의 의도된 영향과 의도하지 않은 영향에 대한 평가를 포함하여 UME-GME 전환의 전체 프로세스에 대한 지속적인 품질 개선을 관리하기 위해 국가 차원의 지속적인 위원회를 소집합니다. (권고안 1) 24
    Convene a national ongoing committee to manage continuous quality improvement of the entire process of the UME-GME transition, including an evaluation of the intended and unintended impact of implemented recommendations. (Recommendation 1) 24

결론
Conclusions

요약하면, UME에서 GME로의 전환은 현재 기능 장애가 악화되고 있는 더 큰 의료 시스템 내의 생태계로 구성되어 있으며 사려 깊고 조율된 시스템 차원의 개입이 필요합니다. UGRC는 시스템 사고 프레임워크를 사용하여 UME-GME 전환의 구성 요소, 연결성, 목적을 조사했습니다. RCA는 문화, 비용 및 제한된 리소스, 편견, 시스템, 표준 부족 및 조정 부족과 관련된 영역을 확인했습니다. 이러한 결과와 밝혀진 구성 요소 간의 연관성을 바탕으로 UGRC는 실제 상태와 이상적인 상태 사이의 격차를 줄이기 위해 리소스를 제공하고 균형을 맞추기 위한 초기 권장 사항을 만들었습니다. 지원자, 프로그램 및 공익에 더 나은 서비스를 제공하기 위해 개입이 프로세스를 발전시킬 수 있도록 지속적인 모니터링이 필요합니다. 이러한 모니터링을 제공하기 위한 그룹을 구성하려면 CoPA의 회원 조직 간의 지속적인 협력이 필요합니다. 
In summary, the transition from UME to GME comprises an ecosystem within the larger health care system that currently suffers worsening dysfunction and requires thoughtful, coordinated, system-level intervention. The UGRC used a systems thinking framework to investigate the components, connections, and purpose of the UME-GME transition. An RCA identified domains related to culture, costs and limited resources, bias, systems, lack of standards, and lack of alignment. Based on these findings and the connections among the revealed components, the UGRC made initial recommendations to provide resources and implement balancing forces to narrow the gap between the actual and ideal state. Sustained monitoring will be necessary to ensure interventions move the process forward to better serve applicants, programs, and the public good. Creating a group to provide this monitoring will require continued collaboration among the member organizations of the CoPA.

 


Acad Med. 2023 Feb 1;98(2):180-187. doi: 10.1097/ACM.0000000000005065. Epub 2023 Jan 20.

The Undergraduate to Graduate Medical Education Transition as a Systems Problem: A Root Cause Analysis

Affiliations collapse

Affiliations

1J.L. Swails is residency program director, codirector of interprofessional education, and associate professor, Department of Medicine, McGovern Medical School, University of Texas Health Science Center, Houston, Texas; ORCID: http://orcid.org/0000-0002-6102-831X .

2S. Angus is designated institutional official, vice-chair for education, and professor, Department of Medicine, University of Connecticut School of Medicine, Farmington, Connecticut.

3M.A. Barone is vice president of competency-based assessment, NBME, Philadelphia, Pennsylvania, and adjunct associate professor of pediatrics, Johns Hopkins University School of Medicine, Baltimore, Maryland.

4J. Bienstock is professor of gynecology and obstetrics, associate dean for graduate medical education, and designated institutional official, Johns Hopkins University School of Medicine, Baltimore, Maryland.

5J. Burk-Rafel is assistant professor of medicine and assistant director of UME-GME innovation, Institute for Innovations in Medical Education, NYU Grossman School of Medicine, New York, New York.

6M.A. Roett is professor and chair, Department of Family Medicine, Georgetown University Medicine Center, and clinical chief of family medicine, MedStar Georgetown University Hospital, Washington, DC.

7K.E. Hauer is associate dean for competency assessment and professional standards and professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California.

PMID: 36538695

DOI: 10.1097/ACM.0000000000005065

Abstract

The transition from undergraduate medical education (UME) to graduate medical education (GME) constitutes a complex system with important implications for learner progression and patient safety. The transition is currently dysfunctional, requiring students and residency programs to spend significant time, money, and energy on the process. Applications and interviews continue to increase despite stable match rates. Although many in the medical community acknowledge the problems with the UME-GME transition and learners have called for prompt action to address these concerns, the underlying causes are complex and have defied easy fixes. This article describes the work of the Coalition for Physician Accountability's Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC) to apply a quality improvement approach and systems thinking to explore the underlying causes of dysfunction in the UME-GME transition. The UGRC performed a root cause analysis using the 5 whys and an Ishikawa (or fishbone) diagram to deeply explore problems in the UME-GME transition. The root causes of problems identified include culture, costs and limited resources, bias, systems, lack of standards, and lack of alignment. Using the principles of systems thinking (components, connections, and purpose), the UGRC considered interactions among the root causes and developed recommendations to improve the UME-GME transition. Several of the UGRC's recommendations stemming from this work are explained. Sustained monitoring will be necessary to ensure interventions move the process forward to better serve applicants, programs, and the public good.

구름낀 푸른하늘: 의대생-전공의 이행에서의 지속적 긴장을 식별하고 미래의 이상적 상태 그리기(Acad Med, 2023)
Blue Skies With Clouds: Envisioning the Future Ideal State and Identifying Ongoing Tensions in the UME–GME Transition
Karen E. Hauer, MD, PhD, Pamela M. Williams, MD, Julie S. Byerley, MD, MPH,
Jennifer L. Swails, MD, and Michael A. Barone, MD, MPH

 

 

의학교육의 목적은 환자의 요구를 충족하고 점점 더 다양해지는 인구를 돌볼 수 있는 지식, 기술, 태도(역량)를 갖춘 의사를 양성하는 동시에 공익을 위해 봉사하는 의료계의 의무를 이행하는 것입니다. 1 의학교육은 또한 COVID-19 팬데믹과 조직적 인종차별을 포함하여 건강과 웰빙에 대한 현재의 도전에 맞설 준비가 된 강력한 인력을 확보하고 지원하기 위해 수련생과 의사의 웰빙에도 관심을 기울여야 합니다. 2,3 이러한 널리 지지되는 목표에도 불구하고 현재의 단계적 의사 수련 과정은 어려움을 겪고 있습니다. 4,5

  • 교육 연속체 전반에 걸쳐 조정이 제대로 이루어지지 않고,
  • 수련의 진도를 의료 요구에 맞추지 못하며,
  • 여러 이해관계자에게 스트레스를 유발하고,
  • 수련의와 교육자의 시간, 에너지, 자원을 과도하게 소비하는 

The purpose of medical education is to prepare physicians with the knowledge, skills, and attitudes (competencies) to meet patient needs and care for an increasingly diverse population while fulfilling the medical profession’s obligation to serve the public good. 1 Medical education also needs to attend to trainee and physician well-being to ensure and support a robust workforce prepared to confront current challenges to health and wellness, including the COVID-19 pandemic and systemic racism. 2,3 Despite these widely endorsed aims, the current stepwise process of physician training

  • suffers from poor coordination across the educational continuum;
  • fails to align trainee progression with health care needs;
  • creates stress for multiple stakeholders; and
  • consumes excessive trainee and educator time, energy, and resources. 4,5

이러한 단점을 보여주는 특별한 문제점은 의과 대학에서 레지던트로 전환하는 과정입니다

  • [학생]들은 의과대학 4학년이 되면 교육적, 개인적 가치를 인식하지만,6 이 시기에는 주로 지원 절차에 집중합니다. 자기소개서와 2차 지원서 작성, 방문 로테이션 완료, 인터뷰 예약, 프로그램 방문을 위한 여행 등이 포함된 이 과정은 많은 재정적, 시간적 비용이 발생하며 재정적 여유가 있는 학생에게 유리합니다. 7-9 이 과정은 또한 전환에 관련된 다른 사람들에게도 부담을 줍니다. 
  • [의과대학 교육자]들은 재학생 및 예비 학생, 동료, 인증기관 사이에서 학교에 대한 우호적인 인식을 조성하기 위한 지속적인 노력의 일환으로 학생들이 원하는 레지던트 자리를 확보할 수 있도록 경쟁합니다. 
  • 한편 [레지던트 프로그램 디렉터, 직원 및 교수진]은 학생들이 많은 수의 지원서를 제출하도록 장려하는 시스템의 맥락에서 지원자에 대한 비슷한 수준의 정보가 포함된 수백 개의 지원서를 접수하고 처리합니다. 10 
  • 이러한 과중한 업무량을 관리하기 위해 교육계 리더들은 자기소개서 타겟팅, 추천서 구조화, 면접 제한 등 다양한 솔루션을 제안했습니다. 11-14 이러한 솔루션은 미국 의대 및 정골과 학생, 교육자, 레지던트 프로그램 디렉터 및 직원뿐만 아니라 미국 레지던트 자리를 확보하는 데 더 큰 장애물을 경험하는 국제 의대 학생 및 교육자에게도 지원 절차를 완화할 수 있는 잠재력을 가지고 있습니다. 14,15 

그러나 의과대학에서 레지던트로의 전환을 개선하기 위한 공식적이고 대규모적인 노력은 없었습니다.

A particular pain point demonstrating these shortcomings is the transition from medical school to residency.

  • While students recognize educational and personal value to the fourth year of medical school, 6 they largely focus this time on the application process. The process, which involves writing personal statements and secondary applications, completing visiting rotations, securing interviews, and traveling to visit programs, incurs high financial and time costs and advantages students with more financial resources. 7–9 The process also strains others involved in the transition.
  • Medical school educators vie to ensure their students secure desired residency positions as part of their ongoing efforts to foster favorable perceptions of their school among current and prospective students, peers, and accreditors.
  • Meanwhile, residency program directors, staff, and faculty receive and process hundreds of applications containing similarly glowing information about candidates, in the context of a system that incentivizes students to submit high numbers of applications. 10 
  • To manage this overwhelming workload, education leaders have proposed various solutions, including targeting personal statements, structuring letters of recommendation, and limiting interviews. 11–14 These solutions hold potential to ease the application process not only for U.S. medical and osteopathic students, educators, and residency program directors and staff but also for students and educators from international medical schools, who experience even greater hurdles to securing U.S. residency positions. 14,15 

But there has been no formal, large-scale effort to improve the transition from medical school to residency.

학부 의학교육에서 대학원 의학교육 검토 위원회(UGRC)
Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC)

2020년에 발표된 USMLE 1단계 점수 보고가 합격/불합격 결과만으로 변경되면서 학부 의학교육(UME)에서 의학전문대학원(GME)으로의 전환을 학습자, 프로그램, 잠재적으로 의료계에 도움이 되는 방식으로 완화하고 개선하는 논의가 촉발되었습니다. 16,17 [교육 연속성을 개선하기 위해 노력하는 이해관계자들이 모여 수련의와 의사에 대한 감독, 교육, 평가에 중점을 두는 단체]의사 책임성 연합(CoPA)은 학부 의학교육-의학전문대학원 교육 검토위원회에 전환을 개선하기 위한 권고안을 작성하도록 의뢰했습니다. UGRC는 학습과 건강을 최적화하고 수련의가 공익을 위해 봉사할 수 있는 역량을 갖추도록 교육 연속성을 추구하는 데 이해관계자를 통합하는 것을 목표로, 비효율성과 이해관계자 간 이해관계가 상충하는 현재의 프로세스를 혁신하기 위해 대규모 변화 관리를 수반했습니다. 변화 관리에는 필요한 변화의 목적과 범위를 이해하여 다양한 이해관계자를 원하는 상태로 안내하는 강력한 비전을 만들어야 합니다. 18,19 
The change in USMLE Step 1 score reporting to a pass/fail outcome only, announced in 2020, catalyzed discussions about easing and improving the transition from undergraduate medical education (UME) to graduate medical education (GME) in ways that would benefit learners, programs, and potentially health care. 16,17 The Coalition for Physician Accountability (CoPA), an organization that convenes stakeholders committed to improving the educational continuum and focuses on oversight, education, and assessment of trainees and physicians, charged the Undergraduate Medical Education to Graduate Medical Education Review Committee with crafting recommendations to improve the transition. The charge to the UGRC entailed large-scale change management to transform the current process, which is characterized by recalcitrant inefficiencies and competing stakeholder interests, with the goal to unify stakeholders in pursuing an educational continuum that optimizes learning and wellness and equips trainees to serve the public good. Change management requires understanding the purpose and scope of needed change to create a powerful vision that guides diverse stakeholders toward a desired state. 18,19

[공유된 비전]을 달성하려면 쉬운 해결책이 없는 UME-GME 전환의 현재 긴장을 인정해야 합니다. 상호 연결된 모든 우려 사항을 충분히 해결하지 못한 채 해결책에 조기에 집중하는 것을 피하기 위해 UGRC는 긴장을 해결하기보다는 인정하는 접근 방식인 양극성 사고를 채택했습니다. 20 양극성 사고는 의학 교육에서 학습자 평가의 긴장을 고려하는 데 유용한 프레임을 제공합니다. 21 양극성 또는 긴장은 서로 다른 장단점을 가진 스펙트럼의 두 극을 나타냅니다. 이해관계자의 서로 다른 가치관은 서로 다른 극의 상대적 장점에 대한 견해를 형성합니다. 조직이 수용의 태도와 긴장을 관리하려는 목표를 가지고 시스템 설계에 접근하면 복잡한 문제를 성공적으로 해결할 수 있습니다. 따라서 이 글의 목적은

  • (1) UGRC가 구상하는 이상적인 상태를 제시하고
  • (2) 양극성 사고를 사용하여 관리가 필요한 이상적인 시스템의 긴장을 이해하는 것입니다.

Achieving a shared vision requires acknowledging current tensions in the UME–GME transition that defy easy solutions. To avoid a premature focus on solutions that insufficiently address all interconnected concerns, the UGRC employed polarity thinking, an approach that acknowledges rather than solves tensions. 20 Polarity thinking provides a useful frame to consider tensions in learner assessment in medical education. 21 Polarities, or tensions, represent 2 poles of a spectrum with different advantages and disadvantages. Stakeholders’ different values shape their views of relative merits of different poles. When organizations approach systems design with an attitude of acceptance and a goal of managing tensions, they are positioned to succeed in tackling complex problems. Thus, the purpose of this article is to

  • (1) present the ideal state envisioned by the UGRC and
  • (2) use polarity thinking to understand tensions in the ideal system that will require management.

UGRC 방법
UGRC Methods

[학부 및 대학원 의학교육자, 국내 및 국제 의학교육 기관 회원, 일반인 회원, 학생, 레지던트, 의학박사 학위 수여 학교 및 정골의학 학교 대표 등 30명]으로 구성된 UGRC 위원들은 이상적인 상태의 전환을 위해 노력했습니다. 이상적인 상태를 구상하기 위해 UGRC는 문헌, 데이터 및 이해관계자 경험을 검토하여 UME-GME 전환의 문제점을 특성화했습니다. 결과 기반 교육의 원칙을 준수하면서22 UGRC는 현재의 우려 사항과 원하는 결과 사이의 격차를 해소하는 비전을 명확히 하기 위해 백워드 디자인 프로세스에 참여했습니다. 23
The 30 members of the UGRC included undergraduate and graduate medical educators, national and international medical education organizational members, public members, students, and residents, with representatives of MD-granting and osteopathic schools. To envision the ideal state, the UGRC reviewed literature, data, and stakeholder experience to characterize problems in the UME–GME transition. Adhering to tenets of outcomes-based education, 22 the UGRC engaged in a backward design process to articulate a vision that addresses the gap between current concerns and desired outcomes. 23

UGRC는 UME-GME 전환이 학습자, 교육자, 대중 등 모든 이해관계자에게 최적의 결과를 가져다주는 이상적인 상태를 성과로 정의했습니다. 24 이 "푸른 하늘" 접근 방식은 혁신을 불러일으키고 복잡한 문제를 해결하는 데 적합합니다. 25 회원들이 현상 유지에서 벗어나 대담하게 생각할 수 있는 충분한 시간을 갖도록 하기 위해 UGRC는 2개월 동안 UME-GME 전환을 위한 이상적인 상태를 개념화하는 데 전념했습니다. UGRC는 레지던트 지원 단계에 맞춰 4개의 작업 그룹을 구성하여 매치의 거래적 측면이 아닌 이상적인 전환 시스템을 구상했으며, 전환의 다음과 같은 측면을 포함했습니다:

  • (1) 레지던트 준비도(예: 학생 진로 상담, 역량 평가), 
  • (2) UME 관점에서의 지원 및 선발 과정의 메커니즘(예: 학생과 학교의 지원 및 선발 경험)  
  • (3) GME 관점에서의 지원서 선발 과정의 메커니즘(예: 지원서 검토, 면접, 후보자 순위), 
  • (4) 매칭 후 최적화(예: 학습자의 의과대학에서 레지던트로의 전환 지원). 

The UGRC defined outcomes as an ideal state in which the UME–GME transition produces optimal results for all stakeholders: learners, educators, and the public. 24 This “blue-skies” approach invites innovation and is well suited to addressing complex problems. 25 To ensure that members had adequate time to think boldly outside the status quo, the UGRC devoted 2 months to conceptualizing an ideal state for the UME–GME transition. The UGRC charged 4 work groups aligned with residency application stages to envision an ideal transition system, rather than just the transactional aspects of the Match, including the following aspects of the transition:

  • (1) residency readiness (e.g., student career advising, assessing competence);
  • (2) the mechanics of the application and selection process from the UME perspective (e.g., student and school experience with applications, interviews);
  • (3) the mechanics of the application selection process from the GME perspective (e.g., application review, interviewing, candidate ranking); and
  • (4) post-Match optimization (e.g., supporting learner transition from medical school to residency).

4개의 작업 그룹은 각각 7~8명으로 구성되었으며, 학생 및 레지던트 교육자, 기관 대표, 학습자, 일반인이 각 작업 그룹에 고루 분포되어 있습니다. 모든 작업 그룹에서 이상적인 상태를 위한 통일된 동인은 웰빙, 공익, 다양성, 형평성, 포용성에 대한 약속이었습니다.
Each of the 4 work groups included 7 to 8 members with student and resident educators, organizational representatives, learners, and members of the public distributed throughout the work groups. Unifying drivers for the ideal state across work groups were commitments to well-being; public good; and diversity, equity, and inclusion.

먼저, 각 작업 그룹은 전환의 각 부분에 대한 이상적인 상태를 개념화했습니다. 전체 UGRC는 각 이상적인 상태를 검토하고 구체화하여 그룹 간의 차이를 분석했습니다. 그런 다음 작업 그룹 리더는 복합적인 이상적인 상태를 생성했습니다. 복합 이상 상태의 타당성을 구축하고 시스템 설계를 성공적으로 안내하고 원하는 결과를 달성할 가능성을 높이기 위해 UGRC는 2020년 12월에 이 작업에 관심이 있는 103개 조직을 대상으로 설문조사를 통해 관련 이해관계자의 의견을 구했습니다. 주로 의대생(n = 10), 레지던트/펠로우(n = 1), 레지던트 프로그램 디렉터(n = 15), 사무직 디렉터(n = 8), 의료 협회(n = 11), 주 의사회(n = 53), CoPA 회원 단체(n = 5) 등이 참여했습니다. 32개의 응답을 받아 주제별로 정리했으며, 확인된 주제는 추가 구성 요소를 호출하지 않고 복합적인 이상적 상태 내용을 강화했습니다. 이상적인 상태 특성화는 이후 현재 상태와 이상적인 상태 사이의 격차를 탐색하고 이상적인 상태 구성 요소에 매핑된 권장 사항을 생성하는 UGRC 작업을 안내했습니다. 
First, each work group conceptualized an ideal state for their portion of the transition. The entire UGRC vetted and refined each ideal state and analyzed discrepancies across groups. Work group leaders then generated a composite ideal state. To build validity of the composite ideal state and increase the likelihood that it will successfully guide system design and achieve desired outcomes, the UGRC sought relevant stakeholder input via a survey in December 2020 of 103 organizations interested in this work. These primarily represented medical students (n = 10), residents/fellows (n = 1), residency program directors (n = 15), clerkship directors (n = 8), medical associations (n = 11), state medical societies (n = 53), and CoPA member organizations (n = 5). We received 32 responses, which we organized thematically; the identified themes reinforced composite ideal state content without invoking additional components. The ideal state characterization subsequently guided UGRC work exploring gaps between current and ideal states and generating recommendations mapped to ideal state components.

이상적 상태의 특성
Characterization of the Ideal State

UGRC는 다음과 같은 핵심 가치에 중점을 둔 시스템으로 이상적인 상태를 구상했습니다(그림 1).

  • 학습의 연속성을 촉진하고,
  • 관련된 사람들의 복지를 지원하고,
  • 다양성을 증진하고,
  • 편견을 최소화하고,
  • 공익에 기여하고,
  • 신뢰할 수 있는 정보와 결과를 제공

The UGRC envisioned a blue-skies ideal state as a system centered upon core values that

  • facilitate the continuum of learning,
  • support the well-being of those involved,
  • promote diversity,
  • minimize bias,
  • serve the public good, and
  • yield trustworthy information and results (Figure 1).

이상적인 UME-GME 전환은 공평하고 효율적이며 투명합니다. 24 표 1은 이상적인 전환이 학습자의 성장, 근거에 기반한 전문과목 선택, 역량 달성 및 개인 건강을 어떻게 지원하는지에 대한 개요를 제공합니다.

  • 학습자는 개인의 강점과 학습 요구를 인식하고 직업적 정체성 형성을 최적화하는 방식으로 의과대학에서 적합한 레지던트 프로그램으로 진급합니다.
  • 이 시스템은 학습자, 교육자 및 적절한 경우 규제기관을 위해 의미 있는 정보를 생성하는 도구를 사용하여 신뢰할 수 있는 역량 문서를 제공합니다.
  • 이 시스템은 프로그램 디렉터와 후원 기관에 지속 가능한 학습자 중심 경험을 제공합니다.
  • 이상적인 시스템은 의학교육 및 의료 시스템의 변화에 유연하게 적응할 수 있으며 지속적으로 개선됩니다.
  • 재정, 교육, 환자 치료, 복지 등의 비용은 가치를 극대화하고 이해 상충을 인식하며 공익을 지원할 수 있는 적절한 규모로 책정되어야 합니다.
  • 학습자는 다양한 환자 집단에 서비스를 제공하고, 격차를 최소화하며, 형평성을 높여 의료의 사회적 사명과 공적 계약을 이행할 준비가 되어 있습니다.
  • 의학교육 및 의료 시스템이 인종차별과 유해한 편견의 영향을 최소화하기 위해 노력함에 따라, 다양성은 모든 전문 분야, 프로그램 및 지리적 영역에 걸쳐 존재하고 중요시됩니다.
  • 교수진, 학습자 및 시스템 구조는 성장 마인드를 키우는 포용적인 학습 환경을 조성합니다.
  • 의대생은 신뢰할 수 있고 수준 높은 조언을 통해 궁극적으로 자신의 커리어를 책임질 수 있는 역량을 갖추게 됩니다.

The ideal UME–GME transition is equitable, efficient, and transparent. 24Table 1 provides an overview of how the ideal transition supports learner growth, evidence-informed specialty selection, achievement of competence, and personal wellness.

  • Learners progress from medical school to well-suited residency programs in a manner that recognizes their individual strengths and learning needs and optimizes professional identity formation.
  • The system provides trustworthy documentation of competence using tools that generate meaningful information for learners, educators, and where appropriate, regulators.
  • The system provides a learner-centered experience sustainable for program directors and sponsoring institutions.
  • The ideal system is flexibly adaptable to changes in medical education and health care systems; it is continuously improved.
  • Costs—financial, educational, patient care, well-being—are right-sized to maximize value, recognize conflicts of interest, and support the public good.
  • Learners are prepared to serve diverse patient populations, minimize disparities, and elevate equity to fulfill medicine’s social mission and public contract.
  • Diversity is present and valued throughout all specialties, programs, and geographic areas as medical education and health care systems act to minimize effects of racism and harmful bias.
  • Faculty, learners, and system structure cultivate inclusive learning environments that foster a growth mindset.
  • Medical students, supported by reliable and high-quality advising, are ultimately empowered to take responsibility for their career progression.

 

이 푸른 하늘의 비전은 매칭 전, 매칭 중, 매칭 후의 UME-GME 전환에 관한 것입니다. 위원회는 다음의 것들이 이상적인 상태에서 어떻게 나타날지 상상했습니다(표 1).

  • 웰니스,
  • 전공 선택,
  • 학습자 선발,
  • 역량,
  • 연속성 및 핸드오프,
  • 테크놀로지,
  • 라이선스 및 자격 인증,
  • 생애 전환,
  • 레지던트 시작 및 레지던트 환경

이러한 열망적인 사고는 UGRC 회원들로 하여금 학습자(미국 의대 및 정골 의학 졸업생, 미국 시민권자 국제 의학 졸업생[IMG], 미국 외 IMG), UME 및 GME 교육자, 대중에게 혜택을 주기 위해 현재 생태계의 개선과 변화를 구상하게 만들었습니다. 
This blue-skies vision attends to the UME–GME transition before, during, and after the Match. The committee envisioned how wellness, specialty selection, learner selection, competence, continuum and handoff, technology, licensing and credentialing, life transition, residency launch, and residency environment would manifest in an ideal state (Table 1). This aspirational thinking propelled UGRC members to envision enhancements and changes to the current ecosystem to benefit learners (medical and osteopathic U.S medical graduates, U.S. citizen international medical graduates [IMGs], and non-U.S. IMGs), UME and GME educators, and the public.

현재 상태의 긴장
Tensions in the Current State

UME-GME 전환의 [이상적인 상태에 대한 비전][실제 현재 상태] 사이에는 격차가 존재합니다. 이러한 격차는 학습자, 교육자, 레지던트 프로그램 및 대중의 가치관이 서로 관련되어 있지만 다양한 목표를 가지고 있기 때문에 존재하며, 이러한 목표의 차이로 인해 현재 UME-GME 전환에서 잘못된 조정과 실패를 초래합니다. 이러한 불일치와 실패는 사려 깊은 관심과 행동, 옹호로 관리하고 해결하지 않는 한 당분간 지속될 근본적인 긴장에 기반을 두고 있으며, 쉽게 해결되지 않을 것입니다.
Gaps exist between the vision for an ideal state and the actual current state of the UME–GME transition. These gaps exist because learners, educators, residency programs, and the public value related yet varied goals, and the differences in these goals result in misalignment and failings in the current UME–GME transition. These misalignments and failings are grounded in underlying tensions that will persist for the foreseeable future and defy easy solutions unless they are managed and addressed with thoughtful attention, action, and advocacy.

고베어츠와 동료들은 양극성 사고 모델을 설명하면서 긴장을 관리하기 위한 세 가지 단계, 즉 보기, 매핑, 탭핑/활용을 명확하게 설명합니다. 21 

  • 보기는 긴장의 존재를 인식하고 인정하는 것과 같습니다. 20,21 
  • 매핑은 긴장의 반대 극에 있는 긍정적인 측면과 부정적인 측면을 식별하는 것을 의미합니다. 
  • 태핑/활용에는 각 극의 장점을 극대화하고 단점을 최소화하기 위한 프로세스와 행동을 식별하는 것이 포함됩니다. 

In describing the Polarity Thinking model, Govaerts and colleagues articulate 3 steps for managing tensions: seeing, mapping, and tapping/leveraging. 21 

  • Seeing equates to recognizing and acknowledging the existence of the tension. 20,21 
  • Mapping entails identifying positive and negative aspects of opposite poles of the tension.
  • Tapping/leveraging involves identifying processes and actions to optimize upsides and minimize downsides of each pole.

아래에서는 문헌 검토와 UGRC 논의 참여를 바탕으로 파악한 UME-GME 전환의 3가지 핵심 긴장에 대해 설명합니다("보기"). 부록 디지털 부록 1은 각 긴장에 대한 극성 지도("매핑")를 보여줍니다. 표 2는 '양립' 관점("활용/활용")을 통해 긴장과 이를 관리할 수 있는 기회를 설명합니다. 우리는 교육 시스템과 전반적인 의료 시스템의 복잡한 상호 작용으로 인한 긴장을 포함하여 다른 긴장이 존재한다는 것을 인정합니다.
Below, we describe 3 central tensions in the UME–GME transition that we identified based on our review of the literature and participation in UGRC discussions (“seeing”). Supplemental Digital Appendix 1 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for each tension (“mapping”). Table 2 describes tensions and opportunities to manage them through a “both-and” lens (“tapping/leveraging”). We acknowledge that other tensions exist, including some driven by complex interactions of the educational system and overall health care system.

acadmed_2023_01_03_hauer_acadmed-d-21-02933_sdc1.pdf
1.11MB

학습과 성장을 위한 평가의 목적과 순위 및 서열화를 위한 평가의 목적 비교
The purpose of assessment for learning and growth versus ranking and sorting

의학교육자들은 자신의 지속적인 성장과 개선에 전념하는 의사를 대중에게 제공하고자 합니다. 의학 발전의 속도와 대부분의 의사가 정규 교육 이후에 경력을 쌓는 현실을 고려할 때, 평생 학습과 성장 마인드를 촉진하는 기술과 행동은 필수적입니다. 26-28 그러나 레지던트 선발 과정에서는 학생과 학교가 최고 성과자를 구별할 방법을 모색함에 따라 [성장 관련 행동]보다 [성과 관련 행동]이 더 강조되고 있습니다. 마찬가지로, 레지던트 지원서를 많이 받는 프로그램 디렉터들은 지원자의 학업 기록을 구별하고 신속하게 순위를 매기고 분류할 수 있는 의미 있는 평가 데이터를 찾고 있습니다.
Medical educators aspire to provide the public with physicians dedicated to their own continuous growth and improvement. Given the speed of medical advances and reality that the majority of physicians’ careers occur after formal education, skills and behaviors that promote lifelong learning and growth mindset are essential. 26–28 However, the residency selection process emphasizes performance-related behaviors more than growth-related behaviors as students and schools seek ways to distinguish top performers. Similarly, program directors receiving high numbers of residency applications seek meaningful assessment data to distinguish among the academic records of candidates and enable quick ranking and sorting.

이러한 현상은 학습자들 사이에 고정된 사고방식을 조장하고 평가 데이터에서 잠재적으로 잘못된 추론(예: 높은 시험 점수가 양질의 환자 치료를 예측한다는 것)을 가능하게 합니다. 사고의 리더와 교육 학자들은 평가가 성장을 위한 도구로 사용되기보다는 무기화되고 있다고 경고해 왔습니다. 29 UME-GME 전환 과정에서 관리되지 않은 이러한 긴장은 의과대학 전체에서 평가가 사용되고 평가되는 방식을 형성했습니다.

  • 레지던트 지원 시 신뢰도가 높은 총괄적 표준 객관식 시험에 초점을 맞추다 보니 순위 매기기와 분류에는 덜 유용하지만 학습이나 환자 진료에는 더 가치 있는 평가(예: 실무 기반 평가)의 개발과 채택이 부족해졌습니다. 30
  • 수치 점수의 작은 차이는 오차 범위 내에 있는 것으로 공개적으로 보고됨에도 불구하고 과도하게 해석됩니다. 31
  • 또한, 점수가 의도하지 않은 목적으로 사용될 경우, 시험 성과에 대한 잘못된 능력주의가 발생하여 성장 지향성을 소멸시키고 의학의 다양성과 포용성을 제한할 수 있습니다. 32,33

This current state manifests in the promotion of a fixed mindset among learners and enables potentially incorrect inferences from assessment data (e.g., that high exam scores predict quality patient care). Thought leaders and education scholars have warned that assessments are being weaponized rather than used as a tool for growth. 29 This unmanaged tension across the UME–GME transition has shaped how assessments are used and valued throughout medical school.

  • The focus on high-reliability summative, standardized, multiple-choice question exams as key currency in residency applications shortchanges the development and adoption of assessments that are less useful for ranking and sorting but more valuable for learning or patient care (e.g., workplace-based assessments). 30 
  • Small differences in numeric score performance are overinterpreted despite these being publicly reported as within margins of error. 31 
  • Furthermore, when scores are used for purposes for which they were not designed, a false meritocracy develops around examination performance that can extinguish growth-orientation and limit diversity and inclusion in medicine. 32,33

의학교육자는 평가 목적을 중심으로 두 극의 장점을 모두 발전시킬 수 있도록 평가 목표를 재구성해야 합니다. 신뢰도와 정밀도가 높은 평가 형식을 "목적에 맞는" 방식으로 사용하여 중요한 전환점에서 중요한 판단을 내릴 수 있습니다. 레지던트 프로그램 지도부가 인정하지 않는 국제학교 출신 지원자 등 GME 지원자에 대한 자세한 정보나 맥락이 부족한 경우, 면허 시험 점수는 의학 지식에 대한 최소한의 역량을 보장합니다. 임상의가 진단 테스트 데이터를 사용하여 해석하고 의사 결정을 내리는 것처럼 교육자는 현재 평가 형식의 강점과 한계(즉, 응시자에 대해 무엇을 나타낼 수 있고 무엇을 나타낼 수 없는지)를 이해하고 준수하기 위해 노력해야 합니다. 총체적인holistic 검토를 수행할 때 "목적에 맞는" 평가 데이터를 활용하면 지원자를 학습 및 경력 목표에 적합한 GME 프로그램에 매칭한다는 명시된 목표에 더 가까워질 수 있습니다. 그렇게 하지 않으면 레지던트 선발의 행정 업무량을 관리하기 위해 평가 데이터를 부적절하게 사용하는 일이 지속되고, 지원자 수를 줄이고 총체적holistic 검토를 수행하기 위한 프로그램 리소스를 강화할 필요성을 피할 수 없게 됩니다.
Medical educators must reframe goals for assessment to advance the upsides of both poles around assessment purpose. Assessment formats with high reliability and precision can be used in a “fit-for-purpose” manner to inform high-stakes judgments at significant transition points. When more detailed information or context about a GME applicant is less available (e.g., for an applicant from an international school unrecognized by residency program leadership), licensing examination scores ensure minimum competence in medical knowledge. Educators should commit to understanding and adhering to strengths and limitations of current assessments formats (i.e., what they can and cannot represent about candidates), just as clinicians interpret and make decisions using diagnostic test data. Leveraging assessment data as “fit-for-purpose” when conducting holistic review will get us closer to our stated goal that candidates match into GME programs well suited to their learning and career goals. Not doing so perpetuates the inappropriate use of assessment data to manage the administrative workload of residency selection and avoids the need to reduce application numbers and enhance resources for programs to conduct holistic review.

학습자 대 근로자로서의 레지던트의 기능
The function of residents as learners versus workers

GME 프로그램의 교육 목표와 현대 의료 시스템에서 레지던트의 기대치 사이의 단절은 '학습자'와 '근로자'를 겉보기에는 반대되는 극에 놓이게 합니다. 근무 시간 제한에도 불구하고 많은 임상 학습 환경은 여전히 번아웃을 유발하고34 체계적인 학습과 성찰을 위한 시간을 제한적으로만 허용합니다. 의료 시스템의 대규모 임상 운영을 유지하기 위해 GME 선발이 지속적인 학습을 희생하면서까지 즉각적인 인력 준비에 지나치게 집중되고 있습니다. 취업 준비성에 대한 이러한 강조로 인해 의과대학은 교육에 중요한 다른 역량을 가르치거나 평가 또는 보고하거나 절차적 기술이나 더 복잡한 임상 과제와 같이 졸업생이 아직 학습 중인 영역에 대해 보고하는 데 인센티브를 받지 못하고 있습니다. 35-37 UME 교육자들은 학생들이 완전한 역량을 갖추지 못한 것으로 비춰질 수 있는 정보를 보고하는 것을 두려워합니다. 부록 디지털 부록 2에는 이러한 긴장에 대한 극성 지도가 나와 있습니다. 
Disconnect between the educational goals of GME programs and the expectations of residents in modern health care systems places “learners” and “workers” on seemingly opposite poles. Despite work-hour restrictions, many clinical learning environments still contribute to burnout 34 and afford only limited time for structured learning and reflection. To maintain high-volume clinical operations of health systems, GME selection has become overly focused on immediate workforce readiness at the expense of ongoing learning. Because of this emphasis on work-readiness, medical schools are disincentivized to teach, assess or report on other competencies that are also critical to training, or report on areas where graduates are still learning, such as procedural skills or more complex clinical tasks. 35–37 UME educators fear reporting information that may portray students as less than fully competent and jeopardize their match. Supplemental Digital Appendix 2 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for this tension.

교육자는 양쪽 극의 장점을 모두 인식하여 이러한 긴장을 관리해야 합니다. UME와 GME는 UME-GME 전환 과정에서 학습자에게 적용되는 공통 프레임워크와 공통 역량 세트를 함께 정의하고 구현해야 합니다. 신규 레지던트는 첫날부터 업무에 기여할 수 있어야 하며, 점진적으로 독립적인 역할을 수행할 수 있도록 충분한 감독과 학습 기회를 제공하는 환경도 제공되어야 합니다. 레지던트 시작을 위한 현실적인 역량에 대해 UME와 GME를 더 잘 연계하고, 전환 전반에 걸쳐 개별화된 학습과 지원을 제공하는 학습자 인수인계를 통해 지속적인 학습자 개발을 가능하게 할 것입니다. 38 효과적인 시스템은 성과에 대한 반성, 경험을 통한 학습 및 개선에 대한 시연을 포함하여 양질의 임상 성과 및 환자 치료 결과와 관련된 모든 역량 영역에서 연속성을 따라 교육 성과를 식별하고 평가해야 합니다. 39 서비스와 교육에 대한 "양립적" 관점을 강조하면 성장 지향성을 촉진하고 학습자 사이에서 잠재적으로 파괴적인 성과 사고방식과 완벽주의를 제한할 수 있습니다. 이러한 교육 과정은 지속적인 회복탄력성과 교육에 대한 공동체 의식을 촉진합니다. 40 보건 시스템 전체는 교육 시스템이 주민들이 학습하고 개인 지식의 격차를 메울 수 있는 시간을 제공하는 데 필요한 재정 및 기타 자원을 제공해야 할 책임이 있습니다. 41
Educators must manage this tension by recognizing the upsides of both poles. UME and GME must together define and implement a common framework and a common set of competencies that apply to learners across the UME–GME transition. New residents should be expected to contribute to the workforce on day 1, and in turn, they should also be afforded an environment with ample supervision and learning opportunities to scaffold their progressively independent roles. Better alignment of UME and GME on realistic competencies for starting residency, along with learner handovers that inform individualized learning and support across the transition, will enable continued learner development. 38 An effective system should identify and value educational outcomes along the continuum in all competency domains related to high-quality clinical performance and patient care outcomes, including demonstration of reflection upon performance, learning through experience, and improvement. 39 Emphasizing the “both/and” view of service and education will promote growth orientation and limit potentially destructive performance mindsets and perfectionism among learners. Such a training path promotes enduring resilience and a sense of community around education. 40 The health system as a whole is responsible for providing the financial and other resources needed for the educational system to afford time for residents to learn and fill the gaps in their individual knowledge. 41

개인의 선호도와 직업 및 대중의 필요성 비교
Individual preferences versus needs of the profession and public

UME-GME 전환 과정에서 누구의 요구가 우선인지에 대한 긴장은 지속될 것입니다.

  • 한 쪽 극에는 통제에 대한 개인적 선호, 뛰어난 학벌, 미래 교육 기회, 교육 부채 상환 능력, 생활 방식에 대한 우려로 인한 개인의 요구가 있습니다.
  • 다른 극에는 전체 의학교육 시스템이 책임을 져야 하는 대중을 포함한 더 광범위한 시스템의 요구가 있습니다.

Within the UME–GME transition, the tension of whose needs are primary will persist.

  • On one pole are the needs of the individual, driven by personal preferences for control, distinguished academic pedigree, opportunities for future training, ability to repay educational debt, and lifestyle concerns.
  • On the other pole are the needs of the broader system, including the public to whom the whole medical education system is accountable.

이러한 상황은 선호하는 프로그램에서 선호하는 전공분야에 대한 수련을 계속하고 일치하지 않는 우려되는 결과를 피할 수 있는 [개인들의 자격entitlement]으로 나타날 수 있습니다.

  • 광범위한 의료 수요보다 의대생의 개인적 선호를 우선시하는 시스템은 환자에게 불이익을 줍니다.
  • 또한 경쟁과 계층 구조는 의료계의 핵심 가치는 아니지만,42,43 UME-GME 전환의 많은 측면에서는 경쟁적 우위를 중요시합니다. 44
  • 경쟁은 능력과 잠재력이 아니라 레지던트 또는 의사 성과와 관련이 의심스러운 특성에 근거하여 지원자 간의 계급class 차이를 유발합니다(예: 정골 의학 학교 또는 국제 의과 대학 출신 학생은 매치에서 절대적으로 불리함).
  • 이러한 계급 차이로 인해 지속되는 고정관념은 정골 의대 또는 국제 의대 출신 학생들이 경쟁이 치열한 전문과목이나 프로그램에 매칭될 가능성이 낮기 때문에 의료 수요에 비해 의사의 지리적 및 전문과목 불균형을 조장합니다. 45 부록 디지털 부록 3은 이러한 긴장에 대한 양극성 지도를 보여줍니다.

These circumstances may manifest as individual entitlement to continue one’s training in a preferred specialty at a preferred program and avoid the feared outcome of not matching.

  • A system that prioritizes the personal preferences of medical students over broader health care needs disadvantages patients.
  • Furthermore, although competitiveness and hierarchy are not core values of the profession, 42,43 many aspects of the UME–GME transition value competitive advantage. 44 
  • Competition prompts class differences among applicants, based not on ability and potential but rather on characteristics that are doubtfully related to residency or physician performance (e.g., students from osteopathic schools or international medical schools are categorically disadvantaged in the Match).
  • Stereotypes perpetuated from these class differences promote geographic and specialty maldistribution of physicians compared with health needs, as students from osteopathic or international medical schools are less likely to match into competitive specialties or programs. 45 Supplemental Digital Appendix 3 at https://links-lww-com-ssl.access.hanyang.ac.kr:8443/ACADMED/B324 shows the polarity map for this tension.

개인과 집단의 목표가 공존하는 보건의료 분야와 마찬가지로, 지원자의 개인적 선호와 집단적 요구 사이의 긴장은 UME-GME 전환에서도 지속될 것이므로 관리가 필요합니다. 이러한 긴장의 장점은 적절하게 조정된 인센티브와 공존할 수 있습니다. 개인이 특정 센터와 프로그램에 재능을 집중하기보다는 기술과 재능을 분산하도록 장려하고 인센티브를 제공해야 합니다. 사회적 불의에 맞서 싸우고자 하는 강한 동기를 가진 레지던트 지원자는 자원이 풍부한 학술 보건 센터 대신 작은 도시의 프로그램에 적합할 수 있습니다. 재정적 인센티브와 부채 탕감 프로그램을 만들어 지원자가 원하는 경력을 쌓을 권리를 침해하지 않으면서도 인력 부족 지역에서 수련과 실습을 선택하도록 장려할 수 있습니다. 46
Just as in health care, where individual and population goals coexist, tension between applicants’ personal preferences and collective needs will persist in the UME–GME transition and therefore must be managed. The upsides of this tension can coexist with properly aligned incentives. Individuals should be encouraged and incentivized to distribute skills and talent rather than to concentrate talents in select centers and programs. A residency applicant with strong motivation to combat social injustices may find an appropriate fit in a small urban program instead of a well-resourced academic health center. Financial incentives and debt relief programs can be created that encourage applicants to choose to train and practice in shortage areas without compromising their right to try for a desired career path. 46

토론
Discussion

이 원고는 권고 보고서에 요약된 UGRC의 푸른 하늘 비전을 통해 설명된 이상적인 UME-GME 전환을 개괄적으로 설명합니다. 24 이상적으로 이러한 전환은 학습자, 교육자 및 대중의 교육 및 복지 요구를 충족하는 조율되고 효율적인 시스템 내에서 이루어져야 합니다. 또한, 모든 학습자가 다양한 환자와 인구의 의료 요구를 충족할 수 있는 의사가 될 수 있는 기회를 가질 수 있도록 전환 과정 전반에 걸쳐 형평성을 증진해야 합니다. 또한 UGRC는 의과대학 및 레지던트 커리큘럼이 핵심 교육 콘텐츠로서 성장 마인드와 직업적 정체성 형성에 중점을 두어 의사가 UME-GME 전환과 실무에 적응하고 자신의 지식과 기술을 발전시킬 수 있도록 준비시킬 것을 명시적으로 권고합니다.
This manuscript outlines an ideal UME–GME transition articulated through the UGRC blue-skies visioning that is outlined in its recommendations report. 24 Ideally, this transition should occur within a coordinated, efficient system that meets the educational and wellness needs of learners, educators, and the public. Furthermore, equity should be promoted throughout the transition to ensure that all learners have opportunities to become physicians equipped to meet the health care needs of diverse patients and populations. The UGRC also explicitly recommends that medical school and residency curricula should focus on growth mindset and professional identity formation as core educational content to prepare physicians to adapt and advance their knowledge and skills through the UME–GME transition and into practice.

전환 시스템에서 혁신적인 변화가 일어나기 위해서는 내재된 긴장을 정의하고 관리하는 것이 매우 중요합니다. 지속적이고 새로운 과제를 해결하려면 역동적인 시스템 내에서 견제와 균형을 통해 세심한 모니터링, 관리, 협력이 필요합니다. 현재 목적과 재정적 인센티브가 서로 다른 개인, 프로그램, 조직의 이해관계가 더 잘 조율되면 일방적인 옹호보다는 이러한 긴장에 대한 균형 잡힌 시각이 촉진될 것입니다. 이러한 재조정을 촉진하기 위해 UGRC는 UME-GME 전환 시스템의 지속적인 품질 개선을 관리하기 위한 감독 위원회를 구성할 것을 권고했습니다.
For transformative change to occur in the transition system, it is critically important to define and manage its inherent tensions. Ongoing and emerging challenges require careful monitoring, management, and collaboration with checks and balances within a dynamic system. Greater alignment of individual, program, and organizational interests—all of which are currently misaligned in purpose and financial incentives—will promote balanced views of these tensions rather than one-sided advocacy. To promote this needed realignment, the UGRC has recommended that an oversight committee be created to manage continuous quality improvement of the UME–GME transition system.

평가의 목적(학습 대 순위 및 분류)과 레지던트의 역할(학습자 대 근로자)을 둘러싼 긴장은 교육 연속체 전반에 걸친 공통 역량 프레임워크, 역량과 연계된 평가, 구조화된 학습자 인계인수에 대한 주요 UGRC 권장 사항을 통해 해결됩니다. 이러한 공통 결과 프레임워크를 정의하기 위해서는 UME 및 GME 교육자 그룹이 협력하여 공통의 "목적에 맞는" 평가 도구 및 전략의 선택과 추가 개발을 가이드하는 데 사용해야 합니다. 필수 술기를 수행하는 학습자를 직접 관찰하는 것을 강조하는 평가는 현재 사용 가능한 점수 및 성적보다 피드백을 향상시키고 레지던트 성과를 예측하는 데 더 나은 정보를 생성할 수 있습니다. 44,47 학생이 멘토와 함께 작성한 후 새로운 레지던트 프로그램 디렉터와 함께 다시 방문하는 [매칭 후 개별화된 학습 계획]은 UGRC 권장사항에 언급된 대로 레지던트로의 전환을 보다 효과적으로 안내하는 데 사용될 수 있습니다. 
Tensions around the purpose of assessment—for learning versus for ranking and sorting—and around the role of residents—as learners versus workers—are addressed through key UGRC recommendations for a common competency framework across the educational continuum, assessments aligned with competencies, and structured learner handovers. A collaborative UME and GME educator group is needed to define this common outcomes framework, which should then be used to guide the selection and further development of common “fit for purpose” assessment tools and strategies. Assessments that emphasize direct observation of learners conducting essential skills can enhance feedback and generate better information to predict residency performance than currently available scores and grades. 44,47 A post-Match individualized learning plan that a student creates with a mentor and then revisits with their new residency program director can be used to more effectively guide the transition to residency, as noted in the UGRC recommendations.

개인적 이익과 집단적 이익 사이의 긴장을 해소하기 위해 UGRC는 전문과목에서 인력 및 다양성 평가를 실시하여 어떤 유형의 수련의와 의사가 어디에 필요한지 결정하고 공평한 채용 관행을 위한 교육에 참여할 것을 권장합니다. 필요한 변화를 유도하기 위해 교육자들은 사회 정의, 건강 및 재정적 목표에 봉사하는 자체 인력을 강화하기 위한 일부 경쟁력 있는 전문과목 및 프로그램의 노력을 바탕으로 성공적인 채용에 대한 관점을 확장할 수 있습니다. 48,49 

To address the tension around individual versus collective good, the UGRC recommends that specialties conduct workforce and diversity evaluations to determine which types of trainees and physicians are needed and where and engage in training for equitable recruitment practices. To prompt needed change, educators can expand their view of a successful recruitment by building on efforts of some competitive specialties and programs to strengthen their own workforce in service to social justice, health, and financial aims. 48,49 

투명성과 형평성을 증진하기 위해 UGRC는 학생과 지도교수가 레지던트 프로그램 지원자의 특성, 초대, 인터뷰 및 결과에 대한 검색 가능한 데이터베이스에 액세스할 수 있어야 한다고 권장합니다. 또한 UGRC는 단순히 선택적 개선 사항으로 제공되는 것이 아니라 모든 프로그램에서 UME 및 GME 학습자에게 웰니스 지원을 의무화할 것을 권장합니다. 이러한 지원에는 UME 프로그램에서 GME 프로그램으로 전환하는 데 필요한 시간과 리소스, 간소화된 초기 라이선스 절차가 포함되어야 합니다.

To promote transparency and equity, the UGRC recommends that students and advisors should have access to a searchable database about residency program applicant characteristics, invitations, interviews, and outcomes. The UGRC also recommends that wellness supports be required for UME and GME learners across programs, not simply offered as optional enhancements. These supports should include time and resources for moving from a UME to GME program and streamlined initial licensing procedures.

이상적인 상태는 단기간에 또는 타협 없이 달성할 수 없습니다. 이러한 장밋빛 비전은 비현실적이거나 비현실적인 것으로 간주되는 콘텐츠에 대한 질문을 불러일으킬 것입니다. 모두를 위한 복지를 최적화하고 모든 지원자가 전공의 수련을 위한 충분한 준비와 신뢰를 갖출 수 있을까요? 환자 안전에 있어 무사고라는 이상적인 개념과 마찬가지로, 열망하는 이상적인 상태를 설명하는 것은 교육적 변화를 주도합니다. 이러한 장밋빛 비전을 달성하기 위해서는 작은 변화와 조기 승리가 중요하며, 지속적인 유연성과 적응도 필요합니다.
An ideal state cannot be achieved quickly or without compromise. This blue-skies vision will prompt questions about content deemed impractical or unrealistic. Can we optimize well-being for all and ensure every applicant is fully prepared and trustworthy for residency? Like the ideal concept of zero harm in patient safety, 50 describing the aspirational ideal state drives educational change. To achieve this blue-skies vision, small changes and early wins will be critical, as will ongoing flexibility and adaptation.

이 원고는 UME-GME 전환의 주요 긴장을 탐구하지만, 저자들은 다른 긴장도 존재한다는 것을 인식하고 있습니다. 예를 들어, UGRC는 의사 지불 및 급여 문제를 그룹의 책임 범위를 벗어난 것으로 파악했습니다. 이상적인 상태를 상상하는 것은 당연히 아직 존재하지 않는 시스템을 상상하는 것을 수반하며, 따라서 현재 증거 기반에는 이러한 이상을 달성하는 데 필요한 단계를 뒷받침할 증거가 부족합니다. 이상적인 상태로 나아가기 위해서는 결과를 입증하고 증거 기반을 구축하기 위한 점진적인 연구가 필요합니다. UGRC는 UME-GME 전환 전반에 걸쳐 형평성을 우선시하지만, 블루 스카이 시스템조차도 모든 참여자에게 공평한 결과를 보장하지 못할 수 있음을 인식하고 있습니다. 
While this manuscript explores major tensions in the UME–GME transition, authors recognize that other tensions exist as well. For example, the UGRC identified challenges in physician payment and salary as beyond the scope of the group’s charge. Envisioning the ideal state naturally entails imagining a system that does not yet exist, and as such, the evidence base currently lacks evidence to support the steps needed to achieve this ideal. To move toward the ideal state, incremental research is needed to demonstrate outcomes and build the evidence base. Despite prioritizing equity throughout the UME–GME transition, the UGRC recognizes that even a blue-skies system may not ensure equitable outcomes for all participants.

결론적으로, UGRC는 학습 및 건강 목표를 달성하는 데 필요한 시스템 설계를 안내하는 이상적인 상태를 구상했습니다. UGRC 회원들은 지속되는 주요 긴장을 인식했습니다.

  • 평가의 목적: 순위 및 분류 지원 대 학습 지원
  • 교육생의 역할: 학습자 대 근로자
  • 개인의 필요와 희망 대 공동의 이익

학습자와 교육자는 이러한 긴장을 제거하거나 해결할 수는 없지만, 이를 인식하고 여러 이해관계자의 관점에 대한 협력과 개방성을 통해 이를 관리하는 데 다시 집중해야 합니다. 학습자와 프로그램 간의 적합성을 최적화하는 조율되고 효율적인 UME-GME 전환이라는 더 큰 비전에 대한 공동의 약속은 이를 달성하기 위해 필요할 수 있는 희생과 타협을 정당화합니다. 웰빙, 다양성, 형평성, 포용성, 공익에 대한 의료계의 약속에 초점을 맞추는 것은 시스템을 보다 이상적인 상태로 이끄는 데 매우 중요합니다.
In conclusion, the UGRC has envisioned an ideal state to guide system design needed to achieve learning and health goals. UGRC members recognized key tensions that persist around

  • the purposes of assessment to support ranking and sorting versus learning,
  • the roles of trainees as both learners and workers, and
  • the needs and wishes of the individual versus the collective good.

While learners and educators cannot eliminate or solve these tensions, they must recognize them and refocus on managing them through collaboration and openness to multiple stakeholder perspectives. A shared commitment to the larger vision of a coordinated and efficient UME–GME transition that optimizes fit between learners and programs justifies the sacrifices and compromises that may be required to achieve it. Maintaining focus on medicine’s commitments to wellness, diversity, equity, inclusion, and the public good will be critical to guide the system toward a more ideal state.

 


Acad Med. 2023 Feb 1;98(2):162-170. doi: 10.1097/ACM.0000000000004920. Epub 2022 Aug 9.

Blue Skies With Clouds: Envisioning the Future Ideal State and Identifying Ongoing Tensions in the UME-GME Transition

Affiliations collapse

Affiliations

1K.E. Hauer is associate dean for competency assessment and professional standards and professor, Department of Medicine, University of California, San Francisco School of Medicine, San Francisco, California; ORCID: http://orcid.org/0000-0002-8812-4045 .

2P.M. Williams is associate dean for student affairs and professor, Department of Family Medicine, Uniformed Services University of the Health Sciences, F. Edward Hébert School of Medicine, Bethesda, Maryland.

3J.S. Byerley was interim dean, University of North Carolina Adams School of Dentistry, and professor of pediatrics, University of North Carolina School of Medicine, Chapel Hill, North Carolina, at the time of writing and is now president and dean, Geisinger Commonwealth School of Medicine, Scranton, Pennsylvania.

4J.L. Swails is residency program director, codirector of interprofessional education, and associate professor, Department of Medicine, McGovern Medical School, University of Texas Health Science Center, Houston, Texas; ORCID: http://orcid.org/0000-0002-6102-831X .

5M.A. Barone is vice president, competency-based assessment, NBME, Philadelphia, Pennsylvania, and adjunct associate professor of pediatrics, Johns Hopkins University School of Medicine, Baltimore, Maryland; ORCID: http://orcid.org/0000-0002-4724-784X .

PMID: 35947473

DOI: 10.1097/ACM.0000000000004920

Abstract

The transition from medical school to residency in the United States consumes large amounts of time for students and educators in undergraduate and graduate medical education (UME, GME), and it is costly for both students and institutions. Attempts to improve the residency application and Match processes have been insufficient to counteract the very large number of applications to programs. To address these challenges, the Coalition for Physician Accountability charged the Undergraduate Medical Education to Graduate Medical Education Review Committee (UGRC) with crafting recommendations to improve the system for the UME-GME transition. To guide this work, the UGRC defined and sought stakeholder input on a "blue-skies" ideal state of this transition. The ideal state views the transition as a system to support a continuum of professional development and learning, thus serving learners, educators, and the public, and engendering trust among them. It also supports the well-being of learners and educators, promotes diversity, and minimizes bias. This manuscript uses polarity thinking to analyze 3 persistent key tensions in the system that require ongoing management. First, the formative purpose of assessment for learning and growth is at odds with the use of assessment data for ranking and sorting candidates. Second, the function of residents as learners can conflict with their role as workers contributing service to health care systems. Third, the current residency Match process can position the desire for individual choice-among students and their programs-against the workforce needs of the profession and the public. This Scholarly Perspective presents strategies to balance the upsides and downsides inherent to these tensions. By articulating the ideal state of the UME-GME transition and anticipating tensions, educators and educational organizations can be better positioned to implement UGRC recommendations to improve the transition system.

필요하지만 충분하지 않고, 어쩌면 반생산적인 것: 강의평가의 복잡한 문제(Acad Med, 2023)
Necessary but Insufficient and Possibly Counterproductive: The Complex Problem of Teaching Evaluations
Shiphra Ginsburg, MD, MEd, PhD, and Lynfa Stroud, MD, MEd

 

 

임상 교사의 성과 평가는 수십 년 동안 연구와 논쟁의 대상이 되어 왔습니다. 문헌에는 학생의 교사 평가에 대한 증거를 검토하거나 더 나은 평가 도구를 만들려는 논문이 넘쳐납니다. 1-3 이러한 방대한 문헌에도 불구하고 교수 평가(TE)는 여전히 문제가 되고 있습니다. 예를 들어, 학생의 평가가 학습과 관련이 있다는 증거는 거의 없지만, 우리는 이러한 평가를 거의 전적으로 교사에 대한 평가 및 피드백으로만 활용하고 있습니다. 특정 환경에서는 타당성이 있다는 증거가 있지만,4,5 TE는 다양한 형태의 편견에 노출될 수 있으며 교사의 신체적 매력이나 성격과 같이 구성과 무관한 요인에 의해 혼동될 수 있는 것으로 알려져 있습니다. 6 또한 이러한 도구의 형성적(즉, 교사의 향상을 돕기 위한) 목적과 요약적(예: 승진을 위한) 목적의 구분이 모호해졌습니다. 
The evaluation of clinical teachers’ performance has been a subject of research and debate for decades. The literature is rife with papers that either review the evidence for students’ evaluations of teachers or attempt to create better rating instruments. 1–3 Despite this extensive literature, teaching evaluations (TEs) remain problematic. For example, there is little evidence that students’ evaluations are associated with learning, yet we rely on these evaluations almost exclusively as assessments of and feedback to teachers. While there is some evidence of validity in certain settings, 4,5 TEs are subject to many forms of bias and are known to be confounded by construct-irrelevant factors, such as the teacher’s physical attractiveness or personality. 6 We have also blurred the distinction between formative (i.e., to help teachers improve) and summative (e.g., for promotion) purposes of these tools.

이러한 한계에도 불구하고 TE는 교사를 승진시키고, 종신 재직 기간을 부여하고, 상을 수여하는 데 사용되어 왔으며, 이는 모두 우수한 가르침의 가치를 강조하는 데 도움이 될 수 있습니다. 그러나 TE는 승진을 거부하고 교원의 진급을 막는 데에도 사용되었습니다. 일부 교육기관에서는 학습자의 교수 점수가 임상 교사의 재정적 보상에 영향을 미치기도 합니다. 따라서 동일한 도구가 보상 또는 징벌 목적으로 사용될 수 있습니다. 교수진에게 TE가 차지하는 비중이 매우 크다는 점을 고려할 때 교수진이 이러한 도구가 구현되는 방식에 만족하지 못하는 것은 당연한 일일까요? 7,8 이 해설에서는 TE의 목적, 실제 업무, 전반적인 영향에 대한 문헌을 간략하게 검토합니다. 그런 다음 앞으로의 생산적인 방법을 고려합니다.  
Regardless of these limitations, TEs have been used to promote teachers, award tenure, and bestow awards, all of which may serve to emphasize the value of excellent teaching. But TEs have also been used to deny promotion and to hold faculty back from advancement. In some institutions, teaching scores from learners affect clinical teachers’ financial compensation. The same tools can therefore be used for rewarding or punitive purposes. Given that TEs carry so much weight for faculty, is it any wonder that faculty are not satisfied with how these tools are implemented? 7,8 In this commentary, we briefly review the literature on what TEs are meant to do, what they actually do in the real world, and their overall impact. We then consider productive ways forward.

열망과 의도된 목표: TE의 목적은 무엇인가요?
Aspirations and Intended Goals: What Are TEs Meant to Do?

표면적으로 학습자에게 교사에 대한 의견을 묻는 것은 당연한 일입니다. TE를 수집함으로써 학습자는 누가 자신을 가르치고 어떻게 가르치고 있는지에 대해 목소리를 낼 수 있습니다. 학습자는 교사를 평가함으로써 최고의 교사를 선발하여 보상하고 코칭이 필요하거나 심지어 해임해야 할 교사를 식별하는 데 도움을 줄 수 있습니다. 학습자는 이러한 관점에서 의견을 제시할 수 있는 유일한 집단일 수 있으므로 적대적인 학습 환경을 조성하는 교사에게 특히 중요합니다. 또한 교사가 학습자 중심의 접근 방식, 즉 학습자에게 반응하고, 학습자에게 필요한 것을 가르치고, 적절한 피드백을 제공하고, 학습자의 학습과 성장을 돕는 방식을 유지하도록 하는 데 도움이 됩니다. 
On the surface, asking learners for their opinions about their teachers makes sense. By collecting TEs, we ensure that learners have a voice in who is teaching them and how they are being taught. By evaluating teachers, students can help select for and reward the best individuals and identify those who may require coaching or even removal. This is especially important for teachers who create hostile learning environments, as learners may be the only group that can comment from this perspective. It also helps ensure that teachers maintain a learner-focused approach; that is, that they respond to their learners, teach them what they need, give appropriate feedback, and help learners learn and grow.

임상 교사에게 TE는 무엇이 중요한지 알려 줍니다. 평가 양식에 명시된 내용은 다양한 이해관계자(예: 교육생, 임상 교사, 병원 및 학계 지도자)에게 중요하다고 여겨지는 사항이며 성과에 대한 기대치를 설정합니다. 또한 TE를 통해 교사(특히 교육 트랙에 있는 교사)는 자신의 효과와 우수성에 대한 증거를 축적하여 승진 및 임기, 수상, 심지어 금전적 이득을 위해 자신이 잘 가르치고 있음을(충분히 가르치고 있음을) 보여줄 수 있습니다. 좋은 TE 도구는 성찰과 개선을 위한 코칭을 포함하는 교수 개발 시스템에 포함되는 것이 이상적입니다. 9 
For clinical teachers, TEs signal what is important. What is delineated on the evaluation form is what is seen to matter to various stakeholders (e.g., trainees, clinical teachers, hospital and academic leadership) and sets expectations for performance. TEs also allow teachers (especially those on education tracks) to accrue evidence of their effectiveness and even excellence to show they are teaching well (and enough) for purposes of promotion and tenure, for awards, and even for financial gain. Ideally, good TE tools should be embedded in faculty development systems that include reflection and coaching for improvement. 9

실제 성과: TE는 실제로 어떤 일을 하나요?
Real-World Performance: What Do TEs Actually Do?

증거에 따르면 TE가 실제로 교육을 잘 포착하지 못할 수도 있습니다. 놀랍게도 높은 평가를 받은 교사가 학생의 학습을 더 많이 또는 더 잘한다는 증거는 많지 않습니다. 고등 교육 교실 환경에서는 TE와 교실 학습 사이에 미미한 연관성만 있다는 연구 결과가 있습니다. 10 임상 환경에서는 교사가 학생의 진로 선택에 영향을 미칠 수 있지만, 이전 연구에 따르면 교사의 질과 학생의 성과 간에는 매우 미미한 영향이 있는 것으로 나타났습니다. 11 또 다른 연구에서는 성과가 낮은 교사에 대한 피드백이 오히려 교사의 성과를 악화시킨 것으로 나타났습니다. 12 어떤 면에서는 학생들이 일반적으로 자신이 가르치는 콘텐츠 영역이나 모범 교육 사례에 대한 전문 지식이 없다는 점을 고려할 때, 학습과 TE 간의 이러한 상관관계 부족은 놀라운 일이 아닐 수 있습니다. 
Evidence suggests that TEs may not actually capture teaching very well. Surprisingly, there isn’t much evidence that higher-rated teachers are associated with more or better learning in their students. In the higher education classroom setting, research has found that there are only tenuous links between TEs and classroom learning. 10 In the clinical setting, an older study showed quite minimal effects between teaching quality and students’ performance during clerkship, although teachers may have an effect on students’ career choice. 11 In another study, feedback to lower performing teachers actually made them worse. 12 In some ways, this lack of correlation between learning and TEs may not be surprising, given that students usually do not have expertise in either the content domain in which they are being taught or in best pedagogical practices.

학습이 아니라면 TE는 실제로 무엇을 측정할까요? TE를 대상으로 한 일부 연구에서 교사 평가는 카리스마, 성격, 상황의 영향을 받아 후광 효과가 크게 작용하는 것으로 나타났습니다. 6,13,14 교실이나 병동 로테이션에서 즐거움과 심리적 안정감이 중요하지 않다는 말은 아닙니다. 하지만 이러한 요소를 "가르치는 것"과 동일시하지 않도록 주의해야 합니다. 실제로 학습자에게 임상 교사를 평가하도록 요청할 때 대부분의 평가 척도에는 학습자를 존중하는 태도, 효과적인 피드백 제공, 가용성 등 가르침이나 교육과는 별개로 훨씬 더 광범위한 구성 요소가 포함되어 있습니다. 그러나 TE와 학습 간의 연관성을 살펴보는 연구는 표준화되고 수행하기 쉬운 학생의 지식 테스트에 주로 국한되어 있습니다. 분명한 것은 지식은 좋은 의사가 되기 위한 한 가지 측면일 뿐입니다. 한 흥미로운 연구에 따르면 레지던트들의 임상의사 평가는 환자들의 평가와 반비례하는 것으로 나타났는데, 이는 레지던트 평가가 좋은 의사가 되기 위한 중요한 요소를 놓치고 있을 수 있음을 시사합니다. 15 따라서 이러한 평가에는 위에서 설명한 구조와 무관한 요소도 포함되어 있으므로 전공의는 좋은 의사가 되기 위한 중요한 측면을 놓치고 있을 수 있습니다. 나프툴린과 동료들은 1973년에 발표한 논문에서 "학습에 대한 학생의 만족도는 학습했다는 착각에 불과할 수 있다"고 썼습니다. 16 
If not learning, what do TEs actually measure? In some studies of TEs, teacher ratings were subject to significant halo effects, being influenced by charisma, personality, and context. 6,13,14 This is not to say that enjoyment and psychological safety in a classroom or on a ward rotation are not important. But we should be careful not to equate these factors with “teaching.” Indeed, when we ask learners to evaluate their clinical teachers, most rating scales include much broader constructs apart from teaching or instruction, such as, among other things, treating learners with respect, providing effective feedback, and being available. Yet research looking at associations between TEs and learning are largely limited to tests of students’ knowledge, as they are standardized and easy to conduct. Clearly, knowledge is only one aspect of being a good physician. In one interesting study, ratings of clinicians by residents were inversely correlated with ratings by patients, suggesting that resident ratings may be missing important elements of what it means to be a good doctor. 15 Thus, TEs may be missing important aspects of being a good physician, as these evaluations also include the construct-irrelevant factors we described above. As Naftulin and colleagues wrote in a seminal article in 1973, “Student satisfaction with learning may represent little more than the illusion of having learned.” 16

또한, 모든 연구에서 효과가 나타나는 것은 아니며 모두 같은 방향으로 나타나는 것은 아니지만, TE는 종종 여성과 눈에 보이는 소수 집단에 대한 편견을 보이는 것으로 보고되었습니다. 최소한 학생들은 성별에 따라 교수진을 묘사할 때 다른 언어를 사용할 수 있습니다. 17,18 이것이 모든 전문 분야에서 여성의 TE 평가에 부정적인 영향을 미치지는 않지만,19,20 경우에 따라 성별 편견으로 인해 남성과 여성 간의 TE에 상당한 차이가 발생할 수 있습니다. 이는 특히 외과와 같이 교수진에서 여성의 비율이 낮은 전문과목에서 문제가 됩니다. 19-21 또한 성별과 인종/민족이 긍정적이든 부정적이든 교차 효과가 있을 수 있습니다. 22 
In addition, TEs have often been reported to show biases against women and individuals from visible minority groups, although effects are not seen in all studies and are not all in the same direction. At a minimum, students may use different language to describe faculty by gender. 17,18 While this may not negatively impact TE ratings of women in all specialties, 19,20 in some instances, gender bias may lead to significant differences in TEs between men and women. This is particularly problematic in specialties with a lower representation of women at the faculty level, such as in surgery. 19–21 There may also be intersectionality effects with gender and race/ethnicity, both positively and negatively. 22

또한 평가를 완료한 사람의 성별에 따라 교육 점수 및 의견에 차이가 있음을 확인했습니다. 18,20 따라서 학생과 교사 사이의 개별적인 역학 관계가 중요할 수 있지만, 이에 대한 조사는 거의 이루어지지 않고 있습니다. 인구통계학적 편견 외에도, 구조와 무관한 추가 항목이 의학에서 TE에게 긍정적인 영향을 미치는 것으로 나타났는데, 이러한 항목에는 교수진이 수련의에게 관여하는 정도,23 카리스마 및 신체적 매력,16,24 외향성,25 쿠키 제공 등이 있습니다. 6 TE가 편견에 취약한 정도를 고려할 때, 일부 교육기관에서는 승진 및 임기 결정을 위한 학생의 교육 평가를 허용하지 않는 경우도 있습니다. 26 
Additionally, we identified differences in teaching scores and comments based on the gender of the person completing the evaluation. 18,20 Individual dyadic relationships between student and teacher may therefore be important, yet they are rarely explored. Beyond demographic biases, additional construct-irrelevant items have been shown to positively influence TEs in medicine; these items include the perceived degree of faculty members’ involvement with trainees, 23 charisma and physical attractiveness, 16,24 extraversion, 25 and provision of cookies. 6 Given the extent to which TEs are vulnerable to bias, some institutions have gone so far as to disallow students’ evaluations of teaching for promotion and tenure decisions. 26

TE의 전반적인 영향은 무엇인가요?
What Is The Overall Impact of TEs?

위의 내용을 고려할 때 TE의 순 효과는 무엇일까요? TE의 신뢰성과 타당성에 대한 증거는 분명히 존재하지만, 특히 결과적 타당성에 대한 연구는 부족합니다. 5 하지만 위에서 언급한 바와 같이 단점도 있습니다. 즉, 관련 결과를 포함하는 직장 내 연구가 매우 제한적이기 때문에 TE의 이점과 잠재적 해로움의 순 효과를 판단하기는 어렵습니다. 교사는 좋은 교사가 되고 싶고 좋은 평가를 받기를 원하고 필요로 합니다. 이는 자신의 효과를 입증하고 개선에 도움이 되는 평가를 받는다는 것을 의미합니다. 그러나 임상 교사들은 외부뿐만 아니라 내부적으로도 이러한 평가가 갖는 힘과 무게에 대해 경계하고 있습니다. 부정적인 TE를 받아본 사람이라면 누구나 그것이 자존감, 자기 효능감, 직업적 정체성에 얼마나 위협적인지 느낄 수 있습니다. 7,27 이러한 감정은 TE의 익명성으로 인해 더욱 커질 수 있으며, 제공된 피드백을 개선에 활용하는 것도 어렵게 만듭니다. 문제가 발생한 지 [몇 달 후에 받은 익명 피드백]은 일반적으로 교사가 무엇이 잘못되었는지, 누구의 관점에서, 앞으로 어떻게 하면 더 잘할 수 있는지 이해할 수 있는 충분한 맥락이 부족합니다. 
Given the above, what is the net effect of TEs? There is clearly some evidence of the reliability and validity of TEs, although notably research on consequential validity is lacking. 5 Yet there are also drawbacks, as we noted above. So, the net effect of the benefits and potential harms of TEs is hard to determine, as research in the workplace that includes relevant outcomes is very limited. Teachers want and need to be good teachers and to get good evaluations. This means getting evaluations that demonstrate their effectiveness and help them improve. Yet clinical teachers are wary of the power and weight these evaluations hold, not just externally but also internally. Anyone who has ever received negative TEs can attest to how threatening it can feel to one’s self-esteem, self-efficacy, and professional identity. 7,27 These feelings may be heightened by the anonymity of TEs, which also makes it challenging to use the provided feedback to improve. Anonymous feedback received months after an encounter usually lacks sufficient context for the teacher to understand what went wrong, from whose perspective, and how they might do better in the future.

당연히 교사는 기존의 틀을 깨거나 새로운 교수법을 시도하거나 학습자가 너무 힘들어하거나 불편함을 느낄 수 있는 일을 하는 것을 꺼릴 수 있습니다. 고등 교육 환경에서는 더 쉬운 수업과 더 관대한 교사가 더 높은 평가를 받습니다. 28 실제로 우리는 이것이 오늘날 의학교육에서 가장 골치 아픈 문제라고 생각합니다. 경력 발전을 위해 학습자의 눈치를 보는 임상 교사는 필요할 때 학습자에게 정직하고 비판적인 피드백과 평가를 제공하지 못합니다. 29,30 이는 의미 있는 작업장 기반 평가 시스템을 만드는 데 있어 잠재적으로 치명적인 결함입니다. 수년 전 토론토 대학교의 한 연구에 따르면 교수진이 직장에서 학습자에게 부여하는 점수와 교사로서 받는 점수 간에 통계적으로 유의미한 관계가 있는 것으로 나타났습니다. 31 즉, 교수자가 부여하는 점수가 때때로 교수자가 받는 점수와 일치한다는 것입니다. "학생의 교수 평가는 부실한 교수를 조장하고 성적 인플레이션에 기여합니다."라는 제목의 기사에서 확인할 수 있습니다: 이론적 및 실증적 분석"이라는 제목의 글에서 스트로베는 다음과 같이 말합니다:
Understandably, teachers may be reluctant to rock the boat, to try new teaching methods or to do anything that may risk their learners feeling too challenged or even uncomfortable. In higher education settings, classes that are easier, and teachers who are more lenient, are rated more highly. 28 Indeed, we see this as the most vexing problem in medical education today. Clinical teachers who are beholden to their learners for career advancement are inhibited from giving honest, critical feedback and assessments to learners when required. 29,30 This is a potentially fatal flaw in creating a meaningful workplace-based assessment system. A study at the University of Toronto a number of years ago found a statistically significant relationship between the scores faculty assign to learners in the workplace and the scores they receive as teachers. 31 That is, the score you give is sometimes the score you get. In an article entitled, “Student Evaluations of Teaching Encourages Poor Teaching and Contributes to Grade Inflation: A Theoretical and Empirical Analysis,” Stroebe writes:

학생과 교수진은 암묵적인 협상 상황에 처해 있으며, 양측 모두 상대방에게 가치 있는 '좋은 것'을 가지고 있습니다. 교수진은 좋은 성적과 쉬운 강의를 제공할 수 있고, 학생은 긍정적인 [교수 평가]를 제공할 수 있습니다. 28 
Students and faculty are in an implicit negotiation situation, where each side has a “good” that is valuable to the other side. Faculty can provide good grades and easy courses, and students can provide positive [teaching evaluations]. 28

이 연구는 의료 환경에서 수행되지는 않았지만, 우리는 이러한 시나리오가 의학교육의 현상유지 수단으로 작용하는 것을 보았습니다. 우리는 자신을 위험에 빠뜨리지 않기 위해 모든 학습자에게 평가에서 4점과 5점을 주도록 후배 교수진에게 지시하는 선임 교수진을 알고 있습니다. 이 문제는 학습자가 우수한 임상의가 되기 위해 필요한 건설적이고 올바른 피드백을 박탈하고, 역설적으로 점수를 부풀리고 의미 있는 피드백을 제공하는 데 노력을 덜 기울이는 교수진에게 보상을 제공함으로써 시스템을 왜곡하는 매우 중요한 문제입니다.
While this study was not conducted in a health care setting, we have seen this scenario play out as a quid pro quo in medical education. We are aware of senior faculty who instruct junior faculty to give all learners 4s and 5s on their evaluations so as not to put themselves at risk. This issue is critical—it warps the system by depriving learners of the constructive and corrective feedback they need to become excellent clinicians and paradoxically rewards faculty who may inflate scores and put less effort into providing meaningful feedback.

이제 어디로 가야 할까요?
Where Do We Go From Here?

이 논평에서 저희는 TE 사용에 대한 수많은 위협에 대해 설명했습니다. 하지만 이 중요한 데이터 소스를 없애야 한다는 주장은 단 한순간도 하지 않을 것입니다. TE는 교사의 성장을 위한 중요한 피드백을 제공하며, 무엇보다도 교사가 설정한 학습 환경에 대한 정보, 즉 다른 방법으로는 얻을 수 없는 정보를 제공합니다. 문제는 교사의 교수 능력을 판단하는 유일한 기준으로 TE에 지나치게 의존하는 경우가 많다는 것입니다. 우리는 의학교육이 학습자에 대한 프로그램적 평가로 전환한 것처럼, 교수진의 교육 효과에 대한 프로그램적 평가로 전환할 때가 왔다고 제안합니다. 
In this commentary, we have outlined numerous threats to the use of TEs. However, we would not for a minute advocate that we should do away with this critical source of data. TEs provide important feedback for faculty growth and, vitally, they provide information about the learning environment a teacher establishes, information that may not be available otherwise. The problem is the overreliance on TEs as often the sole arbitrator by which a faculty member’s teaching skills are judged. We propose that, just as medical education has moved toward programmatic assessment of learners, the time has come to move toward programmatic evaluation of faculty teaching effectiveness.

이러한 프로그램 내에서 TE는 학생의 목소리를 제공하게 되는데, 이는 필수적이지만 그것만으로는 교육에 대한 불충분한 척도가 될 수 있습니다. 또한 TE를 구현하는 방법도 신중하게 고려해야 합니다.

  • 첫째, 측정 대상이 명확해야 합니다. 임상 환경의 많은 TE는 교육과 슈퍼비전 및 코칭과 같은 다른 기술을 혼동합니다. TE의 항목을 교사에게 평가하고자 하는 항목과 일치시키고 이를 교사와 학생 모두에게 명확하게 설명한다면 이는 그 자체로 문제가 되지 않습니다.
  • 둘째, TE에 사용되는 평가 척도는 주관적이고 잘 정의되지 않은 앵커가 아닌 특정 행동이나 기술에 초점을 맞추는 것이 이상적입니다.
  • 셋째, 학습자에게 익명으로 TE를 완료하는 것은 특권이며, 건설적이고 전문적이어야 할 책임이 수반되는 특권이라는 점을 인식시켜야 합니다.

Within such a program, TEs would provide the student voice, which is essential—but alone is an insufficient measure of teaching. We also need to be thoughtful about how TEs are implemented.

  • First, what is being measured must be explicit. Many TEs in the clinical setting conflate teaching with other skills, such as supervision and coaching. This is not in itself a problem as long as we align the items on TEs with what it is we wish to evaluate in teachers and make this explicit to both teachers and students.
  • Second, the rating scales used on TEs should ideally be focused on specific behaviors or skills, rather than on subjective, poorly defined anchors.
  • Third, there needs to be recognition that, for learners, completing TEs anonymously is a privilege, one that comes with a responsibility to be constructive and professional.

학습자와 교사 사이에 내재된 힘의 역학 관계를 고려할 때, 우리는 TE의 익명화를 반드시 옹호하지는 않지만, 이는 연구된 흥미로운 전망입니다. 32 드물기는 하지만 노골적으로 성차별적이거나 인종차별적이거나 인격을 비하하는 댓글은 비전문적이고 완전히 부적절합니다. 학교는 이러한 언어를 사용하는 학습자를 식별할 수 있는 투명한 메커니즘을 마련해야 하며, 이러한 행동을 전문성 문제로 간주하여 후속 조치를 취해야 합니다. 또한 학교는 TE로부터 이러한 댓글을 삭제하는 절차를 수립해야 합니다. 이상적으로는 학습자가 건설적이고 영감을 주는 내러티브 피드백을 제공하는 방법에 대한 교육과 훈련을 받아야 합니다. 
Recognizing the inherent power dynamic between learners and teachers, we would not necessarily advocate for de-anonymizing TEs, although this is an interesting prospect that has been studied. 32 While rare, comments that are overtly sexist, racist, or otherwise personally demeaning are unprofessional and totally inappropriate. Schools should have transparent, arms-length mechanisms for identifying learners who use such language and should follow up on these behaviors as a professionalism issue. Schools should also establish processes to remove such comments from TEs. Ideally, learners should receive education and training on how to provide constructive and inspirational narrative feedback.

그런 다음 TE 데이터의 사용 방법을 규정하는 강력하고 투명한 시스템을 마련해야 합니다. 예를 들어, 많은 학교에서는 표준 참조 범위를 사용하여 TE를 보고하고 상위 백분위수에 속하는 교직원을 기준으로 수상 대상자를 선정하는 경우가 많습니다. 그러나 이러한 관행은 두 가지 측면에서 문제가 있습니다. 

  • 첫째, 대다수의 교원이 매우 우수하거나 우수한 교원이기 때문에 상당한 천장 효과가 발생하고 상위 몇 백분위 수에 속하는 교원은 다른 백분위 수에 속하는 교원과 차이가 매우 큽니다.
  • 둘째, 이러한 극히 좁은 차이는 위에 나열된 수많은 편견의 영향을 받을 수 있습니다. 학습자의 경우와 마찬가지로, 허용 가능한 수준의 성과에 미치지 못하는 교사를 식별하는 데는 기준 참조 기준이 더 적합하지만, 뛰어난 교사를 식별하는 데는 다른 지표가 더 적합할 수 있습니다.

There must then be a robust, transparent system in place that dictates how TE data are used. For example, many schools use a norm-referenced range to report their TEs and often select faculty for awards based on those in the very top percentiles. However, this practice is problematic in 2 ways.

  • First, the vast majority of faculty are very good or excellent teachers, so there is a significant ceiling effect and those in the top few percentiles are a razor’s edge apart from those in the other percentiles.
  • Second, these extremely narrow margins may be influenced by the numerous biases listed above. Just as we do for learners, a criterion-referenced standard is more appropriate to identify those falling below an acceptable level of performance, but other metrics may be more appropriate to identify outstanding teachers.

그렇다면 프로그래밍 방식의 TE에 기여할 수 있는 다른 지표에는 어떤 것이 있을까요?

  • 우선, 레지던트를 위한 역량 기반 의학교육을 향한 움직임과 마찬가지로, TE에 포함된 서술적 의견에 더 중점을 두어야 하지만, 의견에도 한계가 없는 것은 아닙니다. 33 천장 효과를 고려할 때 이 점수는 분명히 교정이 필요한 저성과자를 식별하는 데만 도움이 된다고 주장할 수도 있습니다.
  • 그 대신, 교수진이 내년에 어떤 작업을 할 계획인지에 대한 의견과 반성을 시간이 지남에 따라 포트폴리오로 정리하는 것이 더 의미 있는 과정일 수 있습니다.
  • 일부 관할 지역에서는 교사에게만 공유되는 형성형 TE로 전환하는 방안이 고려되고 있습니다. 28 교사에게 제공되는 데이터의 종류와 관계없이 TE는 효과적인 교수자 개발 전략을 포함하는 시스템의 일부로 수집 및 사용되어야 합니다. 2
  • 단순히 학습자 피드백을 교사에게 전달하는 것만으로는 성장을 촉진하는 효과적인 방법이 아닙니다. 9

So, what might these other metrics be that could contribute to programmatic TEs?

  • To start, just as with the move toward competency-based medical education for residents, there should be a greater focus on the narrative comments included on TEs, although comments are not without their own limitations. 33 One might argue that the scores, given the ceiling effect, are only helpful in identifying low-performing outliers who clearly need remediation.
  • Instead, a deeper dive into the comments and reflection by faculty on what they plan to work on over the next year collated into a portfolio over time may be a more meaningful process.
  • Moving toward formative TEs that are shared only with the teacher is being considered in some jurisdictions. 28 Regardless of what data are provided to teachers, TEs should be collected and used as part of a system that includes effective faculty development strategies. 2 
  • Merely handing learner feedback to teachers is not an effective way to foster growth. 9

실제 TE 외에도 교수 효과에 대한 보다 완전하고 정보에 입각한 그림을 개발하기 위해 수집할 수 있는 추가 데이터 소스가 있습니다

  • 예를 들어, 교육 세션에 대한 동료 평가(예: 교육 라운드에 참석한 동료), 정기적인 공식 외부 TE학습 결과(측정하기 가장 어렵고 교육 효과의 성배), 포트폴리오, 다른 사람의 360도 평가 등이 모두 교육 효과에 대한 다각적이고 완전한 그림을 그리는 데 기여할 수 있습니다. 34 
  • 그러나 새로운 방법이나 프로세스가 단순히 추가 업무가 아니라 실제로 교수진에게 의미 있고 도움이 되는지 확인해야 합니다.

Beyond the actual TEs, there are additional sources of data that could be collected to develop a more fulsome and informed picture of teaching effectiveness.

  • For example, near-peer assessments of teaching sessions (such as from colleagues attending teaching rounds), periodic formal external TEs, learning outcomes (the most challenging to measure and holy grail of teaching impact), portfolios, and 360-degree evaluations from others may all contribute to a multi-pixelated, complete picture of teaching effectiveness. 34
  • However, we must ensure that any new methods or processes are actually meaningful and helpful for faculty and not just extra work.

마지막으로, 다소 도발적인 제안이지만, 학습자를 'fail to fail'하지 않는 교수진에게 더 큰 인정(어쩌면 상까지)을 제공할 것을 제안합니다. 상당한 시간과 에너지를 들여 어려움에 처한 학습자를 찾아내고, 그 학습자가 더 나은 의사가 될 수 있도록 지원하고, 가르치고, 코치하는 교수진은 우리 모두가 지향해야 할 교육자상입니다. 학습자가 성공하기 위해서는 이러한 지원이 필요하며, 환자를 보호해야 하는 우리의 의무도 이러한 지원을 요구합니다. 
Lastly, and somewhat provocatively, we propose greater recognition (perhaps even an award) for faculty who do not “fail to fail” learners. Those faculty who take the significant time and energy to identify a learner in difficulty and who then support, teach, and coach that individual to become a better doctor are the educators we should all aspire to be. Our learners need this support to succeed, and our obligation to protect our patients demands it.

 


Acad Med. 2023 Mar 1;98(3):300-303. doi: 10.1097/ACM.0000000000005006. Epub 2022 Oct 4.

Necessary but Insufficient and Possibly Counterproductive: The Complex Problem of Teaching Evaluations

Affiliations collapse

Affiliations

1S. Ginsburg is professor of medicine, Department of Medicine, Sinai Health System and Faculty of Medicine, University of Toronto, and scientist, Wilson Centre for Research in Education, University of Toronto, Toronto, Ontario, Canada, and Canada Research Chair in Health Professions Education; ORCID: http://orcid.org/0000-0002-4595-6650 .

2L. Stroud is associate professor, Department of Medicine and Sunnybrook Health Sciences Centre, and education researcher, Wilson Centre for Research in Education, University of Toronto, Toronto, Ontario, Canada.

PMID: 36538693

DOI: 10.1097/ACM.0000000000005006

Abstract

The evaluation of clinical teachers' performance has long been a subject of research and debate, yet teaching evaluations (TEs) by students remain problematic. Despite their intuitive appeal, there is little evidence that TEs are associated with students' learning in the classroom or clinical setting. TEs are also subject to many forms of bias and are confounded by construct-irrelevant factors, such as the teacher's physical attractiveness or personality. Yet they are used almost exclusively as evaluations of and feedback to teachers. In this commentary, the authors review the literature on what TEs are meant to do, what they actually do in the real world, and their overall impact. The authors also consider productive ways forward. While TEs are certainly necessary to provide the crucial student voice, they are insufficient as the sole way to assess teachers. Further, they are often counterproductive. TEs carry so much weight for faculty that they can act as a disincentive for teachers to challenge learners and provide them with the critical feedback they often need, lest students give them poor ratings. To address these challenges, changes are needed, including embedding TEs in a programmatic assessment framework. For example, TEs might be used for formative feedback only, while other sources of data, such as peer assessments, learning outcomes, 360-degree feedback, and teacher reflections, could be collated into a portfolio to provide a more meaningful evaluation for teachers. Robust, transparent systems should be in place that dictate how TE data are used and to ensure they are not misused. Clinical teachers who do not "fail to fail" learners but instead take the time and effort to identify and support learners in difficulty should be recognized and rewarded. Learners need this support to succeed and the obligation to protect patients demands it.

+ Recent posts