의학교육에서 기초의학 교수자의 전문직정체성형성 해체하기(Adv Health Sci Educ Theory Pract. 2022)
Deconstructing the professional identity formation of basic science teachers in medical education
Diantha Soemantri1,2 · Ardi Findyartini1,2 · Nadia Greviana1,2 · Rita Mustika1,2 · Estivana Felaza1,2 · Mardiastuti Wahid1,2 · Yvonne Steinert3 

 

서론
Introduction

의과대학 교육과정 초기에 기초과학과 임상의학을 통합하는 것은 학습의 관련성과 유지성을 높이기 위한 의학교육의 핵심전략으로 여겨져 왔다. 이러한 통합은 또한 임상 실습에서 질병과 추론 과정에 대한 학생들의 이해를 촉진하는 데 중요하다. 그러나 기초과학 교사(BST)는 의학 교육에서 중요한 역할을 하지만, 많은 도전에 직면해 있다. 예를 들어, 일부 저자들이 언급했듯이, 임상과학의 급속한 발전을 고려할 때 기초과학 교수의 존재는 위협을 받고 더욱 축소될 가능성이 있다. 또한, 기본적인 의학 지식을 심층적으로 전달해야 하는 의무는 [암기]보다는 [지식 응용]에 초점을 맞추는 것과 마찬가지로, 교육을 더 [맥락적이고 실제와 관련성 있게 만들어야 하는 요구] 사항과 종종 충돌한다. 따라서 다음을 고려했을 때,

  • [임상 실습에서 기초 과학의 기능에 대한 지속적인 논쟁],
  • [교육 과정에서 기초 과학 교육을 위한 시간을 찾는 것]과 관련된 긴장감
  • [의학 교육에서 교사의 진화하는 책임] 

의료 교육에서 BST의 역할은 역동적으로 변화하고 있다.

Integrating basic science and clinical medicine early in the medical school curriculum has been considered a key strategy in medical education to increase the relevance and retention of learning (Brauer & Ferguson, 2015). This integration is also critical in facilitating students’ understanding of disease and reasoning processes in clinical practice (Bruin et al., 2005). However, although basic science teachers (BSTs) play a critical role in medical education, they face a number of challenges. For example, as some authors have stated, the existence of basic science teaching is likely to be threatened and further downsized given the rapid advancement of clinical sciences (Badyal & Singh, 2015). In addition, the obligation to impart basic medical knowledge in depth often clashes with the requirement to make teaching more contextual and relevant to practice, as does the tension between focusing on knowledge application rather than rote memorization (Grande, 2009). Thus, the role of BSTs in medical education has been changing dynamically given

  • ongoing debates about the function of the basic sciences in clinical practice (Pangaro, 2010),
  • the tensions related to finding time for basic science teaching in the curriculum (Finnerty et al., 2010), and
  • the evolving responsibilities of teachers in medical education (Steinert, 2014; Harden & Lilley, 2018).

디킨슨 외 연구진(2020)이 그들을 부르는 [기초 과학 교사] 또는 의학 교육자들은 "주로 의료 전공 학생들에게 의과학을 가르치는 책임이 있는 교수진"이다. Dickinson 외 연구진(2020)은 교육과정 개발자, 평가자, 멘토, 연구자, 리더 및 관리자를 포함한 BST의 역할을 설명했으며, 이는 모두 정보 제공자의 역할을 넘어선다. BST는 또한 학생들의 [과학적 호기심을 길러주는 역할]을 하며, 위에서 언급한 바와 같이 학생들의 [추론 과정을 촉진]한다. 반면에, 수업에 대한 자신감의 부족, 특히 수업을 임상적 맥락과 연관시키는 것과 수업 개념의 부족은 일부 BST에 의해 [더 내용 지향적인 수업]으로 귀결되어, 기초 과학자들을 계속 괴롭히고 있다. 그러나, BST가 직면한 도전에도 불구하고, 그들의 역할에 대한 헌신은 BST가 자신을 어떻게 보고 표현하는지에 의해 영향을 받는다. 따라서 BST가 자신의 역할과 정체성을 어떻게 인식하는지 아는 것은 BST가 여러 책임을 수행할 수 있도록 지원하는 데 필수적이다.
Basic science teachers, or medical science educators as Dickinson et al. (2020) has called them, are “faculty members primarily responsible for teaching medical sciences to healthcare professions students” (p. 1). Dickinson et al. (2020) described the roles of BSTs, including that of curriculum developers, assessors, mentors, researchers, leaders, and managers, all of which go beyond the role of information providers. BSTs are also responsible for nurturing students’ scientific curiosity (Haramati, 2011), and as noted above, facilitating students’ reasoning processes. On the other hand, a lack of confidence in teaching, especially in relating teaching to the clinical context, and a conception of teaching, which has resulted in more content-oriented teaching by some BSTs (Laksov et al., 2008; McCrorie, 2000), continue to plague basic scientists. However, despite the challenges faced by BSTs, commitment to their roles is influenced by how BSTs view and present themselves (Dickinson et al., 2020; Haramati, 2011; McCrorie, 2000; van Lankveld et al., 2020). Therefore, knowing how BSTs perceive their roles and their own identities are essential in supporting BSTs to perform their multiple responsibilities.

정체성은 "외부 맥락 속에서 자아에 대한 이해와 자아에 대한 개념"으로 정의된다.

  • [정체성 형성]은 [집단 차원의 사회화]뿐만 아니라 [개인 내에 존재하는 심리적 과정]을 포함한다.
  • 따라서 [정체성]은 [개인이 경험을 얻음에 따라 많은 영향을 받고 변화하는 경향이 있는 동적 실체]이다.
  • van Lankveld et al(2020)은 [교사 정체]성은 [자신에 대한 이해]일 뿐만 아니라, [교사와 주변 환경 간의 대화를 통해 끊임없이 형성되는 자신의 표현presentation]이라고 웅변적으로 결론 내렸다.

Identity has been defined as “an understanding of the self and a notion of that self within an outside context” (Beauchamp & Thomas, 2009, p. 178).

  • Identity formation involves psychological processes that reside within the individual as well as socialization at the collective level (Jarvis-Sellinger et al., 2012).
  • Identity, then, is a dynamic entity which is subject to many influences and tends to change as individuals gain experiences (Haamer & Reva, 2012; Wahid et al., 2021).
  • van Lankveld et al. (2020) eloquently concluded that teacher identity is not only an understanding of oneself, but it is also a presentation of oneself which is constantly shaped through dialogue between the teacher and the surrounding environment.

의학 교사들, 특히 임상 교사들은 임상의, 학자들, 교사들로서 다른 역할들을 가지고 있으며, 연구들은 이러한 역할들이 종종 어떻게 충돌하는지 그리고 어떤 사람들에게는, 어떤 특정한 정체성이 다른 사람들보다 더 필수적이라는 것을 보여주었다. 기초과학과 임상교사의 전문적 정체성 형성(PIF)에 대한 이전 연구는 [교사 역할]이 그들의 [전문적 정체성]에 통합되는 것을 확인하고, [의사나 연구원과 같은 특정 역할 사이의 긴장감]을 탐구했다. 이 연구를 바탕으로 Wahid et al(2021)은 기초과학과 임상교사를 포함한 의학교사의 정체성을 살펴본 뒤, [사회화 요인]에 영향을 받고, [교사의 가치, 신념, 목표 탐색 및 미래 구상]에 의해 지원되는, [지속적이고 역동적인 정체성 형성 과정]을 보고했다.
Medical teachers, specifically clinical teachers, have different roles as clinicians, scholars and teachers, and studies have shown how these roles often conflict and how, for some, certain identities are more essential than others (van Lankveld et al., 2020). A previous study on the professional identity formation (PIF) of basic science and clinical teachers identified the integration of a teaching role into their professional identities and explored the tensions between certain roles such as medical doctors or researchers (Van Lankveld et al., 2017). Building on this work, Wahid et al. (2021) looked at the identity of medical teachers, including basic science and clinical teachers, and reported a continuous and dynamic process of identity formation, influenced by socialization factors and supported by exploration of the teachers’ values, beliefs, goals, and envisioning of the future.

몇 가지 프레임워크는 PIF의 프로세스를 이해하는 데 도움이 될 수 있다. 사회화 이론에 기초한 하나의 프레임워크는 의사의 전문적 정체성 형성을 설명하고 사회화가 PIF에 미치는 영향을 강조하기 위해 사용되었다. Strong 외 연구진(2018)은 또한 [4S Schlossberg 프레임워크]가 교직원의 전문적인 발달을 조사하는 데 적합하다고 제안했다. 4S는 "상황, 자신, 지원 및 전략"을 나타냅니다(그림 1). [Schlossberg 프레임워크]는 [변화 과정에 대한 개인의 반응]을 설명하기 위해 [심리사회적 이행 이론]을 사용하고, 교사가 [의료 교육을 전문으로 하는 교육자로 전환하는 과정]과 관련이 있는 요소(즉, 개인적 가치, 네트워킹, 역할 모델, 멘토)를 탐구하기 위해 보건 전문 교육에 사용되어 왔다. . 이를 염두에 두고, 우리는 개인의 특성, 사회화 및 환경적 요인을 통합하고 자신과 타인 간의 대화의 결과로 끊임없이 진화하는 PIF의 지속적이고 동적인 과정을 고려할 때, 4S 슐로스버그 프레임워크가 BST의 PIF 과정을 설명하는 데 유용하다고 주장한다. 
Several frameworks can help us to understand the process of PIF. One framework, based on socialization theory, has been used to explain the professional identity formation of doctors and highlights the impact of socialization on PIF (Cruess et al., 2014). Strong et al. (2018) also suggested that the 4S Schlossberg framework is suitable for examining the professional development of faculty members. The 4S stands for “situation, self, support and strategies” (Fig. 1). The Schlossberg framework utilizes psychosocial transition theory to explain individuals’ reactions to change processes (Anderson et al., 2012) and has been used in health professions education to explore the factors (i.e., personal values, networking, role models and mentors) related to the transition process of teachers into becoming educators who specialize in medical education (Browne et al., 2018). With this in mind, we argue that the 4S Schlossberg framework is useful to explain the PIF process of BSTs given the continuous and dynamic process of PIF which incorporates individual characteristics, socialization, and environmental factors (Cantillon et al., 2019; Steinert & MacDonald, 2015; van Lankveld et al., 2017) and constantly evolves as a result of dialogue between self and others (van Lankveld et al., 2020).

정체성은 교사의 직업적 삶에서 중요한 요소로 간주되고 의사결정에 영향을 미치지만, PIF는 BST보다 임상 교사를 위해 더 많이 탐구되었다. 의료 교육 과정에서 필요한 역할을 제정하고 여러 직무에 의미 있는 참여를 가능하게 하는 정체성의 중요성에도 불구하고, BST가 그들의 직업적 정체성 형성을 어떻게 인식하고 어떤 요소들이 그 명료성에 영향을 미치는지에 대해서는 거의 알려져 있지 않다. 따라서 와히드 외 연구진(2021)의 연구를 확장하여, PIF에 기여하는 요인을 탐색하는 데 도움이 될 수 있는 심리사회적 이행 이론에 기반한 또 다른 관련 프레임워크를 사용하여, [교사로서의 BST의 정체성]이 [어떻게 형성]되고, [어떤 요인이 PIF에 영향을 미치는지]에 대한 연구 질문을 해결하는 것을 목표로 했다.
Although identity is regarded as an important element in teachers’ professional lives and influences their decision-making (van Lankveld et al., 2020), PIF has been explored more for clinical teachers (e.g., Cantillon et al., 2019; Steinert & MacDonald, 2015) than for BSTs. Little is known about how BSTs perceive their professional identity formation and what factors influence its articulation, despite the importance of identity to enact their necessary roles in medical curricula and enable meaningful engagement in their multiple duties. Expanding on the work of Wahid et al. (2021), we therefore aimed to address the research questions of how the identity of BSTs as teachers is formed and what factors influence this PIF using another relevant framework based on psychosocial transition theory which can be helpful in exploring the factors which contribute to PIF.

방법들
Methods

맥락
Context

본 연구에는 인도네시아 의과대학 4곳, 공립학교 2곳, 사립학교 2곳의 기초과학 교사를 모집하였다. 인도네시아 의과대학의 대부분의 BST는 의학박사(Medical Doctor)와 생물의학 석사 학위를 가지고 있다. 일부 BST들은 여전히 일반 개업의로서 의학을 수행하고 있지만, 그들은 그들의 교수 역할 때문에 스스로를 BST라고 생각한다. 본 연구에서 BST의 특성은 임상 전 학부 의학 프로그램에서 강의한 연구 참가자 중 일부가 MD 학위를 보유한 반면, 일부는 보건 및 생명 과학 또는 사회 과학 대학원 학위를 보유한 Lankveld et al(2017) 연구와 상당히 유사했다. 본 연구에서 BST는 [주로 학부생 의학교육의 임상 전 단계에서 교육을 담당]한다. 교육 외에도, 우리의 맥락에서 BST는 그들의 전문 분야와 관련된 연구, 학술 작업 및 지역 사회 서비스를 수행해야 한다. 

Basic science teachers in four Indonesian medical schools, two public schools and two private schools, were recruited to participate in this study. Most BSTs in Indonesian medical schools hold an MD (medical doctor) and a postgraduate degree in biomedical sciences. Some BSTs are still practicing medicine as general practitioners; however, they consider themselves BSTs because of their teaching roles. The characteristics of BSTs in this study were quite similar to those outlined in Lankveld et al.’s (2017) study in which some of the study participants who taught in the preclinical undergraduate medical programme held MD degrees, while some others held a postgraduate degree in health and life sciences or social sciences. The BSTs in this study are mainly responsible for teaching in the preclinical phase of undergraduate medical education. Aside from teaching, the BSTs in our context are required to conduct research, scholarly work and community service related to their areas of expertise.

설계 및 연구 참가자
Design and study participants

기초과학 교사의 전문적 정체성 형성을 탐색하기 위해 질적 서술이 사용되었다. 최대 변동 샘플링을 사용하여 기초과학과(예: 해부학, 생리학 및 약리학)의 표현, 교수 경험의 길이, 성별 및 대학원 학위(학력)를 기반으로 4개 학교에서 BST를 의도적으로 선택했다.
A qualitative descriptive (Sandelowski, 2000, 2010) was used to explore professional identity formation in basic science teachers. Maximum variation sampling was used to purposively select BSTs in the four schools, based on the representation of the basic science departments (e.g., anatomy, physiology and pharmacology), length of teaching experiences, gender and postgraduate degree (academic background).

데이터 수집
Data collection

참가자들의 동기부여, 경력개발, BST로서의 경험을 탐색하기 위해 부록에 제시된 것처럼 미리 정해진 질문을 이용하여 포커스 그룹 토론(FGD)을 각 의대에서 수행하였다. BST는 교육 경험(< 10년 또는 > 10년)에 따라 별도의 그룹으로 나뉘었다. 모든 참가자들은 FGD에 앞서 동의를 했다.
Focus groups discussions (FGDs), using predetermined questions (Wahid et al., 2021) as presented in the appendix, were conducted in each medical school aiming to explore participants’ motivations, career development, and experiences as BSTs. The BSTs were divided into separate groups based on the length of their teaching experiences (< 10 or > 10 years). All participants provided their consent prior to the FGDs.

데이터 분석
Data analysis

데이터 수집 및 분석의 반복적인 프로세스가 수행되었습니다. 포커스 그룹은 음성으로 녹음되고 말 그대로 전사되었다. 주제 분석을 위해, 우리는 먼저 텍스트에서 [주목할 만한 단어나 구를 식별]한 다음, 이러한 [단어/구문에서 관련 개념을 공식화]하는 SCAT(Steps for Coding and Theorization) 접근법(Otani, 2008)을 사용했다. 그런 다음 각 특정 개념을 기반으로 관련 하위 주제를 구성했다. 처음에는 네 명의 저자(MW, DS, RM, EF)가 핵심 주제와 하위 주제를 식별하고 논의하기 위해 [처음 두 개의 필사본에 대해 독립적인 주제 분석]을 수행했고, [이후 모든 저자가 다른 필사본을 분석]했다. 주제 분석에 이어 SCAT 접근법을 사용하여 얻은 각 하위 주제를 4S 프레임워크에 매핑하였다. 저자 DS와 NG는 각각의 하위 주제를 4S 구성요소("상황, 자체, 지원 및 전략")로 독립적으로 분류했고, 모든 불일치는 토론을 통해 해결되었다. 모든 저자들이 결과를 미세 조정하는 데 참여했다. 신뢰도를 높이기 위해 6명의 포커스 그룹 참가자와 구성원 확인을 수행하고, 감사 추적을 유지했으며, 반복적인 방식으로 주제와 하위 주제를 재검토하기 위해 연구자들 간의 지속적인 토론을 보장했다.
An iterative process of data collection and analysis was conducted. Focus groups were audio-recorded and transcribed verbatim. For the thematic analysis, we used a Steps for Coding and Theorization (SCAT) approach (Otani, 2008), whereby we first identified noteworthy words or phrases in the text and then formulated the relevant concepts from these words/phrases; we then constructed the relevant subthemes based on each particular concept. Initially, four authors (MW, DS, RM, EF) conducted independent thematic analysis on the first two transcripts to identify and discuss core themes and subthemes, after which all authors analyzed the other transcripts. Following the thematic analysis, each subtheme obtained using the SCAT approach was mapped onto the 4S framework (Anderson et al., 2012). Authors DS and NG independently grouped the subthemes into each of the 4S components (“Situation, Self, Support, and Strategy”) and any disagreement was resolved through discussion. All authors participated in fine-tuning the results. To enhance trustworthiness, we performed member checking with six focus group participants, kept an audit trail, and ensured a constant discussion among the researchers to revisit themes and subthemes in an iterative fashion.

결과.
Results

우리는 60명의 BST(이 중 68.3%가 여성)와 함께 9개의 포커스 그룹을 수행했다. 모든 기초과학 교사들은 의사였고 그들 중 대부분은 석사나 박사 학위를 가지고 있었다.
We conducted 9 focus groups with 60 BSTs (68.3% of whom were female). All basic science teachers were medical doctors and most of them held a master’s or PhD degree—24/60 (40%) and 23/60 (38%), respectively.

연구 참가자들은 자신이 처음 교사가 된 경위와 선택에 영향을 미친 요인이 무엇인지를 유창하게 설명했다. 참여자들의 내러티브를 바탕으로 연구 참여자들은 교사로서의 진로를 [의도적으로, 알면서도 선택하는 것]을 확인할 수 있었다. 또한 본 연구에서 BST는 교사로서의 역할과 의사로서의 역할 사이의 갈등을 인지하지 못하였다. 
The study participants fluently described in detail how they first became teachers and what factors influenced their choice. Based on participants’ narratives, it was evident that the study participants purposively and knowingly chose their careers as teachers. As well, the BSTs in this study did not perceive conflicts between their roles as teachers and their roles as doctors.

저는 모든 상황에서 선생님이라고 소개합니다. 만약 사람들이 당신이 의사가 아니냐고 묻는다면, 저는 의사가 되는 것은 부업이라고 대답할 것입니다. 나는 주로 가르친다. (3JD > 10)
I introduce myself as a teacher in every situation. If people asked, were you not a doctor, I would answer that becoming a doctor is a side job. I mainly teach. (3JD > 10)

저는 제 자신을 선생님이라고 소개하는 것을 선호합니다… 만약 제가 어디서 가르치는지 묻는다면, 저는 의학부라고 말할 것입니다. 기본적으로 나는 가르치는 것을 더 좋아해서 사람들에게 나는 선생님이라고 말한다. (2Y < 10)
I prefer to introduce myself as teacher… if I were to be asked where I teach, I would say faculty of medicine. Basically, I like teaching more, so I tell people that I am a teacher. (2Y < 10)

 

그림 2와 같이 BST의 PIF에 영향을 미친 다양한 요인들을 식별하고 4S 프레임워크에 매핑된 4개의 주제로 그룹화하였다. 각 4S 구성요소와 관련된 결과는 비식별화된 참가자(기관: 1-4, 이니셜: A, B 등)를 참조하는 대표적인 인용문과 코드를 제공한다. > 10년 또는 < 10년).
The different factors that influenced the PIF of BSTs were identified and grouped into four themes mapped onto the 4S framework, as presented in Fig. 2. The findings related to each of the 4S components are provided with representative quotes and codes referring to the de-identified participants (institution: 1–4; initials: A, B, etc.; > 10 or < 10 years).

 

BST는 "지원" 및 "전략" 구성요소에 비해, 자신의 동기와 초기 경력 경험을 설명하면서 "자신" 및 "상황" 구성요소와 더 쉽게 관련되는 것으로 보였다. 동시에 '전략'과 관련된 내용보다 '지원'에 대한 참가자들의 서술이 두드러졌다. 본 연구의 결과는 BST가 [내부적으로 주도]되며, BST로서 자신의 정체성 형성을 지원하고 성장하기 위한 다양한 전략에 적극적으로 참여하기보다는, [기존의 지원체계에 더 의존]하는 것으로 나타났다. 게다가, 참가자들은 [과학을 발전시키고 학문적인 일을 수행하는 것]보다 [가르치는 것]에서 그들의 역할에 대해 더 많이 이야기했다.
The BSTs seemed to more easily relate to “Self” and “Situation” components as they described their own motivations and early-career experiences, compared to the “Support” and “Strategies” components. At the same time, participants’ narratives about “Support” were more prominent than those related to “Strategy”. Findings of this study suggested that BSTs were internally driven and they seemed to rely more on existing support systems rather than actively take part in various strategies to support their identity formation and grow as BSTs. In addition, participants talked more about their roles in teaching than in advancing sciences and conducting scholarly work.

1.1.1 "자체": 내부 운전자로서의 자아
1.1.1 “Self”: The self as internal driver

BSTs의 내적 추진력은 개인이 주어진 상황에 어떤 영향을 미치는지, 그리고 자기효능감과 영성과 같은 개인적 특성과 심리적 자원과 관련이 있는 "Self"와 일치했다(Anderson et al., 2012). 본 연구는 교사가 되고 싶은 관심이나 열정, 가족적 가치와 영향, 영성, 사회에 환원하려는 욕구, 자기효능감과 자기가치를 포함하는 '자기'와 관련된 [5가지 요인]을 확인하였다.
BSTs’ internal drive matched the “Self,” which is related to what individuals bring to a given situation as well as their personal characteristics and psychological resources such as self-efficacy and spirituality (Anderson et al., 2012). This study identified five factors related to the “Self,” which included interest or passion to be a teacher, familial values and influences, spirituality, a desire to give back to society, and self-efficacy and self-worth.

[교사에 대한 열정]은 대부분의 교사들 사이에서 흔했지만, 일부 BST들은 가정에 교사가 있거나 교사가 되는 것이 매우 존중되기 때문에 교사가 되기를 원했기 때문에 [가족의 영향]도 두드러졌다.
Passion to teach was common among most teachers; however, family influences were also prominent, as some BSTs wanted to be teachers because there was a teacher in the family or being a teacher is highly respected.

그것은 부모님의 질문에서 시작되었다; 그들은 나의 이모들 중 한 명이 의학부의 직원이라는 것을 보고, 그들은 나에게 "그녀처럼 되고 싶니?" (1B < 10)
It began from my parents’ question; when they saw that one of my aunties is a staff member in a medical faculty, they asked me “Do you want to be like her?” (1B < 10)

사람들은 내가 의사라는 것을 알지만, 내 딸은 그녀의 어머니가 선생님이라고 말한다. 한 번은, 그녀는 나의 박사 학위 졸업식에 참석하기 위해 중요한 활동들을 떠났다. 나에게 그것은 특별한 것이었다… 나는 내가 지금 하는 일이 그녀에게 큰 의미가 있다는 것을 알기 때문에 더욱 활기를 띠게 된다. (1U<10)
People know I am a doctor, but my daughter mentions that her mother is a teacher. One time, she left her important activities to attend my doctoral graduation. For me, that was something extraordinary… I become more spirited because I know what I do now means a lot to her. (1U<10)

 

[영성]은 또 다른 중요한 요소였는데, BST들이 가르치는 것이 하나님이 가르치는 좋은 관행과 일치하는 선행이라고 여겼기 때문이다.
Spirituality was another significant factor, as BSTs considered teaching a good deed, in line with the good practices taught by God.

처음부터 어머니는 내가 다른 사람들에게 유용하기를 원하셨다. 그것이 제가 그녀에게서 기억하는 것입니다. 그녀는 우리의 선행 중 하나가 다른 사람들에게 유용한 지식을 갖는 것이라고 강조했습니다. 그것이 제가 [선생님이 됨으로써] 찾고 있는 것입니다. (4KI<10)
From the very beginning, my mother wanted me to be useful for others. That is what I remember from her, she emphasized that one of our good deeds is to have knowledge that is useful for others… that is what I am looking for [by becoming a teacher]. (4KI<10)

 

일부 참가자들은 또한 [사회에 환원할 필요성]을 강조하여 교사가 되는 길을 선택했다. '자신'과 관련된 다른 요소로는 항상 좋은 롤모델이 될 수 없다는 약간의 우려가 있었지만, 교사가 됨으로써 얻어지는 [자기효능감과 자기가치감] 등이 있었다.
Some participants also highlighted the need to give back to society and thus chose the path to become teachers. Other factors related to the “Self” included a sense of self-efficacy and self-worth obtained by becoming a teacher, although there was a slight concern about not always being able to be a good role model.

더 많은 연구를 진행할 수 있는 기회와 이 모든 것들... 선생님이 아니면 절대 못 받을 거야… 나는 돈 외에도 다른 것들이 있다고 생각하는데, 매슬로 피라미드에서 가장 높은 것은 사실 자존감이다. 그래서 내가 부자가 아닐 때도 자존감이 충족되고 그것이 나를 건강하고 영적이고 정신적으로 만들어 줄 수 있다. (3SV>10)
The opportunity to pursue further study and all of these… I will never get them if I am not a teacher… I think there are other things aside from money, the highest in the Maslow pyramid is actually self-esteem. So even when I am not rich, my self-esteem is fulfilled and it could make me healthy, spiritually and mentally. (3SV>10)

교사가 되는 것에 대한 나의 가장 큰 두려움과 걱정은 과학적 관점이 아니라, 학생들이 내가 어떻게 행동하는지를 우러러보고, 말하고, 분노를 표현하고, 때로는 통제하기 매우 어려운 학생이나 갈등을 처리한다는 것을 깨닫는 것이다. (3H<10)
My biggest fears and concerns of being a teacher is not the scientific point of view, but realizing that students look up to how I behave, talk, express my anger, and deal with students or conflicts, which is sometimes very difficult to control. (3H<10)

1.1.2 "상황": 초기 경력 이벤트 및 기회
1.1.2 “Situation”: Early-career events and opportunities

["상황"]은 [현재 의사결정에 영향을 미치는 과거 사건]을 의미한다(Anderson et al., 2012). 이 연구에서 '상황'은 교사가 되기로 한 결정에 영향을 미친 사건들을 포괄했다. BST의 PIF와 관련하여, [교사와 관련된 사전 경험, 교사 직무에 대한 조기 참여, 기관 내 일자리 제안 또는 공석, 전직 교사의 역할 모델링 등 4가지 요인]이 확인되었다.
“Situation” refers to past events that influence current decisions (Anderson et al., 2012). In this study, “Situation” encompassed events that influenced the decision to become a teacher. In relation to the PIF of BSTs, four factors were identified: prior experience related to teaching, early involvement in teaching tasks, job offers or vacancies in the institution, and role modeling of former teachers.

일부 교사들은 [중고등학생들을 가르친 경험]이 교사로서의 직업적 정체성을 형성하는 데 도움을 주었다고 보고했으며, 이와 함께 교직원이 되거나 커리큘럼을 개발하고 그룹 토론을 촉진하는 것과 같은 [교수 업무에 참여한 초기 경험]도 있었다. 
Some teachers reported that their experiences in teaching junior or high school students helped shape their professional identity as teachers, along with early experiences of becoming teaching assistants in the faculty or being involved in teaching tasks, such as developing curricula and facilitating group discussions.

제가 한 학과의 조교가 되었을 때 저는 가르치는 것에 더 애착을 가졌습니다… 제 기술은 퍼실리테이터가 되었을 때 형성되기 시작했습니다. 나는 또한 학과에서 어려움을 겪고 있는 학생들을 도와달라는 요청을 받았다. (2RS > 10)
I was more attached to teaching when I became a teaching assistant in one department … My skills were starting to take form when I became a facilitator. I was also asked to help struggling students in the department. (2RS > 10)

그러나, 경력 초기에 [역할 모델]이 부족했음에도 불구하고 [각 기관의 교수직이 가능]하여 교사가 되기로 선택한 참가자들이 있었다.
However, there were some participants who opted to become teachers due to the availability of teaching positions in their respective institutions, despite a lack of role models early in their career.

제가 졸업할 때 한 학과에 교수 자리가 비어 있어서 그 학과에 지원하게 되었습니다. 그때는 졸업 후에 끝내야 하는 의무적인 일이 있어서 선생님이 되는 것도 의무적인 일로 간주될 수 있기 때문에 몇 년간 학과에 머물렀고, 그 후에 정규직 자리가 생겨서 지원했습니다. (3OR>10)
When I graduated, there was a vacant teaching position in one of the departments, so I applied to that department. At that time, there was compulsory work we had to complete after graduation, so I stayed in the department for a few years as becoming a teacher could also count as compulsory work, and then there was an opening for a permanent position, and I applied. (3OR>10)

그때는 아무도 내 롤모델이 되지 않았는데 부서 운영을 맡겼을 때 혼란스러웠다. (4 N < 10)
It was confusing when I was entrusted to manage a department, while no one was my role model at that time. (4 N
 < 10)

1.1.2 "지원": 개인 및 기관 지원
1.1.2 “Support”: Individual and institutional support

Anderson 등(2012)은 "지원"을 [이행을 지속하는 데 사용할 수 있는 지원 또는 자원]으로 설명했으며, 본 연구에서는 교사가 되는 과정을 언급했다. 본 연구에서 BSTs의 PIF에 대한 지원은 교직 동료 및 선배, 실습 커뮤니티, 기관 및 사회의 지원을 포함하여 다양한 이해관계자로부터 나왔다.
Anderson et al. (2012) described “Support” as assistance or resources available to continue a transition, which in this current study referred to the process of becoming a teacher. In this study, the support for BSTs’ PIF came from different stakeholders, including support from their teaching colleagues and seniors, their communities of practice, the institution, and society.

일부 참가자들은 선배들을 따라다니며 역할 모델로 관찰할 수 있는 기회가 주어졌을 때 [선배 선생님들의 지지]를 느꼈다.
Some participants felt supported by senior teachers when they were given the opportunity to shadow their seniors and observe them as role models.

저는 후배 선생님들을 지도하고 제 경험을 공유하고 싶습니다. 후배 의사들은 멘토링을 받아야 할 것 같아요, 그렇지 않으면 어려움이 있을 거예요. 선배님들께 좋은 멘토링을 받았기 때문에 후배들의 멘토가 될 용의가 있습니다(2Y < 10)
I want to mentor junior teachers and share my experiences…. I think junior doctors need to be mentored, otherwise they will have troubles. I had good mentoring from our seniors, so I am willing to be a mentor for my juniors (2Y < 10)

 

교사들 사이에 [실천 공동체]가 존재하는 것도 BST의 정체성 발달을 지원하는 데 도움이 되었다. 이러한 [실천 공동체]는 참가자의 부서와 전문 조직 내에 존재했으며, 교사들이 자신의 교육 과제를 공유하고 동료들로부터 피드백을 받을 수 있는 기회를 제공했습니다. 비록 회원들이 시간적 제약 때문에 항상 참여하지는 않았지만, BST들이 서로 돕고 수업과 관련된 문제들을 논의하는 '장소'가 되었다. [제도적 지원]은 가용한 교수진 개발 활동, 경력 개발 기회, 명시적으로 명시된 성과 지표, 교직원 간 교육 과제 분배와 관련된 명확한 지침의 형태로 존재했다. 일부 참가자들은 또한 교사로서의 그들에 대한 [사회로부터 오는 인정]이 교사로서의 그들의 정체성을 강화시켰다고 느꼈다.
The existence of a community of practice amongst teachers also helped to support the BSTs’ identity development. These communities of practice existed within the participants’ departments and professional organizations and offered teachers an opportunity to share their teaching challenges and receive feedback from peers. The community of practice became the “place” for BSTs to help each other and discuss issues related to teaching, although members were not always engaged due to time constraints. The institutional support existed in the form of available faculty development activities, career development opportunities, explicitly stated performance indicators, and clear instructions regarding distribution of teaching tasks among staff. Some participants also felt that the recognition coming from society for them as teachers strengthened their identity as teachers.

만약 내가 그 기관에서 얻은 것에 대해 돌아본다면, 나는 큰 도움을 받을 것이다; 나는 더 많은 공부를 할 수 있고, 또한 몇몇 훈련이나 과정에 참석할 수 있다… 우리는 [많은 자원]을 매우 지원하므로 [자원]을 사용할지 여부가 문제입니다(4M < 10)
If I reflected on what I got from the institution, I was very supported; I could pursue further study, and I could also attend some training or courses… We are very facilitated [provided with many resources], so it is just a matter of whether we want to use them [resources] or not (4M < 10)

"스파링 파트너"[교사가 토론하거나 건설적인 논쟁을 할 수 있는 파트너]가 있기 때문에 교육 기관에 들어오는 교사가 많아지면 우리의 학습 기회가 증가합니다(2RS > 10)
When there are more teachers coming into the institution, our opportunities to learn are increasing because there are “sparring partners” [partners with whom teachers can have discussion or constructive argument] (2RS > 10)

가끔 학과 동료들이 학술활동, 강의, 연구 등으로 바빠서 일상적인 학과 활동을 위한 시간을 내기가 어렵다. 한편, 우리가 부서 활동에 참여하지 않는 한, 우리가 그들의 일부임을 느끼기 어렵다[소속감을 가지고 있다] (2H > 10)
Sometimes my colleagues in the department are busy with academic activities, teaching, researching, so it is difficult to make time for day-to-day department activities. Meanwhile, unless we get involved in department activities, it is difficult to feel how we are part of them [have the sense of belongings] (2H > 10)

1.1.3 "전략": 지속적인 전문성 개발에 대한 적극적인 참여
1.1.3 “Strategies”: Active participation in continuing professional development

"전략"은 [변화에 적응하기 위해 사용되는 방법]을 의미하며(Anderson et al., 2012), 교사가 전문적 정체성을 확립하고 강화하기 위해 제정한 조치 또는 대응을 포함한다. 이 구성요소에 해당하는 요인은 [지속적인 전문성 개발CPD]에 적극적으로 참여하는 것과 관련이 있으며, 여기에는 [실천공동체 참여]와 [진로 로드맵 수립(즉, 진로목표 및 승진목표 설정)]이 포함된다. [학생들과의 상호작용] 또한 이 구성요소에서 확인된 요인이었다.
“Strategies”, which refers to those methods used to adapt to change (Anderson et al., 2012), comprises actions or responses enacted by the teachers to establish and strengthen their professional identities. The factors that fell under this component related to active involvement in continuing professional development, which included participating in a community of practice and establishing a career roadmap (i.e., setting targets for career objectives and promotion). Interacting with students was also a factor identified under this component.

일부 참가자들은 학과 또는 다른 전문 조직 내의 [실천 공동체]에서 다른 교사들과 함께 학습하고 서로 피드백을 제공했다. 교사들은 또한 그들의 교수 기술을 발전시키고 가르칠 준비를 하기 위해 워크숍이나 연수회에 적극적으로 참여했다. 시간을 관리하기 위한 연구와 학습을 수행하는 것 또한 BST의 지속적인 전문성 발전을 위한 중요한 전략으로 확인되었다.
Some participants learned together with other teachers, and provided feedback to each other, in a community of practice within the department or other professional organization. Teachers were also actively engaged in workshops or training sessions to advance their teaching skills and prepare themselves to teach. Conducting research and learning to manage time were also identified as important strategies for BSTs’ continuing professional development.

교사들은 교육, 연구, 지역사회 봉사뿐만 아니라 관리까지 다양한 과제를 가지고 있다. 그리고 때때로 관리 업무는 더 많은 시간을 차지한다. 그래서 저는 한 번에 그 모든 작업을 해결하는 방법을 많이 배웠고, 가능한 시간 내에 완료하려고 노력했습니다(2RS > 10)
Teachers have multiple tasks, not only education, research and community service, but also management. And sometimes managerial work takes up more time. So, I learned a lot, how to tackle all those tasks in one time, and try to complete them within the available time frame (2RS > 10)

일부 참가자들은 교사로서 네트워크 개발, 학업 이정표 달성, 교수직 획득 등의 "커리어 로드맵"을 달성하기 위해 노력하는 것의 중요성을 표현했다.
Some participants expressed the importance of trying to accomplish their “career roadmap” as teachers, which included developing networks, achieving academic milestones, and obtaining professorship.

교육, 연구, 사회봉사 분야('tridharma')에서 각각의 실적을 보고 특정 벤치마크와 비교했을 때 기준을 완성하지 못해 자신감이 떨어진다는 것을 깨달았다. 그래서 이정표를 세우고, 교사로서 작은 성과를 추가해야 한다(2KN < 10)
I realized that when I saw my track record in each of the education, research, community service areas (“tridharma”) and compared them to a certain benchmark, I felt less confident since I had not completed the standards. So, I have to set the milestones, add small achievements as a teacher (2KN < 10)

 

[학생들과의 상호작용]도 교사의 정체성 형성에 도움이 되었고, 교사로서의 자기실현과 관련이 있었으며, 이는 학생들을 만나 감사함을 느끼면서 더욱 강화되었다.
Interacting with students also helped form the teachers’ identity and was related to their self-actualization as teachers, which was further reinforced by meeting students and feeling appreciated by them.

하지만 저는 또한 그들이 많은 질문을 하는 것을 좋아합니다. 비록 결국에는 제가 항상 확신할 수는 없기 때문에 우리가 함께 답을 찾아야 할 수도 있습니다. 나는 활동적인 학생들을 만나는 것을 좋아하는데, 특히 큰 반에서 활동적인 학생들을 좋아한다(4N > 10)
But I also like if they [students] ask many questions, although in the end, we may need to find the answers together since I am not always sure. I like meeting students who are active, especially those who are active in the large class (4N > 10)

논의
Discussion

이 연구는 기초과학자들이 문학에서 덜 탐구된 분야인 경력의 매우 초기 단계부터 의학 교사로서의 PIF에 대한 우리의 이해를 증진시킨다. 이 연구의 BST는 정체성 형성에 영향을 미치는 요인을 정교하게 설명할 수 있었고, 우리는 4S 슐로스버그 프레임워크에 따라 매핑했다. 이 연구는 [외부적인 상황]이 종종 이러한 선택을 강화시키지만, 개인이 직업에 진입하도록 유발하는 많은 [개인적 속성과 경험]이 어떻게 존재하는지 보여준다. Profession에 입문한 이후, BST로서 전문적인 정체성을 형성하기 위한 여정은 주로 [또래와 기관, 사회가 제공하는 지원]으로 이어지며, [구체적인 전략에 적극적으로 참여]함으로써 더욱 강화된다. 이 연구는 또한 참가자들이 어떻게 의도적으로 자신의 직업을 BST로 선택했는지를 보여준다.
This study furthers our understandings of the PIF of basic scientists as medical teachers from the very early stages of their careers, an underexplored area in the literature. The BSTs in this study were able to elaborate the factors influencing their identity formation, which we then mapped according to the 4S Schlossberg framework. This study shows how there are many personal attributes and experiences that trigger individuals to enter the profession, though external situations often strengthen this choice. Upon entering the profession, the journey to form a professional identity as a BST continues mainly with the support provided by peers, institutions and society, and it is further strengthened by active participation in specific strategies. This study also shows how the participants knowingly and purposively chose their careers as BSTs.

[자아(Self)]의 구성요소에는 여러 내재적 동기가 포함되어 있으며, 그 중 많은 부분은 보건학 교사의 직업적 정체성에 중요한 요소로 간주되었다. 이 연구의 BST들은 그들이 교사가 되기를 원한다는 것을 알고 그 분야에 들어갔다. 그러나 [교사가 되고 싶은 열정과 동기]와 같은 중요한 [내재적인 힘] 외에도, [교사와 관련된 사전 경험, 교사 직무에 대한 초기 참여, 전직 교사의 역할 모델, 그리고 직업 제안이나 공석]과 같은 ["상황"]은 BST의 전문직 여정의 진입을 특징짓는 데 도움이 되는 [외적인 요소]들을 형성했다. 또한 이러한 연구결과는 내재적 요인과 외적 영향 사이에서 동기부여와 대화의 중요성을 강조하였다.
The “Self” components included several intrinsic motivations, many of which were seen as prominent factors in the professional identity of health sciences teachers in general (Snook et al., 2019). The BSTs in this study entered the field knowing that they wanted to be teachers. However, aside from important intrinsic forces such as passion and motivation to be a teacher, the “Situation,” such as prior experiences related to teaching, early involvement in teaching tasks, the role modeling of former teachers, and job offers or vacancies, formed the extrinsic factors that helped mark the entrance of BSTs into their professional journeys. These findings also highlighted the importance of motivation and dialogue between intrinsic factors and extrinsic influences (Cruess et al., 2015; Wahid et al., 2021).

본 연구는 ['지원']과 관련하여 [전문성 발전에 영향력이 있는 기관과 BST의 실천공동체, 멘토와 선배 동료, 사회의 지원]을 강조한다. 이러한 요인들은 임상 교사들의 PIF의 핵심이기도 한 사회화의 진행 과정에 구체적으로 기여했다. ['전략']에는 [후배 BST와 선배 교사의 짝짓기, 기존 롤모델에 대해 논의하고 성찰하는 계기가 된 멘토링 과정] 등의 접근법이 담겼다. 이 발견은 위계적이고 집단주의적인 문화에서 특히 강력할 수 있는 [시니어 BST의 멘토링 과정]을 공식화하고 명시하는 것이 유용할 수 있다는 관찰을 강조한다. 지속적인 전문성 개발, 학생들과의 상호작용, 진로 로드맵 수립과 같은 전략들도 BST에 의해 수행되었다. 흥미롭게도, 학생들과 상호작용하는 것은 직업적 정체성을 개발하기 위한 효과적인 전략으로 언급되었고 교사로서의 능력에 대한 BST의 인식에 기여할 수 있고 교사가 되기 위한 그들의 '진정한 소명'을 상기시킬 수 있다.
Regarding “Support,” this study underlines support from the institution and the BSTs’ community of practice, mentors and senior colleagues, and society as influential in professional development. These factors specifically contributed to the ongoing process of socialization, which is also at the core of the PIF of clinical teachers (Cantillon et al., 2016; Wahid et al., 2021). “Strategies” included approaches such as the pairing up of a junior BST with a senior teacher and the mentoring process which served as an opportunity to discuss and reflect on existing role models. This finding highlights the observation that it may be useful to formalize and make explicit the mentoring process from senior BSTs that can be particularly powerful in a hierarchical and collectivist culture (Hofstede, 2011). Strategies such as continuing professional development, interacting with students, and establishing a career roadmap, were also undertaken by the BSTs. Interestingly, interacting with students was mentioned as an effective strategy to develop professional identity and may contribute towards BSTs’ perceptions of competence as teachers (Deci & Ryan, 2012) and may remind them of their ‘true calling’ to become teachers.

이러한 결과를 바탕으로 [BST의 채용 시, 동기를 탐색]하고, [교사로서의 역할이 부여된 후 이러한 측면을 성찰하도록 유도하는 것]이 가치가 있을 수 있다. 즉, BST의 직업적 정체성에 대한 '자아'와 '상황'의 구성요소를 처음부터 인식할 수 있고, 이는 교육, 교육, 연구 및 지역사회 서비스에 대한 [조직의 비전과 사명에 교직원의 목표를 맞추는 데 도움]이 될 수 있다. 우리는 또한 교수진 개발 프로그램이 특히 BST의 역동적인 역할의 개발과 의료 커리큘럼에서 기초과학 역할의 본질과 중요성을 목표로 할 것을 권고한다. [채용부터 퇴직까지 기초과학 교사의 진로 로드맵]은 4S 요인을 고려하여 교사들이 다양한 현대적 역할을 수행할 수 있도록 도와주어야 한다. BST의 [PIF는 무엇보다 "Self"의 존재에 의해 영향]을 받기 때문에, 채용 및 유지 정책은 이를 고려해야 하며, 교수개발은 예를 들어 성찰을 통해 이러한 [자아 의식을 더욱 강화하는 것을 목표]로 해야 한다. [다양한 과거 사건]으로 인해 BST의 정체성이 강화된다는 점에서, BST의 [성찰적 실천을 육성하는 것을] 명시적 목표로 하는 교수개발 프로그램은 ["상황" 구성요소]를 강화하는 데 유용할 수 있다. 

Based on these findings, exploring the motivations of BSTs during recruitment, and encouraging them to reflect on this aspect once they are given roles as teachers, may be worthwhile. That is, the institution can recognize the “Self” and “Situation” components of the BSTs’ professional identity from the start, which can help to align faculty members’ goals with the organization’s vision and mission in education, teaching, research and community services. We also recommend that faculty development programs specifically target the development of BSTs’ dynamic roles (Harden & Lilley, 2018) and the nature and importance of the basic science role in medical curricula (Dominguez & Zumwalt, 2020). The career roadmap for basic science teachers, from recruitment to retirement, should help teachers carry out various contemporary roles, considering the 4S factors. The PIF of BSTs is firstly influenced by the presence of “Self”; therefore, recruitment and retention policies should consider this, and faculty development should aim to further augment this sense of self, for example through reflection. A faculty development program with explicit aims to nurture the reflective practice of BSTs could also be useful to strengthen the “Situation” component, given that the identity of BSTs is reinforced by various past events.

본 연구를 통해 BST의 전문적 정체성은 다양한 교사 역할을 수행할 수 있는 역량을 개발하기 위한 [멘토링과 실천공동체, 지속적인 전문성 개발을 통해 '지원'과 '전략' 요인]에 의해 강화될 필요가 있음을 알 수 있다. 우리는 또한 기관이 부서, 연구 및/또는 교육에서 특정한 역할을 가진 부서 또는 BST의 전문성과 관련된 다른 전문 조직을 통해 보다 공식적인 실천 공동체의 설립을 지원할 필요가 있을 수 있다고 제안한다. 또한, [비공식적인 실천 공동체]는 BST가 의대생을 가르치기 위한 주제 내용을 맥락화하는 데 더 도움이 될 수 있다.
It is evident from this study that BSTs’ professional identity needs to be enhanced by “Support” and “Strategy” factors through mentoring, a community of practice, and continuing professional development to develop the abilities to enact various teacher roles. We suggest that the institution may also need to support the establishment of more formal communities of practice (Wenger et al., 2002), through departments, units with specific roles in research and/or education, or other professional organizations relevant to the BSTs’ expertise. Also, an informal community of practice can further help BSTs to contextualize their subject content for teaching medical students (Brauer & Ferguson, 2015; Gwee et al., 2010).

현재의 연구는 지금까지 이 주제를 탐구한 문헌의 희소성을 고려할 때 BSTs의 PIF에 대한 우리의 이해를 발전시켰다. 동시에 본 연구는 한 국가에서 수행되었기 때문에 그 한계를 인정한다. 또한, 본 연구에서 BST의 특성과 배경은 우리의 맥락에 특정될 수 있으므로 결과의 전달 가능성을 다른 맥락으로 제한할 수 있다. 그러나 이러한 발견들이 맥락에 따라 달라질 가능성이 있음에도 불구하고, 본 연구는 BST들이 스스로를 어떻게 보고 있는지, 교사로서 변화하는 역할을 수행하는 데 어떻게 지원받을 수 있는지에 대해 조명했다. 다양한 전략을 통해 교사와 학자로서 BST의 발전을 탐구하고 배양하기 위한 추가적인 경험적 연구는 가치가 있을 것이다.
The current study has advanced our understanding of the BSTs’ PIF, given the scarcity of literature that has explored this topic thus far. At the same time, we acknowledge the limitations of this study as it was conducted in one country. In addition, the characteristics and backgrounds of BSTs in this study may be specific to our context, thus limiting the transferability of the results to a different context. However, despite the fact that these findings are likely to be context-specific, the study has shed light on how BSTs view themselves and how they can be supported in carrying out their changing roles as teachers. Further empirical studies to explore and cultivate the development of BSTs as teachers and scholars through different strategies would be worthwhile.

결론
Conclusion

동적 역할이 주어진 BST의 PIF를 다루는 것이 중요하다. 4S 프레임워크의 렌즈를 통해 보면, BST의 PIF는 많은 다른 요소들의 영향을 받는 이행 과정이다.

  • 이 과정은 [개인적인 요인]에 의해 촉발되고,
  • 교육 과제에 대한 초기 참여와 전직 교사의 역할 모델링을 포함한 [초기 직업 상황]에 의해 더욱 활성화된다.
  • ["자신"과 "상황"]의 요소는 모두 BST가 전문적인 교사가 되기 위한 [전략을 수립하도록 촉발]한다.
  • 이러한 전문적 정체성을 형성하기 위한 전환 과정은 주로 [시니어, 동료, 기관 및 사회의 지원]에 의해 강화된다.

기초과학 교사의 PIF에 영향을 미치는 요인의 폭을 고려하여 BST의 변화된 역할을 포함하여 BST의 정체성을 육성하기 위한 교수진 개발 프로그램 및 지원 시스템을 구축해야 한다.
It is important to address the PIF of BSTs given their dynamic roles. Looking through the lens of the 4S framework, the PIF of BSTs is a transition process influenced by many different factors.

  • The process is triggered by personal factors and
  • further activated by early-career situations which including early involvement in teaching tasks and the role modeling of former teachers.
  • Both the “Self” and the “Situation” components trigger the BSTs to enact strategies to become professional teachers.
  • The transition process to form these professional identities is primarily enhanced by the support from seniors, peers, institutions and society.

A faculty development program and support system to foster the identity of BSTs, including their changing roles should be created by taking into consideration the breadth of factors influencing the PIF of basic sciences teachers.


Adv Health Sci Educ Theory Pract. 2022 Aug 1. doi: 10.1007/s10459-022-10150-6. Online ahead of print.

Deconstructing the professional identity formation of basic science teachers in medical education

Affiliations collapse

1Department of Medical Education, Faculty of Medicine, Universitas Indonesia, Jalan Salemba 6, Jakarta, Indonesia.

2Medical Education Center Indonesia Medical Education and Research Institute (IMERI), Faculty of Medicine, Universitas Indonesia, Jalan Salemba 6, Jakarta, Indonesia.

3Department of Medical Education, Faculty of Medicine, Universitas Indonesia, Jalan Salemba 6, Jakarta, Indonesia. ardi.findyartini@ui.ac.id.

4Medical Education Center Indonesia Medical Education and Research Institute (IMERI), Faculty of Medicine, Universitas Indonesia, Jalan Salemba 6, Jakarta, Indonesia. ardi.findyartini@ui.ac.id.

5Institute of Health Sciences Education, Faculty of Medicine and Health Sciences, McGill University, Montreal, Canada.

PMID: 35915274

DOI: 10.1007/s10459-022-10150-6

Abstract

Purpose: The role of basic science teachers (BSTs) in medical education has been changing dynamically. Less is known, however, about how BSTs perceive their professional identity and what factors influence its formation. This study aims to explore how the professional identity of BSTs is formed and what factors influence this professional identity formation (PIF) using the 4S ("Situation, Self, Support, Strategies") Schlossberg framework.

Method: A qualitative descriptive study using focus groups (FGs) was conducted. Maximum variation sampling was used to purposively select BSTs. A rigorous thematic analysis was completed, including independent thematic analysis, intermittent checking and iterative discussions among researchers, and member checking.

Results: Nine FGs, involving 60 teachers, were conducted. The findings highlighted four major themes reflecting the 4S framework: the self as internal driver, early-career events and opportunities, individual and institutional support, and active participation in continuing professional development. Both the "Self" and the "Situation" components prompted the BSTs to utilize supports and enact strategies to become professional teachers. Although the BSTs in this study were primarily internally driven, they relied more on existing support systems rather than engaging in various strategies to support their growth.

Conclusion: It is important to address the PIF of BSTs given their dynamic roles. Looking through the lens of the 4S framework, PIF is indeed a transition process. A structured, stepwise faculty development program, including mentorship, reflective practice, and a community of practice designed to foster BSTs' identities, should be created, taking into consideration the diverse factors influencing the PIF of BSTs.

Keywords: 4S Schlossberg framework; Basic science teachers; Faculty development; Medical teachers; Professional identity formation.

주관적 평가를 측정할 때 동의-비동의 문항 사용의 재고(Res Social Adm Pharm. 2022)
Towards a reconsideration of the use of agree-disagree questions in measuring subjective evaluations
Jennifer Dykema a,b,*, Nora Cate Schaeffer a,b, Dana Garbarski c, Nadia Assad a, Steven Blixt d

서론
Introduction

태도 측정에 대한 그의 중요한 연구에서 렌시스 리커트의 공로를 인정받아, 동의-불일치(AD) 또는 리커트 질문은 태도와 의견을 평가하기 위해 가장 자주 사용되는 응답 형식 중 하나이며, 수많은 연구와 많은 국가 및 연방 조사에서 나타난다. 다음 질문에서 알 수 있듯이 [AD 질문]은 응답자에게 진술을 제공하고 동의 수준을 평가하도록 요청합니다: 

  • 의학 연구원들은 참가자들의 정보를 비공개로 하고 안전하게 유지하기 위해 매우 열심히 일한다. 당신은 강하게 동의하는가, 동의하는가, 동의하지 않거나 동의하지 않는가, 동의하지 않는가, 아니면 강하게 반대하는가?

Credited to Rensis Likert in his seminal research on attitude measurement, agree-disagree (AD) or Likert questions are among the most frequently used response formats to assess attitudes and opinions, appearing in numerous studies and many national and federal surveys.1, 2, 3 As illustrated by the following question, AD questions present respondents with statements and ask them to rate their level of agreement: 

  • Medical researchers work extremely hard to make sure they keep information from participants private and secure. Do you strongly agree, agree, neither agree nor disagree, disagree, or strongly disagree?4

연구자들이 AD 질문의 긍정적인 심리학적 특성에 대해 썼지만, 이러한 항목의 보편성은 사용의 용이성 때문일 가능성이 높다. AD 질문으로 구성된 척도는 진술의 내용이나 복잡성에 관계없이 각 진술에 대해 [동일한 응답 범주]를 사용할 수 있고, 자체 관리 설문지의 경우 연구자가 그리드에서 여러 AD 질문을 [경제적으로 포맷]할 수 있기 때문에 실질적으로 매력적이다.  
While researchers have written about the positive psychometric properties of AD questions,
5 the ubiquity of these items is also likely due to their ease of use. Scales comprised of AD questions are practically appealing because the same response categories can be used for each statement regardless of the content or complexity of the statements, and for self-administered questionnaires, researchers can format multiple AD questions economically in a grid.6,7

그러나 이러한 긍정적인 기능은 [응답자의 부담 증가]로 상쇄될 수 있으며, 이는 [데이터 품질을 저하]시킬 수 있으며, 설문지 설계자들이 [항목별(IS) 질문을 옹호]하도록 만들었다. [IS 질문]은 응답 차원에 맞게 조정된 응답 범주를 사용하여 질문의 기본 응답 차원에 대해 직접 질문하기 위해 작성됩니다. 예를 들어 IS 버전의 예제 질문은 열심히 일하는 강도를 평가하는 응답 범주를 사용하여 의료 연구자가 열심히 일하는 방법의 기본 응답 차원을 측정하기 위해 작성된다: 

  • 의학 연구자들은 참가자들의 정보를 비공개로 하고 안전하게 하기 위해 얼마나 열심히 일할까요? 전혀 열심히 하지 않음, 조금 열심히 하지 않음, 다소 열심히 함, 매우 열심히 함, 극도로 열심히 함?

These positive features, however, may be offset by increased burden for respondents, which may reduce data quality, and has led questionnaire designers to advocate for item-specific (IS) questions.6, 7, 8, 9 IS questions are written to directly ask about a question's underlying response dimension with response categories tailored to match the response dimension.6,7,9 For example, an IS version of the example question would be written to measure the underlying response dimension of how hard medical researchers work using response categories that assess the intensity of working hard: 

  • How hard do medical researchers work to make sure they keep information from participants private and secure: not at all hard, a little hard, somewhat hard, very hard, or extremely hard?

다음 섹션에서는 다음을 수행합니다. 

  • 1) AD 및 IS 질문에 대한 데이터 품질을 비교하는 실험 연구를 검토한다; 
  • 2) AD 및 IS 질문에 대한 응답자의 인지 처리에 관한 연구의 개념적 모델을 제시하고 검토한다; 
  • 3) AD 및 IS 질문 간에 자주 다르고 응답자의 인지 처리 및 데이터 품질에 영향을 미칠 수 있는 질문 특성에 대한 개요를 제공한다 
  • 4) AD 및 IS 질문의 사용 및 연구에 대한 최종 의견과 권고사항을 제공합니다.

In the following sections we:

  • 1) review experimental studies comparing data quality for AD and IS questions;
  • 2) present conceptual models of and review research concerning respondents' cognitive processing of AD and IS questions;
  • 3) provide an overview of question characteristics that frequently differ between AD and IS questions and may affect respondents’ cognitive processing and data quality; and
  • 4) offer concluding comments and recommendations regarding the use and study of AD and IS questions.

AD 대 IS 질문이 데이터 품질에 미치는 영향
Effects of AD versus IS questions on data quality

AD와 IS 질문을 직접 비교하고 데이터 품질 또는 인지 처리 결과를 기반으로 차이를 평가하는 20개의 실험 연구를 식별했다. 여러 연구는 유효성과 신뢰성의 바람직한 데이터 품질 지표를 조사한다. 전반적으로 IS 질문이 더 높은 타당성과 신뢰성과 관련이 있다는 연구 결과가 많다. 예를 들어,

  • 6개의 연구가 AD 질문과 IS 질문 사이에 일관된 차이가 없다고 보고한 반면, 3개의 연구는 IS 질문에 대해 더 높은 유효성을 보여주었고, AD 질문에 대해 더 높은 [타당성]을 보고한 연구는 없었다.
  • [신뢰성]IS 질문에 대해 5개 연구가 더 높은 신뢰성을, AD 질문에 대해 2개 연구가 더 높은 신뢰성을 보여주었고, 2개 연구는 차이가 없다고 보고했다.

We identified 20 experimental studies that directly compare AD and IS questions and evaluate differences based on data quality or cognitive processing outcomes. Several studies examine the desirable data quality indicators of validity and reliability. Overall, a larger number of studies find IS questions are associated with higher validity and reliability. For example, while six studies reported no consistent difference between AD and IS questions,3,4,10, 11, 12, 13 three studies demonstrated validity was higher for IS questions,8,14,15 and no studies reported higher validity for AD questions. For reliability, five studies demonstrated higher reliability for IS questions,8,11,12,15,16 two for AD questions,4,13 and two studies reported no difference.3,17

연구는 또한 다음과 같은 바람직하지 않은 데이터 품질 지표를 조사했다

  • 묵인 (내용에 관계없이 질문에 동의함), 
  • 우선순위로 인한 반응 효과 (첫 번째 범주의 체계적 선택), 
  • 최신성 (마지막 범주의 체계적 선택)
  • 극단적 대응 (첫 번째 범주와 마지막 범주의 체계적 선택), 
  • 직선 (질문 모음의 항목에 대해 유사한 답변을 제공하는 경우), 
  • 항목 무응답 및 
  • 온라인 설문 조사에서 속도와 중단. 

Studies have also examined undesirable data quality indicators including

  • acquiescence (tendency to agree with a question regardless of its content),18 
  • response effects due to primacy (systematic selection of the first category),
  • recency (systematic selection of the last category), and
  • extreme responding (systematic selection of the first and last categories),
  • straightlining (tendency to give similar answers to items in a battery of questions),19 
  • item nonresponse, and
  • speeding and break-offs in online surveys.

일반적으로 더 많은 연구에서 [AD 질문]이 이러한 부정적인 결과와 관련이 있다는 것을 발견했지만, 많은 연구에서 차이를 발견하지 못했으며, 일부 연구에서는 IS 질문에 대해 더 높은 수준의 바람직하지 않은 결과를 발견했다.

  • 예를 들어, 4개의 연구가 묵인을 위한 AD 질문과 IS 질문 사이의 차이가 없거나 일관성이 없다고 보고한 반면, 4개의 연구는 AD 질문이 묵인에 더 취약하다고 보고했다.

다른 반응 효과와 직선에 대한 결과는 더 다양합니다.

  • 세 가지 연구는 AD 질문에 대한 우선순위, 극단적 응답 및 척도 방향 효과를 밝혀냈다;
  • 한 연구는 IS 질문에 대한 최근 영향을 보고했다; 그리고 최종 연구는 AD와 IS 형식 모두에서 극단적인 반응이 있었다고 보고했다. 
  • 직선화의 경우, 두 연구에서 AD 척도에서 직선화가 더 많이 보고되었고, 하나는 IS 척도에서 보고되었으며, 두 연구에서는 차이가 없다고 보고되었다. 
  • 3개의 연구는 AD와 IS 질문에 대한 항목 누락 응답에서 일관된 패턴이 없다고 보고한 반면, 한 연구는 IS 질문에 대한 더 높은 수준을 보고했다. 
  • 마지막으로, 3개의 연구가 AD 형식의 질문 중에서 더 높은 수준의 속도 향상을 보고했지만, AD 또는 IS 형식은 온라인 설문 조사에서 중단 가능성에 더 큰 영향을 미치지 않았다. 

In general, more studies find AD questions are associated with these negative outcomes, but a number of studies find no differences, and a few studies find higher levels of undesirable outcomes for IS questions.

  • For example, while four studies reported no or inconsistent differences between AD and IS questions for acquiescence,13,16,2080 four studies reported AD questions were more susceptible to acquiescence.10,11,14,17 

Findings for other response effects and straightlining are more mixed.

  • Three studies uncovered primacy,21 extreme responding,22 and scale direction23 effects for AD questions;
  • one study reported recency effects4 for IS questions; and a final study reported extreme responding was present for both AD and IS formats.2 
  • For straightlining, two studies reported more straightlining in AD scales,10,12 one in IS scales,22 and two studies reported no differences.21,23 
  • While three studies reported no consistent pattern in item-missing responses for AD and IS questions,16,21,22 one study reported higher levels for IS questions.4 
  • Finally, while three studies reported higher levels of speeding among questions with AD formats,212223 neither an AD or IS format was more likely to affect the likelihood of break-offs in online surveys.22,23

AD 및 IS 질문의 인지 처리
Cognitive processing of AD and IS questions

설문지 설계자들은 AD 질문이 IS 질문보다 인지적으로 부담이 크기 때문에 데이터 품질을 낮출 가능성이 높다고 주장한다. [AD 질문의 복잡성]에 기여하는 한 가지 특징은 [질문의 "제공된" 응답 차원]과 ["기본적인" 응답 차원] 사이의 [불일치]를 응답자에게 자주 제시한다는 것이다. 응답 차원은 질문이 응답자에게 답변을 구성할 때 고려하도록 요청하는 연속체입니다. 평가 척도를 사용한 평가 및 판단에 대한 질문의 경우, 응답 차원은 다음을 설정할 수 있다 

  • 원자가(대상 물체의 평가가 긍정적이든 부정적이든, 예를 들어 "찬성 또는 동의하지 않음"), 
  • 강도(예: "전혀… 극단적이지 않다"), 
  • 수량(예: "대단히 … 많은 양"), 또는 
  • 대상 개체의 상대 빈도(예: "never … always"). 

Questionnaire designers argue that AD questions are more likely to lower data quality because they are more cognitively burdensome than IS questions.6, 7, 8,24 A characteristic that contributes to the complexity of AD questions is that they often present respondents with a mismatch between the question's “offered” and “underlying” response dimensions. A response dimension is the continuum a question asks the respondent to consider when constructing their answer.6,9,25 For questions about evaluations and judgments using rating scales, response dimensions can establish 

  • valence (whether the evaluation of a target object is positive or negative; e.g., “agree or disagree”), 
  • intensity (degree to which the evaluation is held; e.g., “not at all … extremely”), 
  • quantity (amount of the evaluation held; e.g., “none … a great deal”), or 
  • relative frequency of the target object (e.g., “never … always”).

표 1.4의 AD 질문을 고려합니다. 반응 범주가 제시하는 반응 차원은 [일치의 강도]입니다. 이는 진술서에 제시된 [열심히 일하는 강도]의 [근본적인 반응 차원]과 상충된다. 이러한 불일치는 응답자들이 진술에 대한 [자연적으로 발생하는 반응]을 [AD 반응 범주]에 "매핑"하기 위해 복잡한 인지 처리 단계를 수행하도록 강요한다.
Consider the AD question in Table 1.4 The offered response dimension presented by the response categories is the intensity of agreement. This conflicts with the underlying response dimension of the intensity of working hard presented in the statement. These mismatches force respondents to undertake complicated cognitive processing steps in order to “map” their naturally occurring responses to the statement onto the AD response categories.

Tourangeau 등은 응답자가 설문조사 질문에 대한 답변을 구성하는 4단계를 설명한다: 

  • 이해, 
  • 기억에서 관련 정보 검색, 
  • 판단을 위한 검색된 정보 사용, 
  • 답변 선택 및 보고. 

다른 것들은 이 모델을 확장하여 AD 질문에 응답하는 데 관련된 인지 단계를 추가했으며, 표 1에서 AD 및 IS 질문에 대답하기 위해 수행되는 인지 처리 단계의 개념적 모델을 제시한다.
Tourangeau et al.26 describe four stages through which respondents construct answers to survey questions:

  • comprehension,
  • retrieval of relevant information from memory,
  • use of retrieved information to make judgments, and
  • selection and reporting of an answer.

Others have expanded on this model, adding cognitive steps involved in responding to AD questions specifically,6,8,23,27,28 and in Table 1, we present conceptual models of the cognitive processing steps undertaken to answer AD and IS questions. 

AD 질문에 대한 인지 처리 단계의 개념 모델
Conceptual model of cognitive processing steps for AD questions

첫 번째 단계는 응답자가 이해해야 하는 [이해]입니다 

  • 성명서의 문자 그대로의 의미(예: "의료 연구자들은 참가자들의 정보를 비공개로 하고 안전하게 유지하기 위해 매우 열심히 노력한다") 
  • 구성 요소(예: "의료 연구원", "열심히 일한다[열심히 한다] 등). 

The first step is Comprehension in which the respondent must comprehend

  • the literal meaning of the statement (e.g., “Medical researchers work extremely hard to make sure they keep information from participants private and secure”) as well as
  • its component parts (e.g., “medical researchers,” “work [extremely] hard,” etc.).

다음으로, 식별하는 동안, 응답자는 질문의 [기본적인 응답 차원을 식별]합니다. 이는 문장의 의미를 이해하고 임계값 단어(포함된 경우)에 주의를 기울임으로써 달성됩니다. [임계값 단어]는 척도 옵션의 전체 범위를 제시하지 않고 기본 응답 차원에서 임계값을 설정하는 AD 문에 종종 포함되는 인텐시파이어(예: "매우"), 정량자(예: "가장") 또는 빈도 마커(예: "거의")입니다.

  • 예를 들어, AD 질문에는 "극도로"라는 [임계값 단어]가 포함되는데, 이는 "열심히 일한다"를 수정함으로써, 근본적인 응답 차원으로서 열심히 일하는 강도를 강화하는 역할을 한다. 

Next, during Identification, the respondent identifies the question's underlying response dimension, which is accomplished by understanding the meaning of the statement as well as attending to threshold words, if included. Threshold words are intensifiers (e.g., “very”), quantifiers (e.g., “most”), or frequency markers (e.g., “rarely”) often included in AD statements that establish a threshold on the underlying response dimension without presenting the full range of scale options.

  • For example, the AD question includes the threshold word “extremely,” which, by modifying “work hard,” serves to reinforce the intensity of working hard as the underlying response dimension.

기본 반응 차원을 식별한 후, 응답자는 차원(생성)에 대해 자신의 내부 값(반응)을 생성해야 합니다. 

  • 현재 질문의 경우, 응답자는 "상당히 열심히"에 관한 내부 값을 생성합니다. 

After identifying the underlying response dimension, the respondent must generate their own internal value (response) on the dimension (Generation).

  • For the current question, the respondent generates an internal value of “pretty hard.”

이어지는 단계는 일련의 복잡한 인지 과정을 포함한다, 

  • 응답자가 자신의 내부 값인 "상당히 열심히"과 임계값인 "극단적으로 열심히" 사이의 거리를 평가한다(임계값 평가).
  • 그런 다음 내부 값과 임계값 사이의 거리가 "동의", "동의하지 않음" 또는 "중립성"을 나타내는지 확인합니다(극성 평가)

Ensuing steps encompass a set of complicated cognitive processes in which the respondent

  • evaluates the distance between their internal value of “pretty hard” and the threshold value of “extremely hard” (Threshold evaluation), and
  • then determines whether the distance between their internal value and the threshold value indicates “agreement,” “disagreement,” or “neutrality” (Polarity evaluation).

마지막으로, [극성에 대한 평가]에 따라, 응답자는 [제안된 범주 중 하나(매핑)를 사용]하여 제안된 응답 차원에 내부 가치를 매핑해야 합니다.

  • 예를 들어, 응답자는 자신의 내부 값 "매우 엄격"이 임계값 "극히 엄격"에 가깝기 때문에 "동의하지 않음"을 선택하거나, "매우 엄격"이 "극히 엄격"보다 덜 심각하기 때문에 "동의하지 않음"을 선택할 수 있다

Finally, guided by their evaluation of polarity, the respondent must map their internal value onto the offered response dimension using one of the offered categories (Mapping).

  • For example, the respondent might select “agree” because their internal value “pretty hard” is close to the threshold value “extremely hard,” or the respondent could select “disagree” because “pretty hard” is less intense than “extremely hard.”

IS 질문에 대한 인지 처리 단계의 개념 모델
Conceptual model of cognitive processing steps for IS questions

비교 가능한 IS 질문에 답하기 위해 수행되는 인지 처리 단계는 단순화되고 부담이 적을 것으로 예측된다.

  • 첫째, 응답자는 질문의 문자 그대로의 의미와 그 구성요소(Comprehension)를 이해해야 합니다. 
  • 식별 단계에서, 응답자는 질문 방식과 응답 범주의 레이블링 및 순서(예: "전혀 딱딱하지 않음", "약간 딱딱함" 등)에 의해 강화되는 기본 응답 차원을 결정합니다. 
  • 다음으로, 응답자는 "상당히 어려운" 내부 값을 생성한다(생성). 그러나 이 값의 배치는 제공된 범주 중 하나(매핑)에 매핑하여 직접 수행되므로 임계값 및 극성 평가를 우회할 수 있습니다. 
  • 현재 질문의 경우, 응답자는 부사어와 인텐시파이어의 스케일을 조정하는 연구를 바탕으로 "상당히"가 "다소"와 "매우" 사이에 있기 때문에 "다소" 또는 "매우 어렵다"를 선택할 수 있다. 

The cognitive processing steps undertaken to answer a comparable IS question are simplified and predicted to be less burdensome.

  • First, the respondent must comprehend the literal meaning of the question and its component parts (Comprehension).
  • During Identification, the respondent determines the underlying response dimension, which is reinforced by the manner of questioning and the labeling and ordering of the response categories (e.g., “not at all hard,” “a little hard,” etc.).
  • Next, the respondent generates an internal value of “pretty hard” (Generation), but placement of this value is done directly by mapping it to one of the offered categories (Mapping), thereby circumventing Threshold and Polarity evaluation.
  • For the current question, the respondent could select “somewhat hard” or “very hard” because “pretty” lies between “somewhat” and “very” based on studies that scale adverbial phrases and intensifiers.29,30

AD 및 IS 질문을 단독으로 배터리로 처리할 때 응답자의 인지 노력
Respondents’ cognitive effort when processing AD and IS questions alone and in batteries

응답자의 인지적 노력 처리 AD 및 IS 질문을 조사한 연구는 질문이 단독으로 나타나는지 또는 배터리의 일부로 나타나는지, 그리고 IS 응답 범주가 질문에 따라 달라지는 정도라는 두 가지 질문 특성을 중간 정도의 노력으로 나타낸다. 표 1의 모델은 단독으로 제시된 단일 AD 질문이 더 높은 수준의 인지 처리를 필요로 할 것으로 예상하지만, 대부분의 AD 질문은 진술이 다양하지만 응답 범주가 일정하게 유지되는 배터리에서 나타난다. 이 프레젠테이션을 통해 응답자들은 질문과 범주의 패턴을 기억할 수 있으며, 생각이 덜한 답변 과정을 장려할 수 있다. 대조적으로, 여러 IS 질문이 함께 그룹화될 때, 응답자들이 가변 응답 범주를 처리하기 위해 더 많은 노력을 기울이는 것을 요구하기 때문에, 그들은 (자주, 그러나 항상 그렇지는 않다) 서로 다른 응답 차원과 응답 범주를 사용한다. 
Studies examining respondents’ cognitive effort processing AD and IS questions indicate two question characteristics moderate effort: whether questions appear alone or as part of a battery; and the extent to which IS response categories vary across questions.23,28,31 While the model in Table 1 anticipates that a single AD question presented in isolation will require a higher level of cognitive processing, most AD questions appear in batteries in which the statements vary but the response categories remain constant. This presentation allows respondents to memorize the pattern of questioning and categories and may encourage a less thoughtful process of answering.32 By contrast, when multiple IS questions are grouped together, they (often, but not always) use different response dimensions and response categories, requiring respondents exert more effort to process the variable response categories.23

[응답자가 질문을 처리하고 답변하는 데 걸리는 시간의 변화]를 조사하는 연구는 이러한 제안을 크게 뒷받침한다. 응답 지연 시간(RL)은 면접관의 질문 읽기가 끝날 때부터 응답자의 답변까지 걸리는 시간을 측정합니다. 연구자들은 신뢰와 정치적 유효성에 대한 질문에 대해 RLs의 시간을 측정했는데, 이 질문의 범주는 IS 항목에 따라 다르지만 AD 항목에 대해서는 변함이 없었다. 두 연구 모두에서, 배터리의 [첫 번째 질문]에 대한 RL은 AD 항목에 대해 상당히(또는 약간 그렇게) 길었고, AD 응답 형식이 인지적으로 더 부담스러운 응답 작업을 부과했다는 일부 증거를 제공했다. 그룹으로 평가된 RLs는 신뢰에 대한 IS 질문에 대해 더 길었지만 정치적 효과는 아니었다.
Research examining variation in the time respondents spend processing and answering questions largely support these propositions. Response latencies (RLs) measure time spanning the end of an interviewer's question reading to the respondent's answer.33 Researchers timed RLs for questions about trust4 and political efficacy11 in which categories varied across IS items, but were invariant across AD items. In both studies, RLs for the first question in the battery were significantly (or marginally so) longer for the AD item, providing some evidence that AD response formats imposed a more cognitively burdensome response task. Evaluated as a group, RLs were longer for the IS questions about trust, but not political efficacy.

연구자들은 또한 AD 항목에 대해서는 응답 범주가 동일하지만 IS 항목에 대해서는 다양한 독립형 항목으로 제시된 질문에 대한 응답 시간(RT; 읽기 및 답변에 소요된 총 시간)을 조사했다. 조사결과는 카테고리의 수나 순서, PC나 스마트폰에서 질문에 대한 답변 여부와 관계없이 IS 질문의 경우 RT가 더 긴 것으로 나타났다. 대조적으로, AD 및 IS 질문 모두에 대해 응답 범주가 일정하게 유지된 그리드에서 제시된 AD 및 IS 질문에 대한 RT의 차이는 없었다.23 RT에 대한 연구를 종합하면, IS 범주의 changing nature는 응답자들이 지출하는 인지 노력의 양을 증가시킬 수 있다는 것을 보여준다.
Researchers have also examined response times (RTs; total time spent reading and answering) for questions presented as stand-alone items in which response categories were the same for AD items but varied for IS items.21, 22, 23 Findings indicated RTs were longer for IS questions, regardless of the number or ordering of categories or whether the questions were answered on PCs or smartphones. By contrast, there were no differences in RTs for AD and IS questions presented in grids in which the response categories were held constant for both the AD and IS questions.23 Taken together, studies of RTs indicate the changing nature of IS categories may increase the amount of cognitive effort respondents expend. 

다른 방법론은 [그룹화된 IS 질문]의 [다양한 응답 범주]가 [더 많은 인지 노력을 필요]로 하는 반면, [그룹화된 AD 질문]의 [반복적인 질문 패턴]은 [더 피상적인 처리]를 장려한다는 증거를 제공한다. 인터뷰어가 관리하는 연구에서, 연구자들은 IS 응답 범주가 참가자들이 기억하기 어려웠기 때문에 IS 질문이 응답 난이도의 더 높은 수준의 행동 지표와 연관되어 있다고 보고했다. 질문(쇼카드 없이 11개 질문)과 항목의 음성 프레젠테이션. 연구자들은 눈 추적 기술을 사용하여 AD 항목의 경우 동일하지만 IS 질문의 경우 다양한 질문 줄기 대 응답 범주에 대해 응답자의 눈 움직임을 별도로 기록함으로써 인지 노력을 조사했다. 조사 결과는 질문 줄기에 대한 눈의 움직임에 차이가 없는 것으로 나타났지만, 응답자들은 IS 응답 범주를 더 집중적으로 처리하였으며, 더 많은 시간 동안 더 많이 보았다.

Other methodologies also provide evidence that the varying response categories of grouped IS questions require more cognitive effort while the repeated questioning pattern of grouped AD questions encourage more superficial processing. In an interviewer-administered study, researchers4 reported that IS questions were associated with higher levels of behavioral indicators of response difficulty (e.g., higher levels of uncodable answers and answers with qualifications) because the IS response categories were harder for participants to remember, an issue exacerbated by the number of questions (11 questions were asked without show cards) and aural presentation of items. Using eye-tracking technology, researchers28,34 examined cognitive effort by recording respondents’ eye movements separately for question stems versus response categories, which were the same for the AD items, but varied for the IS questions. While findings indicated no differences in eye movements for the question stems, respondents processed IS response categories more intensively, viewing them more and for longer times.

응답자의 AD 및 IS 질문에 대한 인지 노력을 조사한 연구 결과는 IS 질문에 대한 노력을 증가시키는 요인을 이해하기 위해 더 많은 연구가 필요하며, 가장 중요한 것은 그 노력이 데이터 품질과 관련이 있는지 여부이다. 응답 시간만으로는 해석하기 어려울 수 있습니다: "[응답이 지연delay된다는 것]은 질문을 처리하기 어렵거나(일반적으로 나쁜 신호), 질문이 사려 깊은 응답을 장려한다는 것을 의미할 수 있습니다(일반적으로 좋은 신호)(p. 297)." 더 긴 시간은 덜 정확한 답과 관련이 있지만, 자기 관리 기구를 사용한 실험 연구는 [시간과 정확도 사이의 관계]가 [더 길거나 더 짧은 시간일 때 덜 정확]한 곡선관계 일 수 있음을 시사했다.  


Results from studies examining respondents’ cognitive effort answering AD and IS questions suggest more research is needed to understand factors that lead to increased effort for IS questions and most importantly, whether that effort is associated with data quality. Response times alone can be difficult to interpret: “delays in responding could mean that a question is difficult to process (usually a bad sign) or that the question encourages thoughtful responding (typically a good sign) (p. 297).”7 While longer times have been associated with less accurate answers,35 an experimental study with a self-administered instrument suggested the relationship between time and accuracy may be curvilinear with longer and shorter times being less accurate.36

AD 및 IS 질문 간에 다른 질문 특성 개요
Overview of question characteristics that differ between AD and IS questions

실험에서 평가되는 AD-IS 질문 쌍은 종종 인지 처리 및 데이터 품질에 영향을 미칠 수 있는 여러 질문 특성에 따라 다르다. 예를 들어, 제공된 응답 차원(AD 질문에 대한 강도 및 IS 질문에 대한 빈도)과 응답 범주의 방향([높은 것부터 낮은 것]까지 일치 대 [낮은 것부터 높은 것]까지)은 다음 AD-IS 쌍에 따라 다릅니다: 

  • "의사들은 환자들로부터 모든 진실을 숨기는 경우가 거의 없다: 강하게 동의하고 강하게 반대한다." 그리고
  • "의사들은 환자들로부터 모든 진실을 지킨다: 절대로… 항상."  

In experiments, the AD-IS question pairs being evaluated often vary on multiple question characteristics that can affect cognitive processing and data quality. For example, both the offered response dimension (intensity for the AD question and frequency for the IS question) and direction of the response categories (high to low agreement versus low to high frequency) vary for following AD-IS pair:

  • “Doctors rarely keep the whole truth from their patients: agree strongly … disagree strongly” and
  • “Doctors keep the whole truth from their patients: never … always.”8 

응답 차원과 같은 일부 특성은 실험적으로 제어되지 않는 방식으로 AD와 IS 질문을 비교하는 연구에서 종종 공변화되어 특성의 고유하거나 조절하는 효과를 분리하는 것이 불가능하다. 반응 범주에 대한 언어 레이블의 수와 사용과 같은 다른 특성은 일반적으로 AD-IS 실험 내에서 일정하게 유지되지만, 이러한 특성은 연구에 따라 달라 결과를 일반화하는 작업을 복잡하게 만든다. AD-IS 실험에 포함된 질문을 컴파일하고 AD-IS 질문 쌍 간에 다른 주요 특성을 식별하기 위해 특징을 체계적으로 코딩했다(표 2에 요약). 우리는 이러한 특성이 AD-IS 실험 내에서 그리고 AD-IS 실험 전반에 걸쳐 어떻게 변화하는지 설명하고, 선택된 특성의 경우 데이터 품질과 관련된 결과를 간략하게 요약한다. 
Some characteristics, such as response dimensions, often co-vary in studies comparing AD and IS questions in ways that are not controlled experimentally, making it impossible to isolate unique or moderating effects of the characteristics. Other characteristics, such as the number and use of verbal labels for response categories, are usually held constant within an AD-IS experiment; but these features vary across studies, complicating the task of generalizing findings. We compiled questions included in AD-IS experiments and systematically coded their features to identify key characteristics that differ between AD-IS question pairs (summarized in Table 2). We describe how these characteristics vary within and across AD-IS experiments, and for select characteristics, we briefly summarize findings regarding data quality.9,25

 

질문 방식
Manner of questioning

평가할 내용이 포함된 문장이 [문장]이나 [질문]으로 구성되어 있는지 여부를 묻는 방식은 AD와 IS 항목을 구별하는 것의 본질에 기본적이며 AD-IS 비교에 따라 항상 다르다. 연구자들은 AD 항목의 간접 질문 구조를 회피하는 이유로 꼽고 있으며, 6과 실험 연구의 결과는 이러한 권고를 뒷받침한다. 시선 추적 연구의 피험자들은 AD 및 IS 질문 줄기를 처리하는 동등한 인지 노력을 발휘하는 것으로 나타났지만, 실험실 환경의 피험자들은 질문에 대한 주장으로 작성되었을 때 항목의 내용을 덜 깊이 처리했다. 
Questioning manner – whether the sentence with the content to be evaluated is structured as a statement or question -- is fundamental to the nature of what distinguishes AD and IS items and always differs across AD-IS comparisons. Researchers cite the indirect question structure of AD items as a reason to avoid them,6 and findings from experimental studies support these recommendations. While subjects in eye-tracking studies appeared to exert equivalent cognitive effort processing AD and IS question stems,28,34 subjects in a laboratory setting processed the content of items less deeply when they were written as assertions versus interrogatives.37

묵인
Acquiescence

연구에 따르면 제안된 응답 차원의 합의는 특히 낮은 수준의 교육을 받은 응답자들 사이에서 AD 질문이 묵인에 더 취약할 수 있는 반면, IS 응답 차원은 이를 훨씬 덜 우려하게 한다. AD 질문에 대한 묵인은 아마도 공손함, 존경심 또는 대화 관행 때문에 [반대할 이유가 없는 한 "동의"할 수 있는 사전 성향]을 가지고 있기 때문에 발생할 수 있다. AD 진술이 복잡하거나 반복적이거나 응답자에게 두드러지지 않는 항목의 대규모 그룹의 일부인 경우 그러한 경향은 악화될 수 있다. 또한, 응답 차원의 "동의" 또는 긍정적인 보기가 [일반적으로 먼저 제공]되며, 더 많은 처리를 받거나 더 호의적으로 인식될 수 있으므로 선택될 가능성이 더 높다.
Research indicates the offered response dimension of agreement may cause AD questions to be more vulnerable to acquiescence, particularly among respondents with lower levels of education,18,38,39 whereas IS response dimensions make this much less of a concern. Acquiescence for AD questions could arise because listeners have a pre-disposition to “agree” unless they have a reason to disagree, perhaps due to politeness, deference, or because of conversational practices.18,40 Such tendencies might be exacerbated if AD statements are complex or part of a large group of items that are repetitious or not salient to the respondent. In addition, the “agree” or positive end of the response dimension is usually offered first,18 and may receive more processing or be perceived more favorably, and thus more likely to be selected.31

임계값 단어
Threshold words

일반적으로 [임의적인 임계값 단어의 선택]은 내부 값을 AD 응답 범주에 매핑하려는 응답자의 노력을 복잡하게 만들 수 있으며, 궁극적으로 [단조로운 동등성의 원칙]을 위반하는 답변으로 이어질 수 있다. 문항이 [단조로운 동등성]을 갖는다는 것은 [측정되는 구조의 [기본 척도]에서 [답변에 대한 값]을 증가(또는 감소)하는 것과 상관관계가 있는 경우]이다.

Threshold words, the selection of which is typically arbitrary,8 may complicate respondents' efforts to map internal values onto AD response categories, and ultimately lead to answers that violate the principle of monotonic equivalence.7 An item possesses monotonic equivalence when increasing (or decreasing) values for the answers correlate with increasing (or decreasing) values on the underlying scale of the construct being measured.

예를 들어, 환자의 약물 비부착 non-adherence사유를 측정하기 위해 설계된 "비부착성non-adherence은 대부분 사람들의 부주의로 인한 것"이라는 문구를 고려한다. 진술이 암시하는 근본적인 반응 차원은 [부주의로 인한 비고착성이 얼마나 큰가]하는 것이다.

  • 한 응답자는 불응성이 부주의로 인해 "전혀" 발생하지 않는다고 생각하기 때문에 "반대"라고 대답할 수 있고,
  • 다른 응답자는 불응성이 부주의로 인해 "매우" 발생한다고 느끼기 때문에 "반대"라고 대답할 수 있습니

For example, consider the statement “non-adherence is mostly due to people being careless,” designed to measure patients' reasons for medication non-adherence.41 The underlying response dimension implied by the statement is how much non-adherence is due to carelessness.

  • However, one respondent could answer “disagree” because they believe non-adherence is “not at all” due to carelessness
  • while another could “disagree” because they feel non-adherence is due to carelessness “a great deal.”

두 응답자 모두 "동의하지 않음"의 값을 보고하지만, 첫 번째 응답자의 "전혀 그렇지 않음"의 내부 값은 "매우 그러함"보다 근본적인 반응 차원에서 훨씬 더 낮다. 이 항목의 [IS 버전]이 질문을 하는 직접적인 방법을 제공하며 응답자들이 응답 연속체에서 자신을 정확하게 주문하도록 보다 쉽게 보장한다:

  • "사람들의 부주의로 인한 비고착성은 어느 정도인가요? 전혀, 조금, 다소, 꽤 많은 것인가요?"

While both respondents report a value of “disagree,” the first respondent's internal value of “not at all” is clearly much lower on the underlying response dimension than “a great deal.” An IS version of this item provides a direct method of asking this question and more readily ensures that respondents order themselves accurately on the response continuum:

  • “How much is non-adherence due to people being careless: not at all, a little, somewhat, quite a bit, or a great deal?”

측정에는 [단조로운 동등성]이 필요하기 때문에, [AD 질문에 대한 반응]이 [반응 연속체의 양쪽 끝에 있는 임계값을 포함하는 경우]에만 해석할 수 있다고 주장하는 사람도 있습니다. 빈도와 같은 일부 응답 차원의 경우 극단값은 명백할 수 있다(예: "절대" 또는 "항상"). "얼마나how much"를 사용하는 양과 같은 다른 반응 차원의 경우 극단적인 양의 값이 무엇인지는 절대적으로 명확하지 않습니다. "great deal"은 "얼마나" 척도에서 가장 높은 긍정적 가치인가요? 또한, 문헌은 임계값을 전혀 포함하지 않는 AD 질문을 사용하는 도구의 예로 가득 차 있어 응답자들이 자신의 해석을 중첩할 수 있다.
Because measurement requires monotonic equivalence, some argue that responses to AD questions are only interpretable if they include threshold values at either end of the response continuum.42 For some response dimensions, such as frequency, extreme values may be obvious (e.g., “never” or “always”). For other response dimensions, such as quantity using “how much,” it is not absolutely clear what the extreme positive value should be. Is “a great deal” the highest positive value on a “how much” scale? Further, the literature is replete with examples of instruments using AD questions that fail to include a threshold value at all, allowing respondents to superimpose their own interpretations.

극성
Polarity

[AD 항목]은 거의 항상 쌍극이며, 반응 차원의 극 또는 끝을 모두 나타낸다(예: "강력히 동의한다…강력히 동의하지 않는다"). [IS 항목]은 양극성(예: "극도로 만족하지 않고 극도로 만족한다")일 수 있지만, [일반적으로 단극성](예: "전혀 만족하지 않고…극도로 만족하지 않는다" 또는 "전혀 만족하지 않고…극도로 만족하지 않는다")이다. 
AD items are almost always bipolar and present both poles or ends of the response dimension (e.g., “agree strongly … disagree strongly”). While IS items can be bipolar (e.g., “extremely dissatisfied … extremely satisfied”), they are usually unipolar, presenting only one possible pole (e.g., “not at all satisfied … extremely satisfied” or “not at all satisfied … extremely dissatisfied”).

AD 질문의 기본 응답 차원이 [수량] 또는 [빈도]일 때, 해당 IS 질문은 [항상 단극]입니다. 왜냐하면 [수량]에는 "없음" 또는 "전혀 없음"보다 작은 값이 포함되지 않으며, [빈도]에는 "없음"보다 낮은 값이 포함되지 않기 때문입니다. 오직 [강도 반응 차원]만이 양극성일 수 있고, 음의 극값(예: "중요하지 않음")이 양의 극값과 동일한지 여부가 불분명한 일부 차원(예: "중요하지 않음")이 있다.
Whenever the underlying response dimension for an AD question is quantity or frequency, the corresponding IS question will always be unipolar because quantities do not contain values less than “none” or “not at all” and frequencies do not possess values lower than “never.” Only intensity response dimensions can be bipolar and there are some dimensions (e.g., “important”) where it is unclear whether the negative polar-value (e.g., “unimportant”) is equivalent to the positive polar-value.

AD 문항이 다수 포함된 GSS(General Social Survey) 항목에 대한 측정 오차 분석에서, 단극 문항이 양극 문항보다 신뢰도가 높은 것으로 나타났다. 극성의 차이만으로도 한계 분포의 차이가 발생할 가능성이 높아 항목 간의 최대 상관관계가 제한됩니다. IS 항목은 일부에서 권장하는 대로 다양한 긍정 및 부정 응답 차원을 사용할 수 있는 가능성을 제공하며, 항목은 AD 항목보다 상관 관계가 있는 방법 분산이 낮을 수 있습니다. [양극성 AD 항목]과 비교하여, [단극성 IS 항목]은 또한 응답 차원의 특정 측면에서 [더 많은 차별화 점을 제공]하고 [척도 점수의 변동을 증가]시킬 수 있습니다. 
In an analysis of measurement error for items from the General Social Survey (GSS), which included a number of AD questions, results indicated unipolar questions were more reliable than bipolar questions.43 Differences in polarity alone are also likely to generate differences in the marginal distributions,44 which limit the maximum correlations among the items. IS items offer the possibility of using a variety of positive and negative response dimensions as recommended by some;45,46 and the items may have lower correlated method variance than AD items. Compared to bipolar AD items, unipolar IS items also offer more points of differentiation on a particular side of the response dimension and may increase variation for scale scores.12

반응 범주
Response categories

반응 범주는 숫자, 레이블링 및 방향에 따라 다릅니다. 연구 내 범주의 수와 레이블링은 AD-IS 쌍 간에 거의 항상 일정하게 유지되지만, 이러한 특성은 연구에 따라 상당히 다르다. 대조적으로, 범주의 값이 증가하든 감소하든 범주의 방향은 때때로 동일한 연구에서 AD-IS 쌍에 따라 달라집니다. AD-IS 실험에서 [AD 질문]에 대한 범주는 더 자주 [가치value가 감소]하는 반면(예: "동의 … 동의하지 않음"), [IS 질문]에 대한 범주는 더 자주 [증가]한다(예: "절대 … 항상"). 일부 연구에 따르면 AD 및 IS 항목의 데이터 품질은 다섯 가지 범주를 사용하여 최적화되고 단어로 완전히 레이블이 지정되며 순서가 증가할 수 있습니다. 다른 연구에서, 응답자들은 ["강력히 동의하지 않는다"와 "동의하지 않는다"를 구별하는 데 어려움]을 겪었다 "강력하게"는 잠재적으로 응답자의 [평가의 극단성]과 [확실성]을 혼동하기 때문에 수식어로서 문제가 될 수 있다.  
Response categories differ in terms of their number, labeling, and direction. While the number and labeling of categories within a study is almost always held constant between AD-IS pairs, these characteristics vary considerably across studies. By contrast, category direction – whether the categories increase or decrease in value – sometimes varies across AD-IS pairs in the same study. In AD-IS experiments, categories for AD questions more often decrease in value (e.g., “agree … disagree”), while categories for IS questions more often increase (e.g., “never … always”). Some research indicates data quality for both AD and IS items may be optimized using five categories, fully labeled with words, and presented in increasing order.9,22,47 In other research, respondents had difficulty distinguishing between “strongly disagree” and “disagree.”17 “Strongly” may be problematic as a modifier because it potentially conflates the extremity of a respondent's evaluation with their certainty.48

중간 범주
Middle category

단극 IS 항목과 대조적으로, [AD 질문]은 종종 명확한 개념적 중간 범주(예: "동의하지도 동의하지도 않는다")를 포함한다. 양극성 질문에 대한 중간 범주를 포함하기 위해 데이터 품질을 평가하는 실험은 엇갈린 결과를 얻었지만, 연구에 따르면 응답자들은 원하지 않는 방식으로 AD 질문에 대답할 때 중간 범주를 사용한다. 예를 들어, 조사했을 때, 응답자들은 그 문제에 대한 [의견이 없기 때문에 중간 범주를 선택]하는 것을 압도적으로 보고했다. 연구에 따르면 응답자들은 [불확실성]을 나타내거나, [지식의 부족]을 다루거나 [양면성을 표현]하기 위해 AD의 중간 "동의하지도 동의하지도 않는다" 범주를 사용할 수 있다. 측정의 관점에서, 응답자들이 중간 범주를 사용하는 것은 문제가 있다: 응답자들은 이 옵션을 신뢰성 있게 선택할 수 있지만, 그들의 응답은 평가되는 구조에 대한 유효한 척도가 아니다. 연구자들은 [AD 중간 범주의 해석]에 문제가 있음을 지적했으며, 종종 이 범주를 중간 값이 아닌 별도로 사용하여 반응을 분석할 것을 제안합니다.
In contrast to unipolar IS items, AD questions often include a clear conceptual middle category (e.g., “neither agree nor disagree”). While experiments evaluating data quality for the inclusion of middle categories for bipolar questions have had mixed results,7,49, 50, 51 studies indicate respondents use the middle category when answering AD questions in unwanted ways. For example, when probed, respondents overwhelmingly reported selecting the middle category because they did not have an opinion on the issue.52,53 Research indicates respondents may use the AD's middle “neither agree nor disagree” category to indicate uncertainty or deal with a lack of knowledge and express ambivalence.4,54,55 From a measurement perspective, respondents use of the “neither/nor” middle category is problematic: while respondents may reliably select this option, their response is not a valid measure of the construct being assessed. Researchers have noted problems with the interpretation of an AD middle category and often suggest analyzing responses using this category separately and not as a middle value.5

배터리
Battery

인지 처리에 관한 섹션에서 설명한 바와 같이, AD 질문이 배터리에 나타날 때 반복적인 응답 범주가 있는 가변 진술로서 그들의 프레젠테이션은 응답자들이 [질문 패턴과 응답 범주를 기억]할 수 있다. 대조적으로, 여러 IS 질문이 함께 그룹화될 때, 그들은 (종종 있지만 항상 그렇지는 않다) 서로 다른 응답 차원과 응답 범주를 사용한다. 배터리 배치, 배터리에 포함된 질문의 수, IS 질문에 대한 질문에 대한 응답 범주가 다양한 정도는 응답자의 인지 노력에 영향을 미치고, 데이터 품질에 영향을 미칠 가능성이 있다. 면접관이 시행하는 설문도구에서 배터리의 항목은 낮은 신뢰성과 관련이 있다. 자기기입식 도구에서 여러 질문이 그리드에 표시될 때, 더 빨리 대답하고 직선에 더 취약하며 더 높은 상관관계를 가질 수 있다. 그리드 표시에서 [상관 관계가 높을수록 공유 오류 분산으로 인한 측정 오류가 더 높다]는 신호를 보낼 수 있습니다.

As described in the section on cognitive processing, when AD questions appear in batteries their presentation as variable statements with repeated response categories allows respondents to memorize the questioning pattern and response categories.32 By contrast, when multiple IS questions are grouped together, they (often, but not always) use different response dimensions and response categories. Placement in a battery, the number of questions contained in the battery, and the extent to which the response categories vary across questions for IS questions are likely to impact respondents’ cognitive effort and affect data quality. In interviewer-administered instruments, items in batteries are associated with lower reliability.56 When multiple questions are presented in a grid in self-administered instruments, they may be answered more quickly, more vulnerable to straightlining,19 and more highly correlated.57 Higher correlations in a grid presentation may signal higher measurement error due to shared error variance.9

발란스 및 정렬
Valence and alignment

구조를 유효하고 안정적으로 측정하기 위해 연구자들은 응답자들의 답변을 결합하여 단일 값을 만드는 [다중 항목 척도]를 사용한다. [구조물의 원자가, 질문에서 평가할 대상의 원자가, 구조물과 질문 사이의 정렬 사이의 관계]는 측정 오류에 대한 암시와 함께 복잡한 관계를 발생시킨다.
In order to measure constructs validly and reliably, researchers use multi-item scales that combine respondents' answers to create a single value.58 Relationships among a construct's valence, the valence of the objects to be evaluated in the questions, and the alignment between the construct and questions gives rise to a complicated set of relationships with implications for measurement error.

[원자가]는 본질적으로 [긍정적, 부정적, 중립적] 또는 [모호한 구조와 질문에서 질문한 대상]을 의미한다. 예를 들어, [신뢰]와 같은 구성 요소는 본질적으로 더 긍정적으로 평가되는 반면, [인종적 분노]와 같은 구성 요소는 더 부정적으로 평가됩니다. 원자가는 척도 내에서 질문에 따라 다르다. [정치적 유효성]을 측정하는 척도의 경우, 공무원들이 사람들이 생각하는 것에 대해 [얼마나 신경을 쓰는지] 묻는 질문은 긍정적으로 평가되고, [정치와 정부가 얼마나 복잡해 보이는지]에 대한 질문은 부정적으로 평가된다. 
Valence refers to the inherently positive, negative, neutral, or ambiguous nature of the construct and the objects asked about in the questions. For example, a construct like trust is inherently more positively valenced, while a construct like racial resentment is more negatively valenced. Valence also varies across questions within a scale. For a scale measuring political efficacy,2 a question asking “(how much) public officials care about what people think” is positively valenced, while a question about “(how often) politics and governments seem so complicated people can't really tell what's going on” is negatively valenced.

[정렬]은 반응 범주가 구조의 더 낮은 값을 나타내는지 또는 더 높은 값을 나타내는지 여부를 나타냅니다. [포지티브 정렬] 항목은 [더 높은 값의 범주(예: AD 질문에 대해 "강력하게 동의"하고 IS 질문에 대해 "대단히 동의")가 측정되는 구조의 더 높은 수준]을 나타내는 항목이며, [네거티브 정렬] 항목은 [더 높은 값의 범주가 더 낮은 수준]을 나타내는 항목이다. 예를 들어, 가장 값이 높은 범주("강력하게 동의한다"와 "대단히 동의한다")가 가장 높은 수준의 정치적 효과를 나타내기 때문에 [사람들이 무엇을 생각하는지에 대한 공무원들의 관심에 대한 질문]은 긍정적으로 일치한다. 대조적으로, 가장 높은 값의 범주는 가장 낮은 수준의 정치적 효능을 나타내기 때문에 [정치와 정부에 대한 질문]은 부정적으로 일치할 것이다.
Alignment refers to whether lower- or higher-valued response categories indicate lower or higher values of the construct. Positively aligned items are those for which a higher-valued category (e.g., “strongly agree” for an AD question and “a great deal” for an IS question) indicate higher levels of the construct being measured and negatively aligned items are those for which a higher-valued category indicates lower levels of the construct. For example, the question about public officials caring what people think would be positively aligned because the highest-valued categories (“strongly agree” and “a great deal”) indicate the highest level of political efficacy. By contrast, the question about politics and governments would be negatively aligned because the highest-valued categories indicate the lowest level of political efficacy.

AD 질문의 경우 질문의 값은 [묵인]으로 인해 원하지 않는 응답 효과를 초래할 수 있습니다. [긍정적으로 평가된 구조와 질문]의 경우, 묵인은 반응과 구조를 실제보다 더 긍정적으로 보이게 할 수 있다; [긍정적으로 평가된 구조와 부정적으로 단어가 쓰인 질문]에 대해, 묵인은 반응과 구조를 더 부정적으로 보이게 만들 수 있다. [우울증]과 같이 [부정적으로 평가된 구조]의 경우, 구조에 대한 더 높은 값을 나타내기 위해 정렬된 항목(예: "나는 슬프고 우울했다")에 동의하는 경향은 구조에 대한 과대평가를 초래할 수 있다. 항목의 점수를 매기는 방법에 따라, 묵인은 다음을 유발할 수 있다: 평균 점수 추정치 부풀리기, 신뢰도 추정치의 인위적 인플레이션/디플레이션(특히 같은 방향으로 단어가 표시된 항목의 경우), 그리고 AD 측정과 기준 측정 사이에 [자극적으로 높은 상관관계]를 만든다. 
For AD questions, a question's valence can lead to undesired response effects due to acquiescence.

  • For positively valenced constructs and questions, acquiescence can make responses and constructs appear more positive than they are in reality;
  • for positively valenced constructs and negatively worded questions, acquiescence can make responses and constructs appear more negative.

For more negatively valenced constructs like depression, a tendency to agree with items that are aligned to indicate higher values for the construct (e.g., “I have felt sad and blue”), can lead to overestimates of the construct. Depending on how items are scored, acquiescence can inflate estimates of mean scores, artificially inflate or deflate reliability estimates (particularly for items worded in the same direction), and create spuriously high correlations between AD measures and criterion measures.59, 60, 61

[묵인(그리고 부주의)으로 인한 효과]를 줄이기 위해 연구자들은 종종 [긍정적으로 정렬된 항목]과 [부정적으로 정렬된 항목]("항목 반전" 및 역어 질문이라고도 함)을 모두 포함하는 척도를 만들 것을 권장한다. 이 접근법의 이면에 있는 논리는 묵인하는 사람들을 반응 분포의 중간에 배치함으로써 척도 평균의 편향을 줄일 것이라는 것이다. 그러나 연구에 따르면 이 접근법에는 몇 가지 문제가 있다. 

  • 첫째, 모든 응답자에게 동일한 의미를 전달하는 부정적인 단어의 질문을 작성하는 것은 어려울 수 있다 (예: "흥미롭다"의 반대를 측정하기 위해 연구자는 "흥미없다", "흥미없다", "흥미없다" 또는 "흥미없다"를 사용할 수 있지만, 이들이 응답자들 사이에서 동일한 의미를 가질 가능성은 낮다. 그리고 반대로 단어가 쓰인 항목을 포함하는 것은 응답자가 해당 항목에 대해 반대로 쓰지 않은 경우만큼 극단적으로 대답하는 경우에만 편향을 줄일 것이다.). 
  • 둘째, "아니다", "un-", "non-", "-less"와 같은 부정의 사용은 이해성과 데이터 품질을 저하시킬 수 있다. 이것은 진술서에 부정을 포함하는 것(예: "내 성별은 다른 사람들이 나를 대하는 방식에 영향을 미치지 않는다")이 진술서의 내용을 거부하기 위해 [이중 부정]을 처리해야 하는 AD 항목에서 특히 문제가 될 수 있다. 
  • 셋째, 척도의 균형을 맞추려는 시도는 척도의 타당성과 내부 일관성을 낮추고, 부정적으로 정렬된 항목에 대해 예기치 않은 요인 구조를 만들어 [방법 효과method effect]를 추가하는 등 방법론적 문제를 야기할 수 있다.

In order to reduce effects due to acquiescence (and inattention), researchers often recommend creating scales that include both (and often an equal number of) positively and negatively aligned items62, 63, 64 (also called “item reversals”64 and reverse-worded questions65). The logic behind this approach is that it will reduce bias in scale means by placing those who acquiesce in the middle of the response distribution. However, research indicates several problems with this approach.

  • First, writing negatively worded questions that convey the same meaning across all respondents can be difficult (e.g., to measure the opposite of “interesting,” a researcher could use “not interesting,” “uninteresting,” or “boring,” but it is unlikely these have the same meaning across respondents and including oppositely worded items will only reduce bias if respondents answer those items as extremely as they would their counterparts66).
  • Second, the use of negations like “not,” “un-,” “non-,” and “-less” may decrease comprehensibility and data quality.67,68 This may be particularly problematic for AD items where the inclusion of a negation in the statement (e.g., “My gender does not affect the way others treat me”) requires processing a double negative in order to reject the statement's contents (e.g., by selecting “disagree”).69,70 
  • Third, attempts at balancing scales may create methodological problems including lowering the validity and internal consistency of the measures and adding a method effect by creating an unexpected factor structure for the negatively-aligned items.71727374

의견, 권장 사항 및 향후 방향에 대한 마무리
Concluding comments, recommendations, and future directions

AD 질문과 IS 질문을 비교한 실험 연구의 한계
Limitations of experimental studies comparing AD and IS questions

전반적으로 IS 질문은 바람직한 데이터 품질 결과(유효성, 신뢰성)와 관련이 있으며 AD 질문은 바람직하지 않은 결과(인수, 대응 효과 등)와 관련이 있다는 연구 결과가 더 많다. 그러나 많은 연구에서 질문 유형 간의 차이를 발견하지 못했으며, 일부 연구에서는 IS 질문에 대해 더 높은 수준의 바람직하지 않은 결과를 발견했다. 이러한 비교 연구의 몇 가지 한계는 일관성이 없거나 무효인 결과를 설명할 수 있다.

  • 첫째, AD와 IS 문제를 비교하는 실험 연구의 수가 상대적으로 적다. 우리의 리뷰는 20개의 연구를 확인했다. 
  • 둘째, 질문 특성에 대한 논의에서 강조된 바와 같이 AD-IS 질문 쌍은 대개 제어되지 않는 여러 특성에 걸쳐 종종 달라지며, 이는 결과를 혼란스럽게 할 수 있다. 
  • 셋째, 연구는 제한된 수의 주제를 탐구하며 AD 및 IS 질문의 효과는 주제별로 다를 수 있다.

Overall, more studies find IS questions are associated with desirable data quality outcomes (validity, reliability) and AD questions are associated with undesirable outcomes (acquiescence, response effects, etc.). A number of studies, however, find no differences between the question types, and a few studies find higher levels of undesirable outcomes for IS questions. Several limitations of these comparative studies may account for inconsistent or null findings.

  • First, the number of experimental studies comparing AD and IS questions is relatively small. Our review identified twenty studies.
  • Second, highlighted in our discussion of question characteristics, AD-IS question pairs often vary across a number of characteristics that are usually not controlled for, which may confound the results.
  • Third, studies explore a limited number of topics and the effects of AD and IS questions may vary by topic.

넷째, 연구는 타당성, 신뢰성, 묵인, 직선화 등 다양한 데이터 품질 결과를 조사한다. 이러한 결과는 강도와 조작화 측면에서 다양합니다. 타당도와 신뢰도의 추정치는 잠재적으로 데이터 품질에 대한 보다 직접적인 측정치를 제공하지만, 연구는 품질에 따라 달라지는 [신뢰도와 타당도의 다양한 측정치]를 평가한다. 예를 들어, [Cronbach 알파]와 같은 척도의 항목 신뢰도 추정치에는 상관된 오차 분산이 포함되어 있으며 개별 항목에 대한 값을 제공하지 않습니다. 일반적으로 사용되는 짧은 간격 동안 추정된 [시험 재시험 신뢰도]은 강력한 기준을 제공하기 위해 [기억 효과] 또는 [신뢰할 수 있는 방법 효과]에 의해 지나치게 손상될 수 있다. 묵인, 응답 범주의 반복 및 배터리의 항목 표시의 조합은 AD 항목 집합 간의 상관 방법 분산을 증가시킬 수 있으며, 이는 [단순한 상관 관계가 근본적으로 데이터 품질의 모호한 지표임]을 상기시킨다. [방법분산method variance]은 AD와 IS 항목의 상대적 품질을 평가하는 데 중심이 되므로, 방법분산을 파악할 수 있는 신뢰성 추정 및 구성타당성을 위한 방법이 필요하다.  
Fourth, studies examine many different data quality outcomes: validity, reliability, acquiescence, straightlining, etc. These outcomes vary in terms of their strength and operationalizations. While estimates of validity and reliability potentially offer more direct measures of data quality, studies evaluate different measures of reliability and validity that vary in their quality. For example, estimates of reliability of items in a scale, such as from Cronbach's alpha, include correlated error variance and do not provide values for individual items. Estimated test-retest reliabilities, over the short intervals that are commonly used, may be too compromised by memory or reliable method effects to provide a strong criterion.56 It is plausible that a combination of acquiescence, the repetition of the response categories, and the presentation of items in a battery increases correlated method variance among a set of AD items, a reminder that simple correlations are fundamentally an ambiguous indicator of data quality. Because method variance is central to evaluating the relative quality of AD and IS items, methods for estimating reliability and construct validity that can identify method variance are needed.14

질문 특성에 대한 개요를 통해 알 수 있는 내용
What the overview of question characteristics tells us

AD-IS 실험에 포함된 AD-IS 질문 간에 달라지는 핵심 질문 특성에 대한 분석은 이러한 실험에서 비교되는 질문이 종종 여러 특성에 따라 달라져 결론을 도출하는 능력을 복잡하게 만든다는 사실을 강조한다. 한 연구에서 연구자들은 신뢰도를 측정하는 AD-IS 쌍이 다음에 따라 차이가 있다고 지적했습니다:

  • 제공된 응답 차원 (IS 질문에 대한 응답 치수가 설계 및 측정된 강도, 빈도 및 양에 따라 문항특이적인 반면, AD 질문은 강도를 측정했다.); 
  • 응답 범주의 방향성 (AD 대응 범주는 높은 순서에서 낮은 순서로 정렬 – "강력히 동의"에서 "강력히 반대"로 정렬 – IS 범주는 "전혀"에서 "매우"로, "절대"에서 "항상"으로 정렬됨); 
  • 극성 (AD 질문은 양극성, IS 질문은 단극성). 

Our analysis of the key question characteristics that vary between AD-IS questions included in AD-IS experiments highlights the fact that in these experiments, the questions being compared often vary on a number of characteristics, complicating our ability to draw conclusions. In one study,4 researchers noted their AD-IS pairs measuring trust varied based on:

  • offered response dimensions (the AD questions measured intensity while the response dimensions for the IS questions were item-specific by design and measured intensity, frequency, and quantity);
  • the direction of the response categories (the AD response categories were ordered from high to low – “strongly agree” to “strongly disagree” – while the IS categories were ordered from low to high – “not at all” to “a great deal,” “never” to “always”);
  • polarity (the AD questions were bipolar; the IS questions were unipolar).

이 두 응답 형식 사이의 구조적 차이는 응답자의 인지 처리와 데이터 품질에 중요한 결과를 초래한다. 현재까지 이러한 특성의 모든 고유 효과 또는 결합 효과를 추정할 수 있는 설계를 특징으로 하는 연구는 없습니다. 실제로, 응답 범주의 수 또는 척도 방향과 같이 데이터 품질에 중요할 가능성이 있는 다른 특성에서 체계적인 변화가 있는 AD-IS 응답 형식의 사용을 건너는 실험은 소수에 불과하다. 이러한 연구의 결과는 궁극적으로 AD-IS 응답 형식과 다른 질문 특성 사이의 체계적인 상호 작용을 밝혀낼 수 있다.
The structural differences between these two response formats have important consequences for respondents’ cognitive processing and data quality. To date, no studies feature a design that allows for estimation of all the unique or joint effects of these characteristics. Indeed, only a handful of experiments cross the use of an AD-IS response format with systematic variation in other characteristics that are likely to be important for data quality, such as the number of response categories or scale direction. Findings from such studies may ultimately uncover systematic interactions between AD-IS response formats and other question characteristics.

AD 질문을 IS 질문으로 변환할 때의 과제
Challenges of translating AD questions to IS questions

새로운 연구를 위한 주관적 평가를 측정하기 위한 질문을 작성할 때, 여기에 제시된 문제는 IS 질문을 사용하는 것을 권장합니다. 그러나 많은 연구는 이전에 관리된 설문지의 항목을 사용하는 것을 목표로 하며 AD 형식에서 IS 형식으로 번역하는 것은 여러 가지 과제를 제기할 수 있다. AD 문은 상대적으로 작성하기 쉽기 때문에 동시에 평가해야 할 여러 요소(예: 여러 대상 객체 및 조건문)를 포함하는 경우가 많습니다. GSS의 다음 AD 질문을 고려해 보십시오:

"과거의 차별 때문에, 고용주들은 자격 있는 여성들을 고용하고 홍보하기 위해 특별한 노력을 해야 합니다." 

이 질문은 몇 가지 사항에 대해 묻는다:

  • 차별의 원인(예: 성별)과 대리인(예: 고용주)에 대한 믿음,
  • 과거의 차별에 대한 보상을 해야 하는 고용주의 책임,
  • 자격을 갖춘 여성을 고용하고 승진시키는 것이 과거의 행동을 바로잡는지 여부.

When writing questions to measure subjective evaluations for a new study, the issues presented here recommend using IS questions. Many studies, however, aim to use items from previously administered questionnaires and translating from an AD to IS format can pose a number of challenges. Because AD statements are relatively easy to write, they often include several elements – such as multiple target objects and conditional statements -- to be evaluated simultaneously.42 Consider, the following AD question from the GSS:

“Because of past discrimination, employers should make special efforts to hire and promote qualified women.”

This question asks about several things:

  • beliefs about the causes (e.g., gender) and agents of discrimination (e.g., employers),
  • the responsibility of employers to make amends for past discrimination, and
  • whether hiring and promoting qualified women rectifies past behavior.

이 진술에 대한 [동의 또는 동의하지 않는 것]은 이러한 [구성요소 또는 이들의 조합에 대한 믿음]에 기초할 수 있다. 이 질문을 IS 형식으로 변환하면 기본 응답 차원에 대해 내려야 하는 항목과 결정의 복잡성이 강조됩니다: 강도(얼마나 특별한 노력이 필요한가), 양(얼마나 많은 노력이 필요한가), 빈도(얼마나 자주 노력이 필요한가)에 대한 질문인가?
Agreement or disagreement with this statement could be based on beliefs about any of these components or combinations of them. Translating this question into an IS format underscores the complexity of the item and decisions that must be made about the underlying response dimension: is the question asking about intensity (how special efforts should be), quantity (how much effort should be made), or frequency (how often efforts should be made)?

데이터 품질 저하의 원인이 될 수 있는 AD 질문과 관련된 문제는 기본 응답 차원이 모호하거나 여러 해석에 열려 있는 방식으로 작성되는 경우가 많다는 것이다. GSS에서 추출하여 정치적 효과를 측정하도록 설계된 척도에 포함된 표 3의 AD 질문을 고려해 보십시오. 임계값 단어 "most"가 수량 응답 차원을 의미하는 반면 AD 문은 강도, 수량 또는 빈도 차원을 사용하여 IS 질문으로 쉽게 번역될 수 있으며, 실제로 가능한 두 가지 수량 차원인 "얼마나"와 "얼마나 많은"가 가능합니다.
A related problem with AD questions that likely contributes to their lower data quality is that they are often written in way that leaves their underlying response dimension ambiguous or open to multiple interpretations.6 Consider the AD question in Table 3, taken from the GSS and included in a scale designed to measure political efficacy. While the threshold word “most” implies a quantity response dimension, the AD statement can easily be translated into IS questions using intensity, quantity, or frequency dimensions, and indeed, two possible quantity dimensions – “how much” and “how many” are possible.

AD 질문은 항목이 완전히 다른 주제에 대해 질문하는 경우에도 동일한 응답 범주를 사용하여 많은 항목을 배터리로 결합할 수 있기 때문에 널리 사용됩니다. 자체 관리를 위해 AD 질문을 그리드 형식으로 지정하여 공간을 최소화할 수 있습니다. 그러나 IS 질문은 질문의 기본 응답 차원과 일치하는 응답 범주를 사용하기 때문에 AD에서 IS로 항목 집합을 변환하면 문항이 동일한 기본 응답 차원을 공유하지 않는 경우가 많습니다. 예를 들어 표 4의 6개 AD 항목은 그리드에 압축된 동일한 응답 범주를 사용하는 반면, IS 대응 항목은 강도, 양 및 빈도에 대한 응답 차원을 사용하고 해당 차원과 관련된 응답 범주를 요구합니다. IS 항목을 결합하면 그리드가 약간 더 길어집니다. 시각적으로 긴 그리드는 응답자들에게 더 부담스러운 것으로 인식될 수 있지만, 더 명확하게 작성되고 이해하기 쉽기 때문에 IS 질문은 덜 부담스러울 가능성이 높다. AD 및 IS 질문에 답하면서 응답자의 인지적 노력을 측정하고 노력 척도를 데이터 품질과 직접 연결하는 연구가 더 필요하다. 
AD questions are widely used because many items can be combined into a battery using the same response categories, even if the items ask about completely different topics. For self-administration, AD questions can be formatted in a grid to minimize space. However, because IS questions use response categories that match the questions' underlying response dimensions, translating a set of items from AD to IS often reveals that the items do not share the same underlying response dimension. For example, while the six AD items in Table 4 use the same response categories, compactly formatted in the grid,11 their IS counterparts use response dimensions for intensity, quantity, and frequency and require response categories relevant for those dimensions. When combined, the IS items result in a slightly longer grid. While a visually longer grid may be perceived by respondents as more burdensome, because they are more clearly written and easier to understand, the IS questions are likely less burdensome. More research measuring respondents’ cognitive effort while answering AD and IS questions and directly linking effort measures to data quality is needed.

질문 작성자는 종종 [개정과 복제의 균형]을 맞춰야 한다. AD 질문의 광범위한 사용을 고려할 때, 연구자들은 시계열 데이터의 추세 손실을 포함하여 [이전에 시행된 질문이나 "검증된" AD 척도를 사용하지 않는 것에 대한 단점]과 [데이터 품질의 잠재적인 이점]을 비교하여 IS 측정을 변환하는 것을 고려해야 할 수 있다. 검증된 계측기 개발과 관련된 많은 문제가 이 검토의 범위를 벗어나지만, 우리는 척도의 타당화는 이분법적 결과가 아니라 프로세스임을 독자들에게 상기시키고자 한다. 특정 목적을 위해 특정 모집단에 대해 검증된 도구는 증거 없이 다른 모집단이나 목적으로 확장되지 않을 것이다. 또한, 많은 "타당화된" 계측기는 [표준화된 측정을 위한 질문 작성]에 [근거-기반 표준에 미달하는 질문]을 사용한다.
Question writers often need to balance revision against replication.69 Given the wide-spread use of AD questions, researchers may need to weigh disadvantages of not using previously administered questions or “validated” AD scales, including losing trends from time-series data, versus potential gains in data quality to converting IS measures. While many issues related to developing a validated instrument75,76 are beyond the scope of this review, we remind readers that instrument validation is not a binary outcome, but a process.77 An instrument validated for a specific population for a specific purpose would not – without evidence – extend to a different population or purpose. Further, many “validated” instruments use questions that fall short of evidenced-based standards for writing questions for standardized measurement.9

미래연구
Future research


AD와 IS 응답 형식을 직접 비교하는 실험 연구는 약간의 혼합된 결과를 산출하지만, IS 형식을 지지하는 강력한 이론적 뒷받침과 이용 가능한 증거를 고려할 때, 우리는 대부분의 목적으로 AD 질문보다 IS 질문을 추천한다. 우리의 검토는 또한 다양한 실질적 주제에 걸쳐 AD와 IS 질문을 비교하고 데이터 품질을 평가하기 위한 강력한 기준을 포함하는 설계가 더 많은 실험적 연구의 필요성을 지적한다. 향후 작업은 다음 사항을 우선시해야 합니다: 
Although experimental studies directly comparing AD and IS response formats yield some mixed results, given the strong theoretical underpinning and available evidence in support of the IS format, we recommend IS questions over AD questions for most purposes. Our review also points to the need for more experimental research comparing AD and IS questions across a range of substantive topics and with designs that incorporate strong criteria to evaluate data quality. Future work should prioritize the following: 

1) 특정 특성을 가진 일부 구문 또는 질문은 AD 질문으로 더 잘 측정됩니까? 
1) Are some constructs or questions with specific characteristics better measured with AD questions?

Dykema 등은 [의학 연구자에 대한 신뢰]와 같은 비특이적 구성에 대해 질문할 때, 빈도-기반 응답 차원을 사용하는 질문을 할 때, 특히 외부에 초점을 맞춘 행위자들(예: "의학 연구자들은 연구 참가자들의 안전을 보장하기 위해 얼마나 열심히 일하고 있는가")에 대해 질문할 때, 응답자들은 [평가를 위한 것]이 아니라, [대상 물체에 대한 지식을 묻는 것]처럼 들렸기 때문에 응답자들에게 어려웠다. 리커트가 초기 연구에서 사용한 진술과 유사하게, [동의-비동의 보기]는 "해야 한다"(예: "성인 자녀는 부모가 나이가 들면 부모를 돌봐야 한다")를 사용하는 [가치 진술]에도 적용하기 쉬울 수 있다.  
Dykema et al.4 noted that when asking about a non-salient construct like trust in medical researchers, questions using frequency-based response dimensions, especially when asking about externally-focused actors (e.g., “how hard do medical researchers work to ensure participants in their studies are safe”), were difficult for respondents because they sounded like they were asking respondents about their knowledge of the target object and not for an evaluation.78 Similar to the statements Likert used in his early work, an agreement response dimension may also be easy to apply to statements of values using “should” (e.g., “Adult children should take care of their parents when the parents become old”). 

2) 어떤 특성 조합이 최상의 데이터 결과를 제공합니까? 
2) What combinations of characteristics yield the best data outcomes?

우리는 어떤 조합이 최고 품질의 데이터를 산출하는지 결정하기 위해 연구자들에게 특정 질문 특성과 특성 조합의 효과를 추정할 수 있는 능력을 제공할 수 있는 다요인 설계를 사용한 향후 작업을 권장한다. 
We encourage future work using multifactorial designs that can provide researchers with the ability to estimate the effects of particular question characteristics and combinations of characteristics in order to determine which combinations yield the highest quality data.

3) AD 및 IS 질문의 측정 특성은 교육, 언어 구어 및 연령과 같은 사회 인구 통계적 특성에 따라 그룹마다 어느 정도 차이가 있습니까? 많은 연구들은 묵인과 같은 원치 않는 반응 효과가 낮은 교육을 받은 응답자들 사이에서 더 높다는 것을 보여주지만, AD 또는 IS 형식이 그러한 효과로부터 더 보호할 가능성이 있는지를 조사하는 연구는 거의 없다.  
3) To what extent do the measurement properties of AD and IS questions vary across groups based on socio-demographic characteristics such as education, language spoken, and age? Many studies demonstrate that unwanted response effects like acquiescence are higher among respondents with lower education,38,39 but few studies examine whether an AD or IS format is more likely to protect against such effects.

4) AD 및 IS 응답 형식은 관리 모드와 어떻게 상호 작용하며, 어떤 형식이 어떤 모드에 최적이며, 모드 내에서 어떤 구현 기능이 측정에 영향을 미칩니까? 인터뷰어-설문진행의 한계는 응답자가 응답 범주를 인코딩하고 호출해야 한다는 것입니다. 대면 인터뷰 중 IS 아이템에 대한 쇼케이스를 제공하면 응답자의 인지 부담을 줄일 수 있지만, IS아이템 솔루션은 전화 인터뷰에 쉽게 적용되지 않으며, 다양한 응답 범주를 가진 많은 항목을 포함하는 IS 척도는 응답자에게 어려울 수 있다.  

4) How do AD and IS response formats interact with the mode of administration, which format is optimal for which modes, and which features of implementation within mode have consequences for measurement? A limitation of interviewer-administration is that respondents must encode and recall response categories. While providing showcards for IS items during in-person interviews may reduce respondents’ cognitive burden, this solution is not easily applicable to phone interviews and IS scales that include many items with variable response categories may be difficult for respondents.

또한, 그리드를 독립형 질문으로 대체하여 수평 스크롤을 제한하는 응답성 설계를 사용하는 모바일 장치에서 설문 조사가 완료되어 그리드의 이점이 무효화된다. 모드와 관련된 문제는 모드를 혼합하는 조사가 증가하고 연구자들이 모드 효과를 측정하고 줄이는 방법을 계속 탐구함에 따라 더 많은 정밀 조사를 받게 될 것이다. 권장 사항은 점점 더 강력한 연구가 가능해지면 변경될 수 있지만, 현재 우리가 가지고 있는 가장 강력한 증거는 IS 아이템이 더 높은 품질의 데이터를 산출하고 연구자들에게 설계에 있어 상당한 유연성을 제공할 것임을 시사한다.

Further, an increasing share of surveys are completed on mobile devices which usually use a responsive design that limits horizontal scrolling by replacing grids with stand-alone questions, rendering any advantages of grids null. Issues related to mode are likely to receive increased scrutiny as surveys that mix modes grow and researchers continue to explore methods to measure and reduce mode effects.79, 80 Although recommendations may change when more and stronger research becomes available, the strongest evidence we currently have suggests that IS items will yield higher quality data and offer researchers considerable flexibility in design.

 


Res Social Adm Pharm. 2022 Feb;18(2):2335-2344. doi: 10.1016/j.sapharm.2021.06.014. Epub 2021 Jun 24.

Towards a reconsideration of the use of agree-disagree questions in measuring subjective evaluations

Affiliations expand

PMID: 34253471

PMCID: PMC8692311 (available on 2023-02-01)

DOI: 10.1016/j.sapharm.2021.06.014

Abstract

Agree-disagree (AD) or Likert questions (e.g., "I am extremely satisfied: strongly agree … strongly disagree") are among the most frequently used response formats to measure attitudes and opinions in the social and medical sciences. This review and research synthesis focuses on the measurement properties and potential limitations of AD questions. The research leads us to advocate for an alternative questioning strategy in which items are written to directly ask about their underlying response dimensions using response categories tailored to match the response dimension, which we refer to as item-specific (IS) (e.g., "How satisfied are you: not at all … extremely"). In this review we: 1) synthesize past research comparing data quality for AD and IS questions; 2) present conceptual models of and review research supporting respondents' cognitive processing of AD and IS questions; and 3) provide an overview of question characteristics that frequently differ between AD and IS questions and may affect respondents' cognitive processing and data quality. Although experimental studies directly comparing AD and IS questions yield some mixed results, more studies find IS questions are associated with desirable data quality outcomes (e.g., validity and reliability) and AD questions are associated with undesirable outcomes (e.g., acquiescence, response effects, etc.). Based on available research, models of cognitive processing, and a review of question characteristics, we recommended IS questions over AD questions for most purposes. For researchers considering the use of previously administered AD questions and instruments, issues surrounding the challenges of translating questions from AD to IS response formats are discussed.

크리스마스 2022: 과학자: 크리스마스 12일째날, 통계학자가 보내주었죠(BMJ, 2022)
CHRISTMAS 2022: THE SCIENTIST
On the 12th Day of Christmas, a Statistician Sent to Me . . .
Richard D Riley, 1 Tim J Cole, 2 Jon Deeks, 1 Jamie J Kirkham, 3 Julie Morris, 4 Rafael Perera, 5 Angie Wade, 6 Gary S Collins7 

 

 

크리스마스까지 이어지는 몇 주는 의학 연구를 위한 마법의 시간이다. 임박한 휴가철은 연구원들이 시간을 내어 통계 분석을 끝내고 원고를 작성하고 검토자들의 의견에 응답하는 등 생산성에 극적인 상승을 일으킨다. 이러한 활동은 12월에 The BMJ와 같은 학술지에 대한 투고가 쇄도하여 연구자들이 학업 성취감을 가지고 한 해를 마무리하고 사랑하는 사람들과 함께 축제를 즐길 수 있도록 한다. 사실, 연구원들은 심지어 크리스마스의 12일이 끝나는 1월 초까지 그들의 논문이 받아들여질 것으로 예상할 수도 있다. 
The weeks leading up to Christmas are a magical time for medical research. The impending holiday season creates a dramatic upsurge in productivity, with researchers finding time to finish off statistical analyses, draft manuscripts, and respond to reviewers’ comments. This activity leads to a plethora of submissions to journals such as The BMJ in December, so that researchers can finish the year with a sense of academic achievement and enjoy the festivities with their loved ones. Indeed, with optimism fuelled by mulled wine and mince pies, researchers may even anticipate their article’s acceptance by early January, at the end of the 12 days of Christmas.

그러나 집단은 이 출판 호의와 환호의 계절에 반대한다. 즉, 세부적인 것에 대해 매우 빛나는 코를 가진 작지만 영향력 있는 통계학자 그룹은 "모든 것이 밝다" 보다는 "모든 것이 옳다"를 추구하고 호, 호, 호, 호보다는 "아니오"를 강조한다. 통계학자들의 핵심 신념은 연구 기사가 크리스마스뿐만 아니라 평생을 위한 것이며, 높은 기준의 방법론적 엄격성과 투명성을 촉진하는 통계적 리뷰를 제공한다는 것이다. 그래서 당신은 그들이 크리스마스 기간 동안 얼마나 바쁜지 상상할 수 있을 것이다 - 그들이 먹고 마시고 즐거워하기도 전에, 이 사람들은 공개된 불에서 구워져야 하는 잘못된 분석 방법, 노란 눈처럼 순수한 의심스러운 통계적 해석, 그리고 반b로 제출물을 감지하기 위해 지칠 줄 모르고 일하고 있다편안함과 즐거움을 전혀 가져다 주지 않는 연구 세부 사항에 대한 케잌 보고. 허튼소리! 
A collective, however, works against this season of publication goodwill and cheer—a small but influential group of statisticians with very shiny noses for detail, seeking “all is right” rather than “all is bright” and emphasising no, no, no rather than ho, ho, ho. The statisticians’ core belief is that a research article is for life, not just for Christmas, and they deliver statistical reviews that promote high standards of methodological rigour and transparency. So you can imagine how busy they are during the Christmas period with its influx of submissions—even before they can eat, drink, and be merry, these individuals are working tirelessly to detect submissions with erroneous analysis methods that should be roasting on an open fire, dubious statistical interpretations as pure as yellow snow, and half-baked reporting of study details that bring zero comfort and joy. Bah humbug!

매년 BMJ의 통계 편집자들은 500개 이상의 기사를 검토한다. 약 30년 동안, 통계팀은 마틴 가드너와 더그 알트먼이 이끌었는데, 둘 다 통계학자와 크리스마스 별 사이의 유사성을 보았고, 통계학자들은 연구 무결성의 길을 밝히고, 측정 기준에 대한 방법론을 홍보하며, "과학과 세계를 구하기 위한" 통계 원칙을 장려했다.5 
Each year The BMJ’s statistical editors review more than 500 articles. For about 30 years, the statistical team was led by Martin Gardner and Doug Altman,12 both of whom saw similarities between statisticians and the Christmas star, with the statisticians lighting a path of research integrity, promoting methodology over metrics,34 and encouraging statistical principles to “save science and the world.”5

통계 동료 검토 중에 발생하는 가장 일반적인 문제를 도출하기 위해 BMJ의 통계 편집자에게 내부 조사를 실시하였다. 12개 항목이 확인되었으며, 각 항목은 여기에 설명되어 있습니다. 12월 25일부터 1월 5일까지 통계학자들이 그린치의 사고방식으로 리뷰를 진행하는 기간인 크리스마스의 12일마다 하나의 항목이 있지만 34번가의 미라클 온의 친절한 마음을 가지고 있다. 
To elicit the most common issues encountered during statistical peer review, an internal survey was administered to The BMJ’s statistical editors. Twelve items were identified, and each are described here. There is one item for each of the 12 days of Christmas, the period between 25 December and 5 January when the statisticians conduct their reviews in the mindset of the Grinch,6 but with the kind heart of Miracle On 34th Street.

재림절
Advent

매년 12월 BMJ의 통계 편집자들은 BMJ의 크리스마스 파티에서 휴식을 취하기 전에 공통적인 통계적 우려, 문제가 있는 제출물(인터넷을 통해 미끄러진 제출물, 소위 신빈 기사 포함), 검토 과정을 개선하는 방법에 대해 논의할 때 하루 동안 만난다. 2019년 12월 18일 회의에서 통계학자들은 공통된 통계 문제를 보여주는 기사가 향후 기사 제출 저자에게 도움이 될 것이라는 데 동의했고, 초기 항목 세트가 논의되었다. 2020년 12월 17일과 2021년 12월 16일의 후속 크리스마스 회의에서 이 기사에 대해 상기시키자, 통계학자들은 아이러니하게도 BMJ 시스템에서 우선순위를 두어야 할 통계 검토의 수 때문에 진행이 지연되고 있다고 설명했다. 
Every December The BMJ’s statistical editors meet for a day, when they discuss common statistical concerns, problematic submissions (including those that slipped through the net, the so-called sin bin articles), and how to improve the review process, before unwinding at The BMJ’s Christmas party. At the meeting on 18 December 2019, the statisticians agreed that an article showcasing common statistical issues would be helpful for authors of future article submissions, and an initial set of items was discussed. When reminded about this article at subsequent Christmas meetings on 17 December 2020 and 16 December 2021, the statisticians explained that progress was being delayed, ironically because of the number of statistical reviews that needed to be prioritised in The BMJ’s system.

추가 연기 후, 2022년 6월 28일, 잠재적인 항목 목록이 이메일을 통해 통계 편집자들 사이에 공유되었고, 모든 사람들은 통계 검토 중에 정기적으로 마주치는 추가 문제를 포함하도록 요청받았다. 조사 결과는 (이메일을 통해) 수집되고 논의되었으며, 더 광범위한 보급을 위해 합의된 가장 중요한 항목의 최종 목록이 작성되었다. 잘 알려진 곡의 크리스마스 일수에 맞춰 12개의 아이템이 선정되었다(이에 따라 BMJ의 크리스마스 호에 게재될 기회가 증가한다). 얕은 학습 접근법과 딥 러닝 접근법을 포함한 민감도 분석 결과, 동일한 12개 항목이 선택되었다. 자동화된 인공지능 알고리즘은 모든 통계 편집자들이 그들 자신의 연구 기사 중 일부에서 유사한 통계적 오류를 범했다는 것을 빠르게 확인했다. 
After further procrastination, on 28 June 2022 a potential list of items was shared among the statistical editors by email, and everyone was asked to include any further issues they regularly encountered during statistical review. The findings were collated and discussed (by email) and a final list of the most important items agreed for wider dissemination. Twelve items were selected, to match the number of days of Christmas in the well known song (and thereby increase the chance of publication in The BMJ’s Christmas issue). Sensitivity analyses, including shallow and deep learning approaches, led to the same 12 items being selected. An automated artificial intelligence algorithm quickly identified that all the statistical editors were guilty of similar statistical faux pas in some of their own research articles, and so are not whiter than snow.

12일간의 통계 검토
The 12 days of statistical review

크리스마스에 그들을 집으로 데려다 주는 것을 돕기 위해, 12개의 식별된 물건들이 간략하게 설명되어 있다. BMJ 독자이자 미래의 작가인 당신을 위한 스타킹 필러로 생각하세요. 상당한 양의 크리스마스 식사를 허용하면서, 12월 25일과 1월 5일 사이에 매일 한 가지 항목을 소화하고 지침을 따르는 새해 결심을 하세요. 
To help drive them home for Christmas, the 12 identified items are briefly explained. Consider them as stocking fillers for you, The BMJ reader and potential future author. Allowing for sizeable Christmas meals, digest one item each day between 25 December and 5 January and make a New Year’s resolution to follow the guidance.

On the first day of Christmas, a statistician sent to me:

연구 질문을 명확히 합니다
Clarify the research question

크리스마스는 삶의 의미와 미래의 기대에 대한 성찰의 시간이다. 마찬가지로, 통계학자들은 종종 리뷰에서 저자들이 연구 질문을 반성하고 그들의 목표를 명확히 하도록 권장한다. 예를 들어,

  • 관찰 연구에서 저자는 자신의 연구가 기술적이거나 인과적이거나, 예측 인자 식별 또는 예측 모델 개발 또는 탐색적이거나 확인적인 범위를 명확히 할 필요가 있을 수 있다.
  • 인과관계 연구의 경우 저자들에게 기본 전제(원인 경로 또는 모델)를 예를 들어 지시된 비순환 그래프로 표현하도록 요청할 수 있다.
  • 개입 연구의 체계적인 검토에서 저자는 PICO 구조인 모집단, 개입, 비교 및 결과 시스템을 사용하여 연구 질문을 진술해야 할 수 있다.

Christmas is a time for reflection on the meaning of life and future expectations. Similarly, in their reviews, statisticians will often encourage authors to reflect on their research question and clarify their objectives. As an example,

  • in an observational study, the authors may need to clarify the extent to which their research is descriptive or causal, prognostic factor identification or prediction model development, or exploratory or confirmatory.
  • For causal research, authors may be asked to express the underlying premise (causal pathway or model), for example, in terms of a directed acyclic graph.
  • In systematic reviews of intervention studies, authors might need to state their research question using the Population, Intervention, Comparison, and Outcome system—the PICO structure.

관련된 요청은 추정을 위한 연구의 목표 측도인 추정량을 명확히 하는 것이다. 예를 들어 

  • 무작위 시험에서 [추정치][치료 효과]이지만 통계학자는 모집단, 비교 중인 치료, 결과, 요약 측정(예: 위험 비율 또는 위험 차이, 조건부 또는 한계 효과) 및 기타 특징에 대한 더 나은 정의를 요청할 수 있다. 
  • 마찬가지로 무작위 시험의 메타 분석에서 [추정량]은 [연구 특성의 잠재적 이질성의 맥락]에서 정의되어야 한다. 예를 들어, 추적 관찰 기간이 다른 고혈압 임상시험의 메타 분석에서, 추정치가 혈압에 대한 치료 효과인 경우, 이것이 한 시점(예: 1년), 여러 시점(예: 1년과 5년), 또는 특정 시점 범위(예: 6개월에서 2년)에 걸친 평균과 관련이 있는지에 대한 명확성이 필요하다.

A related request would be to clarify the estimandthe study’s target measure for estimation.7 

  • In a randomised trial, for example, the estimand is a treatment effect, but a statistician might request better definitions for the population, treatments being compared, outcomes, summary measure (eg, risk ratio or risk difference, conditional or marginal effect), and other features.78 
  • Similarly, in a meta-analysis of randomised trials the estimand must be defined in the context of potential heterogeneity of study characteristics. In a meta-analysis of hypertension trials with different lengths of follow-up, for example, if the estimand is a treatment effect on blood pressure, clarity is needed about whether this relates to one time point (eg, one year), each of multiple time points (eg, one year and five years), or some average across a range of time points (eg, six months to two years).

 

On the second day of Christmas, a statistician sent to me:

추정치, 신뢰 구간 및 임상 관련성에 초점을 맞춥니다
Focus on estimates, confidence intervals, and clinical relevance

덜 익은 칠면조를 돌려보내는 것과 마찬가지로, 발견이 중요한지 여부를 결정하기 위해 P 값과 "통계적 중요성"에만 초점을 맞춘 기사도 마찬가지일 것이다. 추정치(예: 크리스마스 첫날부터 지정된 추정치에 해당하는 평균 차이, 위험 비율 또는 위험 비율), 해당 95% 신뢰 구간 및 발견의 잠재적 임상적 관련성을 고려하는 것이 중요하다. 통계적 유의성은 종종 임상적 유의성과 동일하지 않다

  • 예를 들어 대규모 시행에서 위험 비율을 0.97로 추정하고 95% 신뢰 구간을 0.95-0.99로 추정하는 경우 P 값이 0.05보다 훨씬 작더라도 치료 효과는 잠재적으로 작습니다. 

반대로 [증거가 없음]이 [없음의 증거]는 아니다

  • 예를 들어, 소규모 시행에서 위험 비율을 0.70으로 추정하고 95% 신뢰 구간을 0.40-1.10으로 추정하는 경우 P 값이 0.05보다 크더라도 효과의 크기는 여전히 잠재적으로 큽니다. 

따라서 통계 편집자는 저자에게 "유의한 발견"과 같은 문구를 명확히 하고, 신뢰 구간이 넓을 때 덜 명확하게 하며, 임상적 관련성이나 영향의 맥락에서 결과를 고려하도록 요청할 것이다. 베이지안 접근법은 확률론적 진술을 표현하는 데 유용할 수 있다(예: 위험 비율이 <0.9일 확률은 0.85이다).
Just as with under-cooked turkeys being sent back so will articles that focus solely on P values and “statistical significance” to determine whether a finding is crucial. It is important to consider the estimates (eg, mean differences, risk ratios, or hazard ratios corresponding to the specified estimands from the first day of Christmas), corresponding 95% confidence intervals, and potential clinical relevance of findings. Statistical significance often does not equate to clinical significance—

  • if, as an example, a large trial estimates a risk ratio of 0.97 and a 95% confidence interval of 0.95 to 0.99, then the treatment effect is potentially small, even though the P value is much less than 0.05.

Conversely, absence of evidence does not mean evidence of absence9

  • here’s an example; if a small trial estimates a risk ratio of 0.70 and a 95% confidence interval of 0.40 to 1.10, then the magnitude of effect is still potentially large, even though the P value is greater than 0.05.

Hence, the statistical editors will ask authors to clarify phrases such as “significant finding,” be less definitive when confidence intervals are wide, and consider results in the context of clinical relevance or impact. A bayesian approach may be helpful,10 to express probabilistic statements (eg, there is a probability of 0.85 that the risk ratio is <0.9).

On the third day of Christmas, a statistician sent to me:

누락된 데이터를 주의 깊게 설명합니다
Carefully account for missing data

결측값은 공변량과 결과 모두에서 모든 유형의 의학 연구에서 발생한다. 저자들은 데이터의 완전성을 인정할 뿐만 아니라 누락된 데이터의 양을 정량화하고 보고해야 하며 이러한 데이터가 분석에서 어떻게 처리되었는지 설명해야 한다. 과거, 현재, 미래의 크리스마스 기사의 유령인 이 일을 하지 못하는 제출이 얼마나 많은지는 섬뜩하다. 
Missing values occur in all types of medical research,11 both for covariates and for outcomes. Authors need to not only acknowledge the completeness of their data but also to quantify and report the amount of missing data and explain how such data were handled in analyses. It is spooky how many submissions fail to do this—the ghost of Christmas articles past, present, and future.

누락된 데이터를 가진 참가자가 단순히 제외된 경우(즉, 전체 사례 분석이 수행된 경우), 저자는 누락된 값을 귀속시키기 위한 적절한 접근방식을 사용하여 참가자를 포함하여 분석을 수정하도록 요청받을 수 있다. [환자를 폐기하는 것]은 일반적으로 관계를 추정하기 위한 통계적 힘과 정밀도를 감소시키고 편향된 추정치를 초래할 수 있기 때문에 특히 관찰 연구에서 [완전한 사례만 분석하는 것]은 거의 권장되지 않는다. 귀속을 위한 최선의 접근법은 상황에 따라 다르며 여기서 상세한 심문을 하기에는 너무 미묘한 것이다. 예를 들어, 무작위 시험에서 누락된 기준선 값을 처리하기 위한 전략에는 다음이 가능하다.

  • 평균 값으로 대체하는 것(연속 변수의 경우),
  • 누락된 값의 존재를 나타내기 위해 범주형 예측 변수의 별도 범주를 만드는 것(즉, 누락된 지표 방법)
  • 또는 무작위 그룹에 의해 개별적으로 수행된 다중 귀속. 

If it transpires participants with missing data were simply excluded (ie, a complete case analysis was carried out), then authors may be asked to revise their analyses by including those participants, using an appropriate approach for imputing the missing values. A complete case analysis is rarely recommended, especially in observational research, as discarding patients usually reduces statistical power and precision to estimate relationships and may also lead to biased estimates.12 The best approach for imputation is context specific and too nuanced for detailed interrogation here. For example, strategies for handling missing baseline values in randomised trials might include

  • replacing with the mean value (for continuous variables),
  • creating a separate category of a categorical predictor to indicate the presence of a missing value (ie, the missing indicator method), or
  • multiple imputation performed separately by randomised group.1314 

연관성을 조사하는 관찰 연구의 경우 [평균 귀책] 및 [누락 지표 접근법]이 편향된 결과를 초래할 수 있으므로 [다중 귀책 접근법]이 항상은 아니지만 종종 선호된다. 임의의 결측 가정 하에서, 이것은 다른 연구 변수의 관측된 값에 조건부로 (결측의 불확실성을 반영하기 위해 여러 번에 걸쳐) 귀속되는 결측값을 포함한다. [다중 귀책]을 사용하는 경우, 이를 수행하는 데 사용되는 방법은 귀책 프로세스에 사용되는 변수 집합을 포함하여 설명되어야 한다. 다중 귀책에 대한 소개는 다른 곳에서 제공되며, 누락된 데이터에 대한 전용 교재가 있습니다.

For observational studies examining associations, mean imputation and missing indicator approaches can lead to biased results,15 and so a multiple imputation approach is often (though not always16) preferred. Under a missing at random assumption, this involves missing values being imputed (on multiple occasions to reflect the uncertainty in the imputation) conditional on the observed values of other study variables.17 When using multiple imputation, the methods used to do this need to be described, including the set of variables used in the imputation process. An introduction to multiple imputation is provided elsewhere,12 and there are textbooks dedicated to missing data.18

On the fourth day of Christmas, a statistician sent to me:

연속형 변수를 이분화하지 않음
Do not dichotomise continuous variables

산타는 이분법을 좋아하지만, 저자들이 나이와 혈압과 같은 연속 변수를 수축기 혈압 130 mm Hg와 같은 임의의 절단점 위와 아래에 있는 두 그룹으로 나누어 이분법을 선택한다면 통계학자들은 깜짝 놀랄 것이다. 이분법화는 정보를 낭비하고 연속적인 척도로 연속 변수를 분석하는 것과 비교할 때 정당화되는 경우가 거의 없기 때문에 피해야 한다(크리스마스 5일째의 스타킹 필러 참조). 절단점 바로 아래의 값(이 경우 129 mm Hg)을 가진 개인이 바로 위의 값(131 mm Hg)을 가진 개인과 완전히 다른 것으로 간주해야 하는 이유는 무엇입니까? 반대로, 동일한 그룹 내의 두 개체에 대한 값은 크게 다를 수 있으며(131 mm Hg와 220 mm Hg), 왜 동일하게 간주되어야 하는가? 이러한 맥락에서, 이분법화는 비윤리적인 것으로 간주될 수 있다. 연구 참가자들은 적절하게 사용되는 단서에 대한 연구를 위해 자신의 데이터를 제공하는 것에 동의한다. 공변량 값을 이분화하여 정보를 폐기하는 것은 이 동의를 위반한다. 
Santa likes dichotomisation (you are either naughty or nice), but statisticians would be appalled if authors chose to dichotomise continuous variables, such as age and blood pressure, by splitting them into two groups defined by being above and below some arbitrary cut point, such as a systolic blood pressure of 130 mm Hg. Dichotomisation should be avoided,1920 as it wastes information and is rarely justifiable compared with analysing continuous variables on their continuous scale (see the stocking filler for the fifth day of Christmas). Why should an individual with a value just below the cut point (in this instance 129 mm Hg) be considered completely different from an individual with a value just above it (131 mm Hg)? Conversely, the values for two individuals within the same group may differ greatly (let us say 131 mm Hg and 220 mm Hg) and so why should they be considered the same? In this context, dichotomisation might be considered unethical. Study participants agree to contribute their data for research on the proviso it is used appropriately; discarding information by dichotomising covariate values violates this agreement.

이분화는 또한 연속 공변량과 결과 사이의 연관성을 감지하는 통계적 힘을 감소시키고 예측 모델의 예측 성능을 약화시킨다. 한 예에서, 중위수 값에서 이분법화는 데이터의 3분의 1을 폐기하는 것과 유사한 전력 감소를 초래한 반면, 다른 예에서는 연속 척도를 유지하는 것이 중위수에서 이분법화하는 것보다 31% 더 많은 결과 변동성을 설명했다. 절단점은 또한 데이터 준설과 통계적 중요성을 극대화하기 위한 "최적" 절단점의 선택으로 이어진다. 이는 새로운 데이터에서 편향과 복제 부족으로 이어지고 연구마다 다른 컷 포인트를 채택하기 때문에 메타 분석을 방해한다. 연속적인 결과의 이분법화는 또한 power을 감소시키고 잘못된 결론을 초래할 수 있다. 좋은 예는 결과(Beck score)가 이분법 분석에서 연속 척도 분석으로 변경된 후 [필요한 표본 크기]가 800에서 88로 감소한 무작위 시험이다.  
Dichotomisation also reduces statistical power to detect associations between a continuous covariate and the outcome,192021 and it attenuates the predictive performance of prognostic models.22 In one example, dichotomising at the median value led to a reduction in power akin to discarding a third of the data,23 whereas in another example, retaining the continuous scale explained 31% more outcome variability than dichotomising at the median.20 Cut points also lead to data dredging and the selection of “optimal” cut points to maximise statistical significance.21 This leads to bias and lack of replication in new data and hinders meta-analysis because different studies adopt different cut points. Dichotomisation of continuous outcomes also reduces power and may result in misleading conclusions.2425 A good example is a randomised trial in which the required sample size was reduced from 800 to 88 after the outcome (Beck score) changed from being analysed as dichotomised to being analysed on its continuous scale.26

On the fifth day of Christmas, a statistician sent to me:

비선형 관계 고려
Consider non-linear relationships

크리스마스 저녁 식사에서, 어떤 가족 관계들은 다루기 쉬운 반면, 다른 가족 관계들은 더 복잡하고 더 많은 보살핌을 필요로 한다. 마찬가지로, 일부 연속 공변량은 결과(자연 로그 변환과 같은 데이터의 일부 변환 후)와 단순한 선형 관계를 갖는 반면, 다른 것들은 더 [복잡한 비선형 관계]를 갖는다. 선형 관계(연관)는 공변량의 단위 증가가 공변량 값의 전체 범위에서 결과에 동일한 영향을 미친다고 가정합니다. 예를 들어, 30세에서 31세까지의 연령 변화의 영향은 90세에서 91세까지의 연령 변화와 동일하다고 가정한다. 반대로, 비선형 연관성을 사용하면 연속 공변량의 1 단위 증가의 영향이 예측 변수 값의 스펙트럼에 따라 달라질 수 있습니다. 예를 들어, 30세에서 31세로의 연령 변화는 위험에 거의 영향을 미치지 않는 반면, 90세에서 91세로의 연령 변화는 중요할 수 있다. 비선형 모델링에 대한 가장 일반적인 두 가지 접근법은 입방체 스플라인과 분수 다항식이다.  
At Christmas dinner, some family relationships are simple to handle, whereas others are more complex and require greater care. Similarly, some continuous covariates have a simple linear relationship with an outcome (perhaps after some transformation of the data, such as a natural log transformation), whereas others have a more complex non-linear relationship. A linear relationship (association) assumes that a 1 unit increase in the covariate has the same effect on the outcome across the entire range of the covariate’s values. The assumption being, for example, that the impact of a change in age from 30 to 31 years is the same as a change in age from 90 to 91 years. In contrast, a non-linear association allows the impact of a 1 unit increase in the continuous covariate to vary across the spectrum of predictor values. For example, a change in age from 30 to 31 years may have little impact on risk, whereas a change in age from 90 to 91 years may be important. The two most common approaches to non-linear modelling are cubic splines and fractional polynomials.272829303132

분류를 제외하고, BMJ에 제출하는 대부분의 경우 선형 관계만 고려합니다. 따라서 통계 검토자는 중요한 연관성이 완전히 포착되지 않거나 누락되지 않도록 비선형 관계를 고려하도록 연구자에게 요청할 수 있다. 요하네스와 동료들의 연구는 비선형 관계를 조사하는 한 예이다. 저자들은 제한된 입방 스플라인을 사용하여 저밀도 지질단백질 콜레스테롤 수치와 모든 원인 사망 위험 사이의 연관성이 U자형이며, 덴마크의 일반 인구에서 모든 원인 사망 위험 증가와 관련된 낮고 높은 수준이라는 것을 보여주었다. 그림 1은 전체 모집단과 지질 저하 치료를 사용하여 정의된 하위 그룹에 대한 결과를 보여주고, 치료를 받지 않은 집단에서 가장 강한 관계를 보여준다.
Aside from categorisation, most submissions to The BMJ only consider linear relationships. The statistical reviewers therefore may ask the researchers to consider non-linear relationships, to avoid important associations not being fully captured or even missed.33 The study by Johannesen and colleagues is an example of non-linear relationships being examined.34 The authors used restricted cubic splines to show that the association between low density lipoprotein cholesterol levels and the risk of all cause mortality is U-shaped, with low and high levels associated with an increased risk of all cause mortality in the general population of Denmark. Figure 1 illustrates the findings for the overall population, and for subgroups defined by use of lipid lowering treatment, with the relationship strongest in those not receiving treatment.

그림 1. 코펜하겐 일반 인구 연구의 제한된 입방 스플라인을 사용하여 도출된 비선형 연관성은 요하네스 외 연구진으로부터 평균 9.4년 동안 이어졌다. 모든 원인 사망률에 대한 다변량 조정 위험 비율은 연속 척도의 저밀도 지질단백질 콜레스테롤(LDL-C) 수준에 따라 표시된다. 95% 신뢰 구간은 3노트의 제한된 입방 스플라인 회귀에서 도출된다. 연관성이 없는 기준선은 위험 비율 1.0으로 표시된다. 화살표는 모든 원인 사망률의 가장 낮은 위험과 관련된 LDL-C 농도를 나타낸다. 분석은 기준 연령, 성별, 현재 흡연, 담뱃갑 누적 연수, 수축기 혈압, 지질 저하 치료, 당뇨병, 심혈관 질환, 암 및 만성 폐쇄성 폐질환에 대해 조정되었다 
Fig 1. Non-linear association derived using restricted cubic splines of individuals from the Copenhagen General Population Study followed for a mean 9.4 years, from Johannesen et al.34 Multivariable adjusted hazard ratios for all cause mortality are shown according to levels of low density lipoprotein cholesterol (LDL-C) on a continuous scale. 95% confidence intervals are derived from restricted cubic spline regressions with three knots. Reference lines for no association are shown at a hazard ratio of 1.0. Arrows indicate concentration of LDL-C associated with the lowest risk of all cause mortality. Analyses were adjusted for baseline age, sex, current smoking, cumulative number of cigarette pack years, systolic blood pressure, lipid lowering treatment, diabetes, cardiovascular disease, cancer, and chronic obstructive pulmonary disease

On the sixth day of Christmas, a statistician sent to me:

부분군 결과의 차이를 정량화
Quantify differences in subgroup results

제출된 많은 기사에는 성별이나 성별로 정의된 하위 그룹에 대한 결과 또는 브뤼셀 새싹을 먹는 사람과 먹지 않는 사람에 대한 결과가 포함되어 있습니다. 일반적인 실수는 실제로 차이를 정량화하지 않고 한 부분군의 결과가 다른 부분군의 결과와 다르다는 결론을 내리는 것입니다. Altman과 Bland는 이를 웅변적으로 고려하여 두 개의 하위 그룹에 대한 치료 효과 결과를 보여주었는데, 첫 번째 그룹은 통계적으로 유의한(위험비 0.67, 95% 신뢰 구간 0.46~0.98, P=0.03) 반면 두 번째 그룹은 그렇지 않았다(0.88, 0.71~1.08, P=0.2). 순진한 해석은 처리가 첫 번째 부분군에는 유익하지만 두 번째 부분군에는 유익하지 않다는 결론을 내리는 것입니다. 그러나 실제로 두 부분군 사이의 결과를 비교하면 넓은 신뢰 구간(위험 비율 0.76, 95% 신뢰 구간 0.49~1.17; P=0.2)이 나타나므로 부분군 효과를 결론짓기 전에 추가 연구가 필요함을 시사한다. 이와 관련된 실수는 부분군이 서로 다른 95% 신뢰 구간이 겹치는지 여부만을 기준으로 서로 다른지에 대한 결론을 내리는 것이다.36 따라서 연구자가 연구에서 부분군을 조사하면, 통계 편집자는 부분군 결과의 차이에 대한 정량화를 확인하고, 그렇지 않은 경우에는 이를 해결하도록 요청할 것이다. 하위 그룹 간에 진정한 차이가 존재하더라도 각 하위 그룹에 대해 (처리) 효과가 여전히 중요할 수 있으므로 연구 결론에서 이를 인식해야 한다. 
Many submitted articles include results for subgroups, such as defined by sex or gender, or those who do and do not eat Brussels sprouts. A common mistake is to conclude that the results for one subgroup are different from the results of another subgroup, without actually quantifying the difference. Altman and Bland considered this eloquently,35 showing treatment effect results for two subgroups, the first of which was statistically significant (risk ratio 0.67, 95% confidence interval 0.46 to 0.98; P=0.03), whereas the second was not (0.88, 0.71 to 1.08; P=0.2). A naïve interpretation is to conclude that the treatment is beneficial for the first subgroup but not for the second subgroup. However, actually comparing the results between the two subgroups reveals a wide confidence interval (ratio of risk ratios 0.76, 95% confidence interval 0.49 to 1.17; P=0.2), which suggests further research is needed before concluding a subgroup effect. A related mistake is to make conclusions about whether subgroups differ based solely on if their separate 95% confidence intervals overlap or not.36 Hence, if researchers examine subgroups in their study, the statistical editors will check for quantification of differences in subgroup results, and, if not done, ask for this to be addressed. Even when genuine differences exist between subgroups, the (treatment) effect may still be important for each subgroup, and therefore this should be recognised in study conclusions.

부분군 간의 차이를 조사하는 것은 복잡하며, 더 넓은 주제는 [(치료) 효과와 공변량 사이의 교호작용의 모형화]입니다. 문제에는 효과 측정에 사용되는 척도(예: 위험 비율 또는 승산 비율), 연속 공변량을 이분법화하여 하위 그룹이 임의로 정의되지 않도록 보장, 잠재적으로 비선형 관계를 허용한다(크리스마스 4일째와 5일째의 스타킹 충전재 참조).  
Examining differences between subgroups is complex, and a broader topic is the modelling of interactions between (treatment) effects and covariates.37 Problems include the scale used to measure the effect (eg, risk ratio or odds ratio),38 ensuring subgroups are not arbitrarily defined by dichotomising a continuous covariate,39 and allowing for potentially non-linear relationships (see our stocking fillers for the fourth day and fifth day of Christmas).40

On the seventh day of Christmas, a statistician sent to me:

클러스터링에 대한 회계 고려
Consider accounting for clustering

BMJ의 크리스마스 파티에서, 통계 편집자들은 거절된 작업에 대한 사후 조사를 요청받을 것을 두려워하여 가능할 때마다 비통계학자들과의 상호 작용과 눈 접촉을 피하면서 구석에 모여드는 경향이 있다. 마찬가지로, 연구 연구에는 여러 병원 또는 진료소의 전자 건강 기록을 사용하는 관찰 연구, 클러스터 또는 다중 센터 무작위 시험 및 여러 연구의 개별 참가자 데이터의 메타 분석을 포함한 [여러 클러스터]의 데이터가 포함될 수 있다. 때로는 분석이 이 군집화를 설명하지 않아 결과가 편향되거나 신뢰 구간을 잘못 이끌 수 있습니다. 클러스터링을 무시하면 서로 다른 클러스터 내의 개인에 대한 결과가 서로 유사하다는 강력한 가정(예: 결과 위험 측면에서)을 만든다. 병원이나 연구와 같은 클러스터가 서로 다른 임상의, 절차 및 환자 사례 혼합을 가질 때 정당화하기 어려울 수 있다.
At The BMJ’s Christmas party, the statistical editors tend to cluster in a corner, avoiding interaction and eye contact with non-statisticians whenever possible for fear of being asked to conduct a postmortem examination of rejected work. Similarly, a research study may contain data from multiple clusters, including observational studies that use e-health records from multiple hospitals or practices, cluster or multicentre randomised trials,414243444546 and meta-analyses of individual participant data from multiple studies.47 Sometimes the analysis does not account for this clustering, which can lead to biased results or misleading confidence intervals.48495051 Ignoring clustering makes a strong assumption that outcomes for individuals within different clusters are similar to each other (eg, in terms of the outcome risk), which may be difficult to justify when clusters such as hospitals or studies have different clinicians, procedures, and patient case mix.

따라서 데이터 분석에서 제출된 논문이 캡처하거나 고려해야 하는 명백한 클러스터링을 무시하는 경우, 통계 편집자는 관심 추정에 적합한 접근법을 사용하여 클러스터링의 정당성 또는 재분석 회계처리를 요청할 것이다(크리스마스 첫날의 스타킹 필러 참조). 예를 들어, 다단계 또는 혼합 효과 모델이 권장될 수 있다. 이는 클러스터별 기준 위험을 설명하고 관심 효과에서 클러스터 이질성 사이를 조사할 수 있기 때문이다.
Thus, if, in the data analysis, a submitted article ignores obvious clustering that needs to be captured or considered, the statistical editors will ask for justification of this or for a reanalysis accounting for clustering using an approach suitable for the estimand of interest (see our stocking filler for the first day of Christmas).525354 A multilevel or mixed effects model might be recommended, for example, as this allows cluster specific baseline risks to be accounted for and enables between cluster heterogeneity in the effect of interest to be examined.

On the eighth day of Christmas, a statistician sent to me:

I2 및 메타 회귀 분석을 적절하게 해석합니다
Interpret I2 and meta-regression appropriately

체계적인 검토와 메타 분석은 BMJ에 대한 인기 있는 제출물이다. 대부분 I2 통계를 포함하지만 잘못 해석하여 통계학자들에게 크리스마스 전후로 반복되는 악몽을 준다. I2는 우연이 아닌 연구 이질성 간에 기인하는 (처리) 효과 추정치의 변동성 백분율을 설명합니다. 요약치료효과 추정치에 대한 연구간 이질성의 영향은 I2가 0%에 가까우면 작고, I2가 100%에 가까우면 크다. 일반적인 실수는 저자들이 I2를 [절대적인 이질성의 양의 척도]로 해석하고(즉, 실제 효과의 연구 분산 간의 추정치로 간주한다), 무작위 효과 메타 분석 모델을 사용할지 여부를 결정하기 위해 이를 잘못 사용하는 것이다. I2는 [상대적인 측도]이며, 실제 효과의 연구 간 분산(또는 σ2)의 크기뿐만 아니라, 효과 추정치의 연구 내 분산의 크기에 따라 달라지기 때문에 이는 현명하지 않습니다. 예를 들어, 포함된 모든 연구가 작기 때문에 연구 내 효과 추정치의 분산이 크면 연구 간 분산이 크고 중요한 경우에도 I2가 0%에 가까울 수 있습니다.  반대로, 연구 간 분산이 작고 중요하지 않은 경우에도 I2가 클 수 있습니다. 통계 검토는 저자에게 I2의 오용을 시정하고 연구 분산 간의 추정치를 직접 제시할 것을 요청할 것이다.
Systematic reviews and meta-analyses are popular submissions to The BMJ. Most of them include the I2 statistic55 but interpret it incorrectly, which gives the statisticians a recurring nightmare before (and after) Christmas. I2 describes the percentage of variability in (treatment) effect estimates that is due to between study heterogeneity rather than chance. The impact of between study heterogeneity on the summary treatment effect estimate is small if I2 is close to 0%, and it is large if I2 is close to 100%. A common mistake is for authors to interpret I2 as a measure of the absolute amount of heterogeneity (ie, to consider I2 as an estimate of the between study variance in true effects), and to erroneously use it to decide whether to use a random effects meta-analysis model. This is unwise, as I2 is a relative measure and depends on the size of the within study variances of effect estimates, not just the size of the between study variance of true effects (also known as τ2). For example, if all the included studies are small, and thus within study variances of effect estimates are large, I2 can be close to 0% even when the between study variance is large and important.56 Conversely, I2 may be large even when the between study variance is small and unimportant. Statistical reviews will ask authors to correct any misuse of I2, and to also present the estimate of between study variance directly.

메타 회귀 분석은 종종 연구 수준 공변량(예: 평균 연령, 치료 선량, 편향 위험 등급)이 연구 이질성 사이에서 설명하는 범위를 조사하는 데 사용되지만, 일반적으로 통계 편집자는 저자에게 메타 회귀 분석 결과를 조심스럽게 해석할 것을 요청한다.

  • 첫째, 시행 횟수가 적은 경우가 많고, 그 다음 메타 회귀는 시행에서 전체 치료 효과의 변화와 진정으로 관련된 연구 수준 특성을 감지하기 위한 low power의 영향을 받는다.
  • 둘째로, 시험 전반에 걸쳐 교란 요인이 발생할 가능성이 있으므로 시험 수준 공변량의 영향에 대한 인과 관계 진술을 하는 것이 가장 좋다. 예를 들어 편향 위험이 높은 시험은 최고 선량을 갖거나 특정 국가에서 수행될 수 있으므로 편향 위험의 영향을 dose과 country의 영향에서 분리하기 어렵다.
  • 셋째, 전체 치료 효과와 함께 집계된 참가자 수준 공변량(예: 평균 연령, 비율 남성)의 시험 수준 연관성을 사용하여 참가자 수준 공변량의 값(예: 연령, 성별, 바이오마커 값)이 치료 효과와 어떻게 상호 작용하는지 추론해서는 안 된다. 집계 편향은 그림 2와 같이 실험 수준에서 관찰된 관계와 참가자 수준에서 관찰된 관계의 극적인 차이를 초래할 수 있다.

Meta-regression is often used to examine the extent to which study level covariates (eg, mean age, dose of treatment, risk of bias rating) explain between study heterogeneity, but generally the statistical editors will ask authors to interpret meta-regression results cautiously.57 

  • Firstly, the number of trials are often small, and then meta-regression is affected by low power to detect study level characteristics that are genuinely associated with changes in the overall treatment effect in a trial.
  • Secondly, confounding across trials is likely, and so making causal statements about the impact of trial level covariates is best avoided. For example, those trials with a higher risk of bias might also have the highest dose or be conducted in particular countries, thus making it hard to disentangle the effect of risk of bias from the effect of dose and country.
  • Thirdly, the trial level association of aggregated participant level covariates (eg, mean age, proportion men) with the overall treatment effect should not be used to make inferences about how values of participant level covariates (eg, age, sex, biomarker values) interact with treatment effect. Aggregation bias may lead to dramatic differences in observed relationships at the trial level from those at the participant level,5859 as shown in figure 2.

그림 2. 치료-공변량 상호작용의 개별 참가자 데이터 메타분석이 아닌 연구 수준 결과의 메타회귀를 사용할 때의 [집계 편향]. 연구 질문은 [혈압을 낮추는 치료]가 [남성보다 여성들 사이에서 더 효과적인지]에 대한 것이었다. 10번의 고혈압 치료 실험의 메타 분석을 통해 증거를 보여주며, 치료 효과와 비율 남성(실선)의 임상적 연관성을 비교한다. 이는 가파르고 통계적으로 중요하다. 각 실험(점선)에서 성별과 치료 효과의 참가자 수준 상호작용을 비교한다. 통계적으로 중요하지 않습니다. 이 사례 연구는 이전 작업을 기반으로 합니다. 각 블럭은 시행 크기에 비례하는 블럭 크기를 사용하여 하나의 시행을 나타냅니다. 시험 간 연관성은 남성 비율에 대한 시험 치료 효과의 메타 회귀에서 파생된 실선의 기울기로 표시되며, 이는 남성에 비해 여성만을 대상으로 한 시험에서 15mm Hg(95% 신뢰 구간 8.8~21mm Hg) 더 큰 수축기 혈압 감소 효과를 시사한다. 그러나 참가자 수준 데이터에 기초한 치료-성 상호작용은 각 시험 내에서 파선의 기울기로 표시되며, 평균적으로 이는 임상적으로나 통계적으로 유의하지 않은 남성보다 여성의 치료 효과가 0.8mm Hg(-0.5~2.1mm Hg) 더 클 뿐이다 
Fig 2. Aggregation bias when using meta-regression of study level results rather than individual participant data meta-analysis of treatment-covariate interactions. The research question was whether blood pressure lowering treatment is more effective among women than men. Evidence is shown from a meta-analysis of 10 trials of antihypertensive treatment,

  • comparing the across trial association of treatment effect and proportion men (solid line)—which is steep and statistically significant—
  • with participant level interactions of sex and treatment effect in each trial (dashed lines) —which are flat and neither clinically nor statistically important.

This case study is based on previous work.475860 Each block represents one trial, with block size proportional to trial size. Across trial association is denoted by gradient of solid line, derived from a meta-regression of the trial treatment effects against proportion of men, which suggests a large effect of a 15 mm Hg (95% confidence interval 8.8 to 21 mm Hg) greater reduction in systolic blood pressure in trials with only women compared with only men. However, the treatment-sex interaction based on participant level data is denoted by gradient of dashed lines within each trial, and on average these suggest only a 0.8 mm Hg (−0.5 to 2.1 mm Hg) greater treatment effect for women than for men, which is neither clinically nor statistically significant

On the ninth day of Christmas, a statistician sent to me:

모형 예측의 보정calibration 평가
Assess calibration of model predictions

임상 예측 모델은 개인의 진단과 예후를 알리기 위해 (연속적인 결과에 대한) 결과 값 또는 (이진 또는 사건 발생까지의 시간 결과에 대한) 결과 위험을 추정한다. 예측 모델을 개발하거나 검증하는 기사는 모델 성능을 완전히 평가하지 못하는 경우가 많은데, 부정확한 예측은 잘못된 확신이나 희망을 주는 것과 같이 환자에게 잘못된 결정과 해로운 의사소통을 초래할 수 있기 때문에 중요한 결과를 초래할 수 있다. 결과 위험을 추정하는 모델의 경우 다른 곳에서 설명한 바와 같이 예측 성능을 식별, 교정 및 임상적 유용성 측면에서 평가해야 한다.  

Clinical prediction models estimate outcome values (for continuous outcomes) or outcome risks (for binary or time-to-event outcomes) to inform diagnosis and prognosis in individuals. Articles developing or validating prediction models often fail to fully evaluate model performance, which can have important consequences because inaccurate predictions can lead to incorrect decisions and harmful communication to patients, such as giving false reassurance or hope. For models that estimate outcome risk, predictive performance should be evaluated in terms of discrimination, calibration, and clinical utility, as described elsewhere.616263

그러나 대부분의 제출물은 (예를 들어 C 통계량 또는 곡선 아래 영역으로 정량화된) 모형 판별에만 초점을 맞추고 있다. 그림 3은 0.81의 유망한 C 통계량을 가진 예측 모델에 대한 게시된 교정 그림을 보여주고 있지만 0.05와 0.2.64 사이의 예측 위험 범위에서 예측 위험에 대한 명백한 (아마도 작은) 오교정이 있다. 이러한 오교정은 특히 치료제와 같은 결정이 있을 경우 모델의 임상적 유용성에 영향을 미칠 수 있다토르 모니터링 전략은 의사결정 곡선 분석에서 조사할 수 있는 예측 위험의 범위에서 위험 임계값에 의해 결정된다. 반대로 오보정은 오보정의 크기와 의사결정 임계값과 관련하여 발생하는 시기에 따라 다르므로 모델에 임상적 유용성이 없다고 반드시 표시하는 것은 아니다.
However, the majority of submissions focus only on model discrimination (as quantified by, for example, the C statistic or area under the curve28)—when this is done, an incomplete impression is created, just as with that unfinished 1000 piece jigsaw from last Christmas. Figure 3 shows a published calibration plot for a prediction model with a promising C statistic of 0.81, but there is clear (albeit perhaps small) miscalibration of predicted risks in the range of predicted risks between 0.05 and 0.2.64 This miscalibration may impact the clinical utility of the model, especially if decisions, such as about treatment or monitoring strategies, are dictated by risk thresholds in that range of predicted risks, which can be investigated in a decision curve analysis.65 Conversely, miscalibration does not necessarily indicate the model has no clinical utility, as it depends on the magnitude of miscalibration and when it occurs in relation to decision thresholds.

그림 3. 예측 모델에서 관찰된 위험과 추정된(예측된) 위험 사이의 일치를 조사하기 위한 교정 그림의 예. 이 연구는 파열된 두개내 동맥류로 인한 지주막하 출혈을 경험한 사람들의 사망 위험을 추정하기 위한 예측 모델을 개발했다. 원은 추정 위험의 10분의 1로 그룹화된 추정 및 관찰 위험이며, 노란색 점선은 추정 위험 범위에 걸친 일치를 포착하기 위해 황토색이 더 부드럽다. AUROC=수신 사업자 특성상 영역 
Fig 3. Example of a calibration plot to examine agreement between observed risks and estimated (predicted) risks from a prediction model.64 The study developed prediction models to estimate the risk of mortality in individuals who experienced subarachnoid haemorrhage from ruptured intracranial aneurysm. Circles are estimated and observed risks grouped by 10ths of estimated risks, and the yellow dashed line is a loess smoother to capture agreement across the range of estimated risks. AUROC=area under the receiving operator characteristic


통계 편집자들은 또한 모델 개발 연구의 연구자들이 과적합 가능성을 줄이고 새로운 데이터의 예측 교정을 개선하는 데 도움이 되는 페널티화 또는 수축 방법(예: 능선 회귀, 라소, 탄성 그물)을 사용하여 재분석을 수행할 것을 제안할 수 있다. 퍼스 보정과 같은 처벌 방법은 데이터가 희박한 비예측 상황(예: 치료 효과를 추정하는 무작위 시험)에서도 중요할 수 있는데, 이 상황에서 표준 방법(로지스틱 회귀 분석과 같은)이 편향된 효과 추정치를 제공할 수 있기 때문이다. 
Statistical editors may also suggest that researchers of model development studies undertake a reanalysis using penalisation or shrinkage methods (eg, ridge regression, lasso, elastic net), which reduce the potential for overfitting and help improve calibration of predictions in new data.6667 Penalisation methods, such as Firth’s correction,68 can also be important in non-prediction situations (eg, randomised trials estimating treatment effects) with sparse data, as standard methods (such as logistic regression) may give biased effect estimates in this situation.69

On the 10th day of Christmas, a statistician sent to me:

변수 선택 접근 방식을 신중하게 고려합니다
Carefully consider the variable selection approach

통계 검토에서 비판의 일반적인 영역은 변수 선택 방법(예: 효과의 통계적 유의성에 기초한 공변량 선택)의 사용이다. 이러한 방법을 사용하면 통계 편집자는 저자에게 정당성을 요청할 것이다. 연구에 따라, 통계 편집자들은 새해 첫날에 마지막으로 남은 칠면조 샌드위치처럼 저자들에게 이러한 접근법을 완전히 피하라고 제안할 수도 있다. 예를 들어, 일반적인 목표는 특정 요인이 [다른 (확립된) 예측 요인]에 비해 [예측 값을 추가하는 방법]에 대한 [편견 없는 추정치]를 제공하는 것이기 때문에 예측 요인 연구에서 변수 선택 방법을 가장 잘 피한다. 따라서 기존의 예측요인의 영향을 고려한 후 새로운 요인의 예측효과를 검토하기 위해서는 기존의 모든 요인에 강제적인 회귀모형이 필요하다. 마찬가지로, 관찰 데이터에 기초한 인과 연구에서 조정 요인으로 포함할 교란 요인의 선택은 인과 경로에 기초하여 선택되어야 한다  —예를 들어, 자동화된 선택 방법에 기초한 통계적 중요성이 아닌 (공변량과 결과 사이의 잠재적 매개자를 고려하여) 지시된 비순환 그래프를 사용하여 표현된다. 
A common area of criticism in statistical reviews is the use of variable selection methods (eg, selection of covariates based on the statistical significance of their effects).70 If these methods are used, statistical editors will ask authors for justification. Depending on the study, statistical editors might even suggest authors avoid these approaches entirely, just as you would that last remaining turkey sandwich on New Year’s Day. For example, variable selection methods are best avoided in prognostic factor studies, as the typical aim is to provide an unbiased estimate of how a particular factor adds prognostic value over and above other (established) prognostic factors.71 Therefore, a regression model forcing in all the existing factors is needed to examine the prognostic effect of the new factor after accounting for the effect of existing prognostic factors. Similarly, in causal research based on observational data, the choice of confounding factors to include as adjustment factors should be selected based on the causal pathway—for example, as expressed using directed acyclic graphs (with consideration of potential mediators between covariates and outcome72), not statistical significance based on automated selection methods.

임상 예측 모델의 개발에서 잠재적 포함을 위한 모든 후보 예측 변수를 포함하는 전체 모델로 시작하는 라소 또는 탄성 네트와 같은 방법을 사용하여 변수 선택(수축을 통한)을 통합할 수 있다. 일반적이지만 부적절한 접근법은 예측 변수 포함에 대한 결정이 관측된 비조정 효과 추정치에 대한 P 값에 기초할 때 일변량 선별을 사용하는 것이다. 이것은 다른 예측 변수에 대한 조정 후 예측 변수의 효과이기 때문에 합리적인 전략이 아니다. 왜냐하면 실제로 관련 예측 변수는 (의료 전문가와 환자에 의해) 조합으로 사용되기 때문이다. 예를 들어, 재발 정맥 혈전 색전증의 위험에 대한 예후 모델을 개발하고 있을 때, 연구자들은 연령의 조정되지 않은 예후 효과가 일변량 분석에서 통계적으로 유의하지 않고 조정된 효과가 유의하며 다변량 분석과 반대 방향이라는 것을 발견했다. 
In the development of clinical prediction models, variable selection (through shrinkage) may be incorporated using methods such as lasso or elastic net, which start with a full model including all candidate predictors for potential inclusion. A common, but inappropriate approach is to use univariable screening, when decisions for predictor inclusion are based on P values for observed unadjusted effect estimates. This is not a sensible strategy,73 as what matters is the effect of a predictor after adjustment for other predictors, because in practice the relevant predictors are used (by healthcare professionals and patients) in combination. When, for example, a prognostic model was being developed for risk of recurrent venous thromboembolism, the researchers found that the unadjusted prognostic effect of age was not statistically significant from univariable analysis but that the adjusted effect was significant and in the opposite direction from multivariable analysis.74

On the 11th day of Christmas, a statistician sent to me:

가정의 영향 평가
Assess the impact of any assumptions

모든 사람들은 그것이 크리스마스 영화라는 것에 동의하지만, 이것이 다이하드에 적용되는지는 논란의 여지가 있다. 마찬가지로 통계 편집자는 저자의 완고한 분석 가정에 대해 토론하고 가정이 변경될 경우 결과가 변경되는지 여부를 검토하도록 요청할 수 있다(감도 분석). 예를 들어, 재발까지의 시간이나 사망 시간과 같은 사건 발생 시간 데이터가 있는 제출된 시험에서는 위험 비율이 전체 추적 기간에 걸쳐 일정하다고 가정하여 보고하는 것이 일반적이다. 이 가정이 기사에서 정당화되지 않는 경우, 예를 들어 시간에 따라 위험 비율이 어떻게 변화하는지 그래픽으로 제시함으로써 저자들에게 이 문제를 해결하도록 요청할 수 있다. (아마도 관심 공변량과 (로그) 시간 사이의 상호작용을 포함하는 생존 모델에 기초한다.). 또 다른 예는 베이지안 분석을 사용한 제출물에서, 이전 분포는 "모호한" 또는 "비정보적"으로 분류되지만 여전히 영향력이 있을 수 있다. 이러한 상황에서 저자들은 다른 그럴듯한 사전 분포를 선택할 때 결과가 어떻게 변하는지 보여달라고 요청받을 수 있다.
Everyone agrees that It’s A Wonderful Life is a Christmas movie, but whether this applies to Die Hard is debatable. Similarly, statistical editors might debate authors’ die-hard analysis assumptions, and even ask them to examine whether results change if the assumptions change (a sensitivity analysis). For example, in submitted trials with time-to-event data, such as time to recurrence or death, it is common to report the hazard ratio, assuming it is a constant over the whole follow-up period. If this assumption is not justified in an article, authors may be asked to address this—for example, by graphically presenting how the hazard ratio changes over time (perhaps based on a survival model that includes an interaction between the covariate of interest and (log) time).75 Another example is in submissions with bayesian analyses, where prior distributions are labelled as “vague” or “non-informative” but may still be influential. In this situation, authors may be asked to demonstrate how results change when other plausible prior distributions are chosen.

On the 12th day of Christmas, a statistician sent to me:

보고 지침 사용 및 과도한 해석 방지
Use reporting guidelines and avoid overinterpretation

알트먼은 "독자들은 무엇이 행해졌는지 추론할 필요가 없어야 한다, 그것이 명확하게 말해져야 한다. 적절한 방법론이 사용되어야 하며 사용된 것으로 간주되어야 합니다." 불완전하게 보고된 연구는 변명의 여지가 없으며 크리스마스 트리 아래에 있는 라벨이 없는 선물과 마찬가지로 혼란을 일으킨다. 독자들은 보고된 연구의 근거와 목적, 연구 설계, 사용된 방법, 참가자 특성, 결과, 증거의 확실성, 연구 결과 등을 알아야 한다. 이러한 요소 중 하나라도 누락된 경우 저자는 이를 명확히 해야 합니다.
Altman once said, “Readers should not have to infer what was probably done, they should be told explicitly. Proper methodology should be used and be seen to have been used.”76 Incompletely reported research is indefensible and creates confusion, just as with those unlabelled presents under the Christmas tree. Readers need to know the rationale and objectives of a reported study, the study design, methods used, participant characteristics, results, certainty of evidence, research implications, and so forth. If any of these elements are missing, authors will be asked to clarify them.

보고 지침을 활용합니다. 그들은 보고할 항목의 체크리스트를 제공한다(산타는 이것을 두 번 확인할 것을 제안한다). 이 체크리스트는 독자(통계 편집자 포함)가 연구를 이해하고 그 결과를 비판적으로 평가할 수 있도록 하는데 필요한 최소한의 세부사항을 나타낸다. 보고 지침은 건강 연구 보고와 관련된 지침 및 기타 자료의 포괄적인 모음을 유지하는 EQUATOR 네트워크 웹 사이트에 나열되어 있습니다. 표 1은 무작위 시험을 위한 CONSTORT 문과 예측 모델 연구를 위한 TRIPOD 지침을 포함한 예를 보여준다. BMJ는 저자들에게 각 항목이 제출된 원고의 어느 페이지에 보고되었는지를 나타내는 관련 지침 내에 체크리스트를 작성하고 제출과 함께 포함할 것을 요구한다. 
Make use of reporting guidelines. They provide a checklist of items to be reported (Santa suggests checking this twice), which represent the minimum detail required to enable readers (including statistical editors) to understand the research and critically appraise its findings. Reporting guidelines are listed on The EQUATOR Network website, which maintains a comprehensive collection of guidelines and other materials related to health research reporting.77Table 1 shows examples, including the CONSORT statement for randomised trials79 and the TRIPOD guideline for prediction model studies.8081The BMJ requires authors to complete the checklist within the relevant guideline (and include it with a submission), indicating on which page of the submitted manuscript each item has been reported.

보고와 관련된 통계 편집자 검토 과정의 또 다른 공통적인 부분은 인과관계, 결과의 일반화 가능성 또는 임상 실무에 대한 즉각적인 영향과 같은 결과의 해석을 지나치게 질의하는 것이다. 특히 다중 공변량(변수)이 있는 회귀 모델을 참조하기 위해 다변량(다변수가 아닌)을 오용하고, 그룹을 생성하는 데 사용되는 절단점이 아닌 그룹을 참조하기 위해 분위수를 오용하는 것(예: 십진법은 10개의 동일한 크기의 그룹을 생성하는 데 사용되는 9개의 절단점)을 오용한다업(10번째라고 함). 
Another common part of the statistical editors review process, related to reporting, is to query overinterpretation of findings—and even spin,82 such as unjustified claims of causality, generalisability of results, or immediate implications for clinical practice. Incorrect terminology is another bugbear—in particular the misuse of multivariate (rather than multivariable) to refer to a regression model with multiple covariates (variables), and the misuse of quantiles to refer to groups rather than the cut points used to create the groups (eg, deciles are the nine cut points used to create 10 equal sized groups called 10ths).83

에피파니
Epiphany

BMJ에 제출된 기사의 동료 검토 중에 일상적으로 마주치는 12개의 통계 문제 목록은 향후 제출된 문서 작성자에게 도움이 될 것으로 기대된다. 지난 크리스마스 통계 편집자들은 이 목록을 트위터에 올렸지만, 어쨌든 그들은 다음날 제출이 저조했다. 올해, 그들을 눈물로부터 구하기 위해, 그들은 특별한 누군가를 위해 그것을 만들었습니다. 당신, BMJ 독자.

This list of 12 statistical issues routinely encountered during peer review of articles submitted to The BMJ will hopefully help authors of future submissions. Last Christmas statistical editors tweeted this list, but the very next day they got poor submissions anyway. This year, to save them from tears, they’ve tailored it for someone special—you, The BMJ reader.

저자들은 통계 검토 기간을 줄이고 통계 편집자들이 축제 기간 동안 중요한 (네, 말장난 의도로) 다른 사람들과 더 많은 시간을 보낼 수 있도록 함으로써 세상에 기쁨을 주기 위해 내년 크리스마스에 서둘러 논문을 제출하기 전에 이 목록을 다루어야 한다. 만약 저자들이 이 지침을 고수한다면, "크리스마스의 12번째 날에" 노래는 행복한 통계학자의 피드백을 반영한 가사와 함께 매우 긍정적인 "크리스마스 리뷰의 12번째 날에"로 바뀔 것이다(아마도 그림 4의 노래 시트 사용에 참여할 것이다).
Authors should address this list before rushing to submit papers to The BMJ next Christmas, in order to bring joy to the world by reducing the length of statistical reviews and allowing the statistical editors to spend more time with their significant (yes, pun intended) others over the festive period. If authors did adhere to this guidance, the “On the 12th Day of Christmas” song would change to the very positive “On the 12th Day of Christmas Review” with lyrics reflecting feedback from a happy statistician (perhaps join in using the song sheet in figure 4).

 
 

그림 4. "크리스마스 리뷰 12일째 되는 날, 행복한 통계학자가 나에게 보낸..."의 노래 시트
Fig 4. Song sheet for “On the 12th Day of Christmas Review, a Happy Statistician sent to me . . .”


궁극적으로, BMJ는 곰팡이가 아닌 금, 말도 안 되는 유향, 그리고 몰약을 출판하기를 원한다. 많은 다른 주제들이 언급될 수 있었고, 독자들은 더그 앨트먼과 마틴 블랜드가 작성한 BMJ Statistics Notes 시리즈, BMJ의 연구 방법 및 보고 섹션, 그리고 일반적인 통계 오류에 대한 다른 개요를 참조한다.

Ultimately, The BMJ wants to publish the gold not the mould, the frankincense not the makes-no-sense, and the myrrh not the urrgghh. Many other topics could have been mentioned, and for further guidance readers are directed to the BMJ Statistics Notes series (written mainly by Doug Altman and Martin Bland), the Research Methods and Reporting section of The BMJ,84 and other overviews of common statistical mistakes.8586


 

 

BMJ. 2022 Dec 20;379:e072883. doi: 10.1136/bmj-2022-072883.

 

 

On the 12th Day of Christmas, a Statistician Sent to Me .

Affiliations collapse

1Institute of Applied Health Research, College of Medical and Dental Sciences, University of Birmingham, Birmingham, UK r.d.riley@bham.ac.uk.

2UCL Great Ormond Street Institute of Child Health, London, UK.

3Institute of Applied Health Research, College of Medical and Dental Sciences, University of Birmingham, Birmingham, UK.

4Centre for Biostatistics, University of Manchester, Manchester Academic Health Science Centre, Manchester, UK.

5University of Manchester, Manchester, UK.

6Nuffield Department of Primary Care Health Sciences, University of Oxford, Oxford, UK.

7Centre for Statistics in Medicine, Nuffield Department of Orthopaedics, Rheumatology and Musculoskeletal Sciences, University of Oxford, Oxford, UK.

PMID: 36593578

DOI: 10.1136/bmj-2022-072883

설문에서 최대한을 얻어내기: 응답 동기부여 최적화하기(J Grad Med Educ. 2022)
Getting the Most Out of Surveys: Optimizing Respondent Motivation
Anthony R. Artino Jr , PhD
Quentin R. Youmans , MD, MSc
Matthew G. Tuck , MD, MEd, FACP

대학원 의학교육(GME)을 연구하는 사람들을 포함한 보건 전문 교육 연구자들은 설문 조사와 오랜 연애를 한다. 이러한 호감의 증거는 의학 교육 저널(Journal of Graduate Medical Education, JGME)에 게재된 최근 기사를 검토함으로써 찾을 수 있다. 우리가 집계한 바로는 2021년에 발간된 Original Research and Brief Report 기사 중 56%가 설문조사를 이용했다시간, 돈, 방법론적 전문지식의 한계를 포함하여 많은 GME 학자들이 직면한 제약을 고려할 때 이 큰 비율은 놀라운 일이 아니다. 결과적으로, 설문조사는 종종 GME 조사자들이 가장 접근하기 쉬운 연구 방법이다. 또한 설문조사는 일반적으로 GME 교육자들이 훈련생 평가와 프로그램 평가를 위해 사용한다. 이러한 이유로, 설문조사는 상당히 적응 가능하며, 신념, 가치, 태도, 인식 및 의견과 같이 측정하기 어려운 심리적 구조를 평가하는 효율적인 방법이 될 수 있다.  
Health professions education researchers, including those who study graduate medical education (GME), have a long-standing love affair with surveys. Evidence of this fondness can be found by reviewing recent articles published in the Journal of Graduate Medical Education (JGME). By our count, 56% of Original Research and Brief Report articles published in 2021 used a survey. This large proportion is not surprising, considering the constraints that many GME scholars face, including limitations of time, money, and methodological expertise. Consequently, surveys are often the most accessible research method for GME investigators. In addition, surveys are commonly used by GME educators for trainee assessment and program evaluation. For these reasons, surveys are quite adaptable and can be an efficient way to assess hard-to-measure psychological constructs like beliefs, values, attitudes, perceptions, and opinions.1 

광범위한 사용과 방법론적 유연성에도 불구하고 설문조사에는 [몇 가지 고유한 약점]이 있다. 여론조사, 사회학, 심리학과 같은 분야에서 수십 년 동안의 경험적 증거에 의해 뒷받침되는 한 가지 약점은 [낮은 수준의 응답자 동기가 질 낮은 데이터로 이어질 수 있다]는 것이다.  GME에서 문제는 훨씬 더 심각할 수 있다. 전공의는 업무 외의 삶뿐만 아니라 임상 및 교육 책임을 포함하여 많은 경쟁적 시간 제약을 가지고 있기 때문이다. 이러한 제약 및 기타 제약 조건은 특정 GME 연구 또는 평가 노력의 장점에 관계없이 설문 조사를 우선해서 답하기 어렵게 만든다.
Notwithstanding their widespread use and methodological flexibility, surveys come with several inherent weaknesses. One weakness, supported by decades of empirical evidence in fields like public opinion polling, sociology, and psychology, is that low levels of respondent motivation can lead to poor-quality data.2  In GME the problem may be even more acute, as resident physicians have many competing time constraints, including clinical and educational responsibilities, as well as life beyond work. These and other constraints make prioritizing surveys difficult, regardless of the merit of any particular GME study or evaluation effort.

이러한 상황을 염두에 두고, 우리는 이 사설에서 [응답자의 동기 부여 문제]에 초점을 맞춘다. 동기 부여를 해결하기 위해 먼저 인식에 대해 논의하고 설문 조사를 완료할 때 참가자가 일반적으로 고려하는 사항을 강조합니다. 다음으로, 동기가 낮을 때 발생할 수 있는 몇 가지 응답 행동을 설명하여 낮은 품질의 설문 조사 데이터를 생성한다. 우리는 연구원이 응답자의 동기를 최적화하고 궁극적으로 더 정확하고 해석 가능한 설문 조사 데이터로 이어질 수 있는 설계 및 구현 전략으로 결론을 내린다. 
With this landscape in mind, we focus on the issue of respondent motivation in this Editorial. To address motivation, we first discuss cognition and highlight what participants typically consider when completing a survey. Next, we describe several response behaviors that can occur when motivation is low, thereby resulting in low-quality survey data. We conclude with design and implementation strategies that can help researchers optimize respondent motivation and ultimately lead to more precise, accurate, and interpretable survey data.

설문조사 응답 프로세스
Survey Response Process

응답자의 동기를 이해하기 위해서는 먼저 [설문 응답의 심리]를 살펴보는 것이 도움이 된다. 설문 조사를 수행하는 인지 작업을 설명하는 데 사용되는 고전적인 프레임워크는 Tourangeau와 동료들의 응답 프로세스 모델이다(그림 참조).  그것은 응답자들이 설문조사를 할 때 4가지 인지 과정을 거치는 것을 제안한다.

  • 첫째, 설문 항목을 이해하고 페이지에 있는 [단어의 의미를 해석]해야 한다(자체 조사에서).
  • 다음으로, 그들은 장기 기억에서 항목에 대응하는 데 필요한 [관련 정보를 검색]해야 한다. 이 정보에는 과거 활동에 대한 구체적인 날짜나 주제에 대한 태도나 의견이 포함될 수 있습니다. 일반적으로 메모리에서 검색해야 합니다.
  • 다음으로, 의견제출자들은 그 [정보를 판단에 통합하고, 경우에 따라서는 추정]할 필요가 있다. 예를 들어, 한 응답자는 작년에 얼마나 자주 헌혈을 했는지 보고할 것을 요청했고, 따라서 얼마나 자주 헌혈을 하는지에 따라 그 숫자를 추정할 필요가 있다. 만약 헌혈이 분기별로 실시된다면, 응답자는 작년에 헌혈한 횟수로 "4"를 추정할 수 있다.
  • 마지막으로, 응답자들이 답변을 염두에 둔 후에는 [해당 답변을 설문조사에 보고하고 제공된 옵션에 따라 답변을 조정]해야 합니다. 위의 예에서 헌혈 빈도에 대한 응답 옵션이 "가끔" 또는 "자주"로 제시된 경우, 응답자는 자신의 대답 "4"를 가장 적절한 응답 범주로 변환해야 한다.

To understand respondent motivation, it is helpful to first examine the psychology of survey response. A classic framework used to describe the cognitive work of taking a survey is Tourangeau and colleagues' response process model (see Figure).3  It proposes that respondents move through 4 cognitive processes when taking a survey.

  • First, they need to comprehend the survey item and interpret the meaning of the words on the page (in a self-administered survey).
  • Next, they need to retrieve from their long-term memory the relevant information needed to respond to the item. That information could include specific dates for activities in the past, or an attitude or opinion about a topic. Generally, something must be retrieved from memory.
  • Next, respondents need to integrate that information into a judgment and, in some cases, make an estimation. For example, a respondent asked to report how often they gave blood last year might not remember all instances and therefore would need to estimate the number based on how often blood drives are held. If blood drives are conducted quarterly, then the respondent might estimate “4” as the number of times they gave blood last year.
  • Finally, once respondents have an answer in mind, they must report that answer on the survey and adapt their response based on the options provided. In the example above, if the response options for the frequency of blood donations are presented as “sometimes” or “often,” then a respondent would need to convert their answer “4” into what they believe is the most appropriate response category.
Components of the Survey Response Process // a a Survey response process is adapted from Tourangeau et al.3

설문조사 응답 프로세스의 구성요소 

응답자들이 네 가지 인지 과정을 작업하는 동안, 이리저리 뛰어다니고, [심지어 단계를 건너뛸 수 있다]는 것을 주목하는 것이 중요하다. 예를 들어, 한 사람이 작년에 의사를 얼마나 자주 봤는지 보고해 달라고 요청했는데, 기억에서 그 정보를 찾기 시작할 수도 있지만 물리치료사에게 가는 것이 고려되어야 하는지에 대해 궁금해했다. 그리고 나서 그들은 이해 단계로 돌아가서 단서를 찾기 위해 질문을 다시 읽을 수도 있다. 그런 다음 응답자는 제공된 응답 옵션에 기초하여 의사 방문 횟수가 적정한지에 대한 다른 단서를 찾기 위해 응답 단계로 점프할 수 있다. 이러한 방식으로, 설문 응답 프로세스는 비선형적입니다. 응답자들은 개별 설문 조사 질문을 탐색하고 응답하는 데 도움이 되도록 설문 조사에서 제공하는 상황별 단서를 사용합니다.

It is important to note that respondents may jump around, and even skip steps, while working through the 4 cognitive processes. For instance, a person asked to report how often they saw a physician last year might begin retrieving that information from memory but wonder if going to the physical therapist should be counted. They might then jump back to the comprehension step and reread the question to look for clues. The respondent might then jump forward to the response step to look for other clues about what a reasonable number of physician visits might be, based on the response options provided. In this way, the survey response process is nonlinear; respondents hop around and use contextual clues provided by the survey to help navigate and respond to individual survey questions.

이 네 가지 인지 단계에 대한 또 다른 중요한 점은, 과정 중에 어떤 지점에서 [마주치는 어려움이 오류를 발생]시킬 수 있다는 것이다. 예를 들어, 응답자들은 혼란스러운 문구나 전형적인 시각적 배치 때문에 질문을 오해하거나, 관련 정보를 잊어버려서 검색할 수 없거나, 정보에 입각한 답변을 하는 데 필요한 정보가 없기 때문에 정확한 판단을 할 수 없을 수 있다. 각 예제에서 [응답 오류]가 발생할 수 있으며 제공된 답변은 [부정밀하고, 부정확하며 조사 연구자가 해석하기 어려울 가능성]이 더 높습니다. 게다가, 응답자들은 설문 조사를 통해 일하는 동안 [인지적 지름길]을 취할 수 있고 종종 그렇게 한다. 즉, 응답자는 응답 프로세스(이해, 검색, 판단 및 추정 또는 보고)의 모든 단계에서 설문 응답 프로세스를 최적화할 수 없습니다. 대신에, 응답자들은 [정신적 에너지와 만족감을 보존하는 것]을 선택할지도 모른다.
Another important point about these 4 cognitive steps is that difficulties encountered at any point along the process can produce errors. For example, respondents might misunderstand a question because of confusing wording or atypical visual layout, not be able to retrieve the relevant information because they have forgotten it, or not be able make an accurate judgment because they do not have the necessary information to give an informed answer. In each example, response errors may occur, and the answers provided are more likely to be imprecise, inaccurate, and difficult for survey researchers to interpret. Furthermore, respondents can and often do take cognitive shortcuts while working through a survey. That is, at any step in the response process—comprehension, retrieval, judgment and estimation, or reporting—respondents may not optimize the survey response process. Instead, they may choose to conserve their mental energy and satisfice.4 

동기 부여 및 Satisficing
Motivation and Satisficing

응답자의 동기부여에 대한 우려는 설문조사 설계 문헌에 오랫동안 설명되어 왔다. 20여 년 전, 크로스닉는 "단 하나의 질문에도 최적의 답을 생성하기 위해서는 많은 인지 작업이 필요하다"고 언급했다 이와 같이, 양질의 답변은 에너지를 소비하고 설문 조사 응답 프로세스를 최적화하도록 동기를 부여하는 응답자에게서 나오는 경향이 있다. 응답자들은 자기 표현에 대한 욕구, 지적 도전, 도움이 되고 싶은 욕구를 포함한 많은 요소들에 의해 동기 부여를 받는다. GME에서 주민들은 의무감과 전문성에서 설문에 참여하려는 동기부여를 받는다고 보고한다.  반면에, 개인적인 경험과 수십 년에 걸친 경험적 연구는 응답자들이 종종 설문 질문에 고품질의 답변을 제공할 동기가 없음을 말해준다. 크로스닉은 이 흔한 상황을 satisficing이라고 지칭한다.
Concerns about respondent motivation have long been described in the survey design literature. More than 2 decades ago, Krosnick4  noted that “a great deal of cognitive work is required to generate an optimal answer to even a single question.” As such, high-quality answers tend to come from respondents who are motivated to expend that energy and optimize the survey response process. Respondents are motivated by numerous factors, including their desire for self-expression, intellectual challenge, and a desire to be helpful. In GME, residents report being motivated to participate in surveys out of a sense of duty and professionalism.5  On the other hand, personal experience and decades of empirical research tell us that respondents are often unmotivated to provide high-quality answers to survey questions. Krosnick calls this common situation satisficing.4 

Satisficing은 응답자들이 "기준을 타협하여, 에너지를 덜 소비하려고 하는 정도"이다.  즉, 응답자들은 [최적의 답변을 도출하기 위해 필요한 노력을 기울이기]보다는, 예를 들어 질문의 의미에 대해 [덜 생각]하고, 기억을 [덜 철저하게 검색]하고, 검색된 정보를 [부주의하게 통합]하고, 또는 응답을 [부정확하게 선택함]으로써 "적당히 좋은" 답변을 제공한다. 따라서, 가장 정확하고 최고의 답변(즉, 프로세스 최적화)을 생성하기 위해 응답 프로세스의 네 가지 인지 단계를 신중하게 수행하는 대신, 만족하는 응답자는 정신 에너지를 보존하고 만족스러운 답변만 제공하는 것에 만족한다. 경험적 증거는 제한적이지만, 우리는 GME 훈련생들의 고유한 시간과 맥락 제약을 고려할 때 Satisficing이 특히 널리 퍼질 수 있다고 의심한다.
Satisficing is the degree to which respondents “compromise their standards and expend less energy.”4  That is, rather than devote the necessary effort to generate optimal answers, respondents often give “good enough” answers by, for example, being less thoughtful about a question's meaning, searching their memory less thoroughly, integrating retrieved information carelessly, and/or selecting a response imprecisely. Thus, instead of carefully working their way through the 4 cognitive steps of the response process to generate the best, most precise answers (ie, optimizing the process), respondents who satisfice conserve their mental energy and settle for giving just satisfactory answers.4  Although empirical evidence is limited,5  we suspect that satisficing may be particularly prevalent for GME trainees given their unique time and context constraints.

실제로 Satisficing을 하면, 낮은 품질의 설문 조사 데이터로 이어지는 [여러 가지 응답 행동]이 발생합니다. 여기에는 다음이 포함됩니다 

  • (1) 서둘러 설문 조사를 통과하는 것; 
  • (2) 제일 처음 나오는 그럴듯한 답변을 선택합니다; 
  • (3) 평가에 제시된 모든 진술에 동의한다; 
  • (4) 동일한 옵션을 직선(일명 직선)으로 반복적으로 선택합니다; 
  • (5) 질문에 대해 실제로 생각하지 않고 "모름" 또는 "해당 없음"을 선택합니다 
  • (6) 설문 조사의 항목 또는 전체 섹션을 건너뜁니다.

Satisficing 는 중서부의 한 대규모 학술 의료 센터에서 설문 조사 행동에 대한 질문을 받은 주민의 말을 인용함으로써 전형적으로 나타난다: "대부분의 경우… 저는 정말로 기여할 것이 없고 단지 그것을 극복하고 싶기 때문에 중간을 끝까지 클릭할 것입니다."  이 진술이 시사하는 바와 같이, [응답 프로세스를 최적화하지 않는 응답자의 답변]은 suboptimal하며, 신뢰하기 어렵고, 의도한 용도에 타당할 가능성이 낮은 품질의 데이터를 초래한다.
In practice, satisficing results in a number of response behaviors that lead to low-quality survey data: these include

  • (1) rushing through a survey;
  • (2) selecting the first reasonable answer;
  • (3) agreeing with all statements presented on the survey;
  • (4) selecting the same options repeatedly, in a straight line (so-called straightlining);
  • (5) selecting “don't know” or “not applicable” without actually thinking about the question being asked; and
  • (6) skipping items or entire sections of a survey.2  

Satisficing is epitomized by this quote from a resident at a large Midwestern academic medical center who was asked about their survey behaviors: “A lot of the time… I'll just click the middle all the way through, because I have nothing really to contribute and I just want to get through it.”5  As this statement implies, answers from respondents who are not optimizing the response process are suboptimal and result in poor-quality data that are unlikely to be trustworthy, credible, or valid for their intended use.

Satisficing 완화 및 사려 깊은 응답 장려
Mitigating Satisficing and Encouraging Thoughtful Responses

만족스러운 결과로 발생하는 문제에 비추어 볼 때, GME 교육자와 연구자는 현상을 이해하고 데이터 품질에 대한 해를 완화하는 솔루션을 구현하기 위해 노력하는 것이 중요하다. 크로스닉은 [Satisficing 을 촉진하는 세 가지 조건]을 설명했다: 

  • (1) [과제]가 어려운 경우
  • (2) [응답자의 능력] 또는 교육 수준이 낮은 경우
  • (3) 응답에 대한 참가자의 [동기 부여]가 낮은 경우

대부분의 경우 [응답자의 능력과 교육 수준이 고정]되어 있습니다. 다행히도, GME 연구원들은 종종 고등학생들보다 [교육을 잘 받았기 때문]에 Satisficing할 가능성이 낮은 고능력 참가자들을 조사하고 있다. [과제의 난이도]와 [응답자의 동기 부여]에 관해서는, 조사 설계자는 사려 깊은 설계와 구현 관행을 통해 이러한 요인에 영향을 미칠 수 있으며 Satisficing을 상당히 완화시킬 수 있다.
In light of the problems that result from satisficing, it is important for GME educators and researchers to understand the phenomenon and work to implement solutions that mitigate harms to data quality. Krosnick4  described 3 conditions that promote satisficing:

  • (1) greater task difficulty;
  • (2) lower respondent ability or education level; and
  • (3) lower participant motivation to respond.

In most cases, respondent ability and education level are fixed. Fortunately, GME researchers often are surveying high-ability participants who are well educated and thus less likely to satisfice than, for example, a high school student. As for task difficulty and respondent motivation, survey designers can influence these factors—and appreciably mitigate satisficing—through thoughtful design and implementation practices.6 

과제 난이도를 완화하는 것은 Satisficing을 완화하는 가장 중요한 방법이다. 설문조사의 경우, 설문조사를 완료하는 것이 과제입니다. 조사 설계자가 작업을 더 쉽게 하기 위한 최선의 접근법은 [근거에 입각한 모범 사례]를 따르는 것이다. 4가지 인지적 대응 과정을 통해 응답자가 자신의 길을 갈 수 있도록 지원하는 [양질의 설문지를 설계]하는 것이 목표다. 이러한 설계 관행이 다른 곳에서 자세히 설명되었지만, 우리는 표 1에서 GME 조사 설계자가 조사 완료 작업을 단순화하기 위해 사용할 수 있는 많은 [고수익high-yield 관행]을 강조한다.
Easing task difficulty is the most important way to mitigate satisficing. In the case of a survey, the task is completing the survey. The best approach for survey designers, to make the task easier, is to follow evidence-informed best practices. The goal is to design a high-quality survey that supports respondents as they work their way through the 4 cognitive response processes. Although these design practices have been articulated in detail elsewhere,1,7-9  we highlight in Table 1 a number of high-yield practices that GME survey designers can use to simplify the task of survey completion.

마지막으로, 설계자는 설문조사 요청을 [사회적 교환]으로 간주하여 응답자의 동기, 즉 [설문조사 초대를 수락하고, 설문조사를 시작하고, 응답 프로세스를 최적화하는 동기]를 직접 다룰 수 있습니다. 딜먼 등이 설명한 바와 같이,  "사람들이 다른 사람의 요청을 따르는 것에 대한 [보상]이 결국에는 그 요청을 따르는 [비용]을 초과할 것이라고 믿고 신뢰한다면, 그들은 다른 사람의 요청을 따를 가능성이 더 높습니다." 즉, 잠재적 응답자들은 종종 [세 가지 주요 요인]을 고려합니다: 

  • 보상(이 설문 조사에 참여함으로써 얻을 수 있는 이점은 무엇입니까?), 
  • 비용(시간이 얼마나 걸립니까?) 
  • 신뢰(초대 소스 및 제안된 데이터 사용을 신뢰합니까?). 

표 2는 설계자가 보상을 확대하고 비용을 절감하며 신뢰를 강화하기 위해 사용할 수 있는 몇 가지 관행을 포함한다.

Finally, designers can directly address respondent motivation—the motivation to accept a survey invitation, start the survey, and optimize the response process—by viewing a survey request as a social exchange. As described by Dillman et al,8  “people are more likely to comply with a request from someone else if they believe and trust that the rewards for complying with that request will eventually exceed the costs of complying.” In other words, potential respondents often consider 3 primary factors: 

  • rewards (What will I gain by taking this survey?), 
  • costs (How much time will it take?), and 
  • trust (Do I trust the invitation source and the proposed data use?).

Table 2 includes several practices that designers can employ to magnify rewards, decrease costs, and fortify trust.

 

요약
Summary

고품질 설문 조사 결과는 응답 프로세스를 최적화하려는 동기를 가진 참가자들로부터 얻어집니다. 불행하게도, 많은 응답자들은 [동기가 없고], 그들의 [정신적 에너지를 보존하고], [satisfice하는 경향]이 있어서 "충분히 좋은" 대답에 만족한다. 설문조사를 통해 응답자의 생각을 이해하는 데 유용한 모델은 응답 프로세스 모델로, 다음과 같은 4가지 인지 단계를 설명합니다: 이해, 검색, 판단 및 추정, 대응. 이 모델을 사용함으로써 설문조사 개발자는 응답자의 [인지 작업을 예측]하고, [응답자의 satisfice하려는 성향을 완화]시킬 수 있다. 응답자의 동기 부여는 설문조사 완료에 따른 비용, 보상 및 신뢰를 고려함으로써 더욱 강화될 수 있습니다. 이러한 전략을 채택함으로써 연구자와 교육자는 응답자의 동기를 최적화하고 더 나은 품질의 설문조사 데이터를 수집할 수 있습니다. 또한, 우리는 조사자들이 조사 데이터 품질을 최적화하기 위해 거주자, 직원 및 교직원의 고유한 GME 인구를 위해 설계된 GME별 조사 전략을 연구할 것을 권장한다.

High-quality survey results come from participants who are motivated to optimize the response process. Unfortunately, many respondents are unmotivated and tend to conserve their mental energy and satisfice, thereby settling for “good enough” answers. A useful model for understanding how respondents think through a survey is the response process model, which describes 4 cognitive steps: comprehension, retrieval, judgement and estimation, and response. By using this model, survey developers can anticipate the cognitive work of respondents and mitigate respondents' tendencies to satisfice. Respondent motivation can be further bolstered by considering the costs, rewards, and trust involved in survey completion. By employing these strategies, researchers and educators can optimize respondent motivation and collect better-quality survey data. In addition, we encourage investigators to study GME-specific survey strategies, designed for the unique GME population of residents, staff, and faculty, to optimize survey data quality.


J Grad Med Educ. 2022 Dec;14(6):629-633. doi: 10.4300/JGME-D-22-00722.1.

Getting the Most Out of Surveys: Optimizing Respondent Motivation

Affiliations collapse

1is a Professor of Health and Human Function, and Associate Dean for Evaluation and Educational Research, The George Washington University School of Medicine and Health Sciences, and Deputy Editor, Journal of Graduate Medical Education (JGME).

2is an Advanced Fellow, Division of Cardiology, Northwestern University Feinberg School of Medicine, and Resident Editor, JGME.

3is a Residency Site Program Director, Washington DC VA Medical Center, Associate Professor of Medicine, The George Washington University School of Medicine and Health Sciences, Associate Clinical Professor of Medicine, Uniformed Services University of the Health Sciences, and Associate Editor, JGME.

PMID: 36591428

PMCID: PMC9765912 (available on 2023-12-01)

DOI: 10.4300/JGME-D-22-00722.1

구색만 갖추기: 어거지로 하는 설문이 자료 퀄리티에 미치는 영향(EDUCATIONAL RESEARCHER, 2021)
Assessing Survey Satisficing: The Impact of Unmotivated Questionnaire Responding on Data Quality
Christine Calderon Vriesema1 and Hunter Gehlbach2

 

교육 연구자들을 포함한 사회과학자들은 오랫동안 설문조사와 애증 관계를 유지해왔다. 한편, 설문조사는 응답자의 가치, 인식 및 태도를 효율적이고 규모에 맞게 파악한다(Gehlbach, 2015; Gilbert, 2006; West et al., 2017). 설문조사의 유연성을 통해 응답자는 자신, 다른 개인 또는 전체 계층 또는 공동체에 대한 인식을 보고할 수 있습니다. 
Social scientists, including educational researchers, have long maintained a love–hate relationship with surveys. On the one hand, surveys uncover respondents’ values, perceptions, and attitudes efficiently and at scale (Gehlbach, 2015; Gilbert, 2006; West et al., 2017). Surveys’ flexibility allows respondents to report on themselves (i.e., self-report measures), other individuals, or their perceptions of a whole class or community.
반면, [회의론자]들은 설문조사 데이터의 가치를 비판해 왔으며, 종종 세 가지 우려에 초점을 맞추고 있다.
  • 첫째, 일부는 참가자들이 양질의 답변을 제공하는 데 필요한 자기성찰 능력에 대해 의문을 제기한다. 예를 들어, Nisbett와 Wilson(1977a, 1977b)은 사람들이 자신의 선택을 이해하려는 잘못된 시도의 여러 예를 제공했다. 다른 것들은 응답자들이 존재하지 않는 정책에 대해 어떻게 쉽게 보고하는지, 따라서 사람들이 어떻게 그들이 가질 수 없는 의견을 보고하는지를 보여준다(Bishop et al., 1980).
On the other hand, skeptics have critiqued the value of survey data, often focusing on three concerns. First, some raise questions about the introspective abilities participants need to provide high-quality answers. For example, Nisbett and Wilson (1977a, 1977b) provided multiple examples of people’s erroneous attempts to understand their own choices. Others show how respondents readily report on policies that do not exist, thus, showing how people report opinions that they could not possibly have (Bishop et al., 1980).
  • 두 번째 도전은 사람들이 자신의 태도를 알 수 있다는 것을 인정하면서도, 미묘한 힘이 응답자의 정확한 보고를 방해할 수 있다고 우려하는 비평가들로부터 발생한다. 이러한 힘에는 묵인 편향, 사회적 만족도, 바닥/천장 효과, 편향된 질문 표현, 대응 순서 효과 등과 같은 현상이 포함된다(예: Krosnick, 1999).
A second challenge arises from critics who acknowledge that people might know their own attitudes but worry that subtle forces may inhibit respondents’ accurate reporting. These forces include phenomena such as acquiescence bias, social desirability, floor/ceiling effects, biased question wording, response order effects, and so forth (e.g., Krosnick, 1999).
그러나 설문조사 설계자는 설문조사를 [응답자가 합리적으로 의견을 가질 수 있는 주제]로 제한할 수 있다. 또한 설문조사 연구자들이 개발한 많은 모범 사례에 부합하도록 설문조사를 설계할 수 있다(Gehlbach & Artino, 2018). 따라서 조사 연구의 방법론으로서의 이 [두 가지 잠재적인 문제는 현실적이고 진지하게 받아들여야 하지만 극복할 수 없는 경우는 거의 없다]. 
Yet, survey designers can delimit surveys to topics that respondents might reasonably have opinions on. Furthermore, they can design surveys to accord with many of the best practices that survey researchers have developed (Gehlbach & Artino, 2018). So, although these two potential problems with survey research as a methodology are real and need to be taken seriously, they are rarely insurmountable.
  • 셋째, 잠재적으로 더 도전적인 것은 참가자들이 설문조사를 진지하게 받아들이려는 동기에 대한 우려이다. 가장 극단적인 형태로, 어떤 사람들은 아마도 지루하거나 웃기려는 시도로 거짓 대답을 하기 위해 적극적으로 노력하는 "장난꾸러기 응답자"가 될 수도 있다. Krosnick(1991)은 응답자들이 응답에 최선의 노력을 기울이지 못하는 더 온화하고 잠재적으로 더 보편적인 형태의 "구색만갖추기satisficing"을 설명한다. 이러한 동기 부여 문제는 충분히 일반적이어서 일부 연구자들은 성실성이라는 성격 특성을 측정하기 위한 수행 과제로 설문지에 대한 응답자의 노력(또는 그 부족)을 사용했다(Hitt et al., 2016; Zamarro et al., 2018).
Third, and potentially more challenging, are concerns about participants’ motivation to take the survey seriously. In its most extreme form, some may become “mischievous responders” (Robinson-Cimpian, 2014) who actively strive to give false answers, perhaps out of boredom or an attempt to be funny. Krosnick (1991) describes milder, and potentially more prevalent forms of “satisficing,” where respondents fail to put forth their best efforts in responding. This motivation problem is sufficiently common that some researchers have even used respondents’ effort (or lack thereof) on questionnaires as a performance task to measure the personality trait of conscientiousness (Hitt et al., 2016; Zamarro et al., 2018).
학교들이 설문조사 자료로 정책을 알리는 것을 점점 더 목표로 함에 따라, 이러한 동기 부여 문제는 독특한 도전 과제를 제시한다. 만약 응답자들이 항목을 건너뛰거나, 일찍 그만두거나, 매번 같은 대답을 해서 설문조사를 빠르게 통과하고 싶다면, 연구원들은 그것을 막기 위해 할 수 있는 일이 거의 없다. 실무자와 정책 입안자는 보완적인 문제에 직면해 있습니다: 고객은 만족도가 데이터 품질에 어느 정도 영향을 미치는지 파악하기 위해 [satisficing의 만연성]을 이해해야 합니다. 우리는 캘리포니아에서 초등학생과 중등학생의 사회적 정서적 학습에 대한 지속적인 대규모 조사에서 만족도를 조사함으로써 두 가지 과제를 모두 해결한다. 이 기사는 설문 조사 데이터의 만족도를 감지, 평가 및 회계 처리하기 위한 간단한 전략을 개략적으로 설명합니다. 참가자 만족도에 관한 더 큰 문헌(예: Burge & Gehlbach, 2012; Hitt et al., 2016; Krosnick, 1991; Soland, 2018) 내에서, 우리는 이 연구가 잠재적으로 문제가 있는 대응 패턴을 식별하기 위한 접근 가능한 도구를 교육 의사결정자에게 제공하기를 바란다. 
As schools increasingly aim to inform their policies with survey data, this motivation problem presents a unique challenge. If respondents want to skip items, quit early, or speed through the survey by giving the same answer each time, researchers can do little to prevent it. Practitioners and policymakers face a complementary problem: They need to understand the pervasiveness of satisficing to determine to what extent satisficing affects data quality. We address both challenges by investigating satisficing in an ongoing, large-scale survey of elementary and secondary students’ social–emotional learning in California. This article outlines straightforward strategies for detecting, assessing, and accounting for satisficing in survey data. Within the larger literature around participant satisficing (e.g., Barge & Gehlbach, 2012; Hitt et al., 2016; Krosnick, 1991; Soland, 2018), we hope this study provides educational decision makers with accessible tools for identifying potentially problematic response patterns.

구색만 갖추기
Satisficing

전통적으로 "satisficing"은 사람들이 [정신 에너지를 보존하기 위해 차선의 의사 결정 전략을 사용하는 인지 휴리스틱]을 의미한다(Simon, 1957; Simon & Stedry, 1968). 예를 들어, 일부 의사결정자들은 "최적" 해결책을 찾기보다는 "충분히 가까워 보인다"는 만족스러운 첫 번째 대안을 선택하여 시간과 노력을 절약한다. 설문조사 학자들은 응답자들의 차선의 행동을 설명하기 위해 이 개념을 적용했다(Krosnick, 1991; Tourangeau, 1984). 설문조사에서 만족하는 것은
  • 첫 번째 합리적인 응답 옵션 선택,
  • 제시된 모든 진술에 동의하는 것,
  • 여러 항목에 걸쳐 동일한 옵션을 직선으로 반복적으로 선택하는 것,
  • "모름" 또는 "해당되지 않는" 응답을 일관되게 선택하는 것을 포함할 수 있다(Barge & Gehlbach, 2012; Krosnick, 1991).
Traditionally, “satisficing” refers to a cognitive heuristic in which people employ suboptimal decision-making strategies to conserve mental energy (Simon, 1957; Simon & Stedry, 1968). For example, rather than searching for an “optimal” solution, some decision makers select the first satisfactory alternative that seems “close enough,” thereby saving time and effort. Survey scholars have adapted this concept to explain respondents’ suboptimal behaviors (Krosnick, 1991; Tourangeau, 1984). On surveys, satisficing can include
  • selecting the first reasonable response option,
  • agreeing with all the statements presented,
  • selecting the same option repeatedly in a straight line across multiple items, and
  • consistently selecting the “don’t know” or “not applicable” responses (Barge & Gehlbach, 2012Krosnick, 1991).
일부 조사 연구자들이 참가자들의 satisficing에 대해 보고했지만, 이러한 세부사항을 체계적으로 포함하는 사람은 거의 없다. Barge와 Gehlbach(2012)는 대학생을 대상으로 실시한 두 가지 설문조사를 대상으로 척도 간 신뢰도와 연관성에 대한 만족도의 영향을 조사했다. 저자들은 대부분의 학생들이 적어도 한 가지 형태의 satisficing에 관여한다는 것을 발견했다(두 조사에서 61%와 81%의 학생들). 이러한 satisficing은 인위적으로 부풀린 내부 일관성 추정치와 척도 간 상관관계를 초래했다. 이러한 관행의 만연성과 데이터 해석에 대한 시사점은 특히 특정 항목이 작성되는 방법에 어려움을 겪을 수 있는 어린 학생들에게 만족스러운 설문조사와 잠재적 결과를 추가로 탐구할 필요성을 강조한다(예: 부정적으로 단어화된 항목; Benson & Hocevar, 1985). 대규모 데이터가 정책 및 실천을 위한 의사 결정을 안내하는 데 점점 더 많이 사용되고 있기 때문에 이러한 지식은 특히 중요하다(Marsh et al., 2018).

Although some survey researchers have reported on participant satisficing, few systematically include these details. Barge and Gehlbach (2012) examined the effects of satisficing on the reliability of and associations between scales for two surveys administered to college students. The authors found that most students engaged in at least one form of satisficing (61% and 81% of students across the two surveys). This satisficing resulted in artificially inflated internal consistency estimates and correlations between scales. The pervasiveness of these practices and implications for data interpretation underscore the need to further explore survey satisficing and its potential consequences, especially for younger students who may struggle with how certain items are written (e.g., negatively worded items; Benson & Hocevar, 1985). This knowledge is particularly important now as large-scale data are increasingly used to guide decisions for policy and practice (Marsh et al., 2018).

satisficing 검출 전략에는 복잡도가 다양한 방법이 포함된다(Barge & Gehlbach, 2012; Steedle et al., 2019). 이상적으로, 만족도를 해결하기 위한 절차의 집합은 가능한 한 광범위하게 접근할 수 있어야 한다. 이를 위해, 우리는 연구자, 실무자 및 정책 입안자가 거의 모든 설문 조사 기반 데이터 세트 내에서 평가할 수 있는 세 가지 응답자 행동에 초점을 맞춘다
  • 조기종결
  • 미응답
  • 한줄긋기

Strategies for detecting satisficing include a range of methods that vary in complexity (Barge & Gehlbach, 2012; Steedle et al., 2019). Ideally, any set of procedures to address satisficing should be as broadly accessible as possible. Toward this end, we focus on three respondent behaviors that researchers, practitioners, and policymakers can assess within almost all survey-based data sets: 
  • early termination—when respondents fail to complete the full survey; 
  • nonresponse, or omitted items; and 
  • straight-line responding—when respondents select the same response option repeatedly (e.g., for at least 10 consecutive items).
본 연구에서는 선행연구(Barge & Gehlbach, 2012)를 바탕으로 직선응답을 10개의 연속항목으로 조작화하였으며, 이는 역점수 항목의 배치를 고려할 때 이 특정 설문조사의 맥락에 부합하기 때문이다. 학생들이 동일한 구조 내의 여러 항목에 대해 유사하게 반응하는 것이 타당해 보였지만, 여러 구조와 역 점수 항목에 걸쳐 연속적으로 10개의 동일한 반응이 나타날 가능성은 거의 없어 보였다. 이러한 조작화는 또한 carryover effect와 같이 표면적으로 유사한 인지적 편향과 직선화를 구별하는 데 도움이 될 것이다. 직선적인 반응은 응답자들이 인지적 노력을 보존하는 데 도움이 된다. 대조적으로, 참가자들이 한 조사 항목과 후속 항목의 유사성을 인식할 때 이월 효과(Dillman et al., 2014)가 발생할 수 있으며, 따라서 유사한 응답을 장려한다(과다하게). 설문조사의 모든 10개 항목 집합에는 여러 개의 구성요소가 포함되므로, 참가자는 항목 간의 개념적 차이를 확인해야 합니다. 
In this study, we operationalized straight-line responding as 10 consecutive items based on prior research (Barge & Gehlbach, 2012), and because it fit the context of this particular survey given the placement of reverse-scored items. Although it seemed plausible for students to respond similarly across multiple items within the same construct, the likelihood of 10 identical responses in a row spanning multiple constructs and reverse-scored items seemed vanishingly small. This operationalization also should help distinguish straight-lining from ostensibly similar cognitive biases, such as carryover effects. Straight-line responding helps respondents conserve cognitive effort. By contrast, carryover effects (Dillman et al., 2014) can occur when participants perceive similarities from one survey item to a subsequent item, thereby encouraging (overly) similar responses. Because multiple constructs are included in all 10-item sets within the survey, participants should see conceptual differences between items.
요약하면, 우리는 조기 종료, 무응답 또는 직선 응답이라는 세 가지 차선의 응답 패턴 중 하나 이상에 관여함으로써 satisficing을 조작화했다. 다른 접근법이 존재하지만(예: Hit 등, 2016; Robinson-Cimpian, 2014; Steedle 등, 2019), 우리는 대규모 학생 설문 조사 데이터에서 만족스러운 것을 체계적으로 정의, 계산 및 보고하기 위한 세 가지 간단하고 접근 가능한 전략에 중점을 두었다. 그렇게 함으로써, 우리는 이러한 간단한 단계들이 그들의 특정 교육적 맥락 내에서 가능한 한 많은 조사 데이터 사용자들에 의해 널리 채택되기를 희망했다. 
In sum, we operationalized satisficing as engaging in one or more of these three suboptimal response patterns: early termination, nonresponse, or straight-line responding. Although other approaches exist (e.g., Hitt et al., 2016; Robinson-Cimpian, 2014; Steedle et al., 2019), we focused on three straightforward, accessible strategies for systematically defining, calculating, and reporting satisficing in large-scale student survey data. By doing so, we hoped that these simple steps might be widely adopted by as many users of survey data as possible within their specific educational contexts.

연구 질문과 가설
Research Questions and Hypotheses

연구 결과의 투명성과 신뢰성을 높이기 위해 권장 사례에 따라 일련의 가설을 사전 등록했다(Gehlbach & Robinson, 2018). 구체적으로, 우리는
  • (a) 학생들이 어느 정도까지 조사 satisficing에 참여했는지,
  • (b) 어떤 형태의 satisficing이 조사 데이터에 가장 큰 위협이 되는지,
  • (c) 이 전략이 조사 척도에서 학생들의 평균 점수에 어떻게 영향을 미칠 수 있는지 더 잘 식별하기 위해, 학생들이 한줄긋기를 할 때 가능성이 높은 응답 옵션이 무엇인지
  • (d) 어떤 학생들이 가장 satisficing을 할 것 같은지
To boost the transparency and credibility of our findings, we preregistered a set of hypotheses (https://osf.io/36zqk/) according to recommended practices (Gehlbach & Robinson, 2018). Specifically, we wanted to know
  • (a) to what extent students engaged in survey satisficing,
  • (b) which form of satisficing posed the largest threat to survey data,
  • (c) which response option students were most likely to select when straight-lining in order to better discern how this strategy might affect students’ mean scores on the survey scales, and
  • (d) which students were most likely to satisfice.
탐사 파일럿 데이터와 이전 연구를 통해 다음과 같은 사전 지정된 가설을 테스트했다:
Informed by our exploratory pilot data and prior research, we tested the following prespecified hypotheses:
  • 가설 1: 전체 표본의 최소 10%가 만족스러운 형태로 사용됩니다.
  • 가설 2: 세 가지 유형의 만족도 조사 중 직선이 가장 많은 총 조사 항목에 영향을 미칩니다.
  • 가설 3: 직선 라이닝은 데이터의 품질에 영향을 미칩니다. 구체적으로:
    • 가설 3a. 직선을 이루는 참가자는 대부분 척도의 오른쪽에서 가장 극단적인 반응 옵션을 선택합니다.
    • 가설 3b: 역점수 항목을 고려한 후 직선 응답은 네 가지 조사 척도의 평균 점수에 유의한 영향을 미친다.
  • 가설 4: 남학생이 여학생보다 만족도가 높을 것이다.
Hypothesis 1: At least 10% of the total sample will engage in some form of satisficing.
Hypothesis 2: Of the three types of satisficing examined, straight-lining will affect the greatest number of total survey items.
Hypothesis 3: Straight lining will affect the quality of the data. Specifically:
Hypothesis 3a. Participants who straight-line will select the most extreme response option on the right-hand side of the scale the majority of the time.
Hypothesis 3b: After accounting for reverse-scored items, straight-line responding will significantly affect the mean scores across the four survey scales.
Hypothesis 4: Male students will be more likely to satisfice than female students.

방법
Method

샘플
Sample

본 연구는 캘리포니아 교육의 Core-PACE 연구 파트너십을 위한 정책 분석을 통해 수집된 2차 자료를 분석하였다. 우리는 2014-2015년과 2015-2016년 학기 동안 여러 캘리포니아 학군을 대상으로 대규모 설문 조사의 일환으로 관리된 일련의 사회 정서 학습(SEL) 항목에 대한 학생들의 반응을 분석했다. 전체 설문조사에는 SEL 항목이 포함되었고 그 다음으로 학교 문화와 기후 항목이 포함되었다. 그러나 문화와 기후 항목의 수는 학군과 학년에 따라 달랐다. 따라서, 우리는 분석을 SEL 항목으로 제한했다.
This study examined secondary data collected through the Policy Analysis for California Education’s CORE-PACE Research Partnership. We analyzed student responses to a set of social–emotional learning (SEL) items administered as part of a larger survey to several California school districts during the 2014–2015 and 2015–2016 school years. The full survey included SEL items followed by a set of school culture and climate items; however, the number of culture and climate items varied across districts and school years. Thus, we restricted our analyses to the SEL items.

파일럿의 경우 2014-2015학년도 데이터에 대한 탐색적 분석을 수행했습니다. 이러한 분석은 2015-2016년 데이터에 대해 테스트한 사전 등록된 가설을 생성했다. 확인 연구를 위한 표본(N = 409,721)은 CORE 학군의 하위 집합에서 온 학생들을 포함했다. 2학년 2명을 제외한 학생들은 3학년부터 12학년까지 다양했다. 표본은 146,126명의 초등학생들, 125,747명의 중학생들, 그리고 137,838명의 고등학생들을 포함했다. 표 1은 학생 인구 통계의 완전한 설명을 제공한다. 

For our pilot, we conducted exploratory analyses on the 2014–2015 school year data. These analyses generated the preregistered hypotheses that we tested on the 2015–2016 data. The sample (N = 409,721) for our confirmatory study included students from a subset of the CORE school districts (see the full list here: https://edpolicyinca.org/initiatives/core-pace-research-partnership). Except for two second graders, students ranged from Grades 3 through 12. The sample included 146,126 elementary school students; 125,747 middle school students; and 137,838 high school students. Table 1 provides a complete description of student demographics.

 

방안
Measures

25개 항목으로 구성된 SEL 조사 성장 마인드를 측정하는 척도 4개(n = 4개 항목), 규제(n = 9개 항목), 자기 인식(n = 4개 항목), 사회 인식(n = 8개 항목)을 포함하였다. 각 척도에 대한 예제 항목은 다음과 같습니다: "내 지능은 내가 별로 바꿀 수 없는 것", "마지막까지 기다리지 않고 바로 일을 끝냈다", "어려울 때도 모든 시험을 잘 볼 수 있다", "다른 사람들의 의견을 얼마나 주의 깊게 들었느냐"는 질문이 각각 나왔다. 우리는 전체 척도에 대한 모든 항목과 5가지 대응 옵션을 온라인 보충 자료의 부록 A(저널 웹사이트에서 이용 가능)에 제시한다. 평균, 표준 편차 및 내부 일관성 신뢰성 추정치는 표 2에 나와 있습니다. 전반적으로 이러한 구조를 측정하는 목적은 학생들의 SEL을 더 잘 이해하고 학교 수준의 데이터 중심 의사결정을 지원하는 것이었다. 이 설문조사의 개발에 대한 자세한 내용(예: SEL 역량이 결정된 방법, 조치를 선택하고 테스트한 방법 등)은 West 등(2018)을 참조하십시오. 
The 25-item SEL survey included four scales measuring growth mindset (n = 4 items), regulation (n = 9 items), self-efficacy (n = 4 items), and social awareness (n = 8 items). Example items for each scale included: “My intelligence is something that I can’t change very much,” “I got my work done right away instead of waiting until the last minute,” “I can do well on all my tests, even when they’re difficult,” and “How carefully did you listen to other people’s points of view?” respectively. We present all items for the complete scales and their five response options in Appendix A of the online supplementary materials (available on the journal website). Means, standard deviations, and internal consistency reliability estimates are in Table 2. Overall, the goal of measuring these constructs was to better understand students’ SEL and to support school-level data-driven decision making. For more information about the development of this survey (e.g., how SEL competencies were determined, how measures were selected and tested, etc.), please see West et al. (2018).

절차들
Procedures

각 만족스러운 행동에 대해 응답자들이 특정 대응 전략(각각 1 또는 0으로 코딩됨)에 참여하는지 여부를 결정했다. 우리는 최종 조사 항목(즉, 항목 25)을 완료하기 전에 조사를 종료함으로써 조기 종료를 조작화했다. 응답자가 마지막으로 완료한 항목 이전에 설문조사에서 하나 이상의 항목이 누락하는 것으로 무응답을 조작화하였습니다. 이 접근법을 통해 비응답자와 초기 종료자를 이중으로 계산하는 것을 피할 수 있었다. 
For each satisficing behavior, we determined whether respondents engaged in the specific response strategy or not (coded as 1 or 0, respectively). We operationalized early termination as ending the survey prior to completing the final survey item (i.e., Item 25). Nonresponse was operationalized as omitting at least one item in the survey prior to a respondent’s last completed item. This approach allowed us to avoid double-counting nonresponders and early terminators.
직선 응답을 식별하기 위해 설문 조사 전체에 걸쳐 10개 항목의 각 순차적 집합에 대한 표준 편차를 분석했다(예: 항목 1-10, 항목 2-11, 항목 3-12 등). 주어진 집합에 대한 표준 편차 0은 학생이 10개 항목 각각에 대해 동일한 반응 옵션을 선택했음을 나타냅니다. 따라서 16개의 가능한 구간(즉, 10개의 순차 항목의 16세트)에서 학생들은 전략을 적어도 한 번 이상 사용할 경우 직선자로서 자격을 얻었다. 마지막으로, 우리는 이 세 가지 이진수 값을 합산하여 전반적인 satisficing(조사 중 어느 시점에서 학생이 satisficing했는지 여부)를 결정했다. 0보다 큰 값은 학생이 조사 중 어느 시점에서 만족했음을 나타낸다. 이러한 계산에 대한 자세한 설명은 온라인 보충 자료(저널 웹사이트에서 제공)의 부록 B를 참조하십시오.
To identify straight-line responding, we analyzed the standard deviation for each sequential set of 10 items across the survey (e.g., Items 1–10, 2–11, 3–12, etc.). Standard deviations of zero for a given set indicated that the student selected the same response option for each of the 10 items. Thus, across the 16 possible intervals (i.e., the 16 sets of 10 sequential items), students qualified as straight-liners if they used the strategy at least once. Finally, we determined overall satisficing—whether a student satisficed at any point during the survey—by summing these three binary values; values greater than zero indicated that a student satisficed at some point during the survey. Please see Appendix B in the online supplementary materials (available on the journal website) for detailed descriptions of these calculations.

사전 등록된 결과
Preregistered Results

가설 1: 전체 만족도
Hypothesis 1: Overall Rate of Satisficing

만족 학생 수를 전체 참가자 수로 나누어 표본의 최소 10%가 만족도 조사에 참여할 것이라는 첫 번째 가설을 실험하였다. 우리의 데이터는 30.36%의 학생들이 적어도 하나의 satisficing 형태에 참여하면서 그 가설을 지지했다. 만족도는 조기종료 3.73%, 무응답 24.99%, 직선응답 5.38% 등이었다. 일부 학생들은 다양한 형태의 satisficing을 보였다(3.26%는 두 가지 형태, 0.14%는 세 가지 형태 모두에 참여했다).
We tested our first hypothesis that at least 10% of the sample would engage in survey satisficing by dividing the number of students who satisficed by the total number of participants. Our data supported the hypothesis with 30.36% of students engaging in at least one form of satisficing. The satisficing included 3.73% early termination, 24.99% nonresponse, and 5.38% straight-line responding. Some students engaged in multiple forms of satisficing (3.26% engaged in two forms, and 0.14% engaged in all three).

가설 2: 측량 영향
Hypothesis 2: Survey Impact

우리는 세 가지 응답 패턴 중에서 직선 응답이 가장 많은 총 조사 항목에 영향을 미칠 것이라는 가설을 세웠다. 단일 항목에만 영향을 미칠 수 있는 무응답 및 조기 종료와 대조적으로, 정의상 한 번만 응답해도 최소 10개의 항목이 포함된다. 결과는 직선으로 선을 그은 학생들이 평균 3.90개의 간격(각 간격은 10개의 잠재적으로 중복되는 항목 집합을 나타낸다; SD = 4.04) 동안 이 행동에 참여했다는 우리의 가설을 뒷받침했다. 이 평균은 거의 13개 항목을 연속으로 동일한 반응 옵션을 선택하는 것에 해당합니다. 이에 비해 평균 무응답은 건너뛴 항목 1.77개에 해당했고, 평균 조기 종료로 3.52개 항목이 조기 종료됐다. 따라서 직설적 응답(각각 5.38% 대비 24.99%)에 비해 무응답 학생이 더 많았음에도, 무응답 관련 항목은 더 적었다.
We hypothesized that out of the three response patterns, straight-line responding would affect the greatest number of total survey items. In contrast to nonresponse and early termination, which might affect as little as a single item, straight-line responding even once implicates a minimum of 10 items, by definition. The results supported our hypothesis in that students who straight-lined engaged in this behavior for a mean of 3.90 intervals (each interval represents a set of 10, potentially overlapping items; SD = 4.04). This average corresponds to selecting the same response option almost 13 items in a row. In comparison, average nonresponse corresponded to 1.77 skipped items, and average early termination resulted in ending 3.52 items early. Thus, even though more students engaged in nonresponse compared with straight-line responding (24.99% compared with 5.38%, respectively), fewer items were implicated by nonresponse.

가설 3a 및 3b: 직선 반응
Hypotheses 3a and 3b: Straight-Line Responding

우리는 첫 번째, 두 번째, 세 번째, 네 번째, 다섯 번째 반응 옵션에 대해 직선 응답이 얼마나 자주 발생했는지에 대한 빈도를 조사함으로써 직선 응답을 한 참가자가 절반에 걸쳐 척도의 오른쪽에서 가장 극단적인 반응 옵션을 선택한다는 가설 3a를 테스트했다. 그런 다음 다섯 번째 반응 옵션(즉, 오른쪽으로 가장 먼 선택)을 사용하여 발생한 직선 반응의 백분율을 계산했습니다. 참가자들은 16개 구간에 걸쳐 46.02%의 경우에 가장 오른쪽 응답 옵션을 선택했는데, 이는 우리가 예측한 대다수에 미치지 못하는 것입니다. 두 번째로 많이 선택된 옵션은 중간 옵션(M = 29.97%)이었다.
We tested Hypothesis 3a, that participants who straight-lined would select the most extreme response option on the right-hand side of the scale over half the time, by examining the frequencies for how often straight-line responding occurred for the first, second, third, fourth, and fifth response options. We then calculated the percentage of straight-line responding that occurred using the fifth response option (i.e., the choice farthest to the right). Participants selected this response option 46.02% of the time across the 16 intervals–short of the majority we had predicted. The second most frequently selected option was the middle option (M = 29.97%).
직선 응답이 4개 척도(가설 3b)에 대한 학생들의 평균 점수에 영향을 미치는지 여부를 조사하기 위해 척도별로 일련의 2-표본 t 검정을 수행했습니다. 우리는 전체 샘플을 충실도가 높은 샘플(즉, 직선을 긋는 응답자를 제외한 후 샘플)과 비교했다.1 
To examine whether straight-line responding affected students’ mean scores for the four scales (Hypothesis 3b), we conducted a series of two-sample t tests for each scale. We compared the complete sample with the high-fidelity sample (i.e., the sample after excluding respondents who straight-lined).1
효과 크기는 작았지만, 전체 표본은 고출실도 표본보다 높은 평균 점수를 보였다: 규정, t(796909) = 9.68, p <.001, 99% CI 0.01, 0.02, Cohen's d = 0.02, 자가 진단, t(794575) = 16.19, p <.001, 99% CI [0.03, 0.04], 사회적 인식, C.03, C.03, C.03, 14.03, C.03, C.03, C.03, C.93).03, C.03, C.03, C.03oen's d = 0.03. 성장 마인드 척도에서도 동일한 패턴이 나타났지만 항목은 역점을 받았다. 척도의 맨 오른쪽에 일직선으로 그은 학생들(즉, 반응 옵션 5를 선택)은 성장 사고방식의 개념적 반대를 지지했다. 따라서 역점수 성장 마인드 항목을 고려한 결과 성장 마인드 점수는 다른 척도의 패턴을 반영하는 것으로 나타났다. 구체적으로, 완전표본은 고순도표본 t(794700) = -6.51, p < .001, 99% CI [-0.02, -0.01], Cohen's d = 0.01 (표 2 참조)보다 낮은 점수를 받았다. 요약하면, 학생들이 직선 반응에 참여하는 방식은 각 구성에 대한 전체 평균 점수에 영향을 미쳤다. 
Although the effect sizes were small, the complete sample had higher mean scores than the high-fidelity sample for: regulation, t(796909) = 9.68, p < .001, 99% CI 0.01, 0.02], Cohen’s d = 0.02; self-efficacy, t(794575) = 16.19, p < .001, 99% CI [0.03, 0.04], Cohen’s d = 0.04; and social awareness, t(795008) = 14.93, p < .001, 99% CI [0.02, 0.03], Cohen’s d = 0.03. The same pattern emerged for the growth mindset scale; however, the items were reverse scored. Students who straight-lined on the far right-hand side of the scale (i.e., selecting Response Option 5) endorsed the conceptual opposite of growth mindset. Thus, after accounting for the reverse-scored growth mindset items, we found that the growth mindset scores mirrored the pattern of the other scales. Specifically, the complete sample had lower scores than the high-fidelity sample, t(794700) = −6.51, p < .001, 99% CI [−0.02, −0.01], Cohen’s d = 0.01 (see Table 2). In sum, the pattern of how students engage in straight-line responding affected the overall mean scores for each construct.

가설 4: 만족자 식별
Hypothesis 4: Identifying Satisficers

로지스틱 회귀 분석을 사용하여 남학생이 여학생보다 만족할 가능성이 높다는 가설을 검증했습니다. 결과에 따르면 satisficing을 할 확률은 남성이 여성보다 16% 높았다(B = 0.15, SE = 0.01, 승산비 = 1.16, 99% CI [1.14, 1.18]).
We used a logistic regression to test our hypothesis that male students would be more likely to satisfice than female students. Results showed that the odds of satisficing were 16% higher for males than females (B = 0.15, SE = 0.01, odds ratio = 1.16, 99% CI [1.14, 1.18]).

탐색 결과
Exploratory Results

전체적으로, 우리의 결과는 우리의 샘플에서 satisficing하는 학생의 만연성을 보여주었고, 30% 이상의 학생들이 이런 행동에 관여하고, 직선적인 응답을 하는 것은 가장 많은 항목을 의미한다. 이러한 사전 등록된 가설은 중요한 확인 데이터를 제공하는 동시에 일련의 탐색적 분석을 통해 추구한 추가적인 질문을 제기하기도 했다. 
  • 먼저 성별 외에 다른 학생 특성이 전반적인 만족도를 예측하는지 살펴보았다.
  • 둘째, 직선 응답이 학생 하위 그룹 비교와 설문 조사의 심리학적 속성(예: 크론바흐의 알파 계수)에 미치는 영향을 추가로 조사했다
  • 마지막으로, 우리는 학생들이 이러한 형태의 만족에 가장 자주 참여한다는 점을 고려하여 무응답을 더 자세히 탐구했다.2
우리는 향후 연구를 위한 보다 정교한 권장 사항을 개발하기 위해 이러한 탐색적 분석을 추구했다.
Overall, our results showed the pervasiveness of student satisficing in our sample, with over 30% of students engaging in some form of satisficing and straight-line responding implicating the greatest number of items. While providing important confirmatory data, these preregistered hypotheses also raised additional questions that we pursued through a series of exploratory analyses. Specifically,
  • we first explored whether other student characteristics in addition to gender predicted overall satisficing.
  • Second, we further examined the effects of straight-line responding on student subgroup comparisons and the psychometric attributes of the survey (e.g., Cronbach’s alpha coefficients.)
  • Last, we explored nonresponse in further detail, given that students engaged in this form of satisficing most frequently.2 
We pursued these exploratory analyses to develop more refined recommendations for future research.

탐색적 분석: 전반적인 만족도
Exploratory Analyses: Overall Satisficing

로지스틱 회귀 모형을 적합하여 다른 학생 특성도 만족스러운 설문 조사를 예측했는지 여부를 조사합니다. 성별 외에 인종/민족, 학년, 영어 학습자 상태, 장애 상태 학생, 무료 또는 할인된 가격의 점심 자격, 정학을 포함했습니다. 결과에 따르면 유색인종 학생들은 6%, 무료 또는 할인된 점심식사를 할 수 있는 학생들은 8%, 영어 학습자로 분류된 학생들은 22%, 그리고 장애가 있는 학생들은 45%의 만족 가능성이 증가했다저학년 학생들은 만족할 확률이 13% 감소했다. 정학 횟수는 학생들의 만족도를 예측하지 못했다(표 3 참조). 
We fit a logistic regression model to examine whether other student characteristics also predicted survey satisficing. In addition to gender, we included race/ethnicity, grade, English Language Learner status, student with a disability status, free or reduced-price lunch qualification, and suspensions. Results indicated that odds of satisficing increased 6% for students of color, 8% for students qualifying for free or reduce price lunch, 22% for students classified as English language learners, and 45% for students with disabilities. Odds of satisficing decreased by 13% for students in younger grades. The number of suspensions did not predict student satisficing (see Table 3).

탐색적 분석: 직선 응답
Exploratory Analyses: Straight-Line Responding

직선응답은 다른 어떤 형태의 만족도보다 총조사 항목에 더 많은 영향을 미쳤고 4개 척도에 대한 학생들의 평균 점수에 영향을 미쳤다는 점을 고려하여, 우리는 이러한 구체적인 만족도 형태에 대한 몇 가지 후속 질문을 추구했다. 우리는 잠재적인 성별 차이, 크론바흐의 알파 및 상관 계수의 차이, 직선 응답 패턴에 초점을 맞추었다. 
Given that straight-line responding affected more total survey items than any other form of satisficing and affected students’ mean scores for the four scales, we pursued several follow-up questions for this specific form of satisficing. We focused on potential gender differences, differences in Cronbach’s alpha and correlation coefficients, and the pattern of straight-line responding.

성별 차이
Gender differences

남학생들이 여학생들보다 더 자주 satisficing한다는 사전 등록된 연구 결과를 추적하기 위해, 우리는 연구자들이 만족을 설명하지 못한다면 이러한 경향이 성별 차이를 강조하거나 약화시킬 수 있을지 궁금했다. 구체적으로, 우리는 전체 샘플과 충실도가 높은 샘플(즉, 직선으로 선 학생들을 제거하기 전과 후)을 비교했다. 결과는 직선제를 실시한 학생들을 제거한 후 평균 점수가 0.01점에서 0.02점 사이에서 변화한 것으로 나타났다(예: 여학생들의 평균 자기 조절 점수는 4.16점에서 4.14점으로 떨어졌다). 그러나, 평균 점수가 변경되었음에도 불구하고, 여학생과 남학생의 차이의 크기는 완전 표본에 기초한 분석인지 아니면 충실도가 높은 표본에 기초한 분석인지에 관계없이 일관성을 유지했다. 여학생들은 남학생들보다 자기조절(Cohen's d = 완전체 0.28, 고충실체 0.27), 항목을 역선택한 후 성장 마인드(Cohen's d = 완전체 0.04, 고충실체 0.03), 사회적 인식(Cohen's d = 완전체 0.22, 고충실체 0.22)이 더 높게 나타났다. 대조적으로, 남학생들은 여학생들보다 더 높은 자기 효능감을 보였다(완전한 경우에는 0.08, 고충실도 응답 경우에는 0.10). 
To follow up on our preregistered finding that male students satisficed more often than their female counterparts, we wondered if this tendency might accentuate or mute gender differences if researchers failed to account for satisficing. Specifically, we compared the complete sample and the high-fidelity sample (i.e., before and after removing students who straight-lined). Results indicated that mean scores changed between 0.01 and 0.02 points after removing the students who straight-lined (e.g., mean self-regulation scores for female students fell from 4.16 to 4.14). However, even though the mean scores changed, the magnitude of differences between female and male students remained consistent regardless of whether analyses were based on the complete sample or the high-fidelity sample.
  • Female students reported higher
    • self-regulation (Cohen’s d = 0.28 for complete, 0.27 for high fidelity),
    • growth mindset after reverse-scoring the items (Cohen’s d = 0.04 for complete, 0.03 for high fidelity), and
    • social awareness (Cohen’s d = 0.22 for complete, 0.22 for high fidelity) than male students.
  • In contrast, male students reported higher
    • self-efficacy than female students (Cohen’s d = 0.08 for complete, 0.10 for high fidelity).

Cronbach의 알파 및 상관 계수
Cronbach’s alpha and correlation coefficients

둘째, 우리는 Feldt의 (1969) W 통계량을 사용하여 Cronbach의 알파 계수를 비교했다. 표 2에서 알 수 있듯이 성장 마인드, 조절, 자기효능감, 사회적 인식에 대한 알파 계수는 충실도가 높은 표본에 비해 전체 표본이 .01에서 .02 사이 더 높았다. 이러한 결과는 0.001 미만의 p 값에 해당한다(표 2 참조). 
Second, we compared Cronbach’s alpha coefficients by using Feldt’s (1969) W statistic. As Table 2 shows, the alpha coefficients for growth mindset, regulation, self-efficacy, and social awareness were between .01 and .02 higher for the complete sample as compared with the high-fidelity sample; these findings correspond to a p value of less than .001 (see Table 2).
셋째, Fisher's z를 사용하여 전체 표본과 충실도가 높은 표본 간의 상관 계수를 비교했습니다. 성장 마인드와 조절(z = -12.65), 자기 인식(z = -13.23), 사회 인식(z = -5.12)의 상관관계는 고순도 표본보다 완전 표본에서 더 높았다. 자기인식(z = 13.20)과 사회인식(z = 13.16)의 규제 상관관계와 자기인식과 사회인식의 상관관계(z = 21.80)를 분석할 때도 동일한 양상이 나타났다. 모든 상관관계는 p < .001에서 유의했다(표 4 참조). 결론적으로, 내부 일관성과 척도 간 상관관계에 대한 완전 표본과 고충실도 표본 간의 차이는 작았다. 
Third, we used Fisher’s z to compare the correlation coefficients between the complete sample and the high-fidelity sample. Correlations for growth mindset with regulation (z = −12.65), self-efficacy (z = −13.23), and social awareness (z = −5.12) were higher for the complete sample than the high-fidelity sample. The same pattern emerged when examining the correlations for regulation with self-efficacy (z = 13.20) and social awareness (z = 13.16), as well as the correlation between self-efficacy and social awareness (z = 21.80). All correlations were significant at p < .001 (see Table 4). In sum, the differences between the complete and high-fidelity samples for internal consistency and correlations between scales were small.

직선 응답 패턴
Pattern of straight-line responding

지금까지, 우리의 데이터는 직선 응답이 평균 점수, 척도 신뢰성 및 상관 계수에 영향을 미친다는 것을 시사했다. 이것은 설문 조사에서 학생들이 가장 자주 직선을 긋는 부분(예: 학생들이 피곤해하고 설문 조사가 끝날 때쯤 직선으로 응답하기 시작할 수 있음)에 대한 질문을 제기한다. 그렇지 않으면 전체 설문조사를 완료한 모든 학생(즉, 항목을 누락하거나 설문조사를 일찍 종료하지 않은 학생을 포함)을 대상으로 응답 패턴을 조사했다. 우리는  
  • 첫 번째 간격 이후 학생 직선(a)이 감소했고,
  • (b) 다음 13 간격 동안 상당히 일정하게 유지되었지만
  • (c) 조사의 마지막 세 간격 동안 증가했다는 것을 발견했다(그림 1 참조).
Thus far, our data suggested that straight-line responding affected mean scores, scale reliability, and correlation coefficients. This raises the question of where, within the survey, students straight-lined most frequently (e.g., students may get fatigued and start straight-line responding toward the end of the survey). We examined the response pattern for all the students who otherwise completed the full survey (i.e., we included the students who did not omit items or end the survey early). We found that student straight-lining
  • (a) decreased after the first interval,
  • (b) remained fairly consistent for the next 13 intervals
  • but (c) increased during the last three intervals of the survey (see Figure 1).

탐색적 분석: 무응답
Exploratory Analyses: Nonresponse

사전 등록된 분석에 따르면 직선 응답은 무응답보다 설문 항목 수가 더 많은 것으로 나타났다. 그러나, 무응답이 대부분의 학생들이 참여하는 만족스러운 행동이라는 점을 고려하여, 우리는 (a) 누락된 데이터가 4개 척도의 평균 점수에도 영향을 주는지 여부와 (b) 누락된 데이터의 패턴을 조사하기 위해 두 가지 탐색적 분석을 추구했다. 
Our preregistered analyses indicated that straight-line responding implicated a greater number of survey items than nonresponse. However, given that nonresponse was the satisficing behavior most students engaged in, we pursued two exploratory analyses to examine (a) whether missing data also affected mean scores for the four scales and (b) the pattern of missing data.

평균 차이
Mean differences

네 가지 척도에 걸쳐 완전 표본과 충실도가 높은 표본 간에 차이가 있는지 조사했습니다. 결과는 전체 표본이 높은 충실도 표본에 비해 규제 및 성장 사고방식에 대한 평균 점수가 유의하게 낮다는 것을 보여주었다. 그러나 차이의 크기는 규제(Cohen's d = 0.06)와 성장 사고방식(Cohen's d = 0.03) 모두에서 미미했다. 평균 차이는 자기효능감과 사회적 인식에서 훨씬 더 작았지만, 표본 크기를 고려할 때 이러한 차이도 상당했다. 전체 표본은 고순도 표본(Cohen's d = 0.01)보다 낮은 자기 만족도를 보였습니다. 사회적 인식은 거의 차이가 없었다(Cohen's d = 0.001). 표 5를 참조하십시오. 
Across the four scales, we examined whether there were differences between the complete and high-fidelity3 samples. Results indicated that the overall sample had significantly lower mean scores for regulation and growth mindset than the high-fidelity sample. However, the magnitude of the differences was modest for both regulation (Cohen’s d = 0.06) and growth mindset (Cohen’s d = 0.03). The mean differences were even smaller for self-efficacy and social awareness, although given our sample size, these differences also were significant. The overall sample had lower self-efficacy than the high-fidelity sample (Cohen’s d = 0.01). There was almost no difference for social awareness (Cohen’s d = 0.001). See Table 5.

무응답 패턴
Pattern of nonresponse

직선 응답 패턴을 탐구하는 분석과 유사하게, 우리는 이 분석에서 샘플을 전체 설문 조사를 완료한 학생(즉, 항목 25에 응답한 학생)으로 제한했다. 따라서 그림 2는 조사의 처음 24개 항목에 걸쳐 누락된 데이터의 패턴을 보여줍니다. 값은 각 항목에 대한 결측 반응의 총합을 나타냅니다. 이 패턴은 학생들이 일반적으로 하반기에 비해 상반기에 더 많은 항목을 누락했다는 것을 시사한다. 이번 조사에서 가장 많이 누락된 항목은 10번과 11번으로 각각 13,627건과 10,104건의 누락 응답이 있었다. 두 항목 모두 역채점 성장 마인드 항목이었다. 
Similar to our analysis exploring the pattern of straight-line responding, we restricted our sample in this analysis to the students who completed the full survey (i.e., those who responded through to Item 25). Thus, Figure 2 shows the pattern of missing data across the first 24 items in the survey. The values represent the total missing responses for each item. The pattern suggests that students generally missed more items in the first half of the survey compared with the second half. The two most-missed items in the survey were Items 10 and 11, where there were 13,627 and 10,104 missing responses, respectively. Both items were reverse-scored growth mindset items.

논의
Discussion


이 기사에서, 우리는 고도로 훈련된 통계학자의 도움 없이도 다른 사람들이 이러한 단계를 쉽게 복제할 수 있도록 만족도를 정의하고 계산하기 위해 의도적으로 간단한 접근법을 취했다. 광범위한 satisficing에도 불구하고 데이터는 조기 종료, 무응답 및 직선 응답에 놀라울 정도로 robust한 것으로 나타났다. 우리는 우리의 연구 결과와 연구자, 실무자 및 정책 입안자가 응답자의 만족에 대응하여 무엇을 할 수 있는지 논의한다. 

In this article, we took a deliberately simple approach to defining and calculating satisficing so that others might easily replicate these steps, even without the help of highly trained statisticians. Despite extensive satisficing, the data appeared to be surprisingly robust to early termination, nonresponse, and straight-line responding. We discuss our findings and what researchers, practitioners, and policymakers might do in response to respondent satisficing.

전체 만족도
Total Satisficing

전체적으로 30%가 조금 넘는 표본이 적어도 하나의 satisficing 형태에 관여했다. 그러나 만족도가 응답자의 동기 부여 부족을 반영한다는 점을 고려할 때, 연구자들은 satisficing 행동을 어떻게 조작화 할 것인지를 고려하는 것이 중요하다. 우리는 우리의 정의에 대해 포괄적인 접근법을 취했다. 특히, 응답자들은 한 항목을 생략하는 한 비응답자로서의 자격이 있었다. 이렇게 큰 데이터 세트를 사용하면 일부 의욕적인 학생(예: 실수로 항목을 놓친 학생)을 실수로 잘못 분류하여 잠재적으로 학생 메타데이터를 잘못 표현하는 것이 불가피해 보인다(Soland 등, 2019)., 2019). 반면에, 연속적으로 10개 항목의 직선화 임계값은 차선의 노력을 기울이고 있는 일부 응답자(예: 9개 항목에 대해 직선화한 응답자)를 제외했을 가능성도 있다. 자체 데이터 만족도를 조사하는 연구자, 실무자 및 정책 입안자는 특정 컨텍스트에 대한 만족도 및 운영화에 대한 의미 있는 정의를 결정해야 합니다. 
Overall, a little more than 30% of the sample engaged in at least one form of satisficing. Given that satisficing reflects a lack of respondent motivation, however, it is important for researchers to consider how they operationalize satisficing behaviors. We took an inclusive approach to our definitions. In particular, respondents qualified as nonresponders as long as they omitted one item. With a data set this large, it seems inevitable that we inadvertently miscategorized some motivated students (e.g., those who missed an item by accident), thereby potentially misrepresenting student metadata (Soland et al., 2019). On the other hand, it is also possible that our straight-lining threshold of 10 items in a row excluded some respondents (e.g., those who straight-lined for nine items) who were putting forth suboptimal effort. Researchers, practitioners, and policymakers examining satisficing in their own data will need to determine meaningful definitions of satisficing and operationalizations for their specific contexts.

설문조사 데이터에 미치는 영향
Impact on Survey Data

세 가지 만족행동 중 학생 직선응답이 전체 설문항목(평균 13개 항목)에 가장 많은 영향을 미쳤고, 무응답 및 조기종료(각각 1.77개, 3.52개 항목)에 비해 영향을 미쳤다. 우리는 이번 조사에 성장 마인드를 측정하는 역점수 항목들이 포함되어 있었기 때문에 직선으로 선 학생들이 자신의 태도를 정확하게 보고하지 않았다고 합리적으로 확신한다. 따라서 오른쪽 대응 옵션은 고정된 사고방식, 즉 성장 사고방식의 개념적 반대를 의미했습니다. 직선 응답자 중 성장 마인드 점수가 가장 낮은 학생은 자기효능감과 규제가 가장 높은 것으로 조사됐다. 이러한 결과는 더 강한 성장 마인드셋과 더 높은 자기효능감을 연결하는 동기부여 연구와 일치하지 않을 것이다(Deck & Master, 2009). 
Of all three satisficing behaviors, student straight-line responding affected the greatest number of total survey items (almost 13 items on average) compared with nonresponse and early termination (1.77 and 3.52 items, respectively). We are reasonably confident that the students who straight-lined were not accurately reporting their attitudes because the survey included a set of reverse-scored items measuring growth mindset. The right-hand response option therefore signaled a fixed mindset—the conceptual opposite of growth mindset. Among straight-line responders, our survey results show that the students with the lowest growth mindset scores have the highest self-efficacy and regulation. These findings would be incongruous with the motivation research linking stronger growth mindsets with higher self-efficacy (Dweck & Master, 2009).
또한, 우리 표본에서 한줄긋기를 한 학생들은 거의 절반의 경우(M = 46.02%)을 맨 오른쪽에서 반응 옵션을 선택했기 때문에, 이러한 만족스러운 행동은 네 가지 척도에 걸쳐 학생들의 점수에 영향을 미쳤다. 그러나, 상대적으로 작은 효과 크기는, 통계적으로 유의미하긴 하나, 샘플 간의 차이가 반드시 우리의 연구 결과에 대한 해석에 상당한 위협을 나타내는 것은 아니라는 것을 시사했다. 우리가 미리 지정한 가설에서, 코헨의 d 계수는 0.01에서 0.04 사이로, 일반적으로 "작은" 효과 크기에 대해 예약된 0.20 컷오프 아래로 떨어졌다(코헨, 1988). 우리는 탐색적 분석(Cohen의 d 계수 0.001 ~ 0.06)에 대해 유사한 결과를 얻었다. 이는 일반적으로 우리의 데이터에 대한 실질적으로 다른 해석을 정당화할 정도로 평균이 충분히 다르지 않았음을 나타낸다. 물론 효과 크기의 크기는 연구 맥락에 따라 다양하다. 한 영역에서 작을 수 있는 것은 다른 영역에서 의미 있는 차이를 나타낼 수 있다(Kraft, 2020). 또한, 일부 연구자들은 효과 크기 컷오프가 상대적으로 임의적이며, 대신 효과가 야기할 수 있는 결과의 관점에서 해석되어야 한다고 주장한다(Funder & Ozer, 2019). 따라서 로컬 컨텍스트는 차이가 의미 있는 경우 안내하는 데 도움이 될 수 있습니다. 
Moreover, because the students who straight-lined in our sample selected the response option on the far right-hand side almost half the time (M = 46.02%), this satisficing behavior affected students’ scores across the four scales. Yet, the relatively modest effect sizes suggested that, while significant, the differences between samples did not necessarily represent a substantial threat to interpretations of our findings. In our prespecified hypotheses, the Cohen’s d coefficients ranged from 0.01 to 0.04, falling below the 0.20 cutoff typically reserved for “small” effect sizes (Cohen, 1988). We obtained similar findings for our exploratory analyses (Cohen’s d coefficients from 0.001 to 0.06)—indicating that, in general, the means were not sufficiently different to warrant substantially different interpretations of our data. Of course, the magnitude of effect sizes ranges across research contexts—what may be small in one domain may represent a meaningful difference in others (Kraft, 2020). Moreover, some researchers argue that effect size cutoffs are relatively arbitrary and should instead be interpreted in terms of the consequences that the effects could cause (Funder & Ozer, 2019). Local contexts can therefore help guide when the differences are meaningful.
우리는 또한 직선 응답과 무응답의 패턴을 조사했다. 설문조사가 [끝날 무렵에는 한줄긋기 응답]이 더 많이 발생한 반면, [전반기에는 무응답]이 더 빈번하게 발생했다. 주목할 점은 가장 많이 놓친 항목이 성장 마인드 항목이었다는 점이다. 이는 본 SEL 설문조사에 사용된 성장 사고방식 척도와 역점수 항목의 포함에 대한 우려와 일치한다(Meyer et al., 2018). 역스코어링 항목 이외의 조사 설계 전략을 사용하면(예: 한 번에 한 척도에서 모든 항목을 제시하는 대신 조사 전체에 걸쳐 서로 다른 구조의 항목을 삽입하는 것) 역스코어링 항목에 필요한 인지 복잡성을 추가하지 않고도 응답자 satisficing를 최소화하는 데 도움이 될 수 있다(Gehlbach & Barge, 2012) 항목(예: Benson & Hocevar, 1985). 
We also examined patterns in straight-line responding and nonresponse. Straight-line responding occurred more toward the end of the survey, whereas nonresponse happened more frequently in the first half. Of note is that the most frequently missed items were growth mindset items. This aligns with concerns about the growth mindset scale used in this SEL survey and its inclusion of reverse-scored items (Meyer et al., 2018). Using survey design strategies other than reverse-scoring items (e.g., interspersing items from different constructs throughout the survey rather than presenting all items from one scale at a time) may help to minimize respondent satisficing (Gehlbach & Barge, 2012) without adding the cognitive complexity required by the wording of reverse-scored items (e.g., Benson & Hocevar, 1985).
요약하면, 본 연구의 결과는 설문조사 데이터 사용자가 만족도가 각 표본의 데이터 품질에 어떤 영향을 미치는지 인지할 필요가 있지만, 이러한 행동이 satisficing이 높은 경우에도 전체 결과의 무결성을 항상 위협하지는 않을 수 있음을 시사한다. 이 기사에서 평가한 세 가지 전략(예: Robinson-Cimpian, 2014; Steedle et al., 2019)을 초과하는 만족도 감지를 위한 추가 또는 다른 전략을 원하는 설문조사 데이터 사용자는 응답 행동이 특정 교육 환경에서 데이터에 어느 정도 영향을 미치는지 유사하게 결정해야 한다. 
In sum, the findings of this study suggest that although survey data users need to be aware of how satisficing affects data quality in their respective samples, these behaviors may not always threaten the integrity of the overall results even when rates of satisficing are high. Users of survey data who want additional or different strategies for detecting satisficing that extend beyond the three assessed in this article (e.g., strategies described in Robinson-Cimpian, 2014; Steedle et al., 2019) will need to similarly determine to what extent the response behaviors affect the data in their specific educational context.

응답자 특성
Respondent Characteristics

만족이 데이터 품질에 미치는 영향을 조사하는 것 외에도 satisficing이 샘플의 특성을 체계적으로 변화시킬 수 있는지도 조사했다. 표본에서 만족자를 제거하여 응답자 동기 부여 문제를 해결하는 것은 특정 집단이 다른 집단보다 더 높은 비율로 satisficing을 하는 경우 대표성이 없는 표본으로 이어질 수 있다. 현재 표본에서는 남학생이 여학생보다 만족도가 높았다. 탐색적 분석은 또한 인종/인종, 언어 상태 및 장애 상태를 만족과 관련된 다른 요인으로 식별했다. 이러한 결과는 Soland(2018)가 학생 하위 그룹 간 만족도 차이를 발견한 결과를 반영한다. 구체적으로 학업진보도 평가에서 남학생과 유색인종 학생들의 빠른 추측 비율이 높았다(Soland, 2018). 그러나 현재 연구와 다른 연구(예: Soland, 2018)에서 하위 그룹 차이의 작은 특성 때문에 정책 결정은 학생의 하위 그룹을 다르게 다룰 필요가 없을 수 있다. 그러나 언급한 바와 같이, 연구자들은 연구 결과를 발표하기 전에 만족자를 제거할 필요가 있는지 여부를 확인하기 위해 만족도가 자신의 데이터 품질에 어느 정도 영향을 미치는지 결정해야 한다.
In addition to investigating the impact of satisficing on data quality, we also examined whether satisficing might change the nature of the sample in systematic ways. Addressing the problem of respondent motivation by removing satisficers from the sample could lead to unrepresentative samples if certain groups satisfice at higher rates than others. In the present sample, male students were more likely to satisfice than their female counterparts. Exploratory analyses also identified race/ethnicity, language status, and disability status as other factors associated with satisficing. These findings reflect those obtained by Soland (2018), who found differences in satisficing across student subgroups. Specifically, on the Measures of Academic Progress assessment, male students and students of color engaged in higher rates of rapid guessing (Soland, 2018). However, because of the modest nature of the subgroup differences in the current study and elsewhere (e.g., Soland, 2018), policy decisions may not need to treat different subgroups of students differently. As noted, however, researchers will need to determine to what extent satisficing affects their own data quality in order to ascertain whether it is necessary to remove satisficers prior to presenting their findings.

연구자, 실무자 및 정책 입안자를 위한 권장 사항
Recommendations for Researchers, Practitioners, and Policymakers

본 연구를 바탕으로 학생 설문조사 데이터를 처리하기 위한 5가지 지침을 제안한다. 
  • 첫째, 연구자, 실무자 및 정책 입안자는 설문 조사의 맥락 내에서 의미 있는 satisficing 의 정의를 결정해야 한다. 만족스럽게 정의하고 운영하기 위해 비교적 포괄적인 접근 방식을 취했지만, 일부 구역에서는 더 보수적인 접근 방식(예: 무응답을 하나가 아닌 네 개의 누락된 항목으로 정의)이 필요할 수 있다. 다행히도 다양한 정의를 만족하고 영향을 검토하는 테스트는 비교적 저렴한 비용으로 추가 분석을 수행하는 데 걸리는 시간에 불과합니다. 데이터 분석가들이 만족의 영향을 더욱 탐구함에 따라, 우리는 주어진 맥락에서 가장 합리적인 것이 무엇인지 보기 위해 다양한 정의를 테스트하는 것을 추천한다.
Based on this study, we recommend the following five guidelines for handling student survey data. First, researchers, practitioners, and policymakers will need to determine meaningful definitions of satisficing that make sense within the context of their surveys. While we took a relatively inclusive approach to defining and operationalizing satisficing, some districts might require more conservative approaches (e.g., defining nonresponse as four missed items rather than one). Fortunately, testing different definitions of satisficing and examining the repercussions is relatively low cost—merely the time taken to conduct additional analyses. As data analysts further explore the impact of satisficing, we recommend testing various definitions to see what is most sensible for a given context.
  • 둘째, satisficing 행동이 결과 해석에 얼마나 영향을 미치는지 평가하기 위해 연구자, 실무자 및 정책 입안자가 satisficing 유무에 관계없이 데이터를 검토할 것을 권장한다. CORE 맥락 내에서, 직선 응답과 무응답은 결과의 주요 해석을 바꾸지 않았다. 예를 들어, 직선 응답 표본과 높은 충실도 표본 간의 차이의 크기는 매우 작았습니다. 그러나, 교육의 맥락 의존적 특성을 고려할 때, 이러한 결과는 교육 환경에 따라 달라질 수 있다. 또한 다른 유형의 분석은 다른 방식으로 영향을 받을 수 있다. 특정 부분군 비교(예: 학년 수준, 학교, 성장률 등) 또는 항목 구조와 관련된 분석(예: 요인 분석 기법)은 만족자의 포함 또는 제외에 더 민감할 수 있다. 따라서, 우리는 설문 조사 데이터 사용자가 다양한 분석 및 설정에 걸쳐 자체 설문 조사에서 만족도가 척도에 얼마나 영향을 미칠 수 있는지 조사할 것을 권장한다. 만족으로 인한 결과적 차이가 언제, 어디서, 왜 더 많이 나타나는지를 배우는 것이 앞으로 나아가는 중요한 지식이 될 것이다.
Second, we recommend that researchers, practitioners, and policymakers examine their data with and without satisficers in order to evaluate how much the satisficing behaviors affect interpretation of the findings. Within the CORE context, straight-line responding and nonresponse did not change the main interpretation of findings. For example, the magnitude of differences between the straight-line responding and high-fidelity samples was quite small. However, given the context-dependent nature of education, results like these might vary across educational settings. Furthermore, other types of analyses might be affected in different ways. Perhaps certain subgroup comparisons (e.g., grade levels, schools, growth rates, etc.) or analyses involving item structure (e.g., factor analytic techniques) are more sensitive to the inclusion or exclusion of satisficers. Thus, we encourage users of survey data to examine how satisficing may affect scales in their own surveys across a range of analyses and settings. Learning when, where, and why there are more consequential differences in findings due to satisficing will be important knowledge moving forward.
  • 셋째, satisficing하는 모든 학생으로부터 모든 데이터를 제외하지 않는 것이 좋습니다. 대신, 연구자, 실무자 및 정책 입안자는 결함이 있는 데이터만 제거함으로써 더 많은 이익을 얻을 수 있다(즉, 목록별 삭제보다는 사례별 삭제). 특히, 직선 응답과 무응답은 학생들의 평균 점수에 영향을 미칠 수 있으므로, 데이터 분석가들이 이러한 두 가지 반응 패턴에 초점을 맞출 것을 제안한다. 결함이 있는 데이터를 제거하면 분석가들이 데이터 중심의 의사 결정을 지원할 때 잠재적으로 손상된 데이터와 함께 양질의 데이터를 낭비하지 않도록 하는 데도 도움이 될 것입니다. 그러나 이 과정의 일부로, 우리는 또한 데이터 분석가들이 먼저 데이터를 제외하는 것이 표본 모집단의 성격을 크게 바꾸지 않는다는 것을 확인하도록 권장한다(예: 불균형한 수의 특정 인구 통계 그룹을 제거함으로써).
Third, we recommend against excluding all data from every student who satisfices. Instead, researchers, practitioners, and policymakers may benefit more from removing only the flawed data (i.e., case-wise rather than listwise deletion). Specifically, because straight-line responding and nonresponse may affect students’ mean scores, we suggest that data analysts focus on these two response patterns. Removing flawed data will also help ensure that analysts are not throwing quality data away along with the potentially compromised data when working to support data-driven decision making. As part of this process, however, we also encourage data analysts first to confirm that excluding data does not markedly change the nature of the sample population (e.g., by removing a disproportionate number of certain demographic groups).
  • 넷째, 설문조사에 [역스코어 항목을 포함하는 것]은 직선 응답자를 탐지하기 위한 효과적인 전략으로 보일 수 있다. 그러나 우리는 이 전술을 사용하지 않아야 한다고 경고한다. 역스코어 항목은 척도의 신뢰성을 떨어뜨리고 참가자들이 답변하기 어렵다(Benson & Hocevar, 1985; Gehlbach & Brinkworth, 2011; Swain et al., 2008). 대신에 조사 설계자는 [서로 다른 구인의 항목을 분산시켜 삽입]하고(Gehlbach & Barge, 2012) [응답 옵션이 구인 특이적이도록 보장]하여 직선 응답을 완화할 수 있다(Gehlbach & Brinkworth, 2011).
    • 항목을 [interspersing]하면 참가자가 동일하거나 유사한 구조의 항목을 서로 옆에 배치할 때 발생할 수 있는 고정 및 조정과 같은 인지 편향에 참여할 가능성이 줄어든다(Gehlbach & Barge, 2012).
    • 또한 각 항목에 대해 [완전한 레이블이 지정된 응답 옵션]을 포함하고 항목과 응답 옵션 모두에서 동일한 구인별 언어를 사용하면 응답자들이 유사한 질문을 반복적으로 하는 것이 아니라 별개의 현상에 대해 설문조사가 질문한다는 점을 강화할 수 있다(Gehlbach, 2015).

Fourth, including reverse-scored items in a survey may seem like an effective strategy for detecting straight-line responders. However, we caution against using this tactic. Reverse-scored items reduce scale reliability and are difficult for participants to answer (Benson & Hocevar, 1985; Gehlbach & Brinkworth, 2011; Swain et al., 2008). Instead, survey designers can attempt to mitigate straight-line responding by interspersing items from different constructs (Gehlbach & Barge, 2012) and ensuring that response options are construct specific (Gehlbach & Brinkworth, 2011).
  • Interspersing items reduces the chances that participants will engage in cognitive biases, like anchoring and adjusting, which can occur when items from the same or similar constructs are placed next to each other (Gehlbach & Barge, 2012).
  • Furthermore, including fully labeled response options for each item and using the same construct-specific language in both the items and response options can help to reinforce to respondents that the survey is asking about distinct phenomena as opposed to asking similar questions over and over (Gehlbach, 2015).
마지막으로, 설문조사에 인지적 노력을 기울이는 학생들의 동기는 가변적이기 때문에 설문조사를 이용하는 학생들은 설문조사 도구를 사용하기 전에 학생들의 참여를 유도할 것을 권장한다. 미래 연구는 또한 학생들이 만족스러운 행동에 참여할 가능성이 가장 높은 시기와 장소를 더 잘 이해하기 위해 설문 조사(예: 인지 면접을 통해)에서 학생들의 만족 동기의 질적 차이를 탐구함으로써 이익을 얻을 수 있다. 설문조사 과정 초기에 응답자의 동기를 향상시키기 위해 증거 기반 전략(예: Dillman 등, 2014)을 사용하면 학생들이 사용하는 만족스러운 행동의 일부를 줄일 수 있다.
Last, because students’ motivation to put cognitive effort into a survey is malleable, we urge those using survey research to cultivate buy-in from students prior to administering the survey instruments. Future research may also benefit from exploring qualitative differences in students’ motivation to satisfice on surveys (e.g., through cognitive interviewing) to better understand when and where students are most likely to engage in satisficing behaviors. Using evidence-based strategies (e.g., Dillman et al., 2014) to enhance respondent motivation early in the survey process may reduce some of the satisficing behaviors utilized by students.

결론
Conclusion

조사 데이터에 대한 비판이 많다. 이러한 비판은 응답자들이 자신의 태도를 이해하고, 태도를 정확하게 보고하고, 충분한 동기를 가지고 설문에 참여하는 능력에 의문을 제기한다. 낮은 응답자 동기 부여는 이러한 유형의 응답자 행동에 대한 연구자 통제가 부족하다는 점을 고려할 때 데이터 해석에 가장 도전적인 위협이 될 수 있다. 그러나, 우리의 연구 결과는 우리의 샘플에서 satisficing하는 학생들이 널리 퍼져 있음에도 불구하고, 이 관행이 데이터 품질에 미치는 영향은 놀라울 정도로 작아 보였다는 것을 보여준다. 교육의 맥락별 특성 때문에, 우리는 다른 사람들이 자신의 데이터 세트에서 만족하는 설문 조사의 유병률과 영향을 유사하게 결정할 것을 촉구한다. 집단적인 노력을 통해, 우리는 조사 결과가 만족스러운 행동에 얼마나 강력한지 알 수 있다. 이 중요한 작업을 추구하는 연구자, 실무자 및 정책 입안자를 지원하기 위해, 우리는 대규모 데이터 세트에서 만족하는 학생을 정의하고 계산하기 위한 접근 가능한 기반을 제공했다. 우리는 이러한 전략이 궁극적으로 학교가 더 나은 데이터 중심 결정을 내리도록 도우려는 개인들을 촉진하기를 바란다.
Critiques of survey data abound. These criticisms question respondents’ ability to understand their own attitudes, accurately report their attitudes, and engage in surveys with sufficient motivation. Low respondent motivation may present the most uniquely challenging threat to data interpretation given the lack of researcher control over this type of respondent behavior. However, our findings indicate that despite the prevalence of student satisficing in our sample, the impact of this practice on data quality appeared surprisingly small. Because of the context-specific nature of education, we urge others to similarly determine the prevalence and impact of survey satisficing in their own data sets. Through a collective effort, we can learn how robust survey findings are to satisficing behaviors. To support researchers, practitioners, and policymakers pursuing this important task, we have provided an accessible foundation for defining and calculating student satisficing in large-scale data sets. We hope these strategies ultimately facilitate those individuals who are trying to help schools to make better data-driven decisions.

Abstract

Education researchers use surveys widely. Yet, critics question respondents’ ability to provide high-quality responses. As schools increasingly use student surveys to drive local policy making, respondents’ (lack of) motivation to provide quality responses may threaten the wisdom of using questionnaires for data-based decision making. To better understand student satisficing—the practice of suboptimal responding on surveys—and its impact on data quality, we examined its pervasiveness and impact on a large-scale social–emotional learning survey administered to 409,721 elementary and secondary students. Findings indicated that despite the prevalence of satisficing, its impact on data quality appeared more modest than anticipated. We conclude by outlining an accessible approach for defining and calculating satisficing for researchers, practitioners, and policymakers.

 

 

 

밀레니얼이 도착했다: 외과 교육자가 밀레니얼을 가르칠 때 알아야 할 것 (Surgery, 2020)
The millennials have arrived: What the surgeon educator needs to know to teach millennials
Peter A. Ebeling, MD, Daniel L. Dent, MD, Jason W. Kempenich, MD*

서론
Introduction

외과 교육자들 사이에서 밀레니얼 세대를 특징짓는 것에 대한 관심이 증가하고 있다. 밀레니얼 세대는 이전 세대의 외과 레지던트들과 구별되며 다른 교육학적 접근법을 필요로 한다는 믿음이 그렇게 하는 동기부여 요인이다. 세대 구분은 다양하게 정의되지만, 밀레니얼 세대는 일반적으로 1980년대 초반에서 1990년대 후반 사이에 태어난 사람들을 포함한다. 대부분의 자료들은 이 세대가 1990년대 중후반과 2000년대 초의 기술 혁명, 9.11 테러, 2008년의 대공황에 의해 독특하게 형성되었다고 전형적으로 묘사한다. X세대(1965–1980)와 베이비붐 세대(1946–1964)와 같은 초기 세대는 유사하게 그들 시대의 중요한 사건에 영향을 받는다고 생각된다. 베이비붐 세대는 전후 번영기에 성년이 되어 국가의 경제 활성화의 혜택을 받았지만 1960년대부터 1970년대까지의 인종적, 정치적 불안에 의해 형성되었다. X 세대도 마찬가지로 에이즈 전염병, 챌린저 셔틀 폭발, 1차 걸프전의 영향을 받았다고 한다. 
There is increasing interest among surgical educators to characterize the millennial generation. A motivating factor for doing so is a belief that millennials are distinct from prior generations of surgical residents and require a different pedagogic approach.1, 2 Although generational cutoffs are variably defined, the millennial generation usually includes individuals born between the early 1980s and the late 1990s.3 Most sources typically describe this generation as being uniquely shaped by the technologic revolution of the mid-to-late 1990s and early 2000s, the September 11 terrorist attacks, and the Great Recession of 2008. Earlier generations, such as Generation X (1965–1980) and the baby-boomer generation (1946–1964) are similarly thought to be influenced by the seminal events of their own eras. Baby boomers came of age during a postwar period of prosperity and benefited from the country’s buoyant economy, but were also shaped by the racial and political unrest of the 1960s to 1970s. Generation Xers likewise are said to be influenced by the AIDS epidemic, the Challenger shuttle explosion, and the first Gulf War.4, 5

다양한 작가들은 각 세대에 따라 성격 특성을 부여한다. 예를 들어, [베이비붐 세대]는 종종 근면하고, 부지런하고, 보수적인 것으로 묘사된다. 대조적으로 대중 매체에서는 [밀레니얼 세대]를 향한 비판이 부족하지 않다. 헬리콥터 부모에게서 태어나 컴퓨터 화면과 아이폰의 빛나는 빛 속에서 자란 밀레니얼 세대는 자아도취적이고, 집중력이 짧으며, 매일 칭찬받기를 기대한다. 적어도 이것은 윗사람들이 가끔 읊조리는 흔한 이야기이다. 외과 레지던스는 이제 전임자들과 완전히 다른 것으로 판매되는 새로운 세대의 외과 의사들을 훈련시키는 것에 직면해야 한다.
Various writers have ascribed personality characteristics to each generational group.1, 5, 6 For example, baby boomers are often described as industrious, diligent, and conservative. In contrast, there is no shortage of criticism leveled at millennials in popular media. Born to helicopter parents and raised among the iridescent glow of computer screens and iPhones, millennials are narcissistic, have short attention spans, and expect to be praised daily.4, 7 At least, this is the common narrative sometimes recited by elder superiors. Surgical residencies must now confront training a generation of new surgeons sold as being wholly different than their predecessors.

사실상 의료 및 외과 레지던트의 100%가 밀레니얼 세대입니다. 미국 의과대학 협회는 2027년까지 의사 3명 중 1명이 65세 이상이 될 것이며, 곧 다가올 은퇴로 인해 밀레니얼 세대가 미국에서 가장 큰 의사 집단이 될 것이라고 예측한다. 이러한 변화하는 인구 통계에 비추어 볼 때, 이 세대 간부가 외과 교육자들에게 어떤 독특한 도전을 나타내는지 물어보는 것이 합리적이다. 심리학자들이 자신의 세대가 다른 세대보다 우월하다는 믿음인 [세대 편향]의 개념을 검토했다는 점에 주목할 필요가 있다. 이 연구에서 세 가지 핵심 포인트가 나온다.

  • 첫째, 세대 간, 세대 간 어느 정도의 편견이 있다.
  • 둘째, 편견을 자극하는 세대 고정관념이 완전히 정확한 경우는 거의 없다.
  • 마지막으로, 세대 편견은 밀레니얼 세대처럼 비밀레니얼 세대에게 피해를 줄 수 있다.

예를 들어, 베이비붐 세대는 새로운 기술을 채택하는 것에 대해 침묵하고 그들의 방식에 너무 얽매여 있을 수 있다. 종종, [세대 고정관념]은 현재 직장에서 [지배적인 힘을 가진 세대]로부터 전파된다. 이러한 개념들은 보통 진정한 세대 차이와 거의 관련이 없으며, 한 세대가 다른 세대에 대해 불안감을 표현하는 것일 뿐이다. 
Virtually 100% of medical and surgical residents are millennials.8 The Association of American Medical Colleges projects that 1 in 3 physicians will be ≥65 years of age by 2027, and impending retirements will soon leave millennials as the largest cohort of physicians in the United States.9 In light of these changing demographics, it is reasonable to ask what unique challenges this generational cadre represents to surgical educators. It is worth noting that psychologists have examined the notion of generational bias, the belief that one’s own generation is superior to others.6, 10 Three key points emerge from this research.

  • First, there is some degree of bias among generations and between them.
  • Second, generational stereotypes that spur bias are seldom completely accurate.
  • Last, generational bias can hurt the nonmillennials just as easily as millennials.

For example, baby boomers may be cast as reticent to adopt new technology and too stuck in their ways.10 Often, generational stereotypes propagate from whichever generation is currently the dominant force in the work place. These notions usually have little to do with true generational differences and are merely an expression of one generation’s insecurity with another.

밀레니얼 특성
Millennial characteristics

밀레니얼 세대는 사회의 몇 가지 인구통계학적 변화를 대표한다. 현재는 밀레니얼 세대의 44%가 소수 집단으로 파악될 정도로 전국에서 가장 다양한 세대이다. 밀레니얼 세대는 그들의 사회적 구성에서 독특하며, 적어도 일부 저자들의 설명에 따르면, 독특한 속성 세트를 개발했다. 닐 하우와 윌리엄 스트라우스는 그들의 2000년 책에서 밀레니얼 세대가 무엇보다도 특별하고, 보호받고, 팀 지향적이며, 압박을 받는다고 주장한다. 그들은 이러한 각각의 특성이 뚜렷한 사회적, 가족적 환경에서 자란 X세대 성인들로부터 상당한 단절을 나타낸다고 주장한다. 하우와 스트라우스가 거의 20년 전에 공부한 아이들은 이제 성장했고 독특한 방식으로 직장에 영향을 끼쳤다. 
The millennial generation represents several demographic shifts for society. It is now the most diverse generation in the country, with 44% of millennials identifying as a minority group.11 Millennials are unique in their social makeup and have developed, at least by some authors’ accounts, a unique set of attributes. In their 2000 book,5 Neil Howe and William Strauss contend millennials are, among other things, special, sheltered, team-oriented, and pressured. They contend each of these characteristics represents a significant break from Generation X adults, who grew up under distinct social and familial environments. The children Howe and Strauss studied almost 20 years ago have now grown up and influence the workplace in unique ways.

2016년 갤럽 여론조사 자료에 따르면 밀레니얼 세대는 이전 세대보다 자신의 정체성에 [천직vocation]을 더 많이 포함하고 있다. 일이 자아와 맞물리면서 고용주와 직원(또는 교사와 학습자) 사이의 역학이 변화한다. 수술에서, 이것은 수술실 안팎에서 어텐딩을 [보스에서 코치로] 변화시킵니다. 회장님은 명령을 내릴 뿐만 아니라, 밀레니얼 인턴의 발전을 돕습니다. 밀레니얼 세대의 전공의는 외과 교육자를 단순히 [전문적인 발전이 아닌 개인적인 발전의 길]을 가는 양치기로 본다. 갤럽 기관의 회장이 말했듯이, 밀레니얼 세대는 이제 [진보와 발전]에 관한 것이지 [월급을 받는 것]에 관한 것이 아니다. 이 추세는 미국 밀레니얼 세대에만 국한된 것이 아니다. 2017년 독일 의대생들의 수술에 대한 태도를 조사한 결과 코호트는 수술이 흥미로운 분야라고 생각했지만 대다수는 수술 경력을 추구하고 싶어하지 않을 것으로 나타났다. 보수나 위신보다 더 중요한 것은 다른 특기에서의 [자기 성취의 약속]이었다. 이에 따라 일부 나이든 외과의사들은 이 젊은 세대를 수술에 덜 전념하는 것으로 간주하고 있다. 우리는 밀레니얼 세대가 이전 세대보다 수술에 덜 전념한다고 주장한다. [밀레니얼 세대의 레지던트]는 (나이든 의사들이 이미 그들의 삶에서 경험했던) [집에서의 어린 아이들]과 [새로운 결혼]과 같은 [연령 특이적 사회적 상황들]과 싸워야 할지도 모른다. 종종 세대 차이로 인한 것으로 여겨지는 것은 실제로 20대 후반의 거주자와 50대 초반의 어텐딩 사이의 [삶의 단계 차이]일 수 있다. 교육자들은 서로 다른 사회적 상황을 인식하고 필요한 일과 가정의 의무를 이행하기 위해 거주자들과 협력해야 한다. 
Gallup polling data from 2016 indicate millennials incorporate vocation into their identity more than prior generations.12 As work becomes enmeshed with the self, the dynamic between employer and employee (or teacher and learner) changes. In surgery, this transforms the attending from the boss to the coach in and out of the operating room. The chairperson not only hands down orders, but also he or she helps the millennial intern improve. The millennial resident views the surgeon educator as a shepherd on a path of personal, not just professional development. As the president of the Gallup organization put it, millennials are now about progress and development, and less about picking up a paycheck.12 This trend is not unique to American millennials. A 2017 survey of German medical students’ attitudes toward surgery showed that although the cohort thought surgery was an interesting field, the majority would not want to pursue a career in surgery.13 More important than pay or prestige was the promise of self-fulfillment in other specialties. Accordingly, some older surgeons have regarded this younger generation as less committed to surgery. We contend millennials are not less committed to surgery than prior generations. The millennial resident may have to contend with age-specific social situations, such as young children at home and new marriages, that elder surgeons already experienced earlier in their lives. What are often attributed as generational differences may actually be life stage differences between residents in their late 20s and attendings in their early 50s.14 Educators must recognize differing social situations and work with residents to fulfill necessary work and home obligations.

밀레니얼 세대를 가르치다
The Nonmillennial teaching millennials

밀레니얼 세대가 빠른 변화를 선호하는 반면, 외과와 의학은 신중한 숙고 끝에 변화가 시행되는 보수적인 직업이다. 일부 저자들은 중간 밀레니얼 세대가 수술 기술을 가르치는 데 가장 편안하기 때문에 [테크놀로지를 사용]하는 것을 지지한다. 수술과 수술 교육은 기술과 시뮬레이션 전략에 의해 영원히 변화되어 왔다. 대학원 의학교육 인가위원회는 오랫동안 외과 레지던스에서 복강경 및 내시경 시뮬레이터를 제공하도록 의무화해왔다. 문헌에는 케이스를 스크럽하기 전 [시뮬레이터에 대한 훈련]을 시연하는 수많은 예가 있으며, 이는 성능을 향상시키고 지속적인 효과를 갖는다. 수술에서 시뮬레이션 훈련을 개선하는 방향으로의 전환은 가장 오래된 밀레니얼 세대 중 일부가 레지던트 훈련을 시작하면서 일어났다. 실제로, 다양한 외과 분야의 교육자들은 한동안 이러한 세대교체가 오는 것을 보아왔다. 
Whereas millennials favor fast-paced change, surgery and medicine are conservative professions where change is implemented after careful deliberation. Some authors advocate using technology as the medium millennials are most comfortable with to teach surgical skills.1, 2 Surgery and surgical education have been forever transformed by technology and simulation strategies. The Accreditation Council for Graduate Medical Education has long mandated that surgery residencies provide laparoscopic and endoscopic simulators.15 There are numerous examples in the literature demonstrating training on a simulator before scrubbing a case improves performance and has a durable effect.16, 17 The shift toward improving simulation training in surgery occurred as some of the oldest millennials began residency training. Indeed, educators in various surgical fields have seen this generational shift coming for some time.

외과 교육자들은 전공의와 학생들을 일대일로 가르칠 수 있는 독특한 위치에 있다. 수술실은 병원의 배타적인 부분으로, 소수의 방해물만이 방해할 수 있는 곳이다. 이것은 외과 의사 교육자에게 조언하고 가르칠 충분한 시간을 제공한다. 피터 리 박사는 손과 상지 외과 의사들을 겨냥한 사설을 썼는데, 그는 거기서 최적의 비천년과 밀레니얼 관계를 요약했다.

  • 이상적으로, 어텐딩과 레지던트는 케이스가 발생하기 훨씬 전에 만나 접근법을 논의한다.
  • 주치의는 전자 형식으로 사건을 적절하게 준비할 수 있는 전공의와 참고문헌를 공유한다.
  • 이 경우, 참석자는 두 운영자가 서로에게 기대되는 것에 대해 상호 이해하고 있다는 것을 알기에 긍정적인 피드백과 부정적인 피드백을 제공할 수 있다.

Surgical educators are uniquely positioned to teach residents and students one on one. The operating room is an exclusive part of the hospital, one where only a few distractions can interject. This presents the surgeon educator with ample time to mentor and teach. Dr Peter Rhee wrote an editorial aimed at hand and upper extremity surgeons where he outlined the optimal non-millennial and millennial relationship.18 

  • Ideally, the attending and resident meet well before the case to discuss the approach.
  • The attending shares references, in electronic format, with the resident who can then appropriately prepare for the case.
  • During the case, the attending may offer positive and negative feedback knowing that both operators have a mutual understanding of what is expected of each other.

필립스와 이센버그의 또 다른 기사는 밀레니얼 세대의 대장 동료들을 가르치는 것에 초점을 맞추었고, 참석자들에게 학습자에게 [빠르고 균형 잡힌 (너무 부정적이거나 긍정적이지 않은) 피드백]을 주라고 조언했다. 그들은 밀레니얼 세대들이 정보를 신속하고 직접적으로 받는 것에 너무 익숙해져 있어서, 기성 세대들은 그들을 숟가락으로 떠먹일 필요가 있다고 인식할 수도 있다고 지적한다. 물론 이것을 피하기 위한 교육학적 전략이 있다. 교육자들은 전공의에게 어떤 주제에 대해 읽고 다음 날 그것을 간단히 발표하도록 요청하거나, 전공의가 적절한 언어적 단서를 가지고 운영의 일부를 힘들게 하도록 허용할 수 있다. 
Another article from Phillips and Isenberg19 focused on teaching millennial colorectal fellows, advising attendings to give prompt and balanced (not too negative or positive) feedback to the learner. They note millennials may be so accustomed to receiving information quickly and directly that older generations perceive them as needing to be spoon fed. There are of course pedagogic strategies to avoid this. Educators may ask a resident to read about a topic and present it briefly the following day or allow a resident to struggle through parts of an operation with appropriate verbal cues.

밀레니얼 세대의 반복되는 속성 중 하나는 [빈번한 간격으로 피드백을 원하는 것]이다. 이 변화하는 역학은 수술의 역사적으로 경직된 계층 구조와 충돌하고 앞으로도 충돌할 것이다. 이것은 사전에 예정된 회의를 통해, 그리고 일련의 명령을 통해 정보를 공유하는 오래된 방법을 점점 더 드물어지게 만들었다. Waljee 등은 이러한 프로세스 요소를 강조하는 밀레니얼 교수진의 멘토링 시스템을 제공했다. 전반적으로, 그들은 멘티가 멘토 팀에게 자신만의 관점을 제공할 수 있는 기회와 함께 [더 자주, 더 짧은 피드백 미팅]을 제공할 것을 권장합니다.
One of the recurring attributes of the millennial generation is its desire for feedback at frequent intervals. This changing dynamic has and will clash with surgery’s historically rigid hierarchy. This has already made older methods of sharing information via scheduled meetings and along a chain of command increasingly uncommon. Waljee et al20 provided a system for mentoring millennial faculty emphasizing this process element. Overall, they recommend providing more frequent, shorter feedback meetings along with opportunities for the mentee to provide his or her own perspective to a team of mentors.

홉킨스 외 연구진은 의대 3학년과 4학년 학생들을 위한 더 나은 교육 전략을 설명하기 위해 세대 학습 문헌을 검토했다. 전반적으로, 그들의 권장 사항은 트위터, 피어 투 피어 학습 및 게임화와 같은 항목을 통합하는 것을 포함한다. 이 주제에 대한 대부분의 저자들은 모바일 기술이 밀레니얼 세대에게 끼친 막대한 영향을 인정한다. 그러나 이것이 실제로 교사와 학습자 사이의 역학 관계를 변화시키는지는 여전히 불분명하다. 밀레니얼 세대는 이 테크놀로지 시대에 우연히 성장한 것이지, 다른 세대들이 쉽게 배울 수 없는 기술에 대한 비법 명령을 가지고 있는 것이 아니다. 예를 들어, 일부 거주 프로그램은 훈련생이 [작은 절차]를 수행하기 전에 [교육 비디오를 시청]하도록 했다.2 비디오를 본 그룹은 그렇지 않은 그룹보다 작업을 더 효율적으로 수행했지만, 이것이 실제로 보여주는 것은 [지시와 준비가 더 나은 결과로 이어진다]는 것이다. 간단히 말해서, 아무도 그나 그녀의 뇌에 이미 다운로드된 앱을 가지고 태어나지 않는다. 외과 교육자는 다른 기관의 경험을 살펴봄으로써 이 세대와의 상호 작용을 최적화하는 방법을 배울 수 있다.
Hopkins et al21 reviewed the generational learning literature to elucidate better teaching strategies for third- and fourth-year medical students. Overall, their recommendations include incorporating items such as twitter, peer-to-peer learning, and gamification. Most authors on this subject recognize the vast influence mobile technology has had on millennials. Yet, it remains unclear if this actually changes the dynamic between teacher and learner. Millennials simply happened to grow up during this technologic era and do not have some secret command of technology other generations could not just as easily learn. For example, some residency programs have had their trainees watch instructional videos before performing a minor procedure.2 The group that watched the videos did indeed perform the task more efficiently than the group that did not, but what this really shows is that instruction and preparation lead to better outcomes. Simply put, no one is born with an app already downloaded into his or her brain. Surgical educators can learn how to optimize their interactions with this generation by looking to other institutions’ experience.

군대에서 배운 교훈
Lessons from the military

현재의 외과 교육 문헌은 밀레니얼 세대 전공의에게 도달하기 위한 [비디오 교육, 시뮬레이션, 신속하고 직접적인 피드백]의 사용을 강조한다. 크게 부족한 것은 밀레니얼 세대와 밀레니얼 세대의 외과 의사들이 어떻게 상호작용해야 하는지를 지시하는 [구체적인 교육학]이다. 아마도 이 인구 통계학적 바다 변화를 이미 처리한 미국에서 가장 큰 단일 기관은 군대일 것이다. 2015년 미국 국방부의 전체 현역병 중 거의 3분의 2가 30세 미만이었다. 군대는 항상 젊은 사람들을 군대에 편입시켜야 했고, 대부분은 그렇게 하기 위한 [좋은 원칙]을 이미 개발했다. [군복무와 수술 전공 수련과정] 사이에는 직관적인 유사점이 있다; 둘 다 젊은 인재들의 지속적인 유입을 필요로 하고, 각각에게 위계가 있으며, 두 시스템은 변화하는 환경에 적응해야 한다.
The present surgical education literature emphasizes the use of video instruction, simulation, and quick, direct feedback to reach the millennial resident. What is largely lacking is a concrete pedagogy directing how the nonmillennial and millennial surgeons should interact. Perhaps the largest single institution in the United States that has already dealt with this demographic sea-change is the armed services. In 2015, nearly two-thirds of all active duty personnel in the United States Department of Defense were <30 years old.22 The military has always had to incorporate young people into its forces and, for the most part, has already developed sound principles for doing so. There are intuitive parallels between military service and surgery residencies; both require constant influx of young talent, there is a hierarchy to each, and both systems must adapt to changing circumstances.

노스웨스턴 대학의 켈로그 경영대학원 출판물의 기사는 군대에서 밀레니얼 세대를 지도하기 위한 틀을 설명하지만 외과 의사 교육자들에 의해 쉽게 채택될 수 있다. 세 가지 주요 요소가 포함됩니다: 
An article from the Kellogg School of Business publication at Northwestern University illustrates a framework for mentoring millennials in the military,23 but it could be easily adopted by surgeon educators. Three key elements are included:

1. 야망을 인식하고 기대치를 설정합니다
1. Recognize ambition and set expectations

젊은 인턴들은 다리를 뻗어야 한다. 어떤 사람들은 아직 피부를 닫는 것을 마스터하지 못했으면서도, 모든 Whipple 수술에 스크럽을 서고 싶을 수도 있다. 리더는 이러한 [야망을 인식]하고 격려하며 학습자와 협력하여 [각자의 이정표를 달성]해야 합니다. 이것은 나이든 의사들이 훈련 중에 익숙해지거나 받는 것보다, [더 개인적이고 일대일 지시]를 요구할 수 있다. 하지만, 좋은 지도자의 특징은 그 또는 그녀의 훈련생들을 소유하는 것이다. 
Young interns need to stretch their legs. Some may want to scrub every Whipple even though they have not yet mastered closing skin. Leaders should recognize this ambition, encourage it, and work with the learner to meet their respective milestones. This may require more personal, one-on-one direction than older surgeons are accustomed to or received during their training. However, the hallmark of a good leader is taking ownership of his or her trainees.

2. 그들의 수준에 맞는 의사소통
2. Communicate on their level

저자는 군 지휘관들이 병영을 걷고 장비와 건강 상태 점검을 수행함으로써 신병들의 준비 상태를 점검할 것으로 예상된다고 언급한다. 지휘관들은 "그들의 공간으로 들어가 그들이 있는 곳에서 그들을 만나라"고 해야 한다. 이것은 임상적, 학업적, 그리고 개인적인 의무 사이에서 당기는 바쁜 외과 의사들에게 도전적인 개념이다. 그러나 이러한 수준의 상호작용은 선임 어텐딩과 후임 레지던트 사이에 지속적인 관계를 구축하는 데 매우 중요할 수 있다. "그들의 수준에서 소통하는 것"은 또한 전자 플랫폼, 즉 트위터, 페이스북 또는 인스타그램에서의 메시지로 확장될 수 있다. 
The author notes that military commanders are expected to inspect their recruits’ readiness by walking the barracks and performing equipment and wellness checks. Commanders must, “Go into their space, meet them where they are.”23 This is a challenging concept for a busy surgical attending pulled between clinical, academic, and personal obligations. However, this level of interaction could be invaluable to help establish a durable rapport between the senior attending and the incoming resident. “Communicating on their level” may also extend to electronic platforms, that is, messaging on Twitter, Facebook, or Instagram.

3. 혁신의 여지를 제공합니다
3. Give them room to innovate

연수생이 선배의 계획이나 권위에 도전하는 것처럼 보일 때, 교육자와 학습자 사이에 긴장감이 감돌곤 한다. 이러한 마찰은 훈련 프로그램과 수술 교조의 세대에 [위계 구조]가 존재하는 수술에서 지속적으로 나타난다. 밀레니얼 세대의 선생님은 어린 학습자가 [순종적이지 않은 것이 아니라, 자신의 지식 기반을 확장하고 있다]는 것을 인식해야 한다. 병원 내 업무 [시스템에 도전하는 것은 긍정적인 측면]이어야 하며, 이러한 [변화에 대한 열정]은 [기대되고 장려될 필요]가 있다. 표에는 밀레니얼 행동의 예와 권장되는 비밀레니얼 응답이 요약되어 있습니다. 
There is often tension between the educator and learner when the trainee seems to challenge the senior’s plan or authority. This friction is constantly evident in surgery, where there is a hierarchy in training programs and generations of surgical dogma. The nonmillennial teacher should recognize that, far from being insubordinate, the young learner is stretching his or her knowledge base. Challenging work systems in the hospital should be a positive aspect, and this enthusiasm for change needs to be anticipated and encouraged. Table summarizes examples of millennial behaviors and recommended nonmillennial responses.

잡한 학습 시스템에는 항상 어느 정도의 세대 간 마찰이 있을 것이다. 미 공군 내의 고위 지휘관들은 이미 이 젊은 세대를 합류시키기 위한 인식된 도전과 이점을 모두 인식하고 있다. 그들의 권고는 앞서 언급한 계획을 반영하는데, 지휘 계통의 [고위층과 소통하는 것]에 대한 [밀레니얼 세대의 겉보기에는 무신경한 태도를 용인하는 것]을 포함한다. 게다가, 일부 군 지휘관들 사이에서는 [젊은 신병들이 복무에 대한 헌신이 부족하다는 인식]이 있다. 밀레니얼 세대의 수술에 대한 헌신에 대해 나이든 외과의사가 비슷하게 분산시키는 것을 상상하는 것은 어렵지 않다. 간단한 해결책은 밀레니얼 세대의 학습자를 액면 그대로 받아들이고 그들을 끌어들이는 것이다. 학습자를 유능한 의사로 만드는 것은 시간, 인내심, 그리고 희생이 필요하다. 아마도 가장 선견지명이 있을 것이며, 저자들은 대부분의 세대간 긴장이 밀레니얼 세대의 부하들이 아니라 나이든 지휘관들과 그들이 지각한 경시에서 비롯된다고 지적한다. 이 기사의 끝은 외과 레지던트의 모토가 되어야 할 것을 요약한다. "우리 중 [누구 한 사람]도 [우리 모두]만큼 똑똑하지 않으며, 우리가 오늘의 … 문제를 해결하려고 노력할 때, 우리는 밀레니얼 세대가 우리 편에 있기를 바란다." 

There will always be some degree of intergenerational friction in complex learning systems. Senior commanders within the United States Air Force have already recognized both the perceived challenges and benefits to bring this younger generation into the fold.24 Their recommendations echo the aforementioned scheme, including tolerating millennials’ seemingly cavalier attitudes toward communicating with people high up in the chain of command. Moreover, there is a perception among some military commanders that younger recruits lack a commitment to the service. It is not difficult to imagine an elder surgeon similarly casting dispersions on the millennial generation’s commitment to surgery. The simple solution is to accept the millennial learner at face value and bring him or her into the fold. Molding a learner into a competent surgeon takes time, patience, and sacrifice. Perhaps most prescient, the authors note most inter-generational tension stems from older commanders and their perceived slights, not the millennial subordinates. The ending of the article summarizes what should be the motto of any surgical residency, “None of us is as smart as all of us, and as we try to tackle today's … problems, we want the millennials on our side.”24

수술의 몰락을 대변하기는커녕, 밀레니얼 세대는 앞으로 수십 년 동안 안전한 수술의 맨틀을 짊어질 것이다. 우리 중 누구도 신기술이 의료 교육에 미친 영향을 간과할 수 없지만, 기성세대와 젊은 세대 사이의 실질적이지만 극복할 수 없는 성격 차이를 인식하는 것이 훨씬 더 중요하다.

  • [비디오 수업과 시뮬레이션]은 수술 프로그램을 위한 귀중한 교육 도구이지만, 헌신적인 외과 의사 교육자들과 [직접 일하는 것을 대체할 수 있는 것은 없다].
  • 밀레니얼 세대가 아닌 교사는 [직접적이고 빈번한 피드백]을 통해 [어린 학습자들의 수준에 맞는 의사소통]을 위해 노력해야 한다.
  • [밀레니얼 세대의 야망]은 무례함으로 오인되어서는 안 되며, [현상을 개선하기 위한 열망]으로 여겨져야 한다.
  • 마지막으로, 수술 지도자들은 그들의 밀레니얼 세대 전공의들이 그들 자신과 그들이 [직면한 의료 시스템에 도전하도록 격려]해야 한다.

Far from representing the downfall of surgery, millennials will carry the mantle of safe surgery for decades to come. Although none of us can overlook the impact new technology has had on medical education, it is even more important to recognize the substantial, but not insurmountable character differences between older and younger generations.

  • Video lessons and simulations are invaluable teaching tools for surgery programs, but nothing is a substitute for working directly with dedicated surgeon educators.
  • The non-millennial teacher should strive to communicate on the young learners’ level through direct, frequent feedback.
  • Millennial ambition should not be mistaken for disrespect, but a desire to improve the status quo.
  • Lastly, leaders in surgery should encourage their millennial residents to challenge themselves and the health care systems they encounter.

Surgery. 2020 Feb;167(2):265-268. doi: 10.1016/j.surg.2019.05.028. Epub 2019 Jul 11.

The millennials have arrived: What the surgeon educator needs to know to teach millennials

Affiliations collapse

1Department of Surgery, University of Texas Health Science Center at San Antonio, San Antonio.

2Department of Surgery, University of Texas Health Science Center at San Antonio, San Antonio. Electronic address: kempenich@uthscsa.edu.

PMID: 31303325

DOI: 10.1016/j.surg.2019.05.028

Abstract

Numerous authors have described the millennial generation, defined as a cohort of people born between the early 1980s and late 1990s, as unique from preceding generations, such as Generation X and the baby boomers. Many surgical educators generally belong to elder generations, and there is some concern that intergenerational differences may be source of friction between teacher and learner. There is renewed interest in both addressing pedagogic strategies to train millennial surgery residents and providing the nonmillennial surgeon educator with instruction techniques best suited for millennials. However, surgical educators sometimes encounter or propagate uncertainties, conflicts, or stereotypes regarding millennial characteristics and ideal teaching strategies. We review the relevant literature regarding intergenerational teaching strategies as they pertain to training millennial surgery residents.

의학교육은 Z세대에 준비되었는가? (J Grad Med Educ. 2018)
Is Medical Education Ready for Generation Z?
Jodie Eckleberry-Hunt, PhD, ABPP 
David Lick, MD
Ronald Hunt, MD

 

시그는 의대를 고려하고 있는 21살이다. 힘든 일에 익숙해진 그는 컴퓨터 공학을 전공하면서 대학에서 모든 A를 받았다. 시그는 다른 사람들의 삶에 변화를 주기 위해 의미 있는 무언가를 하기를 갈망한다. 그는 의대와 관련된 엄청난 빚을 지게 되는 것에 대해 자신감에 마비된 기분이다. 그는 또한 관련성이 없어 보이는 수업을 듣는 것을 싫어한다. 의과대학 4년은 영원한 것처럼 보이고, 그 다음엔 레지던트가 있다. 시그는 그렇게 어려운 결정에 직면한 적이 없었다. 그것이 그의 수면을 방해하고 있다. 한편으로는, 그는 학사 학위로 잘 살 수 있지만, 그 일이 만족스러울까요? 반면에, 그는 더 많은 빚을 지고, 잠재적으로 더 즐거운 일을 하면서 7년 또는 그 이상의 의학 교육에 전념할 수 있다. 시그는 또한 의사들 사이에서 불만과 소진에 대해 많이 들었다. 시그는 부모님과 이야기를 나누는데, 부모님의 조언을 중요시한다. 그는 최선의 결정을 내리기 위해 잠시 휴식을 취할 것이다. 그는 서두르지 않는다. 
Sig is a 21-year-old who is considering medical school. Accustomed to hard work, he has received all As in college, while majoring in computer engineering. Sig longs to do something meaningful—to make a difference in the lives of others. He feels paralyzed with self-doubt about incurring massive debt associated with medical school. He also dislikes the idea of taking courses that don't seem relevant. Four years of medical school seems like an eternity, and then there is residency. Sig has never faced such a hard decision. It is disrupting his sleep. On one hand, he could make a good living with his bachelor's degree, but will the job be satisfying? On the other hand, he can commit to 7 or more years of medical education, with more debt, but potentially more enjoyable work. Sig has also heard a lot about dissatisfaction and burnout among physicians. Sig talks with his parents, whose advice he values. He will take some time off to make the best decision. He is in no hurry.

시그는 "Z세대"를 나타냅니다. 비록 Z세대의 구성원들이 대학원 의학 교육을 수년 앞두고 있지만, 전문가들은 이 코호트에 대한 사전 계획을 시작하는 것이 너무 이르다고 제안한다. 스틸먼과 스틸먼은 교육자들이 최고의 인재를 모집하고 유지하기를 원한다면 학습자의 선호에 맞게 경험을 맞춤화할 것을 추천했다. Z세대에 적응하는 것은 의학 교육계에 어려운 일로 판명될 수 있다.

Sig represents “Generation Z.” Although members of Generation Z are years away from graduate medical education, experts suggest that it is not too early to start proactively planning for this cohort.1,2  Stillman and Stillman2  recommended that if educators want to recruit and retain the best and brightest, they will customize experiences to learners' preferences. Adapting to Generation Z may prove challenging for the medical education community.

Z세대는 누구인가?
Who Is Generation Z?

Z세대와 i세대라는 용어는 대략 1995년에서 2012년 사이에 태어난 사람들을 설명하기 위해 사용된다. 비록 사람들의 집단에 대해 포괄적인 진술을 하는 것은 문제가 될 수 있지만, 교수 관행을 알리기 위해 코호트를 설명하는 것은 이점이 있다. 삶의 경험으로 볼 때, Z세대는 9/11 당시에 꽤 어렸다. 그러나, 그들은 이 테러 공격의 후유증과 끝이 없어 보이는 계속되는 전쟁과 국제 분쟁을 잘 알고 있다. 그들은 또한 잦은 자연재해, 학교폭력, 신원도용, 온라인 해킹, 왕따 등으로 세상을 무서운 곳으로 보는 데 익숙하다. Z세대는 그들의 부모들이 일자리를 잃고 급여가 회복되지 않는 대공황(2007-2009)을 겪는 것을 보았다. 그들은 항상 인터넷과 소셜 네트워킹을 가진 최초의 세대이다; 기술은 어디에나 있었다. 동시에 Z세대는 역사상 인종, 성별, 성적 지향 면에서 가장 다양한 세대이다.  
The terms Generation Z and the iGeneration are used to describe individuals born roughly between 1995 and 2012.2,3  Although it can be problematic to make sweeping statements about groups of people, there is benefit to describing cohorts in order to inform teaching practices.4  In terms of life experience, Generation Z was fairly young at the time of 9/11. However, they are well aware of the aftereffects of this terrorist attack and the ongoing wars and international conflicts that seemingly have no end.5,6  They are also accustomed to seeing the world as a scary place with frequent natural disasters, school violence, identity theft, online hacking, and bullying.5  Generation Z saw their parents go through the Great Recession (2007–2009), when jobs were lost and salaries never recovered.6  They are the first generation to have always had the Internet and social networking; technology has been ubiquitous.5  At the same time, Generation Z is the most diverse generation in history in terms of race, gender, and sexual orientation.2,3,5,6 

Z세대는 [적극적인 문제 해결사], [독립 학습자], [사회 정의, 공정, 평등, 환경 옹호자]로 구성되어 있다. 이 집단은 다른 사람들을 기쁘게 하고 힘든 일을 통해 출세하려는 욕망에 의해 동기가 부여된다. 그들은 부모님으로부터 인생에는 승자와 패자가 있고, 열심히 일한 결과 승자가 이긴다는 말을 들었다. 
Generation Z consists of active problem solvers, independent learners, and advocates for social justice, fairness, equality, and the environment.5  This cohort is motivated by a desire to please others and get ahead through hard work.2  They were told by their parents that in life there are winners and losers, and winners win as a result of hard work.2 

트웬지는 1960년대로 거슬러 올라가는 1,100만 명의 미국인들을 대상으로 한 전국적인 조사를 바탕으로 [Z세대가 성장을 서두르지 않고, 재정적, 물리적 안전에 대해 불안하며, 더 고립되어 있다]고 묘사했다. 이전 세대와 비교하여, Z세대의 구성원들은 그들의 [부모들과 더 가깝고 더 신뢰할 수 있는 관계]를 가지고 있는데, 그들은 일반적으로 그들에게 긍정적인 피드백과 부정적인 피드백을 모두 주었다. 결과적으로 Z세대는 권위 있는 인물들을 존경하고 긴밀한 멘토링 관계를 원하는 경향이 있다. 그들은 정직함을 기대하고 만약 그들이 듣고 참여한다면 지시에 잘 반응할 것이다.  
Based on national surveys of 11 million Americans dating back to the 1960s, Twenge3  described Generation Z as being in no hurry to grow up, insecure about financial and physical safety, and more insulated. Compared with previous generations, members of Generation Z have a closer and more trusting relationship with their parents, who have typically given them both positive and negative feedback.2  As a result, Generation Z tends to look up to authority figures and want close mentoring relationships.5  They expect honesty and will respond well to direction if they feel heard and are engaged.2 

유비쿼터스 인터넷
The Ubiquitous Internet

Z세대는 이전 세대보다 전자제품과 인터넷에서 더 많은 시간을 보냈다. 결과적으로 얼굴을 맞대고 교제하는 시간이 줄어들었고, 보고서는 더 높은 수준의 불행을 보여주었다. 청소년들이 소셜미디어를 많이 이용할수록 정신건강의 질이 떨어지고 삶의 만족도가 떨어지는 불행하고 외로움을 느낀다고 보고할 가능성이 높다. 우울증과 자살 생각의 발생률은 화면 시간과 소셜 미디어 노출에 따라 증가한다. 
Generation Z has spent more time with electronics and on the Internet than any previous generation. A result has been less time socializing face-to-face, with reports showing higher levels of unhappiness.3  The more teens use social media, the more likely they are to report feeling unhappy and lonely, with lower quality of mental health and lower life satisfaction. The incidence of depression and suicidal ideation increases with screen time and social media exposure.3 

스틸먼과 스틸먼은 Z세대가 [잊혀지고 놓치는 것FOMO에 대한 두려움이 강하다]고 언급했다. 이것은 우울증, 불안, 수면 부족, 그리고 때때로 부적절함에 대한 극단적인 감정으로 이어질 수 있다. 결과적으로 Z세대 구성원들은 기술과 단절하는 데 어려움을 겪는다. 그들은 이전 세대보다 정서적으로 회복력이 떨어지고 불안정할 수 있으며, 그 이유에 대한 통찰력이 부족하다. 그들의 형성기 동안 어른들에게 과도하게 의존하기 때문에, 그들은 성인을 위한 준비가 덜 되어있을 수 있다. Z세대는 전자 통신과 소셜 미디어를 사용하도록 이끌릴 수 있지만, 이것이 외롭고 고립된 느낌에 기여한다는 것을 알지 못한다
Stillman and Stillman2  noted that Generation Z has a strong fear of missing out. This can lead to depression, anxiety, sleep deprivation, and occasionally extreme feelings of inadequacy. As a result, members of Generation Z have difficulty disconnecting from technology.2  They may be less emotionally resilient and more insecure than previous generations, and they lack insights into reasons for this.3  Because of their overreliance on adults during their formative years, they may be less well prepared for adulthood.3  Generation Z may be drawn to use electronic communication and social media yet be unaware that this contributes to feeling lonely and isolated.3 

알라 카르테 교육
“A la Carte” Education

Z세대의 구성원들은 맞춤화, 즉 교육에 대한 "맞춤식" 접근법을 기대한다. 이 세대는 대학 교육을 위해 과도한 빚을 지는 것이 가치가 있다고 보지 않으며, 일부 과정은 비현실적이거나 그들의 궁극적인 목표와 무관하다고 볼 수도 있다. 이들은 시간과 자원을 최대한 활용할 수 있는 [맞춤형 환경]을 기대합니다. Z세대는 맞춤형 피드백뿐만 아니라 더 많은 실제 경험과 현장 학습을 선호한다. 그들은 강의를 듣는 데 오랜 시간을 소비하지 않는 것을 선호한다. 대신, 그들은 소셜 미디어와의 경험을 반영하여 현재 성공하기 위해 무엇이 필요한지 알고 싶어한다. 
Members of Generation Z expect customization, or an “a la carte” approach to education.5  This generation does not see the value in going into excessive debt for a college education, and may view some courses as impractical or irrelevant to their ultimate goals. They expect customized experiences for the best use of their time and resources.2  Generation Z also prefers more hands-on experience and on-the-job learning, as well as customized feedback.2  They prefer not to spend long periods of time listening to lectures. Instead, they want to know what is needed to succeed in the moment,2  mirroring their experiences with social media.5 

Z세대는 근면하지만 자신감이 떨어지고 불안과 불안으로 [질문을 할 가능성이 적다]. 그들은 실수를 하고 그것들로부터 배울 수 있는 격려가 필요하다. 그들은 특히 기술을 가지고 그들만의 속도로 독립적으로 일하는 것에 편안하다; 그들은 또한 그것이 적용되고 창의성을 포함한다면, 그룹으로 일하는 것을 즐긴다. 
Generation Z is hardworking but less self-confident and less likely to ask questions due to insecurity and anxiety.3  They need encouragement to make mistakes and to learn from them.2  They are comfortable working independently at their own pace, especially with technology5 ; they also enjoy working in groups, so long as it is applied and involves creativity.5 

Z세대는 [온 디맨드 정보를 얻는 데 익숙]하기 때문에, 과제를 완료하기 위해 마지막 순간까지 미루고 [강사가 24시간 내내 질문을 받을 수 있기를 기대]할 수 있습니다. 그들은 정보를 찾는 데 능숙하지만, 타당성 증거를 위해 정보를 분석하지 않을 수도 있다. 그들은 정보를 비판적으로 평가하는 기술이 부족하며, 참여적인 방법(예: 저널링, 토론, 성찰)을 통한 이러한 교육이 필요하다. 교육자는, [과제 완료를 위한 이정표를 설정]할 뿐만 아니라, [정확한 증거를 찾고 평가하는 데 도움을 줘야할 필요]가 있을 수 있습니다. 과제와 관계없이 방법은 짧은 주의 지속 시간에 맞춘 참여와 상호작용을 촉진해야 한다. 유용하게 보이는 한 가지 방법은 교실을 뒤집는 것이다. 여기서 학습자들은 팀워크, 토론, 문제해결, 성찰을 통해 학습의 적용을 위한 그룹으로 만나기 전 주제에 대해 읽는다. 
Because Generation Z is accustomed to getting information on demand, they may procrastinate until the last minute to complete assignments and expect instructors to be available 24/7 for questions.5  Although they are adept at finding information, they may not analyze it for validity evidence.5  They lack skills to critically evaluate information and will require this training via engaging ways (eg, journaling, discussion, reflection).57  Educators may need to assist them in finding and evaluating evidence that is accurate, as well as setting milestones for assignment completion.5  Regardless of the task, methods should promote engagement and interaction tailored to short attention spans.7  One method that appears useful is the flipped classroom.5  Here, learners read about a topic before meeting as a group for application of learning through teamwork, debate, problem solving, and reflection.4,8,9 

유연한 작업 환경
Flexible Workplace

Z세대는 기술이 있으면 어디서든 일할 수 있고, 따라서 사무실에 얽매이고 싶지 않다고 믿는다. 비록 그들이 대면 의사소통을 선호하지만, 그들은 스카이프도 마찬가지로 작동한다고 믿는다. Z세대 구성원은 집중 시간이 짧고 멀티태스킹을 수행하기 쉬우며 다운타임을 관리하는 데 어려움을 겪을 수 있습니다.  
Generation Z believes that, with technology, it is possible to work from anywhere, and thus they do not want to be tied to an office.2  Although they prefer face-to-face communication, they believe Skype works just as well.2  Generation Z members tend to have short attention spans,6  are prone to multitasking,5  and may struggle to manage downtime.2 

Z세대는 헬스클럽 회원권, 건강한 음식 선택권, 건강한 근무 환경을 제공하는 등 [건강한 실천을 촉진하는 조직에 매력]을 느낄 것이다. 그들은 자신들이 자기 표현으로 보는 문신과 신체 피어싱을 의무적으로 다루지 않는 조직을 찾을 수도 있다. 
Generation Z will be attracted to organizations that promote healthy practices, such as offering health club membership, healthy food choices, and a healthy working environment.2,5  They may look for organizations without mandates to cover tattoos and body piercings, which they view as self-expression.6 

의료 교육 고려 사항
Medical Education Considerations

Z세대의 위 프로필에 기초하여, 미래의 대학원 의학 교육 코호트를 가르칠 교육자들은 현재의 기술 사용, 의사소통 및 피드백, 교육 방법 및 웰빙을 고려해야 한다(예 요약은 표 참조). 의학교육의 역사적 변화는 천천히 일어났고 종종 갈등을 동반하기 때문에 지금 잠재적인 교육학적 변화를 고려하는 것이 중요하다.
Based on the above profile of Generation Z, educators who will teach this future graduate medical education cohort should consider current use of technology, communication and feedback, educational methods, and wellness (see the table for a summary of examples). It is important to contemplate potential pedagogical changes now, as historically changes in medical education have occurred slowly and frequently are accompanied by conflict.

기술
Technology

무엇보다도, 이 세대는 교육과 환자 치료에 있어 최신 기술을 기대할 것이다. 학습자는 병원이나 진료소 이외의 장소에서 차트를 작성할 수 있기를 원할 것이며, 교육자는 기술을 외부 학습에 통합하는 창의적인 방법을 고려해야 한다. 홉킨스 외 연구진은 팟캐스트, 웹사이트, 시뮬레이션, 유튜브의 대화형 튜토리얼 및 인터넷 기반 교육 게임의 사용을 제안했다. 교육자들은 또한 채용, 의사소통, 학습 "진주" 공유를 위해 트위터와 텀블러와 같은 소셜 미디어 사이트를 사용할 수 있다 페이스북은 교육 토론을 촉진하거나 일정과 활동 업데이트를 게시하는 데 사용될 수 있다. 이것은 전통적인 교수법과 의사소통 방법에서 큰 전환을 나타낼 수 있다. 긍정적인 측면은 Z세대가 원격 의료와 같이 대면 접촉을 수반하지 않는 대체 형태의 환자 치료를 수용할 가능성이 높다는 것이다. 그들은 새로운 기술을 시험하려는 조직에 혁신적인 사고와 탐구 정신을 가져다 줄 것이다.
First and foremost, this generation will expect up-to-date technology in education and patient care. Learners will want to be able to chart from places other than the hospital or clinic, and educators should consider creative ways to incorporate technology into off-site learning. Hopkins et al4  suggested the use of podcasts, websites, simulations, interactive tutorials on YouTube, and Internet-based educational games. Educators may also use social media sites, such as Twitter and Tumblr, for recruitment, communication, and to share learning “pearls.” Facebook can be used to promote educational discussions or post schedule and activities updates.4  This may represent a major diversion from traditional methods of teaching and communication. A positive aspect is that Generation Z likely will embrace alternative forms of patient care that do not involve face-to-face contact, such as telehealth. They will bring innovative thinking and a spirit of exploration to organizations willing to test new technology.

의사소통
Communication

Z세대는 전자 통신에 너무 많은 시간을 소비했기 때문에, 이것은 대면 통신 기술에 영향을 미칠 수 있다. 프로그램은 거주 [초기에 학습자의 의사소통 능력을 평가]하고, [이 역량에 어려움을 겪는 사람들과 함께 일할 준비]가 되어 있어야 한다. [역할극, 직접 관찰 및 자기반성]은 유용한 교정 방법이 될 수 있지만, [성과에 대한 즉각적인 피드백]은 필수적이다. Z세대는 [자신이 어떻게 하는지를 "아는데까지" 딜레이가 생기는 것]에 대해 참을성이 좋지 않다. 교육자들은 매우 명확한 지침을 제공해야 하며 이러한 학습자들이 이전 세대에서 주를 이루었을 수도 있는 보다 미묘한 형태의 피드백을 습득할 수 있다고 가정하지 말아야 한다. 
Because Generation Z has spent so much time with electronic communication, this may affect in-person communication skills. Programs should assess learners' communication skills early in residency and be prepared to work with individuals who struggle with this competency. Role playing, direct observation, and self-reflection may prove useful remediation methods, but immediate feedback on performance will be essential. Generation Z will have poor tolerance for delays in “knowing” how they are doing. Educators will need to provide very clear instructions and not assume that these learners can pick up more subtle forms of feedback, which may have been the mainstay in previous generations.

의사소통 문제는 환자 치료 이상으로 확대될 가능성이 높다. 이 새로운 세대는 교직원들이 온 디맨드로 참석할 수 있고 스카이프를 통해 회의에 참여할 수 있기를 기대할 수 있다. 그들은 그들이 모르는 것을 선생님들과 멘토들에게 소통하는 것을 두려워할지도 모른다. 교수진은 [경계와 가용성에 대해 명확하게 논의된 기대]와 함께 강력한 멘토링 관계에 참여할 준비가 되어 있어야 한다.
Communication issues will likely extend beyond patient care. This new generation may expect faculty to be available on demand and to participate in meetings via Skype. They may be afraid to communicate to their teachers and mentors what they do not know. Faculty should be prepared to engage in strong mentoring relationships with clearly discussed expectations regarding boundaries and availability.

교육 방법
Educational Methods

Z세대는 이용 가능한 선택지 세트에서 선택하는 것을 넘어서, [교육에 유연성을 기대]할 것이다. 그들은 [자신들의 경험을 디자인하고, 가소성을 허용하고 장려하는 프로그램]을 찾고 싶어할 것이다. 그들은 심지어 [즉각적인 이익이 명확하지 않아 보인다면, 필요한 로테이션이나 경험의 정당성을 요구]할 수도 있다. 기관들은 이런 경험에 대한 근거를 "그냥 원래 그런거야"라고 말하기보다는 분석하고 설명할 준비가 되어 있어야 한다
Generation Z will expect flexibility in their education beyond choosing from a set of available electives. They will want to design their experiences and seek programs that allow and encourage plasticity. They may even ask for justification of required rotations or experiences when the immediate benefit is not obvious. Institutions should be prepared to analyze and explain the rationale for these experiences rather than say, “That's just the way it is.”

프로그램은 전통적인 교훈적 강의 대신 거꾸로 교실처럼 문제 해결을 통합하는 능동적인 학습 방법으로 추세를 가속화해야 한다. 또 다른 예는 모든 연습생들이 논문의 일부 또는 전부를 분석하는 그룹 저널 클럽이다. 
Instead of traditional didactic lectures, programs should accelerate the trend toward active learning methods that incorporate problem solving, such as the flipped classroom. Another example is the group journal club, in which all trainees analyze a part or all of a paper.

의료 교육 교육 교육에는 아직 혁신의 여지가 많다. Z세대에게 창의성은 직접 참여하고 성찰하고 토론하는 표준이 되어야 한다. 교수진은 또한 지식을 보급하고 대화를 촉진하기 위해 소셜 미디어에서 사용 가능한 플랫폼을 사용하는 데 편안해야 한다
There is still a lot of room for innovation in medical education instruction. For Generation Z, creativity should be the norm, with hands-on participation, reflection, and discussion. Faculty will also need to be comfortable using available platforms in social media to disseminate knowledge and facilitate conversations.

웰니스
Wellness

Z세대는 [사회 변화에 영향을 미치는 의미 있는 일]을 하고 싶어하고, [사회적으로 참여하는 기관과 연계되기]를 원하며, [경쟁적으로 보상받기]를 원한다. 채용 측면에서, 지역사회와 협력하고, 사회 정의를 옹호하고, 세계 보건을 통합하는 기관이 이 그룹에 더 매력적일 수 있다. 학습자들은 또한 웰니스 프로그램, 피트니스 시설, 그리고 건강한 음식이 있는 건강한 직장 환경을 찾을 것이다. 간단히 말해서, 그들은 건강을 옹호하는 의료 기관에서 일하기를 원한다.
Generation Z wants to do meaningful work that affects social change, they want to be aligned with socially engaged institutions, and they want to be competitively compensated.2  In terms of recruiting, institutions that partner with communities, advocate for social justice, and incorporate global health may be more attractive to this group. Learners also will be looking for healthy work environments with wellness programs, fitness facilities, and healthy food. In short, they want to work for a health care organization that stands up for health.

회복력과 웰빙은 현재 의학 교육에서 뜨거운 주제이다. 다가오는 학습자 그룹은 정서적 건강을 유지하기 위해 훨씬 더 큰 도전을 제기할 수 있다. 거주 프로그램은 어려움을 겪고 있는 학습자를 식별하고 협력할 수 있는 방법뿐만 아니라 진정한 웰빙 홍보 프로그램을 마련해야 한다.
Resilience and well-being are currently hot topics in medical education. This upcoming group of learners may pose an even greater challenge for maintaining emotional health. Residency programs should have authentic wellness promotion programs in place as well as methods to identify and work with struggling learners.

중요한 일시 정지
An Important Pause

이러한 변화에 대한 요구에도 불구하고, 가르시아와 필립은 완전한 개혁 이전에 잠시 중단할 것을 제안했다. 학생들의 수업 방법과 학습 선호도를 정기적으로 평가하는 것은 중요하지만, 가이딩 페다고지나 강력한 증거 기반 없이 새로운 기술을 통합하는 것과 관련된 위험이 있다. 기술은 교육을 강화해야지, 교육의 내용을 훼손해서는 안 된다. 그것은 교육 환경에서 새로운 기회를 제공하지만, 교육자들은 그것이 어떻게 통합되는지에 대해 사려 깊어야 한다. 기술은 절대로 교사들을 대신할 수 없다. 
Despite these calls for change, Garcia and Philip10  suggested a pause before a complete reform. While it is important to regularly evaluate teaching methods and learning preferences of students, there are dangers associated with incorporating new technology without a guiding pedagogy and strong evidence base. Technology should enhance education, not detract from the content of instruction.10  It offers new opportunities in educational settings, but educators must be thoughtful about how it is incorporated.10  Technology is never a replacement for engaged teachers.10 

의학 교육에 있어서, 질문은 "테크놀로지의 발전이 더 나은 환자 치료로 이어질까, 더 나은 성과 점수로 이어질까, 아니면 둘 다 아닐 것인가?"여야 한다. 많은 저자들은 조직이 [단순히 테크놀로지에 투자하기]보다는, [테크놀로지를 더 효과적으로 사용하기 위해 교수진 개발에 투자]할 필요가 있다고 제안한다. [테크놀로지가 수준 이하의 교육자들이 더 나은 교사가 되도록 도울 수 있다고 믿는 것은 순진한 생각이다]. 교수진이 점점 더 [교육적 책임과 경쟁하는 임상적 책임]을 가지고 있다는 점을 고려할 때, 아마도 이것이 미래의 가장 큰 도전일 것이다. Z세대와 관련된 교육 문제의 출현은 지속적으로 상당한 교수 시간과 창의성을 요구할 것이다.
For medical education, the question must be, “Do technological advances lead to better patient care, better performance scores, or neither?” Many authors suggest that, rather than just investing in technology, organizations need to invest in faculty development to more effectively use technology.6,9  It is naive to believe that technology can help subpar educators become better teachers.10  Perhaps this is the biggest future challenge, given that faculty have clinical responsibilities that increasingly compete with educational responsibilities. The emergence of Generation Z–associated educational issues will require significant faculty time and creativity, on an ongoing basis.

좋은 소식/나쁜 소식
Good News/Bad News

좋은 소식은 우리가 Z세대 의사를 성공적으로 모집, 훈련 및 보유하기 위해 의료 교육을 바꾸는 것에 대해 생각할 시간이 조금 있다는 것이다. 나쁜 소식은 우리가 이러한 변화를 만들 시간이 조금밖에 없다는 것이다. 역사적으로 의학 교육은 개혁에 저항해 왔습니다. 그리고 그럴 만한 이유가 있습니다. 경로의 끝에는 환자들이 있습니다. 우리는 최상의 치료 전달을 촉진하는 최고의 교육 도구를 찾아야 합니다. 항상 개선의 여지가 있지만, 변화는 단순히 전통이 아니라 이론에 의해 이끌려야 한다. 더욱이, 현재 의사들의 진로 불만에 기여하는 어려움들이 해결될 때까지, Z세대 내 최고 성과자들을 모집하고 유지할 가능성은 낮다.
The good news is that we have a little time to be thoughtful about changing medical education to successfully recruit, train, and retain Generation Z physicians. The bad news is that we have only a little time to make these changes. Historically, medical education has been resistant to reform—and for good reason. At the end of the pathway are patients; we need to find the best teaching tools that promote the best delivery of care. There is always room for improvement, but change should be guided by theory and not simply tradition. Moreover, until the difficulties that contribute to current career dissatisfaction among physicians are addressed, it is not likely that the highest performers within Generation Z will be recruited and retained.

 


J Grad Med Educ. 2018 Aug;10(4):378-381. doi: 10.4300/JGME-D-18-00466.1.

Is Medical Education Ready for Generation Z?

PMID: 30154963

PMCID: PMC6108364

DOI: 10.4300/JGME-D-18-00466.1

"요즘 애들": 밀레니얼 학습자에 대한 우리의 대화 다시 생각하기 (Med Educ, 2019)
“Kids these days”: Reconsidering our conversations about Millennial learners
Glenn Regehr1,2

Juaregui 등이 밀레니얼 학습자의 신화에 대한 그들의 논문에서 지적했듯이, 현재 우리 보건의료계열 학습자들의 "독특한" 교육적 요구를 해결하려는 노력은 "세대적 타자화" 과정이 공식화된 것에 불과할 수 있다. 실제로 우리 보건의료기관 복도와 건강관리일지 페이지에는 현 세대의 학습자들이 '예전 같지 않다'는 다양한 설명이 울려 퍼지는 것 같다. 그리고 적어도 우리의 저널에서는, 이것이 학습자로서 그들이 있는 곳에서 그들을 만나는 것에 대한 우려로 여겨지지만, 이러한 논의의 밑바탕에는 특정한 시선의 굴림과 "요즘 아이들"의 한숨이 깔려 있다는 느낌을 갖지 않을 수 없다. 
As Juaregui et al1 point out in their article on the myth of the Millennial learner, efforts to address the “unique” educational needs of our current health professional learners may be little more than a formalisation of the process of “generational othering”. Indeed, the hallways of our health care institutions and the pages of our health care journals seem to echo with various descriptions of how the current generation of learners is “not like we used to be”. And although, at least in our journals, this is couched as concern for meeting them where they are as learners, one cannot help but have the sense that underlying these discussions is a certain rolling of the eyes and a sigh of “Kids these days”.

물론, 세대 간의 차이는 새로운 것이 아니다. 모든 세대는 다음 세대에 대해 불평한다. 아마도 그의 제자들에 대한 우려가 후손들이 따를 것을 맹세하기로 한 히포크라테스의 결정의 근저에 놓여있을 것이다. 따라서 후아레귀 등의 부름에 귀를 기울여 다음 세대에 대한 이 영원한 불만의 근원을 탐구하고 다음과 같은 질문을 하는 것이 가치 있을 수 있다: 교육자인 우리가 어떻게 대화를 더 생산적인 방향으로 바꾸기 위해 "세대적 겸손"을 호출할 수 있을까요?
Of course, generational othering is not new. Every generation complains about the next. It may be that concerns regarding his own students lay at the root of Hippocrates’ decision to put in writing an oath for future generations to follow. Thus, heeding the call of Juaregui et al,1 it might be valuable to explore the source of this perennial complaint about the next generation and to ask: How might we, as educators, invoke “generational humility” to shift the conversation in a more productive direction?

아마도 (이번 호의 주제와 일치하여) 다가오는 각 세대에 대한 반복적인 불만의 원천 중 하나는 [개인적 안정stability의 신화]일 것이다. 우리는 모두 우리 [자신이 시간이 지남에 따라 연속성을 갖는 일관된 정체성을 가지고 있다]고 생각하기를 좋아한다. 그래서 우리는 우리의 현재 지혜와 행동 상태가 [경험과 시간의 어렵게 얻은 결과]라기보다는, (지금 그러하고, 과거에도 그랬던) 오래 지속된 것이라고 상상한다. 우리는 일반적으로 우리가 현재 학생들을 인식하는 것처럼 미성숙하고 순진하며 자기중심적이었다고 생각하는 것을 어려워한다. 그래서 우리는 그들이 우리가 그들 나이였을 때보다 더 나쁘다고 가정합니다.
Perhaps (in keeping with the theme of this issue of the journal) one source of the recurring complaints about each upcoming generation is the myth of personal stability. We all like to think of ourselves as having a coherent identity that has continuity over time. So we imagine that our current state of wisdom and demeanour is longstanding (as it is, so it always was) rather than being the hard-won result of experience and time. We generally struggle to conceive of ourselves as ever having been as immature, naïve and self-absorbed as we perceive our current students to be, and so we assume that they must be worse than we were at their age.

하지만, 이 후렴구의 또 다른 가능한 출처가 있는데, 그것은 우리의 학습자들뿐만 아니라 전문직 전체를 위해 중요할 수도 있다. 더글러스 애덤스는 그의 저서 "The Salmon of Double"에서 다음과 같이 주장한다:
However, there is another possible source of this refrain, one that might be important not only for our learners, but for the profession as a whole. In his book The Salmon of Doubt, Douglas Adams asserts:

여러분이 태어날 때 세상에 있는 모든 것은 평범하고 평범하며 세상이 돌아가는 방식의 자연스러운 부분일 뿐입니다. 당신이 15살에서 35살 사이에 발명된 것은 무엇이든 새롭고 흥미롭고 혁신적이며, 아마도 그 분야에서 경력을 쌓을 수 있을 것이다. 35세 이후에 발명된 것은 자연스러운 질서에 어긋나는 것이다.
Anything that is in the world when you're born is normal and ordinary and is just a natural part of the way the world works. Anything that's invented between when you're 15 and 35 is new and exciting and revolutionary and you can probably get a career in it. Anything invented after you're 35 is against the natural order of things.

사실, 사회는 끊임없이 변화하고 있다. 우리가 우리 자신과 학생들 사이에서 보는 차이점들은 부분적으로 그러한 [사회적 변화의 반영]이다. 35세 이상의 사람들에게, 그러한 변화는 어렵고 심지어 무서울 수도 있다. 나는 문자 메시지가 어떻게 우리 아이들의 철자와 문법 사용 능력을 파괴하는지에 대한 토론을 들은 적이 있는데, 그 동안 한 연사는 다음과 같은 취지의 논평을 했다:
Society is, in fact, constantly changing. The differences we see between ourselves and our students are, in part, reflections of that societal change. For those of us over the age of 35, such change can be difficult and even frightening. I was once listening to a debate about how texting was destroying our children's ability to spell and use grammar, during which one speaker offered a comment to the effect that:

우리는 항상 변화 속에서 잃어버리고 있는 것에 몰두한다. 왜냐하면 그것이 우리가 편안하게 느끼는 것이기 때문이다. 나는 첫 번째 동물이 바다를 벗어나 육지에 오르려고 발버둥쳤을 때, 다른 물고기가 아가미를 잃을 것이라고 초조해 했을 것이라고 추측한다. 하지만 결과적으로 우리가 얻은 것을 보세요. 
We are always preoccupied with what is being lost in a change because that is what we are comfortable with. I suspect that when the first animal struggled out of the ocean and on to land, the other fish fretted that it would lose its gills. But look what we gained as a result. 

수십 년 동안, 의학은 상당히 발전해 왔다. 이것은 기술적인 관점에서 명백하지만, 전문성의 영역에서도 사실이다. 더 이상 의사가 환자의 남편과 그녀의 참여(또는 최소한의 동의) 없이 최선이라고 생각하는 수술 절차를 논의하는 것은 적절하지 않다고 여겨진다. 그러나 [전문적인 관행의 표준]이 이렇게 바뀌게 된 것이 [모든 전문가들이 어느 날 갑자기 자신들이 하고 있는 일이 비전문적이고, "옳은" 일에 대한 새로운 인식을 수용하려면 변화가 필요하다는 것을 깨달았기 때문에] 발생하지는 않았을 것이다. [변화하는 사회적 기대에 처음으로 반응]하고, 여성에게 자신의 건강 관리에 대해 직접적으로 이야기하기 시작한 의사들은 [전통적인 접근 방식에 익숙해진 사람들]에게는 전문적이지 못한 것으로 보였을 가능성이 더 높다.
Over the decades, medicine has evolved substantially. This is obvious from a technological perspective, but it is also true in the sphere of professionalism. No longer is it considered appropriate for a physician to discuss with a patient's husband the operative procedure they think is best for her without her participation (or at least consent). However, this change in the standards of professional practice is unlikely to have occurred because every member of the profession realised one day that what they were doing was unprofessional and required to be altered to accommodate their new awareness of the “right” thing to do. It is more likely that those physicians who first began to respond to shifting societal expectations and to talk to women directly about their own health care were seen as unprofessional by those who were accustomed to the traditional approaches.

우리가 하는 모든 것이 이제는 "옳기" 때문에, 의료 전문성이 진화를 멈췄다(또는 멈춰야 한다)고 가정하는 것은 어리석은 일이다. 의학이 사회적 요구에 계속 반응하는 상태에 있으려면, 의학이 놓여있는 더 넓은 문화와 함께 진화해야 한다. 그러나 얼마 동안 존재해온 우리들 중 누군가는 자연의 질서에 반하는 것과 같은 변화를 경험할 것이다. 그러므로, 우리는 우리가 사회에 반응할 수 있도록 새로운 세대의 학습자들에게 의존해야 한다. 우리의 불편함에도 불구하고 그 직업을 계속 발전시키는 것은 그들의 책임이다.
It would be foolish to assume that medical professionalism has (or should have) stopped evolving, that we now have everything “right”. If medicine is to stay responsive to societal needs, it must evolve with the broader culture in which it is embedded. Those of us who have been around for some time, however, may well experience such changes as being against the natural order. Hence, we must count on our new generations of learners to keep us responsive to society. It is their responsibility to keep the profession evolving despite our discomfort.

그렇긴 하지만, 전통은 목적을 위해 존재한다. 보존되어야 할 핵심 가치들이 있다. 사실, 건강 전문 교육의 중요한 측면은 우리를 직업으로 만드는 [핵심 가치, 사고 방식과 지식의 전달]입니다. 그래서 교육자로서 우리가 씨름해야 하는 진짜 문제는 [어떻게 하면 변화와 전통 사이의 긴장을 효과적으로 균형을 맞출 수 있는가] 하는 것입니다. 무엇이 진화해야 하고 무엇이 진화해서는 안 되는가? 콜린스와 포라스의 작품을 그들의 책 "Build to Last: 비전을 가진 기업의 성공적인 습관"에서 다음과 같이 말한다:
That said, tradition exists for a purpose. There are core values that ought to be preserved. In fact, a critical aspect of health professional education is the transmission of those core values, the ways of thinking and knowing that make us who we are as a profession. So the real question with which we must grapple as educators is about how we can effectively balance this tension between change and tradition. What should evolve and what should not? Here, we might draw on the work of Collins and Porras in their book
 Built to Last: Successful Habits of Visionary Companies, in which they state:

비전이 있는 기업은 시대를 초월한 핵심 가치와 지속적인 목적(절대 변경되어서는 안 됨)을 운영 관행 및 비즈니스 전략(변화하는 세상에 대응하여 끊임없이 변화해야 함)과 구별합니다.
Visionary companies distinguish their timeless core values and enduring purpose (which should never change) from their operating practices and business strategies (which should be changing constantly in response to a changing world).3

그러나 Collins와 Porras3가 지적했듯이, 우리의 [실천은 우리의 가치의 구현]이며, 때로는 [가치 자체로 오인]되기 때문에 [무엇이 가치이고 무엇이 실천인지를 인식하는 것이 종종 어렵다]. 이런 점에서, 학습자들과 그들이 때때로 시행하는 [불편한 행동]들이 우리의 가장 큰 자산이 될 수 있다. 예를 들어, [복장]은 종종 전문직업성의 문제로 간주된다. 그러나 "전문적으로 옷을 입는" 것이 무엇을 의미하는지는 시간이 지남에 따라 변한다. 한때 전문적인 복장의 특징이었던 넥타이는 현재 많은 상황에서 부적절한 형식적인 것으로 간주된다. 따라서 학생이 반사적으로 행동을 꾸짖기보다는 부적절하게 평상복 차림으로 진료소에 도착했을 때, [어떤 가치가 침해당했다고 느끼는지에 대해 성찰하는 시간]을 갖는 것이 가치 있을 수 있다.

  • 복장 규정은 [전문직 정체성과 개인적 정체성 사이의 경계를 존중하는 것]에 관한 것인가? 
  • 전문가가 어떻게 옷을 입는지에 대한 [환자의 기대를 존중하는 것]에 관한 것인가? 
  • 아니면 [그냥 "맞추기"에 관한 것]인가요? (우리처럼 되고 분명히 "다른" 사람이 되지 않는 것인가요?

As Collins and Porras3 point out, however, it is often difficult to recognise what is a value and what is a practice because our practices are the embodiment of our values, and sometimes are mistaken for the values themselves. In this regard, our learners and the discomfiting behaviours they sometimes enact may be our greatest asset. For example, modes of dress are often seen as an issue of professionalism. Yet what it means to “dress professionally” changes over time. Ties, once a hallmark of professional dress, are in many contexts now considered inappropriately formal (and more than a little questionable from the perspective of infection control). So when a student arrives at one's clinic in inappropriately casual dress, rather than reflexively chastising the behaviour, it might be worthwhile taking the time to reflect on what value one feels has been violated.

  • Is the dress code about respecting the boundaries between professional and personal identity?
  • Is it about respecting patient expectations of how a professional dresses?
  • Or is it just about “fitting in” (being like us and not being obviously “other”)?

일단 대화가 [가치의 수준]으로, 그리고 그것들이 [실제로 어떻게 구체화될 수 있는지에 대한 수준]으로 올라가면, 학생과 지도자 모두에게 흥미로운 학습이 일어날 수 있다. 예를 들어,

  • [학생들]그들의 "불쾌한" 행동에도 불구하고, 또는 심지어는 그런 행동을 통해서, 특정한 가치가 어떻게 보존되고 제정될 수 있는지를 고려하기 시작할 수 있다.
  • [교사들]왜 그들이 그 행동을 그렇게 소중하게 여기는지에 대한 재조사를 통해 그들 자신의 행동을 재고할 수 있다.
  • [모든 사람들]은 그 가치 자체를 더 깊이 이해할 수 있다. 

예를 들어, 복장에 대한 대화는 환자마다 다른 것을 기대하기 때문에 "환자에 대한 존중을 보여주는 것"이 가치에 대한 불충분한 구성이라는 이해로 이어질 수 있다. 따라서 가치의 보다 정교하고 환자 중심적인 버전을 진화시킬 수 있다. 즉, 존중을 보여주는 것(가치의 행위자 중심적인 표현)이 아니라 각 환자가 존중받는 느낌을 갖도록 하는 것이다. 이는 결국 행동 자체에 관한 것이 아니라 개별 환자의 기대에 대한 탐색에 기초한 행동의 효과적인 적응에 관한 것이라는 인식으로 이어질 수 있다.
Once the conversation is raised to the level of values and how they might be embodied in practice, interesting learning can occur for both student and preceptor.

  • Students, for example, can begin to consider how a particular value might be preserved and enacted despite, or even through, their “offending” behaviour.
  • Preceptors can reconsider their own behaviour through a re-examination of why they value that behaviour so dearly.
  • And everyone can come to a deeper appreciation of the value itself.

For example, conversations about dress might lead to an understanding that “showing respect for patients” is an insufficient construction of the value, because each patient expects something different. Thus it is possible to evolve a more sophisticated, patient-centred version of the value: it is not about showing respect (an actor-centred representation of the value), but about ensuring that each patient feels respected. This, in turn, can lead to the realisation that it is not about the behaviour itself, but about effective adaptation of the behaviour based on an exploration of the individual patient's expectations.

아마도 우리가 "요즘 아이들" 순간을 보낼 때 학습자들과 관련된 접근법을 취하는 것이 "세대적 겸손"에 대한 후아레기 등의 권고를 제정할 수 있는 하나의 메커니즘일 것이다. 물론 그러한 접근법을 취하게 되면, 우리는 [내가 옳다는 속편한 마음]은 갖지 못할 수도 있지만, 결과적으로 우리가 얻을 수 있는 것은 무엇인지 살펴봐야 한다. 
Perhaps taking such an approach to engaging with learners when we are having a “kids these days” moment is one mechanism by which we can enact Juaregui et al's recommendation for “generational humility”.
1 Of course, in taking such an approach, we may lose our comfortable sense of self-righteousness, but look what we might gain as a result.

 


Med Educ. 2020 Jan;54(1):10-12. doi: 10.1111/medu.14002.

"Kids these days": Reconsidering our conversations about Millennial learners

Affiliations collapse

1Centre for Health Education Scholarship, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada.

2Department of Surgery, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada.

PMID: 31849098

DOI: 10.1111/medu.14002

아이들은 문제 없다: 교육자의 새로운 세대 (Med Sci Educ. 2022)
The Kids Are Alright: a New Generation of Educators
Gal Barak1,2 · Matthew Ryan Carroll3 · Andrea Dean1,2

배경
Background

Y세대, 즉 순세대, 즉 나세대로도 알려진 밀레니얼 세대베이비붐 세대 이후 가장 큰 세대다. [1981년에서 1996년 사이]에 태어난 개인인 밀레니얼 세대는 현재 미국 인구의 20%가 넘는 7200만 명의 미국 거주자를 구성하고 있다[1]. 이 세대는 기술과 인터넷 붐과 평행하게 성장했다; 가장 어린 밀레니얼 세대는 인터넷 이전의 시간을 기억하지 못할 수도 있고, 그들은 그들의 손끝에 있는 인간 지식을 가진 삶을 경험했다. 게다가, 그들의 [초기 발달 동안의 자녀 양육 경향]은 이 세대를 [젊음으로부터 보호하고, 검증하며], [과외 활동과 팀 기반 활동에 몰입]시키는 것을 포함한다. 9월 11일 테러 공격, 학교 총격 사건의 증가, 경제 불황, 재앙적인 기상 재해를 포함한 역사적 사건들이 이 세대를 형성했다[2].
The millennial generation, also known as Generation Y, the net generation, or Generation Me, is the biggest generation since the Baby Boomers. Millennials, individuals born between 1981 and 1996, currently make up 72 million US residents which is more than 20% of the US population [1]. This generation has grown up parallel to the technology and internet boom; the youngest millennials may not remember a time prior to the internet, and they have experienced life with the whole of human knowledge at their fingertips. In addition, child-rearing trends during their early development included protecting and validating this generation from youth and immersing them in extracurricular and team-based activities. Landmark events have shaped this generation including the September 11 terrorist attacks, the rise in school shootings, economic recessions, and catastrophic weather disasters [2].

[세대 이론]에 따르면, 이러한 일련의 [삶을 바꾸는, 세계적인 사건들을 경험]하는 것은 밀레니얼 세대들에게 다른 세대들과 비교하여 공유된 관점, 가치, 특성들을 제공한다[3, 4]. 따라서, 개인의 변화는 여전히 존재하지만, 세대 이론은 주어진 환경에서 개인이 어떻게 행동하는지를 예측하는 데 도움이 된다. 예를 들어,

  • [진보된 기술]은 밀레니얼 세대의 제2의 천성이며,
  • [언급된 자녀 양육 경향]은 팀 기반 활동에 대한 타고난 적성으로 이어졌다.
  • 반면에, 이러한 [양육 경향]은 이 세대가 [자신은 자격이 있다entitled]는 부정적인 인식으로 이어졌고, 실제로 밀레니얼 세대는 그들의 [성취에 대해 더 많은 외부적인 검증]을 원한다.

According to generational theory, experiencing this set of life-altering, world-wide events gives millennials a shared set perspectives, values, and traits compared to other generations [3, 4]. Thus, while individual variation still exists, generational theory helps predict how individuals behave in a given setting. For example,

  • advanced technology is second nature to millennials and
  • child-rearing trends mentioned have led to a natural aptitude for team-based activities.
  • On the other hand, the same child-rearing trends have led to the negative perception that this generation is entitled and, indeed, millennials do desire more external validation for their achievements.

학생으로서 밀레니얼 세대의 학습 선호도에 관한 강력한 증거가 있다. 연구는 [대화형 및 그룹 기반 학습, 교육 도구로서의 기술의 능숙한 통합, 명확하게 구조화된 지침 및 기대의 중요성]을 강화했다. 이러한 연구는 또한 [자기 수행능력에 대한 과대한 자신감]을 포함하여 학습자로서 이 세대에 대한 잠재적인 우려와 가치관과 우선순위의 차이로 인한 오해로 인한 [전문직업성의 상실을 인식할 수 있는 잠재적인 가능성]을 강조했다. [시기적절한 행동 기반 피드백과 긴밀한 멘토링 관계]는 이 세대에서 인식되는 약점의 일부를 해결하기 위한 수단으로 강조되어 왔다[7]. 궁극적으로, 이러한 연구들은 의학 교육자들이 밀레니얼 세대를 가르칠 수 있게 해주었다.
There is strong evidence regarding learning preferences of millennials as students. Studies have reinforced the importance of interactive and group-based learning, savvy integration of technology as an educational tool, and clearly structured instructions and expectations [5, 6]. These studies have also highlighted some potential concerns about this generation as learners including a sense of overconfidence with regard to performance, as well as potential for perceived lapses in professionalism due to misunderstandings as a result of differences in values and priorities [7, 8]. Timely, behavior-based feedback and close mentoring relationships have been highlighted as a means to address some of the perceived deficits in this generation [7]. Ultimately, these studies have enabled medical educators to teach millennials.

의학 외에도, 연구는 밀레니얼 세대를 노동력에 포함하도록 확장되었다. 2018년 퓨 연구에 따르면 미국 노동력 참여자의 35%가 밀레니얼 세대이며, 밀레니얼 세대는 2016년까지 베이비붐 세대와 X세대를 제치고 노동력의 주요 기여자가 되었다[10]. 이러한 비의료 분야에서 밀레니얼 세대는 세대 차이로 인해 많은 비판을 받아왔지만, 이러한 차이는 기회로도 볼 수 있다. 예를 들어, [일과 삶의 균형에 대한 밀레니얼 세대의 욕구]는 게으름으로 인식될 수 있지만, 웰빙을 지원하는 데 있어 변화를 주도할 수도 있습니다 [11].
Outside of medicine, research has expanded to include millennials in the workforce [9]. According to a 2018 Pew study, 35% of American labor force participants are millennials, and millennials surpassed both Baby Boomers and Gen Xers as the dominant contributor to the labor force by 2016 [10]. In these non-medical fields, millennials have been widely criticized for their generational differences, yet these differences can also be seen as opportunities. For example, millennials’ desire for a work-life balance can be perceived as laziness, but can also drive change in supporting wellness [11].

그러나, 훈련이 의사의 30대까지 잘 지속되는 의학에서, 밀레니얼 세대의 첫 번째 코호트는 이제 겨우 의대 교수로서 직장에서 자리를 잡고 있다. 임상 교사 및 학술 지도자로서의 역할에서 공유 세대 특성의 발현은 알려져 있지 않다. 새로운 증거는 [밀레니얼 중등 교육 교사들]이 [밀레니얼 세대가 아닌 동료들]과 의사소통의 장벽을 가지고 있고, 승진에 대한 비현실적인 기대를 가지고 있다는 것을 시사한다. 밀레니얼 세대가 학술 의학 분야에서 이에 못지 않게 파괴적일 것이며, 밀레니얼 세대가 교사로서의 역할에서 어떻게 행동하고 궁극적으로 이 분야를 형성할 지도자가 될 수 있는지 이해하는 것이 중요하다.
However, in medicine where training lasts well into a physician’s 30 s, the first cohort of millennials is only now establishing itself in the workforce as faculty physicians. The manifestation of shared generation traits in their roles as clinical teachers and academic leaders is unknown. Emerging evidence suggests millennial secondary-education teachers have communication barriers with non-millennials colleagues and have unrealistic expectations of promotion [12]. It is likely that millennials will be no less disruptive in the field of academic medicine and it is important to understand how millennials might behave in their roles as teachers and, ultimately, becomes leaders in the field who will shape the field.

[우수한 의료 교육자의 특성과 특징]을 요약한 여러 연구가 발표되었습니다[13,14,15]. 역량 기반 의료 교육이 증가함에 따라 교육자들은 [투명성, 빈번한 피드백 및 개별화된 학습] 속에서 더 잘 성장하는 밀레니얼 세대와 특히 관련이 있는 [교육 표준을 정의하고 충족]해야 하는 과제를 안고 있다[16]. 2011년, Srinivasan 등은 임상 교육자가 "효과적인 교수 및 학습 문화"를 촉진하기 위해 ACMGE 역량을 프레임워크로 사용하는 [6가지 핵심 역량]을 확인했다[13]. 이러한 역량은 임상의-교육자를 위한 전문적인 개발을 안내하는 데 사용되어 왔다. 여기서 우리는 세대 이론의 렌즈를 통해 이러한 각각의 역량을 고려하여 밀레니얼 세대가 임상 환경에서 교사와 교육 리더의 역할로 이동하면서 어떻게 그들의 타고난 특성을 활용하고 잠재적인 도전을 예측할 수 있는지 예측한다.
Several studies have been published outlining the traits and features of excellent medical educators [13,14,15]. With the rise of competency-based medical education, educators have also been challenged to define and meet standards for teaching, which is of particular relevance to the millennial generation who thrive on transparency, frequent feedback, and individualized learning [16]. In 2011, Srinivasan et al. identified six core competencies, using ACMGE competencies as a framework, for clinician educators to promote a “culture of effective teaching and learning” [13]. These competencies have been used to guide professional development for clinician-educators [17, 18]. Here, we consider each of these competencies through the lens of generational theory to predict how millennials can leverage their innate traits and anticipate potential challenges as they move into the role of teacher and educational leaders in the clinical setting.

의료 내용 및 지식
Medical Content and Knowledge

Srinivasan et al.이 제안한 첫 번째 역량은 교사가 학습자에게 주입하고 각 학습자의 능력을 평가하기 위해 [견고한 기초 지식]을 가져야 한다고 명시하고 있다[13]. 이 역량은 아마도 밀레니얼 교사들의 타고난 기술이 이전 세대의 교육자들과 그들을 구분하는 곳일 것이다. 밀레니얼 세대는 무한한 정보를 손끝에 쥐고 성장하고 훈련한 첫 번째 세대의 의사들이다. 결과적으로, 그들의 지식은 [덜 백과사전적]이며, 대신에, [필요한 순간에 가장 최신이고 포괄적인 정보]를 얻는 것을 강조한다. 결과적으로 밀레니얼 임상의들은 [정보를 내재화하지 않기 때문]에, [동일한 수준의 임상 전문 지식을 개발하지 않았을 수] 있으며, 이는 [학습자들의 눈에 의심을 심어줄] 수 있다. 더 가능성이 있다는 것은 [밀레니얼 임상의의 지식]은, 더 나아가서 [그들이 사용하는 교육자료]는, 그들이 정확하게 접근하고 해석할 수 있는 모든 것으로만 구성되어 있기보다, 한계가 없다는 것을 의미한다.
The first competency proposed by Srinivasan et al. states that teachers must have a solid foundation knowledge to instill into their learners and assess each learner’s abilities [13]. This competency is perhaps where millennial teachers’ natural skills separate them from the prior generation of educators. Millennials are the first generation of physicians who grew up and trained with an endless supply of information at their fingertips. Consequently, they are less encyclopedic in their knowledge and, instead, emphasize acquiring the most up-to-date and comprehensive information at the moment it is needed [19]. Arguably, as a result, millennial clinicians may not have developed the same level of clinical expertise since they are not internalizing the information, which may instill doubt in the eyes of their learners. More likely, it means that millennial clinician’s knowledge, and hence, teaching material, is not limited, instead consisting of everything that they can accurately access and interpret.

또한, 이 세대는 변화하는 증거에 대해 최신 상태를 유지할 수 있는 자연스러운 능력을 가지고 있으며 그들에게 [정보 수집 과정은 역동적]이다. ["I-will-find-it-now" 시대]의 일원으로서 밀레니얼 세대는 엄격하게 정보를 가르치는 경향이 있지만 업데이트된 지침과 리소스를 참조하는 방법뿐만 아니라, 임상 질문에 답하기 위해 증거를 해석하는 방법을 포함한 지식 습득 기술을 가르치는 경향이 있다[20]. 밀레니얼 세대의 교육자들은, 적어도 이 능력에서는 뛰어나고 현대 의학의 급속한 발전에 보조를 맞출 수 있는 의사 세대로 이어질 수 있는 잠재력을 가지고 있다.
Additionally, this generation has a natural ability to stay current on changing evidence and the process of information acquisition is dynamic for them. As members of the “I-will-find-it-now era”, millennials, in turn, tend to teach not strictly information, but knowledge acquisition skills including how to reference updated guidelines and resources as well as how to interpret evidence to answer clinical questions [20]. Millennial educators, in at least this competency, excel and have the potential to lead to a generation of physicians that can keep pace with the rapid evolution of modern medicine.

학습자 중심성
Learner Centeredness

Srinivas 등은 두 번째 교육자 역량으로서 [학습자의 복지와 성장에 대한 헌신]을 확인한다[13]. 이러한 ["학습자 중심성"]은 [학습자에 대한 존중과 투자]뿐만 아니라, [긍정적인 학습 환경을 조성할 수 있는 능력]을 포함한다. 이것은 또한 밀레니얼 교육자들이 뛰어나기를 기대하는 역량이다. "바람직함Desired" 세대인 그들은 일관된 칭찬과 검증을 받으며 성장했습니다[8]. 결과적으로, 그들은 [안전하고 긍정적인 학습 환경]을 갖는 것을 중요시합니다. 그들은 또한 이전 세대보다 더 다양하기 때문에 [다양성의 가치에 대한 인식과 존중]을 가지고 자랐다[2]. 그들에게 있어 [문화적 역량과 겸손]을 강조하는 것은 그들의 전임자들보다 더 선천적인 것이며, 이것은 학습자 중심성의 핵심적인 측면이다. 게다가, 그들은 개성에 중점을 두고 성장한 결과로 [직장 밖의 삶을 중요시]한다. 대규모 불경기 동안 노동력에 들어가는 것은 그들이 "직업"을 어떻게 인식하는지에 영향을 줄 뿐만 아니라 그들이 롤모델을 하고 다른 사람들에게 건강에 대해 교육할 수 있는 기회를 만든다. 이는 학습자의 안녕과 학습 환경에 중요합니다.
Srinivasan et al. identify the commitment to learners’ well-being and growth as the second educator competency [13]. This “learner centeredness” includes respect for and investment in the learner, as well as the ability to create a positive learning environment. This is also a competency where we expect millennial educators to excel. Being the “desired” generation, they grew up with consistent praise and validation [8]; as a result, they value having a safe and positive learning climate. They are also more diverse than the generations before them and thus grew up with an awareness and respect for the value of diversity [2]. An emphasis on cultural competency and humility is more innate for them than their predecessors, which is a key aspect of learner centeredness. In addition, they value life outside of work as a result of growing up with an emphasis on individuality. Entering the labor force during a major recession not only impacts how they perceive their “jobs” but also creates an opportunity for them to role model and educate others about wellness. This is important for learner well-being and learning climate.

잠재적인 도전 중 하나는 어린 시절 자주 긍정하는 경험으로 인해, [(고용주뿐만 아니라) 잠재적으로 학습자]도 [밀레니얼 세대의 교사]들이 [자기 중심적이고 자기 몰입적]이라고 느낄 수 있다는 것이다. 또한, [긍정적인 학습 환경을 우선시]하기 때문에, 밀레니얼 교육자들은 [학습자의 신뢰를 해칠 우려]처럼 [의미 있는 형성적 평가를 제공하는 것]을 더 어려워 할 수 있다[21]. 마찬가지로, 그들은 학습자들에게 충분한 도전을 제공하지 않을 수도 있다. 그러나 학습자들은 교육적 도전과 의미 있는 평가보다 포용과 긍정적인 학습 환경을 중요시하는 경향이 있으며, 이는 밀레니얼 교사들이 학습자들에게 잘 인식되고 있음을 의미한다[22]. 그럼에도 불구하고, 밀레니얼 교육자들은 그들 자신의 편안한 영역을 적극적으로 벗어나 효과적인 교육자들의 기술을 연습하기 위해 그들의 세대적 특성에 의해 제기되는 잠재적인 한계를 인식하는 것이 중요할 것이다.
One potential challenge is that due to their experience with frequent affirmation during childhood, others may find millennial teachers self-centered and self-absorbed, including not only employers, but potentially their learners. In addition, due to prioritizing a positive learning climate, millennial educators may be more susceptible to barriers to providing meaningful formative assessments [21], such as fear of hurting a learner’s confidence. Similarly, they may not provide sufficient challenges for their learners. However, learners tend to value inclusion and a positive learning climate over educational challenges and meaningful assessments, which will mean millennial teachers are well perceived by learners [22]. Regardless, it will be important for millennial educators to recognize the potential limitations posed by their generational traits in order to actively step outside their own comfort zone and practice techniques of effective educators.

대인관계 및 의사소통 기술
Interpersonal and Communication Skills

임상 교육자는 학습을 가장 잘 촉진할 수 있도록 [교육 및 커뮤니케이션 스타일을 개인화]해야 합니다[13]. 여기에는 의사소통과 기대를 공유하는 방법, 교육 전략, 교육을 지도하기 위한 기본 학습자 지식의 평가, 피드백 제공, 전문적이고 대인관계적인 갈등 처리 등이 포함된다. 밀레니얼 세대는 이메일, 문자, 인스턴트 메시징을 통해 [지속적인 연결]의 시대에 성장했다. 이와 같이 [개방적이고 접근 가능한 경향]이 있으며, 이는 [학습자에게 많은 도움이 될 것]이다[23]. 왜냐하면 보통 학습자들은 스트레스가 높은 의료 훈련 중에 지원과 가이드를 얻고자 하며, 이런 개방성과 접근가능성이 학습자가 임상 환경에서 편안하게 도움을 구하도록 보장하기 때문이다.
Clinical educators are expected to personalize their teaching and communication styles to best facilitate learning [13]. This includes how communications and expectations are shared, educational strategies, assessment of baseline learner knowledge to guide teaching, giving feedback, and handling professional and interpersonal conflicts. The millennial generation grew up in an era of constant connectedness, via email, texts, and instant messaging. As such, they tend to be open and accessible [23], which will serve their learners well as they seek support and guidance during high-stress medical training and will ensure learners will feel comfortable seeking help in the clinical setting.

"트로피 세대"로서, 그들은 외부 검증[2]을 추구하며, 소셜 미디어와 전자 커뮤니케이션을 통해 [실시간 반응과 피드백에 익숙]합니다. 또한 밀레니얼 세대는 [명확한 기대]가 있을 때 더 잘 하는 것으로 나타났으며, [불확실한 기대]는 밀레니얼 세대로 하여금 비판적인 피드백과 평가에 저항하게 할 수 있다. 따라서, 교육자로서, 그들은 교사들에게 필수적인 의사소통 기술인 학습자들에게 명확한 기대를 설정하고 지속적으로 피드백을 제공하는 것을 염두에 둘 것이다.
As the “trophy generation,” they seek external validation [2] and, by way of social media and e-communication, they are accustomed to real-time reactions and feedback. In addition, millennials have been shown to thrive with clear expectations and unclear expectations can lead millennials to resist critical feedback and evaluations. Therefore, as educators, they will likely be mindful of setting clear expectations for and consistently providing feedback to learners which are essential communication skills for teachers.

반면에, 그들의 [전자 통신에 대한 경험]이 항상 [대면 또는 심지어 전화 소통 기술]로 번역되는 것은 아니다. 실제로 밀레니얼 세대는 [불편하고 비효율적이라고 인식하는 전화]보다 [문자나 인스턴트 메시지를 선호]하는 것으로 나타났다[24]. 이는 아마도 밀레니얼 교사들이 학습자에게 어려운 피드백을 제공하거나 자신의 가르침에 대한 피드백을 받는 등 [불편할 수 있는 대면 토론에 어려움을 겪을 수 있음]을 시사한다. 밀레니얼 세대는 일반적으로 "심리적 안전"에 대한 헌신을 보여주지 않는 개인들의 비판에 저항하기 때문에, 어느 방향으로든 대립이나 피드백의 어려움은 "코들링"되는 밀레니얼 세대의 인식에 의해 더욱 악화될 수 있다.
On the other hand, their experience with e-communication does not always translate into face-to-face or even telephone communication skills. Millennials, in fact, have been shown to prefer texts or instant messages rather than phone calls, which they perceive as uncomfortable and ineffective [24]. This suggests that perhaps millennial teachers may struggle with face-to-face discussions that may be uncomfortable, including providing difficult feedback to a learner or receiving feedback on their own teaching. Difficulty with confrontation or feedback in either direction may be compounded by the millennial perception of being “coddled,” as millennials generally resist criticism from individuals who do not demonstrate a commitment to “psychological safety.” [21].

전문직업성 및 역할 모델링
Professionalism and Role Modeling

Srinivasan 등이 요약한 또 다른 핵심 교육자 역량은 [전문직업성과 역할 모델링]입니다[13]. 이것은 [연민과 성실함을 보여주는 것, 교육자로서의 자신의 행동에 대한 책임감, 그리고 직업적인 행동을 모델링하는 것]을 포함한다. 밀레니얼 세대는 소셜 미디어 사용[25], 문신 비율의 증가[26], 그리고 일반적인 전문가 복장에 대한 강조가 거의 없기 때문에 이전에 비전문가적이라고 비판을 받아왔다. 이는 무의식적이고 시대에 뒤떨어진 편견의 결과이다[27]. 전문성에 대한 세대의 정의는 다르고, [외모에 대한 강조]는 [그들의 기술과 관련이 없다]고 생각하기 때문에, 밀레니얼 세대에 의해 그렇게 중요하게 여겨지지 않는다. 대신, 그들은 전문성의 주요 특징으로 [연민과 성실함]을 우선시할 수 있다. 이를 통해 긍정적인 업무 및 학습 환경에 의미 있게 기여할 가능성이 높은 전문직업성의 측면을 [모델링]함으로써 보다 효과적인 교사가 될 수 있다[22]. 기성 세대는 이들을 부정적으로 볼 수 있지만, 젊은 학습자들은 전문성에 대한 전통적인 정의에 대한 투자를 공유하지 않을 것이다. 대신, [이전 세대보다 더 다양성을 가지고 자란 밀레니얼 세대]는 궁극적으로 이 분야의 성장을 이끌 [더 넓은 범위의 의료 연수생을 포용하는 전문직업성]에 대한 [더 나은 작업 정의working definition를 옹호]할 수 있다.
Another key educator competency outlined by Srinivasan et al. is professionalism and role modeling [13]. This includes displaying compassion and integrity, accountability for one’s actions as an educator, and role modeling professional behaviors. Millennials have previously been criticized as unprofessional due to social media use [25], higher rates of tattoos [26], and overall less emphasis on typical professional dress, which are views held as result of unconscious and antiquated bias [27]. Generational definitions of professionalism differ, and an emphasis on physical appearance is not as valued by millennials because they think it doesn’t have a bearing on their skills. Instead, they can prioritize compassion and integrity as key features of professionalism. This allows them to be more effective teachers by modeling the facets of professionalism that are more likely to meaningfully contribute to a positive work and learning environment [22]. While older generations may view them negatively, younger learners are unlikely to share this investment in traditional definitions of professionalism. Instead, millennials, who grew up with greater diversity than the generations before them, can advocate for a better working definition of professionalism that embraces a wider scope of medical trainees who will ultimately lead to growth in the field.

밀레니얼 교육자들은 [경계를 설정]하고, [일과 삶의 균형을 유지하는 것]을 우선시하는 경향이 있기 때문에 역할 모델로서, 밀레니얼 교육자들이 가치를 가질 수 있는 한 가지 독특한 영역은 [웰빙 분야]이다. 밀레니얼 세대는 또한 그들의 고용주에 대한 [노동자의 충성심이나 맹목적인 생산성]으로 [전문직업성을 정의하지 않는다]. 이로 인해 밀레니얼 세대의 학습자와 다양한 직업의 직원들에 대한 비판이 제기되었지만, 번아웃의 유병률과 원인에 대한 데이터가 등장함에 따라 밀레니얼 세대의 건강 강조는 점점 더 중요해지고 있다. 역사적으로, 의료 훈련은, 항상 개인을 중요시하지 않는 시스템에서 운영되며, 번아웃은 유행병 수준이다. 이러한 방식으로 밀레니얼 교육자들은 기술을 가르치고 미래 세대의 소진을 방지하고 결과적으로 의료 분야의 지속 가능한 인력으로 이어지는 문화를 홍보할 수 있는 독특한 기회를 가지고 있다.
As role models, one unique area where millennial educators can be valuable is in the field of wellness, as they tend to prioritize setting boundaries and maintaining a work-life balance. Millennials also do not define professionalism by worker loyalty or blind productivity for their employer. While this has led to criticism of millennial learners and employees in a range of professions, as data emerges about the prevalence and causes of burnout, millennials’ emphasis on wellness is increasingly important. Historically, medical trainees operate in a system that doesn’t always value the individual, and levels of burnout are at epidemic proportion. In this way, millennial educators have the unique opportunity to teach skills and promote a culture that help prevent burnout in future generations and, as a result, lead to a sustainable workforce in medicine.

실천 기반 반영 및 개선
Practice-Based Reflection and Improvement

실천기반 성찰과 개선역량은 교육자로서 향상시키기 위한 [교육자의 자기평가 추구]이며, 따라서 교육자는 [지속적으로 성찰에 참여하고, 여러 출처로부터 의견을 구하며, 피드백에 대응하여 교수기법을 조정]할 것을 요구한다. 밀레니얼 세대는 [자기 성찰]을 [마음챙김의 도구]로 중요시하며, [자기 계발을 촉진]하는 [멘토십의 형태]로, [외부의 검증과 인정을 추구]하는 [자기 성찰의 사이클]에 지속적으로 참여한다[8]. 그러나 위에서 논의한 바와 같이, 성장기에 비판적 피드백에 대한 노출이 부족했기 때문에, 밀레니얼 세대가 자신의 정체성에 대한 도전을 느끼는 피드백을 통합하고 대응하는 것이 어려워할 수 있다.
The practice-based reflection and improvement competency is the educator’s pursuit of self-assessment to improve as educators, and thus requires educators to consistently engage in reflection, seek input from multiple sources, and adjust their teaching techniques in response to feedback [13]. Millennials value self-reflection as a tool for mindfulness, and consistently engage in a cycle of introspection followed by seeking external validation and recognition in the form of mentorship that often promotes self-improvement [8]. However, as discussed above, their lack of exposure to critical feedback growing up can make it challenging for millennials to incorporate and respond to feedback that they feel challenges their sense of identity.

또한, 테크놀로지 전문가로서, 이 세대는 [테크놀로지]를 [혁신적인 방식으로 자기 계발을 위한 도구로 사용할 준비]가 되어 있습니다[28]. 그들은 디지털 분석을 사용하여 개인 및 시스템 메트릭을 수집할 수 있을 뿐만 아니라, [의료 교육 학술활동]을 실시하고 분야를 개선하는 데 도움을 줄 수 있으며, 이는 임상 정보학이 학문으로 부상하는 데서 볼 수 있다. 비즈니스 세계에서 밀레니얼 세대는 기업의 혁신과 성장에 도전하는 기술 파괴자로 확인되었습니다[29]. COVID 팬데믹은 의료 교육자들이 가상 학습에 대한 오랜 믿음을 재평가하도록 유도했으며, 밀레니얼 세대는 학습자 만족도를 향상시키기 위한 교육에 기술을 효과적으로 사용하는 데 도움을 주었다. 
In addition, as technology experts, this generation is ready to use technology as a tool for self-improvement in innovative ways [28]. Not only can they use digital analytics to collect personal and system metrics, they can also use it to conduct medical education scholarship and help improve the field, which can be seen in the rise of clinical informatics as a discipline. In the business world, millennials have been identified as technology disruptors, challenging corporations to innovate and grow [29]. The COVID pandemic pushed medical educators to reassess long-held beliefs about virtual learning, with millennials helping to advance the effective use of technology for education to improve learner satisfaction [30, 31].

이 역량에서 탁월함에 대한 잠재적인 장벽은 교육자로서의 밀레니얼 세대의 동기에서 비롯됩니다. 일반적으로, 그들은 기관의 성공보다 자신의 행복을 중요시한다[19]. 이것은 그들이 [교육자로서 그들 자신에게 투자]하도록 동기를 부여할 수 있다는 것을 의미하지만, 그들은 [조직의 성장과 개선]에는 투자하지 않을 수도 있다. 따라서, 그들은 [개별 교육자]로서 우수할 수 있지만, [교육 리더]로서의 자신의 역할은 한정시킬 수 있고, 잠재적으로 그들이 그들의 기관에서 미래의 학습자들에게 미칠 수 있는 영향을 억제할 수 있다. 그러나, 그들이 더 자주 직업을 바꾼다는 비판에 직면했지만[2], 증거는 그들이 X세대가 그 나이였을 때와 비슷한 수준으로 직업과 함께 시간을 보낸다는 것을 시사한다[32]. 세계가 더 상호 연결되어 있음에도 불구하고, 직업 이동성은 덜 경직되고, 주니어 교수진은 국가 또는 심지어 국제 수준에서 새로운 기회를 찾는 것에 대해 보상을 받을 수 있다.
A potential barrier to excelling in this competency stems from millennials’ motivations as educators. In general, they value their own well-being over the success of their institution [19]. While this means they may be motivated to invest in themselves as educators, they may not be as invested in the growth and improvement of their organization. Hence, as individual educators they may excel, but they may limit their role as educational leaders and potentially hold back impacts they might otherwise have on future learners at their institution. However, although they’ve faced criticism for jumping between jobs more frequently [2], the evidence suggests that they spend just as much time with their jobs as Generation X did at the same age [32]. Regardless as the world grows more interconnected, job mobility becomes less rigid, and junior faculty may be rewarded for seeking new opportunities at the national or even international level.

시스템 기반 작업 방식
Systems-Based Practice

밀레니얼 교사를 논의할 때, 의료 교육자의 최종 역량인 [시스템 기반 실천]은 첫 번째 역량, 의료 내용 및 지식과 밀접한 관련이 있다. 최적의 교육을 제공하기 위해 의료 및 교육 시스템 내의 자원을 활용하는 능력으로 정의된다[13]. 기술과 인터넷의 급속한 확장과 함께 성장하면서, 이 세대는 변화에 빠르게 적응할 수 있고, 따라서 이 유연성을 쉽게 가르치고 역할 모델을 만든다. 그들은 [인터넷을 사용]하고, 그들의 [교육에 테크놀로지를 통합]하는 데 능숙하다. 이러한 유연성은 또한 훈련생 일정과 기대의 변화를 포함하여 임상 서비스 또는 팀 내의 변화에 자연스럽게 적응할 수 있도록 한다.
When discussing millennial teachers, the final competency of medical educators, systems-based practice, relates closely to the first competency, medical content, and knowledge. It is defined as the ability to utilize resources within the medical and education system to provide optimal teaching [13]. Growing up with the rapid expansion of technology and the internet, this generation can rapidly adjust to change and, therefore teach and role model this flexibility easily. They are adept at using the internet and incorporating technology into their teaching. This flexibility also allows them to naturally adjust to changes within their clinical services or teams, including changes in trainee schedules and expectations.

이 역량은 또한 "교육이 발생하는 시스템"에 대한 이해에 의존한다. [13] 그들의 양육과 시사에 의해, 이 세대는 변화를 촉진하기 위해 [시스템에 대한 깊은 이해를 추구]하는데, 이것은 스리니바산 외 연구진이 제시한 이 역량의 또 다른 핵심 측면이다. 불황, 최저 주택 보유율, 정치적 불안정 등 [자신들 세대를 망쳐둔 사회경제적 시스템]에서 성장한 결과, 밀레니얼 세대는 [현재 시스템의 단층fault lines을 보고 더 나은 단층을 만들려는 의욕]을 갖게 된다. 다양성에 대한 그들의 더 큰 노출은 또한 학습자들에게 긍정적인 영향을 미치는 것으로 나타난 학습 환경에 대한 포함을 촉진하도록 준비하는 데 도움이 된다. 궁극적으로, 관용과 포용[2]을 촉진하는 직장을 가치있게 여기며, 의학 내에서 [체계적인 변화를 옹호]할 뿐만, 아니라 의학 교육 내에서 이 중요한 학문 분야를 개발하는 데도 도움이 될 수 있다. 밀레니얼 세대는 임상 학습 환경과 커리큘럼 개발을 통해 [불평등을 인식하고 뒤집기 위해 문화를 전환하는 교육 리더]가 될 준비가 되어 있다.
This competency also relies on having an understanding of the “system in which education occurs.” [13] Shaped by their upbringing and primed by current events, this generation seeks out a deep understanding of the system to promote change, which is another key aspect of this competency laid out by Srinivasan et al. As a consequence of growing up in a socioeconomic system that has failed their generation, including recessions, lowest home owner rates, and political instability [33], millennials see the fault lines in the current system and are motivated to create a better one. Their greater exposure to diversity also helps prepare them to promote inclusion in the learning environment, which has been shown to have positive effects on learners [34]. Ultimately, they themselves value workplaces that promote tolerance and inclusion [2] and can help not only advocate for systematic change within medicine, but also help develop this crucial field of scholarship within medical education. Millennials are primed to be educational leaders that shift the culture to recognize and reverse inequity in the clinical learning environment and through curricular development.

결론들
Conclusions

세대이론의 관점에서 보면, 밀레니얼 세대의 특성과 가치는 Srinivasan et al. (표 1)이 제시한 의료교육자의 6가지 역량과 긍정적으로 일치한다. 밀레니얼 세대의 학습자들은 [개개인성individuality과 피드백을 중요시함]으로써, 역사적으로 교육 이론가들에 의해 [모범 사례로 추천된 행동]을 교사들로부터 기대한다고 제안되었다[35]. 따라서 밀레니얼 세대가 교육자와 동일한 모범 사례 행동을 선천적으로 보여줄 것으로 기대할 수 있습니다. 밀레니얼 세대의 사회 정의 및 기술과의 긴밀한 관계는 그들이 변화에 적응할 준비가 되어 있고 양심적이고 혁신적인 학습자의 개발을 촉진하기 위해 의학 교육의 현재 기준에 도전할 준비가 되어 있다. 번아웃과 사회적 불평등이 만연한 가운데, 그들은 [개인의 건강과 사회적 책임을 우선시하는 전문직업성]이라는 [독특한 브랜드의 역할 모델 역할]을 하기에 매우 적합하다.
Viewed through the lens of generational theory, the traits and values of the millennial generation align positively with the six competencies of a medical educator as posed by Srinivasan et al. (Table 1). It has been suggested that the millennial learners, by valuing individuality and feedback, expect behaviors from their teachers which have historically been recommended as best practice by educational theorists [35]. Therefore, we can expect millennials to innately exhibit these same best practice behaviors as educators. Millennials’ close ties with social justice and technology make them ready to adapt to change and poised to challenge current standards in medical education to promote development of conscientious and innovative learners. In the midst of an epidemic of burnout and social inequity, they are well suited to serve as role models of a unique brand of professionalism — one that prioritizes personal wellness and social accountability.

[외부 검증]를 강조하는 것은 [피드백의 사용을 촉진]하는 데 도움이 되지만, [존중과 심리적 안전에 대한 근본적인 기대]는 [어려운 피드백을 주거나 받는 능력]을 제한시킬 수 있다. 이것은 또한 결과적으로 [대면 상호작용에 대한 불편함]으로 인해 더 복잡해질 수 있다. 마지막으로, 교육자로서의 그들의 강점은 [전문직업성과 의학적 전문성]에 대한 그들의 전통적인 정의를 지나쳐 보려고 애쓰는 기성 세대들에 의해 간과될 수도 있다.
While their emphasis on external validation helps to promote the use of feedback, an underlying expectation of respect and psychological safety may challenge their ability to give or receive difficult feedback. This can also be compounded by discomfort with face-to-face interactions as a consequence. Finally, their strengths as educators may be overlooked by older generations who struggle to look past their own traditional definitions of professionalism and medical expertise.

물론 세대 이론에는 몇 가지 한계가 있다. 세대 이론은 인구 내의 추세를 이해하는 데 도움이 되지만, 개인 수준으로 추정하는 것은 잘못될 수 있다. 세대 이론이 부정적인 고정관념을 지지하기 위해 사용될 때, 그리고 "밀레니얼 교수자"과 같은 라벨을 사용하면 권력 차이를 강화하고 집단에 대한 신화를 전파하며 개성을 최소화할 수 있다. 세대 이론에 기초한 교육 권장 사항을 만드는 것은 제한된 데이터에서 광범위한 결론을 도출할 위험이 있다는 것을 인식하지만, 이 논문은 교육자 세대에 대한 더 큰 개념을 탐구하는 역할을 한다. 새로운 교육자 세트를 위한 표적 개입을 개발하는 데 도움이 되도록 이전 세대의 의사 교육자와 비교하여 차기 의사 교육자 간의 차이를 더 잘 평가하기 위해 추가 연구를 수행할 수 있다.
There are of course several limitations of generational theory. While generational theory helps understand trends within a population, extrapolating to the individual level can be misguided. Misconceptions occur when generational theory is used to support negative stereotypes and using labels such as “millennial teacher” can reinforce power differences, propagate myths about a cohort, and minimize individuality [36]. While we recognize that making educational recommendations based on generational theory risks drawing broad conclusions from limited data, this paper serves to explore larger concepts about a generation of educators. Further research can be done to better evaluate the differences between incoming physician educators compared to those of prior generations, to help develop targeted interventions for this new set of educators.

전반적인 세대 이론은 밀레니얼 교육자의 평가에 대한 기대를 형성할 뿐만 아니라 밀레니얼 교육자의 미래 교수진 개발 커리큘럼을 안내하는 데 도움이 될 수 있는 기회가 될 수 있다.
Overall generational theory can be an opportunity to help guide future faculty development curricula for millennial educators as well as shape the expectations for evaluation of millennial educators. As we see our first big group of millennial educators, not only will they be able to bring their own strengths with regard to teaching modern medicine, but they will fundamentally change it.


 

Med Sci Educ. 2022 Sep 3;32(5):1189-1194. doi: 10.1007/s40670-022-01618-6. eCollection 2022 Oct.

 

The Kids Are Alright: a New Generation of Educators

 

1Department of Pediatrics, Baylor College of Medicine, Houston, USA.

2Texas Children's Hospital, 1102 Bates Ave, Houston, TX FC1860 USA.

3Department of Obstetrics and Gynecology, Baylor College of Medicine, Houston, USA.

PMID: 36276772

PMCID: PMC9583974 (available on 2023-10-01)

DOI: 10.1007/s40670-022-01618-6

Generational theory states that as a result of experiencing the same life-altering, world-wide events at key developmental ages, individuals of a given generation share unique perspectives, values, and traits compared to other generations as reported by Johnson and Romanello (Nurse Educ. 30(5):212-216, 2005) and Howe and Strauss 2000. Thus, while individual variation still exists, generational theory can be used as a tool to predict individual behavior and capitalize on shared traits in the workplace or educational setting. The millennial generation, born between 1981 and 1996, has previously been negatively perceived; however, application of generational theory can allow for a reshaping of public perception. For example, there now exists ample research, both within and outside of medical education, on how to take advantage of typical traits of the millennial student to maximize their learning, such as Twenge (Med Educ. 43(5):398-405, 2009), Eckleberry-Hunt and Tucciarone (J Grad Med Educ. 3(4):458-461, 2011), and Nicholas (Int J Learn Annu Rev. 15(6):27-34, 2008). As the cohort ages, the focus has shifted to helping millennials reach their full potential as employees. However, due to intensive and lengthy training required, medicine is only now seeing the first cohort of millennials entering the workforce as faculty physicians. As such, academic medicine is seeing millennials move from the learner role into that of the teacher. Thus far, the influence of the shared generational characteristics on their success and challenges as clinician educators and educational leaders is novel and has not been explored in the literature. By overlaying generational theory on Srinivasan et al.'s (Acad Med. 86(10):1211-1220, 2011) proposed six competencies for medical educators, we predict the strengths and challenges of millennial medical educators and hypothesize on the impact this generation may have on academic medicine.

세대적 상황성: 보건의료전문직에서 세대적 고정관념에 도전하기 (Med Teach, 2022)
Generational situatedness: Challenging generational stereotypes in health professions education
Rachel Conrad Brackena, Mary E. Fredricksonb , L. Austin Fredricksona and Michael Applemana

 

서론
Introduction

[세대 이론]은 [개인의 신념과 가치가 그들이 태어난 시기에 따라 결정될 수 있다]는 생각에 뿌리를 두고 있으며, 보건 전문 교육(HPE)을 포함한 고등 교육 전반에 걸쳐 지도 및 평가에 대한 그것의 사용이 널리 퍼져 있다. 그러나 최근 몇 년 동안 학자, 교육자, 주류 문화 평론가들은 세대 이론의 방법과 적용이 [환원적으로 연령차별적]이고, [본질적]이며, [백인, 상류층 및 중산층 학생들을 과대 대표적]이라고 비판해왔다. 실제로, 일부 전문가들은 세대 코호트에 대해 도출된 결론이 너무 문제가 있다고 생각하여 세대 분석을 완전히 피하고 세대 '이론'이 이론적으로 타당하지 않으며 고정관념에 불과하다고 주장한다. 2020년, 자우레귀와 동료들은 HPE 문헌 내에서 세대 이론에 대한 비판적인 리뷰를 발표했는데, ['밀레니얼 학습자'의 '신화']는 [전체 세대의 학생에 대한 근거 없는 환원된 일반화를 영구화]할 뿐만 아니라, [학습자의 개별적인 요구를 최소화한다]는 결론을 내렸다. 그들은 HPE 교육자들이 그것의 기원과 가정을 검토하지 않고 세대 이론에 기초한 교육을 변경하기 전에 주의를 기울이거나, 그렇지 않으면 HPE 학생들에 대한 필수주의자와 다른 고정관념을 불필요하게 전파할 위험을 감수해야 한다고 제안한다.  
Generation theory is rooted in the idea that an individual’s beliefs and values can be determined based on the time period in which they were born, and its use in guiding instruction and assessment across higher education–including health professions education (HPE)–is pervasive (Jauregui 2020). In recent years, however, scholars, educators, and mainstream cultural commentators have critiqued the methods and application of generation theory as reductively ageist, essentializing, and overly representative of white, upper- and middle-class students (Twenge 2017; Menand 2021). Indeed, some experts find the conclusions drawn about generational cohorts so problematic they suggest avoiding generational analysis altogether, asserting generation ‘theory’ is not theoretically sound and amounts to little more than stereotyping (Hoover 2007, 2009; Singham 2009; Rudolph 2021). In 2020, Jauregui and colleagues published a critical review of generation theory within HPE literature, concluding that the ‘myth’ of the ‘millennial learner’ not only perpetuates unfounded, reductive generalizations about an entire generation of students, but also minimizes the individual needs of learners. They ‘suggest that HPE educators apply caution before making alterations to instruction based on generation theory without examining its origins and assumptions, or otherwise risk unnecessarily propagating essentialist and othering stereotypes’ of HPE students (Jauregui 2020).

고등 교육 연구, 특히 HPE에서 상당한 문헌이 [세대 이론이 무시적이고 본질적인 고정관념에 대한 문제적 의존성을 상세히 기술하고 있음] 불구하고, 보건 직업 교육 프로그램의 세대 구성이 다시 바뀌고 [Z세대('Z세대')]가 교실에서 [밀레니얼 세대]를 대체함에 따라, [Z세대의 요구를 충족]시키기 위해 보건 직업 교육자를 준비하는 것을 목표로 하는 출판물의 수가 부수적으로 증가했다. 이러한 연구에서 'Gen Z'(1995년에서 2012년 사이에 태어난 사람들로 정의됨)는 이전 세대보다 겉보기에 '어려서younger', '어른됨adulting(예: 고등학교 또는 대학 재학 중에 일하거나, 청구서를 지불하거나, 운전면허를 취득하거나, 독립적으로 거주하거나, 가정을 관리하거나,)'을 경험할 가능성이 적고, 그리고 그들의 부모에게 더 의존적인 것으로 묘사된다
Yet, as the generational composition of health professions educational programs shifts again and Generation Z (‘Gen Z’) replaces Millennial students in the classroom, there has been an attendant growth in the number of publications aimed at preparing health professions educators to meet the needs of this cohort, despite a substantial body of literature in higher education research—and HPE, specifically—detailing generation theory’s problematic reliance on dismissive and essentializing stereotypes (Jauregui 2020; Rudolph 2021). Within these studies, ‘Gen Z’ (defined as those born between 1995 and 2012) is described as seemingly ‘younger’ than previous generations, less likely to have experience ‘adulting’ (e.g. working while in high school or college, paying bills, obtaining a driver’s license, living independently, or managing a household,) and more dependent on their parents (Twenge 2017; Selingo 2018).

다른 세대 연구와 마찬가지로, 이러한 패턴이 코호트, 연령 및/또는 기간 영향을 반영하는지는 명확하지 않으며, [운전면허를 가진 18세의 수]와 같이 이러한 '세대' 특성 중 [일부는 정량화]할 수 있지만, (진정으로 대표적인 샘플에서 수집했다고 치뎌라도) 이 인구통계학적 데이터가 의미하는 바의 해석은 열려있다. 더욱이, 사회학적 데이터의 일반적인 추세는 [한 연령 집단 내의 엄청나게 다양한 경험]을 모호하게 할 수 있다. [우리 세대에게 강요되는 종종 매우 부정확한 고정관념과 예측]에 놀라기도 하고, 두려워하기도 하는, 자주 비방받는 [밀레니얼 세대의 구성원들]로서, 우리는 우리의 교육학 내에서 'Z세대'의 환원적 일반화를 불러오는 것을 주저한다; 이러한 추측은 제한적이며, 이전 세대의 특성화와 마찬가지로, [Z세대가 미국 역사상 가장 인종적, 인종적으로 다양]함에도 불구하고, [백인 중산층의 경험을 표준으로 증폭시킬 가능성]이 높다. 게다가, HPE 학생들의 다가오는 집단은 이전보다 더 많은 1세대 및 저소득층 학생, 여성, 인종 또는 소수 민족을 포함할 것이다. 이는 소위 'Z세대' 학습자들에 대해 만들어진 일반화의 타당성을 더욱 훼손하는 사실이다.
As with any generational study, it is not clear whether these patterns reflect cohort, age and/or period effects and while some of these purported ‘generational’ characteristics may be quantifiable, such as the number of 18-year-olds with a driver’s license, what this demographic data means—provided it is gathered from a truly representative sample—is open for interpretation (Rudolph 2021). Moreover, general trends in sociological data can obscure the tremendous variety of experiences within an age cohort (Rudolph 2021). As members of the frequently maligned Millennial Generation, both amused and horrified at the often wildly inaccurate stereotypes and predictions foisted upon our own generation, we hesitate to invoke reductive generalizations of ‘Gen Z’ within our pedagogy (Howe and Strauss 2000; Hoover 2009); such conjectures are limited and, like previous generational characterizations, likely amplify the experiences of white, middle-class people as the norm, even while Gen Z is the most ethnically and racially diverse in US history (Vaidhyanathan 2008; Hoover 2009). Moreover, incoming cohorts of HPE students will include more first-generation and low-income students, women, and racial or ethnic minorities than ever before—facts that further compromise the validity of generalizations made about these so-called ‘Gen Z’ learners (Selingo 2018; ‘Profile of pharmacy students fall 2020’ 2020; ‘FACTS: applicants and matriculation data’ 2021).

이 기사는 특히 세대 이론과 Z세대 학생들에 초점을 맞춘 HPE 출판물의 주제 분석을 사용하여,

  • Jauregui 등에 의해 식별된 세대 필수화 및 타자화의 문제 패턴이 Z세대에 대한 문헌에서 얼마나 지속되는지,
  • 그리고 만약 지속되고 있다면, 요즘에 세대 이론을 HPE 연구에서 호출하는 것이 어떻게 세대 프레임워크의 현재 비판에 귀를 기울이는지 조사하고자 한다.

우리의 목표는 세대 이론에 대한 비판을 재탕하거나 만회하는 것이 아니다. 오히려 [실질적인 비판]에도 불구하고, [보건 직업 교육에서 세대 이론의 지속되는 매력]을 조사하는 것이다. 그리고 자우레귀 등으로부터 배운 교훈을 바탕으로, 현재의 대화를 [보건 전문직 교육에 다가오는 'Z세대' 학생집단이 참여할 수 있는 생산적인 수단]으로 유도한다. 따라서 본 연구의 목적은 두 가지이다. 

  • 첫째, HPE의 출판된 문헌의 주제 분석을 통해 Z세대 보건 전문가 교육의 맥락에서 세대 이론이 어떻게 적용되는지 설명한다  
  • 둘째, 21세기 의료 및 고등 교육을 형성하는 광범위한 문화, 경제 및 사회 정치적 맥락에 주목함으로써, [보건 전문가와 관련된 구조 및 제도적 변화를 중심]으로 하는, [HPE 내의 진화에 접근하는 보다 생산적인 프레임워크를 제안]한다.

By employing thematic analysis of HPE publications focused specifically on generation theory and Gen Z students, this article investigates

  • the extent to which the problematic patterns of generational essentializing and othering identified by Jauregui and colleagues persist in the literature on Gen Z and
  • how, if at all, current invocations of generation theory in HPE research attend to the extant critiques of generational frameworks (Jauregui 2020).

Our goal is neither to rehash critiques of generation theory nor to redeem it, but rather to investigate the persistent allure of generation theory in health professions education despite substantial criticism, and, based on the lessons learned from Jauregui et al., direct the current conversation toward more productive means of engaging incoming cohorts of ‘Gen Z’ health professions students. Thus, the objectives of this research are two-fold:

  • first, to explicate how generation theory is applied in the context of Generation Z health professions education via thematic analysis of the published literature in HPE and
  • second, to propose a more productive framework for approaching evolutions within HPE that, by attending to the broader cultural, economic, and sociopolitical contexts shaping healthcare and higher education in the 21st century, centers structural and institutional changes relevant to the health professions.

방법
Methods

'세대 이론이 Z세대 보건 직업 학생들의 연구에 어떻게 적용되었는가?'라는 질문에서 출발하여, 우리의 주제 분석은 브라운과 클라크의 6단계 프레임워크에 의해 알려졌습니다:

  • (1) 데이터 숙지, (2) 초기 코드 생성, (3) 테마 검색, (4) 테마 검토, (5) 테마 정의 및 이름 지정, (6) 쓰기 완료. 

관련 HPE 출판물을 식별하기 위해 2021년 11월 문헌 검색이 수행되었다. 4개의 전자 데이터베이스(PubMed, Medline CINAHL, PsycINFO)가 날짜 제한이 적용되지 않은 영어로 출판된 연구를 검색했다. 검색 전략에 의해 확인된 기사들은 중복을 제거한 후, 제목과 추상적인 검토로 구성된 저자들에 의해 수행된 2단계 심사 과정을 거쳐 포함을 위한 전문적인 검토를 거쳤다. 기사는 대학원 과정(예: 전공의)에서 Z세대 학생들을 참조하거나, Z세대 보건 전공 학생들에게 직접 초점을 맞추지 않은 경우 제외되었다. 포함된 연구의 참조는 추가 관련 연구를 위해 선별되었다. 자세한 검색 전략은 부록 1에서 확인할 수 있으며, 샘플에 포함된 기사에 대한 전체 서지 정보는 부록 2에서 확인할 수 있습니다.  
Starting from the question, ‘How has generation theory been applied to studies of Generation Z health professions students?’, our thematic analysis was informed by Braun and Clarke’s six step framework:

  • (1) familiarizing with data, (2) generating initial codes, (3) searching for themes, (4) reviewing themes, (5) defining and naming themes, and (6) completing write-up (Maguie and Delahunt 2017).

To identify relevant HPE publications, a literature search was conducted in November 2021. Four electronic databases (PubMed, Medline CINAHL, PsycINFO) were searched for studies published in English with no date restrictions applied. After removing duplicates, the articles identified by the search strategy underwent a two-stage screening process conducted by the authors that consisted of title and abstract review followed by full-text review for inclusion. Articles were excluded if they referenced Gen Z students in post-graduate programs (ex. medical residencies) or did not directly focus on Gen Z health professions students. References of included studies were screened for additional relevant studies. A detailed search strategy is available in Supplementary Appendix 1 and full bibliographic information for articles included in our sample is provided in Supplementary Appendix 2.

어떤 테마가 Z세대의 HPE 연구에 고유하고 세대에 걸쳐 지속되는지 강조하기 위해 [연역 및 귀납의 혼합적 코딩 체계]를 통해 샘플의 반복적인 주제 분석이 수행되었다. 우리는 [무작위로 선택된 15개의 기사]의 하위 샘플을 연역적이고 귀납적으로 코딩하는 것으로 시작했다. 이 코드 생성 분석 단계에서 각각의 기사는 연구팀의 두 명의 구성원에 의해 읽고 분석되었다. 연역적 코딩은 [Jauergui 등이 개발한 주제 프레임워크]를 적용하여 세 가지 선험적 주제의 증거를 드러냈는데, 우리는 이를 [본질주의, 세대적 타성, 세대적 겸손]이라고 정의했다. [동시 귀납적 코딩]은 팀이 협업적으로 군집화하고 증류한 새로운 주제를 식별했다. 다음으로 연구팀의 각 구성원은 샘플의 각 출판물을 특징짓는 두 개의 중요한 주제뿐만 아니라 [세 개의 선험적]이고 [두 개의 귀납적]으로 생성된 주제의 증거를 위해 샘플의 모든 기사를 독립적으로 분석했다. 일관성을 보장하기 위해 3단계 분석에서 합의에 도달할 때까지 검토자 간에 발생한 불일치를 논의했다. 선험적으로 생성된 테마와 유도적으로 생성된 테마는 표 1에 정의되어 있습니다(그림 1).
Iterative thematic analysis of our sample was conducted through a mixed deductive and inductive coding scheme to highlight which themes are unique to HPE studies of Gen Z and which persist across generations. We began by deductively and inductively coding a sub-sample of 15 randomly selected articles; each of these articles was read and analyzed by two members of the research team during this code-generating stage of analysis. Deductive coding applied the thematic framework developed by Jauergui et al. to reveal evidence of three a priori themes, which we defined as essentialism, generational othering, and generational humility. Simultaneous inductive coding identified novel themes that the team then collaboratively clustered and distilled. Each member of the research team next independently analyzed all articles in the sample for evidence of three a priori and two inductively-generated themes, as well as two overarching themes characterizing each publication in our sample. To ensure consistency, discrepancies that arose between reviewers were discussed until a consensus was reached in the third stage of analysis. A priori and inductively-generated themes are named and defined in Table 1 (Figure 1).

 

결과.
Results

개요
Overview

총 479건의 연구가 이루어졌고, 199건의 중복이 제거되었다. 280개 연구의 제목과 요약본을 심사하였으며, Z세대 HPE학생들에 대한 세대이론 적용에 명확하게 초점을 맞추지 못한 246개 연구는 기각되었다. 총 34개의 연구가 이 분석에 포함되었다. 포함된 연구는 2016년과 2021년 사이에 발표되었다. 우리의 표본 중 16개의 출판물은 간호 교육, 7개의 의학 교육, 4개의 약학 교육, 2개의 치과 교육, 5개에서 2개 이상의 보건 전문 교육 코호트와 관련이 있었다. 포함된 연구 목록은 부록 2에서 확인할 수 있다. 연역 부호화는 자우레귀와 동료들, [본질주의, 세대적 타성, 세대적 겸손]의 세 가지 선험적 주제와 귀납적으로 생성된 두 가지 새로운 주제, [변위 및 세대적 위치]의 증거를 보여주었다. 연구팀은 또한 두 가지 중요한 주제인 [대인관계 중심과 구조적 변화]를 확인했는데, 이 주제는 우리의 샘플에 포함된 기사의 범위를 지정하는 것이다.

A total of 479 studies were obtained, and 199 duplicates were removed. The titles and abstracts of 280 studies were screened and 246 studies that did not clearly focus on the application of generation theory to Gen Z HPE students were rejected. In total, 34 studies were included in this analysis. Included studies were published between 2016 and 2021. Among our sample, 16 publications pertained to nursing education; seven to medical education; four to pharmacy education; two to dental education; and five to two or more health professions education cohorts. The list of included studies is available in Supplementary Appendix 2. Deductive coding revealed evidence of three a priori themes adapted from Jauregui and colleagues, essentialismgenerational othering, and generational humility, and two novel, inductively-generated themes, displacement and generational situatedness. The research team also identified two overarching themes—interpersonal focus and structural changes—which designate the scope of the articles included within our sample.

기술 통계는 주제 빈도를 정량화하는 데 사용되었으며 표 1에 요약되어 있다. 확인된 주제의 빈도는 포함된 연구의 총 수를 분모로 사용하여 계산되었다. 식별된 주요 테마와 관련하여 선험적으로 생성된 테마의 빈도도 결정되었다. 이것은 분모로서 지배적 주제를 포함하는 총 기사 수와 지배적 주제를 포함하는 기사 수와 분자로서 선행 유도적으로 생성된 주제를 포함하는 기사 수를 사용함으로써 달성되었다. 이러한 서술적 통계는 샘플의 해당 기사에만 적용되지만, 이들이 설명하는 패턴은 HPE 내에서 생성 이론을 적용하는 것에 비해 더 광범위하게 일반화할 수 있다.
Descriptive statistics were used to quantify the frequency of themes and are summarized in Table 1. Frequencies of identified themes were calculated using the total number of included studies as the denominator. The frequencies of a priori and inductively-generated themes relative to identified overarching themes were also determined. This was accomplished by using the total number of articles containing the overarching theme as the denominator and the number of articles containing overarching theme and the a priori or inductively-generated theme as the numerator. Although these descriptive statistics hold only for those articles in our sample, the patterns they elucidate are more widely generalizable vis-à-vis the application of generation theory within HPE.

선험적 테마
A priori themes

HPE에서 밀레니얼 세대 이론에 대한 Jauregui와 동료들의 분석과 일관되게, 우리의 샘플에 포함된 기사의 주제 분석은 최근 HPE 문헌에서 [본질주의]와 [세대적 타자화]의 흔적을 모두 드러냈으며, 그들의 연구에서 옹호된 [세대적 겸손]의 희미한 흔적을 드러냈다. 우리 샘플 내의 [본질주의의 증거]는 [Z세대 학습자에 대한 광범위한 일반화 및 Z세대를 균일하고 균일한 개체로 나타내는 경향]에서 나타났다. 예를 들어, 'Z세대'는 '긴 대화에 참여하지 않고 짧은 조각으로 소통하는 진정한 디지털 네이티브'이다. …그들이 선호하는 커뮤니케이션 방법은 문자, 트위터, 스냅챗'이다와 같은 것이 있다. [본질주의화된 고정관념]의 흔한 것으로는 표본의 주제분석을 통해 드러났는데, Z세대 학생들은 [사회적 상호작용 기술이 감소]하고, [주의력이 짧으며], [전문성과 시간 관리에 어려움]을 겪는 것으로 특징지어진다.
Consistent with Jauregui and colleagues’ analysis of Millennial generation theory in HPE, thematic analysis of the articles included in our sample revealed traces of both essentialism and generational othering in recent HPE literature, as well as glimmers of the generational humility advocated for in their study. Evidence of essentialism within our sample emerged in sweeping generalizations about Gen Z learners—for example, ‘Gen Zer’s are “true digital natives”’ (Seibert, 2021, p. 86) who ‘do not engage in long conversations, communicating instead in short bits and pieces. …Their preferred communication method is texting, Twitter, and Snapchat’ (Williams 2019, p. 60)—and the tendency to represent Gen Z as a uniform, homogeneous entity. Common essentializing stereotypes surfaced through thematic analysis of the sample, which characterized Generation Z students as having decreased social interaction skills, short attention spans, and difficulties with professionalism and time management.

우리의 분석은 또한 [세대적 타자화]가 빈번한 일어남을 발견했다; 이러한 예들은 [단순히 반복적인 일반화]를 넘어, Z세대가 이전 세대의 학습자들보다 떨어지지는 않더라도 [최소한 교육자들에게 더 도전적이라는 것을 암시]한다. 즉, 더 필요하고, 더 자격이 있고, 전문 학교에 대한 준비가 덜 되어 있고, 위험을 회피하며, 강의와 같은 전통적인 교육 모드에 참여할 수 없거나 참여하지 않으려 한다는 것이다. 이를 위해 샘플의 기사는 이 세대의 인식된 결함에서 비롯된 [Z세대 HPE 학생들에게 적응하기 위한 제안]을 제안한다: 'Z세대는 온 디맨드 방식으로 정보를 얻는 데 익숙하기 때문에 과제를 완료하기 위해 마지막 순간까지 미루고 강사가 24시간 내내 질문을 받을 수 있기를 기대할 수 있습니다.'
Our analysis also uncovered frequent incidences of generational othering; these examples go beyond simply repeating generalizations to imply that Gen Z is, if not inferior to previous generations of learners, at least more challenging for educators: needier, more entitled, less prepared for professional school, risk-averse, and unable or unwilling to engage in traditional modes of instruction, such as lecture (Twenge 2017; Selingo 2018; Supiano 2019). To this end, the articles in our sample propose suggestions for adapting to Gen Z HPE students stemming from this generation’s perceived flaws: ‘Because Generation Z is accustomed to getting information on demand, they may procrastinate until the last minute to complete assignments and expect instructors to be available 24/7 for questions’ (Eckleberry-Hunt 2018, p. 379).

우리의 샘플 내에서 제시된 [세대적 겸손]의 예는 전형적인 일반화의 한계에 대한 인식을 보여준다. 예를 들면, '모든 Z세대가 이러한 사회적 고정관념과 일치해야 하는 것은 아니다'. 교육자들이 '유연성을 보여주고, 이 세대에 참여하기 위해 [기본적인 가정]과 [실제 수행]을 조정해야 한다'는 필요성도 있습니다. 따라서 [세대적 겸손]은 [세대적 타자화]와는 대조적으로 나타났으며, 이는 Z세대 보건 직업 학생들을 [본질주의화 하려는 고정관념을 복잡하게 만드는 것]과 [세대 간의 차별에 대항하는 것]을 모두 시사한다. 비록 이러한 세대적 겸손의 희미한 빛은 역설적으로 [본질주의]와 [세대적 타자화]의 증거와 함께 공존한다(각각 100%(16/16)와 94%(15/16)에서). 실제로, ['모든 세대 Z가 그런 것은 아니다']라는 표현조차도 고정관념적 규범으로부터의 편차가 측정될 수 있는 ['전형적인' Z세대 학생이 존재한다]를 가정하여 [연령 코호트에 대한 본질주의적 일반화를 암시적으로 강화]한다.
Examples of generational humility presented within our sample demonstrate an awareness of the limitations of stereotypical generalizations—e.g. ‘not all Generation Z has to be aligned with these social stereotypes’ (Vizcaya-Moreno and Pérez-Cañaveras 2020, p. 8)—and the need for educators ‘to demonstrate flexibility, adjusting our underlying assumptions and actual performance in order to engage (with) this generation’ (Cretu, Grigore, and Scripcariu 2020, p. 284). Generational humility thus emerged in contrast to generational othering, suggesting both a willingness to complicate essentializing stereotypes of Gen Z health professions students and to counter generational othering, though these glimmers of generational humility paradoxically coexist alongside evidence of essentialism and generational othering in 100% (16/16) and 94% (15/16) of this sub-sample of articles, respectively. Indeed, even the phrasing ‘not all Generation Z’ presumes a ‘typical’ Gen Z student against which deviation from a stereotypical norm may be gauged, thereby implicitly reinforcing essentializing generalizations about an age cohort.

귀납적으로 생성된 테마
Inductively-generated themes

우리의 샘플에서 반복되는 두 가지 귀납적으로 생성된 주제는 HPE의 Z세대 학습자에 초점을 맞춘 출판된 문헌에서 생성 이론이 어떻게 적용되는지를 보여준다. 첫째, 주제 분석은 우리 샘플의 47%(16/34)에서 생성 이론이 모든 것을 설명하는 역할을 하는 [변위displacement 패턴]을 드러냈다. [변위displacement]는 [학생의 disengagement를 Z세대의 소셜 미디어에 대한 '집착'의 결과]로 설명하는 것과 같은 [본질주의적 고정관념에 의존]하지만, 우리의 샘플에서 뚜렷한 주제, 즉 [교육학적 도전을 세대 차이 및 마찰에서 기인하는 것으로 돌리는 경향]으로 나타났다. 예로는 [Z세대 학생들의 인구집단의 변화]가 있으므로 [입학 이전에 학생 불만 패턴은 이미 존재하였다]고 설명하기 위해 사용하고, [보편적으로 건전한 교육 기법]을 [Z세대에게 고유한 베스트 프랙티스]로 리프레이밍하는 것이 포함된다. 여기에는 예를 들면, 적시에 평가 결과를 돌려주고, 학습 목표, 마감일 및 학생에 대한 기대 사항을 명확하게 설명하는 것 등이 있다.
Two inductively-generated themes recurring across our sample illuminate how generation theory is applied in the published literature focusing on Gen Z learners in HPE. First, thematic analysis revealed a pattern of displacement, whereby generation theory functions as an explanatory catchall, in 47% (16/34) of our sample. Displacement relies on essentialist stereotypes, such as explaining student disengagement as the result of Gen Z’s ‘obsession’ with social media, but emerged as a distinct theme in our sample, namely the tendency to attribute any number of pedagogical challenges to generational differences and/or friction. Examples include using generational shifts in the student population to explain patterns of student dissatisfaction that predate the matriculation of Gen Z students and reframing universally sound pedagogical techniques—e.g. returning assessments in a timely manner, clearly articulating learning objectives, deadlines, and expectations for students—as best practices unique to Gen Z learners (Selingo 2018; Eckleberry-Hunt 2018; Vizcaya-Moreno and Pérez-Cañaveras 2020; Cretu 2020; Lerchenfeldt 2020; Baier 2020; Hampton 2020; Attardi 2021; Chunta 2021).

둘째, 우리 표본의 41%(14/34)의 논문은 전통적인 세대 이론의 본질화 및 다른 충동에 대해 자우레귀와 동료들의 [세대적 겸손에 대한 정의를 초과하는 방식]으로 저항했다; 우리는 이것을 [세대적 위치성generational situatedness]으로 식별했다. 한 세대로 뭉친 [각 학생들의 특이성]에 관심을 기울이고, 이 [독특성을 포착하기 위한 세대 고정관념의 무능력을 인정]하는 것을 넘어(세대별 겸손), [세대적 위치성]은 이러한 학생들이 배우는 [사회 문화, 정치, 경제적 시대 내의 모든 세대의 학생들의 요구를 맥락화]한다. 예를 들어, '세대와 사회가 진화함에 따라 [HPE] 학생들도 진화할 것이다.' 따라서 '[변화하는 학생 집단]과 동시에 이뤄지는 [기술 발전]은 교실과 경험적 환경 내에서 교육학적 접근법의 평가와 잠재적 수정을 위한 자극이 되어야 한다.' 따라서 [21세기 보건직업교육이 교육, 학습, 실천의 요구에 어떻게 대응해야 하는지]를 평가할 때 세대적 위치성은 '입학생뿐만 아니라 더 많은 전체적 기대global expectation를 검토한다'는 것을 의미한다.
Second, 41% (14/34) of the articles in our sample resisted the essentializing and othering impulses of traditional generational theory in ways that exceeded Jauregui and colleagues’ definition of generational humility; we identified this as generational situatedness. Beyond attending to the singularity of each student lumped into a single generation and acknowledging the inability of generational stereotypes to capture this uniqueness (per generational humility), generational situatedness contextualizes the needs of any generation of students within the sociocultural, political, and/or economic era in which these students learn. For example, ‘As generations and society evolve, so too will [HPE] student[s],’ therefore, ‘the changing student population and simultaneous technological advances should be a stimulus for evaluation and potential modification of pedagogical approaches within the classroom and experiential settings’ (Isaacs 2020, p. 1387). Thus, generational situatedness entails ‘examining more global expectations as well as those present in students enrolling’ (Ford 2020, p. 698) when evaluating how health professions education ought to respond to the demands of teaching, learning, and practice in the 21st century.

아우르는 테마
Overarching themes

귀납적 분석은 샘플에 포함된 각 기사를 구성하는 [대인 관계 초점] 및 [구조적 변화]를 추가로 보여주었다.

  • [대인 관계 초점]을 채택한 논문은 [가정된 세대적 특성을 기반]으로 Z세대 학생들에게 [동기를 부여하고 참여시키기 위한 교육 전략 또는 모범 사례]에 초점을 맞추었다. 예를 들어, '교육 양식을 그들의 세대에 가장 적합하게 바꿈으로써 Z세대 학생들의 특정 요구를 이해하고 대응하는 것이 필수적이다.
  • 대안적으로, 보건의료전문직 및 HPE의 [구조적 변화]에 초점을 맞춘 논문들은, '21세기에 학생들이 실천할 수 있도록 [커리큘럼과 교육 방법을 업데이트]하는 것'을 주시하면서, '기술의 시대와 빠르게 변화하는 사회를 따라가기 위해, 간호사 교육자들은 [전통적인 교육학적 방법을 업데이트]할 필요가 있을지도 모른다.' 라고 권고한다.

Inductive analysis further revealed the interpersonal focus and/or structural changes that framed each of the articles included in our sample.

> Articles adopting an interpersonal focus demonstrated a focus on teaching strategies or best practices to motivate and engage Gen Z students based on their assumed generational characteristics, for example, ‘it is essential to understand and respond to the specific needs of Generation Z students by altering teaching modalities to best suit their needs’ (Edwards-Maddox et al. 2021, p. 543).
> Alternatively, articles focused on structural changes centered the changing nature of the health professions, and thus HPE, with an eye to updating curricula and teaching methods to better prepare students to practice in the 21st century, including recommendations that, ‘to keep up with the era of technology and the fast-paced society, nurse educators may need to update their traditional pedagogical methods’ (Oducado 2019, p. 80).

우리의 분석은 62%에서 배타적으로 대인 관계에 초점을 맞추고 26%에서 구조적 변화에 초점을 맞췄다. 그러나 이러한 중요한 주제는 상호 배타적이지 않으며, 12%에서는 두 가지 모두의 흔적이 감지되었다. 이 두 가지 중요한 주제와 관련하여 선험적으로 생성된 주제의 빈도를 분석한 결과 HPE에서 세대 이론의 적용에 대한 통찰력이 추가되었습니다. 상대적인 빈도수는 표 2에 요약되어 있습니다. 특히, 우리는 구조적으로 초점이 맞춰진 조각에서 displacement의 빈도가 크거나 크지만, 이러한 기사에서 어느 정도 구조적 초점을 보여주는 세대 겸손과 세대적 위치의 더 큰 발생률의 증거를 발견한다.

Our analysis surfaced an exclusively interpersonal focus in 62% and a focus on structural change in 26% of our sample; these overarching themes are not mutually exclusive, however, and traces of both were detected in 12% of the articles in our sample. Analyzing the frequency of a priori and inductively generated themes relative to these two overarching themes revealed added insight into the application of generation theory in HPE; relative frequencies are summarized in Table 2. Notably, we find evidence of a greater incidence of generational humility and generational situatedness within those articles demonstrating some degree of structural focus, though the incidence of displacement is as great, or greater, in structurally focused pieces.

논의
Discussion

세대주의와 세대학습자의 개념
Generationalism and the concept of the generational learner

우리의 표본에 걸친 [본질주의]와 [세대적 타자화]의 편재성[세대적 학습자라는 개념이 지속되고 있다]는 증거이며, 자우레귀와 동료들의 밀레니얼 고정관념에 대한 연구로 설명된 [세대 이론의 한계]를 더욱 드러낸다. 또한 자우레귀와 동료들이 [본질주의와 타자화]라는 문제적 패턴에 대한 대안으로 제시하는 [세대적 겸손]의 발생은 고무적이다. 더 많은 [환원주의적 주제(본질주의 및 세대적 타자화)]와 공존하는 것은 [세대 학습자와 세대 이론의 문제적 고정관념]에 대한 [사회적으로 구성된 신화를 완전히 제거할 수 없다]는 것을 의미한다.
The ubiquity of essentialism and generational othering across our sample is evidence of the enduring concept of the generational learner and further reveals the limitations of generation theory explicated by Jauregui and colleagues’ study of Millennial stereotypes. Furthermore, while the incidence of generational humility, which Jauregui and colleagues present as an alternative to problematic patterns of essentialism and othering, in our sample is encouraging, its coexistence with more reductionist themes (essentialism and generational othering) implies its inability to fully debunk the socially constructed myth of the generational learner and generation theory’s reliance on problematic stereotypes.

[본질주의적 사고]는 [권력 불균형을 구체화]하고 ['연령 코호트의 지각된 차이를 고착화']하기 위해 [세대 고정관념을 발동함]으로써, [세대 이론]의 뉘앙스를 납작하게 만들어서, [인종주의, 성차별주의 또는 능력주의와 유사한 인지적 편향]인 ['세대주의']로 변화시킨다. 특히 HPE 내에서 [세대주의]는 [학습자 집단을 참여]시키기 위해 [입증되지 않은 '베스트 프랙티스'의 채택]을 장려하지만, 이것은 [건전한 교육학적 연구]보다는 [본질주의적 고정관념에 뿌리]를 두고 있다. 보건 전문 교육의 고유한 높은 이해관계를 고려할 때, 특히 인식된 [학습자 선호도를 수용하기 위한 커리큘럼 변경은 성급하게 채택되어서는 안 된다]. 그럼에도 불구하고, 우리는 우리의 샘플에 포함된 [100%의 논문에서 본질주의의 요소들을 확인]했는데, 이는 [구조보다는 고정관념에 초점을 맞춘 세대적 사고의 한계]와 [미래의 동료를 훈련시키는 방법을 개념화하는 우리의 방식]을 [근본적으로 재고할 필요성]을 시사한다. 왜냐하면 [미래에 입학할 학생 코호트의 요구를 프레임화]하기 위해 [세대 이론을 활용]한다면, 이는 분명히 [세대주의를 영구화]하기 때문이다. 
Essentialist thinking invokes generational stereotypes to reify power imbalances and ‘entrench perceived differences in age cohorts,’ thereby transforming generational theory into ‘generationalism,’ a cognitive bias akin to racism, sexism, or ableism in its tendency to flatten nuance (Jauregui et al. 2020, p. 63). Within HPE specifically, generationalism encourages the adoption of unproven ‘best practices’ for engaging a new cohort of learners rooted in essentialist stereotypes rather than sound pedagogical research. Given the uniquely high stakes of health professions education, curriculum change—particularly that meant to accommodate perceived learner preferences—ought not to be adopted hastily (Buja 2019). Nevertheless, we identified elements of essentialism in 100% of the articles included in our sample, a pattern that suggests both the limitations of generational thinking focused on stereotypes over structures and the need to radically rethink our mode of conceptualizing how to train future colleagues, as the utilization of generation theory to frame the needs of an incoming student cohort clearly perpetuates generationalism.

[문헌에서 확인된 이러한 경향]은 [진화하는 학생 집단과 고등 교육 및 HPE의 전문적인 요구]에 대한 접근법에 [거의 변화가 없음]을 보여준다. 이는 특히 자우레귀와 동료들이 '밀레니얼 학습자의 신화'를 폭로한 것과 비교하면 더 그렇다. 따라서 HPE에서 [세대 이론의 결함]은 잘 문서화되어 있지만, [세대적 분열]에 대한 논평은 HPE 교육학이 진화하는 과정에서 [지금까지도 지속적인 프레임 방법이 되어 왔고, 앞으로도 그럴 것]이다. ['복잡한 연령 관련 현상']을 [세대를 가지고 설명하는 것]은 종종 ['익숙하고 편안하며, 채택하기 쉽고, 일견 정당한 것처럼 보인다']. 그러한 이유로, HPE 및 고등 교육에 걸쳐서 [교육 정책과 교육학의 지속적인 진화]를 만들어가는 과정에서 [심지어 불완전한 세대 프레임워크]의 가치를 입증해 보이려는 많은 수의 교사, 학자 및 관리자가 아직도 남아 있다. 다른 사람들은 [세대를 세분화하는 것]이 의료 소비자 선호도의 중요한 추세를 밝힐 수 있으므로 '사회에서 증가하고 변화하는 의료 요구사항에 부합'하도록 설계된 미래 의료 커리큘럼의 개발에서 고려되어야 한다고 주장한다.
This trend in the literature demonstrates how little has changed in approaches to evolving student populations and professional demands in higher education and HPE, specifically, as compared to Jauregui and colleagues’ debunking of the ‘myth of the Millennial learner.’ Thus, while the flaws in generation theory vis-à-vis HPE are well-documented, commentaries on generational divides have been and likely will continue to be a perennial framing method as HPE pedagogy evolves. Generational explanations for ‘complex age-related phenomena’ are often ‘familiar and comfortable, … easy to adopt, and seem legitimate on their face’ (Rudolph 2021, p. 946). As such, there remains a sizeable segment of teachers, scholars, and administrators across the spectrum of HPE and higher education more broadly who attest to the value of even imperfect generational frameworks in shaping the continued evolution of educational policy and pedagogy (Twenge 2009; Selingo 2018). Others maintain that attending to generational segmentation may illuminate important trends in health care consumer preferences, and therefore ought to be considered in the development of future medical curricula designed to ‘match the growing and changing health care needs in society’ (Busari 2013, p. 345).

[세대]는 [사회적 구성]으로서, '세대 고정관념의 편재성과, 다양한 연령대의 사람들을 묘사하는데 그러한 라벨을 적용하는 것이 사회적으로 받아들여지는 특성'이기에 발생한다. 이것이 지속되는 이유는 사회학적 현상에 대한 접근 가능한 '상식적' 설명을 제공하기 때문이다. 따라서 고등교육 내외의 세대차이에 관한 문헌은 효과적인 교육학적 방법에 대한 노력을 집중하기 위해 [인간의 행동과 우리의 집단적 상태]를 [분류]하려고 시도한다. 그러나, Borges 등은 X세대와 밀레니얼 의대생들 사이에서 성격적 특성의 차이를 발견했지만, 그들은 이러한 발견이 커리큘럼 설계와 전문적인 훈련에 미치는 영향에 대해 추가 연구가 필요하다고 결론 내렸다. [세대별 성격 차이]가 [교육 및 조언 실천의 효과]에 영향을 미치는지 여부와 그 방법을 입증하는 [강력하고 종단적인 연구가 없는 한], 우리는 [[세대적 학습자]의 요구라는 가정을 충족시키기 위해 HPE를 적응시키는 데 초점을 맞추는 것]이 보건 분야에서 [[모든 공급자]가 오늘날의 의료 문제를 해결할 수 있도록 준비]시키기 위한 지속적인 교육의 필요성을 흐릿하게 만들 것이라고 경고한다. 월시와 아벨슨의 세대 간 의료 전문성 연구가 보여주듯이, [보건 전문가들]은 생물 과학과 기술의 발전, 법과 정책의 변화, 사회 정치와 문화의 변화, 그리고 더 광범위한 경제 동향과 함께 적응하고 진화한다.
Generations are social constructions that emerge from ‘the ubiquity of generational stereotypes and the socially accepted nature of applying such labels to describe people of different ages’ and persist because they offer accessible, ‘common sense’ explanations for sociological phenomena (Rudolph 2021, p. 946). Accordingly, the literature on generational differences within and beyond higher education attempts to categorize human behavior and our collective condition in order to focus efforts on effective pedagogical methods (Howe and Strauss 1997; Isaacs 2020). Yet, while Borges et al. (2006) found differences in personality traits across Generation X and Millennial medical students, they concluded that the implications of these findings for curricular design and professional training required further study. In the absence of robust, longitudinal studies demonstrating whether and how generationally specific personality differences impact the effectiveness of teaching and advising practices, we caution that the focus on adapting HPE to meet the presumed needs of generational learners obscures the necessity for ongoing education in the health professions that prepares all providers to meet today’s healthcare challenges. As Walsh and Abelson’s study of medical professionalism across the generational divide demonstrates, the health professions adapt and evolve alongside bio-scientific and technological advances (Walsh and Abelson 2008), changes in law and policy, sociopolitical and cultural shifts, and broader economic trends.

[세대적 설명]이 익숙하다는 것을 넘어, 우리의 분석은 HPE의 오랜 도전과 새로운 도전 모두를 해결하기 위해 [세대 학습자의 신화에 지속적으로 의존해온 것]은 다음과 같은 이유 때문이었을 것이다.

  • [Z세대 학습자의 요구를 수용하기 위해 기존 커리큘럼을 조정하기 위한 팁]과 같은 [대인 관계 솔루션]은 [즉시 실행 가능한 것]으로 보이기 때문이다 
  • 반면, [21세기 임상 실습에 필요한 지식과 기술을 재평가하는 것]과 같은 [구조적 해결책]은 너무나도 거창해 보이기 때문이다.

그렇다면, HPE에서 세대 이론의 미래는 무엇인가? 우리는 매 15-20년마다 학생들의 필수화와 다른 새로운 집단의 같은 패턴을 반복해야 하는 운명인가, 아니면 [끊잆없는 사회문화적 변화와 직업적 변화에 대응하는 더 생산적인 방법을 상상]할 수 있는가?

Beyond the familiarity of generational explanations, our analysis suggests the continued reliance on the myth of the generational learner to address both longstanding and novel challenges in HPE may result

  • because interpersonal solutions, such as tips for adapting existing curricula to accommodate the needs of Gen Z learners, appear immediately actionable
  • whereas structural solutions, such as reevaluating the knowledge and skills necessary for clinical practice in the 21st century, are dauntingly large.

What, then, is the future of generation theory in HPE? Are we doomed to repeat the same patterns of essentializing and othering new cohorts of students every 15–20 years, or can we imagine a more productive way to respond to ongoing sociocultural and professional change?

 

세대론을 넘어선 세대론?
Generation theory beyond generationalism?

우리는 궁극적으로 HPE에서 교육학적 도전을 프레임화하고 실용적인 해결책을 찾는 수단으로 [세대 이론으로 회귀하는 것]이 [연령주의]와 [해로운 본질주의적 고정관념]을 영구화한다고 결론짓지만, 우리는 세대 변화에 대응하는 데 초점을 [더 큰 문제가 보이는 하나의 증상]으로 인식한다: 현재의 HPE에 대한 교육과정과 교육적 접근방식은 현장에서 인식되는 변화에 적응해야 한다. [대인 관계 초점]을 주로 채택하든 [구조적 도전]을 중심에 두든, 샘플에 포함된 기사의 중요한 주제를 식별하는 데 초점을 맞추는 것은 [HPE에서 세대 이론의 적용]을 숙고해보고, [가능하다면 거기서 벗어날 수 있는 새로운 관점]을 제시한다. 
While we ultimately conclude that the (re)turn to generation theory as a means of framing pedagogical challenges and seeking practical solutions in HPE perpetuates ageism and harmful, essentializing stereotypes, we recognize the focus on responding to generational changes as a symptom of the larger problem: that current curricular and pedagogical approaches to HPE must adapt to perceived changes in the field. Our focus on identifying the overarching themes of the articles included in our sample, whether they adopt primarily an interpersonal focus or center structural challenges, invites a new perspective through which to contemplate the application of—or, preferably, the move away from—generation theory in HPE.

  • 한 쪽에서 보면, [구조적 변화]에 초점을 맞춘 기사 내의 상대적으로 높은 빈도로 [변위displacement]가 등장하는 것은, [커리큘럼 및 교육학적 변혁의 구조적 원동력structural drives]에 맞추어진 HPE 출판물조차도, 여전히 무의식적으로 [Z세대의 고유한 요구(필수주의적 접근법)] 또는 [결함의 관점(세대적 타자화 방식)]으로 이러한 문제를 프레임할 수 있음을 시사한다 
  • 다른 쪽에서 보면, [구조적 변화]와 관련된 출판물에서 [세대적 겸손]과 [세대적 위치성]이 더 높은 빈도로 나타나는 것은 HPE와 실천에 영향을 미치는 [사회적, 경제적, 제도적 힘에 참여하는 것]이 세대 이론의 함정에 대한 효과적인 균형일 수 있음을 시사하며, 교육자로 하여금 미래의 동료들에게 [빠르게 발전하는 분야에서 practice를 하는 데 필요한, '관련성있고 효과적인 교육'을 제공할 수 있게 한다. 

On the one hand, the relatively high frequency of displacement within articles focused on structural changes suggests that even HPE publications attuned to the structural drivers of curricular and pedagogical transformation may still unwittingly frame these challenges in terms of Gen Z’s unique needs (an essentialist approach), or faults (by way of generational othering).

On the other hand, the greater incidence of generational humility and generational situatedness in publications concerned with structural changes suggests that attending to the social, economic, and institutional forces impacting HPE and practice may be an effective counterbalance to the pitfalls of generation theory, allowing educators to provide future colleagues with the relevant, effective training needed to practice in a rapidly evolving field.

학생이나 HPE 내의 광범위한 변화에 적응할 수 있도록 교육자를 준비시키기 위한 문헌의 중요한 목표를 식별하는 것은 [세대 차이]에 의존하는 연구의 추진력과 근거를 풀기 시작한다. 학계는 새로운 지식의 창조를 담당하고 있으며, 인간의 상태를 설명하기 위해 편리하고 접근 가능한 방법을 끊임없이 요구한다. [문화, 역사, 그리고 인간 행위자라는 별자리]는 연구 자체가 위치하는 교차점이며, 따라서 위에서 설명한 [세대적 위치성]이다. [세대적 위치성]을 보여주는 작가들은 그들의 내용과 방법에서 [예측적이고 미래지향적]일 뿐만 아니라, 그들의 [주제에 대한 역사적, 문화적 영향]에 대해 더 의식하고 있으며, 지금 이 순간을 더 면밀하게 알고 있다. [세대적 위치성]는 [변화하는 학생 인구에 적응하는 것]보다 [변화하는 시간에 맞춰 진화 것]에 중심을 두는 인식된 세대 분열에 대한 반응을 알려준다 —세대 이론에 대한 구조적 대 대인 관계적 접근법. 
Identifying the literature’s overarching aims—to prepare educators to adapt to students or broader changes within HPE—begins to unravel the impetus and rationale for studies that rely on generational differences. Academia is tasked with the creation of new knowledge, and constantly requires convenient and accessible ways to describe the human condition. This constellation of culture, history, and human actors are intersections where research situates itself, hence the generational situatedness described above. Authors who demonstrate generational situatedness are more aware of the historical and cultural impingements on their subject, conscientious in the present moment, as well as predictive and future-oriented in their content and methods. Generational situatedness informs responses to a perceived generational divide that center evolving to meet the changing times over adapting to a changing student population—a structural vs. interpersonal approach to generation theory.

궁극적으로, [한 세대를 다음 세대로부터 다소 자의적으로 분할하는 것]은 우리에게 고작 [한 개인이 태어난 때가 언제인가]를 알려줄 뿐이다; 사회 심리학자 Jean M Twenge에 따르면, '세대'를 이렇게 '다른 시기의 사회 문화적 환경에 대한 유용한 대리지표'로 이해한다면 [전문직 학생들이 성공을 위해서 무엇이 필요한가]에 대한 귀중한 통찰을 제공할 수 있을지 모르지만, 우리는 HPE 기관들이 [본질적으로 본질화하는 세대 이론을 배제]하고, 대신 [새로운 세대의 학생들의 추정된 요구]보다 [의료 및 고등 교육의 변화하는 본질에 적응]하는 데 초점을 맞추도록 권장한다.

Ultimately, the somewhat arbitrary partitioning of one generation from the next tells us little more than when an individual was born; while this understanding of a ‘generation’ as, per social psychologist Jean M. Twenge, a ‘useful proxy for the sociocultural environment of different time periods’ may offer valuable insight into what professional students need to be successful, we encourage HPE institutions to dispense with generation theory, which is inherently essentializing, and focus instead on adapting to the changing nature of healthcare and higher education, rather than the supposed needs of a new generation of students (Twenge 2017, p. 399).

[세대 차이]는 [특정한(그리고 사회적으로 구성된) 기간에 태어난 사람들이 고유한 본질적이고 내재적인 특성]보다는 [사회 문화적 환경 내에서 개인의 위치]에 기인한다. 따라서, 교육자들은 다가오는 보건 전공 학생들을 효과적으로 가르치기 위해서는 [Z세대를 이전의 코호트와 구별하는 것]이 [1995년과 2012년 사이에 태어난 사람들 사이에서 근본적으로 다른 것]이 아니고, 그 중심에는 ['현대 문화의 반영']이 있다는 이해에서 출발해야 한다. 따라서 HPE가 세대 이론을 완전히 포기하도록 설득할 수 없다면, [세대주의]보다는 [세대적 위치성]이라는 렌즈를 통해 새로운 도전을 맥락화할 때 이익을 얻을 것이다. 
Generational differences result from an individual’s situatedness within a sociocultural milieu rather than essential, intrinsic qualities unique to those born within a specified—and socially constructed—time frame. Thus, to effectively teach incoming health professions students, educators must start from an understanding that what distinguishes Gen Z from previous cohorts is, at its core, a ‘reflection of contemporary culture’ (Twenge 2009) and not something fundamentally, innately different about those born between 1995 and 2012. Thus, it follows that HPE would benefit from contextualizing novel challenges through the lens of generational situatedness rather than generationalism if they cannot be convinced to abandon generation theory altogether.

[세대의 사회적 구성]과 [세대 '이론'을 영속시키는 매력]을 존중하면서도, [세대적 위치성]는 [한 시대를 정의하는 경제적, 정치적, 사회 문화적, 역사적 순간]을 [모든 구성원이 유사하게 경험하고 영향을 받지 않을 것]이며, 이러한 [획기적인 순간들이 우리 사회의 가장 어린 구성원들에게만 영향을 미치는 것도 아니라는 것]을 우리에게 상기시킨다. 예를 들어, 코로나와 기술 발전이 [연령, 경제 계층, 연령, 인종 등]에 따라 [어떻게 다양한 방식으로 모든 환자와 제공자에게 영향을 미치는지]를 고려하도록 범위를 확장하면 HPE의 미래에 대한 더 생산적인 대화가 열린다.

Honoring the social construction of generations and the perennial allure of generation ‘theory,’ generational situatedness reminds us that not all members of an age cohort will experience and be affected by the economic, political, sociocultural, or historical moments that define an era similarly, nor do these epochal moments influence only the youngest members of our society. Broadening our scope to consider how COVID and technological advancements, for instance, impact all patients and providers in myriad ways unique to their age, economic class, age, race, and etc., opens more productive conversations about the future of HPE.

우리는 [보건 전문 교육자들]에게 [HPE에서 세대주의를 무분별하게 적용하는 것]을 비판하고, 보건 전문 학생들(그리고 기성 의료인]들이 [지속적으로 진화하는 전문직업적 풍경에서 practice할 수 있도록 준비하는 것]을 목표로 [교육을 조정할 때], [세대적 위치성]를 [세대적 겸손]의 필수적인 보완물로 채택할 것을 촉구한다.

  • '준비 안 된' 학생들의 '징징거림'을 한탄하기보다는, 우리의 보건의료전문직 훈련 프로그램이 [더 다양한 학생들에게 접근가능하고 포용적이게 보장함]과 동시에, 우리의 [학습 목표와 전문적 기대]를 명확히 하는 기회로 삼자. 
  • [짧은 집중력과 테크놀로지에 대한 집착]을 한탄하기보다는, [교육 테크놀로지을 활용하여 교육 및 학습을 보다 능동적이고 매력적으로] 만드는 동시에, [새로운 테크놀로지가 현대 의료행위에 어떻게 통합되는지 모델링하는 새로운 방법]에 대해 알아보자.
  • 요즘 학생들이 지나치게 '불안해하고' '위험을 회피한다'고 치부하기보다는, 미래의 의료 전문가들이 커리어의 성취를 이룰 수 있도록, 번아웃과 학자금 대출 부채에 대해 힘든 대화를 나누자.

We urge health professions educators both to critique the facile application of generationalism in HPE and to adopt generational situatedness as a necessary complement to generational humility as they adapt their teaching with the aim of preparing health professions students—and established providers—to practice in a constantly evolving professional landscape.

  • Rather than lament the ‘neediness’ of ‘underprepared’ students, let’s take this as an opportunity to clarify our learning goals and professional expectations, at the same time ensuring that our health professions training programs are accessible and inclusive to a wider diversity of students.
  • Rather than bemoan short attention spans and an obsession with technology, let’s explore novel ways to leverage educational technology to make teaching and learning more active and engaging, while also modeling how new technologies are integrated into contemporary healthcare practice.
  • Rather than dismiss this generation of students as overly ‘anxious’ and ‘risk-averse,’ let’s have hard conversations about burnout and student loan debt so that we can best prepare future healthcare professionals for fulfilling careers.

만약 우리가 [세대적 학습자의 신화를 포기하는 것]을 거부한다면, 적어도 [세대적 위치성]을 실천하기 위해 노력하고, 우리의 교육학적 관행의 변화에 대한 [구조적 동인structural driver]에 더 완전히 관심을 기울이도록 하자.
If we refuse to relinquish the myth of the generational learner, let us at least strive to practice generational situatedness and more fully attend to the structural drivers of change in our pedagogical practices.

한계
Limitations

우리는 현재 HPE 문헌에 대한 분석의 한계를 인정한다. 첫째, 우리 샘플의 대부분의 기사는 학부 간호학 문헌에서 나왔다. 이는 Z세대가 바칼로레아 후 보건 전문가 프로그램에 도착하기 전 평균 4년 동안 바칼로레아 간호 프로그램에 도착했기 때문에 예상되는 것이다. 따라서 이 분야에서 출판을 위한 진전된 시작이 있을 것이다. 그러나 젊고 큰 간호 코호트의 교훈의 적용 가능성은 의료 및 약학 교육을 포함한 모든 수준의 보건 전문가 훈련에 적용되지 않을 수 있다.
We acknowledge limitations of our analysis of current HPE literature. First, the majority of articles in our sample came from undergraduate nursing literature. This is to be expected, as Gen Z arrived in baccalaureate nursing programs on average four years before arriving in post-baccalaureate health professions programs, so there would be an advanced start to publishing in that field. However, the applicability of lessons of a younger and larger nursing cohort may not be applicable to all levels of health professions training, including medical and pharmacy education.

둘째, COVID-19 대유행이 시작된 후 사회적으로 멀리 떨어진 세계에서 필요한 변화에 대응하여 여러 Z세대 기사가 작성되었다. 교육자들이 유행병 학습 환경을 탐색하는 동안 기술적으로 숙련된 가상 학습자 세대를 가정할 가능성이 높기 때문에 이러한 초점은 본질주의와 세대 다른 요소를 증가시킬 수 있다. 마지막으로, 작가, 평론가, 그리고 코더로서 우리 자신은 모두 같은 대학 내에서 일하는 백인 중산층 밀레니얼 세대이기 때문에 본질주의적인 사고를 하는 경향이 있을 수 있다. 우리는 루빅 코딩을 적용하여 우리 고유의 편견을 인식하고 허들링하려고 시도했지만, 우리의 주관적 해석은 여전히 우리 자신의 사각지대를 위한 여지를 남길 수 있다.
Second, several Gen Z articles were written after the onset of the COVID-19 pandemic, often in response to necessary changes in a socially-distant world. This focus could augment elements of essentialism and generation othering as educators were more likely to assume a generation of technically-proficient, virtual learners while navigating the pandemic learning environment. Finally, as authors, reviewers, and coders we ourselves may be prone to essentialist thinking, as we are all white, middle-class Millennials working within the same university. We attempted to recognize and hurdle our own inherent biases by applying rubric coding, however our subjective interpretations may still leave room for our own dead angles.

결론들
Conclusions

Z세대 교수 및 학습과 관련된 HPE 문헌의 최근 출판물에 대한 주제 분석은 [세대 이론의 지속적인 매력]과 [세대 학습자의 지속적인 신화]를 보여준다. 이 접근법은 심각하게 환원적이어서, 보건의료전문계열 학생에 대한 고정관념에 의존하거나 심지어는 폄하하기까지 한다. 우리의 분석은 또한 [세대적 겸손]과 [세대적 위치성]에 대한 유망한 증거와, [세대적 학습자의 신화]를 파괴하고, [진화하는 전문직업적 및 학생집단의 요구에 대한 보다 총체적인 대응]을 장려하는 [세대 이론에 대한 접근법]을 보여주었지만, 우리는 [세대이론을 적용하는 본질주의]의 증거도 광범위하게 발견했다. 또한, 우리의 분석은 광범위한 교육학적 도전을 [세대 간 투쟁]으로 프레임화하는 변위displacement의 패턴도 보여준다. 이 접근 방식은 빠르게 변화하는 의료 분야에서 학생들이 실습할 수 있도록 준비하는 것을 목표로 하는 더 생산적인 교육학적 개입을 배제하는 것이 우려된다.
Thematic analysis of recent publications in HPE literature related to Gen Z teaching and learning reveals the enduring allure of generational theory and the persistent myth of the generational learner. This approach is problematically reductive, relying on essentialist stereotypes that other—and even disparage—health professions students. While our analysis also reveals
- promising evidence of generational humility and generational situatedness,
- approaches to generational theory that disrupt the myth of the generational learner and encourage a more holistic response to evolving professional demands, as well as student populations,

we find pervasive evidence of essentialism in the application of generation theory. Moreover, our analysis reveals a concerning pattern of displacement, whereby a wide variety of pedagogical challenges are framed as generational struggles—an approach we fear precludes more productive pedagogical interventions aimed at preparing health professions students to practice in a rapidly changing healthcare arena.


세대 프레임워크는 오랫동안 [HPE의 변화에 대한 편리한 약칭]을 제공했으며, 이는 [세대 학습자 신화에 무슨 매력이 있어서 사라지지 않는지]를 설명하는 데 도움이 된다. 그러나 이제는 우리는 현장과 학생 인구집단의 변화에 대해 [더 생산적이고 덜 문제적인 반응]을 찾아나갈 때이다. 소위 'Z세대' 학생들이 점점 더 많은 수의 HPE 프로그램에 등록함에 따라, 우리는 교육자들이 이러한 [학생들에 대한 일반화에 저항]하고, 대신 우리가 [현재와 미래의 의료 환경에서 학생들이 practice할 수 있도록 최선의 준비]를 하려면 [HPE에서 어떤 진화가 일어나야 하는지]에 대해 포괄적으로 생각할 것을 촉구한다.

Generational frameworks have long provided a convenient shorthand for changes in HPE, which helps to explain the enduring appeal of the myth of the generational learner, but it is time we find a more productive and less problematic response to changes in the field and within our student populations. As so-called ‘Gen Z’ students enroll in HPE programs in increasing numbers, we urge educators to resist generalizations about these students and to instead think comprehensively about what evolutions in HPE must occur if we are to best prepare our students to practice in present and future healthcare settings.


Med Teach. 2022 Oct 28;1-8. doi: 10.1080/0142159X.2022.2135428. Online ahead of print.

Generational situatedness: Challenging generational stereotypes in health professions education

Affiliations collapse

1College of Medicine, Northeast Ohio Medical University, Rootstown, OH, USA.

2College of Pharmacy, Northeast Ohio Medical University, Rootstown, OH, USA.

PMID: 36306344

DOI: 10.1080/0142159X.2022.2135428

Abstract

Purpose: Use of generation theory is pervasive within health professions education (HPE) literature, yet its application perpetuates unfounded generalizations that disadvantage learners. The objectives of this thematic analysis are first, to understand how generation theory is applied to 'Generation Z' HPE students and second, to propose a more productive framework for approaching evolutions within HPE.

Methods: A literature search was conducted to identify HPE publications pertaining to Gen Z learners. A thematic analysis was undertaken to identify a priori themes and uncover new themes.

Results: Qualitative analysis revealed evidence of three a priori themes as well as four newly identified themes across our sample.

Conclusion: The near ubiquity of essentialism and generational othering across our sample illustrates the ongoing challenges posed by generationalism in HPE discourse. While traces of generational humility and generational situatedness suggest a more holistic response to evolving student populations, we nevertheless discourage the continued use of generation theory to guide HPE pedagogy and instead urge educators to resist essentializing generalizations by thinking comprehensively about what evolutions in HPE must occur if we are to best prepare our students to practice in present and future healthcare settings.[Box: see text].

Keywords: Gen Z; Generation Z; Generation theory; health professions education.

Career Development and Systems Theory: Connecting Theory and Practice (3rd Edition)

Wendy Patton Queensland University of Technology, Australia and Mary McMahon The University of Queensland, Australia

사회인지진로이론
SOCIAL COGNITIVE CAREER THEORY

직업 심리학의 인지 모델의 개발은 FH Borgen(1991) "인지 혁명"이라고 칭한 것을 반영한다. [인지 혁명][개인이 자신의 발전에 적극적인 주체로서 개인적인 agency을 소유하는 것]으로 보는 관점을 강화하는 데 중요한 역할을 해왔다. 이러한 관점은 [정신분석학적 관점의 결정론]과 [행동주의적 접근에 의해 제안된 유연한 인간의 관점]과는 [대조적]이다. 동시에, 우리는 [긍정적인 변화와 성장]의 [장애가 되는 내적, 외적 요인]들이 있다는 것을 무시할 수 없다. 예를 들어, 크룸볼츠는 개인의 직업 계획에 부정적이거나 긍정적인 요인이 될 수 있는 유전적 재능에 대해 말했다. 마찬가지로, 사회적, 경제적 조건의 변화는 경력 개발에 현저한 영향을 미칠 수 있다.

간단히 말해서, (문화, 성별, 유전적 선천성, 사회 구조적 고려사항, 장애/건강 상태와 같은) 복잡한 요소들이 사람들의 인식과 함께 작동하여 그들의 [직업 가능성]의 본질과 범위에 영향을 미친다.” 해킷(1995)은 직업 선택과 발달에서 사회인지적 메커니즘, 특히 [자기효능감]의 역할이 연구 문헌에서 강하게 지지된다고 주장했는데, 이는 베츠와 베츠와 해킷의 리뷰에서 더욱 뒷받침되는 견해이다. [자기효능감]은 진로선택과 진로결정에 있어서의 [역할] 외에도 [관심, 가치, 목표의 개발]에 있어서도 역할을 한다. Hartung(2010)은 직업심리학 문헌에서 가장 널리 연구된 구성 중 하나로 자기효능감을 꼽았다.

The development of cognitive models of vocational psychology reflects what F. H. Borgen (1991) has termed “the cognitive revolution” (p. 279). The cognitive revolution has been instrumental in strengthening the view of individuals as possessing personal agency, as being active agents in their own development. This view is in contrast to the determinism of psychoanalytic perspectives and the view of humans as malleable proposed by behaviourist approaches. At the same time, we cannot ignore that there are internal and external factors which are barriers to positive change and growth. For example, Krumboltz spoke of genetic endowments which may be negative or positive factors in an individual’s career planning. Similarly, changing social and economic conditions can have a marked effect on career development.

“In short, a complex array of factors – such as culture, gender, genetic endowment, sociostructural considerations, and disability/health status – operate in tandem with people’s cognitions, affecting the nature and range of their career possibilities” (Lent et al., 1996, p. 374). Hackett (1995) asserted that the role of sociocognitive mechanisms, especially selfefficacy, in career choice and development is strongly supported in the research literature, a view further supported in reviews by Betz (2000, 2007) and Betz and Hackett (1997). In addition to its role in career choice and career decision making, self-efficacy has a role in the development of interests, values and goals. Hartung (2010) cited self-efficacy as one of the most widely studied constructs in the vocational psychology literature.

이러한 [인지혁명에 반응]하여, [진로심리학의 이론적 융합 경향]에 기여하고자 사회인지진로이론(SCCT)이 개발되었다. 렌트는 SCCT "진로 퍼즐을 이해하기 위한 상당히 최근의 접근법"으로 인정했다. "기존에 직업 이론가들에 의해 확인된 공통된 조각들 또는 요소들을 하나로 모으기 위한 통일된 프레임워크"로 개발됨에 있어서, SCCT의 목표는 기존 이론의 차이와 불완전한 개념화를 연결하는 구조와 개념을 개발하는 것이다. 이 목표는 직업 발전 이론의 현재 상태에 대한 주요 검토 후에 예고되었으며, 저자들은 이렇게 코멘트하였다.

  • "다음과 같은 통합 이론을 구축하기 시작할 때가 무르익었을 수 있다
    • (a) 개념적으로 관련된 구성(예: 자기 개념, 자기 효능감)을 통합한다;
    • (b) 다수의 경력 이론(예: 만족도, 안정성)에 공통적인 결과를 보다 완전하게 설명한다
    • (c) 겉보기에 다양한 구성(예: 자기 인식, 관심사, 능력, 필요) 간의 관계를 설명한다."

7장에서는 수렴에 대한 SCCT의 기여에 대해 논의한다. 이론 자체의 측면이 이 장에서 제시된다.

In response to this cognitive revolution, and as an attempt to contribute to the trend toward theoretical convergence in career psychology, the Social Cognitive Career Theory (SCCT) was developed (Lent, 2005, 2013; Lent & S. D. Brown, 1996, 2002; Lent et al., 1994, 1996, 2002; Lent & Hackett, 1994). Lent (2005) acknowledged the SCCT as a “fairly recent approach to understanding the career puzzle” (p. 101), a position reiterated in 2013. In being developed as a “unifying framework for bringing together common pieces, or elements, identified by previous career theorists” (Lent, p. 101) its aim is to develop constructs and concepts to bridge differences and incomplete conceptualisations in existing theory. This aim was heralded following a major review of the current state of career development theory (Hackett & Lent, 1992), when the authors commented that

  • “The time may be ripe for beginning to construct integrative theories that
    • (a) bring together conceptually related constructs (e.g., self-concept, self-efficacy);
    • (b) more fully explain outcomes that are common to a number of career theories (e.g., satisfaction, stability); and
    • (c) account for the relations among seemingly diverse constructs (e.g., self-efficacy, interests, abilities, needs)” (p. 443).

Chapter 7 discusses the contribution of SCCT to convergence; aspects of the theory itself are presented in this chapter.

[SCCT]는 반두라의 1986년 [개정된 사회 인지 이론]에서 주로 파생되었다. 또한 해킷과 베츠의 [자기효능감 이론](1981; 6장 참조)과 앞서 논의한 [크룸볼츠의 학습이론]에 의해서도 알려지고 있다. 이는 이러한 각각의 이론적 공식을 반두라의 사회적 인지 이론(1986, 1997)에서 파생된 변화로 업데이트하는 것을 목표로 한다. 예를 들어, SCCT의 개발자들은 학습 경험의 중요성과 직업 결정에 대한 [유전적 요인]과 [환경] 조건의 영향을 인정했다. 그러나 그들은 사회 인지 이론이 학습과 조건화의 학습 이론 원칙의 좁은 행동 기반을 넘어선다고 강조했다. 오히려 SCCT는 [진로 결정 행동]에서 학습 경험에 영향을 미치는 [특정 인지 매개자]에 더 초점을 맞춘다. 또한, 이 이론은 관심사, 능력 및 기타 [관련 변수들이 어떻게 상호 연관]되어 있는지, [개인 및 환경적 요인]들이 [진로 결정에 영향을 미치는 구체적인 방식]에 초점을 맞추고 있다. 사회 인지 이론은 또한 [개인이 이러한 과정에서 활동적인 주체active agent]라는 것을 강조한다. 렌트는 또한 "SCCT는 [특정 연령과 단계에 덜 관심]을 갖는 경향이 있고, 그보다는 [발달 과제와 기간에 걸쳐across] 경력 행동을 촉진하거나 방해할 수 있는 이론적 요소에 더 관심을 갖는다"고 언급하면서 SCCT와 특성 요인 및 발달 경력 이론 간의 유사점과 차이점을 논한다.

The SCCT was derived primarily from Bandura’s (1986) revised social cognitive theory. It has also been informed by the self-efficacy theory of Hackett and Betz (1981; see chapter 6), and the learning theory of Krumboltz (1979, 1994) discussed previously. It aims to update each of these theoretical formulations with changes derived from the social cognitive theory of Bandura (1986, 1997). For example, the developers of SCCT acknowledged the importance of learning experiences, and the influence of genetic factors and environmental conditions on career decisions. However, they emphasised that social cognitive theory extends beyond the narrow behavioural bases of the learning theory principles of learning and conditioning. Rather, SCCT focuses more on the specific cognitive mediators which influence learning experiences in career decision-making behaviour. In addition, the theory focuses on how interests, abilities and other relevant variables interrelate, and the specific manner in which personal and environmental factors influence career decisions. Social cognitive theory also emphasises that the individual is an active agent in these processes. Lent (2013) also discusses similarities and differences between SCCT and trait-factor and developmental career theories, noting that “SCCT tends to be less concerned with the specifics of ages and stages, yet more concerned with theoretical elements that may promote or hinder career behaviour across developmental tasks and periods” (p. 117).

SCCT는 세 가지의 연동 세그먼트 프로세스에 초점을 맞춘다:

  • 경력 및 학문적 관심사가 어떻게 발달하는지;
  • 직업 선택이 어떻게 결정되고 집행되는가;
  • 수행능력의 성과는 어떻게 달성되는가.

그것은 반두라(1986)의 [인과관계의 삼차 상호모델 개념]을 사용하여 변수들 사이의 양방향 관계를 설명하고자 한다. 저자들은 이 모델을 이용하여 [세 가지 복잡하게 연관된 사회적 인지 변수(자기효능감, 기대 성과, 개인적 목표)]가 성별과 민족성, 관련 환경 문제, 학습 경험 등 [개인의 측면]과 어떻게 상호 작용하는지 설명했다. 중요한 것은 개인이 세 가지 연동 과정의 중심이라는 것이다.

SCCT focuses on three interlocking segmental processes:

  • how career and academic interests develop;
  • how career choices are made and enacted; and
  • how performance outcomes are achieved.

It seeks to explain a bidirectional relationship between variables using Bandura’s (1986) concept of a triadic reciprocal model of causality. Using this model, the authors described how three intricately related social cognitive variables (self-efficacy beliefs, outcome expectations, and personal goals), interact with aspects of the individual such as gender and ethnicity, their relevant environmental issues, and their learning experiences. Importantly, the individual is central to the three interlocking processes.

반두라(1986)에 따르면, 자기 효능감은 "지정된 유형의 수행능력을 달성하는 데 필요한 행동 과정을 조직하고 실행하는" 능력에 대한 개인의 신념을 의미한다. 사회 인지 이론은 자기 효능감이 정적인 단일 특성이 아니라, 주어진 수행 영역에 고유하고 [다른 개인적, 행동적, 환경적 요인과 상호 작용]하는 [지속적으로 변화]하는 일련의 자기 신념으로 간주된다고 제안한다. 결과 기대는 특정 행동 방침의 가능한 결과에 대한 믿음을 의미한다. 자기효능감 신념과 유사하게, 그것들은 또한 다양한 학습 경험을 통해 도출된다. [최종적인 사회적 인지 변수]인 [개인적 목표]는 [특정한 결과를 생산하기 위해 특정한 활동을 수행하려는 결정]을 의미한다. 목표를 설정함으로써, 개인은 자신의 행동을 조정하고, 지시하고, 유지할 수 있으며, 자기 행동에 있어 에이전트적이다. Lent Hackett(1994)은 이러한 [세 가지 사회적 인지 변수(자기 효능감, 기대 성과, 개인적 목표)]가 [개인의 행동의 자기 조절과 유지]에서 [역동적으로 상호 작용]한다고 제안했다. 특히 관심사 개발, 진로 선택, 진로 관련 성과 등에 초점을 맞췄다. 2006년에, Lent SD Brown은 교육과 업무 만족에 초점을 맞추기 위해 새로운 SCCT 모델을 추가했다. 

According to Bandura (1986), self-efficacy refers to an individual’s beliefs about their capacity to “organize and execute courses of action required to attain designated types of performances” (p. 391). Social cognitive theory suggests that self-efficacy is not a static unitary trait, but rather is seen as a constantly changing set of self-beliefs which are peculiar to given performance areas and which interact with other personal, behavioural, and environmental factors (Hackett & Lent, 1992). Outcome expectations refer to beliefs about the probable consequences of a particular course of action. Similar to self-efficacy beliefs, they are also derived through various learning experiences. The final social cognitive variable, personal goals, refers to the determination to undertake a certain activity to produce a particular outcome. By establishing goals, individuals are able to coordinate, direct and maintain their own behaviour, and thereby be agentic in their behaviour. Lent and Hackett (1994) suggested then that these three social cognitive variables (selfefficacy, outcome expectations, and personal goals) interact in a dynamically reciprocal way in the self-regulation and maintenance of an individual’s behaviour. In particular, they focused on the development of interests, career choice, and career-related performance. In 2006, Lent and S. D. Brown added a new SCCT model to focus on educational and work satisfaction. 

관심사 Interests

[관심사]와 관련하여 SCCT는 [활동과 과제]에 대한 [자기효능감]과 [기대 성과]가 진로 관심사에 영향을 미친다고 제안한다. , 개인은 자신이 잘한다고 생각할 때, 그리고 그것을 수행하는 것이 가치 있는 결과를 만들어낼 것이라고 생각할 때 활동에 대한 지속적인 관심을 형성한다. 결과적으로, 지속적인 관심과 긍정적인 자기 효능감과 결과 기대는 개인이 활동에 계속 참여하도록 장려하는 목표를 촉진할 것이다. 지속적인 긍정적 피드백 루프는 긍정적인 경험에 의해 유지되거나 실패와 함께 수정될 것이다. 이론 개발자들은 "이 과정은 청소년기 후반이나 성인기 초반까지 가장 유동적일 수 있지만, 그 시점에서 관심이 안정되는 경향이 있다"고 가정했다. 그러나 이 저자들은 새로운 경험과 새로운 기술과 같은 요소들이 계속해서 흥미를 자극할 것이라고 인정했다.

In relation to interests, SCCT suggests that self-efficacy and outcome expectations regarding activities and tasks influence career interests. That is, individuals form an enduring interest in an activity when they believe they are good at it, and when they believe that performing it will produce an outcome that is valued. In turn, ongoing interest, and positive self-efficacy and outcome expectations will promote goals which encourage an individual to continue to engage in the activity. An ongoing positive feedback loop will be maintained by positive experiences or revised with failures. The theory developers posited that “this process repeats itself continuously throughout the lifespan, although it is perhaps most fluid up until late adolescence or early adulthood, at which point interests tend to stabilize” (Lent & S. D. Brown, 1996, p. 314). These authors acknowledged, however, that new experiences, and factors such as new technology, will continue to stimulate interests.

[적성(능력) 및 가치]와 관련하여 Lent et al.(1994)은 이익의 발전에 중요하지만 [자기효능감과 기대 성과에 의해 매개]된다고 제안했다. 예를 들어, 한 개인이 대중 연설을 잘할 수도 있지만, 그들은 그들이 대중 연설이 흥미로 발전하기 위해서는 가치가 있다고 믿어야 한다. SCCT는 기대 성과 내에서 작업 가치를 개념화한다. , 작업 가치는 특정 작업 조건 및 인식된 보상(: 지위 또는 금전)에 대한 선호와 관련이 있으며, 작업 가치가 특정 직업의 일부라고 믿는 범위와 관련이 있다.

In relation to aptitudes (abilities) and values, Lent et al. (1994) suggested that while they are important in the development of interests, they are mediated by selfefficacy and outcome expectations. For example, an individual may be good at public speaking, however they must believe they are and also believe that public speaking is worthwhile for it to be developed as an interest. SCCT conceptualises work values within outcome expectations, that is they are related to preferences for particular work conditions and perceived reward (e.g., status or money), and the extent to which they believe they are part of particular occupations.

중요한 것은 이 이론이 젠더, 인종과 민족, 유전적 선천성, 사회경제적 지위와 같은 [다른 사람과 맥락적 변수의 관련성을 강조]한다는 점이다. 렌트가 기술한 것과 같이 "자기효능감과 기대성과는 사회적 진공 속에서 이뤄지지 않는다". SCCT는 [성별과 인종]을 [사회적으로 구성된 것]으로 보고, 사회 문화 환경에서 [성별과 인종을 어떻게 보는지]에 대한 관련성과 기회 구조와의 관계를 강조한다. "성별과 민족성을 사회적으로 구성된 경험의 측면으로 프레임화하면 자연스럽게 [사회 구조적 조건과 프로세스]에 대한 고려로 이어진다. [사회구조적 조건과 프로세스]는 특정 개인이 노출되는 학습 기회, 다양한 활동을 수행할 때 받는 특성 반응 및 예상되는 미래 결과를 형성합니다." 따라서 성별과 민족성이 진로 관심사, 선택 및 성과에 미치는 영향도 자기효능감과 결과 기대를 통해 작용할 수 있다.

Importantly, this theory emphasises the relevance of other person and contextual variables, such as gender, race and ethnicity, genetic endowment, and socioeconomic status, as Lent stated “self-efficacy and outcome expectations do not arise in a social vacuum” (p. 107). SCCT views gender and race as socially constructed and emphasises their relevance to how they are viewed in the sociocultural environment, and their relationship to opportunity structure. “Framing gender and ethnicity as socially constructed aspects of experience leads naturally to a consideration of sociostructural conditions and processes that mould the learning opportunities to which particular individuals are exposed, the characteristic reactions they receive for performing different activities, and the future outcomes they anticipate” (Lent & S. D. Brown, 1996, p. 315). Thus the effect of gender and ethnicity on career interests, choice and performance is also posited to operate through self-efficacy and outcome expectations.

직업 선택 Career Choice

SCCT는 [직업 선택]이 [관심사의 함수]이며, 사람들이 자신을 지원하는 활동으로 향하게 만든다고 제안한다. 이 방정식은 [지지적 환경적 배경]을 필요로 한다. 그러나 직무만족도에 관한 문헌은 개인의 진로선택이 항상 관심사를 반영하는 것은 아니며, 환경조건이 항상 지지적인 것은 아니라는 것을 시사한다(5, 특히 귀무 가설의 논의, Betz, 1989 참조). 통합 모델이 되기 위한 시도에서 SCCT는 관심사와 직업 선택 사이를 중재하는 다양한 요소를 강조한다. 여기에는 상황에 따라 다양한 영향을 미치는 것 외에도 논의된 자기효능감과 결과에 대한 기대가 포함된다. [상황에 따른 영향]은 [긍정적일 수도 있고 부정적일 수도] 있지만, SCCT는 [개인의 공식화된 목표]가 [개인적 행위자성agency의 척도]를 제공한다고 강조한다. SCCT는 각각 Astin Vondracek 외의 환경적 맥락, 기회 구조(6장에서 자세히 설명) 및 상황적 어포던스(이 장의 후반부에서 설명)의 개념화를 기반으로 한다. SCCT는 개인의 경력 개발에 영향을 미치는 이러한 구조를 두 가지 유형으로 나누어 개발합니다:

SCCT proposes that career choice is a function of interests orienting people toward activities which support them. This equation requires a supportive environmental background. However, the literature on job satisfaction suggests that individuals’ career choices do not always reflect interests, and that environmental conditions are not always supportive (see chapter 5, in particular the discussion of the null hypothesis, Betz, 1989). In attempting to be an integrative model, SCCT highlights a range of factors which mediate between interests and career choice. These include self-efficacy and outcome expectations as discussed, in addition to a large array of contextual influences. Although contextual influences can be positive or negative, SCCT emphasises that an individual’s formulated goals afford a measure of personal agency. SCCT (Lent et al., 1994, 1996) draws on the conceptualisations of the environmental context of Astin (1984) and Vondracek et al. (1986), opportunity structure (discussed further in chapter 6), and contextual affordance (discussed later in this chapter) respectively. SCCT further develops these constructs which are influential in an individual’s career development by dividing them into two types:

1. 사회적 인식과 관심을 형성하는 데 [도움이 되는] 더 먼 영향(예: 기술 개발 기회, 문화 및 성 역할 사회화 프로세스, 잠재적인 학문/사회적 역할 모델 범위)

1. more distal influences (such as opportunities for skill development, culture and gender-role socialization processes, one’s range of potential academic/career role models) that help shape social cognitions and interests; and

2. 중요한 선택의 순간에 작용하는 근접한 영향(예: 특정 옵션 선택에 대한 정서적, 재정적 지원, 선호하는 분야의 직업 가용성, 사회 구조적 장벽).

2. proximal influences (for instance, emotional and financial support for selecting a particular option, job availability in one’s preferred field, sociostructural barriers) that come into play at critical choice junctures (Lent et al., 1996, p. 393).

이러한 각각의 구성은 [환경]이 [개인의 경력 개발 과정을 지원하거나 지원하지 못하는 차별적인 방식]을 의미하므로, 논의된 바와 같이 각각 [긍정적]이거나 [부정적]인 것으로 볼 수 있다. 렌트의 단언대로, "상황과 문화적 조건은 때때로 개인적인 관심사에 대한 [타협을 요구]한다. 이러한 경우, 선택은 개인이 [이용할 수 있는 옵션], 자신의 [자기효능감 신념과 기대 성과의 성격], 개인이 지원 [시스템으로부터 받는 메시지의 종류]에 따라 결정된다.

Each of these constructs refers to the differential way in which the environment supports or fails to support an individual’s career development processes, thus as discussed, each can be viewed as being positive or negative. As Lent (2005) affirmed, “Circumstances and cultural conditions sometimes require a compromise in personal interests. In such instances, choices are determined by what options are available to the individual, the nature of his or her self-efficacy beliefs and outcome expectations, and the sorts of messages the individual receives from his or her support system” (p. 110).

경력 관련 성과 Career-related Performance

SCCT는 또한 작업 수행과 작업 활동 또는 [경력에서의 인내(직업 안정성)]와 관련이 있다. 다시 말하지만, [능력]과 [자기효능감, 기대 성과, 목표와 같은 [사회적 인지변수] 사이의 상호작용은 매우 중요하다. 영향 간의 양방향 상호 작용을 강조하는 3-상호 접근 방식과 일치하여, 성능 달성과 추가 행동 사이의 피드백 루프가 가정된다. 그러므로, 특정 과제나 과제에 대한 숙달은 능력을 더욱 발전시킬 것이고, 그 결과 자기효능감과 결과에 대한 기대를 더욱 높일 것이다. 개인 목표의 개발과 수정은 이 루프의 추가 요소입니다. 그림 4.1은 이 이론적 접근법의 도표적 프레임워크를 보여준다.

SCCT is also concerned with work task performance and perseverance at a work activity or career (job stability). Again, an interaction between ability and the social cognitive variables of self-efficacy, outcome expectations, and goals is crucial. Consistent with the triadic-reciprocal approach which emphasises bidirectional interaction between influences, a feedback loop between performance attainment and further behaviour is posited. Therefore, mastery of a certain task or tasks will further develop abilities, and in turn self-efficacy and outcome expectations. The development and revision of personal goals is a further element in this loop. Figure 4.1 presents the diagrammatic framework of this theoretical approach.

SCCT는 비교적 새로운 개발이지만, Lent의 종합적인 검토(2005년 및 2013) SCCT의 중심 변수와 제안을 탐색하고 검증하기 위해 수행된 광범위한 경험적 작업을 강조했다. 그것은 직업 관심사, 선택 및 성과의 개인적 변동성을 설명하기 위해 설계된 귀중한 추가 이론 모델로 서 있다. SCCT라는 이론적 틀이 [특히 중요한 이유]는, [개인적, 환경적 또는 맥락적 요인의 제약] 내에서 개인을 [자신의 삶의 능동적 형성자]로 보는 [구성주의자 관점]을 수용하기 때문이다. 또한, 사회적 인지 변수는 다른 이론적 모델에서 누락된 핵심 설명 메커니즘을 제공한다. 최근에 Betz(2008) SCCT, 특히 자기효능감 기대에 대한 연구 지원을 확인했다. 연구는 또한 일반적으로 이 이론의 주요 가설들을 확인했으며, 특히 다양한 그룹(Betz)에 대한 적용 가능성에 대한 지지를 제공했다. 이후 매년 진행되는 진로 상담 및 개발 실무 및 연구 검토를 통해 SCCT의 풍부한 연구 기반이 확인되었으며, 이는 진로 개발 이론과 실무 문헌에서 SCCT의 지배력을 높이는 데 도움이 되었다. Lent SD Brown은 사회인지적 관점의 적용 가능성을 업무 만족도(2006)와 업무 맥락에서의 주관적 웰빙(2008)으로 확장했다.

While SCCT is a relatively new development, Lent’s comprehensive reviews (2005 and 2013) have highlighted the extensive empirical work conducted to explore and validate SCCT’s central variables and propositions. It stands as a valuable additional theoretical model designed to explain individual variability in career interests, choice and performance. It is a particularly important theoretical framework because it embraces a constructivist view of the individual as an active shaper of his or her life, within the constraints of personal and environmental or contextual factors. Further, the social cognitive variables offer key explanatory mechanisms which are missing from other theoretical models. More recently, Betz (2008) affirmed the research support for the SCCT, in particularly self-efficacy expectations. Research has also generally affirmed the theory’s major hypotheses, and in particular has provided support for its applicability to diverse groups (Betz). Subsequent annual reviews of practice and research in career counselling and development (Bikos, Dykhouse, Boutin, Gowen, & Rodney, 2013; Creager, 2011; Erford & Crockett, 2012; Hartung, 2010; Patton & McIlveen, 2009) have affirmed the abundant research base for SCCT, lending support to its growing dominance in the career development theory and practice literature. Lent and S. D. Brown have extended the applicability of the sociocognitive view to work satisfaction (2006) and to subjective well being in the work context (2008).

Handbook of Career Development: International Perspectives

사회인지진로이론
Social Cognitive Career Theory

Lent, Brown, Hackett에 의해 발전된 사회 인지 경력 이론(SCCT) 또한 경력 이론에 대한 통합적인 접근법이다. 예를 들어 SCCT는 모순되는 것이 아니라 특성 요인 접근법(예: 홀랜드 이론)을 보완하는 위치에 있다(Lent, 2005).

Social Cognitive Career Theory (SCCT) advanced by Lent, Brown, and Hackett (1994) is also an integrative approach to career theorization. For example, SCCT is not positioned to contradict but to complement trait-factor approaches (e.g., Holland’s theory) (Lent, 2005).

SCCT는 반두라(1986)의 [사회 인지 이론]을 [경력 개발에 적용]한 것이다. [직업적 관심사 개발, 직업 선택의 시도와 재제작, 직업적 수행성과]를 설명하는 모델에 초점을 맞추고 있다. 반두라의 연구에서 주요 영감을 끌어낼 때, [Human agency]와 [Agency가 축소되거나 강화될 수 있는 경로]는 SCCT(예: 성 역할 사회화)에서 중요한 관심을 받는다. [행위자성agency(증폭되거나 축소됨)]은 SCCT에서 주로 다양한 수행 영역과 활동에 대한 [자기효능감 신념]과 [기대 성과]를 사용하여 조작화된다. SCCT에서 핵심적인 추측은

  • 자기효능감 신념(예: "나는 이것을 할 수 있다" 또는 "나는 이것을 할 수 없다")과
  • 기대 성과(예: "내가 이것을 하면 보상을 받을 것이다" 또는 "내가 이 옵션을 선택하면 보상을 받지 못할 것이다")가
  • 학업 및 직업 관심사의 발전에 영향을 미친다는 것이다.

[현실적이고 긍정적인 자기효능감 신념과 기대 성과]는 진로와 관련된 [관심사의 개발]을 촉진할 가능성이 있으며, [관심사]는 [목표](즉, 수행 영역의 선택과 해당 영역에서 원하는 수행 수준)로 이어지고, 이는 ["활동 선택과 연습"]으로 이어진다. 물론 다른 경로도 모델에 명시되어 있습니다.

  • 이익과 목표/행동 사이의 연결을 끊거나 줄이는 제약 조건(예: 재정적, 가족적)을 더 잘 포착하기 위해 보충 경로(예: 자기효능감 신념과 결과 기대에서 목표 및 행동으로의 직접 경로)가 공식화되었다.
  • [과거의 경험과 적성]은 자기효능감 신념과 기대 성과를 통해 관심사에 영향을 미치는 것으로 포지셔닝된다.
  • [맥락적 영향]은 선택 목표, 선택 행동 및 성과에 대한 근위적이고 조정적인 역할뿐만 아니라 원위적이고 중재적인 역할을 모두 수행하는 것으로 제시된다.

As is evident in the name, SCCT is an application of Bandura’s (1986) social cognitive theory to career development. The focus is on models that explain the development of vocational interests, making and remaking of vocational choices, and vocational performance (Lent, 2005). In drawing its principal inspiration from Bandura’s work, human agency and the pathways through which agency can be curtailed or enhanced receive crucial attention in SCCT (e.g., gender-role socialization).Agency (amplified or diminished) is operationalized in SCCT primarily using self-efficacy beliefs and outcome expectations regarding each of varied performance areas and activities. A pivotal conjecture in SCCT is that

  • self-efficacy beliefs (e.g., “I can do this” or “I cannot do this”) and
  • outcome expectations (e.g., “If I do this, I will be rewarded” or “I will not be rewarded if I take this option”)
  • influence the development of academic and career interests (Lent, Brown, & Hackett, 2002).

Realistic and positive selfefficacy beliefs and outcome expectations are likely to facilitate the development of careerrelated interests; interests in turn lead to goals (i.e., selection of a performance domain and the level of desired performance in that domain), which lead to “activity selection and practice” (Lent, 2005, p. 106). Of course, other pathways are also specified in the model.

  • Supplementary pathways (e.g., direct paths from self-efficacy beliefs and outcome expectations to goals and actions) have been formulated to better capture the constraints (e.g., financial, familial) that sever or reduce the linkage between interests and goals/ actions (Lent et al., 2002).
  • Experiences in the past and aptitudes are posited as influencing interests through self-efficacy beliefs and outcome expectations (Lent et al., 2002).
  • Contextual influences are presented as playing both a distal and mediated role as well as a proximal and moderating role on choice goals, choice actions, and performance (see Lent et al., 2002).

SCCT는 미국의 광범위한 연구에 의해 뒷받침된다. 따라서 관심사와 자기효능감 신념 및 결과 기대 간의 관계와 같은 핵심 아이디어에 대한 연구 지원과, 자기효능감 신념 및 결과 기대가 진로 선택에 미치는 영향을 설명하는 부분 매개 모형에 대한 연구 지원이 있다(Lent et al., 2002).

SCCT is backed by extensive research in the United States (Lent et al., 2002). Therefore, there is research support for key ideas such as the relationships between interests and self-efficacy beliefs and outcome expectations; and for a partial mediation model explaining the influence of self-efficacy beliefs and outcome expectations on career choice (Lent et al., 2002).

라이프 스팬 이론 렌즈를 이용한 SCCT 검사
Examining SCCT Using a Life Span Theoretical Lens

SCCT의 관심, 선택 및 성과 모델은 평생 적응 프로세스를 사용하여 명확하게 표현되지 않는다. 그들의 이론에 있는 몇 가지 진술은 라이프 스팬 개념을 다룬다예를 들어, [효능감-강화 중재]는 평생에 걸쳐 유익하지만 초기 청소년기 또는 그 이전에 가장 유용하다. 중요한 것은 [직업적 관심과 선택 모델]은 발달의 선택 및 최적화 프로세스와 호환되는 것처럼 보이는 개념을 포함한다는 것이다. 또한 [성공적인 교육 및 진로 의사 결정과 행동]에 대한 잠재적 장벽을 검토하고 극복하기 위해 상담에서 대차대조표를 사용하는 것은 개발의 손익 역학과 약간 유사한 것으로 보인다.

SCCT’s interest, choice, and performance models are not articulated using lifelong adaptational processes. A few statements in their theory (see Lent et al., 2002) address life span ideas (even if inadequately); for example, that efficacy-enhancing interventions are beneficial all through life but are most useful during or before early adolescence. Importantly, the vocational interest and choice models include notions that seem compatible with selection and optimization processes in development. Also, the use of a balance sheet in counseling, to examine and overcome potential barriers to successful educational and career decisionmaking and action, appears to bear a faint resemblance to gain-loss dynamics in development.

SCCT는 어느 정도까지 가소성에 초점을 맞추는가? 자기효능감 및 결과 기대와 같은 수정 가능한 구성요소를 선택하고 이를 이론의 중심으로 배치함으로써 Lent et al(2002)은 가소성 쪽으로 기울어 보인다. 그러나 능력과 같은 다른 구성의 안정성에 대한 의존성으로 인해 어느 정도 수정 가능성을 제한한다. 따라서 이들이 직업적 관심사를 '확대'할 필요성을 보는 것은 주로 능력 측정과 관심 측정(, 교육이나 진로 선택과 관련된 능력은 높지만 관심은 낮다)의 불일치의 맥락에서이다. 관심사를 넓힌다는 것은 상담에서 그 사람이 능력에 따라 관심사를 가져오는 것을 용이하게 한다는 것을 의미한다. 예를 들어, 능력 측정이 (보장되지 않는) 긍정적인 그림을 산출하는 경우, 성차별적 사회화는 그러한 접근법을 통해 해결될 수 있다. 그럼에도 불구하고, 가소성에 대한 보다 열린 견해는 안정적인 능력에 대한 의존을 덜 요구할 것이다. 그들에게 유리한 것은 "개인이 최소한의 필요한 능력을 가지고 있는 한 자기효능감 신념은 주어진 학문이나 직업 영역에서 성취를 촉진할 수 있다"는 것이다.

To what extent does SCCT focus on plasticity? By selecting modifiable constructs such as self-efficacy and outcome expectations and by positioning these as central to the theory, Lent et al. (2002) appear to be inclined towards plasticity. However, they limit modifiability to some extent by their dependence on the stability of other constructs such as abilities. Therefore, it is largely in the context of a discrepancy between ability measurement and interest measurement (i.e., the ability related to an educational or career choice is high but the interest is low) that they see a need to “expand” vocational interests. Expanding interests then means that in counseling the person is facilitated in bringing interests in line with abilities. Gender discriminatory socialization, for example, could be remedied through such an approach if and when ability measurements yield a positive picture (which is not guaranteed). Nevertheless, a more open view of plasticity would require less dependence on stable abilities. In their favor is their clarification that “self-efficacy beliefs may facilitate attainment in a given academic or career domain as long as an individual possesses at least minimal levels of requisite ability in that domain” (Lent et al., 2002, p. 291).

밀레니얼의 학습을 촉진하기 위한 열두가지 팁(Med Teach, 2012)
Twelve tips for facilitating Millennials’ learning
DAVID H. ROBERTS, LORI R. NEWMAN & RICHARD M. SCHWARTZSTEIN
Harvard Medical School, USA

서론
Introduction

성공적인 교육을 위해서는 학습자의 필요, 배경, 관심사 및 학습 스타일에 대한 이해와 이해가 필요합니다. 오늘날 의학 교육에서는 대부분의 학문적 환경과 마찬가지로 많은 교수진이 수년간의 경험과 전문 지식을 바탕으로 강의하도록 선택된다. 그 결과 학습자은 많은 시간을 더 이른 세대에 태어난 시니어 교육자들에게 배우게 된다.
Successful teaching requires an understanding and appreciation of the learners’ needs, backgrounds, interests, and learning styles. In medical education today, as in most academic settings, many faculty are selected to teach based on their years of experience and expertise. This often results in a cadre of senior educators who were born in earlier generations than their learners.

나이 차이만으로 볼 때, 의학교육에서 교사와 학습자 사이에 세대 간 긴장이 발생할 가능성이 크다. 비록 이것이 수년 동안 사실로 유지되어 왔지만, 새로운 기술의 급속한 성장과 사회의 일상적인 구조로의 통합으로 인해 교육 기술과 학습 스타일의 측면에서 세대 차이의 잠재력은 오늘날 과장될 수 있다. 또한, 의대생부터 훈련 및 실습의 주니어 의사에 이르기까지, 밀레니얼 학습자는 주변 세계, 환자와의 상호 작용 및 학습 요구에 대해 뚜렷한 관점을 가지고 있다. 
Based on age difference alone, there exists a significant likelihood of intergenerational tension between teachers and learners in medical education. Although this has held true for many years, the potential for generational difference in terms of teaching techniques and learning styles may be exaggerated today due to the rapid growth of new technologies and their incorporation into the daily fabric of society. Additionally, Millennial Learners, ranging from medical students to junior physicians in training and practice, have distinct perspectives on the world around them, their interactions with patients, and their learning needs.

앞의 두 가지 팁에서 더 자세히 설명했듯이, "밀레니얼"은 처음에 2000년에 18세가 되어 대학이나 성인 노동력에 들어간 사람들로 정의되었다. 이 기사에서는 밀레니얼 학습자에게 오늘날의 의료 교육자의 기술과 영향을 극대화하도록 교육하기 위한 12가지 팁을 식별합니다. 
As described in more detail in the first two tips, “Millennials” were first defined as those individuals who turned 18 in the year 2000 and entered college or the adult workforce (Howe & Strauss 2000). In this article, we identify 12 tips for teaching Millennial Learners to maximize the skills and impact of today's medical educators.

팁 1 세대 차이의 개념에 대해 스스로 학습합니다
Tip 1 Educate yourself about the concept of generational differences

지난 세기 동안, 개인들의 뚜렷한 [문화적 세대]들이 있었다. [세대]는 [공통된 경험, 가치, 공동체, 정체성을 공유하는 특정 연령대의 개인]으로 정의되며, 이 모든 것은 주요 [국가적 또는 세계적 사건] 또는 [사회적 추세]에 의해 형성된다. 마지막 네 세대는 일상적으로 사일런트, 베이비붐 세대, X세대, 밀레니얼 세대로 확인되었다.
Over the past century, there have been several distinct cultural generations of individuals. A generation is defined as individuals of a particular age group who share common experiences, values, communities, and sense of identity, all of which are shaped by major national and/or world events or social trends. The last four “named” generations have been routinely identified as the Silents, the Baby Boomers, the Generation X, and the Millennials.

  • [침묵의 세대]는 1928년에서 1945년 사이에 태어난 사람들을 포함한다. 이 개인들의 삶은 대공황, 강대국들의 힘, 그리고 2차 세계대전에 의해 형성되었다.
  • 뒤이은 [베이비붐 세대]는 1946년에서 1964년 사이에 태어난 사람들을 포함한다. 이 기간 동안, 개인의 삶은 민권과 여성 해방 운동과 베트남 전쟁을 포함한 중대한 정치적, 사회적 격변으로 특징지어졌다.
  • 1965년에서 1982년 사이에 태어난 사람들은 [X세대]로 간주된다. 이 시기는 세계 경제의 상대적인 성장과 안정 그리고 수많은 문화적 자유의 상승으로 특징지어지는 시기이다.
  • 오늘날 우리 반 학생들로 구성된 [밀레니얼 세대]는 1982년 이후 태어난 사람들로 시작된다. "밀레니얼"이라는 용어는 18세가 되어 밀레니얼 세대가 바뀔 때 대학이나 성인 노동력에 들어가는 사람들에게 처음 적용되었다.
  • The Silent Generation encompasses those individuals born between 1928 and 1945. These individuals’ lives were shaped by the Great Depression, the strength of the superpowers, and World War II.
  • Following this, the Baby Boomer Generation includes those individuals born between approximately 1946 through 1964. During this time frame, individuals’ lives were marked by significant political and social upheaval, including the civil rights and women's liberation movements and the Vietnam War.
  • Individuals born between 1965 and 1982 are considered to be members of Generation X. This is a time period marked by relative growth and stability in the world economy and rise of numerous cultural freedoms.
  • The Millennial Generation, comprising the students in our classes today, begins with those individuals born since 1982. The term “Millennial” was first applied to those who would reach age eighteen and enter college or the adult workforce at the turn of the millennium.

세대 특성에 대해 학습하기 위한 구체적인 제안:
Specific suggestions to learn about generational characteristics:

  • 세대 설명에 관한 대중 문화 책이나 의학 교육 문헌을 읽습니다
  • [여러분 세대의 특성을 인식]하고, 그것들이 여러분의 교육 스타일에 어떤 영향을 미칠지 고려하세요
  • 교수 회의의 일부를 세대 차이에 대해 논의하는 데 사용하세요.
  • 온라인에서 "밀레니얼 세대는 누구인가?"라는 짧은 비디오를 보세요 
  • 퓨 리서치 센터(2011)의 온라인 퀴즈 "How Millennial Are You?"를 보세요
  • Read popular culture books (Howe & Strauss 2000; Zemke et al. 2000) or medical education literature (Berk 2009; Twenge 2009; Borges et al. 2010) regarding generational descriptions
  • Become aware of your own generation's characteristics and consider how they might impact your teaching style
  • Spend part of a faculty meeting discussing generational differences
  • Watch a short video online, “Who are the Millennials?” (Hamilton 2009)
  • Take the Pew Research Center's (2011) online quiz “How Millennial Are You?”

팁 2 밀레니얼 학습자에게 영향을 미치는 환경 및 문화적 요인 인식
Tip 2 Recognize the environmental and cultural forces that affect the Millennial Learner

1982년에서 2000년 사이에 태어난 오늘날의 의대 학습자 세대는 밀레니얼 세대, 넷 세대, Y 세대, 나 세대, 디지털 세대 등 많은 이름으로 알려져 있다. 이전 세대인 (X세대)와 달리, 밀레니얼 세대는 태어날 때부터 온라인 기술의 보편적인 존재, 새로운 의사소통 방식 (휴대폰, 문자, 이메일), 세계 경제의 약화, 강력한 "영웅" 인물의 부재, 9월 11일 비극, 그리고 여전히 진행중인 몇몇 전쟁을 포함한 몇 가지 [강력한 환경 및 문화적 영향]을 받았다.
The current generation of learners in medical school today, born between 1982 and 2000, is known by many names including the Millennial Generation, Net Generation, Generation Y, Generation Me, and the Digital Generation. Distinct from the prior generation, (Generation X), the Millennials have been subject to several strong environmental and cultural influences including the omnipresence of online technology since birth, novel modes of communication (cell phones, texting, email), the weakening of the global economy, the absence of strong “hero” figures, the tragedy of September 11, and several ongoing wars.

이 세대의 구성원들은 일반적으로 [기술에 정통]하고, [공정성에 관심]이 있으며, [팀워크와 공동체 형성에 매력]을 느끼고, [다양성을 수용]하는 것으로 여겨진다. 그러나 그들은 [사리사욕]에 의해 움직이며, 종종 학습을 위해 [구조화된 환경]을 선호하며, [즉각적인 욕구 충족]에 사용된다. 대규모 중등교육과 중등교육 이후의 연구에서 나온 증거는 밀레니얼 세대가 [나르시시즘에 대한 경향]을 보이며, 이전 세대가 권력에 관심있는 것과 달리, [소속감과 성취에 대한 관심]을 보여주고 있음을 시사한다.
Members of this generation are generally felt to be technologically savvy, interested in fairness, attracted to teamwork and community building, and accepting of diversity. However, they are driven by self-interest, often prefer structured environments for learning, and are used to immediate satisfaction of needs. Evidence from large secondary and post-secondary education studies suggests Millennials demonstrate a tendency toward narcissism (Twenge 2009), and an interest in affiliation and achievement rather than the prior generation's interest in power (Borges et al. 2010).

오늘날의 기술 및 사회적 영향이 밀레니얼 세대 학생의 학습 스타일에 어떻게 영향을 미치는지 더 잘 이해하기 위한 구체적인 제안:
Specific suggestions to better understand how today's technological and social influences affect your Millennial students’ learning styles:

  • 학생들에게 "일반적인" 날의 학습 활동에 대해 설명하도록 요청합니다.
  • 학생들에게 친구들과 연락하거나 팀 프로젝트에서 동료 학생들과 협력하기 위해 사용하는 기술을 나열하도록 요청합니다
  • 학생들이 시험을 위해 공부한 방법 또는 과제를 완료하는 데 사용한 자료에 대해 설문 조사
  • Invite students to describe their learning activities on a “typical” day
  • Ask students to list the technologies they use either to keep in touch with friends or to collaborate with fellow students on team projects
  • Survey students as to how they studied for an exam or which resources they used to complete an assignment

팁 3 세대 간의 잠재적 긴장이 학습에 어떤 영향을 미칠 수 있는지 이해
Tip 3 Understand how potential intergenerational tension may impact learning

교사들은 현재의 학습자들이 [한 세대 전의 학습자들과 같은 학습 스타일, 목표, 관심사를 공유할 것이라는 가정을 피해야]한다. 의학교육에서도 대부분의 학계와 마찬가지로, 현재 학습자 집단 앞에 나와 지혜와 지식을 전하는 [교수진 '거인'에 대한 영광감이 종종 존재]한다.
Teachers must avoid assuming that current learners will share the same learning styles, goals, and interests they themselves had as learners a generation earlier. In medical education, as in most academia, there is often a sense of glory about the faculty “giants” who come before the current cohort of learners to convey their wisdom and knowledge.

"내가 배운 방식"이나 이전의 교육 경험과 자주 비교하는 것은, [현재 세대와 그들 자신의 독특한 학습 요구와 특별한 능력에 집중]하는 것을 방해할 수 있으며, 이것은 학생들을 방어적으로 만드는 경향이 있다. 모든 학습은 맥락적이며, 교사들은 자신의 [세대적 편견]이 [어떻게 상호작용을 억제하고 학습에 부정적인 영향을 미칠 수 있는지] 알아야 한다.
Frequent comparisons to “the way I was taught” or prior educational experiences may prevent a focus on the current generation and their own unique learning needs and special capabilities, which tends to put the students on the defensive. All learning is contextual and teachers need to be aware of how their own generational biases could inhibit interactions and negatively impact learning.

학습 접근법 및 기대 측면에서 세대 간 긴장을 제한하기 위한 구체적인 제안:
Specific suggestions to limit intergenerational tension in terms of learning approaches and expectations:

  • 이전 학습자와 현재 학습자 간의 [차이]보다는 [겹치는 부분과 유사한 부분]을 강조합니다
  • 현재 학습자와 거의 관련이 없을 수 있는 [과거 학습 환경 또는 요구 사항에 대한 언급을 피합니다].
  • 현재 학습자의 [동기에 대한 가정을 피합니다]. 그러나 지속적으로 호기심과 발견을 장려하면 분명해질 수 있다(즉, 온라인 문헌 검색 수행 대 도서관 스택에서 시간을 보내는 것).
  • Highlight areas of overlap and similarity, rather than difference, between prior and current learners
  • Avoid references to prior learning environments or requirements that may have little relevance for current learners
  • Avoid assumptions about current learners’ motivations. Consistently encourage curiosity and discovery, however, it may manifest (i.e., conducting online literature searches versus spending time in the stacks of a library).

팁 4 밀레니얼 세대는 학습에 대한 지침과 집중이 필요합니다
Tip 4 Millennials need guidance and focus in their learning

밀레니얼 학습자들은 인터넷의 힘을 손끝에 쥐고, 말 그대로 스마트폰과 다른 기기를 통해 24시간 "사용"할 수 있습니다. 기술의 힘은 무한하며 종종 압도적이다.
Millennial Learners have the power of the Internet at their fingertips and literally “with” them via smartphones and other devices 24 h a day. The power of this technology is infinite and often overwhelming.

밀레니얼 학습자들은 광대하고 현대적인 학습 환경을 헤쳐나가는 데 [도움이 필요]하다. 예를 들어 의대 1학년 학생이 "빈혈"이라는 단어를 "구글링"하거나 의학 정보 웹사이트에서 이 용어를 찾을 때 학생은 수백만 건의 잠재적인 웹 히트 또는 관련성이 있는 데이터만 포함된 수많은 웹 페이지를 검색하여 원래 찾았던 정보를 찾아야 한다.
Millennial Learners need help wending their way through the vast, modern learning landscape. For example, when a first-year medical student “Googles” the word “anemia” or looks up this term on a medical information website the student must sift through several million potential web hits or numerous webpages of only potentially relevant data to find the information originally sought.

이러한 상황에서 교사는 [관련성을 강조]하고, 학습자가 [학습의 맥락을 우선시하고 식별할 수 있도록 지원함]으로써 핵심적인 서포트을 제공할 수 있다. 오늘날의 학습자들은 [인터넷에서 정보를 regurgitating 하는 것]만으로도 항상 "콘텐츠 기반" 답을 제공할 수 있을 것이다. 대조적으로, [합성, 응용, 분석, 추론, 해석 및 기타 더 복잡한 사고와 처리]가 필요한 과제는 학생들을 더 깊이 학습시키고 비판적 사고 기술을 향상시킨다.
In this situation, teachers can provide key support by emphasizing relevance and helping learners prioritize and identify context for their learning. Today's learners will always be able to provide “content-based” answers simply by regurgitating information from the Internet. In contrast, tasks that require synthesis, application, analysis, reasoning, interpretation, and other more complex thinking and processing engage students in deeper learning and enhance critical thinking skills.

교육자가 밀레니얼 세대를 위해 학습을 지도, 집중 또는 방향 전환하는 방법에 대한 구체적인 예:
Specific examples of how educators can guide, focus, or redirect learning for Millennials:

  • 학습자에게 "왜, 어떻게, 어떤 맥락에서"에 초점을 맞추라고 상기시킵니다
  • 학생들에게 구체적인 내용(인터넷 검색을 통해 쉽게 찾을 수 있는 답)을 나열하거나 식별하도록 요청하지 않고, 학생들이 비판적 사고가 필요한 문제를 통해 지식을 적용하도록 권장합니다
  • Remind learners to focus on the “why, how, and in what context”
  • Avoid asking students to list or identify specifics (answers easily found with an Internet search), and encourage students to apply knowledge through problems that require critical thinking

팁 5 당신의 교육이나 인생 철학을 확인하세요
Tip 5 Identify your teaching or life philosophy

밀레니얼 학습자에게 미치는 영향을 개선하기 위해서는 자신이 누구인지, 어떻게 자신이 어디에 있는지, 어떤 선택과 결정이 자신이 선택한 길로 이어졌는지에 대해 더 잘 이해해야 합니다. 당신이 일과 삶의 균형을 어떻게 맞추는지 더 많이 설명할 수 있을수록, 당신의 학습자들은 당신과 더 많은 연결을 느끼고 당신의 가르침의 관련성을 이해할 것이다.
To enhance your impact on Millennial Learners, they need to understand more about who you are, how you got to where you are, and what choices and decisions led to the path you have taken. The more you can describe how you balance work and life, the more your learners will feel a connection to you and understand the relevance of your teaching.

그들의 교육에 대한 여러분의 관심과 여러분이 가르치고 있는 자료가 어떻게 실용적으로 적용될 수 있는지에 대한 여러분의 인식을 보여주기 위해, 여러분이 왜 특정 독서를 선택했는지, 또는 여러분의 실습에서 임상 기술을 어떻게 사용하는지에 대한 여러분의 철학을 공유하세요. 사실적인 답변이나 내용만을 제공하는 웹 기반 서비스와 달리, "실제" 교사로서 여러분은 공유된 경험과 [학습 과제의 우선순위를 정하는 방법], [문제 해결을 위한 정보 적용 방법], [업무 관심사와 가족 생활의 균형을 맞추는 방법]을 모델링할 기회를 통해 [학습자와 상호 작용하고 연결할 수 있는 기회]를 갖게 됩니다. 밀레니얼 세대는 소셜 네트워킹에서 번창thrive합니다. [전문적인 수준]뿐만 아니라 [개인적인 차원]에서도 그들과 연결될 수 있다면 가장 좋습니다. 자신이나 가족의 질병이나 상실에 대한 경험을 공유하는 것은 그 특정 토론뿐만 아니라 그 이후의 학생들에게도 엄청난 영향을 미친다. 

To demonstrate your interest in their education and your awareness of how the material you are teaching can be practically applied, share your philosophy of teaching, why you chose a particular reading, or how you use a clinical skill in your practice. In contrast to a web-based service that provides solely factual answers or content, you as a “live” teacher have the opportunity to interact and connect with learners through shared experiences and opportunities to model how to prioritize learning tasks, apply information to solve problems, and balance work interests and family life. Millennials thrive on social networking; it is best if you can connect with them on a personal as well as a professional level. Sharing your own or your family's experiences of disease or loss has a tremendous impact on students not only for that particular discussion but for those that follow.

밀레니얼 학습자와 연결하여 교육 효과를 높이기 위한 구체적인 제안:
Specific suggestions to connect with Millennial Learners and enhance your teaching impact:

  • 항상 학습자에게 자신을 소개하고, 현재 역할에 대한 배경과 경로에 대한 세부 정보를 제공합니다
  • 자신의 위치를 즐기는 이유와 업무에서 받는 보상에 대한 세부 정보를 공유하세요
  • 일과 가정 생활 및 관심사를 연결하거나 균형을 맞추는 방법의 예를 제공합니다
  • Always introduce yourself to your learners and provide details on your background and path to your current role
  • Share details of why you enjoy your position and the rewards you receive from your work
  • Provide examples of how you link or balance work and home life and interests

팁 6 최신 eLearning 기술을 활용하는 방법 알아보기
Tip 6 Learn how to utilize current eLearning technologies

좋은 가르침은 기술로 대체되는 것이 아니라 기술로 강화되는 것이다. 오늘날 학습자들의 언어의 대부분은 빠르게 변화하는 기술로부터 진화하고 있으며, 학생들이 어떻게 배우고 소통하고 있는지를 따라가는 것이 중요하다.
Good teaching is not replaced by technology, but rather enhanced by it. Much of the language of today's learners evolves from rapidly changing technology, and it is important to keep abreast of how your students are learning and communicating.

우리의 가르침의 [구체적인 내용은 안정적으로 유지]될 수 있지만(심장에서 대동맥을 통해 흐르는 혈액의 생리는 변하지 않았다), 우리가 그 내용을 [어떻게 구성하고, 제시하고, 전파하는지는 지속적으로 진화]한다. 일부 콘텐츠는 책이나 텍스트에 남아 있지만 블로그, 팟캐스트, 무료 스트리밍 비디오 등 다른 형태는 의학적 지식과 관점에 대한 무제한 접근을 제공한다. 이용 가능한 새로운 기술과 그것들이 의학 교육에서 어떻게 사용되고 있는지를 인식하는 것은 현재 학습자들이 콘텐츠와 어떻게 상호 작용하고 있는지 이해하는 데 핵심이다. 또한 프로젝트에 대해 동료 학습자와 협력하고 웹 기반 리소스, 이른바 "웹 세미나" 또는 Facebook.com 및 Twitter.com과 같은 소셜 네트워킹 서비스를 통해 콘텐츠를 배포하는 새로운 방법도 있습니다. 컴퓨터 기반 애니메이션과 시뮬레이션은 학생들이 어려운 개념을 이해하고 그들의 지식을 문제를 해결하는 데 적용하기 위해 고군분투할 때 도움이 될 수 있다.
While specific content of our teaching may remain stable (the physiology of blood flowing from the heart through the aorta has remained unchanged), how we organize, present, or disseminate that content continually evolves. Some content remains in books or texts, but other forms, such as blogs, Podcasts, and free streaming videos, provide unlimited access to medical knowledge and viewpoints. Becoming aware of available new technologies and how they are being used in medical education is key to understanding how current learners are interacting with content (Ruiz et al. 2006; Cook et al. 2010). There are also new means of collaborating with fellow learners on projects and disseminating that content through web-based resources, so-called “webinars,” or social networking services like Facebook.com and Twitter.com. Computer-based animations and simulations may assist students as they struggle to understand difficult concepts and apply their knowledge to solve problems.

현재 이러닝 기술에 대해 학습하기 위한 구체적인 제안:
Specific suggestions for learning about the current eLearning technologies:

  • 자녀나 학습자에게 스마트폰이나 컴퓨터를 최대한 활용하는 방법을 보여달라고 요청합니다
  • 사용할 수 있는 교육 기술 도구에 대해 학교 또는 병원의 정보 기술(IT) 부서에 문의하십시오
  • 학생들에게 현재 커리큘럼 자료를 어떻게 사용하는지 설문 조사
  • 학생들이 사용하고 검토할 수 있도록 컨텐츠를 보급하는 새로운 방법을 식별합니다
  • Ask your children or your learners to show you how to maximize the use of your smartphone or computer
  • Speak with your school or hospital's Information Technology (IT) department about what education technology tools are available for you to use
  • Survey students on how they use current curricular materials
  • Identify new ways to disseminate content for students to use and review

팁 7 밀레니얼 세대가 미적으로 매력적인 교육 프레젠테이션을 중요시(그리고 기대)한다는 것을 인식
Tip 7 Recognize that Millennials value (and expect) aesthetically appealing educational presentations

현대의 학습자들은 종종 매력적인 외관과 느낌을 가진 재미있고, 게임 같은, 대화형이고, 매력적인 자료에 익숙하다. 콘텐츠를 만들고 보급하기 위한 현재의 소프트웨어와 기술은 조금 전까지만 해도 전문 디자이너들에 의해서만 달성될 수 있었던 방식으로 자료들이 매력적으로 보이도록 한다.
Modern learners are used to fun, game-like, interactive, and engaging materials that often have an appealing look and feel. Current software and technology to create and disseminate content enable materials to appear attractive in a way that a short while ago could only have been achieved by professional designers.

콘텐츠 디자인의 혁명이 가져온 한 가지 결과는 밀레니얼 학습자들이 자료가 어떻게 제시되는지에 대한 더 높은 기준과 기대를 갖게 된다는 것이다. 한때 최신 기술이었지만 이제는 구식인 PowerPoint 슬라이드를 업데이트하고 개선해야 할 수도 있습니다.
One consequence of this revolution in content design is that Millennial Learners have higher standards and expectations of how material is presented. You may need to update and improve the PowerPoint slides that were once state of the art but are now outdated.

프레젠테이션 자료를 개선하고자 하는 의료 교육자를 위한 구체적인 제안은 다음과 같습니다:
Specific suggestions for medical educators seeking to improve their presentation material include:

  • 지역 전문 지식을 활용하거나 교수진 개발 과정을 수강하여 프레젠테이션에 비디오, 설문 조사 및 그래픽을 포함하는 방법을 배우십시오
  • 새로운 프레젠테이션 기술을 실제로 적용하는 방법에 대한 무료 웹 기반 리소스(YouTube의 비디오 등) 활용
  • 동료 또는 학생에게 슬라이드 또는 커리큘럼 자료를 검토하고 피드백과 제안을 제공하도록 요청합니다
  • Tap into local expertise or take a faculty development course to learn how to embed video, surveys, and graphics into your presentations
  • Utilize free web-based resources (such as videos on YouTube) on how to practically apply new presentation technologies
  • Ask colleagues or invite students to review your slides or curricular materials and provide feedback and suggestions

팁 8 추가 도움말 및 지원 기회 강조
Tip 8 Emphasize opportunities for additional help and support

많은 밀레니얼 학습자들은 근처에서 맴돌던 소위 "헬리콥터" 부모들에 의해 길러졌고, 그들은 어떤 종류의 필요나 도전에도 도움을 줄 수 있게 되었다. 결과적으로, 일부 밀레니얼 세대들은 스스로 문제를 해결하기보다는 어려움이나 어려움에 직면했을 때 지원을 요청하거나 기대하는 것이 더 편안한 상태로 입학한다. 데이터는 또한 밀레니얼 학습자들이 [새로운 학습 상황에서 더 불안]해하며, 이는 [더 체계적인 학습 환경을 선호]하는 결과를 초래할 수 있음을 시사한다.
Many Millennial Learners were raised by so-called “helicopter” parents who hovered nearby, making themselves available to assist with any type of need or challenge. As a result, some Millennials may arrive at graduate and professional schools more comfortable asking for or expecting support when faced with difficulties or challenges rather than solving problems on their own. Data also suggests Millennial Learners are more anxious in new learning situations, which may result in a preference for more structured learning environments (Twenge 2009).

이 학생들은 이전에 도움을 받았고, 다시 제공될 때, 오명을 느끼지 않고 지도와 도움을 받을 것이다. 이전 세대의 학습자들보다 피드백에 더 개방적일 뿐만 아니라, 현재 학습자들은 실제로 더 많은 구조, 그들의 행방에 대한 더 많은 관심(이들은 페이스북 페이지에 "상태 업데이트"를 자주 게시하는 학생들), 그리고 그들 자신의 기술과 개발에 대한 더 직접적인 관찰을 갈망할 수 있다.
These students have availed themselves of help before and, when offered again, will accept guidance and assistance without a sense of stigma. In addition to being more open to feedback than prior generations of learners, current learners may actually crave more structure, more attention to their whereabouts (these are students who are frequently posting “status updates” on their Facebook pages), and more direct observation of their own skills and development.

현대의 학습자들은 또한 얻기 어려운 지연이나 자원과 지원에 대한 [인내심이 적다]. 이것은 여러분이 그들의 선생님과 가이드로서 24시간 내내 이용할 수 있거나 심야 전화, 이메일 또는 페이지를 환영할 것이라는 내재된 기대로 나타날 수 있습니다. 불안과 좌절을 가장 잘 줄이기 위해서, 학생들은 그들의 학습 환경에서 구조를 확립하고, 도움을 받을 수 있는 합리적인 방법을 배우고, 그 도움에 대한 접근에 설정된 모든 제한을 이해할 필요가 있다.
Modern learners also have less patience with delays or resources and support that are difficult to obtain. This may manifest as an inherent expectation that you will be available as their teacher and guide 24/7 or welcome late night calls, emails, or pages. In order to best reduce anxiety and frustration, students need to establish structure in their learning environment, be taught reasonable ways to obtain help and understand any limits you set on access to that help.

보다 성공적으로 도움과 지도를 제공하고자 하는 교사를 위한 구체적인 제안:
Specific suggestions for teachers who wish to offer help and guidance more successfully:

  • 학생들이 쉽게 액세스할 수 있는 웹 사이트에 지침, 읽기 과제 및 사용 가능한 리소스 목록 게시
  • 학생이 문제를 논의하기 위해 잠시 들를 수 있는 "업무 시간"을 설정합니다
  • 학생의 성과를 직접 관찰하고 구체적인 피드백 제공
  • 학습 활동에 구조를 제공하고 학습자가 달성할 수 있는 구체적인 목표를 설정합니다(예: "이 3개월 내과 블록이 끝날 때까지, 세션당 2명의 신규 환자에 대해 전체 이력 및 물리적 작업을 수행할 수 있을 것입니다.")
  • Post directions, reading assignments, and a list of available resources on a website that students can easily access
  • Establish “office hours” when a student can drop by to discuss a concern
  • Directly observe student performance and provide specific feedback
  • Provide structure to learning activities and set specific achievable targets for learners (e.g., “By the end of this 3-month internal medicine block, you will be able to perform a complete history and physical on 2 new patients per session.”)

팁 9 현대적인 형태의 호기심과 탐구를 장려합니다
Tip 9 Encourage modern forms of curiosity and exploration

비록 현재의 밀레니얼 학습자들이 의학 도서관 지하실의 먼지투성이 책들을 파헤치지는 못할지라도, 그들 중 많은 사람들은 호기심이 많고, 학습 동기가 부여되며, 어려운 질문에 대한 새로운 답을 찾는 데 관심이 있다. 우리의 현재 학습자들은 어려운 도전에 대한 답을 찾기 위해 [소셜 네트워킹을 활용하는 것에 대해 잘 알고 있]거나, [인터넷상의 탐정]일 수 있다. 
Although current Millennial Learners may not dig through dusty volumes in medical library basements, many of them are curious, motivated to learn, and interested in seeking novel answers to difficult questions. Our current learners may be sleuths on the Internet or savvy about utilizing social networking to find the answer to a thorny challenge.

[유사한 교육 상황에 놓였을 때 우리가 학습에 참여했을 방식]과 정확히 같지 않더라도, 모든 형태의 창의적 사고와 탐구를 장려하는 것이 중요하다. 발견과 학습을 통해 받는 보상뿐만 아니라 자신의 호기심을 공유하는 것은 밀레니얼 학습자들에게 감사할 것입니다. 올바른 해결책도 중요하지만, 사람이 거기에 도달하는 과정은 똑같이 관심을 갖고 주목할 가치가 있다.
It is important to encourage all forms of creative thinking and exploration, even if it is not exactly how we would have engaged in learning when placed in similar educational situations. Sharing your own sense of curiosity as well as the rewards you receive through discovery and learning are likely to be appreciated by your Millennial Learners. While the correct solution is important, the process by which one gets there is equally of interest and worthy of attention.

호기심과 탐구를 장려하기 위한 구체적인 제안은 다음과 같다:
Specific suggestions for encouraging curiosity and exploration include:

  • 간단한 온라인 검색으로 답을 찾을 수 없는 문제 또는 과제 제공
  • 작업을 완료하는 정확한 방법에 대한 제한
  • 현재 연구 중인 과제 또는 문제와 이전 탐색 및 발견을 통해 얻은 보상을 공유합니다
  • Provide challenges or problems for which answers cannot be found with simple online searches
  • Avoid setting limits on exactly how a task must be completed
  • Share challenges or problems you are currently researching and rewards you have obtained from prior explorations and discoveries

팁 10 팀 역학의 중요성 인식 및 협업 장려
Tip 10 Recognize the importance of team dynamics and encourage collaboration

밀레니얼 세대는 일반적으로 성공적인 팀 선수로 간주되며 종종 그들 자신보다 그룹에서 일하는 것이 더 편안하다. 지적으로, 그들은 역할이나 사회적 장벽에 대한 선입견에 의해 덜 제한되고, 새로운 아이디어에 개방적이다. 결과적으로, [팀워크와 팀 역학]은 더 성공적인 학습 환경의 중요한 요소가 된다.
Millennials are generally considered to be successful team players and are often more comfortable working in groups than on their own. Intellectually, they are less limited by preconceived notions about roles or social barriers, and are open to new ideas. As a result, teamwork and team dynamics become an important element of more successful learning environments.

의대생들이 임상 병동에서 팀을 이뤄 함께 일하고 있다면 [자신의 경험을 논의할 수 있는 기회를 마련]하는 것이 중요하다. 또한, 그들이 임상 환경에서 성공하려면, 우리는 그들이 팀 기술과 대인 갈등을 해결하는 데 필요한 도구의 개발을 촉진하는 훈련의 기회를 가질 수 있도록 해야 한다. 마찬가지로 중요한 것은 교육 기술을 활용하여 학습자가 [먼 물리적 거리에서 또는 시간대로 분리되었을 때 함께 작업할 수 있도록] 할 수 있다는 것이다.
If medical students are working together in teams on the clinical wards, it is vital to establish an opportunity for them to discuss their experiences. Furthermore, if they are to be successful in the clinical environment, we must enable them to have opportunities for training that fosters the development of team skills and the tools necessary to address interpersonal conflicts. Equally important, education technology can be harnessed to enable learners to work together at great physical distances or when separated by time zones.

밀레니얼 세대는 낮은 지위를 강조하는 경직된 계층 구조 때문에 역할이 제한된 팀에서 어려움을 겪을 수 있다. 예를 들어, 외과 하위 전문 팀의 의대생은 작업의 기술적 특성으로 인해 제한된 역할만 수행할 수 있습니다. 현재 학습자와의 관계를 유지하기 위해 팀은 포괄성을 향해 노력하고 학생들이 자신의 훈련 수준에 적합한 목적의식과 명확한 학습 목표를 갖도록 해야 한다.
Millennials may struggle on teams in which their role is limited due to a rigid hierarchy that accentuates their low stature. For example, a medical student on a surgical subspecialty team may only be able to play a limited role due to the technical nature of the work. To maintain engagement with current learners, teams need to work toward inclusiveness and ensure that students have a sense of purpose and clear learning objectives appropriate to their level of training.

팀 역학을 강화하거나 가르치고 협업을 장려하기 위한 구체적인 제안:
Specific suggestions to enhance or teach about team dynamics and encourage collaboration:

  • 시뮬레이션 환경을 활용하여 개인이 다양한 역할 수행
  • 학생들이 소셜 네트워킹 리소스를 활용하여 함께 작업하도록 권장합니다
  • 학생들이 적극적으로 참여하고 팀에 대한 참여를 인정받도록 합니다
  • 팀(즉, 노트)의 학생들의 작업 산출물은 팀의 전반적인 작업의 중요한 부분으로서 어떤 식으로든 검토, 평가 및 인식되어야 한다
  • Utilize a simulation environment to have individuals play different roles
  • Encourage students to work together utilizing social networking resources
  • Ensure that students feel engaged and that their participation on a team is acknowledged
  • The work product of students on teams (i.e., notes) must be reviewed, evaluated and recognized in some way as an important part of the overall work of the team

팁 11 공정하고 직설적이 되라
Tip 11 Be fair and straightforward

밀레니얼 학습자들은 불행하게도 [스캔들이 흔하고, 많은 지도자들이 은총에서 떨어졌으며, 우리 세계 경제와 환경의 안정성에 대한 두려움과 불안이 일반적인 시대]에 자라났다. 그러므로, 오늘날 우리 사회의 많은 사람들에게 평온함과 안정감은 찾기 어렵다. 게다가, 영웅들을 중요시하고 우상화했던 이전 세대들과 달리, 오늘날의 학습자들은 영웅들이 더 적고, 육상, 연예, 정치, 그리고 사업의 저명한 인물들로부터 [큰 실망]을 겪었다. 결과적으로 밀레니얼 세대는 남들이 자기애적이라고 볼 수 있는 자기애 의식이 강하고, 교직원들이 어려워할 수 있는 위계질서에 대한 회의감이 강한 경향이 있다. 
Millennial Learners have unfortunately been raised in a time when scandals are common, when many leaders have fallen from grace, and when fear and anxiety about the stability of our global economy and environment are typically the norm. Hence, a sense of calm and security is elusive for many in our society today. Additionally, unlike prior generations who valued and idolized heroes, today's learners have fewer heroes and have suffered great disappointments from prominent figures in athletics, entertainment, politics, and business. Consequently, Millennials tend to have a strong sense of self-liking that can be viewed by others as narcissistic, and skepticism of hierarchy, which can be challenging for faculty.

따라서 밀레니얼 학습자는 [일관성, 확신 및 공정하고 합리적인 프레임워크] 내에서 학습하고 있음을 상기시키는 이점을 얻는다. 일단 규칙이 정해지면, 그것들은 중간에 바뀌어서는 안 된다. 마찬가지로, 학습에 영향을 미치는 결정에 직면했을 때 가능한 한 공정하고 편견이 없는 상태를 유지하는 것이 중요하다.
Millennial Learners, therefore, benefit from consistency, reassurance, and reminders that they are learning within a framework that is fair and reasonable. Once the rules are set, they should not be changed midstream. Similarly, it is important to remain as impartial and unbiased as possible when faced with decisions affecting learning.

3학년 임상실습과 같이 채점이 판단적이거나 주관적으로 보일 수 있는 환경은 밀레니얼 학습자가 이해하고 수용하기에 훨씬 더 어려울 수 있다.
Environments in which grading may seem judgmental or subjective, such as clinical clerkships during third year, may be significantly more challenging for Millennial Learners to comprehend and accept.

공정하고 정직한 학습 환경에 대한 학생들의 의식을 향상시키기 위한 구체적인 제안:
Specific suggestions to enhance students’ sense of a fair and honest learning environment:

  • 학습 목표는 위치 및 중요성에 대한 빈번한 주의사항과 함께 명확하게 식별되어야 합니다
  • 유용하고 의미 있는 피드백을 적시에 적절하게 제공해야 한다
  • 점수와 성적을 결정하는 요소들은 투명해야 하고 학생들이 이용할 수 있어야 한다
  • Learning objectives should be clearly identified with frequent reminders as to their location and importance
  • Useful and meaningful feedback should be given in a timely and appropriate manner
  • Factors that determine scores and grades should be transparent and available to students

팁 12 멀티태스킹의 한계 식별
Tip 12 Identify the limits of multi-tasking

많은 밀레니얼 학습자들은 자신을 성공적인 멀티태스킹 학습자로 인식하고 자신의 기술의 장점을 믿습니다. 오늘날의 교사들은 여러 다른 활동을 동시에 저글링하면서 학습이 성공적으로 이루어질 수 있다는 신화를 밝히는 데 중요한 역할을 할 수 있다. 보존, 기억, 이해, 분석 및 참여는 모두 정보 및 자극의 여러 경쟁 흐름에 직면할 때 실패합니다. 집중력, 참여력 및 주의력을 포함하여, 성공적인 학습의 속성은 자료에 대한 비판적 평가와 함께 강조되고 권장되어야 합니다.
Many Millennial Learners identify themselves as successful multi-taskers, and believe in the merits of their skills. Today's teachers can play an important role in debunking the myth that learning can be accomplished successfully while simultaneously juggling multiple other activities. Retention, recall, understanding, analysis, and engagement all fail when one is faced with multiple competing streams of information and stimulation. The attributes of successful learning – including focus, engagement and attention – in conjunction with critical evaluation of material, need to be emphasized and encouraged.

기술은 보편적으로 존재하며 산만함에 대한 유혹은 현재 학습자들을 넘쳐나게 한다. 교수진은 학습자들이 강의나 아침 회진 동안 인터넷 쇼핑, 문자 메시지 몇 개 보내기, 최신 헤드라인 읽기의 유혹을 피할 수 있도록 도와줄 수 있다. 멀티태스킹을 제한하고 집중을 유도하기 위한 구체적인 제안은 다음과 같습니다:
Technology is omnipresent and temptations for distraction inundate our current learners. Faculty can help learners avoid the temptation to shop on the Internet, send a few text messages, or read the latest headlines during their teaching or morning rounds. Specific suggestions to limit multi-tasking and encourage focus include:

  • 강의 시간 동안 이메일, 문자 메시지 및 기타 커뮤니케이션 기술 사용 제한
  • 학생들에게 뉴욕 타임즈 온라인 테스트 "How Fast You Jugle Tasks"를 완료하여 작업 간 전환 속도를 측정하고 결과와 멀티태스킹이 환자 치료에 미치는 영향을 논의하도록 합니다
  • Limit your own use of email, texting, and other communication technologies during teaching sessions
  • Ask students to complete The New York Times online test “How Fast You Juggle Tasks” (Ophir & Nass 2010) to measure how fast they can switch between tasks and discuss their results and how multitasking may affect patient care

결론
Conclusion

모든 세대의 교사들은 학습자로부터 나이의 본질적인 분리와 그에 따른 사회적, 환경적, 기술적 영향의 차이와 관련된 문제에 직면한다. 이 도전은 소크라테스 이전으로 거슬러 올라가지만, 현재의 밀레니얼 세대는 현대 의학 교육자들에게 많은 구체적인 도전을 제기한다. 여기에 상술된 구체적인 팁과 전략을 통해 현재의 의학교육자들이 이러한 학습자들에게 다가가서 가르칠 수 있을 뿐만 아니라 학습자들의 삶과 성취에 지대한 영향을 미칠 수 있다고 본다. [밀레니얼 세대를 가르치는 것]은 또한 교육자들이 [새로운 교수법을 시도하고, 재미를 느끼고, 흥미롭고 역동적인 방법으로 학습자들과 상호작용하고 협력할 수 있는 기회]를 제공한다.
Every generation of teachers faces challenges related to the inherent separation in age from their learners and from the consequent differences in social, environmental, and technological influences. While this challenge dates back to before the time of Socrates, our current Millennial generation poses a number of specific challenges for the modern medical educator. Through the specific tips and strategies detailed here, we believe that current medical educators can not only reach and teach these learners, but also have a profound impact on their learners’ lives and achievement. Teaching Millennials also provides opportunities for educators to try new teaching methods, have fun, and interact and collaborate with their learners in interesting, dynamic ways.

 


Med Teach. 2012;34(4):274-8. doi: 10.3109/0142159X.2011.613498. Epub 2012 Jan 30.

Twelve tips for facilitating Millennials' learning

Affiliations collapse

1Harvard Medical School, MA, USA. dhrobert@bidmc.harvard.edu

PMID: 22288944

DOI: 10.3109/0142159X.2011.613498

Abstract

Background: The current, so-called "Millennial" generation of learners is frequently characterized as having deep understanding of, and appreciation for, technology and social connectedness. This generation of learners has also been molded by a unique set of cultural influences that are essential for medical educators to consider in all aspects of their teaching, including curriculum design, student assessment, and interactions between faculty and learners.

Aim: The following tips outline an approach to facilitating learning of our current generation of medical trainees.

Method: The method is based on the available literature and the authors' experiences with Millennial Learners in medical training.

Results: The 12 tips provide detailed approaches and specific strategies for understanding and engaging Millennial Learners and enhancing their learning.

Conclusion: With an increased understanding of the characteristics of the current generation of medical trainees, faculty will be better able to facilitate learning and optimize interactions with Millennial Learners.

밀레니얼을 위한 의학교육: 해부학자들은 잘 하고 있는가? (Clin Anat, 2019)
Medical Education for Millennials: How Anatomists Are Doing it Right
S.M. RUZYCKI,1 J.R. DESY ,1 N. LACHMAN ,2 AND A.P. WOLANSKYJ-SPINNER3**

 

서론
INTRODUCTION

현재의 의료 환경에서 의료 전문가들은 다양한 학습자 집단과 협력하고 교육해야 한다. 의료 교육 내의 [네 개 세대 학습자와 교사]는 함께 결과적으로 발생하는 학습 선호도의 인구 통계 기반 다양성을 보완하는 학습 환경을 제공할 필요성을 창출한다. [세대]라는 용어는 [중요한 역사적, 문화적, 사회적 사건의 맥락에서 성인이 된 특정 기간 내에 태어난 사람들의 집단]을 의미한다. 이 [공유된 맥락]은 한 세대의 구성원들 사이에 [공유된 가치와 믿음의 집합]을 부여하기 위해 가정된다. 세대별 특성이 그 세대의 경력과 삶의 단계의 산물인지, 아니면 시간의 검증을 견뎌낼 불변의 특성인지에 대한 논쟁이 있다. 그럼에도 불구하고, 세대 간 차이를 이해하는 것은 21세기 의학 교육을 최적화하는 데 필수적이다. 
In the current health care environment, medical professionals have to work with and educate a diverse cohort of learners. Together, the four generations of learners and teachers within medical education create a need to provide a learning environment that complements the resulting demographic-based diversity of learning preferences. The term generation denotes a cohort of individuals born within a specific time period who have come of age in the context of important historical, cultural, and social events (Pitt-Catsouphes and Smyer, 2007). This shared context is hypothesized to confer a set of shared values and beliefs among members of a generation (Borges et al., 2006). There is debate as to whether generationally-ascribed traits are the product of the career and life stage of that generation or whether they are immutable characteristics that will stand the test of time (Pitt-Catsouphes and Smyer, 2007). Irrespective, understanding intergenerational differences are essential to optimizing medical education in the 21st century (Borges et al., 2010; Desy, Reed, and Wolanskyj, 2017).

현재 의대생, 레지던트, 초기 직업 의사의 대다수는 1980년에서 1999년 사이에 태어난 개인들로 구성된 하우와 스트라우스에 의해 명명된 소위 [밀레니얼 세대]에 속한다. 밀레니얼 세대 외에도, 의사 노동력에는 X 세대(1965년생-1980년생), Baby Boomers 세대(1946년-1964년생), 그리고 Silent Generation(1930년-1945년생)이 포함된다. 2020년대는 현재 [2020세대 또는 Z세대]로 불리는 2000-현재 세대의 첫 번째 개인들이 의대를 시작함에 따라 의학 교육에 5세대를 도입할 것이다.
Currently, the majority of medical students, residents, and early career physicians belong to the Millennial generation, so-named by Howe and Strauss, consisting of individuals born between 1980–1999 (Howe and Strauss, 2007; Pitt-Catsouphes and Smyer, 2007; Boysen et al., 2016). In addition to millennials, the physician workforce includes Generation Xers (born 1965–1980), Baby Boomers (born 1946–1964), and the Silent Generation (born 1930–1945). The 2020s will introduce a fifth generation to medical education as the first individuals from the 2000-present generation, currently called Generation 2020 or Generation Z, begin medical school (Boysen et al., 2016).

대체로, 각 세대는 그들의 직업, 개인적인 삶, 그리고 교육에 대한 기대에 차이가 있다. 

  • 사일런트 세대는 대공황과 2차 세계대전을 거치면서 성년의 영향을 많이 받았다; 이는 의무, 서비스 및 제한된 자원에 대한 기대에 대한 그들의 헌신에 반영됩니다. 그들은 교훈적인 세션을 통해 배웠고 암기에 의존했다. 
  • 베이비붐 세대는 베트남 전쟁, 전후 경제 호황, 가정용 텔레비전의 확대 중에 성인이 되었다. 이 세대는 목표 지향적이다; 그들은 "근무 시간"과 연공서열을 직업 성공의 중요한 지표로 간주한다.
  • X 세대는 에이즈 전염병, 걸프 전쟁, 그리고 1980년대 후반의 경제적 쇠퇴 동안 성년이 되었다. 이 세대는 이혼한 부모의 유병률이 높았기 때문에 책임감과 자립심을 중시하는 경향이 있다.
  • 세대 간 이러한 가치관의 차이를 고려할 때, 의학 학습자에게 가장 잘 봉사하기 위해서는 [교육적 니즈의 세대 차이]를 인식하는 것이 필수적이다.

Broadly, each generation differs in expectations of their career, personal life, and education.

  • The Silent Generation was highly influenced by coming of age throughout the Great Depression and World War II; this is reflected in their commitment to duty, service, and expectation of limited resources (Boysen et al., 2016). They were taught through didactic sessions and relied on memorization (Boysen et al., 2016).
  • Baby Boomers came of age during the Vietnam War, postwar economic boom, and expansion of household television sets (Boysen et al., 2016). This generation is goal-oriented; they consider “hours worked” and seniority as important metrics of job success (Boysen et al., 2016).
  • Generation Xers came of age during the AIDS epidemic, the Gulf War, and the economic decline of the late 1980s (Boysen et al., 2016). This generation had a high prevalence of divorced parents and therefore tend to value responsibility and self-reliance (Borges et al., 2006; Boysen et al., 2016).
  • Given this variation in values between generations, it is imperative that we recognize generational differences in educational needs to best serve our medical learners.

밀레니얼 세대를 가르칠 때 고려해야 할 요소들
FACTORS TO CONSIDER WHEN TEACHING MILLENNIALS

[밀레니얼 세대]

  • [컴퓨터와 인터넷에 광범위하게 접근]하면서 성장한 최초의 세대로, 그 결과 [초연결]되고, [기술에 자신감]이 있으며, 교훈적인 가르침보다 [전자 자원을 이용한 독학]을 선호한다.
  • 밀레니얼 세대는 빈번한 피드백과 테스트를 기대하며 의대에서 지속적으로 발전하는 [미디어 기술을 사용하는 것을 선호]한다.
  • 관여도가 높은 부모와 함께 자란 밀레니얼 세대는 다른 세대에 비해 [자립심과 대처 전략이 떨어지고], [규칙과 체계적인 교육 설계를 선호]한다.
  • 그러나 밀레니얼 세대는 높은 교육을 받았고, 의사소통과 팀워크를 중요시하며, 지능 테스트에서 높은 점수를 받고, 사회적 책임을 직업 선택의 중요한 측면으로 생각한다.

The Millennial Generation is

  • the first generation to grow up with widespread access to computers and the Internet, and as a result are hyper-connected, confident with technology, and prefer self-study using electronic resources to didactic teaching (Kron et al., 2010; Boysen et al., 2016).
  • Millennials expect frequent feedback and testing and prefer the use of constantly evolving media technology in medical school (Borges et al., 2006; Kron et al., 2010).
  • Having grown up with highly involved parents, Millennials have less self-reliance and coping strategies than other generations and prefer rules and structured educational design (Borges et al., 2006).
  • However, Millennials are highly educated, value communication and teamwork, score highly on intelligence testing, and consider social responsibility an important aspect of career selection (Borges et al., 2010; Boysen et al., 2016).

밀레니얼 세대와 다른 세대의 의대생들 사이의 차이는 이전 연구에서 입증되었다.

  • 밀레니얼 세대는 X세대 학생들과 비교하여 [따뜻함, 규칙의식, 민감성, 정서적 안정성, 완벽주의 등의 성격 영역에서 유의미하게 높은 점수]를 받았고 16가지 성격 요인 설문지로 평가했을 때 [자립성은 낮았다].
  • 밀레니얼 의대생들은 주제인식시험으로 평가했을 때 [소속감과 성취감]에 더 강한 동기부여를 받는다. 반면 X세대 학생들은 [권력동기에 높은 점수]를 받는 경향이 있다.
  • 이러한 결과는 밀레니얼 의대생들이 팀워크와 성공에 대해 더 큰 친화력을 가지고 있다는 것을 뒷받침하는 동시에 개요화된 목표와 목표를 중요시한다.

Differences between Millennials and medical students from other generations have been demonstrated in previous studies.

  • Compared to Generation X students, Millennials score significantly higher on the personality domains of warmth, rule-consciousness, sensitivity, emotional stability, and perfectionism and lower on self-reliance when assessed with the Sixteen Personality Factor Questionnaire (Borges et al., 2006).
  • Millennial medical students are motivated more strongly by affiliation and achievement than Generation X students, who tend to score highly on power motivation when assessed with the Thematic Apperception Test (Borges et al., 2010).
  • These findings support that Millennial medical students have a greater affinity for teamwork and success, while also valuing outlined objectives and goals (Borges et al., 2010).

그들의 전임자들과 대조적으로, 밀레니얼 학습자들은 [더 야심찬 교육적 목표]를 가지고 있고 그들의 [미래에 대해 더 낙관적]이다. 불행하게도, 이러한 높은 기대는 이전 세대에 비해 밀레니얼 세대의 더 높은 일자리 성공으로 이어지지 않고, [야망과 성취 사이의 불일치]로 이어지고 있다. 밀레니얼 세대들은 의대와 레지던트 훈련의 개선에 필수적인 끊임없는 교정에 어려움을 겪고 있다. 밀레니얼 세대의 [우수성에 대한 자기 인식]과 [평가 실패 및 건설적인 비판] 사이의 균형을 맞추지 못하면 [자아 손상, 우울증, 자살]로 이어질 수 있다. 또한 밀레니얼 세대의 [자아도취]가 증가하면 [자격감senss of entitlement]이 증가하여 의학교육에서의 [성취와 결과 사이의 불일치]가 심화된다. 밀레니얼 세대는 노력이 평가에서 성취만큼 중요하다고 믿는다. 이러한 밀레니얼 세대의 기대는 완벽주의와 성취에 대한 학습자의 요구와 교실과 침대 옆 모두의 커리큘럼 결과의 균형을 맞추는 임무를 맡은 의학 교육자들에게도 똑같이 도전적이다.
In contrast to their predecessors, Millennial learners have more ambitious educational goals and are more optimistic about their future (Twenge and Campbell, 2008; Twenge, 2009). Unfortunately, these high expectations are not translating into higher job success for Millennials as compared to previous generations, leading to a mismatch between ambition and achievement (Twenge, 2009). Millennials have difficulty with the constant corrections that are essential for improvement in medical school and residency training (Twenge, 2009). Failure to balance Millennials’ self-perception of excellence with failure on assessment and constructive criticism can lead to ego injury, depression, and suicidality. In addition, rising narcissism among Millennials leads to an increased sense of entitlement, which compounds the mismatch between achievement and results in medical education. Millennials believe that effort is as important as achievement in assessment (Twenge, 2009). These Millennial expectations are equally challenging for medical educators, tasked with balancing their learners’ need for perfectionism and achievement with curricular outcomes both in the classroom and at the bedside.

밀레니얼 세대를 효과적으로 참여시키고 평가하기 위한 전략
STRATEGIES TO EFFECTIVELY ENGAGE AND EVALUATE MILLENNIALS

밀레니얼 학습자의 참여 전략은 "Five R's"로 요약할 수 있습니다: 

  • 완화된 환경,
  • 학생과 교육자 간의 관계 구축,
  • 미래 사용에 대한 재료의 관련성 강조,
  • 학습자의 학문적 및 전문적 목표에 고정된 기대의 근거, 그리고
  • 실제 발견, 상호 작용 및 기술을 포함한 연구 기반 방법의 사용.

Strategies for engagement of Millennial learners can be summarized with the “Five R's”: 

  • relaxed environment, 
  • rapport building between students and educators,
  • an emphasis on relevance of material to future usage, 
  • rationale of expectations anchored to the leaner's academic and professional goals, and
  • the use of research-based methods including hands-on discovery, interactivity, and technology (Price, 2009).

편안한 학습 환경 조성
Creating a Relaxed Learning Environment

[편안한 환경]은 교실 밖에서의 세션을 포함하고, 개인적인 탐구가 교육적인 목표에 도달할 수 있도록 하는 덜 형식적인 "옆에서 가이드" (반대는 "무대 위의 성인" ) 접근법에 의해 달성될 수 있다. 밀레니얼 세대는 참여와 [교수-학생 상호작용]에 높은 가치를 두기 때문에, 교육자들은 [소규모 그룹과 실습 학습]을 증가시킴으로써 [긴 섹션의 교과서와 교훈적인 강의에 대한 의존도를 줄임]으로써 적응해야 한다. Millennials는 [콘텐츠 전달방식의 다양성]이나 [대면 및 온라인으로 교수와 상호작용할 수 있는 기회]를 선호한다. 이 기술을 사용해온 Millennials는 교수들의 [단방향 강의에 대한 인내심tolerance가 낮아졌고, 교수들의 빠른 응답 시간을 기대]하고 있습니다
A relaxed environment can be accomplished by a less formal “guide on the side” versus “sage on the stage” approach, including sessions outside the classroom and allowing personal exploration to reach educational goals. Since Millennials place high value on participation and professor–student interaction, educators must adapt by reducing reliance on long sections of textbooks and didactic lectures by increasing small group and hands-on learning (Price, 2009; Twenge, 2009). Variety in content delivery and the opportunity to interact either face-to-face or online with professors are appreciated by Millennials, whose use of technology has led to a lower tolerance for didactic, one-way lectures and an expectation of quick response times from their professors (Price, 2009).

해부학은 매우 가치 있는 기초 과학 과정이지만 의대에서 여전히 내용이 많은 커리큘럼을 제공하는 해부학 프로그램은 거의 없습니다. 수동적이고 교훈적인 과정에서 벗어나, 보다 [임상적으로 관련성이 높은 해부학]을 향한 움직임은 해부학적 내용의 [전통적인 전달]에서 [학생들이 사용할 수 있는 경험]으로 중점을 옮겼다. [진정한authentic 커리큘럼]의 개념과 일치하는 이러한 해부학 과정은, 의료 테크놀로지(예: 방사선학, 초음파)의 사용에 참여하는 동시에, 임상 추론 기술을 개발할 수 있는 기회를 제공하고, 사회적 인식, 성공적인 팀 간 상호작용, 의사소통 기술, 리더십 그리고 전문성을 촉진하는 비기술 분야 독립 기술의 촉진에 중점을 둔다.
Anatomy is a highly valued, basic science course, and yet there are few anatomy programs that still provide a content-heavy curriculum in medical school. The move away from passive, didactic courses toward more clinically relevant anatomy has shifted emphasis from traditional delivery of anatomical content into a student-facilitated experience (Evans, Lachman and Pawlina, 2018). These anatomy courses that align with the concept of an authentic curriculum provide opportunities to develop clinical reasoning skills while engaging with use of medical technology (e.g. radiology, ultrasonography) and place emphasis on facilitation of nontechnical discipline independent skills that promote social awareness, successful team interaction, communication skills, leadership and professionalism (Evans, Lachman and Pawlina, 2018).

학습 환경 내에서 관계 구축
Build Rapport within the Learning Environment

밀레니얼 세대의 학습자들은 [관계성이 높은 교육자]들을 가치있게 여긴다. [친밀감]은 교육자의 지식이나 콘텐츠 전문 지식보다 더 높게 평가되는 것으로 보인다. Pollina 등의 최근 사설은 해부학 교육과 학습에서 학생-교사 신뢰의 중요성을 강조한다. [신뢰의 원칙]은 학생이 일반적인 해부학 과정에서 [스트레스를 주는 학습 기대와 관련된 도전을 극복]하는 동시에, [교수진과 공개적으로 참여할 수 있는 안전한 환경]을 만드는 데 포함되어 있다. [니어피어 티처]들은 종종 교수들과 의대 1학년 학생들 사이의 세대 차이를 메우기 위해 학생들에게 관련된 경험과 위로의 손길을 제공하기 위해 사용된다.
Millennial learners value educators who are highly relatable (Price, 2009). Rapport appears to be valued more highly than an educator's knowledge or content expertise (Pawlina et al., 2018). A recent editorial by Pawlina et al. (2018) highlights the importance of student–teacher trust in anatomy teaching and learning. The principles of trust are embedded in creating a safe environment, where a student is able to overcome challenges associated with the stressful learning expectations in a typical anatomy course, while at the same time being able to engage openly with the teaching faculty. Near peer teachers, are often used to provide students with relatable experiences and a comforting hand, to bridge the generational gap between professors and first year medical students (Evans and Cuffe, 2009; Cantwell et al., 2015).

기대에 대한 근거 제시
Provide Rationale for Expectations

[명확한 기대]는 [기대나 지시의 모호성에 지양함]으로써 [밀레니얼 학습자들의 낮은 자립도에 반작용counteract]한다. 밀레니얼 학습자의 [자격 및 성취 가정][기대의 근거를 설명]하는 의료 교육자에 의해 관리될 수 있다; [밀레니얼 세대가 구조에 대해 갖는 요구]를 충족시키는 [기대치를 명확하고 초기부터 자주 반복해서 설명해야 한다]. 밀레니얼 세대는 마감일, 정책 및 강사와의 상호 작용 측면에서 [유연성을 선호]하지만, 교수자는 [마감일과 밀레니얼 학습자의 요구 사항에서 예외를 두려는 충동]에 저항해야 한다. 그래야 [적은 노력에도 불구하고 더 나은 결과를 기대하는 것]을 막을 수 있다. 비기술 분야 독립 기술에 가치를 두는 해부학 커리큘럼은 공식화된 평가를 통해 그러한 속성을 목표로 하여 책임을 장려한다. 해부학 교육의 팀 기반 환경 내에서, 학생들은 [집단적인 노력]을 통해 [과목의 결과를 달성하는 데 기여한 것에 대해 책임]을 진다. 기대는 이러한 기대를 과정 목표와 일치시키는 책임을 지는 팀원에 의해 주도되고 관리됩니다. 또한 해부학 실험실 학습 환경은 사체 기증자와 함께 일하는 것이 미래의 환자와 함께 일하는 것으로 해석되기 때문에 [전문직업성을 개발하기 위한 플랫폼]을 제공한다; 학생들은 해부 작업에 참여할 때 [기밀성과 존중을 유지]해야 한다. [명확한 기대]는 실험실 실습의 필수 요소를 형성하며, 잘 설계된 해부학 커리큘럼은 밀레니얼 의대생의 이러한 요구를 충족시키는 데 적합하다.
Clear expectations counteract the low self-reliance among Millennial learners by avoiding ambiguity in expectations or instructions (Twenge, 2009). Entitlement and assumption of achievement in Millennial learners may be managed by medical educators who explain the rationale for expectations; clear, early, and often-repeated expectations meet Millennials’ need for structure (Twenge, 2009). While Millennials prefer flexibility in terms of deadlines, policies, and interactions with instructors (Price, 2009), medical educators should resist the urge to make exceptions in deadlines and requirements for Millennial learners, thereby avoiding the expectation of better results in the face of less effort. Anatomy curricula that place value on nontechnical discipline independent skills, incentivise responsibility, targeting such attributes through formalized assessment (Evans and Pawlina, 2015). Within the team-based environment of anatomy education, students are made accountable for their contribution in achieving course outcomes through collective effort. Expectations are driven and managed by team members who take responsibility for aligning these expectations with course objectives (Dougherty et al., 2018). Additionally, the anatomy laboratory learning environment provides a platform for developing professionalism, as working with cadaveric donors translates to working with future patients; students are expected to maintain confidentiality and respect when engaging in dissection tasks. Clear expectations form an essential element of laboratory practice and a well-designed anatomy curriculum lends itself to meeting this need of the Millennial medical student.

학습 관련성 강조
Emphasize Relevance for Learning

[학습된 개념의 관련성]은 밀레니얼 의학 학습자들의 참여에 매우 중요하다(Price, 2009). 밀레니얼 학습자는 [의무로서의 학습]이라는 의식이 낮기 때문에, [학습목표는 실제 적용가능성과 연계]될 때 더 효과적이다. 밀레니얼 세대는 [공동체 의식]을 가지고 있으며, [원리를 암기하는 것보다 개념을 이해하고 적용해야 하는 필요성]으로 해석되는 [목적의식]을 추구한다. 현대 해부학 교육 틀에서 [세부 정보의 암기]는 [핵심 과정 목표에서 제외]되었다. 오늘날의 의과대학 해부학 커리큘럼은 임상적으로 관련이 있으며, 다학제적 의료 접근법과 관련이 있기 때문에 전문가 간 학습에 대한 노출을 포함하는 진정한 환경을 말한다.
The relevance of learned concepts is critical to engagement among Millennial medical learners (Price, 2009). Learning objectives are more effective when tied to real-life applicability as Millennial learners have a low sense of learning as a duty (Twenge, 2009; Elam et al., 2011). Millennials are community-minded and seek a sense of purpose that translates into a need to understand and apply concepts rather than memorize principals (Elam et al., 2011). In the contemporary anatomy educational framework, memorization of detailed information has been excluded from the core course objectives. The present-day medical school anatomy curriculum is clinically relevant, and speaks to an authentic setting that includes exposure to inter-professional learning, as it relates to a multidisciplinary health care approach.

[더 짧고 간소화된 과정]을 통해 해부학자들은 학생들에게 [임상적으로 관련된 해부학 교육]을 제공하는 동시에, [비판적 사고와 임상 추론]에 참여하도록 과정 내용을 맞춤화했다. 학습 환경에서 임상 토론을 용이하게 하기 위해 [청중 응답 시스템]의 사용을 통한 사례 기반 질문과 같은 많은 전략이 채택되었다. [브리핑 세션]을 사용하면 해부학 교사가 이어질 실험실 환경에서 강화하고자 하는 개념을 강조할 수 있다. 여기서, 학생들은 임상적 관련성을 더욱 강조할 수 있는 [전공의 및 개업의와 접촉할 기회]를 가질 수 있다. 게다가, 해부학 교수와 학습에서 초음파의 구현이 현재 급증하면서, 학생들이 실시간으로 기능적 해부학과 구조를 감상할 수 있는 해부학 교실에 침대 옆의 경험을 가져왔다. 
With shorter, streamlined courses, anatomists have tailored course content to provide students with clinically relevant anatomy education, while engaging them in critical thinking and clinical reasoning. Many strategies, such as case-based questioning through the use of audience response systems, have been adopted to facilitate clinical discussion in the learning environment. The use of briefing sessions (Lachman and Pawlina, 2015) allows anatomy teachers to highlight concepts that are then reinforced in the laboratory setting. Here, students may have an opportunity to engage with residents and practicing physicians who can further emphasize the clinical relevance. In addition, the current surge in implementation of ultrasound in anatomy teaching and learning have brought bedside experiences to the anatomy classroom, where students can appreciate in real-time functional anatomy and structure (Patel, Benninger, and Mirjalili, 2017).

연구 중심의 교육적 접근법
Use Research-Driven Educational Approaches

새로운 미디어 기술의 사용으로 정의된 세대의 경우, [테크놀로지 도구에 참여할 기회의 부족]은 밀레니얼 세대 학생들의 [학습 동기를 제한]한다. 실제 작업, 상호작용 및 현대 기술을 통합하는 교육자는 의미 있는 학습을 촉진할 수 있습니다. 밀레니얼 세대의 학습자들은 [전통적인 종이 매체]보다 [온라인 자원]을 선호한다. 새로운 미디어 기술을 교육 콘텐츠와 효과적으로 통합하는 것은 학생들보다 기술적 지식이 부족한 의학 교육자들에게 어려울 수 있다. 그러나, 새로운 미디어 기술과 기존의 의학 교육 접근법의 성공적인 병합은 가능하다; 예를 들어 소셜 미디어 웹사이트 트위터를 사용하여 보충적인 초음파 커리큘럼을 제공하고 의사를 위한 원격 학습을 촉진하기 위해 페이스북을 사용하는 것을 포함한다. 교육자들이 교육을 위한 기술 사용을 늘릴 수 있는 지침이 존재한다. 밀레니얼 세대는 기술 사용으로 인해 콘텐츠 전달의 다양성을 높이 평가하며, 이로 인해 주의 집중 시간이 단축되고 일방통행 강의에 대한 내성이 낮아졌다. 
For a generation defined by use of new media technology (Price, 2009; Twenge, 2009; Kron et al., 2010), lack of opportunity to engage with technological tools limits Millennial student motivation toward learning. Educators who incorporate hands-on work, interactivity and modern technology are likely to facilitate meaningful learning. Millennial learners prefer online resources over traditional paper media (Bahner et al., 2012). Effective integration of new media technology with educational content, may be difficult for medical educators who are less technologically literate than their students (Bahner et al., 2012). However, successful merging of new media technologies with conventional medical educational approaches is possible; examples include using the social media website Twitter to deliver a supplementary ultrasound curriculum (Bahner et al., 2012) and use of Facebook to facilitate distance learning for physicians (Cartledge et al., 2013). Guides for educators to increase their usage of technology for teaching exist (Forgie et al., 2013). Millennials appreciate variety in content delivery due to their use of technology, which has led to shorter attention spans and low tolerance for didactic, one-way lectures (Price, 2009).

밀레니얼 의대생 평가
EVALUATION OF MILLENNIAL MEDICAL STUDENTS

밀레니얼 세대는 [정기적인 피드백을 기대하고 반응]하며, [개선을 위한 제안]과 함께 [행동에 대한 구체적이고 개별화된 피드백에 높은 가치]를 둔다. 방법은 지식 격차의 초점 영역을 식별하는 청중 응답 시스템 및 다중 방법 퀴즈를 포함할 수 있다. 밀레니얼 의대생들은 종종 직업과 직장 생활 조언자, 연구 지도자, 공식적인 멘토직에 대한 접근을 요청한다. 이러한 [구조화된 접근 방식]은 [적시 도구와 서포트]를 제공할 뿐만 아니라 학업 및 전문적 성공에 필요한 기술을 식별하고 육성함으로써 밀레니얼 세대 학생들의 교육 결과를 최적화할 수 있습니다.
Millennials expect and respond to regular feedback, and place a high value on specific, individualized feedback on behaviors with suggestions for improvement (Elam et al., 2011). Methods may include audience response systems and multi method quizzes which identify focused areas of knowledge gaps. Millennial medical students frequently request access to career and work-life advisors, research preceptors, and formal mentorship (Elam et al., 2011). This structured approach, can optimize the educational outcomes of Millennial students, by offering just-in-time tools and support, as well as identifying and fostering needed skills for academic and professional success.

해부학자들이 어떻게 그것을 제대로 하고 있습니다
HOW ANATOMISTS ARE DOING IT RIGHT

해부학 교육은 수세기 동안 거의 변화가 없었던 콘텐츠 전달에 대한 접근 방식을 계속 변화시켜 왔다. 커리큘럼은 의학 교육에서 학습자의 변화하는 요구를 촉진하기 위해 발전해 왔다. 20세기 후반 의학의 분자생물학 혁명 이전에 해부는 인체에 대해 배우는 주요한 방법이었다. 그러나 최근 수십 년 동안 해부학을 가르치는 데 사용되는 교육 관행은 변화를 겪었다. 주요한 변화는 다음이 있다.

  • 해부학 교육에 소비되는 시간의 감소,
  • 수평적 과정으로부터 수직 커리큘럼으로 전환,
  • 전통적인 해부학의 사용 감소 대신 시뮬레이션, 기술 강화 학습, 생활 해부학, 의료 영상과 같은 혁신적인 방법 대체

이러한 주요 변화를 촉진하면서, 해부학자들은 오늘날의 학습자들을 참여시키는 데 있어 세 가지 효과적인 원칙을 강조하는 새로운 교육학적 접근법을 채택하고 발전시키는 예리한 능력을 보여주었다(표 1):
Anatomy education has continued to transform its approach to delivery of content that has seen little change over centuries. Curricula have evolved to facilitate the changing needs of the learner in medical education (Trelease, 2006; Pawlina and Lachman, 2013, Benninger et al., 2014). Prior to the molecular biology revolution of medicine in the late 20th century, dissection was the primary method for learning about the human body (Estai and Blunt, 2016). However, in recent decades, educational practices used to teach anatomy have undergone a shift. Major changes have included

  • a decrease in the number of hours spent on anatomy education (Barry et al., 2016),
  • a move away from horizontal courses toward vertical curricula (Benninger, Matsler and Delamarter, 2014) and
  • decreased use of traditional dissection teaching in favor of innovative substitutes such as simulation, technology-enhanced learning, living anatomy, and medical imaging (Sugand et al., 2010; Estai and Blunt, 2016).

In facilitating these major changes, anatomists have demonstrated a keen ability to adopt and evolve new pedagogical approaches that highlight three effective principles in engaging today's learners (Table 1):

관련
Relate

[관계 구축과 학생과 관련 짓기]에 대하여, 해부학자들은 [기술 향상 학습]과 [소셜 미디어 사이트를 의학 교육에 통합]하는 것에 대해 가장 먼저 그리고 가장 큰 지지자들 중 일부였다. 이러한 유형의 교육학적 도구는 이미 교육 목적으로 온라인 포럼 및 도구와 상호 작용하는 밀레니얼 학습자에게 자연스럽게 적합합니다. Hennessy 등은 신경 해부학을 배우는 2학년 학생들의 참여와 협업을 지원하기 위해 트위터를 사용했으며, 91%의 학생들이 그들이 만든 해시태그에 참여했지만 해시태그의 사용은 향상된 학생 시험 성과와 상관이 없다는 것을 발견했다. Jaffar(2014)는 의대생 집단을 위한 교실 내 해부학 교육을 보완하고 지원하기 위해 페이스북 페이지를 만들었다. 이 개입은 학생들에 의해 94%가 페이지가 좋거나 훌륭하다고 평가하면서 매우 즐거운 것으로 인식되었다.
In regard to building rapport and relating to students, anatomists have been some of the first and loudest advocates of technology-enhanced learning and incorporating social media sites into medical education. This type of pedagogical tool is a natural fit for Millennial learners who already interact with online forums and tools for education purposes (Barry et al., 2016). Hennessy et al. (2016) used Twitter to help support engagement and collaboration among second-year students learning neuroanatomy, and found that 91% of students engaged with the hashtag that they created, but that use of the hashtag did not correlate with improved student examination performance. Jaffar (2014) created a Facebook page to supplement and support in-classroom anatomy teaching for a cohort of medical students- an intervention that was perceived as highly enjoyable by the students with 94% of them rating the page as either good or excellent.

학생들은 해부학 강사들이 [소셜 미디어 공간에서 그들과 함께 참여하려는 의지]를 크게 높이 평가한다. 이러한 플랫폼은 [즉각적인 업데이트]와 밀레니얼 학생들이 교수에게 기대하는 [신속한 대응]을 가능하게 한다. 그들은 또한 학생들이 [상호작용하고 관계를 형성할 수 있는 추가적인 공간]을 제공한다. 학습을 위한 소셜 미디어 플랫폼에 대한 열정에도 불구하고, 일부 해부학자들은 이러한 사이트에서 [학생들과 상호 작용하는 뉘앙스에 불편함]을 표현했다. 미래에는 이 주제에 대한 명확한 정책과 지침이 이러한 불편을 완화하는 데 도움이 될 수 있습니다. 그럼에도 불구하고, 이러한 유형의 교육학적 도구의 지지자들은 학생-학생 및 학생-교사 토론과 협력을 통한 학습 목표 달성을 지원하기 위해 [사회 구성주의 원칙]을 인용한다.
Students are largely appreciative of anatomy instructors’ willingness to engage with them in social media spaces (Hennessy et al., 2016). These platforms allow for instantaneous updates and the type of rapid responses that Millennial students expect of their professors (Barry et al., 2016). They also provide an additional space for students to interact and build rapport. Despite their enthusiasm for social media platforms for learning, some anatomists have expressed discomfort with the nuances of interacting with students on these sites (Barry et al., 2016). In the future, clear policies and guidelines on this topic could help ease some of this discomfort. Nevertheless, proponents of this type of pedagogical tool cite social constructivist principles to support the achievement of learning objectives through student–student and student–teacher discussions and collaboration (Jaffar, 2014; Hennessy et al., 2016).

공명
Resonate

해부학자들이 사용하는 많은 새로운 교육학적 기법들은 [해부학적 원리에 대해 학생들을 교육]할 뿐만 아니라, 이 세대의 학생들에게 [해부학을 배우는 것의 임상적 관련성]을 강조한다. 컴퓨터 단층 촬영, 자기 공명 영상 및 초음파 검사와 같은 영상 양식을 해부학 교육에 통합하는 것은 이것이 달성된 한 가지 방법이다. 이러한 [기술의 빠른 채택]은 의사로서의 미래 실습에 대한 학습 목표의 적용 가능성을 이해하기 위한 밀레니얼 선호와 잘 맞는다. 많은 해부학 프로그램은 특히 최소 침습적 수술과 응급 절차의 현실적인 입증을 위해 언발육된 시체를 수용하도록 조정되었다. 암기 기반 교육에서 임상 애플리케이션으로 잘 번역되는 대화형 교육 기회로 전환하는 것은 밀레니얼 학습자의 참여를 위해 매우 중요하다. 진단 영상 및 수술에서 강사와 임상 문제를 통합하는 현대 해부학 과정은 학제 간 상호 작용뿐만 아니라 실제 의료 관행을 반영한다. 의학 학습자들에게 관련성 있고 상호작용적이며 다양한 경험을 제공하기 위한 해부학자들의 지속적인 노력은 밀레니얼 학습자들에게 좋은 평가를 받고 있다.
Many of the new pedagogical techniques used by anatomists not only educate students on anatomic principles, but they also highlight the clinical relevance of learning anatomy for this generation of students. The incorporation of imaging modalities such as computed tomography (Kolossvary et al., 2017), magnetic resonance imaging, and ultrasonography (Jamniczky et al., 2017; Patel, Benninger and Mirjalili, 2017) into anatomy teaching are one way that this has been achieved (Trelease, 2002). The rapid adoption of these technologies fit well with Millennial preferences for understanding the applicability of learning objectives to their future practice as physicians (Trelease, 2002). Many anatomy programs have adapted to accommodate unembalmed cadavers specifically for realistic demonstration of minimally invasive surgery and emergency procedures (Sugand et al., 2010). The shift from memorization-based teaching to interactive educational opportunities that translate well to clinical applications is critical for engaging Millennial learners. Modern anatomy courses that incorporate instructors and clinical problems from diagnostic imaging and surgery, are not only interdisciplinary and interactive but reflect true-to-life medical practice (Benninger et al., 2014). The ongoing commitment by anatomists to providing a relevant, interactive, and varied experience for medical learners is well received and highly rated by Millennial learners (Benninger et al., 2014).

혁신
Innovate

지난 세기 동안 해부학 교육에서 볼 수 있었던 주요 변화는 해부학 실험실을 [무균의 구조화된 환경]에서 보다 [상호작용적이고 창의적인 공간]으로 변화시켰다. 일부 해부학 교육자들은 표면 해부학을 가르치기 위해 살아있는 자원봉사 모델에 [바디 페인팅]을 제공하고, 다른 사람들은 단면 해부학을 배우기 위해 [점토 모델링]을 사용한다. 다른 것들은 컴퓨터 단층 촬영 이미지에서 3차원 인쇄를 사용하여 만들어진 복제품으로 투영된 표본을 대체했다. 컴퓨터의 광범위한 채택에 대응하여, 해부학 프로그램은 해부학적 정보학이라고 불리는 새로운 분야에서 의대생들을 가르치기 위해 그들의 기술 사용을 넓혔다. Visible Human과 같은 공유 이미지 데이터베이스의 생성은 기존의 교훈적인 강의와 달리 안내된 자율 학습과 전자 학습을 촉진했다. 해부학자들은 인터넷, 개인용 컴퓨터, 아이팟과 같은 학생들에 의해 사용되는 새로운 기술을 위한 강의 자료를 초기에 적응시켰다. 이러한 모든 변화는 다른 많은 기초 과학 분야에서 계속 사용되는 것보다 교수와 학습에 대한 더 편안한 접근을 촉진하는 대화형, 혁신적인 해부학 연구소의 탄생으로 절정에 달했다.
The major shifts seen within anatomy education within the last century have transformed the anatomy laboratory from a sterile, structured environment to a more interactive and creative space. Some anatomy educators offer body painting on live volunteer models to teach surface anatomy and others use clay modeling to learn cross sectional anatomy (Oh, Kim, and Choe, 2009; Benninger et al., 2014; Sugand et al., 2010). Others have replaced prosected specimens with reproductions created using three-dimensional printing from computed tomography images (Kong et al., 2016; McMenamin et al., 2014). In response to widespread adoption of computers, anatomy programs have broadened their use of technology to teach medical students in an emergent field termed anatomical informatics (Trelease, 2002, 2006). Creation of shared image databases, such as Visible Human, have facilitated guided self-study and electronic learning as opposed to traditional didactic lectures (Trelease, 2002). Anatomists were early in adapting course material for new technologies used by students such the Internet, personal computers, and iPods (Trelease, 2006, 2008). All of these changes have culminated in the creation of interactive, innovative anatomy laboratories that foster a more relaxed approach to teaching and learning than that which continues to be utilized in many other basic science disciplines.

결론
CONCLUSION

해부학 교육은 의학의 기초이며 의대생들을 위한 통과의례이다. 21세기 학습자들은 이전 세대와 달리 연결성, 공명, 교육 혁신을 요구한다. 놀랄 것도 없이, 해부학자들은 오늘날 가장 널리 보급된 세대의 의학 학습자들을 가르치는 데 앞장서고 있다. 그들은 다음의 원칙을 통해 그렇게 한다 

  • 학습자와 관련된 (편안한 학습 환경을 조성하고 학습자와의 관계를 형성함으로써), 
  • 학습 내용이 학습자에게 공명하도록 보장 (학습 목표와 평가의 관련성과 근거를 강조함으로써) 
  • 프로그램 내에서의 혁신 (최첨단, 연구에서 입증된 교육 방법을 통합함으로써)

시간이 지남에 따라, 해부학자들은 의심할 여지 없이 2020년에 새로운 세대의 학습자들이 의대에 입학함에 따라 교육 전달을 세대의 기대에 계속 맞추게 될 것이다.

Anatomy education is foundational to Medicine and is a rite of passage for medical students. Unlike previous generations, 21st century learners demand connectivity, resonance, and innovation in their education. Unsurprisingly, anatomists are leading the way in teaching the most prevalent generation of medical learners of today. They do so through the principles of

  • relating to learners (by creating relaxed learning environments and rapport with learners),
  • ensuring that learning content resonates with learners (by highlighting the relevance and rationale of learning objectives and assessments) and
  • innovating within their programs (by incorporating cutting edge, research-proven instructional methods).

As time goes on, anatomists will no doubt continue to align educational delivery to generational expectations as a new generation of learners enters medical school in 2020.

 


 

Clin Anat. 2019 Jan;32(1):20-25. doi: 10.1002/ca.23259. Epub 2018 Oct 20.

Medical education for millennials: How anatomists are doing it right

Affiliations collapse

Affiliations

1Division of General Internal Medicine, Cumming School of Medicine, University of Calgary, Calgary, Canada.

2Department of Anatomy, Mayo Clinic, Rochester, Minnesota, USA.

3Mayo Clinic School of Medicine, Mayo Clinic, Rochester, Minnesota, USA.

PMID: 30113110

DOI: 10.1002/ca.23259

Abstract

Millennial students born between 1980 and 1999 are currently the most prevalent generation in medical schools. Understanding this generation of inspiring yet challenging learners is key to satisfying instructional interaction. Effective strategies for teaching millennial learners can be summarized with 5 R's: ensuring a relaxed learning environment, building rapport with learners, highlighting the relevance and rationale of learning objectives and assessments, and implementing research-based educational methods. These strategies are exemplified by anatomists who relate (through platforms that encourage team-based learning in a relaxed environment), resonate (by highlighting the relevance and rationale of basic science learning objectives and feedback strategies), and innovate (by adopting cutting edge, research-proven technologies) within their curricula. Anatomists lead the way in effectively engaging, teaching and evaluating Millennial medical students in the 21st century. Broad application of these principles by other medical educators can further enhance Millennial education. Clin. Anat., 2018. © 2018 Wiley Periodicals, Inc.

Keywords: medical anatomists learning curriculum feedback; medical education; medical students; schools.

밀레니얼 학생 멘토링하기 (JAMA, 2020)
Mentoring Millennials
Jennifer F. Waljee, MD, MPH, MS1; Vineet Chopra, MD, MSc2; Sanjay Saint, MD, MPH3

 

수술 사례는 간단했다: 한 젊은 남자가 부러진 상완골로 인한 방사상 신경 손상을 경험했지만, 지금은 신경학적 회복이 없었다. 손목과 손가락 연장을 회복하기 위한 힘줄 이식이 계획되었다. 외과의사, 레지던트, 의대생이 함께 스크럽 싱크대에 접근하여 주요 교육 포인트, 잠재적인 함정 및 합병증 발생 시 대비책을 검토했습니다. 외과의사가 스크럽 브러시를 잡으려고 손을 뻗었을 때, 의대생은 손가락을 쉴 새 없이 그리고 리드미컬하게 휴대폰 화면을 두드리며 뒤로 물러났다. 외과의사는 학생이 병리학보다 그의 스마트폰에 더 관심이 있는 것처럼 보이는 것에 짜증이 나서 그를 답답하게 쳐다보았다. 학생을 다시 케이스에 참여시키기 위해서, 외과의사는 "손에 있는 각각의 익스텐서 컴파트먼트에 어떤 힘줄이 있는지 말해줄 수 있나요?"라고 물었다. 그 학생은 갑자기 머리를 쳐들었고, 그는 재빨리 쉽게 대답을 했다. 외과의사는 잠시 미소를 지으며 "방금 우리 교육 포털에 업로드된 방사상 신경 손상에 대한 힘줄 전달이 아닌 신경 전달을 설명하는 이 새로운 비디오에 대한 여러분의 생각을 얻을 수 있을까요?"라고 물었다? 보세요, 바로 여기에 올려 놓았습니다. 지난주에 본회의에서 발표되었습니다."
The surgical case was straightforward: a young man had experienced a radial nerve injury from a broken humerus, now without neurological recovery. Tendon transfers to restore wrist and finger extension were planned. The surgeon, resident, and medical student approached the scrub sink together to review major teaching points, potential pitfalls, and contingency plans in case of complications. As the surgeon reached for a scrub brush, the medical student lingered back, his thumbs incessantly and rhythmically tapping on the screen of his phone. The surgeon peered at him with frustration, annoyed that again his student appeared more interested in his smartphone than the pathology. In an effort to engage him back to the case, the surgeon asked: “Can you tell me what tendons lie in each of the extensor compartments in the hand?” The student’s head snapped up, and he quickly rattled off the answer with ease. Smiling momentarily, he then asked, “Could I get your thoughts on this new video describing nerve transfers rather than tendon transfers for radial nerve injuries that was just uploaded to our educational portal? See, I have it pulled up right here, it was just presented last week at the plenary session…”

세대 다양성은 침묵하는 세대(1925~1945년), 베이비붐 세대(1946~1964년), X세대(1965~1980년) 등 시간의 경계 안에서 태어난 개인들 사이에 공유된 관점과 경험을 기술한다. 오늘날 의학에 입문하는 사람들은 밀레니얼 세대라고 불리는 1980년에서 2000년 사이에 태어났다. 밀레니얼 세대는 오늘날의 노동력의 약 25%를 차지하며 2020년과 2025년에는 각각 노동력의 40%와 75%를 차지할 것이다. 우리는 이러한 주장이 특정 세대의 모든 구성원에게 적용되는 것은 아니라는 것을 인식한다. 그럼에도 불구하고 밀레니얼 세대를 정의하는 가치, 기대, 그리고 기풍은 그들의 전임자들과 실질적으로 다른 것으로 인식되고 있으며 기성세대의 관심과 관심을 끌었다. 이것은 훈련, 발전, 그리고 멘토쉽이 전통에 젖어있고 종종 변화가 천천히 오는 의학에서 특히 사실이다.
Generational diversity describes the shared perspectives and experiences among individuals born within boundaries of time, such as the silent generation (1925-1945), the baby boomers (1946-1964), and Generation X (1965-1980).1 Individuals entering medicine today were born between 1980 and 2000, termed millennials. Millennials comprise about 25% of today’s workforce and will account for 40% and 75% of the workforce in 2020 and 2025, respectively. We recognize that these assertions do not apply to every member of a particular generation. Nevertheless, the values, expectations, and ethos that define millennials are perceived as substantially different from their predecessors and have caught the attention, and concern, of older generations. This is particularly true in medicine where training, advancement, and mentorship are steeped in tradition and where change often comes slowly.

밀레니얼 세대는 정보 기술의 심오한 확장, 향상된 소셜 네트워킹 및 연결된 글로벌 문화에 의해 형성되었습니다. 때로는 참을성이 없고, 산만하고, 지나치게 사회화되고, 자격이 있는 것으로 분류되지만, 밀레니얼 세대는 또한 깊이 권한을 부여받고, 협력적이고, 혁신적인 것으로 특징지어질 수 있다. 그러나 이러한 [일반화]는 특히 도제와 위계질서가 일반적인 병원과 같은 환경에서 갈등과 오해를 초래할 수 있다. 
Millennials have been shaped by a profound expansion of information technology, enhanced social networking, and a connected global culture. Although sometimes labeled as impatient, distracted, overly socialized, and entitled, millennials could also be characterized as deeply empowered, collaborative, and innovative. These generalizations, however, can lead to conflict and misunderstanding, particularly in environments such as hospitals where apprenticeship and hierarchy are the norm.

멘토십은 의학의 초석이다. [멘토]는 [이타주의, 전문성, 인내심, 경험이라는 특징을 갖는 조언자]로 정의된다. 대학원 의학교육은 온라인 및 비디오 기반 학습 자원, 질병 기반 교육 커리큘럼, 단축 근무 시간 및 팀 기반 진료 모델의 확대를 통해 밀레니얼 세대에 적응해 왔다. 그러나 밀레니얼 세대 교직원, 전공의, 의대생들을 위한 멘토십 전략은 잘 이해되지 않고 있다. 실제로, 우리는 개인적으로 이러한 멘토-멘티 Dyad에서 좌절, 잘못된 의사소통 및 소모로 이어지는 세대 차이를 목격했다. 세 가지 일반적인 시나리오를 고려해 보십시오.
Mentorship is the cornerstone of academic medicine. A mentor is defined as an advisor characterized by altruism, expertise, patience, and experience. In many ways, graduate medical education has adapted to millennials through the expansion of online and video-based learning resources, disease-based educational curricula, abbreviated work hours, and team-based care models.2 However, mentorship strategies for millennial faculty members, residents, and medical students are not well understood. Indeed, we have personally witnessed generational differences leading to frustration, miscommunication, and attrition in these mentor-mentee dyads. Consider 3 common scenarios.

예 1. 수잔은 그녀의 부서장인 메리를 주요 멘토로 하여 경력 개발 상을 초안하는 주니어 교수진이다. 그들의 사무실은 가까이에 있다. 수잔은 메리의 회의 사이에 하루 종일 들러 문구에 대한 질문을 한다. Mary는 이것이 일반적인 스케줄 채널을 우회하기 때문에 짜증이 난다고 생각한다. 수잔은 메리가 그녀를 위한 시간이 거의 없는 것 같아 짜증이 난다.
Example 1. Susan is a junior faculty member drafting her career development award with her division chief, Mary, as primary mentor. Their offices are in close proximity; Susan often drops in throughout the day between Mary’s meetings to ask questions on the wording. Mary finds this irritating, as it circumvents the usual scheduling channels. Susan is annoyed that Mary seems to have little time for her.


[테마 1. 필요할 때 vs 정해진 때]. 밀레니얼 세대는 사실상 즉각적인 의사소통과 정보의 보급과 함께 성장했다. 이러한 참여는 [신속한 의사 결정]을 촉진하고, [협업 네트워크]를 확장합니다. 밀레니얼 세대는 [명확한 방향성을 보장]하기 위해 접근성, 빠른 대응, 빠른 전환, 잦은 짧은 회의를 기대한다. 고위 멘토는 종종 행정, 임상 및 학술적 요구와 구조적인 측면에서 균형을 유지하고 [임시적인 가용성은 낮습니다]. 이것이 합쳐지면 양측 모두에게 좌절과 스트레스로 이어진다.
Theme 1. As Needed vs Scheduled Engagement.
 Millennials have grown up with virtually instant communication and information dissemination. Such engagement facilitates quick decision making and expands collaboration networks. Millennials expect accessibility, fast responses, rapid turnaround, and frequent short meetings to ensure clear direction. Senior mentors often balance administrative, clinical, and academic demands with greater structure and less ad hoc availability. Combined, this leads to frustration and stress for both parties.

예 2. 존은 3학년 의대생으로, 마음챙김 기반 스트레스 감소 기술이 심근경색 후 환자의 심혈관 위험에 미치는 영향을 조사하는 여름 프로젝트를 수행하고 있다. 그는 설문 자료 수집에 대해 궁금한 점이 있어 프로젝트를 직접 주관하는 후배 교수 샘과 프로젝트 수석 저자로 활동할 학과장 마크에게 단체 이메일을 보낸다. 마크는 샘이 질문을 처리하지 않는 것에 짜증이 나고, 샘은 존이 직접 이메일을 보낸 것에 당황하고, 존은 아무도 그의 질문에 대답하지 않는 것처럼 보이는 것에 좌절한다. 
Example 2. John is a third-year medical student conducting a summer project examining the effects of mindfulness-based stress reduction techniques on cardiovascular risk in patients following myocardial infarction. He has a question about the survey data collection and sends a group email to Sam, a junior faculty member directly supervising the project, and to Mark, the chairman of the department who will serve as a senior author on the project. Mark is annoyed that Sam isn’t taking care of the question; Sam is embarrassed that John emailed the chair directly, and John is frustrated that no one appears to be answering his question.

[테마 2. 평면적 인프라 vs 위게적 인프라]. 밀레니얼 세대는 이전 세대보다 협업과 인지적 다양성을 더 쉽게 수용한다. 학술 의학의 일부 측면에서, 이러한 속성들은 그들에게 도움이 될 것이다. 예를 들어, 팀 사이언스, 다학제적 돌봄, 집단 리더십은 상급자와 대조적으로 집단 사고를 수용하는 밀레니얼 세대에 의해 환영받는다. 그러나 사회적, 계층적 격차를 완화하는 것은 갈등으로 이어질 수도 있다. 밀레니얼 세대는 전통적인 학술 부서의 전형적인 고립된 커뮤니케이션을 반드시 수용하지는 않습니다. 이러한 장벽을 제거하면 [위계적 의사소통 채널에 익숙한 나이든 의사]와 [모든 이해관계자에 대한 광범위한 액세스를 원하는 젊은 의사] 사이에 좌절감을 초래할 수 있다.
Theme 2. Flat vs Pyramidal Infrastructure.
 Millennials embrace collaboration and cognitive diversity more readily than prior generations.3 In some aspects of academic medicine, these attributes will serve them well. For example, team science, multidisciplinary care, and collective leadership are welcomed by millennials who embrace groupthink, in contrast to their senior counterparts. However, flattening social and hierarchical gaps may also lead to conflict. Millennials do not necessarily embrace the siloed communication typical of traditional academic departments. Removing these barriers can cause frustration among older physicians accustomed to hierarchical communication channels and younger physicians who desire broad access to all stakeholders.

예 3. 후배인 스콧 교수는 생물의학 공학 교수인 과 함께 일반 경피 심장 시술의 안전성을 향상시키기 위한 중재를 개발했다. 그는 유망한 결과로 자신의 개입을 실천하기 시작하지만, 그의 멘토인 줄리의 조언을 받아 영향력이 큰 과학 논문을 만들기 위해 임상 시험을 개발한다. 스콧은 그 발명에 대한 지적 재산과 관련된 권리를 개발하는 쪽으로 나아가고 싶어하기 때문에 관심이 없다. 과 줄리는 스콧이 그의 연구 잠재력을 약화시키고 있는지도 모른다는 사실에 좌절한다.
Example 3. Scott, a junior attending, has developed an intervention to improve the safety of common percutaneous cardiac procedures with Shawn, a professor in biomedical engineering. He begins to implement his intervention in practice with promising results but is counseled by his mentor, Julie, to wait and develop a clinical trial to generate a high-impact scientific paper. Scott is uninterested because he wants to move toward developing intellectual property and associated rights for the invention. Shawn and Julie are frustrated that Scott may be undermining his research potential; Scott, with the inertia of scientific investigation.

[테마 3. 목적 vs 과정]. 밀레니얼 세대에게는 목적이 가장 중요하다. 밀레니얼 세대는 학문적 성공의 전통적이고 오래된 지표에 비해 [결과와 실행에서 더 큰 만족감]을 얻을 수 있다. 이러한 목표에는 종종 지적 재산 개발, 제품의 상용화 또는 의료 스타트업의 시작을 포함하는 전략이 포함된다.
Theme 3. Purpose vs Process.
 For millennials, purpose is paramount. Millennials may derive greater satisfaction from results and implementation over the traditional, well-worn metrics of academic success. Such goals often include strategies that include developing intellectual property, commercialization of products, or launching a health care start-up.

이러한 예들은 직장에 종사하는 다양한 세대들 사이의 잠재적인 갈등을 보여준다. 하지만, 이것들은 또한 새로운 세대를 더 잘 이해할 수 있는 기회이기도 하다. 세대 간의 사고방식과 동기에 대한 예리한 인식은 보다 생산적이고 보람 있는 멘토링 관계를 가능하게 하며, 여러 전략은 세대 간의 업무 관계를 개선할 수 있다. 첫째, 의사와 멘토는 일반적인 세대의 잘못된 인식을 인식해야 한다(표). 예에서 알 수 있듯이 밀레니얼 세대는 일반적으로 [빈번한 상호 작용]을 원하고, [멀티태스킹을 빠르게 수행]하며, [전 세계적으로 빠르게 연결]되는 기능을 즐긴다. 이러한 연결은 보통 짧기 때문에, 긴 대면 연결의 환경에서는 발생할 필요가 없다. 결과적으로, 밀레니얼 세대는 [전문적인 관계를 구축하는 데 중요한 기술에서 차이]가 있으며 ,[효율적이고 참여적이라기보다, 참을성이 없고 굶주린 것]으로 인식될 수 있다. 밀레니얼 세대를 가장 잘 끌어들이는 방법에 대한 제안은 다음과 같습니다:  
These examples illustrate potential conflicts between different generations engaging in the workplace. However, these are also opportunities for greater understanding of a new generation. A keen awareness of generational mindsets and motivations can allow for more productive and rewarding mentoring relationships, and several strategies can improve intergenerational working relations. First, physicians and mentors must be cognizant of common generational misperceptions (Table). As illustrated in the examples, millennials generally desire frequent interaction, are quick to multitask, and relish the ability to connect rapidly across the globe. These connections are often brief and need not occur within a backdrop of lengthy face-to-face connections. As a result, millennials differ in skills critical to building professional relationships and may be perceived as impatient and needy, rather than efficient and engaged. Some suggestions for how best to engage millennials include:

표. 밀레니얼 세대 멘토링: 신화, 진실 및 모범 사례
Table.  Mentoring Millennials: Myths, Truths, and Best Practices

 

[마이크로 멘토링.] 전통적인 견습 멘토링 모델(관계가 수년에 걸쳐 형성되고 직업 생활의 다양한 측면을 포괄하는 모델)과 달리, 마이크로 멘토링(코칭과 유사)은 효율적인 대안을 제공한다. 초기 경력 교직원은 [단축된 시간 간격]으로, [정의된 요구]에 대해 선임 멘토로부터 조언을 구할 수 있다. 이는 [멘토십의 유연성과 인지적 다양성]을 가능하게 한다. 마이크로 멘토링은 좁은 주제에 대해 종종 [엄지손가락을 올리거나 내리거나], [예 또는 아니오로 대답]하는, 더 빈번하지만 더 빠른 회의를 수반한다. Susan과 Mary(예 1)의 경우, 간단한 미팅을 통해 Susan이 진행 속도를 높이는 데 도움이 될 잠재적인 장애물에 대한 빠른 답변을 제공할 수 있습니다. 일정 제한과 접근성에 대한 열린 의사소통은 또한 방해를 멘토링 세션으로 재구성함으로써 메리의 좌절감을 완화시킬 수 있다.
Micromentoring.
 In contrast to traditional apprenticeship mentoring models (in which relationships are built over years and encompass numerous aspects of professional life), micromentoring—similar to coaching—offers an efficient alternative.4 Early-career faculty members may seek counsel from senior mentors for defined needs over abbreviated time intervals, allowing for flexibility and cognitive diversity in mentorship. Micromentoring entails more frequent, but more rapid, meetings that often provide thumbs up or down, yes or no answers on narrow topics. For Susan and Mary (example 1), brief meetings may provide quick answers to potential roadblocks that will help Susan speed her progress. Open communication regarding scheduling limits and accessibility can also ease Mary’s frustration by reframing the interruptions as mentoring sessions.


[역 멘토링]. 밀레니얼 세대가 수용하는 [평평한 리더십 구조]를 만들기 위해, 멘토십 패러다임이 바뀌어서 [젊은 사람들이 나이 든 동료들에게] 관점, 기술, 지침을 전달할 수 있게 될 수도 있다. 역멘토링은 리더십과 더 넓은 협업을 촉진하여 멘티들의 관계에 힘을 실어줄 수 있다. 예를 들어, 트위터 또는 링크드인과 같은 소셜 미디어 플랫폼은 연구 결과를 전파하고 교수진과 연결하기 위한 강력한 메커니즘이며, 종종 기성 세대보다 밀레니얼 세대가 더 쉽게 탐색한다. John, Mark, Sam(사례 2)의 경우, [학술의학에서 공통적으로 나타나는 위계적 의사소통 구조를 허물면] 보다 효율적인 팀워크를 가능하게 할 뿐만 아니라, [모든 관점이 공유될 수 있는 기회]를 제공할 수 있다.
Reverse Mentoring. To create the flat leadership structure that millennials embrace, mentorship paradigms may be upended to allow younger individuals to impart perspective, skills, and guidance to older colleagues. Reverse mentoring can fuel a sense of leadership and broader collaboration, empowering mentees in their relationships. For example, social media platforms such as Twitter or LinkedIn are powerful mechanisms for disseminating research findings and connecting with faculty and are often more easily navigated by millennials than older generations. For John, Mark, and Sam (example 2), breaking down the hierarchical communication structures that are common in academic medicine can allow for more efficient teamwork, as well as provide an opportunity for all perspectives to be shared.

[멘토링 팀]. [협업 멘토십]은 다양한 관점을 제공하고 종종 학계에 스며드는 고립과 경쟁을 완화하는 데 도움이 된다. 이러한 팀은 인지적 다양성의 힘뿐만 아니라 다양한 멘토의 개인적인 장점을 활용할 수 있다. Scott, Julie 및 Shawn(예 3)의 경우, [멘토십 팀]은 [학계의 전통적인 지표에 대한 고위 교수진의 관심]을 [혁신]과 비교하여 저울질하는 균형을 제공할 수 있다. 예를 들어, 산업, 정책, 엔지니어링 및 품질의 구성원을 포함하면 Scott이 그의 노력에 대한 인정과 홍보뿐만 아니라 그의 작업에 더 많은 임상적 영향을 미칠 수 있습니다.
Mentorship Teams. Collaborative mentorship provides a diverse perspective and helps mitigate against the isolation and competition that often permeate academia. Such teams can capitalize on the individual strengths of a variety of mentors as well as the power of cognitive diversity.5 For Scott, Julie, and Shawn (example 3), a mentorship team may provide balance in weighing the senior faculty’s interest in traditional metrics in academics against innovation. Including members from industry, policy, engineering, and quality, for example, could allow Scott to have more clinical impact in his work as well as recognition and promotion for his efforts.

생산적인 멘토링 관계를 이루기 위해서는 세대 차이를 인식하고 수용해야 한다. 활기차고 다양한 교수진의 가치를 고려할 때, 다음 세대에 동기를 부여하거나 저지하는 요소들을 이해하는 것은 필수적이다. 의사는 직업생활에서 목적, 협력, 발전을 추구한다; 밀레니얼 세대는 이 점에서 이전 세대와 다르지 않다. 게다가 밀레니얼 세대는 자신의 위치에서 만족하지 못하면 다른 곳에서 기회를 찾을 의향이 있어 교직원 감소와 학술 의학의 높은 기회 비용으로 이어진다. 우리는 제안된 작은 변화들 중 일부가 차세대 의사들을 참여시키는 데 도움이 되기를 바란다. 스크럽 싱크대에서 스마트폰 사용에 대해 열린 마음을 유지하는 것은 이러한 접근법의 한 가지 예에 불과할 수 있다.
Generational differences must be recognized and embraced to achieve productive mentoring relationships. Given the value of a vibrant and diverse faculty, it is essential to understand the factors that motivate or deter the next generation.6 Physicians seek purpose, collaboration, and advancement in their professional lives; millennials are no different than prior generations in this respect.7 Moreover, millennials are willing to look for opportunities elsewhere if they are not fulfilled in their position, leading to faculty attrition and high-opportunity costs in academic medicine. We hope that some of the modest changes suggested may help engage the next generation of physicians. Keeping an open mind on the use of smartphones at the scrub sink may be but one example of this approach.

 


JAMA. 2020 May 5;323(17):1716-1717. doi: 10.1001/jama.2020.3085.

Mentoring Millennials

Affiliations collapse

Affiliations

1Section of Plastic Surgery, Department of Surgery, Michigan Medicine, Ann Arbor.

2Department of Internal Medicine, Michigan Medicine, Ann Arbor.

3Department of Internal Medicine, Michigan Medicine, VA Ann Arbor Healthcare System, Ann Arbor.

PMID: 32369152

DOI: 10.1001/jama.2020.3085

성찰적 그리고 비성찰적 학생을 위한 성찰적 공간 만들기: 대그룹 글쓰기 세션에서 결정적 순간 탐색(Acad Med, 2020)
Creating Reflective Space for Reflective and “Unreflective” Medical Students: Exploring Seminal Moments in a Large-Group Writing Session 
Bruce H. Campbell, MD, Robert Treat, PhD, Benjamin Johnson, MD, and Arthur R. Derse, MD, JD

문제
Problem

자신을 "반성적이지 않다"고 묘사하는 바쁜 의대생들은 그들의 초기 임상적 만남의 실존적 스트레스, 모호한 감정, 죽음과의 붓, 도덕적 딜레마를 자발적이고 창의적으로 숙고할 것 같지 않다. 그러나, 매우 반성적인 학생들은 의도적으로 저널링을 하거나, 글을 쓰거나, 창의적인 표현을 위한 다른 배출구를 찾으면서 독립적으로 이러한 사건들에 집중하기 위해 잠시 멈출 수 있다. 의학 교육자들은 성찰을 모든 의사들에게 중요하고 필요한 기술로 보고 있으며, 대부분의 미국 의대들은 성찰 활동을 임상 전 교육과 임상 교육의 필수 구성요소로 지정하고 있다. 이러한 커리큘럼 요소들은 종종 성찰 능력과 성숙도의 증거를 위해 수집되고 평가되지만, 학생들은 빈번하고 조정되지 않은 성찰 활동이 "성찰 피로"를 초래할 수 있다는 점에 주목한다. 결과적으로, 빠르게 적응하는 학생들은 적절한 응답을 만들고 제출하는 것을 배울 수 있는데, 이는 진정한 성찰적 노력에서 비롯되지 않을 수 있다.
Busy medical students who describe themselves as being “unreflective” are unlikely to spontaneously and creatively contemplate the existential stress, ambiguous emotions, brushes with mortality, and moral dilemmas of their initial clinical encounters. However, highly reflective students might independently pause to focus on these events, intentionally journaling, writing, or finding other outlets for creative expression. Medical educators see reflection as a critical and necessary skill for all physicians,1 and most U.S. medical schools assign reflective activities as required components of preclinical and clinical education. These curricular elements are often collected and assessed for evidence of reflective capacity and maturity, but students note that frequent, uncoordinated reflective activities can lead to “reflection fatigue.”2 Consequently, students who adapt quickly can learn to create and submit appropriate responses, which may not result from actual reflective effort.3

우리는 위스콘신 의과대학(MCW)의 모든 학생들, 특히 초기 임상 경험이 있는 학생들에게 성찰적이고 서사-기반 기술 개발 활동을 제공할 기회를 찾고 있었다. 그 때 우리는 ERAS에 대한 personal statement을 작성하는 것에 대한 전체 3학년 수업을 위한 워크숍을 만들고 운영하라는 요청을 받았다. 우리는 성찰적인 활동을 워크숍과 연계할 것을 제안했다. 우리는 성찰적 글쓰기가 매우 개인적이어야 한다는 것을 인정했지만, 우리는 또한 학생들이 그들의 동료들과 함께 일하는 것에 이점이 있다는 것을 느꼈다.
We were seeking opportunities to provide reflective and narrative-based skill-building activities for all students at the Medical College of Wisconsin (MCW)—particularly those having their initial clinical encounters—when we were asked to create and run a workshop for the entire third-year class on creating a personal statement for the Electronic Residency Application Service (ERAS). We proposed linking a reflective activity to the workshop. We acknowledged that reflective writing should be intensely personal, yet we also felt that there were advantages for the students in working with their peers.

이에 학생들이 [3학년]의 중요한 순간을 파악하고 성찰적 글쓰기 연습을 통해 탐색하는 세션을 기획한 후 또래 집단 내에서 [메타 성찰(반사 과정에 대한 성찰)]을 진행하였다. 우리는 학생들의 글쓰기, 성찰, 서술 연습에 대한 인식, 특히 이번 세션에 대한 인식을 더 잘 이해할 수 있도록 수업 전후에 설문지 자료를 수집했다.
Therefore, we designed a session in which students identify the seminal moments of their third year and explore them through a reflective writing exercise followed by meta-reflection (reflection on the reflective process) within a group of peers. We gathered questionnaire data before and after the session to help us better understand students’ perceptions of writing, reflective, and narrative exercises in general and of this session in particular.

접근
Approach

2014년부터 MCW는 의과대학 교육과정 전반에 걸쳐 지속적인 전문직업성 개발의 일환으로 3학년에 2주의 필수 intersession를 추가했다. [1주일간의 intersession 프로그램]1월(학사 중간)에, 6월(3학년에서 4학년으로 전환)에 진행된다. 중간고사 주간은 학생들이 수업으로 다시 연결하고 나쁜 소식, 관심의 충돌, 다양성과 포용성, 생명윤리, 말기 관리, 개인 건강, 전공의 준비와 같은 주제에 대한 토론에 참여하도록 장려한다.
Beginning in 2014, MCW added 2 required intersession weeks to the third year as part of continuous professional development interspersed throughout the medical school curriculum. The first week-long intersession program is held in January (the midpoint of the academic year) and the second in June (as students transition from the third to the fourth year). The intersession weeks encourage students to reconnect as a class and to engage in discussions on topics such as breaking bad news, conflicts of interest, diversity and inclusion, bioethics, end-of-life care, personal wellness, and residency preparedness.

우리는 [4학년을 위한 레지던트 애플리케이션 개인 진술 작성 워크숍]을 진행하는 것을 바탕으로 [자기만의 개인 진술 써보기 세션]을 진행하도록 초대받았습니다. 2015년에 처음 제공되고 각 중간고사 프로그램의 일환으로 모든 3학년 학생들에게 요구되는 이 새로운 [1.5~2시간 세션]은 아래에 자세히 설명되어 있으며 차트 1에 요약되어 있습니다. 모든 학생들이 글쓰기 활동에 참여할 것으로 기대하지만, 세션 전후에 우리가 요구하는 익명의 연구 질문은 선택 사항이며, 세션이 끝날 때 그들이 쓴 글을 소리내어 읽거나 제출할 것이라는 기대는 전혀 없다는 것을 명시적으로 듣는다.
We were invited to facilitate a Creating Your Personal Statement session based on our ongoing voluntary fourth-year Residency Application Personal Statement Writers Workshops.4 This new 1.5- to 2-hour session—first offered in 2015 and required for all third-year students as part of each intersession program—is detailed below and outlined in Chart 1. Although all students are expected to participate in the writing activities, they are explicitly told that the anonymous research questions we ask them to complete before and after the session are optional and that there is no expectation that they will either read their writing aloud or submit it at the end of the session.

이 프로젝트의 연구 부분은 MCW 제도 검토 위원회의 승인을 받았고, 학술 문제를 위한 수석 부학장의 승인을 받았다.
The research portion of the project was approved by the MCW Institutional Review Board and endorsed by the senior associate dean for academic affairs.

ERAS 개인 정보 소개
Introduction to ERAS personal statements

학생들은 3학년 전체 수업(약 200명)을 수용할 수 있도록 설계된 방의 테이블에서 최대 8명의 학생들이 스스로 선택한 그룹으로 앉습니다. 이 세션은 인터넷, 문헌, 그리고 우리의 개인적인 경험으로부터 얻은 정보를 요약하는 개인 진술에 대한 소개로 시작한다. 리소스는 전자적으로뿐만 아니라 하드카피 형식으로도 공유됩니다. 
Students sit in self-selected groups of up to 8 at tables in a room that is designed to hold the entire third-year class (approximately 200 students). The session begins with an introduction to personal statements, which summarizes information from the Internet, the literature, and our personal experience. Resources are shared in hard-copy format as well as electronically.

워밍업 글쓰기: "재미있는" 글쓰기 연습
Warm-up writing: “Fun” writing exercise

소개가 끝난 후 학생들은 세션 설문지의 처음 5개 질문에 5점 척도(1 = 5에 강하게 반대 = 강하게 동의함, 표 1)를 사용하여 답변하고 세션이 끝날 때 완료되도록 설문지를 따로 준비해야 합니다. 그런 다음 [간단하고 재미있는 주제의 "자유롭게 쓰기"]를 해보게 된다 (이 글쓰기는 편집, 수정, 다시 읽지 않고 지속적으로 글을 쓰고, "내가 봤다"와 "내가 했다"를 "느꼈다"와 "생각한다"보다 더 많이 묘사하는 데 초점을 맞춘다.). 종이가 제공되고 학생들은 손으로 글을 쓰도록 권장되지만, 많은 학생들은 대신 노트북으로 작업하는 것을 선택한다. 일단 학생들이 그들의 프롬프트를 선택하면, 그들은 [5분 동안 중단 없이 글을 쓴다]. 그리고 나서 그들은 그들의 테이블 동료들과 그 [과정에 대해 토론]하도록 초대된다. 이들은 자신이 쓴 글의 내용을 마음에 들면 공유할 수 있게 돼 있지만, 글 자체보다는 글을 쓰는 과정에 대해 이야기하는 것이 권장된다. 

After the introduction, students are asked to answer the first 5 questions on the session questionnaire using a 5-point scale (1 = strongly disagree to 5 = strongly agree; Table 1) and to set the questionnaire aside to complete at the end of the session. They are then guided through a “free write” of a simple, fun topic (writing continuously without editing, correcting, or rereading, and focusing on describing what “I saw” and “I did” more than what “I felt” and “I think”). Paper is provided and students are encouraged to write by hand, but many choose to work on their laptops instead. Once students choose their prompt, they write for 5 uninterrupted minutes. They are then invited to discuss the process with their tablemates. They are allowed to share the content of what they wrote if they choose, but they are encouraged to talk about the process of writing rather than the writing itself.

성찰적 글쓰기 연습
Reflective writing exercise

다음으로, 주요 [성찰적 글쓰기 연습의 목표]가 설명되고(차트 1), 학생들은 자신이 쓴 것을 동료나 교수진과 공유하라는 요청을 결코 받지 않을 것임을 상기시킨다. 학생들은 보충 디지털 부록 1에 나열된 각 시나리오에 대해 1~2개의 단어를 적음으로써 이전 몇 달 동안의 임상 및 비임상 경험을 바탕으로 일련의 잠재적인 글쓰기 프롬프트를 작성하도록 안내받는다. 
Next, the goals of the main reflective writing exercise are described (Chart 1) and students are reminded that they will never be asked to share what they have written with their peers or the faculty. The students are guided to create a series of potential writing prompts based on their clinical and nonclinical experiences over the prior months by jotting down 1 or 2 words in response to each of the scenarios listed in Supplemental Digital Appendix 1 (available at https://links.lww.com/ACADMED/A808).

학생들이 시나리오 목록을 작성한 후 '보여줘, 말하지마'에 초점을 맞춰 [20분간 자유롭게 글을 쓸 수 있는 기준이 될 경험 중 1~2개를 선택]한다. 시간이 되면, 그들은 그들의 [글을 검토하고 소그룹 토론]에 참여한다. 그들은 글쓰기 과정에서 발생한 통찰력과 놀라움에 초점을 맞추도록 요청받는다. 그런 다음 소규모 그룹은 이러한 [통찰력을 전체 클래스와 공유]합니다. 
After students work through the list of scenarios, they select 1 or 2 of the experiences to serve as the basis for a 20-minute free write, focusing on “show, don’t tell.” When the time is up, they review their writing and engage in small-group discussions. They are asked to focus on the insights and surprises that occurred during the writing process. The small groups then share these insights with the entire class.

마무리
Wrap-up

실습을 마치면 학생들은 이 세션의 목적이 [자신의 임상 로테이션과 환자 치료 경험을 되돌아볼 수 있는 기회]를 제공하기 위한 것이었음을 상기하게 된다. 우리는 그들이 쓴 것이 그들의 개인적인 진술의 일부로 끝날 수 있다고 제안한다. 학생들은 교내 창의적 기회를 요약하고 검토한 후, 세션 시작 시 주어진 설문지의 마지막 3개 항목(표 1)을 완료해야 합니다. 서면 의견을 제시해 주십시오. 학생들은 설문지를 두고 가지만, 그들의 글을 가지고 간다. 추가적인 도움을 원하는 학생들은 세션을 진행하는 교수진과 직접 대화할 수 있다. 이 경험으로 인해 트라우마를 느끼는 학생은 누구나 교직원과 대화하거나 학생 정신 건강 서비스를 받을 수 있다. 
At the end of the exercise, the students are reminded that the purpose of the session was to offer them an opportunity to reflect on their clinical rotations and patient care experiences. We suggest that what they wrote could end up as part of their personal statement. After a summary and a review of on-campus creative opportunities, the students are asked to complete the last 3 items on the questionnaire they were given at the beginning of the session (Table 1). Written comments are encouraged. The students leave their questionnaires behind but take their writing with them. Students who want extra help can speak directly with the faculty facilitating the session. Any student who feels traumatized by the experience is encouraged to talk to a faculty member or is directed to student mental health services.

데이터 분석
Data analysis

첫 번째 8개 세션(2015년 1월 ~ 2018년 6월)의 설문지 데이터는 마이크로소프트 엑셀 for Office 365 데이터베이스(워싱턴주 레드먼드 소재 마이크로소프트 Corporation)에 입력되었다. 데이터는 IBM SPSS Statistics 24.0(IBM, Armonk, New York)을 사용하여 Spearmanrho 상관관계, 분산 분석 및 Mann-Whitney U-tests를 계산하였다. 자유응답 댓글은 긍정적, 부정적 또는 제안으로 분류되었다. 
The data from the questionnaires from the first 8 sessions (January 2015–June 2018) were entered into a Microsoft Excel for Office 365 database (Microsoft Corporation, Redmond, Washington). The data were analyzed with IBM SPSS Statistics 24.0 (IBM, Armonk, New York) to calculate Spearman rho correlations, analysis of variance, and Mann–Whitney U-tests. Free-response comments were classified as being positive, negative, or suggestions.

결과
Outcomes

2015년 1월부터 2018년 6월까지 진행된 8회 개인 진술 작성 세션에 참여한 MCW 3학년 학생들은 약 71%에 해당하는 1,139개의 익명 설문지를 반환했다(각 MCW 반에는 약 200명의 학생이 있으며, 각 학생은 두 번 참여하도록 배정되어 총 가능한 1,600개의 설문지 중에서. 설문지를 작성하지 않고 참석했거나 참석하지 않아 참석하지 못한 학생이 몇 명인지 파악할 수 없었습니다.) 제출된 1,139개의 설문지에서 유효한 응답은 질문당 1,115개에서 1,125개까지 다양했다(표 1). 설문지의 338개(30%)에도 최소 1개의 추가 서면 의견이 포함됐다. 
MCW third-year students participating in the 8 Creating Your Personal Statement sessions held between January 2015 and June 2018 returned 1,139 anonymous questionnaires, representing a questionnaire completion rate of about 71%. (Each MCW class had approximately 200 students, and each student was assigned to participate twice, for a possible total of 1,600 questionnaires. We were unable to determine how many students either attended without completing a questionnaire or failed to attend as attendance was not taken.) On the 1,139 questionnaires that were turned in, valid responses varied from 1,115 to 1,125 per question (Table 1). Three hundred and thirty-eight (30%) of the questionnaires also included at least one additional written comment.

이 자료는 학생들이 동료들이 성찰적인 활동을 어떻게 보는지 잘못 인식했다는 것을 보여주었다. 또래 학생들이 글쓰기, 성찰, 서술형 연습이 자신들보다 시간 낭비라고 느낀다는 데 동의하거나 강하게 동의하는 학생(이하 동의)이 2배 더 많았다(440/1119[39%] 대 209/1115[19%]).
The data demonstrated that students misperceived how their peers viewed reflective activities. Twice as many students agreed or strongly agreed (hereafter agreed) that their peers felt writing, reflective, and narrative exercises were a waste of time as they themselves did (440/1,119 [39%] vs 209/1,115 [19%]).

학생들은 또한 그들이 예상했던 것보다 더 많은 운동으로부터 이익을 얻는 것으로 보였다. 472/1,125명(42%)만이 창의적 글쓰기에 익숙하다는 데 동의했지만, 세션이 끝난 후 634/1,118명(57%)은 세션 중 자신의 글쓰기 양, 품질 및/또는 통찰력에 놀랐다는 데 동의했고 863/1,117명(77%)은 세션이 일부 수업에 대해 더 명확하게 생각하는 데 도움이 되었다는 데 동의했습니다초면의 만남. 대부분의 학생들(951/1,115[85%])은 그들이 임상 회전의 첫 달 동안 항상 기억할 수 있는 여러 번의 만남과 경험을 가졌다고 믿었다.
Students also appeared to benefit from the exercise more than they anticipated. Only 472/1,125 (42%) came into the session agreeing that they were comfortable with creative writing, yet after the session, 634/1,118 (57%) agreed that they were surprised by the amount, quality, and/or insight of their writing during the session and 863/1,117 (77%) agreed that the session had helped them think more clearly about some of their clinical encounters. Most students (951/1,115 [85%]) believed that they had several encounters and experiences during their first months of clinical rotations that they would always remember.

Spearman 상관관계(표 2)를 사용하여 우리가 발견한 가장 강력한 관계 중 하나는 [고등학교와 대학에서 더 많은 영어 또는 쓰기 수업을 듣는 것으로 보고된 학생]들이 쓰기, 성찰, 서술 연습을 [시간 낭비로 볼 가능성이 적다]는 것이다. 또한 이 학생들은 창의적이고 성찰적 글쓰기에 더 익숙했다. 이 세션이 임상적 만남에 대해 명확하게 생각하는 데 도움이 되었다고 보고한 학생들은 그들의 글의 양, 질, 그리고/또는 통찰력에 대해 동료들보다 더 많이 놀라고 있었다. 다가올 personal statements에 대해 생각하고 있다고 보고한 학생들은 [그들의 글쓰기의 질에 놀랐고, 그 세션이 그들의 임상적인 만남 중 일부에 대해 더 명확하게 생각하는 데 도움을 주었다]는 특성을 동료들보다 더 많이 보였다.

Using Spearman correlations (Table 2), one of the strongest relationships we found was that students who reported taking more English or writing classes in high school and college than their peers were less likely to view writing, reflective, and narrative exercises as a waste of time; these students were also more comfortable with creative and reflective writing. Students who reported that the session helped them think clearly about clinical encounters were more likely than their peers to be surprised by the amount, quality, and/or insight of their writing. Students who reported that they were thinking about their upcoming personal statements were more likely than their peers to be surprised by the quality of their writing and to indicate that the session helped them think more clearly about some of their clinical encounters.

우리가 발견한 더 약하지만 여전히 중요한 연관성은 [동료들보다 더 많은 영어나 쓰기 수업을 듣는다고 보고한 학생들]이 [동료들이 쓰기, 성찰, 서술 연습을 시간 낭비로 간주한다고 믿는 경향]이 [더 강하다]는 것이다. [글쓰기를 가장 편안하게 생각한 학생들]은 그들이 항상 기억할 것이라고 믿었던 초기 임상적 만남을 여러 번 경험했을 가능성이 더 높았다. 그들의 초기 임상 경험 중 몇 가지를 항상 기억할 것이라고 믿는 학생들은 그들의 글쓰기의 양, 질, 그리고/또는 통찰력에 더 많이 놀라고, 그 세션이 그들의 임상 경험에 대해 더 명확하게 생각하고 그들의 개인적인 진술에 대해 생각하는 데 도움을 주었다고 믿는다.
Weaker but still significant associations we found included that the students who reported taking more English or writing classes than their peers were more likely to believe that their peers viewed writing, reflective, and narrative exercises as a waste of time. The students who were most comfortable with writing were more likely to have had several initial clinical encounters they believed they would always remember. Students who reported believing that they would always remember several of their initial clinical experiences were more likely to be surprised by the amount, quality, and/or insight of their writing, believe that the session helped them think more clearly about their clinical experiences, and be thinking about their personal statements.

반대로 [성찰적 글쓰기를 시간 낭비로 보는 학생들]은 [또래 친구들도 같은 생각을 한다고 믿는 경향]이 더 높았다. 게다가, 그들은 그들의 동료들보다 영어와 글쓰기 수업을 덜 들었다고 믿는 경향이 더 있었다; 자신의 초기 임상적 만남들 중 몇 가지를 항상 기억할 것이라고 믿는 경향이 더 적었고, [자신의 글쓰기의 양, 질, 통찰력에 덜 놀라는 경향]이 있었다. 이들은 이 세션이 임상적인 만남에 대해 명확하게 생각하는 데 유용하다고 생각할 가능성도 낮고, 개인적인 진술에 대해 생각할 가능성도 적었다.
Conversely, students who viewed reflective writing as a waste of time were more likely to believe that their peers felt the same way. In addition, they were more likely to believe that they took fewer English and writing classes than their peers; were less likely to believe they would always remember several of their initial clinical encounters; were less likely to be surprised by the amount, quality, and/or insight of their writing; were less likely to believe that the session was useful in clearly thinking about clinical encounters; and were less likely to be thinking about their personal statements.

1월(중년)과 6월(3학년 말) 세션에서 서로 다른 반응을 이끌어낸 질문은 8번, "전공의 지원 개인 진술에 무엇을 포함시킬지 생각하기 시작했다"는 질문뿐이었다. ERA 마감일이 다가올수록 학생들은 개인 진술에 대해 생각할 가능성이 더 높았다. Mann-Whitney U-testing은 다른 모든 질문에 대한 응답이 세션 간에 안정적이라는 것을 보여주었다. 
The only question that elicited different responses between the January (midyear) and June (end-of-third-year) sessions was question 8, “I am starting to think about what I might include in my residency application personal statement,” confirming that students were more likely to be thinking about their personal statements as the ERAS deadline approached. Mann–Whitney U-testing demonstrated that responses to all the other questions were stable between the sessions.

2018년에는 학생들에게 3학년 때 반성적인 활동(쓰기 등)을 한 적이 있는지 묻는 질문을 추가했다. 이 질문에 응답한 280명의 학생 중 105명(38%)이 일부 성찰적이거나 창의적인 활동을 보고했다. 
In 2018, we added a question asking students if they had done any reflective activity (writing or otherwise) during the third year. Of the 280 students who responded to this question, 105 (38%) reported some reflective or creative activity.

세션이 끝날 때 모인 익명의 서면 의견은 성찰적인 쓰기 세션을 지속하는 데 도움이 되었습니다. 338건의 댓글 중에서, 
275명(81%)이 긍정적이었습니다(예: "대단한 세션!", "생각을 말로 표현하는 멋진 방법"), 18명(5%)은 부정적이었다(예: "글을 쓰기에는 너무 길다. "수갑 터널" "어떻게 이것이 긍정적인 경험이 될 수 있을까?" 그리고 44명(13%)이 제안을 했다(예: "반성적이거나 서술적인 글쓰기에 대해 더 많이 알려주세요" "연초에 이것을 해라.").
Written, anonymous comments gathered at the end of the sessions were supportive of continuing the reflective writing sessions (see Supplemental Digital Appendix 2 at https://links.lww.com/ACADMED/A808). Of the 338 comments received, 275 (81%) were positive (e.g., “Great session!” “Cool way to put thought into words”), 18 (5%) were negative (e.g., “Too long to write. Carpal tunnel.” “How could this be a positive experience?”), and 44 (13%) offered suggestions (e.g., “Say more about reflective or descriptive writing.” “Do this earlier in the year.”).

이 연구의 잠재적 한계는 다음을 포함한다 

  • (1) 검증되지 않은 설문지를 사용하여 하나의 캠퍼스에서만 수행되었습니다 
  • (2) 표본 크기가 크면 통계적으로 유의한 연관성 중 일부는 중요하지 않을 수 있습니다.

Potential limitations with this study include that

  • (1) it was performed at only one campus using nonvalidated questionnaires, and
  • (2) given the large sample size, some of the statistically significant associations might be unimportant.

다음 단계
Next Steps

글쓰기를 요청받은 시간에 대한 학생들의 서면 의견을 검토한 결과, 2019년에 우리는 자유 글쓰기 연습을 위한 완벽한 기간을 아직 정하지 못했지만 세션의 [성찰적 글쓰기 부분을 10분으로 단축]했다. 우리는 또한 [워밍업 "재미있는" 글쓰기 연습]을 학생들을 [서사 의학 기술에 노출시키기 위한 독서 연습]으로 대체했다: 우리는 [짧은 한 구절의 소설이나 에세이]를 함께 읽고, 학생들에게 [소그룹 토론에 참여]하도록 한 다음, 학생들에게 [독서의 "영항 속에서" 즉각적인 글을 쓰게] 했다. 나머지 세션은 그대로 유지되었다. 서면 댓글을 바탕으로 한 밀착독서 경험이 호평을 받았다.
Based on our review of the students’ written comments regarding the length of time they were asked to write, in 2019 we shortened the reflective writing portion of the sessions to 10 minutes, although we have yet to settle on the perfect duration for the free-writing exercises. We also replaced the warm-up “fun” writing exercise with a close-reading exercise5,6 to expose students to narrative medicine techniques: We read a short passage of fiction7,8 or an essay9 together, asked the students to engage in small-group discussions, and then had the students write to a prompt “in the shadow” of the reading. The rest of the session remained the same. Based on written comments, the close-reading experience was well received.

ERAS 제출 마감일 몇 주 전에 4학년 학생들에게 동료-편집 레지던트 애플리케이션 개인 진술 작성자 워크숍을 계속 제공하고 있습니다. 이러한 워크샵의 조합은 각 학생들에게 개인적인 진술에 대해 작업할 수 있는 여러 기회를 제공하고, 바라건대, 의미 있는 개인 및 그룹 성찰에 참여할 수 있는 기회를 제공합니다.
We continue to offer our peer-editing Residency Application Personal Statement Writers Workshops to the fourth-year students in the weeks before the ERAS submission deadline. The combination of these workshops offers each student multiple opportunities to work on their personal statements and, hopefully, engage in meaningful individual and group reflection.

우리는 [성찰적 글쓰기와 독서 활동]을 [그룹 환경에 통합]한 3학년 각 세션이 [임상 환경에서 서사적 순간]을 더 잘 이해하면서, 학생들에게 [자신의 경험에 대해 생각하고 쓸 수 있는 사적인 장소]를 제공하기를 바란다. 이 세션은 다음과 같은 두 가지 목표를 달성하려고 시도합니다: [교직원들]은 학생들이 좀더 성찰적이 되기를 바라고, [학생들]은 그들의 개인적인 진술을 시작하고 싶은 욕구가 있다. 학생들은 레지던트 신청서 개인 진술을 곰곰이 생각하면서, 초기의 필수임상실습에 몰입하기 때문에 타이밍으로는 최적이다. 이 접근법이 모든 의대생들(반성적이고 비반성적)이 배려심 있고, 동정심 있고, 유능하고, 통찰력 있는 의사가 되기 위한 여정을 위해 준비한다는 더 큰 목표에 어떻게 부합하는지 알아보기 위해 더 많은 데이터가 필요하다.
We hope that each of our third-year sessions, incorporating reflective writing and close-reading activities in a group setting, offers students a private place to think and write about their experiences while better understanding narrative moments in clinical settings. These sessions attempt to meet twin goals: Faculty hope that the students become more reflective, and the students have a desire to kick-start their personal statements. The timing is optimal since students are immersed in early, required clinical rotations while pondering their residency application personal statements. More data are needed to learn how this approach fits with the larger goal of equipping all medical students—reflective and unreflective, alike—for their journeys toward becoming caring, compassionate, competent, and insightful physicians.

 


Acad Med. 2020 Jun;95(6):882-887. doi: 10.1097/ACM.0000000000003241.

Creating Reflective Space for Reflective and "Unreflective" Medical Students: Exploring Seminal Moments in a Large-Group Writing Session

Affiliations collapse

Affiliation

1B.H. Campbell is professor of otolaryngology and communication sciences, Medical College of Wisconsin, Milwaukee, Wisconsin; ORCID: https://orcid.org/0000-0001-9485-5728. R. Treat is associate professor of emergency medicine and director of measurement and evaluation, Office of Academic Affairs, Medical College of Wisconsin, Milwaukee, Wisconsin; ORCID: https://orcid.org/0000-0003-2291-3858. B. Johnson is an otolaryngology resident, Wayne State University, Detroit, Michigan. A.R. Derse is the Julia and David Uihlein Chair in Medical Humanities, professor of bioethics and emergency medicine, and director, Center for Bioethics and Medical Humanities, Medical College of Wisconsin, Milwaukee, Wisconsin.

PMID: 32101930

DOI: 10.1097/ACM.0000000000003241

Abstract

Problem: Reflection is a critical skill for all physicians, but some busy medical students describe themselves as "unreflective." The authors sought to provide all third-year medical students at the Medical College of Wisconsin (MCW) with opportunities to explore seminal clinical and personal moments through reflective writing during workshops on preparing a personal statement for the Electronic Residency Application Service.

Approach: The authors developed and facilitated semiannual 1.5- to 2-hour sessions (January and June) for MCW third-year medical students (about 200 per class), pairing information on personal statements with reflective writing and group reflection activities. Students wrote reflectively but were not required to share their writing with peers or faculty. They discussed insights gleaned during the writing process in small groups and with the class. They completed pre- and postsession questions on an anonymous questionnaire.

Outcomes: Eight all-class sessions were held between January 2015 and June 2018. Students completed 1,139 of 1,600 questionnaires (completion rate of approximately 71%). They misperceived their peers' views of reflective activities. Twice as many students agreed their peers felt writing, reflective, and narrative exercises were a waste of time as they themselves did (39% vs 19%). While 42% entered the session comfortable with creative writing, 57% were surprised by the amount, quality, and/or insight of their writing during the session and 77% agreed the session helped them think more clearly about clinical encounters. Students who believed reflective writing was a waste of time were more likely to believe their peers felt that also, and they were less likely to believe the session helped them reflect on clinical experiences. Most written comments were positive.

Next steps: To expose students to narrative medicine techniques, the authors added a close-reading exercise and shortened the reflective writing activity in 2019, hoping this would better equip all students for their journeys.

뒤를 돌아보고 앞으로 나아가기: 의과대학 1학년의 포트폴리오 글쓰기에 대한 메타-성찰(Acad Med, 2018)
Looking Back to Move Forward: First-Year Medical Students’ Meta-Reflections on Their Narrative Portfolio Writings
Hetty Cunningham, MD, Delphine Taylor, MD, Urmi A. Desai, MD, MS, Samuel C. Quiah, MSW, Benjamin Kaplan, Lorraine Fei, MPH, Marina Catallozzi, MD, MSCE, Boyd Richards, PhD, Dorene F. Balmer, PhD, and Rita Charon, MD, PhD 

의학 교육자들은 종종 [성찰적인 글쓰기]를 성찰적 능력을 배양하고 유능하고 동정심 있는 의사들의 전문적 정체성 구축을 촉진하는 귀중한 도구로 언급한다. 일상적인 의학 교육의 엄격함은 종종 학습자들이 그들이 어떤 사람이 되고 있는지에 대한 종적인 관점을 얻는 것을 방해한다. 훈련 중에 번아웃의 상당한 위험과 공감의 감소를 고려할 때, 학생들이 성찰 능력을 육성하는 데 도움을 줄 필요성은 특히 두드러진다. 게다가, 현재 [표준화와 역량의 문서화]에 초점을 맞추고 있는 것은 개인의 재능, 가치, 목표의 개인적 평가를 떨어뜨림으로써 [전인적 직업적 정체성]의 구축에 도전하거나 심지어 대항할 수 있다 —성찰을 지원하기 위한 의도적인 노력이 더욱 필요합니다.
Medical educators frequently cite reflective writing as a valuable tool to foster reflective capacity and to promote construction of a professional identity in competent and compassionate doctors.1–6 The day-to-day rigors of medical education often preclude learners from gaining a longitudinal perspective on who they are becoming. The need to aid students in fostering reflective capacity is particularly salient given the significant risks of burnout and a decrease in empathy during training.7–9 Furthermore, the current focus on standardization and documenting competency may challenge or even counteract the construction of a holistic professional identity by devaluing individuation of personal talents, values, and goals—which, in turn, renders intentional efforts to support reflection all the more necessary.10–13

비록 전세계의 의대들이 이러한 많은 문제들을 해결하는 수단으로 성찰적인 글쓰기를 받아들였지만, 일부 교육자들은 [글쓰기 커리큘럼]이 [역량을 문서화하도록 구조화]되거나, 학생들의 노력이 [환원주의적 관점으로 평가될 때] 성찰 능력을 육성하려는 노력이 역효과를 낼 수 있다는 우려의 목소리를 냈다. 실제로, Ng와 동료들은 전통적인 의료 기관의 "지배적 인식론적 렌즈"와 일치하는 공리적 결과를 제공하기 위해 반사적 글쓰기를 사용할 때의 잠재적인 함정을 웅변했다. 이러한 위험으로부터 보호하기 위해 일부 의학 교육자들은 [서사 의학적 전통에 앵커링된 성찰 도구]를 학생들이 효과적으로 성찰 능력을 개발하고 전체론적인 전문적 정체성을 구축할 수 있는 "개방된 교육 공간"을 육성하는 데 이상적으로 적합한 것으로 보았다.
Although medical schools around the globe have embraced reflective writing as a means of addressing many of these issues,14 some educators have voiced concerns that efforts to foster reflective capacity may be counterproductive when writing curricula are structured to document competencies or when student efforts are evaluated with a reductionist lens.14,15 Indeed, Ng and colleagues15 eloquently described potential pitfalls of using reflective writing to serve a utilitarian outcome consistent with the “dominant epistemological lens” of traditional medical institutions. To protect against these risks, some medical educators have looked to reflective tools anchored in the narrative medicine tradition as ideally suited to foster “open educational spaces,” sometimes called “reflective spaces,” wherein students may effectively develop their reflective capacity and construct a holistic professional identity.16,17

서사 의학
Narrative Medicine

[서사 의학 프레임워크] 내에서, [성찰적 공간]은 [엄격한 교육학적 행동 순서]를 통해 만들어진다. 참가자들은 [창의성과 세부사항]에 대한 관심을 증진시키는 [텍스트 작품을 공유하는 것]으로 시작한다. [공유된 읽기와 해석]은 그룹 내 신뢰를 강화합니다. 다음으로, 읽기를 반향echo하는 [개방형 프롬프트에 대한 응답]으로 글쓰기는 의대생들이 [결정적이고 증거에 기초한 답을 제공하는 것]에서, [실존적이고 모호한 질문을 숙고하는 것]으로 [환원주의]에서 보다 [확장적인 사고 방식]으로 전환하도록 장려한다. 그리고 나서, 참가자들이 방금 [쓴 것을 큰 소리로 읽고 듣는 것]은 서로의 글에 반응하는 것과 함께, 안전과 상호 존중의 분위기에서 창의적인 글의 발견 가능성에 대한 깊은 존경심을 불러일으킨다.  
Within a narrative medicine framework, reflective space is created through a rigorous sequence of pedagogical actions.18 Participants start with a shared close reading of textual works that promote creativity and attention to detail. The shared reading and interpreting enhance trust within the group. Next, writing in response to open-ended prompts that echo the reading encourages medical students to shift from a reductionist to a more expansive way of thinking, from providing definitive, evidence-based answers to pondering existential and ambiguous questions. Then, reading aloud and listening to what participants have just written, along with responding to one another’s writing, inspires deep respect for the discovery potential of creative writing within a climate of safety and mutual respect.18

내러티브 포트폴리오 개발
Development of a Narrative Portfolio

컬럼비아 대학교 Vagelos 의과대학(P&S)의 교육자들은 학생들이 성장하고 공유할 수 있는 안전하고 목적이 있는 탐구적인 성찰 공간을 제공하기 위해 이러한 서사 의학 개념을 통합한 종단적 성찰적 글쓰기 포트폴리오(아래 설명)를 개발했다. 종단적 관점를 향상시키고, 이 포트폴리오 내에서 성찰적 쓰기의 이점을 높이기 위해 Signature Reflection이라는 학기말 메타 성찰 과제를 설계했다. 매 학기마다, [시그니처 리플렉션 과제]는 학생들이 [포트폴리오 항목의 아카이브를 검토]하고, 이전 글에서 [자신에 대해 알게 된 것]에 대해 쓰고, 이 연습을 통해 [자신의 과거와 미래의 자신이 연결]되도록 촉구한다. 이 글은 우리 학교의 종단적 글쓰기 포트폴리오가 만들어낸 '반사적 공간'에 대한 이론적 근거와 교육과정 내용, 그리고 초기 분석에 초점을 맞추고 있다.
Educators at the Columbia University Vagelos College of Physicians and Surgeons (P&S) have developed a longitudinal reflective writing portfolio (described below), incorporating many of these narrative medicine concepts, to provide a safe, purposeful, exploratory reflective space in which students may grow and share. To enhance the longitudinal scope and to augment the benefits of reflective writing within this portfolio, we designed an end-of-semester meta-reflection assignment called the Signature Reflection. Each semester, the Signature Reflection assignment prompts students to review their archive of portfolio entries, to write about what they notice about themselves in their previous writing, and through this exercise, to connect with their former and future selves. This article focuses on the rationale, curriculum content, and early analysis of the “reflective space” created by our school’s longitudinal writing portfolio.

의대 1학기 후 학생들이 작성한 [시그니처 리플렉션]에 대한 우리의 분석은 포트폴리오에 표현된 대로 의대 여정에 대한 학생들의 관점을 보여주는 독특한 창을 제공했다. 우리는 학생들이 자신의 글을 돌아볼 수 있는 기회가 주어졌을 때 그들 스스로 무엇을 볼 수 있는지 배우고 싶었다. 우리는 또한 그들의 말이 포트폴리오의 학습 결과를 밝힐 수 있는지, 그리고 만약 그렇다면, 어떻게 밝혀질지 알고 싶었다. 마지막으로, 우리는 학생들이 전문적인 정체성 구축을 탐구하기 위해 포트폴리오를 사용하는지, 그리고 만약 그렇다면, 어떻게 사용하는지를 이해하고 싶었다.
Our analysis of Signature Reflections written by students after their first semester of medical school offered a unique window into the students’ perspectives on their own medical school journeys as expressed in their portfolios. We wanted to learn what students themselves would see when given the opportunity to look back on their own writings. We also wanted to learn whether their words might shed light on the learning outcomes of the portfolio, and if so, how. Finally, we wanted to understand if students used the portfolio to explore professional identity construction, and if so, how.

맥락
Context

20년 이상 P&S 의대생들은 서사의학 프로그램을 통해, 인문학 내 창의적이고 탐구적인 세미나를 선택하고 참여하도록 했다. 시각적 작업이든 서면 작업이든, 학생들은 부분적으로 이러한 경험에 대해 글을 썼는데, 이는 그들이 면밀한 관찰과 정확하고 상세한 표현의 기술을 강화할 수 있고, 이는 결과적으로 환자 및 동료들에게 참여하고 심지어 연결하는 능력을 강화할 수 있다. P&S 서사의학 선택지에 대한 질적 분석은 학생들이 미래의 의사로서 훈련과 성장에 있어 서사의학의 역할을 인식하고 높이 평가하는 것으로 나타났다.  
For more than 20 years, through the narrative medicine program, medical students at P&S have been required to select and participate in creative and exploratory seminars within the humanities. Whether responding to visual or written works, students have written about these experiences, in part so that they might strengthen their skills of close observation and accurate and detailed representation, which can, in turn, deepen their capacity to attend to and even connect with patients and peers. Qualitative analysis of the P&S Narrative Medicine selectives has indicated that students recognize and appreciate the role of narrative medicine in their training and growth as future physicians.4,19,20

의과대학의 사회적, 행동적, 인문학적, 예술적 교육과정을 향상시키기 위한 [국립보건원 지원 프로젝트]의 맥락에서, 2011년 교수진과 학생들로 구성된 태스크포스가 소집되어, [서사 의학적 전통의 방법]을 사용하여 교육과정 전반에 걸쳐 [성찰적 글쓰기를 증가시키는 방법]을 모색했다. 그 목적은 학생들에게 시간이 지남에 따라 [그들이 되어고 있는 전문직]에 대한 미묘한 시각을 제공하는 것이었다. 그 특별 위원회는 반성문에 관한 문헌을 검토하고 동료 기관들의 경험을 조사하기 위해 1년 동안 매월 만났다. 태스크 포스는 적절한 텍스트와 프롬프트의 선택, 학생 참여 및 신뢰 유지(특히 개인 정보 보호 문제를 고려할 때), 교수진 훈련 및 평가 메커니즘을 고려했다. 결과적으로, 2013년에, P&S는 1년간의 자발적인 파일럿 프로그램에서 배운 후, 들어오는 모든 의대생들을 위한 성찰적인 글쓰기 포트폴리오 요건을 시작했다. 태스크포스는 포트폴리오가 다음을 할 것을 기대했다.

  • 기관이 과거에 서사의학으로 성공했던 경험을 활용하고,
  • 학생들이 종단적 글쓰기 커리큘럼의 혜택을 받을 수 있도록 하고,
  • 학생들에게 시간이 지남에 따라 그들이 어떤 사람이 되고 있는지에 대한 개인화된 관점을 제공한다.

In the context of a National Institutes of Health–supported project to enhance the social, behavioral, humanities, and arts curricula in the medical school, a task force of faculty and students convened in 2011 to look for ways to increase reflective writing throughout the curriculum using methods from the narrative medicine tradition. The aim was to provide students with a nuanced view, over time, of the professionals they are becoming. The task force met monthly for a year to review the literature on reflective writing and to examine peer institutions’ experiences. The task force considered the selection of appropriate texts and prompts, the maintenance of student engagement and trust (especially given privacy concerns), faculty training, and a mechanism for evaluation. As a result, in 2013, after learning from a one-year voluntary pilot, P&S launched a reflective writing portfolio requirement for all incoming medical students. The task force hoped the portfolio would

  • capitalize on the institution’s prior success with narrative medicine;
  • allow students to benefit from a longitudinal writing curriculum; and
  • offer students an individualized view, over time, of who they are becoming.

P&S 포트폴리오
The P&S portfolio

전임상에서 [임상 사회 및 행동 과학]과 [핵심 임상 기술]에 초점을 맞춘 P&S 과정인 Foundations of Clinical Medicine(FCM)에 뿌리를 둔 포트폴리오 목표는 [학생들의 성찰 능력을 강화]하고, [전인적 전문적 정체성의 구축을 촉진]하는 것이다. 이를 위해서는 다양한 기회를 제공하는 종단적 프로그램을 통해, 학생들은 동료와 교수진-학생들의 의견을 반영하여 [유도된 성찰]에 참여하도록 합니다. 우리는 표 1에 포트폴리오의 주요 기능을 설명합니다.
Rooted within Foundations of Clinical Medicine (FCM), a P&S course focused on preclinical social and behavioral sciences and on core clinical skills, the portfolio goals are to reinforce students’ reflective capacity and to foster the construction of a holistic professional identity through a longitudinal program that offers multiple occasions for students to engage in guided reflections with input from peers and faculty–mentors. We describe key features of the portfolio in Table 1.

포트폴리오의 목적이 [글쓰기에서 성찰을 보여주는 것]이 아니라, [글쓰기를 통해 성찰을 배우는 것]이기 때문에, 출품작은 대부분 편집되지 않은 [강의식 서사 의학 연습]이다. 추가적인 글쓰기 프롬프트는 학생들이 시체를 처음 만난 후에 작성된 성찰부터 초기 임상 경험에 대한 고려사항까지 다양하다. 학생들은 포트폴리오 작성 항목을 대학 포트폴리오 웹사이트에 업로드합니다. 학생들은 3학기마다 최소 6개의 글쓰기 항목과 1개의 학기말 메타성찰문을 제출한다; 이후 임상실습생 자격으로 계속 입력해야 합니다. 교수진은 학생들이 P&S에서 학부 의학 교육을 받는 동안 추가적인 자발적인 참가를 제출하도록 장려한다.
Because the purpose of the portfolio is to learn reflection through writing, as opposed to the goal of demonstrating reflection in writing, entries are mostly in-class, unedited narrative medicine exercises. Additional writing prompts are diverse, ranging from reflections written after the students first meet their cadavers to considerations of their early clinical experiences. Students upload their portfolio writing entries to a university portfolio website. Students submit at least six writing entries and one end-of-semester meta-reflection during each of three preclinical semesters; entries continue during subsequent clinical clerkships. Faculty encourage students to submit additional voluntary entries throughout their undergraduate medical education at P&S. 

[교실에서 연습할 때 사용되는 서사적 의학 방법]은 다른 곳에서 잘 설명되었다. 간단히 말해, [서사 의학 전통을 훈련]받은 FCM [교수진-멘토]들이 이끄는 [12~14명의 학생들]로 구성된 [소규모 그룹]이 복잡한 문학 텍스트에 대한 [긴밀한 독서와 토론]에 함께 참여한다. 교수진은 진행 중인 과정 주제(예: 임상적 만남에서 여러 관점에 대한 인식)와 암묵적으로 일치하기 위해 학생들의 의대 경험의 아크arc와 유사한 서사적 텍스트를 선택한다. 단, 교직원은 학생들에게 [커리큘럼 및 주제 관련성을 설명하지 않는다];  오히려, 학생들은 [텍스트에 대한 그들만의 관찰과 해석]을 하고, 그들이 [알아차린 것을 명확하게 하고 해석하는 연습]을 하도록 장려된다.

The narrative medicine method used during in-class exercises has been well described elsewhere.18,21 Briefly, small groups of 12 to 14 students, led by FCM faculty–mentors who are trained in the narrative medicine tradition, engage together in close reading and discussion of complex literary texts.3 Faculty select the narrative texts, which parallel the arc of students’ medical school experiences, for their implicit congruence with the ongoing course themes (e.g., awareness of multiple perspectives in a clinical encounter). However, faculty do not explicate the curricular and thematic connections for students; rather, students are encouraged to make their own observations and interpretations of the text, and to practice articulating and interpreting what they notice.

학생들의 관찰력과 서술력을 높이기 위해, 소그룹 토론은 [형태, 시간, 은유, 분위기]와 같은 장치에 초점을 맞춘다. 이 토론에 이어, 학생들은 그들 자신의 [창의적이고 독특한 성찰을 장려]하기 위해 고안된 [개방형 프롬프트에 대한 개별 응답]을 작성한다. 마지막으로, [글을 쓴 후]에, 학생들은 그들의 [작품을 서로 공유]할 기회를 갖는다. 예를 들어 윌리엄 카를로스 윌리엄스의 짧은 시 '아티스트'(부록 1 참조)에 초점을 맞춘 세션에서 학생들은 등장인물들의 관계와 설정에 대한 질문을 곰곰이 생각하고 토론한다. 그 시에 나오는 사람들은 누구인가요? 그들은 서로에게 누구인가? 내레이터는 누구입니까? 무슨 일이야? 분위기가 어때요? 다음으로, 그들은 ["예상치 못한 아름다움의 순간에 대해 써라"라는 메시지에 대답]한다. 10분 이내로 글을 쓴 후, 학생들은 그들이 쓴 것을 짝을 지어 읽거나 더 큰 그룹과 함께 읽도록 하고, 공유된 글에 응답한다. 모범적인 학생 포트폴리오 응답은 부록 1을 참조하십시오.

To heighten students’ observational and descriptive capacities, small-group discussions focus on such devices as form, time, metaphor, and mood. Following this discussion, students write individual responses to open-ended prompts designed to encourage their own creative, unique reflections. Finally, after writing, students have the opportunity to share their work with one another. For example, during a session focused on “The Artist,”22 a short poem by William Carlos Williams (see Appendix 1), students ponder and discuss questions about the relationships of the characters and the setting. Who are the people in the poem? Who are they to one another? Who is the narrator? What is going on? What is the mood? Next, they respond to the prompt “Write about a moment of unexpected beauty.” After writing for no more than 10 minutes, students are invited to read what they wrote, either in pairs or with the larger group, and respond to the shared writing. See Appendix 1 for an exemplar student portfolio response.

학생들은 매 학기마다 [1~2개의 서사 의학 항목]과 [시그니처 리플렉션]을 교수진(멘토 또는 멘토)에게 제출해야 하지만, 학생이 FCM 교수진을 초청하지 않는 [한 대부분의 항목은 비공개]로 유지된다. 멘토 피드백은 평가적이지 않고, 대신 학생들이 배우고 있는 것을 모델링하는 관찰과 설명의 유사한 면밀한 읽기 방법에 의존한다. (이러한 방법은 다른 곳에서 자세히 설명합니다.) FCM 교수진-멘토들은 1학년 학생들의 남은 의과대학 기간 동안 동행하며, 그들의 서면 피드백은 매 학기 개별 멘토링 회의의 기초를 제공한다.
Students must submit 1 to 2 narrative medicine entries and their Signature Reflection to their faculty–mentor each semester; however, most entries remain private unless a student invites the FCM faculty–mentor to provide commentary. Mentor feedback is not evaluative but instead relies on similar close reading methods of observation and description that model what the students are learning. (These methods are described in detail elsewhere.3) FCM faculty–mentors accompany their first-year students through their remaining years of medical school, and their written feedback provides the basis for individual mentoring meetings each semester.

시그니처 리플렉션
Signature Reflections

P&S 포트폴리오의 중요하고 혁신적인 구성 요소 중 하나는 [시그니처 리플렉션]입니다. 매 학기가 끝날 때마다 학생들은 20분간의 강의실 시간을 갖고, 포트폴리오 전체 항목을 읽는다. 그리고 나서, 그들은 그들 자신의 이전 글들에 면밀한 관찰과 묘사의 동일한 서술적 의학 도구들을 적용하도록 격려하는 프롬프트에 대한 응답으로 '시그니처 리플렉션'을 쓰는데 10분에서 15분을 보낸다. 이러한 방식으로, [시그니처 리플렉션]은 학생들이 [자기 인식을 위한 노력의 증거]를 찾기 위해, [자신의 글을 조사]하고, [의대에서 경험한 것에 대한 가설]을 세우고, [자신에 대해 알아차리는 것에 대한 결론을 도출]할 수 있는 기회를 제공한다. 이 연습은 학생들이 [그들이 쓴 것을 돌아봄]으로써 그들 자신에 대한 더 큰 이해를 얻을 수 있는 메커니즘을 제공한다.
One important and innovative component of the P&S portfolio is the Signature Reflection. At the end of each semester, students have 20 minutes of classroom time to read their entire collection of portfolio entries. Then, they spend 10 to 15 minutes writing a Signature Reflection in response to a prompt that encourages them to apply the same narrative medicine tools of close observation and description to their own previous writings. In this way, the Signature Reflection provides an opportunity for students to plumb their own writing for evidence of their efforts at self-recognition, to frame hypotheses about what they have experienced in medical school, and to draw conclusions about what they notice about themselves. This exercise offers a mechanism by which students may gain a greater understanding of themselves by looking back at what they have written.

학생 글쓰기 분석
Analysis of Student Writing

2015년 1월, 우리는 P&S 포트폴리오가 학생들의 [성찰 능력]과 [전인적 전문직 정체성의 구성]에 미치는 영향을 이해하기 위해 시그니처 리플렉션을 분석했다.
In January 2015, we analyzed Signature Reflections to understand the effect of the P&S portfolio on students’ reflective capacity and on their construction of a holistic professional identity.

샘플
Sample

이러한 1학기 시그니처 리플렉션에 사용된 글쓰기 프롬프트는 "자신이 상상하는 의사에 대해 쓰라; 자신의 글에서 자신에 대해 무엇을 알아차렸는가?"였다 160명의 1학년 학생들 중 4명의 학생들이 본 연구에 참여하지 않기로 결정하였고 24명의 Signature Reflections는 기술적인 문제로 포트폴리오 웹사이트를 통해 접근할 수 없었다. 나머지 132명 중 97명(73%)은 '글에서 자신에 대해 무엇을 알아차렸는가'라는 안내문 2절에 구체적으로 응답했다. 구체적으로, 자신의 글을 읽음으로써 ['시간이 지남에 따라 자신의 정체성이 변화했는지(그리고 그렇다면 어떻게 변화했는지)'를 어떻게 인식했는지] 대한 학생들의 인상을 포착하기 위해, 우리는 리뷰를 이러한 97개의 시그니처 리플렉션으로 제한했다. 이전에 Signature Reflection이 분석된 모든 학생들은 교직원들이 그들의 정체불명의 글을 읽도록 하는 것에 동의했다. 이 프로젝트에 대한 윤리적 승인은 컬럼비아 대학교의 기관 검토 위원회에 의해 승인되었다.  
The writing prompt used for these first-semester Signature Reflections was, “Write about the doctor you imagine yourself becoming; what did you notice about yourself in your writing?” Of the class of 160 first-year students, 4 students opted not to participate in this research and 24 Signature Reflections were not accessible through the portfolio website because of technical issues. Of the remaining 132 students, 97 (73%) specifically responded to the second clause of the prompt, “What did you notice about yourself in your writing?” To capture students’ impressions of, specifically, how they perceived, through reading their own writing, whether their own identities had changed over time (and if so, how), we limited our review to these 97 Signature Reflections. All students whose Signature Reflection was analyzed previously agreed to let faculty read their deidentified writings. Ethical approval for this project was granted by the institutional review board of Columbia University.

분석과정
Process of analysis

분석을 시작하기 위해 17명의 FCM 멘토가 [60개의 식별되지 않은 시그니처 리플렉션 샘플]을 검토하고 그룹별로 공통 단어와 개념을 식별했다. 6명의 연구자로 구성된 소규모 그룹은 이러한 개념을 서술 의학, 성찰적 글쓰기, 전문적 정체성 형성 문헌의 맥락 안에 두었다. 이러한 일반적인 단어와 개념은 초기 코드북의 기초를 형성했으며 포트폴리오, 특히 시그니처 리플렉션이 학생들의 성찰적 역량과 전문적 정체성 구축에 어떻게 기여했는지에 대한 새로운 개념적 표현을 구성할 수 있게 했다. 그런 다음 [나머지 37개의 시그니처 리플렉션]에 대한 코드북의 코드를 지속적으로 적용하고 검토했으며, 지속적인 비교 방법을 사용하여 코드과 코드북을 반복적으로 수정했다.23 팀이 최종 코드북에 합의했을 때, 우리 중 두 명(B.K., L.F.)은 Dedoose 소프트웨어를 사용하여 97개의 Signature Reflection 문서에 코드의 수정된 버전을 적용했습니다. 6명으로 구성된 이 팀은 매주 만나 최종 코딩에 대해 논의하고 발생하는 모든 질문을 해결했습니다. 97개의 모든 시그니처 리플렉션에 코드를 적용한 후에는 코드화된 데이터를 조사하여 새로운 패턴과 두드러진 테마를 식별한 다음 포트폴리오의 기여도에 대한 새로운 이해를 바탕으로 초기 개념 표현을 수정했다.
To initiate the analysis, 17 FCM mentors reviewed a sample of 60 deidentified Signature Reflections and, as a group, identified common words and concepts. A smaller group of 6 researchers placed these concepts within the context of the narrative medicine, reflective writing, and professional identity formation literatures. These common words and concepts formed the basis of our early code book and allowed us to construct an emergent conceptual representation of how the portfolio in general, and the Signature Reflections in particular, contributed to students’ reflective capacity and professional identity construction. We then continued to apply and review codes from the code book for the remaining 37 Signature Reflections, iteratively revising the codes and code book employing the constant comparison method.23 When the team reached agreement on a final code book, two of us (B.K., L.F.) applied revised versions of the codes to all 97 Signature Reflection documents using Dedoose software (SocioCultural Research Consultants, University of California, Los Angeles, with the William T. Grant Foundation). The six-person team met weekly to continue to discuss the final coding and to address any questions that arose. Once we had applied codes to all 97 Signature Reflections, we examined the coded data to identify emergent patterns and salient themes, and then we revised our initial conceptual representation based on our emergent understanding of the contributions of the portfolio.

시그니처 리플렉션 테마
Signature Reflection Themes

학생들이 Signature Reflections에서 설명한 것처럼 P&S 포트폴리오에 대한 반복 분석을 통해 우리는 두 가지 중요한 주제를 발견했다: 인정과 투쟁. 우리는 아래에서 이러한 주요 테마와 6개의 하위 테마를 설명하고, 각각 학생의 시그니처 리플렉션의 예시적인 인용문으로 설명합니다.
Through our iterative analysis of the P&S portfolio, as described by students in their Signature Reflections, we detected two overarching themes: Recognition and Grappling. We describe these main themes and their six subthemes—and illustrate each with exemplary quotations from students’ Signature Reflections—below.

인식
Recognition

서사의학 기법은 [자신과 다른 사람들의 이야기]에 대한 세심한 주의를 촉구하기 위해 고안되었으며, 실제로 이것은 우리 학생들의 글에서 명백했다. 우리는 학생들이 [[자신의 특성]과 [환자의 관점]에 대한 높은 인식]을 설명하기 위해 "인식"을 선택했다. 인식의 두 가지 하위 주제인 [자기 인식]과 [공감]은 학생들의 시그니처 리플렉션에 자주 등장했다.
Narrative medicine techniques are designed to foster close attention to the stories of the self and of others,18 and indeed this was evident in our student writings. We chose “recognition” to describe students’ descriptions of their heightened awareness of their own attributes and of patients’ perspectives. Two subthemes of recognition—self-awareness and empathy—appeared frequently in students’ Signature Reflections.

자각.
Self-awareness.

"당신의 글에서 당신은 당신 자신에 대해 무엇을 알아차렸습니까?"라는 글을 쓰는 프롬프트가 주어졌을 때 학생들이 그들 자신의 특성이 그들의 직업적 정체성 구축에 어떻게 영향을 미칠지에 대해 종종 쓴다는 것은 놀라운 일이 아니었다. 어떤 학생들은 구체적인 성격 특성을 명명하고 그들의 성격이 어떻게 글에 표현되는지 관찰한 반면, 다른 학생들은 포트폴리오가 어떻게 그들의 자아 인식을 향상시켰는지에 대해 언급했다. 이를 설명하기 위해 한 학생은 다음과 같이 썼다:
Given the writing prompt, “What did you notice about yourself in your writing?” it was not surprising that students often wrote about how their own attributes would influence their professional identity construction. Whereas some students named specific personality traits and observed how their personality was represented in their writing, others commented on how the portfolio enhanced their awareness of self. To illustrate, one student wrote:

학기 내내, 이전의 글들을 통해 보았듯이, 나는 정말로 의사가 되고 싶은 나 자신의 감정과 동기를 이해하려고 노력했고, 내 인생에서 나를 이 지경까지 이끈 모든 삶의 경험들과 사람들에 대해 반성했다.
Throughout the semester, as I saw through my previous writings, I really tried to get in touch with my own feelings and motives for wanting to become a doctor and reflected on all the life experiences and people that have led me to this point in my life.

공감.
Empathy.

학생들은 종종 [공감적인, 초기 의대생의 자아]를 인식했고, 이러한 인식이 시그니처 리플렉션의 가치 있는 배당금이라고 보고했다. 이를 설명하기 위해 한 학생은 다음과 같이 썼다:
Students frequently recognized their empathic, early-medical-school selves and reported this awareness to be a valuable dividend of the Signature Reflection. To illustrate, one student wrote:

하지만 이번 학기 포트폴리오를 읽으며 환자들과 공감하고 적절한 관심을 줄 수 있는 능력을 잃지 않을 것이라는 희망을 갖게 되었습니다. 첫 학기 동안 저는 환자들을 위해 작은 관대한 행동을 하는 것이 매우 의미가 있다는 것을 배웠습니다.
However, reading my portfolio entries from this past semester has given me some hope that I won’t lose the ability to empathize with patients and give them proper attention. During both of my [first semester] clerkships I learned that going out of my way to perform small acts of generosity for patients can be very meaningful.

학생 시그니처 리플렉션은 [다양한 관점에 대한 인식]을 보여주고 [환자의 이야기를 전달함]으로써 공감을 표현했다. 다른 학생은 다음과 같이 말했다: 
Student Signature Reflections expressed empathy by showing an awareness of multiple perspectives and by relaying patient stories. Another student commented:

의학 교육 과정에서 이러한 것들을 잊는 것은 매우 쉬울 수 있지만, 제가 쓴 글을 돌아보면…. 나는 아직도 '환자'를 [의학적 '문제']라기보다는 [사람, 독특하고 중요하고 가치 있는 이야기와 관점, 삶의 경험을 가진 개인]으로 우선시하고 있다는 사실에 안심이 된다
In the course of medical training, it can be very easy to forget these things—but looking back on my writing.… I am reassured by the fact that I still view “patients” first as people, as individuals with unique, important and worthwhile stories, perspectives, and life experiences, rather than as medical “problems.”

이 학생의 의견은 시그니처 리플렉션이 지원하는 종적 관점의 중요성과 가치를 강조했다. 이 연습에 참여하면서 학생은 "잊기가 매우 쉬울 수 있다"는 것을 깨달았다.
This student’s comment highlighted the importance and value of the longitudinal perspective supported by the Signature Reflections; in participating in this exercise, the student realized that “it can be very easy to forget.”

그래플링
Grappling

또 다른 흥미롭지만 놀랍지 않은 주제는 학생들이 시간이 지남에 따라 [변화와 불확실성에 대해 논평하는 것]과 관련이 있었다. 우리는 이전 포트폴리오 항목의 내용에서 마주친 변화나 놀라움으로 학생들의 레슬링에 대한 설명을 포착하기 위해 "드잡이Grappling"을 가장 적합한 용어로 선택했다. 그래플링은 다음의 경우에 명백했다.

  • (1) 학생들이 그들 내부의 변화에 대해 토론할 때, 
  • (2) 감정적 거리와 연민의 균형을 맞추는 것에 대한 그들의 걱정에서, 
  • (3) 그들이 질문을 하거나 경이로움을 나타낼 때, 또는 
  • (4) 그들이 불안감을 표현했을 때. 

이러한 의견은 시그니처 리플렉션을 작성하는 활동이 반사 능력을 촉진하는 메커니즘을 설명하는 것처럼 보였다.
Another intriguing, but not surprising, theme pertained to students commenting on change and uncertainty over time. We chose “grappling” as the most fitting term to capture students’ descriptions of their wrestling with changes or surprises they encountered in the content of their earlier portfolio entries. Grappling was evident

  • (1) when students discussed the changes within themselves,
  • (2) in their worries about balancing emotional distance with compassion,
  • (3) when they asked questions or exhibited wonder, or
  • (4) when they expressed anxiety.

These comments appeared to elucidate a mechanism by which the activity of writing a Signature Reflection both fostered—and was fostered by—reflective capacity.

내부 변화.
Internal change.

많은 학생들이 1학기 포트폴리오 글을 통해 [관찰한 관점의 변화]에 대해 글을 썼다. 위에서 인용한 세 학생과 같은 많은 학생들이 긍정적인 교훈을 얻었다고 생각하는 변화에 주목한 반면, 다른 학생들은 부정적인 것으로 인식하는 변화에 직면했다. 학생들은 자신감, 공감, 기술의 변화에 주목했다. 한 사람은 다음과 같이 말했다:
Many students wrote about the changes in their perspectives that they observed through their first-semester portfolio writings. Whereas many students, such as the three whose quotes appear above, noted changes that they considered positive lessons learned, others confronted changes that they perceived as negative. Students noted changes in their confidence, empathy, and skills. One commented:

지난 학기에 내가 쓴 글을 돌아보면 하나의 주제가 떠오른다. 그것은 불편하거나, 다르고, 혼란스럽거나, 불확실한 느낌을 받는 것 중 하나이다. 그것은 그 불편함, 다른 것, 혼란 또는 불확실성에서 이해를 향해 나아가기 위해 노력하는 것 중 하나이다.
Looking back over what I wrote this past semester, a theme emerges. It’s one of being okay with feeling uncomfortable, different, confused, or uncertain. It’s one of striving to move from that discomfort, otherness, confusion, or uncertainty towards an understanding.

또 다른 사람은 다음과 같이 썼다:
Another wrote:

저는 제가 쓴 글의 어둠에 호기심이 있습니다. 왜냐하면 저는 제 자신을 꽤 긍정적인 사람으로 보고 있기 때문입니다. 그리고 저는 여전히 콜롬비아 의과대학과 같은 기관에 있는 것에 대해 대단히 감사하게 생각합니다. 제 첫 작품에 담긴 [설렘과 긍정적인 전망이 이렇게 많이 사라졌다는 사실]에 놀랐다. 나는 학교를 다니고 새로운 곳에 자신을 통합하는 것은 힘든 일이고 약간 우울해지기 쉽다고 생각한다.
I’m rather intrigued about the darkness of my writing because I see myself as a fairly positive person, and I still feel immensely grateful to be at an institution like Columbia for medical school. I was surprised that the excitement and positive outlook contained in that first piece has worn off to such a large extent. I guess school and integrating yourself into a new place is a lot of hard work and it’s easy to get a little down.

실제로 위의 학생들은 'emerging theme'를 파악했을 뿐만 아니라, 이에 대한 놀라움과 불편함을 표현했다. 이러한 놀라움과 그에 따른 명백한 불편함은 이 메타 반사 연습에 의해 독특하게 촉진될 수 있다. 
Indeed, the students above not only identified an “emerging theme” but also expressed surprise and discomfort in doing so. This surprise, and the evident discomfort that ensued, may be uniquely facilitated by this meta-reflection exercise.

이분법: 감정적 거리와 동정심의 균형을 맞추는 것.
Dichotomies: Balancing emotional distance and compassion.

학생들은 시그니처 리플렉션을 쓰는 것이 어떻게 그들이 갈등이나 "이분법"을 인지할 수 있게 해주는지를 표현했다. – [문화에 동화되거나 전문가가 되는 것]과 [자기를 유지하는 것] 사이, [건강한 감정적 거리를 유지하는 것]과 [동정심을 보이는 것] 사이. 한 학생은 이러한 인식을 "장벽"을 지나치는 것으로 설명했다: 
Students expressed how the act of writing the Signature Reflection allowed them to perceive conflicts or “dichotomies”—between acculturating or becoming a professional and maintaining self; between maintaining a healthy emotional distance and showing compassion. One student described this awareness as seeing past “the barrier”:

하지만, 제가 쓴 글에서 장벽을 무너뜨린 순간들이 있었습니다. 그리고 [이] 나온 것은 본질적으로 불협화음인 이분법이었습니다. 내가 잠재적으로 배울 것들에 대한 흥분이지만, 내가 더 이상 관계를 맺지 못할 것들에 대한 두려움(내가 배울 것들 때문에).…
Yet, there were moments in my writings where I brought down the barrier and [what] came out was a dichotomy, dissonant in nature. Excitement about the things I would potentially learn, but fear for the things I could no longer relate to (due to the things I will learn).…

또 다른 학생은 그녀가 지식 습득에 초점을 맞춘 것과 대조적으로 그녀의 초기 이상주의를 설명했다:
Another student described her initial idealism in contrast to her focus on knowledge acquisition:

그녀를 데려온 날들을 묘사해야 했던 우리의 [첫 번째 글쓰기 과제]는 [내가 의대에 있는 최종 목표(사람들을 돕는 것)]을 [어떻게 종종 잊게 되는지] 생각하게 만들었다. 나는 하얀 코트 의식의 흥분이 내 혈관을 타고 흐르고 난 후에 그것을 썼다. 학기가 계속 진행되면서 나는 때때로 생화학 교과서의 페이지들에 대한 감정을 잊곤 한다는 것을 알아차렸다. 그것은 실제로 환자들을 돕는 것과는 거의 관련이 없는 것처럼 보였다.

Our very first writing assignment where we had to describe the days that brought us her[e] made me think about how I would often forget about the end goal of being in medical school—to help people. I wrote it after the hyper of the white coat ceremony was coursing through my veins. As the semester progressed onwards I noticed that sometimes I would forget that sentiment to the pages of biochemistry textbooks that seemed to have little connection to actually helping patients.

학생들은 그들이 [어떻게 변화하고 있는지 혹은 어떻게 변화가 불가피할 것이라고 예측하는지]를 인식하면서 [두려움과 흥분]을 모두 묘사했다. 또한, 후자의 인용문에서 제시된 바와 같이, 우리는 포트폴리오 항목을 검토하는 행위가 일상생활에 너무 깊이 짜여져 일상생활에서 감지할 수 없는 갈등과 경쟁적 요구에 대한 학생들의 인식을 뒷받침했을 수 있다고 제안한다.
Students described both fear and excitement as they recognized how they were changing or how they predicted that change would be inevitable. Furthermore, as suggested by the latter quote, we propose that the act of reviewing their portfolio entries may have supported students’ recognition of conflicts and competing demands that were so deeply woven into their daily lives as to be undetectable day-to-day.

궁금증과 의문.
Wonder and questioning.

학생들은 종종 [어려운 질문들을 조사]하고, 그들의 [과거에 대해 궁금해]하고, [미래에 자신을 투영]하기 위해 시그니처 리플렉션 연습을 사용했다. 이러한 시그니처 리플렉션은 호기심, 상상력, 그리고 시간의 앞뒤로 자신의 위치를 바꿔놓았다. 예를 들어, 한 학생은 다음과 같이 생각했습니다:
Students often used the Signature Reflection exercise to examine thorny questions, to wonder about their past selves, and to project themselves into the future. These Signature Reflections relayed curiosity, imagination, and the repositioning of self back and forth in time. For example, one student pondered:

나의 오래된 글을 되돌아보고 시간의 거리를 두고 보는 것은 정말 흥미롭다… 나는 비록 내가 더 이상 그 사람이 아니더라도 그 글을 쓴 사람을 좋아한다. 그 여자가 어떤 의사가 될 지는 잘 모르겠어요, 왜냐하면 저는 이미 그 여자에게서 어느 정도의 해리를 느끼고 있기 때문인 것 같아요. 나는 그녀가 훌륭한 의사였을 것이라고 생각한다: 약간 순진하지만, 믿을 수 없을 정도로 낙관적이다. 걱정하는. 배려하는. 희망적이다.
It’s really interesting to look back on my old writing and see it with the distance of time … I like the person who did the writing, even if I’m no longer exactly that person. I am not sure what kind of doctor that woman is going to become, I guess because I already feel a level of dissociation from her. I think she would have been a great doctor: a little naive, but incredibly optimistic. Concerned. Considerate. Hopeful.

다른 고려 사항:
Another considered:

저는 지난 학기부터 제가 쓴 글을 읽으면서 [환자로 하여금 의사들이 원하는 만큼의 정보를 공개하지 못하게 하는 의사소통의 장벽]과 다른 문제들에 특히 주의를 기울였다는 것을 깨달았습니다. 언어와 문화의 차이, 시간의 제약, 신체적, 정서적 불편함 등 말이죠. 그런데도 이 글을 쓰면서 나는 다른 의사들을 미행하거나 내가 직접 인터뷰를 진행하면서 목격한 '불완전한' 의사소통에 대한 나의 집착이 궁금해진다. 나는 또한 왜 "완벽한" 의사소통은 친밀하든 그렇지 않든 간에 항상 정보를 드러내는 것에 대한 완전한 공개와 완전한 편안함을 수반한다고 생각하는지 궁금하다.
I’ve come to recognize in reading my writing from the past semester that I’ve been particularly attentive to communication barriers and other issues that prevent patients from disclosing as much information as clinicians might hope: language and cultural differences, time constraints, and physical and emotional discomfort, among many others. And yet, as I write this, I wonder about my fixation on the “imperfect” communication I have witnessed while shadowing other doctors or conducting my own interviews. I wonder, too, why I seem to think that “perfect” communication always involves full disclosure and complete comfort with revealing information, whether intimate or not.

일부는 Signature Reflection을 ["시간의 거리를 두고" 볼 수 있는 가치 있는 특성을 기록하고 문서화하기 위한 시금석]으로 사용했습니다. 바로 위의 인용문의 저자처럼, 학생들에게, [자신을 관찰하고 트렌드를 인식하는 행위]는 그들이 가지고 있는 가정, 그들의 가치, 그들의 직업적인 목표, 그리고 심지어 의학의 실천에 대한 의문으로 이어졌다.
Some used the Signature Reflection as a touchstone to note and document valued characteristics that they were able to see “with the distance of time.” For other students, such as the author of the quotation immediately above, the act of observing themselves and recognizing trends led to questioning the assumptions they held about themselves, their values, their professional goals, and even the practice of medicine.

불안.
Anxiety.

학생들은 자신의 글에서 [불안감]을 자주 관찰했고, 의학교육의 무수한 요구로 인한 '불확실성', '가짜', '답답함' 등에 대해 언급하기도 했다. 이를 설명하기 위해 한 학생은 다음과 같이 썼다: 
Students frequently observed anxiety in their own writing, often commenting on the “uncertainty,” “faking,” and “frustration” caused by the myriad demands of medical education. To illustrate, one student wrote:

이번 학기 내 글에서 반복되는 주제는 불안이었다. 나는 디즈니랜드의 문을 뛰어다니는 아이처럼 의대에 입학했다. 5개월 후, 그 흥분은 불확실성, 불안, 그리고 두 번째 추측의 홍수로 압도되었다. 
A recurring theme in my writing this semester has been anxiety. I entered medical school like a kid running through the gates of Disneyland. Five months later, that excitement has been overwhelmed by a flood of uncertainty, insecurity, and second-guessing.

또 다른 의견은 다음과 같다: 
Another commented:

제가 "아웃사이더가 되어라"에 대한 제 글을 읽을 때, 저는 여전히 제가 흰 코트를 입을 때마다 속이는 것처럼 얼마나 많이 느끼는지 생각해요. 내가 아는 것보다 아는 것이 더 많은 척을 하고 있다는 것. 나는 일상 생활에서 많은 경우에, "당신이 해낼 때까지 그것을 속일 수 있다"는 것을 알고 있다. 하지만 내가 의사가 되기 위한 훈련에서는, 위험이 더 큰 것 같다.
When I read my piece on “Being an outsider,” it strikes me how very much I still feel like I’m faking every time I put my white coat on. That I am pretending that I know so much more than I do. I know that in many instances in day-to-day living, one can “fake it till you make it.” But in my training to be a doctor, it seems like the stakes are higher.

하지만 한 학생이 더 관찰했습니다:
Yet one more student observed:

그러나 내가 알아차린 것은 단절이다. 나는 연결과 느낌 그리고 배려에 대해 쓰지만, 나의 일상적인 활동은 관련이 없다. 나는 매일 대부분의 시간을 의료행위를 할 수 있는 사실fact들을 연구하는데 보낸다. 물론 그것은 필요하지만, 나는 여전히 궁금하다: 우리는 정말 오랜 추적 동안 그것들을 무시함으로써 우리의 목표를 진전시키는가? 나는 시간을 생산적으로 사용하지 못하면 괴로워한다. 기차에 앉아 있는 5분도 책을 읽고, 공부하고, 의사소통하는 등 생산적이어야 한다. 하지만 인내심 있는 학생이 될 수 없는데 어떻게 인내심 있는 의사가 될 수 있을까요? 
What I notice however, is a disconnect. I write about connecting and feeling and caring, but my daily activities are unrelated. I spend most of each day studying the facts that allow one to practice medicine. It is necessary of course, but I still wonder: Do we really further our goals by ignoring them during the lengthy pursuit? I get frustrated easily when I don’t use my time well. Even five minutes of sitting on a train has to be productive—reading, studying, communicating. Yet how will I be a patient doctor when I can’t be a patient student?


학생들은 자신의 성찰을 검토하면서 [직업적 목표, 가족, 친구, 개인적 행복과 같은 여러 요소와 증가하는 교육적 요구의 균형을 맞추는 것]에 대해 언급하면서 일상생활에서 얼마나 어려움을 겪고 있는지에 주목했다. 이러한 학생들에게, 시그니처 리플렉션은 이전에 그들 자신이나 그들의 멘토에 의해 주목받지 못했거나 검토되지 않은 그들 내부의 불안이나 불안에 대한 인식으로 표면화되었을 수 있다.
In reviewing their reflections, students noted the extent to which they were grappling within their everyday lives, as they commented on balancing multiple factors such as professional goals, family, friends, and personal well-being with increased educational demands. For these students, the Signature Reflection may have surfaced a recognition of a disquiet or angst within themselves that lay previously unnoticed or unexamined either by themselves or their mentors.

논의
Discussion

[주기적인 메타 성찰(Signature Reflection과 같은)로 보강된 필수적인 종단적 서사적 포트폴리오]는 학생들에게 인식과 그래플링에 형태를 부여할 수 있는 연습과 공간을 제공한다. 시간적 거리를 둔 상태에서, 학생들은 그들의 과거에 대한 반성을 할 수 있다; 그들은 그들의 성장과 변화를 감시하고 고려할 기회를 가진다. 이러한 성찰적 과정은 일부에게는 잠재적으로 불편하지만 궁극적으로 전체적인 직업적 정체성의 구축을 촉진할 수 있다. 한 학생이 이 아이디어를 잘 포착했습니다: "제가 쓴 것을 돌이켜보면… 주제가 하나 나타납니다…. 그것은 그 불편함, 타자성, 혼란, 불확실성에서 이해를 향해 나아가기 위해 노력하는 것 중 하나이다"
A required, longitudinal narrative portfolio, augmented by periodic meta-reflection (such as our Signature Reflection), offers students the practice and space to give form to recognition and grappling. With the distance of time, students are able to reflect on their past reflections; they have the opportunity to monitor and consider their growth and change. This reflective process, though potentially uncomfortable for some, may ultimately foster the construction of a holistic professional identity. One student captures the idea well: “Looking back over what I wrote …, a theme emerges.… It’s one of striving to move from that discomfort, otherness, confusion, or uncertainty towards an understanding.”

이러한 시그니처 리플렉션에서 표현된 [인식과 고심recognition and grappling]은 놀라운 일이 아닙니다. 실제로, 다른 사람들은 창의적인 글쓰기가 어떻게 [자기 인식과 공감의 발달]을 지원하는지 우아하게 묘사했다. 게다가, 불확실성과 갈등과 같은 의대생의 직업 정체성과 관련된 주제들은 1950년대 초에 르네 폭스에 의해 주목되었다. 그 이후로 교육자들은 의대생들의 정체성, 가치, 신념 통합의 중요한 조절자와 같은 주제들을 계속해서 확인해 왔다. 우리의 연구 결과는 우리의 [서사적 포트폴리오와 시그니처 리플렉션]이 학생들이 이전에 다른 연구자들이 보고한 [변화하는 정체성, 갈등 및 불확실성]에 대한 주제를 스스로 [발견하고, 해결하고, 인식할 수 있도록 함]으로써 이러한 중요한 주제를 보완하고 확장한다. 다른 사람들이 학생들의 전문적 정체성 구축 경험을 포착하기 위해 녹음된 받아쓰기와 인터뷰를 사용한 반면, 우리는 대신 학생들이 직접 만든 해석에 의존해왔다. 게다가, 우리는 우리의 메타 반사 운동이 특히 강력한 방식으로 이 과정을 촉진한다고 믿는다: 학생들이 자신의 [시그니처 리플렉션을 쓰는 것]은 [자신이 누구인지, 그리고 자신이 누구가 되고 있는지에 대한 인식]을 [표면화하고 영구적인 형태로 포착]할 수 있게 해준다. 이러한 신체적 표현은 그들의 현재와 미래의 자아, 그들의 동료와 교수진-멘토, 그리고 더 광범위한 의학 교육 공동체에 의해 검토될 수 있다. 따라서, 시그니처 리플렉션 자체는 성찰적 글쓰기에 관한 학술 문헌에 기여한다.
The recognition and grappling expressed in these Signature Reflections are not surprising. Indeed, others have elegantly described how creative writing supports the development of self-awareness and empathy.6,24–26 Furthermore, themes related to medical student professional identity, such as uncertainty and conflict, were noted by Renée Fox27 as early as the 1950s. Since that time, educators have continued to identify such themes as important modulators of medical students’ integration of their identities, values, and beliefs.10,15,28 Our findings complement and extend these important themes by suggesting that our narrative portfolio and Signature Reflection allow students to discover, grapple with, and recognize for themselves the themes of changing identity, conflict, and uncertainty that other researchers have previously reported. Whereas others have used audiotaped dictations and interviews to capture students’ experience of professional identity construction,29–31 we have relied instead on interpretations created by students themselves. Moreover, we believe that our meta-reflective exercise promotes this process in a particularly powerful way: The students’ writing of their Signature Reflection allows their perceptions of who they are and who they are becoming to surface and be captured in permanent form. This physical representation can be examined by their present and future selves, their peers and faculty–mentors, and the broader medical education community. Thus, the Signature Reflections themselves contribute to the scholarly literature on reflective writing.

P&S 포트폴리오는 다음과 같은 서술적 의학 과정을 통해 [인식과 그래플링이 일어날 수 있는 성찰 공간]을 만들었다: 

  • 호기심을 유발하는 서사적 텍스트의 면밀한 읽기;
  • 개별 프로세스를 준수하는 프롬프트를 사용한 개방형 쓰기; 그리고 
  • 학생들이 그들의 직업적 정체성을 인식하고, 형태를 부여하고, 구성에 참여하는 것을 돕는 메타 성찰. 

이 과정을 통해 FCM 교수진은 질문을 하고 형태를 갖추기 위해 참석함으로써 지원적이고 비판단적인 멘토링을 제공한다. 자유로운 개인 맞춤형 질문은 학생들의 반응을 촉진하고 갈등, 질문, 불확실성을 표현하고 토론할 수 있는 장을 제공한다. 우리는 서사 의학 포트폴리오 커리큘럼의 캡스톤 과제인 시그니처 리플렉션이 의대 과정에서 전개되면서 학생들이 불확실성과 씨름하도록 장려하는 모델 역할을 한다고 믿는다.
The P&S portfolio created a reflective space wherein recognition and grappling could occur through the following narrative medicine processes:

  • close reading of narrative texts that encourage curiosity;
  • open-ended writing using prompts that honor individual processes; and
  • meta-reflection that helps students notice, give form to, and engage in the construction of their professional identity.

Throughout this process, FCM faculty provide supportive, nonjudgmental mentoring by asking questions and attending to form. The open-ended, personalized questions foster responses from students and provide a forum for expressing and discussing conflicts, questions, and uncertainties. We believe that the capstone assignment of our narrative medicine portfolio curriculum, the Signature Reflection, serves as a model to encourage students to grapple with uncertainty as it unfolds over the course of medical school.

비록 우리의 데이터 소스가 실제 학생들의 글이었지만, 인터뷰나 포커스 그룹을 통해 학생들에게 우리의 발견을 확증하도록 요청하면 신뢰성이 향상될 것이다. 또한 학생의 73%만이 시그니처 리플렉션 프롬프트에 포괄적으로 응답했다. 그 결과, 우리는 (반사 공간의 개방성을 유지하면서) 글쓰기 프롬프트와 지침을 보다 명확하게 만들었다.
Although our data source was actual student writings, asking students via interviews or focus groups to corroborate our findings would enhance trustworthiness. Also, only 73% of students responded comprehensively to the Signature Reflection prompt; as a result, we have made writing prompts and instructions more explicit (while still maintaining the openness of a reflective space).

우리의 목표는 학생들의 평생 성찰 기술을 육성하는 것이지만, 학생들의 1학기 시그니처 리플렉션에 대한 이러한 단면 분석은 학생들의 포트폴리오 참여의 장기적 결과를 평가할 수 없다. 이러한 초기 Signature Reflections로부터 배운 내용에 고무되어, 우리는 이러한 성찰적 과정을 통해 학생들이 얻는 이익이 시간이 지남에 따라 증가할 것으로 기대한다. 우리는 현재 의대 첫 3년 동안의 글쓰기 항목을 포함하도록 분석을 확장하고 있으며, 다음 분석에서는 종적 정체성 구축에 더 중점을 둘 계획이다. 앞으로 P&S 포트폴리오가 멘토링 과정과 의대생들의 공동체 의식에 미치는 영향을 연구하고자 한다.
Although our aim is to foster lifelong reflective skills in our students, this cross-sectional analysis of students’ first-semester Signature Reflections does not enable us to assess the long-term consequences of students’ participation in the portfolio. Encouraged by what we learned from these early Signature Reflections, we expect students’ benefits from this reflective process to increase over time. We are currently extending our analysis forward to include writing entries from the first three years of medical school, and we plan for our next analysis to focus more closely on longitudinal identity construction. Going forward, we hope to study the effect of the P&S Portfolio on the mentoring process and on medical students’ sense of community.

우리는 시그니처 리플렉션에 의해 구체화된 "거울" 연습이 우리 기관을 훨씬 뛰어넘는 유용성을 가지고 있다고 믿는다. 여기에 제시된 [비평가적 성찰적 글쓰기 포트폴리오]와 같은 [성찰적 공간] 내에 둔다면 때, 다른 의학 교육자들도 유사한 [메타 성찰 프로세스]를 채택하여 학생들의 [전인적 직업 정체성 구축]을 장려하고, 학생들로 하여금 [자신이 누구가 되고 있는지]에 대한 [종적 관점]을 제공할 수 있다.
We believe that the “mirror” exercise embodied by the Signature Reflection has utility well beyond our institution. When situated within a reflective space such as the nonevaluative reflective writing portfolio presented here, other medical educators can adopt a similar meta-reflection process to encourage students’ construction of a holistic professional identity and to provide them with a longitudinal perspective on who they are becoming.


 

Acad Med. 2018 Jun;93(6):888-894. doi: 10.1097/ACM.0000000000002102.

Looking Back to Move Forward: First-Year Medical Students' Meta-Reflections on Their Narrative Portfolio Writings

Affiliations collapse

Affiliation

1H. Cunningham is assistant professor of pediatrics, Department of Pediatrics, Columbia University Medical Center, New York, New York; ORCID: http://orcid.org/0000-0003-1686-0497. D. Taylor is associate professor of medicine, Department of Medicine, Columbia University Vagelos College of Physicians and Surgeons, New York, New York; ORCID: https://orcid.org/0000-0002-1999-0388. U.A. Desai is assistant professor of medicine, Center for Family and Community Medicine, Columbia University Medical Center, New York, New York. S.C. Quiah is education, assessment, and evaluation specialist, Center for Education Research and Evaluation, Columbia University Medical Center, New York, New York. B. Kaplan is a second-year medical student, University of North Carolina School of Medicine, Chapel Hill, North Carolina. L. Fei is a second-year medical student, Tulane University School of School, New Orleans, Louisiana. M. Catallozzi is assistant professor of pediatrics and population and family health, Columbia University Medical Center, New York, New York. B. Richards is professor of pediatrics and director of education research and scholarship, University of Utah School of Medicine, Salt Lake City, Utah. D.F. Balmer is associate professor of pediatrics, Department of Pediatrics, Perelman School of Medicine, University of Pennsylvania, Philadelphia, Pennsylvania. R. Charon is professor of medicine, Department of Medicine, Columbia University Vagelos College of Physicians and Surgeons, New York, New York; ORCID: http://orcid.org/0000-0002-6003-5219.

PMID: 29261540

PMCID: PMC5976514

DOI: 10.1097/ACM.0000000000002102

Free PMC article

Abstract

The day-to-day rigors of medical education often preclude learners from gaining a longitudinal perspective on who they are becoming. Furthermore, the current focus on competencies, coupled with concerning rates of trainee burnout and a decline in empathy, have fueled the search for pedagogic tools to foster students' reflective capacity. In response, many scholars have looked to the tradition of narrative medicine to foster "reflective spaces" wherein holistic professional identity construction can be supported. This article focuses on the rationale, content, and early analysis of the reflective space created by the narrative medicine-centered portfolio at the Columbia University Vagelos College of Physicians and Surgeons. In January 2015, the authors investigated learning outcomes derived from students' "Signature Reflections," end-of-semester meta-reflections on their previous portfolio work. The authors analyzed the Signature Reflections of 97 (of 132) first-year medical students using a constant comparative process. This iterative approach allowed researchers to identify themes within students' writings and interpret the data. The authors identified two overarching interpretive themes-recognition and grappling-and six subthemes. Recognition included comments about self-awareness and empathy. Grappling encompassed the subthemes of internal change, dichotomies, wonder and questioning, and anxiety. Based on the authors' analyses, the Signature Reflection seems to provide a structured framework that encourages students' reflective capacity and the construction of holistic professional identity. Other medical educators may adopt meta-reflection, within the reflective space of a writing portfolio, to encourage students' acquisition of a longitudinal perspective on who they are becoming and how they are constructing their professional identity.

 

눈치보기: 의학 수련과정에서 과소대표된 여성의 경험(Perspect Med Educ. 2022)
“Walking on eggshells”: experiences of underrepresented women in medical training
Parisa Rezaiefar · Yara Abou-Hamde · Farah Naz · Yasmine S. Alborhamy · Kori A. LaDonna

서론
Introduction

서구 세계에서 의학 분야에서 여성의 대표성이 증가하고 있으며, 경우에 따라서는 동등함에도 불구하고, 여성들은 그들의 경력 향상에 있어 상당한 사회 문화적, 구조적 장애에 계속 직면하고 있다. 여성은 남성에 비해 의료 분야에서 직무 만족도가 낮고, 소진율이 높으며, 임금 불평등을 경험한다[2,3,4]. 전 세계적으로, 여성 의사들은 또한 학문적 경력을 추구하거나, 지도자 자리를 얻거나, 승진할 가능성이 적습니다 [5,6,7,8]. 그러나 불평등은 단일-이슈 현상이 되는 경우가 거의 없다. 증거에 따르면 그러한 도전은 의사 대표가 부족한 여성(UWiM)에게 복합적으로 작용한다. 예를 들어, 2009년과 2018년 사이에 미국 의과대학의 전체 전임 여성 교수진의 비율이 꾸준히 증가했지만, 대표가 부족하다고 간주되는 인종 또는 민족 출신 여성의 비율은 13%로 정체되었다[6].  
Despite growing—and in some cases equal—representation of women in medicine across the Western world [1], women continue to face significant sociocultural and structural impediments to the advancement of their careers. Compared with their male counterparts, women experience lower job satisfaction, higher rates of burnout, and wage inequity in medicine [2,3,4]. Globally, women physicians are also less likely to pursue academic careers, attain leadership positions, or be promoted [5,6,7,8]. Inequity is rarely a single-issue phenomenon, however. Evidence suggests that such challenges are compounded for underrepresented women in medicine (UWiM). For example, although the overall proportion of full-time women faculty in US medical schools has increased steadily between 2009 and 2018, the percentage of women from a race or ethnicity considered to be underrepresented has stagnated at 13% [6].

최근의 형평성, 다양성 및 포용 노력은 부분적으로 의학에서 [과소 표현되는 것이 수반하는 복잡성]에 주의를 기울이지 않기 때문에 이러한 도전을 완화하지 못했다[9]. 예를 들어, "과소대표"의 개념화는 기관마다 매우 다양하다[10].

  • 일부는 URiM을 "일반 인구의 수에 비해 의료 직업에서 과소 대표되는 인종 및 민족 인구"로 개념화하면서 AAMC의 정의를 그대로 채택한다[11].
  • 다른 사람들은 URiM을 "인종, 민족, 사회경제적 지위, 건강 상태 또는 장애와 같은 개인적 특성이 의식적 또는 잠재의식적 편견이나 차별의 위험에 처한 개인"을 포함한다고 해석한다[10].
  • 캐나다 의학부 협회(AFC)는 URiM에 대한 공식적인 정의를 가지고 있지 않다. 그럼에도 불구하고 AFMC 지도부는 프로그램이 원주민, 여성, 장애인 및 가시적 소수자를 포함한 지정 지분 그룹을 어떻게 지원하고 있는지를 측정하는 데 도움이 되는 "캐나다 의대를 위한 형평성 및 다양성 감사 도구"를 개발했다[12].

Recent equity, diversity, and inclusion efforts have not eased these challenges, in part because efforts do not attend to the complexities of what being underrepresented in medicine (URiM) entails [9]. For instance, conceptualizations of “underrepresented” vary widely across institutions [10].

  • Some adopt the Association of American Medical Colleges definition verbatim, conceptualizing URiM as “racial and ethnic populations that are underrepresented in the medical profession relative to their numbers in the general population.” [11].
  • Others interpret URiM to include “individuals whose personal characteristics, such as race, ethnicity, socioeconomic status, health condition, or disability, place them at risk for conscious or subconscious bias or discrimination” [10].
  • In Canada, the Association of Faculties of Medicine of Canada (AFMC) does not have a formal definition of URiM. Nevertheless, AFMC leadership developed “the Equity and Diversity Audit Tool for Canadian Medical Schools” to help programs gauge how they are supporting designated equity groups, including Aboriginal peoples, women, persons with disabilities, and visible minorities [12].

URiM에 대한 [보다 광범위한 정의]는 지금까지 의료 교육 맥락에서 간과되고 충분히 탐구되지 않았던 가시적 및 보이지 않는 마커를 탐색하는 것의 [오랜 복잡성]에 고개를 끄덕인다[13]. 그러나 진정으로 의미가 있기 위해서는, [과소 표현의 정의]가 또한 어떻게 [가시적이고 보이지 않는 과소 표현된 정체성을 여러 개 갖는 것]이 [역사적으로 남성 우위적이고 이성적이며 유럽 중심적인 직업]에서 배우고 일하는 사람들을 위한 [소외를 복합할 수 있는지] 설명해야 한다. 1989년 페미니스트의 비판적 인종 학자인 킴벌레 크렌쇼는 [성별과 인종의 교차]로 인해 [흑인 여성]이 [[백인 여성]과 [흑인 남성]을 더한 것]보다 더 큰 차별을 경험한다는 사실을 설명하기 위해 [교차성]이라는 용어를 도입했다[16]. [젠더, 인종 또는 민족]을 [사회적 및 제도적 권력으로부터 분리]된 [단일monolithic 정체성]으로 접근하는 것은 "굴복이 중첩되는 시스템 내에서 그리고 페미니즘 및 반인종주의의 가장자리"에 위치할 수 있는 사람들을 효과적으로 지원하지 못할 위험이 있다[16]. 
More expansive definitions of URiM nod to the long-recognized complexities of navigating both visible and invisible markers [13], that have, so far, been overlooked and underexplored in the medical education context. However, to be truly meaningful, definitions of underrepresentation must also account for how having multiple visible and invisible underrepresented identities may compound marginalization for those learning and working in a historically male-dominant, heteronormative, and Euro-centric profession [14, 15]. In 1989, Kimberlé Crenshaw, a feminist critical race scholar, introduced the term intersectionality to account for the fact that, because of the intersection of their gender and race, Black women experience greater discrimination than both white women and Black men [16]. Approaching gender, race, or ethnicity as monolithic identities divorced from social and institutional power risks failing to effectively support those who may be located both “within overlapping systems of subordination and at the margins of feminism and antiracism” [16].

그들이 [UWiM이 되는 것의 의미와 영향]을 완전히 이해하지 못하는 한, 기관과 개인 의료 교육자들은 UWiM 교육생들의 개인적이고 전문적인 요구를 지원하기 위해 고군분투할 것이다. 의학 교육 학자들은 뉘앙스를 점점 더 요구하고 있지만, [과소 표현의 복잡성]은 여전히 탐구되지 않고 있다. 지금까지 우리가 아는 것은 [인종차별이나 성차별의 범위]를 정량화하는 데 초점을 맞추고 있다[19, 20]; 그러한 과소표현의 경험이 의사로서의 UWiMs의 인식에 [어떻게] 영향을 미치는지를 설명한 연구는 거의 없다. 이러한 이해에 따라 형평성, 다양성, 포용성 작업이 좌우되기 때문에 여성 교육생들이 의학에서 과소대표 개념을 어떻게 개념화했는지, 그들의 경험이 그들이 구상하는 진로에 어떤 영향을 미쳤는지를 조사하기 위해 정성적 탐구를 진행했다. 
Unless they have a fulsome understanding of the meaning and impact of being UWiM, institutions and individual medical educators will struggle to support the personal and professional needs of UWiM trainees. Medical education scholars are increasingly calling for nuance, yet the complexities of underrepresentation remain underexplored [17, 18]. So far, the little we know focuses on quantifying the scope of racism or sexism [19, 20]; few studies have elucidated how such experiences of underrepresentation influence UWiMs’ perception of themselves as physicians [21,22,23,24]. Since equity, diversity, and inclusion work depends on such an understanding, we conducted a qualitative exploration to investigate how women trainees conceptualized underrepresentation in medicine and how their experiences influenced their envisioned careers.

방법들
Methods

모든 연구 절차는 교육 프로그램과 관련된 두 개의 학술 기관(의전 #H-05-20-5708 및 #M16-20-036)의 기관 연구 윤리 위원회에 의해 승인되었다.
All study procedures were approved by Institutional Research Ethics Boards at two academic institutions affiliated with the training program (Protocols # H-05-20-5708 and # M16-20-036).

모집
Recruitment

모집은 2020년 6월부터 9월까지 진행되었다. YAH와 FN은 부서 목록을 사용하여 캐나다의 가정의학 대학원 교육 프로그램에 등록된 모든 연수생(n = 159)에게 채용 이메일을 보냈다. 정의에 대한 합의가 부족하고 캐나다의 의료 연수생 인구 통계에 대한 데이터가 부족하다는 점을 고려하여[25], 우리는 대표성 부족을 정의하지 않기로 결정했다. 대신, 우리는 참가자들이 인종이나 민족뿐만 아니라 성 정체성, 성, 종교, 나이, 신체적 체격, 장애(보이는 것 또는 보이지 않는 것) 또는 사회경제적 지위(SES)와 같은 특성에 근거하여 UWiM으로 스스로 식별하도록 초대했다. 
Recruitment took place between June and September 2020. Using a departmental list, YAH and FN sent a recruitment email to all trainees (n = 159) enrolled in a family medicine postgraduate training program in Canada. Given the lack of consensus around definitions and the dearth of data on medical trainee demographics in Canada [25], we elected not to define underrepresentation. Instead, we invited participants to self-identify as UWiM based not only on race or ethnicity, but also on characteristics such as gender identity, sexuality, religion, age, physical build, disability (visible or invisible), or socioeconomic status (SES).

데이터 수집
Data collection

우리는 풍부한 데이터를 생성하기 위해 "참가자들이 서로의 인식을 피드백하는" 방법인 그룹 인터뷰를 사용하여 데이터를 수집했습니다 [26, 페이지 100]. 그룹 인터뷰는 또한 YAH와 FN의 학술적 작업과 COVID-19 팬데믹 동안 UWiM 훈련생의 참여를 촉진했다. 구체적으로 연수생들의 학업일이 끝날 때 집단면접을 추가하는 것은 임상업무의 중단을 최소화하면서 여러 관점을 수집하는 이상적인 방법이었다. 
We collected data using group interviews, a method where “participants feed off of each other’s perceptions”[26, p. 100] to generate rich data. Group interviews also facilitated both the scholarly work of YAH and FN and the participation of UWiM trainees during the COVID-19 pandemic—a global emergency disproportionately affecting women, particularly those identifying as underrepresented. Specifically, adding group interviews at the end of trainees’ academic day was an ideal method of collecting multiple perspectives with minimum interruption to their clinical duties.

10명의 연습생들이 YAH가 이끄는 3개의 그룹 인터뷰 중 하나에 참여하는 것에 동의했다. 코로나19 제약 때문에 고투미팅을 이용해 단체 인터뷰를 진행했다. 각 인터뷰는 2-5명의 참가자가 참여했으며 45분에서 140분 사이에 진행되었다. 반구조화된 가이드를 사용하여 YAH는 대화를 안내하기 위해 다음과 같은 중요한 질문을 제시했다. 
Ten trainees consented to participate in one of three group interviews led by YAH. Because of COVID-19 restrictions, group interviews were conducted using GoToMeeting. Each interview was attended by 2–5 participants and lasted between 45 and 140 min. Using a semi-structured guide, YAH posed the following overarching questions to guide conversations:

  1. 1. 무엇이 당신을 UWiM이라고 정의합니까?
  2. 2. UWiM 정체성이 지금까지 훈련 경험에 어떤 영향을 미쳤습니까?
  3. 3. UWiM 정체성이 환자 및 의료 팀의 다른 구성원과의 상호 작용에 어떤 영향을 미쳤습니까?
  4. 4. UWiM으로서의 경험이 직업이나 직업 선택에 어떤 영향을 미친다고 생각하십니까?
  5. 1.What defines you as UWiM?
  6. 2.How has your UWiM identity influenced your training experience thus far?
  7. 3.How has your UWiM identity impacted your interactions with patients and other members of the healthcare team?
  8. 4.How do you perceive your experiences as a UWiM influence your professional or career choices?

모든 그룹 인터뷰는 NVivo 자동 전사 소프트웨어를 사용하여 오디오 녹음 및 전사되었다[27]. YAH와 FN은 녹취록의 정확성과 익명성을 보장했다. 
All group interviews were audio-recorded and transcribed using NVivo automated transcription software [27]. YAH and FN ensured the accuracy and anonymization of transcripts.

데이터 분석
Data analysis

성찰적 주제 분석에 대한 브라운과 클라크의 [28] 6단계 접근법에 따라 팀원들은 독립적으로 대본을 읽고 데이터에 익숙해졌다. 다음으로, YSA는 일련의 팀 미팅을 통해 개선되고 확정된 예비 주제를 식별하기 위해 선택적 코딩에 참여했다. 마지막으로, YAH와 YSA는 전체 데이터 세트를 재코딩했다. 분석 과정 전반에 걸쳐, 팀 구성원들은 데이터 패턴을 식별하여 의학에서 과소 표현된 참가자들의 경험을 이해하는 것을 목표로 점점 더 해석적인 분석 '스토리라인'을 구성했다. 
Guided by Braun and Clarke’s [28] six-phased approach to reflexive thematic analysis, team members independently read transcripts to familiarize themselves with the data. Next, YSA engaged in selective coding to identify preliminary themes that were refined and finalized over a series of team meetings. Finally, YAH and YSA re-coded the entire dataset. Throughout the analytical process, team members identified data patterns, constructing increasingly interpretive analytical ‘storylines’ aimed at understanding participants’ experiences of underrepresentation in medicine.

데이터 분석은 참가자의 관점을 중앙 집중화하는 [Anderson이 설명한 페미니스트 인식론]을 사용하여 inform되어졌습니다 [29]. 데이터를 연역적으로 분석하기 위해 선행 이론 프레임워크를 사용하지 않았지만, 우리는 [임계 인종 이론]과 [교차성]에 민감했다[16, 30, 31]. 구체적으로, 우리는 참가자들이 자신의 정체성을 개념화하는 방법, 자신의 정체성을 인식하는 것이 훈련 경험에 어떻게 영향을 미쳤는지, 그리고 그러한 경험을 탐색하는 것이 전문가로서의 자아 인식과 그들이 구상하는 미래의 실천에 어떻게 영향을 미쳤는지에 대해 들었다.
Data analysis was informed using the feminist epistemology described by Anderson, which centralizes participants’ perspectives [29]. Although we did not use an a priori theoretical framework to deductively analyze the data, we were sensitized to critical race theory and intersectionality [16, 30, 31]. Specifically, we attended to how participants conceptualized their identities, how they perceived their identities influenced their training experiences, and how navigating such experiences affected their self-perceptions as professionals and their envisioned future practice.

반사율
Reflexivity

각 연구자의 개인적이고 전문적인 경험이 분석 과정에 어떻게 영향을 미칠 수 있는지 사려 깊게 고려하는 과정인 반사성은 질적 엄격성의 핵심 요소이다[32]. 우리는 풍부한 반사 계정을 전자 보충 자료의 표 1에 포함시켰다.
Reflexivity—a process of thoughtfully considering how each researcher’s personal and professional experiences might influence the analytical process—is a key component of qualitative rigor [32]. We have included a rich reflexive account in Table 1 of the Electronic Supplementary Material.

40037_2022_729_MOESM1_ESM.docx
0.02MB

결과.
Results

참가자들은 다양한 범위의 정체성에 기초하여 UWiM으로 확인되었다(그림 1). 참가자의 절반은 국제 의학 졸업생이었고 절반은 영어를 모국어로 보고했다. 8명의 참가자들은 인종, 민족(때로는 이름이나 억양으로 유추하기도 한다), 또는 히잡과 같은 종교적 상징 때문에 [가시적 소수집단]의 일원이라고 보고했다. 소외감을 느끼는 데 기여한 다른 [비가시적 정체성]에는 성적 지향, 종교, 낮은 SES, 정신 건강, 이민 지위, 모성이 포함되었다. 그들의 익명성을 보호하기 위해, 우리는 종종 교차하는 참가자들의 신원에 대한 추가적인 설명적 세부사항을 제공하지 않았다. 
Participants identified as being UWiM based on a diverse range of identities (Fig. 1). Half of participants were international medical graduates and half reported English as their first language. Eight participants reported being a member of a visible minority because of race, ethnicity (sometimes inferred from one’s name or accent), or religious symbols such as the hijab. Other invisible identities that contributed to feeling marginalized included sexual orientation, religion, low SES, mental health, immigration status, and motherhood. To protect their anonymity, we have not provided additional descriptive details about participants’ often-intersecting identities.

 

눈에 보이든 보이지 않든 참가자의 정체성은 그들이 [전문직profession 전반에 걸쳐 친숙하고, 기대되거나, 일반적으로 받아들여지는 것]과 다르다는 보편적인 자기 인식(타자성otherness이라고 정의된 개념)을 낳았다[33]. 그러나, 참가자의 신원 표시가 보이는지 여부에 따라 다른 것의 경험과 시사점이 다르게 나타났다. 예를 들어, 인종차별을 당했거나 종교적 상징을 착용한 사람들은 명백한 차별 사례를 보고할 가능성이 더 높았다. 
Participants’ identities, whether visible or invisible, resulted in a universal self-perception that they were different from what was familiar, expected, or generally accepted across the profession—a concept defined as otherness [
33]. However, the experience and implications of otherness appeared to differ depending on whether participants’ identity markers were visible or not. For instance, those who were racialized or who wore a religious symbol were more likely to report overt instances of discrimination:

"저는 유색인종이기 때문에 환자들이 저로부터(지역 병원 두 곳)의 치료를 거부했습니다. 이로 인해 학습 기회가 사라지고 현장에서 이를 처리하는 방법을 모르는 직원들과의 상호 작용이 매우 어색해졌습니다."(P1, GI1)
“I’ve had patients refuse care from me at (two local hospitals) because I’m a person of colour. And that’s taken away learning opportunities and made for really awkward staff interactions who don’t know how to deal with that on the floor.” (P1, GI1)

반대로, [민족성, 성적 지향 또는 낮은 SES]와 같은 [덜 명백한 정체성 표지]를 가진 사람들은 그것의 직접적인 표적이 되기보다는 [편협한 행동을 목격]할 가능성이 더 높았다. 예를 들어, 혼합 인종으로서 "눈에 띄이지" 않은 참가자(P9, GI3)는 코로나바이러스 팬데믹의 맥락에서 동료들의 반중국 정서를 목격했다. 그녀는 다음과 같이 언급함으로써 동시에 다른 것과 겉으로 소속됨으로써 발생하는 해를 캡슐화했다.

Conversely, those with less readily apparent identity markers such as ethnicity, sexual orientation, or low SES were more likely to witness intolerant behaviour rather than be directly targeted by it. For example, a participant who did not “read as visibly” (P9, GI3) of mixed race witnessed anti-Chinese sentiment from colleagues in the context of the coronavirus pandemic. She encapsulated the harm caused by being simultaneously othered and outwardly belonging by noting:

"그런 정체성이 더 숨겨져 있다는 것은 많은 사람들이 내가 웃거나 그것에 동조할 것이라고 가정할 때, 실제로는 그것이 나에게 정말로 상처를 주거나 모욕적일 때 특정한 논평이나 농담을 하게 만들었다는 것이 흥미롭다." (P9, GI3) 
“It’s interesting that having those identities being more hidden has caused a lot of people to make certain comments or certain jokes, assuming I’m going to laugh or go along with it, when in reality, that’s really hurtful or offensive to me.” (P9, GI3)


[타자성]은 임상 작업장의 [명백한 차별]뿐만 아니라, 참가자들이 [누구나 자기에게 잠재적 위협이 될 수 있다고 가정]하도록 자극한 지금까지의 삶의 경험에서 비롯되었다. 레즈비언이라고 밝힌 한 참가자는 비록 그녀가 환자와 충격적인 만남을 가진 적은 없지만, [동성애 혐오증이 만연하다는 것]은 [그녀가 누구든지 그녀에게 해를 끼칠 수 있다고 가정해야 한다는 것]을 의미한다고 설명했다. 그녀는 자신을 표적으로 삼을 수 있는 사생활의 측면을 언제 어떻게 숨겨야 할지 곰곰이 생각해 보았다.
Otherness resulted not only from overt discrimination in clinical workplaces, but also from prior life experiences, which primed participants to assume that anyone could be a potential threat. One participant identifying as lesbian described that, although she had not had a traumatic encounter with a patient, the pervasiveness of homophobia meant that she had to assume anyone could cause her harm. She ruminated on when and how to hide aspects of her personal life that might make her a target:

"저는 모든 환자와의 상호작용을 할 때 이러한 계산을 하고 있습니다… [제 아내에 대해 이야기하는 것이] 그들이 저를 어떻게 생각하는지에 영향을 미칠까요? 그것은 당신이 마음 한구석에서 하고 있는 정신적인 일일 뿐이다."(P7, GI2)
“I am doing those calculations with every patient interaction … Will [talking about my wife] affect how they think of me? It’s just the mental work that you’re doing in the back of your mind.” (P7, GI2)

실제로 모든 참가자는 [차별을 예상]하고 실제 또는 인식된 위협에 대한 [방어적 행동을 가정]하는 데 상당한 시간과 에너지를 소비했다. 많은 참가자들이 임상 환경에서 종교적 신념을 공개하는 것에 대해 우려를 표명했기 때문에, [종교]는 신분 표시기의 가시성 또는 투명성이 잠재적으로 해로운 경험을 조작하는 참가자들의 능력에 어떻게 다양하게 영향을 미쳤는지를 보여주는 중요한 예이다. 예를 들어, [성적 지향을 비공개로 함]으로써 잠재적 동성애 공포증에 반응한 참가자 7처럼, 참가자 4는 매우 유감스럽게도 환자를 advocating하는 것을 자제했다. 왜냐하면 [공통된 종교적 믿음을 드러내는 것]이 자신의 능력에 대한 인식을 편향시킬 것을 두려워했기 때문이다:
Indeed, all participants spent considerable time and energy both anticipating discrimination and assuming defensive behaviours against real or perceived threats. Since many participants expressed apprehension about disclosing religious beliefs in clinical environments, religion is a key example illustrating how the visibility or invisibility of identity markers variably affected participants’ abilities to maneuver potentially harmful experiences. For example, like Participant 7 who responded to potential homophobia by keeping her sexual orientation private, Participant 4 refrained, with great regret, from advocating for a patient because she feared that revealing shared religious beliefs would bias perceptions about her competence:

"한 환자는 자신이 로마 가톨릭 신자라는 이유만으로 DNR을 거부했다. 선임 스태프 의사와 간호사들이 내 앞에서 그것을 놀리고 있었다. 난 그냥 입을 다물었어. 아무 말도 하지 않은 이유는 만약 당신이 어떤 말을 한다면, 그들은 "아, 당신의 종교나 감정이 당신을 어떤 방향으로 이끌게 한다면 당신은 유능한 의사로서 어떻게 기능할 것인가?"라고 말할 수 있기 때문입니다."(P4, GI1) 
“[A patient] refused the DNR simply because she said that she’s a Roman Catholic. The senior staff doctor and the nurses were making fun of that in front of me. I just shut my mouth. Didn’t say anything because if you say something, they might say, Oh, how would you function as a competent doctor if you let your religion or emotion lead you in a direction or another.” (P4, GI1)

이러한 [전략적 정체성 억압]은 [가시적 소수자 지위]를 가진 사람들에게는 더욱 복잡했다. 참가자들은 자신의 경험을 공유하면서 [자신의 정체성의 측면을 숨기는 능력]이 비록 힘을 잃기는 하지만, 동시에 모든 UWiM이 보편적으로 사용할 수 없는 특권이라는 것을 깨달았다.

  • 백인이었던 참가자 7은 [자신의 성적인 면을 숨긴다는 것]은 UWiM의 지위를 완전히 숨길 수 있다는 것을 의미했다.
  • 하지만 [히잡을 착용을 중단하는 것]이 도움이 될지 궁금했던 소외된 무슬림 참가자에게는 불가능한 일이다

Such strategic identity suppression was more complicated for those with visible minority status. In sharing their experiences, participants realized that the ability to conceal aspects of one’s identity, though disempowering, was simultaneously a privilege not universally available to all UWiM. For Participant 7 who was white, hiding her sexuality meant she could conceal her UWiM status entirely—an impossibility for a marginalized Muslim participant who wondered whether ceasing to wear hijab might help:

"저는 [히잡 때문에] 생각은 서구적이지만 민족적 외양을 보입니다. 이슬람 공포증이 있는 사람들이 있을 것이기 때문에 제가 분명히 이슬람교도처럼 보이게 하는 외모를 없애는 것이 더 나은 생각일까요? 저는 그것이 제 경력에 방해가 되는 것을 원하지 않습니다."(P10, GI3)“I am more Western-minded but more ethnic-looking [because of the hijab]. Is it a better idea if I sort of remove the look that makes me look very obviously Muslim, because some people will be Islamophobic? I don’t want that to stand in my way for my career.” (P10, GI3)

자신들의 민족성과 억양이 돋보인다고 보고한 참가자 4와 10에게 [눈에 띄는 종교적 상징을 제거]하거나, [종교적 소속을 숨기는 것]은 직장 차별을 방어하기 위한 부분적인 해결책에 불과했다. 모든 참가자들이 성별에 기반한 차별을 겪었지만, 타자성을 탐색하는 것의 부담은 [가시적 소수 집단의 구성원들]에게 더 컸다. 
For Participants 4 and 10, who reported that their ethnicities and accents made them stand out, removing a visible religious symbol or concealing a religious affiliation were only partial solutions for shielding against workplace discrimination. Although all participants were privy to gender-based discrimination, the burden of navigating otherness was magnified for members of visible minority groups:

"당신[참가자 7]이 우리의 경험 사이에서 강조한 차이점은 당신에게 challenge가 될 수도 있는 자신의 정체성 부분을 거의 숨길 수 있다는 것입니다. 반면에 저에게는 안녕하세요, 저는 블랙입니다. 모두가 내가 흑인이라는 걸 알아. 그래서, 저는 여러분이 성적 정체성이라는 주제에 대해 달걀 껍질 위를 걷는 것처럼 느끼는 것이 믿을 수 없을 정도로 스트레스가 될 것이라고 생각합니다. 그리고 어떤 순간에 누군가 부적절한 말을 할지도 모릅니다. 반면에 저는 제 주변의 모든 사람들이 블랙니스에 대해 잘못된 말을 하지 않으려고 노력하는 것처럼 느껴집니다. 그리고 나는 누군가가 잘못된 말을 하기를 기다릴 뿐이다." (P6, GI2)
“The difference that you [Participant 7] highlighted between our experiences is that you can almost hide the part of your identity that may become a challenge, right. Whereas for me it’s like, hello, I’m Black. Everybody knows I’m Black. So, I think it must be incredibly stressful for you to feel like you’re walking on eggshells around the subject of sexual identity and that at any moment somebody might say something inappropriate. Whereas for me, I feel like everybody around me is walking on eggshells and trying not to say the wrong thing about Blackness. And I’m just waiting for someone to say the wrong things.” (P6, GI2)

참가자들의 차별과 타자성 경험은 [교수진의 지원 부재]로 인해 악화되었다. 특히, 그녀를 대신하여 옹호하는 한 교수진의 사례를 공유한 참가자는 없었다. 더 나쁜 것은, 교직원들이 그들의 권한을 개입시키는 데 실패함으로써 차별을 영구화했다는 것이다. 
Participants’ experiences of discrimination and otherness were exacerbated by the absence of faculty support. Notably, no participant shared an example of a faculty member who advocated on her behalf. Worse, faculty members perpetuated discrimination by failing to use their authority to intervene:

"그것을 무시하는 사람들이 가장 좌절스럽다. 내가 방으로 걸어 들어가 눈물을 흘리며 걸어나오는 것이 괜찮다고 생각하는 사람들은 그냥 '걱정하지 마, 내가 그 환자 볼게'라고 말한다. 그건 도움이 안 돼요. 내가 그런 학대를 당했다는 사실을 인정하지 않는 것은 도움이 되지 않습니다."(P1, GI1)
“The ones that ignore it are the most frustrating. The ones that think it’s okay for me to walk into a room, walk out with tears in my eyes, and then just [say] ‘don’t worry about it, I’ll see that patient then.’ That’s not helpful. You not acknowledging the fact that I’ve gone through that abuse is not helpful.” (P1, GI1)


[차별, 타자성, 그리고 교수진의 옹호의 부족]에 대한 경험은 참가자들이 [그들의 professional paths을 어떻게 개념화하는지]에 지대한 영향을 미쳤다. 대부분은 더 안전하고 포괄적인 임상 및 학습 환경을 만드는 것을 목표로 하는 진로를 구상했다. 예를 들어, 정신 건강과 씨름하는 한 참가자는 미래의 훈련생들을 위해 개인적인 취약성을 제거하도록 동기를 부여받았다.
Experiences of discrimination, otherness, and the lack of faculty advocacy profoundly influenced how participants conceptualized their professional paths. Most envisioned a career path aimed at creating safer, more inclusive clinical and learning environments. For instance, a participant who struggled with mental health was motivated to de-stigmatize personal vulnerabilities for her future trainees:

"정신 건강과 관련된 일이 있다면, 디스트레스를 받는 사람으로서 [도움을 구하는 것]과 [벗어나는 것] 사이의 선을 긋는 것은 정말 어렵습니다. 내가 곧 staff이 될 거라는 걸 알아. 새로운 전공의들을 만나면 꼭 하고 싶은 말인 것 같아요… '스트레스를 받는다면 알려주세요'."(P2, GI1)
“If you have anything going on with mental health, it’s really difficult to tread the line between help seeking and coming off as a person who’s in distress. I know I’m going to be staff very soon. I think it’s something that I try and say when I meet new residents … ‘If you’re feeling stressed, let me know’.” (P2, GI1)

또한 참가자들은 [개인적 차별 경험]이 독특할 수 있지만, [소외받는다는 것]의[ 공통된 어려움]이 공통점을 확립한다는 인식으로 취약한 환자 집단에 봉사하고자 하는 강한 열망을 나타냈다.
Additionally, participants expressed a strong desire to serve vulnerable patient populations—perceiving that while individual experiences of discrimination may be unique, the shared hardships of being marginalized established common ground:

"저는 도심의 건강을 정말 좋아하고 중독 치료제가 흥미롭다고 생각합니다. 나는 난민 건강이 매우 흥미롭다고 생각한다. 그리고 이것들은 모두 나에게 영향을 미치지 않는 분야들이다… 하지만 내 경험들 때문에, 나는 그들의 경험들을 이해하고 공감하기 위해 내 마음을 확장할 수 있을 것 같다." (P6, GI2)
“I really love inner city health and find addictions medicine interesting. I think refugee health is very interesting. And these are all areas that don’t affect me … But because of my experiences, I feel like I can sort of stretch my mind to understand and empathize with their experiences as well.” (P6, GI2)

하지만, 비록 참가자들이 공감과 이타주의로 의학을 가르치고 실천할 수 있는 힘을 부여받은 살아있는 역경에서 벗어났지만, [개인의 안전에 대한 필요성]에 의해 동기 부여된 것처럼 보였다. 이는 그들의 직업 선택은 또한 [차별로부터 스스로를 떨어뜨릴 수 있는 전문적인 공간을 개척하는 것]을 목표로 함을 뜻한다. 예를 들어, 참가자 7은 그녀의 현재 현실과 그녀가 청소년과 LGBTQ+ 환자들과 함께 일하는 것을 상상했던 미래를 비교했다. "나는 청소년 인구에 끌린다." (P7, GI2) 구체적으로, 그녀는 "당신과 같은 동맹자나 동일시하는 사람들을 찾는 것"(P7, GI2)이 환자뿐만 아니라 자신을 위한 진정하고 포용적인 방법으로 practice할 수 있도록 힘을 실어줄 것이라고 믿었다. 참가자 3은 안전에 대한 유사한 열망을 나타냈다. "나는 단지 내가 같은 생각을 가진 사람들 주변에 있고 이 [과잉 차별]에 대해 강조할 필요가 없는 환경으로 가고 싶다."(P3, GI1)
However, although participants emerged from lived adversity empowered to teach and practice medicine with empathy and altruism, their career choices also seemed motivated by a need for personal safety, aiming to carve out a professional space where they could insulate themselves from discrimination. For instance, Participant 7 contrasted her current reality with the future she envisioned working with adolescents and LGBTQ+ patients: “I’m drawn to the adolescent population” (P7, GI2). Specifically, she believed “finding your allies or people who identify like you” (P7, GI2) would empower her to practice in an authentic and inclusive way not only for patients but also for herself. Participant 3 expressed a similar desire for safety: “I just want to go to an environment where I’m around like-minded people and don’t have to stress about this [overt discrimination]” (P3, GI1).

논의
Discussion

UWiM 인터뷰 대상자들은 훈련 중에 현재 정의에서 과소 표현의 측면으로 항상 개념화되지 않는 [다양한 정체성 마커]를 설명했다. 참가자들의 설명은 UWiM 연습생들이 겪는 공개적이고 은밀한 차별의 빈도뿐만 아니라 학업 환경에서 자행되는 해악을 예측하고 회피하기 위해 그들이 소비하는 [상당한 인지적, 감정적 노동]에 대해서도 조명한다. 우리의 연구는 타자성과 차별이 어떻게 UWiM에게 의료 교육 환경을 억압적이고 적대적으로 만들 수 있는지 이해하는 데 매우 필요한 출발점을 제공한다.
UWiM interviewees described a variety of identity markers that made them feel othered during their training that are not always conceptualized as facets of underrepresentation in current definitions. Participants’ accounts shed light not only on the frequency of overt and covert discrimination UWiM trainees endure, but also on the considerable cognitive and emotional labor they expend to anticipate and deflect harms perpetrated in academic environments. Our study provides a much-needed starting point for understanding how otherness and discrimination may make the medical education environment oppressive and hostile for UWiM.

참가자들의 설명은 [권력과 특권이 지배적인 집단의 구성원들]이 [그들에게 강요하는 렌즈]를 통해 [피지배된 사람들이 어떻게 생각하고 행동하도록 강요하는지] 보여준다. 이에 대응하여 그리고 억압에 대한 생존 메커니즘으로서 소수 집단의 구성원들은 지배적인 문화의 렌즈를 통해 자신들의 정체성을 재정립할 수밖에 없는데, 이 현상은 1903년에 Du Bois[34]에 의해 아프리카계 미국인들의 맥락에서 설명되었고 더 나아가 데보라 그레이 화이트에 의해 인종화된 여성들을 포함하기 위해 "삼중의 의식"으로 발전했다. 흑인 여성에게만 초점을 맞춘 것이 아니라 캐나다의 맥락에서, 우리 참가자들의 경험은 [삼중의 의식]과 공명한다. 연구 참가자들은 다음과 같은 방식으로 다중의 '타자화된' 정체성을 조작했다[35].

  • 잘 알려진 트라우마 반응(잠재적 위협에 대한 학습 환경의 초경계 또는 "과도한 스캔")에 engage하고 
  • 소속을 용이하게 하거나 공공연한 차별을 피하기 위해 정체성 측면을 은폐함으로써 

Participants’ accounts demonstrate how power and privilege force subjugated populations to think and act through lenses that members of dominant groups impose on them. In response and as a survival mechanism to oppression, members of minority groups are forced to redefine their identity through the lens of the dominant culture, a phenomenon described by Du Bois [34] in 1903 in the context of African Americans and further developed as “triple consciousness” by Deborah Gray White to include racialized women. Though in the Canadian context and not solely focused on Black women, our participants’ experiences resonates with triple consciousness. Study participants maneuvered their multiple, ‘othered’ identities

  • by engaging in well-known trauma responses [35], including
    • hypervigilance or
    • “excessive scanning” [36] of their learning environment for potential threats, and
  • by concealing aspects of their identities to either facilitate belonging or to avoid overt discrimination [37,38,39].

그러나 [완전한 신분 은폐]는 [특권의 한 형태]로 언급되었다. 따라서 과소대표라고 식별하는 백인 여성은 확실히 직장 차별에 의해 피해를 입지만, 그들의 [백인성]은 [교차성 탐색의 부담을 덜어주는] "특수 조항, 지도, 여권, 코드북, 비자, 옷, 도구 및 백지 수표와 같이 [보이지 않는 무중력 배낭]"을 제공한다[40].

Full identity concealment was noted as a form of privilege, however. Thus, although white women who identify as underrepresented are certainly harmed by workplace discrimination, their whiteness affords “an invisible weightless knapsack of special provisions, maps, passports, codebooks, visas, clothes, tools and blank checks” that ease the burden of navigating intersectionality [40].

그럼에도 불구하고, 참가자들의 계정은 차별의 트라우마와 임상 학습 환경에서 다른 것을 탐색하는 데 소요된 감정적 노동을 모두 보여주었다[41, 42]. 레지던트 훈련의 전형적인 스트레스를 관리하면서 참가자들의 학습 관심과 정서적 에너지는 [의사로서 자신이 되어야 할 사람과 맞지 않을 수도 있다는 신호]에 의해 끊임없이 우회divert되었다. 특히 리더십과 학문적 지위로 함축된 [권력이 대부분 백인 남성들의 손에 남아있는 학문적 환경]에서 말이다. 참가자들의 경험은 주로 백인 훈련 환경에서 흑인 의대생이 되는 것에 대한 대가를 설명하는 사설에서 Monnique Johnson이 최근 발표한 것과 공명했습니다: "저에게 있어서, 이러한 공간에서 상호작용을 해야 할 때 [제 전체가 유니폼이나 마스크]처럼 느껴졌습니다. 탈진은 [내 자신이 당당하고 진실되게 나 자신일 수 있는 공간]이 없고, [나와 공감할 수 있는 사람들이 충분하지 않은 것]에서 비롯됐다."
Nevertheless, participants’ accounts revealed both the trauma of discrimination and the emotional labor spent navigating otherness in clinical learning environments [41, 42]. While managing the typical stresses of residency training, participants’ learning attention and emotional energy were constantly diverted by signals that they may not fit who they are supposed to be as doctors, particularly in academic settings where power, connotated by leadership and academic rank, remains mostly in the hands of white men and, to a lesser extent, white women [6, 43,44,45]. Participants’ experiences resonated with those published recently by Monnique Johnson in an editorial explicating the toll of being a Black medical student in primarily white training environments: “For me, my whole being when I had to interact in these spaces felt like a uniform or a mask. Exhaustion came from not having a space to be unapologetically and authentically myself and not having enough people who could relate to me” [46].

참가자인 존슨 씨와 다른 사람들의 증언은 [학습 경험과 구조의 형평성]에 대한 의문을 제기한다. 기관 지도자들과 의료 교육자들은 대표자가 부족한 훈련생들이 훈련 중에 종종 침묵과 사일로에서 상당한 정체성 불협화음을 경험한다는 것을 인식해야 한다.
Testimonies by participants, Ms. Johnson, and others raise questions about the equity of learning experiences and structures. Institutional leaders and medical educators must recognize that underrepresented trainees experience significant identity dissonance during their training, often in silence and in silos.

또한 의학은 UriM 또는 UWiM으로 식별되는 훈련생이 [차별의 트라우마를 치유할 수 있는 충분한 공간을 제공하지 않는다]는 점을 유념해야 한다[47]. 지원을 받지 못한 참가자들은 자신의 개인적 정체성과 이상화된 직업 정체성 사이의 긴장을 관리하기 위해 홀로 남겨졌고, 평생 개인적, 경력적 결과를 초래할 수 있는 두려움과 배제에 뿌리를 둔 결정을 내렸다. UWiM 훈련생들이 차별에 직면했을 때 보고하고 그러한 경험이 그들의 직업 정체성과 의도된 직업 선택에 미치는 영향을 성찰하기 위해 신뢰할 수 있는 멘토의 지도 하에 안전한 공간이 필요하다. 비록 여성들, 특히 대표가 부족한 사람들은 그들의 경력을 육성하기 위해 숙련되고 동정적인 멘토가 필요하지만, 그들은 그것이 일어날 때 차별을 호소하고 여성들에게 개인적으로 그리고 직업적으로 영향을 미치는 차별적인 힘을 해체하기 위해 의미 있는 행동을 취할 수 있는 옹호자들이 더 필요하다.
We must also be mindful that medicine does not provide adequate space for trainees who identify as URiM or UWiM to heal from the trauma of discrimination [47]. Unsupported, participants were left alone to manage the tension between their personal and idealized professional identities, making decisions rooted in fear and exclusion that could have life-long personal and career consequences. Safe spaces—under guidance from trusted mentors—are required for UWiM trainees to debrief when encountering discrimination and to reflect on the impact of such experiences on their professional identity and intended career choices. Although women, particularly those who are underrepresented, need skilled and compassionate mentors to nurture their careers, they more so need advocates who are willing to both call out discrimination when it happens, and to take meaningful action to dismantle the discriminatory forces that impact women both personally and professionally.

[교수진 지지자]가 없는 상황에서, 참가자들은 [그들이 경험한 해악(명백한 차별과 문제가 되는 부작위 포함)을 바로잡기 위해 노력]하는 것처럼 보였다. 그들은 그들이 거부당한 멘토링, 옹호, 그리고 진정한 인간이 될 수 있는 기회를 제공할 수 있는 진로를 구상했다. 참가자들이 [봉사정신]으로 이런 불협화음에서 벗어나는 것은 존경할 만하지만, [잠재적인 단점]을 모르는 것 같았다. 예를 들어, [복잡한 심리사회적 및 의료 요구를 가진 사람들을 돌보는 것]은 [동정심 피로와 소진을 악화시킬 위험]이 있는 [시간 집약적인 작업]이다. 이는 여성 의사들 사이에서 이미 잘 문서화되어 있는 현상이다.
In the absence of faculty advocates, participants appeared driven to correct the harms—including blatant discrimination and problematic inaction—that they experienced. They envisioned a career path where they could provide the mentoring, advocacy, and opportunity to be authentically human that they were denied. Although it is admirable to emerge from such dissonance with a sense of service, participants seemed unaware of potential drawbacks. For example, caring for populations with complex psychosocial and health care needs is time-intensive work that risks exacerbating compassion fatigue and burnout—phenomena that are already well-documented among female physicians.

소외된 사람들에게 봉사하려는 욕구는 학계와 리더십에서 UWiM의 부족에 대한 또 다른 가능한 설명이 될 수 있다. 즉, 차별적 구조적 문제가 여성의 리더십 위치 달성 능력을 저해하는 "누출 파이프라인"을 생성하는 것으로 알려져 있지만[47] [불평등에 대한 트라우마 반응]은 [권력의 위치]로부터의 [자기 배제]로 이어질 수 있다. 참가자들이 진정으로 흥분하고 소외된 환자들과 훈련생들을 위한 훈련과 관리를 개선할 수 있는 진로를 시작할 수 있는 권한을 부여받은 것처럼 보였지만, 모든 의사들은 이 일을 할 수 있는 기술과 동기를 가지고 있어야 한다. 이것들은 문화적으로 유능한 의사가 되기 위한 기본적인 요소들이지만, UWiM 참가자들은 그것들을 전문화된 진로의 일부로 인식하는 것처럼 보였다.
The desire to serve marginalized populations may be another possible explanation for the paucity of UWiM in academia and leadership. That is, although discriminatory structural issues are known to create a “leaky pipeline” [47] that hinders women’s ability to attain leadership positions, the trauma response to inequities might lead to self-exclusion from positions of power. Although participants seemed genuinely excited and empowered to embark on a career path that would improve training and care for marginalized patients and trainees, all physicians should have the skillset and motivation to do this work. These are fundamental components of being a culturally competent physician, yet UWiM participants seemed to perceive them as part of a specialized career path—a problematic notion that should trigger both reflection and action.

한계
Limitations

타자성과 차별에 대한 경험은 독특하게 해로우므로, 이러한 해악을 탐구하는 것을 목표로 하는 질적 데이터 세트가 "포화"되는 것이 불가능하다[48]. 우리는 그룹 환경에서 편안하게 공유하지 못한 정보를 보류했을 수 있는 한 캐나다 학술 기관의 10명의 여성 표본이 의학의 다른성에 대한 불완전한 이해를 생성한다는 것을 인정한다. 그러나 참가자들의 풍부하고 감성적인 계정은 UWiM이 탐색해야 하는 복잡성을 이해하는 데 매우 귀중한 뉘앙스를 제공했다. 질적 소견은 일반화하기보다는 이전 가능한 것을 의도하기 때문에 성별 정체성과 실습 환경에 걸쳐 연수생과 교직원에게 반향을 일으킬 수 있다. 더 많은 연구가 시급하며, 현재 UWiM의 교차성과 전문적 정체성 형성의 관계를 이해하기 위한 전국적인 연구에 착수하고 있다.
Experiences of otherness and discrimination are uniquely harmful, rendering it impossible for a qualitative dataset that is aimed at exploring these harms to become “saturated” [48]. We acknowledge that a sample of 10 women from one Canadian academic institution, who may have withheld information they did not feel comfortable sharing in a group setting, generates an incomplete understanding of otherness in medicine. However, participants’ rich and emotive accounts provided invaluable nuance for understanding the complexities that UWiM must navigate. Because qualitative findings are intended to be transferable rather than generalizable, findings may resonate with trainees and faculty members across gender identities and practice settings. More research is urgently needed, and we are currently embarking on a national study to understand the relationship between intersectionality and the professional identity formation of UWiM.

결론
Conclusion

많은 훈련생들에게, 명백한 차별과 타인의 감정은 학업 환경에서 항상 존재하는 위협이다. [형평성, 다양성, 포용성]을 목표로 하는 [정책과 개인의 행동]은 억압을 악화시키는 [과소대표의 복잡성]을 고려해야 한다. 의학부는 지역적 및 역사적 맥락을 고려하여 의학에서 과소 표현 개념화에 대한 사려 깊은 접근법으로부터 이익을 얻을 것이다. [정의와 정책]이 [공평하고 포용적이라는 것을 보장하는 것]은 다음에 달려있다.

  • 훈련생으로 대표되는 [눈에 보이는 정체성]과 [보이지 않는 정체성]의 폭에 대한 [포괄적으로 이해하는 것]
  • 의학에서 [과소 표현에 대한 진화하는 개념화]가 역사적으로 소수화된 그룹을 지원하기 위한 노력을 희석시키지 않도록 [인구 통계 데이터를 계층화하는 것]

For many trainees, overt discrimination and feelings of otherness are ever-present threats in academic environments. Policies and individual actions aimed at equity, diversity, and inclusion must consider the complexities of underrepresentation that exacerbate oppression. Faculties of medicine would benefit from a thoughtful approach to conceptualizing underrepresentation in medicine, taking local and historical contexts into account. Ensuring that definitions and policies are equitable and inclusive depends

  • on both a comprehensive understanding of the breadth of visible and invisible identities represented by trainees and
  • on stratifying demographics data to ensure that any evolving conceptualizations of underrepresentation in medicine do not dilute efforts aimed at supporting historically minoritized groups [11].

대학원 프로그램과 개별 교육자들은 [훈련 환경]이 [문화적으로 안전]할 뿐만 아니라 "[의사]로서 발달하는 자신의 정체성을 이해할 수 있는, sense-making 과정을 용이하게 하는 교육학적 공간"으로 육성할 의무가 있다. 우리는 의학 교육계가 마야 안젤루 박사의 지시에 귀를 기울일 것을 촉구한다. "당신이 더 잘 알 때까지 당신이 할 수 있는 최선을 다하라. 그럼 네가 더 잘 알 때, 더 잘 하라." 우리의 참가자들은 모든 훈련생들이 번창할 수 있는 포용적 학습 환경을 옹호하기 위해 그들의 힘과 특권을 사용함으로써 교직원들이 "더 잘하기" 위해 필요한 비판적 인식을 형성했습니다.

Postgraduate programs and individual educators have a duty not only to ensure that training environments are culturally safe but also that they foster “the pedagogical space to facilitate sense-making processes … thereby enabling [trainees] to understand their own developing identities as doctors” [49]. We urge the medical education community to heed Dr. Maya Angelou’s instruction to “do the best you can until you know better. Then when you know better, do better” [50]. Our participants generated the critical awareness necessary for faculty to “do better” by using their power and privilege to advocate for an inclusive learning environment where all trainees can thrive.

 


Perspect Med Educ. 2022 Dec;11(6):325-332. doi: 10.1007/s40037-022-00729-5. Epub 2022 Nov 22.

"Walking on eggshells": experiences of underrepresented women in medical training

Affiliations collapse

Affiliations

1Bruyère Academic Family Health Unit, Ottawa, Ontario, Canada. prezaief@uottawa.ca.

2Department of Family Medicine, University of Ottawa, Ottawa, Ontario, Canada. prezaief@uottawa.ca.

3Bruyère Academic Family Health Unit, Ottawa, Ontario, Canada.

4Department of Family Medicine, University of Ottawa, Ottawa, Ontario, Canada.

5Faculty of Education, University of Ottawa, Ottawa, Ontario, Canada.

6Department of Innovation in Medical Education, University of Ottawa, Ottawa, Ontario, Canada.

7Department of Medicine, University of Ottawa, Ottawa, Ontario, Canada.

PMID: 36417160

PMCID: PMC9684928

DOI: 10.1007/s40037-022-00729-5

Free PMC article

Abstract

Introduction: Medicine remains an inequitable profession for women. Challenges are compounded for underrepresented women in medicine (UWiM), yet the complex features of underrepresentation and how they influence women's career paths remain underexplored. This qualitative study examined the experiences of trainees self-identifying as UWiM, including how navigating underrepresentation influenced their envisioned career paths.

Methods: Ten UWiM family medicine trainees from one Canadian institution participated in semi-structured group interviews. Thematic analysis of the data was informed by feminist epistemology and unfolded during an iterative process of data familiarization, coding, and theme generation.

Results: Participants identified as UWiM based on visible and invisible identity markers. All participants experienced discrimination and "otherness", but experiences differed based on how identities intersected. Participants spent considerable energy anticipating discrimination, navigating otherness, and assuming protective behaviours against real and perceived threats. Both altruism and a desire for personal safety and inclusion influenced their envisioned careers serving marginalized populations and mentoring underrepresented trainees.

Discussion: Equity, diversity, and inclusion initiatives in medical education risk being of little value without a comprehensive and intersectional understanding of the visible and invisible identities of underrepresented trainees. UWiM trainees' accounts suggest that they experience significant identity dissonance that may result in unintended consequences if left unaddressed. Our study generated the critical awareness required for medical educators and institutions to examine their biases and meet their obligation of creating a safer and more equitable environment for UWiM trainees.

Keywords: Family Medicine; Medical education; Medical training; Underrepresented women.

실제 임상실습 상황에서 교육자의 행동: 관찰 연구와 체계적 분석(BMC Med Educ, 2019)
Educators’ behaviours during feedback in authentic clinical practice settings: an observational study and systematic analysis 
Christina E. Johnson1* , Jennifer L. Keating2 , Melanie K. Farlie3 , Fiona Kent4 , Michelle Leech5 and Elizabeth K. Molloy6 

 

배경
Background

역량 기반 교육 및 프로그램 평가와 연계된 현대 임상 교육은 역량 평가를 위한 Miller의 프레임워크에서 최고 수준을 목표로 하는 작업장의 일상적인 작업에 대한 평가 및 피드백에 초점을 맞추고 있습니다[1,2,3]. 피드백은 학습과 성과에 가장 강력한 영향을 미치는 요소 중 하나입니다 [4,5,6,7,8]. 학습자가 다른 실무자의 비판, 추론, 조언 및 지원으로부터 이익을 얻을 수 있는 기회를 제공합니다. 이러한 협업을 통해 학습자는 성과 목표가 무엇이고 이러한 표준에 도달하는 방법에 대한 이해를 높일 수 있습니다[9, 10]. ['On the run' 또는 비공식 피드백]은 환자 치료를 제공하는 도중에 발생하는 짧은 피드백 조각을 의미합니다. [공식적인 피드백 세션]은 일반적으로 상급 임상의(교육자)와 학생 또는 하급 임상의(학습자)가 학습자의 성과를 보다 포괄적인 방식으로 논의하는 것을 의미한다. 공식적인 피드백 세션은 실습기간 중간 또는 실습기간 종료 평가 또는 작업장 기반 평가의 일부로 종종 발생합니다. 그러나 이 모델의 성공은 효과적인 피드백을 제공하는 일상적인 임상의에게 달려 있다. 효과적인 피드백의 어떤 구성 요소가 문헌에서 직장의 감독 관행으로 성공적으로 변환되었는지 그리고 그렇지 않은 구성 요소는 명확하지 않다. [Translation의 격차]에 대한 정보는 전문 개발 교육을 더 잘 목표로 삼거나 품질 피드백 행동을 구현하는 데 장애물을 극복하기 위한 전략을 설계하는 데 사용될 수 있다. 
Modern clinical training, aligned with competency based education and programmatic assessment, is focused on assessment and feedback on routine tasks in the workplace, targeting the highest level in Miller’s framework for competency assessment [1,2,3]. Feedback is one of the most powerful influences on learning and performance [4,5,6,7,8]. It offers the opportunity for a learner to benefit from another practitioner’s critique, reasoning, advice and support. Through this collaboration, the learner can enhance their understanding of what the performance targets are and how they can reach those standards [9, 10]. ‘On the run’ or informal feedback refers to brief fragments of feedback that occur in the midst of delivering patient care. A formal feedback session typically refers to a senior clinician (educator) and student or junior clinician (learner) discussing the learner’s performance in a more comprehensive fashion. Formal feedback sessions often occur as a mid- or end-of-attachment appraisal or as part of a workplace-based assessment. However the success of this model relies on everyday clinicians providing effective feedback. It is not clear which components of effective feedback have been successfully translated from the literature into supervisory practice in the workplace, and which have not. Information on gaps in translation could be used to better target professional development training, or to design strategies to overcome impediments to implementing quality feedback behaviours.

병원에서 진정한 피드백을 [직접 관찰]한 연구는 드물다. [관찰 연구]는 일상적인 임상 교육에서 실제로 일어나는 일에 대한 주요 증거를 제공하기 때문에 매우 가치가 있다. [직접 관찰]은 활동을 관찰하는 연구자나 비디오 관찰을 통해 달성할 수 있다. 우리는 이전의 몇 가지 직접 관측 연구만 확인했다. 이는 공식 또는 비공식 피드백(외래 클리닉, 병동 또는 종합 시뮬레이션 임상 시나리오에 따른)을 포함하는 소수의 전문 분야(내부 또는 가족 의학)에서 주니어 학습자(의대생 또는 주니어 레지던트)를 포함한다. 추가적인 단일 연구에는 공식적인 애착 중간 또는 종료 피드백 동안 물리치료 학생들이 포함되었다[19]. [관찰 연구의 부족]은 시간 소모적인 특성, 바쁜 일정에 끼워진 피드백 회의와 일치하도록 관찰자나 비디오 녹화를 배치하는 것의 어려움 또는 관찰되거나 기록될 참가자의 침묵과 관련이 있을 수 있다. 이러한 연구들은 일반적으로 교육자들이 성과의 특정 측면에 대해 논평을 하고, 중요한 개념을 가르치고, 학습자가 어떻게 개선할 수 있는지 설명하거나 보여준다고 보고했다. 그러나 교수자가 말하는 시간이 대부분이고, 학습자에게 자기 평가를 요청하지만 응답하지 않으며, 수정 의견을 피하고, 일상적으로 실행 계획을 만들지 않습니다. 그러나 이러한 발견은 더 이상 현재의 관행을 반영하지 않을 수 있다. 또한 병원 환경에서 일하는 임상 교육자와 학습자의 다양성을 포착한 연구는 없었다.
Studies involving direct observation of authentic feedback in hospitals are rare. Observational studies are highly valuable, as they provide primary evidence of what actually happens in everyday clinical education. Direct observation can be achieved either by researchers observing the activity or via video-observation. We identified only a few previous direct observation studies: these involved junior learners (medical students or junior residents) in a few specialties (internal or family medicine) involving formal or informal feedback (in outpatient clinics, on a ward, or following summative simulated clinical scenarios) [11,12,13,14,15,16,17,18]. An additional single study involved physiotherapy students during formal mid- or end-of-attachment feedback [19]. The scarcity of observational studies may be related to the time consuming nature, difficulty in arranging observers or video recording to coincide with feedback meetings slotted into busy schedules, or the reticence of participants to be observed or recorded. These studies reported that typically educators make comments on specific aspects of performance, teach important concepts, and describe or demonstrate how the learner can improve. However educators tend to speak most of the time, ask the learner for their self-assessment but then do not respond to it, avoid corrective comments and do not routinely create actions plans. However these findings may no longer reflect current practice. In addition, no study captured the diversity of clinical educators and learners that work in a hospital environment.

따라서 우리는 직장 기반 학습 환경에서 [현대 교육자의 피드백 관행을 검토]하기 위해 자체 녹화된 비디오를 통해 병원 교육에서 진정한 공식 피드백 에피소드를 직접 관찰하기 시작했다. 이는 기회를 명확하게 하고 전문 개발 교육의 설계를 알릴 수 있다. 호주에서는 의료 전문 교육이 병원에 집중되어 입원 병동과 외래 진료소를 통합하고 있으며, 주요 전문 외래 환자 센터는 드물고 가족 의료 진료소는 상대적으로 작다. 바람직한 피드백 요소가 직업에 특정되지 않기 때문에 병원에 존재하는 다양성의 특징인 다양한 참가자를 모집했다. 우리는 완전한 피드백 상호작용을 포착하기 위해 공식적인 피드백 세션을 목표로 삼았다. 그런 다음 고품질 피드백을 위해 권장되는 관찰 가능한 일련의 교육자 행동을 사용하여 교육자 피드백 관행의 구성을 분석했다(표 1 참조) [20]. 이를 통해 덜 구조적이고 더 탐색적인 접근법이 사용되었던 이전 연구와 달리 포괄적인 행동 지표 세트를 사용하여 수집된 첫 번째 데이터 세트를 체계적으로 분석할 수 있었다. 이 프레임워크는 학습자의 참여, 동기 부여 및 개선을 지원함으로써 학습자의 결과를 향상시키는 것으로 간주되는 25가지 개별 관찰 가능한 교육자 행동을 개략적으로 설명한다(표 1 참조)[20]. 우리 팀의 이 초기 출판물은 학습자 결과를 향상시키기 위해 경험적 정보에 의해 입증된 교육자의 역할의 뚜렷한 요소를 식별하기 위한 광범위한 문헌 검토로 시작하여 관찰 가능한 행동으로 운영되고 전문가와 함께 델파이 프로세스를 통해 개선되는 방법을 설명했다.
Therefore we set out to directly observe authentic formal feedback episodes in hospital training, via self-recorded videos, to review contemporary educators’ feedback practice in workplace-based learning environments. This could then clarify opportunities and inform the design of professional development training. In Australia, health professions training is concentrated in hospitals, integrating both inpatient wards and outpatient clinics; major dedicated specialist outpatient centres are rare and family medicine clinics are relatively small. We recruited a range of participants, characteristic of the diversity present in hospitals, as desirable feedback elements are not profession specific. We targeted formal feedback sessions to capture complete feedback interactions. We then analysed the composition of educators’ feedback practice using a comprehensive set of observable educator behaviours recommended for high quality feedback (see Table 1) [20]. This enabled a systematic analysis of the first set of data gathered using a comprehensive set of behavioural indicators, in contrast to previous studies in which less structured and more exploratory approaches were used. This framework outlines 25 discrete observable educator behaviours considered to enhance learner outcomes by engaging, motivating and assisting a learner to improve (see Table 1) [20]. This earlier publication by our team described how these items were developed, starting with an extensive literature review to identify distinct elements of an educator’s role substantiated by empirical information to enhance learner outcomes, then operationalised into observable behaviours and refined through a Delphi process with experts.

방향 및 프로세스
Orientation and Process
1. 관찰된 성과를 기준으로 합니다.
1. Based on observed performance
교육자의 논평은 관찰된 성과에 기초했다.
The educator’s comments were based on observed performance
2. 적시 피드백
2. Timely feedback
교육자는 가능한 한 빨리 성과에 대해 논의하겠다고 제안했다.
The educator offered to discuss the performance as soon as practicable
3. 피드백 목적 명확
3. Feedback purpose clear
교육자는 피드백의 목적이 학습자의 성과 향상을 돕는 것이라고 설명했습니다.
The educator explained that the purpose of feedback is to help the learner improve their performance
4. 비판적이지 않은 분위기 조성: '도움을 주기 위해 여기에 있다.'
4. Establish a non-judgmental atmosphere: ‘here to help’
교육자는 기술을 개발하는 동안 일부 측면이 개선될 것으로 기대되며 교육자는 비판이 아니라 도움을 주기 위해 여기에 있다고 지적했다.
The educator indicated that while developing a skill, it is expected that some aspects can be improved and the educator is here to help, not criticise
5. 피드백 프로세스를 명확히 하여 학습자가 무엇을 기대해야 하는지 알 수 있도록 합니다.
5. Clarify feedback process, so learner knows what to expect
교육자는 피드백 토론을 위한 의도된 프로세스를 설명했습니다.
The educator described the intended process for the feedback discussion
학습자 중심의 초점
Learner-centred Focus
6. 대화 장려
6. Encourage dialogue
교육자는 학습자가 대화형 토론에 참여하도록 권장했습니다.
The educator encouraged the learner to engage in interactive discussions
7. 학습자의 우선순위를 찾습니다.
7. Seek learner’s priorities
교육자는 학습자에게 관찰 및 피드백 토론을 위한 학습 우선순위에 대해 질문하고 응답했습니다.
The educator asked the learner about their learning priorities for the observation and feedback discussion, and responded to them
8. 학습자가 '스스로 해결'하도록 유도합니다.
8. Encourage learner to ‘work it out for themselves’
교육자는 피드백 토론 중에 학습자가 문제와 가능한 해결책을 고려하도록 권장했습니다.
The educator encouraged the learner to consider the issues and possible solutions during the feedback discussion
9. 학습자가 한계를 은폐하기보다는 학습에 집중하도록 유도합니다.
9. Encourage learner to focus on learning, rather than trying to cover up limitations
교육자는 학습자가 해결책을 개발하는 데 도움을 줄 수 있도록 학습자가 어려움을 논의하고 성과에 대해 질문하도록 권장했습니다.
The educator encouraged the learner to discuss difficulties and ask questions regarding the performance so the educator could help the learner to develop solutions
10. 학습자의 정서적 반응을 인정하라
10. Acknowledge learner’s emotional response
교육자는 학습자가 표현한 감정을 인식하고 적절히 대응하였다.
The educator acknowledged and responded appropriately to emotions expressed by the learner
11. '진심으로 관심을 갖는다'
11. ‘Best interests at heart’
교육자는 학습자에 대한 존경과 지원을 보여주었다.
The educator showed respect and support for the learner
성능 분석
Performance Analysis
12. 자기평가의 가치를 명확히 한다.
12. Clarify the value of self-assessment
교육자는 학습자가 자기 평가의 이점에 대해 무엇을 이해하고 명확하게 설명하는 데 도움을 주었는지 물었습니다.
The educator asked what the learner understood about the benefits of self-assessment and helped clarify
13. 학습자 자기 평가
13. Learner self-assessment
교육자는 학습자에게 학습자 성과와 목표 성과 간의 주요 유사점과 차이점을 식별하도록 요청했습니다.
The educator asked the learner to identify key similarities and differences between the learner’s performance and the target performance
14. 목표 성과 및 추론 명확
14. Target performance and reasoning clear
교육자는 학습자에게 목표 성과의 주요 특징을 명확히 설명하고 그 이유를 설명했습니다.
The educator clarified with the learner key features of the target performance and explained the reasoning
15. 명확한 성과 차이를 포함한 교육자 평가
15. Educator assessment, including clear performance gap
교육자는 학습자의 성과와 목표 성과 간의 유사점과 차이점을 학습자에게 명확히 설명하였다.
The educator clarified with the learner similarities and differences between the learner’s performance and the target performance
16. 교육자는 몇 가지 중요한 문제에 대한 의견을 말합니다.
16. Educator comments on a few, important issues
교육자의 의견은 성과 향상을 위한 주요 문제에 초점을 맞췄다.
The educator’s comments focused on key issues for improving the performance
17. 구체적인 사례('무슨 일이')
17. Specific instance (‘what happened’)
먼저 교육자는 중립적인 언어를 사용하여 학습자가 한 일(행동, 결정 또는 행동)과 그 결과를 설명했습니다.
First the educator described, using neutral language, what the learner did (action, decision or behaviour), and the consequences
18. 교육자의 관점 명확 ('왜 중요한가')
18. Educator’s perspective clear (‘why it matters’)
교육자는 학습자가 우려하는 이유를 포함하여 학습자의 행동에 대한 관점을 명확하게 설명했습니다.
The educator clearly explained their perspective on the learner’s actions, including the reason for their concern
19. 교육자는 학습자의 관점을 탐구한다('왜' 학습자는 자신이 했던 대로 행동했는가).
19. Educator explores learner’s perspective (‘why’ the learner acted as they did)
교육자는 학습자의 관점과 추론을 탐구하여 학습자의 행동(예: 학습자가 무엇을 하려고 했는지, 고려된 옵션/어려움에 직면한 어려움)의 근거를 밝힙니다.
The educator explored the learner’s perspective and reasoning to reveal the basis for the learner’s actions (e.g. what was the learner trying to do and options considered/ difficulties encountered)
20. 사람이 아닌 행동에 집중하라 ('is'가 아닌 'did'에)
20. Focus on actions, not the person (‘did’ not ‘is’)
교육자의 의견은 개인적 특성이 아닌 학습자의 행동에 초점이 맞춰졌다.
The educator’s comments were focused on the learner’s actions not personal characteristics
실행 계획
Action Plan
21. 학습 우선순위 선택: 학습자에게 가장 유용한(중요하고 관련성 있는) 것
21. Select learning priorities: most useful (important and relevant) for the learner
교육자는 학습자가 개선할 성과의 몇 가지 주요 측면을 선택할 수 있도록 도와주었습니다.
The educator helped the learner to select a couple of key aspects of the performance to improve
22. 실행 계획을 개발하라: 어떻게 해야 하는가!
22. Develop the action plan: how to do it!
교육자는 학습자가 성과를 개선할 수 있는 방법을 연구하고 성과를 달성하기 위한 실질적인 단계를 명시할 수 있도록 도와주었습니다.
The educator helped the learner to work how they could improve their performance and specify the practical steps to achieve it
23. 학습자가 계획을 이해하는지 확인합니다.
23. Check the learner understands the plans
교육자는 학습자가 학습 목표와 실행 계획을 이해했는지 확인하고, 이를 자신의 말로 요약하도록 요청했습니다.
The educator checked if the learner understood their learning goals and action plan, by asking them to summarise it in their own words
24. 학습자가 근거를 이해하고 있는지 확인합니다. '왜 더 나은지'
24. Checks the learner understands the rationale: ‘why it’s better’
교육자는 학습자가 학습 목표와 실행 계획의 근거를 이해했는지 확인했습니다.
The educator checked if the learner understood the rationale for their learning goals and action plan
25. 피드백의 영향을 검토할 기회 계획
25. Plan opportunities to review the impact of the feedback
교육자는 학습자가 진행 상황을 검토할 수 있는 후속 기회에 대해 학습자와 논의했습니다.
The educator discussed with the learner possible subsequent opportunities for the learner to review their progress
  1. Reproduced with permission from Johnson et al. BMC Medical Education (2016) 16:96 Identifying educator behaviours for high quality verbal feedback in health professions education: literature and expert refinement

 

우리는 학습자 중심의 패러다임을 강력하게 지지하지만, 교육자들이 학습자들이 안전함을 느끼고 참여하며 성공적으로 기술을 향상시킬 수 있는 여건을 조성하기 위해 영향력 있는 위치에 있기 때문에 피드백에서 교육자의 역할에 초점을 맞추기로 결정했다. 우리는 특정 피드백 에피소드가 관련된 개인, 맥락 및 문화에 의해 형성된다는 것에 동의하지만, 학습자의 동기와 성과를 향상시킬 수 있는 능력을 촉진하는 전략은 여전히 관련이 있다. [권장 피드백 행동]은 로봇 방식으로 구현하기 위한 것이 아니라, 상호 작용 전반에 걸쳐 가장 유용한 측면의 우선순위를 지정하여 특정 상황에 맞게 조정된다. 품질 피드백의 핵심 부분에는 목표 성과를 명확히 하고, 이 목표와 비교하여 학습자의 성과를 분석하며, 개선을 위한 실질적인 단계를 개략적으로 설명하고, 진행 상황을 검토하는 방법을 계획하는 것이 포함됩니다 [4, 9, 21]. 가장 중요한 주제는 안전한 학습 환경 내에서 동기 부여 촉진[22,23,24,25], 능동적 학습[26,27,28] 및 협업[29,30,31,32]을 포함한다[10,33,34].
While we strongly endorse a learner-centred paradigm, we have chosen to focus on the educator’s role in feedback because educators are in a position of influence to create conditions that encourage learners to feel safe, participate and work out how to successfully improve their skills. We agree that specific feedback episodes are shaped by the individuals involved, the context and the culture, however strategies to promote a learner’s motivation and capability to enhance their performance remain relevant. Recommended feedback behaviours are not intended to be implemented in a robotic fashion but tailored to a particular situation by prioritising the most useful aspects throughout the interaction. The core segments of quality feedback include clarifying the target performance, analysing the learner’s performance in comparison to this target, outlining practical steps to improve and planning how to review progress [4, 9, 21]. Overarching themes include promoting motivation [22,23,24,25], active learning [26,27,28] and collaboration [29,30,31,32] within a safe learning environment [10, 33, 34].

연구 질문
Research question

본 연구에서 다루어진 연구 질문은 다음과 같다.
The research questions addressed in this study were:

  • 병원 실무 환경에서 임상 교육자가 공식 피드백 세션에서 보여주는 행동은 무엇입니까?
  • 이러한 행동이 공개된 피드백 권장 사항과 얼마나 밀접하게 일치합니까?
  1. What behaviours are exhibited by clinical educators in formal feedback sessions in hospital practice settings?
  2. How closely do these behaviours align with published recommendations for feedback?

방법들
Methods

연구 개요
Research overview

이 관찰 연구에서 선임 임상의(교육자)는 병원 환경에서 일상적인 임상 작업을 수행하는 주니어 임상의 또는 학생(학습자)을 관찰한 다음 후속 공식 피드백 세션 동안 자신들을 비디오로 촬영했다. 고품질 피드백에서 권장되는 일련의 교육자 행동을 기반으로 체크리스트를 사용하여 각 비디오를 분석했습니다(표 1 참조) [20].
In this observational study, senior clinicians (educators) observed junior clinicians or students (learners) performing routine clinical tasks in a hospital setting and then videoed themselves during the subsequent formal feedback session. We analysed each video using a check-list based on the set of educator behaviours recommended in high quality feedback (see Table 1) [20].

피드백 비디오는 2015년 8월과 2016년 12월 사이에 호주에서 가장 큰 대도시 교육 병원 네트워크 중 하나 내의 여러 병원에서 캡처되었다. 윤리 승인은 보건서비스(참고문헌 15,233L)와 대학 인간연구윤리위원회(참고문헌 2,015,001,338)에서 얻었다.
The feedback videos were captured at multiple hospitals within one of Australia’s largest metropolitan teaching hospital networks between August 2015 and December 2016. Ethics approval was obtained from the health service (Reference 15,233 L) and university human research ethics committees (Reference 2,015,001,338).

모집
Recruitment

의학, 간호, 물리치료, 직업치료, 언어치료, 사회복지 분야의 교육자(상급 임상의)와 그들과 함께 일하고 있는 학습자(추가 훈련을 받는 자격을 갖춘 보건 전문가 또는 학생)가 참여하도록 초대되었다. 전단지를 이용한 광범위한 연구 광고, 부서 관리 보조원이 배포한 이메일, 부서 회의에서의 짧은 프레젠테이션 및 보건 서비스 전반에 걸친 직원과의 대면 회의를 통해 광범위한 교육자를 구했다. 참여를 고려하기 위해서는 교육자가 광고에 응답하여 1차 연구원(CJ)에게 연락해야 했다. 교육자가 동의하면, 그들은 그들과 함께 일하는 모든 학습자들에게 전단지를 배포했고, 학습자들이 참여에 관심이 있다면 1차 연구원(CJ)에게 연락하라는 지침이 포함되어 있었다. 참가자들에게 롤링 광고를 통해 다양성을 추구했으며, 건강 직업 및 전문 분야, 성별 및 감독자 경험(교육자) 또는 훈련 수준(학습자) 등 주요 요인을 고려했다. 교육자와 학습자가 모두 동의한 후에는 두 사람에게 조언을 제공하고 일상적인 피드백 세션을 비디오로 녹화할 수 있도록 준비했습니다. 전체 피드백 만남을 기록하되, 시간은 약 10분을 목표로 설정하도록 요청받았지만 피드백 세션을 수행하는 방법에 대한 추가 지침은 제공되지 않았습니다. 참가자들은 비디오 분석에 사용된 고품질 피드백에 대해 권장된 25가지 교육자 행동을 보여주지 않았고, 현재 피드백 관행의 성격을 연구하는 것이 목적이었기 때문에 연구팀으로부터 피드백에 대한 다른 교육도 받지 못했다.
Educators (senior clinicians) across medicine, nursing, physiotherapy, occupational therapy, speech therapy and social work, and their learners (either qualified health professionals undertaking further training or students), who were working with them, were invited to participate. A broad range of educators were sought, via widespread advertising of the study using flyers, emails circulated by unit administration assistants, short presentations at unit meetings and face-to-face meetings with staff across the health service. To be considered for participation, an educator had to contact the primary researcher (CJ), in response to the advertisement. Once an educator consented, they distributed flyers to any learners working with them, with instructions to contact the primary researcher (CJ) if the learners were interested in participating. Diversity was sought by rolling advertising to participants, with consideration of key factors including health profession and specialty, gender and supervisor experience (educators) or training level (learners). Once an educator and a learner had both consented, the pair were advised and they made arrangements to video a routine feedback session. They were asked to record an entire feedback encounter and aim for a duration of approximately 10 minutes but were not given any additional instructions regarding how to conduct the feedback session. Participants were not shown the set of 25 educator behaviours recommended for high quality feedback used to analyse the videos nor given any other education on feedback from the research team, as the aim was to study the nature of current feedback practices.

동의하는 참가자들은 직장 기반 평가 또는 첨부 파일 종료 성과 평가와 관련된 다음 예정된 공식 피드백 세션에서 자신을 비디오로 녹화하기 위해 스마트폰이나 컴퓨터를 사용했다. 이 비디오는 이후 암호로 보호된 온라인 드라이브에 업로드되었으며 참가자들은 자신의 복사본을 삭제하라는 지시를 받았습니다. 비디오는 무작위 번호 생성기를 사용하여 번호가 매겨졌고 (이미지를 제외한) 비디오에는 개인 식별 정보가 포함되어 있지 않았다.
Consenting participants used a smart phone or computer to video-record themselves at their next scheduled formal feedback session related to either a workplace-based assessment or end-of-attachment performance appraisal. This video was subsequently uploaded to a password protected on-line drive and participants were instructed to delete their copy. The videos were numbered using a random number generator and the videos (other than the images) contained no personal identifying information.

비디오 분석
Video analysis

평가자 그룹은 감독 및 피드백에 대한 광범위한 경험이 있는 상급 교육/교육 연구 역할의 모든 보건 전문가(의료 2명, 물리치료 4명)였다. 각 평가자는 각 비디오를 독립적으로 분석하고 관찰 결과를 고품질 피드백을 위해 권장되는 25가지 교육자 행동과 비교했다(표 1 참조) [20]. 각 교육자 행동은 0 = 보이지 않음, 1 = 어느 정도 또는 가끔만 수행됨, 2 = 일관성 있게 수행됨으로 평가되었다.
The group of raters were all health professionals (two medical, four physiotherapy) in senior education/educational research roles with extensive experience in supervision and feedback. Each rater analysed each video independently and compared their observations with the set of 25 educator behaviours recommended for high quality feedback (see Table 1) [20]. Each educator behaviour was rated 0 = not seen, 1 = done somewhat or done only sometimes, 2 = consistently done.

사전 시범 연구에서, 우리는 그 기구를 사용하여 세 개의 비디오를 평가했다. 그런 다음 우리는 등급에 대해 논의하고 항목의 해석과 등급 척도의 사용에서 차이를 식별하기 위해 만났다. 일치를 장려하고 항목의 의미를 명확히 하는 전략이 개발되었다. 특히 '행동 2: 시기적절한 피드백을 확인했다.'는 교육자가 가능한 한 빨리 성과를 논의하자고 제안한 것은 관찰할 수 없었기 때문에 제외되었다. '행동 10: 학습자의 감정적 반응을 인정합니다'에 대해서, 교육자는 학습자가 표현한 감정을 인정하고 적절히 대응하였으며, 우리는 이것이 다음과 같은 상황에서 '2'(당연히 수행됨)로 평가되기로 결정했다. 

  • i) 학습자 감정의 암묵적 또는 명시적 지표(예: 불안 또는 방어)가 감지되고 교육자가 이를 인정하고 이에 주의를 기울인 경우 또는 
  • ii) 교육자와 학습자 사이의 이러한 정서적 균형이 교육자가 단서를 읽고 그에 따라 행동할 것을 요구한다고 가정한 것처럼, 만남 내내 정서적 균형이 관찰되었다.

결과적으로 총 항목 점수는 0에서 48 사이가 될 수 있습니다.

In a preparatory pilot study, we rated three videos using the instrument. We then met to discuss ratings and to identify differences in interpretation of items and the use of the rating scale. Strategies to encourage concordance and to clarify item meaning were developed. In particular we identified that Behaviour 2: Timely feedback: The educator offered to discuss the performance as soon as practicable was not observable, so it was excluded. For Behaviour 10: Acknowledge learner’s emotional response: The educator acknowledged and responded appropriately to emotions expressed by the learner, we decided that this would be rated as ‘2’ (consistently done) in the following situations

  • i) if implicit or explicit indicators of learner emotion (such as anxiety or defensiveness) were detected, and the educator acknowledged, and attended to this, or
  • ii) if emotional equilibrium was observed throughout the encounter, as we assumed that this emotional balance between educator and learner required the educator to be reading cues and acting accordingly.

Subsequently the total item score could range from 0 to 48.

데이터 분석
Data analysis

그 데이터는 두 가지 관점을 제공했다. 

  • i) 개별 교육자의 관행: 고품질 피드백에서 권장되는 행동 중 몇 가지가 각 비디오에서 관찰되었으며 
  • ii) 교육자 그룹 전체에 걸친 관행: 어떤 행동이 일반적으로 수행되었는지. 

비디오에서 볼 수 있는 각 개별 교육자의 실습을 특성화하기 위해, 각 항목의 점수를 평가자들 사이에서 평균화한 다음 합계하여 총점을 주었다. 전체 교육자 그룹에서 특정 교육자 행동이 얼마나 자주 관찰되었는지 설명하기 위해, 각 항목에 대한 평균 점수와 표준 편차를 모든 비디오에 걸쳐 계산했다[35]. 평가자 간 신뢰성을 평가하기 위해 Spearman's rho를 사용하여 각 비디오에 대한 총 점수를 검사자 쌍 간의 일치성에 대해 평가했다.
The data provided two perspectives

  • i) on an individual educator’s practice: how many of the behaviours recommended in high quality feedback were observed in each video and
  • ii) across the whole group of educators: which behaviours were commonly performed.

To characterise each individual educator’s practice seen in a video, the scores for each item were averaged across assessors and then summed to give a total score. To describe how commonly specific educator behaviours were observed amongst the whole group of educators, the mean score and standard devation for each item was calculated across all the videos [35]. To assess inter-rater reliability, total scores for each video were assessed for concordance between examiner pairs using Spearman’s rho.

결과.
Results

5개가 제외된 후 36개의 피드백 비디오를 분석할 수 있었다. 2개는 불완전하기 때문에(스마트폰 메모리 부족), 3개는 녹음의 기술적 오류 때문에(오디오 불분명, 시간 경과 포맷 사용, 참가자가 보이지 않음).
Thirty-six feedback videos were available for analysis after five were excluded: two because they were incomplete (insufficient smartphone memory) and three because of technical errors with recording (audio unclear, time-lapse format used, participants not visible).

비디오 참가자
Video participants

34명의 교육자가 참여했으며, 주요 특성(보건 직업 및 전문 분야, 감독자 경험 기간 및 성별)에 걸쳐 다양성을 갖추고 있습니다. 4명의 간호사, 4명의 물리치료사, 26명의 상급 의료진(3명의 마취사, 3명의 응급의사, 2명의 방사선사, 1명의 소아과 의사, 6명의 의사, 3명의 정신과 의사, 3명의 산부인과 의사, 1명의 안과의사, 4명의 외과의사)이 있었다. 여성 교육자는 18명(52.9%), 남성 교육자는 16명(47.1%)이었다. 교육자 경력이 5년 이하인 사람은 14명(41.2%), 6~10년 이상인 사람은 11명(32.3%), 10년 이상인 사람은 9명(26.5%)이었다.
Thirty-four educators participated, with diversity across key characteristics (health profession and specialty, length of supervisor experience and gender). There were four nurses, four physiotherapists and 26 senior medical staff (three anaesthetists, three emergency physicians, two radiologists, one paediatrician, six physicians, three psychiatrists, three obstetrician-gynaecologists, one opthalmologist and four surgeons). There were 18 (52.9%) female and 16 (47.1%) male educators. Fourteen (41.2%) educators had 5 years or less educator experience, 11 (32.3%) had six to 10 years and 9 (26.5%) had more than 10 years.

35명의 학습자가 주요 특성(건강 직업 및 전문 분야, 훈련 수준 및 성별)에 걸쳐 다양하게 참여했습니다. 수강생은 9명(25.7%), 사후자격 5년 이하 임상 9명(25.7%), 사후자격 6년 이상 임상 15명(42.9%), 상급 임상 2명(5.7%)이었다. 학습자는 23명이 여성(65.7%), 12명(34.3%)이었다. 모든 참가자들은 각각의 교육자들과 같은 보건 직업과 전문 분야에서 왔다.
Thirty-five learners participated with diversity across key characteristics (health profession and specialty, training level and gender). There were 9 (25.7%) students, 9 (25.7%) clinicians who were five years or less post-qualification, 15 (42.9%) clinicians 6 years or more post-qualification and 2 (5.7%) senior clinicians. Twenty-three learners were (65.7%) female and 12 (34.3%) were male. All participants were from the same health profession and specialty as their respective educators.

피드백 세션은 11개(30.6%)의 비디오에서 첨부파일 중간 또는 종료 평가와 25개(69.4%)의 비디오에서 특정 과제(절차적 기술, 임상 평가, 사례 토론 또는 발표 등)와 관련이 있었다. 피드백 세션 중 11회(30.6%)는 대학 또는 전문 의과대학 등 기관의 공식 피드백 양식을 사용하였으며, 대부분 첨부파일 중간 또는 첨부파일 종료 평가였다. 대부분의 평가는 형식적이었지만 일부는 프로그램적 평가 원칙에 따라 종적 훈련 프로그램의 구성요소로서 종합적이었다[3].
The feedback session was related to a mid- or end-of-attachment assessment in 11 (30.6%) videos and to a specific task (such as a procedural skill, clinical assessment, case discussion or presentation) in 25 (69.4%) videos. An official feedback form from an institution such as a university or specialist medical college was used in 11 (30.6%) of the feedback sessions, most of which were mid- or end-of-attachment assessments. Most of the assessments were formative but some were summative as a component of longitudinal training programs aligned with programatic assessment principles [3].

피드백 중 교육자 행동 분석
Analysis of educator behaviours during feedback

각 비디오는 4~6명의 평가자에 의해 분석되어 총 174개의 평가 세트를 제공했다(두 평가자에 의한 프로젝트의 예상치 못한 시간 제한 분석). 누락된 데이터는 드물었습니다(0.2%의 누락).
Each video was analysed by four to six raters providing a total of 174 sets of ratings (unexpected time constraints on the project limited analysis by two raters). Missing data were uncommon (0.2% ratings missing).

평가자 간 신뢰성
Inter-rater reliability

비교를 위한 데이터를 최대화하기 위해 모든 비디오를 분석한 평가자(4/6)에 대해 총 점수에 대한 평가자 간 신뢰성 범위를 계산했다. Spearman's rho는 0.62–0.73이었다. 나머지 두 평가자는 36개 동영상 중 10개(28%)와 21개(58%) 등급을 매겼으며, 평가자 간 신뢰도 분석에는 포함되지 않았다.
To maximise data for comparison, the inter-rater reliability range for total scores was calculated for raters (4/6) who analysed all the videos: Spearman’s rho was 0.62–0.73. The other two raters rated 10 (28%) and 21 (58%) of the 36 videos and were not included in the inter-rater reliability analysis.

개별 교육자의 피드백 실무
Individual educator’s feedback practice

개별 교육자의 관행과 각 비디오에서 권장되는 교육자 행동 중 몇 가지가 관찰되었는지에 대해 자세히 알아보기 위해, 우리는 각 비디오에 대한 총 점수(관찰된 각 행동에 대한 등급의 합, 모든 평가자에 걸쳐 평균)를 계산했다. 총 점수는 최소 5.7점(11.9%)에서 최대 34.2점(71.3%)까지 다양했으며, 교육자들의 평균 점수는 최대 48점에서 22.5점(46.9%, SD 6.6)이었다. 보다 상세한 분석(표 2 참조)을 통해 사실상 모든 교육자(88%)가 총점이 10점에서 30점 사이인 것으로 나타났다. 비록 서로 다른 특성에 걸쳐 성과를 비교하는 것이 우리의 의도는 아니었지만(비교를 가능하게 하기 위해 각 그룹에 충분한 표본 크기가 필요함), 건강 전문가, 경험 및 성별이 점수 범위에 걸쳐 상당히 고르게 분포되어 있는 것으로 보였다.
To learn more about individual educator’s practice and how many of the recommended educator behaviours were observed in each video, we calculated a total score (sum of rating for each observed behaviour, averaged across all assessors) for each video. Total scores ranged from a minimum of 5.7 (11.9%) to a maximum of 34.2 (71.3%), with a mean score across educators of 22.5 (46.9%, SD 6.6), from a maximum possible score of 48. More detailed analysis (see Table 2) revealed virtually all the educators (88%) had a total score between 10 and 30. Although it was not our intention to compare performance across different characteristics (which would require sufficient sample sizes for each group, to enable comparisons), there seemed to be a fairly even spread of health professions, experience and gender across the score ranges.

전체 교육자 그룹에 걸쳐 특정 교육자의 행동 빈도
Frequency of specific educator behaviours across the whole group of educators

모든 참가자들 사이에서 구체적인 피드백 행동이 얼마나 자주 관찰되었는지 탐구하기 위해, 우리는 모든 비디오에서 각 행동에 대한 평균 평점 점수를 계산했다. 표 3은 각 행동에 대한 등급 평균(SD)을 가장 많이 관찰된 것부터 가장 적게 관찰된 것까지 순위를 매겼다. 일부 행동은 거의 모든 비디오(최고 평균 등급 1.75, 행동 10)에서 관찰된 반면, 다른 행동은 매우 드물게 관찰되었다(최저 평균 등급 0.05, 행동 25).

To explore how often specific feedback behaviours were observed amongst all participants, we calculated the mean rating score for each behaviour across all the videos. Table 3 displays the rating mean (SD) for each behaviour, ranked from most to least often observed. Some behaviours were seen in almost every video (highest mean rating 1.75, Behaviour 10) while others were very infrequently observed (lowest mean rating 0.05, Behaviour 25).

가장 흔하게 관찰되는 교육자 행동 중에서(상위 3위: 평균 평점 1.41–2.0), 학습자의 성과에 대한 교육자의 평가와 가장 관련이 있다. 교육자들은 일반적으로 

  • 학습자 성과에 대한 의견을 학습자의 행동(행동 1, 17, 20)과 연결시키고, 
  • 개선을 위한 중요한 측면(행동 16)에 초점을 맞추고, 
  • 학습자의 성과와 목표 성과 간의 유사점과 차이점(행동 15)을 설명하고, 
  • 무엇을 해야 하는지, 그 이유를 명확히 했다(행동 14). 

일반적으로 볼 수 있는 다른 두 가지 행동은 안전한 학습 환경을 만드는 것과 관련이 있습니다. 여기에는 다음이 포함되었다.

  • 존중과 지지를 보여주는 것(행동 11)
  • 학습자가 표현하는 감정에 적절하게 반응하는 것(행동 10)

Amongst those educator behaviours most commonly observed (top third: mean rating score 1.41–2.0), most related to the educator’s assessment of the learner’s performance. Educators commonly

  • linked comments regarding learner performance to the learner’s actions (Behaviours 1, 17, 20),
  • focused on important aspects for improvement (Behaviour 16),
  • described similarities and differences between the learner’s performance and the target performance (Behaviour 15), and
  • clarified what should be done and why (Behaviour 14).

The other two behaviours commonly seen related to creating a safe learning environment. These included

  • showing respect and support (Behaviour 11) and
  • responding appropriately to emotions expressed by the learner (Behaviour 10)

교육자 행동의 중간 계층은 간헐적으로 나타났으며(평균 평점 0.71–1.40) 교육자들은 학습자들이 자신의 생각, 의견, 아이디어를 기여하고 불확실성을 드러내도록 장려하는 것과 관련이 있었다. 이것들은 포함되었다. 

  • 학습자가 대화형 토론에 참여하도록 유도합니다(행동 6). 
  • 스스로 해결하려고 노력한다(행동 8). 
  • 자신의 성과를 분석한다(행동 13). 
  • 행동의 배경에 있는 이유를 밝힙니다(행동 19). 
  • 어려움을 제기하고 질문을 한다(행동 9). 
  • 개선해야 할 가장 중요한 측면을 선택하는 데 참여한다(행동 21). 
  • 실행 계획을 통해 이를 수행하는 실질적인 방법(행동 22).

The middle band of educator behaviours were seen intermittently (mean rating score 0.71–1.40) and related to educators encouraging learners to contribute their thoughts, opinions and ideas, and to reveal their uncertainties. These included

  • encouraging the learner to participate in interactive discussions (Behaviour 6),
  • try to work things out for themselves (Behaviour 8),
  • analyse their own performance (Behaviour 13),
  • reveal the reasoning behind their actions (Behaviour 19),
  • raise difficulties and ask questions (Behaviour 9), and
  • participate in choosing the most important aspects to improve (Behaviour 21) and
  • practical ways to do this through an action plan (Behaviour 22).

교육자 행동의 가장 낮은 범위는 거의 나타나지 않았으며(평균 평점 0–0.7) 주로 피드백 세션의 설정 및 종료와 관련이 있었다

세션을 시작할 때, 안전한 학습 환경을 조성하기 위한 일환으로 권장되는 교육자 행동에는 

  • 피드백의 목적이 학습자의 향상을 돕는 것임을 명시적으로 설명하고(행동 3), 
  • 세션에 제안된 개요를 설명하고(행동 5) 
  • 실수는 학습 과정의 일부이며, 피할 수 없는 것임을 수용한다는 내용이 포함되었습니다. (행동 4). 

세션 결론 또는 마무리의 일환으로, 

  • 권장되는 행동에는 학습 목표와 실행 계획에 대한 학습자의 이해를 확인하는 것(행동 23, 24), 
  • 진행 중인 학습을 촉진하기 위해 진행 상황을 검토할 수 있는 향후 기회에 대해 논의하는 것(행동 25)이 포함되었다. 

그 밖에 거의 볼 수 없었던 교육자 행동으로는

  • 학습자의 학습 우선순위를 통합한 교육자(행동 7)와
  • 자기평가의 가치에 대한 학습자의 이해를 증진시키는 교육자(행동 12)가 있었다.

The lowest band of educator behaviours were rarely seen (mean rating score 0–0.7) and primarily related to the set up and conclusion of a feedback session.

At the start of the session, as part of creating a safe learning environment, the recommended educator behaviours included

  • explicitly explaining that the purpose of the feedback was to help the learner improve (Behaviour 3),
  • describing the proposed outline for the session (Behaviour 5), and
  • stating their acceptance that mistakes are an inevitable part of the learning process (Behaviour 4).

As part of the session conclusion or wrap-up, the recommended behaviours included

  • checking a learner’s understanding of the learning goals and action plan (Behaviours 23, 24), and
  • discussing future opportunities to review progress, to promote ongoing learning (Behaviour 25). 

The other educator behaviours that were rarely seen included the educator

  • incorporating the learner’s learning priorities (Behaviour 7) and
  • promoting the learner’s understanding of the value of their self-assessment (Behaviour 12).

논의
Discussion

교육자의 피드백 관행에 대한 이 연구에서, 우리는 개별 교육자의 관행과 교육자 그룹 전체에서 구체적인 권장 행동이 얼마나 자주 관찰되는지 모두에서 상당한 차이를 발견했다. 이는 병원 기반 교육에서 공식 피드백 에피소드 동안 '현재 발생하는 일'에 대한 귀중한 통찰력을 제공한다. 이러한 통찰력은 상당한 영향을 미칠 수 있는 잠재력을 가진 교육자 개발에 대한 향후 연구의 기회를 명확히 한다. 또한 권장 행동은 교육자가 이러한 품질 표준을 이해하고 제정하는 데 도움이 될 수 있는 특정 전략의 레퍼토리를 제공한다.
In this study of educators’ feedback practice, we found considerable variation in both an individual educator’s practice and how frequently specific recommended behaviours were observed across the group of educators. This provides valuable insights into ‘what currently happens’ during formal feedback episodes in hospital-based training. These insights clarify opportunities for future research into educator development with the potential for substantial impact. Furthermore the recommended behaviours offer a repertoire of specific strategies that may assist educators to understand and enact these quality standards.

교육자 그룹 전체에서 관찰된 특정 권장 행동의 빈도
Frequency of specific recommended behaviours observed across the group of educators

우리는 교육자들이 일상적으로 학습자의 성과에 대한 평가를 제공하고 과제가 어떻게 보여야 하는지 설명하는 것을 발견했지만, 학습자들에게 자기 평가나 실행 계획의 개발을 간헐적으로 요청했을 뿐이다. 이는 학습자의 성과에 대해 [교육자의 분석이 지배적인 문화]를 반영하는 것으로 보인다[36]. 이러한 결과는 이전의 관찰 연구와 피드백 양식의 결과와 일치한다[11, 12, 17, 19, 37, 38, 39, 40]. 이는 이러한 누락이 수 년 전에 마지막으로 보고된 이후 임상 환경에서 일반적인 피드백 관행이 거의 동일하게 유지되었음을 시사한다.

We found that educators routinely gave their assessment of the learner’s performance and described what the task should look like, but only intermittently asked learners for self-assessment or development of an action plan. This seems to reflect a culture in which the educator’s analysis of the learner’s performance predominates [36]. These findings echo those from earlier observational studies and feedback forms [11, 12, 17, 19, 37,38,39,40]. This suggests that typical feedback practice in the clinical setting has remained much the same since these omissions were last reported years ago.

[자기 평가]는 자기 조절 학습 및 평가 판단의 핵심 요소이며, 이는 성찰, 독립 학습 및 성취를 촉진합니다 [28,29,30]. 학습자 자기 평가를 위한 초대장은 학습자에게 자신의 작업을 먼저 판단하고 자신이 가장 도움을 받고 싶어하는 것이 무엇인지를 나타낼 수 있는 기회를 제공합니다 [33, 41, 42]. 자기 평가는 학습자가 자신의 성과를 교육자보다 훨씬 더 높게 평가할 경우 교육자에게 부정적인 정서적 반응과 교육자의 의견에 대한 거부 가능성을 경고할 수 있다[43]. 자가 평가는 학습자가 관찰된 성과와 원하는 성과 표준에 대한 전문가의 이해를 바탕으로 이해를 교정함으로써 평가 판단력을 향상시킬 수 있는 기회를 제공한다. 학생 피드백 리터러시에 대한 최근 연구는 학습자가 피드백을 평가하고 해석하고 활용할 수 있도록 지원하기 위해, 양질의 작업 특성에 대해 논의할 수 있는 기회를 전략적으로 설계하는 것의 중요성을 강조했다[45].
Self-assessment is a key component in self-regulated learning and evaluative judgement, which promotes reflection, independent learning and achievement [28,29,30]. Invitations for learner self-asssessment provide learners with the opportunity to judge their work first and indicate what they most want help with [33, 41, 42]. Self-assessments can alert the educator to the potential for a negative emotional reaction and rejection of the educator’s opinion if the learner rates their performance much higher than the educator [43]. Self -assessment offer opportunities for learners to enhance their evaluative judgement by calibrating their understanding against an expert’s understanding of the observed performance and the desired performance standards [4, 44]. Recent work on student feedback literacy has highlighted the importance of strategically designing opportunities for learners to make judgements and discuss characteristics of quality work, to assist them to appreciate, interpret and utilise feedback [45].

[실행 계획]이 계속해서 자주 무시된다는 사실도 마찬가지로 심각한 주의를 기울여야 한다. 교육자가 학습자에게 실행 계획을 수립하도록 지원하고 안내하지 않는다면, 학습자는 피드백 정보를 성과 개선으로 전환하는 방법을 스스로 해결해야 하는 어려운 과제를 떠안게 됩니다[21]. 또한, 학습자들이 성과 격차에 대해 들었을 때, 개선 방법을 모른다면, 그들의 고통은 더 악화될 수 있다[46].
The fact that an action plan continues to be frequently neglected similarly warrants serious attention. If educators do not support and guide learners to create an action plan, learners are left with the difficult task of working out by themselves how to transform feedback information into performance improvement [21]. Furthermore, when learners hear about performance gaps, their distress may be exacerbated if they do not know how to improve it [46].

우리의 연구는 또한 이전에 문서화되지 않은 많은 누락된 피드백 기능을 식별했다. 하나는 [학습자의 동기, 이해 및 기술 개발]을 피드백의 초점으로 포지셔닝하는 것이다. 이 문헌은 학습자가 '원하고'(동기), '어떻게 할 줄 아는'(명확한 이해) 때만 변화를 성공적으로 구현할 가능성이 있음을 시사한다.
Our study also identified a number of missing feedback features, which have not been previously documented. One involves positioning the development of a learner’s motivation, understanding and skills as the focal point for feedback. The literature suggests that a learner is only likely to successfully implement changes when they ‘wish to’ (motivation) and ‘know how to’ (clear understanding) [9, 29, 47, 48].

[자기결정이론]은 학습자가 자신의 개인적 가치와 열망에 따라 무엇을 해야 할지 결정할 때 더 높은 성과와 더 높은 웰빙과 연관된 내재적 동기가 촉진된다고 주장한다. 이는 학습자를 의사결정자로, 교육자를 지침으로 하는 권장 교육자 행동에 의해 파악됩니다(표 1: 행동 7, 21, 22 참조). 학습자는 피드백이 신뢰할 수 있고 가치가 있다는 것을 스스로 확신해야 합니다(행동 1, 6, 7, 9, 20, 24) [8, 49, 50]. 교육자와 학습자 사이의 정보, 의견 및 아이디어의 자유로운 흐름은 맞춤형 조언과 좋은 의사 결정을 위한 기초로서 공유된 이해를 창출한다[51]. 또한, [목표 설정 이론]은 학습자의 동기가 성과 격차에 대한 명확한 시각, 학습자에게 구체적이고 달성 가능하며 가치 있는 성과 목표, 그리고 그들의 필요에 따라 실용적이고 맞춤화된 행동 계획에 의해 자극된다고 주장한다(행동 14, 15, 21, 22).
Self-determination theory
argues that intrinsic motivation, which is associated with both higher performance and increased well-being, is promoted when a learner decides what to do, in line with their personal values and aspirations [23,24,25]. This is captured by recommended educator behaviours that position the learner as decision maker and the educator as guide (see Table 1: Behaviours 7, 21, 22). A learner must be convinced for themselves that the feedback is credible and valuable (Behaviours 1, 6, 7, 9, 20, 24) [8, 49, 50]. The free flow of information, opinion and ideas between the educator and learner creates a shared understanding, as a foundation for tailored advice and good decision making [51]. In addition, Goal Setting Theory asserts that a learner’s motivation is stimulated by a clear view of the performance gap, performance goals that are specific, achievable and valuable to the learner, and an action plan that is practical and tailored to suit their needs (Behaviours 14, 15, 21, 22) [22].

최근 피드백의 발전은 학습자가 피드백 정보를 처리하고 활용할 수 있도록 지원할 필요성에 초점을 맞추고 있습니다. 따라서 학습자는 자신의 성과를 '어떻게 향상시킬지' 알게 되어야 한다. 이것은 R2C2 피드백 모델에서 예시되며, 여기에는 학습자가 정보와 정보에 대한 반응을 탐색하고, 스킬 개발을 위한 효과적인 전략을 설계하는 데 도움을 주는 것이 포함됩니다. [사회 구성주의 학습 이론]은 학습자가 다른 사람과의 상호 작용을 통해 새로운 정보의 의미를 만드는 방법을 설명한다[52]. 이러한 능동적 학습을 촉진하기 위해 권장되는 교육자 행동에는 학습자가 자신의 성과를 분석하고 '자신을 위해 해결할 수 있는 문제'(행동 8, 12, 13), 학습자의 어려움이나 질문에 대한 질문(행동 9), 그리고 세션을 끝내기 전에 실행 계획에 대한 학습자의 이해를 확인하는 것이 포함됩니다. (행동 23, 24) [53].
Recent advances in feedback have focused on the need to assist learners to process and utilise feedback information, so they ‘know how to’ enhance their performance. This is exemplified in the R2C2 feedback model, which includes assisting a learner to explore the information, their reactions to it and to design effective strategies for skill development [30, 32, 51]. Social constructivist learning theory describes how a learner makes meaning of new information through interactions with others [52]. To promote this active learning, recommended educator behaviours include encouraging the learner to analyse their own performance and ‘work things out for themselves’ (Behaviours 8,12,13), enquiring about the learner’s difficulties or questions (Behaviour 9) and checking the learner’s understanding of the action plan before concluding the session (Behaviours 23, 24) [53].

본 연구에서 거의 볼 수 없는 효과적인 피드백의 또 다른 특징은, (교육자들이 전반적으로 학습자들에 대한 존중과 지지를 보였음에도 불구하고), 세션을 시작할 때 의도적으로 안전한 학습 환경을 설정하지는 않았다는 것이다. 최근의 문헌은 안전한 학습 환경을 촉진하고 교육 동맹을 구축하는 것의 중요성을 강화했다[34]. 이것은 교육자와 학습자가 확립된 관계가 없을 때 특히 중요한 전략이 될 수 있으며, 이는 짧은 배치와 학습자를 돌보는 다수의 감독자가 있는 현대 직장 훈련에서 점점 더 보편화되고 있는 것으로 보인다[54]. 과도한 불안은 사고, 학습, 기억에 부정적인 영향을 미친다. 피드백은 본질적으로 심리적으로 위험하다. 학습자의 한계가 노출되면, 교육자로부터 낮은 점수나 비판적 코멘트를 받거나, 학습자의 자아의식을 위협할 수 있다. Carless [10]은 피드백의 강력한 관계적, 정서적, 동기적 영향을 고려하여 신뢰의 중요한 역할을 강조했다. 교육자들은 자연적인 불안감에 대처하기 위해 "실수는 기술 습득 과정의 일부"이며, 비판적이 아니라 도움을 주고자 한다는 점을 분명히 할 수 있다[53]. 또한, 교육자가 피드백 세션에 대한 프로세스와 기대를 협상한 경우, 학습자가 앞으로 일어날 일을 모르거나 통제할 수 없을 때 발생하는 불안을 줄일 수 있다[30].

Another feature of effective feedback rarely seen in our study was educators deliberately setting up a safe learning environment at the start the session, although they showed respect and support for learners in general. Recent literature has reinforced the importance of promoting a safe learning environment and establishing an educational alliance [34]. This may be a particularly important strategy when the educator and learner do not have an established relationship, which seems to be increasingly commonplace in modern workplace training with short placements and multiple supervisors attending to learners [54]. Excessive anxiety negatively impacts on thinking, learning and memory [53, 55, 56]. Feedback is inherently psychologically risky; if a learner’s limitations are exposed, this can result in a lower grade or critical remarks from the educator, or threaten a learner’s sense of self [5, 33, 46]. Carless [10] highlighted the important role of trust in view of the strong relational, emotional and motivational influences of feedback. In an attempt to counter the natural anxiety, educators could be explicit that “mistakes are part of the skill-acquisition process” and that they desire to help, not to be critical [53]. In addition, if an educator negotiated the process and expectations for the feedback session, this could reduce the anxiety caused when the learner does not know, or have any control over, what is going to happen [30].

마지막으로 중요한 특징 중 하나는 [학습 활동의 고립]이었다. 우리 연구에서 학습자가 목표 기술을 어느 정도까지 성공적으로 개발할 수 있었는지 검토할 수 있는 시기와 방법에 대해 논의한 교육자는 없었다(행동 25). 이것은 모든 것 중에서 가장 낮은 순위의 행동이었다. Molloy와 Boud[9]는 [피드백 계획을 구현하고 후속 과제에서 진행률을 평가]할 수 있도록 [학습 활동을 연계하여 성과 개발을 촉진하는 것]의 중요성을 강조했다. 감독은 본질적으로 점점 더 단기적이고 단편적이기 때문에, 유사한 과제를 수행하는 평가를 받을 수 있는 또 다른 기회를 의도적으로 계획할 때 학습자와 협력하는 것이 중요한 목표로 보인다.
One final important feature was the isolation of the learning activity. In our study, no educator discused when or how the learner might be able to review to what extent they had been able to successfully develop the targeted skills (Behaviour 25); this was the lowest ranked behaviour of all. Molloy and Boud [9] have emphasised the importance of promoting performance development by linking learning activities, so that feedback plans can be implemented and progress evaluated in subsequent tasks. As supervision is increasingly short-term and fragmented in nature, collaborating with the learner in deliberately planning another opportunity to be assessed performing a similar task seems an important objective.

개별 교육자의 관행
Individual educator’s practice

우리 연구에서 발견된 개별 교육자의 점수 범위는 교육자들이 피드백에 대한 다양한 전문 지식을 가지고 있음을 시사한다. 교육자들은 비디오 분석에 사용된 권장 행동 목록을 보여주지 않았다. 공식적으로 테스트되지는 않았지만, 점수 범위에 걸친 감독자 경험의 확산에 기초하여 더 많은 경험이 더 큰 전문성을 부여한다는 징후는 데이터에 없었다(표 2). 우리는 우리 교육자들의 전문적인 개발 훈련에 대해 묻지 않았다. 잠재적으로 흥미롭긴 하지만, 이 정보는 권장되는 행동과 비교하여 현재 직장 관행을 평가하는 우리의 주요 목표와 밀접한 관련이 있었다. 교육 패러다임이 시간이 지남에 따라 상당히 변화하고 교육자의 행동이 학습자 시절에 사용된 방법을 부분적으로 반영할 수 있다는 점을 고려할 때, [피드백 접근법에서 관찰한 가변성]은 최근 발전에 초점을 맞춘 [전문적 개발이 지속적으로 필요함]을 강조한다.

The range in individual educator’s scores found in our study suggests the educators had variable expertise in feedback. Educators were not shown the check-list of recommended behaviours used in video analysis. Although not formally tested, there was no indication in the data that more experience conferred greater expertise, based on the spread of supervisor experience across the score ranges (Table 2). We did not ask about our educators’ professional development training. Although potentially interesting, this information was tangential to our primary goal of assessing current workplace practice against recommended behaviours. Given that education paradigms have changed considerably across time, and that educator behaviour may partly reflect methods used when they were learners, the observed variability in feedback approaches highlights the need for continuing professional development that focuses on recent advances.

[전문직 간에 현저한 점수 차이가 없다는 것]은 공식적인 만남 내의 피드백 기술이 다르다기보다는 비슷할 수 있다는 것을 시사한다. 따라서 [피드백 리터러시 교육]은 적어도 부분적으로 [보건 전문가 전체의 교육자를 위해 설계]함으로써 상당한 효율성을 얻을 수 있다. 그럼에도 불구하고, 이러한 기술이 비공식적인 피드백 만남 내에서 그리고 다양한 맥락에서 변화하는 정도는 더 많은 연구를 필요로 한다. 진료하는 임상의가 대부분의 [보건 전문 교육(선배 학생과 후배 임상의 모두)을 담당]하지만 [교육 및 훈련 역할에 대한 지정된 기준]은 드물다. 대조적으로 보건 전문가들은 그들의 [임상 기술]에 대해 수년간 훈련을 하고 신중하게 평가받는데 시간을 보낸다.
The lack of striking differences in scores between professions suggests that feedback skills within formal encounters may be more similar than different. Hence feedback literacy training could, at least in part, be designed for educators across the health professions, allowing significant efficiencies. Nevertheless, the extent to which these skills vary within informal feedback encounters and across different contexts requires more study. Practising clinicans are responsible for the majority of health professions training (both senior students and junior clinicians) and yet specified standards for their education and training role are rare. In contrast health professionals spend many years training and being carefully assessed on their clinical skills.

본 연구의 목적은 교육자가 학습자를 참여시키고 동기를 부여하며 학습자가 개선할 수 있는 교육자 행동에 대한 설명을 개발하고, [고품질 학습자-중심 피드백]을 생성하도록 지원하는 것입니다. 일단 임상의가 권고된 행동을 고려할 기회를 갖게 되면 누락된 요소를 실무에 도입하는 것이 상대적으로 쉬울 수 있다. 교육자에게 유용할 수 있는 전략 중 하나는 학습자와 함께 피드백을 비디오로 촬영한 후 목록을 사용하여 자신의 행동을 체계적으로 분석하는 것입니다. 이를 통해 교육자는 성찰적 학습과 목표 설정에도 참여할 수 있습니다 [57, 58]. 또한, 품질 피드백 관행을 재현하는 감독관의 문구나 비디오의 예는 교육자들이 고품질 피드백의 원칙을 새로운 의식으로 변환하는 데 도움이 될 수 있다. 제시한 일련의 행동은 포괄적이지만, [25가지 권장 행동]은 특히 신입 교육자에게 압도적으로 보일 수 있기 때문에, [우선순위를 정하거나 요약]하는 것이 유용할 수 있다.
The aim of our research is to assist educators in generating high quality learner-centred feedback, by developing descriptions of educator behaviours that could engage, motivate and enable learners to improve. It may well be that once clinicians have the opportunity to consider the recommended behaviours, it would be relatively easy for them to introduce missing elements into their practice. One strategy that might be valuable for educators would be to video their feedback with a learner and subsequently use the list to systematically analyse their own behaviours. This would enable educators to also engage in reflective learning and goal setting [57, 58]. In addition, exemplars of supervisors’ phrases or videos re-enacting quality feedback practices may help educators to translate the principles of high quality feedback into new rituals. The set of behaviours is comprehensive however it could be useful to prioritise or summarise them, as 25 recommended behaviours may seem overwhelming, especially to new educators.

장점과 한계
Study strengths and limitations

우리 연구의 강점은 '실제로 무슨 일이 일어나는지'를 밝히고 역량 평가를 위한 밀러의 프레임워크의 최상위 수준을 목표로 하기 위해 일상적인 임상 실습에서 실제 피드백 에피소드의 자체 녹화 비디오 관찰을 포함한다. 참가자들은 병원 실습의 특징인 다양한 임상 교육자 그룹을 포함했다. 교육자의 피드백 관행은 경험적으로 도출된 포괄적인 25가지 관찰 가능한 교육자 행동 세트를 활용하여 체계적으로 분석되었다. 
Strengths of our study include self-recorded video-observations of authentic feedback episodes in routine clinical practice, to reveal ‘what actually happens’ and target the top level of Miller’s framework for competency assessment. Participants involved a diverse group of clinical educators, characteristic of hospital practice. The educators’ feedback practices were systematically analysed utilising an empirically derived, comprehensive set of 25 observable educator behaviours.

우리의 연구에는 여러 가지 한계가 있다. 36명의 참가자 중 작은 표본은 단일 보건 서비스 기관에서 추출한 것이지만, 여러 병원이 있는 호주에서 가장 큰 것 중 하나이다. 참가자들은 연구에 자원했고(이로 인해 자원하지 않은 사람들보다 더 강한 기술을 가진 교육자와 학습자의 일부가 되었을 수 있다), 참가자들은 자신의 성과를 기록하여 잠재적으로 우리의 데이터를 지나치게 낙관적으로 만들었다. 이러한 요인들은 우리의 연구 결과의 일반화 가능성을 제한한다. 피드백 중 교육자 행동 평가에 교육자 행동 설명을 적용할 때, 비율 일관성에 약간의 변화가 있었다. 이것에 대한 한 가지 이유는 교육자의 행동 묘사에 대한 다른 해석일 수 있다. 향후 연구에서는 관찰 가능한 행동과 지원 정보에 대한 설명을 세분화하고, 평가자 간의 합의를 최적화하기 위한 추가적인 관행과 논의를 수행하는 데 관심을 기울일 것이다. 
There are a number of limitations to our study. The small sample of 36 participants were from a single health service, although it is one of the largest in Australia with multiple hospitals. Participants volunteered (which may have resulted in a subset of educators and learners with stronger skills than those who did not volunteer) and participants recorded their own performances, potentially making our data overly optimistic. These factors limit the generalisability of our findings. In the application of the educator behaviour descriptions to the assessment of educator behaviour during feedback, there was some variation in rater consistency. One reason for this could be different interpretations of the educator behaviour descriptions. In future research, attention will be directed to refining the descriptions of observable behaviours and supporting information, accompanied by additional practice and discussion to optimise consensus amongst raters.

비록 비디오 평가자들이 단지 두 개의 건강 전문가들(의사 두 명과 물리치료사 네 명)을 대표했지만, 이것이 그들의 직업을 넘어 교육자들의 행동에 대한 분석에 영향을 미칠 가능성을 제기할 수 있지만, 우리는 이것을 뒷받침할 수 있는 그럴듯한 주장을 볼 수 없다. 많은 교육자들이 (대학, 병원 또는 전문대학의) 공식 피드백 양식을 사용했습니다. 지침에 따라 이 양식을 완성하려고 하는 것은 교육자들의 행동에 영향을 미쳤거나 인지적으로 상당히 까다로울 수 있기 때문에 교육자들의 주의를 산만하게 했을 수 있다. 그러나 피드백 모범 사례가 학습자 평가 루빅과 동시에 발생할 수 없는 설득력 있는 이유는 없습니다. 또한 교육자-학습자 쌍은 일부 품질 피드백 행동, 특히 기대 설정 및 신뢰 확립과 관련하여 발생했을 수 있는 초기 피드백 대화를 할 수 있었지만 비디오에 캡처되지 않았다. 

Although video raters represented only two health professions (two physicians and four physiotherapists), which could raise the possibility that this might influence their analysis of educators’ behaviours beyond their own profession, we cannot see a plausible argument to support this. A number of educators used official feedback forms (from university, hospital or specialty college). Trying to complete these forms in accordance with their instructions, may have influenced educators’ conduct or may have distracted educators’ attention, as they can be quite cognitively demanding. However, there are no compelling reasons why best practice in feedback could not occur in parallel with any learner assessment rubric. In addition, educator-learner pairs could have had earlier feedback conversations, during which some of the quality feedback behaviours may have occurred, particularly relating to setting up expectations and establishing trust, but were not captured on video.

결론들
Conclusions


우리의 연구는 공식적인 피드백 세션 동안, 교육자들이 일상적으로 학습자의 성과에 대한 분석을 제공하고, 과제가 어떻게 수행되어야 하는지 설명하며, 대화 내에서 존중하고 지지한다는 것을 보여주었다. 이들은 모두 품질 피드백의 가치 있고 권장되는 구성 요소입니다. 그럼에도 불구하고 다른 바람직한 행동은 거의 관찰되지 않았다. 종종 누락되었던 중요한 요소들 

  • 피드백 세션을 시작할 때 의도적으로 안전한 학습 환경을 조성한다(세션의 목적, 기대 및 가능한 구조를 명시적으로 명시함으로써). 
  • 자기 평가를 장려한다.
  • 학습자의 동기 부여 및 이해를 활성화합니다. 
  • 실행 계획을 수립하고, 후속 성과 검토를 계획합니다. 

Our study showed that during formal feedback sessions, educators routinely provided their analysis of the learner’s performance, described how the task should be performed, and were respectful and supportive within the conversation. These are all valuable and recommended components of quality feedback. Nevertheless, other desirable behaviours were rarely observed. Important elements that were often omitted included

  • deliberately instigating a safe learning environment at the start of the feedback session (by explicitly articulating the purpose, expectations and likely structure of the session),
  • encouraging self-assessment,
  • activating the learner’s motivation and understanding,
  • creating an action plan and planning a subsequent performance review. 

이는 학습자가 성과 정보를 이해하고 통합하고 행동하도록 돕는 것의 중요성과 관련하여, [피드백 연구의 많은 발전]이 [일상적인 임상 교육에 영향을 미치지 않았음]을 시사한다. 우리의 연구는 보건 전문 교육 커뮤니티 전반에 걸쳐 교육자 피드백 기술 개발을 위한 귀중한 목표를 명확히 한다. 그러나 이러한 권장 교육자 행동의 구현이 설계된 대로 학습자 결과를 향상시키는지 여부를 조사하기 위해 추가 연구가 필요하다. 

This suggests that many advances in feedback research, regarding the importance of assisting learners to understand, incorporate and act on performance information, have not impacted routine clinical education. Our research clarifies valuable targets for educator feedback skill development across the health professions education community. However further research is required to investigate whether implementing these recommended educator behaviours results in enhanced learner outcomes, as designed.

 

 


BMC Med Educ. 2019 May 2;19(1):129. doi: 10.1186/s12909-019-1524-z.

Educators' behaviours during feedback in authentic clinical practice settings: an observational study and systematic analysis

Affiliations collapse

Affiliations

1Monash Doctors Education, Monash Health and Department of Medical Education, Melbourne Medical School, University of Melbourne, Melbourne, Victoria, Australia. christina.johnson@monashhealth.org.

2Department of Physiotherapy, School of Primary and Allied Health Care, Faculty of Medicine Nursing and Health Science, Monash University, Melbourne, Australia.

3Allied Health Workforce Innovation, Strategy, Education & Research (WISER) Unit, Monash Health, and School of Primary and Allied Health Care, Faculty of Medicine, Nursing and Health Sciences at Monash University, Melbourne, Australia.

4Education Portfolio, Faculty Medicine, Nursing and Health Sciences, Monash University, Melbourne, Australia.

5Monash School of Medicine, Faculty of Medicine, Nursing & Health Sciences, Monash University and Monash Health, Melbourne, Australia.

6Department of Medical Education, Melbourne Medical School, University of Melbourne, Melbourne, Australia.

PMID: 31046776

PMCID: PMC6498493

DOI: 10.1186/s12909-019-1524-z

Free PMC article

Abstract

Background: Verbal feedback plays a critical role in health professions education but it is not clear which components of effective feedback have been successfully translated from the literature into supervisory practice in the workplace, and which have not. The purpose of this study was to observe and systematically analyse educators' behaviours during authentic feedback episodes in contemporary clinical practice.

Methods: Educators and learners videoed themselves during formal feedback sessions in routine hospital training. Researchers compared educators' practice to a published set of 25 educator behaviours recommended for quality feedback. Individual educator behaviours were rated 0 = not seen, 1 = done somewhat, 2 = consistently done. To characterise individual educator's practice, their behaviour scores were summed. To describe how commonly each behaviour was observed across all the videos, mean scores were calculated.

Results: Researchers analysed 36 videos involving 34 educators (26 medical, 4 nursing, 4 physiotherapy professionals) and 35 learners across different health professions, specialties, levels of experience and gender. There was considerable variation in both educators' feedback practices, indicated by total scores for individual educators ranging from 5.7 to 34.2 (maximum possible 48), and how frequently specific feedback behaviours were seen across all the videos, indicated by mean scores for each behaviour ranging from 0.1 to 1.75 (maximum possible 2). Educators commonly provided performance analysis, described how the task should be performed, and were respectful and supportive. However a number of recommended feedback behaviours were rarely seen, such as clarifying the session purpose and expectations, promoting learner involvement, creating an action plan or arranging a subsequent review.

Conclusions: These findings clarify contemporary feedback practice and inform the design of educational initiatives to help health professional educators and learners to better realise the potential of feedback.

Keywords: Effective feedback; Feedback; Formative feedback; Health professions education; Professional development.

피드백 탐색의 예술과 술책: 임상실습 학생의 피드백 요청에 대한 접근(Acad Med, 2018)
The Art (and Artifice) of Seeking Feedback: Clerkship Students’ Approaches to Asking for Feedback
Robert Bing-You, MD, MEd, MBA, Victoria Hayes, MD, Tamara Palka, MD,  Marybeth Ford, MD, and Robert Trowbridge, MD 

 

학습자에 대한 피드백은 의학 교육 연구자에게 중요한 연구 영역으로 남아 있다. 의학 학습자를 위한 피드백에 대한 최근의 범위 검토는 문헌이 광범위하고 상당히 최근이며 고품질의 증거 기반 권고가 부족하다고 설명했다. 의학 학습자에게 제공된 피드백 내용에 대한 문헌을 통합 검토한 결과, 피드백 제공자가 부정적 피드백을 제공하는 것을 꺼리는 낮은 품질의 피드백과 관용 편향을 발견하여 학습자가 수년 동안 불만을 제기해 온 내용을 확인했다. 피드백 전달을 촉진하는 수십 년간의 교수개발 노력에도 불구하고 교수진의 부적절한 피드백 전달은 계속해서 발생하고 있다. 이러한 피드백에 대한 학습자의 지속적인 불만족의 문제는 [피드백 상호작용의 중요한 파트너로서 학습자]에게 관심을 옮겨 [적극적인 대화와 교류]에 대한 [사회구성주의적 관점]을 강조하고 있다. 우리는 "피드백은 말하는 것이 아니"며, 양방향 대화이고, "피드백은 정보의 일방적 전송에 해당한다"는 가정에 이의를 제기할 필요가 있다몰로이와 보드의 의견에 동의한다. 학습자가 찾는 이유와 피드백을 얻는 방법을 이해하는 것은 탐구의 중요한 영역입니다.
Feedback for learners remains an important area of study for medical education researchers.1–3 A recent scoping review on feedback for medical learners described the literature as broad, fairly recent, and lacking in high-quality, evidence-based recommendations.4 An integrative review of the literature on the content of feedback given to medical learners found low-quality feedback and leniency bias, in which feedback providers were reluctant to offer negative feedback,5 confirming what learners have complained about for years.6,7 The inadequate delivery of feedback by faculty has continued to occur despite decades of faculty development efforts promoting feedback delivery.8–10 The problem of this prolonged dissatisfaction of learners with feedback has shifted attention to the learner as a significant partner in the feedback interaction, emphasizing a socio-constructivist view of an active dialogue and exchange.11–13 We agree with Molloy and Boud14 that “feedback is not telling” but, rather, a two-way dialogue, and there is a need to challenge the assumption that “feedback constitutes a one-way transmission of information.” Understanding the reasons learners seek and the ways they obtain feedback is an important area of exploration.15


수의학과 학생들을 대상으로 한 연구에서 Bok 등은 학생들이 피드백을 추구하는 이유를 설명하는 요소들을 설명했다. 

  • 피드백 추구자의 이익(예: 부정적 판단 회피), 
  • 피드백 추구자의 특성(예: 특정 임상 영역에 대한 자신감), 
  • 피드백 제공자의 특성(예: 양호한 의사소통 기술). 

[피드백의 개념적 모델]은 [피드백을 추구하는 동기요인]과 [피드백을 추구하는 행동의 결과]를 강조하는 조직심리학과 사회과학 문헌에 의해 알려졌다. 수의학과 학생들을 대상으로 한 후속 연구에서, 성적이 높은 학생들은 낮은 학생들에 비해 피드백을 추구하는 동기가 더 높고 자기 결정력이 더 높은 것으로 나타났다. 그러나 이러한 연구의 결과는 수의학과 학생들에 초점을 맞춘다는 점에서 제한적이었다.
In a study of veterinary medicine students, Bok et al16 described factors that explained students’ reasons for seeking feedback, including

  • interests of the feedback seeker (e.g., avoidance of negative judgments),
  • characteristics of the feedback seeker (e.g., confidence in a specific clinical area), and
  • characteristics of the feedback provider (e.g., good communication skills).

Their conceptual model of feedback was informed by the organizational psychology and social science literatures, which emphasize the motivational factors for seeking feedback and the outcomes of feedback-seeking behaviors.17–19 A follow-up study, again with veterinary students, revealed that high-performing students were more motivated to seek feedback and demonstrated higher self-determination compared with low-performing students.20 However, these studies’ findings were limited by their focus on veterinary students.

의학교육에서 학생들의 피드백을 추구하는 행동에 관한 문헌과 주민들이 피드백을 추구하기 위해 사용하는 행동을 기술하는 최소한의 문헌에는 차이가 있다. Jansen과 Prins는 피드백을 추구하는 의료인들이 "학습 목표" 지향(새로운 기술과 지식에 대한 욕구) 대 "수행 목표" 지향(자신의 역량에 대한 긍정적인 평가와 부정적인 판단의 회피에 대한 욕구)의 경향을 가지고 있다고 설명했다. 이러한 의료 종사자들은 피드백과 관련된 세 가지 다른 비용을 인식했다. 

  • 자기 프레젠테이션 비용(학습자를 무능해 보이게 하는 피드백); 
  • 자아 비용(학습자의 자기 이미지에 맞지 않는 피드백); 
  • 노력 비용(학습자가 얻기 위해 너무 많은 노력이 필요하다고 느끼는 피드백)

Teunissen 등은 OB/GYN 전공의들이 ["문의inquiry" 접근법을 통해 직접 피드백을 요청]하거나, ["모니터링monitoring" 접근법을 통해 학습 환경에서 다른 사람들의 행동을 관찰함]으로써 피드백을 추구하는 방법을 설명했다. 곤트 외 연구진은 Teunissen 외 연구진과 유사한 피드백 추구 모델을 사용하여 트레이너의 감독 역할(즉, 지지 대 도구적 리더십 스타일)이 피드백 편익과 비용에 대한 외과 레지던트의 인식과 그에 따른 피드백 추구 행동에 영향을 미친다는 것을 발견했다.
In medical education, there is a gap in the literature regarding the feedback-seeking behaviors of students and minimal literature describing the behaviors that residents use to seek feedback.21–23 Janssen and Prins23 described feedback-seeking medical residents as having a tendency toward a “learning goal” orientation (desire for new skills and knowledge) versus a “performance goal” orientation (desire for positive assessments of one’s competence and avoidance of negative judgments).24–26 These medical residents perceived three different costs associated with feedback:

  • self-presentation cost (feedback that makes the learner look incompetent);
  • ego cost (feedback that does not fit the learner’s self-image); and
  • effort cost (feedback that the learner feels requires too much effort to obtain).23 

Teunissen et al22 described how OB/GYN residents sought feedback either by asking for it directly via an “inquiry” approach or by observing the behaviors of others in their learning environment via a “monitoring” approach.17 Gaunt et al,21 using a feedback-seeking model similar to that of Teunissen et al,22 found that the trainers’ supervisory role (i.e., a supportive vs. an instrumental leadership style) influenced surgery residents’ perceptions of feedback benefits and costs and their subsequent feedback-seeking behaviors.

의대생들의 피드백 추구 행동에 대해 생각할 때 피드백 과정의 개념화를 전환하면 추가적인 통찰력을 얻을 수 있다. Bowen 등은 피드백의 개념적 모델로 "교육적 동맹"(이러한 목표에 도달하기 위한 목표를 상호 이해하고 책임에 대해 합의하는 과정)을 사용하여 피드백에 대한 의대생들의 인식을 탐구했다. 그들은 "피드백 추구"를 세 가지 피드백 행동 중 하나로 설명했다. 다른 두 가지는 "피드백 인식"과 "피드백 사용"이었습니다. 각각의 행동은 학습자의 신념, 태도, 인식, 관계, 교사 속성, 학습 문화, 피드백 방식에 의해 영향을 받았다. 우리가 아는 한, 연구 당시 의대생들의 피드백 추구 행동을 설명하는 다른 발표된 연구는 없었다.
As we think about the feedback-seeking behaviors of medical students, shifting the conceptualization of the feedback process provides additional insight. Using the “educational alliance” (a process between parties to mutually understand goals and agree on responsibilities to reach these goals)27 as a conceptual model of feedback, Bowen et al1 explored medical students’ perceptions of feedback. They described “feedback seeking” as one of three feedback behaviors; the other two were “recognizing feedback” and “using feedback.” Each behavior was influenced by learner beliefs, attitudes, and perceptions; relationships; teacher attributes; learning culture; and mode of feedback. To the best of our knowledge, there were no other published studies describing medical students’ feedback-seeking behaviors at the time of our study.

Ashford 등은 조직심리학 문헌에서 [개인은 수동적으로 피드백을 받는 사람이 아니라]고 주장했다. 개인은 피드백을 자원으로 보고 다양한 이유와 선호에 따라 피드백을 구합니다. 의학 교육 문헌에서 피드백 추구자와 제공자 간의 능동적 대화, 동맹 또는 심지어 복잡한 춤으로서의 피드백의 새로운 개념 모델은 의대생과 전공의가 피드백 과정을 주도하도록 적극적으로 도와야 한다고 제안한다.
In the organizational psychology literature, Ashford et al28 have argued that individuals are not passive recipients of feedback. Individuals view feedback as a resource and seek feedback based on different reasons and preferences.17 In the medical education literature, the emerging conceptual models of feedback as an active dialogue,12 an alliance,1 or even a complex dance5 between feedback seekers and providers suggest that medical students and residents should actively help drive the feedback process.

의대생들이 선생님과의 피드백 교환에 적극적인 참여자가 될 수 있도록 교육 커리큘럼을 설계함에 있어 의대생들이 자신의 성과에 대한 피드백을 추구하는 이유와 그러한 피드백을 얻기 위한 방법을 조사하는 것이 중요하다고 생각했다. 우리의 의도는 다음과 같은 연구 질문에 초점을 맞추어 Bok et al 16의 작업을 확장하는 것이었다. 

  • (1) 의대생들은 임상실습 시기에 어떤 피드백을 추구하는 행동을 하는가? 
  • (2) 교직원과 학생의 관계는 임상실습 학생들의 피드백 추구 접근법에 어떤 영향을 미칩니까?

In designing an educational curriculum to help medical students be active participants in a feedback exchange with their teachers, we thought it was important to investigate the reasons medical students seek feedback about their performance and how they go about obtaining such feedback. Our intent was to extend the work of Bok et al16 with a focus on the following research questions:

  • (1) What feedback-seeking behaviors do medical students use in the clerkship year? and
  • (2) How does the faculty–student relationship affect the feedback-seeking approaches of clerkship students?

방법
Method

우리는 질적 연구 권고 보고 기준을 준수했다. 
We followed the Standards for Reporting Qualitative Research recommendations.29

설정 및 참가자
Setting and participants

이 연구는 메인주 포틀랜드에 있는 독립적인 학술 의료 센터인 메인 메디컬 센터(MMC)에서 수행되었으며, 이는 터프츠 의과 대학의 2년 지역 분교 캠퍼스입니다. 일반적으로 매년 36명의 3학년 학생들과 36명의 4학년 학생들이 메인 트랙에 등록한다. 임상실습 학생들은 MMC에서 전통적인 6주에서 8주간의 입원 환자 블록 순환이나 MMC 또는 메인 주 전역의 9개 시골 지역 병원 중 하나에서 주로 외래 환자 중심의 종방향 통합 임상실습(LIC)을 이수한다. 시골 지역의 LIC 사이트는 일반적으로 한 번에 두 명의 임상실습 학생을 호스팅한다.
The study was carried out at Maine Medical Center (MMC), an independent academic medical center in Portland, Maine, which is a two-year regional branch campus for Tufts University School of Medicine. Typically, 36 third-year (clerkship) and 36 fourth-year students are enrolled in the “Maine Track” each year. The clerkship students complete either traditional, six- to eight-week inpatient block rotations at MMC or a nine-month, predominantly outpatient-oriented longitudinal integrated clerkship (LIC) at MMC or one of nine rural community hospitals throughout the state of Maine. The rural LIC sites typically host two clerkship students at a time.

2017년 3월, 메인 트랙 임상실습 학생들(n = 35)이 이메일로 초청되어 연구 인터뷰에 참여했다. 우리는 블록 로테이션과 LIC 학생을 거의 동일한 수의 모집하기 위해 목적적인 샘플링 접근법을 선택했다: LIC 학생 8명과 블록 로테이션 학생 1명이 처음 응답한 후, 우리는 반복적인 이메일 초대를 보내 로테이션 학생들의 참여를 증가시켰다. 연구 인터뷰는 2017년 4월~5월에 완료되었으며, 이는 학생들이 임상실습 학년에서 4학년으로 전환한 시기와 일치한다. 학생들은 연구의 기밀성을 알게 되었고, 참여 후 작은 금액의 기프트 카드를 받았다. MMC 기관 검토 위원회는 그 연구를 면제하는 것으로 결정했다.
In March 2017, Maine Track clerkship students (n = 35) were invited by e-mail to volunteer to participate in the study interviews. We chose a purposive sampling approach to recruit approximately equal numbers of block rotation and LIC students: After eight LIC students and one block rotation student responded initially, we sent repeat e-mail invitations to block rotation students to increase their participation. The study interviews were completed in April–May 2017, coinciding with the students’ transition from the clerkship year to the fourth year. The students were informed of the confidential nature of the study, and they received a gift card of a small value after their participation. The MMC Institutional Review Board determined the study to be exempt research.

스터디 디자인
Study design

이러한 질적 연구는 복 등이 강조한 조직심리학 문헌과 교육동맹의 틀에서 영감을 얻었다근거이론은 "연구 과정에서 이론을 생산하기 위해 데이터 수집과 분석 사이의 지속적인 상호작용을 요구하는" 질적 방법이다. 반구조화 면담과 자료분석을 위해 구성주의적 근거이론 접근법을 선택한 이유는 [자료에 대한 귀납적 분석이 특정 이론의 연역적 적용보다 적절하다]고 생각했기 때문이며, [연구자로서의 역할의 배경과 가정, 편향성을 인정]했기 때문이다.

This qualitative study was inspired by the organizational psychology literature,17–19 as highlighted by Bok et al,16 and the educational alliance framework.1,27 Grounded theory is a qualitative method “that calls for a continual interplay between data collection and analysis to produce a theory during the research process.”30 We chose a constructivist grounded theory approach for the semistructured interviews and data analysis because an inductive analysis of the data was thought to be more appropriate than a deductive imposition of a specific theory, and we acknowledged the backgrounds, assumptions, and biases of our roles as researchers.31

면접안내 및 절차
Interview guide and procedure

4개 질문 인터뷰 가이드는 Bok 등이 설명한 세 가지 주요 질문을 기반으로 했다.

  • (1) 임상 작업 수행에 대한 정보를 찾는 이유는 무엇입니까? 
  • (2) 피드백을 구하는 방법에 영향을 미치는 요소는 무엇입니까? 
  • (3) 당신은 당신의 성과에 대한 정보를 어떻게 얻나요? 
  • 교사-학습자 관계가 피드백에 미치는 영향을 강조하는 최근 문헌 때문에 다음과 같은 질문을 추가했다. 
    (4) 교수진과의 관계가 피드백을 구하는 방식에 어떤 영향을 미칩니까?

The four-question interview guide was based on the three main questions described by Bok et al16:

  • (1) Why do you seek information about your performance of a clinical task?
  • (2) Which factors influence the way you seek feedback?
  • (3) How do you obtain information about your performance?
  • Because of the recent literature emphasizing the impact of the teacher–learner relationship on feedback,1,5,27 we added a question:
    (4) How does your relationship with faculty influence the way you seek feedback?

각 인터뷰는 저자 중 한 명(R.B. [MMC 의학부] 또는 V.H. [MMC 가정의학부 교수])이 개인 사무실에서 전화로 진행한 두 번의 인터뷰를 제외하고 진행되었다. 이 저자들은 둘 다 질적 연구와 의학 교육의 피드백에 관한 연구 경험이 있으며, 임상실습에 시절에 참여한 학생들을 위한 지도자나 임살실습 책임자가 아니었다. 개별 인터뷰는 약 30분간 진행되었고 녹음되었다. 현장 노트는 인터뷰할 때마다 면접관이 작성했다. 녹음 테이프는 고용된 전사자에 의해 말 그대로 전사되었고, 학생들은 인터뷰가 전사된 순서에 따라 참가자 식별자 이니셜을 할당받았다. 이러한 이니셜은 결과에 보고된 대표적인 인용구와 함께 포함됩니다. 텍스트는 코딩 및 분석을 위해 정성적 연구 소프트웨어 시스템(NVIVO 10, QSR International, London, 영국)에 업로드되었다. 
Each interview was conducted by one of the authors (either R.B. [chief of the MMC Department of Medical Education] or V.H. [a faculty member in the MMC Family Medicine Department]) in a private office setting, except for two interviews that occurred over the telephone. Both of these authors had experience in qualitative research and in research regarding feedback in medical education, and neither was a preceptor or clerkship director for the participating students during their clerkship year. The individual interviews lasted approximately 30 minutes and were audiotaped. Field notes were taken by the interviewer during each interview. The audiotapes were transcribed verbatim by a hired transcriptionist and deidentified, with students assigned participant identifier initials according to the order in which their interviews were transcribed. These initials are included with the representative quotes reported in the Results. The text was uploaded into a qualitative research software system (NVivo 10, QSR International, London, United Kingdom) for coding and analysis.

데이터 분석
Data analysis

인터뷰 녹취록은 초기 코드를 개발하기 위해 저자 중 두 명(R.B., V.H.)에 의해 독립적으로 검토되었다. 4개의 녹취록을 코딩한 후, 이 두 조사관은 코딩 체계를 검토하기 위해 만났고, 그 후 나머지 모든 녹취록을 각각 독립적으로 코딩했다. 지속적 비교 방법을 사용하여 코드로부터 테마를 개발하였다. 모든 기록의 코딩이 완료된 후, 두 조사관은 이론적 충분성이 달성되었으며(즉, 더 이상의 이론적 정보가 표면화되지 않음) 추가 인터뷰가 필요하지 않다는 데 동의했다. 세 번째 조사관(T.P.)은 모든 녹취록을 검토하여 데이터 분석의 철저성을 보장하고 추가 코드가 필요하지 않음을 확인했다. 다섯 명의 연구팀 구성원 모두가 만나서 코딩에서 주제를 해석하는 것에 대한 합의에 도달했다. 구성원 확인은 데이터 진위 여부를 평가하기 위해 인터뷰에 응한 첫 4명의 학생들에게 각각의 오디오 테이프와 관련 기록을 보내면서 수행되었다. 이 네 명의 학생들은 어떠한 수정이나 추가도 제안하지 않았다.
The interview transcripts were independently reviewed by two of the authors (R.B., V.H.) to develop initial codes. After coding four transcripts, these two investigators met to review the coding scheme, and then each independently coded all the remaining transcripts. Themes were developed from the codes using the constant comparative method.32 After coding of all transcripts was complete, both investigators agreed that theoretical sufficiency33 had been achieved (i.e., no further theoretical information was surfacing) and that no additional interviews were necessary. A third investigator (T.P.) reviewed all of the transcripts to ensure thoroughness of the data analysis and that no additional codes were needed. All five research team members met to reach consensus on interpreting the themes from the coding. Member checking was conducted with the first four students interviewed by sending them their respective audiotapes and associated transcripts to assess for data authenticity.33 No revisions or additions were suggested by these four students.

결과.
Results

14명의 학생(남자 6명, 여자 8명)이 연구에 참여했다. 6명의 참가자는 블록 로테이션 학생이었고, 8명은 LIC 학생이었다. LIC 학생들 사이에서, 7개의 다른 병원 사이트들이 대표되었다.
Fourteen students (six men, eight women) participated in the study. Six participants were block rotation students, and eight were LIC students. Among the LIC students, seven different hospital sites were represented.

우리는 4개의 면접 질문과 14개의 관련 주제(표 1)의 제목으로 임상실습 학생들의 피드백 추구 행동에 대한 연구 결과를 제시한다. 다른 모델과 비교하여 새로운 관점에는 환경 요인, 큐잉, 기교 및 피드백 찾기 훈련이 포함된다.
We present our findings on clerkship students’ feedback-seeking behaviors under the headings of the four interview questions and the 14 associated themes (Table 1). New perspectives, compared with other models,1,16–19,27 include environmental factors, cueing, artifice, and training in seeking feedback.

임상 작업 수행에 대한 정보를 찾는 이유는 무엇입니까?
Why do you seek information about your performance of a clinical task?

목표 지향.
Goal orientations.

학생들은 종종 피드백을 추구하는 것이 그들의 기술을 향상시키거나 새로운 지식을 얻기 위한 수단이라고 묘사했다. 때때로 학생들은 자신의 역량에 대한 긍정적인 평가를 확인하고, 부정적인 평가를 피하기 위해 성과 목표로 피드백을 구한다고 지적했습니다.
Students often described seeking feedback as a means to improve their skills or acquire new knowledge. Occasionally, students indicated that feedback is sought as a performance goal to confirm a positive—and avoid a negative—assessment of their competence.

의대생으로서 실력과 지식을 향상시키는 것이 무엇보다 중요하다고 생각합니다. (CC)
I think first and foremost is to improve my skills and knowledge as a medical student. (CC)
[W]제가 원하는 것만큼 잘 하지 못했을 때 저는 그것을 시도했습니다. 그래서 일주일에 한두 번 남은 기간 동안 부탁을 하기 시작했는데, 그렇게 하지 않는 것이 너무 어리석은 일이었기 때문이다. (NN)
[W]hen I didn’t do as well as I wanted I kind of went for it.… So I started asking once or twice a week for the rest of the year, just because it was such a silly thing not to. (NN)

인식된 이점.
Perceived benefits.

그들의 지식과 기술을 향상시키기 위해 동기부여를 받는 것 외에도, 학생들은 더 나은 의사가 되고, 그들의 성적을 향상시키고, 그들의 성과에 대해 더 좋게 느끼는 것을 포함하여, 피드백을 추구함으로써 얻는 다양한 이점들을 인식했다.
Besides being motivated to improve their knowledge and skills, students perceived a variety of benefits from seeking feedback, including being a better doctor, improving their grades, and feeling better about their performance.

저는 이곳 의대에서의 시간과 제가 거기에 쏟은 모든 자원을 의사의 능력을 향상시키기 위한 시간으로 보고 있으며, 우리가 할 수 있는 가장 중요한 것은 좋은 피드백을 받는 것이라고 생각합니다. (JJ)
I view my time here in medical school and all the resources I’ve put into it as time to improve my ability in terms of doctoring and I think the most important thing we can do is just receive good feedback. (JJ)

 

평가받는 것이 우리 성적의 일부이기 때문에 피드백을 구합니다. 그래서 여러분이 어떤 입장에 서 있는지 아는 것은 좋은 일입니다. 그래서 성적은 피드백을 추구하도록 동기를 부여한다. (II)
I seek feedback because it is part of our grade to be evaluated. So it’s good to know kind of where you stand. So, grades motivate me to seek feedback. (II)

학생들은 피드백을 추구하는 것이 그들에 대한 다른 사람들의 인식된 이미지를 향상시킬 수 있다고 지적했다. 학생은 정보를 받기 위해서가 아니라 단순히 자신이 관련되었다는 것을 보여주기 위해 피드백을 요청할 수 있다.
Students pointed out that seeking feedback may enhance others’ perceived image of them. A student might ask for feedback not for the sake of receiving of information but, simply, to show that he or she was involved.

사람들에게 당신이 engage했다는 것을 알리는 것처럼...더 많은 피상적인 이유들이 있다. (JJ)
There are more superficial reasons … to let people know that you’re engaged. (JJ)

인식된 비용.
Perceived costs.

학생들은 피드백을 찾는 것의 이점 외에도 적극적으로 피드백을 찾는 것을 방해할 수 있는 잠재적인 비용을 언급했다.
Besides the benefits of seeking feedback, students cited potential costs of seeking feedback that could prevent them from actively seeking it out.

[W]기분이 좋지 않을 때는 피드백에 대해 더 긴장하고 피드백을 찾을 가능성이 적다고 생각합니다. (II)
[W]hen you’re not feeling great I think that also makes you more nervous about feedback and makes you less likely to seek feedback out. (II)

학생 특성.
Student characteristics.

학생들은 피드백을 추구하도록 동기를 부여하는 자신의 측면을 설명했다. 편안함을 느끼는 것이 중요해 보였다.
Students described aspects of themselves that motivated them to seek feedback. Feeling comfortable appeared to be important.

내가 더 편안하게 느꼈던 교수진은 일반적으로 피드백을 요청하는 것이 더 편안했다. 제 편안함에 영향을 준 것들은 제가 그 분야에서 얼마나 편안하게 느꼈는지에 대한 것이었습니다. (DD)
The faculty I felt more comfortable with I generally felt more comfortable asking feedback from. Things that influenced my comfort level were sort of broadly how comfortable I felt in the discipline. (DD)

비록 일부 학생들은 피드백을 구함으로써 적극적인 학습자가 되어야 한다고 생각했지만, 그들이 교수들에게 부담이 되는 것처럼 느끼는 것은 때때로 학생들이 피드백을 구하는데 방해가 되었다: "나는 아무도 괴롭히고 싶지 않다." (AA). 학생들은 주로 부정적인 피드백에 적응했고 긍정적인 피드백을 인식하지 못했다. 잘 하고 있지 않다고 생각하는 것은 일부 학생들이 피드백을 찾는 것을 피하도록 유도할 수 있지만, 이러한 상황은 다른 학생들이 피드백을 추구하도록 자극했다.
Although some students thought they should be active learners by seeking feedback, feeling as if they were a burden to faculty sometimes deterred students from seeking feedback: “I don’t want to bother anyone” (AA). Students were mainly attuned to negative feedback and not as cognizant of positive feedback. Thinking one was not doing well might prompt some students to avoid seeking feedback, but this situation provoked others to pursue feedback.

내가 더 힘들어하는 것처럼 느껴지는 로테이션이 피드백을 더 많이 요구한다는 것을 알게 되었습니다. 실제로 이 로테이션에서 조금 더 잘 할 수 있을 것입니다. (EE)
I found that rotations where I felt like I was struggling more I asked for feedback more … I actually would up doing a little better in these rotations. (EE)

피드백 공급자 특성.
Feedback provider characteristics.

학생들은 학생들이 피드백을 찾도록 유도하는 피드백 제공자의 몇 가지 특성을 강조했습니다. 예를 들어, 프롬프트 없이 자발적인 피드백을 제공하는 것입니다. 학생들은 자신의 관찰이나 좀 더 일반적인 의미에서 수집된 그러한 특성을 "내가 좋은 교육자라는 인상을 받는다면"(JJ)이라고 설명했다. 효과적인 피드백 제공자들은 "피드백을 주는 것에 열려있다" (II), "조금 더 차분하다" (BB), "교육에 대해 매우 사려깊다" (CC), "칭찬 샌드위치" (AA)와 같은 기술을 사용했으며 가르치는 것을 즐겼다. 학생들은 또한 그들이 더 잘하도록 밀어준 피드백 제공자들에게 감사했다.
Students underscored several characteristics of the feedback provider that would encourage the student to seek feedback—for example, giving spontaneous feedback without prompting. Students described such characteristics gathered from their observations or from a more general sense: “If I get the impression that they are a good educator” (JJ). Providers of effective feedback were “open to giving feedback” (II), “a little more calm” (BB), “very thoughtful about teaching” (CC), used techniques like a “compliment sandwich” (AA), and enjoyed teaching. Students also appreciated feedback providers who pushed them to do better.

그녀는 정말 수준이 높았어요. [S]그는 그녀가 당신이 더 잘하기를 응원하는 것처럼 느끼게 하면서 어떻게 하면 더 잘 할 수 있는지 말해줄 것이다. (BB)
She really had high standards.… [S]he would tell you how to make it better while all the time making it feel like she was rooting for you to do better. (BB)

학생들은 피드백 제공자의 성격에 대한 인식이 피드백을 구할지 여부와 그 방법에 영향을 미친다고 지적했다. 위협적으로 보이는 피드백 제공자들은 피했다. 학생들이 피드백을 구하도록 유도하는 긍정적 피드백 제공자 특성이 있었던 것처럼, 학생들이 해당 개인에게 피드백을 계속 구하고자 하는 욕구를 위축시키는 부정적 특성이 있었다.

Students indicated that their perception of the feedback provider’s personality had an impact on their decision whether to seek feedback and the ways in which they did so. Feedback providers who appeared to be intimidating were avoided. Just as there were positive feedback provider characteristics prompting students to seek feedback, there were negative characteristics that dampened students’ desire to continue to seek feedback from that individual.

나는 다른 성격 유형으로 사람들이 피드백을 적는 것이 얼마나 더 편안한지 확실히 알 수 있었다. (HH)
I could definitely see with different personality types how people would be more comfortable writing down feedback. (HH)
만약 내가 교수진과 나쁜 임상 경험을 했다면 나는 그들에게 피드백을 구하지 않았을 것이다. (II)
If I had a bad clinical experience with a faculty member I wouldn’t seek feedback from them. (II)

피드백을 구하는 방법에 영향을 미치는 요소는 무엇입니까?
Which factors influence the way you seek feedback?

바쁜 환경.
Busy environment.

몇몇 학생들은 때때로 정신없이 바쁜 임상 환경이 피드백을 추구하지 않는 데 영향을 미치는 강력한 요인이라고 언급했다.
Several students commented that the sometimes-frenetic clinical environment was a strong factor influencing them to not seek feedback.

만약 바쁘다면, 사람들이 방을 날아다니고 있다면. "저, 제가 제대로 했는지 알려주실래요?"같은 말은 안 할거에요 (LL)
If it was busy, if people are flying around the room. It’s crazy. I’m not going to say, “Hey, can you tell me if I did that correctly?” (LL)

타이밍.
Timing.

학생들은 임상 환경이 덜 바쁜 시간, 종종 하루나 한 주의 끝이 피드백을 받기에 더 최적의 시간이라고 설명했다. 학생들은 또한 적절한 비공식 피드백을 얻을 수 있는 추가적인 순간들을 강조했다.
Students described times when the clinical environment was less busy, often at the end of the day or week, as more optimal times to seek feedback. Students also highlighted additional moments when opportune informal feedback could be obtained.

피드백은 항상 하루에 함께하는 시간의 끝에 일어난다. (DD)
Feedback would always happen at the end of our time together on a day. (DD)

단서.
Cues.

학생들은 거주자나 교직원들과 일할 때 신호에 매우 익숙했다. 특정한 신호들은 [학생들이 학생의 이름을 배우거나 학생에게 관심을 보이는 것]과 같은 피드백을 얻도록 격려할 것이다.
Students were very attuned to cues when working with residents or faculty. Certain signals would encourage students to seek feedback, such as learning the student’s name or showing interest in the student.

만약 그들이 방에서 걸어나와 "오, 나는 네가 이런 짓을 했다는 것을 알아차렸다. 여기 당신이 작업할 수 있는 것이 있습니다."이라고 말했다. 그것은 정말로 다른 사람들이 하지 않는 방식으로 그들이 주의를 기울이고 있다는 신호였다. (CC)
If they walked out of a room and said, “Oh I noticed that you did this. Here’s a thing that I think you can work on.” That was really signaling me that they were paying attention in a way that other people were not. (CC)

당신은 당신의 성과에 대한 정보를 어떻게 얻나요?
How do you obtain information about your performance?

탐색 대 모니터링.
Inquiry versus monitoring.

학생들은 종종 다음과 같은 inquiry을 통해 자신의 성과에 대한 피드백을 얻었습니다. "야, 어떻게 된 것 같아? 다음 번에는 어떻게 다르게 해야 할까요?" (AA) 학생들이 묻는 질문은 일반적인 유형의 질문보다 더 구체적이었습니다. "이 특정 상황이 어떻게 진행되었다고 생각하십니까?" [T]주말이 되자 그것은 더 일반적이었다." (II)
Students often obtained feedback about their performance through inquiry—for example, asking: “Hey, how do you think that went? How should I do this differently next time?” (AA). Questions the students asked were typically more specific than a general type of inquiry: “How do you think this specific situation went?… [T]owards the end of the week it was more general.” (II)

학생들이 피드백을 얻기 위해 사용한 질문의 우선순위를 보고했지만, 학생들은 그들이 어떻게 수행하고 있는지 감지하기 위해 환경에서 다른 학습자를 관찰하는 것에 대해 종종 설명하지 않았다. LIC 학생들은 모니터링 할 수 있는 다른 학생이 많지 않았다.
Although students reported a preponderance of questions they used to obtain feedback, they did not often describe observing other learners in their environment to sense how they were performing. LIC students did not have many other students rotating with them whom they could monitor.

간접적 기술
Artifice.

일부 학생들은 "직접적으로 피드백을 요청한 적이 없다"(AA)고 지적했다. 대신, 그들은 피드백을 얻기 위해 "나는 항상 다른 것을 가지고 있고 그들이 피드백에 대해 이야기하도록 속이는 것을 좋아한다"(AA)와 같은 몇 가지 간접적이고 비조회적인 방법을 사용했다. 우리가 "똑똑하고 교묘한 기술: 독창성; 기발한 장치 또는 편법"으로 정의한 이러한 방법들은 [대화 스타터, 피드백 준비, 자기 비판적인 논평 사용]과 같은 기술을 포함했다.
Some students indicated that they “never asked for feedback directly” (AA). Instead, they used several indirect and noninquiry methods to get feedback—for example, “I always have something else and like trick them into talking about feedback” (AA). These methods—which we labeled as “artifice,” defined as “a clever or artful skill: ingenuity; an ingenious device or expedient”34—included such techniques as conversation starters, prepping for feedback, and using self-critical comments.

만약 누군가가 병력청취하는 나를 관찰할 것이라는 것을 안다면, 그들이 나를 관찰할 수 있다면, 나는 그들에게 피드백을 요청할 것이다. (JJ)
If I know somebody is going to be observing me in doing a history or something like that I might ask them for feedback right beforehand if they can observe me, give me feedback afterwards. (JJ)
[Y]여러분은 일종의 자기비하적인 발언으로 이끌 수 있습니다. "저는 정말로 제가 그 모든 것을 잘 하고 있다고 생각하지 않습니다.…" (FF)
[Y]ou can lead with a sort of self-deprecating statement saying, “I really don’t think I’m doing all that well with.…” (FF)
[G]나를 건설적으로 비판하도록 그들을 초대한다. 당신은 "내가 이것을 잘못했다고 생각한다" 또는 "나는 내가 어떻게 이것을 했는지 편안하지 않다"라고 말해야 한다. (AA)
[G]ive them an invitation to constructively criticize me. You have to say, “I think I did a bad job on this” or “I am not comfortable with how I did this.” (AA)

학생들이 사용한 다른 [간접적인 기법]에는 피드백 제공자를 칭찬하고, 문제에 대한 의견이나 접근 방식을 제공자에게 묻고, 피드백 제공자에게 감사하는 것이 포함되었다.
Other indirect techniques that students used involved praising the feedback provider, asking the provider for their opinion or approach to a problem, and thanking the feedback provider.

[T]당신이 아주 잘한다는 걸 알아챘어요. 지식의 기반을 구축하려면 어떻게 해야 합니까? (EE)
[T]his is something I’ve noticed you do very well. What can I do to try to build that foundation of knowledge? (EE)
나는 그것을 종종 "당신은 어떻게 그렇게 했겠어요?"라고 표현한다. 그들은 종종 "이것이 당신이 한 일이고 이것이 내가 그것을 했을 방법이다."라고 채운다. (BB)
I often phrase it as like, “How would you have done that?” They often will end up filling in, “This is what you did and this is how I would have done it.” (BB)
[J]그저 감사하고 고맙다고 말하는 것이 피드백을 피드백이 계속 올 수 있도록 하는 좋은 방법이라고 생각합니다. (LL)
[J]ust saying thank you, being appreciative I think of feedback is a good way to make sure feedback will keep coming. (LL)

비록 학생들이 주로 구두 질문을 통해 피드백을 구했지만, 학생들은 또한 때때로 덜 위협적인 접근법으로 피드백을 얻기 위해 서면 또는 전자 매체를 사용한다고 지적했다.
Although students predominantly sought feedback through verbal inquiry, students also indicated they used written or electronic media to get feedback, sometimes as a less threatening approach.

총괄적 피드백.
Summative feedback.

대부분의 경우, 학생들은 [공식적 피드백 제공 접근법]이 [스스로 피드백을 구하는 것]만큼 도움이 된다고 생각하지 않았다. 공식적인 접근 방식에는 필요한 블록 중간 및 끝 회전 피드백, 3개월 및 6개월 LIC 평가 세션, 그리고 각 임상실습에서 DOC(직접 관찰) 카드 세트의 의무적인 교수진 완료가 포함되었다. (DOC 카드는 역사 체크리스트와 신체검사 요소와 같은 기본 역량을 다루었으며, 뒷면에 긍정적이고 건설적인 피드백을 위한 공간을 가지고 있었다.)

For the most part, students did not find the formal approaches to providing students with feedback to be as helpful as seeking feedback on their own. The formal approaches included required mid- and end-of-block rotation feedback, three- and six-month LIC evaluative sessions, and mandatory faculty completion of a set of DOC (direct observation) cards during each clerkship. (The DOC cards covered basic competencies, such as a checklist of history and physical examination elements, and had space for positive and constructive feedback on the back.)

3개월과 6개월의 피드백 중 일부는 도움이 되지 않았습니다. 일반적으로 "오, 그는 좋은 학생이고, 열심히 공부한다." … [D]제가 하고 있는 구체적인 일에 대해서는 언급하지 않았습니다. (EE)
Some of the feedback at three and six months wasn’t as helpful. Generally, “Oh, he’s a good student, he works hard.”… [D]idn’t mention specific things that I was doing. (EE)
대부분의 DOC 카드는 그다지 도움이 되지 않습니다. 건설적인 피드백의 좋은 루프와는 반대로 대부분의 작업인 것 같습니다. (KK)
Mostly DOC cards are not very helpful … it seems it’s mostly a task as opposed to a good loop of constructive feedback. (KK)

피드백을 찾는 교육.
Training in seeking feedback.

학생들은 [의대생들을 위한 교육]이 피드백을 구하는 데 도움이 될 것이라고 언급했고, 그들은 그러한 프로그램에서 학생들에게 무엇을 말할 것인지에 대한 조언을 제공했다. 학생들을 건설적인 피드백에 둔감하게 하는 것이 유익한 접근법으로 언급되었다.
Students indicated that training for medical students in seeking feedback would be helpful, and they offered advice as to what they would tell students in such a program. Desensitizing students to constructive feedback was mentioned as a beneficial approach.

저는 대학에서 꽤 잔인한 4학년 논문을 썼는데, 거기서 피드백을 많이 교환하고, 피드백을 받아 변화를 만드는 데 정말 익숙해졌어요. (NN)
I had a pretty brutal senior thesis year in college where we did a lot of exchanging feedback … that got me really used to taking in feedback and making changes with it. (NN)
[C]가끔은 조금 아플 때도 있다 그래서 피부가 두꺼워지면서 건설적인 피드백을 찾았던 것 같아요. (LL)
[C]onstructive [feedback] hurt a little bit sometimes. So I think as I got thicker skinned I guess, I looked for constructive feedback. (LL)

교수진과의 관계가 피드백을 구하는 방식에 어떤 영향을 미칩니까?
How does your relationship with faculty influence the way you seek feedback?

관계 역학.
Relationship dynamics.

학생들은 피드백을 추구하는 행동에 영향을 미치는 [피드백 제공자와의 관계]의 여러 측면을 설명했다. 학생들은 교직원들이 접근할 수 있을 정도로 충분히 강한 관계를 느껴야 했다.
The students described several aspects of their relationship with feedback providers that influenced their feedback-seeking behaviors. Students had to feel the relationship was strong enough such that faculty seemed approachable.

접근하기 쉬운 사람이 있다면. 피드백을 받는 것이 더 편하다고 느꼈다. 그 사람이 교육 친화적이라는 것을 알았다면… 당신은 그들로부터 피드백을 받고 싶을 것이다. (II)
If somebody is approachable. That I felt more comfortable getting feedback. If I knew that the person was education friendly … you want to seek feedback from them. (II)

그들이 동료라고 느끼거나 피드백 제공자와 공통점이 있다는 것은 피드백을 찾는 것이 더 쉬운 지원 관계를 촉진했다.
Feeling like they were colleagues or having something in common with a feedback provider facilitated a supportive relationship in which seeking feedback was easier.

[H]나는 그들과 많은 관계를 맺고 있다… 만약 우리가 더 많은 개인적인 것에 대해 이야기하게 된다면… 그런 식으로 피드백에 영향을 준다. (JJJ)
[H]ow much of a rapport I establish with them … if we got to talking about more personal things … in that way it influences the feedback. (JJ)

학생들은 [상호 신뢰감과 관계에 대한 관심caring]이 중요하다고 강조했다.
Students highlighted a sense of mutual trust and caring in the relationship as important.

그들이 실제로 당신이 더 나아지는 것을 보고 싶어한다고 느낄 때가 온다. 그것이 그들의 목표인 것처럼, 당신이 느낄 수 있는 것처럼. 그리고 그들은 당신과 함께 그 일에 관여하고 있어요. (DD)
There comes a point when you feel like they actually want to see you become better. Like that’s their goal, like you can feel it. And that they’re in on that with you. (DD)

학생들은 또한 피드백을 제공할 때 전공의와 교직원들이 그들에게 지나치게 친절하다는 것을 인식했고, 이것은 효과적인 피드백 의사소통을 방해했다.
Students also recognized that residents and faculty were too nice to them when getting around to providing feedback, and this inhibited effective feedback communication.

나는 때때로 [그들이 그렇게 일찍부터 나를 기분 나쁘게 하고 싶지 않아하는구나]고 느꼈다. 그들은 우리의 교사와 학습자의 관계를 바꾸고 싶어하지 않았다. 그들은 피드백을 주고 있는 사람의 감정을 상하게 하고 싶지 않기 때문에 피드백을 주고 싶지 않을 수도 있다. (BB)
I felt sometimes they didn’t want to make me feel bad that early on. They didn’t want to change our teacher–learner relationship. They might not like to give feedback because they don’t want to hurt the feelings of the person they’re giving it to. (BB)

LIC 대 블록 회전입니다.
LIC versus block rotations.

학생들은 학생들이 LIC에 비해 [블록 로테이션에 대한 교수진과의 상호작용이 훨씬 적었고], 블록 로테이션에서는 교수진보다 전공의들이 더 많은 피드백을 제공했으며, 학생들은 전공의들을 교수진이라기보다는 동료로 보았다는 점을 강조했다.
Students emphasized that students had much less interaction with faculty on the block rotations than the LIC, that residents provided more feedback than faculty on block rotations, and that students viewed residents more as peers than as faculty.

학생들이 받는 전공의 교육이 많거나, 오히려 전공의들이 수업을 많이 한다는 점에서, LIC와 블록이 조금 다르다고 생각합니다. (KK)
I think the block is a little bit different than the LIC in that there is a lot of resident education that the students get, or rather the residents do a lot of teaching. (KK)

LIC의 긴 기간과 현장에서의 적은 학습자는 교직원과의 더 나은 관계를 촉진하고 LIC 학생들에게 향상된 피드백 기회를 제공했다. 몇몇 학생들은 약 3~4개월 동안 교수진과의 관계가 피드백을 추구하는 행동을 촉진할 수 있을 정도로 견고하다고 지적했다.
The long duration of the LIC and fewer learners at the sites facilitated better relationships with faculty and enhanced feedback opportunities for LIC students. Several students indicated that approximately three to four months into the LIC, their relationships with faculty were solid enough to facilitate feedback-seeking behaviors.

분명히 LIC 대 블록 실습의 차이가 있었다. LIC에서 제 경험의 대부분은 외래 환자였는데, 이는 오늘날의 상황과는 다른 흐름을 가지고 있습니다. 입원 환자에 비해 환자 상황은 예측하기 어렵습니다. (EE)
There definitely was a LIC versus block difference. In the LIC most of my experience was outpatient, which has a different flow to the day … you know when people are going to be available, versus inpatient things are bit more unpredictable. (EE)
3개월쯤 되면 그들이 나를 꽤 잘 알고 내가 무엇을 잘하는지 알고 있다고 생각한다고 말할 것이다. (AA)
I’d probably say by three months I think they knew me pretty well and knew what I was good at. (AA)

논의
Discussion

우리의 정성적 연구 결과는 임상실습 연도의 의대생들의 피드백 추구 행동을 설명하고 임상실습 학생들의 피드백 추구 행동에 영향을 미치는 교수-학생 관계의 측면을 강조함으로써 의학 교육 문헌에 추가된다(표 1). 임상실습 학생들은 피드백을 추구하는 다양한 이유와 동기를 가지고 있었고, 종종 피드백의 인식된 [이익]과 [비용]을 저울질했다. 그들은 피드백을 찾는 기술을 향상시키면서 피드백 추구 접근법을 빠르게 진행되고 종종 혼란스러운 임상 학습 환경에 적응시키는 방법을 배웠다. 우리의 가장 참신한 발견은 학생들이 필요한 정보를 얻는 목표를 달성하기 위해 간접적이거나 비조회적인 피드백 추구 기술을 사용했다는 것입니다.
The findings of our qualitative study add to the medical education literature by elucidating the feedback-seeking behaviors of medical students in the clerkship year and by highlighting aspects of the faculty–student relationship that have an impact on clerkship students’ feedback-seeking behaviors (Table 1). Clerkship students had multiple reasons and motives for seeking feedback, and they often weighed the perceived benefits and costs of feedback. They learned how to adapt their feedback-seeking approaches to the fast-paced and often-chaotic clinical learning environment, as they advanced their skills in seeking feedback. Our most novel finding was that students also used indirect or noninquiry feedback-seeking techniques, which we labeled as “artifice,” to achieve the goal of getting the information they needed.

우리의 연구 결과는 조직 심리학 문헌과 교육 문헌의 피드백과 관련된 이론적 모델을 뒷받침한다. 임상실습 학년의 의대생들은 그들의 [지식과 기술을 향상시키기 위해] 피드백을 구했고, 그들의 역량에 대한 [긍정적인 판단을 받고 부정적인 판단을 피하기]를 원했다. 이러한 동기는 각각 [학습 목표 지향]과 [수행 목표 지향]을 반영한다. 피드백을 추구하는 것은 참여를 보여줌으로써 자신의 이미지를 홍보하는 것을 포함하여 학생들에게 [다양한 이점]을 가져다 주었다. 그러나, 학생들은 그들의 자아, 감정, 그리고 자기 표현에 대한 손상과 같은 [피드백 탐색의 비용]을 확인했다. 학생들이 피드백의 편익과 비용을 처리하는 방법은 규제 초점 이론에 의해 설명될 수 있는데, 이는 개인이 ["향상" 또는 "예방" 초점]을 가지고 있음을 시사한다. 의료 교육 현장 환경에서 규제 초점이 어떻게 예측 가치를 갖는지 설명했다. 다른 이론으로 Watling과 Harrison 등은 피드백에 대한 학생들의 인식과 반응이 종합 평가와 혼동되는 형태적 피드백에 의해 왜곡될 수 있다고 강조했다.
Our findings support theoretical models regarding feedback in the organizational psychology literature17–19 and the educational literature.35–37 Medical students in their clerkship year sought feedback to improve their knowledge and skills, while wishing to receive positive and avoid negative judgments about their competence. These motives reflect learning goal and performance goal orientations, respectively.24–26 Seeking feedback reaped various benefits for students,16 including promoting one’s image by showing engagement.28 However, students identified costs in seeking feedback, such as damage to their egos, feelings, and self-presentation.17,28,38 The ways in which students processed the benefits and costs of feedback may be explained by regulatory focus theory, which suggests that individuals have either a “promotion” or “prevention” focus.39,40 How regulatory focus has predictive value in medical education workplace settings has been delineated.41 As a different theory, Watling42 and Harrison et al43 have emphasized that students’ perceptions and reactions to feedback may be distorted by their confusing formative feedback with summative assessment.

의대생들이 피드백을 구하는 방식은 수의대 학생들과 완전히 비슷하지는 않았다. 우리 학생들은 주로 [탐구 방법]을 사용하고 [모니터링 방법]의 사용을 많이 설명하지 않은 반면, 수의학 학생들은 두 가지 방법을 모두 주요 전략으로 사용하였다. 비록 두 분야의 학습자들이 물질적으로 다를 수 있지만, 더 가능성 있는 설명은 학습 환경의 차이이다. 또한, 바쁜 임상 학습 환경에서 수의학과 학생과 의대생 모두 피드백을 구할 수 있는 최적의 시기를 결정할 수 있었습니다. 우리 학생들은 피드백을 찾는 것이 다소 도움이 될 것이라는 신호를 보내는 분위기와 같은 피드백 제공자의 단서를 관찰했다.
The manner in which our medical students went about seeking feedback was not entirely similar to that of veterinary students.16 Our students predominantly used an inquiry method and did not describe much use of a monitoring method,28 whereas veterinary students used both methods as main strategies. The reasons for this are unclear; although learners in the two fields may be materially dissimilar, a more likely explanation is differences in the learning environments. Also, in a busy clinical learning environment, both veterinary students16 and our medical students were able to determine the best timing to seek feedback. Our students observed for cues from the feedback provider, such as mood,15 that signaled that seeking feedback would be more or less beneficial.

이 연구에서 우리의 독특한 발견은 임상실습 학생들이 [직접적인 질문] 외에도 피드백을 얻기 위한 전략을 형성함으로써 학습 환경에 적응하는 능력이었다. 이 기술은 단순히 [간접적인 질문]을 사용하는 것이 아니라 다양한 [비질문적 전술]을 사용하는 것을 포함한다. 개별 학생들은 [자신에게 가장 잘 맞는 한 두 가지 전략]에 만족하는 것처럼 보였다. 우리는 "인공물"이라는 용어가 암시하는 것처럼 학생들이 의도적으로 조작하거나 기만적이라고 생각하지 않는다. 오히려, 이 중요한 발견은 학생들이 거의 피드백을 받지 못하는 상황에서 개발한 "지혜적인clever" 접근법을 반영한다.
Our unique finding in this study was the ability of clerkship students to adapt to the learning environment by fashioning strategies, besides direct inquiries, to obtain feedback. This artifice was not simply using indirect inquiries28 but also involved employing a variety of noninquiry tactics. Individual students seemed to settle on the one or two strategies that worked best for them. We do not believe that students are intentionally manipulative or deceptive, as the term “artifice” might imply. Rather, this important finding reflects the “clever”34 approaches students have developed in the face of receiving little feedback.

우리의 결과는 의대생의 피드백 추구 행동에 영향을 미치는 상호 관련 측면(예: 목표, 동기, 이점, 비용)이 있는 피드백 제공자와 수신자 간의 복잡한 관계 모델을 지원한다. 교수-학생 관계와 관련하여 추가한 네 번째 인터뷰 질문은 새로운 관점을 제공하기보다는 이전의 결과를 확인시켜 주었다. 그들의 임상실습 학년에 의대생들은 교직원들이 접근하기 쉽다는 것을 느낄 필요가 있다. 그들은 "예의바르고 관대한" 문화가 피드백의 장벽이 된다는 것을 인식한다. 교직원이 지지적이고 배려적이라고 느끼는 학생들과 달리, 교직원에 대한 부정적인 반응을 보이는 학생들은 [피드백 회피 전략]과 [교직원 신뢰도에 대한 인식이 떨어지는 경향]이 있다. 
Our results support the model of a complex relationship5,27 between feedback provider and receiver which has interrelated aspects (e.g., goals, motives, benefits, costs) that affect the feedback-seeking behaviors of medical students. The fourth interview question we added regarding the faculty–student relationship confirmed previous findings rather than providing new perspectives. Medical students in their clerkship year need to feel that faculty members are approachable.1,44 They recognize that a culture of “politeness”45 and leniency5 becomes a barrier to feedback. In contrast to students who feel that faculty members are supportive and caring, students with negative reactions to faculty members46 tend toward feedback avoidance strategies and perceptions of poor faculty credibility.47

놀랄 것도 없이, LIC의 종단적 측면은 학생들이 교수진으로부터 피드백을 구하는 더 강한 관계를 더 쉽게 확립할 수 있도록 한다. 의대생들이 전통적인 입원 환자 블록 로테이션에 대해 충분한 피드백을 얻을 수 있지만, 그러한 피드백은 주로 (전공의보다 로테이션이 잦고 참석이 적은 교직원보다는) 전공의에게서 나온다. LIC 모델에 더 높은 품질의 피드백이 있을 수 있으며, 이는 부분적으로 블록 모델에 비해 피드백 기회가 증가한 것과 관련이 있을 수 있다. 또한 일반적인 입원 환자 블록 회전의 바쁜 임상 환경은 효과적인 피드백에 대한 장벽을 제시한다. 우리는 종단적인 멘토링과 조언을 통합하기 위해 의료 교육 모델을 크게 개혁하라는 어비 외 연구진의 요청을 지지한다.
Not surprisingly, the longitudinal aspect of the LIC facilitates an easier establishment of stronger relationships in which students seek feedback from faculty.48 Although medical students may be able to obtain sufficient feedback on traditional inpatient block rotations, such feedback will be predominantly from residents rather than from faculty members, who transition often and are less present than residents. There may be a higher quality of feedback in the LIC model, which may be partly related to the increased opportunities for feedback compared with the block model. Also, the busy clinical environment of a typical inpatient block rotation presents a barrier to effective feedback. We support the call by Irby et al49 to significantly reform medical education models to incorporate longitudinal mentoring and advising.

실제적인 의미
Practical implications

교수진 피드백 역량을 개발하기 위한 역사적 접근 방식에 의문이 제기되었다. 교수진들이 학습자의 피드백 추구 능력을 증진하도록 권장하고 있지만, [최적의 피드백 교류]를 [공동으로 수행]하는 데 [적극적인 참여자]로서 의대생들에게 힘을 실어주는 데 관심을 기울여야 한다고 생각한다. Crommelink와 Anseel은 훈련 프로그램이 학습 목표 지향을 촉진하기 위해 설계되어야 한다고 제안했다. 우리는 이전에 효과적인 피드백을 받는 의대생을 지도하는 것이 가능하다는 것을 보여주었다. 밀라노 외 연구진은 임상실습 학생들이 피드백을 이끌어내는 방법에 대한 90분간의 워크숍을 거친 후 피드백을 얻는 긍정적인 태도의 변화를 보여주었다.

The historical approach for developing faculty feedback competencies has been called into question.14 Although faculty are encouraged to promote the feedback-seeking skills of learners,50 we believe attention should be given to empowering medical students as active participants in coproducing optimal feedback exchanges.1 Crommelinck and Anseel15 have suggested that training programs be designed to promote a learning goal orientation. We have previously shown that coaching medical students in receiving effective feedback is feasible.51 Milan et al44 have demonstrated changes in positive attitudes toward obtaining feedback after clerkship students underwent a 90-minute workshop on how to elicit feedback.

우리는 또한 교직원들이 단순히 학생들에게 피드백을 요청하고 자주 요청하라고 말하는 것을 넘어서야 한다고 믿는다. Boud와 Moloyy는 피드백 커리큘럼이 피드백 제공뿐만 아니라 자기 규제 촉진, 피드백 추구 기술에서의 연습, 수신 훈련과 같은 요소를 포함해야 한다고 제안했다. 본 연구의 결과와 위에서 강조한 목표지향성 및 교육동맹모형을 바탕으로 [의대생의 피드백 추구능력을 향상시키기 위한 종단적 교육과정의 원형]을 설계하였다(부록 1, 2). 교육과정은 [목표지향성에 대한 개인의 선호도, 탐구 대 모니터링 접근법, 규제 초점에 대한 평가와 자기반성]으로 시작된다. 구성 요소에는 건설적인 피드백에 대한 둔감화와 다른 학생들에게 유용한 것으로 입증된 피드백 기법에 초점을 맞춘 세션이 포함된다. 대화형 활동은 피드백을 받고 반영하는 방법을 강조할 수 있다. 이 커리큘럼의 구성 요소는 실험 연구에 의해 지원되어야 하며(그러나 개념 모델에 의해 잘 부양되고 있음) 일부 내용이나 방법은 논란의 여지가 있을 수 있다는 것을 완전히 인식하고, 우리는 이 프로토타입이 학생들이 적극적인 참가자로서 피드백을 찾는 방법을 개선하는 방법에 대한 논의를 촉진하기를 바란다. 
We also believe that faculty need to go beyond just telling students to ask for feedback and to ask often. Boud and Molloy11 proposed that a feedback curriculum should include elements such as promoting self-regulation, practice in feedback-seeking skills, and training in receiving as well as providing feedback. Based on our findings in this study, and on the goal orientation and educational alliance models highlighted above,26,27 we designed a prototype of a longitudinal curriculum to enhance medical students’ feedback-seeking skills (Appendixes 1 and 2). The curriculum begins with an assessment of and self-reflection on an individual’s predilection to goal orientation,20,52,53 inquiry versus monitoring approaches,38 and regulatory focus.40 Components include desensitization to constructive feedback and a session focusing on the feedback artifice proven to be useful for other students. Interactive activities can emphasize how to receive and reflect on feedback. Fully recognizing that components of this curriculum need to be supported by experimental studies (but are well buoyed by conceptual models11) and that some of the content or methods may even be controversial, we hope this prototype will prompt discussion on methods to improve how students seek feedback as active participants.

 

한계
Limitations

우리 연구의 한계에 대해 반성적인 입장을 취할 때, 우리는 우리의 발견이 구성주의적 근거 이론 접근법의 위험인 우리 자신의 편견과 가정에 의해 제한되고 왜곡될 수 있다고 생각한다. 우리는 우리의 방법론적 과정이 강했다고 생각하지만, 한 가지 맹점은 의대생이나 교수진의 독특성일 수 있다. 우리는 다른 기관에서 두 그룹에 대한 연구가 서로 다른 결과를 초래할 수 있다는 것을 배제할 수 없다. 학생들이 자발적으로 인터뷰를 하였는데, 인터뷰를 하지 않은 학생들이 피드백 추구 접근법에 대한 인식이 다른지는 조사하지 않았다. 두 면접관은 참여 학생들과 직접적인 평가 역할이 없었음에도 학생들의 반응은 면접관의 리더십 역할에 영향을 받았을 수 있다. 인터뷰 가이드가 사용되었지만, 이 주제 영역에서 두 인터뷰어의 연구 경험 또한 우리의 해석을 편향시킬 수 있었다. 또한, 우리의 결론에 기초한 이론적 모델은 의학 교육 환경에서 개발되지 않았기 때문에 이러한 교육적 환경에 맞지 않을 수 있다. 우리는 프로토타입 교육 커리큘럼의 설계를 학생의 인식과 개념 모델에 기초했지만, 그러한 프로그램의 결과(예: 향상된 피드백 추구 기술)는 여전히 불확실하다. 학습 문화는 피드백 훈련 프로그램이 궁극적으로 얼마나 효과적인지에 중요한 역할을 할 수 있다. 
In taking a reflective stance regarding limitations to our study,54 we think our findings could be limited and distorted by our own biases and assumptions, which is a risk with a constructivist grounded theory approach.31 Although we believe our methodologic processes were robust,29 one blind spot may be the uniqueness of our medical student or faculty populations. We cannot rule out that a study of either group at another institution may result in divergent findings. Students volunteered to be interviewed, and we did not investigate whether those who were not interviewed had differing perceptions of feedback-seeking approaches. Even though the two interviewers had no direct evaluation role with the participating students, the students’ responses may have been influenced by the leadership roles of the interviewers. Although an interview guide was used, the research experience of both interviewers in this topic area could also have biased our interpretations. Additionally, the theoretical models for the basis of our conclusions17–19,24 were not developed in medical education environments, so they may not fit this pedagogical environment. We based the design of our prototype educational curriculum on student perceptions and conceptual models,15,44,51 but the outcomes of such a program (e.g., improved feedback-seeking skills) remain uncertain. The learning culture may have a significant role in how effective any feedback training program eventually is.55

결론들
Conclusions

임상실습 학년의 의대생들은 피드백을 추구하는 많은 동기를 가지고 있으며, 피드백을 추구하는 행동을 조정하여 피드백 제공자와의 복잡한 대화 상호작용에 적극적으로 참여한다. 교직원과 학생의 관계는 복잡하고 학생들이 피드백을 얻기 위해 사용하는 접근법에 영향을 미친다. 학생들은 자신의 필요를 충족시키는 구체적인 피드백 정보를 얻는 기술(및 기교)을 점진적으로 개선하지만, 그들에게 훈련을 제공하는 것은 유익할 수 있다. 우리의 프로토타입 커리큘럼은 학생들의 피드백을 찾는 기술을 개발하는 데 도움이 될 수 있다.
Medical students in their clerkship year have many motives to seek feedback, and they adapt their feedback-seeking behaviors to actively participate in an intricate dialogic interaction with their feedback providers. The faculty–student relationship is complex and affects the approaches students use to seek feedback. Students gradually refine the art (and artifice) of obtaining the specific feedback information that meets their needs, but providing them training may be beneficial. Our prototype curriculum may facilitate the development of students’ feedback-seeking skills.

 


Acad Med. 2018 Aug;93(8):1218-1226. doi: 10.1097/ACM.0000000000002256.

The Art (and Artifice) of Seeking Feedback: Clerkship Students' Approaches to Asking for Feedback

Affiliations collapse

Affiliation

1R. Bing-You is professor, Tufts University School of Medicine, Boston, Massachusetts, and vice president for medical education, Maine Medical Center, Portland, Maine. V. Hayes is clinical associate professor, Tufts University School of Medicine, Boston, Massachusetts, and faculty member, Department of Family Medicine, Maine Medical Center, Portland, Maine. T. Palka is clinical assistant professor, Tufts University School of Medicine, Boston, Massachusetts, and faculty member, Department of Psychiatry, Maine Medical Center, Portland, Maine. M. Ford is clinical assistant professor, Tufts University School of Medicine, Boston, Massachusetts, and assistant director of the longitudinal integrated clerkship, Maine Medical Center, Portland, Maine. R. Trowbridge is associate professor, Tufts University School of Medicine, Boston, Massachusetts, and director of the longitudinal integrated clerkship, Maine Medical Center, Portland, Maine.

PMID: 29668522

DOI: 10.1097/ACM.0000000000002256

Abstract

Purpose: As attention has shifted to learners as significant partners in feedback interactions, it is important to explore what feedback-seeking behaviors medical students use and how the faculty-student relationship affects feedback-seeking behaviors.

Method: This qualitative study was inspired by the organizational psychology literature. Third-year medical students were interviewed at Maine Medical Center in April-May 2017 after completing a traditional block rotation clerkship or a nine-month longitudinal integrated clerkship (LIC). A constructivist grounded theory approach was used to analyze transcripts and develop themes.

Results: Fourteen students participated (eight LIC, six block rotation). Themes associated with why students sought feedback included goal orientations, perceived benefits and costs, and student and feedback provider characteristics. Factors influencing the way students sought feedback included busy environments, timing, and cues students were attuned to. Students described more inquiry than monitoring approaches and used various indirect and noninquiry techniques (artifice) in asking for feedback. Students did not find summative feedback as helpful as seeking feedback themselves, and they suggested training in seeking feedback would be beneficial. Faculty-student relationship dynamics included several aspects affecting feedback-seeking behaviors, and relationship differences in the LIC and block models affected feedback-seeking behaviors.

Conclusions: Medical students have many motives to seek feedback and adapt their feedback-seeking behaviors to actively participate in an intricate dialogic interaction with feedback providers. Students gradually refine the art (and artifice) of obtaining the specific feedback information that meets their needs. The authors offer a prototype curriculum that may facilitate students' development of feedback-seeking skills.

 

임상교육자를 위한 인센티브: 인센티브의 영향은 복잡하기에 조심해야 한다 (Med Educ, 2020)
Incentives for clinical teachers: On why their complex influences should lead us to proceed with caution
Katherine M. Wisener1 | Erik W. Driessen2 | Cary Cuncic3 | Cassandra L. Hesse4 | Kevin W. Eva5 

1 소개
1 INTRODUCTION

의욕적인 임상 교사를 모집하고 유지하는 것은 어려울 수 있다. 교사 수가 부족하거나 임상의가 수업 의욕이 없을 때 의대생과 전공의들의 교육의 질이 떨어질 수 있다. Suboptimal한 해결책은 지도자당 학생 수가 증가하거나 교육자가 소진에 굴복하는 등 Suboptimal한 학습 조건으로 이어진다. 학습자가 교육 의욕이 없는 임상의에게 배정되면 부정적인 역할 모델링이 가능해지고 피드백 대화가 상처가 되거나, 학생들이 동정심 있고 효과적인 간병인이 될 수 있는 모든 범위의 역량을 개발하는데 어려움을 겪을 수 있다. 그렇긴 하지만, 열정적이고 헌신적인 임상 교사들도 동기 부여 문제에 면역이 되지 않는다. 실습, 체계 및 교육 수요가 계속 증가함에 따라 임상의는 일상적인 교육 활동을 통합하는 데 어려움을 겪는 경우가 많습니다.
Recruiting and retaining motivated clinical teachers can be challenging.1, 2 When teacher numbers are insufficient, or when clinicians are not motivated to teach, the quality of education for medical students and residents can suffer. Suboptimal solutions lead to suboptimal learning conditions, such as increases in the number of students per preceptor or leading the educator to succumb to burnout. When learners are assigned to clinicians who are not motivated to teach, negative role modelling becomes likely and feedback conversations can become hurtful or leave students struggling to develop the full range of competencies that will make them compassionate and effective caregivers.3, 4 That said, even enthusiastic and dedicated clinical teachers are not immune to motivational issues. As practice, systemic and educational demands continue to increase, clinicians often struggle with incorporating educational activities into their day to day.

이러한 문제들은 일상적으로 의과대학들이 임상의들의 [교육 노력에 대한 인센티브와 보상]을 제공하는 방법을 찾도록 한다. 이에 따라 프로그램 리더들의 감사를 표시하기 위해 [금전적 보상, 교수상, 감사장 등]이 일반적으로 사용되고 있다. 불행하게도, 최근 리뷰에서, 우리는 인센티브가 종종 역효과를 낼 수 있다는 충분한 증거를 발견했고, 원하는 행동을 장려하기보다는 동기를 감소시켰다. 이러한 현상에 대한 여러 설명이 있으며 각 전경이 인센티브가 영향을 미치는 메커니즘이 다르기 때문에 이론 간 통합은 어렵다. 또한, 요약된 메커니즘은 반드시 상호 배타적이지는 않으므로, 다양한 맥락에서 인센티브가 수행하는 역할을 더 잘 이해하기 위해 [여러 관점을 민감한 개념으로 사용할 필요가 있음]을 시사한다. 예를 들어,

  • 심리학의 [인지 평가 이론가]들은 상award과 같은 외적인 인센티브가 그들이 가르치는 것으로부터 받는 즐거움에 의해 본질적으로 추진되는 사람들을 의욕을 잃게 할 수 있다고 주장한다.
  • 반면에, 조직 행동의 [형평성 이론가]들은 동기를 감소시키는 불공정에 대한 인식을 촉진하지 않기 위해 [자신이 투입하는 노력]과 비교하여 [적절한 규모의 인센티브]를 설정하는 것의 중요성을 강조한다.
  • 동기부여-행동경제학의 [군중이론가]들은 [이타적이라고 느끼는 것으로부터 받는 보상]을 감소시킬 수 있다는 두려움 때문에 자원봉사와 같은 [친사회적 활동에 인센티브를 주는 것에 대해 경고]한다.

These problems routinely lead medical schools to seek ways of providing incentives and rewards for clinicians’ teaching efforts. As a result, financial compensation, teaching awards and letters of appreciation are commonly used to demonstrate program leaders’ gratitude.5 Unfortunately, in a recent review, we found ample evidence that incentives can often backfire, reducing motivation rather than encouraging the desired behaviour.6 There are multiple accounts of this phenomenon and integration across theories is difficult as each foregrounds different mechanisms through which incentives have an influence. Further, the mechanisms outlined are not necessarily mutually exclusive, thereby suggesting the need to use multiple perspectives as sensitising concepts to better understand the role incentives play in divergent contexts.

  • Cognitive evaluation theorists from psychology, for example, argue that extrinsic incentives like awards can de-motivate those who are intrinsically driven by the pleasure they receive from teaching.
  • Equity theorists from organisational behaviour, in contrast, emphasise the importance of setting appropriately sized incentives in relation to the investment of effort one exerts, so as to not promote perceptions of unfairness that reduce motivations.
  • Motivation-Crowding theorists from behavioural economics caution against incentivising prosocial activities such as volunteering out of fear that doing so can reduce the reward one receives from feeling altruistic.

인센티브가 의도하지 않은(그리고 종종 부정적인) 결과를 초래할 수 있는 가변적인 방법을 고려할 때, 보건 전문 교육에서 인센티브의 영향력 메커니즘은 충분히 다루어지지 않았다. 몇몇 연구들은 동기를 탐구했고 다음을 발견했다. 

  • 임상의는 무엇보다도 내재적인 이유(예: 개인적 만족)로 가르친다. 
  • 다음으로, 가장 자주 그들은 전문적인 목표를 달성하기 위해 가르친다고 주장한다(예: 경력 향상). 
  • 대조적으로 목록에서 낮은 것은 외부적인 이유(예: 돈)이다. 

그러나 이 연구는, 위에서 언급한 문헌이 [특정 행동에 대한 동기가 straightforward한 일은 거의 없음]을 시사한다는 점을 고려할 때, [복잡한 문제에 대한 필요하지만 충분하지 않은 성찰]일 수 있다. [교육 인센티브에 대한 생각]을 조사하는 경우, [서로 다른 요인들이 상호작용하여 예상치 못한 결과의 가능성을 만들어내는 방법에 대한 뉘앙스를 생각할 기회나 자극 없이 설문에만 기반]했을 때, 복잡성은 쉽게 과소평가될 수 있다. 다른 분야에서 보았던 것처럼 인센티브 사용을 통해 의도치 않게 동기부여가 저하될 위험을 피하기 위해서는 인센티브가 임상교사에게 어떤 영향력을 행사하는지에 대한 더 깊은 이해가 필요하다.
Given the variable ways in which incentives can yield unintended (and often negative) consequences, the mechanism of their influence in health professional education has not been sufficiently addressed. Several studies have explored motivations and found that

  • clinicians teach for intrinsic reasons (eg personal satisfaction) first and foremost;
  • next, most frequently they claim to teach to meet professional goals (eg career advancement);
  • low on the list, in contrast, are extrinsic reasons (eg money).6 

This work, however, offers a necessary but perhaps not sufficient reflection of a complex problem given that the literature alluded to above suggests that motivations towards certain behaviours are rarely so straightforward. Complexity can easily be underappreciated when considerations of teaching incentives are based on surveys of what one perceives without opportunity or prompts to reflect on the nuances of how different factors interact to create the possibility of unanticipated consequences. To avoid the risk of unintentionally lowering motivation through the use of incentives, as has been seen in other fields, we need a deeper understanding of how incentives exert their influence on clinical teachers.

현재의 연구는 임상의들이 무엇이 가르치는 것을 유도driving하는지, 그들이 직면한 장벽, 그리고 그들이 과거에 어떻게 교육 인센티브를 인식했는지를 탐구함으로써 이 다음 단계를 제공한다. 우리의 목표는 인센티브가 어떻게 의미 있고 영향력 있는 지원으로 작용하도록 개발될 수 있는지 더 잘 이해하는 것이다. 이 문제를 연구하면서 우리는 다양한 다른 분야의 핵심 테이크아웃 메시지와 역사적으로 동기 부여에 영향을 미치는 인센티브의 불안정한 특성에 의해 안내되었다. 가장 중요한 연구 질문은 다음과 같습니다. 

  • (a) 임상교사의 관점에서 의학교육에서 경험하는 동기부여와 동기부여의 관계는 어떠한가?; 그리고, 
  • (b) 임상의들은 교육 동기에 영향을 미치는 인센티브의 역할을 어떻게 생각하는가? 

이러한 질문을 해결함에 있어 인센티브와 동기 간의 고유한 상호 작용이 임상 교사에게 어떻게 작용하는지에 대한 새로운 지식을 제공함으로써 임상의가 교육자 및 교육 관리자로서의 역할에서 프로그램 리더로서의 역할을 더 잘 지원할 수 있는 권장 사항을 생성하기를 바란다.
The current study offers this next step by exploring what is driving clinicians to teach, the barriers they face, and how they have perceived teaching incentives in the past. Our aim is to better understand how incentives can be developed to act as meaningful and impactful supports. In studying this issue we were guided by the key takeaway messages from a variety of other disciplines and the precarious nature with which incentives have been historically shown to impact motivation.6 The overarching research questions are:

  • (a) How is the relationship between motivation and incentives experienced in medical education from the perspective of clinical teachers?; and,
  • (b) How do clinicians view the role of incentives in influencing their motivations to teach?

In addressing these questions, we hope to contribute new knowledge around how unique interactions between incentives and motivations play out for clinical teachers, thereby generating recommendations that will better support clinicians in their roles as educators and educational administrators in their roles as program leaders.

2 방법
2 METHODS

2.1 설계 연구
2.1 Study design

[해석적 기술 방법론]을 사용하고 COREQ(Consolidated Criteria for Reporting Qualitical Research)를 따랐다. [해석적 기술]은 건강 연구자들이 일반적으로 질문하는 적용된 질문에 대한 탐구를 우선시하기 위해 근거 이론과 현상학의 원칙을 기반으로 하는 비교적 새로운 질적 접근법이다. [구성주의자적 세계관에 기반]한 해석적 서술은, 패턴을 포착하고 연구 중인 문제를 개선하기 위해 이해를 알릴 수 있는 서술을 생성하는 데 사용된다. 따라서 여러 현실이 존재하고, 각각이 개인에 의해 사회적으로 구성되고 문화적, 사회적 맥락에 의해 영향을 받는다는 것을 인정하면서 매우 집중하는 경향이 있다. 즉, 경험의 의미에 대한 이해는 참가자와 연구자가 공동으로 구성한다.
We used interpretive description methodology7 and followed the Consolidated Criteria for Reporting Qualitative Research (COREQ).8 Interpretive description is a relatively new qualitative approach that builds on the principles of grounded theory and phenomenology to prioritise exploration of the applied questions commonly asked by health researchers. Constructivist9 in worldview, interpretive description is used to capture patterns and generate description that can inform understanding for the sake of improving the problem being studied. It tends, therefore, to be very focused while acknowledging that multiple realities exist, each being socially constructed by individuals and influenced by cultural and social context.10 In other words, an understanding of the meaning of experiences is co-constructed by participants and researchers.

2.2 설정
2.2 Setting

브리티시컬럼비아 대학교(UBC)의 MD 프로그램은 2 + 2 (전임상실습 연수 + 임상실습 연수) 구조를 따르는 4년제 졸업생 등록 분산 프로그램이다. 4개의 지역 캠퍼스에서 제공되며, 각각의 캠퍼스는 더 큰 UBC 프로그램의 일부임에도 불구하고 뚜렷한 우선순위, 교수진, 제도적 문화를 가지고 있다. 대다수의 교사들은 임상 교수진으로 임명되어 있으며, 따라서 그들이 얼마나 자주 그리고 어떤 맥락에서 가르치는지에 대해 상당한 유연성을 가지고 있다. 이와 같이 교사들은 그들이 어디서 어떤 학습자를 가르치느냐에 따라 재정적이든 그 밖의 다양한 지원과 교수 인센티브를 받는다. 앨버타주 캘거리에 있는 커밍 의과대학의 한 명 외에 네 곳의 교수진이 모두 포함되었다. 프로그램의 분산 특성을 고려할 때, 인터뷰는 가능할 때 직접 수행되었고(참가자의 요청에 따라 클리닉, 병원 또는 기타 장소에서) 장거리 인터뷰는 전화 또는 화상 회의를 통해 수행되었다.
The MD program at the University of British Columbia (UBC) is a four-year graduate entry distributed program that follows a 2 + 2 (preclerkship years + clerkship years) structure. It is delivered at four regional campuses, each of which has distinct priorities, faculty and institutional culture despite being part of the larger UBC programme.11 A large majority of the teachers have clinical faculty appointments and, thus, have considerable flexibility in how often and in what contexts they teach; clinicians appointed to academic positions are expected to teach, but still often have flexibility with respect to how they contribute educationally. As such, teachers receive a variety of supports and teaching incentives, financial or otherwise, depending on where and which learners they teach. Faculty from all four sites were included in addition to one participant from the nearby Cumming School of Medicine in Calgary, Alberta. Given the distributed nature of the programme, interviews took place in person when possible (in clinic, hospital settings or other locations at the request of participants) and long-distance interviews took place over the phone or via videoconference.

2.3 참가자
2.3 Participants

정보가 풍부한 사례(학부와 대학원 모두에서 다양한 환경에서 강의한 것으로 알려진 임상 교수진)를 식별하기 위해 [목적적 샘플링 전략]이 사용되었다. 우리는 임상적 맥락(예: 입원 환자, 외래 환자)을 넘나들며 다양한 수준의 교육 경험을 가진 임상의를 추구함으로써 이질성을 극대화하기 위해 노력했다. 일부 참가자들은 임상 환경 외에 교실 환경에서도 가르쳤다. 수석 연구원은 알려진 임상의에게 이메일을 통해 임상의 네트워크에 참여 초대장을 배포할 것을 요청했다. 연구원과 접촉한 사람들은 인터뷰를 했다. 주제의 초기 개념화에 이의를 제기할 가능성이 있다고 생각되는 참가자들은 의도적으로 추구되었다. 예를 들어, 초기 응답자들은 교육에 매우 참여하고 유사한 인식을 기술했기 때문에, 관찰된 패턴에 도전하기 위해 교사 역할에서 사임한 임상의를 초대하기 위해 네트워크를 사용했다.
A purposeful sampling strategy was used to identify information-rich cases12 (clinical faculty known to have taught in a variety of settings, both undergraduate and postgraduate). We strove to maximise heterogeneity by pursuing clinicians who have taught across clinical contexts (eg inpatient, outpatient) and who had varying levels of teaching experience. Some participants taught in classroom environments in addition to clinical ones. The lead researcher asked known clinicians to disseminate a participation invitation to their clinician networks via email; those who contacted the researcher were interviewed. Participants thought likely to challenge early conceptualisations of themes were purposely sought. For example, early respondents were highly involved in teaching and described similar perceptions, so networks were used to invite clinicians who had resigned from teaching roles to challenge observed patterns.

2.4 데이터 수집
2.4 Data collection

인터뷰 가이드(부록 S1 참조)는 [동기와 인센티브 사이의 관계에 대한 다양한 관점을 제공하는 문헌 검토를 통해 확인된 다양한 이론을 사용하여 구성]되었다. 그러나 질문은 참가자들을 특정 견해로 유도하지 않기 위해 광범위하게 표현되었다. 또한, [민감 개념]으로 작용하는 이론에 의해 만들어진 가정에 도전하기 위한 노력으로 인터뷰 가이드의 반복적인 수정을 통해 데이터 자체에서 발생한 개념화를 수용하고 탐구했다.
An interview guide (see Appendix S1) was structured using the various theories identified through our literature review that offered different perspectives on the relationship between motivation and incentives.6 Questions, however, were phrased broadly to avoid directing participants to particular views. Further, conceptualisations that arose from the data themselves were embraced and explored through iterative modification of the interview guide in efforts to challenge assumptions made by the theories that served as sensitising concepts.

일반적으로, 인터뷰는 45-90분이 걸렸고 인구 통계와 교육 맥락을 포착하기 위한 몇 가지 질문으로 시작했다. 이어 개인의 교육에 대한 인식, 그들에게 제공되는 인센티브, 그들이 직면한 장벽, 그리고 그들이 교사로서 가치를 느낀다고 느끼는 지를 탐구하는 반구조적 질문을 했다. 인터뷰 가이드가 연구 목적에 효과적으로 부합하는지 여부를 평가하고, 질문이 참가자 풀에 있는 사람들과 어떻게 공명할지 결정하기 위해, 리드 연구자에게 알려진 임상의를 대상으로 두 번의 초기 인터뷰를 실시했다. 이러한 인터뷰에 이어진 디브리핑 토론 후 인터뷰 프로토콜을 약간 수정했을 뿐이므로 이러한 데이터는 분석에 포함되었다. 추가적인 작은 연구 가이드 수정은 연구팀이 녹취록을 검토한 후 인터뷰 내내 반복적으로 발생했고, 참가자들이 구조를 제기했을 때 조사자들이 미래의 참가자들과 함께 더 표적적인 방식으로 질문해야 한다고 생각하는 것에 주목했다. 마찬가지로, 프로빙 질문이 많은 토론을 유발하지 않을 때 변경이 이루어졌다. 인터뷰는 데이터가 포화된 것으로 나타난 후 3명의 참가자가 모집될 때까지 계속되었다(참가자의 교육 경험과 업무 맥락의 차이에 관계없이 연구 질문에 대한 새로운 관점을 밝히는 것을 중단했다).
In general, interviews took 45-90 minutes and began with several questions to capture demographics and teaching contexts. Semi-structured questions were then asked that explored individuals’ perceptions of teaching, incentives provided to them, barriers they face, and whether they felt valued as teachers. Two initial interviews were conducted with clinicians known to the lead researcher to pilot the interview guide, assess whether the guide was effectively aligned with the study purpose, and to determine how the questions would resonate with those in the participant pool. After a debrief discussion following these interviews, only slight modifications to the interview protocol were made, so these data were included in our analysis. Additional minor study guide modifications occurred iteratively throughout interviews after the research team reviewed transcripts and noted when participants raised constructs the investigators thought should be asked in a more targeted way with future participants; similarly, changes were made when probing questions did not yield much discussion. Interviews continued until three participants had been recruited after the data appeared to have saturated (ie stopped revealing novel perspectives on the research questions regardless of differences in participants’ teaching experience and work contexts).

2.5 데이터 분석
2.5 Data analysis

인터뷰 녹취록을 분석하기 위해 [해석적 서술 기법]이 사용되었으며, 여기에는 [데이터 해석, 연구 결과 합성, 패턴 및 관계 이론화]의 반복적인 단계가 포함되었다.
The interpretive description technique was followed to analyse the interview transcripts, which involved iterative phases of interpreting data, synthesising findings, and theorising patterns and relationships.13

처음 3개의 녹취록은 두 명의 조사관(KW, KE)에 의해 독립적으로 검토되었으며 초기 인상은 후속 인터뷰에서 인터뷰 가이드의 변경 사항을 알리는 데 도움이 되었다. 약 10개의 인터뷰가 완료된 후, 4명의 조사관(KW, ED, CC, KE)이 두 개의 대조적인 녹취록을 독립적으로 검토했다. 각각은(교수진 개발자 1명, 임상의 1명, 의료 교육자 2명) 개인적 경험과 맥락이 해석에 어떻게 영향을 미칠 수 있는지 식별하기 위해 [데이터에 대한 자신의 반응]을 문서화했다. 그런 다음 이러한 문서화된 반응을 종합적으로 논의하여 조사자들이 패턴을 식별하고 데이터에서 시사점을 도출하기 위해 유사하고 다양한 인상을 가진 곳을 식별했다. [반사성]에 대한 이러한 노력은 해석적 기술 방법론에 매우 중요하다.
The first three transcripts were reviewed independently by two investigators (KW, KE) and initial impressions helped to inform changes to the interview guide in subsequent interviews. After approximately ten interviews were completed, four investigators (KW, ED, CC, KE) independently reviewed two contrasting transcripts. Each (one faculty developer, one clinician and two medical educators) documented their own reactions to the data with effort to identify how their personal experiences and contexts might influence their interpretation. These documented reactions were then discussed collectively to identify where investigators had similar and divergent impressions for the purpose of identifying patterns and deriving implications from the data. Such efforts at reflexivity are critical to the interpretive description methodology.

그룹 토론에서 수집된 결과는 [초기 주제 구조]를 개발하는 데 사용되었으며, 이 구조는 4명의 조사관 모두가 두 개의 더 많은 녹취록을 코딩하는 데 사용되었다. 이 과정은 대본 코딩이 더 이상 추가 수정을 산출하지 않을 때까지 주제 구조와 인터뷰 가이드에 대한 지속적인 조정을 계속했다.
The collated output of the groups’ discussions was used to develop an initial thematic structure that was then used by all four investigators to code two more transcripts. This process continued with ongoing adjustments to the thematic structure and interview guide until transcript coding no longer yielded additional revisions.

마지막으로, 연구 보조자(CH)는 모든 대본을 읽고 주제 구조에 대해 체계적으로 코드화했다. 주 저자와의 매주 회의를 통해, 코드북을 적용하는 과제가 식별됨에 따라 [주제 구조에 대한 작은 조정]이 이루어졌다(예: 코드화된 데이터가 연구 질문과 관련성을 주장할 만큼 충분히 실질적이지 않은 경우 코드화된 일부 하위 테마가 중복된 것처럼 보이게 하거나 삭제되었을 때 일부 하위 테마가 병합되었다). 연구팀은 모든 코딩이 완료되면, 주제구조 내에서 각 주제로부터 일반적인 메시지를 외삽하는 동시에, 개별 참여자들 간의 주장의 차이를 설명하기 위한 [모순된contradictory 사례와 방법]을 모색했다. 이는 [연구 질문과 관련한 패턴, 불협화음, 경향, 시사점 등을 검토]하여 [주제의 의미를 종합하고 이론화]하기 위한 그룹 회의를 개최하는 등 [주제 설명]과 [예시 인용]을 검토하는 방식으로 진행되었다. [감사 추적]은 본 연구의 분석 단계 전반에 걸쳐 유지되었고, 우리의 분석 과정과 결과는 조사 결과를 개입의 출발점으로 직접 적용할 수 있는 방식으로 완료되었다. 
Finally, a research assistant (CH) read through all transcripts and systematically coded each against the thematic structure. Through weekly meetings with the lead author, minor adjustments to the thematic structure were made as challenges applying the codebook were identified (eg some subthemes were merged when coding made them appear redundant or dropped when coded data were not substantive enough to make claims of relevance to the research question). Once all coding was completed, the research team extrapolated the general message from each theme within the thematic structure while also seeking contradictory cases and ways to account for variations in claims between individual participants. This was done by reviewing theme descriptions and example quotes, with group meetings held to synthesise and theorise the meaning of themes through examination of patterns, dissonances, trends and implications in relation to the research questions. An audit trail was kept throughout the analytic phase of this work and the process and product of our analysis was completed in such a way that findings could be directly applied as a starting point for intervention.14

2.6 윤리
2.6 Ethics

윤리적 승인은 UBC의 행동 연구 윤리 위원회(H18-01109)에 의해 제공되었다.
Ethical approval was provided by the UBC’s Behavioural Research Ethics Board (H18-01109).

3 결과
3 RESULTS

16개의 인터뷰가 완료되었다. 참가자의 특기사항, 장소 및 실무연수는 표 1에서 확인할 수 있다.
Sixteen interviews were completed. A summary of participant specialties, locations and years in practice can be seen in Table 1.

인센티브의 영향을 이해하려면 먼저 무엇이 임상의를 교육으로(또는 교육에서 멀어지게) 만드는지 알아야 합니다. 따라서 우리는 교육 인센티브에 대한 참가자의 인식을 설명하기 전에 교육 결정에 영향을 미치는 개인 및 외부 요인에 대한 설명과 함께 그 복잡성(즉, 이러한 요인이 역할을 하는 미묘한 및 가변적인 방식)으로 시작한다. 
To understand the impact of incentives, we need to first know what drives clinicians towards (or away from) teaching. We start, therefore, with a description of personal and external factors influencing teaching decisions, along with their complexities (ie the nuanced and variable ways in which these factors play a role), before outlining participants’ perceptions of teaching incentives.

3.1 교수 결정에 영향을 미치는 요인
3.1 Factors influencing decisions to teach

표현된 동기부여 요인은 [개인적 요인(자신과 관련된)]과 [외부 요인(환경/상황과 관련된)]으로 분류되었다. [개인적인 요인]과 관련하여, 많은 사람들이 학생들과 그들의 교육 욕구에 근본적으로 영향을 미친 의학계 전반의 복지에 대해 [이타적unselfish 배려]를 표명했다. 예를 들어, 그들은 'pay it forward'할 의무를 느꼈고 미래의 의사들의 개발을 지원하는 것에 대한 열정이 깊이 뿌리내렸다. 많은 사람들은 또한 그들의 임상 지식의 인맥, 평판 또는 통화를 구축하고자 하는 열망을 표현했다.
Motivators participants expressed were categorised into personal factors (related to the self) and external factors (related to the environment/context). Regarding personal factors, many expressed unselfish regard for the welfare of students and the medical community at large that fundamentally influenced their desire to teach. For example, they felt a duty to ‘pay it forward’ and had deeply rooted passion for supporting the development of future physicians. Many also expressed desire to build connections, reputation or the currency of their clinical knowledge.

[외부 요인]과 관련하여, 많은 참가자들은 [학습자가 환자 치료를 더 효율적으로 할 수 있을 때] 또는 [임상 환경이 교육에 도움이 될 때(예: 학습자를 수용할 수 있는 적절한 물리적 공간이 있는 경우)]에 가르치는 데 더 동기부여가 된다고 공유했다. 시간이 너무 짧거나, 소득 손실이 너무 크거나, 학습자가 안전 위험을 제기하거나, 임상의가 가족의 요구를 균형 있게 해야 하는 필요성과 마찬가지로 동기 부여 장벽을 만들었는지 여부에 대한 선택권이 없다고 느꼈다.
Regarding external factors, many participants shared that they were more motivated to teach when learners could help make patient care more efficient or when their clinical environment was conducive to teaching (eg they had adequate physical space to accommodate learners). Feeling that time was stretched too thin, that income loss was too great, that learners posed safety risks or that the clinician did not have a choice in whether they taught created motivational barriers as did the need to balance family demands.

이러한 요인들은 시간이 지남에 따라 또는 환경 전반에 걸쳐 [정적인 것이 아니라], 경력과 삶의 단계를 통해 진화한 [역동적인 방식]으로 개인들에 의해 가중치가 부여되었다. 또한, 일부 요인들은 상당히 [선형적인 영향력]을 가지고 작동하는 것으로 설명되었지만(예: 더 많이 가르치는 것을 좋아할수록 더 많이 할 가능성이 더 높다), 동기 부여자의 존재가 항상 더 많은 교육으로 이어지지 않고 장벽의 존재가 항상 더 적게 작동하지 않는다는 점에서, 많은 요인들이 더 복잡한 방식으로 작동하는 것으로 보였다. 예를 들어, 어떤 요인들은 그들의 존재가 때로는 동기부여로 묘사되고 때로는 동기부여를 감소시키는 부정적인 요소들을 만들었다는 의미에서 [양날의 것]이었다. 예를 들어, 다른 요인에 따라, 임상의가 가르치는 의무감은 [어떤 순간에는 특권처럼 느껴지고, 다른 순간에는 부끄러운 의무처럼 느껴질 수] 있다. 여전히 다른 요인들은 [역전된 U자형 함수]로 더 잘 설명되어, 감소를 야기하기 전에 어느 정도 동기를 증가시키는 것처럼 보였다. 예를 들어, 한 사람의 지식이 시대에 뒤떨어지는 것에 대한 걱정은 참가자들의 교육 욕구를 증가시켰지만(학습자가 임상의를 최신 상태로 유지하는 데 도움을 줄 수 있기 때문에), 단지 어느 정도만; 그들의 전문 지식과 너무 동떨어진 느낌은 임상의가 가르치는 것을 단념시켰다. 표 2는 포괄적이지는 않지만 선형, 양날 및 U자형 요인에 대한 설명과 대표적인 인용문을 제공함으로써, 교육에 동기를 부여하거나 장벽을 만드는 요인을 단순히 나열하는 것의 부적절성을 보여준다.
These factors were not static over time or across environment, but were weighed by individuals in a dynamic manner that evolved throughout their career and life phases.

  • Further, while some factors were described as operating with a fairly linear influence (eg the more one likes to teach the more likely they are to do it), many factors appeared to operate in a more complex manner in that the presence of a motivator did not always lead to more teaching and nor did the presence of a barrier always lead to less.
  • To illustrate, some factors were dual-edged in the sense that their presence was sometimes described as motivating and sometimes created negatives that reduced motivation. For example, dependent on other factors, a clinician's sense of duty to teach could feel like a privilege in some moments and a begrudging obligation in others.
  • Still other factors seemed better described as an inverted U-shape function, increasing motivation to a point before causing a decline. For example, worry about one's knowledge being out of date increased participants’ desire to teach (because learners can help clinicians stay up to date), but only to a point; feeling too far from their expertise deterred clinicians from teaching.

Table 2, while not comprehensive, illustrates the inadequacy of simply listing factors that motivate or create barriers to teaching by providing descriptions and representative quotes of linear, dual-edged and U-shaped factors.

 

더욱 복잡해짐에 따라, 참가자들은 종종 [그들이 가르치는 것으로부터 얻는 이익]에 초점을 맞추어 특정 장벽을 제거했다. 보상에 대한 그들의 관점은 좋은 예를 제공한다. 참가자들은 대부분의 경우 가르치는 것이 수입을 잃는 결과를 가져온다는 것을 일반적으로 인정했지만, 'pay it forward'에 대한 의무감이 너무 강해서 많은 사람들은 가르치는 기회가 돈보다 더 가치 있는 'currency'와 동등하다고 묘사했다.
Adding further complexity, participants frequently rationalised certain barriers away by focusing on the benefits they derived from teaching. Their perspective on compensation provides a good example. While participants generally acknowledged that in most cases teaching results in a loss of income, the sense of duty to ‘pay it forward’ can be so strong that the opportunity to teach was described by many as equivalent to a ‘currency’ they valued more than money:

거기가 나를 위한 돈이 있는 곳이다. 그것은 제가 이 사람에게 무언가를 가르쳤고, 그 사람은 이제 다른 사람에게 그것을 가르치거나 무언가를 진단하고 변화를 일으켜 누군가의 삶에 영향을 미칠 것이라는 것을 아는 것입니다. 나에게는 풍요로움이 있다. (참가자 2)
That’s where the money is for me. It’s knowing that I’ve taught this person something and that person’s now going to either teach it to somebody else or maybe diagnose something and make a difference and have an impact in somebody’s life. To me that’s where the richness is. (Participant 2)


그러한 정당성은 단기적으로 효과가 있었지만, 참가자들은 장벽의 축적이 그들의 교육 능력이나 의지에 어떻게 영향을 미치는지 설명했기 때문에 동기부여는 역동적이었다. 그 결과, 개인의 영향력이 임상의에게 각기 다른 시점에서 영향을 미치기 때문에 [언제나 교수 감소teaching attrition를 초래하는 특정 요인]은 식별할 수 없었다. 일부 임상의들은 그들이 충분히 양보했다고 느꼈기 때문에 가르치는 것을 중단했지만, '티핑 포인트'는 대개 부정적인 경험이나 별개의 삶이나 경력 단계로 접어들면서 촉발되었다.
While such justifications worked in the short-term, motivations were dynamic as participants described how the accumulation of barriers impacted their ability or willingness to teach. As a result, it was not possible to identify particular factors that always led to teaching attrition as their individual influence affected clinicians differently and at different points in time. Some clinicians stopped teaching because they felt like they had given enough (ie it was time to take a step back), but the ‘tipping point’ was usually triggered by a negative experience or by entering a separate life or career stage:

나는 서비스 클리닉 비용이 있고 환자가 많다는 이유만으로 빨리 환자를 봐야 한다는 압박을 받을 때 특별히 가르치는 것을 좋아하지 않는다.
I don’t particularly like teaching when I have a fee for service clinic and I’m pressured to see patients quickly just because I have a lot of patients and because I need to get home to children and, like, motherhood and stuff. (15)


예를 들어, 그들이 직면한 장벽에도 불구하고 강의를 계속한 임상의들은 바쁜 가족 생활의 누적된 영향과 바쁜 임상 실습이 결국 교수직을 사임하게 될 것이라고 암시했다.
Those clinicians who continued to teach despite barriers they faced hinted that the cumulative impact of a busy family life in combination with a busy clinical practice, for example, would eventually lead to resigning from teaching commitments:

전반적으로 우리는 삶에 만족하고 있지만, 우리는 긴장하고 있다고 생각해요. 그리고 우리는 이것을 지탱할 수 없는 벼랑 끝에 와 있는 것처럼 느끼고 있다. (16)
I think overall, I think overall we’re, uh, happy with our lives but I think we’re feeling stretched…And we’re feeling like we’re on the brink where we can’t sustain this. (16)

이러한 복잡한 현실 앞에서 우리는 교육 인센티브가 어떻게 인식되고 궁극적인 소진과 교육 감소를 완화하는 데 사용될 수 있는지 고려해야 한다. 
It is in the face of such complex realities that we must consider how teaching incentives are perceived and might be used to mitigate against eventual burnout and teaching attrition.

3.2 교수 인센티브에 대한 인식과 교사의 가치관 형성에 미치는 영향
3.2 Perceptions of teaching incentives and their impact on making teachers feel valued

모든 참가자들은 [학생들의 평가]가 특히 중요한 인센티브를 창출했다고 지적했다. 또한, 그들은 특정 인센티브와 보상(예: 감사 편지, 교수 상, 선물 및 피드백)이 어떻게 그들이 교사로서 가치가 있다는 인식을 형성하는지 설명했는데, 이것이 그들의 가르치는 동기의 주요 동인으로 보였다. 그렇게 함으로써, 그들은 인정, 감사, 연결, 관계와 같은 구조를 중심으로 말하는 경향이 있었다. 그러나 참가자들이 이러한 인센티브를 설명하는 방식은 다시 미묘한 차이를 보이며 매우 가변적이었다. 예를 들어, 어떤 이들은 상을 원하지 않는다고 주장했고, 어떤 이들은 그들이 받은 상이 특히 의미 있는 것이라고 언급했다. 선생님으로서 가치를 느낀 사람들은 무엇이 그들을 그렇게 느끼게 하는지 명확하게 표현하는 데 어려움을 겪었고, 다른 사람들은 그들이 의대로부터 가치있게 여겨졌다고 느꼈는지조차 고려하지 않았다.
All participants indicated that students’ appreciation created particularly important incentivisation. In addition, they described how certain incentives and rewards (eg thank you letters, teaching awards, gifts and feedback) built perception that they were valued as a teacher, which appeared to be the primary driver of their motivation to teach. In doing so, they tended to speak around constructs like recognition, appreciation, connectedness and relationships. However, the way in which participants described these incentives were again nuanced and highly variable. For example, some insisted they did not want awards and some referenced the awards they received as being particularly meaningful. Some who felt valued as teachers had difficulties articulating what made them feel that way; others had not even considered whether they felt valued by the medical school.

이러한 변동성과 관계없이, 모든 참여자들은 [인센티브의 개념]과 [인센티브의 실행]을 구별하여, [선의의 인센티브조차도 역효과를 가져올 수 있음]을 나타냈다. 즉, 인정이 해를 끼치는 것보다 더 많은 이익을 주는 것이라면 인센티브의 전달이 인센티브 자체보다 더 중요했다. [긍정적으로 설계된 인센티브의 부정적인 영향]은 참가자들의 기억에서 두드러졌고, 몇몇 참가자들은 그들이 저평가되었다고 느낄 때 감정적이 되었다. 이러한 [의도하지 않은 결과]는 [사기]에 전반적으로 영향을 미쳤고, 참가자들의 [감사하는 마음과 유대감]을 감소시키는 동시에, 그들에게 [의미 있는 관계]를 위협했다. 인센티브는 일반적으로 [비인격적이거나, 불평등하거나, 비효율적이거나, 적절한 프레임 구성이 부족할 때] 의도하지 않은 결과를 이끌어내는 것처럼 보였다.
Regardless of this variability, all participants made a distinction between the notion of an incentive and its implementation, indicating that even well-intentioned incentives could backfire. That is, the delivery of an incentive was just as, if not more, important than the incentive itself if the acknowledgement was to do more good than harm. Negative impacts of incentives that were designed to be positive were prominent in participants’ recollections with several participants becoming emotional when discussing times they felt undervalued. Such unintended consequences impacted morale quite generally, reducing participants’ sense of appreciation and connection while threatening relationships that were meaningful to them. Incentives generally seemed to elicit unintended consequences when they were impersonal, inequitable, inefficient or lacked appropriate framing.


[비개인적]이라는 라벨은 참가자들이 그들의 교육 노력에 대한 인정을 받는 것에 감사했지만, 그들이 [구체적일 때]만 감사했다는 관찰을 반영한다. 개인적 속성이 부족한 감사 이메일이나 감사 편지는 적극적으로 받아들여지지 않았습니다.
The label of impersonal reflects observations that participants were grateful to receive acknowledgements of their teaching efforts, but only when they were specific. Thank you emails or appreciation letters that lacked personal attributes were not enthusiastically accepted:

당신은 이 무작위 이메일처럼 되고 그것에 첨부된 이름이나 어떤 것도 없지만, 그것은 '오 선생님이 되어주셔서 감사합니다'와 같습니다… (6)
you get like this random email and there’s no names attached to it or anything but it’s like 'oh thank you for being a teacher'… (6)

형식적인 편지라서 이름만 바꾸고 박사님이나 박사님도 바꾸고 있어요. 사실 마음에 안 들어요. 그냥 쓰레기통에 버립니다. 왜냐하면 저는 그것들이 정말로 아무 의미가 없다고 생각하기 때문입니다. (9
it’s a form letter so they’re just changing your name and Dr so and so or Dr so and so … I actually don’t like those. I just throw them in the trash bin … because I don’t think they really mean anything. (9)

극명하게 대조적으로, 의대로부터 '나는 그저 다른 원숭이로 대체할 수 있는 또 다른 원숭이처럼 느껴진다'고 말하면서 아무런 감사를 느끼지 못했던 한 의사는 [학생들의 몸짓에 깊은 감동을 받았고 그것이 그들이 그녀를 교육자로서 소중히 여기는 것을 보여주는 그들의 방식]이라고 느꼈다.
In stark contrast, one physician who felt no appreciation from the medical school, stating ‘I feel like just another monkey that's replaceable with a different monkey’, was deeply touched by a gesture from her students and felt that it was their way of showing they valued her as an educator:


수업이 끝날 무렵 나는 내 사무실로 갔고, 알다시피, 내가 가르쳤던 그룹의 감사 카드와 함께 [음료] 네 팩이 있었다. (13)
at the end of a course I went up to my office and there was, you know, a four pack of [drink] with a little thank you card from the group that I had taught. (13)


[임상 교사들에 대한 인정의 불평등]은 일부 감정을 간과하고 그들의 노력을 간과하게 만들었다. 이것은 승진, 지급, 직함, 그리고 상에 대해 논의할 때, 특히 다른 사람들이 그들이 덜 받을 자격이 있다고 여겨지는 것을 받는 것을 볼 때 나타났다. 예를 들어, 두 명의 참가자는 [의대가 승진을 할당하는 방법에 대한 공정성의 결여]에 대해 논의할 때 마지못해 고통을 표현했다.
Inequities in the acknowledgement of clinical teachers left some feeling overlooked and their efforts unnoticed. This came up when discussing promotions, payments, titles and awards, especially when others were seen to receive something for which they were perceived as less deserving. For example, two participants reluctantly expressed anguish when discussing the lack of fairness in how the medical school allocates promotions:

나는 이것에 대해 매우 구체적으로 말하고 싶지는 않지만, 가끔 당신이 프로그램에서 수년간 당신의 심혈을 기울이고 있었는데, 갑자기 전혀 기여한 바가 없는 사람이 특정한 지위, 특정한 신용 또는 특정한 [인정]을 얻는 일이 생긴다. 아마도 사람들은 단지 변화를 원하지만, 때때로 내가 과소평가된다고 느낀다. (16)
I don’t want to be very specific about this but sometimes in the program you put your heart and soul for so many years … and then someone who hasn’t contributed suddenly might get a particular position or a particular credit or a particular [acknowledgement] … maybe people just want change but sometimes you feel undervalued… (16)

나는 어떤 종류의 상도 바라지 않아, 정말로 그렇지 않아. 사실은 원하지 않아요. 하지만 당신이 그것에 대해 약간 냉소적이 된다는 것은 웃기는 일입니다, 음, 알다시피, 나는 이 상을 받은 사람이 학생들을 수치스럽게 하는 교육방식으로 학생들로부터 비난을 받았다는 것을 알고 있습니다. (8)
I’m not looking for an award of any kind, really I’m not. I don’t want it in fact. But it’s funny that then you get a bit cynical about it, like mmm, you know, I know that this person specifically that got an award has been criticized by students for teaching by shame. (8)


[행정절차의 비효율성]은 인센티브 자체에서 의미를 빼앗는 경향이 있었다. 이와 관련해 교수비 지급, 승진 검토 서류 요건, 지연된 피드백 과정 등이 여러 차례 제기돼 교사가 요구하는 노력이 때로는 보상받을 가치가 없는 경우도 있음을 시사했다. 비효율성으로 인해 시간이 많이 걸리는 다른 단계를 일정에 추가함으로써 좌절감을 초래했습니다.
Inefficiency with administrative procedures tended to take meaning away from the incentive itself. In this regard, payments for teaching, paperwork requirements for promotion reviews and delayed feedback processes were brought up multiple times, suggesting the effort required by the teacher was sometimes not worth the reward. Inefficiency caused frustration by adding another time-consuming step to schedules that are thinly stretched:

시간당 90달러를 받기 위해 백만 달러 상당의 서류 작업을 해야 한다고 의료진에게 요구하지 마세요. 사람들이 무엇을 얻을지 알고, 무엇을 할 것인지 알고, 무엇을 할 것인지 알고, 어떤 보상을 받을 것인지 알 수 있도록 잘 작동하고, 쉽게 작동하는 시스템을 만들기 위해 충분한 사람들을 고용하십시오. (12)
don’t ask clinical faculty to have to like do a million dollars’ worth of paperwork to get their $90.00 an hour or whatever it is. Have enough people hired to make a system that works and works well and works easily so that when people teach they know what they’re gonna get, they know what they’re committing to and they know what the rewards are gonna be. (12)

6개월 전에 레지던트들을 가르쳤기 때문에 피드백을 받을 수도 있지만, 피드백이 무엇을 기반으로 한 것인지, 아니면 우리가 어떤 주를 보내고 있었는지 전혀 모르겠습니다. (11)
I might get feedback now from teaching residents six months ago and I’m like well I have no idea [I: What that was …] what they’re basing that on [I: Right] or what kind of weeks we were having or … (11)


마지막으로, 보상금을 교육에 대한 'payment'로 규정하는 것은 단순히 '양동이의 물방울 하나'이라는 점에서 일부 사람들에게는 모욕적이었다. 참가자들은 더 많은 돈을 원하지 않았지만, 재정적인 인센티브의 틀이 실제로 무엇인지 더 잘 반영하도록 조정될 수 있다고 생각했다. 즉, 급여, 제스처 또는 감사의 상징적 표시입니다. 어쨌든, 급여는 교육에 필요하지만 충분하지 않은 인센티브로 보였고 개인적인 의사소통과 감사와 가장 잘 결합되었다고 느꼈습니다.
Finally, framing compensation as ‘payment’ for teaching was insulting to some given that it was simply a ‘drop in the bucket’. Participants did not want more money, but thought the framing of financial incentives could be adjusted to better reflect what it is in actuality—a stipend, a gesture or symbolic token of thanks. In any case, payment seemed to be a necessary but not sufficient incentive for teaching and was felt best combined with personal communication and appreciation:

사실, 그들은 그것을 보상compensation이라고 부르면 안 된다. 포기하는 비용을 지불하는 데 도움이 되는 제스처일 수도 있습니다. 사실은 돈이 들어가는 일이다. 이것은 감사의 표시입니다. 그리고 비용의 그저 일부를 갚아주기 위한 것입니다. 개인적으로 그렇게 표현하는 게 좋을 것 같아요 (9)
In fact, they shouldn’t even call it compensation. It could be, uh, a gesture to help defray the cost … that you’re giving up…It’s costing you money. This is a little gesture to thank you and just to help you defray some of the, some of the cost. [I: Right] I think that would be a better way to put it personally. (9)

4 토론
4 DISCUSSION

본 연구는 임상교사가 교사로서의 역할을 어떻게 보고 있는지, 교사가 직면하는 동기와 장벽, 인센티브가 교수동기에 어떤 영향을 미치는지에 대한 관점에 대한 심층적인 탐구를 통해 의료교육에서 동기와 동기의 불안정한 관계가 어떻게 형성되는지를 강조한다. 특히, 우리는 복잡하고 역동적인 방법으로 교수 동기를 가능하게 하고 억제하는 몇 가지 [개인적 요인과 환경적 요인]을 발견했다. 우리는 또한 인센티브가 종종 선의의 것이기는 하지만, 교사들의 [동기를 손상시키는 의도하지 않은 결과]를 초래할 수 있다는 것을 발견했다. 이러한 발견은 교육에 대한 임상의의 동기를 구축하고 유지하기 위한 인센티브 제도를 고려하고 있는 의대와 교육 지도자들에게 중요한 의미를 갖는다.
This study highlights how the precarious relationship between motivation and incentives is enacted in medical education through an in-depth exploration of how clinician teachers view their roles as teachers, the motivations and barriers they face, and their perspective on how incentives influence their motivations to teach. In particular, we found several personal and environmental factors that enable and inhibit teaching motivations in complex and dynamic ways. We also found that incentives, while often well-intentioned, can have unintended consequences that undermine teachers’ motivations. These findings have important implications for medical schools and educational leaders who are considering incentive schemes to build and sustain clinicians’ motivations towards teaching.

4.1 이론적 함의
4.1 Theoretical implications

서론에서 언급한 바와 같이, 보건 전문 교육 내의 인센티브에 대한 이전 연구는 대체로 이론적이었으며, 임상의가 교육에 대한 동기에 영향을 미치는 촉진자와 장애요인을 나열하는 데 초점을 맞추고 있다. 우리의 데이터는 이 접근법의 불충분함을 강조한다. 우리의 참가자들이 그들의 동기에 영향을 미치는 것으로 이름 붙인 많은 요소들은 다른 사람들에 의해 식별된 것들과 비슷했지만, 우리의 데이터는 [인센티브가 (단순한 목록이 제시하는 것보다) 어떻게 더 미묘한 차이와 가변성을 가질 수 있음]을 제시한다.

  • 하나의 요인이 맥락/개인에 따라 동기 부여 요인으로도 또는 장벽으로도 나타날 수 있다(표 2의 양날 패턴).
  • 어떤 요인은 어떤 지점까지 동기부여자 역할을 하지만, 일단 역치에 도달하면 장벽이 된다(역 U자형 패턴).

As noted in the introduction, previous research on incentives from within health professional education has been largely atheoretical, focused on listing facilitators and barriers clinicians perceive to influence their motivation towards teaching.6 Our data highlight the insufficiency of this approach. Many factors our participants named as influencing their motivations were similar to those identified by others, but our data suggest the way in which they have their influence to be more nuanced and variable than a simple list would suggest.

  • One factor can present itself as a motivator or as a barrier dependent on context/individual (the dual-edged pattern in Table 2);
  • some act as motivators up to a point, but then become barriers once a threshold is reached (the inverted U-shaped pattern).

따라서, 그들의 영향력은 그들의 상호작용과 주어진 맥락 내에서 요소들이 어떻게 경험되는지에 따라 달라질 것이기 때문에, 교육에 대한 동기부여나 장벽이 될 어떤 특정한 요소를 가정하는 것은 신중해야 한다. 이것이 와이즈너와 에바가 요약하고 서론에서 강조한 것처럼 [보건 전문 교육 외부에서 발견되는 다양한 이론적 관점을 완전히 통합하는 것이 어려운 이유]일 수 있다. [인센티브가 동기 부여에 어떻게 영향을 미치는지에 대한 설명의 가변성variability]은 경쟁적이거나 모순된 개념을 반영하기보다는, 맥락마다 다른 요소가 어떻게 적절히 전면에 나타나는지를 보여주는 것일 수 있다. 
As such, it appears prudent to be cautious in presuming any particular factor to be a motivator or barrier to teaching as their influence will depend on their interplay and how factors are experienced within a given context. This may be why it is so hard to fully integrate the different theoretical perspectives that are found outside of health professional education, summarised by Wisener and Eva and highlighted in the introduction.6 Variability in accounts of how incentives influence motivation may represent context appropriate foregrounding of different factors rather than reflecting competing or contradictory notions.

이전 검토에서 발견된 이론 관련 개념을 살펴보면, 우리의 데이터에서 특히 두드러졌던 것은 [형평성]이었다. 우리의 보건 전문 교육 맥락의 참가자들은 다음과의 [차이와 비교 측면]에서 (급여, 승진, 직함 및 상과 같은) 교수 인센티브에 대해 가장 자주 논의했다.

  • 다른 사람들이 받은 것,
  • 자신이 노력한 양
  • 다른 방식으로 얼마나 많은 수입을 올릴 수 있는지

그들은 재정적 인센티브의 절대적인 양에 대해서는 덜 논의했다. 이러한 성찰은 [개인이 투입(예: 노력, 시간 등)]이 [자신의 성과(예: 급여, 인식)]와 일치하지 않는다고 생각하면 고통을 느낄 것이라고 가정하는 [형평성 이론]이 특히 보건 전문 교육과 관련이 있음을 시사한다. 임상 교사들은 비교 가능한 상황에 있는 다른 사람들이 적은 노력으로 더 많은 것을 받는다고 느낄 수도 있고, 또는 그들은 가장 중요한 시스템(예: 의대)이 그러한 투입과 산출을 부당하게 결정한다고 느낄 수도 있다. 다시 말하지만, 이것은 인센티브화는 어떤 보상이 '좋은' 것인지 '나쁜' 것인지에 대한 것이 아니라, 보상이 [공정하고, 형평하며, 투명한지에 대한 것임]을 시사한다. 시스템 내(예: 특정 의대의 현장 또는 개인 간) 또는 시스템 간(예: 매우 다른 맥락에서 일하는 사람들과 관련하여)에서 그러한 비교가 이루어지는 정도는 두고 봐야 한다.
Looking across the theory-related concepts uncovered in that previous review,6 one that was particularly prominent in our data was that of equity. Participants in our health professional education context most often discussed teaching incentives such as payments, promotions, titles and awards in terms of disparities and comparisons

  • to what others received,
  • to the amount of effort exerted, or
  • to how much income they could be making in other ways.

They discussed the absolute amount of financial incentives to a lesser extent. These reflections suggest that Equity Theory,14 which posits that individuals will feel distressed if they deem their inputs (eg effort, time, etc) to be misaligned with their outcomes (eg salary, recognition), is a particularly relevant theory for health professional education. Clinician teachers may feel that others in comparable situations receive more for putting in less effort, or they may feel that the overarching system (eg the medical school) unfairly determines those inputs and outputs.15 Again, this suggests incentivisation is less about which rewards are ‘good’ or ‘bad’ and more about whether they are fair, equitable and transparent. The extent to which such comparisons are made within a system (eg across sites or individuals at a particular medical school) or across systems (eg in relation to those working in a highly different context) remains to be seen.

어쨌든, 참가자들이 종종 [장애물을 합리화한다는 것, 그리고 단점에도 불구하고 계속해서 가르친다는 것]은 우리에게 인식 불협화음의 힘, 즉 자신의 태도와 행동이 모순되는 상태를 상기시킨다. [인지 부조화 이론가]는 개인들이 주어진 행동에 대해 어떻게 느끼는지에 따라 행동할 필요가 있으며, 그들의 [행동을 바꾸기보다는 그들의 행동에 맞춰 태도를 바꿀 가능성이 더 높다]고 제안한다. 이 이론은 임상의가 그들의 [행동을 바꾸기 전]에(예: 재정적인 피해 때문에 가르치는 것을 그만두는 것) 자신의 [태도를 재구성]한 이유(예를 들어, 그들이 가르치는 것으로 돈을 잃지만 다른 사람들의 성공을 돕는 것으로 부자가 된다고 주장하는 것)을 설명한다. 
In any case, that participants often rationalised away barriers and continued to teach despite the drawbacks remind us of the power of cognitive dissonance, the state of one's attitudes and behaviours contradicting. Cognitive dissonance theorists16 suggest individuals have a strong need to act in accordance with how they feel towards a given behaviour and are more likely to change their attitude to match their behaviour than to change their behaviour. This theory offers an explanation as to why clinicians reframed their attitudes (eg saying that they lose money by teaching but arguing they gain richness in helping others succeed) before changing their behaviour (eg quitting teaching because of the financial toll).

우리는 [장벽을 극복하기 위한 메커니즘]으로, 임상의들의 [자체적인 불협화음 협상]에 의존할 수도 있지만, 장벽은 결국 (교육을 정당화하는 것이 더 이상 비용 가치가 없을 정도에 이를 수 있는) [누적적 효과]를 갖는 것으로 보이기 때문에 한계가 있다. 이것은 [불평등에 대한 인식과 교육 동기 부족을 완화하기 위해 실질적인 수준에서 무엇을 할 수 있는지에 대한 통찰력을 개발하는 것의 중요성]을 강화한다.
While we may be able to rely on clinicians’ negotiating their own dissonance as a mechanism to overcome barriers, there is a limit as barriers appear to have a cumulative effect that can eventually tip the scales to the point where justifying teaching is no longer worth the cost. This reinforces the importance of developing insights regarding what can be done on a practical level to mitigate perceptions of inequity and a lack of motivation to teach.

4.2 실천적 함의
4.2 Practical implications

[학습자와의 관계가 임상 교육자에게 중요한 동기 부여 요인을 만든다]는 주장만큼 우리 데이터에 만연한 감정은 거의 없었다. 이와 같이, 이러한 연구 결과가 시사하는 실질적인 변화 중 하나는 지도부나 기관에 의해 인센티브가 전달되는 하향식 과정으로 의학 교사에게 인센티브를 주는 것을 중단하는 것이다. 오히려 모든 참가자가 [학습자가 교수자를 어떻게 인식하는지]를 중요시한다는 점을 고려할 때, [어떻게 임상의가 학습자에게 긍정적인 영향을 주었는지에 대한 정보]를 받을 수 있는 적절한 메커니즘을 확보하는 것이 매우 유익한 노력이 될 수 있다. 학생들로 하여금 [학생을 가르치는 교수들이 들이는 노력을 장려하고 가능하게 만드는 학생의 역할을 충분히 인식하도록 돕는 것]은 임상의들이 그들의 교육 활동에서 보람을 느끼게 하는 [의미 있는 교사-학습자 관계]를 형성하는 데 특히 영향을 미칠 수 있다. 이러한 관계가 학습자를 효과적인 피드백 과정에 참여시키는 데 중요한 것으로 나타났다는 점을 고려할 때, 이러한 관계는 또한 교사에게 영향력 있는 방식으로 건설적인 피드백을 전달할 수 있을 것으로 기대할 수 있다. 교사-학습자 관계에 대한 대부분의 연구는 교사가 학습자의 이익을 위해 관계를 발전시키는 방법에 초점을 맞추고 있지만, 강사의 지속적인 교육 노력에 대한 학습자의 기여가 최적화되려면, [어떻게 피드백 프로세스의 진정성을 유지하는 학습자를 위한 가이드라인을 만들 것인가]가 추가 연구의 중요한 영역이다.
Very few sentiments were as prevalent in our data as claims that relationships with learners create important motivational drivers for clinician educators. As such, one practical change these findings suggest is to stop conceiving of incentivising medical teachers as a top-down process in which incentives are delivered by leadership or the institution. Rather, given that all participants valued how their learners perceive them, ensuring appropriate mechanisms are in place for clinicians to receive information indicating how they have positively impacted their learners could be a highly fruitful endeavour. Helping students appreciate their role in encouraging and enabling effort to be put forth by their faculty may be particularly impactful for generating the meaningful teacher-learner relationships that make clinicians feel rewarded in their educational activity. Given that such relationships have been shown important for engaging learners in effective feedback processes, they may be expected also to enable constructive feedback to be delivered to teachers when needed in a manner that is impactful rather than de-motivating. While most research on teacher-learner relationships focuses on how teachers might develop relationships for their learners’ benefit,17 how guidelines for learners might be generated that maintain the authenticity of feedback processes is an important area for further research if learners’ contributions to preceptors’ ongoing teaching efforts are to be optimised.

우리는 또한 [교사 지원teacher support]을 관리자의 특정한 행위라기보다는 활동의 프로그램으로 전략적으로 생각하는 것을 추천한다. 동기부여의 동적 특성은 어떤 개인에게든 항상 하나의 인센티브 제도로는 충분할 것 같지 않게 만들고, 따라서 모든 개인에게 동기부여가 되는 'one size fits all' 전략이 만들어질 수 있다고 상상하기 어렵다. [요인, 시간 및 맥락] 사이의 복잡한 상호작용 특성은 인센티브를 제공하여 동기를 형성하려고 할 때 특이하고 뉘앙스 있게 생각할 필요가 있음을 시사한다. 무엇이 사람들에게 동기를 부여하는지에 관한 일반적인 원칙에 주의를 기울이고(자기 결정 이론에 요약된 역량, 연결 및 자율성의 감정을 포함한다), 그러한 가치에 부합하는 지원과 인센티브를 개발하는 것이 가치 있다. 그러나 그렇게 하는 것은 임상 교사들이 [어설프게 구현된 인센티브 제도에 의해 의욕이 꺾이는 것]을 피하기 위한 일련의 전략을 필요로 할 가능성이 높다.

  • 학술 기관의 일원처럼 느끼고 싶은 임상의들에게, 교육 기관에 가입하거나 대학 자원에 접근할 수 있는 기회가 가장 큰 영향을 미칠 수 있다.
  • 연결을 구축하고자 하는 다른 사람들에게는 네트워킹과 지역사회 구축 기회가 특히 유익할 수 있다.
  • 다른 사람들은 여전히 어려운 학습자와의 만남에 직면하여 탄력성을 구축하는 지원을 요구할 수 있으며, 이는 교사들 사이에서 교사 정체성을 육성하고 실천의 공동체를 구축하는 데 초점을 맞춘 교수진 개발 제안이 가치를 증명할 수 있음을 시사한다.

We also recommend thinking of teacher support strategically, as a programme of activity rather than as a particular act on the part of an administrator. The dynamic nature of motivation makes it unlikely that one incentive scheme will always be sufficient for a given individual and, thereby, makes it foolhardy to imagine that a ‘one size fits all’ strategy could be created that would motivate all individuals. The complex nature of the interaction between factors, time and context suggests a need to think idiosyncratically and with nuance when trying to build motivation by offering incentives. It is valuable to pay heed to general principles regarding what motivates people (including feelings of competence, connection and autonomy, as outlined in self-determination theory 6) and to develop supports and incentives aligned with those values. Doing so, however, is likely to require an array of strategies to avoid clinician teachers feeling de-motivated by poorly implemented incentivation schemes.

  • For clinicians who want to feel like part of an academic institution, the opportunity to join teaching academies or access university resources might be most impactful.
  • For others who want to build connections, networking and community building opportunities might be particularly beneficial.
  • Others still may require support building resilience in the face of difficult learner encounters, suggesting that faculty development offerings focused on nurturing teaching identities and building communities of practice among preceptors could prove valuable.1819

어떤 전략(또는 이상적으로는 전략)을 채택하든 간에 [선의의 인센티브 제도의 의도하지 않은 결과]는 인센티브가 어떻게 조작되고 제공되는지에 대해 신중하게 생각할 필요가 있음을 시사한다. 임상의의 [동기를 훼손하는 방식의 인센티브 제공]은 지속적인 결과를 초래하고 냉소주의를 구축할 수 있다. [Generic하고 템플릿 기반의 서포트 레터]는 수신자가 개인 편지를 작성하는 데 걸리는 시간을 낭비할 가치가 없다는 신호를 보낼 수 있습니다. 동시에 교사 채용 문제가 인센티브 제공이 만병통치약을 제공하는 동기부여 문제로만 프레임되어서는 안 된다는 점을 인식해야 한다. 특정한 실무 환경이 다른 환경보다 더 많은 장벽을 만들 수 있다는 것을 인정하는 것은 중요하다. 비슷하게 어린 아이들을 갖는 것은 사무실에서 많은 시간을 보내는 것을 막을 수 있지만, 시간이 장애요인이 되는 정도는 가르치는 것에 대한 자신감과 학습자와의 개인적인 연결에 의해 영향을 받을 수 있다. 해결하기 쉬운 과제는 아니지만, 동기 부여를 찾기 위해 고군분투하는 사람들을 위해 장벽을 줄이기 위해 추가적인 노력을 투자할 가치가 있을 것이며, 임상의나 맥락에 대한 포괄적인 진술은 교육이 인식되는 방법에 영향을 미치는 많은 개별 현실을 간과한다는 것을 인식한다.
Regardless of what strategy (or, ideally, strategies) one adopts, the unintended consequences of well-intentioned incentive schemes suggest we need to think carefully about how incentives are crafted and delivered. Offering incentives in ways that undermine clinicians’ motivations can have lasting consequences and build cynicism. Generic and template-based letters of support can signal that the recipient is not worth the time it takes to craft a personal letter. At the same time, it must be recognised that teacher recruitment issues should not be solely framed as a motivation problem for which offering incentives provides a panacea. Acknowledging that certain practice environments (eg fee for service roles) can create more barriers than others (eg salaried clinicians working where residents can take some of the patient load) is important.20 Having young children, similarly, may prevent one from spending copious amounts of extra time in the office, but the extent to which time creates a barrier might be influenced by building confidence in teaching and personal connections with learners. While not an easy task to address, it is likely worth investing additional effort to reduce barriers for those who are struggling to find motivation, while recognising that blanket statements about clinicians or contexts overlook many of the individual realities influencing how teaching is perceived.

4.3 제한사항
4.3 Limitations

본 연구는 임상교사의 관점을 의도적으로 모색하였는데, 이는 임상교사가 기초과학자 및 사회과학자보다 학문적 의학을 떠날 가능성이 높기 때문이다. 이와 같이, 이 연구 결과는 더 보호된 수업 시간을 가질 수 있는 다른 유형의 교사들에게는 덜 관련이 있을 수 있다. 그들은 또한 개인이 교육적으로 기여하는지 또는 어떻게 기여하는지에 대한 통제력이 낮은 상황에서 덜 관련이 있을 수 있다. 그렇긴 하지만, 우리는 동기 부여를 위한 자율성의 중요성이 충분히 크다고 주장할 것이다. 일반적으로 교육의 질이 유지되려면 인센티브와 다른 형태의 지원의 영향을 고려하는 것이 중요할 것이다. 물론, 다양한 형태의 인센티브를 제공할 수 있는 능력은 사용 가능한 자원에 더 일반적으로 의존할 것이다. 참가자를 모집한 두 기관이 모두 고소득 국가에 존재한다는 점을 고려할 때, 식별된 일반 원칙이 주목할 가치가 있다고 예상하는 동안에도 참가자의 특정 경험은 저소득 환경으로 이전할 수 없을 수 있다. 마찬가지로, 우리의 연구 결과를 다른 기관에 적용하려는 사람들은 이러한 결과의 이전 가능성에 영향을 미칠 수 있는 다양한 교육 구조, 문화 및 보상 배치의 잠재력을 고려해야 한다. 현재 연구의 많은 참가자들은 다른 기관에서 일하고 가르쳤으며, 그들의 관점이 UBC의 맥락에 특정된다는 것을 거의 나타내지 않았지만, 그들 중 경제적 취약 지역에서 가르친 경험이 있는 사람은 거의 없을 것이다. 마지막으로, 교육을 그만두거나 교육 기회를 거절한 사람들을 참여자 풀에 포함시킴으로써 다양한 관점을 포착할 수 있었지만, 모집할 수 없었던 개인(예: 교육에 전혀 참여하지 않은 임상의)은 현재 연구에 반영되지 않은 더 강력한 관점을 가질 수 있다

This study purposely sought out the perspectives of clinician teachers because they are more likely to leave academic medicine than are basic and social scientists.21, 22 As such, the findings may be less pertinent to other types of teachers who may have more protected teaching time. They may also be less pertinent in contexts where individuals have less control over whether or how they contribute educationally. That said, we would argue that the importance of autonomy for motivation is sufficiently great, as a rule,6 that it will remain important to consider the influence of incentives and other forms of support any setting if teaching quality is to be maintained. Of course, the capacity to provide different forms of incentives will depend more generally on the resources available. Given that both institutions from which participants were recruited exist in high income countries, their particular experiences may not be transferable to lower income settings even while we anticipate that the general principles identified are worth heeding. Similarly, those attempting to apply our findings to other institutions should consider the potential for different teaching structures, cultures and compensation arrangements to impact on the transferability of these results. Many participants in the current study had worked and taught at other institutions and rarely did they indicate that their perspectives were specific to UBC’s context, but few of them are likely to have experience teaching in less economically privileged parts of the world. Finally, while we were able to capture multiple perspectives by including those who either quit teaching or who had turned down teaching opportunities within the participant pool, individuals who could not be recruited (eg clinicians who never engaged in teaching) may have stronger perspectives that are not reflected in the current study.

5 결론
5 CONCLUSIONS

요약하자면, 교육을 둘러싼 동기와 인센티브 사이의 복잡한 관계를 반복적으로 탐구하고 놀리려는 우리의 의도적인 노력은 임상 교사들에게 최상의 인센티브를 주는 방법에 대한 간단한 '레시피'를 밝히지 않았지만, 세 가지 핵심 메시지는 매우 중요해 보인다.

  • (1) 개인에게 고유한 방식으로 경험되며 시간이 지남에 따라 상황에 따라 변화할 수 있는 다양한 요인이 작용한다. 
  • (2) 임상 교사들은 일반적으로 아래와 같이 느낄 때 가치있게 여겨진다고 느끼고, 따라서, 가르치는 것에 동기를 부여받는다.
    • (a) 그들의 교육 노력에 대해 인정받고 감사받는 것 
    • (b) 학습자, 동료, 리더십 또는 의료 교육 커뮤니티와 연결되는 것 
    • (c) 그들은 의미 있는 교수자-학습자 관계를 맺는 것. 다른 임상의들은 다른 관계를 우선시할 수 있지만, [학습자들에 의한 인정과 감사]는 특히 영향을 미치는 것으로 보인다. 
  • (3) 해로운 것과 반대로 도움이 되기 위해서, 교수 인센티브는 [개인적이고, 공평하고, 효율적으로 제공]되고 주의를 기울이는 방식으로 설계되고 전달되어야 한다.

In sum, while our deliberate efforts to iteratively explore and tease apart the intricate relationships between motivation and incentives surrounding teaching have not revealed a straightforward ‘recipe’ for how to best incentivise clinical teachers, three key messages appear critical:

  • (1) There are a variety of factors at play that are experienced in ways that are unique to individuals and are subject to change over time and across contexts;
  • (2) Clinical teachers generally feel valued and, hence, motivated to teach, when they feel
    • (a) recognised and appreciated for their teaching efforts,
    • (b) connected to their learners, peers, leadership or the medical education community and
    • (c) they have meaningful teacher-learner relationships. While different clinicians may prioritise different relationships, recognition by and appreciation of learners appears particularly impactful;
  • (3) To be supportive as opposed to harmful, teaching incentives should be designed and delivered in ways that are personal, equitable, efficiently provided and framed with care.

 


Med Educ. 2021 May;55(5):614-624. doi: 10.1111/medu.14422. Epub 2020 Dec 9.

Incentives for clinical teachers: On why their complex influences should lead us to proceed with caution

Affiliations collapse

Affiliations

1Office of Faculty Development, Faculty of Medicine, The University of British Columbia, Vancouver, BC, Canada.

2Department of Educational Development and Research, Faculty of Medicine, University of Maastricht, Maastricht, The Netherlands.

3Department of Medicine, Faculty of Medicine, University of British Columbia, Vancouver, BC, Canada.

4Department of Educational and Counseling Psychology, and Special Education, Faculty of Education, Vancouver, BC, Canada.

5Department of Medicine, Centre for Health Education Scholarship, University of British Columbia, Vancouver, BC, Canada.

PMID: 33222291

DOI: 10.1111/medu.14422

Abstract

Introduction: When medical education programs have difficulties recruiting or retaining clinical teachers, they often introduce incentives to help improve motivation. Previous research, however, has shown incentives can unfortunately have unintended consequences. When and why that is the case in the context of incentivizing clinical teachers remains unclear. The purposes of this study, therefore, were to understand what values and motivations influence teaching decisions; and to delve deeper into how teaching incentives have been perceived.

Methods: An interpretive description methodology was used to improve understanding of the development and delivery of teaching incentives. A purposeful sampling strategy identified a heterogenous sample of clinical faculty teaching in undergraduate and postgraduate contexts. Sixteen semi-structured interviews were conducted and transcripts were analyzed using an iterative process to develop a thematic structure that accounts for general trends and individual variations.

Results: Clinicians articulated interrelated and dynamic personal and environmental factors that had linear, dual-edged and inverted U-shaped impacts on their motivations towards teaching. Barriers were frequently rationalized away, but cumulative barriers often led to teaching attrition. Clinical teachers were motivated when they felt valued and connected to their learners, peers, leadership, and/or the medical education community. While incentives aimed at producing these connections could be perceived as supportive, they could also negatively impact motivation if they were impersonal, inequitable, inefficient, or poorly framed.

Discussion/conclusion: These findings reinforce the literature suggesting that it is necessary to proceed with caution when labeling any particular factor as a motivator or barrier to teaching. They take us deeper, however, towards understanding how and why clinical teachers' perceptions are unique, dynamic and fluid. Incentive schemes can be beneficial for teacher recruitment and retention, but must be designed with nuance that takes into account what makes clinicians feel valued if the strategy is to do more good than harm.

의대 교수자들에게 인센티브 주기: 동기부여에 영향을 주는 인센티브의 역할 탐색 (Acad Med, 2018)
Incentivizing Medical Teachers: Exploring the Role of Incentives in Influencing Motivations 
Katherine M. Wisener, MA, and Kevin W. Eva, PhD

 

 

모든 의학 교육 프로그램의 임무는 의대생들이 환자의 삶을 개선하는 개업의로 성공적으로 전환할 수 있도록 지원하는 것이다. 그 성공 여부는 의학 교육자에게 크게 좌우됩니다. 즉, 강의실과 임상 환경에서 가르치는 임상의사와 다른 교수진들, 그들 중 다수는 급여를 받거나 대학에 고용되지 않았고, 그들 중 다수는 교육자로서 훈련을 받지 않았으며, 그들 중 다수는 2차 직업 선택으로만 교육자로서의 그들의 역할을 발견했다. 이러한 장벽을 고려할 때 동기 부여되고 효과적인 교육자를 식별하고 모집하는 것은 어려울 수 있으며, [교육의 단점]이 점점 더 [이점]을 능가한다는 우려가 있다. 일부 연구자들은 거의 절반의 교직원들이 불만을 가지고 있고 그들의 교사직을 떠나는 것을 심각하게 고려하고 있다는 것을 발견했다. 임상의의 교수 동기에는 개인적, 환경적, 체계적 요인이 영향을 미치며, 의대가 교수를 가장 잘 장려하고 교수의 우수성을 촉진할 수 있는 방법에 대한 이해가 필요하다.
The task of any medical education program is to support medical students’ successful transition into practicing clinicians who improve the lives of their patients.1 The success of this is heavily dependent on medical educators—namely, the clinicians and other faculty who teach in classroom and clinical environments, many of whom are not salaried or employed by the university, many of whom are not trained as educators, and many of whom discovered their roles as educators only as a secondary career choice.2 Given these barriers, identifying and recruiting motivated and effective educators can be challenging, and there is concern that the drawbacks of teaching increasingly outweigh the benefits. Some researchers have found that almost half of teaching faculty are dissatisfied and are seriously considering leaving their teaching roles.3,4 There are individual, environmental, and systemic factors influencing clinicians’ motivations to teach, and understanding how medical schools can best incentivize teaching and promote teaching excellence is needed.

[동기 부여motivation]는 개인이 어떤 일을 맡도록 움직이는 수단을 말한다. 동기가 부족할 때(또는 감소할 때) 인센티브(즉, 노력에 영향을 미치려는 시도로 사용되는 유형 또는 무형의 외부 제공물)를 구현하는 것이 명백한 해결책으로 보일 수 있다. 그러나 인센티브를 시행하는 것은 간단하지 않으며 긍정적인 형태의 동기부여를 줄이거나, 문제적인 형태의 동기부여를 촉진함으로써 역효과를 낼 수 있다. 예를 들어, 헌혈을 늘리려는 시도에 재정적 보상을 도입하는 것은 역효과를 낳았고 헌혈하려는 사람들의 의지를 감소시켰다. 인센티브는 사람들이 "분노, 저항, 무관심을 가지고" 행동을 하게 만들거나, "일의 가치나 효용에 대한 내적인 수용을 반영하는 의지의 태도를 가지고" 행동을 하게 만든다. 따라서 의료 교육자들 사이에서 생산적인 형태의 동기 부여를 촉진하기 위해 인센티브를 적절하게 배치하는 방법을 아는 것이 무엇보다 중요하다.
Motivation refers to the means through which an individual is moved to undertake a task.5 When there is a lack of (or waning) motivation, implementing incentives (i.e., any external offering, tangible or intangible, that is used in an attempt to influence effort) might seem like an obvious solution. However, implementing incentives is not straightforward and can be counterproductive by reducing positive forms of motivation or promoting problematic forms of motivation. For example, introducing financial rewards in attempts to drive up blood donations has backfired and reduced people’s willingness to donate blood.6,7 Incentives can lead people to perform actions “with resentment, resistance and disinterest, or with an attitude of willingness that reflects an inner acceptance of the value or utility of a task.”5 Knowing how to position incentives appropriately to foster productive forms of motivation among our medical educators is, therefore, paramount.4

이 논문은 인센티브가 긍정적으로 영향을 미치는 방법, 이유 및 시기를 탐구하기 위해 수행되는 중요한 합성을 제공한다. 우리는 연구 분야 간의 주요 차별화 요소를 강조하고 연구자들이 인센티브 제도의 부정적인 영향을 완화하기 위해 어떻게 시도했는지 보여준다. 의학 교육 문헌은 문맥을 제공하기 위해 먼저 고려된다. 이어서, 우리는 심리학, 조직 행동 및 행동 경제학 분야의 관련 연구 결과를 설명함으로써 해당 문헌의 인센티브 묘사의 차이를 강조한다. 각각은 의학 교육 맥락에 대한 추가적인 통찰력을 제공하는 관련 경험적 데이터와 이론적 이해에 기여한다. 그런 다음 실질적인 조언을 제공하고 이해의 격차가 남아 있는 부분을 개략적으로 설명하기 위해 이러한 분야 내 및 분야 전반에 걸쳐 수렴 및 분기 영역을 합성한다.
This paper offers a critical synthesis conducted to explore how, why, and when incentives are positively influential. We highlight key differentiators between fields of study and reveal how researchers have attempted to mitigate negative impacts of incentivization schemes. The medical education literature is considered first to provide context. Subsequently, we highlight gaps in that literature’s portrayal of incentives by illustrating relevant research findings from the fields of psychology, organizational behavior, and behavioral economics. Each contributes relevant empirical data and theoretical understanding that provide additional insight into the medical education context. We then synthesize areas of convergence and divergence within and across these disciplines in an effort to offer practical advice and outline what gaps in understanding remain.

방법
Method

이러한 노력의 기초가 되는 목적은 특정 관찰의 일관성/규모에 대한 결론을 도출하기보다는, 인센티브화 현상을 이해하는 데 다양한 중요한 기여를 탐구하는 것이었다. 따라서, 우리는 주어진 분야 내의 문헌을 이해하기 위한 목적적이고 반복적인 접근법에 의해 안내되는 종합synthesis인 [비판적 문헌 검토]를 수행했다. 광범위할 수 있는 기초 논문을 식별하고 조사 중인 주제의 다양한 측면에 대한 특별한 통찰력을 제공하기 위해 출판물의 비판적 평가를 통해 진행된다. 그것의 주요 강점은 연구자가 완전한 체계성에 대한 주장을 허용하기에는 너무 광범위한 현상에 대한 관심을 고려하여 광범위한 이해를 개발하기 위해 상당한 범위의 문헌을 그릴 수 있도록 하는 것이다.
The purpose underlying this effort was to explore a variety of significant contributions to understanding the phenomenon of incentivization rather than to draw conclusions about the consistency/magnitude of any particular observation. As such, we conducted a critical literature review, which is a synthesis guided by a purposeful and iterative approach to understanding the literature within a given field(s). It proceeds through the critical evaluation of publications to identify foundational papers that may be wide reaching and contribute particular insight about different aspects of the topic under investigation.8,9 Its main strength is allowing the researcher to draw on a substantial breadth of literature to develop well-rounded understanding given interest in a phenomenon that is too broad to allow claims of complete systematicity.10

Grant and Booth(2009)에 따라 프로세스를 진행하였으며, 검색, 평가, 합성 및 분석의 4단계를 포함했습니다(그림 1). 검색 단계에서 구글 스콜라는 인센티브와 관련된 주요 논문과 주요 이론적 개념을 식별하는 데 사용되었으며, 이는 검색 용어를 보다 세련된 검색에 적용하는 데 사용되었다. 처음에는 모든 관련 분야가 고려되었지만,

  • 일부는 의학 교육에서 얻은 교훈에 추가적인 지식을 제공하지 않았다. 
    (예를 들어, 일반 교육에서 교사를 장려하는 연구는 개념적으로 의학 교육자를 포함하는 연구에는 거의 불필요했다.) 
  • 그리고 일부 분야는 주로 다른 영역에서 생성된 이론과 증거로부터 이끌어내는 것으로 보였다. 
    (예를 들어, 운동 및 조직 맥락에서 코칭을 탐구하는 것은 우리를 심리학으로 다시 이끌었다.) 

탐색 과정이 전개됨에 따라 두 저자 간의 반복적인 토론을 통해 심리학, 조직행동학, 행동경제학 분야는 의학 교육과 관련될 수 있는 인센티브에 대한 우리의 이해를 심화시키는 것과 관련하여 특히 유익한 것으로 간주되었다.
Our process was informed by Grant and Booth (2009)9 and included four steps: search, appraisal, synthesis, and analysis (Figure 1). In the search stage, Google Scholar was used to identify seminal papers and key theoretical concepts related to incentivization that informed search terms that were then applied to a more refined search. While all relevant fields were considered at first, some did not contribute additional knowledge to the lessons gleaned from medical education (e.g., explorations of incentivizing teachers in general education were largely conceptually redundant to explorations involving medical educators), and some fields appeared predominantly to draw from theory and evidence primarily generated in other domains (e.g., exploring coaching in athletic and organizational contexts largely led us back to psychology). Through iterative discussions between both authors as the search process unfolded, the disciplines of psychology, organizational behavior, and behavioral economics were deemed particularly fruitful with respect to deepening our understanding of incentivization as it might pertain to medical education.

결과적으로, 그러한 관점이 잘 표현되도록 의도적인 노력으로 그러한 문헌들을 통해 추가적인 검색이 이루어졌다. 사용된 데이터베이스에는 CINAHL, 논문 초록, ERIC, MEDLINE, PsycINFO, EconLit, 그리고 Web of Science가 포함된다. 기사는 다음과 같은 질문을 다루는 경우 자세히 조사되었다. 

  • (1) 이 출판물은 인센티브/보상/장벽과 동기부여 사이의 상호작용을 탐구하고 있는가? 
  • (2) 인센티브가 특정 조치를 산출할 수 있는 메커니즘에 대한 이해를 심화시키는 데 기여하는가? 

대부분의 기사는 실증연구였지만, 추가적인 통찰력으로 이어질 수 있기 때문에 관련 사례연구, 책장, 사설 등도 고려되었다.

As a result, additional searches were made through those literatures in a deliberate effort to ensure that those perspectives were represented well. Databases used included CINAHL, Dissertation Abstracts, ERIC, MEDLINE, PsycINFO, EconLit, and Web of Science. Articles were explored in detail if they addressed the following questions:

  • (1) Does the publication explore the interaction between incentives/rewards/barriers and motivation?
  • (2) Does it contribute to deepening understanding of the mechanisms through which incentives can yield certain actions?

Most articles were empirical studies, but relevant case studies, book chapters, and editorials were also considered because they could lead to additional insight.

결과.
Results

의료 교육에서 인센티브가 어떻게 그리고 왜 사용되고 있는가?
How and why incentives are being used in medical education

주로 설문조사와 인터뷰를 통해 개발된 상당한 문헌은 임상 교사들이 가르치는 데 많은 동기를 느낀다는 것을 시사한다. 특히 눈에 띄는 것은

  • 자신의 의학적 지식을 입증하고 새롭게 하는 능력,
  • 교육자로부터 받은 혜택을 "pay it forward"할 수 있는 기회,
  • 학생들과 교류하고 도울 수 있는 기회,
  • 도전을 느끼거나 교사의 정체성을 가정함으로써 얻어지는 개인적인 만족감

가르치는 것에 대한 동기 부여를 보고하는 일부 사람들은 그것이 그들의 역할 중 가장 보람 있는 것이라고 생각한다. 표 1은 보다 포괄적인 목록을 제공한다.

A considerable literature, predominantly developed through surveys and interviews, suggests that clinical teachers feel many motivations to teach. Particularly prominent is

  • the ability to demonstrate and refresh one’s medical knowledge,3,11–14 
  • the opportunity to “pay forward” the benefits received from educators,13–18 
  • the opportunity to interact with and help students,3,11,12,15–18 and
  • personal satisfaction derived from feeling challenged or assuming a teaching identity.13,14,16–18 

Some who report feeling motivated to teach find it to be the most rewarding of their roles.19 Table 1 provides a more comprehensive list.

동시에, 일부 임상의들은 교육에 많은 장벽에 직면해 있다는 것이 분명하다. 교육에 대한 동기 부여를 보고하는 임상의들은 점점 더 그들의 교육 역할에 불만족스러워하고 있으며, 소모와 소진은 불행한 결과이다. 일반적으로 보고되는 교육의 장벽은 경쟁적인 우선순위, 인식된 기술의 부족, 열악한 교육 시설, 관심의 부족을 포함한다. 표 2는 보다 포괄적인 목록을 제공한다.
At the same time, it is clear that some clinicians face many barriers to teaching.17 Clinicians who report being motivated to teach are increasingly dissatisfied with their teaching roles,15 with attrition and burnout being unfortunate outcomes.4,11,14,19,20 Barriers to teaching that are commonly reported include competing priorities,3,11,13,14,17 a lack of perceived skill,7,17,19 poor teaching facilities,3,15,17 and a lack of interest.11,15,19  Table 2 provides a more comprehensive list.


의대 교수 이직률이 매년 평균 8~10%, 조교수 10년 유지율은 43%에 불과하고, 이직으로 발생하는 비용은 임상 교수 1인당 15만5000달러에서 55만9000달러 사이라는 점을 감안하면 이러한 장벽의 영향은 비용이 많이 든다. 이 모든 것은, [교수직을 추구하는 의대생들과 전공의들의 수가 비슷하게 감소하고 있다]는 보고와 함께 생각해본다면, 차세대 교수진을 유치하고, 현재 교수진의 손실을 막는 것이 우선순위가 되어야 한다는 주장으로 이어졌다. 그러나 다가오는 위기가 될 수 있는 것을 피할 수 있는 지침은 거의 없다.
The impacts of these barriers are costly given that medical school faculty turnover averages 8% to 10% each year,4 with the 10-year retention rate of assistant professors only 43%,20,21 and turnover costing between $155,000 and $559,000 per clinical faculty member.19 All this, combined with reports that the number of medical students and residents seeking teaching roles is similarly declining, has led to claims that attracting the next generation of faculty and preventing the loss of current faculty must be a dominant priority.4 Little guidance, however, is available to avoid what could be a looming crisis.

임상 교사들을 향한 [가장 일반적인 인센티브]는 대세를 막지 못했다. 여기에는 학술적 임명, 리더십의 인정, 교수진 개발 기회, 상, 돈, 선물, 지속적인 의학 교육 크레딧, 도서관 자원이 포함된다. 임상의들에게 교수에 대한 인센티브 순위를 물었을 때,

  • [개인적인 만족도]가 가장 높은 순위를 차지했고,
  • [교육 기회와 경력 향상]이 그 뒤를 이었으며,
  • [재정적인 지불과 선물]은 꼴찌를 차지했다.

그러나 이러한 연구에서 [자기 보고 척도]를 주로 사용하는 것은 인센티브가 수행하는 역할에 대한 충분히 미묘한 이해에서 우리가 운영해 온 정도에 대한 우려를 불러일으킨다. 예를 들어, 위에서 언급한 연구에서 재정적 보상이 전체적으로 가장 낮은 순위를 차지했지만, 그 결과는 [응답자들이 일하는 맥락]에 따라 달라진다. [돈]은 [가르치는 데 돈을 받지 않은 사람들]에 의해 가장 낮은 평가를 받았지만, [이미 돈을 받고 있는 사람들]에게는 가장 높은 평가를 받았다. 게다가, 그러한 순위는 일부 사람들이 재정적 인센티브를 위해 가르치지 않는다는 것을 암시할 수 있지만, 그들은 교육과 관련하여 일반적으로 들려오는 재정적 디스인센티브(즉, 진료를 받지 않음으로써 포기되는 돈)에 대한 우려 해결을 간과한다. 이 문헌과 그 한계를 종합하면, 특정 인센티브가 영향력이 있는지 없는지에 대한 단순한 주장보다 더 복잡한 현실을 시사한다.
The most common incentives for clinical teachers have not stemmed the tide. These include academic appointments, recognition from leadership, faculty development opportunities, awards, money, gifts, continuing medical education credits, and library resources.12,13,17 When clinicians have been asked to rank-order incentives for teaching,

  • personal satisfaction ranks highest,
  • followed by educational opportunities and career advancement,
  • with financial payments and gifts ranking last.12,13 

The predominant use of self-report measures in these studies, however, raises concern about the extent to which we have operated from a sufficiently nuanced understanding of the role that incentives play. For example, although financial rewards ranked lowest overall in the study mentioned above, that result depended on the context in which respondents were working: Money was ranked least valued by those who were not paid to teach, but highest by those who were already being paid.12 Further, such rankings may suggest that some people do not teach for financial incentives, but they neglect to address commonly heard concerns of financial disincentives associated with teaching (i.e., money that is given up by not being in clinic). Taken together, this literature and its limitations suggest a more complex reality than simple claims that certain incentives are influential or not.

사람들이 행동을 주도하는 것으로 [인식하는 것]과 [실제 행동 결정 요인] 사이의 단절을 고려할 때, 자기보고에 기초한 인센티브 계획을 설계하는 것은 위험하다. 게다가, 역효과를 내는 인센티브 제도에 대한 다양한 보고서는 우리가 가르칠 필요가 없거나 더 많은 노력을 하도록 장려될 수 있는 사람들에게 인센티브가 미치는 영향을 더 잘 이해하려면 더 깊은 탐구를 요구한다. 우선, 우리는 기대와 관찰 사이의 그러한 단절을 이해하는 것을 전문으로 하는 학문인 심리학으로 눈을 돌렸다.
Given the disconnect between what people perceive to drive their behavior and actual determinants of behavior,22 designing an incentivization scheme based on self-reports is risky. Further, various reports of incentive schemes having counterproductive consequences demand a deeper exploration if we are to better understand the impact of incentives on those who are not required to teach or who could be encouraged to give more effort. To begin, we turned to psychology, a discipline that specializes in understanding such disconnects between expectation and observation.

인센티브에 대한 심리학적 관점
Psychology’s view on incentives

심리학 연구자들은 동기가 발생하는 메커니즘에 대해 광범위한 연구를 수행했다. 동기부여의 [네 가지 요소]는 여러 주요 동기부여 이론들 사이에서 공유된다. 

  • (1) 역량(어떤 일을 잘 할 수 있는 자신의 능력); 
  • (2) 자율성 또는 가치(행위를 완료하기를 원하거나 그 행위에 투자되는 정도) 
  • (3) 귀인(성과에 대해 스스로 인식하는 책임) 및 
  • (4) 사회 인지적 요소: 개인과 사회적 맥락 사이의 상호 작용을 포함

따라서 특정 개인에 대한 인센티브의 효과는 이 네 가지 요소를 어떻게 구축하거나 감소시키느냐에 달려 있다. 자기결정이론(SDT)에서 도출된 이 문헌의 주요 차이점은 다음과 같다. 

  • "본질적으로 흥미롭거나 즐겁기 때문에" 직무가 수행되는 내재적 동기 부여 
  • "분리 가능한 성과separable outcome로 이어지기 때문에" 작업이 수행되는 외적 동기 부여. 

[분리 가능한 성과separable outcome]를 갖는다는 것은 그 일에 [가치가 있다고 여겨지는 보상] 또는 [피해야 할 처벌]의 형태로 나타나는 [도구성instrumentality]이 있다는 것을 의미한다. (예를 들어, 주제가 재미있어서라기보다는 숙제로 배정되어 있기 때문에 책을 읽는 것)

Psychology researchers have conducted extensive research on the mechanisms by which motivation arises. Four components of motivation are shared among several prominent motivational theories:

  • (1) competence (one’s self-perceived ability to do something well);
  • (2) autonomy or value (the extent to which one wants to complete, or is invested in, the act);
  • (3) attribution (one’s perceived responsibility for the outcome); and
  • (4) sociocognitive elements that involve interactions between an individual and the social context.23 

The effectiveness of an incentive for a particular individual, therefore, is dependent on how it builds on or detracts from these four components. A key distinction in this literature, drawn from self-determination theory (SDT), is that between

  • intrinsic motivation, in which a task is performed “because it is inherently interesting or enjoyable”4; and
  • extrinsic motivation, in which a task is performed “because it leads to a separable outcome.”5 

To have a separable outcome means that there is some instrumentality to the task, either in the form of a reward that is valued or a punishment to be avoided (e.g., reading a book because it is assigned as homework rather than because the topic is interesting).

교유에 [내재적 동기]가 부여된 임상의는 재미나 도전을 즐기기 때문에 그렇게 한다. (즉, 보상이 활동 자체에 포함되어 있기 때문입니다.) 일반적으로, 내재적 동기는 개인이 특정한 작업에 참여할 때, 심지어 (그러한 행동을 할 것이라는 타인의) 기대가 없고, 개인이 (특정 활동 대신) 참여할 수 있는 다른 활동이 있더라도 관찰할 수 있다. 이러한 모델에 따르면, 모든 임상의가 교육에 내재적 동기 부여를 갖는다면, 의료 훈련 프로그램을 배치하는 데 문제가 없을 것이며, 따라서 인센티브가 내재적 동기 부여를 구축할 수 있는지에 대한 질문을 제기한다.
A clinician who is intrinsically motivated to teach does so because she enjoys the fun or challenge (i.e., because the reward is embedded within the activity itself). Generally, intrinsic motivation is observable when an individual engages in a particular task even when there is no expectation and despite there being other activities in which the individual could engage.24 According to these models, if every clinician were intrinsically motivated to teach, there would be no issue with staffing medical training programs, thereby begging the question of whether incentives can build intrinsic motivation.

중요한 메타 분석에 따르면, 대부분의 경우 인센티브 제공은 특정 작업에 [내재적 동기를 부여하는 사람들]에게 때로는 영구적으로 해롭다. 인지평가 이론가들은 [보상]이 [개인의 자율성과 역량]을 떨어뜨려, 보상이 [보상을 받지 못하면 하지 않겠다]는 의미를 내포하고 있기 때문에, 그 일을 덜 바람직하지 않게 보이게 한다고 설명한다.

  • 이는 특히 업무와 성과에 따른 보상(즉, 특정 수준에서 업무를 완료하거나 완료하는 것에 기초하여 주어지는 보상)의 경우에 해당된다.
  • 업무에 수반되지 않는 보상(즉, 업무 완료 여부에 관계없이 주어지는 보상)은 [업무와 보상 사이의 도구성을 제거]한다(개인이 자율성을 되찾을 수 있도록 한다). 그러나 [역량 확인competence affirmation]을 동시에 제거하게 되므로, 과제를 잘 수행하는 것에서 오는 고유한 만족감을 제거할 수 있습니다.

A seminal meta-analysis25 reveals that the provision of incentives is, in most cases, detrimental for those who are intrinsically motivated toward a certain task, sometimes permanently. Cognitive evaluation theorists26 explain that rewards lower an individual’s sense of autonomy and competence, making the task seem less desirable because the reward implies that one would not do it if not rewarded.5 

  • This is particularly the case with task-contingent and performance-contingent rewards (i.e., those given based on completing the task or completing it at a certain level).
  • Non-task-contingent rewards (i.e., those given regardless of whether the task is completed) remove the instrumentality between the task and the rewards (allowing individuals to reclaim autonomy) but can simultaneously remove competence affirmation, eliminating the inherent sense of satisfaction that comes from a task well done.25

[인정과 긍정적 피드백]과 같은 [덜 유형적인 보상]은 자율성에 대한 많은 위험 없이 [역량을 긍정affirm]할 수 있으며, 내재적으로 동기 부여 작업에 대한 동기를 구축하는 것으로 나타났지만, 그 전달에는 중요한 뉘앙스가 있다. 심지어 긍정적인 피드백도 그것이 일상적으로 주어져서, 주어질 것이라는 기대가 자리잡으면, 자율성을 감소시킬 수 있기 때문에 결국 본질적인 동기에 부정적인 영향을 미친다. 또한

  • 임상의가 [[긍정적인 피드백]이나 [유형적인 보상]을 받을 수 있다는 것을 알고 있다면], 유형적인 보상은 "상징적 단서적 가치symbolic cue value"를 취하며, 보람 있는 역량의 정도가 달성되었음을 암시한다. 결과적으로, 그러한 상황에서는, [유형적 보상]이 더 효과적인 경향이 있다.
  • 반면에, 임상의가 [보상을 받을 것이라는 것을 모른다면], [유형적 보상]보다 [예상치 못한 언어적 칭찬]이 본질적인 동기를 증가시킨다.

Less tangible rewards such as acknowledgment and positive feedback can affirm competence without as much risk to autonomy and have been shown to build motivation for intrinsically motivating tasks,25 but there are important nuances to their delivery. Even positive feedback eventually impacts intrinsic motivation negatively because it can reduce autonomy when it is given routinely and, thus, becomes expected.25 Further,

  • if clinicians know they can either receive positive feedback or a tangible reward, the tangible reward takes on “symbolic cue value” and implies that a degree of competence has been achieved worth rewarding. As a result, in such situations, tangible rewards tend to be more effective.27 
  • If, on the other hand, clinicians do not know they are to be rewarded, then unexpected verbal praise increases intrinsic motivation more than tangible rewards.

이러한 차이는 의료 교육 문헌에서 교육을 위해 급여를 받는 사람들은 재정적 인센티브를 높게 평가하는 반면 그렇지 않은 사람들은 낮게 평가하는 이유에 대한 통찰력을 제공한다. 일단 [가시적인 보상]을 받을 수 있다는 것이 알려지면, [재정적 인센티브]는 [그 과제가 중요하다고 간주된다는 것]을 보여주는 더 큰 [상징적 단서적 가치]를 갖는다. 비록 내재적인 동기 부여가 더 큰 창의성과 생산성으로 이어지는 경향이 있기 때문에 이상적일 수 있지만, 많은 일상적인 과제들은 본질적으로 흥미롭지 않고, 많은 의학 교육자들은 가르치는 것에 외적인 동기 부여를 받는다.
This distinction offers insight into why the medical education literature suggests that those who are paid to teach rank financial incentives highly, whereas those who are not rank them low.12 Once it is known that a tangible reward is available, the financial incentive takes on greater symbolic cue value as a demonstration that the task is considered important. Although intrinsic motivation might be ideal because it tends to lead to greater creativity and productivity,23 many daily tasks are not inherently interesting, and many medical educators are extrinsically motivated to teach.

[외재적 동기 부여]에는 [과제에 대해 인식하는 자율성의 정도]에 따른 다양한 [도구적 보상의 스펙트럼]이 있다.

  • [자율성이 낮다고 인식]하는 쪽에서는 부서장의 비판을 피하려고 교육을 맡을 수 있다. 
  • [자율성이 높다고 인식]하는 쪽에서는, 비록 그것이 암묵적인 만족을 제공하지 않더라도, 가르치는 것이 자신의 역할에 필수적이라는 믿음 때문에 가르칠 수 있다.

더 큰 자율성은 더 큰 참여, 성과 및 헌신을 가져온다. SDT에 따르면, [역량]과 [관계성]의 느낌이 높아지면, 보다 [자율적인 형태의 외적 동기부여]를 형성한다. 즉, 임상의가 자신이 [성공에 필요한 관련 기술을 가지고 있다]고 믿고, 가르치는 것이 [교육을 장려하는 집단이나 문화에 소속감을 제공]한다면, 그 행동을 [자아의식에 통합할 가능성]이 더 높아질 것이다. 교수진 개발과 교육 아카데미는 역량과 연결을 증진하기 위한 두 가지 실용적인 전략을 제공한다. 이러한 활동에 참여하는 것은 교사의 정체성을 촉진하여 의미 있는 형태의 동기 부여를 구축하는 데 중요한 역할을 할 수 있으며, 이는 디자인보다 세렌디피티를 통해 교육적 역할에 온 사람들에게 특히 중요할 수 있다.

Within extrinsic motivation lies a spectrum of instrumental rewards varying in the degree of autonomy perceived over the task.26 

  • At the lower end, one might teach to avoid critique from one’s department head;
  • at the higher end, one might teach because of a belief that teaching is integral to one’s role even if it does not provide implicit satisfaction.5,28 

With greater autonomy comes greater engagement, performance, and commitment.28 According to SDT,5 increased feelings of competence and relatedness build more autonomous forms of extrinsic motivation. That is, if clinicians believe they have the relevant skills to succeed, and if teaching provides a sense of belongingness to a group or culture that promotes teaching, they’ll be more likely to integrate the behavior into a sense of self.5,29 Faculty development and teaching academies offer two practical strategies for promoting competence and connections.30 Engagement with such activities can facilitate one’s teacher identity, thereby playing a critical role in building meaningful forms of motivation, which may be especially crucial for those who came to educational roles more through serendipity than design.

요약하자면, [내재적 동기 부여된 임상 교사]에게는 긍정적 피드백의 신중한 제공을 넘어서는 인센티브를 지양하는 것이 최선이라고 하지만, [외재적 동기 부여된 교사]에게는 [자율성, 역량 및 관련성을 지원하는 경우] (인센티브가) 기능적 역할이 있을 수 있다. [완전히 내재적으로 동기 부여된 인력workforces]이라는 이상주의 너머에는, 의학교육은 [외적인 동기 부여를 성취하는 것이 최선인 사람들]에게 의존한다는 현실이 있다. 사실, 많은 역할들은 본질적(내재적)으로 흥미로운 측면이 있지만, 다른 많은 역할들은 단지 (누군가에 의해) 수행될 필요가 있다. 게다가, [이미 확인된 교육에 대한 많은 장벽들]은 심지어 본질적으로 동기부여가 될 때 조차 [강력한 저해요인]으로 작용한다. 이러한 복잡한 상황에서 SDT 연구는 제공해야 하는 실제적인 조언과 관련하여 한계에 도달합니다. 따라서 복잡한 사업장에서 직원들에게 인센티브를 주는 방법에 대한 광범위한 초점을 고려하여 조직행동 분야로 눈을 돌렸다.
In sum, although incentives beyond careful provision of positive feedback are best avoided for intrinsically motivated clinical teachers, they may have a functional role for those who are extrinsically motivated if they support autonomy, competency, and relatedness. Beyond the idealism of a fully intrinsically motivated workforce lies the reality that medical education is reliant on people for which extrinsic motivation is the best one can achieve. In fact, many roles will have some aspects that are intrinsically interesting, whereas others simply need to be done. Further, the many identified barriers to teaching act as particularly powerful disincentives even when one is intrinsically motivated. In such complex situations, SDT research hits its limit with respect to the practical advice it has to offer. We, therefore, turned to the organizational behavior field given its extensive focus on how to incentivize employees in complex workplaces.

인센티브에 대한 조직 행동의 관점
Organizational behavior’s view on incentives

조직 행동주의자들은 급여와 다른 인센티브가 직원들의 동기 부여, 만족도, 생산성에 어떻게 영향을 미치는지에 초점을 맞추었다. 직장 환경에 많은 이론이 적용되었지만, 인센티브의 영향을 중재할 것으로 예상되는 [세 가지 상호 연결된 구성요소]를 일관되게 공유한다.
Organizational behaviorists have focused on how salary and other incentives influence employee motivation, satisfaction, and productivity.31 Although numerous theories have been applied to workplace settings, they consistently share three interlinked components that are expected to mediate the impact of incentives:

  • (1) [자신]과 관련된 요소: 자신이 얼마나 많은 노력을 기울이는지 결정(예: 성취 지향, 귀인 상태).
  • (2) [과제]와 관련된 요소: 과제 또는 목표가 바람직한지, 달성 가능한지, 노력할 가치가 있는지 등
  • (3) [환경]과 관련된 요소: 한 사람의 동기를 제한하거나 가능하게 하는 조건

동기부여가 단지 개인 안에서만 존재하는 것이 아니라는 것을 인정하기 때문에, 이 후자의 요소들은 특히 중요한 추가이다. 즉, 인센티브는 [개인 내에서 동기부여를 높이고 환경 내 장벽을 낮추는 이중적인 역할]을 한다.

  • (1) factors related to the self determine how much effort one exerts (e.g., achievement orientation, attributional states);
  • (2) factors related to the task include whether it or the goal is desirable, achievable, and worth the effort; and
  • (3) factors related to the environment create conditions that limit or enable one’s motivations.

This latter class of factors is a particularly important addition because it acknowledges that motivation does not just live within the individual. That is, incentives play a dual role of raising motivation within individuals and lowering barriers within the environment.

예를 들어, 헤르츠버그의 [동기-위생 이론]은 직업 만족(즉, 동기 유발 요인)과 불만족(즉, 위생 요인)에 각각 영향을 미치는 두 가지 요인 세트를 식별한다. 직원들을 대상으로 업무에 대해 유난히 기분이 좋았던 때와 나빴던 때를 인터뷰한 결과, 기분이 좋았던 때와 의욕이 있었던 때, 기분이 나빴던 때와 의욕이 없었던 때에 대해 지속적으로 이야기하는 경우가 있었다.

  • 동기유발요인motivators는 직무의 [본질적인 조건](예: 성취, 인정, 책임, 승진, 성장)에서 비롯되었으며 SDT에 의해 요약된 동기 부여 요소와 잘 일치한다.
  • 반면, 위생 요인hygiene factors은 [상황적 조건]에서 발생하며 요인의 부재(예: 근무 조건, 대인 관계, 급여, 지위, 직업 안정성)를 통해 불만족에 기여했다.

연구에 따르면 두 요인 세트는 별도의 연속성에서 작동하므로 별도로 다루어야 합니다. 이 모델 하에서, 위에서 논의된 [인센티브(예: 교육 아카데미 및 교수 개발)]는 불만족(예: 고용 안정성 부족)을 촉진하는 [위생 요인]의 맥락에는 거의 영향을 미치지 않을 것이다. 
Herzberg’s32 motivation–hygiene theory, for example, identifies two sets of factors that separately influence job satisfaction (i.e., motivators) and dissatisfaction (i.e., hygiene factors). After interviewing employees about when they felt exceptionally good and bad about their jobs, some factors were consistently talked about in terms of feeling good and motivated, and others in terms of feeling bad and unmotivated.32 

  • Motivators arose from intrinsic conditions of the job (e.g., achievement, recognition, responsibility, advancement, growth) and align well with the components of motivation outlined by SDT.
  • Hygiene factors, in contrast, arose from contextual conditions and contributed to dissatisfaction through their absence (e.g., working conditions, interpersonal relations, salary, status, job security).33 

Research suggests that both sets of factors operate on separate continua and need to be addressed separately.34–36 Under this model, the incentives discussed above (e.g., teaching academies and faculty development) will have little influence in the context of hygiene factors that promote dissatisfaction (e.g., lack of job security).

또한 [동기부여 요인]과 [위생 요인]의 차이는 [돈이 할 수 있는 역할]을 새롭게 조명합니다. 부정적인 동기부여자로서, 돈은 조직행동주의자들에 의해 [존재할 때 만족감]을 만들어내기보다는, [부재할 때 불만족]을 만들어낼 것으로 기대된다. 아마도 결과적으로, [(교육에 대한 강한 저해 요인을 만드는) 임상업무에서 손실된 돈]이 [교육(일반적으로 동기 부여 인센티브 목록에서 낮은 순위에 있음)에서 얻는 돈보다 더 중요하다]고 추측하는 것이 타당하다.

Additionally, the distinction between motivators and hygiene factors shines new light on the role that money might play: As a negative motivator, money is expected by organizational behaviorists to create dissatisfaction when absent rather than creating satisfaction when present. Perhaps, as a result, it is reasonable to speculate that money lost from clinical practice (creating a strong disincentive for teaching) is more important to consider than money gained from teaching (commonly ranked low on lists of motivating incentives).

동기부여 요인과 위생 요인을 모두 해결하기 위해, [매슬로의 욕구 위계 이론]의 수정된 버전은 임상 교사의 가장 기본적인 요구 또는 기본적인 요구에서 시작하여, 다음과 같이 진행되는 요인을 순서대로 해결할 것을 제안함으로써 가치를 제공한다.

  • (1) 기본 임금,
  • (2) 복리후생 및 훈련의 안전성,
  • (3) 사회적 소속감,
  • (4) 자존감, 
  • (5) 자기 실현 

To address both motivators and hygiene factors, an adapted version of Maslow’s37 hierarchy of needs theory offers value by suggesting that factors be addressed in order beginning with a clinical teacher’s most fundamental or basic needs and progressing as follows:

  • (1) basic wages,
  • (2) safety in benefits and training,
  • (3) social belongingness,
  • (4) self-esteem, and
  • (5) self-actualization.38 


따라서 적절한 [임금, 직업 안정성, 훈련 기회]가 없다면 [자존감과 자아실현]을 목표로 하는 인센티브는 거의 영향을 미치지 않을 수 있다. 실증적 연구에 따르면, 재정적 인센티브를 제공하는 것은 직원의 생산성을 30% 향상시키는 것으로 나타났으며, 이는 일자리 창출 계획(9%-17%)과 직원 참여 프로그램(1% 미만)보다 더 크게 나타났다. 그러나 일반적으로 근로자들 사이에서는 충분한 급여가 중요할 수 있지만, 임상의들은 일반적으로 임상적인 역할을 수행할 수 있는 시간을 포기하더라도 최소한의 "기본 임금"을 누리기 때문에 이러한 생각들이 의료 교육으로 어떻게 일반화되는지 알기 어렵다. 이런 의미에서 재정적 인센티브에 대한 질문은 아마도 "얼마나"에 대한 것이 아니라 "무엇이 공정한가"에 대한 것이 될 것이다.

Thus, without adequate wages, job security, and training opportunities, incentives targeting self-esteem and self-actualization may have little influence. Supportive empirical work found that providing financial incentives raised employee productivity by 30%, larger than job enrichment initiatives (9%–17%) and employee participation programs (less than 1%).39 However, although sufficient pay may be important among workers in general, it is difficult to know how these ideas generalize to medical education because clinicians generally enjoy at least “basic wages” even when one gives up clinical time to take on teaching roles. In this sense, the question of financial incentives perhaps becomes less about “how much” and more about “what is fair.”

[형평성 이론]은 [절대적인 돈의 양]은 [불공정에 대한 인식]만큼 중요하지는 않을 수 있다고 가정한다. 다른 사람들과 비교하여, [자신의 자격과 노력에 대한 과소 또는 과다 지급]을 인식하는 것은 디스트레스의 감정으로 이어진다. 예를 들어, 조직 내의 두 역할이 더 많은 경험과 기술을 필요로 하는 한 역할에도 불구하고 동일한 급여를 받는 경우, 더 높은 역할에 속한 사람들은 그들이 버는 돈의 양에 만족했지만, 이 금액을 하위 역할에 속한 사람들과 비교했을 때 불만족스러웠다. 즉, 한 사람이 [자신이 과소평가]를 받거나, [다른 사람들이 과대평가]를 받는다고 인식할 때 경제적 지위에 관계없이 동기부여가 위협받을 수 있다. [의학 교육에 대해 (교수가) 인식하는 "공정한fair" 보상금]은 종종 [교수자들이 실제로 받는 것]보다 더 높으며, 이는 [형평성equity의 문제가 작용]할 수 있음을 시사한다. 또한, 아마도 [교육에 대한 보수를 주지 않는 기관에 소속된 사람들]은 재정적 인센티브를 낮게 평가할텐데, 왜냐하면 그러한 환경에서는 아무도 [교육 사례비teaching honoraria]를 받지 못해야만 형평성이 확립되기 때문이다. 직원들은 [더 높은 공정성fairness]을 옹호함으로써 형평성을 회복하려고 하지만, 반대로 이것이 잘 되지 않으면, 노력을 덜 하거나 역할을 완전히 포기함으로써 형평성을 회복하려 할 것이다. 그러나 [급여율rate of pay]이 "공정한" 것으로 간주되는지 여부는 비교되는 기준기준에 따라 달라질 수 있다.

Equity theory40 posits that the absolute amount of money may not be as important as perceptions of unfairness. Perceiving under- or overpayment given one’s qualifications and effort, in comparison with others, leads to feelings of distress. For example, when two roles within an organization received equal pay despite one role requiring more experience and skill, those in the more senior role were satisfied with the amount of money they were making, but dissatisfied when this amount was compared with those in the junior role.41 That is, motivation may be threatened regardless of financial position when one perceives oneself to be underrewarded or others overrewarded. The perceived “fair” rate of compensation for teaching in medicine is frequently higher than what teachers are actually being paid, suggesting that equity issues may be at play.13 Also, perhaps individuals at institutions who are not paid to teach rank financial incentives low because equity is established when nobody receives teaching honoraria in such environments.12 Employees seek to restore equity by advocating for more fairness, or if unsuccessful, by exerting less effort or abandoning the role completely.42 Whether a rate of pay is considered “fair,” however, likely depends on the reference standard against which it is compared.

[다른 인센티브]도 [형평성equitability에 대한 생각]에 의해 영향을 받을 수 있는지는 조직 행동 문헌에서 명확하지 않다. 예를 들어, [교육 아카데미teaching academy]

  • [교육적 역할]을 [임상적 또는 연구적 성공]과 비교하여 [대등한 수준의 명망comparable plane of prestige]에 놓음으로써 [동기부여요인motivator]를 제공할 수 있지만,
  • 만약 아카데미가 [교육자의 이너서클]에서만 가능하다면, [아카데미에서 배제당한 교수자]에게 [지위와 소속감의 부재]를 암시하게 되므로 [위생적 요인]으로 해석될 수 있다.

It is unclear from the organizational behavior literature whether other incentives are susceptibly influenced by considerations of equitability. For example,

  • a teaching academy might provide a motivator by putting educational roles on a more comparable plane of prestige relative to clinical or research successes,
  • but if only available to an inner circle of educators, the same incentive might be interpreted as a hygiene factor by implying the absence of status and belongingness for teachers who are excluded.

[조직행동 분야]는 [개인의 특성] 외에도 [환경적 요인]에 주목함으로써 인센티브를 더 폭넓게 고려하지만, [동기부여의 촉진]에는 (심리학자나 의학교사들이 주장하는 것보다) [재정적 보상이 훨씬 중요하다]는 점도 시사하므로 우리가 어떻게 진행해야 할지에 대한 모순적 메시지를 남긴다. 이러한 주장을 조정하기 시작하기 위해 [행동경제학 분야]는 왜 재정적 인센티브가 동기부여와 동기부여를 동시에 할 수 있는지에 대한 더 미묘한 이해를 제공하고, 우리에게 내재적-외부적 스펙트럼을 넘어서는 다른 형태의 동기부여를 소개한다.
While the organizational behavior field broadens consideration of incentives by drawing attention to environmental factors in addition to individual characteristics, it also suggests that financial rewards are much more important in promoting motivation than psychologists have argued or medical teachers have claimed, leaving us with contradictory messages of how to proceed. To begin reconciling these claims, the behavioral economics field provides a more nuanced understanding as to why financial incentives can be simultaneously motivating and demotivating, and introduces us to other forms of motivation beyond the intrinsic–extrinsic spectrum.

인센티브에 대한 행동경제학자들의 견해
Behavioral economists’ view on incentives

행동 경제학 내에서 [동기구축이론(MCT)]은 [심리학에서 얻은 정보를 전통적인 경제 모델과 결합]하고, 보상에 대한 우리의 이해를 돕기 위해 특히 유용한 관점을 제공한다. MCT는 앞서 설명한 바와 같이 인센티브가 연속체의 내적인 끝과 외적인 끝 사이에서 개인의 동기를 이동시키는 것을 전제로 하지만, [연속체의 각 끝]에서 사람들은 서로 다른 일련의 원칙에 의해 동기가 부여된다는 것을 암시한다.

  • 만약 인센티브가 사람들을 [외재적 동기 극]으로 이동시킨다면, 인센티브는 [내재적 동기]를 "밀어낸다crowds out". 그러한 경우, 노력은 [인센티브의 크기]와 직접적으로 관련이 있으며, 더 큰 인센티브는 더 큰 노력을 추진한다(즉, 사람들은 화폐 시장 시스템에서 작동한다).
  • 반대로, 인센티브가 사람들을 [내재적 동기 극]으로 이동시킨다면, 인센티브는 본질적인 동기를 "밀집crowd in"시킨다. 이러한 경우, 노력은 대신 [상호주의 또는 이타주의]에 의해 추진된다(즉, 사람들은 사회 시장 시스템에서 작동한다).

Within behavioral economics, motivation crowding theory43 (MCT) combines information from psychology with traditional economics models and provides a particularly useful perspective to aid our understanding of rewards. MCT presupposes that incentives shift an individual’s motivation between intrinsic and extrinsic ends of a continuum43 as described previously, but it also suggests that at each end of the continuum, people are motivated by different sets of principles.

  • If an incentive shifts people toward the extrinsic pole, the incentive “crowds out” intrinsic motivation. In such cases, effort is directly related to the size of incentive, with larger incentives driving greater effort (i.e., people operate in money-market systems).44 
  • Alternatively, if an incentive shifts people toward the intrinsic pole, the incentive “crowds in” intrinsic motivation. In such cases, effort is instead driven by reciprocity or altruism (i.e., people operate in social-market systems).44

이러한 방향에서 중요한 의미는 [중소규모의 보상]이 동기부여에 가장 해로울 수 있다는 것이다. 이를 설명하기 위해, 한 주요 연구는 더 [큰 재정적 보상]이 [작은 보상]보다 더 많은 시간을 자선 단체에 자원봉사하게 하지만, 보상을 도입하는 것만으로도 자원봉사 시간이 4시간이나 줄어든다는 것을 발견했다. 자원봉사자들은 특정한 재정적 한계를 넘은 후에야 아무런 보상도 받지 못한 것과 같은 시간을 보냈다. 결과적으로, 충분히 큰 재정적 인센티브는 인센티브를 제공하지 않는 것보다 노력에 더 많은 영향을 미칠 수 있지만, 소규모에서 중간 정도의 재정적 인센티브는 해로울 가능성이 있다. 
The important implication within this orientation is that small- to medium-sized rewards can be the most detrimental to motivation. To illustrate, a seminal study found that larger financial rewards caused individuals to volunteer more hours toward charitable organizations than smaller rewards, but the mere introduction of a reward reduced volunteer time by four hours.45 Only after crossing a particular financial threshold did volunteers commit the same number of hours as without any rewards. As a result, large enough financial incentives can influence effort more than providing no incentives, but small to moderate financial incentives are likely to be harmful.46

안타깝게도 이 임계값을 추정하는 것은 어렵습니다. [이론적으로 충분히 큰 것처럼 보이는 양]은 실제로 사용할 때 너무 작은 것으로 인식될 수 있으며, 다른 관련 요소의 맥락에서 고려될 수 있다. 예를 들어, 50달러 사례비는 마취과 의사에게는 작을지 몰라도, 수련 중인 전공의에게는 클 수도 있다. 하지만 그룹별로 사례비를 다르게 설정하면 [인식된 불평등 위험the risk of perceived inequity]이 발생한다. 아마도 [내재적 동기를 밀어내거나, 오로지 인센티브를 얻기 위해서 교육을 함]으로써 생기는 [질 저하의 위험]을 기억하는 것이 더 중요할 것이다.
It is unfortunately difficult to estimate this threshold value. An amount that seems theoretically large enough can be perceived as too small when put in practice and considered in the context of other relevant factors.46 For example, a $50 honorarium might be small to an anesthesiologist and large to a resident in training, but setting different rates for different groups creates the risk of perceived inequity. Perhaps more importantly, it is critical to remember the risks of lessening quality that come from crowding out intrinsic motivation and having people teach purely to obtain an incentive.

이 딜레마에서 벗어날 수 있는 방법은 [인센티브 규모와 노력 사이의 관계]가 [비금전적 인센티브]에는 적용되지 않는다는 증거에서 나올 수 있다. 예를 들어, 적십자사의 대규모 실험을 통해 [복권과 기프트 카드]는 크기에 관계없이 헌혈자에게 중립적이거나 긍정적인 영향을 미치는 반면, [소액의 금전적 보상]은 헌혈 의지를 낮추는 것으로 나타났다. 그 차이는 매우 강력해서 만약 [비금전적 인센티브가 그것과 관련된 금전적 가치와 함께 제공]된다면(예: "당신은 5달러의 초콜릿 바를 받을 것이다"), 개인들은 마치 [그것이 금전적 인센티브인 것처럼 상호작용]하도록 기본설정된다. 이것은 임상의에게 "사례비"를 제공하는 것이 "150달러의 사례비"를 제공하는 것과 매우 다른 영향을 미칠 수 있음을 시사한다.
The way out of this dilemma may come from evidence suggesting that the relationships between incentive size and effort do not apply with nonfinancial incentives. For example, large-scale experiments with the Red Cross have found that lottery tickets and gift cards have neutral or positive effects on blood donors regardless of size, while small financial rewards lower willingness to donate blood.6,47 The difference is so powerful that if a nonfinancial incentive is provided with a monetary value associated with it (e.g., “you will receive a $5 chocolate bar”), individuals default to interacting as if it were a financial incentive.44 This suggests that offering a clinician “an honorarium” might have a very different influence relative to offering “a $150 honorarium.”

[내적-외적 동기부여 연속체]와 별개로 작용하는 것처럼 보이는 요소들과 관련하여, [이미지 동기부여(다른 사람들과 그들 자신이 좋은 사람이라는 것을 보여주고자 하는 사람들의 욕구)]는 친사회적 행동에 있어서 중요한 역할을 한다. 자선단체에 기부하거나, 헌혈을 하거나, 임상 교사로 봉사하기 위해 자원하는 것은 본질적으로 만족스럽지 않을 수 있지만, 일부 사람들은 이러한 일들이 [자기자신에 대한 느낌 및 자기의 공적 이미지에 대해서 기분 좋게 느끼게 해주기 때문에], 그 일들을 수행하려는 동기가 있는 것처럼 보인다. 이는 아리엘리 외 연구진이 무작위로 참가자들에게 기부 금액을 공개 또는 비공개로 지정해 자선단체에 기부하도록 했다. 그들은 개인적인 기부보다 더 많은 기부가 공공장소에서 이루어졌다는 것을 발견했다. 이러한 결과는 의학 교사medical teachers에게도 일반화될 수 있는데, 이는 임상의들이 [교육에 대한 많은 친사회적 이유]를 드러냈음을 고려하면 합리적이다. 그렇다면, [노력에 대한 대중의 인식]은 재정적 인센티브보다 더 영향을 미칠 수 있다. 그러나 이러한 발견이 인식된 형평성에 대한 관찰과 어떻게 상호 작용하고 기본적인 욕구 계층 구조에 어디에 놓여 있는지는 여전히 불분명하다.
With respect to factors that seem to operate separately from the intrinsic–extrinsic motivation continuum, image motivation (people’s desire to illustrate to others—and themselves—that they are good people) plays an important role when it comes to prosocial behaviors.43,48,49 Contributing to charities, donating blood, or volunteering to serve as a clinical teacher might not be inherently satisfying, but some appear motivated to perform the tasks because these tasks allow them to feel good about themselves and their public image. This was illustrated by Ariely et al,49 who randomly assigned participants to donate to a charity with their donation amounts being made public or private. They found that larger donations were made in public than in private. If these findings generalize to medical teachers, as seems reasonable given the many prosocial reasons for teaching that clinicians express, then public recognition of efforts may be more impactful than financial incentives. How these findings interact with the observations about perceived equitability and where one lies on the fundamental needs hierarchy, however, remains unclear.

이 문헌에서 분명한 것은 [특정한 행동과 관련된 긍정적인 이미지]는 [다른 사람들의 규범과 행동]에서 크게 파생된다는 것이다. 소득세 준수를 장려하고, 예방 접종을 받고, 운동을 하는 것은 사람들이 문화적 규범으로 보일 때 더 많이 하는 행동의 예이다. 따라서, [교육에 의해 유지되는 이미지 동기image motivation]는 부분적으로 [임상의가 위치한 맥락의 문화적 규범]에 의존할 것이다. 즉, [이미지 동기 부여]는 [교육이 인정받지 못하는 병원]에서는 (동기부여)요소가 아닐 것이다. 또한 [이러한 상황에서 제공되는 유형적 보상]은 의도치 않게 [그 행동이 어렵거나 매력적이지 않다는 인식을 강화]할 수 있다. 예를 들어, [인근에 공항이나 교도소가 개발되고 있을 때], 이웃 구성원들에게 재정적 인센티브를 제공하는 것은 [시설에 대한 지역사회의 지원을 감소]시킨다. 학습환경은 학습자의 관점에서 실질적으로 연구되어 왔으나, 특정 환경의 문화가 교사의 수업동기를 변화시키는 정도나 영향요인이 수업노력에 영향을 미치는 방식으로 수정가능한지는 여전히 미지수이다.
What is clear from this literature is that the positive image associated with particular behaviors is largely derived from the norms and behaviors of others.50,51 Encouraging income tax compliance, becoming vaccinated, and exercising are examples of behaviors people do more of when they appear to be the cultural norm.52 It is logical, then, that the image motivation held by teaching would be partially dependent on the cultural norm of the contexts within which clinicians are situated. That is, image motivation is not likely a factor in a hospital where teaching is not endorsed. Further, in such settings, tangible rewards can unintentionally reinforce the perception that the behavior is difficult or unattractive.48 For example, offering financial incentives to members of a neighborhood when airports or jails are being developed nearby reduces the community’s support for the facility.53 Although the learning environment has been studied substantially from learners’ perspectives, the extent to which the culture of a particular environment changes teachers’ motivations to teach, or whether the influential factors are modifiable in a way that impacts teaching efforts, remains unknown.

논의
Discussion

심리학, 조직행동학, 행동경제학에서 검토한 문헌을 종합할 때, 우리는 인센티브가 의학교사의 동기에 미치는 영향에 대해 세 가지 결론을 도출한다. 이것들은 인센티브를 구현하는 경우와 방법을 고려할 때 실용적인 지침으로 아래에 제시되어 있다. 
In synthesizing the literature reviewed in psychology, organizational behavior, and behavioral economics, we draw three conclusions about the influence that incentives have on the motivations of medical teachers. These are framed below as practical guidelines when considering if and how to implement incentives.

무엇이 개인을 행동으로 이끌 것인지를 결정합니다.
Determine what is driving the individual to act in the first place

첫째, [인센티브의 영향]은 [동기 부여에 중요하다고 간주되는 기본 메커니즘]과 인센티브가 [어떻게 상호 작용하는지]에 따라 달라진다. 노력에 영향을 미치는 인센티브를 도입하기 전에, 무엇이 그 사람이 그 일에 참여하도록 동기를 부여하는지를 결정하는 것이 중요하다.

  • 그들은 그것이 흥미롭고 도전적이라고 생각하나요? 
  • 그들은 그것이 그들의 역할의 핵심적인 부분이라고 생각하나요? 
  • 그들이 그것을 해야 한다는 말을 들었니? 
  • 그들은 자신에 대해 좋은 기분을 느끼기 위해 그렇게 하나요? 
  • 그 맥락에서 다른 모든 사람들도 그것을 하고 있나요? 

First, the influence of an incentive is dependent on how it interacts with the underlying mechanisms deemed important for motivation. Before introducing an incentive to influence effort, it is important to determine what is driving the person to engage in the task in the first place.

  • Do they find it interesting and challenging?
  • Do they assume it to be a core part of their role?
  • Have they been told they need to do it?
  • Do they do it to feel good about themselves?
  • Is everyone else in that context doing it?

이러한 질문은 어떤 유형의 인센티브가 가치가 있는지 알려주는 데 도움이 될 수 있는 출발점을 제공할 것이다. 단순히 가치가 있는 것(또는 없는 것)에 대한 주장을 액면 그대로 받아들이기보다, 현재 이러한 동기를 지지하거나 억제하는 인센티브 또는 억제책이 무엇인지 탐구할 가치가 있다. 예를 들어, 만약 사람들이 돈의 중요성을 경시한다면, 그들이 이미 돈을 받고 있는지, 얼마나 많은 돈이 "공정한fair" 것으로 인식될지, 혹은 그들이 돈이 중요하다고 말한다면 그것이 그들을 나쁘게 보이게 할지를 생각해보라. 그러한 고려사항은 동기부여 요인과 장벽의 피상적인 목록과 현재 작용하고 있는 복잡한 요인들의 미묘한 이해 사이를 구별할 것이다.
Such questions will provide a starting point that can help inform what types of incentives might be valued. It is also worth exploring what incentives or disincentives currently support or inhibit these motivations without simply taking claims about what is valued (or not) at face value. For example, if people downplay the importance of money, consider whether they are already being paid, what amount of money would be perceived as “fair,” or whether it might make them look bad if they were to say that money was important. Such considerations will differentiate between a superficial list of motivators and barriers and a nuanced understanding of the likely complex set of factors at play.

인센티브와 동기 부여 유형 간의 고유한 상호 작용을 고려합니다.
Consider the unique interactions between incentives and motivation types

둘째, 기본적인 동기 부여 동기와 가치를 파악한 후에는 인센티브가 실제로 필요한지 또는 해로울 수 있는지 고려하십시오. 본질적으로 동기 부여된 개인은 추가적인 동기 부여가 필요하지 않을 수 있지만, [동기부여된 원동력motivational drives의 실행을 막는 장벽]을 제거하기 위한 노력이 필요할 수 있다. 인센티브가 구현할 가치가 있다고 판단되는 경우, 어떤 유형이 가장 효과적인지(예: 금전적인지 비금전적인지), 어떻게 제공되는지(예: 사적인 것과 공적인 것)를 고려한다. 이는 [인센티브가 잘못]되면 [의미 있는 변화를 가져오지 못할 수도 있고, 지속적인 문제적 형태의 동기 부여를 유발할 수 있다]는 점을 고려할 때 신중한 생각이 필요하다. 그 경우에는 [사회적 규범이 바뀌게] 되고, [바람직한 행동을 장려하기 위한 미래의 노력이 성공할 가능성을 더욱 감소]시키게 되기 때문이다.
Second, once you have grasped the underlying motivational drives and values, consider whether an incentive is actually needed or could be detrimental. An intrinsically motivated individual might not need any additional incentive, but may require efforts toward removing barriers preventing them from enacting their motivational drives. If an incentive is deemed worth implementing, consider which type will be most effective (e.g., financial or nonfinancial) and how it will be provided (e.g., in private vs. public). This requires careful thought given that, if done incorrectly, the incentive can fail to produce meaningful change or can create sustained problematic forms of motivation that alter the social norms in a manner that further decreases the success of future efforts to encourage the desired behavior.

  • [이미지-동기부여된image-motivated 사람]의 경우 [재정적 인센티브]는 사적으로 주어질 때 가장 효과적인 반면, [개인의 기여를 인정하는 인센티브]는 공개적으로 해야 가장 효과적이다. 어떤 행동을 [일반적인 것normalizing으로 만드는 것]은 그 행동을 포용하는 방식으로 문화를 변화시킬 수 있다.
  • [외적 동기부여된extrinsically motivated 사람]의 경우, 인센티브는 예를 들어 [기술 개발 기회를 제공]하거나, [행동을 지지하는 다른 사람과의 연결]을 가능하게 함으로써 [자율성, 역량 및 관련성]에 대한 인식을 구축하려고 노력해야 한다.
  • For image-motivated individuals, financial incentives will work best privately, whereas incentives that recognize the individual’s contributions work best publicly. Normalizing the behavior might change the culture in a way that leads to embracing the behavior.
  • For extrinsically motivated individuals, the incentive should try to build one’s perceived autonomy, competency, and relatedness by, for example, providing skill-building opportunities or enabling connections with others who endorse the behavior.

 

  • [금전적 인센티브]은 효과적으로 사람들을 문 안으로 불러들일 수 있고, 일단 들어오면 그 일 자체를 가치 있게 여기고 감사하는 법을 배울 수 있지만, 무엇이 "충분히 큰" 것인지는 고려해야 할 중요하다: 그러한 인센티브는 crowding effect를 넘어서서 [정당한fair 것]으로 간주될 수 있을 정도로 충분히 커야 하지만, 과제가 어렵거나 인기가 없다는 신호를 보낼 정도로 크지 않아야 한다.
  • [비금전적 인센티브]는 사이즈에 민감하지 않으며, 특히 업무가 친사회적인 것으로 간주된다면 좋은 대안이 될 수 있다. 그러나 동일한 환경에 있는 개인마다 얼마나 충분한지에 대한 서로다른 인식을 가지고 있다면, 다른 사람들에게 다른 크기의 보상을 제공하는 로지스틱한 문제를 야기한다. [비재정적 인센티브]로 여겨질 수 있는 광범위한 것들은 [구두 피드백, 교사 커뮤니티와의 참여, 공적정, 교수진 개발 기회, 정체성 형성 지원] 등이 있다.
  • Financial rewards can effectively get people in the door where an individual can then learn to value and appreciate the task itself, but what constitutes “large enough” is important to consider: Such incentives need to be large enough to override any crowding effects and to be considered fair, but not so large that they signal the task as difficult or unpopular.
  • Nonfinancial incentives aren’t as sensitive to size and offer a good alternative particularly if the task is considered prosocial or if different individuals in the same environment have different perceptions of how much is enough, creating logistical problems in offering different-sized rewards for different people. The wide range of things that could qualify as nonfinancial incentives include verbal feedback, engagement with communities of teachers, public recognition, faculty development opportunities, and identity formation support.

인센티브 효과를 방해할 수 있는 장벽 고려
Consider barriers that may interfere with incentive effectiveness

셋째, 인센티브의 효과는 개인과 그들이 일하는 맥락에 따라 달라진다. [올바른 개인] 또는 [올바른 맥락]에서 [올바른 인센티브를 구현]하는 것은 이 싸움의 절반에 불과하다. [환경적 또는 맥락적 장벽]이 있는 맥락에서는 인센티브가 단기적이거나 거의 영향을 미치지 않기 때문이다. 사람들이 그들의 역할에서 안정감을 느끼는지, 그들이 보상을 받거나 공평하게 인정받고 있다고 느끼는지, 더 근본적인 요구가 충족되고 있는지 여부는 동시에 해결되어야 하는 중요한 고려사항이다. 

Third, the effectiveness of any incentive is dependent on individuals and the contexts within which they work. Implementing the right incentive for the right individual or in the right context is only half the battle as it will have short-term or little impact in a context where there are environmental or contextual barriers. Whether people feel secure in their roles, whether they feel like they are being compensated or acknowledged equitably, or whether more fundamental needs are being met are important considerations that need to be addressed in tandem.

결론들
Conclusions

요약하면, 심리학자, 조직 행동주의자, 행동 경제학자들은 우리에게 인센티브의 역할에 관한 유용한 권고를 개발하도록 이끈 경고 이야기와 성공 사례를 모두 제공했다. 그들이 만들어낸 통찰력에도 불구하고, 우리의 의학 선생님들 사이에서 지속적이고 긍정적인 형태의 동기 부여를 배양할 가장 가치 있고 영향력 있는 인센티브를 식별하기 위해, 그 분야는 교사들이 스스로를 발견하는 다양한 보건 전문적 맥락에서 인센티브가 어떻게, 언제, 왜 작동하는지에 대한 더 큰 명확성이 필요하다.
In sum, psychologists, organizational behaviorists, and behavioral economists have provided us with both cautionary tales and success stories that have led to the development of useful recommendations regarding the role of incentives. Despite the insights they have produced, to identify the most valuable and influential incentives that will cultivate sustained and positive forms of motivation among our medical teachers, the field needs greater clarity regarding how, when, and why incentives operate in the variable health professional contexts in which teachers find themselves.


Acad Med. 2018 Nov;93(11S Association of American Medical Colleges Learn Serve Lead: Proceedings of the 57th Annual Research in Medical Education Sessions):S52-S59. doi: 10.1097/ACM.0000000000002383.Incentivizing Medical Teachers: Exploring the Role of Incentives in Influencing Motivations
Affiliations collapse

Affiliation

1K.M. Wisener is associate director of faculty development, Faculty of Medicine, University of British Columbia, Vancouver, British Columbia, Canada; ORCID: http://orcid.org/0000-0002-6093-8338. K.W. Eva is professor and director of education research and scholarship, Department of Medicine, and associate director and senior scientist, Centre for Health Education Scholarship, University of British Columbia, Vancouver, British Columbia, Canada; ORCID: http://orcid.org/0000-0002-8672-2500.

PMID: 30365430

DOI: 10.1097/ACM.0000000000002383

Abstract

Purpose: Medical education is dependent on clinicians and other faculty who volunteer time and expertise to teaching. Unfortunately, the literature reports increasing levels of dissatisfaction, burnout, and attrition. Incentivization provides an obvious intervention, but rewards must be implemented judiciously or risk unintended consequences. With little known about the effects of incentives in medical education, the authors investigate key insights across three disciplines to explain how, why, and when incentives can be used effectively.

Method: In this critical synthesis, a purposeful and iterative literature search was conducted by exploring a variety of databases to identify seminal articles, key concepts, and generative search terms. Particularly fruitful disciplines were then explored more deliberately.

Results: Psychologists argue that the impact of an incentive depends on an individual's motivational drives. Organizational behaviorists draw attention to environmental incentives and disincentives that build or detract from motivation. Behavioral economists posit that size, type, and way in which an incentive is provided affect motivation differently.

Conclusions: The influence of an incentive depends on how it interacts with underlying mechanisms deemed important for motivation. These mechanisms change across tasks, individuals, and contexts. Recommendations derived from the effort include being deliberate about (1) determining what is driving the individual to act, (2) considering the unique interactions between incentives and motivation types, and (3) considering barriers that may interfere with incentive effectiveness. In examining each of these, the authors argue that the field needs greater clarity regarding how, when, and why incentives operate within the many contexts in which medical educators work.

 

학부의학교육과정에 건강의 사회적 결정요인 교육과정 도입: 교수 경험의 질적 분석 (Acad Med, 2022)
Implementing a Social Determinants of Health Curriculum in Undergraduate Medical Education: A Qualitative Analysis of Faculty Experience 
Maralyssa Bann, MD, Savannah Larimore, PhD, Jessica Wheeler, and Lauren D. Olsen, PhD 

그 증거는 압도적이다: 현대 미국 사회에서 건강 불평등의 주요 결정 요인은 생물 의학이 아니라 사회적이다.  ( 1910년 에이브러햄 플렉스너의 보고서와 의학 실증주의, 연구, 과학적 방법에 초점을 맞춘 것에 큰 영향을 받았던) 의학 교육이 기초와 임상 과학 중심의 커리큘럼을 유지해 왔지만, 미래의 의사들이 건강 불평등의 근본적인 사회적 원인을 인식하고 이를 해결할 수 있도록 훈련되어야 한다는 요구가 높아지고 있다. 의학계 내에서 이러한 광범위한 문화적 변화는 최근 인가 기관에 의해 교육 커리큘럼에 관련 자료를 통합하도록 의무화된 의대에서 쉽게 관찰된다. 예를 들어, LCME는 "흔한 사회적 문제의 의학적 결과에 대한 진단, 예방, 적절한 보고 및 치료에 대한 지침"을 포함할 것과 "의료 격차가 모든 인구에 미치는 영향 인식 및 의료 격차를 제거하기 위한 잠재적 방법"을 포함할 것을 요구한다.
The evidence is overwhelming: the primary determinants of health inequities in contemporary U.S. society are social, not biomedical. 1–6 Although medical education—heavily influenced by Abraham Flexner’s 1910 report and its focus on medical positivism, research, and the scientific method 7—has maintained a primarily basic and clinical sciences–driven curriculum, there are mounting calls that future physicians should be trained to be aware of the fundamental social causes of health inequity and should be capable of addressing them. 8–14 These broader cultural shifts within the medical profession are readily observed in medical schools, which have recently been mandated by accrediting bodies to integrate relevant material into their educational curriculum. For example, the Liaison Committee on Medical Education requires the inclusion of “instruction in the diagnosis, prevention, appropriate reporting, and treatment of the medical consequences of common societal problems” 15 in addition to “recognition of the impact of disparities in health care on all populations and potential methods to eliminate health care disparities.” 16

의과대학들은 주로 건강의 사회적 결정요인(SDOH)을 중심으로 한 커리큘럼 개발을 통해 이 요구에 대응해 왔다. 학자들은 또한 다음과 같은 주제에 대한 콘텐츠 구현 및/또는 옹호를 보고했다. 

  • 문화적 역량; 
  • 반인종차별주의 
  • 비판 의식; 
  • 사회 정의 
  • 사회 의학; 그리고. 
  • 다양성, 형평성, 포용성, 
  • 또한 원주민 건강 및 성소수자 관리와 같은 중점 영역도 포함됩니다. 

Medical schools have responded to this call largely via the development of curricula centering the social determinants of health (SDOH). Scholars have also reported implementation of and/or advocacy for content on topics such as

  • cultural competence 17; antiracism 18; critical consciousness 19; social justice 20,21; social medicine 22; and diversity, equity, and inclusion, 23 as well as areas of focus, such as Indigenous health 24 and LGBT care. 25 

이러한 새로운 교육 제공에 대한 과정 자료, 구조 및 평가 전략은 상당히 다양하며, 불평등 및 격차와 같은 개념을 논의하기 위한 수단으로 SDOH를 사용하는 의학 교육 방식은 여전히 중요한 비판 영역으로 남아 있다. 단순성을 위해, 우리는 이러한 유형의 과정을 SDOH 커리큘럼이라고 부르며, 이러한 분류는 잠재적으로 광범위하고 이질적인 내용을 반영한다는 것을 인정한다. 
The course material, structure, and assessment strategies for these new educational offerings vary considerably, 26,27 and the method by which medical education uses the SDOH as a means to discuss concepts such as inequity and disparity remains an important area of critique. 28 For simplicity, we refer to these types of courses as SDOH curricula while recognizing that this categorization reflects potentially broad, heterogeneous content.

SDOH 커리큘럼에 대한 현재 의학 교육 문헌의 대부분은 학생의 경험과 결과를 조사한다. 비록 이러한 경험들이 학생 결과의 분석을 보완하는 "현대의 전문적 실천으로의 창"을 제공할 수 있지만, 이러한 과정을 설계하고 지도하는 의사-교수의 경험에 대한 관심은 적다. 의대 내 [의사-교수]의 위치성은 학생들이 권력의 위치에 있는 사람들과 상호작용하는 방법과 실질적으로 다른 조직 행위자들(예: 총장, 과장, 학장, 부서장)과의 상호작용에 관여하도록 만든다. 또한 의대생은 [미래를 대표]하지만 의사-교수 구성원은 임상의학과 학술의학의 [현재를 대표]한다. 그러므로, 의사-교수의 행동은 반영할 뿐만 아니라 직업의 더 넓은 문화적 변화에 기여할 수도 있다. 이러한 격차를 해결하기 위해, 우리는 새로운 SDOH 커리큘럼을 설계하고 가르친 대규모 의과대학의 의료 교육자들의 경험을 탐구했다. 우리의 목표는 새로운 SDOH 관련 교육 콘텐츠 구현의 과제와 기회에 대한 이해를 높이고 교수진 선정, 훈련 및 지원을 위한 핵심 영역을 식별하는 것이었다.
Much of the current medical education literature on SDOH curricula examines the student experience and outcomes. 29–34 Less attention has been paid to the experiences of the physician-faculty who design and instruct these courses even though these experiences may provide a “window into contemporary professional practice” that complements analyses of student outcomes. 35 The positionality of physician-faculty within medical schools makes them privy to interactions with organizational actors (e.g., presidents, chiefs, deans, division leaders) that are substantively different from the ways that students interact with those in positions of power. Furthermore, although medical students represent the future, physician-faculty members represent the present of clinical and academic medicine. Therefore, their behaviors not only reflect but may also contribute to broader cultural shifts in the profession. 36 To address this gap, we explored the experiences of medical educators at a large medical school who designed and taught a new SDOH curriculum. Our goal was to improve understanding of the challenges and opportunities of implementing emerging SDOH-related educational content and to identify key areas of focus for faculty selection, training, and support.

방법
Method

스터디 디자인
Study design

우리의 연구 설계와 분석은 교육과정 구현에 대한 [비판적 교육학적 관점]과 [사회 구성주의적 접근법]의 핵심 이론적 통찰력에서 inform되었다.

  • [비판적 교육학]의 핵심은 이론과 실천을 [상호 구성적]으로 본다. 이 교육학의 구현할 때, 실무자들은 [권력 관계]를 조사하고 변화시키려고 한다. — 교실뿐만 아니라, 조직과 직업에서도 [보다 공정한 사회]를 향해 노력한다.
  • [사회구성주의적 접근법]은 사람들이 [어떻게 다른 사람들과 의미를 만들고, 특정 집단 내에서 가치와 규범을 반영, 유지, 수정하는 행동에 참여하는지]를 이해하고, 우리의 경우 교직원을 더 넓은 사회 세계 내에 위치시킨다.
  • 이 둘을 결합하면서, 우리는 교수진이 SDOH 커리큘럼의 구현에 참여하는 것을 어떻게 해석하고 경험했는지 이해하는 것을 목표로 했다. 따라서 이러한 지향점과 함께 본 프로젝트는 형평성 및 차별과 관련된 커리큘럼의 설계 및 구현과 함께 교직원 경험에 대한 이전 작업과 일치한다.

Our research design and analysis are informed by core theoretical insights from the critical pedagogical perspective 37 and social constructionist approaches to curriculum implementation. 38,39 

  • Critical pedagogy, at its core, sees theory and practice as mutually constitutive. In the implementation of this pedagogy, practitioners seek to interrogate and transform power relations 40—not only in their classrooms but also in their organizations and their professions to work toward a more just society.
  • Social constructionist approaches situate a person—in our case, a faculty member—within the broader social world, understanding how people make meaning with others and engage in actions that reflect, maintain, or modify the values and norms within particular groups38 for example, within a medical school.
  • In combining the critical pedagogical approach with a social constructionist lens, we aimed to understand how faculty interpreted and experienced engaging in the implementation of an SDOH curriculum. Thus, with this orientation, this project is aligned with previous work on faculty experiences with design and implementation of curricula related to equity and discrimination. 41

이러한 통찰력을 출발점으로 삼아 SDOH 커리큘럼을 개발하고 가르치는 변화 가능성을 포착할 수 있는 반구조화된 인터뷰 가이드를 설계하고자 했다. 이와 같이 인터뷰 가이드 내의 많은 질문은 SDOHC에 참여한 교수진의 접근 방식(예: 과정 설계, 교수 실습), 훈련(예: 이전의 정형화된 교육, 교수진 개발), 경험(예: 학생과의 상호 작용 및 교수와 임상 실습 간의 관계)을 중심으로 한다.(인터뷰 가이드는 보충 디지털 부록 1 참조). 이 연구는 워싱턴 대학 기관 검토 위원회에 의해 면제된 것으로 간주되었다.
Taking these insights as our point of departure, we sought to design a semistructured interview guide that could capture the transformative potential of developing and teaching an SDOH curriculum. As such, many questions within the interview guide are oriented around

  • the approach (e.g., course design, teaching practices),
  • training (e.g., previous formalized education, faculty development), and
  • experiences (e.g., interactions with students as well as the relationship between teaching and clinical practice)

of faculty who engaged in the SDOH course (for the interview guide, see Supplemental Digital Appendix 1 at https://links.lww.com/ACADMED/B300). This study was deemed exempt by the University of Washington Institutional Review Board.

설정 및 참가자
Setting and participants

이 연구는 교육과정 개혁을 진행 중인 대규모 도시 미국 의과대학을 배경으로 한다. 새로운 종단 과정은 다음을 포함하여 학부 의학 교육(UME) 사전 임상 커리큘럼 내에서 비교적 광범위한 주제를 다루기 위해 설계된 주제는 다음과 같다.

  • SDOH; 
  • 건강 격차 
  • 다양성, 형평성 및 포괄성 
  • 인구와 공중 보건 

개편 전 UME 교육과정에 존재했던 관련 자료를 담당하는 교직원들이 새로운 과정을 계속 진행하도록 초대되었다. 또한, 특히 SDOH 및 인구 건강과 관련된 주제를 가진 관련 전문 지식을 가진 교직원들의 지원 요청이 의대 전체에 보내졌다. 핵심 그룹에는 12명의 교수진(10명의 테마 리더와 2명의 코스 디렉터)이 포함되었습니다. 이들 중 절반은 의과대학의 UME 과정에서 경험이 있었고 절반은 커리큘럼에 처음이었다.
This study was set in a large, urban U.S. medical school undergoing curricular reform. A new longitudinal course was designed to cover a relatively broad range of themes within the undergraduate medical education (UME) preclinical curriculum, including the SDOH; health disparities; diversity, equity, and inclusion; and population and public health. Faculty members responsible for relevant material that had existed in the UME curriculum before reorganization were invited to continue with the new course. In addition, a call for applications from faculty members with relevant expertise, particularly with topics related to the SDOH and population health, was sent to the entire medical school. The resulting core group included 12 faculty members—10 theme leaders and 2 course directors. Half of these individuals had previous experience within the medical school’s UME courses and half were new to the curriculum.

각 [테마 리더]는 [특정 테마에 대한 과정 내용을 개발]하고, 해당 테마에 대한 [대규모 그룹 교육 지침]을 제공해야 했습니다. 또한, 각 교수진에게는 모든 주제의 자료가 논의되고 추가로 탐구되는 종단적 소그룹 토론 섹션이 할당되었다. 교수진은 정기적으로 모든 자료를 일괄 검토하여 소그룹 콘텐츠 전달을 위한 오리엔테이션과 준비를 서로에게 제공하고 콘텐츠 개발자에 대한 동료 검토와 피드백을 제공하였다.
Each theme leader was responsible for developing course content for their specific theme as well as delivering any large group didactic instruction for that theme. In addition, each faculty member was assigned a longitudinal small-group discussion section in which material from all themes was discussed and explored further. The faculty group regularly reviewed all material collectively, providing orientation and preparation to each other for small-group content delivery as well as peer review and feedback to the content developer.

데이터 수집
Data collection

과정 시행 2년차인 2019년 봄에 12명의 핵심 교직원 전원에게 이메일 초대를 통해 연구 참여를 요청했다. 11명이 응답하고 인터뷰를 완료했다. 1명의 참가자는 나중에 인터뷰 자료 사용 허가를 취소하고 최종 10명의 인터뷰 샘플을 작성했다. 참가자 수가 적다는 점을 감안할 때 기밀성을 유지하기 위해 인구 통계학적 특성을 보고하지 않는다. 대부분은 비히스패닉 백인, 이성애자, 시스젠더 여성으로 확인됩니다. 대부분은 의사(MD 학위 보유)로 교육을 받았으며 과정 외의 임상 역할을 수행했습니다. 
Study participation was solicited via email invitation to all 12 core faculty members during spring 2019 in the second year of course implementation. Eleven responded and completed the interview; 1 participant later rescinded permission for use of interview material, producing a final sample of 10 interviews Given the small number of participants, we do not report demographic characteristics to preserve confidentiality. Most identified as non-Hispanic White, heterosexual, cisgender women. Most were trained as physicians (holding an MD degree) and served in clinical roles outside the course.

대부분의 인터뷰는 참가자가 편리한 장소에서 직접 진행되었다. 두 명은 화상 회의 플랫폼(줌)을 사용하여 가상으로 수행되었다. 약 60분 동안 진행된 각 인터뷰는 음성으로 녹음되고, 정확하게 기록되었으며, 클라우드 기반 정성 분석 소프트웨어 프로그램에 업로드되었다.
Most interviews occurred in-person at a site convenient to the participant; 2 were conducted virtually using a videoconferencing platform (Zoom). Each interview, lasting approximately 60 minutes, was audio-recorded, transcribed verbatim, and uploaded to a cloud-based qualitative analysis software program (Dedoose 9.0.17 for Windows, SocioCultural Research Consultants LLC, Los Angeles, California).

분석
Analysis

연구팀에는 내과의사와 의료교육자(M.B.), 의료사회학 및 보건전문교육 전문가(S.L.과 L.D.O.) 2명과 연구진(J.W.) 1명이 포함됐다. 우리는 데이터를 분석하기 위해 [구성주의적 근거 이론 접근법]을 사용했다. 연구팀의 3명(M.B., S.L., J.W.)은 SDOH 교육과정을 개발하고 실행하는 교수진의 경험에 세심한 주의를 기울이며, 2개의 초기 녹취록을 개별적으로 읽고, 개방형 line-by-line 코딩을 행하였다. 초기 코드북은 공동으로 개발되고 조정되었으며, 나머지 기록은 2명의 팀원(M.B.와 J.W.)에 의해 한 줄씩 코드화되었다. 다음으로 연구팀이 만나 축 코딩 구조를 결정하고 코드 간의 조직 관계를 정의하였다. 이 과정에서 교직원들이 겪는 제약이나 긴장을 중심으로 한 여러 주제를 발견했다. 비판적 교육학과 사회 구성주의 관점의 통찰력을 결합하여, 우리는 이러한 주제의 많은 부분이 교수진이 구성원인 다른 그룹의 활동 또는 규범을 반영한다는 것을 알아차렸다(예: 전문 사회에 의해 지시된 변화, 특정 학교의 문화, 교실 공간 내에서 수용된 관행).
The research team included an internal medicine physician and medical educator (M.B.), 2 experts in medical sociology and health professions education (S.L. and L.D.O.), as well as a research staff member (J.W.). We used a constructivist grounded theory approach 42,43 to analyze the data.

  • Three members of the research team (M.B., S.L., and J.W.) independently read and performed open, line-by-line coding of 2 initial transcripts, paying close attention to the faculty experience of developing and implementing the SDOH curriculum.
  • An initial codebook was developed and reconciled collectively, and the remainder of the transcripts were coded line-by-line by 2 team members (M.B. and J.W.).
  • Next, the research team met to determine axial coding structures and to define organizing relationships among codes.
  • During this process, we found several themes oriented around constraints encountered or tensions experienced by faculty members.
  • Combining insights from critical pedagogy and social constructionist perspectives, we noticed that many of these themes reflected activities and/or norms from different groups of which faculty were members (e.g., changes dictated by professional societies, the culture of their specific school, accepted practices within a classroom space).

우리의 핵심 코드를 분석함에 있어, 우리는 특히 [성별과 인종에 의한 사회적 불평등]을 시정하기 위해 시도된 [의학 교육의 비공식 메커니즘(예: 멘토링 관계, 무급 감정 노동)에 대한 작업]에서 얻은 중요한 통찰력을 끌어냈다. 마찬가지로, 의과대학을 [성별화되고 인종화된 조직]으로서 연구한 한 발머 외 연구진과 응게메니 티아코 외 연구진의 작업을 통해, 이러한 [경험과 비공식적인 교육 메커니즘]이 더 넓은 맥락 속에서 [교수진의 이해와 경험을 포지셔닝하는 프레임워크] 내에 어떻게 위치하는지 조사했다. 그런 다음 이러한 통찰력을 사용하여 각 주요 테마를 전문가, 조직, 상호 작용 또는 개인 내 영향력 수준으로 분류했습니다. 이 최종 모델에 대해서는 모든 연구팀 구성원들이 집합적으로 논의하고 합의했다.
In analyzing our key codes, we drew on the important insights from work on the informal mechanisms in medical education (e.g., mentoring relationships, unpaid emotional labor) that attempt to redress social inequalities, particularly those by gender and race. 44,45 Likewise, informed by the work of Balmer et al 46 and Nguemeni Tiako et al 47 on medical schools as gendered and racialized organizations, we examined how these experiences and informal mechanisms of instruction were situated within a framework that positions faculty understanding and experience within the broader context. Using these insights, we then categorized each primary theme as a corresponding level of influence: professional, organizational, interactional, or intrapersonal. All research team members collectively discussed and agreed on this final model.

결과
Results

전반적으로, 교직원들은 [수업 자료의 중요성]과 [혁신적인 교육 콘텐츠 개발]에 대한 긍정적인 성찰과 [많은 도전]에 대한 좌절과 실망으로 엇갈린 감정적 반응을 공유했다. 교수진은 전문적, 조직적, 상호작용적, 그리고 개인 내의 4개의 집중적 수준에서 과정 참여를 경험하고 처리했습니다. 그림 1에 표시된 것처럼, 우리는 이 수준들이 서로 중첩된 것으로 상상한다. 따라서 [외부 수준에 존재하는 문제]는 [내부 문제]에 영향을 미치지만 반드시 반대 방향인 것은 아니다.
Overall, faculty members shared mixed emotional responses with positive reflections on the importance of the course material and the excitement of developing innovative educational content as well as frustration and disappointment at many of the challenges. Faculty experienced and processed their participation in the course at 4 concentric levels: professional, organizational, interactional, and intrapersonal. As shown in Figure 1, we envision these levels as nested within one another. Therefore, the issues present in an outer level affect the inner ones but not necessarily in the opposite direction.

[전문직업적 수준]에서, 교수진들은 [의사와 의학 교육의 진화하는 본질]과 씨름했다. 참가자들은 의학의 실천과 가르침이 이제는 [사회의 맥락 안에서 건강을 상황화하는 것]을 포함하고 있으며, [SDOH, 사회 정의, 억압 시스템(예: 체계적 인종차별)]과 같은 개념에 익숙해야 한다는 것을 인정했다. 그들은 이것을 직업의 긍정적인 발전으로 보았고, 특히 자신의 훈련 경험과 비교했을 때 이러한 변화가 의미 있다고 느꼈다.
At the professional level, faculty grappled with the evolving nature of physicianhood and medical education. Participants acknowledged that the practice and teaching of medicine now include situating health within the context of society and require familiarity with concepts such as the SDOH, social justice, and systems of oppression (e.g., systemic racism). They noted this as a positive development in the profession and felt these changes to be meaningful, especially when compared with their own training experiences:

의대에서 배웠으면 좋았을 텐데…. 이것은 마치 여러분이 이것을 알아야만 하는 것과 같습니다. 그렇지 않으면 여러분이 실제로 나타날 때 문제가 될 것입니다. 우리가 배운 것처럼 말이죠. 여러분도 알다시피, 명시적인 커리큘럼 없이 가는 길에 말이죠. (인터뷰 1)
This is stuff I wish I would’ve learned in medical school…. It’s like you need to know this or else you’re actually going to be kind of problematic when you show up, like we were, as we kind of learned it, you know, along the way without an explicit curriculum. (Interview 1)


그들은 또한 [과거의 공식 커리큘럼 부족]의 잠재적인 영향을 인정했다.
They also acknowledged the potential effect of a lack of previous formal curriculum:

의학 교육의 구성 요소로서 사회학은 거의 없었다. 그렇기 때문에, 저는 오늘날의 임상의와 교수진이 그러한 주제에 대해 가르칠 준비가 잘 되어 있지 않다고 생각합니다. 그래서 저는 이 분야가 그 능력을 개발해야 할 필요가 있다고 생각합니다. (인터뷰 7)
There [has been] very little sociology as a component of medical education. And because of that, I don’t feel like today’s clinician and today’s faculty are well prepared to teach on those topics. And so I feel like this is an area where that competency needs to be developed. (Interview 7)

이처럼 교직원들은 최근 의료교육 콘텐츠가 확대되고 있는 점을 높이 평가하면서 지식기반과 표준의 추가적인 개발 필요성을 강조했다.
In this way, faculty members appreciated the recent expansion of medical education content while highlighting the need for additional development of knowledge base and standards.

교수진은 또한 의학교육이 역사적으로 중요시했던 범위를 넘어서는, [전문성expertise의 개념을 넓힐 필요]가 있다고 설명했다. 예를 들어, 의사-교수 구성원들은 관련 [비의학 분야에서의 훈련의 가치]뿐만 아니라 [실제 경험의 가치]도 확인했다. 그 일환으로, 그들은 학생들과 관련된 전문적인 측면에서 그들의 전문적인 한계를 인식했다.
Faculty also described the need to broaden the concept of expertise beyond the purview of what medical education historically valued. For example, physician-faculty members identified the value of training in related nonmedical fields as well as the value of lived experience. As part of this, they recognized their professional limitations in terms of expertise in relation to their students:

어떤 면에서는 학생들이 주제에 대한 이해가 훨씬 더 앞선다고 생각한다. 그들은 다른 환경에서 자랐고, 다른 경험과 다른 언어를 가지고 있었습니다. (인터뷰 5)
I think that the students in some ways are so much more advanced in their understanding [of] the topics…. They’ve grown up in a different environment and had a different set of experiences and a different language. (Interview 5)

[조직 차원]에서 교직원들은 특정 의대의 역학과 그들의 업무에 미치는 영향을 해석했다. 종종 이 수준에서 확인된 도전은 [의학 내에서 제도화된 인종차별의 역사적 맥락을 고려하는 것]과 같은 [전문직업적 수준에서 발생한 발전]에서 비롯된다. 특히, 조직 수준은 보다 구체적으로 의과대학의 문화와 환경, 그리고 [의과대학이 [전문직업적 수준에서 시작된 변화]를 어떻게 [조직적으로 탐색하는지]를 반영]한다. 예를 들어, 참가자들은 자신들의 [SDOH 커리큘럼]이 [의대 내 인종차별과의 광범위한 직면에 대한 반응]으로 명시적으로 또는 암시적으로 사용된다고 인식했다.
At the organizational level, faculty interpreted the dynamics of their particular medical school and its effect on their work. Often, the challenges identified at this level stemmed from developments that occurred at the level of the profession, such as reckoning with the historical context of institutionalized racism within medicine. Notably, the organizational level more specifically reflects the culture and environment of a medical school and how that medical school organizationally navigates changes initiated at the professional level. For example, participants perceived their SDOH curriculum to be explicitly or implicitly used by the medical school as a response to the broader confrontation with racism within the medical school:

의과대학은 이미 학생들 사이와 학생들 사이의 긴장의 측면에서 인종 관계에 많은 긴장감을 경험하고 있었다. 교수진과 가르치는 내용에 더 많은 다양성을 요구했다. (인터뷰 9)
The medical school was already experiencing a lot of tension with race relations in terms of tension amongst the students and between students … requesting more diversity in the faculty and in the contents that are being taught. (Interview 9)
성공할 준비가 되어 있지 않은 것처럼 느껴지기 때문에 매우 고통스러울 때가 있습니다. 왜냐하면 만약 학생들과 학교 사이에 이러한 긴장감이 있고, 우리가 이 주제를 가르치는 최전선에 있다면, 우리는 그것을 망치는 최전선에 서게 될 것이기 때문입니다. 그렇죠? (인터뷰 5)
There are times when it’s incredibly painful because it just feels like you’re not set up for success … because if there’s somehow this tension with students and the school and we’re sort of on the front lines of teaching this topic we’re then sort of on the front lines of screwing it up, right? (Interview 5)

교직원들은 종종 [학생들]과 [광범위한 의과대학 지도부] 사이에 위치하고 있으며, [새로운 자료가 어떻게 받아들여질지]에 있어 잠재적인 [조직적 한계]를 인식하고 있었다.
Faculty often found themselves positioned between students and the broader medical school leadership and were cognizant of potential organizational limitations in terms of how new material might be received:

저는 학교가 [편안하게 지낼 수 있는 것의 한계]를 확장시키고 있다고 생각합니다. (인터뷰2)
I think we’re pushing the limits of what the school is going to be comfortable with. (Interview 2)

또한 현재의 의학교육 구조 내에서 [적절한 내용의 정의]와, 그 [우선순위에 대한 전문가들의 질문]을 의과대학 수준에서 생각하였다. 참가자들은 의대가 제공하는 시간과 교직원, 재원이 부족하다는 점을 지적하며 평가절하감을 표현했고, [기초·임상과학 동료들과 경쟁하고 있다는 느낌]을 자주 받았다. 많은 참가자들이 코스 개발 과정을 서두르고 차선책이라고 설명했습니다.
In addition, questions engaged with by the profession about defining appropriate content and its prioritization within current medical education structures were felt at the level of the medical school. Participants expressed a sense of being devalued, pointing to the lack of time, faculty, and monetary resources that were provided by the medical school, and often felt that they were in competition with their basic and clinical sciences colleagues. Many participants described the process of developing the course as rushed and suboptimal:

비행기가 이륙하면서 모든 사람들이 비행기를 만드는 느낌을 받았다고 생각합니다. (인터뷰 4)
I think everyone kind of felt like there’s this sense of building the airplane as it’s taking off. (Interview 4)

교직원들은 또한 점점 더 많은 양의 콘텐츠를 다루도록 요청받았지만, 시간에 제약을 받아 UME 커리큘럼의 나머지 부분과 격리되어 있다고 생각했습니다.
Faculty also felt that they were being asked to cover an increasing amount of content but were constrained by time and siloed from the rest of the UME curriculum:

핵심은, 우리가 [다양한 분야에 걸쳐 콘텐츠를 확산시키는 과정이 되는 것]과 [의대생을 개발하는 것과 관련된 모든 것을 덤핑해버리는 장소가 되는 것] 사이에서 균형을 잡는 것입니다. (인터뷰 11)
[It’s] a balance of us being a course that has content that spreads over a lot of different areas versus becoming the dumping ground for … anything related to developing a medical student. (Interview 11)

이러한 감정은 그들이 교육적 노력의 초점을 잃어가고 있고, 귀중한 내용을 누락하거나 희석시키고 있는 것이 아닌가 하는 우려로 이어졌다.
This feeling led some to worry that they were losing the focus of their educational efforts and might be omitting or diluting valuable content.

교수진은 또한 이 과정이 중요하고 성취감이 있다는 것을 발견했지만, 이 과정이 반드시 그들의 교수로서의 academic pathways로 이해받거나, 가치있게 존중되지는 않았다고 논평했다.
Faculty also commented that although they found the work to be important and fulfilling, the course was not necessarily understood or highly regarded within their academic pathways:

솔직히 말해서, 제 부서별 승진 및 평가에서, 그들은 [이 과정]이 무엇이고 왜 제가 그것을 가르치고 있는지 전혀 알지 못합니다. (인터뷰 10)
Frankly, in my own promotion and assessment by my divisions … they really have no idea what [this course] is and why I’m teaching it. (Interview 10)

[상호작용적 차원]에서 교수진은 일반적인 수업 환경과 학생들과의 대인관계 의사소통을 포함한 수업 경험을 조사했다. [전문직업적 수준] 또는 [조직 수준]에서 발생한 문제의 영향은 일반적으로 이 수준에서 확인되었습니다. 특히 교사들은 불평등과 건강 격차에 대해 가르칠 때 교실 역학을 반영했다. 대체로 수업 자료와 함께 어느 정도 '필요한 긴장감'(인터뷰 6)을 기대하며 교실에 왔다. 참가자가 설명한 바와 같이:
At the interactional level, faculty examined the classroom experience, including the general teaching environment and interpersonal communication with students. Effects of the issues that originated at the professional or organizational level were commonly identified at this level. In particular, faculty reflected on the classroom dynamics when teaching about inequity and health disparities. Largely, they came to the classroom anticipating some degree of “necessary tension” (Interview 6) with the course materials. As a participant described:

의학에서 인종차별의 역사는 꽤 끔찍하다. 그래서, 여러분은 그것을 극복할 수 있어야 하고, 그 내용을 이해하고, 편안함을 느낄 수 있어야 합니다... 무슨 일이 일어났는지 이해해야 하고, 그것을 기반으로 사용하여 그것에 대해 이야기할 수 있어야 하며, 그것에 의해 마비되는 것이 아니라 의학을 발전시키고 변화시킬 수 있어야 합니다. (인터뷰 11)
The history of racism in medicine is pretty horrifying. So, you have to be able to get around that, get into that content and feel comfortable … [T]o understand what’s happened and to be able to talk about that in a way of using it as a base to move forward and change medicine rather than kind of being paralyzed by it. (Interview 11)

교직원들은 이런 불편함을 예상했지만, 예상치 못한 교실 내 정서적 긴장감에 놀랐고, 학생들과 함께 '안심하고 불안한 땅으로'(인터뷰4) 이동하는 모습을 묘사했다. 긴장의 원천은 다양했지만 종종 콘텐츠 개발에 관한 학생들의 피드백과 관련이 있었다. 예를 들어, 교수진은 특정 주제가 의도치 않게 삭제되었거나, 더 심층적인 맥락적 논의가 부족하다는 피드백을 받았다.
Although faculty anticipated this type of discomfort, they were surprised by an unexpected emotional tension in the classroom, and they described moving from “secure to shaky ground” (Interview 4) with students. Sources of tension were varied but often related to student feedback concerning content development. For example, faculty received feedback that certain topics were inadvertently erased or lacked deeper contextual discussion:

매년 [특정 그룹이 콘텐츠에 참여하지 않는 것]이 두드러지는 것 같습니다. 그래서 그것은 진화하는 과정이고 나는 [시간 제약]을 유지하는 방법에 대해 매우 창의적이어야 하고 여전히 대표가 되려고 노력할 수 있어야 한다. (인터뷰 9)
Every year it seems to be that a certain group stands out as not being represented in the content…. So it’s an evolving process and I have to be very creative in how to maintain [within time constraints] and still be able to try to be representative. (Interview 9)

다른 경우에는 역진행 교실과 같은 실천을 통해 콘텐츠 전달에 긴장이 집중되어, [소외된 정체성을 가진 학생들]에게 과도한 부담을 주었다.
In other cases, tension focused around content delivery, often through the use of practices such as the flipped classroom, which placed an undue burden on students with marginalized identities:

[유색인 학생들]은 '왜 여태까지 내가 고생하거나 살아온 경험을 바탕으로 사람들을 교육해야 하는가?'라고 느낀다 (인터뷰2)
[Students of color] felt like, why do I have to educate people based on my experience and lived hardship or path thus far? (Interview 2)

이러한 콘텐츠 개발 및 전달 경험에 비추어 볼 때, 교수진은 공통적으로 [학생들의 토론을 촉진하고, 적극적인 학습을 촉진하기 위한 표준 접근 방식]이 이 과정의 학습 환경에 불충분하고 잠재적으로 해롭다고 느꼈다. 교수들은 SDOH의 의미를 만들기 위한 적절한 분석적 깊이를 제공할 수 없고, 일부 학생들이 다른 학생들보다 더 많은 물질적, 감정적 노동에 참여하도록 요청받고 있다고 걱정했다. 교수들은 또한 [표준화된 기대치]를 생성하는 데 어려움을 겪었고, 학습자마다 이해와 참여 정도가 다르다는 점에 주목했다.
In light of these experiences regarding content development and delivery, faculty commonly felt that their standard approaches to facilitate discussion and foster active learning for students were insufficient and potentially harmful to the learning environment in this course. They worried that they were unable to provide the appropriate analytic depth to make meaning of the SDOH and that some students were being asked to engage in more material and emotional labor than others. They also struggled to generate standardized expectations and noted that different learners had different degrees of understanding and engagement:

때로는 정말 열정적인 사람들을 이 코스의 모든 것에 맞는 한 사이즈에 맞추는 것이 힘들지만, 정말로 그것을 가지고 뛰고 싶어하는 학생들과, 그렇게 많이 뛰지는 않으려는 학생들이 있다. (인터뷰 10)
It’s sometimes hard to fit people who are really passionate … into the one size fits all of this course … but there are some students who really want to run with it and there are some students who will not run with it as much. (Interview 10)
어떤 사람들이 준비되었다고 느끼고, 다른 그룹이 준비하지 않을 때는 항상 힘들어요. 그리고 당신은 교육적인 관점에서 궁극적으로 옳은 일이라고 생각하지만 [최소한의 공통분모]에 영합하는 것과 같습니다. (인터뷰 1)
It’s always tough when people feel ready and then the other group doesn’t. And then you’re kind of like catering to the least common denominator, even though that’s I think ultimately the right thing to do from an educational perspective. (Interview 1)

마지막으로, 교수진은 특히 [그들의 위치나 개인 정체성과 일치하지 않는 주제]를 논의할 때 자격과 전문성에 대한 질문에 직면했다.
Finally, faculty encountered questions of qualification and expertise, especially when discussing topics incongruous with their positionality or personal identity:

학생들 중 한 명은 세션 중에 시스젠더 여성이 되는 것 외에 다른 것에 대해 어떻게 이야기할 수 있는지 물었습니다. 그 외에 다른 것은 저의 살아있는 경험이 아니기 때문에요. (인터뷰 4)
One of the students asked during the session how can you talk about anything other than being a cisgender woman … and teach about anything other than that because that’s not your lived experience. (Interview 4)

마지막으로, [개인 내 수준]에서 교수진은 자신의 감정, 가치, 역할을 고려했다. 강의실 상호작용, 조직적 제약, 전문적 변화에 대응하여 교직원들은 자신의 전문적이고 개인적인 정체성을 재평가하기 위해 [내부 및 외부 지원 구조]를 도출했다. 이 과정에서 만난 [학생들의 피드백]과 [교실에서의 상호작용]은 교직원들에게 강력한 경험이었고, 상당한 자기 성찰을 촉매했다. 참가자들은 [SDOH 과정에서 접하는 주제를 가르치는 것]이 어떤 식으로 [학습자에게 개인적인 영향]을 미치는지, 그리고 [이 공간에서 발생한 실수]의 영향은 어떤지에 대해 다음과 같이 설명했다. 
Lastly, at the intrapersonal level, faculty considered their own emotions, values, and roles. In response to classroom interactions, organizational constraints, and professional shifts, faculty drew on internal and external support structures to reevaluate their professional and personal identities. The student feedback and classroom interactions encountered during this course were powerful experiences for faculty members and catalyzed significant self-reflection. Participants described coming to terms with how teaching the topics encountered in the SDOH course had a personal effect on learners and the ramifications of mistakes made in this space:

위험성이 높은 일부 주제의 경우… 만약 우리가 실수를 한다면, 그것은 우리에 대한 학생들의 신뢰에 정말로 영향을 미칠 수 있다. (인터뷰 11)
For some of the topics that are high-risk … if we make a misstep, it can really impact the students’ trust in us. (Interview 11)
제 생각에 이것은 제가 수업 중에 실제로 사람들에게 상처를 준 적이 있는데, 이것은 제 교육 경력에서 완전히 새로운 경험이었습니다. 말하자면, 저는 우리가 이렇게 하는 방식으로 몇몇 학생들에게 피해를 입혔습니다. (인터뷰 1)
I think this … was one of the times where I was like, wow, we actually have hurt people when we’re teaching, which was a completely new experience for me in my educational career. To be like, I have harmed some students by the way that we’re doing this. (Interview 1)

많은 이들이 조심스러운 감정을 묘사한 반면, 일부는 낙담했다.
Many described feelings of caution, while some expressed dejection:

그것은 너무 긴장되어서 나는 자신감을 잃어가고 있다는 것을 알게 되었다. 그리고 그것은 나로 하여금 말을 너무 조심하게 하여 때때로 교육에 좋지 않을 수도 있다. (인터뷰 4)
It became so tense that I found myself losing confidence … and it led me to start to be so careful with my words that it could probably at times not be good, actually, for education. (Interview 4)
이 모든 세월을 나 자신을 훈련시키거나 훈련을 받기 위해 보냈다고 생각하면 정말 환멸을 느끼게 되었다. 그리고 여기서 나는 마침내 의대생들에게 그것을 보여주고 있는데, 나는 내가 완전히 실패한 것처럼 느껴졌다. (인터뷰 9)
It really made me disillusioned to think that I spent all these years trying to train myself or get training … and here I am finally presenting it to medical students, and I felt like I just completely failed. (Interview 9)

이러한 감정에 직면했을 때, 그들은 자신의 임상 및 교육 공간 내에서 과정에 참여 중인 [교수진 동료나 다른 사람들의 지원]을 구했습니다. 이러한 [상담과 성찰]을 통해 참가자들은 [겸손함을 개발]하고, [전문 지식을 재정의]함으로써 그들의 교육 접근 방식을 재구성했다.
When confronted with these feelings, they sought support from in-course faculty peers or others within their clinical and educational spaces. Through this counseling and reflection, participants reconstructed their teaching approach by developing humility and redefining expertise:

나는 내가 가르침에 대해 항상 겸손하기를 바란다. 그리고 이 과정을 통해 증가한 것이 있다면… 저는 학생들로부터 배울 것이 많다고 생각하고, 그 후에 그들을 초대하는 느낌으로 그것을 다시 반영하고 우리가 의미 있는 토론을 할 수 있는 안전한 환경을 만들 수 있기를 바랍니다. (인터뷰 5)
I hope I’ve always had some humility around my teaching. And I think if anything that’s increased through this course…. I feel like I have a lot to learn from the students and hopefully can then reflect that back in a way that feels inviting to them and create a safe environment for us to have meaningful discussions. (Interview 5)
저는 제가, 모두가 해야 했던, 전문가의 역할을 조금은 포기해야만 했다고 생각합니다. 그녀는 의사들이 종종 가지고 있고 내 학생들에게 더 취약한 전문가 계층적인 것을 가지고 있다. 내가 망친 시간들을 솔직하게 얘기하는 것처럼요. (인터뷰 1)
I think I have had to—everyone has had to—kind of shed the expert role a little bit. Shed the expert hierarchical thing that physicians often have and be more vulnerable with my students. Like tell them straight up the times that I’ve messed up. (Interview 1)


교직원들은 [이 과목에서의 경험]이 많은 면에서 [성장의 원천]이라는 것을 발견했다. 일부는 그것이 그들의 다른 작업에 영향을 미쳤다고 공유했다.
Faculty found that their experience in the course was a source of growth in many ways. Some shared that it affected their other work:

나는 [이 과정]에서 가르치고 있기 때문에, 병동과 클리닉 모두에서 임상 수업에서도 그러한 개념을 더 많이 활용한다고 생각한다. (인터뷰 5)
Because I am teaching in [this course] I think I bring those concepts to bear more in my clinical teaching as well, both on the wards and in clinic. (Interview 5)

다른 사람들은 교육 내에서 새로운 목적의식을 묘사했다. 많은 사람들은 또한 그들의 정체성과 지위, 특히 인종과 계급의 [특권에 대해 반성]했다.
Others described a renewed sense of purpose within education. Many also reflected on their identities and positionality, especially concerning race and class privilege:

이 과정을 통해 내가 어떻게 아직도 내 인생에서 많은 특권을 누려왔는지, 그리고 내가 가진 나머지 배경이 무엇인지에 대해 확실히 눈을 뜨게 되었고, 그래서 나는 그것이 정말로 혁신적인 것이라고 생각한다. (인터뷰 8)
The course has definitely opened my eyes to how I still have had a lot of privilege in my life because of who I am and what the rest of my background is, so I think that’s one thing that’s been really transformative. (Interview 8)

그들은 이러한 [자기 성찰]이 그들이 교외 활동에서 차지하는 [다양한 사회적 역할에서 특권의 영향]에 engage하도록 자극했다고 설명했다.
They described that this self-reflection prompted them to engage with the impact of their privilege in the various social roles that they occupied outside work:

나는 시민적 정체성이 좀 더 있다. 아시다시피, 지역 사회에 대한 제 의무는 무엇이며, 제 아이들이 어떻게 성장하기를 바라나요? (인터뷰 6)
I have … more of a civic identity. You know, what are my duties to my community and also how do I want my children to grow up? (Interview 6)

전문적이고 조직적인 수준에서 과제를 명확하게 표현할 수 있음에도 불구하고, 대부분의 교수진은 이 경험에서 자신의 단점과 성장을 위한 영역에 초점을 맞췄다. 따라서 교직원들은 개인적으로 부정적인 반응에 대처하고 앞으로 나아갈 길을 전략화할 수 있는 방법인 [개인의 수준에 초점을 맞춘 성찰과 변화 과정]에 참여했습니다. 일반적으로 몇몇 동료들의 지원을 받는 것을 제외하고는 의대나 직업 자체가 도전에 대한 해결책의 일부로 식별되지 않았다.
Despite being able to articulate challenges at the professional and organizational levels, most faculty focused on their own shortcomings and areas for growth in this experience. The faculty members thus engaged in a reflection and change process that was focused at the level of the individual—how they personally could grapple with negative responses and strategize a path forward. With the exception of drawing on support from a few peers, generally, neither the medical school nor the profession itself was identified as a part of the solution to challenges.

논의
Discussion

우리의 연구 결과는 대규모 의대에서 새로운 SDOH 커리큘럼을 설계하고 가르친 교수진의 경험에 대한 새로운 통찰력을 제공한다. 이러한 학습 환경에서 직면한 문제는 종종 더 광범위한 전문직업적 및 조직적 긴장으로 인해 발생했으며, 콘텐츠 설계 및 제공에 대한 표준 접근 방식은 충분하지 않았다. 우리의 결과는 [새로운 SDOH 관련 커리큘럼을 의학 교육에 통합할 때 교수진이 직면할 수 있는 문제]와 [강사의 선발, 훈련 및 지원 방법을 개선하기 위한 비판적 성찰의 필요성]을 말해준다.
Our findings provide novel insights into the experience of faculty who designed and taught a new SDOH curriculum at a large medical school. Challenges encountered in this learning environment often cascaded from broader professional and organizational tensions, and standard approaches to content design and delivery were insufficient. Our results speak to the issues faculty may encounter when integrating new SDOH-related curricula into medical education and the necessity of critical reflection to improve how instructors are selected, trained, and supported.

이 연구에 참여한 의사-교수 구성원들은 건강 결과의 동인driver으로서 사회적 맥락에 대한 더 많은 논의를 포함하기 위해 그들의 [전문적인 시야purview]의 확대를 받아들였지만, 그들은 특히 [교육 설계와 내용의 전달] 측면에서 이러한 유형의 작업을 준비하는 데 있어 그들 자신이 받아온 훈련의 한계점과 씨름한다. 동시에 [과정이 개발되고 구현되는 방법]의 대부분을 결정하는 [조직적 제약] 내에서 기능합니다. 이러한 발견은 관련 분야 전문가들이 공통적으로 표명하는 우려를 구체화한다. 역사적으로 의료사회학자들은 자신들의 경험과 개인주의적이고 생물의학적인 의학적 선호와 인식된 근본적인 불일치에 기초하여 [사회 지향적인 커리큘럼을 의학 교육에 통합할 가능성]에 대해 상대적으로 비관적이었다. 일부 사람들은 [의과대학의 교수진들]이 [(전공분야의) 협소한 범위]를 벗어난 영역에서 질 높은 교육을 하는 것에 대해서 준비가 되어있지 않고 disincentivize되어있다고 주장해왔다. 이러한 비판은 우리의 결과와 일치하며 SDOH 커리큘럼이 기초 또는 임상 과학과 동일한 수준으로 우선 순위가 지정되지 않음을 확인한 미국 의학 협회의 의료 교육 컨소시엄의 최근 보고서에 의해 더욱 강화된다. 
Although physician-faculty members who participated in this study have embraced a broadening of their professional purview to include more discussion of social context as a driver of health outcomes, they struggle with the shortcomings of their own training in preparing them for this type of work, especially in terms of instructional design and delivery of material. At the same time, they function within organizational constraints that dictate much of how a course is developed and implemented. These findings embody common concerns expressed by experts in related fields. Historically, medical sociologists have been relatively pessimistic about the prospect of integrating socially oriented curricula into medical education, based on their own experiences 48 and a perceived fundamental incompatibility with the individualistic, biomedical preferences of medicine. 49–51 Some have argued that faculty at medical schools are ill-equipped and disincentivized for high-quality teaching outside a narrow scope. 52,53 These critiques align with our results and are further bolstered by a recent report from the American Medical Association’s Accelerating Change in Medical Education Consortium, confirming that SDOH curricula are not prioritized to the same degree as basic or clinical sciences. 27

비록 의학 교육 내에서 SDOH를 가르치기 위한 일부 일반적인 프레임워크와 합의된 지침이 나타나기 시작했지만, 개별 교수 과정 책임자, 콘텐츠 개발자 및 강의실 강사는 주로 [인증 기관에서 요구하는 광범위한 원칙과 개념]을 [교육 환경 내에 직접적인 구현]으로 번역할 책임이 있다. 우리 연구의 참가자들이 경험한 바와 같이, 이러한 커리큘럼의 대부분은 근본적으로 다른 내용과 틀에도 불구하고, 현재 존재하는 구조 내에 통합되어 있으며 의학 교육 전달 및 평가의 확립된 표준화를 고수할 것으로 기대된다. 참가자들이 우리의 연구 결과에서 목소리를 냈지만, 대체로 이러한 노력은 성공을 위한 것이 아니었다.
Although some general frameworks and consensus guidelines for teaching the SDOH within medical education are beginning to emerge, 13,54 individual faculty course directors, content developers, and classroom instructors are primarily responsible for translating the broad principles and concepts required by accrediting bodies into direct implementation in an instructional setting. As experienced by the participants in our study, most of these curricula are integrated within currently existing structures and are expected to adhere to the established standardization of medical education delivery and assessment, despite their fundamentally different content and framework. As participants voiced in our findings, by and large these efforts have not been set up for success.

[전문직업적 및 조직적 차원의 긴장감]이 교실 내 상호작용에 스며든다. [적절한 접근법에 대한 가이드는 제한적]이면서, 자신이 [교육받아온 과정 중에 유사한 교육을 받지 않은 교직원들]은 자신도 모르게 문제가 있는 교육적 행위를 하고 있었다. 특히, 그들은 이미 소외된 학생들에게 교육의 부담을 전가하지 않고 어떻게 학생들의 생활 경험을 포함시킬 것인가에 대해 고심했다. [징집된 교육과정conscripted curriculum]으로 알려진 이 [종종 부주의한 관행oft-inadvertent practice]에서, 교직원들은 학생들을 징집conscript하여 특정한 사회적 범주의 구성원 자격에 기초한 사회적 불평등에 대해 또래들에게 가르친다. 예를 들어, 유색인종 학생들은 그들의 백인 동료들과 교직원들에게 인종에 대해 가르쳐야 할 것이다. 교육의 부담을 일부 학생들에게만 전가하면서, 이 학생들은 물질적으로나 감정적으로 큰 타격을 받는다.
Tensions at the professional and organizational levels permeate classroom interactions. With limited guidance on appropriate approaches and without similar training during their educational pathways, faculty members unwittingly engaged in problematic teaching practices. In particular, they struggled with how to include student lived experience without shifting the burden of instruction to already marginalized students. In this oft-inadvertent practice, known as the conscripted curriculum, 55 faculty members conscript students to teach their peers about social inequalities based on their membership in a particular social category. For example, students of color would be asked to teach their White peers and faculty members about race. In shifting the burden of instruction from faculty to only some students, these students experience both a material and emotional toll.

[교실에서 마주치는 부정적인 상호 작용]과 [그들의 접근 방식이 지속적으로 해를 입혔을 수 있다는 인식]을 조화시키는 것은 암묵적 편향 훈련과 전문성 문헌에 설명된 방식과 일치하는 방식으로 우리의 참가자들에게 도전장을 던졌다. 의료인들은 [완벽해지고자 하는 욕망("침착하고 자신감 있고 편견이 없는 이상적인 전문직 정체성")]과 [실수를 저지르거나 '취약한 실제 정체성'을 전시할 수도 있는 현실] 사이의 긴장감에 몸부림친다. 이와 같은 도전에 대해, 우리의 참가자들이 표현한 바와 같이, 개인의 개인적인 성장과 성취를 촉진하기 위해서는 성찰과 관계 형성이 중요하다. 
Reconciling the negative interactions encountered in the classroom and the realization that their approaches may have perpetuated harm challenged our participants in a way consistent with that described in implicit bias training and professionalism literature. 56,57 Medical professionals struggle with the tension between the desire to be perfect—“an idealized professional identity that was calm, confident, and unbiased” 58—and the reality that they might make mistakes or exhibit “an actual identity that was vulnerable.” 58 In response to challenges such as this, as expressed by our participants, reflection and relationship-building are critical in fostering an individual’s personal growth and fulfillment. 59–61

우리 연구의 많은 참가자들은, 그들의 [교육 접근법을 재고]하고, 궁극적으로 "교육을 은행banking으로 보는 개념(여기서 학생은 지식이 "연구"되는 용기vessel입니다.) "에서 벗어나 Freire이야기한 [억압받은 자를 위한 페다고지]와 유사한 과정을 밟는다고 설명했다. 그리고 이들은 학생들과 선생님들이 대화를 통해 함께 배우는 것을 향해 나아간다. 의료 교육자 교수진 개발에 대한 현재의 연구는 이질적이며 직업 정체성, 경력 향상 및 유지, 과세 및 소진, 협업 및 생산성과 같은 주제를 포함한다. SDOH 의료 교육 문헌은 비판적 교육학 및 실습과 관련된 교수진 개발 접근법에 대한 추가적인 초점으로부터 이익을 얻을 것이다.
Many participants in our study described rethinking their teaching approach and ultimately taking on a process similar to that championed by Freire in Pedagogy of the Oppressed, moving away from a “banking concept of education” (where the student is the vessel into which knowledge is “deposited”) and toward one in which students and teachers learn together in dialogue. 37 Current research on medical educator faculty development is heterogeneous 62 and includes topics such as professional identity, 63,64 career advancement and retention, 65,66 taxation and burnout, 67 and collaboration and productivity. 68 The SDOH medical education literature would benefit from additional focus on faculty developmental approaches that pertain to critical pedagogy and praxis.

또한 SDOH 커리큘럼의 사회적 구성에 관심을 기울이는 가운데, 우리의 결과는 전통적인 의학 교육 접근법이 [적절한 콘텐츠를 만들고 제공하는 데 가장 적합한 개인]을 식별하지 못할 수 있다는 것을 강조한다. 학제간 접근법과 실제 경험을 중심으로 하는 것은 중요한 고려사항이다. 의료 교육이 발전함에 따라 의사-교수 구성원들은 이전의 생물 의학 또는 임상 교육의 일부가 아닌 새로운 자료를 가르치도록 종종 요청받는다. 이러한 맥락에서 학습 환경에 중요한 영향이 있을 수 있지만, 이 문제는 반드시 SDOH 관련 콘텐츠에만 국한되지는 않는다. 우리의 결과는 의사-교수 중심의 역사적 모델이 도전되어야 한다는 것을 시사한다. 의학 교육은 [교육 발전의 중요한 챔피언인 의대생 자신]뿐만 아니라, 광범위한 관련 전문 지식을 가지고 있는 [academic and community background의 강사들과의 협력적 접근법]으로부터 이익을 얻을 것이다. 
Moreover, with attention paid to the social construction of SDOH curricula, our results highlight that traditional medical education approaches may not identify those individuals best suited to create and deliver the appropriate content. Centering interdisciplinary approaches and lived experience is an important consideration. As medical education evolves, physician-faculty members are often called on to teach new material that was not part of previous biomedical or clinical training. This issue is not necessarily specific to SDOH-related content, although there may be important ramifications for the learning environment in this context. Our results suggest that the historical model centering physician-faculty should be challenged. Medical education would benefit from a collaborative approach with instructors from academic and community backgrounds who bring broad relevant expertise as well as with medical students themselves, who are important champions of educational advancements. 18,21,69

이 연구에는 잠재적인 한계가 있다. 한 의과대학의 교직원을 대상으로 했기 때문에, 이 연구 결과는 이 환경에 특정한 요인과 영향을 반영할 수 있다. 그러나 우리는 공유된 경험에 대한 그들의 통찰력을 완전히 이해하기 위해 이 개인 그룹에 초점을 맞추기로 결정했다. 우리는 문헌의 다른 곳에서는 잘 설명되지 않는 새로운 SDOH 커리큘럼을 구현하는 데 있어 중요한 교수진의 과제를 설명한다. 표본 크기가 작고 개인 정보 보호 목적 때문에, 우리는 이것이 미래 탐구의 중요한 영역임에도 불구하고 소외된 정체성을 가진 교직원과 없는 교직원 간의 경험 비교를 통합하지 않았다. 또한 이러한 자료는 비교적 초기에 구현과정에서 수집되어 본 연구에 종사하는 개인들의 신선한 성찰을 포착하였다. 그러나 과정의 개선이 계속됨에 따라 이러한 결과는 참가자의 최종 개발 결과를 포착하지 못할 수도 있습니다.

There are potential limitations to this study. Because it involved faculty members at 1 medical school, the findings may reflect factors and influences specific to this setting. However, we chose to focus on this group of individuals to thoroughly understand their insights into a shared experience. We describe significant faculty challenges in implementing a new SDOH curriculum, which are not well described elsewhere in the literature. Because of the small sample size and for privacy purposes, we have not integrated comparisons of experience between faculty members with and without marginalized identities, although this is an important area of future exploration. In addition, these data were collected relatively early in the implementation process to capture the fresh reflections of individuals as they engaged in this work. However, as course refinement continues, these results may not capture participants’ final developmental outcomes.

결론적으로 본 연구는 SDOH 교육과정 구현을 통해 교직원 경험에 영향을 미치는 4가지 동심 수준을 전문성, 조직성, 상호작용성, 개인내성을 확인하였다. 이러한 연구결과는 전문대학과 의과대학 수준의 더 광범위한 과제가 학습환경과 교수진 자기성찰에 어떻게 흡수되는지를 기술하고 있다. 그들은 또한 의대가 이 작업에서 의학 교육자를 선택, 훈련 및 지원하는 방법에 중요한 영향을 미친다. 우리는 의대가 SDOH 커리큘럼을 개발할 때 설명한 이점뿐만 아니라 단점과 좌절을 고려하도록 권장한다.
In conclusion, this study identified 4 concentric levels that affect faculty experience with SDOH curricular implementation: professional, organizational, interactional, and intrapersonal. These findings describe how broader challenges at the level of the profession and medical school are absorbed into the learning environment and faculty self-reflection. They also have important implications for how medical schools select, train, and support medical educators in this work. We encourage medical schools to consider the shortcomings and frustrations as well as the benefits we have described when developing SDOH curricula.


Acad Med. 2022 Nov 1;97(11):1665-1672. doi: 10.1097/ACM.0000000000004804. Epub 2022 Jul 5.

Implementing a Social Determinants of Health Curriculum in Undergraduate Medical Education: A Qualitative Analysis of Faculty Experience

Affiliations collapse

Affiliations

1M. Bann is assistant professor, Department of Medicine, University of Washington, Seattle, Washington; ORCID: https://orcid.org/0000-0002-5893-950X .

2S. Larimore is a postdoctoral research associate, Department of Sociology, and a postdoctoral affiliate, Center for the Study of Race, Ethnicity & Equity, Washington University in St. Louis, St. Louis, Missouri.

3J. Wheeler is a program operations analyst, University of Washington School of Medicine, Seattle, Washington.

4L.D. Olsen is assistant professor, Department of Sociology, College of Liberal Arts, Temple University, Philadelphia, Pennsylvania.

PMID: 35797577

DOI: 10.1097/ACM.0000000000004804

Abstract

Purpose: Following shifts that broadened the medical profession's conceptualization of the underlying drivers of health, medical schools are required to integrate curricula on health disparities and the social context of medicine into undergraduate medical education. Although previous research has focused on student experiences and outcomes in these curricula, less attention has been paid to the experiences of the physician-faculty involved. This study aimed to capture faculty insights to improve understanding of the challenges and opportunities of implementing this curricular reform.

Method: In-depth, semistructured interviews were conducted with 10 faculty members at one U.S. medical school in spring 2019 to capture their experiences designing and teaching a new curriculum related to the social determinants of health and health disparities. Study design, including interview guide development, was informed by the critical pedagogy perspective and social constructionist approaches to curriculum implementation. With the use of a constructivist grounded theory approach, interview transcripts were analyzed using open, thematic, and axial coding techniques. Primary themes were categorized as professional, organizational, interactional, or intrapersonal and organized into the final model.

Results: Participants processed their experiences at 4 concentric levels: professional, organizational, interactional, and intrapersonal. Faculty generally embraced the movement to incorporate more discussion of social context as a driver of health outcomes. However, they struggled with the shortcomings of their training and navigating structural constraints within their school when developing and delivering content. When confronted with these limitations, faculty experienced unexpected tension in the classroom setting that catalyzed self-reflection and reconstruction of their teaching approach.

Conclusions: Findings highlight the challenges that faculty encounter when integrating social determinants of health and related curricula into undergraduate medical education. They also speak to the need for a broader conceptualization of relevant expertise and have implications for how medical schools select, train, and support medical educators in this work.

 

 

주요 교육과정 개편 기저의 사회적 메커니즘 탐색을 위한 보르도의 개념을 적용한 질적 연구(Med Teach, 2022)
A qualitative study applying Bourdieu’s concept of field to uncover social mechanisms underlying major curriculum reform
Anne Franz , Miriam Alexander, Asja Maaz and Harm Peters

서론
Introduction

의대의 주요 커리큘럼 개편은 기관과 관련자 모두에게 복잡하고 도전적인 과정이다. 기획 위원회Planning committees는 새로운 커리큘럼에 대해 구상되는 주요 변화, 즉 형태, 내용 및 전달의 변화를 설계하는 데 핵심적인 역할을 한다. 그러한 위원회의 구성원들은 종종 [업무의 본질적인 복잡성]과 [프로세스의 역동성]에 압도당하고, 위원회 구성원과 그룹 간의 [상충되는 상호작용과 교묘한 계책manoeuvring]으로 특징지어지기 때문에 [계획 영역을 탐색하는 데 어려움]을 겪는다. 이러한 상호작용과 역학의 사회적 특성, 관련 메커니즘 및 주요 교육과정 개혁의 청사진에 대한 잠재적 영향에 대해 지금까지 거의 관심이 없었다. 본 정성적 연구의 목적은 [사회이론], 즉 [부르디외의 장개념concept of field]에서 도출된 잘 확립된 개념렌즈를 통해 우리 기관의 주요 교육과정 변화 계획과정에 대한 위원회 구성원들의 인식과 경험을 분석하고 해석하는 것이다.
Major curriculum reform at medical schools is a complex, challenging process, both for the institution and for the people involved (Bland et al. 2000; Hawick et al. 2017; Gonzalo et al. 2018; Maaz et al. 2018; Reis 2018; Velthuis et al. 2018). Planning committees play a key role in blueprinting the major changes envisaged for the new curriculum: changes to its form, content, and delivery (Hendricson et al. 1993; Whalen 1993). Members of such committees often feel overwhelmed by the inherent complexity of the task and the dynamics of the process, and they struggle with navigating the planning arena, as it is characterized by conflictful interactions and manoeuvring between the committee members and groups (Bland et al. 2000; Velthuis et al. 2018). Little attention has been paid so far to the social nature of these interactions and dynamics, the mechanisms involved and their potential impact on the blueprint for major curriculum reform. The purpose of this qualitative study is to analyse and interpret the perceptions and experiences of committee members with respect to the planning processes of a major curriculum change at our institution through a well-established conceptual lens derived from social theory, namely, Bourdieu’s concept of field.

주요 교육과정의 변화를 가져오는 복잡성은 [이미 복잡한 하나의 시스템(교육과정)]을 [다른 복잡한 시스템(기관)] 내에서 변경하려는 시도에 부분적으로 뿌리를 두고 있으며, 이 둘은 밀접하게 얽혀 있다. 주요 교육과정 개혁은 중앙 교육과정 관리, 교육위원회, 교수진과 학생 단체의 대표, 그리고 기관의 연구 활동과 환자 치료와 더 연결된 많은 수의 기관과 임상 부서와 같은 기관의 여러 조직 구조에 영향을 미친다.
The complexity of bringing about major curriculum change is rooted in part in the attempt to change one already complex system (the curriculum) within another complex system (the institution), both being closely interwoven (Maaz et al. 2018). Major curriculum reform affects multiple organizational structures in an institution, such as central curriculum management, educational committees, representation of the faculty and student body, and a large number of institutes and clinical departments that are further linked to the research activities and patient care of the institution.

의료 교육과정 개혁을 제정하기 위해, 기관들은 교육과정 계획 위원회를 설치했다. 이들은 규모는 다양하지만 일반적으로 기초과학 및 임상 교수진 및 교사, 학생, 교육과정 개발 인력 및 관리 인력과 같은 다양한 이해관계자와 전문가를 통합하는 것을 목표로 한다. 그래야만 [관련 조직의 복잡성을 해결]하고, 개혁을 위해 기관 단체로부터 [필요한 지지와 참여를 얻는 것]이 가능하기 때문이다. 위원회 구성원들은 다양한 수준의 [전문적인 사회화와 문화]를 가지고 있으며, 커리큘럼 변화에 대한 [다양한 기대]를 가지고 있는 매우 다양한 그룹을 대표한다.
To enact medical curriculum reform, institutions have put in place curriculum planning committees (Bland et al. 2000; Borkan et al. 2018; Nousiainen et al. 2018). These vary in size but generally aim to incorporate various stakeholders and experts, for instance, basic science and clinical faculty and teachers, students, curriculum development staff, and management personnel, to tackle the organizational complexity involved as well as gain the support and buy-in needed from institutional groups for the reform. Committee members represent a very diverse group with different levels of professional socialization and cultures and with divergent expectations of the curricular changes (Harden 1986; Nordquist and Grigsby 2011; Borkan et al. 2018; Velthuis et al. 2018).

위원회 구성원과 기관은 두 개의 문헌을 활용하여 의과대학의 주요 커리큘럼 개혁을 제정할 수 있습니다. 

  • (1) 결과 기반 프로그램 설계 및 공유 경험과 같은 커리큘럼 개발 
  • (2) 리더십을 포함하여 변화를 촉진하는 데 사용되는 조직 변경 관리 접근 방식 및 도구. 

우리 기관은 최근 이처럼 대대적인 교육과정 개편 과정을 거쳤다. 이 두 개의 주요 기둥 위에 세워지는 동안, 우리는 [갈등, 저항, 자아 투쟁, 개인과 집단에 의한 전술적 묘책]과 같은 [다양한 사회 현상]이 모든 과정에 드리워졌다는 것을 경험했다. 이러한 경험은 문헌에 반영되어 있지만, 기존 연구는 그것의 본질과 잠재적인 근본적인 메커니즘을 잘 보여주지 못하고 있다. 따라서 본 논문에서는 사회 이론의 개념이 커리큘럼 계획 위원회에서 발생하는 프로세스를 설명, 분석 및 해석하는 보완 렌즈 역할을 할 수 있다는 생각을 진전시킨다.
Committee members and institutions can draw on two bodies of literature to enact major curriculum reform at medical schools:

  • (1) curriculum development, i.e. outcome-based programme design and shared experiences (Mennin and Krackov 1998; Bland et al. 2000; Muller et al. 2008; Yengo-Kahn et al. 2017; Marz 2018; Reis 2018), and
  • (2) organizational change management approaches and tools used to facilitate change, including leadership (Loeser et al. 2007; Arja et al. 2018; Maaz et al. 2018; McKimm and Jones 2018; Velthuis et al. 2018; Banerjee et al. 2019).

Our institution recently went through such a major curriculum reform process (Maaz et al. 2018). While building on these two major pillars, we experienced that the whole process was overshadowed by a range of social phenomena, such as conflicts, resistance, ego struggles, and tactical manoeuvring by individuals and groups. This experience is echoed in the literature (Mennin and Krackov 1998; Bland et al. 2000; Hawick et al. 2017; Reis 2018; Velthuis et al. 2018), but the existing research does not well illuminate it´s nature and the potential underlying mechanisms. In the present article, we therefore advance the idea that concepts from social theory may serve as a complementary lens to describe, analyse, and interpret the processes occurring in a curriculum-planning committee.

잘 확립된 [사회 실천 이론]은 [피에르 부르디외]에서 유래하며, 그의 [분야field] 개념은 교육과정 계획 위원회에서 일어나는 사회 실천에 적용될 수 있다. 이 이론은 커리큘럼 변화를 사회 구조, 관계 네트워크, 역사적 맥락에 의해 형성되는 사회 현상으로 프레임화한다. Bourdieu의 이론은 [실무자에게는 '보이지 않는invisible' 커리큘럼을 형성하는 구조적인 힘]을 발견하는 것을 돕는다.
부르디외에게 필드는 각 개인이 자원(자본)에 따라 위치를 차지하는 구조화된 사회 공간이다. 자본은 경제적, 문화적, 사회적 성격을 가질 수 있다.

  • [경제적 자본]은 재정적, 물질적, 시간적 자원을 포함한다.
  • [문화적 자본]은 교육을 통해 발생하는 자원을 설명한다. 내재화 된 것(지식, 기술 및 경험)과 제도화 된 것(자격증, 직함)이 모두 가능하다.
  • [사회적 자본]은 관계망(개인적 인맥 또는 집단 내 구성원 자격)에서 나오는 자원이다.

A well-established theory of social practice derives from Pierre Bourdieu and his concept of field (Bourdieu 1975) could apply to the social practices that take place in curriculum planning committees. The theory frames curriculum change as a social phenomenon that is shaped by social structures, networks of relationships and historical contexts. Bourdieu’s theory helps medical schools to uncover ‘the structural forces shaping their curriculum—that may be 'invisible' to practitioners’ (Albert and Reeves 2010). For Bourdieu, a field is any structured social space, in which each individual occupies a position depending on his/her resources (capital) (Bourdieu 1986). Capital can be of an economic, cultural or social nature.

  • Economic capital includes financial, material and time resources.
  • Cultural capital describes resources that arise through education. It can be incorporated (knowledge, skills and experiences) and institutionalized (certificates, titles).
  • Social capital is resources that come from relationship networks (personal connections or membership in a group) (Bourdieu 1986).

모든 분야는 [자체적인 규칙과 관행]을 개발하고, [사회적 공간] 내에서 [가치 있는 것]으로 인식되는 [자원에 대한 경쟁]에 의해 [개인이나 집단의 상호작용]이 형성되는 [권력 투쟁의 장]을 나타낸다. [에이전트]들은 그 분야에서 그들의 사회적 지위를 유지하거나 높이기 위해 자본을 놓고 경쟁한다. [사회적 지위]는 각각의 자본의 양에 따라 설정되며, 지배적(높은 가치의 자본) 또는 지배적(낮은 가치의 자본)이며 분야 내에서 권력의 분배를 결정한다.
Any field develops its own rules and practices and represents an arena of struggle over power in which the interactions of individuals or groups are shaped by competition over resources recognized as valuable within that social space (Bourdieu 1975, 1990). Agents compete over capital to maintain or elevate their social position within the field. Social positions are established by the respective amount of capital and are either dominating (highly valued capital) or dominated (lowly valued capital) and determine the distribution of power within the field (Bourdieu 1975).

지금까지 몇몇 연구는 의학 교육에서 사회 현상에 대한 우리의 이해를 높이기 위해 부르디외의 사회 실천 개념을 사용했다. Brosnan(2011)은 영국의 의료 교육이 일부 학교는 생물의학을 지향하고 다른 학교는 임상 실습을 지향하는 등 다양한 형태의 자본을 위한 학교 간 경쟁에 의해 형성되었음을 나타낸다. 발머 외 연구진(2015)은 의대생들이 학부 의학교육에서 전환을 탐색하는 방법을 설명하기 위해 분야, 자본 및 습관에 대한 부르디외의 개념을 사용했다.
To date, a few studies have used social practice concepts from Bourdieu to enhance our understanding of social phenomena in medical education. Brosnan (2011) indicates that medical education in the United Kingdom was shaped by competition among schools for different forms of capital, such that some schools oriented towards biomedical sciences and others oriented towards clinical practice. Balmer et al. (2015) employed Bourdieu’s concepts of field, capital, and habitus to explain how medical students navigate transitions in undergraduate medical education.

이 경험적이고 질적인 인터뷰 연구의 목적은 [주요 교육과정 개편을 계획할 때 우리 기관의 위원회에서 발생한 복잡한 사회적 과정]을 질적으로 조명하고 분석하기 위해 개념 렌즈로서의 부르디외의 현장 개념을 적용하는 것이다. 우리는 교육과정 개발과 변화관리에서 도출된 관점을 확대하고, 다른 보완적 관점을 도입하고자 한다. 관련된 사회 메커니즘을 이해하는 것은 기관과 위원회 구성원들이 주요 교육과정 개혁의 본질적인 과제를 더 잘 탐색하는 데 도움이 될 수 있다.
The aim of this empirical, qualitative interview study is to apply Bourdieu’s concept of field as a conceptual lens to qualitatively illuminate and analyse the complex social processes that occurred in a committee at our institution when planning a major curriculum reform. We want to expand perspectives derived from curriculum development and change management and to introduce a different, complementary perspective. Understanding the social mechanism involved may help institutions and committee members to better navigate the inherent challenges of major curriculum reform.

방법들
Methods

설정
Setting

본 연구는 독일 베를린(Charité)의 Charité – Universitätsmediz에서 수행되었다. 학부 의학 프로그램(MCM(Modular Curriculum of Medicine)은 6년간 진행되며, 매년 약 320명의 신입생이 2회 등록한다. 교육은 100개 이상의 이론 및 임상 부서에서 이루어지며 2,000명 이상의 교수진이 참여한다.
This study was conducted at the Charité – Universitätsmedizin Berlin (Charité), Germany. Its undergraduate medical programme (Modular Curriculum of Medicine (MCM)) spans six years, and approximately 320 new students are enrolled twice each year. Teaching occurs across more than 100 theoretical and clinical departments and involves more than 2,000 teaching faculty members.

학부 의학 교육과정의 주요 개혁
Major reform of the undergraduate medical curriculum

2010년부터, 전통적인 분야 기반 프로그램은 교수진 전체의 계획 및 실행 과정을 통해 완전히 통합된 역량 기반 커리큘럼으로 학기별로 대체되었다. 개혁 과정과 결과는 최근 ASPIRE에서 커리큘럼 개발 및 학생 참여 부문 우수상을 수상했습니다. 개혁의 필요성은 주로 1980년대 베를린에서 시작된 학생 시위와 장기적인 참여에 의해 주도되었다. 새로운 커리큘럼은 문제 기반 학습(PBL), 의사소통 훈련, 강의 감소와 같은 [소그룹 학습의 상당한 증가]를 포함했다. 개혁은 전체 의료 프로그램과 새로운 교육 형식의 설계 및 전달에 대한 중앙 집중적인 책임과 함께 커리큘럼 관리 관련 직원의 도입과 성장을 수반했다. 새 교육과정의 청사진은 새 교육과정이 시행되기 1년 전에 설립된 학장 주도의 기획위원회에 의해 개발되었다.

Starting in 2010, the traditional, discipline-based programme was replaced term-by-term with a fully integrated, competency-based curriculum through a faculty-wide planning and implementation process (Maaz et al. 2018). The reform process and outcome were recently recognized by an ASPIRE to Excellence Award in Curriculum Development and Student Engagement (www.aspire-to-excellence.org). The need for reform was largely driven by student protests and a long-term engagement that started in the 1980s in Berlin (Maaz et al. 2018). The new curriculum involved substantial increases in small-group learning, such as problem-based learning (PBL); communication training; and a reduction in lectures. The reform was accompanied by the introduction and growth of curriculum management-related staff, with centralized responsibility for the design and delivery of the whole medical programme and the new teaching formats. The blueprint for the new curriculum had been developed by a dean-led planning committee that was established the year before the new curriculum began to be implemented.

주요 교육과정 개편의 대대적인 개혁 필요성
Need for a major reform of the major curriculum reform

5학기까지 MCM을 기획하고 시행하던 2013년 초, 주요 교육과정 개편에 대한 대대적인 개혁이 필요하다는 점이 분명해졌다. 이는 새로운 교육과정에 따른 교수 및 연구에 있어 조직적, 로지스틱적 타당성 문제뿐만 아니라 독일의 학부 의학교육과 관련된 법적, 재정적 규정의 최근의 명확화를 준수할 필요성에 근거를 두었다.
In early 2013, when the MCM had been planned and implemented until the fifth semester, it became clear that a major reform of the major curriculum reform was necessary. This was grounded in the need to comply with recent clarification in the legal and financial regulations related to undergraduate medical education in Germany as well as organizational and logistic feasibility issues in teaching and studying under the new curriculum.

주요 개혁 청사진을 위한 기획위원회 설치
Installing a planning committee for blueprinting the major reform

2013년 10월, 현재 진행 중인 주요 개혁의 청사진을 개발하기 위한 기획 위원회가 구성되었다. 위원은 MCM 연구위원회가 광범위한 이해관계를 대표하는 '유엔 접근법'에 따라 임명하였다(Harden 1986). 모든 위원회 구성원(n = 18)은 2010년에 시작된 첫 번째 주요 개혁 과정에 참여했다. 위원회는 학과 대표자(n = 8, DR), 학생 대표자(n = 4, SR), 교육과정 관리 직원 대표자(n = 6, CR)의 3개 주요 그룹으로 구성되었다. 많은 사람들이 MCM 커리큘럼과 관련된 다른 위원회(교수 위원회, MCM 연구 위원회, MCM 평가 위원회)에서 병행했다.

In October 2013, a planning committee was formed to develop a blueprint for the major reform of the ongoing major reform. Committee members were appointed by the MCM study committee according to the ‘United Nations Approach,’ in which a wide range of interests is represented (Harden 1986). All committee members (n = 18) had been involved in the first major reform process that started in 2010. The committee consisted of three main groups: department representatives (n = 8, DR), student representatives (n = 4, SR), and curriculum management staff representatives (n = 6, CR). Many served in parallel on other committees related to the MCM curriculum (faculty council, MCM study committee, and MCM assessment board).

이 청사진 위원회의 임무는 2010년에 시작된 새로운 통합 역량 기반 교육과정의 의도와 원칙을 가능한 한 많이 유지하는 것이었다. 조직 및 물류 문제를 해결하는 것 외에도, 이번 개혁은 교직원의 부서별 재정 예산을 약 10% 절감해야 했다. 위원회 과정에서 강의(+49%), 침대 옆 강의(+41%), 실험실 실습(+6%)이 증가했고, PBL(-36%), 커뮤니케이션 교육(-29%), 비대학 초등 돌봄 배치(-84%)가 감소했다. 샤리테에서, 부서의 교직원들의 자금 조달은 실제로 완료된 수업 시간 수에 직접 기초하며 형식 수정 요소를 포함한다. 예를 들어, 교정계수는 강의의 경우 1, PBL의 경우 0.5이므로, 1시간 강의는 PBL 촉진의 2배의 비율로 보상된다.
Task of this blueprinting committee was to retain as much as possible of the intentions and principles of the newly integrated, competency-based curriculum as launched in 2010. In addition to addressing organizational and logistical matters, this reform of the reform had to reduce the budget for departmental financing of the teaching staff by approximately 10%. The committee process resulted in increases in lectures (+49%), bedside teaching (+41%, requested by regulations), and lab practicums (+6%) and decreases in PBL (–36%), communication training (–29%), and placements in non-university primary care (–84%). At the Charité, the financing of the department’s teaching staff is directly based on the number of teaching hours actually completed and includes a format correction factor. For instance, the correction factor is 1 for lectures and 0.5 for PBL; thus, 1 hour of lecturing is compensated at twice the rate as 1 hour of PBL facilitation.

위원들은 2주에 한 번씩 3~4시간 동안 만났다. 이 과정은 2014년 5월 설계도가 MCM 연구위원회에 넘겨지기까지 7개월이 걸렸다. 설계도는 2014년 8월에 승인되었고 그 후 MCM의 연구 규정으로 이관되었다.
The committee members met every two weeks for three to four hours. The process took seven months until the blueprint was handed over to the MCM study committee in May 2014. The blueprint was approved in August 2014 and subsequently transferred into the study regulations for the MCM.

리서치 디자인.
Research design

질적 접근을 통해 주요 교육과정 개편의 주요 청사진을 마련하기 위한 담당 교육과정기획위원들의 인식과 경험을 일련의 개별 면접에서 도출하였다. 그 녹취록들은 그 후에 내용 분석을 받았다. 연구 프로토콜은 Charité 데이터 보호 사무소(No. 628-15)와 Charité Ethics Board(No. EA4/096/15)의 승인을 받았다.

With a qualitative approach, the perceptions and experiences of the curriculum-planning committee members in charge for blueprinting the major reform of the major curriculum reform were elicited in a series of individual interviews. The transcripts were subsequently subjected to content analysis. The study protocol received approval from the Charité data protection office (No. 628-15) and Charité Ethics Board (No. EA4/096/15).

스터디 참가자 및 인터뷰 절차
Study participants and interview procedure

우리는 교육과정 기획위원회의 모든 위원들에게 대면 면접에 참여할 것을 요청하는 이메일을 보냈다. 한 동료가 2015년 12월부터 2016년 6월까지 인터뷰를 진행하고 녹음했습니다. 인터뷰는 우리가 그룹(AM, HP)에서 상세히 설명하고 논의한 부르디외의 이론(부록 1번)에 기초한 반구조적 인터뷰 가이드를 따랐다. 인터뷰는 45분에서 120분, 중간값은 66분이었다. 우리는 음성 기록을 익명화된 방식으로 정확하게 전사했다.
We sent emails to all members of the curriculum planning committee inviting them to take part in a face-to-face interview. One colleague conducted and audio-recorded the interviews between December 2015 and June 2016. The interviews followed a semi-structured interview guide based on Bourdieu’s theory (Supplementary Appendix no. 1), which we elaborated and discussed in a group (AM, HP). Interviews lasted from 45 to 120 minutes with a median of 66 minutes. We transcribed the audio records verbatim in an anonymized manner.

데이터 분석
Data analysis

Mayring(2014)에 따라 구조화 콘텐츠 분석과 결합된 요약을 포함하는 체계적인 귀납적-귀납적 범주 할당 접근 방식을 통해 전사를 분석했다. 이 접근법은 해석과 구성(유도)의 과정을 통해 데이터에서 범주가 나타날 수 있고, 부르디외의 분야 개념과 관련된 범주가 분석 과정(추출)에도 통합될 수 있는 가능성을 허용했다. 두 명의 연구원(AF, MA)이 모든 데이터 자료를 코드화했습니다. 두 연구원은 합의가 도출될 때까지 서로의 코딩에 대해 지속적으로 질문하고 토론하는 등 전 과정을 분석하면서 협업했다. 연구팀은 해석(AF, MA, AM, HP)에 대해 논의했다.
We analysed the transcriptions through a systematic, inductive–deductive category assignment approach involving summarizing combined with structuring content analysis, following Mayring (2014). The approach allowed for the possibility that categories could emerge from the data through a process of interpretation and construction (induction) and that categories related to Bourdieu’s concept of field could be integrated into the analytic process (deduction) as well. Two researchers (AF, MA) coded all of the data material. Both researchers collaborated while analysing the entire process by constantly questioning and discussing each other’s codings until an agreement was reached. The research team discussed interpretations (AF, MA, AM, HP).


[프로세스의 첫 번째 부분]에서는 데이터 자료에서 [하위 범주를 생성]하기 위해 귀납적 접근 방식으로 요약 내용 분석을 사용하여 모든 전사를 설명적으로 분석했다. 여기에는 Mayring(2014)에서 채택된 다음 단계가 포함되었다.

In the first part of the process, we analysed all transcriptions descriptively using summarizing content analysis with an inductive approach to generate subcategories from the data material. This involved the following steps adapted from Mayring (2014).

  1. 문구의 핵심 의미를 필터링하기 위해 본문을 줄이고 장식적이거나 필러적인 단어를 생략하여 언어학적으로 일관된 수준으로 패러프레이징하는 행위
    Paraphrasing on a linguistically consistent level by reducing the text and leaving out decorative or filler words to filter the core meaning of the phrases;
  2. 보다 일반적이고 추상적이며 상위적인 의미를 갖는 데이터의 패러프레이즈를 생성하여 일반화하는 것
    Generalizing by creating paraphrases of the data with more general, abstract, and superordinate meanings;
  3. 동의어, 중요하지 않은, 비어 있는 패러프레이즈를 삭제하여 첫 번째 축소를 수행한다.
    Performing a first reduction by crossing out synonymous, insignificant, and empty paraphrases; and
  4. 동일하거나 유사한 여러 개의 파라프레이즈를 하나의 파라프레이즈로 결합하고, 초기 하위 카테고리를 생성하여 두 번째 감소를 수행한다.
    Performing a second reduction by combining multiple identical or similar paraphrases into one paraphrase and generating initial subcategories.

두 번째 부분에서는 구조화된 내용 분석과 연역적 절차를 통해 프로세스의 첫 번째 부분의 결과를 분석적으로 해석적으로 분석했다. 여기에는 Mayring(2014)에서 채택된 다음 단계가 포함되었습니다.
In the second part, we analytically-interpretatively analysed the results of the first part of the process via structuring content analysis and a deductive procedure. This involved the following subsequent steps adapted from Mayring (2014):

  1. 부르디외의 분야개념에 기초한 범주체계를 개발하고 정의하여, 이론적에 기반한 차원의 결정
    Determining theoretically based dimensions by developing and defining a category system based on Bourdieu’s concept of field;
  2. 범주에 대한 정의를 수립하고 앵커 샘플을 검색하여 코딩 지침을 개발하고, 
    텍스트 구절을 특정 범주의 전형적인 예로 인용하고 코딩 규칙을 정의한다.

    Developing a coding guideline by establishing definitions for the categories and searching for anchor samples,
    citing text passages as typical examples of the particular category and defining coding rules;
  3. 기존에 귀납적으로 개발된 하위범주를 부르디외의 이론에 따라 연역적으로 정의된 주요범주와 일치시키는 것. 필요하다면 코딩규칙을 지속적으로 확인하고 수정하는 것이다.
    Matching the previously inductively developed subcategories to the deductively defined main categories according to Bourdieu’s theory by constantly checking and revising the coding rules when necessary.
  4. 요약 및 구조 분석의 주요 범주와 하위 범주를 하나의 범주 시스템으로 병합하여 프로세스를 완료합니다. 부록 2번은 Mayring에 따른 분석 과정의 예를 보여준다.
    Completing the process by merging both the main categories and subcategories of the summarizing and structuring analysis into one category system. Supplementary Appendix no. 2 shows an example of the analysis process according to Mayring.

마지막으로, 관련 텍스트 구절은 원어민이 영어로 번역하고 두 명의 연구원(AF, HP)이 교차 점검했다. 모든 인용구는 익명화되었고 성별을 중립적으로 만들었다. 따옴표는 주 위원회 그룹(DR, SR 또는 CR)을 나타내기 위해 표시됩니다. 서로 다른 사람의 진술을 구별하기 위해 추가 번호가 부여되었다. 예를 들어 DR1은 부서 대표 1을 가리킨다.
Finally, the relevant text passages were translated into English by a native speaker and cross-checked by two researchers (AF, HP). All quotes were anonymized and made gender neutral. Quotes are marked to indicate the main committee group (DR, SR, or CR). An additional number was given to distinguish the statements of different persons: for example, DR1 refers to department representative 1.

결과.
Results

13명의 구성원(5 f/8 m)이 이 연구에 참여했다(기초 및 임상 과학에서 4개의 DR, 4개의 SR, 5개의 CR). 그 결과는 183 DIN A4 페이지의 녹취록을 분석하여 도출되었다. 우리의 내용 분석은 부르디외의 이론에 기초한 3개의 주요 범주와 21개의 하위 범주(부록 3번)를 가진 체계를 도출하였다. 선택한 인용문의 전문은 부록 번호 4에 수록되어 있다.
Thirteen members (5 f/8 m) participated in this study (4 DRs from the basic and clinical sciences, 4 SRs, and 5 CRs). The results were derived by analysing 183 DIN A4 pages of transcripts. Our content analysis resulted in a system with 3 main categories based on Bourdieu’s theory and 21 subcategories (Supplementary Appendix no. 3). The full text of the selected quotes is given in Supplementary Appendix no. 4.

교육과정계획위원회 – 갈등과 경쟁이 치열한 사회 분야
The curriculum planning committee – A social field of intense conflict and competition

위원들은 이 작업을 기획위원회와 '개인적으로 매우 무력감을 느낀 순간'(Q2-DR2)으로 경험했는데, 이는 치열한 갈등과 경쟁이 특징이기 때문이다.
Committee members experienced the work in the planning committee and ‘the whole discussion [as] just very gruelling’ (Q1-CR1) with ‘moments where one personally felt very helpless’ (Q2-DR2), as it was characterized by intensive conflicts and competition.

갈등의 유형과 성격에 대해 한 위원은 '매우 공격적인 논의가 매우 빠르게 전개되었다'(Q3-CR1)와 '일부 교직원들이 개인적인 차원에서도 서로 강하게 공격했다'(…)고 보고했고, 다른 교직원들의 역량을 부정했다'(Q4-SR2)고 보고했다. 다른 위원회 위원은 '모든 사람이 상호 존중과 공정성의 규칙을 준수한다면, 이것은 실제로 문제가 되지 않지만 불행히도 이것은 이상적인 세계에서만 발생한다; 실제로는 항상 그렇지는 않다'고 반성했다(Q5-DR1). '[I]일부는 사실 수준과 개인 수준을 분리할 수 없었다.'(Q3-CM1) 이는 '대부분 소수의 갈등이지만 전체적으로 쉽게 분위기에 부담을 줄 수 있다'(Q3-CR1)는 것이었다. 일부 갈등은 '그런 과정에서 많은 오해'에서 비롯된 것으로 보였고, '소문 공장이 만연하고 불신이 많이 발생했기 때문에'(Q6-CR2) '모든 사람이 같은 수준의 지식에 있었던 것은 아니다'(Q6-CR2). 기존의 갈등이 '다시 불거졌다'(Q2-DR2). '[T]이미 이전에도 다툼이 있었다', '교수진 모두가 서로를 잘 신뢰하고 이해하지 못한다는 것은 비밀이 아니다'(Q4-SR2).
Regarding the type and nature of the conflicts, one committee member reported that ‘very offensive discussions very rapidly developed’ (Q3-CR1) and ‘[s]ome faculty members strongly attacked each other (…) partly also on a personal level, and denied the others’ competencies’ and ‘act[ed] out their animosities’ (Q4-SR2). Another committee member reflected, ‘[i]f everyone adheres to the rules of mutual respect and fairness, then this is actually not a problem, but unfortunately this only happens in an ideal world; in reality, this is not always the case’ (Q5-DR1). ‘[I]t happened that some could not separate the factual level and personal level’ (Q3-CM1). These were ‘mostly conflicts between a few, but those could easily burden the mood overall’ (Q3-CR1). Some conflicts appeared to result from ‘many misunderstandings in such a process,’ and ‘[n]ot everybody was on the same level of knowledge’ (Q6-CR2), as there ‘were rumour mills prevailing and a lot of mistrust that arose’ (Q7-SR2). Pre-existing conflicts ‘erupted again’ (Q2-DR2). ‘[T]here have already been quarrels previously,’ and ‘[i]t’s no secret that not everybody in the faculty trusts and understands each other very well’ (Q4-SR2).

경쟁과 관련하여, 위원회 위원들은 위원회의 작업을 '힘든 싸움'(Q8-DR2), '너무 많은 리소스를 손실하지 않고 그로 인해 어려움을 겪어야 한다'(Q5-DR1)고 설명했습니다. 어떤 이들은 '밤샘 계산'(Q9-CR2)을 했고, 다른 이들은 '특정 마감일에 준비해야 했다; (…) 많은 것들이 일주일 내에 할 수 없었기 때문에 주말로 옮겨야 했다.'(Q10-DR2)를 언급했다. 위원회 내에서 경쟁하는 것을 넘어, 위원들은 '임상 의사들은 시간이 없다; 그들은 환자가 있다'(Q11-SR2)라는 논쟁에서 경쟁하는 사회 분야의 압력을 가했다. 한 임상의는 '나는 지금 나의 진료소로 돌아가야 한다; 내 환자들 중 몇몇은 암으로 고통 받고 있다. 암 진단을 전달해야 하는 세 가지 상담이 앞에 있습니다. 이를 수행할 시간이 없습니다(Q11-SR2).
Regarding competition, the committee members described the work in the committee as a ‘tough fight’ (Q8-DR2); ‘you have to make sure (…) that you don’t lose too many resources and go under with it’ (Q5-DR1). Some did ‘night-long calculations’ (Q9-CR2); others stated, ‘things had to be ready at certain deadlines; (…) many things had to be shifted to the weekend because they were not doable within the week, and they expanded into my spare time’ (Q10-DR2). Beyond competing within the committee, committee members applied pressure from competing social fields in argumentation: ‘Clinicians don’t have time; they have patients’ (Q11-SR2). One clinician said, ‘I have to go back to my clinic now; several of my patients are suffering from cancer. I have three consultations ahead of me where I have to convey to them their cancer diagnoses – I don’t have time for this’ (Q11-SR2).

위원회에서의 논의는 두 층으로 이루어진 토론으로 경험되었다. "앞에서는 사실적인 수준에 대한 많은 논의가 있지만, 그 이면에는 다른 것들이 있다."(Q12-CR1). "나는 그 과정에서, [야망]이 서로 마찰하면서, 아마도 더 잘 인식되고 분명해지며, 특정 시점에서, 사람들은 그 이면에 정말로 무엇이 있는지 깨닫게 될 것이라고 생각한다."(Q13-SR1). "어느 순간, (…) 명확해졌다: 네, 그것은 단지 사실에 관한 것이 아닙니다; 그것은 한 그룹의 정치적 로비에 관한 것입니다. (…) (Q14-SR3). "어떤 토론은 단순히 다른 그룹이 어느 수준에서 주장하는지 모르기 때문에 실패합니다." (Q15-CR1). 그것은 내용이나 관련 수준과 관련하여 사실적인 차원에서 논의되었지만, 사실 그것은 직업에 관한 것이다. 그러나 이것은 말하지 않았다. 그리고 그것은 우리가 내내 행동했던 이 두 계층일 뿐이다'(Q1-CR1).
The discussion in the committee was experienced as a debate on a basis with two layers. ‘There are lots of discussions on the factual level in the foreground, but there are other things behind it’ (Q12-CR1). ‘I think, in the course of the process, the [ambitions] perhaps become more perceptible and evident, as they rub against each other, and at a certain point, one realizes what's really behind it’ (Q13-SR1). ‘At some point, (…) it became clear: ok, it’s not just about the facts; it's about the political lobbying of one group (…)’ (Q14-SR3). ‘Some discussions simply fail because (…) they do not know on which level the other one argues’ (Q15-CR1). It was ‘discussed on a factual level with regards to content or a pertinent level, but in fact it is actually about the jobs. But this has not been said (…). And that is just (…) these two layers on which we acted the whole time’ (Q1-CR1).

커리큘럼 계획 위원회 – 다양한 종류의 자본을 위한 투쟁
Curriculum planning committee – a struggle for and with different kinds of capital

세 그룹은 서로 다른 형태의 자본을 중요시하고 노력했다.
The three groups valued and strove for different forms of capital.

부서 대표자
Department representatives

그들의 행동은 '일자리를 잃는 기관 내의 공공연하거나 숨겨진 두려움'(Q16-CR1)에 의해 결정되었다. 그들은 경제 자본을 우선시했다. "글쎄요, 모든 사람들이 그/그녀의 규율을 위해 로비를 합니다. 물론, 그것은 때때로 매우 논쟁적이고, 물론 어떻게든 자신의 사건을 극복하고 살아남기 위해 노력합니다."(Q17-DR2). "이 교수진 내에서, 여러분은 피해를 방지하고 자신의 직원 자금 조달을 보호할 수 있습니다."(Q18-DR1). 또 다른 사람은 '연구소장으로서 직원들에게도 일종의 복지 의무가 있다. (…) 교육 내용을 전달해야 하는 [연구소] 또한 필요한 직원들을 돌봐야 한다.'(Q19-DR1)고 말했다. 이러한 인식은 이해 관계자들이 다양한 교육 형식을 저울질하는 데에도 반영되었습니다. '(…) 세미나 시간이나 다른 것을 잃게 될 것이기 때문에 제가 잠재적으로 제 기관을 손상시킬 수 있을까요? 그리고 잠재적으로 일자리를 잃을까?' (Q16-CR1).
Their actions were determined by ‘an overt or hidden fear within the institutions of losing jobs’ (Q16-CR1). They prioritized economic capital. ‘Well, everyone lobbies for his/her discipline; of course, it is sometimes very contentious, and of course one tries somehow to get through one’s cases and to survive’ (Q17-DR2). ‘Within this faculty, you can avert damage and safeguard your own staff financing’ (Q18-DR1). Another stated, ‘As the institute director, you also have kind of a welfare duty to your staff. (…) Those [institutes] who have to convey the teaching content also have to take care of the necessary staff’ (Q19-DR1). This perception was also echoed in the stakeholders’ weighing of the different teaching formats: ‘(…) will I potentially damage my institution, as we will lose seminar hours or something else? And potentially lose jobs?’ (Q16-CR1).

[경제적 자본]은 [문화적 자본]을 대표하는 특정한 교육 내용을 전달하는 것보다 우선시되었다. 결국, 그것은 여전히 돈에 관한 것이지 항상 내용에 관한 것은 아니다. (…) 중요한 주제가 누락되었다고 말해야 한다.(Q20-DR2) 흥미롭게도, 부서 대표들은 문화 자본의 한 형태로 학과 내용을 가르치는 데 있어 그들의 전문 지식을 알고 있었다: '물론, 나는 내 학과에 대한 구체적인 개념을 가지고 있었다. 나는 또한 이에 관한 교과서를 여러 권 썼는데, 누구나 나의 개념이 무엇이고 그것들을 어떻게 전달해야 하는지 읽을 수 있다'(Q21-DR1). 그러나 그들은 이 전략을 무기로 사용하지 않았다. 또한 사회적 자본의 전략적 활성화는 거의 없었다: '교수들은 각자 자신의 이익을 위해 노력하고 있었기 때문에 서로를 지지한 적이 없었다'(Q22-CR4).
Economic capital was prioritized over conveying certain teaching content, representing cultural capital. ‘After all, it is still about the money and not always about the content (…) you have to say that important topics are missing’ (Q20-DR2). Interestingly, department representatives were aware of their expertise in teaching the discipline content as a form of cultural capital: ‘Of course, I had specific conceptions about my discipline (…). I have also written several textbooks on this, and anyone can read what my conceptions are and how to convey them’ (Q21-DR1). However, they did not use this strategy as a weapon. Furthermore, there was little strategic activation of social capital: ‘The professors never supported each other, as each of them was looking out for his/her own interest’ (Q22-CR4).

궁극적으로, 한 부서 대표가 말했듯이, '문제의 핵심은 결국, 그것은 당신이 인정하고 싶어하는 것보다 훨씬 더 많은 돈에 관한 것이다. 나에게, 그것은 사실 의학과 개혁의 모듈식 커리큘럼의 주요 문제이다.'(Q20-DR2) 이 견해는 한 교육과정 직원 대표가 공유했다: '이것은 항상 전체 이야기에 중첩되는 것이다'(Q16-CR1).
Ultimately, as one department representative stated, ‘The whole crux of the matter is that, in the end, it is much more about the money than you want to admit. For me, that is actually the main problem of the Modular Curriculum of Medicine and the reform’ (Q20-DR2). This view was shared by a curriculum staff representative: ‘This is what is always superimposed on the whole story’ (Q16-CR1).

학생 대표
Student representatives

학생들의 주요 목표는 '이 개혁을 통해 가능한 한 의학의 모듈식 커리큘럼을 구조하는 것'과 '가능한 많은 훌륭한 개념들을 보존하는 것'(Q23-SR1)으로, 이 새로운 의학 학위 프로그램을 통해 지금까지 습득한 문화 자본을 언급했다. 그들은 따라서 '심지어 일종의 데미지 억제라는 의미에서, 불리한 입장에 놓일 수 있는 모든 것을 제한하기를 바랐다'(Q23-SR1). 
The students’ main goal was to ‘rescue the Modular Curriculum of Medicine as well as possible over this reform’ and ‘to save as many of the great concepts as possible (…)’ (Q23-SR1), referring to cultural capital they had acquired so far through this new medical degree programme. They hoped thereby ‘to limit everything that would get the short end of the stick, in the sense of maybe even a kind of damage containment’ (Q23-SR1).

교육과정 개혁을 둘러싼 투쟁에서, 학생들은 그들의 문화적, 사회적 자본을 활성화하는 데 초점을 맞춘 전략을 사용했다. 그들은 유지하거나 노력할 교육과정과 관련된 경제적 자본이 없었다(Q19-DR1). 문화자본에 대해서는 '우리 모두는 그것을 위해 믿을 수 없을 정도로 자기희생 의지가 있었다(…) 적어도 그런 종류의 것을 위해 새벽 5시에 일하는 사람은 아무도 없었다.(…) 이것은 비교적 독특한 종류의 열정을 필요로 한다'(Q24-SR3)는 높은 동기를 보였다. 그들은 또한 높은 수준의 헌신을 공유했습니다. '결국, 우리는 많은 노력과 프로젝트 작업, 워크숍 등을 통해 학생 쪽에서 매우 집중적으로 일했고(…), 이는 확실히 우리의 입장을 촉진했습니다'(Q25-SR2). 게다가, 그들은 계산을 하고 무엇이 가능하고 무엇이 가능하지 않은지, 무엇이 가능하지 않은지, 무엇이 시사하는 바가 무엇인지를 보여주고 있었다. 그들은 다른 사람들이 아닌 그들에게 특별한 관심이 있는 모델들을 계산하고 있었다. 그 결과, (…) 그들은 또한 공정을 잘 조정할 수 있었습니다' (Q26-CR4). 
In the struggle over curriculum reform, the students used strategies focused on activating their cultural and social capital. They had no economic capital related to the curriculum to be maintained or to strive for (Q19-DR1). Regarding cultural capital, they showed high motivation: ‘We all had an unbelievable willingness to self-sacrifice for it (…) there was no one else who worked at five o'clock in the morning, at least for that sort of thing. (…) This requires a kind of passion that is relatively unique’ (Q24-SR3). They also shared a high level of commitment: ‘After all, we accomplished it through a lot of labour, also through project work and workshops, etc., working on the student side so intensively (…) and this certainly facilitated our position’ (Q25-SR2). In addition, they ‘were doing the calculations and showing what is possible and what is not possible and what the implications are. They were calculating those models that were of particular interest to them and not others. As a result, (…) they were also able to steer the process well’ (Q26-CR4).

사회적 자본의 활성화와 관련하여, 학생들은 다양한 전략을 사용했다. 여기에는 팀으로 일하는 것이 포함되었습니다. '학생들은 단순히 더 나은 정보를 얻고, 모든 경우에 더 잘 준비했습니다. 그들은 그룹 내에서 어떻게 논쟁하고 서로를 지지하는지 조정했습니다.' (Q22-CR4). 게다가, 그들은 동맹을 결성했다: '물론, 우리는 적어도 그들을 조직하기 위해 미리 다수와 지지자들을 조직하려고 노력했다, 그래서 사람들이 '네, 우리는 이것에 동의하지만, 우리는 그것을 공개적으로 지지하지는 않을 것이다'라고 말할 수 있다.' (Q27-SR1. '일부 더 큰 기업들이 우리를 지지했다면, 우리의 제안이 잘 될 가능성이 훨씬 높았을 것이다.'(Q28-SR3) '[A]그리고 그들[학생들]은 보통 사건을 끝까지 밀고 나간다'(Q29-CR4). 학생들은 또한 학생 단체의 지원을 받았다: '우리는 학생으로서 배경에 팀을 두는 사치를 누렸고, 반복적으로 다른 학생들의 지원을 받을 수 있었다.' (Q30-SR2) 학생들은 '학생 단체 전체의 지지를 반복적으로 찾고 있었다; 그들은 천 명 이상의 학생들이 참여한 모듈식 의학 커리큘럼의 장단점에 대해 훌륭한 설문 조사를 했다'(Q31-CR2). 
Regarding the activation of social capital, the students employed a number of strategies. This involved working as a team: ‘The students were simply better informed, better prepared in all cases; they coordinated in their group how to argue and supported each other’ (Q22-CR4). In addition, they formed alliances: ‘Of course, we tried to organize majorities and supporters in advance, at least to organize them, so that people say, ‘yes, we agree to this, although we will not support it overtly’’ (Q27-SR1). ‘[I]f some of the bigger ones supported us, we had a much higher chance that our proposal would work out well’ (Q28-SR3). ‘[A]nd they [students] usually push their cases through’ (Q29-CR4). Students were also supported by the student body: ‘We, as the students, had the luxury of having a team in the background and repeatedly could gain support from other students’ (Q30-SR2). Students were ‘repeatedly seeking backing from the entire student body; they did a great survey about the pros and cons of the Modular Curriculum of Medicine, where more than a thousand students took part’ (Q31-CR2).

교육과정 담당자
Curriculum staff representatives

그들은 학생들과 교육과정을 가능한 한 잘 유지해야 한다는 목표를 공유했다. "물론, 커리큘럼을 유지하는 것이 우리 자신에게 가장 이익이 되었습니다. 계획되었기 때문에, 거의 완료되었습니다." (Q32-CR5).5). 그들이 세운 문화적 자본을 유지하기 위해, 그들은 '모든 PBL 시간, 모든 의사소통 훈련 시간'(Q32-CR5)을 위해 싸웠고, 이는 이러한 교육 형식의 관리자로서의 그들의 위치와 연결되어 그들의 경제적, 문화적 자본과 연결되었다. 같은 정도로, 그들은 학생들과의 동맹에 참여했다.
They shared the goal of maintaining the curriculum as well as possible with the students. ‘Of course, it was in our own very best interest to maintain the curriculum; since it had been planned, it was almost finished’ (Q32-CR5). To maintain the cultural capital they had established, they ‘fought for every PBL hour, for every communication training hour’ (Q32-CR5), which was linked to their positions as managers of these teaching formats and thus to their economic and cultural capital. To the same degree, they were involved in alliances with the students.

교육과정 관리자들은 교육과정 개혁을 둘러싼 경쟁에서 기반이 될 교육적, 문화적 자본이 부족했다. '만약 의료 교육 센터가 20년 된 기관이었다면, 우리는 (…) 국내 및 국제 교육 개발에 대한 20년의 경험을 토대로 구축할 수 있었을 것이고, 이는 변화를 만들었을 것입니다. 그러나 우리는 그것을 가지고 있지 않았다." (Q33-CR3). "좋은 가르침은 정의하기 어렵다는 것이 갈등이었다. (…) 어디선가 책을 펴서 그것이 무엇인지 찾을 수 없다." (Q34-CR3).CR3. 당연히, 계획 위원회에서 교육적 관점에 대해 논의할 시간이 없었습니다. 'PBL을 마지막까지 자르는 것에 관해서, 우리는 생각했습니다: PBL 개념이 무엇인가? 그게 무슨 뜻인가요? (…) 그 때는 시간이 없었어요.' (Q35-CR2)
The curriculum managers lacked educational and cultural capital to build on in the competition over curriculum reform. ‘If the Center for Medical Education had been a 20-year-old institution, (…) we would have been able to build on 20 years of experience with national and international teaching development, which would have made a difference. But we didn't have that’ (Q33-CR3). ‘The conflict was that good teaching is difficult to define. (…) one can’t open a book somewhere and look up what it is’ (Q34-CR3). Unsurprisingly, there was no time to discuss educational perspectives in the planning committee: ‘When it came to cutting PBL until the end, we thought: what is a PBL concept? What does that mean? (…) We didn't have time at that moment’ (Q35-CR2).

교육과정계획위원회 – 사회적 지위를 위한 투쟁
Curriculum planning committee – a struggle for social position

교육과정계획위원회에서, 에이전트 그룹마다 서로 다른 사회적 입장을 가지고 있었다. 일반적으로 교육과정 담당자는 '우리는 우리의 계층을 가지고 있다'(Q36-CR5)고 지적했다.
The field of the curriculum planning committee held different social positions for its group of agents. In general, a curriculum staff representative pointed out, ‘we do have our hierarchies’ (Q36-CR5).

부서 대표들, 특히 부서장들은 그들의 이전 사회적 지위에 대해 질문을 받았다: '한 번은, 다른 진료소의 의사가 왔는데, 그 의사는 [주임 의사]와 동등한 기준으로 참여하려고 했지만, '교수님'이라고 말하지 않았다.' 그리고 나서 그것은 분명해졌다: 그는 '교수 의사'이며, 그는 경청받고 존중받기를 원한다'(Q36-CR5). '계획'은 거의 중요하지 않은 과정입니다. 내용이 어디에서 결정되는지, 수석 의사가 있든, 아니면 매우 헌신적인 교육 코디네이터(…)가 있든 간에 말입니다(Q36-CR5). 그럼에도 불구하고, 학생들은 '그룹에 속한 다른 사람들은 샤리테의 명사들, 즉 가르침에 역할을 한 사람들'이라는 것을 잘 알고 있었다(Q37-SR3).
The department representatives, especially the department heads, were questioned about their former social positions: ‘Once, a physician from another clinic came along, who then tried to engage on an equal basis with [the head physician] but did not say, ‘Professor Doctor.’ And then it was made clear: He is a ‘Professor Doctor’, and he wants to be listened to and to be respected’ (Q36-CR5). The ‘planning is a process, where this almost doesn’t matter – where the content rules – whether there is a head physician or the very dedicated teaching coordinator (…)’ (Q36-CR5). Nevertheless, the students were well aware that ‘other people who were in the group were the luminaries of the Charité, (…) those who played a role in teaching’ (Q37-SR3).

반면 학생 대표들은 '우리는 계층의 맨 아래에 있었다'(Q38-SR3)고 말하면서도 사회적 지위가 상승하는 것을 경험했다.'(Q38-SR3)' '학생으로서 그런 집단에 처음 가입할 때, 이 집단에 가입하는 교수님과 같은 존경을 받기 전에 (…) 더 많은 노력을 기울여야 한다고 생각한다. 그리고 처음부터 그것을 얻는다. 그럼에도 불구하고, 확실히 나는 우리에 대한 존중이 낮지 않았다고 생각한다; 나는 우리가 그곳에서 잘 존경받았다고 생각한다'(Q39-SR2). 이에 대한 역사적 이유, 특히 개혁된 연구 프로그램과 관련된 역사적인 이유는 교수진이 존중하는 상호작용에서도 특정한 개방성을 가지고 우리를 만났다는 역사적인 항의로 이어졌다(Q40-SR2). 인식된 계층 격차에 접근하기 위한 학생들의 전략 중 하나는 다음과 같다: '[W]우리는 그룹 내에서 우리의 권위를 통해서는 절대로 그렇게 할 수 없고, 좋은 주장만 가지고는 그렇게 할 수 없다. 궁극적으로, 이것은 우리가 통과하기를 원하는 모든 사례에 대해 좋은 주장을 내놓도록 강요했다.' (Q41-SR3) 
The student representatives, on the other hand, experienced an elevation in their social position, despite stating, ‘We were standing at the very bottom of the hierarchy’ (Q38-SR3). ‘I think as a student, when you first join such a workgroup, you need to make more effort (…) before you earn such respect as a professor has, who joins this workgroup and gets it in the first place. Nevertheless, I think the respect was certainly not lower for us; I think we were well respected there’ (Q39-SR2). There were also ‘historical reasons for this, especially related to the reformed study programme, related to the historical protests that had led to this [reform] (…) that the faculty met us with a certain openness, also in respectful interactions’ (Q40-SR2). One of the students’ strategies for approaching the perceived hierarchy gap was as follows: ‘[W]e could never do that through our authority in the group, but with good arguments only. Ultimately, this forced us to come up with good arguments for every case we wanted to get through’ (Q41-SR3).

한 학생 대표는 '최종적인 결정, 즉 어떤 위치에 있는 사람이 어떤 역할을 했는지에 관한 것'(Q42-SR3)을 주목했습니다. 교육과정 관리자들의 눈에는 '그들[학생들]은 교육과정을 경험했기 때문에 상당히 동등한 위치에 있었다; (…) 그들은 이 교육과정을 공부한 유일한 사람들이었다. 그들은 매우 심각하게 받아들여졌다.' (Q43-CR2) '여기 베를린에서는 학생들이 그렇게 강한 입장을 가지고 있어서 학생들에게 불리한 결정을 내릴 수 없는 경우가 많다는 것이 약간 문제였다.'(Q44-CR1) 한 부서 담당자는 '사실 그들 중 일부는 너무 많은 영향력을 가지고 있다는 인상을 받았다'고 말했다(Q45-DR2). 한 교육과정 담당자는 자신들의 입장을 강조하며 '그 당시 학생들은 많은 것을 했다. 10명의 학생들로 구성된 그룹이 이 과정을 상당히 진전시켰다.' (Q46-CR2) 
One student representative noticed that ‘concerning the ultimate decisions, (…) who was in what position played a role’ (Q42-SR3). In the eyes of the curriculum managers, ‘they [the students] had a fairly equal position by virtue of having experienced the curriculum; (…) they were the only ones who had studied this curriculum. They were taken very seriously’ (Q43-CR2). ‘Here in Berlin, it was a bit of a problem that the students have such a strong position, so many cases cannot be decided against the students’ (Q44-CR1). A department representative stated, ‘I actually had the impression that some of them partly had too much influence’ (Q45-DR2). Emphasizing their position, a curriculum manager pointed out, ‘[T]he students did a lot at that time. There was a group of ten students who significantly drove the process forward’ (Q46-CR2).

모든 자료에는 교육과정위원회에서 교육과정관리자의 잠재적인 사회적 지위에 대한 언급이 없었다.
In all the material, there was no mention of the potential social position of the curriculum manager in the curriculum committee.

논의
Discussion

본 연구에서는 주요 교육과정 개혁을 입안하기 위한 위원회의 구성원들의 관행을 설명하고 분석하고 더 잘 이해하기 위해 부르디외의 장field 개념을 적용했다. 이 이론적 틀을 이용하여, 이 정성적이고 경험적인 연구에서, 우리는 위원회 구성원들의 경험적 현실(Albert and 리브스 2010)의 표면 아래로 파고들 수 있었고 주요 교육과정 개혁에서 작동하는 것으로 보이는 사회적 메커니즘을 발견할 수 있었다. 본 연구의 주요 결과는, [주요 교육과정의 블루프린팅]은 설계와 전달에 관련된 [다양한 형태의 자본과 사회적 입장]을 놓고 [위원회 구성원들의 권력투쟁]에 의해 실질적으로 형성된다는 것이다.
In this study, we applied the Bourdieuan concept of field to describe, analyse, and better understand the practices of members of a committee for blueprinting a major curriculum reform. Using this theoretical framework, in this qualitative, empirical study, we were able to dive beneath the surface of the experienced realities (Albert and Reeves 2010) of the committee members and uncover social mechanisms that appear to operate in major curriculum reform. Among this study’s main findings are that blueprinting a major curriculum is substantially shaped by the power struggles of the committee members over various forms of capital and social positions related to the design and delivery of the future curriculum.

부르디외의 분야 개념을 적용해보면, 교육과정위원회 위원들이 치열한 갈등과 경쟁에 가려져 그들의 업무를 경험한 것은 놀라운 일이 아니었다. 우리의 분석에 따르면, 부르디외의 분야 개념은 교육과정 개혁의 이면을 들여다볼 수 있는 눈을 뜨게 했다. 다른 사회 분야와 마찬가지로, 교육과정 위원회는 배우들이 권력을 획득하기 위해 고군분투하고 경쟁하는 장으로 등장했다(Bourdieu 1980). 분명히, 주요 교육과정 개편은 [기존의 구조와 계층, 즉 현재의 자본과 사회적 지위의 배분]을 무너뜨리고, 교육 프로그램과 주최 기관 모두에서 [미래의 권력 분배]에 큰 변화를 동반한다. 각 커리큘럼 위원회는 다른 사회 분야와 마찬가지로 [개별적이고 지역적인 맥락]에 포함embed되어 있습니다. 즉, 자체적인 조직 구조, 전통, 규칙 및 실습 옵션을 가지고 있습니다(Bourdieu 1977). 이러한 독특한 특성에도 불구하고, 부르디외의 분야 개념은 교육과정 위원회에서의 실습이 다른 분야와 동일한 사회적 역학을 나타낼 가능성을 허용한다. 즉, 위원회 구성원들은 [권력]과 [사회적 지위]를 유지하거나 획득하기 위한 자원을 놓고 경쟁할 것이다.
When applying Bourdieu’s concept of field, it turned out not surprising that the committee members experienced their work in the curriculum committee as overshadowed by intense conflicts and competition. In our analysis, Bourdieu’s concept of field became as an eye-opener that provided a look behind the scenes of the curriculum reform. Like any other social field, the curriculum committee emerged as an arena in which actors struggle and compete to acquire power (Bourdieu 1980). Evidently, major curriculum reform breaks up existing structures and hierarchies, i.e. the current allocation of capital and social positions, and is accompanied by major shifts in the future distribution of power in both the educational programme and the host institution. Each curriculum committee, like other social fields, is embedded in individual, local contexts, i.e. has its own organizational structures, traditions, rules and practice options (Bourdieu 1977). Despite these unique characteristics, Bourdieu’s concept of field allows the likelihood that the practice in a curriculum committee exhibits the same social dynamics as other fields; in other words, committee members will compete over resources to maintain or acquire power and social position.

부르디외에게, [의료 교육과정 분야의 권력]은 [합법적으로 좋은 의료 교육으로 간주되는 것을 정의할 수 있는 권한과 역량]에 해당하는 것으로 볼 수 있다. 우리의 주요 교육과정 개혁의 경우, 예를 들어, 프로그램이 좋은 교육이 무엇인지 [합법적으로 정의]하는 데 있어 [교수의 지배적인 역할]과 함께 [전통적인 학부 의학 훈련에 대한 고전적 가정]에 의문이 제기되었다. 우리의 경우, 개혁의 주요 동인인 의대생들은 교수와 학습에 대한 새로운 접근법을 도입했는데, 예를 들어 프로그램이 [통합적이고 학생 중심이며 실습 중심이어야 한다]고 제안함으로써 [좋은 의학 교육에 대한 새로운 정의]를 도입했다.
For Bourdieu, power in the field of medical curricula can be seen as being equivalent to the authority and capacity to define what is considered legitimately good medical education. In our case of major curriculum reform, classical assumptions of traditional undergraduate medical training were questioned, for instance, that the programme should be discipline-based, teacher-centred, and theory-focused, along with the dominant role of professors in legitimately defining what good teaching is. Medical students, in our case, the main drivers of the reform, brought in new approaches to teaching and learning, for instance, proposing that the programme be integrative, student-centred, and practice-focused, thereby introducing a new definition of good medical education.

부르디외의 현장 개념을 사용한다면, 교육과정위원회에서의 투쟁이 다소 의식적으로 실존적인 것으로 인식되었던 싸움인 거칠고 치열한 싸움으로 경험되었다는 것도 놀라운 일이 아닌 듯하다. 위원들이 개별적으로 또는 단체로 주요 교육과정 설계과정의 결과에 직접적인 영향을 받는 것은 분명하다. 이는, 이미 보고된 것처럼, 열띤 작업 분위기와 위원들이 모든 과정을 투덜대는 것으로 인식한 점을 설명한다. 주요 교육과정 개혁은 승자와 패자를 낳는다. 부르디외의 분야 개념은, 한 집단이 [지배력을 얻거나 잃는 자본의 유형과 양]에 직접 연결될 수 있기 때문에, [승패가 무엇을 의미하는지]에 대한 [유형적이고 점진적인tangible and gradual 조작화]를 가능하게 한다.
If Bourdieu’s concept of field is used, it also seems not surprising that the struggle in the curriculum committee was experienced as a tough and intense fight, a fight that was perceived more or less consciously as being existential. Obviously, the committee members, individually or as groups, are directly affected by the outcome of the major curriculum blueprinting process. This explains the reportedly heated working atmosphere and the fact that the committee members perceived the whole process as gruelling. Major curriculum reform generates winners and losers. Bourdieu’s concept of field allows a tangible and gradual operationalization of what winning and losing means, as it can be directly linked to the type and amount of capital one group gains or loses control over.

우리의 분석은 커리큘럼 계획 위원회의 작업이 다른 종류의 자본을 위한 투쟁에 의해 주도된다는 점에서 부르디외의 분야 개념과 일치한다. 더 일반적인 관점에서, 자원의 유형과 양은 그 분야에서 널리 가치가 있고 추구된다면 관련된 자본의 형태로서 자격을 얻을 수 있다. 교육과정계획위원회의 경우, 위원회가 권력 또는 사회적 지위를 얻기 위해 경쟁하거나 사용한 자본의 구체적인 형태를 확인했다. 한 가지 높은 가치를 지닌 형태는 [경제적 자본]이었다. 향후 교육과정에서 [할당된 교수시간을 통해 한 부서가 얻을 수 있는 교수진 직위의 수]로 조작화되었다. 가중점수(Multiplication factor)가 높은 강의나 세미나와 같은 교수형식은 가중점수가 절반에 불과한 PBL이나 의사소통훈련과 비교하여 경쟁률이 높았다. 또한 전통적인 강의와 세미나를 선호하는 것은 부서들이 그 분야-특이적인 [문화적 자본]을 유지할 수 있게 해주었다. 즉, 과목 전문가로서, 그들은 이러한 형식으로 교육 내용을 결정할 수 있었다. 결과적으로, [PBL] 또는 [환자 의사소통]과 같은 분야 독립적인 교육 형식은 부서 대표자들에 의해 평가절하되었다. 따라서, 부서 대표들은 전통적인 수업 형식의 분배를 놓고 서로 경쟁했고, 동시에 새로운 형식의 수업 시간을 줄이는 것을 선호했다.

Our analysis is in line with Bourdieu’s concept of field in that the work in a curriculum-planning committee is driven by a struggle for and with different kinds of capital. From a more general perspective, any type and amount of a resource can qualify as a relevant form of capital if it is widely valued and sought after within the field (Varpio and Albert 2013). In the case of the curriculum planning committee, we identified the specific forms of capital the committee competed over or used to gain power and/or social standing. One highly valued form was economic capital. It was operationalized as the number of teaching staff positions a department could obtain through the number of teaching hours allotted in the future curriculum. Teaching formats, such as lectures and seminars, with a high multiplication factor were competed over more than those such as PBL or communication training that had a multiplication level that was half as high. In addition, favouring traditional lectures and seminars allowed departments to maintain their discipline-specific cultural capital; in other words, as subject experts, they could determine the teaching content in these formats. In turn, discipline-independent teaching formats such as PBL or patient communication were less valued by the departmental representatives. Thus, departmental representatives competed with each other over the distribution of the traditional teaching formats and at the same time favoured reducing the number of teaching hours in the new formats.

학생들은 [사회적 자본](상호지원적인 팀에서 활동하고, 다른 위원회 구성원이나 그룹과 동맹을 맺고, 전체 학생들의 목소리를 이끌어냄)을 활성화함으로써 학과의 강력한 힘에 대항하고자 했다. 그들의 전략은 또한 그들이 권력을 가진 경제 자본(시간)의 활성화(밤샘 계산을 통해, 그들은 항상 준비되어 있었다)과 문화 자본(실행 중인 새로운 교육과정에 대한 지식, 복잡한 계산을 하는 특정 기술, 새로운 개념)에 기반을 두었다. 학생들은 PBL, 기술, 의사소통 훈련과 같은 새로운 교수법을 지지했다. 이는 그들의 문화적 자본에 긍정적인 영향을 미칠 것이고 따라서 의사로서 미래에 효과적으로 일할 수 있는 그들의 능력이다. 교육과정 관리자 대표들은 소수의 경제자본(직급 관련)에만 의존할 수 있었고, 문화자본(교육 및 교육과정 전문성)은 위원회 논의에서 큰 역할을 하지 못했다.

Students sought to counter-balance the strong power of the departments by activating their social capital (working in a mutually supportive team, building alliances with other committee members or groups, eliciting the voice of the whole student body). Their strategies were also built on the activation of the economic capital (time) over which they had power (through night-long calculations, they were always prepared) and of cultural capital (knowledge about the new curriculum in action, specific skills in doing complex calculations, new concepts). The students advocated for the new teaching formats, such as PBL, skills and communication training, that would have a positive impact on their cultural capital and therefore their ability to work effectively in the future as physicians. The curriculum manager representatives could rely on only minor amounts of economic capital (related to their positions), and their cultural capital (didactic and curriculum expertise) did not play a major role in the committee discussions.

또한, 우리의 분석은 교육과정 계획 위원회의 작업이 [사회적 지위를 위한 투쟁]에 의해 주도된다는 점에서 부르디외의 장 개념과 일치하며, 이는 다시 [의료 프로그램과 주최 기관 내의 권력 분배 및 위계]에 영향을 미친다. 우리의 경우, [전통적인 학문 기반 프로그램]을 [통합된 역량 기반 프로그램]으로 개혁하는 것은 [대학 내 권력과 위계]의 큰 변화를 수반한다는 것이 분명했다. 그 부서의 대표들은 지배적인 사회적 위치에서 왔기에, [좋은 의학 교육을 위한 새로운 아이디어]가 [오랜 시간 지속되어온 교육 관행]에 도전할 때 [권력의 상실]을 두려워했다. 그 분야에서 [지위가 높을수록 잃을 염려가 커지고], 비슷한 지위에 있는 사람들과 수평적으로, 그리고 학생들과 같이 낮은 지위에 있는 사람들과 수직적으로 모두 더 많은 갈등과 경쟁이 일어날 수 있다고 추측할 수 있다. 이러한 [두려움]과 [사회적 위계의 변화]는 주요 교육과정 개혁에서 자주 발생하는 변화에 대한 저항에 대한 설명을 제공할 수도 있다.
Furthermore, our analysis is in line with Bourdieu’s concept of field in that the work in the curriculum-planning committee is driven by a struggle for social position, which in turn has an impact on the power distribution and hierarchy within a medical programme and its host institution. In our case, it was evident that the reform of a traditional discipline-based programme into an integrated, competency-based programme was accompanied by a major shift in power and hierarchy within the university. The department representatives came from a dominating social position and feared a loss of power when new ideas for good medical education challenged their old teaching practices. One may speculate, the higher the position in the field is, the greater the fear of losing it and the more conflicts and competition may arise, both horizontally with those in similar high positions and vertically with those in lower positions, such as the students. This fear and change in social hierarchy may also provide some explanation to the resistance to change that frequently occurs in major curriculum reform (Mennin and Krackov 1998; Bland et al. 2000; Hawick et al. 2017; Reis 2018; Velthuis et al. 2018).

이 사례 연구 자체의 발견 외에도, 그 결과는 구성원들이 주요 교육과정 개혁과 관련된 사회적 메커니즘을 설계하기 위한 위원회를 탐색하는 방법에 대한 이해를 풍부하게 함으로써 주요 교육과정 개혁에 대한 문헌에 추가된다. 그들은 우리가 왜 주요 교육과정 개혁을 계획하는 것이 선형적이고 질서 있는 과정으로 전개되지 않는지 더 잘 이해할 수 있도록 도와준다. 연구 결과는 주로 결과 기반 설계와 같은 합리적 '계획 및 실행' 교육과정 개발 접근법을 보완한다. 그들은 이미 어느 정도 인적, 사회적 요인을 고려하고 있는 의료 교육과정 개혁에 적용되는 조직 변화 관리 접근법을 보완한다.
Beyond the findings of this case study itself, its results add to the literature on major curriculum reform by enriching our understanding of how members navigate committees for blueprinting major curriculum reform and the social mechanisms involved. They help us to better understand why planning a major curriculum reform does not unfold as a linear and orderly process (Hawick et al. 2017). The findings primarily complement rational ‘planning and executing’ curriculum development approaches such as outcome-based design. They complement organizational change management approaches applied to medical curriculum reform that already, to some degree, take into account human and social factors (Loeser et al. 2007; Arja et al. 2018; Maaz et al. 2018; McKimm and Jones 2018; Banerjee et al. 2019).

한계
Limitations

우리는 한 대규모 의과대학의 주요 교육과정 개혁위원회를 분석했다. 향후 연구는 우리의 연구 결과가 다른 위원회와 맥락으로 이전될 수 있는 정도를 검토할 필요가 있다. 교육과정 기획위원회가 작아서 우리는 목적적인 샘플링을 사용할 수 없었다. 그럼에도 불구하고 3개 위원회 그룹 모두 비교적 대표적이었고, 각 위원들은 그 과정에서 자신의 경험에 대해 풍부하고 광범위한 통찰력을 제공했다. 본 연구는 분야의 개념과 관련된 습관 개념에 대한 분석은 포함하지 않았다. 우리는 개별 사회적 행위자들의 습성에 대한 분석이 보다 포괄적인 질적 방법론적 접근을 필요로 할 것이며 향후 연구의 주제가 될 수 있다고 생각한다. 마지막으로, 위원회의 청사진 작성 과정과 인터뷰 사이의 간격은 인터뷰 내용을 방해했을 수 있다; 어떤 면은 기억되지 않았을 수 있고, 다른 면은 왜곡되었을 수 있다.
We analysed one major curriculum reform committee at one large medical university. Future studies need to examine the degree of transferability of our findings to other committees and contexts. The curriculum planning committee was small, so we could not employ purposive sampling. Nevertheless, all three committee groups were comparably represented, and each committee member provided rich and extensive insight into his or her experience during the process. This study did not include an analysis of the concept of habitus, which is related to the concept of field. We feel that the analysis of individual social agents’ habitus would require a more comprehensive qualitative methodological approach and could be the subject of future research. Finally, the interval between the committee blueprinting process and the interviews may have interfered with the content of the interviews; some aspects may not have been remembered, while others may have become distorted.

시사점
Implications

이 연구가 제공하는 통찰력은 주요 교육과정 개혁을 위한 제도적 계획을 안내하고 위원회에 있는 개인이 주요 교육과정 개혁을 설계하는 데 도움이 될 수 있다. 그 결과는 주요 교육과정 개혁을 위해 이러한 고위험 기획위원회를 탐색하는 복잡성에 더 잘 대처할 수 있도록 그들의 준비와 훈련의 기초로서 보완적인 역할을 할 수 있다. 근본적인 사회 메커니즘에 부르디외의 렌즈를 가진 개별 위원회 구성원이나 그룹을 귀속시키는 것도 주요 교육과정 변화의 과정과 결과에 유익한 영향을 미칠 수 있다.
The insights offered by this study can help to guide institutional planning for a major curriculum reform and assist individuals being on committees to blueprint a major curriculum reform. The results can serve in a complementary fashion as a foundation for their preparation and training so that they can better cope with the complexities of navigating such high-stakes planning committees for major curriculum reform. Vesting individual committee members or groups with Bourdieu’s lens on the underlying social mechanisms may also have a beneficial impact on the process and outcome of major curriculum change.

결론들
Conclusions

부르디외의 현장개념을 적용함으로써, 교육과정위원회에서 작동하면서, 주요 교육과정 개혁의 과정과 결과에 실질적인 영향을 미치는 [숨겨진 사회적 메커니즘]을 파악하고 발굴할 수 있었다. 경험이 풍부한 현실에서 볼 때, 교육과정 개혁은 좋은 의학교육에 대한 학문적 담론으로 보인다. 이러한 표면 아래에서 [미래 교육과정의 설계와 전달]과 관련된 [다양한 형태의 자본]과 [사회적 입장]을 놓고 위원회 구성원들 사이에 [치열한 권력 투쟁]이 벌어지고 있다. 우리의 연구 결과는 이러한 고위험 사업에 대한 현재의 이해를 보완하고 기관과 위원회 구성원들이 주요 교육과정 개혁의 복잡성을 더 잘 탐색하기 위해 활용할 수 있다.
Applying Bourdieu’s concept of field allowed us to identify and uncover hidden social mechanisms that operate in curriculum committees and have a substantial impact on the process and results of major curriculum reform. On the surface of experienced realities, curriculum reform appears to be an academic discourse about good medical education. Beneath this surface operates an intense power struggle among committee members over various forms of capital and social positions related to the design and delivery of future curriculums. Our findings complement the current understanding of this high-stakes undertaking and may be utilized by institutions and committee members to better navigate the complexity of major curriculum reform.

 


 

 

Med Teach. 2022 Apr;44(4):410-417. doi: 10.1080/0142159X.2021.1998403. Epub 2021 Nov 22.

 

 

A qualitative study applying Bourdieu's concept of field to uncover social mechanisms underlying major curriculum reform

Affiliations collapse

Affiliation

1Dieter Scheffner Center for Medical Education and Educational Research, Dean's Office of Study Affairs, Charité - Universitätsmedizin Berlin, Germany.

PMID: 34802364

DOI: 10.1080/0142159X.2021.1998403

Abstract

Purpose: Planning committees play a key role in blueprinting major curriculum reform. In this qualitative study, we apply Bourdieu's sociological concept of field to the perceptions of committee members to identify the social mechanisms operating in major curriculum reform.

Method: A planning committee with 18 members developed a blueprint for major curriculum reform at the Charité Berlin in its transition from a discipline-based programme to a fully integrated undergraduate medical programme. Interviews with 13 members about their experiences were subjected to inductive-deductive content analysis.

Results: Viewed through a Bourdieuan lens, the curriculum committee represents a social field of intense competition and conflicts. Groups of committee members struggled for and with different forms of economic, cultural and social capital to maintain and increase their power and social position in the medical programme. In our case, the major reform was accompanied by loss of power within the teaching department group, while the student group gained power.

Conclusion: Bourdieu's concept of field reveals that a major curriculum reform is substantially shaped by power struggles over various forms of capital and social positions related to the future curriculum. The findings may serve as a complementary guide for those navigating the complexity of major curriculum reform.

Keywords: Curriculum reform; Pierre Bourdieu; curriculum committee; social theory.

 

협력적 수행능력의 상호의존성 측정의 접근법(Med Educ, 2021)
A scoping review of approaches for measuring ‘interdependent’ collaborative performances
Stefanie S. Sebok-Syer1 | Jennifer M. Shaw2 | Farah Asghar3 | Michael Panza4 | Mark D. Syer5 | Lorelei Lingard6

1 소개
1 INTRODUCTION

임상 성과Clinical performance 는 근본적으로 협업적입니다. 그러나 임상 성과의 평가는 근본적으로 개인주의적이다. 이것은 의학 교육에 심오한 의미를 갖는 개념적 역설이다. 우리는 시스템, 팀 및 관계의 중요성을 인정하지만 전통적인 평가 모델을 사용하여 이를 설명하지는 못한다. 평가는 종종 [복잡한 수행능력의 인위적인 단순화]로 간주되지만, 우리는 [복잡한 수행능력의 진정성]을 풍부하게 하기 위해 고군분투한다. 우리는 평가 데이터에서 [설명되지 않은 '노이즈']가 더 높은 수준의 패턴을 반영할 수 있다고 의심하지만, 우리는 그것을 이해할 이론이 부족하다. 이 역설을 해결하기 전까지는 효과적인 협업 의료 제공에서 개인의 역할을 의미 있고 진정으로 나타내는 강력한 평가를 제공할 수 없다.
Clinical performance is fundamentally collaborative. However, the assessment of clinical performance is fundamentally individualist. This is a conceptual paradox with profound implications for medical education. We acknowledge the importance of systems, teams and relationships, but we fail to account for them with our use of traditional assessment models. Assessments are often regarded as artificial simplifications of complex performances, but we struggle to enrich their authenticity. We suspect that the unexplained ‘noise’ in assessment data may reflect higher-level patterns, but we lack theory to make sense of it. Until we address this paradox, we cannot provide individuals with robust assessments that meaningfully and authentically represent their role in effective collaborative healthcare delivery.

직장 기반 임상 환경에서 개인은 협업 팀의 일부로 작업하며, 성과는 한 사람에게만 쉽게 귀속될 수 없다. 이 과제를 해결하기 위해 노력하는 연구자들은 팀의 '집단적 역량', 감독자, 다른 팀 구성원 및 시스템 요소와의 훈련생의 '상호 의존성', 임상 팀 성과에 대한 훈련생의 기여에 대해 설명했다. 그러나 이러한 노력의 지배적인 배경은 독립적 성과에 대한 강한 집중과 암묵적인 가정을 가진 평가 담론으로 남아 있다. 그 밖의 모든 것은 많은 통계적 모델에서 독립성의 가정에 도전하고 개인의 역량을 문서화하는 주요 목표를 훼손하기 때문에, 전통적으로 '통계적으로 성가신 것'로 간주된다. 이 목표는 필요하지만 충분하지 않습니다. [개별 성과]는 서로를 [보완 또는 모순, 수렴 또는 발산, 정교화 또는 약화]할 수 있기 때문에, 높은 품질의 의료 서비스는 [성과 간의 관계]를 이론화하고 측정할 수 있어야 합니다.
In workplace-based clinical settings, individuals work as part of a collaborative team, and performance cannot easily be attributed to one person alone.1-3 Researchers grappling with this challenge have described the ‘collective competence’ of a team,4 the ‘interdependence’5 of trainees with supervisors, other team members and system factors,6 as well as the contribution of trainees to clinical team performance.7 Yet the dominant backdrop to these efforts remains an assessment discourse with a strong focus on—and tacit assumption of—independent performances.8-10 Anything else is conventionally viewed as a ‘statistical nuisance’11 because it challenges the assumption of independence in many statistical models and detracts from the primary goal of documenting the competence of individuals. This goal is necessary but insufficient: high-quality health care requires that we are able to theorise—and measure—relationships among performances because individual performances can complement or contradict, converge or diverge, elaborate or undermine each other.12

[상호 의존성]의 구성을 둘러싼 복잡성은 임상 성과의 개념적 역설과 함께 추가적인 도전을 제시한다. 다양한 분야의 연구자들이 다양한 의미를 전달하기 위해 '상호의존'이라는 용어를 사용하게 되면서 일반적인 모호성을 초래했다. 연구자들 사이의 용어와 접근 방식의 가변성은 평가를 더 어렵게 만드는 데 기여할 수 있다. 넓게 봐서, [상호의존성]은 [경험과 결과에 영향을 미치는 개인 간의 상호작용 패턴]으로 특징지을 수 있다. 이 연구의 목적과 특히 의료 교육에 적용하기 위해, 우리는 [상호 의존성]을 [협력적으로 작업하여, 개인의 성과를 내게 하거나afford, 제한하고contrain, 잠재적으로 더 광범위한 의료 팀의 실천을 형성할 수 있는 개인 간의 상호 작용 패턴]으로 특징지었다.
The complexity surrounding the construct of interdependence presents an additional challenge alongside the conceptual paradox of clinical performance. Researchers from numerous disciplines have used the term ‘interdependence’ to convey various meanings, leading to general ambiguity.13 The variability in both terminology and approaches among researchers may contribute to assessment challenges. Broadly, interdependence can be characterised as patterns of interactions among individuals that influence experience and outcomes.14 For the purposes of this work and application to medical education specifically, we characterise interdependence as patterns of interactions between individuals, working collaboratively, that can afford or constrain one's performance and potentially shape the practice of a broader healthcare team.

우리가 아는 바로는, 현재 의학 교육에서 더 큰 그룹의 일부로 함께 일하는 개인들 사이에 관계가 존재하는 성과를 특성화하고 측정하기 위한 단일 접근법은 존재하지 않는다. 그러나 다른 많은 분야는 협업 성과를 평가하는 과제와 씨름하고 있으며, 그들의 노력은 유망한 접근 방식을 조정하고 지속적인 지식 격차를 목표로 하는 측면에서 우리 자신에게 알려야 한다.
To our knowledge, no single approach currently exists in medical education to characterise and measure performances where relationships exist among individuals working together as part of a larger group. However, many other disciplines are grappling with the challenge of assessing collaborative performance, and their efforts ought to inform our own, both in terms of adapting promising approaches and targeting persistent knowledge gaps.

2 방법
2 METHODS

우리는 다음 연구 질문을 해결하기 위해 범위 검토를 수행했다. 협업적이고 상호의존적인 성과를 의미 있게 평가하기 위해 어떤 측정 접근법이 존재하는가? 범위 검토는 연구 영역을 뒷받침하는 핵심 개념과 이용 가능한 증거의 주요 출처 및 유형을 매핑한다. 그것들은 이전에 검토되지 않은 분야의 문헌을 검토할 때 유용하다. 후속 조사 결과 분석의 깊이는 검토의 목적에 따라 달라진다. 정량적 체계적 검토와 같은 다른 유형의 검토와 달리 [범위 검토]는 연구 증거의 품질을 평가하지 않는다. 그러나 개별 연구의 강점과 한계를 고려하고 기존 지식의 체계를 비판한다. 우리는 주제에 대한 문헌을 검토, 요약 및 합성하기 위해 아크시와 오말리의 5단계 범위 검토 방법론을 따랐고 이 접근법에 대해 인정된 엄격성 원칙을 따랐다. 우리의 해석은 Levac 등이 권고한 비공식 이해관계자 협의에 의해 강화되었다. 
We conducted a scoping review to address the following research question: What measurement approaches exist to meaningfully assess collaborative, interdependent performance? Scoping reviews map the key concepts underpinning a research area and the main sources and types of evidence available. They are useful when reviewing literature in areas that have not been reviewed before. The depth of the subsequent analysis of findings depends on the purpose of the review. Unlike other types of reviews, such as quantitative systematic reviews, a scoping review does not appraise the quality of research evidence. However, it does consider the strengths and limitations of individual studies and critique the existing body of knowledge. We followed Arksey and O’Malley's five-stage scoping review methodology to review, summarise and synthesise the literature on a topic15 and followed accepted principles of rigour for this approach.16 Our interpretations were enriched by informal stakeholder consultations, as recommended by Levac et al.17

2.1 검색 전략
2.1 Search strategy

우리는 모든 분야에서 상호의존성의 구성을 측정하는 문헌을 식별하기 위한 검색 전략을 개발했다. 주요 용어: 협업 학습, 그룹 프로세스, 협력 행동, 교육 측정, 상호 작용 패턴, 팀워크, 다이애드 성과 모델링 및 그룹 성과 평가. 이러한 용어는 범위 검토 전문가의 권고에 따라 검토가 진행됨에 따라 수정 및 수정되었다.15 연구 사서의 지원을 받아 2018년 10월 ERIC, CINAHL, Academic Search Complete, PsycINFO 및 Medline의 5개 데이터베이스에 걸쳐 검색을 구현했다. Medline에 대한 검색 문자열은 부록 1에 설명되어 있습니다. 다른 모든 검색 문자열은 각 추가 데이터베이스의 구문 및 어휘로 변환되었습니다.
We developed a search strategy to identify literature on measuring the construct of interdependence from any discipline. Key terms included: collaborative learning, group process, cooperative behaviour, educational measurement, interaction patterns, teamwork, modelling dyad performance and assessing group performance. These terms were revised and adapted as the review progressed, as recommended by scoping review experts.15 With the support of a research librarian, we implemented the search in October 2018 across five databases: ERIC, CINAHL, Academic Search Complete, PsycINFO and Medline. The search string for Medline is included as illustration in Appendix 1. All other search strings were translated into the syntax and vocabulary of each additional database.

2.2 포함 및 제외 기준
2.2 Inclusion and exclusion criteria

우리는 모든 연도의 출판물과 이론 또는 응용 분야를 포함했다. 우리는 상호의존적 협업 성과의 측면을 측정하고 접근 방식이 어떻게 개발되었는지 이해할 수 있는 측정 또는 모델에 대한 충분한 세부 정보(복제할 수 있을 정도로)를 제공하는 작업을 추구했다.
We included any publications from all years and any domain of theory or application. We sought work that measured an aspect of interdependent collaborative performance and supplied sufficient details (ie enough to replicate) about the measure or model that we could understand how the approach was developed.

[개인의 성과만]을 측정하거나 [팀의 성과만]을 측정하는 작업은 제외했습니다. 팀 성과 측정과 상호의존적 성과 측정의 차이는 우리의 선정 과정에서 매우 중요했다. [팀 성과 측정 도구]는 [개별 구성원의 성과 격리 능력]을 제한하는 그룹 수준 결과에 초점을 맞춘다는 점에서 의료 훈련생 평가에 적합하지 않다. 초점의 측면에서, 그런 도구의 지향점은 팀 전체이다. 예를 들어, 의사소통의 차원은 일반적으로 개인에게 '환자 치료에 대한 팀원 간의 효과적인 의사소통이 있다'와 같은 진술에 동의하는 리커트 척도로 점수를 매길 것을 요청함으로써 평가된다. 이 구조는 개인의 기여를 포착하고 측정하는 방식으로 [둘 이상의 개인의 협력 결과를 조사하는 상호의존성 측정]과는 구별된다.
We excluded work that measured only individual performance or only team performance. The distinction between measuring team performance and measuring interdependent performance was critical to our selection process. Team performance measurement instruments are unsuitable for medical trainee assessment given their focus on a group-level outcome, which limits the ability to isolate the performance of individual members. In terms of focus, their orientation is the team-as-a-whole. For example, the dimension of communication is commonly assessed by asking individuals to score on a Likert scale their agreement with statements such as ‘There is effective communication between team members about patient care’.18 This construct is distinct from measures of interdependence, which examine a collaborative outcome from two or more individuals in a way that also captures and measures individual contributions.

특정 분야의 수많은 논문(예: 비즈니스 및 시뮬레이션)은 그룹 성과(예: 팀 성과, 응집력) 또는 개인 성과(예: 학습 인식)에 대한 유일한 초점을 고려할 때 제외되었습니다. 또한 측정 측면이 없는 작업(예: 커리큘럼 설명), 상호 의존성과 관련이 없는 교육적 측정(예: 전문가와 초보자 성과 간의 차이), 측정 애플리케이션을 설명하기 위한 경험적 데이터가 없는 완전한 개념적 작업, 영어 이외의 언어로 작업, 전체 원고를 얻을 수 없는 연구를 제외했다.
Numerous articles from certain fields (eg business and simulation) were excluded given their sole focus on group outcomes19 (eg team performance, cohesiveness) or individual outcomes20 (eg perceptions of learning). We also excluded work with no measurement aspect (eg curriculum descriptions), educational measurement not related to interdependence (eg differences between expert and novice performance), wholly conceptual work with no empirical data to illustrate a measurement application, work in languages other than English, and studies where the full manuscript was unavailable.

2.3 심사 및 선정
2.3 Screening and selection

세 명의 저자(SSS, FA, JMS)가 포함 및 제외 기준을 적용하여 제목과 요약(n = 10254)을 선별했다. 전체 텍스트 스크리닝(n = 131) 다음에 두 명의 저자(SSS, MDS)가 나옵니다. 두 선별 단계에서 두 명의 훈련된 검토자가 포함 및 제외 기준을 반영하기 위해 개발한 선별 가이드를 사용하여 각 기록을 선별했다. 불일치는 세 번째 검토자에 의해 해결되었다. 총 24개의 인용구가 포함 기준을 충족했다. 2020년 10월, 우리는 동일한 절차에 따라 검색을 업데이트했다. 최종 숫자가 표시된 PRISMA 다이어그램은 그림 1에서 확인할 수 있습니다. 3명의 저자(SSS, JMS 및 MP)가 제목 및 요약(n = 1598)에서 각 레코드를 선별했으며, 3명의 저자(SSS, MP 및 MDS)는 전체 텍스트 선별 단계(n = 30)에 참여하여 추가로 2개의 인용문을 제공했다. 포함된 26개의 모든 기록의 서지 목록은 관련 참고 자료를 손으로 검색했다: 14개의 제목과 요약본이 상영되었지만, 전문으로 진행된 것은 없었다. 마지막으로, 7개의 기사가 주요 정보원에 의해 추천되었고 1개는 추출에 성공하여 우리의 범위 검토 총 27개의 기사가 되었습니다. 이 범위 검토에 포함된 문헌 목록은 표 1에서 확인할 수 있다. 
Three authors (SSS, FA and JMS) screened titles and abstracts (n = 10 254), applying inclusion and exclusion criteria. Full-text screening (n = 131) followed by two authors (SSS, MDS). At both screening stages, two trained reviewers screened each record using a screening guide we developed to reflect inclusion and exclusion criteria. Discrepancies were resolved by a third reviewer. A total of twenty-four citations met inclusion criteria. In October 2020, we updated the search following the same procedures. The PRISMA diagram with final numbers can be found in Figure 1. Three authors (SSS, JMS and MP) screened each record at the titles and abstracts (n = 1598), and three authors (SSS, MP and MDS) engaged in full-text screening stages (n = 30), yielding an additional two citations for inclusion. The bibliographies of all twenty-six included records were hand searched for relevant references: fourteen titles and abstracts were screened, but none progressed to full text. Finally, seven articles were recommended by our key informants and one made it through to extraction bringing our scoping review total to twenty-seven articles. A list of the literature included in this scoping review is available in Table 1.

 

2.4 데이터 도표 작성 및 분석
2.4 Data charting and analysis

우리는 선택된 기록의 특징을 도표화하기 위해 내용과 주제 분석의 방법을 사용하여 서술적 분석을 수행했다. 반복적인 프로세스에 따라, 우리(SSS, JMS, LL)는 데이터 추출을 조직하고 연구 질문 및 목적과 일치하는지 확인하기 위해 데이터 차트 양식을 개발, 파일럿 및 업데이트했다. 우리는 기사 유형, 분야, 적용 맥락, 방법, 이론적 개념, 측정 기법, 임상 훈련 맥락에 대한 조치의 적용 가능성, 그리고 그러한 적용과 관련된 촉진 및 제한 요인에 대한 각 기록을 분석했다. 세 명의 검토자(SSS, JMS, LL)가 독립적으로 각 레코드의 데이터를 차트화하여 정기적으로 회의를 열어 프로세스를 논의했다. 특정한 전문성이 필요한 경우, 세 번째 검토자도 기록을 도표화했습니다. 예를 들어, 고급 수학 공식을 포함하는 기록이 있는 경우, MDS는 이러한 전문성을 제공했습니다.
We conducted a descriptive analysis using methods from content and thematic analysis21 to chart the features of the selected records. Following an iterative process,16 we (SSS, JMS, LL) developed, piloted and updated a data charting form to organise data extraction and ensure it was consistent with the research question and purpose.10 We analysed each record for article type, discipline, context of application, method, theoretical concepts, measurement techniques, applicability of the measures to the clinical training context, and facilitating and limiting factors related to such application. Three reviewers (SSS, JMS, LL) independently charted the data for each record, meeting regularly to discuss the process. Where particular expertise was required, a third reviewer also charted the record: for instance, where a record included advanced mathematical formulas, MDS provided this expertise.

2.5 이해관계자 협의
2.5 Stakeholder consultation

우리는 범위 검토 방법론의 여섯 번째 단계인 이해관계자와의 협의를 수행했다. Levac 등의 권고에 따라 이 단계에 대한 명확한 목적을 설정하고 예비 지식 전달 메커니즘으로 처리했다. 우리의 목적은 세 가지였다: 검토에서 명백한 것을 놓친 것이 있는지 확인하고, 이해관계자에게 패턴에 대한 우리의 해석이 타당한지 탐구하고, 그 결과가 임상 훈련 환경에 어떻게 적용될 수 있는지에 대해 그들을 참여시키는 것이었다. 이해관계자 협의는 인터넷 기반 화상회의를 통해 이루어졌으며, 1개의 그룹 발표와 5개의 개별 토론이 포함되었다. 그룹 발표는 50명 이상의 의학 교육 연구 이사회 회원, 검토 후원자 및 협업 임상 상황에서 훈련생 성과를 평가하는 문제에 익숙한 의료 교육 분야의 리더들과 함께 했다. 의학교육평가 전문가 2명, 의학교육 경험이 있는 통계학자 2명, 검토(즉 사회심리학)에서 대표되는 학문인 사회심리학 학자 1명 등 이해관계자의 목적적 표본을 중심으로 5건의 개별 대화가 진행됐다. 개별적인 대화에 앞서, 이해 관계자들은 우리의 주요 연구 결과에 대한 비디오 프레젠테이션을 시청했고 또한 검토를 위해 추출 요약 표를 받았다. 두 명의 연구원(SSS, LL)이 개별 토론을 진행했고, 한 명은 손으로 쓴 메모를 했다. 
We conducted a sixth stage of scoping review methodology: consultation with stakeholders. Following the recommendations of Levac et al,10 we established a clear purpose for this stage and treated it as a preliminary knowledge transfer mechanism. Our purpose was three-fold: to help identify whether we had missed anything obvious in the review, to explore whether our interpretation of patterns made sense to stakeholders and to engage them in reflecting on how the findings might apply to the context of clinical training environments. Stakeholder consultation took place over an Internet-based video conference and included one group presentation and five individual discussions. The group presentation was with 50+ members of the Society of Directors of Research in Medical Education, funders of the review and leaders in the medical education field who are familiar with the challenges of assessing trainee performance in collaborative clinical contexts. Five individual conversations took place with a purposive sample of stakeholders, including two medical education assessment experts, two statisticians with experience in medical education, and one scholar from social psychology, a discipline represented in the review (ie social psychology). Prior to individual conversations, stakeholders watched a video presentation of our main findings and were also sent the extraction summary table for review. Two researchers (SSS, LL) conducted the individual discussions, with one taking handwritten notes.

이 검토에서 공식적, 오디오 녹음 및 전사된 인터뷰에 대한 재정적 자원이나 윤리적 승인이 없었기 때문에, 우리는 참가자들에게 우리가 오디오 녹음도 안 하며, 말한 내용을 인용도 하지 않을 것이라고 알렸다. 따라서, 우리는 이해관계자 협의 단계의 전통적이고 인용된 '결과'를 제시하지 않는다. 오히려 이 단계를 사용하여 2020년 데이터베이스 검색 업데이트를 알리고 임상 환경에서 상호 의존적인 훈련생 성과를 측정하기 위한 연구 결과의 의미를 논의했다.
Given that we had neither financial resources nor ethical approval for formal, audiorecorded and transcribed interviews in this review, we informed participants that we would be neither audio recording nor using verbatim quotes. Therefore, we do not present conventional, quoted ‘results’ from the stakeholder consultation phase. Rather, we used this phase to inform our 2020 update of the database search and discussion of the findings’ implications for measuring interdependent trainee performance in clinical settings.

3 결과
3 RESULTS

검색은 2018년 10월에 수행되었으며 2020년 10월에 업데이트되었다. 스터디 선택 프로세스의 흐름도는 그림 1에 나와 있습니다. 최초 및 업데이트된 검색 결과 총 12732개의 기사가 검색되었습니다. 880건의 중복 배제 후 2명의 저자가 제목과 추상적 수준의 기사 11852건을 심사한 데 이어 포함·배제 기준에 반대하는 기사 161건에 대한 전문 심사가 이어졌다. 이해관계자 권고사항에 따라 추가 기사가 작성되었다. 총 27개 기사가 포함되도록 선정되었으며 각 기사의 관련 세부사항은 보충 자료 표 S1에서 확인할 수 있다.
Searches were conducted in October 2018 and updated in October 2020. A flow chart of the study selection process is provided in Figure 1. The initial and updated search resulted in a total of 12 732 articles. After the removal of 880 duplicates, two authors screened 11 852 articles at the title and abstract level, followed by a full-text review of 161 articles against the inclusion and exclusion criteria. Stakeholder recommendations yielded an additional article for inclusion; in total, twenty-seven articles were selected for inclusion and relevant details from each article are found in Supplementary Material Table S1.

논문 유형과 관련하여, 18개의 포함된 연구는 경험적이었고 9개는 경험적 삽화가 있는 개념적이었다. 경험적 측정 접근법을 위해 기법은 (a) 서술적/탐색적, (b) 추론적/예측적의 두 가지 범주로 구분되었다.

  • [서술적이고 탐색적인 접근법]은 데이터의 요약과 표현을 의미 있는 방식으로 제시함으로써 데이터에 대한 기본적인 이해를 제공한다.
  • [추론적이고 예측적인 접근법]은 미래의 성능을 예측하고, 패턴을 설정하고, 데이터 간의 관계를 정량화할 수 있는 기회를 제공한다.

Regarding article type, eighteen included studies were empirical and nine were conceptual with an empirical illustration. For the empirical measurement approaches, techniques were divided into two categories: (a) descriptive/exploratory and (b) inferential/predictive.

  • Descriptive and exploratory approaches provide a basic understanding of data by presenting summaries and representations of data in meaningful ways.
  • Inferential and predictive approaches provide an opportunity to predict future performance, establish patterns and quantify relationships among data.

18개 연구의 대부분은 정량적 방법론을 사용했다. 예를 들어, 한 연구는 유쾌하고 갈등적인 상호작용 과제 동안 우울증이 있는 어머니-딸의 다이애드 사이의 생물행동 동기화의 장애를 평가하는 통제된 실험을 포함했다. 15개의 연구에서는 각 그룹 구성원에게 크레딧을 할당하고 특정 그룹 구성과의 차이를 속성화하기 위해 1차원 및 다차원 항목 응답 모델을 사용한 연구와 같은 모델 테스트 방법론을 사용하였다. 발리우드 산업 내의 복잡한 사회 구조의 일부로서 개인을 조사하기 위해 네트워크 분석을 활용한 연구를 포함한 두 가지 연구가 탐색적 연구였다. 나머지 9개 연구는 혼합 방법 접근법을 사용했다. 예를 들어, 한 연구는 사회 중심적 질적 인터뷰와 사회 그래프를 사용하여 노인들 사이의 사회적 통합을 보조 생활에서 측정했다. 
The majority of studies (ie eighteen) used quantitative methodology. For instance, one study involved a controlled experiment assessing disruptions in biobehavioural synchrony between depressed mother/daughter dyads during pleasant and conflict interaction tasks.22 Fifteen studies used model testing methodologies, such as a study using unidimensional and multidimensional item response models to assign credit to each group member and to attribute differences from specific group configurations.23 Two studies were exploratory studies, including one that utilised a network analysis to examine individuals as part of a complex social structure within the Bollywood industry.24 The remaining nine studies used mixed-method approaches. For example, one study used sociocentric qualitative interviews and sociograms to measure social integration among older adults in assisted living.25

논문 중에는 교육 9개, 심리 9개, 컴퓨터 과학 5개, 수학 2개, 생물학 2개 등 다양한 분야가 대표적이었다. 또한 온라인 학습, 스포츠 수행, 상담 및 시뮬레이션을 포함하여 연구에 따라 적용 맥락이 다양했다.

  • 교육기사 중 하나는 [비동기식 토론집단을 연구하는 맥락에서 다단계 모델링을 적용한 실제 사례]를 제시했다.
  • 심리학 분야의 논문은 [가상 그룹 내의 비공식적인 의사소통을 통한 네트워크 자기관련성network autocorrelation이 온라인 게임에서 개인의 작업 성취에 어떻게 영향을 미치는지] 탐구했다.
  • 컴퓨터 과학 분야에서는 [협업에 대한 피드백을 통해 자기 성찰과 감각 만들기를 촉진하기 위해 학생들의 온라인 협업 관행]을 설명하고자 하는 글이 시도되었다.
  • 수학 분야의 한 논문은 상호작용이 표본의 다른 개인과 비교하여 파트너를 더 유사하게 만드는지 여부를 조사했다.
  • 마지막으로, 생물학 분야에서, 한 기사는 [스포츠 팀]을 기능적으로 통합된 '슈퍼 유기체'로 개념화하여 고도로 조정된 협력 선수들이 단일 사회 단위로 어떻게 집단적으로 작동할 수 있는지에 대한 설명을 제안했다.

Various disciplines were represented among the articles, including nine from education, nine from psychology, five from computer science, two from mathematics, and two from biology. Additionally, the context of application varied across studies, including online learning, sports performance, counselling, and simulation.

  • Among the education articles, one presented a practical example of applying multi-level modelling in the context of studying asynchronous discussion groups.26 A
  • An article from the discipline of psychology explored how network autocorrelation, via informal communication within a virtual group, affected an individual's task achievement in an online game.27 
  • From the computer science discipline, an article attempted to illustrate students’ online collaboration practices, in order to promote self-reflection and sense-making through feedback about collaboration.28 
  • An article from the mathematics discipline examined whether interactions cause partners to become more similar compared to other individuals in the sample.29 
  • Lastly, from the discipline of biology, an article conceptualised sport teams as functionally integrated ‘superorganisms’, proposing an explanation of how highly coordinated collaborating players might collectively operate as a single social unit.30 

이론적 개념과 관련하여 세 가지 주요 범주가 나타났다. 다이애드에 초점을 맞춘 기사(8개 기사), 다이애드보다 큰 그룹(11개 기사), 네트워크(8개 기사).
Regarding theoretical concepts, three main categories emerged: articles focused on dyads (8 articles), groups larger than dyads (11 articles) and networks (8 articles).

세 가지 주요 이론적 범주에서 각각 다양한 핵심 개념이 등장했다.

  • [다이애드]를 다룬 논문의 경우, 핵심 개념은 배우-파트너 상호작용 모델, 생물행동 동기화, 심리생물학적 조정, 협업 상호작용 유형, 긍정적 및 부정적 상호작용 유형, 누적 경험, 동기화, 일관성, 상호조절, 연결 및 교환 가능한 다이애드 멤버였다. 
  • [그룹]에 초점을 맞춘 기사와 관련하여, 핵심 개념은 협업 학습 모델, 입력-과정-결과 모델, 행위자-파트너 상호작용 모델, 영향력 및 시간적 의존성이었다. 
  • 마지막으로, [네트워크로서의 그룹]을 연구하는 논문의 경우, 핵심 개념은 정도 중심성, 초 유기체, 무작위 행렬 이론, 중앙 집중화, 상태 이론, 소셜 네트워크 이론 및 네트워크 자기 상관 모델이었다. 

Various key concepts emerged from each of the three main theoretical categories.

  • For articles addressing dyads, key concepts were the actor-partner interaction model,26, 31 biobehavioural synchrony,20 psychobiological attunement,20 collaborative interaction types,32 positive and negative reciprocity,28 cumulative experience,33 synchrony,34 coherence,31 coregulation,31 linkage31 and distinguishable vs. exchangeable dyad members.26 
  • Regarding articles that focused on groups, the key concepts were collaborative learning models,35 input-process-outcome models,36 actor-partner interaction model,2628 influence37 and temporal dependence.38 
  • Lastly, for articles studying groups as networks, key concepts were degree centrality,223439-41 superorganism,27 random matrix theory,16 centralisation,36 status theory,38 social network theory223436-3842 and network autocorrelation model.24 

행위자-파트너 상호작용 모델중심성 정도degree centrality은 두 개 이상의 논문에서 나타난 유일한 이론적 개념이었다.

  • 행위자-파트너 상호작용 모델은 적절한 통계 기법을 상호의존성의 개념적 관점과 결합하면서 이원적 관계를 나타낸다. 행위자 효과는 개인의 특성에 대한 척도가 그들 자신의 결과를 예측할 때 발생한다. 파트너 효과는 개인의 결과가 파트너의 이전 행동에 의해 예측될 때 발생한다. 이 핵심 개념은 심리학 분야의 두 기사에서 나타났으며, 둘 다 적용의 상담 맥락 안에 있었다.
  • 소셜 네트워크 분석에서의 중심성 정도는 특정 노드가 포함하는 연결 수를 말하며, 네트워크에서의 중심성을 나타냅니다. 학위 중심성을 포함한 6개의 논문 중 4개는 심리학 분야에서 나왔고, 1개는 컴퓨터 과학 분야에서, 1개는 교육 분야에서 나왔다.

The actor-partner interaction model and degree centrality were the only theoretical concepts that appeared in more than one article.

  • The actor-partner interaction model represents dyadic relationships while combining appropriate statistical techniques with a conceptual view of interdependence.43 The actor effects occur when a measure of individual's characteristics predicts their own outcome. The partner effects occur when an individual's outcome is predicted by a partner's earlier behaviour. This key concept appeared in two articles from the discipline of psychology, both within the counselling context of application.2844 
  • Degree centrality within social network analysis refers to the number of connections a specific node contains, indicating its centrality in a network. From the six articles that included degree centrality, four were from the discipline of psychology,2236-38 one from the discipline of computer science39 and one from the discipline of education.34

설명적 추출과 함께, 개념과 기법이 임상 맥락에 어떻게 적용될 수 있는지, 그리고 그러한 적용과 관련된 제한 또는 촉진 요인과 같은 해석적 추출 질문이 포함되었다. 우리는 다이애드 측정, 소셜 네트워크 매핑, 데이터 마이닝 및 기계 학습의 세 가지 반복 개념을 참조하여 해석적 추출 결과를 설명할 것이다. 이 세 가지 개념은 각각 여러 논문에 등장했으며 의학 교육에 잠재적으로 유익한 적용을 제공한다.
Alongside the descriptive extraction, interpretive extraction questions were included, such as how concepts and techniques might be applied to the clinical context, and the limiting or facilitating factors related to such application. We will illustrate the results of the interpretive extraction with reference to three recurring concepts:

These three concepts each appeared in multiple papers and offer potentially fruitful application to medical education.

[다이애드 측정]과 관련하여, 임상 결과의 얼마나 많은 부분이 전공의에게 기인하는지 분석하는 것과 같이, 감독자/전공의상호 의존성에 대한 작업을 추가하기 위해 측정 모델을 구축하는 데 접근법을 활용할 수 있다. 예를 들어, 한 기사는 개인 단위와 결합된 공연 단위로서 짝을 이룬 선수들 사이의 관계를 보여주는 경쟁적인 치어리더 공연을 포함했다. 한 가지 제한 요인은 고유한 쌍의 반복 성능을 얻을 수 없다는 것입니다. 촉진 조건은 정의되고 측정될 수 있는 결과(예: 시간 및 효율성)를 포함한다.
Regarding dyad measurement, approaches could be utilised to build measurement models to further our work on supervisor/resident interdependence, such as parsing out how much of a clinical outcome is attributable to a resident. For example, one article involved competitive cheerleading performances that demonstrated the relationships between paired athletes as individual and combined performing units.42 One limiting factor would be the inability to get repeat performances of unique pairs. A facilitating condition includes an outcome that can be defined and measured (eg time and efficiency).

[소셜 네트워크 매핑]과 관련하여 접근법을 사용하여 특정 임상 활동에 참여하는 개인을 매핑하여 상호의존성의 축이 가장 강한 위치(예: 중심성)를 입증할 수 있다. 예를 들어, 한 기사의 분석에는 팀의 성과에 가장 중요한 사람이 누구인지를 결정하기 위해 각 개별 행위자가 있는 시뮬레이션과 없는 시뮬레이션이 포함되었다. 잠재적 한계에는 각 개별 에이전트의 행동이 집단 성과에 동일하게 기여한다는 가정이 포함되며, 이는 임상 훈련 환경에서 적용되지 않을 수 있다. 촉진 요인에는 대학원 교육 프로그램에서 볼 수 있는 소규모 샘플(즉 ~ 30개) 사이의 효과 가능성이 포함된다.
Regarding social network mapping, approaches could be used to map individuals engaging in a particular clinical activity, demonstrating where the axes of interdependence are strongest (eg centrality). For example, analysis in one article involved simulations with and without each individual actor to determine who was most critical to the team's performance.39 A potential limitation includes the assumption that each individual agent's behaviour contributes equally to collective performance, which may not hold true in clinical training environments. A facilitating factor includes the possibility of effectiveness among smaller samples (ie ~30) such as might be seen in postgraduate training programmes.

[데이터 마이닝 및 기계 학습]과 관련하여, 클릭을 분석하기 위해 전자 건강 기록(EHR)과 같은 기존 데이터베이스와 함께 접근법을 사용할 수 있다. 예를 들어, 온라인 협업 글쓰기 과제와 관련된 한 기사는 수정 횟수와 수행된 변경의 길이를 정량화하여 학생들의 상호작용과 기여를 조사했다. 한 가지 잠재적인 제한 요소는 컴퓨터화된 데이터 환경의 필요성입니다. 또 다른 문제는 온라인 학습 연구에서 임상 환경으로 데이터를 변환하는 데 어려움이 있다는 것입니다. 연구자들은 간단하고 셀 수 있지만 관련성이 있고 의미 있는 EHR 작업을 식별할 필요가 있을 것이다. 촉진 요인에는 더 작은 샘플 크기(즉 ~100)로 다단계 모델링의 가능성이 포함된다.

Regarding data mining and machine learning, approaches could be used with existing databases, such as the Electronic Health Record (EHR), to analyse clicks. For example, one article involving online collaborative writings tasks examined students’ interactions and contributions by quantifying the number of revisions and the length of changes performed.44 One potential limiting factor is the necessity of a computerised data environment. Another is the difficulty in translating data from online learning studies to the clinical setting: researchers would need to identify simple and countable—yet relevant and meaningful—EHR actions. A facilitating factor includes the possibility of multi-level modelling with smaller sample sizes (ie ~100).

상호의존성 측정과 관련된 다양한 주제들이 이해관계자들과의 대화에서 등장했다. 첫째, 이해관계자들은 이 검토의 필요성을 논의하면서 [현재 연구의 격차]를 언급했다. 그들은 [상호의존성 개념의 참신성novelty]을 접근법의 차이와 불일치의 핵심적인 이유로 보았다. 이해관계자들은 또한 여러 목적이 가능하며, 이 개념이 평가와 팀워크에 관한 광범위한 문헌에 어떻게 사용될 수 있는지에 대한 영향을 포함하여 [상호의존성 측정의 목적을 명확하게 정의할 필요]가 있음을 시사했다. 이해관계자들은 측정 분산을 설명하기 위해 이러한 접근방식을 사용할 수 있는 가능성에 대해 열정적이었으며 교수진/감독관 다이애드, 팀 및 임상 단위와 같은 임상적 맥락에서 다양한 수준에서 상호의존성의 영향을 조사하기 위한 사용에 관심이 있었다. 또한 이해관계자는 [다단계 모델링, 구조방정식모델링, 지시 비순환 그래프 및 소셜 네트워크 분석]을 포함하여, 상호의존성과 관련된 [다양한 통계적 접근방식의 장단점]에 대해 의견을 제시했다. 일부 강점에는 데이터 네스팅에 대한 설명이 포함되었고, 일부 약점에는 [통계적 배경이 거의 없거나 전혀 없는 교육자가 측정 모델에 접근할 수 있도록 하는 것]이 포함되었다. 측정할 수 없지만 의료 팀 내에 존재하는 복잡한 복잡성을 포착하기 위한 [질적 접근 방식을 유지하는 것의 중요성]도 강조되었다.
Various themes relating to the measure of interdependence emerged during conversations with stakeholders. Firstly, stakeholders mentioned the gap in current research, discussing the necessity of this review. They viewed the novelty of the concept of interdependence as a key reason for both the gap and the inconsistency in approaches. Stakeholders also alluded to the need to clearly define the purpose of an interdependence measure, given that multiple purposes are possible, with implications for how the concept could be used both for assessment and for the broader literature on teamwork. Stakeholders were enthusiastic about the potential to use these approaches to account for measurement variance and were interested in their use to examine the impact of interdependence at various levels in a clinical context, such as faculty/supervisor dyad, team and clinical unit. Additionally, stakeholders commented on the strengths and weaknesses of the various statistical approaches relating to interdependence, including multi-level modelling, structural equational modelling, directed acyclic graphs and social network analysis. Some strengths included accounting for nesting in data and some weaknesses included making the measurement models accessible to educators with little or no statistical background. The importance of retaining qualitative approaches to capture the intricate complexities that are immeasurable, yet exist within healthcare teams, was also emphasised.

마지막으로, 많은 이해관계자들은 상호의존성 측정이 프로그램 평가에 어떻게 적합한지, 그리고 그것을 [의학 교육에서 실용적이고 실현 가능하게 만드는 방법]에 대해 논의했다. 그들은 헬스케어는 상호의존성을 측정하기 위한 복잡한 맥락을 나타낸다는 것을 인식하였다. 따라서 몇몇은 임상 환경 내의 다이애드(예: 감독자 및 수습자)가 환자 치료 및 학습 결과와 같은 요인에 기초하여 교직원과 수습자를 쌍으로 구성할 수 있는 잠재력을 가지고 있기 때문에 상호 의존성의 구성을 측정하기 시작하는 데 가장 적절한 출발점일 수 있다고 제안했다.
Finally, a number of stakeholders discussed how an interdependence measurement might fit within programmatic assessment and how to make it practical and feasible in medical education. They recognised that health care represents a complex context for measuring interdependence because of the ever-changing group composition. Therefore, several suggested that dyads (eg supervisor and trainee) within clinical settings may be the most appropriate starting point to begin measuring the construct of interdependence because it has the potential to pair faculty members with trainees based on factors such as patient care and learning outcomes.

4 토론
4 DISCUSSION

이 검토는 상호의존성 측정과 관련하여 제한적으로 발표된 지식 기반을 발견했다. 대부분의 연구는 개인과 팀을 모두 고려하는 상호의존적 측정과 달리 개인 또는 팀 차원 측정을 대상으로 했기 때문에 선별 과정에서 제외되었다. 우리가 발견한 지식은 5개 학문분야와 6개 하위 분야의 기사와 함께 흩어져 있습니다. 의학 교육에서 지식은 특히 부족하며, 관련 기사는 단 두 개뿐이다. 우리가 검토한 기사들은 매우 다양한 이론적 개념을 사용했다. 그들은 또한 이론적 개념과 측정 기법 모두에 대한 [용어적 일관성이 부족하다]는 것을 보여주었다. 예를 들어, [연결, 관계, 상호작용 및 중심성 정도]과 같은 이론적 개념은 모두 [사람이나 사물 사이에 존재하는 상호의존적인 연결]을 가리킨다. 측정 기법 내에서 다단계 모델링, 계층적 선형 모델링 및 선형 성장 모델은 데이터가 독립적이지 않은 회귀 기반 모델에 대한 변형 용어이다. 여러 개념의 존재와 유사한 현상을 언급하기 위해 다른 용어를 사용하는 것은 개념이 연구에서 연구로 정제되지 않는 학문적 영역을 시사한다. 오히려, 비록 많은 분야의 학자들이 상호의존성을 측정하는 문제와 씨름하고 있지만, 그들은 아마도 다른 분야의 관련 이론이나 기술을 알지도 못하면서 평행선을 달리고 있다. 이러한 [용어적 문제]는 상호의존성(다중 상황에서 관련성이 있는 현상)을 포착하기 위한 새로운 측정 모델의 진화가 간헐적이고 누적되지 않으며 분리된 이유를 설명할 수 있다.
This review found a limited published knowledge base relating to the measurement of interdependence. The majority of studies were excluded during screening because they targeted either individual or team-level measurements, as opposed to interdependent measures which consider both the individual and team. The knowledge we did find is scattered, with articles from five disciplines and six sub-disciplines. Knowledge is particularly scarce in medical education, with only two relevant articles identified. The articles we reviewed employed a wide variety of theoretical concepts. They also demonstrated a lack of terminological consistency for both theoretical concepts and measurement techniques. For example, theoretical concepts such as links, relationships, interactions and degree centrality all refer to interdependent connections that exist between people or things. Within measurement technique, multi-level modelling, hierarchical linear modelling and linear growth models are variant terms for regression-based models where data are not independent. The presence of multiple concepts, and the use of different terms to refer to similar phenomena, suggest a scholarly domain in which concepts are not refined from study to study. Rather, although scholars from many fields are grappling with the problem of measuring interdependence, they are working in parallel tracks, perhaps not even aware of relevant theory or techniques from other disciplines. Together, these terminological issues might explain why the evolution of new measurement models to capture interdependence—a phenomenon of relevance in multiple contexts—has been intermittent, non-cumulative and segregated.

이 검토에 설명된 다양한 상호의존적 측정 기법은 임상 훈련 맥락에 대한 잠재력을 가지고 있다. 상호의존성을 단순한 '통계적 골칫거리' 이상으로 다루기 위한 전략들이 있다. 예를 들어, [다단계 모델링]은 서로 다른 수준의 변수를 통합하여 중첩된 데이터를 처리하기 위한 프레임워크를 제공하여 연구자가 개별 및 그룹 수준 요인을 모두 측정할 수 있도록 하기 때문에 유망하다. 비록 [측정 접근법]은 임상 훈련 상황에서 보통 가용한 샘플 수보다 더 큰 샘플 크기를 요구하지만, 우리는 중간 규모의 대학원 프로그램과 유사한 샘플을 사용한 몇 가지 연구를 발견했다.
Various interdependent measurement techniques described in this review have potential for the clinical training context. There are strategies to deal with interdependence as more than just a ‘statistical nuisance’. For example, multi-level modelling has promise as it provides a framework for dealing with nested data by incorporating variables at different levels, enabling researchers to measure both individual and group-level factors. And although measurement approaches often demand a larger sample size than is available in clinical training contexts, we did find some studies that used samples comparable to medium-sized postgraduate programmes.

그러나 여러 척도를 결합한 연구가 가장 흥미로울 수 있다. 예를 들어, 기술적 접근법(예: 네트워크 분석)과 예측 측정 접근법(회귀 기반 기술)을 결합하면 네트워크의 특성을 체계적으로 이해하고 네트워크 내에 존재하는 특정 상호의존성 패턴의 영향을 입증할 수 있는 조치를 만들 수 있는 기회를 제공한다.
However, research that combines multiple measures may be of most interest. For example, combining descriptive approaches (eg network analysis) with predictive measurement approaches (ie regression-based techniques) offers the opportunity to systematically understand the nature of a network and create measures that can demonstrate the impacts of specific patterns of interdependence that exist within it.

우리가 발견한 [기술적 접근법]과 [예측적 접근법]을 모두 결합한 측정 접근법의 가장 좋은 예는 Gin 등의 논문이다. 이 연구에서 저자들은 남녀 다이애드에 초점을 맞추고 다이애드 아이템 반응 이론(dIRT) 모델을 사용하여 스피드 데이팅 세션 동안 두 개인 사이에 존재하는 상호 작용을 포착했다. 저자들에 따르면, dIRT 모델은 이진 데이터의 측정을 위해 [문항 반응 이론]과 [사회적 관계]를 모두 활용한다. 그들은 이 접근법이 개별 접근법으로 측정할 수 없는 상호 매력과 같은 상호작용을 포착한다는 것을 발견했다. 또한 종속척도는 10점 등급 척도(이후 5점 척도로 압축됨)를 이용한 일련의 대응이었다. 이 결과 측정은 협력적인 직장 기반 환경에서 훈련생을 평가하는 데 가장 일반적으로 사용되는 위탁 척도 및 기타 등급 척도와 일치합니다. 간단히 말해서, 이 논문은 의료 교육 분야에서 상호 의존성을 측정하기 위한 중요한 고려 사항을 강조한다.

  • (a) 다이애드로 시작한다(예: 감독관-의사-의사-의사 또는 의사-의료 보조자). 
  • (b) 개인 간의 상호 작용을 조사하기 위해 일종의 사회적 관계 또는 소셜 네트워킹 접근법을 사용한다. 
  • (c) 회귀 기반 모형을 사용하여 협업(또는 내포) 성능을 측정할 수 있도록 순서형 또는 비율 결과를 사용할 수 있습니다.


The best example we found of a measurement approach that combines both descriptive and predictive approaches is the paper by Gin et al.48 In this study, the authors focused on dyads of male and females and used a dyadic item response theory (dIRT) model to capture the interactions that exist between two individuals during speed dating sessions. According to the authors, the dIRT model utilises both Item Response Theory and Social Relations for the measurement of dyadic data.48 They found that this approach captured interactions, such as mutual attractiveness, that are not measurable by individual approaches. Furthermore, the dependent measure was a series of responses using a 10-point rating scale (which was later collapsed to a 5-point scale). This outcome measure is consistent with entrustment scales and other rating scales most commonly used to assess trainees in collaborative, workplace-based environments. In short, this paper48 highlights important considerations for measuring interdependence in the field of medical education:

  • (a) start with dyads (eg supervisor-trainee, physician-nurse or physician-medical assistant);
  • (b) use some sort of social relations or social networking approach to examine the interactions between individuals; and
  • (c) have an ordinal or ratio outcome so that a regression-based model can be used to measure collaborative (or nested) performance.

4.1 의료 교육자를 위한 실제 권장 사항
4.1 Practical recommendations for medical educators

이 연구의 다음 단계는 [상호의존적 성과(예: 한 개인/기계가 수술 도구를 작동하고, 다른 개인이 카메라에 초점을 맞추고 비디오 영상을 해석하는 복강경 수술)]를 구성하는 임상 행동과 결정이 무엇인지 정확하게 식별하는 것이다. 이를 통해 우리는 기본적인 측면을 특성화하고 구조로서의 상호의존성에 대한 풍부한 이해를 개발할 수 있을 것이다. 우리의 훈련 모델이 훈련생과 교직원 간의 상호 의존성을 촉진하는 방식으로 설계되었다는 점을 고려할 때, 특히 의학 교육 맥락에서 이러한 격차를 탐구하는 것은 가치가 있다. 임상 훈련 내에서 상호의존성을 측정할 수 있는 가능성에 대해 생각할 때, 우리는 개별 훈련생이 의료 팀의 전반적인 성과에 어떻게 기여하는지를 반영하기 위해 교육 및 평가의 목표를 전환하는 것을 고려할 수 있다. 이를 위해서는 단일 점수 또는 결정에 초점을 맞추는 평가 시스템에서 벗어나 의료 팀 내에서 개인 및 상호의존적인 성과 측면을 모두 포착하는 평가를 만들어야 할 수 있습니다. 의료 교육자는 이 접근법을 지원하기 위해 다양한 데이터를 수집하고 이 검토에서 식별된 일부 측정 모델을 사용하여 분석할 수 있다. 마지막으로, 의료는 팀에서 수행되며 상호의존적 협업은 해당 팀 내에 존재한다. 따라서, 우리는 관련 영역에서 훈련생의 역량을 정확하게 평가하고 훈련생이 환자에게 제공하는 협업적인 팀 기반 치료에 대한 피드백을 제공하기 위해 상호의존성의 유효하고 신뢰할 수 있는 측정이 필요하다.
The next step in this line of research is to precisely identify what clinical actions and decisions constitute interdependent performance (eg laparoscopic surgery where one individual/machine is operating the surgical tool while another individual is focusing the camera and interpreting video imaging). This will allow us to characterise fundamental aspects and develop a rich understanding of interdependence as a construct. Given that our training models are designed in ways that foster interdependence between trainees and faculty, exploring this gap specifically in medical education contexts is worthwhile. In thinking about the potential for measuring interdependence within clinical training, we might consider shifting the goal of education and assessment to reflect how individual trainees contribute to the overall performance of a healthcare team. This may require us to move away from an assessment system that focuses on a single score or decision and create assessments that capture both individual and interdependent aspects of one's performance within a healthcare team. Medical educators could collect a variety of data to support this approach and analyse it using some of the measurement models identified in this review. Finally, medicine is practiced in teams and interdependent collaborations exist within those teams; therefore, we need valid and reliable measures of interdependence to accurately assess trainees’ competence in associated domains and provide them with feedback about the collaborative, team-based care they provide to patients.

4.2 제한사항
4.2 Limitations

이 연구는 선정 과정에서 사용된 5개 데이터베이스의 기사로 제한된다. 우리가 발견한 기사들이 많은 분야와 하위 분야에 흩어져 있다는 점을 고려할 때, 우리는 다른 데이터베이스를 통해 추가 출처를 확인했을 가능성이 가능하다. 또한 포함 기준은 상호의존성에 대한 잠재적 대리인을 연구하는 분야를 제외했을 수 있다. 이 문헌에서 확인한 용어 불일치도 검색에 영향을 미쳤을 수 있다. 검색에서 키워드가 아닌 용어를 사용했기 때문에 관련 연구가 제외되었을 가능성이 있다. 특히 이 분야에서 '상호의존성'의 사용법이 상당히 생소하다는 점에서 의학교육에는 다른 글들이 존재하지만 우리의 검색어 이외의 용어를 사용하는 것은 아닌지 궁금하다. 팀 수준에서만 측정된 기사를 제외하기로 한 우리의 결정은 측정 세부사항이 불충분했던 기사를 제외하기로 한 결정이 관련 측정 접근법을 간과하게 만들었을 수도 있는 것처럼 '상호의존성'과 관련된 이론적 개념에 대한 통찰력을 제한할 수도 있다. 소셜 네트워크 분석이 샘플에서 반복적인 접근 방식이었지만, 이 논문들은 정도 중심성에 크게 초점을 맞춰 소셜 네트워크 분석의 전체적인 분석 접근 방식이 임상 훈련 환경에서 상호 의존성을 측정하는 데 어떻게 도움이 될 수 있는지에 대해 배울 것이 더 있음을 시사한다. 마지막으로, 우리의 검토는 포함된 기사의 품질 평가를 포함하지 않는다. 이러한 접근 방식 중 어떤 것이 효과적이고 실제적으로 얼마나 강력한지 평가하기 위한 추가 노력이 필요하다.

The study is limited to the articles from the five databases that were used in the selection process. Given that the articles we found were scattered across many disciplines and sub-disciplines, it is possible that we would have identified additional sources through other databases. Furthermore, inclusion criteria may have excluded disciplines that researched potential proxies for interdependence. The terminological inconsistency we identified in this literature may also have affected our search: it is possible that relevant studies were excluded because they used terms other than the keywords in our search. In particular, we wonder if other articles exist in medical education but use terminology outside our search terms, given that the usage of ‘interdependence’ is fairly new in this field. Our decision to exclude articles that only measured at the team level may also have limited our insight into theoretical concepts of relevance to ‘interdependence’, just as our decision to exclude those that had insufficient measurement detail may have caused us to overlook relevant measurement approaches. While social network analysis was a recurrent approach in our sample, these papers focused heavily on degree centrality, suggesting that there is more to be learned about how the full extent of analytical approaches in social network analysis might assist with measuring interdependence in clinical training settings. Finally, our review does not include a quality assessment of included articles; further efforts are needed to evaluate which of these approaches work and how robust they are in practice.

5 결론
5 CONCLUSION

팀 내에서 개인 간에 존재하는 상호의존성을 포착하기 위한 측정 접근법은 드물고 여러 분야에 걸쳐 분산되어 있다. 더욱이, 일관성 없는 개념적, 기술적 용어는 이 질문에 대한 지식의 축적을 제한할 수 있다. 이 검토는 연구자들이 상호의존성에 대해 어떻게 생각하고 있는지, 그리고 상호의존성의 어떤 측면이 측정 관점에서 중요한지를 강조한다. 다른 분야의 접근 방식이 임상 훈련 맥락에 대한 유망성을 가지고 있지만, 의료 교육 분야에서 단 두 가지 연구만 식별된다는 것은 이러한 맥락에서 응용 연구의 필요성을 시사한다.
Measurement approaches for capturing the interdependence that exists between individuals within a team are scarce and scattered across multiple fields. Furthermore, inconsistent conceptual and technical terminology may be limiting the accumulation of knowledge regarding this question. This review highlights how researchers are thinking about interdependence and what aspects of interdependence are important to consider from a measurement perspective. While approaches from other fields have promise for the clinical training context, the identification of only two studies in the field of medical education suggests a need for application studies in this context.


Med Educ. 2021 Oct;55(10):1123-1130. doi: 10.1111/medu.14531. Epub 2021 May 19.

A scoping review of approaches for measuring 'interdependent' collaborative performances

Affiliations collapse

Affiliations

1Emergency Medicine, Stanford University, Stanford, CA, USA.

2Women's Studies, Western University Faculty of Arts and Humanities Ringgold Standard Institution, London, ON, Canada.

3Pharmacy, University of Toronto, Toronto, ON, Canada.

4Centre for Education Research and Innovation, Western University Schulich School of Medicine & Dentistry, London, ON, Canada.

5Computing, Queen's University, Kingston, ON, Canada.

6Department of Medicine, University of Western Ontario, London, ON, Canada.

PMID: 33825192

DOI: 10.1111/medu.14531

Abstract

Introduction: Individual assessment disregards the team aspect of clinical work. Team assessment collapses the individual into the group. Neither is sufficient for medical education, where measures need to attend to the individual while also accounting for interactions with others. Valid and reliable measures of interdependence are critical within medical education given the collaborative manner in which patient care is provided. Medical education currently lacks a consistent approach to measuring the performance between individuals working together as part of larger healthcare team. This review's objective was to identify existing approaches to measuring this interdependence.

Methods: Following Arksey & O'Malley's methodology, we conducted a scoping review in 2018 and updated it to 2020. A search strategy involving five databases located >12 000 citations. At least two reviewers independently screened titles and abstracts, screened full texts (n = 161) and performed data extraction on twenty-seven included articles. Interviews were also conducted with key informants to check if any literature was missing and assess that our interpretations made sense.

Results: Eighteen of the twenty-seven articles were empirical; nine conceptual with an empirical illustration. Eighteen were quantitative; nine used mixed methods. The articles spanned five disciplines and various application contexts, from online learning to sports performance. Only two of the included articles were from the field of Medical Education. The articles conceptualised interdependence of a group, using theoretical constructs such as collaboration synergy; of a network, using constructs such as degree centrality; and of a dyad, using constructs such as synchrony. Both descriptive (eg social network analysis) and inferential (eg multi-level modelling) approaches were described.

Conclusion: Efforts to measure interdependence are scarce and scattered across disciplines. Multiple theoretical concepts and inconsistent terminology may be limiting programmatic work. This review motivates the need for further study of measurement techniques, particularly those combining multiple approaches, to capture interdependence in medical education.

어떻게 보건의료전문계열 학생과 지도교수를 전문직간교육을 위해 동기부여 할 수 있을까 (MedEDPublish, 2020)
Twelve tips on how to motivate healthcare professions students and their supervisors for Interprofessional Education
Cora L.F. Visser[1], Saskia Oosterbaan[2], Birgitte Mørk Kvist[3], Gerda Croiset[4], Rashmi A. Kusurkar[1]

 

 

서론
Introduction

[전문직 간 교육(IPE)]을 통해 [서로 다른 의료 전문 분야의 학생들은 서로와 함께, 서로로부터, 학습하고, 서로에 대해 학습하여 협업과 진료의 질을 향상]시킬 수 있습니다(CAIIPE, 2016). 학생들은 종종 자신의 역할과 책임, 그리고 직장에서 교대하는 동안 만나는 다른 사람들의 역할에 대해 확신하지 못하기 때문에 이 학습은 유기적인 과정이 아니다. 그러므로 IPE를 위해 학생들에게 동기를 부여하기 위해서는 특별한 노력이 필요하다. 의료 교육에서 전통적으로 교육의 상당 부분은 직장 학습을 통해 이루어진다. 여러 보고서와 연구에 따르면 서로 다른 교육과 전문적 배경을 가진 [보건의료 전문직(HCP)] 간의 협업이 어려운 것으로 나타났다.
Interprofessional Education (IPE) enables students from different healthcare professions to learn with, from and about each other to improve collaboration and the quality of care (CAIPE, 2016). This learning is not an organic process, as students are frequently unsure about their roles and responsibilities and those of others they meet during rotations in the workplace. Therefore a special effort is necessary to motivate students for IPE. In healthcare education, traditionally a substantial part of the training is through workplace learning (Dornan et al., 2007; Manley, Titchen and Hardy, 2009). Several reports and studies have indicated that the collaboration between healthcare professionals (HCPs) from different training and professional backgrounds is difficult (McGrail et al.,2009; Lingard, 2016; Romijn et al., 2018).

IPC(Interprofessional collaboration)는 모든 HCP가 의사 결정 과정에서 [전문가 전문 분야]와 [개별 환자] 모두에서 관점과 가치를 공유하도록 하기 위한 것이다. 이를 달성하기 위해 HCP는 [다른 의료 분야의 관점을 숙지]하고 전문가 간 협업 역량을 달성해야 합니다. 많은 의료 시스템에서 HCP는 IPC를 향상시킬 방법과 수단을 아직 찾지 못했다. 이 기사는 직장에서의 IPE, 특히 IPE에 대한 학생과 감독자의 동기 부여를 위한 팁을 제공하는 것을 목표로 한다.
Interprofessional collaboration (IPC) is intended to have all HCPs share their perspectives and values in the decision-making process, both among areas of specialist expertise and with the individual patient (Vyt, 2008). To achieve this, HCPs need get familiar with the perspectives of other healthcare disciplines and achieve interprofessional collaboration competencies. In many healthcare systems, HCPs have yet to find ways and means to enhance their IPC (Chan & Wood, 2010; van der Lee et al., 2011; Paradis & Whitehead, 2018). This article aims to give tips for IPE in the workplace, and in particular for motivating students and supervisors for IPE.

우리는 자기결정론의 이론적 틀에서 IPE에 대한 동기를 살펴보았는데, [자기결정이론]은 학생들이 내부에서 활동에 동기를 부여받거나 개인적으로 중요하다고 생각하기 때문에, IPE를 가치 체계에 통합할 가능성이 더 높다고 주장한다. 이러한 내면화는 학습된 IPE 개념을 일상적인 연습, 즉 전문가 간 협업으로 전환하는 데 필수적이다.
We viewed motivation for IPE from the theoretical framework of the Self-determination theory, which holds that students motivated for an activity from within, or because they find it personally important, are more likely to incorporate it into their value system (Ryan and Deci, 2000). This internalization is essential for converting learned IPE concepts into daily practice, i.e. interprofessional collaboration (ten Cate, Kusurkar and Williams, 2011; Kusurkar et al., 2013).

학생들의 동기부여를 강화하기 위해서는 자기결정이론에서 설명한 바와 같이 학생들의 세 가지 기본적인 심리적 욕구인 [자율성, 역량, 관련성의 충족]이 중요하다. 기본적인 심리적 욕구 충족의 대표적인 예는 다음과 같다.
To enhance motivation in students, the fulfilment of the three basic psychological needs of the students is important, as described by Self-Determination Theory (Deci and Ryan, 2002; Kusurkar and Croiset, 2015): autonomy, competence, relatedness. Typical examples of basic psychological needs fulfilment are:

  • 학생들이 주도적으로 환자에 대한 정보를 제공하고 치료를 위한 정책을 제안할 때 [자율성(선택)]을 인식한다.
  • 학생들이 환자를 돌보는 능력을 경험하고, 환자에 대한 책임을 전문가들과 공유하고, IPE 작업장 밖의 전문가들에게 상담을 요청하면서, 그들은 [역량]을 인식한다. 스콜들리와 블라이(2008)는 학생들이 환자를 스스로 이해할 수 있도록 지원하는 새로운 유형의 도제 제도를 옹호한다.
  • 관련성: 병동의 IPE실에서 학생들이 매일 환자 치료를 위해 동일한 목표를 향해 일하는 학생과 감독자를 만나 긴밀하게 협력할 때 상호 관계가 촉진됩니다.
  • When students are in the lead, providing information about the patients and proposing the policy for their treatment, they perceive autonomy (choice).
  • As students experience their ability to take care of patients, sharing the responsibility for them with professionals, and asking professionals outside the IPE workplace for consultations, they perceive competence. Bleakley and Bligh (2008) advocate a new type of apprenticeship, in which students are supported in understanding their patients themselves (Bleakley and Bligh, 2008).
  • Relatedness: When students work closely together in an IPE room on the ward, meeting students and supervisors working towards the same goals for patient care on a daily basis, mutual relations are facilitated.

선택의 느낌(자율성)을 제공하고, 작업을 수행하는 방법(역량)을 배울 수 있고, 관련된 다른 사람(즉, 모든 직업의 학생 및 감독자)과 관련성을 느낄 수 있음으로써, 자율 지원 학습 환경이 조성된다.
By providing the

  • feeling of choice (autonomy), of
  • feeling able to learn how to perform the task (competence) and
  • feeling relatedness with relevant others ( i.e. students and supervisors from all professions),

...an autonomy-supportive learning environment is created.

우리의 연구와 두 저자(SO와 BMK)의 실제 경험은 다음 12가지 팁의 기초를 형성한다. 우리는 IPE 정의의 순서로 팁을 제시한다. 협업(8 - 9)과 진료의 질(10 - 12)을 개선하기 위해 (1 - 7)과 서로와 함께,  서로에 대해 배운다.
Our research and the lived experience from 2 authors (SO and BMK) form the basis for the following twelve tips. We present the tips in the order of the IPE definition: learn with, from and about (1 - 7) to improve collaboration (8 - 9) and quality of care (10 - 12).

팁 1: 상호 작용을 촉진하기 위해 코로케이션을 사용합니다.
Tip 1: Make use of co-location to stimulate interactions

학생 팀에 환자를 선택할 수 있는 경우, (병동의 일부를) IPE 시설로 전환할 기회를 찾습니다. 더욱이, 두 개 이상의 직업의 감독자들은 [전문직-특이적 감독]과 [전문직-간 감독]을 모두 제공할 수 있어야 한다.
Look for opportunities to transform (part of) a ward into an IPE facility, provided that patients can be selected for the student team. Moreover, supervisors from two or more professions should be available to provide both profession specific and interprofessional supervision.

[서로 다른 직업의 학생들이 같은 곳에 있더라도, 자신의 전문직 선배의 감독하에서만 학습]하는 대부분의 임상 병동에서 IPE는 자발적으로 발생하지 않는다. 선택된 환자는 특정 IPE 병실에 있거나 동일한 의사가 있을 필요가 없습니다. IPE 학생은 선택된 환자에게 '이동'할 수 있습니다. 
In most clinical wards, where students from different professions are co-located but learn under supervision from their own profession, IPE does not occur spontaneously. The selected patients do not have to be located in specific IPE rooms or have the same practitioner: the IPE students can 'travel' to the selected patients.

전통적으로 스웨덴과 덴마크에서는 정형외과, 산부인과, 노인 병동이 IPE로 선택된다. 우리의 경험은 내과 병동과 산부인과 병동에서였다.
Traditionally, orthopaedic, obstetric or geriatric wards are chosen for IPE in Sweden and Denmark (Jakobsen, 2016; Oosterom et al., 2019). Our experience is with an internal medicine ward and an obstetric ward (Visser et al., 2019; Visser et al., 2020).

팁 2: 학생들의 참여를 유도하기 위한 진정한 학습 환경 조성
Tip 2: Create authentic learning situations to engage students

학생들을 효과적으로 IPE에 참여시키기 위해서는 무엇보다도 [실제적authentic 학습 상황]을 만들거나 사용해야 한다. 이는 실제 환자의 소개를 통해 종이 또는 IPE 병동에서 수행할 수 있습니다. 학생들은 직업 현실과 직업의 요구에 충분히 가깝다고 인식되는 문제를 풀어야 한다. 이것은 [문제]는 [업무에 즉시 적용하는 맥락]에 놓여지며, 따라서 활동에 대한 자율적 동기를 자극한다. Charles, Bainbridge 및 Gilbert(2010)는 이러한 학습 환경을 '몰입immersion'이라고 부른다: 학생들은 자신의 직업에 대한 핵심 지식과 기술을 습득하는 과정에 있으며, 동시에 전문가로서의 자신감을 키워가고 있다.
To effectively involve students in IPE, first and foremost you need to create or use an authentic learning situation. This can be done through the introduction of a real patient, either on paper (case study) or in an IPE ward. The students have to solve a problem that is perceived to be close enough to the work reality and the demands of the professions. This puts the problem in the context of an immediate application in work and hence stimulates autonomous motivation for the activity. Charles, Bainbridge and Gilbert (2010) refer to this learning environment as 'immersion': students are in the process of acquiring the core knowledge and skills of their profession, while developing a sense of themselves as practitioners and at the same time growing in confidence as professionals (Charles, Bainbridge and Gilbert, 2010).

팁 3: 감독관에게 모든 직업의 학생들의 학습을 스캐폴드하도록 요청합니다.
Tip 3: Ask supervisors to scaffold the learning of students from all professions

병동에서 자주 근무하는 전문가를 구분하고 자신의 직업에서 학생들을 감독하는 데 익숙합니다. 이 임상의들이 그들 자신의 직업을 가진 학생들로부터 배우는 것을 스캐폴딩 하는지 확인하세요. 이것은 임상의가 감독관의 지원 없이는 할 수 없는 일을 수행할 수 있는 학생들에게 적시에 맞춤형 지도를 제공한다는 것을 의미한다. 
Distinguish which professionals work on the ward frequently and are used to supervising students from their own profession. Check if these clinicians are scaffolding the learning from students of their own profession. This means that clinicians provide just-in-time and tailored guidance to students who can perform a task that they would not be able to without the supervisors' support.

일반적으로, 학습의 스캐폴딩의 의도는 다음과 같다.

  • a) 학생들이 궤도를 유지할 수 있도록 돕습니다. 
  • b) 인지 구조를 적용한다. 
  • c) 학생이 수행할 수 있는 부분에 집중한다(그 동안 학생의 현재 능력을 초과하는 부분을 감독자가 맡는다) 
  • d) 과제로부터 시작하여, 과제에 집중한다. 
  • e) 기존의 이해 위에다가 build on 한다. 
  • f) 학습자의 좌절을 통제한다.

In general, scaffolding of learning is intended to

  • a) help students remain on track;
  • b) apply cognitive structures;
  • c) concentrate on parts they can perform while the supervisor temporarily takes over the parts beyond their current capability;
  • d) start with and adhere to a task;
  • e) build on existing understanding and
  • f) control their frustration.

Van de Pol 등은 [스캐폴딩 프레임워크]에서 학생들의 메타인지 및 인지 활동뿐만 아니라 학생들의 영향을 지원하기 위해 위의 여섯 가지 의도를 구별한다. 또한 저자들은 감독자들이 이러한 [의도를 구체화하기 위한 6가지 수단]을 설명한다.

  • 피드백 제공하기,
  • 힌트 제공하기(집단의 사고를 활성화하기 위함),
  • 가르치기,
  • 설명하기,
  • 주요 행동을 모델링하기
  • 질문하기, 즉 학생들이 적극적으로 인지적 답변을 공식화할 필요가 있는 방식으로 질문하는 것

In their scaffolding framework, Van de Pol et al. distinguish the above six intentions in support of students' metacognitive and cognitive activities as well as student's affect. Furthermore, the authors describe six means for supervisors to flesh out these intentions:

  • giving feedback,
  • providing hints to activate the groups' thinking,
  • instructing,
  • explaining,
  • modelling of key behaviours, and
  • questioning, i.e. asking in such a way that students need to actively formulate a cognitive answer (van de Pol, Volman and Beishuizen, 2010).

우리는 임상의들이 학생의 직업별 임상적 추론을 위해서라도 다른 직업의 학생들의 학습을 체계화할 수 있을 뿐만 아니라 기꺼이 한다는 것을 발견했다.
We found that clinicians are willing as well as able to scaffold the learning of students from other professions, even for the student's profession specific clinical reasoning (Visser et al., 2020).

팁 4: 직장 내 슈퍼바이저 간 협업 강화
Tip 4: Enhance collaboration among supervisors in the workplace

IPE 작업장은 감독자들에게도 진정한 학습 상황을 제공한다. 우리의 연구에서, IPE 병동 감독관들은 동료들을 관찰하는 것이 IPE가 어떻게 그들 자신의 기술과 태도를 향상시키고, 그들의 전문적인 책임을 명확히 하고, 전문가 간 의사소통의 중요성을 강조하는지를 이해하는 데 도움이 되었다고 경험했다. 다른 곳의 감독자들은 다른 직업의 감독자들과의 협업이 개선되었다고 자체 보고했다(Barr, 2002).
IPE workplaces offer an authentic learning situation for supervisors as well. In our studies, IPE ward supervisors experienced that observing their peers had helped them to appreciate how IPE enhanced their own skills and attitudes, clarifying their professional responsibilities and underlining the importance of interprofessional communication (Visser et al., 2019; Visser et al., 2020). Supervisors elsewhere self-reported an improvement in their collaboration with supervisors from other professions (Barr, 2002).

Paradis와 Whitehead(2018)는 전문가 간 실천IPP은 [학교 및 대학]보다 ['실제적 학습 상황']과 ['로지스틱하게 더 명확하면서, 비용이 적게 드는 방식'으로 의료 문화를 변화시킬 수 있는 위치에 있는 전문가의 참여']를 결합하여 제공한다고 제안한다.
Paradis and Whitehead (2018) suggest that interprofessional practice offers a combination of authentic learning situations and involvement of professionals who are in a position to change the culture of healthcare in 'a logistically more straightforward and less costly manner' than schools and universities (Paradis and Whitehead, 2018).

팁 5: 프로젝트에 참여하기
Tip 5: Create involvement with the project

[프로젝트 코디네이터]는 특정 기능을 대표하기보다는, [전문가 간 역량과 프로젝트 참여자들의 자율적인 업무 환경을 조성할 수 있는 능력을 갖춘 사람]이어야 한다. 계획을 일반적인 관리 구조가 아닌, 다른 수당allowance이 있는 프로젝트로 만들면서, 파일럿 운영의 헌신을 구합니다.
Rather than representing a specific function, the project coordinator should be someone with interprofessional skills and the ability to create an autonomy-supportive working situation for the project participants. Seek the commitment of the management for a pilot, making the initiative a project with other allowances than the usual care structure.

[초기 단계] 동안, IPE 작업장을 시작하는 개인 또는 그룹은 자료 개발 및 '아이디어 마케팅'과 같은 다른 작업을 수행할 수 있어야 한다. 예를 들어, 관리자를 위한 프레젠테이션뿐만 아니라 학생을 위한 정보 책자를 만드는 것이다. 어느 정도 시간이 지난 후, 즉 [후기 단계]에서 프로젝트 시작자는 이러한 작업을 다른 사람에게 인계할 수 있을 정도로 자신감을 가져야 한다. [새로운 구성원들과 책임을 공유하는 것]은 IPE 작업장의 지속 가능성을 향상시킬 수 있다. IPE 작업장의 설치가 위협을 받는 경우, 관련된 모든 사람은 필수적인 특성을 유지하면서 적응하는 데 도움이 될 수 있다.
During the initial phase, the person or group initiating the IPE workplace should be able to perform different tasks, such as developing materials and 'marketing the idea', e.g. by making an information booklet for students, as well as giving presentations for managers. After some time, i.e. in a later phase, the project initiators should feel confident enough to hand over these tasks to others; sharing the responsibility with new members can enhance the sustainability of the IPE workplace (Grymonpre et al., 2016). Should the setup of the IPE workplace come under threat, all involved can help to make adaptations while sustaining its essential characteristics.

팁 6: 관리자 교육
Tip 6: Train the supervisors

[의도된 전문가 간 감독 전문가]를 위한 교육 세션을 제공합니다. 학습 및 감독/교육 스타일과 그룹 역학에 대해 교육합니다. 이것은 비계 프레임 워크(Tip 3 참조)를 사용하여 수행할 수 있으므로 감독자는 의식적으로 6가지 의도와 6가지 수단을 사용하여 자신의 의도를 행동으로 옮길 수 있습니다. 
Offer training sessions for intended interprofessional supervising professionals. Train them concerning learning and supervising/teaching styles and group dynamics. This can be done using the scaffolding framework (see: Tip 3), so supervisors can consciously use the six intentions and six means to put their intentions into actions.

감독자가 IPE 작업장의 조직, 실행 및 지속성에 관한 제안을 하도록 권장합니다. 이것은 감독관 회의를 통해, 또는 점심이나 비공식 회의 중에 촉진될 수 있다. 감독관에게 "중요한 친구" 역할을 할 수 있는 기회를 제공하는 것은 학생들이 감히 발전할 수 있는 안전한 학습 환경을 자극한다. 팁 6과 팁 4는 감독자의 학습과 기본적인 심리적 요구의 충족을 향상시킵니다.
Encourage supervisors to make suggestions regarding organisation, execution and sustainance of the IPE workplace. This can be facilitated through supervisor meetings, or during lunch or informal meetings. Offering supervisors an opportunity to act as "critical friends" stimulates a safe learning environment, where students dare to develop (Hall and Zierler, 2015). Tip 6 and tip 4 enhance the learning of the supervisors and the fulfilment of their basic psychological needs.

팁 7: 양성 그룹 역학을 자극합니다.
Tip 7: Stimulate positive group dynamics

학생들이 서로 친해질 수 있는 시간과 공간을 제공합니다. 터크먼의 모델에 설명된 팀 단계 'forming, storming, norming, and performing'을 소개하는 것은 잘 알지 못하고 다른 직업을 가진 학생들이 전문가 간 팀에서 결합될 때 그룹 역학이 어떻게 진화할 수 있는지 학생들에게 설명하는 실용적인 방법이다.
Allow time and space for students to get acquainted with each other. Introducing the team phases 'forming, storming, norming, and performing' described in Tuckman's model (Bonebright, 2010) is a practical way to explain to students how group dynamics can evolve when students who are not acquainted and from different professions are combined in an interprofessional team.

IPE 병동의 학생들은 팀 무대를 생생하게 기억했고 3주 만에 팀이 'performing' 단계에 도달했다는 것에 자부심을 느꼈다. 우리는 감독관들이 자신들이 낮은 지위와 낮은 힘을 가지고 있다고 인식하기 때문에 의사소통에 갇혀 있다고 느끼는 학생들을 지지한다는 것을 발견했다. 이러한 지원은 학생들이 관련 해석의 공개적인 교환에 도달할 수 있도록 안내하는 것으로 간주할 수 있다(터크만의 과제 활동 3).
Students in our IPE wards recollected the team stages vividly and were proud that within 3 weeks their team had reached the 'performing' stage (Visser et al., 2019; Visser et al., 2020). We found that supervisors supported the students who felt they were stuck in communication because they perceived themselves as having lower status and less power. This support can be considered to guide students to reach an open exchange of relevant interpretations (Tuckman's task activity 3, (Tuckman and Jensen, 1977)).

팁 8: 학습 지향적인 교육에 초점을 맞춥니다.
Tip 8: Focus on learning-oriented teaching

학생들에게 [메타인지 기술]과 함께 [내용(무엇을)]과 [이유(왜)]를 가르쳐 [전문가 간 학습(어떻게 배우는가)]을 모니터링하고 학습이 완료되면 좌절에 대처합니다. 학습-지향-교육 모델의 원칙을 IPE 이니셔티브에 적용하면 학습 상황의 진정성은 학생들에게 '왜 학습하는가?'라는 질문에 대한 명확한 답을 제공한다.
Teach students the content (what) and the reason (why), together with the metacognitive skills to monitor their interprofessional learning (how to learn), and deal with frustration when the learning gets though (ten Cate et al., 2004). Applying the principles of Learning-Oriented-Teaching model to IPE initiatives, the authenticity of learning situations clearly provides students with an unequivocal answer to the question 'Why learn?'.

학생들이 자기-지도self-guidance를 점진적으로 늘리도록 권장합니다. 먼저 교사/감독자에 의한 지도, 그 다음에 학생과 교사/감독자가 공유하는 지도, 마지막으로 학생에 의한 자기-지도. (Blue et al., 2010) 학생에 의한 [자기 지도의 양이 증가]하는 것은 [교사나 감독관에 의한 지도의 양이 감소]하는 것과 상관관계가 있어야 한다. IPE 일터의 설정은 학생들이 다른 학생들과 함께 함으로써 그들 자신의 학습을 지도하도록 자극하고, 이것은 질문하는 것을 더 자연스럽게 만든다. 질병이나 프로토콜에 대한 더 많은 정보를 수집하기 위해 학생들에게 과제를 주어 학습을 활성화하는 것은 학습 지향 교육에 대한 또 다른 기여이다(Visser et al., 2020).
Encourage students to gradually increase self-guidance:

  • first guidance by the teacher/supervisor, then
  • guidance shared by student and teacher/supervisor and
  • lastly self-guidance by the student. (Blue et al., 2010).

An increasing amount of self-guidance by the student should correlate with a decreasing amount of guidance by the teacher or supervisor (ten Cate et al., 2004; Visser et al., 2019). The setting of an IPE workplace stimulates students to guide their own learning by being with other students, which makes asking questions more natural (Visser et al., 2019). Activating learning by giving students assignments to collect more information on diseases or protocols, is another contribution to learning-oriented teaching (Visser et al., 2020).

팁 9: 학습의 소유권을 활성화하여 IPE에 대한 준비 상태를 개선합니다.
Tip 9: Stimulate ownership of learning to enhance readiness for IPE

전문가 간 학습을 위한 준비 상태는 종종 IPE 이니셔티브 전후에 네 가지 차원에 대해 측정한 [IPE에 대한 태도 변화]의 지표로 사용된다.

  • (1) 자신과 타인의 역할과 책임, 
  • (2) 팀워크를 위한 지식과 기술, 
  • (3) 환자에 대한 혜택, 관행 및 개인적 성장, 
  • (4) 가치관 

학생들을 IPE에 참여시키는 것은 부정적인 태도가 학습에 방해가 될 수 있기 때문에 전문가 간 협업(IPC)에 대한 그들의 태도에 영향을 미치는 것이 중요하다. 우리의 문헌 검토에서, [IPE를 위한 준비]는 수년간의 훈련에 따라 변동하는 것으로 나타났다. 우리의 관점을 'IPE를 위한 준비'에서 '학습을 위한 준비'로 넓힌 것은 우리에게 새로운 단서를 제공했다.
Readiness for interprofessional learning is often used as an indicator of change in attitude towards IPE, measured before and after an IPE initiative (Parsell and Bligh, 1999) on four dimensions:

  • (1) roles and responsibilities of self and others,
  • (2) knowledge and skills for teamwork,
  • (3) benefits to patients, practice and personal growth, and
  • (4) values.

Engaging students in IPE and thus influencing their attitudes towards interprofessional collaboration (IPC) is important, because negative attitudes can stand in the way of learning. In our literature review, readiness for IPE was found to fluctuate over the years of training (Visser et al., 2017). Widening our perspective from 'readiness for IPE' to 'readiness for learning' provided us with a new clue.

Conley와 French는 '학습 준비'라는 개념 내에서 동기 부여와 참여, 목표 지향과 자기 방향, 자기 효능감과 자신감, 메타인지와 자기 모니터링과 지속성을 포괄하는 '학습의 소유권'을 도입했습니다. 우리의 12가지 팁에서, 우리는 이미 IPE 작업장에서 학생들의 동기부여와 참여에 초점을 맞추고 있다. 학생의 [목표 지향성]과 [자기 주도성]을 위해서는 학생들이 공유된 목표인 개별 환자에 대한 치료의 질을 위해 일하도록 하는 것이 중요하다. 목표 공유를 강화하기 위해서는 학생들에게 다양한 관점을 소개해야 한다. 다양한 관점의 예시는 다음을 통해 제시할 수 있다.

  • 책자에 다양한 직업에 대한 관련 프로토콜을 제공합니다. 
  • 임상적 추론 과정을 반영하는 환자 관리 회의를 위한 구조를 제공한다. 
  • 처음에는 병태 생리학적 측면에 초점을 맞춘 환자를 선택하고, 그 다음에는 심리학적-사회학적 측면에 초점을 맞춘다.

Within the concept 'readiness for learning', Conley and French introduced 'ownership of learning', which encompasses motivation and engagement, goal orientation and self-direction, self-efficacy and self-confidence, metacognition and self-monitoring and persistence (Conley and French, 2014). In our 12 tips, we already focus on the motivation and engagement of students in the IPE workplace. For their goal-orientation and self-direction it is important to let students work on a shared goal: quality of care for an individual patient. To enhance goal-sharing, students should be introduced to diverse perspectives, which are exemplified e.g.

  • by providing relevant protocols for different professions in a booklet,
  • providing structure for the patient care meeting reflecting the clinical reasoning process,
  • selecting the patients with a focus on pathophysiological aspects in the beginning, followed by a focus on psychological-sociological aspects.

팁 10: 전문적인 학습 목표 및 전문가 간 목표 통합
Tip 10: Integrate professional learning goals and interprofessional objectives

우리가 연구한 IPE 이니셔티브에서 학생들은 환자-관리 계획에 대한 책임감을 느꼈습니다. 학생들은 그들의 직업별 지식과 기술을 사용하고 이것들을 다른 사람들의 지식과 기술과 결합할 것으로 기대되었다. 감독관들은 전문가 간의 협력을 장려했다. 예를 들어, 한 직업의 학생으로부터 다른 직업의 학생에게 질문을 지시함으로써, 관련된 답을 가질 수 있는 사람.
In the IPE initiatives we studied, students felt responsible for patient-management plans. Students were expected to use their profession specific knowledge and skills and combine these with the knowledge and skills from others. Supervisors were encouraged to foster interprofessional collaboration, e.g. by directing a question from a student from one profession to a student from another profession, who might have the relevant answer.

문헌에서, 특히 [의대생들]은 [전문가 간 학습 목표]가 [자신의 전문직-특이적 학습 목표]와 경쟁하고 있다고 생각하는 것으로 보인다. 학생들은 그들의 전문적인 기술을 훈련하고 보여줄 기회를 원한다. 자기결정론적 입장에서 볼 때, 이 학생들은 자율성과 역량에 대한 그들의 필요성을 표현한다. 
In the literature, it appears that medical students in particular find the interprofessional learning objectives to be in competition with their profession-specific learning objectives (Visser et al., 2017) . The students want opportunities to train and show their professional skills. Seen from a Self-determination theory stance, these students express their need for autonomy and competence.

일부 IPE 병동에서는 학생들이 일반적인 치료, 즉 기본적인 치료가 필요한 환자들을 도울 것으로 기대된다. 스칸디나비아와 덴마크의 IPE 병동에 대한 검토는 일반적인 치료를 제공하는 학생들의 이점이나 함정에 대해 결론을 내리지 못한다. 이러한 측면을 자기결정이론 렌즈를 통해 살펴보면, 전문가간 학생쌍에서 기본적인 돌봄을 제공하는 것은 학생간, 그리고 학생과 환자간의 연관성에 대한 기회를 제공한다. 따라서 우리는 일반 진료를 그 자체가 목표가 아니라 IPE를 위한 수단으로 분류할 것이다. 의대생들은 환자의 상태를 더 자신 있게 평가하고 간호대생들은 다른 학생들에게 치료에 대한 그들의 근거를 설명할 수 있다는 것을 발견했다.
In some IPE wards, students are expected to provide general care, i.e. helping patients with basic care needs. A review of Scandinavian and Danish IPE wards is inconclusive about the benefits or pitfalls of students providing general care (Jakobsen, 2016). Looking at this aspect through the Self-determination theory lens, providing basic care in interprofessional student pairs offers opportunities for relatedness between the students and between students and patients. Thereby we would label general care as a means for IPE, not a goal in itself: We found medical students to be more confident to assess patients' condition and nursing students felt able to explain their rationale for the care to other students (Visser et al., 2020).

팁 11: 모든 직업의 상호 의존성을 보여주기
Tip 11: Demonstrate the interdependence of all professions

[자신의 전문직군 내에서 임상적 추론을 공유하는 것]은 그 직업의 관점을 표현하는 실용적인 방법이며 '전문적인 방식으로 생각할 수 있고 전문적인 내용에서 역량을 경험한다'는 역량감을 가져올 수 있다. [자신의 임상적 추론을 다른 전문직군과 공유하는 것]은 학생들로 하여금 각각의 직업이 환자 치료에 무엇을 더하는지 깨닫게 한다.
Sharing clinical reasoning within one's profession is a practical way to express the perspective of that profession and can bring about a feeling of competence: 'I'm capable of thinking in a professional way and I experience competence in the professional content'. Sharing one's clinical reasoning with other professions make students realize what each profession adds to the patient care.

내과 병동에서, 학생들은 [IPE 이니셔티브 전에는 다른 직업군의 임상적 추론에 대한 인식이 부족했다]고 지적했다. 다른 직업의 임상적 추론에 대한 통찰력을 얻으면 각 직업과 관련된 모든 직업에 대한 환자 형태를 '퍼즐 조각'으로 볼 수 있었다. [다른 직업군의 임상적 추론에 익숙해지는 것]은 학생들이 [새로운 사고 방식]과 [전문가들이 어떻게 특정한 개입에 도달하는지]를 이해하는 데 도움이 되었다. 관련된 감독자들은 또한 환자 치료 회의 동안 다른 직업의 임상적 추론을 관찰함으로써 얻은 통찰력을 중요시했다.
In an internal medical ward, students indicated that before the IPE initiative, they had a poor awareness of the clinical reasoning of other professions; gaining insight into others' clinical reasoning enabled them to see 'the pieces of the puzzle' the patient forms for each profession and all professions involved. To be familiar with the clinical reasoning of other professions helped students to see new lines of thinking and how professionals come to certain interventions. The supervisors involved also valued the insights gained from observing the clinical reasoning of other professions during the patient care meeting (Visser et al., 2019).

다른 직업의 임상적 추론과 관련된 이러한 발견은 다른 직업의 학생과 감독자가 있음에도 불구하고 전통적인 상에 대한 순환이 전문가 간 학습으로 이어지지 않는 이유를 설명할 수 있다. [어떤 직업군의 임상적 추론이 명확하게 제시되지 않는 한], [그 인지 과정에 익숙하지 않은 다른 사람들]은 일어나고 있는 일을 쫓아가지 못할 수도 있다. 임상적 추론의 발판을 통해 학생 팀은 결국 개별 학생과 단일 직업의 능력을 넘어서는 문제를 제시하는 환자를 위한 전문가 간 치료 계획을 고안할 수 있다. 학생들은 직업의 상호의존성을 경험하고 다른 직업의 역할과 책임에 대해 배운다.
This finding regarding the clinical reasoning of other professions could explain why a traditional rotation on a ward, even though students and supervisors from other professions are present, does not result in interprofessional learning. Unless the clinical reasoning of a profession is clearly articulated, others who are unfamiliar with the cognitive processes involved may not follow what is happening (Nisbet, Lincoln and Dunn, 2013). Through the scaffolding of their clinical reasoning, the student teams can eventually devise interprofessional care plans for patients presenting problems that go beyond the capabilities of the individual students and of a single profession. Students then experience the interdependence of professions and learn about the roles and responsibilities of other professions.

팁 12: 임상적 추론을 T자형 전문가의 핵심으로 생각합니다.
Tip 12: Consider clinical reasoning the heart of the T-shaped professional

[모든 보건의료 전문직의 임상적 추론]을 서포트하기 위해 [IPE 작업장에서 환자 관리 회의를 구성]해야 한다. 이 구조에는 현재 상황의 평가, 문제 재고 생성, 차등 진단 수행, 관리 계획 수립, 개입 결정, 후속 조치 및 요약의 단계가 포함되어야 한다. 이 구조는 학생이 환자를 팀에 어떻게 제시할 것으로 예상되는지, 즉 학생이나 팀이 환자 문제의 의사 결정 및 관리를 위한 아이디어를 전달하기 전에 어떤 기본 정보가 간결한 방식으로 필요한지를 명확히 한다. [전문직 간 회의를 위한 구조를 제공하는 것의 이점]은 문헌에서 잘 알려져 있다. 학생들은 임상적인 문제에 대해 추론할 수 있는 것이 그들의 전문적인 기술의 일부를 형성한다는 것을 인식할 것이다. 그러나 협업은 또한 좋은 의사소통에 의존한다.
To support the clinical reasoning of all health professions the patient care meeting in an IPE workplace should be structured. This structure should contain the following steps: assessment of the current situation, generating a problem inventory, performing a differential diagnosis, putting together a care plan, deciding on interventions, following up, and summarising. The structure clarifies how a student is expected to present a patient to the team: which basic information is needed, in a concise manner, before a student or the team can communicate ideas for the decision making and management of patient problems. The benefits of providing a structure for interprofessional meetings are well acknowledged in the literature (Hudson, 2009; Baker et al., 2011; Goldman et al., 2015). Students will recognize that being able to reason about the clinical problems forms part of their professional skills. But collaboration is also dependent on good communication.

T자형 전문가란 T자형의 세로 막대에 있는 직업별 능력과 가로 막대에 있는 다른 직업의 전문가들과 소통할 수 있는 능력의 조합을 비유한 말이다. 많은 국가에서 의료, 간호 및 관련 보건 전문가를 위한 교육은 CanMED의 역할과 역량에 기초한다. 그들의 분석 과정에서, 다른 직업들은 환자 상황의 다른 요소들을 고려한다. 서로 다른 배경을 가진 전문가들이 자신의 관점을 결합할 수 있을 때, '소통, 협업, 보완성이 IPC로 이어진다'. [사고와 의사소통]을 통해, [임상 추론]은 [전문직-특이적 능력]과[ 의사소통 능력] 사이의 연결 고리를 형성한다. 따라서 이러한 전문적인 관점은 T자형의 중심에 위치한다(그림 1). 임상적 추론을 위한 중심적인 장소는 IPE 작업장에 참여하는 학생들이 그들의 직업별 임상적 추론을 수행하고 그것에 대해 의사소통할 수 있는 충분한 기술을 습득할 필요가 있다는 것을 의미한다. 
The T- shaped professional is a metaphor to describe the combination of profession specific abilities in the vertical bar of the T-shape and the ability to communicate with experts in other professions in the horizontal bar. Education for medical, nursing, and allied health professions in many countries is based on the CanMEDS roles and competencies (Frank, Snell and Sherbino, 2015). In their analytical process, different professions take different components of the patient situation into consideration (Trede and Higgs, 2008). When professionals with different backgrounds are able to combine their perspectives, 'communication, collaboration and complementarity lead to IPC' (Engel, 1977). Through thinking and communicating, clinical reasoning forms the linking pin between the profession-specific abilities and the communication skills. This professional perspective is therefore placed in the heart of the T-shape (Figure 1). The central place for clinical reasoning implies that students participating in an IPE workplace need to master enough skills to perform their profession-specific clinical reasoning and to communicate about it (Visser, 2018).

한 분야의 전문성과 관련 기술의 깊이(T자 모양의 수직 막대), 다른 분야의 전문가(수평 막대)와 상호 전문적으로 협업할 수 있는 능력을 갖춘 학생과 그들의 지도교수는 T자 모양의 전문가가 될 수 있다 - 그림 1
Students and their supervisors who can combine the depth of expertise and related skills in a single field (vertical bar of T-shape), with the ability to collaborate interprofessionally with experts in other areas (horizontal bar) can become T-shaped professionals - Figure 1 (Donofrio, Spohrer and Zadeh, 2010).

 

이 12가지 팁을 통해, 우리는 임상 추론의 중요한 역할과 학습 소유권을 강조함으로써 IPE에서 모든 이해 관계자의 본질적인 동기를 향상시키는 것을 목표로 했다.
With these twelve tips, we aimed at enhancing the intrinsic motivation of all stakeholders in IPE, by highlighting the vital role of clinical reasoning and of their ownership of learning.

결론
Conclusion

T자형 전문가의 의사소통과 팀 스킬은 학생들이 환자의 문제를 논의하기 위해 자신의 전문적인 임상적 추론을 공유할 때 강조된다. 이들의 학습 발판은 학생이나 직업이 혼자서는 계획할 수 없었던 환자 관리 계획을 마련하기 위한 직업의 상호의존성을 경험하는 동시에 자율성과 역량, 관련성을 자극할 수 있도록 돕는다. 이러한 12가지 팁은 IPE의 정서적 요소와 학생과 감독자의 전문가 간 교육에 대한 동기 부여에 긍정적인 영향을 미쳐 IPE를 미래 IPC로 내재화할 것으로 기대된다.

The communication and team skills of the T-shaped professional are emphasised when students share their professional specific clinical reasoning to discuss patients' problems. Scaffolding of their learning helps them to experience the interdependence of professions to come up with patient management plans that no student or profession could have planned alone, while stimulating their autonomy, competence and relatedness. These twelve tips are expected to positively impact on the affective component of IPE and the motivation of students and their supervisors for interprofessional education, internalizing the IPE to become future IPC.

Take Home Messages

  • 학생들에게 잘 알지 못하고 다른 직업을 가진 학생들이 [전문가 간 팀에서 결합]될 때 그룹 역학이 어떻게 진화할 수 있는지 설명합니다.
  • 상이한 직업의 학생들이 서로 상에서 배우도록 하기 위해서는, [그들 자신과 다른 사람들의 임상적 추론에 대한 통찰력]이 필요하다.
  • 환자 문제의 의사 결정 및 관리를 위한 아이디어가 전달되기 전에, [학생이 팀에 환자를 제시할 것으로 예상되는 방법을 구조화]합니다.
  • [Interprofessional Education 병동의 프로젝트 코디네이터]는 프로젝트 참가자들을 위한 [자율성-지원 작업 환경을 조성할 수 있는 전문적인 기술과 능력을 갖춘 사람]이어야 합니다.
  • Explain to students how group dynamics can evolve when students who are not acquainted and from different professions are combined in an interprofessional team.
  • To have students from different professions learn with each other on a ward, insight into their own and others' clinical reasoning is necessary.
  • Structure how a student is expected to present a patient to the team before ideas for the decision making and management of patient problems can be communicated.
  • The project coordinator for an Interprofessional Eduation ward should be someone with interprofessional skills and the ability to create an autonomy-supportive working situation for the project participants.

 


Twelve tips on how to motivate healthcare professions students and their supervisors for Interprofessional Education [version 1]

Cora L.F. Visser, Saskia Oosterbaan, Birgitte Mørk Kvist, Gerda Croiset, Rashmi A. Kusurkar

ARTICLEAUTHORSMETRICS

Abstract

This article was migrated. The article was marked as recommended.

Special efforts in rotations are necessary to have students from different professions learn with, from and about each other to improve their collaboration and the quality of care. The twelve tips derived from the lived experiences and research from the authors, are intended to stimulate motivation for interprofessional education in students and their supervisors. Internalization of the value students place on interprofessional learning will improve their readiness for future interprofessional collaboration. While creating an autonomy-supportive learning environment, supervisors are capable of both scaffolding the learning of students from all professions, and learning themselves from these authentic situations. The authors promote a central place for the clinical reasoning of each profession in both the profession specific skills as well as in the communication, collaboration and team skills, thus enhancing the 'T shaped-professional' (Visser, 2018).

의학교육의 학생참여: 교육과정 개발에서 모듈 공동책임자로서 학생에 관한 혼합연구(Med Teach, 2019)
Student engagement in medical education: A mixed-method study on medical students as module co-directors in curriculum development
Lennart Steffen Milles, Tanja Hitzblech, Simon Drees, Wiebke Wurl, Peter Arends and Harm Peters

 


Introduction

학생들의 참여는 전 세계적으로 의학 교육에 점점 더 많은 관심을 받고 있다. 그것은 학생들과 그들의 기관들을 위한 상호 이익과 함께 협력적인 접근을 구체화한다. 커리큘럼 개발은 학생 참여의 핵심 영역을 나타냅니다. 그러나 학생들은 어느 정도까지 참여할 수 있으며, 어떤 접근법이 효과적이고 실현 가능한가? 교육 평가에서 학생들의 기여도는 잘 확립되어 있지만, 교육과정 개발에서 학생들의 보다 적극적인 역할, 즉 그 설계와 개선에 대한 경험적 정보와 연구가 희박할 뿐이다. 본 논문의 목적은 통합 학부 의학 프로그램의 맥락에서 학생들이 [교육과정 개발]에서 [모듈 공동 책임자]로 기능하는 개념에 대해 보고하고, 이 개념을 통해 교직원 모듈 책임자와 학생 스스로의 경험에 대한 인식을 탐색하는 것이다. 
Engagement of students is experiencing growing attention in medical education world-wide (Bovill et al. 2009; Dhaese et al. 2015; Peters et al. 2018). It embodies a collaborative approach with mutual benefits for the students and their institutions. Curriculum development represents a key domain in student engagement (Aspire-to-Excellence 2013; Harden and Roberts 2015; Peters et al. 2018). But to what extent can students be involved, and what approaches are effective and feasible? While the contribution of students in the evaluation of teaching is well established, there is only sparse empirical information and research present on more active roles of students in curricular development, i.e. its design and improvement (Bovill et al. 2009; Dhaese et al. 2015; Stoddard et al. 2016). The purpose of this article is to report on the concept of students functioning as module co-directors in curriculum development and to explore the perceptions of faculty module directors and the students themselves on their experience with this concept in the context of an integrated undergraduate medical program.

[학생 참여]는 [학생들과 기관들 사이의 상호 유익한 협력적 접근]을 나타내며, [학생들의 학습과 발전]뿐만 아니라, [학업 환경과 제도적 문화의 질]을 향상시키기 위한 광범위한 활동을 의미한다. 그것의 실현은 일반적으로 그들의 기관 내에서 [관리, 교육, 연구 및 지역사회 활동에 학생들의 공식적인 참여]를 포함한다. ASPIRE-to-Excellence 이니셔티브는 학생 참여 활동에 대한 포괄적이고 실용적인 프레임워크를 제공했습니다. 커리큘럼 개발 활동(즉 커리큘럼 설계, 변경 및 개선)은 학교 관리, 학계 및 지역 사회에 대한 참여뿐만 아니라, 의료 교육에 대한 학생 참여의 핵심 영역을 나타냅니다.
Student engagement represents a mutually beneficial collaborative approach between students and their institutions and refers to a broad range of activities to enhance the learning and development of students, as well as the quality of the academic environment and institutional culture (Trowler 2010; Peters et al. 2018). Its realization generally involves formal participation of students in the management, education, research, and community activities within their institutions. The ASPIRE-to-excellence initiative has provided a comprehensive and pragmatic framework on student engagement activities (Aspire-to-Excellence 2013; Harden and Roberts 2015; Drees and Peters 2016). Curriculum development activities, i.e. curriculum design, change, and improvement, represent a key domain for student engagement in medical education in addition to engagement in school management, academic communities, and local community.

[커리큘럼 개발]과 관련하여 [가장 일반적이고 기본적인 학생 참여 모델]은 교수 과정, 프로그램 단위 및 시험에 대한 피드백을 수집하는 것을 포함한다. 이러한 학생들의 평가는 내부 교육과정 검토 과정에 대한 일반적인 인증 기준을 충족하지만, [교육과정 개선을 위한 실행 가능한 계획]으로 효과적으로 전환되지 못하는 경우가 많다. 비록 제한적이기는 하지만, 그들의 [교육 프로그램을 개선하기 위한 의대생들의 기여]가 [아직 충분히 활용되지 않았다]는 것은 문헌을 통해 증명할 수 있다. 학생들은 "실행 중인 교육과정"을 경험했고, 그들은 그 제품을 대표하고 학계의 이해관계자로서 목소리를 가지고 있다.
With regard to curriculum development, the most common and basic model of student participation involves gathering feedback on teaching courses, program units, and examinations (Bovill et al. 2009; Lawson McLean et al. 2013; Peters et al. 2018). While these kinds of evaluations by students fulfill general accreditation standards for internal curriculum review processes, they often fail to become effectively translated into actionable plans for curriculum improvement (Hsih et al. 2015). There is evidence from the literature, although limited, that the contribution of medical students to improve their educational programs has not yet been sufficiently utilized (Bovill et al. 2009). The students have experienced the “curriculum in action”, they represent its product and have a voice as stakeholders in the academic community (Boland 2005; Peluso and Takizawa 2010).

몇몇 연구들은 [의대생들의 교육과정 개발에 대한 보다 적극적인 참여]가 [교육 프로그램의 개선]으로 이어진다고 지적했다. 예를 들어, 학생들의 평가 과정을 최적화하고 대규모 학생 그룹이 참여하는 특정 교육과정 변화와 연결되는 학생 주도 교육과정 검토 모델이 보고되었다. 다른 연구는 [커리큘럼 계획에 대한 더 많은 학생의 투입]이 [계획된 결과]와 [학습된 결과]의 [더 긴밀한 정렬]과 관련이 있다는 것을 보여주었다. 또한 교육단위 기획단에는 교직원 외에 의대생도 정회원으로 참여시키는 것이 관행으로 자리 잡았으며, 여기에는 시범적인 교육과정 개편 사업에 우리 기관도 포함된다. 학생들의 참여를 더욱 높이기 위해, 베를린의 Charité – Universitätsmediz (Charité)는 최근 새롭게 [통합된, 성과-지향 학부 의학 커리큘럼]의 각 모듈의 디렉토리 보드에 의대생을 공식적으로 통합하는 개념을 개발하고 구현했다. 이 개념은 2010년에 도입되었으며 2015년 ASPIRE 학생 참여 우수상을 샤리테에 수여하는 데 핵심적인 역할을 했다.
A few studies have indicated that more active participation of medical student in curriculum development leads to improvement of the educational programs. For instance, a model of student-led curriculum review has been reported which optimized the students’ evaluation process and links to specific curricular changes involving a large group of students (Hsih et al. 2015). Other work has demonstrated that greater student input into curricular planning is associated with a closer alignment of planned and learnt outcomes (Murphy et al. 2009). Furthermore, it has become practice to include medical students in addition to faculty teachers as regular members in the planning groups of educational units, and this includes our own institution in a pilot curricular reform project (Visser et al. 1998; Burger 2006). To go even further with students' participation, the Charité – Universitätsmedizin Berlin (Charité) has recently developed and implemented a concept to formally integrate medical students into the directory board of each module of its newly integrated, outcome-oriented undergraduate medical curriculum. The concept was introduced in 2010 and played a key role in granting of the ASPIRE award for excellence in student engagement to the Charité in 2015.

이 기사의 목적은 다음과 같다. 

  • (1) 통합 학부 의학 커리큘럼의 맥락에서 모듈 공동 책임자로서 기능하는 의대생의 개념, 활동 및 관행을 설명한다. 주요 측면은 기사에 요약되어 있으며 "방법"에 대한 자세한 설명은 부록에 설명되어 있다. 
  • (2) 융합적이고 혼합적인 접근법을 사용하여 교육과정 개발 과정에서 교직원 모듈 책임자와 학생 스스로가 학생 모듈의 역할, 기능, 효과를 어떻게 인식했는지 탐구한다.

The aims of this article are

  • (1) to describe the concept, activities and practices of medical students functioning as module co-directors in the context of an integrated undergraduate medical curriculum; key aspects are outlined in the article and a “how to” elaborations are elucidated in Supplementary Appendix; and
  • (2) to explore how faculty module directors and the students themselves perceived the role, functions, and effects of the student module co-directors in the process of curriculum development using a convergent, mixed-methods approach.

방법들
Methods

설정
Setting

샤리테는 유럽 중부에 위치한 대형 의과대학으로 매년 2회 300명의 의대 신입생을 모집한다. 2010년, 학부 의학 교육과정은 [전통적인 학문 기반]의 교육과정에서 1학기부터 마지막 학기까지 [완전히 통합된 프로그램]으로 전환되었다. 이 모듈은 5년의 학습 기간과 최종 사무직 연도에 걸쳐 40개의 학제 간 주제 모듈로 구성되어 있습니다(부록 2 참조).
The Charité is a large mid-European medical school and enrolls 300 new medical students twice a year. In 2010, the undergraduate medical curriculum was transformed from a traditional, discipline-based curriculum into a fully integrated program from the first to the last semester (Maaz et al. 2018). It is organized into 40 interdisciplinary, thematic modules over a five-year study time and a final clerkship year, see Supplementary Appendix 2.

모듈 공동 책임자로서의 의대생 개념
Concept of medical students as module co-directors

통합 프로그램의 각 모듈은 다양한 분야의 교수진 3명과 의대생 1명 등 4명의 모듈 디렉터 그룹이 주도한다. 이러한 구조는 새로운 교육과정의 개발과 시행 과정에서 긍정적인 경험에서 비롯된다. 4명의 모듈 책임자는 해당 모듈의 교육과 관련된 모든 분야의 대표자로 구성된 특정 모듈 계획 그룹에 의해 선출되고 의장도 됩니다. 그들은 모듈 디렉토리 보드를 구성하고 품질 보증 및 향후 개선과 같은 모듈의 주기적 커리큘럼 개발 프로세스를 공동으로 책임진다. 학생 모듈 공동 책임자는 교직원 및 학생과 상호 작용하고, 정보를 전달하고, 학생 평가 및 피드백을 종합 및 해석하며, 교직원 모듈 책임자와 함께 모듈을 공동 개발하고, 그룹으로 조직한다.
Each module of the integrated program is led by a group of four module directors: three faculty members from various disciplines, and one medical student. This structure originates from positive experiences during the development and implementation of the new curriculum. The four module directors are elected by, and also chair, a specific module planning group, consisting of delegates from all disciplines involved in the teaching of that module. They form the module directory board and are jointly responsible for the cyclic curricular development process of their module, e.g. quality assurance and future improvement. Student module co-directors interact with faculty and students, relay information, synthesize and interpret student evaluation and feedback, co-develop the module together with faculty module directors, and organize themselves as a group.

표 1은 학생 모듈 공동 책임자의 구체적인 업무 및 활동에 대한 개요를 제공합니다. 부록 1은 "방법" 관점에서 그들의 과제와 실천요강에 대한 상세한 설명을 포함한다. 부록 3은 교육과정에 대한 모범적인 기여에 대해 보고한다.
Table 1 provides an overview on the specific tasks and activities of the student module co-directors. Supplementary Appendix 1 entails a detailed description of their tasks and practices from a “how to” perspective. Supplementary Appendix 3 reports on exemplary contributions to the curriculum.

전반적으로 학생 모듈 공동 책임자는 개인으로서도, 집단으로서도 높은 수준의 자율성을 가지고 행동한다. 그들은 우리 [기관의 커리큘럼 개발과 학생 참여를 위한 더 큰 네트워크의 공식적인 요소]로 역할을 한다. 그림 1과 같이, 이 네트워크는 각 모듈에서 공부하는 학생, 모듈 디렉터, 모듈 기획 그룹, 교수진 교육과정 개발자, 학부 프로그램 교육과정 위원회, 샤리테 감독 교육위원회, 학생회 대표 조직과의 지속적인 상호작용을 포함한다. 
Overall, the student module co-directors act with a high level of autonomy, both as individuals and as a group. They serve as formal elements of a larger network for curriculum development and student engagement at our institution (Maaz et al. 2018; Peters et al. 2018). As shown in Figure 1, this network involves ongoing interactions with the

  • students studying in their respective module,
  • module directors,
  • the module planning group,
  • faculty curriculum developers,
  • the curriculum committee for the undergraduate program,
  • the Charité overarching education committee, and
  • the student council representative organization.


그림 1. Charité의 커리큘럼 개발을 위해 학생 모듈 공동 책임자를 조직 네트워크에 포함합니다. 의대생이라면 누구나 모듈 공동 책임자로 공석에 지원할 수 있다. 그들은 학생 모듈 책임자 그룹에 의해 선발되고 학장의 학생 사무실에서 공식적으로 고용된다. 학생 모듈 공동 책임자가 교수 모듈 책임자와 함께 모듈 검토 회의를 주재합니다. 이사회는 교육과정 위원회에 의해 공식적으로 임명된다. 또한 교수협의회에 소속된 학생대표들은 학부 의학 프로그램의 연구위원인 3명의 학생들을 임명한다.
Figure 1. 
Embedding of student module co-directors into the organizational network for curriculum development at the Charité. All medical students can apply to an open position as a module co-director. They are selected by the group of student module directors and formally employed in the Dean’s office of student affairs. Student module co-directors chair the module review meeting together with faculty module directors. The board is formally appointed by the curriculum committee. In addition, the student representatives who are part of the faculty council appoint the three students who are members of the study committee for the undergraduate medical program.

학생 한 명이 여러 모듈의 학생 모듈 공동 책임자 역할을 수행할 수 있습니다. 학생들의 작업은 매달 모듈당 10시간의 노동시간에 해당하는 유로로 보상된다.
One student can act as a student module co-director for multiple modules. The students' work is compensated with a Euro equivalent of 10 working hours per module each month.

 

방법론적 접근
Methodological approach

우리는 학생들이 모듈 공동 책임자라는 개념에 대해 풍부하고 다층적인 관점을 가질 수 있도록 융합 병렬 설계를 가진 혼합 방법 연구를 채택했다. 순차적 혼합 방법 설계에서 먼저 두 개의 온라인 설문 조사의 등급을 정량적으로 분석하였다. 그런 다음, 정량적 평가 결과를 조명하기 위해 설문 내러티브와 포커스 그룹에 대한 정성적 분석을 실시하였다. 그 자료는 2016/2017년 겨울학기 동안 수집되었다. 본 연구는 안전한 자료관리를 위하여 지방청 및 윤리위원회(제406/16호)의 승인을 받았다. 
We employed a mixed-methods study with a convergent parallel design to allow for a rich and multi-layered view on the concept of students as module co-directors (Creswell 2014). In a sequential mixed method design, we first analyzed quantitatively the ratings of two online surveys. Then, we conducted a qualitative analysis of survey narratives and a focus group to illuminate the quantitative rating results. The data were collected during the winter semester of 2016/2017. This study was approved by the local office for safe data management and by the Ethics Committee (no. 406/16).

설문조사
Surveys

두 건의 익명의 온라인 설문조사는 학생 모듈 책임자와 교수 모듈 책임자를 대상으로 했다. 둘 다 용어의 이해와 정교함을 위해 파일럿 테스트를 받았다. 설문조사는 인구통계학적 특성에 대한 질문 외에도 4점, 5점 만점의 리커트 척도 평가를 활용하였으며, 교육과정의 질적 보장과 개선과정에서 학생모듈 공동책임자의 역할, 기능, 역량에 대한 서술적 의견을 요청하였다(부록 4). 
Two anonymous online surveys were conducted, one for student module directors and one for faculty module directors (EvaSys®, Electric Paper Evaluationssysteme GmbH, Lüneburg, Germany). Both were pilot tested for comprehension and refinement of wording. In addition to questions about demographic characteristics, the surveys employed four- and five-point Likert-scaled ratings, and requested narrative comments about the role, functions, and competencies of student module co-directors in the process of curricular quality assurance and improvement (Supplementary Appendix 4).

포커스 그룹
Focus group

교육과정의 다양한 학기(1~10)와 모듈 유형(기초원리, 질병모형, 임상적용)을 다루기 위해 의도적으로 선정된 8명의 학생모듈 공동책임자를 대상으로 포커스 그룹 토론을 실시하였다. 포커스 그룹 인터뷰는 참가자들과 공식적인 상호 관계가 없는 심리학 학사 학위를 가진 건강 교육 연구원에 의해 진행되었다. 공개 토론 지침을 사용하여 그룹이 주제별 우선순위를 정할 수 있습니다(부록 5). 포커스 그룹 토론의 오디오 녹음은 정확하게 기록되었다.
A focus group discussion was carried out with eight purposively chosen student module co-directors in order to cover different semesters (1–10) and module types (foundational principles, disease models, and clinical application) of the curriculum. The focus group interview was moderated by a health education researcher with a Bachelor degree in psychology who had no formal interrelations with the participants. An open discussion guideline was used, thus allowing the group to set their own thematic priorities (Supplementary Appendix 5). An audio recording of the focus group discussion was transcribed verbatim.

양적, 질적 분석
Quantitative and qualitative analyses

정량조사 자료는 SPSS 22(IBM, Armonk, NY, USA)를 이용하여 기술적으로 분석하였다. 결과는 주파수 및 평균 ± 표준 편차로 표시됩니다. 텍스트로부터 범주를 도출하기 위한 귀납적 접근법을 이용하여 포커스 그룹 인터뷰와 내러티브 설문 의견을 정성적으로 분석하였다. 먼저 저자 LM, TH, HP는 주제별로 자료를 독립적으로 분석했다. 그런 다음, 모호성이 있는 경우 합의를 도출하기 위해 구체적인 인용문이 논의되었다. 이 문서에서 개별 학생의 인용구는 괄호 안에 "s"와 각 학생의 숫자로 표시되며, 교수진의 인용구는 "f"를 사용하여 동일한 방식으로 표시됩니다. 인용문은 저자들에 의해 독일어에서 영어로 번역되었다.
Quantitative survey data were analyzed descriptively using SPSS 22 (IBM, Armonk, NY, USA). Results are expressed as frequencies and mean ± standard deviation. The focus group interviews and narrative survey comments were analyzed qualitatively using an inductive approach for deriving categories from text (Mayring 2014). First, authors LM, TH, and HP independently analyzed the material thematically. Then, specific quotes were discussed to yield consensus in cases of ambiguity. In this article, quotes by individual students are indicated in parentheses with an “s” and the number of the respective student; quotes by faculty are displayed in the same manner by using the letter “f”. Quotes were translated from German to English by the authors.

결과
Results

정량분석
Quantitative analyses

스터디 샘플
Study sample

학생공동감독단에서는 25명 중 23명이 설문에 참여(응답률 92%)했다. 20명은 21~25세, 3명은 26~30세, 13명은 여성(57%)이었다. 평균 학습 시간은 2.5년(±1.4년)이었고, 학생 모듈 공동 책임자로서의 평균 학습 시간은 2년(±1.4년)이었다. 대부분(52%)이 하나의 모듈을 담당했습니다. 
In the group of student co-directors, 23 out of 25 students participated in the survey (92% response rate). Twenty were 21–25 and three were 26–30 years of age, 13 participants were female (57%). Mean study time was 2.5 years (±1.4 years) and mean time as student module co-directors 2 years (±1.4 years). Most (52%) were responsible for one module.

교직원 모듈 책임자 그룹에서는 107명 중 81명(응답률 76%)이 응답했다. 3명은 31~40세, 38명은 41~50세, 35명은 51~60세, 4명은 60세 이상, 26명은 여성(32%)이었다. 32명이 임상의, 22명이 임상 이론 분야, 25명이 기초 과학 분야에서 일하고 있다. 
In the group of faculty module directors, 81 out of 107 responded (76% response rate). Three were 31–40, 38 were 41–50, 35 were 51–60 and four were more than 60 years of age, 26 were female (32%). Thirty-two work as clinicians, 22 in a clinical–theoretical discipline and 25 in basic science.

대부분이 1개 모듈(75%)을 담당했으며 4년 이상 모듈 디렉터로 활동(42%, n=34%)했으며, 1년 미만 모듈 디렉터로 활동한 경우는 2개(3%)에 불과했다. 
Most were responsible for one module (75%) and had been active as a module director for more than 4 years (42%, n = 34); only two (3%) had been active for less than one year.

등급
Ratings

그림 2와 같이, 학생 모듈 공동 책임자의 87%가 교육과정 변화에 큰 영향을 미친다는 데 동의하거나 동의하는 경향이 있으며, 96%는 이것이 교육과정에 긍정적인 영향을 미친다고 생각한다. 대다수는 또한 자신이 다른 모듈 이사들과 동등한 파트너라고 생각합니다(87%가 동의하거나 동의하는 경향이 있음). 65%는 자신들의 생각이 때때로 학생들의 평가 결과와 다르다는 것에 동의하거나 동의하는 경향이 있다. 
As shown in Figure 2, 87% of the student module co-directors agree or tend to agree that they have great influence on curricular change and 96% think this has a positive impact on the curriculum. A majority also feels that they are equal partners of the other module directors (87% agree or tend to agree). Sixty-five percent agree or tend to agree that their ideas sometimes diverge from the student evaluation results.

[교직원 모듈 책임자] 대다수는 학생들이 자신의 교육과정에 기여할 수 있다는 점(93%), 학생 모듈 공동 책임자가 교육과정에 혜택을 준다는 점(94%), 업무가 건설적이라는 점(95%)에 동의하거나 동의하는 경향이 있다. 학생 모듈 공동 책임자ㅇ와 일치하여, 교직원 모듈 책임자의 80%도 학생 모듈 공동 책임자를 동등한 파트너로 본다. 교직원 모듈 책임자의 64%는 자신이 다른 교직원 모듈 책임자와 동일한 영향력을 가지고 있다고 생각하는 반면, 61%는 학생 모듈 공동 책임자보다 교육과정에 더 또는 조금 더 많은 영향력을 가지고 있다고 생각한다.
The majority of faculty module directors agree or tend to agree that students are able to contribute to their curriculum (93%), that the student module co-directors benefit the curriculum (94%) and that their work is constructive (95%). In congruence with the student module co-directors, 80% of faculty module directors also see the student module co-directors as equal partners. While 64% of faculty module directors think that they have the same influence on the curriculum as the other faculty module directors do, 61% think they have more or a little more influence on the curriculum than the student module co-directors do.

그림 3은 [교직원 모듈 책임자]가 활동과 관련된 8개의 서로 다른 영역에서 [학생 모듈 공동 책임자의 역량]을 어떻게 평가하는지 보여줍니다. 대다수의 교직원 모듈 책임자들은 학생 모듈 공동 책임자들이 교육과정에 대한 개요를 가지고 있으며, 학생들의 평가를 해석하고 교육과정 개선을 위한 제안을 제공하며 교사 및 학생들과 소통할 수 있다는 점에 83~96%의 비율로 동의하거나 동의하는 경향이 있다. 적어도 86%는 학생 모듈 공동 책임자들이 타협점을 찾을 수 있다는 것에 동의하는 경향이 있다. 이들은 수업의 질을 평가할 수 있는 능력이 있다고 판단되지만(81%가 동의하거나 동의하는 경향이 있다), 모듈의 분야 관련 내용을 평가할 수 있는 능력이 있다는 데 동의하는 교수 모듈 책임자는 훨씬 적다(49%만이 동의하거나 동의하는 경향이 있다).

Figure 3 shows how faculty module directors rate student module co-directors’ competence in eight different areas related to their activities. The majority of faculty module directors agree or tend to agree at rates between 83 and 96% that the student module co-directors have an overview of the curriculum, and that they are able to interpret students’ evaluation, provide proposals for curricular improvement and communicate with teachers and students. Eighty-six percent at least tend to agree that student module co-directors are able to find a compromise. They are deemed to be competent in assessing the quality of classes (81% agree or tend to agree), but far fewer faculty module directors also agree that they have the competence to assess the discipline-related content of the module (only 49% agree or tend to agree).

정성분석
Qualitative analyses

귀납적 접근법을 이용하여 정량적 조사 결과를 더욱 조명하기 위해 '학생 모듈 공동 책임자가 교육과정에 미치는 영향', '전략', '과제'의 세 가지 주제를 파악하고 선정하였다. 다음은 개인별로 특히 표현적이고 대표적인 인용문을 예시적으로 나열한 것이다. 인용문은 개념에 대한 다양한 인식을 설명해야 한다.
Using an inductive approach, we identified and selected the three themes “influence of the student module co-directors on the curriculum”, “strategies,” and “challenges” to further illuminate the results of the quantitative surveys. In the following, particularly expressive and representative quotes by the individuals are listed in an exemplarily manner. The quotes should illustrate the different perceptions towards the concept.

  1. 학생 모듈 공동 책임자가 교육과정에 미치는 영향. 여기서 세 개의 하위 테마가 인식되었습니다.
    Influence of the student module co-directors on the curriculum.
     Three sub-themes were recognized here.
    1. 커리큘럼에 대한 광범위하고 고유한 지식을 가져옵니다. 주제는 교수 모듈 책임자들이 제시한 인용문으로 가장 잘 특징지을 수 있다. 학생 모듈 공동 책임자는 "모듈에 대한 깊은 지식과 따라서 수업의 개요 및 학습 나선으로의 통합"(f50) 때문에 가치가 있다. 여기에는 "전체 교육과정의 주제 맥락"(f2), "어떤 내용이 이미 가르치고 어떤 수준의 세부사항"(f6), "격차"(f6)와 "중복"(f11), "실제로 나쁜 수업"(f13), "교육 계획과 수업의 현실 사이의 차이"(f13)에 대한 지식이 포함된다. 학생 모듈 공동 책임자는 "시스템에서 수업 내용을 상세히 설명할 수 있는 유일한 사람"으로 간주된다(f65). 학생들은 자신을 "진짜로 이루어지는 교육과정의 전문가"로 본다(s1).
      Bringing in broad and unique knowledge on the curriculum. This theme can best be characterized by the quotes given by the faculty module directors. Student module co-directors are valued because of their “profound knowledge of the module and thus also an overview of the classes and their integration into the learning spiral” (f50). This involves knowledge of “context of topics in the overall curriculum” (f2), “which content has already been taught and at what level of detail” (f6), the “gaps” (f6) and “redundancies” (f11), “didactically bad classes” (f13) and “differences between curricular planning and reality of a class” (f13). The student module co-directors are considered as the “only ones in the system who are able to overview in detail the content of the classes” (f65). Students see themselves as “experts of the curriculum that really takes place” (s1).
    2. 학생들의 관점에 목소리를 내는 것. 교수진과 학생들은 모두 학생 모듈 공동 감독을 "학생들의 대변자"로 본다(s23, f54). 학생 모듈 공동 책임자는 "평가 비율이 낮을 때 특히 중요한 학생들의 피드백을 묶는다"(f2). 그들의 대표성은 다양하게 인식된다. 일부 교수진은 "학생 관점이 관련성 있고 대부분 구체적인 피드백을 제공하는 대표적인 목소리를 얻는다"(f31)고 말하는 반면, 다른 교수진들은 학생 모듈 공동 책임자가 "학생의 관점에서 중요한 피드백"을 제공한다고 말한다. 불행하게도, 항상 대표적인 것은 아니다"(f7).
      Giving the students’ perspective a voice.
       Both faculty and students see the student module co-directors as the “mouthpiece of the students” (s23, f54). The student module co-directors “bundle the feedback from students which is particularly important when evaluation rates are low” (f2). Their representativeness is perceived diversely. While some faculty members state that the “student perspective gains a representative voice that provides relatable and mostly concrete feedback” (f31), others state that student module co-directors contribute “important feedback from the perspective of the students. Unfortunately, not always representative” (f7).
    3. 개선을 위한 아이디어를 제공합니다. 교수 모듈 책임자들은 학생들의 기여와 그들이 기여하는 방식의 몇 가지 측면을 중요시한다. 학생 모듈 공동 책임자는 "창의성과 신선함으로"(f24), "새로운 생각"(f4), "건설적인 비판"(f5)에 기여합니다. 그들은 종종 "중요한 강의 시간의 어려움에 대한 창의적인 해결책"(f69)을 가지고 있다. 학생 모듈 공동 책임자들은 "예산과 직업 관심사로부터 독립적"이라는 장점을 지적한다(s24). 그들은 스스로를 "교육과정이 어떻게 돌아가는지 이해하는 학생"이라고 설명한다. 반면, 교수 모듈 책임자들은 학생들이 "가끔 너무 이상적이고 긍정적으로 사물을 본다"(f21), "조직적 타당성을 보지 않고"(f72), "부족한 인적 자원"(f72)을 표현한다.
      Contributing ideas for improvement.
       Faculty module directors value several aspects of the students’ contribution and the way they contribute. The student module co-directors contribute “with creativity and freshness” (f24), “new thoughts” (f4), and offer “constructive criticism” (f5). They often have “creative solutions for difficulties with critical teaching sessions” (f69). Student module co-directors point out the advantage of “being independent of budget and career interests” (s24). They describe themselves as “students that understand how the curriculum works” (s24). On the other hand, faculty module directors express that the students “sometimes see things too idealistically and positively” (f21), “without looking at organizational feasibility” (f72), and “the scarce personnel resources” (f72).
  2. 학생 모듈 공동 책임자의 전략. 학생 모듈 공동 책임자는 모듈 책임자로서 성공하기 위한 네 가지 핵심 전략을 언급합니다.
    Strategies of the student module co-directors.
     The student module co-directors mention four key strategies for being successful as a module director.
    1. 준비를 잘 해라. "첫 번째는 준비하는 것입니다. 잘 준비해서 사람들을 정말 설득할 수 있을 것 같아요."(s26) 또한 "준비에 더 많은 노력을 기울일수록 제안이 받아들여질 가능성이 높다"(s6). 이는 일반적인 회의 준비를 넘어선 것으로 보인다. 사전에 학생들은 "어떤 주장이 나올 수 있고 어떤 반론이 좋을지에 대한 시나리오를 검토한다"(s24) 그리고 가능하다면 "이미 마음 한구석에 있는 문제에 대한 해결책을 가지고 있다"(s24). 교수 모듈 책임자는 "학생들의 준비 작업을 통해 의사 결정을 포함한 회의가 더 쉽고 빠르게 진행된다"고 보고합니다(f46).
      Be well prepared.
       “The first thing is being prepared. I think you can really persuade people by having prepared well” (s26). Furthermore, "the more effort you invest in preparation, the higher are the chances that your proposal gets accepted” (s6). This seems to go beyond general meeting preparations. In advance, students “go through scenarios about what arguments may come up and what would be good counter arguments” (s24) and, if possible, “have a solution for the problem already in the back of your mind” (s24). The faculty module directors report that “working with the students’ preparations, our meetings – including decision-making – become easier and faster” (f46).
    2. 힘들지만 전략적인 위치를 차지합니다. 예를 들어, 모듈 기획 회의에서 학생 모듈 공동 책임자는 보통 회의록을 작성합니다. "회의록을 작성하는 것은 처음에는 귀찮다고 느낄 수 있지만," "결과가 표현되어야 하는 방식으로 표현되기 때문에" (s24) "이것을 당신 자신의 손에 쥐는 것" (s27)이 유리한 것으로 보인다. 이는 회의록이 "회의에서 합의된 변경사항을 요구할 때 참조할 수 있는 문서"(s24)로 간주되기 때문에 중요하다. 학생들은 그들이 "아무도 그것을 하고 싶어하지 않기 때문에 회의록을 작성한다"(s28)는 것을 알고 있지만, "그들을 좋은 위치에 놓는다"(s8)는 것을 발견한다. 반면에, 교수 모듈 책임자들은 학생들이 "일상적인 과부하 때문에 우리가 하지 않았을 업무 패키지를 자주 인계받는다"(f46)는 것을 높이 평가한다.
      Take over laborious, but strategic positions.
       For instance, student module co-directors usually take over the minutes in module planning meetings. “Writing the minutes, may feel annoying in the beginning” (s24), but it is seen as advantageous, “holding this in your own hands” (s27) “as results are phrased in the way they should be phrased” (s24). This is important as the minutes are seen as “the document one can refer to when demanding the changes that were agreed on in the meeting” (s24). The students are aware that they “write the minutes because nobody else would like to do it” (s28), but find that it “puts them into a good position” (s8). On the other hand, the faculty module directors appreciate that the students “frequently take over work packages, which otherwise would not be done by us because of the daily overload” (f46).
    3. 모듈 계획 그룹에 접근하기 전에 모듈 디렉토리 보드 내에서 합의에 도달합니다. 이것은 수업 내용의 변화와 그 변화를 촉진하기 위한 의사소통 전략에 적용된다. 내용과 관련하여 "변경 제안은 모듈 이사 간에 논의된 후 공동으로 제시하고 최종적으로 승인한다"(f36). 커뮤니케이션 전략과 관련해서는 교직원 모듈 책임자가 주도적으로 나서는 경우도 있다. "우리가 무언가를 결정하면, 모듈 책임자 중 한 명이 '내가 알아서 하겠다'고 말하고, 그나 그녀의 글이 더 무게가 실릴 것이기 때문에, 여러 부서에 이메일을 씁니다."(s29) 다른 상황에서는 학생이 제안된 변화를 주로 전달하는데, "단순히 학생이 중립적인 위치에 있기 때문이다. (s24)".
      Reach a consensus within module directory board before approaching the module planning group.
       This applies to changes in content of classes and the communication strategy to facilitate the change. Regarding content, “proposals for change are discussed among the module directors and then jointly presented and eventually endorsed” (f36). Regarding communication strategy, the faculty module directors take the lead in some cases. “When we have decided on something, one of the module directors says, ‘I will take care of it’, and writes the emails to the various departments, since his or her writing will carry more weight” (s29). In other situations, the student primarily communicates the proposed change, “simply because the student is in a neutral position. (s24)”.
    4. 학생 모듈 공동 책임자 그룹의 지원을 받습니다예를 들어, 학생들은 "집단에 의한 지원, 집단 내 정보 교환 및 자신의 모듈에 있는 문제에 대한 다른 관점의 입력"을 중요시한다(s11). 격주 회의에서 "학생 모듈 공동 책임자 간의 교류는 많은 새로운 아이디어를 만들어 내고 그룹은 생산적으로 협력한다"(s18). 그들의 자율성은 "그룹 내의 좋은 협력과 창의성을 위한 기초"로 간주된다.
      Getting support by the group of student module co-directors.
       For example, the students value “the support by the group, the exchange of information within the group and the input from other perspectives on issues in their own module” (s11). In the biweekly meetings, “the exchange between the student module co-directors produces many new ideas and the group productively works together” (s18). Their autonomy is seen as basis “for the good collaboration and creativity within the group” (s21).
  3. 학생 모듈 공동 책임자가 직면한 과제. 학생 모듈 공동 책임자로서의 업무가 긴장감이 없는 것은 아니다. 도전적인 것으로 인식되는 두 가지 하위 주제가 확인되었다.
    Challenges student module co-directors face.
     The work as a student module co-director is not without tension. Two subthemes were identified that are perceived as challenging.
    1. 위계질서를 다루는 것. 일부 학생들은 "위계에서 더 높은 위치에 있는 사람들을 다룰 때" 토론하고 해결책을 찾는 것을 어려움으로 인식했다(s14). 다른 이들은 "더 높은 순위의 사람들과 대화를 시작하는 것에 대한 자신의 억제력의 감소"를 경험했다(s20). 어떤 경우에는 "일부 교사들이 열심히 노력해서 그것을 해낸다"(s27)는 것처럼 "지렛대가 훨씬 적다"(s21)는 경험을 하기도 있다.
      Dealing with hierarchy.
       Some students perceived it as a challenge to discuss and to find solutions when “dealing with persons having a higher position in the hierarchy” (s14). Others experienced “a drop in one’s own inhibition to start a discourse with higher ranking people” (s20). In some cases, they experience “having much less leverage” (s21), as “some faculty teachers dig in their heels and get through with it” (s27).
    2. 커리큘럼 설계의 협상 과정에 익숙해지는 것. 이것은 변화에 영향을 미치기 위해 필요한 시간과 투자된 노력을 의미한다. 예를 들어, 학생들은 "토론을 멈출 때가 왔을 때 깨달을 필요가 있다"(s27)와 "하고 싶은 모든 것을 실행할 수 없기 때문에 집중하는 것이 중요하다"(s14)를 표현한다. 또한, 학생들은 "과잉 반응하지 말고, 모든 것을 개인적으로 받아들이지 말라"(s24) 또는 "합의에 도달하려면 시간이 필요하다"(s28)는 것을 배워야 했다. 학생들은 "인내력"(s10), "자기 주도성과 지속성을 보여주는 것"(s11), " 좌절 관용"(s10)의 증가에 대해 보고했지만, "기관으로서의 자선단체와 다양한 위원회에 대한 더 많은 감사"(s20), "다른 사람의 일을 처리하는 데 더 많은 존경과 감사를 보여주는 것"(s22)도 보고했다. 
      Getting used to the negotiation process in curriculum design.
       This refers to the time needed and the effort invested in order to affect a change. For instance, students express that they “need to realize when the time has come to stop a debate” (s27) and that it is important to get focused because “one cannot implement everything one would like to” (s14). In addition, students had to learn “not to overreact, not to take everything personally” (s24) or that “reaching consensus needs time” (s28). Students reported on increases in “endurance” (s10), “showing self-initiative and persistence” (s11) and “frustration tolerance” (s10), but also “more appreciation for the Charité as an institution and its various committees” (s20) and being “more respectful and showing more appreciation in dealing with the work of others” (s22).

논의
Discussion

본 연구는 의대생들을 교과과정 개발의 순환과정에 적극적으로 참여시키기 위한 새로운 실천모형을 보고하고 연구한다. 우리는 교직원 모듈 책임자와 학생 자신 모두 모듈 공동 책임자로서의 학생들의 개념, 즉 교육과정에 대한 역할, 기능 및 이점에 대한 그들의 경험을 긍정적으로 평가한다는 것이다. 우리의 혼합 방법 접근법은 모듈 공동 책임자로 기능하는 학생들의 여러 측면과 그들의 전략 및 그들이 직면한 과제를 깊이 조명한다. 다음에서는 문헌에 비추어 우리의 발견이 시사하는 바에 대해 논의할 것이다. 
The present study reports on and researches a new practice model for actively engaging medical students in the cyclic process of curricular development. We found that both faculty module directors and the students themselves positively rate their experience with the concept of students as module co-directors, i.e. their role, functions and benefits to the curriculum. Our mixed-methods approach profoundly illuminates the multiple facets of students who are functioning as module co-directors and their strategies and the challenges they face. In the following, we will discuss the implications of our findings in light of the literature.

교직원과 학생 모두 모듈 공동감독으로 일하는 학생들이 교육과정에 도움이 된다고 지적한다. 교육과정에 대한 광범위하고 독특한 지식을 끌어내고 학생들의 평가를 종합하여 잘 배치된 학생 중심의 교육과정 개선 제안서로 번역하는 학생들의 능력은 그런 점에서 중요한 것으로 보인다. 따라서, 모듈 공동 책임자로서의 학생의 개념은 학생들이 자신의 아이디어와 개념을 도입하고 의사결정 과정에 직접 참여함으로써 학생들을 [고전적인 반응적 역할], 즉 교육된 커리큘럼 평가에서 [능동적 역할]로 이동시킨다(Daese et al. 2015). 그들의 작업은 커리큘럼 평가와 혁신을 밀접하게 연결하고 [진행 중인 커리큘럼 검토 및 개선의 주기를 닫는 데 도움]이 된다. 이 개념은 또한 학생들이 배우는 것에 영향을 미칠 뿐만 아니라 받는 가르침에 영향을 미치는 자기 주도 학습의 보다 발전된 모델(Visser et al. 1998)로 볼 수 있다.
Both faculty and students point out that students working as module co-directors benefit the curriculum. Students’ ability to bring in a broad and unique knowledge of the curriculum and translate the syntheses of the students’ evaluation into well-placed, student-oriented proposals for curricular improvement seems to be instrumental in this regard. Thereby, the concept of students as module co-directors moves the students from the classical reactive role, i.e. evaluating the taught curriculum, to a pro-active role by bringing in their own ideas and concepts and being directly involved in decision making processes (Dhaese et al. 2015). Their work closely links curriculum evaluation with innovation and helps to close the cycle of ongoing curriculum review and improvement. The concept may also be seen as a more advanced model of self-directed learning (Visser et al. 1998), where students not only have influence on what they learn, but also have an influence on the teaching they receive.

교수진과 학생들은 함께 학생 모듈 감독을 [학생들의 대변자]로 보고 있다. 그럼에도 불구하고, 두 그룹 모두 개별 학생 모듈 공동 책임자의 의견이 전체 학생 단체를 완전히 대표하는 것은 아니라는 것을 알고 있다. 세계의 다른 많은 곳과 마찬가지로, 우리 기관의 평가 참여는 자발적이며 응답률이 다소 낮다(Bosch et al. 2017). 학생 모듈 공동 책임자는 구두 학생 피드백 세션, 모듈의 학생들과의 대화 및 학생 모듈 공동 책임자 그룹의 다른 구성원들과 같은 다수의 질적 출처와 이용 가능한 정량적 학생 피드백을 합성하여 이에 대처하려고 한다. 이러한 어려움에도 불구하고 학생 모듈 공동 책임자는 학생들의 피드백과 아이디어를 모듈 리뷰에 충분히 반영하여 모듈의 커리큘럼 개선을 실질적으로 추진하는 것으로 보인다.
Faculty and students together see the student module director as a mouthpiece of the students. Nevertheless, both groups are aware that the opinion of the individual student module co-director may not be fully representative of the whole student body. Similar to many other places around the world, participation in evaluation in our institution is voluntary and the response rate is rather low (Bosch et al. 2017). The student module co-directors try to cope with this by synthesizing the available quantitative student feedback with a number of qualitative sources such as the oral student feedback session, conversations with students from the module and other members of the group of student module co-directors. Despite these difficulties, the student module co-directors seem to bring in enough students' feedback and ideas into the module reviews and thereby to substantially drive the curriculum improvement of the modules.

모듈 디렉터로서의 역할과 기능에 관해서는 교직원과 학생 모듈 디렉터는 서로를 동등한 파트너로 봅니다. 이것은 그들이 같은 전문지식을 가지고 있고 업무를 균등하게 분배한다는 것을 의미하지 않는다. [학생들의 강점] 중 하나는 ['실행 중인 교육과정'에 대한 독특한 시각]인 반면, [교직원 모듈 디렉터]들의 강점은 [교육과정의 분야 관련 내용]에 있다. 따라서 교직원과 학생 모듈 책임자는 모듈 검토 및 개선 과정에서 효과적으로 협력하는 다양한 기술과 전문 분야를 가진 개인으로 구성된 팀을 구성합니다. 여기에는 모듈 내용 및 구성에 대한 공동 책임과 커리큘럼 변경에 대한 공동 의사 결정이 포함됩니다. 이 작업이 항상 긴장감이 없는 것은 아니지만, 일반적으로 [학생들과 교수 모듈 책임자들 사이의 대화]가 [서로 분야가 다른 교수진들 사이에서의 대화]보다 분명히 덜 강렬하다는 것을 우리가 발견한 것은 흥미로웠다.
With regard to their role and function as module director, faculty, and student module directors see each other as equal partners. This does not mean that they possess the same expertise and distribute the tasks equally. One strength of the students is their unique perspective on the “curriculum in action”, while the faculty module directors’ strength lies in the discipline-related contents of the curriculum. Thus, faculty and student module directors form a team of individuals with varied sets of skills and areas of expertise which works effectively together in the process of module review and improvement. This involves shared responsibility regarding the module content and organization and shared decision-making in curricular change. This work is not always without tension, but it was interesting for us to see that in general discourses between students and faculty module directors were apparently less intense than those seen among faculty members of different disciplines.

학생 모듈 공동 책임자가 되는 연습은 학생들이 그들의 일을 효과적으로 하기 위해 몇 가지 전략을 채택하도록 이끌었다. 특히 교육 위원회에서 우리가 학술 위원회의 일원인 사람들에게, 성공 전략은 좋은 준비, 힘들고 전략적인 위치를 차지하고, 다른 주요 그룹과 사전에 동의를 찾고, 동료 커뮤니티로부터 지지를 받는 것을 포함하는 것은 놀라운 일이 아닐 수 있다. 학생들이 인식하는 도전도 마찬가지다. [커리큘럼 설계와 개선에 참여하는 교수들]은 [위계구조를 경험하고 다루는 것]과 [변화를 이루기 위해서는 노력과 시간이 필요하다는 것]을 잘 알고 있다. 모듈 공동 책임자인 학생들은 [학계에서 적극적인 역할을 하기 위해 빠르게 배우는 것] 같다. 이를 따른다면, 이 개념은 [커리큘럼 설계와 개선의 공동 창조에서의 공유 거버넌스 모델]을 의미한다(Boland 2005; Bovill et al. 2009). 학생들의 역할은 "이해관계자", "고객 또는 소비자", 또는 단순히 "시스템의 산물"을 넘어선다(Boland 2005). 그들의 역할은 [학문적 민주주의의 이상이 실천되고 배양되는 학문 공동체에서 공식적인 구성원]이 되는 것으로 바뀐다(Boland 2005). 
The practice of being a student module co-director has led students to adopt several strategies to do their work effectively. For those of us being a member of academic committees, especially in educational committees, it may not be surprising that success strategies involve good preparation, taking over laborious, strategic positions, finding consent in advance with other key groups and getting support from their peer community. The same applies to the challenges which students perceive. Experiencing and dealing with hierarchy and the efforts and time it takes to achieve changes are all well known by faculty members involved in curricular design and improvement. It seems that the students as module co-directors learn quickly to play an active role in the academic community. Along this line, the concept implies a model of shared governance in the co-creation of curriculum design and improvement (Boland 2005; Bovill et al. 2009). The role of students goes beyond being a “stakeholder”, a “client or consumer,” or just a “product of the system” (Boland 2005). Their role changes to being a formal member in the academic community, where the ideal of academic democracy is practiced and cultivated (Boland 2005).

우리의 결과를 해석할 때 커리큘럼 맥락을 고려해야 한다. 교육과정의 통합적 성격과 최근의 시행은 학생들을 모듈 공동 책임자로 두는 긍정적인 인식에 기여했을 것이다. 통합 학부 의료 프로그램은 상당한 복잡성을 수반한다(Stodard et al. 2016; Maaz et al. 2018). 새로운 통합 프로그램을 구현하기 전에, 우리의 이전 학부 교육과정은 전통적인 학문 기반 방식으로 구성되었으며, 요소 간의 상호작용이 제한적이고 감독의 필요성이 거의 없었다. 게다가, 대부분의 교직원들은 그들 자신이 학생이었을 때 비슷한 프로그램을 경험했다. 이것은 그들에게 그러한 커리큘럼에 대한 개요와 이해를 제공했다. 우리 기관의 주요 개혁으로 프로그램은 수많은 수평 및 수직 상호 연결을 가진 통합되고 복잡한 시스템으로 전환되었다(Maaz 등 2018). 문제는 오늘날의 많은 교직원들이 학생 시절에 이러한 새로운 커리큘럼을 경험하지 못했다는 것이다. 모듈 디렉터로 근무할 때, 그들은 아마도 그들의 부서와 분야의 기여가 전체 교육 프로그램에 어떻게 들어맞는지, 그리고 단일 수업의 변화가 교육과정의 다른 부분과 학생들의 학습 결과에 어떻게 잠재적으로 영향을 미칠 수 있는지 상상하기 어려울 것이다. 우리는 이러한 격차가 학생 모듈 공동 책임자와의 협업에 의해 쉽게 해소된다고 가정하며, 이는 결국 이 개념에 대한 교직원의 긍정적인 반응에 중요하다. 
The curricular context has to be taken into account in the interpretation of our results. The integrated nature of the curriculum and its recent implementation may have contributed to the positive perception of having students as module co-directors. Integrated undergraduate medical programs involve a substantial complexity (Stoddard et al. 2016; Maaz et al. 2018). Before implementation of the new, integrated program, our former undergraduate curriculum was organized in a traditional, discipline-based manner, with limited interactions between its elements and little need for oversight. In addition, most faculty teachers have gone through a similar program when they were students themselves. This provided them with an overview and understanding of such curricula. With the major reform at our institution, the program was transformed into an integrated, complex systems with numerous horizontal and vertical interconnections (Maaz et al. 2018). A problem is that many of today’s faculty members did not experience these new curricula as students. When serving as a module director it is probably difficult for them to envision how the contribution of their departments and disciplines fits into the whole educational program and how change in a single class may potentially affect other parts of the curriculum and the students’ learning outcome. We assume that this gap is closed easily by the collaboration with student module co-directors, which in turn is important for the positive response by faculty members to this concept.

이 연구는 한계가 있다. 단일 센터 환경을 나타냅니다. 지역적 맥락, 새로 구현된 커리큘럼 및 프로그램의 통합 특성은 다른 맥락으로의 이전 가능성을 제한할 수 있다. 우리의 연구는 교수 모듈 책임자가 있는 포커스 그룹을 포함하지 않았다. 교수모듈국장 설문조사의 229개 내러티브는 그들의 인식에 대한 질적 통찰력을 도출할 수 있는 실질적인 자료를 제공하였다. 우리는 예를 들어 전체 학생이나 교직원과 같은 우리 기관에 관련된 다른 그룹의 인식을 조사하지 않았다. 이러한 한계는 우리와 다른 의대에서 이 분야의 추가 연구를 위한 로드맵 또는 영감으로 보일 수 있다.
This study has limitations. It represents a single center experience. The local context, the newly implemented curriculum and the integrated nature of the program may limit transferability to other contexts. Our study did not involve a focus group with faculty module directors. The 229 narratives in the faculty module director survey provided substantial material to derive qualitative insights into their perceptions. We did not investigate the perception of other groups involved at our institution, for instance, the whole student or teaching body. These limitations may be seen as a roadmap or inspiration for further research in this area in our and other medical schools.

결론적으로, 본 논문은 학부 의학 교육과정의 지속적인 개발 과정에서 학생들의 참여를 위한 새로운 모델을 소개한다. 이 모델을 실천하는 것은 교수진과 학생 모듈 책임자 모두에게 긍정적으로 경험됩니다. 교육과정의 결과적인 개선은 학생들과 기관의 이익을 위한 것이다. 우리의 보고서는 다른 의학부들이 학생들을 커리큘럼 개발과 학생 참여의 다른 주요 영역에서 공동 책임자로 공식적으로 참여하도록 장려할 수 있다. 
In conclusion, this article introduces a new model for student engagement in the continuous development process of an undergraduate medical curriculum. Practicing this model is experienced positively by both faculty and student module directors. The resulting improvements of the curriculum are for the benefit of the students and the institution. Our report may encourage other medical faculties to formally engage their students as co-directors in curriculum development as well as in other key domains of student engagement.

 

 


Med Teach. 2019 Oct;41(10):1143-1150. doi: 10.1080/0142159X.2019.1623385. Epub 2019 Jun 16.

Student engagement in medical education: A mixed-method study on medical students as module co-directors in curriculum development

Affiliations collapse

Affiliation

1Dieter Scheffner Center for Medical Education and Educational Research, Dean's Office of Student Affairs, Charité - Universitätsmedizin Berlin , Berlin , Germany.

PMID: 31203695

DOI: 10.1080/0142159X.2019.1623385

Abstract

Introduction: Beyond participation in evaluation of teaching, there is sparse research available on more active roles of medical students in curriculum development. We report on a model of student engagement where medical students function as module co-directors, and how this is experienced by faculty and student module directors. Methods: Student engage in co-development of their curriculum with a high level of autonomy in organizing their activities. We conducted a mixed-methods, convergent design study based on surveys with faculty and student module co-directors and a student co-director focus group. Quantitative data were analyzed descriptively. Qualitative analysis was performed inductively. Results: Quantitatively, the majority of both faculty and student module directors report that the curriculum benefits from the students' work (95 and 94%). Both groups see each other as equal partners (80 and 87%). Qualitatively, this is related to students' competencies such as "bringing in broad and unique knowledge of the curriculum", "giving the students' perspective a voice," and "contributing ideas for improvement". Key strategies and challenges of the student co-module directors are illuminated. Conclusions: Student module co-directors represent a well-accepted practice model for curriculum development. This report may stimulate other faculties to engage their students more actively in medical education.

교육혁신을 구축-측정-학습으로 빠르게 평가하기: 린 스타트업을 보건의료전문직 교육에 적용하기 (Med Teach, 2022)
Evaluating education innovations rapidly with build-measure-learn: Applying lean startup to health professions education
David A. Cook, Abhishek Bikkani & M. Jeannie Poterucha Carter

 

 

서론
Introduction

교육자는 항상 혁신합니다. 교육 혁신의 예로는

  • 기존 과정의 새로운 교육 활동(예: 온라인 모듈, 그룹 토론, 수업 전 비디오 또는 인공지능 적응형 학습 인터페이스),
  • 평가에 대한 새로운 접근 방식(예: 학생이 절차적 과제에 대한 성과를 직접 기록),
  • 커리큘럼 내에서의 새로운 과정 또는 관리 절차 (예: 로테이션 성적 제출 또는 데이터 웨어하우스의 개발 및 사용을 위한 온라인 도구) 또는
  • 완전히 새로운 커리큘럼 내의 요소.

물론, 어떤 아이디어들은 다른 아이디어들보다 더 잘 작동한다. 유지할 혁신과 중단할 혁신을 선택하는 것은 유익성, 비용 및 단점과 관련된 경험적 증거를 이상적으로 기반으로 한다. 그러나 전통적인 연구 방법의 답은 종종 혁신 평가를 시기적절하고 의미 있는 방식으로 안내하기에는 너무 늦고 너무 드물게 나타난다. 예를 들어, e-러닝 및 시뮬레이션과 같은 교육 기술을 사용하는 혁신은 현재 특히 흔하지만, 이러한 기술은 매우 빠르게 발전하여 일반적인 교육 연구 연구를 수행하는 데 걸리는 시간(12~18개월) 동안 현대 스마트폰은 두 가지 디자인 '세대'를 거치게 될 수 있다. 혁신자들은 어떻게 따라갈 수 있을까?
Educators innovate all the time. Examples of educational innovations include

  • new instructional activities in an existing course (e.g. an online module, group discussion, pre-class video, or artificial intelligence adaptive learning interface),
  • novel approaches to assessment (e.g. students self-recording their performance on a procedural task),
  • new courses or administrative procedures within a curriculum (e.g. an online tool for submitting rotation grades, or development and use of a data warehouse), or
  • an entirely new curriculum.

Of course, some ideas work better than others. Choosing which innovations to sustain and which to stop is ideally based on empiric evidence regarding benefits, costs, and disadvantages. Yet the answers from traditional research methods often come too late and too infrequently to guide innovation evaluations in a timely and meaningful way. For example, innovations using educational technologies such as e-learning and simulation are particularly common at present, yet these technologies evolve so rapidly that in the time it takes to conduct a typical education research study (12–18 months), a modern smartphone might go through two design ‘generations.’ How can innovators keep up?

혁신 평가에 대한 '린 스타트업' 접근법은 전통적인 연구에 대한 유용한 대안을 제공한다. 이 접근법은 첨단 소프트웨어 시장에서 혁신의 개발과 생존에 기원을 두고 있지만, 그 이후 산업과 군대를 포함한 인터넷 기반 사업과 '전통적' 사업 모두에 널리 적용되어 왔다. 창안자(기업가)는 (적어도 서류상 또는 이사회에서) [좋게 들리는 아이디어]에서 [수익성 있는 비즈니스 모델]로 빠르게 전환하도록 촉진하기 위해 이 프로세스를 만들었습니다. 기업가들과 그들의 자금 제공자들은 제한된 시간과 자원을 고객의 요구를 충족시키는 데 효과적이고, 실행 가능하고, 지속 가능한(수익성) 아이디어에 사용할 강력한 인센티브를 가지고 있다. 그리고 그렇지 않은 아이디어들을 가능한 한 빨리 버려야 한다. [린 스타트업 접근 방식]은 짧은 평가 및 수정 주기를 사용하여 중요한 가정을 테스트하고 효과가 있는 모델에 빠르게 수렴하고 실행 불가능한 아이디어를 버린다. 신제품 제작 도구(예: 게시, 웹 사이트 제작, 게임 디자인 및 3D 인쇄용 도구)가 널리 보급되어 있다는 점을 감안할 때, 현대의 초점은 제품을 효율적으로 [구축하는 것building]이 아니라 고객이 원하고, 사용하고, 실제로 지불할 제품에 대해 [배우는 데learning] 있습니다. 실제로 '학습 속도가 새로운 불공평한 장점'이다(Maurya 2022).
The ‘Lean Startup’ approach to innovation evaluation offers a useful alternative to traditional research. This approach has its origins in the development and survival of innovations in the fiercely-competitive market of high-tech software, although it has since been widely applied to both Internet-based and ‘traditional’ businesses including industry and the military. The originators—business entrepreneurs—created this process to promote rapid transition from ideas that sound good (at least on paper, or in the board room) into profitable business models. Entrepreneurs and their funders have strong incentives to channel limited time and resources to ideas that are effective in meeting customer needs, practicable, and sustainable (profitable); and abandon as quickly as possible ideas that are not. The Lean Startup approach uses short cycles of evaluation and revision to test critical assumptions and rapidly converge on a model that works, and discard nonviable ideas. Given widespread availability of tools to build new products (e.g. tools for publishing, website creation, game design, and 3D printing), the contemporary focus is not on efficiently building a product but on learning about the product that customers want, use, and will actually pay for. Indeed, ‘Speed of learning is the new unfair advantage (Maurya 2022).

교육 혁신은 기업가적인 벤처이며, 상업적인 비즈니스 스타트업은 유망한 아이디어를 신속하게 식별하고 다듬는 린 스타트업 방법의 혜택을 받을 것이다. 그러나 린 스타트업 접근법은 교육에서 거의 주목을 받지 못했다. '린 스타트업'에 대한 PubMed 검색 결과, 혁신 보고서의 일환으로 린 스타트업 방법론을 간략하게 설명한 교육 중심 기사(Kaylan et al. 2021)가 1건만 공개됐다. 구글이 'Lean Startup Education'을 검색한 결과 다수의 블로그 게시물, 한 가지 방법 중심 기사(LeMahieu et al. 2017b), 박사 논문(Tran 2015)이 나타났다.
Education innovations are entrepreneurial ventures, and like a commercial business startup would benefit from Lean Startup methods to rapidly identify and refine promising ideas. Yet the Lean Startup approach has received little attention in education. A PubMed search for ‘Lean Startup’ revealed only one education-focused article (Kaylan et al. 2021) that briefly outlined the Lean Startup methodology as part of an innovation report. A Google search for ‘Lean Startup Education’ revealed a number of blog posts, one method-focused article (LeMahieu et al. 2017b), and a doctoral thesis (Tran 2015).

이 글의 목적은 린 스타트업의 역사와 주요 원칙을 개괄하고, 이를 보건 전문직 교육에 적용하고, 우리의 개인적인 경험을 활용하여 설명하는 것이다. 주요 청중은 보건 전문 교사들이다. 교육 관리자, 연구자 및 기업가들은 또한 이 접근법이 유용하다는 것을 알게 될 것이다. 
The purpose of this article is to outline the history and key principles of Lean Startup, apply these to health professions education, and illustrate these using our personal experience. The primary audience is health professions teachers. Education administrators, researchers, and business entrepreneurs will also find this approach useful.

교육자는 기업가이고, 혁신 팀은 스타트업입니다.
Educators are entrepreneurs, innovation teams are startups

[기업가]의 한 가지 정의는 '대개 상당한 진취성과 위험을 지닌 모든 기업을 조직하고 관리하는 사람'이다. 대부분의 교육 혁신가들은 스스로를 조직자이자 창시자로 인식하겠지만, 그들은 정말 위험을 감수하는 사람들일까? 교육 혁신의 위험은 벤처 캐피털 투자를 수반하지 않을 수 있지만, 그럼에도 불구하고 위험은 사소하지 않다.

  • 첫째로, 혁신의 개발과 구현은 혁신자와 그 팀의 시간과 자원의 헌신을 요구한다.
  • 둘째, 기술혁신을 사용하는 것은 사용자(학습자 또는 기타 교육자)에 의한 투자도 포함한다:
    • 시간과 자원의 투자(예: 기회 비용)와
    • 기술혁신이 실제로 의도한 대로 작동하는 신뢰의 투자(예: 이러닝 모듈이 그들을 임상실습을 위해 적절하게 준비할 것이다).
  • 셋째, 일부 혁신은 학교나 프로그램의 인증 상태에 영향을 미칠 것이다.
  • 마지막으로, 혁신자의 명성은 위태롭습니다. 실패한 혁신은 이력서에 좋지 않을 수 있습니다.

One definition of entrepreneur (www.dictionary.com) is ‘a person who organizes and manages any enterprise, usually with considerable initiative and risk.’ Most education innovators will recognize themselves as organizers and initiators, but are they really risk-takers? Risk in education innovation may not involve a venture capital investment, but risks are nonetheless non-trivial.

  • First, the innovation’s development and implementation requires a commitment of time and resources by the innovator and their team.
  • Second, using the innovation involves investments by users (learners or other educators) as well:
    • investments of time and resources (i.e. opportunity costs), and
    • investment of trust that that the innovation actually works as intended (for example, that an e-learning module will adequately prepare them for clinical practice).
  • Third, some innovations will impact a school or program’s accreditation status.
  • Finally, the innovator’s reputation is on the line: a failed innovation might not look good on one’s curriculum vitae.

[스타트업]은 '극도의 불확실성 조건 하에서 새로운 제품과 서비스를 창출하도록 설계된 인간 기관'으로 정의되어 왔다(Ries 2011). 이러한 기준을 충족할 수 있는 다양한 기관 중에는 혁신자와 협력하여 아이디어를 실현하는 교육 혁신 팀이 있습니다. 교육 혁신은 확실히 '불확실성이 있는 조건'이다. 예를 들어, 전공의 정오 회의를 재설계하려면 다음과 같은 수많은 우선 순위를 균형 있게 조정해야 한다.

  • 전공의의 실제 학습 요구 충족(이전보다 더 효과적으로 개선됨), 
  • 현상 유지를 원하는 교직원의 기분을 상하게 하지 않고, 
  • 지원 직원을 압도하지 않으며, 
  • 인증 요구 사항을 충족하며, 
  • 관리자들을 행복하게 하고, 
  • 제한된 시간과 리소스로 이를 달성합니다. 

어떻게 이런 일이 일어날 수 있을까요? 그것은 불확실합니다!

A startup has been defined as, ‘A human institution designed to create new products and services under conditions of extreme uncertainty’ (Ries 2011). Among the various institutions that might meet these criteria is the education innovation team—those working with the innovator to bring their ideas to fruition. An educational innovation certainly represents a ‘condition of uncertainty.’ For example, a redesign of resident noon conferences would require balancing numerous priorities:

  • meeting residents’ real learning needs (hopefully more effectively than before),
  • avoiding offending faculty members who want to maintain the status quo,
  • not overwhelming the support staff,
  • meeting accreditation requirements,
  • keeping administrators happy, and
  • accomplishing this with limited time and resources.

How can this happen? It is uncertain!

우리의 목적을 위해, 우리는 '제품'이라는 용어를 매우 폭넓게 정의하며, 기본적으로 [모든 교육 활동이나 혁신]을 포함합니다.
For our purposes, we define the term ‘product’ very broadly—encompassing essentially any educational activity or innovation.

또한 우리는 '고객'이라는 용어를 혁신자가 해결하려고 하는 문제를 실제로 물건을 구매하는지 여부에 관계없이 폭넓게 정의합니다. 교육 고객은 일반적으로 학습자이지만 다른 이해관계자(교사, 관리자, 환자, 연구원)도 포함될 수 있다. 일반적인 사업에서 고객은 제품과 공급업체 중에서 선택한 후 제품을 구매합니다. 때때로 이것은 학생이 대학, 선택 과정, 지속적인 교육 활동, 교과서 또는 온라인 자원 구독을 선택할 때 교육에서도 마찬가지이다. 또는 관리자가 온라인 학습 관리 시스템 또는 표준화된 테스트를 선택할 때에도 그렇다. 그러나 일반적으로 교육 고객은 의식적으로 특정 제품을 선택하거나 구입하지 않습니다. 일단 레지던트 프로그램에 연결되면 대학원 의사는 훈련과 환자 치료 활동을 거의 통제할 수 없습니다. 
일단 과정에 등록하면, 학생들은 일반적으로 교육이 매일 어떻게 진행되는지 선택하지 않는다. 그럼에도 불구하고 학습자와 기타 이해관계자를 고객으로 보는 것은 비금전적 투자(시간, 정신적 에너지)와 암묵적 옵션(지시적 격차, 필요, 욕구, 우선순위, 혁신, 솔루션, 개입 및 다른 상황에서 선택을 제시할 수 있는 대안)에 주의를 집중한다면 도움이 될 수 있다.

We also define the term ‘customer’ broadly, as anyone whose problem the innovator is trying to solve—regardless of whether anyone actually buys anything. The customer in education is usually the learner, but could also include other stakeholders (teachers, administrators, patients, researchers). In a typical business a customer purchases a product after choosing among products and suppliers. Sometimes this is also true in education, as when a student chooses a university, an elective course, a continuing education activity, a textbook, or an online resource subscription; or when an administrator chooses an online learning management system or standardized test. Commonly, however, education customers don’t consciously choose or purchase a specific product: once attached to a residency program, postgraduate physicians have little control over training and patient care activities; once enrolled in a course, students don’t typically choose how instruction proceeds day by day. Nonetheless, viewing learners and other stakeholders as customers can be helpful if it focuses attention on non-monetary investments (time, mental energy) and implicit options (instructional gaps, needs, wants, priorities, innovations, solutions, interventions, and alternatives that could present a choice under other circumstances).

린 스타트업 접근 방식
The lean startup approach

내역 및 개요
History and overview

에릭 리스는 2000년대 후반에 소프트웨어 회사를 공동 설립하면서 '린 스타트업'의 아이디어를 개발했으며, 자신의 경험을 앞서 설명한 두 가지 개념과 결합했다(Ries 2011).

  • 컨셉 1은 도요타의 '린 제조'(Womack et al. 2007)로, [제조 공정에서 낭비를 전략적으로 제거하는 데 중점]을 두고 있다. 그리고 제품이 사전에 완전히 명시되지 않고 짧고 반복적인 주기로 개발되고 정제되는 소프트웨어 산업의 '애자일 개발'의 보완적 개념(Beck et al. 2001). 
  • 컨셉 2는 Steve Blank의 '고객 개발' 아이디어입니다(Blank 2013, 2020). [고객의 니즈를 이해하고 대응하는 것]이 엔지니어링 및 제품 개발보다 더 중요하다는 것을 의미합니다. 

Eric Ries developed the idea of the ‘Lean Startup’ while co-founding a software company in the late 2000s, merging his own experiences with two previously-described concepts (Ries 2011).

  • Concept 1 is Toyota’s ‘lean manufacturing’ (Womack et al. 2007), which focuses on strategically eliminating waste in a manufacturing process; and the complementary concept of ‘agile development’ (Beck et al. 2001) from the software industry in which products are developed and refined in short, repeated cycles rather than being fully specified up-front.
  • Concept 2 is Steve Blank’s idea of ‘customer development’ (Blank 20132020)—that understanding and responding to customer needs (sources of ‘pain’) are more important than engineering and product development.

[린 스타트업의 핵심 전제]는 다음과 같다.

  • 모든 새로운 벤처(우리의 경우 교육 혁신을 포함)가 성공하는 방법을 배워야 한다.
  • 학습은 경험적 데이터에 기반해야 한다,
  • 이러한 데이터는 '사무실 밖으로 나가기'와 고객과의 상호작용을 통해 가장 잘 얻어낸다.

The central premises of the Lean Startup are

  • that any new venture (including, in our case, education innovations) must learn how to be successful,
  • that learning must be based on empiric data, and
  • that these data are best obtained by ‘getting out of the office’ (Blank 2020) and interacting with customers.

린 스타트업 접근 방식은 혁신가들이 아이디어를 기능성 제품으로 전환하고, 고객이 어떻게 반응하는지 측정하고, 이러한 결과로부터 학습하여 제품을 개선한 다음, 이 사이클을 반복하도록 지원합니다(이상적으로 여러 번, 그리고 빠르게). 중요한 것은 초기 제품이 잘 개발되어서는 안 된다는 것입니다. 오히려, 아이디어를 미리 완성하려는 모든 노력은 시간과 자원의 낭비이기 때문에 거의 기능적이지 않아야 합니다('최소한의 실행 가능한 제품'). 핵심은

  • 가능한 한 빠르고 빈번하게 주기를 반복하여
  • 고객의 요구를 더 잘 이해하고 응답하도록 제품을 반복적으로 수정하고,
  • 이로서 제품 아이디어를 고객이 실제로 사용할 수 있는 것으로 신속하게 다듬는 것입니다(이는 혁신자가 처음에 구상한 것과 상당히 다를 수 있음).

The Lean Startup approach helps innovators turn their idea into a functional product, measure how customers respond, learn from these results to refine the product, and then repeat this cycle (ideally multiple times, and rapidly). Importantly, the initial product need not—in fact, should not—be well-developed. Rather, it should be barely functional (a ‘minimal viable product’), because any efforts to perfect the idea up-front are a waste of time and resources. The key is

  • to repeat the cycle as quickly and as frequently as possible,
  • iteratively revising the product to better understand and respond to customer needs, and
  • thus rapidly refine the product idea into something that customers will actually use (which may be quite different from what the innovator initially envisioned).

린 스타트업은 실제로 [특정 영역에 초점을 둔 과학적 방법의 응용]일 뿐이며, 실용적인 시간에 민감한 문제로 용도 변경되었다(Ries 2011).
Lean Startup is really just a focused application of the scientific method, repurposed to a practical time-sensitive problem (Ries 2011).

5대 원칙
Five key principles

Ries(2011)는 린 스타트업의 5가지 핵심 원칙을 개략적으로 설명합니다. 첫째, 기업가들은 어디에나 있다. 위에서 언급했듯이, 교육 혁신가들은 기업가이고, 그들의 팀은 스타트업이다.
Ries (2011) outlines five core principles of the Lean Startup. First, entrepreneurs are everywhere. As noted above, education innovators are entrepreneurs, and their teams are startups.

둘째, 기업가정신은 경영이다. 스타트업은 '단순한 상품이 아니라 기관'이며 효과적인 관리가 필요하다. 핵심 혁신자인 팀 리더는 벤처 기업을 관리하고 팀에 책임을 물을 준비가 되어 있어야 합니다.
Second, entrepreneurship is management
. A startup ‘is an institution, not just a product’ and requires effective management. The team leader—the key innovator—must be prepared to manage the venture and hold the team accountable.

셋째, 스타트업은 고객에 대해 학습한 것을 검증할 필요가 있다. 스타트업(즉, 혁신 팀)의 목적은 [학습하는 것]이지 반드시 제품을 구축하거나 고객의 요구를 충족하기 위한 것은 아닙니다. Ries는 혁신자들이 효과적이고 지속 가능한 제품과 사업을 구축하는 방법(즉, 무엇을 구축해야 하는지)을 배울 필요가 있다고 주장한다. 만약 그들이 배움learning 대신 스스로의 구축building하는 데 초점을 맞춘다면 그들은 결국 실패할 것이다. 학습은 혁신자들이 그들의 기본 가정과 비전을 경험적으로 시험할 수 있게 하는 실험을 필요로 한다.—비즈니스 모델을 'de-risk'하는 것이다. 교육 환경에서, 이는 새로운 과정 아이디어를 도입하기보다는, 혁신 팀이 [변화가 정말로 필요한지 여부를 결정하는 데 집중]하도록 장려한다는 것을 의미합니다. 그리고 변화의 필요가 당연하자면warranted, 코스 개발에 [반복적인 '지속적인 품질 개선' 접근법]을 채택해야 한다. 학습자가 정말로 필요로 하는 것(현재 어떤 gap이 존재하는가, 학습자가 무엇을 실제로 사용할 것인가, 무엇이 학습 결과를 실제로 최적화할 것인가)을 파악하는 데 초점을 맞춥니다. 마우리아가 말했듯이, '인생은 아무도 원하지 않는 것을 만들기에는 너무 짧다'(Maurya 2012). 혁신의 [지속가능성]과 [확장성] 또한 테스트되어야 합니다. 새로운 고객들(예: 내년 또는 다른 기관의 학생)이 그것을 사용할 수 있을까?
Third, startups need validated learning about customers
. The purpose of a startup (i.e. the innovation team) is to learn, not necessarily to build a product or meet customer needs. Ries maintains that innovators need to learn how to build an effective and sustainable product and business (i.e. what to build). If they focus on building itself instead of learning they will ultimately fail. Learning requires experiments that allow innovators to empirically test their fundamental assumptions and vision—to ‘de-risk’ their business model. In an education setting, this means that rather than jumping in and implementing a new course idea, Lean Startup encourages the innovation team to focus on determining whether a change is really needed; and if change is warranted then to adopt an iterative ‘continuous quality improvement’ approach to course development. The focus is on identifying what learners really need (what gaps currently exist, what they will actually use, and what will really optimize learning outcomes). As Maurya stated, ‘Life’s too short to build something nobody wants’ (Maurya 2012). The sustainability and scalability of the innovation should also be tested: will new customers (e.g. students next year or from other institutions) be able to use it?

넷째, 검증된 학습을 달성하기 위해 스타트업(혁신 팀)은 빌드-측정-학습 사이클(그림 1 및 아래 설명)을 빠르고 자주 거쳐야 합니다. 성공적인 팀은 주요 질문(가정)에 계속 집중하면서 이 프로세스를 가속화할 수 있습니다.
Fourth, to accomplish validated learning, startups (innovation teams) need to go through the Build-Measure-Learn cycle (Figure 1, and described below) quickly and frequently. Successful teams can accelerate this process while continuing to focus on key questions (assumptions).

다섯째, 스타트업(혁신팀)은 혁신회계에 집중해야 한다. 여기에는 의미 있는 메트릭스 식별, 구체적인 목표 설정, 결과 측정, 데이터에 대응하고 목표를 달성하기 위한 작업의 우선 순위가 포함됩니다. 이러한 초점은 혁신자들이 장기적으로 원하는 결과를 달성할 책임을 지게 한다.

Fifth, startups (innovation teams) must focus on innovation accounting. This involves identifying meaningful metrics, setting specific goals, measuring results, and prioritizing work to respond to data and meet objectives. Such focus holds innovators accountable to achieving the long-term desired outcomes.

 

검증된 학습 및 빌드-측정-학습 주기
Validated learning and the build-measure-learn cycle

성공 정의: 비즈니스 모델 명확화
Define success: Articulate the business model

그것은 '성공'이 어떻게 생겼는지 명확하게 정의하는데 도움이 된다. 비즈니스 벤처의 경우, 성공은 보통 고객에게 지불하고 순이익에서 측정된다. 교육 혁신의 경우 성공은 [신규 사용자, 완료율, 학습자 지식 또는 개발 또는 지속적인 비용(교사 시간 포함)]에서 측정될 수 있다.
It helps to clearly define what ‘success’ would look like. For a business venture, success is usually measured in paying customers and net profits. For an educational innovation, success might be measured in new users, completion rates, learner knowledge, or development or ongoing costs (including teacher time).

이러한 성공의 비전을 '비즈니스 모델'('조직이 가치를 창출, 제공 및 포착하는 방법'에 대한 설명)에서 포착하면 훨씬 더 도움이 됩니다. Maurya(2012)는 혁신의 본질(및 수반되는 비즈니스 모델)을 한 페이지로 증류하기 위해 [린 캔버스]를 개발했다. 린 캔버스를 제작하면 팀은 깊이 있고 명확하게 생각할 수 있으며, 가정을 우선시하고, 다른 모델을 대조하며(예: 다른 고객, 문제, 솔루션 또는 비용 구조로 여러 캔버스 생성) 효과적으로 의사 소통할 수 있습니다. 우리는 이 템플릿을 새로운 린 교육 캔버스를 만들기 위해 적용했습니다(그림 2).
Capturing this vision of success in a ‘business model’ (a description of ‘how an organization creates, delivers, and captures value’ [https://en.wikipedia.org/wiki/Business_model]) helps even more. Maurya (2012) developed the Lean Canvas to distill the essence of an innovation (and the accompanying business model) onto a single page. Creating a Lean Canvas forces the team to think deeply and clearly, and helps to prioritize assumptions, contrast different models (e.g. generating several Canvases with different customers, problems, solutions, or cost structures), and communicate effectively. We have adapted this template to create a novel Lean Education Canvas (Figure 2).


린 교육 캔버스를 사용하여 가정의 우선순위를 정하고 프로젝트 전체의 진행 상황/진화를 모니터링할 수 있습니다. 전문가들은 캔버스의 초기 완성을 다음과 같은 순서로 권장합니다(Maurya 2012). 섹션을 공백으로 두어도 괜찮습니다(이는 높은 우선순위 테스트를 수행할 수 있는 위험한 문제가 될 수 있습니다).
The Lean Education Canvas can be used to prioritize assumptions and monitor the progress/evolution of the project as a whole. Experts recommend that the Canvas be initially completed in a single sitting, in the following order (Maurya 2012). It’s ok to leave a section blank (this might suggest a risky issue that warrants high-priority testing).

1. 고객 부문 + 문제 – 이러한 섹션은 긴밀하게 연결되어 있으므로 함께 작성합니다. 즉, '고객'과 2차 수혜자를 모두 식별합니다(예: 의대생에 대한 평가를 기록하는 임상 강사의 새로운 시스템의 경우, 1차 수혜자는 강사, 2차 수혜자는 학생, 지원 직원 및 학장).
1. Customer Segments + Problem
– complete these sections together, as they are tightly interconnected; identify both immediate ‘customers’ and secondary beneficiaries (for example: for a novel system for clinical preceptors to record assessments of medical students, the immediate customer is the preceptor; secondary beneficiaries include students, support staff, and the dean).

3. 고유한 가치 제안 – 차이가 중요한지 확인하고 얼리 어답터를 목표로 삼으십시오. [사람들이 제품을 사용한 후 얻을 수 있는 혜택]의 관점에서 이를 설명하도록 하십시오.
3. Unique Value Proposition
– make sure your difference matters and aim for the early adopters; try to state this in terms of benefits derived after people use your product.

4. 솔루션 – 단일 솔루션에 얽매이지 말고 '각 문제를 해결하기 위해 구축할 수 있는 가장 간단한 것'을 적습니다(Maurya 2012).
4. Solution(s)
– don’t get bound to a single solution; write down the ‘simplest thing you could possibly build to address each problem’ (Maurya 2012).

5. 채널 – 주요 인력(기본 및 보조 고객)과 어떻게 소통하고 참여를 이끌어낼 것인가? 여기에는 푸시 메시징(예: 이메일), 풀 메시징(예: 고객이 웹 사이트) 및 입소문 공유(리퍼링)가 포함될 수 있습니다.
5. Channels
– how will you communicate with and get buy-in from key people (primary and secondary customers)? This can include push messaging (you initiate contact, e.g. email), pull messaging (customers find you, e.g. website), and word-of-mouth sharing (referral).

6. 재정 지원 – 일부 교육 혁신은 수익을 창출하기 위한 것이지만, 장기적인 지속 가능성을 보장하기 위해 재정적 지원을 받지 않아도 됩니다. 수익 출처에는 학교 예산 기금, 외부 보조금 및 등록금이 포함될 수 있습니다.
6. Financial Support – some educational innovations intend to generate revenue, but even those that do not must garner financial support to ensure long-term sustainability; revenue sources might include school budget funds, external grants, and subscription fees.

7. 비용 구조 – 혁신을 개발하고 구현하는 데 필요한 비용에 대한 상세하고 현실적인 추정치를 개략적으로 설명합니다.
7. Cost Structure – outline a detailed, realistic estimate of costs required to develop and implement the innovation.

8. 주요 지표 – 여기에는 혁신의 초기 및 반복 사용, 학습 결과(지식, 기술, 행동), 시스템 결과(학교 또는 환자 치료에 미치는 영향), 유료 구독 및 추천이 포함될 수 있습니다.
8. Key Metrics – these might include initial and repeated use of the innovation, learning outcomes (knowledge, skills, behaviors), system outcomes (impact on school or patient care), paid subscriptions, and referrals.

9. 불공평한 이점 – 주어진 제품을 처음 출시하는 것은, 이점이 아니라, 실제로 위험입니다. (Maurya 2012) 진정한 '불공정한' 이점에는 고객과의 연계 가치, 내부자 정보, 개인 전문 지식, 개발 팀 기술, 수많은 기존 고객 및 대규모 네트워크/커뮤니티가 포함됩니다.
9. Unfair Advantage – being first to launch a given product is actually a risk, not an advantage; (Maurya 2012) truly ‘unfair’ advantages include customer-aligned values, insider information, personal expertise, development team skills, numerous existing customers, and a large network/community.


원래의 비즈니스 모델은 경험적 테스트에서 거의 살아남지 못할 것이다(Blank 2020). 당연하다. 실제로 비즈니스 모델을 변경하거나 성공의 비전을 재정의할 수 있는 증거(검증된 학습!)를 제공하는 것이 린 스타트업의 핵심 목적입니다.
The original business model will almost never survive empiric testing (Blank 2020). That’s expected. Indeed, providing evidence (validated learning!) to change the business model or redefine the vision of success is the central purpose of the Lean Startup.

 

가정 식별 후 테스트
Identify assumptions, then test

스타트업(혁신팀)의 목적은 고객에 대해 최대한 많이 배우는 것입니다. 팀은 일반적으로 고객이 무엇을 원하거나 필요로 하는지 아이디어로 시작하지만, 실제로는 단순한 가정일 뿐이며 가정을 테스트해야 합니다. 가정을 식별하는 것은 직관적이거나 쉽지 않다. 표 1은 다음 두 가지 접근 방식을 설명합니다

  • 스스로에게 일련의 탐색적 질문을 던지고
  • 린 교육 캔버스의 각 진술을 체계적으로 잠재적인 가정으로 봅니다.

The purpose of a startup (innovation team) is to learn as much as they can about their customers. The team usually starts with an idea of what the customer wants or needs, but in reality this is merely an assumption—and assumptions need to be tested. Identifying assumptions is not intuitive or easy. Table 1 describes two approaches:

  • asking oneself a series of probing questions, and
  • systematically viewing each statement in the Lean Education Canvas as a potential assumption.

일단 식별되면, 가정은 프로젝트 실패의 위험에 기초한 시험을 위해 [우선 순위]를 매겨야 한다: [불확실성]이 높고, 잠재적으로 [임팩트]가 큰 가정이 우선 순위가 된다. [테스트하기 쉬운 가정]도 종종 조기에 테스트됩니다.
Once identified, assumptions should be prioritized for testing based on risk of project failure: assumptions with high uncertainty and potentially high impact get first priority. Assumptions that are easy to test are often tested early as well.

 

사무실에서 나가십시오. 고객과의 대화
Get out of the office: Talk with customers

가정을 식별하고 테스트하기 위해 혁신자들은 [사무실에서 나와 잠재 고객과 소통]해야 합니다(Blank 2020). 만트라는 다음과 같다. '당신의 건물 안에는 사실이 없으니 밖으로 나가세요'(Blank 2012). 고객 중심 학습('고객 개발')은 '깨달음으로 가는 길'(Blank 2020)으로 분류되었습니다.
To both identify and test assumptions, innovators need to get out of the office (Blank 2020) and interact with potential customers (Constable 2014). The mantra is: ‘There are no facts inside your building, so get outside’ (Blank 2012). Customer-focused learning (‘customer development’) has been labeled the ‘path to epiphany’ (Blank 2020).

'문제점'(고객 발견)에 대한 초기 이해는 일반적으로 고객과의 대화(질적 데이터)를 수반합니다. 전문가들은 포커스 그룹(그룹 사고를 유발함)이나 서면 질문지(팀이 이미 올바른 질문과 잠재적 답을 알고 있다고 가정함)보다는 일대일 인터뷰를 권고한다(Maurya 2012; Constable 2014). 이러한 인터뷰에 대한 자세한 지침을 이용할 수 있다(Constable 2014). 정량적 테스트는 이후 단계에서 인터뷰를 보완한다(Constable 2018; Blank 2020).
Initial understanding of ‘pain points’ (customer discovery) typically involves talking with customers (qualitative data). Experts recommend 1-on-1 interviews rather than focus groups (which promote group-think) or written questionnaires (which presume the team already knows the right questions and potential answers) (Maurya 2012; Constable 2014); detailed guidance on such interviews is available (Constable 2014). Quantitative testing complements interviews at later stages (Constable 2018; Blank 2020).

빌드: 실행 가능한 최소 제품
Build: The minimal viable product

불행히도, 고객들은 자신이 진정으로 원하는 것이 무엇인지, 무엇이 가장 효과적으로 작동할 것인지 모르는 경우가 많습니다. 그들의 의견과 믿음은 시험되어야 할 추가적인 가정이다. 따라서 고객(학습자, 교사 등)과 상호 작용할 수 있는 '최소 실행 가능한 제품'(MVP)이라는 가시적인 것을 매우 조기에 구축하는 것이 중요합니다. MVP는 가정을 경험적으로 테스트할 수 있게 한다. 

  • 고객은 정말 그 제품을 사용하나요? 
  • 고객은 그것을 예상한 대로 사용하나요? 
  • 원하는 (학습) 결과를 쉽게 얻을 수 있습니까? 
  • 어떤 장애물에 부딪히고, 이를 해결하기 위해 제품을 재설계할 수 있는 방법은 무엇입니까? 
  • 이러한 변화가 초기 비전과 의도된 기능에 어떤 영향을 미칩니까? 

이러한 모든 질문 및 기타 질문에 대한 답변은 빌드-측정-학습 주기(그림 1)에 따라 이루어집니다.
Unfortunately, customers often don’t know what they really want or what will work most effectively; their opinions and beliefs are further assumptions that need to be tested. Thus, it is critical to build something tangible very early—a ‘minimal viable product’ (MVP) with which customers (learners, teachers, etc) can interact. The MVP enables assumptions to be empirically tested:

  • Do customers really use the product?
  • Do they use it as envisioned?
  • Does it facilitate the desired (learning) outcomes?
  • What stumbling blocks do they encounter, and how can the product be redesigned to resolve these?
  • How do these changes affect the initial vision and intended functionality?

All of these questions, and more, will be answered in cycles of Build-Measure-Learn (Figure 1).

혁신자들은 일반적으로 그들의 제품이 거의 완벽하기를 원하지만, 린 스타트업은 정반대의 것을 장려한다. 첫 번째 제품은 '최소한의 노력(시간과 비용 포함)으로 검증된 학습을 최대한 수집할 수 있는 신제품 버전'이어야 합니다(Ries 2009). 이것은 보통 MVP가 의도적으로 저렴하고 불완전하다는 것을 의미한다. [스타트업의 초점]은 제품을 만들거나 고객을 기쁘게 하는 것이 아니라 [문제에 대한 실행 가능하고 지속 가능한 솔루션을 구축하는 방법을 배우는 것]입니다. 따라서 MVP에는 [하나 이상의 중요한 가정(가설)을 테스트하는 데 필요한 최소한의 기능]만 포함되어야 한다. 종종 이것은 [계획된 최종 제품과 표면적으로 거의 유사하지 않은 구현]을 포함한다. 그러나 MVP는 기능성의 [더 깊은 수준에서 강한 오버랩]을 가져야 한다. 기능 보존 단축키의 구체적인 예로는 주문을 처리하기 위해 컴퓨터 프로그램을 작성하는 대신 손으로 주문을 처리하는 것, 소셜 네트워크를 사용하는 대신 혁신 팀이 사용자의 질문에 답하도록 하는 것, 화면상의 아바타가 화면을 돌아다니는 것보다 한 곳에 서도록 하는 것 등이 있다. 표 2에는 추가적인 미니멀리즘 대안이 나열되어 있다.
Innovators typically want their product to be near-perfect, but Lean Startup encourages precisely the opposite: the first product should be a ‘version of a new product which allows a team to collect the maximum amount of validated learning with the least effort’ (Ries 2009) (including time and money). This usually means the MVP is deliberately inexpensive and incomplete. Remember that the focus of the startup is not to build products or please customers, but to learn how to build practicable, sustainable solutions to a problem. Thus, the MVP should contain only the minimal features required to test one or more critical assumptions (hypotheses). Often this involves an implementation that bears little superficial resemblance to the envisioned final product. However, the MVP should have strong overlap at deeper levels of functionality. Specific examples of function-preserving shortcuts include processing orders by hand instead of writing a computer program to process orders; having the innovation team answer users’ questions instead of employing a social network; and making on-screen avatars stand in one place rather than walk around the screen. Table 2 lists additional minimalistic alternatives.

MVP 출범이 늦어진다는 것은 학습의 지연을 의미한다. 혁신자들은 종종 열등하거나 불완전한 제품을 출시하는 것에 대해 우려를 표하며, 고객을 소외시킬 것을 두려워한다. 이러한 두려움은 고객이 누구인지, 고객이 진정으로 원하는 기능이 무엇인지 알고 있으며, 고객은 누락된 기능에 대해 충분히 신경 써서 불쾌감을 느낀다고 가정합니다. 이 모든 가설은 시험할 수 있고, 종종 시험할 때 거짓으로 판명된다. 실제로 가장 중요한 질문 중 하나는 항상 이것이다. 고객은 품질을 어떻게 정의합니까? 즉, 고객이 진정으로 관심을 갖는 기능은 무엇입니까? 중요한 것은, MVP가 '실패'하더라도 학습이 이루어지면(특히 실패가 예상한 방식으로 발생하지 않는 경우가 많기 때문에) 그 경험이 큰 성공을 거둘 수 있다는 것이다.
Any delay in launching the MVP means a delay in learning. Innovators often express concerns about releasing an inferior or incomplete product, fearing to alienate customers. This fear assumes that they know who their customer is, they know what features their customer truly wants, and the customers will care enough about missing features that they will be offended. All of these are hypotheses that can (and should) be tested; and often, when tested, they prove false. Indeed, one of the most important questions is always: How does the customer define quality, i.e. what features do they really care about? Importantly, even if the MVP ‘fails’ the experience can be a great success if learning is gained (especially since failure often does not occur in the expected way).

다시 강조하자면, MVP의 목적이 꼭 고객을 기쁘게 하기 위한 것이어야 할 필요는 없으며, 전반적인 혁신에 대한 가정(가설)을 테스트하여 학습하는 것입니다.
To again emphasize: the purpose of the MVP is not (necessarily) to please customers, but to test assumptions (hypotheses) about the overall innovation and thereby to learn.

측정
Measure

MVP를 테스트하려면 [의미 있고 실행 가능한 결과]의 측정이 필요합니다. '의미 있음'은 테스트 중인 가설(가정)과의 관계를 나타냅니다. 이상적으로, 결과는 강력한 원인-효과 추론(즉, MVP에 대한 학습)을 지원할 것이다. 웹사이트 조회수 또는 환자 체류 기간과 같은 결과를 측정하는 것은 이러한 결과가 MVP의 특정 특징에 기인할 수 없거나 핵심 가정을 다루지 않는 경우 검증된 학습을 제공하지 않는다.
Testing the MVP requires measurement of meaningful, actionable outcomes. ‘Meaningful’ indicates a relationship with the hypothesis (assumption) being tested: ideally, outcomes will support a strong cause-effect inference (i.e. learning about the MVP). Measuring outcomes such as Website hits or patient length of stay does not provide validated learning if these outcomes cannot be attributed to a specific feature of the MVP or do not address a key assumption.

정성적 데이터(인터뷰)는 모든 단계에서 필수적이지만, 프로젝트가 진행됨에 따라 정량적 데이터(수치)의 중요성이 점점 커지고 있습니다. 유료 고객을 유치하는 데 의존하는 기업에게 '해적 지표'(McClure 2007)는 의미가 있다('AARR'이라는 머리글자가 해적처럼 들리기 때문에 일명). 이러한 지표는 다음에 초점을 맞춥니다. 

  • 고객 획득(신규 방문자 수), 
  • 활성화(진행 상황을 저장하거나 계정을 활성화하여 재방문을 계획할 수 있을 만큼 충분한 경험을 누리는 고객), 
  • 유지(실제 재방문), 
  • 추천(동료에 대한 추천), 
  • 수익(어떤 것에 대한 지불)

이들은 많은 교육 환경에 적응할 수 있다(예: 온라인 모듈은 새로운 사용자, 모듈 완료, 지속적인 사용 및 추천을 추적할 수 있다). 교육의 다른 성과로는 환자 결과 및 재정적 비용뿐만 아니라 학습자 만족도, 동기 부여, 태도, 지식, 기술 및 침대 머리맡에서의 행동이 포함될 수 있다'최고의' 결과는 문제의 가정을 직접적으로 알려주는 것이다. 잠재적 결과 측정의 비용, 타당성, 타당성 및 임상/교육 관련성 또한 중요한 고려사항이다.
Qualitative data (interviews) are vital at all stages, but quantitative data (numbers) become increasingly important as a project progresses. For a business dependent on attracting customers who pay, the ‘pirate metrics’ (McClure 2007) (so-called because the acronym ‘AARRR’ sounds like a pirate) are meaningful. These metrics focus on customer

  • Acquisition (number of new visitors),
  • Activation (customers who enjoy the experience enough to plan a return visit by saving progress or activating an account),
  • Retention (actual return visits),
  • Referral (recommendations to colleagues), and
  • Revenue (payment for something);

these could be adapted to many education settings (e.g. an online module might track new users, module completion, ongoing use, and referrals). Other outcomes in education might include learner satisfaction, motivation, attitudes, knowledge, skills, and behaviors at the bedside, as well as patient outcomes and financial cost. The ‘best’ outcome is one that directly informs the assumption in question. Cost, feasibility, validity, and clinical/educational relevance of potential outcome measures are also important considerations.

정량적 데이터는 시간 경과에 따른 비교(설계 변경과 이상적으로 연계), '경쟁사'와의 비교(또는 전통적인 접근 방식) 또는 동시 통제군과의 비교 등이 있다. 강력한 원인 효과 결정을 용이하게 하는 한 가지 방법은 'A-B 테스트'를 포함하며, 이는 기본적으로 두 가지 버전의 MVP(버전 A, 버전 B)가 생성되는 제어 실험이며, 중요할 것으로 의심되는 특징에서만 다르다. 사용자의 절반은 버전 A를 제공하고 절반은 버전 B를 제공하며 결과는 비교된다. 대면 교육에서는 종종 어렵지만, A-B 비교는 컴퓨터 보조 교육에서는 비교적 간단하며 소프트웨어 개발에서는 일반적이다. 실제로 구글과 아마존 같은 거대 기술기업들은 제품 디자인을 다듬기 위해 지속적으로 A-B 테스트를 사용한다. 한 전문가(McLure 2007)는 무엇을 해야 할지 모르면 '대단히 추측해 보고 A-B 테스트를 해보십시오.'라고 제안합니다.
Quantitative data can be compared over time (ideally linked with design changes), with a ‘competitor’ (or traditional approach), or with a concurrent control. One way to facilitate robust cause-effect determinations involves ‘A-B testing,’ which is basically a controlled experiment in which two versions of the MVP (version A, version B) are created, differing only in a feature suspected to be important. Half the users are offered version A, half are offered version B, and outcomes are compared. While often difficult in face-to-face instruction, A-B comparisons are relatively straightforward for computer-assisted instruction, and are commonplace in software development. In fact, technology giants such as Google and Amazon use A-B testing continuously to refine their product design. One expert (McClure 2007) suggests that if you don’t know what to do, ‘Just guess and then A-B test—a lot!’

학습: 피벗 또는 지속성
Learn: Pivot or persevere

측정이 수집되고 분석되면 학습(데이터 해석)과 의사결정이 필요한 시점이다. 근본적인 결정은 [인내]할 것인지(초기 아이디어를 계속 다듬을 것인지) 아니면 [피벗]할 것인지(초기 아이디어를 포기하거나 근본적으로 변경하여 다른 고객, 기능 세트 또는 제품에 초점을 맞출 것인지)입니다. 핵심은 각 결정이 검증된 학습을 기반으로 한 정보에 정통하다는 것입니다. 다시 말하지만 스타트업(혁신팀)의 초점은 제품을 만들거나 고객(학습자)에게 서비스를 제공하는 것이 아니라 효과적이고 실용적이며 지속 가능한 솔루션(비즈니스 모델)을 구축하는 방법을 배우는 데 있습니다.
Once measurements have been collected and analyzed, it is time for learning (data interpretation) and decisions. The fundamental decision is whether to persevere (continuing to refine the initial idea) or to pivot (abandoning or radically changing the initial idea to focus on a different customer, feature set, or product). The key is that each decision is well-informed—based on validated learning. Again, the focus of a startup (innovation team) is not so much to build a product or serve customers (learners) but rather to learn how to build an effective, practicable, sustainable solution (business model).

반복하다…빠르게 
Repeat … rapidly

그런 다음 또 다른 핵심 가정(가설)의 우선 순위를 정하고, 그 가설, 측정 및 결정을 테스트할 MVP를 만드는 것으로 다시 순환이 시작됩니다. 가설과 측정값이 더 우수하고 각 사이클이 더 빨리 완료될수록 혁신 팀은 더 잘 배우고 더 많은 경쟁 우위를 확보할 수 있습니다.
And then the cycle begins again—with prioritization of another key assumption (hypothesis), creation of an MVP to test that hypothesis, measurement, and decision. The better the hypotheses and measurements, and the faster each cycle can be completed, the better and more the innovation team will learn and the greater their competitive advantage.

전체적으로, Maurya(2012)는 [고객과 관련성을 유지하고, 솔루션이 아닌 문제를 사랑하며, 전체 혁신(효과와 지속 가능성 포함)의 위험을 체계적으로 제거]할 필요성을 강조한다. 린(교육) 캔버스(그림 2)는 모델의 만족도, 실행 가능성 및 실현 가능성을 포함하여 모델을 체계적으로 '스트레스 테스트'하는 데 도움이 됩니다.
Throughout, Maurya (2012) emphasizes the need to stay relevant to customers, love the problem not the solution, and systematically de-risk the entire innovation (including effectiveness and sustainability). The Lean (Education) Canvas (Figure 2) is helpful in systematically ‘stress testing’ the model, including its desirability, viability, and feasibility.

물론, 실제 교육 설정은 전형적으로 과정 빈도(예: 매년 1회)와 사이클 빈도를 제한하는 잠재적 '고객'(예: 연간 25명)에 의해 제약을 받는다. 그러나 초점은 [제품 테스트]보다는 [검증된 학습]에 있다. 관련 가정을 테스트할 수 있다면 구체적인 과정, 주제, 참여자는 중요하지 않습니다. 따라서, 많은 빌드-측정-학습 주기는 의도된 과정과 학습자의 외부에 초점을 맞출 수 있습니다(제안 내용은 표 2 참조).
Of course, real-life education settings are typically constrained by the course frequency (e.g. once each year) and potential ‘customers’ (e.g. 25 students per year), which limit the cycle frequency. However, the focus on validated learning rather than product testing is liberating: the specific course, topic, and participants don’t matter if relevant assumptions can be tested. Thus, many Build-Measure-Learn cycles could focus outside the intended course and learners (see Table 2 for suggestions).

교육은 복잡하고 완전히 이해되지 않는 활동이다. 교육 관련 문제에 대한 혁신적인 해결책도 마찬가지로 복잡하며 '효과가 있었는가'라는 단순한 예/아니오 질문으로 좀처럼 줄어들지 않는다. Build-Measure-Learn의 반복적 특성은 각 사이클이 점진적으로 미묘한 질문을 다루면서 자연스럽게 이 상황에 적합하다(이게 중요한 문제인가). 이 혁신은 실행 가능한 해결책입니까? 그것이 얼마나 학습을 촉진하는가? 비용 효율적이고 지속 가능한 제품입니까?)

Education is a complex and incompletely understood activity. Innovative solutions to education-related problems are likewise complex and rarely reduce to simple yes/no questions of ‘Did it work?’ The iterative nature of Build-Measure-Learn lends itself naturally to this situation, with each cycle addressing progressively nuanced questions (

  • Is this an important problem?
  • Is this innovation a viable solution?
  • How well does it promote learning?
  • Is it cost-effective and sustainable?).

린 스타트업의 실제 적용: 사례 시리즈
Application of lean startup in practice: A case series

2015년 9월부터 2016년 1월까지 린 스타트업(Lean Startup) 방법에 대한 경험이 있는 외부 컨설팅 업체와 제휴하여 보건전문가를 위한 온라인 학습에 적극적으로 혁신을 꾀했습니다. 이 기간 동안 우리는 고객 개발 인터뷰와 시장 조사를 실시했으며, 이 정보를 사용하여 세 가지 개별 교육 혁신을 식별하고 테스트했습니다(표 3 참조). 이 중 두 개는 실패했다. 세 번째는 상당한 가능성을 보였지만 불행히도 지속적인 개발을 우선시할 자금을 확보하지 못했다. 이러한 프로젝트 중 어느 것도 규모에 맞게 구현된 적은 없지만, 교육 활동을 분류하고 개발하는 린 스타트업의 속도와 유연성을 보여줍니다. 예를 들어, 우리는 다른 가정들이 더 높은 우선순위로 판단되었기 때문에 이러한 혁신들 중 어떤 것이 실제로 학습을 얼마나 잘 촉진시키는지 시험하지 않았다(예: 혁신의 학습 효과는 사람들이 그것을 사용하지 않거나 재정적으로 실행 불가능한지는 중요하지 않다).
From September 2015 to January 2016 we partnered with an external consulting firm with experience in Lean Startup methods to actively innovate in online learning for health professionals. During this period we conducted customer development interviews and market research, and using this information we identified and tested three separate educational innovations (see Table 3). Two of these failed. The third showed substantial promise, but unfortunately has not secured funding to prioritize continued development. While none of these projects was ever implemented at-scale, they illustrate the speed and flexibility of Lean Startup in triaging and developing educational activities. For example, we did not test how well any of these innovations actually promoted learning because other assumptions were judged as higher priority (e.g. an innovation’s learning effectiveness doesn’t matter if people don’t use it or if it is financially infeasible).

 

초기 고객 발굴 및 아이디어 발굴
Initial customer discovery and ideation

지역 리더와의 대화를 바탕으로 중간 수준의 제공자(간호사 실무자 및 의사 보조자)가 지속적인 교육을 위해 혁신적인 지원이 잠재적으로 필요한 것으로 파악했다. 13개 중간 수준의 제공자와의 인터뷰는 사례 기반 학습(서면, 시뮬레이션 및 실제 환자와의 학습), 동료와 사례를 논의할 기회, 매우 짧은 기간 동안의 활동을 포함한 몇 가지 '페인 포인트'을 확인했다.
Based on conversations with local leaders, we identified midlevel providers (nurse practitioners and physician assistants) as potentially needing innovative support for continuing education. Interviews with 13 midlevel providers identified several ‘pain points’ including a desire for more case-based learning (written, simulated, and with real patients), opportunities to discuss cases with colleagues, and activities of very short duration.

후속 팀 브레인스토밍 세션은 세부 사항, 관련성, 혁신 및 실현 가능성에 있어 큰 차이를 나타내는 30개 이상의 고유한 아이디어를 식별했습니다. 비록 많은 아이디어가 모호하거나 실현 불가능했지만, 이 활동은 팀을 단결시키고 후속 활동을 위한 토대를 제공했다. 시간이 지남에 따라, 우리의 목표 고객 그룹은 (인터뷰에서) 사례 기반 학습의 인지된 가치를 확인한 실무 의사와 거주자를 포함하도록 다양화되었습니다.
A subsequent team brainstorming session identified over 30 unique ideas representing large variation in detail, relevance, innovation, and feasibility. Although many ideas were vague or infeasible, the activity united the team and provided a foundation for subsequent activities. Over time, our target customer group diversified to include practicing physicians and residents, who affirmed (in interviews) the perceived value of case-based learning.

혁신 1. '케이스 앱'
Innovation 1. ‘CasesApp’

고객 발굴, 아이디어 제시 및 가정
Customer discovery, ideation, and assumptions

우리의 초기 고객 개발은 임상의가 진정한 임상 사례에 대한 접근과 논의를 중요시할 것을 제안했다. 임상의들은 또한 우리에게 학습 시간이 매우 제한적이라고 말했고, 모바일 장치가 이 장벽을 극복하는 데 도움이 될 수 있다고 제안했다. 따라서 신뢰할 수 있는 동료와 실제 환자 사례를 공유하고, 보고, 비동기적으로 논의하는 것을 지원하는 모바일 앱이 중요한 요구를 충족할 것이라고 가정했다. 바쁜 임상의들이 서면 사례를 입력할 시간이 없을 수 있다는 것을 인지하고, 모바일 장치 카메라로 캡처한 비디오를 사용하여 사례를 만들고 논의하는 것이 더 빠르고 쉬울 것이라는 가설을 세웠다.
Our initial customer development suggested that clinicians would value access to, and discussion of, authentic clinical cases. Clinicians also told us that time for learning was very limited, and proposed that mobile devices might help overcome this barrier. Consequently, we hypothesized that a mobile app to support sharing, viewing, and asynchronously discussing real patient cases with trusted colleagues would fill a critical need. Recognizing that busy clinicians might not have time to type out a written case, we further hypothesized that creating and discussing cases would be faster and easier using video captured with mobile device cameras.

우리는 기존 제품을 탐색하는 시장 조사를 실시했습니다. 여러 제품이 의사 사례 기반 학습을 지원했지만 모바일 장치를 사용한 제품은 거의 없었고 신뢰할 수 있는 그룹 내에서 사례 토론을 지원하지 않았습니다.
We conducted market research exploring existing products. Several products supported physician case-based learning, but few used mobile devices and none supported case discussions within trusted groups.

우리는 몇 시간 동안 브레인스토밍을 하고 사실이 아닐 경우 실패로 이어질 수 있다는 가정에 우선순위를 매겼다(표 3 참조). 그런 다음 가장 위험한 가정을 테스트하기 시작했습니다.
We spent several hours brainstorming and prioritizing the assumptions that, if untrue, could lead to failure (see Table 3). We then set out to test the riskiest assumptions.

초기 가정 테스트: 빌드-측정-학습
Testing initial assumptions: Build-measure-learn

한 가지 중요한 가정은 임상의가 짧은 사례를 구두로 제시하고 모바일 기기를 사용하여 기록하는 것이 편하다는 것이었다. 이번 테스트에서 MVP는 단순히 표준 비디오 녹화 기능을 갖춘 스마트폰이었다. 주요 지표는 사례를 다른 사람과 공유하고자 하는 임상의의 수와 2분 이내에 사례를 생각해 낼 수 있으며 스마트폰을 사용하여 구술 발표를 편안하게 비디오로 녹화하는 것이었다. 우리는 질문한 임상의의 80%가 하나의 사례를 기록할 의향이 있고 기록할 수 있을 것이라는 가설을 세웠다. 우리는 스마트폰을 손에 들고 복도를 뛰었고, 한 시간 내에 6명의 의료 전문가(의사 5명, 중간급 의료진 1명)에게 접근했다. 6명 모두 2분 이내에 사례를 기록했고, 4명은 최소한의 도움만 필요했으며, 5명은 다른 임상의와 사례를 기꺼이 공유했습니다. 이것은 우리의 가정을 확인했고, 우리는 다음 단계로 진행하기로 결정했다. 
One key assumption was that clinicians were comfortable orally presenting a short case and recording it using a mobile device. The MVP for this test was simply a smartphone with standard video recording capability. Key metrics were the number of clinicians willing to share a case with others, able to come up with a case in two minutes or less, and comfortable video-recording their oral presentation using our smartphone. We hypothesized that 80% of clinicians asked would be willing and able to record one case. We hit the hallways with smartphones in hand, and within an hour had approached six health professionals (five physicians and one midlevel provider). All six recorded a case in under two minutes, four required only minimal help, and five were willing to share their case with other clinicians. This affirmed our assumption, and we decided to proceed with the next step.

빌드
Build

다음 가정은 임상의가 다른 임상의의 비디오 클립 사례와 관련이 있다는 것이었습니다. 이 가정을 테스트하려면 표준 스마트폰 소프트웨어보다 더 많은 것이 필요했습니다. 양방향 상호 작용을 용이하게 하는 프로토타입이 필요했습니다. 따라서 우리는 임상의가 환자 사례를 비디오로 녹화하여 스스로 선택한 동료 그룹과 공유할 수 있는 매우 간단한 스마트폰 앱을 개발했다. 그런 다음 동료들은 비디오로 녹화하고 사건에 대한 의견을 공유할 수 있었다. 우리는 6명의 임상의사를 고용하여 각각의 사례를 기록하고 이 사례를 논의하기 위해 동료 그룹을 초대했다.
The next assumption was that clinicians would engage with video clip cases from other clinicians. Testing this assumption required more than standard smartphone software; we needed a prototype that would facilitate bi-directional interaction. Thus, we developed a very simple smartphone app that allowed clinicians to video-record themselves presenting a patient case and share this with a group of self-selected peers. The peers could then video-record and share comments on the case. We recruited six clinicians to each record a case and invite a group of peers to discuss this case.

재다
Measure

우리는 세 가지 주요 메트릭스를 제안했습니다. 예를 들어 사례를 본 응답자의 30%는 질문이나 코멘트로 응답하고, 40%는 두 번째 사례를 보고, 40%는 동료에게 사례 앱을 추천합니다. 테스트에서 초청된 72개 공급자 중 24개(33%)가 실제로 시제품을 사용해 보았다. 이 중 5명(21%)이 댓글 달기에 성공했고, 2명(10%)은 두 번째 사례를 봤으며, 2명(10%)은 동료에게 케이스앱을 추천하겠다고 답했다. 
We proposed three key metrics: 30% of those who viewed a case would respond with a question or comment, 40% would view a second case, and 40% would recommend CasesApp to a colleague. In testing, 24 of 72 (33%) invited providers actually tried the prototype. Of these, 5 (21%) successfully added a comment, 2 (10%) viewed a second case, and 2 (10%) indicated they would recommend CasesApp to a colleague.

배우다.
Learn

목표 메트릭을 충족하지 못했습니다. 임상의들이 사례 기반 논의에 관심을 표명했지만, 실제로는 이러한 비디오 녹화 사례에 관여하지 않았다. 그래서 우리는 이 생각을 버렸습니다. 
We failed to meet any target metrics. Although clinicians expressed interest in case-based discussions, in actuality they did not engage with these video-recorded cases. So, we abandoned this idea.

혁신 2. '''비디오 360'''
Innovation 2. ‘Video360’

고객 발굴, 아이디어 제시 및 가정
Customer discovery, ideation, and assumptions

11월 중순에 첫 번째 혁신을 포기한 후 연말(4주) 전에 두 번째 제품을 구상, 개발 및 테스트하자고 제안했습니다. 깨끗한 슬레이트로부터 시작하여 고객 개발 대화를 재분석하고 광범위하게 브레인스토밍했으며, 마지막으로 시뮬레이션된 환자 만남의 몰입형 온라인 가상 현실(VR) 비디오가 실제 환자와의 더 많고 다양한 경험에 대한 명시된 욕구를 대체할 수 있는 아이디어(가설)를 선택했다. 우리는 이것이 학습 결과에 어떻게 긍정적인 영향을 미칠지에 대한 명확한 기대를 가지고 있지 않았지만, 이 고위험 고수익 아이디어를 테스트하는 것은 타당해 보였다. 결국, 린 스타트업 접근 방식을 사용하면 우리는 노력해도 크게 손해 볼 것이 없다. 
After abandoning our first innovation in mid-November, we proposed to ideate, develop, and test a second product before year-end (4 weeks). Starting with a clean slate we re-analyzed our customer development conversations and brainstormed broadly, finally choosing the idea (hypothesis) that immersive online virtual reality (VR) videos of simulated patient encounters might substitute for the stated desire for more, varied experiences with real patients. We didn’t have a clear expectation for how this would favorably impact learning outcomes, but it seemed reasonable to test this high-risk, high-payoff idea. After all, using the Lean Startup approach we would not lose much for trying.

다시 한 번 우리는 관련 임상 주제 범위를 중심으로 한 중요한 가정(표 3)을 우선시했다(이것이 틈새에서만 작동할 것인가). 아니면 우리는 이것을 임상 훈련의 범위에 걸쳐 사용할 수 있습니까?) 
Once again we prioritized critical assumptions (Table 3), which revolved around the range of relevant clinical topics (Would this work only in a niche? Or could we use this across the spectrum of clinical training?).

제작 및 측정
Build and measure

제안된 혁신은 360° 카메라(비용 $400)를 사용하여 시뮬레이션 또는 실제 환자 만남을 기록하고, 저렴한 VR 헤드셋(각 $10)을 사용하여 후속 재생을 수행하는 것이었다. 다양한 주제에 대한 우리의 가정을 테스트하기 위해, 우리는 상담, 신체 검사 및 외상 소생이라는 세 가지 다른 임상 활동의 시뮬레이션을 비디오로 녹화했다. 우리는 이 비디오들을 진행하기 위해 유튜브를 이용했다. 우리는 공식적인 '사용자 경험' 실험을 통해 이러한 시나리오를 평가할 계획이었지만, 임상의, 교육자 및 전문 혁신자로 구성된 우리 팀은 이 단계 이전에도 심각한 문제를 확인했다.

  • 우선 영상이 다소 흐릿하고 편집이 예상보다 번거로웠다.
  • 둘째, 신체 검사와 의사소통 만남은 360° 기능의 혜택을 받지 못했고, 어떤 면에서는 실제로 더 나빴다.
  • 셋째, 소생 시나리오의 증분적 이점은 최소였고, 여러 카메라의 비디오와 더 광범위하고 비용이 많이 드는 편집이 필요했을 것이다.

The proposed innovation involved recording simulated or real patient encounters using a 360° camera (cost USD $400) and subsequent playback using inexpensive VR headsets ($10 each). To test our assumption regarding range of topics, we video-recorded simulations of three distinct clinical activities: counseling, physical exam, and trauma resuscitation. We used YouTube to host these videos. We planned to evaluate these scenarios through formal ‘user experience’ experiments, but our team of clinicians, educators, and professional innovators identified serious problems even before this step. First, the video was somewhat blurry and the editing more cumbersome than anticipated. Second, the physical exam and communication encounters did not benefit from the 360° feature, and in some ways were actually worse. Third, the incremental benefit for the resuscitation scenario was minimal, and would have required video from multiple cameras and more extensive (and costly) editing.

배우다.
Learn

이러한 발견은 360° 비디오가 광범위한 주제에 걸쳐 가치를 더할 것이라는 우리의 희망을 반증했다. 따라서 우리는 정량적 데이터 수집이나 최종 사용자 테스트를 진행하지 않았습니다. 대신, 우리는 이 아이디어가 만들어진 지 2주 만에 포기했다.
These findings disproved our hope that 360° video would add value across a broad spectrum of topics. As such, we never proceeded with quantitative data collection or end-user tests. Instead, we abandoned this idea only two weeks after its genesis.

혁신 3. '온 파'
Innovation 3. ‘OnPar’

아이디어와 첫 번째 MVP
Ideation and first MVP

우리의 세 번째 혁신은 다시 사례 기반 학습과 연결되었습니다. 그러나 이 아이디어는 공식적인 브레인스토밍에서 나오는 것이 아니라 비디오360 프로젝트를 중단한 후 팀이 압축을 풀기 위해 카드 게임을 하는 동안 발생했다. 누군가가 카드 게임이 임상 사례 관리를 시뮬레이션할 수 있다고 제안했고, 우리는 그 아이디어를 Solitaire와 유사한 게임으로 정교하게 만들었다. 다음 근무일에, 우리는 의사에게 최근의 흥미로운 사례에 대해 설명하도록 요청하고 주요 결과(이력, 시험, 테스트 결과)를 종이 색인 카드에 기록했습니다. 각 카드의 반대편에 우리는 발견을 이끌어낼 임상 질문을 작성했다('가슴 엑스레이에서 무엇을 나타냈습니까?'). 간단한 규칙을 만들었습니다. 플레이어는 각 카드의 질문을 검토하고 사건 해결을 위해 결과가 필요한지 여부를 결정했다. 만약 그렇다면, 그들은 카드를 넘기고, 그렇지 않다면 그들은 카드를 버렸습니다. 가장 적은 카드를 내면서 올바른 진단을 내리는 것이 목표였다. 
Our third innovation again connected to case-based learning. However, rather than emerging from formal brainstorming, this idea occurred while the team was playing cards to decompress after dropping the Video360 project. Someone suggested that a card game might simulate management of clinical cases, and we elaborated the idea into a game similar to Solitaire. The following workday, we asked a physician to describe a recent interesting case and recorded key findings (history, exam, test results) on paper index cards. On the opposite side of each card we wrote a clinical question that would elicit that finding (‘What did chest x-ray show?’). We created simple rules: The player reviewed each card’s question and decided whether the result was needed to solve the case. If yes, they turned the card over; if not they discarded the card. The goal was to make the right diagnosis while playing the fewest cards.

우리는 여러 명의 임상의와 함께 그 게임을 테스트했다. 모두가 게임을 즐겼고, 이 개념을 열렬히 지지했으며, 이는 일상적인 임상 실습에서 시간과 비용 효율에 대한 실질적인 요구를 모방했음을 시사했다. 한 임상의 교육자는 이것이 비분석적 임상 추론 과정을 장려한다고 추가로 제안했다. 
We tested the game with several clinicians. All enjoyed the game and enthusiastically endorsed the concept, suggesting that it emulated the practical demands for time and cost efficiencies in their daily clinical practice. One clinician educator further suggested that this encouraged nonanalytical clinical reasoning processes.

빌드-측정-학습: 2세대 MVP
Build-measure-learn: Second-generation MVP

이 MVP에 대한 호의적인 반응이 우리를 앞으로 나아가게 했다. 가장 위험한 가정(표 3)은 임상의가 게임을 원하는지 여부(구체적으로 2차 게임을 원하는지 여부)와 임상의가 게임 라이브러리를 강화하기 위해 새로운(실제) 사례를 공유하는지 여부에 초점을 맞췄다. 2세대 MVP는 인덱스 카드로 다시 구성되었는데, 이번에는 진단 관련 심전도와 교과서에서 복사한 흉부 X-ray의 접착 이미지를 사용하여 더욱 세심하게 제작되었다. 
The favorable reception to this MVP prompted us to move forward. The riskiest assumptions (Table 3) focused on whether clinicians would want to play the game (specifically, that they would play a second round), and whether clinicians would share new (real) cases to augment our game library. The second-generation MVP again consisted of index cards, this time more carefully constructed (but still hand-written) and using glued-on images of diagnosis-relevant electrocardiograms and chest x-rays copied from textbooks.

우리는 세 가지 사례를 만들고 여러 전문 분야와 훈련 단계를 대표하는 임상의와 함께 게임을 시험해 보았고, 각 시험 후에 게임 규칙을 반복적으로 개선했다. 각 케이스가 끝난 후 우리는 우리의 가정을 테스트하고, 그들이 두 번째 라운드를 하기를 원하는지 물어보고(가능한 경우 허용) 그들을 초대하여 케이스를 작성하는 데 도움을 주었다. 골프(최소 타수를 노리는 것)와 유사성을 인식해 경기 이름을 '온파'로 지었다. 
We created three cases and trialed the game with clinicians representing several specialties and stages of training, iteratively refining the game rules after each trial. After each case we tested our assumptions, asking if they wanted to play a second round (allowing this when possible) and inviting them to help us write a case. Recognizing the similarity to golf (i.e. striving for the fewest strokes), we named the game ‘OnPar.’

빌드-측정-학습: 3세대 MVP
Build-measure-learn: Third-generation MVP

종이 프로토타입에 대한 반응이 매우 좋았기 때문에 우리는 빠른 프로토타이핑 도구를 사용하여 컴퓨터 기반 MVP를 만들 수 있었다. 우리는 개인적으로 약 30명의 임상의들을 초대했고, 그들은 차례로 이메일과 트위터를 통해 동료들을 초대했고, 그 결과 30일 동안 90명이 프로토타입에 액세스했다. 이 중 30%는 계정을 활성화하고 최소 1건의 사례를 완료했다. 예상을 뛰어넘는 성과로 우리는 더 많은 발전을 지속하기로 했다. 불행하게도, 우리 기관은 다른 교육 우선 순위를 추구하기로 결정했고 이 프로그램에 대한 자금 지원은 철회되었다. 
The highly-favorable response to paper prototypes led us to create a computer-based MVP using a rapid-prototyping tool. We personally invited about 30 clinicians to play, who in turn invited colleagues by email and Twitter resulting in 90 people accessing the prototype over a 30-day period; of these, 30% activated an account and completed at least 1 case. With outcomes exceeding expectations, we decided to persevere with further development. Unfortunately, our institution opted to pursue other educational priorities and funding for this program was withdrawn.

논의
Discussion

린 스타트업은 지금까지 주로 비즈니스 벤처에 적용되었지만, 우리의 경험은 교육 혁신을 신속하게 테스트, 정제 및 포기하는 데 있어 이 접근 방식의 유용성을 강조합니다. 불과 5개월 만에 고객 니즈를 파악하고, 혁신을 위한 수많은 아이디어를 창출했으며, 공식적으로 3개의 혁신을 테스트했습니다(그 중 2개는 불과 2주 만에 폐기). 우리는 이 접근 방식이 교실 수업 방법, 온라인 모듈 및 게임, 소규모 그룹 형식, 임상 순환 구조, 평가 활동 및 커리큘럼 재설계를 포함한 사실상 모든 교육 혁신에 적용될 수 있다고 예상한다.
Although Lean Startup has thus far been applied primarily to business ventures, our experience highlights the utility of this approach in rapidly testing, refining, and abandoning education innovations. In only five months we identified customer needs, generated numerous ideas for innovation, and formally tested three innovations (abandoning two of them in as little as two weeks). We envision that this approach could apply to virtually any educational innovation, including classroom teaching methods, online modules and games, small group formats, clinical rotation structures, assessment activities, and curriculum redesigns.

우리는 (초기 '지속적 vs 피벗' 결정으로 제한되지 않음) 구현을 위해 선택된 아이디어를 다듬는 데 있어 이 접근 방식의 가치를 강조한다. Build-Measure-Learn은 혁신을 최대 규모(및 전체 투자)로 구축 및 테스트하는 일반적인 접근 방식과 달리 소규모(저비용) 테스트 실행을 기반으로 제품을 정교하게 다듬기 위해 반복되는 빠른 데이터 중심 주기를 강조합니다. 혁신자도 고객도 대개 고객이 진정으로 필요로 하는 것이 무엇인지 알지 못합니다. 린 스타트업은 상상된 니즈가 아닌 실제 니즈를 발견하고 해결할 수 있는 도구를 제공합니다.
We underscore the value of this approach in refining ideas once selected for implementation (not limited to the initial ‘persevere vs pivot’ decision). Build-Measure-Learn emphasizes fast, data-driven cycles that iterate to refine the product based on small-scale (inexpensive) test runs, in contrast to the typical approach of building and then testing an innovation at full scale (and full investment). Neither innovators nor customers usually know what the customer really needs; Lean Startup provides the tools to discover and address real rather than imagined needs.

린 스타트업은 (전통적인) 린 접근법, PDSA(Plan-Do-Study-Act), 식스 시그마, 구현 과학 등의 품질 개선 프레임워크와 대비된다. 이러한 전통적 접근법은 [고객 개발 및 검증된 학습('무엇을 만들 것인가?')]이 아닌, 주어진 제품이나 결과를 최소의 낭비와 오류('어떻게 더 낫게 만들 것인가?')로 제공하는 방법에 초점을 맞추고 있습니다. 린 스타트업은 디자인 사고(고객 중심 아이디어에 초점을 맞춘) 및 민첩성과 같은 다른 혁신 프레임워크를 보완하고 겹칩니다. (고객의 요구를 충족하기 위해 아이디어를 신속하게 점진적으로 세분화합니다.) 
Lean Startup contrasts with quality improvement frameworks such as (traditional) Lean approaches (Womack et al. 2007; LeMahieu et al. 2017b), Plan-Do-Study-Act (PDSA) (Cleghorn and Headrick 1996; Berwick 1998; LeMahieu et al. 2017b), Six Sigma (LeMahieu et al. 2017a), and implementation science (Glasgow et al. 1999; Nordstrum et al. 2017). These traditionally focus on how to deliver a given product or outcome with minimum waste and error (‘How to build it better?’) rather than customer development and validated learning (‘What to build?’). Lean Startup complements and overlaps other innovation frameworks such as design thinking (which focuses on customer-focused ideation) and Agile (which quickly incrementally refines ideas to meet customer demands) (Kidd and Johnson 2020).

Build-Measure-Learn은 과학적 방법의 다른 이름일 뿐이며, A-B 테스트는 단순히 집중(잠재적으로 무작위화됨) 제어 시험이다(Constable 2018). 잘 실행된 린 스타트업 프로젝트의 연구 결과는 종종 동료 검토 출판을 보증할 수 있으며, 특히 여러 주기의 연구 결과가 '실제로 작동하는 것'에 대한 일관된 메시지로 통합되는 경우 더욱 그렇다.
Build-Measure-Learn is just another name for the scientific method, and A-B testing is simply a focused (potentially randomized) controlled trial (Constable 2018). Findings from well-executed Lean Startup projects could often warrant peer-reviewed publication, especially if findings from several cycles are amalgamated into a coherent message of ‘what really works.’

우리가 '고객'이나 '비즈니스 모델'과 같은 용어를 사용하는 것은 교육의 시장화에 대한 지지를 의미하는 것이 아니라, 린 스타트업이 그 기원을 두고 있는 분야에서 이러한 용어를 빌렸을 뿐입니다. 교육의 시장화, 경제성, 비용효율은 이 글의 범위를 넘어서는 복잡한 주제이다.
Our use of terms like ‘customer’ and ‘business model’ does not imply endorsement of the marketization of education; we merely borrowed these terms from the field in which Lean Startup had its origin. The marketization, economics, and cost-effectiveness of education are complex topics beyond the scope of this article (Furedi 2011; Cook and Beckman 2015; Maloney et al. 2019).

결론
Conclusion

린 스타트업은 보건 전문 교육 분야에서 빠르고 강력한 혁신과 평가를 위한 엄청난 잠재력을 가지고 있다.
Lean Startup has tremendous potential for rapid, robust innovation and evaluation in health professions education.

 


Med Teach. 2022 Sep 28;1-12. doi: 10.1080/0142159X.2022.2118038. Online ahead of print.

Evaluating education innovations rapidly with build-measure-learn: Applying lean startup to health professions education

Affiliations collapse

Affiliation

1Division of General Internal Medicine, Mayo Clinic College of Medicine, Rochester, NY, USA.

PMID: 36170876

DOI: 10.1080/0142159X.2022.2118038

Abstract

Purpose: The Lean Startup approach allows innovators (including innovative educators) to rapidly identify and refine promising ideas into models that actually work. Our aim is to outline key principles of Lean Startup, apply these to health professions education, and illustrate these using personal experience.

Methods and results: All innovations are grounded in numerous assumptions; these assumptions should be explicitly identified, prioritized, and empirically tested ('validated learning'). To identify and test assumptions, innovators need to get out of the office and interact with customers (learners, teachers, administrators, etc). Assumptions are tested using multiple quick cycles of Build (a 'minimal viable product' [MVP]), Measure (using metrics that relate meaningfully to the assumption), and Learn (interpret data and decide to persevere with further refinements, or pivot to a new direction). The MVP is a product version that allows testing of one or more key assumptions with the least effort. We describe a novel 'Lean Education Canvas' that synopsizes an innovation and its business model on one page, to help identify assumptions and monitor progress. We illustrate these principles using three cases from health professions education.

Conclusions: Lean Startup has tremendous potential for rapid, robust innovation and evaluation in education.[Box: see text].

Keywords: Program evaluation; agile development; empirical research; qualitative research; research design.

코멘터리: 의학교육의 패러다임, 가치론, 인간행동학 (Acad Med, 2018)
Commentary: Paradigms, Axiology, and Praxeology in Medical Education Research
Zareen Zaidi, MD, PhD, and Douglas Larsen, MD, MEd

 

 

연구자들의 [연구 패러다임]과 [이론적 관점]은 [연구 과정]에 영향을 미친다. 승인된 RIME(Research in Medical Education) 기사를 예로 들어 다음 질문을 살펴봅니다. 연구자들의 철학적 기반은 무엇이며, 그것이 출판물에서 드러나나요? 어떤 연구 패러다임이 잠재적으로 그들의 방법 선택을 가이드하는가? 그런 다음 우리는 연구 결과가 다른 의학 교육자들의 행동에 어떻게 영향을 미칠 수 있는지 논의한다. 우리는 연구 설계가 패러다임, 이론, 방법론 및 방법을 어떻게 포괄하는지 강조한다. 더 진행하기 전에, 우리는 이 요약을 준비하는 동안 사용한 주요 개념에 대한 간단한 개요를 제공한다. 입문서와 관련된 더 자세한 자료는 관심 있는 사람들을 위한 참고 문헌에 제공된다. 우리는 독자들이 이러한 개념과 이론의 적용 가능성을 고려하여 자신의 실천과 연구를 안내할 것을 권장한다.
Research paradigms and theoretical perspectives of researchers influence the research process—even research questions posited by researchers are shaped by how they view the world. Using the accepted Research in Medical Education (RIME) articles as exemplars, we explore the following questions: What are the philosophical underpinnings of the researchers, and are they made visible in their publications? What research paradigms potentially guide their choice of methods? We then discuss how the results from research can influence actions of other medical educators. We highlight how research design encompasses paradigms, theory, methodology, and methods. Before proceeding further, we provide a brief primer on the key concepts that we used while preparing this summary. More detailed resources1–6 related to the primer are provided in the bibliography for those interested. We encourage readers to consider the applicability of these concepts and theories to guide their own practice and research.

프라이머: 연구자들은 그들의 연구 활동에 영향을 미치는 다양한 [철학적 프레임워크]나 [패러다임]을 따른다. [패러다임]은 신념이나 세계관의 집합으로 볼 수 있으며, 세계의 본질과 개인이나 사물에 대한 세계의 관계, 또는 단순히 인식론적 입장으로 볼 수 있다. 이러한 패러다임은 시간이 지남에 따라 진화해왔고 현재까지도 계속 그렇게 하고 있다. 연구자들은 일부 중첩이 있는 패러다임에 대해 다른 레이블을 사용할 수 있다. 따라서 패러다임은 경직된 프레임워크보다는 [관련이 있는 사상적 학파의 느슨한 결합]으로 간주되어야 한다. 가장 잘 알려진 패러다임으로는 실증주의/후기실증주의, 포스트모더니즘/포스트구조주의, 비판론/이데올로기 패러다임, 구성주의, 실용주의 등이 있다. 패러다임에 대한 포괄적인 검토를 제공하는 것은 저자들의 의도가 아니다. 오히려 우리는 독자들에게 이해하기 쉬운 설명을 우리의 후속 대화의 기초로서 제공하는 것을 목표로 한다.
Primer:
 Researchers follow various philosophical frameworks or paradigms that impact their research activities. Paradigms can be viewed as a set of beliefs or worldviews, the nature of the world and the relationship of the world to individuals or objects, or simply as epistemological stances.7 These paradigms have evolved over time and continue to do so to date. Researchers may use different labels for the paradigms with some overlap; therefore, the paradigms should be regarded as loosely bound, related schools of thought rather then rigid frameworks.3 The best-known paradigms include positivism/postpositivism, postmodernism/poststructuralism, critical theory/ideological paradigm, constructivism, and pragmatism.3,8 It is not the intent of the authors to provide an encompassing review of paradigms; rather, we aim to provide easy-to-understand descriptions for readers as a primer to our subsequent conversation.

[실증주의]는 역사적으로 가장 잘 알려진 패러다임이다. 이 패러다임을 따르는 연구자들은 [발견되어야 할 하나의 진실]이 있으며, [현실은 관찰 가능하고 측정 가능]하며, [인과관계 연구]를 통해 발견될 수 있다고 믿는다. 고정된 측정 가능한 현실에 대한 생각은 많은 비판을 받았고, 연구자들은 측정이 잘못될 수 있고, 편견이 있으며, 완전한 객관성은 불가능하다는 것을 인정했다. 이것은 객관성을 위해 노력하지만 완전한 중립성은 어떤 절대적인 의미에서도 얻을 수 없다는 것을 이해하는 연구자들과 함께 후기실증주의 패러다임을 이끌었다. [후기실증주의자]들은 "진실"은 근사치이며 "우리가 현실에 대해 알고 있는 것은 지금은 진실이다. 단, 더 많은 연구가 더 나은 설명, 더 정확한 척도를 찾을 때까지"라고 이해한다.
Positivism is historically the best-known paradigm.3 Researchers following this paradigm believe that there is a single truth to be discovered and that reality is observable, is measurable, and can be discovered in cause-and-effect studies.3,9 The idea of a fixed measurable reality received much criticism with researchers conceding that measurement is fallible, researchers have biases, and complete objectivity is not possible.3 This led to the postpositivist paradigm with researchers striving for objectivity but understanding that complete neutrality is not obtainable in any absolute sense.
Postpositivists understand that “truth” is an approximation or “what we know about reality is true for now—until more studies find a better explanation, a more accurate measure.”9,10 

[포스트모더니즘]은 어떤 현상의 현실이 그것을 경험하는 자와 주관적으로 상대적이라고 가정한다. 이 패러다임은 또한 탈구조적 또는 탈식민지적이라 불리며 [현대 사회에 대한 비판]을 제공한다. 포스트모던 연구자들은 [기존의 내러티브를 해체]하고 [현상에 대한 재개념화된 설명]을 만드는 것을 목표로 한다. 
Postmodernism posits that reality of a phenomenon is subjectively relative to those who experience it.11 This paradigm is also variably referred to as poststructural or postcolonial and offers critiques of modern society.3 Postmodern researchers aim to deconstruct existing narratives and produce reconceptualized descriptions of phenomena.12 

[비판적 이론/이데올로기 패러다임]은 연구를 통해 [인식된 사회적 부당성]을 [해결하는 것]을 목표로 한다. 이 패러다임에서는 [현실은 시간이 지남에 따라 결정되는 사회적, 정치적, 문화적, 경제적, 민족적, 성별적 가치에 의해 형성된다]는 것을 인정한다. 이 경우 연구자는 (포스트모더니즘과는 반대로) 연구과제, 목적, 방법의 중심이 되는 가치에 대해서 [proactive한 입장]을 가지고 있다. 
Critical theory/ideological paradigm aims to address perceived social injustices through research and advocating for policy changes, acknowledging that reality is shaped by social, political, cultural, economic, ethnic, and gender values crystallized over time.7 The researcher in this case (as opposed to postmodernism) has a proactive stance with values being central to the task, purpose, and methods of research.13 

[구성주의]는 현실이 그것을 경험하는 사람들에 의해 구성되고 상대적이라는 것을 인식한다. 지식은 [연구자와 참가자 사이의 경계]를 흐리게 하는 [우리의 상호 작용]을 통해 만들어진 구성으로 구성되므로 [객관성에 도전]한다. 지식은 연구자와 참여자에 의해 [공동으로 만들어지며 시간에 따라, 개인에 따라, 상황에 따라 달라진다]
Constructivism recognizes that reality is constructed by those who experience it and is relative.14 Knowledge consists of the constructions made through our interactions blurring the line between researchers and participants, therefore challenging objectivity. Knowledge is cocreated by researchers and participants and is time dependent, individual dependent, and context dependent.9 

[실용주의]는 종종 진실과 현실의 문제를 회피하는 "대안적 패러다임"으로 간주되며, 이는 연구자가 실증주의/후지향주의에서 구성주의에 이르는 패러다임의 범위 사이에서 선택을 강요받지 않도록 한다. 이 연구자들은 사회적, 역사적, 정치적 맥락을 인정하면서도, [연구의 목적에 초점]을 맞춘다. 즉, [진실]은 그 당시에 작동하는work 것으로 간주합니다. 
Pragmatism is often regarded as an “alternate paradigm” sidestepping issues of truth and reality, allowing the researcher to be free of being forced to make a choice between the ranges of paradigms from positivism/postpositivism to constructivism.15 These researchers focus on the purpose of research while appreciating social, historical, and political context—describing truth as what works at the time.16

[방법론]은 [방법의 설명과 정당화]이지 [방법 자체]가 아니다. [방법]은 연구의 실제 연구 활동 또는 실제 활동이다.1 빈틈없는 성찰적 연구자는 연구와 관련하여 자신의 패러다임을 설명하는 데 세심한 주의를 기울일 것이며, work에 inform하는 philosophy를 설명할 것이다. 
Methodology is the description and justification of methods, and not the methods themselves. Methods are the actual research actions or practical activities of research.1 An astute reflexive researcher will pay careful attention to describing their paradigm in relation to the research, describing the philosophy informing the work.

[가치론]은 연구 과정에서의 [가치의 역할과 위치], 특히 [패러다임, 방법론, 방법론 사이의 관계]에 대한 가치의 영향을 의미한다. 즉, 연구 패러다임이 가치론적인 이유는 [연구자의 가치]가 [방법의 선택]에 inform하기 때문이다.
The role and place of values in the research process, specifically the influence of values on the relationship between paradigm, methodology, and methods, is known as axiology—that is, the research paradigm is axiological in that the values of the researcher inform the choice of methods.

[프락세오로지]라는 단어는 프락시스, 즉 액션에서 유래했다. 프락세오로지(Praceology)는 [인간의 행동의 영향을 연구하거나 의미를 만들고 행동을 해석하는 과학의 한 분야]이다. [교육이 효과를 발휘하게 하고, 일상적인 교육 실천에서 더 잘 작동하게 만드는 데 있어서 연구의 의미는 무엇이냐]는 질문에 구체적으로 답한다.
The word praxeology stems from praxis—action. Praxeology is the branch of science which studies the effect of human actions or makes meaning and interprets actions.4,5 It specifically answers the question of what research means for making education work and making it work better in the everyday practice of teaching.4

RIME 출판물의 연구 패러다임은 어떻게 제정되는가?
How Are Research Paradigms Enacted in RIME Publications?

우리는 각 연구팀의 패러다임이 방법론에 어떤 영향을 미쳤는지 탐구함으로써 독자들에게 기사의 일반적인 요약을 제공하는 것을 넘어서는 것을 목표로 한다. "AM 마지막 페이지: 의학교육과 관련된 연구 패러다임에 대한 가이드"를 지침 프레임워크로 사용하여, 우리는 각 수용된 RIME 논문을 검토하여 작가의 연구 패러다임이 어떻게 가시화되고 사용되는 방법인 축성과 관련된 정보에 근거한 선택을 할 수 있는지 고려했다(표 1). 그런 다음 우리는 일상적인 교수 관행인 사전학에서 연구의 영향에 대해 논평한다. 우리는 저자들의 명시적인 진술이 없다면, 아래의 분류는 우리 자신의 해석을 나타내며, 저자나 다른 독자들이 동의하지 않을 수 있다는 것을 인식한다. 우리는 먼저 실증주의/후기실증주의 패러다임을 대표한다고 느끼는 연구 논문을 고려하고, 그 다음으로는 비판이론, 구성주의, 실용주의 패러다임을 가진 논문을 고려한다.
We aim to go beyond providing the readers with a general summary of the articles by exploring how paradigms of each research team influenced the methodology. Using “AM Last Page: A Guide to Research Paradigms Relevant to Medical Education17 as our guiding framework, we reviewed each accepted RIME paper to consider how authors’ research paradigm might be made visible and informed choices related to methods used—axiology (Table 1). We then comment on the impact of the research in the everyday practice of teaching—praxeology. We recognize that without explicit statements from the authors, the categorizations below represent our own interpretations, and the authors or other readers may disagree. We first consider the research papers we felt represented a positivist/postpositivist paradigm, followed by papers with critical theory, constructivist, and pragmatist paradigms.

Research paradigms in medical education research Suzanne Bunniss & Diane R Kelly

 

실증주의자/후기 실증주의자 패러다임 연구
Positivist/postpositivist paradigm research

이 패러다임에서 지식은 가설 검증에 의해 얻어진다. 쿨라세가람 등은 "발견의 순서와 그에 따른 직접 지도가 학생들의 기술 이전에는 도움이 되지만, 학생들의 유지나 시험 후 즉각적인 성과에는 도움이 되지 않는다"는 명확한 가설을 밝혔다. 연구 설계는 공식 지시(Do then see) 전에 시뮬레이션된 환경에서 학습자 봉합 기술 성능을 보다 일반적인 공식 지시 순서와 비교하고, 이어서 실습(Do then see)을 비교하기 위한 설득력 있는 무작위 제어 시험이다. 연구원들은 자기효능감과 학생들의 성취도에 관한 자료를 수집했는데, 이는 눈이 먼 평가자에 의해 5점 만점의 글로벌 평가 척도로 평가되었다.

Knowledge in this paradigm is gained by hypothesis testing. Kulasegaram et al18 articulate a clear hypothesis that “the sequence of discovery, followed by direct instruction would benefit students’ transfer of skills, but not their retention or immediate post-test performance.” The study design is an eloquent randomized controlled trial to compare learner suturing skills performance in a simulated setting before formal instruction (Do then See) versus the more typical sequence of formal instruction, followed by practice (See then Do). The researchers gathered data related to self-efficacy and student performance scored on a five-point global rating scale by a blinded rater.

연구자들의 [후기 실증주의 패러다임]은 기술 습득 측정에 초점을 맞춘 [실험 설계]에 반영된다. 후기실증주의에 충실하게, 저자들은 그들의 결과가 완전히 객관적일 수 없으며 봉합 작업에 할당된 단일 비율, 맥락 및 시간의 사용에 의해 영향을 받았다는 것을 인정한다. 또한, 그들은 다른 outcome를 연구하기로 선택할 수 있었다는 점에 주목한다. 특히, [행동 과정]은 [구성주의 패러다임]을 사용하여 가장 잘 연구되었을 수 있다.

The researchers’ postpositivist paradigm is reflected in the design of the experiment with its focus on the measurement of skill acquisition. True to postpositivism, the authors acknowledge that their outcomes cannot be completely objective and were impacted by the use of a single rater, the context, and time allocated for the suturing task. Additionally, they note that they could have chosen to study different outcomes—specifically, behavioral processes, which may then have been best studied using constructivist paradigms. 

[가치론]과 관련하여, 연구 목적을 보았을 때, 후기실증주의는 [연구 설계와 잘 일치]하고, [유용한 정보를 제공]한다. 저자들은 [먼저 스스로 과제를 탐색하고 고군분투한 다음 지시를 받은 학생]들이 [먼저 교육을 받은 다음 독립적인 연습을 통해 과제를 탐색하도록 허용된 학생]들에 비해 나중에 이전 과제를 더 잘 수행한다는 것을 보여준다. 이 연구의 결과는 직접 교육과 과제 완료를 수반하는 전통적인 교육에 도전하기 때문에 [시뮬레이션에 참여하는 의학 교육자들에게 영향]을 미칠 수 있다. [Guided SRL]과 [직접 교육]의 사려 깊은 조합은 그러한 학습 기회를 최적화할 수 있다.

Regarding axiology, for the purpose of their study the postpositivist paradigm is well aligned with the research design and provides useful information. The authors show that students who first are allowed to explore and struggle with the task on their own and then receive instruction perform better on a later transfer task compared with those who are instructed first and then allowed to explore the task through independent practice. The results of this study can and should impact medical educators involved in simulation as the results challenge traditional teaching involving direct instruction followed by completion of tasks. A thoughtful combination of guided self-regulated learning and direct instruction can optimize such learning opportunities.

[실증주의자/후기실증주의자 연구(양적 또는 질적)의 목적]은 [가설을 검정하고 변수 간의 인과관계를 설정하는 것]이다. 펠드만 외 연구진과 오니시 외 연구진은 모두 [테스트가 교육에 미치는 영향]을 조사한다. 펠드만과 동료의 연구에서, [후기실증주의 패러다임]은 국립 의학 컨퍼런스에서 사전 및 사후 테스트를 모두 통합한 정보를 가지고, [객관식 질문 기반 시험 강화 학습(TEL) 개입]의 사용과 관련된 연구 질문에 답하는 데 매우 적합했다. [무작위 대조 시험]을 실시한 결과, 그들은 사실을 반복적으로 검색하면 지속적인 의료 교육 환경(CME)에서 선언적 지식의 보존이 시간이 지남에 따라 향상된다는 것을 발견했다. 지속적인 전문성 개발(CPD)은 의료 전문가들이 자신의 업무 분야의 최신 변화를 최신으로 유지하도록 보장하는 데 필수적이다. 의료 전문가들은 CME 과정에 참여하며 지식과 숙련도를 입증하기 위해 면허 시험을 다시 치러야 한다. 본 연구가 기존 문헌에 덧붙이는 것은 검색실습을 촉진하는 인지시험이 학부 또는 대학원 교육에서 CPD에게도 마찬가지로 가치가 있다는 점이다. CME 인가 기관은 참석자들이 지식을 공고히 할 수 있도록 반복적인 TEL을 고려해야 한다.
The objective of positivist/postpositivist research (quantitative or qualitative) is to test hypotheses and to establish cause-and-effect relationships between variables.19 The studies by Feldman et al20 and Onishi et al21 both investigate the effect of testing on education. The postpositivist paradigm was well suited to answer Feldman and colleagues’ research question regarding the use of a multiple-choice-question-based test-enhanced learning (TEL) intervention on knowledge, which incorporated both pre- and posttesting at a national medical conference. Undertaking a randomized controlled trial, they found that repeated retrieval of facts improved retention of declarative knowledge in a continuing medical education setting (CME) over time. Continuing professional development (CPD) is essential in ensuring that health care professionals remain up-to-date with the latest changes in their fields of practice. Health care professionals attend CME courses and are often required to retake licensing exams to demonstrate knowledge and proficiency. What this study adds to the existing literature is that cognitive tests promoting retrieval practice are just as valuable for CPD as they are in undergraduate or postgraduate education. CME-granting agencies should consider repeated TEL to help attendees solidify their knowledge.

오오니시 등의 연구의 초점은 [이사회 인증 결정의 영향]을 결정하는 데 있으며, 이는 다음을 기반으로 합니다. 교육생이 전체 평가를 통과하기 위해 모든 하위 구성요소를 통과해야 하는지 여부(즉, 비보상적) 또는 한 하위 구성요소에 대한 성능이 평가의 다른 섹션에 대한 성능을 보상할 수 있는지 여부(보상적). 후기실증주의 패러다임에 기초하여, 저자들은 일본의 국가 데이터베이스를 사용하여, [종합점수]와 [보상성 및 비보상성 점수와 관련된 종합결정]의 [내부구조]와 [결과적 타당성] 증거를 검토했다. 그들은 인증 평가의 보상 및 비보상 채점에 대한 결정이 신뢰성에 극적인 영향을 미친다는 것을 입증한다. 특히, [역량과 안전이라는 이름으로 특정 요소를 반드시 통과시켜야 한다는 결정]에서 나오는 [비보상 채점]은 종종 평가의 신뢰성을 크게 떨어뜨릴 것이다. 비보상 채점은 학습자가 환자 안전에 영향을 미치는 특정 내용 영역에서 완전히 유능함을 보장하는 이점이 있지만, 전체적인 의사 결정 신뢰도 감소를 포함한 심리측정학적 결과를 고려할 필요가 있다. 연구의 [가치론(즉, 후기실증주의적 패러다임 렌즈)]과 [방법]은 잘 일치하지만, 저자들은 검사자의 설정, 맥락, 전문성, 학습자 샘플 및 가치가 모두 연구에 영향을 미칠 수 있다는 것을 인정한다. 본 연구의 결과는 자체 기관 또는 국가 차원에서 고평가 시험 계획에 참여하는 교육자들에게 특히 중요합니다. 예를 들어, 미국 의료 면허 시험(USMLE) 또는 면허 시험.


The focus of Onishi and colleagues’ research is to determine the impact of examining board certification decisions, which are based on whether trainees should pass all subcomponents to pass the entire assessment (i.e., noncompensatory)—or whether performance on one subcomponent can compensate for performance on other sections of the assessment (compensatory). Grounded in the postpositivist paradigm, using psychometric theory the authors used a national database in Japan to examine internal structure and consequential validity evidence of composite scores and composite decisions related to compensatory and noncompensatory scoring. They demonstrate that decisions about compensatory and noncompensatory scoring of certification assessments have dramatic effects on the reliability. Specifically, noncompensatory scoring, which emerges from a determination that a certain element absolutely must be passed in the name of competence and safety, often will significantly reduce the reliability of the assessment overall. Although noncompensatory scoring does have its benefits to ensure that learners are fully competent in specific content areas with implications for patient safety, there is a need to consider psychometric consequences including reducing the overall decision reliability. While the axiology of the study (i.e., the postpositivist paradigm lens) and its methods are well aligned, the authors do acknowledge that the setting, context, specialty, learner sample, and values of the examiners could all influence the study. The results of this study are particularly important for educators involved in the planning of high-stakes exams at their own institutions or at national levels—for instance, United States Medical Licensing Examination (USMLE) or licensing examinations.

펠드만 외 연구진과 오니시 외 연구진은 지식 측정에 대해 [후기실승주의적 관점]에서 접근하지만, 둘 다 [구성주의적 접근]이 가장 적합한 미래 연구에 대해 질문을 제기한다. 지식 보유도 중요하지만, CPD가 환자 치료나 의사가 침대 머리맡에서 "하는 것"을 개선하도록 하는 것이 중요하다. [구성주의적 방법]은 실제 수행, 테스트되고 평가되는 것에 대한 가치 판단, 특정 사실과 성과를 다른 것보다 더 중요하게 여기는 권력 구조, 신념 체계 및 문화적 편견에 대한 질문에 답하는 가장 좋은 접근법일 수 있다. 구성주의 연구는 후기실증주의 연구의 결과와 다른 관점을 제공하거나 추가할 수 있다.
Though the studies by Feldman et al and Onishi et al regarding the measurement of knowledge approach education from a postpositivist perspective, they both raise questions for future research that are best suited to a constructivist approach. Although knowledge retention is important, it is important to ensure that CPD improves patient care or what the physician “does” at the bedside. Constructivist methods may be the best approach to answering questions about real-life performance, about the value judgments made around what is tested and assessed, and about the power structures, belief systems, and cultural biases that value certain facts and performances over others. Constructivist studies may provide a different perspective than or could add to the results of the postpositivist research.

포스터 외 연구진과 박 연구진은 또한 실증주의 및 후기실증주의 패러다임을 사용하여 특정 작업장의 과제와 성과를 연구한다. 포스터 등은 [지식을 객관적인 것으로, 즉, 측정 가능한 고정된 현실]로 보았다. 그들은 [USMLE 테스트 상황]을 전자 건강 기록(EHR)의 사용과 관련하여 의대생들을 조사하는 기회로 사용했다. 데이터에 따르면 전국적으로 EHR을 사용하는 임상실습의 비율은 5년 동안 증가했지만, 이러한 기록에 메모를 입력하는 학생의 비율은 안정적으로 유지되었고, 오더를 실제로 입력하는 학생의 비율은 감소했다고 한다. 이 연구는 예측에 초점을 맞추고 일반화 가능한 데이터를 생성하는 것을 목표로 하기 때문에 주로 실증주의 패러다임에 속하지만, 저자들은 맥락(EHR의 가용성)이 결과에 영향을 줄 수 있다고 언급한다. 그들의 작업은 [두 가지 진행중인 대화에 영향]을 미칩니다. 하나는 환자 차트에 의대생에 의한 문서화를 허용하고 장려하는 [새로운 메디케어 가이드라인]에 관한 것이고, 다른 하나는 [레지던트 시작 전 환자 오더 작성 및 프로그레스 노트 작성의 숙련]을 권장하는 AAMC의 Core EPA 문서에 관한 것입니다. 커리큘럼 계획에 참여하는 의학 교육자들은 학생들이 이러한 과제를 연습하고 피드백을 받을 수 있는 적절한 기회를 갖도록 보장해야 한다.
Foster et al22 and Park et al23 also use positivist and postpositivist paradigms to study specific workplace tasks and performance. Foster et al view knowledge as objective—that is, a fixed reality, which is measurable. They used the USMLE test setting as an opportunity to survey medical students regarding the use of electronic health records (EHRs). Data revealed that while the percentage of clerkships nationwide using EHRs has increased over a five-year period, the percentage of students entering notes into those records has remained stable, and the percentage of students entering orders has actually decreased. This study falls mainly in the positivist paradigm as they focus on prediction and aim to produce generalizable data, though the authors mention that context (availability of EHRs) can impact the results. Their work has implications for two ongoing conversations, one regarding the new Medicare guideline that allows and encourages documentation by medical students in patient charts, and another regarding the Association of American Medical Colleges’ core entrustable professional activities document, which recommends proficiency in writing patient orders and progress notes prior to entering residency. Medical educators involved in curricular planning must ensure that students have adequate opportunity to practice these tasks and receive feedback.

Park 등은 [완전한 객관성이 달성될 수 없다는 것을 인정]하면서, 객관적인 지식을 얻기 위해 노력한다. 이들은 소아 인턴의 역량 등급 통계 분석에 업무량 측정치가 포함될 때 평가 점수의 신뢰성과 정밀도가 크게 증가한다는 것을 보여준다. 이 연구는 [후기실증주의적 패러다임과 일치]하여, 측정을 사용하여 복잡한 현상을 명확히 하고 통찰력을 제공한다. 이 연구는 직장 기반 평가(WBA)에서 교육생의 업무량 같은 [교란 요인을 식별]하는 것의 중요성을 강조한다. 대학원 의학 교육을 위한 인증 위원회는 이제 WBA가 필수적인 마일스톤 보고의 사용을 의무화하고 있다. 이 논문은 교육자 작업량을 포함한 작업장의 다른 복잡성을 고려하지 않고 WBA의 정확성에 대해 교육자들에게 생각할 거리를 제공한다.
Park et al strive to obtain objective knowledge, acknowledging that complete objectivity is not achievable. They demonstrate that when measures of workload are included in the statistical analysis of competency ratings for pediatric interns, the reliability and precision of assessment scores increase substantially. Consistent with a postpositivist paradigm, the study uses measurement to clarify and give insights into complex phenomena. The study highlights the importance of identifying confounders to workplace-based assessment (WBA), such as workload of trainees. The Accreditation Council for Graduate Medical Education now mandates the use of milestones reporting, for which WBA is essential. This paper provides food for thought for educators regarding the accuracy of WBA without taking into account other complexities of the workplace including trainee workload.

Burkhardt 등은 의대 입학전형에서 판단의 주관성을 제거하는 데 [예측적 입학모형(EM)]을 사용할 경우의 이점에 대한 가설을 생성하는데, 의대 입학사정관 등 교육 지도자들이 자신의 학교에 누가 다닐지 예측한다. 그들은 그들의 결과가 연역적이며 결과가 절대적으로 객관적이지 않을 수 있다는 것을 인정한다. 저자들은 [후기실증주의적 도구]를 사용하면 주관적인 판단을 제거함으로써 과정을 개선할 수 있음을 보여준다. EM 모델은 입학관리실에서 지원자의 가능한 행동에 대한 정보를 제공하기 위해 사용될 수 있으며, 특히 대표성이 낮은 소수자와 여성의 모집에서 유용하고, 주 내 지원자와 주 외 지원자의 균형을 맞추기 위해 사용될 수 있다. 저자들은 인간의 판단에 비해 열등하지 않고 일부 측면에서는 모델의 우월성을 보여준다. 이 연구는 다양성을 개선하기 위한 의도적인 실천/단계들이 얼마나 도움이 될 수 있는지를 보여주는 사례이다.
Burkhardt et al24 generate a hypothesis about the benefits of using a predictive enrollment model (EM) in eliminating subjectivity of judgments in the medical school admissions process, where educational leaders such as medical school admissions officers make predictions about who will attend their school. They acknowledge that their results are deductive and that outcomes may not be absolutely objective. The authors demonstrate that the use of a postpositivist tool can improve the process by eliminating subjective judgments. EM models can be used by admissions offices to provide information about likely behavior of applicants, which can be valuable in the admissions office particularly in the recruitment of underrepresented minorities and women, and to balance in-state versus out-of-state applicants. The authors show noninferiority and in some aspects superiority of their model compared with human judgment. This study is an example of how deliberate practice/steps to improve diversity can be helpful.

올해 RIME 선정에서 또 다른 [실증주의 연구]는 Aakre 등의 스코핑 리뷰이다. 연구자들은 전자 지식 및 관리 시점 교육 자원과 관련된 양적 및 질적 연구를 연구하기 위해 [중립적이고 객관적이며 독립적이며 가치 없는value-free 입장]을 유지한다. 가장 자주 인용되는 전자 자원은 UpToDate였다. 지식 자원의 교육적 또는 임상적 영향에 대한 연구는 부족했다. 의학 지식의 지속적인 성장과 그에 따른 효과적인 지식 합성과 실천으로의 번역의 필요성을 고려할 때, 이 분야의 추가 연구는 특히 자원이 지식과 치료 시점에 영향을 미치도록 보장하는 것이 중요하다.
Another positivist study in this year’s RIME selection is the scoping review by Aakre et al.25 The researchers maintain a neutral, objective, independent, and value-free stance to study quantitative and qualitative research related to electronic knowledge and point-of-care education resources. UpToDate was the most frequently cited electronic resource. A paucity of research was noted regarding the educational or clinical impact of knowledge resources. Given the ever-accelerating growth of medical knowledge, and the consequent need for effective knowledge synthesis and translation to practice, further research in this field is important, particularly ensuring that resources have impact on knowledge and at the point-of-care.

비판적 이론과 구성주의 패러다임 연구
Critical theory and constructivist paradigm research

곤잘레스 외 연구진과 수헤라 외 연구진은 [암묵적 편향 훈련]에 참여한 교육자와 학습자의 경험을 이해하고자 한다. 연구자들은 [구성주의 패러다임]을 가지고 있고 [근거 이론]을 사용한다. 구성주의에 충실하게, 저자들은 개인들 사이에 여러 진실이 구성된다고 믿으며, 연구 결과는 현실에 대한 인식이 사회적으로 어떻게 만들어지는지를 보여준다. 두 연구 모두 지속적인 성찰과 자기계발의 중요성을 강조한다. 수헤라 등은 [편견을 드러냄으로써 나타나는 긴장]과 [학습자와 교사가 이러한 긴장을 어떻게 조정하는지] 논의하는 반면, 곤잘레스 등의 연구는 [편향과 관련된 대화를 촉진하기 위한 교수진의 준비되지 않은 모습]을 보여준다. 그 결과는 편향 교육과 관련된 교수진 개발 및 참여자들이 자신의 편견을 발견했을 때 불안감을 해소하는 데 사용될 수 있다. 미국 의사회는 최근 의사를 고용하는 모든 조직에 의한 정기적이고 반복적인 암묵적인 편향 훈련의 제공을 옹호하는 입장문을 발표했다. 곤잘레스 외 연구진과 수헤라 외 연구진의 연구 결과는 교육과정 설계에 참여하는 교육자들에게 도움이 될 것이며, 과정을 알리는 중요한 팁을 제공할 것이다.
The studies by Gonzalez et al26 and Sukhera et al27 seek to understand the experiences of educators and learners engaged in implicit bias training. The researchers have a constructivist paradigm and use grounded theory. True to constructivism, the authors believe that multiple truths are constructed between individuals, and the results of the studies showcase how the perception of reality is socially created. Both studies highlight the importance of a constant process of reflection and self-improvement. Sukhera et al discuss the tensions emerging from revealing bias and how learners and teachers navigate these tensions, while the work by Gonzalez et al demonstrates the unpreparedness of faculty to facilitate conversations related to bias. The results can be used for faculty development related to bias instruction and to allay anxieties when participants discover their own biases. The American College of Physicians recently released a position statement advocating for the provision of regular and recurring implicit bias training by all organizations that employ physicians.28 The results of the research by Gonzalez et al and Sukhera et al will be helpful for educators involved in curriculum design, providing important tips to inform the process.

[비판적인 종합 검토]에서, 와이즈너와 에바는 [교육에 대한 인센티브]를 탐구하기 위해 문헌을 검토한다. [비판적 합성]은 [비판]과 [합성]의 두 가지 주요 방법론을 중심으로 진행된다. 저자들이 자신의 패러다임을 명시적으로 밝히지는 않지만, 기사를 검토한 결과, [여러 개의 진실이 존재한다는 것을 인정]하면서, [비판적인 입장]을 취하고 있음을 알 수 있다. 저자들은 문학의 종합(의학 교육뿐만 아니라 심리학, 행동학, 조직학 문헌도 포함)을 제공한다. 그러나 한 걸음 더 나아가 이용 가능한 문헌을 비평한다. 그들은 교수진별로 자체 보고된 인센티브를 나열하고, 비판을 제공하는 동안 교수진이 어떻게 교수와 관련된 재정적 의욕 저하에 대한 우려(즉, 진료소에 있지 않음으로써 포기하는 돈)를 제기하지 않는지에 대해 논의한다. 또한, 그들은 [인센티브의 영향]은 다른 개인의 동기 부여에 영향을 미치는 요인에 좌우되며 제공되는 인센티브의 유형은 신중하게 고려되어야 한다고 지적한다. 비판적 합성은 의료 교육자들이 일하는 많은 맥락에서 인센티브가 어떻게, 언제, 왜 작동하는지에 대한 더 큰 명확성이 필요하다는 것을 강조한다.
In a critical synthesis review, Wisener and Eva29 review the literature to explore incentives for teaching. Critical synthesis revolves around two main types of methodology: criticism and synthesis. Although the authors do not explicitly state their paradigm, a review of the article reveals that they take on a critical stance, acknowledging that multiple truths do exist. The authors provide a synthesis of literature—not just from medical education but also psychology, behavioral, and organizational literature—but then go a step further to critique the available literature. They list self-reported incentives by faculty and, while providing a critique, discuss how faculty neglect to bring up concerns of financial disincentives associated with teaching (i.e., money that is given up by not being in clinic). Additionally, they point out that the influence of an incentive is dependent on factors influencing different individuals’ motivation and that the type of incentive offered has to be carefully thought out. The critical synthesis highlights that the field needs greater clarity regarding how, when, and why incentives operate within the many contexts in which medical educators work.

실용주의 패러다임 연구
Pragmatism paradigm research

Gowda 등은 [예술에 대한 조사를 통해 관찰능력을 기르는 과목]의 효과를 [성찰 능력, 불확실성에 대한 관용, 개인적 편견에 대한 인식에 미치는 영향]으로 조사하였다. [과정이 관찰에 미치는 영향]을 탐구한다. 저자들은 그들의 패러다임을 명시적으로 언급하지는 않지만, 현실 세계의 입장을 채택하면서 엄격함을 만들어내기 위한 [다양한 방법의 필요성]을 인정한다. 즉, "질문에 대한 과정[연구] 접근법 및 혼합을 명확히 하는 것"입니다. 저자들은 수업의 효과를 질적으로 탐구하기 위해 포커스 그룹뿐만 아니라 반영 능력에 대해 이전에 확립된 평가 척도를 사용하는 혼합 방법 설계를 사용한다. 그들은 과정에 참여하는 학생들의 성찰 능력이 향상되고, 세상을 관찰하고 해석하는 데 있어 주관성의 역할에 대한 인식이 증가된 것을 발견했다. 이 연구는 모든 교육자, 특히 임상 기술을 가르치는 데 관련된 모든 교육자에게 중요하다. [주의 깊은 관찰]은 학생들에게 자동적으로 존재하는 것으로 추정되어서는 안 되며, 학습된 기술로 간주되어야 한다. 또한 관측한 것의 불확실성을 성찰하는 능력은 학생들에게 모호하게 될 수 있다. 그 연구는 또한 교과과정에서의 예술과 인간의 통합을 지원하기 위해 증거를 제공하는 증거이다.

Gowda et al30 explore the effects of a course on observation through examining art in influencing reflective ability, tolerance for uncertainty, and awareness of personal bias. The authors do not explicitly state their paradigm but do acknowledge the need for diversity of methods to produce rigor, adopting a real-world stance, i.e., a “horses for courses [whatever works] approach to the question, and clarifying the mix.”16 The authors use a mixed-methods design using previously established rating scales for reflection ability as well as focus groups to explore the effects of the course qualitatively. They found improvement in reflective ability of students participating in the course and an increased awareness of the role of subjectivity in observing and interpreting the world. This study is important for all educators but particularly those involved in teaching clinical skills. Careful observation should not be presumed to be automatically present in students and should be considered a learned skill. Additionally, the capacity to reflect on the uncertainty of observations can help students deal with ambiguity. The study is also valuable because it provides evidence to support the integration of arts and humanities in the curriculum.

결론들
Conclusions

올해의 RIME 기사에서, 저자들은 개념적 틀을 명확하게 표현했거나, 저자들이 누구의 작품을 만들고 있는지에 대해 진술했다. 그러나 연구 패러다임을 명확히 밝힌 논문은 두 편뿐이었다. 이 두 저자들은 구성주의 관점에서 연구 질문을 하고 있다고 언급했다. 질적 연구원들은 그들이 방법을 정당화하기 위해 그들의 패러다임을 분명히 할 수 있다는 것을 느낄 수 있다. 우리가 느끼기에 드러났다고 보는 논문은 실증주의, 후기실증주의, 실용주의 패러다임에 대한 것이었는데, 패러다임적 입장을 명시하지 않았다. 대부분의 서류들이 실증주의/후기실증주의 패러다임을 주목하는 것은 흥미롭다. 우리는 연구논문에 귀속되는 연구 패러다임이 논문에 제공된 정보를 바탕으로 한 우리 자신의 연구 해석임을 지적하고 싶다. 작가로부터 명확한 진술 없이, 우리는 이러한 해석에 동의하지 않았고, 작가들은 우리의 해석과 동의하지 않을 수 있다. 
In this year’s RIME articles, the authors have either clearly articulated conceptual frameworks (Burkhardt et al,24 Gonzalez et al,26 Kulasegaram et al18), or the authors state on whose work they are building (Aakre et al,25 Feldman et al,20 Foster et al,22 Gowda et al,30 Onishi et al,21 Park et al,23 Sukhera et al,27 Wisener and Eva29). However, only two papers had clearly articulated a research paradigm (i.e., Gonzalez et al and Sukhera et al). These authors state that they were approaching the research questions from a constructivist perspective. It is possible that qualitative researchers may feel they need to state their paradigm clearly to justify the methodology. The papers that we felt represented positivist, postpositivist, and pragmatism paradigms did not explicitly state their paradigmatic position. It is interesting to note that the majority of papers belonged to the positivist/postpositivist paradigms. We would like to point out that the research paradigms attributed to the research papers (other then Gonzalez et al and Sukhera et al) are our own interpretations of the research, based on information provided in the paper. Without clear statements from the authors, we had difficulty making these interpretations, and it is possible that authors may disagree with our interpretations.

연구 패러다임에 관한 연구는 거의 없다. 그러나 의학교육에 대한 실험적 연구를 검토한 결과, 사용된 개념적 틀에 대한 명시적 문구가 조사된 논문의 절반 미만이 포함되어 있어 의학교육 연구자들이 연구에 사용한 개념적 틀을 명확하게 기술해야 한다는 주장이 제기되었다. 패러다임 입장과 관련한 명시적 진술이 담긴 전체 의학교육 연구 논문의 수에 대해서는 언급할 수 없지만, 모든 의학교육 연구자들이 자신의 [개념적 프레임워크]뿐만 아니라 [연구 패러다임]도 명확하게 밝힐 것을 권장한다. 예를 들어 후기실증주의 저자들의 명시적 진술은 지식 및 지식 및 지식에 영향을 미칠 수 있다. 연구원들은 택시 기술을 유지하는 방법에 대한 설명을 추가하고 그들의 연구를 논의해야 한다. 검토자, 편집자, 편집자 및 독자들은 일반적이어야 한다. 우리는 "우리가 알고 있는 것을 의도적으로 아는 것"은 것이 어려울 수 있다는 것을 인정한다. 그리고 라벨을 붙이는 것은 때때로 불가능해 보일 수 있지만, 패러다임의 한계를 아는 것은 그것을 명확히 하는 것만큼 중요하다. 
There is little available in medical education literature about research papers articulating research paradigms. However, a review of experimental studies in medical education revealed that less half the articles examined contained an explicit statement of the conceptual framework used, leading to calls for medical education researchers to clearly state the conceptual framework they have used in their research.31,32 We are unable to comment on the number of overall medical education research papers containing explicit statements regarding paradigms stances, but we encourage all medical education researchers to clearly state not just their conceptual frameworks but also the research paradigm. Explicit statements of paradigm by postpositivist authors, for example, might influence the discourse around knowledge and the limitations of any one way of knowing. Researchers should also consider adding a statement of how they maintained axiology and discuss the praxeology of their research. Reviewers, editors, and readers need to evaluate the rigor of research, and clear statements by authors should be the norm. We acknowledge that it can be challenging to “intentionally know what we know,” and to articulate and label may at times seem impossible, but knowing the limits of our paradigm is as important as articulating it.33

좋은 품질의 연구는 패러다임, 방법론, 그리고 방법들을 다루고 그들 사이의 내부적인 일관성을 입증한다.1 이러한 가치론적 무결성은 연구 증거를 전달, 번역 또는 합성하는 데 가치를 유지할 수 있는 능력을 가지고 있다. 우리는 의학 교육 연구자들이 그들의 연구의 가치론적 무결성을 고려할 것을 권고한다. 연구자들은 시간이 지남에 따라 연구자의 기억, 성찰 및 관점을 위한 저장소 역할을 하기 위해 [성찰 저널]을 유지하는 것을 고려할 수 있다. 연구과정에 대한 메타인지적 성찰을 위한 저널 형태로 제공되는 공간은 성찰성 발달에 도움이 될 수 있다. 
Good-quality research attends to paradigm, methodology, and methods and demonstrates internal consistency between them.1 This axiological integrity then has the ability to retain values in transferring, translating, or synthesizing research evidence.34 We recommend that medical education researchers consider the axiological integrity of their research. Researchers can consider maintaining a reflexive journal to serve as a repository for their researcher’s memories, reflections, and perspective over time. The space provided in the form of a journal for metacognitive reflection on the research process can help in the development of reflexivity.35

결론적으로, 연구자들은 종종 특정한 연구 패러다임을 가지고 연구 질문들에 접근한다. [패러다임적 입장]은 질문의 유형과 선택 방법을 결정합니다. 비록 패러다임의 명확성이 중요하지만, 어떤 한 가지 입장도 인간 학습의 복잡한 현상의 모든 측면을 설명하는 것은 불가능하다는 것을 인식하는 것이 중요하다. 각 접근 방식에는 강점과 한계가 있습니다. 교육에서 가장 중요한 많은 이슈들은 다중 렌즈를 통해 탐구될 수 있다. 올해 RIME 프로그램의 연구는 연구자들이 다루는 질문의 다양한 패러다임을 보여준다. 렌즈의 다양성을 고려함으로써, 자신의 접근 방식의 한계와 향후 단계에 대한 가능성이 더 명확해진다. 이러한 깨달음은 우리의 연구에 겸손함을 가져다 주고 더 큰 가능성을 열어줍니다.
In conclusion, researchers often approach the questions that they investigate from a particular research paradigm. This stance determines the types of questions that can be asked and the methods that are chosen. Although paradigmatic clarity is important, it is important to recognize that no one view or approach is able to describe all aspects of the complex phenomena of human learning. Each approach will have its strengths and limitations. Many of the issues that are most important in education can be explored through multiple lenses. The studies from this year’s RIME program demonstrate a diversity of paradigms of the questions that researchers address—by considering the diversity of lenses, the limitations of one’s own approach and possibilities for future steps become more clear. This realization brings humility to our research and opens us up to greater possibilities.

 

 


Acad Med. 2018 Nov;93(11S Association of American Medical Colleges Learn Serve Lead: Proceedings of the 57th Annual Research in Medical Education Sessions):S1-S7.

 doi: 10.1097/ACM.0000000000002384.

Commentary: Paradigms, Axiology, and Praxeology in Medical Education Research

Affiliations collapse

Affiliation

1Z. Zaidi is associate professor and associate chief of faculty development, Division of General Internal Medicine, director of scholarship, Department of Medicine, and director of longitudinal portfolios, University of Florida College of Medicine, Gainesville, Florida; ORCID: http://orcid.org/0000-0003-4328-5766. D. Larsen is associate professor of neurology and pediatrics, Department of Neurology, and director of medical student education, Division of Pediatric and Developmental Neurology, Washington University School of Medicine, St. Louis, Missouri.

PMID: 30365423

DOI: 10.1097/ACM.0000000000002384

Abstract

This supplement includes 11 research papers accepted by the 2018 Research in Medical Education Committee. In this Commentary, the authors draw the attention of medical educators and researchers to questions about the researcher's philosophical paradigm. Such questions fundamentally guide research-the choice of conceptual frameworks, methods, and methodology. The authors provide a brief overview of research paradigms and the related concept of axiology and praxeology in medical education research. The authors map the 11 accepted research articles, describing the researchers' stated or implied worldviews and the impact on chosen methods. The authors close by encouraging researchers to state the research paradigm behind their research, comment on how they ensured that the methods used displayed consistency with that paradigm, and highlight the value the research adds to everyday education.

보건의료시스템과학 교육과정 도입 과제: 학생 인식의 질적 분석(Med Educ, 2016)
Exploring challenges in implementing a health systems science curriculum: a qualitative analysis of student perceptions
Jed D Gonzalo,1 Paul Haidet,1 Barbara Blatt2 & Daniel R Wolpaw

서론
Introduction

미국의 의료 서비스 제공에 상당한 변화를 인식한 의료 교육자들은 새롭고 진화하는 의료 시스템에서 실습 기대와 함께 커리큘럼을 재정비realign하기 위해 노력하고 있다. 교육 개혁의 중요한 구성 요소는 [의료 시스템 과학(HSS)]에 지식과 기술을 포함하는 것을 포함하며, 이는 [시스템 기반 실천(SBP) 역량]을 볼 수 있는 보다 포괄적인 콘텐츠 및 개념의 렌즈이다. 협업적으로 효과적인 시스템 기반 의사 교육을 육성하기 위해 교육자들은 인구 건강, 건강 시스템 개선 및 고부가가치 관리를 포함하는 HSS를 전통적인 기초 및 임상 과학과 통합하는 학부 의료 교육(UME)을 위한 3축 프레임워크를 제안했다. 게다가, 많은 학교들은 그들이 HSS 기술을 개발하는 것을 돕기 위해 의료 시스템에서 [진정한authentic 학생 역할]을 만들고 있다. 이러한 권고와 개발에도 불구하고 많은 프로그램은 여전히 기초 및 임상 과학에 초점을 맞추고 있다. 이러한 프로그램에서 초기 교실 밖 경험은 주로 실습에 효율성 부담을 주고 환자 치료에 직접적으로 기여하지 않는 지도preceptorship 모델로 제한된다. 
Recognising substantial changes in the delivery of health care in the USA, medical educators are working to realign their curriculum with practice expectations in new and evolving systems of care.1 A critical component of educational reform involves the inclusion of knowledge and skills in Health Systems Science (HSS), which is a more comprehensive lens of content and concepts through which to view the Systems-Based Practice (SBP) competency.2-6 To foster the education of collaboratively effective, systems-based physicians, educators have proposed a three-pillar framework for undergraduate medical education (UME) that integrates HSS, which includes population health, health systems improvement and high-value care, with the traditional basic and clinical sciences.3, 7 In addition, many schools are creating authentic student roles in health care systems to help them develop HSS skills.8, 9 Despite these recommendations and developments, many programmes still focus on the basic and clinical sciences.10, 11 In such programmes, early out-of-classroom experiences are primarily limited to preceptorship models that place an efficiency burden on practices and do not directly contribute to patient care.8, 10, 12-15

교육자들이 HSS 커리큘럼을 설계하고 구현하기 위해 노력함에 따라, 그들은 학생들을 참여시키고 학습에 동기를 부여해야 하는 과제에 직면하게 된다.16 새로운 커리큘럼의 성공적인 설계, 개발 및 구현을 위해, Fink, Kern 등은 장벽을 식별하고 성공적인 교육과정 설계에 inform하기 위해 [상황적 요인에 대한 심층 분석]을 수행할 것을 제안한다. 의과대학의 시스템 교육과정에 대해서는 '학생과 교사 모두에게 이를 의미 있고 중요한 학습경험으로 만들기 위해 도전하는 교육과정에서의 특별한 도전'이 아직 조사되지 않았다. 이러한 커리큘럼의 증가가 예상됨에 따라, 이 정보는 성공적인 설계 및 구현에 매우 중요하다.
As educators work to design and implement HSS curricula, they are faced with the task of engaging students and motivating them to learn.16 For successful design, development and implementation of new curricula, Fink, Kern and others suggest performing an in-depth analysis of situational factors to identify barriers and inform successful curriculum design.17, 18 The ‘special challenge in the curriculum that challenges both students and teacher to make this a meaningful and important learning experience’ has not yet been investigated for systems curricula in medical schools.17 With the anticipated increase of such curricula, this information is critical for successful design and implementation.

본 연구에서는 HSS를 의료 커리큘럼에 통합하기 위한 지역적, 국가적, 국제적 노력에 inform하기 위해, [시스템 기반 개념을 학습하는 학생들의 인식]을 탐구하였다. 특히, 우리는 한 가지 중요한 질문을 가지고 이 연구에 접근했다. [강의실과 경험적 구성 요소를 모두 포함하는 시스템 커리큘럼]과 관련하여 학생들이 [장벽, 이점 및 특수 교육학적 도전]으로 인식하는 것은 무엇입니까?
In this study, we explored students’ perceptions of the idea of learning systems-based concepts to inform local, national and international efforts to incorporate HSS into medical curricula. Specifically, we approached this study with one overarching question: What do students perceive as barriers, benefits and special pedagogical challenges with regard to systems curricula that involve both classroom and experiential components?

방법들
Methods

연구접근법
Study approach

시스템 기반 교육 커리큘럼에 대한 학생들의 태도가 문헌에 거의 없기 때문에, 우리는 연구를 위해 데이터 중심 귀납적 접근법을 사용했다. 우리는 연구 질문의 탐색적 성격에 적합한 몇 가지 근거 이론 분석 기법을 사용한 정성적 주제 분석을 사용했다. 설문이나 개별면접보다는 포커스 그룹면접을 선택하게 된 이유는 학생들의 인식을 자세히 탐색하는 한편, 참여자들 간의 상호작용과 잠재적인 합의와 의견 불일치를 위한 안전한 환경을 제공하고자 했기 때문이다. 기관 검토 위원회는 이 프로젝트를 최소 위험 연구로 결정했다.
Because there is very little in the literature in the way of student attitudes to systems-based educational curricula, we used a data-driven inductive approach for our study.19-22 We used a qualitative thematic analysis with several grounded-theory analytical techniques appropriate for the exploratory nature of the research question. We chose focus group interviews rather than surveys or individual interviews because we wanted to explore students’ perceptions in detail, while also providing a safe environment for interaction and potential agreement and disagreement among participants. The Institutional Review Board determined this project to be minimal-risk research.

스터디 설정
Study setting

2013년, 펜 주립 의과대학(PSCOM)은 미국 의학 협회로부터 새로운 [시스템 탐색 커리큘럼]을 구현하기 위한 보조금을 받았다. 이 새로운 커리큘럼은 두 가지 핵심 요소를 포함하기로 되어 있었다.

  • 첫째, 보험, 비용, 진료 조정, 인구 및 공중 보건, 의료 성과 및 가치, 팀워크 및 리더십과 같은 주제에 초점을 맞추어 약 125시간의 컨택트 시간으로 17개월 동안 지속되는 새로운 의료 시스템 과정을 설계했다.
  • 둘째, 새로운 강의실 기반 과정에 대한 동기부여와 관련성을 촉진하기 위해 학생들은 환자 항법사로서 펜실베니아 중남부의 보건 시스템에 내장되어야 했다. 환자 항법(Patient Navigation)은 아웃리치 작업자를 사용하여 환자의 진료 장벽을 탐색하고 환자가 필요한 치료를 얻고 격차를 줄이기 위해 복잡한 의료 시스템을 탐색할 수 있도록 돕는 개입이다.

In 2013, the Penn State College of Medicine (PSCOM) received a grant from the American Medical Association to implement a new systems navigation curriculum, with the primary goal of aligning medical education with health system needs.23 This new curriculum was to include two key components.7 

  • First, a new health systems course was designed, lasting 17 months with an estimated 125 contact hours, focusing on topics such as insurance, cost, care coordination, population and public health, health care performance and value, teamwork and leadership.67 
  • Second, to foster motivation and relevance to the new classroom-based course, students were to be embedded into health systems in south-central Pennsylvania as patient navigators. Patient navigation is an intervention that uses outreach workers to explore patients’ barriers to care and helps them navigate complex health care systems to obtain the required care and reduce disparities.2425

참가자표본
Participant sampling

교육 단계별로 HSS에 대한 관점이 다를 것으로 예상했기 때문에, 다양한 수준의 경험을 포함하는 샘플을 얻기 위해 펜실베니아 주의 각 커리큘럼의 4년(MS1–4)에서 의대생을 의도적으로 모집했다. 우리는 연구에 대해 설명하고 관심 있는 학생들에게 미리 예정된 인터뷰에 등록하도록 요청하는 이메일을 보냈다. 포커스 그룹은 3명에서 7명의 참가자로 구성되었고, 각 그룹은 같은 반의 멤버를 포함했다. 연구에 참여한 학생들 중 위에서 설명한 새로운 커리큘럼의 어떤 부분도 경험하지 못한 사람은 없었다.
Because we expected students at different stages in their education to perhaps have different viewpoints about HSS, we intentionally recruited medical students from each of the four years (MS1–4) of Penn State's curriculum in order to obtain a sample that included the varying levels of experience. We sent e-mails describing the study and requesting interested students to sign up for a pre-scheduled interview. Focus groups were comprised of three to seven participants, with each group including members of the same class. None of the students in the study had experienced any part of the new curriculum described above.

데이터 수집
Data collection

의학 교육에 대한 지식이 있지만 의과대학에서 리더십 직책이 없는 경험 많은 두 명의 촉진자가 포커스 그룹 토론을 조정하고 디지털로 기록했다. SBP, 체험형 직장기반학습 및 교육과정 설계에 대한 관련 문헌에서 inform된 인터뷰 가이드(부록 S1 참조)를 활용하였다. 인터뷰 가이드에서 입증되었듯이, 우리의 질문은 지역 환경에만 국한된 문제가 아니라 일반적으로 HSS에 대한 응답을 장려하고 조사하기 위해 고안되었습니다. 우리는 참가자들에게 ['시스템 기반 관행'이라는 용어의 의미에 대한 이해를 적어보라고 하는 것]으로 각 토론을 시작했다. 본 활동에 이어 다음을 중점적으로 논의하였다

  • SBP 개념에 대한 학생들의 이해,
  • 의과대학 교육과정에서의 이러한 개념의 중요성에 대한 인식,
  • 경험적 시스템 기반 교육과 환자 항해사로서의 참여를 둘러싼 문제,
  • 의과대학 중 서로 다른 학습과목의 우선 순위를 어떻게 정했는지.

전문 전사자가 오디오로 녹음된 각 포커스 그룹 세션의 요약본을 준비했습니다.
Two experienced facilitators with knowledge of medical education but without leadership positions in the medical school moderated and digitally recorded the focus-group discussions. We used an interview guide (see Appendix S1) that was informed by the relevant literature on SBP, experiential workplace-based learning and curriculum design.12, 13, 16, 18, 26, 27 As demonstrated in the interview guide, our questions were designed to encourage and probe responses about HSS in general, rather than issues specific to our local environment alone. We began each discussion by asking participants to write down their understanding of the meaning of the term ‘systems-based practice’. Following this activity, the discussion focused on

  • students’ understanding of SBP concepts,
  • their perceptions of the importance of such concepts in a medical school curriculum,
  • issues surrounding experiential systems-based education and participation as patient navigators, and
  • how they prioritised different learning subjects during medical school.

A professional transcriptionist prepared a verbatim transcript of each audio-recorded focus-group session.

데이터 분석
Data analysis

질적 연구에 대한 경험을 가진 우리 연구팀의 구성원들이 우리 연구의 분석 단계를 이끌었다. 이 작업에 접근한 우리 연구팀의 관점은 [HSS가 의대생들의 훈련과 21세기 의료 실무에서 가치]가 있다는 것이었다. 따라서, 우리는 포커스 그룹 진행자가 질문 및 조사를 [중립적으로 표현하도록 특히 주의]를 기울였으며, 진행자가 학생들이 이 내용을 중시해야 한다는 것을 암시하는 선도적인 질문을 하지 않도록 하기 위해 질문 및 조사에 대한 비공식 분석을 수행했다. 또한, 우리는 우리의 결과가 확인될 수 있도록 하기 위해 아래에 설명된 몇 가지 교차 검사를 수행했다.
Members of our research team with experience in qualitative research led the analysis phase of our study. Our research team's perspective in approaching this work was that HSS has value in the training of medical students and in 21st-century medical practice. As such, we were particularly careful to ensure focus group moderators worded their questions and probes neutrally, and we performed an informal analysis of the questions and probes asked to ensure the moderator was not asking leading questions that implied that students should value this content. In addition, we performed several cross-checks, described below, to ensure that our results could be confirmed.


우리는 몇 가지 근거이론 분석 기법을 사용하여 주제 분석을 사용하여 데이터에 접근했다.22, 28, 29 우리는 텍스트 데이터를 관리하기 위해 Atlas.ti™ 6.0 (Scientific Software, Berlin, German) 소프트웨어를 사용했다. 각 포커스 그룹 세션 동안, 진행자는 초기 코드북을 알리기 위해 메모를 기록했다. 초기 주제와 범주를 식별하고 예비 코드북을 생성하기 위해 지속적인 비교 분석 프로세스를 사용하여 이러한 노트와 포커스 그룹 기록을 검토했습니다. 19, 20 4년간의 모든 교육 기간 동안 데이터 포화 상태에 도달할 수 있을지 확신할 수 없었기 때문에, 우리는 더 이른 시점에 포화 상태에 도달했는지 여부에 관계없이 예정된 포커스를 모두 완료하기로 사전 결정을 내렸습니다. 그룹은 한 조사관(JG)은 독립적으로 초기 기록을 분석하고 코드북을 수정했다. 공동조사자(BB)와의 정기적인 판정 세션을 통해 초기 코드를 비교하고 불일치 및 일치 여부를 확인한 후 코드북을 업데이트하였다. 연구팀의 구성원들은 개별적으로 녹취록을 검토하고 개발된 코드북과 텍스트를 교차 확인했으며, 이는 후속 판정 세션을 알렸다. 팀은 의견 불일치를 논의하고 필요에 따라 코드를 축소 및 수정했습니다. 마지막으로 연구팀은 주요 범주, 주제 및 예시 인용에 대해 논의하였고, 시스템 기반 교육에 대한 학생들의 관점을 설명하기 위한 개념적 프레임워크을 개발하였다.

We approached our data using thematic analysis with several grounded-theory analytical techniques.22, 28, 29 We used Atlas.ti™ 6.0 (Scientific Software, Berlin, Germany) software to manage the text data. During each focus-group session, the moderator recorded notes to inform the initial codebook. We reviewed these notes as well as the focus group transcripts using a process of constant comparative analysis to identify initial themes and categories and generate a preliminary codebook.19, 20 Because we were unsure if data saturation would be reached across all four years of training, we made an a priori decision to complete all scheduled focus groups regardless of whether saturation was reached at an earlier point. One investigator (JG) independently analysed an initial transcript and modified the codebook. Through regular adjudication sessions with a co-investigator (BB), initial codes were compared for inconsistency and agreement, followed by updating of the codebook. Members of the research team individually reviewed transcripts and cross-checked the text with the developed codebook, which informed subsequent adjudication sessions. The team discussed disagreements and collapsed and modified codes as necessary. Finally, the research team discussed overarching categories, themes and exemplar quotations, and developed a conceptual framework to explain students’ perspectives regarding systems-based education.

결과.
Results

2013년 12월부터 2014년 3월까지 총 12개의 포커스 그룹을 수행했으며, 평균 51분 길이(범위 21-70분)였다. 총 50명의 학생이 참여하였으며, 1학년 3개 그룹(n=13), 2학년 4개 그룹(n=14), 3학년 3개 그룹(n=16), 4학년 2개 그룹(n=7)이 참여하였다. 이 50명의 학생들 중 28명은 여자였고 22명은 남자였다.
Between December 2013 and March 2014 we conducted a total of 12 focus groups, averaging 51 minutes in length (range 21–70 minutes). A total of 50 students participated, with three groups of first-year students (= 13), four groups of second-year students (= 14), three groups of third-year students (= 16) and two groups of fourth-year students (= 7). Of these 50 students, 28 were female and 22 were male.

시스템 커리큘럼에 대한 장벽
Barriers to a systems curriculum

새로운 시스템 커리큘럼에 대한 학생 식별 장벽은 아래 식별된 바와 같이 네 가지 주제로 분류되었습니다.
Student-identified barriers to a new systems curriculum were categorised into four themes, as identified below.

의사 면허 시험은 기초 과학을 '핵심'으로 보는 관점을 배양한다.
Medical licensing board examinations foster a view of the basic sciences as ‘core’

거의 모든 학생들이 의대 초반의 주요 관심사를 전통적인 기초과학이라고 표현했다. 이러한 '핵심' 과정은 미국 의학 면허 시험(USMLE)에서 높은 점수를 얻기 위한 전제조건으로 간주되며, 이는 상위 선택 프로그램에서 레지던트 확보의 주요 결정 요인으로 인식된다.
Nearly all students described their primary focus in the early years of medical school as being the traditional basic sciences. These ‘core’ courses are viewed as a prerequisite for achieving high scores in the United States Medical Licensing Examinations (USMLE), which are perceived as the primary determinant for securing a residency, preferably in a top-choice programme.

학생들은 우리가 핵심 수업이라고 생각하는 것을 배우는 데 매우 집중합니다. 우리가 무슨 과학을 하고 있든지 간에, 우리가 있는 기관 블록이 이 시험에서 테스트하는 것이기 때문입니다.
Students are so focused on learning what we consider our core class, which is the organ block we are in, whatever science we are doing, because that is what the boards test.

(MS2)

처음 2년은 모두 [USMLE]에 달려 있습니다. 옳고 그름의 기준이 되는 것 같다. 비록 우리가 우리의 교육과정을 완전히 바꿨다고 해도, 사람들은 여전히 비밀리에 시험을 위해 공부하고 있을 것이다. 왜냐하면 그것은 진짜 화폐이기 때문이다. 불행하게도, 당신이 처음 2년 동안 배운 것보다 더 많은 것은 당신이 그 시험을 얼마나 잘 보느냐이다.
The first 2 years are all contingent on [the USMLE]. For right or wrong, it seems to be the standard. Even if [we] changed our curriculum entirely, people would still be secretly studying for the test because that is the real currency. More than actually what you learn in the first 2 years is how well you do on that test, unfortunately.

(MS2)

시스템은 중요하지만 필수적이지 않음
Systems are important but not essential

시스템 지식과 기술의 중요성을 인식하고 있음에도 불구하고, 몇몇 학생들은 의과대학의 시간적 압박을 고려할 때 기본 및 임상 기술을 더 필수적이라고 보았다. 이 테마는 위의 의료 면허 테마와 구별되지만 관련이 있습니다. 의료면허 테마는 평가가 의료교육과정에서 학생들의 [다양한 콘텐츠 사이에서의 우선순위를 결정]하는 데 초점을 맞췄지만, 이 테마는 다른 콘텐츠보다 HSS를 덜 우선시하는, [의사가 무엇인지에 대한 학생들의 역할 구성]에 초점을 맞췄다. 시스템 기반 지식과 기술과 관련하여, 학생들은 이러한 것들이 안 좋은 결과를 유발하지 않으면서도, 커리어의 뒤쪽으로 미뤄둘 수 있다고 제안했다.
Despite recognising the importance of systems knowledge and skills, several students viewed basic and clinical skills as more essential given the time pressures of medical school. This theme is distinct from, but related to, the medical licensing theme above. Although the medical licensing theme focused on assessment driving students’ prioritisation of various contents in the medical curriculum, this theme focused on students’ role constructions of what a doctor is, which prioritised HSS below other contents. With respect to systems-based knowledge and skills, students proposed that these could come later in their careers, without causing untoward consequences.

[비과학 수업] 결국 솜털 같은 '사이드' 수업으로 비쳐진다. 심장학과 같은 핵심 과학을 보세요. 만약 여러분이 그들을 잘 알지 못한다면, [여러분]은 전면적이고 중심적인 실수나 나쁜 결과를 범하게 될 것입니다. [시스템]은 내가 나중에 배울 수 있는 것이다. [비과학 과목]은 옆으로 밀린다.
[Non-science classes] end up being seen as fluffy ‘side’ courses. Look at the core science like cardiology. If you don't know them well, [you] will make mistakes and poor outcomes that are front and center. [Systems] is what I can learn later. [Non-science courses] get shoved off to the side.

(MS3)

한 학생의 접시에는 1000가지가 있다. [우리]는 시간 관리의 달인이 되지만, 그것은 [필수적이지 않은 것을 잘라내는 대가]를 치르게 됩니다. 시스템[교육과정]에는 분명히 그러한 위험이 있다.
There are 1000 things on a student's plate. [We] become masters of managing time, but that comes at the cost of cutting things that are not viewed as essential. There is definitely that risk with [the] systems [curriculum].

(MS2)

진정한 시스템 역할을 수행하기 위한 지식 및 기술 부족
Insufficient knowledge and skills to perform an authentic systems role

몇몇 학생들은 지식과 기술이 부족하다는 인식 때문에 (환자 탐색과 같은) 진정한 시스템 기반 역할을 맡는 것을 꺼렸다. 학생들은 환자에게 해를 끼치는 것에 대해 걱정했고, 역할에서 어떻게 기능해야 할지 몰랐거나 할당된 작업에서 성공하지 못했다.
Several students were reluctant to take on authentic systems-based roles (such as patient navigation) given their perceived lack of knowledge and skills. Students were concerned about harming patients, not knowing how to function in the role or being unsuccessful with assigned tasks.

환자 내비게이터 역할을 하는 것은 어려울 수 있습니다. 우리는 기술이 없기 때문에 환자, 환자 항해사 또는 병원 관리자와 그들의 경험에 대해 이야기하는 것이 더 나을 것이다. 그냥 환자를 따라다니면서 공간을 차지했을 뿐이죠. 만약 우리가 그것에 대해 약간의 훈련을 받는다면, 아마도 우리는 유용할 수 있지만, 그것을 광범위하게 하는 것은 어려울 것이다.
It may be hard to act as a patient navigator. It would be better to talk to a patient about their experience, a patient navigator or hospital administrator about what they are working on because we don't have the skills. We would just be following a patient around and taking up space. If we got some training in it, perhaps we could be useful, but to do it extensively would be hard.

(MS4)

환자를 리드하려는 시스템을 이해하지 못하는 학생이 있기 때문에 환자에게 큰 불이익이 될 수 있습니다. 그것은 맹인이 맹인을 인도하는 것일 것이다.
It could be a great disadvantage for the patient because you have a student who does not understand the system trying to lead a patient. It would be the blind leading the blind.

(MS3)

의과대학 커리큘럼과 임상 시스템은 시스템 교육을 지원하지 않는다.
Medical school curricula and clinical systems do not support systems education

일부 학생들은 현재의 커리큘럼과 임상 환경이 새로운 시스템 커리큘럼을 수용하지 못할 것이라는 그들의 믿음을 보고했다. 학생들은 그러한 변화를 허용하지 않는 전통적인 교육 및 의료 제공 문화를 인식했다.
Some students reported their beliefs that the current curriculum and clinical environment would not be receptive to a new systems curriculum. Students perceived a traditional culture of education and clinical-care delivery that would not allow such a change.

옛날 경비원 같아. 많은 세대가 의학을 겪어왔고, 이것이 의학을 배우고 행해 온 방법이다. 당신은 좋은 의사가 되기 위해 모든 것을 알아야 한다고 느낍니다. 말도 안 되는 병을 다 외우는 것이다. 이것이 여러분이 할 일입니다. 여러분은 그 직업의 기대에 부응하기를 원하며, 그것은 여러분이 모든 것을 알아야 한다는 사람들에게 많은 압박감을 줍니다.
It's like the old guard. A lot of generations have gone through medicine, and this is the way it has been learned and done. You feel like you have to know everything to be a good doctor. You memorize every detail of ridiculous diseases. This is the way you are going to do it… You want to live up to what the profession expects, and that puts a lot of pressure on people that you have to know everything.

(MS2)

시스템 커리큘럼의 이점
Benefits of a systems curriculum

학생들은 몇 가지 인지된 이점을 확인했고 HSS의 콘텐츠 영역이 가치 있고 자신의 경력에 적용될 것이라고 믿었다. 아래 논의된 바와 같이 세 가지 테마는 다양한 이점을 설명했습니다.
Students identified several perceived benefits and believed the content areas of HSS would be valuable and applicable to their careers. Three themes described a variety of benefits, as discussed below.

의료 시스템 과학 지식 및 기술 습득
Acquisition of health systems science knowledge and skills

많은 학생들이 HSS 학습의 가치를 확인했고 임상 전 및 임상 연도 모두에서 현재 이 주제가 부족하다는 점에 주목했다. 특히, 많은 학생들은 그 지식과 기술이 임상실습, 레지던트 그리고 독립적인 커리어으로의 전환 동안 실질적인 가치를 가지고 있다고 믿었다.

Many students identified the value in learning HSS and noted the current lack of this topic in both pre-clinical and clinical years. Specifically, many students believed the knowledge and skills would prove to have practical value during transitions to clerkships, residency and independent careers.

정말 좋을 것 같아요. 나는 많은 전공의들과 이야기했고 그들은 말했다: '나는 내가 그것에 던져지기 전까지 이 중 어떤 것이 어떻게 작동하는지 전혀 몰랐다. 그것은 불에 의한 세례였고, 나는 그냥 가면서 배워야 했다.' … 그것이 어떻게 작동하는지 배우는 것은 분명히 유익할 것이다. 그래야 우리가 그곳에 도착했을 때 충격이 없다.
It would be great. I talked to a lot of residents and they have said: ‘I had no idea how any of this worked until I was thrown into it. It was a baptism by fire, and I just had to learn as I went.’ … It would definitely be beneficial to learn how it works. That way it's not a shock when we get there.

(MS2)

환자 경험에 대한 이해도 향상
Enhanced understanding of the patient experience

많은 학생들은 [의료 제공에 대한 환자 중심의 관점을 가질 수 있는 가능성] 때문에, 의료 시스템에서 진정authentic한 역할을 하는 새로운 시스템 커리큘럼을 호의적으로 보았다. 그들은 [환자들과 함께 일하는 것]이 환자들이 그들의 치료 문제와 의료 시스템 내의 수많은 장벽을 어떻게 헤쳐나가야 하는지를 직접 볼 수 있는 기회를 제공할 것이라고 믿었다.
Many students viewed a new systems curriculum with authentic roles in the health care system favourably because of the potential to have a patient-centred perspective of health care delivery. They believed that working with patients would provide first-hand opportunities to see how patients must navigate their care issues and the numerous barriers within the health care system.

[학생들]은 환자가 되는 것은 무슨 느낌인지와는 거리가 멀다. 저는 환자와 가족이 어떤 상태일지 반영할 수 없고, 어떤 종류의 자원을 이용할 수 있기를 원하는지 생각하기 시작합니다. 우리는 2년 동안 시험을 볼 것이고, 의대를 졸업할 때 보드를 가질 것이지만, 우리가 매일 가질 것은 환자들이다.
[Students] are distant from what it feels like to be a patient. I cannot reflect what it might be like for the patient and family and start to think what kinds of resources would I want available. We are going to have tests for 2 years, we are going to have boards when we are out of med school, but what we are going to have every day is patients.

(MS3)

경험적 역할을 통해 학습 및 참여 향상
Improved learning and engagement through experiential roles

학생들은 [돌봄 환경 내에서 진정한 역할authentic roles이 자신에게 할당된 업무와 교육에 대한 매력적인 경험, 소유권 및 책임감을 촉진할 것]이라고 보고했다. 진정한 역할은 학생들이 책임지고 팀의 다른 구성원의 역할과 중복되지 않는 것으로 정의되며, 이는 종종 그림자 또는 교수 경험에서 발생한다. 의과대학에서의 전통적인 관찰 경험과 비교하여, 학생들은 진정한 역할이 학습 경험을 촉진하고 의학 직업 내에서 그들의 동기를 자극할 것이라고 보고했다.
Students reported that authentic roles within care settings would provide engaging experiences, fostering ownership of and accountability for their assigned tasks and education. Authentic roles are defined as those that students are responsible for, and that will not duplicate the roles of other members of the team, which is often the case with shadowing or teaching experiences. As compared with traditional observational experiences in medical school, students reported that authentic roles would catalyse the learning experience and fuel their motivation within the medical profession.

 

책무성과 책임감은 사람들이 일을 잘하도록 동기를 부여한다. 첫해에는 임상치료를 하지 않을 거고 그렇게 일찍 임상치료를 받길 바라지 않으실 겁니다. [환자 항해사로서] 우리는 필수적인 역할입니다. 당신은 학생으로서 책무를 가져야 하고, 환자에게 목적이 되는 것에 대해 책임을 져야 한다.
Accountability and responsibility motivates people [to] do things well. First year, we are not doing clinical and you do not want us doing clinical that early. [As patient navigators], we are an integral role. You are accountable for something that is purposeful for the patient, and as a student.

(MS4)

통합 과제: 학생들은 경쟁하는 의제들 사이에 끼어 있다.
The unifying challenge: students are caught between competing agendas

편익과 장벽과 관련된 주제를 총체적으로 바라보면서, 우리는 HSS 커리큘럼을 구현하는 데 있어 하나의 통일된 과제를 확인했다(그림 1). 비록 학생들이 기초과학부터 이사회 시험, 사무원 자격 수행, 레지던트 입학까지 일련의 필요한 단계들을 그들의 주된 초점으로 확인했지만, 많은 사람들은 또한 이 접근 방식이 그들의 신념이나 개인적인 의제와 일치하지 않는다고 소통했다. 학생들은 자격증 시험을 넘어 그들이 집중하고 싶은 여러 단계의 학습과 경험을 확인했다. 특히, 학생들은 '역량'을 갖추고, 최적의 환자 중심 진료에 필요한 기술을 습득하기를 원했고, 이러한 기술은 그들이 더 나은 의사가 될 것이라고 믿었다. 학생들은 [의학교육 시스템에서 부과된 의제(예: 기초 과학 및 시험)]와 [가능한 최고의 의사가 되려는 내부 욕구] 사이에서 긴장을 확인했다.
Taking a holistic view of the themes pertaining to benefits and barriers, we unifying challenge in implementing an HSS curriculum (Fig. 1). Although students identified an explicit series of necessary steps, leading from basic sciences through board examinations and clerkship performance to residency entrance, as their primary focus, many also communicated that this approach is not aligned with their beliefs or personal agenda. Students identified several layers of learning and experience, beyond licensing examinations, upon which they would like to focus. Specifically, students desired to be ‘competent’ and acquire the required skills for optimal patient-centred care, believing these skills would result in them becoming better physicians. Students identified a tension between what they believed to be the imposed agenda of the medical education system (e.g. basic sciences and examinations) and their internal desire to be the best physician possible.

그것은 끔찍하게 들립니다. 왜냐하면 그것은 여러분이 할 수 있는 최고의 의사가 되어야 하기 때문입니다. 궁극적으로는 장기적인 목표입니다. 불행하게도, USMLE Step 1은 우리가 치르게 될 가장 큰 시험이며 무엇에 초점을 맞추고 있는가? 기초과학.
It sounds terrible because it should be becoming the best doctor you possibly can, which ultimately is the long-term goal. Unfortunately, Step One is the biggest test we are ever going to take and what does it focus on? The basic sciences.

(MS2)

저는 [항상] 공부로 돌아가야 한다고 느끼게 된다. 왜냐하면 이것은 제 시험이고 저는 이 시험에서 최선을 다하고 싶기 때문입니다. 나는 그것을 좋아하지 않지만 그것은 필수이다. 내 마음 한구석에서는, 나도 이런 의사가 되고 싶지 않다고 생각하고 있어. 나는 내 환자들과 더 많은 시간을 보내고 싶고, 그들을 알아가고 싶고, 곧 있을 선반 검사 난장판이 있다는 사실을 알고 싶다.
I [always feel] I need to get back to studying because this is my shelf and I want to do the best on this one. I don't like that but it is required. In the back of my mind, I am also thinking this is not really the kind of doctor I want to be. I want to spend more time with my patients, getting to know them and the fact that I have this upcoming shelf exam messes with that.

(MS3)

논의
Discussion

본 연구에서는 의과대학 교육과정의 시스템 기반 콘텐츠와 활동의 성공적인 구현을 inform하는 것을 목표로, 학부 의료교육(UME) 초기 보건시스템과학(HSS)에 대한 의대생들의 태도와 인식을 탐색하였다. 이 연구는 미국과 국제적으로 진화하는 의료 제공 시스템에서 의사들을 훈련시키고, UME와 대학원 의학 교육(GME)에서 HSS에 대한 강조를 증가시키기 위한 권고안을 제공하기 위해 개발되었다. 이 운동movement는 인구와 공중 보건, 임상 정보학, 가치 기반 치료 및 팀워크의 새로운 과정 작업의 필요성을 인정했으며, 의대 학생들을 위한 진정한 시스템 기반 역할을 도입하는 데 있어 창의성을 자극했다. 의과대학은 응급의료기사 양성, 노숙인 쉼터 사회사업 활동 수행, 학생 운영 클리닉의 선도 및 참여, 환자 내비게이터 역할 수행 등 학생들을 위한 시스템 기반 활동을 시행하고 있다. 이러한 결과는 의료 서비스 제공의 변화하는 환경에 대한 인식을 구축하는 데 중요한 출발점을 제공합니다.
In this study, we explored medical students’ attitudes to and perceptions of health systems science (HSS) in the early years of undergraduate medical education (UME) with the goal of informing successful implementation of systems-based content and activities in medical school curricula. This study was developed in response to a need both in the USA and internationally to educate physicians so they are better equipped to practice medicine in an evolving health care delivery system, and to provide recommendations for an increased emphasis on HSS in UME and graduate medical education (GME).3, 5, 7, 8, 30 This movement recognises the need for new coursework in population and public health, clinical informatics, value-based care and teamwork, and has stimulated creativity in introducing authentic systems-based roles for medical students.31-35 Medical schools have implemented systems-based activities for students that include training as emergency medical technicians, performing social work activities at homeless shelters, leading and participating in student-run clinics, and acting as patient navigators.27, 36-38 These findings provide an important starting point for building awareness of the shifting landscape of health care delivery.


우리의 연구 결과는 [시스템 학습과 경험]을 [학생들의 진로 궤적에 맞추는 방법]을 결정하는 것이 중요한 과제임을 시사한다. 이 연구의 학생들은 건강 시스템에 대한 학습과 진정한 시스템 기반 역할 수행(예: 환자 항법)의 중요성을 깨닫고 있지만, 또한 [이러한 교육 의제를 허용하지 않는 경로에 갇혀 있다]고 느꼈다(그림 1). HSS를 의미 있는 방식으로 포함하려는 교육자들은 [양쪽의 제약]에 직면한다.

  • 학생들에 의해, 왜냐하면 이들은 스스로 무엇이 중요하고 무엇이 중요하지 않은지를 하기에
  • 현재의 교육 시스템에 의해, 왜냐하면 HSS를 포함한 다른 영역을 희생하면서 생물 의학 학습에 인센티브를 주기에

하나의 회피책은 HSS 학습을 커리큘럼 맵의 주변에 있거나 사이드 또는 일부 '나중에' 학습할 수 있는 내용으로 '기타' 범주로 격하시키는 것이다. 과거에는 이러한 접근 방식이 [인증 목적]에 충분했을 수 있지만, 임상 환경의 기대는 바뀌었고, 의료 기관은 [HSS와 팀 교육을 필수 의사 기술]로 점점 더 많이 간주하고 있다. 학생들과의 인터뷰에서 보았을 때, 학생들은 이러한 변화를 이해하고 그 의미를 이해할 수 있다. 이러한 변화에 부합하는 교육 개혁이 증가함에 따라, 학생들은 이러한 분야에서 추가적인 집중을 모색하고 있으며, 임상 진료 시스템이 이를 요구하고 있다. 그러나, 이러한 분야에서 현재 졸업생들의 지식과 기술에 대한 학생과 보건 시스템 리더들의 의견에서 알 수 있듯이, 변화는 더디게 진행되고 있다. 이 연구에서 학생들이 보고한 바와 같이, 우리는 시험, 임상실습 수행, 전공의 지원과 같이, 대체로 [HSS의 중요성을 무시하는 것들에 의해 학생들의 초점이 지배되는 교육 세계]에 갇혀 있는 것처럼 보인다.
Our study results suggest that a critical challenge is the need to determine how to align systems learning and experience with the career trajectory of students. Although the students in this study realise the importance of learning about health systems and performing authentic systems-based roles (such as patient navigation), they also felt locked into a pathway that did not allow for such an educational agenda (Fig. 1). Educators trying to include HSS in a meaningful way face constraints imposed

  • by both students themselves, as they decide what is and what is not important, and
  • by the current educational system, which incentivises biomedical learning at the expense of other areas, including HSS.

One work-around strategy would be to relegate HSS learning to the ‘other’ category, with content that is at the periphery of the curricular map or that can be learned on the side or at some ‘later’ date. Although this approach in the past may have been sufficient for the purposes of accreditation, the expectations of the clinical environment have changed, and health care organisations are increasingly regarding HSS and team education as essential physician skills.5, 39 From our interviews with students, they can appreciate this transformation and understand the implications. With increased educational reform that aligns with this transformation, students are seeking additional focus in these areas, and clinical care systems are requesting it. However, as evidenced by students’ and health systems leaders’ opinions regarding the knowledge and skills of current graduates in these areas, change has been slow.10, 30 As reported by the students in this study, we seem trapped in an education world where students’ focus is dominated by exams, clerkship performance and residency vetting, which largely ignore the importance of HSS.

왜 의료 시스템 분야에서 교육적 변화가 더 빠르고 의미 있게 일어나지 않고 있으며, 왜 학교는 변화에 '면역immune'하는 것처럼 보이는가? 변화에 대한 면역력에 대한 그들의 중요한 연구에서, Kegan과 Lahey는 왜 변화를 만드는 것이 어려운지 그리고 그것에 대해 무엇을 할 수 있는지 모두 이해하기 위한 개념적 틀을 개략적으로 설명한다. 그들은 [변화에 따른 어려움의 내면]을 드러내기 위해 설계된 [개인 또는 조직 'X-ray']를 제안한다.

  • 최선의 의도(예: HSS를 가르치겠다는 약속)는
  • 종종 이 목표를 뒷받침하지 않는 행동이나 비행동(대신 학생들이 성공적인 전공의 신청을 준비하거나 하지 않는 것)을 동반한다.
  • 이는 교직원 및 교육 리더십 우려(예: 학생들이 선호하는 레지던트 위치와 일치하지 않을 것이라는 우려)에 매핑되거나
  • 기저 가정(예: 레지던트 기준은 변경할 수 없거나 다른 역량 평가 기준이 USMLE만큼 중요하거나 정확하지 않음)에 매핑될 수 있다. 

Why isn't educational change happening more quickly and meaningfully in the area of health care systems, and why do schools appear ‘immune’ to change? In their seminal work on immunity to change, Kegan and Lahey outline a conceptual framework for understanding both why it is difficult to make changes and what can be done about it.40 They suggest a personal or organisational ‘X-ray’ designed to uncover the inner-workings of difficulties with change.

  • Best intentions (such as the commitment to teach HSS) are often accompanied by
  • actions or inactions that do not support this goal (things being done or not done instead, such as preparing students for successful residency applications),
  • which can be mapped to faculty staff and education leadership worries (such as fears that students will not be matched with their preferred residency positions) and
  • underlying assumptions (e.g. criteria for a residency cannot be changed or other criteria for assessing competence are not as important or accurate as the USMLE).

이러한 [기저 가정]은 종종 인정되지 않고 현상을 유지하는 강력한 힘으로 작용한다. 일단 그러한 가정이 확인되면, 가정을 테스트하는 전략을 구현하여 이전에 움직일 수 없었던 '객체'를 이동하기 시작할 수 있다. 우리의 결과의 맥락에서, 우리는 [의학교육의 핵심 사명]에 대한 [오너십과 통제를 재정립]할 필요성을 인식한다. 표준화된 시험은 지식을 측정할 수 있지만, 그것들은 [의과대학이 학생들을 위해 장려해야 하고 (그리고 그렇게 되기를 원하는) 전체적인 학습과 전문적 개발 결과]의 극히 일부만을 나타낸다. 많은 교육자들이 이것을 알고 있고, 우리의 결과는 학생들도 마찬가지라는 것을 시사한다. 표 1에서, 우리는 학생들이 확인한 도전 과제(즉, 경쟁 교육 의제)를 Kegan/Lahey X-ray에 적용했다. 이것이 구체적인 예를 나타내지만, 우리는 의학 교육자들이 이전에 바꿀 수 없다고 여겨졌던 것을 바꾸려고 하기 때문에 이 모델이 광범위한 적용 가능성을 가지고 있다고 느낀다. 그것은 우리가 미래의 의사들과 의료 시스템에 대한 우리의 목표를 달성하는 것을 방해할 수 있는 핵심 기본 가정을 식별하고 도전하기 위한 초점과 지침을 제공한다. 변화는 한참 전에 이뤄졌어야 한다. 우리는 Kegan/Lahey 프레임워크가 여러 설정에 적용될 수 있는 식별 가능한 시작점과 방향을 제공한다고 믿는다.

Such underlying assumptions are often not acknowledged and serve as powerful forces maintaining the status quo. Once such assumptions are identified, strategies to test the assumptions can be implemented to begin to move the previously immovable ‘object’. In the context of our results, we recognise the need to re-establish ownership and control of the core mission of medical education. Although standardised tests can measure a fund of knowledge, they represent only a small fraction of the overall learning and professional development outcomes that medical schools should be (and would like to be) promoting for their students. Many educators are aware of this, and our results suggest students are as well. In Table 1, we subjected the challenge identified by students (i.e. competing educational agendas) to the Kegan/Lahey X-ray. Although this represents a specific example, we feel that this model has the potential for broad applicability as medical educators seek to change what has previously been considered unchangeable. It provides a focus and a guide for identifying and challenging key underlying assumptions that may be preventing us from achieving our goals for future physicians and the health care system. The change is long overdue. We believe the Kegan/Lahey framework provides an identifiable starting point and direction that can be applied in multiple settings.

이 연구는 몇 가지 한계가 있다. 첫째, 우리 포커스 그룹에 참여한 학생들이 우리의 교육과정 설계에 기여해달라는 요청에 따라 자원봉사를 하여 선발편향의 가능성이 제기되었고, 우리 참가자들이 연수 후 매년 학생들의 무작위 표본추출이 아닐 가능성도 제기되었다. 그러나 인터뷰 가이드의 질문의 일반적인 성격과 모든 의과대학 수준에서 학생들을 표본으로 추출했다는 사실을 고려할 때, 우리는 이러한 결과가 신뢰성이 있으며 HSS에서 개혁에 참여하는 많은 학교에 적용 가능하다고 생각합니다. 또한, 우리의 단일 사이트 맥락은 다른 의과대학에 적용될 수 없어 이러한 연구 결과의 이전 가능성을 제한할 수 있다.
This study has several limitations. First, students who participated in our focus groups volunteered in response to a request to contribute to our curricular design, raising the possibility of selection bias, and the possibility that our participants may not be a random sampling of students within each year of training.41 However, given the general nature of the questions in our interview guide and the fact that we sampled students across all levels of medical school, we feel that these results have credibility and are applicable to many schools engaging in reform in the HSS. Additionally, our single-site context may not be able to be applied to other medical schools, thereby limiting the transferability of these findings.


결론적으로, 체계화되거나 정의된 시스템 기반 학습 커리큘럼을 경험하지 못한 학생들을 인터뷰했고, 그들은 기술 개발 및 환자의 관점에 대한 이해를 포함하여 몇 가지 인지된 이점을 확인했다. 학생들은 또한 기초과학 및 보드 시험에 집중해야 할 필요성, 현재 그러한 변화에 도움이 되지 않는 의료 문화, 그리고 시스템 교육이 직업 성공에 필수적이지 않다는 믿음과 관련된 장벽을 확인했다. 종합하면, 혜택과 장벽은 경쟁 우선순위에 따라 학생들이 인식하는 긴장감을 조성한다: [시험에서 좋은 성적]을 거두고, [선호하는 레지던트와 일치]하며, [이상적인 환자 중심 기술을 개발]하는 것이다. 이러한 긴장을 성공적으로 해결하고 작업하려면 기본 가정에 대한 신중한 테스트와 함께 교육 목표, 경쟁 약속 및 합리성에 대한 솔직한 탐구가 필요합니다.

In conclusion, we interviewed students who had not experienced an organised or defined systems-based learning curriculum, and they identified several perceived benefits, including skill development and understanding patients’ perspectives. Students also identified barriers related to the need to focus on basic sciences and board examinations, a culture in health care that is not currently conducive to such change, and the belief that systems education is not essential for career success. Taken together, the benefits and barriers set up a student-perceived tension based on competing priorities: to perform well in examinations and be matched with a preferred residency and to develop ideal patient-centred skills. Successfully addressing and working with this tension will require candid exploration of educational goals, competing commitments and rationales, along with careful testing of underlying assumptions.

 

 


Med Educ. 2016 May;50(5):523-31. doi: 10.1111/medu.12957.

Exploring challenges in implementing a health systems science curriculum: a qualitative analysis of student perceptions

Affiliations collapse

Affiliations

1Department of Medicine, Penn State College of Medicine, Hershey, Pennsylvania, USA.

2Office of Medical Education, Penn State College of Medicine, Hershey, Pennsylvania, USA.

PMID: 27072441

DOI: 10.1111/medu.12957

Abstract

Objectives: Although a critical component of educational reform involves the inclusion of knowledge of and skills in health systems science (HSS) (including population health, health system improvement and high-value care) many undergraduate medical education programmes focus primarily on traditional basic and clinical sciences. In this study, we investigated students' perceptions of the barriers to, challenges involved in and benefits of the implementation of a HSS curriculum.

Methods: In 2014, we conducted 12 focus groups with 50 medical students across all years of medical school. Group interviews were audio-recorded and transcribed verbatim. We used thematic analysis to explore students' perceptions of a planned HSS curriculum, which was to include both a classroom-based course and an experiential component. We then identified themes and challenges from the students' perspective and agreed upon results and quotations.

Results: Students identified four barrier-related themes, including (i) medical-board licensing examinations foster a view of basic science as 'core', (ii) systems concepts are important but not essential, (iii) students lack sufficient knowledge and skills to perform systems roles and (iv) the culture of medical education and clinical systems does not support systems education. Students also identified several perceived benefits of a systems curriculum, including acquisition of new knowledge and skills, enhanced understanding of patients' perspectives and improved learning through experiential roles. The major unifying challenge related to students' competing priorities; one to perform well in examinations and match into preferred residencies, and another to develop systems-based skills.

Conclusions: Students' intrinsic desire to be the best physician possible is at odds with board examinations and desired residency placements. As a result, HSS is viewed as peripheral and non-essential, greatly limiting student engagement. New perspectives are needed to effectively address this challenge.

보건의료시스템과학을 위한 새로운 교육자 역할: 미국 의과대학에 새로운 의사 역량이 가지는 함의(Acad Med, 2019)
New Educator Roles for Health Systems Science: Implications of New Physician Competencies for U.S. Medical School Faculty 
Jed D. Gonzalo, MD, MSc, Anna Chang, MD, and Daniel R. Wolpaw, MD

앨리슨의 의대 1학년 과정에는 기초과학, 임상과학, 인문과학, 그리고 새롭게 부상하는 보건시스템과학(HSS) 분야가 포함된다. 그녀는 온라인 모듈을 통해 기초 과학의 많은 부분을 배우고 있으며, 교수진들이 진행하는 소규모 그룹 동료 토론으로 보완되고 있다. 그녀의 해부학 "실험실" 경험은 가상 자원에 의해 강화된 의술에 초점을 맞추고 있다. 앨리슨은 보건 시스템 리더, 품질 개선 전문가, 보건 서비스 연구원, 지역사회 보건 종사자, 약사, 간호사 등 다양한 교사들과 점점 더 교류하고 있다. 강의실 학습을 보완하여, 앨리슨은 1차 진료 클리닉에 몰입하여 환자가 건강 시스템을 탐색하고 원하는 건강 결과를 얻을 수 있도록 돕습니다. 앨리슨을 직접 만나는 일은 적음에도, 의사는 의과대학에서 공식적으로 인정한 유일한 멘토입니다. 반대로, 앨리슨의 교육에 중요한 역할을 하지만, 전문직 간 팀원들은 교육자로서 그들의 역할을 공식적으로 인정받거나 지지받지 못한다.
Allison’s first-year medical school curriculum includes basic science, clinical science, humanities, and the emerging field of health systems science (HSS).1,2She is learning much of the basic science through online modules, supplemented by faculty-facilitated, small-group peer discussions. Her anatomy “lab” experience is focused on prosections enhanced by virtual resources.3Allison is increasingly interacting with a variety of teachers, including health system leaders, quality improvement experts, health services researchers, community health workers, pharmacists, and nurses.1,2,4Complementing her classroom learning, Allison is immersed in a primary care clinic where she works with a care coordinator and physician to help patients navigate the health system and achieve desired health outcomes.5,6Despite limited exposure to Allison, the physician is the one mentor formally acknowledged as such by the medical school. While critical to Allison’s education, the interprofessional team members are not formally recognized or supported in their roles as educators.

멀리서 보면 의대 학습환경은 해안에서 바라보는 연못과 다를 바 없다. 학생들이 교육자, 의사 및 과학자의 안내를 받아 우리(의학 교육자)가 제공하는 도구를 사용하여 학습을 탐색하는 겉으로 보기에 예측 가능한 지리. 그러나 연못을 자세히 들여다보면 완전히 새로운 세계가 나타난다. 학생들은 비의사nonphysician 및 니어피어 역할 모델로부터 배우는 것을 볼 수 있습니다. 즉, [전통적이고 공식적인 교수진]은 [복잡한 생태계와 변화하는 내러티브의 일부]일 뿐이었고, 우리는 비공식적이고 숨겨진 교육 세계를 보게 된다.
From a distance, the medical school learning environment is not unlike a pond viewed from the shore—a seemingly predictable geography where students navigate learning with the tools we (medical educators) provide them, guided by educators, physicians, and scientists. On closer inspection of the pond, however, a whole new world appears. We see students learning from nonphysician and near-peer role models—that is, we see an informal and hidden curricular world in which our traditional, formal faculty are only a part of a complex ecosystem and changing narrative.7,8

이게 무슨 일이야? Flexner가 상상한 것처럼 의사와 과학자가 포착한 지식과 기술의 연구된 진행에 무슨 일이 일어났는가? 강의실과 실험실에서 사체를 해부하고 동물과 그램 염색 표본을 대상으로 생리 실험을 하는 긴 시간은 어디에 있는가? 그리고 지금 우리 학생들을 가르치고 있는 이 사람들은 누구일까요? 의료 교육이 규제되지 않고 정보가 없는 견습의 혼란에서 구조되었지만, 그저 자격이 불분명한 개인들에 의해 감독된 일터 학습으로 돌아가게 된 것일까?
What is going on here? What happened to the studied progression of knowledge and skills captained by physicians and scientists as envisioned by Flexner? Where are the long hours in lecture halls and laboratories, dissecting cadavers and conducting physiology experiments on animals and gram-staining specimens?9 And who are these individuals now teaching our students? Was medical education rescued from the chaos of unregulated and uninformed apprenticeships only to have us return to workplace learning supervised by individuals whose qualifications are unclear?10

배경
Background

의료는 환자 치료 및 경험 향상, 인구 건강 개선, 비용 절감, 의사 복지 향상이라는 네 가지 목표에 점점 더 초점을 맞추는 방향으로 변화하고 있다. 이러한 목표는 의사가 진화하는 시스템에서 기능하고 건강을 개선하기 위해 [의료 시스템]을 바꾸는 데 참여할 수 있도록 더 잘 준비하기 위한 의학교육의 재구축을 촉진하고 있다. 시스템을 사용할 수 있는 의사를 더 잘 준비하기 위한 이 임무는 대부분 HSS 교육에 의미 있는 초점을 맞추어야 한다. 의대생 교육과정의 이 "제3의 기둥"은 기초 및 임상 과학과 통합되며 가치 기반 진료, 품질 향상, 건강의 사회적 결정 요인, 인구 건강, 정보학 및 시스템 사고에 관련된 지식과 기술을 포함한다.

  • 학부 의학 교육(UME)에서, 수많은 미국 의과대학들이 이러한 분야를 다루기 위해 그들의 커리큘럼을 종합적으로 재구성하기 시작했다.
  • 대학원 의학 교육(GME)에서 대학원 의학 교육 인증 협의회의 시스템 기반 실습 및 실습 기반 학습 및 개선 역량에 대한 집중도가 높아지고 지속적인 임상 학습 환경 검토가 이러한 전환을 반영하고 있다.
  • 지속적인 의료 교육(CME)에서는 의료 제공자와 학부가 기대하는 역량의 변화에 대한 인식이 있으며, 이들 중 많은 부분이 HSS와 관련이 있다.

Health care is transforming to increasingly focus on the quadruple aim of improving patient care and experience, improving population health, reducing costs, and improving physician well-being.11 These aims are catalyzing a restructuring of medical education to better prepare physicians to function in evolving systems and engage in changing systems of care to improve health.12,13 This mission to better prepare systems-ready physicians requires, in large part, a meaningful focus on HSS education. This “third pillar” of the medical student curriculum integrates with the basic and clinical sciences and includes knowledge and skills related to value-based care, quality improvement, social determinants of health, population health, informatics, and systems thinking.2,4,14 

  • In undergraduate medical education (UME), numerous U.S. medical schools have begun comprehensively restructuring their curricula to address these areas.
  • In graduate medical education (GME), the increased focus on the Accreditation Council for Graduate Medical Education’s systems-based practice and practice-based learning and improvement competencies and ongoing Clinical Learning Environment Reviews are reflective of this transition.15–18 
  • In continuing medical education (CME), there is an awareness of the shifting competencies expected of health care providers and academic faculty, many of which relate to HSS.19–21 

이 운동 내에서, 우리는 다른 HSS 개념, 질 향상, 전문직 간 팀워크 또는 고부가가치 관리에 대한 학생 및 전공의의 학습과 참여를 촉진할 수 있는 [잘 훈련된 시스템-준비systems-ready 인력]이 충분하지 않다는 것이 점점 더 분명해지고 있다. 동시에 주권 의사에서 "협업적으로 효과적인 시스템 의사"로 이동하는 직업의 정체성에 대한 지속적인 변화가 있다. 이러한 전문적 정체성의 변화는 교육 및 임상 실무 커뮤니티의 모든 사람들에 의해 의미 있게 입증될 필요가 있다. 본 관점에서는 HSS와 관련된 커리큘럼을 확장하고 있는 두 개의 미국 의과대학에서의 경험을 바탕으로 의료전문가가 기대하는 역량 확대의 영향을 설명하고, 이러한 분야의 교육자의 필요성을 탐색하며, 의료교육에 대한 주요 시사점을 제공한다.
Within this movement, it is increasingly apparent that we do not have a sufficient number of trained systems-ready faculty to facilitate student and resident learning of and participation in, among other HSS concepts, quality improvement, interprofessional teamwork, or high-value care.19,20,22–24 At the same time, there is a continued shift in the identity of the profession that is moving away from sovereign physicians toward “collaboratively effective systems physician[s].”25 This shift in professional identity needs to be meaningfully demonstrated by everyone in the educational and clinical communities of practice.4,19–21,25–28 On the basis of our experiences at two U.S. medical schools that are expanding their curricula related to HSS, in this Perspective, we describe the impact of the expanding competencies expected of health care professionals, explore the need for educators in these areas, and offer key implications for medical education.

우리의 경험
Our Experience

2013년부터 Penn State College of Medicine(PSCOM)과 University of California, San Francisco, University of California, School of Medicine(UCSF SOM)은 의학 학생, 거주자, 교수진, 전문 의료 시스템 전문가 및 리더를 포함한 시스템 준비 의사들의 교육을 가속화하기 위해 여러 커리큘럼 변혁을 시작했습니다. 연속체에 걸친 HSS 교육의 통합을 통해. 두 학교 모두 의대 1학년 학생들을 위한 새로운 강의실 기반 커리큘럼과 의료 시스템의 환자 탐색기 및 품질 개선 파트너 역할을 포함하여 임상 환경에서 경험적 학습 기회를 설계하고 구현했다.

  • PSCOM에서는 150명의 의대 1학년 학생 모두가 HSS 과정에 등록하고, 임상 실습 사이트나 프로그램에 몰입하여 전문 제공자와 협력하고, 환자와 협력하여 진료 장벽을 식별하고 솔루션을 구현함으로써, 임상 사이트의 작업을 확장한다.
  • UCSF SOM에서는 모든 1학년 의대생 150명이 2년에 걸쳐 장기간에 걸쳐 전문 간 임상 마이크로 시스템의 구성원으로서 가을부터 시작하여 환자 치료 프로세스 또는 결과를 개선하기 위해 품질, 안전 또는 가치의 차이를 정의하고 해결하는 데 주당 반나절을 소비합니다.

Starting in 2013, Penn State College of Medicine (PSCOM) and the University of California, San Francisco, School of Medicine (UCSF SOM) initiated several broad curricular transformations to accelerate training of systems-ready physicians, including medical students, residents, faculty, and interprofessional health system professionals and leaders, through the integration of HSS education across the continuum.1,2,5,29 Both schools designed and implemented new classroom-based curricula and experiential learning opportunities within clinical settings, including serving as patient navigators and quality improvement partners in health systems, for first-year medical students.5,30 

  • At PSCOM, all 150 first-year medical students are enrolled in an HSS course, are immersed in a clinical practice site or program to work with interprofessional providers, and extend the work of the clinical site by working with patients to identify barriers to care and implement solutions.31,32 
  • At UCSF SOM, all 150 first-year medical students begin each fall embraced as members of interprofessional clinical microsystems that they work in longitudinally over two years and spend one half-day per week defining and addressing a gap in quality, safety, or value to improve patient care processes or outcomes.

결과적으로, 두 프로그램 모두 이러한 [새로운 역량과 전문적 교육]으로 인해 [교육자 특성과 기술이 변화하는 현실]을 살아가고 있다. 이는 교육자로서 새로운 역할을 수용하기 위한 전문가 및 리더의 역할을 포용하고 강의실과 임상 환경 모두에서 현재의 교육자(즉, 전공의와 교수진)가 HSS 역량과 다양한 건강 분야를 가르치기 위해 자신의 기술을 확장하도록 요구함으로써 이뤄진다.
As a result, both programs live the realities of shifting educator characteristics and skills because of these new competencies and interprofessional education, by requiring, in both classroom and clinical settings, current-day educators (i.e., residents and faculty) to expand their own skills to teach HSS competencies and a diverse array of health care professionals and leaders to embrace new roles as educators.

교수교육자의 정의 확대
Expanding the Definition of Faculty Educator

교육 및 전문적 정체성 형성에서 보다 협력적이고 시스템 기반의 돌봄 모델로 전환하려면 UME, GME 및 CME를 포함한 교육 연속체의 모든 수준에서, 커리큘럼을 설계하고 구현하고 새로운 역량을 롤모델링하기 위하여 [자격을 갖춘 교육자의 식별 및 개발]이 필요하다. 이러한 새롭고 진화하는 역할은 강의실 강사부터 커리큘럼 개발자와 평가자, 임상 감독자 및 연구 멘토에 이르기까지 다양한 영역을 운영합니다. 표 1은 의료 교육자의 몇 가지 범주를 나열하고 있으며, 각 범주별로 PSCOM 및 UCSF SOM의 선구적 프로그램 내에서 새롭고 발전하는 교육자 역할 및 직책의 유형을 보여 줍니다. 
The shift to a more collaborative, systems-based model of care and aligned goals in education and professional identity formation require the identification and development of qualified educators to design and implement curricula and role model new competencies at all levels of the education continuum, including UME, GME, and CME.14,19,20,25,33,34 These new and evolving roles run the spectrum from classroom instructors, to curricular developers and evaluators, to clinical supervisors and research mentors. Table 1 lists several categories of medical educators and for each category gives examples of the types of new and evolving educator roles and positions within our pioneering programs at PSCOM and UCSF SOM.35 

우리의 프로그램에서, 우리는 많은 학생들이 현재 HSS 지식과 기술에서 전통적인 교수진을 앞서고 있다는 것을 발견했다. 마찬가지로, 대부분의 의과대학과 학술 보건 센터(AHC)는 현재 다음과 같은 문제에 직면해 있다. 의학 교육이 새로운 패러다임을 수용함에 따라, 모델 역할과 학습자를 교육하는 [현재의 전문직 종사자들은 이러한 새로운 패러다임을 교육받지 못했다]. 또한 전체적으로 임상 학습 환경은 현재 HSS와 팀워크의 매우 가변적인 풍경을 보여줘 교육 결과를 더욱 훼손한다. 이것은 교실에서 임상으로 이어지는 성공적인 문화 변화를 보장하기 위해 우리가 해결해야 할 과제이다. 
In our own programs, we have found that many students are now ahead of the traditional faculty in HSS knowledge and skills. Similarly, most medical schools and academic health centers (AHCs) now face a conundrum: As medical education embraces a new paradigm, current professionals who role model and educate learners were not educated in this new paradigm.14,36 In addition, the clinical learning environment as a whole currently demonstrates a highly variable landscape of HSS and teamwork, further compromising educational outcomes.36,37 This is the challenge we need to address to ensure a successful culture change that reaches from classroom to bedside.

분명히, 우리는 현재 교수진에서 HSS 역량을 개발하고 지원할 필요가 있다. 그러나 이러한 역량의 본질은 우리가 학습자들에게서 찾고 있는 협력적인 직업 정체성의 본질과 함께, 우리가 또한 오늘날 교육자들의 잘 해진 영역 밖에서 역할 모델을 찾을 필요가 있다. 의과대학에서 교육자들은 전통적으로 "내부 전문가intraprofessional"(예: 의학박사, 의학박사, 박사과정의 과학자)였다. 간호나 사회사업과 같은 [다른 보건분야]의 학위를 가진 직원 및 교수진(즉, 위에서 언급한 전문직 내 그룹과 관련된 "외부 전문가extraprofessional")은 전통적으로 핵심 교육자로 식별되지 않았다. 

Clearly, we need to develop and support HSS competencies in our current faculty. But the substance of these competencies, along with the nature of the collaborative professional identity that we are looking for in our learners, mandates that we also need to look for role models outside of the well-worn lane of current-day educators. In medical schools, educators have traditionally been “intraprofessional” (e.g., MDs, DOs, and PhD scientists in preclinical curricula).38 Staff and faculty with degrees in other health professions, such as nursing or social work (i.e., “extraprofessional” in relation to the intraprofessional group mentioned above), have not been traditionally identified as core educators.38 

그러나, 새롭게 부상하는 HSS 역량 영역을 고려할 때, [크게 확장된 전문가 코호트]를 핵심 교육자로 포함하는 것이 중요하다. 다음을 포함한다.

  • 환자 치료에 영향을 미치는 건강 및 기타 요인에 대한 사회적 결정 요인을 다루는 진료 조정자 및 사회복지사 
  • 의료 서비스 제공을 개선하기 위해 일선 임상의와 협력하는 품질 및 의료 시스템 개선 전문가 팀 
  • 의료 혁신 및 가치의 핵심 문제를 적극적으로 해결하는 시스템 리더십

확실히, 전통적인 의사 멘토링은 여전히 남아 있고, 앞으로도 의대 학생 교육에 매우 중요할 것이다. 그럼에도 불구하고, 우리는 그것이 더 이상 충분하지 않다고 주장한다. 이제 학생들이 의료 제공에 대한 관점을 확장하고, 팀워크 기술과 HSS 역량을 진정으로 적용하고, 협업적이고 시스템을 생각하는 의사로서 전문적인 정체성을 개발할 수 있도록 돕기 위해 전문 임상의가 필요하다. 
However, considering the emerging HSS competency areas, it is important to include a significantly broadened cohort of professionals—including

  • care coordinators and social workers who address social determinants of health and other factors that impact patient care,
  • teams of experts in quality and health system improvement who collaborate with frontline clinicians to improve care delivery, and
  • system leadership who actively address key issues in health care transformation and value

—as core educators.14,36,39 Certainly, traditional physician mentoring remains, and will continue to be, critical to medical student education. Nonetheless, we argue that it is no longer enough. Interprofessional clinicians are now needed to help students expand their perspective of health care delivery, authentically apply teamwork skills and HSS competencies, and develop professional identities as collaborative, systems-thinking physicians.25,40,41

이러한 변화가 학부의 정의에 미치는 영향은 매우 크다. [교수진faculty]이라는 용어는 [교사와 학자의 공동체]를 의미하며 개인의 직업적 역할과 책임에 근본적인 학문적 요소가 있음을 나타낸다. 원하는 교육 결과가 전통적인 생물의학 교실과 의사 중심 임상 현장에서만 달성될 수 있다면 익숙한 MD, DO 및 PhD 교육자만으로도 충분할 수 있습니다. 그러나 우리는 우리의 의료 교육 프로그램에 더 광범위한 전문직 간 교육자를 포함시키는 방향으로 문화 및 과정 변화의 시작을 보고, 광범위한 전문직 간 교육자 집단을 촉진자 또는 지도자로 포함하도록 학습 환경을 재정비합니다. 우리는 의학 교육자들이 우리가 [어떻게 교수진을 정의]하고, [이 새로운 교수진 동료들을 교육자와 개발 프로그램 커뮤니티에 환영할지]를 재고할 필요가 있다고 믿는다. 우리 학생들이 하는 것처럼, 우리는 그들에게서 배울 것이 많다.
The impact of these shifts on the definition of academic faculty is significant. The term faculty implies a community of teachers and scholars and signifies that there is a fundamental academic component to a person’s professional roles and responsibilities.42 If desired educational outcomes could be accomplished only in traditional biomedical classrooms and physician-centric clinical sites, the familiar MD, DO, and PhD educators might suffice. But we see the beginnings of a cultural and process shift toward the inclusion of a broader range of interprofessional educators in our medical education programs, prompting a reenvisioning of learning environments to include a broad interprofessional cohort of educators as facilitators or leaders. We believe that medical educators need to reconsider how we define faculty and welcome these new faculty colleagues into our community of educators and development programs. Just as our students do, we have much to learn from them.

변화를 주도해야 할 필요성
The Need to Lead Change

100년 전, [플렉스너 보고서]는 의학 교육과 실습을 위한 [엄격한 과학적 기반]을 확립하는, 지속적인 과정을 강조했습니다. 이러한 직업의 개편은 대학원 과정으로부터 자격을 갖춘 교수진의 공급을 늘리고, 레지던트 훈련 프로그램을 확대해야 했다. 이 교수를 양성하기 위한 광범위한 노력은 놀랍도록 광범위하고 강력한 교육 시스템을 발전시키는 결과를 낳았다. 이제, "두 번째 플렉스너 보고서"에 이어, 우리의 의료 시스템의 결함과 그에 따른 [임상 운영의 가속화된 진화]에 대한 통찰과 함께, 우리는 오늘날 의학 교육이 비슷한 [교수 진화faculty evolution]의 시기에 있다고 믿는다. HSS의 등장은 교육과정상의 과제일 뿐만 아니라 교수진의 과제이기도 하다. 의료 교육 프로그램은 새로운 커리큘럼을 만들기 위해 노력하는 동시에, 이러한 [교육적 변혁]을 달성하고 유지하는 데 필요한 [HSS 콘텐츠]와 [관련 교육 교육학] 모두에 숙련된 교육자 그룹을 교육하고 훈련시키기 위해 고군분투하고 있다. 그리고 성공적인 혁신이 위험에 처한 유일한 결과가 아니라는 것을 주목해야 합니다. AHC와 의대 교수진은 다른 시스템이 직업의 미래를 형성하기를 기다리기보다는 이러한 변화를 주도하고 주도할 수 있는 기회의 창을 가지고 있다. 과거에는 의료계가 변화 앞에 나서지 못했다. 우리는 현재 AHC와 의학교육이 직면한 변화의 물결을 형성하고 이끌고 지원할 수 있는 기회의 창을 가지고 있다고 믿는다.
One hundred years ago, the Flexner Report10 highlighted the ongoing process of establishing a rigorous scientific foundation for medical education and practice. This reshaping of the profession required an increasing supply of qualified faculty from graduate programs and expanding residency training programs. Widespread efforts to nurture this professoriate resulted in the development of a remarkably broad and robust educational system. Now, on the heels of a “second Flexner report,”43 along with insights into the failings of our systems of care and the resulting accelerated evolution of clinical operations, we believe that today medical education is in a similar period of faculty evolution.43–45 The emergence of HSS is not only a curricular challenge but also a faculty challenge.36 Medical education programs are working to create new curricula while at the same time struggling to educate and train a group of educators skilled in both HSS content and the associated educational pedagogies needed to achieve and sustain this educational transformation. And it is important to note that successful transformation is not the only outcome at risk. AHCs and medical school faculty have a window of opportunity to lead and drive this change, rather than wait for other systems to shape the future of the profession. At times in the past, the medical profession has failed to get out in front of change. We believe that we currently have a window of opportunity to shape, lead, and support the wave of change facing AHCs and medical education.

의학 교육에 미치는 영향
Implications for Medical Education

시사 1: 우리가 필요로 하는 "새로운" 교육자들은 이미 여기에 있고, 우리의 임상 환경에서 함께 일하고 있습니다.
Implication 1: The “new” educators we need are already here, working among us in our clinical environments

우리의 경험으로 볼 때, [컨텐츠 전문가와 교육자들]은 이미 우리의 건강 시스템 내에 존재하고 의대 학생들이 새로운 HSS 기술을 배우는 것을 도울 수 있는 경험과 전문 지식을 가지고 있다. 현재 교수진을 양성하는 것 외에도 AHC와 지역사회에서 교육자로 일하는 전문성을 갖춘 동료들을 포함시켜야 한다. 예를 들어, 우리의 프로그램은 간호사, 간호사 실무자, 의사 보조자, 진료 관리자, 환자 항법사, 사회복지사 및 보건 시스템 리더(표 1)와 같은 전문 간 의료 제공자의 참여를 초대하고 있다. 이러한 초대는 다음과 같은 새롭고 진화하는 의료 교육자 역할을 포함한 많은 사례를 낳았다. 예를 들면,

  • 간호 구급 의료 책임자가 "건강 및 인구 건강 개선의 사회적 결정 요인"이라는 제목의 워크숍을 리드하고,
  • 품질 개선 책임자는 학생들과 함께 건강 시스템 개선 프로젝트를 설계하고 시행하기 위해 함께 일하는 것이다.

In our experience, content experts and educators do exist within our health systems and have the experience and expertise to help medical students learn emerging HSS skills.2,20,46 In addition to developing current faculty, we need to include colleagues with expertise who work in our AHCs and our communities as educators. For example, our programs are inviting the participation of interprofessional health care providers, such as nurses, nurse practitioners, physician assistants, care managers, patient navigators, social workers, and health system leaders (Table 1). These invitations have resulted in many examples, including the following, of new and evolving medical educator roles:

  • the director of nursing ambulatory care leading a workshop entitled “Social Determinants of Health and Population Health Improvement” and
  • the quality improvement chief working side-by-side with students to design and implement health system improvement projects.

이 사람들은 우리의 AHC와 제휴 의료 시스템에 고용되어 있으며 광범위한 시스템 역할에 종사하고 있습니다. 그러나 최근까지 그들은 의대생과 전공의들을 위한 교사로서 공식적으로 참여하도록 요청받지 못했다. 하지만 기반이 바뀌었다. 우리의 의료 환경은 변화했고, 그래서 우리의 교육 과정과 목표도 변화하고 있다. 또한, 현재 전공의와 개업 의사들은 품질 향상에 참여해야 한다. 따라서 전공의을 학습자 겸 교사로 간주하기 때문에 UME와 GME의 조정이 필요한 시점이다. 이러한 과제를 해결하기 위해 노력함에 따라, 교수진, 전공의 및 전문직 동료들이 교육 프로그램에서 중요한 연결고리로 떠오르고 있습니다. 오늘날, 우리의 학습자들은 이 모든 그룹의 참여 없이는 핵심 역량을 달성할 수 없다.

These individuals are employed by our AHCs and affiliated health systems and serve in a broad range of system roles. However, up until recently, they had not been formally asked to participate as teachers for medical students and residents. But the ground has shifted—our health care landscape has changed, so our educational processes and goals are also changing. In addition, residents and practicing physicians are now required to participate in quality improvement.47,48 Thus, the time is right for the alignment of UME and GME as we consider residents as both learners and teachers. As we seek to address these challenges, faculty, residents, and interprofessional colleagues are emerging as critical linchpins in our educational programs. Today, our learners cannot achieve core competencies without the participation of all of these groups.

시사 2: 현재 교육자와 "신규" 교육자의 노력을 위한 새롭고 더 포괄적인 커리큘럼 발판을 만들면서 교육 기술을 개발하는 데 도움을 줄 수 있습니다.
Implication 2: We can help to develop the educational skills of both current and “new” educators as we create a new and more inclusive curricular scaffold for their efforts

의대 학생들에게 오늘날 의료 분야에서 전문직 간 협업의 살아있는 현실을 제공하려면 교수 기술과 콘텐츠 전문지식이 모두 필요합니다. 우리는 새로운 교육자들과 협력하여 [건전한 의료 교육 원칙과 과학]을 교육 전략에 통합해야 합니다. [정보만 가득 담긴 슬라이드 세트와 강의에 안주하고 임상 환경에서 역할 모델링의 중요성을 무시하는 것]을 선택하는 것은 안된다. 우리는 커리큘럼 개발 과제에 핵심 교수진을 공식적으로 참여시키고 HSS 관련 개념과 기술에 대해 학습자를 평가할 수 있는 기술을 임상 교수진에 제공해야 한다. 그러나 이러한 일을 하는 것은 바쁘고 이전에 의과대학 내에서 필수적인 교수 역할을 준비하거나 봉사하도록 요청받지 않았을 수 있는 전문 교육자와 관리자, 간호 리더십, 임상 및 품질 직원에게 영향을 미칠 수 있다. 의학교육연락위원회는 의과대학이 "의과학생을 지도·감독·평가하는 모든 사람이 그 책임을 충분히 감당할 수 있도록" 보장하고, 의과대학은 [교직원의 교수 및 평가 능력을 향상시킬 수 있는 자원을 제공]할 것을 요구한다. 
To give medical students the lived reality of interprofessional collaboration in health care today requires both teaching skills and content expertise. We need to collaborate with our new educators to incorporate sound medical education principles and learning science into their educational strategies. Settling for data-heavy slide sets and lectures and neglecting the importance of role modeling in clinical settings are not options. We need to formally engage key faculty in curriculum development challenges and provide clinical faculty with the skills to assess learners on HSS-related concepts and skills.14,36 However, doing these things will likely have implications for interprofessional educators and administrators, nursing leadership, and clinical and quality staff who are busy and may not have been called on before to prepare for, or serve in, integral teaching roles within medical schools. The Liaison Committee on Medical Education requires that medical schools ensure that “all persons who teach, supervise, and/or assess medical students are adequately prepared for those responsibilities” and that they provide resources to enhance faculty’s teaching and assessment skills.49 

전체적으로, 이것은 [의과대학과 보건 시스템이 새로운 교육자들을 위한 훈련 경험]을 개발하고, 그 훈련을 그들의 [전문직업 정체성의 의미 있는 부분]으로 만들기 위해 함께 협력할 것을 요구할 것이다. 일선 교육자들을 참여시키기 위한 노력(교실 및 임상 환경 모두에서)은 다음과 같은 새로운 전문적 개발 프로그램을 필요로 할 것이다. 

  • 이스트 캐롤라이나 대학교 브로디 의과대학의 질 높은 아카데미 교사들 
  • 질 향상과 환자 안전을 위한 UCSF 인증 프로그램 티칭, 
  • PSCOM의 Health Systems Science Academy. 

추가 모델이 빠르게 등장하고 있으며, 교육과 실무에서 의료가 추구하는 야심차고 광범위한 결과를 달성하기 위해 [의대 프로그램, 전문적 개발 기회, 지속적인 품질 개선 과정] 등을 재구성할 것이다.

Altogether, this will require medical schools and health systems to work together to both develop training experiences for new educators and make that training a meaningful part of their professional identities. Efforts to engage frontline educators (both in classroom and clinical settings) will likely require new professional development programs, such as

  • the Teachers for Quality Academy at the Brody School of Medicine at East Carolina University,
  • the Teach for UCSF Certificate Program in quality improvement and patient safety, and
  • the PSCOM Health Systems Science Academy.20,33 

Additional models are rapidly emerging and will likely involve the restructuring of medical school programs, professional development opportunities, and continuous quality improvement processes to achieve the ambitious and broad-based outcomes that health care is seeking in education and practice.

시사 3: 우리는 새로운 교육자를 의미 있게 인정하고 보상할 수 있습니다.
Implication 3: We can meaningfully acknowledge and reward our new educators

교육자 코호트가 확장되고 다양화됨에 따라 AHC는 잠재적으로 [보상과 공식적인 교수 지위]를 포함하여 [기여 교수진의 노력을 지원하는 방법]을 고려해야 한다. [재정 상환]과 [보호 시간]은 부분적으로 각 교수진이 AHC 내에서 자신의 역할을 어떻게 보는지, 그리고 그를 학문적 교수진으로 상호 평가하는지 여부에 달려 있다. 많은 의과대학은 [교수 지표(예: 교육 가치 단위)] 또는 [자금 지원을 받는 교수 코칭 역할]에 대한 일부 변형을 통해 전임 의사 및 과학자 교수진에 대한 이러한 보상 및 인정 과제를 해결했다. [미국 의료 전문 위원회ABMS]와 [UCSF SOM]의 협력은 [전문 사회 이사회의 목표인 질 향상과 관련된 의학생 교육에 종사하는 의사 및 보건 전문가에게 MoC 또는 CME 학점을 부여하려는 새로운 노력의 한 예입니다.여러 전문 분야의 인증. 교수 노력을 인정하는 다른 방법으로는 지역사회 의사를 위한 자원 봉사 교수 소속 자격 지정, 임상 팀원의 감독자가 포함된 "감사합니다" 편지, 축하 점심 또는 상이 포함될 수 있습니다. 확실히, 많은 학교들은 학습자들을 그들의 실습에 환영하는 지역 사회 의사들을 인정하는 도전을 해왔다. 
As the educator cohort expands and diversifies, AHCs must consider how to support efforts of contributing faculty, which potentially includes compensation and formal faculty status. Financial reimbursement and protected time depend on, in part, how each faculty member views his/her role within the AHC and whether he/she is reciprocally viewed as academic faculty. Many medical schools have addressed this compensation and acknowledgment challenge for full-time physician and scientist faculty through some variation on teaching metrics (e.g., educational value units) or funded faculty coaching roles.50 A collaboration between the American Board of Medical Specialties and UCSF SOM is one example of emerging efforts to award maintenance of certification or continuing education unit credits for physicians and health professionals who engage in medical student education related to quality improvement, which is an aim for professional society board recertification in multiple specialties. Other ways to acknowledge teaching efforts may include designation of volunteer faculty affiliation status for community physicians, “thank you” letters that include the clinical team members’ supervisors, and celebratory lunches or awards. Certainly, many schools have taken on the challenge of recognizing community physicians who welcome learners into their practices.41 

그러나 전통적인 의사 및 과학자 중심의 프레임워크는 학생들의 전문성 발달에 점점 더 핵심적인 기여자인 다양한 전문직 간 교육자 그룹(예: 케어 코디네이터, 간호사 관리자)을 인정하고 참여하며 유지할 필요성을 적절하게 해결하지 못한다. 일화적으로, 많은 건강 관리 팀원들은 의대생들과 함께 일하면서 얻는 엄청난 감정적 보상을 묘사한다. 여기에는 직업 만족도가 크게 증가하고, 미래의 의사를 그들의 일상 업무의 일부로 가르칠 수 있는 기회를 갖는 것에 대한 의미와 직업적 정체성이 새롭게 느껴진다. 또한 일부 품질 개선 전문가들은 열정적이고 열정적인 의대생들이 주로 환자 치료 책임에 초점을 맞춘 바쁜 임상의에게 의존하는 개선 노력에 생명을 불어넣고 있다고 설명한다. 의사 교육자들과 마찬가지로, 전문 교육자들은 바쁘기에, 이 임무에 전념하는 그들의 직무 역할에 [충분한 시간이 주어지지 않고서는 중요한 교육 업무를 맡도록 요청받을 수 없다]. 이를 위해서는 이런 것이 필요할 것이다.

  • 지역사회 사이트와의 협업 계획,
  • 교육 지표에 대한 재고,
  • 비의사에 대한 시간 할당에 대한 우리의 관점의 확장 

However, a traditional physician- and scientist-centric framework does not adequately address the need to acknowledge, engage, and sustain a diverse group of interprofessional educators (e.g., care coordinators, nurse managers) who are increasingly key contributors to students’ professional development. Anecdotally, many health care team members describe the tremendous emotional rewards of working with medical students, including a significant increase in job satisfaction and a renewed sense of meaning and professional identity in having the opportunity to teach future physicians as a part of their daily work. Also, some quality improvement experts describe energetic and enthusiastic medical students infusing life into improvement efforts that would otherwise rely on busy clinicians focused primarily on patient care responsibilities. Akin to physician educators, interprofessional educators are busy and cannot be asked to take on significant educational tasks without being provided sufficient time in their job role dedicated to this mission. This will require

  • collaborative planning with community sites,
  • rethinking of educational metrics, and
  • an expansion of our view of time allocation for nonphysicians.

이런 상황에서, 의료 시스템 리더의 추가적인 metrics of interest에 [전문직 간 교육자]의 inclusion을 높였을 때의 긍정적인 영향을 중심으로 일화적인 보고서가 나오기 시작하고 있다. 예를 들면 (위에서 언급했듯이)

  • 학생들이 [바쁜 팀에 의해 제쳐진 질 향상 작업]을 활성화한다.
  • 미래의 의사를 가르치는 역할을 하게 되는 것이 의료 보조자들의 일상 업무에 새로운 의미를 더합니다.  

의과대학 핵심 교육과정에 대한 시야를 HSS까지 넓히고, 교수진에 대한 시야를 해당 분야에 전문성을 갖춘 모든 사람으로 넓히면서, 우리는 이러한 새로운 동료들에게 투자하고, 인정하고, 보상할 준비가 되어 있어야 한다.
That said, anecdotal reports are beginning to emerge around the positive impact of the increasing inclusion of interprofessional educators on additional metrics of interest to health system leaders, including (as mentioned above)

  • students reinvigorating quality improvement work that had been set aside by a busy team and
  • the emerging role of being a teacher of future physicians adding new meaning to the daily work of medical assistants.

As medical education broadens its view of the core medical school curriculum to include HSS and expands its view of faculty to include all of those with expertise in those areas, we need to be prepared to invest in, recognize, and reward these new colleagues.

교수진 재정립의 잠재적 영향
Potential Impacts of Redefining the Professoriate


우리는 미국 의과대학에서 교육자들의 역할을 재구성하는 것의 몇 가지 긍정적인 결과를 상상한다. 첫째, [HSS 역량을 갖춘 신규 교육자]는 차세대 의사 리더를 양성하여 시스템 혁신을 주도할 준비를 할 수 있다. 이러한 미래의 리더들과 변화 요원들은 이상적으로 아래와 같은 의과대학 프로그램에서 나타날 것이다.

  • [협력적이고 시스템 지향적인 사고방식] 및 [전문적 정체성 형성]을 지원한다. 
  • [고품질 환자 및 인구 관리]에 중요한 의미 있는 학습을 촉진한다. 
  • 학생들을 현재의 [시스템 리더십에 노출]시켜, [다른 관점에서 의료 서비스를 관찰]하고, [학술 프로젝트에 참여]할 수 있는 기회를 제공한다. 

미래의 리더이자 변화 주체로서 초기 마인드셋과 전문적 정체성을 확립하는 것은 학습자가 이러한 역할을 깨닫고 의료 혁신의 성공에 영향을 미칠 수 있는 기회를 제공한다.
We envision several positive outcomes of reframing educators’ roles in U.S. medical schools. First, new educators with HSS competencies allow for the cultivation of the next generation of physician leaders so that they are prepared to lead system transformation. These future leaders and change agents will ideally emerge from medical school programs that

  • support a collaborative, systems-oriented mind-set and professional identity formation;
  • promote meaningful learning that is critical to high-quality patient and population care; and
  • expose students to current system leadership, providing them with opportunities to observe health care from a different perspective and participate in scholarly projects.

Establishing an early mind-set and professional identity as a future leader and change agent allows learners the opportunity to realize these roles and influence the success of health care transformation.

[의료 교육 및 관련된 교육적 관계]의 변화는 또한 AHC의 임상 및 교육 임무를 더 잘 조정할 수 있다. 강의실 및 임상 환경에서 새로운 교육자 역할과 기술은 AHC에서 경계 범위 역할을 할 수 있으며 환자 건강을 개선하는 데 도움이 될 수 있다. 예를 들어, 최근의 연구는 [임상학습환경 책임자, 질개선 부학장, 질개선 책임자]와 같은 교육 프로그램과 보건 시스템을 연결하는 [새로운 GME 역할]을 기술했다. UME 수준에서 HSS를 포함하는 3축 교육 모델로 패러다임 전환은 HSS 교육 노력을 이끌 새로운 역할을 개발할 수 있는 유사한 기회를 창출했다(예: 보건 시스템 교육 부학장). UME와 GME 모두에서, 이러한 새로운 교육 프로그램과 역할은 대부분의 AHC의 임무와 직접적으로 일치하며, 임상 및 교육 임무의 연계에서 시너지를 촉진하는 데 도움이 될 수 있다. 
These shifts in medical education and associated educational relationships can also better align the clinical and education missions of AHCs. New educator roles and skills in classroom and clinical settings can serve a boundary-spanning role in AHCs and help to improve patient health. For example, recent work has described new GME roles that bridge educational programs and health systems, such as director of the clinical learning environment, associate dean for quality improvement, and quality improvement chief resident.37,51 At the UME level, the paradigm shift toward a three-pillar education model that includes HSS has created similar opportunities to develop new roles to lead HSS education efforts (e.g., associate dean for health systems education).4 In both UME and GME, these new education programs and roles are directly aligned with the mission of most AHCs and can help catalyze synergies at the nexus of the clinical and education missions.52

마지막으로, 최고 수준에서, 전체 보건 시스템의 전문 지식을 사용하여 교육의 공유 정신 모델을 가진 의대 프로그램은 학습 조직이 되기 위한 여정을 용이하게 하는 데 도움이 될 수 있다. 
Finally, at the highest level, a medical school program with a shared mental model of education, using expertise from the entire health system, can help facilitate the journey toward becoming a learning organization.24,53

결론들
Conclusions

의과대학은 시스템을 갖춘 의사를 교육하기 위해 혁신하고 있으며, [AHC 내부와 AHC를 둘러싼 교사와 교육자의 정의]에 대한 근본적인 개정이 필요하다. 새로운 역량에 기초하여 우리 학생들을 가르치는 사람을 재정의하는 이 과정은 의학 교육과 보건 시스템 변화의 성공에 매우 중요할 것이다. 또한 직장과 교육의 전문성을 강조하기 위한 투자가 필요하며, 새로운 개인 그룹은 가치 있는 교수진으로서 지원되고 검증되어야 할 것이다. 의과대학과 보건 시스템의 관점에서 [보건 의료의 변혁적 변화]는 [교육과정]과 [진화하는 의료 시스템을 지원하고 일할 제공자의 전문적 개발]의 [상호적인 변화]를 강제하고 있다. 이 새로운 풍경 속에는 환자와 인구를 돌보는 데 중요한 놀라운 범위의 관점과 전문 지식을 가진 사람들이 있다. 이제 우리는 그들을 교직원으로 맞이할 때이다.
Medical schools are innovating to educate systems-ready physicians, requiring a fundamental reenvisioning of the definition of teachers and educators in and around AHCs. This process of redefining who teaches our students on the basis of emerging competencies will be critical to the success of medical education and health system transformation. It will also require an investment to highlight a combination of expertise in the workplace and education, and a new group of individuals will need to be supported and validated as valued faculty members. From the medical school and health system perspectives, transformational changes in health care are mandating reciprocal changes in the curriculum and professional development of the providers who will support and work in these evolving systems of care. Within this new landscape is a group of individuals with a remarkable range of perspectives and expertise critical to the care of patients and populations. It is time for us to welcome them as faculty.

 


 

Acad Med. 2019 Apr;94(4):501-506. doi: 10.1097/ACM.0000000000002552.

New Educator Roles for Health Systems Science: Implications of New Physician Competencies for U.S. Medical School Faculty

Affiliations collapse

Affiliation

1J.D. Gonzalo is associate professor of medicine and public health sciences and associate dean for health systems education, Penn State College of Medicine, Hershey, Pennsylvania; ORCID: http://orcid.org/0000-0003-1253-2963. A. Chang is professor of medicine, Gold-Headed Cane Endowed Education Chair in Internal Medicine, University of California, San Francisco, School of Medicine, San Francisco, California. D.R. Wolpaw is professor of medicine and humanities, Penn State College of Medicine, Hershey, Pennsylvania; ORCID: http://orcid.org/0000-0002-7567-2034.

PMID: 30520810

DOI: 10.1097/ACM.0000000000002552

Abstract

To address gaps in U.S. health care outcomes, medical education is evolving to incorporate new competencies, as well as to align with care delivery transformation and prepare systems-ready providers. These new health systems science (HSS) competencies-including value-based care, quality improvement, social determinants of health, population health, informatics, and systems thinking-require formal education and role modeling in both classroom and clinical settings. This is challenging because few faculty had formal training in how to practice or teach these concepts. Thus, these new competencies require both expanding current educators' skills and a new cohort of educators, especially interprofessional clinicians. Additionally, because interprofessional teams are the foundation of many clinical learning environments, medical schools are developing innovative experiential activities that include interprofessional clinicians as teachers. This combination of a relative "expertise vacuum" within the current cohort of medical educators and expanding need for workplace learning opportunities requires a reimagining of medical school teachers. Based on experiences implementing HSS curricula at two U.S. medical schools (Penn State College of Medicine and University of California, San Francisco, School of Medicine, starting in 2013), this Perspective explores the need for new educator competencies and the implications for medical education, including the need to identify and integrate "new" educators into the education mission, develop faculty educators' knowledge and skills in HSS, and acknowledge and reward new and emerging educators. These efforts have the potential to better align the clinical and education missions of academic health centers and cultivate the next generation of physician leaders.

+ Recent posts