Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

두 명의 선의의 정원사.
Two well-intentioned gardeners.

개인 특성으로서의 정체성
Identity as individual trait

[전문직 정체성]에 대한 한 가지 견해는 그것을 [개인의 특성]으로 보는 것이다. 정체성은 훈련생 [내부에 위치한 것]으로 보이며, 훈련생은 [식별 가능한 행동]으로 정체성을 표현할 수 있다. [여러분이 누구인지는 여러분 안의 '진실']이며, [교육자가 직면한 도전은 정체성을 채굴하거나 발굴하는 것]입니다. [타인의 내면세계]에 [직접적으로 접근하는 것]은 근본적으로 불가능하기 때문에, 개인의 [공적 수행(다른 사람들이 관찰할 수 있는 부분)]은 그들의 내면적 정체성을 나타내는 것으로 [간주]된다. 즉, [전문적 정체성이 발달한 사람]은 [전문적으로 보이는 행동을 한다]는 것이다. 전문적 정체성은 [시간을 엄수]하고, [특정한 방식으로 말]하고, [특정한 태도를 투영]하는 것과 같은 ["행동 목록"으로 환원]되며, 이는 ['개발된' 정체성의 존재를 "지시indicative"하는 것]으로 간주된다:

• 한편으로 정체성은 사람이 말하고 행동하는 것을 넘어서는 것으로 보여지지만,
• 다른 한편으로 사람이 말하고 행동하는 것은 이 정체성의 표현으로 보여진다. 

One view of professional identity is to see it as an individual trait. Identity is seen as located inside the trainee and that can express itself in identifiable behavior. Who you are is a ‘truth’ inside you and our challenge as educators is to mine or excavate it. Since it is fundamentally impossible to directly access another’s inner world, an individual’s public performance (the part of them that others can observe) is seen as a representation of their inner identity. Someone who has a developed professional identity acts out the behavior that is seen as professional. Professional identity is reduced to a “list of behaviors”, such as being punctual, speaking in a certain way, and projecting a certain attitude, which are taken to be “indicative” of the presence of a ‘developed’ identity:

• on the one hand, identity is seen as something beyond what a person says and does,
• but on the other hand, what a person says and does is seen as an expression of this identity.

"행동은 […] 전문직 정체성의 유무를 나타내며, 결과적으로 대리인으로 사용될 수 있다[16]." 즉, [농작물의 상태]는 [생김새]에 따라 평가되는데, 이는 [얼마나 영양가가 높은지]를 나타내는 표시로 받아들여진다.

“Behaviors are […] indicative of the presence or absence of a professional identity and consequently can be used as surrogates [16].” In other words, the state of the crops is assessed by how they look, and this is taken as a sign of how nutritious they are.

행동으로서의 정체성
Identity as behavior

이 본질주의적인 문제를 다루는 한 가지 방법은 [정체성을 일련의 행동으로 환원하는 것]이다. 이러한 [행동주의적 접근법]에서, [행동]은 [당신이 누구인지에 대한 표현]이 아니라(개개의 특성이 아니다), [당신이 누구인지]는 [당신이 어떻게 행동하는지에 불과]하다. 예를 들어, 성찰의 경우, 행동에 지나치게 집중하는 것은 '성찰 좀비("실제로 반성하지 않고 반성의 모든 외부적 특성을 보여주는 사람들[17].")'로 이어질 수 있다. [성찰 좀비]는 행동이 요구되는 자질에 맞는다고 판단하는 평가 기준의 관점에서 [실제로 성찰하는 학생]과 [구별할 수 없다]. [바람직하고 '좋은' 성찰(보통 측정 가능한 행동으로 표현,되며, 정의되고, 조작화된다)]에 초점을 맞추면 학생들은 [실제로 배우거나 성찰하지 않고], [해당 행동만 보여줄 수] 있다. One way in which this essentialist problem is dealt with, is to reduce identity to a set of behaviors. In this behaviorist approach, behavior is not an expression of who you are (not an individual trait), but who you are is nothing but how you behave. For instance, in the case of reflection an overfocus on behavior can lead to ‘reflective zombies’: “someone who displays all the outer traits of reflection, without having actually reflected [17].” A reflective zombie is indistinguishable from a student that actually reflects from the perspective of assessment criteria that determine behavior fits the required quality. A focus on desired, ‘good’ reflection (which is represented, defined and operationalised in measurable behaviors) will lead students to show only that behavior, possibly without actually learning or reflecting.

만약 우리가 [행동]을 [내적 자질의 표현]으로 보고, 이러한 [내적 자질]을 [행동]으로 환원한다면, 우리는 학생들에게 [특정한 행동]을 요구한다. 이것은 [시스템 게임game the system]으로 학생을 초대한다. "평가되는 바로 그 순간에만 행동을 바꾸는 것"이다. 전문직업성도 마찬가지이다. 전문직업성을 계량화하는 것은 '전공의 과정의 또 다른 장애물'로 만든다. 공감도 마찬가지이다. 학생들이 그 당시에 실제로 느끼지 못하는 행동을 묘사해야 할 때 '공감적 불협화음'을 경험한다. 시스템 게임은 엔프레이밍Enframing의 완벽한 예이다: [시스템 게임]은 [학생들의 나쁜 의도의 결과]가 아니라, [행동에 초점을 둠]으로써 [행동이 원래 대표해야 하는 것]보다 [기대되는 행동 그 자체의 모방]에 집중하는 것이 더 보람을 느끼게 하기 때문이다. 간단히 말해서, [표현]이 중요한 상황이라면, [표준에 맞춰서 행동하는 것]이 더 합리적입니다. 그러나, 그것은 단지 행동[17]을 모방하고, 내적 동기[19]를 약화시키고, 학생들로 하여금 압박감과 단절감을 느끼게 할 수 있다[21].

If we see behavior as a representation of inner qualities, and then reduce these inner qualities to behavior, we require a certain behavior of students. This invites students to game the system, meaning “changing behavior the moment it is assessed” [18]. This is also the case for professionalism, where quantifying professionalism make it into “just another hurdle to residency” [19], or empathy where students experience “empathic dissonance” [20] when they are required to portray behavior they do not actually feel at that time. Gaming the system is a perfect illustration of enframing: it is not a result of students’ bad intentions, but due to the focus on behavior making it more rewarding to focus on emulating the behavior that is expected rather than what it is supposed to represent. In short, it simply makes more sense to perform according to the standards, because the representation is all that matters. However, it can lead to just emulating the behavior [17], sapping internal motivation [19] and making students feel pressured and disconnected [21].

[행동주의적 접근]은, [정체성]을 [행동을 통해 표현되는 애초의 본질]로 취급하지 않고, 오히려 [행동을 정체성과 동일시]하는 방식으로 [접근성access의 문제]를 해결하는 것으로 보인다. 그러나 전문적 정체성 형성과 관련된 내적 경험의 관련성을 부정하는 것은 [메뉴]를 [음식]으로 착각하는 것이고, 이는 다른 문제로 이어지는데, 이는 [정체성이 단지 퍼포먼스로 간주된다는 것]이다.
The behaviorist approach appears to solve the problem of access because it does not treat identity as a pre-existing essence that is expressed through behavior, but rather equates the behavior with identity. But denying the relevance of an inner experience related to professional identity formation mistakes the menu for the food and leads to the next problem, which is that identity is seen as just a performance.

사회화 과정으로서의 정체성
Identity as a socialization process

정체성은 또한 [사회화의 과정]으로 볼 수 있다: 당신이 누구인지는 당신이 공동체에서 어떻게 위치하는가이다. [전문직 정체성 형성]은 [내적 자질에 관한 것]이 아니라, [직업 문화에 사회화되는 과정]이다. 이것은 학생들이 미래의 직업 문화가 ['바람직한 실천']이라고 생각하는 방식으로 행동하는 것을 배운다는 것을 의미한다. 사회화를 위한 널리 받아들여지는 모델은 [실천공동체 모델]로, 특정 분야의 초보자들은 [합법적인 주변부 참여]에서 "주로 사회적 상호작용을 통한 [완전한 참여]"로 이동한다. 많은 경우, [전문직 정체성 형성]은 [개인의 정체성을 형성한 정도]가 정확히 [언제 지역사회의 규범과 지침에서 벗어나야 하는지 판단할 수 있는 정도]인 [해방적emancipatory 과정]으로 간주된다. 이것의 주요 측면은 정체성이 아니라 [순응conformance]인 것처럼 보인다. 이러한 관점에서 정체성은 [내적 특질]이나 [객관적인 행동의 집합]으로 보지 않고, 오히려 [사회적 역할]로 본다. 여기서 정체성은 [배우가 연극에서 역할을 수행한다]는 의미에서 [공연performance]이 된다. 연극에 따라, 정체성은 바뀔 수 있고, 의상과 관습의 변화 이상의 것을 요구하지 않는다.

Identity can also be seen as a process of socialization: who you are is how you are positioned in the community. Professional identity formation is then not about an inner quality, but a process of socializing into the professional culture. This means that students learn to act in the way that their future professional culture considers ‘good practice’. A widely accepted model for socialization is the Communities of Practice model, in which novices to a field move from legitimate peripheral participation to “full participation, primarily through social interaction [21, 22].” In many cases, professional identity formation is seen as an emancipatory process in which the degree to which one has formed an individual identity is precisely the degree to which one can judge when to divert from the norms and guidelines of the community. The main aspect of this does not seem to be identity, but conformance. In this perspective, identity is not seen as an inner quality or an objectifiable set of behavior, but rather as a social role. Here, identity becomes a performance in the sense that an actor performs a role in theatre. Depending on the play, identity can change and requires little more than a change of costume and custom.

훈련생이 현 상황status quo에 적응할 수 있을까요? 그들은 우리가 가지고 있는 의사의 이미지로 자신을 표현할 수 있을까요? 연습생이 그 분야의 지배적인 규범과 문화에 맞게 말하는 방식을 형성할 수 있는가? 실천공동체 모델에서, [적응하고 순응해야 할 필요성]이 [진정성에 대한 감각]을 완전히 대체하는 것처럼 보인다: 당신이 당신의 [역할을 진정으로 수행하는지 아닌지]는 중요하지 않다. 직업 정체성에 대한 이러한 관점은 학생들이 [그들만의 방식으로 발전하도록 허용한다]는 생각과 상충되며, 학생들이 [진정한 학생이 될 수 없도록] 할 수도 있다[23, 24]. 일부 연구자들[25]은 심지어 이것이 [소수 민족 학생들]이 [임상실습에서 낮은 점수를 받는 이유]라고 제안했다. (이 관점에서) 소수집단 학생들은 실천 공동체의 기존 규범에 맞지 않기 때문이다. 교육과정의 탈식민지화[26]와 의학교육에서 '백인'[12]이 어떻게 표준이 되었는지에 대한 질문에 대한 현재의 논쟁은, [공동체가 정한 기준]이 결코 중립적이지 않다는 것을 고통스럽게 보여준다. 이런 의미에서 [전문직 정체성 형성]은 단순히 [사회화]에 관한 것이 아니라, ['전문적 주체화'와 '진정성']에 관한 것이다. 
Can a trainee adapt to the status quo? Can they present themselves as the image we have of a doctor? Can the trainee shape their way of talking and being to fit the dominant norms and culture of the field? In the Communities of Practice model, the need to adapt and conform seems to supersede any sense of authenticity: it does not matter if you act out your role authentically or not. This view of professional identity clashes with the idea of letting students develop in their own way, and might disallow students to be authentic [23, 24]. Some researchers [25] have even suggested that this is why students with an ethnic minority get lower grades in their clinical clerkships: they do not fit the existing norm of the community of practice. Current debates about decolonizing the curriculum [26] and questioning how ‘whiteness’ [12] has been the norm in medical education painfully illustrates that the standard that the community sets is never neutral. In this sense, professional identity formation is not just about socialization, but just as much about “professional subjectification” [23] and “authenticity” [7].

근본적인 문제: 표현주의
The underlying issue: representationalism

이 세 가지 이론적 방향을 [각각의 결점]이 있는 분야를 수정하는 서로 다른 방법으로 보고, 모든 장점과 단점을 포함하지 않는 [네 번째 이론]인 더 나은 비료를 마련할 필요가 있다고 결론내리는 것은 유혹적이다. 그러나 그 문제는 더 근본적인, 즉 철학적인 것이다. 이 모든 경우에, 정체성은 [표현의 렌즈]를 통해 보여진다:

• [내부 세계의 표현]으로서의 퍼포먼스,
• [이상적인 행동 세트의 표현]으로서의 퍼포먼스
• [공동체 기준의 표현]으로서의 퍼포먼스

It is tempting to see these three theoretical orientations as different ways of fertilizing the field that each have their flaws, and to conclude that we need to come up with a better fertilizer, a fourth theory that includes all the benefits and none of the shortcomings. But the issue is more fundamental, that is, philosophical. In all these cases, identity is seen through the lens of representation:

• performance
  • as representation of an inner world,
  • as representation of an ideal set of behaviors, or
  • as representation of the community standard.

각각의 이론적 접근은 정체성의 다른 측면을 희생시키면서 특정 측면을 강조한다. 그러나, 그렇게 함으로써, 그것은 또한 [그 유형의 현상]으로 정체성을 환원시킨다 [27]. [이론]은 [우리가 세상을 보는 렌즈]입니다. [심리적 상태]로서의 정체성, [행동의 집합]으로서의 정체성, [사회적 역할]로서의 정체성. 문제는 '~로서의as'를 '~이다is'라고 말할 때 생긴다. 예를 들면, '정체성은 심리적 상태이다(다른 것은 아무것도 아니다)'라고 말하는 것이다. 이것이 문제가 되는 이유는, [정체성이 심리적, 행동적, 사회적 과정으로 환원]된다면, [그러한 유형의 연구가 정체성에 대해 알아야 할 모든 것을 '그림 속'에 가질 수 있다는 착각]만들기 때문이다. 이것은 우리가 [전문직 정체성 형성에 대한 이론]이 [무엇을 하는지] 생각할 때 문자 그대로가 된다: 그것들은 모델, [즉 '정체성이 어떻게 작동하는지'에 대한 그림], 을 제시한다.
Each theoretical approach emphasizes certain aspects of identity at the expense of others. However, in doing so it also reduces identity to that type of phenomenon [27]. A theory is a lens through which we can look at the world: identity as psychological state, as set of behaviors, as social role. The problem arises when as becomes is: when we say, identity is a psychological state (and nothing else) [28]. This is problematic because if identity is reduced to a psychological, behavioral or social process, the illusion arises that this type of research can have everything there is to know about identity ‘in the picture’. This becomes literal when we think of what theories on professional identity formation do: they present models, i.e., pictures of ‘how identity works’.

이러한 [환원주의적 접근]과는 대조적으로, 우리는 [전문직 정체성 형성]이 ['전문직이 된다는 것은 어떤 것인가'라는 현상학적 경험과 관련이 있다]고 반박한다. 그래서 정체성과 관련된 ['내면의 경험']이 있다. 하지만 [누군가가 전문직인지 아닌지]는 [단지 개인의 선택이나 경험이 아니다]. 왜냐하면 그들은 [숙련된 실무자들의 공동체 안]에서 전문가이기 때문이다. [전문직 정체성 형성]은 이 과정에 관한 아주 좋은 이름이다. 그러나, 여러분(연수생)이 의사가 되는 것과 관련하여, 우리(의료 교육 전문가)는 스스로에게 다음과 같이 물어봐야 합니다:
In contrast with this reductionist approach, we counter that professional identity formation has to do with the phenomenological experience of ‘what it is like’ to be a professional. So, there is an ‘inner experience’ that is relevant to identity. But whether someone is a professional or not is not just an individual choice or experience, because they are a professional in a community of skilled practitioners. Professional identity formation is a great name for this process. However, in relation to becoming the doctor that you (the trainee) are, we (the medical education professional) should ask ourselves:

• 우리(의학교육전문가)가 의사로서 [당신의 진짜 정체]를 알 수 있을까요?
  
• 우리(의학교육전문가)가 여러분에게 [어떻게 여러분이 될 수 있는지]에 대한 모델이나 길을 보여줄 수 있을까요?
  
• [지금의 당신이 되는 과정]에서 우리(의학교육전문가)가 당신을 지원할 수 있을까요?
• – Can we ever claim to know who you really are, as a (trainee) doctor?
• – Can we show you a model or a pathway for how to become who you are?
• – Can we support you in the process of becoming who you are?

Agree-disagree (AD) or Likert questions (e.g., "I am extremely satisfied: strongly agree … strongly disagree") are among the most frequently used response formats to measure attitudes and opinions in the social and medical sciences. This review and research synthesis focuses on the measurement properties and potential limitations of AD questions. The research leads us to advocate for an alternative questioning strategy in which items are written to directly ask about their underlying response dimensions using response categories tailored to match the response dimension, which we refer to as item-specific (IS) (e.g., "How satisfied are you: not at all … extremely"). In this review we: 1) synthesize past research comparing data quality for AD and IS questions; 2) present conceptual models of and review research supporting respondents' cognitive processing of AD and IS questions; and 3) provide an overview of question characteristics that frequently differ between AD and IS questions and may affect respondents' cognitive processing and data quality. Although experimental studies directly comparing AD and IS questions yield some mixed results, more studies find IS questions are associated with desirable data quality outcomes (e.g., validity and reliability) and AD questions are associated with undesirable outcomes (e.g., acquiescence, response effects, etc.). Based on available research, models of cognitive processing, and a review of question characteristics, we recommended IS questions over AD questions for most purposes. For researchers considering the use of previously administered AD questions and instruments, issues surrounding the challenges of translating questions from AD to IS response formats are discussed.

응답자의 동기를 이해하기 위해서는 먼저 [설문 응답의 심리]를 살펴보는 것이 도움이 된다. 설문 조사를 수행하는 인지 작업을 설명하는 데 사용되는 고전적인 프레임워크는 Tourangeau와 동료들의 응답 프로세스 모델이다(그림 참조).  그것은 응답자들이 설문조사를 할 때 4가지 인지 과정을 거치는 것을 제안한다.

• 첫째, 설문 항목을 이해하고 페이지에 있는 [단어의 의미를 해석]해야 한다(자체 조사에서).
• 다음으로, 그들은 장기 기억에서 항목에 대응하는 데 필요한 [관련 정보를 검색]해야 한다. 이 정보에는 과거 활동에 대한 구체적인 날짜나 주제에 대한 태도나 의견이 포함될 수 있습니다. 일반적으로 메모리에서 검색해야 합니다.
• 다음으로, 의견제출자들은 그 [정보를 판단에 통합하고, 경우에 따라서는 추정]할 필요가 있다. 예를 들어, 한 응답자는 작년에 얼마나 자주 헌혈을 했는지 보고할 것을 요청했고, 따라서 얼마나 자주 헌혈을 하는지에 따라 그 숫자를 추정할 필요가 있다. 만약 헌혈이 분기별로 실시된다면, 응답자는 작년에 헌혈한 횟수로 "4"를 추정할 수 있다.
• 마지막으로, 응답자들이 답변을 염두에 둔 후에는 [해당 답변을 설문조사에 보고하고 제공된 옵션에 따라 답변을 조정]해야 합니다. 위의 예에서 헌혈 빈도에 대한 응답 옵션이 "가끔" 또는 "자주"로 제시된 경우, 응답자는 자신의 대답 "4"를 가장 적절한 응답 범주로 변환해야 한다.

To understand respondent motivation, it is helpful to first examine the psychology of survey response. A classic framework used to describe the cognitive work of taking a survey is Tourangeau and colleagues' response process model (see Figure).3  It proposes that respondents move through 4 cognitive processes when taking a survey.

• First, they need to comprehend the survey item and interpret the meaning of the words on the page (in a self-administered survey).
• Next, they need to retrieve from their long-term memory the relevant information needed to respond to the item. That information could include specific dates for activities in the past, or an attitude or opinion about a topic. Generally, something must be retrieved from memory.
• Next, respondents need to integrate that information into a judgment and, in some cases, make an estimation. For example, a respondent asked to report how often they gave blood last year might not remember all instances and therefore would need to estimate the number based on how often blood drives are held. If blood drives are conducted quarterly, then the respondent might estimate “4” as the number of times they gave blood last year.
• Finally, once respondents have an answer in mind, they must report that answer on the survey and adapt their response based on the options provided. In the example above, if the response options for the frequency of blood donations are presented as “sometimes” or “often,” then a respondent would need to convert their answer “4” into what they believe is the most appropriate response category.

It is important to note that respondents may jump around, and even skip steps, while working through the 4 cognitive processes. For instance, a person asked to report how often they saw a physician last year might begin retrieving that information from memory but wonder if going to the physical therapist should be counted. They might then jump back to the comprehension step and reread the question to look for clues. The respondent might then jump forward to the response step to look for other clues about what a reasonable number of physician visits might be, based on the response options provided. In this way, the survey response process is nonlinear; respondents hop around and use contextual clues provided by the survey to help navigate and respond to individual survey questions.

이 네 가지 인지 단계에 대한 또 다른 중요한 점은, 과정 중에 어떤 지점에서 [마주치는 어려움이 오류를 발생]시킬 수 있다는 것이다. 예를 들어, 응답자들은 혼란스러운 문구나 전형적인 시각적 배치 때문에 질문을 오해하거나, 관련 정보를 잊어버려서 검색할 수 없거나, 정보에 입각한 답변을 하는 데 필요한 정보가 없기 때문에 정확한 판단을 할 수 없을 수 있다. 각 예제에서 [응답 오류]가 발생할 수 있으며 제공된 답변은 [부정밀하고, 부정확하며 조사 연구자가 해석하기 어려울 가능성]이 더 높습니다. 게다가, 응답자들은 설문 조사를 통해 일하는 동안 [인지적 지름길]을 취할 수 있고 종종 그렇게 한다. 즉, 응답자는 응답 프로세스(이해, 검색, 판단 및 추정 또는 보고)의 모든 단계에서 설문 응답 프로세스를 최적화할 수 없습니다. 대신에, 응답자들은 [정신적 에너지와 만족감을 보존하는 것]을 선택할지도 모른다.
Another important point about these 4 cognitive steps is that difficulties encountered at any point along the process can produce errors. For example, respondents might misunderstand a question because of confusing wording or atypical visual layout, not be able to retrieve the relevant information because they have forgotten it, or not be able make an accurate judgment because they do not have the necessary information to give an informed answer. In each example, response errors may occur, and the answers provided are more likely to be imprecise, inaccurate, and difficult for survey researchers to interpret. Furthermore, respondents can and often do take cognitive shortcuts while working through a survey. That is, at any step in the response process—comprehension, retrieval, judgment and estimation, or reporting—respondents may not optimize the survey response process. Instead, they may choose to conserve their mental energy and satisfice.4 

응답자의 동기부여에 대한 우려는 설문조사 설계 문헌에 오랫동안 설명되어 왔다. 20여 년 전, 크로스닉는 "단 하나의 질문에도 최적의 답을 생성하기 위해서는 많은 인지 작업이 필요하다"고 언급했다 이와 같이, 양질의 답변은 에너지를 소비하고 설문 조사 응답 프로세스를 최적화하도록 동기를 부여하는 응답자에게서 나오는 경향이 있다. 응답자들은 자기 표현에 대한 욕구, 지적 도전, 도움이 되고 싶은 욕구를 포함한 많은 요소들에 의해 동기 부여를 받는다. GME에서 주민들은 의무감과 전문성에서 설문에 참여하려는 동기부여를 받는다고 보고한다.  반면에, 개인적인 경험과 수십 년에 걸친 경험적 연구는 응답자들이 종종 설문 질문에 고품질의 답변을 제공할 동기가 없음을 말해준다. 크로스닉은 이 흔한 상황을 satisficing이라고 지칭한다.
Concerns about respondent motivation have long been described in the survey design literature. More than 2 decades ago, Krosnick4  noted that “a great deal of cognitive work is required to generate an optimal answer to even a single question.” As such, high-quality answers tend to come from respondents who are motivated to expend that energy and optimize the survey response process. Respondents are motivated by numerous factors, including their desire for self-expression, intellectual challenge, and a desire to be helpful. In GME, residents report being motivated to participate in surveys out of a sense of duty and professionalism.5  On the other hand, personal experience and decades of empirical research tell us that respondents are often unmotivated to provide high-quality answers to survey questions. Krosnick calls this common situation satisficing.4 

Satisficing은 응답자들이 "기준을 타협하여, 에너지를 덜 소비하려고 하는 정도"이다.  즉, 응답자들은 [최적의 답변을 도출하기 위해 필요한 노력을 기울이기]보다는, 예를 들어 질문의 의미에 대해 [덜 생각]하고, 기억을 [덜 철저하게 검색]하고, 검색된 정보를 [부주의하게 통합]하고, 또는 응답을 [부정확하게 선택함]으로써 "적당히 좋은" 답변을 제공한다. 따라서, 가장 정확하고 최고의 답변(즉, 프로세스 최적화)을 생성하기 위해 응답 프로세스의 네 가지 인지 단계를 신중하게 수행하는 대신, 만족하는 응답자는 정신 에너지를 보존하고 만족스러운 답변만 제공하는 것에 만족한다. 경험적 증거는 제한적이지만, 우리는 GME 훈련생들의 고유한 시간과 맥락 제약을 고려할 때 Satisficing이 특히 널리 퍼질 수 있다고 의심한다.
Satisficing is the degree to which respondents “compromise their standards and expend less energy.”4  That is, rather than devote the necessary effort to generate optimal answers, respondents often give “good enough” answers by, for example, being less thoughtful about a question's meaning, searching their memory less thoroughly, integrating retrieved information carelessly, and/or selecting a response imprecisely. Thus, instead of carefully working their way through the 4 cognitive steps of the response process to generate the best, most precise answers (ie, optimizing the process), respondents who satisfice conserve their mental energy and settle for giving just satisfactory answers.4  Although empirical evidence is limited,5  we suspect that satisficing may be particularly prevalent for GME trainees given their unique time and context constraints.

실제로 Satisficing을 하면, 낮은 품질의 설문 조사 데이터로 이어지는 [여러 가지 응답 행동]이 발생합니다. 여기에는 다음이 포함됩니다 

• (1) 서둘러 설문 조사를 통과하는 것; 
  
• (2) 제일 처음 나오는 그럴듯한 답변을 선택합니다; 
  
• (3) 평가에 제시된 모든 진술에 동의한다; 
  
• (4) 동일한 옵션을 직선(일명 직선)으로 반복적으로 선택합니다; 
  
• (5) 질문에 대해 실제로 생각하지 않고 "모름" 또는 "해당 없음"을 선택합니다 
  
• (6) 설문 조사의 항목 또는 전체 섹션을 건너뜁니다.

Satisficing 는 중서부의 한 대규모 학술 의료 센터에서 설문 조사 행동에 대한 질문을 받은 주민의 말을 인용함으로써 전형적으로 나타난다: "대부분의 경우… 저는 정말로 기여할 것이 없고 단지 그것을 극복하고 싶기 때문에 중간을 끝까지 클릭할 것입니다."  이 진술이 시사하는 바와 같이, [응답 프로세스를 최적화하지 않는 응답자의 답변]은 suboptimal하며, 신뢰하기 어렵고, 의도한 용도에 타당할 가능성이 낮은 품질의 데이터를 초래한다.
In practice, satisficing results in a number of response behaviors that lead to low-quality survey data: these include

• (1) rushing through a survey;
• (2) selecting the first reasonable answer;
• (3) agreeing with all statements presented on the survey;
• (4) selecting the same options repeatedly, in a straight line (so-called straightlining);
• (5) selecting “don't know” or “not applicable” without actually thinking about the question being asked; and
• (6) skipping items or entire sections of a survey.2  

Satisficing is epitomized by this quote from a resident at a large Midwestern academic medical center who was asked about their survey behaviors: “A lot of the time… I'll just click the middle all the way through, because I have nothing really to contribute and I just want to get through it.”5  As this statement implies, answers from respondents who are not optimizing the response process are suboptimal and result in poor-quality data that are unlikely to be trustworthy, credible, or valid for their intended use.

만족스러운 결과로 발생하는 문제에 비추어 볼 때, GME 교육자와 연구자는 현상을 이해하고 데이터 품질에 대한 해를 완화하는 솔루션을 구현하기 위해 노력하는 것이 중요하다. 크로스닉은 [Satisficing 을 촉진하는 세 가지 조건]을 설명했다: 

• (1) [과제]가 어려운 경우
  
• (2) [응답자의 능력] 또는 교육 수준이 낮은 경우
  
• (3) 응답에 대한 참가자의 [동기 부여]가 낮은 경우

대부분의 경우 [응답자의 능력과 교육 수준이 고정]되어 있습니다. 다행히도, GME 연구원들은 종종 고등학생들보다 [교육을 잘 받았기 때문]에 Satisficing할 가능성이 낮은 고능력 참가자들을 조사하고 있다. [과제의 난이도]와 [응답자의 동기 부여]에 관해서는, 조사 설계자는 사려 깊은 설계와 구현 관행을 통해 이러한 요인에 영향을 미칠 수 있으며 Satisficing을 상당히 완화시킬 수 있다.
In light of the problems that result from satisficing, it is important for GME educators and researchers to understand the phenomenon and work to implement solutions that mitigate harms to data quality. Krosnick4  described 3 conditions that promote satisficing:

• (1) greater task difficulty;
• (2) lower respondent ability or education level; and
• (3) lower participant motivation to respond.

In most cases, respondent ability and education level are fixed. Fortunately, GME researchers often are surveying high-ability participants who are well educated and thus less likely to satisfice than, for example, a high school student. As for task difficulty and respondent motivation, survey designers can influence these factors—and appreciably mitigate satisficing—through thoughtful design and implementation practices.6 

과제 난이도를 완화하는 것은 Satisficing을 완화하는 가장 중요한 방법이다. 설문조사의 경우, 설문조사를 완료하는 것이 과제입니다. 조사 설계자가 작업을 더 쉽게 하기 위한 최선의 접근법은 [근거에 입각한 모범 사례]를 따르는 것이다. 4가지 인지적 대응 과정을 통해 응답자가 자신의 길을 갈 수 있도록 지원하는 [양질의 설문지를 설계]하는 것이 목표다. 이러한 설계 관행이 다른 곳에서 자세히 설명되었지만, 우리는 표 1에서 GME 조사 설계자가 조사 완료 작업을 단순화하기 위해 사용할 수 있는 많은 [고수익high-yield 관행]을 강조한다.
Easing task difficulty is the most important way to mitigate satisficing. In the case of a survey, the task is completing the survey. The best approach for survey designers, to make the task easier, is to follow evidence-informed best practices. The goal is to design a high-quality survey that supports respondents as they work their way through the 4 cognitive response processes. Although these design practices have been articulated in detail elsewhere,1,7-9  we highlight in Table 1 a number of high-yield practices that GME survey designers can use to simplify the task of survey completion.

마지막으로, 설계자는 설문조사 요청을 [사회적 교환]으로 간주하여 응답자의 동기, 즉 [설문조사 초대를 수락하고, 설문조사를 시작하고, 응답 프로세스를 최적화하는 동기]를 직접 다룰 수 있습니다. 딜먼 등이 설명한 바와 같이,  "사람들이 다른 사람의 요청을 따르는 것에 대한 [보상]이 결국에는 그 요청을 따르는 [비용]을 초과할 것이라고 믿고 신뢰한다면, 그들은 다른 사람의 요청을 따를 가능성이 더 높습니다." 즉, 잠재적 응답자들은 종종 [세 가지 주요 요인]을 고려합니다: 

• 보상(이 설문 조사에 참여함으로써 얻을 수 있는 이점은 무엇입니까?), 
  
• 비용(시간이 얼마나 걸립니까?) 
  
• 신뢰(초대 소스 및 제안된 데이터 사용을 신뢰합니까?). 

표 2는 설계자가 보상을 확대하고 비용을 절감하며 신뢰를 강화하기 위해 사용할 수 있는 몇 가지 관행을 포함한다.

Finally, designers can directly address respondent motivation—the motivation to accept a survey invitation, start the survey, and optimize the response process—by viewing a survey request as a social exchange. As described by Dillman et al,8  “people are more likely to comply with a request from someone else if they believe and trust that the rewards for complying with that request will eventually exceed the costs of complying.” In other words, potential respondents often consider 3 primary factors: 

• rewards (What will I gain by taking this survey?), 
• costs (How much time will it take?), and 
• trust (Do I trust the invitation source and the proposed data use?).

Table 2 includes several practices that designers can employ to magnify rewards, decrease costs, and fortify trust.

고품질 설문 조사 결과는 응답 프로세스를 최적화하려는 동기를 가진 참가자들로부터 얻어집니다. 불행하게도, 많은 응답자들은 [동기가 없고], 그들의 [정신적 에너지를 보존하고], [satisfice하는 경향]이 있어서 "충분히 좋은" 대답에 만족한다. 설문조사를 통해 응답자의 생각을 이해하는 데 유용한 모델은 응답 프로세스 모델로, 다음과 같은 4가지 인지 단계를 설명합니다: 이해, 검색, 판단 및 추정, 대응. 이 모델을 사용함으로써 설문조사 개발자는 응답자의 [인지 작업을 예측]하고, [응답자의 satisfice하려는 성향을 완화]시킬 수 있다. 응답자의 동기 부여는 설문조사 완료에 따른 비용, 보상 및 신뢰를 고려함으로써 더욱 강화될 수 있습니다. 이러한 전략을 채택함으로써 연구자와 교육자는 응답자의 동기를 최적화하고 더 나은 품질의 설문조사 데이터를 수집할 수 있습니다. 또한, 우리는 조사자들이 조사 데이터 품질을 최적화하기 위해 거주자, 직원 및 교직원의 고유한 GME 인구를 위해 설계된 GME별 조사 전략을 연구할 것을 권장한다.

High-quality survey results come from participants who are motivated to optimize the response process. Unfortunately, many respondents are unmotivated and tend to conserve their mental energy and satisfice, thereby settling for “good enough” answers. A useful model for understanding how respondents think through a survey is the response process model, which describes 4 cognitive steps: comprehension, retrieval, judgement and estimation, and response. By using this model, survey developers can anticipate the cognitive work of respondents and mitigate respondents' tendencies to satisfice. Respondent motivation can be further bolstered by considering the costs, rewards, and trust involved in survey completion. By employing these strategies, researchers and educators can optimize respondent motivation and collect better-quality survey data. In addition, we encourage investigators to study GME-specific survey strategies, designed for the unique GME population of residents, staff, and faculty, to optimize survey data quality.

1is a Professor of Health and Human Function, and Associate Dean for Evaluation and Educational Research, The George Washington University School of Medicine and Health Sciences, and Deputy Editor, Journal of Graduate Medical Education (JGME).

2is an Advanced Fellow, Division of Cardiology, Northwestern University Feinberg School of Medicine, and Resident Editor, JGME.

3is a Residency Site Program Director, Washington DC VA Medical Center, Associate Professor of Medicine, The George Washington University School of Medicine and Health Sciences, Associate Clinical Professor of Medicine, Uniformed Services University of the Health Sciences, and Associate Editor, JGME.

Y세대, 즉 순세대, 즉 나세대로도 알려진 밀레니얼 세대는 베이비붐 세대 이후 가장 큰 세대다. [1981년에서 1996년 사이]에 태어난 개인인 밀레니얼 세대는 현재 미국 인구의 20%가 넘는 7200만 명의 미국 거주자를 구성하고 있다[1]. 이 세대는 기술과 인터넷 붐과 평행하게 성장했다; 가장 어린 밀레니얼 세대는 인터넷 이전의 시간을 기억하지 못할 수도 있고, 그들은 그들의 손끝에 있는 인간 지식을 가진 삶을 경험했다. 게다가, 그들의 [초기 발달 동안의 자녀 양육 경향]은 이 세대를 [젊음으로부터 보호하고, 검증하며], [과외 활동과 팀 기반 활동에 몰입]시키는 것을 포함한다. 9월 11일 테러 공격, 학교 총격 사건의 증가, 경제 불황, 재앙적인 기상 재해를 포함한 역사적 사건들이 이 세대를 형성했다[2].
The millennial generation, also known as Generation Y, the net generation, or Generation Me, is the biggest generation since the Baby Boomers. Millennials, individuals born between 1981 and 1996, currently make up 72 million US residents which is more than 20% of the US population [1]. This generation has grown up parallel to the technology and internet boom; the youngest millennials may not remember a time prior to the internet, and they have experienced life with the whole of human knowledge at their fingertips. In addition, child-rearing trends during their early development included protecting and validating this generation from youth and immersing them in extracurricular and team-based activities. Landmark events have shaped this generation including the September 11 terrorist attacks, the rise in school shootings, economic recessions, and catastrophic weather disasters [2].

[세대 이론]에 따르면, 이러한 일련의 [삶을 바꾸는, 세계적인 사건들을 경험]하는 것은 밀레니얼 세대들에게 다른 세대들과 비교하여 공유된 관점, 가치, 특성들을 제공한다[3, 4]. 따라서, 개인의 변화는 여전히 존재하지만, 세대 이론은 주어진 환경에서 개인이 어떻게 행동하는지를 예측하는 데 도움이 된다. 예를 들어,

• [진보된 기술]은 밀레니얼 세대의 제2의 천성이며,
• [언급된 자녀 양육 경향]은 팀 기반 활동에 대한 타고난 적성으로 이어졌다.
• 반면에, 이러한 [양육 경향]은 이 세대가 [자신은 자격이 있다entitled]는 부정적인 인식으로 이어졌고, 실제로 밀레니얼 세대는 그들의 [성취에 대해 더 많은 외부적인 검증]을 원한다.

According to generational theory, experiencing this set of life-altering, world-wide events gives millennials a shared set perspectives, values, and traits compared to other generations [3, 4]. Thus, while individual variation still exists, generational theory helps predict how individuals behave in a given setting. For example,

• advanced technology is second nature to millennials and
• child-rearing trends mentioned have led to a natural aptitude for team-based activities.
• On the other hand, the same child-rearing trends have led to the negative perception that this generation is entitled and, indeed, millennials do desire more external validation for their achievements.

학생으로서 밀레니얼 세대의 학습 선호도에 관한 강력한 증거가 있다. 연구는 [대화형 및 그룹 기반 학습, 교육 도구로서의 기술의 능숙한 통합, 명확하게 구조화된 지침 및 기대의 중요성]을 강화했다. 이러한 연구는 또한 [자기 수행능력에 대한 과대한 자신감]을 포함하여 학습자로서 이 세대에 대한 잠재적인 우려와 가치관과 우선순위의 차이로 인한 오해로 인한 [전문직업성의 상실을 인식할 수 있는 잠재적인 가능성]을 강조했다. [시기적절한 행동 기반 피드백과 긴밀한 멘토링 관계]는 이 세대에서 인식되는 약점의 일부를 해결하기 위한 수단으로 강조되어 왔다[7]. 궁극적으로, 이러한 연구들은 의학 교육자들이 밀레니얼 세대를 가르칠 수 있게 해주었다.
There is strong evidence regarding learning preferences of millennials as students. Studies have reinforced the importance of interactive and group-based learning, savvy integration of technology as an educational tool, and clearly structured instructions and expectations [5, 6]. These studies have also highlighted some potential concerns about this generation as learners including a sense of overconfidence with regard to performance, as well as potential for perceived lapses in professionalism due to misunderstandings as a result of differences in values and priorities [7, 8]. Timely, behavior-based feedback and close mentoring relationships have been highlighted as a means to address some of the perceived deficits in this generation [7]. Ultimately, these studies have enabled medical educators to teach millennials.

의학 외에도, 연구는 밀레니얼 세대를 노동력에 포함하도록 확장되었다. 2018년 퓨 연구에 따르면 미국 노동력 참여자의 35%가 밀레니얼 세대이며, 밀레니얼 세대는 2016년까지 베이비붐 세대와 X세대를 제치고 노동력의 주요 기여자가 되었다[10]. 이러한 비의료 분야에서 밀레니얼 세대는 세대 차이로 인해 많은 비판을 받아왔지만, 이러한 차이는 기회로도 볼 수 있다. 예를 들어, [일과 삶의 균형에 대한 밀레니얼 세대의 욕구]는 게으름으로 인식될 수 있지만, 웰빙을 지원하는 데 있어 변화를 주도할 수도 있습니다 [11].
Outside of medicine, research has expanded to include millennials in the workforce [9]. According to a 2018 Pew study, 35% of American labor force participants are millennials, and millennials surpassed both Baby Boomers and Gen Xers as the dominant contributor to the labor force by 2016 [10]. In these non-medical fields, millennials have been widely criticized for their generational differences, yet these differences can also be seen as opportunities. For example, millennials’ desire for a work-life balance can be perceived as laziness, but can also drive change in supporting wellness [11].

그러나, 훈련이 의사의 30대까지 잘 지속되는 의학에서, 밀레니얼 세대의 첫 번째 코호트는 이제 겨우 의대 교수로서 직장에서 자리를 잡고 있다. 임상 교사 및 학술 지도자로서의 역할에서 공유 세대 특성의 발현은 알려져 있지 않다. 새로운 증거는 [밀레니얼 중등 교육 교사들]이 [밀레니얼 세대가 아닌 동료들]과 의사소통의 장벽을 가지고 있고, 승진에 대한 비현실적인 기대를 가지고 있다는 것을 시사한다. 밀레니얼 세대가 학술 의학 분야에서 이에 못지 않게 파괴적일 것이며, 밀레니얼 세대가 교사로서의 역할에서 어떻게 행동하고 궁극적으로 이 분야를 형성할 지도자가 될 수 있는지 이해하는 것이 중요하다.
However, in medicine where training lasts well into a physician’s 30 s, the first cohort of millennials is only now establishing itself in the workforce as faculty physicians. The manifestation of shared generation traits in their roles as clinical teachers and academic leaders is unknown. Emerging evidence suggests millennial secondary-education teachers have communication barriers with non-millennials colleagues and have unrealistic expectations of promotion [12]. It is likely that millennials will be no less disruptive in the field of academic medicine and it is important to understand how millennials might behave in their roles as teachers and, ultimately, becomes leaders in the field who will shape the field.

[우수한 의료 교육자의 특성과 특징]을 요약한 여러 연구가 발표되었습니다[13,14,15]. 역량 기반 의료 교육이 증가함에 따라 교육자들은 [투명성, 빈번한 피드백 및 개별화된 학습] 속에서 더 잘 성장하는 밀레니얼 세대와 특히 관련이 있는 [교육 표준을 정의하고 충족]해야 하는 과제를 안고 있다[16]. 2011년, Srinivasan 등은 임상 교육자가 "효과적인 교수 및 학습 문화"를 촉진하기 위해 ACMGE 역량을 프레임워크로 사용하는 [6가지 핵심 역량]을 확인했다[13]. 이러한 역량은 임상의-교육자를 위한 전문적인 개발을 안내하는 데 사용되어 왔다. 여기서 우리는 세대 이론의 렌즈를 통해 이러한 각각의 역량을 고려하여 밀레니얼 세대가 임상 환경에서 교사와 교육 리더의 역할로 이동하면서 어떻게 그들의 타고난 특성을 활용하고 잠재적인 도전을 예측할 수 있는지 예측한다.
Several studies have been published outlining the traits and features of excellent medical educators [13,14,15]. With the rise of competency-based medical education, educators have also been challenged to define and meet standards for teaching, which is of particular relevance to the millennial generation who thrive on transparency, frequent feedback, and individualized learning [16]. In 2011, Srinivasan et al. identified six core competencies, using ACMGE competencies as a framework, for clinician educators to promote a “culture of effective teaching and learning” [13]. These competencies have been used to guide professional development for clinician-educators [17, 18]. Here, we consider each of these competencies through the lens of generational theory to predict how millennials can leverage their innate traits and anticipate potential challenges as they move into the role of teacher and educational leaders in the clinical setting.

Srinivasan et al.이 제안한 첫 번째 역량은 교사가 학습자에게 주입하고 각 학습자의 능력을 평가하기 위해 [견고한 기초 지식]을 가져야 한다고 명시하고 있다[13]. 이 역량은 아마도 밀레니얼 교사들의 타고난 기술이 이전 세대의 교육자들과 그들을 구분하는 곳일 것이다. 밀레니얼 세대는 무한한 정보를 손끝에 쥐고 성장하고 훈련한 첫 번째 세대의 의사들이다. 결과적으로, 그들의 지식은 [덜 백과사전적]이며, 대신에, [필요한 순간에 가장 최신이고 포괄적인 정보]를 얻는 것을 강조한다. 결과적으로 밀레니얼 임상의들은 [정보를 내재화하지 않기 때문]에, [동일한 수준의 임상 전문 지식을 개발하지 않았을 수] 있으며, 이는 [학습자들의 눈에 의심을 심어줄] 수 있다. 더 가능성이 있다는 것은 [밀레니얼 임상의의 지식]은, 더 나아가서 [그들이 사용하는 교육자료]는, 그들이 정확하게 접근하고 해석할 수 있는 모든 것으로만 구성되어 있기보다, 한계가 없다는 것을 의미한다.
The first competency proposed by Srinivasan et al. states that teachers must have a solid foundation knowledge to instill into their learners and assess each learner’s abilities [13]. This competency is perhaps where millennial teachers’ natural skills separate them from the prior generation of educators. Millennials are the first generation of physicians who grew up and trained with an endless supply of information at their fingertips. Consequently, they are less encyclopedic in their knowledge and, instead, emphasize acquiring the most up-to-date and comprehensive information at the moment it is needed [19]. Arguably, as a result, millennial clinicians may not have developed the same level of clinical expertise since they are not internalizing the information, which may instill doubt in the eyes of their learners. More likely, it means that millennial clinician’s knowledge, and hence, teaching material, is not limited, instead consisting of everything that they can accurately access and interpret.

또한, 이 세대는 변화하는 증거에 대해 최신 상태를 유지할 수 있는 자연스러운 능력을 가지고 있으며 그들에게 [정보 수집 과정은 역동적]이다. ["I-will-find-it-now" 시대]의 일원으로서 밀레니얼 세대는 엄격하게 정보를 가르치는 경향이 있지만 업데이트된 지침과 리소스를 참조하는 방법뿐만 아니라, 임상 질문에 답하기 위해 증거를 해석하는 방법을 포함한 지식 습득 기술을 가르치는 경향이 있다[20]. 밀레니얼 세대의 교육자들은, 적어도 이 능력에서는 뛰어나고 현대 의학의 급속한 발전에 보조를 맞출 수 있는 의사 세대로 이어질 수 있는 잠재력을 가지고 있다.
Additionally, this generation has a natural ability to stay current on changing evidence and the process of information acquisition is dynamic for them. As members of the “I-will-find-it-now era”, millennials, in turn, tend to teach not strictly information, but knowledge acquisition skills including how to reference updated guidelines and resources as well as how to interpret evidence to answer clinical questions [20]. Millennial educators, in at least this competency, excel and have the potential to lead to a generation of physicians that can keep pace with the rapid evolution of modern medicine.

Srinivas 등은 두 번째 교육자 역량으로서 [학습자의 복지와 성장에 대한 헌신]을 확인한다[13]. 이러한 ["학습자 중심성"]은 [학습자에 대한 존중과 투자]뿐만 아니라, [긍정적인 학습 환경을 조성할 수 있는 능력]을 포함한다. 이것은 또한 밀레니얼 교육자들이 뛰어나기를 기대하는 역량이다. "바람직함Desired" 세대인 그들은 일관된 칭찬과 검증을 받으며 성장했습니다[8]. 결과적으로, 그들은 [안전하고 긍정적인 학습 환경]을 갖는 것을 중요시합니다. 그들은 또한 이전 세대보다 더 다양하기 때문에 [다양성의 가치에 대한 인식과 존중]을 가지고 자랐다[2]. 그들에게 있어 [문화적 역량과 겸손]을 강조하는 것은 그들의 전임자들보다 더 선천적인 것이며, 이것은 학습자 중심성의 핵심적인 측면이다. 게다가, 그들은 개성에 중점을 두고 성장한 결과로 [직장 밖의 삶을 중요시]한다. 대규모 불경기 동안 노동력에 들어가는 것은 그들이 "직업"을 어떻게 인식하는지에 영향을 줄 뿐만 아니라 그들이 롤모델을 하고 다른 사람들에게 건강에 대해 교육할 수 있는 기회를 만든다. 이는 학습자의 안녕과 학습 환경에 중요합니다.
Srinivasan et al. identify the commitment to learners’ well-being and growth as the second educator competency [13]. This “learner centeredness” includes respect for and investment in the learner, as well as the ability to create a positive learning environment. This is also a competency where we expect millennial educators to excel. Being the “desired” generation, they grew up with consistent praise and validation [8]; as a result, they value having a safe and positive learning climate. They are also more diverse than the generations before them and thus grew up with an awareness and respect for the value of diversity [2]. An emphasis on cultural competency and humility is more innate for them than their predecessors, which is a key aspect of learner centeredness. In addition, they value life outside of work as a result of growing up with an emphasis on individuality. Entering the labor force during a major recession not only impacts how they perceive their “jobs” but also creates an opportunity for them to role model and educate others about wellness. This is important for learner well-being and learning climate.

잠재적인 도전 중 하나는 어린 시절 자주 긍정하는 경험으로 인해, [(고용주뿐만 아니라) 잠재적으로 학습자]도 [밀레니얼 세대의 교사]들이 [자기 중심적이고 자기 몰입적]이라고 느낄 수 있다는 것이다. 또한, [긍정적인 학습 환경을 우선시]하기 때문에, 밀레니얼 교육자들은 [학습자의 신뢰를 해칠 우려]처럼 [의미 있는 형성적 평가를 제공하는 것]을 더 어려워 할 수 있다[21]. 마찬가지로, 그들은 학습자들에게 충분한 도전을 제공하지 않을 수도 있다. 그러나 학습자들은 교육적 도전과 의미 있는 평가보다 포용과 긍정적인 학습 환경을 중요시하는 경향이 있으며, 이는 밀레니얼 교사들이 학습자들에게 잘 인식되고 있음을 의미한다[22]. 그럼에도 불구하고, 밀레니얼 교육자들은 그들 자신의 편안한 영역을 적극적으로 벗어나 효과적인 교육자들의 기술을 연습하기 위해 그들의 세대적 특성에 의해 제기되는 잠재적인 한계를 인식하는 것이 중요할 것이다.
One potential challenge is that due to their experience with frequent affirmation during childhood, others may find millennial teachers self-centered and self-absorbed, including not only employers, but potentially their learners. In addition, due to prioritizing a positive learning climate, millennial educators may be more susceptible to barriers to providing meaningful formative assessments [21], such as fear of hurting a learner’s confidence. Similarly, they may not provide sufficient challenges for their learners. However, learners tend to value inclusion and a positive learning climate over educational challenges and meaningful assessments, which will mean millennial teachers are well perceived by learners [22]. Regardless, it will be important for millennial educators to recognize the potential limitations posed by their generational traits in order to actively step outside their own comfort zone and practice techniques of effective educators.

임상 교육자는 학습을 가장 잘 촉진할 수 있도록 [교육 및 커뮤니케이션 스타일을 개인화]해야 합니다[13]. 여기에는 의사소통과 기대를 공유하는 방법, 교육 전략, 교육을 지도하기 위한 기본 학습자 지식의 평가, 피드백 제공, 전문적이고 대인관계적인 갈등 처리 등이 포함된다. 밀레니얼 세대는 이메일, 문자, 인스턴트 메시징을 통해 [지속적인 연결]의 시대에 성장했다. 이와 같이 [개방적이고 접근 가능한 경향]이 있으며, 이는 [학습자에게 많은 도움이 될 것]이다[23]. 왜냐하면 보통 학습자들은 스트레스가 높은 의료 훈련 중에 지원과 가이드를 얻고자 하며, 이런 개방성과 접근가능성이 학습자가 임상 환경에서 편안하게 도움을 구하도록 보장하기 때문이다.
Clinical educators are expected to personalize their teaching and communication styles to best facilitate learning [13]. This includes how communications and expectations are shared, educational strategies, assessment of baseline learner knowledge to guide teaching, giving feedback, and handling professional and interpersonal conflicts. The millennial generation grew up in an era of constant connectedness, via email, texts, and instant messaging. As such, they tend to be open and accessible [23], which will serve their learners well as they seek support and guidance during high-stress medical training and will ensure learners will feel comfortable seeking help in the clinical setting.

"트로피 세대"로서, 그들은 외부 검증[2]을 추구하며, 소셜 미디어와 전자 커뮤니케이션을 통해 [실시간 반응과 피드백에 익숙]합니다. 또한 밀레니얼 세대는 [명확한 기대]가 있을 때 더 잘 하는 것으로 나타났으며, [불확실한 기대]는 밀레니얼 세대로 하여금 비판적인 피드백과 평가에 저항하게 할 수 있다. 따라서, 교육자로서, 그들은 교사들에게 필수적인 의사소통 기술인 학습자들에게 명확한 기대를 설정하고 지속적으로 피드백을 제공하는 것을 염두에 둘 것이다.
As the “trophy generation,” they seek external validation [2] and, by way of social media and e-communication, they are accustomed to real-time reactions and feedback. In addition, millennials have been shown to thrive with clear expectations and unclear expectations can lead millennials to resist critical feedback and evaluations. Therefore, as educators, they will likely be mindful of setting clear expectations for and consistently providing feedback to learners which are essential communication skills for teachers.

반면에, 그들의 [전자 통신에 대한 경험]이 항상 [대면 또는 심지어 전화 소통 기술]로 번역되는 것은 아니다. 실제로 밀레니얼 세대는 [불편하고 비효율적이라고 인식하는 전화]보다 [문자나 인스턴트 메시지를 선호]하는 것으로 나타났다[24]. 이는 아마도 밀레니얼 교사들이 학습자에게 어려운 피드백을 제공하거나 자신의 가르침에 대한 피드백을 받는 등 [불편할 수 있는 대면 토론에 어려움을 겪을 수 있음]을 시사한다. 밀레니얼 세대는 일반적으로 "심리적 안전"에 대한 헌신을 보여주지 않는 개인들의 비판에 저항하기 때문에, 어느 방향으로든 대립이나 피드백의 어려움은 "코들링"되는 밀레니얼 세대의 인식에 의해 더욱 악화될 수 있다.
On the other hand, their experience with e-communication does not always translate into face-to-face or even telephone communication skills. Millennials, in fact, have been shown to prefer texts or instant messages rather than phone calls, which they perceive as uncomfortable and ineffective [24]. This suggests that perhaps millennial teachers may struggle with face-to-face discussions that may be uncomfortable, including providing difficult feedback to a learner or receiving feedback on their own teaching. Difficulty with confrontation or feedback in either direction may be compounded by the millennial perception of being “coddled,” as millennials generally resist criticism from individuals who do not demonstrate a commitment to “psychological safety.” [21].

Srinivasan 등이 요약한 또 다른 핵심 교육자 역량은 [전문직업성과 역할 모델링]입니다[13]. 이것은 [연민과 성실함을 보여주는 것, 교육자로서의 자신의 행동에 대한 책임감, 그리고 직업적인 행동을 모델링하는 것]을 포함한다. 밀레니얼 세대는 소셜 미디어 사용[25], 문신 비율의 증가[26], 그리고 일반적인 전문가 복장에 대한 강조가 거의 없기 때문에 이전에 비전문가적이라고 비판을 받아왔다. 이는 무의식적이고 시대에 뒤떨어진 편견의 결과이다[27]. 전문성에 대한 세대의 정의는 다르고, [외모에 대한 강조]는 [그들의 기술과 관련이 없다]고 생각하기 때문에, 밀레니얼 세대에 의해 그렇게 중요하게 여겨지지 않는다. 대신, 그들은 전문성의 주요 특징으로 [연민과 성실함]을 우선시할 수 있다. 이를 통해 긍정적인 업무 및 학습 환경에 의미 있게 기여할 가능성이 높은 전문직업성의 측면을 [모델링]함으로써 보다 효과적인 교사가 될 수 있다[22]. 기성 세대는 이들을 부정적으로 볼 수 있지만, 젊은 학습자들은 전문성에 대한 전통적인 정의에 대한 투자를 공유하지 않을 것이다. 대신, [이전 세대보다 더 다양성을 가지고 자란 밀레니얼 세대]는 궁극적으로 이 분야의 성장을 이끌 [더 넓은 범위의 의료 연수생을 포용하는 전문직업성]에 대한 [더 나은 작업 정의working definition를 옹호]할 수 있다.
Another key educator competency outlined by Srinivasan et al. is professionalism and role modeling [13]. This includes displaying compassion and integrity, accountability for one’s actions as an educator, and role modeling professional behaviors. Millennials have previously been criticized as unprofessional due to social media use [25], higher rates of tattoos [26], and overall less emphasis on typical professional dress, which are views held as result of unconscious and antiquated bias [27]. Generational definitions of professionalism differ, and an emphasis on physical appearance is not as valued by millennials because they think it doesn’t have a bearing on their skills. Instead, they can prioritize compassion and integrity as key features of professionalism. This allows them to be more effective teachers by modeling the facets of professionalism that are more likely to meaningfully contribute to a positive work and learning environment [22]. While older generations may view them negatively, younger learners are unlikely to share this investment in traditional definitions of professionalism. Instead, millennials, who grew up with greater diversity than the generations before them, can advocate for a better working definition of professionalism that embraces a wider scope of medical trainees who will ultimately lead to growth in the field.

밀레니얼 교육자들은 [경계를 설정]하고, [일과 삶의 균형을 유지하는 것]을 우선시하는 경향이 있기 때문에 역할 모델로서, 밀레니얼 교육자들이 가치를 가질 수 있는 한 가지 독특한 영역은 [웰빙 분야]이다. 밀레니얼 세대는 또한 그들의 고용주에 대한 [노동자의 충성심이나 맹목적인 생산성]으로 [전문직업성을 정의하지 않는다]. 이로 인해 밀레니얼 세대의 학습자와 다양한 직업의 직원들에 대한 비판이 제기되었지만, 번아웃의 유병률과 원인에 대한 데이터가 등장함에 따라 밀레니얼 세대의 건강 강조는 점점 더 중요해지고 있다. 역사적으로, 의료 훈련은, 항상 개인을 중요시하지 않는 시스템에서 운영되며, 번아웃은 유행병 수준이다. 이러한 방식으로 밀레니얼 교육자들은 기술을 가르치고 미래 세대의 소진을 방지하고 결과적으로 의료 분야의 지속 가능한 인력으로 이어지는 문화를 홍보할 수 있는 독특한 기회를 가지고 있다.
As role models, one unique area where millennial educators can be valuable is in the field of wellness, as they tend to prioritize setting boundaries and maintaining a work-life balance. Millennials also do not define professionalism by worker loyalty or blind productivity for their employer. While this has led to criticism of millennial learners and employees in a range of professions, as data emerges about the prevalence and causes of burnout, millennials’ emphasis on wellness is increasingly important. Historically, medical trainees operate in a system that doesn’t always value the individual, and levels of burnout are at epidemic proportion. In this way, millennial educators have the unique opportunity to teach skills and promote a culture that help prevent burnout in future generations and, as a result, lead to a sustainable workforce in medicine.

실천기반 성찰과 개선역량은 교육자로서 향상시키기 위한 [교육자의 자기평가 추구]이며, 따라서 교육자는 [지속적으로 성찰에 참여하고, 여러 출처로부터 의견을 구하며, 피드백에 대응하여 교수기법을 조정]할 것을 요구한다. 밀레니얼 세대는 [자기 성찰]을 [마음챙김의 도구]로 중요시하며, [자기 계발을 촉진]하는 [멘토십의 형태]로, [외부의 검증과 인정을 추구]하는 [자기 성찰의 사이클]에 지속적으로 참여한다[8]. 그러나 위에서 논의한 바와 같이, 성장기에 비판적 피드백에 대한 노출이 부족했기 때문에, 밀레니얼 세대가 자신의 정체성에 대한 도전을 느끼는 피드백을 통합하고 대응하는 것이 어려워할 수 있다.
The practice-based reflection and improvement competency is the educator’s pursuit of self-assessment to improve as educators, and thus requires educators to consistently engage in reflection, seek input from multiple sources, and adjust their teaching techniques in response to feedback [13]. Millennials value self-reflection as a tool for mindfulness, and consistently engage in a cycle of introspection followed by seeking external validation and recognition in the form of mentorship that often promotes self-improvement [8]. However, as discussed above, their lack of exposure to critical feedback growing up can make it challenging for millennials to incorporate and respond to feedback that they feel challenges their sense of identity.

또한, 테크놀로지 전문가로서, 이 세대는 [테크놀로지]를 [혁신적인 방식으로 자기 계발을 위한 도구로 사용할 준비]가 되어 있습니다[28]. 그들은 디지털 분석을 사용하여 개인 및 시스템 메트릭을 수집할 수 있을 뿐만 아니라, [의료 교육 학술활동]을 실시하고 분야를 개선하는 데 도움을 줄 수 있으며, 이는 임상 정보학이 학문으로 부상하는 데서 볼 수 있다. 비즈니스 세계에서 밀레니얼 세대는 기업의 혁신과 성장에 도전하는 기술 파괴자로 확인되었습니다[29]. COVID 팬데믹은 의료 교육자들이 가상 학습에 대한 오랜 믿음을 재평가하도록 유도했으며, 밀레니얼 세대는 학습자 만족도를 향상시키기 위한 교육에 기술을 효과적으로 사용하는 데 도움을 주었다. 
In addition, as technology experts, this generation is ready to use technology as a tool for self-improvement in innovative ways [28]. Not only can they use digital analytics to collect personal and system metrics, they can also use it to conduct medical education scholarship and help improve the field, which can be seen in the rise of clinical informatics as a discipline. In the business world, millennials have been identified as technology disruptors, challenging corporations to innovate and grow [29]. The COVID pandemic pushed medical educators to reassess long-held beliefs about virtual learning, with millennials helping to advance the effective use of technology for education to improve learner satisfaction [30, 31].

이 역량에서 탁월함에 대한 잠재적인 장벽은 교육자로서의 밀레니얼 세대의 동기에서 비롯됩니다. 일반적으로, 그들은 기관의 성공보다 자신의 행복을 중요시한다[19]. 이것은 그들이 [교육자로서 그들 자신에게 투자]하도록 동기를 부여할 수 있다는 것을 의미하지만, 그들은 [조직의 성장과 개선]에는 투자하지 않을 수도 있다. 따라서, 그들은 [개별 교육자]로서 우수할 수 있지만, [교육 리더]로서의 자신의 역할은 한정시킬 수 있고, 잠재적으로 그들이 그들의 기관에서 미래의 학습자들에게 미칠 수 있는 영향을 억제할 수 있다. 그러나, 그들이 더 자주 직업을 바꾼다는 비판에 직면했지만[2], 증거는 그들이 X세대가 그 나이였을 때와 비슷한 수준으로 직업과 함께 시간을 보낸다는 것을 시사한다[32]. 세계가 더 상호 연결되어 있음에도 불구하고, 직업 이동성은 덜 경직되고, 주니어 교수진은 국가 또는 심지어 국제 수준에서 새로운 기회를 찾는 것에 대해 보상을 받을 수 있다.
A potential barrier to excelling in this competency stems from millennials’ motivations as educators. In general, they value their own well-being over the success of their institution [19]. While this means they may be motivated to invest in themselves as educators, they may not be as invested in the growth and improvement of their organization. Hence, as individual educators they may excel, but they may limit their role as educational leaders and potentially hold back impacts they might otherwise have on future learners at their institution. However, although they’ve faced criticism for jumping between jobs more frequently [2], the evidence suggests that they spend just as much time with their jobs as Generation X did at the same age [32]. Regardless as the world grows more interconnected, job mobility becomes less rigid, and junior faculty may be rewarded for seeking new opportunities at the national or even international level.

밀레니얼 교사를 논의할 때, 의료 교육자의 최종 역량인 [시스템 기반 실천]은 첫 번째 역량, 의료 내용 및 지식과 밀접한 관련이 있다. 최적의 교육을 제공하기 위해 의료 및 교육 시스템 내의 자원을 활용하는 능력으로 정의된다[13]. 기술과 인터넷의 급속한 확장과 함께 성장하면서, 이 세대는 변화에 빠르게 적응할 수 있고, 따라서 이 유연성을 쉽게 가르치고 역할 모델을 만든다. 그들은 [인터넷을 사용]하고, 그들의 [교육에 테크놀로지를 통합]하는 데 능숙하다. 이러한 유연성은 또한 훈련생 일정과 기대의 변화를 포함하여 임상 서비스 또는 팀 내의 변화에 자연스럽게 적응할 수 있도록 한다.
When discussing millennial teachers, the final competency of medical educators, systems-based practice, relates closely to the first competency, medical content, and knowledge. It is defined as the ability to utilize resources within the medical and education system to provide optimal teaching [13]. Growing up with the rapid expansion of technology and the internet, this generation can rapidly adjust to change and, therefore teach and role model this flexibility easily. They are adept at using the internet and incorporating technology into their teaching. This flexibility also allows them to naturally adjust to changes within their clinical services or teams, including changes in trainee schedules and expectations.

이 역량은 또한 "교육이 발생하는 시스템"에 대한 이해에 의존한다. [13] 그들의 양육과 시사에 의해, 이 세대는 변화를 촉진하기 위해 [시스템에 대한 깊은 이해를 추구]하는데, 이것은 스리니바산 외 연구진이 제시한 이 역량의 또 다른 핵심 측면이다. 불황, 최저 주택 보유율, 정치적 불안정 등 [자신들 세대를 망쳐둔 사회경제적 시스템]에서 성장한 결과, 밀레니얼 세대는 [현재 시스템의 단층fault lines을 보고 더 나은 단층을 만들려는 의욕]을 갖게 된다. 다양성에 대한 그들의 더 큰 노출은 또한 학습자들에게 긍정적인 영향을 미치는 것으로 나타난 학습 환경에 대한 포함을 촉진하도록 준비하는 데 도움이 된다. 궁극적으로, 관용과 포용[2]을 촉진하는 직장을 가치있게 여기며, 의학 내에서 [체계적인 변화를 옹호]할 뿐만, 아니라 의학 교육 내에서 이 중요한 학문 분야를 개발하는 데도 도움이 될 수 있다. 밀레니얼 세대는 임상 학습 환경과 커리큘럼 개발을 통해 [불평등을 인식하고 뒤집기 위해 문화를 전환하는 교육 리더]가 될 준비가 되어 있다.
This competency also relies on having an understanding of the “system in which education occurs.” [13] Shaped by their upbringing and primed by current events, this generation seeks out a deep understanding of the system to promote change, which is another key aspect of this competency laid out by Srinivasan et al. As a consequence of growing up in a socioeconomic system that has failed their generation, including recessions, lowest home owner rates, and political instability [33], millennials see the fault lines in the current system and are motivated to create a better one. Their greater exposure to diversity also helps prepare them to promote inclusion in the learning environment, which has been shown to have positive effects on learners [34]. Ultimately, they themselves value workplaces that promote tolerance and inclusion [2] and can help not only advocate for systematic change within medicine, but also help develop this crucial field of scholarship within medical education. Millennials are primed to be educational leaders that shift the culture to recognize and reverse inequity in the clinical learning environment and through curricular development.

세대이론의 관점에서 보면, 밀레니얼 세대의 특성과 가치는 Srinivasan et al. (표 1)이 제시한 의료교육자의 6가지 역량과 긍정적으로 일치한다. 밀레니얼 세대의 학습자들은 [개개인성individuality과 피드백을 중요시함]으로써, 역사적으로 교육 이론가들에 의해 [모범 사례로 추천된 행동]을 교사들로부터 기대한다고 제안되었다[35]. 따라서 밀레니얼 세대가 교육자와 동일한 모범 사례 행동을 선천적으로 보여줄 것으로 기대할 수 있습니다. 밀레니얼 세대의 사회 정의 및 기술과의 긴밀한 관계는 그들이 변화에 적응할 준비가 되어 있고 양심적이고 혁신적인 학습자의 개발을 촉진하기 위해 의학 교육의 현재 기준에 도전할 준비가 되어 있다. 번아웃과 사회적 불평등이 만연한 가운데, 그들은 [개인의 건강과 사회적 책임을 우선시하는 전문직업성]이라는 [독특한 브랜드의 역할 모델 역할]을 하기에 매우 적합하다.
Viewed through the lens of generational theory, the traits and values of the millennial generation align positively with the six competencies of a medical educator as posed by Srinivasan et al. (Table 1). It has been suggested that the millennial learners, by valuing individuality and feedback, expect behaviors from their teachers which have historically been recommended as best practice by educational theorists [35]. Therefore, we can expect millennials to innately exhibit these same best practice behaviors as educators. Millennials’ close ties with social justice and technology make them ready to adapt to change and poised to challenge current standards in medical education to promote development of conscientious and innovative learners. In the midst of an epidemic of burnout and social inequity, they are well suited to serve as role models of a unique brand of professionalism — one that prioritizes personal wellness and social accountability.

[외부 검증]를 강조하는 것은 [피드백의 사용을 촉진]하는 데 도움이 되지만, [존중과 심리적 안전에 대한 근본적인 기대]는 [어려운 피드백을 주거나 받는 능력]을 제한시킬 수 있다. 이것은 또한 결과적으로 [대면 상호작용에 대한 불편함]으로 인해 더 복잡해질 수 있다. 마지막으로, 교육자로서의 그들의 강점은 [전문직업성과 의학적 전문성]에 대한 그들의 전통적인 정의를 지나쳐 보려고 애쓰는 기성 세대들에 의해 간과될 수도 있다.
While their emphasis on external validation helps to promote the use of feedback, an underlying expectation of respect and psychological safety may challenge their ability to give or receive difficult feedback. This can also be compounded by discomfort with face-to-face interactions as a consequence. Finally, their strengths as educators may be overlooked by older generations who struggle to look past their own traditional definitions of professionalism and medical expertise.

물론 세대 이론에는 몇 가지 한계가 있다. 세대 이론은 인구 내의 추세를 이해하는 데 도움이 되지만, 개인 수준으로 추정하는 것은 잘못될 수 있다. 세대 이론이 부정적인 고정관념을 지지하기 위해 사용될 때, 그리고 "밀레니얼 교수자"과 같은 라벨을 사용하면 권력 차이를 강화하고 집단에 대한 신화를 전파하며 개성을 최소화할 수 있다. 세대 이론에 기초한 교육 권장 사항을 만드는 것은 제한된 데이터에서 광범위한 결론을 도출할 위험이 있다는 것을 인식하지만, 이 논문은 교육자 세대에 대한 더 큰 개념을 탐구하는 역할을 한다. 새로운 교육자 세트를 위한 표적 개입을 개발하는 데 도움이 되도록 이전 세대의 의사 교육자와 비교하여 차기 의사 교육자 간의 차이를 더 잘 평가하기 위해 추가 연구를 수행할 수 있다.
There are of course several limitations of generational theory. While generational theory helps understand trends within a population, extrapolating to the individual level can be misguided. Misconceptions occur when generational theory is used to support negative stereotypes and using labels such as “millennial teacher” can reinforce power differences, propagate myths about a cohort, and minimize individuality [36]. While we recognize that making educational recommendations based on generational theory risks drawing broad conclusions from limited data, this paper serves to explore larger concepts about a generation of educators. Further research can be done to better evaluate the differences between incoming physician educators compared to those of prior generations, to help develop targeted interventions for this new set of educators.

전반적인 세대 이론은 밀레니얼 교육자의 평가에 대한 기대를 형성할 뿐만 아니라 밀레니얼 교육자의 미래 교수진 개발 커리큘럼을 안내하는 데 도움이 될 수 있는 기회가 될 수 있다.
Overall generational theory can be an opportunity to help guide future faculty development curricula for millennial educators as well as shape the expectations for evaluation of millennial educators. As we see our first big group of millennial educators, not only will they be able to bring their own strengths with regard to teaching modern medicine, but they will fundamentally change it.

개요
Overview

총 479건의 연구가 이루어졌고, 199건의 중복이 제거되었다. 280개 연구의 제목과 요약본을 심사하였으며, Z세대 HPE학생들에 대한 세대이론 적용에 명확하게 초점을 맞추지 못한 246개 연구는 기각되었다. 총 34개의 연구가 이 분석에 포함되었다. 포함된 연구는 2016년과 2021년 사이에 발표되었다. 우리의 표본 중 16개의 출판물은 간호 교육, 7개의 의학 교육, 4개의 약학 교육, 2개의 치과 교육, 5개에서 2개 이상의 보건 전문 교육 코호트와 관련이 있었다. 포함된 연구 목록은 부록 2에서 확인할 수 있다. 연역 부호화는 자우레귀와 동료들, [본질주의, 세대적 타성, 세대적 겸손]의 세 가지 선험적 주제와 귀납적으로 생성된 두 가지 새로운 주제, [변위 및 세대적 위치]의 증거를 보여주었다. 연구팀은 또한 두 가지 중요한 주제인 [대인관계 중심과 구조적 변화]를 확인했는데, 이 주제는 우리의 샘플에 포함된 기사의 범위를 지정하는 것이다.

A total of 479 studies were obtained, and 199 duplicates were removed. The titles and abstracts of 280 studies were screened and 246 studies that did not clearly focus on the application of generation theory to Gen Z HPE students were rejected. In total, 34 studies were included in this analysis. Included studies were published between 2016 and 2021. Among our sample, 16 publications pertained to nursing education; seven to medical education; four to pharmacy education; two to dental education; and five to two or more health professions education cohorts. The list of included studies is available in Supplementary Appendix 2. Deductive coding revealed evidence of three a priori themes adapted from Jauregui and colleagues, essentialism, generational othering, and generational humility, and two novel, inductively-generated themes, displacement and generational situatedness. The research team also identified two overarching themes—interpersonal focus and structural changes—which designate the scope of the articles included within our sample.

기술 통계는 주제 빈도를 정량화하는 데 사용되었으며 표 1에 요약되어 있다. 확인된 주제의 빈도는 포함된 연구의 총 수를 분모로 사용하여 계산되었다. 식별된 주요 테마와 관련하여 선험적으로 생성된 테마의 빈도도 결정되었다. 이것은 분모로서 지배적 주제를 포함하는 총 기사 수와 지배적 주제를 포함하는 기사 수와 분자로서 선행 유도적으로 생성된 주제를 포함하는 기사 수를 사용함으로써 달성되었다. 이러한 서술적 통계는 샘플의 해당 기사에만 적용되지만, 이들이 설명하는 패턴은 HPE 내에서 생성 이론을 적용하는 것에 비해 더 광범위하게 일반화할 수 있다.
Descriptive statistics were used to quantify the frequency of themes and are summarized in Table 1. Frequencies of identified themes were calculated using the total number of included studies as the denominator. The frequencies of a priori and inductively-generated themes relative to identified overarching themes were also determined. This was accomplished by using the total number of articles containing the overarching theme as the denominator and the number of articles containing overarching theme and the a priori or inductively-generated theme as the numerator. Although these descriptive statistics hold only for those articles in our sample, the patterns they elucidate are more widely generalizable vis-à-vis the application of generation theory within HPE.

선험적 테마
A priori themes

HPE에서 밀레니얼 세대 이론에 대한 Jauregui와 동료들의 분석과 일관되게, 우리의 샘플에 포함된 기사의 주제 분석은 최근 HPE 문헌에서 [본질주의]와 [세대적 타자화]의 흔적을 모두 드러냈으며, 그들의 연구에서 옹호된 [세대적 겸손]의 희미한 흔적을 드러냈다. 우리 샘플 내의 [본질주의의 증거]는 [Z세대 학습자에 대한 광범위한 일반화 및 Z세대를 균일하고 균일한 개체로 나타내는 경향]에서 나타났다. 예를 들어, 'Z세대'는 '긴 대화에 참여하지 않고 짧은 조각으로 소통하는 진정한 디지털 네이티브'이다. …그들이 선호하는 커뮤니케이션 방법은 문자, 트위터, 스냅챗'이다와 같은 것이 있다. [본질주의화된 고정관념]의 흔한 것으로는 표본의 주제분석을 통해 드러났는데, Z세대 학생들은 [사회적 상호작용 기술이 감소]하고, [주의력이 짧으며], [전문성과 시간 관리에 어려움]을 겪는 것으로 특징지어진다.
Consistent with Jauregui and colleagues’ analysis of Millennial generation theory in HPE, thematic analysis of the articles included in our sample revealed traces of both essentialism and generational othering in recent HPE literature, as well as glimmers of the generational humility advocated for in their study. Evidence of essentialism within our sample emerged in sweeping generalizations about Gen Z learners—for example, ‘Gen Zer’s are “true digital natives”’ (Seibert, 2021, p. 86) who ‘do not engage in long conversations, communicating instead in short bits and pieces. …Their preferred communication method is texting, Twitter, and Snapchat’ (Williams 2019, p. 60)—and the tendency to represent Gen Z as a uniform, homogeneous entity. Common essentializing stereotypes surfaced through thematic analysis of the sample, which characterized Generation Z students as having decreased social interaction skills, short attention spans, and difficulties with professionalism and time management.

우리의 분석은 또한 [세대적 타자화]가 빈번한 일어남을 발견했다; 이러한 예들은 [단순히 반복적인 일반화]를 넘어, Z세대가 이전 세대의 학습자들보다 떨어지지는 않더라도 [최소한 교육자들에게 더 도전적이라는 것을 암시]한다. 즉, 더 필요하고, 더 자격이 있고, 전문 학교에 대한 준비가 덜 되어 있고, 위험을 회피하며, 강의와 같은 전통적인 교육 모드에 참여할 수 없거나 참여하지 않으려 한다는 것이다. 이를 위해 샘플의 기사는 이 세대의 인식된 결함에서 비롯된 [Z세대 HPE 학생들에게 적응하기 위한 제안]을 제안한다: 'Z세대는 온 디맨드 방식으로 정보를 얻는 데 익숙하기 때문에 과제를 완료하기 위해 마지막 순간까지 미루고 강사가 24시간 내내 질문을 받을 수 있기를 기대할 수 있습니다.'
Our analysis also uncovered frequent incidences of generational othering; these examples go beyond simply repeating generalizations to imply that Gen Z is, if not inferior to previous generations of learners, at least more challenging for educators: needier, more entitled, less prepared for professional school, risk-averse, and unable or unwilling to engage in traditional modes of instruction, such as lecture (Twenge 2017; Selingo 2018; Supiano 2019). To this end, the articles in our sample propose suggestions for adapting to Gen Z HPE students stemming from this generation’s perceived flaws: ‘Because Generation Z is accustomed to getting information on demand, they may procrastinate until the last minute to complete assignments and expect instructors to be available 24/7 for questions’ (Eckleberry-Hunt 2018, p. 379).

우리의 샘플 내에서 제시된 [세대적 겸손]의 예는 전형적인 일반화의 한계에 대한 인식을 보여준다. 예를 들면, '모든 Z세대가 이러한 사회적 고정관념과 일치해야 하는 것은 아니다'. 교육자들이 '유연성을 보여주고, 이 세대에 참여하기 위해 [기본적인 가정]과 [실제 수행]을 조정해야 한다'는 필요성도 있습니다. 따라서 [세대적 겸손]은 [세대적 타자화]와는 대조적으로 나타났으며, 이는 Z세대 보건 직업 학생들을 [본질주의화 하려는 고정관념을 복잡하게 만드는 것]과 [세대 간의 차별에 대항하는 것]을 모두 시사한다. 비록 이러한 세대적 겸손의 희미한 빛은 역설적으로 [본질주의]와 [세대적 타자화]의 증거와 함께 공존한다(각각 100%(16/16)와 94%(15/16)에서). 실제로, ['모든 세대 Z가 그런 것은 아니다']라는 표현조차도 고정관념적 규범으로부터의 편차가 측정될 수 있는 ['전형적인' Z세대 학생이 존재한다]를 가정하여 [연령 코호트에 대한 본질주의적 일반화를 암시적으로 강화]한다.
Examples of generational humility presented within our sample demonstrate an awareness of the limitations of stereotypical generalizations—e.g. ‘not all Generation Z has to be aligned with these social stereotypes’ (Vizcaya-Moreno and Pérez-Cañaveras 2020, p. 8)—and the need for educators ‘to demonstrate flexibility, adjusting our underlying assumptions and actual performance in order to engage (with) this generation’ (Cretu, Grigore, and Scripcariu 2020, p. 284). Generational humility thus emerged in contrast to generational othering, suggesting both a willingness to complicate essentializing stereotypes of Gen Z health professions students and to counter generational othering, though these glimmers of generational humility paradoxically coexist alongside evidence of essentialism and generational othering in 100% (16/16) and 94% (15/16) of this sub-sample of articles, respectively. Indeed, even the phrasing ‘not all Generation Z’ presumes a ‘typical’ Gen Z student against which deviation from a stereotypical norm may be gauged, thereby implicitly reinforcing essentializing generalizations about an age cohort.

귀납적으로 생성된 테마
Inductively-generated themes

우리의 샘플에서 반복되는 두 가지 귀납적으로 생성된 주제는 HPE의 Z세대 학습자에 초점을 맞춘 출판된 문헌에서 생성 이론이 어떻게 적용되는지를 보여준다. 첫째, 주제 분석은 우리 샘플의 47%(16/34)에서 생성 이론이 모든 것을 설명하는 역할을 하는 [변위displacement 패턴]을 드러냈다. [변위displacement]는 [학생의 disengagement를 Z세대의 소셜 미디어에 대한 '집착'의 결과]로 설명하는 것과 같은 [본질주의적 고정관념에 의존]하지만, 우리의 샘플에서 뚜렷한 주제, 즉 [교육학적 도전을 세대 차이 및 마찰에서 기인하는 것으로 돌리는 경향]으로 나타났다. 예로는 [Z세대 학생들의 인구집단의 변화]가 있으므로 [입학 이전에 학생 불만 패턴은 이미 존재하였다]고 설명하기 위해 사용하고, [보편적으로 건전한 교육 기법]을 [Z세대에게 고유한 베스트 프랙티스]로 리프레이밍하는 것이 포함된다. 여기에는 예를 들면, 적시에 평가 결과를 돌려주고, 학습 목표, 마감일 및 학생에 대한 기대 사항을 명확하게 설명하는 것 등이 있다.
Two inductively-generated themes recurring across our sample illuminate how generation theory is applied in the published literature focusing on Gen Z learners in HPE. First, thematic analysis revealed a pattern of displacement, whereby generation theory functions as an explanatory catchall, in 47% (16/34) of our sample. Displacement relies on essentialist stereotypes, such as explaining student disengagement as the result of Gen Z’s ‘obsession’ with social media, but emerged as a distinct theme in our sample, namely the tendency to attribute any number of pedagogical challenges to generational differences and/or friction. Examples include using generational shifts in the student population to explain patterns of student dissatisfaction that predate the matriculation of Gen Z students and reframing universally sound pedagogical techniques—e.g. returning assessments in a timely manner, clearly articulating learning objectives, deadlines, and expectations for students—as best practices unique to Gen Z learners (Selingo 2018; Eckleberry-Hunt 2018; Vizcaya-Moreno and Pérez-Cañaveras 2020; Cretu 2020; Lerchenfeldt 2020; Baier 2020; Hampton 2020; Attardi 2021; Chunta 2021).

둘째, 우리 표본의 41%(14/34)의 논문은 전통적인 세대 이론의 본질화 및 다른 충동에 대해 자우레귀와 동료들의 [세대적 겸손에 대한 정의를 초과하는 방식]으로 저항했다; 우리는 이것을 [세대적 위치성generational situatedness]으로 식별했다. 한 세대로 뭉친 [각 학생들의 특이성]에 관심을 기울이고, 이 [독특성을 포착하기 위한 세대 고정관념의 무능력을 인정]하는 것을 넘어(세대별 겸손), [세대적 위치성]은 이러한 학생들이 배우는 [사회 문화, 정치, 경제적 시대 내의 모든 세대의 학생들의 요구를 맥락화]한다. 예를 들어, '세대와 사회가 진화함에 따라 [HPE] 학생들도 진화할 것이다.' 따라서 '[변화하는 학생 집단]과 동시에 이뤄지는 [기술 발전]은 교실과 경험적 환경 내에서 교육학적 접근법의 평가와 잠재적 수정을 위한 자극이 되어야 한다.' 따라서 [21세기 보건직업교육이 교육, 학습, 실천의 요구에 어떻게 대응해야 하는지]를 평가할 때 세대적 위치성은 '입학생뿐만 아니라 더 많은 전체적 기대global expectation를 검토한다'는 것을 의미한다.
Second, 41% (14/34) of the articles in our sample resisted the essentializing and othering impulses of traditional generational theory in ways that exceeded Jauregui and colleagues’ definition of generational humility; we identified this as generational situatedness. Beyond attending to the singularity of each student lumped into a single generation and acknowledging the inability of generational stereotypes to capture this uniqueness (per generational humility), generational situatedness contextualizes the needs of any generation of students within the sociocultural, political, and/or economic era in which these students learn. For example, ‘As generations and society evolve, so too will [HPE] student[s],’ therefore, ‘the changing student population and simultaneous technological advances should be a stimulus for evaluation and potential modification of pedagogical approaches within the classroom and experiential settings’ (Isaacs 2020, p. 1387). Thus, generational situatedness entails ‘examining more global expectations as well as those present in students enrolling’ (Ford 2020, p. 698) when evaluating how health professions education ought to respond to the demands of teaching, learning, and practice in the 21st century.

아우르는 테마
Overarching themes

귀납적 분석은 샘플에 포함된 각 기사를 구성하는 [대인 관계 초점] 및 [구조적 변화]를 추가로 보여주었다.

• [대인 관계 초점]을 채택한 논문은 [가정된 세대적 특성을 기반]으로 Z세대 학생들에게 [동기를 부여하고 참여시키기 위한 교육 전략 또는 모범 사례]에 초점을 맞추었다. 예를 들어, '교육 양식을 그들의 세대에 가장 적합하게 바꿈으로써 Z세대 학생들의 특정 요구를 이해하고 대응하는 것이 필수적이다.
• 대안적으로, 보건의료전문직 및 HPE의 [구조적 변화]에 초점을 맞춘 논문들은, '21세기에 학생들이 실천할 수 있도록 [커리큘럼과 교육 방법을 업데이트]하는 것'을 주시하면서, '기술의 시대와 빠르게 변화하는 사회를 따라가기 위해, 간호사 교육자들은 [전통적인 교육학적 방법을 업데이트]할 필요가 있을지도 모른다.' 라고 권고한다.

Inductive analysis further revealed the interpersonal focus and/or structural changes that framed each of the articles included in our sample.

> Articles adopting an interpersonal focus demonstrated a focus on teaching strategies or best practices to motivate and engage Gen Z students based on their assumed generational characteristics, for example, ‘it is essential to understand and respond to the specific needs of Generation Z students by altering teaching modalities to best suit their needs’ (Edwards-Maddox et al. 2021, p. 543).
> Alternatively, articles focused on structural changes centered the changing nature of the health professions, and thus HPE, with an eye to updating curricula and teaching methods to better prepare students to practice in the 21st century, including recommendations that, ‘to keep up with the era of technology and the fast-paced society, nurse educators may need to update their traditional pedagogical methods’ (Oducado 2019, p. 80).

우리의 분석은 62%에서 배타적으로 대인 관계에 초점을 맞추고 26%에서 구조적 변화에 초점을 맞췄다. 그러나 이러한 중요한 주제는 상호 배타적이지 않으며, 12%에서는 두 가지 모두의 흔적이 감지되었다. 이 두 가지 중요한 주제와 관련하여 선험적으로 생성된 주제의 빈도를 분석한 결과 HPE에서 세대 이론의 적용에 대한 통찰력이 추가되었습니다. 상대적인 빈도수는 표 2에 요약되어 있습니다. 특히, 우리는 구조적으로 초점이 맞춰진 조각에서 displacement의 빈도가 크거나 크지만, 이러한 기사에서 어느 정도 구조적 초점을 보여주는 세대 겸손과 세대적 위치의 더 큰 발생률의 증거를 발견한다.

Our analysis surfaced an exclusively interpersonal focus in 62% and a focus on structural change in 26% of our sample; these overarching themes are not mutually exclusive, however, and traces of both were detected in 12% of the articles in our sample. Analyzing the frequency of a priori and inductively generated themes relative to these two overarching themes revealed added insight into the application of generation theory in HPE; relative frequencies are summarized in Table 2. Notably, we find evidence of a greater incidence of generational humility and generational situatedness within those articles demonstrating some degree of structural focus, though the incidence of displacement is as great, or greater, in structurally focused pieces.

세대주의와 세대학습자의 개념
Generationalism and the concept of the generational learner

우리의 표본에 걸친 [본질주의]와 [세대적 타자화]의 편재성은 [세대적 학습자라는 개념이 지속되고 있다]는 증거이며, 자우레귀와 동료들의 밀레니얼 고정관념에 대한 연구로 설명된 [세대 이론의 한계]를 더욱 드러낸다. 또한 자우레귀와 동료들이 [본질주의와 타자화]라는 문제적 패턴에 대한 대안으로 제시하는 [세대적 겸손]의 발생은 고무적이다. 더 많은 [환원주의적 주제(본질주의 및 세대적 타자화)]와 공존하는 것은 [세대 학습자와 세대 이론의 문제적 고정관념]에 대한 [사회적으로 구성된 신화를 완전히 제거할 수 없다]는 것을 의미한다.
The ubiquity of essentialism and generational othering across our sample is evidence of the enduring concept of the generational learner and further reveals the limitations of generation theory explicated by Jauregui and colleagues’ study of Millennial stereotypes. Furthermore, while the incidence of generational humility, which Jauregui and colleagues present as an alternative to problematic patterns of essentialism and othering, in our sample is encouraging, its coexistence with more reductionist themes (essentialism and generational othering) implies its inability to fully debunk the socially constructed myth of the generational learner and generation theory’s reliance on problematic stereotypes.

[본질주의적 사고]는 [권력 불균형을 구체화]하고 ['연령 코호트의 지각된 차이를 고착화']하기 위해 [세대 고정관념을 발동함]으로써, [세대 이론]의 뉘앙스를 납작하게 만들어서, [인종주의, 성차별주의 또는 능력주의와 유사한 인지적 편향]인 ['세대주의']로 변화시킨다. 특히 HPE 내에서 [세대주의]는 [학습자 집단을 참여]시키기 위해 [입증되지 않은 '베스트 프랙티스'의 채택]을 장려하지만, 이것은 [건전한 교육학적 연구]보다는 [본질주의적 고정관념에 뿌리]를 두고 있다. 보건 전문 교육의 고유한 높은 이해관계를 고려할 때, 특히 인식된 [학습자 선호도를 수용하기 위한 커리큘럼 변경은 성급하게 채택되어서는 안 된다]. 그럼에도 불구하고, 우리는 우리의 샘플에 포함된 [100%의 논문에서 본질주의의 요소들을 확인]했는데, 이는 [구조보다는 고정관념에 초점을 맞춘 세대적 사고의 한계]와 [미래의 동료를 훈련시키는 방법을 개념화하는 우리의 방식]을 [근본적으로 재고할 필요성]을 시사한다. 왜냐하면 [미래에 입학할 학생 코호트의 요구를 프레임화]하기 위해 [세대 이론을 활용]한다면, 이는 분명히 [세대주의를 영구화]하기 때문이다. 
Essentialist thinking invokes generational stereotypes to reify power imbalances and ‘entrench perceived differences in age cohorts,’ thereby transforming generational theory into ‘generationalism,’ a cognitive bias akin to racism, sexism, or ableism in its tendency to flatten nuance (Jauregui et al. 2020, p. 63). Within HPE specifically, generationalism encourages the adoption of unproven ‘best practices’ for engaging a new cohort of learners rooted in essentialist stereotypes rather than sound pedagogical research. Given the uniquely high stakes of health professions education, curriculum change—particularly that meant to accommodate perceived learner preferences—ought not to be adopted hastily (Buja 2019). Nevertheless, we identified elements of essentialism in 100% of the articles included in our sample, a pattern that suggests both the limitations of generational thinking focused on stereotypes over structures and the need to radically rethink our mode of conceptualizing how to train future colleagues, as the utilization of generation theory to frame the needs of an incoming student cohort clearly perpetuates generationalism.

[문헌에서 확인된 이러한 경향]은 [진화하는 학생 집단과 고등 교육 및 HPE의 전문적인 요구]에 대한 접근법에 [거의 변화가 없음]을 보여준다. 이는 특히 자우레귀와 동료들이 '밀레니얼 학습자의 신화'를 폭로한 것과 비교하면 더 그렇다. 따라서 HPE에서 [세대 이론의 결함]은 잘 문서화되어 있지만, [세대적 분열]에 대한 논평은 HPE 교육학이 진화하는 과정에서 [지금까지도 지속적인 프레임 방법이 되어 왔고, 앞으로도 그럴 것]이다. ['복잡한 연령 관련 현상']을 [세대를 가지고 설명하는 것]은 종종 ['익숙하고 편안하며, 채택하기 쉽고, 일견 정당한 것처럼 보인다']. 그러한 이유로, HPE 및 고등 교육에 걸쳐서 [교육 정책과 교육학의 지속적인 진화]를 만들어가는 과정에서 [심지어 불완전한 세대 프레임워크]의 가치를 입증해 보이려는 많은 수의 교사, 학자 및 관리자가 아직도 남아 있다. 다른 사람들은 [세대를 세분화하는 것]이 의료 소비자 선호도의 중요한 추세를 밝힐 수 있으므로 '사회에서 증가하고 변화하는 의료 요구사항에 부합'하도록 설계된 미래 의료 커리큘럼의 개발에서 고려되어야 한다고 주장한다.
This trend in the literature demonstrates how little has changed in approaches to evolving student populations and professional demands in higher education and HPE, specifically, as compared to Jauregui and colleagues’ debunking of the ‘myth of the Millennial learner.’ Thus, while the flaws in generation theory vis-à-vis HPE are well-documented, commentaries on generational divides have been and likely will continue to be a perennial framing method as HPE pedagogy evolves. Generational explanations for ‘complex age-related phenomena’ are often ‘familiar and comfortable, … easy to adopt, and seem legitimate on their face’ (Rudolph 2021, p. 946). As such, there remains a sizeable segment of teachers, scholars, and administrators across the spectrum of HPE and higher education more broadly who attest to the value of even imperfect generational frameworks in shaping the continued evolution of educational policy and pedagogy (Twenge 2009; Selingo 2018). Others maintain that attending to generational segmentation may illuminate important trends in health care consumer preferences, and therefore ought to be considered in the development of future medical curricula designed to ‘match the growing and changing health care needs in society’ (Busari 2013, p. 345).

[세대]는 [사회적 구성]으로서, '세대 고정관념의 편재성과, 다양한 연령대의 사람들을 묘사하는데 그러한 라벨을 적용하는 것이 사회적으로 받아들여지는 특성'이기에 발생한다. 이것이 지속되는 이유는 사회학적 현상에 대한 접근 가능한 '상식적' 설명을 제공하기 때문이다. 따라서 고등교육 내외의 세대차이에 관한 문헌은 효과적인 교육학적 방법에 대한 노력을 집중하기 위해 [인간의 행동과 우리의 집단적 상태]를 [분류]하려고 시도한다. 그러나, Borges 등은 X세대와 밀레니얼 의대생들 사이에서 성격적 특성의 차이를 발견했지만, 그들은 이러한 발견이 커리큘럼 설계와 전문적인 훈련에 미치는 영향에 대해 추가 연구가 필요하다고 결론 내렸다. [세대별 성격 차이]가 [교육 및 조언 실천의 효과]에 영향을 미치는지 여부와 그 방법을 입증하는 [강력하고 종단적인 연구가 없는 한], 우리는 [[세대적 학습자]의 요구라는 가정을 충족시키기 위해 HPE를 적응시키는 데 초점을 맞추는 것]이 보건 분야에서 [[모든 공급자]가 오늘날의 의료 문제를 해결할 수 있도록 준비]시키기 위한 지속적인 교육의 필요성을 흐릿하게 만들 것이라고 경고한다. 월시와 아벨슨의 세대 간 의료 전문성 연구가 보여주듯이, [보건 전문가들]은 생물 과학과 기술의 발전, 법과 정책의 변화, 사회 정치와 문화의 변화, 그리고 더 광범위한 경제 동향과 함께 적응하고 진화한다.
Generations are social constructions that emerge from ‘the ubiquity of generational stereotypes and the socially accepted nature of applying such labels to describe people of different ages’ and persist because they offer accessible, ‘common sense’ explanations for sociological phenomena (Rudolph 2021, p. 946). Accordingly, the literature on generational differences within and beyond higher education attempts to categorize human behavior and our collective condition in order to focus efforts on effective pedagogical methods (Howe and Strauss 1997; Isaacs 2020). Yet, while Borges et al. (2006) found differences in personality traits across Generation X and Millennial medical students, they concluded that the implications of these findings for curricular design and professional training required further study. In the absence of robust, longitudinal studies demonstrating whether and how generationally specific personality differences impact the effectiveness of teaching and advising practices, we caution that the focus on adapting HPE to meet the presumed needs of generational learners obscures the necessity for ongoing education in the health professions that prepares all providers to meet today’s healthcare challenges. As Walsh and Abelson’s study of medical professionalism across the generational divide demonstrates, the health professions adapt and evolve alongside bio-scientific and technological advances (Walsh and Abelson 2008), changes in law and policy, sociopolitical and cultural shifts, and broader economic trends.

[세대적 설명]이 익숙하다는 것을 넘어, 우리의 분석은 HPE의 오랜 도전과 새로운 도전 모두를 해결하기 위해 [세대 학습자의 신화에 지속적으로 의존해온 것]은 다음과 같은 이유 때문이었을 것이다.

• [Z세대 학습자의 요구를 수용하기 위해 기존 커리큘럼을 조정하기 위한 팁]과 같은 [대인 관계 솔루션]은 [즉시 실행 가능한 것]으로 보이기 때문이다 
  
• 반면, [21세기 임상 실습에 필요한 지식과 기술을 재평가하는 것]과 같은 [구조적 해결책]은 너무나도 거창해 보이기 때문이다.

그렇다면, HPE에서 세대 이론의 미래는 무엇인가? 우리는 매 15-20년마다 학생들의 필수화와 다른 새로운 집단의 같은 패턴을 반복해야 하는 운명인가, 아니면 [끊잆없는 사회문화적 변화와 직업적 변화에 대응하는 더 생산적인 방법을 상상]할 수 있는가?

Beyond the familiarity of generational explanations, our analysis suggests the continued reliance on the myth of the generational learner to address both longstanding and novel challenges in HPE may result

• because interpersonal solutions, such as tips for adapting existing curricula to accommodate the needs of Gen Z learners, appear immediately actionable
• whereas structural solutions, such as reevaluating the knowledge and skills necessary for clinical practice in the 21st century, are dauntingly large.

What, then, is the future of generation theory in HPE? Are we doomed to repeat the same patterns of essentializing and othering new cohorts of students every 15–20 years, or can we imagine a more productive way to respond to ongoing sociocultural and professional change?

세대론을 넘어선 세대론?
Generation theory beyond generationalism?

우리는 궁극적으로 HPE에서 교육학적 도전을 프레임화하고 실용적인 해결책을 찾는 수단으로 [세대 이론으로 회귀하는 것]이 [연령주의]와 [해로운 본질주의적 고정관념]을 영구화한다고 결론짓지만, 우리는 세대 변화에 대응하는 데 초점을 [더 큰 문제가 보이는 하나의 증상]으로 인식한다: 현재의 HPE에 대한 교육과정과 교육적 접근방식은 현장에서 인식되는 변화에 적응해야 한다. [대인 관계 초점]을 주로 채택하든 [구조적 도전]을 중심에 두든, 샘플에 포함된 기사의 중요한 주제를 식별하는 데 초점을 맞추는 것은 [HPE에서 세대 이론의 적용]을 숙고해보고, [가능하다면 거기서 벗어날 수 있는 새로운 관점]을 제시한다. 
While we ultimately conclude that the (re)turn to generation theory as a means of framing pedagogical challenges and seeking practical solutions in HPE perpetuates ageism and harmful, essentializing stereotypes, we recognize the focus on responding to generational changes as a symptom of the larger problem: that current curricular and pedagogical approaches to HPE must adapt to perceived changes in the field. Our focus on identifying the overarching themes of the articles included in our sample, whether they adopt primarily an interpersonal focus or center structural challenges, invites a new perspective through which to contemplate the application of—or, preferably, the move away from—generation theory in HPE.

• 한 쪽에서 보면, [구조적 변화]에 초점을 맞춘 기사 내의 상대적으로 높은 빈도로 [변위displacement]가 등장하는 것은, [커리큘럼 및 교육학적 변혁의 구조적 원동력structural drives]에 맞추어진 HPE 출판물조차도, 여전히 무의식적으로 [Z세대의 고유한 요구(필수주의적 접근법)] 또는 [결함의 관점(세대적 타자화 방식)]으로 이러한 문제를 프레임할 수 있음을 시사한다 
• 다른 쪽에서 보면, [구조적 변화]와 관련된 출판물에서 [세대적 겸손]과 [세대적 위치성]이 더 높은 빈도로 나타나는 것은 HPE와 실천에 영향을 미치는 [사회적, 경제적, 제도적 힘에 참여하는 것]이 세대 이론의 함정에 대한 효과적인 균형일 수 있음을 시사하며, 교육자로 하여금 미래의 동료들에게 [빠르게 발전하는 분야에서 practice를 하는 데 필요한, '관련성있고 효과적인 교육'을 제공할 수 있게 한다. 

On the one hand, the relatively high frequency of displacement within articles focused on structural changes suggests that even HPE publications attuned to the structural drivers of curricular and pedagogical transformation may still unwittingly frame these challenges in terms of Gen Z’s unique needs (an essentialist approach), or faults (by way of generational othering).

On the other hand, the greater incidence of generational humility and generational situatedness in publications concerned with structural changes suggests that attending to the social, economic, and institutional forces impacting HPE and practice may be an effective counterbalance to the pitfalls of generation theory, allowing educators to provide future colleagues with the relevant, effective training needed to practice in a rapidly evolving field.

학생이나 HPE 내의 광범위한 변화에 적응할 수 있도록 교육자를 준비시키기 위한 문헌의 중요한 목표를 식별하는 것은 [세대 차이]에 의존하는 연구의 추진력과 근거를 풀기 시작한다. 학계는 새로운 지식의 창조를 담당하고 있으며, 인간의 상태를 설명하기 위해 편리하고 접근 가능한 방법을 끊임없이 요구한다. [문화, 역사, 그리고 인간 행위자라는 별자리]는 연구 자체가 위치하는 교차점이며, 따라서 위에서 설명한 [세대적 위치성]이다. [세대적 위치성]을 보여주는 작가들은 그들의 내용과 방법에서 [예측적이고 미래지향적]일 뿐만 아니라, 그들의 [주제에 대한 역사적, 문화적 영향]에 대해 더 의식하고 있으며, 지금 이 순간을 더 면밀하게 알고 있다. [세대적 위치성]는 [변화하는 학생 인구에 적응하는 것]보다 [변화하는 시간에 맞춰 진화 것]에 중심을 두는 인식된 세대 분열에 대한 반응을 알려준다 —세대 이론에 대한 구조적 대 대인 관계적 접근법. 
Identifying the literature’s overarching aims—to prepare educators to adapt to students or broader changes within HPE—begins to unravel the impetus and rationale for studies that rely on generational differences. Academia is tasked with the creation of new knowledge, and constantly requires convenient and accessible ways to describe the human condition. This constellation of culture, history, and human actors are intersections where research situates itself, hence the generational situatedness described above. Authors who demonstrate generational situatedness are more aware of the historical and cultural impingements on their subject, conscientious in the present moment, as well as predictive and future-oriented in their content and methods. Generational situatedness informs responses to a perceived generational divide that center evolving to meet the changing times over adapting to a changing student population—a structural vs. interpersonal approach to generation theory.

궁극적으로, [한 세대를 다음 세대로부터 다소 자의적으로 분할하는 것]은 우리에게 고작 [한 개인이 태어난 때가 언제인가]를 알려줄 뿐이다; 사회 심리학자 Jean M Twenge에 따르면, '세대'를 이렇게 '다른 시기의 사회 문화적 환경에 대한 유용한 대리지표'로 이해한다면 [전문직 학생들이 성공을 위해서 무엇이 필요한가]에 대한 귀중한 통찰을 제공할 수 있을지 모르지만, 우리는 HPE 기관들이 [본질적으로 본질화하는 세대 이론을 배제]하고, 대신 [새로운 세대의 학생들의 추정된 요구]보다 [의료 및 고등 교육의 변화하는 본질에 적응]하는 데 초점을 맞추도록 권장한다.

Ultimately, the somewhat arbitrary partitioning of one generation from the next tells us little more than when an individual was born; while this understanding of a ‘generation’ as, per social psychologist Jean M. Twenge, a ‘useful proxy for the sociocultural environment of different time periods’ may offer valuable insight into what professional students need to be successful, we encourage HPE institutions to dispense with generation theory, which is inherently essentializing, and focus instead on adapting to the changing nature of healthcare and higher education, rather than the supposed needs of a new generation of students (Twenge 2017, p. 399).

[세대 차이]는 [특정한(그리고 사회적으로 구성된) 기간에 태어난 사람들이 고유한 본질적이고 내재적인 특성]보다는 [사회 문화적 환경 내에서 개인의 위치]에 기인한다. 따라서, 교육자들은 다가오는 보건 전공 학생들을 효과적으로 가르치기 위해서는 [Z세대를 이전의 코호트와 구별하는 것]이 [1995년과 2012년 사이에 태어난 사람들 사이에서 근본적으로 다른 것]이 아니고, 그 중심에는 ['현대 문화의 반영']이 있다는 이해에서 출발해야 한다. 따라서 HPE가 세대 이론을 완전히 포기하도록 설득할 수 없다면, [세대주의]보다는 [세대적 위치성]이라는 렌즈를 통해 새로운 도전을 맥락화할 때 이익을 얻을 것이다. 
Generational differences result from an individual’s situatedness within a sociocultural milieu rather than essential, intrinsic qualities unique to those born within a specified—and socially constructed—time frame. Thus, to effectively teach incoming health professions students, educators must start from an understanding that what distinguishes Gen Z from previous cohorts is, at its core, a ‘reflection of contemporary culture’ (Twenge 2009) and not something fundamentally, innately different about those born between 1995 and 2012. Thus, it follows that HPE would benefit from contextualizing novel challenges through the lens of generational situatedness rather than generationalism if they cannot be convinced to abandon generation theory altogether.

[세대의 사회적 구성]과 [세대 '이론'을 영속시키는 매력]을 존중하면서도, [세대적 위치성]는 [한 시대를 정의하는 경제적, 정치적, 사회 문화적, 역사적 순간]을 [모든 구성원이 유사하게 경험하고 영향을 받지 않을 것]이며, 이러한 [획기적인 순간들이 우리 사회의 가장 어린 구성원들에게만 영향을 미치는 것도 아니라는 것]을 우리에게 상기시킨다. 예를 들어, 코로나와 기술 발전이 [연령, 경제 계층, 연령, 인종 등]에 따라 [어떻게 다양한 방식으로 모든 환자와 제공자에게 영향을 미치는지]를 고려하도록 범위를 확장하면 HPE의 미래에 대한 더 생산적인 대화가 열린다.

Honoring the social construction of generations and the perennial allure of generation ‘theory,’ generational situatedness reminds us that not all members of an age cohort will experience and be affected by the economic, political, sociocultural, or historical moments that define an era similarly, nor do these epochal moments influence only the youngest members of our society. Broadening our scope to consider how COVID and technological advancements, for instance, impact all patients and providers in myriad ways unique to their age, economic class, age, race, and etc., opens more productive conversations about the future of HPE.

우리는 [보건 전문 교육자들]에게 [HPE에서 세대주의를 무분별하게 적용하는 것]을 비판하고, 보건 전문 학생들(그리고 기성 의료인]들이 [지속적으로 진화하는 전문직업적 풍경에서 practice할 수 있도록 준비하는 것]을 목표로 [교육을 조정할 때], [세대적 위치성]를 [세대적 겸손]의 필수적인 보완물로 채택할 것을 촉구한다.

• '준비 안 된' 학생들의 '징징거림'을 한탄하기보다는, 우리의 보건의료전문직 훈련 프로그램이 [더 다양한 학생들에게 접근가능하고 포용적이게 보장함]과 동시에, 우리의 [학습 목표와 전문적 기대]를 명확히 하는 기회로 삼자. 
  
• [짧은 집중력과 테크놀로지에 대한 집착]을 한탄하기보다는, [교육 테크놀로지을 활용하여 교육 및 학습을 보다 능동적이고 매력적으로] 만드는 동시에, [새로운 테크놀로지가 현대 의료행위에 어떻게 통합되는지 모델링하는 새로운 방법]에 대해 알아보자.
  
• 요즘 학생들이 지나치게 '불안해하고' '위험을 회피한다'고 치부하기보다는, 미래의 의료 전문가들이 커리어의 성취를 이룰 수 있도록, 번아웃과 학자금 대출 부채에 대해 힘든 대화를 나누자.

We urge health professions educators both to critique the facile application of generationalism in HPE and to adopt generational situatedness as a necessary complement to generational humility as they adapt their teaching with the aim of preparing health professions students—and established providers—to practice in a constantly evolving professional landscape.

• Rather than lament the ‘neediness’ of ‘underprepared’ students, let’s take this as an opportunity to clarify our learning goals and professional expectations, at the same time ensuring that our health professions training programs are accessible and inclusive to a wider diversity of students.
• Rather than bemoan short attention spans and an obsession with technology, let’s explore novel ways to leverage educational technology to make teaching and learning more active and engaging, while also modeling how new technologies are integrated into contemporary healthcare practice.
• Rather than dismiss this generation of students as overly ‘anxious’ and ‘risk-averse,’ let’s have hard conversations about burnout and student loan debt so that we can best prepare future healthcare professionals for fulfilling careers.

만약 우리가 [세대적 학습자의 신화를 포기하는 것]을 거부한다면, 적어도 [세대적 위치성]을 실천하기 위해 노력하고, 우리의 교육학적 관행의 변화에 대한 [구조적 동인structural driver]에 더 완전히 관심을 기울이도록 하자.
If we refuse to relinquish the myth of the generational learner, let us at least strive to practice generational situatedness and more fully attend to the structural drivers of change in our pedagogical practices.

한계
Limitations

우리는 현재 HPE 문헌에 대한 분석의 한계를 인정한다. 첫째, 우리 샘플의 대부분의 기사는 학부 간호학 문헌에서 나왔다. 이는 Z세대가 바칼로레아 후 보건 전문가 프로그램에 도착하기 전 평균 4년 동안 바칼로레아 간호 프로그램에 도착했기 때문에 예상되는 것이다. 따라서 이 분야에서 출판을 위한 진전된 시작이 있을 것이다. 그러나 젊고 큰 간호 코호트의 교훈의 적용 가능성은 의료 및 약학 교육을 포함한 모든 수준의 보건 전문가 훈련에 적용되지 않을 수 있다.
We acknowledge limitations of our analysis of current HPE literature. First, the majority of articles in our sample came from undergraduate nursing literature. This is to be expected, as Gen Z arrived in baccalaureate nursing programs on average four years before arriving in post-baccalaureate health professions programs, so there would be an advanced start to publishing in that field. However, the applicability of lessons of a younger and larger nursing cohort may not be applicable to all levels of health professions training, including medical and pharmacy education.

둘째, COVID-19 대유행이 시작된 후 사회적으로 멀리 떨어진 세계에서 필요한 변화에 대응하여 여러 Z세대 기사가 작성되었다. 교육자들이 유행병 학습 환경을 탐색하는 동안 기술적으로 숙련된 가상 학습자 세대를 가정할 가능성이 높기 때문에 이러한 초점은 본질주의와 세대 다른 요소를 증가시킬 수 있다. 마지막으로, 작가, 평론가, 그리고 코더로서 우리 자신은 모두 같은 대학 내에서 일하는 백인 중산층 밀레니얼 세대이기 때문에 본질주의적인 사고를 하는 경향이 있을 수 있다. 우리는 루빅 코딩을 적용하여 우리 고유의 편견을 인식하고 허들링하려고 시도했지만, 우리의 주관적 해석은 여전히 우리 자신의 사각지대를 위한 여지를 남길 수 있다.
Second, several Gen Z articles were written after the onset of the COVID-19 pandemic, often in response to necessary changes in a socially-distant world. This focus could augment elements of essentialism and generation othering as educators were more likely to assume a generation of technically-proficient, virtual learners while navigating the pandemic learning environment. Finally, as authors, reviewers, and coders we ourselves may be prone to essentialist thinking, as we are all white, middle-class Millennials working within the same university. We attempted to recognize and hurdle our own inherent biases by applying rubric coding, however our subjective interpretations may still leave room for our own dead angles.

Purpose: Use of generation theory is pervasive within health professions education (HPE) literature, yet its application perpetuates unfounded generalizations that disadvantage learners. The objectives of this thematic analysis are first, to understand how generation theory is applied to 'Generation Z' HPE students and second, to propose a more productive framework for approaching evolutions within HPE.

Methods: A literature search was conducted to identify HPE publications pertaining to Gen Z learners. A thematic analysis was undertaken to identify a priori themes and uncover new themes.

Results: Qualitative analysis revealed evidence of three a priori themes as well as four newly identified themes across our sample.

Conclusion: The near ubiquity of essentialism and generational othering across our sample illustrates the ongoing challenges posed by generationalism in HPE discourse. While traces of generational humility and generational situatedness suggest a more holistic response to evolving student populations, we nevertheless discourage the continued use of generation theory to guide HPE pedagogy and instead urge educators to resist essentializing generalizations by thinking comprehensively about what evolutions in HPE must occur if we are to best prepare our students to practice in present and future healthcare settings.[Box: see text].

Problem: Reflection is a critical skill for all physicians, but some busy medical students describe themselves as "unreflective." The authors sought to provide all third-year medical students at the Medical College of Wisconsin (MCW) with opportunities to explore seminal clinical and personal moments through reflective writing during workshops on preparing a personal statement for the Electronic Residency Application Service.

Approach: The authors developed and facilitated semiannual 1.5- to 2-hour sessions (January and June) for MCW third-year medical students (about 200 per class), pairing information on personal statements with reflective writing and group reflection activities. Students wrote reflectively but were not required to share their writing with peers or faculty. They discussed insights gleaned during the writing process in small groups and with the class. They completed pre- and postsession questions on an anonymous questionnaire.

Outcomes: Eight all-class sessions were held between January 2015 and June 2018. Students completed 1,139 of 1,600 questionnaires (completion rate of approximately 71%). They misperceived their peers' views of reflective activities. Twice as many students agreed their peers felt writing, reflective, and narrative exercises were a waste of time as they themselves did (39% vs 19%). While 42% entered the session comfortable with creative writing, 57% were surprised by the amount, quality, and/or insight of their writing during the session and 77% agreed the session helped them think more clearly about clinical encounters. Students who believed reflective writing was a waste of time were more likely to believe their peers felt that also, and they were less likely to believe the session helped them reflect on clinical experiences. Most written comments were positive.

Next steps: To expose students to narrative medicine techniques, the authors added a close-reading exercise and shortened the reflective writing activity in 2019, hoping this would better equip all students for their journeys.

서구 세계에서 의학 분야에서 여성의 대표성이 증가하고 있으며, 경우에 따라서는 동등함에도 불구하고, 여성들은 그들의 경력 향상에 있어 상당한 사회 문화적, 구조적 장애에 계속 직면하고 있다. 여성은 남성에 비해 의료 분야에서 직무 만족도가 낮고, 소진율이 높으며, 임금 불평등을 경험한다[2,3,4]. 전 세계적으로, 여성 의사들은 또한 학문적 경력을 추구하거나, 지도자 자리를 얻거나, 승진할 가능성이 적습니다 [5,6,7,8]. 그러나 불평등은 단일-이슈 현상이 되는 경우가 거의 없다. 증거에 따르면 그러한 도전은 의사 대표가 부족한 여성(UWiM)에게 복합적으로 작용한다. 예를 들어, 2009년과 2018년 사이에 미국 의과대학의 전체 전임 여성 교수진의 비율이 꾸준히 증가했지만, 대표가 부족하다고 간주되는 인종 또는 민족 출신 여성의 비율은 13%로 정체되었다[6].  
Despite growing—and in some cases equal—representation of women in medicine across the Western world [1], women continue to face significant sociocultural and structural impediments to the advancement of their careers. Compared with their male counterparts, women experience lower job satisfaction, higher rates of burnout, and wage inequity in medicine [2,3,4]. Globally, women physicians are also less likely to pursue academic careers, attain leadership positions, or be promoted [5,6,7,8]. Inequity is rarely a single-issue phenomenon, however. Evidence suggests that such challenges are compounded for underrepresented women in medicine (UWiM). For example, although the overall proportion of full-time women faculty in US medical schools has increased steadily between 2009 and 2018, the percentage of women from a race or ethnicity considered to be underrepresented has stagnated at 13% [6].

최근의 형평성, 다양성 및 포용 노력은 부분적으로 의학에서 [과소 표현되는 것이 수반하는 복잡성]에 주의를 기울이지 않기 때문에 이러한 도전을 완화하지 못했다[9]. 예를 들어, "과소대표"의 개념화는 기관마다 매우 다양하다[10].

• 일부는 URiM을 "일반 인구의 수에 비해 의료 직업에서 과소 대표되는 인종 및 민족 인구"로 개념화하면서 AAMC의 정의를 그대로 채택한다[11].
• 다른 사람들은 URiM을 "인종, 민족, 사회경제적 지위, 건강 상태 또는 장애와 같은 개인적 특성이 의식적 또는 잠재의식적 편견이나 차별의 위험에 처한 개인"을 포함한다고 해석한다[10].
• 캐나다 의학부 협회(AFC)는 URiM에 대한 공식적인 정의를 가지고 있지 않다. 그럼에도 불구하고 AFMC 지도부는 프로그램이 원주민, 여성, 장애인 및 가시적 소수자를 포함한 지정 지분 그룹을 어떻게 지원하고 있는지를 측정하는 데 도움이 되는 "캐나다 의대를 위한 형평성 및 다양성 감사 도구"를 개발했다[12].

Recent equity, diversity, and inclusion efforts have not eased these challenges, in part because efforts do not attend to the complexities of what being underrepresented in medicine (URiM) entails [9]. For instance, conceptualizations of “underrepresented” vary widely across institutions [10].

• Some adopt the Association of American Medical Colleges definition verbatim, conceptualizing URiM as “racial and ethnic populations that are underrepresented in the medical profession relative to their numbers in the general population.” [11].
• Others interpret URiM to include “individuals whose personal characteristics, such as race, ethnicity, socioeconomic status, health condition, or disability, place them at risk for conscious or subconscious bias or discrimination” [10].
• In Canada, the Association of Faculties of Medicine of Canada (AFMC) does not have a formal definition of URiM. Nevertheless, AFMC leadership developed “the Equity and Diversity Audit Tool for Canadian Medical Schools” to help programs gauge how they are supporting designated equity groups, including Aboriginal peoples, women, persons with disabilities, and visible minorities [12].

URiM에 대한 [보다 광범위한 정의]는 지금까지 의료 교육 맥락에서 간과되고 충분히 탐구되지 않았던 가시적 및 보이지 않는 마커를 탐색하는 것의 [오랜 복잡성]에 고개를 끄덕인다[13]. 그러나 진정으로 의미가 있기 위해서는, [과소 표현의 정의]가 또한 어떻게 [가시적이고 보이지 않는 과소 표현된 정체성을 여러 개 갖는 것]이 [역사적으로 남성 우위적이고 이성적이며 유럽 중심적인 직업]에서 배우고 일하는 사람들을 위한 [소외를 복합할 수 있는지] 설명해야 한다. 1989년 페미니스트의 비판적 인종 학자인 킴벌레 크렌쇼는 [성별과 인종의 교차]로 인해 [흑인 여성]이 [[백인 여성]과 [흑인 남성]을 더한 것]보다 더 큰 차별을 경험한다는 사실을 설명하기 위해 [교차성]이라는 용어를 도입했다[16]. [젠더, 인종 또는 민족]을 [사회적 및 제도적 권력으로부터 분리]된 [단일monolithic 정체성]으로 접근하는 것은 "굴복이 중첩되는 시스템 내에서 그리고 페미니즘 및 반인종주의의 가장자리"에 위치할 수 있는 사람들을 효과적으로 지원하지 못할 위험이 있다[16]. 
More expansive definitions of URiM nod to the long-recognized complexities of navigating both visible and invisible markers [13], that have, so far, been overlooked and underexplored in the medical education context. However, to be truly meaningful, definitions of underrepresentation must also account for how having multiple visible and invisible underrepresented identities may compound marginalization for those learning and working in a historically male-dominant, heteronormative, and Euro-centric profession [14, 15]. In 1989, Kimberlé Crenshaw, a feminist critical race scholar, introduced the term intersectionality to account for the fact that, because of the intersection of their gender and race, Black women experience greater discrimination than both white women and Black men [16]. Approaching gender, race, or ethnicity as monolithic identities divorced from social and institutional power risks failing to effectively support those who may be located both “within overlapping systems of subordination and at the margins of feminism and antiracism” [16].

그들이 [UWiM이 되는 것의 의미와 영향]을 완전히 이해하지 못하는 한, 기관과 개인 의료 교육자들은 UWiM 교육생들의 개인적이고 전문적인 요구를 지원하기 위해 고군분투할 것이다. 의학 교육 학자들은 뉘앙스를 점점 더 요구하고 있지만, [과소 표현의 복잡성]은 여전히 탐구되지 않고 있다. 지금까지 우리가 아는 것은 [인종차별이나 성차별의 범위]를 정량화하는 데 초점을 맞추고 있다[19, 20]; 그러한 과소표현의 경험이 의사로서의 UWiMs의 인식에 [어떻게] 영향을 미치는지를 설명한 연구는 거의 없다. 이러한 이해에 따라 형평성, 다양성, 포용성 작업이 좌우되기 때문에 여성 교육생들이 의학에서 과소대표 개념을 어떻게 개념화했는지, 그들의 경험이 그들이 구상하는 진로에 어떤 영향을 미쳤는지를 조사하기 위해 정성적 탐구를 진행했다. 
Unless they have a fulsome understanding of the meaning and impact of being UWiM, institutions and individual medical educators will struggle to support the personal and professional needs of UWiM trainees. Medical education scholars are increasingly calling for nuance, yet the complexities of underrepresentation remain underexplored [17, 18]. So far, the little we know focuses on quantifying the scope of racism or sexism [19, 20]; few studies have elucidated how such experiences of underrepresentation influence UWiMs’ perception of themselves as physicians [21,22,23,24]. Since equity, diversity, and inclusion work depends on such an understanding, we conducted a qualitative exploration to investigate how women trainees conceptualized underrepresentation in medicine and how their experiences influenced their envisioned careers.

모든 연구 절차는 교육 프로그램과 관련된 두 개의 학술 기관(의전 #H-05-20-5708 및 #M16-20-036)의 기관 연구 윤리 위원회에 의해 승인되었다.
All study procedures were approved by Institutional Research Ethics Boards at two academic institutions affiliated with the training program (Protocols # H-05-20-5708 and # M16-20-036).

모집
Recruitment

모집은 2020년 6월부터 9월까지 진행되었다. YAH와 FN은 부서 목록을 사용하여 캐나다의 가정의학 대학원 교육 프로그램에 등록된 모든 연수생(n = 159)에게 채용 이메일을 보냈다. 정의에 대한 합의가 부족하고 캐나다의 의료 연수생 인구 통계에 대한 데이터가 부족하다는 점을 고려하여[25], 우리는 대표성 부족을 정의하지 않기로 결정했다. 대신, 우리는 참가자들이 인종이나 민족뿐만 아니라 성 정체성, 성, 종교, 나이, 신체적 체격, 장애(보이는 것 또는 보이지 않는 것) 또는 사회경제적 지위(SES)와 같은 특성에 근거하여 UWiM으로 스스로 식별하도록 초대했다. 
Recruitment took place between June and September 2020. Using a departmental list, YAH and FN sent a recruitment email to all trainees (n = 159) enrolled in a family medicine postgraduate training program in Canada. Given the lack of consensus around definitions and the dearth of data on medical trainee demographics in Canada [25], we elected not to define underrepresentation. Instead, we invited participants to self-identify as UWiM based not only on race or ethnicity, but also on characteristics such as gender identity, sexuality, religion, age, physical build, disability (visible or invisible), or socioeconomic status (SES).

데이터 수집
Data collection

우리는 풍부한 데이터를 생성하기 위해 "참가자들이 서로의 인식을 피드백하는" 방법인 그룹 인터뷰를 사용하여 데이터를 수집했습니다 [26, 페이지 100]. 그룹 인터뷰는 또한 YAH와 FN의 학술적 작업과 COVID-19 팬데믹 동안 UWiM 훈련생의 참여를 촉진했다. 구체적으로 연수생들의 학업일이 끝날 때 집단면접을 추가하는 것은 임상업무의 중단을 최소화하면서 여러 관점을 수집하는 이상적인 방법이었다. 
We collected data using group interviews, a method where “participants feed off of each other’s perceptions”[26, p. 100] to generate rich data. Group interviews also facilitated both the scholarly work of YAH and FN and the participation of UWiM trainees during the COVID-19 pandemic—a global emergency disproportionately affecting women, particularly those identifying as underrepresented. Specifically, adding group interviews at the end of trainees’ academic day was an ideal method of collecting multiple perspectives with minimum interruption to their clinical duties.

10명의 연습생들이 YAH가 이끄는 3개의 그룹 인터뷰 중 하나에 참여하는 것에 동의했다. 코로나19 제약 때문에 고투미팅을 이용해 단체 인터뷰를 진행했다. 각 인터뷰는 2-5명의 참가자가 참여했으며 45분에서 140분 사이에 진행되었다. 반구조화된 가이드를 사용하여 YAH는 대화를 안내하기 위해 다음과 같은 중요한 질문을 제시했다. 
Ten trainees consented to participate in one of three group interviews led by YAH. Because of COVID-19 restrictions, group interviews were conducted using GoToMeeting. Each interview was attended by 2–5 participants and lasted between 45 and 140 min. Using a semi-structured guide, YAH posed the following overarching questions to guide conversations:

1. 1. 무엇이 당신을 UWiM이라고 정의합니까?
   
2. 2. UWiM 정체성이 지금까지 훈련 경험에 어떤 영향을 미쳤습니까?
   
3. 3. UWiM 정체성이 환자 및 의료 팀의 다른 구성원과의 상호 작용에 어떤 영향을 미쳤습니까?
   
4. 4. UWiM으로서의 경험이 직업이나 직업 선택에 어떤 영향을 미친다고 생각하십니까?
5. 1.What defines you as UWiM?
6. 2.How has your UWiM identity influenced your training experience thus far?
7. 3.How has your UWiM identity impacted your interactions with patients and other members of the healthcare team?
8. 4.How do you perceive your experiences as a UWiM influence your professional or career choices?

모든 그룹 인터뷰는 NVivo 자동 전사 소프트웨어를 사용하여 오디오 녹음 및 전사되었다[27]. YAH와 FN은 녹취록의 정확성과 익명성을 보장했다. 
All group interviews were audio-recorded and transcribed using NVivo automated transcription software [27]. YAH and FN ensured the accuracy and anonymization of transcripts.

데이터 분석
Data analysis

성찰적 주제 분석에 대한 브라운과 클라크의 [28] 6단계 접근법에 따라 팀원들은 독립적으로 대본을 읽고 데이터에 익숙해졌다. 다음으로, YSA는 일련의 팀 미팅을 통해 개선되고 확정된 예비 주제를 식별하기 위해 선택적 코딩에 참여했다. 마지막으로, YAH와 YSA는 전체 데이터 세트를 재코딩했다. 분석 과정 전반에 걸쳐, 팀 구성원들은 데이터 패턴을 식별하여 의학에서 과소 표현된 참가자들의 경험을 이해하는 것을 목표로 점점 더 해석적인 분석 '스토리라인'을 구성했다. 
Guided by Braun and Clarke’s [28] six-phased approach to reflexive thematic analysis, team members independently read transcripts to familiarize themselves with the data. Next, YSA engaged in selective coding to identify preliminary themes that were refined and finalized over a series of team meetings. Finally, YAH and YSA re-coded the entire dataset. Throughout the analytical process, team members identified data patterns, constructing increasingly interpretive analytical ‘storylines’ aimed at understanding participants’ experiences of underrepresentation in medicine.

데이터 분석은 참가자의 관점을 중앙 집중화하는 [Anderson이 설명한 페미니스트 인식론]을 사용하여 inform되어졌습니다 [29]. 데이터를 연역적으로 분석하기 위해 선행 이론 프레임워크를 사용하지 않았지만, 우리는 [임계 인종 이론]과 [교차성]에 민감했다[16, 30, 31]. 구체적으로, 우리는 참가자들이 자신의 정체성을 개념화하는 방법, 자신의 정체성을 인식하는 것이 훈련 경험에 어떻게 영향을 미쳤는지, 그리고 그러한 경험을 탐색하는 것이 전문가로서의 자아 인식과 그들이 구상하는 미래의 실천에 어떻게 영향을 미쳤는지에 대해 들었다.
Data analysis was informed using the feminist epistemology described by Anderson, which centralizes participants’ perspectives [29]. Although we did not use an a priori theoretical framework to deductively analyze the data, we were sensitized to critical race theory and intersectionality [16, 30, 31]. Specifically, we attended to how participants conceptualized their identities, how they perceived their identities influenced their training experiences, and how navigating such experiences affected their self-perceptions as professionals and their envisioned future practice.

반사율
Reflexivity

각 연구자의 개인적이고 전문적인 경험이 분석 과정에 어떻게 영향을 미칠 수 있는지 사려 깊게 고려하는 과정인 반사성은 질적 엄격성의 핵심 요소이다[32]. 우리는 풍부한 반사 계정을 전자 보충 자료의 표 1에 포함시켰다.
Reflexivity—a process of thoughtfully considering how each researcher’s personal and professional experiences might influence the analytical process—is a key component of qualitative rigor [32]. We have included a rich reflexive account in Table 1 of the Electronic Supplementary Material.

참가자들은 다양한 범위의 정체성에 기초하여 UWiM으로 확인되었다(그림 1). 참가자의 절반은 국제 의학 졸업생이었고 절반은 영어를 모국어로 보고했다. 8명의 참가자들은 인종, 민족(때로는 이름이나 억양으로 유추하기도 한다), 또는 히잡과 같은 종교적 상징 때문에 [가시적 소수집단]의 일원이라고 보고했다. 소외감을 느끼는 데 기여한 다른 [비가시적 정체성]에는 성적 지향, 종교, 낮은 SES, 정신 건강, 이민 지위, 모성이 포함되었다. 그들의 익명성을 보호하기 위해, 우리는 종종 교차하는 참가자들의 신원에 대한 추가적인 설명적 세부사항을 제공하지 않았다. 
Participants identified as being UWiM based on a diverse range of identities (Fig. 1). Half of participants were international medical graduates and half reported English as their first language. Eight participants reported being a member of a visible minority because of race, ethnicity (sometimes inferred from one’s name or accent), or religious symbols such as the hijab. Other invisible identities that contributed to feeling marginalized included sexual orientation, religion, low SES, mental health, immigration status, and motherhood. To protect their anonymity, we have not provided additional descriptive details about participants’ often-intersecting identities.

눈에 보이든 보이지 않든 참가자의 정체성은 그들이 [전문직profession 전반에 걸쳐 친숙하고, 기대되거나, 일반적으로 받아들여지는 것]과 다르다는 보편적인 자기 인식(타자성otherness이라고 정의된 개념)을 낳았다[33]. 그러나, 참가자의 신원 표시가 보이는지 여부에 따라 다른 것의 경험과 시사점이 다르게 나타났다. 예를 들어, 인종차별을 당했거나 종교적 상징을 착용한 사람들은 명백한 차별 사례를 보고할 가능성이 더 높았다. 
Participants’ identities, whether visible or invisible, resulted in a universal self-perception that they were different from what was familiar, expected, or generally accepted across the profession—a concept defined as otherness [33]. However, the experience and implications of otherness appeared to differ depending on whether participants’ identity markers were visible or not. For instance, those who were racialized or who wore a religious symbol were more likely to report overt instances of discrimination:

"저는 유색인종이기 때문에 환자들이 저로부터(지역 병원 두 곳)의 치료를 거부했습니다. 이로 인해 학습 기회가 사라지고 현장에서 이를 처리하는 방법을 모르는 직원들과의 상호 작용이 매우 어색해졌습니다."(P1, GI1)
“I’ve had patients refuse care from me at (two local hospitals) because I’m a person of colour. And that’s taken away learning opportunities and made for really awkward staff interactions who don’t know how to deal with that on the floor.” (P1, GI1)

반대로, [민족성, 성적 지향 또는 낮은 SES]와 같은 [덜 명백한 정체성 표지]를 가진 사람들은 그것의 직접적인 표적이 되기보다는 [편협한 행동을 목격]할 가능성이 더 높았다. 예를 들어, 혼합 인종으로서 "눈에 띄이지" 않은 참가자(P9, GI3)는 코로나바이러스 팬데믹의 맥락에서 동료들의 반중국 정서를 목격했다. 그녀는 다음과 같이 언급함으로써 동시에 다른 것과 겉으로 소속됨으로써 발생하는 해를 캡슐화했다.

Conversely, those with less readily apparent identity markers such as ethnicity, sexual orientation, or low SES were more likely to witness intolerant behaviour rather than be directly targeted by it. For example, a participant who did not “read as visibly” (P9, GI3) of mixed race witnessed anti-Chinese sentiment from colleagues in the context of the coronavirus pandemic. She encapsulated the harm caused by being simultaneously othered and outwardly belonging by noting:

"그런 정체성이 더 숨겨져 있다는 것은 많은 사람들이 내가 웃거나 그것에 동조할 것이라고 가정할 때, 실제로는 그것이 나에게 정말로 상처를 주거나 모욕적일 때 특정한 논평이나 농담을 하게 만들었다는 것이 흥미롭다." (P9, GI3) 
“It’s interesting that having those identities being more hidden has caused a lot of people to make certain comments or certain jokes, assuming I’m going to laugh or go along with it, when in reality, that’s really hurtful or offensive to me.” (P9, GI3)

[타자성]은 임상 작업장의 [명백한 차별]뿐만 아니라, 참가자들이 [누구나 자기에게 잠재적 위협이 될 수 있다고 가정]하도록 자극한 지금까지의 삶의 경험에서 비롯되었다. 레즈비언이라고 밝힌 한 참가자는 비록 그녀가 환자와 충격적인 만남을 가진 적은 없지만, [동성애 혐오증이 만연하다는 것]은 [그녀가 누구든지 그녀에게 해를 끼칠 수 있다고 가정해야 한다는 것]을 의미한다고 설명했다. 그녀는 자신을 표적으로 삼을 수 있는 사생활의 측면을 언제 어떻게 숨겨야 할지 곰곰이 생각해 보았다.
Otherness resulted not only from overt discrimination in clinical workplaces, but also from prior life experiences, which primed participants to assume that anyone could be a potential threat. One participant identifying as lesbian described that, although she had not had a traumatic encounter with a patient, the pervasiveness of homophobia meant that she had to assume anyone could cause her harm. She ruminated on when and how to hide aspects of her personal life that might make her a target:

"저는 모든 환자와의 상호작용을 할 때 이러한 계산을 하고 있습니다… [제 아내에 대해 이야기하는 것이] 그들이 저를 어떻게 생각하는지에 영향을 미칠까요? 그것은 당신이 마음 한구석에서 하고 있는 정신적인 일일 뿐이다."(P7, GI2)
“I am doing those calculations with every patient interaction … Will [talking about my wife] affect how they think of me? It’s just the mental work that you’re doing in the back of your mind.” (P7, GI2)

실제로 모든 참가자는 [차별을 예상]하고 실제 또는 인식된 위협에 대한 [방어적 행동을 가정]하는 데 상당한 시간과 에너지를 소비했다. 많은 참가자들이 임상 환경에서 종교적 신념을 공개하는 것에 대해 우려를 표명했기 때문에, [종교]는 신분 표시기의 가시성 또는 투명성이 잠재적으로 해로운 경험을 조작하는 참가자들의 능력에 어떻게 다양하게 영향을 미쳤는지를 보여주는 중요한 예이다. 예를 들어, [성적 지향을 비공개로 함]으로써 잠재적 동성애 공포증에 반응한 참가자 7처럼, 참가자 4는 매우 유감스럽게도 환자를 advocating하는 것을 자제했다. 왜냐하면 [공통된 종교적 믿음을 드러내는 것]이 자신의 능력에 대한 인식을 편향시킬 것을 두려워했기 때문이다:
Indeed, all participants spent considerable time and energy both anticipating discrimination and assuming defensive behaviours against real or perceived threats. Since many participants expressed apprehension about disclosing religious beliefs in clinical environments, religion is a key example illustrating how the visibility or invisibility of identity markers variably affected participants’ abilities to maneuver potentially harmful experiences. For example, like Participant 7 who responded to potential homophobia by keeping her sexual orientation private, Participant 4 refrained, with great regret, from advocating for a patient because she feared that revealing shared religious beliefs would bias perceptions about her competence:

"한 환자는 자신이 로마 가톨릭 신자라는 이유만으로 DNR을 거부했다. 선임 스태프 의사와 간호사들이 내 앞에서 그것을 놀리고 있었다. 난 그냥 입을 다물었어. 아무 말도 하지 않은 이유는 만약 당신이 어떤 말을 한다면, 그들은 "아, 당신의 종교나 감정이 당신을 어떤 방향으로 이끌게 한다면 당신은 유능한 의사로서 어떻게 기능할 것인가?"라고 말할 수 있기 때문입니다."(P4, GI1) 
“[A patient] refused the DNR simply because she said that she’s a Roman Catholic. The senior staff doctor and the nurses were making fun of that in front of me. I just shut my mouth. Didn’t say anything because if you say something, they might say, Oh, how would you function as a competent doctor if you let your religion or emotion lead you in a direction or another.” (P4, GI1)

이러한 [전략적 정체성 억압]은 [가시적 소수자 지위]를 가진 사람들에게는 더욱 복잡했다. 참가자들은 자신의 경험을 공유하면서 [자신의 정체성의 측면을 숨기는 능력]이 비록 힘을 잃기는 하지만, 동시에 모든 UWiM이 보편적으로 사용할 수 없는 특권이라는 것을 깨달았다.

• 백인이었던 참가자 7은 [자신의 성적인 면을 숨긴다는 것]은 UWiM의 지위를 완전히 숨길 수 있다는 것을 의미했다.
• 하지만 [히잡을 착용을 중단하는 것]이 도움이 될지 궁금했던 소외된 무슬림 참가자에게는 불가능한 일이다

Such strategic identity suppression was more complicated for those with visible minority status. In sharing their experiences, participants realized that the ability to conceal aspects of one’s identity, though disempowering, was simultaneously a privilege not universally available to all UWiM. For Participant 7 who was white, hiding her sexuality meant she could conceal her UWiM status entirely—an impossibility for a marginalized Muslim participant who wondered whether ceasing to wear hijab might help:

"저는 [히잡 때문에] 생각은 서구적이지만 민족적 외양을 보입니다. 이슬람 공포증이 있는 사람들이 있을 것이기 때문에 제가 분명히 이슬람교도처럼 보이게 하는 외모를 없애는 것이 더 나은 생각일까요? 저는 그것이 제 경력에 방해가 되는 것을 원하지 않습니다."(P10, GI3)“I am more Western-minded but more ethnic-looking [because of the hijab]. Is it a better idea if I sort of remove the look that makes me look very obviously Muslim, because some people will be Islamophobic? I don’t want that to stand in my way for my career.” (P10, GI3)

자신들의 민족성과 억양이 돋보인다고 보고한 참가자 4와 10에게 [눈에 띄는 종교적 상징을 제거]하거나, [종교적 소속을 숨기는 것]은 직장 차별을 방어하기 위한 부분적인 해결책에 불과했다. 모든 참가자들이 성별에 기반한 차별을 겪었지만, 타자성을 탐색하는 것의 부담은 [가시적 소수 집단의 구성원들]에게 더 컸다. 
For Participants 4 and 10, who reported that their ethnicities and accents made them stand out, removing a visible religious symbol or concealing a religious affiliation were only partial solutions for shielding against workplace discrimination. Although all participants were privy to gender-based discrimination, the burden of navigating otherness was magnified for members of visible minority groups:

"당신[참가자 7]이 우리의 경험 사이에서 강조한 차이점은 당신에게 challenge가 될 수도 있는 자신의 정체성 부분을 거의 숨길 수 있다는 것입니다. 반면에 저에게는 안녕하세요, 저는 블랙입니다. 모두가 내가 흑인이라는 걸 알아. 그래서, 저는 여러분이 성적 정체성이라는 주제에 대해 달걀 껍질 위를 걷는 것처럼 느끼는 것이 믿을 수 없을 정도로 스트레스가 될 것이라고 생각합니다. 그리고 어떤 순간에 누군가 부적절한 말을 할지도 모릅니다. 반면에 저는 제 주변의 모든 사람들이 블랙니스에 대해 잘못된 말을 하지 않으려고 노력하는 것처럼 느껴집니다. 그리고 나는 누군가가 잘못된 말을 하기를 기다릴 뿐이다." (P6, GI2)
“The difference that you [Participant 7] highlighted between our experiences is that you can almost hide the part of your identity that may become a challenge, right. Whereas for me it’s like, hello, I’m Black. Everybody knows I’m Black. So, I think it must be incredibly stressful for you to feel like you’re walking on eggshells around the subject of sexual identity and that at any moment somebody might say something inappropriate. Whereas for me, I feel like everybody around me is walking on eggshells and trying not to say the wrong thing about Blackness. And I’m just waiting for someone to say the wrong things.” (P6, GI2)

참가자들의 차별과 타자성 경험은 [교수진의 지원 부재]로 인해 악화되었다. 특히, 그녀를 대신하여 옹호하는 한 교수진의 사례를 공유한 참가자는 없었다. 더 나쁜 것은, 교직원들이 그들의 권한을 개입시키는 데 실패함으로써 차별을 영구화했다는 것이다. 
Participants’ experiences of discrimination and otherness were exacerbated by the absence of faculty support. Notably, no participant shared an example of a faculty member who advocated on her behalf. Worse, faculty members perpetuated discrimination by failing to use their authority to intervene:

"그것을 무시하는 사람들이 가장 좌절스럽다. 내가 방으로 걸어 들어가 눈물을 흘리며 걸어나오는 것이 괜찮다고 생각하는 사람들은 그냥 '걱정하지 마, 내가 그 환자 볼게'라고 말한다. 그건 도움이 안 돼요. 내가 그런 학대를 당했다는 사실을 인정하지 않는 것은 도움이 되지 않습니다."(P1, GI1)
“The ones that ignore it are the most frustrating. The ones that think it’s okay for me to walk into a room, walk out with tears in my eyes, and then just [say] ‘don’t worry about it, I’ll see that patient then.’ That’s not helpful. You not acknowledging the fact that I’ve gone through that abuse is not helpful.” (P1, GI1)

[차별, 타자성, 그리고 교수진의 옹호의 부족]에 대한 경험은 참가자들이 [그들의 professional paths을 어떻게 개념화하는지]에 지대한 영향을 미쳤다. 대부분은 더 안전하고 포괄적인 임상 및 학습 환경을 만드는 것을 목표로 하는 진로를 구상했다. 예를 들어, 정신 건강과 씨름하는 한 참가자는 미래의 훈련생들을 위해 개인적인 취약성을 제거하도록 동기를 부여받았다.
Experiences of discrimination, otherness, and the lack of faculty advocacy profoundly influenced how participants conceptualized their professional paths. Most envisioned a career path aimed at creating safer, more inclusive clinical and learning environments. For instance, a participant who struggled with mental health was motivated to de-stigmatize personal vulnerabilities for her future trainees:

"정신 건강과 관련된 일이 있다면, 디스트레스를 받는 사람으로서 [도움을 구하는 것]과 [벗어나는 것] 사이의 선을 긋는 것은 정말 어렵습니다. 내가 곧 staff이 될 거라는 걸 알아. 새로운 전공의들을 만나면 꼭 하고 싶은 말인 것 같아요… '스트레스를 받는다면 알려주세요'."(P2, GI1)
“If you have anything going on with mental health, it’s really difficult to tread the line between help seeking and coming off as a person who’s in distress. I know I’m going to be staff very soon. I think it’s something that I try and say when I meet new residents … ‘If you’re feeling stressed, let me know’.” (P2, GI1)

또한 참가자들은 [개인적 차별 경험]이 독특할 수 있지만, [소외받는다는 것]의[ 공통된 어려움]이 공통점을 확립한다는 인식으로 취약한 환자 집단에 봉사하고자 하는 강한 열망을 나타냈다.
Additionally, participants expressed a strong desire to serve vulnerable patient populations—perceiving that while individual experiences of discrimination may be unique, the shared hardships of being marginalized established common ground:

"저는 도심의 건강을 정말 좋아하고 중독 치료제가 흥미롭다고 생각합니다. 나는 난민 건강이 매우 흥미롭다고 생각한다. 그리고 이것들은 모두 나에게 영향을 미치지 않는 분야들이다… 하지만 내 경험들 때문에, 나는 그들의 경험들을 이해하고 공감하기 위해 내 마음을 확장할 수 있을 것 같다." (P6, GI2)
“I really love inner city health and find addictions medicine interesting. I think refugee health is very interesting. And these are all areas that don’t affect me … But because of my experiences, I feel like I can sort of stretch my mind to understand and empathize with their experiences as well.” (P6, GI2)

하지만, 비록 참가자들이 공감과 이타주의로 의학을 가르치고 실천할 수 있는 힘을 부여받은 살아있는 역경에서 벗어났지만, [개인의 안전에 대한 필요성]에 의해 동기 부여된 것처럼 보였다. 이는 그들의 직업 선택은 또한 [차별로부터 스스로를 떨어뜨릴 수 있는 전문적인 공간을 개척하는 것]을 목표로 함을 뜻한다. 예를 들어, 참가자 7은 그녀의 현재 현실과 그녀가 청소년과 LGBTQ+ 환자들과 함께 일하는 것을 상상했던 미래를 비교했다. "나는 청소년 인구에 끌린다." (P7, GI2) 구체적으로, 그녀는 "당신과 같은 동맹자나 동일시하는 사람들을 찾는 것"(P7, GI2)이 환자뿐만 아니라 자신을 위한 진정하고 포용적인 방법으로 practice할 수 있도록 힘을 실어줄 것이라고 믿었다. 참가자 3은 안전에 대한 유사한 열망을 나타냈다. "나는 단지 내가 같은 생각을 가진 사람들 주변에 있고 이 [과잉 차별]에 대해 강조할 필요가 없는 환경으로 가고 싶다."(P3, GI1)
However, although participants emerged from lived adversity empowered to teach and practice medicine with empathy and altruism, their career choices also seemed motivated by a need for personal safety, aiming to carve out a professional space where they could insulate themselves from discrimination. For instance, Participant 7 contrasted her current reality with the future she envisioned working with adolescents and LGBTQ+ patients: “I’m drawn to the adolescent population” (P7, GI2). Specifically, she believed “finding your allies or people who identify like you” (P7, GI2) would empower her to practice in an authentic and inclusive way not only for patients but also for herself. Participant 3 expressed a similar desire for safety: “I just want to go to an environment where I’m around like-minded people and don’t have to stress about this [overt discrimination]” (P3, GI1).

UWiM 인터뷰 대상자들은 훈련 중에 현재 정의에서 과소 표현의 측면으로 항상 개념화되지 않는 [다양한 정체성 마커]를 설명했다. 참가자들의 설명은 UWiM 연습생들이 겪는 공개적이고 은밀한 차별의 빈도뿐만 아니라 학업 환경에서 자행되는 해악을 예측하고 회피하기 위해 그들이 소비하는 [상당한 인지적, 감정적 노동]에 대해서도 조명한다. 우리의 연구는 타자성과 차별이 어떻게 UWiM에게 의료 교육 환경을 억압적이고 적대적으로 만들 수 있는지 이해하는 데 매우 필요한 출발점을 제공한다.
UWiM interviewees described a variety of identity markers that made them feel othered during their training that are not always conceptualized as facets of underrepresentation in current definitions. Participants’ accounts shed light not only on the frequency of overt and covert discrimination UWiM trainees endure, but also on the considerable cognitive and emotional labor they expend to anticipate and deflect harms perpetrated in academic environments. Our study provides a much-needed starting point for understanding how otherness and discrimination may make the medical education environment oppressive and hostile for UWiM.

참가자들의 설명은 [권력과 특권이 지배적인 집단의 구성원들]이 [그들에게 강요하는 렌즈]를 통해 [피지배된 사람들이 어떻게 생각하고 행동하도록 강요하는지] 보여준다. 이에 대응하여 그리고 억압에 대한 생존 메커니즘으로서 소수 집단의 구성원들은 지배적인 문화의 렌즈를 통해 자신들의 정체성을 재정립할 수밖에 없는데, 이 현상은 1903년에 Du Bois[34]에 의해 아프리카계 미국인들의 맥락에서 설명되었고 더 나아가 데보라 그레이 화이트에 의해 인종화된 여성들을 포함하기 위해 "삼중의 의식"으로 발전했다. 흑인 여성에게만 초점을 맞춘 것이 아니라 캐나다의 맥락에서, 우리 참가자들의 경험은 [삼중의 의식]과 공명한다. 연구 참가자들은 다음과 같은 방식으로 다중의 '타자화된' 정체성을 조작했다[35].

• 잘 알려진 트라우마 반응(잠재적 위협에 대한 학습 환경의 초경계 또는 "과도한 스캔")에 engage하고 
• 소속을 용이하게 하거나 공공연한 차별을 피하기 위해 정체성 측면을 은폐함으로써 

Participants’ accounts demonstrate how power and privilege force subjugated populations to think and act through lenses that members of dominant groups impose on them. In response and as a survival mechanism to oppression, members of minority groups are forced to redefine their identity through the lens of the dominant culture, a phenomenon described by Du Bois [34] in 1903 in the context of African Americans and further developed as “triple consciousness” by Deborah Gray White to include racialized women. Though in the Canadian context and not solely focused on Black women, our participants’ experiences resonates with triple consciousness. Study participants maneuvered their multiple, ‘othered’ identities

• by engaging in well-known trauma responses [35], including
  • hypervigilance or
  • “excessive scanning” [36] of their learning environment for potential threats, and
• by concealing aspects of their identities to either facilitate belonging or to avoid overt discrimination [37,38,39].

그러나 [완전한 신분 은폐]는 [특권의 한 형태]로 언급되었다. 따라서 과소대표라고 식별하는 백인 여성은 확실히 직장 차별에 의해 피해를 입지만, 그들의 [백인성]은 [교차성 탐색의 부담을 덜어주는] "특수 조항, 지도, 여권, 코드북, 비자, 옷, 도구 및 백지 수표와 같이 [보이지 않는 무중력 배낭]"을 제공한다[40].

Full identity concealment was noted as a form of privilege, however. Thus, although white women who identify as underrepresented are certainly harmed by workplace discrimination, their whiteness affords “an invisible weightless knapsack of special provisions, maps, passports, codebooks, visas, clothes, tools and blank checks” that ease the burden of navigating intersectionality [40].

그럼에도 불구하고, 참가자들의 계정은 차별의 트라우마와 임상 학습 환경에서 다른 것을 탐색하는 데 소요된 감정적 노동을 모두 보여주었다[41, 42]. 레지던트 훈련의 전형적인 스트레스를 관리하면서 참가자들의 학습 관심과 정서적 에너지는 [의사로서 자신이 되어야 할 사람과 맞지 않을 수도 있다는 신호]에 의해 끊임없이 우회divert되었다. 특히 리더십과 학문적 지위로 함축된 [권력이 대부분 백인 남성들의 손에 남아있는 학문적 환경]에서 말이다. 참가자들의 경험은 주로 백인 훈련 환경에서 흑인 의대생이 되는 것에 대한 대가를 설명하는 사설에서 Monnique Johnson이 최근 발표한 것과 공명했습니다: "저에게 있어서, 이러한 공간에서 상호작용을 해야 할 때 [제 전체가 유니폼이나 마스크]처럼 느껴졌습니다. 탈진은 [내 자신이 당당하고 진실되게 나 자신일 수 있는 공간]이 없고, [나와 공감할 수 있는 사람들이 충분하지 않은 것]에서 비롯됐다."
Nevertheless, participants’ accounts revealed both the trauma of discrimination and the emotional labor spent navigating otherness in clinical learning environments [41, 42]. While managing the typical stresses of residency training, participants’ learning attention and emotional energy were constantly diverted by signals that they may not fit who they are supposed to be as doctors, particularly in academic settings where power, connotated by leadership and academic rank, remains mostly in the hands of white men and, to a lesser extent, white women [6, 43,44,45]. Participants’ experiences resonated with those published recently by Monnique Johnson in an editorial explicating the toll of being a Black medical student in primarily white training environments: “For me, my whole being when I had to interact in these spaces felt like a uniform or a mask. Exhaustion came from not having a space to be unapologetically and authentically myself and not having enough people who could relate to me” [46].

참가자인 존슨 씨와 다른 사람들의 증언은 [학습 경험과 구조의 형평성]에 대한 의문을 제기한다. 기관 지도자들과 의료 교육자들은 대표자가 부족한 훈련생들이 훈련 중에 종종 침묵과 사일로에서 상당한 정체성 불협화음을 경험한다는 것을 인식해야 한다.
Testimonies by participants, Ms. Johnson, and others raise questions about the equity of learning experiences and structures. Institutional leaders and medical educators must recognize that underrepresented trainees experience significant identity dissonance during their training, often in silence and in silos.

또한 의학은 UriM 또는 UWiM으로 식별되는 훈련생이 [차별의 트라우마를 치유할 수 있는 충분한 공간을 제공하지 않는다]는 점을 유념해야 한다[47]. 지원을 받지 못한 참가자들은 자신의 개인적 정체성과 이상화된 직업 정체성 사이의 긴장을 관리하기 위해 홀로 남겨졌고, 평생 개인적, 경력적 결과를 초래할 수 있는 두려움과 배제에 뿌리를 둔 결정을 내렸다. UWiM 훈련생들이 차별에 직면했을 때 보고하고 그러한 경험이 그들의 직업 정체성과 의도된 직업 선택에 미치는 영향을 성찰하기 위해 신뢰할 수 있는 멘토의 지도 하에 안전한 공간이 필요하다. 비록 여성들, 특히 대표가 부족한 사람들은 그들의 경력을 육성하기 위해 숙련되고 동정적인 멘토가 필요하지만, 그들은 그것이 일어날 때 차별을 호소하고 여성들에게 개인적으로 그리고 직업적으로 영향을 미치는 차별적인 힘을 해체하기 위해 의미 있는 행동을 취할 수 있는 옹호자들이 더 필요하다.
We must also be mindful that medicine does not provide adequate space for trainees who identify as URiM or UWiM to heal from the trauma of discrimination [47]. Unsupported, participants were left alone to manage the tension between their personal and idealized professional identities, making decisions rooted in fear and exclusion that could have life-long personal and career consequences. Safe spaces—under guidance from trusted mentors—are required for UWiM trainees to debrief when encountering discrimination and to reflect on the impact of such experiences on their professional identity and intended career choices. Although women, particularly those who are underrepresented, need skilled and compassionate mentors to nurture their careers, they more so need advocates who are willing to both call out discrimination when it happens, and to take meaningful action to dismantle the discriminatory forces that impact women both personally and professionally.

[교수진 지지자]가 없는 상황에서, 참가자들은 [그들이 경험한 해악(명백한 차별과 문제가 되는 부작위 포함)을 바로잡기 위해 노력]하는 것처럼 보였다. 그들은 그들이 거부당한 멘토링, 옹호, 그리고 진정한 인간이 될 수 있는 기회를 제공할 수 있는 진로를 구상했다. 참가자들이 [봉사정신]으로 이런 불협화음에서 벗어나는 것은 존경할 만하지만, [잠재적인 단점]을 모르는 것 같았다. 예를 들어, [복잡한 심리사회적 및 의료 요구를 가진 사람들을 돌보는 것]은 [동정심 피로와 소진을 악화시킬 위험]이 있는 [시간 집약적인 작업]이다. 이는 여성 의사들 사이에서 이미 잘 문서화되어 있는 현상이다.
In the absence of faculty advocates, participants appeared driven to correct the harms—including blatant discrimination and problematic inaction—that they experienced. They envisioned a career path where they could provide the mentoring, advocacy, and opportunity to be authentically human that they were denied. Although it is admirable to emerge from such dissonance with a sense of service, participants seemed unaware of potential drawbacks. For example, caring for populations with complex psychosocial and health care needs is time-intensive work that risks exacerbating compassion fatigue and burnout—phenomena that are already well-documented among female physicians.

소외된 사람들에게 봉사하려는 욕구는 학계와 리더십에서 UWiM의 부족에 대한 또 다른 가능한 설명이 될 수 있다. 즉, 차별적 구조적 문제가 여성의 리더십 위치 달성 능력을 저해하는 "누출 파이프라인"을 생성하는 것으로 알려져 있지만[47] [불평등에 대한 트라우마 반응]은 [권력의 위치]로부터의 [자기 배제]로 이어질 수 있다. 참가자들이 진정으로 흥분하고 소외된 환자들과 훈련생들을 위한 훈련과 관리를 개선할 수 있는 진로를 시작할 수 있는 권한을 부여받은 것처럼 보였지만, 모든 의사들은 이 일을 할 수 있는 기술과 동기를 가지고 있어야 한다. 이것들은 문화적으로 유능한 의사가 되기 위한 기본적인 요소들이지만, UWiM 참가자들은 그것들을 전문화된 진로의 일부로 인식하는 것처럼 보였다.
The desire to serve marginalized populations may be another possible explanation for the paucity of UWiM in academia and leadership. That is, although discriminatory structural issues are known to create a “leaky pipeline” [47] that hinders women’s ability to attain leadership positions, the trauma response to inequities might lead to self-exclusion from positions of power. Although participants seemed genuinely excited and empowered to embark on a career path that would improve training and care for marginalized patients and trainees, all physicians should have the skillset and motivation to do this work. These are fundamental components of being a culturally competent physician, yet UWiM participants seemed to perceive them as part of a specialized career path—a problematic notion that should trigger both reflection and action.

한계
Limitations

타자성과 차별에 대한 경험은 독특하게 해로우므로, 이러한 해악을 탐구하는 것을 목표로 하는 질적 데이터 세트가 "포화"되는 것이 불가능하다[48]. 우리는 그룹 환경에서 편안하게 공유하지 못한 정보를 보류했을 수 있는 한 캐나다 학술 기관의 10명의 여성 표본이 의학의 다른성에 대한 불완전한 이해를 생성한다는 것을 인정한다. 그러나 참가자들의 풍부하고 감성적인 계정은 UWiM이 탐색해야 하는 복잡성을 이해하는 데 매우 귀중한 뉘앙스를 제공했다. 질적 소견은 일반화하기보다는 이전 가능한 것을 의도하기 때문에 성별 정체성과 실습 환경에 걸쳐 연수생과 교직원에게 반향을 일으킬 수 있다. 더 많은 연구가 시급하며, 현재 UWiM의 교차성과 전문적 정체성 형성의 관계를 이해하기 위한 전국적인 연구에 착수하고 있다.
Experiences of otherness and discrimination are uniquely harmful, rendering it impossible for a qualitative dataset that is aimed at exploring these harms to become “saturated” [48]. We acknowledge that a sample of 10 women from one Canadian academic institution, who may have withheld information they did not feel comfortable sharing in a group setting, generates an incomplete understanding of otherness in medicine. However, participants’ rich and emotive accounts provided invaluable nuance for understanding the complexities that UWiM must navigate. Because qualitative findings are intended to be transferable rather than generalizable, findings may resonate with trainees and faculty members across gender identities and practice settings. More research is urgently needed, and we are currently embarking on a national study to understand the relationship between intersectionality and the professional identity formation of UWiM.

많은 훈련생들에게, 명백한 차별과 타인의 감정은 학업 환경에서 항상 존재하는 위협이다. [형평성, 다양성, 포용성]을 목표로 하는 [정책과 개인의 행동]은 억압을 악화시키는 [과소대표의 복잡성]을 고려해야 한다. 의학부는 지역적 및 역사적 맥락을 고려하여 의학에서 과소 표현 개념화에 대한 사려 깊은 접근법으로부터 이익을 얻을 것이다. [정의와 정책]이 [공평하고 포용적이라는 것을 보장하는 것]은 다음에 달려있다.

• 훈련생으로 대표되는 [눈에 보이는 정체성]과 [보이지 않는 정체성]의 폭에 대한 [포괄적으로 이해하는 것]
  
• 의학에서 [과소 표현에 대한 진화하는 개념화]가 역사적으로 소수화된 그룹을 지원하기 위한 노력을 희석시키지 않도록 [인구 통계 데이터를 계층화하는 것]

For many trainees, overt discrimination and feelings of otherness are ever-present threats in academic environments. Policies and individual actions aimed at equity, diversity, and inclusion must consider the complexities of underrepresentation that exacerbate oppression. Faculties of medicine would benefit from a thoughtful approach to conceptualizing underrepresentation in medicine, taking local and historical contexts into account. Ensuring that definitions and policies are equitable and inclusive depends

• on both a comprehensive understanding of the breadth of visible and invisible identities represented by trainees and
• on stratifying demographics data to ensure that any evolving conceptualizations of underrepresentation in medicine do not dilute efforts aimed at supporting historically minoritized groups [11].

대학원 프로그램과 개별 교육자들은 [훈련 환경]이 [문화적으로 안전]할 뿐만 아니라 "[의사]로서 발달하는 자신의 정체성을 이해할 수 있는, sense-making 과정을 용이하게 하는 교육학적 공간"으로 육성할 의무가 있다. 우리는 의학 교육계가 마야 안젤루 박사의 지시에 귀를 기울일 것을 촉구한다. "당신이 더 잘 알 때까지 당신이 할 수 있는 최선을 다하라. 그럼 네가 더 잘 알 때, 더 잘 하라." 우리의 참가자들은 모든 훈련생들이 번창할 수 있는 포용적 학습 환경을 옹호하기 위해 그들의 힘과 특권을 사용함으로써 교직원들이 "더 잘하기" 위해 필요한 비판적 인식을 형성했습니다.

Postgraduate programs and individual educators have a duty not only to ensure that training environments are culturally safe but also that they foster “the pedagogical space to facilitate sense-making processes … thereby enabling [trainees] to understand their own developing identities as doctors” [49]. We urge the medical education community to heed Dr. Maya Angelou’s instruction to “do the best you can until you know better. Then when you know better, do better” [50]. Our participants generated the critical awareness necessary for faculty to “do better” by using their power and privilege to advocate for an inclusive learning environment where all trainees can thrive.

Introduction: Medicine remains an inequitable profession for women. Challenges are compounded for underrepresented women in medicine (UWiM), yet the complex features of underrepresentation and how they influence women's career paths remain underexplored. This qualitative study examined the experiences of trainees self-identifying as UWiM, including how navigating underrepresentation influenced their envisioned career paths.

Methods: Ten UWiM family medicine trainees from one Canadian institution participated in semi-structured group interviews. Thematic analysis of the data was informed by feminist epistemology and unfolded during an iterative process of data familiarization, coding, and theme generation.

Results: Participants identified as UWiM based on visible and invisible identity markers. All participants experienced discrimination and "otherness", but experiences differed based on how identities intersected. Participants spent considerable energy anticipating discrimination, navigating otherness, and assuming protective behaviours against real and perceived threats. Both altruism and a desire for personal safety and inclusion influenced their envisioned careers serving marginalized populations and mentoring underrepresented trainees.

Discussion: Equity, diversity, and inclusion initiatives in medical education risk being of little value without a comprehensive and intersectional understanding of the visible and invisible identities of underrepresented trainees. UWiM trainees' accounts suggest that they experience significant identity dissonance that may result in unintended consequences if left unaddressed. Our study generated the critical awareness required for medical educators and institutions to examine their biases and meet their obligation of creating a safer and more equitable environment for UWiM trainees.

Purpose: Medical education is dependent on clinicians and other faculty who volunteer time and expertise to teaching. Unfortunately, the literature reports increasing levels of dissatisfaction, burnout, and attrition. Incentivization provides an obvious intervention, but rewards must be implemented judiciously or risk unintended consequences. With little known about the effects of incentives in medical education, the authors investigate key insights across three disciplines to explain how, why, and when incentives can be used effectively.

Method: In this critical synthesis, a purposeful and iterative literature search was conducted by exploring a variety of databases to identify seminal articles, key concepts, and generative search terms. Particularly fruitful disciplines were then explored more deliberately.

Results: Psychologists argue that the impact of an incentive depends on an individual's motivational drives. Organizational behaviorists draw attention to environmental incentives and disincentives that build or detract from motivation. Behavioral economists posit that size, type, and way in which an incentive is provided affect motivation differently.

Conclusions: The influence of an incentive depends on how it interacts with underlying mechanisms deemed important for motivation. These mechanisms change across tasks, individuals, and contexts. Recommendations derived from the effort include being deliberate about (1) determining what is driving the individual to act, (2) considering the unique interactions between incentives and motivation types, and (3) considering barriers that may interfere with incentive effectiveness. In examining each of these, the authors argue that the field needs greater clarity regarding how, when, and why incentives operate within the many contexts in which medical educators work.

설정
Setting

샤리테는 유럽 중부에 위치한 대형 의과대학으로 매년 2회 300명의 의대 신입생을 모집한다. 2010년, 학부 의학 교육과정은 [전통적인 학문 기반]의 교육과정에서 1학기부터 마지막 학기까지 [완전히 통합된 프로그램]으로 전환되었다. 이 모듈은 5년의 학습 기간과 최종 사무직 연도에 걸쳐 40개의 학제 간 주제 모듈로 구성되어 있습니다(부록 2 참조).
The Charité is a large mid-European medical school and enrolls 300 new medical students twice a year. In 2010, the undergraduate medical curriculum was transformed from a traditional, discipline-based curriculum into a fully integrated program from the first to the last semester (Maaz et al. 2018). It is organized into 40 interdisciplinary, thematic modules over a five-year study time and a final clerkship year, see Supplementary Appendix 2.

모듈 공동 책임자로서의 의대생 개념
Concept of medical students as module co-directors

통합 프로그램의 각 모듈은 다양한 분야의 교수진 3명과 의대생 1명 등 4명의 모듈 디렉터 그룹이 주도한다. 이러한 구조는 새로운 교육과정의 개발과 시행 과정에서 긍정적인 경험에서 비롯된다. 4명의 모듈 책임자는 해당 모듈의 교육과 관련된 모든 분야의 대표자로 구성된 특정 모듈 계획 그룹에 의해 선출되고 의장도 됩니다. 그들은 모듈 디렉토리 보드를 구성하고 품질 보증 및 향후 개선과 같은 모듈의 주기적 커리큘럼 개발 프로세스를 공동으로 책임진다. 학생 모듈 공동 책임자는 교직원 및 학생과 상호 작용하고, 정보를 전달하고, 학생 평가 및 피드백을 종합 및 해석하며, 교직원 모듈 책임자와 함께 모듈을 공동 개발하고, 그룹으로 조직한다.
Each module of the integrated program is led by a group of four module directors: three faculty members from various disciplines, and one medical student. This structure originates from positive experiences during the development and implementation of the new curriculum. The four module directors are elected by, and also chair, a specific module planning group, consisting of delegates from all disciplines involved in the teaching of that module. They form the module directory board and are jointly responsible for the cyclic curricular development process of their module, e.g. quality assurance and future improvement. Student module co-directors interact with faculty and students, relay information, synthesize and interpret student evaluation and feedback, co-develop the module together with faculty module directors, and organize themselves as a group.

표 1은 학생 모듈 공동 책임자의 구체적인 업무 및 활동에 대한 개요를 제공합니다. 부록 1은 "방법" 관점에서 그들의 과제와 실천요강에 대한 상세한 설명을 포함한다. 부록 3은 교육과정에 대한 모범적인 기여에 대해 보고한다.
Table 1 provides an overview on the specific tasks and activities of the student module co-directors. Supplementary Appendix 1 entails a detailed description of their tasks and practices from a “how to” perspective. Supplementary Appendix 3 reports on exemplary contributions to the curriculum.

전반적으로 학생 모듈 공동 책임자는 개인으로서도, 집단으로서도 높은 수준의 자율성을 가지고 행동한다. 그들은 우리 [기관의 커리큘럼 개발과 학생 참여를 위한 더 큰 네트워크의 공식적인 요소]로 역할을 한다. 그림 1과 같이, 이 네트워크는 각 모듈에서 공부하는 학생, 모듈 디렉터, 모듈 기획 그룹, 교수진 교육과정 개발자, 학부 프로그램 교육과정 위원회, 샤리테 감독 교육위원회, 학생회 대표 조직과의 지속적인 상호작용을 포함한다. 
Overall, the student module co-directors act with a high level of autonomy, both as individuals and as a group. They serve as formal elements of a larger network for curriculum development and student engagement at our institution (Maaz et al. 2018; Peters et al. 2018). As shown in Figure 1, this network involves ongoing interactions with the

• students studying in their respective module,
• module directors,
• the module planning group,
• faculty curriculum developers,
• the curriculum committee for the undergraduate program,
• the Charité overarching education committee, and
• the student council representative organization.

그림 1. Charité의 커리큘럼 개발을 위해 학생 모듈 공동 책임자를 조직 네트워크에 포함합니다. 의대생이라면 누구나 모듈 공동 책임자로 공석에 지원할 수 있다. 그들은 학생 모듈 책임자 그룹에 의해 선발되고 학장의 학생 사무실에서 공식적으로 고용된다. 학생 모듈 공동 책임자가 교수 모듈 책임자와 함께 모듈 검토 회의를 주재합니다. 이사회는 교육과정 위원회에 의해 공식적으로 임명된다. 또한 교수협의회에 소속된 학생대표들은 학부 의학 프로그램의 연구위원인 3명의 학생들을 임명한다.
Figure 1. Embedding of student module co-directors into the organizational network for curriculum development at the Charité. All medical students can apply to an open position as a module co-director. They are selected by the group of student module directors and formally employed in the Dean’s office of student affairs. Student module co-directors chair the module review meeting together with faculty module directors. The board is formally appointed by the curriculum committee. In addition, the student representatives who are part of the faculty council appoint the three students who are members of the study committee for the undergraduate medical program.

학생 한 명이 여러 모듈의 학생 모듈 공동 책임자 역할을 수행할 수 있습니다. 학생들의 작업은 매달 모듈당 10시간의 노동시간에 해당하는 유로로 보상된다.
One student can act as a student module co-director for multiple modules. The students' work is compensated with a Euro equivalent of 10 working hours per module each month.

방법론적 접근
Methodological approach

우리는 학생들이 모듈 공동 책임자라는 개념에 대해 풍부하고 다층적인 관점을 가질 수 있도록 융합 병렬 설계를 가진 혼합 방법 연구를 채택했다. 순차적 혼합 방법 설계에서 먼저 두 개의 온라인 설문 조사의 등급을 정량적으로 분석하였다. 그런 다음, 정량적 평가 결과를 조명하기 위해 설문 내러티브와 포커스 그룹에 대한 정성적 분석을 실시하였다. 그 자료는 2016/2017년 겨울학기 동안 수집되었다. 본 연구는 안전한 자료관리를 위하여 지방청 및 윤리위원회(제406/16호)의 승인을 받았다. 
We employed a mixed-methods study with a convergent parallel design to allow for a rich and multi-layered view on the concept of students as module co-directors (Creswell 2014). In a sequential mixed method design, we first analyzed quantitatively the ratings of two online surveys. Then, we conducted a qualitative analysis of survey narratives and a focus group to illuminate the quantitative rating results. The data were collected during the winter semester of 2016/2017. This study was approved by the local office for safe data management and by the Ethics Committee (no. 406/16).

설문조사
Surveys

두 건의 익명의 온라인 설문조사는 학생 모듈 책임자와 교수 모듈 책임자를 대상으로 했다. 둘 다 용어의 이해와 정교함을 위해 파일럿 테스트를 받았다. 설문조사는 인구통계학적 특성에 대한 질문 외에도 4점, 5점 만점의 리커트 척도 평가를 활용하였으며, 교육과정의 질적 보장과 개선과정에서 학생모듈 공동책임자의 역할, 기능, 역량에 대한 서술적 의견을 요청하였다(부록 4). 
Two anonymous online surveys were conducted, one for student module directors and one for faculty module directors (EvaSys®, Electric Paper Evaluationssysteme GmbH, Lüneburg, Germany). Both were pilot tested for comprehension and refinement of wording. In addition to questions about demographic characteristics, the surveys employed four- and five-point Likert-scaled ratings, and requested narrative comments about the role, functions, and competencies of student module co-directors in the process of curricular quality assurance and improvement (Supplementary Appendix 4).

포커스 그룹
Focus group

교육과정의 다양한 학기(1~10)와 모듈 유형(기초원리, 질병모형, 임상적용)을 다루기 위해 의도적으로 선정된 8명의 학생모듈 공동책임자를 대상으로 포커스 그룹 토론을 실시하였다. 포커스 그룹 인터뷰는 참가자들과 공식적인 상호 관계가 없는 심리학 학사 학위를 가진 건강 교육 연구원에 의해 진행되었다. 공개 토론 지침을 사용하여 그룹이 주제별 우선순위를 정할 수 있습니다(부록 5). 포커스 그룹 토론의 오디오 녹음은 정확하게 기록되었다.
A focus group discussion was carried out with eight purposively chosen student module co-directors in order to cover different semesters (1–10) and module types (foundational principles, disease models, and clinical application) of the curriculum. The focus group interview was moderated by a health education researcher with a Bachelor degree in psychology who had no formal interrelations with the participants. An open discussion guideline was used, thus allowing the group to set their own thematic priorities (Supplementary Appendix 5). An audio recording of the focus group discussion was transcribed verbatim.

양적, 질적 분석
Quantitative and qualitative analyses

정량조사 자료는 SPSS 22(IBM, Armonk, NY, USA)를 이용하여 기술적으로 분석하였다. 결과는 주파수 및 평균 ± 표준 편차로 표시됩니다. 텍스트로부터 범주를 도출하기 위한 귀납적 접근법을 이용하여 포커스 그룹 인터뷰와 내러티브 설문 의견을 정성적으로 분석하였다. 먼저 저자 LM, TH, HP는 주제별로 자료를 독립적으로 분석했다. 그런 다음, 모호성이 있는 경우 합의를 도출하기 위해 구체적인 인용문이 논의되었다. 이 문서에서 개별 학생의 인용구는 괄호 안에 "s"와 각 학생의 숫자로 표시되며, 교수진의 인용구는 "f"를 사용하여 동일한 방식으로 표시됩니다. 인용문은 저자들에 의해 독일어에서 영어로 번역되었다.
Quantitative survey data were analyzed descriptively using SPSS 22 (IBM, Armonk, NY, USA). Results are expressed as frequencies and mean ± standard deviation. The focus group interviews and narrative survey comments were analyzed qualitatively using an inductive approach for deriving categories from text (Mayring 2014). First, authors LM, TH, and HP independently analyzed the material thematically. Then, specific quotes were discussed to yield consensus in cases of ambiguity. In this article, quotes by individual students are indicated in parentheses with an “s” and the number of the respective student; quotes by faculty are displayed in the same manner by using the letter “f”. Quotes were translated from German to English by the authors.

정량분석
Quantitative analyses

등급
Ratings

그림 2와 같이, 학생 모듈 공동 책임자의 87%가 교육과정 변화에 큰 영향을 미친다는 데 동의하거나 동의하는 경향이 있으며, 96%는 이것이 교육과정에 긍정적인 영향을 미친다고 생각한다. 대다수는 또한 자신이 다른 모듈 이사들과 동등한 파트너라고 생각합니다(87%가 동의하거나 동의하는 경향이 있음). 65%는 자신들의 생각이 때때로 학생들의 평가 결과와 다르다는 것에 동의하거나 동의하는 경향이 있다. 
As shown in Figure 2, 87% of the student module co-directors agree or tend to agree that they have great influence on curricular change and 96% think this has a positive impact on the curriculum. A majority also feels that they are equal partners of the other module directors (87% agree or tend to agree). Sixty-five percent agree or tend to agree that their ideas sometimes diverge from the student evaluation results.

[교직원 모듈 책임자] 대다수는 학생들이 자신의 교육과정에 기여할 수 있다는 점(93%), 학생 모듈 공동 책임자가 교육과정에 혜택을 준다는 점(94%), 업무가 건설적이라는 점(95%)에 동의하거나 동의하는 경향이 있다. 학생 모듈 공동 책임자ㅇ와 일치하여, 교직원 모듈 책임자의 80%도 학생 모듈 공동 책임자를 동등한 파트너로 본다. 교직원 모듈 책임자의 64%는 자신이 다른 교직원 모듈 책임자와 동일한 영향력을 가지고 있다고 생각하는 반면, 61%는 학생 모듈 공동 책임자보다 교육과정에 더 또는 조금 더 많은 영향력을 가지고 있다고 생각한다.
The majority of faculty module directors agree or tend to agree that students are able to contribute to their curriculum (93%), that the student module co-directors benefit the curriculum (94%) and that their work is constructive (95%). In congruence with the student module co-directors, 80% of faculty module directors also see the student module co-directors as equal partners. While 64% of faculty module directors think that they have the same influence on the curriculum as the other faculty module directors do, 61% think they have more or a little more influence on the curriculum than the student module co-directors do.

그림 3은 [교직원 모듈 책임자]가 활동과 관련된 8개의 서로 다른 영역에서 [학생 모듈 공동 책임자의 역량]을 어떻게 평가하는지 보여줍니다. 대다수의 교직원 모듈 책임자들은 학생 모듈 공동 책임자들이 교육과정에 대한 개요를 가지고 있으며, 학생들의 평가를 해석하고 교육과정 개선을 위한 제안을 제공하며 교사 및 학생들과 소통할 수 있다는 점에 83~96%의 비율로 동의하거나 동의하는 경향이 있다. 적어도 86%는 학생 모듈 공동 책임자들이 타협점을 찾을 수 있다는 것에 동의하는 경향이 있다. 이들은 수업의 질을 평가할 수 있는 능력이 있다고 판단되지만(81%가 동의하거나 동의하는 경향이 있다), 모듈의 분야 관련 내용을 평가할 수 있는 능력이 있다는 데 동의하는 교수 모듈 책임자는 훨씬 적다(49%만이 동의하거나 동의하는 경향이 있다).

Figure 3 shows how faculty module directors rate student module co-directors’ competence in eight different areas related to their activities. The majority of faculty module directors agree or tend to agree at rates between 83 and 96% that the student module co-directors have an overview of the curriculum, and that they are able to interpret students’ evaluation, provide proposals for curricular improvement and communicate with teachers and students. Eighty-six percent at least tend to agree that student module co-directors are able to find a compromise. They are deemed to be competent in assessing the quality of classes (81% agree or tend to agree), but far fewer faculty module directors also agree that they have the competence to assess the discipline-related content of the module (only 49% agree or tend to agree).

Introduction: Beyond participation in evaluation of teaching, there is sparse research available on more active roles of medical students in curriculum development. We report on a model of student engagement where medical students function as module co-directors, and how this is experienced by faculty and student module directors. Methods: Student engage in co-development of their curriculum with a high level of autonomy in organizing their activities. We conducted a mixed-methods, convergent design study based on surveys with faculty and student module co-directors and a student co-director focus group. Quantitative data were analyzed descriptively. Qualitative analysis was performed inductively. Results: Quantitatively, the majority of both faculty and student module directors report that the curriculum benefits from the students' work (95 and 94%). Both groups see each other as equal partners (80 and 87%). Qualitatively, this is related to students' competencies such as "bringing in broad and unique knowledge of the curriculum", "giving the students' perspective a voice," and "contributing ideas for improvement". Key strategies and challenges of the student co-module directors are illuminated. Conclusions: Student module co-directors represent a well-accepted practice model for curriculum development. This report may stimulate other faculties to engage their students more actively in medical education.

내역 및 개요
History and overview

에릭 리스는 2000년대 후반에 소프트웨어 회사를 공동 설립하면서 '린 스타트업'의 아이디어를 개발했으며, 자신의 경험을 앞서 설명한 두 가지 개념과 결합했다(Ries 2011).

• 컨셉 1은 도요타의 '린 제조'(Womack et al. 2007)로, [제조 공정에서 낭비를 전략적으로 제거하는 데 중점]을 두고 있다. 그리고 제품이 사전에 완전히 명시되지 않고 짧고 반복적인 주기로 개발되고 정제되는 소프트웨어 산업의 '애자일 개발'의 보완적 개념(Beck et al. 2001). 
• 컨셉 2는 Steve Blank의 '고객 개발' 아이디어입니다(Blank 2013, 2020). —[고객의 니즈를 이해하고 대응하는 것]이 엔지니어링 및 제품 개발보다 더 중요하다는 것을 의미합니다. 

Eric Ries developed the idea of the ‘Lean Startup’ while co-founding a software company in the late 2000s, merging his own experiences with two previously-described concepts (Ries 2011).

• Concept 1 is Toyota’s ‘lean manufacturing’ (Womack et al. 2007), which focuses on strategically eliminating waste in a manufacturing process; and the complementary concept of ‘agile development’ (Beck et al. 2001) from the software industry in which products are developed and refined in short, repeated cycles rather than being fully specified up-front.
• Concept 2 is Steve Blank’s idea of ‘customer development’ (Blank 2013, 2020)—that understanding and responding to customer needs (sources of ‘pain’) are more important than engineering and product development.

[린 스타트업의 핵심 전제]는 다음과 같다.

• 모든 새로운 벤처(우리의 경우 교육 혁신을 포함)가 성공하는 방법을 배워야 한다.
• 학습은 경험적 데이터에 기반해야 한다,
• 이러한 데이터는 '사무실 밖으로 나가기'와 고객과의 상호작용을 통해 가장 잘 얻어낸다.

The central premises of the Lean Startup are

• that any new venture (including, in our case, education innovations) must learn how to be successful,
• that learning must be based on empiric data, and
• that these data are best obtained by ‘getting out of the office’ (Blank 2020) and interacting with customers.

린 스타트업 접근 방식은 혁신가들이 아이디어를 기능성 제품으로 전환하고, 고객이 어떻게 반응하는지 측정하고, 이러한 결과로부터 학습하여 제품을 개선한 다음, 이 사이클을 반복하도록 지원합니다(이상적으로 여러 번, 그리고 빠르게). 중요한 것은 초기 제품이 잘 개발되어서는 안 된다는 것입니다. 오히려, 아이디어를 미리 완성하려는 모든 노력은 시간과 자원의 낭비이기 때문에 거의 기능적이지 않아야 합니다('최소한의 실행 가능한 제품'). 핵심은

• 가능한 한 빠르고 빈번하게 주기를 반복하여
• 고객의 요구를 더 잘 이해하고 응답하도록 제품을 반복적으로 수정하고,
• 이로서 제품 아이디어를 고객이 실제로 사용할 수 있는 것으로 신속하게 다듬는 것입니다(이는 혁신자가 처음에 구상한 것과 상당히 다를 수 있음).

The Lean Startup approach helps innovators turn their idea into a functional product, measure how customers respond, learn from these results to refine the product, and then repeat this cycle (ideally multiple times, and rapidly). Importantly, the initial product need not—in fact, should not—be well-developed. Rather, it should be barely functional (a ‘minimal viable product’), because any efforts to perfect the idea up-front are a waste of time and resources. The key is

• to repeat the cycle as quickly and as frequently as possible,
• iteratively revising the product to better understand and respond to customer needs, and
• thus rapidly refine the product idea into something that customers will actually use (which may be quite different from what the innovator initially envisioned).

린 스타트업은 실제로 [특정 영역에 초점을 둔 과학적 방법의 응용]일 뿐이며, 실용적인 시간에 민감한 문제로 용도 변경되었다(Ries 2011).
Lean Startup is really just a focused application of the scientific method, repurposed to a practical time-sensitive problem (Ries 2011).

5대 원칙
Five key principles

Ries(2011)는 린 스타트업의 5가지 핵심 원칙을 개략적으로 설명합니다. 첫째, 기업가들은 어디에나 있다. 위에서 언급했듯이, 교육 혁신가들은 기업가이고, 그들의 팀은 스타트업이다.
Ries (2011) outlines five core principles of the Lean Startup. First, entrepreneurs are everywhere. As noted above, education innovators are entrepreneurs, and their teams are startups.

둘째, 기업가정신은 경영이다. 스타트업은 '단순한 상품이 아니라 기관'이며 효과적인 관리가 필요하다. 핵심 혁신자인 팀 리더는 벤처 기업을 관리하고 팀에 책임을 물을 준비가 되어 있어야 합니다.
Second, entrepreneurship is management. A startup ‘is an institution, not just a product’ and requires effective management. The team leader—the key innovator—must be prepared to manage the venture and hold the team accountable.

셋째, 스타트업은 고객에 대해 학습한 것을 검증할 필요가 있다. 스타트업(즉, 혁신 팀)의 목적은 [학습하는 것]이지 반드시 제품을 구축하거나 고객의 요구를 충족하기 위한 것은 아닙니다. Ries는 혁신자들이 효과적이고 지속 가능한 제품과 사업을 구축하는 방법(즉, 무엇을 구축해야 하는지)을 배울 필요가 있다고 주장한다. 만약 그들이 배움learning 대신 스스로의 구축building하는 데 초점을 맞춘다면 그들은 결국 실패할 것이다. 학습은 혁신자들이 그들의 기본 가정과 비전을 경험적으로 시험할 수 있게 하는 실험을 필요로 한다.—비즈니스 모델을 'de-risk'하는 것이다. 교육 환경에서, 이는 새로운 과정 아이디어를 도입하기보다는, 혁신 팀이 [변화가 정말로 필요한지 여부를 결정하는 데 집중]하도록 장려한다는 것을 의미합니다. 그리고 변화의 필요가 당연하자면warranted, 코스 개발에 [반복적인 '지속적인 품질 개선' 접근법]을 채택해야 한다. 학습자가 정말로 필요로 하는 것(현재 어떤 gap이 존재하는가, 학습자가 무엇을 실제로 사용할 것인가, 무엇이 학습 결과를 실제로 최적화할 것인가)을 파악하는 데 초점을 맞춥니다. 마우리아가 말했듯이, '인생은 아무도 원하지 않는 것을 만들기에는 너무 짧다'(Maurya 2012). 혁신의 [지속가능성]과 [확장성] 또한 테스트되어야 합니다. 새로운 고객들(예: 내년 또는 다른 기관의 학생)이 그것을 사용할 수 있을까?
Third, startups need validated learning about customers. The purpose of a startup (i.e. the innovation team) is to learn, not necessarily to build a product or meet customer needs. Ries maintains that innovators need to learn how to build an effective and sustainable product and business (i.e. what to build). If they focus on building itself instead of learning they will ultimately fail. Learning requires experiments that allow innovators to empirically test their fundamental assumptions and vision—to ‘de-risk’ their business model. In an education setting, this means that rather than jumping in and implementing a new course idea, Lean Startup encourages the innovation team to focus on determining whether a change is really needed; and if change is warranted then to adopt an iterative ‘continuous quality improvement’ approach to course development. The focus is on identifying what learners really need (what gaps currently exist, what they will actually use, and what will really optimize learning outcomes). As Maurya stated, ‘Life’s too short to build something nobody wants’ (Maurya 2012). The sustainability and scalability of the innovation should also be tested: will new customers (e.g. students next year or from other institutions) be able to use it?

넷째, 검증된 학습을 달성하기 위해 스타트업(혁신 팀)은 빌드-측정-학습 사이클(그림 1 및 아래 설명)을 빠르고 자주 거쳐야 합니다. 성공적인 팀은 주요 질문(가정)에 계속 집중하면서 이 프로세스를 가속화할 수 있습니다.
Fourth, to accomplish validated learning, startups (innovation teams) need to go through the Build-Measure-Learn cycle (Figure 1, and described below) quickly and frequently. Successful teams can accelerate this process while continuing to focus on key questions (assumptions).

다섯째, 스타트업(혁신팀)은 혁신회계에 집중해야 한다. 여기에는 의미 있는 메트릭스 식별, 구체적인 목표 설정, 결과 측정, 데이터에 대응하고 목표를 달성하기 위한 작업의 우선 순위가 포함됩니다. 이러한 초점은 혁신자들이 장기적으로 원하는 결과를 달성할 책임을 지게 한다.

Fifth, startups (innovation teams) must focus on innovation accounting. This involves identifying meaningful metrics, setting specific goals, measuring results, and prioritizing work to respond to data and meet objectives. Such focus holds innovators accountable to achieving the long-term desired outcomes.

성공 정의: 비즈니스 모델 명확화
Define success: Articulate the business model

그것은 '성공'이 어떻게 생겼는지 명확하게 정의하는데 도움이 된다. 비즈니스 벤처의 경우, 성공은 보통 고객에게 지불하고 순이익에서 측정된다. 교육 혁신의 경우 성공은 [신규 사용자, 완료율, 학습자 지식 또는 개발 또는 지속적인 비용(교사 시간 포함)]에서 측정될 수 있다.
It helps to clearly define what ‘success’ would look like. For a business venture, success is usually measured in paying customers and net profits. For an educational innovation, success might be measured in new users, completion rates, learner knowledge, or development or ongoing costs (including teacher time).

이러한 성공의 비전을 '비즈니스 모델'('조직이 가치를 창출, 제공 및 포착하는 방법'에 대한 설명)에서 포착하면 훨씬 더 도움이 됩니다. Maurya(2012)는 혁신의 본질(및 수반되는 비즈니스 모델)을 한 페이지로 증류하기 위해 [린 캔버스]를 개발했다. 린 캔버스를 제작하면 팀은 깊이 있고 명확하게 생각할 수 있으며, 가정을 우선시하고, 다른 모델을 대조하며(예: 다른 고객, 문제, 솔루션 또는 비용 구조로 여러 캔버스 생성) 효과적으로 의사 소통할 수 있습니다. 우리는 이 템플릿을 새로운 린 교육 캔버스를 만들기 위해 적용했습니다(그림 2).
Capturing this vision of success in a ‘business model’ (a description of ‘how an organization creates, delivers, and captures value’ [https://en.wikipedia.org/wiki/Business_model]) helps even more. Maurya (2012) developed the Lean Canvas to distill the essence of an innovation (and the accompanying business model) onto a single page. Creating a Lean Canvas forces the team to think deeply and clearly, and helps to prioritize assumptions, contrast different models (e.g. generating several Canvases with different customers, problems, solutions, or cost structures), and communicate effectively. We have adapted this template to create a novel Lean Education Canvas (Figure 2).

린 교육 캔버스를 사용하여 가정의 우선순위를 정하고 프로젝트 전체의 진행 상황/진화를 모니터링할 수 있습니다. 전문가들은 캔버스의 초기 완성을 다음과 같은 순서로 권장합니다(Maurya 2012). 섹션을 공백으로 두어도 괜찮습니다(이는 높은 우선순위 테스트를 수행할 수 있는 위험한 문제가 될 수 있습니다).
The Lean Education Canvas can be used to prioritize assumptions and monitor the progress/evolution of the project as a whole. Experts recommend that the Canvas be initially completed in a single sitting, in the following order (Maurya 2012). It’s ok to leave a section blank (this might suggest a risky issue that warrants high-priority testing).

1. 고객 부문 + 문제 – 이러한 섹션은 긴밀하게 연결되어 있으므로 함께 작성합니다. 즉, '고객'과 2차 수혜자를 모두 식별합니다(예: 의대생에 대한 평가를 기록하는 임상 강사의 새로운 시스템의 경우, 1차 수혜자는 강사, 2차 수혜자는 학생, 지원 직원 및 학장).
1. Customer Segments + Problem – complete these sections together, as they are tightly interconnected; identify both immediate ‘customers’ and secondary beneficiaries (for example: for a novel system for clinical preceptors to record assessments of medical students, the immediate customer is the preceptor; secondary beneficiaries include students, support staff, and the dean).

3. 고유한 가치 제안 – 차이가 중요한지 확인하고 얼리 어답터를 목표로 삼으십시오. [사람들이 제품을 사용한 후 얻을 수 있는 혜택]의 관점에서 이를 설명하도록 하십시오.
3. Unique Value Proposition – make sure your difference matters and aim for the early adopters; try to state this in terms of benefits derived after people use your product.

4. 솔루션 – 단일 솔루션에 얽매이지 말고 '각 문제를 해결하기 위해 구축할 수 있는 가장 간단한 것'을 적습니다(Maurya 2012).
4. Solution(s) – don’t get bound to a single solution; write down the ‘simplest thing you could possibly build to address each problem’ (Maurya 2012).

5. 채널 – 주요 인력(기본 및 보조 고객)과 어떻게 소통하고 참여를 이끌어낼 것인가? 여기에는 푸시 메시징(예: 이메일), 풀 메시징(예: 고객이 웹 사이트) 및 입소문 공유(리퍼링)가 포함될 수 있습니다.
5. Channels – how will you communicate with and get buy-in from key people (primary and secondary customers)? This can include push messaging (you initiate contact, e.g. email), pull messaging (customers find you, e.g. website), and word-of-mouth sharing (referral).

6. 재정 지원 – 일부 교육 혁신은 수익을 창출하기 위한 것이지만, 장기적인 지속 가능성을 보장하기 위해 재정적 지원을 받지 않아도 됩니다. 수익 출처에는 학교 예산 기금, 외부 보조금 및 등록금이 포함될 수 있습니다.
6. Financial Support – some educational innovations intend to generate revenue, but even those that do not must garner financial support to ensure long-term sustainability; revenue sources might include school budget funds, external grants, and subscription fees.

7. 비용 구조 – 혁신을 개발하고 구현하는 데 필요한 비용에 대한 상세하고 현실적인 추정치를 개략적으로 설명합니다.
7. Cost Structure – outline a detailed, realistic estimate of costs required to develop and implement the innovation.

8. 주요 지표 – 여기에는 혁신의 초기 및 반복 사용, 학습 결과(지식, 기술, 행동), 시스템 결과(학교 또는 환자 치료에 미치는 영향), 유료 구독 및 추천이 포함될 수 있습니다.
8. Key Metrics – these might include initial and repeated use of the innovation, learning outcomes (knowledge, skills, behaviors), system outcomes (impact on school or patient care), paid subscriptions, and referrals.

9. 불공평한 이점 – 주어진 제품을 처음 출시하는 것은, 이점이 아니라, 실제로 위험입니다. (Maurya 2012) 진정한 '불공정한' 이점에는 고객과의 연계 가치, 내부자 정보, 개인 전문 지식, 개발 팀 기술, 수많은 기존 고객 및 대규모 네트워크/커뮤니티가 포함됩니다.
9. Unfair Advantage – being first to launch a given product is actually a risk, not an advantage; (Maurya 2012) truly ‘unfair’ advantages include customer-aligned values, insider information, personal expertise, development team skills, numerous existing customers, and a large network/community.

---

가정 식별 후 테스트
Identify assumptions, then test

스타트업(혁신팀)의 목적은 고객에 대해 최대한 많이 배우는 것입니다. 팀은 일반적으로 고객이 무엇을 원하거나 필요로 하는지 아이디어로 시작하지만, 실제로는 단순한 가정일 뿐이며 가정을 테스트해야 합니다. 가정을 식별하는 것은 직관적이거나 쉽지 않다. 표 1은 다음 두 가지 접근 방식을 설명합니다. 

• 스스로에게 일련의 탐색적 질문을 던지고
• 린 교육 캔버스의 각 진술을 체계적으로 잠재적인 가정으로 봅니다.

The purpose of a startup (innovation team) is to learn as much as they can about their customers. The team usually starts with an idea of what the customer wants or needs, but in reality this is merely an assumption—and assumptions need to be tested. Identifying assumptions is not intuitive or easy. Table 1 describes two approaches:

• asking oneself a series of probing questions, and
• systematically viewing each statement in the Lean Education Canvas as a potential assumption.

일단 식별되면, 가정은 프로젝트 실패의 위험에 기초한 시험을 위해 [우선 순위]를 매겨야 한다: [불확실성]이 높고, 잠재적으로 [임팩트]가 큰 가정이 우선 순위가 된다. [테스트하기 쉬운 가정]도 종종 조기에 테스트됩니다.
Once identified, assumptions should be prioritized for testing based on risk of project failure: assumptions with high uncertainty and potentially high impact get first priority. Assumptions that are easy to test are often tested early as well.

사무실에서 나가십시오. 고객과의 대화
Get out of the office: Talk with customers

가정을 식별하고 테스트하기 위해 혁신자들은 [사무실에서 나와 잠재 고객과 소통]해야 합니다(Blank 2020). 만트라는 다음과 같다. '당신의 건물 안에는 사실이 없으니 밖으로 나가세요'(Blank 2012). 고객 중심 학습('고객 개발')은 '깨달음으로 가는 길'(Blank 2020)으로 분류되었습니다.
To both identify and test assumptions, innovators need to get out of the office (Blank 2020) and interact with potential customers (Constable 2014). The mantra is: ‘There are no facts inside your building, so get outside’ (Blank 2012). Customer-focused learning (‘customer development’) has been labeled the ‘path to epiphany’ (Blank 2020).

'문제점'(고객 발견)에 대한 초기 이해는 일반적으로 고객과의 대화(질적 데이터)를 수반합니다. 전문가들은 포커스 그룹(그룹 사고를 유발함)이나 서면 질문지(팀이 이미 올바른 질문과 잠재적 답을 알고 있다고 가정함)보다는 일대일 인터뷰를 권고한다(Maurya 2012; Constable 2014). 이러한 인터뷰에 대한 자세한 지침을 이용할 수 있다(Constable 2014). 정량적 테스트는 이후 단계에서 인터뷰를 보완한다(Constable 2018; Blank 2020).
Initial understanding of ‘pain points’ (customer discovery) typically involves talking with customers (qualitative data). Experts recommend 1-on-1 interviews rather than focus groups (which promote group-think) or written questionnaires (which presume the team already knows the right questions and potential answers) (Maurya 2012; Constable 2014); detailed guidance on such interviews is available (Constable 2014). Quantitative testing complements interviews at later stages (Constable 2018; Blank 2020).

빌드: 실행 가능한 최소 제품
Build: The minimal viable product

불행히도, 고객들은 자신이 진정으로 원하는 것이 무엇인지, 무엇이 가장 효과적으로 작동할 것인지 모르는 경우가 많습니다. 그들의 의견과 믿음은 시험되어야 할 추가적인 가정이다. 따라서 고객(학습자, 교사 등)과 상호 작용할 수 있는 '최소 실행 가능한 제품'(MVP)이라는 가시적인 것을 매우 조기에 구축하는 것이 중요합니다. MVP는 가정을 경험적으로 테스트할 수 있게 한다. 

• 고객은 정말 그 제품을 사용하나요? 
• 고객은 그것을 예상한 대로 사용하나요? 
• 원하는 (학습) 결과를 쉽게 얻을 수 있습니까? 
• 어떤 장애물에 부딪히고, 이를 해결하기 위해 제품을 재설계할 수 있는 방법은 무엇입니까? 
• 이러한 변화가 초기 비전과 의도된 기능에 어떤 영향을 미칩니까? 

이러한 모든 질문 및 기타 질문에 대한 답변은 빌드-측정-학습 주기(그림 1)에 따라 이루어집니다.
Unfortunately, customers often don’t know what they really want or what will work most effectively; their opinions and beliefs are further assumptions that need to be tested. Thus, it is critical to build something tangible very early—a ‘minimal viable product’ (MVP) with which customers (learners, teachers, etc) can interact. The MVP enables assumptions to be empirically tested:

• Do customers really use the product?
• Do they use it as envisioned?
• Does it facilitate the desired (learning) outcomes?
• What stumbling blocks do they encounter, and how can the product be redesigned to resolve these?
• How do these changes affect the initial vision and intended functionality?

All of these questions, and more, will be answered in cycles of Build-Measure-Learn (Figure 1).

혁신자들은 일반적으로 그들의 제품이 거의 완벽하기를 원하지만, 린 스타트업은 정반대의 것을 장려한다. 첫 번째 제품은 '최소한의 노력(시간과 비용 포함)으로 검증된 학습을 최대한 수집할 수 있는 신제품 버전'이어야 합니다(Ries 2009). 이것은 보통 MVP가 의도적으로 저렴하고 불완전하다는 것을 의미한다. [스타트업의 초점]은 제품을 만들거나 고객을 기쁘게 하는 것이 아니라 [문제에 대한 실행 가능하고 지속 가능한 솔루션을 구축하는 방법을 배우는 것]입니다. 따라서 MVP에는 [하나 이상의 중요한 가정(가설)을 테스트하는 데 필요한 최소한의 기능]만 포함되어야 한다. 종종 이것은 [계획된 최종 제품과 표면적으로 거의 유사하지 않은 구현]을 포함한다. 그러나 MVP는 기능성의 [더 깊은 수준에서 강한 오버랩]을 가져야 한다. 기능 보존 단축키의 구체적인 예로는 주문을 처리하기 위해 컴퓨터 프로그램을 작성하는 대신 손으로 주문을 처리하는 것, 소셜 네트워크를 사용하는 대신 혁신 팀이 사용자의 질문에 답하도록 하는 것, 화면상의 아바타가 화면을 돌아다니는 것보다 한 곳에 서도록 하는 것 등이 있다. 표 2에는 추가적인 미니멀리즘 대안이 나열되어 있다.
Innovators typically want their product to be near-perfect, but Lean Startup encourages precisely the opposite: the first product should be a ‘version of a new product which allows a team to collect the maximum amount of validated learning with the least effort’ (Ries 2009) (including time and money). This usually means the MVP is deliberately inexpensive and incomplete. Remember that the focus of the startup is not to build products or please customers, but to learn how to build practicable, sustainable solutions to a problem. Thus, the MVP should contain only the minimal features required to test one or more critical assumptions (hypotheses). Often this involves an implementation that bears little superficial resemblance to the envisioned final product. However, the MVP should have strong overlap at deeper levels of functionality. Specific examples of function-preserving shortcuts include processing orders by hand instead of writing a computer program to process orders; having the innovation team answer users’ questions instead of employing a social network; and making on-screen avatars stand in one place rather than walk around the screen. Table 2 lists additional minimalistic alternatives.

MVP 출범이 늦어진다는 것은 학습의 지연을 의미한다. 혁신자들은 종종 열등하거나 불완전한 제품을 출시하는 것에 대해 우려를 표하며, 고객을 소외시킬 것을 두려워한다. 이러한 두려움은 고객이 누구인지, 고객이 진정으로 원하는 기능이 무엇인지 알고 있으며, 고객은 누락된 기능에 대해 충분히 신경 써서 불쾌감을 느낀다고 가정합니다. 이 모든 가설은 시험할 수 있고, 종종 시험할 때 거짓으로 판명된다. 실제로 가장 중요한 질문 중 하나는 항상 이것이다. 고객은 품질을 어떻게 정의합니까? 즉, 고객이 진정으로 관심을 갖는 기능은 무엇입니까? 중요한 것은, MVP가 '실패'하더라도 학습이 이루어지면(특히 실패가 예상한 방식으로 발생하지 않는 경우가 많기 때문에) 그 경험이 큰 성공을 거둘 수 있다는 것이다.
Any delay in launching the MVP means a delay in learning. Innovators often express concerns about releasing an inferior or incomplete product, fearing to alienate customers. This fear assumes that they know who their customer is, they know what features their customer truly wants, and the customers will care enough about missing features that they will be offended. All of these are hypotheses that can (and should) be tested; and often, when tested, they prove false. Indeed, one of the most important questions is always: How does the customer define quality, i.e. what features do they really care about? Importantly, even if the MVP ‘fails’ the experience can be a great success if learning is gained (especially since failure often does not occur in the expected way).

다시 강조하자면, MVP의 목적이 꼭 고객을 기쁘게 하기 위한 것이어야 할 필요는 없으며, 전반적인 혁신에 대한 가정(가설)을 테스트하여 학습하는 것입니다.
To again emphasize: the purpose of the MVP is not (necessarily) to please customers, but to test assumptions (hypotheses) about the overall innovation and thereby to learn.

측정
Measure

MVP를 테스트하려면 [의미 있고 실행 가능한 결과]의 측정이 필요합니다. '의미 있음'은 테스트 중인 가설(가정)과의 관계를 나타냅니다. 이상적으로, 결과는 강력한 원인-효과 추론(즉, MVP에 대한 학습)을 지원할 것이다. 웹사이트 조회수 또는 환자 체류 기간과 같은 결과를 측정하는 것은 이러한 결과가 MVP의 특정 특징에 기인할 수 없거나 핵심 가정을 다루지 않는 경우 검증된 학습을 제공하지 않는다.
Testing the MVP requires measurement of meaningful, actionable outcomes. ‘Meaningful’ indicates a relationship with the hypothesis (assumption) being tested: ideally, outcomes will support a strong cause-effect inference (i.e. learning about the MVP). Measuring outcomes such as Website hits or patient length of stay does not provide validated learning if these outcomes cannot be attributed to a specific feature of the MVP or do not address a key assumption.

정성적 데이터(인터뷰)는 모든 단계에서 필수적이지만, 프로젝트가 진행됨에 따라 정량적 데이터(수치)의 중요성이 점점 커지고 있습니다. 유료 고객을 유치하는 데 의존하는 기업에게 '해적 지표'(McClure 2007)는 의미가 있다('AARR'이라는 머리글자가 해적처럼 들리기 때문에 일명). 이러한 지표는 다음에 초점을 맞춥니다. 

• 고객 획득(신규 방문자 수), 
• 활성화(진행 상황을 저장하거나 계정을 활성화하여 재방문을 계획할 수 있을 만큼 충분한 경험을 누리는 고객), 
• 유지(실제 재방문), 
• 추천(동료에 대한 추천), 
• 수익(어떤 것에 대한 지불)

이들은 많은 교육 환경에 적응할 수 있다(예: 온라인 모듈은 새로운 사용자, 모듈 완료, 지속적인 사용 및 추천을 추적할 수 있다). 교육의 다른 성과로는 환자 결과 및 재정적 비용뿐만 아니라 학습자 만족도, 동기 부여, 태도, 지식, 기술 및 침대 머리맡에서의 행동이 포함될 수 있다. '최고의' 결과는 문제의 가정을 직접적으로 알려주는 것이다. 잠재적 결과 측정의 비용, 타당성, 타당성 및 임상/교육 관련성 또한 중요한 고려사항이다.
Qualitative data (interviews) are vital at all stages, but quantitative data (numbers) become increasingly important as a project progresses. For a business dependent on attracting customers who pay, the ‘pirate metrics’ (McClure 2007) (so-called because the acronym ‘AARRR’ sounds like a pirate) are meaningful. These metrics focus on customer

• Acquisition (number of new visitors),
• Activation (customers who enjoy the experience enough to plan a return visit by saving progress or activating an account),
• Retention (actual return visits),
• Referral (recommendations to colleagues), and
• Revenue (payment for something);

these could be adapted to many education settings (e.g. an online module might track new users, module completion, ongoing use, and referrals). Other outcomes in education might include learner satisfaction, motivation, attitudes, knowledge, skills, and behaviors at the bedside, as well as patient outcomes and financial cost. The ‘best’ outcome is one that directly informs the assumption in question. Cost, feasibility, validity, and clinical/educational relevance of potential outcome measures are also important considerations.

정량적 데이터는 시간 경과에 따른 비교(설계 변경과 이상적으로 연계), '경쟁사'와의 비교(또는 전통적인 접근 방식) 또는 동시 통제군과의 비교 등이 있다. 강력한 원인 효과 결정을 용이하게 하는 한 가지 방법은 'A-B 테스트'를 포함하며, 이는 기본적으로 두 가지 버전의 MVP(버전 A, 버전 B)가 생성되는 제어 실험이며, 중요할 것으로 의심되는 특징에서만 다르다. 사용자의 절반은 버전 A를 제공하고 절반은 버전 B를 제공하며 결과는 비교된다. 대면 교육에서는 종종 어렵지만, A-B 비교는 컴퓨터 보조 교육에서는 비교적 간단하며 소프트웨어 개발에서는 일반적이다. 실제로 구글과 아마존 같은 거대 기술기업들은 제품 디자인을 다듬기 위해 지속적으로 A-B 테스트를 사용한다. 한 전문가(McLure 2007)는 무엇을 해야 할지 모르면 '대단히 추측해 보고 A-B 테스트를 해보십시오.'라고 제안합니다.
Quantitative data can be compared over time (ideally linked with design changes), with a ‘competitor’ (or traditional approach), or with a concurrent control. One way to facilitate robust cause-effect determinations involves ‘A-B testing,’ which is basically a controlled experiment in which two versions of the MVP (version A, version B) are created, differing only in a feature suspected to be important. Half the users are offered version A, half are offered version B, and outcomes are compared. While often difficult in face-to-face instruction, A-B comparisons are relatively straightforward for computer-assisted instruction, and are commonplace in software development. In fact, technology giants such as Google and Amazon use A-B testing continuously to refine their product design. One expert (McClure 2007) suggests that if you don’t know what to do, ‘Just guess and then A-B test—a lot!’

학습: 피벗 또는 지속성
Learn: Pivot or persevere

측정이 수집되고 분석되면 학습(데이터 해석)과 의사결정이 필요한 시점이다. 근본적인 결정은 [인내]할 것인지(초기 아이디어를 계속 다듬을 것인지) 아니면 [피벗]할 것인지(초기 아이디어를 포기하거나 근본적으로 변경하여 다른 고객, 기능 세트 또는 제품에 초점을 맞출 것인지)입니다. 핵심은 각 결정이 검증된 학습을 기반으로 한 정보에 정통하다는 것입니다. 다시 말하지만 스타트업(혁신팀)의 초점은 제품을 만들거나 고객(학습자)에게 서비스를 제공하는 것이 아니라 효과적이고 실용적이며 지속 가능한 솔루션(비즈니스 모델)을 구축하는 방법을 배우는 데 있습니다.
Once measurements have been collected and analyzed, it is time for learning (data interpretation) and decisions. The fundamental decision is whether to persevere (continuing to refine the initial idea) or to pivot (abandoning or radically changing the initial idea to focus on a different customer, feature set, or product). The key is that each decision is well-informed—based on validated learning. Again, the focus of a startup (innovation team) is not so much to build a product or serve customers (learners) but rather to learn how to build an effective, practicable, sustainable solution (business model).

반복하다…빠르게 
Repeat … rapidly

그런 다음 또 다른 핵심 가정(가설)의 우선 순위를 정하고, 그 가설, 측정 및 결정을 테스트할 MVP를 만드는 것으로 다시 순환이 시작됩니다. 가설과 측정값이 더 우수하고 각 사이클이 더 빨리 완료될수록 혁신 팀은 더 잘 배우고 더 많은 경쟁 우위를 확보할 수 있습니다.
And then the cycle begins again—with prioritization of another key assumption (hypothesis), creation of an MVP to test that hypothesis, measurement, and decision. The better the hypotheses and measurements, and the faster each cycle can be completed, the better and more the innovation team will learn and the greater their competitive advantage.

전체적으로, Maurya(2012)는 [고객과 관련성을 유지하고, 솔루션이 아닌 문제를 사랑하며, 전체 혁신(효과와 지속 가능성 포함)의 위험을 체계적으로 제거]할 필요성을 강조한다. 린(교육) 캔버스(그림 2)는 모델의 만족도, 실행 가능성 및 실현 가능성을 포함하여 모델을 체계적으로 '스트레스 테스트'하는 데 도움이 됩니다.
Throughout, Maurya (2012) emphasizes the need to stay relevant to customers, love the problem not the solution, and systematically de-risk the entire innovation (including effectiveness and sustainability). The Lean (Education) Canvas (Figure 2) is helpful in systematically ‘stress testing’ the model, including its desirability, viability, and feasibility.

물론, 실제 교육 설정은 전형적으로 과정 빈도(예: 매년 1회)와 사이클 빈도를 제한하는 잠재적 '고객'(예: 연간 25명)에 의해 제약을 받는다. 그러나 초점은 [제품 테스트]보다는 [검증된 학습]에 있다. 관련 가정을 테스트할 수 있다면 구체적인 과정, 주제, 참여자는 중요하지 않습니다. 따라서, 많은 빌드-측정-학습 주기는 의도된 과정과 학습자의 외부에 초점을 맞출 수 있습니다(제안 내용은 표 2 참조).
Of course, real-life education settings are typically constrained by the course frequency (e.g. once each year) and potential ‘customers’ (e.g. 25 students per year), which limit the cycle frequency. However, the focus on validated learning rather than product testing is liberating: the specific course, topic, and participants don’t matter if relevant assumptions can be tested. Thus, many Build-Measure-Learn cycles could focus outside the intended course and learners (see Table 2 for suggestions).

교육은 복잡하고 완전히 이해되지 않는 활동이다. 교육 관련 문제에 대한 혁신적인 해결책도 마찬가지로 복잡하며 '효과가 있었는가'라는 단순한 예/아니오 질문으로 좀처럼 줄어들지 않는다. Build-Measure-Learn의 반복적 특성은 각 사이클이 점진적으로 미묘한 질문을 다루면서 자연스럽게 이 상황에 적합하다(이게 중요한 문제인가). 이 혁신은 실행 가능한 해결책입니까? 그것이 얼마나 학습을 촉진하는가? 비용 효율적이고 지속 가능한 제품입니까?)

Education is a complex and incompletely understood activity. Innovative solutions to education-related problems are likewise complex and rarely reduce to simple yes/no questions of ‘Did it work?’ The iterative nature of Build-Measure-Learn lends itself naturally to this situation, with each cycle addressing progressively nuanced questions (

• Is this an important problem?
• Is this innovation a viable solution?
• How well does it promote learning?
• Is it cost-effective and sustainable?).

초기 고객 발굴 및 아이디어 발굴
Initial customer discovery and ideation

지역 리더와의 대화를 바탕으로 중간 수준의 제공자(간호사 실무자 및 의사 보조자)가 지속적인 교육을 위해 혁신적인 지원이 잠재적으로 필요한 것으로 파악했다. 13개 중간 수준의 제공자와의 인터뷰는 사례 기반 학습(서면, 시뮬레이션 및 실제 환자와의 학습), 동료와 사례를 논의할 기회, 매우 짧은 기간 동안의 활동을 포함한 몇 가지 '페인 포인트'을 확인했다.
Based on conversations with local leaders, we identified midlevel providers (nurse practitioners and physician assistants) as potentially needing innovative support for continuing education. Interviews with 13 midlevel providers identified several ‘pain points’ including a desire for more case-based learning (written, simulated, and with real patients), opportunities to discuss cases with colleagues, and activities of very short duration.

후속 팀 브레인스토밍 세션은 세부 사항, 관련성, 혁신 및 실현 가능성에 있어 큰 차이를 나타내는 30개 이상의 고유한 아이디어를 식별했습니다. 비록 많은 아이디어가 모호하거나 실현 불가능했지만, 이 활동은 팀을 단결시키고 후속 활동을 위한 토대를 제공했다. 시간이 지남에 따라, 우리의 목표 고객 그룹은 (인터뷰에서) 사례 기반 학습의 인지된 가치를 확인한 실무 의사와 거주자를 포함하도록 다양화되었습니다.
A subsequent team brainstorming session identified over 30 unique ideas representing large variation in detail, relevance, innovation, and feasibility. Although many ideas were vague or infeasible, the activity united the team and provided a foundation for subsequent activities. Over time, our target customer group diversified to include practicing physicians and residents, who affirmed (in interviews) the perceived value of case-based learning.

혁신 1. '케이스 앱'
Innovation 1. ‘CasesApp’

혁신 2. '''비디오 360'''
Innovation 2. ‘Video360’