Passing the Torch : 의학을 가르치는 것은 횃불을 전달하는 것과 같다.

의대 교수자들에게 인센티브 주기: 동기부여에 영향을 주는 인센티브의 역할 탐색 (Acad Med, 2018)
Incentivizing Medical Teachers: Exploring the Role of Incentives in Influencing Motivations 
Katherine M. Wisener, MA, and Kevin W. Eva, PhD

모든 의학 교육 프로그램의 임무는 의대생들이 환자의 삶을 개선하는 개업의로 성공적으로 전환할 수 있도록 지원하는 것이다. 그 성공 여부는 의학 교육자에게 크게 좌우됩니다. 즉, 강의실과 임상 환경에서 가르치는 임상의사와 다른 교수진들, 그들 중 다수는 급여를 받거나 대학에 고용되지 않았고, 그들 중 다수는 교육자로서 훈련을 받지 않았으며, 그들 중 다수는 2차 직업 선택으로만 교육자로서의 그들의 역할을 발견했다. 이러한 장벽을 고려할 때 동기 부여되고 효과적인 교육자를 식별하고 모집하는 것은 어려울 수 있으며, [교육의 단점]이 점점 더 [이점]을 능가한다는 우려가 있다. 일부 연구자들은 거의 절반의 교직원들이 불만을 가지고 있고 그들의 교사직을 떠나는 것을 심각하게 고려하고 있다는 것을 발견했다. 임상의의 교수 동기에는 개인적, 환경적, 체계적 요인이 영향을 미치며, 의대가 교수를 가장 잘 장려하고 교수의 우수성을 촉진할 수 있는 방법에 대한 이해가 필요하다.
The task of any medical education program is to support medical students’ successful transition into practicing clinicians who improve the lives of their patients.1 The success of this is heavily dependent on medical educators—namely, the clinicians and other faculty who teach in classroom and clinical environments, many of whom are not salaried or employed by the university, many of whom are not trained as educators, and many of whom discovered their roles as educators only as a secondary career choice.2 Given these barriers, identifying and recruiting motivated and effective educators can be challenging, and there is concern that the drawbacks of teaching increasingly outweigh the benefits. Some researchers have found that almost half of teaching faculty are dissatisfied and are seriously considering leaving their teaching roles.3,4 There are individual, environmental, and systemic factors influencing clinicians’ motivations to teach, and understanding how medical schools can best incentivize teaching and promote teaching excellence is needed.

[동기 부여motivation]는 개인이 어떤 일을 맡도록 움직이는 수단을 말한다. 동기가 부족할 때(또는 감소할 때) 인센티브(즉, 노력에 영향을 미치려는 시도로 사용되는 유형 또는 무형의 외부 제공물)를 구현하는 것이 명백한 해결책으로 보일 수 있다. 그러나 인센티브를 시행하는 것은 간단하지 않으며 긍정적인 형태의 동기부여를 줄이거나, 문제적인 형태의 동기부여를 촉진함으로써 역효과를 낼 수 있다. 예를 들어, 헌혈을 늘리려는 시도에 재정적 보상을 도입하는 것은 역효과를 낳았고 헌혈하려는 사람들의 의지를 감소시켰다. 인센티브는 사람들이 "분노, 저항, 무관심을 가지고" 행동을 하게 만들거나, "일의 가치나 효용에 대한 내적인 수용을 반영하는 의지의 태도를 가지고" 행동을 하게 만든다. 따라서 의료 교육자들 사이에서 생산적인 형태의 동기 부여를 촉진하기 위해 인센티브를 적절하게 배치하는 방법을 아는 것이 무엇보다 중요하다.
Motivation refers to the means through which an individual is moved to undertake a task.5 When there is a lack of (or waning) motivation, implementing incentives (i.e., any external offering, tangible or intangible, that is used in an attempt to influence effort) might seem like an obvious solution. However, implementing incentives is not straightforward and can be counterproductive by reducing positive forms of motivation or promoting problematic forms of motivation. For example, introducing financial rewards in attempts to drive up blood donations has backfired and reduced people’s willingness to donate blood.6,7 Incentives can lead people to perform actions “with resentment, resistance and disinterest, or with an attitude of willingness that reflects an inner acceptance of the value or utility of a task.”5 Knowing how to position incentives appropriately to foster productive forms of motivation among our medical educators is, therefore, paramount.4

이 논문은 인센티브가 긍정적으로 영향을 미치는 방법, 이유 및 시기를 탐구하기 위해 수행되는 중요한 합성을 제공한다. 우리는 연구 분야 간의 주요 차별화 요소를 강조하고 연구자들이 인센티브 제도의 부정적인 영향을 완화하기 위해 어떻게 시도했는지 보여준다. 의학 교육 문헌은 문맥을 제공하기 위해 먼저 고려된다. 이어서, 우리는 심리학, 조직 행동 및 행동 경제학 분야의 관련 연구 결과를 설명함으로써 해당 문헌의 인센티브 묘사의 차이를 강조한다. 각각은 의학 교육 맥락에 대한 추가적인 통찰력을 제공하는 관련 경험적 데이터와 이론적 이해에 기여한다. 그런 다음 실질적인 조언을 제공하고 이해의 격차가 남아 있는 부분을 개략적으로 설명하기 위해 이러한 분야 내 및 분야 전반에 걸쳐 수렴 및 분기 영역을 합성한다.
This paper offers a critical synthesis conducted to explore how, why, and when incentives are positively influential. We highlight key differentiators between fields of study and reveal how researchers have attempted to mitigate negative impacts of incentivization schemes. The medical education literature is considered first to provide context. Subsequently, we highlight gaps in that literature’s portrayal of incentives by illustrating relevant research findings from the fields of psychology, organizational behavior, and behavioral economics. Each contributes relevant empirical data and theoretical understanding that provide additional insight into the medical education context. We then synthesize areas of convergence and divergence within and across these disciplines in an effort to offer practical advice and outline what gaps in understanding remain.

방법
Method

이러한 노력의 기초가 되는 목적은 특정 관찰의 일관성/규모에 대한 결론을 도출하기보다는, 인센티브화 현상을 이해하는 데 다양한 중요한 기여를 탐구하는 것이었다. 따라서, 우리는 주어진 분야 내의 문헌을 이해하기 위한 목적적이고 반복적인 접근법에 의해 안내되는 종합synthesis인 [비판적 문헌 검토]를 수행했다. 광범위할 수 있는 기초 논문을 식별하고 조사 중인 주제의 다양한 측면에 대한 특별한 통찰력을 제공하기 위해 출판물의 비판적 평가를 통해 진행된다. 그것의 주요 강점은 연구자가 완전한 체계성에 대한 주장을 허용하기에는 너무 광범위한 현상에 대한 관심을 고려하여 광범위한 이해를 개발하기 위해 상당한 범위의 문헌을 그릴 수 있도록 하는 것이다.
The purpose underlying this effort was to explore a variety of significant contributions to understanding the phenomenon of incentivization rather than to draw conclusions about the consistency/magnitude of any particular observation. As such, we conducted a critical literature review, which is a synthesis guided by a purposeful and iterative approach to understanding the literature within a given field(s). It proceeds through the critical evaluation of publications to identify foundational papers that may be wide reaching and contribute particular insight about different aspects of the topic under investigation.8,9 Its main strength is allowing the researcher to draw on a substantial breadth of literature to develop well-rounded understanding given interest in a phenomenon that is too broad to allow claims of complete systematicity.10

Grant and Booth(2009)에 따라 프로세스를 진행하였으며, 검색, 평가, 합성 및 분석의 4단계를 포함했습니다(그림 1). 검색 단계에서 구글 스콜라는 인센티브와 관련된 주요 논문과 주요 이론적 개념을 식별하는 데 사용되었으며, 이는 검색 용어를 보다 세련된 검색에 적용하는 데 사용되었다. 처음에는 모든 관련 분야가 고려되었지만,

• 일부는 의학 교육에서 얻은 교훈에 추가적인 지식을 제공하지 않았다. 
  (예를 들어, 일반 교육에서 교사를 장려하는 연구는 개념적으로 의학 교육자를 포함하는 연구에는 거의 불필요했다.) 
  
• 그리고 일부 분야는 주로 다른 영역에서 생성된 이론과 증거로부터 이끌어내는 것으로 보였다. 
  (예를 들어, 운동 및 조직 맥락에서 코칭을 탐구하는 것은 우리를 심리학으로 다시 이끌었다.) 

탐색 과정이 전개됨에 따라 두 저자 간의 반복적인 토론을 통해 심리학, 조직행동학, 행동경제학 분야는 의학 교육과 관련될 수 있는 인센티브에 대한 우리의 이해를 심화시키는 것과 관련하여 특히 유익한 것으로 간주되었다.
Our process was informed by Grant and Booth (2009)9 and included four steps: search, appraisal, synthesis, and analysis (Figure 1). In the search stage, Google Scholar was used to identify seminal papers and key theoretical concepts related to incentivization that informed search terms that were then applied to a more refined search. While all relevant fields were considered at first, some did not contribute additional knowledge to the lessons gleaned from medical education (e.g., explorations of incentivizing teachers in general education were largely conceptually redundant to explorations involving medical educators), and some fields appeared predominantly to draw from theory and evidence primarily generated in other domains (e.g., exploring coaching in athletic and organizational contexts largely led us back to psychology). Through iterative discussions between both authors as the search process unfolded, the disciplines of psychology, organizational behavior, and behavioral economics were deemed particularly fruitful with respect to deepening our understanding of incentivization as it might pertain to medical education.

결과적으로, 그러한 관점이 잘 표현되도록 의도적인 노력으로 그러한 문헌들을 통해 추가적인 검색이 이루어졌다. 사용된 데이터베이스에는 CINAHL, 논문 초록, ERIC, MEDLINE, PsycINFO, EconLit, 그리고 Web of Science가 포함된다. 기사는 다음과 같은 질문을 다루는 경우 자세히 조사되었다. 

• (1) 이 출판물은 인센티브/보상/장벽과 동기부여 사이의 상호작용을 탐구하고 있는가? 
  
• (2) 인센티브가 특정 조치를 산출할 수 있는 메커니즘에 대한 이해를 심화시키는 데 기여하는가? 

대부분의 기사는 실증연구였지만, 추가적인 통찰력으로 이어질 수 있기 때문에 관련 사례연구, 책장, 사설 등도 고려되었다.

As a result, additional searches were made through those literatures in a deliberate effort to ensure that those perspectives were represented well. Databases used included CINAHL, Dissertation Abstracts, ERIC, MEDLINE, PsycINFO, EconLit, and Web of Science. Articles were explored in detail if they addressed the following questions:

• (1) Does the publication explore the interaction between incentives/rewards/barriers and motivation?
• (2) Does it contribute to deepening understanding of the mechanisms through which incentives can yield certain actions?

Most articles were empirical studies, but relevant case studies, book chapters, and editorials were also considered because they could lead to additional insight.

결과.
Results

의료 교육에서 인센티브가 어떻게 그리고 왜 사용되고 있는가?
How and why incentives are being used in medical education

주로 설문조사와 인터뷰를 통해 개발된 상당한 문헌은 임상 교사들이 가르치는 데 많은 동기를 느낀다는 것을 시사한다. 특히 눈에 띄는 것은

• 자신의 의학적 지식을 입증하고 새롭게 하는 능력,
  
• 교육자로부터 받은 혜택을 "pay it forward"할 수 있는 기회,
  
• 학생들과 교류하고 도울 수 있는 기회,
  
• 도전을 느끼거나 교사의 정체성을 가정함으로써 얻어지는 개인적인 만족감

가르치는 것에 대한 동기 부여를 보고하는 일부 사람들은 그것이 그들의 역할 중 가장 보람 있는 것이라고 생각한다. 표 1은 보다 포괄적인 목록을 제공한다.

A considerable literature, predominantly developed through surveys and interviews, suggests that clinical teachers feel many motivations to teach. Particularly prominent is

• the ability to demonstrate and refresh one’s medical knowledge,3,11–14 
• the opportunity to “pay forward” the benefits received from educators,13–18 
• the opportunity to interact with and help students,3,11,12,15–18 and
• personal satisfaction derived from feeling challenged or assuming a teaching identity.13,14,16–18 

Some who report feeling motivated to teach find it to be the most rewarding of their roles.19 Table 1 provides a more comprehensive list.

동시에, 일부 임상의들은 교육에 많은 장벽에 직면해 있다는 것이 분명하다. 교육에 대한 동기 부여를 보고하는 임상의들은 점점 더 그들의 교육 역할에 불만족스러워하고 있으며, 소모와 소진은 불행한 결과이다. 일반적으로 보고되는 교육의 장벽은 경쟁적인 우선순위, 인식된 기술의 부족, 열악한 교육 시설, 관심의 부족을 포함한다. 표 2는 보다 포괄적인 목록을 제공한다.
At the same time, it is clear that some clinicians face many barriers to teaching.17 Clinicians who report being motivated to teach are increasingly dissatisfied with their teaching roles,15 with attrition and burnout being unfortunate outcomes.4,11,14,19,20 Barriers to teaching that are commonly reported include competing priorities,3,11,13,14,17 a lack of perceived skill,7,17,19 poor teaching facilities,3,15,17 and a lack of interest.11,15,19  Table 2 provides a more comprehensive list.

의대 교수 이직률이 매년 평균 8~10%, 조교수 10년 유지율은 43%에 불과하고, 이직으로 발생하는 비용은 임상 교수 1인당 15만5000달러에서 55만9000달러 사이라는 점을 감안하면 이러한 장벽의 영향은 비용이 많이 든다. 이 모든 것은, [교수직을 추구하는 의대생들과 전공의들의 수가 비슷하게 감소하고 있다]는 보고와 함께 생각해본다면, 차세대 교수진을 유치하고, 현재 교수진의 손실을 막는 것이 우선순위가 되어야 한다는 주장으로 이어졌다. 그러나 다가오는 위기가 될 수 있는 것을 피할 수 있는 지침은 거의 없다.
The impacts of these barriers are costly given that medical school faculty turnover averages 8% to 10% each year,4 with the 10-year retention rate of assistant professors only 43%,20,21 and turnover costing between $155,000 and $559,000 per clinical faculty member.19 All this, combined with reports that the number of medical students and residents seeking teaching roles is similarly declining, has led to claims that attracting the next generation of faculty and preventing the loss of current faculty must be a dominant priority.4 Little guidance, however, is available to avoid what could be a looming crisis.

임상 교사들을 향한 [가장 일반적인 인센티브]는 대세를 막지 못했다. 여기에는 학술적 임명, 리더십의 인정, 교수진 개발 기회, 상, 돈, 선물, 지속적인 의학 교육 크레딧, 도서관 자원이 포함된다. 임상의들에게 교수에 대한 인센티브 순위를 물었을 때,

• [개인적인 만족도]가 가장 높은 순위를 차지했고,
• [교육 기회와 경력 향상]이 그 뒤를 이었으며,
• [재정적인 지불과 선물]은 꼴찌를 차지했다.

그러나 이러한 연구에서 [자기 보고 척도]를 주로 사용하는 것은 인센티브가 수행하는 역할에 대한 충분히 미묘한 이해에서 우리가 운영해 온 정도에 대한 우려를 불러일으킨다. 예를 들어, 위에서 언급한 연구에서 재정적 보상이 전체적으로 가장 낮은 순위를 차지했지만, 그 결과는 [응답자들이 일하는 맥락]에 따라 달라진다. [돈]은 [가르치는 데 돈을 받지 않은 사람들]에 의해 가장 낮은 평가를 받았지만, [이미 돈을 받고 있는 사람들]에게는 가장 높은 평가를 받았다. 게다가, 그러한 순위는 일부 사람들이 재정적 인센티브를 위해 가르치지 않는다는 것을 암시할 수 있지만, 그들은 교육과 관련하여 일반적으로 들려오는 재정적 디스인센티브(즉, 진료를 받지 않음으로써 포기되는 돈)에 대한 우려 해결을 간과한다. 이 문헌과 그 한계를 종합하면, 특정 인센티브가 영향력이 있는지 없는지에 대한 단순한 주장보다 더 복잡한 현실을 시사한다.
The most common incentives for clinical teachers have not stemmed the tide. These include academic appointments, recognition from leadership, faculty development opportunities, awards, money, gifts, continuing medical education credits, and library resources.12,13,17 When clinicians have been asked to rank-order incentives for teaching,

• personal satisfaction ranks highest,
• followed by educational opportunities and career advancement,
• with financial payments and gifts ranking last.12,13 

The predominant use of self-report measures in these studies, however, raises concern about the extent to which we have operated from a sufficiently nuanced understanding of the role that incentives play. For example, although financial rewards ranked lowest overall in the study mentioned above, that result depended on the context in which respondents were working: Money was ranked least valued by those who were not paid to teach, but highest by those who were already being paid.12 Further, such rankings may suggest that some people do not teach for financial incentives, but they neglect to address commonly heard concerns of financial disincentives associated with teaching (i.e., money that is given up by not being in clinic). Taken together, this literature and its limitations suggest a more complex reality than simple claims that certain incentives are influential or not.

사람들이 행동을 주도하는 것으로 [인식하는 것]과 [실제 행동 결정 요인] 사이의 단절을 고려할 때, 자기보고에 기초한 인센티브 계획을 설계하는 것은 위험하다. 게다가, 역효과를 내는 인센티브 제도에 대한 다양한 보고서는 우리가 가르칠 필요가 없거나 더 많은 노력을 하도록 장려될 수 있는 사람들에게 인센티브가 미치는 영향을 더 잘 이해하려면 더 깊은 탐구를 요구한다. 우선, 우리는 기대와 관찰 사이의 그러한 단절을 이해하는 것을 전문으로 하는 학문인 심리학으로 눈을 돌렸다.
Given the disconnect between what people perceive to drive their behavior and actual determinants of behavior,22 designing an incentivization scheme based on self-reports is risky. Further, various reports of incentive schemes having counterproductive consequences demand a deeper exploration if we are to better understand the impact of incentives on those who are not required to teach or who could be encouraged to give more effort. To begin, we turned to psychology, a discipline that specializes in understanding such disconnects between expectation and observation.

인센티브에 대한 심리학적 관점
Psychology’s view on incentives

심리학 연구자들은 동기가 발생하는 메커니즘에 대해 광범위한 연구를 수행했다. 동기부여의 [네 가지 요소]는 여러 주요 동기부여 이론들 사이에서 공유된다. 

• (1) 역량(어떤 일을 잘 할 수 있는 자신의 능력); 
  
• (2) 자율성 또는 가치(행위를 완료하기를 원하거나 그 행위에 투자되는 정도) 
  
• (3) 귀인(성과에 대해 스스로 인식하는 책임) 및 
  
• (4) 사회 인지적 요소: 개인과 사회적 맥락 사이의 상호 작용을 포함

따라서 특정 개인에 대한 인센티브의 효과는 이 네 가지 요소를 어떻게 구축하거나 감소시키느냐에 달려 있다. 자기결정이론(SDT)에서 도출된 이 문헌의 주요 차이점은 다음과 같다. 

• "본질적으로 흥미롭거나 즐겁기 때문에" 직무가 수행되는 내재적 동기 부여 
  
• "분리 가능한 성과separable outcome로 이어지기 때문에" 작업이 수행되는 외적 동기 부여. 

[분리 가능한 성과separable outcome]를 갖는다는 것은 그 일에 [가치가 있다고 여겨지는 보상] 또는 [피해야 할 처벌]의 형태로 나타나는 [도구성instrumentality]이 있다는 것을 의미한다. (예를 들어, 주제가 재미있어서라기보다는 숙제로 배정되어 있기 때문에 책을 읽는 것)

Psychology researchers have conducted extensive research on the mechanisms by which motivation arises. Four components of motivation are shared among several prominent motivational theories:

• (1) competence (one’s self-perceived ability to do something well);
• (2) autonomy or value (the extent to which one wants to complete, or is invested in, the act);
• (3) attribution (one’s perceived responsibility for the outcome); and
• (4) sociocognitive elements that involve interactions between an individual and the social context.23 

The effectiveness of an incentive for a particular individual, therefore, is dependent on how it builds on or detracts from these four components. A key distinction in this literature, drawn from self-determination theory (SDT), is that between

• intrinsic motivation, in which a task is performed “because it is inherently interesting or enjoyable”4; and
• extrinsic motivation, in which a task is performed “because it leads to a separable outcome.”5 

To have a separable outcome means that there is some instrumentality to the task, either in the form of a reward that is valued or a punishment to be avoided (e.g., reading a book because it is assigned as homework rather than because the topic is interesting).

교유에 [내재적 동기]가 부여된 임상의는 재미나 도전을 즐기기 때문에 그렇게 한다. (즉, 보상이 활동 자체에 포함되어 있기 때문입니다.) 일반적으로, 내재적 동기는 개인이 특정한 작업에 참여할 때, 심지어 (그러한 행동을 할 것이라는 타인의) 기대가 없고, 개인이 (특정 활동 대신) 참여할 수 있는 다른 활동이 있더라도 관찰할 수 있다. 이러한 모델에 따르면, 모든 임상의가 교육에 내재적 동기 부여를 갖는다면, 의료 훈련 프로그램을 배치하는 데 문제가 없을 것이며, 따라서 인센티브가 내재적 동기 부여를 구축할 수 있는지에 대한 질문을 제기한다.
A clinician who is intrinsically motivated to teach does so because she enjoys the fun or challenge (i.e., because the reward is embedded within the activity itself). Generally, intrinsic motivation is observable when an individual engages in a particular task even when there is no expectation and despite there being other activities in which the individual could engage.24 According to these models, if every clinician were intrinsically motivated to teach, there would be no issue with staffing medical training programs, thereby begging the question of whether incentives can build intrinsic motivation.

중요한 메타 분석에 따르면, 대부분의 경우 인센티브 제공은 특정 작업에 [내재적 동기를 부여하는 사람들]에게 때로는 영구적으로 해롭다. 인지평가 이론가들은 [보상]이 [개인의 자율성과 역량]을 떨어뜨려, 보상이 [보상을 받지 못하면 하지 않겠다]는 의미를 내포하고 있기 때문에, 그 일을 덜 바람직하지 않게 보이게 한다고 설명한다.

• 이는 특히 업무와 성과에 따른 보상(즉, 특정 수준에서 업무를 완료하거나 완료하는 것에 기초하여 주어지는 보상)의 경우에 해당된다.
• 업무에 수반되지 않는 보상(즉, 업무 완료 여부에 관계없이 주어지는 보상)은 [업무와 보상 사이의 도구성을 제거]한다(개인이 자율성을 되찾을 수 있도록 한다). 그러나 [역량 확인competence affirmation]을 동시에 제거하게 되므로, 과제를 잘 수행하는 것에서 오는 고유한 만족감을 제거할 수 있습니다.

A seminal meta-analysis25 reveals that the provision of incentives is, in most cases, detrimental for those who are intrinsically motivated toward a certain task, sometimes permanently. Cognitive evaluation theorists26 explain that rewards lower an individual’s sense of autonomy and competence, making the task seem less desirable because the reward implies that one would not do it if not rewarded.5 

• This is particularly the case with task-contingent and performance-contingent rewards (i.e., those given based on completing the task or completing it at a certain level).
• Non-task-contingent rewards (i.e., those given regardless of whether the task is completed) remove the instrumentality between the task and the rewards (allowing individuals to reclaim autonomy) but can simultaneously remove competence affirmation, eliminating the inherent sense of satisfaction that comes from a task well done.25

[인정과 긍정적 피드백]과 같은 [덜 유형적인 보상]은 자율성에 대한 많은 위험 없이 [역량을 긍정affirm]할 수 있으며, 내재적으로 동기 부여 작업에 대한 동기를 구축하는 것으로 나타났지만, 그 전달에는 중요한 뉘앙스가 있다. 심지어 긍정적인 피드백도 그것이 일상적으로 주어져서, 주어질 것이라는 기대가 자리잡으면, 자율성을 감소시킬 수 있기 때문에 결국 본질적인 동기에 부정적인 영향을 미친다. 또한

• 임상의가 [[긍정적인 피드백]이나 [유형적인 보상]을 받을 수 있다는 것을 알고 있다면], 유형적인 보상은 "상징적 단서적 가치symbolic cue value"를 취하며, 보람 있는 역량의 정도가 달성되었음을 암시한다. 결과적으로, 그러한 상황에서는, [유형적 보상]이 더 효과적인 경향이 있다.
• 반면에, 임상의가 [보상을 받을 것이라는 것을 모른다면], [유형적 보상]보다 [예상치 못한 언어적 칭찬]이 본질적인 동기를 증가시킨다.

Less tangible rewards such as acknowledgment and positive feedback can affirm competence without as much risk to autonomy and have been shown to build motivation for intrinsically motivating tasks,25 but there are important nuances to their delivery. Even positive feedback eventually impacts intrinsic motivation negatively because it can reduce autonomy when it is given routinely and, thus, becomes expected.25 Further,

• if clinicians know they can either receive positive feedback or a tangible reward, the tangible reward takes on “symbolic cue value” and implies that a degree of competence has been achieved worth rewarding. As a result, in such situations, tangible rewards tend to be more effective.27 
• If, on the other hand, clinicians do not know they are to be rewarded, then unexpected verbal praise increases intrinsic motivation more than tangible rewards.

이러한 차이는 의료 교육 문헌에서 교육을 위해 급여를 받는 사람들은 재정적 인센티브를 높게 평가하는 반면 그렇지 않은 사람들은 낮게 평가하는 이유에 대한 통찰력을 제공한다. 일단 [가시적인 보상]을 받을 수 있다는 것이 알려지면, [재정적 인센티브]는 [그 과제가 중요하다고 간주된다는 것]을 보여주는 더 큰 [상징적 단서적 가치]를 갖는다. 비록 내재적인 동기 부여가 더 큰 창의성과 생산성으로 이어지는 경향이 있기 때문에 이상적일 수 있지만, 많은 일상적인 과제들은 본질적으로 흥미롭지 않고, 많은 의학 교육자들은 가르치는 것에 외적인 동기 부여를 받는다.
This distinction offers insight into why the medical education literature suggests that those who are paid to teach rank financial incentives highly, whereas those who are not rank them low.12 Once it is known that a tangible reward is available, the financial incentive takes on greater symbolic cue value as a demonstration that the task is considered important. Although intrinsic motivation might be ideal because it tends to lead to greater creativity and productivity,23 many daily tasks are not inherently interesting, and many medical educators are extrinsically motivated to teach.

[외재적 동기 부여]에는 [과제에 대해 인식하는 자율성의 정도]에 따른 다양한 [도구적 보상의 스펙트럼]이 있다.

• [자율성이 낮다고 인식]하는 쪽에서는 부서장의 비판을 피하려고 교육을 맡을 수 있다. 
  
• [자율성이 높다고 인식]하는 쪽에서는, 비록 그것이 암묵적인 만족을 제공하지 않더라도, 가르치는 것이 자신의 역할에 필수적이라는 믿음 때문에 가르칠 수 있다.

더 큰 자율성은 더 큰 참여, 성과 및 헌신을 가져온다. SDT에 따르면, [역량]과 [관계성]의 느낌이 높아지면, 보다 [자율적인 형태의 외적 동기부여]를 형성한다. 즉, 임상의가 자신이 [성공에 필요한 관련 기술을 가지고 있다]고 믿고, 가르치는 것이 [교육을 장려하는 집단이나 문화에 소속감을 제공]한다면, 그 행동을 [자아의식에 통합할 가능성]이 더 높아질 것이다. 교수진 개발과 교육 아카데미는 역량과 연결을 증진하기 위한 두 가지 실용적인 전략을 제공한다. 이러한 활동에 참여하는 것은 교사의 정체성을 촉진하여 의미 있는 형태의 동기 부여를 구축하는 데 중요한 역할을 할 수 있으며, 이는 디자인보다 세렌디피티를 통해 교육적 역할에 온 사람들에게 특히 중요할 수 있다.

Within extrinsic motivation lies a spectrum of instrumental rewards varying in the degree of autonomy perceived over the task.26 

• At the lower end, one might teach to avoid critique from one’s department head;
• at the higher end, one might teach because of a belief that teaching is integral to one’s role even if it does not provide implicit satisfaction.5,28 

With greater autonomy comes greater engagement, performance, and commitment.28 According to SDT,5 increased feelings of competence and relatedness build more autonomous forms of extrinsic motivation. That is, if clinicians believe they have the relevant skills to succeed, and if teaching provides a sense of belongingness to a group or culture that promotes teaching, they’ll be more likely to integrate the behavior into a sense of self.5,29 Faculty development and teaching academies offer two practical strategies for promoting competence and connections.30 Engagement with such activities can facilitate one’s teacher identity, thereby playing a critical role in building meaningful forms of motivation, which may be especially crucial for those who came to educational roles more through serendipity than design.

요약하자면, [내재적 동기 부여된 임상 교사]에게는 긍정적 피드백의 신중한 제공을 넘어서는 인센티브를 지양하는 것이 최선이라고 하지만, [외재적 동기 부여된 교사]에게는 [자율성, 역량 및 관련성을 지원하는 경우] (인센티브가) 기능적 역할이 있을 수 있다. [완전히 내재적으로 동기 부여된 인력workforces]이라는 이상주의 너머에는, 의학교육은 [외적인 동기 부여를 성취하는 것이 최선인 사람들]에게 의존한다는 현실이 있다. 사실, 많은 역할들은 본질적(내재적)으로 흥미로운 측면이 있지만, 다른 많은 역할들은 단지 (누군가에 의해) 수행될 필요가 있다. 게다가, [이미 확인된 교육에 대한 많은 장벽들]은 심지어 본질적으로 동기부여가 될 때 조차 [강력한 저해요인]으로 작용한다. 이러한 복잡한 상황에서 SDT 연구는 제공해야 하는 실제적인 조언과 관련하여 한계에 도달합니다. 따라서 복잡한 사업장에서 직원들에게 인센티브를 주는 방법에 대한 광범위한 초점을 고려하여 조직행동 분야로 눈을 돌렸다.
In sum, although incentives beyond careful provision of positive feedback are best avoided for intrinsically motivated clinical teachers, they may have a functional role for those who are extrinsically motivated if they support autonomy, competency, and relatedness. Beyond the idealism of a fully intrinsically motivated workforce lies the reality that medical education is reliant on people for which extrinsic motivation is the best one can achieve. In fact, many roles will have some aspects that are intrinsically interesting, whereas others simply need to be done. Further, the many identified barriers to teaching act as particularly powerful disincentives even when one is intrinsically motivated. In such complex situations, SDT research hits its limit with respect to the practical advice it has to offer. We, therefore, turned to the organizational behavior field given its extensive focus on how to incentivize employees in complex workplaces.

인센티브에 대한 조직 행동의 관점
Organizational behavior’s view on incentives

조직 행동주의자들은 급여와 다른 인센티브가 직원들의 동기 부여, 만족도, 생산성에 어떻게 영향을 미치는지에 초점을 맞추었다. 직장 환경에 많은 이론이 적용되었지만, 인센티브의 영향을 중재할 것으로 예상되는 [세 가지 상호 연결된 구성요소]를 일관되게 공유한다.
Organizational behaviorists have focused on how salary and other incentives influence employee motivation, satisfaction, and productivity.31 Although numerous theories have been applied to workplace settings, they consistently share three interlinked components that are expected to mediate the impact of incentives:

• (1) [자신]과 관련된 요소: 자신이 얼마나 많은 노력을 기울이는지 결정(예: 성취 지향, 귀인 상태).
  
• (2) [과제]와 관련된 요소: 과제 또는 목표가 바람직한지, 달성 가능한지, 노력할 가치가 있는지 등
  
• (3) [환경]과 관련된 요소: 한 사람의 동기를 제한하거나 가능하게 하는 조건

동기부여가 단지 개인 안에서만 존재하는 것이 아니라는 것을 인정하기 때문에, 이 후자의 요소들은 특히 중요한 추가이다. 즉, 인센티브는 [개인 내에서 동기부여를 높이고 환경 내 장벽을 낮추는 이중적인 역할]을 한다.

• (1) factors related to the self determine how much effort one exerts (e.g., achievement orientation, attributional states);
• (2) factors related to the task include whether it or the goal is desirable, achievable, and worth the effort; and
• (3) factors related to the environment create conditions that limit or enable one’s motivations.

This latter class of factors is a particularly important addition because it acknowledges that motivation does not just live within the individual. That is, incentives play a dual role of raising motivation within individuals and lowering barriers within the environment.

예를 들어, 헤르츠버그의 [동기-위생 이론]은 직업 만족(즉, 동기 유발 요인)과 불만족(즉, 위생 요인)에 각각 영향을 미치는 두 가지 요인 세트를 식별한다. 직원들을 대상으로 업무에 대해 유난히 기분이 좋았던 때와 나빴던 때를 인터뷰한 결과, 기분이 좋았던 때와 의욕이 있었던 때, 기분이 나빴던 때와 의욕이 없었던 때에 대해 지속적으로 이야기하는 경우가 있었다.

• 동기유발요인motivators는 직무의 [본질적인 조건](예: 성취, 인정, 책임, 승진, 성장)에서 비롯되었으며 SDT에 의해 요약된 동기 부여 요소와 잘 일치한다.
• 반면, 위생 요인hygiene factors은 [상황적 조건]에서 발생하며 요인의 부재(예: 근무 조건, 대인 관계, 급여, 지위, 직업 안정성)를 통해 불만족에 기여했다.

연구에 따르면 두 요인 세트는 별도의 연속성에서 작동하므로 별도로 다루어야 합니다. 이 모델 하에서, 위에서 논의된 [인센티브(예: 교육 아카데미 및 교수 개발)]는 불만족(예: 고용 안정성 부족)을 촉진하는 [위생 요인]의 맥락에는 거의 영향을 미치지 않을 것이다. 
Herzberg’s32 motivation–hygiene theory, for example, identifies two sets of factors that separately influence job satisfaction (i.e., motivators) and dissatisfaction (i.e., hygiene factors). After interviewing employees about when they felt exceptionally good and bad about their jobs, some factors were consistently talked about in terms of feeling good and motivated, and others in terms of feeling bad and unmotivated.32 

• Motivators arose from intrinsic conditions of the job (e.g., achievement, recognition, responsibility, advancement, growth) and align well with the components of motivation outlined by SDT.
• Hygiene factors, in contrast, arose from contextual conditions and contributed to dissatisfaction through their absence (e.g., working conditions, interpersonal relations, salary, status, job security).33 

Research suggests that both sets of factors operate on separate continua and need to be addressed separately.34–36 Under this model, the incentives discussed above (e.g., teaching academies and faculty development) will have little influence in the context of hygiene factors that promote dissatisfaction (e.g., lack of job security).

또한 [동기부여 요인]과 [위생 요인]의 차이는 [돈이 할 수 있는 역할]을 새롭게 조명합니다. 부정적인 동기부여자로서, 돈은 조직행동주의자들에 의해 [존재할 때 만족감]을 만들어내기보다는, [부재할 때 불만족]을 만들어낼 것으로 기대된다. 아마도 결과적으로, [(교육에 대한 강한 저해 요인을 만드는) 임상업무에서 손실된 돈]이 [교육(일반적으로 동기 부여 인센티브 목록에서 낮은 순위에 있음)에서 얻는 돈보다 더 중요하다]고 추측하는 것이 타당하다.

Additionally, the distinction between motivators and hygiene factors shines new light on the role that money might play: As a negative motivator, money is expected by organizational behaviorists to create dissatisfaction when absent rather than creating satisfaction when present. Perhaps, as a result, it is reasonable to speculate that money lost from clinical practice (creating a strong disincentive for teaching) is more important to consider than money gained from teaching (commonly ranked low on lists of motivating incentives).

동기부여 요인과 위생 요인을 모두 해결하기 위해, [매슬로의 욕구 위계 이론]의 수정된 버전은 임상 교사의 가장 기본적인 요구 또는 기본적인 요구에서 시작하여, 다음과 같이 진행되는 요인을 순서대로 해결할 것을 제안함으로써 가치를 제공한다.

• (1) 기본 임금,
  
• (2) 복리후생 및 훈련의 안전성,
  
• (3) 사회적 소속감,
  
• (4) 자존감, 
• (5) 자기 실현 

To address both motivators and hygiene factors, an adapted version of Maslow’s37 hierarchy of needs theory offers value by suggesting that factors be addressed in order beginning with a clinical teacher’s most fundamental or basic needs and progressing as follows:

• (1) basic wages,
• (2) safety in benefits and training,
• (3) social belongingness,
• (4) self-esteem, and
• (5) self-actualization.38 

따라서 적절한 [임금, 직업 안정성, 훈련 기회]가 없다면 [자존감과 자아실현]을 목표로 하는 인센티브는 거의 영향을 미치지 않을 수 있다. 실증적 연구에 따르면, 재정적 인센티브를 제공하는 것은 직원의 생산성을 30% 향상시키는 것으로 나타났으며, 이는 일자리 창출 계획(9%-17%)과 직원 참여 프로그램(1% 미만)보다 더 크게 나타났다. 그러나 일반적으로 근로자들 사이에서는 충분한 급여가 중요할 수 있지만, 임상의들은 일반적으로 임상적인 역할을 수행할 수 있는 시간을 포기하더라도 최소한의 "기본 임금"을 누리기 때문에 이러한 생각들이 의료 교육으로 어떻게 일반화되는지 알기 어렵다. 이런 의미에서 재정적 인센티브에 대한 질문은 아마도 "얼마나"에 대한 것이 아니라 "무엇이 공정한가"에 대한 것이 될 것이다.

Thus, without adequate wages, job security, and training opportunities, incentives targeting self-esteem and self-actualization may have little influence. Supportive empirical work found that providing financial incentives raised employee productivity by 30%, larger than job enrichment initiatives (9%–17%) and employee participation programs (less than 1%).39 However, although sufficient pay may be important among workers in general, it is difficult to know how these ideas generalize to medical education because clinicians generally enjoy at least “basic wages” even when one gives up clinical time to take on teaching roles. In this sense, the question of financial incentives perhaps becomes less about “how much” and more about “what is fair.”

[형평성 이론]은 [절대적인 돈의 양]은 [불공정에 대한 인식]만큼 중요하지는 않을 수 있다고 가정한다. 다른 사람들과 비교하여, [자신의 자격과 노력에 대한 과소 또는 과다 지급]을 인식하는 것은 디스트레스의 감정으로 이어진다. 예를 들어, 조직 내의 두 역할이 더 많은 경험과 기술을 필요로 하는 한 역할에도 불구하고 동일한 급여를 받는 경우, 더 높은 역할에 속한 사람들은 그들이 버는 돈의 양에 만족했지만, 이 금액을 하위 역할에 속한 사람들과 비교했을 때 불만족스러웠다. 즉, 한 사람이 [자신이 과소평가]를 받거나, [다른 사람들이 과대평가]를 받는다고 인식할 때 경제적 지위에 관계없이 동기부여가 위협받을 수 있다. [의학 교육에 대해 (교수가) 인식하는 "공정한fair" 보상금]은 종종 [교수자들이 실제로 받는 것]보다 더 높으며, 이는 [형평성equity의 문제가 작용]할 수 있음을 시사한다. 또한, 아마도 [교육에 대한 보수를 주지 않는 기관에 소속된 사람들]은 재정적 인센티브를 낮게 평가할텐데, 왜냐하면 그러한 환경에서는 아무도 [교육 사례비teaching honoraria]를 받지 못해야만 형평성이 확립되기 때문이다. 직원들은 [더 높은 공정성fairness]을 옹호함으로써 형평성을 회복하려고 하지만, 반대로 이것이 잘 되지 않으면, 노력을 덜 하거나 역할을 완전히 포기함으로써 형평성을 회복하려 할 것이다. 그러나 [급여율rate of pay]이 "공정한" 것으로 간주되는지 여부는 비교되는 기준기준에 따라 달라질 수 있다.

Equity theory40 posits that the absolute amount of money may not be as important as perceptions of unfairness. Perceiving under- or overpayment given one’s qualifications and effort, in comparison with others, leads to feelings of distress. For example, when two roles within an organization received equal pay despite one role requiring more experience and skill, those in the more senior role were satisfied with the amount of money they were making, but dissatisfied when this amount was compared with those in the junior role.41 That is, motivation may be threatened regardless of financial position when one perceives oneself to be underrewarded or others overrewarded. The perceived “fair” rate of compensation for teaching in medicine is frequently higher than what teachers are actually being paid, suggesting that equity issues may be at play.13 Also, perhaps individuals at institutions who are not paid to teach rank financial incentives low because equity is established when nobody receives teaching honoraria in such environments.12 Employees seek to restore equity by advocating for more fairness, or if unsuccessful, by exerting less effort or abandoning the role completely.42 Whether a rate of pay is considered “fair,” however, likely depends on the reference standard against which it is compared.

[다른 인센티브]도 [형평성equitability에 대한 생각]에 의해 영향을 받을 수 있는지는 조직 행동 문헌에서 명확하지 않다. 예를 들어, [교육 아카데미teaching academy]는

• [교육적 역할]을 [임상적 또는 연구적 성공]과 비교하여 [대등한 수준의 명망comparable plane of prestige]에 놓음으로써 [동기부여요인motivator]를 제공할 수 있지만,
• 만약 아카데미가 [교육자의 이너서클]에서만 가능하다면, [아카데미에서 배제당한 교수자]에게 [지위와 소속감의 부재]를 암시하게 되므로 [위생적 요인]으로 해석될 수 있다.

It is unclear from the organizational behavior literature whether other incentives are susceptibly influenced by considerations of equitability. For example,

• a teaching academy might provide a motivator by putting educational roles on a more comparable plane of prestige relative to clinical or research successes,
• but if only available to an inner circle of educators, the same incentive might be interpreted as a hygiene factor by implying the absence of status and belongingness for teachers who are excluded.

[조직행동 분야]는 [개인의 특성] 외에도 [환경적 요인]에 주목함으로써 인센티브를 더 폭넓게 고려하지만, [동기부여의 촉진]에는 (심리학자나 의학교사들이 주장하는 것보다) [재정적 보상이 훨씬 중요하다]는 점도 시사하므로 우리가 어떻게 진행해야 할지에 대한 모순적 메시지를 남긴다. 이러한 주장을 조정하기 시작하기 위해 [행동경제학 분야]는 왜 재정적 인센티브가 동기부여와 동기부여를 동시에 할 수 있는지에 대한 더 미묘한 이해를 제공하고, 우리에게 내재적-외부적 스펙트럼을 넘어서는 다른 형태의 동기부여를 소개한다.
While the organizational behavior field broadens consideration of incentives by drawing attention to environmental factors in addition to individual characteristics, it also suggests that financial rewards are much more important in promoting motivation than psychologists have argued or medical teachers have claimed, leaving us with contradictory messages of how to proceed. To begin reconciling these claims, the behavioral economics field provides a more nuanced understanding as to why financial incentives can be simultaneously motivating and demotivating, and introduces us to other forms of motivation beyond the intrinsic–extrinsic spectrum.

인센티브에 대한 행동경제학자들의 견해
Behavioral economists’ view on incentives

행동 경제학 내에서 [동기구축이론(MCT)]은 [심리학에서 얻은 정보를 전통적인 경제 모델과 결합]하고, 보상에 대한 우리의 이해를 돕기 위해 특히 유용한 관점을 제공한다. MCT는 앞서 설명한 바와 같이 인센티브가 연속체의 내적인 끝과 외적인 끝 사이에서 개인의 동기를 이동시키는 것을 전제로 하지만, [연속체의 각 끝]에서 사람들은 서로 다른 일련의 원칙에 의해 동기가 부여된다는 것을 암시한다.

• 만약 인센티브가 사람들을 [외재적 동기 극]으로 이동시킨다면, 인센티브는 [내재적 동기]를 "밀어낸다crowds out". 그러한 경우, 노력은 [인센티브의 크기]와 직접적으로 관련이 있으며, 더 큰 인센티브는 더 큰 노력을 추진한다(즉, 사람들은 화폐 시장 시스템에서 작동한다).
• 반대로, 인센티브가 사람들을 [내재적 동기 극]으로 이동시킨다면, 인센티브는 본질적인 동기를 "밀집crowd in"시킨다. 이러한 경우, 노력은 대신 [상호주의 또는 이타주의]에 의해 추진된다(즉, 사람들은 사회 시장 시스템에서 작동한다).

Within behavioral economics, motivation crowding theory43 (MCT) combines information from psychology with traditional economics models and provides a particularly useful perspective to aid our understanding of rewards. MCT presupposes that incentives shift an individual’s motivation between intrinsic and extrinsic ends of a continuum43 as described previously, but it also suggests that at each end of the continuum, people are motivated by different sets of principles.

• If an incentive shifts people toward the extrinsic pole, the incentive “crowds out” intrinsic motivation. In such cases, effort is directly related to the size of incentive, with larger incentives driving greater effort (i.e., people operate in money-market systems).44 
• Alternatively, if an incentive shifts people toward the intrinsic pole, the incentive “crowds in” intrinsic motivation. In such cases, effort is instead driven by reciprocity or altruism (i.e., people operate in social-market systems).44

이러한 방향에서 중요한 의미는 [중소규모의 보상]이 동기부여에 가장 해로울 수 있다는 것이다. 이를 설명하기 위해, 한 주요 연구는 더 [큰 재정적 보상]이 [작은 보상]보다 더 많은 시간을 자선 단체에 자원봉사하게 하지만, 보상을 도입하는 것만으로도 자원봉사 시간이 4시간이나 줄어든다는 것을 발견했다. 자원봉사자들은 특정한 재정적 한계를 넘은 후에야 아무런 보상도 받지 못한 것과 같은 시간을 보냈다. 결과적으로, 충분히 큰 재정적 인센티브는 인센티브를 제공하지 않는 것보다 노력에 더 많은 영향을 미칠 수 있지만, 소규모에서 중간 정도의 재정적 인센티브는 해로울 가능성이 있다. 
The important implication within this orientation is that small- to medium-sized rewards can be the most detrimental to motivation. To illustrate, a seminal study found that larger financial rewards caused individuals to volunteer more hours toward charitable organizations than smaller rewards, but the mere introduction of a reward reduced volunteer time by four hours.45 Only after crossing a particular financial threshold did volunteers commit the same number of hours as without any rewards. As a result, large enough financial incentives can influence effort more than providing no incentives, but small to moderate financial incentives are likely to be harmful.46

안타깝게도 이 임계값을 추정하는 것은 어렵습니다. [이론적으로 충분히 큰 것처럼 보이는 양]은 실제로 사용할 때 너무 작은 것으로 인식될 수 있으며, 다른 관련 요소의 맥락에서 고려될 수 있다. 예를 들어, 50달러 사례비는 마취과 의사에게는 작을지 몰라도, 수련 중인 전공의에게는 클 수도 있다. 하지만 그룹별로 사례비를 다르게 설정하면 [인식된 불평등 위험the risk of perceived inequity]이 발생한다. 아마도 [내재적 동기를 밀어내거나, 오로지 인센티브를 얻기 위해서 교육을 함]으로써 생기는 [질 저하의 위험]을 기억하는 것이 더 중요할 것이다.
It is unfortunately difficult to estimate this threshold value. An amount that seems theoretically large enough can be perceived as too small when put in practice and considered in the context of other relevant factors.46 For example, a $50 honorarium might be small to an anesthesiologist and large to a resident in training, but setting different rates for different groups creates the risk of perceived inequity. Perhaps more importantly, it is critical to remember the risks of lessening quality that come from crowding out intrinsic motivation and having people teach purely to obtain an incentive.

이 딜레마에서 벗어날 수 있는 방법은 [인센티브 규모와 노력 사이의 관계]가 [비금전적 인센티브]에는 적용되지 않는다는 증거에서 나올 수 있다. 예를 들어, 적십자사의 대규모 실험을 통해 [복권과 기프트 카드]는 크기에 관계없이 헌혈자에게 중립적이거나 긍정적인 영향을 미치는 반면, [소액의 금전적 보상]은 헌혈 의지를 낮추는 것으로 나타났다. 그 차이는 매우 강력해서 만약 [비금전적 인센티브가 그것과 관련된 금전적 가치와 함께 제공]된다면(예: "당신은 5달러의 초콜릿 바를 받을 것이다"), 개인들은 마치 [그것이 금전적 인센티브인 것처럼 상호작용]하도록 기본설정된다. 이것은 임상의에게 "사례비"를 제공하는 것이 "150달러의 사례비"를 제공하는 것과 매우 다른 영향을 미칠 수 있음을 시사한다.
The way out of this dilemma may come from evidence suggesting that the relationships between incentive size and effort do not apply with nonfinancial incentives. For example, large-scale experiments with the Red Cross have found that lottery tickets and gift cards have neutral or positive effects on blood donors regardless of size, while small financial rewards lower willingness to donate blood.6,47 The difference is so powerful that if a nonfinancial incentive is provided with a monetary value associated with it (e.g., “you will receive a $5 chocolate bar”), individuals default to interacting as if it were a financial incentive.44 This suggests that offering a clinician “an honorarium” might have a very different influence relative to offering “a $150 honorarium.”

[내적-외적 동기부여 연속체]와 별개로 작용하는 것처럼 보이는 요소들과 관련하여, [이미지 동기부여(다른 사람들과 그들 자신이 좋은 사람이라는 것을 보여주고자 하는 사람들의 욕구)]는 친사회적 행동에 있어서 중요한 역할을 한다. 자선단체에 기부하거나, 헌혈을 하거나, 임상 교사로 봉사하기 위해 자원하는 것은 본질적으로 만족스럽지 않을 수 있지만, 일부 사람들은 이러한 일들이 [자기자신에 대한 느낌 및 자기의 공적 이미지에 대해서 기분 좋게 느끼게 해주기 때문에], 그 일들을 수행하려는 동기가 있는 것처럼 보인다. 이는 아리엘리 외 연구진이 무작위로 참가자들에게 기부 금액을 공개 또는 비공개로 지정해 자선단체에 기부하도록 했다. 그들은 개인적인 기부보다 더 많은 기부가 공공장소에서 이루어졌다는 것을 발견했다. 이러한 결과는 의학 교사medical teachers에게도 일반화될 수 있는데, 이는 임상의들이 [교육에 대한 많은 친사회적 이유]를 드러냈음을 고려하면 합리적이다. 그렇다면, [노력에 대한 대중의 인식]은 재정적 인센티브보다 더 영향을 미칠 수 있다. 그러나 이러한 발견이 인식된 형평성에 대한 관찰과 어떻게 상호 작용하고 기본적인 욕구 계층 구조에 어디에 놓여 있는지는 여전히 불분명하다.
With respect to factors that seem to operate separately from the intrinsic–extrinsic motivation continuum, image motivation (people’s desire to illustrate to others—and themselves—that they are good people) plays an important role when it comes to prosocial behaviors.43,48,49 Contributing to charities, donating blood, or volunteering to serve as a clinical teacher might not be inherently satisfying, but some appear motivated to perform the tasks because these tasks allow them to feel good about themselves and their public image. This was illustrated by Ariely et al,49 who randomly assigned participants to donate to a charity with their donation amounts being made public or private. They found that larger donations were made in public than in private. If these findings generalize to medical teachers, as seems reasonable given the many prosocial reasons for teaching that clinicians express, then public recognition of efforts may be more impactful than financial incentives. How these findings interact with the observations about perceived equitability and where one lies on the fundamental needs hierarchy, however, remains unclear.

이 문헌에서 분명한 것은 [특정한 행동과 관련된 긍정적인 이미지]는 [다른 사람들의 규범과 행동]에서 크게 파생된다는 것이다. 소득세 준수를 장려하고, 예방 접종을 받고, 운동을 하는 것은 사람들이 문화적 규범으로 보일 때 더 많이 하는 행동의 예이다. 따라서, [교육에 의해 유지되는 이미지 동기image motivation]는 부분적으로 [임상의가 위치한 맥락의 문화적 규범]에 의존할 것이다. 즉, [이미지 동기 부여]는 [교육이 인정받지 못하는 병원]에서는 (동기부여)요소가 아닐 것이다. 또한 [이러한 상황에서 제공되는 유형적 보상]은 의도치 않게 [그 행동이 어렵거나 매력적이지 않다는 인식을 강화]할 수 있다. 예를 들어, [인근에 공항이나 교도소가 개발되고 있을 때], 이웃 구성원들에게 재정적 인센티브를 제공하는 것은 [시설에 대한 지역사회의 지원을 감소]시킨다. 학습환경은 학습자의 관점에서 실질적으로 연구되어 왔으나, 특정 환경의 문화가 교사의 수업동기를 변화시키는 정도나 영향요인이 수업노력에 영향을 미치는 방식으로 수정가능한지는 여전히 미지수이다.
What is clear from this literature is that the positive image associated with particular behaviors is largely derived from the norms and behaviors of others.50,51 Encouraging income tax compliance, becoming vaccinated, and exercising are examples of behaviors people do more of when they appear to be the cultural norm.52 It is logical, then, that the image motivation held by teaching would be partially dependent on the cultural norm of the contexts within which clinicians are situated. That is, image motivation is not likely a factor in a hospital where teaching is not endorsed. Further, in such settings, tangible rewards can unintentionally reinforce the perception that the behavior is difficult or unattractive.48 For example, offering financial incentives to members of a neighborhood when airports or jails are being developed nearby reduces the community’s support for the facility.53 Although the learning environment has been studied substantially from learners’ perspectives, the extent to which the culture of a particular environment changes teachers’ motivations to teach, or whether the influential factors are modifiable in a way that impacts teaching efforts, remains unknown.

논의
Discussion

심리학, 조직행동학, 행동경제학에서 검토한 문헌을 종합할 때, 우리는 인센티브가 의학교사의 동기에 미치는 영향에 대해 세 가지 결론을 도출한다. 이것들은 인센티브를 구현하는 경우와 방법을 고려할 때 실용적인 지침으로 아래에 제시되어 있다. 
In synthesizing the literature reviewed in psychology, organizational behavior, and behavioral economics, we draw three conclusions about the influence that incentives have on the motivations of medical teachers. These are framed below as practical guidelines when considering if and how to implement incentives.

무엇이 개인을 행동으로 이끌 것인지를 결정합니다.
Determine what is driving the individual to act in the first place

첫째, [인센티브의 영향]은 [동기 부여에 중요하다고 간주되는 기본 메커니즘]과 인센티브가 [어떻게 상호 작용하는지]에 따라 달라진다. 노력에 영향을 미치는 인센티브를 도입하기 전에, 무엇이 그 사람이 그 일에 참여하도록 동기를 부여하는지를 결정하는 것이 중요하다.

• 그들은 그것이 흥미롭고 도전적이라고 생각하나요? 
  
• 그들은 그것이 그들의 역할의 핵심적인 부분이라고 생각하나요? 
  
• 그들이 그것을 해야 한다는 말을 들었니? 
  
• 그들은 자신에 대해 좋은 기분을 느끼기 위해 그렇게 하나요? 
  
• 그 맥락에서 다른 모든 사람들도 그것을 하고 있나요? 

First, the influence of an incentive is dependent on how it interacts with the underlying mechanisms deemed important for motivation. Before introducing an incentive to influence effort, it is important to determine what is driving the person to engage in the task in the first place.

• Do they find it interesting and challenging?
• Do they assume it to be a core part of their role?
• Have they been told they need to do it?
• Do they do it to feel good about themselves?
• Is everyone else in that context doing it?

이러한 질문은 어떤 유형의 인센티브가 가치가 있는지 알려주는 데 도움이 될 수 있는 출발점을 제공할 것이다. 단순히 가치가 있는 것(또는 없는 것)에 대한 주장을 액면 그대로 받아들이기보다, 현재 이러한 동기를 지지하거나 억제하는 인센티브 또는 억제책이 무엇인지 탐구할 가치가 있다. 예를 들어, 만약 사람들이 돈의 중요성을 경시한다면, 그들이 이미 돈을 받고 있는지, 얼마나 많은 돈이 "공정한fair" 것으로 인식될지, 혹은 그들이 돈이 중요하다고 말한다면 그것이 그들을 나쁘게 보이게 할지를 생각해보라. 그러한 고려사항은 동기부여 요인과 장벽의 피상적인 목록과 현재 작용하고 있는 복잡한 요인들의 미묘한 이해 사이를 구별할 것이다.
Such questions will provide a starting point that can help inform what types of incentives might be valued. It is also worth exploring what incentives or disincentives currently support or inhibit these motivations without simply taking claims about what is valued (or not) at face value. For example, if people downplay the importance of money, consider whether they are already being paid, what amount of money would be perceived as “fair,” or whether it might make them look bad if they were to say that money was important. Such considerations will differentiate between a superficial list of motivators and barriers and a nuanced understanding of the likely complex set of factors at play.

인센티브와 동기 부여 유형 간의 고유한 상호 작용을 고려합니다.
Consider the unique interactions between incentives and motivation types

둘째, 기본적인 동기 부여 동기와 가치를 파악한 후에는 인센티브가 실제로 필요한지 또는 해로울 수 있는지 고려하십시오. 본질적으로 동기 부여된 개인은 추가적인 동기 부여가 필요하지 않을 수 있지만, [동기부여된 원동력motivational drives의 실행을 막는 장벽]을 제거하기 위한 노력이 필요할 수 있다. 인센티브가 구현할 가치가 있다고 판단되는 경우, 어떤 유형이 가장 효과적인지(예: 금전적인지 비금전적인지), 어떻게 제공되는지(예: 사적인 것과 공적인 것)를 고려한다. 이는 [인센티브가 잘못]되면 [의미 있는 변화를 가져오지 못할 수도 있고, 지속적인 문제적 형태의 동기 부여를 유발할 수 있다]는 점을 고려할 때 신중한 생각이 필요하다. 그 경우에는 [사회적 규범이 바뀌게] 되고, [바람직한 행동을 장려하기 위한 미래의 노력이 성공할 가능성을 더욱 감소]시키게 되기 때문이다.
Second, once you have grasped the underlying motivational drives and values, consider whether an incentive is actually needed or could be detrimental. An intrinsically motivated individual might not need any additional incentive, but may require efforts toward removing barriers preventing them from enacting their motivational drives. If an incentive is deemed worth implementing, consider which type will be most effective (e.g., financial or nonfinancial) and how it will be provided (e.g., in private vs. public). This requires careful thought given that, if done incorrectly, the incentive can fail to produce meaningful change or can create sustained problematic forms of motivation that alter the social norms in a manner that further decreases the success of future efforts to encourage the desired behavior.

• [이미지-동기부여된image-motivated 사람]의 경우 [재정적 인센티브]는 사적으로 주어질 때 가장 효과적인 반면, [개인의 기여를 인정하는 인센티브]는 공개적으로 해야 가장 효과적이다. 어떤 행동을 [일반적인 것normalizing으로 만드는 것]은 그 행동을 포용하는 방식으로 문화를 변화시킬 수 있다.
• [외적 동기부여된extrinsically motivated 사람]의 경우, 인센티브는 예를 들어 [기술 개발 기회를 제공]하거나, [행동을 지지하는 다른 사람과의 연결]을 가능하게 함으로써 [자율성, 역량 및 관련성]에 대한 인식을 구축하려고 노력해야 한다.
• For image-motivated individuals, financial incentives will work best privately, whereas incentives that recognize the individual’s contributions work best publicly. Normalizing the behavior might change the culture in a way that leads to embracing the behavior.
• For extrinsically motivated individuals, the incentive should try to build one’s perceived autonomy, competency, and relatedness by, for example, providing skill-building opportunities or enabling connections with others who endorse the behavior.

• [금전적 인센티브]은 효과적으로 사람들을 문 안으로 불러들일 수 있고, 일단 들어오면 그 일 자체를 가치 있게 여기고 감사하는 법을 배울 수 있지만, 무엇이 "충분히 큰" 것인지는 고려해야 할 중요하다: 그러한 인센티브는 crowding effect를 넘어서서 [정당한fair 것]으로 간주될 수 있을 정도로 충분히 커야 하지만, 과제가 어렵거나 인기가 없다는 신호를 보낼 정도로 크지 않아야 한다.
• [비금전적 인센티브]는 사이즈에 민감하지 않으며, 특히 업무가 친사회적인 것으로 간주된다면 좋은 대안이 될 수 있다. 그러나 동일한 환경에 있는 개인마다 얼마나 충분한지에 대한 서로다른 인식을 가지고 있다면, 다른 사람들에게 다른 크기의 보상을 제공하는 로지스틱한 문제를 야기한다. [비재정적 인센티브]로 여겨질 수 있는 광범위한 것들은 [구두 피드백, 교사 커뮤니티와의 참여, 공적정, 교수진 개발 기회, 정체성 형성 지원] 등이 있다.
• Financial rewards can effectively get people in the door where an individual can then learn to value and appreciate the task itself, but what constitutes “large enough” is important to consider: Such incentives need to be large enough to override any crowding effects and to be considered fair, but not so large that they signal the task as difficult or unpopular.
• Nonfinancial incentives aren’t as sensitive to size and offer a good alternative particularly if the task is considered prosocial or if different individuals in the same environment have different perceptions of how much is enough, creating logistical problems in offering different-sized rewards for different people. The wide range of things that could qualify as nonfinancial incentives include verbal feedback, engagement with communities of teachers, public recognition, faculty development opportunities, and identity formation support.

인센티브 효과를 방해할 수 있는 장벽 고려
Consider barriers that may interfere with incentive effectiveness

셋째, 인센티브의 효과는 개인과 그들이 일하는 맥락에 따라 달라진다. [올바른 개인] 또는 [올바른 맥락]에서 [올바른 인센티브를 구현]하는 것은 이 싸움의 절반에 불과하다. [환경적 또는 맥락적 장벽]이 있는 맥락에서는 인센티브가 단기적이거나 거의 영향을 미치지 않기 때문이다. 사람들이 그들의 역할에서 안정감을 느끼는지, 그들이 보상을 받거나 공평하게 인정받고 있다고 느끼는지, 더 근본적인 요구가 충족되고 있는지 여부는 동시에 해결되어야 하는 중요한 고려사항이다. 

Third, the effectiveness of any incentive is dependent on individuals and the contexts within which they work. Implementing the right incentive for the right individual or in the right context is only half the battle as it will have short-term or little impact in a context where there are environmental or contextual barriers. Whether people feel secure in their roles, whether they feel like they are being compensated or acknowledged equitably, or whether more fundamental needs are being met are important considerations that need to be addressed in tandem.

결론들
Conclusions

요약하면, 심리학자, 조직 행동주의자, 행동 경제학자들은 우리에게 인센티브의 역할에 관한 유용한 권고를 개발하도록 이끈 경고 이야기와 성공 사례를 모두 제공했다. 그들이 만들어낸 통찰력에도 불구하고, 우리의 의학 선생님들 사이에서 지속적이고 긍정적인 형태의 동기 부여를 배양할 가장 가치 있고 영향력 있는 인센티브를 식별하기 위해, 그 분야는 교사들이 스스로를 발견하는 다양한 보건 전문적 맥락에서 인센티브가 어떻게, 언제, 왜 작동하는지에 대한 더 큰 명확성이 필요하다.
In sum, psychologists, organizational behaviorists, and behavioral economists have provided us with both cautionary tales and success stories that have led to the development of useful recommendations regarding the role of incentives. Despite the insights they have produced, to identify the most valuable and influential incentives that will cultivate sustained and positive forms of motivation among our medical teachers, the field needs greater clarity regarding how, when, and why incentives operate in the variable health professional contexts in which teachers find themselves.

PMID: 30365430

DOI: 10.1097/ACM.0000000000002383

의학교육의 학생참여: 교육과정 개발에서 모듈 공동책임자로서 학생에 관한 혼합연구(Med Teach, 2019)
Student engagement in medical education: A mixed-method study on medical students as module co-directors in curriculum development
Lennart Steffen Milles
, Tanja Hitzblech
, Simon Drees, Wiebke Wurl, Peter Arends and Harm Peters

방법들
Methods

설정
Setting

샤리테는 유럽 중부에 위치한 대형 의과대학으로 매년 2회 300명의 의대 신입생을 모집한다. 2010년, 학부 의학 교육과정은 [전통적인 학문 기반]의 교육과정에서 1학기부터 마지막 학기까지 [완전히 통합된 프로그램]으로 전환되었다. 이 모듈은 5년의 학습 기간과 최종 사무직 연도에 걸쳐 40개의 학제 간 주제 모듈로 구성되어 있습니다(부록 2 참조).
The Charité is a large mid-European medical school and enrolls 300 new medical students twice a year. In 2010, the undergraduate medical curriculum was transformed from a traditional, discipline-based curriculum into a fully integrated program from the first to the last semester (Maaz et al. 2018). It is organized into 40 interdisciplinary, thematic modules over a five-year study time and a final clerkship year, see Supplementary Appendix 2.

모듈 공동 책임자로서의 의대생 개념
Concept of medical students as module co-directors

통합 프로그램의 각 모듈은 다양한 분야의 교수진 3명과 의대생 1명 등 4명의 모듈 디렉터 그룹이 주도한다. 이러한 구조는 새로운 교육과정의 개발과 시행 과정에서 긍정적인 경험에서 비롯된다. 4명의 모듈 책임자는 해당 모듈의 교육과 관련된 모든 분야의 대표자로 구성된 특정 모듈 계획 그룹에 의해 선출되고 의장도 됩니다. 그들은 모듈 디렉토리 보드를 구성하고 품질 보증 및 향후 개선과 같은 모듈의 주기적 커리큘럼 개발 프로세스를 공동으로 책임진다. 학생 모듈 공동 책임자는 교직원 및 학생과 상호 작용하고, 정보를 전달하고, 학생 평가 및 피드백을 종합 및 해석하며, 교직원 모듈 책임자와 함께 모듈을 공동 개발하고, 그룹으로 조직한다.
Each module of the integrated program is led by a group of four module directors: three faculty members from various disciplines, and one medical student. This structure originates from positive experiences during the development and implementation of the new curriculum. The four module directors are elected by, and also chair, a specific module planning group, consisting of delegates from all disciplines involved in the teaching of that module. They form the module directory board and are jointly responsible for the cyclic curricular development process of their module, e.g. quality assurance and future improvement. Student module co-directors interact with faculty and students, relay information, synthesize and interpret student evaluation and feedback, co-develop the module together with faculty module directors, and organize themselves as a group.

표 1은 학생 모듈 공동 책임자의 구체적인 업무 및 활동에 대한 개요를 제공합니다. 부록 1은 "방법" 관점에서 그들의 과제와 실천요강에 대한 상세한 설명을 포함한다. 부록 3은 교육과정에 대한 모범적인 기여에 대해 보고한다.
Table 1 provides an overview on the specific tasks and activities of the student module co-directors. Supplementary Appendix 1 entails a detailed description of their tasks and practices from a “how to” perspective. Supplementary Appendix 3 reports on exemplary contributions to the curriculum.

전반적으로 학생 모듈 공동 책임자는 개인으로서도, 집단으로서도 높은 수준의 자율성을 가지고 행동한다. 그들은 우리 [기관의 커리큘럼 개발과 학생 참여를 위한 더 큰 네트워크의 공식적인 요소]로 역할을 한다. 그림 1과 같이, 이 네트워크는 각 모듈에서 공부하는 학생, 모듈 디렉터, 모듈 기획 그룹, 교수진 교육과정 개발자, 학부 프로그램 교육과정 위원회, 샤리테 감독 교육위원회, 학생회 대표 조직과의 지속적인 상호작용을 포함한다. 
Overall, the student module co-directors act with a high level of autonomy, both as individuals and as a group. They serve as formal elements of a larger network for curriculum development and student engagement at our institution (Maaz et al. 2018; Peters et al. 2018). As shown in Figure 1, this network involves ongoing interactions with the

• students studying in their respective module,
• module directors,
• the module planning group,
• faculty curriculum developers,
• the curriculum committee for the undergraduate program,
• the Charité overarching education committee, and
• the student council representative organization.

그림 1. Charité의 커리큘럼 개발을 위해 학생 모듈 공동 책임자를 조직 네트워크에 포함합니다. 의대생이라면 누구나 모듈 공동 책임자로 공석에 지원할 수 있다. 그들은 학생 모듈 책임자 그룹에 의해 선발되고 학장의 학생 사무실에서 공식적으로 고용된다. 학생 모듈 공동 책임자가 교수 모듈 책임자와 함께 모듈 검토 회의를 주재합니다. 이사회는 교육과정 위원회에 의해 공식적으로 임명된다. 또한 교수협의회에 소속된 학생대표들은 학부 의학 프로그램의 연구위원인 3명의 학생들을 임명한다.
Figure 1. Embedding of student module co-directors into the organizational network for curriculum development at the Charité. All medical students can apply to an open position as a module co-director. They are selected by the group of student module directors and formally employed in the Dean’s office of student affairs. Student module co-directors chair the module review meeting together with faculty module directors. The board is formally appointed by the curriculum committee. In addition, the student representatives who are part of the faculty council appoint the three students who are members of the study committee for the undergraduate medical program.

학생 한 명이 여러 모듈의 학생 모듈 공동 책임자 역할을 수행할 수 있습니다. 학생들의 작업은 매달 모듈당 10시간의 노동시간에 해당하는 유로로 보상된다.
One student can act as a student module co-director for multiple modules. The students' work is compensated with a Euro equivalent of 10 working hours per module each month.

 

방법론적 접근
Methodological approach

우리는 학생들이 모듈 공동 책임자라는 개념에 대해 풍부하고 다층적인 관점을 가질 수 있도록 융합 병렬 설계를 가진 혼합 방법 연구를 채택했다. 순차적 혼합 방법 설계에서 먼저 두 개의 온라인 설문 조사의 등급을 정량적으로 분석하였다. 그런 다음, 정량적 평가 결과를 조명하기 위해 설문 내러티브와 포커스 그룹에 대한 정성적 분석을 실시하였다. 그 자료는 2016/2017년 겨울학기 동안 수집되었다. 본 연구는 안전한 자료관리를 위하여 지방청 및 윤리위원회(제406/16호)의 승인을 받았다. 
We employed a mixed-methods study with a convergent parallel design to allow for a rich and multi-layered view on the concept of students as module co-directors (Creswell 2014). In a sequential mixed method design, we first analyzed quantitatively the ratings of two online surveys. Then, we conducted a qualitative analysis of survey narratives and a focus group to illuminate the quantitative rating results. The data were collected during the winter semester of 2016/2017. This study was approved by the local office for safe data management and by the Ethics Committee (no. 406/16).

설문조사
Surveys

두 건의 익명의 온라인 설문조사는 학생 모듈 책임자와 교수 모듈 책임자를 대상으로 했다. 둘 다 용어의 이해와 정교함을 위해 파일럿 테스트를 받았다. 설문조사는 인구통계학적 특성에 대한 질문 외에도 4점, 5점 만점의 리커트 척도 평가를 활용하였으며, 교육과정의 질적 보장과 개선과정에서 학생모듈 공동책임자의 역할, 기능, 역량에 대한 서술적 의견을 요청하였다(부록 4). 
Two anonymous online surveys were conducted, one for student module directors and one for faculty module directors (EvaSys®, Electric Paper Evaluationssysteme GmbH, Lüneburg, Germany). Both were pilot tested for comprehension and refinement of wording. In addition to questions about demographic characteristics, the surveys employed four- and five-point Likert-scaled ratings, and requested narrative comments about the role, functions, and competencies of student module co-directors in the process of curricular quality assurance and improvement (Supplementary Appendix 4).

포커스 그룹
Focus group

교육과정의 다양한 학기(1~10)와 모듈 유형(기초원리, 질병모형, 임상적용)을 다루기 위해 의도적으로 선정된 8명의 학생모듈 공동책임자를 대상으로 포커스 그룹 토론을 실시하였다. 포커스 그룹 인터뷰는 참가자들과 공식적인 상호 관계가 없는 심리학 학사 학위를 가진 건강 교육 연구원에 의해 진행되었다. 공개 토론 지침을 사용하여 그룹이 주제별 우선순위를 정할 수 있습니다(부록 5). 포커스 그룹 토론의 오디오 녹음은 정확하게 기록되었다.
A focus group discussion was carried out with eight purposively chosen student module co-directors in order to cover different semesters (1–10) and module types (foundational principles, disease models, and clinical application) of the curriculum. The focus group interview was moderated by a health education researcher with a Bachelor degree in psychology who had no formal interrelations with the participants. An open discussion guideline was used, thus allowing the group to set their own thematic priorities (Supplementary Appendix 5). An audio recording of the focus group discussion was transcribed verbatim.

양적, 질적 분석
Quantitative and qualitative analyses

정량조사 자료는 SPSS 22(IBM, Armonk, NY, USA)를 이용하여 기술적으로 분석하였다. 결과는 주파수 및 평균 ± 표준 편차로 표시됩니다. 텍스트로부터 범주를 도출하기 위한 귀납적 접근법을 이용하여 포커스 그룹 인터뷰와 내러티브 설문 의견을 정성적으로 분석하였다. 먼저 저자 LM, TH, HP는 주제별로 자료를 독립적으로 분석했다. 그런 다음, 모호성이 있는 경우 합의를 도출하기 위해 구체적인 인용문이 논의되었다. 이 문서에서 개별 학생의 인용구는 괄호 안에 "s"와 각 학생의 숫자로 표시되며, 교수진의 인용구는 "f"를 사용하여 동일한 방식으로 표시됩니다. 인용문은 저자들에 의해 독일어에서 영어로 번역되었다.
Quantitative survey data were analyzed descriptively using SPSS 22 (IBM, Armonk, NY, USA). Results are expressed as frequencies and mean ± standard deviation. The focus group interviews and narrative survey comments were analyzed qualitatively using an inductive approach for deriving categories from text (Mayring 2014). First, authors LM, TH, and HP independently analyzed the material thematically. Then, specific quotes were discussed to yield consensus in cases of ambiguity. In this article, quotes by individual students are indicated in parentheses with an “s” and the number of the respective student; quotes by faculty are displayed in the same manner by using the letter “f”. Quotes were translated from German to English by the authors.

결과
Results

정량분석
Quantitative analyses

스터디 샘플
Study sample

학생공동감독단에서는 25명 중 23명이 설문에 참여(응답률 92%)했다. 20명은 21~25세, 3명은 26~30세, 13명은 여성(57%)이었다. 평균 학습 시간은 2.5년(±1.4년)이었고, 학생 모듈 공동 책임자로서의 평균 학습 시간은 2년(±1.4년)이었다. 대부분(52%)이 하나의 모듈을 담당했습니다. 
In the group of student co-directors, 23 out of 25 students participated in the survey (92% response rate). Twenty were 21–25 and three were 26–30 years of age, 13 participants were female (57%). Mean study time was 2.5 years (±1.4 years) and mean time as student module co-directors 2 years (±1.4 years). Most (52%) were responsible for one module.

교직원 모듈 책임자 그룹에서는 107명 중 81명(응답률 76%)이 응답했다. 3명은 31~40세, 38명은 41~50세, 35명은 51~60세, 4명은 60세 이상, 26명은 여성(32%)이었다. 32명이 임상의, 22명이 임상 이론 분야, 25명이 기초 과학 분야에서 일하고 있다. 
In the group of faculty module directors, 81 out of 107 responded (76% response rate). Three were 31–40, 38 were 41–50, 35 were 51–60 and four were more than 60 years of age, 26 were female (32%). Thirty-two work as clinicians, 22 in a clinical–theoretical discipline and 25 in basic science.

대부분이 1개 모듈(75%)을 담당했으며 4년 이상 모듈 디렉터로 활동(42%, n=34%)했으며, 1년 미만 모듈 디렉터로 활동한 경우는 2개(3%)에 불과했다. 
Most were responsible for one module (75%) and had been active as a module director for more than 4 years (42%, n = 34); only two (3%) had been active for less than one year.

등급
Ratings

그림 2와 같이, 학생 모듈 공동 책임자의 87%가 교육과정 변화에 큰 영향을 미친다는 데 동의하거나 동의하는 경향이 있으며, 96%는 이것이 교육과정에 긍정적인 영향을 미친다고 생각한다. 대다수는 또한 자신이 다른 모듈 이사들과 동등한 파트너라고 생각합니다(87%가 동의하거나 동의하는 경향이 있음). 65%는 자신들의 생각이 때때로 학생들의 평가 결과와 다르다는 것에 동의하거나 동의하는 경향이 있다. 
As shown in Figure 2, 87% of the student module co-directors agree or tend to agree that they have great influence on curricular change and 96% think this has a positive impact on the curriculum. A majority also feels that they are equal partners of the other module directors (87% agree or tend to agree). Sixty-five percent agree or tend to agree that their ideas sometimes diverge from the student evaluation results.

[교직원 모듈 책임자] 대다수는 학생들이 자신의 교육과정에 기여할 수 있다는 점(93%), 학생 모듈 공동 책임자가 교육과정에 혜택을 준다는 점(94%), 업무가 건설적이라는 점(95%)에 동의하거나 동의하는 경향이 있다. 학생 모듈 공동 책임자ㅇ와 일치하여, 교직원 모듈 책임자의 80%도 학생 모듈 공동 책임자를 동등한 파트너로 본다. 교직원 모듈 책임자의 64%는 자신이 다른 교직원 모듈 책임자와 동일한 영향력을 가지고 있다고 생각하는 반면, 61%는 학생 모듈 공동 책임자보다 교육과정에 더 또는 조금 더 많은 영향력을 가지고 있다고 생각한다.
The majority of faculty module directors agree or tend to agree that students are able to contribute to their curriculum (93%), that the student module co-directors benefit the curriculum (94%) and that their work is constructive (95%). In congruence with the student module co-directors, 80% of faculty module directors also see the student module co-directors as equal partners. While 64% of faculty module directors think that they have the same influence on the curriculum as the other faculty module directors do, 61% think they have more or a little more influence on the curriculum than the student module co-directors do.

그림 3은 [교직원 모듈 책임자]가 활동과 관련된 8개의 서로 다른 영역에서 [학생 모듈 공동 책임자의 역량]을 어떻게 평가하는지 보여줍니다. 대다수의 교직원 모듈 책임자들은 학생 모듈 공동 책임자들이 교육과정에 대한 개요를 가지고 있으며, 학생들의 평가를 해석하고 교육과정 개선을 위한 제안을 제공하며 교사 및 학생들과 소통할 수 있다는 점에 83~96%의 비율로 동의하거나 동의하는 경향이 있다. 적어도 86%는 학생 모듈 공동 책임자들이 타협점을 찾을 수 있다는 것에 동의하는 경향이 있다. 이들은 수업의 질을 평가할 수 있는 능력이 있다고 판단되지만(81%가 동의하거나 동의하는 경향이 있다), 모듈의 분야 관련 내용을 평가할 수 있는 능력이 있다는 데 동의하는 교수 모듈 책임자는 훨씬 적다(49%만이 동의하거나 동의하는 경향이 있다).

Figure 3 shows how faculty module directors rate student module co-directors’ competence in eight different areas related to their activities. The majority of faculty module directors agree or tend to agree at rates between 83 and 96% that the student module co-directors have an overview of the curriculum, and that they are able to interpret students’ evaluation, provide proposals for curricular improvement and communicate with teachers and students. Eighty-six percent at least tend to agree that student module co-directors are able to find a compromise. They are deemed to be competent in assessing the quality of classes (81% agree or tend to agree), but far fewer faculty module directors also agree that they have the competence to assess the discipline-related content of the module (only 49% agree or tend to agree).

정성분석
Qualitative analyses

귀납적 접근법을 이용하여 정량적 조사 결과를 더욱 조명하기 위해 '학생 모듈 공동 책임자가 교육과정에 미치는 영향', '전략', '과제'의 세 가지 주제를 파악하고 선정하였다. 다음은 개인별로 특히 표현적이고 대표적인 인용문을 예시적으로 나열한 것이다. 인용문은 개념에 대한 다양한 인식을 설명해야 한다.
Using an inductive approach, we identified and selected the three themes “influence of the student module co-directors on the curriculum”, “strategies,” and “challenges” to further illuminate the results of the quantitative surveys. In the following, particularly expressive and representative quotes by the individuals are listed in an exemplarily manner. The quotes should illustrate the different perceptions towards the concept.

1. 학생 모듈 공동 책임자가 교육과정에 미치는 영향. 여기서 세 개의 하위 테마가 인식되었습니다.
   Influence of the student module co-directors on the curriculum. Three sub-themes were recognized here.
   1. 커리큘럼에 대한 광범위하고 고유한 지식을 가져옵니다. 이 주제는 교수 모듈 책임자들이 제시한 인용문으로 가장 잘 특징지을 수 있다. 학생 모듈 공동 책임자는 "모듈에 대한 깊은 지식과 따라서 수업의 개요 및 학습 나선으로의 통합"(f50) 때문에 가치가 있다. 여기에는 "전체 교육과정의 주제 맥락"(f2), "어떤 내용이 이미 가르치고 어떤 수준의 세부사항"(f6), "격차"(f6)와 "중복"(f11), "실제로 나쁜 수업"(f13), "교육 계획과 수업의 현실 사이의 차이"(f13)에 대한 지식이 포함된다. 학생 모듈 공동 책임자는 "시스템에서 수업 내용을 상세히 설명할 수 있는 유일한 사람"으로 간주된다(f65). 학생들은 자신을 "진짜로 이루어지는 교육과정의 전문가"로 본다(s1).
      Bringing in broad and unique knowledge on the curriculum. This theme can best be characterized by the quotes given by the faculty module directors. Student module co-directors are valued because of their “profound knowledge of the module and thus also an overview of the classes and their integration into the learning spiral” (f50). This involves knowledge of “context of topics in the overall curriculum” (f2), “which content has already been taught and at what level of detail” (f6), the “gaps” (f6) and “redundancies” (f11), “didactically bad classes” (f13) and “differences between curricular planning and reality of a class” (f13). The student module co-directors are considered as the “only ones in the system who are able to overview in detail the content of the classes” (f65). Students see themselves as “experts of the curriculum that really takes place” (s1).
   2. 학생들의 관점에 목소리를 내는 것. 교수진과 학생들은 모두 학생 모듈 공동 감독을 "학생들의 대변자"로 본다(s23, f54). 학생 모듈 공동 책임자는 "평가 비율이 낮을 때 특히 중요한 학생들의 피드백을 묶는다"(f2). 그들의 대표성은 다양하게 인식된다. 일부 교수진은 "학생 관점이 관련성 있고 대부분 구체적인 피드백을 제공하는 대표적인 목소리를 얻는다"(f31)고 말하는 반면, 다른 교수진들은 학생 모듈 공동 책임자가 "학생의 관점에서 중요한 피드백"을 제공한다고 말한다. 불행하게도, 항상 대표적인 것은 아니다"(f7).
      Giving the students’ perspective a voice. Both faculty and students see the student module co-directors as the “mouthpiece of the students” (s23, f54). The student module co-directors “bundle the feedback from students which is particularly important when evaluation rates are low” (f2). Their representativeness is perceived diversely. While some faculty members state that the “student perspective gains a representative voice that provides relatable and mostly concrete feedback” (f31), others state that student module co-directors contribute “important feedback from the perspective of the students. Unfortunately, not always representative” (f7).
   3. 개선을 위한 아이디어를 제공합니다. 교수 모듈 책임자들은 학생들의 기여와 그들이 기여하는 방식의 몇 가지 측면을 중요시한다. 학생 모듈 공동 책임자는 "창의성과 신선함으로"(f24), "새로운 생각"(f4), "건설적인 비판"(f5)에 기여합니다. 그들은 종종 "중요한 강의 시간의 어려움에 대한 창의적인 해결책"(f69)을 가지고 있다. 학생 모듈 공동 책임자들은 "예산과 직업 관심사로부터 독립적"이라는 장점을 지적한다(s24). 그들은 스스로를 "교육과정이 어떻게 돌아가는지 이해하는 학생"이라고 설명한다. 반면, 교수 모듈 책임자들은 학생들이 "가끔 너무 이상적이고 긍정적으로 사물을 본다"(f21), "조직적 타당성을 보지 않고"(f72), "부족한 인적 자원"(f72)을 표현한다.
      Contributing ideas for improvement. Faculty module directors value several aspects of the students’ contribution and the way they contribute. The student module co-directors contribute “with creativity and freshness” (f24), “new thoughts” (f4), and offer “constructive criticism” (f5). They often have “creative solutions for difficulties with critical teaching sessions” (f69). Student module co-directors point out the advantage of “being independent of budget and career interests” (s24). They describe themselves as “students that understand how the curriculum works” (s24). On the other hand, faculty module directors express that the students “sometimes see things too idealistically and positively” (f21), “without looking at organizational feasibility” (f72), and “the scarce personnel resources” (f72).
2. 학생 모듈 공동 책임자의 전략. 학생 모듈 공동 책임자는 모듈 책임자로서 성공하기 위한 네 가지 핵심 전략을 언급합니다.
   Strategies of the student module co-directors. The student module co-directors mention four key strategies for being successful as a module director.
   1. 준비를 잘 해라. "첫 번째는 준비하는 것입니다. 잘 준비해서 사람들을 정말 설득할 수 있을 것 같아요."(s26) 또한 "준비에 더 많은 노력을 기울일수록 제안이 받아들여질 가능성이 높다"(s6). 이는 일반적인 회의 준비를 넘어선 것으로 보인다. 사전에 학생들은 "어떤 주장이 나올 수 있고 어떤 반론이 좋을지에 대한 시나리오를 검토한다"(s24) 그리고 가능하다면 "이미 마음 한구석에 있는 문제에 대한 해결책을 가지고 있다"(s24). 교수 모듈 책임자는 "학생들의 준비 작업을 통해 의사 결정을 포함한 회의가 더 쉽고 빠르게 진행된다"고 보고합니다(f46).
      Be well prepared. “The first thing is being prepared. I think you can really persuade people by having prepared well” (s26). Furthermore, "the more effort you invest in preparation, the higher are the chances that your proposal gets accepted” (s6). This seems to go beyond general meeting preparations. In advance, students “go through scenarios about what arguments may come up and what would be good counter arguments” (s24) and, if possible, “have a solution for the problem already in the back of your mind” (s24). The faculty module directors report that “working with the students’ preparations, our meetings – including decision-making – become easier and faster” (f46).
   2. 힘들지만 전략적인 위치를 차지합니다. 예를 들어, 모듈 기획 회의에서 학생 모듈 공동 책임자는 보통 회의록을 작성합니다. "회의록을 작성하는 것은 처음에는 귀찮다고 느낄 수 있지만," "결과가 표현되어야 하는 방식으로 표현되기 때문에" (s24) "이것을 당신 자신의 손에 쥐는 것" (s27)이 유리한 것으로 보인다. 이는 회의록이 "회의에서 합의된 변경사항을 요구할 때 참조할 수 있는 문서"(s24)로 간주되기 때문에 중요하다. 학생들은 그들이 "아무도 그것을 하고 싶어하지 않기 때문에 회의록을 작성한다"(s28)는 것을 알고 있지만, "그들을 좋은 위치에 놓는다"(s8)는 것을 발견한다. 반면에, 교수 모듈 책임자들은 학생들이 "일상적인 과부하 때문에 우리가 하지 않았을 업무 패키지를 자주 인계받는다"(f46)는 것을 높이 평가한다.
      Take over laborious, but strategic positions. For instance, student module co-directors usually take over the minutes in module planning meetings. “Writing the minutes, may feel annoying in the beginning” (s24), but it is seen as advantageous, “holding this in your own hands” (s27) “as results are phrased in the way they should be phrased” (s24). This is important as the minutes are seen as “the document one can refer to when demanding the changes that were agreed on in the meeting” (s24). The students are aware that they “write the minutes because nobody else would like to do it” (s28), but find that it “puts them into a good position” (s8). On the other hand, the faculty module directors appreciate that the students “frequently take over work packages, which otherwise would not be done by us because of the daily overload” (f46).
   3. 모듈 계획 그룹에 접근하기 전에 모듈 디렉토리 보드 내에서 합의에 도달합니다. 이것은 수업 내용의 변화와 그 변화를 촉진하기 위한 의사소통 전략에 적용된다. 내용과 관련하여 "변경 제안은 모듈 이사 간에 논의된 후 공동으로 제시하고 최종적으로 승인한다"(f36). 커뮤니케이션 전략과 관련해서는 교직원 모듈 책임자가 주도적으로 나서는 경우도 있다. "우리가 무언가를 결정하면, 모듈 책임자 중 한 명이 '내가 알아서 하겠다'고 말하고, 그나 그녀의 글이 더 무게가 실릴 것이기 때문에, 여러 부서에 이메일을 씁니다."(s29) 다른 상황에서는 학생이 제안된 변화를 주로 전달하는데, "단순히 학생이 중립적인 위치에 있기 때문이다. (s24)".
      Reach a consensus within module directory board before approaching the module planning group. This applies to changes in content of classes and the communication strategy to facilitate the change. Regarding content, “proposals for change are discussed among the module directors and then jointly presented and eventually endorsed” (f36). Regarding communication strategy, the faculty module directors take the lead in some cases. “When we have decided on something, one of the module directors says, ‘I will take care of it’, and writes the emails to the various departments, since his or her writing will carry more weight” (s29). In other situations, the student primarily communicates the proposed change, “simply because the student is in a neutral position. (s24)”.
   4. 학생 모듈 공동 책임자 그룹의 지원을 받습니다. 예를 들어, 학생들은 "집단에 의한 지원, 집단 내 정보 교환 및 자신의 모듈에 있는 문제에 대한 다른 관점의 입력"을 중요시한다(s11). 격주 회의에서 "학생 모듈 공동 책임자 간의 교류는 많은 새로운 아이디어를 만들어 내고 그룹은 생산적으로 협력한다"(s18). 그들의 자율성은 "그룹 내의 좋은 협력과 창의성을 위한 기초"로 간주된다.
      Getting support by the group of student module co-directors. For example, the students value “the support by the group, the exchange of information within the group and the input from other perspectives on issues in their own module” (s11). In the biweekly meetings, “the exchange between the student module co-directors produces many new ideas and the group productively works together” (s18). Their autonomy is seen as basis “for the good collaboration and creativity within the group” (s21).
3. 학생 모듈 공동 책임자가 직면한 과제. 학생 모듈 공동 책임자로서의 업무가 긴장감이 없는 것은 아니다. 도전적인 것으로 인식되는 두 가지 하위 주제가 확인되었다.
   Challenges student module co-directors face. The work as a student module co-director is not without tension. Two subthemes were identified that are perceived as challenging.
   1. 위계질서를 다루는 것. 일부 학생들은 "위계에서 더 높은 위치에 있는 사람들을 다룰 때" 토론하고 해결책을 찾는 것을 어려움으로 인식했다(s14). 다른 이들은 "더 높은 순위의 사람들과 대화를 시작하는 것에 대한 자신의 억제력의 감소"를 경험했다(s20). 어떤 경우에는 "일부 교사들이 열심히 노력해서 그것을 해낸다"(s27)는 것처럼 "지렛대가 훨씬 적다"(s21)는 경험을 하기도 있다.
      Dealing with hierarchy. Some students perceived it as a challenge to discuss and to find solutions when “dealing with persons having a higher position in the hierarchy” (s14). Others experienced “a drop in one’s own inhibition to start a discourse with higher ranking people” (s20). In some cases, they experience “having much less leverage” (s21), as “some faculty teachers dig in their heels and get through with it” (s27).
   2. 커리큘럼 설계의 협상 과정에 익숙해지는 것. 이것은 변화에 영향을 미치기 위해 필요한 시간과 투자된 노력을 의미한다. 예를 들어, 학생들은 "토론을 멈출 때가 왔을 때 깨달을 필요가 있다"(s27)와 "하고 싶은 모든 것을 실행할 수 없기 때문에 집중하는 것이 중요하다"(s14)를 표현한다. 또한, 학생들은 "과잉 반응하지 말고, 모든 것을 개인적으로 받아들이지 말라"(s24) 또는 "합의에 도달하려면 시간이 필요하다"(s28)는 것을 배워야 했다. 학생들은 "인내력"(s10), "자기 주도성과 지속성을 보여주는 것"(s11), " 좌절 관용"(s10)의 증가에 대해 보고했지만, "기관으로서의 자선단체와 다양한 위원회에 대한 더 많은 감사"(s20), "다른 사람의 일을 처리하는 데 더 많은 존경과 감사를 보여주는 것"(s22)도 보고했다. 
      Getting used to the negotiation process in curriculum design. This refers to the time needed and the effort invested in order to affect a change. For instance, students express that they “need to realize when the time has come to stop a debate” (s27) and that it is important to get focused because “one cannot implement everything one would like to” (s14). In addition, students had to learn “not to overreact, not to take everything personally” (s24) or that “reaching consensus needs time” (s28). Students reported on increases in “endurance” (s10), “showing self-initiative and persistence” (s11) and “frustration tolerance” (s10), but also “more appreciation for the Charité as an institution and its various committees” (s20) and being “more respectful and showing more appreciation in dealing with the work of others” (s22).

Med Teach. 2019 Oct;41(10):1143-1150. doi: 10.1080/0142159X.2019.1623385. Epub 2019 Jun 16.

교육혁신을 구축-측정-학습으로 빠르게 평가하기: 린 스타트업을 보건의료전문직 교육에 적용하기 (Med Teach, 2022)
Evaluating education innovations rapidly with build-measure-learn: Applying lean startup to health professions education
David A. Cook, Abhishek Bikkani & M. Jeannie Poterucha Carter

린 스타트업 접근 방식
The lean startup approach

내역 및 개요
History and overview

에릭 리스는 2000년대 후반에 소프트웨어 회사를 공동 설립하면서 '린 스타트업'의 아이디어를 개발했으며, 자신의 경험을 앞서 설명한 두 가지 개념과 결합했다(Ries 2011).

• 컨셉 1은 도요타의 '린 제조'(Womack et al. 2007)로, [제조 공정에서 낭비를 전략적으로 제거하는 데 중점]을 두고 있다. 그리고 제품이 사전에 완전히 명시되지 않고 짧고 반복적인 주기로 개발되고 정제되는 소프트웨어 산업의 '애자일 개발'의 보완적 개념(Beck et al. 2001). 
• 컨셉 2는 Steve Blank의 '고객 개발' 아이디어입니다(Blank 2013, 2020). —[고객의 니즈를 이해하고 대응하는 것]이 엔지니어링 및 제품 개발보다 더 중요하다는 것을 의미합니다. 

Eric Ries developed the idea of the ‘Lean Startup’ while co-founding a software company in the late 2000s, merging his own experiences with two previously-described concepts (Ries 2011).

• Concept 1 is Toyota’s ‘lean manufacturing’ (Womack et al. 2007), which focuses on strategically eliminating waste in a manufacturing process; and the complementary concept of ‘agile development’ (Beck et al. 2001) from the software industry in which products are developed and refined in short, repeated cycles rather than being fully specified up-front.
• Concept 2 is Steve Blank’s idea of ‘customer development’ (Blank 2013, 2020)—that understanding and responding to customer needs (sources of ‘pain’) are more important than engineering and product development.

[린 스타트업의 핵심 전제]는 다음과 같다.

• 모든 새로운 벤처(우리의 경우 교육 혁신을 포함)가 성공하는 방법을 배워야 한다.
• 학습은 경험적 데이터에 기반해야 한다,
• 이러한 데이터는 '사무실 밖으로 나가기'와 고객과의 상호작용을 통해 가장 잘 얻어낸다.

The central premises of the Lean Startup are

• that any new venture (including, in our case, education innovations) must learn how to be successful,
• that learning must be based on empiric data, and
• that these data are best obtained by ‘getting out of the office’ (Blank 2020) and interacting with customers.

린 스타트업 접근 방식은 혁신가들이 아이디어를 기능성 제품으로 전환하고, 고객이 어떻게 반응하는지 측정하고, 이러한 결과로부터 학습하여 제품을 개선한 다음, 이 사이클을 반복하도록 지원합니다(이상적으로 여러 번, 그리고 빠르게). 중요한 것은 초기 제품이 잘 개발되어서는 안 된다는 것입니다. 오히려, 아이디어를 미리 완성하려는 모든 노력은 시간과 자원의 낭비이기 때문에 거의 기능적이지 않아야 합니다('최소한의 실행 가능한 제품'). 핵심은

• 가능한 한 빠르고 빈번하게 주기를 반복하여
• 고객의 요구를 더 잘 이해하고 응답하도록 제품을 반복적으로 수정하고,
• 이로서 제품 아이디어를 고객이 실제로 사용할 수 있는 것으로 신속하게 다듬는 것입니다(이는 혁신자가 처음에 구상한 것과 상당히 다를 수 있음).

The Lean Startup approach helps innovators turn their idea into a functional product, measure how customers respond, learn from these results to refine the product, and then repeat this cycle (ideally multiple times, and rapidly). Importantly, the initial product need not—in fact, should not—be well-developed. Rather, it should be barely functional (a ‘minimal viable product’), because any efforts to perfect the idea up-front are a waste of time and resources. The key is

• to repeat the cycle as quickly and as frequently as possible,
• iteratively revising the product to better understand and respond to customer needs, and
• thus rapidly refine the product idea into something that customers will actually use (which may be quite different from what the innovator initially envisioned).

린 스타트업은 실제로 [특정 영역에 초점을 둔 과학적 방법의 응용]일 뿐이며, 실용적인 시간에 민감한 문제로 용도 변경되었다(Ries 2011).
Lean Startup is really just a focused application of the scientific method, repurposed to a practical time-sensitive problem (Ries 2011).

5대 원칙
Five key principles

Ries(2011)는 린 스타트업의 5가지 핵심 원칙을 개략적으로 설명합니다. 첫째, 기업가들은 어디에나 있다. 위에서 언급했듯이, 교육 혁신가들은 기업가이고, 그들의 팀은 스타트업이다.
Ries (2011) outlines five core principles of the Lean Startup. First, entrepreneurs are everywhere. As noted above, education innovators are entrepreneurs, and their teams are startups.

둘째, 기업가정신은 경영이다. 스타트업은 '단순한 상품이 아니라 기관'이며 효과적인 관리가 필요하다. 핵심 혁신자인 팀 리더는 벤처 기업을 관리하고 팀에 책임을 물을 준비가 되어 있어야 합니다.
Second, entrepreneurship is management. A startup ‘is an institution, not just a product’ and requires effective management. The team leader—the key innovator—must be prepared to manage the venture and hold the team accountable.

셋째, 스타트업은 고객에 대해 학습한 것을 검증할 필요가 있다. 스타트업(즉, 혁신 팀)의 목적은 [학습하는 것]이지 반드시 제품을 구축하거나 고객의 요구를 충족하기 위한 것은 아닙니다. Ries는 혁신자들이 효과적이고 지속 가능한 제품과 사업을 구축하는 방법(즉, 무엇을 구축해야 하는지)을 배울 필요가 있다고 주장한다. 만약 그들이 배움learning 대신 스스로의 구축building하는 데 초점을 맞춘다면 그들은 결국 실패할 것이다. 학습은 혁신자들이 그들의 기본 가정과 비전을 경험적으로 시험할 수 있게 하는 실험을 필요로 한다.—비즈니스 모델을 'de-risk'하는 것이다. 교육 환경에서, 이는 새로운 과정 아이디어를 도입하기보다는, 혁신 팀이 [변화가 정말로 필요한지 여부를 결정하는 데 집중]하도록 장려한다는 것을 의미합니다. 그리고 변화의 필요가 당연하자면warranted, 코스 개발에 [반복적인 '지속적인 품질 개선' 접근법]을 채택해야 한다. 학습자가 정말로 필요로 하는 것(현재 어떤 gap이 존재하는가, 학습자가 무엇을 실제로 사용할 것인가, 무엇이 학습 결과를 실제로 최적화할 것인가)을 파악하는 데 초점을 맞춥니다. 마우리아가 말했듯이, '인생은 아무도 원하지 않는 것을 만들기에는 너무 짧다'(Maurya 2012). 혁신의 [지속가능성]과 [확장성] 또한 테스트되어야 합니다. 새로운 고객들(예: 내년 또는 다른 기관의 학생)이 그것을 사용할 수 있을까?
Third, startups need validated learning about customers. The purpose of a startup (i.e. the innovation team) is to learn, not necessarily to build a product or meet customer needs. Ries maintains that innovators need to learn how to build an effective and sustainable product and business (i.e. what to build). If they focus on building itself instead of learning they will ultimately fail. Learning requires experiments that allow innovators to empirically test their fundamental assumptions and vision—to ‘de-risk’ their business model. In an education setting, this means that rather than jumping in and implementing a new course idea, Lean Startup encourages the innovation team to focus on determining whether a change is really needed; and if change is warranted then to adopt an iterative ‘continuous quality improvement’ approach to course development. The focus is on identifying what learners really need (what gaps currently exist, what they will actually use, and what will really optimize learning outcomes). As Maurya stated, ‘Life’s too short to build something nobody wants’ (Maurya 2012). The sustainability and scalability of the innovation should also be tested: will new customers (e.g. students next year or from other institutions) be able to use it?

넷째, 검증된 학습을 달성하기 위해 스타트업(혁신 팀)은 빌드-측정-학습 사이클(그림 1 및 아래 설명)을 빠르고 자주 거쳐야 합니다. 성공적인 팀은 주요 질문(가정)에 계속 집중하면서 이 프로세스를 가속화할 수 있습니다.
Fourth, to accomplish validated learning, startups (innovation teams) need to go through the Build-Measure-Learn cycle (Figure 1, and described below) quickly and frequently. Successful teams can accelerate this process while continuing to focus on key questions (assumptions).

다섯째, 스타트업(혁신팀)은 혁신회계에 집중해야 한다. 여기에는 의미 있는 메트릭스 식별, 구체적인 목표 설정, 결과 측정, 데이터에 대응하고 목표를 달성하기 위한 작업의 우선 순위가 포함됩니다. 이러한 초점은 혁신자들이 장기적으로 원하는 결과를 달성할 책임을 지게 한다.

Fifth, startups (innovation teams) must focus on innovation accounting. This involves identifying meaningful metrics, setting specific goals, measuring results, and prioritizing work to respond to data and meet objectives. Such focus holds innovators accountable to achieving the long-term desired outcomes.

 

검증된 학습 및 빌드-측정-학습 주기
Validated learning and the build-measure-learn cycle

성공 정의: 비즈니스 모델 명확화
Define success: Articulate the business model

그것은 '성공'이 어떻게 생겼는지 명확하게 정의하는데 도움이 된다. 비즈니스 벤처의 경우, 성공은 보통 고객에게 지불하고 순이익에서 측정된다. 교육 혁신의 경우 성공은 [신규 사용자, 완료율, 학습자 지식 또는 개발 또는 지속적인 비용(교사 시간 포함)]에서 측정될 수 있다.
It helps to clearly define what ‘success’ would look like. For a business venture, success is usually measured in paying customers and net profits. For an educational innovation, success might be measured in new users, completion rates, learner knowledge, or development or ongoing costs (including teacher time).

이러한 성공의 비전을 '비즈니스 모델'('조직이 가치를 창출, 제공 및 포착하는 방법'에 대한 설명)에서 포착하면 훨씬 더 도움이 됩니다. Maurya(2012)는 혁신의 본질(및 수반되는 비즈니스 모델)을 한 페이지로 증류하기 위해 [린 캔버스]를 개발했다. 린 캔버스를 제작하면 팀은 깊이 있고 명확하게 생각할 수 있으며, 가정을 우선시하고, 다른 모델을 대조하며(예: 다른 고객, 문제, 솔루션 또는 비용 구조로 여러 캔버스 생성) 효과적으로 의사 소통할 수 있습니다. 우리는 이 템플릿을 새로운 린 교육 캔버스를 만들기 위해 적용했습니다(그림 2).
Capturing this vision of success in a ‘business model’ (a description of ‘how an organization creates, delivers, and captures value’ [https://en.wikipedia.org/wiki/Business_model]) helps even more. Maurya (2012) developed the Lean Canvas to distill the essence of an innovation (and the accompanying business model) onto a single page. Creating a Lean Canvas forces the team to think deeply and clearly, and helps to prioritize assumptions, contrast different models (e.g. generating several Canvases with different customers, problems, solutions, or cost structures), and communicate effectively. We have adapted this template to create a novel Lean Education Canvas (Figure 2).

---

린 교육 캔버스를 사용하여 가정의 우선순위를 정하고 프로젝트 전체의 진행 상황/진화를 모니터링할 수 있습니다. 전문가들은 캔버스의 초기 완성을 다음과 같은 순서로 권장합니다(Maurya 2012). 섹션을 공백으로 두어도 괜찮습니다(이는 높은 우선순위 테스트를 수행할 수 있는 위험한 문제가 될 수 있습니다).
The Lean Education Canvas can be used to prioritize assumptions and monitor the progress/evolution of the project as a whole. Experts recommend that the Canvas be initially completed in a single sitting, in the following order (Maurya 2012). It’s ok to leave a section blank (this might suggest a risky issue that warrants high-priority testing).

1. 고객 부문 + 문제 – 이러한 섹션은 긴밀하게 연결되어 있으므로 함께 작성합니다. 즉, '고객'과 2차 수혜자를 모두 식별합니다(예: 의대생에 대한 평가를 기록하는 임상 강사의 새로운 시스템의 경우, 1차 수혜자는 강사, 2차 수혜자는 학생, 지원 직원 및 학장).
1. Customer Segments + Problem – complete these sections together, as they are tightly interconnected; identify both immediate ‘customers’ and secondary beneficiaries (for example: for a novel system for clinical preceptors to record assessments of medical students, the immediate customer is the preceptor; secondary beneficiaries include students, support staff, and the dean).

3. 고유한 가치 제안 – 차이가 중요한지 확인하고 얼리 어답터를 목표로 삼으십시오. [사람들이 제품을 사용한 후 얻을 수 있는 혜택]의 관점에서 이를 설명하도록 하십시오.
3. Unique Value Proposition – make sure your difference matters and aim for the early adopters; try to state this in terms of benefits derived after people use your product.

4. 솔루션 – 단일 솔루션에 얽매이지 말고 '각 문제를 해결하기 위해 구축할 수 있는 가장 간단한 것'을 적습니다(Maurya 2012).
4. Solution(s) – don’t get bound to a single solution; write down the ‘simplest thing you could possibly build to address each problem’ (Maurya 2012).

5. 채널 – 주요 인력(기본 및 보조 고객)과 어떻게 소통하고 참여를 이끌어낼 것인가? 여기에는 푸시 메시징(예: 이메일), 풀 메시징(예: 고객이 웹 사이트) 및 입소문 공유(리퍼링)가 포함될 수 있습니다.
5. Channels – how will you communicate with and get buy-in from key people (primary and secondary customers)? This can include push messaging (you initiate contact, e.g. email), pull messaging (customers find you, e.g. website), and word-of-mouth sharing (referral).

6. 재정 지원 – 일부 교육 혁신은 수익을 창출하기 위한 것이지만, 장기적인 지속 가능성을 보장하기 위해 재정적 지원을 받지 않아도 됩니다. 수익 출처에는 학교 예산 기금, 외부 보조금 및 등록금이 포함될 수 있습니다.
6. Financial Support – some educational innovations intend to generate revenue, but even those that do not must garner financial support to ensure long-term sustainability; revenue sources might include school budget funds, external grants, and subscription fees.

7. 비용 구조 – 혁신을 개발하고 구현하는 데 필요한 비용에 대한 상세하고 현실적인 추정치를 개략적으로 설명합니다.
7. Cost Structure – outline a detailed, realistic estimate of costs required to develop and implement the innovation.

8. 주요 지표 – 여기에는 혁신의 초기 및 반복 사용, 학습 결과(지식, 기술, 행동), 시스템 결과(학교 또는 환자 치료에 미치는 영향), 유료 구독 및 추천이 포함될 수 있습니다.
8. Key Metrics – these might include initial and repeated use of the innovation, learning outcomes (knowledge, skills, behaviors), system outcomes (impact on school or patient care), paid subscriptions, and referrals.

9. 불공평한 이점 – 주어진 제품을 처음 출시하는 것은, 이점이 아니라, 실제로 위험입니다. (Maurya 2012) 진정한 '불공정한' 이점에는 고객과의 연계 가치, 내부자 정보, 개인 전문 지식, 개발 팀 기술, 수많은 기존 고객 및 대규모 네트워크/커뮤니티가 포함됩니다.
9. Unfair Advantage – being first to launch a given product is actually a risk, not an advantage; (Maurya 2012) truly ‘unfair’ advantages include customer-aligned values, insider information, personal expertise, development team skills, numerous existing customers, and a large network/community.

---

원래의 비즈니스 모델은 경험적 테스트에서 거의 살아남지 못할 것이다(Blank 2020). 당연하다. 실제로 비즈니스 모델을 변경하거나 성공의 비전을 재정의할 수 있는 증거(검증된 학습!)를 제공하는 것이 린 스타트업의 핵심 목적입니다.
The original business model will almost never survive empiric testing (Blank 2020). That’s expected. Indeed, providing evidence (validated learning!) to change the business model or redefine the vision of success is the central purpose of the Lean Startup.

 

가정 식별 후 테스트
Identify assumptions, then test

스타트업(혁신팀)의 목적은 고객에 대해 최대한 많이 배우는 것입니다. 팀은 일반적으로 고객이 무엇을 원하거나 필요로 하는지 아이디어로 시작하지만, 실제로는 단순한 가정일 뿐이며 가정을 테스트해야 합니다. 가정을 식별하는 것은 직관적이거나 쉽지 않다. 표 1은 다음 두 가지 접근 방식을 설명합니다. 

• 스스로에게 일련의 탐색적 질문을 던지고
• 린 교육 캔버스의 각 진술을 체계적으로 잠재적인 가정으로 봅니다.

The purpose of a startup (innovation team) is to learn as much as they can about their customers. The team usually starts with an idea of what the customer wants or needs, but in reality this is merely an assumption—and assumptions need to be tested. Identifying assumptions is not intuitive or easy. Table 1 describes two approaches:

• asking oneself a series of probing questions, and
• systematically viewing each statement in the Lean Education Canvas as a potential assumption.

일단 식별되면, 가정은 프로젝트 실패의 위험에 기초한 시험을 위해 [우선 순위]를 매겨야 한다: [불확실성]이 높고, 잠재적으로 [임팩트]가 큰 가정이 우선 순위가 된다. [테스트하기 쉬운 가정]도 종종 조기에 테스트됩니다.
Once identified, assumptions should be prioritized for testing based on risk of project failure: assumptions with high uncertainty and potentially high impact get first priority. Assumptions that are easy to test are often tested early as well.

 

사무실에서 나가십시오. 고객과의 대화
Get out of the office: Talk with customers

가정을 식별하고 테스트하기 위해 혁신자들은 [사무실에서 나와 잠재 고객과 소통]해야 합니다(Blank 2020). 만트라는 다음과 같다. '당신의 건물 안에는 사실이 없으니 밖으로 나가세요'(Blank 2012). 고객 중심 학습('고객 개발')은 '깨달음으로 가는 길'(Blank 2020)으로 분류되었습니다.
To both identify and test assumptions, innovators need to get out of the office (Blank 2020) and interact with potential customers (Constable 2014). The mantra is: ‘There are no facts inside your building, so get outside’ (Blank 2012). Customer-focused learning (‘customer development’) has been labeled the ‘path to epiphany’ (Blank 2020).

'문제점'(고객 발견)에 대한 초기 이해는 일반적으로 고객과의 대화(질적 데이터)를 수반합니다. 전문가들은 포커스 그룹(그룹 사고를 유발함)이나 서면 질문지(팀이 이미 올바른 질문과 잠재적 답을 알고 있다고 가정함)보다는 일대일 인터뷰를 권고한다(Maurya 2012; Constable 2014). 이러한 인터뷰에 대한 자세한 지침을 이용할 수 있다(Constable 2014). 정량적 테스트는 이후 단계에서 인터뷰를 보완한다(Constable 2018; Blank 2020).
Initial understanding of ‘pain points’ (customer discovery) typically involves talking with customers (qualitative data). Experts recommend 1-on-1 interviews rather than focus groups (which promote group-think) or written questionnaires (which presume the team already knows the right questions and potential answers) (Maurya 2012; Constable 2014); detailed guidance on such interviews is available (Constable 2014). Quantitative testing complements interviews at later stages (Constable 2018; Blank 2020).

빌드: 실행 가능한 최소 제품
Build: The minimal viable product

불행히도, 고객들은 자신이 진정으로 원하는 것이 무엇인지, 무엇이 가장 효과적으로 작동할 것인지 모르는 경우가 많습니다. 그들의 의견과 믿음은 시험되어야 할 추가적인 가정이다. 따라서 고객(학습자, 교사 등)과 상호 작용할 수 있는 '최소 실행 가능한 제품'(MVP)이라는 가시적인 것을 매우 조기에 구축하는 것이 중요합니다. MVP는 가정을 경험적으로 테스트할 수 있게 한다. 

• 고객은 정말 그 제품을 사용하나요? 
• 고객은 그것을 예상한 대로 사용하나요? 
• 원하는 (학습) 결과를 쉽게 얻을 수 있습니까? 
• 어떤 장애물에 부딪히고, 이를 해결하기 위해 제품을 재설계할 수 있는 방법은 무엇입니까? 
• 이러한 변화가 초기 비전과 의도된 기능에 어떤 영향을 미칩니까? 

이러한 모든 질문 및 기타 질문에 대한 답변은 빌드-측정-학습 주기(그림 1)에 따라 이루어집니다.
Unfortunately, customers often don’t know what they really want or what will work most effectively; their opinions and beliefs are further assumptions that need to be tested. Thus, it is critical to build something tangible very early—a ‘minimal viable product’ (MVP) with which customers (learners, teachers, etc) can interact. The MVP enables assumptions to be empirically tested:

• Do customers really use the product?
• Do they use it as envisioned?
• Does it facilitate the desired (learning) outcomes?
• What stumbling blocks do they encounter, and how can the product be redesigned to resolve these?
• How do these changes affect the initial vision and intended functionality?

All of these questions, and more, will be answered in cycles of Build-Measure-Learn (Figure 1).

혁신자들은 일반적으로 그들의 제품이 거의 완벽하기를 원하지만, 린 스타트업은 정반대의 것을 장려한다. 첫 번째 제품은 '최소한의 노력(시간과 비용 포함)으로 검증된 학습을 최대한 수집할 수 있는 신제품 버전'이어야 합니다(Ries 2009). 이것은 보통 MVP가 의도적으로 저렴하고 불완전하다는 것을 의미한다. [스타트업의 초점]은 제품을 만들거나 고객을 기쁘게 하는 것이 아니라 [문제에 대한 실행 가능하고 지속 가능한 솔루션을 구축하는 방법을 배우는 것]입니다. 따라서 MVP에는 [하나 이상의 중요한 가정(가설)을 테스트하는 데 필요한 최소한의 기능]만 포함되어야 한다. 종종 이것은 [계획된 최종 제품과 표면적으로 거의 유사하지 않은 구현]을 포함한다. 그러나 MVP는 기능성의 [더 깊은 수준에서 강한 오버랩]을 가져야 한다. 기능 보존 단축키의 구체적인 예로는 주문을 처리하기 위해 컴퓨터 프로그램을 작성하는 대신 손으로 주문을 처리하는 것, 소셜 네트워크를 사용하는 대신 혁신 팀이 사용자의 질문에 답하도록 하는 것, 화면상의 아바타가 화면을 돌아다니는 것보다 한 곳에 서도록 하는 것 등이 있다. 표 2에는 추가적인 미니멀리즘 대안이 나열되어 있다.
Innovators typically want their product to be near-perfect, but Lean Startup encourages precisely the opposite: the first product should be a ‘version of a new product which allows a team to collect the maximum amount of validated learning with the least effort’ (Ries 2009) (including time and money). This usually means the MVP is deliberately inexpensive and incomplete. Remember that the focus of the startup is not to build products or please customers, but to learn how to build practicable, sustainable solutions to a problem. Thus, the MVP should contain only the minimal features required to test one or more critical assumptions (hypotheses). Often this involves an implementation that bears little superficial resemblance to the envisioned final product. However, the MVP should have strong overlap at deeper levels of functionality. Specific examples of function-preserving shortcuts include processing orders by hand instead of writing a computer program to process orders; having the innovation team answer users’ questions instead of employing a social network; and making on-screen avatars stand in one place rather than walk around the screen. Table 2 lists additional minimalistic alternatives.

MVP 출범이 늦어진다는 것은 학습의 지연을 의미한다. 혁신자들은 종종 열등하거나 불완전한 제품을 출시하는 것에 대해 우려를 표하며, 고객을 소외시킬 것을 두려워한다. 이러한 두려움은 고객이 누구인지, 고객이 진정으로 원하는 기능이 무엇인지 알고 있으며, 고객은 누락된 기능에 대해 충분히 신경 써서 불쾌감을 느낀다고 가정합니다. 이 모든 가설은 시험할 수 있고, 종종 시험할 때 거짓으로 판명된다. 실제로 가장 중요한 질문 중 하나는 항상 이것이다. 고객은 품질을 어떻게 정의합니까? 즉, 고객이 진정으로 관심을 갖는 기능은 무엇입니까? 중요한 것은, MVP가 '실패'하더라도 학습이 이루어지면(특히 실패가 예상한 방식으로 발생하지 않는 경우가 많기 때문에) 그 경험이 큰 성공을 거둘 수 있다는 것이다.
Any delay in launching the MVP means a delay in learning. Innovators often express concerns about releasing an inferior or incomplete product, fearing to alienate customers. This fear assumes that they know who their customer is, they know what features their customer truly wants, and the customers will care enough about missing features that they will be offended. All of these are hypotheses that can (and should) be tested; and often, when tested, they prove false. Indeed, one of the most important questions is always: How does the customer define quality, i.e. what features do they really care about? Importantly, even if the MVP ‘fails’ the experience can be a great success if learning is gained (especially since failure often does not occur in the expected way).

다시 강조하자면, MVP의 목적이 꼭 고객을 기쁘게 하기 위한 것이어야 할 필요는 없으며, 전반적인 혁신에 대한 가정(가설)을 테스트하여 학습하는 것입니다.
To again emphasize: the purpose of the MVP is not (necessarily) to please customers, but to test assumptions (hypotheses) about the overall innovation and thereby to learn.

측정
Measure

MVP를 테스트하려면 [의미 있고 실행 가능한 결과]의 측정이 필요합니다. '의미 있음'은 테스트 중인 가설(가정)과의 관계를 나타냅니다. 이상적으로, 결과는 강력한 원인-효과 추론(즉, MVP에 대한 학습)을 지원할 것이다. 웹사이트 조회수 또는 환자 체류 기간과 같은 결과를 측정하는 것은 이러한 결과가 MVP의 특정 특징에 기인할 수 없거나 핵심 가정을 다루지 않는 경우 검증된 학습을 제공하지 않는다.
Testing the MVP requires measurement of meaningful, actionable outcomes. ‘Meaningful’ indicates a relationship with the hypothesis (assumption) being tested: ideally, outcomes will support a strong cause-effect inference (i.e. learning about the MVP). Measuring outcomes such as Website hits or patient length of stay does not provide validated learning if these outcomes cannot be attributed to a specific feature of the MVP or do not address a key assumption.

정성적 데이터(인터뷰)는 모든 단계에서 필수적이지만, 프로젝트가 진행됨에 따라 정량적 데이터(수치)의 중요성이 점점 커지고 있습니다. 유료 고객을 유치하는 데 의존하는 기업에게 '해적 지표'(McClure 2007)는 의미가 있다('AARR'이라는 머리글자가 해적처럼 들리기 때문에 일명). 이러한 지표는 다음에 초점을 맞춥니다. 

• 고객 획득(신규 방문자 수), 
• 활성화(진행 상황을 저장하거나 계정을 활성화하여 재방문을 계획할 수 있을 만큼 충분한 경험을 누리는 고객), 
• 유지(실제 재방문), 
• 추천(동료에 대한 추천), 
• 수익(어떤 것에 대한 지불)

이들은 많은 교육 환경에 적응할 수 있다(예: 온라인 모듈은 새로운 사용자, 모듈 완료, 지속적인 사용 및 추천을 추적할 수 있다). 교육의 다른 성과로는 환자 결과 및 재정적 비용뿐만 아니라 학습자 만족도, 동기 부여, 태도, 지식, 기술 및 침대 머리맡에서의 행동이 포함될 수 있다. '최고의' 결과는 문제의 가정을 직접적으로 알려주는 것이다. 잠재적 결과 측정의 비용, 타당성, 타당성 및 임상/교육 관련성 또한 중요한 고려사항이다.
Qualitative data (interviews) are vital at all stages, but quantitative data (numbers) become increasingly important as a project progresses. For a business dependent on attracting customers who pay, the ‘pirate metrics’ (McClure 2007) (so-called because the acronym ‘AARRR’ sounds like a pirate) are meaningful. These metrics focus on customer

• Acquisition (number of new visitors),
• Activation (customers who enjoy the experience enough to plan a return visit by saving progress or activating an account),
• Retention (actual return visits),
• Referral (recommendations to colleagues), and
• Revenue (payment for something);

these could be adapted to many education settings (e.g. an online module might track new users, module completion, ongoing use, and referrals). Other outcomes in education might include learner satisfaction, motivation, attitudes, knowledge, skills, and behaviors at the bedside, as well as patient outcomes and financial cost. The ‘best’ outcome is one that directly informs the assumption in question. Cost, feasibility, validity, and clinical/educational relevance of potential outcome measures are also important considerations.

정량적 데이터는 시간 경과에 따른 비교(설계 변경과 이상적으로 연계), '경쟁사'와의 비교(또는 전통적인 접근 방식) 또는 동시 통제군과의 비교 등이 있다. 강력한 원인 효과 결정을 용이하게 하는 한 가지 방법은 'A-B 테스트'를 포함하며, 이는 기본적으로 두 가지 버전의 MVP(버전 A, 버전 B)가 생성되는 제어 실험이며, 중요할 것으로 의심되는 특징에서만 다르다. 사용자의 절반은 버전 A를 제공하고 절반은 버전 B를 제공하며 결과는 비교된다. 대면 교육에서는 종종 어렵지만, A-B 비교는 컴퓨터 보조 교육에서는 비교적 간단하며 소프트웨어 개발에서는 일반적이다. 실제로 구글과 아마존 같은 거대 기술기업들은 제품 디자인을 다듬기 위해 지속적으로 A-B 테스트를 사용한다. 한 전문가(McLure 2007)는 무엇을 해야 할지 모르면 '대단히 추측해 보고 A-B 테스트를 해보십시오.'라고 제안합니다.
Quantitative data can be compared over time (ideally linked with design changes), with a ‘competitor’ (or traditional approach), or with a concurrent control. One way to facilitate robust cause-effect determinations involves ‘A-B testing,’ which is basically a controlled experiment in which two versions of the MVP (version A, version B) are created, differing only in a feature suspected to be important. Half the users are offered version A, half are offered version B, and outcomes are compared. While often difficult in face-to-face instruction, A-B comparisons are relatively straightforward for computer-assisted instruction, and are commonplace in software development. In fact, technology giants such as Google and Amazon use A-B testing continuously to refine their product design. One expert (McClure 2007) suggests that if you don’t know what to do, ‘Just guess and then A-B test—a lot!’

학습: 피벗 또는 지속성
Learn: Pivot or persevere

측정이 수집되고 분석되면 학습(데이터 해석)과 의사결정이 필요한 시점이다. 근본적인 결정은 [인내]할 것인지(초기 아이디어를 계속 다듬을 것인지) 아니면 [피벗]할 것인지(초기 아이디어를 포기하거나 근본적으로 변경하여 다른 고객, 기능 세트 또는 제품에 초점을 맞출 것인지)입니다. 핵심은 각 결정이 검증된 학습을 기반으로 한 정보에 정통하다는 것입니다. 다시 말하지만 스타트업(혁신팀)의 초점은 제품을 만들거나 고객(학습자)에게 서비스를 제공하는 것이 아니라 효과적이고 실용적이며 지속 가능한 솔루션(비즈니스 모델)을 구축하는 방법을 배우는 데 있습니다.
Once measurements have been collected and analyzed, it is time for learning (data interpretation) and decisions. The fundamental decision is whether to persevere (continuing to refine the initial idea) or to pivot (abandoning or radically changing the initial idea to focus on a different customer, feature set, or product). The key is that each decision is well-informed—based on validated learning. Again, the focus of a startup (innovation team) is not so much to build a product or serve customers (learners) but rather to learn how to build an effective, practicable, sustainable solution (business model).

반복하다…빠르게 
Repeat … rapidly

그런 다음 또 다른 핵심 가정(가설)의 우선 순위를 정하고, 그 가설, 측정 및 결정을 테스트할 MVP를 만드는 것으로 다시 순환이 시작됩니다. 가설과 측정값이 더 우수하고 각 사이클이 더 빨리 완료될수록 혁신 팀은 더 잘 배우고 더 많은 경쟁 우위를 확보할 수 있습니다.
And then the cycle begins again—with prioritization of another key assumption (hypothesis), creation of an MVP to test that hypothesis, measurement, and decision. The better the hypotheses and measurements, and the faster each cycle can be completed, the better and more the innovation team will learn and the greater their competitive advantage.

전체적으로, Maurya(2012)는 [고객과 관련성을 유지하고, 솔루션이 아닌 문제를 사랑하며, 전체 혁신(효과와 지속 가능성 포함)의 위험을 체계적으로 제거]할 필요성을 강조한다. 린(교육) 캔버스(그림 2)는 모델의 만족도, 실행 가능성 및 실현 가능성을 포함하여 모델을 체계적으로 '스트레스 테스트'하는 데 도움이 됩니다.
Throughout, Maurya (2012) emphasizes the need to stay relevant to customers, love the problem not the solution, and systematically de-risk the entire innovation (including effectiveness and sustainability). The Lean (Education) Canvas (Figure 2) is helpful in systematically ‘stress testing’ the model, including its desirability, viability, and feasibility.

물론, 실제 교육 설정은 전형적으로 과정 빈도(예: 매년 1회)와 사이클 빈도를 제한하는 잠재적 '고객'(예: 연간 25명)에 의해 제약을 받는다. 그러나 초점은 [제품 테스트]보다는 [검증된 학습]에 있다. 관련 가정을 테스트할 수 있다면 구체적인 과정, 주제, 참여자는 중요하지 않습니다. 따라서, 많은 빌드-측정-학습 주기는 의도된 과정과 학습자의 외부에 초점을 맞출 수 있습니다(제안 내용은 표 2 참조).
Of course, real-life education settings are typically constrained by the course frequency (e.g. once each year) and potential ‘customers’ (e.g. 25 students per year), which limit the cycle frequency. However, the focus on validated learning rather than product testing is liberating: the specific course, topic, and participants don’t matter if relevant assumptions can be tested. Thus, many Build-Measure-Learn cycles could focus outside the intended course and learners (see Table 2 for suggestions).

교육은 복잡하고 완전히 이해되지 않는 활동이다. 교육 관련 문제에 대한 혁신적인 해결책도 마찬가지로 복잡하며 '효과가 있었는가'라는 단순한 예/아니오 질문으로 좀처럼 줄어들지 않는다. Build-Measure-Learn의 반복적 특성은 각 사이클이 점진적으로 미묘한 질문을 다루면서 자연스럽게 이 상황에 적합하다(이게 중요한 문제인가). 이 혁신은 실행 가능한 해결책입니까? 그것이 얼마나 학습을 촉진하는가? 비용 효율적이고 지속 가능한 제품입니까?)

Education is a complex and incompletely understood activity. Innovative solutions to education-related problems are likewise complex and rarely reduce to simple yes/no questions of ‘Did it work?’ The iterative nature of Build-Measure-Learn lends itself naturally to this situation, with each cycle addressing progressively nuanced questions (

• Is this an important problem?
• Is this innovation a viable solution?
• How well does it promote learning?
• Is it cost-effective and sustainable?).

린 스타트업의 실제 적용: 사례 시리즈
Application of lean startup in practice: A case series

2015년 9월부터 2016년 1월까지 린 스타트업(Lean Startup) 방법에 대한 경험이 있는 외부 컨설팅 업체와 제휴하여 보건전문가를 위한 온라인 학습에 적극적으로 혁신을 꾀했습니다. 이 기간 동안 우리는 고객 개발 인터뷰와 시장 조사를 실시했으며, 이 정보를 사용하여 세 가지 개별 교육 혁신을 식별하고 테스트했습니다(표 3 참조). 이 중 두 개는 실패했다. 세 번째는 상당한 가능성을 보였지만 불행히도 지속적인 개발을 우선시할 자금을 확보하지 못했다. 이러한 프로젝트 중 어느 것도 규모에 맞게 구현된 적은 없지만, 교육 활동을 분류하고 개발하는 린 스타트업의 속도와 유연성을 보여줍니다. 예를 들어, 우리는 다른 가정들이 더 높은 우선순위로 판단되었기 때문에 이러한 혁신들 중 어떤 것이 실제로 학습을 얼마나 잘 촉진시키는지 시험하지 않았다(예: 혁신의 학습 효과는 사람들이 그것을 사용하지 않거나 재정적으로 실행 불가능한지는 중요하지 않다).
From September 2015 to January 2016 we partnered with an external consulting firm with experience in Lean Startup methods to actively innovate in online learning for health professionals. During this period we conducted customer development interviews and market research, and using this information we identified and tested three separate educational innovations (see Table 3). Two of these failed. The third showed substantial promise, but unfortunately has not secured funding to prioritize continued development. While none of these projects was ever implemented at-scale, they illustrate the speed and flexibility of Lean Startup in triaging and developing educational activities. For example, we did not test how well any of these innovations actually promoted learning because other assumptions were judged as higher priority (e.g. an innovation’s learning effectiveness doesn’t matter if people don’t use it or if it is financially infeasible).

 

초기 고객 발굴 및 아이디어 발굴
Initial customer discovery and ideation

지역 리더와의 대화를 바탕으로 중간 수준의 제공자(간호사 실무자 및 의사 보조자)가 지속적인 교육을 위해 혁신적인 지원이 잠재적으로 필요한 것으로 파악했다. 13개 중간 수준의 제공자와의 인터뷰는 사례 기반 학습(서면, 시뮬레이션 및 실제 환자와의 학습), 동료와 사례를 논의할 기회, 매우 짧은 기간 동안의 활동을 포함한 몇 가지 '페인 포인트'을 확인했다.
Based on conversations with local leaders, we identified midlevel providers (nurse practitioners and physician assistants) as potentially needing innovative support for continuing education. Interviews with 13 midlevel providers identified several ‘pain points’ including a desire for more case-based learning (written, simulated, and with real patients), opportunities to discuss cases with colleagues, and activities of very short duration.

후속 팀 브레인스토밍 세션은 세부 사항, 관련성, 혁신 및 실현 가능성에 있어 큰 차이를 나타내는 30개 이상의 고유한 아이디어를 식별했습니다. 비록 많은 아이디어가 모호하거나 실현 불가능했지만, 이 활동은 팀을 단결시키고 후속 활동을 위한 토대를 제공했다. 시간이 지남에 따라, 우리의 목표 고객 그룹은 (인터뷰에서) 사례 기반 학습의 인지된 가치를 확인한 실무 의사와 거주자를 포함하도록 다양화되었습니다.
A subsequent team brainstorming session identified over 30 unique ideas representing large variation in detail, relevance, innovation, and feasibility. Although many ideas were vague or infeasible, the activity united the team and provided a foundation for subsequent activities. Over time, our target customer group diversified to include practicing physicians and residents, who affirmed (in interviews) the perceived value of case-based learning.

혁신 1. '케이스 앱'
Innovation 1. ‘CasesApp’

고객 발굴, 아이디어 제시 및 가정
Customer discovery, ideation, and assumptions

우리의 초기 고객 개발은 임상의가 진정한 임상 사례에 대한 접근과 논의를 중요시할 것을 제안했다. 임상의들은 또한 우리에게 학습 시간이 매우 제한적이라고 말했고, 모바일 장치가 이 장벽을 극복하는 데 도움이 될 수 있다고 제안했다. 따라서 신뢰할 수 있는 동료와 실제 환자 사례를 공유하고, 보고, 비동기적으로 논의하는 것을 지원하는 모바일 앱이 중요한 요구를 충족할 것이라고 가정했다. 바쁜 임상의들이 서면 사례를 입력할 시간이 없을 수 있다는 것을 인지하고, 모바일 장치 카메라로 캡처한 비디오를 사용하여 사례를 만들고 논의하는 것이 더 빠르고 쉬울 것이라는 가설을 세웠다.
Our initial customer development suggested that clinicians would value access to, and discussion of, authentic clinical cases. Clinicians also told us that time for learning was very limited, and proposed that mobile devices might help overcome this barrier. Consequently, we hypothesized that a mobile app to support sharing, viewing, and asynchronously discussing real patient cases with trusted colleagues would fill a critical need. Recognizing that busy clinicians might not have time to type out a written case, we further hypothesized that creating and discussing cases would be faster and easier using video captured with mobile device cameras.

우리는 기존 제품을 탐색하는 시장 조사를 실시했습니다. 여러 제품이 의사 사례 기반 학습을 지원했지만 모바일 장치를 사용한 제품은 거의 없었고 신뢰할 수 있는 그룹 내에서 사례 토론을 지원하지 않았습니다.
We conducted market research exploring existing products. Several products supported physician case-based learning, but few used mobile devices and none supported case discussions within trusted groups.

우리는 몇 시간 동안 브레인스토밍을 하고 사실이 아닐 경우 실패로 이어질 수 있다는 가정에 우선순위를 매겼다(표 3 참조). 그런 다음 가장 위험한 가정을 테스트하기 시작했습니다.
We spent several hours brainstorming and prioritizing the assumptions that, if untrue, could lead to failure (see Table 3). We then set out to test the riskiest assumptions.

초기 가정 테스트: 빌드-측정-학습
Testing initial assumptions: Build-measure-learn

한 가지 중요한 가정은 임상의가 짧은 사례를 구두로 제시하고 모바일 기기를 사용하여 기록하는 것이 편하다는 것이었다. 이번 테스트에서 MVP는 단순히 표준 비디오 녹화 기능을 갖춘 스마트폰이었다. 주요 지표는 사례를 다른 사람과 공유하고자 하는 임상의의 수와 2분 이내에 사례를 생각해 낼 수 있으며 스마트폰을 사용하여 구술 발표를 편안하게 비디오로 녹화하는 것이었다. 우리는 질문한 임상의의 80%가 하나의 사례를 기록할 의향이 있고 기록할 수 있을 것이라는 가설을 세웠다. 우리는 스마트폰을 손에 들고 복도를 뛰었고, 한 시간 내에 6명의 의료 전문가(의사 5명, 중간급 의료진 1명)에게 접근했다. 6명 모두 2분 이내에 사례를 기록했고, 4명은 최소한의 도움만 필요했으며, 5명은 다른 임상의와 사례를 기꺼이 공유했습니다. 이것은 우리의 가정을 확인했고, 우리는 다음 단계로 진행하기로 결정했다. 
One key assumption was that clinicians were comfortable orally presenting a short case and recording it using a mobile device. The MVP for this test was simply a smartphone with standard video recording capability. Key metrics were the number of clinicians willing to share a case with others, able to come up with a case in two minutes or less, and comfortable video-recording their oral presentation using our smartphone. We hypothesized that 80% of clinicians asked would be willing and able to record one case. We hit the hallways with smartphones in hand, and within an hour had approached six health professionals (five physicians and one midlevel provider). All six recorded a case in under two minutes, four required only minimal help, and five were willing to share their case with other clinicians. This affirmed our assumption, and we decided to proceed with the next step.

빌드
Build

다음 가정은 임상의가 다른 임상의의 비디오 클립 사례와 관련이 있다는 것이었습니다. 이 가정을 테스트하려면 표준 스마트폰 소프트웨어보다 더 많은 것이 필요했습니다. 양방향 상호 작용을 용이하게 하는 프로토타입이 필요했습니다. 따라서 우리는 임상의가 환자 사례를 비디오로 녹화하여 스스로 선택한 동료 그룹과 공유할 수 있는 매우 간단한 스마트폰 앱을 개발했다. 그런 다음 동료들은 비디오로 녹화하고 사건에 대한 의견을 공유할 수 있었다. 우리는 6명의 임상의사를 고용하여 각각의 사례를 기록하고 이 사례를 논의하기 위해 동료 그룹을 초대했다.
The next assumption was that clinicians would engage with video clip cases from other clinicians. Testing this assumption required more than standard smartphone software; we needed a prototype that would facilitate bi-directional interaction. Thus, we developed a very simple smartphone app that allowed clinicians to video-record themselves presenting a patient case and share this with a group of self-selected peers. The peers could then video-record and share comments on the case. We recruited six clinicians to each record a case and invite a group of peers to discuss this case.

재다
Measure

우리는 세 가지 주요 메트릭스를 제안했습니다. 예를 들어 사례를 본 응답자의 30%는 질문이나 코멘트로 응답하고, 40%는 두 번째 사례를 보고, 40%는 동료에게 사례 앱을 추천합니다. 테스트에서 초청된 72개 공급자 중 24개(33%)가 실제로 시제품을 사용해 보았다. 이 중 5명(21%)이 댓글 달기에 성공했고, 2명(10%)은 두 번째 사례를 봤으며, 2명(10%)은 동료에게 케이스앱을 추천하겠다고 답했다. 
We proposed three key metrics: 30% of those who viewed a case would respond with a question or comment, 40% would view a second case, and 40% would recommend CasesApp to a colleague. In testing, 24 of 72 (33%) invited providers actually tried the prototype. Of these, 5 (21%) successfully added a comment, 2 (10%) viewed a second case, and 2 (10%) indicated they would recommend CasesApp to a colleague.

배우다.
Learn

목표 메트릭을 충족하지 못했습니다. 임상의들이 사례 기반 논의에 관심을 표명했지만, 실제로는 이러한 비디오 녹화 사례에 관여하지 않았다. 그래서 우리는 이 생각을 버렸습니다. 
We failed to meet any target metrics. Although clinicians expressed interest in case-based discussions, in actuality they did not engage with these video-recorded cases. So, we abandoned this idea.

혁신 2. '''비디오 360'''
Innovation 2. ‘Video360’

고객 발굴, 아이디어 제시 및 가정
Customer discovery, ideation, and assumptions

11월 중순에 첫 번째 혁신을 포기한 후 연말(4주) 전에 두 번째 제품을 구상, 개발 및 테스트하자고 제안했습니다. 깨끗한 슬레이트로부터 시작하여 고객 개발 대화를 재분석하고 광범위하게 브레인스토밍했으며, 마지막으로 시뮬레이션된 환자 만남의 몰입형 온라인 가상 현실(VR) 비디오가 실제 환자와의 더 많고 다양한 경험에 대한 명시된 욕구를 대체할 수 있는 아이디어(가설)를 선택했다. 우리는 이것이 학습 결과에 어떻게 긍정적인 영향을 미칠지에 대한 명확한 기대를 가지고 있지 않았지만, 이 고위험 고수익 아이디어를 테스트하는 것은 타당해 보였다. 결국, 린 스타트업 접근 방식을 사용하면 우리는 노력해도 크게 손해 볼 것이 없다. 
After abandoning our first innovation in mid-November, we proposed to ideate, develop, and test a second product before year-end (4 weeks). Starting with a clean slate we re-analyzed our customer development conversations and brainstormed broadly, finally choosing the idea (hypothesis) that immersive online virtual reality (VR) videos of simulated patient encounters might substitute for the stated desire for more, varied experiences with real patients. We didn’t have a clear expectation for how this would favorably impact learning outcomes, but it seemed reasonable to test this high-risk, high-payoff idea. After all, using the Lean Startup approach we would not lose much for trying.

다시 한 번 우리는 관련 임상 주제 범위를 중심으로 한 중요한 가정(표 3)을 우선시했다(이것이 틈새에서만 작동할 것인가). 아니면 우리는 이것을 임상 훈련의 범위에 걸쳐 사용할 수 있습니까?) 
Once again we prioritized critical assumptions (Table 3), which revolved around the range of relevant clinical topics (Would this work only in a niche? Or could we use this across the spectrum of clinical training?).

제작 및 측정
Build and measure

제안된 혁신은 360° 카메라(비용 $400)를 사용하여 시뮬레이션 또는 실제 환자 만남을 기록하고, 저렴한 VR 헤드셋(각 $10)을 사용하여 후속 재생을 수행하는 것이었다. 다양한 주제에 대한 우리의 가정을 테스트하기 위해, 우리는 상담, 신체 검사 및 외상 소생이라는 세 가지 다른 임상 활동의 시뮬레이션을 비디오로 녹화했다. 우리는 이 비디오들을 진행하기 위해 유튜브를 이용했다. 우리는 공식적인 '사용자 경험' 실험을 통해 이러한 시나리오를 평가할 계획이었지만, 임상의, 교육자 및 전문 혁신자로 구성된 우리 팀은 이 단계 이전에도 심각한 문제를 확인했다.

• 우선 영상이 다소 흐릿하고 편집이 예상보다 번거로웠다.
• 둘째, 신체 검사와 의사소통 만남은 360° 기능의 혜택을 받지 못했고, 어떤 면에서는 실제로 더 나빴다.
• 셋째, 소생 시나리오의 증분적 이점은 최소였고, 여러 카메라의 비디오와 더 광범위하고 비용이 많이 드는 편집이 필요했을 것이다.

The proposed innovation involved recording simulated or real patient encounters using a 360° camera (cost USD $400) and subsequent playback using inexpensive VR headsets ($10 each). To test our assumption regarding range of topics, we video-recorded simulations of three distinct clinical activities: counseling, physical exam, and trauma resuscitation. We used YouTube to host these videos. We planned to evaluate these scenarios through formal ‘user experience’ experiments, but our team of clinicians, educators, and professional innovators identified serious problems even before this step. First, the video was somewhat blurry and the editing more cumbersome than anticipated. Second, the physical exam and communication encounters did not benefit from the 360° feature, and in some ways were actually worse. Third, the incremental benefit for the resuscitation scenario was minimal, and would have required video from multiple cameras and more extensive (and costly) editing.

배우다.
Learn

이러한 발견은 360° 비디오가 광범위한 주제에 걸쳐 가치를 더할 것이라는 우리의 희망을 반증했다. 따라서 우리는 정량적 데이터 수집이나 최종 사용자 테스트를 진행하지 않았습니다. 대신, 우리는 이 아이디어가 만들어진 지 2주 만에 포기했다.
These findings disproved our hope that 360° video would add value across a broad spectrum of topics. As such, we never proceeded with quantitative data collection or end-user tests. Instead, we abandoned this idea only two weeks after its genesis.

혁신 3. '온 파'
Innovation 3. ‘OnPar’

아이디어와 첫 번째 MVP
Ideation and first MVP

우리의 세 번째 혁신은 다시 사례 기반 학습과 연결되었습니다. 그러나 이 아이디어는 공식적인 브레인스토밍에서 나오는 것이 아니라 비디오360 프로젝트를 중단한 후 팀이 압축을 풀기 위해 카드 게임을 하는 동안 발생했다. 누군가가 카드 게임이 임상 사례 관리를 시뮬레이션할 수 있다고 제안했고, 우리는 그 아이디어를 Solitaire와 유사한 게임으로 정교하게 만들었다. 다음 근무일에, 우리는 의사에게 최근의 흥미로운 사례에 대해 설명하도록 요청하고 주요 결과(이력, 시험, 테스트 결과)를 종이 색인 카드에 기록했습니다. 각 카드의 반대편에 우리는 발견을 이끌어낼 임상 질문을 작성했다('가슴 엑스레이에서 무엇을 나타냈습니까?'). 간단한 규칙을 만들었습니다. 플레이어는 각 카드의 질문을 검토하고 사건 해결을 위해 결과가 필요한지 여부를 결정했다. 만약 그렇다면, 그들은 카드를 넘기고, 그렇지 않다면 그들은 카드를 버렸습니다. 가장 적은 카드를 내면서 올바른 진단을 내리는 것이 목표였다. 
Our third innovation again connected to case-based learning. However, rather than emerging from formal brainstorming, this idea occurred while the team was playing cards to decompress after dropping the Video360 project. Someone suggested that a card game might simulate management of clinical cases, and we elaborated the idea into a game similar to Solitaire. The following workday, we asked a physician to describe a recent interesting case and recorded key findings (history, exam, test results) on paper index cards. On the opposite side of each card we wrote a clinical question that would elicit that finding (‘What did chest x-ray show?’). We created simple rules: The player reviewed each card’s question and decided whether the result was needed to solve the case. If yes, they turned the card over; if not they discarded the card. The goal was to make the right diagnosis while playing the fewest cards.

우리는 여러 명의 임상의와 함께 그 게임을 테스트했다. 모두가 게임을 즐겼고, 이 개념을 열렬히 지지했으며, 이는 일상적인 임상 실습에서 시간과 비용 효율에 대한 실질적인 요구를 모방했음을 시사했다. 한 임상의 교육자는 이것이 비분석적 임상 추론 과정을 장려한다고 추가로 제안했다. 
We tested the game with several clinicians. All enjoyed the game and enthusiastically endorsed the concept, suggesting that it emulated the practical demands for time and cost efficiencies in their daily clinical practice. One clinician educator further suggested that this encouraged nonanalytical clinical reasoning processes.

빌드-측정-학습: 2세대 MVP
Build-measure-learn: Second-generation MVP

이 MVP에 대한 호의적인 반응이 우리를 앞으로 나아가게 했다. 가장 위험한 가정(표 3)은 임상의가 게임을 원하는지 여부(구체적으로 2차 게임을 원하는지 여부)와 임상의가 게임 라이브러리를 강화하기 위해 새로운(실제) 사례를 공유하는지 여부에 초점을 맞췄다. 2세대 MVP는 인덱스 카드로 다시 구성되었는데, 이번에는 진단 관련 심전도와 교과서에서 복사한 흉부 X-ray의 접착 이미지를 사용하여 더욱 세심하게 제작되었다. 
The favorable reception to this MVP prompted us to move forward. The riskiest assumptions (Table 3) focused on whether clinicians would want to play the game (specifically, that they would play a second round), and whether clinicians would share new (real) cases to augment our game library. The second-generation MVP again consisted of index cards, this time more carefully constructed (but still hand-written) and using glued-on images of diagnosis-relevant electrocardiograms and chest x-rays copied from textbooks.

우리는 세 가지 사례를 만들고 여러 전문 분야와 훈련 단계를 대표하는 임상의와 함께 게임을 시험해 보았고, 각 시험 후에 게임 규칙을 반복적으로 개선했다. 각 케이스가 끝난 후 우리는 우리의 가정을 테스트하고, 그들이 두 번째 라운드를 하기를 원하는지 물어보고(가능한 경우 허용) 그들을 초대하여 케이스를 작성하는 데 도움을 주었다. 골프(최소 타수를 노리는 것)와 유사성을 인식해 경기 이름을 '온파'로 지었다. 
We created three cases and trialed the game with clinicians representing several specialties and stages of training, iteratively refining the game rules after each trial. After each case we tested our assumptions, asking if they wanted to play a second round (allowing this when possible) and inviting them to help us write a case. Recognizing the similarity to golf (i.e. striving for the fewest strokes), we named the game ‘OnPar.’

빌드-측정-학습: 3세대 MVP
Build-measure-learn: Third-generation MVP

종이 프로토타입에 대한 반응이 매우 좋았기 때문에 우리는 빠른 프로토타이핑 도구를 사용하여 컴퓨터 기반 MVP를 만들 수 있었다. 우리는 개인적으로 약 30명의 임상의들을 초대했고, 그들은 차례로 이메일과 트위터를 통해 동료들을 초대했고, 그 결과 30일 동안 90명이 프로토타입에 액세스했다. 이 중 30%는 계정을 활성화하고 최소 1건의 사례를 완료했다. 예상을 뛰어넘는 성과로 우리는 더 많은 발전을 지속하기로 했다. 불행하게도, 우리 기관은 다른 교육 우선 순위를 추구하기로 결정했고 이 프로그램에 대한 자금 지원은 철회되었다. 
The highly-favorable response to paper prototypes led us to create a computer-based MVP using a rapid-prototyping tool. We personally invited about 30 clinicians to play, who in turn invited colleagues by email and Twitter resulting in 90 people accessing the prototype over a 30-day period; of these, 30% activated an account and completed at least 1 case. With outcomes exceeding expectations, we decided to persevere with further development. Unfortunately, our institution opted to pursue other educational priorities and funding for this program was withdrawn.

코멘터리: 의학교육의 패러다임, 가치론, 인간행동학 (Acad Med, 2018)
Commentary: Paradigms, Axiology, and Praxeology in Medical Education Research
Zareen Zaidi, MD, PhD, and Douglas Larsen, MD, MEd

연구자들의 [연구 패러다임]과 [이론적 관점]은 [연구 과정]에 영향을 미친다. 승인된 RIME(Research in Medical Education) 기사를 예로 들어 다음 질문을 살펴봅니다. 연구자들의 철학적 기반은 무엇이며, 그것이 출판물에서 드러나나요? 어떤 연구 패러다임이 잠재적으로 그들의 방법 선택을 가이드하는가? 그런 다음 우리는 연구 결과가 다른 의학 교육자들의 행동에 어떻게 영향을 미칠 수 있는지 논의한다. 우리는 연구 설계가 패러다임, 이론, 방법론 및 방법을 어떻게 포괄하는지 강조한다. 더 진행하기 전에, 우리는 이 요약을 준비하는 동안 사용한 주요 개념에 대한 간단한 개요를 제공한다. 입문서와 관련된 더 자세한 자료는 관심 있는 사람들을 위한 참고 문헌에 제공된다. 우리는 독자들이 이러한 개념과 이론의 적용 가능성을 고려하여 자신의 실천과 연구를 안내할 것을 권장한다.
Research paradigms and theoretical perspectives of researchers influence the research process—even research questions posited by researchers are shaped by how they view the world. Using the accepted Research in Medical Education (RIME) articles as exemplars, we explore the following questions: What are the philosophical underpinnings of the researchers, and are they made visible in their publications? What research paradigms potentially guide their choice of methods? We then discuss how the results from research can influence actions of other medical educators. We highlight how research design encompasses paradigms, theory, methodology, and methods. Before proceeding further, we provide a brief primer on the key concepts that we used while preparing this summary. More detailed resources1–6 related to the primer are provided in the bibliography for those interested. We encourage readers to consider the applicability of these concepts and theories to guide their own practice and research.

프라이머: 연구자들은 그들의 연구 활동에 영향을 미치는 다양한 [철학적 프레임워크]나 [패러다임]을 따른다. [패러다임]은 신념이나 세계관의 집합으로 볼 수 있으며, 세계의 본질과 개인이나 사물에 대한 세계의 관계, 또는 단순히 인식론적 입장으로 볼 수 있다. 이러한 패러다임은 시간이 지남에 따라 진화해왔고 현재까지도 계속 그렇게 하고 있다. 연구자들은 일부 중첩이 있는 패러다임에 대해 다른 레이블을 사용할 수 있다. 따라서 패러다임은 경직된 프레임워크보다는 [관련이 있는 사상적 학파의 느슨한 결합]으로 간주되어야 한다. 가장 잘 알려진 패러다임으로는 실증주의/후기실증주의, 포스트모더니즘/포스트구조주의, 비판론/이데올로기 패러다임, 구성주의, 실용주의 등이 있다. 패러다임에 대한 포괄적인 검토를 제공하는 것은 저자들의 의도가 아니다. 오히려 우리는 독자들에게 이해하기 쉬운 설명을 우리의 후속 대화의 기초로서 제공하는 것을 목표로 한다.
Primer: Researchers follow various philosophical frameworks or paradigms that impact their research activities. Paradigms can be viewed as a set of beliefs or worldviews, the nature of the world and the relationship of the world to individuals or objects, or simply as epistemological stances.7 These paradigms have evolved over time and continue to do so to date. Researchers may use different labels for the paradigms with some overlap; therefore, the paradigms should be regarded as loosely bound, related schools of thought rather then rigid frameworks.3 The best-known paradigms include positivism/postpositivism, postmodernism/poststructuralism, critical theory/ideological paradigm, constructivism, and pragmatism.3,8 It is not the intent of the authors to provide an encompassing review of paradigms; rather, we aim to provide easy-to-understand descriptions for readers as a primer to our subsequent conversation.

[실증주의]는 역사적으로 가장 잘 알려진 패러다임이다. 이 패러다임을 따르는 연구자들은 [발견되어야 할 하나의 진실]이 있으며, [현실은 관찰 가능하고 측정 가능]하며, [인과관계 연구]를 통해 발견될 수 있다고 믿는다. 고정된 측정 가능한 현실에 대한 생각은 많은 비판을 받았고, 연구자들은 측정이 잘못될 수 있고, 편견이 있으며, 완전한 객관성은 불가능하다는 것을 인정했다. 이것은 객관성을 위해 노력하지만 완전한 중립성은 어떤 절대적인 의미에서도 얻을 수 없다는 것을 이해하는 연구자들과 함께 후기실증주의 패러다임을 이끌었다. [후기실증주의자]들은 "진실"은 근사치이며 "우리가 현실에 대해 알고 있는 것은 지금은 진실이다. 단, 더 많은 연구가 더 나은 설명, 더 정확한 척도를 찾을 때까지"라고 이해한다.
Positivism is historically the best-known paradigm.3 Researchers following this paradigm believe that there is a single truth to be discovered and that reality is observable, is measurable, and can be discovered in cause-and-effect studies.3,9 The idea of a fixed measurable reality received much criticism with researchers conceding that measurement is fallible, researchers have biases, and complete objectivity is not possible.3 This led to the postpositivist paradigm with researchers striving for objectivity but understanding that complete neutrality is not obtainable in any absolute sense.9 
Postpositivists understand that “truth” is an approximation or “what we know about reality is true for now—until more studies find a better explanation, a more accurate measure.”9,10 

[포스트모더니즘]은 어떤 현상의 현실이 그것을 경험하는 자와 주관적으로 상대적이라고 가정한다. 이 패러다임은 또한 탈구조적 또는 탈식민지적이라 불리며 [현대 사회에 대한 비판]을 제공한다. 포스트모던 연구자들은 [기존의 내러티브를 해체]하고 [현상에 대한 재개념화된 설명]을 만드는 것을 목표로 한다. 
Postmodernism posits that reality of a phenomenon is subjectively relative to those who experience it.11 This paradigm is also variably referred to as poststructural or postcolonial and offers critiques of modern society.3 Postmodern researchers aim to deconstruct existing narratives and produce reconceptualized descriptions of phenomena.12 

[비판적 이론/이데올로기 패러다임]은 연구를 통해 [인식된 사회적 부당성]을 [해결하는 것]을 목표로 한다. 이 패러다임에서는 [현실은 시간이 지남에 따라 결정되는 사회적, 정치적, 문화적, 경제적, 민족적, 성별적 가치에 의해 형성된다]는 것을 인정한다. 이 경우 연구자는 (포스트모더니즘과는 반대로) 연구과제, 목적, 방법의 중심이 되는 가치에 대해서 [proactive한 입장]을 가지고 있다. 
Critical theory/ideological paradigm aims to address perceived social injustices through research and advocating for policy changes, acknowledging that reality is shaped by social, political, cultural, economic, ethnic, and gender values crystallized over time.7 The researcher in this case (as opposed to postmodernism) has a proactive stance with values being central to the task, purpose, and methods of research.13 

[구성주의]는 현실이 그것을 경험하는 사람들에 의해 구성되고 상대적이라는 것을 인식한다. 지식은 [연구자와 참가자 사이의 경계]를 흐리게 하는 [우리의 상호 작용]을 통해 만들어진 구성으로 구성되므로 [객관성에 도전]한다. 지식은 연구자와 참여자에 의해 [공동으로 만들어지며 시간에 따라, 개인에 따라, 상황에 따라 달라진다]. 
Constructivism recognizes that reality is constructed by those who experience it and is relative.14 Knowledge consists of the constructions made through our interactions blurring the line between researchers and participants, therefore challenging objectivity. Knowledge is cocreated by researchers and participants and is time dependent, individual dependent, and context dependent.9 

[실용주의]는 종종 진실과 현실의 문제를 회피하는 "대안적 패러다임"으로 간주되며, 이는 연구자가 실증주의/후지향주의에서 구성주의에 이르는 패러다임의 범위 사이에서 선택을 강요받지 않도록 한다. 이 연구자들은 사회적, 역사적, 정치적 맥락을 인정하면서도, [연구의 목적에 초점]을 맞춘다. 즉, [진실]은 그 당시에 작동하는work 것으로 간주합니다. 
Pragmatism is often regarded as an “alternate paradigm” sidestepping issues of truth and reality, allowing the researcher to be free of being forced to make a choice between the ranges of paradigms from positivism/postpositivism to constructivism.15 These researchers focus on the purpose of research while appreciating social, historical, and political context—describing truth as what works at the time.16

[방법론]은 [방법의 설명과 정당화]이지 [방법 자체]가 아니다. [방법]은 연구의 실제 연구 활동 또는 실제 활동이다.1 빈틈없는 성찰적 연구자는 연구와 관련하여 자신의 패러다임을 설명하는 데 세심한 주의를 기울일 것이며, work에 inform하는 philosophy를 설명할 것이다. 
Methodology is the description and justification of methods, and not the methods themselves. Methods are the actual research actions or practical activities of research.1 An astute reflexive researcher will pay careful attention to describing their paradigm in relation to the research, describing the philosophy informing the work.

[가치론]은 연구 과정에서의 [가치의 역할과 위치], 특히 [패러다임, 방법론, 방법론 사이의 관계]에 대한 가치의 영향을 의미한다. 즉, 연구 패러다임이 가치론적인 이유는 [연구자의 가치]가 [방법의 선택]에 inform하기 때문이다.
The role and place of values in the research process, specifically the influence of values on the relationship between paradigm, methodology, and methods, is known as axiology—that is, the research paradigm is axiological in that the values of the researcher inform the choice of methods.

[프락세오로지]라는 단어는 프락시스, 즉 액션에서 유래했다. 프락세오로지(Praceology)는 [인간의 행동의 영향을 연구하거나 의미를 만들고 행동을 해석하는 과학의 한 분야]이다. [교육이 효과를 발휘하게 하고, 일상적인 교육 실천에서 더 잘 작동하게 만드는 데 있어서 연구의 의미는 무엇이냐]는 질문에 구체적으로 답한다.
The word praxeology stems from praxis—action. Praxeology is the branch of science which studies the effect of human actions or makes meaning and interprets actions.4,5 It specifically answers the question of what research means for making education work and making it work better in the everyday practice of teaching.4

RIME 출판물의 연구 패러다임은 어떻게 제정되는가?
How Are Research Paradigms Enacted in RIME Publications?

우리는 각 연구팀의 패러다임이 방법론에 어떤 영향을 미쳤는지 탐구함으로써 독자들에게 기사의 일반적인 요약을 제공하는 것을 넘어서는 것을 목표로 한다. "AM 마지막 페이지: 의학교육과 관련된 연구 패러다임에 대한 가이드"를 지침 프레임워크로 사용하여, 우리는 각 수용된 RIME 논문을 검토하여 작가의 연구 패러다임이 어떻게 가시화되고 사용되는 방법인 축성과 관련된 정보에 근거한 선택을 할 수 있는지 고려했다(표 1). 그런 다음 우리는 일상적인 교수 관행인 사전학에서 연구의 영향에 대해 논평한다. 우리는 저자들의 명시적인 진술이 없다면, 아래의 분류는 우리 자신의 해석을 나타내며, 저자나 다른 독자들이 동의하지 않을 수 있다는 것을 인식한다. 우리는 먼저 실증주의/후기실증주의 패러다임을 대표한다고 느끼는 연구 논문을 고려하고, 그 다음으로는 비판이론, 구성주의, 실용주의 패러다임을 가진 논문을 고려한다.
We aim to go beyond providing the readers with a general summary of the articles by exploring how paradigms of each research team influenced the methodology. Using “AM Last Page: A Guide to Research Paradigms Relevant to Medical Education”17 as our guiding framework, we reviewed each accepted RIME paper to consider how authors’ research paradigm might be made visible and informed choices related to methods used—axiology (Table 1). We then comment on the impact of the research in the everyday practice of teaching—praxeology. We recognize that without explicit statements from the authors, the categorizations below represent our own interpretations, and the authors or other readers may disagree. We first consider the research papers we felt represented a positivist/postpositivist paradigm, followed by papers with critical theory, constructivist, and pragmatist paradigms.

실증주의자/후기 실증주의자 패러다임 연구
Positivist/postpositivist paradigm research

이 패러다임에서 지식은 가설 검증에 의해 얻어진다. 쿨라세가람 등은 "발견의 순서와 그에 따른 직접 지도가 학생들의 기술 이전에는 도움이 되지만, 학생들의 유지나 시험 후 즉각적인 성과에는 도움이 되지 않는다"는 명확한 가설을 밝혔다. 연구 설계는 공식 지시(Do then see) 전에 시뮬레이션된 환경에서 학습자 봉합 기술 성능을 보다 일반적인 공식 지시 순서와 비교하고, 이어서 실습(Do then see)을 비교하기 위한 설득력 있는 무작위 제어 시험이다. 연구원들은 자기효능감과 학생들의 성취도에 관한 자료를 수집했는데, 이는 눈이 먼 평가자에 의해 5점 만점의 글로벌 평가 척도로 평가되었다.

Knowledge in this paradigm is gained by hypothesis testing. Kulasegaram et al18 articulate a clear hypothesis that “the sequence of discovery, followed by direct instruction would benefit students’ transfer of skills, but not their retention or immediate post-test performance.” The study design is an eloquent randomized controlled trial to compare learner suturing skills performance in a simulated setting before formal instruction (Do then See) versus the more typical sequence of formal instruction, followed by practice (See then Do). The researchers gathered data related to self-efficacy and student performance scored on a five-point global rating scale by a blinded rater.

연구자들의 [후기 실증주의 패러다임]은 기술 습득 측정에 초점을 맞춘 [실험 설계]에 반영된다. 후기실증주의에 충실하게, 저자들은 그들의 결과가 완전히 객관적일 수 없으며 봉합 작업에 할당된 단일 비율, 맥락 및 시간의 사용에 의해 영향을 받았다는 것을 인정한다. 또한, 그들은 다른 outcome를 연구하기로 선택할 수 있었다는 점에 주목한다. 특히, [행동 과정]은 [구성주의 패러다임]을 사용하여 가장 잘 연구되었을 수 있다.

The researchers’ postpositivist paradigm is reflected in the design of the experiment with its focus on the measurement of skill acquisition. True to postpositivism, the authors acknowledge that their outcomes cannot be completely objective and were impacted by the use of a single rater, the context, and time allocated for the suturing task. Additionally, they note that they could have chosen to study different outcomes—specifically, behavioral processes, which may then have been best studied using constructivist paradigms. 

[가치론]과 관련하여, 연구 목적을 보았을 때, 후기실증주의는 [연구 설계와 잘 일치]하고, [유용한 정보를 제공]한다. 저자들은 [먼저 스스로 과제를 탐색하고 고군분투한 다음 지시를 받은 학생]들이 [먼저 교육을 받은 다음 독립적인 연습을 통해 과제를 탐색하도록 허용된 학생]들에 비해 나중에 이전 과제를 더 잘 수행한다는 것을 보여준다. 이 연구의 결과는 직접 교육과 과제 완료를 수반하는 전통적인 교육에 도전하기 때문에 [시뮬레이션에 참여하는 의학 교육자들에게 영향]을 미칠 수 있다. [Guided SRL]과 [직접 교육]의 사려 깊은 조합은 그러한 학습 기회를 최적화할 수 있다.

Regarding axiology, for the purpose of their study the postpositivist paradigm is well aligned with the research design and provides useful information. The authors show that students who first are allowed to explore and struggle with the task on their own and then receive instruction perform better on a later transfer task compared with those who are instructed first and then allowed to explore the task through independent practice. The results of this study can and should impact medical educators involved in simulation as the results challenge traditional teaching involving direct instruction followed by completion of tasks. A thoughtful combination of guided self-regulated learning and direct instruction can optimize such learning opportunities.

[실증주의자/후기실증주의자 연구(양적 또는 질적)의 목적]은 [가설을 검정하고 변수 간의 인과관계를 설정하는 것]이다. 펠드만 외 연구진과 오니시 외 연구진은 모두 [테스트가 교육에 미치는 영향]을 조사한다. 펠드만과 동료의 연구에서, [후기실증주의 패러다임]은 국립 의학 컨퍼런스에서 사전 및 사후 테스트를 모두 통합한 정보를 가지고, [객관식 질문 기반 시험 강화 학습(TEL) 개입]의 사용과 관련된 연구 질문에 답하는 데 매우 적합했다. [무작위 대조 시험]을 실시한 결과, 그들은 사실을 반복적으로 검색하면 지속적인 의료 교육 환경(CME)에서 선언적 지식의 보존이 시간이 지남에 따라 향상된다는 것을 발견했다. 지속적인 전문성 개발(CPD)은 의료 전문가들이 자신의 업무 분야의 최신 변화를 최신으로 유지하도록 보장하는 데 필수적이다. 의료 전문가들은 CME 과정에 참여하며 지식과 숙련도를 입증하기 위해 면허 시험을 다시 치러야 한다. 본 연구가 기존 문헌에 덧붙이는 것은 검색실습을 촉진하는 인지시험이 학부 또는 대학원 교육에서 CPD에게도 마찬가지로 가치가 있다는 점이다. CME 인가 기관은 참석자들이 지식을 공고히 할 수 있도록 반복적인 TEL을 고려해야 한다.
The objective of positivist/postpositivist research (quantitative or qualitative) is to test hypotheses and to establish cause-and-effect relationships between variables.19 The studies by Feldman et al20 and Onishi et al21 both investigate the effect of testing on education. The postpositivist paradigm was well suited to answer Feldman and colleagues’ research question regarding the use of a multiple-choice-question-based test-enhanced learning (TEL) intervention on knowledge, which incorporated both pre- and posttesting at a national medical conference. Undertaking a randomized controlled trial, they found that repeated retrieval of facts improved retention of declarative knowledge in a continuing medical education setting (CME) over time. Continuing professional development (CPD) is essential in ensuring that health care professionals remain up-to-date with the latest changes in their fields of practice. Health care professionals attend CME courses and are often required to retake licensing exams to demonstrate knowledge and proficiency. What this study adds to the existing literature is that cognitive tests promoting retrieval practice are just as valuable for CPD as they are in undergraduate or postgraduate education. CME-granting agencies should consider repeated TEL to help attendees solidify their knowledge.

오오니시 등의 연구의 초점은 [이사회 인증 결정의 영향]을 결정하는 데 있으며, 이는 다음을 기반으로 합니다. 교육생이 전체 평가를 통과하기 위해 모든 하위 구성요소를 통과해야 하는지 여부(즉, 비보상적) 또는 한 하위 구성요소에 대한 성능이 평가의 다른 섹션에 대한 성능을 보상할 수 있는지 여부(보상적). 후기실증주의 패러다임에 기초하여, 저자들은 일본의 국가 데이터베이스를 사용하여, [종합점수]와 [보상성 및 비보상성 점수와 관련된 종합결정]의 [내부구조]와 [결과적 타당성] 증거를 검토했다. 그들은 인증 평가의 보상 및 비보상 채점에 대한 결정이 신뢰성에 극적인 영향을 미친다는 것을 입증한다. 특히, [역량과 안전이라는 이름으로 특정 요소를 반드시 통과시켜야 한다는 결정]에서 나오는 [비보상 채점]은 종종 평가의 신뢰성을 크게 떨어뜨릴 것이다. 비보상 채점은 학습자가 환자 안전에 영향을 미치는 특정 내용 영역에서 완전히 유능함을 보장하는 이점이 있지만, 전체적인 의사 결정 신뢰도 감소를 포함한 심리측정학적 결과를 고려할 필요가 있다. 연구의 [가치론(즉, 후기실증주의적 패러다임 렌즈)]과 [방법]은 잘 일치하지만, 저자들은 검사자의 설정, 맥락, 전문성, 학습자 샘플 및 가치가 모두 연구에 영향을 미칠 수 있다는 것을 인정한다. 본 연구의 결과는 자체 기관 또는 국가 차원에서 고평가 시험 계획에 참여하는 교육자들에게 특히 중요합니다. 예를 들어, 미국 의료 면허 시험(USMLE) 또는 면허 시험.


The focus of Onishi and colleagues’ research is to determine the impact of examining board certification decisions, which are based on whether trainees should pass all subcomponents to pass the entire assessment (i.e., noncompensatory)—or whether performance on one subcomponent can compensate for performance on other sections of the assessment (compensatory). Grounded in the postpositivist paradigm, using psychometric theory the authors used a national database in Japan to examine internal structure and consequential validity evidence of composite scores and composite decisions related to compensatory and noncompensatory scoring. They demonstrate that decisions about compensatory and noncompensatory scoring of certification assessments have dramatic effects on the reliability. Specifically, noncompensatory scoring, which emerges from a determination that a certain element absolutely must be passed in the name of competence and safety, often will significantly reduce the reliability of the assessment overall. Although noncompensatory scoring does have its benefits to ensure that learners are fully competent in specific content areas with implications for patient safety, there is a need to consider psychometric consequences including reducing the overall decision reliability. While the axiology of the study (i.e., the postpositivist paradigm lens) and its methods are well aligned, the authors do acknowledge that the setting, context, specialty, learner sample, and values of the examiners could all influence the study. The results of this study are particularly important for educators involved in the planning of high-stakes exams at their own institutions or at national levels—for instance, United States Medical Licensing Examination (USMLE) or licensing examinations.

펠드만 외 연구진과 오니시 외 연구진은 지식 측정에 대해 [후기실승주의적 관점]에서 접근하지만, 둘 다 [구성주의적 접근]이 가장 적합한 미래 연구에 대해 질문을 제기한다. 지식 보유도 중요하지만, CPD가 환자 치료나 의사가 침대 머리맡에서 "하는 것"을 개선하도록 하는 것이 중요하다. [구성주의적 방법]은 실제 수행, 테스트되고 평가되는 것에 대한 가치 판단, 특정 사실과 성과를 다른 것보다 더 중요하게 여기는 권력 구조, 신념 체계 및 문화적 편견에 대한 질문에 답하는 가장 좋은 접근법일 수 있다. 구성주의 연구는 후기실증주의 연구의 결과와 다른 관점을 제공하거나 추가할 수 있다.
Though the studies by Feldman et al and Onishi et al regarding the measurement of knowledge approach education from a postpositivist perspective, they both raise questions for future research that are best suited to a constructivist approach. Although knowledge retention is important, it is important to ensure that CPD improves patient care or what the physician “does” at the bedside. Constructivist methods may be the best approach to answering questions about real-life performance, about the value judgments made around what is tested and assessed, and about the power structures, belief systems, and cultural biases that value certain facts and performances over others. Constructivist studies may provide a different perspective than or could add to the results of the postpositivist research.

포스터 외 연구진과 박 연구진은 또한 실증주의 및 후기실증주의 패러다임을 사용하여 특정 작업장의 과제와 성과를 연구한다. 포스터 등은 [지식을 객관적인 것으로, 즉, 측정 가능한 고정된 현실]로 보았다. 그들은 [USMLE 테스트 상황]을 전자 건강 기록(EHR)의 사용과 관련하여 의대생들을 조사하는 기회로 사용했다. 데이터에 따르면 전국적으로 EHR을 사용하는 임상실습의 비율은 5년 동안 증가했지만, 이러한 기록에 메모를 입력하는 학생의 비율은 안정적으로 유지되었고, 오더를 실제로 입력하는 학생의 비율은 감소했다고 한다. 이 연구는 예측에 초점을 맞추고 일반화 가능한 데이터를 생성하는 것을 목표로 하기 때문에 주로 실증주의 패러다임에 속하지만, 저자들은 맥락(EHR의 가용성)이 결과에 영향을 줄 수 있다고 언급한다. 그들의 작업은 [두 가지 진행중인 대화에 영향]을 미칩니다. 하나는 환자 차트에 의대생에 의한 문서화를 허용하고 장려하는 [새로운 메디케어 가이드라인]에 관한 것이고, 다른 하나는 [레지던트 시작 전 환자 오더 작성 및 프로그레스 노트 작성의 숙련]을 권장하는 AAMC의 Core EPA 문서에 관한 것입니다. 커리큘럼 계획에 참여하는 의학 교육자들은 학생들이 이러한 과제를 연습하고 피드백을 받을 수 있는 적절한 기회를 갖도록 보장해야 한다.
Foster et al22 and Park et al23 also use positivist and postpositivist paradigms to study specific workplace tasks and performance. Foster et al view knowledge as objective—that is, a fixed reality, which is measurable. They used the USMLE test setting as an opportunity to survey medical students regarding the use of electronic health records (EHRs). Data revealed that while the percentage of clerkships nationwide using EHRs has increased over a five-year period, the percentage of students entering notes into those records has remained stable, and the percentage of students entering orders has actually decreased. This study falls mainly in the positivist paradigm as they focus on prediction and aim to produce generalizable data, though the authors mention that context (availability of EHRs) can impact the results. Their work has implications for two ongoing conversations, one regarding the new Medicare guideline that allows and encourages documentation by medical students in patient charts, and another regarding the Association of American Medical Colleges’ core entrustable professional activities document, which recommends proficiency in writing patient orders and progress notes prior to entering residency. Medical educators involved in curricular planning must ensure that students have adequate opportunity to practice these tasks and receive feedback.

Park 등은 [완전한 객관성이 달성될 수 없다는 것을 인정]하면서, 객관적인 지식을 얻기 위해 노력한다. 이들은 소아 인턴의 역량 등급 통계 분석에 업무량 측정치가 포함될 때 평가 점수의 신뢰성과 정밀도가 크게 증가한다는 것을 보여준다. 이 연구는 [후기실증주의적 패러다임과 일치]하여, 측정을 사용하여 복잡한 현상을 명확히 하고 통찰력을 제공한다. 이 연구는 직장 기반 평가(WBA)에서 교육생의 업무량 같은 [교란 요인을 식별]하는 것의 중요성을 강조한다. 대학원 의학 교육을 위한 인증 위원회는 이제 WBA가 필수적인 마일스톤 보고의 사용을 의무화하고 있다. 이 논문은 교육자 작업량을 포함한 작업장의 다른 복잡성을 고려하지 않고 WBA의 정확성에 대해 교육자들에게 생각할 거리를 제공한다.
Park et al strive to obtain objective knowledge, acknowledging that complete objectivity is not achievable. They demonstrate that when measures of workload are included in the statistical analysis of competency ratings for pediatric interns, the reliability and precision of assessment scores increase substantially. Consistent with a postpositivist paradigm, the study uses measurement to clarify and give insights into complex phenomena. The study highlights the importance of identifying confounders to workplace-based assessment (WBA), such as workload of trainees. The Accreditation Council for Graduate Medical Education now mandates the use of milestones reporting, for which WBA is essential. This paper provides food for thought for educators regarding the accuracy of WBA without taking into account other complexities of the workplace including trainee workload.

Burkhardt 등은 의대 입학전형에서 판단의 주관성을 제거하는 데 [예측적 입학모형(EM)]을 사용할 경우의 이점에 대한 가설을 생성하는데, 의대 입학사정관 등 교육 지도자들이 자신의 학교에 누가 다닐지 예측한다. 그들은 그들의 결과가 연역적이며 결과가 절대적으로 객관적이지 않을 수 있다는 것을 인정한다. 저자들은 [후기실증주의적 도구]를 사용하면 주관적인 판단을 제거함으로써 과정을 개선할 수 있음을 보여준다. EM 모델은 입학관리실에서 지원자의 가능한 행동에 대한 정보를 제공하기 위해 사용될 수 있으며, 특히 대표성이 낮은 소수자와 여성의 모집에서 유용하고, 주 내 지원자와 주 외 지원자의 균형을 맞추기 위해 사용될 수 있다. 저자들은 인간의 판단에 비해 열등하지 않고 일부 측면에서는 모델의 우월성을 보여준다. 이 연구는 다양성을 개선하기 위한 의도적인 실천/단계들이 얼마나 도움이 될 수 있는지를 보여주는 사례이다.
Burkhardt et al24 generate a hypothesis about the benefits of using a predictive enrollment model (EM) in eliminating subjectivity of judgments in the medical school admissions process, where educational leaders such as medical school admissions officers make predictions about who will attend their school. They acknowledge that their results are deductive and that outcomes may not be absolutely objective. The authors demonstrate that the use of a postpositivist tool can improve the process by eliminating subjective judgments. EM models can be used by admissions offices to provide information about likely behavior of applicants, which can be valuable in the admissions office particularly in the recruitment of underrepresented minorities and women, and to balance in-state versus out-of-state applicants. The authors show noninferiority and in some aspects superiority of their model compared with human judgment. This study is an example of how deliberate practice/steps to improve diversity can be helpful.

올해 RIME 선정에서 또 다른 [실증주의 연구]는 Aakre 등의 스코핑 리뷰이다. 연구자들은 전자 지식 및 관리 시점 교육 자원과 관련된 양적 및 질적 연구를 연구하기 위해 [중립적이고 객관적이며 독립적이며 가치 없는value-free 입장]을 유지한다. 가장 자주 인용되는 전자 자원은 UpToDate였다. 지식 자원의 교육적 또는 임상적 영향에 대한 연구는 부족했다. 의학 지식의 지속적인 성장과 그에 따른 효과적인 지식 합성과 실천으로의 번역의 필요성을 고려할 때, 이 분야의 추가 연구는 특히 자원이 지식과 치료 시점에 영향을 미치도록 보장하는 것이 중요하다.
Another positivist study in this year’s RIME selection is the scoping review by Aakre et al.25 The researchers maintain a neutral, objective, independent, and value-free stance to study quantitative and qualitative research related to electronic knowledge and point-of-care education resources. UpToDate was the most frequently cited electronic resource. A paucity of research was noted regarding the educational or clinical impact of knowledge resources. Given the ever-accelerating growth of medical knowledge, and the consequent need for effective knowledge synthesis and translation to practice, further research in this field is important, particularly ensuring that resources have impact on knowledge and at the point-of-care.

비판적 이론과 구성주의 패러다임 연구
Critical theory and constructivist paradigm research

곤잘레스 외 연구진과 수헤라 외 연구진은 [암묵적 편향 훈련]에 참여한 교육자와 학습자의 경험을 이해하고자 한다. 연구자들은 [구성주의 패러다임]을 가지고 있고 [근거 이론]을 사용한다. 구성주의에 충실하게, 저자들은 개인들 사이에 여러 진실이 구성된다고 믿으며, 연구 결과는 현실에 대한 인식이 사회적으로 어떻게 만들어지는지를 보여준다. 두 연구 모두 지속적인 성찰과 자기계발의 중요성을 강조한다. 수헤라 등은 [편견을 드러냄으로써 나타나는 긴장]과 [학습자와 교사가 이러한 긴장을 어떻게 조정하는지] 논의하는 반면, 곤잘레스 등의 연구는 [편향과 관련된 대화를 촉진하기 위한 교수진의 준비되지 않은 모습]을 보여준다. 그 결과는 편향 교육과 관련된 교수진 개발 및 참여자들이 자신의 편견을 발견했을 때 불안감을 해소하는 데 사용될 수 있다. 미국 의사회는 최근 의사를 고용하는 모든 조직에 의한 정기적이고 반복적인 암묵적인 편향 훈련의 제공을 옹호하는 입장문을 발표했다. 곤잘레스 외 연구진과 수헤라 외 연구진의 연구 결과는 교육과정 설계에 참여하는 교육자들에게 도움이 될 것이며, 과정을 알리는 중요한 팁을 제공할 것이다.
The studies by Gonzalez et al26 and Sukhera et al27 seek to understand the experiences of educators and learners engaged in implicit bias training. The researchers have a constructivist paradigm and use grounded theory. True to constructivism, the authors believe that multiple truths are constructed between individuals, and the results of the studies showcase how the perception of reality is socially created. Both studies highlight the importance of a constant process of reflection and self-improvement. Sukhera et al discuss the tensions emerging from revealing bias and how learners and teachers navigate these tensions, while the work by Gonzalez et al demonstrates the unpreparedness of faculty to facilitate conversations related to bias. The results can be used for faculty development related to bias instruction and to allay anxieties when participants discover their own biases. The American College of Physicians recently released a position statement advocating for the provision of regular and recurring implicit bias training by all organizations that employ physicians.28 The results of the research by Gonzalez et al and Sukhera et al will be helpful for educators involved in curriculum design, providing important tips to inform the process.

[비판적인 종합 검토]에서, 와이즈너와 에바는 [교육에 대한 인센티브]를 탐구하기 위해 문헌을 검토한다. [비판적 합성]은 [비판]과 [합성]의 두 가지 주요 방법론을 중심으로 진행된다. 저자들이 자신의 패러다임을 명시적으로 밝히지는 않지만, 기사를 검토한 결과, [여러 개의 진실이 존재한다는 것을 인정]하면서, [비판적인 입장]을 취하고 있음을 알 수 있다. 저자들은 문학의 종합(의학 교육뿐만 아니라 심리학, 행동학, 조직학 문헌도 포함)을 제공한다. 그러나 한 걸음 더 나아가 이용 가능한 문헌을 비평한다. 그들은 교수진별로 자체 보고된 인센티브를 나열하고, 비판을 제공하는 동안 교수진이 어떻게 교수와 관련된 재정적 의욕 저하에 대한 우려(즉, 진료소에 있지 않음으로써 포기하는 돈)를 제기하지 않는지에 대해 논의한다. 또한, 그들은 [인센티브의 영향]은 다른 개인의 동기 부여에 영향을 미치는 요인에 좌우되며 제공되는 인센티브의 유형은 신중하게 고려되어야 한다고 지적한다. 비판적 합성은 의료 교육자들이 일하는 많은 맥락에서 인센티브가 어떻게, 언제, 왜 작동하는지에 대한 더 큰 명확성이 필요하다는 것을 강조한다.
In a critical synthesis review, Wisener and Eva29 review the literature to explore incentives for teaching. Critical synthesis revolves around two main types of methodology: criticism and synthesis. Although the authors do not explicitly state their paradigm, a review of the article reveals that they take on a critical stance, acknowledging that multiple truths do exist. The authors provide a synthesis of literature—not just from medical education but also psychology, behavioral, and organizational literature—but then go a step further to critique the available literature. They list self-reported incentives by faculty and, while providing a critique, discuss how faculty neglect to bring up concerns of financial disincentives associated with teaching (i.e., money that is given up by not being in clinic). Additionally, they point out that the influence of an incentive is dependent on factors influencing different individuals’ motivation and that the type of incentive offered has to be carefully thought out. The critical synthesis highlights that the field needs greater clarity regarding how, when, and why incentives operate within the many contexts in which medical educators work.

실용주의 패러다임 연구
Pragmatism paradigm research

Gowda 등은 [예술에 대한 조사를 통해 관찰능력을 기르는 과목]의 효과를 [성찰 능력, 불확실성에 대한 관용, 개인적 편견에 대한 인식에 미치는 영향]으로 조사하였다. [과정이 관찰에 미치는 영향]을 탐구한다. 저자들은 그들의 패러다임을 명시적으로 언급하지는 않지만, 현실 세계의 입장을 채택하면서 엄격함을 만들어내기 위한 [다양한 방법의 필요성]을 인정한다. 즉, "질문에 대한 과정[연구] 접근법 및 혼합을 명확히 하는 것"입니다. 저자들은 수업의 효과를 질적으로 탐구하기 위해 포커스 그룹뿐만 아니라 반영 능력에 대해 이전에 확립된 평가 척도를 사용하는 혼합 방법 설계를 사용한다. 그들은 과정에 참여하는 학생들의 성찰 능력이 향상되고, 세상을 관찰하고 해석하는 데 있어 주관성의 역할에 대한 인식이 증가된 것을 발견했다. 이 연구는 모든 교육자, 특히 임상 기술을 가르치는 데 관련된 모든 교육자에게 중요하다. [주의 깊은 관찰]은 학생들에게 자동적으로 존재하는 것으로 추정되어서는 안 되며, 학습된 기술로 간주되어야 한다. 또한 관측한 것의 불확실성을 성찰하는 능력은 학생들에게 모호하게 될 수 있다. 그 연구는 또한 교과과정에서의 예술과 인간의 통합을 지원하기 위해 증거를 제공하는 증거이다.

Gowda et al30 explore the effects of a course on observation through examining art in influencing reflective ability, tolerance for uncertainty, and awareness of personal bias. The authors do not explicitly state their paradigm but do acknowledge the need for diversity of methods to produce rigor, adopting a real-world stance, i.e., a “horses for courses [whatever works] approach to the question, and clarifying the mix.”16 The authors use a mixed-methods design using previously established rating scales for reflection ability as well as focus groups to explore the effects of the course qualitatively. They found improvement in reflective ability of students participating in the course and an increased awareness of the role of subjectivity in observing and interpreting the world. This study is important for all educators but particularly those involved in teaching clinical skills. Careful observation should not be presumed to be automatically present in students and should be considered a learned skill. Additionally, the capacity to reflect on the uncertainty of observations can help students deal with ambiguity. The study is also valuable because it provides evidence to support the integration of arts and humanities in the curriculum.

결론들
Conclusions

올해의 RIME 기사에서, 저자들은 개념적 틀을 명확하게 표현했거나, 저자들이 누구의 작품을 만들고 있는지에 대해 진술했다. 그러나 연구 패러다임을 명확히 밝힌 논문은 두 편뿐이었다. 이 두 저자들은 구성주의 관점에서 연구 질문을 하고 있다고 언급했다. 질적 연구원들은 그들이 방법을 정당화하기 위해 그들의 패러다임을 분명히 할 수 있다는 것을 느낄 수 있다. 우리가 느끼기에 드러났다고 보는 논문은 실증주의, 후기실증주의, 실용주의 패러다임에 대한 것이었는데, 패러다임적 입장을 명시하지 않았다. 대부분의 서류들이 실증주의/후기실증주의 패러다임을 주목하는 것은 흥미롭다. 우리는 연구논문에 귀속되는 연구 패러다임이 논문에 제공된 정보를 바탕으로 한 우리 자신의 연구 해석임을 지적하고 싶다. 작가로부터 명확한 진술 없이, 우리는 이러한 해석에 동의하지 않았고, 작가들은 우리의 해석과 동의하지 않을 수 있다. 
In this year’s RIME articles, the authors have either clearly articulated conceptual frameworks (Burkhardt et al,24 Gonzalez et al,26 Kulasegaram et al18), or the authors state on whose work they are building (Aakre et al,25 Feldman et al,20 Foster et al,22 Gowda et al,30 Onishi et al,21 Park et al,23 Sukhera et al,27 Wisener and Eva29). However, only two papers had clearly articulated a research paradigm (i.e., Gonzalez et al and Sukhera et al). These authors state that they were approaching the research questions from a constructivist perspective. It is possible that qualitative researchers may feel they need to state their paradigm clearly to justify the methodology. The papers that we felt represented positivist, postpositivist, and pragmatism paradigms did not explicitly state their paradigmatic position. It is interesting to note that the majority of papers belonged to the positivist/postpositivist paradigms. We would like to point out that the research paradigms attributed to the research papers (other then Gonzalez et al and Sukhera et al) are our own interpretations of the research, based on information provided in the paper. Without clear statements from the authors, we had difficulty making these interpretations, and it is possible that authors may disagree with our interpretations.

연구 패러다임에 관한 연구는 거의 없다. 그러나 의학교육에 대한 실험적 연구를 검토한 결과, 사용된 개념적 틀에 대한 명시적 문구가 조사된 논문의 절반 미만이 포함되어 있어 의학교육 연구자들이 연구에 사용한 개념적 틀을 명확하게 기술해야 한다는 주장이 제기되었다. 패러다임 입장과 관련한 명시적 진술이 담긴 전체 의학교육 연구 논문의 수에 대해서는 언급할 수 없지만, 모든 의학교육 연구자들이 자신의 [개념적 프레임워크]뿐만 아니라 [연구 패러다임]도 명확하게 밝힐 것을 권장한다. 예를 들어 후기실증주의 저자들의 명시적 진술은 지식 및 지식 및 지식에 영향을 미칠 수 있다. 연구원들은 택시 기술을 유지하는 방법에 대한 설명을 추가하고 그들의 연구를 논의해야 한다. 검토자, 편집자, 편집자 및 독자들은 일반적이어야 한다. 우리는 "우리가 알고 있는 것을 의도적으로 아는 것"은 것이 어려울 수 있다는 것을 인정한다. 그리고 라벨을 붙이는 것은 때때로 불가능해 보일 수 있지만, 패러다임의 한계를 아는 것은 그것을 명확히 하는 것만큼 중요하다. 
There is little available in medical education literature about research papers articulating research paradigms. However, a review of experimental studies in medical education revealed that less half the articles examined contained an explicit statement of the conceptual framework used, leading to calls for medical education researchers to clearly state the conceptual framework they have used in their research.31,32 We are unable to comment on the number of overall medical education research papers containing explicit statements regarding paradigms stances, but we encourage all medical education researchers to clearly state not just their conceptual frameworks but also the research paradigm. Explicit statements of paradigm by postpositivist authors, for example, might influence the discourse around knowledge and the limitations of any one way of knowing. Researchers should also consider adding a statement of how they maintained axiology and discuss the praxeology of their research. Reviewers, editors, and readers need to evaluate the rigor of research, and clear statements by authors should be the norm. We acknowledge that it can be challenging to “intentionally know what we know,” and to articulate and label may at times seem impossible, but knowing the limits of our paradigm is as important as articulating it.33

좋은 품질의 연구는 패러다임, 방법론, 그리고 방법들을 다루고 그들 사이의 내부적인 일관성을 입증한다.1 이러한 가치론적 무결성은 연구 증거를 전달, 번역 또는 합성하는 데 가치를 유지할 수 있는 능력을 가지고 있다. 우리는 의학 교육 연구자들이 그들의 연구의 가치론적 무결성을 고려할 것을 권고한다. 연구자들은 시간이 지남에 따라 연구자의 기억, 성찰 및 관점을 위한 저장소 역할을 하기 위해 [성찰 저널]을 유지하는 것을 고려할 수 있다. 연구과정에 대한 메타인지적 성찰을 위한 저널 형태로 제공되는 공간은 성찰성 발달에 도움이 될 수 있다. 
Good-quality research attends to paradigm, methodology, and methods and demonstrates internal consistency between them.1 This axiological integrity then has the ability to retain values in transferring, translating, or synthesizing research evidence.34 We recommend that medical education researchers consider the axiological integrity of their research. Researchers can consider maintaining a reflexive journal to serve as a repository for their researcher’s memories, reflections, and perspective over time. The space provided in the form of a journal for metacognitive reflection on the research process can help in the development of reflexivity.35

결론적으로, 연구자들은 종종 특정한 연구 패러다임을 가지고 연구 질문들에 접근한다. [패러다임적 입장]은 질문의 유형과 선택 방법을 결정합니다. 비록 패러다임의 명확성이 중요하지만, 어떤 한 가지 입장도 인간 학습의 복잡한 현상의 모든 측면을 설명하는 것은 불가능하다는 것을 인식하는 것이 중요하다. 각 접근 방식에는 강점과 한계가 있습니다. 교육에서 가장 중요한 많은 이슈들은 다중 렌즈를 통해 탐구될 수 있다. 올해 RIME 프로그램의 연구는 연구자들이 다루는 질문의 다양한 패러다임을 보여준다. 렌즈의 다양성을 고려함으로써, 자신의 접근 방식의 한계와 향후 단계에 대한 가능성이 더 명확해진다. 이러한 깨달음은 우리의 연구에 겸손함을 가져다 주고 더 큰 가능성을 열어줍니다.
In conclusion, researchers often approach the questions that they investigate from a particular research paradigm. This stance determines the types of questions that can be asked and the methods that are chosen. Although paradigmatic clarity is important, it is important to recognize that no one view or approach is able to describe all aspects of the complex phenomena of human learning. Each approach will have its strengths and limitations. Many of the issues that are most important in education can be explored through multiple lenses. The studies from this year’s RIME program demonstrate a diversity of paradigms of the questions that researchers address—by considering the diversity of lenses, the limitations of one’s own approach and possibilities for future steps become more clear. This realization brings humility to our research and opens us up to greater possibilities.

의학교육연구자의 연구 패러다임 선택 가이드: 더 나은 연구를 위한 기반 만들기(Med Sci Educ. 2019)
A Medical Science Educator’s Guide to Selecting a Research Paradigm: Building a Basis for Better Research 
Megan E.L. Brown1 & Angelique N. Dueñas1

서론
Introduction

최근 의학 교육 내에서 방법론적 엄격성을 높이는 움직임이 있었다[1, 2]. 많은 학자들은 "학문적 정당성"을 달성하기 위해서는 [3] 강력한 이론적 틀[4,5]이 작품 내에서 지식의 본질에 관한 논의에 참여하는 것이 필요하다고 주장한다[6]. 간단히 말해서, 명확한 연구 원칙은 다른 사람들이 당신의 연구를 이해하는 데 도움이 됩니다.
There has been a recent movement within medical education towards greater methodological rigor [1, 2]. Many scholars argue that in order to achieve “academic legitimacy” [3] strong theoretical frameworks [4, 5] engaging in discussion concerning the nature of knowledge within a piece of work are required [6]. Put simply, clear research principles assist others in understanding your research.

연구 프로젝트의 패러다임 내에서 작품 내 지식의 본질을 상세히 설명하고 탐구한다. [연구 패러다임]은 "문제를 어떻게 이해하고 다루어야 하는지에 대해 과학자들 간에 공유되는 공통의 믿음과 합의의 집합"으로 정의될 수 있다[7]. 패러다임은 사물이 어떻게 작동하는지에 대한 가정이며, 때때로 "현실에 대한 공유된 이해"를 포함하는 "세계관"으로 설명된다[8, 9]. 패러다임은 "문제 해결 방법을 안내"하고, 작가의 방법 선택에 직접적인 영향을 미치기 때문에 자신의 연구 패러다임을 상세히 설명하는 것이 필수적이다[10]. 모든 연구자들은 연구를 시작하기 전에 [세계의 상태에 대한 가정]을 한다. 그 연구가 양적인지 질적인지에 관계없이, 이러한 가정은 연구 결과의 해석에 영향을 미치기 때문에 중요하다. 미트로프와 보노마는 이러한 입장을 요약하고 "실험의 힘은 그 기초가 되는 기본 가정의 명확성만큼만 강력하다. 이러한 가정은 실험실 실험뿐만 아니라 사회적 연구에도 기초를 두고 있습니다."라고 말했다 [11]. 패러다임은 또한 현상을 관찰할 때 이론의 적용을 위한 [기본 규칙ground rules을 설정]하는 데 도움이 된다. 이러한 기본 규칙은 연구를 위한 "상황을 설정set the scene"하여 새로운 개념을 가장 잘 평가하는 방법에 대한 정보를 제공한다[7].
The nature of knowledge within a piece of work is detailed and explored within a research project’s paradigm. A research paradigm may be defined as “the set of common beliefs and agreements shared between scientists about how problems should be understood and addressed” [7]. A paradigm is an assumption about how things work, sometimes illustrated as a “worldview” involving “shared understandings of reality” [8, 9]. Detailing one’s research paradigm is essential, as paradigms “guide how problems are solved” [10], and directly influence an author’s choice of methods. All researchers make assumptions about the state of the world before undertaking research. Regardless of whether that research is quantitative or qualitative, these assumptions are important as they impact upon the interpretation of a study’s results. Mitroff and Bonoma summarize this position and put forth “the power of an experiment is only as strong as the clarity of the basic assumptions which underlie it. Such assumptions not only underlie laboratory experimentation but social… research as well” [11]. Paradigms also assist in setting ground rules for the application of theory when observing phenomena. Such ground rules “set the scene” for research, providing information as to how best evaluate new concepts [7].

그 결과, 의학 및 보건 전문직 교육은 전통적으로 실증주의 또는 포스트 실증주의 패러다임에서 수행되어 왔으며, 이 두 패러다임 모두 [보편적인 진리가 존재함]을 유지하며, "의학에서는 신체 부위, 상태 및 치료에 대한 강조하는 것은, 보편적으로 일정하게 복제 가능한 팩트가 있음을 가정한다." [12] 이러한 신념이 지배적이라는 점을 감안할 때, 의학 교육 내에서는 패러다임적 가정을 명시적으로 상술하는 문학이 상대적으로 부족했다. 이것은 연구 및 강의실 모두에서 결과 해석과 기본 규칙 설정에 있어 가정이 수행하는 중요한 역할을 점점 더 널리 인식하면서 변화하고 있다[13, 14]. 이처럼 자신의 패러다임을 명시적으로 인정하는 것이 의료과학교육 연구의 기대 요소가 되고 있다.
Medicine and, as a consequence, health professions education, has traditionally been conducted from a positivist or post-positivist paradigm, detailed later in this paper, both of which maintain a universal truth exists, as, “in medicine, the emphasis on… body parts, conditions and treatments assumes that these are universally constant replicable facts” [12]. Given the dominance of this belief, there has been a relative dearth of literature within medical sciences education explicitly detailing paradigmatic assumptions. This is changing, with an increasingly widespread recognition of the important role assumptions play in result interpretation and in setting ground rules, both in research and in classrooms [13, 14]. As such, explicitly acknowledging one’s paradigm is becoming an expected element of medical science education research.

연구의 패러다임을 자세히 설명하기 위해서는 패러다임이 무엇으로 구성되어 있는지를 고려하는 것이 중요하다. 작품의 패러다임은 그림 1에 자세히 나와 있는 여러 개의 "구성 요소"로 구성되어 있다. 이러한 구성 요소들의 첫 번째 집합(축론, 존재론, 인식론, 방법론)은 자신의 방법을 선택하는 것과 같은 "직접적인 사고와 행동"이라는 철학적 가정으로 구성된다[16].
In order to detail your work’s paradigm, it is important to consider what a paradigm consists of. The paradigm of a piece of work is constructed of several “building blocks,” detailed in Fig. 1. The first set of these building blocks (axiology, ontology, epistemology, methodology) are composed of philosophical assumptions that “direct thinking and action” such as selecting one’s methods [16].

프로젝트 패러다임 구축의 첫 번째 "벽돌"인 가치론Axiology는 가치와 윤리에 대한 연구를 포함합니다 [17]. 연구할 가치가 있는 영역이 확인되고 연구 윤리가 고려되면 "현실의 본질"에 대한 질문인 존재론Ontology가 고려되어야 한다[3]. 일단 당신이 당신의 연구 영역의 현실에 대한 확고한 철학적 이해를 가지고 있다면, [그 현실 안에 있는 지식의 본질]은 결정할 필요가 있다. —이것은 인식론epistemology이라고 알려져 있다.
Axiology, the first “brick” in the construction of a project’s paradigm involves the study of value and ethics [17]. Once an area of value to study has been identified, and research ethics considered, ontology, which questions “the nature of reality” [3] must be contemplated. Once you possess a firm philosophical understanding of your study area’s reality, the nature of knowledge within that reality needs determining—this is known as the epistemology of a piece of work.

작품의 존재론와 인식론에 대한 솔직한 논의를 통해 적절한 방법론Methodology적 접근법을 선택할 수 있고 결과 해석을 둘러싼 모호성을 줄일 수 있다[18]. 그러한 규정regulation이 없으면 "가정의 기본 맥락"이 불분명하기 때문에 "세심하게 수집된 결과도 오해를 일으킬 수 있다" [19]. 이 모노그래프는 의학 교육 연구에 적합한 패러다임을 선택하기 위한 방법 가이드를 구성하는 일련의 고려 사항을 자세히 설명합니다.
Frank discussion of a work’s ontology and epistemology allows an appropriate methodological approach to be selected and reduces the ambiguity surrounding result interpretation [18]. Without such regulation “even carefully collected results can be misleading” as the “underlying context of assumptions” is unclear [19]. This monograph will detail a series of considerations, forming a how-to guide, for selecting an appropriate paradigm for your medical sciences education research.

연구를 수행하는 이유에 대해 생각해 보세요.
Think About your Reason for Carrying Out the Research

이는 너무나도 당연한 고려사항으로 보일 수 있지만, 의학교육 연구 내에서 의식적으로 반영되지 않는 경우가 많은 분야이다. 이 주제를 공부하게 된 동기가 무엇입니까? 당신은 실질적으로, 학문적으로, 또는 정치적으로 동기부여를 받은 적이 있습니까? 다시 말해,

• 여러분이 일상 업무에서 깨달은 것이 더 많은 공부가 필요한 것일까요? 
• 당신은 단순히 더 많은 것을 알고 싶은 걸까요?
• 당신이나 다른 사람들이 관심이 있는 정치적인 "핫 토픽"이 있는가?

This may seem like an obvious consideration, but it is an area that is often not consciously reflected upon within medical science education research. What is your motivation to study this topic? Have you been practically, academically, or politically motivated? In other words,

• is it something you have noticed in your day to day work that requires further study;
• are you simply passionate to know more; or
• is there a political “hot topic” you or others are interested in researching?

여러분의 동기에 대한 여러분의 초기 생각을 바탕으로, 여러분이 정말로 성취하려고 하는 것에 대해 더 깊이 반성하도록 노력하세요. Chilisa는 표 1 [23]에서 볼 수 있듯이 연구를 수행하는 다양한 패러다임적 이유를 비교합니다. 연구를 하는 당신 자신의 이유를 생각하고 이것을 칠리사의 이유와 비교하는 것은 어떤 패러다임이 당신의 연구에 적합한 선택일 수 있는지를 비추기 위한 시작이 되어야 한다.
Building upon your initial thoughts regarding your motivation, try to reflect more deeply regarding what you are really trying to achieve. Chilisa compares different paradigmatic reasons for doing research, as can be seen in Table 1 [23]. Thinking of your own reason for doing research and comparing this with Chilisa’s reasons should begin to cast light on which paradigm may be an appropriate choice for your research.

온톨로지적 가정 반영
Reflect upon your Ontological Assumptions

비록 우리가 그것들을 명시적으로 고려하거나 자세히 설명하지 않더라도, 우리는 모두 [존재론적 가정]을 가지고 있다. 그것들을 되돌아보면 [현실의 본질에 대한 자신의 신념]에 따라 패러다임을 선택할 수 있다[3]. 현실은 당신이 연구를 수행하기를 원하는 사회 세계를 의미합니다 [22].
We all hold ontological assumptions, even if we do not explicitly consider or detail them. Reflecting upon them allows you to choose a paradigm in keeping with your beliefs regarding the nature of reality [3]. Reality refers to the social world in which you wish to conduct your research [22].

다른 패러다임은 현실의 본질을 정의하기 위해 다른 접근 방식을 채택한다. 일부 학자들은 최근 몇 년 동안 사회과학 내에서 새로운 패러다임을 정의하려고 시도하기도 한다[30]. 이를 감안할 때, 사용 가능한 모든 패러다임의 온톨로지를 자세히 설명하는 것은 이 기사의 범위를 벗어난다. 그 대신 일반적으로 의학 교육[3]에서 가장 일반적으로 사용되는 네 가지 패러다임, 즉 실증주의, 후기 실증주의, 구성주의/해석주의, 비판론에 초점을 맞추겠다.
Different paradigms adopt different approaches to defining the nature of reality. There are many paradigms research may operate within, with some scholars even attempting to define new, albeit contested, paradigms within the social sciences in recent years [30]. Given this, detailing the ontology of every available paradigm is beyond the scope of this article. Instead, we will focus upon the four paradigms most commonly used within general medical education [3]: positivism, post-positivism, constructivism/interpretivism, and critical theory.

존재론적 가정을 평가하기 위해 스스로에게 질문하세요: 당신은 "확인할 수 있는 하나의 현실"이 있다고 믿습니까, 아니면 "여러 사회적으로 구성된 현실"이 존재한다고 믿습니까? [21, 31] 

• 전자의 입장은 "현실주의" 온톨로지적 입장으로 불리며, 
• 후자의 입장은 "반현실주의" 또는 "상대주의"로 알려져 있다[32]. 

넓게 보면, 의학 교육에서 가장 일반적으로 사용되는 네 가지 패러다임은 이 두 가지 범주 중 하나에 속하지만, 표 2에 자세히 설명된 바와 같이, 그들의 입장을 구성하는 방법에는 차이가 있다.
To assess your ontological assumptions, ask yourself this: do you believe there is “one verifiable reality,” or that “multiple socially constructed realities” exist? [21, 31]

• The former stance is sometimes referred to as a “realist” ontological position,
• with the latter stance known as “anti-realism” or “relativism” [32].

Broadly speaking, the four paradigms most commonly used within medical education fall into either of these two categories, but there are differences in how they frame their position, detailed in Table 2.

당신의 인식론적 가정을 반성하라.
Reflect upon your Epistemological Assumptions

일단 당신이 [현실의 본질에 대한 당신의 가정]을 인식한다면, [지식의 본질에 대한 당신의 인식론적 가정]을 성찰하는 것은 필요하다. 당신의 연구 인식론을 고려할 때, "세상 내에서 지식으로 간주되는 것"에 대해 숙고하는 것이 유용할 수 있다[40]. 인식론은 두 가지 질문에 답하고자 합니다.

• 첫째, 지식이란 무엇인가,
• 둘째, 지식은 어떻게 획득되는가? [41].

Once you are aware of your assumptions regarding the nature of reality, reflecting upon your epistemological assumptions regarding the nature of knowledge is necessary. When considering your research epistemology, it may be useful to reflect upon “what counts as knowledge within the world” [40]. Epistemology seeks to answer two questions—

• one, what is knowledge, and
• two, how is knowledge acquired? [41].

실증주의, 후기 실증주의, 구성주의, 비판론의 인식론적 접근은 다르다. 이러한 내용은 표 3에 요약되어 있습니다.
Again, the epistemological approaches of positivism, post-positivism, constructivism, and critical theory differ. These are outlined within Table 3.

적절한 데이터 수집 방법을 선택하려면 방법론을 검토하십시오.
Examine your Methodology in Order to Select an Appropriate Data Gathering Technique

[방법론]과 [방법]은 별개의 개념으로 간주되어야 할 때 초보 연구자에 의해 상호 교환적으로 사용되는 경우가 너무 많다[47].

• [방법론]은 지식을 습득하기 위한 전략 또는 전체 계획이며,
• [방법]은 데이터를 수집하고 분석하는 데 사용되는 실제 기법이다[33].

Too often, methodology and methods are used interchangeably by novice researchers, when they should be regarded as distinct concepts [47].

• Methodology is the strategy or overall plan to acquire knowledge, and
• methods are the actual techniques used to gather and analyze data [33].

예를 들어, 의료 환경에서 전문성 간 조사에 관심이 있는 연구팀은 [현실은 개인에 의해 주관적으로 구성된다]고 믿는 [구성주의 패러다임]과 가장 일치할 수 있다.

• 이 팀은 적절한 [방법론]은 [민족지학]이라고 생각할 수 있다.
• 그러나 실제 연구 [방법]은 [현장 기록, 오디오 또는 비디오 녹화 또는 정성적 인터뷰]를 통한 다양한 관찰일 수 있다[48].

이러한 방법은 방법론과 일치하지만, 방법의 최종 선택은 패러다임 고려 사항 외에도 그러한 [기술의 실용성]과도 크게 연관될 수 있다.
For example, a research team interested in examining interprofessionalism in a healthcare setting may identify most with a constructivist paradigm, believing reality is subjectively constructed by individuals.

• Such a team might consider ethnography to be an appropriate methodology.
• But the actual research methods they undertake might be a variety of observations with field notes, audio or video recordings, or qualitative interviews [48].

These methods align with the methodology, although eventual selection of methods may also be highly associated with the practicality of such techniques, in addition to paradigm considerations.

위의 섹션에서는 연구 프로젝트 패러다임의 "구성 요소"에 대한 개요를 제공했습니다. 참조의 용이성을 위해, 이러한 구성 요소는 의학 교육에서 사용되는 4가지 주요 패러다임에 대해 그림 2에 요약되어 있습니다 [30, 36, 49, 50].
The above sections have provided an overview of the “building blocks” of a research project’s paradigm. For ease of reference, these building blocks are summarized for the four main paradigms used within medical science education, in Fig. 2 [30, 36, 49, 50].

철학에서 실용으로 전환
Move from Philosophy to Practicality

의료 교육의 일상적인 측면에 관련된 사람들에게, 연구의 철학적 토대를 둘러싸고 생각나는 첫 번째 질문 중 하나는 [이것이 어떻게 제 일에 실질적으로 적용될 수 있는가]하는 것입니다. 철저하게 논의된 바와 같이 엄격성과 이해도를 향상시키는 것 외에도 [연구의 실용적인 측면에 접근하는 두 가지 핵심 방법]이 있다. : 전 그리고 후
For those involved in the day-to-day aspects of healthcare teaching, many times one of the first questions that comes to mind around the philosophical underpinnings of research is: how can this be practically applied to my work? Beyond improving rigor and understanding, as thoroughly discussed, there are two key ways to approach the practical side of research: from the before and the after.

의학 교육자로서 직면하는 실제적인 문제와 질문을 고려한다면, 다른 방식으로 문제에 접근하기 위해 어떻게 다른 패러다임이 사용될 수 있는지를 고려하는 것은 패러다임을 고려하는 실용적인 "전before" 방법이다. 실제 문제가 패러다임 정보에 입각한 관점에서 접근될 수 있는 방법을 설명하기 위해 그림 3에 몇 가지 예를 포함시켰다. 일부 다양한 실제 사례의 경우, 다른 교육 수준에서, 우리는 자연스럽게 다른 패러다임과 일치할 수 있는 연구 접근법의 몇 가지 다른 예를 제공했습니다.
Considering the practical problems and questions you face as a medical sciences educator, then considering how different paradigms could be used to approach problems in different ways, is a practical “before” way to consider paradigms. To elucidate the ways in which real-world problems can be approached from a paradigm-informed perspective, we’ve included some examples in Fig. 3. For somevarious real-world examples, at different educational levels, we have provided some different examples of research approaches, that would naturally align with different paradigms.

["After" 연구 관점]에서, 프락세오로지(praxoology)는 당신이 성찰해야 하는 마지막 '-론 (-ology)'이다. 연구로부터 종종 발생하는 보다 실용적인 권고사항과 관련하여, 프랙세오로지(praxoology)는 [인간의 행동을 이해하는 것]뿐만 아니라, [의미 있는 방식으로 해석하는 것]에 관심이 있다[45]. 만약 당신의 연구가 "지식"에 기여했다면, 이것은 [의학 교육자로서 당신의 일상적인 역할]에 무엇을 의미합니까? 이렇게 하면 연구 과정 이후에 실용성도 중요해질 수 있다. 그림 2의 중간 수준의 예를 이용하여, 구성주의 접근법에서 연구를 완료했다면, [가상 조직학 실험실]의 [셀프-가이드 방법]이 유익한 학습 환경으로 이어지지 않는다는 것을 발견했을 수 있다. 이로 인해 가상 조직학 리소스와 함께 사용할 [비디오 가이드]를 만들기로 결정하게 될 수 있습니다. 따라서 학생들은 처음에 학습을 안내하는 강사 주도 예제를 사용할 수 있습니다.
From the “after” research perspective, praxeology is the last -ology you may wish to reflect upon. Concerned with the more practical recommendations that often arise from research, praxeology is concerned with not just understanding human actions, but interpreting them in meaningful ways [45]. If your research has contributed to “knowledge,” what does this mean for your day-to-day role as a medical sciences educator? In this way, practicality can be also important after the research process. Using the mid-level example from Fig. 2, if you completed research from a constructivist approach, you may have discovered that self-guided methods in virtual histology labs was not leading to a conducive learning environment. This may lead to your decision to create video guides to accompany virtual histology resources, so students have instructor-led examples to initially guide their learning.

패러다임에 실질적으로 접근하는 위의 방법들 외에도, 연구자들은 [실용주의pragmatism]의 실용적인 패러다임을 고려하기를 원할 수 있다. [실용주의]는 연구 결과에 초점을 맞추고, 따라서 인식론이나 존재론을 고려하는 데 가치를 두지 않는다. 대신, 실용주의는 문제를 이해하고 해결하는 데 가장 효과적인 것에 초점을 맞추려고 노력한다[57]. 실용주의자들은 특정 연구 질문에 답하기 위해 [실제로 가장 잘 작동하는 방법]에 의존하며, 단순히 패러다임 정렬이 아닌 [선택된 접근 방식의 실용성]에 가장 중점을 둔다[58]. 그러나 실용주의는 ["진정한" 패러다임]이라기보다는 [접근법]에 가깝다는 견해가 있다. 결과적으로, 본 연구는 다른 공통 패러다임을 가지고 있기 때문에 실용주의를 자세히 탐구하지 않았다[30].
In addition to the above ways of practically approaching paradigms, researchers may also wish to contemplate the practical paradigm of pragmatism. Pragmatism focuses on research outcomes and, as such, does not place value on considering either epistemology or ontology. Instead, pragmatism strives to focus on what works best for understanding and solving problems [57]. Pragmatists rely on the methods that work best in practice to answer specific research questions, focusing most heavily on the practicalities of the chosen approach, not just paradigmatic alignment [58]. However, it is the view of some that pragmatism should be viewed as more of an approach, rather than a “true” paradigm. Consequently, the present work has not explored pragmatism in detail as it has other common paradigms [30].

A Medical Science Educator's Guide to Selecting a Research Paradigm: Building a Basis for Better Research

PMID: 34457699

PMCID: PMC8368685

DOI: 10.1007/s40670-019-00898-9

Free PMC article

© The Author(s) 2019.

EPA 프레임워크의 논리: 스코핑 리뷰 (Med Educ, 2022)
The logic behind entrustable professional activity frameworks: A scoping review of the literature
Marije P. Hennus1 | Marjel van Dam2 | Stephen Gauthier3 | David R. Taylor3 | Olle ten Cate4

1 소개
1 INTRODUCTION

신뢰할 수 있는 전문 활동(EPA)은 역량 적용을 위한 명확한 목적을 제공하는 보건 전문가 교육에서 빠르게 진화하는 개념을 나타낸다.

• [역량]은 교육자가 임상 실습에 제공하는 능력을 반영하는 반면,
• EPA는 이러한 역량이 필요한 의료의 과제이다.

EPA는 개별적인 직업별 작업(또는 작업 묶음)으로, 일반적으로 식별 가능한 환자 치료 행위이며, 여기에는 여러 역량(중요한 지식, 적절한 기술 및 태도 포함)의 통합이 필요하다. 학습자는 기본적으로 이러한 작업을 수행함으로써 EPA를 위해 훈련되고 있으며, 처음에는 엄격한 감독 하에 점차 자율적으로 훈련되고 있다. EPA에서 유능해지기 위한 진행은 소위 [위탁-감독 척도]를 따른 학습자의 여정을 반영한다. 이러한 척도는 학습자가 안전한 환자 치료를 보장하기 위해 필요한 감독 수준을 포착하는 것을 목표로 한다. 역량이 증가함에 따라 감독 강도를 시간이 지남에 따라 신중하게 낮춰야 한다. 전체적으로 본다면, 일련의 EPA는 전문 교육을 위한 커리큘럼의 틀을 정의하고 알리기 위해 사용될 수 있으며, 실제로 전문직의 핵심 활동을 반영한다. 이와 같이 EPA 기반 커리큘럼은 임상 훈련과 평가를 임상의가 일상 업무에서 실제로 수행하는 작업과 연결할 수 있는 잠재력을 가지고 있다. 결과적으로, 점점 더 많은 수의 대학원 의학 훈련 프로그램이 커리큘럼을 재설계하기 위해 그것들을 사용하기 시작했다. 

Entrustable professional activities (EPAs) represent a rapidly evolving concept in health professionals' education that offers clear purpose for the application of competencies. Whereas

• competencies reflect the capabilities trainees bring to clinical practice,1 
• EPAs are the tasks of health care for which these competencies are needed.

An EPA is a discrete profession-specific task (or bundle of tasks), typically an identifiable act of patient care, which requires the integration of multiple competencies (including vital knowledge, appropriate skills and attitudes).2, 3 Learners are essentially being groomed for EPAs by performing these tasks, initially under strict supervision and gradually more autonomously. Progression towards becoming competent in an EPA reflects a learner's journey along so-called entrustment-supervision scales. These scales aim to capture the level of supervision a learner requires to ensure safe patient care; with increasing competence, the intensity of supervision should be carefully lowered over time.4, 5 Taken collectively, a set of EPAs can be used to define and inform the framework of a curriculum for specialty training and, in fact, reflects the profession in its core activities. As such, an EPA-based curriculum has the potential to link clinical training and assessment to the work that clinicians actually do in daily practice.6 Consequently, an increasing number of postgraduate medical training programmes have begun using them to redesign their curricula.7, 8

EPA는 이해관계자 간에 내용 타당성과 수용성을 모두 제공할 수 있는 신중하게 구성된 접근방식을 요구한다. EPA의 개발 과정을 안내하는 데 도움이 되는 지침이 존재하지만, [예비 프레임워크 초안을 작성하기 위해 사용할 논리]를 결정하는 것은 중요하고 종종 어려운 첫 번째 단계를 제시한다. EPA 프레임워크의 논리는 개발자가 직업의 관행을 전문 작업 단위로 분해하기 위해 사용하는 관점으로 정의할 수 있다. 현존하는 문헌에서 발견된 보고된 접근법에는 다음이 포함된다. 

• 역할 ('다른 분야의 컨설턴트 전문가 역할'), 
  
• 절차 ('일반적인 폐 및 중환자 치료 절차를 안전하고 효율적으로 수행') 
  
• 질병 관리 ('패혈증 환자 관리') 
  
• 환자 범주 ('청소년 의료') 및 
  
• 기능 ('외래 환자 클리닉 실행') 

EPAs require a carefully constructed approach that can deliver both content validity and acceptance among stakeholders.9 Although guidelines exist to help guide the developmental process of EPAs,3, 10 deciding what logic to use to draft a preliminary framework poses a crucial and often difficult first step. The logic of an EPA framework can be defined as the perspective used by the developers to break down the practice of a profession into units of professional work.11 Reported approaches found in extant literature include

• roles (‘Act as the consultant specialist for other disciplines’),
• procedures (‘Safely and efficiently perform common pulmonary and critical care procedures’),
• disease management (‘Management of a patient with sepsis’),
• patient categories (‘Adolescent healthcare’) and
• functions (‘Running the outpatient clinic’).7, 8 

유사한 분야에서도 서로 다른 접근법이 사용되어 왔다. 예를 들어 폐 및 중환자 의료에 대한 [미국] 펠로우십 교육을 위한 '기능' 및 '역할 기반' EPA를 [네덜란드] EPA의 보다 '질병 관리' 지향 EPA 프레임워크와 비교한다. '모든 사람에게 맞는 하나의 크기'라는 격언은 EPA 프레임워크의 개발에 분명히 적용되지 않는다. 설정, 목적, 교육 프로그램에 기반한 맞춤화가 불가피해 보인다.
Even within similar disciplines, different approaches have been used. Compare for instance the predominantly ‘function-’ and ‘role-based’ EPAs for American Fellowship Training in Pulmonary and Critical Care Medicine12 with the more ‘disease management’ orientated EPA-framework of their Dutch counterparts.13 The ‘one size fits all’ adage clearly does not hold true for the development of EPA frameworks; customisation based on setting, purpose and/or training programme seems inevitable.

이 범위 문헌 검토는 대학원 의학 교육 및 펠로우십 프로그램에 걸쳐 EPA 프레임워크 개발에 사용된 지배적인 논리와 추가 연구를 위한 영역을 강조할 뿐만 아니라 EPA 개발을 위한 모범 사례 지침을 잠재적으로 알리기 위한 그들의 합리성을 매핑하는 것을 목표로 했다.
This scoping literature review aimed to map the dominant logics used in the development of EPA frameworks across postgraduate medical education and fellowship programmes and their rationales to potentially inform best practice guidelines for EPA development in addition to highlighting areas for further research.

2 방법
2 METHODS

2.1 설계
2.1 Design

주제에 대한 기존 연구 결과를 수집, 평가 및 제시하는 반복적이고 유연한 방법인 범위 검토가 수행되었다. 우리는 철저한 검토를 추구하지 않고 지배적인 EPA 논리를 식별하고 매핑하기 위해 시작했기 때문에 체계적인 검토 대신 범위를 사용했다. 이는 체계적 검토 및 메타 분석을 위한 선호 보고 항목(PRISMA)의 범위 검토 확장에 따라 보고되었다. 
A scoping review, an iterative and flexible method to collect, evaluate and present findings from existing research on a topic,14 was performed. We used a scoping, instead of a systematic review, as we did not seek to be exhaustive but set out to identify and map dominant EPA logics.15 This was reported in accordance with the Preferred Reporting Items for Systematic Review and Meta-analysis (PRISMA)'s extension for Scoping Reviews.16

2.2 검색 전략
2.2 Search strategy

문헌 본문의 범위를 평가하기 위해, 우리는 Khalil 등으로부터 채택된 스코핑 리뷰에 대한 증거 기반 다단계 접근법을 사용했다. 2005년 1월부터 2020년 12월까지의 연구는 타당성과 폭 및 포괄성의 균형을 맞추기 위해 3단계 문헌 검색을 사용하여 확인되었다.

• 1단계는 제목과 초록에 포함된 텍스트 단어(위탁가능 프로페셔널 활동*)를 2명의 저자(MH, MD)가 독립적으로 선별하여 MEDLINE과 Embase에 대한 제한된 검색으로 구성되었다.
• 두 번째 단계는 이 텍스트 단어들을 포함된 모든 데이터베이스(구글 스콜라, 스코푸스, 웹 오브 사이언스 추가)에서 검색어로 사용했다. 이러한 데이터베이스는 EPA에 대한 문헌을 포괄하고 함께 고려할 때 가능한 포괄적으로 선택되었다. 이 검토에서 사용된 검색 구문에 대한 자세한 내용은 지원 정보(부록 1)에서 확인할 수 있습니다.
• 세 번째 단계에는 확인된 모든 보고서 및 추가 연구를 위한 논문의 참조 목록 분석이 포함되었다.

To assess the extent of the body of literature, we used an evidence-based multistage approach to scoping reviews adapted from Khalil et al.17 Studies from January 2005 until December 2020 were identified using a three-step literature search in order to balance feasibility with breadth and comprehensiveness.

• The first stage consisted of a limited search of MEDLINE and Embase by screening of text words (Entrustable Professional Activit*) contained in the title and abstract by two authors (MH, MD) independently.
• The second stage used these text words as search terms across all included databases (adding Google Scholar, Scopus and Web of Science). These databases were chosen to span literature on EPAs and to be as comprehensive as possible when considered together. The full details of the search syntaxes used in this review can be found in the Supporting Information (Appendix 1).
• The third stage included analysis of the reference lists of all identified reports and articles for additional studies.

2.3 연구 선정
2.3 Study selection

2.3.1 포함 기준
2.3.1 Inclusion criteria

포함시킬 수 있는 연구들은 다음과 같은 연구였다.

• (i) 개발된 EPA 프레임워크의 논리를 설명하거나 최소한 EPA 제목을 제공한다. 
  
• (ii) 대학원 의학 교육 또는 펠로우십 프로그램 및 
  
• (iii) 영어로 쓰여졌다.

포함된 연구는 대조, 요약 및 결과 보고가 가능하도록 표와 서술 형식으로 차트화되었습니다.

Eligible for inclusion were studies that

• (i) either described the logic of developed EPA frameworks and/or provided at least the titles of EPAs for
• (ii) a postgraduate medical education or a fellowship programme and
• (iii) were written in English.

Included studies were charted in a tabular and narrative format allowing for collation, summarising and reporting of results.

2.3.2 배제 기준
2.3.2 Exclusion criteria

다음과 같은 문헌은 제외되었다.

• (i) 주 원고, 보충 데이터 및 온라인 보충 데이터에 EPA 프레임워크를 제공하지 않아 기본 논리를 분석할 수 없었다. 
  
• (ii) EPA의 규모와 복잡성의 결정에 영향을 미칠 수 있으므로 (하위) 전문 교육 프로그램의 단일 EPA 또는 일부 EPA에 대해서만 설명한다. 
  
• (iii) 학부생, 대학원 의학 교육(GME)에 입학하는 신규 졸업생의 평가 및 기타 보건 전문직(예: 간호사, 수의사, 약사)을 위한 EPA 프레임워크를 제공했다.

Papers were excluded if they

• (i) did not provide an EPA framework in either the main manuscript, supplemental data and/or online supplemental data, making it impossible to analyse the underlying logic;
• (ii) described only a single EPA and/or EPAs for a part of a (sub)specialty training programme as this may have impacted decisions of size and complexity of the EPAs; and/or
• (iii) offered an EPA framework for undergraduates, for the evaluation of newly graduated students entering graduate medical education (GME) and/or for other health professions (e.g., nurses, veterinarians and pharmacists).

2.4 선별과정
2.4 Screening process

두 명의 저자(MH, MD)는 검색 과정에서 반환된 모든 제목과 초록을 독립적으로 선별하여 포함 기준을 충족하지 않는 논문을 거부하였다. 논문을 포함하거나 제외하는 결정을 제목 및/또는 요약에 기초하여 내릴 수 없는 경우, 그 결정을 알리기 위해 전문에 접근했다. 현시점에서 불확실성이 여전했다면 제3의 저자(SG)가 심판 역할을 해 합의를 이끌어냈다. 
Two authors (MH, MD) independently screened all titles and abstracts returned during the search process, rejecting papers that did not meet the inclusion criteria. If a decision to either include or exclude a paper could not be made based on title and/or abstract, the full text was accessed to inform the decision. If uncertainties still remained at this point, a third author (SG) served as referee to help reach consensus.

2.5 논리의 분류
2.5 Categorisation of logic

심사 과정 동안 데이터의 반복 분석(종종 근거 분석이라고 함)을 이용한 귀납적 코딩 스타일을 두 명의 저자(MH, MD)가 독립적으로 사용하여 코드 초안을 작성했다. 이후 팀 미팅(MH, MD, SG, DT, OtC)을 개최하여 10편의 논문의 파일럿 코딩에 대해 논의하고, 이후 데이터 코딩과 추출을 MH와 MD가 수행하는 코딩 절차를 미세 조정하였으며, 두 저자는 제3저자(SG)와 함께 논문 내 포함된 모든 논문과 코딩된 EPA 로직을 독립적으로 읽고 재독하였으며, 사용된 논리에 대한 합의가 즉시 이루어지지 않았을 때 심판 역할을 맡았습니다. 
During the screening process, an inductive coding style using iterative analysis of the data (often referred to as Grounded Analysis) was be used by two authors (MH, MD) independently resulting in draft codes.18 Hereafter, a team meeting (MH, MD, SG, DT and OtC) was held to discuss a pilot coding of 10 papers and to fine-tune the coding procedure, following which data coding and extraction were performed by MH and MD. Both authors independently read and re-read all of the included papers and coded EPA logics within the papers with the third author (SG) serving as referee for papers when consensus on the logic used was not immediately reached.

3 결과
3 RESULTS

검색전략은 총 2607개의 인용을 확인하였으며, 중복제외 후 681개의 인용을 도출하였다. 이 중 42편의 논문이 이 검토에 포함되도록 선택되었다(PRISMA 다이어그램의 경우 그림 1 참조). 
In total, the search strategy identified 2607 citations, resulting in 681 citations after de-duplication. Of these, 42 papers were selected for inclusion in this review (for a PRISMA diagram see Figure 1).

3.1 EPA 프레임워크의 논리를 설명하는 논문의 일반적인 특성
3.1 General characteristics of papers describing the logic of EPA frameworks

Microsoft Excel 버전 16.54(표 1)를 사용하여 관련 연구 데이터(예: 출판 연도, 국가, 전문성 및 교육 수준)를 추출하고 표로 작성했습니다. 포함된 논문의 주요 특성은 표 2에 요약되어 있습니다. 대학원 또는 펠로우십 프로그램에 대한 EPA 프레임워크의 논리를 설명하는 대부분의 연구는 미국(n = 22; 52%), 캐나다(n = 6; 14%), 네덜란드(n = 4; 10%)(표 2)에서 수행되었다. 보고된 전공의 범위 전체에서 가정의학과(n=4;10%), 내과학과(n=4;10%), 소아과(n=3;7%), 정신과(n=3;7%)가 가장 많았다. 또한 프레임워크의 69%는 전공의용(n = 29), 31%는 전임의용(n = 13)으로 개발되었다. 
Relevant study data (e.g., publication year, country, specialty and level of training) were extracted and tabulated using Microsoft Excel Version 16.54 (Table 1). Key characteristics of included papers are summarised in Table 2. Most studies describing the logic of EPA frameworks for postgraduate or fellowship programmes were conducted in the United States (n = 22; 52%), Canada (n = 6; 14%) and the Netherlands (n = 4; 10%) (Table 2). Across the reported range of specialties, family medicine (n = 4; 10%), internal medicine (n = 4; 10%), paediatrics (n = 3; 7%) and psychiatry (n = 3; 7%) were the most common. Furthermore, 69% of the frameworks had been developed for residency (n = 29), 31% for fellowships (n = 13).

3.2 다양한 EPA 프레임워크 로직
3.2 Variety of EPA-framework logics

총 862개의 EPA가 EPA 프레임워크(범위 3-79)당 14개의 EPA의 중위수로 42개 조항에 설명되었다(표 1). 데이터의 반복 분석을 사용한 귀납적 코딩 스타일을 기반으로 다음 논리가 확인되었습니다(예시).

• 1) 임상 서비스를 포함한 서비스 제공: 직접('중상환 신생아의 영양 요구 관리') 및 간접 환자 치료('가족 회의 촉진') 및 
  비임상 의료 서비스('혈액 성분 수혈과 관련된 부작용 평가 및 보고') 
  
• 2) 프로시져 ('삽관, 기관지경, 흉부천자, 중심 정맥 카테터 배치 및 초음파를 포함한 일반적인 중환자 치료 절차 수행' 및 
  
• 3) 질병 또는 환자 그룹('비감염성 질염성 질염 환자 식별 및 관리') (표 1) 

A total of 862 EPAs were described in the 42 articles with a median of 14 EPAs per EPA framework (range 3–79) (Table 1). Based on an inductive coding style using iterative analysis of the data, the following logics were identified (with examples):

• 1) service provision including clinical services for direct (‘Managing nutritional needs of critically ill newborns’) and indirect patient care (‘Facilitating family meetings’) as well as non-clinical health care services (‘Evaluating and reporting adverse events involving the transfusion of blood components’);
• 2) procedures (‘Performing common critical care procedures, including intubation, bronchoscopy, thoracentesis, central venous catheter placement, and ultrasound’; and
• 3) disease or patient groups (‘Identifying and managing patients with noninfectious GI luminal disease’) (Table 1). 

눈에 띄는 것은, 보고된 모든 EPA의 13%(n = 109)가 의사가 서비스하는 사람들의 의료 요구를 효과적으로 충족시키기 위해 필요한 능력을 기술했다. (예: '평생 학습 참여', '전문적 행동 시연'). 이러한 EPA는 종합적인 위탁 결정에 적합하지 않기 때문에, 이 그룹은 4) 비 EPA로 분류되었다.
Notably, 13% (n = 109) of all reported EPAs described abilities physicians require to effectively meet the health care needs of the people they serve (e.g. ‘Engaging in life-long learning’, ‘Demonstrating professional behavior’). As these EPAs are not suitable for summative entrustment decisions, this group was categorised as 4) non-EPAs.

대부분의 논문(n = 37; 88%)은 EPA 프레임워크 개발에 2개 이상의 논리를 사용했다(표준 = 3, 범위 = 1~4). 질병 또는 환자 그룹과 서비스 제공이 가장 많이 사용된 논리(각각 39%와 37%)였다(표 1).
The majority of papers (n = 37; 88%) used two or more logics in the development of EPA frameworks (median = 3, range = 1–4). Disease or patient groups and service provision were the most common logics used (39% and 37%, respectively) (Table 1).

4 토론
4 DISCUSSION

이 검토에서, 우리는 대부분의 프로그램이 EPA의 프레임워크를 확립하기 위해 [논리의 조합을 사용한다]는 것을 발견했다. 그러한 프로그램의 개발자들이 의도적으로 이러한 분류를 선택했을 수도 있고 아닐 수도 있지만, 많은 사람들은 단지 하나의 논리적 분류를 찾지 않고 최선의 접근법이 무엇인지 알아내는 데 시간을 보냈을 것이다. 지금까지 '최선의' 접근법에 대한 권고안이 제시되지 않았으며, 의료 전문 분야와 다른 보건 전문 교육 프로그램 간의 차이는 방어 가능한 것으로 보인다. 빠르게 확장되는 문헌에 비추어, 우리는 실제로 사용되어 온 지배적인 논리를 탐색하고 EPA 프레임워크를 만들기 위한 새로운 이니셔티브에 유용할 수 있는 권장 사항을 증류하고자 했다. 
In this review, we found that most programmes use a mix of logics to establish a framework of EPAs. Whereas the developers of those programmes may, or may not, have deliberately chosen these categorizations, many will have likely spent time to figure what the best approach would be, without finding just one logical categorisation. So far, no recommendations for a ‘best’ approach20 have been offered, and differences between medical specialties, and among other health professions educational programmes, seem defensible. In light of the quickly expanding literature, we sought to explore the dominant logics that have been used in practice and to distil recommendations that may be useful for new initiatives to create EPA frameworks.

4.1 EPA의 광범위한 서비스 범위
4.1 The broad service range of EPAs

EPA를 정의할 때 [EPA의 목적]을 염두에 두는 것이 유용하다. 여러 출판물들은 그것의 정의와 EPA가 역량과 어떻게 다른지 상세히 설명하였다. '전문 실무 단위'로서 EPA는 전문 업무를 개념화하기 때문에 반드시 교육 모델이 될 필요는 없다. 그들은 주로 전문 교육을 위한 커리큘럼을 개발하고 직장 평가 절차를 만드는 데 사용되었다. 그러나 [필수 작업essential tasks]을 정의하는 것이 항상 명확한 것은 아닙니다. 또한, EPA는 고유한 우선 순위, 의무 및 목적을 가진 국가 또는 심지어 [국제 기구]에 의해 점점 더 공식화되고 있다. 이는 지역적으로 EPA를 선택하거나 식별하는 자유를 제한하며 프로그램, 기관 또는 국가를 넘어서는 [총괄적 위임 결정]을 인정하는 역할을 한다. 가까운 장래에 EPA는 예를 들어 관련된 교육생과의 부작용 발생 시 책임에 대한 분쟁이 발생하거나 [의료행위 범위의 정당성]이 위태로울 때 사법기관에 의해 인정될 수 있다. 그것은 자격 증명으로 인정되고, 위탁되고, 인증될 수 있는 전문 실무 단위의 건전한 공식화의 필요성을 강조한다. 
In defining EPAs, it is useful to keep their purpose in mind. Multiple publications have elaborated on its definition and how EPAs differ from competencies.3, 10, 21 EPAs, as ‘units of professional practice’, are not necessarily an educational model as they just conceptualise professional tasks.10 They have primarily been used to develop curricula and create workplace assessment procedures for specialty training; however, defining the essential tasks is not always clear-cut. Furthermore, EPAs are increasingly formulated by national or even international bodies with unique priorities, mandates and purposes.22-26 This limits the freedom to choose or identify EPAs locally and serves to acknowledge summative entrustment decisions beyond a programme, institution or country. In a foreseeable future, EPAs may be acknowledged by legal bodies, for example, when disputes arise about accountability in case of adverse events with trainees involved27 or when the legitimacy of a scope of practice is at stake. That stresses the need for a sound formulation of the units of professional practice that can be acknowledged, entrusted and certified as a credential.

최근 몇 년 동안 교육 후 EPA의 잠재적 역할이 더 많은 관심을 받고 있다. 3개의 네덜란드 UMC의 상주 코디네이터는 최근 EPA에게 재인증의 핵심 지위를 줄 것을 간청했다. 또한, EPA의 사용은 어떤 직원이 어떤 의료 특권을 가지고 어떤 훈련을 어떤 수준에서 수행할지 명시하도록 요청하는 'Joint Commission'가 수행하는 것과 같은 [병원 자격 증명 요건]과 자연스럽게 일치fit한다. 이는 EPA의 추가 목적 역할을 한다.
In recent years, the potential role of EPAs after training has received more attention.28, 29 Residency coordinators of three Dutch UMCs recently pleaded to give EPAs a core status in recertification.30 In addition, the use of EPAs naturally fits with requirements of hospital credentialling, such as done by the ‘Joint Commission’,31 which ask to specify which employees have which health care privileges and which tasks are to be performed by which trainees under which level of supervision. This serves as an additional purpose of EPAs.

4.2 주요 논리의 장단점
4.2 Pros and cons of the main logics

EPA 프레임워크 개발을 위한 논리를 선택하는 것은 어려울 수 있다. 각 접근방식은 아래에 논의된 바와 같이 장점과 단점이 있기 때문이다.
The choice of a logic for developing an EPA framework may be difficult, as each approach comes with benefits and drawbacks as discussed below.

4.2.1 서비스 제공
4.2.1 Service provision

[서비스 제공 EPA]는 [일반적으로 임상의의 스케쥴에 포함된 활동]을 반영하므로, 장점은 손쉽게 인식, '지정assigned', 금지prohibited된다. 그것들은 [광범위하고 일반적]이며, 위임 결정은 이러한 서비스 중에 발생할 수 있는 프로시져와 질병에 대한 [적절한 경험]을 전제로 한다. 이로 인해 EPA가 주니어 학습자들에게 덜 적합하게less suitable 된다. EPA '표준 외래 환자 상담'을 예로 들 수 있는데, 이는 보다 상급 의료 교육생에게 논리적이고 적합한 활동이다. 이 EPA에는 의대생에게 적합한 독립적 EPA로서 기능할 수 있는 '의학 이력서 작성' 및 '전체 표준 신체검사 수행'과 같은 활동이 포함될 것으로 추정된다. 또한, [서비스 제공 EPA]는 사례 특이성이 부족할 수 있으며, 결과적으로 감독 임상의가 적용apply하기 어려울 수 있다. 평가 시 표본 추출에 주의하지 않는 한, 이 접근 방식은 또한 특정 EPA에 대한 평가가 포함된 환자의 프레젠테이션 전반에 걸쳐 일반화될 수 있다고 가정한다.
These EPAs reflect activities as they are usually scheduled for clinicians and are therefore easily recognised, ‘assigned’ and/or prohibited. They are broad and general, and entrustment decisions assume adequate experience with procedures and diseases that may be encountered during these services. This makes them less suitable for junior learners.3 Take for example the EPA ‘standard outpatient consultation’, a logical and suitable activity for more advanced medical trainees. This EPA will presumably include activities like ‘taking a medical history’ and ‘performing a full standard physical examination’, activities that in itself may serve as suitable standalone EPAs for medical students. Furthermore, service provision EPAs may lack case specificity and as a result can be challenging for supervising clinicians to apply.6 Unless there is careful attention to sampling in assessment, this approach also presumes assessments for a given EPA can be generalised across included patients' presentation.

4.2.2 프로시져
4.2.2 Procedures

일부 전공 분야의 경우 프로시져(또는 프로시져의 클러스터)가 선호 EPA(예: 내시경 및 수술)가 될 수 있다. 일반적으로 잘 훈련될 수 있는 명확하고 잘 표시된 작업이다. 프로시져를 EPA로 채택하는 위험은 [개별적으로 고려할 때 매우 작거나 좁은 범위의 기술에 초점]을 맞춘다는 것이다. 작고 따라서 많은 절차적 EPA가 본질적으로 문제가 되는 것은 아니지만, 학습자에게 이러한 자격을 부여하기 위한 심각한 [총괄적 위임 결정]의 절차는 까다로운 일이 될 수밖에 없다. 또한, 이러한 소규모 EPA는 신뢰에 대한 여러 조건을 포함하기보다는 [정신운동 능력에만 초점을 좁힐 위험]도 수반한다.
For some specialties, procedures (or clusters of procedures) can be preferred EPAs (e.g. endoscopies and surgeries); they are clear and well-demarcated tasks that generally can be trained well. The risk of adopting procedures as EPAs is that they may be very small when considered individually and that the focus is on a narrow range of skills.3, 6 Small and thus many procedural EPAs are not inherently problematic, but serious summative entrustment decisions to qualify learners for these are bound to lead to cumbersome procedures.3, 6 Furthermore, these small EPAs incorporate the risk that the focus will narrow to psychomotor skills only, rather than including multiple conditions for trust.

4.2.3 질병 또는 환자군
4.2.3 Disease or patient group

[비시술적 전문분야]의 경우 [질병]이 빨리 떠오른다; [질병 X를 가진 환자를 관리하는 것]은 분명한 임무처럼 들린다. 질병이 논리로 나타나는 단점은 [감별 진단이 첫 번째 과제임을 무시하는 것]이다. 또한 질병은 학습자가 취급할 수 있는 공식적인 자격을 얻기보다는 '만난 것'의 체크박스 항목이 될 위험이 있는 [길고 상세한 목록]을 초래할 수 있다. [프로시져 EPA]와 유사하게, 질병에 대한 의료 전문지식을 중심으로 한 [좁은 범위의 역량에 초점]을 맞출 수 있다. 질병을 EPA의 논리로만 사용하는 것은 유용하고 실용적이지 않을 수 있다. 예를 들어 [진단 및 리퍼referral 후 치료가 일반적인 경우]에는 [질병 또는 질병 그룹]이 유용한 논리가 될 수 있다.
For non-procedural specialties, diseases come to mind quickly; managing patients with disease X sounds like a clear task. A draw-back of diseases as a logic is the disregard of differential diagnosis as a first task. Further, diseases may result in long and detailed lists with the risk of becoming checkbox items of what the learner ‘has encountered’ rather than having received a formal qualification to handle.3, 6 Analogously to the procedural EPA, it can focus on a narrow range of competencies centred on medical expertise for a disease. Using diseases only as the logic for EPAs may not be useful and practical. In some cases, diseases or disease groups can be a useful logic, for example, when treatment after diagnosis and referral is common practice.

4.2.4 비EPA
4.2.4 Non-EPAs

우리는 발표된 모든 'EPA'가 종합위탁 결정에 적합한 것은 아니며, 어떤 것은 EPA로서 유용성이 떨어진다고 판단했다. 우리는 모든 EPA의 13%(표 1)를 비 EPA로 분류했으며, 종종 의사가 서비스하는 사람들의 의료 요구를 효과적으로 충족시키는 데 필요한 능력을 설명한다. '평생 학습 참여', '전문적 행동 시연', '환자 안전 강화', '환자 개개인에 대한 옹호' 등이 대표적이다. 이러한 활동을 수행하는 것을 금지하는 것에서 직간접적인 감독 하에 허가하는 것으로의 전환을 상상하는 것은 어렵다. 우리는 훈련에 대한 이러한 목표의 중요성에 이의를 제기하지 않지만, 그것들은 독립적 EPA와는 다른 방식으로 훈련에 통합되어야 한다. EPA로 유용하게 개념화되지 않은 훈련 목표를 다루는 몇 가지 방법이 최근 텐 카테와 슈마허에 의해 제공되었다. 
We deemed not all published ‘EPAs’ as suitable for summative entrustment decisions and hence are less useful as EPAs. We qualified 13% (Table 1) of all EPAs as non-EPAs, often describing the abilities physicians require to effectively meet the health care needs of the people they serve. Examples include ‘Engaging in life-long learning’, ‘Demonstrating professional behavior’, ‘Enhancing patient safety’ and ‘Advocating for individual patients’. It is difficult envision the transition from a prohibition to perform these activities to permission to do so with direct or indirect supervision. We do not dispute the importance of these objectives for training, but they should be incorporated in training in a different way than stand-alone EPAs. Several ways to deal with objectives of training that are not usefully conceptualised as EPAs were recently provided by ten Cate and Schumacher.32

이 연구의 몇 가지 한계를 고려해야 한다. 첫째, 의학 대학원 및/또는 동료 훈련 프로그램의 발표된 EPA 프레임워크만 포함되었기 때문에 선택과 출판 편향의 문제가 있다. 네덜란드의 모든 전문 교육 프로그램에서 사용되는 EPA 유형의 요약을 포함하는 최근 논문은 유사한 논리를 발견했으며 부분적인 '회색 문학' 확인으로 볼 수 있다. 우리의 검토에서, 주요 이해관계자 그룹과 관련된 초기 EPA 프레임워크에 대한 근거는 일반적으로 설명되지 않았다. 개발자는 처음부터 시작했거나 통치 기관이나 국가 기관이 부과한 지침과 요구사항을 따랐을 수 있다. 다음으로, 적격 기사들은 외과 전문분야의 거의(n = 2)를 포함하였고, 이는 잠재적으로 논리로서 '구조'를 과소평가하게 만들었다. 그러나 이러한 유형의 논리의 중요성은 네덜란드에서 더 높은 발생률로 뒷받침된다. 보고된 일부 EPA는 둘 이상의 논리 범주로 분류될 수 있다. EPA 세트에 따라 EPA는 한 세트에서는 환자 범주이고 다른 세트에서는 서비스 범주일 수 있다. 

Several limitations of this study must be considered. First, there is the issue of selection and publication bias as only published EPA frameworks of medical postgraduate and/or fellow training programmes were included. A recent paper that includes a summary of the types of EPAs used by all specialty training programmes in the Netherlands found similar logics and can be seen as a partial ‘grey literature’ confirmation.26 In our review, the rationales for the initial EPA frameworks as relates to key stakeholder groups were usually not described. Developers may have started from scratch or have followed guidelines and requirements imposed by governing institutions or national bodies. Next, eligible articles included few (n = 2) from surgical specialties, potentially leading to an underestimation of ‘procedures’ as a logic. The importance of this type of logic, however, is supported by its higher occurrence in the Netherlands.26 Some reported EPAs could be categorised in more than one logic category; depending on the set of EPAs, an EPA may be a patient category in the one set and a service in the other.

수용된 권장 사항을 따름으로써 [개선할 수 있는 많은 EPA 제목]을 접했는데, 이는 논리 범주에 대한 의구심을 해소했다. 예를 들어, '검사 결과 전달'은 전문 실무의 독립적 단위로 간주할 가치가 거의 없기 때문에 확실히 더 성숙한 EPA에 내포될 수 있는 조기 교육 EPA일 수 있으며 부정사infinitive로 더 잘 공식화될 수 있다('진단 시험 결과의 소통'). 우리가 했던 [범주화의 한계]는 [full EPA description]에 대한 통찰력을 거의 갖지 못했다는 것이다. 예를 들어, 우리는 '예방'을 비 EPA로 인정했지만, 규격에는 EPA가 서비스 제공 논리에 속하는 것으로 간주하도록 만들 수 있는 매우 구체적인 하위 활동의 번들 또는 목록이 포함되어 있었을 수 있다. 단지 '예방'을 위해 임상의사를 인증하는 것은 종합적인 위탁 결정에 필요한 명확성이 부족하다. 마지막으로, EPA의 효과나 유효성을 설명하는 제한된 연구가 존재하며, 현재까지 우리는 어떤 논리 범주의 우월성을 지지할 이유가 없다. 향후 연구는 일반적인 EPA 사용에 대한 타당성 증거를 제공하는 것뿐만 아니라 설명된 논리의 사용(또는 우월성)을 뒷받침하는 데 초점을 맞춰야 한다.
We encountered many EPA titles that could be improved, if accepted recommendations10 were followed, which we gave the benefit of the doubt for a logic category. For example, ‘Communicates results of exams’ might be an early training EPA that would definitely be nested in a more mature EPA, as it is hardly worth considering it a stand-alone unit of professional practice, and it might be better formulated with an infinitive (‘Communicating diagnostic exam results’). A limitation of our categorisation is that we rarely had insight into the full EPA description. For example, we qualified ‘Prevention’ as a non-EPA, but the specifications might have included a bundle or list of very concrete sub-activities that could have made us consider the EPA as belonging to the service provision logic. Certifying clinicians just for ‘prevention’ lacks the necessary clarity for a summative entrustment decision. Finally, limited studies exist describing the effectiveness or validity of EPAs, and to date, we have no reason to support superiority of any one logic category. Future research should be directed at providing validity evidence for not only the use of EPAs in general but also to support the use (or superiority) of the described logics.

5 결론
5 CONCLUSION

이 연구는 대학원 의학 교육 및 펠로우십 프로그램에 걸쳐 EPA 프레임워크 개발에 사용되는 논리를 매핑하기 시작했다. '서비스 제공', '절차' 및/또는 '질병 또는 환자 그룹'이라는 세 가지 주요 논리가 식별될 수 있다. 각 논리에 대해 명확한 정의는 예, 이점 및 한계와 함께 제공됩니다. EPA에서 직업의 필수 업무를 포착하려고 할 때, 발견된 논리 유형 중 두세 가지를 조합하여 사용하는 것이 가장 적합해 보인다. 이러한 결과는 향후 EPA 프레임워크 개발자에게 유용한 발판을 제공할 수 있다.
This study set out to map the logics used in development of EPA frameworks across postgraduate medical education and fellowship programmes. Three dominant logics could be identified, namely, ‘service provision’, ‘procedures’ and/or ‘disease or patient groups’. For each logic, a clear definition is provided together with examples, benefits and limitations. When trying to capture the essential tasks of a profession in EPAs, the use of a combination of two or three of the types of logic found seems most suitable. These findings may provide helpful scaffolding for future EPA-framework developers.

The logic behind entrustable professional activity frameworks: A scoping review of the literature

PMID: 35388517

PMCID: PMC9542438

DOI: 10.1111/medu.14806

Free PMC article

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

산을 옮기는 일: 대형 유럽 의과대학의 주요 교육과정 개편을 향한 실용적 통찰(Med Teach, 2018)
Moving a mountain: Practical insights into mastering a major curriculum reform at a large European medical university
Asja Maaz
, Tanja Hitzblech
, Peter Arends, Antje Degel, Sabine Ludwig, Agata Mossakowski, Ronja Mothes, Jan Breckwoldt and Harm Peters 

커리큘럼 개발 및 구현 단계
Curriculum development and implementation phase

2009년, 학장은 변화의 절박한 필요성에 대응하여 주요 교육과정 개혁을 결정했다. 새로운 학부 의료 프로그램은 [2010년에 새로 등록한 모든 학생들]을 위해 시작하도록 제안되었고, 따라서 전통적인 프로그램 및 시범 프로그램을 대체했다.
In 2009, the deanery responded to the pressing need for change and decided for a major curricular reform. A new undergraduate medical program was proposed to start in 2010 for all newly enrolled students, thus replacing the traditional and reform pilot programs.

프레임 설정
Setting up the frame

새 커리큘럼의 일반적인 청사진을 정의하기 위해 [주요 샤리테 이해당사자들과 함께 위원회가 설치]되었다. 위원들은 경험이 풍부한 교수와 교직원이었으며, 이들 중 상당수가 개혁 파일럿에 참여했으며 개혁 파일럿에 참여했던 학생들의 지원을 받았다. 이것은 변화의 원동력을 모으는 데 매우 중요했다. 6개월에 걸친 매우 집중적이고 논란의 여지가 있는 토론에서 위원회는 모듈식 구조를 개발하고 2004년에 교수진 전체의 델파이 프로세스를 포함하는 기존 결과 카탈로그에 합의했다. 결과 카탈로그는 [스코틀랜드 닥터]나 [브라운 대학 의과대학 교육 청사진]과 같은 당시 논의된 [역량 카탈로그]에서 영감을 받았다. 새로운 6년 프로그램은 40개의 수직 및 수평 통합 모듈로 구성되었습니다(연간 8개의 모듈, 최종 사무직 연도, 보충 자료 1 참조). 첫 주부터 환자접촉을 중심적으로 하고 학생 스스로 [작은 전문적 과제]를 수행할 수 있는 능력을 꾸준히 키워 임상역량을 키워나가는 것이 핵심 요소였다. 이러한 결과 방향을 지원하기 위해 [세 개의 종단 트랙]이 설계되었다.

• 첫째, 협업 학습(및 직장에서의 미래 협업)을 지원하기 위한 형식으로서 PBL, 
  
• 둘째, 환자 접촉과 밀접하게 연관된 트랙 "커뮤니케이션, 상호작용, 팀워크"와 
  
• 셋째, 과학적 기반 추론(증거 기반 추론에 필요한 경우)을 육성하기 위한 "과학적 작업 트랙". 

지역사회 기반 교육(일반의사실 실습 배치, 응급의료서비스, 노숙인 환자 서비스 기관 등)에도 관심이 쏠렸다.

A committee with key Charité stakeholders was installed for defining a general blueprint of the new curriculum. Committee members were experienced professors and teaching faculty members, many of which were involved in the reform pilot and were supported by students who were also involved in the reformed pilot. This was crucial to bring together the drivers of change (Lewin 1943; Giesler et al. 2017). In a very intensive and controversial discussion over a six months period, the committee developed a modular structure and agreed on an existing outcome catalogue that had been complied in 2004 involving a faculty-wide Delphi process. The outcome catalogue was inspired by the competency catalogues discussed at those times such as the Scottish Doctor (Simpson et al. 2002) or the Educational Blueprint for the Brown University Medical School, (Brown University website 2004). The new six-year program consisted of 40 vertically and horizontally integrated modules (eight modules per year, followed by a final clerkship year, see Supplementary Material 1). The core element was to develop clinical competencies from the first week on by making patient contact central and steadily building up students abilities to carry out small professional tasks on their own. To support this outcome orientation, three longitudinal tracks were designed:

• first, PBL as a format to support collaborative learning (and future collaboration at the workplace),
• secondly, a track “Communication, Interaction, and Teamwork” closely interwoven with patient contact, and
• thirdly a “scientific work track” to foster scientifically based reasoning (as needed for evidence-based reasoning).

Attention was also paid to community-based teaching, including practice placements at general practitioners offices, the emergency medical services, and an institution serving homeless patients.

[평가 프로그램]은 발달 시험을 포함한 지식 테스트, 기술의 실제 시연, 객관 구조 임상 검사(OSCE) 및 과학적 프레젠테이션을 통합했습니다. 위원회는 또한 새로운 프로그램에 의해 달성될 특정한 지식, 기술 및 태도를 가진 역량의 정의된 결과 카탈로그에 합의했다.
The assessment program integrated knowledge testing including progress testing (van der Vleuten et al. 1996), practical demonstrations of skills, Objective Structured Clinical Examinations (OSCEs), and scientific presentations. The committee also agreed on a defined outcome catalogue of competencies with specified knowledge, skills and attitudes to be achieved by the new program.

이후 general blueprint는 공식 인증 기관(샤리테 교수 위원회와 베를린 주립 대학교)이 승인하였다. 변화 과정을 용이하게 하기 위해, 학장은 비록 수업 내용, 형식, 또는 교과 시점이 다를 수 있지만, 모든 학과가 새로운 커리큘럼에서 수업 시간과 재정적 보상을 유지할 것이라는 보장을 주었다. 이는 교수진의 불확실성을 줄이고 다가올 변화에 대한 개방성을 창출했다.
The general blueprint was subsequently approved by the Charité faculty board and the State of Berlin as the formal accreditation body. To facilitate the change process, the deanery gave the guarantee that every department would maintain its teaching time and financial reimbursement in the new curriculum, although teaching content, formats, or curricular time points might differ. This reduced faculty’s uncertainty and created openness for the upcoming change (Burke 2018).

새로운 교육과정은 학기별로 6년의 기간에 걸쳐 계획되고 시행되었다. 그 과정에 대한 우리의 성찰에서, 다음 요소들이 성공의 열쇠였습니다.
The new curriculum was planned and implemented over a six-year period, semester-by-semester. In our reflection on the process, the following elements were the key to success.

효과적인 학제간 프로젝트 관리 팀 설치
Installing an effective, interdisciplinary project management team

학장은 기초과학, 임상 교수 및 의사, 커리큘럼 개발 및 변경 관리 분야의 학제 간 전문성을 한데 모은 [프로젝트 관리팀]을 신설했다. 게다가, 공식적으로 임명된 두 명의 학생들은 정회원이었다. 이 팀은 [세 가지 주요 임무]가 있었다.

• (i) 학제간 커리큘럼 계획 및 후속 통합 전달을 위한 변경 프로세스를 위한 [교수진 전체의 구조]를 구축한다. 
  
• (ii) 일반 커리큘럼 청사진을 학기 중 [구체적인 모듈]로 운영한다. 즉, 특정 교육 시간, 형식 및 내용에 대한 세분화 및 단계별 커리큘럼 결과에 도달할 수 있도록 평가와의 정렬 
  
• (iii) 교직원은 환자 치료, 연구 및 교육에 대한 의무로 크게 점유되기 때문에, 교육과정 개혁이 요구하는 실질적인 구조 및 내용 관련 업무로부터 교직원의 부담을 덜어준다.

The deanery established a project management team that brought together interdisciplinary expertise in the fields of basic science, clinical teaching and physicianship, curriculum development, and change management. Furthermore, two officially appointed students were regular members. The team had three main tasks:

• (i) to build-up a faculty-wide structure for the change process for interdisciplinary curriculum planning and the subsequent integrated delivery;
• (ii) to operationalize the general curriculum blueprint into concrete module und semester structures, i.e. a break-down to specific teaching hours, formats, and content, as well as an alignment with assessments so that step-by-step the curricular outcomes would be reached; and
• (iii) to unburden the faculty from the substantial structural and content-related work which a curriculum reform requires, since the faculty is largely occupied by duties in patient care, research, and teaching.

우리 팀의 필수적인 임무는 [교직원과 자주 솔직하게 소통]하여, [저항을 수용]하고, [건설적인 힘]을 발휘하는 것이었다. 팀은 [모든 부서장에게 브리핑을 실시]하여, 교육 내용과 재정적 영향에 대한 정보를 제공했습니다. 달라진 경영 관점에서 볼 때, 이러한 [브리핑]은 불확실성을 줄이고, 취해야 할 단계에 대한 교수진의 [핵심 참가자를 준비]시키기 위한 결정적인 단계였습니다. 프로젝트 관리 팀의 신뢰성을 위해 새로운 커리큘럼의 전달에 관여하지 않는 것이 중요했고, 따라서 잠재적인 이해 상충을 피하는 것이 중요했습니다.
An essential task of our team was to communicate frequently and forthrightly with faculty members to take up resistance and to use its constructive power. The team conducted briefings with every department director to inform on the effects about teaching content and financial implications. From a changed management point of view, these briefings were a decisive step to reduce uncertainty and to prepare faculty key players for the steps to be taken. For the credibility of the project management team it was important not to be involved in the delivery of the new curriculum, thereby avoiding potential conflicts of interest.

표준화된 커리큘럼 개발 및 구현 프로세스 수립
Establishing a standardized curriculum development and implementation process

핵심 요소는 커리큘럼 개발을 위한 컨의 원칙에 기초하여 각 모듈에 대한 [구조화된 8단계 계획 과정]이었다. 이 과정은 학제간, 협업 및 상향식 과정을 지원하기 위해 투명하고 전체 교수진에게 완전히 개방되었다.
Core element was a structured, eight-step planning process for each module based on Kern´s principles for curriculum development (Kern et al. 1998). The process was transparent and completely open to the entire faculty in order to support an interdisciplinary, collaborative, and bottom-up process.

그림 1은 모듈 계획 프로세스의 8가지 단계를 개략적으로 보여주고 그림 2는 교육과정 위원회와 평가위원회의 모듈 계획과 설문 조사 간의 상호 작용을 보여줍니다.
Figure 1 provides an overview of the eight steps in the module planning process and Figure 2 shows the interaction between module planning and survey by the curriculum committee and assessment board.

 

각 모듈은 학습 목표, 교육 형식, 평가 및 결과와의 정렬을 정의하는 8주의 기간 동안 매주 공개 세션에서 계획되었습니다. 첫 번째 회의에서, 기획 그룹은 그들의 [모듈 의장]을 선출했다: [세 명의 학제간 교수진]과 [한 명의 학생 공동 의장]. 이들은 공동으로 모듈 계획 프로세스를 조정하고 구성했습니다(그림 1 참조). 모듈에 대한 계획 원칙은 "인풋에서 아웃풋까지"였다. 이것은 다양한 샤리테 부서에 최초로 제공된 모든 주제 인풋thematic inputs에서 시작되도록 의도되었다. ("심혈관 시스템" 모듈의 예는 보충 자료 2를 참조하십시오.) 그런 다음 모듈 그룹은 표준화된 8단계 내에서 구체적인 내용을 공동으로 선택, 합성 및 정제하였다. 이 과정에서 [프로젝트 관리 팀]의 주요 업무는 [광범위한 수평 및 수직 통합을 촉진]하는 것이었습니다. 처음에는 여러 부서에서 해결해야 할 과제였습니다. 그러나 기초 과학자들이 그들의 교육 내용에 추가된 임상적 의미를 인식했을 때 통합은 더욱 쉬워졌다. 
Each module was planned in weekly public sessions during a period of eight weeks defining learning objectives, teaching formats, assessment, and its alignment with outcomes. In the first meeting, the planning group elected their module chairs: three interdisciplinary faculty members and a student co-chair. They collaboratively moderated and structured the module planning process (see Figure 1). Planning principle for the modules was “from inputs to outcomes”. This was meant to start from all of the thematic inputs which the various Charité departments had first given (for an example of the module “cardiovascular system” see Supplementary Material 2). The module group then collaboratively selected, synthesized, and refined the specific content within the standardized eight steps. A main task for the project management team in this process was to facilitate a broad horizontal and vertical integration. Initially, this was a challenge for several departments. However, the integration became more facile when the basic scientists recognized the added clinical meaningfulness to their teaching content.

우리 팀은 [일반 청사진의 의도된 모듈 성과] 범위 내에서 [콘텐츠와 학생들의 작업량]을 유지하도록 도왔다. [웹 기반 플랫폼]을 사용하여 프로세스를 촉진하고 교수진 전체에게 투명성을 보장했습니다. 플랫폼에는 모든 과정에 대한 정보(전달 형식 및 기간, 전체 커리큘럼 및 모듈 내 위치, 전달 기관)가 포함되어 있습니다. 8개의 단계를 마친 후, 설계한 모듈 핸드북은 검토를 위해 커리큘럼 위원회에 넘겨졌다(부록 자료 3 참조).
Our team helped to keep the content and the students workload within the range of intended module outcomes of the general blueprint. We used a web-based platform to facilitate the process (Balzer et al. 2016) and to ensure faculty-wide transparency. The platform entailed information on every single course, format and duration of delivery, the position within the total curriculum and within the module, and the delivering institution. Finishing the eight steps, the designed module handbook was then handed over to the curriculum committee for review (see Supplementary Material 3).

[모듈의 도입]은 [다차원 평가 전략]과 병행되었다. 여기에는 학생과 교사의 온라인 평가, 초청 학생의 질적 그룹 토론, 평가 결과 등이 포함됐다. 최신 정보를 얻고 새로운 모듈의 구현을 면밀히 모니터링하기 위한 특별한 전략으로, 우리는 첫 번째 코호트 학생들이 제공하는 일일 항목이 있는 온라인 학습 일지를 사용했다. 연구 일지는 개념적으로 던디 레디 교육 환경 측정(DREEM)을 기반으로 했다.
The implementation of modules was paralleled by a multidimensional evaluation strategy. This included online evaluations by students and teachers, qualitative group discussions by invited students, and the results of assessments. As a special strategy to obtain up-to-date information and to closely monitor the implementation of new modules, we employed online study diaries with daily entries provided by students of the first cohort. The study diary was conceptually based on the Dundee Ready Education Environment Measure (DREEM; Roff et al. 1997).

많은 교수진을 참여시키고 소유권을 창출합니다.
Engaging a large body of faculty and create ownership

교수진 전체, 투명성 및 상향식 프로세스는 참여와 오너십을 촉진했습니다. [학제간 기획회의]에는 학과장 자문위원, 과학자, 학생 등 많은 교수진이 협업해 참여했다. 교수진들은 내용과 적절한 교육 형식의 중요성에 대해 토론했다. 우리 팀은 회의를 주최하고 교수진의 새로운 업무에 점점 더 힘을 실어주기 위해 교수개발 활동을 체계적으로 포함시켰습니다. 이러한 과정에 기초하여 다음 요소들이 소유권을 더욱 촉진하였다.

• (i) 모듈 계획에 참여하는 많은 교수진이 [개별 과정]을 책임지게 되었다. 
  
• (ii) 상당한 수의 교수진과 학생이 모듈 의장 자리를 맡게 되었다. 
  
• (iii) 합의 달성이 주요 의사 결정 원칙이었다. 

그것은 갈등이 없었다는 것을 의미하지 않는다. 반대 의견을 해결하기 위해, 우리는 갈등을 처리하기 위한 세 가지 단계를 설정했습니다. 

• (i) 모듈 계획 그룹에서 논의에 의한 중재 노력 
  
• (ii) 모듈 의장 멤버에 의한 협상 시도 
  
• (iii) 교육과정 위원회의 청문 및 결정.

The faculty-wide, transparent and bottom-up process promoted engagement and ownership. Many faculty members such as department directors consultants, scientists, and students collaboratively took part in the interdisciplinary planning meetings. Faculty members debated about the importance of content and adequate teaching formats. Our team moderated the meetings and systematically included faculty development activities to increasingly empower faculty for their new tasks. On the basis of this process, the following elements further promoted ownership:

• (i) many faculty members participating in module planning became responsible for individual courses;
• (ii) a substantial number of the faculty and students overtook module chair positions; and
• (iii) achieving consensus was the main decision-making principle.

That does not mean that there was no conflict. To resolve dissent, we established three levels to handle conflicts:

• (i) mediation efforts by discussion in the module planning group;
• (ii) negotiation attempts by members of the module chairs; and
• (iii) hearing and decision by the curriculum committee.

여러 단계의 학생들을 참여시킨다.
Involving students at many levels

[교수의 오너십]을 촉진하기 위한 우리의 전략은 [학생의 오너십]을 촉진하기 위한 접근법과 병행되었다. 학생들은 교육과정 변화의 중요한 이해당사자이다. 그들은 실제 커리큘럼을 경험한다. 교육위원회에서 정식 위원이라는 공통적인 역할을 넘어, 모든 모듈 계획 회의에 [모듈 공동 의장] 및 [팀 상임이사]로서 학생들을 적극적으로 참여시켰습니다. 교수진들은 학생들이 훌륭한 의사가 되려는 욕구에 초점을 맞춘 기여도를 높이 평가했습니다. 또한, 부서 이익과 무관한 것으로 인식되어 갈등을 중재하는 데 도움이 되었다. 모듈이 구현될 때 [학생 모듈 공동의장]은 특정 모듈을 거친 모든 학생들의 피드백을 체계적으로 정리하고 후속 모듈 검토회에서 개선안을 제시하였다. 이에 따라 학생들은 광범위한 소유권과 함께 지속적인 교육과정 개발을 위한 중요한 동인이 되었다.

Our strategies to facilitate faculty ownership were paralleled with approaches to facilitate students ownership. Students are important stakeholders in curricular change (Peluso and Takizawa 2010). They experience the curriculum in action. Beyond the common role of being formal members in educational committees, we actively involved students in all module planning meetings as module co-chairs and as permanent members of our team. Faculty members valued the students contribution as it focused on their needs to become good physicians. Also, it was perceived to be independent of department interests and that helped to mediate conflicts. When the modules were implemented, the student module co-chairs systematically compiled the feedback of all students who had gone through the specific module and presented proposals for improvement at the subsequent module review meeting. By that, students became important drivers for ongoing curriculum development with far-reaching ownership.

주요 커리큘럼 구조로 전문 활동 활용
Employing professional activities as main curricular structure

프로젝트 관리 팀이 업무를 시작했을 때, 신뢰할 수 있는 전문 활동(EPA)의 개념은 지식, 기술 및 태도를 통합하고 역량을 직장 내 특정 실무 활동에 연결할 수 있는 잠재적 개념으로 막 등장하기 시작했습니다. 우리는 당시 대학원 교육을 위해 고안된 개념을 학부 커리큘럼에 채택하고 초기 모듈 계획 라운드에 도입했습니다. 거기서, 그것은 임상의와 기초 과학자들 모두에게 좋은 공명을 발견했고, 그래서 우리는 우리의 주요 종적 교육 구조로서 전문적인 활동을 이용하기로 결정했다. EPA는 커리큘럼 연속체를 따라 1차년도 소규모 과제에서 졸업생에게 적합한 과제까지 내포되었다. 
When the project management team took up their work, the concept of entrustable professional activities (EPAs) just began to emerge as a potential concept allowing one to integrate knowledge, skills, and attitudes and to connect competencies to specific practical activities in the workplace (ten Cate and Scheele 2007; ten Cate et al. 2015). We adopted the concept, which at that time was designed for post-graduate training, into our undergraduate curriculum and introduced it into the early module planning rounds (Peters et al. 2017). There, it found good resonance by both clinicians and basic scientists, so that we thus decided to employ professional activities as our main longitudinal curricular structure. EPAs were nested from smaller tasks in year 1 along the curricular continuum up to tasks appropriate for graduating students.

표 1은 EPA "의학적 기록을 취하고, 신체 검사를 수행하고, 결과에 대한 구조화된 요약을 제공한다"의 예시적인 개요를 제공한다. [계획 회의]에서, 우리는 중첩된 전문 활동을 주요 모듈 결과로 사용하고 복잡한 기술을 위한 과정 설계에 대한 전체 작업 접근법을 제공하는 4가지 구성 요소 교육 설계 모델(4C/ID)을 기반으로 교육을 구성했다(Jansen-Noordman et al. 2006). 그림 3은 "심혈관 시스템" 모듈 내에서 3주차 과정 및 강의 통합이 어떻게 달성되었는지를 보여주는 예입니다. 
Table 1 provides an exemplary overview of nesting the EPA “Take a medical history, perform a physical examination, and provide a structured summary of the results”. In the planning meetings, we used nested professional activities as a main module outcome and organized the teaching on the basis of the four-component instructional design model (4 C/ID, Van Merriënboer and Kirschner 2007) which provides a whole-task approach to course design for complex skills (Janssen-Noordman et al. 2006). Figure 3 illustrates an example of how course and lecture integration was achieved in week 3 within the module “cardiovascular system”.

 

그림 3. 학습 주간 매트릭스에 따라 교육 접점을 분류합니다. 
(a) 학습 목표의 차원 및 
(b) "건강"에서 "병리학적" 상태까지의 연속체 
모듈 11 "심혈관 시스템"의 예, 3주차(2차 연구) 행렬은 다음을 보여준다. 

• (a) 학습 목표의 차원: 그림 [하단]의 교육 형식은 인지적 내용에 초점을 맞추고, [상단]의 형식은 (밀러의 피라미드에서 채택된) 실용적인 (통합적) 역량에 초점을 맞춘다. 
  (b) "정상" 조건(그림의 왼쪽)에서 "병리학적" 조건(그림의 오른쪽)까지의 연속체.

이 매트릭스를 적용함으로써 수직적, 수평적 통합이 가시화되고 인지적, 실용적 콘텐츠의 균형 잡힌 혼합이 모니터링될 수 있다.
Figure 3. Matrix of a study week to classify the teaching encounters according to (a) dimensions of learning objectives and (b) the continuum from «healthy» to «pathological» conditions. Example from module 11 “Cardiovascular System”, week 3 (2nd year of studies).

• The matrix shows (a) dimensions of learning objectives: teaching formats in the bottom part of the figure focus on cognitive content, while formats in the upper part focus on practical (integrative) competencies (adapted from Miller’s pyramide).
• The matrix also shows (b) the continuum from «healthy» conditions (left side of the figure) to «pathological» conditions (right side of the figure). By applying this matrix, vertical and horizontal integration are made visible, and a balanced mix of cognitive and practical content may be monitored.

이 주의 1강좌는 내분비내과와 사회과학(기초과학 수평통합)과 2강좌, 1강좌는 생리학, 2강좌는 임상화학, 2강좌는 내분비내분비내과(수직통합)와 2강좌는 해부학, 심장학, 2강좌가 공동으로 진행한다. 수술(수직 통합). "이번 주의 환자 사례"는 중첩된 전문 활동 "임상 조우 따라"의 한 요소를 구성한다.
Lecture 1 in this week is jointly held by the departments Physiology and Anatomy (basis science horizontal integration) and
lecture 2 by Endocrinology and Social Medicine (clinical horizontal integration),
seminar 1 by Physiology,
seminar 2 by Clinical Chemistry, and Endocrinology (vertical integration) and
practical course 2 by Anatomy and Cardiac Surgery (vertical integration).
The “patient case of the week” constitutes one element of the nested professional activity “Along the clinical encounter”.

전체 커리큘럼 개발 과정에서 EPA 개념은 기획 교직원과 학생들이 잘 받아들였고 지금도 진화하고 있다. 최근 교육 종료 EPA는 40명 이상의 주요 교수진이 참여한 델파이 연구에서 도출된 후 새로운 커리큘럼의 중요한 결과로 채택되었다.
Along the whole curriculum development process, the EPA concept was well taken up by the planning faculty and students and is still evolving. Recently, end-of-training EPAs were adopted as overarching outcomes for the new curriculum after having been derived from a Delphi study, which involved more than 40 key faculty members (Holzhausen et al. 2015).

어떻게 의과대학이 공감을 바꾸는가: '환자에 대한 공감'과의 사랑 및 이별 편지 (Med Educ, 2020)
How medical school alters empathy: Student love and break up letters to empathy for patients 
William F. Laughey1 | Megan E. L. Brown1 | Angelique N. Dueñas1 | Rebecca Archer1 | Megan R. Whitwell1 | Ariel Liu2 | Gabrielle M. Finn1,3 

1 소개
1 INTRODUCTION

의과대학에서 공감을 가르치는 것은 확인된 역사를 가지고 있다. 불과 10여 년 전, Hojat 등은 학생들이 환자 치료의 현실을 경험함에 따라 3학년 때부터 침식이 가속화되는 등 의대 기간 동안 학생들의 공감이 실제로 침식된다는 결론을 내린 영향력 있는 논문을 발표했다. 공감이 미래의 의사의 핵심 자질이라는 점을 감안할 때, 공감의 감소는 ('윤리적 침식' 문제의 일부이며) 충격적인 결과입니다. 비록 의대 중 공감을 측정하는 연구에 대한 최근 리뷰가 적어도 서구 국가에서 전반적인 추세는 확실히 공감 점수가 감소하는 것으로 나타났지만, 모든 정량적 연구가 동일한 결론에 도달한 것은 아니다.
Empathy teaching in medical school has a chequered history. Just over a decade ago, Hojat et al1 published an influential paper concluding that student empathy actually erodes during medical school, with erosion accelerating from third year onwards as students experience the realities of patient care. Given that empathy is a core quality for a future physician, empathic decline—part of the problem of ‘ethical erosion’2—is a shocking result. Not all quantitative studies have reached the same conclusion, though a recent review3 of studies that measure empathy during medical school found that, in Western countries at least, the overall trend is indeed for empathy scores to decline.

그러나 정량적 연구를 고려할 때, 공감을 측정하는 바로 그 노력이 복잡하거나 논란이 없는 것은 아니라는 것을 인식해야 한다. 공감의 구성 요소는 인지적 측면과 정서적 측면을 모두 포함하며, 일부 정의는 전적으로 인지적 특징에 중점을 두고 있지만, 다른 이들은 감정적 공명이 없는 공감이라고 주장하기도 한다. 따라서 공감을 측정하기 위한 모든 척도가 실제로 그렇게 하는 것은 아니다. 공감에는 인지적, 정서적 요소 외에도 행동적, 도덕적 요소도 있다. 또한 존재론적 관점에서 공감을 인지행동적 용어로 보아야 하는지, 습득해야 할 기술로 보아야 하는지, 아니면 한 인간이 다른 사람에게 빚지고 있는 자질인 '존재의 방식'으로 보아야 하는지에 대한 논쟁이 있다. 인지적, 정서적, 행동적, 도덕적 요소를 포함한 이러한 공감의 측면은 본 연구와 정보에 입각한 데이터 수집 및 분석에서 민감화 개념sensitizing concepts으로 작용한다.
In considering quantitative research, it should be recognised, however, that the very endeavour of measuring empathy is not without complication or controversy.4-6 Empathy is complex, its components include both cognitive and affective aspects, and while some definitions centre entirely on cognitive characteristics (including Hojat's1), others argue that empathy without emotional resonance may not be empathy at all.7 Therefore, not all scales that purport to measure empathy may actually do so.6 Besides cognitive and affective elements, empathy also has behavioural and moral components.7 Furthermore, in ontological terms, there is debate regarding whether empathy should be viewed in cognitive-behavioural terms, as a skill to be acquired, or as a personal attribute, a quality that one human owes to another, a ‘way of being’.8, 9 These facets of empathy—including cognitive, affective, behavioural and moral components—act as sensitising concepts10 within this study and informed data gathering and analysis.

의과대학이 학생 공감에 어떤 영향을 미치는지 조사하는 대안적 접근 방식은 질적 탐구 쪽으로 눈을 돌리는 것이며, 이러한 다면적인 개념의 뉘앙스를 탐구하는 데 더 적합할 것이다. 현재까지 질적 연구는 [숨겨진 커리큘럼]의 측면을 의대생들이 임상적 공감을 어떻게 보는지에 대한 핵심 영향력자influencer로 파악한다. 이러한 측면에는 다음이 포함된다.

• 긍정적 및 부정적 역할 모델링,
• 환자 관계 확립보다 생물의학 지식 습득을 우선 순위에 두는 것
• 환자 관여에 대한 암묵적 감정 규칙
• 대처 전략으로 냉소주의를 채택하는 것

질적 연구는 또한 다음에 의해 학생들의 공감이 어떻게 부정적인 영향을 받는지를 밝혀냈다.

• 시간의 압박,
• '어렵다'고 인식되는 환자,
• 스트레스 받는 근무환경,
• 성찰의 기회 부족

An alternative approach to investigating how medical school influences student empathy is to turn to qualitative enquiry, arguably better suited to exploring the nuances of such a multifaceted concept.11 To date, qualitative research identifies aspects of the hidden curriculum12 as key influencers of how medical students view clinical empathy. These aspects include

• positive and negative role modelling,
• the prioritising of acquiring biomedical knowledge over establishing patient rapport,
• the implicit emotional rules of engaging with patients and
• the adoption of cynicism as a coping strategy.13-15 

Qualitative research has also identified how student empathy is adversely influenced by

• the pressures of time,
• patients who are perceived to be ‘difficult’,
• stressful working conditions and
• a lack of opportunity for reflection.14, 16-19 

그러나 본 논문에서 다룬 연구 격차인 의학적 교육에 의한 공감의 형성방식과 공감감소 문제에 대한 질적 연구가 미흡하다는 것이 대체적인 의견이다.
However, it is generally agreed that there is insufficient qualitative research into how empathy is shaped by medical education, and the problem of empathic decline,11, 16 the research gap addressed in this paper.

우리는 이전에 의료 교육에서 전혀 활용되지 않았던 질적 탐구 형태인 사랑 및 이별 편지 방법론(LBM)으로 눈을 돌렸다.
We have turned to a form of qualitative enquiry never previously utilised in medical education—love and break up letter methodology (LBM).20, 21

연애와 이별 편지 방법론은 기술 기반 연구인 UX(User Experience)에 뿌리를 두고 있다. UX에서, 참가자들은 기술의 한 측면에 사랑과 이별의 편지를 쓰도록 요청 받는다. 글자는 다음 포커스 그룹 토론의 트리거가 됩니다. LBM은 정서적 영역을 포함하여 논의 중인 개념과 참가자의 관계를 이해하는 창의적인 방법이다. 우리는 LBM이 의대를 통해 학생들이 공감에 대해 얻는 긍정적이고 부정적인 감정을 이해하는 데 도움이 될 것이라고 추론했다. 특히 부정적인, 혹은 '헤어진' 감정은 윤리적 침식의 개념에 대한 유용한 통찰력을 제공할 수 있다. 이와 같이 LBM은 환자공감 실천을 통해 학생관계의 변화하는 성격을 이해하고자 하는 본 연구의 요구조건에 부합한다.
Love and break up letter methodology has roots in User Experience (UX), a technology-based research.22 In UX, participants are asked to write a love and break up letter to an aspect of technology. The letters form the triggers for the focus group discussion that follows. LBM is a creative way to understand participants' relationships with the concept under discussion, including affective domains. We reasoned that LBM would help us understand the positive and negative feelings that students acquire about empathy as they progress through medical school. The negative, or ‘break up’, feelings, in particular, may provide useful insight into the concept of ethical erosion.2 As such, LBM suits the requirements of this study, which aims to understand the changing nature of student relationships with the practice of empathy for patients.

우리의 주요 연구 질문은 [상급 의대생]들이 [환자에 대한 공감]이라는 개념과의 [변화하는 관계]를 어떻게 특징짓는가 하는 것이었습니다. 우리의 목표는 의과대학 과정을 거치면서 공감에 대한 그들의 감정이 어떻게 변하는지 탐구하는 것이다.
Our primary research question was how do senior medical students characterise their changing relationship with the concept of empathy for patients? Our aim is to explore how their feelings about empathy change as they progress through medical school.

2 방법
2 METHODS

2.1 연구 접근법
2.1 Research approach

본 연구에서는 [현실과 지식의 주관성과 사회성]을 강조하는 [상대론적 존재론]과 [사회구성주의 인식론]을 채택한다. 이는 [현실주의자realist], 또는 실증주의자의 양적 관점에서 진행된 대다수의 임상적 공감 연구와는 대조적이다. 후자는 공감의 변화를 측정하는 데 적합하지만, 이러한 변화가 왜 또는 어떻게 발생하는지에 대한 자세한 통찰력을 제공하지 못했다. 이 접근 방식 내에서, 우리는 성찰적 주제 분석을 선택하여 참여자의 경험을 해석하는 데 있어 연구팀의 적극적인 역할을 인정하는 방식으로 데이터를 분석하였다.

Within this study, we adopt a relativist ontology and social constructionist epistemology, which highlight the subjectivity and social nature of reality and knowledge.23-26 This is in contrast to the majority of clinical empathy research, which has been undertaken from a realist, or positivist, quantitative standpoint.11, 27-29 Whilst the latter is suited to measuring changes in empathy, it has not provided detailed insights into why or how these changes occur, questions better explored with a relativist, qualitative approach, adopted here. Within this approach, we have selected reflexive thematic analysis30, 31 to analyse our data in a way that acknowledges the active role of the research team in interpreting participant experiences.32

2.2 설정 및 참가자
2.2 Setting and participants

데이터는 HYMS 윤리 위원회(1902)의 승인에 따라 2019-20학년도 동안 헐 요크 의과대학(HYMS)에서 수집되었다. 모집은 의과대학 경험이 충분한 학생들이 연구 질문에 답할 수 있도록 객관적인 표본을 얻기 위해 4, 5학년 때부터 독점적으로 이루어졌다. HYMS는 850명(여 59%, 남 41%)의 학생이 재학 중인 중소규모 학교이다. 4학년과 5학년은 각각 147명(여 58%, 남 42%)과 132명(여 52%, 남 48%)이다. 모든 자발적 참여자(n = 21)는 포커스 그룹에 참여했지만, 이후 날짜를 맞출 수 없는 한 학생은 예외였다. 우리는 연구 질문에 맞추기 위해 전임 임상 배치 경험이 있는 학생들을 의도적으로 모집했다. 참여는 인센티브가 아닌 자발적이었고, 이메일, 소셜 미디어, 입소문을 통해 모집이 이루어졌다.

Data were collected at the Hull York Medical School (HYMS), during the academic year 2019-20, following approval from the HYMS ethics board (1902). Recruitment was exclusively from years 4 and 5 in order to obtain a purposive sample of students with sufficient experience of medical school to answer the research question. HYMS is a small-medium sized school with 850 students (59% female, 41% male). Years 4 and 5 have 147 (58% female, 42% male) and 132 (52% female, 48% male) students respectively. Every volunteer (n = 21) took part in the focus groups, with the exception of one student who subsequently could not make the date. We purposively recruited students with experience of full-time clinical placements, in order to align with our research questions. Participation was voluntary, not incentivised, and recruitment occurred via email, social media, and word of mouth.

2.3 데이터 수집
2.3 Data collection

포커스 그룹 참여에 앞서, 각 참가자는 익명의 인구 통계 데이터를 수집하기 위한 온라인 설문조사를 완료했다. 학생들은 공감에 대한 자신의 정의와 의과대학 재학 중 공감의 변화가 있었는지에 대해 고려하도록 요청받았다. 이러한 설문 질문은 후속 포커스 그룹 토론을 위해 학생들의 생각을 자극하기 위해 휴리스틱하게 작용했으며, 따라서 독립적인 결과로 보고되지 않는다. 
Prior to focus group participation, each participant completed an online survey to collect anonymous demographic data. Students were prompted to consider their own definition of empathy and whether their empathy had changed during medical school. These survey questions acted heuristically to stimulate student thoughts for the subsequent focus group discussion, and so are not reported as standalone results.

포커스 그룹의 시작에서, 참가자들은 30분 동안 환자에 대한 공감을 위해 사랑과 이별 편지를 모두 쓸 수 있는 시간이 주어졌다. 편지 쓰기 프롬프트는 보충 자료로 제공됩니다. 그리고 나서 학생들은 그들의 편지를 큰 소리로 읽는 동안 연구원들은 후속 토론 프롬프트를 위해 메모를 했다. 각 포커스 그룹에는 적어도 두 명의 연구원이 참석했는데, 한 명이 퍼실리테이션을 하는 동안 다른 한 명은 현장 메모를 했다. 레터 리딩에 이어 진행자는 토론을 위해 레터에 의해 제기되는 반복 포인트를 강조했는데, 그 중 상당수는 동료들이 의견을 내고 서로의 기여를 논의하면서 학생 주도로 이루어졌다. 
At the beginning of the focus group, participants were given 30 minutes to write both a love and a break up letter to empathy for patients. The letter writing prompts are provided as Supplementary Material. Students then read their letters aloud whilst researchers took notes for subsequent discussion prompts. At least two researchers were present at each focus group – one facilitated whilst the other took field notes. Following letter reading, the facilitator highlighted recurrent points raised by the letters for discussion, much of which was student-led, as peers commented and discussed one another's contributions.

4개의 포커스 그룹이 소집되었지만, 1개는 너무 작아서 분석에 포함시킬 수 없었다(마지막 순간에 결석한 학생은 2명만 참석했다는 의미). 총 3개의 포커스 그룹이 사용 가능했다. 이 세 그룹은 각각 7, 8, 5명의 학생으로 구성되어 있으며, 총 20명이었다. 토론 시간(편지 읽기 제외)은 각각 48분, 42분, 43분이었다. 포커스 그룹 1, 2는 대면 진행했지만 그룹 3은 코로나19로 인해 비디오 스트림으로 진행되었습니다. 포커스 그룹이 녹음한 오디오는 MW & WL에 의해 수동으로 변환되었습니다. 다른 정성적 연구와 마찬가지로, 우리는 (이미 사본이 있는) 편지 읽기 같은 일부 내용을 생략하고 집중적인 전사 전략을 선택했다. 모든 예시적인 인용문은 그대로 캡처되었다.
Four focus groups were convened, but one was too small to be included in the analysis (last minute absence meant only two students attended), leaving a total of three usable groups. These three groups comprised 7, 8 and 5 students respectively, total 20. Discussion times (excluding letter reading) were 48, 42 and 43 minutes respectively. Focus groups 1 and 2 were conducted face-to-face, but group 3 was conducted by video stream, due to COVID-19. Focus group recorded audio was manually transcribed by MW & WL. In common with other qualitative research,33, 34 we chose a focussed transcription strategy, omitting some content such as the reading of letters (where we already had copy). All illustrative quotes were captured verbatim.

2.4 데이터 분석
2.4 Data analysis

포커스 그룹 성적표와 연애편지와 이별편지를 함께 분석하였다. 브라운과 클라크가 자세히 설명하고 키거와 바르피오가 최근 요약한 과정에 따른 반사적 주제 분석이 수행되었다. 브라운과 클라크의 주제 분석 6단계는 다음과 같다.

• (a) 데이터를 숙지합니다. 
  
• (b) 초기 코드 생성 
  
• (c) 테마 검색; 
  
• (d) 주제 검토 
  
• (e) 테마 정의 및 이름 지정 
  
• (f) 보고서 작성

연구자(WL, MB, MW, RA)는 포커스 그룹 대화록과 편지를 독립적으로 코딩하여 분석을 심화하도록 모든 데이터를 이중 코딩하였다. 코드북은 공유 Google 드라이브를 사용하여 구성되었으며 포커스 그룹을 분석하면서 귀납적 코드를 추가했습니다. 분석 및 연구자 토론은 각 포커스 그룹 이후 데이터 수집과 동시에 수행되었으며 그룹은 몇 주씩 분리되었다. 주제는 WL에 의해 서면 서술로 구성되었다. 그 팀은 '정보력'이 충족된 시점에 대해 논의하기 위해 정기적으로 만났다.
— 연구 연구 질문에 답하고 전이 가능한 결과를 생성하기에 충분한 표본 크기:

Focus group transcripts and love and break up letters were analysed together. Reflexive thematic analysis, following the process detailed by Braun and Clarke,30 and recently summarised by Kiger and Varpio31 was undertaken. Braun and Clarke's six steps of thematic analysis were adhered to:

• (a) Familiarise with data;
• (b) Generate initial codes;
• (c) Search for themes;
• (d) Review themes;
• (e) Define and name themes; and
• (f) Produce the report.

Researchers (WL, MB, MW, RA) independently coded focus group transcripts and letters, ensuring all data were double coded to deepen the analysis. The code book was formed using a shared Google drive and inductive codes were added as the focus groups were analysed. Analysis and researcher discussion were occurring contemporaneously with data collection, after each focus group, with the groups being separated by several weeks. Themes were constructed into a written narrative by WL. The team met regularly to discuss the point at which ‘information power32, 35 —a sample size sufficient to answer the study research question and generate transferrable findings—had been met.

2.5 반사적 고려사항 및 민감 개념
2.5 Reflexive considerations and sensitising concepts

우리의 접근 방식은 귀납적이었지만, 이론은 내내 논의되었다. 반사적 대화를 통해 정서적, 인지적, 행동적, 도덕적 요소를 포함한 광범위한 관점에 동의하면서 공감에 대한 개인적인 해석을 명확히 했다. 이 모든 것은 우리의 포커스 그룹 질문 및 데이터 분석을 구상한 [민감한 개념]을 형성했다. 예를 들어, 거의 필요하지 않았지만, 우리는 이러한 개념을 중심으로, 자발적인 논의가 수그러들 경우, 포커스 그룹 질문 프롬프트를 고안했다.
Although our approach was inductive, theory was discussed throughout. Through reflexive conversations, we clarified our personal interpretations of empathy, agreeing on a broad-based view, including affective, cognitive, action and moral components. All of these formed the sensitising concepts10 around which we conceived our focus group questioning and data analysis: for example, although rarely needed, we devised focus group question prompts in case spontaneous discussion waned, which centred on these concepts.

3 결과
3 RESULTS

3.1 인구통계 및 배경 설문지 데이터
3.1 Demographics and background questionnaire data

20명의 학생들은 주로 의학교육 4학년이었고, 15명의 여성과 5명의 남성이 참여했다. 표 1은 조사 데이터의 전체 세부 정보를 제공합니다.
The 20 students were primarily in their fourth year of medical education, 15 women and 5 men participated. Table 1 provides full details of survey data.

분석 결과 22개의 하위 테마와 3개의 주요 테마(표 2)가 생성되었습니다.
Analysis generated 22 sub-themes and three major themes (Table 2).

주요 주제는 예술과 기교로서의 공감, 공감 부담, 미덕으로서의 공감이었다. 결과는 이 제목 아래에 서술적으로 제시된다.
The major themes were

• empathy as art and artifice,
• empathic burden, and
• empathy as a virtue.

Results are presented narratively under these headings.

3.2 예술과 책략으로서의 공감
3.2 Empathy as art and artifice

현재의 검사 기반 시스템을 [임상 배치 중에 병원 지도교사와 GP가 내린 판단으로 대체]하는 등 평가에 대한 대안적 접근법이 제시되었다.
Alternative approaches to evaluation were suggested, including replacing the current exam-based system with judgments made by hospital tutors and GPs during clinical placement.

공감에서의 속임수의 문제는 평가에 국한되지 않았다. 실제로, 학생들은 공감하는 말을 속이는 것이 [실제 환경에서도 흔한 관행]이라는 것을 자유롭게 인정했습니다. 대화의 공백을 메우기 위한 장치로 '힘드시겠어요'와 같은 말을 사용하는 것이 일반적인 주제였다.
The problem of artifice in empathy was not confined to assessment. Indeed, students freely acknowledged that faking empathic statements was common practice in real-world settings too. A common theme was the use of statements like ‘that must be difficult’ as a device to fill gaps in conversation.

3.3 감수해야 할 짐
3.3 Empathy as a burden to bear

3.4 미덕으로서의 공감
3.4 Empathy as a virtue

4 토론
4 DISCUSSION

이 정성적 연구는 의과대학 4학년이 될 때까지 학생들이 환자에 대한 공감을 어떻게 느끼는지 이해하기 위해 LBM을 활용했다. 학생들이 보고한 이별 감정 중 일부를 고려하는 것은 특히 흥미롭다. 왜냐하면 이러한 감정들이 우리가 공감의 쇠퇴를 이해하는 데 도움이 될 수 있기 때문이다.

This qualitative study has utilised LBM to understand how students feel about empathy for patients by the time they reach the senior years of medical school. It is particularly interesting to consider some of the break up feelings that students reported, because these may help us to understand empathic decline.

아마도 가장 인상적인 발견은 [가짜 공감]과 관련이 있을 것이고, 학생들은 '그 말을 들으니 유감이다'와 같은 공감하는 진술이 종종 불성실하다는 것을 자유롭게 인정한다. 이는 배치와 평가 설정, 특히 OSCE 모두에 해당했다. 연구는 이전에 의료 교육 및 실습에서 가짜 공감을 강조했습니다. 또한, PA(Physicien Associate) 학생을 대상으로 한 연구는 OSCE의 공감 평가와 동일한 과제를 보고한다. 학생들은 문자 그대로 '공감 상자'를 클릭하도록 강요받고 그들이 진정으로 의도하지 않은 감정 표현을 억지로 외운다. PA학생에 대한 연구와 마찬가지로, 이 연구는 의대생들이 공감 부조화를 경험한다는 것을 확인했다. [공감 부조화]란 [진짜 의도하지 않은 공감의 진술을 하도록 강요당했을 때 학생들이 느끼는 불편함]을 뜻한다. 우리의 데이터는 또한 이러한 진정성 부족, 평가 시스템에 대한 좌절, 공감 부조화 문제가 공감 실천에 대한 일반적인 학생의 냉소를 키울 위험이 있음을 시사한다. 이러한 냉소주의는 다른 곳에서 보고되었고 학생들이 진정한 공감 실천에서 멀어지게 할 위험이 있다. 
Perhaps the most striking finding relates to fake empathy, with students freely acknowledging that empathic statements like ‘I am sorry to hear that’ are often insincere. This was true both for placement and for assessment settings, particularly OSCEs. Research has previously highlighted fake empathy in medical education and practice.36-38 Furthermore, research with Physician Associate (PA) students38 reports identical challenges with the assessment of empathy in OSCEs: students feel compelled to literally ‘tick the empathy box’ and force out rote empathic statements that they do not truly mean. As with research on PA students, this study has identified that medical students experience empathic dissonance38—the discomfort students feel when are forced into making statements of empathy they do not truly mean. Our data also suggest that this lack of authenticity, frustration with the assessment system and the problem of empathic dissonance risk breeding a general student cynicism towards the practice of empathy. This cynicism has been reported elsewhere and risks turning students away from authentic empathic practice.13

[공감의 불성실성insincerity]에 대한 우리의 발견은 [공감적 진술]에 중점을 두고 있지만, 우리는 이러한 유형의 진술을 평가절하하고 싶지 않다. 진료에 관한 모델들은 [공감적 진술]의 authentic한 사용을 정확히 지지한다. 시뮬레이션된 환자(SP)를 사용한 연구는 인간 연결의 가치를 확인한다. 그러나, 이 같은 연구는 또한 [공허한 공감적 진술]이 흔하게 발견되고, 환자를 좌절시킬 위험이 있다는 것을 시사한다. 교육자들에게 [공감적 진술]에 대해 균형 잡힌 시각을 가지고, 그들의 장점뿐만 아니라 한계도 인정하면서, 또한 비언어적 의사소통의 가치를 증진시킬 것을 제안한다. 본 연구의 학생들은 환자의 머리맡에 무릎을 꿇는 시간을 갖는 임상의들의 바디랭귀지에 감명을 받았고, 이에 대한 지지는 공감적 경청을 중심으로 문헌에 나와 있다. 

Whilst our findings regarding insincerity in empathy centre on the empathic statement, we do not wish to devalue this type of statement. Models of the consultation rightly support its authentic use.39 Research with simulated patients (SPs) confirms their value in establishing a human connection.40 However, this same research also suggests that hollow statements of empathy are easy to detect and risk frustrating the patient.40 We propose that educators take a balanced view on empathic statements, acknowledging their merits but also their limitations, whilst also promoting the value of non-verbal communication. Students in this study were impressed by the body language of clinicians who take the time to kneel by the patient's bedside, and there is support for this in the literature around empathic listening.40-42

['감정노동']과 [연민 피로]로서의 공감의 개념은 실제 임상의에 대한 연구에서 확립된다. 우리의 데이터는 또한 학생들이 [너무 많은 공감적 참여]가 [정서적 소진]으로 이어질 것을 두려워한다는 것을 확인시켜준다. 여기에 발표된 증거는 이 우려를 뒷받침하는 일부 연구와 반박하는 다른 연구로 모순된다. 그러나 [공감이 번아웃으로 연결될 위험이 있다는 단순히 인식]이 학생들을 환자에 대한 공감에서 멀어지게 할 수도 있다. 본 연구는 또한 학생들의 공감을 저해할 수 있는 유사한 잠재력을 가진 숨겨진 교육과정 내의 요소들을 강조한다. 의학교육이 '과학적인 것'을 우선시하는 경향과 임상실천에서 공감할 시간이 없음을 암시하는 부정적 역할모델링 등 일부 요인은 이전에 보고되었다. 
The concepts of empathy as ‘emotional labour’43 and compassion fatigue44 are established in research with practising clinicians. Our data confirm that students also fear that too much empathic engagement leads to emotional burnout. Published evidence here is contradictory, with some research to support this concern45, 46 and other research to refute it.46 However, simply the perception that empathy risks burnout may turn students away from empathy for patients. This study also highlights factors within the hidden curriculum11 with similar potential to deter student empathy. Some factors have been previously reported, including the tendency for medical education to prioritise the ‘science stuff’47 and the negative role modelling that implies there is no time for empathy in the real world of clinical practice.38

또한 우리의 자료에서 그리고 이전에 PA 학생 연구에서 보고된 것은 의학교육의 경향으로 [일부 환자들은 공감할 자격이 있지]만, [다른 환자들은 공감할 자격이 없다]고 믿도록 학생들을 사회화하는 것이다. 학생들은 감독관들이 '어려운' 환자에 대해 하는 부정적인 논평에 영향을 받았다. 공감에 대한 그녀의 글에서, Halpern은 [의료진을 향한 도전적인 행동]이 때로는 [도움을 요청하는 외침]이라는 것을 상기시킨다. 샤피로는 내집단을 위한 공감을 유보하고, 외집단을 배제하지 말라고 경고한다. 모든 환자를 '무조건적 긍정적 존중'으로 대하라는 로저스의 문구는 완벽함을 위한 조언이지만, 교육자들이 학생들에게 소통할 수 있는 전문적인 기준으로 남아 있다.
Also evident in our data, and previously reported in PA student research,38 is the tendency of medical education to socialise students into the belief that whilst some patients ‘deserve’ empathy, others do not. Students were influenced by negative comments supervisors make about ‘difficult’ patients. In her writing on empathy, Halpern reminds us that challenging behaviours are sometimes a cry for help.48 Shapiro cautions against reserving empathy for in-groups and excluding out-groups.47 Rodgers’ phrase of holding all patients in ‘unconditional positive regard’49 is a counsel of perfection, but remains a professional standard for educators to communicate to students.

본 연구의 학생들은 회복탄력성에 대한 선행연구와 마찬가지로, 회복탄력성이 낮을 때 공감적 진료상담이 이루어지기 어렵다는 것을 알 수 있다. 특히 회복탄력성을 감소시킨 두 가지 요인은 [평가에 대한 스트레스]와 [원격 배치의 외로움]이었다. 외로움은 학생들이 동료들로부터 지지를 구하는 것을 확인한 주요 대처 전략에 반한다. 학생들은 학교의 자원보다 동료들에게 더 쉽게 의지했다. 교육자들은 또한 학생들이 배치를 통해 자주 로테이션할 때 임상 멘토를 찾기 어렵다는 것을 알아야 한다. 이것은 회복력에 부정적인 영향을 미칠 수 있으며 종적 통합 임상실습에 대한 잠재적인 논쟁거리이다. 
As with previous research on resilience,44, 45, 50 students in this study indicate that when resilience is down empathic consulting is difficult to achieve. Two factors which particularly reduced resilience were the stresses of assessments and the loneliness of remote placements. Loneliness militates against the main coping strategy that students identified that of seeking support from peers. Students more readily turned to peers than to the resources of the school. Educators should also be aware that students find clinical mentors difficult to find when frequently rotating through placements. This may have adverse effects on resilience and is a potential argument for longitudinal integrated clerkships.51

[미덕으로서의 공감]이라는 주제는 학생들이 공감을 직업 정체성에 맞추고, 의학을 선택하는 주요 동기로 인용하면서 데이터를 통해 강하게 흘러갔다. 이러한 미덕적 측면은 임상적 공감의 진정한 본질과 그것이 의학 교육 내에서 어떻게 간주되어야 하는지에 대한 철학적, 존재론적 고려를 제기한다. 미덕이 특성, 즉 인간의 속성이라는 것을 감안할 때, 우리는 공감을 같은 방식으로 보아야만 할까요? 블룸의 분류학에서 공감은 기술보다 태도에 가까운가? 연구자들은 현대 의학 교육이 공감을 [기술]로서 가르치고 평가하는 데 너무 중점을 두고 있으며, 공감이 한 인간human being이 다른 사람에게 빚진owes to 자질이라는 개념을 과소평가한다고 주장해왔다. 
The theme of empathy as a virtue ran strong through the data, with students aligning empathy to professional identity and citing it as a prime motivator for choosing medicine. These virtue aspects raise philosophical and ontological considerations as to the true nature of clinical empathy and how it should be regarded within medical education. Given that virtue is a trait, a human attribute, should we regard empathy in the same way? In terms of Bloom's taxonomy,52 is empathy closer to an attitude than a skill? Researchers have argued that contemporary medical education puts too much emphasis on teaching and assessing empathy as a skill and undervalues the notion that empathy is a quality that one human being owes to another.48

기술에서 벗어나 태도 또는 더 나은 속성으로 패러다임 전환을 통해 본 논의에서 제기된 몇 가지 문제에 대한 가능한 해결책을 제시합니다. OSCE의 경우, 교육자들은 공감의 '보여주기shows'와 '수행능력'를 평가하는 효용성을 재고할 수 있다. '보여주기shows'와 '수행능력'은 [정확히 OSCE가 밀러의 피라미드에서 차지하는 수준]이기 때문이다. [공감을 '존재의 방식'으로 여기는 교육자들]은 [동정심을 보이는 것] 만으로는 [진정한 공감 행위]와 동일시되지 않는다는 것을 인식하고, 두 가지를 혼동하는 평가를 거부할 가능성이 높다. 공감을 조금이라도 평가하려면 본 연구에서 학생들이 제안한 대로 튜터가 실제 임상 배치 판단을 선호할 것이다. 샤피로는 의학교육 내에서 [공감적 진료상담의 기풍]에 중점을 둔다면, 학생들은 현재 의학 문화에서 아웃그룹으로 간주되는 어렵고 도전적인 환자들에 대한 공감을 찾기 위해 더 많은 노력을 기울일 것이라고 주장한다. [공감의 미덕적 측면]을 재확인하는 것은 학생들이 숨겨진 교육과정 안에 내포된 다른 부정적인 메시지들을 극복하는데 유사하게 도움이 될 수 있다.

A paradigm-shift away from skills and towards attitudes—or perhaps better, attributes—presents possible solutions to some of the problems raised in this discussion. In the case of OSCEs, educators may reconsider the utility of assessing ‘shows’ and ‘performances’ of empathy, for ‘show’ and ‘performance’ is precisely the level the OSCE occupies in Miller's pyramid.53 Educators who regard empathy as a ‘way of being’8 are more likely to recognise that the mere show of compassion does not equate to the true act, and would reject an assessment that confuses the two.54 If empathy is to be assessed at all, our preference would be real-world clinical placement judgments made by tutors, as suggested by students in this study. Shapiro argues that if emphasis is made on committing to an ethos of empathic consulting within medical education, students would be more likely to stive to find empathy for those difficult and challenging patients who are currently regarded as outgroups in the culture of medicine.47 Reaffirming the virtue aspects of empathy may similarly help students overcome other negative messages implied within the hidden curriculum.

4.1 제한 사항
4.1 Limitations

본 연구의 주된 한계는 한 기관에 국한되어 있다는 것이다. 비록 통합 커리큘럼과 커뮤니케이션 교육이 많은 다른 서양 학교들과 비슷할 것으로 예상하지만, 가르침에 관한 일부 연구 결과는 이 학교에 특별할 수 있다. 우리는 학교가 커뮤니케이션 교육에 널리 채택된 [캘거리 캠브리지 모델]을 사용하고, 대부분의 학교에서 비슷하게 사용되는 SP와의 세션을 포함하여 초기에 대학 기반 커뮤니케이션 교육을 집중하는 관행을 기반으로 한다. OSCE를 통한 커뮤니케이션 능력 평가는 다른 기관에서도 널리 채택되고 있다. 예를 들어, HYMS 학생들은 1학년, 2학년, 3학년 때 종합 OSCE를 가졌다. LBM 방법론은 데이터 수집이 포커스 그룹에서만 이루어졌다는 것을 의미했으며, 이는 이러한 그룹의 공공성에 대해 우려하는 일부 학생들의 보다 민감한 기여를 방해했을 수 있다. 우리의 코호트는 여성이 남성보다 더 많은 공감을 보인다는 증거를 고려할 때, 여성 대 남성 비율이 3:1이었다. 이것은 또한 소견의 전달 가능성에 영향을 미칠 수 있다.

The principle limitation of this research is that it is confined to one institution. Some findings regarding teaching may be specific to this school, although we anticipate its integrated curriculum and communication teaching are similar to many other Western schools. We base this assumption on the school's use of the widely adopted Calgary Cambridge55 model for communication teaching, and the practice of concentrating university-based communication teaching in the early years, including sessions with SPs, which are similarly utilised in the majority of schools.56 The assessment of communication skill through OSCEs is also widely adopted in other institutions—for context, HYMS students had summative OSCEs in 1st, 2nd and 3rd years. LBM methodology meant data collection was exclusively from focus groups, which may have hindered more sensitive contributions from some students concerned about the public nature of these groups. Our cohort had a female to male ratio of 3:1, given the evidence that females demonstrate more empathy than males,57, 58 this may also affect the transferability of findings.

5 LBM 반사
5 LBM REFLECTIONS

의학 교육 연구에서 LBM의 첫 번째 사용이기 때문에, 우리는 방법론에 대한 간략한 반성을 제공한다.
As this is the first use of LBM has in medical education research, we offer brief reflections on the methodology.

사랑과 이별의 편지는 여기서 의인화, 은유, 과장, 심지어 시를 포함한 고조되고 비유적인 언어를 요구한다. 이 글은 더 다채롭다. 그것은 흥미와 참여를 높이며, 그렇지 않으면 추상적인 주제가 될 수 있는 것에 대한 토론을 부추긴다. 그 편지들은 또한 우리의 연구 분석에 우리를 참여시켰다. 창의적인 글쓰기는 더 풍부한 메시지를 전달하고 더 풍부한 메시지는 분석을 위한 더 풍부한 데이터로 변환됩니다. LMB는 [모든 그룹 구성원이 초기 음성을 가질 수 있도록] 하여, 조용한 구성원이 수다스러운 구성원에 의해 가려질 수 있는 포커스 그룹의 한계를 완화한다. [큰소리로 편지를 읽는 것]도 토론이 이어질 수 있는 쇄빙선 역할을 한다. 마지막으로, 편지는 포커스 그룹 내용을 보완합니다. 즉, 분석을 위한 증가된 데이터를 제공합니다.
Love and break up letters call for heightened, figurative language, here including personification, metaphor, hyperbole, even poetry. This writing is more colourful. It elevates interest and engagement, fuelling discussion around what could otherwise be an abstract topic. The letters also engaged us in our research analysis. Creative writing communicates richer messages and richer messages translate to richer data for analysis. LMB allows all group members to have an initial voice, mitigating a limitation of focus groups that quieter members may be over-shadowed by talkative ones.59 Reading letters aloud also acts as an icebreaker for the discussion to follow. Finally, the letters supplement the focus group transcripts: they provide increased data for analysis.

물론 한계가 있다. 사랑과 이별의 편지는 본질적으로 이분법적이어서 극적 대립에 초점을 맞추고 그 사이의 회색 음영을 희생시킨다. 포커스 그룹 진행자들은 이것을 유념할 필요가 있다. 진행자들은 또한 창의적인 글쓰기를 경계하고 그들의 편지를 읽는 것을 부끄러워하는 참가자들에게 민감할 필요가 있다. 실제 수준에서, 쓰기 과제는 본 연구에서 20-30분을 추가하여 포커스 그룹의 기간을 연장한다.
Of course, there are limitations. By their nature, love and break up letters are dichotomous, risking a focus on polar opposites and sacrificing shades of grey between. Focus group moderators need to be mindful of this. Moderators also need to be sensitive to participants who are wary of creative writing and embarrassed to read their letters. On a practical level, the writing task extends the duration of the focus group, adding 20-30 minutes in this study.

6 결론
6 CONCLUSION

본 연구는 의과대학 재학 중 환자에 대한 학생 공감의 질적 변화를 확인한다. 학생들은 먼저 [공감적 진술]을 배우고 나서, 그들의 의사소통 연습을 [더 자연스러운 어구 및 비언어적 표현]을 포함하도록 진화시킨다. 그러나 그들은 또한 현재의 평가 방법에 의해 악화되는 문제인 [공감적 진술을 위조하는 법]을 배운다. [연민적 의사소통의 장벽]에는 [공감 부담, 부정적인 역할 모델링, 어려운 환자에게 연민적 접근 방식을 채택하는 문제]가 포함된다. 이러한 장벽에도 불구하고, 학생들은 계속해서 공감을 미덕으로 인식하고 기술에 숙달된 임상의로부터 긍정적인 동기를 얻는다. 조사 결과를 바탕으로 교육자의 주요 요점을 제시합니다(표 3).

This study confirms qualitative changes in student empathy for patients during their time in medical school. Students first learn empathic statements and then evolve their communication practice to incorporate more natural turns of phrase and non-verbal expression. However, they also learn to fake empathic statements, a problem exacerbated by current assessment methods. Barriers to compassionate communication include empathic burden, negative role modelling and the challenges of adopting a compassionate approach for difficult patients. Despite these barriers, students continue to identify with empathy as a virtue and take positive motivation from those clinicians who demonstrate mastery of the art. Based on our findings, we include key points for educators (Table 3).

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

자기조절학습의 리뷰: 여섯 개 모델과 네 개의 연구방향(Front Psychol. 2017)
A Review of Self-regulated Learning: Six Models and Four Directions for Research
Ernesto Panadero*

서론
Introduction

자기조절학습(SRL)은 학습의 인지적, 동기적, 감정적 측면을 이해하기 위한 핵심 개념 프레임워크이다. SRL은 학자들이 SRL과 메타인식을 구별하기 시작한 최초의 논문 이후 교육심리학에 큰 기여를 했다. 이후 SRL 이론 분야의 출판물은 개념적 발전 측면에서 증가 및 확장되었으며, 현재 SRL의 여러 모델이 존재한다. 2001년, 보카르트, 보르코프스키, 핀트리히, 윈, 짐머먼의 이론적인 리뷰가 출판되었다. 그러나 이 분야는 2001년 이후 크게 발전했다.

Self-regulated learning (SRL) is a core conceptual framework to understand the cognitive, motivational, and emotional aspects of learning. SRL has made a major contribution to educational psychology since the first papers in which scholars began to distinguish between SRL and metacognition (e.g., Zimmerman, 1986; Pintrich et al., 1993a). Since then, publications in the field of SRL theory have increased and expanded in terms of conceptual development, and there are now several models of SRL (Sitzmann and Ely, 2011). In 2001, a theoretical review was published (Puustinen and Pulkkinen, 2001) that included the most relevant models at that time–those articulated by Boekaerts, Borkowski, Pintrich, Winne, and Zimmerman. However, the field has developed significantly since 2001.

• 이러한 진화의 첫 번째 징후는 SRL의 영향에 대한 세 가지 메타 분석이 있다는 것이다: 디그너와 뷔트너(2008년), 디그너 외 연구진(2008년), 시트만과 엘리(2011년).
  
• 두 번째 지표는 교육심리학 분야에서 2001년에는 존재하지 않았던 새로운 SRL 모델이 현재 존재한다는 것이다.
  
• 마지막으로, 세 번째 측면은 SRL을 평가하기 위해 확립된 다양한 방법을 제시하는 새로운 핸드북이 있다는 것이다.
• A first sign of that evolution is that there are now three meta-analyses of the effects of SRL: Dignath and Büttner (2008), Dignath et al. (2008), and Sitzmann and Ely (2011).
• A second indicator is that there are now new SRL models in the educational psychology field that did not exist in 2001 (e.g., Efklides, 2011; Hadwin et al., 2011, in press).
• And lastly, a third aspect is that there is a new handbook1 (Zimmerman and Schunk, 2011) that presents a variety of established methods to evaluate SRL.

이전 핸드북과 비교하여, 최근의 핸드북에는 새로운 모델을 제시하는 데 전념하는 섹션이 없으며, SRL의 특정 측면(예: 기본 도메인, 교육 문제, 방법론 문제)에 초점을 맞추고 있으며, 이는 해당 분야가 발전하여 보다 성숙한 단계에 도달했음을 보여준다. 
Compared to the previous handbook (Boekaerts et al., 2000), the recent handbook has no sections dedicated to presenting new models, being focused on specific aspects of SRL (e.g., basic domains, instructional issues, methodological issues), which shows that the field has evolved and reached a more mature phase.

따라서 SRL 모델의 개발을 기반으로 알려진 것을 비교하고 이론적 및 실제적 함의가 무엇인지 추출하여 재분석해야 할 때입니다. 따라서 본 검토의 목적은 다양한 SRL 모델을 이에 따라 분석하고 최신 기술 및 이용 가능한 새로운 경험적 데이터와 비교하는 것이다. 
It is time, then, to reanalyze what is known based on the development of SRL models by comparing them and extracting what are the theoretical and practical implications. Therefore, the aim of this review is to analyze and compare the different SRL models accordingly with the current state of the art and the new empirical data available.

방법들
Methods

포함 기준
Criteria for Inclusion

이론적, 경험적 배경이 통합된 모델만 포함이 고려되었다. 모델을 선택하는 기준은 다음과 같다.
Only models with a consolidated theoretical and empirical background were considered for inclusion. The criteria to select a model were that

• (a) JCR 저널 또는 SRL 핸드북에 게시되어야 하므로 동료 검토를 거쳐야 한다.
  
• (b) 영어로 작성되어야 한다.
  
• (c) 최소 인용 수가 있어야 합니다.
• (a) it should be published in JCR journals or SRL handbooks, thus peer-reviewed;
• (b) it should be written in English; and
• (c) it should have a minimum number of cites.

2010년 이전에 발표된 모델에는 최소 500개의 참조 자료가 있어야 한다. 이 모델이 2010년 이후에 출판되었다면 적어도 연간 20개의 인용구가 있어야 한다.
Models published earlier than 2010 should have at least 500 references. If the model was published after 2010, it should at least have 20 cites per year.

선택 과정
Selection Process

첫 번째 단계로 2001년 검토에 포함된 모델 중 어떤 모델이 여전히 활발히 사용되고 있는지를 분석하였다. Boekaerts, Winne, Zimmerman의 모델은 널리 사용되고 있으며 저자들은 최신 핸드북(2011)에 발표된 활발한 SRL 학자들이다. 그러나 2001년 리뷰의 다른 두 모델인 핀트리히와 보르코프스키를 더 고려해야 했다. 핀트리히는 불행히도 그의 연구를 더 발전시킬 수 없었지만, 그의 모델과 그에 기반한 설문지인 학습 동기 부여 전략 설문지(MSLQ)는 여전히 연구에 널리 사용되고 있다. 메타인식에 강한 기반을 두고 있는 보르코프스키 외 연구진(2000)의 모델은 최근 몇 년간 SRL 분야 개발에서 존재감이 떨어졌고, 주요 저자는 자신의 연구 초점을 '예외성'(예: 학습장애)으로 옮겼다. 그러므로, 그것은 제외되었다.

As a first step, it was analyzed which of the models included in the 2001 review were still actively used. The models by Boekaerts, Winne, and Zimmerman were included as they are widely used and the authors are active SRL scholars who published in the latest handbook (2011). However, the two other models from the 2001 review–Pintrich and Borkowski–needed further consideration. Pintrich was, unfortunately, not able to develop his work further (Limón et al., 2004), but his model and the questionnaire based on it, the Motivated Strategies for Learning Questionnaire (MSLQ) (Pintrich et al., 1993b), are still widely used in research (e.g., Moos and Ringdal, 2012). Borkowski et al.’s (2000) model, which has a strong basis in metacognition, has had less of a presence in the development of the SRL field in recent years, and the main author has transferred his research focus to “exceptionality” (e.g., learning disabilities). Therefore, it was excluded.

두 번째 결정은 새로운 모델을 고려하는 것이었다. 두 가지 조치가 취해졌다.
The second decision was to consider new models. Two actions were taken.

• 첫째, 2001년부터 "자기조절학습모델"이라는 용어를 사용하여 PsycINFO에서 문헌 검색을 수행하였다.
  
• 두 번째로, 나는 8명의 SRL 동료들에게 새로운 모델을 식별하도록 요청했다.
• First, a literature search was performed in PsycINFO using the term “self-regulated learning model” from 2001 onward.
• Second, I asked eight SRL colleagues to identify new models.

5개의 새로운 모델이 확인되었다. Efklides'(2011) 모델은 감정과 동기가 메타인지와 상호 작용하는 방식을 탐구하며, Boekaerts'와 비교하여 학생들의 하향식/하향식 처리에 대한 다른 해석을 제공하여 SRL에 대한 이해를 넓힌다. Hadwin 등의 모델은 SRL 분야에서 새로운 연구 라인이 되어온 학습 규제의 사회적 측면을 다룬다. 또한, 다음 세 가지가 고려되었다.
Five new models were identified. Efklides’ (2011) model explores how emotion and motivation interact with metacognition, and offers a different interpretation of students’ top–down/bottom–up processing in comparison to Boekaerts’, thereby broadening our understanding of SRL. Hadwin et al.’s (2011, in press) model addresses the social aspects of the regulation of learning, which has been an emerging line of research within the SRL field (Panadero and Järvelä, 2015). Additionally, three others were considered:

• (a) Wolters(2003)는 동기부여 규제에 중점을 두고 있다.
  
• (b) 아제베도 외. (2004) 이는 Winne과 동료의 작업을 기반으로 하며 SRL의 마이크로 레벨 분석을 설명한다.
  
• (c) 슈미츠와 비제(2006)는 짐머만의 모델을 기반으로 몇 가지 수정을 제안한다.
  
  
• (a) Wolters (2003), which has a strong focus on motivation regulation;
• (b) Azevedo et al. (2004), which builds upon the work of Winne and colleagues (e.g., Azevedo and Cromley, 2004, p. 525, fourth paragraph) and describes a micro-level analysis of SRL; and
• (c) Schmitz and Wiese (2006), which takes Zimmerman’s model as a foundation and proposes some tweaks.

이 세 가지 모델은 관련성이 있고 학자들은 SRL에 대한 중요한 경험적 연구를 수행했지만, 두 가지 이유로 포함하지 않기로 결정했다.
While these three models are relevant and the scholars have conducted important empirical research on SRL, it was decided not to include them for two reasons.

• 첫째, Wolters는 동기 부여에 중점을 두고 있으며, SRL 구성 요소의 전체 스펙트럼을 다루지 않는다.
  
• 둘째, 아제베도 외 연구진(2004)과 슈미츠와 비제(2006)는 이미 포함된 다른 두 모델(각각 윈과 짐머만)과 상당한 유사성을 가지고 있다.
• First, Wolters has a strong focus on motivation and does not cover the whole spectrum of SRL components.
• Second, Azevedo et al. (2004) and Schmitz and Wiese (2006) have considerable similarities with two other models that were already included (Winne and Zimmerman, respectively).

요약하면, 짐머만, 보에카르트, 윈, 핀트리치의 모델들은 최근 몇 년간의 연구를 바탕으로 새로운 렌즈로 분석될 것이다. 또한, 에프클리데스와 하드윈, 예르벨래, 밀러의 두 가지 새로운 모델이 더 확립된 모델과 비교될 것이다. 다음으로, 모델들은 시간 순서대로 논의될 것이다.
In sum, the models from Zimmerman, Boekaerts, Winne, and Pintrich, will be analyzed with a new lens based on the research of recent years. Additionally, two new models–those of Efklides and of Hadwin, Järvelä, and Miller–will be compared to those more established models. Next, the models will be discussed in chronological order.

자율 학습 모델
The Self-Regulated Learning Models

짐머만: SRL의 사회인지적 시각에 관한 연구
Zimmerman: A Socio-cognitive Perspective of SRL Grounded by Three Models

짐머만은 최초의 SRL 작가 중 한 명이다. 그는 SRL에 영향을 미치는 상호 작용을 설명하기 위한 첫 번째 시도인 1989년에 발표된 첫 번째 SRL 모델을 세 가지 다른 SRL 모델을 개발했다.
Zimmerman was one of the first SRL authors (e.g., Zimmerman, 1986). He has developed three different SRL models, being the first one published in 1989 representing what was the first attempt to explain the interactions that influence SRL.

모델의 역사와 개발
History and Development of the Models

짐머먼(2013)은 자신의 경력과 작품발전을 사회인지 이론(즉, 개인은 타인과 사회적 상호작용을 관찰함으로써 지식을 얻는다)으로 구성했다. 짐머맨의 연구는 알베르트 반두라, 테드 L. 로젠탈과 공동으로 인지 모델링 연구로부터 시작되었다. 나중에 짐머만은 개별 학습자들이 어떻게 인지 모델을 습득하고 다른 업무에서 전문가가 되는지 탐구하기 시작했다.
Zimmerman (2013)reviewed his career and the development of his work, framing it into the socio-cognitive theory (i.e., individuals acquire knowledge by observing others and social interaction). Zimmerman’s work started from cognitive modeling research in collaboration with Albert Bandura and Ted L. Rosenthal. Later Zimmerman began to explore how individual learners acquire those cognitive models and become experts in different tasks.

가장 많은 SRL 작가 중 한 명인 짐머만은 SRL의 세 가지 모델을 개발했다.
As one of the most prolific SRL writers, Zimmerman has developed three models of SRL (Panadero and Alonso-Tapia, 2014).

• SRL의 삼원적 분석으로 알려진 첫 번째 모델(그림 1)은 SRL의 세 가지 형태의 상호 작용을 나타낸다: 환경, 행동 및 사람 수준. 이 모델은 반두라의 사회적 인식에 대한 3원적 모델 내에서 SRL을 어떻게 구상할 수 있는지를 설명한다.
  
• 두 번째 모델(그림 2)은 SRL의 주기적 단계를 나타내며, 개인 수준에서 메타인지 및 동기 부여 프로세스의 상호 관계를 설명합니다. 이 모델은 2000년 핸드북의 한 장에 제시되었으며, 일반적으로 짐머만의 모델로 알려져 있다. 각 단계에 속하는 하위 프로세스가 제시되었지만, 이러한 하위 프로세스가 그림에 포함된 것은 2003년이 되어서였다. 
• 마지막으로, Zimmerman과 Moylan(2009)에서 모델은 성능 단계의 새로운 메타인지 및 자발적 전략을 포함하여 몇 가지 조정을 거쳤다(그림 3). 최근에 Multi-Level Model로 불리는 Zimmerman이 개발한 세 번째 모델(그림 4)은 학생들이 자율규제 역량을 습득하는 네 가지 단계를 나타낸다.
• The first model (Figure 1), known as the Triadic Analysis of SRL, represents the interactions of three forms of SRL: environment, behavior and person level (Zimmerman, 1989). This model describes how SRL could be envisioned within Bandura’s triadic model of social-cognition.
• The second model (Figure 2) represents the Cyclical Phases of SRL, which explains at the individual level the interrelation of metacognitive and motivational processes. This model was presented in a chapter in the 2000 handbook, and it is usually known as Zimmerman’s model. There the subprocesses that belong to each phase were presented, but it was not until 2003 that these subprocesses were embedded in the figure (Zimmerman and Campillo, 2003).
• Finally, in Zimmerman and Moylan (2009) the model underwent some tweaks (Figure 3), including new metacognitive and volitional strategies in the performance phase. The third model Zimmerman developed (Figure 4), which recently has been called the Multi-Level model, represents the four stages in which students acquire their self-regulatory competency (Zimmerman, 2000).

이 검토에서는 순환 단계 모델이 분석됩니다. 여기서 분석된 다른 저자의 모델과 동일한 수준에서 SRL 프로세스를 설명하기 때문입니다.
In this review, Cyclical Phases model will be analyzed, as it describes the SRL process at the same level as the models from the other authors analyzed here.

FIGURE 1. Triadic model of SRL. Adapted from Zimmerman (1989).

FIGURE 2. Cyclical phases model (1st version). Adapted from Zimmerman (2000).

FIGURE 3. Current version Cyclical phases model. Adapted from Zimmerman and Moylan (2009).

FIGURE 4. Multi-level model. Adapted from Zimmerman (2000).

짐머만의 주기적 위상 모형
Zimmerman’s Cyclical Phases Model

Zimmerman(2000) SRL 모델은 사전 고려, 성능 및 자기 성찰의 세 단계로 구성됩니다(그림 3 참조).
Zimmerman’s (2000) SRL model is organized in three phases: forethought, performance and self-reflection (see Figure 3).

• [선행 사고 단계]에서 학생들은 과제를 분석하고 목표를 설정하고, 목표에 도달하는 방법을 계획하며, 많은 동기부여 신념이 과정에 에너지를 주고 학습 전략의 활성화에 영향을 미친다.
  
• [수행 단계]에서, 학생들은 실제로 과제를 실행하면서, 그들이 어떻게 진행되고 있는지 관찰하고, 그 과제를 끝내기 위해 인지적으로 참여하고 동기를 부여하기 위해 많은 자기 통제 전략을 사용한다.
  
• 마지막으로, [자기 성찰 단계]에서, 학생들은 그들이 어떻게 과제를 수행했는지 평가하며, 그들의 성공 또는 실패에 대한 귀인을 만든다.
• In the forethought phase, the students analyze the task, set goals, plan how to reach them and a number of motivational beliefs energies the process and influence the activation of learning strategies.
• In the performance phase, the students actually execute the task, while they monitor how they are progressing, and use a number of self-control strategies to keep themselves cognitively engaged and motivated to finish the task.
• Finally, in the self-reflection phase, students assess how they have performed the task, making attributions about their success or failure.

이러한 속성은 학생들이 이후의 공연에서 과제에 접근하는 방식에 긍정적인 또는 부정적인 영향을 미칠 수 있는 자기 반응을 생성한다.
These attributions generate self-reactions that can positively or negatively influence how the students approach the task in later performances.

짐머만의 주기적 모델을 뒷받침하는 경험적 증거
mpirical Evidence Supporting Zimmerman’s Cyclical Model

짐머만의 경험적 증거에 대한 개요는 그의 경력 검토에서 찾을 수 있다. 짐머만의 경험적 연구의 특별한 특징은 보다 전형적인 학문적 기술과 함께 운동 기술을 사용한다는 것이다. 짐머만 모델의 다양한 측면을 테스트하기 위해 많은 연구가 수행되었으며, 특히 다단계 및 주기적 위상 모델이 그러하다. 짐머만은 키산타스와 클리어리와 함께 다단계 모델을 테스트하는 작업을 수행했다. 이 네 가지 스터디는 두 가지 유형으로 분류할 수 있습니다.
An overview of Zimmerman’s empirical evidence can be found in his career review (Zimmerman, 2013). A special feature of Zimmerman’s empirical research is the use of athletic skills, along with more typical academic skills. A number of studies have been conducted to test different aspects of Zimmerman’s models (Puustinen and Pulkkinen, 2001; Zimmerman, 2013), especially the Multi-level and the Cyclical phase models. Zimmerman conducted work with Kitsantas and Cleary that tested the Multi-level model (Zimmerman and Kitsantas, 1997, 1999, 2002; Kitsantas et al., 2000). Those four studies can be grouped in two types.

• 첫째, 1997년과 1999년에 발표된 논문은 고등학생과 함께 다트 던지기, 쓰기 두 가지 다른 과제에서 결과 및 과정 목표의 차등적 효과를 연구하여 모형에 대한 지지를 찾았다.
  
• 그리고 둘째, 2000년과 2002년에 발표된 논문은 다트 던지기 및 쓰기 SRL 기술 개발에 있어 서로 다른 유형의 모델을 관찰하는 효과를 연구하였다.
• First, the articles published in 1997 and 1999 studied the differential effect of outcome and process goals with high school students in two different tasks dart throwing and writing, finding support for the model.
• And second, the articles published in 2000 and 2002 studied the effect of observing different types of models in the development of SRL skills in dart throwing and writing.

순환 위상 모델은 일련의 네 가지 연구에서 테스트되었다.
The cyclical phase model has been tested in a series of four studies.

• 첫째, Cleary와 Zimmerman(2001)은 농구에서 전문가, 비전문가, 초보자인 사춘기 소년들이 보여주는 SRL 기술을 연구한 결과, 전문가들이 SRL 동작을 더 많이 수행한 것으로 나타났다.
  
• 둘째, 유사한 연구에서 Kitsantas와 Zimmerman(2002)은 배구의 전문가와 비전문가인 대학생 여성을 비교한 결과, SRL 기술이 서브 기술에서 90%의 차이를 예측하였다.
  
• 셋째, 클리어리 외 연구진(2006)은 50명의 대학생을 농구 자유투로 훈련시켰다: 1상 SRL, 2상 SRL, 3상 SRL, 통제 그룹 연습 전용 및 통제 그룹 연습 없음. 결과는 선형 추세를 보였다: 더 많은 단계가 훈련될수록 참가자들의 점수가 더 좋았다.
  
• 마지막으로, DiBenedetto와 Zimmerman(2010)은 과학 수업 중 51명의 고등학교 3학년생을 대상으로 높은 성취도가 Zimmerman 모델의 하위 프로세스를 더 많이 사용하는 것으로 나타났다.
• First, Cleary and Zimmerman (2001) studied the SRL skills showed by adolescent boys who were experts, non-experts and novices in basketball, finding that experts performed more SRL actions.
• Second, in a similar study, Kitsantas and Zimmerman (2002) compared college women that were experts and non-experts in volleyball, finding that the SRL skills predicted 90% variance in serving skills.
• Third, Cleary et al. (2006) trained 50 college students in basketball free throws organized in five different conditions: one-phase SRL, two-phases SRL, three-phases SRL, control group practice-only and control group no-practice. The results showed a linear trend: the more phases trained the better the participants’ scores.
• Finally, fourth, DiBenedetto and Zimmerman (2010) studied 51 high school seniors during science courses seniors finding that higher achievers showed more use of subprocesses from Zimmerman’s model.

짐머만의 모델에 대한 또 다른 중요한 연구는 베른하르트 슈미트와 동료들이 수행한 연구이다. 이미 언급했듯이, 슈미트는 짐머먼을 기반으로 한 SRL 모델을 개발했고, 쿨(2000) 모델의 영향을 받아 단계와 하위 프로세스의 이름이 변경되었다. 이 이론적 제안은 SRL에서 자기 모니터링의 역할을 크게 강조한다. 또한 Schmitz는 학습 일지의 사용과 시계열 분석으로 알려진 다양한 데이터 분석에 대한 중요한 연구를 개발했다. 그의 주요 결과는 학습 일지의 사용이 모든 SRL 단계를 향상시켜 학생들의 SRL과 성과에 영향을 미치는 효과적인 방법이라는 것이다.
Another important piece of research into Zimmerman’s model is the work performed by Bernhard Schmidt and colleagues. As already mentioned, Schmidt has developed a SRL model based on Zimmerman’s and influenced by Kuhl’s (2000) model with changes in the names of the phases and subprocesses included (Schmitz and Wiese, 2006). This theoretical proposal gives a major emphasis to the role of self-monitoring in SRL (Schmitz et al., 2011). Additionally, Schmitz has developed significant research on how the use of learning diaries and its different data analysis known as time-series analysis. His main results have been that the use of learning diaries enhances all SRL phases being an effective way to impact in students’ SRL and performance.

기기 및 측정 방법
Instruments and Measurement Methods

짐머만의 모델 우산 아래, 5개의 기구와 측정이 개발되었다.
Under Zimmerman’s model umbrella, five instruments and measurements have been developed.

• 첫째, Zimmerman 모델에 존재하는 하위 프로세스는 부분적으로 SRLIS(Self-Regulated Learning Interview Schedule)의 검증 과정에서 발견된 결과에 기초한다. 
  
• 둘째, Zimmerman은 필기 및 다트 던지기 실험 훈련 환경에서 SRL을 평가하는 절차를 개발했다. 
  
• 셋째, Cleary와 Zimmerman, Kitsantas와 Zimmerman, DiBenedetto와 Zimmerman은 순환 단계 모델의 타당성을 평가하기 위해 미세 분석 측정을 개발했다. 
  
• 넷째, Zimmerman은 자기효능감과 자기평가에 대한 자기조절 및 교정조치를 위해 다양한 자기효능감의 측정방법을 개발하였다. 
  
• 그리고 다섯째, Zimmerman과 Martinez-Pons(1986, 1988)가 SRL의 틀에 고정시킨 Magno(2010)는 잘 확립된 두 SRL 도구인 MSLQ와 학습 및 연구 전략 인벤토리(LASSI)에 대한 기능적 상관관계를 분석하는 것으로 검증된 학술 자율규제 척도(A-SRL)를 개발했다. 
• First, the subprocesses present in Zimmerman’s model are partly based on the results found in the validation process of the Self-Regulated Learning Interview Schedule (SRLIS) (Zimmerman and Martinez-Pons, 1986, 1988).
• Second, Zimmerman has developed procedures to assess SRL in experimental training settings for writing and dart throwing (Zimmerman and Kitsantas, 1997, 1999).
• Third, Cleary and Zimmerman (2001, 2012), Kitsantas and Zimmerman (2002), DiBenedetto and Zimmerman (2010) developed microanalytic measures to assess the validity of the Cyclical Phases model.
• Fourth, Zimmerman has developed different measures of self-efficacy to self-regulate (Zimmerman and Kitsantas, 2005, 2007) and calibration measures of self-efficacy and self-evaluation (Zimmerman et al., 2011).
• And, fifth, anchored on the framework of SRL by Zimmerman and Martinez-Pons (1986, 1988), Magno (2010) developed the Academic Self-Regulation Scale (A-SRL) which has been validated analyzing its functional correlation against two well-established SRL instruments the MSLQ and the Learning and Study Strategies Inventory (LASSI) (Magno, 2011).

Boekaerts: 다양한 목표 로드맵(상하/하상)과 감정의 역할
Boekaerts: Different Goal Roadmaps (Top–Down/Bottom–Up) and the Role of Emotions

보에카르트(Boekaerts)의 저작은 SRL 문헌에서 가장 오래된 것 중 하나이며 1980년대 후반으로 거슬러 올라갈 수 있다. 얼마 지나지 않아 그녀는 자신의 첫 SRL 모델을 선보였다. 그녀의 연구는 목표의 역할(예: 학생들이 SRL과 관련하여 다른 유형의 목표를 활성화하는 방법)을 설명하는 데 초점을 맞췄고, 그녀는 동기 부여와 SRL을 평가하기 위해 상황별 측정을 최초로 사용했다. 또한, Boekaerts는 자기 조절과 감정 조절에 관한 임상 심리학 문헌에 대한 방대한 지식을 보여주었다.
The work by Boekaerts is also one of the earliest in the SRL literature and can be traced back to the late 1980s (e.g., Boekaerts, 1988). Shortly after she presented her first SRL model (Boekaerts, 1991). Her work has focused in explaining the role of goals (e.g., how students activate different types of goals in relation to SRL), and she was the first to use situation-specific measures to evaluate motivation and SRL. In addition, Boekaerts has demonstrated a vast knowledge of the clinical psychology literature on self-regulation and emotion regulation (see Boekaerts, 2011).

모델의 역사와 개발
History and Development of the Models

Boekaerts는 SRL의 두 가지 모델을 개발했습니다. 먼저, 그녀는 자체 규제가 다음과 같은 6가지 요소로 구분되는 구조 모델(그림 5)을 개발했습니다.
Boekaerts has developed two models of SRL. First, she developed a structural model (Figure 5) in which self-regulation was divided into six components, which are:

• (1) 도메인 특이적 지식 및 기술,
  
• (2) 인지 전략,
  
• (3) 인지적 자기 조절 전략,
  
• (4) 동기부여의 신념과 마음의 이론,
  
• (5) 동기부여 전략,
  
• (6) 동기부여적인 자기조절 전략
• (1) domain-specific knowledge and skills,
• (2) cognitive strategies,
• (3) cognitive self-regulatory strategies,
• (4) motivational beliefs and theory of mind,
• (5) motivation strategies, and
• (6) motivational self-regulatory strategies (Boekaerts, 1996b).

이것들은 그녀가 당시 고려했던 SRL의 두 가지 기본 메커니즘인 [인지적 및 정서적/동기적 자기 조절]을 중심으로 구성되었다. 이 모델은 주로 다음의 목적으로 사용되어 왔다.
These were organized around, what she then considered to be, the two basic mechanisms of SRL: cognitive and affective/motivational self-regulation. This model has been mainly used

• (a) SRL의 도메인별 구성 요소에 대한 더 많은 통찰력을 얻기 위해,
  
• (b) 교사들을 훈련시키기 위해,
  
• (c) 연구를 위한 새로운 측정 장비를 구축한다.
  
• (d) 개입 프로그램을 설계한다.
• to (a) gain more insight into domain-specific components of SRL,
• to (b) train teachers,
• to (c) construct new measurement instruments for research, and
• to (d) design intervention programs (Boekaerts, M. personal communication to author 08/06/2014).

FIGURE 5. Six-component model of SRL. Adapted from Boekaerts (1996b).

둘째, Boekaerts의 출판물 대부분은 두 번째 SRL 모델, 즉 [적응형 학습 모델]을 공식화하기 위해 설정되었다. 이 모델(그림 6 참조)은 90년대 초에 제시되었습니다. SRL의 역동적 측면을 설명하고, 나중에 [듀얼 프로세싱 자기조절 모델]로 발전했습니다(그림 7). 적응학습모형은 동기부여, 감정, 메타인지, 자기개념, 학습 등 다양한 심리적 틀에서 도출된 결과를 이해하기 위한 이론적 발판을 제공했다. 모델은 두 가지 [병렬 처리 모드]를 설명했습니다.

Second, most of Boekaerts’ publications were set up to formulate a second SRL model, namely, the Adaptable Learning Model. This model (see Figure 6) was presented at the beginning of the 90s (Boekaerts, 1991, 1992). It describes the dynamic aspects of SRL, and later, evolved into the Dual Processing self-regulation model (Figure 7). The Adaptable Learning Model offered a theoretical scaffold for understanding the findings from diverse psychological frameworks, including motivation, emotion, metacognition, self-concept, and learning. The model described two parallel processing modes:

• (a) 숙달 또는 학습 모드 및
  
• (b) 대처 또는 웰빙 모드
  
• (a) a mastery or learning mode and
• (b) a coping or well-being mode.

2000년 자기조절 핸드북의 한 장에서 Boekaerts와 Niemivirta(2000)는 학생들의 행동에 어떤 영향을 미치는지 시각화하기 위해 서로 다른 수치를 사용하여 목표 경로에 대한 새로운 아이디어를 제시했다. 비록 2000년에 보에카어츠는 이미 하향식 이론과 상향식 이론의 비전에 대한 몇 가지 개념을 제시했지만, 2000년 중반이 되어서야 이러한 이론적 통찰이 그녀의 모델에서 명확하게 정의되었다. 2011년 SR의 SRL 핸드북에서 Boekaerts는 [학습 과정 중 자율 규제의 다양한 목적을 지적한 이 모델의 확장 버전]을 제시했다.
In a chapter of the 2000 Handbook of self-regulation, Boekaerts and Niemivirta (2000) presented new ideas on goal paths using different figures to visualize how they influence students’ behavior (see pp. 434–435). Although, in 2000, Boekaerts had already presented some notions on her vision of top–down and bottom–up theory, it was not until mid-2000 that these theoretical insights were clearly defined in her model, which was then renamed as the Dual Processing self-regulation model (Boekaerts and Corno, 2005; Boekaerts and Cascallar, 2006). In the 2011 SRL handbook of SR, Boekaerts presented an extended version of this model, which pointed to the different purposes of self-regulation during the learning process, namely,

• (1) 지식과 기술을 넓히는 것,
  
• (2) 학습 활동에 대한 자신의 헌신을 보호하는 것, 그리고
  
• (3) 자신에 대한 위협과 해를 예방하는 것.
• (1) expanding one’s knowledge and skills,
• (2) protecting one’s commitment to the learning activity, and
• (3) preventing threat and harm to the self.

Boekaerts는 SRL에서 긍정적인 감정과 부정적인 감정이 수행하는 주요 역할을 강조하며, 두 가지 서로 다른 상향식 전략, 즉 [의지적 전략]과 [감정 조절 전략]을 기술하였다(그림 7; Boekaerts, 2011).
Boekaerts emphasized the key role that positive and negative emotions play in SRL, and described two different bottom–up strategies, namely, volitional strategies and emotion regulation strategies (Figure 7; Boekaerts, 2011).

FIGURE 6. Model of adaptable learning. Extracted from the 2000 handbook but cited there as: the original model of adaptable learning. Adapted from Boekaerts (1996a).

FIGURE 7. Dual processing self-regulation model. Adapted from Boekaerts (2011).

Boekaerts의 듀얼 프로세싱 모델
Boekaerts’ Dual Processing Model

[이중 처리 모델](Boekaerts and Cascalar, 2006)에서, 학생들이 어떤 목표 경로를 활성화시킬지 결정하는 데 있어 학생들의 [평가appraisals]가 중요하다. 여기서 목표는 행동을 이끄는 "지식 구조"로 간주된다.

• 예를 들어, 만약 학생들이 그 과제가 그들의 행복에 위협적일 수 있다는 것을 인식한다면, 부정적인 인식과 감정이 촉발된다. 그런 다음 자아를 손상으로부터 보호하기 위한 전략이 지시되고, 이에 따라 학생들은 웰빙의 길로 나아간다.
• 반면에, 과제가 학생들의 목표와 요구에 부합한다면, 그들은 그들의 역량을 증폭시키고 긍정적인 인식과 감정을 유발하며, 이에 따라 숙달/성장의 길로 나아가는 것에 관심을 가질 것이다.

Boekaerts(2011)는 또한 [숙달/성장 경로]에서 과제를 시작한 학생들이 성공하지 못할 수 있다는 단서를 발견하면, [웰빙 경로]로 이동할 수 있다고 설명한다.
In the Dual Processing model (Boekaerts and Cascallar, 2006), the appraisals made by the students are crucial to determine which goal pathway the students will activate. Here, goals are viewed as the “knowledge structures” that guide behavior.

• For example, if students perceive that the task could be threatening to their well-being, negative cognitions and emotions are triggered. Strategies are then directed to protect the ego from damage, and thereby, students move onto a well-being pathway.
• On the other hand, if the task is congruent with the students’ goals and needs, they will be interested in amplifying their competence, triggering positive cognitions and emotions, and thereby, moving onto the mastery/growth pathway.

 Boekaerts (2011) also explains that students who have started a task in the mastery/growth pathway may move to the well-being pathway if they detect cues that they might not be successful.

Boekaerts (2011)에 따르면, 자기조절의 목적은 세 가지가 있다.
According to Boekaerts (2011), there are three different purposes for self-regulation:

(a) 지식 및 기술 확장…
(b) 자신의 행복이 합리적인 범위 내에서 유지되도록 자신에 대한 위협과 자원 손실을 방지한다.
(c) 웰빙 경로에서 마스터 경로로 주의를 재루팅하는 활동을 사용하여 자신의 헌신을 보호합니다.
(a) expanding knowledge and skills…
(b) preventing threat to the self and loss of resources so that one’s well-being is kept within reasonable bounds…and
(c) protecting one’s commitments by using activities that re-route attention from the well-being pathway to the mastery pathway (pp. 410–411).