임상교육자를 위한 인센티브: 인센티브의 영향은 복잡하기에 조심해야 한다 (Med Educ, 2020)
Incentives for clinical teachers: On why their complex influences should lead us to proceed with caution
Katherine M. Wisener1 | Erik W. Driessen2 | Cary Cuncic3 | Cassandra L. Hesse4 | Kevin W. Eva5 

1 소개
1 INTRODUCTION

의욕적인 임상 교사를 모집하고 유지하는 것은 어려울 수 있다. 교사 수가 부족하거나 임상의가 수업 의욕이 없을 때 의대생과 전공의들의 교육의 질이 떨어질 수 있다. Suboptimal한 해결책은 지도자당 학생 수가 증가하거나 교육자가 소진에 굴복하는 등 Suboptimal한 학습 조건으로 이어진다. 학습자가 교육 의욕이 없는 임상의에게 배정되면 부정적인 역할 모델링이 가능해지고 피드백 대화가 상처가 되거나, 학생들이 동정심 있고 효과적인 간병인이 될 수 있는 모든 범위의 역량을 개발하는데 어려움을 겪을 수 있다. 그렇긴 하지만, 열정적이고 헌신적인 임상 교사들도 동기 부여 문제에 면역이 되지 않는다. 실습, 체계 및 교육 수요가 계속 증가함에 따라 임상의는 일상적인 교육 활동을 통합하는 데 어려움을 겪는 경우가 많습니다.
Recruiting and retaining motivated clinical teachers can be challenging.1, 2 When teacher numbers are insufficient, or when clinicians are not motivated to teach, the quality of education for medical students and residents can suffer. Suboptimal solutions lead to suboptimal learning conditions, such as increases in the number of students per preceptor or leading the educator to succumb to burnout. When learners are assigned to clinicians who are not motivated to teach, negative role modelling becomes likely and feedback conversations can become hurtful or leave students struggling to develop the full range of competencies that will make them compassionate and effective caregivers.3, 4 That said, even enthusiastic and dedicated clinical teachers are not immune to motivational issues. As practice, systemic and educational demands continue to increase, clinicians often struggle with incorporating educational activities into their day to day.

이러한 문제들은 일상적으로 의과대학들이 임상의들의 [교육 노력에 대한 인센티브와 보상]을 제공하는 방법을 찾도록 한다. 이에 따라 프로그램 리더들의 감사를 표시하기 위해 [금전적 보상, 교수상, 감사장 등]이 일반적으로 사용되고 있다. 불행하게도, 최근 리뷰에서, 우리는 인센티브가 종종 역효과를 낼 수 있다는 충분한 증거를 발견했고, 원하는 행동을 장려하기보다는 동기를 감소시켰다. 이러한 현상에 대한 여러 설명이 있으며 각 전경이 인센티브가 영향을 미치는 메커니즘이 다르기 때문에 이론 간 통합은 어렵다. 또한, 요약된 메커니즘은 반드시 상호 배타적이지는 않으므로, 다양한 맥락에서 인센티브가 수행하는 역할을 더 잘 이해하기 위해 [여러 관점을 민감한 개념으로 사용할 필요가 있음]을 시사한다. 예를 들어,

• 심리학의 [인지 평가 이론가]들은 상award과 같은 외적인 인센티브가 그들이 가르치는 것으로부터 받는 즐거움에 의해 본질적으로 추진되는 사람들을 의욕을 잃게 할 수 있다고 주장한다.
• 반면에, 조직 행동의 [형평성 이론가]들은 동기를 감소시키는 불공정에 대한 인식을 촉진하지 않기 위해 [자신이 투입하는 노력]과 비교하여 [적절한 규모의 인센티브]를 설정하는 것의 중요성을 강조한다.
• 동기부여-행동경제학의 [군중이론가]들은 [이타적이라고 느끼는 것으로부터 받는 보상]을 감소시킬 수 있다는 두려움 때문에 자원봉사와 같은 [친사회적 활동에 인센티브를 주는 것에 대해 경고]한다.

These problems routinely lead medical schools to seek ways of providing incentives and rewards for clinicians’ teaching efforts. As a result, financial compensation, teaching awards and letters of appreciation are commonly used to demonstrate program leaders’ gratitude.5 Unfortunately, in a recent review, we found ample evidence that incentives can often backfire, reducing motivation rather than encouraging the desired behaviour.6 There are multiple accounts of this phenomenon and integration across theories is difficult as each foregrounds different mechanisms through which incentives have an influence. Further, the mechanisms outlined are not necessarily mutually exclusive, thereby suggesting the need to use multiple perspectives as sensitising concepts to better understand the role incentives play in divergent contexts.

• Cognitive evaluation theorists from psychology, for example, argue that extrinsic incentives like awards can de-motivate those who are intrinsically driven by the pleasure they receive from teaching.
• Equity theorists from organisational behaviour, in contrast, emphasise the importance of setting appropriately sized incentives in relation to the investment of effort one exerts, so as to not promote perceptions of unfairness that reduce motivations.
• Motivation-Crowding theorists from behavioural economics caution against incentivising prosocial activities such as volunteering out of fear that doing so can reduce the reward one receives from feeling altruistic.

인센티브가 의도하지 않은(그리고 종종 부정적인) 결과를 초래할 수 있는 가변적인 방법을 고려할 때, 보건 전문 교육에서 인센티브의 영향력 메커니즘은 충분히 다루어지지 않았다. 몇몇 연구들은 동기를 탐구했고 다음을 발견했다. 

• 임상의는 무엇보다도 내재적인 이유(예: 개인적 만족)로 가르친다. 
  
• 다음으로, 가장 자주 그들은 전문적인 목표를 달성하기 위해 가르친다고 주장한다(예: 경력 향상). 
  
• 대조적으로 목록에서 낮은 것은 외부적인 이유(예: 돈)이다. 

그러나 이 연구는, 위에서 언급한 문헌이 [특정 행동에 대한 동기가 straightforward한 일은 거의 없음]을 시사한다는 점을 고려할 때, [복잡한 문제에 대한 필요하지만 충분하지 않은 성찰]일 수 있다. [교육 인센티브에 대한 생각]을 조사하는 경우, [서로 다른 요인들이 상호작용하여 예상치 못한 결과의 가능성을 만들어내는 방법에 대한 뉘앙스를 생각할 기회나 자극 없이 설문에만 기반]했을 때, 복잡성은 쉽게 과소평가될 수 있다. 다른 분야에서 보았던 것처럼 인센티브 사용을 통해 의도치 않게 동기부여가 저하될 위험을 피하기 위해서는 인센티브가 임상교사에게 어떤 영향력을 행사하는지에 대한 더 깊은 이해가 필요하다.
Given the variable ways in which incentives can yield unintended (and often negative) consequences, the mechanism of their influence in health professional education has not been sufficiently addressed. Several studies have explored motivations and found that

• clinicians teach for intrinsic reasons (eg personal satisfaction) first and foremost;
• next, most frequently they claim to teach to meet professional goals (eg career advancement);
• low on the list, in contrast, are extrinsic reasons (eg money).6 

This work, however, offers a necessary but perhaps not sufficient reflection of a complex problem given that the literature alluded to above suggests that motivations towards certain behaviours are rarely so straightforward. Complexity can easily be underappreciated when considerations of teaching incentives are based on surveys of what one perceives without opportunity or prompts to reflect on the nuances of how different factors interact to create the possibility of unanticipated consequences. To avoid the risk of unintentionally lowering motivation through the use of incentives, as has been seen in other fields, we need a deeper understanding of how incentives exert their influence on clinical teachers.

현재의 연구는 임상의들이 무엇이 가르치는 것을 유도driving하는지, 그들이 직면한 장벽, 그리고 그들이 과거에 어떻게 교육 인센티브를 인식했는지를 탐구함으로써 이 다음 단계를 제공한다. 우리의 목표는 인센티브가 어떻게 의미 있고 영향력 있는 지원으로 작용하도록 개발될 수 있는지 더 잘 이해하는 것이다. 이 문제를 연구하면서 우리는 다양한 다른 분야의 핵심 테이크아웃 메시지와 역사적으로 동기 부여에 영향을 미치는 인센티브의 불안정한 특성에 의해 안내되었다. 가장 중요한 연구 질문은 다음과 같습니다. 

• (a) 임상교사의 관점에서 의학교육에서 경험하는 동기부여와 동기부여의 관계는 어떠한가?; 그리고, 
  
• (b) 임상의들은 교육 동기에 영향을 미치는 인센티브의 역할을 어떻게 생각하는가? 

이러한 질문을 해결함에 있어 인센티브와 동기 간의 고유한 상호 작용이 임상 교사에게 어떻게 작용하는지에 대한 새로운 지식을 제공함으로써 임상의가 교육자 및 교육 관리자로서의 역할에서 프로그램 리더로서의 역할을 더 잘 지원할 수 있는 권장 사항을 생성하기를 바란다.
The current study offers this next step by exploring what is driving clinicians to teach, the barriers they face, and how they have perceived teaching incentives in the past. Our aim is to better understand how incentives can be developed to act as meaningful and impactful supports. In studying this issue we were guided by the key takeaway messages from a variety of other disciplines and the precarious nature with which incentives have been historically shown to impact motivation.6 The overarching research questions are:

• (a) How is the relationship between motivation and incentives experienced in medical education from the perspective of clinical teachers?; and,
• (b) How do clinicians view the role of incentives in influencing their motivations to teach?

In addressing these questions, we hope to contribute new knowledge around how unique interactions between incentives and motivations play out for clinical teachers, thereby generating recommendations that will better support clinicians in their roles as educators and educational administrators in their roles as program leaders.

2 방법
2 METHODS

2.1 설계 연구
2.1 Study design

[해석적 기술 방법론]을 사용하고 COREQ(Consolidated Criteria for Reporting Qualitical Research)를 따랐다. [해석적 기술]은 건강 연구자들이 일반적으로 질문하는 적용된 질문에 대한 탐구를 우선시하기 위해 근거 이론과 현상학의 원칙을 기반으로 하는 비교적 새로운 질적 접근법이다. [구성주의자적 세계관에 기반]한 해석적 서술은, 패턴을 포착하고 연구 중인 문제를 개선하기 위해 이해를 알릴 수 있는 서술을 생성하는 데 사용된다. 따라서 여러 현실이 존재하고, 각각이 개인에 의해 사회적으로 구성되고 문화적, 사회적 맥락에 의해 영향을 받는다는 것을 인정하면서 매우 집중하는 경향이 있다. 즉, 경험의 의미에 대한 이해는 참가자와 연구자가 공동으로 구성한다.
We used interpretive description methodology7 and followed the Consolidated Criteria for Reporting Qualitative Research (COREQ).8 Interpretive description is a relatively new qualitative approach that builds on the principles of grounded theory and phenomenology to prioritise exploration of the applied questions commonly asked by health researchers. Constructivist9 in worldview, interpretive description is used to capture patterns and generate description that can inform understanding for the sake of improving the problem being studied. It tends, therefore, to be very focused while acknowledging that multiple realities exist, each being socially constructed by individuals and influenced by cultural and social context.10 In other words, an understanding of the meaning of experiences is co-constructed by participants and researchers.

2.2 설정
2.2 Setting

브리티시컬럼비아 대학교(UBC)의 MD 프로그램은 2 + 2 (전임상실습 연수 + 임상실습 연수) 구조를 따르는 4년제 졸업생 등록 분산 프로그램이다. 4개의 지역 캠퍼스에서 제공되며, 각각의 캠퍼스는 더 큰 UBC 프로그램의 일부임에도 불구하고 뚜렷한 우선순위, 교수진, 제도적 문화를 가지고 있다. 대다수의 교사들은 임상 교수진으로 임명되어 있으며, 따라서 그들이 얼마나 자주 그리고 어떤 맥락에서 가르치는지에 대해 상당한 유연성을 가지고 있다. 이와 같이 교사들은 그들이 어디서 어떤 학습자를 가르치느냐에 따라 재정적이든 그 밖의 다양한 지원과 교수 인센티브를 받는다. 앨버타주 캘거리에 있는 커밍 의과대학의 한 명 외에 네 곳의 교수진이 모두 포함되었다. 프로그램의 분산 특성을 고려할 때, 인터뷰는 가능할 때 직접 수행되었고(참가자의 요청에 따라 클리닉, 병원 또는 기타 장소에서) 장거리 인터뷰는 전화 또는 화상 회의를 통해 수행되었다.
The MD program at the University of British Columbia (UBC) is a four-year graduate entry distributed program that follows a 2 + 2 (preclerkship years + clerkship years) structure. It is delivered at four regional campuses, each of which has distinct priorities, faculty and institutional culture despite being part of the larger UBC programme.11 A large majority of the teachers have clinical faculty appointments and, thus, have considerable flexibility in how often and in what contexts they teach; clinicians appointed to academic positions are expected to teach, but still often have flexibility with respect to how they contribute educationally. As such, teachers receive a variety of supports and teaching incentives, financial or otherwise, depending on where and which learners they teach. Faculty from all four sites were included in addition to one participant from the nearby Cumming School of Medicine in Calgary, Alberta. Given the distributed nature of the programme, interviews took place in person when possible (in clinic, hospital settings or other locations at the request of participants) and long-distance interviews took place over the phone or via videoconference.

2.3 참가자
2.3 Participants

정보가 풍부한 사례(학부와 대학원 모두에서 다양한 환경에서 강의한 것으로 알려진 임상 교수진)를 식별하기 위해 [목적적 샘플링 전략]이 사용되었다. 우리는 임상적 맥락(예: 입원 환자, 외래 환자)을 넘나들며 다양한 수준의 교육 경험을 가진 임상의를 추구함으로써 이질성을 극대화하기 위해 노력했다. 일부 참가자들은 임상 환경 외에 교실 환경에서도 가르쳤다. 수석 연구원은 알려진 임상의에게 이메일을 통해 임상의 네트워크에 참여 초대장을 배포할 것을 요청했다. 연구원과 접촉한 사람들은 인터뷰를 했다. 주제의 초기 개념화에 이의를 제기할 가능성이 있다고 생각되는 참가자들은 의도적으로 추구되었다. 예를 들어, 초기 응답자들은 교육에 매우 참여하고 유사한 인식을 기술했기 때문에, 관찰된 패턴에 도전하기 위해 교사 역할에서 사임한 임상의를 초대하기 위해 네트워크를 사용했다.
A purposeful sampling strategy was used to identify information-rich cases12 (clinical faculty known to have taught in a variety of settings, both undergraduate and postgraduate). We strove to maximise heterogeneity by pursuing clinicians who have taught across clinical contexts (eg inpatient, outpatient) and who had varying levels of teaching experience. Some participants taught in classroom environments in addition to clinical ones. The lead researcher asked known clinicians to disseminate a participation invitation to their clinician networks via email; those who contacted the researcher were interviewed. Participants thought likely to challenge early conceptualisations of themes were purposely sought. For example, early respondents were highly involved in teaching and described similar perceptions, so networks were used to invite clinicians who had resigned from teaching roles to challenge observed patterns.

2.4 데이터 수집
2.4 Data collection

인터뷰 가이드(부록 S1 참조)는 [동기와 인센티브 사이의 관계에 대한 다양한 관점을 제공하는 문헌 검토를 통해 확인된 다양한 이론을 사용하여 구성]되었다. 그러나 질문은 참가자들을 특정 견해로 유도하지 않기 위해 광범위하게 표현되었다. 또한, [민감 개념]으로 작용하는 이론에 의해 만들어진 가정에 도전하기 위한 노력으로 인터뷰 가이드의 반복적인 수정을 통해 데이터 자체에서 발생한 개념화를 수용하고 탐구했다.
An interview guide (see Appendix S1) was structured using the various theories identified through our literature review that offered different perspectives on the relationship between motivation and incentives.6 Questions, however, were phrased broadly to avoid directing participants to particular views. Further, conceptualisations that arose from the data themselves were embraced and explored through iterative modification of the interview guide in efforts to challenge assumptions made by the theories that served as sensitising concepts.

일반적으로, 인터뷰는 45-90분이 걸렸고 인구 통계와 교육 맥락을 포착하기 위한 몇 가지 질문으로 시작했다. 이어 개인의 교육에 대한 인식, 그들에게 제공되는 인센티브, 그들이 직면한 장벽, 그리고 그들이 교사로서 가치를 느낀다고 느끼는 지를 탐구하는 반구조적 질문을 했다. 인터뷰 가이드가 연구 목적에 효과적으로 부합하는지 여부를 평가하고, 질문이 참가자 풀에 있는 사람들과 어떻게 공명할지 결정하기 위해, 리드 연구자에게 알려진 임상의를 대상으로 두 번의 초기 인터뷰를 실시했다. 이러한 인터뷰에 이어진 디브리핑 토론 후 인터뷰 프로토콜을 약간 수정했을 뿐이므로 이러한 데이터는 분석에 포함되었다. 추가적인 작은 연구 가이드 수정은 연구팀이 녹취록을 검토한 후 인터뷰 내내 반복적으로 발생했고, 참가자들이 구조를 제기했을 때 조사자들이 미래의 참가자들과 함께 더 표적적인 방식으로 질문해야 한다고 생각하는 것에 주목했다. 마찬가지로, 프로빙 질문이 많은 토론을 유발하지 않을 때 변경이 이루어졌다. 인터뷰는 데이터가 포화된 것으로 나타난 후 3명의 참가자가 모집될 때까지 계속되었다(참가자의 교육 경험과 업무 맥락의 차이에 관계없이 연구 질문에 대한 새로운 관점을 밝히는 것을 중단했다).
In general, interviews took 45-90 minutes and began with several questions to capture demographics and teaching contexts. Semi-structured questions were then asked that explored individuals’ perceptions of teaching, incentives provided to them, barriers they face, and whether they felt valued as teachers. Two initial interviews were conducted with clinicians known to the lead researcher to pilot the interview guide, assess whether the guide was effectively aligned with the study purpose, and to determine how the questions would resonate with those in the participant pool. After a debrief discussion following these interviews, only slight modifications to the interview protocol were made, so these data were included in our analysis. Additional minor study guide modifications occurred iteratively throughout interviews after the research team reviewed transcripts and noted when participants raised constructs the investigators thought should be asked in a more targeted way with future participants; similarly, changes were made when probing questions did not yield much discussion. Interviews continued until three participants had been recruited after the data appeared to have saturated (ie stopped revealing novel perspectives on the research questions regardless of differences in participants’ teaching experience and work contexts).

2.5 데이터 분석
2.5 Data analysis

인터뷰 녹취록을 분석하기 위해 [해석적 서술 기법]이 사용되었으며, 여기에는 [데이터 해석, 연구 결과 합성, 패턴 및 관계 이론화]의 반복적인 단계가 포함되었다.
The interpretive description technique was followed to analyse the interview transcripts, which involved iterative phases of interpreting data, synthesising findings, and theorising patterns and relationships.13

처음 3개의 녹취록은 두 명의 조사관(KW, KE)에 의해 독립적으로 검토되었으며 초기 인상은 후속 인터뷰에서 인터뷰 가이드의 변경 사항을 알리는 데 도움이 되었다. 약 10개의 인터뷰가 완료된 후, 4명의 조사관(KW, ED, CC, KE)이 두 개의 대조적인 녹취록을 독립적으로 검토했다. 각각은(교수진 개발자 1명, 임상의 1명, 의료 교육자 2명) 개인적 경험과 맥락이 해석에 어떻게 영향을 미칠 수 있는지 식별하기 위해 [데이터에 대한 자신의 반응]을 문서화했다. 그런 다음 이러한 문서화된 반응을 종합적으로 논의하여 조사자들이 패턴을 식별하고 데이터에서 시사점을 도출하기 위해 유사하고 다양한 인상을 가진 곳을 식별했다. [반사성]에 대한 이러한 노력은 해석적 기술 방법론에 매우 중요하다.
The first three transcripts were reviewed independently by two investigators (KW, KE) and initial impressions helped to inform changes to the interview guide in subsequent interviews. After approximately ten interviews were completed, four investigators (KW, ED, CC, KE) independently reviewed two contrasting transcripts. Each (one faculty developer, one clinician and two medical educators) documented their own reactions to the data with effort to identify how their personal experiences and contexts might influence their interpretation. These documented reactions were then discussed collectively to identify where investigators had similar and divergent impressions for the purpose of identifying patterns and deriving implications from the data. Such efforts at reflexivity are critical to the interpretive description methodology.

그룹 토론에서 수집된 결과는 [초기 주제 구조]를 개발하는 데 사용되었으며, 이 구조는 4명의 조사관 모두가 두 개의 더 많은 녹취록을 코딩하는 데 사용되었다. 이 과정은 대본 코딩이 더 이상 추가 수정을 산출하지 않을 때까지 주제 구조와 인터뷰 가이드에 대한 지속적인 조정을 계속했다.
The collated output of the groups’ discussions was used to develop an initial thematic structure that was then used by all four investigators to code two more transcripts. This process continued with ongoing adjustments to the thematic structure and interview guide until transcript coding no longer yielded additional revisions.

마지막으로, 연구 보조자(CH)는 모든 대본을 읽고 주제 구조에 대해 체계적으로 코드화했다. 주 저자와의 매주 회의를 통해, 코드북을 적용하는 과제가 식별됨에 따라 [주제 구조에 대한 작은 조정]이 이루어졌다(예: 코드화된 데이터가 연구 질문과 관련성을 주장할 만큼 충분히 실질적이지 않은 경우 코드화된 일부 하위 테마가 중복된 것처럼 보이게 하거나 삭제되었을 때 일부 하위 테마가 병합되었다). 연구팀은 모든 코딩이 완료되면, 주제구조 내에서 각 주제로부터 일반적인 메시지를 외삽하는 동시에, 개별 참여자들 간의 주장의 차이를 설명하기 위한 [모순된contradictory 사례와 방법]을 모색했다. 이는 [연구 질문과 관련한 패턴, 불협화음, 경향, 시사점 등을 검토]하여 [주제의 의미를 종합하고 이론화]하기 위한 그룹 회의를 개최하는 등 [주제 설명]과 [예시 인용]을 검토하는 방식으로 진행되었다. [감사 추적]은 본 연구의 분석 단계 전반에 걸쳐 유지되었고, 우리의 분석 과정과 결과는 조사 결과를 개입의 출발점으로 직접 적용할 수 있는 방식으로 완료되었다. 
Finally, a research assistant (CH) read through all transcripts and systematically coded each against the thematic structure. Through weekly meetings with the lead author, minor adjustments to the thematic structure were made as challenges applying the codebook were identified (eg some subthemes were merged when coding made them appear redundant or dropped when coded data were not substantive enough to make claims of relevance to the research question). Once all coding was completed, the research team extrapolated the general message from each theme within the thematic structure while also seeking contradictory cases and ways to account for variations in claims between individual participants. This was done by reviewing theme descriptions and example quotes, with group meetings held to synthesise and theorise the meaning of themes through examination of patterns, dissonances, trends and implications in relation to the research questions. An audit trail was kept throughout the analytic phase of this work and the process and product of our analysis was completed in such a way that findings could be directly applied as a starting point for intervention.14

2.6 윤리
2.6 Ethics

윤리적 승인은 UBC의 행동 연구 윤리 위원회(H18-01109)에 의해 제공되었다.
Ethical approval was provided by the UBC’s Behavioural Research Ethics Board (H18-01109).

3 결과
3 RESULTS

16개의 인터뷰가 완료되었다. 참가자의 특기사항, 장소 및 실무연수는 표 1에서 확인할 수 있다.
Sixteen interviews were completed. A summary of participant specialties, locations and years in practice can be seen in Table 1.

인센티브의 영향을 이해하려면 먼저 무엇이 임상의를 교육으로(또는 교육에서 멀어지게) 만드는지 알아야 합니다. 따라서 우리는 교육 인센티브에 대한 참가자의 인식을 설명하기 전에 교육 결정에 영향을 미치는 개인 및 외부 요인에 대한 설명과 함께 그 복잡성(즉, 이러한 요인이 역할을 하는 미묘한 및 가변적인 방식)으로 시작한다. 
To understand the impact of incentives, we need to first know what drives clinicians towards (or away from) teaching. We start, therefore, with a description of personal and external factors influencing teaching decisions, along with their complexities (ie the nuanced and variable ways in which these factors play a role), before outlining participants’ perceptions of teaching incentives.

3.1 교수 결정에 영향을 미치는 요인
3.1 Factors influencing decisions to teach

표현된 동기부여 요인은 [개인적 요인(자신과 관련된)]과 [외부 요인(환경/상황과 관련된)]으로 분류되었다. [개인적인 요인]과 관련하여, 많은 사람들이 학생들과 그들의 교육 욕구에 근본적으로 영향을 미친 의학계 전반의 복지에 대해 [이타적unselfish 배려]를 표명했다. 예를 들어, 그들은 'pay it forward'할 의무를 느꼈고 미래의 의사들의 개발을 지원하는 것에 대한 열정이 깊이 뿌리내렸다. 많은 사람들은 또한 그들의 임상 지식의 인맥, 평판 또는 통화를 구축하고자 하는 열망을 표현했다.
Motivators participants expressed were categorised into personal factors (related to the self) and external factors (related to the environment/context). Regarding personal factors, many expressed unselfish regard for the welfare of students and the medical community at large that fundamentally influenced their desire to teach. For example, they felt a duty to ‘pay it forward’ and had deeply rooted passion for supporting the development of future physicians. Many also expressed desire to build connections, reputation or the currency of their clinical knowledge.

[외부 요인]과 관련하여, 많은 참가자들은 [학습자가 환자 치료를 더 효율적으로 할 수 있을 때] 또는 [임상 환경이 교육에 도움이 될 때(예: 학습자를 수용할 수 있는 적절한 물리적 공간이 있는 경우)]에 가르치는 데 더 동기부여가 된다고 공유했다. 시간이 너무 짧거나, 소득 손실이 너무 크거나, 학습자가 안전 위험을 제기하거나, 임상의가 가족의 요구를 균형 있게 해야 하는 필요성과 마찬가지로 동기 부여 장벽을 만들었는지 여부에 대한 선택권이 없다고 느꼈다.
Regarding external factors, many participants shared that they were more motivated to teach when learners could help make patient care more efficient or when their clinical environment was conducive to teaching (eg they had adequate physical space to accommodate learners). Feeling that time was stretched too thin, that income loss was too great, that learners posed safety risks or that the clinician did not have a choice in whether they taught created motivational barriers as did the need to balance family demands.

이러한 요인들은 시간이 지남에 따라 또는 환경 전반에 걸쳐 [정적인 것이 아니라], 경력과 삶의 단계를 통해 진화한 [역동적인 방식]으로 개인들에 의해 가중치가 부여되었다. 또한, 일부 요인들은 상당히 [선형적인 영향력]을 가지고 작동하는 것으로 설명되었지만(예: 더 많이 가르치는 것을 좋아할수록 더 많이 할 가능성이 더 높다), 동기 부여자의 존재가 항상 더 많은 교육으로 이어지지 않고 장벽의 존재가 항상 더 적게 작동하지 않는다는 점에서, 많은 요인들이 더 복잡한 방식으로 작동하는 것으로 보였다. 예를 들어, 어떤 요인들은 그들의 존재가 때로는 동기부여로 묘사되고 때로는 동기부여를 감소시키는 부정적인 요소들을 만들었다는 의미에서 [양날의 것]이었다. 예를 들어, 다른 요인에 따라, 임상의가 가르치는 의무감은 [어떤 순간에는 특권처럼 느껴지고, 다른 순간에는 부끄러운 의무처럼 느껴질 수] 있다. 여전히 다른 요인들은 [역전된 U자형 함수]로 더 잘 설명되어, 감소를 야기하기 전에 어느 정도 동기를 증가시키는 것처럼 보였다. 예를 들어, 한 사람의 지식이 시대에 뒤떨어지는 것에 대한 걱정은 참가자들의 교육 욕구를 증가시켰지만(학습자가 임상의를 최신 상태로 유지하는 데 도움을 줄 수 있기 때문에), 단지 어느 정도만; 그들의 전문 지식과 너무 동떨어진 느낌은 임상의가 가르치는 것을 단념시켰다. 표 2는 포괄적이지는 않지만 선형, 양날 및 U자형 요인에 대한 설명과 대표적인 인용문을 제공함으로써, 교육에 동기를 부여하거나 장벽을 만드는 요인을 단순히 나열하는 것의 부적절성을 보여준다.
These factors were not static over time or across environment, but were weighed by individuals in a dynamic manner that evolved throughout their career and life phases.

• Further, while some factors were described as operating with a fairly linear influence (eg the more one likes to teach the more likely they are to do it), many factors appeared to operate in a more complex manner in that the presence of a motivator did not always lead to more teaching and nor did the presence of a barrier always lead to less.
• To illustrate, some factors were dual-edged in the sense that their presence was sometimes described as motivating and sometimes created negatives that reduced motivation. For example, dependent on other factors, a clinician's sense of duty to teach could feel like a privilege in some moments and a begrudging obligation in others.
• Still other factors seemed better described as an inverted U-shape function, increasing motivation to a point before causing a decline. For example, worry about one's knowledge being out of date increased participants’ desire to teach (because learners can help clinicians stay up to date), but only to a point; feeling too far from their expertise deterred clinicians from teaching.

Table 2, while not comprehensive, illustrates the inadequacy of simply listing factors that motivate or create barriers to teaching by providing descriptions and representative quotes of linear, dual-edged and U-shaped factors.

이러한 복잡한 현실 앞에서 우리는 교육 인센티브가 어떻게 인식되고 궁극적인 소진과 교육 감소를 완화하는 데 사용될 수 있는지 고려해야 한다. 
It is in the face of such complex realities that we must consider how teaching incentives are perceived and might be used to mitigate against eventual burnout and teaching attrition.

3.2 교수 인센티브에 대한 인식과 교사의 가치관 형성에 미치는 영향
3.2 Perceptions of teaching incentives and their impact on making teachers feel valued

모든 참가자들은 [학생들의 평가]가 특히 중요한 인센티브를 창출했다고 지적했다. 또한, 그들은 특정 인센티브와 보상(예: 감사 편지, 교수 상, 선물 및 피드백)이 어떻게 그들이 교사로서 가치가 있다는 인식을 형성하는지 설명했는데, 이것이 그들의 가르치는 동기의 주요 동인으로 보였다. 그렇게 함으로써, 그들은 인정, 감사, 연결, 관계와 같은 구조를 중심으로 말하는 경향이 있었다. 그러나 참가자들이 이러한 인센티브를 설명하는 방식은 다시 미묘한 차이를 보이며 매우 가변적이었다. 예를 들어, 어떤 이들은 상을 원하지 않는다고 주장했고, 어떤 이들은 그들이 받은 상이 특히 의미 있는 것이라고 언급했다. 선생님으로서 가치를 느낀 사람들은 무엇이 그들을 그렇게 느끼게 하는지 명확하게 표현하는 데 어려움을 겪었고, 다른 사람들은 그들이 의대로부터 가치있게 여겨졌다고 느꼈는지조차 고려하지 않았다.
All participants indicated that students’ appreciation created particularly important incentivisation. In addition, they described how certain incentives and rewards (eg thank you letters, teaching awards, gifts and feedback) built perception that they were valued as a teacher, which appeared to be the primary driver of their motivation to teach. In doing so, they tended to speak around constructs like recognition, appreciation, connectedness and relationships. However, the way in which participants described these incentives were again nuanced and highly variable. For example, some insisted they did not want awards and some referenced the awards they received as being particularly meaningful. Some who felt valued as teachers had difficulties articulating what made them feel that way; others had not even considered whether they felt valued by the medical school.

이러한 변동성과 관계없이, 모든 참여자들은 [인센티브의 개념]과 [인센티브의 실행]을 구별하여, [선의의 인센티브조차도 역효과를 가져올 수 있음]을 나타냈다. 즉, 인정이 해를 끼치는 것보다 더 많은 이익을 주는 것이라면 인센티브의 전달이 인센티브 자체보다 더 중요했다. [긍정적으로 설계된 인센티브의 부정적인 영향]은 참가자들의 기억에서 두드러졌고, 몇몇 참가자들은 그들이 저평가되었다고 느낄 때 감정적이 되었다. 이러한 [의도하지 않은 결과]는 [사기]에 전반적으로 영향을 미쳤고, 참가자들의 [감사하는 마음과 유대감]을 감소시키는 동시에, 그들에게 [의미 있는 관계]를 위협했다. 인센티브는 일반적으로 [비인격적이거나, 불평등하거나, 비효율적이거나, 적절한 프레임 구성이 부족할 때] 의도하지 않은 결과를 이끌어내는 것처럼 보였다.
Regardless of this variability, all participants made a distinction between the notion of an incentive and its implementation, indicating that even well-intentioned incentives could backfire. That is, the delivery of an incentive was just as, if not more, important than the incentive itself if the acknowledgement was to do more good than harm. Negative impacts of incentives that were designed to be positive were prominent in participants’ recollections with several participants becoming emotional when discussing times they felt undervalued. Such unintended consequences impacted morale quite generally, reducing participants’ sense of appreciation and connection while threatening relationships that were meaningful to them. Incentives generally seemed to elicit unintended consequences when they were impersonal, inequitable, inefficient or lacked appropriate framing.

극명하게 대조적으로, 의대로부터 '나는 그저 다른 원숭이로 대체할 수 있는 또 다른 원숭이처럼 느껴진다'고 말하면서 아무런 감사를 느끼지 못했던 한 의사는 [학생들의 몸짓에 깊은 감동을 받았고 그것이 그들이 그녀를 교육자로서 소중히 여기는 것을 보여주는 그들의 방식]이라고 느꼈다.
In stark contrast, one physician who felt no appreciation from the medical school, stating ‘I feel like just another monkey that's replaceable with a different monkey’, was deeply touched by a gesture from her students and felt that it was their way of showing they valued her as an educator:

4 토론
4 DISCUSSION

본 연구는 임상교사가 교사로서의 역할을 어떻게 보고 있는지, 교사가 직면하는 동기와 장벽, 인센티브가 교수동기에 어떤 영향을 미치는지에 대한 관점에 대한 심층적인 탐구를 통해 의료교육에서 동기와 동기의 불안정한 관계가 어떻게 형성되는지를 강조한다. 특히, 우리는 복잡하고 역동적인 방법으로 교수 동기를 가능하게 하고 억제하는 몇 가지 [개인적 요인과 환경적 요인]을 발견했다. 우리는 또한 인센티브가 종종 선의의 것이기는 하지만, 교사들의 [동기를 손상시키는 의도하지 않은 결과]를 초래할 수 있다는 것을 발견했다. 이러한 발견은 교육에 대한 임상의의 동기를 구축하고 유지하기 위한 인센티브 제도를 고려하고 있는 의대와 교육 지도자들에게 중요한 의미를 갖는다.
This study highlights how the precarious relationship between motivation and incentives is enacted in medical education through an in-depth exploration of how clinician teachers view their roles as teachers, the motivations and barriers they face, and their perspective on how incentives influence their motivations to teach. In particular, we found several personal and environmental factors that enable and inhibit teaching motivations in complex and dynamic ways. We also found that incentives, while often well-intentioned, can have unintended consequences that undermine teachers’ motivations. These findings have important implications for medical schools and educational leaders who are considering incentive schemes to build and sustain clinicians’ motivations towards teaching.

4.1 이론적 함의
4.1 Theoretical implications

서론에서 언급한 바와 같이, 보건 전문 교육 내의 인센티브에 대한 이전 연구는 대체로 이론적이었으며, 임상의가 교육에 대한 동기에 영향을 미치는 촉진자와 장애요인을 나열하는 데 초점을 맞추고 있다. 우리의 데이터는 이 접근법의 불충분함을 강조한다. 우리의 참가자들이 그들의 동기에 영향을 미치는 것으로 이름 붙인 많은 요소들은 다른 사람들에 의해 식별된 것들과 비슷했지만, 우리의 데이터는 [인센티브가 (단순한 목록이 제시하는 것보다) 어떻게 더 미묘한 차이와 가변성을 가질 수 있음]을 제시한다.

• 하나의 요인이 맥락/개인에 따라 동기 부여 요인으로도 또는 장벽으로도 나타날 수 있다(표 2의 양날 패턴).
• 어떤 요인은 어떤 지점까지 동기부여자 역할을 하지만, 일단 역치에 도달하면 장벽이 된다(역 U자형 패턴).

As noted in the introduction, previous research on incentives from within health professional education has been largely atheoretical, focused on listing facilitators and barriers clinicians perceive to influence their motivation towards teaching.6 Our data highlight the insufficiency of this approach. Many factors our participants named as influencing their motivations were similar to those identified by others, but our data suggest the way in which they have their influence to be more nuanced and variable than a simple list would suggest.

• One factor can present itself as a motivator or as a barrier dependent on context/individual (the dual-edged pattern in Table 2);
• some act as motivators up to a point, but then become barriers once a threshold is reached (the inverted U-shaped pattern).

따라서, 그들의 영향력은 그들의 상호작용과 주어진 맥락 내에서 요소들이 어떻게 경험되는지에 따라 달라질 것이기 때문에, 교육에 대한 동기부여나 장벽이 될 어떤 특정한 요소를 가정하는 것은 신중해야 한다. 이것이 와이즈너와 에바가 요약하고 서론에서 강조한 것처럼 [보건 전문 교육 외부에서 발견되는 다양한 이론적 관점을 완전히 통합하는 것이 어려운 이유]일 수 있다. [인센티브가 동기 부여에 어떻게 영향을 미치는지에 대한 설명의 가변성variability]은 경쟁적이거나 모순된 개념을 반영하기보다는, 맥락마다 다른 요소가 어떻게 적절히 전면에 나타나는지를 보여주는 것일 수 있다. 
As such, it appears prudent to be cautious in presuming any particular factor to be a motivator or barrier to teaching as their influence will depend on their interplay and how factors are experienced within a given context. This may be why it is so hard to fully integrate the different theoretical perspectives that are found outside of health professional education, summarised by Wisener and Eva and highlighted in the introduction.6 Variability in accounts of how incentives influence motivation may represent context appropriate foregrounding of different factors rather than reflecting competing or contradictory notions.

이전 검토에서 발견된 이론 관련 개념을 살펴보면, 우리의 데이터에서 특히 두드러졌던 것은 [형평성]이었다. 우리의 보건 전문 교육 맥락의 참가자들은 다음과의 [차이와 비교 측면]에서 (급여, 승진, 직함 및 상과 같은) 교수 인센티브에 대해 가장 자주 논의했다.

• 다른 사람들이 받은 것,
• 자신이 노력한 양
• 다른 방식으로 얼마나 많은 수입을 올릴 수 있는지

그들은 재정적 인센티브의 절대적인 양에 대해서는 덜 논의했다. 이러한 성찰은 [개인이 투입(예: 노력, 시간 등)]이 [자신의 성과(예: 급여, 인식)]와 일치하지 않는다고 생각하면 고통을 느낄 것이라고 가정하는 [형평성 이론]이 특히 보건 전문 교육과 관련이 있음을 시사한다. 임상 교사들은 비교 가능한 상황에 있는 다른 사람들이 적은 노력으로 더 많은 것을 받는다고 느낄 수도 있고, 또는 그들은 가장 중요한 시스템(예: 의대)이 그러한 투입과 산출을 부당하게 결정한다고 느낄 수도 있다. 다시 말하지만, 이것은 인센티브화는 어떤 보상이 '좋은' 것인지 '나쁜' 것인지에 대한 것이 아니라, 보상이 [공정하고, 형평하며, 투명한지에 대한 것임]을 시사한다. 시스템 내(예: 특정 의대의 현장 또는 개인 간) 또는 시스템 간(예: 매우 다른 맥락에서 일하는 사람들과 관련하여)에서 그러한 비교가 이루어지는 정도는 두고 봐야 한다.
Looking across the theory-related concepts uncovered in that previous review,6 one that was particularly prominent in our data was that of equity. Participants in our health professional education context most often discussed teaching incentives such as payments, promotions, titles and awards in terms of disparities and comparisons

• to what others received,
• to the amount of effort exerted, or
• to how much income they could be making in other ways.

They discussed the absolute amount of financial incentives to a lesser extent. These reflections suggest that Equity Theory,14 which posits that individuals will feel distressed if they deem their inputs (eg effort, time, etc) to be misaligned with their outcomes (eg salary, recognition), is a particularly relevant theory for health professional education. Clinician teachers may feel that others in comparable situations receive more for putting in less effort, or they may feel that the overarching system (eg the medical school) unfairly determines those inputs and outputs.15 Again, this suggests incentivisation is less about which rewards are ‘good’ or ‘bad’ and more about whether they are fair, equitable and transparent. The extent to which such comparisons are made within a system (eg across sites or individuals at a particular medical school) or across systems (eg in relation to those working in a highly different context) remains to be seen.

어쨌든, 참가자들이 종종 [장애물을 합리화한다는 것, 그리고 단점에도 불구하고 계속해서 가르친다는 것]은 우리에게 인식 불협화음의 힘, 즉 자신의 태도와 행동이 모순되는 상태를 상기시킨다. [인지 부조화 이론가]는 개인들이 주어진 행동에 대해 어떻게 느끼는지에 따라 행동할 필요가 있으며, 그들의 [행동을 바꾸기보다는 그들의 행동에 맞춰 태도를 바꿀 가능성이 더 높다]고 제안한다. 이 이론은 임상의가 그들의 [행동을 바꾸기 전]에(예: 재정적인 피해 때문에 가르치는 것을 그만두는 것) 자신의 [태도를 재구성]한 이유(예를 들어, 그들이 가르치는 것으로 돈을 잃지만 다른 사람들의 성공을 돕는 것으로 부자가 된다고 주장하는 것)을 설명한다. 
In any case, that participants often rationalised away barriers and continued to teach despite the drawbacks remind us of the power of cognitive dissonance, the state of one's attitudes and behaviours contradicting. Cognitive dissonance theorists16 suggest individuals have a strong need to act in accordance with how they feel towards a given behaviour and are more likely to change their attitude to match their behaviour than to change their behaviour. This theory offers an explanation as to why clinicians reframed their attitudes (eg saying that they lose money by teaching but arguing they gain richness in helping others succeed) before changing their behaviour (eg quitting teaching because of the financial toll).

우리는 [장벽을 극복하기 위한 메커니즘]으로, 임상의들의 [자체적인 불협화음 협상]에 의존할 수도 있지만, 장벽은 결국 (교육을 정당화하는 것이 더 이상 비용 가치가 없을 정도에 이를 수 있는) [누적적 효과]를 갖는 것으로 보이기 때문에 한계가 있다. 이것은 [불평등에 대한 인식과 교육 동기 부족을 완화하기 위해 실질적인 수준에서 무엇을 할 수 있는지에 대한 통찰력을 개발하는 것의 중요성]을 강화한다.
While we may be able to rely on clinicians’ negotiating their own dissonance as a mechanism to overcome barriers, there is a limit as barriers appear to have a cumulative effect that can eventually tip the scales to the point where justifying teaching is no longer worth the cost. This reinforces the importance of developing insights regarding what can be done on a practical level to mitigate perceptions of inequity and a lack of motivation to teach.

4.2 실천적 함의
4.2 Practical implications

[학습자와의 관계가 임상 교육자에게 중요한 동기 부여 요인을 만든다]는 주장만큼 우리 데이터에 만연한 감정은 거의 없었다. 이와 같이, 이러한 연구 결과가 시사하는 실질적인 변화 중 하나는 지도부나 기관에 의해 인센티브가 전달되는 하향식 과정으로 의학 교사에게 인센티브를 주는 것을 중단하는 것이다. 오히려 모든 참가자가 [학습자가 교수자를 어떻게 인식하는지]를 중요시한다는 점을 고려할 때, [어떻게 임상의가 학습자에게 긍정적인 영향을 주었는지에 대한 정보]를 받을 수 있는 적절한 메커니즘을 확보하는 것이 매우 유익한 노력이 될 수 있다. 학생들로 하여금 [학생을 가르치는 교수들이 들이는 노력을 장려하고 가능하게 만드는 학생의 역할을 충분히 인식하도록 돕는 것]은 임상의들이 그들의 교육 활동에서 보람을 느끼게 하는 [의미 있는 교사-학습자 관계]를 형성하는 데 특히 영향을 미칠 수 있다. 이러한 관계가 학습자를 효과적인 피드백 과정에 참여시키는 데 중요한 것으로 나타났다는 점을 고려할 때, 이러한 관계는 또한 교사에게 영향력 있는 방식으로 건설적인 피드백을 전달할 수 있을 것으로 기대할 수 있다. 교사-학습자 관계에 대한 대부분의 연구는 교사가 학습자의 이익을 위해 관계를 발전시키는 방법에 초점을 맞추고 있지만, 강사의 지속적인 교육 노력에 대한 학습자의 기여가 최적화되려면, [어떻게 피드백 프로세스의 진정성을 유지하는 학습자를 위한 가이드라인을 만들 것인가]가 추가 연구의 중요한 영역이다.
Very few sentiments were as prevalent in our data as claims that relationships with learners create important motivational drivers for clinician educators. As such, one practical change these findings suggest is to stop conceiving of incentivising medical teachers as a top-down process in which incentives are delivered by leadership or the institution. Rather, given that all participants valued how their learners perceive them, ensuring appropriate mechanisms are in place for clinicians to receive information indicating how they have positively impacted their learners could be a highly fruitful endeavour. Helping students appreciate their role in encouraging and enabling effort to be put forth by their faculty may be particularly impactful for generating the meaningful teacher-learner relationships that make clinicians feel rewarded in their educational activity. Given that such relationships have been shown important for engaging learners in effective feedback processes, they may be expected also to enable constructive feedback to be delivered to teachers when needed in a manner that is impactful rather than de-motivating. While most research on teacher-learner relationships focuses on how teachers might develop relationships for their learners’ benefit,17 how guidelines for learners might be generated that maintain the authenticity of feedback processes is an important area for further research if learners’ contributions to preceptors’ ongoing teaching efforts are to be optimised.

우리는 또한 [교사 지원teacher support]을 관리자의 특정한 행위라기보다는 활동의 프로그램으로 전략적으로 생각하는 것을 추천한다. 동기부여의 동적 특성은 어떤 개인에게든 항상 하나의 인센티브 제도로는 충분할 것 같지 않게 만들고, 따라서 모든 개인에게 동기부여가 되는 'one size fits all' 전략이 만들어질 수 있다고 상상하기 어렵다. [요인, 시간 및 맥락] 사이의 복잡한 상호작용 특성은 인센티브를 제공하여 동기를 형성하려고 할 때 특이하고 뉘앙스 있게 생각할 필요가 있음을 시사한다. 무엇이 사람들에게 동기를 부여하는지에 관한 일반적인 원칙에 주의를 기울이고(자기 결정 이론에 요약된 역량, 연결 및 자율성의 감정을 포함한다), 그러한 가치에 부합하는 지원과 인센티브를 개발하는 것이 가치 있다. 그러나 그렇게 하는 것은 임상 교사들이 [어설프게 구현된 인센티브 제도에 의해 의욕이 꺾이는 것]을 피하기 위한 일련의 전략을 필요로 할 가능성이 높다.

• 학술 기관의 일원처럼 느끼고 싶은 임상의들에게, 교육 기관에 가입하거나 대학 자원에 접근할 수 있는 기회가 가장 큰 영향을 미칠 수 있다.
• 연결을 구축하고자 하는 다른 사람들에게는 네트워킹과 지역사회 구축 기회가 특히 유익할 수 있다.
• 다른 사람들은 여전히 어려운 학습자와의 만남에 직면하여 탄력성을 구축하는 지원을 요구할 수 있으며, 이는 교사들 사이에서 교사 정체성을 육성하고 실천의 공동체를 구축하는 데 초점을 맞춘 교수진 개발 제안이 가치를 증명할 수 있음을 시사한다.

We also recommend thinking of teacher support strategically, as a programme of activity rather than as a particular act on the part of an administrator. The dynamic nature of motivation makes it unlikely that one incentive scheme will always be sufficient for a given individual and, thereby, makes it foolhardy to imagine that a ‘one size fits all’ strategy could be created that would motivate all individuals. The complex nature of the interaction between factors, time and context suggests a need to think idiosyncratically and with nuance when trying to build motivation by offering incentives. It is valuable to pay heed to general principles regarding what motivates people (including feelings of competence, connection and autonomy, as outlined in self-determination theory 6) and to develop supports and incentives aligned with those values. Doing so, however, is likely to require an array of strategies to avoid clinician teachers feeling de-motivated by poorly implemented incentivation schemes.

• For clinicians who want to feel like part of an academic institution, the opportunity to join teaching academies or access university resources might be most impactful.
• For others who want to build connections, networking and community building opportunities might be particularly beneficial.
• Others still may require support building resilience in the face of difficult learner encounters, suggesting that faculty development offerings focused on nurturing teaching identities and building communities of practice among preceptors could prove valuable.18, 19

어떤 전략(또는 이상적으로는 전략)을 채택하든 간에 [선의의 인센티브 제도의 의도하지 않은 결과]는 인센티브가 어떻게 조작되고 제공되는지에 대해 신중하게 생각할 필요가 있음을 시사한다. 임상의의 [동기를 훼손하는 방식의 인센티브 제공]은 지속적인 결과를 초래하고 냉소주의를 구축할 수 있다. [Generic하고 템플릿 기반의 서포트 레터]는 수신자가 개인 편지를 작성하는 데 걸리는 시간을 낭비할 가치가 없다는 신호를 보낼 수 있습니다. 동시에 교사 채용 문제가 인센티브 제공이 만병통치약을 제공하는 동기부여 문제로만 프레임되어서는 안 된다는 점을 인식해야 한다. 특정한 실무 환경이 다른 환경보다 더 많은 장벽을 만들 수 있다는 것을 인정하는 것은 중요하다. 비슷하게 어린 아이들을 갖는 것은 사무실에서 많은 시간을 보내는 것을 막을 수 있지만, 시간이 장애요인이 되는 정도는 가르치는 것에 대한 자신감과 학습자와의 개인적인 연결에 의해 영향을 받을 수 있다. 해결하기 쉬운 과제는 아니지만, 동기 부여를 찾기 위해 고군분투하는 사람들을 위해 장벽을 줄이기 위해 추가적인 노력을 투자할 가치가 있을 것이며, 임상의나 맥락에 대한 포괄적인 진술은 교육이 인식되는 방법에 영향을 미치는 많은 개별 현실을 간과한다는 것을 인식한다.
Regardless of what strategy (or, ideally, strategies) one adopts, the unintended consequences of well-intentioned incentive schemes suggest we need to think carefully about how incentives are crafted and delivered. Offering incentives in ways that undermine clinicians’ motivations can have lasting consequences and build cynicism. Generic and template-based letters of support can signal that the recipient is not worth the time it takes to craft a personal letter. At the same time, it must be recognised that teacher recruitment issues should not be solely framed as a motivation problem for which offering incentives provides a panacea. Acknowledging that certain practice environments (eg fee for service roles) can create more barriers than others (eg salaried clinicians working where residents can take some of the patient load) is important.20 Having young children, similarly, may prevent one from spending copious amounts of extra time in the office, but the extent to which time creates a barrier might be influenced by building confidence in teaching and personal connections with learners. While not an easy task to address, it is likely worth investing additional effort to reduce barriers for those who are struggling to find motivation, while recognising that blanket statements about clinicians or contexts overlook many of the individual realities influencing how teaching is perceived.

4.3 제한사항
4.3 Limitations

본 연구는 임상교사의 관점을 의도적으로 모색하였는데, 이는 임상교사가 기초과학자 및 사회과학자보다 학문적 의학을 떠날 가능성이 높기 때문이다. 이와 같이, 이 연구 결과는 더 보호된 수업 시간을 가질 수 있는 다른 유형의 교사들에게는 덜 관련이 있을 수 있다. 그들은 또한 개인이 교육적으로 기여하는지 또는 어떻게 기여하는지에 대한 통제력이 낮은 상황에서 덜 관련이 있을 수 있다. 그렇긴 하지만, 우리는 동기 부여를 위한 자율성의 중요성이 충분히 크다고 주장할 것이다. 일반적으로 교육의 질이 유지되려면 인센티브와 다른 형태의 지원의 영향을 고려하는 것이 중요할 것이다. 물론, 다양한 형태의 인센티브를 제공할 수 있는 능력은 사용 가능한 자원에 더 일반적으로 의존할 것이다. 참가자를 모집한 두 기관이 모두 고소득 국가에 존재한다는 점을 고려할 때, 식별된 일반 원칙이 주목할 가치가 있다고 예상하는 동안에도 참가자의 특정 경험은 저소득 환경으로 이전할 수 없을 수 있다. 마찬가지로, 우리의 연구 결과를 다른 기관에 적용하려는 사람들은 이러한 결과의 이전 가능성에 영향을 미칠 수 있는 다양한 교육 구조, 문화 및 보상 배치의 잠재력을 고려해야 한다. 현재 연구의 많은 참가자들은 다른 기관에서 일하고 가르쳤으며, 그들의 관점이 UBC의 맥락에 특정된다는 것을 거의 나타내지 않았지만, 그들 중 경제적 취약 지역에서 가르친 경험이 있는 사람은 거의 없을 것이다. 마지막으로, 교육을 그만두거나 교육 기회를 거절한 사람들을 참여자 풀에 포함시킴으로써 다양한 관점을 포착할 수 있었지만, 모집할 수 없었던 개인(예: 교육에 전혀 참여하지 않은 임상의)은 현재 연구에 반영되지 않은 더 강력한 관점을 가질 수 있다. 

This study purposely sought out the perspectives of clinician teachers because they are more likely to leave academic medicine than are basic and social scientists.21, 22 As such, the findings may be less pertinent to other types of teachers who may have more protected teaching time. They may also be less pertinent in contexts where individuals have less control over whether or how they contribute educationally. That said, we would argue that the importance of autonomy for motivation is sufficiently great, as a rule,6 that it will remain important to consider the influence of incentives and other forms of support any setting if teaching quality is to be maintained. Of course, the capacity to provide different forms of incentives will depend more generally on the resources available. Given that both institutions from which participants were recruited exist in high income countries, their particular experiences may not be transferable to lower income settings even while we anticipate that the general principles identified are worth heeding. Similarly, those attempting to apply our findings to other institutions should consider the potential for different teaching structures, cultures and compensation arrangements to impact on the transferability of these results. Many participants in the current study had worked and taught at other institutions and rarely did they indicate that their perspectives were specific to UBC’s context, but few of them are likely to have experience teaching in less economically privileged parts of the world. Finally, while we were able to capture multiple perspectives by including those who either quit teaching or who had turned down teaching opportunities within the participant pool, individuals who could not be recruited (eg clinicians who never engaged in teaching) may have stronger perspectives that are not reflected in the current study.

5 결론
5 CONCLUSIONS

요약하자면, 교육을 둘러싼 동기와 인센티브 사이의 복잡한 관계를 반복적으로 탐구하고 놀리려는 우리의 의도적인 노력은 임상 교사들에게 최상의 인센티브를 주는 방법에 대한 간단한 '레시피'를 밝히지 않았지만, 세 가지 핵심 메시지는 매우 중요해 보인다.

• (1) 개인에게 고유한 방식으로 경험되며 시간이 지남에 따라 상황에 따라 변화할 수 있는 다양한 요인이 작용한다. 
  
• (2) 임상 교사들은 일반적으로 아래와 같이 느낄 때 가치있게 여겨진다고 느끼고, 따라서, 가르치는 것에 동기를 부여받는다.
  
  • (a) 그들의 교육 노력에 대해 인정받고 감사받는 것 
    
  • (b) 학습자, 동료, 리더십 또는 의료 교육 커뮤니티와 연결되는 것 
    
  • (c) 그들은 의미 있는 교수자-학습자 관계를 맺는 것. 다른 임상의들은 다른 관계를 우선시할 수 있지만, [학습자들에 의한 인정과 감사]는 특히 영향을 미치는 것으로 보인다. 
    
• (3) 해로운 것과 반대로 도움이 되기 위해서, 교수 인센티브는 [개인적이고, 공평하고, 효율적으로 제공]되고 주의를 기울이는 방식으로 설계되고 전달되어야 한다.

In sum, while our deliberate efforts to iteratively explore and tease apart the intricate relationships between motivation and incentives surrounding teaching have not revealed a straightforward ‘recipe’ for how to best incentivise clinical teachers, three key messages appear critical:

• (1) There are a variety of factors at play that are experienced in ways that are unique to individuals and are subject to change over time and across contexts;
• (2) Clinical teachers generally feel valued and, hence, motivated to teach, when they feel
  • (a) recognised and appreciated for their teaching efforts,
  • (b) connected to their learners, peers, leadership or the medical education community and
  • (c) they have meaningful teacher-learner relationships. While different clinicians may prioritise different relationships, recognition by and appreciation of learners appears particularly impactful;
• (3) To be supportive as opposed to harmful, teaching incentives should be designed and delivered in ways that are personal, equitable, efficiently provided and framed with care.

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

신뢰와 위험: 의학교육을 위한 모델 (Med Educ, 2017)
Trust and risk: a model for medical education
Arvin Damodaran,1 Boaz Shulruf2 & Philip Jones3

서론
Introduction

의료, 위험 및 신뢰
Health care, risk and trust

의료는 본질적으로 복잡하고 위험한 사업이며, 임상의가 지속적으로 위험을 관리해야 한다. 임상 교사들도 마찬가지로 학생이나 후배 의사에게 임상 업무를 위임할 때마다 잠재적인 문제가 있다는 것을 이해한다. 기존의 역량 평가는 이러한 미묘한 결정을 내리기에 충분한 정보를 제공하지 못할 수 있지만, 특정 훈련생을 불신하거나 신뢰할 수 있는 결정을 내려야 한다. 신뢰는 임상의에게 생소한 어휘가 아니다. 비공식적으로, 의사들은 그들의 후배들과 또래들을 다음과 같은 간단한 질문으로 평가한다. '당신은 그들이 당신의 어머니를 돌볼 것이라고 믿겠습니까?' 이는 작업 공간 기반 평가를 재구성하는 방법을 나타내는 신뢰할 수 있는 전문 활동(EPA)의 직관성과 새로운 인기를 부분적으로 설명할 수 있다.
Health care is an inherently complex and dangerous business, in which clinicians are continually required to manage risk. Clinical teachers likewise understand there are potential problems each time they delegate a clinical task to a student or junior doctor. Conventional assessments of competency may not provide enough information to make these nuanced decisions,2 yet the decision to either distrust or trust a particular trainee to undertake a task must be made. Trust is not an unfamiliar vocabulary to clinicians. Unofficially, doctors rate their juniors and peers with the simple question: ‘Would you trust them to look after your mother?’ This may in part explain the intuitiveness and new popularity of entrustable professional activities (EPAs) as representing a way to restructure workplace-based assessments.3

의학 교육에서 '위임'이라는 단어의 바로 그 사용은 신뢰라는 개념에 새로운 초점을 가져왔다. 그러나 일단 이 개념을 도입하면 다음과 같은 많은 질문이 발생합니다.

• 신뢰의 정의는 무엇입니까?
• 우리는 어떻게 신뢰하거나 불신하는 결정을 내릴 수 있을까?
• 신뢰에 대해 이야기하는 것이 평가와 역량의 전통적인 의학 교육 어휘보다 더 진실하고 의미 있는 대화인가?
• 신뢰는 개인과 조직을 어떻게 상호 연결합니까?
• 신뢰의 개념을 의료 커리큘럼에서 더 폭넓게 사용할 수 있는가, 아니면 그래야 하는가?

In medical education, the very use of the word ‘entrustment’ has brought new focus to the idea of trust. However, once we engage with the concept, many questions arise:

• What definition of trust should we be using?
• How do we come to a decision to trust or distrust?
• Is talking about trust a more authentic and meaningful conversation than the conventional medical education vocabulary of assessment and competency?
• How does trust interconnect individuals and organisations?
• Can, or should, we use the concept of trust more widely in medical curricula?4, 5

목적 및 방법
Aims and method

우리의 목표는 임상 교사 및 보건 교육 학자들에게 신뢰에 대한 문헌에 대한 광범위한 개요를 제공하고 신뢰, 위험 및 통제의 언어가 의학 교육의 현재 사고와 어떻게 교차할 수 있는지 탐구하며 잠재적인 질문 방향에 대한 제안을 하는 것이었다. 이는 체계적인 비판적 검토가 아닌 문헌의 서술적 개요로 제시된다.6, 7 다양한 데이터베이스(MEDLINE, ERIC [교육 자원 정보 센터], CINAHL [간호 및 제휴 건강 문헌에 대한 누적 지수], EMBASE, Proquest Central, Business Source Central 및 Google Scholar)를 사용하여 질문했다. 키워드 및 주제 검색에서 '신뢰', '의료', '건강', '교육'의 조합과 관련 참고문헌 및 인용문구가 손으로 작성되었습니다. 경영, 고등교육, 의학, 의료 교육 분야에서 신뢰trust 문헌에 대한 우수한 리뷰가 출판되었다. 이 논문의 목적은 이 연구를 강조하고 의학 교육 및 임상 커뮤니티를 위해 맥락화하는 것이었다. 우리는 환자-의사 또는 훈련생-감독자 관계와 같은 단일 관계로 초점을 제한하지 않고 여러 수준에서 관계를 포괄함으로써 폭을 위한 깊이를 희생했다. 
Our aim was to provide clinician-teachers and health education scholars with a broad overview of the literature on trust, exploring how the language of trust, risk and control might intersect with current thinking in medical education, and to make suggestions for potential directions of enquiry. This is presented as a narrative overview of the literature rather than a systematic critical review.6, 7 A variety of databases (MEDLINE, ERIC [Educational Resources Information Centre], CINAHL [Cumulative Index to Nursing and Allied Health Literature], EMBASE, Proquest Central, Business Source Central and Google Scholar) were interrogated using combinations of ‘trust’, ‘medical’, ‘health’ and ‘education’ in keyword and subject searches, and relevant references and citations were hand-searched. Excellent reviews of the trust literature have been published in the fields of management,8, 9 higher education,10 medicine11 and medical education.3, 12 The purpose of this article was to highlight this research and to contextualise it for the medical education and clinical community.13 We have sacrificed depth for breadth by encompassing relationships at multiple levels, rather than restricting the focus to a single relationship such as the patient–doctor or trainee–supervisor relationship.

우리는 의료 교육 및 의료에 대한 신뢰의 중요성을 설명하는 것으로 시작하여 외부의 의료로부터 신뢰 테마와 연구를 탐구한 후, 다시 돌아와 의료 교육 관계를 해체하는 데 관리 문헌의 모델이 어떻게 사용될 수 있는지 검토한다. 마지막으로, 우리는 신뢰가 더 광범위한 위험 관리 의제에 어떻게 부합할 수 있는지 살펴본다. 그러나 첫 번째 과제는 신뢰를 정의하는 것이다.
We begin on familiar ground by describing the importance of trust to medical education and health care, and then explore trust themes and research from outside health care, before returning to examine how a model from the management literature may be used to break down medical education relationships. Finally, we look at how trust may fit into the wider risk management agenda. The first task, however, is to define trust.

신뢰의 정의
Defining Trust

신뢰를 정의하는 특징은 [신뢰자가 위험을 인식하고 관계의 취약성을 받아들이는 것]이다. 신뢰는 [위험을 감수하기 위한 의식적인 결정]을 내리는 것을 포함하며, 이는 훈련생에게 직접적인 감독 여부가 있거나 없는 상황에서 임상 활동을 수행하도록 하는 과정에서 감독관이 해야 하는 일이다. 이 조치를 취함에 있어서, 감독자는 그녀의 환자뿐만 아니라 그녀의 명성도 위험에 처하게 한다. 담당 임상의의 이름은 환자의 침대 머리 위에 있습니다. 수술이 실패하거나 진단이 누락될 경우, 그녀는 개인적이고 잠재적으로 의학적인 법적 결과에 직면할 것이다. 이러한 [위험 평가]와 [취약성에 대한 자발적인 노출]은 [신뢰]와 [공정한 역량 인증]을 구별하는 것으로서, 특히 위험한 작업장에 적합할 수 있습니다. 사실, 기존의 학술 평가는 감독자가 임상 업무를 위임하기로 결정할 때 참조되지 않는 경향이 있다. 

The defining feature of trust is the trustor's appreciation of risk and acceptance of vulnerability in the relationship.14, 15 Trust involves making a conscious decision to take on risk, as a supervisor must do when letting a trainee carry out a clinical activity with or without direct supervision. In taking this action, the supervisor subjects her patient, as well as her own reputation, to risk. The supervising clinician's name is on the patient's bedhead. Should a procedure fail, or there be a missed diagnosis, she will face personal, potentially medico-legal consequence. This risk assessment and willing exposure to vulnerability differentiates trust from an impartial certification of competence, and may be particularly suited to the risky workplace. In fact, conventional academic assessments tend not to be referenced by supervisors when they decide to delegate clinical tasks.16

신뢰의 정의는 준비 상태로 볼 때 다음과 같이 표현된다. '신뢰는 다른 사람의 의도나 행동에 대한 긍정적인 기대를 바탕으로 취약성을 받아들이려는 의도를 포함하는 심리적 상태이다.' 이 정의는 상황별 및 작업별 특성을 생략하지만, 취약성의 정의 특성과 함께 신뢰자와 수탁자 간의 상호 의존성을 강조한다. 그러나 신뢰는, 특히 직장 관계에서, 직무 특이적이고 맥락에 따라 다르다. 특정 작업에서 '무엇을 할 것인가?'라는 질문을 추가하면, 공식은 'A는 B가 X하는 것을 신뢰한다'가 된다. Trustor(갑)는 Trustee(을)가 업무를 수행할 동기와 역량이 있다고 판단해야 한다.
A definition of trust when viewed as a state of readiness has been expressed as: ‘Trust is a psychological state comprising the intention to accept vulnerability based upon positive expectations of the intentions or behaviour of another.’17 Although this definition omits context- and task-specificity, it highlights interdependence between trustor and trustee, along with the defining characteristic of vulnerability. Trust, however, is task-specific and contextual, particularly in workplace relationships. If we add, in a specific task, the ‘to do what?’ question, the formulation becomes ‘A trusts B to do X’.18, 19 The trustor (A) must judge that the trustee (B) has the motivation and competence to get the job (X) done.

위의 모든 것을 고려한다면, 정의는 다음과 같이 확장될 수 있다: 신뢰는 신탁업자가 취약성 및 위험의 수용을 요구하는 판단이며, 수탁자(개인 또는 조직)가 특정 조건에서 특정 작업을 수행할 수 있는 역량, 의지, 무결성 및 역량(즉, 신뢰도)을 가지고 있다는 것이다. 이 문서의 나머지 부분에 사용할 정의입니다.
Factoring in all of the above, the definition might be expanded to:

• trust is a judgement by the trustor,
  
• requiring the acceptance of resultant vulnerability and risk,
  
• that the trustee (individual or organisation) has the competence, willingness, integrity and capacity (i.e. trustworthiness)
  
• to perform a specified task
  
• under particular conditions.

This is the definition we will use for the remainder of this article.

의료 교육 및 의료에 대한 신뢰
Trust in medical education and health care

교육생에 대한 감독자의 신뢰
Supervisors’ trust in trainees

신뢰는 교사-학생 관계의 핵심으로 여겨진다. 임상 훈련에서도 다른 공예와 마찬가지로 '점진적 독립'의 도제직이나 전통이 있다. 즉, 교육생들에게 감독관들이 점차 신뢰를 넓혀가면서 실제 업무 수행에 대한 자율성을 높일 수 있게 된다. 숙련된 상사는 위험을 허용 가능한 수준으로 유지하면서 훈련생의 역량과 자신감을 키워줍니다. 이상적으로, 훈련자의 학습 요구는 Vygotsky가 '근위 발달 영역'이라고 지칭한 도전에 의해 최적으로 충족된다. 각각의 신뢰 결정은 개별화되고 반복적이기 때문에, 정적 커리큘럼은 제한된 가치를 가진다. 이것은 직장에서의 학습 경험을 묘사하는 위치 학습과 숨겨진 커리큘럼과 같은 현대 이론과 일치한다. [교육병원에서의 학습]은 [실제 작업이 진행 중인 환경]에서 [실천 커뮤니티에 위치]하여 [경험적]이다. 학생은 합법적인 주변적 참여에서 시작하여 점차 이해와 참여도를 높이고 시간이 지남에 따라 의사 결정 과정의 중심이 됩니다. 이러한 이론과 완전히 일치하지만, 임상 과제를 위임하기 위한 복잡하고 다요인 결정을 이해하려면 [학습자의 머릿속]에서 벗어나 [(학습자의 요구는 보조적인 우선순위가 되는) 감독자의 머릿속]으로 들어가야 한다. 결국, 감독관은 신뢰자이다.
Trust is considered central to the teacher–student relationship.20, 21 In clinical training, as in other crafts, there is an apprenticeship or tradition of ‘progressive independence’.22 In other words, supervisors gradually extend trust to their trainees, allowing them increasing autonomy to perform real tasks in the workplace. A skilful supervisor encourages the trainee's developing competence and confidence, while keeping risks to an acceptable level. Ideally, the trainee's learning needs are optimally met by challenge in what Vygotsky referred to as the ‘zone of proximal development’.23, 24 As each trust decision is individualised and iterative, static curricula are of limited value. This is consistent with contemporary theories such as those of situated learning and the hidden curriculum, which describe the trainee experience of learning in the workplace.25 In teaching hospitals learning is experiential, situated in communities of practice in an environment in which real work is ongoing. The student starts off in legitimate peripheral participation,26 gradually increasing his understanding and engagement, and over time becomes increasingly central to the decision-making processes. Although it is entirely consistent with these theories, attempting to understand the complex and multifactorial decision to delegate clinical tasks takes us out of the learner's head and into the supervisor's, in which the learner's needs may well be a subsidiary priority. After all, the supervisor is the trustor.

[신뢰할 수 있는 전문 활동]은 [충분한 증거를 수집하고 평가]한 후 [훈련생에게 '위탁'할 수 있는 관찰 가능한 전문 작업을 선별하여 기술함]으로써 이러한 개념을 활용하는 새로운 접근법을 나타낸다. [EPA의 사용]은 임상의의 판단에 타당성을 추가하고 현재 작업장 평가에서 [원자성atomistic 체크박스]를 사용하는 것에 대한 우려를 해결한다.3 이러한 매력에도 불구하고 EPA를 개발하고 구현하는 최적의 방법은 아직 결정되지 않았다. 
Entrustable professional activities represent a novel approach that utilises these concepts by describing selected observable pieces of professional work that can be ‘entrusted’ to the trainee once sufficient evidence has been collected and assessed. The use of EPAs adds validity to the clinician's judgements and addresses concerns about current use of atomistic tick-boxes in workplace assessment.3 Despite these attractions, the optimal means of developing and implementing EPAs remain to be determined.27

EPA에서 '위임'이라는 단어의 의도적 사용은 어느 정도 탐구할 가치가 있다: 위임은 수탁자가 향후 활동을 수행할 수 있도록 하는 신탁 결정trust decision이 내려졌음을 의미한다. 한 사람이 다른 사람에게 특정한 일을 Entrusts한다. '위임'은 업무에 특화되어 있고 계약적이며, '신뢰'보다 개인적인 함축가 적다. 따라서 '위탁'이라는 단어를 사용하는 것이 교육생을 다룰 때, 특히 특정 업무와 행동에 대한 건설적인 피드백을 제공할 때 '신뢰'를 사용하는 것보다 더 나을 수 있습니다. 이러한 뉘앙스를 떠나 신뢰와 위탁의 구조는 불가분의 관계에 있다.
The purposeful use of the word ‘entrustment’ in EPAs deserves some exploration: entrustment implies that a trust decision has been made that will allow the trustee to undertake a future activity.18 One entrusts another to undertake a specific task. ‘Entrustment’ is task-specific and contractual, and has less personal overtones than ‘trust’. Using the word ‘entrustment’ may therefore be preferable to using ‘trust’ when dealing with trainees, particularly when giving constructive feedback around specific tasks and behaviours. Aside from these nuances, the constructs of trust and entrustment are inextricably linked.

우리는 감독 관계와 EPA를 신뢰에 대한 보다 일반적인 논의를 위한 친숙한 디딤돌로 사용해 왔다. 신뢰와 직업을 고려하고 더 광범위한 신뢰 문헌이 어떻게 유익할 수 있는지 살펴본 후에 우리는 훈련생-감독자 관계로 돌아갈 것이다.
We have used the supervisory relationship and EPAs as familiar stepping stones into a more general discussion of trust. We will return to the trainee–supervisor relationship after we have considered trust and the profession, and seen how the broader trust literature may be instructive.

환자가 의사를 신뢰하는 것
The patient's trust in the doctor

[환자-의사 신뢰 관계]는 치료 관계에 필수적인 것으로 간주되어 상당한 관심을 받아 마땅하다. 주치의에 대한 신뢰는 환자의 진료의욕, 민감한 정보공개, 조사나 관리의 취약성 수용에 영향을 미치며, 궁극적으로는 진료만족도에 영향을 미친다. 반대로, 일단 관계에 대한 신뢰가 깨지면, 환자들은 용서하거나, 다른 곳으로 가거나, 불평하거나, 의료-법적 절차를 시작하는 것을 선택할 수 있다. 의사들에 대한 신뢰를 높일 수 있는 개입에 대한 Cochrane 메타 분석은 주제에 대한 관심이 있지만, 어떤 접근법에서든 일관된 이익을 얻을 수 있는 증거가 아직 충분하지 않다는 것을 보여준다. 결국, 의사와 학생들이 항상 진실을 말하지 않기 때문에 불신은 정당화될 수 있다. 
The patient–doctor trust relationship, regarded as integral to the therapeutic relationship, has deservedly received significant attention. Trust in one's doctor impacts on the patient's willingness to seek care, disclose sensitive information and accept the vulnerability of investigations or management, and ultimately affects satisfaction with care.28, 29 Conversely, once there has been a breach of trust in the relationship, patients may choose to forgive, to go elsewhere, to complain or to initiate medico-legal proceedings.30, 31 A Cochrane meta-analysis of interventions that may increase trust in doctors demonstrates that although there is interest in the subject, there is as yet insufficient evidence for consistent benefit from any one approach.32 After all, distrust may be warranted as doctors and students do not tell the truth all the time.33, 34

의료계에 대한 환자의 신뢰
The patient's trust in the medical profession

[자신의 의사(일반적으로 매우 높은 것으로 평가됨)에 대한 신뢰]는 [의료 전문직이나 의료 시스템에 대한 신뢰(일반적으로 덜 높은 것으로 평가됨)]와 경험적으로 다르다. 의사나 의료 서비스에 의한 환자 신뢰의 우울할 정도로 정기적인 위반에 의해 공급되고 법적 수단이 요구되는 프로세스에서 직업과 기관에 대한 신뢰는 점점 더 도전받고 있다. 특히 미국의 [관리형 의료의 출현]과 [영국 국립 보건 서비스 의료 시스템]에 대한 신뢰의 침해와 관련하여, 우리의 [의료 시스템]과 [그 시스템에 공급하는 교육 기관]에 대한 사회적 신뢰가 하락하고 있다는 일반적 인식이 있다. 정부 정책을 알리기 위해 의료에 대한 국민의 신뢰에 대한 조사 기반 척도가 사용되어 왔다.
Trust in one's own physician (generally rated as very high) differs empirically from trust in the medical profession or health care systems (which is generally less high).29, 35 Trust in the professions and institutions is increasingly challenged in a process that is fed by depressingly regular breaches in patient trust by practitioners or health services and in which legal recourse is required.36 There is a perception of general decline in societal trust in our systems of health care and the educational institutions that feed into them, notably related to the advent of managed health care in the USA and perceived breaches of trust in the UK National Health Service health care systems.37-39 Survey-based measures of public trust in health care have been used to inform government policy.22

제약업계의 영향과 의사-연구자의 이해충돌로 의료업의 근간인 [과학·의학 연구에 대한 불신]도 커지고 있다. 환자가 반드시 의사의 제약 회사 계약이나 환자를 자금 지원 시험에 등록하기 위한 재정적 인센티브를 알 필요는 없다. 학술적 위법행위의 빈번한 사례가 저널 논문 철회를 증가시키고 있다. 하지만 이미 자신을 둘러싼 환경에서 다수의 학문적 경범죄를 인지하는 의대생들에게는 주목을 받지 못한다. 
Distrust is also increasingly expressed towards scientific and medical research, the foundation of the medical profession, because of the influence of pharmaceutical industry and physician-researcher conflicts of interest.40, 41 Patients are not necessarily made aware of doctor's pharmaceutical company engagements or financial incentives to enrol patients into funded trials.42 Frequent high-profile cases of academic misconduct drive an increasing number of journal article retractions.43 This is not lost on medical students, who perceive a multitude of academic misdemeanours in their own environments.44

신뢰 수준
Levels of trust

앞 단락에서 우리는 더 넓은 직업뿐만 아니라 개인으로서 의사들을 신뢰하는 몇 가지 위협에 대해 설명했습니다. 신뢰를 분석하려고 할 때, 사회적 또는 조직적 요인에서 대인관계 요인을 분리해내는 것이 분명히 중요하다. 어떤 하나의 신뢰 결정에서도 [대인관계와 조직적 결정 요인] 사이에 상호작용이 있을 가능성이 높다. 이를 위해, 문헌은 [대인관계, 조직 및 제도적 수준]을 참조하여 '신뢰 수준'의 개념을 도입한다.10 예를 들어,

• 대인적 신뢰는 친구나 동료의 신뢰를 의미할 수 있다;
• 조직적 신뢰는 임상 서비스, 의과대학 또는 대학에서의 신뢰를 의미할 수 있다.
• 제도적 신뢰는 국가 차원에서 보건 또는 교육 시스템과 같은 시스템의 신뢰를 지칭할 수 있다.

In the preceding paragraphs we described some of the threats to trust in doctors as individuals, as well as in the wider profession. In attempting to analyse trust, it is clearly important to tease out interpersonal factors from social or organisational factors.31 In any one trust decision, there is likely to be an interplay between interpersonal and organisational determinants.45 To this end, the literature brings in the concept of ‘levels of trust’ with reference to interpersonal, organisational and institutional levels.10 For example,

• interpersonal trust may refer to trust of friends or colleagues;
• organisational trust may refer to trusts in a clinical service, medical school or college, and
• institutional trust may refer to trust of systems such as health or education systems at a national level.

신뢰 연구자는 [신뢰 분석 수준]을 수준 간 또는 수준 간(예: 조직을 신뢰하는 개인)으로 구분합니다. [신뢰의 방향]도 변수다. 신뢰는 어느 방향으로든 확장될 수 있으며, 상호주의의 개념을 가져올 수 있다. [직접적인 상호주의]는 대인 신뢰의 기초가 될 수 있다. ['간접적 상호주의']라고 불리는 신뢰와 협력의 사슬은 조직의 신뢰를 이해하는 데 도움이 될 수 있다. [관계 초기]에는 [간접적 조직적 결정요인]이 지배적이며, 나중에는 개인적 접촉과 피드백이 증가함에 따라 [대인관계적 측면]이 신뢰관계를 지배하기 시작할 수 있다. 
Trust researchers distinguish levels of trust analysis8 as inter-level or cross-level (e.g. an individual trusting an organisation). The direction of trust is another variable. Trust can extend in either direction, bringing in the concept of reciprocity.8 Direct reciprocity may be the basis of interpersonal trust. Chains of trust and cooperation, referred to as ‘indirect reciprocity’, may be helpful in understanding organisational trust.46 It may be that early in relationships, indirect organisational determinates predominate, and that later, with increasing personal contact and feedback, interpersonal aspects begin to dominate trust relationships.

그림 1은 조직 수준으로 정렬된 의료 교육에 관련된 일부 실체를 고려한다. 신뢰는 각 실체, 각 상자 또는 상자 사이의 상호 작용에서 발생하는 역동적인 사회적 구조로 볼 수 있다.
Figure 1 takes into account some of the entities involved in medical education, arranged into organisational levels.8, 47 Trust may be viewed as a dynamic social construct arising from the interactions within each set of entities, within each box or between boxes, with either of the pair in the role of the trustor.

비록 단순하지만, 이 관계 지도는 이러한 팔의 어느 쪽이든, 관심을 덜 받은 팔들을 포함하여, 어느 방향으로든 탐험을 유도한다. 우리가 설명한 바와 같이, 의료 교육에 대한 최근의 관심은 [person box]에 있는데, 특히 [감독관이 교육생에 대한 신뢰를 어떻게 발전시키고 이것이 직장 평가로 어떻게 운영될 수 있는지]에 대해 향하고 있다. 그러나 신뢰는 다른 많은 의학교육 결정에 분명히 내포되어 있다. [평가, 진행, 학업 부정행위, 양호한 감독, 프로그램 평가, 성과 관리 및 승진 메커니즘]은 각각 관계 지도에서 제 역할을 합니다(그림 1). [상자 내부]와 [상자 사이]에서, 어느 방향으로든 화살표를 추가로 조사하면 연구를 위한 새로운 방법을 제시할 수 있습니다. 예를 들어 임상 서비스 또는 대학 의료 프로그램에 대한 임상 교사의 신뢰, 학생에 대한 환자의 신뢰, 임상 교사 또는 훈련 프로그램 또는 학생 또는 임상 교사에게 의료 시스템이 제공하는 신뢰에 초점을 맞출 수 있다.
Although simplistic, this relationship map does invite an exploration of any of these arms, in either direction, including those that have received less attention. As we have described, recent attention in medical education has been directed within the person box, particularly at how a supervisor develops trust in trainees12, 23 and how this may be operationalised as workplace assessment.48-50 However, trust is clearly implicit in many other medical education decisions. Assessment, progression, academic misconduct, good supervision, programme evaluation, performance management and promotion mechanisms each have their place in the relationship map (Fig. 1). Further examination of these arms in either direction, within and between boxes, may suggest novel avenues for research. For instance, focus could be brought to bear on the clinical teacher's trust in clinical services or university medical programmes, the patient's trust in students, clinical teachers or the training programme, or the trust afforded by health care systems in students or clinical teachers.

우리는 이제 신뢰를 정의하고 의학 교육을 제공하는 데 관련된 다양한 주체가 어떻게 이산적인 신뢰 관계를 가지고 있는지를 표현했다. 다음 섹션에서는 의료 교육에서의 적용으로 돌아가기 전에 더 광범위한 신뢰 문헌을 소개한다.
We have now defined trust and expressed how the various entities involved in delivering medical education have discrete trust relationships. In the next section, we introduce some of the wider trust literature, before returning to its application in medical education.

더 넓은 문헌에 대한 신뢰
Trust in the broader literature

신뢰 연구의 짧은 역사
A short history of trust research

의학교육은 신뢰에 대한 관심에서 고립되지 않는다. 잘 확립된 개념적이고 경험적인 작업이 많이 존재하며, 처음에는 사회과학에 의해 주도되고 나중에는 비즈니스와 경영에 의해 주도된다. 
Medical education is not isolated in its interest in trust. A great deal of well-established conceptual and empirical work exists, initially driven by the social sciences and later picked up by business and management.

갈등 해결의 선구자인 Morton Deutsch는 1950년대 [신뢰]와 [취약성을 감당하려는 의지] 사이의 연관성에 대해 언급하면서, [충족되지 않은 신뢰]는 결국 신뢰자trustor를 '불쾌한 결과로 인한 고통'으로 이끈다고 언급했다. 쿠바 미사일 위기의 아슬아슬한 미스를 정점으로 한 냉전은 극심한 불신을 배경으로 갈등 해결에 대한 관심을 자극했다. 당시 연구자들은 신뢰 연구가 신뢰를 얻은 것은 이 시기 이후라고 언급했다. 
Morton Deutsch, a pioneer in conflict resolution, commented on the link between trust and a willingness to take on vulnerability in the 1950s, noting that unfulfilled trust necessarily leads the trustor to ‘suffer an unpleasant consequence’.51 The Cold War, culminating in the near miss of the Cuban missile crisis, set a backdrop of intense distrust and stimulated interest in conflict resolution. Researchers of the time noted that it was after this period that trust research gained credibility.52, 53

도이치는 신뢰에 대한 사회심리학적 접근을 특징짓는 협동적 행동에 대한 실험적인 게임 모델인 잘 연구된 '죄수의 딜레마'의 초기 조사자였다. 그 죄수의 딜레마에 대한 변화는 여러 세대의 대학생들에게 가해져 왔다. 이 게임의 컴퓨터 시뮬레이션, 반복적인 형태는 이혼, 지정학 및 종의 진화만큼이나 다양한 관계에 대한 함의를 가진 협력 전략을 모델링하는 데 사용된다.
Deutsch was an early investigator of the well-studied ‘prisoner's dilemma’, an experimental game model for cooperative behaviour that characterises the social psychology approach to trust. Variations on the prisoner's dilemma have been inflicted on generations of college students. Computer-simulated, iterative forms of the game are used to model cooperation strategies54 with implications for relationships as diverse as those in divorce, geopolitics and the evolution of species.

20세기 후반부터 비즈니스, 경영, 마케팅 문헌은 '소비자 신뢰'와 '브랜드 충성도'과 같은 용어를 대중화하면서 그 자체로 연구 분야로서의 신뢰에 대한 관심이 높아지기 시작했다. 2008년 글로벌 금융위기의 조직적 실패는 '신뢰 회복'과 같은 새로운 연구 분야를 장려했다. 연구 간행물 원량의 증가는 신뢰가 자체 저널을 획득하는 결과를 낳았다. 
In the late 20th century, the business, management and marketing literature began to place increasing attention on trust as a research field in its own right, popularising terms such as ‘consumer trust’ and ‘brand loyalty’. The organisational failures of the 2008 global financial crisis encouraged new areas of study such as that of ‘trust repair’.9, 55 An increase in the raw volume of research publications has resulted in trust acquiring its own journal.56

세계화와 인터넷은 비즈니스 관계를 변화시켰습니다. 성공적인 기업은 기술 기반 신뢰 대리인을 고용하고 있으며, 그 선구적인 예로 [이베이의 구매자 및 판매자 신뢰 등급]을 들 수 있습니다. 상업 등급 웹 사이트의 의사 및 보건 서비스에도 유사한 등급이 점점 더 많이 적용되고 있습니다. 병원의 경우, 소비자 등급이 기존의 환자 경험 및 결과 측정과 잘 상관관계가 있다는 증거가 있다. 
Globalisation and the Internet have altered relationships in business: successful enterprises employ technology-based trust surrogates, a pioneering example of which is eBay's buyer and seller trust ratings.57, 58 Similar ratings are increasingly applied to doctors and health services on commercial ratings websites.59 In the case of hospitals, there is evidence that consumer ratings correlate well with conventional patient experience and outcomes measures.60

신뢰에 적용되는 연구 방법
Research methods applied to trust

신뢰에 대한 연구는 대부분 게임 실험('죄수의 딜레마'로 특징지어짐)과 설문조사의 범주에 속한다. [게임 실험]은 주로 [대인관계 신뢰]를 탐구하기 위해 고안된 반면, [조직에 대한 신뢰]는 [설문 조사]를 통해 가장 일반적으로 연구되었다. 기업, 정부, 학교 등 기관에 대한 신뢰를 조사하기 위해 다양한 조사도구가 활용되고 있다. 이러한 방법들 각각은 비판(일반성이 부족하다는 게임 실험과 너무 피상적이라는 조사)에 열려 있지만, 세 번째 옵션은 이해 계층을 추가할 수 있는 잠재력을 가지고 있다. 신뢰가 [창발적 사회적 구조]로 묘사될 수 있다면, 그것은 질적 방법을 선호하는 [구성주의 연구 프레임워크]에 잘 맞을 수 있다. 우리가 더 논의할 것처럼, 의료 교육에서 질적 방법은 Govaerts와 Van der Vleuten에 의해 제안되었고, 예를 들어 Hauer et al과 Kennedy et al의 연구에서 감독-훈련자 관계를 이해하기 위해 사용되었다. 
Research on trust has for the most part fallen into the categories of game experiments (characterised by the ‘prisoner's dilemma’) and surveys. Game experiments have largely been designed to explore interpersonal trust, whereas trust in organisations has been most commonly studied using surveys. A variety of survey instruments have been employed to examine trust in institutions such as businesses, government and schools. Although each of these methods is open to criticism (game experiments for their lack of generalisability and surveys for being too superficial19), a third option has the potential to add a layer of understanding. If trust can be described as an emergent social construct, it may be well suited to a constructivist research framework47, 61 favouring qualitative methods.62 As we will discuss further, in medical education qualitative methods have been suggested by Govaerts and van der Vleuten50 and used, for example, in the work of Hauer et al.23 and Kennedy et al.63 to understand the supervisor–trainee relationship.

이제 우리는 경영 문헌에서 나온 신뢰 모델로 눈을 돌리고 감독-연수생 관계에 대한 성찰을 사용하여 그 관련성을 설명한다.
We now turn to a model of trust sourced from the management literature and use reflections on the supervisor–trainee relationship to illustrate its relevance.

임상 감독에 신뢰 모델 적용
Applying a model of trust to clinical supervision

1995년 연구에서 메이어 등은 이전에 나왔던 개념적, 경험적 연구를 바탕으로 [신뢰에 대한 통합 모델]을 제안하였다. 신뢰의 다른 개념화도 있지만, 메이어 외 모델은 특히 강력하다는 것이 입증되었다. 원본 기사는 집필 당시 5300개 이상의 스코푸스 인용을 끌어모았다.
In their 1995 work, Mayer et al.15 proposed an integrative model for trust based on the conceptual and empirical research that had come before. Although there are other conceptualisations of trust,64 the Mayer et al.15 model has proved particularly robust. The original article15 has attracted more than 5300 Scopus citations at the time of writing.

이 모델은 그림 2에 재현되어 있습니다.
The model is reproduced in Fig. 2.

이 모델에서, 기본은 'A는 B가 X를 하는 것을 신뢰한다' 구조이다. 피드백 루프가 추가되어 정교하게 제작되었습니다. 이 모델은 구별되지 않은 신뢰의 관점을 세 가지 측면으로 분해한다: 

• [일반적인 믿음 또는 성향]으로서의 신뢰. 
  
• [취약성을 받아들이기 위한 결정]으로서의 신뢰
• [관계에서 위험을 감수하는 행위]로서의 신뢰

시간이 지남에 따라 관계가 발전함에 따라, 미래의 신뢰 결정에 대한 피드백이 있습니다.

In this model, the basic ‘A trusts B to do X’18 structure of trust is elaborated, with the addition of a feedback loop. The model breaks down an undifferentiated view of trust into three aspects:

• trust as a general belief or propensity;
• trust as a decision to take on vulnerability, and
• trust as the act of risk taking in a relationship.

As the relationship develops over time, there is feedback into future trust decisions.

모델을 탐구하기 위해, 우리는 [경험을 쌓을수록 더 위험하고 더 높은 위험의 임상 작업을 수행하도록 요청받는 trainee]라는 익숙한 예시로 돌아간다. 이 모델은 trainee에 대한 감독자의 신뢰개발에 대한 질적 연구에서 발견된 요인을 예측한다. 이러한 결정요인은 각각 다음과 관련된 몇 가지 범주로 분류된다. 

• 수련생 (인식된 신뢰성의 다양한 trustee 요인) 
  
• 감독자 (신탁자의 성향 및 신뢰의사), 
  
• 상황 및 과제 (결과와 함께 위험을 감수하는 행위) 및 
  
• 이전의 신뢰 에피소드에 영향을 받는 역동적 관계 (신탁자에게 과거 사건이 피드백함)

모든 것이 잘 되면 피드백 루프는 더 큰 신뢰로 이어져야 하고, 위험 업무를 독립적으로 처리할 수 있는 더 많은 책임을 수탁자에게 위임해야 한다.
To explore the model, we return to the familiar example of the trainee who is asked to perform riskier, higher-stakes clinical tasks with less supervision as he gains in experience. The model predicts the factors found in qualitative research on supervisors’ development of trust in trainees. These determinants fall into several categories pertaining to, respectively,

• the trainee (trustee factors of perceived trustworthiness),
• the supervisor (the trustor's propensity and willingness to trust),
• the context and task (perceived risk and the action of risk taking with resultant outcomes) and, lastly,
• their dynamic relationship influenced by previous trust episodes (outcomes feeding back to the trustor).12, 65 

If everything goes well, the feedback loop should lead to greater trust and to the delegation of more responsibility to the trustee to handle risky tasks independently.

우리는 A, B, X 요인에 대한 논의로 넘어간다.
We move on to a discussion of the A, B and X factors.

신뢰도
Trustworthiness

훈련을 진전시키고 점점 더 복잡한 임상 업무를 위임받기 위해서는 훈련자가 스스로를 '신뢰할만한trustworthy' 사람으로 투영해야 하며, 역량만으로는 충분하지 않다는 것이 명백하다. Trust(신탁자trustor가 위험을 감수하기 위한 판단)와 Trustworthiness(신뢰를 발생시키는 수탁자trustee의 인식된 특성)는 중복되는 특성에도 불구하고, 경험적으로 구별되는 구조이다. 실제로 일부 학자들은 우리가 'trust'보다는 'trustworthiness'에 관심을 가져야 한다고 주장한다. [신탁자의 선입견preconceived notion을 조작]하려 하기보다는, [자신의 신뢰도trustworthiness를 높이는 것]이 더 달성 가능한 목표이다.
To progress in training and to be delegated increasingly complex clinical tasks, we see that trainees must project themselves as ‘trustworthy’ and it is apparent that competence alone is not enough. Trust (a judgement to take on risk by the trustor) and trustworthiness (perceived qualities of the trustee that engender trust) are empirically distinct constructs despite their overlapping qualities.66 In fact, some scholars argue that we should be less concerned with ‘trust’ than with ‘trustworthiness’.19 Rather than manipulating the trustor's preconceived notions, increasing one's own trustworthiness is a more achievable goal.

여러 연구에서 [신뢰성의 결정 요인determinants of trustworthiness]을 조사했습니다. 이것들을 검토하면서, 메이어 등은 그 요소들이 [능력, 자비, 청렴]의 세 가지 원칙 범주로 합쳐질 수 있으며, 세 번째 범주 없이는 이 중 두 가지 범주로는 충분하지 않다고 제안했다. 이것은 건강 관리에 대한 연구와 일치한다. 환자의 의사 신뢰에 영향을 미치는 요인에 대한 정성적 탐구는 [의사 속성]을 [기술적 역량(능력), 대인관계(선행성과 무결성) 및 구조/직원(능력) 요인]으로 설명하는 세 가지 범주로 분류했다. 신뢰도 결정 요인을 분류하는 방법은 여러 가지가 있겠지만, 의료에서 유용한 공식은 [역량, 의지, 무결성 및 역량]일 수 있다.
Multiple studies have examined the determinants of trustworthiness. In reviewing these, Mayer et al. proposed that the factors could be coalesced into three principle categories of ability, benevolence and integrity,15 and that no two of these is enough without the third. This fits with the research in health care. A qualitative exploration of factors influencing patients’ trust in their physicians grouped physician attributes into three broad categories described as

• technical competence (ability),
• interpersonal (benevolence and integrity) and
• structural/staffing (ability) factors.67 

Although there will be any number of ways to categorise trustworthiness determinants, in health care a useful formulation may be competence, willingness, integrity and capacity.

여기서의 근거는 다음과 같다. 

• 규제 기관 및 교육자는 직무별 지식과 기술을 통합한 역량 개념에 익숙하다.
  
• 의지는 위탁자에 대한 자선benevolence 의 구조와 유사하며 인식된 대인관계 기술을 포착한다(의학에서 자애benevolence 는 특별한 윤리적 의미를 갖는다).
  
• 성실성은 전문성과 유사한 중요한 독립적 요소이며, 마지막으로,
  
• 카파시티를 분리하는 것은 임상의가 최선의 의도로도 직면하는 시간과 자원의 압박을 더욱 분명하게 만든다.

The rationale here is:

• regulatory bodies and educators are familiar with the concept of competence which incorporates task-specific knowledge and skills;
• willingness is similar to the construct of benevolence towards the trustor and captures perceived interpersonal skills (whereas benevolence has a particular ethical meaning in medicine);
• integrity is an important stand-alone factor with analogies to professionalism, and, lastly,
• separating out capacity makes more explicit the time and resource pressures clinicians face even with the best of intentions.

임상의가 효과적으로 행동할 수 있는 역량은 조직적인 결정요인을 가지고 있다. 유능한 의사나 병원 서비스는 대기자 명단이 이미 서비스 불가능하기 때문에 새로운 환자를 볼 능력이 없을 수 있다. 임상의는 비슷한 배경을 가진 졸업생들과 혼합된 경험 때문에 자신을 증명할 기회가 있을 때까지 새로운 훈련생에게 일을 맡기는 것을 꺼릴 수 있다. 따라서 위험 계산에서 여러 신뢰 수준(즉, 대인 관계 및 조직 결정 요인)이 고려된다.
A clinician's capacity to act effectively has organisational determinants. A competent and willing surgeon or hospital service may not have capacity to see new patients as the waiting list is already unserviceable. A clinician may be disinclined to delegate a task to a new trainee until he's had a chance to prove himself because of mixed experience with graduates of a similar background. Multiple levels of trust (i.e. interpersonal and organisational determinants) therefore figure in any risk calculation.

조직은 그에 상응하는 신뢰도 결정요인을 가지고 있다고 볼 수 있다. Caldwell과 Clapham은 조직의

• '능력'은 역량, 재정적 균형 및 질 보증에 의해 판단될 수 있으며,
• '자애'는 정보에 대한 상호적 예의와 책임에 의해 판단될 수 있으며,
• '성실성'은 모두 임상 서비스 관리자에게 친숙할 것이라고 주장한다.

Organisations may be viewed as having corresponding trustworthiness determinants. Caldwell and Clapham14 argue that

• ‘ability’ in an organisation might be judged by competence, financial balance and quality assurance,
• ‘benevolence’ by interactional courtesy and responsibility to inform, and
• ‘integrity’ by legal compliance and procedural fairness, all of which will be familiar to clinical service managers.

신뢰 성향
Propensity to trust

[신뢰성Trustworthiness]은 [수탁자Trustee]의 특성을 나타내지만, 보다 완전한 신뢰 방정식은 [신탁자Trustor]의 성향과 위험성에 대한 이해가 필요하다. 기존의 의료 평가에서는 편향을 최소화하고 신뢰성을 높이기 위해 표준화 및 보정을 위해 모든 노력을 기울인다. 따라서 대부분의 평가는 신뢰와 위험에 대한 개별 임상 교사의 내재된 지향점을 경시하거나 무시하도록 설계되었다. 대조적으로, 메이어 외 모델은 우리에게 Trustor를 식별하고, 그의 독특한 의사 결정 과정을 이해하려고 시도할 것을 명시적으로 요청한다. 모든 Trustor는 신뢰에 대한 결정과 관련된 위험과 취약성에 자신을 노출시키는 데 있어 편안함이나 불안의 정도가 다르다. 이를 Trustor의 '신뢰 성향' 또는 수탁자의 '중개 렌즈'라고 표현하였다. [낮은 신뢰자]는 위협 메시지를 보고, [높은 신뢰자]는 지정된 시나리오에서 협력 메시지를 봅니다. 신뢰자의 성별, 나이 및 인종은 신뢰도에 대한 결정요인을 평가하는 방법에 차이를 만듭니다. 예를 들어, 젊은 응답자들은 '정직한 의사소통'의 가치를 더 높게 평가한다. 임상 감독자가 되는 것을 고려하고 있는 임상의가 선천적인 신뢰 성향에 따라 스스로 선택한다는 이론이 있을 수 있다.
Trustworthiness describes the characteristics of the trustee, but the more complete trust equation requires an understanding of the trustor's disposition and the risks. In conventional medical assessment, all effort is made to standardise and calibrate in order to minimise bias and increase reliability. Most assessments are therefore designed to downplay or disregard an individual clinical teacher's in-built orientation to trust and risk. By contrast, the Mayer et al. model15 explicitly asks us to identify the trustor and to attempt to understand his unique decision-making process. All trustors differ in their degree of comfort or anxiety in exposing themselves to the risk and vulnerability associated with making a decision to trust. This has been described as the trustor's ‘propensity to trust’15 or the trustor's ‘mediating lens’.68 Low trustors see the threat message and high trustors see the cooperative message in any given scenario.69 The gender, age and race of the trustor make a difference in how he or she weights determinants of trustworthiness.68 For example, younger responders rate the value of ‘honest communications’ more highly. One might theorise that clinicians considering becoming clinical supervisors will self-select based on their innate propensity to trust.

작업 및 컨텍스트
Task and context

[위험]은 메이어 외 모델의 핵심이다. 리스크는, 그리고 그에 따라 신뢰 또한 상황에 따라 다르며 작업별로 다릅니다. 우리는 글로벌하게 신뢰를 제공하지 않습니다. 대신 다음과 같이 질문합니다. '어떤 작업을 위해, 어떤 상황에서?' '그들이 실패하면 어떤 결과가 초래됩니까?' 죄수의 딜레마에서 보듯 '블라인드 트러스트'는 악용될 가능성이 높다. Trustworthiness 만으로는 충분하지 않고, 위험 및 상황 결정 요인을 고려해야 합니다. 과업 특이성에 대한 명백한 예는 위장병 전문의는 대장 내시경 검사를 수행하지만, 방광 내시경 검사를 수행하지는 않는다는 것이다. 임상 작업장은 이보다 훨씬 더 미묘한 결정으로 가득 차 있다. [위험평가]는 [주니어 의사]에게 [임상적 판단능력의 학술적 평가에서 패스를 주는 (다음 교대로 넘어갈 수 있도록) 감독자의 행위]와 [팀의 아픈 환자를 평가하고 관리하기 위해 같은 레지던트를 혼자 두지 않도록 하는 행위 ]사이의 차이에서 볼 수 있다. 첫 번째 시나리오에서는 실제로 전공의를 이동시킴으로써 임상 위험이 감소합니다. 후자의 경우, 오진 및 잘못된 관리로 인해 환자에게 용납할 수 없는 위험이 있으며, 의료-법률적 결과를 초래할 수 있는 감독자에게 개인 위험이 있다. 특정 임상적 맥락에서 이러한 [위험 평가]를 기반으로 신뢰가 확장되거나 거부되는 것을 볼 수 있습니다.
Risk is key to the Mayer et al. model.15 Risk, and therefore trust, are context- and task-specific.14, 15 We do not globally proffer trust; instead, we ask: ‘For what task and under what circumstances?’ and ‘What are the consequences of them failing?’ ‘Blind trust’, as seen in the prisoner's dilemma, is likely to be taken advantage of. Trustworthiness is not enough: risk and situational determinants must be taken into consideration. An obvious illustration of task-specificity is trusting a gastroenterologist to perform a colonoscopy, but not trusting him to perform a cystoscopy. Clinical workplaces are filled with far more nuanced decisions than this. Risk assessment can be seen in the difference between a supervisor's act of giving a junior doctor a bare pass on an academic assessment of clinical judgement (so that he is moved on to the next rotation) and the act of ensuring that the same resident is not left alone to assess and manage the team's sick patients. In the first scenario, clinical risk is actually reduced by moving the resident along. In the latter circumstance, there is unacceptable risk to the patient of misdiagnosis and mismanagement, and there is personal risk to the supervisor with potential medico-legal consequence. We see that trust is extended or denied based on this risk assessment in a particular clinical context.

신뢰 문헌의 흥미로운 갈림길은 [신뢰]와 [불신]이 [동일한 연속체의 반대극]인지, 즉 본 논문에서 취한 입장인지, 아니면 높은 신뢰와 높은 불신이 공존할 수 있는 복잡한 관계를 허용하기 위해 [불신]과 [신뢰]가 [별도의 구조]로 존재할 수 있는지에 대한 의문을 제기해 왔다. 한 가지 예는 서로 경쟁하는 기업들이 (잠재적인 불신으로 인해) 지적 재산을 신중하게 보호하면서 특정 프로젝트(신뢰가 필요한)에 협력할 수 있는 시나리오이다. [복잡한 관계]는 의학에 아주 많으며, 예를 들어, 우리는 [서로 경쟁하는 의료 서비스 제공자나 연구자]들 사이에서 비슷하게 conflicted되는 관계를 볼 수 있다. 그러나 관계의 범위 내에서 특정 업무와 맥락에 초점을 맞춘 결정으로 신뢰를 모델링하면 [별도의 축으로 신뢰와 불신을 고려할 필요성]이 해소되는 경향이 있다.
An interesting fork in the trust literature has concerned the question of whether trust and distrust are opposite poles of the same continuum, which is the position taken in this paper, or whether distrust and trust may exist as separate constructs to allow for complex relationships in which high trust and high distrust may coexist.64, 70 One example is the scenario in which competitive corporations may collaborate on specific projects (which requires trust) while continuing to carefully guard their intellectual property (due to a measure of potential distrust). Complex relationships are abundant in medicine and we may see similarly conflicted relationships between competing health service providers or researchers, for example. However, the need to consider trust and distrust on separate axes tends to resolve if we model trust as a decision centred on a specific task and context within the span of the relationship.8

[Trustor를 식별]하면 우리는 그 또는 그녀의 개인적 위험을 이해할 수 있다. Kennedy 등은 훈련생들이 임상 감독관에게 도움을 요청하지 못한 중요한 안전 문제를 조사했습니다. 감독관이 교육생에 대한 신뢰를 어떻게 발전시키는지 이해하고자 했던 Hauer 등의 연구처럼, 이는 교육생-감독자 관계에 초점을 맞춘 훌륭한 기초 연구였다. 다시 말해, 훈련생의 결정에 영향을 미치는 요소들은 훈련생, 감독자 및 임상 상황과 관련된 요소들로 분류될 수 있다. 그러나 우려는 달랐다. 예를 들어, Kennedy 등의 연구에서, 주요 발견은 훈련생들이 너무 많은 질문을 하면 그들의 직업적인 신뢰도에 대해 걱정한다는 것이었다. 차이점은 관점에 있다. 하우어 등은 감독관을 위탁자로 배치하고, 그녀의 훈련생에게 임상 업무를 위임하기로 결정했다. Kennedy 등은 훈련생을 신뢰자로 배치하는데, 이 신뢰자는 자신을 판단하지 않고 감독관이 임상 조언을 해줄 것을 신뢰해야 한다. 훈련자가 인지하는 위험에는 환자에게 미치는 위험뿐만 아니라 자신의 전문적 신뢰의 상실이 포함된다.
Identifying the trustor enables us to understand his or her personal risks. Kennedy et al.63 investigated the important safety issue of trainees’ failure to ask their clinical supervisors for help. Like the work of Hauer et al.,23 which sought to understand how supervisors develop trust in their trainees, this was an excellent grounded study centred on the trainee–supervisor relationship. Again, the factors influencing the trainee's decision could be grouped into those related to, respectively, the trainee, the supervisor and the clinical circumstance. However, the concerns were different. For instance, in Kennedy et al.'s work,63 a principle finding was that trainees worry about their professional credibility if they ask too many questions. The difference is in the perspective. Hauer et al.23 place the supervisor as the trustor, deciding to delegate clinical tasks to her trainee. Kennedy et al.63 position the trainee as the trustor, who must trust the supervisor to give him clinical advice without judging him. The trainee's perceived risks include the loss of his own professional credibility, as well as the risk to the patient.

이 모든 것이 개인이 신뢰 결정이 필요할 때마다 신중한 스프레드시트를 배치한다는 것을 말하는 것은 아니다. 의사 결정의 측면들은 [숙고적인 것]이기보다, [감정적이거나 본능적]일 수 있다. 실제로 수십 년의 심리학 연구는 결정이 [느리고, 노력하고, 분석적인 사고][보다는 빠르고, 감정적이며, 본능적이지만 편향되기 쉬운 우리의 마음]에 의해 최소한의 노력으로 이루어지는 것을 선호한다고 말한다. 이들은 신뢰를 결정하는 데 있어 '정서적'과 '인지적' 요소로 설명되었다. 신뢰 연구의 또 다른 잠재적 방향은 신뢰자가 환자, 학생 또는 임상의인지에 관계없이 의사 결정의 정서적 요소를 이해하려는 노력을 포함할 수 있다.

All of this is not to say that an individual will lay out a careful spreadsheet each time a trust decision needs to be made. Aspects of the decision making may be more emotive or instinctive than deliberate. Indeed, decades of psychology research tell us that decisions are preferentially made with least effort by our fast, emotional, instinctive but bias-prone mind, rather than by slow, effortful, analytical thinking.71 These have been described as ‘affective’ and ‘cognitive’ components to determining trust.14 Another potential direction for trust research may involve trying to understand the affective component of decision making,8 whether the trustor is the patient, student or clinician.

리스크, 신뢰 및 제어 메커니즘
Risk, trust and control mechanisms

서론에서 지적했듯이, 공공, 임상의, 교육 기관 및 보건 시스템은 모두 위험에 대처해야 하지만 [신뢰]만이 유일한 선택은 아닙니다. 규제, 정책 및 치안 유지policing은 [대인 신뢰가 제한된 상황]에서 통제력을 제공할 수 있다. 이것은 마침내 위험을 다루기 위한 수단으로서 신뢰와 통제 메커니즘 사이의 상호 작용에 이르게 한다.
As we indicated in the introduction, the public, clinicians, educational organisations and health systems all need to deal with risk, but trust is not their only option. Regulation, policy and policing may offer control in contexts in which interpersonal trust is limited.72 This brings us finally to the interplay between trust and control mechanisms as means to deal with risk.

[시뮬레이션 이전 시대의 교육의 사례]는 [간호학]과 [의학]이 캐뉴레이션이나 비위관 배치와 같은 간단한 절차를 가르치는 경향이 있었던 방식의 차이를 의미한다.

• [간호사]들은 공식적인 훈련, 역량 승인 및 재인증을 통해 보다 프로토콜 중심적인 과정을 따르는 반면,
• [의사]들은 역사적으로 '하나를 보고, 하나 하고, 하나를 가르치는' 접근법이라고 일컬어지는 것에 대해 최소한의 지시만을 받았다.

틀림없이 이것은 [신뢰 대 통제 접근 방식]을 보여주며, 각각의 접근 방식에는 장단점이 있다. 둘 다 조직이나 단체가 위험을 다루기로 선택할 수 있는 방법이다.
An education example from the pre-simulation era refers to the difference in the ways in which nursing and medicine have tended to teach simple procedures such as cannulation or nasogastric tube placement.

• Doctors were historically given minimal direction in what has been referred to as a ‘see one, do one, teach one’ approach,73 whereas
• nurses often follow a more protocol-driven process with formal training, competency sign off and reaccreditation.

Arguably this illustrates trust versus control approaches, and there are pros and cons to each. Both are ways in which an organisation or group may choose to deal with risk.

조직 수준에서 [투명성과 책임성]은 우리의 기관 및 직업에서 점점 더 중요하게 인식되는 비즈니스 및 정부 원칙입니다. 고등교육 분야는 [제도적 규제 및 정부 차원]에서 [신뢰 대 통제 메커니즘]의 훌륭한 예를 제시한다. 시간이 지남에 따라, [외부 관리주의의 문화의 부상]과 [내부 통제의 상실]은 교육과 교육 분야에 종사하는 학자들 사이에서 증가하는 불만의 원천으로 언급되어 왔다. [외부 감사 및 핵심 성과 지표]와 같은 모니터링 시스템은 [신뢰와 자율성 상실]이라는 상응하는 [댓가를 치르면서 그 자체가 목적]이 될 수 있다. 이 현상은 영국과 호주에서 설명되지만, 다른 곳에서는 덜 명백할 수 있다. 다른 극단에서 핀란드의 교사들에 대한 신뢰 수준은 너무 높아서 정기적인 외부 검토가 필요하지 않다고 여겨진다. 
At an organisational level, transparency and accountability are business and government principles that are increasingly perceived as important in our institutions and professions. The higher education sector presents an excellent illustration of trust versus control mechanisms at the level of institutional regulation and government.10 Over time, a rise in the culture of external managerialism and the loss of internal control have been cited as sources of increasing dissatisfaction amongst academics engaged in education and in the education sector.74 Monitoring systems, such as external audit and key performance indicators, can become ends in themselves with a corresponding cost in loss of trust and autonomy. This phenomenon is described in the UK75 and in Australia,76 but may be less apparent elsewhere. Levels of trust in teachers in Finland, at the other extreme, are so high that routine external review is not deemed necessary.10

또한 [통제시스템은 의료 분야에서 점점 더 표준화]되고 있으며, 의료 전문가에 대한 이전 시대의 '존중과 맹목적인 신뢰'를 대체했다. 병원 기반 임상의는 이제 지속적인 전문 개발 및 전문적 재검증, 사고 보고, 근본 원인 분석 및 감사와 같은 [수많은 위험 관리 도구]에 익숙합니다. 의도는 일반적으로 양성으로 간주되고 데이터는 시스템 최적화를 주도하는 것으로 간주되지만, 그 결과는 [직업적 자율성과 신뢰의 침식]일 수 있다. [성숙한 시스템]은 [마땅할 때 신뢰]하고 [필요할 때 통제]하는 메커니즘을 모두 통합할 수 있지만, 동시에 똑같은 넓은 붓을 가지고 모든 사람을 색칠하고자 하며, 이는 분노를 일으킬 수 있습니다. 의료에 대해서 [신뢰를 갖는 통제 시스템]과 [자율성]의 최적의 상호 작용에 대한 검토가 필요하다. 신뢰, 통제 및 위험의 어휘는 이를 수행하기 위한 도구 중 일부를 제공할 수 있습니다. 
Control systems are also increasingly the norm in health care and have replaced a previous era's ‘deference and blind trust’ in health care professionals.77 Hospital-based clinicians are now familiar with a plethora of risk management tools, such as mandatory continuing professional development and professional revalidation, incident reporting, root cause analysis and audit. Although the intent is generally regarded as benign and the data as driving system optimisation, a consequence may be the perception of eroded professional autonomy and trust. A mature system may be able to incorporate both trust when it is deserved and control mechanisms when they are required, but at the moment the same broad brush is used to paint all comers, which has the potential to breed resentment. An examination of the optimal interplay of control systems with trust and autonomy in health care is required. The vocabulary of trust, control and risk may provide some of the tools with which to carry this out.

결론
Conclusions

위험 관리는 의심할 여지 없이 의료 제공과 의료 교육의 관계를 특징짓는다. [외부 감사 및 인증]과 같은 [선의의 통제 메커니즘]은 임상 환경에서 위험을 관리하도록 설계된 침해적인encroaching 존재이지만, 다른 접근 방식은 '신뢰'이다. EPA의 사용은 직장 기반 평가에서 신뢰를 탐구하는 한 가지 방법이다. 신뢰와 위험 또는 취약성 사이의 연관성은 사회과학 및 관리 문헌에서 분명하며, 환자-의사 관계에서 잘 기술되어 있지만 의학 교육 문헌에서는 이러한 연관성이 과소평가될 수 있다. 시뮬레이션에도 불구하고, 학생이나 훈련생이 수행하는 모든 임상 활동은 환자와 임상의에게 [어느 정도의 위험을 수반]한다. 그러므로 직장 학습과 평가에서 '신뢰'는 '역량'보다 더 진실하고 실용적인 어휘를 제공할 수 있다. 왜냐하면 위험은 명백한 고려사항이기 때문이다.
Management of risk undoubtedly characterises relationships in health care delivery and therefore medical education. Although well-intended control mechanisms, such as external audit and accreditation, are an encroaching presence designed to manage risk in clinical settings, another approach is ‘trust’. The use of EPAs is one way in which trust is being explored within workplace-based assessment. The link between trust and risk or vulnerability is clear in the social sciences and management literature, and although it is well-described in patient–doctor relationships, this association may be underappreciated in the medical education literature. Simulation notwithstanding, every clinical activity undertaken by students or trainees carries some risks for patients and clinicians. In workplace learning and assessment, ‘trust’ may therefore offer a more authentic and practical vocabulary than ‘competency’ because risk is an explicit consideration.

경영 문헌에서 나온 마이어 등의 강력한 신뢰 모델은 교육생에 대한 감독자의 신뢰 개발 보고와 일치한다. 예를 들어, 훈련생은 자신의 질문을 비판단적으로 처리할 수 있는 감독자에 대한 신뢰, 특정 임상 과제를 수행할 수 있는 환자의 신뢰, 적절한 졸업생을 제공할 수 있는 대학 프로그램에 대한 임상의사의 신뢰 등으로 표현되는 많은 다른 신뢰 관계가 있다. 가장 기본적인 수준에서 누가 신탁자인지, 누가 수탁자인지, 어떤 업무를 하는지 명확하게 기술하는 것이 도움이 된다. 각각의 관계는 대인관계와 조직적인 요소를 가지고 있다. 의료 및 의료 교육에서 [신뢰와 통제 메커니즘]을 이해하고 고려하는 것은 신뢰와 임파워먼트를 적극적으로 장려하면서, 위험을 성숙한 방식으로 관리하는 시스템의 개발로 이어질 수 있다.
Mayer et al.'s robust model of trust15 from the management literature is consistent with the reporting of supervisors’ development of trust in trainees. There are many other trust relationships in health care and medical education manifested by, for example, a trainee's trust in a supervisor to handle his questions non-judgementally, a patient's trust in her doctor to undertake a specific clinical task, or a clinician's trust in a university programme to deliver suitable graduates. At the most basic level, it is helpful to clearly delineate who is the trustor, who is the trustee, and for what task. Each relationship has interpersonal and organisational elements. Understanding and considered utilisation of trust and control mechanisms in health care and medical education may lead to the development of systems that maturely manage risk while actively encouraging trust and empowerment.

© 2017 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

학부의학교육 변화의 복잡성 탐색하기: 변화 선도자의 관점(Acad Med, 2018)
Navigating the Complexities of Undergraduate Medical Curriculum Change: Change Leaders’ Perspectives
Floor Velthuis, MSc, Lara Varpio, PhD, Esther Helmich, MD, PhD, Hanke Dekker, PhD, and A. Debbie C. Jaarsma, DVM, PhD 

학부 의학 커리큘럼을 갱신하는 것은 전 세계의 의과대학에서 정기적으로 반복되는 과정이다. 커리큘럼 변경을 제정하는 것은 여러 조직 구조(예: 대학 및 부속 병원)와 각 부서, 다양한 직원, 교수진 및 의사가 교육에 참여하는 복잡한 노력이다. 따라서 커리큘럼 변화는 (새로운 커리큘럼에 대해 나름의 기득권을 가진) 많은 이해당사자들을 포함한다. 이러한 복잡한 과정을 성공적으로 이끌기 위해서는 강력한 리더십 기술이 필요하다. 의학 교육에서 리더십 역할을 연구하는 문헌이 있지만, 커리큘럼 변경 과정에서 이러한 리더의 역할에 초점을 맞춘 연구는 거의 없다. 기관 지도자들이 학부 의료 교육과정 변화 과정을 어떻게 집행enact하고 지시direct하는지에 대한 학문적 관심은 거의 없었다. 이 리더십 작업은 커리큘럼 개혁이 상당한 인적, 재정적 자원을 필요로 하는 큰 과제이기 때문에 훨씬 더 많은 연구 관심을 필요로 한다. 커리큘럼 변경 리더는 불가피하게 직면하게 될 도전을 극복할 수 있는 충분한 준비가 되어 있어야 한다. 만약 우리가 리더들이 이러한 도전을 극복하기 위해 사용한 과정과 기술에 대해 더 잘 안다면, 우리는 미래의 리더들이 성공적으로 커리큘럼 변화를 가져올 수 있도록 더 잘 지원할 수 있을 것이다.
Renewing an undergraduate medical curriculum is a regularly recurring process at medical schools around the world. Enacting curriculum change is a complex endeavor1 involving multiple organizational structures (e.g., university and affiliated hospital[s]), each housing multiple departments and a variety of staff, faculty members, and doctors in training.1 Curriculum change thus involves many stakeholders, all with a uniquely vested interest in the new curriculum.2 Successfully spearheading such a complex process requires strong leadership skills. Although there is a body of literature studying leadership roles in medical education, little research has focused on these leaders’ roles in curriculum change processes.3,4 Little scholarly attention has been paid to how institutional leaders enact and direct undergraduate medical curriculum change processes. This leadership work requires much more research attention because curriculum reform is a high-stakes undertaking, requiring significant human and financial resources. Curriculum change leaders must be adequately prepared to overcome the challenges they will inevitably face. If we knew more about the processes and the techniques that leaders employed to overcome these challenges, we could better support future leaders to successfully bring about curriculum change.

의대 교육과정 변화와 관련된 과제에 대한 조사를 뒷받침할 수 있는 세 가지 문헌에는 다음이 있다.

• 복잡성 이론(변화가 발생하는 과정과 맥락의 다면적 특성을 이해하기 위한 것)이다. 
  
• 조직 변화 문헌(변경을 제정하는 데 사용되는 도구를 조사하기 위해) 그리고 
• 이 조직 변화 문헌 중에서도 변화 리더십에 대한 문헌(변화 프로세스를 이끌고 관리하는 개인의 역할을 이해하기 위해)

세 과목 모두 커리큘럼 변화에 대한 연구에 정보를 줄 수 있지만, 우리는 리더의 관점에서 의료 커리큘럼 변화의 복잡성을 더 잘 이해하고, 개인이 이러한 복잡한 맥락을 어떻게 탐색하고 변화와 관련된 과제를 해결하는지에 관심이 있다. 따라서, 우리는 [변화 리더십 문헌]을 기반으로 합니다.
Three bodies of literature that can underpin investigations of the challenges related to medical school curriculum change are

• complexity theory (to understand the multifaceted nature of the processes and contexts in which change occurs)5–7;
• organizational change literature (to investigate the tools used to enact change)8; and within this organizational change literature,
• the literature on change leadership (to understand the role of the individual who is leading and managing the change process).9–14 

Although all three subjects can inform research into curriculum change, we are interested in better understanding the complexity of medical curriculum change from the leader’s perspective, exploring how that individual navigates this complex context and deals with change-related challenges. Thus, we build on the change leadership literature.

이 연구분야에서는 [조직 변화를 가져오는 데 있어 변화 리더의 역할]을 강조한다. 우리는 [변화 리더]를 [학부 의료 커리큘럼을 갱신하거나 크게 변경할 책임이 있는 개인]으로 정의합니다. 변화 지도자를 연구하기 위한 제한된 양의 의학 교육 연구가 이용 가능하다. Bland 등은 의료 커리큘럼 변경의 리더가 "성공에 필수적인 거의 모든 다른 특징들을 통제하거나 실질적으로 영향을 미치기" 때문에 중요한 역할을 수행한다고 말한다. 그들은 중요한 변화 리더십 행동에 "주장적인 참여적, 문화적/가치적 영향을 미치는 행동들, '유연성'을 가지고, 다양한 인식적 프레임워크로 조직을 보고, 다른 사람들을 동원하여 변화 모멘텀을 유지하는 것"이 포함된다고 본다.
This literature emphasizes the role of change leaders in bringing about organizational change.9–14 We define a change leader as the individual primarily responsible for renewing or significantly changing an undergraduate medical curriculum. A limited amount of medical education research directed specifically at studying change leaders is available. Bland et al9 state that leaders of medical curriculum change fulfill a critical role because they “control or substantially influence nearly all the other features essential for success.”(p592) They identify important change leadership behaviors as including “assertive participative and cultural/value-influencing behaviors, to be ‘flexible,’ to view the organization through a variety of perceptual frames and to mobilize others to maintain the change momentum.”9(p580)

의학 교육의 변화 리더에 대한 최근의 경험적 연구는 주로 단일 의과대학에서 수행되었고, 주요 학부 프로그램 개정에 초점을 맞추지 않았다. 여러 기관의 리더가 직면한 과제를 더 잘 이해하기 위해, 본 연구는 여러 의과대학의 커리큘럼 변경 리더의 통찰력에 초점을 맞추고 있다. 우리는 커리큘럼 변경 리더들이 변화를 제정하는 과정을 어떻게 생각하는지, 그리고 그들이 그들의 노력에 성공하기 위해 의존하는 전략을 알고 싶었다.
Recent empirical studies about change leaders in medical education have predominantly been conducted at single medical schools3,4,15,16 and were not focused on major undergraduate program revisions. To gain a better understanding of the challenges faced by leaders across different institutions, our study focuses on insights from curriculum change leaders at multiple medical schools. We wanted to know how curriculum change leaders conceive of the process of enacting change, and the strategies they relied on to succeed in their efforts.

방법
Method

참가자
Participants

연구 참여자는 현재 네덜란드의 8개 대학 의료 센터(UMC) 중 하나에서 주요 학부 의료 커리큘럼 변경 프로세스를 주도하거나 최근에 주도했던 개인이었다. (이들은 알파벳 순서로 AMC [암스테르담], Erasmus MC [로터담], LUMC [라이덴], Maastrich UMC+ [마스트리히트 UMC], Radumbudnci [니즈메겐], UMCG [그로닝언], UMCU [위트레흐트] 및 VUMC [암스테르담]이다. 각 학교는 연간 평균 400명의 학생을 받아들인다.) 우리는 "주요 커리큘럼 변경"을 과정 수준에서 연간 정기적 조정에 관한 것이 아니라, [전체 커리큘럼]과 [커리큘럼에 관련된 조직]에 영향을 미치는 [중앙에서 조직되고 의도적으로 시작된 변경 프로젝트]로 정의한다. 7개의 UMC에서는 한 명이 이 위치에 있다고 보고했고, 1명의 UMC에서는 두 명이 이 선두 위치에 있다고 보고했다. 따라서, 우리의 연구는 8개의 UMC 모두를 대표하는 9명의 참가자의 데이터를 기반으로 한다. 변경 프로세스에 대한 일정은 그림 1 및 표 1을 참조하십시오.
Study participants were individuals who were currently leading or had recently led a major undergraduate medical curriculum change process in one of the eight university medical centers (UMCs) in the Netherlands. (These are, in alphabetic order: AMC [Amsterdam], Erasmus MC [Rotterdam], LUMC [Leiden], Maastricht UMC+ [Maastricht], Radboudumc [Nijmegen], UMCG [Groningen], UMCU [Utrecht], and VUmc [Amsterdam]. Each school accepts an average amount of ~400 students annually.) We define “major curriculum change” as changes that were not about the yearly, regular adjustments at course level, but were centrally organized, intentionally initiated change projects that affected the entire curriculum and organization involved in the curriculum. Seven UMCs reported having one individual in this position, and one UMC reported having two individuals in this lead position. Thus, our study is based on data from nine participants, representing all eight UMCs. For timelines of the change processes, see Figure 1 and Table 1.

네덜란드의 각 기관 내에는 서로 다른 조직 구조와 유사하거나 유사한 위치에 있는 사람들에 대한 서로 다른 이름과 책임이 있으며, 이는 그림 2에 요약되어 있다.
Within each institute in the Netherlands there are different organizational structures and different names and responsibilities for people in similar or comparable positions, which are summarized in Figure 2.

네덜란드의 각 UMC는 이사회에 의해 관리된다. 이사회에서 학장은 연구 및 학부 및 대학원 보건 전문가 커리큘럼을 담당합니다. 학장 아래 계층적으로 위치한 대부분의 기관에서 부교육장은 보건 전문 교육과정을 전체적으로 감독할 책임이 있다. 학장을 대신하여 대부분의 학원은 학부 의료 교육과정을 추가로 실행하고 감독할 책임을 지는 프로그램 책임자를 두고 있다. 이 직책 아래에는 일반적으로 의료 커리큘럼의 두 부분 중 한 부분의 내용, 품질 보증 및 일관성을 책임지는 두 명의 조정자가 있다. 

• 학사 코디네이터(처음 3년 전 임상 의학 학부 과정), 
  석사 코디네이터(마지막 임상 3년 동안 학부 의학 프로그램)

Each UMC in the Netherlands is governed by a board of directors. On the board, the dean is responsible for research and the undergraduate and postgraduate health professions curricula. At most institutes, hierarchically positioned under the dean, the associate dean of education is responsible for overseeing the health professions curricula as a whole. On behalf of the dean, most institutes have a program director being responsible for further executing and overseeing the undergraduate medical curriculum. Below this position, there are—at a more daily, executive level—usually two coordinators who are responsible for the content, quality assurance, and coherence of one of two parts of the medical curriculum;

• the bachelor’s coordinator (first three preclinical years undergraduate medical program), and
• master’s coordinator (last three clinical years undergraduate medical program).

4명의 참여자는 프로그램 감독직 내에서 또는 프로그램 감독직과 더불어 변화를 선도하는 역할을 수행했으며, 3명은 학사 코디네이터로 활동했습니다. 나머지 참여자 2명은 위에서 약술한 바와 같이 정식 직책을 다하지 못하였으나 교육과정 변화를 주도하도록 요청받은 의학교육교육과정 교수였다. 모든 경우에 참여자들은 학장 또는 부교육장이 임명하여 학교의 교육과정 변경 과정을 이끌었고, 따라서 학장 또는 부학장에 대한 책임이 있었다. 모든 참가자(남성 8명, 여성 1명)는 의학교육과 의과대학에서 다양한 직책에서 상당한 경험을 했고, 여전히 전임상, 임상 또는 연구 부서의 선도적 직책에 있었다.
Four participants fulfilled the change-leading role within or in addition to their job as program director, and three as bachelor’s coordinator. The remaining two participants were professors in the medical education curriculum who did not fulfill a formal position as outlined above but were asked to lead the curriculum change. In all cases, participants were appointed by the dean or the associate dean of education to lead the school’s curriculum change process, and so were accountable to the dean or associate dean. All participants (eight males, one female) had substantial experience—in various positions—within medical education and the medical school, and were still or had been in leading positions in preclinical, clinical, or research departments.

데이터 수집
Data collection

2015년 12월부터 2016년 4월까지 한 연구원이 개별 대면 인터뷰를 진행했다. 인터뷰 프로토콜을 세분화하기 위해 다른 건강 전문직 교육과정 변경 참가자(즉, 목표 모집단 외부의 개인)와 세 번의 파일럿 인터뷰가 이루어졌다. 그 의정서는 네 부분으로 구성되었다. 인터뷰는 두 가지 시각화 프롬프트로 시작되었습니다. 

• 첫 번째는 리더가 커리큘럼 변화를 어떻게 시각화했는지에 대한 짧은 그리기 연습이었습니다. 
  
• 둘째, 참가자들에게 52개의 "브리핑 카드" 중에서 자신의 교육과정 변화 경험에 대한 감정이 공명하는 1개의 포토카드를 선택하도록 하였다. 이러한 시각적 기법은 참가자들이 커리큘럼 변경과 함께 전문적이고 개인적인 경험을 상기하도록 격려했다. 
  
• 인터뷰의 세 번째 부분은 변화 과정과 맥락에 대한 참가자의 인식(예: 이해관계자 참여, 경험된 과제, 가속기 및 감속기)과 커리큘럼 변화 노력의 리더로서 리더의 경험(예: 준비, 개인적 원동력, 지원, 학습 내용)을 탐구하는 반구조화된 인터뷰 프로토콜을 따랐다.. 
  
• 인터뷰의 네 번째 부분에서, 참가자들은 교육과정 변화의 이야기를 그린 다른 포토카드를 선택하도록 요청받았다. 
  이것은 인터뷰를 마무리하는 데 사용되었다. 

인터뷰는 1시간 반에서 2시간 동안 진행되었다. 모든 인터뷰는 녹음되었고 녹음 과정에서 익명으로 처리되었다. 시각적(즉, 도면과 선택된 카드)은 촬영되었지만 본 연구를 위한 분석에 통합되지 않았다. 그것들은 단순히 추가적인 연구 자료라기보다는 대화를 촉구하기 위한 것이었다. 선택한 사진의 유형과 그에 따른 설명을 독자에게 이해시키려면 보충 디지털 부록 1을 참조하십시오.
Working from a constructivist orientation,17 one researcher (F.V.) conducted individual face-to-face interviews between December 2015 and April 2016. Three pilot interviews took place with other health professions curriculum change participants (i.e., individuals outside our target population) to refine the interview protocol. The protocol consisted of four parts. The interviews started with two visualizing prompts.

• The first was a short drawing exercise about how leaders visualized the curriculum change.
• Second, participants were asked to choose 1 photo card from 52 “briefing cards”18 that resonated with their feelings about their curriculum change experience. These visual techniques encouraged participants to recall professional and personal experiences with curriculum change.
• The third part of the interview followed a semistructured interview protocol exploring participants’ perceptions of the change process and context (e.g., involvement of stakeholders, challenges experienced, accelerators and decelerators of the process) and the leaders’ experiences as leader of the curriculum change effort (e.g., preparation, personal drives, support, lessons learned).
• In the fourth part of the interview, participants were asked to select another photo card that depicted the story of curriculum change; this was used to wrap up the interview.

Interviews lasted 1.5 to 2 hours. All interviews were audio-recorded and rendered anonymous in the transcription process. The visuals (i.e., drawings and selected cards) were photographed but were not incorporated into the analysis for this study. They were simply meant as a prompt for the conversation rather than additional research material. To give readers an impression of the type of pictures chosen and the accompanying explanations, see Supplemental Digital Appendix 1, available at https://links.lww.com/ACADMED/A528.

데이터 분석
Data analysis

우리는 질적 내용 분석을 사용했는데, 이는 "데이터의 정보 내용을 요약하는 데 중점을 둔 역동적 분석(…)"으로 설명되었다. 데이터 분석은 데이터 수집과 동시에 이루어졌으며, 테마는 데이터로부터 귀납적으로 구성되었으며, 결과적으로 교육과정 변경 과정에 대한 참가자들의 개념과 그 변경을 성공적으로 수행하기 위한 전략에 대한 상세한 서술적 요약이 이루어졌다.
We employed qualitative content analysis, which has been described as a “dynamic form of analysis (…) oriented towards summarizing the informational contents of that data.”19(p338) Data analysis occurred concurrently with data collection, with themes being constructed inductively from the data, resulting in a detailed descriptive summary19 of participants’ conceptions of the process of curriculum change and their strategies for successfully carrying out that change.

인터뷰가 끝난 뒤 우리 연구팀 3명(F.V., H.D., A.J.)이 각 녹취록를 논의하는 것으로 데이터 분석이 시작됐다. 모든 데이터가 수집되면 4명의 연구자(F.V., L.V., H.D., A.J.)가 여러 팀 토론에 참여하여 초기 데이터 테마를 구성하였으며, Atlas.ti 소프트웨어 버전 7(Atlas.ti Scientific Software Development GmbH, Berlin)에서 데이터를 코딩하기 위한 출발점으로 사용되었다. 한 팀 구성원(F.V.)이 코딩 프로세스를 주도하고 데이터 샘플을 검토하였으며, 또한 주제와 상호 관계를 개선하는 데 기여한 두 명의 다른 구성원(H.D. 및 A.J.)과 함께 코딩 구조에 대한 진화하는 아이디어와 변화에 대해 정기적으로 논의했습니다. 이 회의들은 정확성을 보장하고 합의에 도달하기 위한 체계적인 점검이었다. 인터뷰가 네덜란드어로 진행되었기 때문에 우리 중 한 명(L.V.)은 원시 데이터의 코딩에 참여할 수 없었습니다. 팀 전체와 합의에 도달하기 위해, 우리는 정기적인 팀 회의를 열어 그 과정과 우리의 진화하는 해석에 대해 논의했습니다. 우리는 특히 개별 코드를 주요 주요 테마로 연결하기 위해 L.V.의 입력(예: 코드 정의와 포함 범위에 대한 질문, 코드 간 가능한 연결에 대한 질문 등)에 의존했다. 전체 과정 동안, 수석 연구원(F.V.)은 성찰 및 분석 메모의 개발에 주목했습니다. 이러한 노트는 팀 토론 중에 검토되고 검토되었습니다. 한 연구자(E.H.)가 이 후반 단계에서 팀에 합류하여 코딩 프로세스와 분석을 검토했다. 우리의 해석의 신뢰성을 높이기 위해, E.H.는 대본을 읽고 코드와 주요 주제를 다듬는 것을 도왔다.
Data analysis began with three members of our research team (F.V., H.D., and A.J.) discussing each transcript after the interview. Once all data were collected, four researchers (F.V., L.V., H.D., and A.J.) participated in several team discussions and constructed an initial set of data themes, which were used as a starting point for coding the data in Atlas.ti software, version 7 (ATLAS.ti Scientific Software Development GmbH, Berlin). One team member (F.V.) led the coding process and regularly discussed the evolving ideas and changes to the coding structure with two others (H.D. and A.J.), who also reviewed data samples and contributed to refining themes and interrelations. These meetings were systematic checks to ensure accuracy and to reach agreement. Because the interviews were conducted in Dutch, one of us (L.V.) was not able to participate in the coding of the raw data. To reach agreement with the whole team, we held regular team meetings to discuss the process and our evolving interpretations. We especially relied on L.V.’s input (e.g., asking questions about the code definitions and their scope of inclusion; about possible connections between codes, etc.) to link individual codes into major, overarching themes. Throughout the entire process, the lead researcher (F.V.) noted developing reflections and analysis memos. These notes were reviewed and vetted during team discussions. One researcher (E.H.) joined the team at this later stage and reviewed the coding processes and analyses. To enhance the trustworthiness of our interpretations, E.H. read the transcripts and helped refine the codes and overarching themes.

팀구성
Team composition

연구팀은 의학교육 분야(L.V., E.H., H.D., A.J.)의 선임 연구원 4명과 후배 1명(F.V.)으로 구성됐다. 원(F.V.)은 사회심리학에 대한 배경을 가지고 있으며, L.V.에 의해 연구면접을 수행하는 기술과 과정에 대한 교육을 받았다. One(L.V.)은 보건 전문 교육 분야의 부교수이자 경험 많은 질적 연구자입니다. 원(E.H.)은 질적 연구에 전문지식을 가진 노인 요양 의사이자 의료 교육자이다. 한 명(H.D.)은 주요 커리큘럼 변경 과정에서 교육 혁신 태스크 그룹을 주재하는 선임 교육자이고, 한 명(A.J.)은 보건 전문 교육 교수입니다.
The research team consisted of one junior (F.V.) and four senior researchers in medical education (L.V., E.H., H.D., A.J.). One (F.V.) has a background in social psychology and was trained by L.V. in the techniques and processes of conducting research interviews. One (L.V.) is an associate professor and an experienced qualitative researcher in the health professions education domain. One (E.H.) is an elderly care physician and medical educator with expertise in qualitative research. One (H.D.) is a senior educationalist chairing a task group on education innovation during a major curriculum change process, and one (A.J.) is a professor in health professions education.

번역
Translations

각 기록의 일부는 우리 팀 중 한 명이 영어로 번역했다. 두 명의 연구자(E.H.와 A.J.)가 이를 확인하기 위해 번역을 검토했습니다. 의심이 들 경우, 2개 국어를 할 수 있는 동료와 상담했다. 보고서에 사용된 인용문으로 작업할 때, 한 팀 구성원(L.V. 원어민)이 원고를 여러 번 편집하여 인용문을 포함한 텍스트의 변경 사항을 확인하고 제안했습니다. 우리 중 한 명(F.V.)은 새로운 문구가 네덜란드어 필사본 원본을 정확하게 반영하도록 하기 위해 항상 이러한 변경 사항을 확인했습니다.

Portions of each transcription were translated to English by one of our team (F.V.). Two researchers (E.H. and A.J.) reviewed the translations to confirm these. In case of doubt, a bilingual colleague was consulted. When working with quotes used in the report, one team member (L.V., a native English speaker) edited the manuscript several times, checking and offering suggested changes to the text including the quotes. One of us (F.V.) always verified these changes to ensure that the new phrasings accurately reflected the original Dutch transcripts.

The Dutch Association for Medical Education ethical review board approved this study (number 592).

결과.
Results

익명성을 지원하기 위해, 모든 참가자는 남성 성별로 언급된다. 예시적인 견적은 응답자 번호로 귀속됩니다.
To support anonymity, all participants are referred to in the masculine gender. Illustrative quotations are attributed by respondent number.

참가자들은 커리큘럼 변화를 많은 상호 작용 요소를 포함하는 동적이고 복잡한 과정이라고 설명했습니다. 한 참가자는 철도 건널목의 그림을 묘사하면서 "이 카드는 과정의 복잡성을 보여줍니다. 어떤 것으로 이어지기 위해 매우 많은 것들이 수렴되어야 합니다." (R5) 참가자들은 변화를 시행한 경험이 도전적이었다고 보고했습니다. 참가자들은 [많은 정보를 처리하고 여러 수준에서 다양한 채널을 통해 결정을 내려야 하는 협업 연습]으로 커리큘럼 변화를 경험했다.
Participants described curriculum change as a dynamic, complex process involving many interacting factors. As one participant stated when describing the picture he chose of a railroad crossing: “[This card] shows the complexity of the process; very many things need to converge to lead to something” (R5) (see Supplemental Digital Appendix 1, at https://links.lww.com/ACADMED/A528). Participants reported that the experience of enacting change was challenging. Participants experienced curriculum change as a collaborative exercise in which a lot of information had to be processed and decisions had to be made at many levels and via various channels.

우리는 모든 참가자가 직면한 세 가지 핵심 과제와 해결을 위한 몇 가지 관련 전략을 식별했다. [중심 과제]는 크고 다양한 이해 관계자들을 다루는 것이었습니다. 다른 두 가지 과제는 [이해당사자들의 저항을 다투는 것]과 [변화 과정을 이끄는 것]이었습니다. 참가자들은 다른 과제를 언급했지만 이러한 과제를 해결하기 위한 전략을 설명하지 않았다. 따라서 이러한 다른 과제는 이 보고서에 설명되지 않습니다.
We identified three core challenges faced by all participants, and several associated strategies for resolution. The central challenge was dealing with a large and diverse group of stakeholders. The other two challenges were contending with stakeholders’ resistance and steering the change process. Participants mentioned other challenges but did not describe strategies for addressing those challenges. Therefore, these other challenges are not described in this report.

과제 1: 다양한 이해 관계자의 대규모 그룹 대처
Challenge 1: Dealing with a large group of diverse stakeholders

참가자들은 커리큘럼 변화를 협업 연습으로 설명했습니다. 그러나 크고 다양한 이해관계자 그룹(예: 행정 직원, 교육자, 학생, 교사, 부서장, 내부 위원회, 이사)을 다루는 것은 어려웠다. 이 이해관계자들은 각기 다른 배경을 가지고 있었고 조직의 다른 부분을 대표했으며, 각각 다른 시기에 프로세스에 대한 이해관계를 가지고 있었다. 의료교육과정과 변화 제정 과정에 대한 이해관계자들의 시각은 달랐다. 이러한 [관점을 결합하는 것]은 리더가 직면해야 할 과제였습니다.
Participants described curriculum change as a collaborative exercise; however, dealing with the large and diverse groups of stakeholders (e.g., administrative staff, educationalists, students, teachers, department heads, internal committees, board members) was challenging. These stakeholders had different backgrounds and represented different parts of the organization, each having a stake in the process at different times. Stakeholders had different perspectives regarding the medical curriculum and the process of enacting change. Interweaving these perspectives was a challenge the leaders needed to face:

커리큘럼 변경은 많은 사람들이 자신의 특정 전문지식을 바탕으로 생각하는 힘입니다. 물론 그것은 매우 좋습니다. 그러나 어느 시점에서 결정이 내려져야 하고 당신은 그것을 엮어야 합니다. 원하는 모든 것이 가능한 것은 아니다. 도전은 다양한 배경을 가진 사람들을 하나로 모으고, 그들이 하나의 공동 제품을 만들도록 동기를 부여하려고 노력하는 것이다. (R4)
Curriculum change is a power play in which many people … think from their own specific expertise. Of course that is very good; however, at some point decisions have to be made and you have to interweave that; not everything one wants is possible.… The challenge is trying to bring people from various backgrounds together, trying to motivate them to make one, joint product. (R4)

참가자들은 변화에 대한 비전을 가진 이해 관계자들을 참여시키기 위해 다양한 전략을 사용했습니다. 예를 들어, 그들의 제안에 대해 [부학장, 학장 및/또는 이사회의 명확한 지지를 얻는 것]은 일부 참가자들에게 커리큘럼 변경에 필요한 전제 조건이었다.
Participants employed different strategies to get stakeholders on board with their vision for change. For instance, gaining explicit support of the associate dean, dean, and/or board for their proposals was, for some participants, a necessary precondition for curriculum change:

언제나 그렇듯이 이사회는 입장을 취해야 합니다. 그렇지 않으면 아무 일도 일어나지 않습니다. 조직을 이끄는 것은 이사회에서 시작됩니다. 그들은 그것을 전적으로 지지해야 한다. 그렇지 않으면 당신은 정말로 그것을 잊을 수 있다. 이들은 (a) 이러한 일이 발생하는 것이 중요하다고 생각하며 (b) 설계도*가 준비되었다면 자신의 설계도임을 전적으로 지지한다는 점을 전체 조직에 분명히 말해야 합니다. 그리고 내 청사진은 아니야. (R5)

As always … the board of directors needs to take a stance, otherwise nothing happens.… Getting the organization with you starts with the board of directors. They have to fully support it, otherwise you can really forget it. They have to speak out loud … to the entire organization that (a) they think that it is important that this happens, and (b) if the blueprint* is ready, that they fully support that this is their blueprint. And not my blueprint. (R5)

참가자들은 교육과정 변경 계획과 함께 최대 이해관계자 그룹인 교직원이 탑승해야 한다고 강조했다. 일부에서는 핵심 교직원들만 이미 100명에서 200명 정도라고 말했다. 참가자들은 이러한 이해 관계자들에게 변경 아이디어와 진행 상황에 대해 알려줌으로써 변경 일정의 초기 단계에서 교육 인력(병원 기반 임상 교사 또는 기초 과학 교사)을 포함하기 위한 전략을 개발했습니다.
Participants emphasized needing the teaching staff, the largest stakeholder group, on board with the curriculum change plans. Some stated that only the core group of teaching staff already numbered 100 to 200 people. Participants developed strategies for including the teaching staff (either hospital-based clinical teachers or basic science teachers) at an early stage in the change timeline, by informing these stakeholders about change ideas and progress:

저는 그것이 중요하다고 생각했습니다. 왜냐하면 당신은 그것을 병원에 폭탄처럼 떨어뜨리고 싶지 않기 때문입니다. 왜냐하면 그것은 잘 착륙하지 않을 것이기 때문입니다. 모두와 이야기를 나눠야 합니다. 사람들에게 지속적으로 알리고, 모든 것이 여전히 괜찮은지 확인합니다. 그것이 가장 중요하다고 생각합니다. (R6)
I thought that was important to do, because you don’t want to drop it like a bomb in the hospital, because then it will not land very well. You have to talk with everybody.… Continuously informing people, checking whether everything is still okay. I think that is the most important. (R6)

참가자들은 이해관계자들에게 계속 정보를 제공하기 위한 노력으로 회의를 조직하고, 웹사이트를 만들고, 뉴스레터를 썼다. 일부는 맞춤형 접근법으로 개별 이해관계자 집단을 의도적으로 다루는 것을 강조했다. 
Participants organized meetings, created websites, and wrote newsletters in their efforts to keep stakeholders informed. Some emphasized deliberately addressing individual stakeholder groups with tailor-made approaches:

학생들에게는 공식적인 시험이나 교육위원회와는 다른 이야기가 있었고, 또 다시 코디네이터와 교사들에게도 또 다른 이야기가 있었다. 아이디어와 함께: 커뮤니케이션은 대상 그룹에 집중되어야 하며, 그렇지 않으면 잘 작동하지 않습니다.(R7)
For students I had a different story compared to the formal exam and educational committees, and again another story for coordinators, as well as for teachers. With the idea: Communication should be focused on the target group; otherwise, it does not work well. (R7)

교육과정 변경 과정에서 [이해관계자가 조기에 참여할 수 있는 기회]를 만드는 것도 리더들이 채택한 전략이었다. 참석자들은 예를 들어 공론화 회의(최대 150명 참석)를 포함하여 초기 계획에 대한 논의를 창출하기 위해 대규모 활동을 조직하는 것에 대해 이야기했다. 초기 포함은 두 가지 목적을 달성하였다. 이해 관계자의 지식을 바탕으로 정보를 수집하고 헌신적 참여buy-in를 장려합니다. 이후 단계에서는 새로운 커리큘럼의 실제 개발 중에 여러 관점에서 입력을 자극하기 위해 의도적으로 여러 사람을 혼합한 작업 그룹과 같은 소규모 참여 노력이 수행되었습니다.
Creating opportunities for stakeholders to participate early on in the curriculum change process was another strategy that leaders employed. Participants talked about organizing large-scale activities to generate discussions about initial plans including, for instance, public discussion meetings (with as many as 150 people in attendance). Early inclusion served two aims: collecting input to build on stakeholder knowledge, and encouraging their committed buy-in. At a later stage, during actual development of the new curriculum, small-scale engagement efforts were implemented, such as working groups with a deliberate mix of people to stimulate input from multiple perspectives:

각 작업 그룹은 실제로 [교육과정]을 처리해야 하는 사람들로 구성되었다.… [A] 코디네이터, 선생님, 그리고 학생들의 혼합. 그리고 필요한 경우, 교육자, 평가 전문가 등 조직의 사람들이 이러한 관점에서 의견을 제시했습니다. 음, 그리고 마침내, 합의가 이루어졌다. (R7)
Each working group consisted of people who really had to deal with [the curriculum] in practice.… [A] mix of coordinators, teachers and students. And if necessary, people from the organization: educationalists, assessment experts … who delivered input from that perspective. Well, and finally, consensus was there. (R7)

최종 전략으로, 일부 리더들은 교육과정 내용 논의를 전문가들에게 맡겨, 이해당사자들의 전문성과 관점을 명시적으로 활용하면서 교육과정 변경 과정의 촉진자 역할을 수행했다. 이 전략은 사람들을 변화 과정에 참여시키는 것 외에도 변화에 대한 저항을 막거나 최소한 줄이는 데 도움이 되었습니다.
As a final strategy, some leaders acted as facilitators of the curriculum change process, explicitly harnessing stakeholders’ expertise and perspectives by leaving curriculum content discussions to the professionals. In addition to engaging people in the change process, this strategy helped prevent, or at least diminish, resistance to change.

과제 2: 저항에 대처하기
Challenge 2: Dealing with resistance

이해관계자를 상대할 때 참가자들은 [저항과 씨름]해야 했다. 새로운 교육과정의 방향이나 변화 과정에 대한 이해당사자들의 우려나 의견 불일치로 인해 저항이 촉발되었다. 보다 구체적으로 이해당사자의 불만은 [교육 일자리에 대한 우려, 새로운 교육과정의 질에 대한 우려, 그리고 그 직업들이 새로운 프로그램에 충분히 반영되었는지에 대한 우려] 등 많은 문제와 관련이 있었다. 참가자들은 저항을 예상함으로써 이러한 반대파를 능동적으로 관리했고, 그 순간에는 저항에 적극적으로 대처했다.
When dealing with stakeholders, participants had to contend with resistance. Resistance was triggered by stakeholders’ concerns or disagreements about the new curriculum’s directions or the change process. More specifically, stakeholder discontent was related to many issues, including concerns about educational jobs, worries about the quality of the new curriculum, and concerns about whether the professions were sufficiently reflected in the new program. Participants managed this opposition proactively by anticipating resistance, and in the moment by actively dealing with resistance.

저항을 예상하기
Anticipating resistance.

참가자들은 이러한 불만이 변화 과정에 미칠 수 있는 부정적 영향을 인식하고 있어 저항을 예상하고자 했다. 일부는 변화 과정의 초기에 "파괴적인 개인들"과 "완전히 보수적인 사람들" 그리고 "반대론자들"을 포함시켰다. 이 전략은 그러한 개인들의 잠재적인 미래 반대를 완화시킬 것으로 기대되었지만 그들의 비판적인 목소리로부터 이익을 얻는 데도 사용되었다.
Participants tried to anticipate resistance as they were cognizant of the negative effects that such discontent could have on the change process. Some described including the “disruptive individuals,” the “utterly conservative people,” and the “naysayers” early on in the change process. This strategy was expected to mitigate potential future opposition from those individuals but was also used to profit from their critical voices:

나는 감히 나에게 도전하는 사람들을 선택한다. 그렇지 않으면, 그것은 나에게 도움이 되지 않는다. (R1)
I choose [to engage] people who dare to challenge me; otherwise, it does not help me. (R1)

저항하는 이해당사자들의 buy-in를 유지하기 위해, 지도자들은 원래 사람들을 참여시키기 위해 의존했던 전략과 유사한 전략을 사용했다. 예를 들어, 저항을 예상하여 참가자들은 커리큘럼 변경 과정의 특정 요소(예: 새로운 커리큘럼의 청사진 또는 새로운 커리큘럼을 형성하는 기본 원칙)에 대한 합의를 모색했다. 변화 리더들은 조기 참여 기회와 이해관계자와의 지속적인 커뮤니케이션을 통해 이를 달성했습니다. [합의 형성]은 buy-in을 늘리는 방법으로 작용하여 미래의 저항을 감소시키는 것처럼 보였다.
To retain the buy-in of resisting stakeholders, leaders used strategies similar to those they relied on to get people on board originally. For instance, in anticipation of resistance, participants sought consensus around specific elements of the curriculum change process (e.g., the new curriculum’s blueprint, or the foundation principles shaping the new curriculum). The change leaders achieved this by creating early engagement opportunities and continuous communication with stakeholders. Consensus building seemed to work as a method to increase buy-in, thus diminishing future resistance.

저항에 대처하기
Addressing resistance.

저항을 예상하려는 노력에도 불구하고, 참가자들은 이해당사자들의 직간접적인 저항에 직면했다고 설명했다. 교육과정 변화 아이디어와 결정에 반대하는 이들이 직접적인 저항을 했다. 이러한 저항을 관리하기 위한 전략에는 [일대일 대화]를 통해 저항자들과의 대화를 모색하고, 저항에 대한 이유를 주의 깊게 듣고, 타협을 위한 협상을 하는 것이 포함되었다.
Despite efforts to anticipate resistance, participants described facing both direct and indirect resistance from stakeholders. Direct resistance came from those who were opposed to curriculum change ideas and decisions. Strategies for managing this resistance involved seeking dialogue with resisters via one-on-one dialogue; listening carefully to their reasons for resistance; and negotiating to a compromise:

더 잘 설명하기 위해 이 사람들에게 말할 것이다. 말하자면, 이것이 그 이면에 있는 생각이다. "이리 와… 생각해봐, 이것이 우리가 할 일이니까. 하지만, 만약 우리가 조금 조정해야 한다면, 우리는 반드시 그렇게 할 것입니다. 저는 현실적인 방법으로 여러분이 필요합니다. 그래서 만약 제가 오른쪽으로 간다면, 그리고 여러분이 정의상 왼쪽으로 가게 된다면, 우리는 해낼 수 없을 것입니다. 그래서 나는 당신이 나와 함께 조금 가줄 것을 요청합니다." 음, 그리고 그것은 대부분 매우 잘 작동됩니다. (R6)
I will talk to these people, to better explain it. To show: This is the idea behind it. “Come … try to think along, because this is what we are going to do. However, if we have to adjust a bit, then we will certainly do that.… I need you in a way that is realistic, so if I go right, and you will, by definition, go to the left, we are not going to make it. So I ask you to come along with me a bit.” Well, and that works very well most of the time. (R6).

일부 지도자들은 또한 [간접적인 저항]에 직면했다. 이 저항은 "숨겨진 역력과 움직이는 저전류"(R3)로 묘사되어 덜 눈에 띄었다. 그런 상황에서 사람들은 직접 변화 리더에게 친절했지만, 그가 없을 때 "내 밑에서 내 발을 즐겁게 때려눕히고 있었다"(R3)고 했다. 이러한 간접적인 저항은 이해당사자들이 리더를 우회하여 그들의 불만을 학장에게 직접 가져갔을 때도 나타났다.
Some leaders also faced indirect resistance. This resistance was less visible, described as “hidden counterforces and a mobilizing undercurrent” (R3). In such situations, people were kind to the change leader in person, but “they were cheerfully knocking my feet out from under me” (R3) when he was not present. This indirect resistance also manifested itself when stakeholders bypassed the leader and took their complaints directly to the dean.

대화와 협상이 통하지 않고 저항이 변화의 진보를 진정으로 방해했을 때, 변화 리더는 더 [공격적인 전략]을 사용했다. 한 참가자는 저항하는 개인들이 직면하는 상황을 변화시켜 그 저항자들이 공개적으로 변화의 진행을 방해하지 않도록 함으로써 상황을 전략적으로 재조정하는 것을 묘사했다. 또한, 일부 참가자들은 저항자들을 측면으로 이동시키거나 완전히 변화 과정 밖으로 이동시키는 것에 대해 설명하였다. 또 다른 반복되는 전략은 젊은 교수진과 새로운 교수진을 포함함으로써 그 과정을 부채질하는 것이었다. 한 사람이 말했듯이:
When talking and negotiating did not work and resistance truly hampered the change progress, the change leader employed more aggressive strategies. One participant described strategically realigning a situation to his benefit by shifting the context in which resistant individuals were confronted so that those resisters could not publicly hinder the progress of change. In addition, some participants described moving resisters to the sidelines or out of the change process entirely. Another recurring strategy was to fuel the process by including young and new faculty. As one said:

교육위원회를 포함하여 이 과정을 방해하는 사람들을 몇 번 해고했다. 그들은 그저 미루고 있었을 뿐이었다. 우리는 교육에 대해 다른 관점을 가진 전자의 "밑에 있는" 세대인 새로운 위원회를 설립했습니다. 그리고 그 순간부터 달리기 시작했다. (R7)
A few times I have dismissed people from their position who hindered the process, including an [educational committee],… they were merely delaying.… We established a new committee, a generation “underneath” the former, let’s say, who had a different perspective on education.… And from that moment on, it started running. (R7)

마지막으로, 일부 참가자들은 저항을 극복하기 위해 부학장, 학장 및/또는 이사회의 지원을 요청했습니다. 때때로 이 고위 지도자들은 특정 문제를 해결하는 방법을 생각하기 위한 울림판이나, [저항자들에게 그들의 의지를 강요할 수 있는 권위자 역할]을 했다. 학장이나 부학장의 중요성은 또한 변화 과정에 대한 그의 지지가 참가자들에 의해 도움이 되지 않는다고 인식되거나(예: 저항자들에게 접근하는 방법에 대한 상충되는 믿음) 전혀 존재하지 않을 때 분명했다. 예를 들어, 한 참가자는 조직의 구성원들이 비판을 표명했을 때 부학장이 자신의 계획과 결정을 즉시 훼손했다고 느꼈다.
Finally, some participants sought support from the associate dean, dean, and/or board to overcome resistance. Sometimes these higher-level leaders acted as sounding boards to think through ways of tackling specific problems, or as authorities who could impose their will upon resisters. The importance of the dean or associate dean was also evident when his or her support for the change process was not perceived to be helpful by participants (e.g., conflicting beliefs on how to approach resisters), or was not present at all. For example, one participant felt that the associate dean undermined his plans and decisions immediately when critiques were expressed by members of the organization:

"BOOOO!"라고 외치는 사람은 단 한 명이어야 했고 모든 것이 다시 바뀌어야 했습니다. (R3)
There had to be only one person screaming “BOOOO!” and everything had to change again. (R3)

지원 부족은 해결하기 어려웠지만, 참가자들은 부학장 또는 학장의 참여 여부를 전략적으로 선택함으로써 지지하지 않는 리더십에 대처하는 것을 묘사했다.
Although the lack of support was hard to solve, participants described dealing with unsupportive leadership by strategically choosing whether or not to involve the associate dean or dean.

과제 3: 변경 프로세스 주도
Challenge 3: Steering the change process

참가자들이 직면했던 세 번째 도전은 [변화 과정 운영과 관련된 어려움]과 관련이 있었다. 원하는 커리큘럼으로 가는 경로가 변경되고 변경의 정확한 최종 목표가 커리큘럼 변경 과정에서 종종 진화하고 있었기 때문에 운영 과정이 어려웠다.
The third challenge participants faced had to do with difficulties related to steering the change process. The steering process was difficult because the route to the desired curriculum changed and the precise end goal of the change was often evolving throughout the curriculum change process:

나는 또한 이것이 정확히 어디로 가고 있는지 또는 어떻게 해야 하는지 모른다. 하지만, 제가 염두에 두고 있는 것이 있고, 그 정도는 마진 정도입니다. 그런 다음 탐색을 해야 합니다. 제 말은, 그것은 과정의 일부이고, 미리 정해진 경로가 아니라는 것입니다. 나는 내가 가고 싶은 곳을 대충 알고 있고, 물론 더 구체적으로 말하는 것이다… 내 말은, 지금 나는 그것을 1년 전보다 더 정확하게 알고 있다. 그 불확실성으로 나는 살아갈 수 있어야 한다. (R5)
I also don’t know exactly where this is going or how it has to be done. However, I do have something in mind and that is approximately the margin, and then you have to navigate.… I mean, that is part of the process, it is not a predetermined route.… I know roughly where I want to go to, and [that] is of course getting more concrete … I mean, right now I know that more precisely than a year ago. With that uncertainty I have to be able to live. (R5)

또한 참가자들은 프로세스를 책임지고 있었으므로, [적극적으로 변화 프로세스를 지시]하는 동시에, [이해관계자들에게 변화를 지시할 수 있는 충분한 자유를 제공하고 프로세스의 성공에 투자되었다고 느끼는 것] 사이에서 균형을 찾아야 하는 필요성에 고심했다. 조직의 우수한 프로세스를 보호하는 것이 중요하다고 강조되었습니다.
Additionally, participants struggled with the need to find a balance between being responsible for the process and therefore actively willing to direct the change process, and at the same time providing enough freedom to stakeholders for them to direct change and so feel invested in the success of the process. Safeguarding a good process in the organization was emphasized to be important:

사람들이 저를 너무 과단성 있게 생각하지 않았으면 좋겠어요. 모두에게 충분한 공간을 주셨으니, 제가 그랬기를 바랍니다. 사람들은 듣기에 불충분하다고 느낄 수 있다. 아니었으면 좋겠는데... 사람들이 [충분한 공간]을 경험했더라면 좋았을 텐데. [그것은 중요하다] 왜냐하면 그것은 과정에 도움이 되기 때문이다. 만약 누군가가 아주 좋은 아이디어를 생각해냈을 수도 있지만, 내가 무언가를 밀고 나간다는 생각을 가지고 있다면, 그것은 그 과정에 좋지 않다. (R4)I hope people did not experience me as too decisive.… That you have given enough room to everyone, I hope I did that.… People may feel insufficiently listened to. I hope not … I wish people have experienced [enough room]. [That is important] because that benefits the process. If you have the idea that I push something through, while somebody might have come up with a very good idea, then that is not good for the process. (R4)

커리큘럼 변경 과정을 지시하기 위해 채택된 전략에는 함께 일할 "적절한" 사람을 선택하는 것이 포함되었습니다.
The strategies participants employed for directing the curriculum change process included selecting the “right” people to work together:

여러분이 끊임없이 하고 있는 것은 일을 성사시킬 사람들을 모으는 것입니다. (R1)
What you are constantly doing is bringing those people together that will make things happen. (R1).

예를 들어, "올바른" 사람들은 새로운 교육과정에 대해 같은 열정을 가지고 협력할 수 있는 사람들, 그리고 새롭고 신선한 아이디어를 가진 사람들이었다. 적절한 인재를 모으는 힘에 초점을 맞춘다는 점을 감안할 때, 일부 참가자들은 관계에 상당한 시간을 투자했습니다.
The “right” people were, for example, those who could collaborate with the same enthusiasm for the new curriculum, and those with new and fresh ideas. Given this focus on the power of bringing the right people together, some participants spent considerable time investing in relationships:

나는 나의 선생님들을 알고 있고 나는 의식적으로 젊은 인재를 찾고 있다. 학과장들에게 제안을 하고, 그 다음에 약속 일정을 잡으려는 젊은 직원이나 새로 임명된 교수들의 명단을 받습니다. 그래서 저는 젊은 인재와 응급처치 및 선임 교사들의 명단을 가지고 있습니다. [언제] 새로운 프로그램을 개발해야 합니다. 제가 필요한 사람을 정확히 알고 있습니다. (R1)
I know my teachers and I’m consciously looking for young talent. I ask for suggestions from department heads, then I get a list of names of young staff or newly appointed professors with whom I’m scheduling an appointment. So I just have a list available of young talent, as well as emeriti and senior teachers.… [When] we have to develop the new program I know exactly who I need. (R1)

참가자들이 사용한 또 다른 전략은 [변화 프로세스의 전반적 상황을 확인하는 것]이었습니다.
Another strategy participants used was making sure to have an overview of the change processes:

[과제는] 약속을 만들고, 약속을 유지하며, 프로세스를 모니터링하는 것과 관련이 있습니다. 낡은 교육과정이 변장하고 은밀히 되돌아오는 것이 아니라는 점을 감시해야 한다. 우리는 개발이 실제 의도했던 것에서 벗어나면 신호를 받고 싶다. (R9)
[The challenge is related to] creating commitment, retaining commitment, and monitoring the process.… We have to monitor that the old curriculum is not secretly returning in disguise. We want to get signals if the development drifts away from what was actually intended. (R9)

참가자들은 새로운 커리큘럼 콘텐츠 개발과 조직의 변화하는 과정에 적응하기 위해 노력했습니다. 교육과정 내용과 관련해서는 [리더, 교육과정변경팀원, 다양한 실무그룹 간 정기적인 '정렬 세션'을 구성해 일관성 있는 교육과정]이 이뤄지도록 했다. 조직의 변화하는 프로세스에 대해 최신 정보를 제공하기 위해 리더는 조직의 모든 수준에서 "느낌feelers"을 유지하고, 사람들과 위원회와 정기적으로 대화하며, 문제나 저항의 신호를 주의 깊게 들었습니다.
Participants sought to be attuned to the development of new curriculum content and to the organization’s changing processes. In relation to curriculum content, regular “alignment sessions” were organized between the leader, the curriculum change team members, and various working groups to ensure a coherent curriculum. To stay up-to-date about the changing processes in the organization, leaders kept “feelers” out at all levels of the organization, talking regularly with people and committees, listening carefully for signals of problems or resistance:

조직의 신호에 둔감해지는 것이 가장 큰 위험이라고 생각합니다. 왜냐하면 조직을 9월로 이동시키느라 바쁘기 때문입니다. 당신은 항상 주의 깊게 들어야 합니다. 그렇게 하지 않으면 맹목적으로 잘못된 방향으로 갈 것이다. 최종 목표를 염두에 두고 계속 적응할 수 있어야 합니다. (R5)
I think, getting insensitive to signals from the organization is the greatest danger because you are so busy with getting the organization on the move to reach September.… You always have to keep on listening carefully.… If you don’t do that you will go blindly in the wrong direction. You need to be willing to keep on adjusting, while still having the final goal in mind. (R5)

당면 과제 관리 및 전략 구현
Managing challenges and implementing strategies strategically

체인지 리더는 커리큘럼 변화를 가져오기 위해 몇 가지 전략에 의존했습니다. 비록 우리가 그 문제들을 별도로 설명했지만, 실제로는 그들은 다른 여러 새로운 이슈들과 함께 동시에 발생하면서 상호 작용했다. 
Change leaders relied on several strategies to bring about curriculum change. Although we described the challenges separately, in reality they interacted, taking place simultaneously, along with multiple other emerging issues.

커리큘럼 변화를 주도하는 복잡하고 지속적으로 발전하는 이 과정을 관리함에 있어, 리더들은 이해 관계자들과 변화 과정에 걸쳐 어떤 일이 일어나고 있는지 계속 알고 있어야 했습니다. 변화하는 상황과 개인의 반응에 대한 이러한 인식을 형성함으로써 리더는 [변화하는 상황에 맞게 전략을 수정]할 수 있었습니다. 
In managing this complex and continually evolving process of leading curriculum change, the leaders needed to remain aware of what was going on across stakeholders and the change processes. Creating this awareness of evolving situations and individuals’ reactions enabled leaders to modify their strategies to suit changing circumstances:

만약 여러분이 매우 생각만 한다면 여러분이 생각하는 것보다 훨씬 더 많은 것들이 여러분이 할 수 있는 역할을 할 수 있다는 것을 알아야 합니다. 예를 들어 프로세스 기반과 같이 A에서 B까지 체계적으로 말해 봅시다. 경우에 따라서는 올바른 버튼을 누르지 않았기 때문에 작동하지 않을 수 있습니다. 잘 되지 않으면 "이제 우리는 일을 바로잡을 것입니다."라고 말해야 합니다. 그러나 [상황]은 얼마나 자유를 주어야 하는지, 또는 얼마나 직접 결정을 내려야 하는지를 결정한다.… 이러한 대규모 조직에서는 어떤 경우에도 유연성이 중요합니다. (R2)
You have to be aware that a lot more can be playing a part than you possibly think if you only think very … let’s say systemically from A to B, like process based. Sometimes things … do not work because you apparently did not push the right button.… If it does not go well you have to say, “And now we are going set things right.”… However, the situation determines how much space you have to give freedom or that you have to be more direct [and make decisions].… Flexibility is, in any event, important in this kind of large organization. (R2)

논의
Discussion

본 연구에서는 변화리더들이 교육과정 변화를 제정하는 과정에 대해 어떻게 생각하는지, 그리고 그들이 그들의 노력에 성공하기 위해 의존하는 전략에 대한 이해를 발전시켰다. 이 지도자들은 여러 가지 도전으로 가득 찬 복잡한 과정으로 커리큘럼 변화에 대해 이야기했다. 특히 주목할 만한 세 가지 과제는 다음과 같았다.

• 크고 다양한 이해관계자 그룹을 다루는 것
• 저항과 다투는 것
• 변화 과정을 지휘하는 것

이러한 과제를 관리하기 위해 지도자들은 여러 가지 다른 전략에 의존했습니다. 이러한 전략을 성공적으로 적용하기 위해, 변화 리더들은 진화하는 상황적 상황에 대한 인식을 유지하려고 노력했고, 이에 따라 그들의 전략을 조정하여 커리큘럼 변화를 이끌어냈다.
In this study, we developed an understanding of how change leaders conceive of the process of enacting curriculum change and the strategies they relied on to succeed in their efforts. These leaders talked about curriculum change as a complex process, fraught with several challenges. Three challenges of particular note were

• dealing with the large and diverse groups of stakeholders;
• contending with resistance; and
• steering the change process.

To manage these challenges, leaders relied on several different strategies. To successfully apply these strategies, change leaders tried to remain aware of the evolving contextual situations and adapted their strategies accordingly to bring about curriculum change.

네덜란드의 모든 8개 UMC에 걸쳐 수행된 우리의 경험적 연구는, [커리큘럼 변경 과정이 선형적이고 질서 있고 예측 가능한 과정으로 전개되지 않는다]는 생각을 지지하고 확장한다. 대신 의과대학과 부속병원에서 커리큘럼 변경을 제정하는 것은 새롭고 복잡한 과정이다. 본 연구는 변화 리더가 직면한 주요 도전과 이를 처리하기 위해 활용했던 전략에 대한 보다 상세하고 경험적인 설명을 제공함으로써 의료 커리큘럼 변화로 성공하는 방법에 대한 Bland 등의 작업을 향상시킨다.

Our empirical study—conducted across all eight UMCs in the Netherlands—supports and extends the idea that the process of curriculum change does not unfold as a linear, orderly, and predictable process.8 Instead, enacting curriculum change in a medical school and its affiliated hospitals is an emerging, complex process. Our study enhances the work of Bland et al9 about how to succeed with medical curriculum change by providing a more detailed, empirical description of the main challenges faced by change leaders and the strategies they harnessed to deal with it.

우리는 주요 커리큘럼 변화의 복잡성을 탐색하는 과정의 중심은 [끊임없이 변화하는 상황 상황에 대한 인식을 유지하는 것]이라는 것을 발견했다. 변화 리더들은 무슨 일이 일어나고 있는지 알고, 대응에 어떤 행동을 취해야 하는지, 그리고 그 과정에 누구를 참여시켜야 하는지에 대한 결정을 내리기 위해 다양한 방법을 사용했습니다. 프로세스가 원하는 방향으로 진행되도록 하기 위해, 변화 리더들은 [새로운 상황의 요구를 충족]시키기 위해 전략을 수정했습니다. 이것은 전체 과정이 계획 없이 자발적으로 진화했다는 것을 말하는 것은 아니다. 대신, 우리의 분석은 단순히 커리큘럼 변화를 "계획하고 실행하는" 것이 변화를 실현하는 방법이 아니라는 것을 입증했다. 상황은 지속적으로 변화하며, 변화 리더는 상황 인식을 유지하고 성공을 보장하기 위해 전략을 조정해야 합니다.

We found that central to the process of navigating the complexities of major curriculum change was maintaining awareness of ever-changing contextual situations. Change leaders used a variety of methods to be aware of what was going on, to make decisions about what actions to take in response, and who to involve, at what time, in the process. To make sure the process was going in the desired direction, change leaders adapted their strategies to meet the demands of the emerging situations. This is not to say that the entire process was spontaneous, evolving without thoughtfully created plans. Instead, our analysis demonstrated that simply “planning and executing” curriculum change is not how change is realized. Situations continuously change, requiring the change leader to maintain situational awareness and to adapt strategies to ensure success.

이는 변화 리더십 문헌에 설명된 "성찰 전략"과 일치합니다. Van de Ven과 Sun은 더 선호되는 "행동 전략"보다는 리더에 대한 [성찰 전략]을 옹호합니다. 이들은 조직의 리더들이 변화하는 상황으로 인해 "고장(즉, 현실에서 보이는 것이 기대와 일치하지 않는 상황)"이 발생할 수 있다고 주장한다. 이는 변화 리더들이 [직면한 현실(즉, 새롭게 부상하는 상황)이 여전히 그들이 선택한 전략과 일치하는지 또는 그들이 새로운 현실에 맞추기 위해 전략을 조정할 필요가 있는지를 검토]할 필요가 있음을 의미한다. 이는 변화 지도자들이 [그들의 전략을 바꾸지 않고 대신 현실이나 관련자들을 바꾸려고 하는 "행동 전략"]과 대조적이다. 행동 접근법은 인기가 있지만, 종종 변화의 복잡한 맥락 앞에서 효과적이지 못하다. 변화 리더들의 인식과 [목표 지향적 유연성]은 '상황 인식' 개념에도 반향을 불러일으킨다. 이 개념의 핵심은 끊임없이 변화하는 복잡한 상황에 대처하는 데 있어 지속적인 인식과 유연성이 필요하다는 것입니다.
This aligns with the “reflection strategy” described in change leadership literature. Van de Ven and Sun20 advocate the reflection strategy for leaders to bringing about change in organizations, rather than the more favored “action strategy.” They argue that leaders in organizations are continuously confronted with changing circumstances and situations that could cause “breakdowns” (i.e., situations where what is seen in reality does not align with expectations). This means that change leaders need to examine whether the faced reality (i.e., the emerging situation) still fits with their chosen strategies or whether they need to adapt their strategy to align with the new reality. This stands in contrast to the “action strategy,” where change leaders do not alter their strategies but instead try to change the reality or the people involved. Although the action approach is popular, it often fails to be effective in the face of the complex contexts of change.20 The change leaders’ awareness and goal-directed flexibility also resonates with the concept of “situation awareness.”21,22 Central in this concept is the need for an ongoing awareness and flexibility in responding to ever-changing, complex situations.

이는 변화를 실현하기 위한 몇 가지 조직적 변화 관점과 전략에 대한 인식을 갖는 변화 리더의 중요성을 지적합니다. "어떤 하나의 이론적 관점도 항상 복잡한 현상에 대한 부분적인 설명만을 제공하기 때문에, 조직 생활에 대한 보다 포괄적인 이해를 얻는 데 도움이 되는 것은 서로 다른 관점 간의 상호 작용이다." 복잡한 커리큘럼 변경 과정을 탐색하기 위해서는 새로운 상황에 대한 성찰과 인식이 필수적이다. 의도된 결과에 도달할 확률을 높이기 위해 자신의 광범위한 전략 레퍼토리를 신중하게 적용하는 것은 변화를 실현하는 중요한 접근법이다. 
This points toward the importance of change leaders having an awareness of several organizational change perspectives and strategies to enact change: “It is the interplay between different perspectives that helps one gain a more comprehensive understanding of organizational life, because any one theoretical perspective invariably offers only a partial account of a complex phenomenon.”23(p510) To navigate the complex curriculum change processes, reflecting on and being aware of emerging situations is vital. Carefully adapting one’s broad repertoire of strategies to increase the probability that the intended outcomes are reached is an important approach to realize change.

강점과 한계/방법론적 반영
Strengths and limitations/ methodological reflections

단 한 명의 연구원(F.V.)이 모든 참가자 인터뷰를 수행했다. 그녀의 초보적인 지위와 연구에 대표되는 모든 조직 밖의 그녀의 위치는 참가자들이 대화에서 위협받지 않고 솔직하고 열린 대화를 지지할 수 있게 해주었다. 하지만, 그녀는 변화 지도자로서의 개인적인 경험을 가지고 있지 않다. 이는 다른 면접관(예: 변화를 시행한 경험이 더 많은 사람)이 탐구했을 수 있는 범위인 그녀의 조사 범위를 제한했다. 이 논쟁은 질적 연구에 내재되어 있다. 서로 다른 인터뷰어들은 다른 데이터를 수집할 것이다. 본 연구에서는 주요 조직변화를 선도하는 과제에 순진하게 대처하는 면접관을 두면 참여자들의 개인적인 생각, 느낌, 고민을 공유할 수 있는 개방적이고 풍부한 대화를 지원할 수 있을 것으로 느꼈다.
Just one researcher (F.V.) conducted all participant interviews. Her novice status and her position outside all the organizations represented in the study enabled participants to feel unthreatened in the conversation, supporting a frank and open dialogue. However, she does not have personal experiences as a change leader. This limited the scope of her probes, a scope that another interviewer (e.g., one with more experience enacting change) might have explored. This debate is inherent to qualitative research; different interviewers will gather different data. In this study, we felt that having an interviewer who was naïve to the challenges of leading major organizational change would support open and rich conversations in which participants could share their personal thoughts, feelings, and concerns.

또한, 최대 6년 전에 발생한 프로세스에 대한 질문을 받았을 때 사람들에 대한 [리콜 편견]이 있을 것이다. 그러나 장점은 잠시 후 과정을 되돌아보면 무엇이 가장 중요했고 무엇이 그렇지 않았는지에 대한 성찰과 비판적 사고를 할 수 있다는 것이다.
Additionally, there will be a recall bias for people when asked about processes that occurred up to six years ago. An advantage, however, might be that looking back on a process after a while allows for reflection and critical thinking about what was of utmost importance and what was not.

우리는 변화리더의 관점에서 교육과정 변화 제정 과정을 검토하기로 선택했지만, [교육과정 변화의 영향을 받는 사람들(예: 교육자)의 관점]을 탐구함으로써 동등하게 가치 있는 통찰력을 개발할 수 있었다. 다른 이해 관계자들과 함께 변경 과정을 연구하면 커리큘럼 변경의 복잡성에 대한 우리의 이해가 풍부해질 것이며 현재 진행 중인 연구 프로그램의 일부가 될 것이다. 
We chose to examine the process of enacting curriculum change from the perspective of the change leader; however, equally valuable insights could be developed by exploring the perspectives of those affected by the curriculum change (e.g., educators). Studying the change processes with other stakeholders would enrich our understanding of the complexities of curriculum change and will be part of our ongoing program of research.

우리 연구의 강점 중 하나가 다원적 접근이지만, 이번 연구 결과가 전 세계 다른 의과대학에 대표적일 것이라고 가정할 수는 없다.
Although one of the strengths of our study is the multi-institutional approach, we cannot assume that the findings will be representative for other medical schools around the world.

시사점
Implications

우리의 연구 결과는 다양한 방법으로 사용될 수 있다. 우리가 개발한 통찰력은 미래의 커리큘럼 변경 리더를 훈련하고 코칭하는 데 도움이 될 수 있습니다. 더 넓은 의미에서, 우리의 연구 결과는 의료 교육(예: 연구, 의료)과 관련된 다른 분야의 변화 지도자들에게 정보를 제공할 수 있다. 우리의 연구를 통해 발전된 통찰력은 미래의 교육과정 변화 리더들이 교육과정 변화 제정과 관련된 도전과제, 이러한 과제를 해결하기 위한 가능한 전략, 그리고 그 과정에서 그들 자신의 성찰과 상황 인식의 중요성을 더 잘 인식하도록 해야 한다.
The results of our study could be used in a variety of ways. The insights we developed could serve as resources for training and coaching future curriculum change leaders. In a broader sense, our findings might inform change leaders in other areas related to medical education (e.g., research, health care24). The insights developed through our research should make future curriculum change leaders more aware of the challenges involved in enacting curriculum change, the possible strategies to address those challenges, and the importance of their own reflections and situational awareness while in the process.

결론
Conclusion

의료 교육과정 변화를 제정하는 과정은 변화 리더들이 여러 가지 도전에 직면하는 복잡한 노력이다. 이러한 복잡한 프로세스를 탐색하기 위해 변화 리더는 몇 가지 전략에 의존합니다. 이러한 전략에 공통되는 중요한 기본 원칙은 [변화의 진보를 촉진하는 결정]을 내리기 위해 [현재와 새롭게 부상하고 있는 상황을 계속 인식하는 것]이었다.
The process of enacting medical curriculum change is a complex endeavor in which change leaders are faced with several challenges. To navigate in this complex process, change leaders rely on several strategies. An important underlying principle common across these strategies was remaining aware of current and newly emerging situations in order to make decisions that further the progress of change.

토마스 제퍼슨 대학의 지역의사부족지역 접근법의 교훈(Acad Med, 2022)
Lessons Learned as Thomas Jefferson University’s Rural Physician Shortage Area Program (PSAP) Approaches the Half-Century Mark 
Howard K. Rabinowitz, MD, Robert J. Motley, MD, Fred W. Markham Jr, MD, and Gillian A. Love, MD

[농촌 지역]의 의사 부족은 미국 의료에서 가장 지속적인 문제 중 하나이며, 농촌에 사는 사람들에게 심각한 건강상의 결과를 초래한다. 이는 [비농촌 지역]과는 대조적이며, 비농촌 지역에서는 경제적, 사회적 요인에 의해 진료에 대한 접근이 제한된다. 농촌 주민들 또한 비농촌 지역 주민들보다 더 늙고, 가난하고, 병들고, 의학적으로 보험에 들지 않는 경우가 더 많다. 농촌 지역은 미국 인구의 거의 20%를 차지하지만, 대도시 지역보다 의사(가족 의사 포함)의 1인당 공급량이 상당히 낮다. 농촌 주민의 약 3분의 1이 연방 지정 보건 전문 부족 지역(HPSA)에 거주하며, 대부분의 HPSA는 농촌 지역에 위치한다. 이 문제는 펜실베니아에서 분명히 볼 수 있는데, 거의 절반에 가까운 의사들이 단지 3개의 대도시 카운티(필라델피아 카운티, 그 교외의 몽고메리 카운티, 그리고 피츠버그의 앨러게니 카운티)에서 진료하고 있다. 인구의 거의 4분의 3이 다른 64개 카운티에 살고 있다. 그리고 현재 미국 의대생의 4% 미만이 시골이나 작은 마을의 실습에 들어갈 계획이기 때문에, 이 오랜 문제는 계속될 것 같다.   
The shortage of physicians in rural areas is one of the most enduring problems in U.S. health care, with serious health consequences for those living rural. This contrasts with nonrural areas, where access to care is more often limited by economic and social factors. Rural inhabitants are also older, poorer, sicker, and more often medically uninsured than those in nonrural areas. Rural areas contain almost 20% of the U.S. population but have a substantially lower per capita supply of physicians (including family physicians) than metropolitan areas. Approximately one-third of rural inhabitants live in federally designated Health Professional Shortage Areas (HPSAs), and most HPSAs are located in rural areas. This problem is clearly seen in Pennsylvania, where almost half of all physicians practice in just 3 large metropolitan counties (Philadelphia County, its suburban Montgomery County, and Pittsburgh’s Allegheny County), although almost three-quarters of the population lives in the other 64 counties. And with fewer than 4% of current U.S. medical students planning to enter rural or small-town practice, this longstanding problem is likely to continue. 1–6

이 문제를 해결하기 위해 토머스 제퍼슨 대학교의 시드니 킴멜 의과대학(이전 제퍼슨 의과대학)은 1974년에 시골 의사 부족 지역 프로그램(PSAP)을 개발하였다. 이 프로그램은 주로 펜실베니아에 있는 작은 마을과 시골 지역에서 가족 의사들의 공급과 유지를 증가시키기 시작했다. PSAP는 다음에 모두 해당하는 의대 지원자를 모집하여 선별적으로 입학시켰다. 

• (1) 시골 지역이나 작은 마을(즉, 대도시 지역이 아니며, 그러한 지역의 통근 교외 지역이 아님)에서 자랐고, 
  
• (2) 또한 비슷한 지역에서 가정의학을 실천하기 위해 헌신했다. 

To address this problem, Sidney Kimmel Medical College (previously Jefferson Medical College) at Thomas Jefferson University developed the rural Physician Shortage Area Program (PSAP) in 1974. The program set out to increase the supply and retention of family physicians in small towns and rural areas, primarily in Pennsylvania. The PSAP recruited and selectively admitted medical school applicants who both

• (1) grew up in rural areas or small towns (i.e., not large metropolitan areas, and not commuting suburbs of those areas) and
• (2) were also committed to practice family medicine in a similar area.

2009년, 이 프로그램은 시골과 작은 마을, 델라웨어 주에 필요한 의료 전문 분야를 계획하는 사람들을 포함하도록 초점을 확장했다. PSAP 신청자는 간단한 추가 신청을 완료하고 고향에 있는 개인으로부터 3통의 지원서를 제출한다. 제퍼슨은 펜실베니아와 델라웨어에 있는 8개의 학부 대학과 협력해서 이 프로그램을 위한 학생들을 모집하고 선발하는 것을 돕습니다.
In 2009, the program expanded its focus to include those planning any medical specialty needed in rural areas and small towns, and to the state of Delaware. PSAP applicants complete a brief additional application and submit 3 letters of support from individuals in their hometown. Jefferson works cooperatively with 8 undergraduate colleges and universities in Pennsylvania and Delaware to help recruit and select students for the program.

지난 48년 동안, 5명에서 15명 사이의 PSAP 학생들이 각 학년에 등록했습니다. 의과대학 내내, PSAP 학생들은 PSAP 교수진들의 소그룹(이 논평의 저자)에 의해 (정기 이메일, 월간 점심 회의, 개별 회의를 통해) 긴밀하게 멘토링되고 조언을 받는다. 그들은 또한 이전 PSAP 수업의 "빅 시브Big Sib" 멘토와 짝을 지어 의대 과정을 안내한다. PSAP 학생들은 핵심 임상 커리큘럼 동안 필라델피아 메트로폴리탄 지역 밖의 더 작은 지역사회에서 6주 동안 필수 로테이션을 수행해야 한다. 그들의 마지막 해 동안, 그들은 시골의 preceptorship이나 elective rotation을 하도록 장려된다. PSAP 학생들은 또한 의과대학 기간 동안 추가적인 재정 지원을 받을 자격이 있다. 이것은 보통 필요 기반 대출의 형태이다(최근에는 2개의 장학금이 설립되었지만). 그러나, 이 추가적인 지원은 전체 교육 비용의 아주 작은 비율만을 나타낸다. 졸업과 동시에 PSAP 학생들은 다른 학생들처럼 그들이 선택한 레지던트 프로그램에서 매치를 한다. 훈련을 마친 후, 비록 준수를 보장하기 위한 공식적인 메커니즘이 존재하지 않지만, 그들은 작은 마을이나 시골 지역에서 연습하도록 권장된다. PSAP에 대한 추가 세부 정보는 이전에 게시되었습니다.  PSAP가 이제 반세기 가까이 다가오면서, 우리는 여기서 요약하는 몇 가지 중요한 교훈을 배웠다.
During most of the past 48 years, between 5 and 15 PSAP students have enrolled in each class. Throughout medical school, PSAP students are closely mentored and advised (via regular email, monthly lunch meetings, and individual meetings) by the small group of PSAP faculty (the authors of this commentary). They are also paired with a “Big Sib” mentor from the previous PSAP class to help guide them through medical school. During their core clinical curriculum, PSAP students must take one of their required 6-week rotations in a smaller community outside of the Philadelphia metropolitan area. During their final year, they are encouraged to take a rural preceptorship or elective rotation. PSAP students are also eligible for additional financial aid during medical school. This is usually in the form of need-based loans (though more recently 2 scholarships have been established); however, this additional support represents only a very small percentage of the overall educational cost. Upon graduation, PSAP students match at the residency program of their choice, similar to all students. After completing their training, they are encouraged to practice in a small town or rural area, although no formal mechanism exists to ensure compliance. Additional details regarding the PSAP have previously been published. 1–16 As the PSAP now approaches the half-century mark, we have learned several important lessons, which we summarize here.

결과 연구가 필수적임
Outcomes Research Is Essential

많은 학술 기관들이 의사 인력을 형성하기 위한 프로그램을 시작하지만, 이러한 프로그램들이 항상 성공 여부를 결정하기 위해 평가되는 것은 아니다. 교육 프로그램 평가는 어려운 경우가 많아, 졸업 후 잘 나타나는 결과와 함께 긴 시간 프레임이 필요하다. 농촌 프로그램의 경우 수십 년 동안 변화하는 지역사회의 농촌 특성뿐만 아니라, 농촌에 대한 다양한 정의로 인해 평가가 저해되기도 한다. Jefferson에서 우리는 1964년 입학 수업 이후 학생과 졸업생들을 추적하고 배경, 성과 및 기타 변수에 대한 600만 개 이상의 데이터를 포함하는 Jefferson Longitial Study of Medical Education(JLS)의 존재로 인해 PSAP 결과 연구를 수행할 수 있었습니다.  이로써 PSAP 결과에 대한 15편의 논문(뉴잉글랜드 의학 저널 2편, 미국 의학 협회 저널 3편, 학술 의학 7편 포함)과 책 한 권이 출판되었다. 이 결과 연구를 통해 PSAP의 성공을 입증하고 이러한 성공으로 이어지는 프로그램 특성을 이해할 수 있습니다.
While many academic institutions initiate programs intending to shape the physician workforce, these are not always evaluated to determine whether they are successful. Educational program evaluation is often difficult, requiring long time frames with outcomes that occur well after graduation. For rural programs, evaluation is also hampered by various definitions of rural, as well as the changing rural character of communities over decades. At Jefferson, we were able to carry out our PSAP outcomes research due to the existence of the Jefferson Longitudinal Study (JLS) of Medical Education, which has tracked our students and graduates since the entering class of 1964, and contains over 6 million pieces of data on their background, performance, and other variables. 17 This has resulted in 15 published papers on PSAP outcomes (including 2 in the New England Journal of Medicine, 3 in the Journal of the American Medical Association, and 7 in Academic Medicine), and a book. 1–16 This outcomes research enables us to demonstrate the PSAP’s success and understand what program characteristics lead to this success.

PSAP는 다른 유사한 의과대학 시골 프로그램과 마찬가지로 작동한다.
The PSAP Works, as Do Other Similar Medical School Rural Programs

JLS의 데이터에 따르면 PSAP 졸업생은 2개의 서로 다른 코호트(1978-1991, 1992-2002)에서 온 것으로 나타났다. PSAP 졸업생은 비 PSAP 반 친구보다 농촌 가정의학을 실천할 가능성이 8.5-9.9배, 농촌 지역에서 어떤 전문분야를 실천할 가능성이 2.7-3배, 그리고 4-4.7배 높았다. 이 작은 프로그램은 1978년부터 1991년까지 미국과 국제 의대를 졸업한 펜실베니아에 있는 모든 시골 가정 의사들의 12%를 배출했다. 전반적으로, PSAP 졸업생들의 절대다수(84%)는 시골이나 작은 대도시 지역 또는 1차 진료 전문 분야 중 하나에서 실습하고 있었다. 비 PSAP 졸업생 중 2~3%만이 농촌 가정의학을 하고 있었다. 이 프로그램은 남녀 졸업생 모두에게 성공적이었다.

Data from the JLS have shown that PSAP graduates from 2 different cohorts (the graduating classes of 1978-1991, and 1992-2002) were 8.5 to 9.9 times more likely to practice rural family medicine than their non-PSAP classmates, 2.7 to 3 times more likely to practice any specialty in a rural area, and 4 to 4.7 times more likely to practice family medicine. This small program produced 12% of all rural family physicians in Pennsylvania who graduated from U.S. and international medical schools from 1978 to 1991. Overall, the vast majority (84%) of PSAP graduates were practicing either in a rural or small metropolitan area or in one of the primary care specialties; only 2% to 3% of non-PSAP graduates were practicing rural family medicine. 1,4 The program was successful for both men and women graduates of the program. 5

PSAP는 가장 인정받는 의과대학 농촌 프로그램  (대부분 발표된 결과 연구로 인해) 중 하나이지만, 유일하게 성공적인 프로그램은 아니다.  PSAP를 포함한 6개의 오랜 의과대학 농촌 프로그램을 통해 30년 동안 1,600명의 졸업생을 합친 결과, 졸업생 중 53%에서 64%가 농촌에서 일하고 있는 것으로 나타났다(농촌 사용 정의에 따라). 이 분석에 포함된 모든 프로그램은, 시골에서 실습할 가능성이 높은 학생들의 [식별된 코호트]와 [필수 시골 임상 커리큘럼]을 가지고 있었지만, 프로그램은 [공립학교와 사립학교 모두]에 위치했고, [국가의 여러 지역에 위치]하여 의료 교육에 대한 이러한 접근 방식이 다양한 환경에서 시골 의사들의 노동력 증대에 긍정적인 영향을 미칠 수 있음을 입증했다. 의대 농촌 프로그램도 국제 의대 졸업자(IMG)보다 해당 주의 농촌 가정의사가 더 많았다. 
While the PSAP is one of the most recognized medical school rural programs 18 (in large part due to its published outcomes research), it is not the only successful program. 19,20 Combined outcomes of 1,600 graduates over 3 decades from 6 longstanding medical school rural programs, including the PSAP, showed that a weighted average of 53% to 64% of their graduates were practicing rural (depending on the definition of rural used). 6,7 All programs included in this analysis had an identified cohort of students likely to practice rural and a required rural clinical curriculum, but the programs were situated in both public and private schools, and were located in multiple regions of the country, demonstrating that this approach to medical education can have a positive effect on the rural physician workforce in many settings. Medical school rural programs also accounted for more rural family physicians in their states than did international medical graduates (IMGs). 8

장기 보존이 승수에 미치는 영향
Long-Term Retention Has a Multiplicative Impact

"채용과 유지"가 자주 함께 언급되지만, 그것들은 매우 다른 결과를 나타낸다. [채용recruitment]과 비교하여, [보유retention]는 시골 의사 노동력에 [곱셈적인multiplicative 영향]을 미친다. 예를 들어, 35년 경력 동안 시골 지역에 머무르는 의사 1명을 훈련시키는 것은 각각 평균 7년 동안 머무르는 의사 5명을 훈련시키는 것과 유사한 영향을 지역사회에 미친다. PSAP 졸업생들의 장기 추적 조사에 따르면 PSAP 졸업생들의 약 70%가 처음 개업한 후 최소 20년에서 25년 동안 같은 지역에서 농촌 가정 실습에 머물렀으며, 추가로 10%가 이전에 다른 농촌 지역으로 이주한 것으로 나타났다.   
Although “recruitment and retention” are frequently mentioned together, they represent very different outcomes. Compared with recruitment, retention has a multiplicative effect on the rural physician workforce. For example, training 1 physician who stays in a rural area for a 35-year career has a similar impact on a community as training 5 physicians who each stay for an average of 7 years. Long-term follow-up of PSAP graduates has shown that approximately 70% of PSAP graduates have remained in rural family practice in the same area for at least 20 to 25 years after first located in practice, and an additional 10% had previously moved to another rural area. 9,10

입학이 가장 중요하다
Admissions Is Most Important

연구는 농촌 지역에서 자라는 것이 농촌 실습 장소를 선택하는 가장 강력한 예측 변수라는 것을 일관되게 밝혀냈다. PSAP 결과는 비슷하게 프로그램의 [입학 구성요소]가 성공의 약 4분의 3을 차지한다는 것을 보여주었다.  의대 입학 당시 알려진 세 가지 요인(농촌 지역에서 성장, 농촌 실습 계획, 가정의학 계획)은 30년 후 농촌 실천의 강력하고 부가적인 예측요인으로 나타났으며, 이는 다중 예측위험요인과 관상동맥 심장질환 사이의 잘 수용된 관계와 규모 면에서 유사하다. 의사 진료 장소에 영향을 미치는 것으로 알려진 수많은 요소들이 있지만, 많은 요소들은 의과대학 입학 후에 발생한다(예: 시골 교육과정, 거주 훈련 장소, 배우자와 가족 선호, 소득). 반면, [입학할 때 이 세 가지 강력한 요인의 존재]는 30년 후에 시골에서 실습하는 제퍼슨 졸업생들의 거의 80%를 식별해냈다. 시골 의사의 22%만이 이러한 예측 변수를 전혀 가지고 있지 않았다. 12 이러한 입학 요인이 시골 실습의 가장 강력한 예측 변수를 나타내지만, 다른 프로그램 구성 요소(즉, 멘토링, 시골 커리큘럼, 비슷한 배경을 가진 동료 그룹이 있음)는 PSAP 성공에 25%를 추가했고, 이는 실질적이고 매우 중요한 향상이다. 이 세 가지 구성 요소는 또한 PSAP 학생들이 프로그램의 가장 영향력 있는 부분으로 자주 언급합니다.
Research has consistently found that growing up in a rural location is the strongest predictor of choosing a rural practice location. PSAP outcomes have similarly shown that the admissions component of the program accounted for approximately three-quarters of its success. 11 Three factors known at the time of medical school matriculation—growing up in a rural area, plans for rural practice, and plans for family medicine—were found to be powerful and additive predictors of rural practice 3 decades later, similar in magnitude to the well-accepted relationship between multiple predictive risk factors and coronary heart disease. 21 Despite the numerous factors that are known to influence physician practice location, many of which occur after medical school matriculation (e.g., rural curriculum, residency training location, spouse and family preferences, income), the presence of these 3 powerful factors at matriculation identified almost 80% of all Jefferson graduates practicing rural 3 decades later; only 22% of rural physicians had none of these predictors. 12 While these admissions factors represent the strongest predictors of rural practice, other program components (e.g., mentoring, the rural curriculum, having a peer group with similar backgrounds) collectively added an additional 25% to the PSAP success, a substantial and very important increase. 11 These 3 components are also often mentioned by PSAP students as the most influential parts of the program.

시골에서 살기를 원하는 것이 농촌을 실천하는 결정의 핵심이다.
Wanting to Live Rural Is Key to the Decision to Practice Rural

시골과 도시 지역의 의사 부족 문제를 해결하는 것은 중요한 요구를 나타내기 때문에 종종 함께 그룹화된다. 그러나, 우리는 [도시 소외계층]을 돌볼 계획인 학생들과는 대조적으로, 농촌 지역에서 실습할 계획인 대부분의 학생들은 일차적으로 농촌 지역에서 [살기로 결정]한 뒤, 이에 따라 그들의 지역사회를 돌보고자 한다는 것을 발견했다. 그들은 종종 시골의 생활 방식을 원하고, 자기 자녀들이 시골 학교에서 교육받기를 원하며, 더 전문적인 자율성을 가지고 더 넓은 범위의 의학을 실천하기를 선호한다.  이는 돌봄을 제공하는 지역사회에서 덜 흔하게 살고, 교외 또는 선택된 도시 학교에 접근할 수 있는 더 교외 또는 도시 생활을 선호하며, 많은 사람들이 학업 보건 시스템에 고용되는 [도시의 취약urban underserved 지역]에서 실습할 계획과는 다르다. 
Addressing physician shortages in rural and urban areas are often grouped together, as they both represent important needs. However, we have found that, in contrast to students who plan to care for the urban underserved, most students who are planning to practice in rural areas primarily decide to live in a rural area, and thus to care for their community. They often desire a rural lifestyle, want to have their children educated in rural schools, and prefer to practice a broader scope of medicine with more professional autonomy. 13 This differs from those planning to practice in urban underserved areas, who less commonly live in the community where they provide care, often prefer a more suburban or urban lifestyle with access to suburban or select urban schools, and many are employed by academic health systems.

지원자의 진술된 의도만을 바탕으로 입학 당시에 미래의 의료행위 장소를 예측하는 것은 어렵지만, 이러한 진술된 실습 의도를 시골 배경과 연결하는 것이 PSAP 성공의 열쇠가 되었다. 대조적으로, [도시 배경]과 [도시의 underserved practice]을 연계하는 연구는 적다. 일부에서는 소득이 의사의 비농촌 진료 선택에도 주요 요인이라고 믿지만, 데이터는 농촌 의사가 비농촌 의사와 비교하여 비슷한 수준의 소득을 얻고, 주거비가 상당히 낮다는 점을 감안할 때, 실제로 생활비와 전문 의료비를 조정할 때 더 높은 소득을 가지고 있음을 시사한다.

Predicting future practice locale at the time of admission based only on the applicant’s stated intentions is difficult; however, linking this stated practice intent with rural background has been a key to the PSAP success. In contrast, there is less research linking urban background with urban underserved practice. While some believe that income is also a major factor in physicians’ choice of nonrural practice, data suggests that rural physicians earn similar levels of income compared with their nonrural counterparts and, given their substantially lower housing costs, actually have a higher income when adjusting for cost of living and specialty. 3

의과대학은 시골 의사 부족을 해결하는 데 중요한 역할을 할 수 있다.
Medical Schools Can Have a Critical Role in Addressing the Rural Physician Shortage

제퍼슨의 PSAP와 같은 [의대 시골 프로그램]은 시골 의사 부족 전체를 해결하지는 못할 것이지만, 많은 지역사회에 중요한 해결책이 될 수 있다. 그것들은 가장 성공적인 증거 기반 전략 중 하나이며, 결과적으로 시골 지역에서 개업하고 장기간 머무르는 의사의 비율이 높다. 시골 프로그램은 또한 더 적은 자원을 필요로 할 수 있다. 제퍼슨이 지원하는 PSAP의 비용은 주로 입학 과정과 커리큘럼의 지속적인 비용에 포함되어 있다. 멘토링, 교직원 2명 시간제, 행정지원 등에 추가 자원이 필요하다.

Medical school rural programs like Jefferson’s PSAP will not solve the entire rural physician shortage but can be a critical solution for many communities. They are among the most successful evidence-based strategies, resulting in a high percentage of physicians practicing and remaining long term in rural areas. Rural programs may also require fewer resources; the cost of the PSAP, supported by Jefferson, is largely built into the ongoing cost of the admissions process and curriculum. Additional resources are needed for mentoring, the partial time of 2 faculty, and administrative support.

이 문제를 해결하는 데 [의대 농촌 프로그램]의 중요한 역할 외에도, 고등학생과 대학생을 중심으로 한 [경로pathway 프로그램], [의대 농촌 임상 경험 확대], [농촌 전공의 프로그램] 등 다른 정책적 해법이 도움이 될 것이다. 국민건강봉사단 의사 공급 확대, 기타 대출상환 프로그램 확대, 농촌으로 유입되는 IMG 공급 확대, 농촌의사 변제 강화 등 다른 전략도 매우 중요하다. 의과대학 시골 프로그램에 대한 [주 및 연방 지원]은 이러한 프로그램의 지속과 확장을 위해 필수적이다. 예를 들어, 이러한 시골 프로그램에 대한 연방 지원은 [의사 연구자 부족 문제]를 해결하는(그리고 의대 시골 프로그램과 비슷한 수준의 성공을 거둔) 잘 지원된 [국립 보건 의료 과학자 훈련 프로그램]과 유사할 수 있다.  
In addition to the critical role of medical school rural programs in addressing this problem, other policy solutions, such as pathway programs focusing on high school and college students, expanding medical school rural clinical experiences, and rural residency programs, would be helpful. Other strategies, such as increasing the supply of National Health Service Corps physicians, expanding other loan repayment programs, increasing the supply of IMGs entering rural areas, and enhanced reimbursement for rural physicians, are also very important. State and federal support for medical school rural programs is vital for continuation and expansion of these programs. For example, federal support for these rural programs similar to the well-funded National Institutes of Health Medical Scientist Training Program that addresses the shortage of physician researchers (and which has a similar level of success as medical school rural programs) could go far in easing the rural physician shortage. 22

일부는 의과대학이 시골 의사 부족 문제를 해결하는 데 역할을 하는지 의문을 제기했지만, 의과대학이 중요하다는 가장 명확한 증거는 PSAP와 다른 유사한 프로그램의 결과이다. 특히 의대 입학전형은 누가 의사가 되는가에 직접적인 영향을 미친다. 전원생활을 할 가능성이 가장 높은 사람을 식별하기 위해, PSAP는 모든 지원자와 동일한 기준을 충족하지만 전원생활 배경과 전원생활 계획을 입증하는 자격을 갖춘 지원자를 우선적으로 입학시킨다. PSAP 졸업생들은 의과대학과 레지던트 교육 동안 그들의 동료들과 [비슷한 성과]를 거두었다. -그리고 반 친구들보다 시골에서 훨씬 [더 많이 practice]했다. 의과대학은 또한 학생들을 지도하고 조언하는 데 중요한 역할을 하며, 농촌 실습에서 경력을 노출하고 지원하기 위한 임상 회전을 제공한다. 예측에 따르면 미국의 모든 의과대학이 PSAP와 유사한 의과대학 시골 프로그램을 한 반에 10명의 학생으로 개발한다면, 이것은 현재 시골 의사들의 생산량을 두 배 이상 증가시킬 수 있다. 보유의 [곱셈적 효과]를 고려하면, 장기적인 영향은 훨씬 더 클 것이다. 심지어 [상대적으로 적은 수의 절대적인 수의 추가 의사들]도 많은 작은 마을에 불균형적으로disproportionately 긍정적인 영향을 미칠 것이다. 특히 제퍼슨의 PSAP는 미국 북동부 지역의 주요 대도시 지역에 위치한 사립 의과대학이 시골 의사들의 공급과 유지를 늘릴 수 있다면 이는 어느 의과대학에서도 할 수 있다는 것을 보여주었다.
While some have questioned whether medical schools have a role in addressing the rural physician shortage, the clearest evidence of their importance are the outcomes of the PSAP and other similar programs. The medical school admissions process in particular directly influences who becomes a physician. To identify those most likely to practice rural, the PSAP preferentially admits qualified applicants who meet the same standards as all applicants, but who also demonstrate a rural background and rural career plans. PSAP graduates performed similarly to their peers throughout medical school and during residency training 2,14—and have practiced rural much more frequently than their classmates. Medical schools also have a key role in mentoring and advising students, as well as providing clinical rotations to expose and support a career in rural practice. Projections show that if all U.S. medical schools developed medical school rural programs similar to the PSAP with 10 students per class, this could more than double the current output of rural doctors. 6 Considering the multiplicative effects of retention, the long-term impact would be far greater. Even a relatively small absolute number of additional physicians would have a disproportionately positive effect on many small towns. Jefferson’s PSAP in particular has shown that if a private medical school located in a major metropolitan area in the Northeast region of the United States can increase the supply and retention of rural physicians, then this can be done at any medical school.

결론
Conclusion

지난 세기의 대부분 동안, 일반 교육 위원회 (1924)가 후원한 시골 의사 부족에 대한 연구에 포함된 시골 의료행위에 관한 지배적인 신화는 다음과 같았다. "더 많은 시골 지역 학생들이 입학하면… 근본적인 인구 동향을 바꾸지 않고 열등한 의사만 배출할 것입니다."  그러나 현실은 정반대다. 지난 반세기 동안 Jefferson의 PSAP와 다른 많은 의과대학 시골 프로그램의 광범위한 경험과 결과 연구는 매우 유능한 시골 의사의 공급과 장기 보존을 증가시키는 데 그들의 성공을 분명히 보여주었다. 우리는 이 프로그램에서 우리가 배운 교훈과 그 결과가 이 중요하고 오랫동안 무시되어 온 건강 관리 문제를 해결하는 데 다른 사람들에게 가치가 있을 수 있기를 바란다.
For most of the past century, a prevailing myth regarding rural practice, included in a study of the rural physician shortage sponsored by the General Education Board (1924) was that “admitting more students from rural districts … would only produce inferior doctors without altering the underlying demographic trends.” 23 The reality, however, is exactly the opposite. Extensive experience and outcomes research from Jefferson’s PSAP and a number of other medical school rural programs over the past half-century has clearly shown their success in increasing the supply and long-term retention of highly competent rural physicians. We hope the lessons we have learned from this program, its students and graduates, and its outcomes can be of value to others in addressing this critical and long-ignored health care problem.

Acad Med. 2022 Sep 1;97(9):1264-1267. doi: 10.1097/ACM.0000000000004710. Epub 2022 Apr 19.

Copyright © 2022 by the Association of American Medical Colleges.

의과대학 교육과정의 질 개선 - 어떻게 접근해야 하는가? (Med Educ, 2022)
State of the science: Quality improvement of medical curricula—How should we approach it?
Susan Jamieson

1 소개
1 INTRODUCTION

의료 커리큘럼의 품질 향상(QI)은 커리큘럼 팀의 중요한 우선 순위이며 많은 이해 관계자(학습자, 교육자, 환자, 보호자, 특정 분야 및 전문성, 규제 기관 및 자금 제공자)에게 중요하다. 지속적인 QI는 외부 주도 인증 중심 커리큘럼 리뷰와는 구별되지만, 외부 주도형 커리큘럼 검토와 관련이 있다. 이 서술적 검토는 의료 커리큘럼의 QI에서 가정과 실천 중 일부를 탐색하고 커리큘럼 팀을 위한 권고안을 제시한다. 이 검토는 관련 MeSH 용어 또는 키워드 또는 이들의 조합을 포함하는 영어 전체 텍스트 기사에 대한 MEDLINE, EMBASE, PUBMED 및 ERIC 데이터베이스의 검색을 통해 식별된 의료 및 기타 보건 전문 교육의 문헌에 주로 기초한다. 다른 출처에는 예시적인 커리큘럼 프레임워크와 평가 보고서가 포함된다. 먼저 핵심 개념을 정의하고 설명합니다.
Quality improvement (QI) of the medical curriculum is an important priority for the curriculum team and is of consequence to many stakeholders: learners, educators, patients, carers, specific disciplines and specialities, regulators and funders. Continuous QI is distinct from, but feeds into, externally driven accreditation-focused curriculum reviews. This narrative review1 explores some of the assumptions and practices in QI of medical curricula and makes recommendations for curriculum teams. The review draws mainly on literature from medical and other health professions education, identified through searches of the MEDLINE, EMBASE, PUBMED and ERIC databases for English-language full-text articles that contained relevant MeSH terms or keywords, or combinations thereof. Other sources include exemplar curricular frameworks and evaluation reports. Key concepts are first defined and explained.

2 주요 개념과 매개변수
2 KEY CONCEPTS AND THE PARAMETERS OF THIS REVIEW

[퀄리티]은 기업의 '우수도의 척도'로 정의되어 왔다. 의료 커리큘럼(또는 프로그램)의 품질은 학습, 교육, 평가, 학습 환경 등의 [특정 표준specific standards]에 따라 평가된다. 이 표준은 다음과 같은 기관에 의해 설정될 수 있다.

• 대학이나 대학과 같은 고등 교육 기관
  
• 영국 왕립 대학과 같은 졸업후 의학 교육 제공자
  
• 영국의 GMC(General Medical Council) 또는 세계 의학 교육 연맹(WFME)과 같은 지역 또는 글로벌 의료 교육 규제 기관

Quality has been defined as ‘a measure of the degree of excellence’2 of an entity. The quality of a medical curriculum (or programme) is judged against specific standards of learning, teaching, assessment, learning environment and so on. These may be set

• by higher education institutions, such as colleges or universities;
• by providers of postgraduate medical education, such as the Royal Colleges in the United Kingdom; or
• by local or global regulators of medical education, such as the General Medical Council (GMC) in the United Kingdom, or the World Federation of Medical Education (WFME).

• [퀄리티 보증(QA)]은 [규제/인정기관이 (퀄리티 표준에 대한 책무가 있는) 어떤 의료 커리큘럼이 퀄리티 표준이 충족되는 정도를 결정하는 과정]이다.
• [퀄리티 개선(QI)]은 일반적으로 [커리큘럼 팀이 이해관계자 피드백을 사용하여 커리큘럼이 관련 표준을 충족하는지 여부를 결정한 다음, 인식된 결함을 해결하기 위한 새로운 활동 또는 기타 조치를 시행하고, 후속적으로 커리큘럼의 품질을 재평가하는 지속적인 프로세스]로 간주된다.
• Quality assurance (QA) is
  • a process whereby regulatory/accrediting bodies determine the extent to which quality standards are met by medical curricula accountable to them.3 
• Quality improvement is generally regarded as
  • a continuous process whereby curriculum teams
    • use stakeholder feedback to determine whether the curriculum meets relevant standards,
    • then implement new activities or other measures to address perceived deficiencies
    • and subsequently re-evaluate the quality of the curriculum.2 

프랭크 외 연구진은 [QA를 총괄적]이라고 구분하고, [QI를 형성적]이라고 구분한다. 의료 자체에서 QI는 [환자의 경험]을 향상시키고, [환자의 안전]을 개선하기 위해 상당한 초점을 맞추고 있다. 예를 들어, 미국의 경우, ACGME(Creditation Council for Graduate Medical Education)는 의사가 품질 향상과 관련된 역량을 입증하도록 요구한다.5 이에 따라 의료 학습자 및 실무자, 기타 의료전문가를 대상으로 품질향상의 원칙과 과정에 대해 교육하기 위한 품질향상 교육과정이 개발되었다. 그러나 본 검토의 초점은 [QI에 관한 커리큘럼]이 아니라, [의료 커리큘럼의 QI]에 있다.

Frank et al. distinguish between QA as summative and QI as formative.4 In healthcare per se, there is significant focus on QI to enhance the patient experience/improve patient safety. For example, in the United States, the Accreditation Council for Graduate Medical Education (ACGME) requires physicians to demonstrate competencies related to quality improvement.5 Accordingly, quality improvement curricula have been developed to teach medical learners and practitioners, and other healthcare professionals, about the principles and process of quality improvement.6-11 However, the focus of this review is not on curricula about QI, but on QI of the medical curriculum.

3 품질 개선 프로세스 개요
3 OVERVIEW OF THE QUALITY IMPROVEMENT PROCESS

의료 커리큘럼의 지속적인 QI를 위한 프로세스와 공통 메커니즘은 표준 의료 교육 텍스트에 상세히 설명되어 있습니다.2 연속 QI에 대한 [계획-실행-연구-행위(PDSA)] 사이클은 데밍에 기인한다. 켄라이트와 윌킨슨은 [계획-실행-평가-조사plan-implement-evaluate-investigate]의 순환이 되도록 의료 커리큘럼에 적용했다. 다양한 이해관계자는 일반적으로 프로세스의 시작점을 제공한다. 의료 커리큘럼의 QI의 주요 이해관계자 그룹은 전통적으로 의학 학습자 자체였지만, 다른 이해관계자(예: 동문 또는 선택 호스트)로부터 피드백을 구할 수도 있다. 의학 교육의 연속체에서의 커리큘럼의 위치(UG, PG, CPD)에 따라 구체적인 이해관계자 그룹이 변경되거나, 특정 그룹의 견해가 다소 좌우될 수 있다.
The process and common mechanisms for continuous QI of medical curricula are elaborated in standard medical education texts.2 The plan-do-study-act (PDSA) cycle for continuous QI is attributed to Deming.12 It has been adapted for the medical curriculum by Kenwright and Wilkinson to become a cycle of plan-implement-evaluate-investigate.2 The various stakeholders typically provide a starting point for the process. The main stakeholder group in QI of medical curricula has traditionally been medical learners themselves,13-15 but feedback may also be sought from other stakeholders, for example, alumni, or elective hosts.16, 17 Depending on where a particular curriculum is positioned on the continuum of medical education—undergraduate (UG), postgraduate (PG) or continuing professional development (CPD)—the specific stakeholder groups may change or the views of certain groups may hold more or less sway.

일반적으로 [설문조사]에 응답하거나, [포커스 그룹] 또는 [커리큘럼 위원회]에 참여함으로써 이해 당사자는 커리큘럼 또는 그 측면을 평가한다. 교육과정 팀은 평가를 검토하고 이에 대응한다. 여기에는 특정 문제에 대한 추가적 탐구가 포함될 수 있습니다. 예를 들어, 설문조사에서 부정적인 점수나 논평 뒤에 숨겨진 이유를 더 잘 이해하기 위해 포커스 그룹을 조직하는 것이 포함됩니다. 이유를 더 잘 이해했다면 다음과 같이 대응할 수도 있다.

• 학습, 교육 및 평가를 위한 기존 규정을 바꾼다.
  
• 학습 환경의 문제를 해결한다. 
  
• 기존 규정의 변경이 적절하거나 실현 가능한지 여부에 대한 교육학적 또는 실용적인 판단을 내린다. 

중요한 것은, 커리큘럼 팀의 response에는 '루프 닫기closing the loop'가 포함되어야 하며, 여기에는 이해 관계자에게 결과를 전달하는 것이 포함되어야 한다. 교육과정의 다음 실행에서, 그 과정은 다시 시작된다.

Usually by responding to surveys, or participating in focus groups or curriculum committees, stakeholders evaluate the curriculum or aspects of it. Curriculum teams review the evaluation and respond to it. This may include further exploration of specific issues; for example, organising focus groups to better understand the reasons behind negative scores or comments in a survey. The response may include

• making changes in existing provision for learning, teaching and assessment;
• addressing issues in the learning environment; or
• taking pedagogical or pragmatic decisions about whether changes in existing provision are appropriate or feasible.

Importantly, the response from curriculum teams should incorporate ‘closing the loop’,18 which includes communication of the outcome(s) to stakeholders. At the next run of the curriculum, the process begins again.

4 의과대학 교육과정의 QI 문제 
4 PROBLEMS WITH QI OF THE MEDICAL CURRICULUM

의료 교육과정의 지속적인 QI와 관련된 몇 가지 문제가 있다.

• 첫째, 의료 교육 커뮤니티의 구성원들은 지리적 맥락 및/또는 UG 또는 PG 맥락에 포함되는지, 또는 학술 또는 임상 환경에 따라 QI를 설명하기 위해 다른 언어를 사용한다. 이것은 QI의 성격과 목적에 대한 서로 다른 용어들이 상충되는 개념화와 일치하는지 여부가 중요하다. 더욱이 대안적 용어(및 개념화)에 대한 인식 없이는 증거 기반에 완전히 관여하는 것이 어려울 수 있다.
• 두 번째 문제는 의료 교육과정의 QI에서 무엇이 우선시되고 무엇이 이에 영향을 미치는지이다.
• 셋째, 커리큘럼의 질을 향상시키기 위해 적절한 기준에 따라 커리큘럼을 평가하고 있는가?
• 넷째, 정렬된 방법을 사용하고 있는가? QI에 대한 우리의 우선 순위와 방법론적 접근 방식이 이해 관계자가 발언할 수 있는 것에 영향을 미치기 때문에 이러한 문제가 중요합니다.
• 마지막으로, 문헌에서는 커리큘럼 QI에 대한 공유된 소유를 지지한다. 하지만 우리는 어떻게 이것을 육성할 수 있을까요?

이 검토의 나머지 부분은 의료 커리큘럼의 QI를 특징짓는 가정과 실천 중 일부를 탐색하고 커리큘럼 팀에 권고함으로써 이러한 문제를 다룬다.

There are several problems relating to continuous QI of the medical curriculum.

• Firstly, members of the medical education community use different language to describe QI, depending on their geographical context and/or whether they are embedded in an UG or PG context, or an academic or clinical environment. This matters if the different terminology aligns with conflicting conceptualisations about the nature and purpose of QI. Moreover, without an appreciation of alternative terminologies (and conceptualisations), it may be challenging to engage fully with the evidence base.
• A second problem is what is prioritised in QI of the medical curriculum and what influences this.
• Thirdly, in aiming to improve curricular quality, are we evaluating the curriculum against appropriate standards,
• and—fourthly—using aligned methods? These issues matter, because our priorities and our methodological approach to QI impact which stakeholders have a voice.
• Finally, the literature advocates shared ownership of curricular QI, but how might we foster this?

The remainder of this review addresses these problems, by exploring some of the assumptions and practices that characterise QI of medical curricula and making recommendations to curriculum teams.

5 QI의 개념화
5 DIFFERENT CONCEPTUALISATIONS OF QI

QI에 대해 이야기할 때 의학 교육계는 '동일한 언어'를 사용하는가? QI의 다른 개념화를 반영하는 만큼 중요한 다른 용어는 서로 다른 맥락에서 사용된다.

• '질 개선quality improvement'이라는 용어는 [의료 환경]에서 흔히 사용되며, 일부 [교육 환경]에서 사용됩니다.
• 그러나 다른 교육적 맥락에서 질 향상(quality enhancement, QE)이라는 용어가 대신 사용된다. 이것은 ['개선'이라는 단어에 대한 부정적인 함축]으로부터 벗어나는 움직임을 나타낸다:
  • 윌리엄스는 '[개선improvement]이란 종종 활동을 표준에 도달하는 과정을 가리키는 데 사용되는 반면, [향상enhancement]은 [이미 좋은 기준]을 더 높은 수준으로 끌어올리고, 강화하거나 확대하는 데 사용된다'고 주장한다.

Are we, the medical education community, ‘speaking the same language’ when we talk about QI? Different terminology is used in different contexts, which matters inasmuch as it reflects different conceptualisations of QI.

• The term ‘quality improvement’ is commonplace in healthcare contexts and used in some educational contexts.
• However, in other educational contexts the term quality enhancement (QE) is used instead.19, 20 This represents a move away from negative connotations of the word ‘improvement’:
  • Williams argues that ‘improvement is often used to refer to a process of bringing an activity up to standard whereas enhancement is about raising [an already good standard] to a higher degree, intensifying or magnifying it’.21 

QE 용어는 유럽 무대에서 학부교육과정 맥락에 널리 퍼져 있다. 실제로 네덜란드 단체의 최근 출판물에서 QI는 '지속적인 교육 질 향상'으로 묘사된다. QE는 교육 기관의 '퀄리티 문화'를 개발하는 데 초점을 맞추고 있다. 퀄리티 문화의 개념은 다음을 포함한다.

• 공유된 가치, 집단적 책임, 제도적 자율성, 투명성, 효과성, 권한 부여를 통한 변혁적 능력

QE terminology is prevalent in undergraduate contexts in the European arena.22 Indeed, in a recent publication by a Dutch group, QI is described as ‘continuous enhancement of educational quality’.23 QE is focused on developing a ‘quality culture’ in the educational organisation.22-24 The concept of quality culture incorporates

• shared values, collective responsibility, institutional autonomy, transparency, effectiveness and transformative ability through empowerment.22 

QE의 초점은 통제와 규정 준수가 아닌, [개발과 혁신]에 있습니다. [외부 QA]는 교육 기관의 [내부 QE(Quality QE)] 프로세스를 평가하는 데 초점을 맞추고 있으며, 교육 기관의 교육 수준 충족 여부를 판단하는 데 중점을 두고 있습니다. 개별 의료 커리큘럼의 이해 관계자가 QI에 대해 서로 다른 개념화를 가지고 있다면, 이는 과정에 대한 혼란, 박탈감 및 커리큘럼에 대한 의사 결정의 긴장감으로 이어질 수 있다.

The focus in QE is on development and innovation as opposed to control and compliance.24 External QA is focused on evaluation of the education provider's internal QE (QI) processes as opposed to judging whether curricular standards have been met.22 If stakeholders in an individual medical curriculum hold different conceptualisations of QI, this may lead to confusion about the process, feelings of disenfranchisement and tensions in decision making about the curriculum.

QI에 대한 용어가 달라지면 관련 증거 기반과의 참여에도 영향을 미칩니다.

• '질 개선'을 검색하면 주로 북미 의료 커리큘럼 또는 프로그램의 문헌이 검색되며, 종종 졸업후 교육의 맥락이다.
• '질 향상'을 검색하면 미국 바깥과 UG 문맥에서 더 많은 문헌을 확인할 수 있다.
• 또한 '교육과정 평가'는 전통적으로 학문적 맥락에서 QI를 의미하는 데 사용되는 반면,
• '프로그램(프로그램) 평가'는 북미적 맥락에서 더 일반적일 수 있다. 

The different terminology for QI also impacts engagement with the relevant evidence base.

• Utilisation of ‘quality improvement’ in literature searches directs the searcher largely towards literature from North American medical curricula or programmes, often in a graduate context.
• Utilising ‘quality enhancement’ identifies more literature from out-with the United States and from an UG context.
• In addition, ‘curriculum evaluation’ is traditionally used to mean QI in academic contexts,
• whereas ‘programme (program) evaluation’ may be more common in North American contexts.25

권장 사항: 교육 과정 팀은 QI의 개념화와 QI 구현 목적에 대한 담론에 참여하고 이를 이해 관계자에게 전달해야 합니다. QI에 대한 증거 기반을 검토할 때, 문헌에 대한 우리의 [검색과 해석]은 [서로 다른 용어와 개념화]를 반영해야 합니다.
Recommendations: curriculum teams should engage in discourse about their conceptualisation of QI and their purpose in implementing QI and communicate this to stakeholders; and in reviewing the evidence base for QI, our searches for, and interpretation of the literature should reflect different terminologies and conceptualisations.

6 평가해야 할 사항에 대한 우선 순위와 관점
6 PRIORITIES AND PERSPECTIVES ON WHAT SHOULD BE EVALUATED

우리는 무엇을 평가해야 할까요? 커리큘럼의 품질에 대한 판단은 [이해당사자에 의해 평가되고 우선시되는 것]을 반영할 것이다. 이는 결과적으로

• 사회의 특정 집단(환자, 보호자 및 납세자 포함), 기금 제공자, 규제 기관 및 전문 기관, 전문 분야 또는 교육 원칙에 대한 [책무성]을 반영한다.
• 또는 그들 자신의 학습과 발전에 대한 [관심]을 반영할 수도 있다. 

What should we evaluate? Judgements about the quality of curricula will reflect what is valued and prioritised by stakeholders. This will in turn reflect their

• accountability
  • to specific groups in society (including patients, carers and taxpayers),
  • to funders,
  • to regulators and professional bodies,
  • to their specialities or disciplines, or
  • to educational principles;
• or concern for their own learning and progression.

따라서 평가자는 [커리큘럼의 특정 측면 또는 구성요소]에 대한 품질을 우선시할 수 있다. 예를 들면

• 공공 및 환자의 참여 정도, 평가 프로그램, 학습을 위한 자원 등

Evaluators may therefore prioritise quality in specific aspects or components of the curriculum,

• such as the degree of public and patient involvement,26 the programme of assessment27 or resources for learning.

이해당사자들은 또한 [교육과정이 무엇이어야 하는지]에 대해 다른 관점을 가질 수 있다. 커리큘럼 이론은 커리큘럼의 기본 목적에 따라 커리큘럼 설계에 대한 다양한 접근 방식을 알려준다.

• 내용으로서의 교육과정(또는 syllabus),
• 제품으로서의 교육과정,
• 과정으로서의 교육과정
• 실천으로서의 교육과정. 

Stakeholders may also have different perspectives on what a curriculum should be. Curriculum theory informs different approaches to curriculum design, based on the underlying purpose of the curriculum:

• curriculum-as-content (or -syllabus),
• curriculum-as-product,
• curriculum-as-process and
• curriculum-as-praxis.28 

• [내용으로서의 교육과정 관점]은,교사 중심이며, 교육과정을 학습된 과목으로 본다. 
  
• [제품으로서의 커리큘럼 관점]은, 랄프 타일러(Ralph Tyler)에서 유래하며, 커리큘럼이 무엇을 생산하고자 하는지에 초점을 맞춘다. 의학 교육에서 이것은 효과적인 의사가 될 것이다. 이러한 관점은 거의 틀림없이 성과 또는 역량 기반 의료 커리큘럼과 가장 밀접하게 일치한다.
• [과정으로서의 교육과정 관점]은, Stenhouse에서 유래하며, 학습과 상호작용의 기회를 포함하여 교육과정 중 학습 과정에 관한 것이다. 그것은 학습자 개발에 초점을 맞추고 따라서 학습자 중심이다. 
• The curriculum-as-content perspective is teacher-centric and sees curriculum as the taught subject matter.
• The curriculum-as-product perspective, attributed to Ralph Tyler,29 focuses on what the curriculum aims to produce. In medical education this will be effective doctors. This perspective arguably aligns most closely with the outcomes- or competency-based medical curriculum.30 
• The curriculum-as-process perspective, attributed to Stenhouse,31 is concerned with the learning process during the curriculum, including opportunities for learning and interaction. It focuses on learner development and is therefore learner-centred.32 

현대의학 커리큘럼은 효과적인 의사의 '제품'을 목표로 할 수도 있지만, 그들은 또한 학습 과정에 관심을 가지고 있으며, 그들의 의사들이 자기 주도적이고, 자기 통제적이며, 성찰적인 의사로 발전하기를 바란다. 여기에 커리큘럼의 질을 평가하는 데 파급력을 가지는 [긴장이 존재]한다. 이해당사자들이 커리큘럼의 목적에 대해 다른 관점을 가질 수 있기 때문이다. 또한 의료 커리큘럼이 [여러 표준 세트(예: 교육 및 전문 규제 기관)]를 충족해야 하는 경우, 특정 우선순위 또는 커리큘럼 철학이 다른 표준 세트보다 한 세트의 표준과 더 잘 일치할 수 있다. 영국에서, 학부의학교육에 있어서 이해관계자 우선 순위가 서로 다른 예는

• [환자 안전에 대한 궁극적인 초점]이 [고부담 의사 면허 시험으로의 이행]을 주도했다는 것이다.
• 반면, [고등교육의 일반적인 움직임]은 지속 가능한 평가를 향하고 있다(자기평가, 동료평가, 성찰, 포트폴리오 및 학습 활동 내 임베딩 평가를 포함하여 평생 학습을 용이하게 하는 평가).

Modern medical curricula may aim for the ‘product’ of an effective doctor, but they are also concerned with the process of learning, wanting their doctors to develop into self-directed, self-regulated, reflective practitioners. Herein lie tensions that can spill over into evaluating the quality of the curriculum, if stakeholders have different perspectives on the purpose of the curriculum. Also, where a medical curriculum must meet multiple sets of standards (e.g. those of educational and professional regulators), specific priorities or curriculum philosophies may align better with one set of standards than the other. An example of differing stakeholder priorities impacting UG medicine in the United Kingdom is that

• an ultimate focus on patient safety has driven the implementation of a high-stakes medical licensing assessment33;
• whereas the general move in higher education is towards sustainable assessment (that which facilitates life-long-learning, including self-assessment, peer- assessment, reflection, portfolios and embedding assessment within the learning activities).34, 35

[실천으로서의 교육과정 관점]에서는 '가치 있는' 것이 무엇이며, 이를 개선하기 위해 교육과정 내에서 변화가 필요한지에 초점을 맞추고 있다. 이는 다음에 부합한다.

• [환자 중심의 의학교육]을 강조하는 것,
• [교육과정의 포용성]을 강조하는 것,
• [잠재 교육과정(교육경험의 일부이지만 정식 교육과정의 일부가 아닌 학습, 잠재적으로 후자와 상충되는 학습)에 의해 훼손되지 않은 것]을 강조하는 것

From the curriculum-as-praxis perspective, attributed to Grundy, there is a focus on what is ‘valuable’, and changes needed to enhance this within the curriculum.28 This is consistent

• with a patient-centred focus in medical education,
• with ensuring that the curriculum is inclusive, and
• with ensuring it is not undermined by the hidden curriculum (learning that is part of the educational experience but not part of the formal curriculum, and potentially conflicting with the latter).

교육 과정의 질을 판단하는 사람들이 무엇을 중시하고 우선시하는가에 따라, 이해 당사자들은 교육 과정이 중심이 되어야 하는 곳(예: 학습자 또는 환자)에 대해 합법적으로 다른 관점을 가질 수 있다. Damodaran은 [학습자 중심성]의 개념이 의료교육에서 지나치게 우세해졌으며, 의료교육의 '최적 중심성optimal centeredness'은 의료교육의 다양한 단계마다 정당한 이유로 달라질 수 있다고 주장한다. 

Depending on what is valued and prioritised by those who judge curricular quality, and their conceptualisation of curriculum, stakeholders may legitimately hold different perspectives on where the curriculum should be centred (e.g. on the learner or the patient). Damodaran suggests the concept of learner-centredness has become overly dominant in medical education and that the ‘optimal centredness’ of the medical curriculum may legitimately vary at different phases of medical education.36

권장 사항: 커리큘럼 팀은 커리큘럼에서 무엇이 가치 있는지, 그 [목적 및 중심성]에 대해 논의할 기회를 만들어야 합니다. 커리큘럼의 통합 평가에서 특정 우선순위나 관점이 데이터 수집의 특정 에피소드를 형성할 수 있지만, 여러 출처의 데이터를 통합하고 반영해야 하는 커리큘럼 팀의 감독이 있어야 한다.
Recommendations: curriculum teams should create opportunities for discussion about what is valued in the curriculum, its purpose and its centredness. In an integrated evaluation of the curriculum,23 although specific priorities or perspectives may shape a particular episode of data collection, there should be oversight by the curriculum team, who should synthesise and reflect on data from multiple sources.

7 품질기준에 대한  고려사항
7 CONSIDERATIONS ABOUT QUALITY STANDARDS

[퀄리티 지표]에는 커리큘럼 학습 목표, 학습 결과 및/또는 역량 제공이 포함된다. 이는 모든 이해관계자에게 커리큘럼에 포함되어야 하는 것을 명시하고 커리큘럼(및 이해관계자)이 판단될 수 있는 기준을 제공하기 때문이다. '학습 목표'와 '학습 결과'라는 용어는 때때로 상호 교환적으로 사용됩니다.

• 그러나 [학습 성과]는 의도적으로 [학습자 중심적]이며, 학습자가 관련 지식, 기술 및 태도의 성취를 어떻게 보여줄 수 있는지를 명시하고, [학습의 폭과 깊이]에 대한 가이드를 제공합니다.
  • 예를 들어, '자원의 사용과 우선 순위를 지속적으로 개선하는 방법을 모색하는 것을 포함하여 실무(예: 계획, 실행, 연구, 행동 또는 행동 연구)를 개선하기 위한 품질 개선 원칙과 방법을 제시한다.' 
• 대신, [학습 목표]는 [학습해야 할 자료]를 강조하지만, 종종 학습의 폭이나 깊이를 나타내지 않는다.
  • 예를 들어, '품질 개선의 원칙과 방법을 이해한다'. 
• [역량]은 [특정 수준의 성과에 대한 성과를 특정 표준에 따라 명시]한다. 
  • 예를 들어, '질적 개선의 과학을 환자 치료 시스템 개선에 기여하기 위해 적용'한다. 

An indicator of quality includes the provision of curricular learning objectives, learning outcomes and/or competencies,37 because these specify to all stakeholders what should be included in the curriculum and provide standards against which the curriculum (and stakeholders) may be judged. The terms ‘learning objectives’ and ‘learning outcomes’ are sometimes used interchangeably.

• However, learning outcomes are intentionally learner-centric, specifying how the learner will be able to demonstrate achievement of relevant knowledge, skills and attitudes, providing a guide as to breadth and depth of learning:
  • for example, ‘apply the principles and methods of quality improvement to improve practice (for example, plan, do, study, act or action research), including seeking ways to continually improve the use and prioritisation of resources’.38 
• Instead, learning objectives emphasise the material to be learned, but often without indication of breadth or depth of learning;
  • for example, ‘understand the principles and methods of quality improvement’.39 
• Competencies specify achievement at a particular level of performance, according to specific standards;
  • for example, ‘apply the science of quality improvement to contribute to improving systems of patient care’.40

현대의학 커리큘럼은 일반적으로 결과 기반 또는 역량 기반이라고 설명한다.30 QI는 다음에 초점을 맞출 수 있습니다

• 성과 또는 역량이 적절한지 
• 학습 활동과 학습 환경이 학습자가 성과 또는 역량에 부합할 수 있도록 하는지
  
• 평가 시스템이 학교, 대학 또는 기타 기관이 학습자가 지정된 성과 또는 역량의 달성정도를 결정할 수 있도록 하는지

Modern medical curricula generally describe themselves as outcome-based or competency-based.30 QI might focus on ensuring

• that the outcomes or competencies are appropriate;
• that learning activities and the learning environment will allow learners to meet the outcomes or competencies; and
• that assessment systems will allow schools, colleges or other institutions to determine the extent to which learners have achieved the specified outcomes or competencies.

[한 가지 긴장]은 규제 기관이 발표한 결과/역량이 종종 광범위하여, 지역적 해석을 위한 상당한 여지를 남겨둔다는 것이다. 이는 가용 자원과 기타 상황별 문제를 고려할 수 있는 커리큘럼 팀에게 유연성을 제공하지만, 의료 커리큘럼의 퀄리티의 차이가 커지는 원인 중 하나일 것으로 추정된다. [또 다른 긴장]은 의료 교육과정이 다른 기준들을 준수해야 할 수도 있다는 것이다. 예를 들어, 영국에서 UG 의료 커리큘럼은

• 위임된 국가 정부 및/또는 고등 교육 부문의 규제 기관(the Office for Students in England)이 정한 표준뿐만 아니라
• 전문 규제 기관이 정한 표준(Outcomes for Graduates specified by the GMC)에도 부합해야 한다.

이들 각 기관은 UG(의료) 커리큘럼의 목적에 대해 서로 다른 견해를 가지고 있을 가능성이 높으며, 과제는 [완전히 호환되지 않을 수 있는 서로 다른 표준 세트]를 충족하는 의료 커리큘럼을 제공하는 것이다.
One tension is that outcomes/competencies published by regulators are often necessarily broad, leaving considerable room for local interpretation. Although this affords flexibility to curriculum teams, who can take into consideration available resources and other contextual issues, it presumably is one source of varying quality in medical curricula. A further tension is that a medical curriculum may need to conform to different sets of standards. For example, in the United Kingdom, the UG medical curriculum must conform

• not only to standards set by the devolved national governments and/or regulators of the higher education sector (e.g. the Office for Students in England, https://www.officeforstudents.org.uk/)
• but also to standards set by the professional regulator (Outcomes for Graduates specified by the GMC38).

These respective organisations likely hold different views on the purpose of an UG (medical) curriculum, and the challenge is to provide a medical curriculum that meets different sets of standards, which may not be fully compatible.

[세 번째 긴장]은 [지역적으로 해석]될 수는 있지만, [모든 맥락에서 최소한의 숙련도를 보장하는 퀄리티 표준]의 필요성 사이에 존재한다. 일부 국가는 다른 맥락에서 표준을 그대로 채택하거나 변형하여 채택했다. 예를 들어, [대만 의학 인증 위원회(TMAC)]는 미국과 캐나다의 의대를 인증하는 의학 교육 연락 위원회(LCME)의 표준을 기반으로 2013년 표준을 개발했습니다. 다른 의료 교육 맥락에서 표준을 가져오는 것은 지역 문화 또는 해당 인구의 필요성 또는 우선순위를 충분히 고려하지 않을 수 있다. [장기적인 WFME 프로젝트]는 의료 교육의 다양한 단계에 대한 Global Standards for Quality Improvement of Medical Education 을 정의하는 것이었다. 이 기관의 웹사이트에는 각 단계의 권장 표준에 대한 링크가 있으며, 가장 최근의 것은 기초 의학 교육 표준의 2020년 버전이다. 그러나 QI에 대한 WFME 표준의 실제 적용에 대한 경험적 연구의 체계적인 검토에서, 저자들은 이러한 표준이 '서구적' 맥락을 지향하고 있을 수 있으며, WFME에서도 [지역적 맥락에 맞게 가이드를 조정하여 사용]할 것을 권장한다는 것을 인정했다.

A third tension exists between the need for quality standards that can be interpreted locally yet ensure a minimal proficiency across all contexts. Some countries have adopted or adapted standards from other contexts; for example, the Taiwan Medical Accreditation Council (TMAC) developed their 2013 standards based on those of the Liaison Committee of Medical Education (LCME), 41 which accredits medical schools in the United States and Canada. Importing standards from another medical education context may not sufficiently take account of local culture or the needs or priorities of that population. A long-term WFME project has been to define Global Standards for Quality Improvement of Medical Education for various phases of medical education. The organisation's website (https://wfme.org/standards/) has links to the recommended standards for each phase, the most recent of which is a 2020 version of the standards for basic medical education.42 However, in a systematic review of empirical research into the practical application of the WFME standards for QI,43 the authors acknowledged that these standards may be oriented towards ‘western’ contexts and that the WFME itself recommends they be used as a guide, adapted for local contexts.

최근 이 분야에 추가된 것은 [유럽 의학 교육 협회(AMEE)가 제공하는 ASPIRE 상의 기준]과 같이 전문 회원 협회가 정한 품질 표준이다. 이러한 상은 [품질을 인정하는 것]의 동의어인 '우수성 인정'을 목적으로 한다.
More recent additions to the field are quality standards set by professional membership associations, such as the criteria for ASPIRE awards offered by the Association for Medical Education in Europe (AMEE). These awards aim to ‘recognise excellence’ (https://www.aspire-to-excellence.org/), which is a synonym for recognising quality.

권장 사항: 커리큘럼 팀은 적절한 기준에 따라 커리큘럼을 평가해야 합니다. 의료 커리큘럼이 여러 표준 세트를 준수하는 경우, 커리큘럼 팀은 평가 활동에 어떤 표준을 사용하고 있는지 명시하고 적절한 조치가 사용되는지 확인해야 한다.
Recommendations: curriculum teams must evaluate curricula against appropriate standards. Where medical curricula conform to multiple sets of standards, curriculum teams should be explicit about which standards are being used in any evaluation activity and ensure that appropriate measures are used.

8 QI에서의 방법론: 방법, 모델, 이론
8 METHODOLOGY IN QI: METHODS, MODELS, THEORY

[QI에 대한 적절한 방법론]에 대한 관점은 커리큘럼 팀이 QI를 [외부 QA를 위한 '드라이 런']으로 보는지, 아니면 [퀄리티 문화를 보장하는 수단]으로 보는지에 따라 영향을 받을 수 있습니다. 구체적인 쟁점으로는 학습자 조사의 우위성, 윤리적 평가, 의료 교육과정의 평가가 모델이나 이론의 적용에 의해 지시되는 범위 등이 있다.

Perspectives about appropriate methodology for QI will likely be influenced by whether curriculum teams see QI as a ‘dry run’ for external QA or as means of ensuring a quality culture. Specific issues include the dominance of learner surveys, ethical evaluation, and the extent to which the evaluation of medical curricula is directed by application of models or theories.

8.1 평가방법
8.1 Methods for evaluation

현대 학습자 중심 커리큘럼에서, [지속적인 QI]는 종종 기관 또는 국가 설문 조사를 사용하여 학습자 경험에 대한 정기적인 평가와 어느 정도 동의어가 되었다. 고등교육 분야에서는 [시장화 증가, 정부의 조사 데이터 사용, 그리고 학생들의 '소비자적 태도']가 조사 결과에 대한 '집착'으로 이어졌다. 전문 규제 기관은 학술 의학과의 긴밀한 관계를 가지며, 의료 교육의 연속성에 큰 영향을 미치는 전문 협회(예: AMEE)는 학계에 뿌리를 두고 있으므로, 학습자 설문조사의 사용이 의료 교육의 PG 및 CPD 단계로 확장되었다는 것은 놀라운 일이 아니다. 학습자 조사의 예로는 영국의 전국 학생 조사(NSS)가 있다. 
그리고 GMC의 PG 의료 훈련생과 트레이너를 위한 국가 훈련 조사(NTS)도 있다. 

In modern learner-centred curricula, continuous QI has become to some extent synonymous with regular evaluation of the learner experience, often using institutional or national surveys. In the higher education sector, increased marketisation, government use of survey data and possibly ‘consumerist attitudes’ of students have led to an ‘obsession’ with survey results.44 Professional regulators have close links with academic medicine, and professional associations with a major influence on the continuum of medical education (e.g. AMEE) have their roots in academia, so it is unsurprising that the use of learner surveys has extended into PG and CPD phases of medical education. Examples of learner surveys include the National Student Survey (NSS) in the United Kingdom, administered to all undergraduates in the final year of their studies45; and the GMC's National Training Survey (NTS) for PG medical trainees and trainers.46 

규제 기구는 (주제 영역, 분야 또는 전문성, 심지어 기관 간 비교를 허용하는 일반적인 Likert 유형 진술이 수반된) 정량적 도구를 선호할 수 있다. 그러나 이러한 진술은 이해관계자가 자신의 맥락에서 [해석하기 어렵거나], 학습자, 커리큘럼 팀 또는 기타 이해관계자에게 [가장 흥미롭고 중요한 문제를 다루지 않을 수] 있다. 아마도 이것이 네덜란드의 감사 조사 연구에서 교육 지도자들이 '내러티브한, 적시 피드백'에 대한 선호를 표명한 이유일 것이다. 후자는 코스/프로그램이 실행되는 동안 학습자가 커리큘럼 팀으로 보내는 피드백입니다. 잠재적으로, 그러한 평가는 학습자가 그들의 피드백에 대응하여 시행되고 있는 소규모 또는 예비적인 변화라도 볼 수 있다면 '루프 폐쇄'에 도움이 된다.

Regulators may favour such quantitative instruments, with generic Likert-type statements that allow for comparisons across subject areas, disciplines or specialities, even institutions, but such statements may be difficult for stakeholders to interpret in their context or may not address issues of greatest interest or importance to learners, curriculum teams or other stakeholders. Perhaps this is why educational leaders in a Dutch appreciative inquiry study expressed a preference for ‘narrative and just-in-time feedback’.24 The latter is feedback from learners to curriculum teams whilst the course/programme is running; potentially, such evaluation helps to ‘close the loop’ if learners can see even small-scale or preliminary changes being implemented in response to their feedback.

학습자 설문조사에서, [좋은 응답률을 달성하기 위한 방법론적 요구 사항]과 [윤리적 고려 사항] 사이에 긴장이 존재한다. UKUG의 맥락에서, 기관 KPI에는 NSS를 완료하는 특정 학과의 학생 비율이 들어있다. UG 학생 참여가 의무화될 수 없기 때문에, 학생들의 반응을 장려하고 교수진이 설문 조사를 촉진하도록 장려하는 것이 실제 상황이다. 아이러니하게도 [윤리적 교육 연구]에서는 인센티브를 주는 것이 권장되지 않음에도, NSS 설문조사 완료를 위해서 인센티브가 제공되기도 한다. 실용적인 차원에서, '피드백을 쫓는 것'은 학생들의 경험을 향상시키는데 직접적으로 도움이 될 수 있는 활동으로부터 시간이 걸린다. 영국의 PG 의료 훈련생과 트레이너의 경우, GMC의 온라인 가이드에는 '누가 이 설문을 작성해야 하는가?'이라는 제목의 섹션이 있기 때문에, NTS 완료에 대한 기대를 명확히 한다. 그럼에도 불구하고, 2021년에 32%, 2022년에 34%의 트레이너만이 응답했기 때문에 적어도 트레이너들에게 낮은 응답률은 여전히 문제로 남아 있다. 2021년 데이터 수집 당시 진행 중인 팬데믹과 비코로나 사례에 대한 후속 '캐치업'을 고려할 때 이는 놀라운 일이 아닐 수 있지만, 비응답 편향은 우려해야 한다.
With learner surveys, a tension exists between the methodological requirement to achieve good response rates, and ethical considerations. In the UK UG context, institutional key performance indicators include the percentage of students in a specific discipline that complete the NSS. Because UG student participation cannot be mandated, there is a veritable industry around encouraging students to respond and encouraging faculty to promote the surveys. It seems ironic that incentives are discouraged in ethical education research47 but sometimes offered for completion of the NSS survey. On a practical level, ‘chasing feedback’ takes time from activities that could directly feed into enhancing the student experience. For PG medical trainees and trainers in the United Kingdom, the language in the GMC's online guide to completion of the NTS makes expectations clear, because there is a section entitled ‘Who needs [my emphasis] to complete the survey?’.48 Nonetheless, low response rates remain an issue, at least for trainers, because just 32% of trainers responded in 2021 and 34% in 2022.49, 50 This may not be surprising, given the ongoing pandemic at the time of 2021 data collection, and the subsequent ‘catch-up’ on non-Covid cases, but non-response bias must be of concern.

학습자 설문조사가 여전히 지배적이지만, 점점 더 많은 자유 서술형 응답을 요구하는데, 이는 만족도 점수보다 커리큘럼 팀에 더 도움이 될 수 있다. 그러나 [이해당사자의 인식]을 진정으로 이해하고, 퀄리티를 높이기 위해서는, 커리큘럼 팀은 다음을 해야 한다.

• 학습자에게 더 매력적일 수 있는 추가 형태의 데이터 수집을 활용한다.
  
• 문제를 더 깊이 탐구할 수 있도록 허용한다.
  
• 학습자에 대한 적시 응답을 촉진한다.
  
• 다른 이해관계자에게 발언권을 준다.

또한, 커리큘럼 품질에 대한 '전체적인 개요'를 제공하기 위해 '다양한 도구와 절차의 삼각 측량'이 권장된다.
Although learner surveys still hold sway, they increasingly ask for free text responses, which can be more helpful to curriculum teams than per cent satisfaction scores. However, to genuinely understand stakeholder perceptions and enhance quality, curriculum teams should

• utilise additional forms of data collection, which may be more engaging for learners,
• allow for a deeper exploration of issues,
• facilitate just-in-time responses to learners, and/or
• give other stakeholders a voice.

Moreover, ‘triangulation of different instruments and procedures’ is advocated, to give ‘a holistic overview’ of curriculum quality.23

8.2 평가 모델
8.2 Evaluation models

[커리큘럼 평가 모델]의 적용은 [지속적인 QI]를 위하여 [데이터 수집, 방향성 제공, 매개 변수 정의, 체계적인 접근 촉진, '부분들의 관계' 지정 등]을 가이드할 수 있다. Coles와 Grant는 다음의 데이터를 삼각측량해야 하는 모델을 제안했다. 

• 의도된 커리큘럼('서류상' 커리큘럼),
• 전달된 커리큘럼('실행 된')
• 경험된 커리큘럼

Application of a curriculum evaluation model may guide the collection of data for continuous QI, providing direction, defining parameters, facilitating a systematic approach, and specifying ‘a relationship of parts’.51 Coles and Grant proposed a model requiring triangulation of data from

• the intended curriculum (the curriculum ‘on paper’),
• the delivered curriculum (‘in action’) and
• the curriculum experienced.25 

이것은 지역 사회 기반 의료 커리큘럼의 평가에 사용되어 왔다. 앤더슨 외 연구진은 커리큘럼에서 서로 다른 이해당사자들의 복잡성을 인식하기 위해 두 가지 모델을 사용하여 전문가 간 커리큘럼을 평가했다.

• Biggs의 3P 모델([기존 요인], [교습 및 학습] 프로세스 및 [교습 및 학습] 제품]을 제시) 및 
  
• 커크패트릭의 레벨(학습자 반응, 학습자 성과, 학습자 행동, 학습자 영향 [임상 결과]). 

Moreau56은 신세계 커크패트릭 모델에 의해 제공되는 가능성을 강조하지만 커크패트릭의 유형학은 고등 및 의학 교육 문헌에서 비판을 받아왔다. 

This has been used in evaluation of a community-based medical curriculum.52 In a bid to recognise the complexity of different stakeholders in the curriculum, Anderson et al.53 evaluated an interprofessional curriculum by drawing on two models:

• Biggs' 3P Model (presage [pre-existing factors], process [of teaching and learning], and product [of teaching and learning]),54 and
• Kirkpatrick's levels55 (learner reaction, learner performance, learner behaviour, learner impact [clinical outcomes]).

Kirkpatrick's typology has been criticised in the higher and medical education literature, although Moreau56 highlights the possibilities afforded by the New World Kirkpatrick Model.57

Stufflebeam은 '목표 지향, 테스트… 실험 설계'와 '책임성'에 대한 대안으로서 의사 결정과 개선을 지향하는 CIPP 평가 모델을 개발했습니다. CIPP는 4가지 다른 평가 초점을 나타내는 컨텍스트 입력 프로세스 제품을 나타냅니다. CIPP를 커리큘럼 평가에 적용하면

• [상황 평가]는 니즈, 문제 및 개선 기회를 식별하기 위해 커리큘럼의 한 측면에 대한 데이터 수집과 같다. 
  
• [투입 평가]는 가능한 해결책(예: 문헌, 전문가 및 혁신적 아이디어)을 탐색한다. 
  
• 그리고 가능한 '해결 전략'의 구현은 각각 전략의 지속적인 구현과 전략 구현의 결과에 초점을 맞춘 [프로세스 평가와 산출 평가]로 이어질 것이다.

Stufflebeam은 '무엇을 해야 하는가'를 결정하는 것으로 그의 모델을 요약한다. 어떻게 해야 할까요? 지금 하고 있는 거야? 성공하고 있는가?' CIPP 모델은 널리 적용되었다. 예를 들어, 간호 커리큘럼의 한 측면(즉, 말기 의료에 대한 교육)과 관련 솔루션(교원 개입)을 평가하도록 조정되었다. 한편, 의료교육에서 사회적 책임성을 평가하기 위한 전주곡으로 사회적 책임 프레임워크를 분석하는 데 사용되어 왔다. 
As an alternative to models ‘oriented to objectives, testing … experimental design’ and ‘accountability’, Stufflebeam developed the CIPP evaluation model, oriented towards decision making and improvement.58 CIPP denotes context-input-process-product, representing four different foci of evaluation. Applying CIPP to curriculum evaluation,

• context evaluations would equate to data collection on (an aspect of) the curriculum, to discern needs, problems and opportunities for improvement;
• input evaluation would search for possible solutions (e.g. from the literature, experts and innovative ideas); and
• implementation of a possible ‘solution strategy’ would lead to process and product evaluations, respectively focused on ongoing implementation of the strategy, and the outcomes of implementing the strategy.

Elsewhere Stufflebeam summarises his model as determining ‘What needs to be done? How should it be done? Is it being done? Is it succeeding?’.59 The CIPP model has been applied widely. For example, it was adapted to evaluate one aspect of a nursing curriculum (i.e. education on end-of-life care) and a relevant solution (teaching intervention)60; on the other hand, it has been used to analyse social accountability frameworks as a prelude to evaluating social accountability in medical education.61

8.3 이론에 근거한 평가
8.3 Theory-informed evaluation

[특정 이론]과 일치하는 평가 모델을 활용하여 지속적인 QI에 대한 이론 정보 접근 방식을 통해 의료 커리큘럼의 품질에 대한 더 큰 이해와 임베딩을 달성할 수 있다. 예를 들어,

• Coles와 Grant의 모델은 [커리큘럼 이론]의 기초를 가지고 있다. 
  
• [퀄리티 문화 이론]의 적용은 무엇이 품질 문화에 기여하는지에 대한 교육 지도자들의 관점에 대한 감사한 조사를 안내했다.
• Anderson 등은 Biggs의 3P 모델과 Kirkpatrick의 수준을 사용한 것이 [복잡성 이론]과 일치한다고 가정했다.
• Jorm과 Roberts는 기존 모델이 선형이고 의학 학습자의 고유한 경험을 포착하지 못한다는 것을 기반으로 새로운 평가 모델을 개발하기 위해 복잡도 이론을 사용할 것을 지지했다. [복잡성 이론]이 알려주는 평가 원칙에는 '집단적 감각 형성'과 다중 방법 참여 데이터 수집, '대학, 보건 시스템, 사회'의 영향 고려, 장기 및 임상 결과 측정 등이 있다. 

Greater understanding about, and embedding of, quality in medical curricula may be achieved through a theory-informed approach to continuous QI, utilising evaluation models aligned with specific theories.53 For example,

• Coles and Grant's model has its foundations in Curriculum Theory25, 28;
• whilst application of the Quality Culture Theory guided appreciative enquiry into educational leaders' perspectives of what contributes to a quality culture.24 
• Anderson et al. posited that their use of Biggs' 3P model and Kirkpatrick's levels was consistent with Complexity Theory.53 
• Jorm and Roberts have advocated using Complexity Theory to develop new evaluation models, on the basis that existing models are linear and fail to capture the unique experiences of medical learners.62 Principles for evaluation informed by Complexity Theory include
  • ‘collective sensemaking’,
  • multi-method participatory data collection,
  • taking account of influences from the ‘university, health system, society’, and
  • measurement of long-term and clinical outcomes.62

권고사항: 의료 교육 연구의 방법론적 교훈을 적용하고, 커리큘럼 팀은 데이터 수집 방법을 특정 평가 질문/초점에 맞춰야 align 한다. [여러 다른 이해관계자]로부터 데이터를 수집하기 위해 [여러 가지 방법]을 사용한다. 적절한 [평가 모델과 이론]을 사용하여 평가를 안내하고 조직합니다.

Recommendations: applying methodological lessons from medical education research, curriculum teams should align data collection methods to specific evaluation questions/foci; use multiple methods for data collection, from different stakeholders; and use appropriate evaluation models and theory to guide and organise evaluation.

9 지속적인 QI의 소유 및 참여
9 OWNERSHIP OF AND ENGAGEMENT WITH CONTINUOUS QI

양질의 커리큘럼을 보장하기 위한 [제도적 접근방식]은 이전 국가 학습자 설문조사의 결과에 대응하거나, 다음 국가 학습자 설문조사가 시행되기 전에 문제를 예측하기 위한 내부 설문조사를 설계하고 구현하는 데 초점을 맞출 수 있다. 기관은 분야 또는 전문 분야에 걸쳐 광범위한 관심사를 해결하기 위해 개입과 정책을 제정할 수 있다. 이해관계자 평가에 대한 이러한 '탑-다운'식의 일반적 응답은 QI의 소유권을 주요 이해관계자로부터 빼앗습니다. 형성적, 발달적 평가를 강조하고 QI와의 참여를 장려함으로써, 우리는 퀄리티 문화를 육성하고, 의료 교육과정의 질에 대한 주인의식을 높일 수 있을 것이다. 하지만 어떻게요?
Institutional approaches to ensuring quality curricula may focus on responding to outcomes from previous national learner surveys, or on designing and implementing in-house surveys to anticipate issues before the next national learner survey is administered. Institutions may enact interventions and policies to address issues of broad concern across disciplines or specialties. This ‘top-down’ generic response to stakeholder evaluation takes ownership of QI away from key stakeholders.23 By emphasising formative, developmental evaluation and encouraging engagement with QI, we may foster a quality culture and increase the sense of ownership in the quality of the medical curriculum.23 But how?

[학습자]에 대해서 지속적인 QI의 [적극적인 참여자로서의 가치]를 옹호하고 입증하는 문헌이 증가하고 있다. 단순히 설문 응답자로서가 아니라 설계, 데이터 수집 및 평가 해석에 적극적으로 참여하는 것이다. 클레멘틱은 학생들이 학습, 교육, 평가, 환경에 대한 직접적인 경험을 통해 QI와 관련된 자본을 가지고 있다고 주장한다. 학생은 다음과 같은 것을 통해 [지속적 QI]에 크게 기여할 수 있다. 63 

• 경험에 대한 데이터를 제공
• 거버넌스 구조에 참여
• 양질의 교육을 위한 직접적인 옹호자 역할

There is a growing body of literature advocating and demonstrating the value of learners as active participants in continuous QI; not simply as survey respondents, but in the design, data collection and interpretation of evaluations. Klemencic argues that students possess capital relevant to QI, through their direct experience of learning, teaching, assessment and environment.63 

• By providing data on their experiences, but also
• by participating in governance structures, and
• by acting as direct advocates for a quality education,

...they can contribute significantly to continuous QI.63 

기관 차원에서는 교육을 받은 학생 구성원이 QI 데이터를 생성하고 분석할 수 있는 [학생 평가 위원회]를 설립하여 거버넌스 구조에 대한 학생 참여를 촉진할 수 있습니다. 교수진은 성인 학습 이론, 교수 및 학습 전략, 피드백에 대한 모범 사례에 대한 지식을 공유하면서 멘토와 파트너 역할을 할 수 있습니다. 하버드 의대에서는 QI에 대한 학생 참여가 확대되어 학생 워킹그룹이 '교육과정의 다양성 제고'와 같은 정책 이슈나 우선순위를 다루는 프로젝트를 수행하게 되었다. Fetterman 등은 [권한 부여 평가 이론]을 적용하여 의대생, 교수진 및 관리자를 커리큘럼 평가에 협력자로 참여시켰다. 주요 특징으로는 '증거 문화 개발'과 '학습자 커뮤니티 구축'이 있으며, 여기서 '학습자'라는 표현은 교직원과 행정관에게도 적용된다.

Institutions can facilitate student participation in governance structures by establishing student evaluation committees whose members, with relevant training, can generate and analyse QI data.64 Faculty can act as mentors and partners, sharing knowledge about adult learning theories, teaching and learning strategies, and best practice in feedback.65 At Harvard Medical School, student participation in QI has been extended such that student working groups undertake projects to address policy issues or priorities such as ‘enhancing diversity in the curriculum’.65 Fetterman et al. applied the theory of Empowerment Evaluation to involve medical students, faculty and administrators as collaborators in curriculum evaluation: key features included ‘developing a culture of evidence’ and ‘cultivating a community of learners’, where ‘learners’ also applied to faculty and administrators.66

[지속적 QI]는 (커리큘럼 팀의 감독 및 통합에 의해) 전체적이어야holistic 하지만, [개별 이해관계자 수준]에서 [기여적 QI 활동 또는 프로젝트]를 목표로 할 수 있습니다. 그 대상으로는,

• 특정 이해관계자 그룹의 요구를 식별하는 것(CIPP 모델의 상황) 
  
• 혁신적인 솔루션을 식별하는 것(입력), 
  
• 그런 다음 테스트 및 평가를 수행하는 것(프로세스 및 제품)

[교수 및 학습의 장학활동(SoTL)]에 대한 현재의 관심은 지속적인 QI에 교수진을 참여시킬 수 있는 기회를 제공한다. SOTL는 '탐구 결과를 공개함으로써 교수 관행을 발전시키는 학생 학습에 대한 체계적인 탐구'로 묘사되어 왔다. 그러나 SOTL 조사는 CIPP 모델별로 하나 또는 다른 평가 초점에 적합할 수 있다.
Although continuous QI should be holistic, with oversight and integration from the curriculum team,23 at the level of individual stakeholders, contributory QI activities or projects could be targeted towards

• identifying needs of a specific stakeholder group (‘context’ in the CIPP model58),
• identifying an innovative solution (input),
• then piloting and evaluating it (process and product).

Current interest in scholarship of teaching and learning (SoTL) presents an opportunity to engage faculty in continuous QI.67 SoTL has been described as ‘systematic inquiry into student learning which advances the practice of teaching by making inquiry findings public’,68 but SoTL inquiry could also be well-suited to one or other foci of evaluation, per the CIPP model.58

보다 일반적으로, 퀄리티에 대한 [사전 예방적 임베딩]은 커리큘럼 구성 요소나 자원을 개발하는 데 있어 목표가 되어야 한다. 예를 들어, Huser 등은 [교육과정의 공동창조 개념]을 적용하여 의대생들에게 교육과정을 위한 온라인 자원을 생산하도록 멘토링하였으며, 온라인 자료의 품질에 대한 틀을 적용하는 것이 중요하다고 강조했다.
More generally, proactive embedding of quality should be a target in developing any curricular component or resource. For example, applying the concept of co-creation of the curriculum,23, 69 Huser et al. mentored medical students to produce online resources for the curriculum,70 stressing the importance of applying a framework for quality in online materials.71

권장 사항: 커리큘럼 팀은 감독 및 통합을 제공해야 하지만, 개별 QI 활동과 (예: SoTL) 프로젝트가 전체 QI에 데이터를 기여하도록 장려해야 합니다. 품질은 커리큘럼 구성 요소/리소스를 개발할 때 품질 프레임워크를 적용하여 사전적proactively으로 포함시켜야 한다.
Recommendations: curriculum teams should provide oversight and integration, but encourage individual QI activities and (e.g. SoTL) projects to contribute data to holistic QI. Quality should be embedded proactively, by applying quality frameworks when developing curricular components/resources.

10 결론
10 CONCLUSIONS

특정 커리큘럼 맥락에서 [지속적 QI에 대한 투명성과 공유된 이해]를 달성하기 위해서는 담론이 필요하다. [지속적 QI]를 위해서는 다음이 필요하다. 

• 특정 평가 질문/초점에 맞춘 데이터 수집 방법
  
• 다양한 이해관계자로부터 데이터를 수집하기 위한 다양한 방법
• QI에 대한 프레임워크를 제공하기 위한 적절한 평가 모델 및 이론.

[퀄리티 문화 접근 방식]을 수용하면 이해 당사자들이 경험하는 주인의식이 높아질 수 있습니다. 이 메커니즘은 다음을 포함한다.

• QI에서 여러 이해 관계자가 협력할 수 있는 민주적-조직적 문화 조성 
  
• [전체적-지속적holistic continuous QI]에 기여하는 QI 활동과 (예: SoTL) 프로젝트에 이해당사자를 참여
  
• 커리큘럼 구성 요소 및 리소스의 (공동)창조 영역에 퀄리티를 사전 예방적으로 포함

Discourse is necessary to achieve transparency and a shared understanding of continuous QI in a particular curricular context. Continuous QI requires

• data collection methods aligned to specific evaluation questions/foci;
• multiple methods for data collection, from different stakeholders; and
• appropriate evaluation models and theory to provide a framework for QI.

Embracing a quality culture approach may increase the sense of ownership experienced by stakeholders. Mechanisms include

• creating democratic-collegiate cultures for multiple stakeholders to collaborate in QI;
• engaging stakeholders in QI activities and (e.g. SoTL) projects that contribute to holistic continuous QI; and
• proactively embedding quality in the (co-)creation of curriculum components and resources.

© 2022 The Author. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

온라인 의학교육에서 윤리적으로 가르치기: AMEE Guide No. 146 (Med Teach, 2022)
AMEE guide to ethical teaching in online medical education: AMEE Guide No. 146
Ken Mastersa , David Taylorb , Teresa Lodac and Anne Herrmann-Wernerd

코스 계획
Course planning

법률, 지침 및 정책
Laws, guides and policies

코스를 설계하기 전에 코스 설계자는 윤리적인 코스 설계를 보장하기 위해 수용되어야 하는 다양한 표준을 알고 있어야 합니다. 이것들은 위에 열거된 가장 명백한 윤리적 문제와 관련이 있을 것이다. 다소 느슨하게, 이러한 표준은 [법률, 디자인 가이드 및 기관 정책]의 세 가지 그룹으로 나눌 수 있다.
Before designing a course, course designers should be aware of a range of standards that need to be accommodated in order to ensure the ethical course design. These will relate to the most obvious ethical issues as listed above. Rather loosely, these standards can be divided into three groups: laws, design guides, and institutional policies.

법률
Laws

[관련 법]은 나라마다 다르므로, 모든 교사에게 적용되지 않을 수 있다. 그러나 의학교사가 이러한 법의 관할권 밖에 있는 경우에도 강좌를 설계할 때 유용한 지침이 될 수 있다. 표 1은 가장 관련성이 높은 법률의 목록을 보여줍니다.
The relevant laws differ from country to country, and so may not be applicable to all teachers. Even when the medical teacher falls outside the jurisdiction of these laws, however, they can be useful guides when designing courses. Table 1 gives a listing of some of the most pertinent laws.

In addition, some training is available through the Kansas Accessibility Resource Network (KASN) (free, with registration) (https://ksarn.org/free-training/) and extra tips from the University of Minnesota (https://accessibility.umn.edu/what-you-can-do/start-7-core-skills).

설계 가이드 및 루브릭
Design guides and rubrics

법률 외에도, 자신의 진로를 형성하는 데 도움을 줄 수 있는 몇 가지 [안내서와 루브릭]이 있다. 이들 중 대부분은 전반적인 과정 설계를 위해 설계되었지만, 대부분의 세부 사항은 자료의 접근성에 초점을 맞추고 있습니다. 특히 가치 있는 세 가지는 다음과 같다.
In addition to laws, there are several guides and rubrics that can be used to help shape one’s course. Most of these are designed for overall course design, but many of the specifics focus on the accessibility of materials. Three that will be of particular value are:

• 품질 문제(QM): (https://www.qualitymatters.org/. . . . . 이 사이트는 온라인 교육을 위한 매우 우수하고 포괄적인 도구 세트를 제공합니다. 최소한 고등 교육을 위한 그들의 루브릭(https://www.qualitymatters.org/qa-resources/rubric-standards/higher-ed-rubric. . . )은 개별 강사들이 자기 평가와 더 넓은 동료 평가를 위해 사용할 수 있다. 루브릭은 여행을 시작하는 사람에게는 부담스러울 수 있으므로 초보자는 천천히 진행하기를 원할 수 있습니다. ERT를 사용해 온 사람들에게는 QM 지침에 따라 귀하의 자료를 변환하는 것이 기본 윤리 기준을 충족하도록 하는 데 큰 도움이 될 것입니다(QM 사이트의 자료의 대부분은 무료가 아니며 저작권 제한).s가 존재하므로 사용자는 무엇을 사용할 수 있는지 알아야 한다).
  
• 앤스티 앤 왓슨의 루브릭(앤스티 앤 왓슨 2018)도 매우 유용하며 크리에이티브 커먼즈(CC BY-NC-SA 4.0) 라이센스를 통해 구입할 수 있다.
  
• QM 자료를 활용한 국가품질온라인학습표준(NSQ)(https://www.nsqol.org/. . . )도 심층 가이드를 제공한다.
• Quality Matters (QM): (https://www.qualitymatters.org/. . . . ). This site provides an extremely good and comprehensive set of tools for online education. At the very least, their rubric for higher education (https://www.qualitymatters.org/qa-resources/rubric-standards/higher-ed-rubric. . . . ) can be used by individual instructors for self-evaluation and for broader peer-evaluation. The rubric might be daunting for somebody starting on the journey, so novices may wish to progress slowly; for those who have been using ERT, conversion of your material according to QM guidelines will go a long way in ensuring that your course meets basic ethical standards (Much of the material on the QM site is not free, and copyright restrictions exist, so users should be aware of what may be used).
• Anstey and Watson’s rubric (Anstey and Watson 2018) is also very useful and is available through a Creative Commons (CC BY-NC-SA 4.0) licence.
• National Standards for Quality Online Learning (NSQ) (https://www.nsqol.org/. . . . ) which uses the QM material, also offers in-depth guides.

기타 표준 및 루브릭에 대한 논의는 (Martin et al. 2017)을 참조하십시오. 강사들이 루빅 기반 교육 설계에서 벗어나면서, 그들은 그들의 자료를 형식화formalize하고 또한 이러한 많은 루빅 뒤에 있는 원리들을 이해하기를 원할 수 있다. 이러한 경우 관련 이론에 익숙해지기 위한 유용한 출발점이 될 것이다.
For a discussion of other standards and rubrics, see (Martin et al. 2017). As instructors move away from rubric-based instructional design, they may wish to formalise their material, and also understand the principles behind many of these rubrics. For these, useful starting points for familiarising oneself with the pertinent theories would be (Clark and Mayer 2003; Sandars et al. 2015; Picciano 2021).

제도적 정책
Institutional policies

대부분의 기관은 데이터 보호, 개인 정보 보호, LMS의 구체적인 사용 등 전자 시스템의 올바른 사용을 다루는 정책을 가지고 있으며, 이러한 정책들을 교사와 학생 모두 잘 알고 있어야 해당 기관이 운영하지 않을 수 있다.
Most institutions have policies covering the correct use of their electronic systems, including data protection, privacy, and the specific usage of the LMS. It is necessary for both teachers and students to be aware of these so that they do not run afoul of the institution.

또한 개별 부서 및 과정에는 허용 가능한 행동에 대한 [추가 규칙]이 있을 수 있습니다. 모든 관련자들이 이것들을 인식하도록 하는 것이 중요하다. 각 부서는 교사와 학생들에게 알려야 하며, 커리큘럼 문서도 이를 참조하는 것이 좋을 것입니다(아래 약술). (학과에 이러한 사항이 없다면 윤리 교사가 이를 공식화하는 데 도움을 줄 수 있습니다.)
In addition, individual departments and courses may have extra rules regarding acceptable behaviour. It is important that all concerned are made aware of these. Departments should inform their teachers and students, and it would be a good idea for curriculum documents to refer to these also (as outlined below) (If departments do not have these, then the ethical teacher could take a hand in formulating them).

그러나 이 모든 것에서 [윤리적 행동에 대한 욕구와 현실적인 기대의 균형]을 맞추는 것도 중요하다. 대표적인 두 가지 예는 다음과 같다.
In all of these, however, it is also crucial to balance a desire for ethical behaviour with realistic expectations. Two typical examples are:

• 학생들이 다른 학생들로부터 투영된 용납할 수 없는 이미지에 노출되지 않도록 하는 것이 바람직하지만, 교사들은 우리가 온라인에서 가르칠 때, 우리는 학생들의 집에 있다는 것을 기억해야 한다. 결과적으로, 학생들이 그들의 삶의 측면의 이미지나 오디오를 의도치 않게 방송할 가능성이 있다. 그렇지 않으면 대면 교실에서 받아들일 수 없을 것이다. 이는 학생의 집에 있는 다른 사람들의 (고의적이거나 의도적이지 않은) 배경 간섭이나 단순한 잘못된 사건의 결과일 수 있습니다. 격한 반응보다는 교사와 기관의 이해심 있는 반응이 바람직할 것이다.
• While it is desirable to ensure that students are not exposed to unacceptable images projected from other students, teachers should remember that, when we teach online, we are in students’ homes. As a result, it is possible that students will unintentionally broadcast images or audio of aspects of their lives that would otherwise be unacceptable in a face-to-face classroom. This might be the result of (intentional or unintentional) background interference from other people in the student’s home or a simple ill-advised event. An understanding reaction from the teacher and institution, rather than a fierce response, would be preferable.
• [잘못된 생각ill-thought-out이나 광범위한 산업 소프트웨어 표준에 기반을 둔 제도적 온라인 행동 약관]은 교사와 학습자에게 심각한 결과를 초래할 수 있다. 예를 들어, [불쾌한 자료를 보내거나 받는 것]을 범죄로 만드는 것: 이것은 자동으로 LMS 과정 게시판이나 포럼에 게시된 메시지를 여는 것이 범죄라는 것을 의미한다. 따라서 범죄를 저지르는 것에 대한 유일한 확실한 예방 방법은 포럼에 게시된 내용을 절대 읽지 않는 것인데, 그렇게 되면 강좌의 교육적 가치를 즉시 떨어뜨립니다. 그런 정책이 존재한다면 이를 올바른 제도적 경로로 제기해 변화시키는 것이 현명할 것이다.
• Institutional online behaviour terms and conditions that are ill-thought-out, or based on broad industry software standards, can have serious consequences for teachers and learners. For example, making it an offence to send or receive offensive material: this automatically means that opening such a message posted into the LMS course bulletin boards or forums is an offence. The only sure prevention method against committing an offence, then, is to never read anything posted into the forums, which immediately lessens the educational value of the course. If such policies exist, it would be wise to raise this with the correct institutional channels, so that they may be changed.

기관 행정 및 지원 구조
Institutional administrative and support structures

대면교육에서는 개별 교사가 혼자 근무하는 경우가 많고, 주변에는 행정 및 기술 인력이 상주해 학생들의 눈에 띄지 않는 경우가 많다. 그러나 온라인 교육에서 [교육 매체]는 윤리적 의무를 따르는 [테크니컬 및 기타 직원들]에 의해 통제되는데, 이것이 늘 교사의 교육적 필요와 일치하지는 않는다. 결과적으로, 아래에서 논의되는 많은 항목은 개별 교사 및 심지어 부서의 통제를 벗어날 수 있으며, [소프트웨어 및 파일 서버의 원활한 작동]이 주된 관심사인 다른 사람들과 신중하게 협상해야 할 필요가 있을 수 있다.
In face-to-face education, individual teachers frequently work alone, and administrative and technical staff are present on the periphery, frequently unobserved by students. In online education, however, the very medium of instruction is controlled by technical and other staff who may be guided by ethical imperatives that do not always align themselves with the pedagogic needs of the teachers. As a result, many of the items discussed below may be beyond the control of individual teachers and even departments, and may need to be delicately negotiated with others who see their prime concern as the smooth-functioning of software and file servers.

충돌 가능한 영역은 다음과 같습니다.
Areas of possible conflict may include:

• 온라인 교육을 거의 받지 않은 교사와 학생들은 [끊임없이 변화하는 환경]에 적응하고 적응해야 한다.
  
• 접근성을 용이하게 하기 위해 [추가적인 비표준 소프트웨어 및 플러그인, 글꼴, 레이아웃을 사용하고자 하는 교사의 욕구]는 LMS 주제 및 템플릿에 반할 수 있다.
  
• 교원 및 학생에게 [자체 하드웨어 및 소프트웨어 기술]을 교수 및 학습에 사용하도록 요구하는 기관
  
• 온라인 환경에 적용되고 효과가 있을 것으로 예상되는 [대면 교육에 적합하도록 발전된 기관의 시간표, 과정 섹션 및 강의 규모]
  
• [필요한 지원을 하지 않으면서], 교원 및 학생에게 기관의 기준 준수 요구,
  
• 윤리적 교육 윤리적 요건과 상충될 수 있는 [기관 및 교사의 데이터 관행].
  
  
• Teachers and students who are largely untrained in online education having to adapt and adjust to an ever-changing environment;
• Teachers’ desire to use extra non-standard software and plugins, fonts, layouts in order to ease accessibility, but which may be contrary to LMS themes and templates;
• Institutions’ requiring teachers and students to use their own hardware and software technology for teaching and learning;
• Institutions’ time tables, course sections and class sizes that have evolved to suit face-to-face teaching imposed into an online environment and expected to work;
• Institutions’ demands for standards on teachers and students without supplying the necessary support, and
• Institutions’ and teachers’ data practices that may conflict with ethical educationally ethical requirements.

임상 교육에서 환자와 관련된 다른 문제가 발생하며, 이 가이드의 뒷부분에서 다룹니다.

In clinical teaching, other issues around patients arise, and are dealt with later in this Guide.

소셜 미디어 및 타사 소프트웨어
Social media and third-party software

온라인 의학 교육은 소셜 미디어와 제3자 소프트웨어 및 웹 사이트를 사용함으로써 향상될 수 있는데, 일부는 일반적으로 교육적인 것으로 간주되지 않을 수 있으며, 일부는 다른 관할 지역의 윤리 원칙에 따라 지도될 수 있다. 독점, 자유 또는 오픈 소스 여부에 관계없이 소프트웨어 개발자와 공급업체는 소프트웨어 사용에 대한 데이터를 수집하기를 원할 수 있으며, 이러한 활동의 구체적인 내용은 소프트웨어의 약관에 묻혀 있을 수 있습니다. 의학교사와 기관은 이러한 조건을 인지하고, 이러한 조건에 기초하여 소프트웨어 적합성에 대한 결정을 내리는 것이 필수적이다. 학생들에게 우려할 만한 부분이 있다면 학생들에게 이를 알려야 한다.
Online medical education can be enhanced by the use of social media and third-party software and websites, some of which may not normally be considered educational, and some may be guided by ethical principles from other jurisdictions. Whether proprietary, free or open-source, software developers and vendors may wish to gather data about the use of their software, and the specifics of these activities may lie buried in the software’s Terms and Conditions. It is imperative that the medical teacher and the institution be aware of these conditions, and make decisions about the software suitability, based upon those conditions. If there are areas that may be of concern to students, the students should be made aware of this.

객관식 시험 자료의 사후 분석 - 고부담 시험 모니터링 및 개선: AMEE Guide No. 66 (Med Teach, 2012)
Post-examination interpretation of objective test data: Monitoring and improving the quality of high-stakes examinations: AMEE Guide No. 66 
MOHSEN TAVAKOL & REG DENNICK

기본 사후검사 결과 해석
Interpretation of basic post-examination results

개별 질문
Individual questions

[기술 분석]은 시험의 원시 데이터를 요약하고 표시하는 첫 번째 단계입니다. 각 질문에 대한 분포 빈도는 누락된 질문의 수와 추측 행동의 패턴을 즉시 보여준다. 예를 들어, 문항에 누락된 응답이 식별되지 않은 경우, 이는 학생들이 좋은 지식을 가지고 있거나 일부 질문에 대해 추측하고 있었음을 시사한다. 반대로, 누락된 문제 응답이 있는 경우, 이는 시험을 완료하기에 부적절한 시간, 특히 어려운 시험 또는 부정적인 표시가 사용되는 것일 수 있습니다. 
A descriptive analysis is the first step in summarising and presenting the raw data of an examination. A distribution frequency for each question immediately shows up the number of missing questions and the patterns of guessing behaviour. For example, if there were no missing question responses identified, this would suggest that students either had good knowledge or were guessing for some questions. Conversely, if there were missing question responses, this might be either an indication of an inadequate time for completing the examination, a particularly hard exam or negative marking is being used (Stone & Yeh ; Reeve et al. ).

시험 문제의 평균과 분산은 우리에게 각 문제에 대한 중요한 정보를 제공할 수 있다. 이분법 문항의 평균은 0점 또는 1점으로 p로 표시된 정답 학생의 비율과 같다.

• 이분법 문항의 [분산]은 문제 정답자 비율(p)에 오답자 비율(q)을 곱하여 계산한다.
• 표준 편차(SD)를 얻기 위해, 우리는 단지 p × q의 제곱근을 구한다.

예를 들어, 객관식 시험에서 300명의 학생이 1번 문제를 맞혔고 100명의 학생이 1번 문제를 틀렸을 경우, 1번 문제의 p 값은 0.75(300/400)와 같으며, 분산과 SD 값은 각각 0.18(0.75 x 0.25)과 0.42가 됩니다. 

The means and variances of test questions can provide us with important information about each question. The mean of a dichotomous question, scored either 0 or 1, is equal to the proportion of students who answer correctly, denoted by p.

• The variance of a dichotomous question is calculated from the proportion of students who answer a question correctly (p) multiplied by those who answer the question incorrectly (q).
• To obtain the standard deviation (SD), we merely take the square root of p × q. 

For example, if in an objective test, 300 students answered Question 1 correctly and 100 students answered it incorrectly, the p value for Question 1 will be equal to 0.75 (300/400), and the variance and SD will be 0.18 (0.75 × 0.25) and 0.42 

SD는 주어진 질문 내에서 변동 또는 분산의 척도로 유용하다. SD가 낮으면 문제가 너무 쉬우거나 너무 어렵다는 것을 나타냅니다. 예를 들어, 위의 예에서 SD가 낮다는 것은 항목이 너무 쉽다는 것을 나타냅니다. 문제 1의 항목 난이도(0.75)와 낮은 항목 SD를 고려할 때 대부분의 학생들이 정답에 관심을 기울였기 때문에 항목에 대한 응답이 분산되지 않았다고 결론 내릴 수 있다. 평균이 분포의 중심에 있는 질문의 변동성이 높을 경우 질문이 유용할 수 있습니다.

 respectively. The SD is useful as a measure of variation or dispersion within a given question. A low SD indicates that the question is either too easy or too hard. For example, in the above example, the SD is low indicating that the item is too easy. Given the item difficulty of Question 1 (0.75) and a low item SD, one can conclude that responses to item was not dispersed (there is little variability on the question) as most students paid attention to the correct response. If the question had a high variability with a mean at the centre of distribution, the question might be useful.

 

총 수행능력
Total performance

각 문항별 평균과 SD를 구한 뒤 각 문항별 학생별 정답 합계를 구한 뒤 전체 수행의 평균과 SD를 계산하는 기존 수행분석을 할 수 있다. SPSS를 사용하여 히스토그램을 만들면 특정 검정의 표시 분포를 이해할 수 있습니다. 학생들의 점수는 정규 분포를 따르거나 왼쪽이나 오른쪽으로 치우치거나 직사각형 모양으로 분포할 수 있다. 그림 1(a)은 양의 치우친 분포를 보여줍니다. 이것은 단순히 대부분의 학생들이 낮은 점수에서 중간 점수를 가지고 있고 소수의 학생들은 상대적으로 높은 점수를 받았다는 것을 보여준다. 양의 치우침 분포에서는 모수와 중위수가 평균보다 크므로 대부분의 학생들에게 문제가 어려웠음을 나타냅니다. 그림 1(b)은 학생들의 점수가 음으로 치우친 분포를 보여준다. 이것은 대부분의 학생들이 중간에서 높은 점수를 받았고 소수의 학생들은 상대적으로 낮은 점수를 받았다는 것을 보여준다. 음으로 치우친 분포에서 모수와 중위수가 평균보다 작다는 것은 대부분의 학생들이 문제가 쉬웠음을 나타냅니다.

After obtaining the mean and SD for each question, the test can be subjected to conventional performance analysis where the sum of correct responses of each student for each item is obtained and then the mean and SD of the total performance are calculated. Creating a histogram using SPSS allows us to understand the distribution of marks on a given test. Students’ marks can take either a normal distribution or may be skewed to the left or right or distributed in a rectangular shape. Figure 1(a) illustrates a positively skewed distribution. This simply shows that most students have a low-to-moderate mark and a few students received a relatively high mark in the tail. In a positively skewed distribution, the mode and the median are greater than the mean indicating that the questions were hard for most students. Figure 1(b) shows a negatively skewed distribution of students’ marks. This shows that most students have a moderate-to-high mark and a few students received relatively a low mark in the tail. In a negatively skewed distribution, the mode and the median are less than the mean indicating that the questions were easy for most students.

 

그림 1(c)은 대칭 분포 곡선의 중심에 분포된 대부분의 표시를 보여준다. 이것은 절반의 학생들이 평균보다 높은 점수를 받았고 절반의 학생들이 평균보다 낮은 점수를 받았다는 것을 의미한다. 이 경우 평균, 모드 및 중위수는 동일합니다. 이 정보를 바탕으로 모드, 중위 또는 평균에 SD의 추정치를 더하지 않으면 시험이 어려운지 쉬운지 판단하기 어렵다. 우리는 다른 곳에서 SPSS를 사용하여 이러한 통계를 계산하는 방법을 설명했습니다.
Figure 1(c) shows most marks distributed in the centre of a symmetrical distribution curve. This means that half the students scored greater than the mean and half less than mean. The mean, mode and median are identical in this situation. Based on this information, it is hard to judge whether the exam is hard or easy unless we obtain differences between the mode, median or mean plus an estimate of the SD. We have explained how to compute these statistics using SPSS elsewhere (Tavakol & Dennick ; Tavakol & Dennick 2012).

예를 들어, 그림 2의 두 분포를 고려해 볼 것을 요청합니다. 그림 2는 두 시험에서 학생들의 모의 점수를 나타냅니다.

As an example, we would ask you to consider the two distributions in Figure 2, which represent simulated marks of students in two examinations.

두 마크 분포 모두 평균이 50이지만 다른 패턴을 보입니다. A시험은 20점 이하와 90점 이상으로 점수가 다양하다. 반면에 B시험은 어느 한 극단에서나 거의 학생들이 보이지 않는다. 이 정보를 이용하여 A검사는 B검사에 비해 이질적이고 B검사는 A검사에 비해 균질하다고 할 수 있다.
Both the mark distributions have a mean of 50, but show a different pattern. Examination A has a wide range of marks, with some below 20 and some above 90. Examination B, on the other hand, shows few students at either extreme. Using this information, we can say that Examination A is more heterogeneous than Examination B and that Examination B is more homogenous than Examination A.

시험 데이터를 더 잘 해석하기 위해서는 각 분포에 대한 SD를 구해야 합니다. 예를 들어, 두 시험의 평균 점수가 67.0이고 각각 6.0과 3.0의 다른 SD를 사용하는 경우, 3.0의 SD를 사용하는 검사는 6.0의 SD를 사용하는 검사보다 더 균질하고 따라서 성능을 측정하는 데 더 일관성이 있다고 말할 수 있습니다. SD의 가치에 대한 추가적인 해석은 학생들의 점수가 평균에서 얼마나 벗어난지를 보여주는가 하는 것이다. 이것은 단순히 평균을 사용하여 총 학생 점수를 설명할 때의 오류 정도를 나타냅니다. SD는 정규 분포에서 개별 학생의 상대적인 위치를 해석하는 데도 사용할 수 있습니다. 우리는 그것을 다른 곳에서 설명하고 해석했다.
In order to better interpret the exam data, we need to obtain the SD for each distribution. For example, if the mean marks for the two examinations are 67.0, with different SDs of 6.0 and 3.0, respectively, we can say that the examination with a SD of 3.0 is more homogenous and hence more consistent in measuring performance than the examination with a SD of 6.0. A further interpretation of the value of the SD is how much it shows students’ marks deviating from the mean. This simply indicates the degree of error when we use a mean to explain the total student marks. The SD also can be used for interpreting the relative position of individual students in a normal distribution. We have explained and interpreted it elsewhere (Tavakol & Dennick )

고전적 문항 분석의 해석
Interpretation of classical item analysis

과학 분야에서는 많은 정확성과 객관성으로 변수를 측정하는 것이 가능하지만, 다양한 교란요인과 오류로 인해 주어진 시험에서 학생들의 성과를 측정할 때 이러한 정확성과 객관성을 얻기 더 어려워진다. 예를 들어, 시험이 학생에게 시행된다면, 그 학생은 그 또는 그녀의 점수에 영향을 미치는 측정 오류로 인해 다양한 경우에 다양한 점수를 받게 될 것이다. CTT에서 주어진 시험에서 학생의 점수는 학생의 [실제 점수]와 [무작위 오류]의 함수이며, 이는 때때로 변동될 수 있다. 시험에 영향을 미치는 무작위 오류가 존재하기 때문에, 우리는 학생들이 무한정 시험을 치르지 않는 한 학생의 실제 점수를 정확하게 결정할 수 없다. 모든 시험에서 평균 점수를 계산하면 무작위 오류가 제거되어 학생의 점수가 결국 실제 점수와 같아집니다. 하지만 무한정 시험을 보는 것은 현실적으로 불가능하다. 대신 우리는 무한한 수의 학생(실제로 큰 코호트!)에게 모든 학생의 점수에서 일반화된 표준 측정 오차(SME)를 추정할 수 있도록 일단 시험을 치르도록 요청한다. SME는 우리가 다른 곳에서 논의된 각 학생의 실제 점수를 추정할 수 있게 해준다.

In scientific disciplines, it is often possible to measure variables with a great deal of accuracy and objectivity but when measuring student performance on a given test due to a wide variety of confounding factors and errors, this accuracy and objectivity becomes more difficult to obtain. For instance, if a test is administrated to a student, he or she will obtain a variety of scores on different occasions, due to measurement errors affecting his or her score. Under CTT, the student's score on a given test is a function of the student's true score plus random errors (Alagumalai & Curtis ), which can fluctuate from time to time. Due to the presence of random errors influencing examinations, we are unable to exactly determine a student's true score unless they take the exam an infinite number of times. Computing the mean score in all exams would eliminate random errors resulting in the student's score eventually equalling the true score. However, it is practically impossible to take a test an infinite number of times. Instead we ask an infinite number of students (in reality a large cohort!) to take the test once allowing us to estimate a generalised standard error of measurement (SME) from all the students’ scores. The SME allows us to estimate the true score of each student which has been discussed elsewhere (Tavakol & Dennick ).

신뢰성.
Reliability

여기서 관찰된 점수가 참 점수와 오류 점수의 합으로 구성되듯이, 시험에서 관찰된 점수의 분산은 [참 점수]와 [오류 점수]의 분산의 합으로 이루어지며, 이는 다음과 같이 공식화될 수 있다.
It is worth reiterating here that just as the observed score is composed of the sum of the true score and the error score, the variance of the observed score in an examination is made up of the sum of the variances of the true score and the error score, which can be formulated as follows:

이제 테스트가 동일한 코호트에 여러 번 시행되었다고 상상해 보십시오. 각 개인에 대한 관측된 점수의 분산 사이에 불일치가 있으면 각 테스트에서 테스트의 신뢰성이 낮아집니다. 검정 신뢰성은 [관찰된 점수의 분산]에 대한 [참 점수의 분산]의 비율로 정의됩니다.

Now imagine a test has been administered to the same cohort several times. If there is a discrepancy between the variance of the observed scores for each individual, on each test, the reliability of the test will be low. The test reliability is defined as the ratio of the variance of the true score to the variance of the observed score:

이 경우 관측된 점수 분산에 대한 실제 점수 분산의 비율이 클수록 검정의 신뢰성이 높아집니다. 식 (2)에서 식 (1)의 분산(참 점수)을 대입하면 신뢰도는 다음과 같습니다.
Given this, the greater the ratio of the true score variance to the observed score variance, the more reliable the test. If we substitute variance (true scores) from Equation (1) in Equation (2), the reliability will be as follows:

그런 다음 신뢰도 지수를 다음과 같이 재정렬할 수 있습니다.
And then we can rearrange the reliability index as follows:

이 방정식은 단순히 [측정 오차] 원인과 [신뢰도] 사이의 관계를 보여줍니다. 예를 들어, 랜덤 오차가 없는 검정의 경우 신뢰도 지수는 1이지만 오차의 양이 증가하면 신뢰도 추정치는 감소합니다.
This equation simply shows the relationship between source of measurement error and reliability. For example, if a test has no random errors, the reliability index is 1, whereas if the amount of error increases, the reliability estimate will decrease.

테스트 신뢰성 향상
Increasing the test reliability

신뢰도를 추정하기 위해 사용되는 통계적 절차는 크론바흐의 알파와 쿠더-리처드슨 20 공식(KR-20)이다. 검정 신뢰도가 0.70보다 작으면 항목-총 상관 관계가 낮은 문제를 제거하는 것을 고려해야 할 수 있습니다. 예를 들어 표 1과 표 2의 네 가지 질문에 대한 시뮬레이션된 SPSS 출력을 만들었습니다.

The statistical procedures employed for estimating reliability are Cronbach's alpha and the Kuder–Richardson 20 formula (KR-20). If the test reliability was less than 0.70, you may need to consider removing questions with low item-total correlation. For example, we have created a simulated SPSS output for four questions in Tables 1 and 2.

표 1은 4개의 질문에 대한 크론바흐의 알파 0.72를 보여준다. 표 2는 'Cronbach's Alpha if Item deleted'라는 제목의 열이 있는 항목-총 상관 통계를 보여줍니다. (항목-총 상관관계는 개별 질문 점수와 총 점수 사이의 상관 관계입니다.)

Table 1 shows Cronbach's alpha for four questions, 0.72. Table 2 shows item-total correlation statistics with the column headed ‘Cronbach's Alpha if Item deleted’. (Item-total correlation is the correlation between an individual question score and the total score).

시험의 네 번째 문항은 총 항목 상관 관계가 -0.51로, 이 특정 문항에 대한 응답이 총점과 음의 상관 관계를 가지고 있음을 의미합니다. 이 문제를 시험에서 제거하면 나머지 세 문제 중 알파가 0.725에서 0.950으로 증가하여 시험을 훨씬 더 신뢰할 수 있습니다.
The fourth question in the test has a total-item correlation of −0.51 implying that responses to this particular question have a negative correlation with the total score. If we remove this question from the test, the alpha of the three remaining questions increase from 0.725 to 0.950, making the test significantly more reliable.

표 3과 4는 질문 4를 제거한 후의 출력 SPSS를 보여줍니다.
Tables 3 and 4 show the output SPSS after removing Question 4:

 

표 3과 표 4는 문제 4를 시험에서 제거하면 알파 값이 크게 증가하는 영향을 보여줍니다.

Tables 3 and 4 illustrate the impact of removing Question 4 from the test, which significantly increases the value of alpha.

그러나 이제 문제 2를 제거하면 시험에 대한 알파 값이 완벽해집니다. 즉, 1은 시험의 각 문제가 정확히 동일한 것을 측정해야 한다는 것을 의미합니다. 여러 문항이 동일한 구성을 측정하는 등 시험에 중복성이 있음을 시사하기 때문에 반드시 좋은 것은 아니다. 이 경우 신뢰성을 훼손하지 않고 테스트 길이를 단축할 수 있습니다. 신뢰성은 검정 길이의 함수이기 때문입니다. 항목이 많을수록 검정의 신뢰성이 높아집니다. 
However, if we now remove Question 2, the value of the alpha for the test will be perfect, i.e. 1, which means each question in the test must be measuring exactly the same thing. This is not necessarily a good thing as it suggests that there is redundancy in the test, with multiple questions measuring the same construct. If this is the case, the test length could be shortened without compromising the reliability (Nunnally & Bernstein ). This is because the reliability is a function of test length. The more the items, the more the reliability of a test.

Cronbach의 알파와 KR-20은 검정의 신뢰성을 추정하는 데 유용하지만, [측정 오차의 모든 원인을 하나의 값으로 통합]합니다(Mushquash & O'Connor). 실제 점수는 관찰된 점수와 [다양한 출처에서 파생된 오류]를 더한 것과 동일하다는 점을 기억하십시오. 각 오차원의 영향은 일반성 계수로 추정할 수 있으며, 이는 실제 점수 모델의 신뢰도 추정치와 유사하다. 나중에 우리는 알려진 대로 일반화 가능성 이론 또는 G 이론을 사용하여 측정 오류의 원인을 식별하고 줄이는 방법을 설명할 것이다. 또한 이전 가이드에서는 문항 난이도, 문항 변별도 및 포인트 바이시리얼 계수를 CTT의 관점에서 설명하고 해석하였다. 
Although Cronbach's alpha and KR-20 are useful for estimating the reliability of a test, they conflate all sources of measurement error into one value (Mushquash & O'Connor ). Recall that true scores equal observed scores plus errors, which is derived from a variety of sources. The influence of each source of error can be estimated by the coefficient of generalisability, which is similar to a reliability estimate in the true score model (Cohen & Swerdlik ). Later we will describe how to identify and reduce sources of measurement errors using generalisability theory or G-theory as it is known. What is more, in our previous Guide (Tavakol & Dennick 2012), we explained and interpreted item difficulty level, item discrimination index and point bi-serial coefficient in terms of CTT.

본 가이드에서는 이러한 개념을 항목 특성 매개 변수(항목 난이도 및 항목 변별력)를 이용한 IRT(Item Response Theory)와 래쉬 모델을 이용한 모든 질문에 대한 학생 능력/성과의 관점에서 설명하고 해석할 것이다.
In this Guide, we will explain and interpret these concepts in terms of Item Response Theory (IRT) using item characteristic parameters (item difficulty and item discrimination) and the student ability/performance to all questions using the Rasch model.

인자분석
Factor analysis

[선형 요인 분석]은 시험 개발자가 문제 수를 줄이고 중요한 문제가 시험에 포함되도록 하기 위해 널리 사용된다. 예를 들어, 심장병학 강좌 소집자는 심장병학을 가르치는 데 관련된 모든 의학 교사들에게 시험을 위한 10개의 문제를 제공하도록 요청할 수 있다. 이 경우 100개의 질문이 생성될 수 있지만, 이 모든 질문은 동일한 개념 집합을 테스트하는 것은 아닙니다. 따라서 문제들 간의 상관관계 패턴을 파악하면 시험의 기본 요소를 대상으로 하는 관련 문제를 발견할 수 있다. 요인은 일련의 질문 사이의 관계를 나타내는 구인이며, 질문이 요인과 상관관계가 있을 경우 생성됩니다. 요인 분석 언어에서, 이는 요인 '적재loadings'를 의미한다. 요인 분석이 수행된 후, 관련된 질문은 특정 명명된 구조를 나타내는 요인에 로드됩니다. 따라서 적재량이 낮은 질문은 제거하거나 수정할 수 있습니다. 
Linear factor analysis is widely used by test developers in order to reduce the number of questions and to ensure that important questions are included in the test. For example, the course convenor of cardiology may ask all medical teachers involved in teaching cardiology to provide 10 questions for the exam. This might generate 100 questions, but all these questions are not testing the same set of concepts. Therefore, identifying the pattern of correlations between the questions allows us to discover related questions that are aimed at the underlying factors of the exam. A factor is a construct which represents the relationship between a set of questions and will be generated if the questions are correlated with the factor. In factor analysis language, this refers to factor ‘loadings’. After factor analysis is carried out, related questions load onto factors which represent specific named constructs. Questions with low loadings can therefore be removed or revised.

테스트가 단일 특성을 측정하는 경우, [부하가 높은 요인 하나]만 관찰된 질문 관계를 설명하므로 테스트는 단일 차원입니다. 여러 요인이 확인되면 검정은 다차원적인 것으로 간주됩니다.
If a test measures a single trait, only one factor with high loadings will explain the observed question relationships and hence the test is uni-dimensional. If multiple factors are identified, then the test is considered to be multi-dimensional.

[선형 요인 분석]에는 [탐색적 요인]과 [확인적 요인]의 두 가지 주요 요소가 있습니다.

• 탐색적 요인 분석(EFA)은 검정 내의 기본 구성 요소를 식별하고 이들 사이의 모형 관계를 가정합니다.
• 확인적 요인 분석(CFA)은 모형이 새 데이터 집합을 사용하여 데이터에 적합한지 여부를 검증합니다. 아래에서는 각 방법에 대해 설명합니다.

There are two main components to linear factor analysis: exploratory and confirmatory.

• Exploratory Factor Analysis (EFA) identifies the underlying constructs or factors within a test and hypothesises a model relationship between them.
• Confirmatory Factor Analysis (CFA) validates whether the model fits the data using a new data set. Below, each method is explained.

탐색적 요인 분석
Exploratory factor analysis

EFA는 앞에서 설명한 바와 같이 문제 간의 관계를 식별하고, 테스트에서 주요 요소를 발견하는 데 널리 사용된다. 시험 문제를 수정하거나 특정 지식 영역의 문제를 선택하는 데 사용할 수 있습니다. 예를 들어, 심장학 검사에서 관상동맥 심장 질환의 임상 징후를 검사하는 데 관심이 있는 경우, 이 영역에 로드load되는 질문을 단순히 찾습니다. 다음 시뮬레이션 예제는 50명의 학생이 10개의 문제를 출제하는 시험을 사용하여 시험에서 문제를 개선하는 방법을 보여줍니다. 이를 통해 시험 문제를 수정하고 강화하는 방법을 시연하고 관심 영역에 대한 loadings를 계산할 수 있다. EFA는 요인 식별뿐만 아니라 각 질문에 대한 '커뮤널리티communality'도 계산합니다. communality의 개념을 이해하기 위해서는 EFA 접근법 내의 분산variance(점수의 변동성)을 설명할 필요가 있다.
EFA is widely used to identify the relationships between questions and to discover the main factors in a test as previously described. It can be used either for revising exam questions or choosing questions for a specific knowledge domain. For example, if in the cardiology exam we are interested in testing the clinical manifestations of coronary heart disease, we simply look for the questions which load on to this domain. The following simulated example, using an examination with 10 questions taken by 50 students, demonstrates how to improve the questions in an examination. This allows us to demonstrate how to revise and strengthen exam questions and to calculate the loadings on the domain of interest. As well as identifying the factors EFA also calculates the ‘communality’ for each question. To understand the concept of communality, it is necessary to explain the variance (the variability in scores) within the EFA approach.

우리는 이미 기술 통계로부터 변수의 분산을 계산하는 방법을 배웠다. 요인 분석 언어에서 각 질문의 분산은 두 부분으로 구성됩니다. 한 부분은 'common variance'이라고 하는 다른 질문과 공유할 수 있는 것이 있고, 나머지는 '오류' 또는 '랜덤 분산'이라고 하는 다른 질문과 공유할 수 없습니다. 문항에 대한 communality은 특정 요인 집합으로 설명되는 분산의 값으로, 범위는 0에서 1.00 사이입니다. 예를 들어 랜덤 분산이 없는 문항은 1.00의 공통성을 가지며, 다른 문항과 분산이 공유되지 않은 문항은 0.00의 공통성을 가집니다. 문항 9(표 5)에 대한 communality은 0.85로, 즉 질문 9의 분산의 85%가 요인 1과 요인 2로 설명되며, 질문 9의 분산의 15%는 다른 문항과는 공통점이 없습니다. 
We have already learnt from descriptive statistics how to calculate the variance of a variable. In the language of factor analysis, the variance of each question consists of two parts. One part can be shared with the other questions, called ‘common variance’; the rest may not be shared with other questions, called ‘error’ or ‘random variance’. The communality for a question is the value of the variance accounted for by the particular set of factors, ranging from 0 to 1.00. For example, a question that has no random variance would have a communality of 1.00; a question that has not shared its variance with other questions would have a communality of 0.00. The communality shown for Question 9 (Table 5) is 0.85, that is 85% of the variance in Question 9 is explained by factor 1 and factor 2, and 15% of the variance of Question 9 has nothing in common with any other question.

SPSS의 각 질문에 대한 공유 분산을 계산하기 위해 SPSS(SPSS)에서 다음 단계를 수행합니다. 메뉴에서 'Analyse', 'Dimension Reduction' 및 'Factor'를 각각 선택합니다. 그런 다음 모든 질문을 '변수' 상자로 이동합니다. 설명'을 선택한 다음 '초기 솔루션'과 '계수'를 각각 클릭합니다. 그런 다음 '회전'을 클릭합니다. 'Varimax'를 선택하고 'Continue'를 클릭한 다음 'OK'를 클릭합니다. 표 5에서, 우리는 SPSS 출력의 시뮬레이션 데이터를 함께 결합했다.
To compute the shared variances for each question in SPSS, the following steps are carried out in SPSS (SPSS ). From the menus, choose ‘Analyse’, ‘Dimension Reduction’ and ‘Factor’, respectively. Then move all questions on to the ‘Variables’ box. Choose ‘Descriptive’ and then click ‘Initial Solution’ and ‘Coefficients’, respectively. Then click ‘Rotation’. Choose ‘Varimax’ and click on ‘Continue’ and then ‘OK’. In Table 5, we have combined the simulated data of the SPSS output together.

표 5는 [두 가지 요인]이 나타났음을 보여줍니다. 요인 1은 질문 9, 2, 6, 10, 4, 1, 3에서 우수한 하중을 나타내고 요인 2는 질문 7, 8에서 우수한 하중을 나타내므로 이러한 항목이 요인 1, 2와 강한 상관 관계가 있음을 알 수 있습니다. 0.71보다 큰 값을 가진 하중은 우수한 것으로 간주된다는 점에 유의해야 한다(0.71 × 0.71 = 0.50 × 100. 즉, 항목과 요인 간의 공통 분산 또는 항목 내 변동의 50%를 요인의 변동으로 설명할 수 있으며, 또는 변동의 50%를 항목과 요인에 의해 설명될 수 있다), 0.63(40% 공통 변동)은 매우 양호하며, 0.45(20% 공통 분산)는 적당합니다. 0.32(공통 분산 10%)보다 작은 값은 불량으로 간주되고 전체 검정에 덜 기여하므로 이러한 값을 조사해야 합니다. 
Table 5 shows that two factors have emerged. Factor 1 demonstrates excellent loading with Questions 9, 2, 6, 10, 4, 1 and 3 and Factor 2 demonstrates excellent loading with Questions 7 and 8, indicating these items have a strong correlation with Factors 1 and 2.

• It should be noted that loadings with values greater than 0.71 are considered excellent (0.71 × 0.71 = 0.50 × 100; i.e. 50% common variance between the item and the factor, or 50% of the variation in the item can be explained by the variation in the factor, or 50% of the variance is accounted for by the item and the factor),
• 0.63 (40% common variance) very good,
• 0.45 (20% common variance) fair.
• Values less than 0.32 (10% common variance) are considered poor and less contribute to the overall test and they should be investigated (Comrey & Lee ; Tabachnick & Fidell ). 

표 5는 또한 h2로 표시된 열의 각 질문에 대한 communalities 을 보여준다. 예를 들어, 질문 2의 분산의 92%는 EFA 접근법에서 나타난 두 가지 요인에 의해 설명된다. 가장 낮은 communalities 은 질문 5에 대한 것이며, 분산의 8%를 기소하는 것은 이 질문으로 설명된다. 30% 미만의 낮은 값은 문제의 분산이 식별된 요인에 로드된 다른 질문과 관련이 없음을 나타냅니다. 표 5에서 질문 5는 커뮤니티 수치가 가장 낮고 요인 1 또는 2에 로드되지 않았으므로 이 질문을 수정하거나 폐기해야 합니다.

Table 5 also shows communalities for each question in the column labelled h2. For example, 92% of the variance in Question 2 is explained by the two factors that have emerged from the EFA approach. The lowest communality is for Question 5, indicting 8% of the variance is explained by this question. Low values of less than 30% indicate that the variance of the question does not relate to other questions loaded on to the identified factors. In Table 5, Question 5 has the lowest communality figure and has not loaded onto Factors 1 or 2, suggesting this question should be revised or discarded.

표 5는 또한 EFA 접근법에서 확인된 [두 가지 요인에 의해 설명되는 분산 값]을 보여줍니다. 분산의 0.47은 인자 1로, 분산의 0.23은 인자 2로 설명됩니다. 따라서 분산의 0.70은 모든 질문에 의해 설명됩니다. 그러나 질문 5를 삭제하면 총 분산이 0.78로 증가할 수 있습니다. 표 5에 대한 추가 해석은, 대다수의 문제가 인자 1에 실려서 시험의 구인 타당도에 대한 수렴 및 변별의 증거를 제공한다는 것이다.

• 인자 1에 대한 부하가 높기 때문에 테스트가 [수렴]된다고 주장할 수 있습니다.
• 또한 요인 1에 적재된 문제가 요인 2에 적재되지 않았으므로 시험은 [변별]됩니다.

즉, 요인 2는 요인 1과 구별되는 또 다른 구성/개념을 측정합니다. 두 개의 인자가 확인되었으므로 두 개의 서로 다른 구조를 측정하기 때문에 각 인자에 대한 Cronbach의 알파 계수를 계산하는 것이 적절할 것입니다. 세 가지 이상의 요인에 적재되는 문항은 조사가 필요하다는 점에 유의해야 한다.

Table 5 also shows the values of variance explained by the two factors that have been identified from the EFA approach; 0.47 of the variance is accounted for by Factor 1 and 0.23 of the variance is accounted for by Factor 2. Therefore, 0.70 of the variance is accounted for by all of the questions. However, if we delete Question 5, we can increase the total variance accounted for to 0.78. A further interpretation of Table 5 is that the vast majority of questions have been loaded on to Factor 1, providing evidence of convergence and discrimination for the construct validity of the test.

• We can argue that the test is convergent as there are high loadings on to Factor 1.
• The test is also discriminant as the questions that have loaded on to Factor 1 have not loaded on to Factor 2.

This means that Factor 2 measures another construct/concept which is discriminated from Factor 1. Because two factors have been identified, it would be appropriate to calculate Cronbach's alpha co-efficient for each factor because they are measuring two different constructs. It should be noted that items which load on more than two factors need to be investigated.

확인적 요인 분석
Confirmatory factor analysis

CFA의 기술은 심리 검사를 검증하는 데 널리 사용되었지만 시험 문제의 심리학적 특성을 평가하고 개선하는 데는 덜 사용되었다. EFA 접근 방식은 시험 문제가 어떻게 연관되거나 기저 요인 영역과 연결되는지 밝힐 수 있다. 예를 들어, EFA 접근 방식은 100문항 시험의 내부 구조가 신체 검사, 임상 추론 및 의사소통 기술 등 [세 가지 기저 영역]으로 구성되어 있음을 보여줄 수 있다. 식별된 요인의 수는 가설 모형, 즉 요인 구조 모형의 성분을 구성합니다. 위의 예제에서 모형을 3-요인 모형이라고 합니다. CFA 접근법은 잠재(기본) 요인을 확인하기 위해 [EFA에 의해 추출된 가설 모델]을 사용한다. 그러나 모형 적합을 확인하려면 순환 논리circular argument를 피하기 위해 [새 데이터 세트]를 사용해야 합니다. 예를 들어, 같은 시험을 다른 학생 그룹이나 비교 가능한 학생 그룹에 적용할 수 있다.
The technique of CFA has been widely used to validate psychological tests but has been less used to evaluate and improve the psychometric properties of exam questions. The EFA approach can reveal how exam questions are correlated or connected to an underlying domain of factors. For example, an EFA approach may show that the internal structure of a 100 question test consist of three underlying domains, say physical examination, clinical reasoning and communication skills. The number of factors identified constitutes the components of a hypothesised model, the factor structure model. In the above example, the model would be termed a three-factor model. The CFA approach uses the hypothesised model extracted by EFA to confirm the latent (underlying) factors. However, in order to confirm model fitting, a new data set must be used to avoid a circular argument. For example, the same test could be administered to a different but comparable group of students.

따라서 교육자는 먼저 EFA를 사용하여 모델을 식별하고 CFA를 사용하여 테스트해야 합니다. 또한 이 접근 방식을 통해 교육자는 시험 문제와 구성 요소(Floys & Widman)를 수정할 수 있습니다. 예를 들어, EFA가 병력 시험과 신체 검사 문제로 구성된 시험에서 2-요인 모델을 공개했다고 가정합시다. 연구자는 문제의 심리학적 특성을 측정하고 모형의 전반적인 적합성을 검정하여 시험의 타당성과 신뢰성을 향상시키려 합니다. 이것은 가설 모델에 새로 입력된 샘플 데이터의 적합도를 결정하는 구조 방정식 모델링(SEM)을 사용하여 달성될 수 있다. [모형 적합성model fit]은 카이-제곱 검정 및 기타 적합 지수를 사용하여 평가됩니다. 다른 통계 가설 검정 절차와 달리 카이-제곱 값이 [유의하지 않으면], 새 데이터가 적합하고, 모형이 확인된 것이다. 그러나 카이-제곱의 값은 표본 크기를 늘거나 줄어드는 것에 달라지는 함수이므로 [다른 적합 지수]들도 조사해야 합니다. 이러한 지수는 비교 적합 지수(CFI)와 근삿값 평균 제곱 오차(RMSEA)입니다.

• CFI 값이 0.90보다 크면 검사 데이터에 대해 심리적으로 허용 가능한 적합도를 나타냅니다.
• RMSEA 값이 0.05보다 작아야 적합성이 양호합니다. RMSEA가 0이면 모형 적합이 완벽하다는 것을 나타냅니다.
• CFA는 SAS, LISREL, AMOS 및 Mplus와 같은 다수의 인기 있는 통계 소프트웨어 프로그램에 의해 실행될 수 있다는 점에 유의해야 한다.

Therefore, educators must first identify a model using EFA and test it using CFA. This approach also allows educators to revise exam questions and the factors underlying their constructs (Floys & Widaman ). For example, suppose EFA has revealed a two-factor model from an exam consisting of history-taking and physical examination questions. The researcher wishes to measure the psychometric characteristics of the questions and test the overall fit of the model to improve the validity and reliability of the exam. This can be achieved by the use of structural equation modelling (SEM) which determines the goodness-of-fit of the newly input sample data to the hypothesised model. The model fit is assessed using Chi-square testing and other fit indices. In contrast to other statistical hypothesis testing procedures, if the value of Chi-square is not significant, the new data fit and the model is confirmed. However, as the value of Chi-square is a function of increasing or decreasing sample size, other fit indices should also be investigated (Dimitrov ). These indices are the comparative fit index (CFI) and the root mean square error of approximation (RMSEA).

• A CFI value of greater than 0.90 shows a psychometrically acceptable fit to the exam data.
• The value of RMSEA needs to be below 0.05 to show a good fit (Tabachnick & Fidell ). A RMSEA of zero indicates that the model fit is perfect.
• It should be noted that CFA can be run by a number of popular statistical software programmes such as SAS, LISREL, AMOS and Mplus.

이 논문의 목적을 위해, 우리는 그것의 용이한 사용을 위해 AMOS(모멘트 구조의 분석)를 선택한다. AMOS 소프트웨어 프로그램은 모형을 쉽게 만들고 카이-제곱 값과 적합 지수를 계산할 수 있습니다. 위의 예에서, 8문항의 시험은 역사 시험과 신체 검사라는 두 가지 요소를 가지고 있으며, 이 8문항의 분산은 이 두 가지 높은 상관관계 요인에 의해 설명될 수 있다. 테스트 개발자는 AMOS에서 2-요인 모델(경로 다이어그램)을 그려 모델을 테스트합니다(그림 3). 모델의 매개변수를 추정하기 전에 '보기'를 클릭하고 '분석 특성'을 클릭한 다음 '최소화 기록', 표준화 추정치, '다중 상관 제곱' 및 '수정 지수'를 클릭합니다. 견적을 실행하려면 맨 위의 메뉴에서 '분석'을 클릭한 다음 '견적 계산'을 클릭합니다.

For the purpose of this article, we choose AMOS (Analysis of Moment Structures) for its use of ease. The AMOS software program can easily create models and calculate the value of Chi-square as well as the fit indices. In the above example, a test of 8 questions has two factors, history-taking and physical examination and the variance of these eight exam questions can be explained by these two highly correlated factors. The test developer draws the two-factor model (the path diagram) in AMOS to test the model (Figure 3). Before estimating the parameters of the model, click on the ‘view’ and click on ‘Analysis Properties’ and then click on ‘Minimization history’, Standardised estimates, ‘Squared multiple Correlations’ and ‘Modification indices’. To run the estimation, from the menu at the top, click on ‘Analyze’, then click on ‘Calculate Estimates’.

 

출력은 표 6에 나와 있습니다. SEM은 질문과 요인 간의 계산된 상관 관계의 기울기와 절편을 계산합니다. CTT와 비교하자면,

• 절편은 항목 난이도 지수와 유사하며
• 기울기(표준화된 회귀 가중치/계수)는 변별도와 유사합니다.

The output is given in Table 6. SEM calculates the slopes and intercepts of calculated correlations between questions and factors. From a CTT,

• the intercept is analogous to the item difficulty index and
• the slope (standardised regression weights/coefficients) is analogous to the discrimination index.

 

표 6은 병력탐구 1번 문항이 쉬웠고, 신체검사에서 3번 문항이 어려웠다는 것을 알 수 있다. 표 6은 또한 병력 시험 문제 4가 전체 병력시험 점수에 기여하지 않는다는 것을 보여준다. 검사 데이터에 대한 적합 모형의 정도를 평가하기 위해 추가 분석이 수행되었습니다.
Table 6 shows that Question 1 in history-taking and Question 3 in physical examination were easy (intercept = 0.97) and hard (0.08), respectively. Table 6 also shows that Question 4 in history-taking is not contributing to overall history-taking score (slope = −0.03). Further analysis was conducted to assess degree of fit model to the exam data.

표 7에 초점을 맞추면 카이-제곱 값에 대한 유의성 결여(p = 0.49)는 새 표본에서 2-요인 모형에 대한 지지를 의미합니다. 표 7의 CFI 및 RMSEA 값을 모두 검토하면 2-요인 모형이 새 표본에 대한 검사 데이터에 가장 적합하다는 것이 명백합니다.
Focusing on Table 7, the absence of significance for the Chi-square value (p = 0.49) implies support for the two- factor model in the new sample. In reviewing values of both CFI and RMSEA in Table 7, it is evident that the two-factor model represents a best fit to the exam data for the new sample.

검사의 병력 청취 성분과 신체 검사 성분 사이의 관계에 대한 추가 증거는 가정된 2-요인 모델을 뒷받침하는 두 요인 간의 0.70 상관관계를 계산함으로써 드러난다. AMOS는 '출력 다이어그램 보기' 버튼을 클릭하여 요인/구성 요소 간의 상관 관계를 표시합니다. 또한 '텍스트 출력'에서 상관 관계 추정치를 볼 수 있습니다. 메인 메뉴에서 보기를 선택한 다음 '텍스트 출력'을 클릭합니다.

Further evidence for the relationship between the history-taking and physical examination components of the test is revealed by the calculation of a 0.70 correlation between the two factors, supporting the hypothesised two-factor model. It should be noted that AMOS will display the correlation between factors/components by clicking the ‘view the output diagram’ button. You can also view correlation estimates from ‘text output’. From the main menu, choose view and then click on ‘text output’.

일반화 가능성 이론 분석
Generalisability theory analysis

[신뢰성]은 학생들의 지식과 역량을 일관되게 측정하는 [테스트의 능력]과 관련이 있다는 점을 기억하시기 바랍니다. 예를 들어, 같은 항목과 같은 조건을 가진 학생들이 다른 경우에 같은 시험을 다시 본다면, 결과는 거의 같아야 한다. CTT에서 항목 및 조건은 획득된 점수와 관련된 측정 오류의 원인일 수 있습니다. KR-20 또는 크론바흐의 알파와 같은 신뢰성 추정치는 이러한 문항과 조건(시험의 측면facet이라고도 함)과 관련된 측정 오류의 잠재적 원인을 식별할 수 없으며, 각각을 구별할 수 없다.

We would ask you to recall that reliability is concerned with the ability of a test to measure students' knowledge and competencies consistently. For example, if students are re-examined with the same items and with the same conditions on different occasions, the results should be more or less the same. In CTT, the items and conditions may be the causes of measurement errors associated with the obtained scores. Reliability estimates, such as KR-20 or Cronbach's alpha, cannot identify the potential sources of measurement error associated with these items and conditions (also known as facets of the test) and cannot discriminate between each one. 

그러나 Lee J. Cronbach와 동료들이 개발한 일반화가능도 이론 또는 G-이론이라고 불리는 CTT의 확장은 테스트 생성자가 실제 점수를 해석하기 위한 측정 오류의 원천에 대한 더 명확한 그림을 얻을 수 있도록 이러한 측면을 인식, 추정 및 분리하려고 시도한다. 예를 들어, G이론을 사용하여 OSCE 검사 결과에 대한 단일 분석으로 모든 측면을 추정할 수 있으며, 잠재적으로 시험에서 오류를 발생시킬 수 있다. 측정 오차의 각 면에는 아래에 설명된 분산 분석(ANOVA) 절차를 통해 계산되는 분산 성분variance component이라는 값이 있습니다. 이러한 분산 성분variance component은 다음으로 시험의 신뢰성과 같으며 모든 측면에 걸쳐 학생들의 평균 점수를 일반화할 수 있는 G 계수를 계산하는 데 사용됩니다.
However, an extension of CTT called Generalisability Theory or G-theory, developed by Lee J. Cronbach and colleagues (Cronbach et al. ), attempts to recognise, estimate and isolate these facets allowing test constructors to gain a clearer picture of sources of measurement error for interpreting the true score. One single analysis of, for example, the results of an OSCE examination, using G-theory can estimate all the facets, potentially producing error in the test. Each facet of measurement error has a value associated with it called its variance component, calculated via an analysis of variance (ANOVA) procedure, described below. These variance components are next used to calculate a G-coefficient which is equivalent to the reliability of the test and also enables one to generalise students’ average score over all facets.

예를 들어 OSCE가 SP, 다양한 검사자 및 다양한 항목을 사용하여 12개 스테이션에서 학생들의 성과를 평가했다고 가정해 보십시오. [평가의 한 측면]으로서 SP, 심사관 및 항목과 이들의 상호작용(예: SP와 항목 간의 상호작용)이 고려할 수 있다. 학생이 OSCE에서 얻은 점수는 이러한 [측정 오류의 측면]에 영향을 받기 때문에 평가자는 각 측면에 의해 야기되는 오류의 양을 추정해야 한다. 또한, 우리는 학생들이 시험을 이용하여 그들의 시험 수행에 대한 최종 결정을 내리는 것을 조사한다. 이 결정을 내리기 위해서, 우리는 그 점수에 근거하여 각 학생에 대한 시험 점수를 일반화할 필요가 있다. 이것은 평가자들이 좋은 결정을 내리기 위한 수단으로서 점수의 신뢰성과 신뢰성을 보장해야 한다는 것을 나타낸다. 따라서 테스트에서 얻은 관측(취득) 점수와 관련된 오류의 구성을 조사할 필요가 있다. 그런 다음 G-이론 분석은 확인된 오류의 원인을 최소화하기 위해 테스트 생성자에게 유용한 정보를 제공할 수 있다. 이제 분산 성분에서 G-계수를 계산하는 방법을 설명하겠습니다.
For example, imagine an OSCE has used SPs, a range of examiners and various items to assess students' performance on 12 stations. SPs, examiners and items and their interactions (e.g. interaction between SPs and items) are considered as facets of the assessment. The score that the student obtains from the OSCE will be affected by these facets of measurement error and therefore the assessor should estimate the amount of error caused by each facet. Furthermore, we examine students using a test to make a final decision regarding their performance on the test. To make this decision, we need to generalise a test score for each student based on that score. This indicates that assessors should ensure the credibility and trustworthy of the score as means to making a good decision (Raykov & Marcoulides ). Therefore, the composition of errors associated with the observed (obtained) scores that gained from a test need to be investigated. G-theory analysis can then provide useful information for test constructors to minimise identified sources of error (Brennan ). We will now explain how to calculate the G-coefficient from variance components.

G-계수 계산
G-coefficient calculation

Facet의 분산 성분에서 G-계수를 계산하기 위해 검정 분석가는 전통적으로 ANOVA 절차를 사용합니다. ANOVA은 검사에 존재하는 [총 분산]을 측정 오차의 원인인 [두 개 이상의 성분]으로 분할하는 통계적 절차입니다. 조사자는 분산 분석 결과(예: SP, 항목, 평가자 등)에서 각 변동 소스의 계산된 평균 제곱을 사용하여 분산 성분을 결정한 다음 이러한 값에서 G-계수를 계산합니다.
To calculate the G-coefficient from variance components of facets, test analysers traditionally use the ANOVA procedure. ANOVA is a statistical procedure by which the total variance present in a test is partitioned into two or more components which are sources of measurement error. Using the calculated mean square of each source of variation from the ANOVA output (e.g. SPs, items, assessors, etc.), investigators determine the variance components and then calculate the G-coefficient from these values.

그러나 SPSS 및 통계 분석 시스템(SAS)과 같은 기타 통계 패키지를 통해 이제 테스트 데이터에서 직접 분산 성분을 계산할 수 있습니다. 이제 G-계수를 계산하기 위해 SPSS에서 직접 분산 성분을 얻는 방법을 설명하겠습니다. 사용되는 절차는 테스트의 facet 수에 따라 달라집니다. 아래 설명된 바와 같이 단일 패싯 및 다중 패싯 설계가 있습니다.
However, SPSS and other statistical packages like the Statistical Analysis System (SAS) now allow us to calculate the variance components directly from the test data. We will now illustrate how to obtain the variance components from SPSS directly for calculating the G-coefficient. The procedure used varies according to the number of facets in the test. There are single facet and multiple facet designs as described below.

단면 설계
Single facet design

[단일 facet 설계]는 테스트에서 측정 오류의 단일 소스만 검사하지만 실제로는 다른 요소가 존재할 수 있습니다. 예를 들어, OSCE 시험에서 오류의 원인으로서 검사자의 영향에 초점을 맞추고자 할 수 있다. G이론에서, 이를 일면 '학생(들)과 시험자(e)가 교차하는' 설계라고 한다: (s × e). 3명의 검사관이 5개 항목의 1-5 체크 리스트를 사용하여 3개의 서로 다른 스테이션에서 임상 학생의 코호트를 독립적으로 평가하는 OSCE를 고려해보자. 따라서 총 점수 범위는 5에서 25까지이며, 더 높은 표시는 각 스테이션에서 더 높은 수준의 성능을 나타냅니다. G이론을 이용하여 검사자들이 어느 정도의 측정 오차를 발생시키는지 알 수 있다. 그림 4의 SPSS 데이터 편집기에는 설명 목적으로 10명의 학생과 3명의 시험관만이 제시되어 있다.

A single facet design examines only a single source of measurement error in a test although in reality others may exist. For example, in an OSCE examination, we might like to focus on the influence of examiners as sources of error. In G-theory, this is called a one-facet ‘student (s) crossed-with-examiner (e)’ design: (s × e). Consider an OSCE in which three examiners independently rate a cohort of clinical students on three different stations using a 1–5 check list of 5 items. The total mark can therefore range from 5 to 25, with higher mark suggesting a greater level of performance in each station. Using G-theory, we can find out what amount of measurement error is generated by the examiners. For illustrative purpose, only 10 students and the three examiners are presented in the Data Editor of SPSS in Figure 4.

 

분석하기 전에 데이터를 재구성해야 합니다. 이를 위해 화면 상단의 데이터 메뉴에서 '구조조정'을 클릭하고 해당 지침을 따른다. 그림 5에는 재구성된 데이터 형식이 나와 있습니다.
Before analysing, the data needs to be restructured. To this end, from the data menu at the top of the screen, one clicks on ‘restructure’ and follows the appropriate instructions. In Figure 5, the restructured data format is presented.

 

[분산 성분]을 얻기 위해 다음 단계를 수행합니다.
To obtain the variance components, the following steps are carried out:

메뉴에서 '분석'과 '일반 선형 모형'을 각각 선택합니다. 그런 다음 '분산 구성 요소'를 클릭합니다. '점수'를 클릭한 다음 화살표를 클릭하여 '종속 변수'로 표시된 상자로 '점수'를 이동합니다. 학생과 시험관을 클릭하여 '임의 요인'으로 이동합니다. '분산 추정치'가 나타나면 확인을 클릭하면 결과에 대한 각 분산 소스의 기여도가 표 8과 같이 표시됩니다.

From the menus chooses ‘Analyse’, ‘General Linear Model’, respectively. Then click on ‘variance components’. Click on ‘Score’ and then click on the arrow to move ‘Score’ into the box marked ‘dependent variable’. Click on student and examiner to move them into ‘random factors’. After ‘variance estimates’ appears, click OK and the contribution of each source of variance to the result is presented as shown in Table 8.

표 8은 학생과 검사자와 관련된 추정 분산 성분이 각각 10.144와 1.578임을 보여줍니다. 전체 분산의 백분율로 표현하면 40.00%는 학생, 6.20%는 평가자에 의한 것임을 알 수 있다. 그러나 [학생들의 분산]은 학생 코호트 내에서 이러한 변동이 예상되기 때문에 측정 오차의 한 측면으로 간주되지 않으며, G이론 측면에서는 '측정 대상'(Mushquash & O'Connor)으로 불린다. 우리의 분석에 중요한 것은, 조사자들이 전체 변동성의 6.20%를 생성했다는 것을 나타내며, 이는 상당히 낮은 값으로 간주된다. 값이 높을수록 검사자가 시험에 미치는 영향에 대한 우려가 생깁니다. 잔차 분산은 특정 원인에 기인하지 않는 분산의 양이지만 서로 다른 면과 검정 측정 대상 사이의 교호작용과 관련이 있습니다. 이 예제에서는 분산의 53.80%인 13.656을 이 인자로 설명합니다.
Table 8 shows that the estimated variance components associated with student and examiner are 10.144 and 1.578, respectively. Expressed as a percentage of the total variance, it can be seen that 40.00 % is due to the students and 6.20 % to the examiners. However, the variance of the students is not considered a facet of measurement error as this variation is expected within the student cohort and in terms of G-theory, it is called the ‘object of measurement’ (Mushquash & O'Connor ). Importantly for our analysis, the findings indicate that the examiners generated 6.20% of the total variability, which is considered a reasonably low value. Higher values would create concern about the effect of the examiners on the test. The residual variance is the amount of variance not attributed to any specific cause but is related to the interaction between the different facets and the object of measurement of the test. In this example, 13.656 or 53.80% of the variance is accounted for by this factor.

표 8의 결과를 바탕으로, 우리는 이제 일반화 계수를 계산할 수 있는 위치에 있다. 이 경우 G-계수는 [학생 분산 성분]의 비율로 정의됩니다(표시됨). 
On the basis of the findings of Table 8, we are now in a position to calculate the generalisability coefficient. In this case, the G-coefficient is defined as the ratio of the student variance component (denoted 

) [학생 분산 성분과 잔차 분산의 합]에 대해 
) to the sum of the student variance component and the residual variance (denoted 

)를 심사관 수(k)로 나누고 다음과 같이 작성한다.
) divided by the number of examiners (k) (Nunnally and Bernstein ) and written as follows:

위에서 값을 삽입하면 다음과 같은 이점이 있습니다.
Inserting the values from above, this gives:

 

G-계수는 전통적으로 λ 2로 표현되며, 0에서 1.0 사이의 값을 갖는 잘 알려진 신뢰도 계수의 상대이다. (위에서 설명한 단일 면 설계의 G-계수는 (비이분성 데이터의 경우) 크론바흐의 알파 계수 및 (이분성 데이터의 경우) 쿠더-리처드슨 20과 동일하다는 점에 주목할 필요가 있다.) G-계수 값의 해석은 분산 성분에서 계산된 여러 오차원을 고려하여 검정의 신뢰도를 나타낸다는 것입니다. G-계수의 값이 높을수록, 우리는 학생들의 점수에 더 많이 의존할 수 있고(일반화할 수 있음) 연구 면study facet의 영향을 덜 받았다. 위의 예제에서 G-계수는 상당히 높은 값을 가지며 검사자에 대한 분산 성분은 낮습니다. 이는 수험생들이 채점에 큰 편차가 없었음을 보여주며, 학생들의 점수에 대한 자신감을 가질 수 있음을 보여준다.

The G-coefficient, traditionally depicted as ρ 2, is the counterpart of the well-known reliability coefficient with values ranging from 0 to 1.0. (It is worth noting that the G-coefficient in the single facet design described above is equal to Cronbach's alpha coefficient (for non-dichotomous data) and to Kuder–Richardson 20 (for dichotomous data). The interpretation of the value of the G-coefficient is that it represents the reliability of the test taking into account the multiple sources of error calculated from their variance components. The higher the value of the G-coefficient, the more we can rely on (generalise) the students’ scores and the less influence the study facets have been. In the above example, the G-coefficient has a reasonably high value and the variance component for examiners is low. This shows that the examiners did not have significant variation in scoring students and that we can have confidence in the students’ scores.

다면 디자인
A multi-facet design

OSCE 시험에는 심사관 외에도 고려해야 할 [여러 가지 잠재적 facet]이 분명히 있다. 예를 들어, 스테이션 수, SP 수 및 OSCE 체크리스트의 항목 수. 이제 이전 예에서 다면 설계 건물에 대한 분산 성분과 G-계수를 계산하는 방법을 설명하겠습니다. 이제 세 개의 스테이션 각각에는 SP와 학생 개개인의 종합 점수로 이어지는 5개 문항 체크리스트가 있습니다. 여기서 [시험관, 스테이션, SP 및 문항]은 학생 성과에 영향을 미칠 수 있으므로 측정 오류의 한 단면이다.
Clearly in an OSCE examination, there are a number of other potential facets that need to be taken into consideration in addition to the examiners. For example, the number of stations, the number of SPs and the number of items on the OSCE checklist. We will now explain how to calculate the variance components and a G-coefficient for a multi-facet design building on the previous example. Each of three stations now has a SP and a 5-item checklist leading to an overall score for each student. Here, examiners, stations, SPs and items can affect the student performance and hence are facets of measurement error.

그러나 현재 오류의 원인으로 숫자 항목의 영향에 관심이 있기 때문에 각 항목(i), 각 학생(s), 각 스테이션(st), 각 SP(sp) 및 각 검사자(e)에 대한 점수를 입력해야 합니다. 검사 데이터를 SPSS에 입력하고 재구성한 후 앞서 설명한 대로 분산 성분 분석을 수행합니다. 표 9는 OCSE 결과의 잠재적 측정 오류 소스에 대한 분산 성분의 가상 결과를 보여줍니다.
However, because we are now interested in the influence of the number items as a source of error, we need to input the score for each item (i), for each student (s), for each station (st), for each SP (sp) and for each examiner (e). After entering exam data into SPSS and restructuring it, analysis of variance components is carried out as described before. Table 9 shows the hypothetical results of variance components for potential sources of measurement error in the OCSE results.

표 9는 측정 오류의 원인 중 59.16%, 16.37%, 15.04가 각각 학생, 항목 및 검사자 간의 상호작용, 학생과 검사자 및 검사자 간의 상호작용에 의해 발생함을 보여준다. 다른 면들의 조합들 사이의 잔차 분산이 부족하다는 것은 이러한 상호작용으로 인해 학생 점수가 변동할 수 없으며 결과적으로 측정 오차로 이어지지 않는다는 것을 나타낸다. 표 9의 검사관에 대한 분산 성분 값(0.06)은 표 8(1.57)의 값과 다릅니다. 다면 행렬을 만들 때 모든 관측소에 대한 총점보다는 학생들의 개별 항목 점수를 사용하기 때문입니다. 이러한 결과는 또한 각 시험관이 학생에게 부여한 실제 점수(2.88%)에 대해 거의 이견이 없음을 나타낸다. 표 8에 나와 있는 각 면과 관련된 수치와 분산 성분의 값을 다음 방정식에 삽입할 수 있습니다.
Table 9 shows that 59.16 %, 16.37 % and 15.04 of the sources of measurement error are generated by interactions between student, item and examiner, interactions between student and examiner and student, respectively. The lack of residual variance between other combinations of facets indicates that student scores cannot fluctuate owing to these interactions and consequently they do not lead to any measurement error. The value for the variance component for examiners (0.06) in Table 9 differs from the value in Table 8 (1.57) because in creating the multi-facet matrix, we are using individual item scores from students rather than their total mark for all stations. These findings also indicate that there is little disagreement about the actual scores given to student by each examiner (2.88%). We can insert the values of the variance components and the numbers associated with each facet shown in Table 8 into the following equation:

 

분산 성분의 0 값은 삽입되지 않으므로 SP 및 스테이션을 제외합니다.

Zero values of variance components are not inserted, thus excluding SPs and stations.

이 예에서 G-계수는 높고 패싯의 분산 성분은 낮으므로 OSCE의 신뢰성은 매우 우수합니다. 특정 측면에 대해 더 높은 분산 성분 값이 발견되면 더 자세히 조사해야 합니다. 이로 인해 검사관에 대한 교육이 개선되거나 검사 목록 또는 스테이션 수의 항목을 수정할 수 있습니다. 이러한 가상 데이터로 나타난 높은 G 계수를 고려할 때, 우리는 원칙적으로 G의 상당히 높은 값을 유지하면서 개별 면에 대한 k의 값을 줄일 수 있으며, 따라서 OSCE 시험의 신뢰성을 유지할 수 있다. OSCE의 현실 세계에서, 이것은 단순화와 OSCE 심사 비용의 감소로 이어질 수 있다. Cronbach의 알파 통계량은 G에 대해 허용 가능한 값에 대해 0.7에서 0.95 사이의 다양한 견해를 가지고 있다. 검사 요인들이 측정 오류의 근원에 어떻게 영향을 미칠 수 있는지 보기 위해 일반화 방정식을 조작하는 이러한 능력은 [의사결정 연구 또는 D-연구]의 핵심에 있다. 따라서 G-이론과 D-연구는 Cronbach의 알파 통계를 측정하는 것만으로 숨겨진 검사에서 발생하는 다양한 과정에 대한 더 큰 통찰력을 제공한다. 이를 통해 평가자는 훨씬 더 구체적이고 증거에 기반한 방식으로 평가의 질을 향상시킬 수 있습니다.
In this example, the G-coefficient is high and the variance components of the facets are low, hence the reliability of the OSCE is very good. If higher values of variance components are found for particular facets, then they need to be examined in more detail. This might lead to better training for examiners or modifying items in checklists or the number of stations. Given the high G-coefficient shown with these hypothetical data, we could in principle reduce the values of k for individual facets whilst maintaining a reasonably high value of G and hence maintaining the reliability of the OSCE exam. In the real world of OSCEs, this could lead to simplifications and a reduction in the cost of OSCE examining. As for Cronbach's alpha statistic, there are different views concerning acceptable values for G ranging from 0.7 to 0.95 (Tavakol and Dennick , b). This ability to manipulate the generalisability equation in order to see how examination factors can influence sources of measurement error and hence reliability lies at the heart of decision study or D-study (Raykov & Marcoulides ). Thus G-theory and D-study provide a greater insight into the various processes occurring in examinations, hidden by merely measuring Cronbach's alpha statistic. This enables assessors to improve the quality of assessments in a much more specific and evidence-based way.

IRT와 래쉬 모델링
The IRT and Rasch modelling

테스트 생성자는 전통적으로 [CTT 모델]을 사용하여 테스트 테스트의 신뢰성을 정량화했습니다. 예를 들어, 항목 분석(항목 난이도 및 항목 식별), 전통적인 신뢰도 계수(예: KR-20 또는 Cronbach의 알파), 항목-합계 상관 관계 및 요인 분석을 사용하여 검정의 신뢰성을 조사합니다. 우리는 방금 어떻게 G 이론을 사용하여 신뢰도를 모니터링하고 개선하기 위해 검사 조건을 보다 정교한 분석을 할 수 있는지 보여주었다. CTT는 시험과 그 오류에 초점을 맞추지만, [학생들의 능력]이 시험 및 문항과 어떻게 상호작용하는지에 대해서는 거의 언급하지 않는다. 한편, IRT의 목적은 문항의 질을 향상시키기 위해 [학생의 능력]과 [문항의 난이도] 사이의 관계를 측정하는 것이다. 이러한 유형의 분석은 컴퓨터 적응 테스트(CAT)를 위한 더 나은 질문 뱅크를 구축하는 데도 사용될 수 있다.
Test constructors have traditionally quantified the reliability of exam tests using the CTT model. For example, they use item analysis (item difficulty and item discrimination), traditional reliability coefficients (e.g. KR-20 or Cronbach's alpha), item-total correlations and factor analysis to examine the reliability of tests. We have just shown how G-theory can be used to make more elaborate analyses of examination conditions with a view to monitoring and improving reliability. CTT focuses on the test and its errors but says little about how student ability interacts with the test and its items (Raykov & Marcoulides ). On the other hand, the aim of IRT is to measure the relationship between the student's ability and the item's difficulty level to improve the quality of questions. Analyses of this type can also be used to build up better question banks for Computer Adaptive Testing (CAT).

해부학 시험을 치르는 학생을 생각해 보세요. 학생이 항목 1을 올바르게 답할 수 있는 확률은 학생의 해부학적 능력과 항목의 난이도에 영향을 받습니다. 학생이 해부학 지식 수준이 높으면 1번 항목에 정답을 맞출 확률이 높다. 난이도가 낮은 항목(즉, 어려운 항목)의 경우 학생이 해당 항목을 올바르게 답할 확률은 낮습니다. IRT는 학생 시험 점수와 항목 난이도, 항목 판별, 항목 공정성, 추측 및 성별 또는 학년와 같은 기타 학생 속성과 같은 요인(파라미터)을 사용하여 이러한 관계를 분석하려고 시도한다. IRT 분석에서는 위의 parameters로 학생 능력의 교정을 나타내는 항목 맵뿐만 아니라 학생 능력과 올바른 항목 응답 확률 사이의 관계를 보여주는 그래프가 생성된다. 또한 나중에 설명하는 항목 및 학생에 대한 '적합' 통계를 보여 주는 표입니다.
Consider a student taking an exam in anatomy. The probability that the student can answer item 1 correctly is affected by the student's anatomy ability and the item's difficulty level. If the student has a high level of anatomical knowledge, the probability that he/she will answer the item 1 correctly is high. If an item has a low index of difficulty (i.e. a hard item), the probability that the student will answer the item correctly is low. IRT attempts to analyse these relationships using student test scores plus factors (parameters) such as item difficulty, item discrimination, item fairness, guessing and other student attributes such as gender or year of study. In an IRT analysis, graphs are produced showing the relationship between student ability and the probability of correct item responses, as well as item maps depicting the calibrations of student abilities with the above parameters. Also tables showing ‘fit’ statistics for items and students, to be described later.

다양한 형태의 IRT가 도입되었다. [항목 난이도]와 [학생 능력] 간의 관계만을 살펴보려면 단일 모수 로지스틱 IRT(1PL)를 사용한다. 이것은 1960년대에 이것을 추진했던 덴마크의 통계학자를 기리기 위해 라쉬 모델이라고 불린다. 래쉬 모형은 [개념적 능력]과 [항목 난이도]를 고려하여 학생이 문항에 올바르게 답할 확률을 평가합니다. 문항 변별도, 문항 난이도, 성별 또는 연구 년도와 같은 추가 매개 변수가 포함될 수 있는 경우 2-모수 IRT(2PL) 또는 3-모수 IRT(3PL)도 사용할 수 있다. 이 기사의 목적을 위해, 우리는 1PL 또는 래쉬 모델링에 집중할 것이다.
A variety of forms of IRT have been introduced. If we wish to look at the relationship between item difficulty and student ability alone, we use the one-parameter logistic IRT (1PL). This is called the Rasch model in honour of the Danish statistician who promoted it in the 1960s. The Rasch model assesses the probability that a student will answer an item correctly given their conceptual ability and the item difficulty. Two-parameter IRT (2PL) or three-parameter IRT (3PL) are also available where further parameters such as item discrimination, item difficulty, gender or year of study can be included. For the purposes of this article, we are going to concentrate on 1PL or Rasch modelling.

[래쉬 모델링]에서 학생들의 능력 점수 및 항목 난이도의 값은 해석을 쉽게 하기 위해 [표준화]된다.

• 평균을 표준화하면 학생 능력 수준은 0으로, SD는 1로 설정된다.
• 마찬가지로 평균 문항 난이도는 0으로, SD는 1로 설정된다. 

따라서 표준화 후 평균 점수 0점을 받은 학생은 평가 대상 항목에 대한 평균 능력을 갖게 된다. 1.5의 점수로, 학생의 능력은 평균보다 SD가 높은 1.5이다. 마찬가지로 난이도가 0인 항목은 평균 항목으로 간주되고 난이도가 2인 항목은 어려운 문항으로 간주됩니다. 일반적으로, 주어진 문항의 값이 양수이면 해당 항목은 해당 학생의 코호트에게 어렵고, 값이 음수이면 해당 문항은 쉽다.

In Rasch modelling, the scores of students’ ability and the values of item difficulty are standardised to make interpretation easier.

• After standardising the mean, student ability level is set to 0 and the SD is set to 1.
• Similarly, the mean item difficulty level is set to 0 and the SD is set to 1.

Therefore, after standardisation a student who receives a mean score of 0 has an average ability for the items being assessed. With a score of 1.5, the student's ability is 1.5, SDs above the mean. Similarly, an item with a difficulty of 0 is considered an average item and an item with a difficulty of 2 is considered to be a hard item. In general, if a value of a given item is positive, that item is difficult for that cohort of students and if the value is negative, that item is easy (Nunnally & Bernstein ).

학생 능력과 항목 난이도를 표준화하기 위해 표 10을 참고하여, 7명의 학생 해부학 시험에서 7개 항목에 대한 시뮬레이션된 이분법 데이터를 제시하여, 각 학생에 대한 학생 능력과 7개 항목의 난이도를 보여준다. θ라고 불리는, 학생의 능력을 계산하기 위해, 각 학생에 대해 부정확한 분수에 대한 올바른 분수의 비율의 자연 로그가 취해진다. 예를 들어 학생 2(θ2)의 능력은 다음과 같이 계산된다.
To standardise the student ability and item difficulty, consider Table 10, presenting the simulated dichotomous data for seven items on an anatomy test from seven students showing the student ability for each student and the difficulty level for each of the seven items. To calculate the ability of the student, which is called θ , the natural logarithm of the ratio of the fraction correct to the fraction incorrect (or 1 – fraction correct) for each student is taken. For example, the ability of student 2 (θ2) is calculated as follows:

이것은 학생 2의 능력이 평균 SD보다 0.89라는 것을 나타냅니다. b라고 불리는 각 항목의 난이도를 계산하기 위해, 각 항목에 대해 정확한 분수에 대한 잘못된 분수의 비율(또는 1 – 분수가 정확함)의 자연 로그가 계산됩니다. 예를 들어 항목 2의 난이도는 다음과 같이 계산한다.
This indicates that the ability of student 2 is 0.89 above the mean SD. To calculate the difficulty level of each item which is called b, the natural log of the ratio of the fraction incorrect (or 1 – fraction correct) to the fraction correct for each item is calculated. For example, the difficulty of item 2 is calculated as follows:

값이 -1.73이면 항목이 비교적 쉽다는 것을 나타냅니다. 이 표준화 프로세스는 모든 학생과 모든 항목에 대해 수행되며 Excel 스프레드시트(표 10)에서 쉽게 수행할 수 있습니다.
A value of −1.73 suggests that the item is relatively easy. This standardisation process is carried out for all students and all items and can easily be facilitated in an Excel spreadsheet (Table 10).

우리는 이제 [특정 능력을 가진 학생]이 [특정 항목 난이도를 가진 질문]에 정확하게 답할 확률을 추정하는 위치에 있다. 1PL의 경우 다음 방정식을 사용하여 확률을 추정합니다.
We are now in a position to estimate the probability that a student with a specific ability will correctly answer a question with a specific item difficulty. For 1PL, the following equation is used to estimate the probability:

여기서 p는 확률, θ 는 학생 능력, b는 항목 난이도입니다. 표 10을 참조하면, 학생 1의 능력은 평균 -0.28 SD 이하이며, 난이도 -1.73의 1번 문항이 정답으로 평균 이하이다. 위 공식을 기준으로 학생 1이 항목 1을 맞힐 확률은 [1/(1+e-(-0.28-(-1.73)))] = 0.12입니다. 학생 3의 능력 수준과 4번 항목의 난이도를 고려할 때, 학생이 3번 항목을 맞힐 확률은 [1/(1+e-(0.28-(0.28)] = [1/(1+e0)]입니다. = 0.50. 이는 학생 능력 수준과 항목 난이도가 일치할 경우 학생이 정답을 선택할 확률이 50%로 우연에 해당한다는 것을 보여준다. 
Where p is the probability, θ is the student ability and b the item difficulty. Referring to Table 10, the ability of student 1 is −0.28 SD below the average, and item 1, with a difficulty level of −1.73, was answered correctly, which is below the average. On the basis of the above formula, the probability that student 1 will answer item 1 correctly is [1/(1 + e−(−0.28−(−1.73))] = 0.12. Considering student 3's ability level and the difficulty of item 4, the probability that the student will answer correctly item 3 is [1/(1 + e−(0.28−(0.28))] = [1/(1 + e0)] = 0.50. This shows that if the level of student ability and the level of item difficulty are matched, the probability that the student will select the correct answer is 50%, which is equal to chance.

래쉬 분석의 기본 목표는 난이도와 학생 능력에 맞는 시험 항목을 만드는 것이다. 간단히 말해서, 학생들의 '똑똑함'은 항목의 '똑똑함'과 일치해야 한다.  표 11의 자료는 학생 능력과 항목 난이도의 관계를 더 자세히 조사하기 위해 표 10에서 추출한 자료와 위의 방정식을 사용하여 학생이 항목 난이도(b)로 항목 1에 답할 확률(p)을 정확하게 제시하였다.

The fundamental aim of Rasch analysis is to create test items that match their degree of difficulty with student ability. In simple terms, the ‘cleverness’ of the students should be matched with the ‘cleverness’ of the items. In order to further examine the relationship between student ability and item difficulty, the data in Table 11 shows the probability (p) that a student will answer item 1, with item difficulty (b), correctly given their ability (θ) using data taken from Table 10 and using the equation above.

 

문항 특성 곡선
Item characteristic curves

Rasch 분석에서, [문항 난이도]와 [학생 능력] 사이의 관계는 그림 6에 표시된 문항 특성 곡선(ICC)으로 그래픽으로 표현된다.
In Rasch analysis, the relationship between item difficulty and student ability is depicted graphically in an item characteristic curve (ICC) shown in Figure 6.

 

그림 6에서는 [문항 1]의 특성을 해석하기 위해 점선을 그립니다. -1.85의 능력을 가진 학생들이 이 질문에 올바르게 답할 확률은 50%입니다. 이것은 낮은 능력을 가진 학생들이 이 질문에 정확하게 대답할 수 있는 동등한 기회를 가지고 있다는 것을 암시한다. 또한 평균 능력(수치 = 0)을 가진 학생은 정답을 말할 확률이 80%입니다. 그 의미는 이 문제가 너무 쉽다는 것이다. 세타 축을 따라 어떤 항목이 곡선을 왼쪽으로 이동시키면 쉬운 항목이 되고, 어려운 문항은 곡선을 오른쪽으로 이동시킨다는 점에 유의해야 한다. 그림 8에 표시된 검사 분석에서 추출한 항목에 대한 ICC 곡선의 예는 그림 7에 나와 있습니다. 그림 7(a)는 어려운 문제(질문 101), 그림 7(b)는 쉬운 문제(질문 3)를 보여줍니다. 그림 7(c)는 평균 능력의 학생들이 정답을 낼 확률이 50%인 '완벽한' 문제(46번 문제)를 보여준다.
In Figure 6, dotted lines are drawn to interpret the characteristics of item 1. There is a 50% probability that students with an ability of −1.85 will answer this question correctly. This implies that student with lower ability have an equal chance of answering this question correctly. In addition, a student with an average ability (θ = 0) has an 80% chance of giving a correct answer. The implication is that this question is too easy. It should be noted that if an item shifts the curve to the left along the theta axis, it will be an easy item and a hard item will shift the curve to right. Examples of ICC curves for items taken from an examination analysis shown in Figure 8 are displayed in Figure 7. Figure 7(a) shows a difficult question (Question 101) and Figure 7(b) shows an easy question (Question 3). Figure 7(c) shows the ‘perfect’ question (Question 46) in which students of average ability have a 50% chance of giving the correct answer.

 

 

 

 

항목-학생 지도
Item-student maps

학생의 능력분포와 각 항목의 난이도는 항목-학생지도(ISM)에서도 나타낼 수 있으며, Winsteps®(Linacre, )와 같은 IRT 소프트웨어 프로그램을 활용하여 항목 난이도와 학생 능력을 함께 계산하여 표시할 수 있습니다. 그림 8은 지식 기반 테스트의 데이터를 사용하는 ISM을 보여줍니다. 지도가 두 쪽으로 갈라져 있다. [왼쪽]은 학생들의 능력을 나타내며, [오른쪽]은 각 문항의 난이도를 나타낸다. 각 학생의 능력은 '해시'(#)와 '점'(.)으로 표시되며, 문항은 문항 번호로 표시됩니다.

The distribution of students’ ability and the difficulty of each item can also be presented on an Item–student map (ISM). Using IRT software programmes such as Winsteps® (Linacre, ) item difficulty and student ability can be calculated and displayed together. Figure 8 shows the ISM using data from a knowledge-based test. The map is split into two sides. The left side indicates the ability of students whereas the right side shows the difficulty of each item. The ability of each student is represented by ‘hash’ (#) and ‘dot’ (.), items are shown by their item number. 

항목 난이도 및 학생 능력 값은 자연 로그를 사용하여 수학적으로 변환되며 측정 단위는 '로짓'이라고 합니다. 로짓 척도를 사용하면 값 간의 차이를 정량화할 수 있으며 척도의 동일한 거리는 동일한 크기입니다. 척도가 높을수록 항목 난이도와 학생 능력 모두 높아집니다. 'M', 'S', 'T' 문자는 각각 항목 난이도와 학생 능력의 평균, 표준 편차 1개와 표준 편차 2개를 나타냅니다. 항목 난이도의 평균이 0으로 설정되어 있습니다. 따라서, 예를 들어, 항목 46, 18, 28은 각각 0, 1, 그리고 -1의 항목 난이도를 갖는다. 로짓 능력이 0인 학생은 46, 60 또는 69번 항목에 올바르게 답할 확률이 50%입니다. 같은 학생이 항목 28과 62와 같이 덜 어려운 항목에 정확하게 답할 확률이 50% 이상이다. 또 같은 학생이 64번, 119번 등 더 어려운 항목에 정답을 맞출 확률은 50% 미만이다.
Item difficulty and student ability values are transformed mathematically, using natural logarithms, into an interval scale whose units of measurement are termed ‘logits’. With a logit scale, differences between values can be quantified and equal distances on the scale are of equal size (Bond & Fox ). Higher values on the scale imply both greater item difficulty and greater student ability. The letters of ‘M’, ‘S’ and ‘T’ represents mean, one standard deviation and two standard deviations of item difficulty and student ability, respectively. The mean of item difficulty is set to 0. Therefore, for example, items 46, 18 and 28 have an item difficulty of 0, 1, and −1 respectively. A student with an ability of 0 logits has a 50% chance of answering items 46, 60 or 69 correctly. The same student has a greater than 50% probability of correctly answering items less difficult, for example items 28 and 62. In addition, the same student has a less than 50% probability of correctly answering more difficult items such items 64 and 119.

그림 8의 ISM을 보면 이제 테스트의 속성을 해석할 수 있습니다. 

• 첫째, 학생분포는 학생들의 능력이 평균보다 높은 반면, 절반 이상의 문항은 평균보다 낮은 어려움을 가지고 있다.
• 둘째, [왼쪽 상단의 학생들]은 [오른쪽 하단의 문항]보다 '똑똑'하며, 이는 문항이 쉽고 도전적이지 않았다는 것을 의미한다.
• 셋째, 대부분의 학생들은 오른쪽 상단에 잘 어울리는 항목과 왼쪽 아래에 학생이 없는 항목과 반대쪽에 위치한다. 하지만 101, 40, 86, 29번 항목은 너무 어려워서 대부분의 학생들이 할 수 있는 능력 밖이다.

By looking at the ISM in Figure 8 we can now interpret the properties of the test.

• First, the student distribution shows that the ability of students is above the average, whereas more than half of the items have difficulties below the average.
• Second, the students on the upper left side are ‘cleverer’ than the items on the lower right side meaning that the items were easy and unchallenging.
• Third, most students are located opposite items to which they are well matched on the upper right and there are no students on the lower left side. However, items 101, 40, 86 and 29 are too difficult and beyond the ability of most students.

전반적으로, 이 예에서 학생들은 대부분의 문항보다 '더 똑똑하다'. 오른쪽 아래 사분면에 있는 많은 항목은 너무 쉬우므로 검사, 수정 또는 테스트에서 삭제해야 합니다. 마찬가지로, 어떤 항목들은 분명히 너무 어렵다. 래쉬 분석의 장점은 테스트 개발자가 항목의 심리학적 특성을 개선할 수 있도록 학생 및 항목 특성을 모두 캡슐화하는 다양한 데이터 디스플레이를 생성한다는 것이다. 항목을 학생 능력에 일치시킴으로써, 우리는 항목의 진실성과 유효성을 개선하고 컴퓨터 적응 테스트의 미래에 유용한 더 높은 품질의 항목 은행을 개발할 수 있다.
Overall, in this example, the students are ‘cleverer’ than most of the items. Many items in the lower right hand quadrant are too easy and should be examined, modified or deleted from the test. Similarly, some items are clearly too difficult. The advantage of Rasch analysis is that it produces a variety of data displays encapsulating both student and item characteristics that enable test developers to improve the psychometric properties of items. By matching items to student ability, we can improve the authenticity and validity of items and develop higher quality item banks, useful for the future of computer adapted testing.

수행능력 기반 평가에서 합격선 설정 방법: AMEE Guide No. 85 (Med Teach, 2014)
How to set standards on performance-based examinations: AMEE Guide No. 85
DANETTE W. MCKINLEY & JOHN J. NORCINI 

표준 설정 및 성능 기반 평가
Standard setting and performance-based assessments

수행능력 기반 평가에는 몇 가지 표준 설정 방법이 사용되었다. 상대적인 기준은 원하는 결과에 기초하여 설정되며(예: 상위 75명의 지원자를 학교에 입학시키는 것) 따라서 더 쉽게 결정되기 때문에, 본 가이드는 절대적인 표준 설정 방법에 초점을 맞출 것이다(비교는 표 1 참조). 이러한 방법에는 시험 자료나 시험 수행에 대한 검토가 포함되며, 결과적인 합격 점수는 주제 전문가 그룹의 판단에서 도출될 수 있다. 절대 표준 설정Absolute standard setting 접근법은 [시험 중심] 또는 [시험자 중심]이라고 한다.(Livingston & Zieky 1982).

• 시험 중심적인 방법을 사용할 때, 심사위원들은 시험 내용에 초점을 맞춘다. 앙고프(1971), 에벨(1972), 네델스키(1954) 방법은 시험 중심 표준 설정 방법의 예이다.
• 이와는 대조적으로 수험생 중심의 방법을 사용할 때, 심사위원은 수험생들의 성적에 초점을 맞춘다. 이러한 방법에는 대조군, 경계선 그룹 및 경계선 회귀 방법이 포함된다(Livingston & Zieky 1982; Wood et al. 2006). 수험생 중심 방법에서 judge의 임무는 심사 결과가 표준을 충족하는 데 필요한 지식과 기술을 가진 사람을 묘사하는지 여부를 결정하는 것이다(예: 최소 역량).

Several standard setting methods have been used with performance-based assessments. Because relative standards are set based on the desired result (e.g. admitting the top 75 candidates to a school) and are, therefore, determined more easily, this Guide will focus on absolute standard setting methods (See Table 1 for comparisons). These methods involve review of examination materials or examinee performance, and the resulting passing scores can be derived from the judgments of a group of subject matter experts. Absolute standard setting approaches have been referred to as either test-centred or examinee-centred (Livingston & Zieky 1982).

• When using test-centred methods, the judges focus on exam content. The Angoff (1971), Ebel (1972), and Nedelsky (1954) methods are examples of test-centred standard setting methods.
• In contrast, when using examinee-centred methods, judges focus on the performance of examinees. These methods include contrasting groups, borderline group, and borderline regression methods (Livingston & Zieky 1982; Wood et al. 2006). The judges’ task in examinee-centred methods is to determine whether the performance they review depicts someone possessing the knowledge and skills needed to meet the standard (e.g. are minimally competent).

객관식 문제(MCQ)를 포함하는 시험과 관련된 시험 중심 및 수험자 중심 접근법의 측면은 이전 AMEE 가이드(Bandaranayake 2008)에서 제시되었으며, 이러한 접근법 중 일부를 OSCE에 적용하는 방법이 여기에 제시된다. 구체적으로, 우리는 앙고프, 경계선 그룹, 경계선 회귀, 대조 그룹 및 시뮬레이션된 OSCE 데이터를 사용한 표준 설정의 절충 방법에 대한 지침을 제공할 것이다. 가이드의 나머지 부분은 표준설정연구 준비, 표준설정연구 실시, 합격점수 생성, 표준실행 및 유지의 4가지 섹션으로 구분된다. 

Aspects of test-centred and examinee-centred approaches, related to examinations containing multiple choice questions (MCQs), were presented in a previous AMEE guide (Bandaranayake 2008), and the application of some of these approaches to the OSCE are presented here. Specifically, we will provide guidance for the use of the Angoff, borderline group, borderline regression, contrasting group, and compromise methods of standard setting using simulated OSCE data. The remainder of the Guide is divided into four sections:

• preparing for the standard setting study,
• conducting the standard setting study,
• generating the passing score, and
• implementing and maintaining standards.

표준 설정 미팅 진행 : 수정된 Angoff
Conducting the standard setting meeting: modified Angoff

체크리스트 항목
Checklist items

[수정된 앙고프]를 체크리스트의 각 항목에 대한 표준을 설정하기 위해 사용하는 연구가 몇 가지 수행되었다(예: 다우닝 외 2003, 2006). 이 과정을 위해서는 체크리스트와 평점 제공 양식 등 모든 패널리스트에 대한 사례 자료를 준비해야 한다. 미팅 진행자는 등급을 표시하는 방법(플립 차트, 프로젝터)이 필요하며, 데이터 입력을 위한 양식을 준비하고 가능하면 각 사례 체크리스트에 대한 스프레드시트를 설정해야 합니다. 이를 통해 간단한 데이터 분석을 통해 문항, 심사자, 사례의 평균을 계산할 수 있습니다. 이 방식을 사용할 때, 패널리스트는 체크리스트의 항목을 검토하며, 과제는 [OSCE 체크리스트에 대해서, 기술된 조치를 정확하게 수행할 수 있는 performance standard을 충족하는 수험자(예: 최소 능력자)의 비율을 추정하는 것]이다.

Several studies have been conducted where the modified Angoff was used to set standards for each item in a checklist (e.g. Downing et al. 2003, 2006). For this process, it is necessary to prepare case materials for all panellists, including checklists and a form for providing ratings. The meeting facilitator will need a way to display the ratings (flip chart, projector) and should prepare forms for data entry and, if possible, set up spreadsheets for each case checklist. This will permit simple analyses of the data, calculating averages for items, judges, and cases. In these studies, panellists review the items on the checklist, and the task is to estimate the percentage of examinees meeting the performance standard (e.g. minimally competent) who will correctly perform the action described in the OSCE checklist.

표 2는 고령 환자의 낙상 사례에 대한 샘플 체크리스트를 보여준다. 성능 표준에 대한 논의와 사례 자료의 발표에 이어, 패널리스트는 그룹으로 처음 5개의 체크리스트 항목을 검토할 것을 권고한다. 이 예제에서 항목 3에 대한 평가자 10과 13의 등급 사이에는 큰 차이가 있습니다. 정의와 등급 과제에 대한 합의에 도달하는 것을 목표로, [15% 이상의 불일치]에 대한 논의가 촉진될 것이다. 불일치 항목이 [15% 이상]이면 회의 후 점검항목에 내용 관련 문제가 있는지 검토해야 한다. 이 항목은 합격 점수 결정에서 제거되어야 할 수 있으며, 패널리스트가 토론한 내용은 해당 결정을 내리는 데 유용할 수 있습니다. 15% 이상의 불일치는 토론을 통해 해결할 수 없는 항목이 있을 수 있지만, 이러한 항목이 많으면 안 됩니다. 그룹 등급 및 토론 후 패널리스트는 나머지 체크리스트 항목을 독립적으로 진행할 수 있습니다.
Table 2 shows a sample checklist for a case of a fall in an elderly patient. Following a discussion of the performance standard, and presentation of case materials, it is recommended that the panellists review the first five checklist items as a group. In the example, there is a large difference between the ratings of raters 10 and 13 on item 3. Discussion of discrepancies of 15% or more would be facilitated, with the goal of reaching consensus on the definition and the rating task. If there are items with discrepancies of 15% or more, they should be reviewed after the meeting to determine if there is a content-related problem with the checklist item. This item may need to be removed from determination of the passing score, and any discussion the panellists have can be useful in making that decision. There may be some items where discrepancies of 15% or more cannot be resolved through discussion, but there should not be many of these items. After group rating and discussion, panellists can proceed through the remaining checklist items independently.

이 예제에 사용된 표에는 모든 패널 목록의 평균 등급이 표시됩니다. 사례case의 합격 점수를 도출하기 위해 모든 항목과 패널리스트의 평균 등급을 계산했다. 이 예에서 합격 점수는 67%입니다. 수험생이 체크리스트 항목 중 67% 이상을 정확하게 채우면 합격점을 받을 수 있다. 다음은 수정된 Angoff 방법을 사용하여 [단일 사례에 대한 합격 점수를 결정하는 단계]입니다. 이 프로세스는 OSCE 관리에 포함된 스테이션에 대한 모든 체크리스트에서 반복된다. 패널리스트가 등급 지정 프로세스를 완료하면 데이터 입력을 시작할 수 있습니다. 각 경우에 대한 스프레드시트를 사용하여 데이터 입력을 용이하게 할 수 있습니다. items과 judges의 평균을 계산하면 각 사례에 대한 컷 점수가 생성됩니다. 평가 결과의 점수 및 보고에 따라, 합격 점수는 [사례별 합격 점수case passing scores를 평균]하거나 또는 [OSCE 콘텐츠 영역(예: 이력 검사, 신체 검사, 커뮤니케이션)을 평균]하여 OSCE에 대해 계산할 수 있다.

The table used for this example shows the average rating across all panellists. To derive the passing score for the case, the average rating across all items and panellists was calculated. In this example, the passing score would be 67%. If examinees correctly complete 67% or more of the items on the checklist, they would achieve a passing score for that case. These are the steps associated with using the modified Angoff method to determine the passing score for a single case. This process would be repeated with all checklists for stations included in the OSCE administration. Once panellists have completed their rating process, data entry can begin. Data entry can be facilitated by using a spreadsheet for each case. Calculating the mean across items and judges produces a cut score for each case. Depending on the scoring and reporting of assessment results, passing scores can be calculated for the OSCE by

• averaging case passing scores, or
• OSCE content domains (e.g. history taking, physical examination, communication).

경우들
Cases

수정된 Angoff는 체크리스트 항목 수준에서 판단을 수집하여 사용되었지만, 패널리스트가 사례 또는 스테이션 수준에서 판단을 내리는 것이 더 일반적이다. 이 접근법의 한 가지 근거는 [체크리스트의 항목이 상호 연관되어 있다]는 것이다. [특정 질문을 하거나, manoeuvre를 수행할 가능성]은 신체검사에서 [다른 질문이나 다른 발견]에 달려 있다. 앙고프가 사례 수준에서 실시될 경우 패널들의 과제는 OSCE 스테이션의 [점검표 내 개별 항목]이 아니라, [사례의 내용]에 따라 수행 기준을 충족할 수험생 비율을 추정하는 것이다. 또는 패널리스트에게 점검표 항목을 검토하고 [성능 표준을 충족하는 수험생(예: 최소 자격)이 충족할 것 같은 item의 비율]을 추정하도록 요청할 수 있다.
Although the modified Angoff has been used by gathering judgments at the checklist item level, it is more common to have panellists make their judgments at the case or station level. One rationale for this approach is that the items in a checklist are inter-related; the likelihood of asking a question or performing a manoeuvre is dependent on asking other questions or other findings in a physical examination (Ben-David 2000; Boulet et al. 2003). If the Angoff is conducted at the case level, the panellists’ task is making an estimation of the percentage of examinees who will meet the performance standard based on the content of the case, rather than the individual items within the checklist for the OSCE station (e.g. Kaufman et al. 2000). Alternately, the panellists can be asked to review the checklist items and estimate the percentage of items for which the examinees meeting the performance standard (e.g. minimally qualified) will get credit.

사례 자료는 패널리스트에 의해 검토되며, 데이터 입력 준비도 유사합니다. 그러나 표준 설정 프로세스의 일부로 분석할 사례 수에 따라 단일 스프레드시트를 사용할 수 있습니다. 표 3은 앞에서 언급한 시뮬레이션을 위한 샘플 스프레드시트 형식을 제공하며, 50명의 학생을 대상으로 한 연말 시험을 위한 5개의 OSCE 스테이션이 있다. 이 예제의 경우 5명의 심판이 있습니다. 다시 한 번 수행기준에 부합하는 수험생의 특성을 논의하고, 시험자료를 제시하고 검토하며 패널들이 채점 과제를 시작한다. 그 방법을 연습하는 것은 필수적이다. 우리의 예를 사용하면, 여섯 번째 사례가 패널들 간의 연습과 토론에 사용될 것이다. 이 경우 등급은 합격 점수를 생성하는 데 사용되지 않습니다. 모든 학생의 사례 점수(백분율 점수percent correct metric)는 표의 마지막 열에 표시됩니다. 만약 시간이 허락한다면, 패널리스트로부터 등급을 제출받은 이후에, 모든 학생들에 대해서 [스테이션에서 어떻게 수행했는지에 대한 정보]를 줄 수 있다. 그런 다음 패널리스트는 추정치estimates을 변경할 수 있습니다. Judges과 Stations의 평균을 계산하면 OSCE의 합격 점수를 얻을 수 있다.

Case materials are reviewed by the panellists, and the preparation for data entry is similar. However, a single spreadsheet may be used, depending on the number of cases to be analysed as part of the standard setting process. Table 3 provides a sample spreadsheet format for the simulation we mentioned earlier, with five OSCE stations for an end-of-year test of 50 students. For this example, there are five judges. Once again, the characteristics of the examinees meeting the performance standard are discussed, test materials are presented and reviewed, and panellists begin the rating task. Practicing the method is essential. Using our example, a sixth case would be used for practice and discussion amongst panellists. The ratings from this case would not be used to generate the passing score. The case scores (in percent correct metric) for all students are presented in the last column of the table. If time permits, panellists could provide their ratings and then be given information on how all students performed on the stations. They can then change their estimates. Calculating the mean across judges and stations provides the passing score for the OSCE.

표준 설정 미팅 실시: 경계 그룹
Conducting the standard setting meeting: borderline group

수정된 Angoff 접근법(체크리스트 항목 및 사례 수준)이 OSCE 및 표준화된 환자 검사의 합격 점수를 결정하는 데 일반적으로 사용되지만, 패널리스트는 항목별 학점을 받거나 사례를 정확하게 관리할 수 있는 [수험생의 비율을 추정하는 것이 어렵다]고 생각할 수 있다. OSCE와 함께 자주 사용되는 [시험 자료보다는 수험생 성과에 초점을 맞추는 방법]이 [경계선 그룹 방식]이다. 경계선 그룹 방법은 "경계선" 수험자의 특성(예: 지식, 기술 및 능력)을 식별해야 한다. ["경계선" 수험생]은 지식과 기술이 적절하지 않지만, 부적절하지도 않은 수험생이다. 평가 자료(또는 실제 시험자 성과)는 패널리스트에 따라 명확한 실패, 경계선 또는 명확한 합격으로 분류됩니다. 그런 다음 [통과 점수]는 [경계선 그룹의 중위수(즉, 50번째 백분위수) 점수]로 설정된다(예: Rothman & Cohen 1996).

While both modified Angoff approaches (checklist items and case level) are commonly used to determine passing scores in OSCE and standardised patient examinations, panellists may find the task of estimating the percentage of examinees meeting the performance standard who will receive credit for items or who will correctly manage the case challenging (Boulet et al. 2003). A method that focuses on examinee performance rather than examination materials that is frequently used with OSCEs is the borderline group method. The borderline group method requires the identification of the characteristics (e.g. knowledge, skills, and abilities) of the “borderline” examinee. The “borderline” examinee is one whose knowledge and skills are not quite adequate, but are not inadequate (Livingston & Zieky 1982). Assessment materials (or actual examinee performances) are categorised by panellists as clear fail, borderline, or clear pass. The passing score is then set at the median (i.e. 50th percentile) score of the borderline group (e.g. Rothman & Cohen 1996).

OSCE에서 사용된 이 방법의 수정 중 하나는 [OSCE 시행 중에 수집된 판단을 사용]하는 것이다. 이 수정안에서는 심판 패널이 사용되지 않으며, 대신 관찰자는 각 스테이션에 대한 합격 점수를 도출하는 데 사용되는 정보를 제공한다. 전문가(예: 의사, 교수진)가 OSCE 관측소 점수를 매기는 데 사용되는 경우, 본 성과를 "경계선"으로 간주할지 여부를 질문할 수 있다. 이 접근 방식은 [시험이 진행되는 동안 심사관의 판단을 모아서 시간을 절약]할 수 있다. 시험관이 성적이 경계선으로 간주되는 수험생을 식별하면 '경계선'으로 분류된 모든 수험생의 중간 점수를 찾아 합격 점수를 계산할 수 있다.
One modification to this method that has been used with OSCEs is to use the judgments gathered during the OSCE administration (e.g. see Reznick et al. 1996). In this modification, a panel of judges is not used; instead, observers provide information used to derive the passing score for each station. If experts (e.g. physicians, faculty members) are used to score the OSCE stations, they can be asked whether the performance they have seen would be considered “borderline.” This approach can save time by gathering examiners’ judgments while the examination is being administered. Once examiners have identified examinees whose performance is considered borderline, the passing score can be calculated by finding the median score of all examinees who were classified as “borderline.”

이 접근 방식을 설명하기 위해 표 4에 제시된 수정된 Angoff 접근 방식에 사용된 것과 동일한 데이터 세트를 사용할 것이다. 50명의 학생들이 시험을 보았고, 시험관들은 관측된 성능이 각 역에서 "명백한 실패", "경계선", "명백한 통과" 또는 "우수"인지 여부를 나타내는 등급을 제공했다. 50명의 학생들 중, 9명은 OSCE 역에서 "경계선" 공연을 보여준 것으로 생각되었다. 측점에 대한 합격 점수를 도출하기 위해 중앙값(즉, 50번째 백분위수) 점수가 계산되었다. 이 예제의 경우 합격 점수는 스프레드시트 소프트웨어를 사용하여 식별되었습니다. MEDIAN (C23, C26, C29, C36, C37, C42, C42, C43, G2, G6); 여기서 "C"와 "G"는 OSCE 점수가 위치한 열을 나타내며 숫자는 경계선 수험자의 점수를 나타내는 행을 나타낸다. 이 예에서는 중위 점수가 64%이므로 64% 이상의 점수를 받은 수험생이 해당 스테이션을 통과하게 됩니다.

To illustrate this approach, we will use the same data set used for the modified Angoff approach, which is presented in Table 4. Fifty students were tested, and examiners provided a rating indicating whether the observed performance was a “clear fail,” “borderline,” “clear pass,” or “superior” at each station. Of the 50 students, nine were thought to have demonstrated “borderline” performance at the OSCE station. To derive the passing score for the station, the median (i.e. 50th percentile) score was calculated. For this example, the passing score was identified using spreadsheet software: MEDIAN (C23,C26,C29,C36,C37,C42,C43,G2,G6); where “C” and “G” indicate the columns where OSCE scores are located and the numbers indicate the rows for the scores of the borderline examinees. In this example, the median score is 64%, so examinees with scores of 64% or higher would pass the station.

이 접근법의 수정은 캐나다 의학 평의회Medical Council of Canada 에 의해 사용되며, 6점 등급 척도가 사용된다: 열등, 열등, 국경 불만족, 국경 만족, 양호 및 우수. [경계선 불합격]과 [경계선 합격]으로 평가된 수험생의 평균 스테이션 점수는 스테이션에 대한 합격 점수를 도출하기 위해 계산된다. 이 [수정 경계선 그룹 방법]은 스테이션에 대해 "경계선" 등급을 받은 수험생이 충분히 있을 때 잘 작동한다. 그러나 합격점수의 안정성은 [경계선 불만족]과 [경계선 만족]으로 분류된 수험자 수에 따라 달라진다. 만약 적은 수의 수험생만이 "경계선"으로 평가된다면, 그들의 스테이션 점수의 평균을 바탕으로 합격 점수를 계산하는 것은 안정적이지 않을 것이다. 즉, 두 개 또는 세 개의 점수에서 도출된 컷 점수와 관련된 신뢰성은 매우 낮을 가능성이 높다.
A modification of this approach is used by the Medical Council of Canada (Smee & Blackmore 2001), where a six-point rating scale is used: inferior, poor, borderline unsatisfactory, borderline satisfactory, good, and excellent. The mean station score for those examinees rated borderline unsatisfactory and borderline satisfactory is calculated to derive the passing score for the station. This Modified Borderline Group Method works well when there are enough examinees who were rated “borderline” for the station. However, the stability of the passing score is dependent on the number of examinees in the borderline unsatisfactory and borderline satisfactory categories. If few examinees are rated “borderline”, then calculating the passing score based on the mean of their station scores are not likely to be stable. That is, the reliability associated with a cut score derived from two or three scores is likely to be very low.

이러한 잠재적 단점을 극복하기 위해 Wood 등이 [회귀 접근법]을 연구하였다. OSCE 점수의 전체(모든 응시자) 범위를 사용하는 것은 소수의 수험생만 참여한 경우에 특히 유용할 수 있다. 경계선으로 분류된 수험생의 수가 매우 적을 수 있기 때문에, 결과적인 합격 점수는 모든 점수를 사용했을 때보다 정확도가 떨어질 수 있다. 이 수정된 방법에서

• [체크리스트 점수]는 종속 변수이며,
• [등급rating]은 독립 변수입니다.

회귀 분석의 목적은 스테이션에서 "경계선"으로 분류된 수험생의 체크리스트 점수를 예측하는 것이다.
To overcome this potential disadvantage, a regression approach was studied by Wood et al. (2006). Using the entire range of OSCE scores can be particularly useful if only a small number of examinees have participated. Because the number of examinees classified as borderline could be very small, the resulting passing score could be less precise than if all scores were used (Wood et al. 2006). In this modification,

• the checklist score is the dependent variable;
• the rating is the independent variable.

The goal of the regression analysis is to predict the checklist score of the examinees classified as “borderline” for the station.

경계 회귀 분석 방법은 간단하며 Microsoft Excel 워크시트를 사용하여 수행할 수 있습니다. 이 방법에 대한 자세한 내용은 그림 1-5에 나와 있으며, 7가지 단계를 설명합니다.
The borderline regression method is straightforward, and can be done using a Microsoft Excel worksheet. Details on the method are provided in Figures 1–5, which depict a series of seven steps.

• 1단계: OSCE 점수 및 검사자 등급에 대한 스프레드시트를 준비합니다.
• 2단계: "데이터" 탭을 클릭하고 팝업 창이 나타나면 "데이터 분석"을 선택합니다. 선택할 분석 도구는 "회귀"입니다.
  
• 3단계: "입력 Y 범위"를 식별합니다. 예측되는 항목입니다. 이 경우 C열의 OSCE 점수입니다.
  
• 4단계: "입력 X 범위"를 식별합니다. 점수 예측에 사용할 항목입니다. 이 경우 D열의 "검사자 PF1"이 제공하는 등급이 선택된다.
  
• 5단계: 분석 결과의 위치를 확인합니다. 이 예제에서는 스프레드시트에 "시트 3"이라는 이름을 지정했습니다. 회귀 분석 창(오른쪽 위)에서 확인을 클릭합니다.
  
• 6단계: 회귀 분석("요약 출력")의 출력은 "시트 3"에 있습니다.
  
• 7단계: 합격 점수를 도출하는 공식은 다음과 같습니다.
  
  • 통과 점수 = (정격* " × 변수 1") + 가로채기.
    
  • 이 예에서 합격 점수는 75.4 = (2 × 11.561) + 52이다.326
    
  • 여기서 2는 등급의 중위수이고, 11.561은 "× 변수 1"이며, 52.326은 절편이다.
• Step 1: Prepare a spreadsheet of OSCE scores and examiner ratings.
• Step 2: Click on the tab labelled “Data,” and when the pop-up window appears, select “Data Analysis.” The analysis tool you will select is “Regression.”
• Step 3: Identify the “Input Y Range” – what will be predicted. In this case, it is the OSCE scores in Column C.
• Step 4: Identify the “Input X Range” – what will be used to predict scores. In this case, the ratings provided by “Examiner PF1” in Column D will be selected.
• Step 5: Identify the location for analysis results. In the example, we gave the spreadsheet the name “Sheet 3.” Click OK in the “Regression” window (upper right side).
• Step 6: The output from the regression (“Summary Output”) is in “Sheet 3.”
• Step 7: The formula for deriving the passing score is:
  • passing score = (median of ratings* “ × Variable 1”) + Intercept.
  • For this example, the passing score would be 75.4 = (2 × 11.561) + 52.326
  • where 2 is the median of the ratings, 11.561 is the “ × Variable 1”, and 52.326 is the intercept.

검토 결과, 스테이션의 평가자가 특히 가혹하다는(또는 관대하다는) 결론으로 이어지는 경우, 합격 점수는 추정의 표준 오차(요약 출력에 "표준 오차"로 표시됨)에 의해 조정될 수 있다.
The passing score could be adjusted by the standard error of estimation (labelled “Standard Error” in the Summary Output), if review leads to the conclusion that the examiner at a station was particularly harsh (or lenient).

 

 

표준 설정 미팅 수행: 대조 그룹
Conducting the standard setting meeting: contrasting groups

[대조 그룹 방법]을 사용하려면 패널리스트가 검사자의 작업을 검토하고, 수행능력을 [허용되는 것] 또는 [허용되지 않는 것]으로 분류해야 합니다. 교육에서, 시험 외부 정보는 수험자를 이러한 범주로 분류하는 데 사용된다(햄블턴 외 2000) 유사한 내용의 다른 조치들이 있을 때, [두 그룹의 수험생]을 확인한다. 그런 다음 성능 표준이 확립된 테스트의 점수를 사용하여 [분포(그룹별로 하나씩)를 생성]하고, [분포를 비교]하여 [중복 정도를 결정]한다. 이는 '유능하다'고 평가되는 각 항목별, 점수 수준별 수험생 비율을 표로 표시해 이뤄진다. 합격 점수는 수험생의 약 50%가 유능하다고 판단되는 지점이다. 
The Contrasting Groups method requires panellists to review examinee work and classify the performance as acceptable or unacceptable (Livingston & Zieky 1982). In education, information external to the test is used to classify the examinees in these categories (Hambleton et al. 2000). When other measures with similar content are available, two groups of examinees are identified. Then, scores from the test on which performance standards are being established are used to generate distributions (one for each group), and the distributions are compared to determine their degree of overlap. This is done by tabulating the percentage of test-takers in each category and at each score level who are considered “competent”. The passing score is the point at which about 50% of the test-takers are considered competent.

보건 전문 교육에서 검사 프로그램의 경우, OSCE에서 측정한 것과 동일한 기술을 평가하는 외부 조치를 찾기 어렵다. 의료 교육에서 가장 일반적으로 사용되는 변형은 패널이 [관심 측정(즉, OSCE 또는 표준화된 환자 검사)]에 대해, [패널이 검토한 수행능력]이 [수행능력 표준과 관련된 특성]을 충족하는지 여부를 결정하도록 하는 것이다. [대조 그룹 방법]을 변형한 한 가지 예는 수행능력을 "competent"으로 평가하는 심사위원 수를 시험 점수로 회귀시켜 합격 점수를 도출하고, 패널리스트의 50%가 성과를 유능하다고 평가하는 지점에서 합격 점수를 설정했다.

For examination programmes in health professions education, it is difficult to find an external measure that assesses the same skills as those measured in the OSCE. The variation most commonly used in medical education is to have panellists decide whether the performance they review on the measure of interest (i.e. the OSCE or standardised patient examination) meets the characteristics associated with the performance standard. One example of a variation on this approach derived the passing score by regressing the number of judges rating the performance as “competent” to the test scores, and set the passing score at the point at which 50% of the panellists rated the performance as competent (Burrows et al. 1999).

[대조 그룹 방법]의 또 다른 [변형]에서, 패널들은 시험 점수에 대한 지식 없이, 시험에서 수험자들의 성과를 판단했다. 그런 다음 통과 점수는 [두 점수 분포의 교차점]으로 식별되었다. 이전 예제를 사용하여 이 접근 방식의 사용을 설명하겠습니다. 50명의 학생들이 시험을 보았고, 시험관은 관찰된 성과가 "실패" 또는 "합격"으로 간주되는지 여부를 나타내는 등급을 제공했다. 표 5는 시험관이 "실패" 또는 "합격"으로 평가한 수험자의 점수 범위와 개수가 포함된 데이터 세트를 보여준다. "Examiner's Decision"이라는 라벨이 붙은 칸 외에, 해당 범위 내의 점수를 가진 총 응시자 수가 제공된다. 이 예에서 심사관의 등급은 점수 범위와 별개입니다. 대신, 점수는 다른 평가자가 작성한 체크리스트를 기반으로 한다고 가정하십시오. 그 결과는 평가자가 확인한 수험생들이 가장 낮은 점수 범위에서도 합격으로 고려했음을 보여준다. 'Pass rate'이란 칸은 합격점을 점수 범위 바로 위에 설정했을 경우 합격할 수 있는 수험생 비율을 표시한 것이다.
In another variation of the contrasting groups method, panellists judged the performance of examinees on the test of interest without knowledge of their test scores (Clauser & Clyman 1994). The passing score was then identified as the intersection of the two score distributions. We will illustrate the use of this approach using our earlier example. Fifty students were tested, and the examiner provided a rating indicating whether the observed performance was considered “failing” or “passing.” Table 5 shows the data set with score ranges and counts of examinees rated “fail” or “pass” by the examiner. In addition to the columns labelled “Examiner's Decision,” the total number of examinees with scores within that range is provided. In this example, the examiner's ratings are separate from the score range; instead, imagine that the scores are based on a checklist completed by another rater. The results show that the rater identified examinees considered passing even in the lowest part of the score range. The column labelled “Pass rate” is an indication of the percentage of examinees that would pass if the passing score was set just above the score range.

 

예를 들어 합격 점수를 50%로 맞추면 46명의 수험생이 합격하고 합격률은 92%가 된다. 그림 6은 점수 분포의 중첩을 보여줍니다. Clauser & Clyman(1994)이 연구한 접근 방식을 고려할 때, 교차점은 65%의 권장 합격 점수를 생성할 것이다. 65% 이상 수험생은 합격하고 64% 이하 수험생은 불합격한다.
For example, if the passing score was set at 50% correct, 46 examinees would pass, and the pass rate would be 92%. Figure 6 illustrates the overlap in the score distribution. Considering the approach studied by Clauser & Clyman (1994), the point of intersection would generate a recommended passing score of 65%. Examinees with score of 65% or higher would pass, and those with score of 64% or lower would fail.