평가의 공정성 수호하기: 어떻게 교수자가 공동-실천하는가 (Med Educ, 2022)
Safeguarding fairness in assessments—How teachers develop joint practices
Linda Barman1 | Cormac McGrath2 | Staffan Josephsson3 | Charlotte Silén4 | Klara Bolander Laksov2,4

1 소개
1 INTRODUCTION

보건 전문가 교육에서 [학생 학습에 대한 평가]는 중심적이지만 어려운 과제이다. 한 가지 과제는 미리 정의된 표준의 적용을 통해 투명성을 달성하는 동시에 교사의 전문적인 판단을 인정하는 것이다. 지난 수십 년 동안 성과 기반 및 역량 기반 커리큘럼 개혁은 [투명성]과 [공공 책무]의 강화를 추진해 왔다. 그러한 투명성을 달성하기 위한 한 가지 방법은 평가 기준을 명시하는 것이다. 그러나 역량, 평가 타당성 및 신뢰성을 포착하는 의미 있는 기준의 개발이 논의된다. 명시적 채점 기준은 학생들이 학습할 것으로 기대되는 내용의 투명성을 높이는 것으로 알려져 있지만, ['일부' 역량만을 선호함]으로써 [역량의 통합적 평가]를 위험에 빠뜨릴 수 있다. 
The assessment of student learning in health professions' education is a central, yet challenging task.1, 2 One challenge involves achieving transparency through the application of pre-defined standards, while also acknowledging teachers' professional judgements. For the past decades, outcome-based and competency-based curriculum reforms have pushed for enhanced transparency and public accountability.3-5 One way to achieve such transparency has been to make the assessment standards explicit.3, 5 However, the development of meaningful criteria capturing competency, assessment validity and reliability are debated.5-9 Explicit grading criteria are known to increase the transparency of what students are expected to learn but may endanger the assessment of integrated competency in favour of ‘pieces of’ competencies.10-12 

다양한 평가 방법의 결과와 평가자 등급의 변동 이유(판단 및 피드백 제공의 숙련도 포함)에 대해서는 많이 알려져 있지만, [임상 교사가 어떤 식으로 평가 관행을 개발하고 평가 표준을 이해하는지]에 대해서는 거의 알려져 있지 않다. Gordon과 Cleland16은 최근 문맥상 변화 관행을 이해하기 위한 비선형 접근법을 요구했다. 이 서술적 연구는 이러한 비선형 접근법을 사용하여 보건직 교사들이 시간에 따라 평가 관행에 대해 어떻게 가고, 명확한 평가 기준을 강조하는 정책과 관련하여 경험적 기반 발견을 기여함으로써 변화 관행에 대한 복잡성을 풀어나간다. 본 연구의 목적은 학생들의 임상 역량을 평가하기 위한 공유 기준이 개발 및 구현될 때 교사의 평가 관행이 어떻게 바뀔 수 있는지를 이해하는 것이다.

While much is known concerning the outcomes of different assessment methods,13 and the reasons for variation in assessor ratings including proficiency in making judgements and providing feedback,14, 15 little is known about how clinically oriented teachers develop assessment practices and make sense of assessment standards. Gordon and Cleland16 recently called for non-linear approaches to understand change practices in context. This narrative study uses such a non-linear approach to unravel the complexity of change practices by contributing empirical-based findings concerning how health professions teachers go about their assessment practice, over time, and in relation to policies emphasising clear assessment criteria. The aim of the present study is to understand how teachers' assessment practice may change when shared criteria for assessing students' clinical competency are developed and implemented.

1.1 평가 및 기준에 대한 교사의 접근 방식
1.1 Teachers' approaches to assessment and standards

평가자마다 평정이 다른 이유에 대해 여러 가지 설명이 있다. 예를 들어, 학생 성취도는 [개별 특성의 사회적 분류]에 기초하여 판단된다. Kogan 등은 교수진의 임상 기술 평가 사이에 변화를 초래하는 몇 가지 요인을 보고한다. 그들은 교육 환경, 독특한 임상적 만남, 제도적 문화와 같은 [평가 상황에서 맥락적 요인의 영향]을 강조한다. 17 [교사의 인식론적 관점]은 또한 그들의 평가 관행에 영향을 미치는 것으로 알려져 있다. 이러한 기본적인 가정은 '생명을 가지게 되며come to life' 의료 전문가들이 의료행위를 하는 [사회 및 문화적 맥락]의 통합된 부분이다.20 [제정된 견해enacted view]는 평가자의 판단 사이의 차이를 설명할 수 있으며, 또한 연구에 따르면 교사들은 평가의 기능을 다른 방식으로 고려할 수 있다. De Jongge 등은 작업 기반 성과 평가의 다양한 관점에 관한 문헌의 주요 주제를 확인했습니다.

• (1) 학습에 대한 평가 대 학습에 대한 평가, 
  
• (2) 역량의 전체론적 개념화 대 분석적 개념화 
  
• (3) 심리측정학 대 사회구성주의 접근법 

There are a number of explanations as to why assessors' ratings differ, for example that student performance is judged based on social categorisations of individual charachteristics.14 Kogan et al.17 report several factors leading to variation between faculty members' assessments of clinical skills. They emphasise the influence of contextual factors in the assessment situation, such as the educational setting, the unique clinical encounter and the institutional culture.17 Teachers' epistemological views are also known to influence their assessment practices.4, 18, 19 Such fundamental assumptions ‘come to life’ and are an integrated part of the social and cultural context in which health professionals practice.20 Enacted views may explain the variation between assessors' judgements, and also, research suggest that teachers regard the function of assessment in different ways.15, 18, 21 de Jonge et al.21 identified key themes in the literature regarding different perspectives of work-based performance assessments:

• (1) assessment for learning versus assessment of learning,
• (2) holistic versus analytical conceptualisations of competence and
• (3) psychometric versus social-constructivist approaches.

Hodges22는 [심리측정학 담론]이 평가에 관한 [의학 교육 연구]뿐만 아니라 [교육자]들 사이에서 사고와 실천의 한 방식이었던 방법을 상세히 설명한다(예를 들어 숫자를 이용한 피드백을 제공하는 것이 여기에 해당한다). 단어보다 [숫자를 사용]하는 것은 철학적 가정을 반영하고 시간을 절약할 수 있지만, 연구원들은 이런 방식을 주의할 것을 촉구하고, [평가와 피드백 방법의 조합]의 가치를 강조하며, 다른 목적에 도움이 될 수 있다고 제안한다.23 유사한 논거를 사용하여, 프로그래밍 평가의 옹호자들은 학생들의 능력을 다양한 방법으로 포착하는 더 긴 기간에 걸친 다양한 형성적 및 종합적 평가 방법을 제안한다.1, 24

Hodges22 details how the psychometric discourse has not only dominated the medical education research regarding assessments but also how it has been a way of thinking and practising among educators, for example, by providing feedback using numbers. The use of numbers rather than words reflects philosophical assumptions and may save time, but researchers urge caution and suggest a combination of rating and feedback methods could be valuable and serve different purposes.23 Using a similar rationale, advocates of programmatic assessment suggest a variety of formative and summative assessment methods over longer periods of time that capture students' capabilities in various ways.1, 24

많은 연구가 설명적 요인과 성공적인 평가 방법의 확인에 관한 것이지만, 시간이 지남에 따라 교사들의 시각이 어떻게 변할 수 있는지에 대한 연구는 거의 없다. 본 논문에서, 우리는 교사의 관행 개발을 다루고, 학생들의 평가 표준, 자유방임주의 접근법, 명시적 접근법, 사회-건설주의 접근법 및 실천 공동체 접근법에 대한 교사의 다양한 접근 방식을 개략적으로 설명하는 O'Donovan 등의 19 프레임워크를 적용한다.19

• 평가에 대한 [자유방임적 접근법]은 학생들이 기준이 어떻게 정해지고 질이 어떻게 평가되는지를 점차적으로 '알게' 된다는 것을 의미한다. 자유방임주의로 접근하는 교사들은 우연한 방식으로 비공식적으로 전달되는 암묵적인 기준에 따라 성과를 판단한다.
• [명시적 접근법]은 기준을 명시적으로 그러나 수동적으로 명확히 설명하는 평가 기준에 의해 특징지어진다. 이 접근법은 교사들이 소위 명시적인 기준에 너무 많이 의존하게 만든다는 비판을 받아왔다.
• [사회 구성주의 접근법]은 평가 관행과 관련하여 공동 참여를 인정한다. 학생들은 적극적으로 참여하며, 다양한 활동을 통해 평가 기준에 익숙해져 실제 의미에 대한 이해를 형성합니다.6
• 네 번째 접근법은 벵거의 26가지 [실천 공동체 이론]에 기초한다. 교사와 학생이 평가 실천에 상호 참여하는 것이 중요하다는 점을 인정하며, 이를 통해 학습 공동체 내의 명시적 기준과 암묵적 지식이 논의되고 공유되어 상호 이해를 형성한다.

While much research concern the identification of explanatory factors7, 14, 17 and successful methods for assessments,13, 25 little is devoted to how teachers' views may change over time. In this paper, we address teachers' development of practices and apply O'Donovan et al.'s19 framework, which outlines teachers' different approaches to developing students' understanding of assessment standards, the laisse-faire approach, the explicit approach, the social-constructivist approach and the community of practice approach.19 

• Practising the laisse-faire approach to assessment means students gradually come to ‘know’ how standards are set and how quality is assessed. Teachers with a laissez-faire approach judge performances according to tacit standards that are informally communicated in serendipitous ways.
• The explicit approach is characterised by assessment criteria that articulate standards explicitly but passively. This approach has been criticised for making teachers rely too much on so-called explicit criteria.
• The social-constructivist approach acknowledges joint participation with respect to evaluative practice. Students are actively engaged and, through various activities, become familiar with assessment criteria to create an understanding of what they mean in practice.6 
• The fourth approach builds on Wenger's26 theory of community of practice. It acknowledges the importance of teachers' and students' mutual engagement in the assessment practice, whereby explicit standards and tacit knowledge within the learning community are discussed and shared to form mutual understanding.

2 방법
2 METHODS

2.1 서술적 연구 접근법
2.1 A narrative research approach

이 연구는 인간이 경험을 서술형으로 구성함으로써 어떻게 그들의 경험에 의미를 부여하는가에 대한 서술 이론에 기초하고 있다. [서사적 감각 형성]은 [사람들이 행동과 경험을 설명하기 위해 과거, 현재, 미래의 사건들을 서술로 연결시키는 것]을 의미한다. 브루너는 세상을 이해하는 [두 가지 보완적인 방법]이 있다고 주장한다. [논리-과학적] 그리고 [서사적]. 

• [과학]은 일반적인 원인을 찾기 위해 논리를 사용하는 첫 번째 것과 경험적 탐구를 통해 검증 가능한 진리를 검증하는 것에 의해 뒷받침된다. 그러나
• [서사적 감각 형성]은 인간이 일상 생활에서 다른 사건들을 연결함으로써, [자신과 타인의 행동을 어떻게 설명하는지]를 다룬다. 이러한 [스토리가 있는 연결]이 진화하면 모순과 여러 의미를 포함할 수 있습니다. 

This study is based on narrative theory about how humans bring meaning to their experiences by structuring them as narratives.27-29 Narrative sense-making means that people connect past, present and future events into narratives to explain actions and experiences.30, 31 Bruner27 argues that there are two complementary ways to make sense of the world: the logico-scientific and the narrative.

• Science is underpinned by the first, in which logic is used to find general causes, and through empirical explorations test verifiable truths.
• Narrative sense-making, however, deals with how humans explain the actions of themselves and others by making connections between different events in their everyday lives.27 When these storied connections evolve, they may contain contradictions and multiple meanings.28 

이 연구의 근거는 [실천의 발전]은 모순으로 가득 차 있고, 교육 실천을 개선하기 위해서는 [교사들이 변화와 관련된 경험을 어떻게 이해하는지] 더 잘 이해하는 것이 필수적이라는 것이다. [서사의 강점]은 [인간 생활의 지저분하고 모순된 측면]을 조명하는 생동감에 있다. 교사들이 학문과 임상 업무의 다양성에 관여할 때, 그들의 의도는 정적이지 않으며, '능력 개발'의 결과물도 아니다. 오히려 다른 실천방법이 시험되고 반영됨에 따라 의도는 지속적으로 변화한다.

The rationale of this study is that development of practice is filled with contradictions and that a better understanding of how teachers make sense of experiences related to change is essential to improve educational practice. The strength of narratives is their lifelikeness, which illuminates the messy and contradictory aspects of human life.27 When teachers engage in the diversity of academic and clinical work, their intentions are not static or the result of ‘a competence development’. Rather, intentions change continuously as different ways of practising are tested and reflected upon.

2.2 연구 및 샘플링의 맥락
2.2 Context of study and sampling

이번 연구는 스웨덴 고등교육 내 명확한 등급기준 등 투명성을 강조하는 국가개혁과 연계해 진행됐다. 스웨덴 대학은 채점 기준을 어떻게 적용할지를 자율적으로 결정할 수 있기 때문에 대학, 과정, 심지어 학과 내에서도 차이가 있다. 스웨덴의 학습 프로그램은 [과정 기반 시스템]을 중심으로 구성되며, 각 과정이 끝난 후 학생들의 성과를 평가하고 채점하며, 일반적으로 5주 또는 10주 동안 지속된다. 스웨덴에서, [과정 리더]는 수업 요강을 개발하고, 평가와 채점 기준을 결정하며, 보통 시험관의 공식적인 역할을 맡지만, 다른 교사들은 학생들의 성과에 대한 정보를 제공할 수 있다. 의학 및 보건직 교육에서, 각 강의 요강은 커리큘럼과 연계된 학습 결과를 명시해야 하며, 따라서 의도된 대학원 역량으로 연결되어야 한다.4 세부 수준과 학습 성과가 표현되는 방법은 과정마다 다르지만, 일반적으로 채점 기준은 학생 성과에 대한 요구사항을 명시한다.
This study was conducted in conjunction with national reforms stressing transparency such as clear grading criteria within higher education in Sweden. Universities in Sweden have the autonomy to decide how grading criteria are applied, and therefore, there is variation between universities, courses and even within departments. Study programmes in Sweden are organised around a course-based system, where students' performances are assessed and graded after each course, which generally lasts for 5 or 10 weeks. In Sweden, course leaders are mandated to develop the course syllabus, decide assessments and grading criteria and usually have the formal role of examiner, but other teachers can provide input on student performance. In medical and health professions education, each syllabus should specify learning outcomes that are linked to the curriculum and thus to the intended graduate competency.4 The level of detail and the way that learning outcomes are expressed varies between courses but, in general, grading criteria specify the requirements on student performance.

우리의 심층 서술적 연구 접근법에 따라, 우리는 이론에 기초한 표본추출을 사용하여 하나의 [교육적 설정]을 선택했다. 17 우리는 [커리큘럼 개혁에 대한 이데올로기적 접근]에 의해 설명되는 것과 유사한 학생 중심의 학습 관점에 따라, 광범위한 해석에 기초하여 정책을 번역하는 주요 커리큘럼 변경을 시행한 9명의 교사를 모집했다.32 모든 9명의 교사들, 남자, 여자, 모두 병원 현장에서 일했고 스웨덴 대학에 의해 제공되는 하나의 건강 전문 교육에서 주요 과정의 계획, 전달 및 평가(형성 및 종합 평가 포함)를 담당했다. 지난 10년 동안, 학습 프로그램의 대부분의 과정에 대한 책임은 이 교사들 사이에서 돌아가며, 그들은 각각 여러 과목의 과정 지도자와 시험관이었다.
In accordance with our in-depth narrative research approach, one educational setting was chosen using theory-based sampling.17 We recruited nine teachers who had implemented major curriculum changes where they translated policy based on a broad interpretation in line with a student-centred view of learning, similar to what is described by the theoretical construct ideological approach to curriculum reform.32 All nine teachers, men and women, worked at a hospital site and were responsible for the planning, delivery and evaluation (including formative and summative assessments) of the main courses in one health professions education offered by a Swedish university. In the last 10 years, responsibility for the majority of courses in the study programme had rotated between these teachers, who each had been course leaders and examiners for several courses.

이 연구는 교사들에 의해 시작된 [평가 관행을 개선하기 위한 개입]과 함께 수행되었습니다. 교사들은 서로 다른 수준의 공부에서 세 명의 학생들을 모집했고 그들이 각각 다른 환자들을 검사하면서 그들을 비디오로 촬영했다. 검사에는 이력서 작성, 신체검사, 기술기기 취급, 진단 전 소견 해석, 치료 권고 등이 포함됐다. 검사는 약 1시간이 소요될 것으로 예상되었으며 학생들의 최종 임상 기술 검사와 유사한 임상 훈련 환경에서 실제 환자를 대상으로 수행되었습니다. 그 후 교사들은 5개월 간격으로 세 차례에 걸쳐 만났다. 처음 두 번의 회의 동안 모든 교사가 비디오를 시청하고 개별적으로 평가를 수행한 후 평가 결과와 기준 해석에 대해 공동으로 논의하였다. 두 회의 모두 다단계 순위와 전문적 행동에 대한 명확화 등 기준을 개선했다. 두 번째 기준 토론 후 5개월 후, 교사들은 기준 템플릿을 완성하기 위해 다시 만났다. 미팅 사이에 그들은 개정된 기준을 실무에 적용했다.

This study was conducted in conjunction to an intervention initiated by the teachers to enhance their assessment practice. The teachers recruited three students from different levels of study and videotaped them as they each examined different patients. The examination included history-taking, physical examination, handling technical devices, interpretation of findings before diagnosis and recommendations for treatment. The examination was expected to take approximately 1 hour and was performed on authentic patients in a clinical training setting that resembled the students' final clinical skills exam. The teachers then met on three occasions at 5-month intervals. During the first two meetings, all teachers watched the videos and carried out the assessments individually before jointly discussing their assessment outcomes and interpretations of the criteria. Both meetings resulted in refinements of the criteria, such as multi-level rankings and clarifications on professional behaviour. Five months after their second criteria discussion, the teachers met again to finalise the criteria template. In between meetings, they applied the revised criteria in their practice.

2.3 자료 및 분석
2.3 Data and analysis

이 데이터는 교사들이 평가 관행을 개선하기 위해 1년 동안 개입하는 동안, [여러 가지 방법]을 조합하여 생성되었습니다. 녹음되고 녹음된 관찰은 9명의 교사들의 네 번의 회의와 그 회의들 사이의 비공식적인 대화 동안 이루어졌다. 회의 후 그들의 개별 서면 성찰도 수집되었다. 첫 번째 저자가 만든 필드 노트에는 얼굴 표정, 몸짓, 물리적인 방, 유물, 분위기 등이 담겼다. 모든 메모는 관측 당일이나 다음 날 작성되었다. 연말에는 학과에서 가장 오래 근무한 교사(>10년)와 채점기준 개정 조정을 맡은 교사 중 3명을 선발해 단체면접을 진행했다. 이 탐색적 인터뷰(2.5시간)는 교사들이 과거의 경험을 회상하고 그 의미를 발전시킬 수 있는 기회를 제공했고, 그에 따라 풍부한 데이터가 생성되었다. 33 또한 교사 그룹의 일원이었던 프로그램 책임자와 함께 두 번의 추가 인터뷰가 이루어졌다.
The data were generated through a combination of methods throughout the teachers' 1-year intervention to enhance their assessment practice. Tape-recorded and transcribed observations were made during four meetings of the nine teachers and during informal talks between those meetings. Their individual written reflections following the meetings were also collected. The field notes generated by the first author included facial expressions, body language, the physical room and artefacts and the atmosphere.33, 34 The notes were all written out either the same day or the day after the observation. At the end of the year, three of the teachers who had worked the longest at the department (>10 years), and the teacher responsible for coordinating the revision of the grading criteria, were chosen for a group interview. This exploratory interview (2.5 hours) provided an opportunity for the teachers to recall past experiences and evolve the meaning of these, thereby rich data was generated.33 Two additional interviews were held with the Programme Director, who was also part of the teacher group (e.g. course lead and examiner).

저자들 중 세 명이 공동으로 [중요한 사건]을 중심으로 서술 분석을 수행했다. 즉, 교사들이 평가의 공동 개발에 있어서 중요한 것으로 인식되는 사건들, 즉, 기회나 변화에 대한 압력을 조성한다. 표 1을 참조하는 이 중복된 사건들은 10년 전으로 거슬러 올라가는 상황에 대한 선생님들의 이야기를 바탕으로 했다. 분석 중에, 텍스트 자료로 번역된 모든 데이터는 함께 모이게 되어, 교사들의 '우세한 담론'이 그들의 일상적인 행위enactment(생각과 행동)에서 어떻게 표현되었고, 이러한 담론이 시간에 따라 어떻게 발전했는지에 대한 서술적 분석이 가능하게 되었다. 34 

Three of the authors jointly conducted a narrative analysis centred on significant events,28, 29, 34 i.e. events the teachers perceived as significant28 for their joint development of assessments, either by creating opportunities or pressure to change. These overlapping events, see Table 1, were based on stories shared by the teachers about situations that went as far back as 10 years. During analysis, all data, transcribed as text materials, were pooled together, enabling narrative analysis of how the teachers' ‘prevailing discourses’ were expressed in their everyday enactment (thinking and acting) and how these discourses evolved over time.34 

수행된 분석 과정은 모의emplotment라고 알려져 있는데, 이것은 연구자들이 그들의 경험을 이해하기 위해, [교사들이 했던 것과 같은 방식으로 인간의 행동, 의미, 동기, 사건, 결과를 연결했다는 것]을 의미한다.

• [플롯]은 시작, 중간, 끝을 중심으로 정렬되며, 이는 [인간 추론의 간단한 개요]에 비해서 [서사적 분석의 결과를 더 많이 만들고], [네러티브의 주제 분석의 제시]와는 다르다.
• [플롯]은 물리적 의미에서의 다양한 사건들이 어떻게 전개되는지를 중심으로 구성될 수도 있지만, 우리가 인간의 변화 경험에 관심을 기울였을 때, 모의emplotment는 [선생님들이 의미 있는 것으로 표현한 사건들에 초점]을 맞추었다. 
  
• 우리의 연구 접근법에 따르면, 인간의 [의미 만들기]는 종종 물리적 연대기와는 다른 시간과 상호 연결된 사건의 재창조라고 간주되었다.
  
• 전개되는 서술(emplotment)은 여러 번 다시 쓰여졌고 작가들 사이에서 논의되었다. 결국, 그들의 평가 관행이 어떻게 변화했는지와 학생들의 임상 역량을 평가하기 위한 기준을 어떻게 이해했는지에 대한 교사들의 의미 결정(행동 및 경험을 통해 보여짐)을 묘사하면서, 일관된 내러티브가 구성되었다.

The analytical process conducted is known as emplotment, which means that the researchers linked human action, meaning, motives, events and consequences in the ‘same way’ the teachers did, in order to make sense of their experiences.29, 34 

• Plots are ordered around a beginning, middle and end, which makes the findings from a narrative analysis more than a brief outline of human reasoning and differs from the presentation of a thematic analysis of narratives.30, 35 
• Plots may be structured around how different events played out in a physical sense, however, as we attended to human experience of change, the emplotment centred on happenings the teachers expressed as meaningful.
• In accordance with our research approach, human meaning-making was regarded as a re-creation of time and interconnected events that most often differ from physical chronology.27, 28 
• The unfolding narrative (the emplotment) was rewritten several times and discussed among the authors. Eventually, a coherent narrative was structured, depicting the teachers' meaning-making (shown through action and experience) of how their assessment practices had changed and how they made sense of the criteria to assess students' clinical competency.

표 1. 중요 이벤트
TABLE 1. Significant events

2.4 방법론적 성찰 및 한계
2.4 Methodological reflections and limitations

내러티브는 사회적 맥락에 내재되어 있으므로 독특하고 일반화되지 않는다. 그것들은 현상의 풍부함과 복잡성을 묘사하고 있으며, 독특한 내러티브는 다른 맥락에서 일어나는 일들을 설명하고 이해하기 위해 전이transfer될 수 있고, 그 목적을 위해 여기에 맥락적 설명이 포함된다. 여기에 보고된 서술은 교사들에게 의미 있는 동기와 사건들을 포함한 변화 과정을 보여준다. 자연과학의 관점에서, 사건에 대한 인간의 기억은 편향될 수 있다. 예를 들어, 서술적 의미 만들기는 사건의 정확한 연대기적 표현을 반영하지 않을 수 있다. 따라서 [내러티브 인 액션 분석]은 [집행된 이야기]와 [인간이 그들의 관점에서 사건을 이해하는 방법]을 조명한다. 우리가 사회 문화적 관점을 채택하고 분석의 단위로 그룹 레벨에 참여했기 때문에, 교사들의 감각 형성에서의 개인 차이는 여기서 다루지 않는다. 이 분석에는 개입을 수행한 9명의 교사로부터 생성된 데이터가 포함되었으며, 한 연구 프로그램에 대한 주된 책임이 있었다. 그러나 학생들을 가르치고 평가한 다른 보건 전문가와 대학 교수진들은 그들의 관점을 공유하지 않았을 수 있다. 게다가, 참여 교사들은 이전에 교수진 개발에 참여했으며, 비록 그들 모두가 평가에 관한 특별한 교육을 받은 것은 아니지만 교육학상 지식을 가지고 있는 것으로 가정했다.

Narratives are embedded in social contexts and therefore unique and not meant to be generalised. They depict the richness and complexity of a phenomenon, and what unique narratives illustrate can be transferred to explain and understand happenings in other contexts, and for that purpose, contextual descriptions are included here.33 The narrative reported here illustrates change processes including motives and events that were meaningful to the teachers. From a natural science perspective, humans' recollection of events may be biased; for example, narrative sense-making may not reflect a precise chronological presentation of events. Narrative-in action analysis thus illuminates enacted stories and how humans make sense of events from their perspective. As we adopted a socio-cultural perspective,26, 36 and attended to the group level as the unit of analysis, the teachers' individual differences in sense-making are not addressed here. The analysis included data generated from nine teachers who conducted an intervention and had the main responsibility for one study programme, although other health practitioners and university faculty who taught and assessed their students may not have shared their perspectives. Furthermore, the participant teachers had previously attended faculty development and assumed to be pedagogically informed, although not all of them had training specifically regarding assessment.

2.5 윤리적 고려사항
2.5 Ethical considerations

이 연구에 대한 윤리적 승인에 따라, 모든 참가자들은 구두와 서면으로 통지를 받은 후 공식적으로 참여하기로 동의했습니다. 교사들에게는 가명이 주어지고, 더 나아가 기밀성을 보장하기 위해, 전문적인 활동에 관한 세부 사항은 공개되지 않는다.

In accordance with the ethical approval for this study, all participants formally consented to take part after being informed orally and in writing. The teachers are here given pseudonyms, and to further ensure confidentiality, no details concerning professional activities are disclosed.

3 결과
3 RESULTS

3.1 평가 공정성 보장
3.1 Safeguarding fairness in assessments

이 연구 결과는 교사들이 학생들의 임상 기술을 평가하기 위한 채점 기준의 사용을 교정하기 위한 도덕적 의도에 의해 동기부여가 된 이야기를 제시한다. 이 섹션에서는 먼저 프롤로그가 우리의 분석을 바탕으로 평가 기준과 교육과정을 재작업하려는 교사들의 의도를 설명한다. 그 다음에, 이야기의 윤곽이 잡힌다.

• (a) 어떻게 선생님들이 기준을 포함하는 평가 지향적인 문화를 발전시켰는지, 
  
• (b) 선생님들께서 이해하셨던 방식들 
  
• (c) 평가의 공정성에 대한 그들의 가치와 관련하여 교사들의 채점 기준 개발이 어떻게 다른 방향으로 전환되었는가. 

그리고 나서 에필로그는 선생님들이 그들의 개입을 어떻게 요약했는지 보여준다. 서술에 포함된, 선생님들의 계속되는 대화와 설명은 어떻게 그들의 노력이 명백해졌는지를 묘사한다. 이러한 계정에는 미팅이나 미팅 사이 또는 인터뷰 상황에서 교사들에게 공유된 짧은 이야기가 포함됩니다.

The findings present a narrative where the teachers became motivated by moral intentions to calibrate their use of grading criteria for assessing students' clinical skills. In this section, the prologue first explains, based on our analysis, the teachers' intentions of reworking assessment criteria and the curriculum. Then, the narrative outlines

• (a) how the teachers developed an assessment-oriented culture in which criteria were embedded,
• (b) the ways in which the teachers made sense of those and
• (c) how the teachers' development of grading criteria took different turns in connection with their values of fairness in assessments.

The epilogue then shows how the teachers summarised their intervention. Included in the narrative, the teachers' ongoing dialogues and accounts situate and depict how their endeavours became manifest. These accounts include short stories that were shared among the teachers in and between meetings or in interview situations.

3.2 프롤로그: 변화를 시작한 동기
3.2 Prologue: Motives to initiate change

병원 현장에서 함께 일하는 보건 전문 교사 그룹은 [성과-기반 교육]을 향한 중요한 커리큘럼 개혁을 수행했다.

• 이 변화 과정의 일환으로, 그들은 임상 기술 훈련에 대한 강조를 증가시키고, 그들의 교육 역할을 재정의하고, 촉진적 역할을 채택하고, 정보 제공자로서 그들의 시간을 줄였다.
• [임상 기술에 관한 평가의 증가]는 그들이 두 명의 검사관으로부터 한 명의 검사관으로 자원을 절약하도록 강요했다. 이는 다소 신뢰할 수 없는 것으로 느껴졌기 때문에, 그들은 형성적 평가와 총괄적 평가에 유용한 공동 기준을 개발했다.
• 하지만, 학생들은 점점 더 불평등하게 평가를 받고 있고 일부 교사들이 더 가혹한 판단을 하고 있다고 불평했다. 
• 교사들은 처음에는 이러한 불만을 부정했지만, 평가 후 회의를 하는 동안, 그들이 기준에 대한 이해가 서로 다르고, 학생들의 성적을 평가하는 방법도 서로 다르다는 것을 깨달았다.

이를 통해 그들은 학생들의 임상 기술 평가와 기준의 적용을 조화시킬 목적으로 개입을 수행하게 되었다.

A group of health profession teachers working together at a hospital site had conducted a significant curriculum reform towards outcome-based education. As part of this change process, they increased the emphasis on training of clinical skills, re-defined their teaching roles, adopted a facilitating role and reduced their time as information providers. The increase of assessments concerning clinical skills forced them to economise resources from two examiners to one. This felt a bit unreliable, so they developed joint criteria useful for both formative and summative assessments. However, the students increasingly complained that they were being assessed unfairly and that some teachers were making harsher judgements. The teachers at first rejected these complaints, but during post-assessment meetings, they realised that they had different understandings of the criteria and different ways of judging student performance. This led them to conduct an intervention with the aim of harmonising the application of the criteria and assessment of students' clinical skills.

3.3 교사들이 면밀한 조사에 대해 어떻게 개방하였는가?
3.3 How the teachers opened up to scrutiny

3.3.1 서술은 현재 시간에서 시작되며 10년간의 변화가 어떻게 등급 기준의 공동 개발을 가능하게 했는지 개략적으로 설명한다.
3.3.1 The narrative starts in present time and outlines how a decade of changes made joint development of grading criteria possible

평가 기준의 개선 뒤에 있는 아이디어는 지난 10년 동안 발전한 교사들의 실천에서 비롯되었다. 정밀 조사를 개방함으로써, 그들은 [명확한 평가 기준을 적용하는 것이 도덕적 의무]라는 공통의 이해를 위한 길을 열었다. 다음 이야기는 평가를 통한 학생 학습을 지원하기 위해 기준의 사용이 어떻게 그들의 접근법의 필수적인 부분이 되었는지를 묘사한다.
The ideas behind improvements to the assessment criteria arose from the teachers' practice as it evolved over the last 10 years. By opening up to scrutiny, they paved the way for a shared understanding that applying clear assessment criteria was a moral obligation. The following story depicts how the use of criteria had become an integral part of their approach to support student learning through assessments.

위의 이야기에서 알 수 있듯이, 부서의 일상적인 정신은 개방적이고 친근했습니다. 몇 년에 걸친 교사들의 끈질긴 작업을 통해, 그리고 서술형 분석에 의해 조명되어, 그들은 [평가 지향적 문화]를 발전시켰는데, 이것은 동료 학습과 평가가 어떻게 지속적으로 적용되는지 보여 주었다. 여러 가지 방법으로, 선생님들은 어떻게 [대화와 동료평가]가 학생들 사이에서, 그리고 그들 자신들 사이에서, 습관적인 관행으로 발전해왔는지를 밝혔다. 그들은 [그들의 가르침에 대한 지속적인 평가]와 [공동으로 교육 개선을 하는 것]에 대해 그들이 어떻게 편안함을 느끼는지에 대해 공개적으로 말했다.
As illustrated by the above story, the everyday spirit at the department was open and friendly. Through the teachers' persistent work over several years, and illuminated by the narrative analysis, they had developed an assessment-oriented culture, which was shown in how peer learning and evaluations were continuously applied. In several ways, the teachers revealed how dialogue and peer assessments had developed into a habitual practice among the students and among themselves. They spoke openly about how they felt comfortable with continuous evaluations of their teaching and of jointly making educational improvements.

우리의 서술적 분석은 교사들이 [공동으로 채점 기준을 개발]하고, [평가를 공정하게 만들기 위한 노력]이 그들이 [점차적으로 면밀한 검토를 받게 된 변화 과정의 결과]라는 것을 보여준다. [평가 기준의 도입]은 서로 다른 교수법과 학습 활동을 적용하는 데 [수년간의 시행착오]가 선행되었다. [동료 평가]는 학생들이 학습에 더 큰 책임을 지는 것을 지원하는 한 가지 방법으로 약 5년 전에 시작되었다. 동료 학습을 적용한 지 몇 년 후, 학생들이 임상 작업을 연습하는 동안 다른 사람을 초대하여 피드백을 제공하는 것이 일반적이 되었다. 교사들은 지속적인 평가가 창의성과 새로운 발전을 위한 공간을 만들면서 '많은 것을 얻었다'고 믿었다. 하지만, [명시적인 평가 기준의 적용]이 그들의 야망을 더 크게 만든 [도덕적 선]을 대표한다는 것이 교사들의 믿음이었다.

Our narrative analysis shows that the teachers' efforts to jointly develop grading criteria and make assessments fair were the result of a change process in which they gradually opened up to scrutiny. The implementation of assessment criteria was preceded by years of trial and error in applying different teaching methods and learning activities. Peer assessments started out, about 5 years ago, as one way to support students taking greater responsibility for their learning. After a few years of applying peer learning, it became commonplace for students to invite others to provide feedback while practising clinical work. The teachers believed, they ‘had gained a lot’ by opening the door to continuous evaluation as it created space for creativity and new developments. However, it was the teachers' belief that the application of explicit assessment standards represented the moral good that drove their ambitions further.

3.4 어떻게 교사들이 '도덕적 선'을 제정하였는가?
3.4 How the teachers enacted the ‘moral good’

3.4.1 이 서술의 두 번째 부분은 왜 채점 기준이 교사들에게 의미 있게 되었는지, 그리고 과거의 법들이 어떻게 공정한 평가를 위한 현재의 이니셔티브를 강화했는지 설명한다.
3.4.1 This second part of the narrative illustrates why grading criteria became meaningful to the teachers and how past enactments reinforced current initiatives to assess fairly

교사들은 그들의 평가 관행을 개선하고 질 높은 교육을 제공하기 위해 몇 가지 계획을 세웠기 때문에, [환자와 학생들을 돌보는 것]이 그들의 핵심 동기였다. 궁극적으로, [평가 기준]은 졸업생들이 필요한 역량을 갖추도록 함으로써 교사들이 환자에 대한 의무를 이행하는 수단이었다. 예를 들어, 시간 제한 평가에 대한 그들의 아이디어는 전문적인 작업에서의 효과와 거의 관련이 없었지만, 오히려 학생들이 신체 검사 동안 환자의 불편함을 최소화해야 했고, 따라서 환자들이 도움을 구하는 것을 두려워하는 것을 막아야 했다. '도덕적 선'을 실행enact하려는 교사들의 노력은 (한나의 높은 관심 기말고사 회상 등과 같이) 과거 학생평가 경험에 대한 이야기로 강화되고 정당화됐다.

As the teachers had taken several initiatives to improve their assessment practice and provide a high quality education, caring for patients and students was their key motivation. Ultimately, the assessment criteria were means for teachers to fulfil their obligations towards patients by ensuring graduates had the necessary competency. For example, their idea of time-limited assessments had little to do with effectiveness in professional work, but rather concern of patients' discomfort during physical examination, which students needed to minimise and thereby preventing patients from being afraid to seek help. The teachers' efforts to enact the ‘moral good’ were reinforced and justified by stories about past experiences of student assessment, such as Hanna's recollection of high-stake final exams.

그런 이야기들이 교사들 사이에서 반복적으로 공유되었고, 현재의 제도에 비해 과거의 평가 관행이 얼마나 미흡했는지에 대한 인식을 심화시켰다. 이런 식으로, 과거의 사건들은 그들이 어떻게 지속적인 임상 기술 훈련을 추가하는 것을 포함한 교육 과정의 개혁이 도덕적으로 정당했는지 확인했습니다. 교사들은 이러한 변화들이 학생들이 더 나은 준비를 하고 더 나은 성적을 거두도록 했다고 믿고 있다. 그들은 또한 [practical skills에 대한 평가를 받는 것]은 학생들에게 새롭고 매우 스트레스를 많이 받는 상황이며, [그 자체가 훈련과 평가를 필요로 하는 능력]으로 간주되어야 하는 것이라는 것을 이해하게 되었다. 그러나, 커리큘럼의 변화와 지속적인 동료 학습 및 피드백의 사용으로, 등급별 평가는 덜 극적으로 되었다. 
Such stories were shared repeatedly among the teachers and deepened the perception of how assessment practices in the past were inadequate, compared with the present system. In this way, past events confirmed how their reformation of the curriculum including adding continuous clinical skills training was morally justifiable. The teachers believed these changes had led to students feeling better prepared and performing better. They had also come to understand that being assessed on practical skills was a new and highly stressful situation for the students and something that should be regarded as an ability in its own right that required training and evaluation. However, with the curriculum changes and the use of continuous peer learning and feedback, the graded assessments had become less dramatic.

임상 기술 평가에 기준을 적용하는 것은 공평하고 환자의 안전을 보장한다는 교사의 가치를 강제하기 때문에 의미가 있다. 그러나 [도덕적 선]에 대한 내러티브를 제정enact하는 것은 때때로 [평가의 공정성, 환자의 책임성, 학습 촉진의 가치]가 충돌한다는 것을 의미했다. 무엇이 공정하고 무엇이 공정하지 않은지 결정하는 딜레마도 제시했다.

Applying criteria to the assessment of clinical skills became meaningful because it enforced the teachers' values of being fair and ensuring patient safety. However, enacting the narrative about the moral good meant that the values of fairness in assessment, patient accountability and facilitation of learning sometimes collided. It also presented the dilemma of deciding what was fair and what was not.

3.5 교사들이 편파적인 평가를 통해 공정성을 어떻게 유지하였는가?
3.5 How the teachers upheld fairness with an unbiased assessment

3.5.1 이 서술의 세 번째 부분은 학생들을 공정하게 평가하려는 교사들의 가치와 관련하여 성적 기준의 공동 개발이 어떻게 다른 방향으로 이루어졌는지를 보여준다.
3.5.1 This third part of the narrative shows how the joint development of grading criteria took different turns associated with the teachers’ value of assessing students fairly

평가를 조화시키는 방법에 대한 논의 동안, 특정 학생의 행동을 촉진하는 방법으로 기준을 적용하려는 교사들의 노력이 분명해졌다. 학생들이 환자 안전 및 우수 관리 기준의 최소 요건을 충족하도록 보장하기 위한 한 가지 방법은 손을 씻거나 기구를 소독하는 것과 같이 환자를 검사할 때 무엇을 해야 하고 해서는 안 되는지에 대한 [절대적인 요건]을 정의하는 것이었다. 이와 같은 성과는 학생들이 이러한 과제를 수행하는 방법의 다양한 품질에 관계없이 합격/불합격으로 평가되었으며, 결과적으로 학생이 이러한 과제를 수행하거나 전체 시험에서 불합격하게 된다. 한편으로, 이러한 '둘 중 하나 혹은 둘 중 하나'의 공연은 평가하기가 쉬운 것으로 보였고, 다른 한편으로는, 학생들이 그러한 활동을 부분적으로 했을 때, 우려의 대상이 되었다. 한 가지 제안은 교사들이 환자를 진찰하는 데 실제로 사용된 모든 기구들이 실제로 소독되었다는 것을 고려할 수 있다는 것이었다. 다만 기준에 따르면 모든 위생적인 측면이 협상 불가로 규정돼 시험에 사용한 적이 있는지 여부와 관계없이 모든 기구 소독을 소홀히 한 학생에게 불합격시키는 것이 타당했다. 일부 교사들은 이러한 유형의 평가를 수행하는 것이 더 쉽고, 협상할 수 없으며, 따라서 공정하다고 주장하면서 이러한 유형의 평가를 지지했다. 이들의 주장의 이면에는 환자에 대한 걱정이 있었고, [모든 기구를 소독하는 것을 소홀히 한 학생]은 [환자를 치료하는 것]도 전적으로 신뢰할 수 없다는 점이 있었다. 이 협상할 수 없는 '어느 쪽인가' 추론도 아래 대화에서 보여지듯이 다른 성격의 성과를 평가하기 위한 기준을 적용할 때 채택되었다.

During the discussions of how to harmonise assessments, the teachers' efforts to apply criteria in ways that promoted certain student behaviours became clear. One way to ensure that the students met the minimum requirements of patient safety and good practice was to define absolute requirements of what they should and should not do when examining patients, such as washing their hands and disinfecting instruments. Performances like that were assessed pass/fail, regardless of the varied quality of how students carried out these tasks, consequently, either the student performed these tasks or the student would fail the entire exam. On the one hand, these ‘either-or’ performances were seen as easy to assess; on the other hand, there was concern when students performed such activities partially, as in the case of a student who cleaned a few of the instruments, but not all of them. One suggestion was that the teachers could take into account that all of the instruments actually used to examine the patient had in fact been disinfected. According to the criteria, however, all hygiene aspects were stipulated as non-negotiable, which made it reasonable to fail students who neglected to disinfect all instruments regardless of whether they had been used in the examination. Some teachers argued in favour of this type of assessment, contending it was easier to conduct, non-negotiable and therefore fair. Behind their argument was a concern for patients and that a student who neglected to disinfect all instruments could not be fully trusted to treat patients. This non-negotiable ‘either-or’ reasoning was also adopted when they applied criteria to assess performances of a different nature, as illustrated by the dialogue below.

기준을 개발하기 위한 교사들의 작업 동안, 그들은 과거에 평가가 어떻게 수행되었는지를 반성했습니다. 토론 중 반복적인 논평은 교사 그룹이 과거에 학생 성과에 대한 [주관적인 평가를 하는 것]에서 [가능한 객관적인 것]으로 어떻게 변화했는지를 강조하였다. 한 전직 교수가 한 학생의 시험에 대해 "너무 귀엽다, 합격이다"고 말한 적이 있는 '옛날'의 명시적 기준이 부족했다고 함께 웃었다. 그러나 완전히 객관적인 것은 표준화된 기준을 사용하여 다른 성격의 학생-환자 만남을 평가할 때 어려운 것으로 간주되었고, 토론하는 동안 교사들은 반복적으로 서로에게 '그러나 그것은 다시 주관적이 된다'고 상기시켰다. [주관성]은 주로 [전문적 행동과 의사소통 기술의 평가]와 관련되었으며, 따라서 이러한 기준을 명확히 함으로써 오해할 수 없는 성과 차원을 정의할 필요가 생겼다. 다양한 방법으로 전문적인 행동의 차원을 정의하려고 노력하면서, 선생님들은 행동, 전반적인 의사소통, 병력 청취의 요약, 진단과 치료 그리고 전문용어의 사용에 대한 정보를 제공하는 것 사이의 차이에 대해 추론했다. 그들은 전문적인 행동의 평가에 대한 두 가지 다른 이유들 사이에서 망설였다: [전반적인 의사소통과 전문적인 행동을 평가]하거나, [의사소통을 별도의 부분으로 나누고 환자 검사의 각 부분에 연결]했다. 그들은 의사소통 능력이 전문적인 행위와 다소 다르며 아마도 별도로 평가할 수 있을 것이라는 데 동의하였다.

During the teachers' work to develop the criteria, they reflected upon how assessments had been performed in the past. Recurrent comments during the discussions highlighted how the teacher group had changed from making subjective assessments of student performance in the past, to being as objective as possible. Together, they laughed about the lack of explicit criteria back in the ‘old days’ when a former professor once said about a student's examination, ‘She is so cute, she can pass’. However, being entirely objective was considered difficult when using the standardised criteria to assess student–patient encounters of a different nature and during the debates the teachers repeatedly reminded each other ‘but then it becomes subjective again’. Subjectivity was mainly associated with the assessment of professional behaviour and communication skills, and therefore, clarifying those criteria created a need to define performance dimensions that could not be misinterpreted. Trying to, in various ways, defining dimensions of professional behaviour, the teachers reasoned about the differences between behaviour, overall communications, the summary of history-taking, giving information about the diagnosis and treatment and the use of jargon. They teetered between two different rationales on the assessment of professional behaviour: assessing overall communication and professional behaviour or dividing the communication into separate pieces and connecting it to each part of the patient examination. They agreed that communication skills were somewhat different from professional behaviour and could perhaps be assessed separately.

평가에서 공정하고 일관성을 유지하기 위한 시도로, 교사들에 의해 기준과 학생들의 성과에 대한 여러 해석이 면밀히 검토되었다. 그러나 그들은 표준화가, 예를 들어 학생들이 특별히 골치 아픈 환자를 검사할 때처럼, 임상 작업의 현실과 완전히 양립할 수 없다고 믿었다. 
In an attempt to be fair and consistent in assessments, multiple interpretations of criteria and student performances were scrutinised by the teachers. However, they believed that standardisation was not fully compatible with the reality of clinical work, for example, when students examined patients that were considered particularly troublesome.

위의 대화는 교사들이 기준 템플릿을 따르고 현실을 다면적으로 인식하고 상황의 복잡성을 고려하여 전문적인 판단을 내리는 등 공정성을 이루려 노력했음을 보여준다.

The dialogue above shows how the teachers tried to achieve fairness by following the criteria template and recognised reality as multifaceted and that making professional judgements required considering the complexity of the situation.

3.6 에필로그—완벽한 평가 기준 없음
3.6 Epilogue—No perfect assessment criteria

그들의 개입이 끝날 때, 선생님들은 학생들에게 평등한 상황을 만드는 것이 얼마나 어려운지를 반성했고 완벽한 평가 기준이라는 것은 없다는 결론에 도달했다. 그들의 개입을 반성하면서, 그들은 단일 기준을 다르게 평가했음에도 불구하고, 각 학생들에 대한 전반적인 평가는 그들이 기대했던 것보다 더 동등하다고 느꼈다. 이로 인해 교사들은 평가가 완전히 조화를 이루지 못할지라도, 그들의 공동 토론은 협상 가능한 합의로 이어졌다고 결론을 내리게 되었다.

At the end of their intervention, the teachers reflected upon how hard it was to create equal situations for the students and came to the conclusion that there was no such thing as perfect assessment criteria. Reflecting on their intervention, they felt that even though they valued single criteria differently, the overall assessment of each student was more equal than they had anticipated. This made the teachers conclude that, even if assessments would never be completely harmonised, their joint discussions had led to a negotiable consensus.

4 토론
4 DISCUSSION

이 연구 결과는 어떻게 교사들이 [공통 채점 기준을 개발]할 수 있었는지를 보여주며, 이러한 변화는 그들의 [공정성과 책무성]에 대한 가치관에 의해 추진되었다. 기준은 커리큘럼에 통합되어 형성 및 종합 평가에 유용했다. 그런 방식으로, 그리고 교사들의 관점에서, 기준은 공정한 평가를 보장하고 미래의 환자들이 가능한 최고의 치료를 받을 수 있도록 했다. 그러나 [통합 역량의 평가]와 [분리된 '기술의 조각'의 평가]와 같은 여러 딜레마가 나타났다.
The findings show how the teachers' development of common grading criteria was made possible by their openness to peer scrutiny and that these changes were driven by their values of fairness and accountability. Criteria had been integrated in the curriculum, useful for formative and summative assessments. In that way, and from the teachers' perspective, criteria safeguarded fair assessments and that future patients would receive the best possible treatment. However, a number of dilemmas emerged, such as the assessment of integrated competencies versus the assessment of separate ‘pieces of skills’.

[평가 지향적 문화 정착]은 교사들이 어떻게 채점 기준의 적용을 조화시키는지에 대한 [선결조건]으로 보였다. 암묵적으로 전달된 기대에서 기준에 대한 공유된 이해로 평가 관행의 이러한 변화는 표준 공유에 대한 교사들의 접근 방식에 대한 O'Donovan 등의 모델과 비교하여 이해할 수 있다. 과거 [자유방임주의 접근법]에서와 같이 암묵적인 기준이 얼마나 우세했는지를 언급함으로써, 교사들은 명확한 기준을 적용하기 위한 그들의 선택을 정당화했다. 그 후 암묵적인 기준에 대응하여 채점 기준이 시행되었지만, 교사들은 명확한 기준이 충분하지 않다는 것을 깨달았다. 학생 개개인의 평가 기준에 대한 이해는 다를 수 있으며, 이 연구의 교사들은 [평가와 관련된 그들의 의도]를 충족시키기 위해 [모든 학생들이 동일한 방법]으로 기준을 이해할 필요가 있다는 것을 깨닫게 되었다. 따라서, 학생들의 동료 평가와 병행한 형성적 평가가 커리큘럼 전반에 걸쳐 통합되었고, 이는 [사회 구성주의적 접근법]의 제정을 가능하게 했다. 흥미롭게도, 채점 기준을 적용하는 것에 대한 대화에 학생들을 참여시키는 것은 더 많은 해명의 필요성을 만든 것으로 보인다. 학생들이 그들이 평가하는 기준에 완전히 접근할 수 있을 때, 이러한 기준에 비추어 그들의 성과에 대해 토론할 기회가 있다고 결론짓는 것은 그럴듯해 보인다. 결과적으로, 선생님들은 기준을 해석하는 방법, 받아들일 수 있는 학생 수행의 범위, 그리고 그들의 판단을 정당화하는 방법에 대해 숙고할 필요가 있을 수 있다.

The establishment of an assessment-oriented culture seemed to be prerequisite for how the teachers were committed to harmonise their application of grading criteria. This change in assessment practice, from tacitly conveyed expectations to shared understandings of criteria, can be understood vis-à-vis O'Donovan et al.'s19 model of teachers' approaches to sharing standards. By referring to how tacit standards, as in the laisse-faire approach prevailed in the past, the teachers justified their choice to apply clear criteria. Grading criteria were then implemented, in response to tacit standards, but the teachers realised that articulating criteria were not enough. Individual students' understanding of assessment standards may differ,19 and the teachers in the present study came to realise that, to fulfil their intentions concerning assessments, all students needed to make sense of the criteria in the same way. Thus, formative assessments in parallel with students' peer reviews were integrated throughout the curriculum, which enabled the enactment of a social-constructivist approach.19 Interestingly, it appears that involving students in the dialogue about applying grading criteria created a need for further clarifications. It seems plausible to conclude that, when students have full access to the standards by which they are judged, there is an opportunity to discuss their performances in light of these standards. Consequently, teachers may need to reflect on ways to interpret criteria, the range of acceptable student performances and how to justify their judgements.

우리는 예를 들어, [준거-참조 프레임워크를 통해 표현된 공유 표준]이 피드백을 중재할 수 있다는 Kogan 등의 의견에 동의한다. [명시적 기준]은 학습을 촉진할 수 있지만, 그러한 기준의 질에 대해서는 아무 말도 하지 않으며, 따라서 예를 들어, 교사의 판단이 타당하다는 것을 보장하지 않습니다.1 다른 사람들이 지적하는 바와 같이, 유효성 및 신뢰성은 시험의 내재적 특성이 아니며 단순히 평가 도구를 적용한다고 해서 달성되는 것도 아니다. 교사 커뮤니티 내의 공동 협상은 (이 연구에서 교사들에 의해 열린 토론과 유사하게) 학생 성과에 대한 기준과 판단의 이해를 조화시킬 수 있을 것이다.

We agree with Kogan et al.17 that shared standards articulated via, for example, a criterion-referenced framework can mediate feedback. While explicit criteria can facilitate learning, they say nothing about the quality of those standards and, therefore, do not safeguard that, for example, teachers' judgements are valid.1 As others point out,1 validity and reliability are not immanent traits of tests and will not be achieved simply by applying an assessment instrument. Joint negotiations within teacher communities—similar to the discussions held by the teachers in this study—will likely harmonise the understanding of both criteria and judgements of student performance.

이 연구의 교사들은 [실천 공동체 접근 방식]에서와 같이, 평가 기준을 형성할 때 학생들을 공동 참여자로 초대하지 않았다. 그러나, 그들의 노력은, [부분적]으로, 평가 문제에 대한 공유된 실천 공동체로 이해될 수 있다. 개발 과정을 통해 교사들은 서로의 아이디어와 비평에 대해 마음을 터놓았고, 이는 채점 기준, 역량/역량 및 평가의 공유된 의미에 대한 협상을 가능하게 했다. [학생과 교사가 형성적 평가를 덜 심각하게 받아들이는 문제]는 [저부담 평가와 고부담 평가를 일치]시키고, [평가 지향 문화의 일부로 지속적인 교사와 동료 피드백을 포함]하려는 [교사들의 노력]에 의해 회피avoided되는 것처럼 보였다. 그러나 이러한 변경 프로세스에는 시간이 걸렸고 평가 이유의 변경도 포함되었습니다.

The teachers in this study did not invite their students to be co-participants in formulating assessment criteria, as in the community of practice approach.19, 26 However, their efforts can be understood, in part, as a shared community of practice around assessment matters. Through a development process, the teachers opened themselves up to each other's ideas and critiques, which enabled negotiations about a shared meaning of the grading criteria, competencies/competency and assessment. The problem of formative assessments being taken less seriously by students and teachers24 seemed to be avoided by the teachers' efforts to align low and high stake assessments and to embed continuous teacher and peer feedback as part of an assessment-oriented culture. However, this change process took time and included shifts in assessment rationales.

교사의 야망ambition은 [평가자 간 신뢰성과 표준화, 환자 조우에서 발생하는 상황적 요인 인정]과 같은 [평가의 딜레마]가 어떻게 드러났는지를 보여준다. [기준에 충실해야 한다]는 생각은 [가끔은 템플릿에서 벗어나야 한다]는 개념과 충돌했고, 그들은 채점 전에 특히 복잡한 환자 사례를 고려해야 한다는 데 동의했다. 비슷한 방식으로, Kogan 등은 교수진이 성과 등급을 만들 때 임상적 만남의 복잡성에 영향을 받는다고 보고하며, 이러한 등급 오류를 수정하기 위해 교수진이 평가 훈련을 받을 필요가 있다고 주장한다. 우리는 교수개발이 유익하다는 것에는 동의하지만, 주어진 맥락에서 무엇이 타당한지를 결정하는 과제는 여전히 남아 있다. 게다가, 그리고 이 연구에 의해 보여지는 것은, 평가 관행이 바뀌고 교사들이 그들의 '새로운 지식'을 실천으로 옮기면서, 그들은 새로운 딜레마에 직면할 수도 있다. 현재의 연구결과는, 교수개발은 [평가자들이 기준을 어떻게 이해하는지]를 다루고, [학생들의 성적 범위에 대한 공동 토론에 임상 교사를 참여시킬 필요]가 있다는 것을 암시한다. 이것이 교사의 평정을 조화시키는 것으로 보인다.

The teachers' ambitions show how dilemmas in assessment manifested, such as inter-rater reliability and standardisation, and acknowledging contextual factors arising in patient encounter. The idea of being steadfast to the criteria collided with the notion of sometimes having to deviate from the template, and they agreed that particularly complex patient cases should be taken into account before grading. In a similar way, Kogan et al.17 report that faculty members' are influenced by the complexity of clinical encounters when making performance ratings, arguing that faculty needs to be trained in assessment to modify such rating errors.17 While we agree that faculty development is beneficial, the challenge to decide what counts as valid in a given context still remains.25, 37 Moreover, and shown by this study, as assessment practices change, and teachers translate their ‘new knowledge’ into practice, they may face new dilemmas. The current findings imply that faculty development needs to address how assessors make sense of criteria and to involve clinical teachers in joint discussions on the range of acceptable student performances, which seem to harmonise teachers' ratings.

평등하고 편파적이지 않은 평가를 달성하기 위해, 이 연구의 교사들은 [학생 수행능력의 서로 다른 조각]들을 [평가 기준에 별도로 명시해야 하는지] 궁금해했다. 결과적으로, 그들은 예를 들어, [전문적 행동]을 2진법으로 판단할 수 있는 하위 범주로 분할함으로써 [전체론적 기준(역량)을 조작화]하려고 했다. 따라서, 비록 그들이 학생들의 기준에 대한 이해에 [사회 구성주의적 접근법]을 채택했지만, 교사들은 채점 기준을 개발하기 위해 다른 근거를 집행enact했다. 그러나 [심리측정학적 합리성]에 기초한 [이진 체크리스트]의 사용에만 의존하는 임상 역량의 [신뢰할 수 있는 측정]을 구성하는 어려움에 대한 의문도 있었다. [준거-참조 평가]와 관련된 비평은 교사들이 [전문적 실천에 유용한 통합적 역량]보다 [수행의 조각]을 판단할 위험이 있다고 주장한다.8 이 연구의 교사들은 [전문직업성의 글로벌 평가]는 [주관적]이며, [환자를 보호]하며, [학생에게 공평하게 하려는 그들의 의도]와 양립할 수 없다고 보았다. 

In order to achieve equal and unbiased assessments, the teachers in this study wondered whether separate pieces of student performance should be stated in the grading criteria. Consequently, they tried to operationalise holistic criteria (competency) by, for example, splitting professional behaviour into subcategories that could be judged binarily. Thus, although they adopted a social-constructivist approach to students' understanding of standards,19 the teachers enacted a different rationale to develop the grading criteria. The challenges of constructing reliable measurements of clinical competency have been acknowledged,38 though, relying solely on the use of binary checklists based on psychometric rationales has also been questioned.12, 39 The critique related to criterion-referenced assessments claims teachers risk judging pieces of performance rather than integrated competencies useful for professional practice.8 Global ratings of professionalism were seen by the teachers in this study as being subjective and incompatible with their intentions of protecting patients and being fair to students.

우리의 해석은 교사들이 [자유방임주의 접근법]과 유사하게, [정보가 없거나 암묵적인 측면에 기초한 평가를 멀리했다]는 것이다. [전체론적 판단]은 [편향되거나 잘못된 판단을 내리는 것]과 혼동될 필요가 없으며, [객관성]은 [완전한 표준화를 통해 얻은 신뢰성]과 동일하지 않다. 이 연구의 교사들이 제기한 문제는 세부 사항에서 '무언가를 잃어버렸느냐'는 것이었다. 교사가 채점을 하기 전에 학생들의 성취도를 종합할 필요가 있다는 것이 이미 정립되었다; '우리가 전체를 볼 때, 우리는 그 부분들을 고립된 채로 볼 때와는 다르게 본다'. [전문적인 보건의료 행위의 특정 성과]는 환자 안전 때문에 협상할 수 없는 것이 필요하지만, 예를 들어, 별도의 차원에서 이원적 판단이 이루어진다면 전문적인 행동의 기준은 덜 타당할 수 있다. 이 연구에서 교사들의 추론은 매우 다른 유형의 성과에 대한 기준을 공식화할 때 같은 논리를 사용하는 것이 얼마나 매력적인지를 보여주었다. 결과적으로, 통합 역량에 대한 평가가 부족할 수 있다. 이는 교사들이 [임상 역량의 표준과 등급]에서 [어떻게 서로 다른 rationale의 동시 사용을 인정할 것인지], 따라서 [이진법과 전체론적 판단의 결합을 어떻게 인정해야 하는지]를 성찰해야 함을 의미한다.

Our interpretation is that the teachers abstained from assessments that were uninformed or based on tacit aspects, similar to the laissez-faire approach.19 Holistic judgements need not be confused with making biased or invalid judgements,22 and objectivity is not equal to reliability obtained through complete standardisation.1, 39 The question the teachers in this study raised was whether ‘something was lost’ in the details. It has previously been established that teachers need to synthesize student achievements before grading; ‘When we see the whole, we see its parts differently than when we see them in isolation’4(p227). While certain performances in professional health practices need to be non-negotiable due to patient safety, criteria of professional behaviour, for example, may be less valid if binary judgements are made on separate dimensions. The teachers' reasoning in this study made visible how tempting it may be to use the same rationale when formulating criteria for performances of very different types. Consequently, the assessment of integrated competencies may be lacking. This implies that teachers should reflect on how standards and ratings of clinical competency need to acknowledge the simultaneous use of different rationales, thus a combination of binary and holistic judgements.

교육 변화와 교사의 평가 실천 발전은 종종 느리고 저항적인 것으로 여겨진다. 이 연구는 어떻게 교사들의 [채점 기준을 개발하려는 동기]가 어떤 식으로 [학생들과 함께 일하는 그들 자신의 실천]과 [환자에 대한 그들의 관심]으로부터 도출되었는지를 보여준다. 그러므로, 사회와 학생들을 위해 선행을 하려는 그들의 의지는 대학으로부터의 압력이나 투명성을 강조하는 정부 개혁과는 거의 관계가 없는 공유된 평가 관행을 만드는 동기였다.
Educational change and teachers' development of assessment practice are often regarded as slow and resistant.18, 21 This study shows how teachers' motivation to develop grading criteria was derived from their own practice working with students and their concern for patients. Thus, their willingness to do good for society and for the students was the incentive for creating a shared assessment practice, which had little to do with pressure from the university or governmental reform stressing transparency.

5 결론
5 CONCLUSION

이 연구는 공유된 평가 기준이 개발되고 실행될 때 교사의 평가 관행이 어떻게 바뀔 수 있는지에 대한 풍부한 설명에 기여한다. 이 논문에서 설명된 변화 프로세스는 [선형 모델]도, [이상적인 개발 프로세스]도 규정하지 않지만, 이 연구에서 많은 시사점을 도출할 수 있다. 이 연구결과는 교사들이 [준거와 수용 가능한 학생들의 성적 범위]에 대한 [공동 토론]을 통해 [그들의 판단에 대한 근거를 정기적으로 재평가할 필요]가 있다는 것을 암시한다. 이러한 논의는 기준 적용에 대한 이해를 조화시킬 뿐만 아니라 교원 공동체 내에서 평가와 역량에 대한 변화하는 이유를 풀어내는 것으로 보인다. 이 연구는 [동료 학습]과 [사회 구성주의 접근 방식]의 적응은 시간이 걸리고, 평가에서 [새로운 선택과 딜레마]를 만들 수 있음을 보여준다. 일부 연구자들은 [수행능력 테스트]에서 엄격함을 증가시켜야 한다고 주장하는 반면, 다른 연구자들은 [전체론적이고 건설적이며 전문적인 접근 방식]을 요구하거나, [더 긴 기간에 걸쳐 평가의 삼각 측량]을 제안합니다. 어떤 평가를 적용하든 [교사의 전문적인 판단을 담당하는 대화]가 필요하다. 이번 연구는 [평가에 대한 교사들의 시각]이 고정된 것이 아니며, 평가 기준과 그들의 판단이 [어떻게 서로 다른 rationale의 동시 사용을 인정해야 하는지] 반성해야 한다는 것을 보여준다. 따라서 [다양한 요구가 있는 환자를 포함하는 개별 학생의 수행능력]을 어떻게 다르게 판단해야 하는지 참조하면서, [이진적 판단 및 전체론적 판단]을 조합하여 적용할 필요가 있다. 우리는 개별 교사들의 견해를 넘어선 평가 관행과 교사들이 어떻게 다른 방법과 기준을 적용하는지에 대한 더 많은 연구를 환영한다.

This study contributes a rich description of how teachers' assessment practices may change when shared assessment criteria are developed and implemented. The change process illustrated in this paper neither stipulates neither a linear model nor an ideal development process, yet a number of implications may be drawn from this study. The findings imply that teachers need to regularly re-evaluate grounds for their judgements through joint discussions of criteria and the range of acceptable student performances. Such discussions seem to not only harmonise the understanding of criteria application but also unravel the shifting rationales on assessment and competency within teacher communities. This study demonstrates the adaptation of peer learning and social-constructivist approaches may take time and create new choices and dilemmas in assessment. Whereas some researchers argue for increased rigour in performance tests, others call for holistic, constructivist and professional approaches or suggest triangulation of assessments over longer periods of time. Regardless of what kind of assessments is applied, conversations that take charge of teachers' professional judgements are necessary. This study shows that teachers' views on assessment are not fixed, and they should reflect on how assessment standards and their judgements must acknowledge the simultaneous use of different rationales. Therefore, with reference to how individual student performances involving patients with various needs should to be judged differently, a combination of binary and holistic judgements needs to be applied. We welcome more research on assessment practices beyond individual teachers' views and on how teachers make sense of applying different methods and standards.

© 2022 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

발달적 발달평가 도입의 교훈: 스코핑 리뷰(Med Educ, 2020)
Lessons from the implementation of developmental progress assessment: A scoping review
Christina St-Onge1 | Élise Vachon Lachiver2 | Serge Langevin1 | Elisabeth Boileau3 | Frédéric Bernier1,2,4 | Aliki Thomas5 

1 소개
1 INTRODUCTION

보건직 교육(HPE)에서 역량 기반 교육(CBE)의 구현은 교육(예: 학생 중심 전략 및 감독자와 교육자 간의 코칭 관계 선호)과 평가 관행(예: 실제 평가에 보다 중점을 둔 암기 기반 검사 및 진행에 초점을 맞춘 평가)에 상당한 변화를 가져왔다. 평가 문화의 변화는 CBE로의 전환을 지원하기 위해 중요할 뿐만 아니라 교육 변화의 가장 어려운 측면 중 하나입니다.1 교육자와 관리자는 학습자가 유능한 의료 전문가로서 연습하는 데 필요한 지식, 기술 및 태도의 개발과 평가를 촉진하는 데 사용할 수 있는 전략을 구현하는 것을 목표로 한다.2, 3 그러한 전략 중 하나는 훈련생과 교수진에게 유능한 전문 실습으로 가는 길을 명시하는 로드맵을 만들고 제공하는 것이다. [명시적 경로]와 같은 [발달의 종단적 관점의 통합]은 더 나은 건강 전문가의 발전에 기여하는 것으로 생각된다. 학생들에게 예상되는 발달의 예(명시적인 로드맵)를 제공하면, 그들은 주어진 단계에서 그들이 기대하는 것과 그들의 성과를 비교할 수 있다. 이 정보는 자체 평가에 사용될 수 있으며 자체 개발에서 자율성을 높일 수 있습니다.5 따라서, 최근 몇 년 동안 교육자와 연구자들은 이 종적 관점을 개념화하고 구현했다. 이러한 관점의 일반적인 발현은 신뢰할 수 있는 전문 활동(EPA)과 이정표이다.

The implementation of competency-based education (CBE) in health professions education (HPE) has resulted in substantial changes in teaching (eg, favouring student-centred strategies and a coaching relationship between supervisor and trainee) and assessment practices (eg, more emphasis on authentic assessment versus rote memory-based examinations and assessment focused on progression). A change in assessment culture is not only crucial to support the transition to CBE, but it also one of the most challenging aspects of educational change.1 Educators and administrators aim to implement strategies that can be used to foster the development and assessment of knowledge, skills and attitudes required by their learners to practice as competent health professionals.2, 3 One such strategy is to create and provide roadmaps to trainees and faculty members that make explicit the pathway to competent professional practice. The integration of a longitudinal perspective of development -such as an explicit pathway - is thought to contribute to the development of better health professionals.4 When students are provided with an exemplar of their expected development (explicit roadmap), they can compare their performance to what is expected of them at their given stage.4, 5 This information can be used in their self-assessment and increases their autonomy in their own development.5 Thus, in recent years, educators and researchers have conceptualised and implemented this longitudinal perspective. Common manifestations of this perspective are the entrustable professional activities (EPAs) and milestones.3, 6-8

일반적으로 CBE의 구현으로 인한 [관찰된 교육학적 문화의 변화], 그리고 보다 구체적으로 [종단적 발달 경로]는 평가의 다양한 측면에 영향을 미친다. 역량 기반 교육은, 시기적절하고 직접적인 지속적인 직장 기반 평가를 포함하는, 평가에 대한 총체적이고 종적인 접근 방식과 연관되어야 한다.9 역량의 발달 진행을 촉진하기 위해 평가는 이러한 발달 경로에 매핑되어야 한다. 확립된 progression 경로에서 역량을 벤치마킹하면, 학생들의 역량 강화와 자체 개발에 대한 투자를 촉진할 수 있다. 또한 발달 경로에 대한 자신의 진행 상황에 대한 피드백은 전문적 전문 지식의 개발을 촉진하고 궁극적으로 의료의 질을 향상시킨다.10
The observed changes in pedagogical culture due to the implementation of CBE in general, and longitudinal developmental pathways more specifically, have consequences on various aspects of assessment. Competency-based education should be associated with a holistic and longitudinal approach to assessment, involving timely, direct and ongoing workplace-based assessment.9 To facilitate the developmental progression of competence, assessments should be mapped onto these developmental pathways. The benchmarking of competence on an established path of progression could promote students’ empowerment and investment in their own development. In addition, feedback about one's progress on a developmental pathway fosters the development of professional expertise,4 and ultimately increases quality of health care.10

[발달 경로에 매핑된 평가의 구현]에 관심이 커지고 있으며, DPA(Developmental Progress Assessment) 등으로 교육생 및 교수진에게 지침을 제공하는 데 사용된다. 그러나 기대한 이익을 얻기 위해 구현에 대해 이해해야 할 점이 많다. DPA를 성공적으로 구현하기 위한 첫 번째 필수 단계는 문헌에서 DPA가 어떻게 정의되고 개념화되어 있는지, 주요 목표, 관찰된 결과 및 구현에서 얻은 교훈이 무엇인지, 그리고 DPA가 어떻게 실행되거나 교육적 맥락에서 적용되었는지 더 잘 이해하는 것이다. 따라서 이 논문의 목적은 DPA 구현에 관한 문헌의 깊이와 폭을 매핑하는 것이다.
There is great interest in the implementation of assessment mapped on developmental pathways and used to provide guidance to trainees and faculty members, such as Developmental Progress Assessment (DPA). However, there is much that remains to be understood about its implementation to reap its anticipated benefits. The first and necessary step towards successful implementation of DPA is to better understand how DPA is defined and conceptualised in the literature, what are its major goals, observed outcomes as well as lessons learned from the implementation, and how it has been executed or applied across educational contexts. Thus, the purpose of this paper is to map the depth and breadth of literature on the implementation of DPA.

2가지 방법
2 METHODS

우리는 우리의 주요 질문을 다루기 위해 지식 합성의 한 형태인 범위 연구를 수행했다. 범위 검토는 해당 영역에서 어떤 연구가 수행되었는지, 또는 개념이 다양한 출처에 걸쳐 논의 또는 개념화되었는지를 모를 때 새로운 연구 영역 또는 신흥 영역에서 문헌의 초상화를 작성하는 데 유용하다. (예: 회색 문헌, 경험적 문헌, 웹 사이트). 범위 지정 연구를 수행하는 주된 이유는 네 가지입니다.

• (a) 주어진 분야에서 연구 활동의 범위, 범위 및 성격을 조사한다.
  
• (b) 체계적인 검토를 수행할 가치와 적절성을 결정한다.
  
• (c) 연구 결과를 요약하고 배포한다.
  
• (d) 연구 공백을 식별한다. 

We conducted a scoping study, a form of knowledge synthesis, to address our main question. Scoping reviews are useful for creating a portrait of the literature in a new or emerging area of study when it is unclear what research has been done in that area, or how a concept has been discussed or conceptualised across various sources (eg, grey literature, empirical literature, websites).11 There are four main reasons for conducting a scoping study:

• (a) to examine the extent, range and nature of research activity in a given field;
• (b) to determine the value and appropriateness of undertaking a systematic review;
• (c) to summarise and disseminate research findings, and
• (d) to identify research gaps.

본 논문에서 보고된 검토는 목표 (a), (b) 및 (c)에 따라 수행되었다. 우리는 Arcsey와 O'Malley11의 범위 검토에 대한 6단계 방법론적 프레임워크를 따랐다.

The review reported in this paper was guided by objectives (a), (b) and (c). We followed the six-step methodological framework for scoping reviews by Arksey and O’Malley11:

• 1 연구 질문의 식별
• 2 관련 연구 확인
• 3 스터디 선택
• 4 데이터 도표 작성
• 5 결과 수집 및 보고
• 6 잠재적 이해 관계자와 협의(선택적 단계)
• 1 Identifying the research question;
• 2 Identifying relevant studies;
• 3 Selecting studies;
• 4 Data charting;
• 5 Collating and reporting results, and
• 6 Consulting with potential stakeholders (optional step).

6단계는 검토의 주요 목적이 아니었고 시기상조라고 여겨졌기 때문에 실행하지 않았다. 나머지 다섯 단계는 아래에 각각 설명되어 있습니다.
We did not execute Step 6 as this was not the major purpose of our review and was considered premature. Each of the other five steps is described below.

2.1 1단계: 조사 질문 식별
2.1 Step 1: Identifying the research question

검토를 안내하는 주요 연구 질문은 '고등교육에서 DPA가 CBE의 맥락에서 어떻게 구현되는가?'였다. 특히, 우리는 다음을 목표로 삼았습니다.

• 구현된 DPA의 특성을 설명합니다.
  
• DPA 구현에 대한 잠재적 촉진제 및 장벽을 식별한다.
  
• DPA에 대한 잠재적 결과 및 유효성의 증거를 조사합니다.

The main research question guiding the review was ‘How is DPA implemented in the context of CBE in higher education?’ Specifically, we aimed to:

2.2 2단계: 관련 연구 파악
2.2 Step 2: Identifying relevant studies

첫 번째 저자(CS-O)는 학술 사서와 함께 사용할 수 있는 키워드와 검색을 통해 식별되어야 할 핵심 기사 3, 12-15에 대한 팀원들과의 협의에 따라 측정 및 평가 문헌에 대한 광범위한 지식을 바탕으로 검색 전략(부록 S1)을 정교하게 설명했다.
Working with an academic librarian, the first author (CS-O) elaborated a search strategy (Appendix S1) based on her extensive knowledge of the measurement and assessment literature, following a consultation with team members about potential key words to use and key articles3, 12-15 that should be identified through the search.

우리는 처음에 가장 적절한 전략, 즉 가장 포괄적이었던 전략을 식별하기 위해 서로 다른 키워드 및 키워드 조합을 사용하여 네 가지 다른 파일럿 검색을 수행했다(즉, 빠른 검토를 기반으로 제외된 논문의 비율을 가장 낮게 함). 팀의 콘텐츠 전문가(CS-O)가 대상 논문으로 식별한 3, 12-15개의 주요 기사를 사용하여 검색 전략을 테스트했다. 이 과정을 통해 핵심 기사가 파악되지 않으면 검색 전략을 수정했다.
We initially conducted four different pilot searches using different keywords, and keyword combinations, to identify the most appropriate strategy, that is, the strategy that was the most inclusive (ie, yielding the lowest percentage of excluded papers on the basis of a quick review). We tested the search strategies using identified3, 12-15 key articles that the content experts (CS-O) on the team identified as being target papers. If a key article was not identified through this process, the search strategy was revised.

최종 검색은 다음 데이터베이스에 적용되었다: ERIC (교육 자원 정보 센터); 교육 출처; Ovid; PubMed - MEDLINE; CINAHL(간호 및 제휴 보건 문헌에 대한 누적 지수); 싸이크인포, 에루딧. 이 조사는 2017년 6월 20일에 실시되었다. 포함되기 위해서는 학습자 평가, 진행 상황, 종방향 모니터링 및 CBE에 관한 기사가 포함되어야 했다. 평가의 내용은 지식, 기술, 태도 또는 학습자가 인식하는 효율성일 수 있다. 언어(프랑스어 및 영어 기사만 포함), 임상 컨텍스트(즉, 진단), 아동 발달, 사전 학습 설계, 커리큘럼 개발, 라이센스 평가, 시점 평가 또는 정규 교육 시스템 외부에 기반한 기사를 제외했다. 
The final search was applied to the following databases: ERIC (Education Resources Information Center); Education Source; Ovid; PubMed - MEDLINE; CINAHL (Cumulative Index to Nursing and Allied Health Literature); PsycINFO, and Érudit. This search was conducted on 20 June 2017. To be included, the articles needed to be on learner assessment, in the context of progression, longitudinal monitoring and in CBE. The content of the assessment could be knowledge, skills, attitudes or learner perceived efficacity. We excluded articles based on these criteria: language (only including French and English articles), clinical contexts (ie, diagnosis), child development, pre-post study designs, curriculum development, licensure assessment, point in time assessment or outside a formal education system.

2.3 3단계: 연구 선택
2.3 Step 3: Study selection

두 팀 구성원(CS-O 및 EVL)은 90% 합의에 도달할 때까지 포함 및 제외 결정을 위해 700개(28%)의 제목과 요약을 심사했다. 16 의견 불일치의 경우, 그들은 다양한 관점의 이유인 추상적 내용을 논의했고 합의에 도달했다. 일단 90%의 합의에 도달하면, 그들은 나머지 논문들을 나눠서 요약본을 별도로 심사했다(n = 898개). 한 검토자가 논문을 포함하거나 제외하는 것에 대한 결정에 도달할 수 없는 경우, 그들은 '아마도'로 추상화를 코드화한 다음, 두 번째 검토자에게 (포함되거나 제외된) 추상화를 코드화하도록 요청하였다. 팀 구성원(CS-O 및 EVL)이 모두 결정할 수 없는 경우, 제3의 검토자(EB)는 요약을 포함하거나 제외하는 것에 대해 읽고 결정하도록 요청받았다. 포함 및 제외 기준은 부록 S1에 제시되어 있다.

Two team members (CS-O and EVL) screened 700 (28%) titles and abstracts for inclusion and exclusion decisions until a 90% agreement was reached.16 In case of a disagreement, they discussed the abstract, the reasons for the varied perspective and came to a consensus. Once they reached 90% of agreement, they divided the remaining papers and screened the abstracts separately (n = 898 each). If one reviewer could not reach a decision about including or excluding a paper, they coded the abstract as ‘maybe’ and then asked the second reviewer to code the abstract (as included or excluded). If both team members (CS-O and EVL) could not decide, a third reviewer (EB) was asked to read and decide about including or excluding the abstract. Inclusion and exclusion criteria are presented in Appendix S1.

2.4 4단계: 데이터 차트 작성
2.4 Step 4: Data charting

초기 데이터 추출 양식은 CS-O가 그녀의 광범위한 평가 경험을 바탕으로 개발했다. 양식의 첫 번째 버전은 모든 팀 구성원(CS-O, EVL, SL, EB, FB 및 AT)과 검토 및 논의되었습니다. Microsoft® Excel(Microsoft Corporation, Redmond, WA, USA)에 탑재된 수정된 양식은 CS-O, EB, FB, SL 및 EVL에 의해 5개의 논문에 대해 시범 테스트되었습니다. 선명도를 높이기 위해 추출 그리드를 변경했습니다. 처음에는 4가지 요소(주요 결론, 시사점 또는 결과, 강점과 한계)로 구성되었고 7가지 요소(DPA의 원리, 개념화, 고려사항, 주요 결론, 시사점 또는 결과, 강점과 한계)로 구성되도록 수정되었다.
An initial data extraction form was developed by CS-O based on her extensive experience in assessment. The first version of the form was reviewed and discussed with all team members (CS-O, EVL, SL, EB, FB and AT). The revised form, mounted in Microsoft® Excel (Microsoft Corp., Redmond, WA, USA), was pilot tested by CS-O, EB, FB, SL and EVL on five papers. Changes to the extraction grid were made in order to increase clarity. Initially, it was comprised of four elements (major conclusions, implications or outcomes, strengths and limits) and was modified to be comprised of seven elements (principles of DPA, conceptualisations, considerations, major conclusions, implications or outcomes, strengths and limits).

양식이 완성되면, 두 명의 팀 구성원(CS-O 및 EVL)이 무작위로 선정된 35개의 논문(선택된 총 논문 수의 20%)에서 데이터를 추출하는 작업을 진행했다. 두 팀 구성원 간의 교정의 일환으로 각 구성원은 좋은 추출 예와 나쁜 추출 예제를 문서화한 저널을 작성 및 유지했습니다. 이 과정은 반복적으로 수행되었다. 즉, 이 팀 구성원(CS-O 및 EVL)은 추출된 5-10개의 기사마다 만나 추출에 대해 논의하였다. 추출에 대한 양호한 합의를 달성한 후, 이 두 팀 구성원은 나머지 기사를 별도로 선별하고 추출했다(CS-O의 경우 n = 58, EVL의 경우 57).

Once the form was finalised, two team members (CS-O and EVL) proceeded to extract the data from 35 randomly selected papers (20% of the total number of papers selected). As part of the calibration between the two team members, each member compiled and maintained a journal that documented good and bad extraction examples. This process was done iteratively, that is, these team members (CS-O and EVL) met and discussed their extractions at every 5-10 extracted articles. When they achieved a good agreement for extraction, these two team members then screened and extracted the remaining articles separately (n = 58 for CS-O and 57 for EVL).

2.5 5단계: 결과 수집 및 보고
2.5 Step 5: Collating and reporting results

우리는 각 보유 논문에 보고된 데이터에 대한 수치 분석과 주제 분석을 모두 수행했다. 먼저, 우리는 아카이브에서 추출한 수치 데이터를 분석했고, 그 빈도를 출판 연도, 국가, 교육생의 훈육 및 학습 수준과 같은 데이터에 사용했다. 기술 통계는 spss Version 21.0(IBM Corporation, Armonk, NY, USA)을 사용하여 수행되었습니다.16
We conducted both a numerical and thematic analysis of the data reported in each retained paper. First, we analysed the numerical data extracted from our archive whereby we used frequencies to data such as: year of publication, country, and trainees’ discipline and study level. Descriptive statistics were conducted using spss Version 21.0 (IBM Corp., Armonk, NY, USA).16

Arcsey와 O'Malley, 11 Levac 외 연구진, 17 및 Thomas 외 18의 권고에 따라 정성적 데이터에 대한 주제 분석을 수행하고 Dedoose(Dedoose, Manhattan Beach, CA, USA)18을 사용하여 데이터를 관리했다. Levac 등 17은 Arcsey와 O'Malley 11이 제안한 주제 분석이 어떤 사람들에게는 질적 데이터 분석 기법과 더 유사할 수 있다고 말한다. 우리는 Arcsey와 O'Malley11에서 제안된 용어를 그들의 프레임워크가 우리의 방법론적 선택을 안내했기 때문에 존중하기로 결정했다. 이 범위 지정 연구의 목표는 DPA 구현에 대한 문헌의 깊이와 폭을 매핑하는 것이었다. 구현 프로세스 중에 종종 발생하는 요인에 대한 우리의 발견을 명확히 했다. 19, 20 분석 자체의 경우, 수석 조사관(CS-O)은 기사의 50%를 코딩하고 코딩 트리를 구성했다. CS-O에 의해 구성된 코딩 트리를 사용하여 독립적으로 기사를 코딩한 세 명의 팀 구성원(EB, SL 및 FB)에게 동일한 50%가 분배되었다. CS-O와 팀 구성원들 앞에서 주제 분석의 예비 주제를 논의하여 코딩 트리를 개선하였다. 나머지 기사는 최종 코딩 트리를 사용하여 PI에 의해 분석되었으며, 결과 테마는 모든 팀 구성원(CS-O, EVL, SL, EB, FB 및 AT)에 의해 검토되었다. 추가 토론이 이어졌고 최종 주제 집합으로 이어졌다. 

As per recommendations from Arksey and O’Malley,11 Levac et al,17 and Thomas et al18 we conducted a thematic analysis of the qualitative data and used Dedoose (Dedoose, Manhattan Beach, CA, USA)18 to manage the data. Levac et al17 state that the thematic analysis proposed by Arksey and O’Malley11 may be more akin, for some, to a qualitative data analytical technique. We decided to respect the terminology proposed in Arksey and O’Malley11 as their framework guided our methodological choices. Our goal for this scoping study was to map the depth and breadth of the literature on the implementation of DPA, we articulated our findings around the factors that often come into play during an implementation process.19, 20 For the analysis itself, the principal investigator (CS-O) coded 50% of the articles and constructed a coding tree. The same 50% was distributed amongst three team members (EB, SL and FB), who independently coded the articles using the coding tree constructed by CS-O. CS-O and all in front of team members discussed the preliminary themes from the thematic analysis, which resulted in a refining of the coding tree. The remaining articles were analysed by the PI using the final coding tree and the resulting themes were reviewed by all team members (CS-O, EVL, SL, EB, FB and AT). Additional discussion ensued and led to the final set of themes.

3 결과
3 RESULTS

PRISMA(체계적인 검토 및 메타 분석을 위한 선호 보고 항목) 흐름도는 그림 1에 제시되어 있다. 프랑스어나 영어 이외의 언어로 된 기사, 중복을 제거한 후, 2494편의 논문이 추상 분석을 위해 포함되었다. 포함 및 제외 단계가 끝날 때, 포함 기준을 충족하는 171편의 논문이 유지되었다. 전체 논문 검토 후, 우리는 분석에 총 56개의 기사를 포함했다(그림 1 참조).
The PRISMA (preferred reporting items for systematic reviews and meta-analyses) flow diagram is presented in Figure 1. After eliminating duplicates, articles in languages other than French or English, 2494 papers were included for abstract analysis. At the end of the inclusion and exclusion phase, 171 papers that met the inclusion criteria were retained. After full paper review, we included a total of 56 articles in the analysis (see Figure 1).

3.1 수치 데이터 기술 결과
3.1 Descriptive results for numerical data

그림 2에서 2014년부터 2017년까지 39개의 기사(우리 말뭉치의 70%를 대표하는)가 발행된 가운데 개발 진행도 평가에 관한 기사가 증가했다.
In Figure 2 an increase in articles published on the topic of developmental progress assessment was seen with 39 articles (representing 70% of our corpus) published between 2014 to 2017.

그림 3과 같이 대부분의 기사가 미국에서 출판되었으며(n = 31개 기사, 55%), 캐나다와 영국(n = 6개 기사, 11%)이 그 뒤를 이었다.
The majority of articles were published in the United States (n = 31 articles; 55%), followed by Canada and the United Kingdom (n = 6 articles each; 11%) as seen in Figure 3.

표 1은 아카이브에 포함된 대부분의 기사가 HPE 문헌에서 가져온 것임을 보여준다. 즉, 기사의 71%가 의학 교육(n = 41), 치과(n = 4), 약학 및 건강 관리(각각 n = 2) 순이었다. 대학원 연구는 아카이브에서 가장 자주 접하는 연구 수준이었고(n = 28; 50%) 학부 연구는 아카이브의 20%를 차지했다(n = 11개 기사).
Table 1 shows that most of the articles included in our archives were from the HPE literature; that is, 71% of the articles were situated in medical education (n = 41), followed by dentistry (n = 4), pharmacy and health management (n = 2 each). Postgraduate studies was the study level most often encountered in our archive (n = 28; 50%), whereas undergraduate studies represented 20% of our archive (n = 11 articles).

 

우리 아카이브에 있는 56개의 기사 중 12개는 연구 목적을 밝히지 않았다. 표 2에 나타난 바와 같이, 가장 일반적인 네 가지 목적은 다음과 같다: 

• (a) 새로운 종방향 평가 전략 또는 도구에 대한 타당화 프로세스를 설명합니다(n = 14; 32%).
  
• (b) 학생의 progression를 평가하는 데 사용되는 교육 혁신을 설명한다(n = 8; 18%).
  
• (c) 새로운 평가 또는 도구 개발 및 구현(n = 7; 16%)
  
• (d) CBE 원칙에 부합하는 커리큘럼을 개발한다(n = 7; 16%)

Of the 56 articles in our archive, 12 did not state a study purpose. As shown in Table 2, the four most common stated purposes were to:

• (a) describe a validation process for a novel longitudinal assessment strategy or tool (n =14; 32%);
• (b) describe an educational innovation used to assess students’ progression (n = 8; 18%);
• (c) develop and implement a novel assessment or tool (n = 7; 16%), and
• (d) develop a curriculum aligned with CBE principles (n = 7; 16%).

 

 

DPA를 위한 특정 평가 도구(일반적인 아이디어, EPA와 마일스톤의 개발 및 구현, 또는 임상 역량 위원회 프로세스와는 반대로)를 다룬 29개의 논문에서 우리는 다양한 도구와 평가 컨텍스트를 관찰했다. 가장 일반적인 도구는 주어진 역량 또는 하위 역량에 대한 개발 수준을 문서화하는 척도(n = 9)였으며, 평균 4.8의 2개에서 10개의 서로 다른 앵커를 가지고 있었다. 다른 인기 있는 도구로는 마일스톤(n = 6), 포트폴리오(n = 3) 및 자기효능감척도(n = 3)가 있습니다. 발달과 진행을 결정하기 위해 임상적 맥락(n = 6), 표준화된 맥락(n = 5) 또는 특정 과제(n = 5)에서 가장 자주 수행이 관찰되었다(표 3).

Of the 29 papers that addressed specific assessment tools for DPA (as opposed to general ideas, development and implementation of EPAs and milestones, or even clinical competence committee processes), we observed different tools and assessment contexts.

• The most common tools used were scales (n = 9) to document the level of development for given competencies or subcompetencies, they had from two to 10 different anchors with an average of 4.8. Other popular tools included milestones (n = 6), portfolios (n = 3) and self-efficacy scales (n = 3).
• To determine development and progress, the performances were observed most often in a clinical context (n = 6), in a standardised context (n = 5) or for a specific task (n = 5) (Table 3).

 

 

3.2 정성적 데이터에 대한 기술 결과
3.2 Descriptive results for qualitative data

우리는 질적 주제 분석에서 DPA의 구현에 대한 우리의 이해를 알릴 수 있는 7가지 주요 주제를 식별했다.

• (a) DPA의 기본 목표
• (b) DPA에 대한 정보 출처
• (c) DPA 구현에 대한 장벽
• (d) DPA 구현의 장벽 또는 촉진자로 작용할 수 있는 상황별 요인
• (e) DPA 구현 촉진자
• (f) DPA 구현의 관찰된 결과
• (g) 타당성을 입증하는 증거

We identified seven major themes in our qualitative thematic analysis that can inform our understanding of the implementation of DPA:

• (a) underlying aims of DPA;
• (b) sources of information for DPA;
• (c) barriers to the implementation of DPA;
• (d) contextual factors that can act as barriers or facilitators to the implementation of DPA;
• (e) facilitators to the implementation of DPA;
• (f) observed outcomes of the implementation of DPA, and
• (g) documented validity evidence.

각 테마는 여러 하위 테마로 구성되었으며 8-38개의 서로 다른 출처(기사)에 의해 지원되었다. 9개의 기사가 오직 하나의 테마로 제시되었다:

• 34개의 다른 출처가 지원하는 주제 '실제 결과'의 4개
  26개의 다른 출처가 지원하는 '정보 제공'의 2개
  25개의 다른 출처가 지원하는 '기본 목표'의 2개
  9개의 다른 출처에 의해 지원되는 'model' 중 1개. 

주제, 하위 주제 및 설명은 아래에 인용문과 함께 제시되어 있습니다..

Each theme was comprised of several subthemes, and supported by 8-38 different sources (articles). Nine articles were present in only one theme:

• four in ‘observed outcomes’ a theme supported by 34 other sources;
• two in ‘sources of information’ supported by 26 other sources;
• two in ‘underlying aims’ supported by 25 other sources, and
• one in ‘barriers’ supported by nine other sources. 

Themes, subthemes and their descriptions are presented below with supporting quotes.

 

3.3 주제 1: DPA의 기본 목표
3.3 Theme 1: Underlying aims to DPA

우리는 DPA의 구현과 관련된 두 가지 주요 목표를 식별했다. (a) 교육생의 진행과 발달에 대한 보고와 (b) 더 나은 전문직으로서의 개발에 기여하기 위한 것이다. DPA의 구현의 근본적인 동기는 [역량을 향한 구체적인 발전 경로]가 주어졌을 때 [교육생과 프로그램에 교육생의 발전 및 발전에 대한 보고서를 제공]하는 것이다. 21-40 교육생에 대한 보고서를 제공하는 것 외에도, DPA는 평가, 피드백, 가이드를 통해 학습 기회를 제공함으로써, 더 나은 직업의 발전에 기여할 것으로 기대된다.
We identified two main goals associated with the implementation of DPA:

• (a) to report on trainees’ progress and development, and
• (b) to contribute to the development of better professionals.

An underlying motivation to the implementation of DPA is to provide trainees and programmes with a report on trainees’ progression and development given a specific established path of progression towards competency.21-40 In addition to providing a report on trainees’ progression, DPA is expected to contribute to the development of better professionals by providing learning opportunities through assessment, feedback and guidance.

3.4 주제 2: DPA를 위한 정보의 출처
3.4 Theme 2: Sources of information for DPA

우리는 DPA(연수생의 진행과 발전을 문서화하는 방법)의 정보 소스에 기여하는 두 가지 주요 요소를 식별했다. 즉 (a) 학생에 대한 직접적인 관찰과 (b) 미리 설정된 진행 경로. 저자들이 역량 기반 의학교육(CBME)의 맥락에서 DPA의 구현을 논의할 때, 그들은 학생들의 성과에 대한 종방향 문서화와 평가가 학생에 대한 직접 관찰에 의해 informed 되어야 한다는 중요성을 내세웠다. 3, 15, 27, 28, 33, 35, 38, 41 우리가 자주 관찰한 두 번째 요소는 사전 설정된 진행 경로를 통해 DPA에 알려야 할 필요성. 
We identified two main elements contributing to the sources of information for DPA (how to document trainees’ progress and development) namely:

• (a) the direct observation of students, and
• (b) a pre-established path of progression.

When authors discussed the implementation of DPA in the context of competency-based medical education (CBME), they put forward the importance that the longitudinal documentation and assessment of students’ performance be informed by direct observation of students.3, 15, 27, 28, 33, 35, 38, 41 The second element that we frequently observed was the necessity that DPA be informed by a pre-established path of progression.15, 21, 23, 25-27, 30, 32-38, 41-52

3.5 주제 3: DPA의 구현에 대한 장벽
3.5 Theme 3: Barriers to the implementation of DPA

우리는 DPA 구현에 대한 네 가지 주요 장벽 또는 과제를 식별했다. (a) 추가 물류 부담, (b) 경험적 데이터 또는 증거 지원 관행 부족, (c) 관찰 기회를 찾는 도전, (d) 시간이 필요하다. 프로그램에 대한 이러한 추가 부담은 DPA 구현에 대한 장벽으로 간주될 수 있다. 일부 저자들은 경험적 데이터 또는 증거 지원 관행의 부족을 강조하며, 경우에 따라 DPA 구현에 대한 장벽으로 인식될 수 있다고 가정한다. 교육생을 관찰할 시간과 기회도 DPA의 구현에 있어 중요한 장벽으로 간주되었다.

We identified four main barriers or challenges to the implementation of DPA:

• (a) The additional logistical burden;
• (b) lack of empirical data or evidence-supported practices;
• (c) challenge of finding observation opportunities, and
• (d) time it requires.

These additional burdens on the programmes could be seen as barriers to the implementation of DPA.33, 38, 47, 53-56 Some authors highlight the lack of empirical data or evidence-supported practices, and hypothesise that it can be, in some instances, perceived as a barrier to the implementation of DPA.38, 47, 56, 57 Time and opportunities to observe trainees were also seen as important barriers to the implementation of DPA.15, 33, 58

3.6 주제 4: DPA 구현에 긍정적 또는 부정적 영향을 미칠 수 있는 상황적 요인
3.6 Theme 4: Contextual factors that can positively or negatively influence implementation of DPA

우리는 DPA 구현에 장벽 또는 촉진자로 작용할 수 있는 세 가지 상황적 요인을 식별했다. (a) 적절한 평가 도구 또는 전략, (b) 교수진 개발, (c) 지역 문화. DPA를 구현하기 전에 [적절한 평가 도구 또는 전략이 제공되었을 때], 이를 촉진자로 간주했습니다.3 그러나 이러한 도구와 전략의 개발에 대한 비용과 자원은 DPA의 구현에 대한 장벽으로 간주되었다.38 평가 도구 또는 전략이 DPA의 구현에 적절하거나 제공되지 않은 경우, 이는 DPA의 구현에 대한 장벽으로 간주되었다.38, 43, 47 이러한 평가 도구와 전략에 대한 기대치는 높았고, 충족되지 않을 때, 좌절하게 만들었다.
We identified three contextual factors that could act as either a barrier or facilitator to the implementation of DPA:

• (a) appropriate assessment tools or strategies;
• (b) faculty development, and
• (c) local culture.

When appropriate assessment tools or strategies were made available before the implementation of DPA, this was seen as a facilitator.3 Costs and resources to the development of these tools and strategies, however, were seen as barriers to the implementation of DPA.38 If the assessment tools or strategies were not appropriate or available at the implementation of DPA, this was seen as a barrier to its implementation.38, 43, 47 Expectations towards these assessment tools and strategies are high, and when not met, they lead to frustrations.33, 47, 51, 54(p.2)

DPA의 구현에 대한 장벽 또는 촉진자로 볼 수 있는 두 번째 상황적 요인은 교수진에게 제공되는 교육 기회이다. 교수개발이 DPA의 구현 전 또는 구현 중에 계획되고 전개되었을 때, 이는 DPA의 구현에 대한 촉진자로 간주되었다. DPA의 구현에 앞서서 교수개발을 출시하는 것이 바람직하게 보였지만, 많은 저자들은 이것이 프로그램에 대한 추가적인 부담이라는 사실을 강조했고, 그들은 DPA의 구현에 대한 장벽으로 볼 수 있었다.
A second contextual factor that could be seen as either a barrier or facilitator to the implementation of DPA is the training opportunities provided to faculty members.21, 38, 54, 56, 58, 59 When faculty development was planned and rolled out before or during the implementation of DPA, this was seen as a facilitator to the implementation of DPA.58 Though the roll-out of faculty development prior to the implementation of DPA was seen as favourable, many authors highlighted the fact that this was an additional strain on programmes, who could view it as a barrier to the implementation of DPA.21, 38, 56

마지막으로, DPA의 구현에 장벽 또는 촉진자로 작용할 수 있는 중요한 기여 요소는 [지역 문화]였다. 저자들은 학습의 평가(평가의 전통적인 사용)에서 학습을 위한 평가(개발 촉진에 사용되는 평가)로 이동하려면 중요한 변화가 필요하다고 강조했다. 향토 문화로 DPA가 지역 문화와 잘 일치하는 경우, DPA는 구현의 촉진자로 간주되었습니다.54 그러나, 일부 경우에는 DPA가 평가 관행에 상당한 변화를 요구했기 때문에 구현에 대한 장벽으로 간주될 수 있습니다.54, 56

Finally, an important contributing factor that could act as either a barrier or facilitator to the implementation of DPA was the local culture.21, 28, 35, 38, 54 Authors highlighted that moving from assessment of learning (traditional use of assessment) to assessment for learning (assessment used to promote development) requires an important shift in local culture. In instances where DPA aligned well with the local culture, it was seen as a facilitator to its implementation.54 However, in some instances, DPA required a significant shift in assessment practices and could thus be seen as a barrier to its implementation.54, 56

3.7 주제 5: 촉진자
3.7 Theme 5: Facilitators

우리는 DPA의 세 가지 주요 촉진 요인을 식별했다. (a) 구현 컨텍스트에서 제공되는 유연성, (b) CBME의 동시 구현, (c) 구현하기 전에, 다가올 변화에 대한 컨텍스트와 인력의 준비 등. 우리는 아카이브에서 DPA의 구현이 유연성을 제공할 때 촉진될 수 있음을 관찰했다. 즉, 운영화와 구현이 엄격하게 사전 정의되지 않았을 때 DPA를 구현하기가 더 쉬웠다. CBME가 도입되는 동안 DPA의 구현은 또한 평가 관행에 변화의 기회를 제공했기 때문에 상황적 요인으로 간주되었다. 마지막으로, DPA를 시행하기 전에 맥락과 인력의 준비가 중요한 촉진자로 간주되었다.

We identified three main facilitators to the implementation of DPA:

• (a) the flexibility offered in the context of the implementation;
• (b) the simultaneous implementation of CBME, and
• (c) the preparation of the context and people for the upcoming changes, prior to the implementation of DPA.

We observed, in our archive, that the implementation of DPA could be facilitated when it provided flexibility. That is, it was easier to implement DPA when the operationalisation and implementation were not rigidly pre-defined.37, 38, 54 The implementation of DPA during the roll-out of CBME was also seen as a facilitating contextual factor as it provided an opportunity for change in assessment practices.26, 47, 54, 60 Lastly, the preparation of the context and people prior to the implementation of DPA was seen as an important facilitator.21, 25, 26, 33, 37, 54, 58, 61

3.8 주제 6: DPA수행의 관찰된 성과이다.
3.8 Theme 6: Observed outcomes of the implementation of DPA

아카이브에 있는 56개의 기사 중 총 42개는 DPA 구현의 결과를 제공했으며, 여기에는 다음이 포함되었다. 

• (a) 피드백 촉진,
• (b) 교정조치가 필요한 전공의 확인,
• (c) 더 나은 수습 평가 및 프로그램 평가,
• (d) 진행 상황 모니터링 수단,
• (e) 명시적 기대치 로드맵

A total of 42 of the 56 articles in our archive provided outcomes from the implementation of DPA, which included:

• (a) facilitated feedback;
• (b) identification of residents who need remediation;
• (c) better trainee assessment and programme evaluation;
• (d) means to monitor progress, and
• (e) a road map of explicit expectations.

DPA 구현의 일반적인 긍정적인 결과는 교육생에 대한 피드백이었다. 또한, 몇몇 저자들은 DPA의 구현이 재교육이 필요한 교육생을 식별할 수 있는 기회를 제공했다고 보고했다. 전반적으로, DPA의 시행은 더 나은 연수생 평가와 프로그램 평가를 위한 기회로 간주되었다. DPA는 또한 훈련생들의 진행과 그들의 전문적 역량의 개발을 모니터링하는 수단을 제공하는 것으로 간주되었다. 마지막으로, DPA는 교육생들이 무엇을 성취했고 그들 앞에 무엇이 남아 있는지를 묘사하기 위해 무엇을 사용할 수 있는지에 대한 명시적인 기대의 로드맵으로 보여졌다. 

A common positive outcome of DPA implementation was the facilitated feedback to trainees.22, 25, 29, 30, 32, 37, 47, 49, 54-56, 58, 62-64 In addition, several authors reported that the implementation of DPA provided the opportunity to identify trainees who require remediation.22, 27, 29, 30, 36, 38, 43, 52, 54, 55, 63, 65, 66 Overall, the implementation of DPA was seen as an opportunity for better trainee assessment and programme evaluation.30, 39, 41, 46, 47, 49, 54, 55, 58, 61-65, 67 DPA was also seen as providing a means to monitor trainee progress and the development of their professional competency.21-24, 27, 29, 30, 32, 33, 37, 39, 40, 46, 48, 50, 54, 60, 65, 68 Lastly, DPA was seen as a road map of explicit expectations of what could be used by trainees to picture what they have accomplished and what is left in front of them.

DPA 구현을 위해서는 [명확한 사전 설정된 경로 제공]이 필요하지만, 구현 시 필요하지 않았다면 만들어지지 않았을 수 있어 구현에 긍정적인 결과물로도 평가된다. 이는 전공의 스스로 전문성 개발을 agency를 갖게하겠다는 전략으로도 읽힌다. 오직 두 개의 기사만이 DPA 구현과 관련된 부정적인 결과를 제시한다. 타르디프와 두부아에서 저자들은 교수진 개발의 부족이 평가를 세로 방향으로 볼 수 없는 상황을 초래했다고 말했다. Yadlapati 외 연구진에서, 교육생 중 절반이 예상 시간 내에 기대 수준의 역량을 달성하지 못했다.

Though providing an explicit pre-established path is required for the implementation of DPA, it is also seen as a positive outcome of its implementation as it may have not been created if the implementation didn't require it.21, 23-26, 30, 33, 49, 54, 55, 62-64, 67 This is also seen as a strategy to give residents agency over their own professional development. Only two articles put forward negative outcomes associated with DPA implementation.31, 35 In Tardif and Dubois,35 the authors stated that the lack of faculty development yielded a situation where the assessment was not seen longitudinally. In Yadlapati et al,31 half the trainees did not achieve the expected level of competency in the expected time frame. 

3.9 주제 7: 타당성 근거를 문서화
3.9 Theme 7: Documented evidence of validity

우리는 단지 4개의 기사에서만 타당성을 증명할 수 있었다.

• Rebel 외 연구진에서, 30명의 저자들은 성장 및 이정표 달성을 문서화하기 위해 성능의 증가와 목표 구조화된 임상 검사(OSCE)의 타당성에 대해 논의한다.
• Nabors 등은 임상 역량 위원회의 상임위 심사 과정을 기록했다.
• Pugh 등은 그들의 OSCE가 다른 수준에서 후보들 간의 차별을 할 수 있고 또한 높은 신뢰성을 가지고 있기 때문에 progress test 의 한 형태로 사용될 수 있다고 주장한다.
• 하우어 외 연구진에서, 저자들은 자신들의 연구 결과가 '능력 개발을 어떻게 특징지을 수 있는지, 임상 역량 위원회와 함께 일하는 프로그램 책임자가 훈련 중에 거주자들이 겪거나 겪지 않은 커리큘럼 경험을 식별하기 위해 어떻게 그것들을 사용할 수 있는지를 보여줌으로써 이정표에 대한 유효성의 증거를 구축하는 것'에 기여한다고 제안한다.

We were able to identify validity evidence in only four articles.30, 36, 61, 67 

• In Rebel et al,30 the authors discuss the increase in performance, and the validity of their objective structured clinical examination (OSCE) to document growth and milestones attainment.
• In Nabors et al,61 the authors documented the deliberation process for the clinical competence committee.
• Pugh et al36 argue that their OSCE can be used as a form of progress test as it can discriminate amongst candidates at different levels, and also has high reliability.
• In Hauer et al,67 the authors propose that their findings contribute to ‘build evidence of validity for the milestones by showing how they may characterise development of competence and how programme directors working with clinical competency committees may use them to identify curricular experiences residents do or do not have during training.’67(p.361)

4 토론
4 DISCUSSION

CBME에서 평가의 보편성을 고려할 때, 학습자와 사회에 대한 설명 책임의 시대에 새로운 평가를 구현하기 위한 노력은 새로운 평가의 성격과 영향에 대한 깊은 이해가 필요하다. 우리는 DPA의 성공적인 광범위한 구현을 위한 첫 번째 필수 단계로서 DPA의 구현에 대한 문헌의 깊이와 폭을 매핑하기 위해 범위 검토를 수행했다. 16, 71 우리는 논문에서 교육생의 개발과 진행을 문서화하기 위해 배치된 다양한 도구와 프로세스를 관찰했다. 이러한 도구와 프로세스의 구현은 일반적으로 두 가지 목표에 의해 뒷받침되었습니다.

• (a) 교육생의 발전 및 진행 상황을 보고하고,
• (b) 교육생의 전문성 향상에 기여한다.

DPA는 성과와 예상 개발 궤적을 직접 관찰함으로써 통보되었다. 몇 가지 상황적 요인이 DPA의 구현을 방해하거나 유리할 수 있다.

Given the ubiquitous nature of assessment in CBME,3, 69, 70 efforts to implement novel assessments in an era of accountability to learners and society require that we have a deep understanding of the nature and impact of novel assessments. We conducted a scoping review to map the depth and breadth of literature on the implementation of DPA as a first and necessary step towards its successful widespread implementation.16, 71 In the retained papers, we observed different tools and processes that were put in place to document the development and progression of trainees. The implementation of these tools and processes were, in general, underpinned by two aims:

• (a) to report on trainees’ development and progression, and
• (b) to contribute to trainees’ professional development.

Developmental progress assessment was informed by direct observation of performance and expected developmental trajectories. Several contextual factors could hinder or favour the implementation of DPA.

우리는 DPA의 구현에 따라 개인 및 조직 수준에서 몇 가지 잠재적 긍정적인 결과를 관찰했다.19 [교육생]의 경우, DPA는 훈련의 각 단계에서, 자신의 역량을 갖추고 독립적인 실천으로 발전하는 데 사용될 수 있는 [명확한 기대 로드맵]을 제공한다.4 이 아이디어는 CBME의 핵심이며, 한 가지 원칙은 [역량있고 독립적인 실천으로 가는 개발 경로]를 설정하는 것이다. 그리피스 외 9는 또한 이것이 학습 강화에 기여해야 한다고 말한다.

We observed several potential positive outcomes at the individual and organisational levels following the implementation of DPA.19 For trainees, DPA provides an explicit road map of expectations, at each stage of their training, that can be used to guide their development towards competent and independent practice.4 This idea is central to CBME, for which one principle is to establish a developmental pathway to competent and independent practice. Griffith et al9 also state that this should contribute to enhanced learning.

[교육생과 감독자 모두]에게 DPA는 관찰된 성과에 대한 명시적 설명을 제공하고, 관찰된 성과를 발달 진전에 대한 명시적 기대와 비교한다는 점에서 [피드백을 제공하는 촉진자]로 간주된다. 73-76 두 프로세스 모두 피드백이 성인 학습에 효과적일 수 있는 중요한 요소로 인식된다. [기관]에게 DPA는 진행 상황을 모니터링하고 교정조치가 필요한 전공의를 식별할 수 있는 수단을 제공하며, 교육생 평가와 프로그램 평가도 개선한다. 이러한 잠재적 결과는 교육자와 프로그램 관리자가 제시한 니즈를 충족시킵니다.
For both the trainees and their supervisors, DPA is viewed as a facilitator for providing feedback in that it provides explicit descriptions of observed performance72 and compares observed performance to explicit expectations of developmental progress73-76 both processes are recognised as important factors for feedback to be effective in adult learners. For organisations, DPA provides a mean to monitor progress, identify residents who need remediation and it also provides better trainee assessment and programme evaluation. These potential outcomes fill needs manifested by educators and programme administrators.

DPA의 잠재적인 긍정적인 결과를 관찰했지만, 그 구현에는 몇 가지 과제가 있으며, 그 중 많은 문제는 변화에 대한 내성에 기여할 수 있기 때문에 가볍게 볼 수 없다.9, 71 DPA의 구현은 추가적인 로지스틱컬 부담으로 간주되었다. 일부 저자들은 DPA가 경험적 증거가 부족하다고 생각했지만, 다른 저자들은 그렇지 않았다. 직접 관찰에 필요한 기회와 시간과 관련된 문제를 언급하였다. 직접 관찰은 서로 다른 감독자에 의해 만들어진 다양한 맥락에서 여러 개의 관찰을 갖는 DPA의 초석이다. 이러한 마음가짐에서 평가 지점은 독립적인 스냅샷으로 보이지 않지만 학습자의 잠재 성장 가능성을 보다 완벽하고 감동적으로 포착하는 데 기여하는 것으로 간주된다. 또한 사용자 친화적인 평가 양식에 대한 적시 접근은 필수적입니다.9 이러한 장벽은 증거 정보 HPE를 지원하거나 방해하는 요소를 탐구하는 HPE의 다른 분야의 새로운 연구에서 보고된 장벽과 일치한다.77, 78
Although we observed potential positive outcomes of DPA, there are some challenges to its implementation, many of which cannot be taken lightly as they can contribute towards resistance to change.9, 71 The implementation of DPA was seen as an additional logistical burden; some authors considered that it is lacking empirical evidence, whereas others mentioned issues with the opportunity and time required for direct observation. Direct observation is the cornerstone of DPA with multiple observations in varied contexts made by different supervisors. In this mindset, assessment points are not seen as independent snapshots, but are seen as contributing to a more complete and moving capture of a learner's potential growth. In addition, the just-in-time access to user-friendly assessment forms is quintessential.9 These barriers are in line with those reported in emerging research in other areas of HPE exploring the factors that support or hinder Evidence Informed HPE.77, 78

어떤 경우에는 장벽으로 간주되는 것이 - 다른 상황 또는 다른 상황에서 - 촉진제가 될 수도 있습니다. 이러한 상황적 요인에는 [적절한 도구에 대한 접근성], [교수진 개발] 및 [학습을 위한 평가 원리와 일치하는 지역 문화]가 포함된다(Griffith et al.9). 이러한 연구 결과는 Thomas 등 78과 Onyura 등.77의 연구 결과를 반영하기도 한다. 예를 들어, 적절한 평가 도구에 쉽고 빠르게 접근할 경우 DPA의 구현과 채택이 용이할 수 있지만, 그러한 도구의 개발은 부담으로 간주될 수 있다.
In some instances, what was seen as a barrier could also be - in different contexts or under different circumstances - a facilitator. These contextual factors include having access to appropriate tools, faculty development and a local culture aligned with principles of assessment for learning, as also highlighted recently in Griffith et al.9 These findings also mirror the work by Thomas et al78 and Onyura et al.77 For example, easy and quick access to appropriate assessment tools would facilitate the implementation and uptake of DPA; however, the development of such tools can be seen as burdensome.

앞에서 설명한 바와 같이, 대부분의 CBME 컨텍스트 내에서 DPA의 구현은 필수적입니다. 따라서 현재 DPA의 운영화 및 구현 과정을 겪고 있는 학교나 프로그램의 경우 알려진 촉진자를 내장하는 것이 흥미로울 수 있다. 우리는 CBE의 구현과 환경적 유연성이 DPA의 구현을 선호할 수 있다는 것을 관찰했다. 즉, 지역 문화가 이에 큰 역할을 했다.21, 28, 35, 38, 54 DPA로의 이동은 교육생과 교직원이 [학습의 평가]를 보는 대신에 [학습을 위한 평가]를 보는 것을 요구한다. DPA의 구현은 학습을 위한 평가 문화가 이미 존재하는 상황에서 촉진되었다. 
As stated earlier, implementation of DPA within most CBME contexts is mandatory. Thus, for the schools or programmes that are currently going through the process of operationalising and implementing DPA, it might be interesting to build-in known facilitators. We observed that the implementation of CBE and surrounding flexibility could favour the implementation of DPA. Namely, the local culture played a major role in this.21, 28, 35, 38, 54 The move towards DPA requires that trainees and faculty members see assessment for learning instead of seeing assessment of learning. Implementation of DPA was facilitated in the contexts where there was already a culture of assessment for learning.

DPA의 초기 구현 단계에 있기 때문에, 아카이브의 몇 가지 문서만이 타당성을 입증했다. 앞으로, 이 문제는 목적 있는 접근 방식으로 다뤄질 필요가 있을 것이다. 새로운 평가의 검증은 평가와 최종 목표(기대 성능)가 정적일 때 그 자체로 어렵다. 그러나, DPA의 맥락에서, 기대되는 성과(최종 목표)는 움직이는 목표이며, 이는 우리가 정적 성과에 관심이 없다는 것을 의미한다. 오히려 평가의 초점은 [학생들의 발전 궤도에 대한 진행]에 있다. 이러한 평가 초점의 차이(정적 성과 대 성장) 때문에, 우리는 심리 측정 모델이 이 현실에 적합하지 않을 수 있기 때문에 타당성 증거를 문서화하기 위해 배치될 접근법을 주의 깊게 고려할 필요가 있다. 79-81
As we are at the initial implementation of DPA, only a few articles in our archive presented validity evidence. Moving forward, this issue will need to be addressed in a purposeful approach. Validation of a novel assessment is challenging in itself when the assessment and end goal (expected performance) is static. However, in the context of DPA, the expected performance (end goal) is a moving target, meaning that we are not interested in a static performance; rather, the focus of the assessment is students’ progression on a developmental trajectory. Because of this difference in assessment focus (static performance versus growth), we need to carefully consider the approaches that will be put in place to document validity evidences, as psychometric models may not be suited for this reality.79-81

범위 검토에는 데이터를 해석할 때 독자가 명심해야 하는 몇 가지 제한이 있습니다. 개발 및 진전에 대한 평가가 반드시 새로운 아이디어는 아니지만 - CBE에 대한 초기 글에 포함되었다 - 이 주제에 대한 문헌은 부족하고 CBME의 구현에 따른 HPE에 대부분 포함되어 있다. 따라서, 아직 포괄적일 검색 전략을 만들기 위한 적절한 키워드를 식별하기가 어려웠다.; 이와 같이, 그것은 더 높은 비율의 배제 기사를 낳았다. 이 검색 전략은 2017년 5월에 적용되었는데, 그 이후로 새롭고 다른 결과가 발표될 수 있었는지에 대해 의문이 제기될 수 있다. 우리가 조사한 최근 연구(예: 그리피스 외 9)가 검색 전략에서 확인된 기사에서 추출한 것과 유사한 발견을 보고하기 때문에 그럴 가능성은 낮다고 본다. 우리가 검색을 수행한 이후로 이 주제에 대한 중요한 저작이 출판되지 않았습니다. 범위 지정 연구에서 전형적이듯, 우리는 포함된 연구의 품질 평가를 수행하기보다는 주제에 대한 문헌의 폭과 깊이를 매핑하는 것이 목적이었기 때문에 데이터 말뭉치에 포함된 문헌을 비판적으로 평가하지 않았다.

There are some limitations to our scoping review that the reader should bear in mind when interpreting our data. Though the assessment of development and progress is not necessarily a new idea - it was embedded in the initial writings on CBE - the literature on this topic is scarce and mostly in HPE following the implementation of CBME. Thus, it was difficult to identify the appropriate keywords to create a search strategy that would be focused yet inclusive; as such, it resulted in a higher percentage of excluded articles. The search strategy was applied in May 2017, which might bring into question if new and different results could have been published since then. We believe that is unlikely, as the recent studies we surveyed (eg, Griffiths et al9) report similar findings to those we extracted from our articles identified in our search strategy. There has not been a seminal work published on the topic since we conducted our search. As is typical in scoping studies, we did not critically appraise the literature included in our data corpus, as our intention was to map the breadth and depth of the literature on the topic rather than conduct a quality assessment of the included studies.

5 결론
5 CONCLUSIONS

피드백을 제공할 수 있는 시설의 증가, 교정조치가 필요한 교육생의 잠재적 식별, 자체 개발에서 교육생에게 주어지는 기관의 증가에서 볼 수 있듯이, 개발 진행 평가는 미래의 유능한 보건 전문가의 훈련의 필요성을 충족시키는 것으로 보인다. 그러나 잠재적인 물류 및 부담스러운 함정이 우리를 기다리고 있다. DPA의 광범위한 구현을 진행하면서, 교육자와 연구원들은 평가 해석의 타당성에 대한 증거를 수집하는 것을 염두에 둘 필요가 있다.

Developmental progress assessment seems to fill a need in the training of future competent health professionals, as can be seen by the increased facility to provide feedback, the potential identification of trainees that require remediation, and the increased agency given to trainees in their own development. Yet, potential logistical and burdensome pitfalls await us. Moving forward with a widespread implementation of DPA, educators and researchers need to be mindful of collecting evidences of the validity of the assessment interpretation.

© 2020 John Wiley & Sons Ltd and The Association for the Study of Medical Education.

필기시험 기반 발달시험: 스코핑 리뷰(Acad Med, 2022)
Written-Based Progress Testing: A Scoping Review
Vincent Dion, Christina St-Onge, PhD, Ilona Bartman, MA, Claire Touchie, MD, MHPE, and Debra Pugh, MD, MHPE 

더 많은 교육자가 이 평가 형식이 학습 및 장기적인 지식 보존에 미치는 긍정적인 효과를 인식함에 따라 Progress 테스트가 인기를 얻고 있습니다. 1-3 Progress testing는 

• 포괄적(즉, 전체 커리큘럼을 포함하는 블루프린트), 
• 종단적(즉, 학습자를 시간에 따라 여러 차례에 걸쳐 평가함) 및 
• 단면적(즉, 서로 다른 교육 단계의 학습자는 동일한 내용을 사용하여 평가함)의 평가 형태를 말합니다. 4 

불행히도, Progress 시험이 지역 맥락 내에서 작동하도록 조정된 방법에는 많은 가변성이 있다. 평가 프로그램에서 Progress 시험을 구현하는 방법에 대한 [기관의 다양한 결정]은 발달시험의 잠재적인 긍정적인 이익을 저해하거나 강화할 수 있다. 따라서, 우리는 Progress 시험을 시행할 때 채택해야 하는 다양한 관행을 문서화하기 위해 노력했다.

Progress testing is gaining in popularity as more educators recognize the positive effects that this assessment format has on learning and long-term knowledge retention. 1–3 Progress testing refers to a form of assessment that is

• comprehensive (i.e., the blueprint covers an entire curriculum),
• longitudinal (i.e., learners are assessed on multiple occasions over time), and
• cross-sectional (i.e., learners from different stages of training are assessed using the same content). 4 

Unfortunately, there is much variability in how progress testing has been adapted to work within local contexts. The different decisions made by institutions about how to implement progress testing in their programs of assessment could either undermine or reinforce its potential positive benefits. Thus, we sought to document the variety of practices that should be adopted when implementing progress tests.

Progress 테스트는 문제 기반 학습 컨텍스트를 위해 개발되었고, 이는 원래 학생들의 바람직한 학습 행동을 극대화하기 위한 목적이 있었다. 5-7 마스트리흐트 대학과 미주리-캔자스 의과대학 은 1970년대 중반에 Progress testing 방법을 독자적으로 개발한 최초의 대학이다. 맥마스터 대학교는 1991년부터 926년까지, 위트레흐트는 2002년부터 2003년까지 이를 따랐다. 이후 Progress testing은 다양한 교육 맥락에서 폭넓게 도입되었다.

Progress testing was originally developed for problem-based learning contexts to maximize desirable learning behaviors in students. 5–7 The University of Maastricht 5 and the University of Missouri-Kansas City School of Medicine 8 were the first to independently develop the progress testing method in the mid-1970s. McMaster University followed suit in 1991–1992 6 and the University Medical Center Utrecht did so in 2002–2003. 7 Progress testing was then more broadly adopted in numerous educational contexts. 9

그 시작 이래로, Progress 시험의 사용을 위해 문서화된 많은 증거들이 있다. 이러한 종단적 평가 형식은 신뢰할 수 있는 결과 5,6을 산출하는 것으로 나타났으며 시간이 지남에 따라 학습자의 지식이 증가한다는 증거가 있다. 3,6,10–14 나아가, Progress 테스트는 학습을 촉진하는 것으로 나타났다. Progress testing의 설계는 테스트 지향적 학습 전략이 애초에 불가능하기 때문에, 그것을 사용하지 않게 만든다. 오히려 진도 시험은 심화 학습과 장기 보존을 강조하는 공부 전략을 장려한다. 따라서 특정 내용(즉, 시험을 위한 교수 및 학습)에 집중함으로써 nonprogress test가 학습자에게 미칠 수 있는 부정적인 영향이 progress testing에서는 제한적이다. 진도 테스트는 또한 자기 주도 학습을 장려할 수 있는 피드백을 제공할 수 있는 여러 기회를 제공한다.
Since its inception, there has been much evidence documented for the use of progress testing. This longitudinal assessment format has been shown to yield reliable results, 5,6 and there is evidence of an increase in learners’ knowledge over time. 3,6,10–14 Furthermore, progress testing has been shown to promote learning. 1,15 The design of progress tests discourages test-directed learning strategies because it is virtually impossible to study for a single examination when such a large volume of knowledge is assessed. 6,16 Rather, progress testing encourages studying strategies that emphasize deep learning and long-term retention. The negative effect that nonprogress tests can have on learners by focusing on specific content (i.e., teaching and learning for the test) is therefore limited. Progress tests also offer multiple opportunities to provide feedback that can encourage self-directed learning.

Progress 시험에 대한 문헌의 최근 리뷰는 대부분 Progress 시험 구현을 위한 지침을 제공하는 데 초점을 맞추고 있다. 이러한 지식 종합은 비판적 검토 방법론 18 또는 일반적인 검토를 통해 통보되었다. 17,19 이러한 종합에서 얻을 수 있는 것은 다음과 같은 것들이 있다.
Most recent reviews of the literature on progress testing 17–19 have focused on providing guidelines for implementing progress tests. These knowledge syntheses were informed by a critical review methodology 18 or by general reviews. 17,19 What can be gleaned from these syntheses are suggestions about

• progress test length,
• direction about guessing (i.e., use of the “don’t know” option),
• content creation (e.g., blueprint and item banks),
• administration frequency,
• scoring and scores/feedback reports to students,
• summative uses (for students and for comparing schools), and
• resource requirements.

점점 더 많은 기관이 Progress 테스트를 구현하기 위해 자원 투자를 고려함에 따라, 성공적인 결과와 관련된 특정 기능(즉, 학생들의 학습 증가)을 더 잘 이해할 필요가 있다. 이 연구의 목적은 현재 진행 시험 관행뿐만 아니라 구현에 대한 장벽과 촉진제 및 알려진 품질 모니터링 관행을 문서화하기 위한 문헌을 체계적으로 탐색하는 것이었다. 따라서, 우리는 실행 선택을 하는 프로그램에 대한 증거 기반 데이터를 제공하기 위해 진행률 테스트 관행의 범위, 범위 및 성격을 엄격하게 조사했다.
As more and more institutions contemplate investing resources to implement progress testing, there is a need to better understand what specific features are associated with successful outcomes (i.e., increased learning in students). The aim of this study was to systematically explore the literature to document current progress testing practices as well as the barriers and facilitators to implementation and known quality-monitoring practices. Thus, we rigorously examined the extent, range, and nature of progress testing practices to provide evidence-based data for programs making implementation choices.

방법
Method

Arcsey와 O'Malley가 제안한 원래 범위 검토 방법론에 따라, 우리의 연구는 (1) 연구 질문 식별, (2) 관련 연구 식별, (3) 연구 선택, (4) 데이터 차트 작성, (5) 결과 대조 및 보고의 5단계로 통보되었다. Levac과 동료 21명은 Arcsey와 O'Malley의 지도적 상담 연습 20을 여섯 번째 단계로 포함하는 것에 대해 논증했다. 이 범위 검토에서, 우리의 결과가 꽤 간단했기 때문에 우리는 공식적인 협의를 하지 않았다. 1~5단계는 아래에 제시되어 있습니다.

As per the original scoping review methodology proposed by Arksey and O’Malley, 20 our study was informed by 5 steps:

• (1) identifying the research question,
• (2) identifying relevant studies,
• (3) study selection,
• (4) data charting, and
• (5) collating and reporting results.

Levac and colleagues 21 made the case for including Arksey and O’Malley’s

• facultative consultation exercise 20 as a sixth step.

In this scoping review, we did not do a formal consultation as our results were fairly straightforward. Steps 1 to 5 are presented below.

1단계: 조사 질문 식별
Step 1: Identifying the research question

검토를 안내하는 주요 연구 질문은 "현재 Progress 테스트 관행, 장벽 및 구현 촉진 요인 및 알려진 품질 모니터링 관행은 무엇입니까?"였다. 보다 구체적으로, 우리는 다음을 목표로 삼았다.
The main research question guiding our review was: “What are current progress testing practices, barriers, and facilitators to implementation and known quality-monitoring practices?” More specifically, we aimed to:

• 실행된 Progress 시험의 특징(예: 길이, 투여 빈도, 목적)을 설명한다.
  
• Progress 테스트의 구현에 대한 잠재적 촉진자 및 장벽을 식별합니다.
  
• 품질 모니터링 관행과 Progress 테스트 구현의 잠재적 결과 및 결과를 조사합니다.

1. Describe the characteristics (e.g., length, frequency of administration, purpose) of implemented progress tests.
2. Identify potential facilitators and barriers to the implementation of progress testing.
3. Explore quality-monitoring practices and potential consequences and outcomes of progress testing implementation.

2단계: 관련 스터디 식별
Step 2: Identifying relevant studies

두 번째 저자는 학술 사서와 함께 연구팀원들과 협의해 검색 전략을 구체화했다. 이 검색 전략은 Supplemental Digital Appendix 1에 제시되어 있으며 Progress 테스트를 설명하는 데 사용되는 키워드에 초점을 맞추고 있습니다. 
Working with an academic librarian, the second author (C.S.-O.) elaborated a search strategy in consultation with the research team members. This search strategy is presented in Supplemental Digital Appendix 1 at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B206 and focused on keywords used to describe progress tests.

최종 검색은 6개의 데이터베이스에 적용되었습니다. 학술 검색 완료, CINAHL, ERIC, 교육 출처, MEDLINE 및 PsycINFO. 우리는 교육, 심리학, 사회과학, 의학 문헌을 아우르는 데이터베이스를 검색했다. 또한, 우리는 중복이 가능한 한 적은 데이터베이스를 사용하기로 결정했다. 우리는 2018년 5월 22일(첫 번째 반복)에 초기 검색을 수행했다. 2020년 4월 21일에 검색의 두 번째 반복을 수행하여 검토를 업데이트하고 중요한 최근 데이터를 누락하지 않도록 했다.

The final search was applied to 6 databases: Academic Search Complete, CINAHL, ERIC, Education Source, MEDLINE, and PsycINFO. We searched these databases as they encompass the education, psychology, social sciences, and medical literature. Also, we made a choice to use databases that had as little overlap as possible. We conducted an initial search on May 22, 2018 (first iteration). We used the same strategy to conduct a second iteration of the search on April 21, 2020, to update our review and to avoid missing valuable recent data (see Supplemental Digital Appendix 1 at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B206).

연구팀은 기존 Progress 테스트의 3가지 주요 특징(즉, 종방향, 단면 및 포괄적)을 가진 평가를 기술한 기사를 포함했다. 우리는 필기 진도 시험과 고등교육의 맥락에서 연구와 관련된 기사만을 포함했다. 영어나 프랑스어로 쓰여진 기사도 포함되어 있었다. 우리는 경험적 연구와 서면 Progress 테스트에 대한 1차 참조의 연구뿐만 아니라 동료 검토 기사를 포함했다. 우리는 지식 종합(리뷰), 사설, 목차, 회의 요약 및 주석 기사를 제외했다.

The research team included articles that described assessments that had the 3 cardinal features of traditional progress tests (i.e., longitudinal, cross-sectional, and comprehensive). We only included articles that described written progress tests and those that related to studies in the context of higher education. Articles written in either English or French were included. We included peer-reviewed articles as well as studies from empirical research and primary references to written progress tests. We excluded knowledge syntheses (reviews), editorials, tables of contents, conference abstracts, and commentary articles.

3단계: 스터디 선택
Step 3: Study selection

첫 번째 검색과 두 번째 검색 반복 동안, 2명의 팀 구성원(C.S.-O. 및 D.P.)은 포함/제외 기준을 위해 모든 제목과 요약을 선별했다. 그들은 모든 이견을 논의했고 합의가 이루어지지 않을 때 전체 텍스트 검토를 했다. 그들은 또한 눈덩이처럼 불어나는 접근법을 사용하여 포함된 참조 목록에서 추가 기사를 식별하고 자격을 위해 제목과 요약본을 선별했다.

During the initial search and the second iteration of the search, 2 team members (C.S.-O. and D.P.) screened all titles and abstracts for the inclusion/exclusion criteria. They discussed all disagreements and did a full-text review when consensus could not be reached. Using a snowball approach, they also identified additional articles from the included reference lists and screened the titles and abstracts for eligibility.

4단계: 데이터 차트 작성
Step 4: Data charting

한 팀원(C.S.-O.)은 3명의 팀원(I.B., C.T. 및 D.P.)과 검토 및 논의한 초기 추출 그리드를 개발했습니다. 엑셀(워싱턴주 레드먼드, 마이크로소프트 코퍼레이션, 엑셀 365)에서 만들어진 수정된 양식은 무작위로 고른 5개의 기사를 사용하여 4명의 팀 구성원(C.S.-O., I.B., C.T. 및 D.P.)에 의해 시범적으로 테스트되었다. 연구팀은 추출 그리드의 명확성과 표준화된 사용을 보장하기 위해 그리드를 수정했습니다.

One team member (C.S.-O.) developed an initial extraction grid that was reviewed and discussed with 3 team members (I.B., C.T., and D.P.). The revised form, created in Excel (Excel 365, Microsoft Corporation, Redmond, Washington), was pilot-tested by 4 team members (C.S.-O., I.B., C.T., and D.P.) using 5 randomly selected articles. The team revised the extraction grid to ensure its clarity and standardized use.

결과 그리드에는 17개 요소가 포함되었다: .
The resulting grid included 17 elements:

1. progress test characteristics (e.g., number of questions, question format),
2. frequency of progress test administration,
3. process for content development,
4. examinee/study population,
5. type of feedback provided (if any),
6. use of score conversion and/or equating,
7. scoring methods (e.g., formula scoring),
8. standard-setting procedures (if any),
9. institutional motivation for implementing progress testing,
10. facilitators for implementing progress testing,
11. barriers/challenges to implementing progress testing,
12. acceptance of progress testing by students and faculty,
13. use of collaborative networks,
14. study purpose,
15. study design,
16. sources of validity evidence for progress tests (i.e., content, response process, internal structure, relationship to other variables, and consequences), and
17. outcomes related to the implementation of progress testing.

처음에는 4명의 팀원(C.S.-O., I.B., C.T. 및 D.P.)에 의해 5개의 기사가 독립적으로 코딩되었다. 그리고 나서 15개의 기사가 팀원들의 다이드에 의해 코딩되었고, 이것은 연구팀이 90%의 동의율을 확립할 수 있게 해주었다. 나머지 기사는 4명의 팀원들에게 균등하게 분배되고 독립적으로 코딩되었습니다. 초기 검색에서 포함된 모든 기사에 대한 추출은 각 독립 추출의 체계적인 수정과 원본 기사와의 비교를 수행한 다섯 번째 팀 구성원(V.D.)이 발췌본을 병합하여 데두스(Dedoose, Los Angeles, Social Cultural Research Consultants, California)에 의해 검토되었다. 검색의 두 번째 반복에서 추출은 V.D.에 의해 6개의 기사에 대해 수행되었고 C.S.-O.와 D.에 의해 독립적으로 검토되었다.p.

Five articles were initially coded independently by 4 team members (C.S.-O., I.B., C.T., and D.P.). Then 15 articles were coded by dyads of team members, which allowed the research team to establish a 90% agreement rate. The remaining articles were distributed equally among the 4 team members and coded independently. Extractions for all included articles from the initial search were reviewed by a fifth team member (V.D.) who performed a systematic revision of each independent extraction and comparison with the original article to merge and export the excerpts to Dedoose (Dedoose 8.3.47, SocioCultural Research Consultants, Los Angeles, California). For the second iteration of the search, extractions were made by V.D. for 6 articles and reviewed independently by C.S.-O. and D.P.

5단계: 결과 수집 및 보고
Step 5: Collating and reporting results

발행 연도, 연구 국가, 저널, 연구 목적, 진도 테스트 구현 동기, 연구 설계, 학습자 규율 및 수준, 이해관계(즉, 낮거나 높음), 점수, 테스트 관리 빈도, 테스트 특성(항목 유형, 항목 수, 평가에 주어지는 시간)을 요약하기 위해 빈도를 사용했다. 피드백 관행 및 유효성 증거의 출처(존재 또는 부재). 우리는 이러한 기술 통계량을 계산하기 위해 Dedoose를 Excel과 함께 사용했다.
We used frequencies to summarize the numerical data: year of publication, country of study, journal, study purposes, motivations to implement progress testing, study design, learners’ discipline and level, stakes (i.e., low or high), scoring, administration frequency of the test, test characteristics (item type, number of items, time allowed for the assessment), feedback practices, and sources of validity evidence (present or absent). We used Dedoose conjointly with Excel to calculate these descriptive statistics.

우리는 포함된 기사에서 관찰한 타당성 증거의 출처에 대한 분석과 보고를 알리기 위해 [통합 이론으로서의 타당성]의 개념을 사용했다. 보다 구체적으로, 우리는 (교육 및 심리 테스트 표준 22에 따라) 타당성의 통일 이론 23에 대한 다우닝의 해석을 사용했다. 내용, 대응 프로세스, 내부 구조, 다른 변수와의 관계, 결과 등의 범주별로 타당성 증거의 소스를 구성했다. 우리는 정성적 주제 분석을 사용하여 결과에 관한 증거를 탐구했다.
We used the conceptualization of validity as a unified theory 22 to inform our analysis and reporting on the sources of validity evidence we observed in the included articles. More specifically, we used Downing’s interpretation of the unified theory of validity 23 (as per the Standards for Educational and Psychological Testing22). We organized sources of validity evidence by category: content, response process, internal structure, relationship to other variables, and consequences. We explored the evidence regarding consequences using a qualitative thematic analysis.

Arcsey와 O'Malley가 설명한 대로, 20 우리는 Dedoose를 사용하여 정성적 데이터 24,25에 대한 주제 분석을 수행했다. 이 범위 지정 검토의 목표는 진행률 테스트 사용에 대한 문헌의 깊이와 폭을 매핑하는 것이었으므로, 구현 및 품질 모니터링 프로세스 중에 종종 발생하는 요인(유효성의 문서화된 증거)에 대한 우리의 발견을 명확히 했다.
As described by Arksey and O’Malley, 20 we conducted a thematic analysis of the qualitative data 24,25 using Dedoose. Our goal for this scoping review was to map the depth and breadth of the literature on the use of progress testing, thus we articulated our findings around the factors that often come into play during the implementation and quality-monitoring processes (documented evidence of validity).

보다 구체적으로, 각 추출 범주를 하나씩 작업하면서, 한 팀 구성원(V.D.)은 모든 발췌문을 검토하고 각 추출 범주 내의 본질을 포착할 코드를 생성했다. 코딩 트리는 한 명의 다른 팀 구성원(C.S.-O.)과 반복적인 토론을 통해 생성 및 수정되었으며 모든 추출에 적용되었다. 결과 코딩 트리와 해당 발췌문은 다른 팀 구성원(I.B., C.T. 및 D.P.)에게 제시되었다. 이 세 명의 팀원들은 이어서 내부 코드 일관성을 검증했습니다. 우리는 3명의 팀 구성원 중 2명이 동일한 코드에 특정 발췌문을 독립적으로 할당했을 때 합의가 이루어졌다는 것을 고려했다. 추가적인 논의가 이어졌고, 그 결과들에 대한 우리의 최종 해석과 아래에 제시된 중요한 주제들의 식별로 이어졌다.
More specifically, working through each extraction category one-by-one, one team member (V.D.) reviewed all the excerpts and created codes that would capture the essence within each extraction category. A coding tree was created and revised through iterative discussion with one other team member (C.S.-O.) and applied to all the extractions. The resulting coding tree and corresponding excerpts were presented to the other team members (I.B., C.T., and D.P.). These 3 team members then proceeded to verify the intracode coherence. We considered that agreement was reached when 2 of the 3 team members independently assigned a specific excerpt to the same code. Additional discussion ensued and led to our final interpretation of the findings and the identification of the overarching themes presented below.

결과.
Results

우리는 체계적 검토를 위한 선호 보고 항목과 범위 검토를 위한 메타 분석(PRISMA) 확장 지침을 따랐다. 26 당사의 기사 검색 및 선택 프로세스는 그림 1에 자세히 설명되어 있습니다. 초기 검색(첫 번째 반복)에 이어, 우리는 중복된 문서와 영어 또는 프랑스어로 동료 검토 또는 작성되지 않은 기사를 제거한 다음 나머지 300개 기사의 제목과 요약을 선별했다. 우리의 포함 및 제외 기준을 적용한 후, 167개의 전문 기사가 적격성을 평가받았다. 전체 텍스트 검토와 포함된 참조 목록의 기사 추가(스노볼 접근)를 거쳐 총 97개의 기사가 나왔다. 우리는 검색의 두 번째 반복에 따라 이러한 단계를 반복했고 분석에 포함된 총 104개의 기사에 대해 7개의 기사를 추가했다. 1,3,5–14,16,27–117

We followed the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) Extension for Scoping Reviews guidelines. 26 Our article search and selection process is detailed in Figure 1. Following the initial search (first iteration), we eliminated duplicates and those articles that were not peer reviewed or written in English or French and then screened the titles and abstracts of the remaining 300 articles. After applying our inclusion and exclusion criteria, 167 full-text articles were assessed for eligibility. After the full-text review and the addition of articles from the included reference lists (snowball approach), we had a total of 97 articles. We repeated these steps following the second iteration of the search and added 7 articles for a total of 104 articles included in our analyses. 1,3,5–14,16,27–117

기술 결과
Descriptive results

숫자 데이터와 해당 인용문은 보충 디지털 부록 2에 나와 있습니다. 2005년과 2020년 사이에 79개의 논문(76.0%)이 발표되었고, 시간이 지남에 따라 진행률 테스트에 대한 기사 수가 증가하였다(그림 2 참조).

The numerical data and corresponding citations are presented in Supplemental Digital Appendix 2 at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B206. We found an increase in the number of articles published on progress testing over time (see Figure 2), with 79 articles (76.0%) published between 2005 and 2020.

연구 국가 및 학술지.
Countries of study and journals.

논문의 대다수는 네덜란드(44.3%) 영국(15.4%) 독일(10.9.6%) 미국(9.8.7%) 등의 연구진이 차지했다. 기사는 4개의 주요 저널에 게재되었다: 의학교사(27명, 26.0%), 의학교육(16명, 15.4%), BMC 의학교육(8명, 7.7%), 보건과학교육의 발전(7명, 6.7%) 순이었다.
The majority of articles were from researchers in the Netherlands (44, 42.3%), the United Kingdom (15, 14.4%), Germany (10, 9.6%), and the United States (9, 8.7%). Articles were published in 4 main journals: Medical Teacher (27, 26.0%), Medical Education (16, 15.4%), BMC Medical Education (8, 7.7%), and Advances in Health Sciences Education (7, 6.7%).

연구 목적, 동기 및 방법론.
Study purposes, motivations, and methodologies.

가장 일반적으로 언급되는 5가지 연구 목적은 

• (1) 주어진 맥락에서 Progress 시험 점수의 타당성을 탐구(28, 26.9%)
  
• (2) Progress 테스트 구현 방법 설명(20, 19.2%)
  
• (3) 학교 또는 커리큘럼 비교(16, 15.4%)
  
• (4) 학습자 지식 증가(15, 14.4%)를 사용하여 커리큘럼을 평가한다.
  
• (5) Progress 시험의 합격 여부 조사(12, 11.5%)

The 5 most commonly stated study purposes were to

• (1) explore the validity of progress test scores in a given context (28, 26.9%),
• (2) describe how an institution implemented progress testing (20, 19.2%),
• (3) compare schools or curricula (16, 15.4%),
• (4) evaluate a curriculum using learner knowledge growth (15, 14.4%), and
• (5) explore the acceptance of progress testing (12, 11.5%).

Progress testing를 시행한 이유로는

• (1) 커리큘럼을 개발하거나 감독하기 위해서(21명, 20.2%)와, 
• (2) 시험 위주의 학습을 막거나, 더 깊은 학습을 장려하기 위해서(12명, 11.5%)와, 
• (3) 학습자의 지식증가를 추적하기 위해서(9명, 8.7%), 
• (4) 피드백 제공(9명, 8.7%)이 가장 많이 언급되었다.

The 4 most commonly stated reasons for implementing progress testing were to

• (1) develop or supervise a curriculum (21, 20.2%),
• (2) prevent test-driven learning or promote deeper learning (12, 11.5%),
• (3) follow learners’ knowledge growth (9, 8.7%), and
• (4) provide feedback (9, 8.7%).

대부분의 기사는 정량적 연구 설계(87, 83.7%) 또는 정량적-정량적 혼합 설계(8, 7.7%)를 사용했다. 의학 교육 분야에서는 88개 항목(84.6%), 치과 분야에서는 7개 항목(6.7%), 조산 분야에서는 2개 항목(1.9%)이었다. 대부분의 연구는 87, 83.7%의 학부 교육생과 관련된 반면, 15, 14.4%의 대학원 교육생과 관련된 연구는 적었다.
Most articles used a quantitative study design (87, 83.7%) or a mixed quantitative–qualitative design (8, 7.7%). Eighty-eight articles (84.6%) were situated in medical education, 7 (6.7%) in dentistry, and 2 (1.9%) in midwifery. The majority of studies involved undergraduate trainees (87, 83.7%), while fewer involved postgraduate trainees (15, 14.4%).

progress tests 는 형성적 목적(43명, 41.3%)이 많이 사용된 반면 총괄 목적(17명, 16.3%)은 상대적으로 적었다. 11개조(10.6%)는 progress tests 가 형태별·총괄적 목적을 모두 구현한 것으로 나타났고, 33개조(31.7%)는 의도된 목적을 구체적으로 밝히지 않았다. 숫자 맞추기 점수(10, 9.6%)보다 공식 점수 매기기('모름' 옵션을 포함)가 더 자주(64, 61.5%) 사용됐다.
Many progress tests were used for formative purposes (43, 41.3%), while relatively few were used for summative purposes (17, 16.3%). Eleven articles (10.6%) indicated that progress testing was implemented for both formative and summative purposes, while 33 (31.7%) did not specify the intended purpose. Formula scoring (which included the “don’t know” option) was used more frequently (64, 61.5%) than number-correct scoring (10, 9.6%).

테스트 작업 진행
Progress test practices.

progress tests 의 시행 빈도는 다양했지만, 1년에 1~4회 실시되는 경우가 가장 많았다. progress tests 는 연 4회(38명, 36.5%) 시행되는 경우가 많았고, 이어 연 2회(26명, 25.0%), 연 3회(13명, 12.5%), 연 1회(6명, 5.8%) 순이었다. 진도검사 한 건은 2년간 5회(1, 1.0%), 다른 한 건은 3년간 8회(1, 1.0%) 실시됐다. 7개 연구팀(6.7%)은 매년 투여 빈도가 달라졌다고 답한 반면 12개 기사(11.5%)에서는 투여 빈도가 보고되지 않았다.

The frequency of administration of progress tests varied, although 1 to 4 times per year was most common. Many progress tests were administered 4 times a year (38, 36.5%), followed by 2 times a year (26, 25.0%), 3 times a year (13, 12.5%), and 1 time a year (6, 5.8%). One progress test was administered 5 times over a 2-year period (1, 1.0%), and another was administered 8 times over a 3-year period (1, 1.0%). Seven research teams (6.7%) reported that the administration frequency varied from year to year, while there was no reported administration frequency in 12 articles (11.5%).

가장 많이 사용된 항목 유형은 객관식 및 참 또는 거짓 형식(95, 91.3%)이었다. 단답형 항목 사용을 보고한 기사는 2건(1.9%)이었고, 9건(8.7%)은 어떤 형식도 명시하지 않았다. 89개 항목(85.6%)에서 진행률 테스트는 40~400개 항목(중간값 = 200개)으로 구성됐다. 기타 진행도 검사에서는 관리 간 항목 수가 변동하거나 항목 수를 전혀 보고하지 않았다(14명, 13.5%)는 결과가 나왔다.
The item types most frequently used were multiple-choice and/or true-or-false formats (95, 91.3%). Two articles (1.9%) reported the use of short-answer items, and 9 (8.7%) did not specify any format. In 89 articles (85.6%), progress tests comprised 40 to 400 items (median = 200). Other progress tests included a variable number of items between administrations or did not report the number of items at all (14, 13.5%).

테스트 시간은 45분에서 360분까지 다양했으며, 180분이 가장 일반적인 테스트 시간(14, 13.5%)이었다. 허용된 시간과 항목 번호(25, 24.0%)를 모두 보고한 기사 중 항목당 평균 시간은 54초에서 2분(160 = 75초)으로 다양했다.
Testing time varied from 45 to 360 minutes with 180 minutes being the most common testing time (14, 13.5%). Of articles reporting both allowed time and item number (25, 24.0%), the average time per item varied from 54 seconds to 2 minutes (mean = 75 seconds).

피드백 관행.
Feedback practices.

표 1에서 보는 바와 같이 기사마다 콘텐츠의 종류와 피드백 방법이 달랐다.
As shown in Table 1, the type of content and methods of feedback varied from article to article.

진행률 시험 점수 해석의 타당성을 뒷받침하는 증거.
Evidence to support the validity of progress test score interpretation.

표 2에는 [내용 타당성 증거], 즉 품목 개발 및 품목 검토를 위해 시행한 관행이 포함되어 있습니다. 일부 progress tests 의 경우, 콘텐츠 개발은 학습자가 습득해야 할 지식을 결정하는 커리큘럼 청사진과 임상실습을 기반으로 했다.

Table 2 includes content validity evidence, that is, the practices put in place for item development and item reviewing. For some of the progress tests, content development was based on the curriculum blueprint, which determined the knowledge learners needed to acquire, and clinical practice.

[대응 프로세스 및 내부 구조와 관련된 증거]는 표 3에 제시되어 있으며, 내부 일관성 관련 추가 데이터는 보충 디지털 부록 3에 보고되어 있다.
The evidence related to response process and internal structure is presented in Table 3 with additional data related to internal consistency reported in Supplemental Digital Appendix 3 at https://links-lww-com-ssl.access.hanyang.ac.kr/ACADMED/B206.

[다른 변수와 관련된 근거]에 [progress tests 점수와 전문가로서의 미래역량 사이에 정량적 상관관계]와 질적 연관성이 나타났고, 졸업시험(9·8.7%), 교육과정 내 기타평가(13·12.5%), 기타학교 진도검사 점수(8·7.7%)가 나왔다. 20개 조항(19.2%)이 사용된 명시적 표준 설정 방법을 보고했다.
Regarding the evidence related to relationship to other variables, quantitative correlations and qualitative associations were made between progress test scores and future competence as a professional (9, 8.7%), graduation exams (9, 8.7%), other assessments in the curriculum (13, 12.5%), and other schools’ progress test scores (8, 7.7%). Twenty articles (19.2%) reported the explicit standard-setting method used.

[결과와 관련된 증거]는 정성적 데이터 분석의 결과로 아래에 제시된다.
Evidence related to consequences is presented below as the results of our qualitative data analysis.

테마
Themes

우리는 우리의 질적 주제 분석에서 진도 테스트 구현에 대한 이해를 알릴 수 있는 4가지 주요 주제를 확인하였다.

• (1) progress testing 구현에 대한 장벽과 과제,
• (2) progress testing 구현의 촉진자로서의 협업 확립,
• (3) progress testing 수용을 증가시키는 요인
• (4) 개별 및 프로그램 수준의 결과 및/또는 progress testing 사용의 결과.

하위 주제는 15개에서 69개의 다른 기사들에 의해 지원되었다.
We identified 4 major themes in our qualitative thematic analysis that can inform our understanding of the implementation of progress testing:

• (1) barriers and challenges to the implementation of progress testing,
• (2) established collaboration as a facilitator of progress testing implementation,
• (3) factors that increase the acceptance of progress testing, and
• (4) individual- and program-level outcomes and/or consequences of progress test use.

Subthemes were supported by 15 to 69 different articles.

주제 1: 장벽과 과제
Theme 1: Barriers and challenges.

국지적 맥락에서 진행률 시험의 구현에 대한 네 가지 주요 장벽과 과제가 식별되었다. 첫째, 진도 시험의 구현은 지역 문화와 평가 관행에 변화를 요구한다(n = 8). 예를 들어, [블록 시험 평가 문화에 익숙한 학습자]는 진도 시험을 공정하거나 가치 있는 학습 기회로 인식하지 못할 수 있다. 또한 progress testing의 구현에는 추가 자원(n = 17)이 필요하다. 6,7,9,52,54–66 교직원의 관점에서, 익숙하지 않은 형태의 평가의 구현에는 광범위한 자원, 자격 있는 직원, 시간 및 적절한 인프라가 필요하다.

Four main barriers and challenges to the implementation of progress testing in a local context were identified. First, the implementation of progress testing requires a change in local culture and assessment practices (n = 8). 14,16,48–53 For example, learners accustomed to a block test assessment culture may not perceive progress testing as fair or as a worthwhile learning opportunity. The implementation of progress testing also requires additional resources (n = 17). 6,7,9,52,54–66 From a faculty perspective, the implementation of an unfamiliar form of assessment requires extensive resources, qualified staff, time, and suitable infrastructures.

다음으로, progress testing 의 구현은 종종 새로운 콘텐츠 개발을 요구하며, 이는 난제(n = 8)를 내포한다. 5,13,56,57,63,67-69 진행률 테스트 프로그램 설정의 복잡성은 다음을 요구한다. 

• 확장된 문제 은행,
  
• 데이터를 채점하고 심리측정학 분석을 수행하기 위한 명확한 절차
  
• 결과를 보고하기 위한 피드백 메커니즘,
  
• 정기적으로 데이터를 수집하고 분석하는 능력
  
• 성적이 부진한 수험생에 대한 재교육 계획

청사진 개발은 평가된 지식이 너무 많고 과정과 테스트 내용 간의 직접적인 연결이 없기 때문에 종종 장애물로 간주된다.
Next, the implementation of progress testing often requires new content development, which poses a challenge (n = 8). 5,13,56,57,63,67–69 The complexities of setting up a progress testing program demand

• an expansive item bank,
• clear procedures for scoring and conducting psychometric analyses of data,
• a feedback mechanism for reporting results,
• an ability to regularly collate and analyze data, and
• a plan for remediation of poor-performing examinees.

Blueprint development is often considered a hurdle because of the plethora of knowledge assessed and the absence of a direct link between course and test content.

마지막으로, 다른 학교와의 협업이 우선 촉진자로 인식될 수 있지만, 새로운 협업을 만드는 것은 도전으로 가득 찰 수 있습니다(n = 5). 5,52,63,70,71 단점은 품질 관리 절차가 도움이 될 수 있는 높은 수준의 중앙 집중화의 필요성을 포함합니다. 또한 학교는 교육과정 종료 목표(예: 기초 및 임상과학 주제, 난이도, 허용 가능한 항목 품질을 구성하는 항목 포함)와 업무 및 자원의 분배에 대해 의견이 다를 수 있다.
Finally, while collaborating with other schools might be first perceived as a facilitator, the creation of new collaborations can be fraught with challenges (n = 5). 5,52,63,70,71 Downsides include the need for a high level of centralization where quality control procedures would be beneficial. Additionally, schools may have disagreements about the content needed to meet end-of-training curriculum objectives (e.g., inclusion of both basic and clinical science topics, difficulty level, what constitutes acceptable item quality) as well as the distribution of work and resources.

주제 2: progress testing 구현의 촉진자로서 협업을 확립합니다.
Theme 2: Established collaboration as a facilitator of progress testing implementation.

진행률 테스트 구현 시 새로운 협업 구축은 난제로 간주되었지만, 진행 중인 협업과 확립된 협업은 촉진자로 간주되었습니다(n = 15). 8,9,50,52,54,57,58,63,69,70,72–76 비용절감을 위한 시험자료 공유를 넘어, 학교간의 협업이 광범위한 품질관리 절차에 의해 전반적인 시험품질을 강화하고, 커리큘럼 전반에 걸친 표준과 벤치마킹 관행을 비교하며, 평가할 정보를 산출하는 기회를 제공했다. 그리고 특정 분야의 교육을 개선한다.

While establishing new collaborations was deemed a challenge when implementing progress testing, ongoing and established collaborations were considered a facilitator (n = 15). 8,9,50,52,54,57,58,63,69,70,72–76 Going beyond sharing test material to reduce cost and single-institution efforts, collaboration between schools offered opportunities to strengthen the overall test quality by extensive quality control procedures, comparing standards and benchmarking practices across curricula, and yielding information to evaluate and improve education in particular fields.

주제 3: progress testing의 수용을 높이는 요인.
Theme 3: Factors that increase the acceptance of progress testing.

progress testing 수용을 높이는 4가지 주요 요인이 파악됐다.

첫째, 진도 테스트의 운영화는 학습자 수용에 영향을 미쳤다(n = 7). 예를 들어, 빈번한 테스트는 학습자의 진도 테스트에 대한 인식을 증가시켰다. 시험 내용도 학습자의 평가(n = 11)에 기여했다. 8,11,50,53,55,61,66,80–83 내용에 대한 포괄적인 접근법을 제시한 진도 시험은 문제 기반 학습 커리큘럼의 맥락에서 더 관련성이 있는 것으로 인식되었다. 학습 과정 초기부터 조우 관련 임상적으로 맥락화된 시험 항목이 존재해 호기심을 자극해 학습 과정을 강화해 학습 동기를 높였다.
Four main factors that increase the acceptance of progress testing were identified. First, the operationalization of progress testing influenced learner acceptance (n = 7). 51,53,66,74,77–79 For example, frequent testing increased learners’ appreciation of progress testing. Test content also contributed to learners’ appreciation (n = 11). 8,11,50,53,55,61,66,80–83 Progress tests that presented a comprehensive approach to content were perceived as more relevant in the context of problem-based learning curricula. The presence of clinically contextualized test items related to encounters from early in the learning process enhanced learner motivation by stimulating curiosity and therefore reinforcing the learning process.

학습자에게 제공되는 준비는 진행률 테스트의 수용도를 증가시켰다(예: 방향, 명확한 방향, 진행률 테스트의 목적 설명). 8,48,50,51,53–56,78,84–88 주니어 학습자들 사이에서 수용도를 높이기 위해, 학습 전략을 가이드하기 위하여 progress testing의 장점 뒤에 있는 철학을 설명하려는 노력을 초기에 다루는 것이 좋다. 예를 들어, 학습자의 진도 테스트에 대한 전반적인 수용도는 일반적으로 여러 차례에 걸쳐 증가했는데, 이는 평가의 이해관계(즉, 낮거나 높음)와 무관했다.
The preparation offered to learners increased their acceptance of progress testing (e.g., orientation, clear directions, explaining the purpose of progress testing) (n = 14). 8,48,50,51,53–56,78,84–88 To enhance acceptance among junior learners, efforts in explaining the philosophy behind progress testing practices merit being addressed earlier to guide their learning strategies. For example, learners’ overall acceptance of progress tests generally increased with multiple sittings, as they became aware of their concrete knowledge growth; this was independent of the stakes (i.e., low or high) of the assessment.

학습자에게 제공된 피드백은 progress testing에 대한 평가에도 영향을 미칩니다. (예: 점수 비교, 진행률 테스트 후 문답 사본) (n = 26). 충분하고 개인화된, 상세하고 시기 적절하며 구체적인 피드백을 통해 학습자가 진행률 테스트에 대한 수용도를 높였습니다. 피드백 관행에 대한 학습자의 평가는 제공된 정보의 유형에 따라 달라집니다. (예: 차원 및/또는 전문 분야별 하위 점수, 지식 증가의 척도, 강점과 약점의 식별, 동료들과의 비교)

The feedback offered to learners also influenced their appreciation of progress testing (e.g., score comparison, copy of the questions and answers after the progress test) (n = 26). 1,10,49–51,53–55,60,69,70,77–79,84,86–96 Sufficient, personalized, detailed, well-timed, and specific feedback enhanced learners’ acceptance of progress testing. Learners’ appreciation of feedback practices depended on the type of information provided (e.g., subscores per dimensions and/or specialties, a measure of their knowledge growth, identification of strengths and weaknesses, a comparison with their peers).

마지막으로, 평가의 부담은 학습자의 평가(n = 8)에 영향을 미칠 수 있습니다. 5,16,49,50,83,88,97,98 아마도 놀라운 것은 진도 테스트의 형성적 사용이 일반적으로 고부담 총괄 평가에 비해 스트레스가 감소했다는 것입니다.

Finally, the stakes of the assessment can influence learners’ appreciation (n = 8). 5,16,49,50,83,88,97,98 Perhaps not surprisingly, the formative use of progress testing generally decreased stress compared with high-stakes summative assessments.

주제 4: 진행률 테스트 사용의 결과 및 결과.
Theme 4: Outcomes and consequences of progress test use.

우리는 progress testing의 성과와 결과를 개인 수준과 프로그램 수준의 두 가지 주요 범주로 분류했다.
We grouped outcomes and consequences of progress testing into 2 main categories: individual-level and program-level. 

개인 수준의 결과 및 결과(예: 학습자)의 경우 progress testing는 학습자가 더 깊은 학습 전략을 채택하도록 장려했다(즉, 학습에 대한 접근 방식에 영향을 미치고 새로운 학습 방법을 촉진). (n = 24) 시험이 본질적으로 포괄적이기 때문에 진도 시험에서 학습 전략으로서의 벼락치기는 제한적으로 사용된다. (즉, 전체 커리큘럼을 포함하는 시험을 위해 공부하는 것은 어렵다.)  또한 진행률 테스트는 학습자 지식의 증가에 기여했으며(n = 41), 지식 격차 식별에 사용되었다(n = 13).
For individual-level outcomes and consequences (e.g., the learners), progress testing encouraged learners to adopt deeper learning strategies (i.e., influence approach to learning and promote new ways of learning) (n = 24). 5,6,8,16,48–51,53,55,58,63,68–70,74,78,83,88,91,92,95,97,99 Cramming as a studying strategy is of limited use in progress testing because such tests are comprehensive in nature (i.e., it is difficult to study for a test that covers the entire curriculum). Progress testing also contributed to an increase in learner knowledge (n = 41) 3,5,6,8–10,12,14,49,51,55–59,65–69,84,86,87,91,93,95,98–112 and was used to identify knowledge gaps (n = 13). 3,5,6,8,11,49,53,55,66,69,83,95,113

대부분 긍정적인 결과가 관찰되었지만, 다양한 수준의 학습 성장이 발견되었다. 좀 더 구체적으로, 진도 시험에 대한 학습 곡선은 시간이 지남에 따라 감소하기 전에 커리큘럼의 초기 몇 년 동안 더 중요했으며, 이는 학습 성장이 시간에 따라 감속되었음을 시사한다(n = 6). 55,66,94,100,107,109 일부 저자들은 제한된 학습 성과, 즉 제한된 점수 증가(n = 9)를 관찰하기도 했다. 6,16,50, 74, 83,8, 98, 97, 97, 103 이러한 제한된 성과는 대부분 [블록 테스트의 존재, 본질적인 동기 부족 또는 연구의 방법론적 문제](예: 작은 표본)에 기인한다.
While mostly positive outcomes were observed, varying levels of learning growth were found. More specifically, the learning curve on progress testing was more significant in the early years of a curriculum before decreasing over time, suggesting that learning growth decelerated over time (n = 6). 55,66,94,100,107,109 Some authors even observed limited learning outcomes, that is, limited score increase (n = 9). 6,16,50,74,83,88,95,97,103 These limited outcomes were mostly attributed to the presence of block testing, a lack of intrinsic motivation, or even methodological issues with studies (e.g., small samples).

[프로그램 수준]에서, progress testing 는 프로그램 내에서 학습자 진행에 대한 포괄적이고 종적인 그림을 제공할 수 있는 평가 전략으로 간주되었다(n = 11). 따라서 Progress testing 는 종종 커리큘럼 평가를 위한 풍부한 자료 출처로 간주되었다(즉, 커리큘럼 갭을 강조) (n = 20). 

At the program level, progress testing was seen as an assessment strategy that can provide a comprehensive and longitudinal picture of learner progression within the program (n = 11). 5,6,8,56,61,70,71,77,91,98,106 As such, progress tests were often considered to be a rich source of data for curriculum evaluation (i.e., by highlighting curricular gaps) (n = 20). 1,5,6,8,10,49,54,57,61,70,75,79,89,90,100,108,114–117

논의
Discussion

주제에 대한 기사가 늘어나는 것을 볼 수 있듯 Progress testing 의 인기가 높아지고 있다. 새로운 평가 전략, 특히 Progress testing 과 같이 복잡한 전략의 구현은 잠재력을 완전히 달성하기 위해 여러 이해 관계자의 참여를 요구한다. 우리가 진보 시험의 구현에는 여러 당면 과제를 강조해 왔다, 우리도 지속적의 교육자들 및 관리자, 이상적으로는 그들의 내재적 동기 이 평가 형식으로 참여하고 있는 시험에 대한 학생들의 수용을 늘릴 수 있는 방법을 확인하였다. 증가된 내재적 동기, 차례로 학생의 학습에 기여해야 한다.

Progress testing is increasing in popularity, as can be seen by the growing number of articles on the topic. The implementation of a novel assessment strategy, especially one as complex as progress testing, requires the buy-in of several stakeholders to achieve its full potential. While we have highlighted several challenges to the implementation of progress testing, we also identified ways in which educators and administrators can increase students’ acceptance of progress testing and, ideally, their intrinsic motivation to participate in this assessment format. Increased intrinsic motivation should, in turn, contribute to student learning.

Progress testing의 성공적인 이행을 위해 잠재적인 조건 다른 학교나 기관이 참가한 강한 협력을 포함한다. 새로운 협업을 개발하는 것은 처음에는 어려울 수 있지만, 이러한 파트너십은 Progress testing의 구현 가능성을 크게 높인다. 평가 품질에 관한 최근 연구에서 보듯이, 평가 전략을 평가할 때 실현 가능성은 중요한 고려 사항이다. 프로그램, 학교 및 기타 조직은 공통 목표를 향해 협력하고 progress testing 의 개발 및 구현에 협력할 때 작업량을 공유할 수 있으므로 이 작업과 관련된 타당성을 높일 수 있다. 또한 콘텐츠 개발 등의 업무 공유를 통해 협력 당사자가 공유하는 검토 프로세스를 구현하여 progress testing 의 품질을 높일 수 있는 기회가 있다. 교수진의 부담을 줄이면 진도 시험에 대한 수용도가 높아질 수 있다. 협업의 대안은 작업을 완전히 아웃소싱(예: progress testing 구매)하여 현지 팀의 부담을 줄이는 것일 수 있습니다.
Potential conditions for the successful implementation of progress testing include a strong collaboration with other schools or organizations. While developing new collaborations can be challenging at first, 5,52,63,70,71 these partnerships greatly increase the feasibility of implementing progress testing. 8,9,50,52,54,57,58,63,69,70,72–76 As seen in recent work on the topic of assessment quality, feasibility is an important consideration when evaluating an assessment strategy. 118,119 Programs, schools, and other organizations can share the workload and thus increase the feasibility associated with this task when working together toward common objectives and collaborating on the development and implementation of progress testing. Moreover, through sharing content development and other tasks, there is an opportunity for increasing the quality of progress tests by implementing review processes shared by the collaborating parties. Reducing the burden on faculty members can increase their acceptance of progress testing. An alternative to collaboration could be to outsource the work completely (e.g., by buying a progress test), thus reducing the burden on the local team.

[학습자 수용]은 평가 전략을 구현할 때 중요한 관심사이기도 합니다. Ricci와 동료들은 학생들이 새로운 평가에 매우 비판적일 수 있다는 것을 관찰했다. 다른 저자들은 또한 학생들이 평가 방정식의 중요한 이해당사자라는 견해를 지지한다. [학생들의 참여]는 [평가가 완전한 잠재력(즉, 학생 학습에 기여)에 도달할 가능성]에 큰 영향을 미칠 수 있다. 우리의 데이터는 학생들의 사기가 저하되고 결과적으로 학습에 거의 영향을 미치지 않는 등 학생들의 진도 테스트 수용에 미치는 영향을 보여주었다. [명확한 피드백을 제공]하고 [발달시험에 대한 오리엔테이션]을 제시하는 것이 이러한 잠재적인 부정적인 결과에 대항하는 방법이었다. 게다가, 학습 패러다임을 위한 평가를 선호하기 위해 [지역 문화의 변화]는 학생들의 발달시험에 대한 수용도를 증가시켰다.
Learner acceptance is also an important concern when implementing an assessment strategy. 118,119 Ricci and colleagues 120 observed that students can be very critical of novel assessments. Other authors also support the view that students are important stakeholders in the equation of assessment. 121–126 Student buy-in can greatly impact the likelihood that an assessment will reach its full potential (i.e., contribute to student learning). 5,50,51,53,78,83,91,92,95 Our data showed the impact on student acceptance of progress testing, with lack of buy-in decreasing their morale and subsequently showing little impact on their learning. 16,53,61 Providing explicit feedback 50,53,60,77,79,84,86–88,91,92,94,95 and offering an orientation to progress testing 8,48,54–56,78,86 were ways to counter this potential negative consequence. In addition, a change in local culture, to favor an assessment for learning paradigm, increased students’ acceptance of progress testing. 50,51,53,69,70,78,83,92,95

[시험을 치르는 행위]를 통한 [적극적인 지식 생산]은 반복적인 학습 시간에 비해 정보의 장기 보존에 더 효과적이라는 것이 입증되었다. 이런 식으로 발달시험은 학습자가 반복적으로 시험을 완료해야 하기 때문에 학생 학습에 기여할 수 있다. [반복적인 테스트]는 [정보 검색의 행위]를 통해 향상된 학습과 정보 보존을 촉진한다. 발달시험은 또한 부분적으로 평가된 많은 양의 지식을 포함하는 교육의 최종 커리큘럼 목표를 사용하여 학습을 촉진한다. 진도 테스트는 테스트 지향 학습 전략(예: 테스트에 대한 공부, 암기, 주입식 주입)을 억제한다. 전체 커리큘럼을 포괄하는 한 번의 시험을 위해 공부하는 것은 사실상 불가능하기 때문이다. 게다가, 잦은 시험은 학습자들이 더 자주 공부하도록 격려하고 학습 기간을 띄워주며, 이는 다시 학습을 촉진하고 장기 보존을 강화한다. 반복 테스트는 또한 교육 초기 단계에서 어려움을 겪고 있는 학습자를 식별하는 데 도움이 되며, 이는 교수진이 신속한 교정 및 기타 개입을 제공할 수 있도록 하는 기능입니다.

Active production of knowledge through the act of taking a test has proven more effective for long-term retention of information compared with repeated studying sessions. 127–130 In this way, progress testing can contribute to student learning as it requires learners to repeatedly complete the test. Repeated testing promotes enhanced learning and information retention through the act of information retrieval. 127–130 Progress tests also promote learning, in part, through the use of end-of-training curriculum objectives, which involve a large volume of knowledge assessed. Progress testing discourages test-directed learning strategies (e.g., studying to the test, memorization by rote, cramming) because it is virtually impossible to study for a single examination that covers an entire curriculum. 6,16 In addition, frequent testing encourages learners to study more often and space out study periods, which in turn promote learning and enhance long-term retention. 127 Repeated testing also helps to identify learners who are struggling at an earlier stage in their training, a feature that allows faculty to offer rapid remediation and other interventions. 6,66

발달시험 점수는 교육과정 평가를 위한 풍부한 자료 출처를 제공하기 때문에 기관들에게 귀중한 결과이다. 발달시험 점수는 [커리큘럼 격차를 파악하고 교수개발을 지원]하는 데 사용될 수 있다. 진행률 테스트에 의해 제공되는 지식 성장의 종적 척도는 대다수의 학습자가 어려움을 겪었고 제한된 장기적 지식 보유를 가진 곳을 강조할 수 있다. 이렇게 파악된 격차는 커리큘럼 개선 결정을 안내하고 교수진 개발이 필요한 부서를 특정할 수 있습니다. 일부 커리큘럼은 발달와 관련하여 수집된 데이터를 기반으로 수정되었으며, 다른 커리큘럼은 커리큘럼의 개요를 갖는 것이 유용하다는 것을 발견했다.

Progress test scores are a valuable outcome for institutions as they provide a rich source of data for curriculum evaluation. Progress test scores can be used to identify curricular gaps and support faculty development. The longitudinal measure of knowledge growth offered by progress tests can highlight where a majority of learners have had difficulty and limited long-term knowledge retention. These identified gaps can then guide curricular improvement decisions and pinpoint departments in need of faculty development. 127 A few curricula have been revised based on data collated around progress testing, 54,89,100 while others found it useful to have an overview of their curriculum. 5,8,57,79,90,114,117

제한 사항
Limitations

이 범위 지정 검토에는 몇 가지 제한이 있습니다. 우리는 우리의 연구에 포함된 기사의 질을 평가하지 않았다. 스코핑 리뷰의 [사회 구성적 토대]와 일치하며, 그 목표는 주어진 주제에 대한 문헌의 폭과 깊이를 포착하는 것이다. 131 이 범위 검토의 주요 목표는, 기사의 품질을 평가하기보다는, 연구 설계를 기반으로 광범위하고 깊이 있는 문헌을 지도화하는map 것이었다. 마지막으로, 결과는 샘플에서 네덜란드 기사의 과잉 표현으로 인해 왜곡될 수 있다. 이는 그들이 이 평가 전략 개발에 기여했고 우리의 서술적 분석에서 보여지듯이 발달시험의 열렬한 사용자이기 때문에 예상되었다.

There are certain limitations to this scoping review. We did not assess the quality of the articles included in our study, which is consistent with the socioconstructive underpinnings of a scoping review, the goal of which is to capture the breadth and depth of the literature on a given topic. 131 Based on the study design, the main goal of this scoping review was to map broadly and deeply the literature on progress testing rather than assess the quality of articles. Finally, the results may be skewed by the over representation of articles from the Netherlands in our sample. This was expected as they contributed to the development of this assessment strategy and are, as illustrated in our descriptive analysis, fervent users of progress testing.

결론들
Conclusions

발달시험은 학습자가 교육 종료 커리큘럼 목표와 관련하여 평가되는 여러 컨텍스트에서 사용할 수 있는 종방향 평가입니다. 이 형식은 학습을 위해 테스트 강화 학습 개념화와 평가 원칙을 사용하며 주의 깊게 구현될 때 개인(예: 학습 결과) 및 프로그램(예: 커리큘럼 평가를 위한 데이터) 수준에서 긍정적인 결과를 보여준다. 학습자를 위한 시험 경험을 최적화(예: 진도 시험에 대한 근거 제공 및 빈번한 시험 기회, 시험 완료에 충분한 시간 허용, 상황별 질문 제시, 고품질 피드백 제공)하면 학습자가 발달시험에 대한 수용도를 높이고, 학습자의 발전에 미치는 잠재적 영향을 향상시킬 수 있다.

Progress tests are longitudinal assessments that can be used across multiple contexts in which learners are assessed with regards to the end-of-training curriculum objectives. This format uses a test-enhanced learning conceptualization and principles of assessment for learning and shows positive outcomes at individual (e.g., learning outcomes) and program (e.g., data for curriculum evaluation) levels when it is carefully implemented. Optimizing the test-taking experience for learners (e.g., providing a rationale for progress testing and frequent testing opportunities, allowing enough time for test completion, presenting contextualized questions, providing high-quality feedback) may enhance their acceptance of progress testing and its potential impact on their development.

Copyright © 2021 by the Association of American Medical Colleges.

이야기에 대한 감각, 또는 왜 성찰적 글쓰기를 가르치는가? (Acad Med, 2012)
A Sense of Story, or Why Teach Reflective Writing?
Rita Charon, MD, PhD, and Nellie Hermann, MFA

여성 두 명이 어린이병원과 장로회 병원 사이 복도를 걷고 있다. "이곳은 정말 큰 장소입니다,"라고 한 여성은 말한다. "여기서 길을 잃을 수도 있을 것 같은데…. 저는 항상 제가 어디로 가는지 알아야 합니다." 그리고 나서 그녀는 두 번째 여자에게 질문을 한다. "그럼." 두 번째 여자가 대답한다. "이 복도를 곧장 내려가서 저 모퉁이에서 좌회전 한 다음 엘리베이터를 타고 B로 내려가면 방사선 종양학으로 갈 수 있습니다."
Two women are walking down the hallway between Children's Hospital and Presbyterian Hospital. “It is such a big place,” says one woman. “I bet you could get lost in here…. I always need to know where I am going.” Then she asks the second woman a question. “Sure,” the second woman answers. “Go straight down this hallway, turn left at that corner, then go down in the elevator to B to get to Radiation Oncology.”

우리 병원에서 이 논평의 저자들 중 한 명이 엿듣는 이 짧은 대화는 암환자가 치료를 시작하기 전에 겪는 곤경을 가시적으로 보여주는 것 같다. 첫 번째 연사의 말을 되새기며, 우리는 그녀의 상실감, 그녀가 길을 잃을까 두려워하는 것의 광대함, 그리고 그녀가 추구하는 확실성을 방사선 종양학에서 찾을 수 있는 가능성이 있는 허무함에 대해 궁금해 한다. 비록 화자가 암에 걸린 자신의 경험에 대해 "의도"하지 않을 지라도, 그것이 그녀가 하고 있는 일인가요? 사실, [통계 데이터의 그래프]가 [그것을 읽는 법을 아는 독자에게만 무언가를 보여줄 수 있는 것]처럼, 이야기는 그것을 구체적으로 말하지 않고spelling out, 잠재적인 의미를 보여준다display. 의미는 그것의 형태에 의해 드러난다.
This brief exchange, overheard by one of the authors of this Commentary in our hospital, seems to make visible the plight of the cancer patient starting out on treatment. Reflecting on the first speaker's words, we wonder about her lostness, the vastness of that in which she fears getting lost, the probable futility of finding in Radiation Oncology the certainty she seeks. Even though the speaker might not “mean” to talk about her experience of having cancer, is that what she is doing? The story, such as it is, displays, without spelling it out, potential meaning, much as a graph of statistical data might display something to a viewer who knows how to read it. The meanings are emitted by their forms.

이런 단절된 말들을 엿듣는 우리들 대부분은 자연스럽게 [이야기의 파편]을 이야기하게 될 것입니다. 물론 우리가 틀릴 수도 있다는 것을 깨닫는 동안, 그것이 담고 있을 수 있는 것을 가시화시키면서 말이죠. 분위기를 파악하고, 특정한 단어를 메모하고, 말하지 않은 것을 채워줌으로써, 우리는 창구원의 상황을 상상할 것이다. 만약 말하는 사람이 환자이고 듣는 사람이 그녀의 의사라면, 임상 실습은 이 상상력 있는 노력에서 생성된 가설을 실험하는 것을 수반할 것이고, 우리는 의사가 그녀의 말에 대해 묻기를 바랍니다: "저는 당신이 이 암과 치료의 불확실성에 대해 길을 잃었다고 느끼는지 궁금합니다. 만약 그렇다면, 내가 당신의 고통을 덜어주기 위해 무엇을 할 수 있을까요?"
Most of us overhearing those disconnected utterances would have naturally narrativized the fragment of talk, making visible that which it might have contained while realizing, of course, that we might be wrong. By identifying a mood, noting particular words, filling in the said with the unsaid, we would imagine the situation of the teller. If the speaker were a patient and the listener her doctor, clinical practice would entail testing the hypotheses generated in this imaginative effort, and the doctor would, we hope, ask the patient about her words: “I wonder if you feel lost in the uncertainty of this cancer and its treatment. If so, what might I do to lessen your suffering?”

의과대학에서 [성찰적 글쓰기]의 지지자들이 학생들에게서 강화하고자 하는 것은 바로 이러한 [이야기 감각]이다. 심리학자 Jens Brockmeier와 Rom Harré1은 다음과 같이 제안한다.
It is this sense of story that proponents of reflective writing in medical schools are seeking to enhance in their students. Psychologists Jens Brockmeier and Rom Harré1 suggest that

• 구술과 저술 모두, [이야기의 형태]는 [우리의 존재의 본질과 조건을 받아들이려는 우리의 시도를 위한] [근본적인 언어, 심리, 문화, 그리고 철학적 틀]을 구성한다.
  the story form, both oral and written, constitutes a fundamental linguistic, psychological, cultural, and philosophical framework for our attempts to come to terms with the nature and conditions of our existence.

만약 의학이 [우리 존재의 본질과 조건을 받아들이려는 시도]가 아니라면, 무엇이겠는가?
If the practice of medicine is not the attempt to come to terms with the nature and conditions of our existence, what is?

의학 교육에서 성찰적 글쓰기는 가장 생산적이면서 동시에 위험한 단계에 있다. 성찰적인 글을 공부하고 가르치는 사람들은 그들이 의학 교육을 위해 중요한 것을 알고 있지만 실제로 그 분야가 무엇을 할 수 있는지 또는 어떻게 할 수 있는지를 아직 정하지 못한 채 깨달음과 증명 사이의 어딘가를 맴돌고 있다. 조지 엥겔, 로버트 콜스, 아서 클라인먼, 레이첼 레멘과 같은 선각자들은 일찍이 [의료행위가 실증주의적이고 환원적인 성향에 의해 방해받고 있다]는 것을 이해했고, 그들은 [환자와 의사들에 대한 특이한 이야기]를 의학 교육에 받아들이는 것이 [의사들이 환자의 살아 있는 경험을 인식]하는 것을 돕고, [의사 자신의 경험의 의미의 인식]을 서포트할 수 있다고 제안했다. 이 두 가지 변화를 함께 가져오면 의료의 효과와 이를 제공하는 방법을 배우는 과정 모두를 개선할 수 있다고 제안되었다.
The field of reflective writing in medical education is at a most productive and perilous stage. Those who study and teach reflective writing hover somewhere between epiphany and proof, knowing they are on to something important for medical education but having yet to establish what, in fact, the field can do or how it does it. Such visionaries as George Engel, Robert Coles, Arthur Kleinman, and Rachel Remen early understood that medical practice was being hampered by its positivist and reductive bent, and they suggested that admitting singular stories of patients and doctors into medical education might aid doctors to recognize patients' lived experiences and might support doctors' awareness of the meanings of their own experiences. Bringing about these two changes together, it was proposed, could improve both the effectiveness of the health care and the process of learning how to give it.

우리는 이러한 초기 깨달음 이후 상당한 거리를 다루었다. Wald와 동료들이 의대생들의 성찰적 글쓰기의 등급을 매기기 위한 새로운 루브릭에 대해 논한 기사는 이러한 발견과 변화의 발전sweep에 기여하고 있다. 우리는 이 팀을 통해 학생들에게 성찰적인 글쓰기에 대해 구조화된 개별 피드백을 제공하는 방법에 대해 배웠습니다. 그들과 이 교육 연구 분야에서 일하는 다른 사람들은 특히 그러한 작업이 주류 교육자들로부터 종종 받는 반대되는 반대에 비추어, 몇몇 지저분한 개념과 더 지저분한 학습 행동을 조사하고, 명확히 하고, 도구화하는 그들의 진지하고 생산적인 헌신에 대해 칭찬받을 것이다.
We have covered a considerable distance since these early realizations. The article by Wald and colleagues2 discussing a new rubric for rating reflective writing by medical students contributes to this sweep of discovery and change. We have learned from this team about methods of giving structured individualized feedback to students about their reflective writing. They and others working in this area of educational research are to be commended for their serious and productive commitment to examining, articulating, and instrumentalizing some messy concepts and messier learning behaviors, especially in view of the contrary reception such work often gets from mainstream educators.

Wald와 동료들이 채택한 연구 접근법은 성인 학습 심리학에서 파생된 주류 교육 체계 내에서 성찰적 글쓰기를 찾고 이러한 개념을 의학 교육에 적용한다. 이들이 제안한 평가 전략은 [주류 의료 교육의 평가 루틴]과 일치하며, 의료, 간호, 약학 및 물리 치료 교육 문헌의 광범위한 참조 목록에 기초한다. 이 프로젝트와 유사한 프로젝트는 [학생들이 서로 또는 자신의 초기 성과에 대해 성찰 성과를 비교 평가하도록 의도적으로 지원]한다. 즉, 이들의 목표는, 교수진들이 [전통적인 교육 관행에 부합하는 방법]으로, [측정 가능한 기술의 달성]에 대해, [학생들을 한명씩 판단하고 순위를 매기는 것]이다.

The research approach adopted by Wald and colleagues locates reflective writing within mainstream pedagogic frameworks derived from adult learning psychology and applies these concepts to medical education. The rating strategy proposed is congruent with mainstream medical education's assessment routines and is grounded in an extensive list of references from the medical, nursing, pharmacy, and physical therapy education literatures. This and similar projects purposefully support the comparative rating of students' performance of reflection against one another or against their own earlier performance. The aim, that is to say, is for faculty members to judge and then rank students singly and within cohorts on their attainment of a measureable skill in a way that fits with traditional educational practices.

성찰적 글쓰기의 개념적 모델
Conceptual Models for Reflective Writing

Wald와 동료들은 성찰을 "개인 경험이 실천에 영향을 미치는 전문성 강화 메타인지적이고 암묵적인 과정"이라고 정의한다. [다음과 같은 가정]들이 여기와 다른 반성적 글쓰기에 대한 현재 연구에서 함축되어 있는 것으로 보인다.

• (1) 성찰은 시간이 지남에 따라 선형적으로 발달하는 기술이다. 
  
• (2) 의대 교수진들은 성찰 기술을 가지고 있으며, 최소한의 준비로 다른 사람들에게 그것을 가르치고 다른 사람에 대해서 평가할 수 있다. 
  
• (3) 성찰은 삶의 경험에 적용되는 심리적인 조작을 통해 가르치고, 배우고, 성취된다. 
  
• (4) 글쓰기는 성찰 기술의 성취도를 표시하고 측정하는 데 사용되는 방법이다. 
  
• (5) 쓰여진 텍스트는 글쓴이를 투명하게 보여주며, 독자가 글쓴이의 진지한 생각, 동기, 감정에 명확하게 접근할 수 있게 한다. 
  
• (6) 쓰여진 글은 모든 독자들이 비슷한 방식으로 읽고 해석할 것이다. 
  
• (7) 의료 훈련에 적합한 글은 지시 프롬프트에 대해 규정된 형식과 시간 순서에 따라 작성된 1인칭 산문이다.

Wald and colleagues2 define reflection as an “expertise-enhancing metacognitive, tacit process whereby personal experience informs practice.” The following assumptions seem to be implied here and in other current work on reflective writing:

• (1) Reflection is a skill that progresses linearly in time.
• (2) Medical school faculty possess this skill and can, with a minimum of preparation, both teach it to others and assess it in others.
• (3) Reflection is taught, learned, and accomplished through psychological operations applied to life experiences. (4) Writing is a method used to display and then to measure the attainment of the skill of reflection.
• (5) Written texts display their writers transparently, allowing the reader unambiguous access to the writer's earnest thoughts, motives, and feelings.
• (6) Written texts will be read and interpreted by all readers in similar ways.
• (7) The writing appropriate to medical training is first-person prose about quandary events written to directive prompts in prescribed forms and in chronological sequences.

우리 중 다른 사람들은 [여기에 열거된 가정들을 보완하고 논쟁]하는 성찰, 글쓰기, 그리고 독서에 대한 [또 다른 다른 개념적 가정들]로부터 출발한다. 이러한 가정은 성찰의 본질과 결과, 그리고 성찰과 읽기와 쓰기의 관계에 대해서 조금 다른 믿음에서 비롯된다.
Others of us start from different conceptual assumptions about reflection, writing, and reading that both complement and contest the assumptions on display here. These assumptions arise from different beliefs about the nature and consequences of reflection and the relation of reflection to reading and writing.

[성찰]은 [인지, 감정, 상상력, 창조적 수단을 사용하여 인지하고, 언어로 표현함으로써, 살아있는 경험을 겪어내는, 능동적인 내부 상태]로 이해될 수 있다. 지속적이고 평생에 걸친 성찰의 상태를 통해 사람은 자신의 삶을 경험하게 된다. 
서술 이론, 미학 이론, 현상학을 바탕으로, 성찰은 [존재, 정체성, 자아 인식, 상호 주관성, 윤리적 분별]을 향한 [서술과 서술narrative and narrating의 진입로avenue]로 인식된다. [성찰하는 자아]는 주의 깊은 자아, 현재의 자아, 느낌의 자아, 이야기 감각의 자아와 하나가 된다. 헨리 제임스의 소설가에 대한 6가지 정의를 빌리면, "아무것도 잃지 않는 사람들 중 한 명"이다.
Reflection can be understood to be an active interior state that uses cognitive, affective, imaginative, and creative means to perceive, represent in language, and thereby undergo one's lived experience. Through sustained and lifelong states of reflection, one experiences one's life. Drawing on narrative theory, aesthetic theory, and phenomenology, reflection is recognized as a narrative and narrating avenue toward presence, identity, self-awareness, intersubjectivity, and ethical discernment.3–5 The reflecting self is one with the attentive self, the present self, the feeling self, the self with the sense of story. It is, to borrow Henry James'6 definition of the novelist, “one of the people on whom nothing is lost.”

성찰에서 글쓰기의 역할은 이러한 성찰의 개념에 따라 극적으로 변화한다.

• Wald와 동료들의 연구에 따르면, 글쓰기는 [다른 곳에서 어떤 식으로든 성찰의 기술이 달성된 후, 그 기술의 성취를 측정하기 위해 사용]된다.
• 우리가 제안하는 [대안적 개념]에서, 글쓰기는 [성찰 상태state of reflection에 도달하기 위해 사용]된다. '보고'가 아니라 '발견'을 쓰는 것은, [작가가 접근할 수 없는 생각이나 지식의 저장고]를 열어준다. 7 [언어로 경험을 표현하는 것]은 아마도 그것을 [가시적으로 보이게 할 수 있는 가장 강력한 수단]일 것이다. 글쓰기는 [자신의 경험을 되돌아보는 방법]이다. 그것은 마치 [경험한 것]은 어떻게든 [그 사람의 "밖으로" 나와야만 그것이 파악되고 이해될 수 있는 것]과 같다.

The role of writing in reflection changes dramatically with this conception of reflection.

• According to Wald and colleagues' study, writing is used to measure the attainment of the skill of reflection after that skill has somehow been attained elsewhere.
• In this alternate conception, writing is used to attain the state of reflection. Not report but discovery, writing unlocks reservoirs of thought or knowledge otherwise inaccessible to the writer.7 Representing one's experience in language is perhaps the most forceful means by which one can render it visible and, hence, comprehensible. Writing is how one reflects on one's experience. It is as if that which is experienced has to be somehow “gotten outside” of the person so that it can be apprehended and then comprehended.

서사 이론은 [서사 행위]를 [말하는 사람과 듣는 사람이 있는 것]으로 정의한다. 의대생 성찰의 청취자는 쓰여진 모든 것의 독자나 감사자이다. 구성 이론가들이 우리에게 가르쳐 주듯이, 글쓰기는 단독 행위가 아니다. 상호 주관적, 대담적, 노출적이다. 글쓰기 행위가 독서 행위와 결합될 때, 타인과의 깊은 자아의 회합을 허용하며, 그 결과로서 자기와 자아 사이의 깊은 회합을 허용한다. 수신자를 통한 자기 설명account of self의 통과는 기업에 매우 중요하며 쓰기와 읽기를 일방적으로 "평가가능한ratable" 것에서 [상호적인 것]으로 변화시킨다.
Narrative theory defines a narrative act as having a teller and a listener. The listener in medical student reflection is the reader or auditor of whatever is written. As composition theorists teach us, writing is not a solitary act.8 Intersubjective, daring, exposing—the writing act, when coupled with the reading act, permits deep congress of self with other and, as a corollary, self with self. The passage of the account of self “through” the receiver is critical to the enterprise and transforms writing and reading from something unilaterally “ratable” to something reciprocal.

글쓰기를 가르치면서 성찰을 가르치다
Teaching Reflection by Teaching Writing

성찰로서의 글쓰기의 개념 안에서 성찰의 가르침과 학습은 특정한 형태를 취한다. 컬럼비아 대학교에서 시작되었지만, 현재 북미와 해외의 다른 의료 센터들에서 뚜렷하게 나타나고 있는 주요 노력은 (학생, 하우스 오피스, 교수진, 모든 종류의 보건 전문가, 환자 등) 학습자들에게 [복잡한 사건과 상황을 표현하고 인식할 수 있는 언어 능력]을 갖추도록 하는 것이다. 우리는 학생들이 이야기를 인식하는 서사적 기술, 즉 그들이 그들의 삶에서 사용했을지도 모르지만 의학에서는 별로 중요하지 않다고 여겼던 기술들을 되찾고, 우리는 그들이 지금 여기서 이러한 기술들을 사용하도록 초대합니다. 대부분의 강의 세션은 시, 소설의 단락, 병의 서술, 인턴의 진행 노트, 기도 같은 [쓰여진 텍스트를 자세히 읽는 것]으로 시작하므로 학습자들은 글쓰기를 연습하는 동안 읽는 것을 배운다. 글쓰기 프롬프트는 특정 질문을 던지는 것이 아니라 글쓴이의 마음을 넓히고 학습자가 방금 읽은 본문의 그늘에서 글을 쓰도록 유도하기 위해 짧고 공들여 개발된다. 프롬프트는 학생들이 임상 경험을 쓰도록 안내할 수 있지만 그럴 필요는 없다.
Within the sights of this conception of writing-as-reflection, the teaching and learning of reflection take on specific forms. Arising at Columbia University but now becoming evident in other medical centers in North America and abroad, the primary effort is to equip learners—students, house officers, faculty, health professionals of all sorts, patients—with the language skills to represent and recognize complex events and states of affairs. We reclaim for students the narrative skills to recognize stories, skills that they perhaps used to use in their lives but have deemed not salient to medicine, and we invite them to use these skills here and now. Learners learn to read while they practice writing, as most teaching sessions begin with the close reading of a written text—a poem, a paragraph from a novel, an illness narrative, an intern's progress note, a prayer. Writing prompts are short and painstakingly developed, not to pose specific questions but to expand the writers' minds and to invite learners to write in the shadow of the text they just read. Prompts can but do not have to guide students to write of clinical experiences.

글의 형태와 내용은 예측할 수 없다. 서정적인 것, 아이러니한 것, 초현실적인 것, 코믹한 것, 또는 실험적인 것으로 특징지어진다. 학생들은 홀로 고독하게 글을 쓰고 업로드하는 대신, 자신이 쓴 글을 소리 내어 읽고 적극적으로 글을 지도하는 협업 워크숍에 참여한다. 모든 쓰여진 텍스트는 읽을 가치가 있고, 독자나 감사자auditor를 얻으며, 보통 여러 수신자의 혜택을 받는다. 적어도 몇몇 독자들은 치밀한 독서close reading에 능숙하다. 정의에 따르면, 이것은 모든 쓰여진 텍스트가 다양한 해석에 놓인다는 것을 의미하는데, 두 명의 독자가 텍스트에서 동일한 "방출emission"을 끌어내지 않을 것이기 때문이다. [작가]는 [자신의 글에 무엇이 포함되어 있는지 아는 마지막 사람]이며, 은유, 시간적 구조, 서술적 목소리, 장르, 사전, 암시, 줄거리와 같은 서술적 특징 때문에 [본문을 주의 깊게 검토하는 다른 사람들]이 글 안에 무엇이 들어있을 수 있는지를 작가에게 밝혀줄 수 있다고 이해된다. 판단 없이, 그리고 고정된 기대 없이 들어봄으로써, 작가와 독자들은 서로가 말로 무엇을 하는지, 글이 그들에게 어떤 인상을 주는지, 그리고 그것이 무엇을 의미하는지 적극적으로 인식하도록 격려 받는다.
The writing is unpredictable in form and content, often marked by the lyrical, the ironic, the surreal, the comic, or the experimental. Instead of writing in solitude and uploading their work, students participate in collaborative workshops where they often read aloud what they have written and their writing is actively coached. Every written text deserves and gets a reader or auditor and usually gets the benefit of several receivers. At least some of the readers are skilled in the acts of close reading. By definition, this means every written text gets multiple interpretations, for no two readers will derive the same “emission” from a text. It is understood that the writer is the last person to know what's contained in his or her writing and that others carefully examining the text—for such narrative features as its metaphors, temporal structure, narrative voice, genre, diction, allusions, and plot—can illuminate for the writer what might be contained within it. By listening nonjudgmentally and with no fixed expectations, writers and readers are encouraged to actively recognize what one another does with words, how the writing strikes them, and what it might mean.

교사의 의무
The Duty of the Teacher

이 모델에서 교사의 의무는 판단하고 평가하는 것이 아니라, 보이는 것을 읽고 말하는 것이다. 면밀한 독서에 대한 교육을 받은 우리 교사들은 [평점 루브릭]이 아니라, 독자가 텍스트의 몇 가지 서술적 특징에 주의를 기울이도록 유도하는 [읽기 가이드]를 갖추고 있다. 따라서 [독자/코치]는 적어도 독자의 관점에서 쓰여진 텍스트에 무엇이 포함되어 있는지 먼저 보고 나서 필자에게 보여줄 수 있으며, 글쓰기의 과정뿐만 아니라 글쓰기가 탄생시킨 성찰의 과정에도 도움이 된다. 독자가 여러 명으로 늘어나면서 교훈을 복잡하게 만든다. 우리가 관찰한 바에 따르면, [독자/작가 그룹]은 강력하고 신뢰할 수 있으며 협력적인 팀을 형성한다. 그래서 우리의 성찰을 위한 훈련은 팀워크, 동료 학습, 신뢰, 그리고 보살핌에서 의학 교육의 다른 어려운 임무도 수행한다.
The duty of the teacher in this model is not to judge and rate but, rather, to read and tell what is seen. Our teachers, having been trained in the acts of close reading, are equipped not with rating rubrics but, rather, with a reading guide that prompts the reader to attend to several narrative features of a text. The reader/coach can thereby first see and then show the writer what is contained in the written text, at least from that reader's vantage point, helping along the process not only of the writing but also of the reflection the writing birthed. Multiple readers swell and complicate the lessons learned. As a dividend, we have observed, the group of readers/writers form strong, trusting, collaborative teams. And so our training for reflection also fulfills other difficult missions of medical education in teamwork, peer learning, trust, and care.

우리는 학생들에게 성찰적인 글쓰기를 제공하려는 우리의 약속에서, [개별 학습자의 성취를 계량화한 지표]처럼, 학교가 원하는 것을 학교에 제공하는 것만을 서두지는 않을까 우려한다. 이러한 충동은 아마도 반성적 글쓰기의 잠재적인 깊은 배당을 왜곡하고 낭비할 것이다. 우리는 학생들과 우리 자신에게 [이야기를 하고 들을 수 있는 능력]을 갖추게 된 것이 심오한 성과라는 것을 기억할지도 모릅니다. 우리는 확실히 이런 능력의 학습을 왜곡하지 않으면서도 학습을 증명할 수 있을 것이다. 복잡한 상황이나 상황의 상태를 표현하고 다른 사람의 말을 수신하고 해독하는 기술을 개발한 의대생은 중심 임상 작업을 수행할 수 있다. 학생들은 (말, 외모, 몸짓, 신체적인 발견, 침묵 등) [환자들이 발산하는 모든 미묘한 차이]를 받아들이는 사람이 될 것이다. 주의 깊고, 수용적이며, 환자가 자신의 내부 상태를 공유해 준 것에 대해 감사하는 마음으로, 학생은 [환자의 상황을 그 복잡성 속에서 흡수하고, 그 지식을 바탕으로 환자를 대신하여 행동]할 수 있습니다. 그 또는 그녀는 그 임상적 만남을 언어로 나타낼 수 있는데, 이는 과제를 수행하기 위해서가 아니라, 오히려 이 환자와 그 또는 그녀의 붓에서 무슨 일이 일어났는지 경험하고, 따라서 이해하기 위해서이다. 골든 볼 서문에서 헨리 제임스 3세는 "물건을 아주 정확하고 책임감 있게 그리고 끝없이 하는 것"을 제안한다. 우리의 깊어진 이야기 감각은 우리를 광활함, 상실감, 불확실성, 그리고 그들을 돌보기 위해 최선을 다하는 모든 사람들과 우리를 하나로 묶는 의미들로 열어줄 것이다.

We worry that in our commitment to bring reflective writing to our students, we might hurry to provide our schools with what we think they want, like quantified markers of individual learners' achievements. This impulse perhaps distorts and squanders the potential deep dividends of the work of reflective writing. We might remember that it is a profound achievement to equip our students—and ourselves—with the capacity to tell and listen to stories. We can certainly demonstrate this learning, but in ways that will not distort the undertaking itself. The medical student who has developed skills in representing complex situations or states of affairs and in receiving and decoding the utterances of others is equipped to accomplish central clinical tasks. This student will be a nuanced receiver of all that patients emit—in words, appearance, gestures, physical findings, silences. Attentive, receptive, grateful to patients for sharing their interior states, the student will absorb the situation of the patient in its complexity and will then be able to act, on behalf of the patient, on that knowledge. He or she may represent that clinical encounter in language, not in order to fulfill an assignment but, rather, to undergo and, hence, understand what has happened in his or her brush with this patient. In the preface to The Golden Bowl, Henry James3 suggests that “to put things is very exactly and responsibly and interminably to do them.” Our deepening sense of story will open us to the vastness, the lostness, the uncertainty, and the meanings that unite all who are ill and all of us who do our best to care for them.

 doi: 10.1097/ACM.0b013e31823a59c7.

Commentary: a sense of story, or why teach reflective writing?

PMID: 22201631

PMCID: PMC3247912

DOI: 10.1097/ACM.0b013e31823a59c7

Free PMC article

의학교육 도구로서 서사의학: 체계적 문헌고찰(Med Teach, 2019)
Narrative medicine as a medical education tool: A systematic review
M. M. Milota, G. J. M. W. van Thiel and J. J. M. van Delden

방법들
Methods

우리의 목표는 서사 기반 의학에 대한 이론적 출판물에서 제안된 교육 전략이 보건 교육 환경에 체계적으로 적용되었는지 여부를 확인하는 것이다. 이러한 이유로, 우리의 건강교육 체계적 검토는 임상적 환경이나 비건강교육 환경에서 서사의학 사용을 설명하는 기사가 아니라 의료교육 또는 의료실무자의 지속적인 전문적 발전에 대한 구체적인 서사의학 개입에 대해 보고하는 기사에 초점을 맞출 것이다. 이 검토는 다음의 세 가지 하위 질문에 답하려고 시도할 것이다: 

• 첫째, 건강 교육에 서술 기반 의학의 구조화된 모델의 증거가 있는가? 그리고 만약 그렇다면, 그것이 일관되게 적용되고 있는가?
• 둘째, 서술 기반 강의실 개입이 측정 가능한 결과를 초래한다는 증거가 있는가?
• 마지막으로 보고된 결과의 품질과 특성은 무엇입니까?

Our goal is to ascertain whether or not the pedagogic strategies proposed in the theoretical publications about narrative-based medicine were systematically applied in health education settings. For this reason, our health education systematic review (Gordon 2018) will focus on articles that report on specific narrative medicine interventions in medical education or in the continuing professional development of medical practitioners, not on articles that describe the use of narrative medicine in clinical settings or in non-health education settings. This review will attempt to answer the following three sub-questions:

• first, is there evidence of a structured model for narrative-based medicine in health education, and if so, is it consistently applied?
• Second, is there evidence that narrative-based classroom interventions result in measurable outcomes?
• Finally, what is the quality and nature of the reported outcomes?

문헌 검색
Literature search

우리의 체계적인 검토는 두 단계로 실행되었다. 첫째, 우리는 전자 데이터베이스를 검색했고, 둘째, 우리는 서술 의학 관련 주요 저자와 기사를 대상으로 반복적인 검색을 실행했다. 첫 번째 단계의 기사는 다음과 같은 전자 데이터베이스에서 얻었다. PubMed, Medline, Psychinfo, EBSCO 학술 검색 프리미어 및 간호 및 관련 건강 문헌 누적 지수(CINAHL)가 포함되어 있습니다. 별도의 검색 문자열 목록은 부록에서 확인할 수 있습니다. 가장 관련성이 높은 출처를 검색하기 위한 수단으로 제목, 추상 또는 키워드에 "의학" 또는 "의학 기반 의학"이 포함된 기사를 검색했습니다. 또한 1999년에 서술 의학 또는 서술 기반 의학을 개념으로 설명하는 첫 번째 이론적 출판물과 잠재적 강의실 개입이 출판됨에 따라 2000년부터 발행된 논문으로 검색을 제한했다. 검색어에 대한 합의가 이루어지자 한 저자(M.M.)가 2017년 11월 6일 초기 검색을 실행했다. 이 검색은 2018년 5월 31일에 반복되었다.

Our systematic review was executed in two phases: first, we searched electronic databases; second, we ran an iterative search targeting key authors and articles related to narrative medicine. Articles in the first phase were obtained from the following electronic databases: PubMed, Medline, Psychinfo, EBSCO Academic Search Premier, and the Cumulative Index to Nursing and Allied Health Literature (CINAHL). A list of the separate search strings can be found in the Supplementary Appendix; as a means of retrieving the most relevant sources, we searched for articles that included “narrative medicine” or “narrative-based medicine” in the title, abstract, or keywords. We also limited our search to articles published from 2000 onwards as the first theoretical publications describing narrative medicine or narrative-based medicine as a concept and potential classroom intervention were published in 1999. Once we had reached consensus about the search terms, one author (M.M.) ran an initial search on November 6, 2017. This search was repeated on May 31, 2018.

두 번째 단계에서는 컬럼비아 대학의 서사의학 프로그램의 공동 설립자인 Rita Charon, Sayantani Das Gupta Craig Irvine 및 Maura Spiegel을 대상으로 서사의학 강의실 개입에 대한 주요 기사를 별도로 검색했다. 그런 다음 관련 출처를 찾기 위해 이러한 기사의 참조 목록을 검토했다. 우리는 또한 우리의 연구 질문과 관련이 있을 수 있는 추가 기사를 식별하기 위해 서사의학, 공감 및 의학 교육의 예술에 대한 체계적인 리뷰에서 인용된 작품들을 조사했다. 중복을 제거한 뒤 378건의 글이 남았다.

For the second phase, we ran a separate search on PubMed by author, in this case for the co-founders of Columbia University’s Narrative Medicine Program—Rita Charon, Sayantani DasGupta Craig Irvine, and Maura Spiegel—in order to identify key articles about narrative medicine classroom interventions. We then examined the reference lists of these articles for further relevant sources. We also examined the works cited in systematic reviews on narrative medicine, empathy, and the arts in medical education to identify any additional articles that could be relevant to our research questions (Kuper 2006; Batt-Rawden et al. 2013; Cowen 2016; Barber and Moreno-Leguizamon 2017; Wieżel et al. 2017). After removing duplicates, 378 articles remained.

 

기사선정
Article selection

두 명의 저자(M.M.과 G.V.T.)는 다음과 같은 자격 기준에 기초하여 제목과 요약본을 스캔하여 Cvidence의 전체 텍스트 검토를 위한 관련 기사를 독립적으로 식별했다.
Two authors (M.M and G.v.T.) independently identified relevant articles for full-text review in Covidence by scanning the titles and abstracts on the basis of the following eligibility criteria.

• 포함 기준: 
  • 학부, 대학원 또는 대학원 수준의 의료 또는 의료 교실 환경에서 서술적 의학 커리큘럼, 과정, 세미나 또는 교수 관행을 설명하는 출판물 
    
  • 의료 서비스 제공자를 위한 교수진 개발 전문 개발 개입을 설명하는 연구 
    
  • 질적 및/또는 정량적 평가를 통해 교육학적 도구로서 서술적 의학의 영향을 시험하려는 출판물.

Inclusion criteria: publications that describe narrative medicine curricula, courses, seminars, or teaching practices in a medical or paramedical classroom setting at the undergraduate, graduate, or postgraduate level; studies describing a faculty development professional development intervention for health care providers; publications that attempt to test the impact of narrative medicine as a pedagogic tool with qualitative and/or quantitative assessment.

• 제외 기준: 
  
  • 임상 환경에서 서술적 의학 사용에 대해 보고하는 출판물 
    
  • 서술 의학에 대해 이론화하지만 특정 강의실 환경에서 그것의 사용을 설명하지 않는 출판물 
    
  • 비의료 환경에서 서술형 의학의 사용을 설명하는 출판물(예: 수의학교) 
    
  • 서술적 의학을 교육학적 도구로 명시적으로 언급하고 사용하지 않는 출판물 
    
  • 비영어 출판물; 체계적인 문학 평론

Exclusion criteria: publications that report on the use of narrative medicine in a clinical setting; publications that theorize about narrative medicine but do not describe its use in a specific classroom setting; publications that describe the use of narrative medicine in a non-medical setting (for example, veterinary school); publications that do not explicitly mention and use narrative medicine as a pedagogic tool; non-English publications; systematic literature reviews.

포함 목록을 비교하기 위해 회의를 하고 갈등을 해결한 후, 한 연구원(M.M.)은 자격에 대한 전문 분석을 실시했다. 서사의학 강의실 개입에 대한 총 36개의 연구가 최종 분석에 포함되었다. 그림 1에는 검색 프로세스의 흐름도가 나와 있습니다.
After meeting to compare inclusion lists and resolving any conflicts, one researcher (M.M.) conducted a full-text analysis for eligibility. In total, 36 studies reporting on a narrative medicine classroom intervention were included in the final analysis. Figure 1 contains a flow diagram of the search process.

데이터 추출
Data extraction

한 저자(M.M.)는 전체 텍스트를 검토하고 다음과 같은 일반 정보를 추출했다: 저자, 출판 연도, 강의실 개입 현장, 연구 유형(개입 보고서, 정성 및/또는 정량적 평가 구성요소), 서술 의학 과정 수준 및 분야, 과정 유형(선택, 필수, 교수 개발), 코스 기간 및 참가자 수(참가자 수 포함)에 대해 설명합니다.

또한, 이 추출물은 보고된 서술 의학 과정 내용의 더 자세한 측면을 기록했습니다. 여기에는 다음이 포함됩니다. 코스 자체에 사용된 공식 및 비공식 평가 도구(예: 동료 피드백 또는 의사-작가 및 전문가와의 글쓰기 워크샵 세션)뿐만 아니라 코스에 사용된 특정 예술 형식 또는 이론적 텍스트, 특정 쓰기 과제, 공식 및 비공식 평가 도구 마지막으로, 추출은 또한 교육학적 개입에 대한 정성적 및/또는 정량적 평가를 포함하는 연구에서 보고된 방법, 목표 및 결과를 기록하였다.

One author (M.M.) reviewed the full texts and extracted the following general information: authors, year of publication, site of classroom intervention, type of study (report of intervention, qualitative and/or quantitative assessment component), the narrative medicine course level and field, type of course (elective, required, faculty development), the duration of course, and the number of participants, if mentioned.

In addition, the extraction recorded more detailed aspects of the reported narrative medicine course content. This included: specific art forms or theoretical texts used in the course, specific writing assignments as well as formal and informal assessment tools used in the course itself (for example, peer feedback or writing workshop sessions with a physician-writer and expert). Finally, the extraction also recorded the methods, objectives, and outcomes reported in the studies that included a qualitative and/or quantitative assessment of a pedagogic intervention.

증거 등급
Evidence grading

 

서술형 의학 강의실 개입의 결과를 평가하려고 시도한 연구는 Kirkpatrick 기반 결과 척도 및 증거 척도를 모두 포함하는 BEME(Best Evidence in Medical Education) 글로벌 평가 척도를 사용하여 평가되었다. Kirkpatrick 모델은 원래 기업 조직의 교육 프로그램을 평가하는 수단으로 고안되었으며, 의료 교육을 포함한 고등 교육(Praslova 2010)에서 프로그램의 효과를 측정하는 표준 도구가 되었다. BEME 글로벌 척도는 표 1에서 확인할 수 있습니다.

Studies that attempted to assess the outcomes of a narrative medicine classroom intervention were rated using the Best Evidence in Medical Education (BEME) Global Rating Scale, which includes both a Kirkpatrick-based outcomes scale and a strength of evidence scale (Hammick et al. 2010). Originally conceived as a means of assessing training programs in business organizations (Kirkpatrick 1959, 1976, 1996), the Kirkpatrick model has become a standard tool for gauging the effectiveness of programs in higher education (Praslova 2010) including medical education (Issenberg et al. 2005; Littlewood et al. 2005; Steinert et al. 2006; Colthart et al. 2008; Tochel et al. 2009; Sullivan 2011). The BEME Global Scale can be found in Table 1.

 

 

데이터 추출을 완료한 후 한 작성자(M.M.)는 BEME Global Scale을 사용하여 포함된 기사를 코드화했습니다. 이 단계가 완료되면 두 번째 작성자(G.V.T.)는 무작위로 선택된 5개의 기사에 대한 독립적인 채점을 완료했다. 그 후 두 저자는 그들의 점수를 비교하고 의견 차이를 해결하기 위해 만났다. 보충 표 2는 증거와 결과 점수의 BEME 강도뿐만 아니라 데이터 추출의 핵심 정보를 제공한다.
After completing the data extraction, one author (M.M.) coded the included articles using the BEME Global Scale. Once this step was completed, a second author (G.v.T.) completed an independent grading of 5 randomly selected articles. The two authors then met to compare their scores and resolve disagreements. Supplementary Table 2 provides key information from the data extraction as well as the BEME strength of evidence and outcome scores.

결과.
Results

서사기반 의료 개입을 위한 구조화된 모델의 증거
Evidence of structured model for narrative-based medicine interventions

보건 교육에서 서술 의학에 대한 이론적 출판물은 일반적으로 세 가지 기본 단계로 구성된 교육학적 전략을 설명한다.

• 첫 번째 단계는 환자 내러니트, 문학 텍스트, 영화 단편, 예술 작품 또는 음악 작품과의 [성찰적 참여]를 포함한다. 컬럼비아의 내러티브 메디컬 프로그램에서 이 단계는 특정 형태의 예술을 [자세히 읽거나 비판적으로 분석하는 것]을 포함하며, 그들의 내러티브 의학 강의실에서 대표적인 방법으로 여겨진다.
• 이 참여 동안 얻은 통찰력은 [관련된 쓰기 과제 또는 개인적인 성찰]을 통해 교육학적 전략의 두 번째 단계에서 강화된다.
• 만남은 세 번째 단계에서 더욱 풍성해지는데, 이것은 이러한 [작은 자기 성찰 행위들을 공유하고 토론하는 것]으로 구성되어 있다. 

Theoretical publications about narrative medicine in health education typically describe a pedagogic strategy consisting of three basic steps.

• The first step involves a reflective engagement with a patient narrative, literary text, film fragment, art work, or piece of music. At Columbia’s Narrative Medicine Program, this step includes a close reading—or critical analysis—of the art form and is considered the signature method in their narrative medicine classrooms (Charon, DasGupta, et al. 2016, p. 181).
• The insights gained during this engagement are reinforced in the second step of the pedagogic strategy by means of a corresponding writing assignment or personal reflection.
• The encounter is further enriched in the third step, which consists of sharing and discussing these small acts of self-reflection (Balmer and Richards 2012, p. 2).

다시 말해서, [서사의학 강의실 개입]은

• 예술 형태나 서사를 만나거나 분석하고,
• 이 만남을 성찰하고,
• 주의 깊게 관찰되고 뒷받침되는 환경에서 자신의 발견을 다른 사람들과 공유하는 것을 포함한다.

In other words, a narrative medicine classroom intervention entails

• encountering and/or analyzing an art form or narrative,
• reflecting upon this encounter, and
• sharing one’s discoveries with others in carefully monitored and supportive environment (Charon, DasGupta, et al. 2016).

본 검토에서 서사의학을 교육학적 도구(N = 36)로 사용하는 것에 대해 보고한 연구들 중, (밀접한) 읽기-반성-응답의 3단계 과정의 증거는 대부분의 기사(N = 22)에서 찾을 수 있다. 소수의 과정에서는 성찰적 글쓰기와 토론만 포함했습니다(N = 12). 극소수는 서면 반영(N = 2)을 포함하지 않았다.

Of the studies in this review that reported on their use of narrative medicine as a pedagogic tool (N = 36), evidence of this three-step process of (close) reading-reflecting-responding could be found in the majority of the articles (N = 22). A minority of courses only included reflective writing and discussion (N = 12). A very small minority did not include written reflection (N = 2).

측정 가능한 결과의 증거
Evidence of measurable outcomes

이 검토에서 23개의 연구는 그들의 서술적 의학 교실 개입의 영향을 평가했다. Kirkpatrick 모델에 따라 분류된 연구 결과의 간략한 요약은 표 2에서 확인할 수 있다. 이러한 연구의 측정 및 결과에 대한 자세한 설명은 부록에서 확인할 수 있다.

In this review, 23 studies assessed the impact of their narrative medicine classroom interventions; a brief summary of the findings categorized according to the Kirkpatrick model can be found in Table 2. A detailed description of the measures and outcomes of these studies can be found in the Supplementary Appendix.

 

1단계: 참여
Level one: participation

대부분의 연구에는 1단계 또는 2단계 평가가 포함되었다. 수준 1 결과 측정치(N = 14)를 포함하는 연구는 성과척도로서 조사 또는 피드백 양식에 압도적으로 의존했지만 서사의학, 개입 자체에 대한 긍정적인 학생 반응과 감사, 희망, 만족 또는 기쁨과 같은 긍정적인 효과를 보고했다.
The majority of the studies included level one or two assessments. Studies that included level one outcome measures (N = 14) overwhelmingly relied on surveys or feedback forms as outcome measures but reported positive student reactions to the narrative medicine interventions themselves (Winkel 2010; Ross 2014) and positive effects, such as a sense of gratitude, hope, satisfaction, or pleasure (DasGupta and Charon 2004; Feigelson and Muller 2005; Garrison 2011; Chretien 2015).

2단계: 태도, 인식, 지식 또는 기술의 수정
Level two: modification of attitudes, perceptions, knowledge, or skills

예를 들어, 참가자들의 태도나 인식의 변화에 대해 보고한 연구들(레벨 2a; N = 16)은 그들의 동료들과 더 넓은 전문 커뮤니티에 대한 정체성 증가, 그들의 일에 대한 더 많은 만족과 웰니스 감각, 또는 문화적 다양성에 대한 더 나은 인식을 발견했다. 임상실습 3학년 학생들을 위한 서사의학 환자 스토리텔링 과정에 대한 크레티엔의(2015) 평가 연구는 예시적인 예를 제공한다. 그 과정 동안, 학생들은 환자를 인터뷰하고, 그들의 인터뷰를 서술형으로 쓰고, 그들의 인터뷰 대상자들과 이 쓰여진 작품을 공유해야 했다. 강의가 끝난 후 포커스 그룹과 학생과 참여 환자 모두를 대상으로 한 인터뷰가 진행됐다. 학생들은 이 연습을 통해 다음을 했다고 보고했다

• 환자로부터 질병 이상의 것을 발견하는데 도움을 주었고,
• 천천히 듣고 들을 수 있는 기회를 갖도록 더 개방적으로 만들었으며,
• 이야기들이 환자 치료에 긍정적인 영향을 미칠 수 있다는 것을 확실히 보여주었다.

Studies that reported on modification of participants’ attitudes or perceptions (level 2a; N = 16) found, for example,

• increased identification with their peers and the broader professional community (Feigelson and Muller 2005; Balmer and Richards 2012; Al-Imari et al. 2016),
• more satisfaction with their work and sense of wellness (Feigelson and Muller 2005; Graham 2009), or
• a better awareness of cultural diversity (DasGupta et al. 2006).

Chretien’s (2015) assessment study of a narrative medicine patient storytelling course for third-year medical clerkship students provides an illustrative example. During the course, students had to interview patients, write up their interview as a narrative, and share this written work with their interviewees. Focus groups and interviews with both students and participating patients were conducted after the course was completed. Students reported that the exercise

• helped them discover that patients are more than their disease,
• made them more open to taking the opportunity to slow down and listen, and
• made clear to them that stories can positively impact patient care.

상당수의 연구는 또한 서사의학 개입의 직접적인 결과로 지식이나 기술의 수정을 평가했다(수준 2b; N = 14). Liben(2012)은 서사의학 워크숍의 교수진 참가자들이 후속 테스트에서 서사적 용어 습득을 입증하고 나중에 이러한 서사의 기술을 교육 및 임상 환경에 적용했다고 보고했다. 마찬가지로, Ross(2014)는 서사의학 과정(평균 점수 51.6–71.5, p < 0.001)을 완료하기 전후에 실시한 서사적 기술 평가에서 유의미한 향상을 기록했다. 커닝햄(2018)은 학생들이 자신의 서술적 성찰에서 다음과 같은 주제를 다루었다는 것을 발견했다: 자기 인식, 공감, 정서적 거리와 연민의 균형. 다른 연구들은 의사소통에 대한 이해와 능력이 향상되었다고 보고했다.
A considerable number of studies also assessed the modification of knowledge or skills as a direct result of the narrative medicine intervention (level 2b; N = 14). Liben (2012) reported that faculty participants in a narrative medicine workshop demonstrated the acquisition of narrative terms in a follow-up test and later applied these narrative skills in teaching and clinical settings. Similarly, Ross (2014) recorded significant improvement in a narrative skills assessment administered before and after the completion of a narrative medicine course (mean scores 51.6–71.5, p < 0.001). Cunningham (2018) found that students addressed the following themes in their written narrative reflections: self-awareness, empathy, and balancing emotional distance and compassion. Other studies reported an enhanced understanding of and capability in communication (Garrison 2011; Arntfield et al. 2013; Welch 2016).

많은 연구들은 학생들이 그들의 환자에 대한 공감과 연결성을 증가시켰다고 보고했다. Sands(2008)는 또한 baseline에 비해서 Interpersonal Reactivity Index를 사용한 개입 후 평가에 따라 공감적 관심empathic concern의 개선을 발견했다. 하지만, 서사의학 개입 전후에 공감 수준을 평가하려는 모든 시도가 긍정적인 결과를 가져온 것은 아니다. 서사의학 세미나 세션에 참석하면 번아웃을 줄이고, 공감 능력을 높이고, 반사 능력을 높이고, 주민들이 업무에서 접하는 다중 스트레스 요인을 처리하는 데 도움이 될 것이라는 윙클 외(2016)의 가설을 Maslach Burnout Inventory, Interpersonal Reactivity Index 및 Self-Care Inventory를 통해 검증하였으며, 참가자가 서술 의학 세미나를 마친 후 1년 후 기준에서 시행하였다. 그 결과에서, 서사의학 개입 이후 공감적 관심이 약간 증가했다고 보고했습니다(+0.76, p = 0.01). 그러나 전체 수준에서 저자들은 번아웃 수준은 높은 수준을 유지했지만 점수에서 큰 차이를 발견하지 못했다.
A number of studies reported that students had an increased sense of empathy for and connection to their patients (DasGupta and Charon 2004; Maurer 2006; Vannatta and Vannatta 2013; McDonald 2015). Sands (2008) also found an improvement in empathic concern (p = 0.056) according to baseline and post-intervention assessments using the Interpersonal Reactivity Index. This being said, not all attempts to assess empathy levels before and after a narrative medicine intervention resulted in positive results. Winkel et al.’s (2016) hypothesis that attending narrative medicine seminar sessions would reduce burnouts, enhance empathy, increase reflective capabilities, and help residents process the multiple stressors the encountered on the job, was tested by means of a Maslach Burnout Inventory, Interpersonal Reactivity Index, and Self-Care Inventory administered at the baseline and one year after participants’ completion of the narrative medicine seminars. The study reported a small increase in empathic concern after the narrative medicine intervention (+0.76, p = 0.01). Yet at the aggregate level, the authors found no significant difference in scores, although burnout levels remained high.

3단계: 행동 변화
Level three: behavioral change

이 검토에 포함된 세 가지 연구는 서술 기반 의학 개입의 결과로 행동 변화를 명시적으로 측정하기 위한 시험을 설계하고 실행했다. 이러한 연구에는 여러 측정 도구가 포함되었으며 세 가지 중 두 가지에는 데이터 삼각측량이 포함되었다. Bhavarju는 서사의학 교수 훈련 개입의 영향을 평가하기 위해 사전 및 사후 리커트 척도 설문지를 사용하여

• 쓰기 및 쓰기 연습 리딩에 대한 자신감 향상(3.1–4.2)과
• 독서토론 리딩에 대한 높아진 자신감(3.7–4.4)을 확인했다. 참가자들은 또한
• 강의에 서사의학 도구를 통합한다(2.0–2.7)고 보고했다. 

Three studies included in this review designed and executed tests to explicitly measure behavioral change as a result of a narrative-based medicine intervention (Balmer and Richards 2012; Arntfield et al. 2013; Bhavaraju and Miller 2014). These studies included multiple measurement tools and two of the three included data triangulation (Balmer and Richards 2012; Arntfield et al. 2013). Using pre- and post-intervention Likert Scale questionnaires to assess the impact of a narrative medicine faculty training intervention, Bhavaraju found an

• increase in participants’ confidence in writing and leading writing exercises (3.1–4.2) and
• increased confidence in leading literary discussions (3.7–4.4). Participants also reported
• integrating narrative medicine tools in their teaching (2.0–2.7).

발머의 교수 교육 프로그램 분석은 전문적 성장(교습 전략 학습, 여러 과정에 이러한 전략 적용), 개인적 성장(관점 수용), 집단적 및 공동적 지원의 증거를 발견했다. (다른 사람, 소속감, 그리고 풍부한 연결감을 봅니다.) Arntfield의 학부 서사의학 선택과목 평가는 3가지 데이터 수집 및 분석 수단을 사용했다. 즉, 개입 전 익명 조사, 포커스 그룹, 개입 후 1.5년 후 추적 조사이다. 따라서 이 연구의 결과는 Kirpatrick 모델의 여러 수준으로 분류될 수 있지만, 참가자들은 커뮤니케이션에 대한 이해와 능력의 향상 형태로 행동 변화를 보고했다.

Balmer’s analysis of a faculty training program found evidence of professional growth (learning teaching strategies, applying these strategies to multiple courses), personal growth (perspective taking), and collective and communal support (seeing the “other,” affiliation, and a sense of rich connectedness). Arntfield’s assessment of an undergraduate narrative medicine elective course used three means of data collection and analysis: an anonymous pre-intervention survey, a focus group, and a follow-up survey 1.5 years after the intervention. The outcomes of this study could thus be categorized on multiple levels of the Kirpatrick model, but participants reported behavioral changes in the form of enhanced understanding of and capability in communication.

레벨 4: 조직 관행 또는 환자 상호 작용의 변화
Level four: change in organizational practice or patient interaction

임상 기술 개발에 대한 서술적 의학 강의실 개입의 장기적인 결과를 측정하기 위한 두 가지 연구가 시도되었다. 조직 관행의 변화와 관련하여, Arntfield의 연구 참가자들은 [(환자의 관점에 대한 개선된 인식이란 형태로) 더 나은 치료 전달]을 보고하였다. 발머의 연구의 목표는 진행 중인 [프로세스-지향 서사의학 교수개발 프로그램]이 참가자들에게 미치는 영향을 탐구하는 것이었다. 그리고 저자들은 그들의 의도가 개인 개입 자체를 평가하는 것이 아니라, [대인 관계와 제도적 관행의 진화하는 변화를 살펴보는 것]이라고 명시적으로 말했다. 이 연구는 교수진 개발 프로그램의 참가자들이 나중에 컬럼비아의 새로운 커리큘럼의 규범과 관행을 형성하는 데 도움을 주었다고 결론지었다. 두 연구 모두 교수세미나의 영향에 대한 분석에서 질적 방법만을 사용했지만, 그럼에도 불구하고 참여자들은 [서사의학적 실천을 더 많이 포함하도록 대학의 의과대학 커리큘럼을 형성]하는 데 결정적이고 측정 가능한 수단hand을 가지고 있다고 확신했다.

Two studies attempted to measure the long-term results of a narrative medicine classroom intervention on clinical skill development (Balmer and Richards 2012; Arntfield et al. 2013). Regarding changes in organizational practice, participants in Arntfield’s study reported better delivery of care in the form of a better awareness of patients’ perspectives. The goal of Balmer’s study was to explore the impact of an ongoing, process-oriented narrative medicine faculty development program on participants, and the authors explicitly stated that their intention was to look at evolving changes in interpersonal relationships and institutional practices, not to assess the individual interventions themselves. The study concluded that the participants in the faculty development program later helped shape the norms and practices in Columbia’s new curriculum. Both studies used solely qualitative methods in their analyses of the impact of the ongoing faculty seminars but were nevertheless confident that those who participated had a decisive and measurable hand in shaping the university’s medical school curriculum to include more narrative medicine practices.

증거품질
Quality of evidence

이 연구에 포함된 소수의 출판물(N = 13)은 개입의 결과를 평가하려고 시도하지 않았으며, 대신 서사의학 수업을 위한 교육 도구 개발에 대한 보고를 선택했다. 예로는 작업장 테마 및 설계(DasGupta 2003) 또는 학생 및 교직원 피드백 가이드에 대한 설명이 있습니다. 이 문서들은 비공식적인 증언 증거나 저자들의 개인적인 의견을 포함하고 있기 때문에, 그들은 오직 1의 BEME 증거 점수만을 수여받을 수 있었다.

A minority of publications included in this study (N = 13) did not attempt to assess the outcomes of their intervention, choosing instead to report on their development of pedagogic tools for the narrative medicine classroom. Examples include descriptions of workshop themes and designs (DasGupta 2003) or student and faculty feedback guides (Wald 2010; 2011; Charon, Hermann, et al. 2016). As these articles included informal testimonial evidence or the authors’ personal opinions, they could only be awarded a BEME strength of evidence score of 1.

나머지 논문의 대부분(N = 16)을 2로 채점했는데, 이는 일반적으로 표본 크기가 작거나 하나의 평가 도구만 사용되었기 때문에 결과가 모호하다는 것을 의미한다. BEME 척도에서 5개의 연구를 3점 만점으로 채점했는데, 이는 이러한 연구의 결론이 결과와 연관될 가능성이 높다는 것을 의미한다. 단 하나의 연구만이 4점을 채점했는데, 이는 결과가 분명하고 사실일 가능성이 높다는 것을 의미한다. 우리의 평가에 따르면, 이 체계적인 검토에 포함된 어떤 연구도 명확한 결과를 제공하지 않았다.

We scored the majority of the remaining articles (N = 16) with a 2, meaning that the results were ambiguous, usually because of the small sample size or the fact that only one assessment tool was used. We scored five studies as a 3 on the BEME scale, meaning that conclusions in these studies could likely be linked to the results; only one study scored a 4, meaning the results were clear and likely to be true. According to our appraisal, none of the studies included in this systematic review provided unequivocal results.

용어집Glossary
내러티브(기반) 의학: 질병의 이야기를 인식하고, 흡수하고, 해석하는 이러한 기술을 가진 의학의 실천; 건강 관리의 새로운 틀로서, 그것은 치료를 받고 있는 사람들을 인식하고 존중하는 것보다 효과적인 건강 관리 시스템을 만드는 것을 목표로 한다.
Narrative-(based) medicine: The practice of medicine with these skills of recognizing, absorbing, interpreting by the stories of illness; as a new frame for health care, it aims to create an effective health-care system than recognizing and respecting the persons undergoing care.
Marini MG. 2015. Narrative medicine: bridging the gap between evidence-based care and medical humanities. eBook: Springer. p. 143.

학습자의 환자중심성 개발을 위한 계획된 의학교육 전략 최전화: 현실주의 고찰(Med Educ, 2022)
Optimising planned medical education strategies to develop learners' person-centredness: A realist review
Aarti Bansal1 | Sarah Greenley2 | Caroline Mitchell3 | Sophie Park4 | Katie Shearn5 | Joanne Reeve1

1 소개
1 INTRODUCTION

[사람 중심성]은 임상의가 효과적인 의료 서비스를 제공하는 데 필수적인 속성으로 인식되고 있으며, 의학교육에서 옹호되는 성과이다. 사람 중심의 의사소통 기술 훈련은 많은 의학 교육 커리큘럼의 확립된 부분이다. 3 그러나, 사람 중심의 태도가 의학 교육이 진행됨에 따라 증가하지 않으며, 오히려 감소할 수 있다는 우려가 있었다. 최근 몇 년 동안, 종적 통합 임상실습(LIC)과 같은 특정 유형의 의학교육이 어떻게 [사람 중심성]을 지원할 수 있는지에 대한 증거를 여러 연구가 제시해 왔다. 그러나, 우리는 사람 중심성를 발전시키는 것을 목표로 하는 계획된 광범위한 의학 교육 프로그램이 어떻게, 왜, 그리고 어떤 상황에서 성공하는지 아직 충분한 이해를 하지 못하고 있다. 이 지식은 우리가 사람 중심 의사들의 발전을 위해 의학 교육을 최적화하기 위해 중요하다.

Person-centredness is recognised as an essential attribute for clinicians to deliver effective health care1 and is an espoused outcome for medical education.2 Person-centred communication skills training is an established part of many medical education curricula3; however, there has been concern that person-centred attitudes do not increase in learners as they progress through medical education and may decline.4-10 In recent years several studies have offered evidence on how certain types of medical education, such as longitudinal integrated clerkships (LICs),11-13 can support person-centredness. However, we still have insufficient understanding as to how, why and in what circumstances the range of planned medical education programmes that aim to develop person-centeredness are successful or not. This knowledge is important if we are to optimise medical education for the development of person-centred practitioners.

[사람 중심성]은 [무엇이 건강과 임상적 역할을 구성하는지]에 대한 사람의 관점을 가이드하는 [해석주의적 인식론적 틀]에 기초한다. 이 관점은 [실증주의적 생의학적 관점]과 대조적으로 설명되는 경우가 많다.

• [실증주의적 생의학적 관점]에서는 [환자의 질병에 대한 보고]는 질병 과정의 존재를 나타내기 위해 취해지며, 임상의의 '전문가' 역할은 환자의 질병을 치료하거나 개선하기 위한 정확한 진단과 관리로 제한된다.
• [사람 중심적 관점]은 그 사람이 [생물심리사회적 요인과 다른 요인의 복잡한 상호 작용]이며, 그들의 건강 목표가 그들의 고유한 맥락과 그들에게 중요한 점의 관점에 의해 inform되는, 독특한 개인임을 인식한다.
  • 그것은 환자의 주관적인 지식과 전문성을 인정하며, 공유된 의사 결정 과정에서 동등한 파트너로서 환자와 협력하고자 한다.
  • 또한 관계의 질이 건강 결과에 영향을 미치며, [의료 전문가의 자기 인식]이 사람 중심 접근법의 중요한 구성 요소임을 인정한다.

Person-centredness is based on an interpretivist epistemological framework14 which guides one's perspective on what constitutes health and one's clinical role.

• It is often described in contrast to a positivist biomedical perspective in which patients' reports of illness are taken to indicate the existence of disease processes and the clinician's ‘expert’ role is limited to accurate diagnosis and management of disease to cure or improve the patient's illness.15 
• A person-centred perspective recognises that the person is a unique individual whose health is a complex interplay of biopsychosocial and other factors and whose health goals will be informed by their unique context and in terms of what matters to them.16, 17 
  • It recognises patients' subjective knowledge and expertise and seeks to work with patients as equal partners in a shared decision making process.16 
  • It also recognises that the quality of relationships influences health outcomes and that health care professionals' self-awareness is a vital component of a person-centred approach.18, 19 

경험적 문헌에 대한 미드와 바워의 리뷰는 환자 중심성의 다섯 가지 개념 영역을 설명한다. 

• 생물심리사회적 관점,
• '사람으로서의 환자',
• 권력과 책임의 공유,
• 치료 동맹,
• '사람으로서의 의사' 

Mead and Bower's review of the empirical literature describe five conceptual domains of patient-centredness:

• biopsychosocial perspective,
• ‘patient-as-person’,
• sharing power and responsibility,
• therapeutic alliance and
• ‘doctor-as-person.’20 

사람 중심 이론은 임상 실무에 대한 사람 중심 접근에 대한 개념적이고 증거적인 근거를 포함한다. 

Person-centred theory involves the conceptual and evidential rationale for a person-centred approach to clinical practice.21

'환자 중심'과 '사람 중심'이라는 용어는 종종 상호 교환적으로 사용되며, 이러한 용어를 뒷받침하는 개념 영역에는 상당한 중복이 있다. 최근 몇 년 동안, 환자로서의 지위뿐만 아니라 개인의 인격을 인정하는 '사람 중심'이라는 용어로의 움직임이 있었다. 그러므로 우리는 리뷰에서 '사람 중심'이라는 용어를 사용하기로 결정했다.
The terms ‘patient-centred’ and ‘person-centred’ are often used interchangeably, and there is considerable overlap in the conceptual domains underpinning these terms. In recent years, there has been a move towards the term ‘person-centred’ to acknowledge the personhood of an individual and not just their status as a patient.22 We therefore chose to use the term ‘person-centred’ in our review.

의료 교육에서 사람 중심의 교육은 종종 [스킬과 역량]의 관점에서 개념화된다. 그러나 연구에 따르면 생물의학 임상의의 관점은 사람 중심의 치료를 제공하는 데 장애가 될 수 있으며, 사람 중심의 접근법은 '당신은 뭐가 문제에요?'에 초점을 맞추는 것에서 '당신에게 중요한 것이 무엇인가요?'에 초점을 맞추는 관점의 전환을 필요로 한다고 주장되어 왔다. 다양한 정책 논문은 [사람 중심 진료에 전념하는 노동력]이 사람 중심 진료 제공에 필수적인 기둥이며, [사람 중심 가치와 원칙]이 사람 중심 행동을 안내하는 데 필수적이라고 권고한다. 의료 교육 전략에 격차가 있는지, 현재 의사소통 능력 훈련에 초점을 맞추고 있는 것이 사람 중심의 이론을 간과할 수 있는지 물었다.
Teaching of person-centredness in medical education is often conceptualised in terms of skills and competencies.23 However, studies have shown that biomedical clinician perspectives may be a barrier to delivering person-centred care24, 25 and it has been argued that a person-centred approach requires a perspective shift from a focus on ‘what is the matter with you?’ to ‘what matters to you?’26 Various policy papers recommend that a workforce committed to person-centred practice is an essential pillar in delivering person-centred care1, 27 and that person-centred values and principles are essential to guiding person-centred behaviours.28 We queried whether there is a gap in medical education strategy and if the current focus on communication skills training may overlook person-centred theory.

우리의 검토는 다음 질문에 대한 답을 찾기 위해 노력했다.

• 사람 중심성 개발에 계획된 의료 교육 개입의 성공 또는 실패로 이어지는 특정 맥락에서 촉발된 핵심 메커니즘은 무엇인가?
• 이러한 설명들이 교육 정책, 관행, 연구에 어떤 영향을 미칠까? 

Our review sought to answer the following questions:

• What are the key mechanisms, triggered in particular contexts, that lead to the success or failure of planned medical educational interventions in developing person-centredness?
• How might these explanations influence educational policy, practice, and research?

우리의 검토의 목적은 의료 교육자와 정책 입안자에게 유용한 검증 가능한 이론을 만드는 것이었다. 이러한 이유로, 우리는 더 넓은 의료 환경에서 발생하고 의료 교육이 제한된 영향력을 가질 수 있는 경험 있는 교육 과정과는 반대로 계획된 교육 커리큘럼에 초점을 맞추기로 선택했습니다. 우리는 사람 중심의 결과를 관점으로 개념화하여 학습자의 수준에 검토를 집중하기로 결정했다.

The objective of our review was to produce testable theory useful to medical educators and policymakers. For this reason, we chose to focus on the planned education curriculum as opposed to the experienced curriculum which occurs in the wider health care context and over which medical education may have limited influence. We conceptualised the outcome of person-centredness as a perspective and so chose to focus our review at the level of the learner.

2 방법
2 METHODS

우리는 이것이 정책과 실무를 알리기 위해 고안된 실용적인 방법론적 접근 방식이기 때문에 [현실주의 검토]를 수행하기로 결정했다. [현실주의 연구]는 의학 교육(29)과 같은 복잡한 개입을 조사하고 질적, 양적 및 혼합 방법 연구를 합성하는 데 특히 적합하다. 개입이 작동하는지 여부를 이해하고자 하는 표준 체계적 검토와 달리, 현실주의 검토는 설명적인 초점을 가지고 있으며, 어떤 상황에서 어떤 것이 누구에게 효과가 있는지 이해하려고 한다. 우리의 연구는 관점의 수준에서 결과를 이해하는 데 초점을 맞췄고, 따라서 '메커니즘'의 개념을 사용하는 것은 [인간 추론 수준]이며, 여기서 그것은 그들이 제공하는 교육 프로그램에 대한 학습자의 반응을 나타낸다. 본 논문은 현실주의자 및 메타나래티브 증거 합성에 따른 검토를 보고한다. 발전하는 표준(RAMESES) 출판 표준. 심사는 학부 및 대학원 의학 교육(AB, JR, SP, CM) 경험이 풍부한 의사 4명과 현실주의 방법론자(KS), 정보전문가(SR) 등 6명으로 구성된 팀이 진행했다.

We chose to conduct a realist review as this is a practical methodological approach designed to inform policy and practice. Realist research is also particularly suitable for investigating complex interventions, such as those in medical education,29 and for synthesising qualitative, quantitative and mixed-methods research. Unlike standard systematic reviews that seek to understand whether an intervention works, realist reviews have an explanatory focus and seek to understand what works for whom and in what circumstances.30 Our research focused on understanding outcomes at the level of perspective and so our use of the concept of ‘mechanism’ is at the level of human reasoning,31 where it represents learners' responses to the educational programme they are offered. This paper reports the review according to the Realist and Metanarrative Evidence Syntheses: Evolving Standards (RAMESES) publication standards.32 The review was conducted by a six-person team which included four doctors with extensive experience in undergraduate and postgraduate medical education (AB, JR, SP and CM), a realist methodologist (KS) and an information specialist (SR).

2.1 단계(i): 초기 프로그램 이론 개발
2.1 Step (i): Developing an initial programme theory

우리의 첫 번째 단계는 데이터 수집과 분석을 안내하는 초기 프로그램 이론을 설명하는 것이었다. 우리는 Shearn 등이 개략적으로 설명한 세 가지 전략을 채택했다.

• 우리 연구팀이 보유한 암묵적 이론을 추출하고, 
• 실질적인 교육 학습 이론의 개념을 사용하며, 
• 학문적 및 회색 문헌의 탐색적 검색에서 암묵적 이론을 추출한다. 

범위 지정 검색에 대한 자세한 내용은 개방형 과학 프레임워크에서 확인할 수 있다. 이러한 출처는 그들이 대표하는 학습 유형을 기반으로 3개의 초안 프로그램 이론으로 구성된 초기 프로그램 이론을 구성하도록 구성된 이론 개념을 생성했다. 

• 인지적(사람 중심 치료의 대상), 
• 구성주의적(교육적 학습 환경)
• 경험적(경험적 배치)

우리의 초기 프로그램 이론의 세부사항은 부록 S1에 있다.

Our first step was to describe an initial programme theory to guide data collection and analysis. We adopted three of the strategies outlined by Shearn et al.33:

• extracting tacit theories held by our research team,
• using concepts from substantive educational learning theory and
• extracting tacit theories from exploratory searches of the academic and grey literature.

Details of our scoping searches are available at the open science framework (https://osf.io/qnkfh/?view_only=d1d36e578dd449a78ec62b13e2efebc5). These sources produced theory concepts that were configured to form an initial programme theory consisting of three draft programme theories based on the types of learning they represented:

• cognitive (theory of person-centred care),
• constructivist (transformative learning environments) and
• experiential (clinical placements).

The detail of our initial programme theory is in Appendix S1.

우리의 초기 프로그램 이론은 학부 및 대학원 의학 교육을 계획하고, 제공하고, 받는 이해 관계자들과 함께 점검되었다. 그들의 피드백은 [초기 프로그램 이론]이 연구 질문에 답하는 데 유용한 출발점을 제공했다는 것을 확인시켜 주었다. 이해관계자 그룹은 전문 그룹 차원에서 검토 범위를 논의했으며 의사의 진단 및 관리 책임이 모든 보건 전문가와 공유되지 않고 사람 중심의 접근방식 개발에 특정 영향을 미칠 수 있다는 점에서 의대생과 의사에게 검토를 집중하기로 합의했다. 학부 및 대학원 학습 전반에 걸쳐 공통적인 메커니즘이 있을 수 있으므로 의학교육의 연속체에 걸친 논문들이 포함되어야 한다는 데 의견이 일치했다.

Our initial programme theory was checked with stakeholders planning, delivering and receiving undergraduate and postgraduate medical education. Their feedback confirmed that the initial programme theory provided a useful starting point for answering the research question. The stakeholder group discussed the scope of the review in terms of professional groupings and agreed to focus the review on medical students and doctors given that the diagnostic and management responsibilities of doctors are not shared with all health professionals and may have a specific impact in the development of a person-centred approach. It was agreed that there were likely to be mechanisms in common across undergraduate and postgraduate learning and so papers from across the continuum of medical education should be included.

2.2 단계 (ii) : 증거 찾기
2.2 Step (ii): Searching for evidence

우리의 초기 프로그램 이론은 우리의 체계적인 검색 전략을 개발하기 위한 프레임워크를 제공했다. 이전의 범위 지정 검색을 통해 검색 전략을 구체화할 수 있었습니다. 예를 들어, '전문성'이라는 용어로 발견된 대부분의 논문은 숨겨진(경험은 있지만 계획되지 않은) 커리큘럼의 영향에 관한 반면, 우리의 리뷰는 [계획된 커리큘럼]에 초점을 맞췄다. 우리는 '의학 교육'과 '사람 중심' 및 관련 동의어에 대한 자유 텍스트 및 데이터베이스별 주제 제목 용어의 부울 조합을 통해 여러 전자 데이터베이스(2019년 7월 15일 OVID 인터페이스를 통한 Medline, Embase 및 HMIC)를 검색했다. 각 데이터베이스에 대한 전체 검색 전략은 부록 S2에서 확인할 수 있습니다.
Our initial programme theory provided the framework to develop our systematic search strategy. Earlier scoping searches allowed us to refine our search strategy. For example, most papers found under the term ‘professionalism’ were concerned with the impact of the hidden (experienced but not planned) curriculum, whereas our review focus was on the planned curriculum. We searched multiple electronic databases (Medline, Embase and HMIC via the OVID interface and ERIC via the EBSCO interface on 15 July 2019) through Boolean combinations of free-text and database-specific subject heading terms for ‘medical education’ and ‘person-centred’ and related synonyms. Full search strategies for each database can be found in Appendix S2.

우리는 이러한 용어를 사용하지 않고 사람 중심의 가치, 태도 및 신념에 대한 데이터를 포함할 수 있는 유용한 논문을 놓치고 싶지 않았기 때문에, 결과outcome에 대한 검색 용어를 포함함으로써 검색을 제한하지 않았다. 또한 범위 지정 단계에서 회색 문헌에 대한 이전 검색에서 확인된 관련 연구가 포함되었다. 우리는 이것이 의료 교육에서 환자 중심성과 사람 중심성의 개념이 확립된 시기라고 추론했기 때문에 이 검색은 영어와 2000년 이후 발표된 결과로 제한되었다. 인용 추적 및 저자와의 접촉을 포함한 CLASTER 방법을 사용하여 매우 관련성이 높은 연구와 관련된 추가 논문이 발견되었다. 합성이 진행되면서 '감정 거리를 유지하는 것으로 이해되는 전문성'에 대한 이론의 새로운 요소가 등장했고, 현실주의 합성에서도 권장되는 것처럼, 이 이론의 요소를 뒷받침하거나 반박하거나 다듬을 증거를 찾기 위해 구글 스콜라를 이용해 추가 검색을 했다.

We did not limit the search by including search terms on outcomes as we did not want to miss useful papers that may include data on person-centred values, attitudes and beliefs without using these terms. In addition, relevant studies identified from a previous search for grey literature at the scoping stage were included. The search was limited to the English language and to results published since 2000 as we reasoned that this was when the concepts of patient-centredness and person-centredness became established in medical education. Additional papers relating to highly relevant studies were found using the CLUSTER method34 including citation tracking and contact with authors. As the synthesis progressed, a new element of theory emerged on ‘professionalism being understood as maintaining emotional distance’, and as is recommended in realist synthesis,35 we did additional searching, using Google Scholar, to look for evidence to support, refute or refine this element of theory.

2.3 단계 (iii): 문서의 선정 및 평가
2.3 Step (iii): Selection and appraisal of documents

논문의 선택은 주로 [RAMESS 식별된 관련성 원칙]에 기초했으며, 기사가 연구 질문을 조명하고 이론 개발에 기여했는지 여부이다. 포함 대상 연구 유형에 대한 제한은 없었다. 심사는 AB가 주도했으며, JR, CM, SM, KS 또는 SG가 추상 및 전체 텍스트 단계에서 두 배로 평가한 타이틀의 10%를 무작위로 샘플링했다. 우리는 의대생과 의사를 위한 [계획된 교육 개입]이 있는 논문을 [사람 중심성과 관련된 결과]에 대한 데이터와 함께 포함시켰다. 현실주의 종합에서, 이론 개발을 지원하기 위해 학문적 경계를 넘어서는 관련 데이터의 포함이 권장된다. 따라서 우리는 다른 보건 전문가들이 프로그램 이론의 전반적인 개발을 지지한다고 생각했기 때문에 다른 의료 전문가들과 관련된 세 개의 논문을 우리의 검색에 포함시키기로 합의했다. 숨겨진 커리큘럼에 관한 논문, 개입이 없거나 개입에 대한 설명이 너무 짧아 설명을 도출할 수 없는 논문은 제외했다. 공식 의료 교육 프로그램의 일부가 아닌 특정 정책 맥락에 특정한 의료 개입도 제외되었다(예: 미국의 개인 중심 의료 가정 개입). 또한 행동 수준에서 결과만 보고한 논문(예: 의사소통 능력 향상)도 제외했다. 완전한 포함 및 제외 기준은 PROPERO 데이터베이스에 게시된 프로토콜(CRD4202020168197) 내에서 확인할 수 있다.


Selection of articles was based primarily on the RAMESES identified principle of relevance, whether the article illuminated the research question and contributed to theory development.35 There was no restriction on the type of study eligible for inclusion. Screening was led by AB with a random sample of 10% of titles double appraised by JR, CM, SM, KS or SG at both abstract and full-text stages. We included papers with a planned educational intervention for medical students and doctors with data on outcomes related to person-centredness. In realist synthesis, the inclusion of relevant data from across disciplinary boundaries is encouraged to support theory development. We therefore agreed to include three papers that were returned in our search, which related to other health professionals as we felt they supported the overall development of programme theory. We excluded papers that were about the hidden curriculum, where there was no intervention or where the description of the intervention was too brief to derive explanation. Health care interventions that were specific to a particular policy context and not part of a formal medical educational programme, were also excluded (e.g. person-centred medical home interventions in the USA). We also excluded papers that only reported outcomes at behavioural level (e.g. improvement in communication skills). Full inclusion and exclusion criteria can be found within the protocol published on the PROSPERO database (CRD42020168197).

2.4 단계 (iv) : 데이터 추출 및 정리
2.4 Step (iv): Extracting and organising data

데이터를 추출하기 전에 먼저 포함된 전체 텍스트 논문을 모두 읽고 데이터에 익숙해지십시오. 각 논문의 연구 특성과 요약 결과에 대한 데이터를 Excel 스프레드시트로 추출했습니다. 또한, 각 논문은 연구 결과가 일관되고 타당하다고 간주되었는지 여부에 따라 엄격(높거나 낮음)에 대해 평가되었다. 코딩은 둘 다였다.

• 귀납적, 즉, 코드는 데이터에서 식별되었다. 
  
• 연역적, 즉 초기 프로그램 이론에 의해 정보를 제공받았다. 

Before extracting the data, first read all the included full-text papers to familiarise herself with the data. Data on study characteristics and summary findings for each paper was extracted into an Excel spreadsheet. In addition, each paper was assessed for rigour (high or low) based on whether its findings were considered coherent and plausible. Coding was both

• inductive, i.e., codes were identified from the data, and
• deductive, i.e., they were informed by the initial programme theory.

각 논문은 NVivo 12(QSR International, Warrington, UK) 정성 데이터 분석 소프트웨어에 업로드되어 세분화된 수준의 텍스트 코딩을 용이하게 했다. 이러한 코드화된 데이터는 개념으로 묶인 다음 'if-then' 설명문으로 발전되었다. 그런 다음 각 논문의 조사 결과에 대한 설명이 Excel 스프레드시트로 옮겨져 논문 간 설명을 쉽게 볼 수 있게 되었습니다. 이러한 설명은 색상으로 구분되어 있어서 초안 프로그램 이론을 지지, 정제 또는 반박했는지 또는 새로운 이론에 영감을 주었는지 쉽게 확인할 수 있었다. 우리의 현실주의 합성에 포함된 연구의 세부 사항이 포함된 표는 부록 S3에서 이용할 수 있다.

Each paper was uploaded onto NVivo 12 (QSR International, Warrington, UK) qualitative data analysis software, to facilitate coding of text at a granular level. These coded data were grouped into concepts and then developed into ‘if–then’ explanatory statements. Explanations of each paper's findings were then transferred to the Excel spreadsheet for ease of looking at explanations across papers. These explanations were colour coded so we could easily see if they supported, refined or refuted the draft programme theories or whether they inspired new theory. A table with details of studies included in our realist synthesis is available in Appendix S3.

2.5 단계(v): 데이터 합성
2.5 Step (v): Data synthesis

데이터 합성 과정에는 결과에 대한 현실적인 인과적 설명을 개발하는 데 도움이 되도록 [데이터와 이론 사이를 지속적으로 이동]하는, [몇 가지 반복적인 사이클]이 포함되었다. 새로운 연구 결과는 설명의 일관성과 타당성을 보장하기 위해 정기적인 연구팀 회의에서 비판적인 평가를 받았다. 우리의 현실적인 설명 이론을 개발하기 위해, 우리는 특정 교육 전략과 결과 사이에 반복적인 패턴(반규칙성)이 있는지 알아보기 위해 논문을 통해 살펴봤다. 그런 다음 결과 및/또는 저자 제안을 찾고 이러한 결과가 어떻게 발생했는지 설명할 수 있는지 유괴적 추론을 사용했다. 그런 다음 데이터 합성은 우리의 이론에 대한 확인 및 확인 증거와 학습자 관점의 변화 또는 결여를 설명할 수 있는 새로운 설명을 위해 데이터를 살펴보는 것을 포함했다.
The data synthesis process involved several iterative cycles where we continually moved between data and theory to help us develop realist causal explanations for outcomes. The emerging findings were subject to critical appraisal at regular research team meetings to ensure the coherence and validity of the explanations. To develop our realist explanatory theories, we looked across papers to see if there were repeated patterns (demi-regularities) between particular educational strategies and outcomes. We then looked for results and/or author suggestion and used abductive reasoning to see if we could explain how these outcomes occurred (mechanisms). Data synthesis then involved looking across the data for confirmatory and disconfirmatory evidence for our theories and, indeed, novel explanations that might explain the change in learner perspective or lack thereof.

[학습 전 학습자의 관점]은 학습에 대한 반응을 나타내는 데이터로부터 추론되었다. 우리는 사람 중심의 관점을 지원하는 것을 목표로 한 모든 개입 전략이 사람 중심의 관점으로 기울어진 참가자들의 관점을 검증했다는 것을 발견했다. 보다 [생물의학적 관점으로 기울어진 학습자들]은 학습에 대해 다양한 반응을 보였으며, 이는 우리의 질적 및 양적 데이터 모두에 반영되는 지배적인 학습자의 관점이었다. 이 단계에서 우리는 [생물의학적 관점으로 기울어진 학습자]에게 교육 전략이 미치는 영향에 대한 설명을 제공하는 데이터 하위 집합에 검토를 집중하기로 결정했다. RAMESES 지침에 따라, 우리는 [학습자의 사람 중심성]을 지원하기 위해 [계획된 의료 교육 전략]이 [어떻게 최적화될 수 있는지]에 대한 문제를 해결하는 측면에서, 교육자와 정책 입안자로서 이 초점이 그들에게 가장 유용할 것이라는 데 동의한 이해관계자들과 함께 점검했다.

A learner's perspective prior to learning was inferred from data indicating their response to the learning. We found that all interventional strategies that aimed to support person-centredness validated the perspective of participants who leaned towards a person-centred perspective. Learners who leaned towards a more biomedical perspective had variable responses to learning and this was the predominant learner perspective reflected in both our qualitative and quantitative data. At this stage, we chose to focus our review on the subset of data that provided explanations of the impact of educational strategies on learners who leaned towards a biomedical perspective. In line with RAMESES guidance,35 we checked with our stakeholders who agreed this focus would be most useful to them as educators and policymakers in terms of addressing the question of how planned medical educational strategies can be optimised to support learners' person-centredness.

[이론 구성]을 구체화하는 데 몇 가지 모델을 사용할 수 있다. 우리는 [학습자 컨텍스트]를 [교육 전략]과 분리하는 것이 관점의 변화로 이어지는 메커니즘을 분리하는 데 도움이 된다는 것을 발견했다. 따라서 우리는 현실주의적 인과적 설명에 문맥-개입-메커니즘-결과 구성(CIMOc)을 사용하기로 결정했다. 우리는 결과에 따라 CIMOc를 그룹화했고, 역작업은 사람 중심의 관점의 변화로 이어지는 메커니즘(또는 그렇지 않은)을 촉발시킨 교육 전략의 주요 특징을 조사하여 전체 프로그램 이론을 구성할 수 있었다.
Several models are available for articulating theory configurations.36, 37 We found that separating the learner context from the educational strategy helped us to isolate the mechanisms leading to changes in perspective. We therefore chose to use the context–intervention–mechanism–outcome configuration (CIMOc) for our realist causal explanations. We grouped CIMOcs based on their outcome and working backwards were able to investigate the key features of the educational strategies that triggered the mechanisms leading to a change in person-centred perspective (or not) and so to construct an overall programme theory.

3 결과
3 RESULTS

초기 검색 결과 4217개의 결과가 나왔다. 그림 1은 최종 현실주의 합성에 61개의 논문 또는 문서가 포함되게 된 필터링 과정을 보여줍니다. 8개의 논문이나 문서가 같은 '개입'을 보고 있었기 때문에 교육개입이 53개였다.

• 37번의 개입에서 학습자는 학부생이었습니다. 
  
• 11학년 때, 그들은 훈련 중인 대학원 박사들이었습니다. 
  
• 5명 중, 그들은 숙련된 임상의사 또는 다학제 팀들이었습니다.

교육 개입은 전 세계에 걸쳐 이루어졌지만, 대다수가 북아메리카와 유럽(북미 23명, 유럽 20명, 아시아 5명, 호주 4명, 아프리카 1명)에서 왔다.

The initial search yielded 4217 results. Figure 1 illustrates the filtering process that resulted in 61 papers or documents being included in the final realist synthesis. Eight papers or documents were looking at the same ‘intervention’, so the number of educational interventions looked at was 53.

• In 37 interventions, learners were undergraduates;
• in 11, they were postgraduate doctors-in-training; and
• in five, they were experienced clinicians or multidisciplinary teams in work.

The educational interventions spanned the globe, although the majority were from North America and Europe (23 in North America, 20 in Europe, five in Asia, four in Australia and one in Africa).

중재적 전략은 크게 세 가지 유형이 있었다: 

• 사람 중심의 의사소통 기술 훈련,
  
• 사람 중심 이론과 개입이 없이 사람 중심 이론의 다양한 조합을 제공하는 환자 경험
  
• 환자 내러티브 또는 일정시간에 걸친 실제 환자와의 관계(의미 있는 경험)에 참여하고, 반응을 이해할 수 있는 기회.

There were three main types of interventional strategy:

• person-centred communication skills training,
• patient experiences without person-centred theory and interventions that offered various combinations of person-centred theory,
• engagement with patient narrative or real patients over time (meaningful experience) and opportunities to make sense of responses to learning.

개입 기간은 짧은 단일 세션에서 4년 동안 소규모 그룹에서의 정규 학습에 이르기까지 매우 다양했다. 질적 데이터를 제공한 논문은 37편, 정량적 데이터가 14편, 질적 데이터와 정량적 데이터가 모두 8편, 데이터가 없는 개입(자매 논문)에 대한 서술이 2편이었다.

The length of interventions varied widely from brief single sessions to regular learning in small groups over 4 years. Thirty-seven papers offered qualitative data, 14 had quantitative data, eight papers had both qualitative and quantitative data and two were descriptions of interventions (sister papers) without data.

3.1 정제된 프로그램 이론
3.1 Refined programme theory

우리의 정제된 프로그램 이론은 사람 중심성을 개발하는 것을 목표로 하는 교육 개입이 어떻게 성공할 수도 있고 아닐 수도 있는지를 설명하는 9개의 CIMOc로 구성된다(표 1). 우리의 분석에 따르면 이러한 설명은 의학 교육 연속체(학부, 대학원 및 지속적인 전문 개발)에 걸쳐 기울어진 사람들에게 적용되었다. 그림 2는 우리의 정제된 프로그램 이론을 시각적으로 나타낸 것이다.

Our refined programme theory consists of nine CIMOcs that explain how educational interventions that aim to develop person-centredness may or may not succeed (Table 1). Our analysis found that these explanations applied to leaners across the medical education continuum (undergraduate, postgraduate and continuing professional development). Figure 2 is a visual representation of our refined programme theory.

 

 

 

3.2 관점 지속: 교육적 개입이 어떻게 사람 중심성을 발전시키지 못할 수 있는가?
3.2 Perspective endurance: How educational interventions may fail to develop person-centredness

5개의 설명문(CIMOcs 1–5)은 [사람 중심성을 증가시키는 것을 목표로 하는 교육 개입이 어떻게 실패하는지]를 설명한다. 학습자에게서 촉발된 관점지속을 이끌어내는 메커니즘은 모두 [인지적 부조화]와 관련이 있다: 믿음, 가치관 또는 태도가 서로 일치하지 않을 때 발생하는 불편함과 불확실성. 우리의 분석은 역할, 인식론 및 더 넓은 커리큘럼의 인지된 생물의학적 초점과 관련된 세 가지 유형의 부조화를 설명했다.
Five explanatory statements (CIMOcs 1–5) explain how educational interventions that aim to increase person-centredness may fail to do so. The mechanisms triggered in learners that led to perspective endurance all relate to cognitive dissonance: the discomfort and uncertainty that results when beliefs, values or attitudes are not consistent with each other.38 Our analysis described three types of dissonance related to role, epistemology and the perceived biomedical focus of the wider curriculum.

3.2.1 메커니즘 1: 역할에 대한 이해와 불일치
3.2.1 Mechanism 1: Dissonance with understanding of role

학습자들이 [의사로서의 역할에 대한 이해]에는 [역할의 목적]과 [직업적 행동으로 간주되는 것]이 포함되었습니다. 역할과의 불일치에 기여한 대부분의 개입은 사람 중심의 의사소통 기술 훈련을 포함한다. 몇 가지 개입에는 비교적 짧지만 환자 또는 사람 중심 이론과의 의미 있는 연결이나 연속성을 제공하지 않는 환자들에 대한 경험이 포함되었다. 분석에 따르면 역할에 대한 이러한 이해의 불일치가 세 가지 결과로 이어졌습니다.
Learners' understanding of their role as a doctor included the purpose of the role and what was considered professional behaviour. Most interventions that contributed to dissonance with role involved person-centred communication skills training.39-49 A few interventions involved experiences with patients that were relatively brief but did not offer meaningful connection or continuity with patients or any person-centred theory.50-52 Analysis revealed that dissonance in this understanding of role led to three outcomes.

CIMOc 1: 학습자는 의미 있는 역할은 없다고 생각합니다.
CIMOc 1: Learners believe they have no meaningful role

학습자들이 의사의 주요 역할이 [생물의학적 질병 진단과 관리를 통해 도움을 주는 것]이라고 믿었고, 학습 개입에서 포함된 환자가 급성 질환을 갖지 않았을 때, 일부는 이 학습이 그들의 미래 역할과 관련이 있음을 이해하기 어려워했다.

Where learners believed that the main role of the doctor is to help through biomedical disease diagnosis and management, and the learning intervention involved patients who were not acutely unwell,49, 50, 53, 54 some struggled to see the relevance of this learning to their future role.

두 경우 모두 [환자의 요구가 질병 진단과 관리 전문성과 맞지 않아, 유의미한 역할이 없다는 느낌]이 기존 관점을 지속하게 만들었다.

In both situations, the feeling that they had no meaningful role with patients whose needs did not fit with an expertise in disease diagnosis or management, resulted in perspective endurance.

CIMOc 2: 학습자는 생체 의학 관점에서 학습을 동화합니다.
CIMOc 2: Learners assimilate learning within their biomedical perspective

CIMOc 3: 학습자는 전문적인 규범을 유지하고 정서적 고통으로부터 자신을 보호하기 위해 환자와의 정서적 연결을 피합니다.
CIMOc 3: Learners avoid emotional connection with patients to maintain professional norms and protect self from emotional distress

학습자의 질적 논평은, [임상적 객관성을 유지]하기 위해, [환자로부터 감정적인 분리]를 수반하는 전문적인 행동을 이해한다는 것을 보여주었다. 고통 받는 사람들과 연결되는 것을 포함하는 학습자들의 경험적 학습이 그들의 전문적인 역할에 대한 이해는 어떻게 대응해야 할지에 대한 불확실성으로 이어졌다. 학습자들은 [자신이 느끼는 괴로움을 어떻게 관리해야 할지]에 대한 불확실성뿐만 아니라, [한 명의 인간이자 전문가로서 대응해야 하는 갈등]도 경험했다. 학습자들은 전문적인 규범으로 이해하고 있는 것을 유지하고 또한 정서적 고통으로부터 자신을 보호하기 위해 환자들과의 정서적 연결을 피함으로써 그들의 불협화음과 불확실성을 해결했다. 이러한 [정서적 연결의 회피]는 학습자의 행동에서 관찰되었을 뿐만 아니라, 학습자가 학습에 대한 반응에서도 논의되었다. 
Learners' qualitative comments revealed that they understood professional behaviour to involve emotional detachment from patients in order to remain clinically objective. Where learners' experienced learning that involved connecting with people who were suffering, this understanding of their professional role led to uncertainty on how to respond. Learners experienced a conflict between responding as a human being or as a professional, as well as uncertainty on how to manage the distress that they felt. Learners resolved their dissonance and uncertainty by avoiding emotional connection with patients to maintain what they understood to be professional norms and also to protect themselves from emotional distress. This avoidance of emotional connection was both observed in learner behaviour45, 48 as well as discussed by learners in response to their learning.43, 46, 52, 57

3.2.2 메커니즘 2: 인식론과의 불일치
3.2.2 Mechanism 2: Dissonance with epistemology

CIIMc 4: 학습자들은 (인간 중심성에 대한) 학습이 미래의 임상 실습에 덜 중요하다고 믿습니다.
CIMOc 4: Learners believe learning is less important to future clinical practice

서로 다른 개입을 가진 코호트를 비교한 정량적 데이터를 가진 논문은 사람 중심 이론이 학습에 명확하게 통합되지 않은 코호트에서 사람 중심 태도의 감소를 보였다. 이 CIMOc 를 지원하는 데이터는 학부 및 대학원 환경 및 모든 지리적 영역에서 발견되었다. 

Papers with quantitative data that compared cohorts with different interventions showed a decline in person-centred attitudes in cohorts where person-centred theory was not clearly integrated into learning.59, 60 The data supporting this CIMOc were found across undergraduate and postgraduate settings and from all geographical areas.41, 42, 44, 51, 53, 56, 61, 62

3.2.3 메커니즘 3: 광범위한 커리큘럼에 초점을 맞춘 불일치
3.2.3 Mechanism 3: Dissonance with focus of the wider curriculum

CIIMc 5: 학습자는 향후 임상 실습을 위해 학습의 중요성을 최소화합니다.
CIMOc 5: Learners minimise importance of learning for future clinical practice

[핵심 교육과정의 일부인지 여부]와 [교육과정 내 질병 기반 학습에 부여된 상대적 무게]에 따라, 학습의 상대적 중요성에 대해 많은 학습자들이 힌트를 얻었다. 이는 학습자들이 '과학적' 학습만큼 중요하지 않거나, 미래 실천에 중요하지 않다고 믿고, 지식을 [위계적 범주]로 계속 분리하도록 이끌었다. 

Many learners took their cue about the relative importance of learning based on whether it was part of the core curriculum and the relative weight given to disease-based learning in the curriculum. This led learners to continue to separate knowledge into hierarchical categories, believing that person-centeredness was not as important as ‘scientific’ learning or as important to future practice.42, 43, 54, 55, 61, 63

3.3 관점 변환: 교육적 개입이 사람 중심성을 개발하는 데 어떻게 성공할 수 있는가?
3.3 Perspective transformation: How educational interventions may succeed in developing person-centredness

데이터 합성(CIMOCs 6–9)의 네 가지 설명문은 교육 개입이 [사람 중심성에 대한 관점 변환으로 이어지는 방법]을 설명한다(표 1). 이 네 가지 진술에 대한 비판적 분석을 통해 사람 중심의 변화를 촉진하는 두 가지 중요한 메커니즘이 확인되었다.

• 임상실무에서 사람 중심의 관련성에 대한 명확성 제고
  
• 감정을 처리하고 가정에 도전할 수 있도록 지원

Four explanatory statements from our data synthesis (CIMOCs 6–9) explain how educational interventions may lead to perspective transformation towards person-centredness (Table 1). Critical analysis of these four statements identified two overarching mechanisms that prompted change towards person-centredness:

• greater clarity on the relevance of person-centredness to clinical practice and
• support to process emotions and challenge assumptions.

36편의 논문은 사람 중심성을 향한 관점 변환에 대한 설명에 기여했다.이 논문들 중에서, 31개의 개입은 사람 중심의 이론, 의미 있는 경험, 학습에 대한 응답을 이해할 수 있는 기회 등 두 가지 메커니즘을 촉발할 수 있는 요소의 조합을 제공했다. 이러한 설명에 기여한 다섯 편의 논문만이 이론이나 분별력 없는 경험을 제공했다. 이 다섯 가지 개입에서 제공된 경험은 본질적으로 종단적이거나 환자를 돌보는 데 있어 적극적인 사람 중심 역할을 포함했으며, 이 두 가지 모두 학생들이 임상 실습에 대한 사람 중심성의 관련성에 대해 개인적으로 성찰할 수 있게 해주었을 가능성이 높다.

Thirty-six papers contributed to explanations on perspective transformation towards person-centredness.49, 58, 59, 63-95 Out of these papers, 31 interventions offered a combination of the components that enabled both mechanisms to be triggered: person-centred theory, meaningful experiences and opportunity to make sense of one's responses to learning. Only five papers that contributed to these explanations offered experiences without theory or sense-making opportunities.63, 68, 73, 84, 87 The experiences offered in these five interventions were either longitudinal in nature or involved an active person-centred role in caring for patients, both of which are likely to have enabled students to personally reflect on the relevance of person-centredness to clinical practice.

3.3.1 메커니즘 1: 임상 실무에서 [사람 중심성의 관련성]을 명확히 함
3.3.1 Mechanism 1: Clarity on relevance of person-centredness to clinical practice

CIMOc 6: 건강을 [전체론적으로 이해]하고, [돌봄의 개인화]를 가치 있게 생각합니다.
CIMOc 6: Understand health as holistic and value personalisation of care

[사람 중심의 이론을 의미 있는 경험에 적용한 개입]은, 학습자가 환자 치료에 대한 사람 중심의 접근 방식의 관련성을 이해하는 데 도움이 되었다. 이러한 개입에 대한 이론의 기여는 사람 중심 접근법에 대한 개념과 이론적 근거에 대한 교훈적 소개에서부터 이론과 응용에 대한 정기적인 대화형 참여에 이르기까지 다양했다. 간단한 이론적 틀을 사용한 개입은 나머지 개입이 토론을 통해 또는 경험을 통해 이 이론을 실제에 적용하는 것을 지원하는 경우 관점에 대한 중요한 변화를 지원할 수 있다. 
Interventions that applied person-centred theory to meaningful experiences helped learners understand the relevance of a person-centred approach to patient care. The contribution of theory to these interventions varied from didactic introductions on the concepts and rationale for a person-centred approach60, 71, 72, 74, 82, 94 to regular discursive and interactive engagement with theory and application.58, 65, 70, 77, 85, 89 Interventions with brief theoretical framing could support significant changes to perspective if the rest of the intervention supported the application of this theory to practice through discussion or through experience.60, 75, 82, 94

3.3.2 메커니즘 2: [감정을 처리하고 가정을 비판적으로 성찰]할 수 있도록 지지
3.3.2 Mechanism 2: Support to process emotions and reflect critically on assumptions

사람 중심으로의 관점 변환에 대한 가장 명확한 질적 데이터에 대한 개입은 모두 학습자에게 학습에 대한 응답을 이해할 수 있는 기회를 제공했다. [피어와 퍼실리테이터의 관계적 연속성이 있는 소규모 그룹 환경]은 이 메커니즘을 촉발할 가능성이 가장 높은 [소속감과 신뢰의 확립]을 가능하게 했다. 학습자가 소그룹 학습을 정기적으로 제공받은 논문들을 넘어, 학습자가 자신의 감정을 표현하고 자신의 생각과 가정에 비판적으로 반영할 수 있도록 하는 '안전'과 '비판단' 설정의 중요성을 표현했다.

The interventions with the clearest qualitative data on perspective transformation towards person-centredness all offered opportunities for learners to make sense of their responses to their learning.49, 53, 58-60, 66, 67, 70, 72, 76, 78, 80, 82, 88-92, 95-98 Facilitated small group environments where there was relational continuity of peers and facilitator enabled the establishment of belonging and trust most likely to trigger this mechanism. Across papers where learners were offered regular small group learning, they expressed the importance of a ‘safe’ and ‘non-judgemental’ setting to enable them to express their feelings and reflect critically on their thoughts and assumptions.49, 53, 58, 70, 77, 80, 92, 96, 98

CIMOc 7: [경청과 공감]을 치료적 가치로 평가
CIMOc 7: Value listening and empathy as therapeutic

CIMOc 8: [건강을 전체론적인 것으로 이해]하고 [진료의 개인화]를 가치 있게 생각합니다.
CIMOc 8: Understand health as holistic and value personalisation of care

CIMOc 9: [자기 인식의 중요성] 이해
CIMOc 9: Understand the importance of self-awareness

소규모 그룹에 대한 일부 개입은 특히 마음챙김과 같은 [특정한 자기 인식 훈련 기술]을 포함했고, 이것들은 학습자들이 그들의 감정과 생각을 더 잘 인지하고 그것들을 다루기 위한 전략을 제공하는 데 도움을 주었다. 

4 토론
4 DISCUSSION

4.1 조사결과 요약
4.1 Summary of findings

우리의 현실주의 검토는 사람 중심성 개발을 목표로 하는 계획된 의료 교육 프로그램이 어떻게, 왜, 그리고 어떤 상황에서 성공하는지 답하기 위해 시작되었다. 우리는 이 리뷰를 개별 학습자의 수준에서 위치시키고, 사람 중심성을 관점으로 개념화했으며, 생물의학적 관점으로 기울어진 학습자의 반응에 리뷰를 집중했다. 의료 교육은 의료 종사자들에게 사람 중심성을 개발하는 것이 어렵다는 것을 널리 관찰되어 왔다. 우리의 검토에 대한 설명은 이 문제에 대한 이해를 심화시키고 향후 실무에 대한 새로운 해결책을 제공한다. 우리의 [정제된 프로그램 이론]은 학습자가 사람 중심성을 향하도록 도울 수 있는 두 가지 주요 개입 전략을 발견했다. 

• 의미 있는 경험에 적용되는 사람 중심 이론과
  
• 학습자가 기존의 의미 프레임워크에 도전하는 데 필요한 감정적 작업과 비판적 반성을 할 수 있도록 지원하는 소규모 그룹 환경

Our realist review set out to answer how, why and in what circumstances planned medical education programmes that aim to develop person-centredness are successful or not. We located this review at the level of individual learner, conceptualised person-centredness as a perspective and focused our review on the responses of learners who leaned towards a biomedical perspective. It has been widely observed that medical education has found it challenging to develop person-centredness in health care practitioners.4-10 The explanations in our review deepen our understanding of this problem and offer new solutions for future practice. Our refined programme theory found two main interventional strategies that can help learners towards person-centredness:

• person-centred theory applied to meaningful experiences and
• small group environments that support learners to do the emotional work and critical reflection needed to challenge existing meaning frameworks.

4.2 의미 있는 경험에 적용되는 사람 중심 이론
4.2 Person-centred theory applied to meaningful experiences

우리의 합성은 [적용된 사람 중심 이론]의 핵심적 역할, 즉 임상 실습에 대한 사람 중심 접근법에 대한 개념적이고 증거적인 근거를 발견했다. 사람 중심 이론의 역할은 교육 개입이 어떻게 실패했는지와 그들이 사람 중심성을 개발하는 데 어떻게 성공했는지에 대한 설명에서 강조되었다. 이전의 연구들은 [객관적인 사실]을 더 높게 평가하는 [의학교육의 지식 위계]가 학습자의 [사람 중심성 발달을 저해한다는 것]을 보여주었다. 학습자의 가치와 전문적인 역할 이해는 학습에 대한 참여를 가이드하는 것으로 나타났으며, [생물의학 중심적 관점]을 강하게 가지고 있을수록 사람 중심 학습에 대한 참여도가 떨어지는 것과 관련이 있다. 또한 사람 중심의 기술 훈련이 태도의 변화 없이 특정 행동을 사용하는 임상의의 증가로 이어질 수 있다는 것이 관찰되었다. 우리의 연구 결과는 [사람 중심 이론의 학습이 부족함]으로 인해 [어떻게 지식 및 역할에 대한 기존 관점과 불일치가 발생하는지]를 설명함으로써, 이러한 연구에서 학습을 확장한다. 우리의 발견은 학습자들이 기존 지식의 토대 위에서 어떻게 새로운 지식을 구성하는지 설명하는 [구성주의 학습 이론]과 일치한다. 
Our synthesis found a key role for applied person-centred theory: the conceptual and evidential rationale for a person-centred approach to clinical practice. The role of person-centred theory was highlighted in explanations for both how educational interventions failed and how they succeeded in developing person-centredness. Previous studies have shown that a knowledge hierarchy in medical education, where objective facts are more highly valued, undermines the development of person-centredness in learners.100, 101 Learners' values and professional role understanding has been shown to guide their engagement with learning, with more biomedical perspectives associated with poorer engagement with person-centred learning.102, 103 It has also been observed that person-centred skills training can lead to an increase in clinicians using certain behaviours without a change in their attitudes.47, 104 Our findings extend the learning from these studies by explaining how a lack of person-centred theory in learning creates dissonance with existing perspectives on knowledge and role which either results in learners minimising the importance of such learning or incorporating learning into existing meaning perspectives. Our findings are in line with constructivist learning theories, which explain how learners construct new knowledge on the foundations of existing knowledge.105

우리의 결과는 또한 사람 중심 이론이 [전문직업적 행위에 대한 이해]와 어떻게 관련이 있는지를 보여준다. 이전의 연구들은 의대생들과 의사들이 고통을 피하기 위한 전략으로 [감정적 분리]를 사용하는 것을 묘사했다. 우리의 결과는 [사람 중심 이론의 적용을 제공하지 않는 개입]은 [역할에 대한 생물의학적 이해(질병 관리)와 전문성(감정적 분리)의 불일치]로 이어질 수 있고, 그 결과로 [학습자가 명확한 생물의학적 역할을 인식하지 못하는 상황을 회피하게 된다]는 것을 보여주었다. 우리의 연구 결과는 또한 사람중심 이론의 적용이 어떻게 학습자가 생물의학 전문지식이 제한된 상황에서 환자를 지원하는 역할을 수용하는 데 도움이 될 수 있는지 설명하며, 이는 학습자가 전문적인 역할에 대한 확장된 이해를 개발하는 데 도움이 된다.

Our results also show how person-centred theory is relevant to an understanding of professional conduct. Previous studies have described medical students and doctors using emotional detachment as a strategy to avoid distress.106, 107 Our results showed that interventions that do not offer applied person-centred theory may lead to dissonance with a biomedical understanding of role (disease management) and professionalism (emotional detachment) and thus to an avoidance of situations where learners do not perceive a clear biomedical role. Our findings also explain how applied person-centred theory can help learners embrace their role in supporting patients in situations where their biomedical expertise is of limited use, by helping them develop an expanded understanding of professional role.

캐나다의 16개 의과대학 커리큘럼에 대한 최근 연구는 [학습자들이 사람 중심의 개념에 대한 교육을 받고 있는지에 대해 의문]을 제기했다. 의학 교육에서 [명확한 사람 중심 이론의 부족]은 [왜 학생과 의사 모두가 사람 중심성에 대해 피상적이고 불명확한 이해를 가지고 있는지]를 보여주는 연구들을 설명하는데 도움이 될 수 있다. 학습자는 사람 중심의 실천을 [학문적 및 정책 논문에 설명된 패러다임적 실천의 변화]와 대조적으로, '암묵적'이고 '(말하지 않아도) 당연한' 것으로 간주할 수 있다. [사람 중심성에 대한 피상적인 이해]는 [스스로는 사람 중심이라는 임상의의 믿음]과 [(실제로는 그렇지 않은) 임상적 행위] 사이에서 관찰되는 차이를 설명할 수 있다.

A recent study of 16 medical schools curricula in Canada questioned if learners are receiving teaching on person-centred concepts.108 A lack of explicit person-centred theory in medical education may help to explain why studies have shown that both students and doctors hold superficial and unclear understandings of person-centredness.109, 110 Learners may regard person-centred practice as ‘implicit’ and ‘obvious’109 in contrast to a paradigmatic shift in practice described in academic and policy papers.15-17, 20, 27, 111, 112 Superficial understandings of person-centredness may explain the gap observed between clinicians' belief that they are person-centred and their clinical practice.110 

또한 학습자의 사람 중심성을 측정하기 위해 검증된 척도를 사용하는 연구는 '공유sharing'에 비해 '돌봄caring'에서 더 높은 점수를 일관되게 보여준다.

• '돌봄caring'은 자신의 역할을 여전히 '도와주는' 것으로 보는 생물의학적 관점에 더 쉽게 통합될 수 있는 반면,
• '공유sharing'는 환자와의 편의적이고 협력적인 접근방식을 필요로 하는 '함께 일하는'로 관점을 전환이다.

사람 중심의 실천 이론에 대한 명확한 개념적 틀과 증거적 근거가 없으면 학습자는 사람 중심의 전문 실천에 전념하기 어려울 수 있다.
Furthermore, studies that use validated scales to attempt to measure learners' person-centredness consistently show higher scores in ‘caring’ compared to the ‘sharing’.4, 24 

• It may be that ‘caring’ is more easily integrated into a biomedical perspective where one still sees one's role as ‘doing for’,
• whereas ‘sharing’ involves a shift in perspective to ‘working with’ which requires a facilitative, partnership approach with patients.113, 114 

Without an explicit conceptual framework and evidential rationale for the theory of person-centred practice,21 it may hard for learners to commit to person-centred professional practice.

우리의 결과는 [사람 중심 이론이 의미 있는 경험에 적용]될 때, 이것은 사람 중심 이론이 임상 실습에 대한 관련성에 대한 이해를 촉발시켰다는 것을 보여주었다. 의미 있는 경험에는 다음이 포함된다.

• 실제 환자 이야기를 접하는 것,
• 일정 시간에 걸쳐 환자를 사람으로 알아가는 기회,
• 환자 치료에 있어 적극적인 사람 중심 역할을 할 수 있는 기회 

Our results showed that when person-centred theory was applied to meaningful experiences, this triggered an understanding of the relevance of person-centredness to clinical practice. Meaningful experiences included

• engaging with real patient stories,
• opportunities to get to know patients as people over time, as well as
• opportunities to take an active person-centred role in their care.

우리의 연구 결과는 환자의 [질병 궤적에 전체에 대한 접근]이 환자 중심성에 대한 학습에 중요한 맥락이라는 것을 보여준 최근의 현실주의 검토와 일치한다. 우리의 연구 결과는 또한 [환자-교육자]의 증가와, [환자를 돌볼 수 있는 적극적인 기회]를 요구하는 문헌을 지지한다. 우리의 결과는 이러한 임상 배치가 의미 있는 경험을 위한 자원으로 어떻게 작용할 수 있는지를 강조함으로써 사람 중심성을 강화하기 위해 입증된 교육 접근법인 LIC에 대한 문헌에 대한 이해를 넓히는 데 도움이 된다.

Our findings fit with a recent realist review that showed that access to patients' whole illness trajectories was an important context for learning about patient-centredness.101 Our findings also support literature that calls for an increase in patient-educators115 and active opportunities to care for patients.116 Our results help to extend an understanding of the literature on LICs, an educational approach that has been demonstrated to enhance person-centredness,11, 12 by highlighting how these clinical placements may act as a resource for meaningful experiences.

4.3 센스 메이킹 지원
4.3 Support for sense making

학습자가 [자신의 감정을 처리]하고, [(부조화를 포함한) 학습에 대한 반응을 비판적으로 성찰할 수 있는 기회]를 통해 [새로운 의미 프레임워크와 자아 인식을 개발]할 수 있었다. 도비는 학습자들이 [자기 인식과 자기 지식]이 [사람 중심의 실천에 중요하다는 사실]을 놓칠 수 있다고 주장해왔다. 그녀는 자기인식을 기르는 데 필요한 정서적 업무와 비판적 성찰을 지원하는 교육이 의료교육 커리큘럼 개혁의 토대가 될 것을 요구해왔다. 보다 최근에, 사람 중심의 관행을 강화하기 위해 의료 교육에 대화형 학습을 통합하는 것이 제안되었다. 대화형 학습은 교사와 학습자가 비위계적 환경에서 만나 환자 경험을 반영할 수 있는 정기적인 기회를 포함한다. 광범위한 건강 관리 맥락에서, 다학제 팀에게 임상 실습에 대한 감정 및 인지 반응을 처리할 수 있는 기회를 제공하는 [슈워츠 라운드]는 사람 중심의 태도를 지지하는 것으로 나타났다. 
The opportunity for learners to process their emotions and critically reflect on their responses to learning, including dissonance, allowed them to develop new meaning frameworks and self-awareness. Dobie has argued that learners can miss the fact that self-awareness and self-knowledge are crucial to person-centred practice.117 She has called for education that supports the emotional work and critical reflection needed to develop self-awareness to be the foundation for medical educational curricular reform. More recently, incorporation of dialogic learning into medical education has been proposed to enhance person-centred practice.118 Dialogic learning involves regular opportunities for teachers and learners to meet in non-hierarchical settings to reflect on patient experiences. In the wider health care context, Schwartz rounds, which provide multidisciplinary teams the opportunity to process their emotional and cognitive responses to clinical practice, have been shown to support person-centred attitudes.119

[센스 메이킹]을 가장 지원할 가능성이 높은 개입의 특징은, [학습자와 그룹 퍼실리테이터의 관계적 연속성을 가진 정기적인 소규모 그룹]이었다. 이러한 연속성은 참가자들이 자신의 감정을 표현하고, 정직한 평가에 참여하고, 가정에 도전할 수 있을 만큼 충분히 안전하다고 느낄 수 있도록 하는 [신뢰 관계를 발전]시킬 수 있게 했다. 이러한 조건은 우리의 발견에 설명력을 추가하는 [변혁적 학습]을 촉진하는 것으로 알려진 조건을 반영한다. [변혁적 학습 이론]은 성인 학습자가 기존의 의미 체계를 바꾸려면, [자신의 가치, 의미, 목적을 비판적으로 성찰할 수 있는 지원]이 필요하다고 말한다.  우리의 리뷰에서, 우리는 비판적 성찰과 감정 처리가 함께 이루어졌다는 것을 발견했고, 이것은 비판적 성찰의 능력이 감정을 처리하는 능력에 따라 달라질 수 있다는 것을 보여주는 변혁적 학습 육성에 대한 최근의 연구에서 뒷받침된다. 

The characteristics of interventions most likely to support sense making were regular small groups with relational continuity of learners and group facilitator. This continuity allowed relationships of trust to develop which enabled participants to feel safe enough to express their emotions, engage in honest appraisal and challenge their assumptions. These conditions mirror those known to foster transformative learning, which adds explanatory power to our findings.120 Transformative learning theory states that for adult learners to change their existing meaning framework, they need support to critically reflect on their values, meanings and purposes.121 In our review, we found that critical reflection and emotional processing took place together and this is supported by more recent work on fostering transformative learning which shows that the capacity for critical reflection may depend on the ability to process emotions.122

4.4 전체 커리큘럼에 대한 교육 개입의 관계
4.4 Relationship of educational interventions to whole curriculum

우리의 검토는 [커리큘럼의 더 넓은 초점과 일치]한다고 여겨질 수 있는 [사람 중심의 개입]을 발견하지 못했다. 의미 있는 경험에 이론을 적용하고 센스 메이킹을 지원하는 것을 포함하여, [모든 개입은 커리큘럼의 생의학적 초점과 상충되는 것]이었고, 일부 학습자들이 [향후 임상 실습에 대한 학습의 중요성을 최소화]하도록 이끌었다. [인식론적 부조화]의 중요성을 인식하였기에, 우리는 [사람 중심의 실천]을 지원하기 위한 [전체 커리큘럼 접근방식]의 강화를 요구한다.
Our review did not find any person-centred interventions that were perceived to be in line with the wider focus of the curriculum. All interventions, including those that applied theory to meaningful experiences and support for sense making, were perceived to be at odds with the biomedical focus of the curriculum and led some learners to minimise the importance of the learning for their future clinical practice. Our recognition of the importance of epistemological dissonance reinforces calls for a whole curriculum approach to support person-centred practice.123

4.5 장점과 한계
4.5 Strengths and limitations

가치관, 태도 및 신념에 의해 정보에 입각한 참여자 관점의 수준에 위치한 사람 중심성에 우리의 리뷰를 집중함으로써, 우리는 의료 교육이 왜 사람 중심주의의 증가로 이어지지 않았는지, 그리고 이것에 대해 결정적으로 무엇을 할 수 있는지에 대한 이해의 차이를 해결하는 데 도움을 줄 수 있었다. 현실주의 접근 방식을 사용하여, 우리는 학습자의 관점과 중재적 구성 요소의 상호 작용으로 촉발되는 메커니즘을 추론할 수 있었다. 우리의 검토는 계획된 커리큘럼에 초점을 맞추기로 결정함으로써 정책 입안자들에게 사람 중심의 의사 개발을 지원하기 위한 개입을 개발하고 테스트하는 데 사용할 수 있는 실용적인 발견을 제공한다.

By focusing our review on person-centredness, which sits at the level of participant perspective, informed by values, attitudes and beliefs, we have been able to help address the gap in understanding around why medical education has not led to an increase in person-centeredness and crucially what can be done about this. By using a realist approach, we have been able to infer the mechanisms that are triggered by the interaction of interventional components with learner perspectives. By choosing to focus our review on the planned curriculum, our review offers policymakers pragmatic findings that can be used to develop and test interventions to support the development of person-centred doctors.

우리의 연구 결과에는 몇 가지 한계가 있다. 몇 가지 개입을 제외하고, 대부분의 논문은 참가자의 관점의 단기 변화에 대한 데이터를 제공했다. 이 검토는 사람 중심의 관점으로의 장기적 전환과 이를 지원하는 방법에 대한 증거를 뒷받침하는 문헌의 차이를 식별한다. 우리의 연구는 인간 중심성 개발을 목표로 하는 계획된 개입에 초점을 맞추었고, 인간 중심성 개발에 영향을 미칠 수 있는 평가와 같은 광범위한 교육 관행을 포함하지 않았다. 또한, 우리의 연구는 학습자의 관점이 어떻게 형성되었는지에 대해 의문을 제기했고, 사람 중심 접근법의 정규화와 실행에 대한 의료 제공의 영향을 검토하기 위해 향후 작업이 필요하다. 마지막으로, 의료 교육의 상당한 비율은 의료의 더 넓은 맥락에서 발생하며, 계획된 의료 교육은 이러한 상황을 형성하는 데 제한적인 영향을 미친다. 따라서, 우리의 연구 결과는 사람 중심의 의사의 발전을 어떻게 지원할 것인가라는 더 큰 질문에 대한 부분적인 대답일 뿐이다.

There are several limitations to our research findings. Apart from a few interventions,40, 53, 58, 91 most papers offered data on short-term changes in participant perspectives. This review identifies a gap in the literature supporting evidence about longer term transformation towards a person-centred perspective and how to support this. Our research focused on planned interventions that aimed to develop person-centredness and did not include wider educational practices, such as assessment, which may impact the development of person-centredness. Also, our research did interrogate how learner perspectives were formed, and future work is needed to examine the influence of health care delivery on the normalisation and practice of a person-centred approach. Finally, a significant proportion of medical education takes place in the wider context of health care, and planned medical education has a limited influence in shaping this context. Therefore, our findings are only a partial answer to the larger question of how to support the development of person-centred doctors.

4.6 교육실무에 대한 시사점
4.6 Implications for educational practice

우리의 연구 결과는 [왜 기술 기반 접근법이 의사들의 인간 중심성 개발을 지원하기에 충분하지 않을 수 있는지]를 설명한다. 구성주의 학습 이론에 따라, 우리의 리뷰는 [교육 개입이 학습자의 기존 의미 관점과 상호 작용한다는 것]을 발견했다. 따라서, 생물의학에서 임상 실습으로 더 사람 중심의 접근으로 전환하기 위해, 의대생과 의사들은 [사람 중심의 실천이 왜 건강에 중요한지]를 이해할 필요가 있다. 이것은 [사람 중심 이론에 대한 명시적 학습]과 [의미 있는 경험을 통해 임상 실습에서 그것의 관련성을 경험할 기회]를 통합함으로써 달성될 수 있다.
Our findings explain why a skills-based approach may be insufficient to support the development of person-centredness in doctors. In line with constructivist learning theory, our review finds that educational interventions interact with learners' existing meaning perspectives. Therefore, in order shift from a biomedical to a more person-centred approach to clinical practice, medical students and doctors need to understand why person-centred practice matters to health. This may be achieved by integrating explicit learning on the theory of person-centeredness with opportunities to experience its relevance in clinical practice through meaningful experiences.

교육적 접근법은 또한 [관점 변환에 필요한 감정적 작업을 인식하고 다룰 필요]가 있다. [감정을 처리하고, 반응에 대해 비판적으로 성찰할 수 있는 정기적인 기회]는 사람 중심으로의 관점을 바꿀 수 있는 새로운 의미 프레임워크의 생성을 지원한다. 동료와 촉진자의 연속성과 함께 정기적인 소규모 그룹 학습이 커리큘럼 전체에 통합될 필요가 있다. 마지막으로, 사람 중심성 개발을 최적화하기 위해 이러한 구성 요소는 교육학 및 전체 커리큘럼 수준에서 통합되어야 한다.

Educational approaches also need to recognise and address the emotional work needed for perspective transformation. Regular opportunities to process emotions and critically reflect on responses support the creation of new meaning frameworks that enable a shift in perspective towards person-centredness. Regular, supportive small group learning, with continuity of peers and facilitators, needs to be integrated throughout the curriculum. Finally, to optimise the development of person-centredness, these components need to be integrated at both pedagogical and whole curricular level.

4.7 연구에 대한 시사점
4.7 Implications for research

우리의 현실주의 검토는 의료 교육 환경에서 효과적일 수 있는 증거 기반 전략에 대한 통찰력을 제공하며, 우리의 정제된 프로그램 이론은 의료 교육자와 정책 입안자들이 실제로 구현할 수 있는 검증 가능한 이론을 제공한다. 추가 연구는 실제로 교육 모델을 개발하고 평가하기 위해 경험적인 작업을 통해 우리의 이론을 테스트하고 다듬어야 한다. 특히, 우리는 프로그램 이론의 구현이 [실천에서 지속적인 사람 중심성으로 이어질 수 있는지에 대한 평가]를 요구한다.

Our realist review provides insights into evidence-based strategies that may be effective in medical education settings, and our refined programme theory offers a testable theory for medical educators and policymakers to implement in practice. Further research should test and refine our theory through empirical work to develop and evaluate educational models in practice. In particular, we call for evaluation of whether implementation of our programme theory can lead to persistent person-centredness in practice. 

실천에 대한 사람 중심성의 관련성을 이해하는 것은 [자기 결정 이론의 자율적 동기의 개념]과 밀접하게 일치한다. 자율적 동기 부여는 학습자가 활동의 가치를 이해하고 그것이 자신의 감각과 일치할 때 발전하며, 몇 가지 경험적 연구는 [자율적 동기 부여]가 [활동의 지속성]과 매우 관련이 있다는 것을 보여주었다. 적용된 사람 중심 이론이 사람 중심 접근법에 대한 지속적인 변화를 지원할 수 있는지 여부를 테스트하기 위한 종단적 연구는 향후 연구에 귀중한 영역이 될 것이다. 게다가, 비록 우리의 검토의 초점이 의대생과 의사들에 집중되었지만, 우리의 연구 결과는 다른 건강 직업들과 관련이 있을 수 있다.

Understanding the relevance of person-centredness to practice is closely aligned with the concept of autonomous motivation in self-determination theory.124 Autonomous motivation develops when learners understand the value of an activity and it aligns with their sense of self, and several empirical studies have shown that autonomous motivation is highly related to persistence of an activity.125, 126 Longitudinal studies to test if applied person-centred theory can support a sustained change towards person-centred approaches would be a valuable area for future research. Furthermore, although the focus of our review was on medical students and doctors, our findings may be relevant to other health professions.

5 결론
5 CONCLUSION

우리의 연구 결과는 [커뮤니케이션 기술 기반 교육 전략이 사람 중심성을 개발하기에 충분하지 않을 수 있는 이유]에 대한 설명을 제공한다. 사람 중심의 경험을 [사람 중심의 경험이 왜 중요한지에 대한 이론]과 통합하고, [센스 메이킹을 지원할 수 있게 하는 것]은 [사람 중심의 경험을 위한 관점적 전환]을 지원할 수 있다. 우리의 연구 결과는 사람 중심성을 지원하는 것을 목표로 하는 의료 교육 전략의 개발에 inform하기 위한 프로그램 및 정책 입안자에게 테스트 가능한 이론을 제공한다.

Our findings offer explanations as to why communication skills-based educational strategies may be insufficient to develop person-centredness. Integrating person-centred experiences with theory on why person-centredness matters, and enabling support for sense making, may support perspective transformation towards person-centredness. Our findings offer programme and policymakers testable theory to inform the development of medical education strategies that aim to support person-centredness.

Med Educ. 2022 May;56(5):489-503. doi: 10.1111/medu.14707. Epub 2021 Dec 22.

Optimising planned medical education strategies to develop learners' person-centredness: A realist review

PMID: 34842290

DOI: 10.1111/medu.14707

Free article

© 2021 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

성찰적 실천으로서 감정: 피드백 실천과 연구를 위한 새로운 담론(Med Educ, 2022)
Emotion as reflexive practice: A new discourse for feedback practice and research
Rola Ajjawi1 | Rebecca E. Olson2 | Nancy McNaughton3

1 소개
1 INTRODUCTION

이상적으로 보건 직업의 학생들은 학부 직원, 임상 교육자, 동료 및 환자로부터 받은 피드백 정보를 비판적으로 평가하고 이에 따라 행동할 수 있는 능력을 개발한다. 이것은 전문가와 평생 학습자로 발전하는 데 중심적이다. 의학이나 건강관리와 마찬가지로 [피드백은 감정으로 가득 찬 행위]이다: 주어진 맥락에서 [자신의 감각]과 [자신의 지위]에 관련된 감정으로 가득 차 있다. 보건 전문 교육 연구는 피드백 문헌에서 감정의 위치를 비판적으로 조사하지 않았다. 우리는 이 관계를 새롭게 보는 것이 실무자와 연구자들이 생산적인 방식으로 감정을 설명하도록 안내해야 한다고 제안한다.
Ideally, students of health professions develop capabilities to critically evaluate and act on the feedback information they receive from academic staff, clinical educators, peers and patients. This is central to developing as professionals and lifelong learners. Like medicine and health care more broadly, feedback is a practice imbued with emotion: saturated with feelings relevant to one's sense of self and one's status within a given context. Health professions education research has not critically investigated the positioning of emotions in the feedback literature. We suggest that looking anew at this relationship should guide practitioners and researchers to account for emotions in productive ways.

피드백 문헌은 광범위한데, 많은 개념화와 실천이 있다. 그러나 이 문헌의 공통점은 [피드백이 정보 전달, 프로세스 또는 공동 구성으로 개념화되었는지 여부에 관계없이], [피드백이 학습으로 이어진다는 것]이다. 문헌을 대충 훑어보는 것만으로도 피드백 관행 내의 감정은 다르게 본다는 것을 강조한다. 간단한 선형 반응부터 피해야 할 피드백 정보, 주의할 상태, 학습자가 자신의 감정을 인식하고 작업할 수 있도록 돕는 감정적 프롬프트에 이르기까지 연속체를 따라 설명된다. 부정적인 감정의 관점에서 피드백의 유산은 수년 동안 지속될 수 있다.
The feedback literature is extensive, with many conceptualisations and practices. Common to this literature, though, is an intention that feedback leads to learning, regardless of whether feedback is conceptualised as information transmission,1 a process2 or co-construction.3 Even a cursory glance at the literature highlights that emotions within feedback practices are viewed differently. They are described as ranging along a continuum

• from simple linear reactions to feedback information to be avoided,4 
• to states to be mindful of,5 
• to affective prompts helping learners recognise and work with their feelings.6 

The legacy of feedback in terms of negative emotions can last for many years.7, 8

[긍정적인 학습 환경을 조성]하고 [방어적인 학습자 반응의 가능성을 줄이기] 위해 다양한 피드백 모델이 긍정과 부정의 동등한 코멘트를 기반으로 한다.9 긍정과 부정의 균형을 넘어, 다른 사람들은 피드백 '제공자'가 학습자의 '심리적 면역 반응'의 활성화를 감소시키려면, 사람보다는 [과제나 과정에 의견을 집중해야 한다]고 권고한다. 그러나, 다른 사람들은 성과에 대한 피드백이 항상 자신을 향한다고 지적하며, '피드백 프로세스에 [학습자를 참여시키는 것]이 감정적 반응을 이끌어내기 위한 피드백 상호작용의 가능성을 협상하는 가장 건강한 방법일 수 있다.'라고 말한다. 여기서 피드백 리터러시의 개념이 작동한다.

Various feedback models are predicated on an equal balance of positive and negative comments in order to create positive learning environments and to reduce the likelihood of defensive learner reactions.9 Beyond a balance of positive and negative, others recommend that feedback ‘givers’ should focus their comments on tasks or processes, rather than the person10 to reduce activation of a learner's ‘psychological immune response’.11 However, others note that feedback about performance is always oriented towards the self and so ‘involving the learner in feedback processes may be the healthiest way to negotiate the potential for feedback interactions to elicit emotional responses’2 (p. 38). This is where feedback literacy comes in.

1.1 피드백 리터러시
1.1 Feedback literacy

[피드백 리터러시]는 '정보를 이해하고, 정보를 업무 또는 학습 전략을 강화하기 위해 사용하는 데 필요한, 이해, 역량 및 성향'으로 정의된다. 간단히 말해서, 그것은 '피드백을 최대치로 활용하기'에 관한 것이다. 피드백 리터러시의 네 가지 요소는 다음과 같다.

• 피드백 평가하기,
• 판단 내리기,
• 감정 관리하기,
• 행동 취하기

Feedback literacy is defined as the ‘understandings, capacities and dispositions needed to make sense of information and use it to enhance work or learning strategies’12 (p. 1316). In short, it is about ‘making the most of feedback’.13 Four components of feedback literacy are

• appreciating feedback,
• making judgements,
• managing emotions and
• taking action.

이 개념은 의학 교육 문헌에서 비교적 짧은 기간 동안 인기를 끌었으며, 학자들은 공식적인 피드백 대화와 지저분한 병원 환경을 위해 피드백 리터러시 프로그램을 개발해야 한다고 주장한다. 불행하게도, 피드백 리터러시는 감정은 [피드백 획득에 대한 위협]이기에, [예상되고 관리되어야 하는 것]으로 포장한다. 그렇게 함으로써, 학습자들은 정서적 취약성의 입장에 서게 되는 반면, '학교는 학생의 정서적 트라우마를 가중시킬까 봐 학습자들에게 도전하는 것challening을 단념한다'. 이러한 [감정의 병리화]는 분명히 (그것의 '사라짐'을 포함하여) 피드백에 해로울 수 있다. 피드백 효과의 중재자로서 피드백 리터러시에 대한 관심이 높아짐에 따라, 우리는 감정과 형성 실천에 대한 잠재력에 대한 보다 광범위한 관점을 제공하기 위해 [피드백에 대한 감정]의 위치를 체계적으로 분석하는 것이 시기적절해 보인다.

This concept has become popular in a relatively short timeframe in medical education literature, with scholars calling for feedback literacy programmes to be developed for formal feedback conversations14 and messy hospital settings.15, 16 Unfortunately, feedback literacy casts emotions as a threat to feedback uptake that needs to be anticipated and managed.12, 17 In so doing, learners are socialised into a position of emotional vulnerability whilst ‘academics are dissuaded from challenging learners for fear of adding to their emotional traumas’18 (p. 36). This pathologising of emotions can clearly be detrimental to feedback including its ‘vanishing’.4 Given the increased interest in feedback literacy as a mediator of feedback effectiveness, it seems timely that we systematically analyse the positioning of emotion relative to feedback to offer a more expansive perspective on emotions and their potential for shaping practice.

1.2 감정
1.2 Emotion

매노턴은 의학 교육 문학에 대한 그녀의 중요한 푸코우스의 담론 분석 논문에서 다음과 같은 세 가지 감정의 핵심 담론을 확인하였다.

• 생리적(EP; 감정은 신체 내부에 위치한다), 
  
• 기술(ES; 인지 능력으로서의 감정)
  
• 사회문화(ESCM; 사회적, 정치적, 문화적 중재자로서의 감정) 

In her seminal Foucauldian discourse analysis paper of medical education literature, McNaughton19 identified three key discourses of emotion:

• physiological (EP; emotion is located inside the body),
• skill (ES; emotion as cognitive competence) and
• sociocultural (ESCM; emotion as a social, political and cultural mediator).

그녀는 이렇게 썼다. '감정은 이 각각의 담론에 뚜렷하게 구성되어 있다; 그러나 그들은 서로로부터 고립되어 있지 않다.' McNaughton은 문헌에서 감정이 어떻게 '작동'되는지를 연구하는 것은 문제가 되는 관행을 재현하는 보이지 않는 감정 체계를 눈에 띄게 만든다고 주장했다. 담론은 '(사람들이) 말하는 대상을 체계적으로 형성하는 관행'으로 정의될 수 있다. 다시 말해서, 담론은 단순히 지식의 표현representation이 아니다. 담론은 능동적active이며, 사람들과 사회를 구성한다. 그러므로 담론의 '일work'에 대해 말하는 것은, [앎의 방법]과 [존재의 방법]을 생산하는데 있어서 담론의 사회적 중요성을 이해하는 것이다. 또한 담론은 숨겨지고, 경쟁하고, 모순될 수 있다.

She writes, ‘emotion is constituted distinctly in each of these discourses; however, they are not isolated from one another’ (p. 78). McNaughton argued that researching how emotions are ‘put to work’ in the literature makes visible the invisible emotion schemas that reproduce problematic practices. Discourse can be defined as ‘practices that systematically form the objects of which they speak’20 (p. 49). In other words, discourses are not mere representations of knowledge; they are active and constitutive of people and society. Therefore, to talk of the ‘work’ of discourses, is to seek to understand their social significance in producing ways of knowing and being, and these may be hidden, competing and contradictory.

건강 전문 교육을 넘어선 문헌에서는 감정을 [반사적 실천(ERP)]으로 보는 담론도 있다. 올슨 외 연구진은 [감정적 성찰성]을 '감정에 의지하여 잠재적으로 독특한 경로를 그리는 과정'으로 묘사하며, 감정적으로나 관계적으로 세계를 관통하는 우리의 길을 만든다. 이 담론이 피드백에서 잠재적으로 우리를 attune하는 것은 [학습자가 자신의 목표와 훈련 프로그램의 목표 사이에서 학습 경로를 탐색하기 위해, 자신과 슈퍼바이저의 감정을 어떻게 해석하고 반응할 수 있는가] 하는 것이다. 이 네 개의 담론은 감정 담론의 범위와 서로 다른 담론이 하는 일(가능하거나 불가능하게 만드는 것)을 검토하는 것을 목표로 한 우리의 비판적 검토의 배경을 형성했다. 우리는 다음을 묻는다.

• 피드백 문헌에서 감정 담화는 어떻게 표현되는가?
• 이러한 감정 담론을 뒷받침하는 가정이 피드백의 개념화를 어떻게 형성하는가?

Literature beyond health professions education introduces other discourses including emotion as reflexive practice (ERP). Olson et al.21 describe emotional reflexivity as ‘a process of drawing on emotions to, potentially, chart a unique path’ (p. 2), thus making our way emotionally and relationally through the world. What this discourse potentially attunes us to in feedback is how a learner might interpret and respond to their own and their supervisors' emotions to navigate a path of learning between their own goals and those of a training programme. These four discourses formed the backdrop of our critical review, in which we aimed to examine the range of discourses of emotion and the work the different discourses do (what it makes possible or not possible) to open new agendas for thinking about and researching emotion in feedback. We asked:

2 방법
2 METHODS

우리는 상위 3대 의학 교육 저널에서 피드백과 감정 문헌에 대한 비판적인 검토를 실시했다. 비판적 검토는 '이전 작업으로부터 어떤 가치가 있는지를 재고하고 평가할 수 있는 기회를 제공한다'. 최고의 저널로서, 우리는 그것들이 그 분야에서 피드백과 감정 사이의 관계에 대해 받아들여지고 따라서 연습에 가장 큰 영향을 미친다고 인정된 아이디어를 나타낸다고 판단했다.
We conducted a critical review of feedback and emotion literature in the top three dominant medical education journals. A critical review ‘provides an opportunity to take stock and evaluate what is of value from the previous body of work’22 (p. 93). As the top journals, we judged that they represent what is acknowledged to be accepted ideas about the relationship between feedback and emotion in the field and therefore the most influential for practice.

2.1 검색
2.1 The search

[비판적 문헌고찰]는 비판하고 분야를 확장하기 위한 출발점으로 작용한다. 따라서, 비판적 문헌고찰에서는 완전하거나 체계적인 것을 의도하는 것이 아니라, 가장 중요한 항목을 식별하려고 하며, 이는 '목적적'이라고 묘사될 수도 있다. 따라서 영향요인에 따라 등급별로 나열된 '교육, 과학 분야'의 학술지를 바탕으로 학술의학, 의학교육, 보건과학 교육의 발전 등 3대 학술지를 수작업으로 검색했다.
Critical reviews act as a launching point for critiquing and expanding a field. Thus, they are not meant to be exhaustive or systematic, instead they seek to identify the most significant items in the field, also described as purposive.23 Hence, based on journals in ‘Education, Scientific Disciplines’ listed by rank according to impact factor, we manually searched the top three journals: Academic Medicine, Medical Education and Advances in Health Sciences Education.

검색어에는 변형이 없는 '피드백'과 '감성'이 포함되었다. 피드백은 논문에서 다양하게 정의되었지만, 피드백이 학습으로 이어질 것이라는 의도는 공통적이었다. 검색이 완료된 2013년 1월부터 2020년 5월까지 실증연구 논문을 포함했다. 우리는 McNaughton의 중요한 논문이 발표되었을 때이기 때문에 2013년을 선택했는데, 이 날짜 이후에 해당 분야의 감정 담론에 대한 모든 효과가 나타날 수 있다는 추론을 했다. 우리는 의견, 사설, 논평, 편집자에게 보내는 편지, 그리고 피드백 및 감정에만 대충 주의를 기울이는 연구를 제외했다. 피드백과 감정 모두에 초점을 맞춘 경험적 논문은 다른 출판 방식과 비교하여 관련 연설을 결정하는 심층 프레젠테이션을 제공할 가능성이 가장 높았다. 우리는 각 포함 항목의 개념적 기여가 비판적 검토의 초점이기 때문에 포함 논문의 품질 평가를 실시하지 않았습니다.

The search terms included ‘feedback’ AND ‘emotion’ with no variants. Feedback was variously defined in the papers, but common was the intent that feedback would lead to learning. We included empirical research papers from January 2013 to May 2020 when the search was completed. We chose 2013 as this was when the seminal paper by McNaughton19 was published, reasoning that any effects on emotion discourses in the field might be seen following this date. We excluded opinion pieces, editorials, commentary, letters to the editor and studies that only gave cursory attention to feedback and/or emotion. Empirical papers focused on both feedback and emotion were most likely to offer a deep presentation from which to determine the relevant discourses, compared with other modes of publication. We did not conduct a quality assessment of included papers as the focus in critical reviews is the conceptual contribution of each included item.22

2.2 데이터 추출
2.2 Data extraction

두 명의 저자가 각 논문에서 데이터를 추출한 다음 세 명의 저자가 모두 논의하여 합의에 도달했다. 우리는 Olson과 Bialocerkowski가 사용하는 기존 데이터 추출 도구를 수정하고 각 기사에서 다음을 추출했다.

• 분야, 기관 및 위치를 포함한 저자 세부 사항
  
• 제목, 출판 연도, 저널 제목을 포함한 기사 내용
  
• 기사 방법론적 접근, 감정, 피드백 및 두 사람의 작업.
  
• 사용된 이론과 중요한 주장을 포함한 기사 기여

Data were extracted from each paper by two of the authors and then discussed by all three authors to reach consensus. We modified an existing data extraction tool used by Olson and Bialocerkowski24 and extracted the following from each article:

2.3 분석 골조
2.3 Analytical framing

비판적 담화 분석에 대한 Foucauldian 접근법은 우리의 비판적 검토에 대해 inform하였다. 푸코에게 담론은 언어, 말하는 방법, 그리고 말하는 것, 생각하는 것, 그리고 행동하는 것을 체계적으로 정리하는 실천을 말한다. 감정과 피드백을 연구하는 담론적 접근법은 '[사회적 관계를 통해 제도적 환경에서 역사적으로 형성된 단어뿐만 아니라, 실천으로서의 감정에 초점]을 맞춘다. 그리하여 담론은 [세계에 영향을 미치는 사회적 행동]의 형태로 조사될 수 있다.' 감정에 대한 생각은 건강 전문가 훈련에 중요한 의미를 가지며, 건강 전문가들이 말하고, 하고, 느끼는 것에 대한 규칙뿐만 아니라 학습과 평가의 커리큘럼 구조에 공식적으로 포함되어 있다. 
A Foucauldian approach25 to critical discourse analysis informed our critical review. For Foucault,20 discourse refers to language, ways of speaking and practices that systematically organise what is possible to say, think and do. A discursive approach to studying emotion and feedback ‘focuses on emotions as practices, as well as written words that are shaped historically in institutional settings through social relations. As such, discourses can be investigated as forms of social action that create effects in the world’19 (p. 72). Ideas about emotion have material implications for health professional training and are embedded (in)formally in curricular structures of learning and assessment, as well as in rules about what is possible for health professionals to say, do and feel.26

연구팀에는 피드백 연구자(RA), 감정 사회학 연구자(RO), 담론 전문가(NM)가 포함되었다. 우리는 정기적으로 만나 각 담론에 대한 개념적 이해와 문헌 내에서의 발표, 즉 당연하게 여겨지는 것과 이러한 담론으로부터 우리가 놓치고 얻는 것에 대해 논의했다. 일부 신문의 경우 주요 담론에 대한 합의에 도달하기 위해서는 여러 가지 대화가 필요했다.

The research team included a feedback researcher (RA), sociology of emotions researcher (RO) and a discourse specialist (NM). We met regularly to discuss our developing conceptual understanding of each discourse and its presentation within the literature: what's taken for granted and what we miss and gain from these discourses. Discourses were multiple, overlapping and not necessarily readily untangled; for some papers, it took multiple conversations to reach consensus on the primary discourses.

3 연구 결과
3 FINDINGS

이 분야의 상위 3개 저널을 검색한 결과 59편의 논문을 발표했는데, 그 중 32편의 경험적 연구 논문은 피드백과 감정을 조사하였다(학술 의학 7편, 의학 교육 17편, 보건 과학 교육 8편). 학생에 대한 이러한 16가지 지향적 피드백(단일직업 또는 혼합) 중 14개는 교수진 및/또는 학생의 혼합을 포함했고, 2개는 의료 교육 피드백에 환자를 포함했다. 우리는 일차 감정 담론으로 식별된 것들이 피드백 문헌(표 1)에서 어떻게 제시되는지를 정의하고 설명하는 것으로 시작한 다음 각 담론의 '작업'에 대해 논의한다. (논문 및 코드화된 감정 담화 전체 목록은 표 S1A를 참조하십시오.)
A search of the top three journals in the field yielded 59 papers of which 32 empirical research papers matched our inclusion criteria, examining feedback and emotions (7 in Academic Medicine, 17 in Medical Education, 8 in Advances in Health Sciences Education). Of these 16 oriented feedback to students (single profession or mixed), 14 included a mix of faculty and/or students, and 2 included patients in medical education feedback. We start by defining and describing how those identified as primary emotion discourses are presented in the feedback literature (Table 1), then discuss the ‘work’ of each discourse. (For a full list of papers and coded emotion discourses please see Table S1A.)

3.1 피드백 관행 형성에 있어 담론의 '작업'
3.1 The ‘work’ of the discourse in shaping feedback practices

3.1.1 생리학으로서의 감정
3.1.1 Emotion as physiology

논문의 절반(n = 16)이 EP 담론에 맞춰져 있습니다. 이 담론에서 감정은 피드백에 대한 대부분 선형적이고 개인주의적인 '반응'으로 캐스팅되었다. 한 연구에서, [긍정적인 감정]은 학생들이 그들의 학습에 피드백을 통합할 수 있다는 것을 의미한 반면, [부정적인 감정]은 피드백의 수정/학습 잠재력을 '간섭interfere'한다고 말했다. 감정을 그렇게 대하는 것은 학습자와 교육자가 감정을 [극복해야 할 것]으로 보도록 촉구한다. 마찬가지로 해리슨 외 연구진도 총체적 평가 후 피드백에 따라 행동하는 데 있어 두려움을 [학습 기회를 제한하는 주요 장애물로 파악]하였다. 다른 이들은 감정이 가라앉을 때까지 피드백을 미뤄야 한다고 제안했다.
Half of the articles (n = 16) aligned with an EP discourse. In this discourse, emotions were cast as mostly linear and individualistic ‘reactions’ to feedback. In one study, positive emotions meant that students could integrate feedback into their learning, whereas negative emotions were said to ‘interfere’ with feedback's corrective/learning potential.33 Such treatment of emotions pushes learners and educators to see emotions as something to overcome. Similarly, Harrison et al.34 identified fear as a major obstacle to acting on feedback following a summative assessment, limiting learning opportunities. Others suggested feedback should be delayed until emotions have subsided.7

이 담론을 바탕으로 한 일부 기사들은 [감정을 문제시]했다. 추 대표 등의 감정은 피드백 전달의 실패로 간주되었기 때문에 피드백의 감정적 Protention를 줄일 수 있는 신뢰 환경을 조성함으로써 피해야 할 것이다. Conforti와 동료들은 배경 소음으로 감정을 던진다. 다른 이들은 부정적인 감정이 '방해hindrance'라며 더 격렬히 반응했다. 예를 들어, 포크마 등은 부정적인 감정을 예측하고 예방하거나 관리해야 한다고 주장했다. 그러한 글에서, 긍정적인 감정은 대부분 자신감과 동기 부여와 같은 긍정적인 인지적 지표로 무시되었다.
Some articles drawing on this discourse positioned emotions, as problematic. For Chou et al.27 emotions were seen as a failing of feedback delivery, something to be avoided through creating a trusting environment where feedback's emotional protentional can be reduced. Conforti and colleagues30 cast emotions as background noise. Others were more vehement about negative emotions being a ‘hindrance’. Fokkema et al.,32 for instance, asserted that negative emotions should be anticipated and prevented or managed. In such articles, positive emotions were mostly ignored in favour of positive cognitive markers like confidence and motivation.

세 가지 연구는 처음에 피드백과 학습에 대한 사회 문화적 정의를 제공했지만 불가피하게 그들의 분석에 감정의 생리학적 개념을 적용했다. 이 담론에서 긍정적인 감정이 피드백에 미치는 부정적인 영향을 고려한 연구는 단 한 가지뿐이었다. 네이스미스와 라조이는 긍정적인 감정이 피드백에 대한 관심을 덜 끌 수 있고, 그 반대도 마찬가지라는 것을 보여주며, 감정적 원자가valence와 주의attention 사이의 역관계를 시사했다. 예를 들어 수치심과 같은 성과 목표와 감정은 주의력, 피드백 흡수 및 피드백 탐색 행동에 긍정적인 영향을 미칠 수 있다.

Three studies initially offered sociocultural definitions of feedback and learning7, 38, 41 but inevitably applied physiological conceptions of emotions in their analysis. Only one study in this discourse considered the negative effects of positive emotions on feedback. Naismith and Lajoie28 showed that positive emotions can lead to less attention to feedback and vice versa, suggesting an inverse relationship between emotional valence and attention. Performance goals and emotions such as shame, for instance, can positively influence attention, feedback uptake and feedback seeking behaviours.

3.1.2 기술로서의 감정
3.1.2 Emotion as skill

ES를 1차 담론으로 채택한 세 논문에서 [감정과 피드백은 문제가 있는 관계를 가진 것]으로 묘사되었다. 앞의 담론처럼 피드백은 자기가치감과 '자신감'에 challenge할 수 있는 잠재력을 지녔다고 한다. 자존심에 대한 그러한 도전은 [수치심과 불안]이라는 [부정적인 감정]으로 가득 차 있는 것으로 나타났다. 피드백이 [프라이드와 같은 긍정적인 도덕적 감정]을 자극할 수 있지만, 이것은 ES 담론을 사용한 어떤 연구에서도 초점이 되지 않았다. 자기 가치 있는 피드백의 정서적 악영향들을 돌리기 위해 사용되는 대처 전략은 적응적 변화를 향한 노력을 탈선시킬 위험이 있다고 한다. 파텔 외 연구진은, 자기 조절 학습 이론을 바탕으로, [부정적인 감정]이 '자기 가치'에 대한 학습자의 개념화에 도전하고, 변화를 저해하는 대처 전략(실패의 정상화와 같은)을 촉구함으로써 [자기 조절 학습을 방해한다]고 결론지었다.
Within the three papers employing ES as the primary discourse, emotion and feedback were depicted as having a problematic relationship. Like the previous discourse, feedback was said to have the potential to challenge self-worth and ‘self-confidence’.42, 43 Such challenges to self-worth were shown to be laden with negative emotions: shame and anxiety. Although it is also likely that feedback can prompt positive moral emotions, such as pride, this was not a focus of any of the studies using the ES discourse. Coping strategies used to divert the emotional ill effects of self-worth-challenging feedback were said to risk derailing efforts towards adaptive change. Patel et al.,44 drawing on self-regulated learning theory, concluded that negative emotions interrupt self-regulated learning, by challenging learners' conceptualisations of ‘self-worth’ and prompting coping strategies (like normalising failure) that undermine change.

이 담론에서 확인된 연구는 [감정]을 피드백으로부터의 학습을 위해서 [개인이 관리해야 하는 것]으로 취급함으로써 이전과 달랐다. 연구자들은 대처전략coping strategies을 수정하기 위한 개입을 시작했는데, 예를 들면 [긍정적인 대처 기술을 가르치기 위한 회복탄력성 훈련]이라든가, [검사 후 피드백에서 상대 대조군normative comparators을 제거하는 것과 같은 부정적인 감정을 예방하는 것]등이 있다. 이러한 담론은 [(효과적인 학습에 덜 도움이 되는 스트레스 관계나 정서적 환경을 만들 수 있는) [학습 환경의 사회적, 정치적, 문화적 특징]]에 초점을 두지 않는다. 패틀 외 연구진은 급우들 사이의 신뢰 관계가 도움을 구하는 것이 정서적으로 안전하다고 느끼는 중요한 지원의 원천이 될 수 있다고 제안했지만, 그들은 의과대학의 문화적 환경의 정서적 차원에서 신뢰를 검토하는 데 그친다.
Studies identified in this discourse diverged from the previous, by treating emotion as something to be managed by the individual in order to learn from feedback. Authors initiated interventions to correct coping strategies, for example, through resilience training to teach positive coping skills42 or by preventing negative emotions—such as removing the normative comparators in post-examination feedback.43 Such a discourse shifts focus away from examining the social, political and cultural features of a learning environment, which may be creating stressful relationships or emotional climates less conducive to effective learning. Although Patel et al.44 suggested trusting relationships between classmates may be important sources of support, where failing classmates feel it is emotionally safe to seek help, they stop short of examining (dis)trust as an emotional dimension of the medical schools' cultural environment.

3.1.3 성찰성적 실천으로서의 감정
3.1.3 Emotion as reflexive practice

ERP 담론에 맞춰 네 개의 기사를 정렬하여, 감정을 (조절regulation이 아니라) 반성reflection이 필요한 관계적이고 불가피하며 중요한 정보로 배치했다. 이 네 개의 논문 중 두 편에는 감정이 피드백에 문제가 있다는 암묵적인 가정이 있었다. 그러한 가정은 반박되었지만 여전히 존재한다. 예를 들어 Kerins 등은 의료 교육자들이 피드백(예: 불안과 죄책감)으로 인한 감정의 잠재적 부정적인 영향에 대해 경각심을 가져야 한다고 제안했지만 계속해서 다음과 같이 주장했다. '학습자에게 부정적인 감정의 가능성을 피하려고 노력하는 것'보다, 이러한 연구 결과는 '학습자의 존재감presence을 높이고 힘power을 활용하는 것'의 이점을 보여준다.

Four articles were aligned with the ERP discourse, positioning emotions as relational, inevitable and important information requiring reflection (rather than regulation) before their impact can be realised. Within two of these four papers,46, 47 there was an implicit assumption that emotions are problematic to feedback. Such assumptions were countered but still present. Kerins et al.,47 for example, suggested medical educators should remain alert to the potential negative effects of emotions from feedback (e.g., anxiety and guilt) but went on to assert: ‘rather than striving to avoid the possibility of negative emotions in their learners’, such findings suggested the benefits of ‘acknowledging their presence and utilising their power’47 (p. 271).

학습자가 지지적 환경에서 [불안, 두려움, 죄책감, 수치심]을 경험하고, 이런 감정이 성찰을 촉진하는 방식으로 다뤄질 때, 그러한 감정은 잠재적으로 강력한 [변혁적 학습]을 촉진한다고 한다. 이 담론을 활용한 기사 안에서 감정은 학습 경험에 유용하게 쓰일 수 있도록 신중하게 다뤄야 하고 (반성을 통해) 활용해야 하는 피할 수 없는 일상 경험으로 캐스팅됐다.

When anxiety, fear, guilt and shame are experienced by learners in a supportive setting, and handled in a way that promotes reflection, such emotions were said to foster potentially powerful transformative learning. Within articles using this discourse, emotions were cast as unavoidable everyday experiences that should be handled carefully and harnessed (through reflection) so that they can be useful to the learning experience.

[ERP 담론]은 또한 역할 모델, 피드백 및 피드백 소스(도구, 감독자)의 다양성을 인식하는 [정서적 몰입 학습emotionally imbued learning] 접근 방식을 지지하는 것으로 보인다. 예를 들어, Karnieli-Miller 외 연구에서 ERP 담론은 피드백의 평가(그리고 경험에 대한 감정 형태의 피드백)와 나쁜 소식을 전하는 '올바른' 방법을 알아내는 것 이상 유용하지만 어떤 종류의 의료 전문가가 되고 싶은지 알아내는 데 유용하게 뒷받침했다. 마찬가지로, Rietmeijer et al과 Telio et al의 연구에서 ERP는 다양한 [정서적 몰입 관계]에 내재된 피드백에 대한 인식을 지원합니다. 즉, 피드백의 인식된 신뢰도와 수신도가 특정 지도자와 학생 간의 관계에 따라 달라진다.

The ERP discourse also seems to support an approach to emotionally imbued learning that recognises multiplicity in role models, feedback and sources of feedback (tools, supervisors). In the Karnieli-Miller et al.46 study, for example, an ERP discourse underpinned an appreciation of feedback (and feedback in the form of one's emotions about an experience) as useful to more than figuring out the ‘right’ way to break bad news but as useful to figuring out what kind of health care professional one wants to be. Similarly, in Rietmeijer et al.'s48 and Telio et al.'s45 studies, ERP supports an appreciation of feedback as embedded within various emotionally imbued relationships—where feedback's perceived credibility and reception depends on the relationship between a particular supervisor and student.

ERP 담론은 감정을 [정보 교환 프로세스에 방해가 되는 것]이 아니라 [피드백에 도움이 되는 것]으로 배치합니다. 감정은 피드백의 의미, 무게, 강도를 주어 [피드백과 학습의 효과를 심화]시킨다. 피드백이 개인이 자신이 생각하거나 원하는 사람이 아니라는 것을 나타내는 정보를 제공한다면, 그들은 시간이 주어지고 구조화된 방식과 안전한 환경에서 반성한다면 생산적인 행동을 촉발할 수 있는 불쾌한 사회적 감정을 느낀다.

Rather than being disruptive to an information exchange process, the ERP discourse positions emotions as helpful to feedback. Emotions give feedback meaning, weight and intensity—deepening the effects of feedback and learning. If feedback provides information that indicates individuals are not who they think they are or want to be, they feel unpleasant social emotions that, if given time and reflected on in a structured way and safe environment, can prompt productive action.

3.1.4 사회문화로서의 감정
3.1.4 Emotion as socio-cultural

9개의 기사가 ESCM 담론에 대해 전문적인 문화계 내에서 일상적인 실천으로 묘사된 피드백과 감정으로 그려졌다. 이 글에서 [사회적 관계와 문화적 풍토]는 [피드백이 학습자에게 미치는 정서적 영향]에 필수적으로 영향을 미쳤다. 예를 들어, Watling 등은 비판이 문화 내에서 일반화normalized되면, 그 정서적 영향이 감소한다는 것을 발견했다. 만약 비판criticism이 예상하지 못한 것일 경우, 그것의 감정적 영향은 훨씬 극심했다. 이 담론에 내재된 것은, 감정을 [탈맥락화하여], [피드백 실천에 긍정적이거나 부정적인 것으로 보는 Valence화된 방식]으로 보기를 거부함을 의미한다. 예를 들어, 데이비스와 동료들은 일부 학생들이 감독관들에 의한 존엄성 위반에 대한 부정적인 경험에 대한 설명에도 불구하고, 증가된 학습 결과가 보고되었다고 결론지었다.
Nine articles drew on an ESCM discourse with feedback and emotions depicted as everyday practices within professional cultural worlds. In these articles, social relationships and cultural climate necessarily influenced feedback's emotional impact on learners. For example, Watling et al.56 found that when criticism was normalised within a culture, its emotional impact was dampened; when it was unexpected, its emotional impact was more acute. The embedded understanding of emotion within this discourse meant authors often resisted decontextualised and valenced assessments of emotions as positive or negative to feedback practice. Davis and colleagues,49 for instance, concluded that despite some students' descriptions of negative experiences with dignity violations by supervisors, increased learning outcomes were reported.

ESCM 담론과 정렬된 기사에 걸친 몇 가지 공통 요소는 [장소와 직업의 집단적 과정과 관련하여, 감정적으로 경험되는 현상]으로 피드백을 이해하도록 촉진했다. 
Several common elements across articles, aligned with an ESCM discourse, fostered an understanding of feedback as a phenomenon experienced emotionally in relation to collective processes of place and profession.

첫째, 맥락과 감정은 ([신뢰]가 가장 중요한 지지적 감정이었다) 피드백 프로세스에서 얽혀 있는 것으로 보였다. 즉, 단순히 기술을 평가하기 위한 것이 아니라, 전문가로서 [학습자의 이익]을 위해 관찰 가능한 특정 정보를 공유하는 것이다. 예를 들어, La Donna 등에서는 [신뢰를 촉진하는 문화적 요인]이 [피드백에 대한 학생들의 태도]에 기여하는 것으로 인식되었다. 이러한 태도는 뒤이어 학생들의 전문적업적 형성 및 [듣기 불편한 정보를 내재화하려는 동기]가 된다. 여기서 평가 상황은 [위계적 관계]와 [더 수준 높은 전문적 개발] 설정이 대조되어, 장소가 감정, 관계 및 피드백의 의미에 미치는 영향을 강조하였다.

First, context and emotion—with trust the cardinal supporting emotion16, 53-56—were seen to be intertwined in feedback processes: sharing specific, observable information for the learner's benefit as a professional not just for assessment of skills. For example, in La Donna et al.,54 cultural factors facilitating trust were recognised as contributing to a students' attitudes towards feedback as part of their professional formation and subsequent motivation to internalise information that may be difficult to hear. Here assessment settings, with their hierarchical relationships, and more level professional development settings were contrasted, emphasising the impact of place on emotions, relationships and feedback's meaning.

둘째, 피드백은 상호 목표를 설정하고, 다루고, 협상할 수 있도록 [피드백 제공자와의 종단적 관계]를 전제로 했다. 여기서는 [돌봄Care]이 [감정을 뒷받침하는 주요 요소]였다. 예를 들어, 피드백 대화는 전공의들이 다른 관리자와 경험하지 않은 방식으로 정서적으로 지지받고 '돌봄'을 느낄 수 있도록 했다. 보이어 외 연구진은 전공의들이 이런 것들을 느꼈다고 말했다. '… 일반적으로 경험하는 것보다 더 평등한 기반에서 관계를 발전시켜 보다 솔직한 대화를 가능하게 했습니다.' (p.950).
Second, feedback was premised on a longitudinal relationship with the feedback provider allowing for mutual goals to be set, addressed and negotiated. Care was the cardinal supporting emotion.49, 52, 54 For example, feedback conversations allowed residents to feel emotionally supported and ‘cared for’ in ways they did not experience with other supervisors. Voyer et al.52 stated that residents felt these ‘… relationships developed on a more equal footing than those they typically experienced … and hence allowed for more honest conversation’ (p. 950).

셋째, [체면을 잃을 염려 없이 실수를 허용하는 피드백]은 ESCM 담론을 채택한 학자들에 의해 특히 중요시되었다. 이는 [인간의 실패]를 [개인의 특성이 아닌 공유된 경험]으로 인식하는 것이다. 여기서는 [자신감]이 감정을 뒷받침하는 주요 요소였다. 학생-감독자 관계는 평가적이 아니라 정보적인 피드백 대화를 통해 학생 개선을 위해 공유할 수 있는 잠재력을 가지고 있다. 학생들은 [감정적 투쟁]을 [학습과 전문가로서의 성장에 긍정적인 영향을 미치는 것]으로 경험했다. 한 학생이 말했듯이, '우리를 깊은 곳에 내던진 것은, 장기적으로 봤을 때 제 자신감에 큰 도움이 되었고, 곧 이것이 모든 것을 제대로 할 필요가 없는 놀라운 학습 기회라는 것을 깨달았습니다.'

Third, feedback that allowed for mistakes without fear of losing face were particularly valued by scholars adopting the ESCM discourse: recognising human failure as a shared experience, not an individual trait. Confidence was the cardinal supporting emotion.49-51 The student–supervisor relationship has the potential to support student confidence through feedback conversations that are not evaluative but informative, shared for the benefit of student improvement. Students experienced emotional struggles as positively impacting their learning and their growth as professionals. As one student stated, ‘Throwing us in the deep end was great for my confidence in the long run and I soon realised this was an amazing learning opportunity where we didn't have to get everything right …’50 (p. 70).

4 토론
4 DISCUSSION

이것은 보건 전문 교육에서 피드백 관행에 대한 연구에서 감정 담론을 비판적으로 분석하는 첫 번째 검토이다. 연구 결과는 개인주의에서 사회적까지 연속체에 존재하는 네 가지의 중복된 담론을 묘사한다.

• (1) 생리학적인 감정, 
  
• (2) 기술로서의 감정, 
  
• (3) 성찰적 실천으로서의 감정
  
• (4) 사회문화적 중재자로서의 감정

우리의 연구 결과는 감정 담론을 보건 직업 교육 연구에 아직 등장하지 않은 ERP를 포함하도록 확장하고, 각 담론이 피드백 실행에 어떻게 영향을 미치는지 식별한다.

This is the first review to critically analyse discourses of emotion in studies of feedback practices in health professions education. Findings depict four overlapping discourses existing on a continuum, ranging from individualistic to social:

• (1) emotion as physiology,
• (2) emotion as skill,
• (3) emotion as reflexive practice and
• (4) emotion as socio-cultural mediator.

Our findings extend discourses of emotions to include ERP, which has not yet featured in health professions education research, and we identify how each discourse influences feedback practice.

[EP 담론]은 전통적인 [심신 이원론]을 강화하여, 감정을 [(마음) 피드백에 대한 긍정적이거나 부정적인 물리적 (신체) 반응]으로 묘사하며, 감정은 실천에 피드백의 통합하는 과정을 촉진하거나 약화시킨다. 이러한 개념화가 지배적이었으며, [모든 논문의 절반]이 이 담론을 사용했다. 그러나 이 글들은 부정적인 감정을 병적으로 해석하고 감정이 일상 생활의 일부라는 현실을 무시하기 위해 작용한다. 또한, 그들은 감정을 피드백 정보 처리의 금기anathema로 여기며, 감정과 피드백 사이의 관계에 대한 구시대적이고 단순한 이해를 강화한다.
The EP discourse reinforces traditional mind–body dualism binaries,57 casting emotion as a positive or negative physical (body) response to (mind) feedback that either facilitates incorporation of feedback into one's practice or undermines this process. Such conceptualisations dominated, with half of all the articles employing this discourse. These articles, however, work to pathologise negative emotions and ignore the reality that emotions are part of everyday life. Further, they reinforce outdated and simplistic understandings of emotion58 and the relationship between emotion and feedback, such as emotions being anathema to processing feedback information.

[ES 담론]은 감정 조절 기술에 초점을 맞춤으로써 [EP 묘사를 확장]한다. 감정으로부터 자존감을 보호하기 위해 사용되는 [대처 전략]은 피드백에 따라 행동하는 학습자에게 위협으로 던져진다. 이 담론은 학습자는 [감정을 관리하려는 노력]을 통해서 [피드백 과정을 방해하지 않도록 할 수 있음]을 시사하지만, 단순히 학습 환경을 검토하는 데 그친다. 이렇게 범위를 제한함으로써, [ES 담론]은 [피드백이 잘 안 될 경우]에 이를 [개별 학습자의 자존감, 관련 감정 및 대처 전략의 문제]로 보도록 유도한다. 이러한 개념은 교사와 교육기관이 [관계와 학습 환경]의 복잡성을 인식하지 못하게 한다. 비록 이 담론에서 일하는 저자들은 그들의 감정의 개념이 제한적일 수 있고, 감정과 피드백 사이의 관계에 대한 더 많은 사회문화적 이해가 관련될 수 있다는 것을 인정하지만, 이 담론은 [학습자 감정]이라는 '문제'를 해결하기 위한 비교적 직접적인 방법으로 [인지적 접근법]을 위치시킨다.
The ES discourse extends EP depictions by focusing on emotion regulation skills. Coping strategies used to protect self-esteem from emotions are cast as threats to learners acting on feedback. This discourse suggests that with effort, leaners can manage emotions so they do not hinder feedback processes. However, it stops short of examining learning environments. In limiting the scope, an ES discourse pushes us to see individual learners' self-esteem, associated emotions and their coping strategies as the problem when feedback goes awry. This conception shields teachers and institutions from recognising relationships and the learning environment as complicit. Although authors working within this discourse acknowledge that their conception of emotion may be limited, and that more socio-cultural understandings of the relationship between emotion and feedback may be relevant, they situate a cognitive approach as a relatively straightforward way to address the ‘problem’ of learner emotions.

[ERP 담론]은 감정의 범위를 개별 학습자를 넘어서는 것으로 확대한다. 이 담론은 우리가 피드백과 감정의 상대성을 인식하고 감정을 피드백의 기초로 보도록 촉구한다. 단지 피드백만이 감정적인 것이 아니다. [피드백 과정 기저의 관계] 또한 감정으로 가득 차 있다. 그러한 느낌은 피드백 관행 내에서 중요한 정보를 제공하지만, ERP는 [피드백 상호 작용에 존재하는 권력 관계]를 포함하지 않는다. 

The ERP discourse expands the scope of emotions beyond the individual learner. This discourse pushes us to appreciate the relationality of feedback and emotions and see emotions as foundational to feedback. It is not just that the feedback is emotional; the relationships underpinning feedback processes are also saturated with feelings. Such feelings provide important information within feedback practices, but ERP does not include the power relations that are ever present in feedback interactions.59

[ESCM 담론]은 [문화와 위계]가 피드백과 관련된 감정에 영향을 미친다는 것을 인정하면서, 전문직업적 환경 내에 감정과 피드백을 배치하는 방식으로 범위를 가장 확장한다. 이 담론에서는 [피드백 맥락(관계적, 문화적, 정서적)]이 피드백 프로세스의 중심이다. 학습자의 전문적 발전에 대한 신뢰, 보살핌 및 자신감은 교차하는 피드백-감정 콤플렉스에서 특히 중요하다.
The ESCM discourse broadens the scope furthest to place emotions and feedback within professional environments, acknowledging that cultures and hierarchies influence emotions related to feedback. In this discourse, feedback contexts—relational, cultural and affective—are central to feedback processes. Trust, care and confidence in a learner's professional development are particularly valued in the intersecting feedback–emotion complex.

이러한 발견을 바탕으로, 우리는 감정 담론의 작업을 인정하는 보건 전문 교육 내의 새로운 연구와 실천 의제를 요구한다. 그러한 의제는 [심신 이원론]과 [감정에 대한 형식적 인식]을 넘어 관계적인 것으로 나아간다. 감정을 (병리적인 것이 아니라) 불가피하게, 잠재적으로 마비되고 동기부여가 될 수 있으며, 그리고 무엇보다, 위계적 피드백과 건강 관리 환경 내에서 [관계적이고 위치적인 것relational and situated]으로 간주하는 것이 필요하다. ERP와 ESCM 모두에서 도출된 이러한 의제는 피드백, 환경 및 사회문화적 힘 역학에 내재된 관계적이고 감정적인 것으로의 인식을 향해 우리를 움직인다.

Building on these findings, we call for a new research and practice agenda within health professional education that acknowledges the work of emotion discourses. Such an agenda moves beyond mind–body dualism and tokenistic acknowledgement of emotion as relational. It takes up a call to consider emotions as inevitable (not pathological), as potentially paralysing and motivating and—importantly—as relational and situated within a hierarchical feedback and health care landscape. Drawing from both ERP and ESCM, such an agenda moves us towards an appreciation of emotions as relational and embedded within feedback, environments and socio-cultural power dynamics.

4.1 데이터 세트와 우리의 연구의 한계
4.1 Limitations of the data set and our study

감정과 피드백의 담화는 별개의 범주에 존재하지 않는다. 실제로, 대부분의 기사는 1차 및 2차, 때로는 복수의 2차 담화와 정렬될 수 있다(표 S1A 참조). 모든 지도 연습cartographic exercise은 불완전하지만 지형과 이론적 구분을 이해하는 데 유용한 발견적 방법을 제공한다. '요소를 함께 분석하고 데이터 형태의 차이를 평가함으로써 다양한 의미를 밝혀냄으로써 놀이에 관한 지식을 보다 풍부하게 이해할 수 있습니다.' 

Discourses of emotions and feedback do not exist in discrete categories. Indeed, most articles could be aligned with a primary and secondary, sometimes multiple secondary, discourses (see Table S1A). All cartographic exercises are imperfect—but they offer a useful heuristic for understanding topographical and theoretical distinctions; ‘Piecing elements together and assessing the divergences in forms of data, reveals various meanings during analysis offering a richer understanding of the knowledges at play’60 (p. 172).

우리의 분석에서, 우리는 담론이 얼마나 미끄러운지 주목했고, 저자들의 말을 해석하는 여러 가지 대화가 필요했다. 우리는 또한 감정(및 피드백)의 개념화를 [개인주의적 구조]에서 벗어나려는 저자들의 시도에 주목했다. 그러한 시도는 종종 진실하지만 충분하지 않아 모순되고, 상충적인 담론과 개념화의 뒤죽박죽으로 이어졌고, 동시에 감정을 문제적이고 불가피하며 유용한 것으로 이해하는 것을 포함했다. 대신에, 우리는 감정의 다른 개념화, 즉 담론 이론-실천 연계에 대한 명확하고 정렬적이며 비판적으로 인식할 것을 요구한다. 표 2에 제시된 담화는 이러한 목적을 위한 유용한 발견적 발견을 제공한다.

In our analyses, we noted how slippery the discourses were, requiring multiple conversations interpreting authors' words. We also noted authors' attempts to shift conceptualisations of emotion (and feedback) away from individualistic constructs. Such attempts were often sincere but not sufficient, leading to a hodgepodge of contradictory, competing discourses and conceptualisations, involving at once an understanding of emotions as problematic, inevitable and useful. Instead, we call for clear, aligned and critically aware understandings of the differing conceptualisations of emotion: the discourse-theory-practice nexus. The discourses presented in Table 2 offer a useful heuristic to this end.

4.2 피드백 및 피드백 리터러시에 대한 영향
4.2 Implications for feedback and feedback literacy

감정은 (대부분의 논문에서 개념화된 것처럼) 무시되어야 할 배경의 잡음이 아니다. 감정은 내부적일 뿐만 아니라 우리 사이의 그리고 우리 주변에 있다. 효과적인 피드백은 학습과 연습을 위해 감정을 활용하는 방법을 측정하면서 감정에 개방될 수 있습니다. 감정은 이성의 반대anathema가 아니라, (이성의) 근본이고, (이성과) 연결되어 있다. 

Emotions are not noise in the background to be ignored as conceptualised in the majority of papers; they are not merely internal but between and around us. Effective feedback can be open to emotions, gauging how to leverage them for learning and practice. Emotions are not anathema to reasoning but fundamental and connected.57, 58

우리는 보건 전문 교육학자들이 긍정적인 감정은 피드백에 좋고 부정적인 감정은 피드백에 나쁘다는 단순한 이해에서 벗어나 이 공간에서 대화를 전환해야 한다고 제안한다. 예를 들어, 불편함의 교육학은 배움에 대한 부정적인 감정의 힘을 강조한다. 수치심, 죄책감, 자존심은 주어진 환경에서 무엇을 해야 하는지 학습자에게 가르치는 강력한 친사회prosocial적 감정이다. 감정은 [무시하거나 관리해야 할 문제]라기보다는, [발굴해야 할 자원이며, 적시에 성찰적으로 사용해야 할 자원]이다.
We suggest that health professions education scholars shift the dialogue in this space away from simplistic understandings of positive emotions as good for feedback and negative emotions as bad for feedback. The pedagogy of discomfort,61 for example, highlights the power of negative emotions for learning. Shame, guilt and pride are powerful prosocial emotions that teach learners what (not) to do in given settings.62 Rather than problems to ignore or manage, emotions are resources to excavate and use reflexively in time.

이러한 변화에서, 보건 전문 교육학자는 신중하게 진행해야 한다. 왜냐하면 [피드백을 사회문화적 현상으로 개념화]할 때조차 [EP 담론]이 슬금슬금 들어오기 일쑤이기 때문이다. 그러한 좁은 의미의 감정 개념화는 피드백 관행의 범위를 좁히는 것으로 이어졌다. [비판적 교육학자]와 [감정학자]는 사회문화적 실천과 반사적 노동으로서 감정에 대한 이해에 기여했다. 그러나 보건 전문가들 사이에서 이러한 최근의 감정 개념화는 교육 피드백 문헌에서 거의 받아들여지지 않았다. 이 비판적 검토에서 보여지듯이, 대부분의 연구는 감정을 개념화함에 있어서 [감정의 이진법과 이로 인해 축소된 접근 방식]을 계속 유지하고 있지만, 이는 [이미 틀린 것이 확인]되었기 때문이다.
In making such a shift, health professions education scholars should proceed with caution, as even when feedback was conceptualised as a sociocultural phenomenon, EP discourses often crept in. Such narrow conceptualisations of emotion led to a narrowing of feedback practices. Critical education scholars63-65 and emotions scholars have contributed an understanding of emotion as socio-cultural practice and reflexive labour.60, 66 However, there has been little uptake of these more recent conceptualisations of emotion within health professions education feedback literature. As illustrated in this critical review, most studies continue to maintain debunked emotion binaries67 and concordantly reductive approaches to conceptualising emotion.

[피드백 리터러시]는, 가장 흔히 기술skill로 개념화되며, 현재 [ES 담론]과 가장 잘 일치한다. 우리는 피드백 리터러시의 개발이 피드백이 위치한 사회적 관계와 학습 환경에 의존할 것을 제안하며, 피드백 학자들이 ERP 및 ESCM 감정 담론을 채택하도록 권장한다. 이를 위해서는 [보편적 진리를 향한 실증주의적 탐색]에서 [전문화 과정으로서의 피드백과 전문적 지식 획득과 정체성 형성에 대한 감정의 중요성을 알리는 여러 교차하는 관계의 거미줄]에 대한 이해로 철학적, 방법론적 변화가 필요하다.
Feedback literacy, most often conceptualised as a skill, currently aligns best with the ES discourse. We suggest that the development of feedback literacy is dependent upon the social relations and learning environment within which feedback is situated and encourage feedback scholars to adopt ERP and ESCM discourses of emotions. This requires a philosophical and methodological shift away from positivist searches for universal truths towards an appreciation of the multiple, intersecting webs of relationships that inform feedback as a professionalising process and the importance of emotion to professional knowledge acquisition and identity formation.

5 결론
5 CONCLUSION

우리는 피드백 연구에서 감정이 불연속적으로 위치하는 다양한 방식과 피드백 관행과 보건 전문 교육에서의 경험과의 교차점을 분석했다. 우리는 감정과 피드백이 사회적으로, 그리고 담론적으로 역동적이라는 것을 발견했습니다. 보건 직업 교육에서 감정에 대한 연구는 [특정한 감정 담론은 피드백에 대한 영향을 억제한다는 것]을 인정하면서, 담론-이론-실천 연계성의 결과를 고려해야 한다. 감정 담론을 연구의 최전선에 두는 것은, 개별 학습자를 넘어 감정과 피드백 사이의 연관성에 대한 더 깊은 이해로 이어져야 한다. 우리 논문의 초대는 연구자들이 반사적 이해, 토론 및 신속한 실천 변화를 촉진하기 위해 감정과 피드백 관행이 때로는 겹치는 연설과 함께 다중 논리적으로 어떻게 이해될 수 있는지를 고려하기 위한 것이다.

We analysed the different ways emotion is discursively positioned in feedback studies and its intersections with feedback practices and experiences in health professions education. We found emotions and feedback to be socially and discursively dynamic. Research attending to emotion in health professions education should consider the consequences of the discourse-theory-practice nexus, acknowledging that chosen emotion discourses impact on feedback. Keeping emotion discourses at the forefront of research should lead to deeper appreciation of the connections between emotion and feedback, beyond individual learners. The invitation in our paper is for researchers to consider how emotion and feedback practices can be understood multi-logically with sometimes overlapping discourses in order to foster reflexive understanding, discussion and prompt practice change.

© 2021 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

해부학 지식의 영향: 주장의 종합(Clinical Anatomy, 2014)
Influences on Anatomical Knowledge: The Complete Arguments
ESTHER M. BERGMAN,1,2* INGE W.H. VERHEIJEN,3 ALBERT J.J.A. SCHERPBIER,4 CEES P.M. VAN DER VLEUTEN,1 AND ANIQUE B.H. DE BRUIN1

서론
INTRODUCTION

의학교육에서 기초과학의 역할과 지위가 논의되고 있다. 기초과학은 일반적으로 [임상추론과 의학적 실천의 과학적 토대]로 정의된다. 기초과학 지식의 확고한 토대는 좋은 임상적 추론을 위해 필수적인 것으로 간주되며, [정상적인 구조와 기능에 대한 건전한 지식]은 [비정상적인 구조와 기능에 대한 적절한 이해]에 필요한 것으로 간주된다. 예를 들어, [단학제 교육]에서 [통합 학습]으로, [사실과 세부 사항]에 초점을 맞춘 교육에서 [일반적 원칙, 기전, 개념에 초점을 두는 교육으로의 기초 과학의 역할은 극적으로 변화하고 있다(Bergman and de Goeij, 2010).

The role and position of the basic sciences in medical education are under debate (Norman, 2000, 2012; Fincher et al., 2009). Basic sciences are generally defined as the scientific foundations of clinical reasoning and medical practice (Kaufman et al., 2008); a firm foundation of basic science knowledge is considered indispensable for good clinical reasoning, and a sound knowledge of normal structure and function is deemed necessary for a proper understanding of abnormal structure and function (Swanson and Case, 1997). The role of basic sciences in medical education is changing dramatically owing to shifts in educational concepts, for example, from monodisciplinary teaching to integrated learning and from a focus on facts and details to a focus on general principles, mechanisms and concepts (Bergman and de Goeij, 2010).

해부학적 지식에 미치는 영향
INFLUENCES ON ANATOMICAL KNOWLEDGE

오늘날 의대생들 사이에서 해부학적 지식이 감소했다는 경험적 증거는 없지만, 이러한 주장은 다음의 8가지 요인 중 하나 또는 몇 가지에 기인한다고 생각하는 저자들에 의해 문헌에서 지속적으로 강조되고 있다(표 1). 

• (1) 의학적으로 자격이 없는 교사들에 의한 수업, 
  
• (2) 핵심 해부학 커리큘럼의 부재로 인해 
  
• (3) 해부를 가르치는 도구로서 사용하는 것을 줄였습니다. 
  
• (4) 해부학을 맥락에 맞게 가르치는 것의 부족, 
  
• (5) 통합 커리큘럼(문제 기반 학습 또는 시스템 기반 커리큘럼), 
  
• (6) 해부학적 지식에 대한 부적절한 평가, 
  
• (7) 해부학을 가르치는 시간이 줄었고, 
  
• (8) 해부학 교육의 수직적 통합에 대한 무시 

Although there is no empirical evidence that anatomical knowledge has declined among today's medical students, the claim is persistently emphasized in the literature by authors who attribute it to one or several of the following eight factors (Table 1):

• (1) teaching by nonmedically qualified teachers,
• (2) the absence of a core anatomy curriculum,
• (3) decreased use of dissection as a teaching tool,
• (4) lack of teaching anatomy in context,
• (5) integrated curricula (problem-based learning or systems-based curricula),
• (6) inadequate assessment of anatomical knowledge,
• (7) decreased anatomy teaching time, and
• (8) neglect of vertical integration of anatomy teaching.

이 요소들은 32개의 논문(29개의 다른 제1저자)에서 추출되었으며, 그 중 9개는 해부학 부서에서 주요 직책을 맡았다. 2011년에는 의대생들의 해부학적 지식에 미치는 8가지 요인의 영향을 검증할 수 있는 경험적 증거를 찾기 위한 연구를 발표했다. 그러나 기존 문헌 내의 정보의 질은 어떤 주장을 뒷받침하기에 충분하지 않았다(표 1).

These factors were extracted from 32 articles (29 different first authors, nine of whom held their primary posts in anatomy departments (see Bergman et al., 2011). In 2011, we published a study aimed at finding empirical evidence to verify the influences of the eight factors on medical students' anatomical knowledge. However, the quality of information within the existing literature was insufficient to support any of the claims (Table 1).

분명히, 이러한 요인들이 갑자기 나타난 것은 아니다. 몇몇 작가들은 이 공룡들이 영향력이 있다고 언급했고, 그 기원을 설명했다. 각각의 요소 뒤에는 이야기가 있습니다. 이 리뷰를 쓰는 우리의 목적은 이러한 이야기들을 독자와 공유하는 것이다. 문헌에서 찾은 32편의 논문 저자들이 내레이션한 인식과 경험을 바탕으로 한 이야기이기 때문에 주로 인용과 일화를 통해 공유한다. 우리가 "저자"에 대해 말할 때, 우리는 그들 자신을 지칭하는 것이 아니라 그들을 지칭한다. 우리는 그 논문들의 저자들이 그 이야기에 책임이 있다는 것을 강조하고 싶으며, 이 리뷰에서 그 이야기를 서술하는 것은 우리가 그들과 동의한다는 것을 의미하지는 않는다! 그러나, 이 리뷰에서 우리는 이 이야기가 해부학 교육의 추가 연구와 개선을 위한 중요한 소설 추천으로 이어질 수 있다고 느끼기 때문에 이야기를 충분히 탐구하기를 원한다. 비록 우리가 경험적 자료로 그들의 이야기를 뒷받침할 수는 없더라도, 우리는 그 29명의 작가들이 우리에게 말하고 있는 것에 대해 교훈이 있다고 느낀다.
Obviously, these factors did not emerge out of the blue. Several authors have cited them as influential and have described their origins. So behind each factor there is a story. Our aim in writing this review is to share these stories with our readers. Since the stories are based on the perceptions and experiences narrated by the authors of the 32 papers we found in the literature, we share them mainly via quotations and anecdotes. When we speak of “the authors,” we refer to them, not to ourselves. We wish to emphasize that the authors of those papers are responsible for the stories and our narrating them in this review does not imply that we agree with them! However, in this review we want explore the stories fully, as we feel this could lead to important novel recommendations for further research and improvement of anatomy education. We feel there is a lesson in what those 29 authors are telling us, even if we cannot underpin their stories with empirical data (yet)!

요인 1: 의료인 면허가 없는 교수자가 해부학을 가르친다.
Factor 1: Anatomy Is Taught by Nonmedically Qualified Teachers

저자들은 해부학적 지식의 감소에 대한 한 가지 설명은 해부학이 헌신적이고, 잘 훈련되고, 의학적으로 자격을 갖춘 총 해부학자들에 의해 가르쳐지는 것이 극히 드물어지고 있다는 것이라고 생각한다. 해부학 교육은 연구가 주 관심사인 교수진에 의해 제공되며, 이들은 교육을 중요한 책임이라기보다는 성가신 일, 달갑지 않은 일로 간주한다. 저자들은 교수진이 보통 연구 기술과 수입(연구 보조금)을 창출할 수 있는 잠재력을 위해 모집되고 특정 분야의 교수 수요를 충족시키지 않기 때문에 이는 놀라운 일이 아니라고 주장한다.
The authors feel that one explanation for the decline of anatomical knowledge is that it is becoming extremely rare for anatomy to be taught by dedicated, well-trained, medically qualified gross anatomists (Cahill and Leonard, 1999; Older, 2004). It is claimed that anatomy education is provided by faculty whose first interest is research and who look upon teaching as an annoyance, an unwelcome chore, rather than a key responsibility (Fraser, 1991; Halasz, 1999; Monkhouse and Farrell, 1999). The authors argue that this should come as no surprise since faculty are usually recruited for research skills and potential for generating income (research grants), and not to meet teaching needs in particular areas (Cahill and Leonard, 1999; Cahill et al., 2000).

게다가, 저자들은 교육에 전념하는 교수진들은 종종 연구 부서가 나열할 수 있는 연구 출판물의 질보다는 그 수로 측정되는 연구 생산성에 대한 불균형적인 중요성에 의해 전복된다고 말한다. "내거나 죽거나"라는 대학 풍습이 바로 그것이다. 기초과학과 임상과학 양쪽에서 교육은 (학문적 활동으로서 연구보다 가치가 낮기 때문에) 우선순위가 낮다고 한다(Older, 2004).
Moreover, the authors state that faculty who are committed to teaching are subverted by the disproportionate importance placed on productivity in research, often measured by the number rather than the quality of research publications a department can list: the university mores of “publish or perish” (Fraser, 1991; Monkhouse and Farrell, 1999). Teaching in both basic and clinical sciences is said to have low priority because, as an academic activity, it is valued less than research (Older, 2004).

의학적으로 자격을 갖춘 교사들은 무엇보다도 [가르치는 것이 아니라 환자 치료에 관심이 많다는 것]이 저자들의 또 다른 설명이다. 교육에 관심이 있더라도 바쁜 임상 서비스의 업무량과 압력에 제약을 받는 경우가 많습니다. 일부 국가에서, 이 문제는 임상적 자격을 갖춘 모든 사람이 교직을 맡는 것을 지연시키는 눈에 띄게 매력적이지 않은 급여 구조로 인해 더욱 복잡해진다(Older, 2004).
Another explanation given by the authors is that teachers who are medically qualified are first and foremost concerned with patient care and not with teaching. Even if they are interested in teaching, they are often restricted by workloads and pressures from a busy clinical service (Halasz, 1999; Raftery, 2006). In some countries, this problem is compounded by a distinctly unattractive salary structure deterring anyone with clinical qualifications from taking up teaching (Older, 2004).

Halasz (1999)는 다른 유형의 전문학교는 그들이 가르치는 전문직으로서 프랙티스practice를 하지 않는 교수진이 교육하는 커리큘럼의 거의 절반을 차지하지 않는다고 주장한다. [비의학 해부학 교사들]은 [왜 이 과목을 가르치는지] 또는 [왜 그것이 임상적 관점에서 관련이 있는지]에 대한 개념이 없다고 하기 때문에, 의학적으로 자격을 갖춘 해부학 교사의 감소는 학생들의 해부학 지식 숙달의 위협으로 저자들에 의해 저자들은 의학적으로 자격을 갖춘 해부학 교사의 감소를 보고 있다.
Halasz (1999) argues that in no other type of professional school is almost half of the curriculum (i.e., the basic sciences) taught by faculty who do not practice the profession they teach. Since nonmedical anatomy teachers are said to have no notion why the subject is taught or why it is relevant from a clinical perspective, the decline in medically qualified anatomy teachers is viewed by the authors as a threat to students' mastery of anatomical knowledge (Monkhouse, 1992; Pabst, 1992; Monkhouse and Farrell, 1999; Older, 2004; Raftery, 2006).

요인 2: 핵심 해부학 커리큘럼의 부재
Factor 2: The Absence of a Core Anatomy Curriculum

저자는 해부학 교육에 사용하는 시간이 최근 수십 년 동안 감소했다고 지적하고(인자 7 참조), 어떤 경우에는 할당된 시간 내에 해부학을 맞추려는 시도가, 의료전문직과의 연관성에도 불구하고, 해부학의 모든 측면(신체 부위, 기관 시스템 또는 배아학과 같은 주제)을 다소간 제거하도록 이끌었다. 저자들은 이것이 미래의 의사들이 안전하게 의술을 실천하는 능력에 직접적인 영향을 미친다고 느낀다. 기록, 검사, 촉진, 타진, 청진, 영상, 수술은 모두 세포, 조직, 장기 시스템 수준에서 신체가 어떻게 구성되는지에 대한 지식을 요구한다. 시술 직전에 해부학적 사실과 사진을 찾는 것은 해부학에 대한 엄격한 지식을 대체할 수 없습니다(Auer and McDonald, 2003).
The authors indicate that the amount of time available for teaching anatomy has fallen during recent decades (see also factor 7) and, in some cases, attempts to fit anatomy within the allocated time have led to all aspects of anatomy (body regions, organ systems, or topics such as embryology) being pruned to a greater or lesser extent, notwithstanding their relevance for the medical profession (Monkhouse, 1992; Cahill et al., 2000; Older, 2004). The authors feel this directly affects the ability of future doctors to practice medicine safely. History-taking, inspection, palpation, percussion, auscultation, imaging, and surgery all require knowledge of how the body is constructed at the cell, tissue, and organ system levels. Looking up anatomical facts and pictures just before a procedure is no substitute for a rigorous knowledge of anatomy (Auer and McDonald, 2003).

앞의 주장과는 대조적으로, 임상의사들은 종종 해부학자들이 의학 실무와 관련된 해부학적 지식(예를 들어 질 높은 치료를 제공하는 방법)으로 정의하지 않고 너무 많은 세부 사항을 가르친다고 비난한다. 이러한 비판을 설명하기 위해, 학부 교육의 진정한 목적은 잊혀졌다고 주장한다: 학부 의학 교육의 산물은 의사가 "되기 위해" 훈련된 학생이다.
In stark contrast to the preceding arguments, clinicians frequently blame anatomists for teaching too many details and not what they define as the anatomical knowledge relevant to medical practice (such as how to provide high-quality care) (Pabst, 1994; Whitcomb, 2006). To explain this criticism, it is argued that the true purpose of undergraduate education has been forgotten: the product of undergraduate medical education is the student trained “to become” a physician (Fraser, 1991; Drake, 1999; Whitcomb, 2006).

저자들은 이 문제가 (국가) 핵심 해부학 커리큘럼의 부재 또는 재평가/재향성 부족 때문에 발생했다고 주장한다. 그러한 핵심 커리큘럼은 실제 임상 관련 주제를 다루고 학생들이 구조와 기능 사이의 관계를 잘 이해할 수 있도록 할 것이다. 만약 그것이 시행된다면, 교사들(기초과학 및 임상)은 학생들이 무엇을 배우기를 기대하는지 알고 그들이 그 지식을 얻도록 도울 수 있을 것이다(Bergman et al., 2011).

The authors claim this problem has arisen because of the absence, or insufficient re-evaluating/re-orientation, of a (national) core anatomy curriculum (Monkhouse, 1992; Halasz, 1999; Older, 2004; Raftery, 2006). Such a core curriculum would cover topics of real clinical relevance and equip students with a good grasp of the relationship between structure and function (Pabst, 1994; Raftery, 2006). If it were in place, teachers (basic science and clinical) would know what their students were expected to learn and would be able to help them attain that knowledge (Bergman et al., 2011).

요인 3: 해부를 교육 도구로 사용하는 것이 감소
Factor 3: Decreased Use of Dissection as a Teaching Tool

커리큘럼 개혁은 의대생들에게 주어진 해부학적 정보의 양뿐만 아니라 그것이 제시되는 형식도 변화시켰다고 저자들은 생각한다(Drake, 1999). 저자들은 오늘날의 의대생들이 다르다는 것을 인정한다. "우리 학생들의 세계는 멀티모달과 자극에 의존합니다. […] 대다수의 일반 학생들은 더 이상 '자르기', '읽기', '듣기'에만 반응할 수 없습니다." 값비싼 해부실(해부를 위한 것이든 아니든)은 임상 기술 실험실과 컴퓨터실(또는 수익을 창출하는 연구 공간)로 대체되었지만, 저자들이 가장 우려하는 것은 시체 해부라는 오랜 방법에 의한 해부 교육의 감소이다. 그들은 해부학이 이제 해부학 수업을 (기껏해야), 문제 기반 튜토리얼, 특수 학습 모듈 (학생이 선택한 구성 요소), 컴퓨터 보조 교육, 그리고 (최악의) 플라스틱 모델을 통해 배운다고 지적한다. 그들은 모델, 이미지, 그리고 오디오 비주얼의 사용이 학생들에게 실제 조직의 조사적 해부에서 오는 만큼 많은 해부학적 지식을 제공하지 못한다고 생각한다. 그러나 이 주장을 뒷받침할 실질적인 자료가 거의 없다는 것도 인정된다.
Curricular reform is thought by the authors to have altered not only the amount of anatomical information imparted to medical students but also the format in which it is presented (Drake, 1999). The authors acknowledge that today's medical students are different. “The world of our students is multimodal and stimulus dependent. […] the greater majority of average students can no longer solely respond to ‘cut,’ ‘read’ and ‘listen’” (Reidenberg and Laitman, 2002). Expensive anatomy rooms (whether or not for dissection) have been replaced by clinical skills laboratories and computer rooms (or revenue-generating research space) (Monkhouse and Farrell, 1999; Cahill et al., 2000), but what the authors consider most worrying is the increasing decline of anatomy teaching by the time-honored method of cadaveric dissection. They point out that anatomy is now taught via prosections (at best), problem-based tutorials, special study modules (student-selected components), computer-assisted instruction, and plastic models (at worst) (Raftery, 2006). They think that the use of models, images, and audiovisuals fails to provide students with as much anatomical knowledge as comes from the investigative dissection of real tissue. But it is also acknowledged that there are very few substantive data to support this contention (Cahill et al., 2000; Reidenberg and Laitman, 2002; Older, 2004).

요인 4: 해부학을 맥락 속에서 가르치지 않습니다.
Factor 4: Anatomy Is not Taught in Context

저자들의 의견으로는 해부학 교육을 표면 해부학, 살아있는 (방사선) 해부학, 임상 기술까지 확장함으로써 학생들 사이의 해부학 지식이 향상될 수 있다. 해부학은 환자의 신체 검사(예: 청진기, 복부 촉진, 말초 펄스, 인대, 근육 그룹 및 반사)와 영상의 해석(예: X선, CT, MRI, 초음파 및 스코프를 통한 최소 침습적 시각)의 맥락에서 제시되어야 한다고 생각된다. 레이덴버그와 라이트만(2002)은 해부학 프로그램이 "물질의 통합과 학제간 교육과 학습을 위한 집"의 최전선이 되어야 한다고 말하는 반면, 몽크하우스(1992)는 그러한 통합 없이는 "의대생들이 해부학을 연구해야 하는 직업적 필요성에 대한 근거를 발견하는 것"이 불가능하다고 주장한다. 또한, 저자들은 맥락에서의 교육이 임상 문제를 해결하기 위해 해부학적 지식을 사용하는 것을 의미할 수 있다고 제안한다. "학생들이 배우는 개념을 임상적 문제를 이해하고 설명하는 데 적극적으로 적용하지 않는 한, 그 지식은 비활성 상태로 남아 곧 잊혀질 것이다."(Norman, 2007).

Anatomical knowledge among students can, in the opinion of the authors, be enhanced by extending anatomy education to surface anatomy, living (radiological) anatomy, and clinical skills. It is felt that anatomy should be presented in a context of physical examination of patients (e.g., stethoscope, abdominal palpation, peripheral pulses, testing of ligaments, muscle groups, and reflexes) and interpretation of images (e.g. X-rays, CT, MRI, ultrasound, and minimally invasive views through scopes) (Monkhouse, 1992; Pabst, 1992; Reidenberg and Laitman, 2002; Older, 2004; Raftery, 2006). Reidenberg and Laitman (2002) even state that anatomy programs “must be at the forefront of integration of material and a home for interdisciplinary teaching and learning,” while Monkhouse (1992) argues that without such integration it is impossible to “see any grounds for the vocational necessity for medical students to study any anatomy.” Additionally, the authors suggest that teaching in context can mean using anatomical knowledge to solve clinical problems: “unless students actively apply the concepts they are learning to understanding and explaining clinical problems, the knowledge will remain inert and will be soon forgotten” (Norman, 2007).

요인 5: 통합 커리큘럼(문제 기반 학습 또는 시스템 기반 커리큘럼)
Factor 5: Integrated Curricula (Problem-Based Learning or Systems-Based Curricula)

오늘날 일부 의과대학은 기초 의학에 대한 공식적인 교육을 대부분 포기하고 학생들이 문제 기반 학습(PBL) 접근 방식만을 통해 이러한 중요한 영역을 탐색하도록 남겨두었다. 저자들은 이것이 학생들의 해부학적 지식에 두 가지 방식으로 영향을 미칠 것이라고 우려한다.
Some medical schools today have largely abandoned the formal teaching of basic medical sciences, leaving students to explore these crucial areas through the problem based learning (PBL) approach alone (Williams and Lau, 2004). The authors fear this will affect the students' anatomical knowledge in two ways.

첫째, 저자들은 일부 지역에서는 자기 주도 학습이 교수자가 학습자에 대한 책임을 포기하는 단순한 구실이 되었다고 주장한다(Monkhouse and Farrell, 1999). 또한 PBL은 유능한 교사가 촉진자(종종 해부학적으로 훈련되지 않은 비의학 과학자; 요인 1 참조)로 대체될 수 있으므로 학생들이 영감을 주고 지식이 풍부한 멘토와의 접촉을 박탈하여 해부학적 지식을 덜 습득할 수 있다고 여겨진다. 둘째, 저자들은 PBL이, 학생이 해부학적 정보의 수용된 본문을 학습해야 한다는 사실을 무시하기 때문에, 기본적인 과학적 지식을 습득하는 비논리적이고 비효율적인 방법이라고 주장한다 (Williams and Lau, 2004). 학생들이 호기심과 실험을 통해 이러한 지식을 얻도록 요구하는 것은 귀중한 시간과 자원의 낭비이다.

First, the authors argue that in some places, self-directed learning has become a mere excuse for staff to abandon their responsibilities to students (Monkhouse and Farrell, 1999). It is also felt that PBL can lead to competent teachers being replaced by facilitators (often anatomically untrained nonmedical scientists; see also factor 1), thereby depriving students of contact with inspirational and knowledgeable mentors, so they acquire less anatomical knowledge (Cahill et al., 2000; Williams and Lau, 2004; Fasel et al., 2005). Second, the authors argue that PBL is an illogical and inefficient way to acquire basic scientific knowledge (Williams and Lau, 2004) because it ignores the fact that the student must simply learn an accepted body of anatomical information; requiring students to gain this knowledge through curiosity and experiment is a waste of valuable time and resources (Monkhouse and Farrell, 1999).

몽크하우스와 파렐(1999)은 장기계통 기반 교육이 학생들이 전신의 해부학에 대한 일관된 견해를 얻는 것을 막을 수 있다는 위험성을 더욱 지적했다. 시스템 기반 교육에서, 해부학은 전체 유기체와 무관하게 작은 부분으로 가르치기 때문에, 불가피하게 학생들은 그 분야에 대한 단편적인 지식만 갖게 된다. 저자들은 의사들이 인체 해부학에 대한 건전한 실무 지식을 가져야 한다는 것은 자명하다고 생각한다; 최악의 경우, 그들은 신체의 부분, 다른 부분과의 관계, 그리고 신체 표면에 대한 그들의 관계, 그리고 개입이 필요할 때 어떻게 그들이 안전하게 접근할 수 있는지에 대한 지식에 의해 불이익을 받지 않을 것이다.

Monkhouse and Farrell (1999) further point to the danger that systems-based teaching can prevent students from gaining a coherent view of the anatomy of the whole body. In systems-based teaching, anatomy is likely to be taught in small segments with no regard to the whole organism, inevitably leaving students with only fragmented knowledge of the discipline. The authors consider it self-evident that doctors should have a sound working knowledge of human anatomy; at the very worst, they will not be disadvantaged by knowledge of the parts of the body, their relationships to another and to the body surface, and how they can be approached safely when intervention is necessary.

요인 6: 해부학적 지식을 평가하는 방법
Factor 6: The Way Anatomical Knowledge Is Assessed

저자들은 해부학적 지식이 불충분하게 평가되어 잘 유지retained되지 않는다고 반복해서 말한다. 실용성의 이유로 (해부학) 시험에 대한 문제들이 점점 더 다양해지고 있는 것으로 느껴지는데, 이 시험은 오답 보기를 제거하는 전문성 때문에 잘 하는 "시험보기 능력자"들이 종종 잘 보는 경우가 많다. 또한, 저자들은 평가되는 각 분야의 최소 역량에 대한 요구사항이 없어질 것을 우려하고 있다: "[USMLE] Step 1 Examination에서 직접적인 해부학 문제가 몇 개밖에 없는데 왜 학생들이 전체 해부학을 배워야 하는가?" (Cahill and Leonard, 1999) "해부학에서 정말 어려운 시험이 있어야 하며, 이것은 지원자들이 환자들에게 연습을 시작하기 전에 그들의 해부를 확실히 알기 위한 매우 초기 단계여야 합니다." (래터리, 2006)

The authors repeatedly state that anatomical knowledge is assessed inadequately, so it is poorly retained. It is felt that for reasons of practicality, questions on (anatomy) tests are increasingly of the multiple choice variety, in which good “power-test takers” often do well because of their expertise in eliminating distracter items (Cahill and Leonard, 1999; Paalman, 2000; Ellis, 2002; Older, 2004; Raftery, 2006; Turney, 2007). Furthermore, the authors fear the requirement for minimal competence in each of the disciplines tested is being eliminated (Ellis, 2002; Raftery, 2006; Purkayastha et al., 2007): “why should students learn gross anatomy anyway when there are only a few direct anatomy questions on the [USMLE] Step 1 Examination?” (Cahill and Leonard, 1999). “There should be a really tough examination in anatomy and this should be at a very early stage to be certain that candidates know their anatomy before they start practicing on patients” (Raftery, 2006).

요인 7: 해부학 수업 시간 감소
Factor 7: Decrease in Anatomy Teaching Time

저자들은 최근 수십 년 동안 과학 지식의 폭발로 인해 의료 행위와 관련된 잠재적인 과학적 정보의 양이 강사나 학생들이 학습하기에 너무 많아졌다고 말했다. 기초과학과 임상의학의 관련성은 과정 시간의 단축과 의료 교육의 강조의 변화에 직면하여 불가피하게 재평가되고 있다고 한다(Drake, 2002). 이 문제를 다루기 위한 커리큘럼 개정이 모든 수준의 해부학 교육자들에게 계속 도전하고 있다고 주장한다. 해부학 커리큘럼에 포함할 과목에 대한 선택은 분명히 이루어져야 했지만, 저자들은 이러한 선택이 해부학을 너무 많이 또는 너무 적게 가르쳤다고 생각한다.
The authors stated that the explosion of scientific knowledge during recent decades has made the amount of basic scientific information with potential relevance to medical practice too large for instructors to teach or for students to learn. The relevance of basic sciences to clinical medicine is said to be undergoing re-evaluation, inescapable in the face of reduced course hours and the shifting emphases of medical education (Drake, 2002). It is argued that curricular revision to deal with this problem continues to challenge educators in the anatomical sciences at every level (Carmichael et al., 2002). Clearly, choices about which subjects to include in the anatomy curriculum had to be made, but the authors feel that these choices have led to the teaching of either too much or too little anatomy (see Factor 2).

요인 8: 해부학 교육의 수직적 통합의 무시
Factor 8: Neglect of Vertical Integration of Anatomy Teaching

기초과학 교육은 임상 전 커리큘럼의 큰 부분을 차지한다(Norman, 2007). 안타깝게도 수직적 통합이 임상적으로 가치 있는 기초과학만 가르치도록 돕는다고는 하지만, 그것은 흔히 단방향성으로만 존재한다. 임상 주제는 의학 커리큘럼의 초기 단계(전통적으로 기초과학 교육을 위한 시간표)에 정기적으로 통합되지만, 기초과학을 임상실습 학년에 교육하는 것은 훨씬 드물다. 이러한 개혁으로 인해 (일부에서는 25년 동안 50% 이상 감소했다고 주장하지만) 해부학 교육의 내용(요소 2와 7 참조) 둘 다 시간이 단축되었으며, 이는 전통적인 교수법의 실험실 부분에서 가장 급격한 감소로 이어진 것으로 보인다. 저자들은 학부 총 해부학 교수법이 세계적으로 쇠퇴하고 있으며, 진자가 너무 심하게 흔들려 해부학 교수법이 의학 교육에서 완전히 사라질 위기에 처했을 수 있다고 우려한다. 그래서 해부학 교육의 수직적 통합을 소홀히 하는 것은 총 해부학 교육의 감소를 초래하고, 이는 다시 학생들의 해부학 지식 부족을 초래한다.

Basic science teaching takes up a huge proportion of the preclinical curriculum (Norman, 2007). Unfortunately, although vertical integration is said to help ensure that only clinically valuable basic science is taught (Monkhouse and Farrell, 1999), the authors often experience it as unidirectional. While clinical topics are regularly integrated into the early years of medical curricula (traditionally the time slot for basic science teaching), it is much less common for basic sciences to be taught in later years (traditionally clinical teaching time) (McCrorie, 2000). It is felt that this reform has led to reductions in both the time for (some claim reductions of more than 50% over 25 years) and the content of anatomy education (see also Factors 2 and 7), the most drastic cut being in the laboratory parts of traditional teaching (Cahill and Leonard, 1999; Monkhouse, 1992; Older, 2004). The authors state that undergraduate gross anatomy teaching is in decline worldwide, and it is feared that the pendulum could have swung too far, putting anatomy teaching in danger of disappearing completely from medical education (Fasel et al., 2005; Raftery, 2006). So, neglect of vertical integration of anatomy teaching leads to a decline in gross anatomy teaching, which in turn leads to deficiencies in students' anatomical knowledge.

이에 대응하기 위해 저자들은 전체 의학 커리큘럼(교육과정 후반에 통합된 생물의학에서 도출된 내용)에 걸쳐 더 많은 해부학이 통합되어야 한다고 권고한다. 이것은 또한 [학습이란 새로운 지식을 기존 지식에 통합하는 것으로 구성된다(scaffolding)]는 인지심리학의 근본적인 아이디어에 대한 교육을 적응시킬 것이라고 명시되어 있다. 모든 것을 한꺼번에 가르칠 필요는 없다(Norman, 2007). 피츠제럴드(1992)가 말했듯이: "[…] 시간 제약으로 인해 많은 임상 관련 요점들이 해부학 강좌에서 누락되어야 합니다. 이 딜레마에서 벗어날 수 있는 유일한 방법은 수직적 통합을 통해 임상의가 각 해부학적 공을 차례대로 집어내는 것이다."

To counteract this, the authors recommend that more anatomy should be integrated throughout the entire medical curriculum (content drawn from the biomedical sciences integrated into the later years of the curriculum) (Beaty, 1990; Older, 2004; Whitcomb, 2006). It is stated that this will also adapt education to the fundamental idea from cognitive psychology that learning consists in the integration of new knowledge into existing knowledge (scaffolding); there is no need to teach everything all at once (Norman, 2007). As Fitzgerald (1992) puts it: “[…] many clinically relevant points have to be omitted from the anatomy course owing to time constraints. The only way out of this dilemma (it seems to me) is by way of vertical integration, whereby clinicians pick up each anatomical ball in turn”.

토론 및 권장 사항
DISCUSSION AND RECOMMENDATIONS

우리는 8가지 요인(표 1에 나열)이 의대생들 사이의 해부학적 지식의 감소에 기여했다는 여러 저자들의 주장을 설명했다. 우리의 2011년 검토에서는 이러한 주장을 뒷받침할 경험적 증거가 발견되지 않았으며, 우리는 문맥, 수직적 통합 및 평가 전략에서의 교수 구현에 대한 추가 연구를 권고했다(Bergman et al., 2011). 다음과 같은 추가 권장 사항은 요인 뒤에 숨겨진 이야기에 대한 현재 검토 중에 광범위한 탐색에서 비롯된다. 첫 번째와 두 번째 권장 사항 - 교수에 대한 인지도를 높이고 해부학자의 전문적 인지도를 높이는 -은 최근 문헌에서 다른 저자들의 지지를 얻고 있다. 세 번째 권장 사항은 보다 혁신적입니다. 해부학자들이 교육적 연구에 참여하도록 장려하는 것이다.

We have described the arguments of different authors that eight factors (listed in Table 1) have contributed to the decline of anatomical knowledge among medical students. Our 2011 review revealed no empirical evidence to support these claims, and we recommended further research on the implementation of teaching in context, vertical integration, and assessment strategies (Bergman et al., 2011). The following additional recommendations arise from our extensive exploration during the present review of the stories behind the factors. The first and second recommendations—increasing recognition for teaching and enhancing the professional recognition of anatomists—find support from other authors in the recent literature. The third recommendation is more innovative: to encourage anatomists to participate in educational research.

교수에 대한 인정
Recognition for Teaching

만약 교육이 아카데믹한 가치를 더 많이 인정받는다면, 교사들은 다음의 개발 및/또는 구현에 더 많은 시간과 돈을 투자할 수 있을 것이다. 자신의 해부학적, 임상적 지식과 교육적 기술(인자 1), 핵심 해부학 커리큘럼(인자 2), 다양한 교육 방법(인자 3), 맥락적 교육(인자 4), 평가 전략(인자 6), 수직적 통합(인자 8)이 그것이다.

If teaching received more recognition for its academic value, teachers would have more time and money to invest in the development and/or implementation of: their own anatomical and clinical knowledge and didactic skills (Factor 1), a core anatomy curriculum (Factor 2), different teaching methods (Factor 3), teaching in context (Factor 4), assessment strategies (Factor 6), and vertical integration (Factor 8).

[의대생에게 해부학을 가르치는 것]은 [기초 과학자를 위한 연구 활동]이나 [임상의사를 위한 환자 치료 의무(및 연구 과제)]와 떼어둘 수 없다. 의과대학들은 의과대학 학생들이 의사가 되기 위해 더 진지하게 준비할 책임을 지도록 촉구한다. 대부분의 의과대학에서 결정적이지만 불행하게도 잘 발달되지 않은 분야는 [인적 자원 관리와 교수 업적의 보상]이다. 기초과학과 임상과학의 교육은 학문적 활동으로 평가받지 못하고 결과적으로 낮은 우선 순위를 받는다. 보상에 대한 선택(홍보, 공간, 기부 의자 등)은 교육 및 임상 역량이 아닌 출판물 수와 보조금 기금에 거의 전적으로 기초한다.

Teaching (anatomy to) medical students is almost invariably combined with research activities for basic scientists or patient care duties (and research tasks) for clinicians (Ten Cate et al., 2011). Medical schools are urged to take their responsibility for preparing medical students to become doctors more seriously (Fraser, 1991). A crucial but unfortunately poorly developed area in most medical schools is human resource management and the rewarding of teaching accomplishments (Bergman and de Goeij, 2010). For academic staff, there is a strong emphasis on research targets, whereas teaching in both basic and clinical sciences is less valued as an academic activity and consequently receives low priority (Older, 2004). Selection for rewards (promotions, space, endowed chairs, etc.) is almost exclusively based on the number of publications and grant funding, not on teaching and clinical competence (Cahill and Leonard, 1999; Fasel et al., 2005).

학부 및 기관의 문화에 교육이 가치있게 여겨지고, 장려되며, 내면화될 필요가 있다. (해부학) 교육의 미래 발전과 개선은 우수하고 열정적인 교사들과 교육자들이 그들의 기관의 교육의 질을 향상시키기 위해 기꺼이 노력함으로써 성취될 수 있다(Bergman and de Goeij, 2010). "교사는 훈련을 받아야 하고, 좋은 교사는 생산적인 연구원들과 마찬가지로 보상을 받아야 하며, 가난한 교사는 상담을 받아야 한다."

Teaching needs to be valued, encouraged, and internalized into the culture of the department and institution (Ten Cate et al., 2011). Future developments and improvements in (anatomy) education can only be accomplished by rewarding excellent and enthusiastic teachers and educationalists willing to work to improve the quality of education in their institution (Bergman and de Goeij, 2010). “Teachers should be trained; good teachers should be rewarded, as are productive researchers; and poor teachers should be counseled” (Monkhouse, 1992).

교수 성과를 보상하지 못하는 것은 부분적으로 의학 교육자로서 성공하기 위해 필요한 복잡한 기술을 인식하지 못했기 때문일 수 있다. 최근의 문헌에는 교육학 및 기타 학습 관련 활동에 대한 학문을 입증하는 데 초점을 맞춘 교육학에 대한 흥미로운 출판물이 포함되어 있다. 과거 기관들이 개인의 학술적 성취를 평가하는 학술활동의 주요 기준은 연구, 과학적 결과에 대한 동료평가, 새로운 지식의 보급이었다. 그러나 의학교육의 혁신, 발전, 변화는 그들의 연구와 환자 치료 임무 외에도 많은 의과대학에서 [교육적 사명의 중요성]에 대한 인식을 증가시켰다. 결과적으로, 학술활동의 정의가 넓어지면서, 각각의 보상 시스템의 상응하는 변화와 함께 나타났다. 가르치는 것은 학문적인 행위일 수 있지만, 심지어 많은 일류 학술 기관들에서도 모든 가르침이 학문적인 것은 아니다. 

The failure to reward teaching accomplishments could in part be due to failure to recognize the complex skills necessary to succeed as a medical educator. The recent literature contains interesting publications on scholarship in education, focusing on demonstrating scholarship in teaching and other learning-related activities (in contrast to educational research, which can be assessed and rewarded using the same types of evidence as basic science or clinical research) (Turner et al., 2012). In the past, the main criteria for scholarly activities by which institutions evaluated individuals' academic progress were research, peer review of scientific results, and dissemination of new knowledge (Srinivasan et al., 2011; Turner et al., 2012). However, innovation, development, and changes in medical education have entailed a growing appreciation of the importance of the educational mission at a number of medical schools, besides their research and patient care missions (Pawlina and Drake, 2010; Turner et al., 2012). In consequence, broader definitions of scholarship have emerged along with corresponding changes in the respective reward systems (Turner et al., 2012). Teaching can be a scholarly act, but even in many top academic institutions not all teaching is scholarly (Beckman and Cook, 2007).

지속적인 학술활동 기록이 학계에서 발전의 기초가 되기 때문에, 교수학자들의 연구를 구현하고 평가하기 위해 교수에 대한 학술활동 평가 기준을 정의하기 위한 다양한 이니셔티브가 발표되었다. 학술적 가르침은 학생들의 자기지식을 변화시키고 확장시켜야 하며, 대중에게 공개되어야 하며, 검토의 대상이 되어야 하며, 다른 교육자들과 교류할 수 있어야 한다는 데 동의한 것 같다(Beckman and Cook, 2007). [가르치는 것과 배우는 것을 위한 학술활동에 참여하는 것]은 해부학자들이 그들이 제공하는 교육적 제품이 품질을 가지고 있고 학생, 기관, 그리고 전문 커뮤니티에 의해 가치를 인정받는 것을 확실히 하기 위한 바람직한 단계로 보인다. 이 검토의 범위를 넘어 실용성에 대해 더 자세히 논의하지만, 우리는 핀처와 동료들(Turner 등, 2012)과 Simpson 등(2007)을 관심 있는 모든 사람이 더 많이 읽을 수 있는 출발점으로 추천할 것이다.

Since a sustained record of scholarship is the foundation for advancement in academia, various initiatives to define criteria for evaluating scholarship in teaching have been published, in order to implement and assess teaching scholars' work (e.g. (Whitcomb, 2003; Moses et al., 2006; Simpson et al., 2007; Fincher et al., 2009; Turner et al., 2012). There seems to be agreement that scholarly teaching must

• transform and extend students' self-knowledge,
• be open to the public,
• be subjected to review, and
• be accessible for exchange with other educators (Beckman and Cook, 2007).