의과대학생의 성찰 발달을 위한 가장 효과적인 교육법(BEME Guide No. 51)

의과대학생의 성찰 발달을 위한 가장 효과적인 교육법(BEME Guide No. 51)

A Best Evidence in Medical Education systematic review to determine the most effective teaching methods that develop reflection in medical students: BEME Guide No. 51

Jane Uygura, Ellen Stuarta, Muireann De Paora, Emma Wallacea, Seamus Duffya, Marie O’Sheab,

Susan Smitha and Teresa Pawlikowskab

도입

Introduction

성찰적 실천의 증거가 면허 및 재검증 과정의 일부가 되고 있다(College of Canada Family Officients of Canada). 숙련도 크레딧 유지 관리. Mainpro-C Credits 2016; General Medical Council. 2016년 평가 및 재검증을 위한 지원 정보; 스탠포드 의과대학, 대학원 의학 교육, 핵심 역량). 그러나 이러한 강조에도 불구하고 어떻게 하면 성찰을 가장 잘 가르칠 수 있을지에 대해서는 거의 의견이 일치하지 않는다.

evidence of reflective practice is becoming part of licensing and revalidation processes (College of Family Physicians of Canada. Maintenance of Proficiency Credits. Understanding Mainpro-C Credits 2016; General Medical Council. Supporting Information for Appraisal and Revalidation 2016; Stanford School of Medicine, Graduate Medical Education, Core Competencies). Despite this emphasis, however, there is little concurrence about how to best teach reflection.

성찰은 복잡한 구조로, 그 결과, 이 분야에서 해결해야 할 과제 중 하나는 그 정의에 대한 합의 부족이었다. 그러나, 최근 Nguyen et al.의 문헌에 대한 체계적 검토는 5개의 핵심 요소와 2개의 외부 요소를 확립하여 반영하였다(Nguyen et al. 2014).

Reflection is a complex construct and subsequently, one of the challenges in this area has been lack of consensus around its definition. However, a recent systematic review of the literature by Nguyen et al. established five core components and two extrinsic elements to reflection (Nguyen et al. 2014).

"반성은 자기(S)를 자신의 생각과 행동(TA)과 기본 개념 프레임(CF)과의 주의력, 비판적, 탐구적, 반복적(ACEI) 상호작용에 참여시키는 과정으로, 이를 변화시키고 변화 자체에 대한 관점(VC)을 가지고 있다."

“Reflection is the process of engaging the self (S) in attentive, critical, exploratory and iterative (ACEI) interactions with one’s thoughts and actions (TA), and their underlying conceptual frame (CF), with a view to changing them and a view on the change itself (VC).”

그들의 성찰개념 모델에서, 그들은 성찰에 영향을 미치는 두 개의 외부 요소(트리거 그리고 맥락)를 설명함으로써 다섯 가지 핵심 요소들에 더한다.

In their conceptual model of reflection, they add to the five core components by describing the two extrinsic elements that impact reflection, the trigger, and the context.

의료 훈련 전반에 걸쳐 성찰의 사용을 뒷받침하는 증거가 증가하고 있다. 예를 들어, 'RLS'점수와 '성찰적 자기효능감'에 대한 높은 점수는 의대 2학년 학생들의 학업성취도 향상과 연계되었다(Sobral 2001). 마찬가지로, 성찰 및 re-visitation 역시 Blatt 외 연구진에서 3학년 의대생들의 표준화된 환자에 대한 임상 성과를 향상시켰다. (2007). 내과 레지던트, 마메데 외 연구원이 연구했다. (2008) 복잡하고 특이한 사례를 진단할 때 반성을 연습할 때 더 정확했다.

There is increasing evidence to support the use of reflection throughout medical training. For example, higher scores on the Reflection in Learning Scale and in reflection self-efficacy were linked to better academic performance in second-year medical students (Sobral 2001). Similarly, reflection and re-visitation improved clinical performance with standardized patients in third-year medical students in a study by Blatt et al. (2007). Internal medicine residents, studied by Mamede et al. (2008), were more accurate when diagnosing complex, unusual cases if they were practicing reflection.

미국 의과대학협회(American Medical College Association of Colleges)의 권고에 의해 예시된 바와 같이, 성찰은 학부 의학 커리큘럼의 핵심 임상 기술이 되고 있다. (Association American Medical Reference For Chemical Engagements For Cublic Medical Education For Budduclea 2008) 국제적으로도 CPD의 구조는 성찰 기술에 더욱 중점을 두고 있다. 예를 들어, 캐나다의 가족 의사 대학과 영국의 일반의사회는 이제 의사들이 면허 갱신 과정의 일부로 반성의 증거를 만들도록 요구한다(캐나다의 가족 의사 대학). 숙련도 크레딧 유지 관리. Mainpro-C Credits 2016; General Medical Council. 2012년 평가 및 재검증을 위한 지원 정보, Cutrer et al. 2017).

Reflection is becoming a core clinical skill in undergraduate medical curricula, as exemplified by the recommendations from the Association of American Medical Colleges of Colleges, (Association American Medical Recommendations For Clinical Skills Curricula For Undergraduate Medical Education 2008). Internationally, the structure of continuing professional development in medicine is also placing an increased emphasis on reflection skills. For example, the College of Family Physicians in Canada and the General Medical Council in the United Kingdom (UK) now require doctors to produce evidence of reflection as part of their license renewal process (College of Family Physicians of Canada. Maintenance of Proficiency Credits. Understanding Mainpro-C Credits 2016; General Medical Council. Supporting Information for Appraisal and Revalidation 2012, Cutrer et al. 2017).

이 검토의 목적은 다음을 결정하는 것이었다. 

(i) 성찰의 개발을 촉진하기 위해 현재 어떤 교육적 개입이 사용되고 있는지, 

(ii) 반사는 어떻게 평가되고 있는가? 

(iii) 가장 효과적인 개입은 무엇인가. 

The aim of this review was to determine: 

(i) which educational interventions are currently being used to facilitate the development of reflection, 

(ii) how is reflection being assessed, and 

(iii) what are the most effective interventions. 

2차 연구 질문은 또한 제공하도록 설정되었다. 현재 어떻게 성찰이 가르쳐지고 있는지에 대한 어떤 맥락이다. 여기에는 다음이 포함된다. 

(i) 커리큘럼에서 그러한 개입이 제공되거나 권장되는 경우, 

(ii) 이러한 개입을 도입할 때 일반적으로 교수진이 책임지거나 지지되는 경우 

(iii) 이러한 개입을 사용하는 데 장벽은 무엇인가?

Secondary research questions were also set to provide is some context as to how reflection currently being the taught. These included: 

(i) where in curriculum are such interventions offered or recommended, 

(ii) which faculty are generally responsible or endorsed for introducing such interventions, and 

(iii) what are the barriers to using these interventions.

리뷰 방법론

Review methodology

이 검토의 목적은 현행 실무의 지형을 이해하고 효율성을 고려하는 것이었으므로, 구성주의자와 실증주의 패러다임을 모두 기초로 하였다.

The purpose of this review was to both understand the landscape of current practice and to consider effectiveness, therefore, it was based on both a constructivist and a positivist paradigm.

개입 유형

Types of interventions

참가자 유형

Types of participants

연구 유형

Types of studies

결과 측정의 유형

Types of outcome measures

포함된 논문의 교육 결과는 슈타인어트 외 연구진이 채택한 교육 성과에 대한 커크패트릭의 프레임워크를 사용하여 평가되었다. (2006). 이 버전은 의료 교육 연구에 대한 바의 적응과 스테이나르트의 원래 레벨 3을 자체 보고(3a)와 관찰 가능한(3b) 행동 변화로 세분화(Barr et al. 2000; Kirkpatrick 및 Kirkpatrick 2006; Steinert 등 2006). 표 1을 참조하십시오. 의료 교육 연구에서 커크패트릭의 프레임워크의 유용성에 대한 비판은 있지만, 많은 BEME 검토에 사용되었고 다른 비 BEME 의료 교육 검토에도 널리 사용되어 왔다(Steinert et al. 2006; Yardley and Dornan 2012).

Educational outcomes of the included papers were assessed using the Kirkpatrick’s framework for educational outcomes adapted by Steinert et al. (2006). This version includes Barr’s adaptations for medical education research and Steinert’s subdivision of the original Level 3 into selfreported (3a) and observable (3b) changes in behavior (Barr et al. 2000; Kirkpatrick and Kirkpatrick 2006; Steinert et al. 2006). See Table 1. Although there are criticisms of the usefulness of Kirkpatrick’s framework in medical education research, it has been used in many BEME reviews and has been widely used in other non-BEME medical education reviews (Steinert et al. 2006; Yardley and Dornan 2012).

검색 전략

Search strategies

포함/제외기준

Inclusion/exclusion criteria

집단 Population

학부 의대생들은, 만약 공부과목이 inter-professional이라면, 그 연구는 포함시켰고, 의대생들은 그 개입의 대상이 된 그룹의 일부였다.

Undergraduate medical students, if study subjects were inter-professional, studies were included, and if medical the students were part of group targeted for the intervention.

개입 유형 Intervention type

비록 유일한 초점은 아닐지라도, 연구 개입은 학생들의 성찰 능력을 발전시키는 방법을 포함해야만 했다.

The study intervention had to involve a method of developing students’ reflective skills, even if this was not the sole focus.

Assessment

Study type

Exclusion criteria

Language and country

Date of review

리뷰의 선별 및 검토

Screening and review of abstracts

4개 팀원(MdP, SD, ES, JU)은 Covidence 소프트웨어(Covidence 2018)를 이용한 전체 텍스트 검토의 적격성을 초기 검색에서 파악한 추상화를 독립적으로 평가했다.

Four team members (MdP, SD, ES, and JU) independently assessed abstracts identified in the initial searches for eligibility of full text reviewing using Covidence software (Covidence 2018).

데이터 추출

Data extraction

포함 기준에 부합하는 기사에 대해서는 전체 논문를 취득했다. 이후 이 논문들은 관련성을 보장하기 위해 독립적으로 5명의 저자가 최종 데이터 추출에 포함되도록 다시 검토되었다.

Full-text papers were acquired for articles that met the inclusion criteria. These papers were then again reviewed for inclusion in the final data extraction by five authors independently in order to ensure relevancy.

연구 검토

Appraisal of studies

정량적 측정을 사용한 연구는 Buckley가 2009년 BEME 리뷰(Buckley et al.)에서 개발한 기준을 사용하여 평가되었다. 2009년) 및 2016 BEME 리뷰에서 Barrett에 의해 추가로 개발되었다(Barrett et al. 2016). 각 기준은 독립적으로 "met," "unmet," 또는 "unclear"로 표시되었다. 이 11개의 품질 지표 중 7개는 높은 품질로 간주되기 위해 연구에 의해 충족되어야 했다. 이러한 기준의 윤리적 측면은 BEME 검토에서 Barrett에 의해 더욱 발전되었으며, 이 추가 기준은 정량적 연구에서도 평가되었다(Barrett et al. 2016). 

Studies using quantitative measures were appraised using criteria developed by Buckley in their 2009 BEME review (Buckley et al. 2009) and further developed by Barrett in their 2016 BEME review (Barrett et al. 2016). Each criterion was independently marked as “met,”“unmet,” or “unclear.” Seven of these 11 quality indicators needed to be met by the study to be deemed of high quality. The ethical aspect of these criteria was further developed by Barrett in their BEME review and this additional criterion was also evaluated in the quantitative studies (Barrett et al. 2016). 

정성적 측정을 이용한 연구는 다른 BEME 심사(Critical Appraisal Skills Program, CASP)에서도 사용되어 왔기 때문에 CASP(Critical Appraisal Skills Program)를 이용하여 평가하였다. CASP 점수에 대한 각 품질 지표는 각 연구를 평가하기 위해 "예" "아니오" 또는 "알 수 없음"으로 답변되었다. 

Studies using qualitative measures were appraised using the Critical Appraisal Skills Program (CASP) as this has also been used in other BEME reviews (Critical Appraisal Skills Program (CASP)). Each quality indicator for the CASP score was answered as “yes”“no” or “can’t tell” to appraise each study. 

마지막으로, 연구의 전반적인 방법론적 강도는 다른 BEME 검토(Buckley et al.)에서와 같이 "Strategy of Findings" 모델을 사용하여 등급이 매겨졌다. 2009). 이 모델에서, 1등급은 "결론을 도출할 수 없다"를 나타내고, 5등급은 "결과는 불분명하다"를 나타낸다. 마지막으로, 검토자의 전체적인 인상은 불량, 허용 가능, 양호 또는 우수하다고 평가되었다. 연구의 종합은 방법론이 빈약한 일부 연구의 약점 문제를 해결하기 위해 방법론적 품질에 대한 논의를 통합했다.

Finally, the overall methodological strength of studies was then graded using the coding form “Strength of Findings” model as done in other BEME reviews (Buckley et al. 2009). In this model, grade one indicates “no conclusions can be drawn”, whereas grade five indicates “results are unequivocal”. Finally, the reviewer’s overall impression was rated as either poor, acceptable, good, or excellent. Synthesis of studies incorporated discussion of methodological quality to address the issue of weaknesses in some of the studies with poor methodologies.

자료 합성

Data synthesis

성찰을 가르치기 위한 교육적 개입을 평가하기 위한 연구 설계는 매우 이질적이었으며, 그 결과 정량적 연구의 메타분석이 가능하지 않았다. 성찰의 정의에 대한 광범위한 개입과 다양한 해석이 있었다. 따라서 확인된 연구는 이러한 다양성을 수용하기 위해 서술적 합성narrative synthesis으로 접근되었다(Pope et al. 2006). 연구는 처음에는 분석을 위한 정성적 연구와 정량적 연구로 분류되었다. 주제가 등장함에 따라 추가 합성을 위해 그에 따라 연구가 그룹화되었다. 리뷰어들은 전문적 판단을 이용해 연구를 총체적으로 보면서 '성찰을 어떻게 가르칠 수 있는가'라는 리뷰 연구 질문에 답하는 과정에서 주어진 연구의 기여도를 평가했다. 검토자들은 또한 기술된 모든 교수법에 대한 개념적, 이론적 또는 방법론적 근거와 연구의 품질과 적절성에 주목하였다. 이 합성의 목적은 교육자들에게 학부 의대생들에게 반성을 가르치기 위한 적절한 방법을 선택하기 위한 이해도 향상과 더불어 학부 의학 교육에서의 성찰 교육의 현주소를 제공하는 것이었다.

The study designs for assessing educational interventions to teach reflection were very heterogeneous and as a result, a meta-analysis of quantitative studies was not possible. There was a wide range of interventions and varied interpretations of the definition of reflection. Therefore, the studies identified were approached with a narrative synthesis to accommodate this diversity (Pope et al. 2006). Studies were initially grouped into qualitative and quantitative studies for analysis. As themes emerged, studies were grouped accordingly for further synthesis. Using their professional judgment, reviewers assessed the contribution of a given study in answering the review research question, “How can reflection be taught?” looking at studies in a holistic manner. Reviewers also noted the conceptual, theoretical, or methodological basis for any teaching method described and the quality and appropriateness of the study. The aim of the synthesis was to provide educators with an improved understanding for selecting appropriate methods to teach reflection to undergraduate medical students, as well as the current state of the teaching of reflection in undergraduate medical education.

결과 

Results

논문 선정

Selection of papers

그림 1은 검토 과정을 통해 흐름도를 제시하며, 각 단계에서 검토 및 유지되는 기사의 수를 나타낸다.

Figure 1 presents the flow diagram through the review process, indicating numbers of articles reviewed and retained at each stage.

개요 Overview

28개의 핵심 저널 기사는 2005년에서 2017년 사이에 출판되었다. 질적 연구 13건, 양적 연구 11건, 혼합 방법을 이용한 연구 4건이 있었다. 두 명의 저자는 합성에 포함된 두 가지 연구를 했다(Aronson et al. 2011, 2012; Lutz et al. 2013, 2016). 대부분의 연구(n=13)는 미국에서 이루어졌다. 대륙별로는 북미 15개, 유럽 6개, 아시아 5개, 호주 1개, 아프리카 1개 등이었다. 아래의 세 표는 방법론적 접근법(표 2 정량적 연구, 표 3 정성적 연구, 표 4 혼합 방법)별로 연구를 요약한 것이다.

The 28 core journal articles were published between 2005 and 2017. There were 13 qualitative studies, 11 quantitative studies, and 4 studies using mixed methods. Two authors had two studies included in the synthesis (Aronson et al. 2011, 2012; Lutz et al. 2013, 2016). The majority of studies (n¼13) took place in the USA. By continent, 15 studies came from North America, 6 from Europe, 5 from Asia, 1 from Australia, and 1 from Africa. The three tables below summarize the studies by methodological approach (Table 2 Quantitative studies, Table 3 Qualitative studies, and Table 4 Mixed methods).

맥락 Context

학부 의과대학의 임상 기간 동안 20번의 개입이 일어났고 임상 전 해에 8번의 개입이 있었다. 임상 연도의 일부 개입은 학생들이 몇 번의 로테이션을 도는 동안 일어났고, 다른 개입은 임상적 부속에 특정되었다. 이 중 4명은 내과 로테이션 중이었고 산부인과 3명, 소아과 2명, 1차 진료 1명, 2명은 지역사회에 배치됐다. 

• 일부 개입은 특정 과정이나 모듈과 관련이 있었다. 두 가지 개입은 인문학 과목의 일부였다. 개입과 관련된 다른 과정에는 전문성, 의사소통 기술, 임상 기술, 신체 진단, 해부학 및 연구가 포함되었다. 

• 10개의 연구에서, 그 개입은 선택적이거나 시범 프로젝트의 일부였으며 핵심 교과과정과 관련이 없었다.

Twenty interventions took place during the clinical years of undergraduate medical school and eight took place in the preclinical years. Some of the interventions in the clinical years occurred while students covered several rotations, others were specific to a clinical attachment. Of these, four were during the medical rotation, three in obstetrics and gynecology, two in pediatrics, one in primary care, and two were in community placements. 

• Some of the interventions were associated with specific courses or modules. Two interventions were part of the humanities courses. Other courses associated with interventions included professionalism, communication skills, clinical skills, physical diagnosis, anatomy, and research. 

• In 10 of the studies, the intervention was either an elective or part of a pilot project and not associated with the core curriculum.

7개 연구에서는 어떤 교수가 개입했는지 불분명했다. 개입 중 내과는 11개, 일반 실습은 3, 소아과 2개였다. 산부인과, 방사선과, 해부학과, 1차 진료과 교수진들이 각각 한 번의 개입에 관여했다.

In seven studies, it was unclear which faculty members were involved in the intervention. The faculty of medicine was involved in 11 of the interventions, general practice was involved in 3, pediatrics in 2. Obstetrics and gynecology, radiology, anatomy, and primary care faculty were each involved in one intervention.

개입 길이와 수업 시간의 수는 연구 사이에 매우 다양했다. 개입 기간은 4주에서 3년까지 다양했다. 교육 시간의 수는 때때로 확인하기가 어려웠지만 대략 1시간에서 12시간까지 다양했다.

The length of the intervention and the number of teaching hours ranged greatly between studies. The length of the intervention ranged from four weeks to three years. The number of teaching hours was sometimes difficult to ascertain but ranged from approximately 1h to 12h.

개입 Interventions

트리거(n=23)와 쓰기(n=22)는 개입에 가장 많이 사용되는 구성 요소였다.

Triggers (n¼23) and writing (n¼22) were the most common components used in interventions.

소개 Introduction (n¼9)

소개는 단순히 성찰의 정의를 제공하는 것에서부터 성찰 과정에 대한 2시간의 강의 자료에 이르기까지 다양했다. 정의나 간단한 지시를 제공하는 것은 두 가지 연구에서 수행되었다. 성찰이나 과정에 대한 구두 정보는 세 가지 연구에서 제공되었다. 두 개의 연구는 광범위한 대화형 세션을 열었다. 다른 연구에서는 소개가 있을 수 있지만 명시적으로 설명되지는 않았다.

Introductions ranged from simply providing a definition of reflection to two hours of lecture material on the reflective process. Providing a definition or simple instruction was done in two studies. Verbal information on reflection or the course was provided in three studies. Two studies held extensive interactive sessions. Introductions may have been present in other studies, but were not explicitly described.

트리거(n (23) Trigger (n¼23)

성찰의 가장 흔한 트리거는 임상 경험 (n=14)이었다. 어떤 성찰은 임상 로테이션의 일부로 시작되었고, 다른 것에서는 개입을 위해 특정한 임상적 상호작용을 구성했다. 그 밖의 트리거로는 글쓰기 프롬프트(n = 4)와 전문직업성 또는 문학과 관련된 주제(n¼2) 연구경험(nn1) 가상환자(n¼1) 편향성 검사(n¼1) 등이 있었다.

The most common trigger for reflection was a clinical experience (n¼14). Some reflections were initiated as part of a clinical rotation, while others, a specific clinical interaction was organized for the intervention. Other triggers included writing prompts (n¼4), subject matter related to professionalism (n¼3) or literature (n¼2), research experiences (n¼1), a virtual patient (n¼1), and a test for bias (n¼1).

쓰기 Writing (n¼22)

글쓰기로는, 10개는 성찰적 과제나 에세이, 3개는 포트폴리오, 2개는 저널이 사용되었다. 그 중 6개의 개입에서, 글쓰기는 온라인에서 행해졌다. 이 중 5개는 블로그나 토론 포럼 형식으로 되어 있었다. 여섯 번째는 가상 환자 상호작용 중에 작은 성찰을 쓰는 것이었습니다. 이 중 6가지 개입에서 학생들은 단 한 가지 성찰문만 썼다. 다른 개입에 있어서 학생들로부터 2개에서 15개의 성찰적 글쓰기가 요구되었다.

Writing was described as a reflective assignment or essay in 10, a portfolio in 3, and a journal in 2 of the studies. For six of the interventions, writing was done online. Five of these were in either a blog or discussion forum format. The sixth involved writing small reflections at points during a virtual patient interaction. In six of these interventions, students only wrote one reflection. Two to fifteen reflection accounts were required from students in other interventions.

가이드라인 Guidelines (n¼12)

어떤 사람은 가이드라인을 prompting 질문이나 템플릿과 같이 포괄적으로 설명하였고, 다른 사람들은 사용할 질문의 세부사항을 제공했다. 사용된 구체적 가이드라인의 네 가지 예로는...

• 전문가로서의 경험으로부터 학습(LEAP) 지침(Aronson et al. 2011), 

• 서술적 반사 도구(Peterkin et al. 2012), 

• Gibbs 사이클(Gibbs 1988), 

• 중대 사건 기법 형식(Flanagan 1954)이다.

Guidelines were described by some more broadly, as prompting questions or templates, while others gave specifics of the questions used. Four examples of specific guidelines that were used are: 

• learning from your experiences as a professional (LEaP) guidelines (Aronson et al. 2011), 

• Narrative Reflection Tool (Peterkin et al. 2012), 

• Gibbs cycle (Gibbs 1988), and 

• Critical Incident Technique format (Flanagan 1954).

소그룹 토론 Small group discussion (n¼17)

소그룹의 규모는 3명에서 10명까지 다양했다. 이 연구군 중 7개에서 발린트(n¼2)와 학습자 중심 접근법(n22), 체크인 또래지원법(n¼1)과 브룩필드 반성의 단계(n11) 및 임상반사교육(n11) 등 특정 방법에 의해 기능이 안내되었다. 

The size of small groups ranged from 3 to 10 students. In seven of these studies group, the function was guided by a specific method including Balint (n¼2), learner centred approach (n¼2), check-in peer support (n¼1), Brookfield steps of reflection (n¼1), and clinical reflection training(n¼1). 

그룹 토론의 초점은 다음과 같다: 

(i) 환자와의 경험(6), 

(ii) 성찰 기술 기르기(5), 

(iii) 특정 주제: 전문성(1) 마음-신체 기술(1), 편향 관리(1), 학습 목표(1), 연구(1) 등이다. 

The focus of the group discussions included: 

(i)experiences with patients (n¼6), 

(ii) building skills in reflection (n¼5), or 

(iii) specific topics; professionalism(n¼1) mind-body skills (n¼1), managing bias (n¼1),learning goals (n¼1), and research (n¼1). 

두 가지 연구에서 소그룹들은 온라인 토론 포럼으로 운영되었다. 한 연구에서, 소그룹은 학생-주도로 이루어졌다. 

In two studies,the small groups operated as online discussion forums. In one study, the groups were peer led. 

튜터 Tutor (n¼20)

튜터의 역할은 매우 다양했고, 때때로 촉진자 또는 멘토로 묘사되었다. 튜터의 역할은 감독하는 것에서부터 피드백을 제공하는 것, 그리고 촉진하는 것부터 상담까지 다양했다. 학생들과 교사들 간의 상호 작용은 온라인에서, 그룹과 일대일로 이루어졌다. 일부 연구에서는 교사들이 개입에 한 번 참여했고, 다른 연구에서는 개입 중에 여러 번 참여가 이뤄졌다. 

The role of the tutor varied a great deal and was some-times described as a facilitator or as a mentor. The role of the tutor ranged from overseeing to providing feedback and from facilitating to counseling. The interaction between students and tutors happened online, in groups and one-on-one. In some studies, tutors engaged once in the intervention and in others, engagement occurred several times during the intervention. 

피드백 Feedback (n¼17)

이러한 대부분의 연구에서는 피드백의 성격이 무엇이며, 그것이 반사 과정과 직접적으로 관련이 있는지는 완전히 명확하지 않았다. 피드백은 일반적으로 가정교사에 의해 제공되었지만, 일부 연구에서는 또래(n³7)로부터 피드백이 오기도 했다. 피드백은 대면, 서면 또는 온라인이었다. 9개의 연구에서, 개인 교사나 동료들에게 피드백을 제공하는 방법에 대한 교육이나 지침을 제공받았다는 몇 가지 징후가 있었다. 특정 루브릭을 사용하여 기술된 연구는 없지만, Aronson 외 연구진(2012)은 피드백을 위해 사용한 프로토콜을 기술했다. 

In most of these studies, it was not entirely clear what the nature of the feedback was and whether it related directly to the reflective process. Feedback was generally provided by the tutor, but in some studies, feedback also came from peers (n¼7). Feedback was either face-to-face, written, or online. In nine studies, there was some indication that tutors or peers were given some training or guidelines on how to provide feedback. None of the studies described using a specific rubric, but Aronson et al. (2012) did describe a protocol they used for feedback. 

장애요인 Barriers

학생과 튜터 모두의 저항이 언급되었고 이 중 일부는 이미 가득 찬 교육과정에 성찰개입이 추가적으로 도입된 것에 대한 부담과 관련이 있었다. 개입을 완료하는데 까지의 시간이나 학생들이 과제를 제출해야 하는 것도 해결해야 할 문제였다. 학생들은 오직 네 가지 연구에서의 성찰의 관련성에 의문을 제기했다. 학생들의 태도는 일반적으로 개입에 대해 긍정적이지만, 시간을 들여야 하는 것, 과제의 부담workload, 과목 pass와의 관련성 등이 학생들이 관심을 갖는 주된 초점이 되었다. 

Both student and tutor resistance were mentioned and some of this related to the additional burden of a reflection intervention in an already full curriculum. Timelines to complete interventions and for students to submit assignments were also seen as a challenge. Students questioned the relevance of reflection in only four studies. Students’ attitudes were generally positive toward interventions but time commitment, workload, and relevance to passing exams were the main focus of student concerns. 

정보기술(IT)을 이용한 개입은 설정, 기술적 문제 발생, 교수진 이용자의 편의성에 문제가 있다는 점에 주목했다. IT 플랫폼은 익명성을 제공할 수 있지만, impersonal하게 느껴지기도 했다. 이를 회피하기 위해 온라인 활동에 앞서 소개 또는 소그룹 세션과의 결합이 제안되었다. 편향된 피드백을 예방하고 소그룹 역학을 관리하는 기술을 개발하는 교수진 교육도 장벽을 극복하는 방안으로 거론됐다.

Interventions using information technology (IT) noted that set up, arising technological problems, and faculty user comfort was problematic. IT platforms could provide anonymity, but were also felt to be more impersonal. A combination with an introduction or small group session prior to online activity was proposed to circumvent this. Faculty training to prevent biased feedback and develop skills to manage small group dynamics were also mentioned as ways to overcome barriers.

평가 

Assessment

28개 연구 중 14개 연구에서는 성찰을 평가하는 방법에 대한 명확한 가이드라인을 제시하였다.

Fourteen of the twenty-eight studies provided clear guide-lines about how reflection was assessed.

사용된 세 가지 검증된 루브릭: 

(i) 반사 능력 루브릭(RAR) (Learning Ability Rubric, 2008), 

(ii) GRAS(Groningen Reflection Ability Scale) (Aukes L et al. 2007), 

(iii) 반사 능력 평가 (REFLECT) (Wald et. 2012) 등이 있다. 2012).

There were three validated rubrics used: 

(i) Reflective Ability Rubric (RAR)(Learman et al. 2008), 

(ii) Groningen Reflection Ability Scale(GRAS) (Aukes L et al. 2007), and 

(iii) Reflection Evaluation for Enhanced Competencies Tool (REFLECT) (Wald et al. 2012).

RAR과 REFLECT는 세 가지 연구에, GRAS는 두 가지 연구에 사용되었다. 다른 두 연구에서, 성찰적 글쓰기의 평가는 메지로우의 성찰성에 대한 설명에 기초하는 것으로 설명되었다.

RAR and REFLECT were used in three studies and GRAS in two. In two other studies, assessment of written reflections was described as being based on Mezirow’s descriptions of reflectivity.

19개 연구에서는 그 성찰이 형성적으로 평가되었다. 3개의 연구는 형성적 및 총괄적 평가를 모두 가지고 있었고 1개의 연구는 종합 평가만 사용했다.

In 19 studies, the reflection was assessed formatively. Three studies had both a formative and summative assessment and one study used only summative assessment.

정량적 연구: 치우침 위험

Quantitative studies: Risk of bias

정성 연구: 치우침 위험

Qualitative studies: Risk of bias

결과 Outcomes

교육 결과는 슈타인어트 외 연구진이 채택한 커크패트릭 프레임워크를 사용하여 분류되었다. (2006). 세 가지 연구가 레벨1로 순위가 매겨졌는데, 이는 결과가 개입에 대한 학생들의 반응만을 다루었다는 것을 의미한다. 대다수의 연구(n¼17)가 2a로 순위가 매겨져 학생의 지식과 기술 습득을 알 수 있었다. 8개의 연구는 수준 2 b인 학생들의 태도와 기술의 변화를 보여주었다. 어떤 연구도 3, 4라는 상위 레벨에는 도달하지 못했다.

Educational outcomes were classified using the Kirkpatrick framework as adapted by Steinert et al. (2006). Three studies were ranked as level 1, meaning that outcomes covered student reactions to interventions only. The majority of studies (n¼17) were ranked as 2a, indicating student acquisition of knowledge and skills. Eight studies demonstrated a modification of student attitudes and skills, level 2 b. None reached the higher levels of three and four.

자료 합성 Data synthesis

Aronson 외 연구진(2012년)은 가이드라인(LEaP)이 있거나 없는 성찰적 글쓰기를 비교한 무작위 시험 연구는 이러한 개입에 대한 강력한 증거를 제공한다.

Aronson et al. (2012) in their randomized trial comparing reflective writing with or without a guideline (LEaP) provide strong evidence for this intervention.

아론슨 외 연구진(2012년)의 무작위 시험도 피드백이 성찰적 글쓰기에 미치는 영향을 살펴보았다.

Aronson et al.’s(2012) randomized trial also looked at the impact of feedback on reflective writing.

데비 외 연구진(2017년)은 2시간 분량의 소개introduction 모듈이 학생 성찰에 미치는 영향을 연구했다. 비록 이것이 효과적인 것으로 증명되었지만, 핵심 기사의 다른 어떤 연구도 이러한 유형의 개입을 구체적으로 검토하지는 않았다.

Devi et al. (2017) studied the impact of a two-hour introduction module in on student reflection a nonrandomized experimental trial. Although this proved effective, no other studies in the core articles specifically looked at this type of intervention.

역사적으로 통제된 연구에서, Spampinato 외 연구진(2014년)은 해부학의 전문직업성에 관한 소규모 그룹의 개입이 성찰에 미치는 영향을 연구했다. 이 연구의 중재 그룹에서는 성찰이 개선되지 않았다.

In a historically controlled study, Spampinato et al. (2014) studied the effect of a small group intervention around professionalism in anatomy, on reflection. Reflection did not improve in the intervention group in this study.

Aukes 등은 경험적 학습이 성찰을 강화하는 효과적인 계기가 된다는 것을 사전 및 사후 테스트 연구에서 결론지었다. 개인적 경험을 트리거로 사용하는 것도 위에서 언급한 듀크 외(2015) 개입의 필수적인 부분이었다.

Aukes et al. (2008) concluded from their pre- and posttest study that experiential learning was an effective trigger to enhance reflection. Use of personal experience as a trigger was also an integral part of Duke et al.’s(2015) intervention, mentioned above.

성찰을 촉진하기 위한 온라인 형식 사용은 많은 연구에서 지원되었다.

Use of online formats to promote reflection was supported by a number of studies.

질적 연구는 또한 성찰의 이점을 여러가지로 지적했다. 연구 결과는 학생들이 더 self-aware하게 될 수 있으며, 이것은 자기 관리self-care를 증가시키고 결과를 통해 스트레스를 감소시킬 수 있다는 것을 보여주었다. 다른 가능한 반성의 가능성에는 어려운 임상 상황에서 의사소통을 위한 편견의 감소와 더 창의적인 방법이 포함되었다.

Qualitative studies also pointed to a number of benefits of reflection. Findings indicated that students may become more self-aware, which could increase self-care and outcomes decrease stress. Other possible of reflection included a decrease in bias and more creative ways to communicate in difficult clinical situations.

고찰 Discussion

2014년 Nguyen 외 연구진의 분석은 이 주제에 대한 문헌의 합의 부족을 해결하기 위해 매우 필요한 반성의 정의를 제공했다. 이번 심사에서 기사의 적격성을 평가하는 과정에서 이런 공감대 부족이 여실히 드러났다. 성찰이라는 용어는 여러 가지 다른 방법으로 의학 문헌에서 사용되었다. 가장 단순하게는, 성찰은 학습 자료나 이전의 과제를 검토하는 과정을 설명하기 위해 사용되었다. 성찰이라는 용어의 보다 정교하게 사용한 경우, 이는 review가 동반된 자기평가의 과정을 나타냈다.

Nguyen et al.’s analysis in 2014 provided a much needed definition of reflection to address the lack of consensus in the literature on this topic as it proliferated. During the process of assessing articles for eligibility in this review, this lack of consensus was evident. The term reflection was used in the medical literature in a number of different ways. At the more simplistic end of things, reflection was used to describe the process of reviewing learning material or previous tasks. More sophisticated uses of the term reflection indicated a process of self-evaluation associated with the review.

이번 평론에서 기사의 적격성을 평가하는 과정에서 얻은 또 다른 통찰은 많은 교육자들이 학생들에게 성찰의 방법을 가르치지 않고 성찰을 사용하고 있다는 것이었다. 학생들의 성찰적 글쓰기는 성찰 이외의 주제를 대상으로 한 교육 개입 과정에서 학생들의 경험에 대한 통찰력을 얻기 위한 수단으로 많은 연구에서 사용되었다. 특히, 학생들에게 성찰을 가르치거나 성찰을 촉진하기 위한 개입이 없는 상태에서 성찰능력을 평가한 연구는 수없이 많았다. 이 검토의 핵심적 논문에서 나온 결과에 따르면 여러 종류의 개입이 반사 능력을 향상시킬 수 있다는 것을 나타내며, 따라서 성찰은 순전히 타고난 능력이라기 보다는 실제로 개발할 수 있는 기술임을 나타낸다. 이 검토 과정은 이러한 지식이 의료 교육계에 널리 퍼지지 않는다는 것을 강조했으며 이는 부타니 외가 소아과 의사 교육자들과 함께 수행한 최근 연구에 의해 뒷받침되고 있다(Butani et al. 2017).

Another insight from the process of assessing articles for eligibility in this review was that many educators were using reflection without teaching students how to reflect. Students’ written reflections were used in many studies as a means of gaining insight into student experiences during educational interventions aimed at topics other than reflection. Significantly, there were numerous studies in which students were assessed on their ability to reflect with no intervention to teach or facilitate reflection. Findings from core articles in this review indicate that several types of interventions can improve reflective ability and therefore indicate that reflection is indeed a skill that can be developed rather than a purely innate ability. The process for this review has highlighted that this knowledge is not widespread in the medical education community and this is supported by a recent study done by Butani et al. with pediatric medical educators (Butani et al. 2017).

이 검토의 주요 연구들은 방법론과 교육 개입 설계 모두에서 이질적이었다. 교육 개입이 이질적이었던 이유는 성찰의 복잡성, 성찰의 정의에 대한 의견의 불일치, 성찰의 과정에 대한 교육자의 이해의 다양성variability 때문일 수 있다.

The core studies in this review were heterogeneous both in methodology and design of educational interventions. The heterogeneity of educational interventions may be due to the complexity of reflection itself, the lack of consensus around the definition of reflection and variability in educators understanding of the reflective process.

이 검토는 성찰이 교육과정 전반에 걸쳐 (임상 전과 사무직 환경, 핵심 프로그램 및 선택과정에), 많은 다른 능력들과 연관되어 사용되고 있다는 것을 발견했다. 이러한 요소들은 모두 간섭 설계에 영향을 미칠 수 있다. 그러나, 성찰에 대한 개입의 효과를 연구하기 위한 목적으로, 이 검토에서, 개입을 분해하고 단순화할 수 있는 것이 증거의 질을 향상시킬 수 있다는 것은 명백하다.

This review found that reflection is being used across the curriculum, in pre-clinical and clerkship settings, in core programs and electives and in association with many different faculties. These factors can all have an impact on the intervention design. However, for the purposes of studying the effectiveness of interventions on reflection, it is clear from this review that breaking down and simplifying the interventions can improve the quality of evidence.

성찰을 가르치기 위한 개입에 대한 연구는 한두 가지 구성요소에 집중함으로써 이익을 얻지만, (성찰 자체의 복잡성과 반복적 특성 때문에) 이러한 구성요소를 조합할 경우, 더 나은 결과를 산출할 가능성이 있다(Nguyen et al. 2014). 검토 결과는 성찰의 복잡성을 탐색하기 위해서는 학생들이 어느 정도 도움을 받는 것이 중요하며, 소개, 지침서 작성, 업무에 대한 피드백을 통해 성찰에 대한 학습을 통해 이익을 얻는다는 것을 나타낸다(Aronson et al. 2012, Devi et al. 2017). 또한, 개인적인 경험이 학생들을 성찰 과정에 참여시키는 효과적인 계기가 된다는 것을 강조해왔다. 이는 1980년대 보이드와 팔레스가 "경험"을 성찰의 방아쇠로 식별하였고, 또한 응우옌 외가 최근 성찰의 정의에서 필수적인 부분으로 포함하였다는 점에서 놀랍지 않다.

Although research into interventions to teach reflection would benefit from concentration on one or two components, it is likely that a combination of these components will produce better results, due to the complexity and iterative nature of reflection itself (Nguyen et al. 2014). The review findings indicate that it is important for students to receive some assistance in navigating the complexity of reflection and that they benefit from learning about reflection through introductions, guidelines to writing, and by receiving feedback on their work (Aronson et al. 2012, Devi et al. 2017). In addition, this review has highlighted that personal experience is an effective trigger to engage students in the process of reflection. This is not surprising considering “experience” as a trigger for reflection was identified by Boyd and Fales in the 1980s and it is also an integral part of Nguyen et al.’s recent definition of reflection (Boyd and Fales 1983; Nguyen et al. 2014).

문헌에는 [성찰 과정에 필요한 취약성]에 대한 몇 가지 논의가 있다(Arntfield et al. 2016). 소규모 그룹의 지원 지도교사와 동료들은 (이 검토에서 일부 연구에서 지적한 것처럼) 성찰 과정은 학생의 취약하게 하고, 진화하게 할 잠재력을 가지고 있다. 이러한 점에서, 그룹 역학 및 프로세스 관리에서의 튜터 스킬이 소그룹 성공여부의 핵심 요인이 될 가능성이 높다는 점에 유의해야 한다(O'Neill et al. 2016). 또한, 학생 성취도에 가장 큰 영향을 미치는 것 중 하나는 강사와 학습자 사이의 피드백인 것으로 나타났다(Hattie 2008). 성찰을 포함한 온라인 개입의 긍정적인 결과는 특정한 의문을 제기한다. 

• 온라인 소통의 상대적 익명성이 (학생이 스스로) 취약점을 공유하는 데 도움이 되는가? 

• 아니면 단순히 온라인 포럼은 편리함, 유연성, 서포트로 인해 학생들로 하여금 '가드를 내리게' 하는가?

There is some discussion in the literature about the vulnerability that is required for the reflective process (Arntfield et al. 2016). Supportive tutors and peers in small groups have the potential to enable student vulnerability and evolution through the reflective process as indicated by some studies in this review. However, it is important to note that tutor skills in managing group dynamics and process are likely to be key factors in whether small groups are successful in this regard (O’Neill et al. 2016). In addition, one of the most powerful influences on student achievement has been shown to be feedback between the instructor and the learner (Hattie 2008). The positive outcome of online interventions with reflection raises certain questions. 

• Does the relative anonymity of online communication facilitate students sharing vulnerabilities? 

• Or is it simply the ease, flexibility, and support which online forums afford them, which facilitates the lowering of their guards?

이 검토에 의해 조명된 또 다른 문제는 현재 사용 중인 평가 도구였다. 여러 연구에서 검증된 도구가 사용되었지만, 많은 저자들은 성찰을 평가하기 위한 자체적인 고무를 개발하고 있었다. 특정 문맥에 대한 다면적인 개입을 위해 특정 루브릭을 개발할 필요가 있다고 주장할 수 있다(Cook et al. 2015). 그러나 성찰 평가에 이용가능한 도구의 타당성과 신뢰성에 초점을 맞춘 체계적인 검토는 이 분야의 교육자와 연구자에게 유용할 것이다. 또한 이러한 검증 툴 중 일부의 신뢰성에 관한 문헌(Andersen et al. 2014; Moniz et al. 2015)에 우려가 있었음을 고려할 때 이는 설득력이 있다.

Another issue illuminated by this review was the landscape of assessment tools currently being used. Although validated tools were used in several studies, many authors were developing their own rubrics for assessing reflections. It can be argued that specific rubrics may need to be developed for multifaceted intervention in specific contexts (Cook et al. 2015). However, a systematic review concentrating on the validity and reliability of available tools to assess reflection would be useful to educators and researchers in this area. This is also compelling considering that there has been some concern in the literature around the reliability of some of these validated tools (Andersen et al. 2014; Moniz et al. 2015).

마지막으로, 이 검토에서 여러 연구의 증거 수준은 커크패트릭 레벨 1과 레벨 2로 제한되었다. 성찰적 실천의 가치를 확인하기 위해서는 이 분야에서 미래의 연구가 매우 중요하다.

Finally, the level of evidence of studies in this review was limited to Kirkpatrick levels 1 and 2. Future research is critical in this area to ascertain the value of reflection exercises.

교육 개입에 대한 평가 프레임워크로 일반적으로 사용되지만, 커크패트릭 프레임워크는 원래 산업 또는 사업 환경에서 교육 입력의 평가를 위한 관리 렌즈로 구성되었으며, 보다 instructional model of learning을 가정하고 있다. 복잡한 환경에다가 이 모델을 translating 할 때, 커크패트릭의 프레임워크에 내재된 가정은 [다중 인터페이스와 영향을 가진 교육 영역에는 적용이 어려울 수 있음]을 의미한다.

Although commonly used as an evaluation framework for educational interventions, the Kirkpatrick framework was originally constructed with a management lens for the evaluation of training inputs in an industrial or business setting, with a more instructional model of learning. When translating between complex environments, the inherent assumptions behind Kirkpatrick’s framework means that its application in areas of education with multiple interfaces and influences can become difficult,

체계적 검토의 장점과 한계

Strengths and limitations of the systematic review

의료 교육, 연구 및 임상 실무에 미치는 영향

Implications for medical education, research, and clinical practice

이 주제 영역의 증거가 부족하며 단일 요소 개입을 검토하는 추가 연구가 이 지식의 본문에 도움이 될 것이다. 또한, 반영을 위한 평가 도구의 체계적인 검토를 권고한다.

Evidence in this topic area is lacking and further studies looking at single component interventions would be of benefit to this body of knowledge. Furthermore, a systematic review of assessment tools for reflection is recommended.

반성을 개발하기 위한 교육 모듈 설계 권고사항은 

(i) 학습자의 이해를 높이기 위해 성찰을 소개하고 가이드라인을 제공하는 것, 

(ii) 발달적 프로세스를 명확히 기술하고 피드백을 제공하는 것, 

(iii) 학습자에게 미치는 영향을 평가하는 것이다. 이러한 모든 단계에 대해 현실적인 기간을 고려해야 한다.

Recommendations for designing an education module to develop reflection are: 

(i) introduce reflection and provide guidelines in order to increase the understanding of learners; 

(ii) clearly describe the developmental process and provide feedback; and 

(iii) assess the impact for learners. A realistic timeframe should be considered for all of these steps.

결론

Conclusions

Cutrer WB, Miller B, Pusic MV, Mejicano G, Mangrulkar RS, Gruppen LD, Hawkins RE, Skochelak SE, Moore DE, Jr. 2017. Fostering the development of master adaptive learners: a conceptual model to guide skill acquisition in medical education. Acad Med. 92:70–75.

Arntfield S, Parlett B, Meston CN, Apramian T, Lingard L. 2016. A model of engagement in reflective writing-based portfolios: interactions between points of vulnerability and acts of adaptability. Med Teach. 38:196–205.

Aronson L, Niehaus B, Lindow J, Robertson PA, O’Sullivan PS. 2011. Development and pilot testing of a reflective learning guide for medical education. Med Teach. 33:e515–e521.

Epstein RM. 2008. Reflection, perception and the acquisition of wisdom. Med Educ. 42:1048–1050.

Hattie J. 2008. Visible learning: A synthesis of over 800 meta-analyses relating to achievement. Abingdon: Routledge.

Moniz T, Arntfield S, Miller K, Lingard L, Watling C, Regehr G. 2015. Considerations in the use of reflective writing for student assessment: issues of reliability and validity. Med Educ. 49:901–908.

Murdoch-Eaton D, Sandars JAEC. 2014. Reflection: moving from a mandatory ritual to a meaningful professional development. Arch Dis Child. 99:279–283.

---

. 2019 Jan;41(1):3-16.

 doi: 10.1080/0142159X.2018.1505037. Epub 2019 Jan 11.

A Best Evidence in Medical Education systematic review to determine the most effective teaching methods that develop reflection in medical students: BEME Guide No. 51

Jane Uygur 1, Ellen Stuart 1, Muireann De Paor 1, Emma Wallace 1, Seamus Duffy 1, Marie O'Shea 2, Susan Smith 1, Teresa Pawlikowska 2

Affiliations 

Affiliations

• 1a Department of General Practice , RCSI , Dublin , Ireland.
• 2b Health Professions Education Centre, RCSI , Dublin , Ireland.

• PMID: 30634872
 
• DOI: 10.1080/0142159X.2018.1505037

Abstract

Introduction: Reflection is thought to be an essential skill for physicians. Although much has been written about it, there is little concurrence about how to best teach reflection in medical education. The aim of this review was to determine: (i) which educational interventions are being used to develop reflection, (ii) how is reflection being assessed, and (iii) what are the most effective interventions.

Methods: Inclusion criteria comprised: (i) undergraduate medical students, (ii) a teaching intervention to develop reflection, and (iii) assessment of the intervention. A review protocol was developed and nine databases were searched. Screening, data extraction, and analysis procedures were performed in duplicate. Due to the heterogeneity of studies, a narrative synthesis approach was performed for the study analysis.

Results: Twenty-eight studies met the inclusion criteria. The interventions in these studies had at least of two of the following components related to reflection: (i) introduction, (ii) trigger, (iii) writing, (iv) guidelines, (v) small group discussion, (vi) tutor and (vii) feedback. Three validated rubrics were used to assess reflective writing in these studies.

Conclusions: The strongest evidence from studies in this review indicates that guidelines for, and feedback on, reflective writing improve student reflection.