의학교육을 위한 성찰적 학습 가이드 개발(Med Teach, 2011)

의학교육을 위한 성찰적 학습 가이드 개발(Med Teach, 2011)

Development and pilot testing of a reflective learning guide for medical education

LOUISE ARONSON, BRIAN NIEHAUS, JULIE LINDOW, PATRICIA A. ROBERTSON & PATRICIA S. O’SULLIVAN

University of California, USA

도입 Introduction

국가 및 국제적으로 모든 수준의 의료 교육에 성찰을 포함해야 하는 의무가 증가하고 있다(ABIM et al. 2002; GMC 2003; Frank 2005). 의학 교육자들은 다음을 위해서 성찰이 중요하다고 주장해왔다. 

(1) 복잡한 건강 시스템, 임상 사례 및 사회적 상황에 창의적으로 대응한다. 

(2) 팀별로 협력적으로 참여한다. 

(3) 스트레스를 받는 작업 환경에서는 전문적이고 동정적으로 행동한다.

(4) 지속적으로 연습을 개선할 동기와 기술을 보유한다(Maudsley & Strivenes 2000; Mann et al. 2007; Sandars 2009).

There is a growing mandate, nationally and internationally, to incorporate reflection into all levels of medical education (ABIM et al. 2002; GMC 2003; Frank 2005). Medical educators have argued that reflection is critical for training physicians who 

(1) respond creatively to complex health systems, clinical cases, and social situations, 

(2) participate collaboratively in teams, 

(3) behave professionally and compassionately in stressful work environments, and 

(4) have the motivation and skills to continuously improve their practice (Maudsley & Strivens 2000; Mann et al. 2007; Sandars 2009).

교육에서 성찰적 실천에 관한 문헌은 

• 1930년대 듀이(1933년)가 인간의 마음을 "의미를 만드는 기관meaning making organ"으로 묘사하고 '모든 진정한 교육은 경험과 그 경험에 대한 성찰을 통해 온다'고 진술했다. 

• 1980년대 저술가인 쇼엔(1983)은 실천의 복잡성에 대처하는 전문가들을 위한 도구로서 성찰의 중요성을 주장했다. 

• Kolb(1984)는 반성과 행동의 관계를 경험, 반사, 재구성, 실험의 순환으로 개념화했다. 

• 메지로우(1991)는 습관적인 행동에서, 사려 깊은 행동에서, 성찰에 이어, 궁극적으로 비판적인 성찰에 이르기까지 네 가지 수준의 성찰을 기술했다. 그는 비판적 성찰을 경험에 대한 성찰이 새로운 이해와 미래의 행동을 수정하는 계획으로 이어지는 것을 변혁적 학습으로 정의했다.

• The literature on reflective practice in education begins with Dewey (1933), in the 1930s, who described the human mind as a meaning-making organ and stated that ‘‘all genuine education comes through experience’’ and reflection on that experience. 

• Scho¨n (1983), writing in 1980s, argued the importance of reflection as a tool for professionals coping with the complexities of practice. 

• Kolb (1984) conceptualized the relationship between reflection and action as a cycle of experience, reflection, reframing, and experimentation. 

• Mezirow (1991) described four levels of reflection: from habitual action to thoughtful action, then on to reflection, and ultimately to critical reflection. He defined critical reflection as transformative learning in which reflection on experience leads to a new understanding and a plan to modulate one’s behavior in the future.

이러한 견실한 이론적 틀에도 불구하고, 우리는 반성을 가르치고 배우는 것에 대해 상대적으로 거의 알지 못한다.

Despite these robust theoretical frameworks, we know relatively little about teaching and learning reflection.

대부분의 연구는 다음의 네 가지 중 하나에 해당한다.

• (1) 학생의 경험을 이해하기 위한 성찰의 분석(Brady et al. 2002; Dyrby et al. 2007; Roche & Coote 2008), 

• (2) 학습자의 성찰 능력에 대한 평가(Pee et al. 2002; Boenik et al. 2004; Plack et al. 2007); 

• (3) 구술 대 서면 반사 또는 동료 대 교수진 피드백과 같은 교육 형식 비교(Platzer et al. 2000; Baerstein & Fryer-Edwards 2003) 및 

• (4) 성찰 학습의 영향 평가(Sobral 2005; Blatt et al. 2007; Mamede et al. 2008).

Most articles fall into one of the four categories: 

• (1) analyses of reflections to better understand the learners’ experience(Brady et al. 2002; Dyrbye et al. 2007; Roche & Coote 2008);

• (2) assessment of the reflective skills of learners (Pee et al.2002; Boenik et al. 2004; Plack et al. 2007); 

• (3) comparison of educational formats such as oral vs. written reflection or peer vs. faculty feedback (Platzer et al. 2000; Baernstein & Fryer-Edwards 2003); and 

• (4) evaluation of the impact of reflection on learning (Sobral 2005; Blatt et al. 2007; Mamede et al. 2008).

방법 Methods

가이드 개발 Guide development

설문 조사와 문헌 검토를 바탕으로 학습자와 교수진 모두에게 유용한 간단한 독립형 가이드를 개발하기로 결정했다.

Based on our survey and literature review, we decided to develop a brief, stand-alone guide which would be instructive to both learners and faculty

마지막으로 가이드에 대해 다음과 같은 파라미터를 설정했다.

Finally, we set the following parameters for the guide:

(1) 한 시간 동안 사용할 수 있도록 간략하게 작성해야 한다.

(1) It should be brief enough for use in hour-long sessions.

(2) 넓은 효용성을 위하여, (전문적 개발이나 임상적 추론과 같은 특정한 성찰적 의제를 충족시키기보다는) 성찰적 사고를 촉진하는 데 중점을 두어야 한다. 

(2) For broad utility, it should focus on promoting reflective thinking rather than fulfilling a particular reflective agenda such as professional development or clinical reasoning. 

(3) 이미 꽉 찬 커리큘럼에 추가할 명분과 성찰적 글쓰기가 필요함을 정당화할 수 있어야 한다. 그럼으로써 교수진 및 학생 저항의 공통 원천을 능동적으로 다루어야 한다. 

(3) We should proactively address common sources of faculty and student resistance including justification for adding to a full curriculum and the requirement for written reflection. 

(4) 많은 학습자와 교육자는 성찰적 학습에 대한 공식적인 교육을 받지 않을 것이기 때문에, 가이드는 그 자체로서 독립형 도구로서 적절하게 기능해야 한다.

(4) Because many learners and educators will not have had formal instruction in reflective learning, the guide should function adequately as a stand-alone tool.

(5) 성찰의 단계를 충분히 명확히 하여 교수진 및 동료의 반사 기술에 대한 피드백을 용이하게 할 수 있도록 해야 한다. 

(5) The guide should make the steps for reflection sufficiently clear, so that they could be used to facilitate feedback on reflective skills from faculty and peers. 

파일럿 Pilot study

2008-2009 학년 동안 코호트 연구를 실시하여 3학년 의대생들의 서면 성찰에 대한 LEAP(Learning as a Professional) 가이드의 영향을 평가하였다.

We conducted a cohort study during the 2008–2009 academic year to assess the impact of the Learning from your Experiences as a Professional (LEaP) guide on the written reflections of third-year medical students

세팅과 참여자 Setting and participants.

UCSF에서는 3학년 커리큘럼이 6개의 블록으로 나뉜다. 2008~2009년 3학년 의대생 122명이 공부 기간 6블록 동안 핵심 산부인과 임상실습을 했다. 학생들이 여러 곳에서 실습을 했지만, 성찰 연습은 임상실습의 필수 요소다.

At UCSF, the third-year curriculum is divided into six blocks. During 2008–2009, 122 third-year medical students took the core obstetrics and gynecology clerkship during the six blocks of the study period. Although students take the clerkship at multiple sites, the reflection exercise is a required component of the clerkship.

개입 Intervention.

모든 학생들은 다음 안내문을 사용하여 전문직업성에 대한 성찰적 글쓰기를 마쳤다. "이 로테이션 중에 자신보다 환자의 요구에 대한 성실성, 존경, 반응성을 입증하는 데 가장 많은 것을 가르쳐 준 임상 상황을 선택하라."블록 1과 블록 2의 학생은 프롬프트만 받았고 블록 3–6의 학생도 LEP 가이드를 받았다. 그리고 간단한 인구 통계 및 만족도 설문지를 작성했다.

All students completed a written reflection on professionalism using the prompt ‘‘Select a clinical situation during this rotation that taught you the most about demonstrating integrity, respect and responsiveness to the needs of the patient above your own.’’ Students in blocks 1 and 2 received only the prompt while students in blocks 3–6 also received the LEaP guide and completed a brief demographic and satisfaction questionnaire.

자료 수집 Data collection.

훈련된 평가자 2명은 0(반사 없음)에서 6(비판적 성찰)까지 0.5점씩 점수를 제공하는 이전에 검증된 루브릭을 사용하여 각 성찰에 점수를 매겼다(Learnerman et al. 2008; O'Sullivan et al. 2010).루브릭의 단계적 진행은 다음과 같다. 

• 과제를 이해하지 못함 

• 성찰 없이 설명만 한다. 

• 학습된 교훈을 정당화하지 않는다. 

• 학습한 교훈에 대한 제한된(개인적) 정당성을 제공한다. 

• 학습된 교훈의 증거를 포함한다. 

• 과거 경험의 요인을 분석한다. 

• 이전 경험을 현재 이벤트 및 데이터와 통합하여 추가 조치를 알려준다. 

루브릭은 각 단계에 대해 간략하고 정교한 점수 기준과 예를 제공한다.

Two trained raters scored each reflection using a previously validated rubric which provides scores in increments of 0.5 from 0 (no reflection) to 6 (critical reflection) (Learman et al. 2008; O’Sullivan et al. 2010). The rubric’s stepwise progression is as follows: 

• does not respond to the assignment; 

• describes without reflecting; 

• does not justify lessons learned; 

• provides limited (personal) justification of lessons learned; 

• includes evidence of lessons learned; 

• analyzes factors from past experience; and 

• integrates previous experience with current events and data to inform further action. 

The rubric provides brief and elaborated scoring criteria and examples for each step.

분석 Analysis.

인구통계 및 만족도 설문지는 LEP 가이드의 성별 및 인상에 대한 정보를 요청했다. 구체적으로, 학생들은 강하게 동의하지 않는다(1)부터 강하게 동의한다(5)까지 응답하였다. 질문은 LEAP가 새로운 통찰력을 이끌어내었는지, 학습 계획을 수립하는 데 도움을 주었는지, 잘 성찰하도록 돕는지 등에 대해 5점 리커트 척도로 평가하도록 요청 받았다. 가이드의 사용 편의성과 학생들이 다른 사람에게 추천할 것인지에 대해서도 물었다.

The demographic and satisfaction questionnaire requested information about gender and impressions of the LEaP guide. Specifically, students were asked to rate on a 5-point Likert scale ranging from strongly disagree (1) to strongly agree (5) whether the LEaP led to new insights, helped them formulate a learning plan, and helped them reflect well. It also asked about ease of use of the guide and whether students would recommend it to others.

우리는 평균 성찰 점수, 성별, 모든 조사 질문에 대한 서술적 통계를 계산했다. 독립 t-테스트를 수행하여 사전 간섭 및 LEAP 개입 그룹의 평균 t-테스트 반사 점수를 비교하고 효과 크기를 계산했다(Hojat & Shu 2004).

We calculated descriptive statistics for average reflection score, gender, and all survey questions. We performed an independent t-test to compare the average t-test reflection scores for pre-intervention and LEaP intervention groups and calculated an effect size (Hojat & Xu 2004).

성찰적 실천 가이드 Guide for Critical Reflection

주소 CHIEF COMPLAINT

다음과 같은 질문이나 문제를 유발한 경험을 선택하십시오.

Choose an experience which triggered questions or concerns for you, such as:

1) 필요한 지식이나 기술이 없었던 상황

• 1) a situation where you didn’t have the necessary knowledge or skills

2) 잘되긴 했지만 왜 그런지는 완전히 알 수 없는 상황

• 2) a situation that went well but you’re not entirely sure why

3) 복잡하고 놀랍거나 임상적으로 불확실한 상황

• 3) a complex, surprising or clinically uncertain situation

4) 개인적으로나 직업적으로 도전을 느낀 상황

• 4) a situation in which you felt personally or professionally challenged.

참고: 이것은 여러분의 학습에 관한 것이므로 여러분이 주요 배우가 아니더라도, 왜 그 경험이 여러분을 돋보이게 하는지, 그리고 그 경험을 통해 무엇을 배울 수 있는지 생각해 보십시오. 그것은 여러분의 전문적 발전을 더 발전시킬 것이다.

Note: this is about your learning so even if you weren’t the major actor, consider why the experience stands out for you and what you can learn from it that will further your professional development

주제 SUBJECTIVE

경험의 내용, 프로세스 및 전제를 고려하십시오.

Consider the content, processes, and premises of the experience:

• 내용: 무슨 일이 일어났나요? 상황과 그 맥락을 설명하시오. 지적으로나 감정적으로 어떤 반응을 보였습니까? 뭐가 잘 됐나요? 무엇을 바꾸시겠습니까?

  Content: What happened? Describe the situation and its context. What was your reaction, intellectually and emotionally? What went well? What would you change?

• 프로세스: 어떻게 그런 일이 일어났는지. 그 상황에 어떻게 접근하셨습니까? 어떻게 행동하셨나요? 귀하와 타인이 결과에 더 좋고 더 나쁜 영향을 미쳤는가? 당신의 감정은 당신의 선택에 어떤 영향을 주었는가?

  Process: How it happened. How did you approach the situation? How did you perform? How did you/others affect the outcome for better and worse? How did your emotions affect your choices?

• 전제: 왜 그런 일이 일어났는지. 왜 그렇게 행동/반응을 보였는가(과거 경험과 개인적 특성을 고려)? 당신과 다른 사람들은 왜 당신이 한 가정을 했는가? 어떤 시스템 요인이 이 문제에 기여했을 수 있으며 왜 시스템이 그러한 방식으로 설정되었는가?

  Premise: Why it happened. Why did you act/ react as you did (consider past experiences and personal characteristics)? Why did you and others make the assumptions you made? What system factors may have contributed to this problem and why is the system set up that way?

목표 OBJECTIVE

다양한 관점에서 그 경험을 재고하라. 다른 사람의 관점을 상상하는 것 이상의 데이터 제시: 

• 환자, 가족, 감독자, 동료, 친구 및 기타 전문가의 반응에서 [공식적으로든 비공식적으로든] 무엇을 배웠는가? 

• 어떤 피드백을 받으셨습니까? 

• 의학 문헌에서 무엇을 배우셨습니까? 

• 그 밖에 어떤 소식통을 참고하셨습니까?

Reconsider the experience from multiple perspectives. Go beyond imagining others’ perspectives to presenting data: 

• What did you learn, formally or informally, from the reactions of patients, families, supervisors, peers, friends and other professionals? 

• What feedback did you get? 

• What did you learn from the medical literature? 

• What other sources did you consult?

평가 ASSESSMENT

학습 내용 종합: 

• 어떤 교육적, 개인적 또는 전문적 도전 과제 및/또는 강점을 확인하셨습니까? 

• 이러한 분석이 향후 유사한 상황에 어떻게 접근하는지에 어떤 영향을 미쳤는가? 

• 행동 방식을 바꾸지 않을 것이라고 결론내린다면, 

• a) 적절한 경험을 선택했는지, 

• b) 반성을 통해 정말로 상황을 재구성했는지에 대해 생각해 보라.

Synthesize your learning: 

• What educational, personal or professional challenges and/or strengths have you identified? 

• How has this analysis affected how you will approach similar situations in the future? 

• [If you conclude you wouldn’t do anything differently, consider 

• a) whether you’ve picked an appropriate experience and 

• b) whether you’ve really reframed the situation with your reflection.]

계획 PLAN

미래의 유사한 상황에 대처하기 위한 계획을 세워라. 이 계획은 구체적이고 측정 가능하며 가까운 장래에 달성할 수 있어야 한다. 

• 다음에는 무엇을 할 것인가? 

• 필요한 정보나 도움은 어디서 얻을 수 있는가? 

• 누구와 언제 체크인하시겠습니까? 

• 네 계획이 효과가 있는지 없는지 어떻게 알겠니?

Make a plan to address future similar situations. The plan should be specific, measurable, and attainable in the near future: 

• What will you do next? 

• Where can you get the information or help you need? 

• Who will you check in with and when? 

• How will you know whether your plan is working, or not?

Figure 1. UCSF LEaP: Learning from your Experiences as a Professional.

결과 Results

성찰적 학습 가이드 Reflective learning guide

우리는 성찰적 학습에 대한 LEAP 가이드를 개발했다. 가이드는 페이지의 앞면과 뒷면을 모두 채우는 1페이지 분량의 문서, 즉 성찰에 대한 구조화된 접근방식(앞면)과 성찰 및 성공적인 성찰을 위한 전략(뒤면)에 대한 정보 시트로 구성된다.

We developed the LEaP guide to reflective learning. The guide consists of a one-page document filling both front and back of the page: a structured approach to reflection (front) and an information sheet about reflection and strategies for successful reflection (back).

1면은 학습자를 이론에 기초하여 5단계 과정을 거쳐 임상 기록의 형식을 모델로 한다(그림 1). 

최고 불만 사항(Hatton & Smith 1995; Moon 2004), 

• 주관적(Schon 1983; Boud et al. 1987; Mezirow 1991), 

• 목표(Moon 2004), 

• 평가(Kolb 1984), 

• 계획(Meziro 1998; Epstein 2007). 

The front page takes the learners through a five-step process based on theory and modeled on the format of clinical notes (Figure 1): 

• Chief Complaint (Hatton & Smith 1995; Moon 2004), 

• Subjective (Schon 1983; Boud et al. 1987; Mezirow 1991), 

• Objective (Moon 2004), 

• Assessment (Kolb 1984), and 

• Plan (Mezirow 1998; Epstein 2007). 

SOAP 접근방식은 학습자에게 친숙하고 효과적인 성찰의 핵심 단계가 [주관적 정보의 수집에서 데이터 나열을 통해 모든 정보의 평가와 계획의 입안까지 이동하는] 임상 추론의 핵심 과정과 매우 유사하다는 점을 강조하기 위해 선택되었다.

The SOAP approach was selected for its familiarity to learners and to emphasize that the key steps in effective reflection are much like those in clinical reasoning, moving from gathering of subjective information, through listing of data to an assessment of all information and formulation of a plan.

뒷면은 우리 태스크포스(TF)가 개발한 의학교육에 대한 성찰의 정의로 시작한다. 그런 다음, 성찰의 교육적·전문적 이익에 대한 설명을 제공하고, 성찰력 개발의 성공과 관련된 요소를 열거하며, 성찰적 글쓰기의 개선 전략을 제시한다. 본질적으로, 이 페이지는 왜 성찰이 필요한지 그리고 어떻게 효과적으로 그렇게 할 수 있는지를 설명하는 데 중요한 역할을 한다.

The back page begins with the definition of reflection in medical education developed by our Task Force. It then provides an explanation of the educational and professional benefits of reflection, lists factors associated with success in the development of reflective ability, and offers strategies for improving reflective writing. In essence, this page serves the critical role of explaining why the learners are being asked to reflect and how they can do so effectively.

파일럿 연구 Pilot study

3학년 의대생 122명 중 총 115명이 시범연구에 참여했으며, 사전간섭 코호트 37명, LEAP 중재그룹 78명이었다. 표 1은 성찰 점수에 대한 LEP의 영향을 나타낸다. 성찰 점수는 큰 효과크기와 함께 LEAP 사용자에서 더 높았다. LEAP를 사용하는 학습자가 학습한 레슨에 대한 분석을 포함하며 성찰에 증거를 더 자주 포함했음을 보여주었다. 성숙 효과의 증거는 없었다. 다시 말해 블록 3과 4의 점수는 블록 5와 6의 점수와 크게 다르지 않았다.

A total of 115 out of 122 third-year medical students took part in the pilot study, with 37 in the pre-intervention cohort, and 78 in the LEaP intervention group. Table 1 presents the effect of the LEaP on reflection scores. The reflection score was significantly higher with LEaP (p50.001) with a large effect size and scores indicating learners using LEaP included analysis of lessons learned and incorporated evidence into the reflection more often. There was no evidence of a maturation effect; in other words, scores in blocks 3 and 4 did not differ significantly from scores in blocks 5 and 6.

LEAP 간섭 그룹 내 78명의 학습자 중 34명을 대상으로 학습자 만족도와 성별 데이터를 수집했다. 표 2는 조사 결과를 제공한다.

We collected learner satisfaction as well as gender data on 34 of the 78 learners in the LEaP intervention group. Table 2 provides the survey results.

고찰 Discussion

우리는 이 가이드 개발 과정과 다른 사람들에게 유용할 수 있는 파일럿 테스트를 통해 많은 교훈을 얻었다. 비록 우리의 원래 의도는 한 페이지짜리 문서를 만드는 것이었지만, 독립 실행형 가이드의 작성은 모든 학습자가 읽지는 않는 두 번째 페이지를 추가해야 했다. SOAP 프레임워크는 익숙하고 성찰의 핵심 요소를 강조하기 위해 선택했지만, 이 선택 이유를 페이지에 충분히 명확히 하지 않았다. 교육자와 학습자 모두를 위한 단일 지침을 만들기 위한 노력의 일환으로, 우리는 교사들에게 더 분명한 효용성에 대한 정보를 포함시켰다. 

We learned many lessons from this guide development process and pilot testing which may be of use to others. Although our original intent was to produce a one-page document, guide creation of a stand-alone required the addition of a second page, which not all learners read. We chose the SOAP note framework both because of its familiarity and to emphasize the core elements of reflection but did not make the reason for this choice sufficiently clear on the page. In an effort to create a single guidance for both educators and learners, we included information of greater obvious utility to teachers. 

일부 학습자들은, (Boud와 Walker(1998)가 제기한 우려처럼), LEAP가 성찰을 하는 경험에 대해 갖는 의문이나 중요성을 다루기보다는 '레시피 따라하기'에 그치게 한다면서, LEaP가 오히려 성찰 능력을 너무 제약하고 방해하고 있다고 주장했다. 

Some learners argued that the LEaP was too constraining and interfered with their ability to reflect, echoing a concern raised by Boud and Walker (1998) about ‘‘recipe following’’ in reflection without actually addressing the questions and significance of the experience being reflected upon. 

그러나 다른 이들은, 학생들이 자신이 이미 성찰하고 있다고 믿고 있으며, 결과적으로 구조화된 연습의 필요성을 인식하지 못한다는 점에 주목했다(Grant et al. 2006). 이 후자는 우리의 경험을 더 정확하게 묘사한다; UCSF의 구조화되지 않은 "성찰"의 대부분은 학습의 증거가 거의 없는 감동적인 사건, 일화, 혹은 자축적인 이야기로 구성되어 있다.

Others have noted, however, that students believe they are already reflecting and consequently do not see the need for structured exercises (Grant et al. 2006). This latter more accurately portrays our experience; a great majority of the unstructured ‘‘reflections’’ at UCSF consist of moving anecdotes, diatribes, or self-congratulatory tales with little evidence of learning.

우리의 시범 연구는 LEAP 가이드를 사용하는 학생들에게 유리한 3학년 의대생들의 평균 성찰 점수에 상당한 차이를 보였다. 가이드가 없이, 거의 모든 학습자들은 3점 이하의 점수를 받은 반사를 썼고, [그들 자신의 모호한 인상을 넘어서지 못하고], 사건에 대한 고려가 매우 적거나 없는 상태에서, 경험에 대한 설명만으로 구성되어 있었다. 가이드를 활용하면, 훨씬 더 많은 학습자들이 다른 사람의 피드백을 구하고 임상적 또는 직업적 불확실성의 문제를 명확히 하기 위해 문헌에 가서 자신의 경험을 재구성하는 등 더 많은 성찰 요소를 통합했기 때문에 더 높은 점수를 얻었다.

Our pilot study demonstrated significant differences in average reflection scores of third-year medical students in favor of those using the LEaP guide. Without the guide, nearly all learners wrote reflections which scored below 3 and consisted exclusively of a description of an experience with little or no consideration of the event beyond their own vague impressions. Using the guide, significantly more learners earned higher scores because they incorporated more elements of reflection including reframing their experience by seeking feedback from others and going to the literature to clarify issues of clinical or professional uncertainty.

우리 조종사는 또한 반사 점수와 인구 통계학적 및 만족도 변수 사이의 연관성을 조사했다. 다른 기관의 예비 자료에서 여성이 남성보다 반사 능력이 더 좋을 수 있다고 제시했지만, 우리는 그러한 차이를 발견하지 못했다. (Dannefer & Bier 2008)

Our pilot also examined associations between reflection scores and demographic and satisfaction variables. Although preliminary data from another institution suggested that females might be better at reflection than males, we found no such difference (Dannefer & Bierer 2008).

특정 목적을 달성하기 위해 맞춤화된 많은 개입과 마찬가지로, 개입과 평가 사이의 상호작용이 가능하다. 우리가 보여준 것은 그저 학습자들이, 자극이 되면, 더 높은 점수를 얻을 수 있는 항목을 성찰에 포함시킬 것이라는 것일 수도 있다. 그러나 본 연구의 두 가지 연구 결과는 우리가 실제로 성찰 능력을 측정하고 있음을 시사한다. 

(1) 모든 LEAP 사용자가 가이드의 단계를 따르지는 않았지만, 그들의 성찰 점수는 여전히 통제군 평균보다 높았다. 

(2) 개별 통제군 학생들은 구조 없이 더 높은 성찰 점수를 얻었다.

As with many interventions that are tailored to meet specific objectives, an interaction between the intervention and the assessment is possible. It is possible that we have demonstrated that learners, when prompted, will incorporate items into their reflection that will earn them a higher reflection score. Two findings from this study suggest that we are in fact measuring reflective ability: (1) not all LEaP users followed the steps in the instructions, but their reflection scores were still higher than the control mean; and (2) individual control students achieved higher reflective scores without the structure.

반사 학습에서 중요한 역할 피드백에 대한 의료 교육 노트에서의 반성의 최근 두 가지 리뷰(Mann et al. 2007; Sandars 2009). 그러나 성찰을 채점하고 피드백을 제공하려면 성찰적 글쓰기를 읽을 수 있는 시간을 가진 숙련된 측정자가 필요하다. 우리 기관에서는 학습자에 대한 개별적인 응답을 준 사례를 거의 찾아내지 못했다. 우리 기관에서 더 흔히 볼 수 있는 경우는, 학생 집단을 위해 성찰의 내용을 주제별로 요약하는 방식이었다. 어떤 경우에는 단순히 반사를 수집하여 어떤 유형의 피드백도 주어지지 않았다. 일부 코스 감독들은 학생들의 경험을 이해하고 멀리 떨어진 사무직 사이트를 평가하기 위해 성찰을 이용했지만, 많은 교육자들은 자신이 성찰적 에세이를 활용하지 못한 주된 이유로 시간 부족과 훈련 부족을 꼽았다. 학교와 훈련 프로그램은 반성 속에서 교직원을 양성할 수 있는 자원을 찾고, 성찰에 대응하는 데 필요한 시간을 보상해야 할 것이다.

Two recent reviews of reflection in medical education note of the critical role feedback in reflective learning (Mann et al. 2007; Sandars 2009). But scoring reflections and providing feedback require trained raters with the time to read reflections. At our institution, we found few cases of individual responses to learners. More commonly at our institution, the content of reflections was thematically summarized for large groups of students. In some cases, the reflections were simply collected, and no feedback of any type was given. While some course directors used reflections to understand the student experience and evaluate distant clerkship sites, many educators cited lack of time and lack of training as the principal reasons for how they handled reflective essays. Schools and training programs will need to find resources to train faculty in reflection and compensate them for the time required to respond to written reflections.

---

. 2011;33(10):e515-21.

 doi: 10.3109/0142159X.2011.599894.

Development and pilot testing of a reflective learning guide for medical education

Louise Aronson 1, Brian Niehaus, Julie Lindow, Patricia A Robertson, Patricia S O'Sullivan

Affiliations 

Affiliation

• 1University of California, San Francisco, CA 94118, USA. aronsonl@medicine.ucsf.edu

• PMID: 21942487
 
• DOI: 10.3109/0142159X.2011.599894

Abstract

Background: Reflection is increasingly incorporated into all levels of medical education but little is known about best practices for teaching and learning reflection.

Aims: To develop a literature-based reflective learning guide for medical education and conduct a pilot study to determine whether (1) guide use enhances medical students' reflective writing skills and (2) reflective scores correlate with participant demographics and satisfaction.

Methods: Guide development consisted of literature review, needs assessment, single institution survey, and educational leader consensus. The pilot cohort study compared professionalism reflections written with and without the guide by third-year medical students on their core obstetrics and gynecology rotation. Reflections were scored using a previously validated rubric. A demographics and satisfaction survey examined effects of gender and satisfaction, as well as qualitative analysis of optional written comments. Analyses used independent t-tests and Pearson's correlations.

Results: We developed a two-page, literature-based guide in clinical Subjective-Objective-Assessment-Plan (SOAP) note format. There was a statistically significant difference, p < 0.001, in the reflection scores between groups, but no effects of gender or satisfaction. Student satisfaction with the guide varied widely.

Conclusions: A single exposure to a literature-based guide to reflective learning improved written reflections by third-year medical students.