의학교육에서 긍정탐구(AMEE Guide No. 113) (Med Teach, 2016)

Appreciative inquiry in medical education

John Sandars and Deborah Murdoch-Eaton

Academic Unit of Medical Education, The Medical School, The University of Sheffield, Sheffield, UK




도입

Introduction


어떤 상황에서 "무엇이 잘못되고 있는가"를 묻는 일련의 질문에 근거하여 진단을 내리는 문제해결 접근법이 대표적인 의학의 임상적 실천이다. 이와 유사한 접근법이 새로운 교과과정을 개발하는 것에서부터 어려움에 처한 학생들을 지원하는 것까지 의학의 많은 측면에도 자주 적용되고 있다. 그러나, 대안적인 접근방식은 상황에서의 "무엇이 잘 되어가고 있는가"에 초점을 맞춘 긍정탐구(AI)이다. AI 접근방식은 질문을 하는 사람의 사고방식을 변화시킬 필요가 있으며, 현재 상황을 변화시키기 위해 개인과 집단의 힘을 동원하는 것이 핵심 목표이다. AI 접근법의 본질적인 측면은 새로운 상황을 구상하는 협력적 논의를 통해 발생하는 생성 과정이다.

A problem-solving approach, in which making a diagnosis is based on a series of questions that ask about “what is going wrong” with a situation, is typical of the clinical practice of medicine. A similar approach is also frequently applied to many aspects of medical education, from developing a new curriculum to supporting students in difficulty. However, an alternative approach is Appreciative Inquiry (AI), with a focus on “what is going well” with a situation. The AI approach requires an alteration in the mind-set of the person asking the questions, with the key aim of mobilizing individual and collective strengths to change the current situation. An essential aspect of the AI approach is the generative process, which occurs through collaborative discussion, of envisioning a new situation.


AI 접근법은 지난 수십 년간 조직개발(Watkins et al. 2011)을 위해 열성적으로 사용되어 왔으며, 리더쉽 개발(Hart et al. 2008)과 멘토링(Gordon 2008)을 포함한 개인의 발전을 위한 비즈니스 세계에서도 점차적으로 적용되고 있다. 지난 10년간 AI도 일반 교육에서 중요한 지도원리guiding principle로 적용되기 시작했다.

The AI approach has been enthusiastically used over the last few decades for organizational development (Watkins et al. 2011), and is also increasingly being applied in the world of business for the development of individuals, including leadership development (Hart et al. 2008) and mentoring (Gordon 2008). Over the last decade, AI has also begun to be applied as an important guiding principle within general education.


긍정탐구의 원칙

The principles of appreciative inquiry


AI의 핵심 원칙

The core principles of AI


AI의 관행을 뒷받침하는 5가지 핵심 원칙이 설명되었으며, 조직 개발의 폭넓은 실무 경험에 기초하고 있다(Cooperrider et al. 2003).

Five core principles that underpin the practice of AI have been described and are based on extensive practical experience in organizational development (Cooperrider et al. 2003).


1. 구성주의 원칙: 이 원칙의 근본은 개인이 다른 사람들과의 상호작용과 토론의 적극적인 과정을 통해 그들 세계의 현실을 창조하거나 건설한다는 관점이다. 예를 들어, 결핍–관점은 유리잔이 반만 비었다고 생각하는 것이지만, 이것을 '컵이 반이나 찬 것'으로 간주할 수 있도록 긍정적으로 공동 구성될 수 있다는 것이다.

1. The constructionist principle: Fundamental to this principle is the view that an individual creates, or constructs, the reality of their world through an active process of interaction and discussion with other people. For example, the deficit – view is that a glass is considered to be half-empty but this can be positively co-constructed to be regarded as half-full.


2. 동시성 원칙: 이 원칙은 탐구와 변화는 별도의 과정이 아니라는 것을 고려한다. 어떤 주제에 대한 질문이 있을 때마다, 새로운 통찰력과 이해는 미래의 주제를 보는 방법에 영향을 미칠 것이기 때문에, 변화 과정의 동시 시작이 있다.

2. The simultaneity principle: This principle considers that inquiry and change are not separate processes. Whenever there is inquiry, and questions are asked about a topic, there is a simultaneous beginning of a change process since new insights and understandings will influence how the topic is viewed in the future.


3. 시적 원칙: 시를 읽을 때, 사람들은 단어로부터 의미를 만드는 것에 초점을 맞춘다. AI에서 부족한 점 위주의 단어들은 주제가 어떻게 이해되는지 뿐만 아니라 변화의 가능성에도 제약을 가할 수 있다. AI의 본질적인 측면은 현재 상황을 바라보는 관점을 재정립하는 것이다.

3. The poetic principle: In reading poetry, people focus on making meaning from the words. In AI, the deficit-focused words can constrain not only how the topic is understood but also the possibilities for change. An essential aspect of AI is the reframing of current views of a situation.


4. 기대 원칙: 미래의 잠재적 변화를 상상하는 것은 어려운 상황에 대한 통제감을 만들고 상황을 변화시킬 동기를 강화한다.

4. The anticipatory principle: The envisioning of future potential changes creates a feeling of control over a difficult situation and enhances their motivation to change the situation.


5. 긍정성 원칙: 이 원칙은 다른 모든 AI 원칙과 AI 방법론의 모든 부분을 뒷받침한다. 이 원칙은 강점을 확인하려는 목적의 질문은 사람들을 긍정적인 변화에 끌어들이게 한다는 것이다.

5. The positive principle: This principle underpins all of the other AI principles and also all parts of the AI methodology. The concept is that questions that seek to identify strengths engage people in positive change.


긍정탐구 방법론

The methodology of appreciative inquiry


AI의 원래 방법론은 조직 개발을 위한 것이었으며 "4-D" 사이클을 사용했다(Cooperrider et al. 2003).

The original methodology of AI was for organizational development and used the “4-D” cycle (Cooperrider et al. 2003).


최근에 "5-D 모델"이 도입되었으며(Watkins et al. 2011), 4-D 사이클에서 발견되는 4상 앞에 추가적인 "Definition" 단계가 도입되었다. 이 추가 단계는 본질적으로 "이것이 할 만한 가치가 있는가?"를 정의한다.

recently the “5-D model” has been introduced (Watkins et al. 2011), with an additional “Definition” phase that precedes the four phases that are found in the 4-D cycle. This additional phase essentially defines “is this worth doing”?


그림 1은 4-D 사이클의 주요 단계를 설명한다.

Figure 1 describes the main phases in the 4-D cycle,




교육에서 긍정탐구의 원칙 적용

The application of appreciative inquiry principles to education


긍정교육

Appreciative education


긍정교육은 "개인적으로나 조직적으로나 양질의 교육을 제공하기 위한 틀"이라고 생각할 수 있다. 그것은 개인과 집단이 공동 창조한 목표를 달성하기 위한 강점과 잠재력에 초점을 맞추어 교육 기업을 개선하기 위한 의도적이고 긍정적인 접근법을 제공한다(Bloom et al. 2013, 페이지 5 –6)

Appreciative Education can be considered to be “a framework for delivering high-quality education on both an individual and organizational level. It provides an intentional and positive approach for bettering educational enterprises by focusing on the strengths and potential of individuals and organizations to accomplish co-created goals” (Bloom et al. 2013, pp. 5–6).


긍정 페다고지

Appreciative pedagogy


긍정교육의 개념과 유사하게 AI 원칙이 각색되어 모든 교육 및 학습 활동을 알리는 것으로서, 이러한 활동이 단 20분에서 1시간 정도의 짧은 수업시간, 1시간 동안의 워크숍이든 전체 프로그램(Yballe & O'Connor 2000)이든 모두 긍정 페다고지이다.

Similar to the concept of Appreciative Education is the concept of Appreciative Pedagogy, with the adaptation of AI principles to inform all teaching and learning activities, whether these activities are only a short 20minute one to one session, a one hour workshop or a whole program (Yballe & O’Connor 2000).


긍정 조언

Appreciative advising


AI의 원칙은 다양한 학문적 어려움을 겪고 있는 대학생들을 지원하는 데 중점을 두고 감사 조언에 적용되어 왔다.

The principles of AI have been applied to Appreciative Advising, with a focus on supporting College students who are experiencing a variety of academic difficulties.


의학교육에서 긍정탐구의 현실적 적용

The practical application of appreciative inquiry in medical education


개인 수준

Working with individuals


Roarty와 Toogood(2014년)는 AI 원칙을 사용하여 모든 학습 대화를 구성하는 방법에 대한 유용하고 실용적인 팁을 제공한다.

Roarty and Toogood (2014) offer some useful and practical tips on how AI principles can be used to structure all learning conversations:


1. 초점을 둘 성과를 식별하라. 명확한 결과 초점, 즉 목표는 자신의 원하는 결과를 얻기 위해 자신의 장점을 동원하려는 내부 동기의 증가와 관련이 있다(커빙턴 2000).

1. Identify an outcome focus. A clear outcome focus, or goal, is associated with the increase of internal motivation to mobilize their strengths to achieve their own desired outcome (Covington 2000).


2. 이미 잘 되고 있는 것에 집중하라. AI의 본질적인 측면은 의도된 목표를 달성하기 위해 현재의 강점을 기반으로 하는 것이다.

2. Focus on what is already working well. An essential aspect of AI is to build on current strengths to achieve intended goals.


3. "약점"을 개발해야 할 강점으로 다시 표현한다. 재교육의 행위는 학습자에게 내부적으로 동기를 부여하는 개인의 자존심에 현저한 변화를 가져올 수 있다. 능력에 대한 부적절한 속성은 신속하게 부정적인 감정을 생성하여 동기와 수행을 감소시키는 소용돌이를 초래할 수 있다(와이너 1985).

3. Reframe any “weaknesses” into strengths to be developed. The act of reframing can produce a marked change in an individual’s self-esteem that internally motivates the learner. Inappropriate attributions about ability can quickly produce negative emotions that result in a spiral of decreasing motivation and performance (Weiner 1985).


집단 수준

Working with groups


AI의 4-D 사이클은 경험적 학습 사이클과 문제 기반 학습에 적용되었다.

The 4-D cycle of AI has been applied to the experiential learning cycle and problem-based learning.


경험학습에 대한 적용

Application to Experiential Learning


Experiential Learning의 중요한 측면은 [탐구할 질문의 식별]과 [탐구의 과정]이다. 전통적인 것은 문제 해결에 대한 Experiential Learning의 초점을 가지고 있다. 네빌(2008)은 AI를 솔루션에 초점을 맞춘 경험학습의 보완적 접근방식으로 활용할 수 있다고 제안한다. 예를 들어, 탐구를 위한 질문은 "환자 안전 향상에 있어 가장 큰 문제가 무엇인가?"에서 "환자 안전을 효과적으로 개선하기 위해 어떤 접근법이 사용되었는가?"로 재구성할 수 있다. 전문성을 가르치기 위한 경험적 학습에서 AI를 사용한 사례는 그림 2(온라인에서 보충 자료로 이용 가능)에 나와 있다.

An important aspect of Experiential Learning is the identification of the question for inquiry and the process of inquiry, traditional having a with Experiential Learning focus on problem solving. Neville (2008) proposes that AI can be used as a complementary approach to Experiential Learning, with a focus on solutions. For example, the question for inquiry can be reframed from “What is the biggest problem in improving patient safety?” to “What approaches have been used to effectively improve patient safety?” An illustrative of the use of AI in Experiential Learning to teach professionalism is shown in Figure 2 (available online as Supplemental Material).


PBL에 적용

Application to Problem-Based Learning


전형적으로 PBL은 해결책을 생산하기 위한 문제의 식별에 초점을 맞추고 있으며, 로버츠(2010)는 직업 치료의 맥락에서 PBL의 한계를 논하고 있으며, 특히 무엇이 잘못되었거나 dysfunctional한가에 초점을 맞추고 있다. 그림 3(온라인에서 보충 자료로 이용 가능)은 AI가 어떻게 PBL에 통합되어 클라이언트 중심적이고 강도에 기반한 접근법을 개발할 수 있는지를 설명한다.

Typically, PBL has a focus on the identification of a problem to produce a solution and Roberts (2010) discusses the limitations of PBL in the context of occupational therapy, especially the focus on what is wrong or dysfunctional. Figure 3 (available online on as Supplemental Material) describes how AI can be integrated into PBL in an attempt to a develop more client-centered and strengths-based approach.


긍정 조언

Appreciative advising


학업에서 어려움을 겪고 있는 학습자를 돕기 위한 일반적인 접근방식은 종종 (성공을 강화하는 것이 아니라) 자신의 약점을 식별하고 교정하는 데 초점을 맞춘 "결핍 교정 교육 모델"이다(Kramer & Associates 2007). 그러나 이와는 대조적으로, 어드바이저는 가능한 변화에 대한 학습자의 자기효율성 신념을 높이고 이전 과정 성공이 어떻게 달성되었는지 식별하는 데 도움을 줌으로써 학습자에게 동기를 부여하는 강점 기반 모델을 채택할 수 있다. 전체 AI 접근법(Bloom et al. 2008) 내에서 6단계 모델을 이용한 학술적 조언은 그림 4(온라인에서 보충 자료로 이용 가능)에 설명되어 있다.

The usual approach to help learners who are experiencing difficulties in their academic studies is often a “deficit remedial education model” which has a focus on the identification and remediation of their weaknesses instead of in their successes (Kramer & Associates 2007). However, contrast, the advisor could adopt a strengths based model that increases the learner’s self-efficacy beliefs about possible change and motivates the learner by helping to identify how previous coursework successes were achieved. Academic Advising using a model of six phases within an overall AI approach (Bloom et al. 2008) is illustrated in Figure 4 (available online as Supplemental Material).


교육과정개발에 긍정탐구 적용

Appreciative inquiry for curriculum development


AI는 [현재 강점을 바탕으로 한 평가와 질 향상 등] 의과대학 커리큘럼 개발에 유용한 방법을 제공할 수 있다(차코 2009). 사회적 책무성을 위한 의과대학 교과과정의 개발에 대한 예시는 그림 5(온라인에서 보충 자료로 이용 가능)에 제시되어 있다.

AI can provide a useful method for curriculum development in medical education, including evaluation and quality improvement that builds on current strengths (Chacko 2009). An illustrative example of the development of a socially accountable medical school curriculum is provided in Figure 5 (available online as Supplemental Material).


AI 접근방식은 또한 교과과정의 변화를 위해 부정적인 문화를 다루는데 도움이 된다. 커리큘럼 개발의 중요한 측면은 과정 평가지만, 학생과 직원 모두가 커리큘럼의 장점 대신에 문제에 집중하는 간단한 설문지에 의해 종종 이루어진다. 그림 6(온라인에서 보충 자료로 이용 가능)은 커리큘럼 개발과 문화적 변화를 위한 AI 접근법의 성공적인 사용을 보여준다.

The AI approach also lends itself to tackling a negative culture to change in the curriculum. An important aspect of curriculum development is course evaluation, but often this is by a simple questionnaire, with both students and staff concentrating on problems instead of the strengths of the curriculum. Figure 6 (available online as Supplemental Material) illustrates successful use of an AI approach for curriculum development and cultural change.


교수개발을 위한 긍정탐구

Appreciative inquiry for faculty development


그림 7(온라인에서 보충 자료로 사용 가능)은 모든 의대 학생들이 학술 및 임상 교수진에서 높은 수준의 전문적 행동을 목격할 수 있도록 하기 위해 미국 의대 교직원 및 레지던트 개발을 위한 주요 방법 중 하나로 AI 접근법을 사용한 방법을 설명한다(Fryer-Edwards et a).2007년).

Figure 7 (available online as Supplemental Material) illustrates how an AI approach was used as one of the main methods for the development of faculty and residents in a US medical school were used to ensure that all medical students would witness a high level of professional behaviors in the academic and clinical teaching staff (Fryer-Edwards et al. 2007).


의학교육연구를 위한 긍정탐구

Appreciative inquiry for medical education research


이러한 이해관계자들에게 중요한 질문과 이슈를 다룰 목적으로 학생부터 교사 및 관리자에 이르기까지 다양한 이해관계자들과 협력하여 일하는 데 초점을 맞추어 교육 연구에 참여 연구 방법을 사용하는 것에 대한 관심이 증가하고 있다(Cohen 등 2013). 이 연구 방법의 본질적인 측면은 이해관계자들이 연구 과정에 적극적인 참여자가 되도록 권한을 부여하는 것이다. AI 접근법의 취지는 참여 연구방법의 초점과 유사하며, 일반 교육연구, 특히 구조면접에 AI가 적용됐다.

There has been increasing interest in the use of participatory research methods in educational research, with a focus on collaboratively working with a range of stakeholders, from students to teachers and administrators, with the intention of addressing questions and issues that are significant to these stakeholders (Cohen et al. 2013). An essential aspect of this research method is empowerment of the stakeholders so that they become active participants in the research process. The intentions of the AI approach are similar to the focus of participatory research methods and AI has been applied to general educational research, especially to structure interviews.


일반 교육연구에서 인터뷰를 구조화하기 위해 AI의 원리를 이용한 사례로는 마이클(2005)이 학교 교사로서의 경험에 대해 연구한 것이 있다. "여기서 일하면서 가장 좋아하는 기억은 무엇인가?" "직장에 대해 가장 좋아하는 것은 무엇인가?" "조직 성공의 핵심이 무엇이라고 생각하는가?" "당신의 조직을 특별하게 만들거나 알고 있는 다른 조직과 다른 점은 무엇인가?"와 같은 AI 사이클의 디스커버리 단계와 관련된 질문들이 쏟아졌다. 그는 참가자들이 자신의 이야기를 들려주는데 열심이었고, 경험하고 싶은 긍정적인 경험에 영향을 미치는 요인에 대한 이해를 더 많이 하는 등 알려지지 않은 정보를 공개하는 데 더 개방적이라고 지적했다. 흥미로운 측면은 참가자들이 면접을 진행하는 동안 현재의 교육적 실천을 바꿀 수 있는 힘을 느끼기 시작했으며, 인터뷰가 진행됨에 따라 꿈의 단계를 향해 자발적인 움직임을 보였다.

An illustrative example of the use of the principles of AI to structure interviews in general educational research is the work of Michael (2005) on the experiences of being a school teacher. Questions were asked that were related to the Discovery phase of the AI cycle, such as “What’s your favorite memory of working here?”, “What do you like best about your job?”, “What do you think is at the heart of your organization’s success?” and “What makes your organization special, or different from other organizations that you know?”. He noted that participants were eager to tell their stories and were more open to disclose unrehearsed information, including greater understanding of the factors that impacted on the positive experiences that they wanted to experience. An interesting aspect was that participants began to feel empowered during the interview to change their current teaching practice, with spontaneous movement towards the Dreaming phase as their interviews progressed.


의료 교육에서 소셜 미디어의 전문적인 사용을 이해하기 위한 AI 접근방식은 그림 8(온라인에서 보충 자료로 이용 가능)에 나타나 있다(Pereira et al. 2015).

the AI approach to understand professional use of social media in medical education is shown in Figure 8 (available online as Supplemental Material) (Pereira et al. 2015).


긍정탐구를 사용한 개인 발전

Personal development using appreciative inquiry


주된 변화는 개인의 강점을 파악하는 데 초점을 맞춘 마인드셋으로, 변화에 대한 동기부여와 정서적 에너지를 제공하면서도 탄력성, 만족도, 자존심도 향상시켰다(리브 2014). 이러한 접근방식은 [부정적인 함의와 그에 따른 정서적 에너지의 고갈과 동기의 감소]와 같은 "취약성" 식별에 초점을 맞춘 기존의 방식과는 대조적이다. 강점을 바탕으로 하고 감사하는 마음가짐은 "약점"을 무시하지 않고, 이 상황을 특정한 지식이나 기술을 증가시키는 등 발전이 필요한 강점으로 재구성한다. 또한, 원하는 결과를 얻기 위해 동원되어야 할 기존의 강점에 대한 식별도 있다.

The main change is a mind-set that has a focus on identifying personal strengths, providing increased motivation and emotional energy to change but also enhanced resilience, satisfaction and self-esteem (Reeve 2014). This approach is in contrast to the traditional focus on identifying “weaknesses”, with its negative connotation and subsequent draining of emotional energy and reduced motivation. A strengths-based and appreciative mind-set does not ignore “weaknesses” but reframes this situation as being a strength that needs developing, such as to increase particular knowledge or skills. In addition, there is identification of existing strengths that will be required to be mobilized to achieve the desired outcome.


개인의 장점을 확인하는 실질적인 방법은 두 가지가 있다.

There are two practical methods for the identification of personal strengths:


1. 강의 시간이나 커리큘럼 개발 계획 회의 등 어떤 행사 후에라도 개인의 강점을 반영한다.

1. Reflect on personal strengths after any event, such as a teaching session or a curriculum development-planning meeting.


2. 이용된 강점에 대해 그들이 알아챈 것, 특히 이러한 강점이 다른 사람의 변화나 상황의 변화에 어떻게 영향을 미쳤는지에 대해 다른 사람의 피드백을 구한다.

2. Seek feedback from others about what they notice about the strengths that have been used, and especially how these strengths have influenced change in others or a situation.


결론

Conclusions


AI 접근방식은 개인과 그들이 불가결한 구성원인 조직 모두에게 독특하고 혁신적인 발전 기회를 제공하여 개인과 집단적 강점을 식별하고 동원하여 개인과 조직의 잠재력을 달성한다. AI 접근법의 본질적인 측면은 [새로운 상황을 구상할 수 있고 희망하는 미래 상황을 달성하기 위해 동기부여 에너지가 만들어지는] [생성적 과정]이라는 점이다. 이 과정은 모든 개인적이고 조직적인 발전의 핵심이다.

The AI approach provides a unique and innovative developmental opportunity for both individuals, and the organization in which they are an integral member, to identify and mobilize individual and collective strengths to achieve their individual potential and that of the organization. An essential aspect of the AI approach is the generative process, in which a new situation can be envisioned and motivational energy is created to achieve the desired future situation. This process is at the heart of all personal and organizational development.













, 39 (2), 123-127
 

Appreciative Inquiry in Medical Education

John Sandars 1, Deborah Murdoch-Eaton 1
Affiliations 

Affiliation

  • 1a Academic Unit of Medical Education , The Medical School, The University of Sheffield , Sheffield , UK.

Abstract

The practice of medicine, and also medical education, typically adopts a problem-solving approach to identify "what is going wrong" with a situation. However, an alternative is Appreciative Inquiry (AI), which adopts a positive and strengths-based approach to identify "what is going well" with a situation. The AI approach can be used for the development and enhancement of the potential of both individuals and organizations. An essential aspect of the AI approach is the generative process, in which a new situation is envisioned and both individual and collective strengths are mobilized to make changes to achieve the valued future situation. The AI approach has been widely used in the world of business and general education, but is has an exciting potential for medical education, including curriculum development, faculty development, supporting learners through academic advising and mentoring, but also for enhancing the teaching and learning of both individuals and groups. This AMEE Guide describes the core principles of AI and their practical application in medical education.

저작자표시

'Articles (Medical Education) > 대학의학, 조직, 리더십' 카테고리의 다른 글

필수적인 일: 21세기에 평가인증의 중요한 역할(BMC Med Educ, 2020)  (0) 2021.02.28
변화는 쉽지 않다: 관리 이론이 의학교육의 변화에 적용(Med Educ, 2020)  (0) 2020.09.30
활동이론의 도구가 학부의학교육에서 조직변화를 이해하는데 도움이 될 수 있을까? (Adv in Health Sci Educ, 2014)  (0) 2020.03.24
미래의 의과대학 만들기(Acad Med, 2017)  (0) 2019.06.07
2029년의 의과대학 (Med Teach, 2018)  (0) 2019.06.06

퍼즐을 한데 모으기: 복잡한 임상 판단에서 '문제 정의'의 역할(Med Educ, 2017)

Putting the puzzle together: the role of ‘problem definition’ in complex clinical judgement

Sayra Cristancho,1 Lorelei Lingard,1 Thomas Forbes,2 Michael Ott1 & Richard Novick3




도입

INTRODUCTION


복잡한 환자 사례는 정당하고 정확한 판단을 할 수 있는 임상의의 능력에 점점 더 많은 요구를 한다. 이것이 어려운 이유는 복잡한 상황에서 일어나는 일에 대한 판단을 하는 것이 일종의 '움직이는 과녁'이기 때문이다. 과녁이 움직이는 이유는 다른 관점을 가진 여러 행위자들이 상황의 진화evolution를 변화시키고 결과적으로 그것이 어떻게 정의되는지에 따라 달라지기 때문이다. 

Complex patients impose mounting demands on clinicians’ ability to make sound and accurate judgements. Mounting demands occur because making judgements about what’s going on during complex situations becomes a ‘moving target’, as multiple actors with different perspectives change the evolution of the situation and consequently how it is defined. 


[문제가 어떻게 정의되는지]에 대한 이러한 복잡성은 의학 교육 연구 노력의 초점이 되지 않았다; 임상 판단에 대한 우리의 현재 지식은 대부분 문제가 어떻게 해결되는지를 탐구하는 것에서 만들어 졌다. 우리는 마치 문제가 정적인 것처럼 [문제 해결]에만 배타적으로 초점을 맞추는 것은, 복잡한 임상 상황의 성격과 모순되며, workplace training이라는 목적에 맞춰 [임상 판단]의 개념을 translate하기 어렵게 만든다.

This complexity of how a problem is defined has not been the focus of medical education research efforts; our current knowledge about clinical judgement has mostly been built from exploring how the problem is solved. An exclusive focus on problem solving, as if problems were static, contradicts the nature of complex clinical situations and makes the notion of clinical judgement difficult to translate for workplace training purposes.


임상적 판단은 전통적으로 문제 해결에 집중되어 왔으며, '대안의 평가'와 '대안의 선택'으로 구성된다.1 

  • 일부 저자들은 정보를 수집하는 것이 올바른 대안을 선택하는 데 있어 핵심 과제라고 주장해왔다.2 이러한 주장은 의사결정자가 완전한 확실성의 세계에서 활동하는 것으로 보는 '고전적 의사결정(CDM)' 모델을 지원한다.3 

  • 다른 저자들은 우리가 얼마나 많은 정보를 수집하든 간에, 항상 환원할 수 없는 수준의 불확실성이 존재할 것이고4 따라서 [옵션들 사이에서 선택하기] 보다는 [옵션을 상세하게 하고 개선하는 데] 초점을 맞추어야 한다고 주장해왔다.5

Clinical judgement has traditionally focused on problem solving as ‘the assessment of alternatives’ and the ‘selection between alternatives’.1 Some authors have argued that accruing information is the key task in selecting the right alternative.2 These claims support the ‘classical decision-making’ (CDM) model that views the decision maker as acting in a world of complete certainty.3 Other authors have argued that regardless of how much information we gather, there will always exist a level of irreducible uncertainty4 and therefore the focus should be on elaborating and improving options, rather than selecting between options.5


그러나 다른 영역에서의 연구에 따르면, 복잡한 상황에서의 판단은 문제 해결이 아니라 문제 정의에 초점을 맞춘다는 것을 시사한다. 복잡한 상황에서, [문제가 어떻게 정의되는가]는 전문가들이 현재 일어나고 있는 일에 어떻게 적응하는가에 영향을 미친다. 복잡한 상황은 조건이 끊임없이 유동적이어서 적응 능력이 필요한 경우에 발생한다. 따라서 복잡한 상황에서 판단을 하는 것은 (관찰자처럼) 상황에서 선택사항을 추출하는 것이 아니라, 오히려 (배우처럼) 그 상황에서 살고living within 그것이 정의할 수 있는 여러 가지 방법을 고심하는 데서 나온다.

However, research in other domains6–8 suggests that judgement during complex situations is centered on problem defining, not problem solving. In complex situations, how the problem is defined affects how experts adapt to what’s going on. Complex situations take place where conditions are constantly in flux, requiring the ability to adapt. Therefore, making judgements during complex situations does not come from extracting options out of a situation (as if an observer) but rather from living within the situation and grappling with the multiple ways in which it could be defined (as if an actor).9,10


더욱이, 복잡한 문제를 정의하는 여러 가지 방법이 존재한다는 것은 복잡한 문제들이 역동적이라는 것을 암시하며, 반복적인iterative 해결책들이 단순히 '더' 해결책에 가까워지는 것이 아니라, 사실상 [문제를 재정의]한다고 가정한다. 이 특성은 복잡한 임상 상황의 다원적 특성이 대개 [문제의 정의를 두고 협상하는 다수의 개인]을 필요로 하는 의료에서 특히 명백하다.

Furthermore, the existence of multiple ways of defining a complex problem suggests that complex problems are dynamic, and posits that iterative solutions do not just get us closer to ‘the’ solution, they actually redefine the problem. This feature is particularly evident in health care, where the multidisciplinary nature of complex clinical situations usually requires multiple individuals negotiating the definition of the problem.


이론적 틀

Theoretical framework


시스템 개념은 문제 정의와 문제 해결을 모두 포함하는 전문가 판단에 대한 접근법에 도움이 된다. 시스템 사고는 상황을 전체적으로 보는 방식이다. 그래서 우리는 어떤 것이 상황이 그렇게 되도록 가능캐 했는지를 인식할 수 있다. 즉, 개별적인 부분보다는 상호 관계가 그러하며, 정적 스냅샷보다는 변화의 패턴이 그러하다.11 

Systems concepts can inform approaches to researching expert judgement that include both problem definition and problem solving. Systems thinking is a way of seeing a situation in its entirety, so that we can perceive what enables the situation to be: interrelationships rather than individual parts, patterns of change rather than static snapshots.11 


시스템 사고에서 관점(즉, 참여자의 해석)은 상황을 형성하고 정의하는 역할을 한다.12 상황의 진화에 따라 관점이 변화하며, 무엇이 발생하는지 인식하는 능력이 요구된다. 두 가지 전제는 시스템 사고에서 창발emergence의 개념을 정의한다. 즉, 사람과 맥락은 불가분의 관계에 있으며 나타나는emerge 것은 선택 행위이다. 따라서 개인이 상황을 바라보는 관점이 달라지거나, 시스템의 다른 요소들과 상호작용하면 문제의 정의가 바뀐다.

In systems thinking, perspectives (i.e. participants’ interpretations) are responsible for shaping and defining the situation.12 Perspectives change as the situation evolves, requiring the ability to recognise what emerges. Two premises define the concept of Emergence in systems thinking: that person and context are inseparable and that what emerges is an act of choice. Thus, the definition of the problem changes as the individual considers the situation from different vantage points and interacts with other elements of the system.13,14


방법

METHODS


시스템 사고 접근방식은 다양한 시스템 분야의 분석 도구를 통합한다.15 우리의 연구에서 우리는 시스템 공학, 특히 '풍부한 그림rich picture'의 방법에 의존한다.16–19 풍부한 그림은 사물, 사상, 사람, 성격, 감정, 신념, 갈등 등 모든 상호작용을 하는 요소들로 복잡한 상황에 대한 사람의 시각을 담아내려는 그림 표현이다. 그것들은 관점을 나타내기 때문에, 풍부한 그림은 개인이 상황과 관련하여 자신의 위치와 역할을 어떻게 보는지를 이해하는 한 가지 방법이 된다. 이전 연구에서는 풍부한 그림을 인터뷰와 결합하여 전문가 실무에서 복잡하고 도전적인 상황의 진화하고 새롭게 나타나는 비절차적 차원을 밝혀냈다.21 본 논문에서는 실제 임상 판단에서 '문제 정의'의 개념을 탐구하기 위해 원래 데이터 세트에 대한 2차 분석을 실시했다.

The systems thinking approach incorporates analytical tools from a variety of systems disciplines.15 In our research, we rely on methods from systems engineering, particularly ‘rich pictures’.16–19 Rich pictures are pictorial representations that attempt to capture a person’s perspective of a complex situation with all its interacting elements: things, ideas, people, character, feelings, beliefs and conflicts. Because they represent perspectives, rich pictures constitute a way of understanding how individuals see their place and role in relation to the situation. In our previous work we combined rich pictures with interviews to uncover the evolving and emerging non-procedural dimensions of complex and challenging situations in expert practice.20,21 In this paper, we performed a secondary analysis on our original dataset to explore the notion of ‘problem definition’ in real-world clinical judgement.


자료 수집

Data collection 


데이터 수집에는 각 수술 사례에 대한 2단계 프로세스가 포함되었다. 

(i) 복잡한 수술 수술실에서의 관찰 및 

(ii) 같은 수술 수술에 대한 '풍부한 그림' 그리기 세션. 

Data collection involved a two-stage process for each surgical case: 

(i) observation in the operating room of complex surgical operations, and 

(ii) a ‘rich picture’ drawing session about the same surgical operations. 


특정 상황의 환경과 맥락을 파악하기 위해 관찰(현장 노트 형태로 포착)을 실시했다. 관찰은 또한 우리가 2단계에서 사용할 잠재적인 질문 라인을 공식화할 수 있게 해주었다.

Observations (captured in the form of field notes) were conducted in order to get a sense of the environment and context of the particular situation. Observations also allowed us to formulate potential lines of questioning to be used in stage two.


수술 후, 보통 그 후 2주 이내에 외과의사들은 60분간의 그리기 겸 인터뷰에 참여했다. 이 세션 동안 '풍부한 그림'의 개념이 외과의들에게 설명되었고, 외과의들은 상황의 복잡성과 그것이 어떻게 진화되었는지에 대한 그들의 관점을 그리기 위해 약 30분 동안 초대되었다.

Postoperatively, usually within the following 2 weeks, surgeons participated in a 60-minute drawing-plus-interview session. During this session the concept of a ‘rich picture’ was explained to the surgeons, who were then invited to take approximately 30 minutes to draw their perspective on the complexity of the situation and how it evolved.


이차분석

Secondary data analysis


데이터 세트의 2차 분석은 갤러리 워크의 형태로 수행되었다.22 갤러리 워크는 데이터에 대한 적극적인 참여를 촉진하는 기법이다. 그 그림들은 회의실 주위에 '갤러리 스타일'로 전시되었다. 두 명의 연구자가 방을 돌아다니며, 각 도면에 멈추어 서서, 필요한 만큼 각 도면에 관여하고, 개별 도면의 분석 메모를 작성하고, 여러 도면의 교차 비교를 위해 갤러리 워크를 수행했다. 메모는 연구자들이 모티브를 식별하고 각 도면에서 재생되는 잠재적인 이야기들에 대한 전반적인 해석으로서 그 모티브가 개별적으로 그리고 서로에 대한 그들의 해석을 제공하도록 유도하는 주문 설계 표에 기록되었다. 우리의 분석은 세 단계로 진행되었다.

Secondary analysis of the dataset was performed in the form of a gallery walk.22 A gallery walk is a technique that promotes active engagement with data. The drawings were displayed ‘gallery-style’ around a conference room. Two researchers performed the gallery walk by walking around the room, stopping at each drawing, engaging with each drawing for as much time as needed and writing analytical memos for individual drawings as well as for cross-comparison of multiple drawings. Memos were recorded in a custom-designed table that prompted researchers to identify motifs and to offer their interpretations of what those motifs meant individually and in relation to each other as well, as an overall interpretation of the potential stories playing out in each drawing. Our analysis was conducted in three stages.


결과

RESULTS


우리가 관찰한 것과 같은 복잡한 수술 상황은 6시간에서 10시간 동안 지속되었다. 외과의사들이 어떻게 특정 사건을 해결했는지는 그들의 그림에서 중심적으로 다루지 않았다. 그들에게 더 중요해 보이는 것은 그들이 무슨 일이 일어나고 있는지에 대해서 어떤 방식으로 이해했는가make sense 하는 것이었다.

Complex surgical situations, like the ones we observed, lasted from 6 to 10 hours. How surgeons managed to solve the particular events did not feature centrally in their drawings. What seemed to be more important for them was how they made sense of what’s going on.



무슨 일이 일어나고 있는지 이해하면서 외과의사들은 그들이 그렸던 특정한 수술에 대해 고려했던 여러 가지 유리한 점을 그리고 설명하게 되었다. 다음의 경우, 세 가지 유리한 점을 사용했다(표 1). 

  • 절차적 의사결정과 관련된 문제('enemy MRI', 그림 1로 표시) 

  • 의료팀과 관련된 문제(복싱 장갑과 큰 물음표로 지정, 그림 1). 

  • 도덕적 딜레마로서의 문제(체중 균형으로 제시됨, 그림 1).

Making sense of what’s going on took the surgeons into drawing and describing the multiple vantage points from which they considered the particular surgical operation they drew. In the following case, three vantage points were used (Table 1): 

  • problem as procedural decision making (depicted as the ‘enemy MRI’, Fig. 1), 

  • problem as dealing with the medical team (depicted as the boxing gloves and big question mark, Fig. 1) and 

  • problem as a moral dilemma (depicted as a weight balance, Fig. 1).



그 상황이 외과의사의 개인적인 건강 문제로 인해 영향을 받을 때, 선택과 감정의 균형을 잡는 것은 다소 비현실적이 된다. 한 외과의사가 그린 그림의 중심 주제는 어린 시절 축구 경기 도중 심장이 멎는 바람에 구급차에 실려가는 자신이었다(그림 2).

When the situation is coloured by the surgeon’s personal health issues, balancing choices and emotions becomes somewhat surreal. The central theme of one surgeon’s drawing was himself as a child being picked up by an ambulance during a soccer game because his heart was failing (Fig. 2).



다른 외과의들에게 있어서, 문제에 대한 정의를 내리기 위해서는 문제에 대한 다른 팀원들의 의식을 인지하고 내부적으로 협상할 필요가 있었다. 한 외과의사가 그린 그림에 따르면, 무슨 일이 일어나고 있는지 결정하는 것은 '퍼즐 조각들을 한데 모으는 것'과 같았다. 그림(그림 3)에 일관되게 나타난 이 작품들은 수술실 안과 대기실 밖, 그리고 두 나라의 국경 너머에 그려져 있었다.

For other surgeons, their definition of the problem required being aware and internally negotiating other team members’ sense of the problem. According to one surgeon’s drawing, determining what’s going on was like ‘putting together pieces of a puzzle’. Those pieces, which appeared consistently in the drawing (Fig. 3), were depicted inside the operating room, outside in the waiting room and beyond the frontiers of two countries.




위의 참가자 S2에도 불구하고, 모든 팀 구성원이 '퍼즐의 일부'를 들고 있다. S3에 따르면, '때로는 모든 팀 구성원이 올바른 조각이 준비되어있지는 않다.' 수술할 때는 계속 움직여야 해 그래서 퍼즐의 조각이 맞지 않을 때, 팀 역학은 이 외과의사가 여러 개의 점선(dashed circle line)을 사용하여 그렸듯이 순환기 날씨 사건의 형태로 수술의 에피소드를 닮을 수 있다(그림 4).

Even though for our participant S2 above, every team member holds a ‘piece of the puzzle’, according to participant S3, ‘sometimes not all the team members come prepare[d] with the right piece’. In surgery, things need to keep moving. So when pieces of the puzzle do not fit, then team dynamics can veer to resemble episodes of the surgery in the form of cyclonic weather events, as this surgeon drew using multiple, dashed circular lines (Fig. 4).



고찰

DISCUSSION


이 논문에서는 창발emergence의 개념을 사용하여 우리는 전문가 임상 판단의 현재 모델에서 두 가지 가정에 도전했다. 즉, 전문가들은 문제에 대한 고정적이고 정적인 정의를 가지고 있으며, 전문가의 업무의 초점은 문제를 해결하는 데 있다는 것이다. 

Using the notion of emergence in this paper we challenged two assumptions from current models of expert clinical judgement: that experts hold a fixed and static definition of the problem and that the focus of the expert’s work is on solving the problem. 


참가자들이 기술한 각 상황은 상황 및 도면에 걸쳐 다르지만 상호 보완적인 관점을 드러냈다. 

  • 관리 수준 보장에 대한 우려

  • 개인적인 감정과 배려의 선택의 균형을 맞추기

  • 자원을 조정하기

  • 성격 충돌 중에 통제력을 유지하기

Each situation described by our participants revealed different but complementary perspectives across situations and drawings of what a surgical problem might come to be: 

  • from concerns about ensuring standard of care, 

  • to balancing personal emotions versus care choices, 

  • to coordinating resources, 

  • to maintaining control while in the midst of personality clashes.


시각적, 언어적 서술은 참가자들이 무슨 일이 일어나고 있는지 이해하려고 노력하는 것에 가장 관심이 있다는 것을 보여준다. 그렇게 함으로써, 참가자들은 상황이 전개될 때, [그들의 상황 내 위치에서] 어떤 것이 나타나는지에emerge 주의를 기울였다.

the visual and verbal descriptions indicated that participants were most concerned with trying to make sense of what’s going on. In doing so, participants remained attentive to what emerged as the situation unfolded from their positioning within the situation.


시스템에 대한 연구에서 출현emergence은 인지 및 선택과 관계가 있다.10 예를 들어, 우리가 개별적인 모양이나 부분(두 점, 곡선, 원)을 취한다면, 우리는 그것들을 조직하여 알아볼 수 있는 전체(얼굴의 이미지)가 나타나도록 할 수 있다. 이 조직화된 상호관련 부품들은 우리가 시스템이라고 부르는 것이다. 그러므로 우리는 [새로운 의미]를 [형상shape]에 귀속시키는 것을 선택하는데, 그 이유는 형상shape을 이제 이 체계의 일부로 인식하기 때문이다. 

In the systems literature, emergence has something to do with perceiving and choosing.10 For instance, if we take individual shapes or parts (two dots, a curve and a circle), we can organise them so that a recognisable whole (an image of a face) emerges. This organised whole of interrelated parts is what we call a system. Thus we choose to attribute new meanings to the shapes because we now perceive them as parts of this system. 


이러한 새로운 의미들은 개별적으로 그리고 집합적으로, 시스템으로서의 그들의 조직 때문에 나타난다. 이와 같이 어떤 것이 전체인지 부분인지, 그리고 그 부분이 어떤 관계가 있는지를 결정하는 것은 그것에 관심이 있는 사람에게 달려 있다(즉, 그것은 '발견되기를 기다리는' 것이 아니라 '선택' 행위이다).23 그리고 이 선택 행위는 시스템에 대해서 생각하고, 시스템의 어디에 주의를 기울이는 것의 목적을 반영한다. 이것이 참여자가 engage하는 활동의 종류이다.

These new meanings emerge, both individually and collectively, because of their organisation as a system. In this way, what determines whether something is a whole or a part, and how the parts are related, depends on the person who is interested in it (i.e. it is an act of choice, not something ‘out there’ waiting to be discovered).23 And this act of choice reflects the purpose of the person in thinking about, and giving attention to, the system – the type of activity that our participants engaged in.


만약 나타나는 것emerge이 선택 행위라면, 우리의 연구는 선택 행위가 은유적으로 나타나는 임상적 판단의 기술에 관한 대안적인 대화를 위한 가능성을 제시해 줄 것을 제안한다. 방법론적으로, 우리는 연구 환경에서 의미를 구성하려는 시도를 보완하기 위해 시각적 방법을 사용할 것을 제안했다. 우리의 연구에서, 우리는 의식적으로 풍부한 그림들을 사용했고, 우리가 rich picture를 사용한다는 결정을 내리게 된 것은 [우리가 시각적이고 언어적인 의미를 끊임없이 형성하고 있다]는 개념을 가지고 있었기 때문이다. 복잡한 상황에서 이러한 의미의 구성에는 직관적 인식이 포함될 수 있으며, '가치 판단을 할 수 있는 것은 감각에 호소하는appeal 것이다'.25 비록 시각적 데이터를 사용하면 참여자들이 그 상황에 대해 더 깊이 관여할 수 있는 것처럼 보였지만, 데이터, 데이터 수집 및 데이터 분석 프로세스의 강도가 샘플링 결정에 영향을 주었다.

If what emerges is an act of choice, we suggest that our study also offers the possibility for an alternative conversation, regarding the art of clinical judgement, in which the act of choice emerges metaphorically. Methodologically, we have suggested using visual methods to complement our attempts to construct meaning in research settings. In our research, we consciously used rich pictures24 and we grounded this decision in the notion that we are constantly constructing meaning that is both visual and verbal. In complex situations, such construction of meaning may involve intuitive perception, which, some authors have argued, can be given form via aesthetics tools: ‘it is the appeal to our senses that enable us to make a value judgment’.25 Although the use of visual data seemed to allow participants to experience a deeper engagement with the situation that enriched the data, the intensity of the data collection and data analysis processes influenced our sampling decisions.


결론적으로, 우리의 연구는 복잡한 상황에서, 숙련된 임상의들의 판단 과정은 주로 문제 해결이 아닌 문제 정의에 초점을 맞춘 것처럼 보인다는 것을 암시한다. '창발emergence'이라는 개념은 [문제 정의]에 관한 뉘앙스를 높이 평가하는 데 도움이 되었다. 특히, 우리는 그 문제를 정의하기 위해 노력하면서 경험 많은 임상의들이 그 상황에 내재된 그들 자신을 묘사한다는 것을 발견했다. 

In conclusion, our study suggests that in complex situations, the judgement process of experienced clinicians seems to mainly revolve around problem definition, not problem solving. The notion of ‘emergence’ helped us appreciate the nuances of defining the problem. Particularly, we found that in trying to define the problem, experienced clinicians portrayed themselves as embedded in the situation. 


전문가들이 실세계의 복잡한 상황에서 판단을 내릴 때, 문제 정의의 중요성을 강조하는 것은 개인의 수준이 아니라 상황 수준에서만 가능하다. 전문가들은 자신들이 무슨 일이 일어나고 있는지에 대한 이야기를 구성하는데 있어 일부분이라고 볼 수 있다. 자신을 배우actor로 묘사하면서, emerge한 것은 순전히 그들의 선택이었다.

We therefore suggest that it is only at the situation level, not at the individual level, that we are able to foreground the importance of defining the problem when experts make judgements during real-world complex situations. It is at the situation level that experts are able to see themselves as part of constructing the story of what’s going on. In depicting themselves as actors, what emerged were purely their acts of choice.





, 51 (2), 207-214
 

Putting the Puzzle Together: The Role of 'Problem Definition' in Complex Clinical Judgement

Sayra Cristancho 1, Lorelei Lingard 1, Thomas Forbes 2, Michael Ott 1, Richard Novick 3
Affiliations 

Affiliations

  • 1University of Western Ontario, London, Ontario, Canada.
  • 2University of Toronto, Toronto, Ontario, Canada.
  • 3University of Calgary, Alberta, Canada.

Abstract

Context: We teach judgement in pieces; that is, we talk about each aspect separately (patient, plan, resources, technique, etc.). We also let trainees figure out how to put the pieces together. In complex situations, this might be problematic. Using data from a drawing-based study on surgeons' experiences with complex situations, we explore the notion of 'problem definition' in real-world clinical judgement using the theoretical lens of systems engineering.

Methods: 'Emergence', the sensitising concept for analysis, is rooted in two key systems premises: that person and context are inseparable and that what emerges is an act of choice. Via a 'gallery walk' we used these premises to perform analysis on individual drawings as well as cross-comparisons of multiple drawings. Our focus was to understand similarities and differences among the vantage points used by multiple surgeons.

Results: In this paper we challenge two assumptions from current models of clinical judgement: that experts hold a fixed and static definition of the problem and that consequently the focus of the expert's work is on solving the problem. Each situation described by our participants revealed different but complementary perspectives of what a surgical problem might come to be: from concerns about ensuring standard of care, to balancing personal emotions versus care choices, to coordinating resources, and to maintaining control while in the midst of personality clashes.

Conclusion: We suggest that it is only at the situation and system level, not at the individual level, that we are able to appreciate the nuances of defining the problem when experts make judgements during real-world complex situations.

저작자표시

'Articles (Medical Education) > 임상교육(Clerkship & Residency)' 카테고리의 다른 글

감독관 경험이 신뢰, 감독, 수련생 학습에 미치는 경향: 질적 연구(Acad Med, 2017)  (0) 2020.03.31
좋은 교육자와 고아: 직접 관찰과 피드백(Med Educ, 2019)  (0) 2020.03.14
비판적 사고 가르치기: 진단오류를 줄이고 환자안전을 개선하기 위한 인지편향 교육(Acad Med, 2019)  (0) 2020.03.14
임상 프리셉터로부터 받은 유도 질문에 대한 학생의 이해(Teach Learn Med, 2016)  (0) 2020.03.12
경계 긋기: 임상추론 정의의 어려움(Acad Med, 2018)  (0) 2020.03.12

오해와 불일치: 총괄평가 피드백에 대한 집단적 환멸(Research in Education, 2017)

Misunderstandings and mismatches: The collective disillusionment of written summative assessment feedback

Jane Rand

York St John University, UK




피드백은 '미끌미끌'하다(Boud and Molloy, 2013a: 5). 그 목적은 수정correction에서 종적 발달에 이르기까지 넓고(Price et al., 2010), 종종 (단순화되어) daulism과 연관된다. 예를 들어 형성적 또는 총괄적, 튜터- 또는 피어-, 서면  또는 언어 등과 같다. dualism이 도움이 되지 않는 경우도 많지만, '해석적 이원론'은 개념으로서 피드백의 '실용적, 이론적 감'을 잡는 데 도움이 될 수 있다. 피드백의 지각 한계 내에 있는 공간은 여러분이 점유하는 공간에 따라 피드백의 의미가 바뀌기 때문에 미끄럽다. 즉, 학습자, 교사, 외부 심사관, 몇 가지 이름을 붙일 수 있는 품질 보증인이기 때문이다.

Feedback is ‘slippery’ (Boud and Molloy, 2013a: 5). Ranging in purpose from correction to longitudinal development (Price et al., 2010), it is often associated with (simplified) dualisms, for example formative and summative, tutorand peer-, written, and verbal; although dualisms are often unhelpful, ‘interpretive dualism’, Soja’s (1996: 5) principle of describing perceptual limits (or the points beyond which things no longer exist), can help to make ‘practical and theoretical sense’ of feedback as a concept. The space(s) within these perceptual limits of feedback are slippery because the meaning of feedback changes according to the space(s) you occupy: learner, teacher, external examiner, quality assurer to name a few.


이원주의의 위험은 [양 극단 binary limit 안쪽에서 차이를 위장하기 때문에] 한 쪽이 다른 한 쪽과의 비교를 통해서 평가될 수 있도록 허용한다는 것이다(Pile, 1994) 그러나 피드백은 다음 두 가지의 사이에 있다고 볼 수 있다. 

  • Carless(2015)가 말하는 '구 패러다임' 사고, 즉 '교육적 반응이 옳은지 그른지를 학습자에게 알리는 데 사용되는 수많은 절차 중 하나' (Kulhavy, 1977: 211)

  • 현대적 사고: '학생들이 다양한 소스의 피드백에 참여하여 이를 활용하여 그들의 일을 향상시키고 학습을 발전시키는 과정'

이 현대적 패러다임은 'telling'에서 다음으로 옮겨간다.


The danger with dualisms is that they permit one side to be valued over the other (Pile, 1994) because they disguise differences within the binary limits. Feedback, however, can be perceived between what Carless (2015) refers to as ‘old paradigm’ thinking: ‘any of the numerous procedures that are used to tell a learner if an instructional response is right or wrong’ (Kulhavy, 1977: 211), and contemporary thinking: as ‘a process in which students engage with feedback from various sources and make use of it to improve their work and/or develop their learning’ (Carless, 2015: 192). This, contemporary paradigm, moves from ‘telling’ to


학습자가 [교사를 포함한 다양한 출처로부터] 작업에 대한 정보를 얻는 과정. 최종 목적은 일을 개선하는 것이다. 이를 위해서 [주어진 작업에 대한 적절한 기준과 작업 자체의 품질 사이의 유사성과 차이점]을 인식해야 한다. 

(Boud and Molloy, 2013a: 6)

...[a] process whereby learners obtain information about their work [from a variety of sources, including but not limited to teachers] in order to appreciate the similarities and differences between the appropriate standards for any given work, and the qualities of the work itself, in order to generate improved work. (Boud and Molloy, 2013a: 6)


학생들의 보고된 피드백에 대한 불만족에 관한 현대 연구 내에서 공통적인 주제는 다음과 같다: 

  • 너무 일반적이거나 모호하다. 

  • 지침이 부족하다(또는 개선을 위한 제안은 포함하지 않는다). 

  • 그것은 부정적인 것에 초점을 맞추고, 종종 명확하지 않으며, 평가 기준과 관련이 없다(Higins et al., 2001; Rae and Cochrane, 2008; Weaver, 2006). 

Themes common within contemporary research around students’ reported dissatisfaction with feedback include that: 

  • it is too general, or vague; 

  • it lacks guidance (or includes no suggestions for improvement); 

  • it focuses on the negative, is often not clear, and is unrelated to assessment criteria (Higgins et al., 2001; Rae and Cochrane, 2008; Weaver, 2006). 


그러나 반면에, 초보(그리고 때로는 neophyte가 아닌) 학습자들은 피드백의 존재 자체가 개선된 성과를 가져오기에 충분하다는 것을 때때로 지각한다(Beard et al., 2014; O'Donovan et al., 2015). 문제는 많은 학생들이 자신이 받은 (서면) 피드백을 절대 읽지 않는다고 보고한다는 것이다.

Yet, on the other hand, neophyte (and sometimes, not-so-neophyte) learners sometimes perceive that the presence of feedback, in and of itself, is sufficient to bring about improved performance (Beard et al., 2014; O’Donovan et al., 2015), even though many students report never reading the (written) feedback that they receive (Weaver, 2006).


이론적으로, 피드백은 학생들의 성장, 개발, 학습, 성취에 가장 강력한 영향 중 하나로 간주된다(Rae와 Cochrane, 2008). 실제로 그것은 고등 교육의 대량화와 병행하여 증가하는 척도에서 경쟁적이고 다중적인 관점이 되었다.

Theoretically, feedback is considered as one of the most powerful influences on student growth, development, learning, and achievement (Rae and Cochrane, 2008); in practice it has become contested and multiperspectival in increasing measure, in parallel with the massification of higher education.


본 논문은 특히 '줄글로 전달되는 학생 수행능력에 관한 정보'(Jolly and Boud, 2013: 105)를 학습 단위의 평가(총괄 평가)에 초점을 맞춘다. 나는 피드백에서 '집단적 환멸'에 대한 Hounsell의 주장(2008: 2)에서 더 나아간다.

  • 학생들이 평가 피드백을 잘못 이해하거나 대부분 접근할 수 없다고inaccessible 보는 것(Carless, 2006; Higgins et al., 2001; Weaver, 2006) 

  • 학생 해석과 강의자 의도의 불일치(Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006). 

This paper focuses specifically on written feedback: ‘information about student performance conveyed by prose’ (Jolly and Boud, 2013: 105) on assessment at the end of a unit of study (summative assessment). I develop Hounsell’s argument (2008: 2) around ‘collective disillusionment’ in feedback: 

  • the result(s) of students misunderstanding assessment feedback discourses or finding them largely inaccessible (Carless, 2006; Higgins et al., 2001; Weaver, 2006), and 

  • the mismatches between student interpretations and lecturers’ intentions of feedback (Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006). 


피드백 위험에 대한 집단적 환멸은, 보르디외(1984, 2010)의 용어, 반박과 부정으로 궁극적으로는 제거된다. 그러나 피드백은 학습에 대한 가장 강력한 단일 영향 중 하나로 동시에 위치한다.

Collective disillusionment in feedback risks, in Bordieu’s (1984, 2010) terms, refusals and negations and ultimately therefore elimination; yet feedback is simultaneously positioned as one of the most powerful single influences on learning.


서면(요약) 피드백

Written (summative) feedback


서면(요약) 피드백은 여전히 학술 프로그램에서 가장 일반적인 관행 중 하나이다. 그것은 1대1 토론과 (재)드래프트를 위한 기회와 함께 위치하는 지원적이고 형태적인 (Oxford/Cambridge 튜토리얼) 학습 지원 시스템 내에서 시작되었으나 현재는 대부분 분리되었다(Nicol, 2010). 

Written (summative) feedback is still one of the most common practices in academic programmes. It originated within, but is now largely detached from, a supportive and formative (Oxford/Cambridge tutorial) learning support system, positioned alongside one-to-one discussion and opportunities for (re-)drafting (Nicol, 2010). 


현대의 담론에서 그것은 다음과 같이 이해된다. 

'...평가 대상 작업에 해당 속성이 있는지 여부를 나타내기 위해 특정 기준 또는 특성에 대한 상자에 체크 표시를 포함할 수 있는 사전 설계 등급 일람표, 양식 또는 '점수 시트'를 사용하여 제공되는 정보(Jolly and Boud, 2013: 105).

Within contemporary discourse it is understood as: 

‘...information given [often] using pre-designed rating schedules, forms or ‘‘score sheets’’ that might contain a tick in a box against a particular criterion or characteristic to indicate whether the work being assessed has that attribute’ (Jolly and Boud, 2013: 105).


컨텍스트에서 평가 피드백 저하: 대량화, 시장화, 오해 및 불일치

Assessment feedback discourses in context: Massification, marketisation, misunderstandings, and mismatches


대량화의 영향(고등교육에 참여하는 적격 인구의 15~40%를 가리키는 말로 이해됨)은 문제가 있다. 교육을 하나의 산업으로 형성하는 포스트모던 이념은 긴장 상태에 있으며, 이는 교육을 '잔혹한 낙관론'으로 규정하며, 인간 발전을 지향하는 학원에 의해 설립되고 지배되기 때문에, 학생 등록과 소득 창출을 지향하는 제도에 박차를 가하기 때문이다. (Barnett, 1997: 6; McCardle-Clinton, 2008). 학자들에게 있어서 소비자 사회로의 전환에 따른 대량화 및 시장화 고등 교육 시스템은 '고등 교육의 과정과 지점에 대한 부적절한 개념'(Barnett, 1997: 163), 교육은 '준비된 식사'와 같은 '포장'이 되고 '쉽게 소비하기 위해' 만들어진다(Mcardle-Clinton, 2008: 95).

The impact of massification (understood as the term that refers to 15–40% of an eligible population participating in Higher Education) is problematic. The postmodern ideology that shapes education as an industry is in tension, subject to what Berlant (2011) defies as ‘cruel optimism’, because it is founded on, and dominated by an academy geared towards human development, thrust into a system that is geared towards student enrolment and income generation (Barnett, 1997: 6; McCardle-Clinton, 2008). For academics, a massified and marketised higher education system, predicated on the shift to a consumer society, results in ‘inadequate notions of the process and point of higher education’ (Barnett, 1997: 163), where education has become ‘encapsulated’, like a ready-meal, and ‘packaged for easy consumption’ (McCardle-Clinton, 2008: 95).


HE의 대량화는 학습의 틀을 좁히는 결과를 가져왔고, 이는 일반적으로 역사적으로 보다 반복성이 덜하다(Nicol, 2010; Rae and Cochrane, 2008; Taras, 2006).

Massification of HE has resulted in a narrow framework of learning, and one which is typically less iterative than historically (Nicol, 2010; Rae and Cochrane, 2008; Taras, 2006).


캡슐화된 교육 실습에서의 규모의 경제가 평가 실무에서는 복제되지 않았다(Glover와 Brown, 2006). 모듈화는 지도, 상호작용, 실습 및 학생들의 수행에 대한 체계적인 지식 개발 기회를 감소시켰다(Boud and Molloy, 2013b; Hounsell, 2008). 지식과 피드백은 단편적이 되었으며, 한 모듈에서 다른 모듈로 학습을 진전시킬 기회가 감소했다(Yorke, 2001).

The economies of scale in capsule education teaching practice have not been replicated in assessment practice (Glover and Brown, 2006). Modularisation has resulted in decreased opportunities for guidance, interaction, practice, and students’ development of systematic knowledge of their performance (Boud and Molloy, 2013b; Hounsell, 2008). Knowledge and feedback is piecemeal in nature (Glover and Brown, 2006), and there are reduced opportunities to carry forward learning from one module to another (Yorke, 2001).



피드백의 표현

The representation of feedback


학생들이 피드백에 만족하지 않는다는 것을 인식하는 것은 한 가지다.

Recognising that students are dissatisfied with feedback is one thing


이것이 가치 있는 이유 탐구.

Exploring why this might be is valuable;


평가 피드백은 대부분 오해되거나 적어도 학습자가 완전히 접근할 수 없다(Carless, 2006; Higgins et al., 2001; Weaver, 2006). (암묵적 가정을 포함하여) 학생들은 피드백의 이해와 사용에 대한 조언이 필요하다. 그래야만 피드백에 engage하고, 그것으로부터 배울 수 있는 능력을 개발하고, 피드백이 '배움의 잠재력을 방해'하는 장벽이 되지 않을 수 있다.

Assessment feedback discourses are largely misunderstood or at least not fully accessible to learners (Carless, 2006; Higgins et al., 2001; Weaver, 2006). Students need advice on understanding and using feedback, including its tacit assumptions, in order both to develop the capacity to engage with it and learn from it (Carless, 2006; Hounsell, 2008; Weaver, 2006) and to avoid feedback becoming a barrier that ‘distort[s] the potential for learning’ (Carless, 2006: 220).


연구에 따르면, 학생들의 해석과 강의자들의 피드백의 의도는 종종 일치하지 않는 것으로 나타났다. (Rae와 Cochrane, 2008; Sopina와 McNeill, 2015; Weaver, 2006) 학생과 강사는 피드백을 극단적으로 달리 개념화할 가능성이 높으며(Higgins et al., 2001), 피드백의 성격에 대한 인식과 그것이 사용되는 사용 간의 차이를 초래한다(Glover와 Brown, 2006).

Research indicates that student interpretations, and lecturers’ intentions, of feedback are often mismatched (Rae and Cochrane, 2008; Sopina and McNeill, 2015; Weaver, 2006). Students and lecturers are likely to conceptualise feedback in dramatically different ways (Higgins et al., 2001), resulting in a disparity between the perceptions of the nature of feedback and the use to which it is put (Glover and Brown, 2006):


이러한 포지션은 '집단적 환멸'의 주제로 피드백을 제공한다(Hounsell, 2008: 2; 강조 추가). 학생 성장, 개발, 학습, 성취에 가장 강력한 단일 영향 중 하나인 피드백이, 집단적 환멸로 인하여 피드백에 대한 불만족이나, 반박과 부정으로 이어질 수 있고, 따라서 결국 제거될 수 있기 때문에 문제가 된다.

This positions feedback as the subject of ‘collective disillusionment’ (Hounsell, 2008: 2; emphasis added). This is problematic because collective disillusionment in feedback – one of the most powerful single influences on student growth, development, learning, and achievement – could result in disaffection towards it (Ahmed, 2014) or, in Bordieu’s terms in refusals and negations (1984, 2010), and ultimately therefore in elimination.


현대의 서면 피드백은 transmission 모드로 작동하며, '빈약한 대화'로 특징지어지는 less-iterative 시스템을 나타낸다(Nicol, 2010: 501). 그것은 '...개선을 위한 1차적 수단이라는 부담을 지우고, 교사학생 토론(Nicol, 2010; Sadler, 2010: 541)에 근거한 역사적 관행을 대체할 것으로 기대된다.

Contemporary written feedback operates in a transmission mode (Rae and Cochrane, 2008), symptomatic of a less-iterative system characterised by ‘impoverished dialogue’ (Nicol, 2010: 501). It is expected to ‘...carry the burden of being the primary instrument for improvement’ and to replace historic practice based on teacher–student discussion (Nicol, 2010; Sadler, 2010: 541).


여기 다시 긴장감이 감돈다. 피드백(학생들이 학습 개선의 근거로 사용하는 정보로서 넓은 원칙으로 이해)이 오해와 불일치에 의해 지배된다면, 집단적 환멸이 크게 나타난다. 현대의 (대규모) 고등 교육 프레임워크에서, 글로 쓰여진 피드백은 거부와 부정의 위험이 있는 동시에, 학습에 가장 강력한 단일 영향 중 하나이기도 하다. 그 결과, 배움은 심각하게 위협받고 있다.

Here is the tension again. If feedback (understood in broad principle as being information used by students as a basis for improving learning) is dominated by misunderstandings and mismatches, collective disillusionment looms large. Written feedback within a contemporary (mass) higher education framework is at risk of refusal and negation, whilst simultaneously being positioned as one of the most powerful single influences on learning. Learning then is seriously threatened


피드백의 표현은 어떤 종류의 일을 하는가?

What kind of work does the representation of feedback do?


본 논문은 영국 대학의 모듈화된 학부 사회과학 프로그램에 종사하는 학생들과 관련된 소규모 연구의 경험적 자료를 바탕으로 한다. 이 연구는 학생연구원이 연구팀 내에 위치하는 파트너십 기반 모델을 채택했다.

this paper draws on empirical data from a small-scale study involving students engaged in a modularised undergraduate social science programme in a British University. The study adopted a partnership-based model in which a student-researcher was positioned within a research team


참가자로서뿐만 아니라 연구 설계, 수행 및 평가 내에서 학생들을 참여시키는 것은 우리의 연구, 실습 및 연구 실천을 향상시키는 데 핵심적인 역할을 한다. 이러한 파트너십 기반의 접근방식이 '용맹'인지(O'Donovan et al., 2015)를 고려했을 때, 위험에 직면했을 때 용기를 보여주는 것인지에 관심이 쏠린다. 우리가 차지하고 있는 공간에 따라 반응이 달라질 것이다. 이 공간들은, 또 다른 이원론을 그리기 위해, 노르덴스바 ̈rd(2011년)가 '소비자 은유 대 시민 은유'로 식별하는 지각 한계 안에 있다.

Engaging students within the design, conduct, and evaluation of research, and not just as participants, is central to improving our research, our practice, and our research practice. Considering whether such a partnership-based approach is ‘brave’ (O’Donovan et al., 2015), whether it demonstrates courage in the face of danger is intriguing. Responses will differ according to the space(s) we occupy. Those spaces, to draw on another dualism, lie within the perceptual limits of what Nordensva¨rd (2011) identifies as ‘[T]he consumer metaphor versus the citizen metaphor’.


피드백 양식의 수정사항(과정 제출 및 서면 피드백의 전자 프로세스에 포함됨)은 다음과 같은 세 가지 주요 특징으로 구성되었다.

The modifications to the feedback form (embedded within an electronic process of coursework submission and return of written feedback) comprised three key features:


. 피드백을 위한 섹션(제출된 작업이 텍스트 내 주석을 동반하거나 더 상세하지만 전면 시트에 국한될 수 있는 범위에서 요약 평가)

. a section for feed-back (a summary evaluation of the extent to which the submitted work demonstrated the module learning outcomes) that could be either short and accompanied by in-text annotations, or more detailed but limited to the front-sheet;


. 개발을 위한 세 가지 우선순위 측면을 중심으로 구성된 피드 포워드를 위한 섹션(미래 작업 개선을 위한 영역에 집중) 이러한 섹션은 (숫자) 등급 표시기 앞에 있으며, 그 뒤에 (수정된 양식에서) 다음과 같은 내용이 뒤따랐다.

. a section for feed-forward (focussing on areas for improvement in future work) structured around three priority aspects for development. These sections preceded the (numeric) grade indicator, which (in the modified form) was followed by;


. 학생들이 (수치) 세분화된 등급을 더 잘 평가할 수 있도록 하기 위해 대학 종합 평가 기준(등급 밴드별로 구분된 일련의 기준)을 시각적으로 분석할 수 있는 물리적 강조.

. the physical highlighting of the University generic assessment criteria (a series of criteria differentiated by grade band) to provide a visual analysis of strengths and areas for development, geared towards helping students better appreciate the (numeric) fine-grading.


연구 설계 및 실행 시 고려 사항

Considerations in the design and practice of the study


이 후 학생 연구자('EM')는 현재의 연구와 실무를 숙지하기 위해 평가 피드백에 관한 문헌의 초기 검토를 이끌었다.

After this the student-researcher (‘EM’) led an initial review of the literature on assessment feedback to familiarise herself with current research and practice.


EM은 조사를 위한 초기 영역을 식별했다(표 1).

EM identified initial areas for investigation (Table 1).



전자파 및 나 자신 사이에서 이러한 주제에 대한 논의는 탐사를 위한 세 가지 광범위한 목표를 식별하는 것으로 이어졌다.

Discussion of these themes between EM and myself led to the identification of three broad objectives for exploration:


1. 학생들이 (서면) 총괄 피드백에 어떻게 engage하는가? 즉, 학생들은 어떻게 종합 피드백을 이해하고 접근하며 경험하는가?

1. How do students engage with (written) summative feedback? That is, how do students understand, approach, and experience summative feedback?


2. 총괄적 피드백의 결과로 학생들이 자신의 업무의 강점과 발전에 대한 이해를 얼마나 포괄적으로 하고 있는가?

2. How comprehensive is students’ understanding of the strengths and areas for development of their work as a result of the summative feedback?


3. 학생들은 종합 피드백을 받은 결과 무엇을 하는가?

3. What do students do as a result of receiving summative feedback?


EM는 그러한 그룹 토론을 용이하게 한 이전의 경험이 없기 때문에 EM과 나 자신 사이의 논의 후에 포커스 그룹 내에서 사용하기 위한 일련의 프롬프트가 생성되었다. 이 프롬프트는 서면 요약 피드백에 대한 학생들의 경험의 탐구를 지원하는 것 외에도 학생들이 (필로 표시된) 피드백 양식을 평가하고 개선을 위한 권고사항을 제시하는 방법에 대해 대화를 할 수 있도록 설계되었다.

A series of prompts for use within the focus group were created, following discussion between EMand myself, as EMhad no previous experience of facilitating such a group discussion. In addition to supporting the exploration of students’ experience(s) of their written summative feedback, the prompts were designed to enable students also to engage in dialogue around how they would evaluate, and make recommendations for improvement to, the (piloted) feedback form(Table 2).



정규 학생 30명은 1학년에서 2학년까지의 비율을 약 1:2로 하여, 4개의 뚜렷한 학습 프로그램(학과의 프로그램의 약 절반)을 대표하는 연구에 참여하기로 동의했다.

Thirty full-time students consented to participate in the research, representing four distinct programmes of study (approximately half of the Department’s programmes), with a ratio of firstto second-year student of approximately 1:2.


5개의 포커스 그룹 회의가 열렸다. EM은 각각의 오디오 녹음을 기록하고 포스트 잇 노트를 수집했다.전자적으로 TM 데이터. 우리는 전체 대본을 검토하고, 초기 반응을 논의하며, 서로의 질문을 하고(해명과 검증을 위해), 떠오르는 '의미단위'를 고려하고(웰링턴, 2015) 보다 심층적인 분석의 기초가 되는 주제를 파악하기 위해 만났다.

Five focus group meetings were held; EM transcribed the audio-recording for each and collated the post-it noteTM data electronically. We met to review the full transcripts, discuss our initial reactions, ask questions of each other (for clarification and verification), consider emerging ‘units of meaning’ (Wellington, 2015), and discern themes for the basis of a deeper analysis.


학생들은 어떻게 종합 피드백을 이해하고, 접근하고, 경험하는가?

How do students understand, approach, and experience (written) summative feedback?.


학생들이 어떻게 서면 피드백을 경험하는지에 대해 들은 내용은 문헌에서 잘 리허설되었다(예: Boud and Molloy, 2013a,b; Carless, 2006; Glover and Brown, 2006; Hounsell, 2008; Weaver, 2006; Zimbardi 등, 2016 참조). 거의 모든 학생들은 코멘트 내용을 읽기 전에 (양식 하단의) 성적부터 본다고 보고했다. 비록 많은 학생들이 글을 읽지 않는다고 보고했지만, 대부분의 학생들은 필기된 코멘트들을 이차적으로 검토했고, 종종 학생이 점수가 '나쁘다'고 인식했을 때 특히 코멘트를 읽는 것을 미룬다고 보고했다. 대부분의 학생들은 코멘트를 한 번만 읽는다고 보고했다. 이렇게 하는 것에 대한 명확한 근거는 없었고, 오히려 피드백은 읽고 버리는 것, 또는 어떤 면에서 '일회용'으로 개념화되는 것으로 보였다. 일부 학생들은 피드백이 후속 모듈과는 관련이 없을 것이라고 생각했기 때문에 피드백을 한 번만 읽는다고 보고했다.

What we heard about how students experience written feedback is well rehearsed in the literature (see for example, Boud and Molloy, 2013a,b; Carless, 2006, 2007; Glover and Brown, 2006; Hounsell, 2008; Weaver, 2006; Zimbardi et al., 2016). Overwhelmingly, students reported locating their grade (at the bottom of the form) before reading the written comments. Most students reviewed the written comments as a secondary activity, although many reported never reading the written comments, and often students reported delaying reading the comments particularly if they perceived the grade as ‘bad’. Most students reported reading the comments only once. There was no explicit rationale for this, rather feedback appeared to be conceptualised as disposable or in some way ‘single-use’. Some students reported reading the feedback only once because they felt it would have no relevance to subsequent modules.


학생들은 자신의 피드백을 자주 이해하지 못한다고 설명했으며, 종종 다음과 같이 자신을 혼란스럽게 했다.

Students described not understanding their feedback more often than understanding it, often reporting themselves as confused by:


1. 모호함:

2. 생소하거나 불필요하게 전문화된 것으로 인식되는 용어의 사용:

3. 불일치:

1. Vagueness:

2. The use of terms that are unfamiliar, or perceived as unnecessarily specialised:

3. Inconsistencies:


학생들은 일반적으로 모듈을 통과했을 때 안도감을 느꼈고 피드백을 이해하기 어려울 때 좌절감을 느꼈다고 보고했다. 비록 예전에 갖고 있던 '단일 사용' 또는 일회용 피드백이래는 개념이 현대 'throw away' 사회 또는 학습에 대한 의도적인 표면 접근법의 반영이 될 수 있지만, 대체적인 해석은 피드백의 수용에 있어서 연구되지 않은 영역임을 시사한다.

Students generally reported experiencing relief when they passed modules, and frustration when feedback was difficult to understand; and, although the (earlier) conceptualisation of ‘single-use’ or disposable feedback could be a reflection of a contemporary ‘throw away’ society or of deliberate surface approaches to learning (Nicol, 2010), an alternative interpretation suggests the under-researched area of emotional investment in the receipt of feedback (Poulos and Mahony, 2008).


영향(감정을 넘어선 반응력)에 대한 그녀의 연구에서, 아메드(2014년)는 감정affect는 object에 대해서 가까워지거나 멀어지는 결과를 초래할 수 있다고 경고한다. 그리고 새들러(2010: 539)는 비동기적이고 일반적으로 독백적인 성격 때문에 쓰여진 것에 대해 상당한 'affective outlay'을 하도록 피드백 작성자들에게 주의를 준다. 피드백을 영향력 있고 관계 있는 것으로 경험하는 방법의 특성(만약, 그렇다면/따라서)도 데이터에서 명백했다.

In her work on affect (responsive forces beyond emotion), Ahmed (2014) warns of the risk that affect can result in towardness or awayness in relation to its object(s), in this case: feedback. And Sadler (2010: 539) cautions writers of feedback to ensure they commit considerable ‘affective outlay’ to what is written, because of its asynchronous, typically monologic, nature. The nature of how feedback is experienced as affective and relational (if, then/so) was also evident in the data:


피드백의 결과로 학생들이 자신의 업무의 강점과 영역을 이해하는 것은 얼마나 포괄적인가?

How comprehensive is students’ understanding of the strengths and areas for development of their work as a result of the feedback?.


학생들은 요약 서면 피드백에서 장점이나 긍정적인 진술을 식별하기 어려웠으며, 그 결과 요약과 텍스트 내 의견 사이의 불일치가 있을 때 특히 오해가 발생했다고 설명했다.

Students described finding it hard to discern strengths or positive statements in the summary written feedback, resulting in misunderstandings particularly connected to inconsistencies between the summary and in-text comments:


학생들은 긍정적인 것에 대한 분명한 욕구를 표현했다. 또한 binary하게, (건설적) 비판에 대한 반대한다.

Students expressed an explicit desire for positives, as approval, and in binary opposition to their perception of the disapproval of (constructive) criticism:


학생들은 서면 요약 피드백을 받은 결과 무엇을 하는가?

What do students do as a result of receiving written summative feedback?.


압도적으로 학생들은 요약 서술문 또는 텍스트 내 코멘트를 읽기 전에 점수부터 확인했다고 밝혔다.

overwhelmingly students identified that they located the grade before reading the summary narrative or in-text comments (if at all):


세 가지 우선순위 개발 지점이 일반적으로 도움이 된다고 여겨졌지만, 이것은 대체로 그것들이 summary narrative의 '분해' 즉 증류로 인식되었기 때문이다. 이 증류로부터, 한 학생은 더 상세하고 분석적이며 자율적인 반응을 보고했다: '그래, 나는 먼저 점수를 보고, 그 다음에 내 과제를 다시 읽어서 강조된 내용을 확인했고, 거기에 주석을 단 어떤 것이든 그것을 피드백 시트와 연결하려고 했다.'

Whilst the three priority development points were generally considered to be helpful, this was largely because they were perceived as ‘breaking down’, or distilling, the summary narrative. From this distillation, one student reported a more detailed, analytic, autonomous response: ‘Yeah I looked at the mark first and reread my assignment to see what had been highlighted as well, and anything annotated on there as well and tried to link that with the feedback sheet’.


시범 형태에 대한 학생들의 평가.

Students’ evaluation of the piloted form.


학생들은 자신에게 도움이 되는 서면 피드백을 제공하는 상위 세 가지 특성을 고려하도록 요청받았고, 다음과 같이 식별되었다.

Students were asked to consider the top three characteristics that make any written feedback helpful to them, and identified:


1. 후속 평가를 개선할 수 있는 방법의 명확한 식별.

2. 긍정적 코멘트가 있음

3. 접근성/가용성(전자적 형식은 피드백을 읽을 수 있고 '향후 사용을 위해 저장'할 수 있다는 것을 의미한다.

1. Clear identification of ways to improve subsequent assessments.

2. The inclusion of positive comments.

3. Accessibility/availability (an electronic format means that feedback is legible and could be ‘saved for future use’).


기준 (2)는 '장점'의 식별과 '긍정적' 코멘트를 명시적 구별한다는 것을 확인했다는 점에서 흥미롭다. 즉, 개선 방법이 논리적으로 따라올 수 있는 평가 요약보다는, 학생들은 (개선해야 할 방법과 함께) 칭찬 또는 승인에 대한 선호가 있음을 보여준다. 이는 교육의 affective fabric을 보여준다(Staunaes, 2016): 피드백의 형식에 의해서 학생들의 정서적 회복력이 무력화되기도 한다.

Criterion (2) is interesting insofar as it confirms the explicit distinction of ‘positive’ comments from the identification of ‘strengths’; suggesting a preference for praise or approval alongside ways in which to improve, rather than an evaluative summary from which ways to improve might logically follow. This illuminates the affective fabric of education (Staunaes, 2016): students’ emotional resilience appears in some way disabled by the format of the feedback.


학생들이 양식에 대해 어떤 개선을 권고할 것인지를 묻는 질문에 학생들은 압도적으로 양식의 하단에서 상단으로 점수(grade)을 재배치할 것을 제안했다. 많은 이들은 또한 요약 서술과 우선순위 개발 영역 간의 균형을 변경하여 전자의 수를 줄이고 후자의 것을 더 많이 요청하며, '비판'을 받을 기회를 줄이고 '사물을 바르게' 하는데 필요한 것을 더 많이 식별할 것을 제안했다.

When asked what recommendations for improvement(s) to the form students would make, overwhelmingly they suggested relocating the grade from the bottom to the top of the form. Many also suggested an alteration in the balance between the summary narrative and the priority development areas, requesting less of the former and more of the latter; suggesting less opportunity to receive ‘criticism’ and more identification of what is necessary to ‘put things right’.


영향?

Impact?


그럼에도 불구하고 중요한 한 가지 결과는 학생들이 후속 연도에 유용한 것으로 보고되었다. 즉, 성적은 피드백 양식의 상단으로 재배치되었다. 어떤 의미에서 이것은 'brave'한 것이다. (O'Donovan et al., 2015; 이것은 확실히 논쟁적이고, 평가 피드백에 대한 학습 이론과 현대 문헌에 부합하지 않으며, 지역적이고, 맥락화된 근거에 기반한 것이고, (국지적으로) 피드백이 어떤 representation을 갖는지에 의해서 정당화된다.

One small, but nonetheless significant, outcome was reported by students as being useful them in the follow-up year: the grade was repositioned to the top of the feedback form. In some senses this is ‘brave’ (O’Donovan et al., 2015); it is certainly controversial, and justified not through engagement with learning theory and the contemporary canon of literature on assessment feedback, but through attending to a local, contextualised, evidence base and paying attention to the kind of work the (local) representation of feedback does.


연구자 및 지식인으로서 우리는 '체계적이고 비판적이며 자기 비판적인 조사'에 대한 윤리적 책임을 지고 있다(Bassey, 1990: 35; 강조). 학생들과 연구에 참여하고 또한 우리의 연구의 설계, 수행 및 평가 내에서 학생들을 참여시키는 것은 우리의 연구, 우리의 관행, 그리고 우리의 연구 관행을 향상시키는 데 중심적이다. 이것은 또한 '이론적으로 건전한 접근법(To Evalually sound approachs to evaluation feedures)' (O'Donovan et al., 2015)을 채택할 수 있는 진정한, 상황화된, 근거 기반을 채택할 수 있는 방법이다.

As researchers and intellectuals we have an ethical responsibility for ‘systematic, critical and self-critical inquiry’ (Bassey, 1990: 35; emphasis added). Engaging with students in research and also engaging students within the design, conduct, and evaluation of our research is central to improving our research, our practice(s), and our research practice(s). It is also a way in which genuine, contextualised, evidence bases, from which ‘theoretically sound approaches [to assessment feedback]’ (O’Donovan et al., 2015) can be adopted.


도발자의 역할을 가정하면

Assuming the role of provocateur


학습은 심각한 위협을 받고 있다. 대규모화되고 시장화된 고등 교육 시스템에서 피드백의 표현representation of feedback이 학생들에게 하는 일work의 종류는 직접적으로 그러한 위협에 기여한다.

There is a danger that learning is under serious threat. The kind(s) of work the representation of feedback does for students in a massified and marketised Higher Education system directly contributes to that threat.


지식사회는 학습이 의미하는 사회적 인식론을 운영한다. 이 때 학습은 '... 목적을 함양하고 대응, 또는 의식적 사고를 가능하게 하는 가치 있는 종류의 발전' 이다. 학습은 '학생들이 다양한 소스의 피드백에 참여하여 그것을 개선하기 위해 사용하는 과정'에서 발전하는 것이다. 가치있는 종류의 학습을 개발하기 위해서, 그것은 피드백을 따른다.

A knowledge society operates a social epistemology (Barnett, 1997) in which learning means ‘... developments of worthwhile kinds, with some insight, that fosters purpose and that enables response, or conscious thinking’ (Barnett, 1997: 159), and learning is understood to develop from ‘process[es] in which students engage with feedback from various sources and make use of it to improve’ (Carless, 2015: 192). To develop worthwhile kinds of learning then, it follows that feedback


대상자가 학생이라면, 우리는 오늘날의 학생들이 (정책적으로) 소비자로서, 대학 시장에서 상품과 서비스의 제공자로서 위치하며, 지적 변화를 나타내는 "being"에서 "having"으로의 이동이 있었다는 것을 인정해야 한다.일부 학생들은 이론적 내용과의 투쟁에 반대하여 권리를 이행하는 데 만족을 추구한다(Williams, 2011: 172).

If the subjects are students, we must appreciate that today’s students are positioned (by policy) as consumers, in a market of universities as providers of products and services, and there has been ‘...a move from‘‘being’’ to ‘‘having’’ [that] represents an intellectual shift...with some students seeking satisfaction in the fulfilment of their rights as opposed to a struggle with theoretical content’ (Williams, 2011: 172).


그리고 대상이 학생이고, 평가 피드백이 (학생) 학습에 가장 강력한 단일 영향 중 하나라면, 사회 인식학에 필수적인 피드백은 학생들 내에서의 목적을 증진시키고 학생들에게 유용해야 한다. – 그것은 가치있어야 한다. 하지만 Boud와 Molloy는 경고한다. '[대량화와 모듈화 때문에] 보다 최근의 평가 체제는 가치 있는 학습 기회를 희생함으로써 발생했다.'

And if the subjects are students, and if assessment feedback is one of the most powerful single influences on (student) learning, then feedback integral to a social epistemology must foster purpose within students and be useful to students – it must be valuable. Yet Boud and Molloy (2013b: 699) warn that ‘[the] more recent regime of assessment may have arisen [because of massification and modularisation] at the expense of worthwhile learning opportunities’.


피드백은 참여를 위하여 재구성되어야 한다. 상호작용이 가능하고 독립적인 피드백(Boud and Molloy, 2013b)은 물론 피험자가 학생만이 아님을 인식한다. 학생과 학자 모두가 피드백을 정의하는 미끄러운 공간을 차지하고 있다.

Feedback must be reframed for participation. Mutually constructed and codependent feedback (Boud and Molloy, 2013b) recognises, of course, that the subjects are not only students. Students and academics (and others) occupy the slippery spaces that define feedback.


학생과 학자들이 피드백을 정의하는 공간을 공유한다면 피드백에 대한 집단적 환멸은 같은 방식으로 존재할 수 없다. 피드백에 대한 공동 연구를 통해 환멸을 줄일 수 있는데, 여기서 정책 동인의 꼬리가 학습견을 흔들어 보려는 시도가 중단된다(적어도). 그러나 이것은 새롭고 용감하며 접근법을 필요로 할 것이다. '규칙, 프로세스 및 자원 배분에 대한 근본적인 변화를 수반하는 것 같다.' (O'Donovan et al., 2015: 946).

Collective disillusionment in feedback cannot exist in the same way if students and academics share the spaces that define feedback. Disillusionment can be reduced through shared research into feedback, where the tail of policy drivers is interrupted (at least) in its attempt(s) to wag the learning dog. But this will require new, brave, approaches, ‘...likely to involve fundamental changes to rules, processes and resource allocations’ (O’Donovan et al., 2015: 946).








Misunderstandings and mismatches: The collective disillusionment of written summative assessment feedback

Jane Rand
First Published July 3, 2017 Research Article
https://doi.org/10.1177/0034523717697519

    Abstract

    Feedback is slippery, its meaning changes according to the space(s) you occupy within the perceptual limits that define it; these can range from feedback perceived as correction, to feedback perceived as longitudinal developmental. This provocation focuses on written summative assessment feedback, a format that remains one of the most common practices within academic programmes, that has the potential to be one of the most powerful influences on student growth, development, and learning, and yet which many students report never reading. I develop the argument that written summative assessment feedback is the subject of collective disillusionment – the result of students misunderstanding assessment feedback discourses, and the mismatch(es) between student interpretations and lecturers’ intentions of feedback. As provocateur, I argue that collective disillusionment not only risks the negation of written feedback, but it also seriously threatens learning. I draw upon empirical data to illuminate how paying attention to the kind(s) of work the representation of feedback does can contribute to feedback being reframed for participation and offer an open invitation for further dialogue via Research in Education.


    저작자표시

    'Articles (Medical Education) > 교수법 (소그룹, TBL, PBL 등)' 카테고리의 다른 글

    학습을 위한 평가 AfL 가 대형강의에서도 가능한가? 과제와 대응전략(Asia-Pacific Journal of Teacher Education, 2019)  (0) 2020.02.28
    인지행동 코칭 원칙과 기초 도구(Educ Prim Care, 2016)  (0) 2020.02.26
    피드백 갭 채우기: 피드백 사이클에서 수치심의 인정받지 못한 역할(Med Educ, 2015)  (0) 2020.02.25
    가이드라인: 의학교육에서 재교육에 대한 Dos 와 Don'ts (Perspect Med Educ, 2019)  (0) 2020.02.13
    롤모델링 - 가장 강력한 교육 전략(BMJ, 2008)  (0) 2020.02.11

    공감 교육하기: 리뷰( J Gen Intern Med, 2006)

    Educating for Empathy A Review

    Kathy A. Stepien, BS, MA,1 Amy Baernstein, MD2

    1University of Washington School of Medicine, Seattle, WA, USA; 2General Internal Medicine, University of Washington School of Medicine, Seattle, WA, USA.




    의사-환자 관계의 구성요소로서, 공감은 진단과 환자 치료에 모두 영향을 미친다.

    As a component of the physicianpatient relationship, empathy affects both diagnosis and patient care.


    임상적 공감이란 무엇인가?

    What Is Clinical Empathy?


    다른 사람이 어떻게 느끼는지 이해하거나 감상하는 감정적, 도덕적, 인지적, 행동적 차원을 포함하도록 임상적 맥락에서 공감의 국부적 정의가 확대되었다. 이러한 측면은 다음과 같이 보다 충분히 설명된다. 

    • (1) 정서적: 환자의 감정과 관점을 상상할 수 있는 능력 

    • (2) 도덕적: 의사에게 공감하는 내적 동기 부여, 

    • (3) 인지적: 환자의 감정과 관점을 식별하고 이해할 수 있는 지적 능력 

    • (4) 행동적: 감정, 관점에 대한 이해를 환자에게 전달하는 능력.19 

    • The vernacular definition of empathy, understanding or appreciating how someone else feels, has been expanded in the clinical context to include emotive, moral, cognitive, and behavioral dimensions. These aspects are more fully described as follows: 

    • (1) emotive, the ability to imagine patients’ emotions and perspectives; 

    • (2) moral, the physician’s internal motivation to empathize; 

    • (3) cognitive, the intellectual ability to identify and understand patients’ emotions and perspectives; and 

    • (4) behavioral, the ability to convey understanding of those emotions and perspectives back to the patient.19–22 


    이러한 분리된 공감의 차원을 탐구하는 저자들은 효과적인 공감을 위해 지적인 이해만이 아니라 감정적 참여가 중요하다는 것을 강조한다.

    The authors who explore these separate dimensions of empathy stress that emotional engagement, not just intellectual understanding, is crucial for effective empathy.


    야오23 라르손은 이 임상적 공감의 정의를 '깊이 연기' 또는 '표면 연기'를 모두 필요로 하는 '감정적 노동'의 한 형태로 보아, 실제로 느끼지 못하는 열의나 걱정과 같은 감정들을 의도적으로 표출하는 것으로 보아 더욱 풍부하게 했다. 표면 연기는 감정적 참여와는 정반대여서, 임상적 공감에는 다양한 환자와 상황에 맞는 융통성이 요구된다는 것을 암시한다.

    Yao23 Larson and have enriched this definition of clinical empathy by viewing it as a form of ‘‘emotional labor’’ which requires both ‘‘deep acting,’’ or intentional modification of one’s true emotions, and ‘‘surface acting,’’ the deliberate display of emotions such as enthusiasm or concern that one does not actually feel. Surface acting is the opposite of emotional engagement, suggesting that clinical empathy requires flexibility to suit varying patients and circumstances.


    모든 네 가지 차원의 공감이 환자들에게 도움이 될 수 있다. 신뢰. 즉, 의사들이 효과적으로 공감하기 위해서는 임상적 공감의 모든 차원이 필요할 수 있다.

    All 4 dimensions of empathy may work together to benefit patients. trust. In other words, all dimensions of clinical empathy may be required for physicians to be effectively empathetic.


    공감 대 공감

    Empathy Versus Sympathy


    공감Empathy과 동정Sympathy의 혼란은 임상적 공감에 관심이 있는 사람들이 겪는 개념적 어려움이다. 

    Confusion of empathy with sympathy is a conceptual difficulty encountered by those interested in clinical empathy. 


    동정은 다른 사람의 감정을 경험하는 것으로 정의되며, 그 감정들을 감상하거나 상상하는 것과는 대조적이다. 일부 저자들은 동정은 전적으로 공감과는 별개라고 말한다.20,21,24 이러한 저자들은 

    • 환자에 동정하는 의사는 고통을 공유하며, 이는 객관성과 정서적 피로 부족으로 이어질 수 있는 반면, 

    • 공감은 의사와 환자의 상호작용에 한결같이 긍정적인 영향을 미친다는 점에 주목한다. 다른 한편으로, 어떤 연구자들은 동정을 공감의 감정적 요소와 같다고 여긴다.

    Sympathy is defined as experiencing another person’s emotions, as opposed to appreciating or imagining those emotions. Some authors state that sympathy is wholly distinct from empathy.20,21,24 These authors note that 

    • physicians who sympathize with patients share their suffering, which could lead to lack of objectivity and emotional fatigue, whereas 

    • empathy has a uniformly positive impact on physician-patient interactions. One the other hand, other authors imply that they consider sympathy to be the same as the emotional component of empathy.


    공감은 측정가능한가?

    Can Empathy Be Measured?


    임상적 공감의 다차원적 성질은 측정하기 어렵게 만든다. 이 검토에서 교육적 개입을 평가하기 위해 사용되는 각 공감 측정 도구는 단점이 있다.

    The multidimensional nature of clinical empathy makes it difficult to measure. Each empathy measurement tool used to evaluate educational interventions in this review has shortcomings.


    대부분의 연구는 대인관계 반응도 지수(IRI),26 공감대 형성률 척도(ECRS),27,28,균형감성감정감정감정감정척도.29,30 등 연필과 종이의 자기평가를 사용했다. 그러나 이것들은 medicine에 특화된 것이 아니다.

    Most of the studies used pencil-and-paper self-evaluations such as the interpersonal reactivity index (IRI),26 the Empathy Construct Rating Scale (ECRS),27,28 and the Balanced Emotional Empathy Scale.29,30 While these are validated instruments, they are not specific to medicine.


    이 검토의 다른 연구에서는 훈련된 관찰자를 사용하여 공감을 평가했는데, 정확한 감정 척도(AES)31과 역사 평가 등급 척도(HRS)32,33의 항목을 사용하여 학생들의 공감을 평가하였다. 이것들 역시 검증되었지만, 환자의 감정이 정확히 identify되었는지가 아니라, 공감의 표현만을 측정한다.

    Other studies in this review used trained observers to assess empathy, using tools such as the Accurate Empathy Scale (AES)31 and the items from the History-taking Rating Scale (HRS)32,33 to rate students’ empathy. These too are validated, but measure only expressions of empathy, not whether the patient’s emotions were correctly identified.


    잘 알려져 있고 검증된 Jefferson Scale of Physician Empathy24도 의사의 공감을 평가하는 데 사용되었지만 이 기사의 기준을 충족하는 어떤 연구에도 채택되지 않았다. 표 1은 본 검토에 포함된 기사에 사용된 공감 측정 도구를 비교하고, 샘플 항목을 제공한다.

    The well-known and validated Jefferson Scale of Physician Empathy24 has also been used to assess physician empathy but was not employed in any studies meeting criteria for this article. Table 1 compares empathy measurement tools used in the articles included in this review, and gives sample items.



    어떤 집중적인 교육적 개입이 학부 의대생들의 공감을 효과적으로 조장하는가?

    What focused educational interventions effectively foster empathy in undergraduate medical students?


    방법

    METHODS


    결과

    RESULTS


    교육자들은 의대생들의 공감을 높이기 위해 다양한 전략을 채택했다. 표 2와 표 3은 연구를 나열한다.

    Educators employed a variety of strategies to enhance medical student empathy. Tables 2 and 3 list the studies,


    표 2는 정량적 결과를 보고한 9개의 연구를 나타낸다.32,34–41 

    표 3은 정성적 결과를 보고한 6개의 연구를 나타낸다.25,39,40,42–44 

    정량적 및 정성적 결과를 모두 측정하여 두 개의 연구 39,40은 두 표에 모두 포함된다.

    Table 2 presents the 9 studies that reported quantitative outcomes.32,34–41 Table 3 presents the 6 studies that reported qualitative outcomes.25,39,40,42–44 Two studies39,40 measured both quantitative and qualitative outcomes and are therefore included in both tables.







    공감하기 위한 커뮤니케이션 스킬 훈련

    Communication Skills Training for Empathy


    13개의 연구 중 6개는 의사소통 기법으로 공감에 접근하면서 공감의 행동적 차원에 초점을 맞추었다.32,343838 이 연구들은 공감을 전달하기 위한 의사소통 기술을 가르치기 위해 강의, 작은 그룹 워크숍, 오디오 테이프 또는 비디오테이프를 사용했다. 모두 사후 개입으로 인한 공감이 현저하게 증가했다고 보고되었으며, 대조군 그룹을 사용한 5개 연구는 개입 그룹에 비해 상당히 높은 점수를 보였다. 이러한 성공은 6개월과 12개월36년 그리고 3년에서의 통제에 비해 지속적인 공감이 증가했음을 보여주는 2개의 연구에 의해 더욱 강화된다.37

    Six of the 13 studies focused on the behavioral dimension of empathy, approaching empathy as a communication technique.32,34–38 These studies used lectures, small group workshops, audiotapes, or videotapes to teach communication skills intended to convey empathy. All reported significant increase in empathy from preto postintervention, and the 5 studies using control groups showed significantly higher scores favoring the intervention group. This success is further reinforced by 2 studies demonstrating continued increased empathy compared with control at 6 and 12 months36 and at 3 years.37


    내러티브 및 공감

    Narrative and Empathy


    교육자들은 연극, 문학, 글쓰기를 의대생의 공감을 증진시키기 위한 교육 전략으로 삼았다. 근본적인 논리는, 학생들이 질병에 대한 감정적인 설명에 몰두함으로써, 임상 작업 중에 환자의 관점을 채택할 수 있는 능력을 확대할 것이라는 것이다. 이 접근방식은 감정이입의 감정적, 인지적 차원에 초점을 맞춘다. Medical literature 강좌에 등록하거나, 성찰적 글쓰기 연습에 참여하거나, 연극 공연에 참석한 4개 연구의 참가자들은 각각 적은 수의 지원자를 조사했다(표 3 참조).

    Educators have employed theater, literature, and writing as educational strategies to foster medical student empathy. The underlying logic is that by immersing themselves in emotional accounts of illness, students will expand their capacity to adopt the patient’s perspective during clinical work. This approach focuses on the emotive and cognitive dimensions of empathy. Participants in 4 studies enrolled in medical literature courses, participated in reflective writing exercises, or attended theatrical performances.25,40,43,44 Each of these studies examined a small number of volunteers (see Table 3).


    경험적 학습의 공감

    Empathy from Experiential Learning


    두 가지 연구는 학생들이 환자의 관점에서 의료 서비스를 경험하는 공감을 촉진하는 접근법을 설명한다. 서술법을 채용하는 중재와 마찬가지로, 여기서 기본적인 논리는 학생들이 환자로서 병을 경험했다면 환자의 관점을 더 쉽게 받아들일adopt 것이라는 예상이다. 윌크스 외 연구진.42는 건강한 임상 전 의대생들이 가짜 진단을 받은 교직병원에 입원해 24시간에서 30시간 동안 입원하는 개입을 지시했다. 그들을 돌보는 레지던트들은 그들이 진짜 환자라고 믿었다. 학생들은 이런 경험이 환자에 대한 공감대를 높이는 데 도움이 될 것이라고 자신했다.

    Two studies describe an approach to promoting empathy in which students experience medical care from a patient’s perspective. Like interventions employing narrative, the underlying logic here is that students will adopt the patient’s perspective more readily if they have experienced illness as a patient. Wilkes et al.42 directed an intervention in which healthy preclinical medical students were admitted to a teaching hospital with fake diagnoses, remaining hospitalized for 24 to 30 hours. The residents caring for them believed they were real patients. Students reported confidence that this experience would help them be more empathetic toward patients.


    셀프케어의 공감

    Empathy from Self-Care


    의료 훈련과 연습은 스트레스가 되고, 개인적인 스트레스는 공감을 방해할 수도 있다. 따라서, 어떤 사람들은 의사들의 웰빙을 다루는 강좌가 공감을 증진시킬 수도 있다는 가설을 세웠다. 의사들의 건강은 대체로 가족과 친구들과 함께 보내는 시간, 운동, 건강 영양, 취미, 또는 정신적 활동에 대한 관심으로 해석된다. 대규모 단면조사에서 DiLalla 외 연구진.41은 의대 시절 공감, 영성 또는 웰빙에 대한 사전 교육이 검증되지 않은 자체 보고 등급 척도로 측정했을 때 더 높은 공감 점수와 상관관계가 있는지를 조사했다. 이 연구는 설계와 참여자 수가 많고 여러 가지 교육적 개입을 포함하고 있다는 점에서 독특했다. 웰빙 세션, 즉 공감과 영성에 관한 세션에 참석하기로 한 참가자들의 공감도가 더 높았다. 영성spirituality 세션에는 참석했지만 공감세션에는 참석하지 못한 사람들은 공감 점수가 낮았다.

    Medical training and practice are stressful, and personal stress may be a barrier to empathy. Therefore, some have hypothesized that coursework addressing physician wellness might foster empathy. Physician wellness is broadly construed as attention to health and happiness via time spent with family and friends, exercise, healthful nutrition, hobbies, and/or spiritual activity. In a large, cross-sectional survey, DiLalla et al.41 investigated whether prior education in empathy, spirituality, or wellness during medical school was correlated with higher empathy scores, as measured by an unvalidated self-reported rating scale. This study was unique in its design, large number of participants, and that it includes multiple educational interventions. The major result was that participants who had chosen to attend sessions on wellness, or sessions on both empathy and spirituality, had higher empathy scores. Those who had attended spirituality but not empathy sessions had lower empathy scores.


    코멘트

    COMMENT


    의대생들의 공감을 촉진하기 위한 교육적 개입에 대한 이러한 보고서들은 다음과 같은 여러 가지 제약으로 인해 어려움을 겪고 있다. 

    • 개념적 명확성의 결여, 

    • 작은 표본 크기, 

    • 비교 집단의 부족, 

    • 간략하고 이질적인 개입, 

    • 효과 내구성에 대한 장기 평가의 희귀성 

    • 공감의 객관적 척도보다는 자기 평가에 의존하는 것

    These reports of educational interventions to promote medical student empathy suffer from many limitations: 

    • lack of conceptual clarity, 

    • small sample sizes, 

    • lack of comparison groups, 

    • brief and heterogeneous interventions, 

    • rarity of long-term assessment for durability of effect, and 

    • reliance on self-assessment rather than objective measures of empathy. 


    이러한 한계에도 불구하고, 이 리뷰는 집중적인 교육 개입이 학부 의대생들의 공감대를 형성하는데 성공할 수 있다는 것을 시사한다. 한 가지 연구를 제외한 모든 연구는 사전 개입에서 사후 개입으로 상당한 개선을 보였으며 대조군과 비교했을 때 변경사항은 내구성이 입증되었으며 효과 크기는 일반적으로 컸다. 그러나 발표된 모든 연구가 채택된 전략의 긍정적인 효과를 나타낸다는 사실은 출판 편향성을 나타낼 수 있다.

    In spite of these limitations, studies in this review suggest that focused educational interventions may be successful at fostering undergraduate medical student empathy. All but 1 study reported significant improvements from pre- to postintervention and as compared with controls, the changes proved durable, and the effect sizes were generally large. However, the fact that all published studies show a positive effect of the strategy employed may indicate publication bias.


    이러한 연구에 사용된 평가 도구의 단점은 주요 제한 사항이다. 

    • 첫째, 13개 연구 중 4개 연구만이 공감에 대한 observed measure를 사용했으며, 그 중 3개 연구만 검증되었다. 감정이입 도구에 대한 그의 조사에서, Jarski 등은 "학생들이 공감적 특성을 가지고 있다고 스스로 평가한 것과 유의하게 상관을 보인 행동-기반 척도는 없었다"라고 지적하며 자기보고된 공감을 바탕으로 한 모든 평가에 의문을 제기한다.

    • 둘째로, 어떤 연구도 환자의 인식을 측정하거나 의사의 공감을 평가하기 위해 표준화된 환자를 이용하지 않았다. 감정이입이 효과적이기 위해서는 환자가 연습생을 공감하는 것으로 인식하는지가 이러한 개입의 중요한 표준이 되어야 한다. 

      • Mercer와 Reynolds48은 환자의 인식을 측정하기 위한 유망한 공감 도구를 개발했다. 이 보고서는 환자들에게 '의사와의 의학적 상호작용의 10가지 측면을 평가하도록 요구한다. 예를 들어, '의사는 어떻게 보살핌과 동정심을 보였는가?, 인간적인 차원에서 당신과 연결되고 무관심하거나 '상상상하지 않음'과 같은 것이다. 이 새롭고 검증된 도구는 공감에 대한 광범위한 정의를 가지고 있으며 미래의 공감 연구에 중요한 역할을 할 수 있다. 의대생에 대한 연구나 공감을 증진시키는 개입이 효과적인지 여부를 평가하는 데 아직 사용되지 않았다.

    The shortcomings of the assessment tools used in these studies are a major limitation. 

    • First, only 4 of the 13 studies used observed measures of empathy, and only 3 of those were validated measures. In his investigation of empathy tools, Jarski et al.46 reports that ‘‘empathy self-assessed by the students themselves as having that trait did not correlate significantly with any of the behavior-based measures’’ which casts doubt on all assessments based on self-reported empathy. 

    • Secondly, no studies in this review measured patients’ perceptions or used standardized patients to assess physician empathy. For empathy to be effective, it must be perceived by the patient.47 Whether patients perceive a trainee as empathetic should be an important standard for these interventions. 

      • Mercer and Reynolds48 has developed a promising empathy tool for measuring patients’ perceptions. It asks patients to rate their physician on 10 aspects of the medical interaction, such as ‘‘How was the doctor at . . . showing care and compassion . . . seeming genuinely concerned, connecting with you on a human level; not being indifferent or ‘detached’?’’  This new, validated instrument has a broad definition of empathy and may play an important role in future empathy research. It has not yet been used in studies of medical students or in assessing whether empathy-enhancing interventions are effective.


    이러한 연구에서 개별 환자 특성은 무시된다. 환자의 나이, 성별, 민족성, 질병 상태 또는 질병의 심각성이 학생들의 공감 능력에 영향을 미칠지 여부를 다룬 연구는 없었다. 몇몇 저자들은 여학생들이 공감 점수가 더 높다고 평가하지만, 환자의 성별이 중요한지에 대해서는 더 깊이 조사하지 않았다. 어떤 저자도 연령, 성별, 인종 또는 사회경제적 지위의 학생과 환자 사이의 일치성이 공감에 영향을 미칠 수 있는지 조사하지 않았다.

    Individual patient characteristics are ignored by these studies. No study addressed whether the patient’s age, gender, ethnicity, disease state, or severity of illness might impact the student’s ability to be empathetic. Several authors note that female students score higher on empathy scales24,38,40,41,49,50 but do not delve further into whether the gender of the patient matters. No author examined whether congruence between the student and patient in age, gender, ethnicity, or socioeconomic status might affect empathy, though these seem likely to have a major impact.


    공감에 대한 개념적 명확성의 결여도 이러한 연구들의 제한점이다. 많은 저자들은 임상적 공감이 다차원적이라고 강조하는데, 이는 감정적, 도덕적, 인지적, 행동적 차원의 상호작용을 요구한다.19–22,24 그러나 검토된 연구 중 3개만 그들의 교수 철학이나 평가 전략에 이것을 명시한다. 마찬가지로, 공감에 대한 여러 연구자들이 공감과 동정을 구분하는 데 관심있지만, 특정 교육적 개입을 조사한 저자는 자신의 연구에 참여하는 학생, 강사 또는 평가자에게 이러한 구분을 명확히 하기 위한 노력을 논하지 않는다. 또한, 학생들은 자기 평가에 대해 이러한 구별을 할 수 없을 것이며, 관찰자들은 환자와의 짧은 상호작용을 평가할 때 대상자가 공감하는 것인지 아니면 감정적인 공감의 차원을 보여줄 것인지를 결정하지 못할 것 같다. 그러나, 공감과 동정의 상관관계가 있을 수 있으므로, 이 용어들 사이의 개념적 혼란은 실질적인 중요성을 갖지 못할 수 있다.

    The lack of conceptual clarity about empathy also limits these studies. Many authors emphasize that clinical empathy is multidimensional, requiring the interaction of emotive, moral (which we would rename motivational), cognitive, and behavioral dimensions.19–22,24 Yet only 3 of the reviewed studies32,40,44 make this explicit in their teaching philosophy or evaluation strategies. Similarly, while the distinction between empathy and sympathy is discussed by various authors interested in promoting empathy,20,21,24 none of the authors who examined specific educational interventions discuss efforts to make this distinction clear to the students, instructors, or evaluators participating in their studies. Further, students are unlikely to make this distinction on self-evaluation, and observers are unlikely to determine whether a subject displays sympathy or the emotional dimension of empathy when evaluating a brief interaction with a patient. However, as sympathy and empathy may be correlated,24 the conceptual confusion between these terms may not have practical importance.


    우리는 의대생에 대한 공감과 관련된 구체적인 연구과제는 의료실무에서 임상적 공감을 촉진하기 위한 근본적인 동기를 재검토하는 것에서부터 시작되어야 한다고 믿는다. 의사의 공감이 환자 만족도 증가, 의료 권고사항 준수, 임상 결과 및 전문적 만족도 증가와 관련이 있다는 제안이 있지만, 여기에 관한 body of evidence는 거의 확정적이지 않다. 

    We believe that a specific research agenda regarding empathy for medical students should begin by re-examining the underlying motivations for promoting clinical empathy in medical practice. While there are suggestions that physician empathy is correlated with increased patient satisfaction, adherence to medical recommendations, clinical outcomes, and professional satisfaction,2–11,13,14 this body of evidence is hardly conclusive. 


    의학분야Medicine 특이적 validated 측정 도구를 사용하여 연구자들은 의사 공감의 어떤 구성요소가 환자 만족도, 임상 결과 및/또는 의사의 웰빙을 향상시키는지 연구할 수 있을 것이다. 여기에는 JSPE와 같은 의사 감정이입의 인지적 및 동기적 측면 평가도구(예: 의사 공감의 척도), Mercer's Consultation and Relational Empathy Measure와 같은 환자가 인지하는 공감하는 행동을 평가하는 도구 등이 있다.

    Using a validated, medicine-specific measurement tool that assesses the cognitive and motivational dimensions of physician empathy such as the Jefferson Scale of Physician Empathy,51 and a tool that evaluates empathetic behaviors as perceived by patients such as Mercer’s Consultation and Relational Empathy Measure,48 researchers could tease out what components of physician empathy improve patient satisfaction, clinical outcomes, and/or physician well-being. 


    그러한 연구는 실제로 공감을 조사하여, 교육자들이 가르칠 때 공감의 어떤 차원(감정적, 동기적, 인지적 또는 행동적)에 초점을 맞춰야 하는지를 이해할 수 있게 해줄 것이다. 또한 그러한 연구는 공감을 가르치려는 노력이 특정 학생이나 특정한 도전적인 임상 상황을 목표로 해야 한다는 것을 보여줄 수 있다. 예를 들어, 의사와 환자 사이의 연령 차이나 사회경제적 지위의 차이는 공감에 특별히 주의를 기울여야 하는 상황일 수 있다.

    Such studies examining empathy in practice would allow educators to understand whether they should focus on emotive, motivational, cognitive, or behavioral dimensions of empathy when teaching. Additionally, such studies might show that efforts to teach empathy should be targeted to specific students or toward specific challenging clinical situations. For example, a disparity in age or socioeconomic status between physician and patient might be a situation that requires special attention to empathy.




    CONCLUSION



    Review

     

    , 21 (5), 524-30
     

    Educating for Empathy. A Review

    Kathy A Stepien 1, Amy Baernstein
    Affiliations 

    Affiliation

    • 1University of Washington School of Medicine, Seattle, WA, USA.

    Abstract

    Objective: Empathy in the medical setting is appreciation of the patient's emotions and expression of that awareness to the patient. Named as an essential learning objective by the American Association of Medical Colleges, empathy is believed to significantly influence patient satisfaction, adherence to medical recommendations, clinical outcomes, and professional satisfaction. The objective of this study was to identify effective strategies to enhance empathy in undergraduate medical students.

    Data sources: We searched PubMed for studies that address the effectiveness of strategies for teaching empathy to medical students. We identified 13 peer-reviewed, English language, qualitative and quantitative studies reporting primary data on interventions that aim to foster empathy in undergraduate medical students, using Medical Subject Heading terms education, medical, undergraduate or student, medical crossed with empathy.

    Results: These studies indicate that empathy may be amenable to positive change with a range of interventional strategies. Communication skill workshops addressing the behavioral dimension of empathy show greatest quantitative impact on participants. However, current studies are challenged by varying definitions of empathy, small sample sizes, lack of adequate control groups, and variation among existing empathy measurement instruments.

    Conclusion: Given the methodological limitations of the available studies, and uncertainty about which dimensions of empathy should be addressed, larger studies using validated measurement tools are recommended.


    저작자표시

    'Articles (Medical Education) > 전문직업성(Professionalism)' 카테고리의 다른 글

    의학교육에서 공감의 발달 평가: 체계적 문헌고찰(Med Educ, 2016)  (0) 2020.02.22
    의학교육 중 공감의 저하에 관한 보고: 과장된 것은 아닌가? 문헌재검토(Acad Med, 2010)  (0) 2020.02.20
    의과대학생의 비전문직업적 행동UPB 프로파일의 2차원 모델(Adv Health Sci Educ Theory Pract, 2019)  (0) 2020.02.20
    의과대학생의 UPB 기술어: 분류와 체계적 종설(BMC Med Educ, 2017)  (0) 2020.02.19
    전문직이란(When I say . . . ) (Med Educ, 2019)  (0) 2020.02.19

    전문직이란(When I say . . . ) (Med Educ, 2019)

    When I say . . . profession

    Michael Trimble




    의학을 논할 때 전문직업성을 벗어나기는 어렵다.

    When discussing medical education it is hard to escape professionalism,


    그렇다, 전문직업성은 우리 주위에 있다. 하지만, 솔직히 말해서, 나는 전문직업성을 말하지 않으려고 노력한다. 전문직업성을 증명하는 의사들에 대해 이야기하기보다는, 나는 그들이 '전문직을 실천하는 것'에 대해 말하고 싶다.

    Yes, professionalism is all around us. But, truth be told, I try not to say professionalism. Rather than talking of doctors demonstrating professionalism, I would rather speak of them practising a profession.


    사회학자 엘리엇 프리슨은 전문직을 광범위하게 기술하고 분석하는 글을 썼다. 그는 그 용어의 역사적 유래에 주목한다. 전문직이라는 단어는 라틴어의 뿌리를 가진 모든 유럽 언어에서 오랜 역사를 가지고 있다. 그러나 오늘날 영어에서 아래에 기술한 가장 오래된 용례로 쓰이는 경우는 비교적 드물다.

    Sociologist Eliot Freidson has written extensively describing and analysing the professional occupations. He notes the historical derivation of the term. The word profession has a long history in all European languages with Latin roots. However, the oldest usage in English is today relatively uncommon:


    선언, 공언 또는 의도나 목적의 표현으로서 직업(그리고 고백). 종교적이고 도덕적인 동기가 자신을 좋은 목적에 바치도록 암시한다.3

    Profession (and profess) as a declaration, avowal or expression of intention or purpose ... implying religious and moral motives to dedicate oneself to a good end.3


    처음에 직업은 대학에서 교육받은 신, 법, 의학을 지칭했고, 덜 일반적으로는 군대라는 직업들을 언급했는데, 이 모든 직업들은 전문직에 종사하는 사람들에게 헌신적인 서약을 하도록 요구하였다. 그런 직업이나 헌신이 목숨을 걸 정도로까지 확대되었다는 점에 유의해야 한다. 군인의 경우라면 분명하겠지만, 시칠리아 마피아 재판을 주재하는 판사가 취한 위험도 생각해 보십시오. 수세기 동안 종교적인 순교자들, 그리고 더 최근에는 에볼라 발병을 돕기 위해 자원하는 의사들도 있다.

    Initially, profession referred to the university-educated occupations of divinity, law and medicine, and, less commonly, the military, all of which required those entering to take a vow of commitment. It should be noted that such profession or commitment extended to the point of risking one’s life. Perhaps obvious in the case of the soldier, but think also of the risks taken by the judge presiding over a Sicilian mafia trial, religious martyrs through the ages and, more recently, doctors volunteering to help in Ebola outbreaks.


    미국의 내과 의사와 철학자 에드먼드 펠레그리노는 우리에게 직업에 대한 이 오래된 생각을 다시 생각해보라고 권하고 있다.

    American physician and philosopher Edmund Pellegrino encourages us to think back to this older idea of profession:


    병인 인류 특유의 상태에 있는 환자 앞에서, 그 의료전문가는 "선언profess"을 한다. 그는 특별한 지식과 기술을 가지고 있고, 치유할 수 있고, 또는 도울 수 있으며, 자기자신이 아니라 환자의 이익을 위해 그렇게 할 것이라고 "소리 높여 선언한다"고 말한다.5

    In the presence of a patient in the peculiar state of vulnerable humanity which is illness, the health professional makes a “profession.” He “declares aloud” that he has special knowledge and skills, that he can heal, or help, and that he will do so in the patient’s interest, not his own.5


    이 promise, profession과 대조적으로, 프리슨은 전문성을 다음과 같이 기술하고 있다.

    By contrast with this profession, this promise, Freidson describes professionalism as follows, it is:


    subordinate occupation은 대중에게 그리고 스스로에게 ...라고 주장한다. 자신은 봉사할 가치가 있는 업무와 전문가의 개인적 자질 증거를 가지고 있다고... 그리고 실제로, 전문직을 그렇게 주장하려면, medicine의 진정한 profession을 identification해야만 가능하다

    ... whereby subordinate occupations claim to the public and to themselves that they have worthy tasks of service and evidences of the personal qualities of professionals. Indeed, the claim to be a profession as such, if only by identification with the real profession of medicine.6


    그래서 전문직업성은 다른 사람들이 정한 어떤 기준과 규칙을 지키는 것이고, 따라서 비슷한 방식으로 행동하는 것이다.

    And so professionalism is more about upholding certain standards and rules set by others, and therefore behaving in a similar manner.


    왜 이것이 의학 교육에 관련된 우리들에게 중요한가? 전문직업성에 중점을 두는 것은 규칙에 초점을 맞추고, 비전문적 행동을 피하고, [수월성을 장려하기 보다는 최소한의 기준을 유지하는 것]에 초점을 맞춘다. 이것은 영국 재단 프로그램 피드백 양식에서 연습생들을 위한 가장 좋은 평가옵션이 '우려되는 점이없음no concern'이라는 사실에 의해 입증된다. 한편, 전문직업profession으로서 의학이 중점을 두는 것은, 최고의 기준을 지키고, 최선의 실천에 전념하고, 보살핌은 명사뿐 아니라 동사라는 것을 기억하고자 하는 것이다. 즉, 모두 환자의 이익을 위해서다.

    Why does this matter to those of us involved in medical education? A focus on professionalism is a focus on rules, on avoiding unprofessional behaviours, on maintaining minimum standards rather than encouraging excellence. This is borne out by the fact that on the UK Foundation Programme feedback forms for trainees the most positive option one can select is ‘No Concern’. To focus on medicine as a profession, on the other hand, is to aspire to uphold the highest standards, to commit to best practice, to remember that care is verb as well as a noun – all for the good of the patient.


    그의 논문 도덕 담론 수준7에서 헨리 데이빗 아이켄은 어떤 상황에 대한 '윤리적인' 대응, 즉 어떤 것이 '올바른' 것인지 '좋은' 것인지, 아니면 해야 할 '구수한' 것인지, 네 가지 수준에 도달할 수 있다고 제안한다. 

    • 첫째는 표현-유발적 수준, 즉 초기 비성찰적 반응이다. 

    • 두번째로 그는 도덕적인 수준을 말하는데, 여기서 결정들은 규칙들에 의해 알려진다. 

    • 세 번째는 윤리적 수준이며, 이 규칙의 기초가 되는 원칙이 작용하게 된다. 

    • 넷째는 '내가 왜 도덕적으로 되어야 하는가?'라는 도덕적 추론의 바로 '근거'에 의문을 제기하는 포스트-윤리적 수준이다. 

    In his paper Levels of moral discourse7 Henry David Aiken proposes that the ‘ethical’ response to a situation, that is whether something is ‘right’ or ‘good’ or what ‘ought’ to be done, can be arrived at on four different levels. 

    • The first is the expressive-evocative level, that is, the initial unreflective response. 

    • The second he terms the moral level, where decisions are informed by rules. 

    • The third is the ethical level, where the principles underlying the rules come into play. 

    • The fourth is the post-ethical, which questions the very ‘ground’ of moral reasoning: ‘Why should I be moral?’ 


    우리는 이 분석을 당면한 문제에 적용할 수 있다. 

    • 피상적이거나 비성찰적 수준에서 medicine은 job이나 career이다.

    • 이를 넘어 규칙을 지키려고 한다면 professionalism을 발휘하는 것이다.

    • 더 깊은 수준에서, 우리는 환자를 돌보는 원칙에 헌신하기를 바랄지도 모른다: 이로서 profession이 된다.

    • 마지막으로, 우리는 무엇이 우리에게 동기를 부여하는지, 왜 우리가 이것을 해야만 하는지 물어본다. 이 가장 깊은 단계에서, 우리는 우리의 천직vocation을 찾았다는 것을 발견할 수 있을 것이다. 


    We can apply this analysis to the question at hand. 

    • At a superficial or unreflective level medicine may be considered a job or career. 

    • Beyond this, if we are seeking to abide by the rules, we are demonstrating professionalism.

    • At a deeper level, we may wish to dedicate ourselves to the principle of care for the patient: we have made a profession. 

    • Finally, we ask what motivates us, why should we do this? At this deepest level, we may discover that we have found our vocation. And that is a word to discuss another day ...






    , 53 (10), 965-966
     

    When I Say … Profession

    Michael Trimble 1
    Affiliations 

    Affiliation

    • 1Centre for Medical Education, Royal Victoria Hospital, Queen's University, Belfast, Belfast, UK.


    저작자표시

    'Articles (Medical Education) > 전문직업성(Professionalism)' 카테고리의 다른 글

    의과대학생의 비전문직업적 행동UPB 프로파일의 2차원 모델(Adv Health Sci Educ Theory Pract, 2019)  (0) 2020.02.20
    의과대학생의 UPB 기술어: 분류와 체계적 종설(BMC Med Educ, 2017)  (0) 2020.02.19
    프로페셔널리즘 실수와 위계: 의과대학생의 저항의 네러티브(Soc Sci Med, 2018)  (0) 2020.02.19
    의과대학생의 전문직업적 과오에 대한 대처 로드맵(Acad Med, 2019)  (0) 2020.02.12
    프로페셔널리즘 평가: 우리가 출발한 곳에서 우리는 어디로 향하고 있는가? 오타와 그 이후(Med Teach, 2018)  (0) 2020.02.12

    + Recent posts

    티스토리툴바