의학교육 연구에서 성찰에 대한 이론적 지향 다시보기: 비판적 문헌고찰(Med Educ, 2015)

Reclaiming a theoretical orientation to reflection in medical education research: a critical narrative review

Stella L Ng,1,2,3,4,5 Elizabeth A Kinsella,6 Farah Friesen1 & Brian Hodges5,7




도입

INTRODUCTION


성찰과 성찰적 실천은 전문직 교육에서 학술적 대화에서 흔히 다뤄지는 주제가 되었다;1 피어리뷰 저널의 성찰에 대한 초기 논의는 1959년으로 거슬러 올라간다.2

Reflection and reflective practice have become popular topics of scholarly dialogue in professional education;1 early discussions of reflection in peer-reviewed medical journals date back to 1959.2


환원주의적 접근법에 대한 주의사항은 다음과 같다.

notes of caution about reductionist approaches


환원주의적 접근법은 성찰과 그 복잡성을 활동의 개별 구성요소 또는 프로세스의 단계로 세분한다. 일부에서는 공식적인 평가 및 환원적 접근방식을 사용한다면 성찰의 본질과 목적이 손상될 수 있다고 주장해왔다.8–10

Reductionist approaches break down reflection and its complexity into discrete components of activity, or steps of a process. Some have argued that the very essence and purpose of reflection may be compromised when it is subjected to formal evaluation and reductive approaches.8–10


대체로, 현재 전문직에서 채택되고 있는 성찰 및 성찰적 실천의 기원은 Dewey, 11 Freire, 12 Habermas, 13 Kolb14, Sch€on.15–19등이 있다.

Broadly speaking, the origins of reflection and reflective practice as they are now taken up in the professions have been credited to Dewey,11 Freire,12 Habermas,13 Kolb14 and Sch€on.15–19


널리 추천된 성찰 이론의 창시자들은 성찰을 교육하기 위하여 환원주의적 접근법을 취해야 한다고 주장하지 않았고 성찰을 평가하기 위한 도구적 접근을 요구하지 않았음도 물론이다.10,16,19,21–23

Notice that the widely touted originators of theories of reflection did not call for reductionist approaches to teaching it and certainly not for instrumental approaches to assessing it.10,16,19,21–23


왜 의학교육에서 이뤄지는 성찰의 방식에 대해 우려를 제기하는가? Hodges24는 성찰의 의학교육과 평가에서 지배적인 담론이 되었다고 제안했다. 이 담론에서 학생은 self-assessor이며 선생은 confessor이다. 예를 들어, 보건 전문가 전반에 걸쳐, 자기 평가와 학습의 문서화를 중심에 둔 포트폴리오를 사용하여 학생들에게 성찰적 글쓰기를 요구하는 것이 흔해졌다.

Why raise concerns about the way reflection has been taken up in medical education? Previously, Hodges24 suggested that reflection has become a dominant discourse in medical education and assessment. This discourse is said to construct the student as self-assessor and the teacher as confessor. For example, across the health professions there is a preponderance of portfolios requiring written reflections from students, with an overarching theme of self-assessment and documentation of learning.25–36 


그러나, 우리는 의학 교육에 성찰이 이렇게 실용적으로 적용되면서 성찰 이론가들에 의해 발전을 이뤄온 이론적 틀에서 벗어나고 있다고 제안한다. 또한, 우리는 성찰을 이러한 방식으로 적용하면서 적용이 그것의 더 큰 잠재력을 잃게 된 댓가로 교육의 '유행'이 되었다고 생각한다.

Yet, we propose that these practical applications of reflection in medical education are removed from the theoretical framings advanced by theorists of reflection. Further, we argue that these applications are at risk of becoming ‘trendy’ in education at the cost of distracting from the richer potential of reflection.


우리는 역설의 양면을 나란히 표현합니다. 즉, 성찰에 대한 이론은 명백히 환원주의에 맞지 않으며, 불확실성 안에서 예술성을 위한 공간을 장려한다. 그러나 의학 교육에서 성찰은 주로 도구나 기술적인 방법으로 적용됩니다.

we juxtapose two sides of a paradox: theories of reflection explicitly resist reductionism and promote a space for artistry within uncertainty, yet in medical education, reflection is chiefly applied in instrumental or technical ways.


방법

METHODS


의학교육연구에서 성찰에 대한 두가지 이론적 관점

TWO THEORETICAL FRAMINGS OF REFLECTION FOR MEDICAL EDUCATION RESEARCH


two theoretical framings for reflection. 


(i) 실천의 인식론 an epistemology of practice, and 

(ii) 탐구를 위한 비판적 접근 a critical approach to inquiry.


실천의 인식론으로서의 성찰

Reflection as epistemology of practice


Sch€on의 실천에 대한 인식론에서 말하는 성찰이란 성찰적 실천으로 알려져 있습니다. Sch€on의 실천에 대한 인식론에서, 성찰적 실천은 기술-기반 자기-평가 이상의 것을 제공하며, 의료 및 보건 직업 교육에 대한 연구를 위한 유용한 이론적 프레임워크가 됩니다.

Reflection, as taken up in an epistemology of practice by Sch€on, is known as reflective practice.15,19,21,23,51,53 In Sch€on’s epistemology of practice reflective practice offers more than skills-based self-assessment and, becomes a useful theoretical framework for research in medical and health professions education.15,19,21,23,54


의학교육의 실천 및 연구에서 이론은 거시적(범용), 중간 수준(지역적 시스템) 또는 미시적 수준(개별적)으로 나누어 질 수 있으며, 이론이란 조직화되고 체계적이고 일관성있는 설명이다. 우리는 의학교육에 대한 연구를 위한 '실천의 인식론'이 주로 미시적 또는 아마 중간 수준의 이론을 제공한다고 제안한다.

in medical education practice and research.55 Theories can be thought of as macro-level or grand (universal), mid-level (local systems) or micro-level (individual), and are defined as organised, coherent and systematic articulations.56 We suggest that epistemologies of practice,15,19,21–23,54,57 offer micro-level and perhaps mid-level theory for research in medical education.


실천에 대한 인식론은, (실천에 필요한 경험적, 암묵적 지식도 물론 있지만) 실천이란 단순히 이론과 연구 지식을 적용하는 것일 뿐만 아니라 지식을 개발하는 것이라는 것을 강조한다. 이러한 관점에서, 새로운 실무적 지식의 형성은 [불확실성, 불안정성, 독특함을 갖거나 다양한 가치가 상충하는] 실천의 불확정적인 영역에서 촉발된다. Practitioner는 이러한 상황에서 자신의 실천을 탐구하는 사람inquirer으로써, [가정을 질문하고, 상황을 (리)프래이밍하며, 실천을 검토하고, 실천 중에 잠재적인 가능성들을 테스트하며, 다양한 대안을 방법을 고려하는] 자신의 성찰 능력을 발휘하게 된다.

An epistemology of practice, placing an emphasis on practice such that practice is not merely the site for applying theory and research knowledge, but also a site for developing knowledge, albeit experiential and tacit knowledge.22,23,57 From this perspective, the formulation of new, practice-based knowledge is sparked in the indeterminate zones of practice – uncertain, unstable, unique, or value-conflicted practice situations.15,23,57 From here, practitioners, as inquirers of their own practice, engage their reflective capacities to question assumptions, (re)frame situations, examine their practices, test potential moves in the midst of practice, and consider possible ways forward.19,40,57


[암묵적 지식의 존재(및 그 가치)]는 경험의 인식론에서 기본적인 가정 중 하나이며, 불확실성의 상황에서의 실천을 돕는 것으로 간주된다. 암묵적 지식은 우리가 지적행동에 있어서 보여줄 수 있는 지식의 한 종류이지만, '우리는 우리가 말할 수 있는 것보다 더 많이 알고 있'기에 말로 설명하기는 어렵다.

The existence (and value) of tacit knowledge is one of the fundamental assumptions in an epistemology of practice and is thought to support practice in the face of uncertainty. Tacit knowledge, is the type of knowledge we may exhibit in intelligent action, but find difficult to explicate through language because ‘we know more than we can tell’.59–61


이러한 이론적인 개념은 이론의 지속적인 발전을 위해 ripe하고, practitioner들이 실무에 영구히 존재하는 불확실성에 직면하여 어떻게 배우고, 결정하고, 혁신하는지를 명확히 하기 위한 이론적 방향으로서 사용된다.

These theoretical concepts are ripe for continued development as theory, as well as for use as theoretical orientations to elucidate how practitioners learn, make decisions and innovate in the face of ever-prevalent uncertainty within practice.62,63


성찰을 도구나 기술 이상의 것으로 간주하면 어떤 차이가 있을 수 있는가? 실존의 방식way of being으로서 성찰적 실천은 전통적인 평가를 초월하는 것이다. 그것은 실천하고, 끊임없이 자신의 가정에 도전하며, 새로운 지식을 쌓는 것이다. 이러한 경우에, 성찰적 실천은 평가와 연계되기보다는, 인식론적, 이론적 수준에서 성찰에 대한 이해를 확장할 공간을 요구한다.

What difference might it make to consider reflection as more than tool or technique? Reflective practice as a way of being transcends traditional assessment; it is an orientation through which one practises, continually challenges one’s own assumptions, and builds new knowledge. Herein, rather than linking up with assessment, reflective practice demands a space to broaden understandings of reflection at an epistemological and theoretical level.


만약 성찰이 이론적 기본틀과 실천의 인식론으로 간주되고, 이론-구축 연구를 통해 더 깊이 탐구된다면, 의학 교육에서 성찰은 이론적인 기원에 더 부합하게 될 것이며, 궁극적으로 지속적인 연구와 적용으로 더 많은 혜택을 볼 것이다.

If reflection is viewed as a theoretical framework and epistemology of practice, and is explored further through theory-building research, medical education may be more aligned with reflection’s theoretical origins and ultimately see more benefit from its continued study and application.




비판적 사회 탐구로서의 성찰

Reflection as critical social inquiry


우리는 성찰과 성찰적 실천에 대한 이론에 대해 그것들이 윤리적, 문화적, 사회적, 정치적 힘에 대한 명확한 고려를 생략하였다는 것을 쉽게 비판할 수 있다는 것을 인정한다. 실제로, 비판적 성찰에 대한 다른 이론가들은 주로 사회 정치적인 세력으로부터의 해방과 권력의 관계에 초점을 맞추고 있다.

We acknowledge that one could readily critique some theories of reflection and reflective practice (i.e. by Dewey11 and Sch€on15) for omitting explicit consideration of ethical, cultural, social and political forces. Yet other theorists of critical reflection (e.g. Freire12,20 and Habermas13,20) are, in fact, primarily focused on emancipation from socio-political forces and relations of power.


'비판적 성찰'을 성찰과 혼동하면 안 된다. 우리는 문헌에서 비판적 성찰critical reflection과 비판적 반사critical reflexivity가 어느 정도 관련이 있다는 것을 인정하며, 우리는 이 논문에서 이러한 차이를 탐구하지 않을 것이다. critical reflection은 (성찰의 다원적 umbrella에 있는 여러가지 중 하나이지만), transformation과 action을 목적으로 [사회적이고 시스템적 권력], [사고 과정과 권력 관계에 내재된 가정]에 대한 보다 명확한 관심을 요한다.75

‘Critical reflection’ should not be conflated with reflection. We acknowledge that there is some conflation of critical reflection with critical reflexivity in the literature, and we have not explored these differences in this paper (see Kinsella76 for more on reflexivity). In our use, critical reflection falls under the pluralistic umbrella of reflection, but requires more explicit attention to social and systemic forces, and the assumptions embedded in thought processes and power relations, with an aim toward transformation and action.75


브룩필드는 우리에게 (비판적 탐구와 대화를 통해서) 끊임없이 비판적 성찰을 함으로써 사회, 문화, 경제, 정치세력에 대해 잘 인식해야 한다고 요구한다. 브룩필드는 성찰이 본질적으로 비판적이지 않다는 것을 강조한다. 특히 브룩필드는 비판적 성찰을 이데올로기 비평으로 보았으며, [권력관계의 조명과 패권적 가정]을 제공한다고 보았다.

Brookfield52 calls us to constantly engage in critical reflection through critical inquiry and dialogue in order to become more aware of the social, cultural, economic and political forces at work. Brookfield52,77 emphasises that reflection is not inherently critical; rather, it must draw upon critical theory in order to be critical. Specifically, Brookfield52,77 explores critical reflection as ideology critique, providing illumination of power relations and recognition of hegemonic assumptions.


비판적 사회적 탐구의 한 형태로서, 비판적 성찰은 '지식, 기술 및 태도가 [내면화된 가치가 존재하지 않은 역량]을 테스트하는 융통성 없는 범주로 급격히 구체화되는 위험'을 극복할 수 있다. 의학교육에는 이러한 비판적 성찰을 사용한 몇 가지 예가 존재한다. 사실, 의학 교육의 지도자들은 의학 교육에 있어서 사회과학과 인문학의 관점 그리고 그러한 접근에 더 많은 참여를 요구해왔다. 이것은 [바람직한 지식, 기술, 태도을 단순히 표면적으로만 습득하는 한계를 극복하고, 이를 보다 적응적이고, 비판적이고, 역동적이며, 복잡성을 더 잘 감내하고 그러한 상황에서 더 flourish할 수 있는 성찰적 지향]을 갖도록 함으로써, 의학교육의 생의학적 모델을 뛰어넘는 하나의 방법으로서 제안되었다. 

As a form of critical social inquiry within practice, critical reflection can overcome the ‘danger that knowledge, skills, and attitudes may be quickly reified into rather inflexible categories that test competencies empty of internalised values’.78 Note some examples of this use of critical reflection exist in medical education.79–83 In fact, leaders in medical education have called for greater engagement with social sciences and humanities perspectives and approaches in medical education.55,84–87 Moving beyond the biomedical model in medical education has been suggested as a way to overcome the limitations of rote but often surface enactment of desirable knowledge, skills and attitudes toward more adaptive, critical, dynamic, reflective orientations that can better withstand, and flourish, in complexity.78,86,88


우리는 성찰을 비판적 사회 탐구의 한 형태로 바라볼 때, 이것이 의학교육이 '윤리적이며, 사회적 책무를 지고, 환자 중심의 치료를 하도록' 교육하려는 노력에 실제로 도움이 되는 mid- to grand- 수즌의 이론을 제공할 것이라고 생각한다.

We suggest that viewing reflection as a form of critical social inquiry, can offer medical education mid- to grand-level theory that can inform medical education’s efforts to inspire ‘ethical, socially responsible, patient-centred care’93 orientations.


의학교육연구에서 성찰의 세 가지 주요 경향성

THREE DOMINANT TRENDS OF REFLECTION IN THE MEDICAL EDUCATION LITERATURE


성찰의 실용주의적 활용

Utilitarian applications of reflection


도구로서의 성찰

Using reflection as a tool


성찰은 종종 특정 지식, 기술 및 태도의 습득을 지원하는 교육학 도구로 등장한다.

Reflection is often presented as a pedagogical tool to support the acquisition of particular knowledge, skills and attitudes.


'도구'이라는 단어가 명시적으로 언급되지 않더라도, 성찰은 학습자가 특정 학습 결과를 달성하는 데 도움이 되는 수단 또는 메커니즘으로 설명됩니다.

Even when the word ‘tool’ is not explicitly mentioned, reflection is described as a means or mechanism to help learners achieve a particular learning outcome.


의학교육에서 이러한 실용주의자적 경향에 따라, 의대생과 레지던트는 일반적으로 성적화되는 또는 의무적인(통과/실패) 성찰 연습을 통해 성찰에 참여한다.

Following this utilitarian thread of reflection in medical education, medical students and residents commonly engage with reflection through graded or mandatory (pass/fail) reflective writing exercises.



어떻게 성찰을 장려하고 교육할 것인가

Exploring how to encourage and teach reflection


다수의 문헌에서 어떻게 하면 학생들이 성찰 활동에 참여하도록 가장 잘 가르칠 수 있는지에 초점을 맞춘다. 예를 들어, 다수의 연구는 일반적으로 특정 교육학적 목표(예: 전문직업성)를 충족시키기 위하여, 학생들에게 성찰을 자극하는 방법을 탐구한다. 이 범주에 속하는 연구는 성찰을 가르치고 촉진하기 가이드를 제공한다.117–123 어떤 논문들은 다양한 형식의 성찰을 비교한다.

Considerable literature focuses on how to best teach reflection and engage students in reflective activity. For example, a large body of literature explores how to stimulate reflection in students, usually to meet a certain pedagogical goal (e.g. professionalism). Papers in this category provide guides to teaching and facilitating reflection.117–123 Other articles compare different reflection formats



학생 경험을 바라보는 창으로서 성찰

Using reflection as a window into the student experience


마지막으로, 일부 연구들은 한 개인의 의사로서 개인적, 전문적으로 발전하는 과정에서, 학습자들이 자신의 의학교육 경험에서 무엇을 생각하고 경험하는지를 교수자가 더 잘 이해해줄 수 있게 돕는 으로서 성찰을 사용했다.

Finally, some studies have used reflection as a window through which teachers might better understand what learners are thinking and encountering in their medical education experiences, as they develop personally and professionally as physicians.115,142,143



성찰의 대상으로서 'self'에 초점두기

A focus on the self as the object of reflection


의학 교육 문헌에서 성찰은 흔히 '자기성찰'이라고 불린다.

Reflection is commonly termed ‘self-reflection’ in the medical education literature.110,114,147,149,150


'self-refection'이라는 용어를 구체적으로 사용하지 않더라도, 'self'는 명확히 성찰활동의 주체이자 객체로 여겨진다. 우리는 대부분의 의학 교육에서 성찰을 다룬 연구에서 학습자들이 연습을 통해 독립적으로 성찰에 참여한다는 것을 발견했다. 글쓰기 과제에 이어 토론이나 교수자의 피드백을 활용함으로써 다른 사람과 함께 또는 다른 사람으로부터의 학습을 촉진할 수 있다. 그러나 성찰이 그룹 토론과 피드백을 포함하는 경우에도, 자신의 지식 기반과 해석 능력을 확장하고 특정 이슈에 대한 이해를 넓힘으로써 자기 계발에 초점을 맞춰왔다.

Even when the term‘self-reflection’ is not specifically used, there is an apparent focus on the self as both the subject and object of reflective activity. We found that in most instances of reflection in medical education, learners engage in reflection independently through writing exercises.31,99,102,103,113,114 Written assignments may be followed by discussion or instructor feedback in an effort to facilitate learning with and from others. Yet even when reflective activities encompass group discussions and feedback, the focus is on developing the self by expanding one’s own knowledge base and interpretive capacity, and broadening one’s understandings of certain issues.31,102,114,155


이러한 논문 중 대다수가 성찰을 self나 individual에 초점을 맞추고 있는데, 그 이유는 성찰의 목표가 사회적 또는 시스템적 영향과 이슈를 비판적으로 다루기 보다는, 개인의 지식이나 태도를 향상시키는 것이기 때문이다.

We characterise many of these articles as focusing on the self, or individuals, because the goal is typically to improve individuals’ knowledge or attitudes rather than to critically address social or systemic influences and issues.


성찰과 평가

Reflection and assessment


우리는 처음 두 가지 추세가 세 번째 추세가 될 것을 제안한다. 의료 교육에서 평가의 담론과 관련하여 처음의 두 가지 동향은 보다 폭넓은 성찰의 관점에 포함되며, 의학교육에서 개인의 발달을 위한 도구로서, 그리고 개인을 평가하는 도구로서 성찰이 어떻게 적용되었는지에 대한 많은 예를 발견하였다. 

We suggest that the first two trends lead to the third. The first two trends – utilitarian reflection and self-reflection – are encompassed in a wider view of reflection as it relates to the discourse of assessment in medical education.24 We found many examples of how the ways reflection has been applied in medical education establish a link between using reflection as a tool to develop oneself, and using it to assess individuals.


두 가지 관련 방법으로 특징지어진다. 

characterised in two related ways: 


(i) 성찰을 하나의 역량으로 간주하거나 또 다른 역량을 달성하는 수단으로 여기거나

(i) by conceiving of reflection as a competency or means to achieve competencies, and 

(ii) 학습자의 성찰 능력 및 성찰 학습을 평가하기 위한 방식으로 글쓰기에 기반한 성찰 활동 및 결과물을 이용한다

(ii) by harnessing written reflective activities and products as proxies for assessment of learners’ reflective capacity and learning.



역량으로서의 성찰

Reflection as competency


CBME는 의학을 주도하는 움직임이 되었다. 성찰은 그 자체로 독립적인 역량이라기보다는, 유능한 전문가의 속성으로 논의되어왔다. 임상 기술과 마찬가지로, 학습자가 성찰 활동을 수행하는 능력 역시 하나의 핵심 기술로 간주되어서, 그것을 잘 학습하고 있는지 확인하기 위해 측정 및 평가 될 수 있거나 되어야 한다. '성찰적 역량'은 보통 포트폴리오를 통해 입증된다. 


Competency-based education has become a guiding movement in medicine.156–158 reflection is discussed as an attribute of competent professionals rather than a stand-alone competency. The ability  of learners to engage in reflective activity is viewed as a core skill that, like clinical skills, can or should be measured and assessed to ensure that it is being learned well.31,33,95,112,161,162 ‘Reflective competence’112 is usually demonstrated through portfolios. 


포트폴리오를 통한 성찰과 평가

Reflection and assessment through portfolios


학습자의 성찰능력 개발을 평가하는 일반적인 방법은 포트폴리오를 사용하는 것이다. 이러한 포트폴리오 형태의 성찰을 의무화하는 것은 학습자가 성찰을 실천하고 있는가를 측정하고 추적하는 방법으로 사용된다. 포트폴리오의 일부로, 성찰은 인쇄물이나 전자 저널과 블로그, 그리고 성찰적 에세이나 narrative account을 통해 증명될 수 있다.

A common way to assess the development of reflective capacity in learners is through the use of portfolios. This mandatory demonstration of reflection in the form of portfolios is used as a way to measure and track learners’ engagement with reflective exercises.31,131 As part of a portfolio, reflection may be demonstrated through print or electronic journals and blogs,33,116,142,144,155,164 and reflective essays or narrative accounts.34,95,111,112


포트폴리오는 '학습이 이루어졌다는 증거'를 제공하기 위해 성찰과 학습의 경험을 추적하고 감사하도록 설계되었다.

Portfolios are designed to track and audit the experiences of reflection and learning in order to provide ‘evidence that learning has taken place’36 [our emphasis].


최근 몇 년 동안 성찰 과제와 포트폴리오의 사용이 더욱 보편화되었지만, 일반적인 효과성에 대한 실험적 증거는 제한적이다.

The use of reflective assignments and portfolios has become more widespread in recent years, but the experimental evidence for their generalisable efficacy is limited.94,166,167


고찰

DISCUSSION


이러한 경향성의 문제

Problematising these trends


우리는 성찰이 [환원주의적 사고방식의 영향을 받는 방식으로] 적용되었다고 생각하며, 이는 성찰과 성찰적 실천의 철학적 기초에 부합하지 않는다. Van Manen172는 다음과 같이 언급했다. '...교육 일선에서 주요 관심사는 기술, 통제, 효율성 및 효과의 목적과 수단을 위하여 도구에 집착하게 되었습니다. [...] 이러한 모델의 단점은 학습 성과 측정, 성취의 정량화, 교육 목표의 관리에 대해서 집착하게 된다는 것이다.' 마찬가지로, 학자들은 환원주의적 성찰과 성찰의 실천에 등급을 부여하는 것에 대해 경고한다.

In the case of reflection, we argue that it has been applied, in ways that are influenced by a reductionist mindset and therefore incongruent with the philosophical underpinnings of reflection and reflective practice. Van Manen172 has stated: ‘...the predominant concern of educational practice has become an instrumental preoccupation with techniques, control, and with means-ends criteria of efficiency and effectiveness. [...] The shortcomings of these models lie in their preoccupation with the measurement of learning outcomes, the quantification of achievement, and the management of educational objectives.’ Similarly, scholars caution against reductionist uses of reflection and the grading of reflective exercises.3,4,7,37,173–175


Sumsion과 Fleet은 [만약 우리가 성찰을 평가할 방법을 개발하지 않는다면 우리가 반사가 효과적이라는 것을 증명할 수 없을 것이나], [만약 우리가 성찰에 대한 현재의 이해를 바탕으로 성찰을 평가한다면 우리는 성찰에 폐를 끼치는 것]이라는 이중 문제를 지적한다.

Sumsion and Fleet acknowledge the double bind whereby we are unable to prove reflection is effective if we do not develop ways to assess it, but we do a disservice to reflection if we assess reflection based on current understandings of what it is.8


성찰이 철학적 misaligned된다면 그 결과는 무엇인가?

What are the consequences of philosophically misaligned applications of reflection?


이러한 실용주의적 영향은 분명하다. Chaffey 등94는 일반적으로 교수법으로서 성찰을 둘러싼 연구가 취약하다는 것을 지적하면서, '성공의 효율성에 대한 경험적 증거가 매우 적다'고 했다. 웨어 외.37은 '교육자들은 과도하게 규제된regulated 성찰연습이 [발견과 변화의 기회가 되기보다는], [의도치 않게 감시와 규제의 도구]로서 작용할 수 있음을 고려해야 한다'고 경고한다. 이는 의학교육에서의 성찰에 대한 실용주의적 접근방식의 긴장을 드러내는 것이기도 하다.

This utilitarian influence is clear. Chaffey et al.94 found the research surrounding reflection as a teaching method to be generally weak with ‘very little empirical evidence of the efficacy of facilitation methods’. Wear et al.37 caution that ‘educators must consider how overly regulated exercises in reflection might inadvertently serve as tools for surveillance and regulation rather than as opportunities for revelation and transformation’. Juxtaposed, these thoughts might reveal a tension in the utilitarian approach to reflection in medical education.


성찰의 학습에 대해 실용성을 추구하게 되면, [성찰의 명확한 정의]와 [학습자가 성찰을 했다는 증거]를 추구하게 된다. 그러나, 성찰의 철학적 뿌리를 따져보면, 성찰은 근본적으로 불확정적인 공간에 존재하는 것이며, 정량화할 수 있는 측정의 대상이 되지 않는다고 주장할 수 있다.

A utilitarian pursuit to studying reflection seeks a clear definition of what precisely reflection is and ‘proof’ that reflection is occurring in learners. However, the philosophical roots of reflection allow us to argue that it is fundamentally meant to exist in indeterminate spaces and not to be subject to quantifying measures.


CBME는 행동을 작은 조각으로 나누어 '체크리스트를 사용해서, 관찰하고 평가합니다'. 우리가 제시한 세 번째 추세에 따라, 성찰은 [평가되어야 할 지식과 기술의 일부인 역량]으로 개념화되어 CBME의 평가 담론의 일부가 되었다. 그러나 우리는 성찰이 측정과 평가될 수 있는 학습기술이 아니라, 됨being과 봄seeing의 방법으로도 인식되도록 주의할 것을 제안한다.

competency-based education breaks down behaviours into small fragments to be ‘observed, and assessed ... using a checklist’.158 Evidenced by the third trend we presented, reflection has become part of the discourse of assessment that is inherent in the conceptualisation of competencies as pieces of knowledge and skills to be assessed. We suggest, however, the need to proceed with caution so that reflection is not only conceived of as a learning technique to be measured and evaluated, but also as a way of being and seeing.


흥미롭게도, Whitehead et al.178은 '사람' 역할이 CanMEDS 역량 프레임워크에서 제거되었음을 밝혔다.

Interestingly, Whitehead et al.178 revealed that the ‘person’ role was removed in the Canadian CanMEDS competency framework,


아마도 '사람' 역할은 의학 교육에서의 평가담론에 의해 성찰이 다시 유행하는 것과 같은 이유로 제거되었을 것이다.

Perhaps the ‘person’ role was removed for the same reasons that reflection is refashioned by the discourse of assessment in medical education;


가정, 권력 관계, 사회 및 시스템 구조에 대한 의문을 제기하는 도구로서 비판적 성찰에 관한 이론문헌의 본질을 고려할 때, 의학교육에서 성찰이 주로 '자기평가'를 동반하는 '자기성찰'로서 받아들여져왔다는 것이 오히려 특이하다.

Given the substantial body of theoretical literature on critical reflection as a tool for questioning assumptions, power relations, and social and systemic structures, it is peculiar that reflection has been taken up in medical education, predominantly, as self-reflection and associated with self-assessment.


따라서, 자기성찰로서의 성찰은 성찰에 관한 단지 하나의 해석일 뿐이며, 이러한 해석은 성찰을 자기자신과 자기자신의 행동 및 감정에만 초점을 맞추는 것으로 왜곡skew할 수 있다. 또한 '자기성찰'은 '성찰'을 사회적, 체계적 권력이 주체성, 실천, 결정에 어떻게 영향을 미치는지, 그리고 어떤 변화를 필요로하는지에 대한 비판적 고려로서 여기는 다른 '버전의 성찰을 포함하지 못한다.

Thus, reflection as self-reflection is merely one interpretation, and one that may skew reflective activity to a focus on oneself and what one thinks and feels, in lieu of reflection on one’s practice and what one does. Self-reflection might also fail to encompass others’ versions of reflection as critical consideration of how social and systemic forces influence agency, practices and decisions and their call to enact change.20


학생들이 복잡한 사회 문제에 대해 생각해보도록 권장해본 연구에서도, 여전히 이러한 문제들을 탐구하는 학생들의 개인적 경험과 그들이 개인으로서 배우는 것에 초점을 맞추고 있다.

Papers encouraging students to consider complex social issues still often focus on students’ own experiences of delving into these issues and what they learn as individuals.


비판적 성찰의 정의는 [개인의 신념과 행동에 암시적 또는 명시적으로 영향을 미치는 맥락의 사회적, 체계적 요인에 의해 발생하는 것들에 대해 깊이 생각해보는 것]을 포함한다. 비록 이것이 새롭게 떠오르고 권고되는 방향이지만, 비판적 성찰은 아직 이 분야에서 지배적인 경향은 아니다. 비판적 성찰이 deeply and pervasively 도입될 수 있을지 여부는 긴장을 유발할 수 있는데, 왜냐하면 이러한 접근은 교육에 대한 행동주의 접근보다는 비판적 교육학적 접근을 받아들여야 함을 의미하기 때문이다.

Our definition of critical reflection includes considerations of the creation by social and systemic factors of contexts that implicitly or explicitly influence one’s beliefs and behaviours. Although this is an emerging and encouraging orientation, critical reflection has not yet become a dominant trend in the field. Critical reflection’s ability to be employed deeply and pervasively may be met with tension as it will require openness to critical pedagogical approaches rather than behaviourist approaches to education. 



CONCLUSIONS


철학과 이론적인 탐구에 대한 깊이 고려하지 못한다면, 우리는 왜 혁신이 실패하는지 이해하지 못할 수 있다. 그러나 지속적인 이론의 정교화는 연구와 학문적 실천의 핵심이다. 우리는 이론과 응용이 dichotomous하다고 말하지 않는다. 실제로, 의학 교육에서는 이론의 개발과 적용 모두에 대한 성찰을 계속할 필요가 있다. 각 영역은 서로 불가분의 관계에 있다.

without deep consideration including philosophical and theoretical exploration, we may fail to understand why innovations falter. Continual refinement of theory, however, is at the core of research and academic practice. We do not suggest that theory and application are dichotomous. Indeed, in medical education, there is a need to continue to advance reflection in the realms of both the development and the application of theory; each realm is inextricably linked with the other.



교육 및 철학, 그리고 넓게는 사회과학의 이론적 영역에서 성찰이 확산되면서, 의학교육에서도 성찰의 이론적인 방향을 취급하는 것이 필요로 할지도 모른다는 것을 암시한다. 이는 성찰을 단지 특정한 관습이나 도구나 교수법으로 보는 것이 아니라, 실천의 인식론으로 바라보는 것이며, 비판적 탐구에 초점을 맞추는 것이다. 

The prevalence of reflection in theoretical domains of education and philosophy, and broadly in the social sciences, suggests that it may behove medical education to treat reflection as a theoretical orientation – as an epistemology of practice and approach to and focus for critical inquiry – and not merely as a specific practice, tool or pedagogy.


우리는 의학 교육에 성찰을 '사용'하는 모든 시도에 대해서 신중하고 비판적인 성찰을 제안한다. 성찰에 대한 모든 탐구와 그에 따른 시행에는 의학의 지배적인 경험적 관점이 어떤 방식으로 영향을 미치고 있으며, 다른 인식론적 위치에서는 어떻게 이론을 적용하고 실천하는지에 대한 비판적 인식을 필요로 할 것이다.

we suggest careful, critical reflection within any such attempts at ‘using’ reflection in medical education. Any explorations of reflection and their subsequent implementation will require critical awareness of the way medicine’s dominant epistemological stances are influencing, applications of theories and practices from other epistemological positions.


성찰이 의학 교육에서 오고 간 가장 최근의 유행이 되기 전에, 그 분야는 개념화를 확대하고 성찰이 무엇인지, 그것이 어떤 철학적 배경에서 유래하는지, 그리고 현재의 의학 교육에서 그것의 목적이 무엇인지에 대해 깊게 이해해야 한다.

before reflection becomes the latest trend to have come and gone in medical education, the field must broaden its conceptualisation and deepen its understanding of what reflection is, from which philosophical contexts it derives, and what its purposes in the current socio-political context of medical education can be.



24 Hodges B. Medical education and the maintenance of incompetence. Med Teach 2006;28:690–6.


37 Wear D, Zarconi J, Garden R, Jones T. Reflection in/and writing: pedagogy and practice in medical education. Acad Med 2012;87:603–9.


93 Kumagai AK, Naidu T. Reflection, dialogue, and the possibilities of space. Acad Med 2015;90:283–8.


90 McNaughton N. Discourse(s) of emotion within medical education: the ever-present absence. Med Educ 2013;47:71–9.


156 ten Cate O, Billett S. Competency-based medical education: origins, perspectives and potentialities. Med Educ 2014;48:325–32.




 2015 May;49(5):461-75. doi: 10.1111/medu.12680.

Reclaiming a theoretical orientation to reflection in medical educationresearch: a critical narrative review.

Author information

1
Centre for Faculty Development, St Michael's Hospital, Toronto, Ontario, Canada; Centre for Ambulatory Care Education, Women's College Hospital, Toronto, Ontario, Canada; Department of Speech-Language Pathology, Faculty of Medicine, University of Toronto, Toronto, Ontario, Canada; Li Ka Shing Knowledge Institute, St Michael's Hospital, Toronto, Ontario, Canada; Wilson Centre for Research in Education, University Health Network, Toronto, Ontario, Canada.

Abstract

CONTEXT:

Reflection and reflective practice have become popular topics of scholarly dialogue in medicaleducation. This popularity has given rise to checklists, portfolios and other tools to inspire and document reflection. We argue that some of the common ways in which reflection has been applied are influenced by broader discourses of assessment and evidence, and divorced from original theories of reflection and reflective practice.

METHODS:

This paper was developed using a critical narrative approach. First we present two theoreticallenses provided by theories of reflection. Next we present a summary of relevant literature, indexed in PubMed from 2004 to 2014, relating to the application of reflection or reflective practice to undergraduate and postgraduate medical education. We categorise these articles broadly by trends and problematise the trends relative to the two theoretical lenses of reflection.

RESULTS:

Two relevant theoretical orientations of reflection for medical education are: (i) reflection as epistemology of practice, and (ii) reflection as critical social inquiry. Three prevalent trends in the application of reflection to medical education are: (i) utilitarian applications of reflection; (ii) a focus on the self as the object of reflection, and (iii) reflection and assessment. These trends align with dominant epistemological positions in medicine, but not with those that underpin reflection.

CONCLUSIONS:

We argue for continued theorising of and theoretically informed applications of reflection, drawing upon epistemologies of practice and critical reflection as critical social inquiry. These directions offer medical education research broad and deep potential in theories of reflection, particularly in relation to knowledge creation within uncertain and complex situations, and challenging of dominant discourses and structures. Future work could explore how dominant epistemological positions and discourses in medicine influence theories from other disciplines when these theories are deployed in medicaleducation.

PMID:
 
25924122
 
DOI:
 
10.1111/medu.12680


학습자에게 힘을: 우리에게 다른 방법이 필요한가? (Med Educ, 2014)

Empowering the learner to reflect: do we need another approach?

Val Wass & Chris Harrison



'문제가 없다면 개인의 성장도, 집단의 성과도, 인간성의 발전도 없을 것이다. 그러나 문제에 관한 중요한 것은 문제를 가지고 무엇을 하느냐이다.'

‘Without problems, there can be no personal growth, no group achievement, no progress of humanity. But what matters about problems is what one does with them.’1


우리들 중 많은 사람들은 수년간 (학생이나 훈련생들, 그리고 아마도 종종 우리 자신에게) 성찰이 간단하게, 접근하고 받아들일 수 있는 것이 되도록 노력해왔다. 그러나 성찰을 그렇게 만드는 것은 모든 교과과정에서도 여전히 어려운 부분이다.

Many of us have struggled for years to make reflection simple, accessible and acceptable to students and trainees and, indeed, often perhaps to ourselves. It remains a difficult area within any curriculum.


성찰에 대한 많은 정의와 모델이 있다. 그러나 여러 정의를 결합한다고 해서 간단한 해결책이 되는 것은 아니다. "낙타는 위원회가 고안한 말horse이다"라는 말이 떠오른다. 우리가 다른 사전에서 '말'의 모든 정의를 고려한다면, 우리는 매우 다양한 것을 발견할 수 있을 것이고, 그 중 일부에서 어떤 요소는 제외될 것이다. 그러나, 그렇게 몇몇 요소들을 불가피하게 배제한다고 해서, 그렇게 정의한 동물이 '말'이 아닌 것은 아니다. 게다가, 모든 정의를 하나의 정의에 포함시키더라도, 독자들이 말의 개념을 이해하는데 자연히 도움이 되지 않을 것이다. 반사에 대해서도 마찬가지일까?

There are many definitions and models of reflection on offer. However, combining multiple definitions does not guarantee a simple solution. The aphorism ‘a camel is a horse designed by committee’3 comes to mind. If we were to consider all the definitions of a horse in different dictionaries, we would find a wide variety, some of which exclude certain elements. However, the exclusion of these elements does not inevitably mean that the animal defined is not a horse. Furthermore, incorporating all definitions into one definition will not automatically help the reader to understand the concept of a horse. Could the same be true of reflection?


궁극적인 목표는 성찰이 ritual이 아니라 아닌 의미 있는 과정이 되도록 만드는 것이어야 한다.4 학습자는 constrained 되기보다는 empowered되어야 한다.

The ultimate aim should surely be to make reflection a meaningful process, not a ritual.4 The learner should be empowered, not constrained.


우리는 전문직의 성찰적 행동에 적용되는 단일한 경험적 모델이 있는지에 의구심을 갖고 있다. 학습자마다 선호하는 학습 스타일이 서로 다르다는 것은 잘 알려진 것이며, 이를 해결하기 위해 점점 더 많은 커리큘럼에서 다양한 교육 방법론을 혼합하는 방식으로 사용하고 있습니다. 성찰을 위한 다양한 모델들 역시 개인에 맞게 선택하고, 도움이 되도록 맞춤화할 수도 있다.

We doubt there is a single empirical model applicable to professional reflective practice. It is well accepted that learners have different preferred styles of learning and many curricula increasingly use blended teaching methodologies to address this. It is equally possible that a range of models for reflection is beneficial and can be tailored to suit individual choice.


의학의 practice에서의 전문적 행동이란 맥락특이적이며, 문화적으로 민감하고, 반드시 일반화될 수는 없는 복잡한 적응적 시스템 내에서 일어난다. Hodges et al.5는 개인, 제도 및 사회 수준에서 표현되는 전문적 행동은 사회-맥락적 요소의 책임이 있다고 주장한다. 프로페셔널리즘은 개인의 특징과 행동에만 국한되지 않는다. 또한 프로페셔널리즘은 단계적, 행동주의적 체크리스트 접근만으로 해결되지도 않는다. 전문적인 성찰적 실천에도 이러한 원리가 동일하게 적용될 수 있다.

The practice of medicine occurs within a complex adaptive system in which professional behaviour is context-specific, culturally sensitive and not necessarily generalisable. Hodges et al.5 argue for the accountability of socio-contextual factors which shape the expression of professional behaviours at individual, institutional and societal levels. Professionalism extends beyond individual characteristics and behaviours alone5 and is not open to a staged, behaviourist checklist approach. This may well apply equally to professional reflective practice.


3차병원의, 중환자실의, 팀 중심적인 환경 내에서 발생하는 critical incident에 뒤따라야 하는 성찰적 접근은 의과대학 1학년 학생이 첫 환자 대면을 했을 때 해야 하는 성찰적 접근과 다를 것이다. 전자는 사회적 수준에서 집단적 성취와 인간적인 감성을 포함하여 성찰해야 하는 반면, 후자는 학생 개인과 개인적 professional practice에 미치는 영향을 중심으로 성찰해야 한다.

a critical incident within an intensivist, tertiary, team-oriented environment may require a reflective approach to define action consequent on the significant event that differs from that required in a Year 1 medical student’s reflection on his or her first individual patient encounter. The former embraces group achievement and humane sensitivity at a societal level, whereas the latter is a reflection on the impact on an individual and his or her personal professional practice.


핵심 질문은 학습자를 위한 반사 모델을 표준화하는 것을 목표로 삼아야 하는지, 아니면 다양한 프레임워크를 활용하는 개별 개인화된 접근방식을 수용하고 장려해야 하는지 여부입니다.

The key question, is whether we should aim to standardise a reflective model for learners, or accept and encourage an individual personalised approach utilising a range of frameworks.


(성찰을) 분석할 때에는 학습자의 주체성을 존중하는 것이 필수적이다.

Respecting the agency of the learner within the analytical activity is essential.


성찰은 서로 다른 수준에서 발생할 수 있으며, [자기자신이나 개인적 활동]에 대해서 할 수도 있지만, [자신과 관련된 더 광범위한 체계적 프로세스와 관련된 컨텐츠]에 대해 할 수도 있다. 후자에서는 상황 분석의 복잡성을 해소할 필요성을 보여준다.

reflection may occur at different levels, and may embrace content related to the self and individual actions, and content related to the wider systematic process related to self. The latter mirrors the need to address the complexity of the situational analysis,


멘토링을 통해 '자기'에 대한 성찰적 학습과 이해가 향상된다는 점은 점점 더 널리 받아들여지고 있다. 개인적 발달을 위한 튜터링과 평가는 포트폴리오를 통한 발달과 성찰평가의 핵심이 된다.6 그러나 Nguyen et al.2에서 제시한 모델에는 멘토링이 없다. 우리는 이것이 심각한 누락이라고 믿는다.

It is increasingly accepted that reflective learning and understanding of ‘self’ are enhanced through mentoring; personal development tutoring and appraisal prove key to the development and assessment of reflection through portfolios.6 Yet mentoring is absent from the modelling presented by Nguyen et al.2 We believe this is a significant omission.


한 가지로 모든 것의 해결책이 될 수 있는가? 만약 RIA와 ROA에 대해서 성찰이 모두 성공하려면 학습자의 자율성을 존중해야 한다. 우리는 학습자가 문제를 개인적으로 맥락화시키고 사회-문화 환경의 로지스틱 내에서 적절하게 행동하기 위해 선호하는 학습 스타일을 사용할 수 있도록 해야 한다.

Can one size fit all? If reflection, both in and on action, is to succeed, the autonomy of the learner must be respected. We must enable the learner to personally contextualise the problem and to use his or her preferred learning style to act appropriately within the logistics of the socio-cultural environment.








 2014 Dec;48(12):1146-7. doi: 10.1111/medu.12612.

Empowering the learner to reflect: do we need another approach?

PMID:
 
25413907
 
DOI:
 
10.1111/medu.12612


성찰은 무엇인가? 주요 정의의 개념적 분석과 5-요소 모델(Med Educ, 2014)

What is reflection? A conceptual analysis of major definitions and a proposal of a five-component model

Quoc Dinh Nguyen,1 Nicolas Fernandez,2 Thierry Karsenti3 & Bernard Charlin4




도입

INTRODUCTION


1933년 듀이에 의해 처음으로 성찰의 개념이 언급된 이래로, 성찰은 여러 분야와 전문 분야에서 관심을 끌었다.2–5 의학, 6–8 간호9–11 및 다른 건강 과학 직업12도 예외가 아니다. 이러한 맥락에서 성찰은 커리큘럼과 실천의 중요한 요소이며, 평생학습 및 개인적/전문직업적 학습의 요건으로 간주된다.16

Since the concept of reflection was first articulated by Dewey in 1933,1 reflection has gained traction in multiple disciplines and professional fields.2–5 Medicine,6–8 nursing9–11 and the other health science professions12 are no exception; reflection in these contexts is viewed as a crucial component of curriculum and practice,13–15 and as a requirement for lifelong personal and professional learning.16


성찰의 인기에 대한 증거로서, 성찰은 다양한 의미를 가지고 있으며, 여러 모델들로 표현되어 왔다. 각 모델들은 성찰에 필요한 다양한 요소(예: '모든 신념에 대한 능동적이고 지속적이며 신중한 고려', '정동적 행위', 가정, '자신에 대한 의미' 등)를 강조한다. 성찰의 초보자에 대해서든 전문가에 대해서든, 성찰은 합의된 정의가 없는 복잡한 구조이다.21–24

As evidence of its popularity, reflection has taken on divergent meanings and has been represented by a number of models,6,7 each emphasising different elements required in reflection (e.g. ‘active, persistent and careful consideration of any belief’,1 ‘affective activities’,18 assumptions,17,19 and ‘meanings in terms of self’20). For both newcomers and experts, reflection is a complex construct for which the literature does not provide a consensual definition.21–24


성찰의 일반적인 명확한 이해가 부족함으로 인해서, 그것을 분석하고 가르치고 평가하기 위한 실용적인 방법의 개발도 어렵게 만들었다. 성찰에 대한 문헌이 증가하고 있음에도 불구하고, 그 사용을 지지하는 증거는 주로 이론적인 것들 뿐이다. 성찰의 실질적인 활용이 종종 언급되었지만, 성찰에 대한 부정확한 이해는 종종 그 의미를 희석시키는 결과를 가져왔는데, 그것은 때때로 단순히 '생각'과 동일하게 여겨지기도 했다.

The lack of a common explicit understanding of reflection has undoubtedly impeded the development of practical methods to analyse, teach and assess it.25 Despite the increasing number of publications on reflection, the evidence in support of its use remains mainly theoretical,7 largely as a result of the difficulty of reliably operationalising a construct without a consistent definition.26,27 Although practical applications of reflection have been described,28–30 the imprecise understanding of reflection has often resulted in dilution of its meaning, which has at times equated to simple thinking.31,32


목적

Objectives



방법

METHODS


정의와 모델 추출

Definition and model retrieval and extraction


our goal was to obtain a wide range of influential conceptualisations for analysis rather than to compare the relative influence of each author.


그림 1 Figure 1



표 1

Table 1 summarises the 15 authors and author groups and the major definitions and models extracted.



탐색적 주제 분석

Exploratory thematic analysis


Using the results in Table 1, QDN conducted the thematic analysis process.35


정의와 모델 개발

Process of developing a definition and model


Figure 2 summarises the exploratory thematic analysis and development process of our definition and model.



결과

RESULTS


Table 1 presents the 15 most cited authors or author groups and their definitions or models of reflection.


성찰의 정의

The definition of reflection


성찰의 본질: 사고과정으로서 성찰

The nature of reflection: reflection as a thinking process


주제 분석의 초기 단계에서는 드러난 것은, 검토한 모든 정의에서 공통적으로 나타나는 반사의 성격은 그것이 무엇보다 "사고과정"이라는 점이다.

The early stages of the thematic analysis revealed that the nature of reflection, common to all of the reviewed definitions, is first and foremost that of a thinking process.


성찰은 '질문', '생각', '검사', '검사', '시술', '정신적 처리' 또는 '분석' 중 하나로써 모든 것이 인지적 활동이다.

reflection as one of ‘questioning’, ‘thinking’, ‘examining’, ‘scrutinising’, ‘mental processing’ or ‘analysis’, all of which are cognitive activities.


그러나, 그것이 성찰과 사고가 동의어라는 것을 의미하지는 않는다. 성찰의 모든 정의는 성찰이 특정 형태의 생각으로서, 다른 사고 과정과 어떻게 다른지를 설명하는 추가 요소를 포함한다.

However, that does not mean that reflecting and thinking are synonyms. All definitions of reflection include further elements that delineate how reflection, as a specific form of thinking, differs from other thinking processes.


우리는 그러한 7가지 요소를 확인하고, 5가지 요소를 반사적 사고에 대한 constitutional 것으로 분류했고, 2가지 요소는 그것에 대한 extrinsic한 것으로 분류했다.

We identified seven such elements and classified five as constitutional to reflective thinking and two as extrinsic to it.


성찰의 다섯 가지 핵심 요소

The five core components of reflection


components of reflection: 

    • (i) thoughts and actions (TA); 

    • (ii) attentive, critical, exploratory and iterative processes (ACEI); 

    • (iii) the underlying conceptual frame (CF); 

    • (iv) the view on change (VC), and 

    • (v) the self (S).

성찰이 특정 방식의 '생각'이라면, 성찰은 그 내용(즉, 반사를 할 때 무엇을 생각하는가) 또는 과정(반영할 때 어떻게 생각하는가)에 따라 달라져야 한다.

if reflection is a distinct form of thinking, it must differ by its content (i.e. what one thinks about when reflecting) or by its process (i.e. how one thinks when reflecting).



성찰의 내용-관련 요소

Content-related component of reflection (TA)


우리가 확인한 첫 번째 핵심 요소인 생각 및 행동(TA)은 성찰의 내용 또는 '성찰하려면 무엇을 생각해야 하는가?'와 관련이 있다.

The first core component we identified, thoughts and actions (TA), is related to the content of reflection, or ‘what must one think about in order to be reflecting?’


여러 정의들은 질문에 대한 일관된 답변을 제공하지 않습니다. 한 사람의 '생각과 행동'(TA)이 모든 범위의 콘텐츠를 반영할 수 있다고 주장하는 것을 제외하고는 이러한 다른 관점을 통합하는 쉬운 방법은 없습니다.

The definitions do not provide a consistent answer to this question; There is no easy way to integrate these divergent views, except by arguing that one’s ‘thoughts and actions’ (TA) would encompass the entire range of content on which one can reflect.


TA 구성 요소는 인지적 내용(예: 지식, 아이디어, 문제 해결), 비인지적 내용(예: 조치, 경험), 잠재적인 감정적 내용을 포함한다. 메즈로우의 말에는 '인식하고, 생각하고, 느끼고, 행동하는' 모든 것이 포함된다.32 따라서, 반사의 첫 번째 요소는 생각과 행동에 대해 생각하는 것이다.

The TA component is meant to include cognitive content (e.g. knowledge, ideas, problemsolving), non-cognitive content (e.g. actions, experience), and potential affective content. In Mezirow’s words, it encompasses all that one can ‘perceive, think, feel or act’.32 Thus, the first component of reflection is thinking about thoughts and actions.


성찰의 프로세스-관련 요소

Process-related component of reflection (ACEI)


성찰을 한다는 것은 생각과 행동에 대해 어떻게 생각한다는 것인가? 두 번째 성찰의 구성요소는 성찰적 사고의 '과정'을 말한다.

How must one think about thoughts and actions in order to be reflecting? The second component of reflection, refers to the process of reflective thinking.


우리의 생각과 행동을 주의깊게, 비판적으로, 탐구적이고 반복으로 생각하는 것은, 해튼과 스미스의 '개선에 대한 deliberate thinking'과 같은 성찰의 더 간결한 정의를 반영한다.39

Thinking about our thoughts and actions attentively, critically, in an exploratory and iterative fashion does mirror more concise definitions of reflection, such as Hatton and Smith’s ‘deliberate thinking about action with a view to its improvement’.39


성찰의 내용&프로세스 관련 요소

Content and process-related components of reflection (CF, VC, S)


TA에 대한 ACEI 사고 과정은 불가피하게 내용과 과정 사이의 경계를 흐리게 할 것이다. 콘텐츠는 인지적으로 처리되기 때문에 불가피하게 새로운 상태로 전환되며, 이는 순수하게 콘텐츠 또는 프로세스와 관련된 것으로 분류하기 어렵게 된다.

An ACEI thinking process about one’s TA will inevitably blur the line between content and process. Because content is cognitively processed, it is inevitably transformed into a new state, which becomes hard to categorise as purely content- or process- related.


근원적 개념틀 요소

The underlying conceptual frame component (CF)


세 번째 핵심 요소: 우리의 생각과 행동을 뒷받침하는 의식적 또는 무의식적 개념적 프레임(CF)입니다. 성찰은 다음을 포함한다. 

(i) '우리가 왜 지금과 같은 방식으로 인식하고, 사고하고, 느끼는지'를 드러내주는 근원적인 개념틀을 '인식하게 되어가는becoming aware of' 과정 

(ii) '정확성과 타당성에 대한 철저한 검토'를 통해 이 근원적 개념틀이 새로운 성찰적 사고의 내용new content이 되도록 하는 것.

third core component: the conscious or unconscious conceptual frame (CF) that underlies our thoughts and actions. For authors, reflection involves: 

(i) the process of ‘becoming aware of’ this underlying conceptual frame which reveals ‘why we perceive, think, feel or act as we do’,40 and 

(ii) making this underlying conceptual frame the new content of reflective thinking by ‘scrutinising [its] accuracy and validity’.19


조직적 학습에서, 이것은 아르기리스와 슈우론의 '이중 루프 학습'으로 이어지는 근본적인 개념적 프레임워크에 대한 질문이다. 따라서 TA에 대해 ACEI한 방식으로 생각하는 것과 더불어, 단순히 문제를 해결하기 위한 것이 아니라 '문제의 이해[...]를 목표로 하는 생각'을 요구한다는 점에서 성찰은 다른 사고 과정과 다르다.

In organisational learning, it is this questioning of the underlying conceptual frame that leads to Argyris and Sch€on’s ‘double-loop learning’.41,42 Thus, along with ACEI thinking about TA, reflection differs from other thinking processes in that it also requires thinking aimed at ‘one’s understanding of the problem [...] rather than aimed simply at trying to solve it’.24


변화에 대한 관점 요소

The view on change component (VC)


왜 성찰하는가? 성찰적 사고 프로세스는 그 목적 측면에서 일반적인 생각과 다르다. 성찰에 대한 대부분의 정의를 살펴보면, 어떤 형태로든 '성찰의 목적은 변화로 이끄는 것' 이라고 본다.

Why does one reflect? The reflective thinking process also differs from general thinking in terms of its purpose. The majority of definitions view the purpose of reflection as leading to some form of change,


변화에 대한 관점(VC)은 우리가 확인한 네 번째 핵심 요소입니다. Meyzrow는 성인 학습 40의 변혁적transformative 차원에 있어 [비판적 성찰]을 고려함으로써 성찰과정에서의 [변화에 대한 관점]의 중요성을 증명한다. CF 구성 요소와 유사하게, VC 구성 요소는 성찰의 프로세스와 내용 모두에 관련되어 있습니다. 성찰의 목적은 다음과 같다.

(i) 변화의 관점에서 TA와 CF를 처리하고(어떻게 생각할 것인가), 

(ii) 이렇게 계획된 변화를 추가적인 성찰 사고의 내용으로 재처리하는 것이다(무엇을 생각할 것인가).

Having a view on change (VC) is the fourth core component we identified. Mezirow’s consideration of critical reflection as instrumental in his transformative dimensions of adult learning40 attests to the importance of a view on change in reflection. Analogous to the CF component, the VC component pertains to both the process and content of reflection. The aims of reflection are: (i) to process one’s TA and CF with a view to change (how to think), and (ii) to reprocess this envisioned change as the content of further reflective thinking (what to think about).


'성찰'을 하기 위해서는 '마음의 변화'를 목적에 두고 생각해야 한다.

One should think with the purpose of change in mind in order to be reflecting.


자기자신 요소

The self component (S)


'성찰'이라는 단어는 '뒤집기'를 가리키는 라틴어에서 유래한다. 성찰을 자기자신과 관련된 사고 과정으로 보는 개념은 대부분의 정의에서 암시적 또는 명시적 형태로 나타난다.

The word ‘reflection’ stems from the Latin root reflexio, which refers to the act of ‘bending back’. The idea of reflection as a thinking process concerned with the self appears in most definitions in implicit or explicit form.


사고 과정은 ACEI할 수 있고, TA와 CF를 다루고 VC를 목표로 할 수 있지만, 무엇보다 이 네 가지 구성 요소가 self와 연결될 때 성찰이라고 볼 수 있다.

Although a thinking process can be ACEI, deal with TA and CF, and aim for a VC, it becomes reflective particularly when these four components are linked to the fifth component, namely the self (S).


Self의 관점에서 의미를 명확히 할 때, Self를 활용하여 TA, CF, VC가 (첫째) 자기자신과 어떻게 관련되어 있는지, (둘째) 자기자신에게 어떤 정보를 제공하는지를 탐구할 수 있다

    • 자기와 관련된 것을 생각하는 것('행동'과 같이 나와 관련된 내용을 생각함)과 

    • 무엇인가를 자기와 관련지어 생각하는 것('내 행동이 나에 대해 무엇을 말해주는가?'와 같은 프로세스)

... 사이에는 중요한 차이가 있다.

When clarifying meaning in terms of self, one uses the self to examine how one’s TA, CF and VC are firstly related to the self and, secondly, informed by the self. There is a significant difference between 

    • thinking about something related to the self (whereby the content is related to the self: e.g. my actions) and 

    • thinking about something as related to the self (whereby the process is related to the self: e.g. what do my actions say about me?).


성찰의 조작적 정의

The operational definition of reflection



다음과 같이 성찰을 정의한다.

we coined the following final definition of reflection:


반사는 [자신의 생각과 행동, 그리고 근원에 깔린 개념적 틀에 대해서] 주의 깊고, 비판적이며, 탐구적이고 반복적인 상호작용을 하는 과정으로서, 그 목적은 그것들을 바꾸는 데 있으며, 변화 자체에 대한 관점을 가져야 한다.

Reflection is the process of engaging the self in attentive, critical, exploratory and iterative interactions with one’s thoughts and actions, and their underlying conceptual frame, with a view to changing them and with a view on the change itself.


Table 2



성찰의 외적 요소

The extrinsic elements of reflection


성찰이 무엇인지를 함께 정의하는 5가지 핵심 요소를 소개했다. 그러나, 성찰은 진공에서 일어날 수 없기 때문에, 외부적인 요소들은 성찰적 사고 과정이 일어나는 상황을 바꾸지만, 그 외부적 요소 자체가 사고 프로세스를 바꾸지는 않는다. 

Our definition introduces five core components that together define what reflection is. However, because reflection cannot occur in a vacuum . Extrinsic elements alter instances of reflective thinking processes,but do not alter thinking processes to make them reflective per se. 


성찰의 방아쇠

The trigger of reflection


Boyd와 Fale은 반사의 원인이 '경험'이라고 밝혔다. 경험이 반사를 촉발할 때, 경험에 대해 인식하거나 회상하는 것이 성찰적 사고 과정의 '내용'으로 투입되어 유지된다. 경험에 대해 인식하거나 기억하는 것은 실제 경험과는 크게 다를 수 있기 때문에, 트리거와 실제 성찰 내용 사이의 구분은 강조할 가치가 있다.

Boyd and Fales identify the trigger of reflection as being ‘experience’.20 As an experience triggers reflection, what is recognised or recalled of the experience is held onto as the content to be fed into the reflective thinking process. Because what is recognised or recalled of an experience can differ widely from the actual experience, the distinction between the trigger and the actual content of reflection is worth emphasising.


성찰의 맥락

The context of reflection


학문 분야, 환경 등과 같은 무수한 상황 요소에 따라 성찰이 어떻게 변화할 것인가에 관한 것이다. 성찰에서 가장 흔히 언급되는 전후 관계 요소는 그 시점이다

How reflection unfolds will vary according to innumerable contextual factors such as the academic field, the setting and so on.31 The most commonly mentioned contextual factor in reflection is timing. 


이는 Loughran의 예기적 성찰과 와 Sch€on의 '행동 중' 및 '행동 후' 성찰이 있다.

This mirrors Loughran’s anticipatory reflection48 (before), and Sch€on’s ‘reflection-in-action’ (during) and ‘reflection-on-action’36 (after).


현재 정의, 연구 및 성찰 적용의 대부분은 관심이 되는 상황 이후에 발생하는 성찰과 관련이 있다. 그러나 다른 상황에서의 성찰을 언급하는 것도 가치가 있다(예: 행동 전 또는 행동 중).

The vast majority of current definitions, studies and applications of reflection are concerned with reflection that takes place after the situation of interest. However, there is an added value in also describing reflection in other contexts (e.g. before or during the action).


다른 외부적 요소

Other extrinsic elements of reflection

  • 마메데와 슈미트의 성찰적 실천은 '성찰에 대한 개방적 태도'를 포함하며, 이는 성찰을 수행하는 사람의 상태로 이해할 수 있다. 

  • Boud et al.18 ('정서적 활동')과 Atkins와 Murphy9 (감정의 분석')는 성찰 시 감정 요소를 설명한다. 

  • 반면에 엡스타인50과 트레멜51은 성찰과 mindfulness을 연관시킨다. 

  • Korthagen45와 Sch€on은 성찰을 위한 퍼실리테이터의 중요성과 영향력을 강조합니다. 

  • Aukes 등은 의료행위를 성찰하는 성과 중 하나를 '기능, 학습, 개발의 균형을 잡는 것'으로 묘사한다.16

  • Mamede and Schmidt’s structure of reflective practice includes an ‘attitude of openness towards reflection’,49 which can be understood as the state of the person undergoing reflection. 

  • Boud et al.18 (‘affective activities’) and Atkins and Murphy9 (‘analysis of feelings’) describe an affective element in reflection, 

  • whereas Epstein50 and Tremmel51 relate reflection to mindfulness. 

  • Korthagen45 and Sch€on,17,36 underline the importance and influence of a facilitator for reflection. 

  • Aukes et al. describe one outcome of reflection in medical practice as ‘the benefit of balanced functioning, learning and development’.16


성찰의 개념 모델

A conceptual model of reflection



고찰

DISCUSSION


프로세스와 모델의 이론적 강점

Theoretical strengths of our process and model


표 2에서 보듯이, 우리의 개념화는 이전 모델의 핵심 요소를 설명하지만, 다른 모델을 희생시키면서 강조하지 않는다. 이를 통해 다른 모델에서 누락된 기능을 제공하여 통일 모델 역할을 할 수 있습니다.

As shown in Table 2, our conceptualisation accounts for the key elements of previous models, without emphasising one at the expense of another. This allows it to serve as a unification model, providing the features missing from other models


우리의 제안은 과도한 단순성(예: Hatton과 Smith39) 또는 복잡성(예: Brookfield, 19 Kember et al.43,44) 사이에서 보다 나은 균형을 이루고 있습니다.

our proposal strikes a better balance between excessive simplicity (e.g. Hatton and Smith39) or complexity (e.g. Brookfield,19 Kember et al.43,44).


이해와 운영을 용이하게 하기 위해, 우리의 정의는 일반적인 표현을 사용하며, 예를 들어, 긴 글의 탐구 없이는 이해하기 쉽지 않은 Sch€on의 모델인 17,36과 달리, 그 자체로 충분한 설명을 제공한다.22

To facilitate understanding and operationalisation, our definition uses generic wording and is self-contained, unlike, for example, Sch€on’s model,17,36 which is not easy to grasp without lengthy exploration of his writing.22


실질적 강점

Practical benefits of our model


더 깊은 성찰을 하는 과정에서 학습자들은 정기적으로 성찰에 참여하도록 요청 받는다. 그러나 학생들은 일반적으로 성찰이란 것이 무엇인지조차 알지 못한 상태로(그런 정보가 제공되지도 않은 상태로), 학생들은 성찰적 사고를 만들어내려고 하는데, 이는 흔히 부지런한 생각diligent thinking과 구별하기 어렵다.

In the process of becoming more reflective, learners are regularly asked to engage in reflection. Generally unaware – or, rather, uninformed – of what reflection entails, learners attempt to produce reflective thinking, which is often hard to distinguish from any diligent thinking.


학습자가 자발적으로 만들어낸 성찰적 사고가 기본적인 개념적 프레임(CF), 변화에 대한 관점(VC), 반사의 중요한 특징인 자아(S)를 고루 다루는 경우는 드물다.

Only seldom will learners’ spontaneous reflective thinking tackle the underlying conceptual frames (CF), the view on change (VC), and the self (S), which are critical features of reflection.


학습자는 성찰적 사고에 5가지 핵심 요소를 모두 포함시키고 집중함으로써 완전히 발달된 성찰을 경험할 수 있으며, 이것을 부지런한 생각 또는 일반적인 지각적 사고와 명확하게 구분할 수 있게 될 것이다52

By including and focusing on all five core components in their reflective thinking, learners can experience fully developed reflection and clearly distinguish it from diligent thinking or generic metacognitive thinking.52


비록 성찰을 구성요소로 분할될 수 있지만, 성찰이란 것이 각 부분의 합과 동일할 수 있다는 의미는 아닙니다. 모든 구성 요소가 존재하더라도 성찰이란 시스템 구성 요소가 상호 작용할 때만 완전한 힘을 방출합니다.

Although reflection can be broken down into components, this does not mean that reflection can be equated to the sum of its parts. Even if all the components are present, reflection will unleash its full potential only when the systemic components interact.


가장 중요한 상호작용은 한 사람의 TA와 그들의 CF 사이의 상호관계이며, 이에 대한 성찰이 촉진되어야 한다. 이러한 인간 특유의 '상자 속 생각(TA에 대해서 생각하는 것)'과 '상자 밖 생각(TA의 기초가 되는 CF에 대해 생각하는 것)'은 높은 수준의 성찰을 기르고 스스로의 존재, 행동, 사고방식을 변화시키는 데 중요합니다. 마찬가지로, 자기 자신이 어떻게 우리의 생각과 행동과 개념적 틀을 설명하고 영향을 주는지(또는 생각과 행동과 개개념틀에 의해서 영향을 받는지) 분석하는 것은 확실히 효과적인 성찰의 열쇠이다.

The most significant interaction is the reciprocity between one’s TA and their CF, which the reflective process should promote. This uniquely human capacity to ‘think inside the box’ (thinking about our TA) and ‘outside the box’ (thinking about the CF underlying our TA) is instrumental in fostering high-level reflection and in changing one’s ways of being, doing and thinking. Similarly, analysing how the self explains and influences (or is influenced by) our thoughts and actions and our conceptual frames is undoubtedly key to effective reflection.


성찰은 개별적인 구성 요소들과 그 사이의 많은 상호작용으로 구성되기 때문에, 성찰이란 것이 얼마나 비선형적이고, 복잡하며, 주관적이면서 강력한 힘을 가질 수 있는지를 쉽게 알 수 있으며, 또한 성찰이 왜 그토록 평가하고 가르치기 어려지를 쉽게 알 수 있다.

Because reflection comprises both the individual components and the many interactions among them, it is easy to see how non-linear, complex, subjective and potent it can become, and why reflection can be so hard to assess and teach.


우리의 모델은 핵심 요소들을 외부 요소들과 구분함으로써 외부적인 요소들에 얽매이지 않고 반사되는 것을 알 수 있다.

By distinguishing the core components from the extrinsic elements, our model allows reflection to be informed by the extrinsic elements, without being bound to them.


한계

Limitations of our process of defining reflection



함의

A few implications of our model


전문직업적 발달과 자율성

Professional development and autonomy


우리는 성찰의 인기가 부분적으로 그것이 제공하는 자율성에 기인한다고 믿는다. 전문적 실무는 그 자체로 자율성의 개념을 수반하므로, 전문가들은 자율성을 강화하는 방법을 배워야 한다. "Self" 요소를 성찰 프로세스의 중앙에 배치함으로써, 우리의 성찰 모델은 분명히 자율적 관행에 초점을 맞추었다.

We believe that the popularity of reflection is partly attributable to the autonomy it affords. Because professional practice per se entails the notion of autonomy, professionals should learn in ways that foster autonomy. By placing the self component at the centre of the reflective process, our model of reflection clearly focuses on autonomous practice.


한 사람의 성찰과 그에 따른 학습은 그 사람의 practice만큼이나 매우 개인적이고 자율적일 수 있다. 더욱이 성찰은 개인의 고유한 개념적 틀에 기초하기 때문에 성찰의 operationalization은 그 고유의 주관성을 고려해야 한다.

One’s reflection and the resultant learning can be as deeply personal and autonomous as one’s practice. Moreover, because reflection is grounded in one’s unique conceptual frame, any operationalisation of reflection must take into account its inherent subjectivity.



Table 3 An example of increasingly reflective thinking processes


평가와 교육

Assessment and teaching


첫째, 성찰은 다섯 개의 요소로 구성되어 있기 때문에, 기존의 대부분의 척도와 같이 monolithic하고 일차원적인 방식으로 비성찰부터 성찰까지를 평가하는 방식으로는 성찰을 온전히 평가할 수 없다. 우리의 모델은 각 구성 요소와 구성 요소의 상호 작용을 개별적으로 이해함으로써 성찰을 보다 심층적으로 이해할 수 있도록 합니다. 예를 들어, 사람들은 [자신의 근본적인 개념체계에 대해 생각하지 않으면서도] 동시에 [주의깊고 비판적이며 탐구적이고 반복적인 방식으로] 생각할 수 있다. 성찰에 대한 단차원적 평가는 CF에 대항 성찰 없이 ACEI만 하는 경우를 구분하지 않는 반면에, 다차원 척도는 그것을 구분할 수 있을 것이며, 따라서 개인화된 교수법과 성찰의 개발에 도움을 줄 것이다.

Firstly, because reflection comprises five components, it cannot be fully assessed in a monolithic, one-dimensional manner from non-reflective to reflective, as most scales do.29,30,43,53 Our model allows a more in-depth understanding of reflection through separate understanding of each of the components and their interactions. For example, one might think in an attentive, critical, exploratory and iterative fashion without ever thinking about one’s underlying conceptual frame. Whereas a one-dimensional assessment of reflection will not distinguish a functioning ACEI component from an absent CF component, a multi-dimensional scale will do, and will therefore have the ability to inform the personalised teaching and development of reflection.


둘째로, 성찰이 복수의 구성요소를 가지고 있다는 특성 때문에 성찰에 대한 평가는 단순히 '성찰적인-비성찰적인'으로 이분화해서는 안 된다. 비록 대부분의 성숙한/강력한 형태의 성찰은 이 모든 다섯 요소를 포함하지만, 이것 들 중에서 일부가 빠졌다고 비성찰적이라고 할 수는 없다. 대신, 우리는 각 구성 요소에 대해 많은 degree of development를 가진 성찰의 연속체라고 생각하는 것을 선호한다.

Secondly, because of the multi-component nature of reflection, its assessment should not be simply dichotomised into ‘reflective’ and ‘non/pre-reflective’.54–56 Although the most mature and powerful form of reflection involves all five components, this does not mean that any thinking short of that is unreflective. Instead, we prefer to think of reflection as a continuum, with many degrees of development for each component.


셋째로, 타이밍에 관계없이 성찰을 명확하게 정의함으로써, 우리의 모델은 행동중성찰과 행동후성찰 둘 다를 평가하고 가르치기 위해 사용될 수 있다.

Thirdly, by clearly defining reflection irrespective of timing, our model can be used to assess and teach both reflection-in-action and reflection-on-action,


마지막으로, 성찰은 미리 결정된 외부적 성과와 별도로, 명백하게 어떤 프로세스로서 개념화되기 때문에, 우리는 우리의 모델이 성찰의 결과(무엇 - 내용 - 학생이 배우기를 바라는 것)만 교육 및 평가하고 과정(어떻게 배울 것인가)를 배제하는 실수를 막아줄 것이라고 믿는다. Kolb가 배움에 대해 말했듯이, 성찰은 결과가 아니라 과정이다. 성찰을 평가할 때는 성찰의 최종 목적지나 성찰을 사용한 거리를 측정하지 말고, 5개의 핵심 구성 요소에 의해 전달된 성찰의 경로 자체를 측정해야 한다.

Finally, because reflection is explicitly conceptualised as a process, without reference to any predetermined extrinsic outcome, we believe that our model will help prevent the error of teaching and assessing the outcome of an instance of reflection (what – the content – we want one to learn) rather than its process (how to learn). As Kolb57 has said of learning, reflection is a process, not an outcome. When assessing reflection, we should not measure the final destination of reflection or the distance travelled using it, but, rather, the reflective journey itself, as conveyed by the five core components.


CONCLUSIONS


커트 레빈의 말과 같이 좋은 이론만큼 실용적인 것은 없다.

In Kurt Lewin’s thoughtful words, there is nothing as practical as a good theory.58



6 Sandars J. The use of reflection in medical education: AMEE Guide No. 44. Med Teach 2009;31:685–95.


7 Mann K, Gordon J, MacLeod A. Reflection and reflective practice in health professions education: a systematic review. Adv Health Sci Educ Theory Pract 2009;14:595–621.









 2014 Dec;48(12):1176-89. doi: 10.1111/medu.12583.

What is reflection? A conceptual analysis of major definitions and a proposal of a five-componentmodel.

Author information

1
Division of Geriatrics, Department of Medicine, University of Montreal, Montreal, Quebec, Canada.

Abstract

CONTEXT:

Although reflection is considered a significant component of medical education and practice, the literature does not provide a consensual definition or model for it. Because reflection has taken on multiple meanings, it remains difficult to operationalise. A standard definition and model are needed to improve the development of practical applications of reflection.

OBJECTIVES:

This study was conducted in order to identify, explore and analyse the most influential conceptualisations of reflection, and to develop a new theory-informed and unified definition and model of reflection.

METHODS:

A systematic review was conducted to identify the 15 most cited authors in papers on reflection published during the period from 2008 to 2012. The authors' definitions and models were extracted. An exploratory thematic analysis was carried out and identified seven initial categories. Categories were clustered and reworded to develop an integrative definition and model of reflection, which feature core components that define reflection and extrinsic elements that influence instances of reflection.

RESULTS:

Following our review and analysis, five core components of reflection and two extrinsic elements were identified as characteristics of the reflective thinking process. Reflection is defined as the process of engaging the self (S) in attentive, critical, exploratory and iterative (ACEI) interactions with one's thoughts and actions (TA), and their underlying conceptual frame (CF), with a view to changing them and a view on the change itself (VC). Our conceptual model consists of the defining core components, supplemented with the extrinsic elements that influence reflection.

CONCLUSIONS:

This article presents a new theory-informed, five-component definition and model of reflection. We believe these have advantages over previous models in terms of helping to guide the further study, learning, assessment and teaching of reflection.

PMID:
 
25413911
 
DOI:
 
10.1111/medu.12583


흙탕물 속에서의 고뇌: 의학교육의 국제화 시대의 성찰적 실천의 문제(Acad Med, 2016)

Troubling Muddy Waters: Problematizing Reflective Practice in Global Medical Education

Thirusha Naidu, PhD, and Arno K. Kumagai, MD





맥도널드는 인도가 빅맥과 사랑에 빠지기를 원했다. 소가 신성하다고 여겨지는 인도에도 패스트푸드 체인점이 도입되었을 때 맥도널드는 쇠고기에 기반을 둔 빅맥을 양고기나 감자로 만든 버거로 대체했다.

McDonald’s wanted India to fall in love with the Big Mac. When the fast-food chain was introduced to India, a country where cows are considered sacred, McDonald’s replaced the beef-based Big Mac with burgers made of mutton or potatoes.


이러한 인도 시장 진출은 맥도널드가 서구식 방법과 현지 상황에 대한 선호도를 의식적으로 적용하고 현지 식품 제조업체 및 사업가들과의 집중적인 협력으로 인해 성공적인 노력이었습니다. 여기서의 교훈은 맥도널드가 채택하는 두가지 전략이다. 첫째, 국내 시장에 대한 전문가 자문과 둘째, 가장 상징적인 제품을 포함하여 맥도널드의 제품을 재평가하는 융통성.

This expansion into the Indian market was a successful endeavor because of the conscious adaptation by McDonald’s of Western methods and preferences into the local context and the company’s intensive collaboration with local food manufacturers and businesspersons. The lesson here is in the twofold strategy adopted by McDonald’s: first, consulting experts on the local market and, second, demonstrating a flexibility of thought in reenvisioning its products, including its most iconic product in mutton or potato options.


성찰의 명확화와 성찰적 실천

Clarifying Reflection and Reflective Practice


성찰적 실천은 [자신의 수행능력을 향상시키기 위해 자신의 생각과 행동에 대해 생각하고, 그들의 개인적인 기능을 평가하는 것]이라는 이해는 명확하다. 그러나 성찰적 실천의 개념은 불투명하다. 성찰적 실천이 무엇이며 어떻게 촉진되고 가르쳐져야 하는지에 대한 명확한 정의나 합의가 없다.4-7 이러한 불명확성도 구체적인 실천 가이드라인을 권고하기 어려움에도 불구하고 퍼저나가는 성찰을 억압하지 못했다.

there is an apparent understanding that reflective practice involves practitioners thinking about their own thinking and doing and evaluating their personal functioning in order to improve their performance.3–5 However, the concept of reflective practice itself remains murky. There is no clear definition or consensus on what reflective practice entails and how it should be fostered and taught.4–7 Of concern is that this lack of characterization has not suppressed the tendency to promote reflection despite the difficulty of recommending guidelines for its practice.7


게다가, 성찰와 성찰적 실천은 일반적으로 의료 교육에서 상호 교환적으로 사용된다.

Moreover, it appears that the terms reflection and reflective practice are generally used interchangeably in medical education.


반대로 교육, 심리학, 인류학과 같은 학문은 성찰적 실천이 성찰과 비판적 성찰을 포괄한다고 본다.

Conversely, disciplines such as education, psychology, and anthropology view reflective practice as encompassing reflection and critical reflection,8


성찰: 일반적으로 성과를 개선하기 위한 목적으로 행동 중 또는 이후에 대한 자신의 행동에 대해 생각하는 것

• 비판적 성찰: 개인의 정체성, 사회적 맥락 및 reflexivity을 연결하는 방식으로 생각하는 것.

• reflection: thinking about one’s actions during or after the action, usually with the purpose of improving one’s performance; and

• critical reflection: thinking in ways that connect individual identity, social context, and reflexivity.


Reflexivity는 자기반성, 상호성찰, 상호협력, 사회적 비평에 참여하는 행위자practitioner를 말하며, 당연하게 받아들였던 믿음과 가정을 비판적 시각으로 보아야 한다. 9,10

Reflexivity involves the practitioner engaging in introspection, intersubjective reflection, mutual collaboration, and social critique, as well as placing taken-for-granted beliefs and assumptions under a critical lens.9,10


수출된 성찰적 실천의 함의 

Implications of Exporting Reflective Practice


대부분의 학문 분야와 마찬가지로, 의학 및 의학 교육 분야에서 다뤄지는 성찰적 실천도 서양의 이론적 관점이 우위를 차지하고 있습니다. 서양 밖에서는, 성찰적 실천은 (시간이 필요하기 때문에) 사치라고 여겨지기도 한다. 특히 자원이 제한되어 있고 자원과 질병 부담에 대한 수요가 매우 높은 개발도상국에서 성찰적 실천이란 달성하기 힘든elusive commodity입니다. 그러한 곳에서는, 의료 전문가들이 성찰할 시간이 너무 부족하다고 주장한다 한들 "먹히지" 않는다.11

As in most scholarly fields, Western theoretical perspectives dominate the literature in the area of reflective practice in medicine and medical education. Outside the West, reflective practice may be seen as an extravagance because it requires time—an especially elusive commodity in developing countries where resources are limited and both demands for resources and disease burden are very high. In such settings, it is not unheard of for health care professionals to declare that there is too little time for reflection.11


역량 기반 접근법이 생물 의학 및 임상 과학에서 학습하는 데 적합할 수 있지만, 의학의 인문학적 측면을 학습하는 데 적용할 때 부적절하다는 비판을 받아왔다. 그럼에도 불구하고, 의학교육에 성찰이 필요하다는 요구는 종종 인지적, 자기성찰적, 개인적 활동의 측면에서 성찰의 개념을 형성한다. 자기 규제, 자기 평가, 자기 주도 학습 및 자기 지식이 반영의 핵심으로 제시된다. 이 세계관에는 독립성, 자급자족, 자기-비판의 이념이 내재되어 있다.

Although a competency-based approach may be appropriate for learning in the biomedical and clinical sciences, it has been criticized as inappropriate when applied to learning the humanistic aspects of medicine.12,13 Nonetheless, calls for reflection in medical education often frame the concept of reflection in terms of a cognitive, introspective, individual activity. 5 Self-regulation, self-assessment, self-directed learning, and self-knowledge are presented as central to reflection.6,14,15 Implicit in this worldview is an ideology of independence, self-sufficiency, and self-critique.


그러나 이러한 특성이 서양에 기반을 둔 의학교육이 협력적 성찰적실천을 무시한다는 것을 의미하지는 않는다. 웨어등이 지적하듯이, 성찰적 실천에 있서 변혁적transformative 행동을 강조하는 것은 성찰적 실천을 개개인의 행동에서 벗어나 사회적 활동이 될 필요성을 의미하며, 이는 시선을 내면적 사고와 인식에서 다른 사람, 더 나아가 세상을 향해 옮김을 뜻한다. 이러한 견해는 상호 인식, 대화, 사회적 맥락을 인간 상호작용의 기초로 강조하는 서구의 풍부한 전통과 일치한다. 

This does not, however, imply that Western-based medical education ignores collaborative reflective practices. As Wear and colleagues18 and others13,19–21 point out, an emphasis on transformative action in reflective practice shifts reflective practice from a solitary act to a social act in which one’s gaze shifts from inward contemplation and awareness toward others and out into the world. These views are in line with a rich tradition in the West that emphasizes mutual recognition, dialogue, and social context as the basis of human interaction. 


그러나, 성찰의 공식적 요구에 의해서 '수출된 성찰'은 종종 상호 작용적, 사회적 차원이 부족한 것처럼 보인다.

Yet, framed by official calls for reflection, reflection-for-export often appears to lack the interactional, social dimension of working


이러한 견해를 가장 잘 뒷받침하는 것은 아마도 의학 교육의 많은 문헌이 introspective한 학습에 초점을 두는 [학습의 성찰적 사이클]을 언급한다는 증거이다. 의학 교육 문헌을 살펴보면, 임상 교육 및 학습의 맥락에서 사회적 또는 협력적 성찰을 이론적으로 적용한 것을 찾아보기 힘들다.

This view is perhaps best supported by evidence that much of the literature in medical education makes reference to the reflective cycle of learning, which focuses on introspective learning.3,5,6,14 There is little in the medical education literature that looks at the theoretical application of social or collaborative reflection in the contexts of clinical teaching and learning.


문제는 이러한 (서구의) 관점이 적절하고 타당하며 바람직한 행동에 대한 비서양적 관점과 항상 resonant 하는것은 아니라는 점이다. 서구의 실천과 이론을 바탕으로 트레이닝 받은 비서양 의료전문가가 자신의 로컬 환경에서 의료행위를 할 때 어려움이 발생할 수 있다. 

The issue is that this view is not always resonant with non-Western views of appropriate, valid, and desirable behavior. Difficulties can arise when non-Western health care practitioners trained in Western practices and theories are practicing in their local contexts. 


서양에서는 각각의 환자가 의사들의 관심의 초점이다. 반대로, 남아프리카와 같은 다른 사회에서는, 민족 집단과 공동체가 환자와 함께 진료에 관여한다. 이러한 맥락에서 의사는 또 다른 유형의 성찰적 실천을 개발해야 한다. 관계 구축, 전통 및 의식ritual에 초점을 맞추는 협력적 성찰적 실천이 개인주의적이고 실증주의적이고 "객관적인" 접근방식을 대신해야 한다.

Whereas one might argue that the individual patient is the focus of the practitioner’s attention in the West, in other societies, such as that of South Africa, the ethnic group and community are fully present in the consultation room along with the patient. Practitioners must develop another type of reflective practice in this context. A collaborative reflective practice that focuses on relationship building, tradition, and ritual must emerge in place of an individualistic, positivist, “objective” approach.


바쁜 임상 환경에서 이러한 종류의 성찰적 실천을 해내려면, 헌신적인 전문직의 헌신이 필요하며, 그러한 임상접근법이 장기적으로 더 도움이 된다는 것을 인정해야 한다. 종종 서양의학에서는 임상의사가 권력을 공유하지만 동시에 환자와 적극적으로 교류할 수 있는 공간이 부족하며, 이것이 바로 환자-관계-중심적 의료가 요구되는 핵심이다.30

Addressing the challenge of accommodating this kind of reflective practice in busy clinical settings would require commitment from dedicated professionals and acknowledgment of the long-term benefits of such an approach to practice. The space in which the clinician may share power and yet continue to actively engage with the client is often lacking in Western medicine and lies at the very core of calls for patient-relationship-centered care.30


서구 의학에서 환자중심 의료의 도입은 건강과 질병의 종교적, 문화적, 정신적, 맥락적 측면을 환자-의사 상호작용에서 강조할 수 있는 가능성을 보여주었다. 서양 밖에서의 의료행위를 보면, 전통적 의료 종사자들은 환자들과 그들의 건강과 질병을 관리하기 위해 환자와 협력할 때, 인간 경험의 이러한 측면의 영향을 일상적이고 능동적이며 의식적으로 인정해왔다.

The introduction of patient-centered practice in Western medicine has presented the potential for religious, cultural, spiritual, and contextual aspects of health and illness to be highlighted in patient–physician interactions. Outside Western-based practice, traditional health practitioners have routinely, actively, and consciously acknowledged the influences of these aspects of human experience in collaborating with patients in managing their health and illness.


어떤 의미에서 이러한 유형의 협력은 단순히 환자와 의사 사이의 힘과 책임의 균형을 맞추는 것이 아니다. 이러한 협력을 실천하는 것은 [양측에 대한 직접적 또는 즉각적인 영향력을 넘어서는] 사회적, 정신적, 문화적 역학을 다루고 있다. 예를 들어, 꿈의 해석, 명상, 그리고 영혼의 의사소통은 합법적이고 널리 받아들여진 전통적 의료행위에 사용되는 [공동체적이자 협력적인 성찰]의 형태이며, 많은 non-Western 맥락에서, 사람들은 일상적으로 서양식 의사와 전통적인 의료인 모두와 상의한다.

This type of collaboration, in a sense, does not merely balance power and responsibility between the patient and the physician; it also engages social, spiritual, and cultural dynamics that may be beyond the direct or immediate influence of both parties. For example, dream interpretation, meditation, and spirit communication are legitimate and widely accepted forms of communal and collaborative reflection used in traditional health practice, and people in many non-Western contexts routinely consult both Western-trained and traditional health practitioners.


환자의 진단이나 치료에서 꿈이나 직관과 같은 것을 사용하는 것을 고려한다면, 서양의 맥락에서 협력적 성찰적 실천을 적용하는 것은 금기시되는 것일 수 있다.

considering and applying collaborative reflective practices may be taboo in Western contexts, such as dreams or intuitions about patients’ diagnoses or treatment?


글로벌 의학교육의 시대에 성찰적 실천에 대해 서구가 갖는 우세함

Western Dominance in Reflective Practice in Global Medical Education


서양의학전문가들은 비서양 의과대학이 성찰적 실천을 권장하지 않는다고 생각하는 경향이 있다.32 또한 서양인이 아닌 학생들이 교사들에게 질문하도록 권장되지 않는다는 것은 흔한 오해이다. 오히려, 그들은 일반적으로 이론을 먼저 배우고 난 뒤에 질문할 것으로 기대된다.

There is a tendency among Western observers to assume that non-Western medical schools do not encourage reflective practice.32 It is also a common misconception that non-Western students are not encouraged to question their teachers. Rather, they are generally expected to learn the theory first and then question.


아시아와 아프리카와 같은 비서양적 맥락에서, 학생들이 침묵을 지키는 것 처럼 보이는 이유는 시간과 일을 거쳐야만이 질문할 권리가 얻어진다는 믿음을 반영할 수 있다. 이는 교사들이 존재하는 지식 기반을 가지고 있다는 것을 인정하는 대체적인 관점이다.

In non-Western contexts, such as Asia and Africa, the apparent acquiescence of students may reflect a belief that the right to question is earned through time and work in the profession, an alternate view recognizing that teachers have an existing base of knowledge and experience.


의학교육의 성찰적 실천이 수출되려면 비서양적 상황에서 성찰적 실천이 어떻게 이루어지는지를 이해하기 위해 열린 사고를 가진 접근방식을 채택해야 한다. 예를 들어, 많은 집단주의적 문화에서, 의사들은 환자 관리 및 관리에 대한 결정을 내리기 위해 환자의 구두 의사소통 외에 암묵적, 비언어적, 상황적 정보를 광범위하게 사용한다.

If reflective practice in medical education is to be exported, it is essential to adopt an open-minded approach to understanding how reflective practice happens in non-Western contexts. For example, practitioners in many collectivist cultures make extensive use of tacit, nonverbal, and contextual information in addition to patients’ verbal communication to make decisions on patient care and management.8,35


일부 사회에서, 치유자는 환자 평가assessment에 비언어적 단서 및 가족 배경에 대한 인식을 포함해야 하며, 미리 무언가를 묻지 않고서도 새로운 환자에 대한 광범위한 지식을 보유해야 한다. 아프리카의 전통적인 건강 관행에 따르면, 치유자가 환자에게 어떤 문제에 대해 이야기할 때, 위법 행위에 대한 처벌이나 책임의 소홀에 대한 조상들의 메시지로 전달하기도 한다. 환자는 이러한 설명을 듣고 고개를 끄덕이며, 치유자가 조상들의 영혼으로부터 전해주는 메시지를 받아들인다.

In some societies, the healer is expected not only to include perceptions of nonverbal cues and family background in patient assessments but also to possess extensive knowledge about new patients without prior questioning. In African traditional health practice, the healer tells the patient about the problem, conveying it as a message from the ancestors for a putative transgression or the neglect of responsibilities. The patient listens and nods, accepting the message the healer conveys from the ancestral spirits.


실제로, 성찰적 실천의 한 가지 목적이 의료행위에 미치는 맥락적 요인의 영향을 이해하는 것이라고 했을 때, 서양 의학 교육에서 [성찰적 실천에 대한 문화의 영향]이 종종 간과된다는 점은 아이러니하다. 이것에 대한 가능한 설명은 의학 교육자들이 어떻게 문화가 인식conceived되고 교육되는지를 조사하기 위해 의학 교육 외 분야의 문헌을 보지 않는다는 것이다.29

Indeed, it is ironic that the influence of culture in reflective practice has not often been explored in Western medical education, considering that one purpose of reflective practice is to understand the impact of contextual factors on the practice of medicine. A possible explanation for this oversight is that medical educators do not habitually look outside the medical education literature to examine how culture is conceived and taught.29


이는 성찰적 실천에 대해서도 마찬가지인데, 서양 밖에서 이것이 어떻게 이뤄지는지에 대해서 그 실천방식과 형태는 거의 연구된 바 없다. 이것은 부분적으로 권력power의 문제에서 기인한다. Introspection이나 단순 성찰에 대한 강조(즉, 상담이나 협력하는 대신 스스로 자신의 성과를 평가하는 것)는 서양의학에서 말하는 의사의 전문적 자아 정체성과 권력power에 해당한다.

The same is true for reflective practice, the practices and forms of which have not been explored outside the West in the medical literature. This is partly attributable to issues of power. The emphasis on introspection or simple reflection (i.e., evaluating one’s own performance instead of consulting or collaborating) corresponds with doctors’ professional self-identity and power inWestern medicine


기초과학과 임상과학에 기반을 두는 의학교육은 과학자로서의 정체성을 촉진하고, 과학적 지식에 기반을 둔 힘을 키워준다.37 단순 성찰을 장려하는 것은 의사들이 실수나 문제를 다른 사람에게 의지하지 않고 다룰 수 있다는 것을 의미한다. 이러한 관점이 의미하는 것은 의학교육은 [practitioner에게 스스로의 행동방식을 비교적 자율적으로 개선할 수 있도록] 지식, 기술 및 통찰력을 제공한다는 것이다.

Medical training anchored in basic and clinical sciences promotes the identity of physicians as scientists and fosters power rooted in scientific knowledge.37 Encouraging simple reflection suggests that physicians can address mistakes or problems independently. The implication of this view is that medical training provides practitioners with the knowledge, skills, and insight to improve their practice relatively autonomously.


이 모든 것이 한 방법이 다른 것보다 우월하다고 말하는 것은 아니다. 오히려, 두 가지 접근법은 서로 다르며 문화적 맥락에서 상대적인 중요성과 가치를 가지고 있다. 무엇보다, [문화, 권력, 차이]의 역할은 독립적인 반성과 개인의 자율성을 강조하는 서구의 접근방식에서 간과된다. 

All of this is not to say that one approach is superior to the other. Rather, the two approaches are different and have relative significance and value in different cultural contexts. Further, the roles of culture, power, and difference are overlooked in Western approaches that emphasize solitary reflection and individual autonomy. 


이것은 문화적 역량의 교육과도 관련이 있다. 많은 저자들은 문화적 역량이 가난, 편견, 권력 이탈, 억압 등과 같은 맥락의 문제를 고려하지 않고 소외된 문화 집단의 특색이나 특질에 초점을 맞춘다고 지적해왔다. 좀 더 효과적인 관점은 문화적 역량을 "커뮤니케이션 능력"이나 "Tolerance의 칭송"으로 제한하는 것이 아니라, 특권, 권력 그리고 불평등의 토대에 대한 토론으로 전환하는 것이다.

This relates to the teaching of cultural competency. Many authors have critiqued cultural competency as focusing on the idiosyncrasies of marginalized cultural groups without consideration of issues of context, such as poverty, prejudice, disempowerment, and oppression.15,29,31,38,39 A more effective perspective would not limit itself to “communicative competence” or the “celebration of tolerance” but, rather, would shift the discussion to privilege, power, and the foundations of inequalities.18,29


세계화된 세계에서, 성찰적 실천은 "글로컬리즘"을 인정해야 한다. 현재의 관점은 서구적인 성찰적 실천의 관점을 선호하는 경향이 있지만, 이것이 개발도상국의 의학교육에 수출되는 것은 본질적으로 신제국주의로 인식될 수 있다"글로컬glocal" 접근법은 신식민주의적 글로벌 노력과 로컬 환경 사이의 상충적 관계를 초월하는 퓨전을 나타낼 수 있다.42 맥도널드의 예로 돌아가보면, 맥도널드가 인도에 진입할 때 효과적으로 적용되었던 "지구적 사고, 현지적 행동"이라는 격언은 국내와 세계의 효과적인 합병을 보여준다. 이처럼 성찰적 실천과 같은 아이디어나 접근방식을 "번역" 또는 재개념화하는 것이, 이러한 아이디어와 관행을 현지에서 지속 가능한 방식으로 현실화하는 데 매우 중요할 것이다. Henderson43은 다음과 같이 주장한다.

In a globalized world, reflective practice requires an acknowledgment of “glocalism.” Whereas a current perspective tends to favor a Western-dominated view of reflective practice— which, if imposed on medical education in developing countries, may be perceived as essentially neoimperialist—a “glocal” approach may represent a fusion which transcends an oppositional relationship between neocolonial global efforts and the local environment.42 To return to the McDonald’s example, the adage “think global, act local” that was effectively applied to McDonald’s entry into India1 illustrates the effective merging of the local and the global. The idea of “translating” or reconceptualizing ideas or approaches, such reflective practice, is critical to actualizing those ideas and practices in a locally sustainable manner. As Henderson43 asserts:


지금까지, 국제 의학 교육에 있어서 많은 시도에서, 우리는 [과학의 보편성을 받아들이는 것]이 [의학 교육에도 보편성이 존재한다]고 가정하며, 단순하고 치명적인 비약을 해왔다.

To date, in many of our initiatives in international medical education, we have taken a simplistic, fatal leap of faith from acceptance of the universality of science to presumption of the universality of medical education.


다시 말해서, 의료 교육 전략은 구체적이고 보편적으로 유효한 역량과 진실이 있다는 가정 하에 서구 대학에서 만들어진 것을 그대로 전 세계로 수출해서는 안 된다. 이러한 전략은 상황에 따라 구체적이고 지역적 관행의 heat and dust 속에서 확인된 목적에 적합해야 한다.

In other words, medical education strategies should not be created in Western universities and exported worldwide under the assumption that there are specific, universally valid competencies and truths. These strategies must be context specific and fit the purposes identified in the heat and dust of local practices.



비판적 성찰과 성찰

In Conclusion: Critical Reflections on Reflection


Bleakley와 동료 32명은 의학 교육 전략과 혁신을 전세계로 수출하려는 열성 속에서, 교육자들은 종종 이러한 수출에 수반되는 가정, 가치, 관점에 대한 비판적 시각을 갖지 못하고 있다고 주장하며, 포스트 식민주의 이론을 적용했다.

Bleakley and colleagues32 applied postcolonialist theory to argue that in the zeal to export medical education strategies and innovations to a global audience, educators often fail to turn a critical lens on the assumptions, values, and perspectives that accompany this exportation.


성찰적 실천에 대해, 의학교육에서의 성찰은 개인적이고 비협력적이고 도구적인 방향으로 제한되어왔다는 가정이 있다.

in the area of reflective practice, the assumption there is a circumscribed orientation to reflection in medical education that tends toward an individual, noncollaborative, instrumentalist orientation


정의를 확정하기 위한 노력을 제한하는 대신에, 세계적인 맥락에서 성찰의 타당성과 실제 관행을 완전히 탐구하기 위해 선입견을 내려놓아야 할 것이다. 의료 교육의 글로벌화는 그 자체에 대한 비판적 반성을 요구한다.

Instead of confining efforts to nail down definitions, it may be productive to disturb preconceived assumptions to fully explore the relevance and actual practice of reflection in global contexts.5,13,42 Globalization of medical education demands critical reflection on reflection itself.




7 Aronson L, Niehaus B, Hill-Sakurai L, Lai C, O’Sullivan PS. A comparison of two methods of teaching reflective ability in year 3 medical students. Med Educ. 2012;46:807–814.


13 Kumagai AK. From competencies to human interests: Ways of knowing and understanding in medical education. Acad Med. 2014;89:978–983.



 2016 Mar;91(3):317-21. doi: 10.1097/ACM.0000000000001019.

Troubling Muddy WatersProblematizing Reflective Practice in Global Medical Education.

Author information

1
T. Naidu is lecturer, Department of Behavioral Medicine, Nelson R. Mandela School of Medicine, University of KwaZulu-Natal, and head of clinical psychology, King Dinuzulu Hospital Complex, Durban, South Africa. A.K. Kumagai is professor of internal medicine and medicaleducation and director, Family-Centered Experience Program and Longitudinal Case Studies Program, University of Michigan MedicalSchool, Ann Arbor, Michigan.

Abstract

The idea of exporting the concept of reflective practice for a global medical education audience is growing. However, the uncritical export and adoption of Western concepts of reflection may be inappropriate in non-Western societies. The emphasis in Western medical education on the use of reflection for a specific end--that is, the improvement of individual clinical practice--tends to ignore the range of reflective practice, concentrating on reflection alone while overlooking critical reflection and reflexivity. This Perspective places the concept of reflective practiceunder a critical lens to explore a broader view for its application in medical education outside the West. The authors suggest that ideas about reflection in medicine and medical education may not be as easily transferable from Western to non-Western contexts as concepts from biomedical science are. The authors pose the question, When "exporting" Western medical education strategies and principles, how often do Western-trained educators authentically open up to the possibility that there are alternative ways of seeing and knowing that may be valuable in educating Western physicians? One answer lies in the assertion that educators should aspire to turn exportation of educational theory into a truly bidirectional, collaborative exchange in which culturally conscious views of reflective practice contribute to humanistic, equitable patient care. This discussion engages in troubling the already-muddy waters of reflective practice by exploring the global applicability of reflective practice as it is currently applied in medical education. The globalization of medical education demands critical reflection on reflection itself.

PMID:
 
26630601
 
DOI:
 
10.1097/ACM.0000000000001019


학부의학교육환경평가에 DREEM 적용 및 상관관계 (Med Teach, 2018)

Adoption and correlates of the Dundee Ready Educational Environment Measure (DREEM) in the evaluation of undergraduate learning environments – a systematic review

Christopher Yi Wen Chana, Min Yi Sumb, Giles Ming Yee Tanc, Phern-Chern Tord and Kang Sime




도입

Introduction


보다 개인화되고 학습 중심적인 학부 교육에 대한 관심이 깊어지고 있다(McLean and Gibbs 2009; Barr et al. 2017). 학습자의 교육환경 인식은 학습 접근방식(Delva et al. 2004)과 관련이 있으며, 위협적이고 적대적인 교육 환경은 공감을 약화시키는 데 기여할 수 있는 것으로 밝혀졌다(호자트 등 2009). 의과대학원 교육인증위원회(ACGME)는 최근 "환자진료의 안전하고 높은 품질을 달성하기 위해" 임상학습 환경 검토(CLER)를 도입했다.

there has been deepening interest and focus on more individualized and learner centric undergraduate education (McLean and Gibbs 2009; Barr et al. 2017). It has been found that the perception of training environment by learners is associated with the approach to learning (Delva et al. 2004) and an intimidating and hostile educational environment can contribute towards an erosion of empathy (Hojat et al. 2009). Within postgraduate medical education, the Accreditation Council for Graduate Medical Education (ACGME) has recently introduced the Clinical Learning Environment Review (CLER) which was designed to optimize the clinical learning environment “to achieve safe and high quality of patient care” (ACGME 2014).


정량적 접근법을 사용하여 학부 학습 환경을 측정하는 것은 여러 가지 이점을 제공합니다. 

  • 첫째, 교육 환경의 상태에 대한 개요를 제공하고 여러 연구 간에 비교할 수 있도록 합니다. 

  • 둘째, 정량적 항목별 점수는 학습 환경의 특정 구성 요소에 대한 정보를 제공할 수 있으며, 문제 영역을 다룰 수 있는 가능한 방법을 제안한다. 

  • 셋째, 점수를 종단적으로 모니터링하여 특정 개입이 원하는 효과를 달성했는지 확인할 수 있습니다.

Measuring the undergraduate learning environment using a quantitative approach has several advantages. 

  • First, the results provide an overview of the state of the educational environment and allow for comparisons across different studies. 

  • Second, quantitative subscale scores can the provide information about specific components of learning environment and suggest possible ways to address problem areas. 

  • Third, these scores can be monitored over time to determine if specific interventions have achieved its desired effect.


DREEM 점수를 해석하기 위한 실무 지침(McAleer 및 Roff 2001)이 제공되었으며, 

A practical guide (McAleer and Roff 2001) was provided for the interpretation of DREEM scores, which suggested that scores of 

  • between 0 and 50 should be interpreted as “very poor”,

  • 51–100 as “plenty of problems”, 

  • 101–150 as “more positive than negative”, and 

  • 151–200 as “excellent”. 


DREEM은 처음에 표준화된 채점 도구를 사용하여 프로그램의 학습 환경을 진단하기 위해 개발되었으며, 따라서 서로 다른 프로그램 간에 비교가 가능하다. 개시 이후, 현재 DREEM을 실행하는 수많은 연구가 있다(Colbert-Getz et al. 2014).

The DREEM was initially developed to diagnose a program's learning environment using a standardized scoring instrument, thus enabling comparisons to be made across different programs. Sinceits inception, there are now a large number of studies uti-lizing the DREEM (Colbert-Getz et al. 2014)


최근 연구는 회복탄력성, 연구 훈련에 대한 태도, 삶의 질, 스트레스 수준 등과 같은 여러 학습자 요소와의 연관성을 발견했다(Yamada et al. 2014; Tempski et al. 2015; Maendran et al 2015).

Recent studies concurrently found different associations with learner factors such as resilience, attitudes towards discipline of study, quality of life, and stress levels (Yamada et al. 2014; Tempski et al. 2015; Mahendran et al. 2015).


Soemantri et al. (2010)의 리뷰에서 BME에 사용가능한 12개의 학습 환경 검사도구가 있었다. 이러한 도구들 중에서, DREEM은 여러 나라, 문화, 그리고 환경에 걸쳐 지속적으로 신뢰할 수 있는 것으로 밝혀졌고, 따라서 DREEM이 학부 의대 등에서의 교육 환경을 측정하는 데 가장 적합한 도구라고 결론지었다. Colbert-Getz et al. (2014)은 다섯 가지 타당성 증거를 활용하여 학습 환경을 측정하기 위한 기존 계기에 대한 종합적인 검토를 수행했고 대부분의 도구(61%)가 일부 내용타당성 증거를 제공했다는 것을 발견했다. DREEM은 다른 툴에 비해 낮은 타당성 증거 점수를 가지고 있지만, 많은 연구에서 광범위하게 사용됨에 따라 연구 전반을 통한 비교를 위해 추가적인 사용을 장려할 가능성이 높다는 점에 주목하였다(Colbert-Getz et al. 2014).

In the review by Soemantri et al. (2010), 12 learning environment instruments were identified for undergraduate medical education. Of these instruments, the DREEM was found to be consistently reliable across different countries, cultures, and settings and it was thus concluded that the DREEM was the most suitable tool for measuring the educational environment in undergraduate medical education (Soemantri et al. 2010). Colbert-Getz et al. (2014) performed a comprehensive review of existing instruments for measuring learning environments utilizing five sources of validity evidence and found that the majority of the tools (61%) provided some validity content evidence. It was noted that although the DREEM had a lower validity evidence score compared with other tools, its widespread use in many studies likely encouraged its further use so that comparisons could be made across studies (Colbert-Getz et al. 2014).


방법

Methods



결과

Results


Supplemental Table 1 summarizes the main characteristics of the studies


인구통계학적 요인

Demographic features


지리적 관점에서 보면, 연구 중 51.9%(N1⁄455)는 아시아에서 비롯되었으며, 그 뒤를 유럽 24.5%(N1⁄4426), 오세아니아 10.4%(N1⁄411), 북미 5.7%, 남미 4.7% 였다. 아시아의 55개 연구 중, 사우디 아라비아, 이란, 쿠웨이트를 포함한 22개의 중동지역 연구들이 있었다.

In terms of geography, 51.9% (N¼55) of the studies originated from Asia, followed by 24.5% (N¼26) from Europe, 10.4% (N¼11) from Oceania, 5.7% (N¼6) from North America, 4.7% from South America (N¼5), and 2.8% (N¼3) from Africa. Out of the 55 studies from Asia, 22 studies were from Near or Middle East including Saudi Arabia, Iran, and Kuwait.


학년 비교, 교수-학생 비교, 전공 비교

Comparisons across training years, learner/teacher pairs, curriculum, and disciplines


의료, 치과, 간호 및 기타 분야와 관련된 연구에서 저학년 학생들은 고학년 학생에 비해 DREEM에서 더 높은 점수를 받는 경향이 있었다.

juniors tended to score higher on DREEM compared with their seniors (13 of 20 studies, 65.0%) across studies involving medical (Abraham et al. 2008; Demiroren et al. 2008; Kossioni et al. 2012; Dehghani et al. 2013; Pai et al. 2014; Pales et al. 2015; Patil and Chaudhari 2016), dental (Thomas et al. 2009; Doshi et al. 2014), nursing (Mohd Said et al. 2009; Hamid et al. 2013), and other disciplines (Ousey et al. 2014).


직원과 학생의 인식을 비교한 네 가지 연구에서 총 DREEM 점수에는 큰 차이가 없었다. 그러나 하위 도메인 점수가 널리 알려졌을 때, 교사들은 가르치는 것과 배우는 것에 대한 인식을 학생들보다 더 높게 평가하는 경향이 있었다.

In all four studies which compared staff and student perceptions, there was no significant difference in total DREEM scores. However when subdomain scores were perused, teachers tended to score perception of teaching and learning higher than students.


시스템 기반 학습(Finn et al. 2014), 문제 기반 학습(Bouhaigned et al. and 2009), 통합 커리큘럼(Shenaz)과 관련된 프로그램에서 점수가 더 높았다.

Higher DREEM scores were programs associated with that utilized a more modern curriculum, which included systems based learning (Finn et al. 2014), problem based learning (Bouhaimed et al. and 2009), an integrated curriculum (Shehnaz and Sreedharan 2011).


DREEM 점수를 보고한 98개 연구 중 대다수 연구(79개 연구, 80.6%)는 "부정점보다 긍정적이다"(즉, 최대 101~150점)의 범위 내에서 평균 총 DREEM 점수를 보고했다.

Of the 98 studies which reported DREEM scores, the majority of studies (79 studies, 80.6%) reported a mean total DREEM score within the range of “more positive than negative” (i.e. 101–150 out of maximum 200 points).


의과 대학생에 대한 70개의 연구 중, 7개의 연구는 51에서 100점 사이의 많은 문제에서 평균 전체 DREEM 점수를 보고했고, 3개의 연구에서는 151에서 200까지의 우수한 범위에서 전체 DREEM 평균 점수를 관찰했다.

Out of the 70 studies on medical undergraduate students, seven studies reported a mean overall DREEM score in the plenty of problems range from 51 to 100 points while three studies observed an overall DREEM mean score in the excellent range from 151 to 200 points


낮은 DREEM 점수(<100)와 관련된 요인으로는 전통적인 커리큘럼(AlFaris et al. 2014; Kim et al. 2016), Seniority, 권위적 교수 등이 있었다.

Factors associated with less satisfactory total DREEM scores (<100) included traditional curriculum (AlFaris et al. 2014; Kim et al. 2016), seniority (Hasan and Gupta 2013; Andalib et al. 2015; Belayachi et al. 2015) teachers being perceived as authoritarian (Hasan and Gupta 2013)


요약하자면, 새로운 커리큘럼을 가진 프로그램 내에서 중학생과 학습자들은 DREEM보다 더 높은 점수를 받는 경향이 있었다. 학문 간 학습 환경을 비교하는 연구 부족(2.8%)이 있다.

In summary, junior undergraduates and learners within programs with newer curriculum tended to score higher on DREEM. Despite the diversity of courses sampled, the majority of undergraduate students rated their overall learning environment within the range of “more positive than negative”. There is a paucity of studies (2.8%) comparing learning environment across disciplines.


다른 학습요인과의 관계

Correlations with learner factors


낮은 학업 성취도는 낮은 DREEM 점수(Mayya and Roff 2004, Khursheed and Baig 2014; Sarwar and Tarique 2016)와 관련이 있었다.

low academic achievement was associated with lower DREEM scores (Mayya and Roff 2004; Khursheed and Baig 2014; Sarwar and Tarique 2016)


QOL은 나이, 성별, 연수에 관계없이 교육 환경에 대한 인식과 긍정적인 상관관계가 있었습니다.

QOL was positively correlated with perception of educational environment independent of age, gender, and years of training


정신과에 대한 긍정적 태도(Maendran et al. 2015)과 Mindfulness(Xu et al. 2016)는 교육 환경에 대한 인식과 긍정적인 상관관계가 있었다.

Positive attitudes towards psychiatry among medical students (Mahendran et al. 2015) and mindfulness (Xu et al. 2016) were also positively correlated with the perception of the educational environment.


심리적 스트레스와 열악한 동료 서포트는 DREEM의 열악한 학문적 자기 인식과 관련이 있었다(Yamada et al. 2014).

Psychological distress and poor peer support were correlated with poor academic self-perception in DREEM (Yamada et al. 2014).


종단적 연구

Longitudinal studies


예상과 실제 DREEM 점수 간의 차이를 조사한 5개 연구 내에서, 학생들은 교육 환경에 대한 높은 기대를 가지고 있는 것으로 밝혀졌다.

Within the five studies which investigated differences between expected and actual DREEM scores, it was found that students had high expectations of their educational environment.


강 교수(2015년) 등은 교육 환경에 대한 인식이 높은 학생들이 실제로 더 긍정적인 경험을 한다는 것을 발견했다. 선더스 외(2014년)는 원래 문제를 인지하지 못한 학생들이 나중에 특정 조사 영역으로 문제를 보고한 영역을 식별했다. 이것은 학생들이 그들의 교육 환경에서 더 많은 것을 기대할 수 있으며, 그들의 학습 환경을 더 잘 향상시키기 위해 그들의 피드백을 기꺼이 제공할 것임을 암시한다. 3가지 종단적 연구는 전반적으로 시간이 지남에 따라 DREEM 점수가 동일하거나 개선되었다(O'Brien et al. 2008; Palmgren et al. 2015;Xu et al. 16).

Kang et al. (2015) found that students with better perception of their educational environment had more positive actual experiences. Sundus et al. (2014) identified areas in which students who did not originally perceive problems later reported problems as specific areas of investigation. This suggests that students may expect more from their educational environment and were willing to proffer their feedback to better enhance their learning environments. The three longitudinal studies either found that the overall DREEM scores generally maintained the same or improved over time (O'Brien et al. 2008; Palmgren et al. 2015;Xu et al. 2016) but subdomain scores varied in that the perception of teachers decreased (Palmgren et al. 2015) while perception of atmosphere increased (O'Brien et al. 2008).


요약하자면, 예상 DREEM 점수와 실제 DREEM 점수를 비교한 연구에서, 학부 학습자들은 교육 환경에 대해 높은 기대를 가졌지만, 종종 실제 경험으로는 충족되지 못했다.

In summary, within studies comparing expected and actual DREEM scores, undergraduate learners held high expectations of their educational environment which were often not met by their actual experiences.



고찰

Discussion


이 논평은 몇 가지 중요한 발견을 했다. 

  • 첫째, 학부 프로그램의 교육 환경을 평가하는 데 주로 사용된 DREEM은 특히 아시아와 유럽에서 전 세계적으로 채택되었으며, 오세아니아, 북미, 남미에서도 채택되었다. (주로 의료, 치과, 간호 프로그램이 모든 연구의 86.8%를 차지함)

  • 둘째, 저학년 학생과 새로운 교과과정이 있는 프로그램의 학생들이 그들의 전반적인 학습 환경을 긍정적으로 평가한다는 맥락에서 DREEM에서 더 높은 점수를 받는 경향이 있었다. 

  • 셋째, 높은 DREEM 점수는 과거의 더 나은 학업 성취, 삶의 질, 회복력, 연구 규제에 대한 긍정적인 태도, 주의력, 실천에 대한 준비성, 심리적 괴로움 감소, 그리고 더 큰 동료 서포트와 관련이 있었다. 

  • 넷째, 예상과 실제 DREEM을 비교하는 연구에서, 대학생들은 그들의 실제 경험에 의해 종종 충족되지 않는 그들의 교육 환경에 대한 더 높은 기대를 가졌다. 하지만, 그들의 교육 환경에 대한 그들의 실제 인식은 여전히 부정적인 범위보다 더 긍정적인 범위 안에 있었다. 

  • 다섯째, 종방향 데이터는 희박했고, 시간이 지남에 따라 선생님들과 분위기에 대한 학생들의 인식이 다양했지만, 전반적인 DREEM 점수는 안정적이거나 개선되는 것으로 나타났다.


This review had several main findings. 

  • First, the DREEM, which was mostly used to evaluate the educational environment of undergraduate programs (mainly medical, dental, nursing programs constituting 86.8% of all studies), had been adopted in studies globally especially in Asia and Europe (76.4% of all studies), but also in Oceania, North and South America. 

  • Second, juniors and learners in programs with newer curriculum tended to score higher on DREEM within the context of the majority of undergraduate students generally rating their overall learning environment positively. 

  • Third, higher DREEM scores were associated with better past academic achievement, quality of life, resilience, positive attitudes towards discipline of study, mindfulness, preparedness for practice, less psychological distress, and greater peer support. 

  • Fourth, in studies comparing expected and actual DREEM, undergraduate students had higher expectations of their educational environment which were often not met by their actual experiences. However, their actual perceptions of their educational environment were still within the more positive than negative range. 

  • Fifth, longitudinal data were sparse and it was found that whilst students’ perceptions of their teachers and atmosphere varied over time, the overall DREEM scores remained stable or improved over time.


학부 의대 교육에는 여러 이해관계자가 있으며, 다양한 관점을 결합하여 이러한 교육 환경에 대한 보다 전체적인 평가를 가능하게 한다(Pinock et al. 2011; Shehnaz et al. 2012).

There are multiple stakeholders in undergraduate medical education, and the combinations of different perspectives enable a more holistic assessment of these educational environments (Pinnock et al. 2011; Shehnaz et al. 2012).


교수진과 학생 간의 교육 환경에 대한 인식 차이에 대해, Miles와 Leinster(2009)는 교수진이 교육 환경의 많은 측면에 대해 일방적으로 확신을 가질 수는 없으며, 따라서 DREEM은 학생의 관점에서 의견을 얻는 좋은 수단이 될 것이라고 했다. 또한 학습자가 제공하는 피드백은 커리큘럼, 교수법, 편의시설, 평가 및 학습 지원을 포함한 교육 프로그램의 개선 영역을 명확히 하기 위한 추가 engagement를 제안할 수 있다(Pinock et al. 2011; AlFar).

With regards to the differences in the perceptions of the educational environment between faculty and students, Miles and Leinster (2009) found that the faculty could be unsure about many aspects of the educational environment unilaterally, and the DREEM is thus a good means of obtaining feedback and enabling faculty to view from the student’s standpoint. In addition, the feedback from the learners could suggest further engagement to elucidate areas for improvement in the training program including curriculum, pedagogy, amenities, assessment and learning support (Pinnock et al. 2011; AlFaris et al. 2014; Finn et al. 2014).


이는 커리큘럼의 변화에 따라 교육 환경에 대한 인식이 개선될 수 있다는 이 검토의 결과와 일치한다(Bouhaigned et al. 2009; Shehnaz 및 Sebedharan 2011). 어떤 의미에서, 대부분의 학부생들이 학습 환경을 일반적으로 긍정적으로 평가했더라도, 학부의학교육의 지속적인 질 향상이 필요하다.

This is in line with findings within this review that perception of the educational environment can be improved with changes in the curriculum (Bouhaimed et al. 2009; Shehnaz and Sreedharan 2011). In a sense, continuous quality improvement in undergraduate medical education is necessary even when most undergraduates (about 80% of studies) generally rated their learning environments more positively than negatively,


보고된 DREEM 점수가 고학년 학생이 저학년 학생보다 낮은 경향이 있기 때문에 시간이 지남에 따라 어떤 일이 발생했는지에 대한 질문은 남는다.

The question remains about what happened over time as reported DREEM score tended to be lower in senior versus junior learners


몇 가지 설명이 가능하다

  • 첫째, 성인 학습 이론에 따르면 학습자는 학습에 참여해야 하며, 경험(실수를 포함)은 학습의 기초를 제공하며, 학습자가 문제에 초점을 맞추고 즉각적 관련성을 발견할 때 학습이 가장 잘 수행된다고 합니다(Knowles 1973) 따라서, 경험적 학습보다 사실적 지식의 학습에 더 중점을 두는 전통적인 커리큘럼을 채택하거나, 교사들이 권위주의적이라고 인식하거나, 실수를 인내해주지 않는 환경에서는 DREEM점수가 낮아질 것이다(Abraham et al. 2008; Pai et al. 2014). 

  • 둘째, 상황적으로 학년이 올라가면서 학업량이 늘고 기대치가 높아짐에 따라, 더 많은 양의 스트레스가 유발되고 이는 학습 환경에 대한 인식 저하로 이어질 수 있다(Kossioni et al. 2012; Pai et al. 2014). 

  • 셋째, 사회적 학습 모델(Durning and Artino 2011)에 따라 학습 커뮤니티가 지지적이지 않다는 인식으로 인해 점차 DREEM 점수가 낮아질 수 있습니다. 

  • 넷째, 학습에서 숨겨진 커리큘럼의 중요성을 염두에 둔다면(Hafferty 1998), 훈련 기간에 비해 낮은 DREEM 점수는 학생이 배우는 것과 학생이 실제로 관찰하는 것 사이의 차이를 의미할 수 있다. 따라서 교육과정이 친숙하고 교수개발이 안정적인 상황에서도 지속적으로 학습자에게 피드백을 받아야 한다.

이것은 심지어 친숙한 커리큘럼과 안정된 교수진 보수의 설정에서도 학습자의 피드백을 지속적으로 검토할 필요가 있음을 시사한다.


Several explanations are possible. 

  • First, adult learning theories posit that learners need to be involved in learning, experience (including mistakes) provide the basis for learning, and that learning takes place best with problem centered focus and when learners see immediate relevance (Knowles 1973). Thus, adoption of more traditional curriculum with more emphasis on factual learning and less focus on experiential learning, alongside perception of teachers as authoritarian, or less tolerant of mistakes (Abraham et al. 2008; Pai et al. 2014; Pales et al. 2015) may contribute to lower DREEM scores over time. 

  • Second, contextually, with increasing workload and expectations with seniority, this may exert a greater amount of stress which can result in poorer perception of the learning environment (Kossioni et al. 2012; Pai et al. 2014). 

  • Third, in line with social learning models (Durning and Artino 2011), any perception of a less supportive learning community may lead to lower DREEM scores with training (Mohd Said et al. 2009; Hasan and Gupta 2013). 

  • Fourth, bearing in mind the importance of hidden curriculum in learning (Hafferty 1998), lower DREEM score over duration of training may point to discrepancies between what is taught and what is caught in practice which suggests the need to constantly review feedback from learners even in the setting of familiar curriculum and stable faculty complement.


비록 과거의 학업 성취, 회복력, 그리고 학습 환경에 대한 인식에 대한 태도 사이의 인과 관계를 이러한 단면적 연구에 기초하여 결정할 수는 없다고 하더라도, 예비 학부생들을 선발 단계에서 또는 교육 프로그램 내에서(DREEM을 활용하여) [도움이 필요한 학습자가 누군지 조기에 확인하고 학습을 지원하는 것]에 주의를 기울일 필요가 있다.

Although the causal relationship between past academic achievement, resilience, and attitudes with perception of learning environment cannot be determined conclusively based on these cross-sectional studies, early identification of prospective undergraduates either at selection stage or subsequently within the training program based on DREEM and paying heed to garnering learning support for learners in need of assistance could be considered.


또한, 높은 DREEM 점수는 심리적 스트레스 감소와 더 나은 수준의 mindfulness 및 peer support과 관련이 있었다(Yamada et al. 2014; Xu et al. 2016). 따라서, 교육 환경 점수를 평가하고 경향화하는 것은 부적절한 peer support이라는 맥락에서, 위험에 직면하고 있는 학습자를 미리 탐지할 수 있는 추가적 방법이 될 수 있고, 이에 기반하여 시기적절한 교육적 지원을 할 수 있다(Yamada et al. 2014).

In addition, higher DREEM scores were associated with less psychological stress and better level of mindfulness and peer support (Yamada et al. 2014; Xu et al. 2016). Hence, assessing and trending the educational environment scores may provide an additional dimension for earlier detection of learners facing duress in the context of poor peer support, so that timely educational support can take place (Yamada et al. 2014).


게다가, 우리는 교육 환경에 대한 긍정적인 인식이 더 나은 삶의 질과 관련이 있다는 것을 발견했다. (Tempski et al. 2015; Enns et al. 2016) 이와 관련하여, 의과대학 훈련의 진행에 따라 삶의 질OQL이 감소하는 것으로 확인되었다(Paro et al. 2014).

Furthermore, we found that positive perception of educational environment was associated with better quality of life (Tempski et al. 2015; Enns et al. 2016). In this regard, quality of life has been found to decrease with progression in medical school training (Paro et al. 2014)


교육 환경 내의 문제를 책임감 있게 해결하는 것은 잠재적으로 학부생들의 삶의 질 향상과 배우려는 동기부여에 도움을 줄 수 있다.

addressing issues within the educational environment responsively could potentially help in improving quality of life and motivation to learn within undergraduates.


학습자의 학습 기대치와 실제 학습 경험 간에 차이가 있습니다. 기대가 높은 학습자는 부정적인 자기 인식과 인식된 스트레스도 더 많이 받을 수 있습니다(Bowlt et al. 2011). 따라서 교육 과정 초기에 그러한 학습자를 식별하면 번아웃 발생을 방지하거나 개선할 수 있다.


there is a discrepancy between the learning expectations of learners and actual learning experiences. Learners with high expectations may also be more prone to negative self-perceptions and greater perceived stress (Bowlt et al. 2011). Thus identifying such learners early on in the course of undergraduate education may prevent or ameliorate the onset of burnout.



McAleer S, Roff S. 2001. A practical guide to using the Dundee Ready Education Environment Measure (DREEM). In: Genn JM, editor. Curriculum, environment, climate, quality and change in medical education: a unifying perspective. AMEE Education Guide no. 23. Scotland: AMEE. p. 29–33.


Soemantri D, Herrera C, Riquelme A. 2010. Measuring the educational environment in health professions studies: a systematic review. Med Teach. 32:947–952.


Xu X, Wu D, Zhao X, Chen J, Xia J, Li M, Nie X, Zhong X. 2016. Relation of perceptions of educational environment with mindfulness among Chinese medical students: a longitudinal study. Med Educ Online. 21:30664.


Yamada Y, Klugar M, Ivanova K, Oborna I. 2014. Psychological distress and academic self-perception among international medical students: the role of peer social support. BMC Med Educ. 14:256.






 2018 Jan 23:1-8. doi: 10.1080/0142159X.2018.1426842. [Epub ahead of print]

Adoption and correlates of the Dundee Ready Educational Environment Measure (DREEM) in the evaluation of undergraduate learning environments - a systematic review.

Author information

1
a General Psychiatry , Institute of Mental Health , Singapore , Singapore.
2
b Research Division , Institute of Mental Health , Singapore , Singapore.
3
c Department of General Psychiatry , Institute of Mental Health , Singapore , Singapore.
4
d General Psychiatry , Institute of Mental Health , Singapore , Singapore.
5
e General Psychiatry , Institute of Mental Health , Singapore , Singapore.

Abstract

BACKGROUND:

The Dundee Ready Educational Environment Measure (DREEM) was specifically designed to measure the undergraduatemedical educational environment. This study seeks to review the adoption of DREEM internationally, and its association with different learning contexts and learner factors in order to better support our learners and facilitate future applications and research.

METHOD:

systematic literature review was conducted on all articles that adopted and reported data using the DREEM from 1997 to April 2017.

RESULTS:

Overall, the majority of 106 included studies from over 30 countries were conducted in Asia and Europe (76.4% of studies) within medical, dental, and nursing programs (86.8% of studies). Seventy-nine out of 98 studies (80.6%) which reported DREEM scores observed a mean total DREEM score within the range of "more positive than negative" (101-150 out of maximum 200 points). Higher DREEM scores were associated with better past academic achievement, quality of life, resilience, positive attitudes towards course, mindfulness, preparedness for practice, less psychological distress, and greater peer support.

CONCLUSIONS:

Future studies may want to examine other correlates of DREEM such as coping styles, personality profiles, burnout level, and DREEM scores can be incorporated into reviews of learning environments to ascertain longitudinal changes following educationalinterventions.

PMID:
 
29361860
 
DOI:
 
10.1080/0142159X.2018.1426842


성찰적 좀비: 의학교육에서 성찰 프레임워크의 문제(Perspect Med Educ, 2018)

The reflective zombie: Problematizing the conceptual framework of reflection in medical education

Anne de la Croix1,2 · Mario Veen3




도입

Introduction


거의 모든 면에서 똑 같은 두 명의 3학년 의대생을 상상해 보라.

Imagine two third year medical students who are identical in almost every way.


의대생으로서, 그들은 오직 한 가지 면에서 다를 뿐이다. 한 학생은 실제로 성찰을 했고, 다른 학생은 성찰하는 척만 했다. 누가 누구인지 어떻게 알 수 있을까요?

As medical students, they only differ in one aspect: while one of the students has actually reflected, the other just pretended to do so’. How do we know which is which?


이 생각은 Chalmers의 '철학적 좀비'와 유사하다. 철학적 좀미란 인간과 신체적으로 정확히 복제품이지만 의식은 없는 것이다[1]. '성찰적 좀비'는 실제로는 성찰을 하지 않지만, 성찰에 대한 모든 외부 특성을 보여주는 사람이다. 이 사고실험에서, 성찰적 좀비를 실제로 성찰을 하는 학생들과 구별하기 위한 가장 중요한 단서는 성찰 보고서와 설문지의 결과물에 대한 그들의 점수이다. 하지만 이것이 좀비가 누구인지 알아내는데 도움이 되지 않는다.

This thought experiment is analogous to Chalmers’ ‘philosophical zombie’, which is an exact physical duplicate of a human being, but without consciousness [1]. The ‘reflective zombie’ is someone who displays all the outer traits of reflection, without having actually reflected. In this thought experiment, the most important clue to distinguish the reflective zombie from the student who has authentically reflected is their score for the written reflective report and the outcome of the questionnaire. However, this does not help us find out who the zombie is.


(보고서나 설문에 의존하는) 성찰에 대한 도구적 접근법은 학생들이 과제 수행이라는 기대치를 충족하게 만드는 데 초점을 맞추게 한다. 학생들은 성찰을 모방하기 위해 어떤 구절과 표현을 사용해야 하는지 알고 있습니다 [2]. 그들은 "교육 게임"에 능숙하며, 시스템과 "게임"하는데 능숙해서, 예를 들어 '교수들은 울었다고 말하면 좋아한다.'라는 것을 안다 [3] 포트폴리오나 에세이와 같은 성찰과제는 [학생들이 실제로 성찰을 하지 않고서도 해낼 수 있는] '좋은 성찰'을 평가하기 위해 만들어진 체크리스트의 박스를 확인하는 것 외에는 아무것도 하지 않아도 보상을 주게 될 수 있다. 이는 '개별적이고 비협조적이며 도구적 지향'으로 이어집니다 [4]. 

The instrumental approach to reflection conditions students to focus on fulfilling the expectations of the assignments. Students know what phrases and expressions to use to emulate reflection [2]. They are good at playing the educational game and at gaming the system to succeed and know, for instance, that ‘they like it if you say you cried’ [3]. Reflective assignments such as portfolios or essays could reward students for doing nothing more than check the boxes of ‘good reflection’, which they can do without actually reflecting.This ‘tends toward an individual, non-collaborative, instrumentalist orientation’ [4] 


집단적 대화를 사용하거나 '개별 참여자의 태도, 가치, 신념 및 가정'을 실제로 바꿀 수 있는 작문 과제를 설계함으로써 학생들이 의미 있게 성찰하게 자극하려는 교육자들이 많이 있다[6].

There are many educators who are stimulating students to reflect meaningfully, by holding group conversations [5], or by designing writing tasks that can indeed change ‘the attitudes, values, beliefs, and assumptions of individual participants’ [6].


현재 의학교육의 성찰에 대해서는 세 가지 문제가 있다.

three flaws in current thinking about reflection in medical education


열쇠구멍같은 성찰

Reflection through the keyhole


(의료전문직의) 가장 중요한 측면은 경험을 통해 배우고 전문가로서 성장하는 능력, 그리고 종종 변화하는 환경과 관련하여 자신의 생각과 감정을 모니터하는 능력이다. 이러한 능력은 흔히 '성찰'이라는 용어로 의학 커리큘럼에 통합된다[10]. 

Crucial aspects are the ability to learn from experiences and grow as a professional, and the ability to monitor one’s own thoughts and feelings in relation to the often-challenging circumstances. These abilities are often incorporated into the medical curriculum under the term ‘reflection’ [10]. 


가장 폭넓게 정의된 성찰은 '사건의 의미, 역사의 의미를 찾는 것'이다[11]. 이것은 다양한 방식으로 일어날 수 있고 생각, 경험, 감정, 신체 그리고 다른 것들을 포함할 수 있습니다. 성찰는 일반적으로 내면세계와 외부 세계와의 관계를 모두 포함하는 것으로 여겨진다. 그것은 놀라움, 의심, 기존의 틀에서 벗어난 생각에 관한 것이다. 성찰에 있어서 감정은 근원적 역할을 하고, 감정과 사고의 구분은 인위적인 것이 된다[12].

Most broadly defined, reflection is ‘looking for the meaning of an event, the meaning of a history’ [11]. This can take place in many ways and can involve thought, experiences, emotions, the body, and others. Reflection is generally thought to involve one’s relation to both the inner and outer world. It is about surprise, doubt, and out of the box thinking. There is a fundamental role for emotions—so much so, that the distinction between feeling and thought may be artificial [12].


'성찰적 실천자'의 개념을 도입할 때, 의학 분야에서는 오래된 개념을 차용했다. 많은 사람들이 깊은 사고와 성찰의 필요성을 고상하게 기술했다.

By introducing the idea of the ‘reflective practitioner’, the field of medical education adopted an age-old concept: Socrates (470–399BC), Hippocrates (460–370BC), Aquinas (1225–1274), Hegel (1770–1831), Descartes (1596–1650), and Confucius (551–479BC) have all eloquently formulated the need for deep thought and reflection.


그러나 의학 교육 저널은 1933년에 성찰이 발명되었다는 인상을 주고 있다. 또한 세 단계냐 네 단계냐 하는 것이 중요한 것과 같은 인상을 주고 있다[13]. 의학 교육은 성찰이라는 복잡하고 풍부한 개념을 그것의 철학적 기초와 일치하지 않는 형태construct로 해석해 왔다. 그 결과 성찰은 체크리스트로 평가될 수 있는 모호한 개념으로 자리잡았고, [균일한 교수방법]과 ['적절한' 성찰이 무엇인지에 대한 지침]을 요구하게 되었다.

However, medical education journals give the impression that reflection was invented in 1933, and that all that matters is whether it has three steps or four [13]. medical education has translated the complex and rich concept into a construct that is inconsistent with its philosophical underpinnings [8, 9]. Reflection has become an ambiguous notion [16] that can be assessed by checklists, requiring a uniform way of teaching, and guidelines for what counts as ‘proper’ reflection.


의학교육 연구는 세 가지 문제에 빠져 있다: 

  • 찰의 통일된 정의나 성찰의 모델을 찾는 것, 

  • 성찰을 측정하는 유일한 방법을 찾는 것, 

  • 학교육과정에 성찰을 추가하기 위한 절대적으로 옳은 방법을 개발하는 것

일부에서 지적했듯이, Dewey가 교육에서의 성찰을, [바람직한 사고 과정을 단계별로 설명하는 경향에 대한 해결책]으로 개념화했음을 고려한다면, 현재의 모습은 아이러니한 일입니다 [16–18].

Medical education research seems preoccupied with three issues: finding a uniform definition or model of reflection, finding a singular way to measure it, and developing a fool proof way of adding reflection to the medical curriculum[10]. As some have noted, this is ironic, given that Dewey conceptualized reflection in education as an antidote to this step-by-step outlining of desired thought processes [16–18].


우리는 의학 교육에 있어서 성찰을 가르치고 연구하는 어떤 측면이 좀비 같은 학습 행동을 자극할 수 있을 것으로 우려한다. 그렇게 성과에만 초점을 맞춘다면 '잘못된 성찰, 학생들의 참여 부족, 교수의 낮은 자신감과 무관심'으로 이어질 수 있다[19].

We fear that certain aspects of teaching and researching reflection in medical education could stimulate zombie-like learning behaviour . The focus on outcomes can lead to ‘poor reflection, lack of engagement from students and low-confidence and apathy of staff’ [19]. 


의학교육에서 성찰에 관한 문제

Problems with reflection in medical education


패러다임 문제

The paradigm problem


'Streetlight effect(거리 조명 효과)': 우리는 실제로 발견될 수 있는 곳보다는 보기 쉬운 곳에 대한 답을 찾는 경향이 있습니다. [20]. 의학교육에서는 정량적 연구와 측정가능성 측면에서 성찰에 대한 지식을 추구한다. 이렇게 하는 것은 이것이 반드시 성찰을 '발견'하는 방법이기 때문이 아니다.

‘streetlight effect’: we tend to look for answers where it is easy for us to see, rather than where they might actually be found [20]. In medical education, knowledge about reflection is sought after in quantitative research, and in terms of measurability. This is not because reflection is necessarily ‘found’ here,


의학 교육의 정지된 광선이 성찰을 비추면, 그것은 [성찰을 체계적으로 교육할 수 있는 단계로 분해시켜버리는 방식]으로 나타난다. 이것은 마치 성찰이란 것이 깔끔하게 정리가능한 것 같다. 그러나, 우리는 종종 성찰이란 지저분하고, 예측할 수 없으며, 극도로 개인적인 것임을 깨닫는다[5, 21]. 다른 패러다임은 실제로 어떻게 성찰이 일어나는가를 토대로 성찰에 대한 지식을 탐구하기 위한 공간을 열어줄 수 있다.

When the static light beam of medical education shines on reflection, it shows up as a way of thinking that can be broken down into systematically teachable steps. It seems neatly orderable. However, we find that reflection is often messy, unpredictable and intensely personal [5, 21]. A different paradigm can open up spaces to look for knowledge about reflection based on how it occurs in practice.


방법적 문제

The methods problem


의학교육의 영역으로 성찰을 가져올 때 두 가지 요구와 함께 왔습니다: 성찰을 측정하고 평가해야 합니다. 그러나 성찰자체가 실제로 평가 가능하고 측정 가능한가? 그러나 '중요한 모든 것을 셀 수 있는 것도 아니고 셀 수 있는 모든 것이 중요한 것도 아니다.' [22].

The translation of reflection into the realm of medical education has brought with it two demands: to measure reflection, and to assess it. but is reflection itself actually assessable and measurable? But ‘not everything that counts can be counted, and not everything that can be counted counts’ [22].


사회학자 매슬로는 '당신이 가지고 있는 유일한 도구가 망치뿐이라면 모든 것을 못처럼 취급하는 유혹에 빠진다'이라고 말했다[23]. 우리는 검증된 체크리스트와 설문지를 만드는 방법을 알고 있으며, 이러한 툴에서 도출한 데이터에서 결론을 도출하는 방법을 알고 있으며, 이러한 툴에서 출판 가능한 정보를 추출하는 방법을 알고 있습니다.

The sociologist Maslow said: ‘I suppose it is tempting, if the only tool you have is a hammer, to treat everything as if it were a nail’ [23]. We know how to make validated checklists and questionnaires, we know how to draw conclusions from the data we derive from these tools, and we know how to extract publishable information out of these tools.


성찰은 인지, 감정, 신체, 언어, 의식, 경험을 포함한다. 하지만 우리가 성찰을 연구할 때, 우리는 심리측정적 형태로 '망치'를 꺼내어, 그 현상을 일련의 정량적 측정으로 환원시켜버린다. 그러나 이러한 측정 도구는 인간 성찰의 본질적 특성을 없애고, '성찰적 좀비'를 걸러내는 것을 불가능하게 만든다.

Reflection involves (at least) cognition, emotions, the body, language, consciousness, and experiences. But when we study it, we get out our ‘hammer’ in the shape of psychometrics, and thereby reduce the phenomenon to a series of quantitative measurements. However, it is exactly these measuring tools that eliminate the human nature of reflection, and make it impossible for us to filter out the ‘reflective zombie’.



인식론적 문제

The epistemic problem


측정 문제의 근본은 인식론적 문제이다. 성찰은 종종 개인적인 경험, 즉 '나와 나 사이의 조용한 대화'로 표현됩니다 [25]. 하지만 만약 이것이 사실이라면, 다른 사람이 내가 성찰을 했는지, 그리고 만약 성찰을 했다면, 얼마나 깊이 반영했는지 판단할 수 있는가? 우리는 다른 사람의 속마음을 알 수 없다

At the root of the measurement issue lies an epistemic problem. Reflection is often formulated as a private experience, a ‘silent dialogue between me and myself’ [25]. But if this is true, how can another person judge if I have reflected, and if so, how deeply I reflected? We cannot know another’s innermost thoughts and feelings.


사람은 다른 사람의 개인적인 경험에 접근할 수 없기 때문에 다른 사람에게 '너 배고프지 않다' 또는 '두통이 없다'라고 말하는 것은 용납될 수 없는 일이다. 하지만 이것이 바로 우리가 (성찰에 대하여) 교육자들에게 요구하는 것이며, 우리는 연구자들에게 성찰의 질을 평가해달라고 요구한다. 이 딜레마는 인식론의 기본적인 문제, 즉 연구현상에 접근하는 방법을 다루고 있다.

it unacceptable to tell someone else ‘you are not hungry’ or ‘you don’t have a headache’, because we are unable to access another’s private experience. Yet this is precisely what we ask our educators, and we ask our researchers to score the quality of reflection. This dilemma touches on the basic problem of epistemics: how to access the phenomenon under study.


다른 사람의 성찰에 접근하려면, 그 사람이 성찰을 외부로 드러내야 한다. 단순히 성찰을 하는 것 만으로는 충분하지 않으며, 성찰을 증명해야 합니다. 의대생들은 '성찰 기술'을 보여줄 때, 관찰자 또는 평가자에게 사적인 생각을 드러내야 한다.

Access to reflection requires externalization: it is not enough to reflect—one must demonstrate reflection. When medical students demonstrate the ‘skill’ of reflection, they must open up private thoughts to observation and assessment.


따라서 의학 교육은 학생들에게 성찰을 말로 표현해 줄 것을 요구한다.

medical education asks these students to verbalize reflections, which could force students to worry about words, structure, etc.


누군가에게 자신의 성찰을 보고하는 것은 실제 성찰을 측정하는 방법이 아니라, 그 자체가 '성찰에 대한 성찰'을 행하는 것이다. 성찰을 외부로 드러내게 되면, 청중이 생기게 되는 것이고, 이는 개인적 성찰의 성격을 바꾼다. 우리가 학생들에게 교수에 대해 성찰해 보라고 할 때, 그들의 성찰은 조용한 대화silent dialogue와 다를 것이다.

asking someone to report on their reflection is not a way to measure that original reflection, but is itself an exercise of ‘reflection on reflection’. Externalization changes the very nature of private reflection, as there is now an audience. When we ask students to reflect for their teachers, their reflection will be different from their ‘silent dialogue’.


'좋은 성찰'에 대한 체크리스트와 요구 사항이 있을 경우 성찰은 더욱 변질될 수 있다. 즉, 성찰이 사회적으로 바람직한 문구들로 채워지는 것이다.

The reflection will change even more if there are checklists and requirements for ‘good reflection’, possibly resulting in reflective products filled with socially desirable phrases.


의무적인 성찰 활동이 주어지면 학생들은 [의미에 대한 authentic 탐구에 투자하는 것]보다 ['성찰'이라는 (교수의) 기대에 부합하는 행동을 보이는 것]이 더 유리하게 된다. 그렇다면, 어떻게 하면 가짜 성찰을 멈추고 더 의미 있는 성찰로 나아갈 수 있을까?

Mandatory reflective products can lead to a learning environment in which it is more advantageous for students to demonstrate behaviours that fit the expectations of ‘reflecting’, than it is to invest in an authentic search for meaning. So, how do we stop it and move forward in a more meaningful way?


어떻게 하면 좀비화를 막을 수 있나?

How to prevent zombies?


성찰에 대한 다양한 개념은 의학교육 패러다임의 범위 내에서 쉽게 평가하고 측정할 수 있는 단계적 과정으로 해석되었다. 그러나 이로 인하여 많은 다른 형태의 정당한legitimate 성찰은 배제되었고, [진정으로 성철하는 것]과 ['성찰하는 척 하는 것'] 사이의 차이를 알 수 없게 만드는 성찰의 성과적 차원performative dimension을 추가한다.

The rich concept of reflection has been translated into a step-wise process that can easily be assessed and measured within the confines of the medical education paradigm. But this process excludes many other forms of legitimate reflection, and it adds a performative dimension to reflection that makes it impossible to knowthe difference between authentic reflection and ‘acting reflectively’.


우리는 학생들이 단순히 전문가를 모방하여 행동하는 것이 아니라 진정한 의료 전문가가 되기를 바랍니다 [28].

we want students to truly become medical professionals rather than merely acting professionally [28].


가장 중요한 세 가지 메시지는 다음과 같습니다: 다양한 성찰을 수용하고 수용하며, 성찰을 성찰하며, 연구 초점을 일상적 상호작용의 복잡함으로 옮깁니다.

The three most important messages are: accept and embrace diversity in reflection, reflect on reflection, and shift the research focus to the messiness of everyday interactions.


다양성을 포용하고, 체크리스트는 그만!

Embrace diversity, let go of checklists!


만약 우리가 사람들이 성찰을 실천하는 다양한 방법을 수용한다면, 우리는 규범적인prescriptive 초점에서 벗어날 수 있다.

If we accept and embrace the diversity of ways in which people reflect, we can move away from a prescriptive focus


성찰은 매우 개인적인 것이기 때문에, 성찰을 평가하는 것은 또한 개인적인 요소를 필요로 합니다. 아이러니하게도, 현재 성찰에 관한 작업은 평가 과정에서 가능한 한 주관성을 배제하는 것을 목표로 한다. 런던의 의대생인 로라 쉠토브는 보다 개인화된 성찰 접근 방식의 필요성을 설득력 있게 주장한다: '내가 의학교육과정을 거치는 동안 포트폴리오, 에세이, 종방향 경로 등을 통해 성찰적 실천을 통합해왔지만, 내가 진짜로 스스로 성찰할 때에는 이러한 템플릿들 중 어느 것도 따르지 않았다.'

Since reflection is deeply personal, assessing reflection also requires a personal element. Ironically, current work on reflection aims to exclude subjectivity as much as possible from the assessment process. Laura Shemtob, a medical student from London, eloquently argues the need for a more personalized approach to reflection: ‘Reflective practice has been integrated into my medical education through portfolios, essays, and longitudinal pathways, but my own reflection does not follow any of these templates’ [29].


학생들의 다양한 성찰을 같은 틀에 넣기 보다는, 우리는 성찰의 다양성이 인정되어야 한다고 느낀다. 또한 의과대학은 개인적인 성찰방법에 대해 이야기할 수 있는 장소가 될 수 있습니다.

Rather than pushing every student’s reflection into the same mould, we feel that diversity in reflection needs to be appreciated, and medical school can become the place to talk about personal ways of reflecting.


우리는 성찰적 행동에서 겉으로 확인되는 외부 특성이 반드시 진정한 내적 성찰을 가리키는 것은 아니라고 본다. 좀 더 authentic한 평가 시스템을 위해서는 부분적으로는 체크리스트와 균일성uniformity을 포기해야 한다.

We argue that outer traits which look like reflection do not necessarily point to authentic inner reflection. To think of an assessment system that is more authentic, would require some ‘letting go’ of checklists and uniformity


그 대신에, 우리는 성찰 영역에서 ipsative assessment의 개념을 발전시키고자 할 수 있다. 즉, 개개인이 자신의 과거에 했던 작업에 비해 어떻게 개선되었는지를 평가하거나, 학습자의 성과와 학습자의 진척도보다는 학습자의 level of achievement를 반영하는 것이다. 이것들 또한 여전히 평가의 한 형태이기는 하지만, 이것은 개별 학생들의 요구와 희망에 맞는 학습 환경을 만드는 방법으로 사용될 수 있고, 따라서 성찰이 번창할 수 있는 지지적encouraging 맥락을 만들어낼 수 있다.

Alternatively, we might want to advance the idea of ipsative assessment in the area of reflection: assessing the way in which an individual has improved compared to his/her earlier work, or ‘a summative judgement that reflects the learner’s progress rather than outcomes and level of achievement’ [30]. While this is still a form of assessment,it could be used as a way of creating learning conditions that suit individual students’ needs and wishes, and thus creating an encouraging context in which we hope reflection might flourish.


성찰에 대해 성찰하게 하자

Let students reflect on reflection


우리는 학생들이 미리 정해진 형식 없이 자신의 생각을 공유하거나 보여주는 방법을 선택하는 이니셔티브에 박수를 보낸다. 우리는 [성찰을 공유하는 것]이 그 자체로 가치 있는 성찰 활동일 수 있다는 것을 깨달아야 하며, 그것이 단지 목적을 위한 수단이 아니라는 것을 알아야 합니다 [5, 31]. 이것은 예술, 창작 글, 명상, 영화, 시 또는 자신을 표현하는 다른 방법을 포함할 수 있습니다. 이는 의학에서 예술과 인문학의 역할이 있다는 것을 보여줍니다 [36, 37]. 이는 또한 성찰에서 자기 자신에 대해 지나치게 초점을 두는 것을 방지할 수 있다. 성찰에서 자기 자신에 대해 과도하게 초점을 맞출 경우 "아무런 해옹도 하지 못하게 되며, 자발성을 상실하게 되고, 비관론에 빠지고, 끝없이 성찰에 대해서 성찰하는 구렁텅이에 빠지는 것과 같은 부정적인 결과"를 초래할 수 있다.

We applaud initiatives where students themselves choose a way to share or show reflections, without a predetermined format. We ought to recognize that sharing reflection can be a valuable reflective activity in itself, and not just a means to an end [5, 31]. this could include art, creative writing, meditation, film, poetry, or other ways of expressing oneself [32–35]. These examples show that there is a role for the arts and humanities in medicine [36, 37], though it is not yet widely recognized. This could also prevent reflection becoming overly focusing on the self [8], which can have negative consequences such as rumination, ‘becoming blocked from taking action, loss of spontaneity, pessimism, and falling into a bottomless pit of reflection upon reflection’ [38].


우리는 대학들이 하나의 모델이나 프로토콜을 고수하지 않고 실용적으로 사용할 것을 권고한다.: '모든 모델은 틀렸지만, 어떤 모델은 유용하다'

We recommend universities not to stick to one model or protocol, but to use them pragmatically: ‘All models are wrong, but some are useful’ [39].


마지막으로, 가르침은 직접적으로 '성찰하는 방법'을 가르치기 보다는 성찰을 촉진하는 조건을 만드는 데 초점을 맞춰야 한다. 엄밀히 말하면, 성찰은 가르칠 수 있는 것이 아니라, 우리 각자가 어느 정도는 이미 소유하고 있고, 다만 자극될 수 있는 능력입니다. 우리는 성찰을 위한 최상의 환경을 만들어야 한다. 드레이센[40]에 따르면: '[신뢰할 수 있는 사람과 개방적이고 안전한 방식으로 나누는 성찰적 대화]에 가치를 두는 학습 환경과 포트폴리오야말로 나아가야 할 방향이다. 하지만, 이런 환경을 조성하는 길은 무척 멀다.'

Finally, teaching should be focused on creating conditions that foster reflection, rather than trying to teach directly ‘how to reflect’. Strictly speaking, reflection is not something that can be taught, but a human faculty that each of us possesses to some degree, and which can be stimulated. We need to create the best environment for reflection to emerge. According to Driessen [40]: ‘A learning environment and a portfolio that values a reflective dialogue with a trusted person in an open and safe way, is probably the way to go. However, it is a long road for medical education to create such an environment’.


따라서, 성찰 커리큘럼의 일부는 '성찰하기 위하여 자기 나름의 시스템을 개발하는' 것이 되어야 한다[41]. 어떤 성찰 방법이 자신에게 가장 적합한지 알아내는 것은 성찰 과정의 중요한 부분이다.

Therefore, part of the reflection curriculum should be for everyone ‘to work out his or her own system for engaging in reflection’ [41]. Working out which way of reflecting works best for oneself is actually a crucial part of the reflective process.


성찰의 실천으로 촛점을 옮기자

Shift the research focus to the practice of reflection


성찰에 대한 미래의 연구에 관해서, 우리는 '좋은 성찰'로 간주되는 것이 무엇인지 규정하기 보다는, 실제로 성찰이 어떻게 일어나는지를 설명할 것을 제안한다. [5, 21]. 우리는 훈련 중인 의사 그룹들이 집단 성찰 과정에서 자기 나름의 구조를 찾아낸다는 것을 발견했습니다. 그들이 찾아낸 방식은 그들의 선생님들에 의해 규정되지 않은 방식이었으며, 그들에게는 어떻게 성찰하는지에 대한 규칙이 제공되지도 않았다.

When it comes to future research on reflection, we propose to describe how reflection actually takes place in practice, rather than prescribe what counts as ‘good reflection’. [5, 21]. We found that groups of doctors in training naturally find their own structure in group reflection sessions, in a way that is not prescribed by their teachers and despite a lack of rules on how to reflect.


우리는 의학교육의 상호 작용 활동으로서 성찰에 접근하는 것에 강한 이점이 있다고 느낀다. 앞서 언급했듯이, 우리의 사고 실험에서와 같이, 체크리스트와 같은 공식적인 평가 도구는 두 학생 중 누가 실제로 성찰을 했는지를 객관적으로 밝힐 수 없다. 하지만, 그 두 학생의 선생님이라면 아마도 누가 진정으로 성찰했고 누가 그렇지 않은지를 알아내는데 10분 이상의 대화조차 필요하지 않을 것이다. [교사와 학생들의 상호작용의 특성]과, [교사가 가진 직관의 역할]은 성찰을 객관화하는 접근방식보다 학생들의 성찰을 더 잘 드러낼 수 있다. 우리가 여기서 말하고자 하는 것은 '객관적으로' 성찰을 평가하려고 노력하는 것과 인간의 접촉, 상호작용, 직관 사이에 차이가 있다는 것이다.

We feel there are strong advantages to approaching reflection in medical education as an interactional activity. As mentioned before, formal assessment tools such as checklists cannot establish objectively which of the two students in our thought experiment truly reflected. However, their teachers probably would not need more than ten minutes with either student to get an idea of who truly reflected and who did not. The nature of teachers’ interactions with students, and the role of teachers’ intuition, can unveil more about the students’ reflection than approaches that aim to objectify reflection. What we are trying to say here is that there is a contrast between ‘objectively’ trying to assess reflection and human contact, interaction, and intuition.


성찰적 좀비에 대해서 성찰하자

Reflecting on the reflective zombie


지금까지, 우리는 실제로는 성찰을 하지 않은 좀비 학생에 초점을 맞췄다. 그러나 어떤 학생에게는 현재의 방식이 효과가 있고, 성찰이 비록 일부 학생들에게만 효과가 있다고 할지라도 우리가 작용하는 접근법을 버려야 한다는 것을 의미하지는 않는다. 예를 들어 '동작을 따라해보는 것'에도 장점이 있을 수 있다.

So far, we have focused on the zombie student in our initial thought experiment who did not reflect authentically. this does not mean that we should abandon approaches that work, even if they only work for some of the students. For example, there might be some merit in ‘going through the motions’.


일례로, 한 의사는 막 졸업했을 때와 진료를 시작했을 때 자신감이 없었다. 그녀는 자신의 역량을 속이는 것 같았다. 그녀를 도와준 것은 조언과 속임수, 그리고 좋은 연기였다. 그녀는 자신에게 기대된 행동을 함으로써 통찰력과 자신감을 얻었다.

She did not feel competent and confident when she had just graduated and when she started her practice. She felt like she was faking it. What helped her through were tips and tricks, and some good acting. By doing what she felt was expected of her, she gained insights, and confidence.


그녀는 성공해낼 때까지 그러한 척을 했다. 감정 노동은 직장에서 기대되는 감정을 보여주는 과정으로서, 처음에는 연기로 시작했지만 점차 진짜authentic가 되었다[43]. 

she faked it until she made it. ‘Emotional labour’, the process of displaying emotions that are expected in the workplace, may start out as acting and gradually become authentic [43]. 


비록 '깊은 연기'가 선호되지만, '표면적 연기'도 일상생활에서 중요한 역할을 할 수 있다. 이러한 생각은 [사람은 자신이 인식되는 방식에 영향을 주기 위해 상호작용에서 항상 어떤 역할을 연기한다]는 생각을 반영합니다 [44]. 그것은 '합법적인 주변적 참여'와 유사하며, newcomer는 특정 실천 공동체에 들어와서 그 공동체에서 기대되는 방식으로 행동하지만, 그것을 아직 내면화하지 않았을 수도 있다. 즉, 그들의 행동은 아직 진정한 행동이 아니다[45]. 하지만, 내면화하지 않은 행동이라도 일부 학생들에게는 자신의 행동에 대한 통찰력을 갖게 해주는 여정의 출발점을 제공할 수도 있다. 이는 또한 단점과 잠재적인 부정적인 측면에도 불구하고 커리큘럼의 필수 사항으로 성찰을 유지해야 한다는 주장이 있다. 성찰을 의무화함으로써 학생들에게 성찰이 의사에게 요구되는 직무 중 일부이며, (비록 교육자들이 성찰의 방법을 알려주는 것은 불가능할지라도) 성찰을 실천하는 것은 그들의 개인적인 책임임을 알려줄 수 있다[46].

Although ‘deep acting’ is preferred, ‘surface acting’ can play an important role in daily practice. This idea mirrors the thought that one always takes on a certain role in interactions to influence how one is perceived [44]. It bears resemblance to ‘legitimate peripheral participation’, in which newcomers to a specific community of practice behave in a way that is expected in that community, yet they might not have internalized it—it is not yet authentic behaviour [45]. However, it might offer some students a starting point into the journey to having insights about their own behaviour, being open to emotions, and so on. This is also an argument for keeping reflection as a mandatory point of the curriculum, despite its drawbacks and potential negative aspects. Making reflection mandatory also communicates to students that reflection is part of their job description, and that it is their individual responsibility to bring this into practice—even if it is impossible for educators to tell them how to do so [46].



Conclusion


Fendler와 동료들이 [18]을 지적했듯이, 만약 성찰이 어떤 패러다임의 공식적 용어로 번역된다면, 그 패러다임의 방법론적 습관을 함유하게 될 것이고, 그 결과 방해하고 질문하는 성찰의 능력을 잃게 될 것이다. 성찰을 측정 및 구조화하려는 경향은 성찰의 본질과 모순된다.

As Fendler and colleagues have pointed out [18], if reflection is cast in the same formal terms of the paradigm it is translated into, it incorporates the methodological habits of that paradigm and loses its power to interrupt and question. The tendency to treat reflection as something to measure and to structure contradicts the very nature of reflective thought.


광범위한 체크리스트를 만드는 도구적 접근방식은 잘못된 안전감을 줄 수도 있다. 따라서 만약 이것이 우리의 유일한 초점이라면 우리는 성찰을 통해 성취하려는 것(즉, 진정한 호기심과 자기 자신을 탐구함으로써 평생학습에 이르는 것)과 정확히 반대의 일을 하는 것이다.

A false sense of security may be found in the instrumental approach that leads to extensive checklists, but if this is our sole focus we risk doing the opposite of what reflection is meant to achieve: being genuinely curious and exploring one’s self and one’s experiences, leading to lifelong learning.




29. Shemtob L. Reflecting on Reflection: A Medical Student’s Perspective. Acad Med. 2016;91(9):1190–1. XXX


4. Naidu T, Kumagai AK. Troubling muddy waters: Problematizing reflective practice in global medical education. Acad Med. 2016;91(3):317–21.


5. Veen M, de la Croix A. The swamplands of reflection: using conversation analysis to reveal the architecture of group reflection sessions. Med Educ. 2017;51:324–36. XXX


6. Fragkos K. Reflective practice in healthcare education: an umbrella review. Educ Sci. 2016;6:27. XXX


7. Wass V, Harrison C. Empowering the learner to reflect: do we need another approach? Med Educ. 2014;48:1146–7.


8. Ng SL, Kinsella EA, Friesen F, et al. Reclaiming a theoretical orientation to reflection in medical education research: a critical narrative review. Med Educ. 2015;49:461–75.


9. Hodges BD. Sea monsters & whirlpools: Navigating between examination and reflection in medical education. Med Teach. 2015;37:261–6.


12. Wald HS. Refining a definition of reflection for the being as well as doing the work of a physician. Med Teach. 2015;37(7):1–4. https:// doi.org/10.3109/0142159X.2015.1029897


13. Nguyen QD, Fernandez N, Karsenti T, et al. What is reflection? A conceptual analysis of major definitions and a proposal of a five component model. Med Educ. 2014;48:1176–89.


40. Driessen E. Do portfolios have a future? Adv Health Sci Educ. 2017;22:221–8.


14. Monrouxe LV, Rees CE, Hu W. Differences in medical students’ explicit discourses of professionalism: acting, representing, becoming. Med Educ. 2011;45:585–602.




 2018 Oct 23. doi: 10.1007/s40037-018-0479-9. [Epub ahead of print]

The reflective zombieProblematizing the conceptual framework of reflection in medicaleducation.

Author information

1
LEARN! Academy, Vrije Universiteit, Amsterdam, The Netherlands. anne.dela.croix@vu.nl.
2
Research in Education, Amsterdam UMC, VUmc School of Medical Sciences, Amsterdam, The Netherlands. anne.dela.croix@vu.nl.
3
Department of General Practice, Erasmus University Medical Center, Rotterdam, The Netherlands.

Abstract

Reflection is an ambiguous and profoundly complex human activity. We celebrate the developments in teaching and researching reflection in education, yet have identified flaws in the way reflection has been operationalized: medical education has translated the age-old concept into a teachable and measureable construct. We fear that in this process of operationalization, the philosophical underpinnings of reflection have been discarded. We illustrate this with a thought experiment about a 'reflective zombie': students who have been conditioned to follow prescribed thought steps rather than engaging in truly reflective behaviour. In research and assessment of reflection, measuring tools might be unable to distinguish reflective zombies from students who authentically reflect. We argue that the instrumental approach lies at the root of this problem as it limits the rich concept of reflection and illustrate our point by describing problems related to paradigm (we are looking at reflection in the wrong way), methods (we are using the wrong tools), and epistemics (can we even know what we want to know?). We offer three suggestions for implementing reflection into the curriculum and for research into reflection. First, acknowledge the diversity of reflectionand let go of the 'checklist approach'. Second, embrace the personal nature of reflection by stimulating awareness of one's personal reflectionstyles as part of the reflective process. Third, shift the focus of research to the practice of reflection. We believe that a strong vision on reflection can lead to a balanced curriculum, setting students up for a lifelong learning as a reflective practitioner.

KEYWORDS:

Assessment; Methodology; Reflection; Theory

PMID:
 
30353284
 
DOI:
 
10.1007/s40037-018-0479-9


성찰 또는 "사전 성찰": 우리가 진짜 측정하고 있는 것은 무엇인가? (Med Educ, 2011)

Reflection or ‘pre-reflection’: what are we actually measuring in reflective practice?

Richard Hays1 & Simon Gay2



성찰적 학습의 개념은 성인 학습, 자기 주도적 학습, 전문적 실무practice에 대한 고전적인 텍스트로 간주될 수 있는 것에 뿌리를 두고 있다.1–3 전문가들은 자신이 어떻게 perform하는지를 이해하고, 이 정보를 사용하여 전문적 개발을 계획하고, 강점을 구축하며, 약점을 보완할 것으로 기대된다.

The concept of reflective learning has roots in what might now be regarded as classical texts on adult learning, self-directed learning and professional practice.1–3 Professionals are expected to understand how they perform and to use this information to plan their professional development, building on strengths and addressing weaknesses.


이 호에서 두 개의 논문7.8은 의료 커리큘럼 내 성찰적 실천을 가르치고 평가할 때 직면하는 과제를 강조한다. 그 중 두 번째 논문은 학부 보건전문과 학생들에게 성찰 관행을 가르칠 때 겪는 어려움을 강조하지만, 그보다 성찰적 학습을 용이하게 할 수 있는 세 가지 교육 전략을 확인하였다. 

  • Self-insight, 

  • 안전한 환경을 만들고, 

  • 학생들이 책임을 지도록 격려하는 것이다.8

Two papers in this issue7,8 further highlight the challenges faced in teaching and assessing reflective practice within medical curricula. The second highlights the difficulties encountered in teaching reflective practice to undergraduate health professional students, but, importantly, also identifies three teaching strategies that might facilitate reflective learning. These are: supporting self-insight; creating a safe environment, and encouraging students to take responsibility.8


다음 질문은: 언제 그리고 어떻게 우리가 의학교육에서 성찰적 실천능력을 길러야 하는가? 가장 일반적인 대답은 '처음부터 길러야 한다'이며, '학습 포트폴리오 작성에서 기를 수 있다'는 것이다. 의과대학에서, 종종 초기 단계에서부터, 어떻게 성찰하는지에 대해 강의를 함으로써, 성찰적 실천을 '교육'하려는 시도가 계속 증가하고 있다.

The obvious next question is: when and how should we foster reflective practice in medical education? The most common current answer is: from the beginning, in written learning portfolios. There is an ongoing surge in attempts to ‘teach’ reflective practice in medical schools, often from the earliest stage, sometimes by delivering lectures on how to reflect.


그러나, 선생님들이 학습을 촉진하기 위한 포트폴리오의 성찰적 사용에 대해 일반적으로 긍정적이지만, 사실 학생들이 성찰적 학습을 한다는 증거는 많지 않다. 많은 학생들은 어떻게 학습 포트폴리오를 써야 하는지 혼란스러워하며, 부담스러운 '서류작업'으로 인식하여 동기부여가 떨어지고, 그 점수가 Pass/Fail 결정에 사용되는 것을 우려한다.

However, although teachers are generally positive about the use of reflection in learning portfolios to drive learning, there is only limited evidence that this actually happens, particularly at undergraduate level.10 Many students are confused about how to approach these tasks, de-motivated by what they may perceive as onerous ‘paperwork’, and concerned about the use of resulting scores in pass ⁄ fail decisions.11,12


또한, 특정 활동(예: 결정적 사건)과 관련하여 성찰적 실천이 더 강력하게 작동할 수 있으며, 각 전문과와 의사의 연령에 따라 달라질 수 있다.14 실제로 성찰적 포트폴리오의 가치는 포트폴리오의 구조에 따라 크게 좌우되며, 튜터들이 포트폴리오의 사용을 어떻게 모델링하는지, 그리고 성찰의 내용과 프로세스가 어떻게 평가되는지에 따라 강하게 좌우된다. 15,16 예를 들어 성찰은 성찰 에세이를 소규모 동료 그룹이나 튜터 모임에서 논의할 때 더 의미있으며, 성찰을 자극하는 질문을 사용함으로써 그러할 것이다..18

Further, reflective practice may be more powerful in relation to certain activities (such as critical incidents)13 and may vary with medical specialty and the age of the practitioner.14 Indeed, the value of reflective portfolios may depend strongly on their structure, on how their use is modelled by tutors and on how their content and process are assessed.15,16 For example, reflection may be more meaningful when reflective essays are discussed in small peer groups or tutor meetings,17 perhaps through the use of questions that provoke reflection.18



의과대학에서의 경험은 의과대학 학생들이 지필형 성찰 평가에서 얼마나 잘 수행할 것으로 기대해야 하는지에 대해 의문을 제기했다. 의과대학에 입학하는 대부분의 학생들은 18세에서 22세 사이이며, 그들의 글쓰기에서 성찰을 포착하는 능력은 말할 것도 없으며, 그들의 성찰 능력은 심지어 더 개인적으로 성숙 또는 전문직업적 커리어의 후반기까지 적절하게 발달하지 못할 수도 있다. 많은 학생들이 이 개념을 어려워하며, 성찰 에세이를 잘 작성하지 못한다. 높은 점수를 얻으려는 동기부여가 된 다른 사람들은 방대한 포트폴리오를 짜고, 어떻게 성찰적인 글을 쓸 수 있을지 도움을 청한다. 불행하게도, 이렇게 성찰적 글쓰기에 대해 도움을 구하다보면, 좋은 점수를 받을 수 있는 성찰하는 것처럼 여겨지는 문장 구조나 키워드의 사용 등의 방법이 나온다. 이로 인해 어떤 학생들의 성찰적 에세이를 보면 성찰 능력은 물론 진정한 성찰조차 보여지지 않는다. 많은 에세이가 '공식formulaic'에 맞춘 듯한 경우를 자주 보며, 이는 학생들이 그저 대본을 따랐다는 것을 암시한다.

Experience in our medical school has raised questions about just how well we should expect junior medical students to perform in written reflective assessments. Most students entering medical school are aged 18–22 years and their ability to reflect, not to mention their ability to capture reflections in writing, may not properly develop until the later stages of either their personal maturity or their professional careers. Many students struggle with the concept and present poor reflective essays. Others, motivated to obtain high marks, compile large portfolios and seek assistance in how to write reflectively. Unfortunately, the latter strategy often includes using websites that offer sentence structures and keywords that suggest reflection and potentially attract good marks. A likely result is that some students’ reflective essays indicate neither reflective ability nor even genuine reflection. We find many to be rather formulaic, which suggests that their writers have followed a script.


우리는 심지어 학생들이 실제로 무언가를 경험하기도 전에 성찰을 해야 하는 에세이 주제를 미리 요청하면서, 에세이 작성을 시작하고 싶다고 말하는 경우까지도 보았다. 이것은 즉 성찰이 성찰을 유발할 수 있는 어떤 사건이 일어나기도 전에 기록된다는 것을 의미한다(우리 학교에서는 pre-reflection이라고 부른다). 또한 어떤 학생들은 자신의 pre-reflection에 맞추어 특정 경험에 대해 접근하기도 한다. 그러나, 문헌을 살펴보면 성찰 활동을 놓고 '게임'을 하는 학생들의 태도에 대해서는 놀랍도록 조용하다.

We have even had students ask for the topic of their reflective essays in advance of the experience they will be required to reflect on, stating that they want to get started on the reflective essay! This raises the possibility that reflection is being recorded before the events that are designed to trigger the reflection (our in-house term for this process is ‘pre-flection’) and that some learners may even approach these events with the aim of making the experience fit the pre-flection. However, the literature is surprisingly silent on gamesmanship in reflective activities.


우리가 양성하고 측정하려고 하는 것이 무엇인지 결정해야 할 긴급한 필요가 있다.

There is an urgent need to determine what it is we are trying to foster and to measure.


  • 성찰적 실천은 하나의 안정적인 구조인가? 

  • 배울 수 있는 기술 세트인가? 

  • 밀러의 피라미드처럼, 의료에서 다른 능력의 요소들을 따라 성찰적 실천이 평가될 수 있도록 측정 가능한가?19 

  • 즉, 전문적 실무의 이해의 습득을 성찰하는 단계에서 기술을 deconstructed하고 'knows how'와 'shows how 그리고 'does'의 관점에서 평가해야 하는가? 

  • 통찰력과 책임감을 어떻게 가르치고 평가할 수 있는가? 

  • 성찰은 구두 토론을 통해 서면 이외에 평가되어야 하는 것인가? 

  • 성찰적 실천과 잘 맞지 않는 성격 유형이나 학습 선호도가 있는 학생들은 어떻게 해야 하는가? 

  • 학생들은 성찰적 실천가가 될 수 있는가, 아니면 자신의 강점과 약점을 제대로 파악하지 못하는 poor performer가 될 위험이 더 큰가?

  • 유능한 전문가가 되기 위해 요구되는 성찰능력의 '최소 기준'이 있는가? 그렇다면 의과대학 입시에서 성찰능력이 평가되어야 하는가? 또는 대학원 교육까지 성찰적 실천에 대한 강조를 미뤄야 하는가?


  • Is reflective practice a single, stable construct? 

  • Is it a skill set that can be taught? 

  • Is it measurable, such that reflective practice can be assessed along the lines of other components of competence in medicine, as illustrated in Miller’s pyramid?19 

  • That is, should the skill set be deconstructed, taught in stages that reflect the acquisition of understanding of professional practice and assessed in terms of ‘knows how’, ‘shows how’ and ‘does’? 

  • How can insight and the taking of responsibility be taught and assessed? 

  • Is reflection something that should be assessed other than in writing, such as through verbal discussion? 

  • What about students with personality types or learning preferences that do not naturally support reflective practice?3,20,21 

  • Can they become reflective practitioners, or are they at greater risk of becoming poor performers who lack insight into their own strengths and weaknesses? 

  • Is there a ‘minimal standard’ of reflective ability that is required to be a competent professional? 

  • If so, should reflective ability be formally assessed at entry to medical school? 

  • Alternatively, should the emphasis on reflective practice be deferred until postgraduate training?








 2011 Feb;45(2):116-8. doi: 10.1111/j.1365-2923.2010.03813.x.

Reflection or 'pre-reflection': what are we actually measuring in reflective practice?

Author information

1
Health Sciences and Medicine, Bond University, Gold Coast, Queensland, Australia. rhays@bond.edu.au
PMID:
 
21208258
 
DOI:
 
10.1111/j.1365-2923.2010.03813.x


기여분석을 통해 CBME 프로그램 평가하기: 견고한 사고방식의 문제(Acad Med, 2017)

Using Contribution Analysis to Evaluate Competency-Based Medical Education Programs: It’s All About Rigor in Thinking

Elaine Van Melle, PhD, Larry Gruppen, PhD, Eric S. Holmboe, MD, Leslie Flynn, MD, MEd, Ivy Oandasan, MD, MHSc, and Jason R. Frank, MD, MAEd, for the International Competency-Based Medical Education Collaborators




CBME가 타당한 교육원칙과 교육적 실천의 진보에 기초하고 있음에도 불구하고, 우리는 그것이 (전통적인 관행에 비해서) [궁극적으로는 환자 결과를 개선하는 데 기여하는지 여부는 말할 것도 없고], 오늘날의 의료 환경에 더 잘 준비된 의사를 생산하는지 여부에 대한 증거가 거의 없다.

Despite the fact that CBME is founded on sound educational principles and advancements in educational practice,15 we have little evidence regarding whether, relative to traditional practices, it produces physicians who are better prepared for today’s practice environments, let alone whether it ultimately contributes to improved patient outcomes.


복잡한 서비스 개입으로서 CBME

CBME as a Complex Service Intervention


CBME의 특징은 모든 커리큘럼 요소가 증가하는 의학적 복잡성의 연속체를 따라 누적 학습을 촉진하는 방식으로 함께 작용한다는 것이다.4,17

A hallmark of CBME is that all curricular elements work together in a way that promotes cumulative learning along the continuum of increasing medical sophistication.4,17


CBME의 또 다른 특징은 프로그램 활동에서 비롯되는 다양한 결과이다. 이러한 결과는 

  • 주로 프로그램 활동과 관련된 근접 단기 성과

  • 다양한 요인으로부터 발생하는 원거리 시스템 성과 (전공의 교육을 포함할 수 있지만 여기에 국한되지 않는다.)

...로 분류될 수 있다. 

Another feature of CBME is the variety of outcomes stemming from program activities, these outcomes can be categorized as proximal shorter-term outcomes primarily associated with program activities, and distal system- wide outcomes resulting from a variety of factors, which can include but are not limited to residency education.


이러한 원거리 영향은 Kirkpatrick 모델18에서 설명한 네 번째 수준 또는 "결과"와 동등하며, 종종 달성하고 평가하기가 가장 어렵다.

These distal impacts are equivalent to the fourth, or “results,” level described in the Kirkpatrick model18 and as such are often the most challenging to attain and evaluate.



List 1.



CBME는 복잡한 서비스 개입으로 이해될 수 있습니다.16 복잡성이라는 조건 하에서, 구성요소는 다양한 조합으로 상호작용하여, 매번 서로 다른 결과가 나타나게 한다. 자녀 양육은 "한 아이를 기르는 것은 경험을 제공하지만 다음 아이의 성공을 보장하지는 않는다"는 점에서 이런 종류의 복잡성을 보여준다. 19(p9) 그리고, 부모-자녀 상호작용이 발달의 중심에 놓여있는 것과 마찬가지로 유능한 의사가 되기 위한 레지던트의 발전의 핵심에는 교수와 레지던트의 상호작용이 있다.

CBME can be understood as a complex service intervention.16 Under conditions of complexity, components interact in different combinations, leading to the emergence of different outcomes. Child rearing might be said to exemplify this kind of complexity, in that “raising one child provides experience but is no guarantee of success with the next.”19(p9) And, just as parent–child interactions lie at the heart of the development of the child toward adulthood, so too are the interactions between faculty and a resident at the heart of the resident’s progress toward becoming a competent physician.



비록 부모들은 전형적으로 가족 시스템에 주요한 영향을 끼치지만, 다른 요소들도 아이의 성장에 영향을 준다. CBME에서도 유사한 복잡성이 작용한다: 레지던트와 교수의 상호작용과 같은 여러 요인들이 레지던트의 역량 개발에 영향을 미친다(그림 1 참조). 또한 모든 학습 상황에 있어 각 레지던트는 자기조절적 학습자로서 CBME에 engage하는 고유한 경험과 능력을 갖는다. 동시에 각 교수는 이러한 이질성에 대응하는 각자의 능력을 가지고 있다.22 모든 복잡한 시스템과 마찬가지로, 가장 중요한 것은 CBME 개입 내의 개인들 간의 상호작용의 퀄리티이다.23

Although the parents typically exert the main influence in a family system, other factors also shape a child’s development. A similar complexity is at work in CBME: Multiple factors such as faculty interactions with residents influence residents’ development of competence (see Figure 1), and to any learning situation, each resident brings unique experiences and his or her own capacity to engage in CBME as a self-regulated learner.20,21 At the same time, each faculty member also has a unique ability to respond to this heterogeneity.22 As with any complex system, it is the quality of the interaction between the individuals within the CBME intervention that is most critical.23


Complex service intervention에서 맥락은 또 다른 핵심 요인이다. 레지던트들이 달성해야 할 역량은 동일하지만, 맥락화된 학습 경험과 교수와의 상호작용은 역량 확보에 필요한 구체적인 궤적에 영향을 미친다.25. 결과적으로, 어떤 두 개의 CBME 프로그램도 정확히 같지 않을 것이고, 이것은 CBME 프로그램을 평가하는 것을 더욱 어렵게 만들 것이다.

Context is another key aspect of complex service interventions.25 although residents are expected to achieve the same competencies, their contextualized learning experiences and interactions with faculty influence the specific trajectory required to attain competence. Consequently, no two CBME programs will ever be exactly alike, which makes evaluating CBME programs all the more challenging.




CBME 프로그램 평가의 과제: 기여 대 귀인

Challenges in CBME Program Evaluation: Contribution Versus Attribution


CBME를 평가하려면 사고방식의 변화가 필요하다.26 우리는 "목표는 쉽게 합의되고 정확하게 측정될 수 있으며, 그 원인과 효과를 잘 설명할 수 있는" 전통적인 접근방식에서 벗어날 필요가 있다.28

Evaluating CBME requires a change in mind-set.26 We need to move away from a traditional approach, in which “goals are easily agreed upon and can be precisely measured, and the cause and effect are well described,”27(p980) toward an appreciation that multiple possible pathways contribute to the achievement of program goals.28


귀인 분석

Attribution analysis



전통적으로 귀인 분석은 프로그램 평가에 사용되어 왔다(표 1 참조).29 이 접근법은 상대적으로 [빠르게 달성할 수 있는 명확한 목표를 가지고 있는 재현 가능한 개입]에 효과적이었다. 이러한 조건이 충족되면 프로그램 활동과 성과 사이의 직접적인 인과관계를 추론할 수 있다. 실증주의적 실험 방법은 귀인 분석에 가장 자주 사용되며, 비교 그룹과 무작위화에 의존하여 특정 결과 변수에 초점을 맞추고 "원하지 않은" 변수를 그룹 사이에 균등하게 분산시킵니다.

Traditionally, attribution analysis has been used for program evaluation (see Table 1).29 This approach has worked well for reproducible interventions with clearly definable objectives that can be achieved relatively quickly. When these conditions are met, a direct causal relationship between the program activity and outcome may be inferred. Positivist experimental methods are most often used with attribution analysis; these rely on comparison groups and randomization to focus on a specific outcome variable and distribute “unwanted” variables evenly among groups.


그러나 복잡성의 조건하에서는 성공의 길이 너무 복잡하여 사전in advance에 설명할 수 없다. 변수를 통제하는 것이 매우 어려운데, 왜냐하면 변수를 통제한다는 것은 상황에 관계없이 개입(학습 경험 및 커리큘럼)이 일관되고 재현가능한지 확인하는 작업이기 때문이다. 결과적으로, 통제와 예측가능성에 의존하는 기존의 환원주의적 방법은 프로그램 영향에 대한 의미 있는 이해를 생성하는 데 불충분해진다. 복잡성complexity의 조건에서는 "수행된 활동과 관찰된 결과 사이의 모든 연속체와 광범위한 연결과 관계"를 살펴봐야 한다. CA가 바로 그러한 접근방식을 제공한다.

Under conditions of complexity, however, the path to success is so involved that it cannot be articulated in advance.30 Controlling for variables is extremely challenging, as is the task of ensuring that interventions (learning experiences and curricula) are consistent and reproducible regardless of context. Consequently, traditional reductionist methods that rely on control and predictability tend to be inadequate in generating meaningful understanding of program impacts.27,28,31,32 Under conditions of complexity an approach is needed that examines the “full continuum and range of degrees of connection and relationship between the activities undertaken and the results observed.” 26(p376) CA provides such an approach.


기여 분석

Contribution analysis


CA에서, 평가에서 제기된 핵심 질문은 "프로그램이 관찰된 결과에 얼마나 많은 차이(또는 기여)를 만들어냈습니까?"이다. CA를 시행함에 있어 중요한 과제는 프로그램이 어떻게 그리고 왜 구현되었는지를 완전히 이해할 수 있도록 프로그램 구현의 "블랙박스"를 여는 것이다. 프로그램이 어떻게 그리고 왜 구현되었는지를 이해하는 것이 영향경로를 설명하는 데 도움이 될 것이다. 영향경로impact pathway, [프로그램 활동]과 [예상 결과] 사이의 연계에 대한 가정을 기술하기 위하여, 이론으로부터 이끌어내는 경로이다.

In CA, the key question posed in evaluation is “How much of a difference (or contribution) has the program made to the observed outcomes?”31(p54) In undertaking CA, a critical task is to open up the “black box” of program implementation33 to ensure a full understanding of both how and why the program has been implemented.34 Understanding the both how and why will help us to describe an impact pathway: that is, a pathway that draws from theory to articulate the assumptions underlying the linkages between the program activities and expected outcomes. 


영향경로는 "변화의 이론"을 설명하는 방법이다. CA는 이 "변화의 이론"을 검증하기 위해 사용되며, "논리 및 이용 가능한 증거를 가지고, 이 경로를 확인해주거나 교정을 제안하며, 그러한 과정에서 실체가 드러난다". CA의 최종 결과는 특정 상황에서 프로그램이 어떻게 생겼는지, 어떻게 차이를 만들었는지, 그 이유는 무엇인지를 명확히 설명하는 강력하고 신뢰할 수 있는 contribution story를 만드는 것이다.

The impact pathway is a way to describe the “theory of change”; CA is used to test this theory “against logic and evidence available … and either confirms or suggests revisions … where reality appears otherwise.”31(p54) The end result is a robust and credible contribution story that provides a clear description of what a program looks like in a particular context, how it has made a difference, and why.


CA를 수행하려면 사고의 엄격함rigor in thinking이 최우선 관심사가 되는 사고방식이 필요하다(표 1 참조).26,35 rigor in thinking이란, 다양한 프로그램 활동 간의 연관성, 근위부 및 원위부 결과와의 관계, 그러한 관계의 기저에 깔린 기본적 가정에 대한 타당한 설명을 제공하는 능력을 의미한다. 그것은 다양한 이론들로부터 가정을 설명하는 방법을 이끌어낼 능력을 수반한다. 

Undertaking a CA requires a mind-set in which rigor in thinking becomes an overriding concern (see Table 1).26,35 By rigor in thinking, we mean the ability to provide a plausible description of the linkages between multiple program activities, their relationship to proximal and distal outcomes, and the underlying assumptions informing those connections. It entails the capacity to draw from different theories in articulating assumptions. 


연구 결과를 설명할 때, 엄밀한 사고방식rigor in thinking은 원래 틀을 벗어나 여러 가설을 고려할 수 있는 능력을 필요로 하며, 영향 경로 내에서 추론이 강하거나 약할 수 있는 위치를 식별할 수 있어야 한다.31,36 (CA에서도) 방법론의 엄격함rigor in methodology는 여전히 중요하지만, 그보다는 다양한 정보원에서 정보를 수집하는 데 초점을 맞추고 있으며, 이 정보들은 프로그램 활동이 관찰된 결과를 어떻게 유도하는지에 대한 해석에 도움을 준다. 사실, 복잡성의 상태에 따라, contribution story는 특정 맥락 안에서 몇 번에 걸쳐 반복적으로 이루어져야 할 수도 있다. 다음 섹션에서는 이러한 CA를 CBME에 어떻게 적용할 수 있는지 설명합니다.

In explaining findings, rigor in thinking requires the ability to consider multiple hypotheses beyond the original framing, as well as to identify where inferences may be stronger or weaker within the impact pathway.31,36 Rigor in methodology remains important, but focuses on collecting information from a variety of sources that shed light on the interpretation of how the program activities lead to observed outcomes.31 In fact, in keeping with the condition of complexity, it is expected that the contribution story will require several iterations to unfold within a particular context. In the following section we consider how such a CA could be applied to CBME.



CA를 CBME에 적용하기

Applying CA to CBME


CA는 정부 프로그램의 시행을 단순히 감시하는 관례를 벗어나는 방법으로 처음 개발되었다.

CA was first developed as a way to move past the practice of simply monitoring the implementation of government programs


CA는 평가에 대한 이론-기반 접근법으로 묘사되어왔으며, Mayne는 CA가 복잡성의 조건 하에서 신뢰할 수 있는 인과관계를 주장 할 수 있는 체계적인 방법을 제공한다고 제안하였다.

CA has been described as a theory-based approach to evaluation,38 and Mayne39 proposes that it provides a systematic way to make credible causal claims under conditions of complexity.


CA는 아직 의학교육에 적용되지 않았지만, [복수의 인과관계 주장을 엄격하고 신뢰할 수 있는 방식으로 검토해야 하는] 주요 커리큘럼 혁신 평가에 강력한 접근방식이 될 수 있다는 것이 제안되었다.

Although CA has not yet been applied to medical education, it is suggested that it can be a powerful approach to evaluating a major curriculum innovation for which multiple causal claims must be examined in a rigorous and credible fashion.27,35


CBME의 잠재적 변화 이론(그림 2 참조).

potential theory of change for CBME (see Figure 2).



1단계: 해결해야 할 원인 및 결과 문제 해결

Step 1: Set out the cause-and-effect issue to be addressed


    • CBME가 복잡한 서비스 개입임을 인식하고, 이에 따라 기여와 귀인의 문제를 수용하는 것(표 1 참조)은 CA 수행에 있어 중요한 첫 번째 단계입니다. 

    • 그 다음 과제는 CBME가 구현된 특정 설정에서 원하는 CA의 초점과 범위를 결정하는 것이다. 

    • [특정 기관의 맥락에서의 CBME의 구현에 다른 영향요인이 어떻게 작용할 수 있는가를 명확하게 밝히는 것]은 이 개괄적인 논의의 중요한 부분이다.

    • Acknowledging that CBME is a complex service intervention, and accordingly embracing the question of contribution versus attribution (see Table 1), is a critical first step in conducting a CA. 

    • The challenge then is to determine the desired focus and scope of the CA in a particular setting where CBME has been implemented. 

    • Clearly articulating how other influencing factors may shape the implementation of CBME in a particular institutional context is an important part of this opening discussion.



2단계: 가정된 변화 이론 개발

Step 2: Develop a postulated theory of change


CA의 핵심 과제는 CA의 초점과 범위를 포착하는 theory of change을 설명하는 것입니다. 여기서 어려운 점은 관심 결과에 가장 큰 영향을 미칠 수 있는 요인을 식별하고 강조하는 것이다. 근위부 및 원위부 결과가 시간적 선후관계 방식으로 배열되는 result chain은 theory of change의 백본을 형성한다.33,34

A central task in CA is to illustrate a theory of change that captures the focus and scope of the CA. The challenge is to identify and highlight factors that are most likely to influence the outcomes of interest. The results chain, in which the proximal and distal outcomes are arranged in a temporal fashion, forms the backbone of the theory of change.33,34


그림 2는 모든 CBME 프로그램에 맞춰 조정할 수 있는 일반 모델을 제공합니다.

Figure 2 provides a generic model that can be adapted to any CBME program.


성과를 프로그램 활동에 연결하는 것은 결과result 체인의 또 다른 중요한 요소이다. 이는 CBME 프로그램이 구현될 때 발생할 수 있는 예상 산출물을 설명하는 output box(그림 2)에 나와있다.

Linking the outcomes to program activities is another critical element of the results chain. This is captured by the outputs box of Figure 2, which describes the anticipated products that should arise as the CBME programis implemented—


따라서, [프로그램 성과] 또는 [성과와 연결된 예상 산출물]을 명확히 하는 것도 결과 사슬을 형성하는데 중요한 측면이다.

Therefore, articulating program outputs, or the anticipated products that lead to outcomes, is also an important aspect of forming a results chain.


변화 이론을 완성하려면 결과와 산출물에 대해 예상되는 가정과 위험을 설명해야 한다. 이것을 기술하는 것은 CBME 분야와 관련된 여러 이론에 근거해야 하며, 다양한 이해관계자의 가정을 반영하면서 쉽게 resonate해야 한다.34 CBME는 여러 이론들이 프로그램 활동의 기초가 되기 때문에 특히 어려울 수 있습니다.15,45

To complete the theory of change, the assumptions and risks anticipated for the outcomes and outputs should be described. The statements should be grounded in theories related to the CBME field and reflect and readily resonate with various stakeholder assumptions.34 This can be particularly challenging in CBME, where multiple theories underlie program activities.15,45


차트 1은 가정과 위험을 알리는 데 사용할 수 있는 가이드의 예입니다(그림 2 참조). 차트 1에서 

    • 가정(오른쪽 열)의 목록은 CBME가 작동하는 이유를 설명하기 위해 행동 이론을 가리킵니다. 

    • 위험(왼쪽 열)은 프로그램이 구현된 방법 또는 구현 이론과 관련이 있습니다. 

Chart 1 is an example of a guide that may be used to inform the assumptions and risks (see Figure 2). In Chart 1, 

    • the list of assumptions (right-hand column) points toward theories of actions to explain why CBME works. 

    • The risks (left-hand column) relate to how the program was implemented or the implementation theory

또한 프로그램이 가정과 위험을 통제할 수 있는 정도까지 주의를 기울여야 한다(그림 2의 legend 참조).

Attention must also be paid to the extent to which the program has control over the assumptions and risks (see Figure 2’s legend).


프로그램 이론(또는 theory of change의 요약을 제공하는 가장 중요한 문구)은 이 프로세스의 토대이다31

The program theory, or the overarching statement that provides a summary of the theory of change, is a grounding feature of the process31



3단계: 기존 증거 수집

Step 3: Gather existing evidence


3단계에서 초점은 논리와 이용 가능한 증거를 가지고 theory of change 을 시험하는 것이다. 광범위한 증거를 모을 수 있다. 핵심은 구체적인 증거가 무엇이며, 무엇이 가장 필요한지를 결정하는 것입니다.

In Step 3, the focus is to test the theory of change against logic and available evidence. A wide range of evidence could be gathered, and so the key is to determine where concrete evidence is available and is most needed.


그림 2에서 다음 질문 중 하나가 증거 수집의 초점을 형성할 수 있다.

in Figure 2 any one of the following questions could form the focus for gathering evidence.


1. 역량으로 발전하는 개별 레지던트의 경로는 어떻게 보이는가?

2. CBME와 관련된 커리큘럼 활동(예: 학습 경험, 교수 방법, 평가 시스템)은 이러한 경로의 개발에 어떻게 기여하는가?

3. 이러한 경로가 practice 시작 시 역량 개발에 어떻게 기여했는가?

4. 이러한 능력은 어느 정도까지 지역 인구의 건강 요구에 부합하는가?

5. 역량과 환자관리성과 사이의 관계는 무엇입니까?

1. What do pathways look like for individual residents as they progress toward competence?

2. How do the curricular activities (e.g., learning experiences, teaching methods, assessment systems) associated with CBME contribute to the development of these pathways?

3. How have these pathways contributed to the development of competence upon entry to practice?

4. To what extent are these competencies aligned with the health needs of the local population?

5. What is the relationship between the competencies and patient care outcomes?


이러한 질문은 

    • 로그램 프로세스(예: 프로그램이 의도한 대로 구현되었는가)— 질문 1과 2

    • 로그램 성과(예: 프로그램의 영향은 무엇이었습니까?—질문 3, 4, 5

를 모두 다루고 있다.

These questions cover both program processes (e.g., Was the program implemented as intended?—See questions 1 and 2) as well as outcomes(e.g., What was the impact of the program?—See questions 3, 4, and 5).


CA는 특정한 근위부 및 원위부 결과를 달성하는 과정에서 [프로그램이 어떻게 차이를 만드는지]에 대한 이야기를 하기 위해 복수의 근거 출처(예: 정량적, 정성적, 이전 연구 또는 문헌)에 의존한다.

CA relies on multiple sources of evidence (e.g., quantitative, qualitative, a review of previous studies or the literature) to tell the story of how a program is making a difference to achieve specific proximal and distal outcomes.


단계 4: 기여 스토리 구성하기

Step 4: Assemble the contribution story


이용 가능한 증거를 사용하여 이제 기여 스토리가 모일 수 있다. 1~3단계를 따랐다면, 신뢰할 수 있는 기여 스토리는 다음의 요소를 갖춰야 한다

Using the available evidence a contribution story can now be assembled. In keeping with Steps 1 to 3, a credible contribution story contains the following elements31(p87):


• 컨텍스트를 철저히 기술한다.

• 변화 이론이 타당하다.

• 활동, 결과 산출물 및 관찰된 성과를 잘 기술한다.

• 변경 이론의 핵심 링크를 뒷받침하는 증거가 제시되며, 여기에는 장점과 단점에 대한 논의도 포함된다.

• 분석 결과가 설명된다.

• 기타 영향 인자에 대해 논의한다.

• the context is thoroughly described;

• the theory of change is plausible;

• activities, resulting outputs, and observed outcomes are well described;

• the evidence behind the key links in the theory of change is presented, including a discussion of the strengths and weaknesses;

• the results of the analysis are explained; and

• other influencing factors are discussed.


그러한 이야기를 만드는 것은 체인의 어떤 연결고리가 강력한 증거에 의해 지지되고 어떤 연결고리가 약한지를 판단하는 데 도움이 된다.

Creating such a story helps to determine which links in the chain are supported by strong evidence and which may be weak.43,44,48


5단계: 추가 근거 찾기

Step 5: Seek out additional evidence


기여 스토리를 조립할 때, 이해를 증진시키거나 변화 이론의 특정한 연계를 강화하기 위해 더 많은 데이터가 필요하다는 것이 명백해질 수 있다. 전체적인 목표는 기여 스토리의 신뢰성을 향상시키는 것이기 때문에, 결과의 삼각측량은 매우 중요하다. 명백하게, 4단계와 5단계를 모두 수행하는 과정에서 변화이론이 수정될 수 있다. 실제로, 변화 이론을 만드는 것은 언제나 [프로그램 활동과 결과에 대한 지속적인 이해를 가능하게 하는 지속적이고 반복적인 과정]으로 보아야 한다.


In assembling the contribution story, it may become apparent that more data are needed to improve understanding or to strengthen certain linkages of the theory of change. Because the overall goal is to improve the credibility of the contribution story, triangulation of findings is an important consideration. In undertaking both Steps 4 and 5, it may also become apparent that the theory of change needs to be revised. Indeed, creating a theory of change should always be viewed as an ongoing, iterative process allowing for an ever-deepening understanding of program activities and outcomes.



6단계: 기여 스토리의 수정 및 강화

Step 6: Revise and strengthen the contribution story


이 새로운 증거를 사용하면 더 강력한 기여 스토리를 만들 수 있다. 실제로 바람직한 CA의 전체 프로세스는 3단계에서 6단계까지의 반복적 접근 방식이다. 

Using this new evidence, a stronger contribution story can be created. Indeed, the entire process of CA is best used as an iterative approach in which Steps 3 to 6 are seen as an ongoing cycle


CA를 이용한 프로그램 평가에 대한 접근법은 일회성 활동이 되어서는 안 되며, 그보다는 시간이 지나면서 펼쳐지는 이야기를 제공하기 위한 것이어야 한다. 실제로 한번에 모든 인과적 요인을 검토하는 것은 너무 어려울 수 있다.36 때로는 프로그램이 1년 또는 그 다음 해에는 요인 중 하나를 탐구하는 데 초점을 맞추는 것이 보다 실현 가능하여 전체적인 기여 이야기를 만들 수 있다. 특히 CBME의 경우와 같이 전반적 변화 이론이 복잡한 경우에 CA를 실행할 때는 다수의 작고 집중적인 평가를 수행하는 것이 바람직할 수 있다.

The approach to program evaluation using CA is not intended to be a one-off activity; rather, it is meant to provide a story that unfolds over time. Indeed, experience suggests that it may be too challenging to examine all causal factors at once.36 At times, it may be more feasible for a program to focus on exploring one of the factors one year and another the following year, thereby creating an overall contribution story. When the overall theory of change is particularly complex, as may be the case with CBME, conducting a number of smaller, focused evaluations may be a preferable approach when conducting a CA.31


시작하기

Getting Started


다른 이론 기반 접근방식과 달리 CA에서의 변화이론은 이해관계자의 가정을 명확히 포착해야 한다.27 따라서, CA는 (특히 시작 단계에서) 여러 이해관계자 간의 숙의와 의견 일치에 의존한다35,36 따라서 CBME를 구현하려는 사람은 초기 단계에서부터 이 과정에 참여해야 한다.

Unlike other theory-based approaches (e.g., realistic evaluation), CA requires that the theory of change clearly capture stakeholders’ assumptions.27 Consequently, CA relies on deliberation and consensus building among multiple stakeholders, particularly at the inception phase.35,36 Thus, it is recommended that those implementing CBME be engaged in this process at the outset.26,29


CBME에서 CA 의 중요성

 The Importance of CA to CBME


CBME는 복잡한 서비스 개입으로서 활동, 결과 및 이론을 연결하는 접근 방식인 평가에 대한 다른 접근 방식을 필요로 합니다. 이 접근법의 가장 중요한 도전은 변화 이론을 개발하고 이 이론을 논리와 이용 가능한 증거에 반하여 검증하는 것이다.

As a complex service intervention, CBME requires a different approach to evaluation: an approach that links activities, outcomes, and theory. The central challenge of this approach, is to develop a theory of change and then test this theory against logic and available evidence.


따라서 CA를 수행할 때 복수의 가설과 경로를 고려하는 능력과 함께 사고의 정밀성이 기초가 된다. 또한 CA는 increasing sophistication of practice의 포착을 목적으로 하고, 복잡한 정보를 통합하는 능력을 핵심 기술로 하는 현재의 프로그램 평가 경향과도 일치한다.52

Accordingly, in conducting a CA, rigor in thinking, together with the ability to consider multiple hypotheses and pathways, becomes foundational. CA is also consistent with current directions in program evaluation that aim to capture the increasing sophistication of practice51 and for which the ability to integrate complex information is becoming a key skill.52


필요한 전문 지식, 경험 및 노력의 수준을 감안할 때, CA를 수행하는 것이 모든 상황에서 실현 가능한 것은 아니라는 점을 인정하는 것이 중요합니다.

Given the level of expertise, experience, and effort required, it is important to acknowledge that undertaking a CA may not be feasible in every situation.




35 Moreau KA, Eady K. Connecting medical education to patient outcomes: The promise of contribution analysis. Med Teach. 2015;37:1060–1062. XXX










 2017 Jun;92(6):752-758. doi: 10.1097/ACM.0000000000001479.

Using Contribution Analysis to Evaluate Competency-Based Medical Education ProgramsIt's All About Rigor in Thinking.

Author information

1
E. Van Melle is senior education scientist, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada, and clinician-educator, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada. L. Gruppen is professor, Department of Learning Health Sciences, University of Michigan Medical School, Ann Arbor, Michigan. E.S. Holmboe is senior vice president, Milestones Development and Evaluation, Accreditation Council for Graduate Medical Education, Chicago, Illinois. L. Flynn is vice dean of education, Faculty of Health Sciences, Queen's University, Kingston, Ontario, Canada, and clinician-educator, Royal College of Physicians and Surgeons of Canada, Ottawa, Ontario, Canada. I. Oandasan is director of education, College of Family Physicians of Canada, Mississauga, Ontario, Canada, and professor, Department of Family and Community Medicine, University of Toronto Faculty of Medicine, Toronto, Ontario, Canada. J.R. Frank is director, Specialty Education, Strategy, and Standards, Office of Specialty Education, Royal College of Physicians and Surgeons, Ottawa, Ontario, Canada.

Abstract

Competency-based medical education (CBME) aims to bring about the sequential acquisition of competencies required for practice. Although it is being adopted in centers of medical education around the globe, there is little evidence concerning whether, in comparison with traditional methods, CBME produces physicians who are better prepared for the practice environment and contributes to improved patient outcomes. Consequently, the authors, an international group of collaborators, wrote this article to provide guidance regarding the evaluation of CBME programs.CBME is a complex service intervention consisting of multiple activities that contribute to the achievement of a variety of outcomes over time. For this reason, it is difficult to apply traditional methods of program evaluation, which require conditions of control and predictability, to CBME. To address this challenge, the authors describe an approach that makes explicit the multiple potential linkages between program activities and outcomes. Referred to as contribution analysis (CA), this theory-based approach to program evaluation provides a systematic way to make credible causal claims under conditions of complexity. Although CA has yet to be applied to medicaleducation, the authors describe how a six-step model and a postulated theory of change could be used to examine the link between CBME, physicians' preparation for practice, and patient care outcomes.The authors argue that adopting the methods of CA, particularly the rigor in thinking required to link program activities, outcomes, and theory, will serve to strengthen understanding of the impact of CBME over time.

PMID:
 
28557934
 
DOI:
 
10.1097/ACM.0000000000001479


CBME와 CPD: 변화를 위한 개념화(Med Teach, 2017)

Competency-based medical education and continuing professional development: A conceptualization for change

Jocelyn Lockyera, Ford Burseyb, Denyse Richardsonc,d, Jason R. Frankd,f, Linda Snelld,e and Craig Campbelld,g;

on behalf of the ICBME Collaborators





도입

Introduction


역량 기반 의료 교육(CBME)의 출현은 대학원 의학 교육을 결과 중심 교육 및 평가 모델로 전환하고 있습니다(Englander & Carracio 2014). CBME 원칙들은 아직 지속적 전문성 개발(CPD)에는 널리 채택되지는 않았지만, 우리는 CBME 원칙들이 레지던트 교육에서만큼이나 중요하다고 본다.

The advent of competency-based medical education (CBME) is transforming postgraduate medical education to an outcomes-driven education and assessment model (Englander & Carraccio 2014). Although CBME principles have yet to be widely adopted in continuing professional development (CPD), we posit that they are just as important  as they are during residency training,


평가 활동과 교육적 개입은 상호 의존적이고 상호작용적입니다. 평가 활동도 교육적 개입일 수 있습니다. 특히 피드백이 그러한 활동의 필수적인 부분일 때 더욱 그러합니다.

assessment activities and educational interventions are interdependent and interactive: assessment activities can also be educational interventions, particularly when feedback is an integral part of those activities.


CPD에서 변화해야 하는 이유

The rationale for change in CPD


연구 결과에 따르면 공식 CPD 활동에 참여하는 의사가 참여하지 않는 동료보다 더 나은 치료를 제공할 가능성이 높다고 한다(Goulet et al. 2013; Wenghofer et al. 2014). 그러나 동시에 또한 공식적인 그룹 학습이 행동 변화와 환자 결과에 미치는 영향에는 한계가 있다 (Forsetlund et al. 2009). 또한 suboptimal한 의료를 하는 의사는 다음과 같은 경향이 있다. 

  • 격리(연령에 의해 또는 단독 진료로 인해)된 상태로 진료

  • 그들의 전문지식 범위 밖에서 진료

  • 진료 범위에 부합하는 certification이 없음 (Choudhry et al. 2005; Grace et al. 2014).

Although research findings show that physicians who participate in formal CPD activities are more likely to provide better care than their peers who do not participate (Goulet et al. 2013; Wenghofer et al. 2014), it is also recognized that there are limitations to the impact of formal group learning on behavior change and patient outcomes (Forsetlund et al. 2009). also physicians identified as practising at a suboptimal level tend to be those who 

  • are isolated (whether by age or by virtue of working in a solo practice), 

  • are practising outside the scope of their expertise, and 

  • do not hold certification congruent with their scope of practice (Choudhry et al. 2005; Grace et al. 2014).


CME는 의사가 진료 영역에서 치료를 제공할 준비가 충분히 되어 있는지 여부를 결정하기 위해 자신의 재량에만 의존하지 않도록 하는 중요한 역할을 한다. 의사의 자기 평가 능력에 대한 알려진 한계를 감안한다면, 역량을 유지하는 것은 어렵다. (Davis et al. 2006; Sarnor et al. 2010; Lockyer et al. 2011) . CPD의 CBME는 이러한 인식의 결여lack를 해결하는 데 사용할 수 있는 잠재력을 가지고 있으며, 격차gap을 식별하여 지속적인 학습과 이후의 임상 행동변화를 유도할 수 있다.

Continuing medical education has a vital role to play ensuring that physicians do not rely solely on their own discretion to determine whether they are sufficiently prepared to deliver care in an area of practice. Maintaining competence is challenging, given the known limitations to physicians’ ability to self-assess (Davis et al. 2006; Sargeant et al. 2010; Lockyer et al. 2011) . CBME in CPD has the potential to use to address this lack of awareness and identified gaps to guide ongoing learning and subsequent changes in clinical practice.


또한 의사가 그들의 직업의 과정을 통해 만드는 많은 전환점들도 부정적 효과를 유발할 수 있다. 한 전환점에서는 의사의 역량이 변화하는 진료범위에 부합하는지를 평가하는 것이 중요하다(Lockyer et al. 2014, 2015). 의사들은 필연적으로 다음과 같은 이유로 몇 번의 전환을 맞게 된다

  • 로운 기술(기술 개발 필요), 

  • 지리적 위치(새로운 문화 및 지역사회 규범에 적응해야 함) 

  • 개인의 요구나 공동체의 필요를 충족시키기 위해 새로운 방향으로 직업을 바꾸는 것.

also the many transitions points that physicians make over the course of their careers can have deleterious physicians effects. At transition it is critical for to assess whether their competence remains aligned to their evolving scope of practice (Lockyer et al. 2014, 2015). physicians inevitably make several transitions in succeeding years in response to new technology (which requires skill development), geographic relocation (which requires adaptation to new cultural and community norms), or the refocusing of a career in a new direction to meet personal or community needs.



CBME를 CPD에 적용하기

Applying CBME to CPD


CBME 자체는 "졸업성과에 근본적으로 초점을 맞추고 사회적, 환자의 필요성의 분석에서 도출된 능력을 중심으로 구성된, practice 준비를 위해 의사를 양성하는 접근법으로서, 시간 기반 교육은 강조하지 않으며 책임, 유연성 및 학습자 중심성이 향상됩니다." (Frank et al. 2010a, 페이지 636).

CBME itself is described as “an approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and organized around competencies derived from an analysis of societal and patient needs. It de-emphasizes time-based training and promises greater accountability, flexibility, and learner centeredness.” (Frank et al. 2010a, p. 636).


CBME는 다음과 같이 세 가지 학습 원리에 기초합니다. 

(1) 교육은 제공되는 인구의 건강 요구에 기초해야 한다. 

(2) 교육 및 훈련의 일차적인 초점은 (교육 시스템의 구조와 과정보다는) 학습자에게 기대되는 성과여야 한다. 

(3) 의사의 형성은 전문지식의 지속적인 발전이며 교육 및 진료의 연속체상에서 원활해야 한다(Frank et al. 2010b; Carracio et al. 2016).

CBME is based on three principles of learning, as follows: 

(1) education must be based on the health needs of the populations served; 

(2) the primary focus of education and training should be the desired outcomes for learners rather than the structure and process of the educational system; and 

(3) the formation of a physician is a continuous progression of expertise and should be seamless across the continuum of education and practice (Frank et al. 2010b; Carraccio et al. 2016).


CBME는 실무 전반의 전문지식 향상을 지향한다. 그러나, 학부 및 졸업후 의학교육과 비교했을 때, CPD는 평가 및 감독, 피드백과 관련하여 더 개인화되고 덜 구조화되었다. 그럼에도 불구하고, [마일스톤 평가 또는 EPA를 통한 역량 입증이라는] 핵심적 CBME 개념은 CPD의 목표와 쉽게 일치된다.

CBME is oriented toward achieving progression in expertise throughout practice. However, in comparison with undergraduate and postgraduate medical education, CPD has been more individualized and less structured with respect to role of assessment and oversight and the feedback. Nonetheless, the core CBME concept of demonstrating competencies of through the assessment milestones or EPAs is easily aligned with the goals of CPD.



의사에게 역량기반 CPD모델을 적용하기 위한 핵심 요소

Key elements required to support a competency-based CPD model for physicians


현재, 면허증의 재검증, 재인증, 능력 유지 등의 용어가 이 시스템을 설명하는 데 사용된다. 이것들은 모두 의사들의 지속적인 전문적 발전을 보장하는 것과 관련이 있다. 이 시스템은 나라마다 각자의 상황에 따라 개발되었다.

    • 주로 의료 규제의 실패에 대한 대중의 우려에 대응(영국)

    • 의료 품질 격차 해소 필요성(미국) 

    • 전문직이 Practice에서 competent performance에 대해 헌신하고 있음을 보여줄 필요성(캐나다). 

이러한 각각의 시스템은 그들 자신의 방식으로 투명성과 책임감을 높이고 대중의 신뢰를 유지하기 위해 고안되었다.

Currently, the terms revalidation, recertification, maintenanceof competence, and maintenance of licensure are used to describe systems related to affirming the continuing professional development of physicians. These systems have been developed in different countries, primarily in response to 

    • public concerns regarding the failure of medical regulation(United Kingdom), 

    • the need to address the quality-of-care gap (United States), and 

    • the need for the profession to demonstrate commitment to competent performance in practice (Canada). 

In their own way, each of these systems is designed to promote greater transparency and accountability and to maintain the public’s trust.



그림 1에서 볼 수 있듯이, 최소 세 가지 요소가 있다.

    • 역량 체계: 반적으로 유지해야 하는 역량에 대한 성찰을 가이드하는 기초를 제공한다. 

    • 실행 범위: 의사의 전문적 역할, 책임 및 업무 맥락에 대한 검토를 바탕으로 업무별 니즈의 식별을 촉진한다. 

    • 성능 데이터: 개선해야 할 부분을 파악해야 합니다.

As illustrated in Figure 1, there are at least three elements : 

    • the competency framework, which provides the foundation that guides reflection on the competencies that must be maintained in general; 

    • scope of practice,which stimulates the identification of practice-specific needs based on a review of the physician’s professional roles, responsibilities, and practice context; and 

    • performance data, which identify areas for improvement. 



1. 더 광범위한 역량 목록. 

CPD에 대한 CBME 접근법은 (임상 전문지식과 직접 관련된 것 뿐만 아니라) 모든 역량에 대한 데이터 수집 및 보고 메커니즘을 개발하는 방향으로 철학적인 변화를 수반할 것이다. 

1. A broader list of competencies. A CBME approach to CPD would entail a philosophical shift in favor of developing data capture and reporting mechanisms for all competencies – not just those pertaining directly to clinical expertise.


2. 실무 전문지식의 진전 

실습을 위한 역량, 이정표 및 EPA에 대한 설명이 필요하다. 각 전문 분야별로 EPA와 단계별 목표를 기술하는 작업이 필요합니다.

2. Progression of expertise in practice. A delineation of competencies, milestones, and EPAs for practice will be needed. Work is required within each specialty to delineate EPAs and milestones within the context of practice.


3. 의료행위의 범위에 따른 정렬 

CBME 접근법은 (practice를 위한 학습의 성과를 입증하기 위해) 의사의 직무 범위와 일치하는 학습 경험을 수행하도록 요구할 수 있다. 

3. Alignment with scope of practice. A CBME approach would require that learning experiences be undertaken in alignment with a physician’s scope of practice to demonstrate outcomes of learning for practice, including areas of competence.


4. 실습 기반 학습 지원 

Practice에서 학습의 향상은 코칭 및 동료 피드백과 같은 지원을 통해, 의사의 직무에 anchor된 학습 계획을 개발하고 구현할 수 있습니다.

4. Practice-based learning support. Enhanced learning in practice would benefit from assistance such as coaching and peer feedback to develop and implement plans of learning anchored in the physician’s work.


5. 다층적 평가 시스템. 

작업장에서 개인, 그룹 또는 팀의 성과를 포함하는 AOL, AFL 평가 시스템 구축

온라인, 실험실 및 교실 환경과 같은 다양한 맥락에서 지식과 기술의 평가.

5. Multi-level assessment systems. The creation of assessment systems of and for learning will be needed (see Lockyer et al. 2017, in this issue), encompassing the performance of individuals, groups, or teams in the workplace as well as assessments of knowledge and skills demonstrated in various contexts, such as online, in the laboratory, and in classroom settings.


6. 보고 체계 

e-포트폴리오 시스템과 같은 보고 구조를 생성하면 의사는 자신의 역량을 계획하고 유지하는 방법을 추적하고 증명할 수 있다.

6. Reporting infrastructure. The creation of reporting structures such as e-portfolio systems would enable physicians to track and to demonstrate how they are planning and maintaining their competence.



다음 세대의 CPD를 위한 학습활동 변화

Transforming learning activities for next generation CPD


교육적 회의 또는 그룹 학습 활동은 혼합된 대화형 형식과 didactic 형식을 사용하고, 심각하다고 여겨지는 결과에 초점을 맞춤으로써 의사 행동 변화 또는 환자 결과 개선에 대한 효과를 높일 수 있다. 그러나 교육적 회의educational meeting만으로는 복잡한 행동을 바꾸는 데 효과적이지 않다(Forsetlund et al. 2009).

Educational meetings or group learning activities that use mixed interactive and didactic formats and focus on outcomes that are perceived as serious may increase the effectiveness of educational meetings on changing physician behaviors or improving patient outcomes. However, educational meetings alone are not likely to be effective for changing complex behaviors (Forsetlund et al. 2009).


캐나다의 accredited CPD 활동에 대한 최근 조사는, 그러한 활동이 의사가 행동 변화를 보이도록 증거를 분석하고, 새로운 정보를 평가하고, 학습 활동을 계획함으로써 지식을 실천하도록 준비시키도록 설계되기보다는, 정보를 기억하고 이해하는 데 초점을 맞추고 있었기 때문에 임상 행동 변화를 촉진하지 않음을 보여주었다. (L egar e et al. 2015). 쌍방향, 실무 기반 및 종방향인 CPD를 설계하면 더 나은 결과를 얻을 수 있다(Marinopoulos et al. 2007; Forsetlund et al. 2009).

A recent examination of Canadian accredited CPD activities showed they were not designed to promote clinical behavior change because their focus was on remembering and understanding information instead of preparing physicians to put knowledge into practice by analyzing evidence, evaluating new information, and planning learning activities that lead to behavior change (L egar e et al. 2015). Designing CPD that is interactive, practice-based, and longitudinal is likely to yield better outcomes (Marinopoulos et al. 2007; Forsetlund et al. 2009).


의사들과 교육자들은 새로운 학습 접근법을 채택 및 촉진하고 있으며, 행동의 변화란 의사 특성과 시스템 요인의 영향을 받는 복잡한 과정이라는 것을 인식하고 있습니다(Greenhalh et al. 2004). 혁신적인 접근법의 예는 다음과 같다.

Physicians and educators are adopting and promoting new approaches to learning, recognizing that changing behavior is a complex process affected by physician characteristics and systemic factors (Greenhalgh et al. 2004). Examples of innovative approaches


    • 정기적으로 만나는 소규모 그룹의 학습 활동. 가족 주치의의 경우, 그룹에게 연습 기반 사례를 처리하도록 돕고 증거 기반 지침 및 기타 자료를 바탕으로 한 실무 기반 소그룹 2004년(Herbert et al., Herbert et al.,). 

  Learning activities in small groups that meet regularly.For family physicians, practice-based small groups,guided by a facilitator who assists the group to workthrough practice-based cases, drawing upon evidence-based guidelines and other materials, have demon-strated their effectiveness (Herbert et al. 2004; Armson &Wakefield 2013). 


    • 함께 근무하는 특정 의사 그룹에 초점을 맞춘 라운드 또는 다양한 교육 프로그램. 라운드는 실제 임상 상황 또는 차트 검토, 관리 데이터베이스, 병리 및 사망률 검토의 성과 데이터를 기반으로 할 수 있습니다. 목표는 시스템 개선과 함께 자체(개인) 또는 그룹 데이터에 대한 의사 토론을 촉진하는 것입니다. 이러한 측면에서, 종양 보드는 그 효과를 입증했다(Lamb et al. 2013). 마찬가지로, 팀이 솔루션 및 협업 관리를 논의하도록 하는 전문가 간 학습 활동도 일부 상황에서는 효과적이라는 것이 입증되었습니다(Reeves et al. 2013).

  Rounds and educational programs focused on a specific group of physicians who work together. Rounds may be based on actual clinical situations or on performance data from chart reviews, administrative databases and morbidity and mortality reviews; the objective is to facilitate physician discussion of their own (personal) or group data along with an examination of systems that may need improvement. In this regard, tumor boards have demonstrated their effectiveness (Lamb et al. 2013). Similarly, interprofessional learning activities that bring the team together to discuss solutions and collaborative care have been shown to be effective in some circumstances (Reeves et al. 2013).


    •   의사가 작업 강사, 마네킹 및 표준화된 환자와 함께 절차 및 기술을 다듬을 수 있는 시뮬레이션 활동 및 피드백이 포함된 팀기반 활동(Boet et al. 2014;Magg). 

  Simulation activities that enable the physician to practise procedures and skills with task trainers, mannequins,and standardized patients, as well as participation in team-based activities with feedback (Boet et al. 2014;McGaghie et al. 2014). 


    •   학습자가 자신의 환경에서 새로운 아이디어, 실무 지침에 통합되고 있는 증거, 그리고 폐기된 실습이 효과적이지 못함을 확인할 수 있도록 informed self-assessment 및 SDL 전략을 수립합니다. 여기에는 보다 일상적인 방식으로 질문을 하고 답변을 찾는 것뿐만 아니라 e-포트폴리오를 사용하여 교육 활동과 질문을 기록하고, 실습을 반영하며, 역량을 입증한다(Lockyer et al. 2011; Gordon & Camp; 2013).

  Informed self-assessment and self-directed learning strategies that enable learners to scan their environment for new ideas, evidence that is being integrated into practice guidelines, and practices that have been discarded as being ineffective. This may also include asking questions and seeking answers on a more routine basis as well as using e-Portfolios to record educational activities and questions, reflect on practice, and demonstrate competence (Lockyer et al. 2011; Gordon & Campbell 2013).



평가 활동 강화

Enhancing assessment activities


재정 시스템 및 전략에는 고용주 및 정부로부터의 동의가 필요합니다. 의사 회비는 그러한 고품질 프로그램의 개발과 실행을 지원하기에 충분하지 않을 것이다. 너무 어려운 프로그램은 의사에게 너무 어려운 장애물이나 과도한 부담이 될 수 있다. 

Funding systems and strategies will require buy-in from employers and governments; physician dues are unlikely to be enough to support the development and implementation of such high-quality programs. The programs cannot be an excessive burden on the physician or a hurdle that is too difficult to cross. 


의사들에게 지속적인 평가와 피드백을 제공할 수 있는 접근법

approaches that can provide physicians with ongoing assessment and feedback


  •   감사와 피드백: 감사와 피드백은 일반적으로 작지만 잠재적으로 중요한 전문적 업무 개선으로 이어집니다. 그 효과는 기준 성과와 피드백 제공 방법에 따라 달라지는 것 같다(Ivers et al. 2012, 2014). 감사에는 의료 기록의 상당히 간단한 검토와 기록된 정보의 표준 비교가 포함되곤 하지만, 더 복잡한 개입 또한 개발되고 있다. 예를 들어 북미 이니셔티브에서 미국 의료 대학 협회 품질 프로그램 정렬 및 교육 프로그램은 데이터 소스 정렬을 지원하고 있으며(예: 재무, 품질, 의뢰, 활용 및 환자 중심 결과 연구) 이와 함께 환자 진료의 질을 개선하기 위한 교육 프로그램을 제공한다(Davis et al. 2013). 

  Audit and feedback: Audit and feedback generally lead to small but potentially important improvements in professional practice. Their effectiveness seems to depend on baseline performance and how the feedback is provided (Ivers et al. 2012, 2014). Although audits can involve fairly simple reviews of medical records and the comparison of recorded information to standards, more complex interventions are also being developed. For example, in North America Initiative the Aligning and the Educating for Quality program of Association of American Medical Colleges supports the alignment of data sources (e.g. financial, quality, referral,utilization, and patient-centered outcomes research)with educational programing to improve the quality of patient care (Davis et al. 2013). 


  •   다중 출처 피드백: 이 유형의 평가는 의사들에게 환자, 의료 동료 또는 동료(예: 간호사, 약사 및 기술 직원)의 관점에서의 관찰 가능한 행동에 대한 데이터를 제공한다. 이러한 유형의 평가 프로그램은 유효성의 증거를 입증했으며 다양한 임상 및 비임상 영역 측정에서 의사 및 외과의사의 성과에 관한 작은 효과와 큰 효과로 뒷받침된다(Al Ansari et al. 2014).

  Multi-source feedback: This type of assessment provides physicians with data about observable behaviors from the perspective of patients, medical colleagues or peers, and coworkers (e.g. nurses, pharmacists, and technical staff). This type of assessment program has demonstrated evidence of validity and is supported by small to large effect-size differences with respect to physician and surgeon performance across different clinical and nonclinical domain measures (Al Ansari et al. 2014).



  • 프로시져 또는 임상 치료를 직접 관찰하고 피드백: 이 접근법은 수술실에서 이미 훈련을 받은 외과의사가 피드백을 제공하기 위해 수술실에서 또는 원격으로 그들과 합류할 수 있도록 고급 기술을 개발하는 외과의사에 의해 사용된다(Birch et al. 2007).

  Direct observation of procedures or clinical care with feedback: This approach is used by surgeons developing advanced skills, such that a surgeon already trained in the procedure joins them in the operating room or remotely to provide feedback (Birch et al. 2007).


Implications and conclusions


CPD 시스템 내에서 CBME 접근 방식을 채택하려면 모든 단계에서 문화적 변화와 자원이 필요합니다. 

  • 개인 실무자는 평생 학습에 대해 책임을 져야 하며 임상 성과 데이터를 보고, 성과 개선 가능성을 확인하며, 이러한 영역에서 역량을 다루는 학습 활동을 조정하는 데 있어 보다 체계적이어야 한다. 

  • 의료 시설 및 의료 시스템의 수준에서는, [의미 있는 임상 작업과 관련된 데이터를 정기적으로 제공하기 위해] 의사 그룹과 협력할 수 있는 직원의 개발 및 교육에 주의를 기울여야 한다. 

  • CPD 제공자 조직은 스스로를 학습 촉진자로 인식하고, 리소스를 탐색하고 협상할 수 있어야 합니다. 

  • [의사 면허를 담당하는 의료 규제 당국]과 [인증 시스템의 유지보수를 통해 자격 증명을 제공하는 대학들]은 학습 성과 보고 방법 및 역량 입증 방법과 관련하여 현재의 기대expectation를 변경할 필요가 있을 것이다.

Moving toward a CBME approach within CPD systems will require a cultural shift and resources to effect the changes needed at multiple levels. 

  • Individual practitioners should remain responsible and accountable for their lifelong learning and need to be more systematic in looking at clinical performance data, identifying performance improvement potential, and aligning learning activities to address competence in these areas. 

  • At the level of the health care facility and health care system, attention will have to be paid to the development and training of personnel who can work with physician groups to provide data on a regular basis that is related to meaningful clinical work. 

  • CPD provider organizations need to see themselves as facilitators of learning and to be able to navigate and negotiate resources. 

  • Medical regulatory authorities responsible for licensing physicians, as well as colleges that provide credentials through maintenance of certification systems, will need to change their current expectations with regard to how learning outcomes are reported and how they demonstrate competence.




 2017 Jun;39(6):617-622. doi: 10.1080/0142159X.2017.1315064.

Competency-based medical education and continuing professional development: A conceptualization for change.

Author information

1
a Cumming School of Medicine, University of Calgary , Calgary , Canada.
2
b Faculty of Medicine, Memorial University of Newfoundland , St John's , Canada.
3
c Department of Medicine , University of Toronto , Toronto , Canada.
4
d Royal College of Physicians and Surgeons of Canada , Ottawa , Canada.
5
f Department of Emergency Medicine , University of Ottawa , Ottawa , Canada.
6
e Centre for Medical and Department of General Internal Medicine , McGill University , Montreal , Canada.
7
g Department of Medicine , University of Ottawa , Ottawa , Canada.

Abstract

Competency-based medical education (CBME) is as important in continuing professional development (CPD) as at any other stage of a physician's career. Principles of CBME have the potential to revolutionize CPD. Transitioning to CBME-based CPD will require a cultural change to gain commitment from physicians, their employers and institutions, CPD providers, professional organizations, and medicalregulators. It will require learning to be aligned with professional and workplace standards. Practitioners will need to develop the expertise to systematically examine their own clinical performance data, identify performance improvement opportunities and possibilities, and develop a plan to address areas of concern. Health care facilities and systems will need to produce data on a regular basis and to develop and train CPD educators who can work with physician groups. Stakeholders, such as medical regulatory authorities who are responsible for licensing physicians and other standard-setting bodies that credential and develop maintenance-of-certification systems, will need to change their paradigm of competency enhancement through CPD.

PMID:
 
28598738
 
DOI:
 
10.1080/0142159X.2017.1315064


의학교육에서 포트폴리오: 왜 성공여부가 다양한가? 체계적 문헌고찰 (Med Educ, 2007)

Portfolios in medical education: why do they meet with mixed success? A systematic review

ERIK DRIESSEN,1 JAN VAN TARTWIJK,2 CEES VAN DER VLEUTEN

1 & VAL WASS





도입

INTRODUCTION


CBME의 어려움은 통합되고, 일관성 있고, 종단적으로 역량 개발을 formative하게 지원하는 도구를 찾고, 역량이 달성되었는지를 summative하게 평가하는 것이다. 포트폴리오는 그러한 도구이다.

The challenge has been to find instruments that formatively support the development of competence in an integrated, coherent and longitudinal fashion and summatively assess whether competence is being achieved.4,5 The portfolio is acclaimed as such an instrument.6


컨텐츠와 포맷의 다양함에도 불구하고 포트폴리오들은 기본적으로 완료된 작업, 피드백, 진행 상황, 역량 향상 계획에 대해 보고한다. 또한 포트폴리오는 성찰을 자극할 수 있는데, 포트폴리오에 포함하기 위한 증거를 수집하려면 과거로 돌아보고 자신이 이룬 것을 분석해야 하기 때문이다.

Despite variations in content and format, portfolios basically report on work done, feedback received, progress made, and plans for improving competence. Additionally, portfolios may stimulate reflection, because collecting evidence for inclusion in a portfolio requires looking back and analysing what one has accomplished.


성찰은 경험, 문제, 기존 지식을 구조화하거나 재구조화하려는 정신적인 과정으로 정의할 수 있습니다.15 이는 학습자가 자신의 발달을 이해하고 학습 계획을 세우는 데 도움이 될 수 있다.15 직무 수행과 역량 개발을 성찰하려면 자기평가를 해야 한다. 즉 학습자는 자신의 성과를 (외부) 표준과 비교해야 한다.

Reflection can be defined as the mental process of trying to structure or restructure an experience, a problem, or existing knowledge.15 This can help learners to understand their development16 and plan their learning.15 Reflecting on task performance and development of competence implies self-assessment or self-rating:17 learners have to compare their own performance with (external) standards.


방법

METHODS


Data sources


Selection of studies


We excluded studies concerning: portfolios for other health professions (nursing, dentistry, dietetics, veterinary medicine), administrators, managers, teachers and trainers in hospitals, management, finance, education, teaching, specialist trainers and academic portfolios; portfolio-related instruments, such as logbooks, personal digital assistants, and personal development plans, and descriptive articles without evaluative data.


Data abstraction


RESULTS


Search results


이러한 연구들 중 많은 것들이 방법론적 한계를 가지고 있었다. 2개의 연구를 제외하고, 21,28개의 모두 단일 그룹 설계를 가지고 있었다. 대다수는 하나의 기관에서 행해졌다. 5가지 연구에서 참여자들은 스스로 선택된 자원한 참가자였다.20,28–31 많은 연구는 포트폴리오의 도입 방법, 표본 추출 프레임, 연구 방법, 데이터 분석 또는 결과에 대한 상세한 설명이 부족했고, 이로 인해 연구의 질을 평가하기 어려웠으며, 결과를 일반화하기 어려웠다


Many of these studies had methodological limitations. With the exception of 2 studies,21,28 all had a single-group design. The majority were conducted in a single institution. In 5 studies, participants were self-selected volunteers.20,28–31 Many studies lacked a detailed description of the portfolio, how it was introduced to its users, the sampling frame, the study method, data analysis or outcomes, which limited our ability to fully appraise the quality of the study or generalise the findings.


목적1. 학습

Goal 1. Learning


전임상 단계에서 수행한 두 가지 연구는 포트폴리오가 1학년 학생들의 성찰 학습에 기여했다고 보고했고, 한 연구는 포트폴리오가 학생들의 개인적, 직업적 발전에 기여했다고 보고했다. 두 개의 연구는 임상 전 종양학 프로그램을 조직, 모니터링 및 평가하고 학생들이 악성 질병이 환자에게 미치는 영향을 이해하는 데 도움이 되는 포트폴리오의 성공적인 사용을 보고했습니다. CME에서 포트폴리오가 사용된 연구는 복합적인 결과를 낳았다. 일부에서는 포트폴리오가 성찰 학습을 촉진하고 CME의 계획과 모니터링을 지원한다고 보고하였다.

Two studies performed in the pre-clinical phase of medical school reported that portfolios contributed to Year 1 students  reflective learning32,33 and 1 study reported that portfolios contributed to students  personal and professional development.22 Two studies reported successful use of portfolios in organising, monitoring and evaluating a pre-clinical oncology programme and helping students understand the impact of malignant disease on patients.21,34 Studies where portfolios were used in CME yielded mixed results. Some reported that portfolios could stimulate reflective learning28,30 and support the planning and monitoring of CME.30


다양한 맥락에 걸친 많은 연구는 기관의 포트폴리오 준비 및 도입에 관한 문제점을 보고했다. 이것의 예는 포트폴리오의 목적이 명확하게 정의되지 않았거나 학습자와 교사들이 포트폴리오와 그것이 포함하고 있는 것에 대해 불충분하게 알고 있었다고 주장했다.35–38 한 연구에서 레지던트와 트레이너 모두의 불충분한 헌신이 포트폴리오의 제한된 사용으로 이어졌다.35 그러나 포트폴리오 설계가 트레이너와 트레이너 모두의 informing, training, gaining commitment에 초점을 맞춘 5개 연구에서는 포트폴리오가 대학원 교육에 적합한 것으로 확인되었다.39–43 한 연구는 포트폴리오의 목적과 절차에 대한 staff의 적절한 브리핑과 함께 실제 도입되었으며, 이는 포트폴리오 점수와 학생 만족도에 긍정적인 영향을 미쳤다.

Many studies across a range of contexts reported problems related to the poor preparation and introduction of portfolios by the institution. Examples of this claimed either that the purpose of the portfolio was not clearly defined35 or that learners and teachers were poorly or insufficiently informed about the portfolio and what it entailed.35–38 In 1 study this resulted in poor commitment from both residents and their trainers and limited use of the portfolio.35 However, in 5 studies where portfolio design centred on informing, training and gaining commitment from both trainers and trainees, portfolios were found to be suitable for graduate training.39–43 One study demonstrated that hands-on introduction with a proper briefing of students by staff on the portfolio s purpose and procedures had a positive effect on portfolio scores and student satisfaction with the portfolio.44


포트폴리오의 사용은 포트폴리오가 단독으로 사용되지 않고 다른 교육 활동의 일부였을 때 더 성공적이었다. 이러한 교육 활동에는 학생들을 종양 환자와 짝짓기, 튜토리얼 그룹 구성 또는 멘토링, 인터뷰 링크 등이 포함됩니다.

The use of the portfolio in undergraduate education was more successful when portfolios were not used in isolation but were part of other educational activities.21,22,32,34 These educational activities included pairing students with oncology patients,21,34 organising tutorial groups35 or mentoring,32 or linkage to an interview.22


CME에서 포트폴리오의 사용 결과를 보면, 종종 최대한의 잠재력을 활용해내지 못함을 암시했다. 이는 주로 과중한 업무부하에 의한 시간 제약20,31과 포트폴리오 유지에 시간이 많이 소요된다는 인식과 관련이 있었다.20,28,45 때때로 외부적인 요인도 문제의 원인이 되었는데, 여기에는 IT 기술 부족 문제(예: 소프트웨어 다운로드에 필요한 IT 기술 부족)등이 있다. 졸업후교육에서는 시간 부족이 한 가지 이슈이다. 연수생과 그 감독자들은 포트폴리오가 너무 시간이 많이 소요되어 사용을 기피할 수 있다고 우려했다. 매더스 등은 실현가능성을 돕기 위해 포트폴리오가 더 똑똑해져야 한다고 호소했다(서류작업이 줄어야). 이러한 효율적인 포트폴리오의 사용을 조사하는 연구는 학부 임상실습생들은 포트폴리오가 노동집약적이다고 생각하지 않았다는 점에서 이러한 가정을 뒷받침한다.

Results of the use of portfolios in CME often suggested that portfolios were not used by doctors to their full potential. This was related mainly to time constraints imposed by high daily workloads20,31 and the perception that maintaining the portfolio was time-consuming.20,28,45 On occasion, studies referred to extraneous issues, including difficulties with information technology, such as problems with downloading necessary software20 or lack of IT skills.31 Lack of time was also an issue for postgraduate training.38,41,46 Trainees and their supervisors were concerned that the portfolio might be too time-intensive and for this reason avoided using it.38,41,46 Mathers et al. made a plea for portfolios to be  smarter  (less paperwork) to aid feasibility.28 A study investigating the use of such an efficient portfolio supports this supposition, as undergraduate clerks did not find the portfolio labour-intensive.47


포트폴리오의 형식은 또한 학습에 기여한 것에 영향을 주었다. 효과적인 포트폴리오는 학습자가 자신만의 고유한 개발을 설명할 수 있는 기회를 제공하는 명확하면서 동시에 유연한 구조를 가지고 있습니다.32,35,48 명확한 지침이 중요했습니다. 대부분의 사용자는 자신이 어떤 종류의 정보를 넣어야 하는지 알고 싶어했다. 흔히 포트폴리오의 내용이 자주 규정되는 임상적 맥락에서, 포트폴리오는 관료적 도구로서 경험되었다. 학습자가 자신의 컨텐츠를 결정할 수 있는 일정량의 자유를 얻었을 때 포트폴리오에 대해 더 긍정적으로 평가하였다.

The format of the portfolio also influenced the contribution it made to learning. An effective portfolio had a clear but flexible structure, allowing learners opportunities to describe their own unique development.32,35,48 Clear instructions were important. Most users wanted to know what kind of information they were expected to provide.29,44,49 In clinical contexts where the content of a portfolio was often highly prescribed, portfolios were experienced as bureaucratic instruments.35–37,45,46 Portfolios were more highly appreciated when learners were given a certain amount of freedom to determine their content.32,50


많은 연구에서 멘토들의 적절한 지원이 부족하다고 보고되었습니다.20,31,35 다른 연구들은 교사, 트레이너 또는 교육 감독자들에 의한 멘토링이 포트폴리오의 성공에 중요한 기여를 했다고 확인했습니다.21,28,32,37,39–4멘토에는 교사, 트레이너, 감독관 또는 동료가 포함되어 있습니다. GP trainee들은 보조 트레이너가 있을 때 그들의 포트폴리오를 더 많이 이용했다. 멘토링의 중요한 영향 때문에, [멘토의 영향]과 [포트폴리오 자체를 완성하는 실용성]을 구분하는 것은 때때로 어려웠다. 분명히, 멘토링은 선생님들과 감독관들의 시간을 필요로 합니다. 하지만, 성찰 능력의 발전과 이해와 이해에 초점을 맞춘 깊은 학습 전략을 장려하는 것을 목표로 한 멘토링은 그럴 만 한 가치가 있었다.

Many studies reported the lack of adequate support from mentors.20,31,35 Other studies confirmed that mentoring by teachers, trainers or educational supervisors made an important contribution to the success of the portfolio.21,28,32,37,39–41,48 Mentors included teachers, trainers, supervisors or peers.31 General practice trainees made more use of their portfolios when they had a supportive trainer.35,38,41 Because of the significant impact of mentoring, it was difficult sometimes to discriminate between the effects of the mentor and the practicalities of completing the portfolio itself.35 Obviously, mentoring requires teacher and supervisor time.32 However, mentoring aimed at stimulating the development of reflective ability32 and deep learning strategies focused on comprehension and understanding28,43 merited the effort.


목적2. 평가

Goal 2. Assessment


포트폴리오 평가의 타당성을 조사하는 연구는 그것이 실제로 성찰 능력에 대한 타당한 시험이라는 것을 증명했다. 성찰의 질은 최종 평가 등급에서 가장 강력한 예측 변수였다. 레이아웃과 작문 스타일과 같은 다른 기준은 무시할 만한 효과를 가지고 있었다. 6개의 연구는 포트폴리오의 평가자간 신뢰성을 추정했다. 이 6개 연구의 평균 신뢰도는 0.63으로, 한 평가자가 다른 평가자로 무작위로 교체될 경우 추정된 신뢰도를 나타낸다. 그러나 2, 3 또는 4명으로 평가자가 증가하는 경우 신뢰도는 각각 0.77, 0.84 및 0.87로 증가합니다. 일반적으로 고부담 테스트에는 0.80의 값이 필요합니다.27 연구는 다수의 조치가 (훈련 받은) 평가자의 소규모 그룹 사용, 실제 평가 전 및 포트폴리오의 일부 사용 후 평가자들 간의 논의와 같은 여러 가지 평가간 합의에 긍정적인 영향을 미친다는 것을 제시했다. 

A study investigating the validity of portfolio assessment51 demonstrated it was indeed a valid test of reflective ability. Quality of reflection was the strongest predictor of the final assessment grade. Other criteria, such as lay-out and writing style, had negligible effect. Six studies estimated the inter-rater reliability of portfolios.45,46,48,51–53 The average reliability across these 6 studies was 0.63, representing the estimated reliability if one assessor were to be randomly replaced by another. However, with 2, 3 or 4 raters, the reliability would increase to 0.77, 0.84 and 0.87, respectively. A value of 0.80 is usually required for high-stakes tests.27 The studies suggested that a number of measures had a positive impact on inter-rater agreement: use of a small group of (trained) assessors;45,46,51–53 

    • discussion among the raters before the actual assessment46,51–53 and after assessing part of the portfolio,46,53 and 

    • the use of global criteria with rubrics.45,46,53


일반적으로, 학생 자신보다 교사와 평가자들이 포트폴리오 평가에 대해 더 많이 지지했다. 예를 들어, 심사관들이 평가를 위한 포트폴리오 사용에 대해 긍정적이었던 연구에서, 최종 학년 학생들은 내용이 사전에 정해진 포괄적인 포트폴리오가 너무 많은 서류 작업이 필요하며, 만약 공식적으로 평가를 하기 위해서는 어떻게 포트폴리오를 구성해야 하는지에 대한 더 advance information이 필요하다고 보고했다.

In general, there was more support for the formal assessment of portfolios from teachers and examiners than from students themselves.36,44,45 For example, in a study in which examiners were positive about the use of portfolios for assessment, final year undergraduate students reported that a comprehensive portfolio with prescribed content involved far too much paperwork and, if they were to be formally assessed, they needed more advance information about how to construct the portfolio.36


평가와 학습을 위한 포트폴리오의 사용은 종종 상충되는 것으로 보여진다. 즉, 학생들은 포트폴리오가 평가될 때 그들의 성찰에서 덜 솔직할 수 있다. 그러나, 하나의 포트폴리오에서 형태별 멘토링과 종합평가의 조합을 검토하는 2개의 연구는 이것이 문제가 아니라고 보고했다. 한 연구는 포트폴리오 평가가 학생들의 개방성에 영향을 미치지 않았다고 보고했으며, 다른 한 연구는 지원support과 평가의 조합이 GP와 그들의 CME tutor들에게 문제가 되지 않는다고 주장했다. 두 가지 연구는 만약 포트폴리오가 공식적으로 평가되지 않는다면, 다른 총괄평가도구가 더 우선시되고, 포트폴리오의 사용이 제한된다는 것을 보여주었다.

The use of the portfolio for assessment and learning is often seen as conflicting: students may be less open in their reflections when their portfolios are to be assessed. However, 2 studies examining the combination of formative mentoring and summative assessment in 1 portfolio reported that this was not an issue. One study described mentors  reports that portfolio assessment had no effect on students  openness32 and another claimed that the combination of support and assessment did not appear to be problematic for general practitioners and their CME tutors.28 Two studies showed that if portfolios were not formally assessed, other summative assessment instruments were prioritised and the use of portfolios tailed off.35,43



고찰

DISCUSSION


우리의 검토는 이전 문헌과 일치하며, 포트폴리오의 성공적인 사용에 있어 몇 가지 핵심 이슈가 결정적이며, 다른 분야의 연구 결과들과 일관된다.

Our review is in agreement with earlier literature, showing that several key issues are decisive in the successful use of a portfolio,55 and is consistent with findings from studies in other disciplines.


McMullan은 최근 간호학 연구에서 지원과 명확한 지침이 없다면 학생들과 멘토들이 실제로 포트폴리오 사용에 대해 점점 더 스트레스를 주게 되며, 사기를 떨어뜨린다고 결론지었다.

McMullan concluded in a recent study in nursing that, without support and clear guidelines, students and mentors became increasingly stressed and demoralised about the use of portfolios in practice.57


성공 요인

Success factors


포트폴리오로의 다양한 목표는 명확해야 하지만, 동시에 성공적으로 결합될 수 있습니다. 포트폴리오들은 학습의 형성적 촉진과 총괄평가에 동시에 사용될 수 있다. 이는 문헌에서의 이전의 논쟁과는 대조적인데, 기존 문헌은 평가와 학습을 위한 포트폴리오의 사용이 학생들의 포트폴리오가 평가될 때 그들의 성찰이 덜 open될 수 있기 때문에 상충되는 것으로 보았다. 문헌의 체계적인 검토에서 학습과 평가의 두 가지 목표를 결합하는 것은 문제를 일으키는 것으로 보이지 않는다. 오히려, 총괄평가는 포트폴리오 학습이 다른 평가 대상과 함께 그 지위를 유지하도록 하는 데 중요한 것으로 밝혀졌다.

The various goals of working with a portfolio need to be clear but can be successfully combined.28,32 Portfolios can be used concurrently in both the formative promotion of learning and summative assessment. This is in contrast to previous debate in the literature, where the use of portfolios for assessment and learning was seen as conflicting on the grounds that students may be less open in their reflections when their portfolios are to be assessed.58–60 From a systematic review of the literature, combining the 2 goals of learning and assessment does not appear to cause problems. On the contrary, summative assessment was found to be important to ensure that portfolio learning maintained its status alongside other assessed subjects.35,43


포트폴리오를 별도의 독립적인 도구가 아니라 다른 교육 활동과 통합할 수 있는 활동으로 보는 것이 바람직하다.

It is advisable to regard a portfolio not as a separate, independent instrument but as an activity that can be integrated with other educational activities.21,22


포트폴리오 지원에 멘토를 제공함으로써 학습의 효율성을 높일 수 있다. 멘토링은 상당한 시간 투자가 필요하지만 성공적인 포트폴리오 사용에 있어 중요한 것으로 보입니다. 포트폴리오 평가를 인터뷰와 결합하면 평가의 효과를 높일 수 있다.

Effectiveness of learning is enhanced by providing a mentor to support the portfolio. Mentorship requires a substantial time investment, but appears to be crucial to successful portfolio use.21,28,32,35,37,39,41,43,48 The effectiveness of assessment can be enhanced by combining the portfolio assessment with an interview.22,36,47


의학교육 포트폴리오의 통합에 대한 가장 큰 도전은 평가에 의해 driven되는 학생들의 눈에 포트폴리오의 지위가 유지되어야 한다는 것이다. 이 검토는 이것이 기관 평가 절차의 일부여야 한다는 것을 시사한다.연구 결과, 놀라울 정도로 높은 수준의 내부 신뢰도를 발견했습니다. 이것은 다른 도메인의 발견과 대조된다.

A major challenge for the integration of a portfolio into medical education is that its status must be maintained in the eyes of assessment-driven students. This review suggests that it must be part of the institutional assessment procedures.32,35,43 We found surprisingly high levels of inter-rater reliability in the studies.45,46,48,51–53 This contrasts with findings in other domains,


간호사의 포트폴리오 평가를 검토하는 과정에서 McCready는 

    • 숙련된 평가자, 

    • 포트폴리오 구축에 대한 명확한 지침, 

    • holistic 평가 절차를 요구합니다.

In her review of portfolio assessment in nursing, McCready54 also calls for experienced assessors, explicit guidelines for portfolio construction and a holistic assessment procedure.


포트폴리오 성공에 영향을 미치는 또 다른 문제는 유연한 학습 중심 형식입니다. 포트폴리오 콘텐츠의 모든 세부사항이 규정되어 있는 엄격한 구조는 포트폴리오 사용자들로부터 부정적인 반응을 이끌어 내고 역효과를 낸다.이 검토와 다른 문헌에서 발견한 사실은 너무 많은 구조가 너무 적은 구조보다 더 큰 위험을 의미한다는 것을 나타내는 것으로 보인다. 이는 학습자가 광범위한 역량의 개발과 평가를 지원하기 위해 명확한 방향과 지침이 필요하다는 사실을 부인하지 않는다. 그러나 [포트폴리오의 모든 세부사항에 대한 세부적인 지침을 주기보다는], 명확한 지침과 잘 정의된 포트폴리오 목표를 제시함으로써 방향을 결정해야 한다.57 여기서는 균형을 잡는 것이 중요하다.

Another issue that impacts on portfolio success is a flexible learner-centred format. A rigid structure in which every detail of portfolio content is prescribed elicits negative reactions from portfolio users and is regarded as counterproductive.28,32,35,36 Findings in this review and other literature56,57 appear to indicate that too much structure implies a greater risk than too little structure. This does not deny the fact that learners do need clear directions and guidance to support the development and assessment of broad competencies.29,57 However, direction should be achieved through clear guidelines and well defined portfolio goals rather than minute directives for every detail of the portfolio.57 Striking the right balance is crucial here.


시간은 또 다른 주요 문제이다. 포트폴리오를 만들 것을 요구하는 많은 학습자들과 그들의 감독관이나 멘토들은 포트폴리오를 만들고 판단하는 것이 시간이 너무 많이 걸리거나, 그냥 불가능할 것이라고 우려한다. 임상 전 학생들에게 시간 제약이 덜 문제가 된다는 사실은, 이 학생들이 상대적으로 더 많은 시간을 마음대로 쓸 수 있다는 것을 나타낼 수 있다. 임상 환경에서 학습자가 임상 실습의 압박 속에서 시간을 찾기가 쉽지 않습니다. 우리가 검토한 연구에서 설명한 포트폴리오 중 상당수는 사용자 친화적이지 않았고 방대한 양의 서류 작업이 포함되어 있어 포트폴리오 사용자는 엄격하고 세부적인 지침을 준수해야 했다. 너무 많은 구체적인 의무적인 콘텐츠가 들어있는 포트폴리오는 관료성을 만들고, 그 결과 어떠한 교육 목적도 제공하지 못할 뿐만 아니라, 학습자들이 그들의 직접적이고 살아있는 경험의 바깥outside에서 콘텐츠를 찾도록 강요한다.

Time, or rather lack of it, is another key issue. Many learners who are asked to create a portfolio, and their supervisors or mentors, are concerned that building and judging portfolios will be exceedingly time-consuming or downright impossible.20,28,31,38,41,45,46,64 The finding that time constraints appear to be less of a problem for preclinical students may indicate that these students have relatively more time at their disposal. For learners in clinical settings, it is clearly difficult to find time amidst the pressures of clinical practice. Many of the portfolios described in the studies we reviewed were not user-friendly and involved huge amounts of paperwork, forcing portfolio users to comply with strict and detailed guidelines.35,36,45,46 Too much specific obligatory content makes portfolios bureaucratic, with the result that they both fail to serve any educational purpose and force learners to search for content outside their direct and lived experiences.32,57



Table 1 Summary of factors promoting portfolio success


목표들 

포트폴리오와의 협업 목표를 명확하게 소개

목표 결합(학습 및 평가)

포트폴리오 소개 

절차, 형식 및 내용에 대한 명확한 지침 제공

정보 기술 관련 문제에 주의

멘토링 ⁄ 상호작용 

교사, 강사, 감독자 또는 동료의 멘토링 제공

평가 

평가의 이해관계에 따라 2-3명의 평가 패널 사용

평가자 교육

전체 점수 매기기 사용(글로벌 성능 설명자)

포트폴리오 형식 

포트폴리오 목적 및 절차에 대한 설명과 함께 실제 소개를 사용합니다.

포트폴리오 형식을 유연하게 유지

포트폴리오 컨텐츠에 대해 지나치게 규범적이지 않음

서류 작업이 너무 많으면 안 됩니다.

커리큘럼 내 위치 

포트폴리오를 커리큘럼의 다른 교육 활동에 통합


Goals 

Clearly introduce the goals of working with a portfolio

Combine goals (learning and assessment)

Introducing the portfolio 

Provide clear guidelines about the procedure, the format and the content

Be cautious for problems with information technology

Mentoring ⁄ interaction 

Provide mentoring by teachers, trainers, supervisors or peers

Assessment 

Use assessment panels of 2)3 assessors depending on the stakes of the assessment

Train assessors

Use holistic scoring rubrics (global performance descriptors)

Portfolio format 

Use a hands-on introduction with a briefing on the portfolios purpose and the procedures

Keep the portfolio format flexible

Avoid being overly prescriptive about the portfolio content

Avoid too much paperwork

Position in the curriculum 

Integrate the portfolio into other educational activities in the curriculum



연구 한계

Study limitations


"포트폴리오"라는 명칭이 너무 광범위함

Several limitations in this review should be considered. Firstly, the label  portfolio  refers to a broad range of instruments. The purpose, context, structure and content of the portfolios described in the literature reviewed here differed considerably.


함의

Implications for research and practice


비록 문헌에 따르면 포트폴리오가 항상 성공적인 것은 아니지만, 많은 연구들은 포트폴리오가 어떻게 구현되었고 왜 실패했는지에 대해 조사하지 않았다.

Although the literature indicates that portfolios are not always successful, many studies did not examine how they were implemented and why they failed.






 2007 Dec;41(12):1224-33.

Portfolios in medical educationwhy do they meet with mixed success? A systematic review.

Author information

1
Department of Educational Development and Research, Faculty of Health, Medicine and Life Sciences, Maastricht University, Maastricht, The Netherlands. e.driessen@educ.unimaas.nl

Abstract

CONTEXT:

The move towards competence-based medical education has created a need for instruments that support and assess competence development. Portfolios seem suitable but mixed reports of their success are emerging.

METHODS:

To examine the effectiveness of portfolios, we searched PubMed and EMBASE using the keyword 'portfol*', PsychInfo and ERIC using the keywords 'portfol*' and 'medical education' and references of retrieved papers for empirical studies on portfolios in all phases of medical education. Thirty of 1939 retrieved papers met the inclusion criteria and were analysed. Data were collated against the research question, number of subjects, design, setting, findings and limitations, purpose and content, mentoring and assessment. We analysed impact using a modified version of Kirkpatrick's hierarchy.

RESULTS:

Because differences across studies precluded statistical meta-analysis, the data were analysed by context, goals and procedure. Positive effects were strongest in undergraduate education. Important factors for success were: clearly communicated goals and procedures; integration with curriculum and assessment; flexible structure; support through mentoring, and measures to heighten feasibility and reduce required time. Moderately good inter-rater reliability was reported and global criteria and discussions among raters were beneficial. Formative and summative assessment could be combined. Without assessment, portfolios were vulnerable to competition from other summative assessment instruments.

CONCLUSIONS:

For portfolios to be effective in supporting and assessing competence development, robust integration into the curriculum and tutor support are essential. Further studies should focus on the effectiveness and user-friendliness of portfolios, the merits of holistic assessment procedures, and the competences of an effective portfolio mentor.

PMID:
 
18045373
 
DOI:
 
10.1111/j.1365-2923.2007.02944.x


CBME 구현: 어떤 교육과정 구조와 과정의 변화가 필요한가?(Med Teach, 2017)

Implementing competency-based medical education: What changes in curricular structure and processes are needed?

Markku T. Nousiainena, Kelly J. Caverzagieb, Peter C. Fergusona, and Jason R. Frankc,d; on behalf of the

ICBME Collaborators




도입

Introduction


역량 기반 의료 교육(CBME)을 구현하기 위한 과제는 구현의 세 가지 주요 측면에 해당됩니다. 

  • 새로운 커리큘럼과 평가 방법을 제공하기 위해 필요한 구조 변경 

  • 교육 및 평가 과정 수정 

  • CBME 패러다임이 수용될 수 있는 교육 문화 변화 지원


challenges to implement a competency-based medical education (CBME) pertain to three key aspects of implementation: 

  • organizing the structural changes that will be necessary to deliver new curricula and methods of assessment; 

  • modifying the processes of teaching and evaluation; and 

  • helping to change the culture of education so that the CBME paradigm gains acceptance.


교육의 연속성

Educational continuity


학부, 졸업후, 지속적 교육이 통합되지 못하고 고립된 채로 이루어지고 있는 의학교육의 현재 구조는 개선이 필요하다. CBME는 학부 단계에서 시작하여 레지던트, 펠로우, 독립 진료까지 원활하게 확장되어야 합니다.

the current structure of medical education, whereby undergraduate, postgraduate, and continuing medical education function in silos without integrated processes, should be revised. CBME should begin at the undergraduate level and extend seamlessly into residency, fellowship, and independent practice.


교육 연속성의 중요성이 받아들여진다면, 교육 이해 관계자들과 정책 입안자들은 모든 수준의 의료 교육에서 CBME 원칙을 지원하는 정책을 수립하기 위해 협력할 필요가 있을 것이다. CBME의 원칙은 모든 단계의 의학교육에 적용되어야 한다.(Lieberman et al. 2011; Carracio & Englander 2013)에 적용된다.

If the importance of educational continuity is accepted,education stakeholders and policy-makers will need to collaborate to establish policies that support the principles of CBME at all levels of medical education. The principles of CBME apply to all levels of medical education (Lieberman et al. 2011; Carraccio & Englander 2013).


이는 의학교육의 효율성으로 이어질 것이다. 새로운 훈련 단계(예: 레지던트)에 들어가는 훈련생은 더 이상 이전 단계에서 숙달했어야 하는 핵심 역량에 대해 재교육을 받을 필요가 없어야 한다.

This should lead to efficiencies in medical education: trainees entering a new stage of training (for example, residency) will no longer have to be reeducated in the core competencies that should have been mastered at the previous level


Trainee 발달은 수행능력에 관한 정보가 "forward feeding"되도록 촉진하고 장려됨으로써, 이어지는 단계의 모든 교육이 지속적인 개선에 집중될 수 있도록 하는 시스템 하에서 이뤄질 때 가장 이상적이다.

Trainee development is best served by a system that promotes and encourages the “forward feeding” of information about performance so that teaching in any subsequent rotation can be focused on continuous improvement. 


모든 이해당사자들 간의 대화는 (그들이 어떤 단계의 훈련에 참여하고 있든) 명확하고 열려 있어야 한다. 성공과 실수에 관해 특정 센터 또는 프로그램에서 얻어진 교훈은 다른 센터와 공유되어야 하고, 이로서 학습 곡선이 반복되지 않아도 됩니다.

The dialog between all stakeholders should be clear and open, no matter what level of training they are engaged in. Lessons learned in one center or program with regard to successes and mistakes should be shared with others so that the learning curve does not have to be repeated.


의학교육에서 시간활용 방식의 변화

Altering how time is used in medical education


CBME가 가장 효과적이려면, 현재와 같이 '블록'을 의학 교육을 구성하는 단위이자 성취를 판단하는 대리지표로 사용하는 접근방식은 변화되어야 한다. 그 대신 시간은 궁극적으로 효율적 학습의 자원이 되도록 융통성 있게 사용되어야 할 것이며, 시간은 학습 곡선을 반영하며, 궁극적으로는 효율성을 높일 것이다. 최근 연구에 따르면 time-block 접근방식에서 벗어나면 trainee 개발이 개선될 수 있다고 한다(Thistlethwaite et al. 2013; Hirsh et al. 2014; Woloschuk et al.).

For CBME to be most effective, the current approach of using blocks of time to organize medical education and stand as a proxy for achievement will need to be modified to a more flexible use of time as a resource for learning; this will better reflect the learning curve of trainees and, ultimately, increase efficiency. Recent publications have suggested that moving away from the time-block approach can improve trainee development (Thistlethwaite et al. 2013; Hirsh et al. 2014; Woloschuk et al. 2014).


의사, 환자, 교수진, 훈련생 및 기타 의료팀 구성원 간의 연속성을 높일 수 있는 종단적 로테이션은 효과적인 전문성 개발을 촉진하고, 환자 치료의 질을 향상시키고, 코칭과 피드백을 서포트하는데 중요한 "관계"를 강화하는 것으로 입증되었다. 종단적 로테이션에서는 지속적인 observation이 가능하기 때문에, 교수진은 모든 영역에 걸쳐 훈련생 역량에 대한 훨씬 더 나은 정보를 얻을 수 있으며, 따라서 독립적으로 의료 서비스를 할 수 있으려면 훈련생에게 얼마나 많은 도움이 필요한지 더 잘 파악할 수 있다.

Longitudinal rotations that permit greater continuity between physicians and patients, faculty and trainees, and trainees and other members of the health care team have been shown to enhance the relationships that are critical to foster effective professional development, improve the quality of patient care, and support coaching and feedback (Hirsh et al. 2014; Woloschuk et al. 2014). With sustained observation on longitudinal rotations, faculty can gain a much better idea of trainee competence across all domains, and thus be better equipped to determine how much entrustment they can give to a trainee to provide health care independently.


그렇다고 해서 이것이 훈련을 위해 더 많은 시간이 필요하다는 뜻은 아니다. 대신, 이러한 중요한 "연속성 관계"가 향상되어, trainee의 학습곡선에서 적절한 시점에 entrustment decision이 가능해질 것이다(Hirsh et alukos 2014; Hirsh et al., 2014).

This does not necessarily mean that more time will be needed for training. Rather, the time available will need to be organized such that these critical “continuity relationships” are enhanced, allowing for entrustment decisions to be made at appropriate times in the trainee’s learning curve (Hirsh et al. 2014; Woloschuk et al. 2014).


다만, 이러한 모델에서 발생하는 중요한 실무적 문제는 해결되어야 할 것이다. 시간 제약이 없는 모델은 또한 trainee에 의한 의료 서비스 제공과 관련하여 잠재적인 문제를 제시한다.

significant practical issues arising from such a model would have to be resolved. Time-free models also present potential challenges with respect to the provision of health care services by trainees.


어떤 모델을 선택하든, 훈련생들이 역량 달성을 위해 노력할 때 프로그램에서 유연성을 제공하는 것이 중요할 것이다. 훈련생은 능력이 된다면 학습 모듈을 빠르게 통과할 수 있어야 한다. 일정과 인력 배치 문제(하이브리드 모델에서 볼 수 있음)로 인해 연수생들이 한 모듈에서 다음 모듈로 이동하는 것이 불가능하다면, 교수진은 기본 역량 또는 이정표를 달성하는 훈련생에게 더 풍부한 경험을 줄 수 있어야 합니다. 또한 핵심 역량에 있어 무능하다고 판명된 사람들을 위한 훈련에 필요한 추가 시간과 자원이 제공되어야 한다.

No matter what model is chosen, it will be important that trainees are afforded flexibility in their program as they work toward the achievement of competence. Trainees must be able to move through learning modules quickly if they are able to do so. If scheduling and staffing issues (as would be seen in a hybrid model) prevent trainees from moving from one module to the next, faculty should be able to enrich the experiences of those who attain basic competencies or milestones sooner than expected. Time and resources must also be provided to remediate training for those found to be dyscompetent or incompetent in any of the core competencies.



인적자원개발 

CBME and human health resources planning


교육 커리큘럼과 training position의 수는 예상 수요를 충족하도록 조정되어야 한다

training curricula and numbers of training positions can be adapted to meet anticipated demands.


이러한 변화를 주도할 때, "보건 인텔리전스 유닛"을 구현하는 것이 유익할 수 있다. 이는 다양한 출처에서 나온 건강 데이터를 검토하고, 학부 및 대학원 의학 커리큘럼에 정보를 제공해야 하는 중요한 건강 문제 및 추세를 식별하도록 해준다. 이러한 장치는 (넓은 국가 및 국제적 추세 내에서) 해당 지역사회의 건강 상태와 의료 요구를 지속적으로 프로파일링함으로써 개별 지역사회의 현재 및 새롭게 부상하는 요구에 대응할 수 있다(Woloschuk et al 2014).

In leading this change, it may be beneficial to implement “health intelligence units”–organizations with a mandate to review health data from a variety of sources and to identify important health problems and trends that should inform both undergraduate and postgraduate medical curricula (Frank 2005). Such units would be responsive to the current and emerging needs of individual communities – within the larger context of national and international trends – by continually profiling the health status and health care needs of the community (Woloschuk et al. 2014).


의사의 역량, 시스템의 역량

Competent doctors, competent systems


유능한 의사들을 양성하기 위해서는, 그 의사들이 책임감 있는 방식으로 사회의 요구를 충족시키는 유능한 시스템에서 일할 수 있어야 한다. (Miller et al. 2010; Carracio & Englander 2013) 이상적으로, trainee가 의사가 되는 모든 측면에서 모범 사례를 보여주는 것을 목표로 한다면, system이 그러한 모범 사례를 사용해야 한다. 이는 현재 어려운 과제입니다. 환자 관리의 모든 측면에서 모범 사례를 달성하고자 하는 목표를 가지고 의료 시스템을 개조하는 것은 시간과 노력이 많이 드는 대규모 작업입니다.

it must be recognized that if competent doctors are to be produced they must work in competent systems that satisfy the needs of society in a responsible and accountable way (Miller et al. 2010; Carraccio & Englander 2013). Ideally, trainees that aim toward exhibiting best practices in all aspects of being a physician should work in a health care system that employs these best practices. This is currently a challenge: remodeling the health care system with the goal of achieving best practices in all aspects of patient care is a large undertaking that will take time and much effort.


정보통신기술

CMBE and information technology


인터넷 기반 기술은 교육과 평가의 모든 측면에서 사용되어야 한다(Ward et al. 2001; Ruiz et al. 2006).

Internet-based technologies should be used in all aspects of teaching and assessment (Ward et al. 2001; Ruiz et al. 2006).


이러닝 기술을 통해 학습은 

  • adaptive해질 수 있고(즉, 학습자와 그 상황에 따라 개인화) 

  • collaborative해질 수 있으며(학습자의 타인과의 상호작용 강화)

  • 혼합된 학습 방식을 보완하는 방식으로 선생님의 역할을 변화시킬 수 있습니다.

E-learning technologies allow learning to be adaptive (that is, to be individualized to learners and their contexts) and collaborative (enhancing learners’ interactions with others), and transform the role of the teacher in a way that complements a blended-learning strategy (Ruiz et al. 2006).


게다가, 인터넷 기반 기술은 더 효율적인 평가를 하게 해준다. 훈련생들에게 웹 기반 평가 양식을 사용할 수 있는 권한을 부여하면 평가와 피드백이 빨라질 수 있다.

In addition, Internet-based technologies should make 2001). assessment much more efficient (Ward et al. Empowering trainees to use web-based assessment forms could speed up assessment and feedback.


또한 웹 기반 서버를 사용하여 평가 내용을 수집하면 교육자와 해당 관리자가 언제든지 현재 및 이전 교육자 성과 척도에 액세스할 수 있어 교육자의 교육 계획에서 지속적인 개선을 가능하게 할 수 있습니다.

In addition, using web-based servers to collate assessments would have the benefit of enabling trainees and their supervisors to access current and previous trainee performance measures at any time, enabling ongoing refinements in the education plan of a trainee to be made.


교수개발

Faculty development


지역 수준의 훈련 센터와 국가 수준의 인증 기관들은 이러한 관련 기술을 개발할 수 있도록 의사들을 지원할 필요가 있을 것이다. 적절한 종합적이고 형성적인 피드백의 제공은 CBME의 필수 원칙이기 때문에, 이를 제공할 것으로 예상되는 사람들은 적절한 교육을 받아야 한다(Bok et al. 2013). 만약 이 과정에 관련된 선생님들이 그것을 받아들이고 지지하지 않는다면, CBME는 살아남지 못할 것이다. (Dath & Iobst 2010)

Training centers at the local level and accreditation bodies at the national level will need to assist attending physicians in developing skills in this regard. As the provision of appropriate summative and formative feedback is an essential tenet of CBME, those who are expected to provide this must be trained appropriately (Bok et al. 2013). If the teachers involved in this process do not accept and support it, CBME will not survive (Dath & Iobst 2010).


적절한 지원이 있어야 하는 것은 당연하지만, 의사들이 피드백, 기술, 지식의 유능한 제공자가 되기 위해 그들의 삶과 그것의 실천에 쏟는 추가적 시간과 노력에 대해 어떻게 보상받을 수 있는지에 대해 진지하게 생각해야 한다. 이러한 기술 개발에 소요되는 시간은 지속적인 전문성 개발 시간의 누적에 대한 크레딧으로 사용될 수 있지만, 재정적 보상 또한 고려될 수 있으며, 특히 교수와 평가에 대한 새로운 접근법이 시행되는 초기부터 고려해야 한다. CBME를 구현한 경험이 있는 사람들은 이러한 전환에 관련된 모든 것이 가능한 효율적으로 작동하도록 다른 사람들과 경험을 공유하는 것이 중요할 것이다.

Even with appropriate support, serious thought should be given to how physicians might be compensated for the extra time and effort that they will take out of their lives and practices to become competent providers of feedback, skills, and knowledge. Although the time spent on such skill development can be used as credits toward the accumulation of continuing professional development hours, financial compensation may also be considered, especially at the outset when novel approaches to teaching and assessment are being implemented. It will be important for those with previous experience in implementing CBME to share their experiences with others so that all involved in this transition are working as efficiently as possible.


근무지에서 학습자의 권리와 책임 균형 맞추기

Balancing the rights and responsibilities of learners in the workplace


연수생과 그 감독자들은 여전히 연수생들이 서비스 제공자로서의 필수적인 역할을 하고 있음을 염두에 두어야 한다(Kesselheim & Cassel 2013).

trainees and their supervisors must still be mindful of the essential role trainees have as service providers (Kesselheim & Cassell 2013).


훈련생과 서비스제공자의 역할 사이에 내재된 충돌이 없어야 한다. 오히려 환자 진료는 레지던트가 학습하는 중요한 전문적 활동으로 간주해야 하며, 어떤 형태의 학습도 존재하지 않는 한 환자 접촉도 없어야 한다(Imrie et al. 2014). 그럼에도 불구하고, 그들이 직장에서 그들의 권리와 책임의 균형을 맞출 수 있다는 것을 계속해서 보여주는 것은 훈련생들에게 달려있을 것이다. Trainee는 학습과 독립적 진료를 준비해가 위해서는 [책임감]과 [점진적 authority]가 필요하다는 것을 깨달아야 한다. 궁극적으로, 이것이 안전하고 효율적인 환자 치료와 부합하는 방식으로 이루어질 수 있도록 하는 것은 훈련 프로그램에 달려있을 것이다.

There should be no inherent conflict between the roles of trainee and care provider. Rather, patient care should be viewed as an important professional activity through which residents learn, and no patient contact should be without some form of learning (Imrie et al. 2014). Nevertheless, it will be up to trainees to continue to show that they can balance their rights and responsibilities in the workplace. They must recognize that responsibility and graded authority are needed for learning and preparation for practice. Ultimately, it will be up to training programs to ensure that this is done in a manner consistent with safe and efficient patient care.



변화의 비용

The costs of change


이러한 변화를 이행하는 데 드는 비용은 얼마입니까? 변화를 가져오는 데 필요한 재정 및 인적 자원이 상당할 것이라는 데는 의심의 여지가 없다. CBME 개혁의 효율적인 구현을 위해 두 가지 일이 발생해야 합니다. 

  • 첫째, 이미 CBME를 도입한 센터에서 배운 교훈을 보편적으로 공유하여 강점이 누적되고, 실수가 두 번 발생하지 않도록 해야 한다. 

  • 둘째, 인증 기관, 전문 보드 및 CBME의 비용을 책임지고 있는 특정 교육 센터의 리더는 CBME의 변신을 위한 교육 프로그램을 지원해야 합니다.

What will be the cost of implementing such changes? There is no doubt that the financial and human resources needed to bring about change will be significant. For the efficient implementation of CBME reforms, two things must occur. 

  • First, lessons learned from centers that have already led the way with CBME should be shared universally so that strengths are built upon and mistakes are not made twice. 

  • Second, accreditation bodies, specialty boards, and leaders of specific training centers responsible for leading the charge for CBME must assist training programs in their transformation.


교육 커리큘럼과 평가 도구는 개별 교육 센터가 자체 도구와 양식을 작성할 필요가 없도록 보편적으로 사용하도록 설계되어야 한다특정 교육 센터의 jurisdiction에 따라 변화에 대한 재정적 지원을 얻기가 어려울 수 있다. 그럼에도 불구하고, 모든 수준의 리더들은 헬스케어를 더 발전시키고 효율적으로 이끌 수 있는 훈련 과정에 대한 투자를 정당화하기 위해 단호하고 전략적으로 노력해야 할 것이다. 리더는 [이러한 새로운 패러다임에서 가르치고 관찰하고 피드백을 주는 노력에 대해] 임상 교사들이 적절한 인정recognition을 받도록 해야 한다. 이러한 인정recognition이 없이는 CBME에 대한 모든 노력은 실패할 가능성이 높습니다.

Training curricula and assessment tools should be designed for universal use so that individual training centers do not have to create their own tools and forms. Financial support for change may be difficult to obtain, depending on the jurisdiction of a specific training center; nevertheless, leaders at all levels will have to lobby emphatically and strategically to justify an investment in a training process that should lead to better and more efficient health care. Leaders must ensure that appropriate recognition is given to clinical teachers for their efforts in teaching, observing, and giving feedback in this new paradigm (one could argue that their contribution should be seen as equal to the value of doing research). Without this recognition, all efforts toward CBME have a high chance of failing.


리더는 무엇을 해야 하는가?

What will it take for the leaders of change to be successful?


연구에 따르면 커리큘럼 변경 달성에 있어 가장 중요한 요소는 적절한 리더십이다(Bland et al. 2000). 

  • 성공적인 변화의 리더는 안정적이고, 적극적이지만 유연해야 하며, 변화 모멘텀을 유지하기 위해 사람들을 동원할 수 있어야 하며, 명확하고, 네트워크에 전달하고, 커리큘럼 변화에 대한 공통의 비전을 촉진할 수 있어야 한다(Bland et al. 

  • 또한 변화의 리더들은 그들의 노력이 적절한 맥락에서 이루어지도록 해야 한다. 

  • 리더는 변화가 해당 기관 및 교직원의 미션과 목적과 부합하고, 조직 내의 특정 그룹들이 효과적으로 의사소통하도록 보장해야 한다. 

  • 리더들은 적절한 자원을 획득할 수 있어야 하며, 변화의 시작을 위한 자금을 제공할 뿐만 아니라 초기 지원이 끝나면 자금이 계속되는지 확인할 수 있어야 합니다. 

  • 이를 위해서는 외부 기관과의 강한 관계가 귀중한 재정적 지원을 확보하는 데 도움이 될 수 있기 때문에 리더들은 특정 조직 내부와 외부에서 효과적으로 일할 수 있어야 합니다. 

  • 리더는 혼자만 일해서는 안 됩니다. 조직의 모든 레벨에 위치한 CBME지지자들이 CBME에 익숙하지 않은 다른 이들과 변화에 대한 열정을 공유하는 것이 중요합니다.


Research has shown that the most important factor in achieving curricular change is appropriate leadership (Bland et al. 2000). 

  • Successful leaders of change must be stable, assertive yet flexible, able to mobilize others to maintain the change momentum, and able to communicate clearly, to network, and to promote a shared vision for curricular change (Bland et al. 2000). 

  • In addition, leaders of change must ensure that their efforts occur in the appropriate context. 

  • They must ensure that changes are compatible with the mission and goals of the institution and faculty in question and that specific groups within their organization communicate effectively. 

  • Leaders must be able to obtain appropriate resources, not only to provide funding for the initiation of change but also to see that funding continues once the initial support runs out. 

  • In order to do this, leaders must be able to work effectively within and outside their specific organizations, since the strong relationships with external bodies can help to secure valuable financial support. 

  • Leaders should not work alone; it will be important for champions of CBME located at all levels of an organization to share their enthusiasm for change among others who are not familiar with CBME.


결론

Conclusions

  • 모든 수준의 의료 교육에서 교육 연속의 비전을 촉진한다. 

  • 교육자가 학습 모듈을 자신의 속도로 이동할 수 있도록 시간이 사용되는 방식 변경 

  • 의사가 사회적 요구를 충족할 수 있도록 보장하기 위해 인적 자원 계획 자원을 사용한다. 

  • 새롭게 훈련된 competent 의사가 competent 치료 시스템에서 작업할 수 있도록 보장. 

  • 교육자의 교육과 평가를 강화하기 위한 정보 기술 사용 

  • CBME 패러다임에서 훈련자를 가르치고 평가할 의사가 적절히 훈련되고 보상되도록 보장한다. 

  • 훈련생과 그 관리자가 직장에서 학습자의 권리와 책임을 완전히 이해하도록 보장

  • 새로운 이니셔티브의 리더들이, 국내외적으로, 변경에 관련된 모든 이해당사자들을 적절히 지원할 수 있도록 보장

  • promoting a vision of educational continuity at all levels of medical education; 

  • altering the way time is used in medical education so that trainees are able to move through learning modules at their own speed; 

  • using human health resources planning resources to help ensure that physicians are able to meet societal needs; 

  • ensuring that newly health trained competent physicians work in competent care systems; 

  • using information technology to enhance the teaching and assessment of trainees; 

  • ensuring that physicians currently in practice who will be teaching and assessing trainees in the CBME paradigm are appropriately trained and compensated; 

  • ensuring that trainees and their supervisors fully understand the rights and responsibilities of the learner in the workplace; 

  • ensuring that the leaders of the new initiative, both locally and nationally, appropriately support all stakeholders involved the change


Table 1. Key categories of change to the structure and process of medical education delivery to ensure the successful implementation of CBME.


Educational continuity 

CBME should begin at the undergraduate level and continue seamlessly into residency, fellowship, and independent practice. 


The use of time in medical education 

No matter which model of training is ultimately chosen (time-free or hybrid), trainees must be allowed flexibility in their training programs so that they can achieve competence at an optimal pace.


Human health resources 

planning By reviewing health data from a variety of sources, health intelligence units may be able to inform the curricular content of both under- and postgraduate medical education as well as to help plan for current and future human health resources needs at national and local levels.


Competent doctors, competent systems 

CBME curricula should be developed to empower all stakeholders in the health care system to learn how to function effectively in an increasingly complex health care system.


Information technology 

Current and emerging information technologies should be embraced to make teaching and assessment more effective and timely.


Faculty development 

Without appropriate faculty development and support (in the form of remuneration or academic credit), CBME will fail.


Rights and responsibilities of learners in the workplace 

Trainees and their supervisors must recognize the essential role trainees have as health care service providers; there should be no inherent conflict between the roles of learner and care provider.


Costs 

The financial cost and the time needed by faculty to make changes will be significant. Those leading the change to CBME must provide appropriate support to all those involved.


Leadership 

The most important factor in achieving curricular change is appropriate leadership. Leaders should not work alone; it will be important to have champions of CBME located at all levels of an organization to help successfully implement change.



Caverzagie KJ, Nousiainen MT, Ferguson PC, ten Cate O, Ross S, Harris KA, Busari J, Bould MD, Bouchard J, Iobst WF, et al.; ICBME Collaborators. 2017. Overarching challenges to the implementation of competency-based medical education. Med Teach. 39:588–593.


Ferguson PC, Caverzagie KJ, Nousiainen MT, Snell L; ICBME Collaborators. 2017. Changing the culture of medical training: an important step toward the implementation of competency-based medical education. Med Teach. 39:599–602.





 2017 Jun;39(6):594-598. doi: 10.1080/0142159X.2017.1315077.

Implementing competency-based medical education: What changes in curricular structure and processes are needed?

Author information

1
a Division of Orthopaedic Surgery, Department of Surgery , University of Toronto , Toronto , Canada.
2
b Division of General Internal Medicine, Department of Internal Medicine, University of Nebraska Medical Center , Omaha , NE , USA.
3
c Royal College of Physicians and Surgeons of Canada, University of Ottawa , Ottawa , Canada.
4
d Department of Emergency Medicine , University of Ottawa , Ottawa , Canada.

Abstract

Medical educators must prepare for a number of challenges when they decide to implement a competency-based curriculum. Many of these challenges will pertain to three key aspects of implementation: organizing the structural changes that will be necessary to deliver new curricula and methods of assessment; modifying the processes of teaching and evaluation; and helping to change the culture of education so that the CBME paradigm gains acceptance. This paper focuses on nine key considerations that will support positive change in first two of these areas. Key considerations include: ensuring that educational continuity exists amongst all levels of medical education, altering how time is used in medical education, involving CBME in human health resources planning, ensuring that competent doctors work in competent health care systems, ensuring that information technology supports CBME, ensuring that faculty development is supported, ensuring that the rights and responsibilities of the learner are appropriately balanced in the workplace, preparing for the costs of change, and having appropriate leadership in order to achieve success in implementation.

PMID:
 
28598748
 
DOI:
 
10.1080/0142159X.2017.1315077


미래의 학습자 평가하기: CBME에서는 급진적으로 다른 holistic 방법만이 통할 것이다. 잊으면 안될 여섯 가지(Med Teach, 2013)

Assessing tomorrow’s learners: In competency-based education only a radically different holistic method of assessment will work. Six things we could forget 

LAMBERT SCHUWIRTH & JULIE ASH Flinders University, Australia





도입

Introduction


역량 기반 교육(성과 기반 교육)이 세계를 정복하고 있습니다.

Competency-based education (outcome-based education) is conquering the world;


역량 기반 교육의 개념과 최적으로 일치하는 평가 프로세스를 개발하는 것은 결코 쉽지 않다(Van der Vleuten & Schwires 2005; Van der Vleuten et al., 2012).

developing assessment processes that are optimally aligned with the notion of competency-based education is far from easy (Van der Vleuten & Schuwirth 2005; Van der Vleuten et al., 2012).


해체 또는 환원주의가 고부담 시험에서 역량을 확인하는 유일한 방법이 아니다.

Deconstruction/reductionism is not the only way to capture competence in high-stakes assessment


불연속discrete 시험 요소 접근법의 기초가 되는 기본 가정은 일단 이러한 분해된 요소들이 다시 조립되면 그 결과는 원래 평가하고자 했떤 '역량'이 될 것이라는 것이다. 물론, 때때로 해체 후 재건은 효과가 있지만, 가끔은 그렇지 않을 수도 있다. 만약 당신이 자전거를 분해하고 적절히 재구성한다면 결과는 다시 자전거가 될 것이다. 하지만 개구리를 가지고 이것을 시도한다면 상황은 상당히 다를 것이다. 그렇다면, 역량은 자전거와 더 비슷할까 아니면 개구리에 가까울까? 역량 기반 교육의 중심적 교리가 통합과 holism이라는 점을 고려하면 '개구리'에 가깝다는 편이 더 그럴듯해 보인다.

The natural assumption underlying discrete testable elements approaches is that once these discrete elements are put together again the result will be‘competence’. Of course, sometimes dismantling and reconstructing can work but often it will not. If you deconstruct a bicycle and reconstruct it properly the result will again be a bicycle. But things are quite different if you try this with a frog.This, then, begs the question whether competence is more like the bicycle or like the frog. The latter seems more plausible given that a central tenet of competency-based education is one of integration and holism, so apparently in competence the whole is seen as being more than the sum of the parts.


그렇다면 어떻게 역량을 분해하지 않고 평가하느냐에 대해서, "health"에 대해서 "health"라는 현상을 이해하는 것이 유용한 비유가 될 수 있다. 세계보건기구에서 내리는 건강의 전반적인 정의는 단순히 질병이나 질병이 없는 것이 아니라, 완전한 신체적, 정신적, 사회적 웰빙의 상태입니다. 그러나 이것은 어떻게 "건강"하다는 것을 진단할 수 있는지를 이해하는 데 도움이 되지 않습니다. 보건의료인들은 이러한 '건강'의 개념을 (global phenomenon로서) 게스탈트로 간주하며, 개별적 진단 결과를 단순히 더하는(또는 곱셈하는) 데이터 포인트로 사용하지 않습니다. 대신에, 보건의료인들은 그 데이터 포인트를 '구성 요소'로 사용함으로써, 어떤 사람의 건강 수준과 그 사람의 문제를 위한 가장 적절한 관리에 대해 전문가에게 정보를 제공하는 방식으로 사용한다. 이것을 위해 health를 분해할 필요는 없다.

In order to understand how, then, to assess competence without taking it apart the phenomenon ‘health’ in health may be a helpful analogy. The WHO overall definition – Health is a state of complete physical, mental and social well-being and not merely the absence of disease or infirmity (Anonymous 1946) – does not help us understanding how to diagnose – i.e., to assess – it. Health-care workers treat the concept rather as a gestalt – a global phenomenon – and do not use individual diagnostic results as data points that simply need to be added up (or multiplied). Instead, they use them as individually meaningful data ‘building blocks’ that inform the expert about the level of health and the most suitable management of the problem. For this there is no need to deconstruct health.


이를 역량 기반 커리큘럼에 대한 평가 프로그램으로 적용하면 다음과 같은 세 가지 의미가 있다.

If we translate this to assessment programmes for competency-based curricula it would mean three things:


'역량'을 게스탈트 수준으로 바라보면서, 동시에 이를 신뢰성 있게 평가할 수 있으려면, 평가 순간과 결정 순간 사이를 서로 단절시켜놓는 평가 프로그램이 필요하다(Dijkstra et al. 2010; Vanwell). 또한 각 학생에 대한 평가 정보를 지속적으로(그리고 목적에 따라) 수집해야 하며, 수집된 정보가 충분히 풍부할 때만 결정 순간decision moment으로 이어질 수 있다(Dijkstra et al. 2012; Schuwires). 결정의 '부담'에 따라 얼마나 자료가 풍부하게 필요한지가 달라진다.

In order to keep ‘competence’ at the gestalt level and still be able to assess it credibly, a programme of assessment is needed with a disconnection between assessment moments and decision moments (Dijkstra et al. 2010; Schuwirth & Van der Vleuten 2011; Van der Vleuten & Schuwirth 2005; Van der Vleuten et al. 2012). It should employ a continuous – and even purposive – collection of assessment information about each student, which would only then lead to decision moments when the collected information is rich enough (Dijkstra et al. 2012; Schuwirth & Van der Vleuten 2011; Van der Vleuten et al. 2012). Logically, the richness of the data is in accordance with the stakes of the decision


결정을 내릴 때까지 데이터는 풍부함을 유지해야 합니다(Dijkstra et al. 2012; Van der Vleuten et al. 2012). 각 평가 성과를 이분법적(통과-실패) 결정으로 축소시키고, 역량을 일련의 이분법적 성과 집합으로 정의하는 대신, 풍부함은 끝날 때까지 유지되어야 한다(포트폴리오 같이). 는 전체 consultation 프로세스 동안 모든 진단 정보를 누적하여 포함하는 환자 차트와 유사합니다. 이는 풍부한 정보, 학습 프로그램적 평가 및 이분법적 통과 실패 결정이 서로 조화할 수 있음을 보여준다(Shepard 2009; Schuwires & Van der Vleuten 2011).

The data needs to retain its richness until a decision has to be made (Dijkstra et al. 2012; Van der Vleuten et al. 2012). Instead of reducing each assessment result into a dichotomous (passfail) decision and defining competence as a string of dichotomous results, the richness must be retained (e.g. in a dossier or portfolio) right until the end. This is similar to a patient chart that contains all the diagnostic information throughout the whole consultation process. This shows that rich information, programmatic assessment for learning and making high-stakes dichotomous pass-fail decision can be reconciled (Shepard 2009; Schuwirth & Van der Vleuten 2011)


이러한 평가프로그램에는 본질적으로 우월하거나 열등한 평가 도구는 없다. 각 도구는 강점, 약점, 적응증 및 부작용이 있다(Van der Vleuten 1996). 이는 현재의 타당성 이론에 따르면 모든 이론들이 특정 목적을 위해서만 항상 타당하거나 타당하지 않으며, 그 자체로 타당하거나 타당하지 않은 것이 아니다. (Messick 1994; Kane 2001, 2006) 따라서 좋은 평가 프로그램은 랜덤하게 수집된 평가도구가 아니라(심지어 그 도구들의 퀄리티가 높더라도), 의도적으로 제작된 도구의 조합으로, 각 도구가 최적의 퀄리티를 갖추어야 한다.

In such a programme there are no intrinsically superior or inferior assessment instruments; each instrument has its strengths, weaknesses, indications and side effects (Van der Vleuten 1996). This is in accordance with current validity theories which are all converging on the idea that an but a instrument is never valid in itself always only for certain purpose (Messick 1994; Kane 2001, 2006). A good programme, therefore, is not a random collection of – even high quality – instruments, but a purposely built combination of instruments; each being of optimal quality.


평가 결과를 서로 합할 때 내용이 비슷한 것끼리 합해야지, 형식이 비슷한 것끼리 합해서는 안된다.

When combining the results of assessment elements content-similar combinations are more helpful than format-similar ones


거의 모든 평가 프로그램에서 (비교 가능한 내용을 가진 것끼리 결합되기보다) 형식이 유사한 것들끼리 결합된다. 이는 둘 다 '기술'이라는 trait를 측정한다는 가정 하에 이루어집니다. 이러한 자동적 가정에 도전하기 위해 이를 임상 실무와 비교하는 것이 도움이 됩니다. 여기서 우리는 나트륨 수치와 포도당 수치가 모두 lab results라는 이유로 둘을 더하는 것을 결코 상상도 못할 것이다. 

In almost all assessment programmes, elements of similar format are combined rather than elements with comparable content. This is done under the assumption that they both measure the trait ‘skills’. To challenge this automatic assumption it is helpful to – again – compare it to clinical practice. Here we would never dream of combining the sodium level and glucose level because both measures are ‘lab results’’.


이 접근방식의 또 다른 결과는 평가의 모든 항목/요소가 유의미한 것으로 취급되어야 한다는 것이다. 이것은 현재의 평가 실무에서 흔한 생각이 아니다. 일반적으로 평가의 모든 항목 또는 요소의 목적은 총 점수에 기여하고, 이를 통해 시험의 타당성에 기여하며, 이 과정에서 각 요소의 유의미성을 희생시킨다.

A further result of this approach is that every item/element of assessment has to be treated as meaningful. This is not a common idea in current assessment practice. Usually the purpose of every item or element of an assessment is to contribute to a total score and by this to the validity of the test, often at the expense of the meaningfulness of each element.


이것을 잘 보여주는 예시는 다음과 같다. 평가자들은 흔히 어떤 문항이 통계적으로 아주 안 좋을 경우, 그것이 비록 sound하고 내용 및 문구상 관련성을 갖추었더라도 그 문항을 제거해야 할지에 대한 딜레마를 겪는다. 한 문항의 통계는 총점에 기여하는 문항의 power만을 고려하는 반면, 한 문항의 내용은 내적인 의미만을 보여준다. 그러나 어떤 문항이 동일한 내용영역에 대한 다른 정보와 의미 있게 결합된다면, 내용타당도와 구인타당도가 모두 훨씬 더 잘 align될 것이다.

Illustrating this is the common dilemma assessors face whether or not to eliminate an item that has very poor item statistics and yet is of sound and relevant content and wording. The statistics would only consider the power of the item to contribute to the total score whereas the content of the item only considers its intrinsic meaningfulness. But, when items are meaningfully combined with other information from the same content domain both its content and construct validity align much better.


숫자를 다루는 것이 실세계를 다루는 것으로 바로 연결되지 않는다.

Manipulating numbers does not automatically mean manipulating the real world


통계는 종종 술 취한 사람의 전등 기둥처럼 사용된다; 빛보다는 지지를 위해 사용된다.

Statistics are often used like a lamp post to a drunken man; more for support than for illumination.


평가에서 일부 결과는 수치 값으로, 일부는 서술적 결론으로 캡처된다.

In assessment, some results are captured as numerical values and some as narrative conclusions.


그러나 숫자든 문자든 그 자체만으로는 충분하지 않다. 숫자는 일부 사람들이 생각하는 것처럼 완전히 객관적이고 완전히 모호성이 없지 않습니다 – 만약 그렇다면, 정량적 연구에 고찰 섹션이 필요한 이유는 무엇입니까? 단어와 마찬가지로 숫자도 평가 결과를 descript할 뿐이며, 인위적으로 숫자를 바꿀지라도, 그것이 설명하는 정보가 달라지지는 않습니다.

Neither type of information is better in itself. Numbers are not as completely objective and unambiguous as some tend to think – why else would a quantitative study need a discussion section? Numbers, like words are descriptors of assessment results, and artificially changing the numbers does not change the information they describe.



A-D 판사는 서로 완전히 동의하며 E의 추정치만 다른 평가들과 불일치합니다. 의 값은 0.40입니다. 이제 이 '시험'에서 이 '신뢰성'입니다. 외부 판사 E를 패널에서 제거하면 일반성이 완벽해지고 1.00이 됩니다. 모든 정신측정학자나 평가 전문가가 이것이 잘못된 관행이라고 말할 것이다. 첫째, 심사위원들은 이론적으로 무한히 많은 심사위원 집단에서 추출한 표본이므로, 심사위원 E를 추출하면 이 표본은 20%까지 감소된다. 만약 E 판사만이 유일하게 학생들을 자세히 관찰한 경험이 많은 전문가라면 어떨까?

Judge A–D completely agree with each other and only judge E’s estimates are at variance with the others. The of is 0.40. now generalisability/reliability this ‘test’ If we remove the outlying judge E from the panel the generalisability becomes perfect and is 1.00. Every psychometrician or assessment expert will tell that this is poor practice. First, the judges are a sample from a theoretically infinite pool of judges, so by taking judge E out this sample is reduced by 20%. What if judge E on closer look was an expert with lots of experience with students?


이는 단지 위의 예시와 같은 판단 연습 뿐만 아니라, 바람직하지 않은 문항 통계 때문에 시험에서 어떤 문항을 제거하는 있는 상황에도 적용된다. Number manipulation이 일어나는 많은 다른 상황들이 있다. 많은 프로그램에서 순위 또는 질적 결과는 단순히 숫자로 변환된다: '좋은', '만족'은 '8', '6' 등이 된다. 그런 다음 이러한 점수를 다른 수치 점수와 결합하여 평균 점수를 산출합니다. 이것은 종종 방어할 수 없는 정보의 유형의 변화이다. 예를 들어 '6'과 '8'의 평균은 '7'이지만, '양호'와 '만족'의 평균을 계산할 수 있다는 의미는 아니다.

This holds not only for the judgement exercise above but also for situations in which items are being removed from a test purely because of undesirable item statistics. There are many other situations in which number manipulation occurs. In many programmes, ordinal or qualitative results are simply translated into numbers: ‘good’, ‘satisfactory’, etc., then become ‘8’, ‘6’, etc. These scores are then combined with other numerical scores to produce mean scores. This is a transformation of the type of information that is often not defensible. For example, the mean of a ‘6’ and an ‘8’ is ‘7’, but this does not imply that a mean of ‘good’ and ‘satisfactory’ can be calculated.



모든 평가 순간이 결정 순간은 아니다.

Not every assessment moment needs to be a decision moment


모든 평가 순간이 항상 결과consequences를 가져야 한다는 생각은 역량 기반 교육에 별로 도움이 되지 않습니다. 그것의 주요한 부작용 중 하나는 그것이 형성평가와 총괄평가를 분리하지 않고서는 assessment-for-learning 프로그램이 되게 할 수 없다는 것이다. 역량 기반 교육에서 이것은 사실상 불가능한 것인데, 장기적으로 어떤 평가도 모든 이해당사자들에게 완전히 형성적이면서 의미가 있거나 또는 완전히 총괄적일 수 없기 때문이다.

This idea that every assessment moment must always have consequences is not a very helpful one in competency-based education. One of its major side effects is that it cannot lead to an assessment-for-learning programme without separated formative and summative assessment instruments. In competency-based education this is rather unworkable because, in the long run, no assessment can be either completely formative and meaningful to all stakeholders or completely summative.


완전히 총괄적인 평가에서 학생은 합격 여부만 알게 될 것이다. 순수한 총괄평가는 학습을 steer할 수 없으며, test-taking 행동만 바꿀 것이다.

In the latter the student would only learn whether s/he has passed or not. Purely summative assessments cannot steer learning but only test-taking behaviour;


평가가 유익하고 의미 있고 학습에 영향을 미치기 위해서는 약간의 '이빨'이 필요하다(Newble & Jager 1983; Frederiksen 1984; Cillier et al. 2010; Cillier 등). 따라서 형성적 기능과 총괄적 기능은 언제든 혼합될 수 있다.

For assessment to be informative, meaningful and have an impact on learning it needs to have some ‘teeth’(Newble & Jaeger 1983; Frederiksen 1984; Cilliers et al. 2010; Cilliers et al. 2012a, 2012b) and, therefore, the formative and summative function of assessment should whenever possible be combined.


역량 기반 커리큘럼에 대한 평가 프로그램을 설계할 때 두 기능을 결합하는 것은 불가능한 작업이 아니다. 평가가 학습자에게 피드백과 정보를 제공하는 지속적인 과정인 상황에서, 일정 기간 데이터 수집 평가 후에 이루어지는 중부담 또는 고부담 결정의 순간은 '이빨'를 가지며, 형성적일 수 있다.

Combining both functions is not an impossible task when designing an assessment programme for a competency-based curriculum. In a setup in which assessment is an ongoing process with feedback and information to the learner in conjunction with medium and more high-stakes decision moments after a period of data collection assessment can both have ‘teeth’ and be formative. figure 1




표준화가 공정한 평가의 유일한 길은 아니다.

Standardisation is not the only road to equitable assessment


지난 수십 년간, 표준화된 시험에 대해 많은 것을 배웠다. 그러나 표준화된 시험으로 달성할 수 있는 것에는 한계가 있고, 표준화가 equity를 개선하기보다는 악화시키는 경우도 충분히 있다.

In the past decades, much has been learned about standardised testing. But there is a limit to what they can achieve and there are sufficient situations in which standardisation actually reduces equity rather than improving it. 


우리는 1970년대 초 일류 대학의 남성 합창단에 대한 농담을 하곤 했다. 남녀평등의 운동에서 그들은 여자를 받아들일 의무가 있었다. 그들의 해결책은 간단했다; 모든 여성들이 합창단이 될 수 있었지만 참가 자격 요건은 그대로 남아 있었다: 그들은 프리마 비스타를 베이스, 바리톤 또는 테너로 노래할 수 있어야 한다, 

We used to tell the joke about an all male choir at a prestigious university in the early 1970s. In the movement of more equality between the sexes they were obliged to accept women. Their solution was simple; every woman could become a choir member but the entry requirements remained the same: they should be able to sing, prima vista, a moderate to difficult base, baritone or tenor piece from sheet music.


그 이유는 모든 경우에 있어서 equity는 (평가 프로세스의 퀄리티가 모든 경우에 equal하다고 가정했을 때) 같은 사람을 같게 대하는 것 뿐만 아니라, 같지 않은 사람을 같지 않게 대하는 것까지 포함되는 것이다.

The reason for this is that equity is not only treating equal people equally, but it is also treating unequal people unequally, provided that the quality of the assessment process is equal in all cases.


스크리닝 프로그램과 개별 환자에 대한 진단 프로그램이 다르다. 선별 프로그램은 환원주의적 의사결정(높은 위험 또는 낮은 위험)에 대한 구조화된 접근방식에 초점을 두며, 개개 환자에 대한 돌봄은 맞춤형 의료 서비스를 위한 세부 정보에 초점을 맞춘다. 말할 필요도 없이, 훌륭한 종합 건강 관리 시스템은 둘 다 활용되어야 하고, 따라서 평가 프로그램도 마찬가지이다; 구조화되고 표준화된 요소와 유연하고 개별화된 요소를 모두 포함해야 한다.

like screening programmes in health care differ from diagnostics in individual patient care. Screening focusses on structured approaches to reductionist decisions (high risk or low risk) and individual patient care focusses on detailed information for tailored health care. Needless to say that a good overall health-care system utilises both, and so should an assessment programme; it contains both structured and standardised elements and flexible individualised ones.


평가는 부족한 역량을 탐지하는 목적만 가진 것은 아니다: 사실은 그러면 안된다.

Assessment is not solely about detecting deficiencies; in fact it should not be


전형적으로 우리는 평가를 무능한 학생들이 합격하거나 졸업하는 것을 막는 도구로 생각하는 경향이 있다. 이렇게 하려면 평가는 학생들이 무엇이 부족한지에 초점을 맞춰야 하고, 따라서 본질적으로 꽤 징벌적 성격을 가질 수 밖에 없다.

Typically we tend to think about assessment as the instrument to prevent incompetent students from passing or graduating. In order to do this it has to focus on the deficiencies of the students and therefore has to be quite punitive in nature.


첫째, 이러한 방식의 평가는 항상 교사/평가자와 학생 사이에 긴장을 유발하며, 서로를 적대적 상황에 놓이게 한다. 이러한 긴장감은 (비밀 문제은행, 방어적인 학생 교사 관계, 교사의 멘토링 역할의 훼손, 학생들의 전략적 시험 행동, 사기 등과 같이) 학습에 반하는 전략과 행동들로 이어진다. 더 중요한 것은, 이것이 단순히 학생들을 instruct하기보다는 학생들을 educate시키려는 학교의 노력을 방해하고, 학생들의 혁신적인 학습 개발을 방해한다는 것이다. 이것은 학생들이 [지식과 이해의 한계를 탐험하는 것에 편안함을 느끼는 성인 학습자]가 되도록 하지 않는다는 것을 의미하고, 그들의 전문지식을 지속적으로 확장하기 위해 더 나아가는 것을 편안하게 느끼게 만들어주지 못함을 의미한다. 졸업후 과정에서도 현재 접근 방식은 CME에 충분히 관여하지 않는 사람들을 '징벌'하는 재인증 시스템으로 이어지며, 전문적 자기 향상보다는 등록 취소 위협을 주된 인센티브 시스템으로 활용한다.

First, it always creates a tension between teacher/assessor and student, putting both in adversarial roles. This tension leads to strategies and behaviours that are antipathic to learning such as secret item banks, defensive student teacher relationships, with compromise of the mentoring role of the teacher, strategic student test-taking behaviour, fraud, etc. More importantly, it obstructs the schools’ endeavours to educate students rather than to simply instruct them, and it stifles the students’ transformative learning development (Mezirow 2002). This means that it does not lead students to become adult learners who feel comfortable exploring the boundaries of their knowledge and understanding, and feel comfortable going further to continuously expand their expertise. Even at a post-graduate level the current approach leads to re-accreditation systems that ‘punish’ those who do not engage sufficiently in CME, using threat of deregistration as the prime incentive system rather than professional self-improvement.


둘째, 그것은 무능하고 보상받을 수 없는 학생들의 유병률이 낮다는 것을 고려하지 않는다. 특히 의학에서는 그러한 학생들의 수가 보통 적다. 이러한 학생들을 발견하는 데만 중점을 두는 평가는 필연적으로 많은 수의 문제를 가질 수 있다. 즉, 다수의 이미 훌륭한 학생들까지 시험을 받아야 하고, 각각의 시험은 (한 명의 부족한 학생을 잡아내기 위해서) 역량을 갖춘 학생을 부당하게 낙제시킬 가능성이 있다.이것이 (공공) 자원의 책임 있는 사용인지 심각하게 의문을 품을 수 있으며, 이것이 학생들에게 해롭다는 결론에 다다르게 하며, 실제로 학생의 학습을 지원해야 하는 암묵적 계약을 무시한다.

Second, it does not take into account the low prevalence of students who are incompetent and cannot be redeemed. Especially in medicine the numbers of such students are usually low. Focussing assessment purely on detecting these students is likely to have a number-needed-to-treat problem,i.e. many good students have to be tested and many tests –each with a probability of unjustly failing a competent student –have to be used in order to capture one unredeemable student.One could seriously question whether this is an accountable use of (public) resources, and conclude that this is harmful to students, and indeed neglects the implicit contract to support their learning. 


셋째, 그것은 교육적 담화를 소비자-제공자의 토론으로 강제하고, 학생들은 학교를 역량 교육을 하는 조직이 아니라 졸업장을 판매하는 기관으로 보게 된다. 시험은 교수가역량 개발을 최적화하기 위해 사용하는 도구가 아니라, 학생의 졸업장을 보류하기 위해 사용하는 도구와 거의 자동으로 연관된다.

Third, it forces the educational debate into a consumer provider discussion, where students see the school as the organisation selling diplomas rather than educating for competence. Examinations are almost automatically associated with the instruments the faculty uses to withhold students their diplomas rather than instruments the faculty uses to optimise the development of competence.


학습 설계에 대한 프로그램적 평가에서, 평가가 교육의 한 부분으로 여겨질 때, 의과대학이 '판매' 하는 '물건'은 '가장 빠른 졸업증'이 아니라 '최적의 역량'이 될 것이다. (Dannefer & Hensu 2007). 그러나 이것 때문에, 교육은 결함을 보완할 뿐만 아니라 능력과 재능을 확인하는 것이기 때문에 평가는 약점뿐만 아니라 강점에도 초점을 맞추어야 한다. 따라서 순수하게 '결함 모델'을 사용하는 대신 '차이 모델'을 선택하는 것이 더 낫다.

Where assessment can be really made into an integral part of education, in a programmatic assessment for learning design, the ‘product’ medical schools ‘sell’ is optimal competence rather than the fastest diploma (Dannefer & Henson 2007; Schuwirth et al. 2012). For this, however, assessment should be aimed not only at weaknesses but also at strengths, as education is not only remediating deficiencies but also affirming abilities and talents. So instead of using a pure ‘deficiency-model’ it is better to choose for a ‘differences model’.


Epilogue 


평가 원칙과 실천요강은 아마도 대부분의 현재 시스템보다 더 '어려울' 것이다. 왜냐하면 그것들은 풍부한 정보 수집, 많은 경우 다중 샘플링, 수집된 모든 정보에 대한 문서화와 분석, 그리고 충분히 훈련된 직원들에 의해 학생들과 열린 대화를 필요로 하기 때문이다.

The assessment principles and practices are probably ‘harder’ than most current systems, because they are based on collecting rich information, multiple sampling at many occasions, documentation and analysis of all the collected information and an open dialogue with students by staff that is sufficiently trained for this task.







 2013 Jul;35(7):555-9. doi: 10.3109/0142159X.2013.787140. Epub 2013 May 3.

Assessing tomorrow's learners: in competency-based education only a radically different holisticmethod of assessment will workSix things we could forget.

Author information

1
Flinders Innovation in Clinical Education, Health Professions Education, School of Medicine, Flinders University, GPO Box 2100, Adelaide SA 5001, Australia. lambert.schuwirth@flinders.edu.au

Abstract

In this paper we are challenging six traditional notions about assessment that are unhelpful when designing 'assessment for learning'-programmes for competency-based education. We are arguing for the following: Reductionism is not the only way to assure rigour in high-stakes assessmentholistic judgements can be equally rigorous. Combining results of assessment parts only because they are of the same format (like different stations in an OSCE) is often not defensible; instead there must be a logically justifiable combination. Numbers describe the quality of the assessment. Therefore, manipulating the numbers is usually not the best way to improve its quality. Not every assessmentmoment needs to be a decision moment, disconnecting both makes combining summative and formative functions of assessment easier. Standardisation is not the only route to equity. Especially with diverse student groups tailoring is more equitable than standardisation. The most important element to standardise is the quality of the process and not the process itself. Finally, most assessment is too much focussed on detecting deficiencies and not on valuing individual student differences. In competency-based education--especially with a focus on learner orientation--this 'deficiency-model' is not as well aligned as a 'differences-model'.

PMID:
 
23641916
 
DOI:
 
10.3109/0142159X.2013.787140
[Indexed for MEDLINE]


CBME의 공통 용어를 향하여(Med Teach, 2017)

Toward a shared language for competency-based medical education

Robert Englandera, Jason R. Frankb,c, Carol Carracciod, Jonathan Sherbinoe, Shelley Rossf , and Linda Snellb,g; on behalf of the ICBME Collaborators




도입

Introduction


공유 언어는 적응적 변화를 이끄는 데 중요하다. 사람들이 같은 의미로 같은 단어를 사용하기 시작하면, (심지어 이 문제에 대한 중요한 차이가 있을 때조차) 더 효과적으로 의사소통하고, 오해를 최소화하고, 같은 페이지에 있다는 느낌을 갖게 된다.(Heifetz et al., 2009).

Shared language is important in leading adaptive change. When people begin to use the same words with the same meaning, they communicate more effectively, minimize misunderstandings, and gain the sense of being on the same page, even while grappling with significant differences on the issues (Heifetz et al. 2009, p. 9).


적응형 도전adaptive challenge의 특징. 이러한 유형의 도전은 다음과 같은 방식으로 기술적 도전technical challenge과 구별된다. 

the hallmarks of an adaptive challenge. This type of challenge is distinct from a technical challenge in the following ways: 


  • (1) 경로가 명확하지 않다. 

  • (2) 목적지는 교육 및 훈련 프로그램에 대한 신분 변경을 요구한다. 

  • (3) 여정은 교육자, 임상 교수, 훈련생 모두에게 새로운 역량과 실험이 필요하다. 

  • (4) 과정은 불안정하고 종종 상실감을 발생시킨다. 

  • (5) 과정은 기술적인 작업보다 해결하는 데 더 오래 걸립니다(Heifetz et al. 2009). 

  • (1) the path is not clear; 

  • (2) the destination requires a change of identity for education and training programs; 

  • (3) the journey requires new competencies and experimentation for educators, clinical faculty, and trainees alike; 

  • (4) the process generates disequilibrium and often a sense of loss; and 

  • (5) the process takes longer to resolve than technical work (Heifetz et al. 2009). 

이러한 종류의 근본적인 변화는 관련 용어의 공유 언어에 의해 크게 촉진된다.

This kind of fundamental change is greatly facilitated by a shared language of related terms.


CBME 언어에 대한 모호성은 새로운 패러다임의 채택에 대한 중요한 장벽으로 강조되었다. (Fernandez et al. 2012; 부모 외 2013; Whitehead et al. 2015; Hautz).

Ambiguity around the language of CBME has been highlighted as an important barrier to the adoption of the new paradigm (Fernandez et al. 2012; Parent et al. 2013; Whitehead et al. 2013; Hautz et al. 2015).


마일스톤 

Defining milestones


이정표의 개념은 처음에는 대학원 의학 교육 위원회(ACGME)의 이정표 프로젝트의 결과로 주목을 받았다. 이 프로젝트는 각 전문 분야별로 global unsupervised practice(ACGME 2013)의 달성에 필요한 역량 개발을 대학원 교육 과정 중에 명확히 규정해야 했습니다.

The concept of milestones has gained significant attention, initially as a result of the Milestones Project of the Accreditation Council for Graduate Medical Education (ACGME). This project required each of the specialties to define the “milestones” that during the course of graduate training marked advancement toward the competencies required for achievement of the global unsupervised practice (ACGME 2013).


그러나 유럽 의학 교육에서 이정표의 개념은 미국이나 캐나다의 현재 담론에서 보다 다양하고 "광범위한" 용어로 자주 설명된다.

However, in European medical education the notion of a milestone is frequently described in different and “larger” terms than in current discourse in the United States or Canada.


이정표: 개인의 능력을 발달 연속체를 따라 정의되고 관찰 가능한 마커.

Milestone: A defined, observable marker of an individual’s ability along a developmental continuum.


이 정의는 [관찰가능하고 평가가능한 전문지식의 단계적 진보]에 대한 명시적 진술로서 교육 이정표의 개념을 설명한다.

This definition articulates the concept of an educational milestone as an explicit statement of the stepwise progression of expertise that can be observed and assessed.


EPA

Defining EPAs


EPA의 정의에 중요한 특징은:

Critical to the definition of EPAs are the following features, An EPA:

  •   주어진 맥락에서 필수적인 전문적인 업무의 일부이다.

  •   적절한 지식, 기술, 태도를 필요로 한다.

  •   전문직업적 노동에 대한 recognized output을 내게 한다.

  is part of essential professional work in a given context

  requires adequate knowledge, skills, and attitude

  leads to recognized output of professional labor


또한 ten Cate와 Schelle은 EPAs의 이상적이지만 필수적이지는 않은 특징들을 기술했다. EPA는..

In addition, ten Cate and Scheele delineated features of EPAs that are ideal but not required. These include that EPAs should:


  • 자격을 갖춘 사람에게만 국한되어야 한다.

  • 비의존적으로 실행 가능하능해야 한다

  • 특정 time frame 내에 실행 가능해야 한다

  • 과정 및 결과에서 관측 가능하고 측정 가능(완전하거나 잘 수행되지 않음)해야 한다.

  • 하나 이상의 역량을 반영해야 한다(아래 "EPA, 역량 및 이정표 간의 관계" 참조).

   be confined to qualified personnel

   be independently executable

   be executable within a time frame

   be observable and measurable in its process and outcome (done well or not done well)

   reflect one or more competencies (see “The relationship between EPAs, competencies and milestones,” below)



의학교육의 맥락에서 다음과 같은 합의된 정의:

the following consensus definition in the context of medical training:


EPA(독점적 전문 활동): 충분한 역량이 갖춰지면, 특정 의료 환경에서 직접적인 감독 없이 수행할 수 있는 한 분야(전문직)의 필수 업무입니다.

Entrustable professional activity (EPA): An essential task of a discipline (profession, that an specialty, or subspecialty) individual can be trusted to perform without direct supervision in a given health care context, once sufficient competence has been demonstrated.



그러면, 전공, 전문과, 보건의료전문직은 관련된 업무 범위를 반영하는 일련의 EPA를 갖게 될 것이다.

then, that a discipline, specialty, or health care profession would have a set of EPAs that reflects the relevant scope of practice.


EPA 개념의 결과로 "Nested EPA"와 "공인 책임 진술(STAR)"이라는 두 가지 추가 용어가 문헌에 등장하고 있다.

Two additional terms are emerging in the literature as a result of the EPA concept: “nested EPA” and “statement of awarded responsibility (STAR).”


내포된 EPA: 광범위한 EPA에 필요한 지식, 기술 및 태도의 subset에 대한 숙련도가 필요한 작업. 중첩된 작업의 성능에 대한 기대는 전체 작업에 관여하는 것보다 개발 경로의 초기 단계에서 발생합니다. 

내포된 EPA에는 "상위" EPA의 요소가 있다. 즉, 다음과 같다. 

    • 지식, 기술 및 태도의 통합이 필요하다. 

    • 지정된 기간 내에 독립적으로 실행 가능합니다. 

    • 관측 가능하고 측정 가능한 결과물로 이어집니다. 

내포된 EPA의 예로는 "제왕절개의 적응증을 이해하고 수행할 수 있다"가 있으며, 이것의 "상위" EPA는 "복잡한 출산을 관리할 수 있다"가 된다. (van Loon et al. 2014).

Nested EPA: A task that requires proficiency in a subset of the knowledge, skills, and attitudes required for the broader EPA. The expectation for entrustment with the performance of a nested task occurs at an earlier stage of the developmental trajectory than entrustment with the entire task. 

A nested EPA possesses the elements of its “parent” EPA; that is, 

    • it requires the integration of knowledge, skills, and attitudes; 

    • it is by independently executable within a given time frame qualified personnel; and 

    • it leads to observable and measurable outputs. 

An example of a nested EPA might be “understanding the indications for and performing a caesarian section,” which is a nested in the “parent” EPA “managing complicated childbirth”. (van Loon et al. 2014).


책임 부여명세서(STAR): EPA에 대한 기여granted가 허가되는 특정 지점에 대한 공식 인정. STAR는 관리자가 해당 EPA에 대한 모든 중요 활동을 수행할 수 있는 교육자의 능력에 대해 시간이 지남에 따라 신중한 결정을 내릴 것을 요구한다. STAR의 구체적이고 형식적인 의미는 (지금까지 trainee 성과 문서의 근간이 되어온) 어떤 평가와도 다르다. 즉, STAR는 학습자가 감독 없이 해당 EPA를 수행할 수 있음을 보여준다. 결과적으로, 그것은 assessment 또는 evaluation보다는 인증과 유사하다.

Statement of awarded responsibility (STAR): A formal recognition of the specific point at which entrustment for an EPA is granted. STARs require supervisors to make deliberate decisions over time about their trainees’ competence to perform all critical activities for that EPA. The specific and formal implications of a STAR differ from those of any evaluations that have been the backbone of trainee performance documentation to date, in that a STAR allows the learner to perform the corresponding EPA without supervision. As a result, it bears a closer resemblance to a certification than an assessment or evaluation.


다른 떠오르는 용어들

Other emerging terms in CBME


Competency

Competence

The array of abilities (knowledge, skills, and attitudes) across multiple domains or aspects of performance in a certain context. Statements about competence require descriptive qualifiers to define the relevant abilities, context, and stage of training. Competence is multi-dimensional and dynamic. It changes with time, experience, and setting. (Frank et al. 2010)


Competency

An observable ability of a health professional related to a specific activity that integrates knowledge, skills, values, and attitudes. Since competencies are observable, they can be measured and assessed to ensure their acquisition. Competencies can be assembled like building blocks to facilitate progressive development. (Frank et al. 2010)


Competency-based medical education

An outcomes-based approach to the design, implementation, assessment, and evaluation of medical education programs, using an organizing framework of competencies. (Frank et al. 2010)


Competency benchmark

Expected performance level for a cohort of learners at a given point in education, training, or practice. (Willet 2012)


Competency framework

An organized and structured representation of a set of interrelated and purposeful competencies. (Willet 2012)


Competent

Possessing the minimum required abilities in all domains in a certain context at a defined stage of medical education, training, or practice. (Frank et al. 2010)


Domains of competence

Broad, distinguishable areas of competence that in the aggregate constitute a general descriptive framework for a profession, such as the six domains of competence described by the ACGME (Patient Care, Medical Knowledge, Professionalism, Interpersonal and Communication Skills, Systems-Based Practice, and Practice-Based Learning and Improvement) or the seven CanMEDS roles (Medical Expert, Professional, Communicator, Collaborator, Leader, Health Advocate, and Scholar). (Englander et al. 2013)


Dyscompetence

Possessing relatively less ability in one or more domains of health professional competence in a certain context and at a defined stage of education or practice. (Frank et al. 2010)


Incompetent

Lacking the required abilities to carry out a context-specific task at the predetermined performance level for a defined stage of medical education, training, or practice.


Entrustable professional activities

Entrustable professional activity: An essential task of a discipline (profession, specialty, or subspecialty) that a learner can be trusted to perform without direct supervision and an individual entering practice can perform unsupervised in a given health care context, once sufficient competence has been demonstrated.


Nested EPA: A nested EPA is a task unit that represents a foundational subset of the KSA required for the broader EPA. As a building block for the broader EPA, the expectation for entrustment occurs at an earlier stage of the developmental trajectory. A nested EPA possesses the elements of its “parent” EPA

(requires the integration of knowledge, skills and attitudes; is independently executable within a given timeframe by qualified personnel; and leads to observable and measurable outputs).


Statement of Awarded Responsibility (STAR): A STAR is a formal recognition of the specific point at which entrustment for an EPA has been granted. STARs require supervisors to make deliberate decisions over time about their trainees’ competence to perform all critical activities for that EPA.


Milestones

Milestone: A defined, observable marker of an individual’s ability along a developmental continuum.


EPA, 역량 및 이정표 간의 관계

The relationship between EPAs, competencies, and milestones


EPA는 일의 단위인 반면, 역량은 개인의 능력이다. EPA를 특징짓는 지표 중 하나는 일반적으로 여러 역량 영역에 걸쳐 다양한 역량의 통합이 필요하다는 것이다.

EPAs are units of work, whereas competencies are the abilities of individuals. One of the defining markers of an EPA is that it requires the integration of multiple competencies, usually across domains of competence.


저자들은 EPA와 역량 사이의 구별이 항상 명확한 것은 아니라는 것을 인정한다. 이러한 구분은 EPA의 "크기"에 관한 의견의 불일치로 인해 더 복잡해졌다. 문헌에는 "작은" EPA로는 lumbar puncture 수행을, "큰" EPA로는 외래환자 환경에서 일반적인 만성 질환을 관리를 언급하고 있다(10 Cate 2013).

The authors recognize that the distinctions between EPAs and competencies are not always sharp. The distinction is further muddied by the lack of consensus regarding the “sizing” of EPAs. The literature has included EPAs as “small” as performing a lumbar puncture and as “large” as managing a common chronic disease in the outpatient setting (ten Cate 2013).


그럼에도 불구하고, EPA와 역량은 서로를 보완한다. 이 두가지가 모였을 때 의사에 대한 보다 전체적인 관점을 제공한다.

Nevertheless, EPAs and competencies complement each other. Together, they provide a more holistic view of a physician


역량만으로는, 의사의 역할이 실세계에서는 감독자와 학습자에게 의미가 없을 정도로 추상적이거나 너무 원자화된 형태로 이루어질 수 있다. 또한, 역량에만 기반한 평가 시스템은 graded responsibilities에 관해 다소 인위적인 렌즈를 제공한다. 

Applied alone, constructs of competency can result in definitions of the physician’s role that are either so abstract or so atomized as to become meaningless to supervisors and learners in the real-world contexts of care delivery. Further,assessment systems based solely on competencies can provide a somewhat artificial lens through which to view graded responsibilities. 


EPA는 [의료 전문가의 실제 작업의 범위]를 높은 안면타당도로 outlining함으로써 역량 모델의 한계를 균형잡아준다. 그것들은 학습자에게 점점 더 많은 책임을 부여하는 과정과 업무 기반 평가에 유용한 구조를 제공한다. 

EPAs balance this limitation of the competency model by outlining, with high face validity, the spectrum of the health professional’s actual work. They provide a useful structure for work-based assessment and for the progression by which increasing responsibility is given to the learner. 


그러나 역량 프레임워크는 여전히 필수적이다. Entrustment에 필요한 역량의 매핑이 없다면, 평가자는 EPA의 준비 상태를 구성하는 것이 무엇인가에 대한 shared mental model을 갖지 못할 것이다. 게다가, 의사에게 필요한 역량의 전체 범위를 설명해주는 역량 프레임워크가 없다면, 그 결과는 의사에 대한 uneven하거나 지나치게 기술적인 관점일 것이다. 즉, 의사에 대해 작업 또는 산출물에 대해서만 정의할 뿐, 전문성이나 advocacy와 같은 21세기 의사에게 필요한 특정 능력들을 잠재적으로 무시한다.

However, a competency framework remains essential; without a mapping of the competencies required for entrustment, assessors will lack a shared mental model of what constitutes readiness for an EPA. Moreover, without a competency framework to describe the complete spectrum of necessary physician abilities, the result might be an uneven or overly technical view of the physician – that is, a definition based solely on his or her work or output – and thus potentially ignore many of the specific abilities required of the twenty-first century physician, such as professionalism and advocacy.


최소한 두 개의 모델이 있다: 주로 미국 모델과 유럽 모델 중 하나

 at least two models – one primarily in the US and one in Europe – are in use. Figure 1




미국의 프레임워크에서, 이정표는 역량보다 더 작은 구성 요소이며, 해당 역량에 대한 특정 수준의 성취도를 나타낸다. 

Therefore, in the US framework, a milestone is a smaller construct associated than a competency and represents behavior swith a specific level of achievement for that competency. 


유럽에서는 이정표가 EPA 또는 역량보다 상당히 "더 큰 것"으로 개념화된다. 따라서 이정표는 주니어에서 시니어 전공의가 되면서 밟아나가는 역량이나 EPA의 성취를 보여주는 지표가 된다.

In Europe, milestones are conceptualized in some settings as considerably “bigger” than the EPAs or competencies, such that a milestone is a marker of the achievement of a cluster of competencies or EPAs that allows one to move, for example, from junior to senior residency.


그림 2는 이 모델에서 이정표와 EPA 사이의 관계를 나타내고, 그림 3은 이 모델의 이정표와 역량 사이의 관계를 나타낸다.

Figure 2 depicts the relationship between milestones and EPAs in this model, and Figure 3 depicts the relationship between milestones and competencies in this model.


그러한 하이브리드 모델의 존재는 EPA, 이정표 및 역량을 위한 명확한 정의와 공유 언어의 필요성을 강화한다. 일부 인증 기관에서는 이미 문서에 이정표 용어를 포함했습니다(ACGME 2013). 곧 EPA도 그럴 것이다.

The existence of such hybrid models reinforces the need for clear definitions and a shared language for EPAs,milestones, and competencies. some accreditation bodies have already included milestones terminology in their documents (ACGME 2013); EPAs are likely coming soon.







Conclusion and next steps

CBME의 다음 단계에는 그러한 결과를 달성하는 데 필요한 개발 진행 또는 이정표를 정의하고, 학부 및 대학원 의학 교육에서 역량 평가 및 구현을 위한 EPA와 같은 프레임워크를 개발하는 것이 포함된다.

 the next phase of CBME involves defining the developmental progression, or milestones, required to achieve those outcomes and developing frameworks such as EPAs for implementing the teaching and assessment of competencies in both undergraduate and graduate medical education






 2017 Jun;39(6):582-587. doi: 10.1080/0142159X.2017.1315066.

Toward a shared language for competency-based medical education.

Author information

1
a School of Medicine, University of Minnesota , Minneapolis , MN , USA.
2
b Royal College of Physicians and Surgeons of Canada , Ottawa , Canada.
3
c Department of Emergency Medicine , University of Ottawa , Ottawa , Canada.
4
d American Board of Pediatrics , Chapel Hill , NC , USA.
5
e Division of Emergency Medicine, Department of Medicine , McMaster University , Hamilton , Canada.
6
f Department of Family Medicine , University of Alberta , Edmonton , Canada.
7
g Centre for Medical and Department of General Internal Medicine , McGill University , Montreal, Quebec , Canada.

Abstract

The paradigm shift brought about by the advent of competency-based medical education (CBME) can be characterized as an adaptive change. Currently, its development and implementation suffer from the lack of a lingua franca. A shared language is needed to support collaboration and dissemination across the world community of medical educators. The International CBME Collaborators held a second summit in 2013 to explore this and other contemporary CBME issues. We present the resulting International CBME Collaborator's glossary of CBME terms. Particular attention is given to the terms competency, entrustable professional activity (EPA), and milestone and their interrelationships. Medical education scholars and enthusiasts of the competency-based approach are encouraged to adopt these terms and definitions, although no doubt the vocabulary of CBME will continue to evolve.

PMID:
 
28598739
 
DOI:
 
10.1080/0142159X.2017.1315066
[Indexed for MEDLINE]


역량-바탕 세계에서 평가의 개념적 진화(Med Teach, 2017)

Evolving concepts of assessment in a competency-based world

Peter Harrisa, Farhan Bhanjib,c, Maureen Toppsd, Shelley Rosse , Steven Liebermanf, Jason R. Frankb,g,

Linda Snellb,c and Jonathan Sherbinoh; on behalf of the ICBME Collaborators




도입

Introduction


역량 기반 의료 교육(CBME)은 커리큘럼 설계와 훈련생 평가에 대한 접근방식으로서, CBME의 근본적인 목표는 의료 전문가의 교육을 향상시켜 일관된 고품질 환자 치료를 제공하는 것이다(Caracio et al. 2002; Frank et al. 2010). CBME는 훈련생과 practitioner의 역량을 체계적으로 향상시키기 위해 노력하고 있으며, 역량이 달성되고 유지되는지 확인하는 것뿐만 아니라, 수월성excellence을 장려합니다.

Competency-based medical education (CBME) is an approach to curriculum design and trainee assessment whose fundamental aim is to improve the training of health care professionals so that they deliver consistent, high-quality patient care (Carraccio et al. 2002; Frank et al. 2010). CBME strives to systematically enhance abilities in trainees and practitioners, not only ensuring that competence is achieved and maintained, but also encouraging excellence.


역량 기반 평가 설계는... 

  • 학습자에게 제공하는 피드백의 양과 질을 개선하는 동시에, 성찰 연습 및 평생 학습을 위한 기술 개발을 지원한다. 

  • 지속적인 품질 개선 프로세스의 일환으로 평가 데이터를 활용한다. 

  • 가장 중요하게는, 관련 영역에서 입증된 역량을 가진 의사가 의료를 제공하도록 하기 위함이다.

Competency-based assessment is designed 

to improve the quantity and quality of feedback to learners, while supporting the practice of reflection and the development of skills for lifelong learning; 

to utilize assessment data as part of a continuous quality improvement process; 

and, perhaps most importantly, to ensure that patient care is delivered by providers with demonstrated competence in the relevant domains.


역량 프레임워크와 CBME 평가

Competency frameworks and CBME assessment


역량 프레임워크는 효과적인 전문적 의료행위에 필요한 역량의 statement로 구성된 조직된 스키마이다.

A competency framework is an organized schema composed of statements of the abilities required for effective professional practice.


CBME는 어떤 학습 활동이든 프레임워크에 의해 정의된 하나 이상의 역량과 관련되어야 하는 구조를 제공한다.

It provides a structure within which learning activities should relate to one or more that of the competencies defined by framework.


CBME는 학습에 대한 고립된, 고부담의, 일시적인, 총괄평가보다는 학습을 위한 평가를 강조한다. 이 접근법은 통합적이며, 맥락의존적이고, 전문직업적 역량의 시연가능한 선택과 연결되어있고, 직무의 상호의존성과 역량에 필요한 평가의 다양성을 강조하는 Govaerts(2008)의 설명과 잘 들어맞는다.

CBME emphasizes assessment for learning rather than isolated, high stakes, point-in-time, summative examinations of learning. This approach fits well with the Govaerts (2008) description of integrated, context-dependent, demonstrable choices linked to professional domains, and emphasizes the interdependency of tasks and the multiplicity of assessments required for competency.



또한 학습자와 임상의사가 전문가와 동료의 직접적인 관찰과 건설적 피드백을 활용하는 평가 방법을 "buy-in"하는 것이 필수적입니다.

and it is essential that learners and clinicians “buy in” to assessment methods that utilize the direct observation and constructive feedback of experts and peers.


CBME는 다양한 환자를 대상으로 여러 번 여러 번 마주치는 관찰자를 요구해야 하는 과제를 제시합니다.

CBME presents the challenge of requiring multiple observers of multiple encounters at multiple times with diverse patients


역량에 대한 총괄적 판단은 고립적으로 내려져서는 안 된다(Holmboe et al. 2010). 대신, 복수의 관찰과 평가점수가 모여져서 판단을 내릴 훈련자의 실제 그림을 전달하는 방식으로 결합되어야 한다. "결정 순간"은 "평가 순간" 에서 분리되어야 하며(Schuwrence & van der Vleuten 2011), 데이터 수집은 종합적인 결정을 뒷받침할 만큼 충분히 풍부해질 때까지 계속되어야 한다.

Summative judgments of competence should not be made in isolation (Holmboe et al. 2010); rather, multiple observations and ratings need to be combined in a manner that conveys a real picture of the trainee to be judged collectively. “Decision moments” need to be disconnected from “assessment moments” (Schuwirth & van der Vleuten 2011), and data collection should continue until it is rich enough to support a summative decision.


CBME의 평가는 단순히 역량의 부재를 확인하는 것에서 그치면 안되며, 역량 향상에 초점을 맞춰야 한다.

Assessment in CBME should focus on improving competence, not simply on identifying incompetence (Schuwirth & Ash 2013).



CBME평가의 타당성 개념

Conceptualizing validity in CBME assessment


평가의 타당성은 특히 총괄 평가에서 가장 큰 관심사이다. 20세기 중반에, 의학 교육에서의 정신측정학의 도입은 [판단의 정확성 판단을 목적으로 하는 평가 데이터의 엄격한 interrogation]을 위한 체계적인 접근법을 제공했다. 그러나, 전통적인 타당성 representation은 결정의 정확성을 제한적이고 피상적으로만 이해할 수 있게 만든다(즉, 내용, 준거, 구인 타당도)

The validity of an assessment, particularly a summative assessment, is of paramount concern. During the mid-20th century, the adoption of psychometrics in medical education offered a systematic approach to the rigorous interrogation of assessment data in order to determine the accuracy of a judgment. However, it is now understood that traditional representations of validity (i.e. content, criterion, and construct validity) can result in a limited and superficial understanding of the accuracy of a judgment.


특히, 전통적인 정신측정적 접근법은 양적 데이터만이 역량의 판단에 사용하게 만들며(Hodge 2013), 종종 측정하기 쉬운 지식이나 기술에 초점을 맞추고, 역량 척도는 과도하게 환원적인 것으로 대체시킨다(Govaert et al.)

Specifically, a traditional psychometric approach allows only quantitative data to inform a judgment of competence (Hodges 2013), often focusing on knowledge or skills that are easy to measure, and leading to overly reductionist surrogates of competence (Govaerts et al. 2007).


25년 전, 메시크(1989년)는 양적 점수의 통계적 정확성을 넘어서는 타당성 정의를 제안했다. 타당성은 "경험적 근거와 이론적 합리성이 추론/시험 점수/다른 평가 방식에 기초한 조치의 적절성과 적합성을 뒷받침하는 정도에 대한 통합된 평가적 판단"이다. 이러한 개념화를 바탕으로, 케인(1992)은 타당성을 최종 판단의 "진실성"에 대한 [추론의 거미줄]로 해석했다. 이 개념에 따르면 타당성은 "숫자"가 아니라 의사의 "진짜" 역량에 대한 최종 판단을 뒷받침하는 '주장'이다.

More than 25 years ago, Messick (1989, p. 5) proposed a definition of validity that moved past the statistical accuracy of quantitative scores: “Validity is an integrated evaluative judgement of the degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of inferences and actions based on test scores or other modes of assessment.” Building on this conceptualization, Kane (1992) construed validity as a web of inferences about the “truth” of a summative judgment. By this conception, validity is not a “number” but, rather, an argument that supports the final judgment about “true” physician competence.


기본적으로, 네 가지 핵심 추론은 

  • 관찰에서 점수로 이동, 

  • 단일 점수에서 글로벌 점수로 이동, 

  • 총괄 판단으로 외삽, 

  • 이러한 데이터를 평가 프로그램의 구조에 도움되는 정보로 연결하는 것이다.

Essentially, four key inferences are made in building a validity argument: moving from observation to score; moving from a single to a global score; extrapolating to a summative judgment; and linking these data to the constructs that inform the assessment program (Schuwirth & van der Vleuten 2012; Cook et al. 2015).


CBME의 평가는 [교육자 그룹에 의해 평가 프로그램이 신중히 설계되어야 하며], [교수진은 학습과 퍼포먼스의 문서화를 모두 서포트하는 방식으로 평가 도구를 사용]해야 한다.

Assessment in CBME requires the deliberate design of a program of assessment by a group of educators and the use of assessment tools by teaching faculty in a manner that both supports learning and documents performance.



질적 평가

Qualitative assessment


많은 출처로부터 잠재적으로 풍부한 정성적 평가 정보를 이용할 수 있다.

Many sources of potentially rich qualitative assessment information are available


질적 접근법은 특히 "전문직업성과 같은 도메인-독립적인 역량"을 평가하는데 유용하며, 학습자의 개발을 안내하는 실행 가능한 피드백을 제공하는 데 유용하다.

Qualitative approaches are especially useful in assessing what van der Vleuten et al. (2010, p. 709) refer to as “domain-independent competencies” such as professionalism and in providing actionable feedback to guide learners in their development.


지금까지 정성적 평가의 구현은 교수 및 학생의 시간과 노력(예를 들어, 포트폴리오의 컴파일 및 평가)부담 뿐만 아니라, 신뢰도와 타당도에 대한 전통적인 심리측정적 구인에 의해서도 저해되어 왔다. 이러한 전통적인 개념에서는 질적 데이터는 표준화된 시험을 통해 얻은 점수에 비해 나쁜 것으로 여겨져왔다.

To date, the implementation of qualitative assessment has been hampered not only by the time and effort it demands of faculty and often learners – for example, in the compilation and assessment of portfolios (Donato & George 2012) – but also by an emphasis on the traditional psychometric constructs of reliability and validity, under which qualitative data may fare poorly in comparison with scores obtained through standardized testing.


소위 "심리측정학 담화" (Hodge 2006)는 의학 교육에서 질적 평가 방법의 사용과 refinement를 억제해왔지만, 질적 방법의 사용이 점차 늘어나면서, 신뢰성과 타당성에 대한 전통적 강조는 새로운 구인인 trustworthiness와 authenticity에 의해서 되욱 강화되었다.

The so-called “psychometric discourse” (Hodges 2006) has inhibited the use and refinement of methods of qualitative assessment in medical education, but as the use of these methods has increased the traditional emphases on reliability and validity has been augmented by new constructs such as trustworthiness and authenticity (Govaerts et al. 2007).


광범위한 영역에서 다양한 유형과 평가 포인트의 필요성이 광범위하게 받아들여진다(van der Vleuten & Schuwer 2005). 이러한 다수의 평가 지점들(이 중 다수는 본질적으로 질적 자료이다)을 통합하는 것은 그 자체가 질적 평가이다.

The need for multiple types and points of assessment across a broad range of domains is broadly accepted (van der Vleuten & Schuwirth 2005). Integrating these multiple points of assessment – many of which are qualitative in nature – is itself an exercise in qualitative assessment.



마일스톤과 평가

Milestones and assessment


CBME는 퍼포먼스의 발전상황과 최종수준을 모두 반영할 수 있는 마일스톤의 개발을 촉진한다. 마일스톤"발달 연속체를 따라 정의된, 관찰가능한 개인의 역량에 대한 마커"이다(이 호에서 Englander et al. 2017). 이들은 준거 기반이며, 마일스톤을 모두 모으면, 특정 역량 또는 성과를 통한 학습자의 개발 여정을 표로 만들 수 있다.

CBME promotes the development of milestones that can reflect both progression and exit levels of performance. A milestone is a “defined, observable marker of an individual’s ability along a developmental continuum” (Englander et al. 2017, in this issue). They are criterion-based and, when taken together, chart the developmental journey of a learner through a particular competency or performance.


progressive step을 포함하는 이정표는 DP과 피드백에 대한 강조와 잘 들어맞는다. 이들은 [예상된 순차적 행동]에 대해 명확히 표현된 근거를 제공하고, 학습자와 평가자를 위한 공유된 정신 모델을 encourage한다.

Milestones that incorporate progressive steps align well with an emphasis on deliberate practice and feedback. They provide a clearly articulated basis for expected, sequential behaviors and encourage a shared mental model for learners and assessors that can guide learning.


평가에 대한 프로그래밍 방식 접근 방식은 진행 상황을 매핑하는 마일스톤에 의존합니다. 그들은 프로그램과 훈련생 모두에게 정보를 제공하고, 한 시점에 개인의 지위를 집합적으로 기술한다.

Programmatic approaches to assessment rely on milestones to map progress. They are informative for both programs and trainees, and collectively describe an individual’s status at a point in time.


반복적으로 수집된 개인화된 자료를 통해 

  • 련자의 교육 궤적을 추적할 수 있으며, 

  • 표준 이하의 성과를 조기에 탐지할 수 있고, 

  • 야에서의 성취도를 조기에 입증한 경우에는 가속 옵션option of acceleration을 사용할 수 있다.

repeated personalized data allow a trainee’s educational trajectory to be tracked and enable the early detection of substandard performance or the option of acceleration where achievement in an area is demonstrated early.


프로그램 수준에서의 결정 외에도, 훈련생들은 자기평가 기술을 개발할 수 있는 도구를 제공하는 평가 시스템을 요구한다. 지금의 훈련 및 평가 시스템은 훈련생들에게 자신을 정확하게 평가하고(Davis et al. 2006) 행동 중 성찰이나 행동 후 성찰을 수행하는 방법을 가르치는 것에 어려움을 겪고 있다.

In addition to program decisions , trainees require assessment systems to provide them with the tools to develop skill in self-assessment. Current systems of training and assessment have struggled with the challenge of teaching trainees how to assess themselves accurately (Davis et al. 2006) and to carry out reflection-on-practice or reflection-in-practice (Eva & Regehr 2005).


CBME는 guided 자기평가를 용이하게 하기 위해 교사와 학습자 사이의 정기적인 의사소통을 요구한다. 최종 목표는 독립적인 연습 동안 평생 학습을 지원할 강화된 자기성찰 기술을 개발하는 것이다.

CBME requires regular communication between teacher and learner to facilitate guided self-assessment; the ultimate goal is to develop enhanced self-reflection skills that will support lifelong learning during independent practice.


피드백과 학생 성과

Feedback and student outcomes


기존의 접근 방식과 달리, CBME는 성과 달성 마일스톤에 대한 이해와 투명성을 높였으며, 따라서 교육자와 교육 기관 모두에 대한 책임감을 높여준다. CBME에 사용되는 실무 중심의 역량 프레임워크는 피드백과 평가를 빈번하게 사용한다면 trainee의 향상된 관심을 촉진할 수 있다.

In comparison with the traditional approach, CBME provides greater understanding and transparency of achievement milestones, and thus improved accountability for both trainees and training organizations. The more practice-focused competency frameworks used in CBME can also foster improved attention to trainees, given the more frequent use of feedback and assessments.


평가는 관찰된 행동과 원하는 행동 사이의 차이를 줄이겠다는 목표를 가지고, 바람직한 관행을 식별하고 장려해야 한다.

Assessments should identify and encourage desired practice, with the goal of reducing the differences between observed and desired practice.


훈련생과 공유하는 형성적 피드백은 비효과적이거나 안전하지 않은 행동을 교정하는 데 도움을 줄 수 있으며, 효과적인 행동을 강화한다(Bazrafkan et al. 2013).

Formative feedback shared with trainees can help them correct behavior that is ineffective or unsafe, and reinforces behaviors that are effective (Bazrafkan et al. 2013).


형성적 피드백을 공유하기 위해서는 학습자가 자신의 강점과 약점을 인식할 수 있는 안전한 환경을 조성해야 한다(Bazrafkan et al. 2013).

The sharing of formative feedback creates a safe environment where learners can gain awareness of their strengths and weaknesses (Bazrafkan et al. 2013).


임상의들의 참여가 극대화되고 지속되기 위해서는, 평가는 실제 임상의들의 활동과 resonate하도록 임상의 작업흐름과 연계되어야 한다. CBME에서 WBA에 대한 강조가 증가하면 학습자와 평가자 사이의 열린 대화와 풍부한 대화를 통해 개발을 촉진할 수 있는 기회가 생깁니다. 교수진은 이러한 피드백을 전달하고 긍정적이고 안전한 환경을 조성하는 데 능숙해야 하며, 학습자는 중요한 피드백을 기꺼이 받아들여야 합니다.

Assessment needs to link to (and be embedded in) clinical workflow, resonating with practising clinicians so that their participation is maximized and sustained. The increased emphasis on workplace assessment in CBME should create the opportunity for an open and rich dialogue between learners and their assessors to promote development. Faculty must be skilled in conveying this feedback and in creating a positive and safe environment, and learners will need to be willing to accept critical feedback.


일단 무능의 영역이 확인된다면, 협력적 접근법은 반복된 평가의 수행을 촉진한다. CBME는 "경계성" 레지던트가 통과/실패 판단의 결과의 영향을 받기보다는, 각각의 중요한 이정표를 진정으로 달성하도록 만든다. remediation과 enrichment은 CBME라는 동면의 양면이다.

A collaborative approach fosters repeated assessment once an area of dyscompetence (Frank et al. 2010) has been identified and remediated. This allows “borderline” residents not to be pushed through as an effect of dichotomous pass/fail judgments, but to truly achieve each significant milestone. Remediation and enrichment are the two sides of the CBME coin (Schuwirth & van der Vleuten 2011).


현재 많은 평가 시스템이 경계성 또는 failing 교육자에게 상당한 노력과 에너지를 집중하고 있으며, 한 가지 이유는 "Fail 주는 것에 fail"한 것을 극복할 적절한 준비가 되지 않은 문화 때문이다. CBME는 교육자들이 좀 더 천천히 진보하는 사람들을 돕도록(배제하도록)할 것을 요구하며, 동시에 이미 표준을 충족하는 학습자에게는 accelerating과 challenging하도록 만든다.

Many assessment systems currently focus substantial effort and energy on the borderline or failing trainee with a culture that is not adequately prepared to overcome the “failure to fail” (Dudek et al. 2005). CBME challenges educators to assist (or exclude) those progressing more slowly, while shifting more attention to accelerating and challenging learners who are satisfying the standards.


학습자는 [특정 분야의 학습에 대해 "역량"을 달성하여 완료되었다고 생각할 위험]이 있으며, 의사로 역할을 하는 내내 지속적으로 학습을 해야할 필요를 인식하지 못할 수도 있다. CBME의 평가는 성취 또는 달성 실패뿐만 아니라 수월성excellence에 관한 언어를 개발할 필요가 있다.

In view of the risk that learners may infer that their learning in a particular area is complete on achieving “competence” and fail to appreciate the need for continual learning throughout their career, assessment in CBME needs to develop a language around excellence and not just around the achievement, or failure to achieve, competence.


Authentic 환경에서의 평가

Assessment in the authentic environment


Holmboe et al. (2010)은 학습과 평가가 발생하는 임상 마이크로 시스템을 묘사한다. 개개 역량 및 역량 집합을 달성하기 위하여 수행하는 deliberate practice와 관련된 WBA는 잦은 형성 평가와 다수 관찰자에 의한 지원을 필요로 한다.

Holmboe et al. (2010) describe the clinical microsystems in which learning and assessment occur. Work-based assessment related to the deliberate practice of both individual and sets of competencies requires support by frequent formative assessment and multiple observations.


최근의 연구는 평가 도구에서 명확한 임상적 앵커clinical anchors가 사용되었을 때 평가자 간 일치가 향상됨을 보여주었다. 평가자 훈련의 어려움 중 하나를 줄이는 방법은, 평가 도구에서 (임상 평가자의 언어를 더 많이 사용함으로써) recognizable clinical rating을 사용하는 것이다.

Recent work noted enhanced agreement when clear clinical anchors were used in an assessment tool. One of the difficulties of assessor training may be reduced by the greater use of recognizable clinical ratings (that is, use the language of clinical assessors) in assessment tools.


평가자의 경우, 이러한 다수의 관찰은 적절히 구성된 역량 위원회의 구성원 간에 공유되어야 한다. 이 위원회는 "안전한 장소"에서 합법적으로 기능함으로써 개인 훈련자의 니즈에 대해 자유롭게 토론할 수 있다.

For the assessors, these multiple observations ought to be shared among the members of a properly constituted competency committee that can function in a “safe place” legally (along the lines of peer-review or morbidity meetings) to allow free discussion about the needs of individual trainees.


"군중의 지혜" 또는 [역량 판단을 위한 집단 과정]이 중요하다는 증거가 대두되고 있다. 어떤 하나의 방법이나 다수 방법의 조합도 의사에게 필요한 모든 능력을 평가할 수 없기 때문에, 그룹 판단은 역량에 대해 가능한 최선의 결정을 내릴 수 있게 해준다. 또한 그룹 프로세스는 단일 평가자 도구를 누적한 것보다 프로페셔널리즘과 관련된 문제를 더 잘 식별할 수 있다(Hemmer et al. 2000).

There is emerging evidence that the “wisdom of crowds” or a group process in making judgments of competence is important. Since no single method or combination of methods can assess all of the competencies required of a physician, group judgment can produce the best possible decisions about competence. Additionally, the group process may be better able to identify issues concerning professionalism than cumulative single-assessor tools (Hemmer et al. 2000).


교수자를 서포트하는 것으로는 적절한 시간을 확보해줌으로써, 작업 기반 평가를 완료하고 후보자의 전체 진행 상황을 "판단"하는 그룹에 참여할 수 있게 해야한다.

Faculty support to ensure that adequate time is dedicated for completing work-based assessments and participating in groups that “judge” the overall progression of the candidate is critical.


1~2개월마다 로테이션이 바뀜으로서 생기는 파편적 학습 환경은 평가의 연속성을 떨어뜨린다. 각 평가자(또는 평가자 팀)이 [각 학습자를 대상으로 아무 정보도 없이 시작하는 것]이 매번 반복되지 말아야 합니다. 임상에서 우리는 관리에 필수적인 임상 세부 사항을 공유하지 않은 상태로 환자를 인계하지 않는다. 학습자를 인계할 때도 마찬가지이다. 불완전한 핸드오버는 불필요한 위험을 발생시킬 수 있습니다. 발달 궤적에 대한 ownership은 학습자에게 달려 있지만, 적절한 이정표 또는 EPA를 달성하고 있는지 여부를 결정하기 위해서는 그 정보가 교수진과 공유되어야 합니다. 성과 결과를 전향적으로 제공함으로써, 우리는 그 다음의 평가자들이 entrustment 결정을 내릴 때, 그러한 정보의 가치에 반하여 생길 수 있는 편향의 위험을 balance해야 한다.

The fragmented learning environment created by a change of rotations every one or two months results in a lack of continuity in assessment. The perpetual cycle of each assessor (or assessor team) starting from scratch with each learner should not be acceptable. In the clinical context, we do not hand over a patient without sharing clinical details essential for care, and we should expect a similar forwarding of information in the handover of learners. An incomplete handover can create unnecessary risk. Although ownership of the developmental trajectory rests with the learner, it also needs to be shared with faculty to determine whether the appropriate milestones or EPAs are being achieved. In feeding performance results forward, we must balance any risk of biasing subsequent assessors against the value of such information to their entrustment decisions.


학습과 평가 연속체

The learning and assessment continuum


매일 75건 이상의 새로운 무작위 통제 임상시험과 11건의 체계적인 리뷰가 출판되고 있으며, 의학 지식은 그 어느 때보다 빠르게 확장되고 있다(Bastian et al. 2010). 확립된established 의사들이 새로운 의학 지식을 그들의 후배들만큼 일관되게 통합하지 않는 다는 것은 놀라운 일이 아니다. (Lipner et al. 2011) 또한 (지속적 학습과 적절한 지속적인 평가에 대한) CBME 접근방식을 적용한다면, 사용빈도가 떨어지면서 자연적으로 발생하는 지식과 기술의 쇠퇴와 연령의 영향을 완화할 수 있으며, 적어도 그러한 상태를 인식할 수 있다(Baxter et al. 2014). Lockyer 등은 평가가 임상의사의 CPD에서도 일상화되기 위해서는 레지던트 교육 이후까지 확장되어야 한다고 주장하였다.

Medical knowledge is expanding faster than ever with the publication of over 75 new randomized controlled trials and 11 systematic reviews every day (Bastian et al. 2010). It should not surprise us if established physicians are not integrating new medical knowledge as consistently as their junior colleagues (Lipner et al. 2011). Additionally, the decay in knowledge and skills that occurs naturally with infrequent use and the effects of age can be mitigated or at least recognized with a CBME approach to continuing learning and appropriate ongoing assessment (Baxter et al. 2014). As Lockyer et al. (2017b) discuss in this issue, assessment needs to extend beyond the completion of residency training to become routine within clinicians’ continuing professional development (CPD).


CBME는 학습 개발에 대한 정보의 논리적 구조를 제공하여 다음 교육 단계로 나아가게 할 수 있으며, CPD로 나아가게 해준다. 성과에 대한 유익한 평가는 CPD 프로파일을 구성하거나, 세부전공 또는 practice focus에도 영향을 미칠 수 있습니다.

CBME can provide a logical structure for information on learning development to flow forward to the next training stage and into CPD. An informative appraisal of achievements can help structure the CPD profile or possibly influence areas of subspecialization or practice focus.


결론

Conclusions


CBME로 전환하는 근거 중 하나는, 교육자와 교육 기관 모두가 성과 수준에 대해서 더 명확하게 이해할 수 있으며, 책무성을 더 높여준다는 것이다. 이러한 명확하고 보다 실무 중심적인 역량 프레임워크의 한 가지 함축적 의미는 모든 훈련생들에게 더 많은 관심을 기울이는 것이다.

The rationale for moving to CBME includes a clearer understanding of levels of achievement and improved accountability of both trainees and training organizations. One implication of these clearer and more practice-focused competency frameworks is greater attention to all trainees.


CBME에서의 평가는 역량 프레임워크에 기초해야 하며, 바람직한 성과와 관찰된 성과 간의 차이에 기초한 교육 계획을 개발해야 한다.

Assessment within CBME should be based on competency frameworks and develop an educational plan based on the differences between desired and observed performance.


CBME에서 평가의 초점은 명확하고, 정기적이며, 예상되는 피드백을 바탕으로 한 개인의 발달에 있다. CBME에서의 평가는 단순히 역량을 갖추는 것이 아니라, 학습자와 프로그램이 탁월함을 추구하도록 inspire하는 것입니다.

The focus for assessment in CBME is on individual development based on clear, regular, and expected feedback. Assessment in CBME is not simply about meeting bare competence, but is also intended to inspire learners and programs to strive for excellence.


CBME 맥락에서 타당성이란 단일 도구의 통계 분석에서 벗어나, 평가 프로그램에서 도출된 추론 및 행동에 대한 평가로 전환해야 한다. Miller의 고전적 서술의 "does" 수준을 목표로 하는 진정한 직장 기반 평가는 이러한 타당성의 개념에 매우 중요합니다. Progression이나 능력에 대한 판단은 "군중의 지혜"을 포함해야 한다.

Validity in the context of CBME requires a shift away from the statistical analysis of single tools toward the evaluation of inferences and actions that derive from program of assessment. Authentic workplace-based assessment targeted at the “does” level of Miller’s classic description is critical to this notion of validity. Judgments of progression or competence need to involve the “wisdom of crowds”


Cook DA, Brydges R, Ginsburg S, Hatala R. 2015. A contemporary approach to validity arguments: a practical guide to Kane's framework. Med Educ. 49:560–575.


Lockyer J, Bursey F, Richardson D, Frank JR, Snell L, Campbell C; ICBME Collaborators. 2017a. Competency-based medical education and for continuing professional development: a conceptualization change. Med Teach. 39:617–622. ==


Englander R, Frank JR, Carraccio C, Sherbino J, Ross S, Snell L; ICBME Collaborators. 2017. Toward a shared language for competency-based medical education. Med Teach. 39:582–587. ==


Schuwirth LWT, van der Vleuten C. 2012. Programmatic assessment and Kane’s validity perspective. Med Educ. 46:38–48.






 2017 Jun;39(6):603-608. doi: 10.1080/0142159X.2017.1315071.

Evolving concepts of assessment in a competency-based world.

Author information

1
a Office of Medical Education , University of New South Wales , Sydney , Australia.
2
b Royal College of Physicians and Surgeons of Canada , Ottawa , Canada.
3
c Centre for Medical and Department of General Internal Medicine , McGill University , Montreal , Quebec, Canada.
4
d Cumming School of Medicine , University of Calgary , Calgary , Canada.
5
e Department of Family Medicine , University of Alberta , Edmonton , Canada.
6
f Office of the Dean of medicine, University of Texas Medical Branch , Galveston , TX , USA.
7
g Department of Emergency Medicine , University of Ottawa , Ottawa , Canada.
8
h Division of Emergency Medicine, Department of Medicine , McMaster University , Hamilton , Canada.

Abstract

Competency-based medical education (CBME) is an approach to the design of educational systems or curricula that focuses on graduate abilities or competencies. It has been adopted in many jurisdictions, and in recent years an explosion of publications has examined its implementation and provided a critique of the approach. Assessment in a CBME context is often based on observations or judgments about an individual's level of expertise; it emphasizes frequent, direct observation of performance along with constructive and timely feedback to ensure that learners, including clinicians, have the expertise they need to perform entrusted tasks. This paper explores recent developments since the publication in 2010 of Holmboe and colleagues' description of CBME assessment. Seven themes regarding assessment that arose at the second invitational summit on CBME, held in 2013, are described: competency frameworks, the reconceptualization of validity, qualitative methods, milestones, feedback, assessment processes, and assessment across the medical education continuum. Medical educators interested in CBME, or assessment more generally, should consider the implications for their practice of the review of these emerging concepts.

PMID:
 
28598736
 
DOI:
 
10.1080/0142159X.2017.1315071


의료전문성 습득과 유지: Deliberate practice를 통한 전문가-수행능력 접근(Acad Med, 2015)

Acquisition and Maintenance of Medical Expertise: A Perspective From the Expert-Performance Approach With Deliberate Practice

K. Anders Ericsson, PhD




전문가-퍼포먼스(EP) 접근 방식

The Expert-Performance Approach


전문가-퍼포먼스 접근법은 

  1. 실제 세계에서 재현할 수 있을 정도로 우수한 성과를 확인한 다음, 

  2. 이상적으로 실험실 검사를 위한 표준화된 작업을 통해 

  3. 퍼포먼스를 포착하고 재현할 필요가 있다고 제안한다. 

음악, 발레, 스포츠, 체스와 같은 경쟁이 있는 영역에서, 재현할 수 있을 정도로 뛰어난 성과를 내는 개인을 식별하는 것은 비교적 간단하다.4 대조적으로, K–12 교육, 심리 치료, 수술과 같은 인간의 훈련 및/또는 치료와 관련된 전문지식을 측정하는 것은 훨씬 더 어렵다. 이러한 영역에서 개인에게 재현할 수 있는 우수한 성능의 객관적 척도를 파악하는 것은 어렵다.

The expert-performance approach proposes that it is necessary to identify reproducibly superior performance in the real world, and then to capture and reproduce this performance, ideally with standardized tasks for examination, in the laboratory.2,3 In domains with competitions—such as music, ballet, sports, and chess—identifying individuals whose performances are reproducibly superior is relatively simple.4 In contrast, it is much more difficult to measure expertise when it involves the training and/or treatment of humans—such as in K–12 education, psychotherapy, and surgery. Identifying objective measures of reproducibly superior performance for individuals in these domains is challenging. 


이러한 영역의 객관적 성과는 일상 생활의 치료 결과에 의해 측정될 수 있지만, 필요한 만큼의 충분한 결과 데이터를 수집하고 분석하는 것이 어렵다.

Objective performance in these domains can be measured by the outcomes of treatments in everyday life, but collecting and analyzing the necessary amount of outcome data is difficult.


치료받은 환자에 의한 사전 및 사후 평가의 차이에 기초한 심리치료사의 성과를 측정하는 것이 가능하다. 66.7 유방 재구성 및 수술과 같은 일부 의료 영역에서, 일부 치료의 경우, 가장 중요한 척도는 성공의 환자 만족도를 평가하는 것이다.


measuring the performance of psychotherapists based on the difference of pre- and post- rating by treated patients is possible.6,7 In some domains of medicine, such as breast reconstructions8 and hand surgery,9 patient satisfaction ratings of outcomes serve as the most important measures to assess the success of medical treatments.


전문가-퍼포먼스 접근법은 신뢰성 있고 객관적이며 장기적인 결과를 요구한다. 수술에서 그러한 결과는 암의 재발률감소가 될 수 있다. 전문가 개개인 사이의 차이점을 이해하려면 수백 시간의 교육, 심리 치료, 수술에 대한 평균 결과 계산이 필요하다. 이와 관련한 엄청난 양의 행동 간 상호작용은 평균적 퍼포먼스에서 관찰된 개별 차이를 설명할 수 있는 특정 행동이나 행동에서의 차이를 식별하는 것을 매우 어렵게 한다.

The expert-performance approach requires reliable, objective, long-term outcomes. In surgery, such outcomes may be reduced reoccurrence of cancers.13,14 Understanding the individual differences among professionals’ performance requires the calculation of average outcomes for many hundreds of hours of teaching, psychotherapy, and surgery. The associated massive amounts of behavioral interactions make it very difficult to identify differences in specific behaviors or actions that might account for the observed individual differences in average performance.


앞서 언급했듯이, 일부 영역(체스, 음악, 스포츠)에서는 지속적으로 우수한 성과를 내는 전문가를 확인하는 것이 간단하다. 가장 광범위하게 연구된 전문 분야 중 하나는 체스이다. 체스 선수의 기술 수준은 체스 토너먼트에서의 승리와 패배에 의해 결정된다. 체스 등급이 다른 상대와의 약 20-40경기의 결과는 한 개인에 대한 정확한 체스 등급을 계산하는 데 필요하다.15 체스 경기를 완료하는 데는 100시간 이상의 체스 경기 또는 1,000회 이상의 체스 이동이 필요합니다. 체스 게임의 결과에 있어서 모든 체스 움직임이 똑같이 중요한 것은 아니므로, 어떤 움직임은 체스 선수 사이의 기술 수준에 따라 차이가 나지 않을 것이다. 사실, 경기당 소수의 결정적 움직임만이 체스 등급이 낮은 선수들과 우수 선수들을 명확하게 구별하여 전문지식 개발을 위한 훌륭한 기회를 제공한다는 것을 보여준다.

As mentioned, identifying experts with consistently superior outcomes is simpler in some domains (chess, music, sports). One of the most extensively researched domains of expertise is chess. A chess player’s skill level is determined by his or her wins and losses at chess tournaments; outcomes from some 20 to 40 matches against opponents with different chess ratings are necessary to compute an accurate chess rating for a single individual.15 To complete that number of chess matches takes over 100 hours of chess playing or over 1,000 chess moves. All chess moves are not equally important for outcomes of chess games; thus, some moves will not differentiate chess players with different skill levels. In fact, evidence shows that only a small number of critical moves per game will clearly distinguish superior players from those with lower chess ratings, offering a great opportunity for the study of the development of expertise.


세계 정상급 선수들은 체스 포지션을 광범위하게 탐구한 후 가장 좋은 움직임을 선택했다. 반면, 클럽 선수들은 더 많은 시간동안 생각하더라도 최고의 움직임을 고려조차 하지 않았다.

The world-class players picked the best move after exploring the chess position extensively—from half a minute to around 20 minutes, whereas the club players did not even consider the best move during their extended deliberation.


얼핏 보면 이런 유형의 테스트는 개방형 응답을 허용하는 의학의 환자 관리 시나리오와 유사하지만, 체스 연습게임은 실제 체스 게임과 정확히 동일한 반면, 환자 관리에 대한 key-feature problem은 의사들의 경험에 의해서 구성된다. 주요 특징 문제에 대한 정답은 합의를 통해 숙련된 의사들에 의해 검증되는 반면, 올바른 체스 움직임은 세계 정상급의 체스 선수들에 의해 결정되며, 더 최근에는 그들이 선택한 움직임에서 인간 선수들보다 훨씬 뛰어난 컴퓨터 프로그램에 의해 결정된다. 마지막으로 가장 중요한 것은 의학에서 사례 관리 시나리오는 의대생과 직원의 최소 역량을 시험하도록 설계된 반면, 체스의 이동-선택 테스트는 regional에서 international 수준까지 체스 기술의 전체 스펙트럼에 걸친 실제 성과를 예측한다. 의학은 실제 환자의 실제 결과와 높은 상관관계를 가지는 성과를 측정하려면 시험이 필요하다.

At a glance, this type of test might seem similar to patient management scenarios in medicine that allow open-ended answers,18 but the chess positions are exact duplicates from actual chess games, whereas the key-features problems for managing patients are constructed by experienced medical doctors. The correct answers for the key-features problems are validated by experienced medical doctors through consensus, whereas the correct chess moves are determined by world-class chess players and more recently by computer programs, which are vastly superior to human players in their move selection.19 Finally and most important, the case-management scenarios in medicine are designed to test medical students’ and personnel’s minimal competencies,18 whereas the move- selection tests are predictive of real-world performance across the whole spectrum of chess skill from regional to international level.17 Medicine requires tests, to measure performance that are highly correlated with the real-world outcomes of actual patients.


체스 선수들이 완성된 체스 경기를 분석하고 그들이 열등한 움직임을 선택했다는 것을 깨달을 때, 그들은 미래의 경기력을 향상시킬 기회를 갖게 된다. 체스 선수들은 많은 체스 포지션들의 움직임을 가장 잘 알려진 동작으로 선택함으로써, 처음 선택했을 때 낮은 동작으로 이어지는 경우를 확인할 수 있다.

When chess players analyze a completed chess match and realize that they have selected an inferior move, they have the opportunity to improve their future performance. By attempting to select moves for a large number of chess positions with known best moves, chess players can identify occasions when their initial selections led to inferior moves.


체스에서 할 수 있는 이러한 유형의 독학은 최상의 움직임을 가진 체스 포지션의 라이브러리를 사용하면, 체스 성능의 효과적인 학습과 향상을 위한 환경을 제공할 수 있다.

this type of solitary study, using a library of chess positions with best moves, can provide an environment for effective learning and improvement of chess performance.


이러한 종류의 훈련이 선생님에 의해 감독되고 guide될 때, 그것은 "Deliberate practice (DP)"이라고 불립니다. 이것은 저와 제 동료들이 1993년에 소개한 개념입니다. 우리는 DP신중한 연습을 "반복과 연속적인 개선을 통해 개인의 수행의 특정 측면을 개선하기 위해 특별히 설계된 개인화된 훈련 활동"으로 정의했고, "피드백을 통해 최대한의 이익을 얻기 위해서, 개인들은 그들의 training을 최대한의 집중하여 모니터링하는데, 이는 많은 노력이 들기에 하루에 가능한 훈련 시간을 제한시키게 된다."

When this type of training is supervised and guided by a teacher, it is called “deliberate practice”—a concept my colleagues and I introduced in 1993.20 We defined deliberate practice as “the individualized training activities specially designed by a coach or teacher to improve specific aspects of an individual’s performance through repetition and successive refinement,”21(pp278–279) and we clarified that, “To receive maximal benefit from feedback, individuals have to monitor their training with full concentration, which is effortful and limits the duration of daily training.”21(p279)


DP신중한 연습의 효과를 시험하기 위해, 우리는 모두 같은 명문 국제 음악 학원에 다니는 바이올린 학생들의 발달에 대한 데이터를 수집했다.20

To test for the effects of deliberate practice, we collected data on the development of violin students all attending the same prestigious international music academy.20


이 연구는 이 정도의 엘리트 수준의 수행능력을 보여주는 연주자들 사이에서조차, 혼자 하는 연습의 양이 중요한 차이를 만든다는 것을 보여준다: 더 뛰어난 바이올린 연주자들이 다른 두 그룹보다 더 많은 연습을 축적했습니다.20

This research showed that even at this elite level of performance, the amount of solitary practice accounted for significant differences among the groups: The more highly accomplished violinists had accumulated more practice than the other two groups.20


이 결과는 적어도 연구 당시 가장 높은 수준의 연기자들 중에서 타고난 재능이 유일한 결정적인 요소라는 견해와 모순된다.

This finding contradicted the view, common, at least at the time of the study, that among the highest levels of performers, innate talent was the only determining factor.


3가지 유형의 표상representations을 이용한 일련의 전문가 성과 개발

Development of Expert Performance as a Sequence of States With Three Types of Representations


전문가-성과 접근법은 한 도메인에서 개인의 성과가 점진적으로 발전한다고 가정한다.

The expert-performance approach assumes that an individual’s performance in a domain develops gradually


이러한 가정에 따라 최소한 원칙적으로 각 개인의 퍼포먼스 발달을 [안정된 수행능력 상태]의 ordered sequence라고 설명할 수 있어야 한다(그림 1 참조). 각 상태는 세 가지 유형의 표현과 상호연결로 설명할 수 있다. 이러한 세 가지 다른 표현은 전문 음악가에서 쉽게 확인할 수 있습니다(그림 2).

According to this assumption, it should be possible, at least in principle, to describe the development of each individual’s performance as an ordered sequence of stable states of performance (see Figure 1). Each state can be described in terms of three types of representations and their interconnections. These three different representations can be easily identified in expert musicians (Figure 2).




  • 첫 번째 유형의 정신 표현은 전문적인 음악가들이 음악을 연주하면서 만들어내고자 하는 특정 소리를 상상하게 합니다즉, 공공 콘서트를 준비함에 있어 전문적인 음악가들은 청중들을 위해 연주할 때 어떤 음악이 궁극적으로 어떤 소리를 낼지 상상할 것이다(그림 2의 표현 1 참조). 이와 동일한 표현(프레젠테이션 1)을 통해 음악가들은 음악을 연주하기 전에 원하는 부분의 소리를 형상화할 수 있습니다. 

  • 두 번째 대표자(그림 2)는 첫 번째 표현에서의 이미지를 [음악가의 연주를 듣는 사람이라면 누구나 들을 수 있는 행동]으로 표현하려고 합니다. 

  • 세 번째이자 마지막 대표자(그림 2의 3번 대표)는 전문 음악가들이 현재 연주하면서 그들의 연주가 어떻게 들리는지 들을 수 있도록 한. 음악의 야심찬 표현(프레젠테이션 1)과 음악의 실제 표현(프레젠테이션 3) 사이의 불일치는 전문적인 음악가들에게 다음을 가능하게 한다. 첫째, 집중 연습에 의해 감소될 수 있는 차이를 식별하고, 그런 다음, 결국 원하는 표현에 대한 대략적인 이해를 만들어냅니다.

  • The first type of mental representation allows expert musicians to image the particular sounds that they want to attain while playing a piece—that is, in preparing for a public concert, expert musicians will image what a piece of music will eventually sound like when they perform it for an audience (see Representation 1 in Figure 2). This same representation (Representation 1) allows musicians to form an image of the desired sound of a part of the piece before they play it. 

  • The second representation (Representation 2 in Figure 2) attempts to translate the image in the first representation into actions which result in music that anyone listening to the musician’s performance can hear. 

  • The third and final representation (Representation 3 in Figure 2) permits expert musicians to listen to what their current performance sounds like as they are playing. Any discrepancy between the aspired expression of music (Representation 1) and the actual expression of music (Representation 3) allows expert musicians, first, to identify differences, which they can reduce by focused practice, and then, eventually to produce an approximate realization of the aspired expression.






물론 세부적인 인지 과정과 연습 활동은 전문 영역(예: 체스, 음악, 스포츠, 교육, 수술)에 따라 다르지만 일반적인 원칙은 남는다: 전문가 수준을 지향하는 성과자는 퍼포먼스의 특정 측면을 개선하기 위해 설계된 교육 활동 뿐만 아니라 그것을 퍼포먼스의 다른 모든 측면과도 통합하는 연습을 해야 한다. 포부가 있는 전문가들이 한 가지 성과를 개선하고 숙달했을 때, 그들은 다른 개선가능한 측면에도 주의를 기울여야 한다.

The detailed cognitive processes and practice activities will, of course, differ across domains of expertise (e.g., chess, music, sports, teaching, surgery), but the general principle remains: Performers aspiring to expert levels must engage in training activities that are not only designed to improve particular aspects of performance but are also integrated with all the other aspects of performance. When aspiring experts have improved and mastered one aspect of performance, they must then direct their attention to other improvable aspects. 


제 동료들과 저는 음악분야에서 전문적인 연주가 발전하는 것을 설명하거나 묘사하기 위한 체계를 제안했습니다. Bloom의 발견과 일관되게, 우리의 프레임워크는 악기 연주의 시작을 포함한다. 우리는 악기 연주가 적어도 처음에 부모나 전문 선생님에 의한 가르침과 거의 항상 연관되어 있기 때문에 악기의 초기 연주를 명확하게 확인한다. 어떤 사전 훈련 없이 즐거운 음악을 만들어 내는 것은 어려운 반면, 어린이조차도 아무런 지시 없이 시행착오를 통해 공을 차는 법을 배울 수 있습니다. 악기를 배우는 아이들의 집중적인 연습 시간은 하루에 10분에서 20분 정도로 비교적 짧을 것을 권장하며, 따라서 어린이가 연습 바깥에서 engage in play할 수 있다.

My colleagues and I proposed a framework for explaining or illustrating the development of expert performance in music.20 Consistent with the findings of Bloom,22 our framework includes the start of playing an instrument. We explicitly identify the initial playing of an instrument because playing an instrument is nearly always linked to, at least in the beginning, instruction by a parent or professional teacher.20 Producing enjoyable music without any prior training is difficult, whereas even a child can learn to kick a ball by trial and error without any instruction. The duration of focused practice for children learning an instrument is recommended to be relatively short, around 10 to 20 minutes per day, allowing the child to engage in play outside of practice.


정기적인 연습의 시작 단계 동안, 부모들은 아이들이 오류를 발견하고 수정하여 그들의 성과를 향상시키도록 돕는다. 결국 이 야심찬 음악가들은 그들 자신의 연주 소리를 듣고 스스로 어떤 문제를 발견할 수 있게 해주는 그들 자신의 정신적 표현을 얻게 될 것이다. 하지만, 처음에는 대부분의 젊은 음악가들이 그들 자신의 음악의 소리를 듣는 능력이 부족하다. 문제를 식별하고 해결하는 데 도움이 되는 강사가 없다면, 비디오 연습 세션을 분석하는 연구에서 보여지듯이, 초심자들은 같은 실수를 반복해서 하게 된다.

During the beginning phases of regular practice, parents help the children to detect errors and make corrections and, thus, improve their performance. Eventually the aspiring musicians will acquire their own mental representations that permit them to hear the sounds of their own playing and detect any problems by themselves.2 Initially, however, the majority of young musicians lack the ability to hear the sounds of their own music. Without an instructor to help them identify and correct problems, beginners end up just playing the same mistakes over and over, as shown by studies analyzing videotaped practice sessions.23


게다가, 사람이 만들어내는 음악을 들을 수 있는 능력은 계속해서 노력하고 발전하려는 동기부여에 중요하다. 

Additionally, the ability to listen to the music that one produces is critical for the motivation to keep striving to improve. 


요약하자면, DP신중한 연습(그림 1의 중간 부분 참조)은 advanced 학생(국제적으로 인정받는 음악 학교의 학생 등)이 연습 활동에 대한 교사 권고 사항(훈련 과제)을 따를 때 발생한다. 즉, 다음을 가정해야 한다.

  • 학생들이 현재의 연습 목표(훈련 목표)를 달성하기 위해서 최대한의 집중력을 발휘하며, 

  • 학생들이 즉각적인 피드백을 받거나 스스로 생성하며, 

  • 훈련 과제가 반복할 기회를 통해 점진적으로 개선하도록 제공되어야 한다.

To summarize, deliberate practice20 (see middle part of Figure 1) occurs when advanced students (such as those at an internationally acclaimed music school) follow their teachers’ recommendations for practice activities (training tasks)— assuming, that is, that the students practice with full concentration toward the current practice objectives (training goals); that the students receive or self- generate immediate feedback; and that the training tasks offer opportunities to make repetitions with gradual improvements (structure of practice).


중요한 것은, 어떤 영역에서든 훌륭한 교사는 학생들이 다음과 같은 정신적 표현을 개발하도록 돕는다. 

  • 학생들은 결국 대부분의 스스로 자신의 선생 역할을 할 수 있게 하고, 

  • 자신의 성과를 평가할 수 있고,

  • 그리고 결국에는 자신의 연습 목표를 설계하고, 

  • 점점 더 자신의 퍼포먼스를 이미지화, 모니터링, 정교화할 수 있게 되어야 한다.

Importantly, an excellent teacher in any domain helps his or her students develop their own mental representations such that the students can eventually take on most of the teacher roles, evaluating their own performance and even, eventually, designing their own practice goals and being able to increasingly image, monitor, and refine their own performance.


저와 제 동료가 50~70세의 전문 피아니스트들을 20대의 젊은 피아니스트와 비교했을 때, 두 가지 흥미로운 결과를 발견했습니다. 

  • 노화를 연구하기 위해 고안된 실험실 업무(예: 빠른 선택, 문자의 빠른 치환)에 대해서는, 나이든 전문가들은 젊은 전문가들보다 훨씬 더 나쁜 성과를 거두었고, 연령에 맞는 아마추어 피아니스트 그룹의 성과와 일치시켰다. 

  • 가장 흥미로운 것은, 우리가 모든 젊은 피아니스트와 나이든 피아니스트들을 음악적으로 관련된 작업에 대해 실험했을 때, 우리는 다시 한 번 나이든 피아니스트들 사이에서 퍼포먼스 저하를 관찰했습니다. 우리는 이 감소가, 어떤 나이든 피아니스트에 대해서는, 저하가 멈추거나, 주간 연습을 통해서 저하 정도가 줄어든다는 것을 발견했습니다. (통계적으로) 유지 연습의 양(주간 연습시간)을 통제했을 때, 더 이상 나이 차이는 중요하지 않았다.29

When my colleague and I29 compared expert pianists ranging in age from 50 to 70 years old with young expert pianists in their 20s, we found two interesting results. Using laboratory tasks designed for research on aging (e.g., speeded choices, speeded substitution of digits for letters), the older experts performed much worse than the young experts and matched the performance of a group of amateur pianists matched for age.29 Most interestingly, when we tested all young and old pianists on musically relevant tasks, we again observed a reduction in performance among the older expert pianists; we found that, for some older pianists, this decrement was associated with stopped or at least reduced engagement in weekly practice. The age differences were no longer significant when we controlled (statistically) for the amount of maintained practice (weekly hours of practice alone).29


보다 일반적으로, 퍼포먼스 리뷰에 따르면 타이핑이나 파일럿과 같은 활동에서, 스킬은 연습을 중단한 이후 시간의 함수에 따라 소멸해간다는 것을 보여준다. 최근의 한 연구에서 나온 증거는 1년 혹은 그 이상 동안 크로스워드들을 푸는 것을 멈출 경우 크로스워드 대회에서의 성과를 감소시킨다는 것을 보여준다. 또한, 스포츠에서 나온 많은 증거들은 훈련의 완전한 중단뿐만 아니라 연습의 강도의 감소도 스포츠 수행의 생리적인 적응과 감소로 이어진다는 것을 보여준다. 매주 높은 수준의 연습을 하는 60세에서 70세 이상의 마스터 선수들이 달성한 높은 수준의 성과는 주목할 만하다. 종합적으로, 이러한 연구 결과는 높은 수준의 성과를 유지하는 데 있어 평생 동안 계속되는 연습이 매우 중요하다는 것을 의미하며, 전문가 성과에서 나이와 관련된 저하는 연습량의 감소에 의해 매개된다.

More generally, a review of performance shows that skill in activities, such as typing and flying airplanes, decays as a function of the length of time since the cessation of practice.30 Evidence from one recent study shows that taking a break from solving crosswords for a year or more reduces a puzzler’s performance in crossword competitions.31 Also, a large body of evidence from sports shows that reductions in the intensity of practice, as well as complete cessation of training, lead to decreased physiological adaptations and decrements in sports performance.32 The high level of performance attained by master athletes over the age of 60 and even 70 who, importantly, engage in high levels of practice weekly is remarkable.33 Collectively, these findings imply that continued practice during one’s life is very important for maintaining a high level of performance, and that the age-related declines in expert performance are mediated by reduced engagement in practice.34


의료분야에 전문가 성과 접근방법 및 DP의 적용

Applying the Expert-Performance Approach and Deliberate Practice to Medicine


어떻게 하면 DP을 통해 전문적인 수행의 이론적 틀을 음악에서 의학으로 성공적으로 transfer할 수 있을지는 분명하지 않다. 아이들은 종종 전문적인 음악가가 될 수 있다는 생각으로 음악계에 들어온다. 학생들의 능력을 점차적으로 향상시키기 위해 고안된 각 악기의 커리큘럼은 첫 10년에서 15년의 수업을 지배한다. 처음부터 음악 학생들은 가족과 친구들 앞에서 공연하도록 격려 받는다. 더 높은 수준의 기술에서는 관객 앞에서 더 복잡한 음악을 연주한다. 선생님들뿐만 아니라 대중 공연을 듣는 다른 음악가들로부터도 피드백을 받을 수 있는 기회들이 많다.

How to successfully transfer the theoretical framework of expert performance with deliberate practice from music to medicine is not obvious. Children are often introduced to the domain of music with the idea that they might become expert musicians. A curriculum for each instrument, designed to gradually improve students’ skills, governs the first 10 to 15 years of instruction. From the beginning, music students are encouraged to perform in front of family and friends; at higher levels of skill, they perform more complex pieces in front of audiences. Opportunities for feedback from not only teachers, but also other musicians who listen to public performances, abound.


대조적으로, 미국과 캐나다에서 미래의 의사들은 일반적으로 K-12 교육에 첫 13년을 소비한다. 그리고 4년을 더 보내면서 학사 학위를 따고 자연 과학을 공부하기도 한다. 전통적으로, 완전한 임상 훈련은 임상실습이 있는 의과대학 3학년 때까지 시작되지 않는다. 그리고 이 시점이 되어서야 학생들은 전공에 대한 결정을 내리기 시작한다(예: 수술, 정신과, 영상의학과, 소아과). 이 임상 훈련과 전문화는 진단에 관한 전문적 기술을 습득하고 특정 의료 절차의 실행을 시작하는 것에 해당한다.

In stark contrast, in the United States and Canada, future medical doctors typically spend the first 13 years of learning in general K–12 education, and then they spend another 4 years acquiring a bachelor’s degree, often studying natural science. Traditionally, full clinical training does not begin until the third year of medical school with clerkship, and only at this point do students begin to make decisions about specializing (e.g., in surgery, psychiatry, radiology, or pediatrics). This clinical training and specialization corresponds to the beginning of acquiring specialized skills in diagnosis and the execution of specific medical procedures.


의학 훈련은 전통적으로 먼저 이론적인 지식을 습득하고, 그 다음에는 퍼포먼스가 환자에게 영향을 미치는 실제 상황에서의 실제 경험에 초점을 맞춘다. 의학 분야에서는 지식에 대한 전통적인 초점과 신중한 연습을 통한 점진적인 기술 습득에 대한 무시neglect는 "한번 보고, 한번 해보고, 가르친다"는 잘 알려진 속담이 대표적으로 잘 보여준다. 이 격언은 의료 훈련생이 새로운 절차를 사실상 즉각적으로 숙지한다는 것을 의미하지만, 고전적인 수술에 대한 광범위한 훈련에도 불구하고, 경험이 많은 외과의들의 학습 곡선은 typical했다. 즉, 복강경 수술에서 중요한 오차의 감소는 얼마나 많은 수술 경험이 있느냐의 함수였다.36

Training in medicine has traditionally focused on acquiring, first, theoretical knowledge and, then, actual experience in real-world situations, where performance has consequences for patients. In the domain of medicine, the traditional focus on knowledge and neglect of gradual skill acquisition through deliberate practice is exemplified by the well-known saying about learning and performing medical procedures, “See one, do one, teach one.” This adage implies virtually instantaneous mastery of new procedures among medically trained individuals; however, In spite of extensive training in classical surgery, the learning curves of the experienced surgeons were typical: the reduction of significant errors in laparoscopic surgery was a function of the number of completed procedures.36


단순히 절차를 보기만 하는 것이 비효율적인 것처럼, CME 강의와 전문적 경험의 축적도 마찬가지입니다. CME 강의에 참석하는 것은 참여 의사들의 실제 진료에 있어 의미 있는 변화에는 영향을 미치지 않는다는 것이 한 리뷰의 결과였다.37 이와 유사하게, 다른 연구 38,39에서는 supervised training 이후의 경험 축적은 지속적인 편익을 보여주지 않았다. 독립적인 의료행위를 시작한 첫 해 동안의 초기 경험에서 얻는 일부 이익 외에, 추가적인 전문 경험에서 얻은 임상적 판단력 향상은 매우 제한적이었다.40

Just as simply watching a procedure is ineffective, so too are continuing medical education (CME) lectures and accumulated hours of professional experience. A review showed that attending CME lectures did not effect any meaningful changes in participating doctors’ actual practice.37 Similarly, other research38,39 has not shown sustained benefits of longer professional experience by health care professionals after completing supervised training. Beyond some gains from the initial experience during the first years of independent practice, benefits for improved judgment from additional professional experience are very limited.40


추가적 임상 경험이 성능을 향상시키지 못하는 몇 가지 이유가 있습니다. 실제 환경에서 특정 유형의 경험이 얼마나 available한가는 일반적으로 학습자의 통제 밖에 있다.

There are several reasons that additional professional experience does not seem to improve performance. Availability of particular types of experience in real-world settings is typically not under the control of the learner;


레지던트에게는 상사의 조언과 피드백을 받을 수 있는 기회가 있지만, 독립적한 임상의는 그러한 기회를 가질 가능성이 낮다. 보다 잘 설계된 학습 환경41(연수생과 실무자 모두)에서 적극적인 피드백을 구하는 것이 뒷받침되어야 합니다. Supervisor는 레지던트가 designed practice를 통해 자신의 성과를 적절히 바꿔나갈 수 있도록 개인화된 특정 피드백을 제공하도록 권장하고 훈련해야 한다.

Medical residents enjoy the possibility of seeking advice and feedback from their supervisors, but clinicians in independent practice are less likely to have the same opportunity. Actively seeking feedback needs to be supported by better-designed learning environments41—for trainees and those in practice alike. Supervisors should be encouraged and trained to give specific individualized feedback that allows the resident to make appropriate changes to his or her performance through designed practice42;


그러나 상급자가 겪는 한 가지 어려움은 환자가 최종 진단을 받고, 치료가 완료되기 전까지는, trainee에게 완전히 정확한 피드백을 제공할 수 없다는 것이다유감스럽게도 이 기간은 며칠, 몇 주, 몇 개월 또는 심지어 몇 년이 걸릴 수 있다.

however, one challenge for supervisors is that they cannot give trainees completely accurate feedback until patients have been assigned a final diagnosis and treatments have been completed, which could, regrettably, take days, weeks, months, or even years.


전문가들이 훈련생들에게 피드백을 줄 수 있는 한 가지 혁신은 시뮬레이션이다.

One innovation through which experts can give feedback to trainees is simulation.


20세기 기술 발전은 비행기 조종사와 중요한 직업을 가진 사람들을 훈련시키는 시뮬레이터를 설계할 가능성을 제공했다(예: 원자로 운전사, 열차 운전사).

Developments in technology during the 20th century afforded the possibility of designing simulators for training airplane pilots and others with critical jobs (e.g., operators of nuclear reactors, drivers of trains).


결과는 시뮬레이터가 실제 상황의 중요한 지각 및 제어 특성을 기능적으로 대표하기represent 위해서는 목표 기술을 신중하게 분석해야 한다는 것을 나타낸다.

findings indicate that the target skill must be analyzed carefully to ensure that the simulator functionally represents the critical perceptual and control characteristics of real-world situations.


지난 수십 년 동안 의학에서 시뮬레이터의 사용이 현저하게 진보했다.

The last several decades have witnessed remarkable advances in the use of simulators in medicine.


혁신적인 리뷰에서 Issenberg와 동료 48은 어떤 특정 교육 조건이 이전 가능한지 평가하기 위해 시뮬레이션 기반 교육의 학습 결과를 분석하였다. (즉, 시뮬레이터 외부에서 절차의 성능 향상과 관련됨). 

  • 효과적이고 전이가능한transferable 학습을 위한 가장 중요한 요소는 명확한 성과 목표를 갖는 것과 관련이 있었다. 

  • 즉각적이고 정확한 피드백을 받고 할당된 작업을 반복적으로 수행하는 것도 중요한 요소였다. 

후속 검토에서 저자들은 효과적인 학습을 위해 필수적인 것으로 보이는 이러한 요소들이 DP의 요소들과 일치한다고 주장했다. 그들은 또한 각 훈련자가 숙달된 성과와 관련하여 사전에 정의된 수준에 도달할 때까지 시뮬레이터에서의 훈련이 확장되어야 한다고 주장했다.49

In a groundbreaking review, Issenberg and colleagues48 analyzed learning outcomes of simulation-based training in an effort to assess which particular training conditions were transferable (i.e., associated with improved performance of the procedures outside the simulator). The most important element for effective, transferable learning was linked to having explicit performance goals. Receiving immediate, accurate feedback and repeatedly performing the assigned task were also vital elements. In a subsequent review,49 these authors argued that these elements, shown to be essential for effective learning, corresponded to the elements of deliberate practice. They also argued that training in the simulator must be extended until each trainee reaches a predefined level of performance associated with mastery.49


또 다른 포괄적 검토의 저자들은 시뮬레이터를 이용한 최선의 교육의 특징은 다음과 같다고 말했다.

  • "분산 연습, 구조화 연습, DP", 

  • "피드백을 위한 적절한 메커니즘" 

  • 객관적 훈련 목표

매우 최근의 리뷰 작성자들은 이러한 유형의 시뮬레이션 기반 전문 학습이 전통적인 의학 교육에 비해 향상된 학습과 관련이 있다는 것과 (예: 진료소에서의 강의실 교육 및 감독 성과) 환자 치료 및 건강 개선과 같은 임상 결과로의 중요한 transfer를 가져온다고 확인했다..

Authors of another, comprehensive review determined that medical education using simulators embraces best teaching practices: “distributed, structured, and deliberate practice,”51(p336) “appropriate mechanisms for feedback,”51(p336) and objective training goals. Authors of a very recent review52 found that this type of simulation- based mastery learning is associated with increased learning compared with traditional medical education (i.e., classroom instruction and supervised performance in clinics) and results in significant transfer to clinical outcomes, such as improved patient care and health.




Mastery learning과 차별화되는 DP를 활용한 전문가-퍼포먼스 접근법

The Expert-Performance Approach With Deliberate Practice as Distinct From Mastery Learning


DP은 mastery learning과는 다르다. mastery learning의 개념과 실천은 1920년대와 1930년대에 시작하는 긴 역사를 가지고 있다. 핵심 아이디어는 K–12 학생들이 같은 학습 목표를 달성할 수 있지만, 그렇게 하기 위해 정해진 시간을 충분히 주어야 한다는 것이다. 모든 학생에게 어떤 주제를 숙달하기에 충분한 시간을 줌으로써, 다음 교육 주제로 이동할 때 모든 학생은 필수 조건을 동일하거나 유사한 수준으로 숙지하고 있어야 합니다.

deliberate practice, is distinct from mastery learning. The concept and practice of mastery learning has a long history, beginning in the 1920s and 1930s.53 The central idea is that K–12 students are able to attain the same learning goals, but require different amounts of time to do so.54 Giving all students enough time to master a topic or skill (as determined by meeting some predefined test score) ensures that all students have the same or similar mastery of the prerequisites when they move on to the next educational topic.


이 mastery learning 개념은 일반 K–12 교육처럼, 학생이 advanced 과정을 위한 사전 요건으로 특정 지식과 기술 필수 조건을 숙달해야 하는 경우와 같이 학습 기술이 점진적으로 복잡해지는 순차적 커리큘럼 내에서 의미가 있다.

The mastery concept makes sense within a sequential curriculum for learning skills of increasing complexity, such as in general K–12 education, which requires students to master specified knowledge and skill prerequisites to be prepared for more advanced courses


의학의 경우 의과대학에서의 훈련은 이후에 어떤 전공을 선택하든지와 무관하게 미래의 training을 위한 것이다. CME가 의료실무에 아주 작은 영향을 미칠 뿐이라는 점을 고려할 때, 그리고 첫 해 이후의 임상경험 축적은 퍼포먼스 향상에 미미한 영향이 있음을 고려한다면, 현재 의학교육의 효과가 의료 전문가의 능력을 개발하는 데 적합한지 의문을 품을 수 있다.

In the case of medicine, the training in medical school prepares students for further training in any medical specialty. Given that continued professional education has only a very modest impact on clinical practice37 and the accumulation of professional experience beyond the first years has only a small effect of performance,38–40 one might question whether the effectiveness of current medical education is optimal for developing performance of medical professionals.


DP를 통한 전문가-퍼포먼스 접근방식은 많은 점에서 일반 교육의 반대이다. 왜냐하면 이러한 교육은 훈련과 경험을 통해서 기대하는 특정 최종 제품에 집중함으로써 시작되기 때문이다. 즉, 외과의사 또는 영상의학 전문의와 같은 의료 전문가의 대표적인 목표 성과는 동료보다 우수한 환자 성과를 내는 것이다.

The expert-performance approach with deliberate practice is in many respects the opposite of general education because it starts by focusing specifically on the particular desired end product of training and experience—namely, the representative target performance of medical specialists, such as surgeons or radiologists who have patient outcomes that are superior to their peers.


mastery learning에 대한 몇 가지 기준은 deliberate practice을 위한 몇 가지 선행 조건들과 일치한다. 여기에는 

  • 련에 대한 명확한 목표의 중요성, 

  • 즉각적이고 정확하며 상세한 피드백에 대한 접근, 그리고 

  • 전 지정된 성과를 달성할 때까지 반복과 연습의 기회가 포함된다. 

Several of the criteria for mastery learning55 are consistent with some of the prerequisites for deliberate practice; these include 

  • the importance of an explicit goal for training; 

  • access to immediate, accurate, and detailed feedback; and 

  • opportunities for repetition and practice until a prespecified level of performance has been attained. 


mastery learning에서 학습은 거의 전적으로 학습자가 특정 기준 시험에서 획득한 성과에 의해 평가된다.

In mastery learning, learning is evaluated almost entirely by the learner’s attained performance on the specified criterion test.


마스터 학습은 행동주의의 이론적 프레임워크 내에서 개발되었으며, 따라서 습득한 성과를 중재하는 인지적 프로세스를 평가하지 않는다. 이와 직접적인 대조를 이루는 전문가-퍼포먼스 접근법은 사고 과정을 평가하기 위한 작업이 포함되며, [개선된 성과를 최종 전문가 성과와 관련된 다른 기술 및 지식과 조정 및 통합하는 방법]을 평가하는 것이 포함된다. 전문가-퍼포먼스 접근법에서, [다양한 기술의 성공적인 통합과 지속적인 정교화]는 높은(전문가) 수준의 복잡한 성능 개발을 위한 핵심이다.

Mastery learning was developed within the theoretical framework of behaviorism and thus does not entail assessing the cognitive processes mediating the acquired performance. In direct contrast, the expert-performance approach includes an attempt to assess participants’ thought processes and involves evaluating how the improved performance is mediated through and integrated with other skills and knowledge related to the final or target superior professional performance. For the expert-performance approach, the successful integration and continued refinement of different skills provide the keys to the development of high (expert) levels of complex performance.


인지적 표현을 획득하여 치료한 전문가 성과 예제로서의 수술

Surgery as an Example of Expert Performance Mediated by Acquired Cognitive Representations


전문가-퍼포먼스 접근법에 따르면, 특정 영역의 전문가 성과에 대한 과학적 연구에서 

  • 첫 번째 목표는 실제 맥락에서 재현할 수 있는 뛰어난 성과를 식별하는 것이다. 

  • 다음 단계는 그러한 맥락에서 이 성과를 연구하거나, 실험실에서의 대표적 작업을 통해 성능을 포착하여, 우수한 성과를 반복적으로 재현하여, 매개 특성과 정신 표현 특성을 확인할 수 있도록 하는 것이다. 

  • 마지막 단계에는 잠재적인 전문가에 대한 관련 인지 표현을 효과적으로 개발할 수 있는 교육 방법을 만드는 것이 포함된다.

According to the expert-performance approach, 

  • the first goal in the scientific study of expert performance in a particular domain is to identify reproducibly superior performance in authentic contexts. 

  • The next step is either to study this performance in that context or, ideally, to capture the performance through representative tasks in the laboratory so that the superior performance can be repeatedly reproduced so as to identify its mediating characteristics and, in particular, its acquired mental representations. 

  • The final step involves creating training methods that can develop the associated cognitive representations in potential experts effectively.


수술 전문가의 퍼포먼스 파악

Identifying expert performance in surgery


특정 의학 전문 분야에 대한 활동을 찾는 것은 쉽지 않으나, 한 가지 좋은 예시는 암 수술 성과에 대한 가능한 관심사항을 살펴보는 것이다 

It is not easy to find activities for specific medical specialties, One of the best examples, however, where this link is possible concerns outcomes of cancer surgery.


특히 두 가지 관련 연구에서 비커스와 동료13,14는 환자 성과가 특정 절차에 대한 외과의사 경험의 함수로 점차 개선된다는 것을 보여준다.

In two particularly relevant studies, Vickers and colleagues13,14 show that patient outcomes gradually improve as a function of the surgeons’ experience with a particular procedure.


더 많은 경험의 함수로써 수술 결과의 이러한 개선은 수술의 독특한 특징과 관련이 있을 가능성이 있다. 다른 여러 의료행위와 달리, 외과의사들은 수술 중 실수나 예상치 못한 다른 문제들로부터 즉각적인 피드백을 받는다. 또한 수술 후 몇 시간 또는 며칠 동안 환자가 수술 후 치료를 받는 동안 외과의사는 문제를 진단할 기회를 자주 갖게 되며, 이로 인해 관련 문제의 원인에 대한 즉각적인 수정 수술과 피드백이 필요할 수도 있다.

These improvements in surgical outcomes as a function of more experience are likely related to unique characteristics of surgery. Unlike many other medical activities, the surgeons receive immediate feedback from mistakes and other unexpected problems during surgery. Further, during the subsequent hours or days the patient is in postoperative care, the surgeon often has the opportunity to diagnose problems, which might even lead to the need for immediate corrective surgery and feedback about the cause of the associated problems.


외과의사의 성과를 중재하는 인지 과정

Cognitive processes that mediate surgeons’ superior performance


기존의 기술 습득 이론과 마찬가지로, 전문가의 성과에 대한 일반적인 견해는 전문가는 퍼포먼스를 자동화한다는 것이다. 따라서, 일부 전통적인 이론에 따르면, 전문가의 성과는 주로 직관에 의해 이끌어진다. 이 아이디어는 테스트할 수 있습니다. 최근의 한 연구에서, 조사관들은 8명의 외과의사에게 복강경 수술 전, 중, 그리고 복강경 수술 후에 의사 결정을 내리는 것에 대해 일반적인 질문을 했다. 아마도 가장 흥미로운 결론은 외과의사들이 간단한 규칙을 가지고는 가장 간단한 사례만을 수술할 수 있다고 보고했다는 것이다. 다시 말해서, 직관은 외과의사들의 성과를 이끌어내지 못했다.

A common view of experts’ performance, in line with traditional theories of skill acquisition, is that the experts have automated their performance56,57; thus, experts’ performance, according to some traditional theories, is guided primarily by intuition.58,59 This idea is testable: In one recent study,60 investigators asked eight surgeons general questions about their decision making before, during, and after laparoscopic surgeries. Probably the most interesting conclusion was that surgeons reported that they could execute only the most straightforward cases according to simple rules. In other words, intuition did not drive the surgeons’ performance.


다른 연구에서, (수술 완료 후 즉시 수집된 사고 프로세스에 대한 정보를 기반으로 했다) 경험이 많은 외과의사들은 그들이 불일치를 발견할 수 있도록 수술 기획, 계획 실행, 수술 감시를 위한 정교한 표현refined representation을 획득했다는 가설을 명백하게 뒷받침한다.

In another study, The findings—based on information about thought processes collected immediately after a completed surgery62—clearly support the hypothesis that experienced surgeons have acquired refined representations for planning surgery, implementing the plan, and monitoring the surgery so they can detect mismatches.


이러한 발견과 일관되게, 과거 수술에서 몇 달 또는 몇 년이 지연된 후 리콜된 사고에 대한 보고는 신뢰할 수 없다.—중간기간에 잊어버릴 가능성이 높기 때문이다.

Consistent with these findings, reports of recalled thinking during past surgeries after a delay of months or years are unreliable—most likely because of forgetting in the interim period.


전문가들은 사고하기 보다는engage in thinking, 패턴을 즉각적으로 인지한다는 전제를 뒷받침하는 관련 근거는 일부 전문가들로부터 나온 것이며, 이 전문가들은 performing하는 동안 thinking은 하지 않았다고 말했다.56–59 이러한 보고서는 특히 경기 후 인터뷰를 한 운동선수들이 단순히 (직관적으로) 옳다고 느끼는 대로 했다고 보고하는 스포츠에서 자주 나타난다.63

A related body of evidence supporting the premise that experts immediately recognize patterns, rather than engage in thinking, comes from some experts themselves, who report that they were not thinking while performing.56–59 These reports are particularly frequent in sports, where athletes, who are interviewed after a competition, often report simply doing what felt right.63


또 다른 연구에서, 연구자들은 축구선수들에게 비디오를 보여주다가 예기치 않게 테이프를 멈춘 뒤 스크린을 가렸다. 그리고서는 선수들이 다른 축구 선수들이 경기장에 정확히 어디에 있는지, 그리고 어느 방향을 향하고 있는지 기억하는 능력을 연구했다. 결과는 덜 숙련된 축구 선수들보다 더 숙련된 축구 선수들에게 훨씬 뛰어났다. 이 두 연구의 결과는 더 많은 숙련되고 전문적인 수행자들이 주어진 상황에 대해 더 유용하고 보고 가능한 정보를 더 많이 추출한다는 것을 보여주었다.

In another study, investigators “occluded” soccer players’ vision while the players were watching a video of a soccer game by unexpectedly stopping the tape and blanking the screen.65 They found that the players’ ability to accurately recall where the other relevant soccer players were on the field and where they were heading was significantly superior for more-skilled soccer players than less skilled.65 Investigators in both of these studies showed that more-skilled and expert performers had extracted more useful and reportable information about the given situation.


연구자들은 유사한 방법론을 사용하여 역동적으로 변화하는 환경의 중요한 세부사항(상황 인식)을 상기하거나 스포츠 이외의 영역에서 핵심 데이터가 제거된 후, 그 상황에 대한 전문가의 정신적 표현mental representation을 평가하였다.66

Investigators have used this methodology to assess experts’ ability to recall salient details of a dynamically changing environment (situation awareness) or to assess their mental representations of a situation after key data have been removed in domains other than sports.66


수술에서의 상황 인식situation awareness에 대한 연구는 숙련된 외과의사들이 수술의 현재 상태와 관련된 정보의 이상적인 표현(2번 프리젠테이션)에 더 잘 접근할 수 있다는 것을 보여준다. 상황 인식situation awareness은 전화 통화와 같은 외부 간섭이 수술을 방해할 때 감소해야 한다.

Studies of situation awareness in surgery show that more-skilled surgeons are better able to access the ideal representation of information (Representation 2) relevant to the current state of the surgery. Situation awareness should decrease when external interference, such as a telephone call, interrupts a surgery.


복강경 시술 중 수술 오류를 분석한 결과, injury가 발생하는 경우는 기술적 오류보다는 해부학적 구조를 잘못 인지했기 때문이었으며, 이는 외과의사들이 부적절한 정신 표현을 발달시켰음을 지칭한다. 또 다른 연구에 따르면, 다른 전문분야의 외과의사들은 그들이 그들의 관심을 증가시켰을 때 수술 중 중요한 부분에서 행동이 둔화되거나 심지어 중지되었다고 보고했다. 이 연구는 또한 외과의사들이 소위 "간편한" 수술 동안 그들의 주의와 상황 인식을 감소시켰으며, 이러한 수술들이 near miss 또는 error와 관련이 있다는 증거를 보고했다. 마찬가지로, 반과 동료들은 "시니어 외과의사들은 실수를 범하기 더 쉽다"고 주장했다. 요컨대, 이러한 연구의 결과는 숙련된 외과의사의 일부 표준 수술에서 자동적인 습관적 프로세싱(낮은 상황 인식)을 하고 있음을 뒷받침한다.

An analysis of surgical errors during a particular laparoscopic procedure showed that the injuries were due to misperception of the anatomical structures rather than technical errors, indicating that surgeons had developed an inadequate mental representation.70 According to another study,71 surgeons of different specialties reported slowing or even halting action at critical points during the surgery when they increased their attention. This study also reported evidence that surgeons decreased their attention and situation awareness during so-called “easy” operations and that these surgeries were associated with near misses or errors.71 Similarly, Bann and colleagues72(p414) have argued that “senior surgeons are more prone to slips and lapses.” In sum, findings from these studies70,72 support the idea of automatic habitual processing (low situation awareness) in some standard surgeries by experienced surgeons;


그러나, 나는 이러한 종류의 처리processing는 전문지식의 표시가 아니라 오류의 위험 증가로 이어질 수 있는 주의 감소reduced attention의 표시라고 생각한다. 다른 전문적 퍼포먼스 연구들과 마찬가지로, 경험 있는 외과의사가 우수한 퍼포먼스를 보이는 것은 그들이 예상치 못한 결과에 대비하고 문제에 대한 최선의 해결책을 신중하게 고려할 수 있도록 수술 상태를 계획, 실행 및 모니터링하는 정교한 표현refined representation을 가지고 있다는 것과 관련이 있다.

however, I argue that this type of processing is not a sign of expertise but, rather, a sign of reduced attention that may be leading to an increased risk of error. Consistent with research on expert performance, the superior performance of experienced surgeons is associated with refined representations to plan, to execute, and to monitor surgical states, which allows these surgeons to be prepared for unexpected outcomes and carefully consider the best solutions to problem situations.2,24


정신 표현 개발 및 정제: 교육에 대한 시사점

Developing and refining mental representations: Implications for training


수술 계획, 실행 및 모니터링에서 언급할 수 있는 정신 표현 발달의 증거는 학습자가 이러한 표현을 보다 효과적으로 개발하는 데 어떻게 교육이 설계될 수 있는지에 대한 의문을 제기한다. 여러 연구 결과는 수술실 외부에서 진행되는 훈련이 가질 수 있는 잠재적 편익을 뒷받침한다.

The evidence for developing mental representations to refer to in planning for, executing, and monitoring surgeries raises questions about how training might be designed to help learners develop these representations more effectively. Several findings support the potential benefits of training outside the operating room.


요컨대, 이러한 연구결과는 정신표현의 존재와 수술실 밖에서 이들을 접근할 수 있는 능력을 지원하는데, 이것은 그들의 발전을 뒷받침하는 의료 교육을 설계하는 데 영향을 미친다.

In sum, these findings support the existence of mental representations and the ability to access them outside the operating room, which has implications for designing medical education to support their development.


임상 강사들이 이전 수술의 비디오를 검토하고, 특별히 관련된 상황의 기록을 추출하여, 이러한 기록을 라이브러리에 저장할 수 있다면, 훈련생들에게 해부학적 구조를 식별하는 능력을 개발할 수 있을 것이다.

If clinical instructors were able to review videos of prior surgeries, extract recordings of particularly relevant situations, and store these recordings in a library, they would be able to develop in trainees the ability to identify anatomical structures.


현재 수술 성과를 개선할 수 있는 피드백 루프 생성

Creating feedback loops that allow for improvements of current surgery performance


의학에서 가장 흥미로운 발전 중 하나는 수술 중 훈련생들의 행동을 주의 깊게 기록하여 near miss와 mistakes를 식별하려는 현재의 노력이다.

One of the most interesting developments in medicine is the current effort to carefully document a trainee’s behavior during surgery to identify near misses and mistakes.


한 사례 연구에서 마크 번스타인이라는 캐나다 신경외과의사는 그가 2000년부터 2006년 5월까지 수행한 모든 선택적인 수술 후 컴퓨터에 모든 오류를 기록하고 입력하기 위해 그의 팀과 함께 일했고 (n = 1,000 이상) 그의 이후까지 계속했다.전기의 2차 기간 동안 오류와 관련된 합병증의 평균 수는 50% 이상 감소했다. 이러한 오류 감소(특히 기록(2001-2002)의 첫 해)오류를 기록하는 데 주의를 기울이는 단순한 행동이 이후의 오류 발생에 영향을 미칠 수 있음을 시사한다. 

In one case study, a Canadian neurosurgeon named Mark Bernstein worked with his team to record and enter all errors into a computer after every elective surgery he performed (n = over 1,000) from 2000 to 2006.75 Bernstein continued to record his errors from August 2006 to May 2013,76 and the error rates associated with this latter period were compared with the earlier period. The average number of errors and error-related complications fell by over 50% during the second period. This reduction in errors, especially during the first years of recording (2001–2002), suggests that the mere act of attending to errors to record them may have an effect on their subsequent occurrence. 


아마도 수술 중 행동 측정에서 가장 흥미로운 발전 중 하나는 수술의 체계적인 비디오 기록과 비디오테이프의 상세한 분석이다.77

Perhaps one of the most exciting developments in the measurement of behavior during surgery is the systematic video recording of surgeries followed by detailed analyses of the videotapes.77


개선을 위한 교육 목표를 식별하는 수단으로서 이러한 유형의 비디오 녹화 방식은, 경험이 적은 외과의사들에게만 국한되지 않습니다. 이 연구의 결과는 외과의사들이 그들의 수술 수행 능력을 향상시키도록 훈련시킴으로써 환자들의 합병증 비율을 줄이는 것이 가능할 수도 있다는 것을 보여준다.

This type of video recording, as a means to identify training goals for improvement, is not limited to less experienced surgeons. The findings of this study indicate that it may be possible to reduce complication rates for patients by training the surgeons to increase their skill in performing their surgeries.


비디오 녹화 및 그 독립적인 평가를 사용하는 방법론은 약점과 잠재적 문제를 식별할 수 있는 잠재적인 피드백 루프를 제공하는 것처럼 보인다.

The methodology of using video recordings and their independent assessment seems to offer a potential feedback loop through which weaknesses and potential problems can be identified.



수술 절차 학습을 어떻게 도입할 것인가

How to introduce learning of surgical procedures


외과 수련생들은 mastery learning 접근법을 통해 교육을 받을 때, 특정 절차에 대한 일반적인 지시를 받고 시뮬레이터를 사용하여 절차를 수행할 수 있다. 시뮬레이터는 훈련생들의 행동의 정확성에 대한 피드백과 절차를 완료하는 데 걸리는 시간을 제공합니다. 그런 다음 훈련생은 미리 정해진 숙련도에 도달할 때까지 절차를 반복합니다. 최근의 검토 결과에 따르면 시뮬레이터 훈련 참가자는 시뮬레이터, 동물 모델, 복잡한 요인이 없는 인간 환자에게도 더 나은 성능을 발휘한다. 이러한 연구결과는 모의실험 훈련이 훈련이나 간단한 임상 사례와 유사한 조건으로 시험했을 때 우수한 수행으로 이어진다는 것을 보여주지만, 지금까지 이러한 유형의 훈련은 independent surgeon의 우수한 수술 성과를 구축하고 형성하도록 설계되지 않았다.

When surgical trainees are trained through the mastery learning approach, they receive general instruction about a particular procedure and then are allowed to perform the procedure with a simulator. The simulator provides feedback about the accuracy of trainees’ actions and, often, the amount of time they took to complete the procedure. The trainees then repeat the procedure until they have reached a predetermined proficiency level. A recent review shows that simulator-trained participants perform better than the control participants when tested on the simulator, on animal models, and even on human patients who lack complicating factors.81 These findings show that simulator training leads to superior performance when tested with conditions similar to training or simple clinical cases, but so far this type of training has not been designed to build and shape the superior surgical performance of independent surgeons.


DP를 중심으로 하는 전문가-퍼포먼스 접근방식은 [시뮬레이터에 요구되는 성능]이 [실제 환자에 대한 절차]와 비교했을 때 주요 측면에서 매우 유사해야 한다고 요구한다.

The expert-performance approach with deliberate practice demands that the required performance on the simulator be an extremely close approximation of the relevant aspects of the procedure on an actual patient.2


예를 들어, 아이들은 피아노를 연주할 때 최고의 자세와 기술을 자발적으로 채택하지 않기 때문에, 교사들은 아이들이 올바른 기본적인 행동과 자세를 얻을 때까지 그들의 연주를 지도하고 면밀히 관찰한다. 올바른 기본 자세를 취하지 않으면 기술적으로 어려운 음악을 연주할 수 있는 능력이 제한될 것이다. 마찬가지로, 시뮬레이터를 사용하는 외과 수련생은 자신의 미래 기술을 극대화하기 위해 올바른 기초 기술을 습득하는 것에 대한 감독된 지침supervised instruction을 받아야 한다. 현재, 훈련생들은 시뮬레이터로 procedure를 할 때 방식에 무관하게 자신에게 자연스러운 방식으로 수행한다. 그러나 그들은 일반적으로 미래에 더 어려운 수술을 성공적으로 완수하는데 유용할 수 있는 더 발전된 기술에 대한 정보를 받지 못한다.

To illustrate, children do not spontaneously adopt the best postures and techniques when playing the piano, so their teachers instruct them and closely monitor their playing until the children acquire the correct fundamental actions and postures. Failure to adopt the correct fundamental actions will limit the individual’s ability to perform technically difficult music pieces (also, incorrect fundamental technique often leads to overuse injuries among adult professional musicians). Similarly, surgical trainees using simulators should receive supervised instruction about acquiring the correct fundamental technique to maximize their future skill. Currently, trainees are allowed to execute the procedure on the simulator in whatever manner feels most natural to them; they typically receive no information about more advanced techniques that might be useful in successfully completing more challenging future surgeries.


수술 환경의 전문가 성과에는 광범위한 응급 절차를 실행할 수 있는 능력이 필요하다. 이 경우, 가장 중요한 것은 행동이 순서에 따라 빠르게 실행되는 것이다. 이러한 절차에서는 확립된 행동 순서가 바람직하다. 엘리자베스 헌트와 동료들은 소생술을 위한 "급속 사이클 계획적 관행"이라고 이름 붙인 훈련 절차를 개발했다.

Expert performance in the surgical environment requires the ability to execute a wide range of emergency procedures. For some of these procedures, the primary emphasis is on the speed in which simple sequences of actions are executed; in such procedures, entrenched action sequences are desirable. Elizabeth Hunt and colleagues83 developed a training procedure that they named “rapid cycle deliberate practice” for resuscitation.


전문가-퍼포먼스 관점에서 중요한 질문은 시뮬레이터에서 수술 절차를 수행하는 데 사용되는 인지 표현이 수술실의 실제 환자에 대해 작업할 때 정신적 표현과 일치하는지 여부입니다. 지금까지의 연구는 결론에 이르지 못했다.

An important question to ask when considering the expert-performance perspective is whether the cognitive representations used to perform surgical procedures in the simulator match mental representations when working on actual patients in the operating room. Research so far is inconclusive.


최소한 하나의 일반 훈련 접근방식은 시뮬레이터 훈련 중 수술실에서 사용하는 것과는 다른 표현의 획득과 관련된 문제를 최소화한다. Palter와 Grantcharov는 그들의 훈련을 실제 환자들에 대한 개인의 수술 수행의 비디오테이프의 분석에 집중했다. 각각의 수술이 끝난 후, 강사는 비디오테이프를 검토하여 약점을 확인한 다음 이러한 약점을 교정하기 위한 대상 훈련을 시뮬레이터에 할당했다.

At least one general training approach minimizes the problems associated with acquiring representations during simulator training that differ from those used in the operating room. Palter and Grantcharov88 centered their training on an analysis of videotapes of individual’s surgical performance on actual patients. After each completed surgery, an instructor reviewed the videotape to identify weaknesses and then assigned targeted training in the simulator for remediating these weaknesses.


비디오테이프 성능에 대한 블라인드 분석은 DP그룹이 대조군보다 우월하다는 것을 보여주었다.

Blind analysis of the videotaped performance showed that the deliberate practice group was now superior to the control group;



수술실적 유지

Maintaining surgical performance


수술 결과의 가장 일관된 예측 변수 중 하나는 특정 외과의사가 완료한 수술의 양이다. 수술 결과에 대한 최근 연구는 특정 유형의 연속 수술 사이의 시간이 환자의 결과와 상당히 관련이 있다는 것을 보여주었다. 간격이 길수록 환자의 결과가 나빠진다. 이 패턴은 이전에 검토한 다른 유형의 기술에 대한 연구와 일치한다.

One of the most consistent predictors of surgical outcomes is the volume of surgeries completed by a given surgeon. Recent studies of surgical outcomes have shown that the length of time between consecutive surgeries of a given type is significantly related to patient outcomes—the longer the gap, the worse the patient outcomes.89–91 This pattern is consistent with the earlier reviewed studies29–34 on other types of skills.






다른 의료 행위에서 퍼포먼스 향상을 매개하는 인지적 프로세스들

Cognitive Processes That Mediate Improvements in Performance in Other Medical Activities


X-ray 판독 퍼포먼스

Performance of X-ray interpretation


Measuring the performance of interpreting X-rays is relatively easy for mammograms.


환자와의 임상적 상호작용

Clinical interactions with patients


대부분의 전문 의사들의 일상 활동의 중요한 측면은 환자와의 의사소통을 포함한다. 환자와의 이러한 상호작용은 다음을 포함한다. 

    • 환자의 의학적 문제에 대한 정보를 얻기 위한 인터뷰 

    • 치료에 의해 환자의 문제가 어떻게 개선될 수 있는지에 대한 교육을 위한 논의 

    • 특히 중요한 것은 관리 계획을 공동으로 개발하기 위한 대화이다. 

An important aspect of most professional medical doctors’ everyday activity involves communication with patients. These interactions with patients103 include interviews to elicit information about patients’ medical problems, discussions to educate patients about how their problems might be improved by treatment, and of particular importance, conversations to jointly develop a plan for care. 


권장 치료 계획을 준수하는 것(처방된 약을 복용하는 것을 포함해서)이 만성 질환에 대한 환자 결과에 영향을 준다는 근거는 명확하다. 따라서 의사 소통 능력을 향상시키면 환자의 치료 계획에 대한 순응이 증가하고 치료 결과도 개선될 수 있다. 마찬가지로, 연구에 따르면 암 환자들이 자신의 질병과 그 예후에 대한 이해가(이것은 의사의 의사 소통 능력과 관련이 있다) 말기 치료에 대한 더 나은 결정과 관련이 있다고 한다.

Clear evidence shows that adherence to the recommended treatment plan, including taking prescribed medications, influences patient outcomes for chronic diseases.104,105 Improving a doctor’s communication skills, therefore, likely increases his or her patients’ adherence to treatment plans and, in turn, improves outcomes. Similarly, research has shown that cancer patients’ understanding of their disease and its prognosis, which is tied to doctors’ communication skills, is related to better decisions about end-of- life treatments.106


동시에, 다른 최근의 연구들은 의사들이 [심각한 질병을 가진 환자와의 의사소통에 관한] 단기간의 훈련 또는 병원 의사 소통 기술에서 일반적인 훈련을 받은 후에는 환자 만족의 증가나 환자 결과 개선을 보여주지 못했다.

At the same time, other recent studies have failed to demonstrate increased patient satisfaction or improved patient outcomes after physicians experienced either short-term training in communicating with patients with serious illness108 or general training in hospitalist communication skills.109


특히, 더 장시간 진행된 훈련을 받은 경우에는 [훈련 중 행동]에 상당한 영향을 미쳤지만, 이러한 영향이 임상 환경으로까지 이전되지 않았다.

Notably, only with the more extended training did the investigators observe significant effects on behavior during the training,108 but these effects did not transfer to the clinical environment.


환자와의 효과적인 의사소통은 (교육 가능한 기술의 집합이며) 성인 훈련(즉, 기존의 성인 행동을 변화시키는 것)을 의미한다. 따라서 워크숍이나 심지어 4일간의 훈련조차 일상적인 활동의 실질적인 개선을 달성하기에 불충분할 것으로 보인다. 이러한 연구 결과는 CME 활동이 임상행동에 영향을 미치지 않는다는 이전의 관찰과 일치한다. 그리고 처음 몇년간의 독립적인 의료행위가 지나면 단지 경험의 축적만으로는 객관적인 성과를 거의 향상시키지 않는다.

The idea of effective communication with patients as a set of teachable skills implies training adults (i.e., making changes to preexisting adult behaviors); therefore, it seems plausible that workshops or even a four-day training will be insufficient for attaining substantial improvement in everyday performance.2 These findings are consistent with the earlier observations that continued professional medical education courses did not influence behavior in the clinic,37 and that mere professional experience after the first couple of years of independent practice or deliberate practice rarely improves objective performance.38–40,111,112


우다와 반 드 위엘은 의대생들이 이미 이전에 습득한 많은 습관과 의사 소통 기술을 가지고 의대에 입학했다는 중요한 점을 지적합니다; 이러한 습관들은 단순한 경험은 물론 교육이나 모델링을 통해서도 바뀔 가능성이 낮다. 이 저자들은 의사소통 기술을 변화시키는 가장 효과적인 방법은 의사나 훈련생과 동료, 친척, 실제 환자와의 상호작용을 녹화하는 것이라고 주장한다. 그런 다음 강사는 비디오를 보고 의사나 수습생에게 직접 다룰 수 있는 주요 약점과 문제를 식별할 수 있습니다. 이런 식으로, 선생님의 일대일 지도는 피아노 교사들과 테니스 코치의 개인들과의 직접적인 업무와 크게 다르지 않을 것이다.

Wouda and van de Wiel103 make the important point that medical students already enter medical school with a number of previously acquired habits and skills for communicating with other people; these habits are unlikely to change with mere experience, and they are difficult to modify even through instruction or modeling. These authors103 argue that the most effective methods of influencing communication skills involve video recording a physician’s or trainee’s interactions with peers, relatives, and real patients. Instructors can then view the videotapes and identify key weaknesses and problems that they can then address directly with the physician or trainee. In this way, the teacher’s one-on-one guidance may not differ much from piano teachers’ and tennis coaches’ directed work with individuals.


처음에 임상 강사는 간단한 상황을 제공할 수 있으므로, 수습 평가관은 어떤 일이 일어날지 예측할 수 있습니다. 예를 들어, 백핸드볼리를 훈련하는 동안 훈련생은 코치가 일관된 방식으로 전달하는 쉬운 타구를 위해 네트에 서 있을 수 있다. 승승장구하면서 코치는 더 많은 도전을 하게 되고, 결국 선수와 코치는 훈련생들이 정식 경기 중에 백핸드 발리를 준비하는 단계까지 나아가게 된다.

At first the clinical instructor may provide simple situations, so the trainee can anticipate what will happen. For example, during the training of backhand volleys, the trainee might be standing at the net waiting for an easy hit that the coach delivers in a consistent manner. With increased success, the coach will make serves more challenging, and eventually the player and the coach will engage in a volley in which the trainee must be prepared for backhand volleys during regular playing.


학생들이 자신의 주요 약점을 이해하고 제거하기 위해 연습한 후, 정보를 얻거나 환자를 치료 계획에 준비시키는 것을 목표로 더 많은 (테이프 기록) 환자 인터뷰에 참여하게 됩니다. 중요한 것은 향상된 의사소통 기술이 환자의 정보를 암호화하고 결합하는 것뿐만 아니라 환자의 반응과 기대에 대한 지각과 반응을 위해 훈련자의 점점 더 세련된 정신 표현에 통합되어야 한다는 점이다. 결과적으로, 뛰어난 의사소통 기술의 개발은 지속적인extended 과정이며, 의사들에게 의사 소통 기술의 효율성을 향상시키기 위해 그들의 경력 내내 지속적인 교육과 훈련을 위한 계획을 설계할 것을 권한다.

After understanding and practicing to eliminate their key weaknesses, students would engage in more (tape-recorded) patient interviews with the goal of gaining information or preparing the patient for the plan of care. Importantly, the improved communication skills must be integrated into the trainee’s increasingly refined mental representations not only for encoding and combining patient information but also for perceiving and responding to patients’ reactions and expectations. Consequently, the development of superb communication skills is an extended process, and the recommendation is that doctors design a plan for continued education and training throughout their careers to improve the effectiveness of their communication skills.


총괄

In Sum


전문성 이론들에 따르면, [패턴 매칭]과 [이전에 실행된 행동에 대한 기억의 손쉬운 retrieval]은, 자연스럽게 지식과 규칙의 고려를 대신하게 된다. 이러한 이론과 일치하지 않는 연구 결과는 CME 세미나 및 컨퍼런스에서 접한 새로운 지식이 병원의 습관적인 행동 변화로 쉽게 전환되지 않는다는 것을 나타냅니다. 또한, 연구에 따르면 익숙한 작업에 대한 추가적인 경험은 성능 정확도를 계속 향상시키지는 않는다대신, 관련 작업 시퀀스를 일관성 있고 효율적이며 거의 쉽게 만들 수 있습니다.

According to expertise theories, pattern matching and effortlessly retrieved memories of previously executed actions eventually, naturally replace knowledge and consideration of rules. A finding that is inconsistent with these theories indicates that new knowledge encountered at CME seminars and conferences is not effortlessly converted into changes in habitual behavior in the clinic.37 Furthermore, research shows that additional professional experience with familiar tasks does not consistently improve accuracy of performance38–40 but, rather, primarily makes the associated action sequences consistent, efficient, and nearly effortless.


그 대신에, 퍼포먼스의 개선은 (DP를 동반하는 전문가-퍼포먼스 접근방식에 의해 제안되는) 즉각적인 피드백을 포함한 목표 지향 훈련과 관련이 있다. 효과적인 연습은 훈련 활동 중에 사람들이 더 높은 성과 목표를 달성하려고 노력함으로써, 현재의 습관적인 수행방식를 넘어서려고 노력하는 정신 표현의 정교화를 포함한다. 이러한 점진적인 성과 개선을 위해서는, 실제 임상 환경에서 [교정 트레이닝 및 피드백을 통해 습득한 기술과 지식을 통합하고 전이하는지]를 모니터하기 위한 장기적인 약속이 필요합니다. 이 훈련 과정은 지도 교사들의 도움을 받을 때 더 효과적이고 신뢰할 수 있을 것이다.

Instead, improved performance is related to goal-directed training with immediate feedback, as suggested by the expert-performance approach with deliberate practice. Effective practice involves the refinement of mental representations during training activities through which individuals attempt to go beyond their current habitual performance by trying to attain higher performance goals. To facilitate these gradual improvements in performance, a long-term commitment to monitor performance in the clinic is necessary for integrating and transferring the skills and knowledge gained through corrective training and feedback. This training process will be more effective and reliable with the help of a supervising teacher.


의료 퍼포먼스를 개선하는 방법에 대한 이러한 이해는 의료 학생과 레지던트 선발에도 영향을 미칠 수 있다.

This understanding of how to improve medical performance could have implications for the selection of medical students and resident applicants;


시뮬레이터에서의 수행능력과 공간지각 능력 사이의 관계를 증명한 첫 번째 연구 중 하나의 결과는 둘 사이의 관계에 의문을 제기한다. 공간 능력 시험에서 낮은 점수를 받은 외과 레지던트도, 결국에는 공간 능력 시험이 높았던 레지던트와 유사한 수준의 시뮬레이션 성과를 달성할 수 있었다. 치과 학생들을 대상으로 한 동일한 연구팀의 후속 연구는 "10분간의 감독관습과 피드백을 거친 후", 공간 점수가 높은 학생 뿐만 아니라 낮은 학생도 시험 점수가 높았음을 보여준다.

The results of one of the first studies115 to demonstrate this relationship between simulator performance and spatial ability cast doubt on this assumption. The surgical residents with lower scores on the spatial ability test were able to eventually achieve a simulated performance comparable to that of the high-ability residents. A subsequent study by the same research group examining dental students showed that “after 10 minutes of supervised practice and feedback,”116(p756) students with the lower visual–spatial scores performed as well as those with higher test scores.


비록 비디오 게임 경험뿐만, 아니라 공간 능력을 측정하는 기본 테스트 점수가 초기에는 시뮬레이터 기반 수행능력을 상당히 예측한 것으로 밝혀졌지만, 훈련이 진행됨에 따라 개인간 차이는 점차 감소하였고, 마찬가지로, 초심자의 경우, 기본적 능력과 시뮬레이터 퍼포먼스 사이의 상관관계는 습득된 기술acquired skill의 수준에 따르는 함수로 변화하였다. 더욱 중요한 것은, 시뮬레이터로 확인한 수행능력의 개인 차이가 수술실에까지 transfer되지는 않았다는 점이다. 연구자들은 경험이 많은 외과의들의 공간능력을 테스트했고, 그 점수가 수술 수행의 개별적 차이를 유의하게 연관시키거나 설명하지 않았다는 것을 알아냈으며, 그 결론으로 "연습과 수술 경험이 선천적인 능력의 영향을 사라지게 하는 것으로 보인다"고 결론지었다.

Although performance on basic tests measuring spatial ability,117 as well as video game experience,118 has been found to significantly predict initial simulator performance, individual differences in performance on simulators decrease with extended training, and, likewise, the correlations between basic abilities and simulator performance for novices change as a function of level of acquired skills.119 Even more importantly, individual differences in simulator performance do not seem to transfer significantly to the operating room.120,121 Investigators tested the spatial abilities of experienced surgeons and found that their scores did not significantly correlate or account for individual differences in surgical performance,116 which led the investigators to conclude that “practice and surgical experience appear to obviate the impact of innate abilities.”116(p757)


초보자들이 새로운 영역에서 새로운 활동을 시작할 때, 그들은 그들의 기존 기술과 능력에 의존해야 하지만, 초보자들의 기술이 교사 주도 연습을 통해 향상되고, 적절한 representation을 습득하여 superior performance를 서포트할 수 있게 되면, '실제 수행능력'과 '기본 능력' 사이의 상관관계는 통계적 유의성이 사라진다.

When novices begin a new activity in any new domain, they must rely on their existing skills and abilities, but as their skills are constructed during teacher-led practice and as they acquire appropriate representations to support their superior performance, the correlations between actual performance and basic ability fall to insignificance.


전통적인 직업 교육은 이런 유형의 느린 기술 습득과 정교함을 위한 충분한 기회를 설계하지 못했다. 예를 들어, 클리닉에서 처음 수술을 경험할 때까지, 훈련자들은 지식과 일반적인 규칙을 얻는 데 수천 시간을 보냈을 수 있지만, 실제 수술 수행에는 불과 몇 시간밖에 쏟지 않았다. 음악, 발레, 체스, 스포츠와 같은 전문 분야에서는 실용적 또는 기술적 훈련과 이론적 훈련 사이의 비율이 반대로 나타난다.

Traditional professional education has not designed sufficient opportunities for this type of slow acquisition and refinement of skills. For example, in preparing for their first surgical procedure in the clinic, trainees may have spent thousands of hours acquiring knowledge and general rules, but only a handful of hours performing the actual procedure. In other domains of expertise, such as music, ballet, chess, and sports, the ratio between practical or technical training and theoretical training is reversed.


의료 훈련을 다음과 같이 개선할 수 있을 것이다. 예를 들어, 기본적인 기술에서의 초기 교육(예: 수술 절차 실행, 환자 인터뷰 및 인식 기반 진단 수행)을 훨씬 더 빨리 시작할지도 모른다. 또한 비디오와 시뮬레이터를 이용할 수 있게 되면, 어떤 procedure에 대한 훈련을 조기에 시작해야 하는지를 알 수 있을 것이다. 환자들에 대한 위험이 없다면, 의대생과 레지던트들은 시뮬레이터의 기본적인 기술을 사용하여 수백 시간을 연습하고, 이로부터 이익을 얻을 수 있다. 그들은 도서관에서 수집된 절차의 비디오를 이용하여 신중한 연습을 통해 훈련을 통해 지각과 공간적 기술을 개발할 수 있었다.

reform medical training. For example, initial training in fundamental skills (e.g., in the execution of surgical procedures, in interviewing patients, and in making perception-based diagnoses) may begin much sooner. The availability of videos and simulators should enable the identification of procedures for which training could begin early. Without risks to patients, medical students and residents could benefit from hundreds of hours of practice with fundamental techniques in simulators. They could develop perceptual and spatial skills from training with deliberate practice using videos of procedures collected in a library.


전문가-퍼포먼스 프레임워크는 [정신 표현과 습득된 기술]의 개발을 모니터링하고 촉진하는 일반적인 접근방식을 제공하며, [정신 표현과 습득한 기술]은 훈련생이 우수한 개인 성과를 매개하는 데 사용할 수 있다. 재현 가능한 우수한 임상 성과를 식별하고 분석함으로써 의료 교육자가 퍼포먼스와 관련 표현을 효과적으로 개발해줄 수 있는 훈련을 설계하거나 "reverse engineer"해야 한다. 의대생, 인턴, 레지던트가 필요한 정신적 표현들을 획득했을 때, 그들은 자기조절을 하는 학습자가 될 것이고, 즉, 의료계의 구성원들이 전문직 경력 전반에 걸쳐 자신과 팀 구성원의 성과를 향상시킬 수 있는 도구를 가지고 있다.

The expert- performance framework offers a general approach for monitoring and facilitating the development of mental representations and acquired skills which trainees can use to mediate superior individual performance. Identifying and analyzing reproducibly superior clinical performance should enable medical educators to design or “reverse engineer” training that will effectively develop this performance and the associated representations. When medical students, interns, and residents have acquired the necessary set of mental representations, they will have become self-regulated learners—that is, members of the medical community who have the tools to improve their and their team members’ performances over their entire professional careers.







 2015 Nov;90(11):1471-86. doi: 10.1097/ACM.0000000000000939.

Acquisition and maintenance of medical expertise: a perspective from the expert-performance approach with deliberate practice.

Author information

1
K.A. Ericsson is Conradi Eminent Scholar and Professor, Department of Psychology, Florida State University, Tallahassee, Florida.

Abstract

As a part of a special collection in this issue of Academic Medicine, which is focused on mastery learning in medical education, this Perspective describes how the expert-performance approach with deliberate practice is consistent with many characteristics of mastery learning. Importantly, this Perspective also explains how the expert-performance approach provides a very different perspective on the acquisition of skill. Whereas traditional education with mastery learning focuses on having students attain an adequate level of performance that is based on goals set by the existing curricula, the expert-performance approach takes an empirical approach and first identifies the final goal of training-namely, reproducibly superior objective performance (superior patient outcomes) for individuals in particular medicalspecialties. Analyzing this superior complex performance reveals three types of mental representations that permit expert performers to plan, execute, and monitor their own performance. By reviewing research on medical performance and education, the author describes evidence for these representations and their development within the expert-performance framework. He uses the research to generate suggestions for improved training of medical students and professionals. Two strategies-designing learning environments with libraries of cases and creating opportunities for individualized teacher-guided training-should enable motivated individuals to acquire a full set of refined mental representations. Providing the right resources to support the expert-performance approach will allow such individuals to become self-regulated learners-that is, members of the medical community who have the tools to improve their own and their team members' performances throughout their entire professional careers.

Comment in

PMID:
 
26375267
 
DOI:
 
10.1097/ACM.0000000000000939


성과(역량)바탕교육: 근원, 이론적 토대, 실증적 근거 (Adv in Health Sci Educ, 2012)

Outcome (competency) based education: an exploration of its origins, theoretical basis, and empirical evidence

Anne Mette Morcke • Tim Dornan • Berit Eika

 

 

 

도입

Introduction

 

성과 기반 교육 및 역량 기반 교육이라는 용어는 교육 모델을 기술하는 용어로서, 디테일에 있어서는 차이가 있을지 몰라도, 의학교육이 사전 결정된 성과에 의해 주도되어야 한다는 가정을 공유한다. OBE가 학부 의학교육에 10여 년 전에 도입된 이후, 이 접근법은 국제적으로 채택되어 현재 널리 사용되고 있다.

The terms outcome based education and competency based education describe educational models, which differ in detail but share the assumption that medical education should be guided by predetermined outcomes. Since the introduction of OBE to undergraduate medical education more than a decade ago, the approach has been adopted internationally and is now widely used.

 

그러나 모든 저자가 OBE가 의학 교육의 미래를 위한 포괄적인 해결책을 제공한다고 확신한 것은 아니다. 예를 들어, Norman(2006)은 "교육, 학습, 퍼포먼스 성과 사이의 연관성이 얼마나 강한가?"라고 질문했다. Malone과 Supri(2012)는 40년의 경험을 통해 OBE의 무분별한 적용은 의도한 목적을 달성하지 못할 수 있음을 시사했다. 페르난데스 외 연구진(2012)은 '역량'이라는 용어가 단순해 보이지만, 실제로는 상당히 다른 방식으로 해석되었음을 입증했다.

Not every author has been convinced, however, that OBE provides a comprehensive solution for the future of medical education. Norman (2006), for example, asked ‘‘How strong is the link between teaching, learning, and performance outcomes?’’ Malone and Supri (2012) wrote that experience from 40 years’ suggests that the uncritical application of OBE to medical curricula may not achieve the intended aims. Fernandez et al. (2012) demonstrated that the deceptively simple term‘competency’ has been interpreted in importantly different ways

 

OBE의 진화 과정에서 역사적 랜드마크에 대한 고찰

Review of historical landmarks in the evolution of OBE

 

옹호와 비평의 첫 번째 사이클 - 1960년대와 1980년대

The first cycle of advocacy and critique—the 1960s through to the 1980s

 

1957년, 소련은 첫 번째 인공위성인 스푸트니크 1호를 지구 궤도를 향해 발사했다. 미국이 우주 경쟁에서 뒤쳐졌다는 것을 깨닫는 것은 미국 사회를 통해 충격파를 보냈고, 미국 사회는 이 실패에 대해 교육 시스템이 책임지게 했다. 그 결과, 교육에 많은 돈이 투입되었고 교육과 훈련에 대한 연방 정부의 적극적인 개입이 있었다. 이어지는 토론과 연구는 OBE의 개발과 학교 및 교사 훈련에서의 OBE의 실행을 촉발시켰다. 초기 OBE의 이론적 방향은 Watson, Pavlov, Thorndike, Skinner와 같은 실험 심리학자의 작품에서 나타난 행동주의로 대변되는 것이었다.

In 1957, the Soviet Union launched the first satellite—Sputnik I—into orbit around the Earth. Realisation that the USA had fallen behind in the space race sent shock waves through American society, which held its educational system accountable for this failure (Hodge 2007). As a result, large sums of money were directed into education and there was vigorous federal intervention in education and training. The ensuing debate and research ignited the development of OBE and its implementation in schools and teacher training. The theoretical orientation of early OBE was towards behaviourism as represented in the works of experimental psychologists like Watson, Pavlov, Thorndike, and Skinner, whose legacy was a focus on observable behaviours.

 

교육목표를 강조하는 기본적인 생각은 타일러에 의해 1949년에 최종적인definitive 형태로 주어졌다. 그는 커리큘럼 설계는 [학습이 학생들의 행동에서 발생시켜야 하는 변화]의 측면에서 표현된 명확한 목표에 의해 결정되어야 한다고 주장했다. Tyler의 전 PhD 학생인 Bloom이 그 뒤를 이었다. Bloom은 인지 영역에서 교육목표의 분류 체계를 발전시켰다. (Bloom 1956). 그는 그들을 지식, 기술, 그리고 태도로 분류했고 그들이 소통가능해야 한다고 강조했다. 1970년대 초에 있었던 OBE를 향한 최초의 지지의 물결은 마거의 교육적 목표(Mager 1997), 블룸의 mastery learning에 대한 지지(Bloom 1968), 그리고 가네의 instructional design 등에 의해 대두된 것으로 보인다.

The basic idea of emphasizing educational objectives had been given its definitive form by Tyler as early as 1949 (Tyler 1949). He argued that curriculum design should be determined by explicit objectives expressed in terms of changes the learning was supposed to produce in the behaviour of students. Tyler was followed by Bloom (Tyler’s former PhD student), who developed a taxonomy of educational goals in the cognitive domain (Bloom 1956). He classified them into knowledge, skills, and attitudes, and stressed that they should be communicable. It seems that the first wave of advocacy OBE came to a head in the early 1970s with Mager’s instructional objectives (Mager 1997), Bloom’s endorsement of mastery learning (Bloom 1968), and Gagne´’s work on instructional design (Gagne´ and Briggs 1974).

 

1970년대 중반, OBE에 대한 분위기는 행동적 목표 커리큘럼 모델에 비판적으로 돌아섰다. Stenhouse는 매우 영향력 있는 비평가로서, 커리큘럼을 조직하는 유일한 방법은 학생 행동의 측정 가능한 변화 측면에서 결과를 미리 구체화하는 것이라는 견해를 거부했습니다. 사실적 지식과 간단한 기술에 관한 목표를 배우는 것은 좋은 말이지만, [가치, 통찰력, 판단력 개발에 영향을 주기 위한] 교육 프로세스가 행동 목표에만 엄격하게 초점을 맞춘 커리큘럼 모델로 단순화subsume될 수 없다고 그는 주장했다.

By the mid-1970s, the tide was turning against the behavioural objectives curriculum model. Stenhouse was a very influential critic, who rejected the view that the only way to organise a curriculum was to pre-specify outcomes in terms of measurable changes in student behaviour (Stenhouse 1975). Whilst learning objectives concerning factual knowledge and simple skills made good sense, he argued that educational processes, which influenced the development of values, insight, and judgement, could not be subsumed into a curriculum model that focused strictly on behavioural objectives.

 

학생들이 경험으로부터 정서적으로, 사회적으로, 문화적으로, 미적으로, 또는 윤리적으로 학습한다고 본다면, 목표를 명시하거나 객관적으로 평가하는 것은 불가능한 것이지만, 그렇다고 해서 이러한 학습이 중요하지 않다는 것을 의미하지는 않았다. Stenhouse(1975년)는 산출물이나 성과를 측정하는 것보다 학생들의 학습을 최적화하는 것을 더 강조하였고, 훈련training대비되는 의미로, 교육education(문학적으로, 단어의 라틴어 기원으로부터, 학생들에게서 배우는 것을 이끌어내기)을 강조했다.

When students learned affectively, socially, culturally, aesthetically, or ethically from experience, it was not possible to specify goals or assess them objectively but that did not mean such types of learning were unimportant. By placing more emphasis on optimising students’ learning than on measuring outputs or outcomes, Stenhouse (1975) was emphasising education (literally, from the Latin origins of the word, drawing learning out from students) as opposed to training (putting intended learning outcomes into students).

 

OBE의 부활은 1980년대에 시작되었는데, 이것은 어떠한 새로운 이론적인 통찰에 기초하지 않았으며, 초기 역량 운동의 행동주의 원칙에 밀접하게 따랐. 특히 영향(태도, 감정 및 가치)에 관해서는 더 제한적이었다restrictive. Spady (1994, 페이지 55–60)는 affects의 중요성을 인정하면서도, 그 자체로는 성과가 아니며, 성과의 전제조건이라고 간주했다. 그는 affects를 '목적'이라고 불렀으며, 이것은 '성과'와는 구분되는데, 왜냐하면 affects는 직접 관찰할 수 없고, 따라서 결과 기반 커리큘럼의 사양specification에 포함될 수 없기 때문이다. 따라서 새로이 부활한 OBE는 학습 성과로서 affects를 배제하였다.

A revival of OBE began in the 1980s (Spady 1988, 1994), which was not based on any new theoretical insights and adhered closely to the behaviourist principles of the earlier competency movement. It was in some respects more restrictive, particularly regarding affects (attitudes, emotions, and values). Spady (1994, pp 55–60) acknowledged their importance but regarded them as preconditions for outcomes rather than outcomes in themselves. He called affects ‘goals’, which he distinguished from ‘outcomes’ because they were not directly observable and could not, therefore, be included in the specification of an outcome-based curriculum (Spady 1988, 1994, p55 et seq). So, the revival of OBE specifically excluded affects as learning outcomes.

 

두 번째 옹호 단계—20세기 말

Second phase of advocacy—the end of the twentieth century

 

주로 스파디로부터 영감을 받은 하덴 외 연구진(1999)은 OBE를 "의료 교육을 개혁하고 관리하는 강력하고 매력적인 방법을 제공하는 커리큘럼 개발의 최첨단 성과 기반 접근법"라 칭하는 보고서를 발행했다. 알바니아 등 (2008)에 따르면 1999년은 "역량 운동의 진화에서 pivotal한 해"였는데, 이는 비단 하덴과 동료의 지지 때문만은 아니었다. 다른 두 가지 중요한 이벤트가 발생했습니다. 

    • AAMC(American Medical Colleges Association)의 의과대학 목표 프로젝트(MSOP)는 역량 기반 교육을 옹호하는 보고서를 작성했습니다.  
    • 또한 대학원 의학 교육 인증 위원회(ACGME)와 미국 의학 전문 위원회(American Council of Medical Specialties)는 6개의 인증 능력에 대해 공동으로 합의했습니다. 
    • 불과 1년 전만 해도 국제적으로 널리 퍼져나간 CanMEDS 역량 프레임워크의 개발을 촉발한 Educating Future Physicians for Ontario Project도 발표되었다(Neufeld et al. 1998).

Inspired primarily by Spady, Harden et al. (1999) published a report describing OBE as ‘‘a performance-based approach at the cutting edge of curriculum development (that) offers a powerful and appealing way of reforming and managing medical education’’ 1999 was, according to Albanese et al. (2008), ‘‘pivotal in the evolution of the competency movement’’ and not just because of the advocacy of Harden and colleagues. Two other important events took place: the Medical School Objectives Project (MSOP) of the Association of American Medical Colleges (AAMC) produced a report advocating competency based education; and the Accreditation Council for Graduate Medical Education (ACGME) and the American Board of Medical Specialties jointly agreed on six competencies for certification. Only 1 year previously, the groundbreaking Educating Future Physicians for Ontario Project that sparked the development of the internationally widespread CanMEDS competency framework had also been published (Neufeld et al. 1998).

 

하덴과 동료들은 OBE가 교육 과정보다는 '어떤 유형의 의사를 길러야 하는가'를 강조했기 때문에 의학 교육에 대한 선견지명이 있는 새로운 접근 방식이었다고 썼다(Harden et al. 1999). 커리큘럼 내용 및 구조, 교육 및 학습 활동, 교육 환경, 평가 및 프로그램 평가는 모호하지 않은 outcome specification으로부터 논리적으로 도출되었다. Harden et al. (1999)의 말에서, "OBE는 두 가지를 갖추어야 한다. 먼저 학습 성과를 식별하고, 명시하고, 모든 관련자에게 전달해야 한다. 둘째, 교육과정에 관한 결정에서 교육 성과가 가장 중요한 이슈가 되어야 합니다."

Harden and colleagues wrote that OBE was a visionary new approach to medical education because it emphasised the type of doctor produced rather than the process of education (Harden et al. 1999). Curriculum content and structure, teaching and learning activities, educational environments, assessments, and programme evaluation followed logically from an unambiguous outcome specification. In the words of Harden et al. (1999): ‘‘OBE has two requirements. First that the learning outcomes are identified, made explicit and communicated to all concerned (…). Second, the educational outcomes should be the overriding issue in decisions about the curriculum.’’

 

비판에 뒤따른 OBE의 도입-새로운 세기로

Implementation of OBE followed by critique—into the new millennium

 

새 천년의 첫 10년 동안의 보고서와 출판물은 OBE의 첫 번째 요구사항을 충족하고 학습 성과를 정의하는 것이 가능하다는 것을 보여주었다. 예를 들어 스코트랜드 교육과정 그룹은 12개의 주요 결과 영역을 정의했는데, 이 영역은 86개의 학습 성과로 세분화되어 개별 학교는 커리큘럼의 필요에 따라 이러한 영역을 더 세분화했다(Simpson et al.

Reports and publications over the first decade of the new millennium showed it was possible to meet the first requirement of OBE, to define learning outcomes. The Scottish Deans’ Medical Curriculum Group, for example, defined 12 key outcome domains, which were subdivided into 86 learning outcomes, leaving individual schools to break them down further according to the needs of their curricula (Simpson et al. 2002).

 

심슨 외 연구진(2002)은 교육과정이 매우 다른 학교들도 학습 성과에 대한 합의에는 도달할 수 있다고 결론지었다. 다른 그룹들도 같은 결론에 도달했다

    • CanMEDS 역량 프레임워크는 캐나다뿐만 아니라 전 세계(Frank and Danoff 2007)에서 광범위하게 채택되었으며, 
    • Tuning Project for Medicine도 범유럽 학습 성과 프레임워크(Cuming 2007)를 개발하는 데 성공했다. 

의과대학이 중복되거나 상충하는 성과 프레임워크를 조정해야 한다는 우려가 2007년에 발표된 보고서에서 제기되었다(Elaway et al. 2007).

Simpson et al. (2002) concluded that even schools with very different styles of curriculum could reach consensus on learning outcomes. Other groups reached the same conclusion. The CanMEDS competency framework was extensively adopted, not only in Canada, but around the world (Frank and Danoff 2007) and the Tuning Project for Medicine also succeeded in developing a pan-European learning outcomes framework (Cumming and Ross 2007). Concern that medical schools would have to reconcile overlapping or competing outcome frameworks was addressed in a report published in 2007 (Ellaway et al. 2007).

 

그러나 OBE를 적극적으로 채택하고 있었떤 이 때에도 비판적 의견도 들을 수 있었다. Rees (2004)는 커리큘럼의 교육과정보다 성과에 초점을 맞추는 것은 좋은 교육적 실천과 반대되는 것이라고 주장했다.

Critical opinions were also to be heard, however, at this time when OBE was being so avidly adopted (Prideaux 2004; Rees 2004; Talbot 2004). Rees (2004), argued that a focus on the outcomes rather than educational processes of curricula was antithetical to good educational practice;

 

플렉스너 100주년 권고—2010년과 그 이후

Flexner centenary recommendations—2010 and onwards

 

2010년 Cooke 등(2010년)의 영향력 있는 보고서는 황금표준으로 커리큘럼 개발에 대한 역량 기반 접근방식을 채택했다. 이 보고서는 OBE의 광범위한 채택을 권고했고 프로그램 리더들에게 학습자들에 대한 명확하고 점진적인 기대(성과)를 설정할 것을 요청했다. OBE의 채택은 의학 졸업생들이 복잡한 상황에서 효과적으로 대응할 수 있도록 더 잘 준비할 것이며 필요한 역량의 깊이와 폭을 계속해서 확장할 것이다. 그러나, 보고서에 따르면, 이러한 이상적인 모습은 학습자들이 최소한의 역량 기준을 달성했는지를 판단하는 평가 없이는 이루어질 수 없다고 한다.

In 2010 an influential report by Cooke et al. (2010) endorsed a competency based approach to curriculum development as a gold standard. It recommended widespread adoption of OBE and asked programme leaders to set clear, progressive expectations of learners. Adoption of OBE would better equip medical graduates to respond effectively in complex situations and efficiently continue to expand the depth and breadth of the requisite competencies. That, according to the report, could not happen without assessment, which must determine that learners had achieved benchmarked standards of competence.

 

Flexner centenary 보고서는 성과바탕교육의 필요성을 주장하였지만 두 가지 문제에 대해서는 답을 내놓지 못했다. 하나는 어떻게 휴머니즘, 책무성, 이타성 등을 정의하고 평가할 것인가의 문제이다. 이러한 특질들은 사람마다 unique한 것이며, 따라서 ("표준화된 성과"의 달성을 추구하는) 성과바탕교육과는 애초에 조화되기에 어려운 측면이 있다. 이미 비슷한 이유로 약 30년 전에 Spady는 교육성과를 정의하면서 정서적 측면(affective domain)을 배제하였음을 떠올리게 한다. Flexner 100주년 보고서에 따르면 프로페셔널리즘의 affective 측면의 요소들은 "오랜 시간 동안 관심을 갖고 성찰해야 하는 것"이다. 두 번째는 기대하는 성과는 "적당한 수준(good enough)"에 맞춰놓으면서, 어떻게 동시이 수월성(excellence)를 추구할 수 있겠냐는 문제이다. 이미 Sir John Tooke는, "적당히 좋은 것은 충분히 좋은 것이 아니다(Good enough is not good enough)"라고 지적한 바 있다.

Whilst strongly endorsing OBE, the Flexner centenary report noted two important, unresolved issues. The first was how to define and assess humanism, accountability, and altruism, which are unique to individuals and thus difficult to reconcile with an OBE framework. That concern is reminiscent of Stenhouse’s critique over 30 years earlier (Stenhouse 1975), which Spady (1994) resolved by excluding the affective domain from the formulation of curriculum outcomes. Affective elements of professionalism, the Flexner centenary report stated, would ‘‘need to be kept in focus and reflected on over time.’’ The second issue was how to promote excellence when competencies are targeted at ‘‘good enough’’ performance (Talbot 2004), captured in Sir John Tooke’s aphorism, ‘‘Good enough is not good enough’’ (Tooke 2008).

 

Hodges(2010년)에 따라 학습 결과의 표준화는 '(대량)생산 담론'에 기초한다. 그것은 산업계에서 지배적이며 매력적인 담론인데, 교육 비용과 훈련 시간을 줄일 것을 약속하기 때문이다. 문제는 개인화는 표준화와 상당한 거리가 있다는 것이다모호한 것에 대한 인내력, 복잡성에 직면하여 민첩성, 호기심, 혁신, 평생학습에 대한 헌신과 같은 마음 습관을 가르치려고 할 때, 교육과정은 풍부한 연습과 피드백 기회가 있어야 하며, 지속적인 형성적 평가 및 단계적 개발 접근방식을 제공해야 한다. 호지(2010년)는 또한 "미래의 의사들에 대한 담론을 형성함에있어, 우리는 사람의 성장과 발달을 강조하는 언어와 개념을 사용해야 한다"고 주장했다.

standardization of learning outcomes, according to Hodges (2010), is based on a ‘‘production discourse’’, which is dominant in industry and appeals because it promises to reduce education costs and training time. Individualization, however, is a substantial distance away from standardization. For doctors-in-training to learn tolerance of ambiguity, agility in the face of complexity, habits of mind such as curiosity, innovation, and a commitment to lifelong learning, curricula have to be rich in practice and feedback and provide continuous formative assessment and a stepwise developmental approach. Hodges (2010) further pleaded that ‘‘in fashioning discourses about future physicians, we should try to use language and concepts that emphasize the growth and development of people.’’

 

발명, 실행, 거부, 부활, 지지 그리고 비평 주기가 시작된 지 40년이 넘도록 OBE에 대한 논의가 얼마나 활발하고 생생하게 살아있는지는 무척 놀랍다.

It is striking how vigorous and alive the discussion of OBE remains more than 40 years after the invention, implementation, rejection, revival, advocacy and critique cycles began.

 

OBE의 담론의 주목할 만한 특징은 객체로서 규제 대상으로 논의되는 때를 제외하면, 그 담론 안에 개별 교사들과 학습자들은 underrepresent되어있다는 것이다. 예를 들어, 

    • OBE 채택을 위한 Cooke 등(2010)의 근거는 교육과 학습에 대한 직접적인 연관성은 거의 없이 평가 및 책임의 측면에서 거의 전체적으로 표현되어 있습니다. 
    • 마찬가지로, OBE의 것으로 알려진 편익에 대한 Hodge의 분석은 평가 및 책임성의 담론에 의해 지배된다(Hodges 2010).

A striking feature of the discourse of OBE is that individual teachers and learners are more or less unrepresented in it, except as objects of regulation. The rationale of Cooke et al. (2010) for adopting OBE, for example, is almost entirely expressed in terms of assessment and accountability, with little direct link to teaching and learning. Hodges’ analysis of the purported benefits of OBE is, likewise, dominated by the discourses of assessment and accountability (Hodges 2010).

 

OBE의 진화에서 역사적 랜드마크에 대한 이러한 검토를 요약하자면, 1940년대의 행동주의 심리학과 OBE의 현대적 advocacy 사이에는 끊어지지 않는 inheritance의 선이 있는 것으로 보인다.

To summarise this review of historical landmarks in the evolution of OBE, there appears to be a more or less unbroken line of inheritance between behaviourist psychology of the 1940s and contemporary advocacy of OBE.

 

OBE는 1970년대에 널리 도입되었고, 그 후 OBE가 가치, 통찰력, 판단을 단순한 행동 목표에 축소시켜버리고, 정서적, 문화적, 미학적, 윤리의 학습 과정을 핵심 교육에 두지 않는 것에 대해 심하게 비난 받았다.

It was widely implemented, then heavily critiqued in the 1970s for reducing values, insight, and judgement to simple behavioural objectives and for not placing affective, social, cultural, aesthetic, and ethic learning processes at the core of education.

 

OBE는 1980년대에 부활했고 새 천년 이전과 이후까지 의학 교육을 소리 높여 옹호했다. 부활은 교육과정 설계, 평가, 프로그램 평가 및 책임에 대한 교육 결과를 강조하는 것과 동일한 혜택에 초점을 맞추었다.

OBE was revived in the 1980s and vociferously advocated for medical education before and on into the new millennium. The revival focused on just the same purported benefits of emphasising the product of education—an unambiguous outcome specification—to curriculum design, assessment, programme evaluation, and accountability.

 

프레임워크와 이론 검토

Review of frameworks and theories

 

용어 검토

Review of terminology

 

Shumway와 Harden(2003)은 MSOP, AAMC, ACGME, CanMEDS, 스코틀랜드 의과대학과 같은 기관에 의해 지정된 학습 성과가 "유사점을 가지고 있거나 유사한 역량이나 능력을 포함한다." 고 말했다. 알바니아인 외 연구진(2008)에 따르면 성과와 역량의 차이는 "want"과 "need"라는 단어에 있다. 

    • 성과는 우리가 학생들이 어떤 기술과 자질을 갖기를 원하는지를 정의하는 반면want, 
    • 역량은 의사들이 환자를 돌보기 위해 어떤 기술과 자질을 필요로 하는지need 결정하는 것이다.

Shumway and Harden (2003) wrote that the learning outcomes specified by bodies like MSOP, AAMC, ACGME, CanMEDS, and the Scottish medical schools ‘‘have similarities and embrace a similar set of competencies or abilities.’’ According to Albanese et al. (2008), the difference between outcomes and competencies is in the words ‘‘want’’ and ‘‘need’’. An outcome defines what skills and qualities we want students to have, whereas a competency is a determination of what skills and qualities doctors need to have to care for patients.

 

튜닝 프로젝트(Cumming and Ross 2007)는 결과, 목표, 역량을 구분한다. 

    • 학습 목표는 교육 담당자에 의해 설정 및 설명되며 특정 구성 요소와 관련이 있습니다. 
    • 학습 성과는 최상위 수준이 큰 도메인으로 구성되는 hierarchy of levels으로 설명된다. 이러한 영역 내에서 보다 상세한 성과는 평가 프로그램을 blueprinting하는 데 유용한 수준으로 설명된다. 
    • 마지막으로, 역량은 (교사보다는) 학생이나 졸업생에 속한다. 학위 프로그램을 성공적으로 완료한 사람의 역량은 최소한 규정된 학습 결과와 동등해야 한다. 이 용어는 튜닝 프로젝트에서 다소간 상호 교환적으로 사용됩니다. 

The Tuning Project (Cumming and Ross 2007) distinguished between outcomes,objectives, and competencies in this way: 

    • Learning objectives are set and described by teaching staff and relate to a particular component. 
    • Learning outcomes are described with a hierarchy of levels, with the top level consisting of large domains. Within those domains,more detailed outcomes are described to a level that is useful for blueprinting assessment programmes. 
    • Finally, competencies belong to students or graduates rather than teachers.The competencies of someone who has successfully completed a degree programme should be at least equivalent to the prescribed learning outcomes. The terms are used more or less interchangeably in the Tuning Project. 
 

페르난데스 외 연구진(2012)의 최근 리뷰는 보건 과학 교육자들이 이 용어를 사용하는 방법에 있어서, 저자들 사이에 분명한 차이를 발견했음에도 불구하고, 역량이 지식, 기술 및 기타 요소로 이루어져 있다는 것에 동의한다고 결론지었다. 실제로 결과 및 역량 기반 교육 간에 근본적인 차이를 발견하지 못하였으므로, 이 논문에서는 Hodge(2010)와 마찬가지로 OBE라는 용어를 사용할 것이다.

A recent review by Fernandez et al. (2012) concluded that health science educators agree that competence is composed of knowledge, skills and other components, though they found clear differences between different authors in how they used the term. Having found no essential difference between outcome and competency based education in practice; this article has aligned itself with Hodges (2010) in using the termOBE to refer to both.

 

학습 이론 검토

Review of learning theory

 

OBE는 지금까지의 분석에서 결론지을 수 있듯, OBE는 평가와 자연스럽게 연결되는 반면, 교육 및 학습 활동과는 그리 자연스럽게 연관되지는 않는다. OBE에서 [성과를 정의하는 것]과 [커리큘럼의 교육 및 학습 활동에 대한 서포트] 사이에는 갭이 있는 것 같다. 우리만 이것을 관찰한 것이 아니다; 이미 프라이도(2004)와 노먼(2006)은 학습 성과와 교수/학습 사이의 연관성의 본질에 의문을 제기했다. 또 다른 차이는 행동주의에 뿌리를 둔 OBE(시대에 뒤떨어진 이론 지향으로 여겨짐)와 현대적 학습 이론 사이의 gap이다.

OBE, it may be concluded from the analysis thus far, links naturally with assessment but not so naturally with teaching and learning activities. It seems there is a gap in OBE between defining outcomes and supporting the teaching and learning activities of medical curricula. We are not alone in making that observation; Prideaux (2004) and Norman (2006), before us, questioned the nature of the link between learning outcomes and teaching/learning. Another gap is between the roots of OBE in behaviourism, which could be considered an outdated theoretical orientation, and modern learning theory.

 

OBE의 가능성과 한계를 더 폭넓게 생각하는 데 도움이 될 수 있는 접근법은 Biggs와 Tang의 건설적인 정렬 커리큘럼 프레임워크로, 

    • 이는 평가뿐만 아니라 교수/학습을 함께 강조하며, 이것들이 모두 학습 성과와도 align될 것을 요구한다. 
    • OBE와 마찬가지로 건설적인 정렬은 의도된 학습 성과를 명확하고 모호하지 않게 명시할 것을 요구한다. 
    • 또한 OBE와 마찬가지로 학습자가 의도한 학습 성과에 대한 숙련도를 입증해야 하는 평가 시스템에 중점을 둡니다. 
    • 건설적인 정렬의 관점에서 교수-학습 활동은 학생들이 학습 성과에 평가적으로 능숙해질assessably proficient 가능성을 높이는 방식으로 계획되어야 한다.

An approach that seemed able to help us think more widely about affordances and limitations of OBE was Biggs and Tang’s constructive alignment curriculum framework

    • which emphasises teaching/learning processes as well as assessment and aligns them both with learning outcomes (Biggs and Tang 2007). 
    • Like OBE, constructive alignment calls for intended learning outcomes to be stated clearly and unambiguously. 
    • Like OBE, also, it puts a strong emphasis on assessment systems that call for learners to demonstrate proficiency in the intended learning outcomes. 
    • Teaching–learning activities, from a constructive alignment perspective, should be planned in such a way as to increase the likelihood of students being assessably proficient in the learning outcomes.
 

그러나 Biggs와 Tang의 이론의 한계는 '학습'을 관찰 가능한 행동으로 축소시켜버리고, affects과 professional attributes에 관련된 학습의 요소들을 배제한다는 것이다. 그들의 체제는 구성주의자로 특징지어질 수 있다. 그러나 OBE가 구성주의 이론과 조화될 수 있다는 사실이 OBE가 행동주의자들의 기원을 넘어섰다는 설득력 있는 증거가 되지는 못한다,

however, that Biggs and Tang’s theory also narrows learning to observable behaviours and leaves out elements of learning related to affects and professional attributes. Their framework may be characterised as a constructivist one. The fact that OBE could be reconciled with a constructivist theory is not, however, convincing evidence that OBE has moved beyond its behaviourist origins.

 

Cooke 등(2010년)은 ACGME와 같은 기관에 대한 권위를 인용하였으나 이론이나 경험적 증거를 인용하지 않았다.

Cooke et al. (2010) quoted authority statements of bodies like ACGME, but did not cite theory or empirical evidence.

 

Review of empirical literature

 

Review question and approach

 

탐색적 검토 질문: 사전 정의된 학습 성과는 학부 의과대학에서 학습과 교육에 어떤 영향을 미칩니까?

the exploratory review question: How do predetermined learning outcomes affect learning and teaching in undergraduate medical education?

 

Method

 

Results

 

The eight included papers are presented in Table 1.

 

연구 설계

Study designs

 

Seven of the papers concerned students and one concerned teachers.

 

결과

Findings

 

학습성과, 교수, 가르침

Learning outcomes, teachers, and teaching

 

극히 적은 수의 연구가 어떻게 학습 성과가 의사 선생님들의 가르침에 영향을 미치는지에 대해 명확하게 다루었다. 

Very little research explicitly addressed how learning outcomes influenced medical teachers’ teaching.

 

학습성과, 학생, 배움

Learning outcomes, students, and learning

 

일부 학생들은 복강경 트레이너에서 적극적인 학습을 촉진하기 위해 한 연구에서 학습 성과가 주어지는 것을 좋아했다. 비록 참가자의 수가 적고 결과는 통계적으로 유의하지 않았다. (곤잘레즈 외 2004)

Some students liked to be given learning outcomes, which were shown in one study to promote active learning in a laparoscopy trainer, although the number of participants was small and the result was not statistically significant (Gonzalez et al. 2004).

 

(McLaughlin et al. 2005). 오직 34%의 학생들만이 코스 목표를 사용했고 그들은 평균 이상의 시험 점수를 가질 가능성이 상당히 낮았다.

(McLaughlin et al. 2005). Only 34 % of students used the course objectives and they were significantly less likely to have above-average test scores.

 

고찰

Discussion

 

주요 결과와 의미

Principal findings and meaning

 

지난 50년 동안 OBE의 두 가지 분명한 지지 순환, 그 다음에는 비판이 있었다. 지난 10년 동안 OBE는 학부 의과에서 지지되고 시행되었지만, 학습 성과가 교수법과 학습 의학에 미치는 영향에 대한 실질적인 연구가 뒤따르지 않았다.

The last 50 years have seen two clear cycles of advocacy, then critique, of OBE. In the last decade OBE has been advocated and implemented in undergraduate medical education, but this has not been followed by substantial research on the impact of learning outcomes on teaching and learning medicine.

 

타당도 위협

Threats to validity

 

우리가 발견한 증거의 부족은 그 불완전성의 증거로 보여질지도 모른다. 그러나 의학 교육의 영역에서 evidence review를 보면, '정상'으로 간주되는 것이 실제로는 경험적 증거가 거의 없다는 것을 일관되게 발견한다. 유익한 증거가 누락되었을 수 있다는 것을 인정하면서도, 우리의 연구 결과를 무효화할 만큼 충분한 증거를 놓쳤을 가능성은 거의 없어 보입니다.

The paucity of evidence we found might be seen as evidence of its incompleteness. Evidence reviews in the domain of medical education, however, consistently find that what is taken to be ‘normal’ rests, in reality, on little empirical evidence. Whilst acknowledging that informative evidence might have been missed, it seems unlikely we missed enough strong evidence to invalidate our findings.

 

다른 출판물과의 관계

Relationship to other publications

 

우리의 분석은 영어 출판물에 한정되어 있다. 스칸디나비아와 독일의 교육 관련 출판물(건뎀과 홉만 1998)은 '빌둥Bildung'이라는 단어로 대표되는 다소 다른 교육적 담론을 제시한다. Bildung의 관점에서 교육은 기술과 지식을 습득이상이다. 클로프키(1995)와 같은 독일 언어 작가들은, humanities의 출발점으로 비판과 자기 비판의 능력과 의지를 갖추는 것과 같은 이상적인 목표에 초점을 맞추고 있다. 이 프레임워크에서 교육 및 커리큘럼은 주로 빌둥(Bildung)과 관련이 있습니다. 지식과 기술을 습득하는 것은 단지 프로세스 내에서의 도구일 뿐이며, 그 자체로 학습의 종착점이 아니다.

Our analysis is confined to English language publications. Scandinavian and German language publications about education (Gundem and Hopmann 1998) present a rather different discourse of education, epitomised by the word ‘Bildung’. Education, from that point of view, extends far beyond acquiring skills and knowledge. German language authors such as Klafki (1995), with a starting point in the humanities, clearly focus on ideal goals like developing ability and willingness to critique and self-critique, to argue, to be empathic, and to think contextually and coherently. In this framework, education and curriculum mainly concerns Bildung (the process of striving towards such ideal goals); acquiring knowledge and skills are tools in that process, not the endpoint learning outcomes in themselves.

 

학부의학교육만 주로 다뤘다.

our evidence review was confined to just one part of the medical education continuum—undergraduate medical education.

 

Implications

 

For practice

 

OBE가 학부 의과 교육에 적합하지 않거나 적절하지 않은 위치로 이끌기 보다는, 이 검토는 OBE가 어떤 측면에 대해서는 다른 측면에 대해서보다 더 적합할 수 있음을 나타낸다. 이는 OBE가 특히 관찰 가능한 행동에 대해서 역량 평가를 위한 blueprint를 위한 논리적 근거를 제공한다는 분석에서 비롯됩니다. 반면에, 하덴 외 연구진(1999)의 권고를 쓴 이론가조차도 affects를 관찰 가능한 행동으로 환원할 수 없다고 말했다. 그러므로 교육을 통해 발전하는 개인적, 전문적 특성을 교육에 의해 개발되는 능력과 동일한 과정에 포함시키는 것은 비논리적인 것처럼 보인다.

Rather than leading to a position that OBE is or is not appropriate for undergraduate medical education, this review indicates that it may be more appropriate to some than other aspects of it. It follows fromour analysis that OBE provides a logical basis for blueprinting assessments of competence, particularly those that assess observable behaviours. On the other hand, even the theorist on whose writing the recommendations of Harden et al. (1999) said affects cannot be reduced to observable behaviours. It seems illogical, therefore, to subsume personal and professional attributes that develop through education into the same process as competences that are developed by training.

 

For scholarship

 

우리는 "OBE가 효과적인가?"라는 질문에 답하는 연구 설계들은 별로 쓸모가 없을 것이라고 제안한다. 왜냐하면 이 의학교육 분야는 그 질문에 답하기에는 너무 복잡하기 때문이다. 오히려, "어떻게, 누구를 위해, 그리고 어떤 상황에서 OBE가 효과가 있는가?"라는 질문에 답하는 "명확화" 연구들이 절실히 필요하고, 그러한 연구가 교육과정 내에서 수행된 행동연구 또는 디자인 기반 연구에 스스로 도움이 될 것이다. 우리는 OBE가 어떤 경우에 좋은지 거의 알지 못한다. 학습 성과와 교육 사이에 어떤 연관성이 있는지, 결과가 교사들에게 도움이 될 때, 그리고 언제 그리고 어떻게 자기 주도적인 학습에 유용한지를.

Research designs answering the question ‘‘does OBE work?’’, we suggest, will be of little use because the field is just too complicated for that. Rather, ‘‘clarification’’ (Cook et al. 2008) studies answering the question ‘‘how does OBE work, for whom, and in what circumstances?’’ are sorely needed and lend themselves to action or design based research conducted within curriculum implementations. We know little about 

    • what OBE is good for; 
    • what the connections are between learning outcomes and teaching; 
    • when outcomes are helpful for teachers and when not; 
    • when and how they are useful for self-directed learning.

 

Conclusion

 

Harden et al. (1999)이 다음과 같이 말한 것은 옳았다: "OBE는 명백한 매력을 가지고 있지만, 그 효과를 문서화하는 연구는 상당히 드물다." Harden(2007년)이 언급한 바와 같이, 많은 "공작"들은 성과의 구체적 세트를 내놓았지만, 그 성과를 교육과정 관련 의사결정의 토대로 사용한 "비버"는 거의 찾아보기 힘들다.

Harden et al. (1999) were right when they said: ‘‘Although OBE has obvious appeal, research documenting its effects is fairly rare.’’ As stated by Harden (2007), many ‘‘peacocks’’ have specified sets of outcomes but few ‘‘beavers’’ have used learning outcomes as a basis for curriculum related decisions (Harden 2007).

 

 

 

 


 2013 Oct;18(4):851-63. doi: 10.1007/s10459-012-9405-9. Epub 2012 Sep 18.

Outcome (competencybased education: an exploration of its originstheoretical basis, and empirical evidence.

Author information

1
Centre for Medical Education, Aarhus University, Brendstrupgaardsvej 102, 8200, Aarhus, Denmark, amm@medu.au.dk.

Abstract

Outcome based or competency based education (OBE) is so firmly established in undergraduate medical education that it might not seem necessary to ask why it was included in recommendations for the future, like the Flexner centenary report. Uncritical acceptance may not, however, deliver its greatest benefits. Our aim was to explore the underpinnings of OBE: its historical originstheoretical basis, and empiricalevidence of its effects in order to answer the question: How can predetermined learning outcomes influence undergraduate medical education? This literature review had three components: A review of historical landmarks in the evolution of OBE; a review of conceptual frameworks and theories; and a systematic review of empirical publications from 1999 to 2010 that reported data concerning the effects of learning outcomes on undergraduate medical education. OBE had its origins in behaviourist theories of learning. It is tightly linked to the assessment and regulation of proficiency, but less clearly linked to teaching and learning activities. Over time, there have been cycles of advocacy for, then criticism of, OBE. A recurring critique concerns the place of complex personal and professional attributes as "competencies". OBE has been adopted by consensus in the face of weak empirical evidence. OBE, which has been advocated for over 50 years, can contribute usefully to defining requisite knowledge and skills, and blueprinting assessments. Its applicability to more complex aspects of clinical performance is not clear. OBE, we conclude, provides a valuable approach to some, but not all, important aspects of undergraduate medical education.

Comment in

PMID:
 
22987194
 
DOI:
 
10.1007/s10459-012-9405-9

 

예측가능한 혼돈: 집중, 기억, 의사결정에 대한 감정의 영향(Adv in Health Sci Educ, 2014)

Predictable chaos: a review of the effects of emotions on attention, memory and decision making

Vicki R. LeBlanc • Meghan M. McConnell • Sandra D. Monteiro





Introduction


의료는 감정노동이다. 의료전문가들과 훈련생들은 지속적으로 감정적인 사건들에 직면한다.

The delivery of health care is an emotional endeavor. Health professionals and trainees are constantly confronted with emotional events.


감정을 자극하는 무수한 상황에서 보건 전문가와 훈련생은 정보를 얻고 해석하고, 유익성과 위해성이 다른 치료 선택사항에 대해 판단하며, 중요한 임상적, 환자 관련 정보를 기억해야 한다. 신경과학과 인지과학에 대한 현재의 연구는 감정이 인식, 기억, 주의, 추론을 포함한 다양한 인지 과정을 조절한다는 것을 보여준다.

In many of these emotion-evoking situations, health professionals and trainees must obtain and interpret information, make judgments regarding treatment options that have different benefits and risks, and remember important clinical and patient related information. Current research in neuroscience and cognitive sciences indicates that emotions modulate a variety of cognitive processes, including perception, memory, attention, and reasoning (Clore and Palmer 2009; Damasio 1994; Kensinger 2009; Lerner and Keltner 2000).


따라서, 극심한 스트레스 하에서 보건 전문가들은 의료 관련 의사결정을 내리기 위해 (휴리스틱스에 의존하는 것과 같은) 시간 및 에너지 절약 전략에 의존할 수 있다. 이러한 전략은 시간이 제한되어 있고 환자가 극심한 고통을 받고 있을 때 adaptive하다. 그러나 좌절이나 즐거움과 같은 감정 상태가 주의력, 기억력, 임상적 추론 전략에 얼마나 덜 영향을 미치는지는 분명하지 않다.

As such, under extreme stress, health professionals may resort to time- and energy-saving strategies, such as reliance on heuristics, to make medically relevant decisions. Such strategies can be adaptive when time is limited and the patient is under extreme distress. It is unclear, however, how less intense emotional states, such as frustration or enjoyment, influence attention, memory, and clinical reasoning strategies.


(성과와 학습에 대한 주관적이고 생리적인 스트레스의 영향에 대한 연구가 증가하는 것을 포함하여 몇 가지 주목할 만한 예외를 제외하고는) 임상적 사고와 임상 추론에 대한 감정의 역할에 대한 연구는 희소하다.

With a few notable exceptions (Estrada et al. 1994, 1997; Isen et al. 1991; McConnell and Eva 2012), including growing work on the effects of subjective and physiological stress on performance and learning (Arora et al. 2010a, b; Cheung and Au 2011; Harvey et al. 2010, 2012; LeBlanc 2009), the roles of emotions on clinical thinking and reasoning are rarely broached.


감정의 정의: 신경과학적 관점과 인지적 관점

Definition of emotions: neurosciences and cognitive perspectives


(see Table 1).


신경과학 접근법은 감정의 생리학적 발현에 초점을 맞추어 왔는데, 이 경우 감정은 생리적 또는 신경적 반응 또는 "감각"으로 정의되어 유기체에 바람직하거나 그렇지 않은 상황에 대해 알려주는 것이다. 감정에 대한 선도적인 신경과학의 설명인 [체외 지표 가설]에 따르면 감정-관련 신호는 사람의 신체적 상태의 변화를 나타낸다(예: 심박수, 혈압, 선체적 분비물). 그러한 상황에서 고려되는 모든 대응 옵션에 대해 somatic state가 만들어지며, 이는 목표 달성의 관점에서 desirable한 반응인지 아니면 aversive한 반응인지에 대한 신호를 유기체에 제공한다(Beagara and aversive).

The neuroscience approach has focused on the physiological manifestations of emotions, whereby emotions are defined as physiological or neuronal responses, or ‘‘sensations’’, that inform the organism about desired or undesired situations (Damasio 1994). A leading neuroscience account of emotions, the somatic marker hypothesis, posits that emotion-related signals represent changes in a person’s visceral state (e.g., heart rate, blood pressure, glandular secretions) that serve as somatic markers to indicate a person’s emotional reaction to a situation. For every response option that is considered in that situation, a somatic state is generated, and this provides a signal to the organism as to whether the response is desirable or aversive in terms of attaining one’s goal (Bechara and Damasio 2005).


이 접근법에 따르면, 감정 반응은 감정의 주관적인 경험 없이 일어날 수 있. 즉, 특정한 상황에 대한 느낌이나 의식적인 생각이 감정과 연관될 수 있지만 의식은 감정적 경험의 필요조건은 아니다. 감정의 의식적 표현과 무의식적인 생리적 표현을 구별하려면 스트레스에 대한 연구를 고려하라. 스트레스 반응은 불안감을 의식적으로 드러낼 수 있다. 그들은 또한 스트레스 호르몬 코티솔을 방출하는 뇌의 시상하부-정수체-아드레날 축의 생리적인 활성화에서 그들 자신을 드러낼 수 있다. 불안과 코티솔 반응은 함께 발생하는 경우가 많지만, 주관적인 불안감을 느끼지 않더라도, 생리학적으로 코티솔 반응을 보일 수 있다.

According to this approach, emotional reactions can occur without the subjective experience of feelings (Naqvi et al. 2006); that is, feelings or conscious thoughts about specific situations may be associated with emotions, but consciousness is not a requirement of emotional experiences. To distinguish between conscious and unconscious physiological manifestations of emotions, consider research on stress. Stress responses can manifest themselves with conscious feelings of anxiety. They can also manifest themselves in physiological activation of the brain’s hypothalamic–pituitary–adrenal axis, which releases the stress hormone cortisol. While anxiety and cortisol responses often occur together, individuals can have physiological cortisol responses in the absence of subjective feelings of anxiety (Regehr et al. 2008).


인지적 관점에서, 감정은 감정이나 기분의 더 익숙한 주관적인 경험으로 이해되며, 불안감, 행복함 또는 좌절감을 느끼게 하며, 인지 기능의 필수적인 부분을 형성합니다. 또한 인지 기능은 감정의 도출에 기여할 수 있다. 다양한 감정모델은 이러한 관점을 지지하며, 이들 모델에 따르면 감정은 반사적이거나 습관적인 방식으로 단순히 물체와 상황에 의해 촉발되는 것이 아니라(Gendron과 Barrett 2009)감정은 개체 및 상황에 대한 개인의 해석에서 발생합니다. 사람의 [내부 상태]가 어떤 식으로든 상황과 관련되거나 상황에 의해 야기될 때 감정이 발생한다.

From a cognitive perspective, emotions are understood as the more familiar subjective experience of feelings or moods—feeling anxious, happy, or frustrated—and they form an integral part of cognitive function (Izard 2009). As well, cognitive functions can contribute to the elicitation of emotions. Many models of emotion support this perspective, suggesting that emotions are not merely triggered by objects and situations in reflexive or habitual ways (Gendron and Barrett 2009), but arise from an individual’s interpretation of objects and situations: an emotion emerges when a person’s internal state is understood in some way as related to or caused by the situation (Lazarus 1991).


예를 들어, 정서-정보 모델에 따르면 [긍정적, 부정적, 자극적인 반응이 생리적이고 경험적 정보를 제공한다]고 주장한다. 또한 그리고 이 정보는 다양한 상황에 대한 개인의 반응을 안내한다. 즉, 특정한 판단, 물체 또는 사건에 직면했을 때 사람들은 종종 스스로에게 '내가 그것을 얼마나 강하게 느끼는가?'라고 묻는다. 이러한 방식으로, 정서적 반응은 주어진 판단/객체/사건에 대해서 전체적overall 가치(예: 감정적 valence- 기분 좋은 것 대 불쾌한 것, 바람직한 것 대 바람직하지 않은 것등)또는 전체적 중요도(예: 감정적 흥분- 긴급한 것 대 긴급하지 않은 것, 중요한 것 대 중요하지 않은 것)를 알려준다. 예를 들어, 응급 구조원이 치명적인 상처를 입은 아이를 치료한다고 상상해 보면, 이런 경우, 불안감은 위험이 높고, 아이의 행복에 중대한 위협이 있으며, 그 시간은 매우 중요한 것임을 나타낼 수 있다.

For example, the affect-as-information model (Clore and Storbeck 2006; Schwarz and Clore 2007; Storbeck and Clore 2008) posits that positive, negative, and arousing responses provide physiological and experiential information, and this information guides individuals’ responses to various situations. In other words, when confronted with a particular judgment, object, or event, people often ask themselves ‘How strongly do I feel about it?’ In this way, affective reactions serve to signal the overall value (e.g., emotional valence: pleasant vs. unpleasant; desirable vs. undesirable, etc.) and importance (e.g., emotional arousal: urgent vs. not urgent; important vs. unimportant) of a given judgment, object, or event. For example, imagine a paramedic treating a critically injured child. In such a case, feelings of anxiety can indicate that the stakes are high, that there are significant threats to the child’s well-being, and that time is of essence.


감정과 인식: 집중, 기억, 추론

Emotions and cognition: attention, memory and reasoning


오래 전부터 인간 행동의 감정적 근본은 (더 합리적이고 우월한) 사고의 근본과 분리되어 있다고 추정되어 왔다. 초기 관점은 감정을 변연계 시스템의 일부로 보았다. 이것은 신피질(인식과 학습 능력의 좌석)과 뇌간(기본적으로 호흡하는 것) 사이에 위치한 덜 진화된 구조의 뇌의 분리적 네트워크였다. 뇌의 더 진화한 부분인 신피질은 인간을 비인간 동물과 구별하는 인지적 기능, 즉 추리, 의사결정, 기대, 계획 등의 역할을 하는 것으로 보였다. 감정을 뇌의 더 오래되고 파충류적인 부분에 localize되는 것으로 개념화하면서 감정은 원시적인 것으로 평가절하되었고, 이성이나 더 높은 수준의 인식과는 상반되는 것이며, 또한 감정이 인지 과정과 분리되는 것으로 촉진되었다. 감정은 다른 이성적인 개인들에게 논리를 흐리게 하고 혼란을 일으키는 것으로 여겨졌다.

It has long been assumed that the emotional groundings of human behavior are separate from the more rational and superior groundings of thought (Gros 2010). Early perspectives viewed emotions as part of the limbic system, a discrete network of primitive, less evolved structures in the brain located between the neo-cortex (the seat of the cognitive and learning capacities) and the brain stem (responsible for basics life maintenance such as breathing and blood pressure). The more evolved part of the brain, the neo-cortex, was seen as responsible for the cognitive functions that distinguish humans from non-human animals: reasoning, decision-making, anticipation and planning. This conceptualization of emotions as being localized in the older, more reptilian part of the brain led to the devaluation of emotions as primitive and antithetical to reason and higher order cognition, and also promoted the perception of emotions as being separate from cognitive processes. Emotions were viewed as derailing logic and creating chaos in otherwise rational individuals.


최근 몇 가지 신경과학의 발전은 감정과 인지 기능이 뇌에서 별도로 처리된다는 개념에 의문을 제기했다. 

  • 첫째, 연구에 따르면 뇌의 '새로운' 부분'과 '파충류적' 부분은 원래 믿었던 것만큼 다르지 않다. 

  • 둘째, 피질적 감정 시스템에서 인지적 시스템으로의 입력은, 인지적 시스템에서 감정적 시스템으로의 입력보다 더 강력하며, 이는 인지적 처리보다 감정적 처리에 대한 우선성을 시사한다(Damasio 1994). 

  • 마지막으로, "감정적" 변연계(예: 해마)의 일부로 여겨지는 구조들은 인지적 과정에 능동적으로 관여하는 것으로 보이는 반면 (예를 들어 기억), 인지적 기능(예: 전두엽 피질)을 담당한다고 여겨지는 구조들이 감정적 정보 처리에서 능동적인 역할을 하는 것으로 나타났다. (Damasio 1994).

Several recent advances in neuroscience have challenged the notion that emotions and cognitive functions are processed separately in the brain. 

  • First, research has revealed that the ‘‘newer’’ and ‘‘reptilian’’ parts of the brain do not differ from each other as much as originally believed (Damasio 1994). 

  • Second, the input from the subcortical emotional systems into the cognitive systems are stronger than input from the cognitive systems to the emotional ones, which suggests a primacy for emotional processing over cognitive processing (Damasio 1994). 

  • Finally, structures believed to be part of the ‘‘emotional’’ limbic system (e.g., the hippocampus) have been shown to have an active involvement in cognitive processes (e.g., memory), while structures believed to be responsible for cognitive functions (e.g., prefrontal cortex) have been shown to play an active role in processing emotional information (Damasio 1994).


감정이 인간의 인지 과정에 필수적인 기능을 가지고 있다는 인식이 커지고 있다. 감정적 정보를 처리하는 뇌의 일부에 손상을 입은 사람들은 주의력, 기억력, 추론 능력이 멀쩡에도 불구하고 학습과 의사결정이 손상된 것을 보여준다. (Pessoa 2008) 그러므로, 감정이 없다면, 인간은 기능할 수 없다. 감정과 인식은 뇌에서 상호작용을 할 뿐만 아니라 종종 그들이 행동에 공동으로 기여하도록 통합된다. 다마시오(1994년)에 의해 증명되었듯이 "추론에서 감정이 전적으로 배제될 때, 우리의 결정에 감정이 나쁜 장난을 하는 것보다, 이성은 훨씬 더 큰 결함을 보여주었다." 따라서 감정은 개인의 생각과 행동을 조정하는 것처럼 보인다. 이러한 반응은 생리학적, 행동적, 동기적 반응의 집합으로, 사람이 마주친 상황을 처리할 수 있게 한다(Clore and Palmer 2009; Damasio et al. 1996; Dolan 2002).

There is growing recognition that emotions have a function that is indispensable to human cognitive processes (Bechara et al. 2000). Individuals with damage to parts of the brain that process emotional information show impaired learning and decision making despite having intact attention, memory and reasoning capabilities (Pessoa 2008). Thus, without emotions, humans are incapable of functioning. Emotion and cognition not only interact in the brain, but are often integrated such that they jointly contribute to behavior (Damasio 1997). As demonstrated by Damasio (1994), ‘‘when emotion is entirely left out of the reasoning picture …reason turns out to be even more flawed than when emotion plays bad tricks on our decisions’’. Emotions thus appear to coordinate the thoughts and actions of the individual. They trigger sets of responses physiological, behavioural, motivational that enable a person to deal with the situation encountered (Clore and Palmer 2009; Damasio et al. 1996; Dolan 2002).


인지과학의 연구는 또한 개인의 주관적인 감정과 감정이 주의력, 지각력, 기억력 같은 인지 과정을 형성하는데 중요한 역할을 할 수 있다는 것을 보여준다. 주의와 인식은 정보 처리의 첫 번째 단계이며, 따라서 이러한 요소들에 영향을 미치는 요소들도 기억과 추론을 포함하여 처리의 후속 단계에 영향을 미칠 것이다. 연구에 따르면 사람들은 감정적으로 중요한 정보에 대한 인식을 향상시킨다고 한다. 예를 들어, 사람들은 얼굴 표정과 같은 감정적으로 일치된 정보를 더 빨리 감지하고 더 선호한다는 것을 보여준다.

Research from cognitive sciences also shows that individuals’ subjective emotions and feelings can play an important role in shaping cognitive processes, such as attention, perception and memory. Attention and perception are the first stages in information processing, and as such, factors that influence these will also influence subsequent stages of processing, including memory and reasoning. Research has shown that people exhibit enhanced perception for emotionally significant information; for example, people show a more rapid detection of, and a preference towards, emotionally congruent information such as facial expressions (Blanchette and Richards 2003; Nabi 2003; Niedenthal and Setterlund 1994; Richards et al. 2002).


게다가, 사건들의 해석은 개인의 현재 감정 상태를 반영하는 경향이 있다. 예를 들어, 불안은 (설령 높지 않더라도) 모호한 자극(얼굴 표현, 사회적 상황, 동음이의어{'dye' 대 'die'})을 위협으로 해석할 가능성이 높아지는 것과 관련이 있다. 사실, 자극의 감정적인 특성, 특히 부정적인 평가를 받는 것들로부터 관심을 떼어내는 것은 어렵다. 이 아이디어를 임상적 환경으로 확장하면, 불안감을 느끼는 간호사는 경계선상의 실험실 수치(예: 108의 헤모글로빈)를 중립적이거나 기분 좋은 간호사보다 더 문제가 많은 것으로 해석할 수 있다.

Furthermore, the interpretation of events tends to reflect individuals’ current emotional states. For example, anxiety, even when mild, is associated with an increased likelihood of interpreting ambiguous stimuli (facial expressions, social situations, heard homophones {‘‘dye’’ vs. ‘‘die’’}) as threatening (Blanchette and Richards 2003; Nabi 2003). In fact, it is difficult to disengage attention from the emotional qualities of a stimulus, particularly negatively valenced ones (Richards et al. 2002). Extending this idea to a clinical setting, a nurse who is feeling anxious would be more likely to interpret marginal laboratory readings (e.g., hemoglobin of 108) as being more problematic than would a nurse in a neutral or happy mood.


감정은 또한 기억기능에 중요한 역할을 한다. 대부분의 독자들은 너무 감정적으로 충전되어 기억에 지워지지 않는 사건들을 만나는 경험에 익숙할 것이다. 기존 연구도 이러한 현상을 지지하며, 사건과 관련된 감정들이 경험에 대한 일부 세부사항을 위한 기억력을 향상시킬 수 있다는 것을 보여준다. (Ken-Singer 2009) 기억의 향상은 enhanced cosolidation에 의해서 나타나는데, 이것은 메모리가 안정적이고 지속적 표현으로 변환되는 프로세스로 인해 발생합니다(Kensinger 2009). 어떤 이벤트와 관련된 감정은 더 강한 인코딩을 통해 더 기억에 남도록 도울 수 있지만, 감정적인 사건에서 유발된 감정은 파라메딕의 약물 복용량 계산 공식과 같은 이전에 학습된 정보의 리콜을 손상시키기도 한다.

Emotion also plays an important role in memory function. Most readers will be familiar with the experience of encountering events that were so emotionally charged, they became indelibly marked in memory . The literature supports this phenomenon, demonstrating that the emotions associated with an event can enhance memory for some details of an experience (Ken-singer 2009). Improved memory also occurs due to enhanced consolidation, the process by which memories are turned into stable and lasting representations (Kensinger 2009). While the emotions associated with an event can help make it more memorable through stronger encoding, emotions during an emotional event have been shown to impair the recall of previously learned information, such as formulas for drug dosage calculations by para-medics (LeBlanc 2009).


요약하자면, 경우에 감정의 신호가 두뇌에서 빠르고 자동으로 처리된다는 것을 밝혀낸다. 또한, 감정은 어떤 정보에 주의를 기울이거나 기억에서 불러올지에 영향을 미칠 수 있다(Bower and Forgas 2001; Lerner and Keltner 2000; Mather 2007; McConnell and Shore 2011; Pelps 2006; Pelps 2006). 사람들은 선별적으로 기억으로부터 mood에 부합하는 정보를 찾아내고 그 정보를 사용하여 판단한다. 마지막으로, 감정은 정보의 역할을 할 수도 있다. 사람들은 자기 주변세상에 대한 판단을 하기 위해 감정을 휴리스틱 방식으로 의존한다.

Together, the body of research reveals that in many cases, signals of emotion are processed rapidly and automatically in the brain. In addition, emotions can influence which information is attended to or retrieved from memory (Bower and Forgas 2001; Lerner and Keltner 2000; Mather 2007; McConnell and Shore 2011; Phelps 2006). People selectively retrieve mood-congruent information from memory and then use that information to make judgments. Finally, emotions can also serve as information. People rely on their emotions in a heuristic fashion to make judgments about the world around them (Lerner and Keltner 2000).


분노, 불안, 행복, 슬픔과 같은 다른 감정들이 인식, 기억, 판단 그리고 추론에 어떻게 영향을 미치는가에 대한 의문들이 남아있다.

Questions remain as to how different emotions, such as anger, anxiety, happiness or sadness, influence perception, memory, judgments and reasoning.


See Table 2 for a summary of dimensional and discrete models of emotions.



감정의 여러 차원들

Dimension models of emotions


차원적 접근법은 valence, 흥분, 목표 관련성이 가장 일반적인 차원이며 서로 다른 감정 상태 간의 유사성과 차이를 설명하는 핵심 차원을 식별하려고 한다.

Dimensional approaches attempt to identify core dimensions that account for similarities and differences across different emotional states, with the most common dimensions being valence, arousal and goal relevance.


흥분 모델: 낮은 흥분 vs 높은 흥분

Arousal models: low versus high arousal emotions


인식에 미치는 감정의 영향을 설명하려는 초기 모델들 중 일부는 감정적 흥분arousal을 핵심 차원으로 제안하였다.

Some of the earliest models seeking to explain the effects of emotions on cognition proposed emotional arousal as the key dimension.


이스터브룩(1959)의 큐 이용 이론감정적 흥분arousal의 효과가 주의를 기울이는 cue의 범위를 체계적으로 줄여 관심의 범위를 좁히고 집중시키는 것이라고 설명한다. 따라서, 집중력 증대를 위하여 [주변 정보나 덜 목적적합한 정보]에 대한 주의가 줄어들고, 즉각적으로 관련이 있거나 중심적인 단서로 주의를 이동시킨다. 정서적 arousal은 그것이 긍정적이든 부정적이든 뇌의 특정 부분을 활성화시키는 것으로 생각되며, 특히 편도체와 해마(Cahill and McGaugh 1998; Hamann)가 가장 두드러진다. 

the cue utilization theory by Easterbrook (1959) states that the effect of emotional arousal is to narrow and focus attention by systematically reducing the range of cues attended to. Attention is thus moved away from peripheral or less relevant information in favor of augmented focus to cues that are central or immediately relevant to the individual (Bacon 1974; Easterbrook 1959). Emotional arousal, regardless of whether it is positive or negative, is thought to activate specific parts of the brain, most notably the amygdala and the hippocampus (Cahill and McGaugh 1998; Hamann 2001). T


Valence 모델: 긍정적 vs 부정적 감정

Valence models: positive versus negative emotions


감정의 차원적 모델에 대한 추가적인 서포트는 긍정적인 감정과 부정적인 감정이 다양한 인지 능력에 다른 영향을 미친다는 것을 보여주는 연구를 통해 얻어진다. 확장과 구축의 이론에 따르면 긍정적인 감정은 강도에 관계없이 사람의 관심 범위와 인지 기능을 확장시킨다(프레드릭슨 2001, 2004; 프레드릭슨과 브래니건 2005). 잠재적으로 위험이 높은 상황(예: 도박 및 복권 작업)에서 긍정적인 기분은 위험 회피 행동을 일으키는 경향이 있지만, 성공의 가능성이 높은 저위험 과제에서는 긍정적인 감정은 위험을 감당하고자 하는 의지의 증가(예: 2002년)와 관련이 있다. Gasper와 Clore(2002)는 긍정적인 분위기의 개인들이 더 global하게 생각하는 경향이 있다는 것을 발견했다. 즉, 큰 그림(또는 숲)을 보는 경향이 있다. 반대로 슬픈 기분을 가진 사람은 나무를 자세히 보는 경향이 있다.

Further support for dimensional models of emotions is drawn from studies showing that positive and negative emotions have different effects on various cognitive skills. According to the broaden-and-build theory, positive emotions, regardless of their intensity, broaden a person’s scope of attention and other cognitive functions (Fredrickson 2001, 2004; Fredrickson and Branigan 2005). in potentially high-risk situations (e.g., gambling and lottery tasks), positive moods tend to produce risk adverse behavior; however, in low risk tasks, where the likelihood of success is greater, positive emotions are associated with increased willingness to take risks (Clore and Palmer 2009; Gasper and Clore 2002; Hockey et al. 2000). Gasper and Clore (2002) found that individuals in a positive mood tended to think more globally—that is to have a big picture view or see the forest—whereas individuals in sad moods tend to think more locally, that is to see the detailed view or the trees.


감정적 valence는 또한 감정적인 사건으로부터 기억되는 세부사항에도 영향을 미치는 것으로 보여졌다. 부정적인 감정을 유발하는 이벤트는 터널 기억으로 이어지며, 주변 세부 정보를 희생하여 이벤트의 중앙 세부 사항에 대한 향상된 리콜을 제공합니다(Bernsten 2002; Kensinger and Corkin 2003; Pelps 2006; Reisberg). 대조적으로, 긍정적인 사건들은 주변적 세부사항과 감각적 디테일의 증가된 리콜과 관련이 있었다. (Bernsten 2002; Libkumann et al. 2004)

Emotional valence has also been shown to influence the details that are remembered from emotional events. Events that engender negative emotions lead to tunnel memory, with enhanced recall for central details of an event at the expense of peripheral details (Bernsten 2002; Kensinger and Corkin 2003; Phelps 2006; Reisberg and Heuer 2004). In contrast, positive events have been associated with an increased recall of peripheral details and sensory details (Bernsten 2002; Libkumann et al. 2004).


목표 관련성 모델: 목표달성전 감정과 목표달성후 감정

Goal relevance models: pre-goal versus post-goal emotions


감정이 분류된 세 번째 측면은 목표 달성이다. 목적적합성 모델에서 개인은 자신의 능동적 목표와 관련된 정보의 우선순위를 정한다. 개인은 목표의 상태 변화를 느낄 때 감정을 경험하고, 이러한 변화는 그들의 신념이나 계획을 수정하도록 요구한다. (Kaplan et al. 2012) 

    • 목표달성 전감정(예: 욕망, 흥분, 두려움, 분노)은 목표의 달성이나 실패가 미래에 일어날 수 있고 목표 지향적인 노력이 계속될 때 경험하게 된다. 

    • 목표달성후 감정(예: 행복, 만족, 슬픔, 슬픔)은 목표의 달성이나 실패가 일어났을 때 일어난다. 

동기부여에는 목표달성전 감정이 더 강력하며, 이러한 동기는 목표의 달성 또는 실패로 인해 발생할 수 있는 환경에서의 특정 자극에 접근하거나 회피하기 위한 것이다.

A third dimension along which emotions have been classified is goal attainment. The goal relevance model posits that individuals prioritize information that is relevant to their active goals. Individuals experience emotions when they perceive a change in the status of their goals, and this change requires them to modify their beliefs or plans (Kaplan et al. 2012). Pre-goal emotions (e.g., desire, excitement, fear, anger) are experienced when the attainment or failure of a goal may occur in the future, and goal-directed efforts are ongoing. Post-goal emotions (e.g., happiness, contentment, sadness, grief) occur when the attainment or failure of a goal has occurred. Pre-goal emotions are thought to have higher motivational intensity, which is the drive to approach or avoid specific stimuli in the environment due to the anticipated attainment or failure of their goal.


Circumplex model: arousal and valence


앞에서 설명한 차원 모델을 뒷받침하는 연구가 일부 있지만, 1차원 감정 모델이 모든 연구 결과를 설명할 수 없다는 중요한 연구 결과가 있다(Kensinger 2004). 결과적으로, 널리 받아들여지는 감정 모델은 영향의 circumplex 모델이며, 이 모델은 감정이 두 가지 차원에 기반하여 정의된다고 가정한다: valence(긍정적, 부정적), 생리학적 활성화(고흥분 vs 저흥분)실제로, 유사한 valence를 가진 감정들은 유사한 신경 구조의 신호와 연관되어 있다. 마찬가지로, 높은 활성화를 유발하는 감정은 신경 구조상 서로 연결되어있는데, 이는 valence에 관계된 신경 구조와는 구분된다.

Although there is some research showing support for the dimensional models described previously, there is significant research suggesting that one-dimensional models of emotions cannot account for all of the research findings (Kensinger 2004). As a result, a widely accepted model of emotions is the circumplex model of affect, which postulates that emotions are defined based on two dimensions; their valence (positive vs. negative) and their level of physiological arousal or activation (high arousal vs. low arousal) (Friedman 2010; Posner et al. 2005; Russell 1980). Indeed, emotions with similar valence have been associated with signals from similar neural structures (Colibazzi et al. 2010). Similarly, highly arousing emotions have been associated with neural structures that are distinct from the ones associated with valence (Colibazzi et al. 2010).


감정의 discrete 모델: 각각의 감정이 구체적인 선조와 기전을 가진다.

Discrete models of emotions: each emotion has specific antecedents and mechanisms


감정의 차원 모형에 대한 서포트도 있지만, 그것들은 또한 너무 단순하다는 비판도 받아왔다. 이러한 비판에 대응하여 연구자들은 감정의 discrete 모델을 제시했는데, 이 모델은 각각의 감정들이 행동과 생리를 예측 가능한 방식으로 구구성하며, 이로 인해 개인이 감정-유발적 사건들을 처리할 수 있도록 한다는 것이다.

While there is support for dimensional models of emotions, they have also been criticized as being too simplistic. In response to such criticisms, researchers have put forward discrete models of emotion, which postulate that distinct emotions organize behavior and physiology in a predictable fashion to allow the individual to deal with emotion-evoking events (Barrett 2006).


감정에 대한 평가appraisal 모델에 따르면, 특정 감정을 자극하는 것은 한 개인의 상황 또는 생리적 감각에 대한 인지적 해석이다. 이러한 해석 또는 평가는 그 사람의 특정한 요구, 목표, 자원 및 능력과 관련하여 그 상황이 개인의 웰빙에 대해 무엇을 시사하는지 평가하는 것을 반영한다.

According to appraisal models of emotion, it is a person’s cognitive interpretation of a situation or physiological sensations along several dimensions that evokes a particular emotion (Roseman and Evdokas 2004; Smith and Ellsworth 1985; Siemer et al. 2007). This interpretation, or appraisal, reflects an evaluation of what the situation implies for a person’ well-being in relation to that person’s specific needs, goals, resources and abilities.


따라서 차원 모델과 반대로, discrete 접근법은 동일한 valence와 자극을 가지는 감정이라도 판단과 인식에 다른 영향을 미칠 수 있다고 주장한다. 예를 들어, 두려움과 분노는 둘 다 높은 자극적 감정을 부정적으로 평가하는 반면, 확실성과 권력 평가 면에서 다르다. 

  • 두려움은 낮은 확실성과 상황에 대한 약한 힘과 관련이 있는 반면에 

  • 분노는 높은 확실성과 강력한 힘과 관련이 있다. 

이러한 평가에 따르면, 분노는 (두려움보다) 미래에 대한 더 낙관적인 평가와 더 낮은 위험 인식과 연관되어 있다.

In contradiction to dimensional models then, discrete approaches argue that emotions of the same valence and arousal can have different effects on judgment and cognition. For example, fear and anger, while both being negatively valenced high arousal emotions, differ in terms of certainty and power appraisals. Fear is associated with appraisals of low certainty and power over a situation, whereas anger is associated with high certainty and power. In keeping with these appraisals, anger is associated with more optimistic assessments of the future and lower risk perceptions than is fear (Lerner and Keltner 2000; Lerner et al. 2003; Raghunathan and Pham 1999).


감정적 사건들의 기억력에 대한 최근의 연구는 차원 모형이 감정의 영향을 설명하기에 충분하지 않다는 주장을 뒷받침한다. 탈라리코 외 연구진(2009)은 일반적으로 부정적인 사건보다 긍정적인 사건에 대한 주변 세부 사항의 리콜 비율이 높지만, 같은 용기와 자극의 다른 감정들은 서로 다르다고 관찰했다.

Recent research on memory of emotional events also supports arguments that dimensional models are not sufficient to account for the effects of emotions. Talarico et al. (2009) observed that although there is generally a higher proportion of recall of peripheral details for positive events than negative events, different emotions of the same valence and arousal differ from each other.


이 논쟁에 덧붙여, 감정에 미치는 영향에 대한 연구는 감정의 차원과 별개의 모델로 설명할 수 있는 패턴을 보여준다.

To add to the debate, research on the effects of emotions on memory reveals patterns that can be explained by both dimensional and discrete models of emotions.


HPE에 대한 함의

Implication for health professions education and future research


의료와 교육이 감정노동이라는 사실은 잘 받아들여지고 인정받고 있다. 이러한 인식은 의료 전문가와 의사들의 정신 건강 증진과 웰니스 향상을 향한 움직임으로 확대되었다. 그러나 훈련생이나 건강 전문가의 감정 상태가 그들이 임상 세계를 어떻게 인식하고 해석하고 생각하는지에 중요한 영향을 미칠 수 있다는 사실은 거의 인식되지 않았다.

The fact that healthcare practice and education are emotional endeavors is well accepted and recognized. This recognition has extended to movements towards improving mental health and enhancing the wellness of health professionals and clinicians. However, there has been little recognition of the fact that trainees’ or health professionals’ emotional state can have an important effect on how they perceive, interpret and think about their clinical world.


위에서 언급한 제한된 수의 연구 외에도, 우리는 의료 전문가들이 어떻게 의료 실무에 필요한 지식과 기술을 개발하고 습득하는지를 이해하려고 노력하는 과정에서 감정의 역할을 대부분 무시해 왔다. 이에 대한 한 가지 이유는 보건 직업 교육 연구(Monteiro 및 Norman 2013)에 대한 default-interventionist 모델의 강력한 영향 때문일 수 있다. 이 듀얼 프로세스는 감정 기반 및 직관적 반응을 신속한, 무의식적, 분석적인 것으로 특징짓습니다. 이 모델에 따르면, 시스템 1이라고도 하는 기본default 처리 모드는 직관적이고 오류가 발생하기 쉬우며, 시스템 2로 알려진 중재자는interventionist 논리적이며 추론을 선호하는 의식적인 모드 형태입니다(Kahneman 2011; Redme 2011).

Beyond the limited number of studies mentioned above, we have largely ignored the role of emotions in striving to understand how health professionals develop and acquire the knowledge and skills required for clinical practice. One reason for this oversight may be attributed to the strong influence of the default-interventionist model of reasoning in health professions education research (Monteiro and Norman 2013). This dual processes model characterizes emotion driven and intuitive responses as rapid, unconscious and non-analytic. According to this model, the default mode of processing, also know as System 1, is intuitive and quite error prone, while the interventionist logical and conscious mode, also known as System 2, is the preferred form of reasoning (Kahneman 2011; De Neys 2010; Redelmeier 2005).


그러나, 감정과 인식이 밀접하게 연관되어 있다는 점을 고려할 때, 이 의식/실리적 생각 및 무의식/오류성의 인위적 이분법은 의사가 자신의 결정을 인식하는 방법에 해로운 영향을 미칠 수 있으며, 심지어 정확한 진단에 대한 의문을 갖게 한다. 직관을 이해하는 것이 특히 중요한 이유는 그것이 문제에 대한 무의식적인 해결책이거나 암묵적인 해결책이기 때문이다. 임상적 추론에 대한 30년 이상의 연구에서 전문 의사의 직관을 뒷받침하는 메커니즘은 여전히 미스터리로 남아 있다. 직관이 감정이 아니지만, 감정이 암시적 해결책을 평가하는 능력과 연관되어 있을 수 있다.

However, given that emotions and cognition are intimately linked, this artificial dichotomy of conscious/rational thought and unconscious/ error prone intuitions can have a harmful effect on how physicians perceive their own decisions, even calling accurate diagnoses into question (Woolley and Kostopoulou 2013). Intuitions are particularly important to understand since they are unconscious or implicit solutions to a problem. In over 30 years of research on clinical reasoning, the mechanisms that support the intuition of the expert physician remain a mystery. Although an intuition is not an emotion, it is possible that emotions are linked to our ability to assess implicit solutions (Bolte et al. 2003; Stolper et al. 2011).


예를 들어, 분석적 또는 비-분석적 형태의 추론을 유발하는 특정한 감정 상태가 있는가?

For example, are there particular emotional states that engender either analytical or non-analytical forms of reasoning?


감정이 학습에 영향을 미칠 수 있다는 생각은 점점 더 받아들여지고 교육 활동에 통합되고 있다. 예를 들어, 감정의 역할은 경험적 학습의 일부 모델에서 논의되는데, 이 때 배움은 경험을 가지고 그것을 성찰하며 이루어진다. 예를 들어, 변화적transformative 학습은 근본적인 믿음이 도전 받을 때 발생할 수 있는 개인의 관점의 주요한 변화라고 설명된다. (Mezirow 2000; Sandars 2009) 경험적 학습 이론가들은 그 도전에 대한 개인의 감정적 반응은 관점의 변화, 즉 학습에 중요하다고 주장한다.

the notion that emotions can affect learning is being increasingly accepted and integrated into education activities. For example, the role of emotions is discussed in some models of experiential learning, where learning occurs through having an experience and reflecting around it. For example, transformative learning is described as a major shift in a person’s perspective that can occur when fundamental beliefs are challenged (Mezirow 2000; Sandars 2009). Experiential learning theorists argue that an individual’s emotional reaction to that challenge is instrumental in the shift in perspective, and thus in the learning (Mezirow 2000).


학습을 강화하기 위해 정서적 요소, 특히 부정적 자극적인 요소를 활동에 통합하는 것이 중요하다는 것에 대한 논의가 증가하고 있다(Bath and Lawrence 2012; DeMaria and Levine 2013; MacDougall et al). 이를 지지하는 일부 의견은 스트레스가 많은 사건을 경험한 다음에 기억 통합 또는 학습이 향상됨을 다룬 문헌에서 나온다. (DeMaria et al. 2010; Kromann et al. 2011; LeBlanc 2009) 하지만, 기억력은 배움의 중요한 부분을 형성하지만, 그것은 많은 요소들 중 하나일 뿐임을 간과하면 안 된다.

there is growing discussion regarding the importance of integrating emotional elements, particularly negative high arousal ones, into the activities in order to enhance learning (Bath and Lawrence 2012; DeMaria and Levine 2013; MacDougall et al. 2013). Some support for this comes from literature on enhanced memory consolidation and learning following stressful events (DeMaria et al. 2010; Kromann et al. 2011; LeBlanc 2009). However, it is important to note that while memory forms an important part of learning, it is one of many components.


학습이란 이전에 학습한 정보 또는 해결책을 현재 상황이나 문제에 적용하는 것이고, 따라서 학습은 지식의 전이, 인지적 유연성, 연관 학습을 요구한다. 예를 들어 의료 교육 환경에서 일반적으로 사용되는 교육학적 기법인 "pimping"을 고려해 볼 수 있습니다. 이 기법에서는 선임 임상의들은 후배들에게 public format으로 일련의 어려운 질문을 합니다. 이러한 자극적인 경험은 굴욕, 당혹감, 흥분, 불안감을 포함한 다양한 감정을 유발하며, 교육자들은 이러한 감정 상태들이 자극적인 경험 동안 학습을 촉진한다고 이론화했다. (Brancati 1989; Wear et al. 2005). 하지만, 우리는 아직, 왜 혹은 언제 pimping이 효과가 있는지에 대해 완전히 이해하지 못하고 있다.

Learning, the application of previously learned information or solution to a current situation or problem, also requires transfer of knowledge, cognitive flexibility and associative learning. For example, consider ‘‘pimping’’, a pedagogical technique common in healthcare education settings, whereby senior clinicians ask their junior colleagues a series of challenging questions in a public format. These pimping experiences induce a variety of emotions including humiliation, embarrassment, excitement, and anxiety, and educators have theorized that these emotional states promote learning during the pimping experience (Brancati 1989; Wear et al. 2005). However, we do not yet have a complete understanding of if, why or when pimping works.


감정의 역할에 대해 더 잘 이해하지 못한다면, 학습의 목적을 위해 의도적으로 감정을 조작하는 것은 중요한 윤리적으로 문제가 될 수 있다. 현재, 이 작품의 유일한 분명한 의미는 감정의 유비쿼터스 성격을 더 잘 인식하고 수용하는 것이다.

Without a better understanding of the role of emotions, deliberately manipulating emotions for the purposes of learning could have important ethical implications. At the current moment, the only clear implication of this work is for a greater recognition and acceptance of the ubiquitous nature of emotions.


마지막으로, 감정과 정신 건강에 대한 연구로부터 감정 지능감정 조절의 중요성에 대한 논의가 확대되고 있다(Hayes et al. 2010; Richards and Gross 2000). 이러한 개념들이 의료 관행과 교육 분야에서 잠재적으로 중요한 개념이지만, 주의할 필요가 있다. 감정적 지능과 감정적 규제의 개념은 각각의 다양한 정의와 그것들이 측정되는 다양한 형태 때문에 비난 받아 왔다. 

Finally, growing from the work on emotions and mental health are discussions around the importance of emotional intelligence and emotional regulation (Hayes et al. 2010; Richards and Gross 2000). While these are potentially important concepts for the field of health care practice and education, caution is warranted. Both the concepts of emotional intelligence and emotional regulation have been critiqued because of the various definitions of each and the various forms in which they have been measured. 


감정 지능은 정보를 인지하고, 정보를 해석하고, 감정적인 상황에서 다른 사람들과 상호작용하는 데 필수적이라고 주장되는 반면, 이를 뒷받침하는 증거는 모호하다(AAa et al. 2010a, b; Cherry et al. 2014; Humphrey-Murto et al. 2014). 감정 지능이 높은 개인이 감정이 인지능력에 갖는 영향이 다른지에 대한 여부, 그들이 감정적 상황에서 더 뛰어난 능력을 보여주는지 등에 대한 연구가 필요하다.

While emotional intelligence is argued as essential for perceiving, interpreting information, and interacting with others in emotional situations, the evidence supporting this is equivocal (Arora et al. 2010a, b; Cherry et al. 2014; Humphrey-Murto et al. 2014). More research is needed to determine whether individuals who are high in emotional intelligence show different effects of emotions on their cognitive abilities, and whether they demonstrate a greater ability to perform in emotional situations.


감정 조절은 감정 억제와 인지 재평가를 모두 의미할 수 있다. 

  • 정 억제는 일단 감정이 경험되면 감정적 반응을 의식적으로 억제하는 것을 말한다. 

  • 지적 재평가란 의미나 관련성을 변경하여 상황에 대한 감정적 연관성을 감소시키거나 증가시키는 것이다(Hayes et al. 2010; Richards and Gross 2000).

인지적 재평가는 감정을 조절하기 위한 보다 적응적인adaptive 전략으로 밝혀졌는데, 그 이유는 인지적 재평가가 감정 억제보다 원치 않는 감정의 감소와 더 나은 기억 성능으로 이어지기 때문이다. 감정을 능동적으로 억제하면 기억력이 떨어질 수 있다는 증거가 있다. 얼굴 표정을 억제하라거나, 혹은 얼굴을 똑바로 펴라는 요구를 받는 것은 수술용 비디오에서 보여지는 사건들의 손상된 기억으로 이어진다. (리차드와 그로스 2006) 

Furthermore, emotional regulation can refer to both emotional suppression and cognitive reappraisal. Suppression refers to the conscious inhibition of an emotional reaction once an emotion is being experienced. Cognitive reappraisal, in contrast, is the decrease or increase of emotional associations of a situation by changing its meaning or relevance (Hayes et al. 2010; Richards and Gross 2000).Cognitive reappraisal has been found to be a more adaptive strategy for regulating emotions, in that it leads to greater reduction in undesired emotions and better memory performance than does suppression (Goldin et al. 2008). There is some evidence that active suppression of emotions can degrade memory (Richards and Gross 2006, 2000; Bonanno et al. 2004). Being being asked to suppress facial expressions, or keep a straight face, leads to impaired recall of events seen on a surgical video (Richards and Gross 2006). 


정서 지능과 정서 조절의 개념은 어떤 감정들은 바람직하지 않다는 가정을 가져왔고, 이는 affect의 ubiquitous한 특성을 고려하면 합당하지 못한 가정이다.

The concepts of emotional intelligence and emotional regulation also bring with them the assumption that some emotions are undesirable, which seems unlikely given the ubiquitous nature of affect.


또 다른 예로, 긍정적인 기분은 일반적으로 더 바람직한 것으로 여겨진다. 그러나 긍정적인 감정을 가진 사람들이 무관한 정보에 더 많이 주의를 기울일 가능성이 있다는 연구 결과를 보면(Biss and Hasher 2011; McConnell and Shore 2011), 임상의와 연수생들이 집중을 방해하는 상황에 더 취약할 수 있다.

As another example, positive moods are generally viewed as being more desirable. However, given research that shows that people in a positive emotion are more likely to attend to irrelevant information (Biss and Hasher 2011; McConnell and Shore 2011), it is possible that clinicians and trainees may be more susceptible to distractions in situations that require focused attention.


Conclusion


건강 전문가들과 훈련생들은, 언제든지, 정서적인 상태에 있다. 의료 관행과 교육이 감정적 노력이라는 사실은 잘 받아들여지고 인정받고 있다.

Health professionals and trainees, at any given time, are in an emotional state. The fact that healthcare practice and education are emotional endeavors is well accepted and recognized.


McConnell, M. M., & Eva, K. W. (2012). The role of emotion in the learning and transfer of clinical skills and knowledge. Academic Medicine, 87(10), 1316–1322. ==


McNaughton, N. (2013). Discourse (s) of emotion within medical education: The ever-present absence. Medical Education, 47(1), 71–79. ==








 2015 Mar;20(1):265-82. doi: 10.1007/s10459-014-9516-6. Epub 2014 Jun 6.

Predictable chaos: a review of the effects of emotions on attentionmemory and decision making.

Author information

1
Wilson Centre, University Health Network, 200 Elizabeth St, 1ES-565, Toronto, ON, M5G 2C4, Canada, vicki.leblanc@utoronto.ca.

Abstract

Healthcare practice and education are highly emotional endeavors. While this is recognized by educators and researchers seeking to develop interventions aimed at improving wellness in health professionals and at providing them with skills to deal with emotional interpersonal situations, the field of health professions education has largely ignored the role that emotions play on cognitive processes. The purpose of this review is to provide an introduction to the broader field of emotions, with the goal of better understanding the integral relationship between emotions and cognitive processes. Individuals, at any given time, are in an emotional state. This emotional state influences how they perceive the world around them, what they recall from it, as well as the decisions they make. Rather than treating emotions as undesirable forces that wreak havoc on the rational being, the field of health professions education could be enriched by a greater understanding of how these emotions can shape cognitive processes in increasingly predictable ways.

PMID:
 
24903583
 
DOI:
 
10.1007/s10459-014-9516-6


슈퍼바이저에게 피드백주기: 익명성이 정말 중요한가? (Acad Med, 2016)

Feedback to Supervisors: Is Anonymity Really So Important?

Nancy L. Dudek, MD, MEd, Suzan Dojeiji, MD, MEd, Kathleen Day, MA, and Lara Varpio, PhD



의료 훈련생(즉, 학생과 레지던트)이 제출하는 평가는 의사들에게 제공하는 공식 교육과 임상 감독 품질에 대한 피드백의 대부분을 차지한다. 일반적으로 이러한 평가에는 특정 유형의 평가 척도와 정성적 코멘트를 위한 전용 공간이 있습니다. 일반적으로 평가는 개별 교육 활동의 마지막에, 익명의, 수합된aggregate 형태로 의사들에게 제공된다(예: 강의, 임상 로테이션 감독).

Assessments completed by medical trainees (i.e., students and residents) make up the majority of feedback provided to physicians on the quality of their formal teaching and clinical supervision . Typically, these assessments have some type of rating scale and a dedicated space for qualitative comments. Usually, the assessments are provided to physicians in an anonymous, aggregate form at the end of a discrete educational activity (e.g., teaching a lecture, supervising a clinical rotation).


효과적인 피드백은 여러 가지 기능을 가지고 있다(이 기능에 대한 자세한 목록은 표 1 참조).6–11

Effective feedback has several features (see Table 1 for a detailed list of these features).6–11


흔히 하는 생각과 달리, 효과적인 피드백의 많은 요소들은 익명성을 요구하지 않거나, "개방적 피드백" 프로세스에 의해 촉진된다.

Counter to conventional wisdom, many of the elements of effective feedback require or are promoted by a non-anonymous or “open feedback” process


그러나, 의료 훈련생이 교수진에게 피드백을 주는 경우처럼 FR이 FP보다 권력상 상위에 있을 때는 일반적으로 개방형 피드백이 채택되지 않는다. 이런 경우 교육자에 대한 피드백은 일반적으로 익명으로 제공됩니다. 익명성은 권한 있는 위치에 있는 사람들에게 부정적인 피드백을 제공할 때 존재하는 심리사회적 압력을 완화하는 것으로 간주된다.10,12,13 이러한 심리사회적 압력은 피드백 제공자와 수신자가 위계적 상황에서 함께 일할 때 더 심해지는 것으로 간주된다.13

However, open feedback is typically not employed when the feedback receiver is in a position of power over the feedback giver, as is the case for medical trainees giving feedback to faculty. This trainee- to-faculty feedback is typically provided in an anonymous fashion. Anonymity is thought to relieve the psychosocial pressure that exists when providing negative feedback to those in an authority position.10,12,13 These psychosocial pressures are thought to intensify when the feedback giver and receiver are working together in a hierarchical situation.13


표 1 문헌에서 확인된 효과적인 피드백의 특징

Table 1 Features of Effective Feedback Identified in the Literature


사실, 상위 권력자에게 피드백을 주는 것에 대한 대부분의 연구는 학부 또는 학부이하 학생들을 대상으로 하고 있다. 10

In fact, the majority of the reported research on giving feedback to authority figures has involved studying students at the undergraduate (bachelor degree) level or lower. 10


수련생의 교수자 평가를 익명으로 하고자 할 때 고려해야 할 몇 가지 결과가 있다. 

첫째, 직장 생활에서 열린 자세로 다른 사람을 평가해야 하는 심리적 사회적 압력이 실제로 존재하는 것은 맞으나, 이러한 압력은 의사가 정기적으로 의사가 다루어야 하는 부분이다. 예를 들어, 피어리뷰 또는 동료에 의한 비-전문직업적 행동 보고 등은 점점 더 개방적인 프로세스를 선호하는 방향으로 변하고 있다.10,13 훈련생들은 이러한 과정에 준비되어야 하며, 이상적으로는 이러한 과정에 매우 뛰어난 사람이어야 한다.

There are several consequences that must be considered in choosing to keep trainee assessments of faculty anonymous. First, in working life, the psychosocial pressures of assessing others in an open manner are real but must be managed by physicians on a regular basis. For example, participating in peer review and reporting unprofessional performance by a colleague are activities that increasingly favor more open processes.10,13 These are challenges that we must prepare our trainees to meet and, ideally, to excel at.


익명의 피드백의 또 다른 결과는, 비록 의도하지는 않았더라도, 익명성으로 인해 도움이 되지 않는 진술(예: "그녀는 짜증난다")을 제공할 수 있다는 것이다.또한 소규모 프로그램에서 익명 피드백은 적시에 이루어질 수 없다. 왜냐하면 상당한 수의 훈련생(일반적으로 5–10명)의 의견이 집계된 다음에 전달되어야 익명성을 지닐 수 있기 때문이다. 만약 피드백의 목적이 의료 감독자의 행동에 긍정적인 변화를 촉진하는 것이라면, 이러한 방식은 전혀 이상적이지 않다.

Another consequence of anonymous feedback, albeit unintended, is that anonymity enables the provision of unhelpful statements (e.g., “She is annoying”).10,14,15 Further, in smaller programs, anonymous feedback cannot be timely because a reasonable number of trainees (usually 5–10) must provide feedback before it can be rendered anonymous via aggregate reporting . Depending on the size of the program, collecting sufficient numbers of comments to protect anonymity can take months to years. This is far from ideal if the purpose of the feedback is to promote positive changes in the clinical supervisor’s performance. 



방법

Method


세팅

Setting


This study was carried out at the University of Ottawa’s physiatry, also known as physical medicine and rehabilitation (PM&R), residency training program.


이 프로그램은 레지던트들이 정기적으로 직원들에게 직접적인 구두 피드백을 제공할 것으로 기대하고 있다. 서면 피드백은 로테이션의 중간과 끝에 작성된다. 레지던트와 교수진은 임상 감독자로서 교수진의 성과에 대한 서면 평가를 논의하기 위해 회의를 개최한다. 레지던트와 교수진은 전문적인 방식으로 피드백을 주고 받는 방법을 배운다. 이것은 정기적으로 예정된 학회 반나절 수업과 grand round을 통해 달성된다. 또한, 의료진이 제공하는 피드백 워크샵에 직원 내과 의사들도 참여하도록 권장된다. 필요에 따라 프로그램 감독(레지던트 및 간혹 교수진)과 부서장(교직원)의 개인 지도도 사용한다.

The program expects residents to provide staff physicians with direct verbal feedback on a regular basis. Written feedback is completed at the midpoint and end of rotations. Residents and faculty have a meeting to discuss this written assessment of the faculty’s performance as a clinical supervisor. Residents and faculty are taught how to give and receive feedback in a professional manner. This is accomplished through regularly scheduled academic half-day sessions and grand rounds. As well, staff physicians are encouraged to participate in feedback workshops offered by the Faculty of Medicine. Individual coaching by the program director (for the residents and occasionally faculty) and the division chief (for faculty) is also used on an as-needed basis.


레지던트가 개방형 피드백 시스템을 불편하게 느낄 경우, 직원 의사 피드백을 기밀로 제공할 수 있는 옵션이 있습니다(즉, 프로그램 관리자, 지정된 멘토 및/또는 부서장을 통해). 또한, 레지던트들은 매년 두 개의 그룹 검토 세션에 참여하는데, 이 세션에서는 레지던트 교육 프로그램의 모든 측면에 대한 집단 피드백을 구하고 익명으로 기록한다. 이러한 세션은 프로그램 책임자 이외의 레지던트 교육 위원회의 구성원에 의해 촉진된다. 세션 진행자는 교직원 성과를 포함한 프로그램의 모든 요소에 대해 모든 주민들 사이에 열린 토론을 장려합니다. 이 피드백은 익명 집계 형식으로 기록됩니다. 그러나, 퍼실리테이터와 모든 레지던트가 의견을 들어봤다는 점을 고려할 때, 그것은 정말로 익명인 것은 아니다.

If a resident feels uncomfortable with the open feedback system, there are options available to provide staff physicians feedback in a confidential fashion (i.e., via the program director, an assigned mentor, and/or the division chief). As well, residents participate in two group review sessions per year where their collective feedback on all aspects of the residency training program is sought and recorded in an anonymous fashion. These sessions are facilitated by a member of the residency training committee other than the program director. The session facilitator encourages open discussion amongst all of the residents regarding all elements of the program including faculty performance. This feedback is recorded in an anonymous aggregate format. However, given that the facilitator and all of the residents have heard the feedback, it is not truly anonymous.


참여자

Participants


졸업생

Graduates.


현재 전공의

Current residents.


자료 수집

Data collection


We invited graduates of the program to participate in a one-hour semi-structured telephone interview designed to probe perceptions of open feedback systems in general and of their unique experiences (Supplemental Digital Appendix 1, http://links.lww.com/ACADMED/A340).


우리는 참가자들이 적극적으로 참여하고 있는 공개 피드백 시스템에 대한 그들의 견해를 솔직하게 표현할 수 있도록 하기 위해 참가자들과 소그룹 인터뷰를 하기로 결정했다. 우리는 소규모의 면접이 풍부한 토론을 장려하기 위한 지원적인 환경을 제공할 수 있다고 느꼈다.

We invited current residents to participate in small-group interviews. We elected to do small-group interviews with these participants because we wanted to ensure that the participants felt empowered to candidly express their views on the open feedback system in which they were actively participating. We felt that small-group interviews could provide a supportive environment to encourage rich discussion. The RA guided participants through a series of questions similar to the semi-structured interviews for the graduates. The interviewer also shared some results of the graduate interviews and asked for the current residents’ reactions to and comments on these data (Supplemental Digital Appendix 2, http://links.lww.com/ACADMED/A340). These interviews took place in June 2014. Participants gave informed consent prior to the group interview. They did not receive incentives.


자료 분석

Data analysis


We analyzed the qualitative data set for emergent themes using conventional content analysis.20 Qualitative content analysis involves the systematic classification process of coding and identifying themes or patterns within a data set.20 In this tradition, language used by participants to describe their experiences is closely examined to develop categories that represent similar meanings.21 Three members of the research team completed the data analysis (principal investigator—N.L.D., who is a member of the studied context, and two coinvestigators—L.V. and K.D., who are not members of that context). We applied the final coding structure to the data set using NVivo qualitative data analysis software, version 10 (QSR International Party Ltd.) to facilitate cross- referencing.22 


    • 코딩 과정에 참여하지 않은 연구 공동작업자는 검증가능성을 보장하기 위해 대학원생 1명과 현재 거주자와의 소규모 그룹 인터뷰의 코드화된 내용을 검토했다. 

    • 또한, 우리는 모든 분석 메모, 회의록, 코딩 구조 개정, 노드 정의에 대한 감사 추적을 유지함으로써 확인가능성을 확보했다.23,24 

    • 삼각 측량25는 세 가지 방법으로 달성되었습니다. 세 가지 분석가를 사용하여, 두 명의 다른 참가자 모집단의 데이터를 사용하고, 두 가지 수집 방법(인터뷰 및 소규모 그룹 인터뷰)을 사용합니다. 

    • 또한, 거주 참가자들은 대학원 참가자들이 수집한 자료를 참여시켜 기억의 측면에서 편향이 존재하는지 확인하고, 따라서 연구 결과를 확인 또는 확인하는 데 사용되었다.


    • To ensure confirmability, the study collaborator who did not participate in the coding processes (S.D.) reviewed the coded transcripts of one graduate participant and of one small- group interview with current residents. 

    • Further, we ensured confirmability by maintaining an audit trail of all analytical memos, minutes of meetings, revisions to the coding structures, and node definitions.23,24 

    • Triangulation25 was achieved in three ways: using three analysts; using the data from two different participant populations; and using two methods of collection (interview and small-group interviews). 

    • The resident participants were also used to member check the data collected from the graduate participants to see if a bias existed in terms of recollection and thus, confirm or disconfirm study findings.


결과

Results


장점

Advantages


대학원생과 현재 레지던트는 모두 공개 피드백의 7가지 특정 이점을 설명합니다.

  • 적시에 피드백, 

  • 구체적인 피드백, 

  • 피드백에 대해 반응하는 스텝 의사들 

  • 피드백에 대해 책임감을 느끼고, 

  • 더 나은 피드백을 주는 방법을 배웠다는 느낌 

  • 피드백을 받을 수 있는 능력 향상 

  • 스텝 의사가 더 접근하기 쉽다는 인식

Graduates and current residents both described the same seven specific advantages of open feedback: 

  • timely feedback, 

  • specific feedback, 

  • staff physicians acting on the feedback, 

  • feeling accountable for the feedback, 

  • feeling that they learned how to give better feedback, 

  • feeling an improved ability to receive feedback, and 

  • a perception that the staff physicians were more approachable. Table 2


단점

Disadvantages


이러한 단점은 두 가지 다른 방식으로 설명되었습니다. 즉, 개인적으로 경험한 것과 다른 교육자가 경험할 수 있는 단점을 추측한 것입니다. 즉, 참가자들은 단점을 가진 직접적인 경험을 보고했지만, 그들이 보고한 대부분은 다른 훈련생들이 경험할 것이라는 가설(짐작)에 기반한 것이었다. 또한, 졸업생들과 현재 레지던트들 모두 이 세 가지 단점을 모두 설명한 반면, 현재 거주자들은 이러한 단점을 졸업생들보다 더 강하게 식별했다는 것도 주목할 만 하다.

These disadvantages were described in two different ways: personally experienced, or speculations of disadvantages other trainees might experience. In other words, participants did report direct experience with disadvantages, but the majority of the time the disadvantages they reported were hypotheses of what other trainees might experience. It is also notable that, while both the graduates and current residents described all three disadvantages, the current residents identified more strongly with these disadvantages than the graduates.


단점은

  • 스텝 의사와의 관계에 부정적인 영향을 미칠 수 있는 우려 

  • 부정적인 피드백을 전달하는데 불편함을 느끼며 

  • 부정적인 피드백이 전달되어야 할 때 코멘트를 배제하거나 완화함으로써 "메시지 수정"을 선택한 레지던트들

Disadvantages were 

  • concern for a negative impact to their relationship with the staff physician, 

  • feeling uncomfortable delivering negative feedback, and 

  • residents choosing to “moderate the message” by excluding or softening comments when negative feedback needed to be delivered. Table 3


촉진 요인과 장애 요인

Enablers and obstructors


표 4와 표 5는 많은 Enabler가 방해자로 작용하고 그 반대도 마찬가지라는 것을 보여준다. 예를 들어, 피드백을 요청하는 스텝 의사는 열린 피드백 프로세스를 가능하게 한다고 기술한 반면, 피드백을 요청하지 않는 스텝 의사는 열린 피드백 프로세스를 방해하는 것으로 보고되었다. 또한, 참가자들은 레지던트와 교수진이 열린 피드백 시스템에 대해 선천적으로 편안하거나 불편하게 만드는 특정한 "개인적 자질"을 가지고 있다는 것을 확인했다. 

Tables 4 and 5 illustrate that the converse of many enablers act as obstructors, and vice versa. For example, staff physicians inviting feedback was described as enabling the open feedback process, whereas staff physicians not inviting feedback was reported as obstructing the open feedback process. Also, the participants identified that residents and faculty come to the program with certain “personal qualities” that make them either innately comfortable or uncomfortable with the open feedback system. 


이러한 개인적 특성에 대해 할 수 있는 일이 거의 없지만, 참가자들은 촉진요인을 강화시키거나 방해자의 영향을 최소화하는 레지던트 프로그램의 구조적 요소를 식별했다(표 4와 5 참조). 

  • 첫째, 이 프로그램은 레지던트들에게 유용한 피드백을 제공하는 방법을 명확히 가르친다. 많은 참가자들은 이 훈련이 그들이 그들의 의사들에게 피드백을 주는 것에 더 편안함을 느끼도록 돕는 것이라고 생각했다. 

  • 둘째, 레지던트들은 자주 사용하지 않기로 선택했음에도 불구하고, 익명의 피드백 선택권이 이용 가능하다는 것을 알고 고마움을 표시했다. 참가자들은 익명성이 제공하는 보호가 필요할 경우 익명 옵션이 있음을 알고 열린 피드백을 제공하는 것이 더 편안함을 느낀다고 설명했다. 

  • 마지막으로, 교수진 및 레지던트가 열린 피드백을 사용할 수 있다는 기대를 공유하고 명시적으로 하는 것은 개방형 피드백 프로세스에 참여할 수 있는 구조적 서포트로 묘사되었다레지던트들은 이 기대가 문화적으로 로컬 규범과 기대치로 여겨졌기 때문에 피드백을 주는 것이 더 편하다고 말했다.


Although there is little that can be done about these personal qualities, participants identified structural elements of the residency program that acted to either promote the enablers or minimize the impact of the obstructors (see Tables 4 and 5). 

  • First, the program explicitly teaches residents how to give useful feedback. Many participants identified this training as helping them to feel more comfortable in giving feedback to their staff physicians. 

  • Second, the residents expressed appreciation for knowing that an anonymous feedback option was available to them, even if they frequently chose not to use it. Participants described feeling more comfortable giving open feedback knowing they had an anonymous option should they need the protections offered by anonymity. 

  • Finally, the explicit expectation shared with the faculty and residents that open feedback would be used was also described as a structural support enabling their participation in the open feedback processes. Because this was culturally seen as the local norm and expectation, residents described being more at ease giving feedback.




Table 2 Advantages of Open Feedback,


Table 3 Disadvantages of Open Feedback,


고찰

Discussion


질문에 대한 두 가지 예시적인 답변은 " 피드백이 익명이었더라면 다른 무언가를 할 수 있었을까?"였습니다.

Two illustrative responses to the question “Would you have ever done anything differently if feedback had been anonymous?” were


내가 다르게 행동했을거라고 생각이되는 경우는 전혀 없다..(회색 5)

I can’t recall of any instances that I would have done anything differently, no. (Graduate 5)


그러나 나는 모든 경우에 레지던트에게 그들이 생각하는 것을 정확히 말할 자유가 주어진다고 생각하지 않는다.

But I don’t believe that in every instance a resident feels free to say exactly what they think. (Graduate 3)


그러나 본 연구의 결과에 따르면, 실명의 레지던트 대 교수 피드백 프로세스는 단점을 상쇄하는 장점이 명백하였다. 또한 참가자들은, 소규모의 훈련 프로그램 맥락에서는 피드백이 익명화된다면 이러한 장점들이 사라질 것이라는 것을 분명히 했다.

However, findings from this study suggest that an open resident-to-faculty feedback process can have numerous advantages that participants clearly identify as outweighing the disadvantages. Participants were also clear that, in the context of a small training program, these advantages would be lost in an anonymous system.


문헌을 근거로 보았을 때, 기대되지 않았던 것은 레지던트들은 [감독관들에게 실명 피드백을 제공하는 기회]는 장기적으로 보았을 때 피드백을 주고 받는 능력에 이롭다고 판단했다는 것이다. 이 발견의 중요성은 간과할 수 없다.

What was not anticipated on the basis of the literature was that participants identified the opportunity to provide open feedback to their supervisors as beneficial to their future ability to both give and receive feedback. The importance of this finding cannot be overlooked.


본 연구의 졸업생들과 현재 레지던트 모두 실명 피드백 시스템에 대한 그들의 경험을 긍정적으로 평가했으며, 이러한 시스템 덕분에, 열린 대화를 통해 진정으로 상대방을 이해할 수 있는 기회가 주어졌을 때 건설적인 피드백을 편안하게 받을 수 있도록 해주었다고 평가했다.

Both the graduates and current residents in this study credited their experiences with the open feedback system as enabling them to be comfortable receiving constructive feedback especially when given the opportunity to really understand it through an open dialogue.


이전에 문헌에 보고된 바와 같이, 업무관계가 경색되는 것과 같이 감독관들에게 실명의 피드백을 제공하는 것에 대한 우려는 분명히 맥락에서 존재했다. 그러나, 참가자들은 개인적으로 이러한 불이익을 경험한 사람은 거의 없다고 밝혔다. 사실, 언급된 대부분의 단점들은 추정에 근거했다. 즉, 참가자들은 개인적으로 특정한 불이익을 경험하지는 않았지만, 다른 사람들이 경험할 수도 있는 상황을 상상하여 보고했다.

The concerns of giving feedback to supervisors in an open setting, such as strained working relationships, previously reported on in the literature certainly existed in this study’s context. However, our participants identified very few personally experienced occurrences of this disadvantage. In fact, the vast majority of the disadvantages described by participants were based on speculation. In other words, participants reported that they did not personally experience a specific disadvantage, but they could imagine how others might.


예를 들어, 우리는 졸업생들과 현재 레지던트에게 그들의 논평 내용이 실명 피드백 시스템에 의해 영향을 받았는지 의도적으로 물어보았다. 참가자들이 실명 피드백 시스템(표 3 참조)으로 인해 내용을 바꾼 적이 있다고 말했지만, 이러한 경우는 일반적으로 "나는 바꾸지 않았지만, 다른 레지던트는 바꿀수도 있다고 상상할 수 있다"와 같은 식이었다. 대다수의 참여자들은 실명 상황 때문에 자신들의 행동을 수정했다고 보지 않았습니다.

For instance, we intentionally asked graduates and current residents if the content of their comments was impacted by the open feedback systems. While these participants described making content changes because of the open feedback system (see Table 3), we were surprised that these changes were generally described as “I didn’t do this, but I could imagine that other residents might” (paraphrase). The majority of our participants did not perceive their own practices as having been modified because of the open context.


물론, 이러한 관심의 강도는 졸업생들보다 현 레지던트들에게 더 컸다. 시간적 관점에서 볼 때, 레지던트에게는 "지금 당장의" 문제가 될 수 있지만, 훗날 뒤를 돌아보면 덜 중요한 것이다. 잠재적으로 이것은 이러한 우려가 GME 기간 동안 발생하지 않았다는 사실을 말해준다.

Certainly, the intensity of these concerns was greater for the current residents than the graduates. Possibly, with the advantage of the perspective of time, these disadvantages, which seem problematic “in the moment” to a resident, are less important when reflecting back. Potentially, this speaks to the fact that these concerns did not materialize during the residency of graduate participants.


따라서, 우리는 실명 피드백에 대한 수습생들의 경험을 더 잘 이해하기 위해서는 다양한 상황에서 [추정]과 [개인적 경험]을 비교하여 연구해야 한다.

Therefore, we must study the speculation versus personally experienced construct in different settings and with different approaches to better understand trainee experiences of open feedback.


실명 피드백의 모든 방해물이 극복가능한 것은 아니다. 잠재적으로, 본 연구에서 발견된 가장 큰 문제는 일부 레지던트가 스텝 의사에게 피드백을 제공할 때 "메시지를 부드럽게 만드는 것(즉, 교정적 피드백의 기능을 제한)"이었습니. 이는 프로그램이 실명의 레지던트-스텝 피드백으로는 부족하다는 것이 명백하다. 레지던트는 익명 피드백도 사용할 수 있어야 한다. 실명 피드백이 덜 불편하다고 스스로 확인한 참가자들은 익명의 피드백을 제공할 기회를 이용했다고 보고했다.

Not all of the obstructors to open feedback can be overcome. Potentially, the largest concern uncovered in this study was that some residents “moderated the message” (essentially limiting the corrective feedback) when delivering feedback to the staff physicians. This is As such, it is clear that a program cannot only offer the open resident-to-staff feedback. Anonymous methods must also be available to the trainees. Participants who self-identified as less comfortable with open feedback reported that they took advantage of the opportunities to provide anonymous feedback.


예상했던 대로, 스텝 의사에게 실명 열린 피드백을 제공하는 것이 덜 편안한 사람도 있었고, 매우 편안하다고 느끼는 사람도 있었다. 그러한 성격 차이는 모든 훈련생 집단에서 분명히 나타날 것이다. 그러나, GME 프로그램은 개인이 실명 피드백 프로세스에 참여할engage 수 있도록 지원하는 구조를 만들 수 있다.

As may be expected, there were participants who felt very comfortable providing open feedback to staff physicians and others who were less comfortable. Such personality differences will certainly be present in all trainee groups. however, a GME program can create a structure that supports individuals to engage in open feedback processes.


이 시스템이 어떻게 작동했는지 연구할 때, 스텝 의사와 레지던트 사이의 성숙한 관계가 있음이 분명하다. 이 관계는 신뢰에 기반을 두고 있었다. 전문가 간 의료 환경에서 성공적인 관계는 신뢰가 주요 특징으로 식별됩니다.27,28

In studying how this system functions, it is apparent that a mature relationship between the staff physician and resident exists. This relationship is built on trust. successful relationships in the interprofessional health care context identifies trust as a key feature.27,28


예를 들어, Pullon27은 전문직간 신뢰는 간호사와 의사가 각기 역량을 입증하여 credibility를 형성함으로써 발달한다고 언급하였다. 이것은 결국 상호 존중과 전문가간 신뢰의 발달로 이어진다.

For example, Pullon27 presented that interprofessional trust develops from demonstrated competence by both nurses and doctors which creates credibility. This leads to mutual respect and the development of interprofessional trust.


Hsieh와 동료 28은 의료 서비스 제공자-통역자 신뢰를 연구했고, 

  • 통역 능력, 

  • 공유 목표, 

  • 전문적 경계, 

  • 확립된 협업 패턴 

...의 네 가지 신뢰를 강화하거나 손상시킬 수 있는 이론적 구조를 설명했다. 

Hsieh and colleagues28 studied health care provider–interpreter trust and illustrated four theoretical constructs that can strengthen or compromise that trust: 

interpreter competence, 

shared goals, 

professional boundaries, and 

established patterns of collaboration. 


우리의 조사 결과, 유사한 신뢰 관계가 성공적인 실명 피드백에서도 발생할 수 있다는 것이 밝혀졌다. 

  • 레지던트는 스탭의 수행능력에 대해 신뢰할 수 있는 피드백을 제공할 수 있는 출처로 여겨진다.

  • 스텝은 적절한 피드백을 받고 적시에 조치를 취해야 했습니다. 

스텝과 레지던트 사이에 상호 존중을 형성하기 위해서는 이 두 가지 조건이 모두 존재해야 합니다.

Our investigation suggests that a similar trust relationship can occur intraprofessionally in successful open resident-to-faculty feedback. It would appear that the residents were viewed as a credible source of feedback on staff performance. In turn, the staff physicians needed to appropriately receive and act on the feedback in a timely fashion. Both of these conditions must exist to create a mutual respect between staff and residents.


이 연구는 레지던트가 스텝에게 주는 피드백이 익명이어야 한다는 믿음에 도전하고, 실명으로 피드백을 제공하는데 있어 몇 가지 실질적인 이점을 제시한다. 우리의 조사 결과에 따르면 GME 프로그램은 레지던트-교수 신뢰가 발전할 수 있는 구조를 배치할 수 있으며, 이로 인해 실명 피드백의 혜택을 누릴 수 있을 것이다.

This study challenges the belief that open resident-to- faculty feedback needs to be anonymous and suggests some real benefits to providing feedback in an open manner. Our findings show that a GME program can put structures in place that enable resident–faculty trust to develop, which may make it possible to reap the benefits of open feedback.






 2016 Sep;91(9):1305-12. doi: 10.1097/ACM.0000000000001170.

Feedback to Supervisors: Is Anonymity Really So Important?

Author information

1
N.L. Dudek is associate professor, Department of Medicine, University of Ottawa, Ottawa, Ontario, Canada. S. Dojeiji is associate professor, Department of Medicine, University of Ottawa, Ottawa, Ontario, Canada. K. Day is senior project manager, Department of Innovation in Medical Education, University of Ottawa, Ottawa, Ontario, Canada. L. Varpio is associate professor, Department of Medicine, Uniformed Services University of the Health Sciences, Bethesda, Maryland.

Abstract

PURPOSE:

Research demonstrates that physicians benefit from regular feedback on their clinical supervision from their trainees. Several features of effective feedback are enabled by nonanonymous processes (i.e., open feedback). However, most resident-to-faculty feedbackprocesses are anonymous given concerns of power differentials and possible reprisals. This exploratory study investigated resident experiences of giving faculty open feedback, advantages, and disadvantages.

METHOD:

Between January and August 2014, nine graduates of a Canadian Physiatry residency program that uses open resident-to-faculty feedback participated in semistructured interviews in which they described their experiences of this system. Three members of the research team analyzed transcripts for emergent themes using conventional content analysis. In June 2014, semistructured group interviews were held with six residents who were actively enrolled in the program as a member-checking activity. Themes were refined on the basis of these data.

RESULTS:

Advantages of the open feedback system included giving timely feedback that was acted upon (thus enhancing residents' educational experiences), and improved ability to receive feedback (thanks to observing modeled behavior). Although some disadvantages were noted, they were often speculative (e.g., "I think others might have felt …") and were described as outweighed by advantages. Participants emphasized the program's "feedback culture" as an open feedback enabler.

CONCLUSIONS:

The relationship between the feedback giver and recipient has been described as influencing the uptake of feedback. Findings suggest that nonanonymous practices can enable a positive relationship in resident-to-faculty feedback. The benefits of an open system for resident-to-faculty feedback can be reaped if a "feedback culture" exists.

PMID:
 
27028033
 
DOI:
 
10.1097/ACM.0000000000001170


임상실습에서 학생의 피드백탐색 행동 명확화(Med Educ, 2013)

Clarifying students’ feedback-seeking behaviour in clinical clerkships

Harold G J Bok,1 Pim W Teunissen,2,3 Annemarie Spruijt,1 Joanne P I Fokkema,4 Peter van Beukelen,1

Debbie A D C Jaarsma5 & Cees P M van der Vleuten2





도입

INTRODUCTION


Archer에 따르면 피드백은 인지, 기술 및 전문적 개발을 지원하는 데 핵심적인 역할을 합니다.10 그러나 임상 상황은 예측할 수 없고, 그때마다 다른 교수 방법이 사용되기 때문에 임상 작업장의 피드백은 감독자와 FR 모두에게 어려운 경우가 많다. 이러한 어려움에도 불구하고 임상 성과에 대한 피드백은 '효과적인 임상 훈련의 핵심'으로 설명되어 있다.9 직장 학습에 대한 연구는 피드백 제공에 대한 귀중한 통찰력을 제공하지만, 피드백을 받거나 적극적으로 추구하는 사람들의 역할은 여전히 설명되지 않았다.

According to Archer, feedback plays a central role in supporting cognitive, technical and professional development.10 However, feedback in the clinical workplace is often difficult for both supervisors and recipients because the clinical setting is unpredictable and different teaching methods are used within it.11 Despite these challenges, feedback on clinical performance is described as the ‘cornerstone of effective clinical training’.9 Research into workplace learning has yielded valuable insights into the provision of feedback, but the role of those receiving or actively seeking feedback has remained under-explored.12,13


조직 심리학에서, '피드백 탐색 행동'이라는 용어는 Ashford와 Cummings에 의해 만들어진 것으로 피드백을 유치하는 과정에 관련된 과정을 지칭하는 것이다.14,15 이러한 저자들에 의해 구성된 이론적 모델은 피드백을 추구하는 세 가지 주요 동기를 제안한다.

  • 유용한 정보에 대한 욕구(도구적 동기) 

  • 자존심을 옹호하거나 강화하려는 욕구(에고-기반 동기)

  • 나에 대한 다른 사람의 인상을 보호하거나 강화하려는 욕구(이미지-기반 동기)14

In organisational psychology, the term ‘feedback-seeking behaviour’ was coined by Ashford and Cummings to refer to processes involved in inviting feedback.14,15 The theoretical model constructed by these authors proposes three primary motivators of feedback-seeking behaviour: 

  • the desire for useful information (instrumental motive), 

  • the desire to defend or enhance one’s ego (ego-based motive), and 

  • the desire to protect or enhance the impressions that others hold of one (image-based motive).14


이 모델에서 중요한 개념은 피드백을 구하는 사람들의 목표가 그들의 성과에 대한 정보를 얻는 방법을 결정한다는 것이다.19–23 개인적 특성에 대한 자기 이론에 기초하여 학습 목표 지향성과 목표 지향과 구분할 수 있다,20 

Dweck에 의해 각각, 

  • 학습지향: '새로운 기술을 배우고, 새로운 일을 마스터하고, 새로운 것을 이해하고 싶은 욕구' 

  • 성과지향: '자신의 역량에 대한 긍정적인 판단을 획득하고 부정적인 판단을 피하려는 욕구 24

An important notion in this model is that the goals of those seeking feedback determine how they obtain information about their performance.19–23 Based on self-theories about personal attributes, a learning goal orientation can be distinguished from a performance goal orientation,20 described by Dweck as, respectively, ‘a desire to learn new skills, master new tasks, or understand new things’ and ‘winning positive judgements of your competence and avoiding negative ones’.24


목표 지향과 피드백 추구 행동 사이의 관계는 동기 부여에 의해 조정된다. 다른 말로 하면, 지배적인 동기를 바탕으로, 특정한 목표가 형성되고, 이것은 피드백을 찾는 행동을 인도한다.21 또한 어떤 목표를 지향하느냐에 따라 피드백 추구에 따르는 비용 및 편익에 대한 인식이 달라진다.17,25

The relationship between goal orientation and feedback-seeking behaviour is mediated by motivation; in other words, based on a predominant motive, a specific goal is formulated, which then guides the feedback-seeking behaviour.21 Goal orientation also determines how the perceived costs and benefits of feedback are weighed in decisions about feedback seeking.17,25


사회 및 조직 심리학 문헌에서 설명한 바와 같이, 피드백 추구는 복잡한 현상이다. Teunissen et al.는 레지던트들의 목표 지향성이 예상되는 부정적인 효과와 피드백을 요청하는 잠재적 이익에 대한 그들의 인식에 영향을 미친다는 것을 보여주었다. 더욱이, 주치의의 감독 방식은 레지던트의 피드백 탐색 행동에 부분적으로 영향을 미치는 것 같았다.

As described in the social and organisational psychology literature, feedback-seeking behaviour is a complex phenomenon. Teunissen et al. showed that residents’ goal orientations influenced their perceptions of the expected negative effects and potential benefits of asking for feedback. Furthermore, the attending physician supervisory style seemed to partially influence the residents’ feedback-seeking behaviour.


일반적으로 임상 사무직은 다소 비정형적인 학습 환경으로 구성되는 것으로 간주되며, 그 환경 내에서 학생들의 학습에 영향을 미치는 다양한 요소들이 제시되어 왔다.27–29

Clinical clerkships are generally considered to comprise a rather unstructured learning environment and different factors have been shown to influence students’ learning within that environment.27–29


METHODS


Setting


The study was conducted among students in the clinical phase (Years 5 and 6) of the 6-year undergraduate curriculum of the Faculty of Veterinary Medicine, Utrecht University (FVMU), Utrecht, the Netherlands.


Study design


As relatively little is known about students’ feedback seeking behaviour in the veterinary medicine clinical setting, we designed an explorative qualitative study using an interpretive approach.30,31 Our aim was to contribute to understanding of the feedback-seeking behaviour of students in a clinical learning environment by describing our perceptions of that behaviour as they resulted from the analysis of interviews with students. 


The interviews were structured based on theoretical concepts of feedback-seeking behaviour.19–23 We combined inductive and deductive approaches to gain insight into feedback-seeking behaviour. This topic has received rather limited attention in medical education research and therefore we also considered previous work in fields outside medical education.32 We used semi-structured, face-to-face interviews to gain in-depth information and encourage students to openly share their views.33


Participants and procedure


Between April and June 2011, the principal researcher (GJB) interviewed students who had been sampled by maximum variation sampling to ensure that the sample included students following a variety of animal species tracks and in various phases of training. The logic and power of maximum variation sampling lie in selecting information-rich cases for in-depth study.33


Within 1 week of the interview, each participant was asked to comment on a one-page summary of his or her interview in order to support a member-checking protocol.34 The summary was written by the principal researcher and reflected participants’ answers to the main questions in the interview. Eight participants responded to this request, but made no suggestions for change. To facilitate the identification of new issues in subsequent interviews, data collection and analysis were performed iteratively. Interviewing continued until theoretical saturation was reached.


Interview development

    • The interviews were structured using questions about students’ goals and motives in seeking feedback, characteristics of their feedback-seeking behaviour and factors influencing this behaviour. 

    • The questions were based on the research questions and a theoretical framework derived from social and organisational psychology (Fig. 1).19–23 

    • Two pilot interviews resulted in minor changes to the wording but not the content of the questions. The main questions were:


1 Why do you seek information about your performance of a clinical task?

2 Which factors influence the way you seek feedback?

3 How do you obtain information about your performance?



Analysis

  • We used a template analysis method35 involving an iterative process of reducing and displaying the data, culminating in a template consisting of codes representing categories and factors, and the relationships among them. 

  • Based on the theoretical framework, we designed an initial template, which was modified in the subsequent iterative process of data collection and analysis. 

  • We used the theoretical framework and the conceptual model only in designing the interview structure; we used an inductive approach to analyse the interviews. 

  • The analysis resulted in an extensive list of codes, which were categorised. 

  • The principal researcher (GJB) coded all transcripts and constructed themes. 

  • Using the list of codes, another researcher (PWT) re-coded the eighth interview. 

  • The two researchers reached agreement on the discrepancies between their analyses through discussion. 

  • After 12 transcripts had been coded, theoretical saturation was reached and the final template was constructed. 

  • GJB, two medical education experts (PWT, CPMvdV) and two experts in veterinary medical education (ADCJ, PvB) agreed on the final template after discussion. 

  • The coding of the two remaining interviews confirmed the final template.


Confidentiality and ethical considerations



결과

RESULTS


The main categories to result from the analysis are interrelated, which shows that students dynamically adjust their feedback-seeking behaviour to fit a particular context. Fig. 2.


왜 학생들은 피드백을 탐색하는가?

Why do students seek feedback?


개인적 요인: 피드백 탐색자의 의도

Personal factors: intentions of the feedback seeker


어떤 목표들은 학생들에게 피드백 추구 동기와 피드백 회피 동기를 부여할 수 있다는 것을 나타냈다. 

    • 피드백 추구(예: 임상 능력을 입증하고, 임상 능력을 개발하고, 지식과 기술을 향상시킴으로써 전문가로서 성장함으로써 긍정적인 판단을 받는 것) 

    • 피드백 회피(예: 부정적인 판단을 피하고, 동료들에 비해 낮은 임상 능력을 보여주어야 하는 것을 피함) 

게다가, 학생들은 환자와 고객에 대한 책임감으로 피드백을 구하고자 동기부여를 받았고, 이것은 학생들은 임상 능력 향상 목적의 피드백 탐색을 자극했다.

The analysis indicated that distinctive goals can motivate students in seeking feedback (e.g. receiving positive judgements by demonstrating clinical competence, developing clinical competence and growing as a professional by improving knowledge and skills) and in avoiding feedback (e.g. avoiding negative judgements and avoiding having to demonstrate inferior clinical competence compared with one’s peers). Furthermore, students were motivated to seek feedback out of a sense of responsibility towards patients and clients, which stimulated them to seek feedback to improve their clinical competence.


개인적 요인: 피드백 탐색자의 특성

Personal factors: characteristics of the feedback seeker


피드백을 추구하는 행동은 또한 학생들의 신체적, 정신적 행복과 같은 개인적인 특성에 의해 영향을 받았다.

Feedback-seeking behaviour was also influenced by a student’s personal characteristics, such as his or her physical and mental well-being:


감독관 중 한 명이 나도 한 팀으로 대했다. 마치 내가 수의사 대학원생인 것처럼. 이것은 제가 매일의 임상 사례에 적극적으로 참여하게 된 매우 강력한 동기 부여였습니다. 그 결과 저는 더 자주 피드백을 요청했습니다.' (P5)

‘One of my supervisors treated me as one of the guys. As if I was a graduate veterinarian. This was a very strong motivator for me to participate actively in daily clinical practice and as a result I asked more frequently for feedback.’ (P5)



개인적 요인: 피드백 제공자의 특성

Personal factors: characteristics of the feedback provider


학생들은 피드백 제공자의 특성이 피드백을 탐색하도록 장려했다고 지적했다. 그들은 또한 [학생들이 질문을 할 시간이 있고 감독자들이 대답할 의향이 있는] 안전한 학습 환경에서 피드백을 더 요요청할 수 있었다. 감독자들은 학생들에게 신뢰를 얻어야 했고, 이러한 신뢰는 피드백을 주기 전에 학생들의 task 수행을 관찰함으로써 강화되었다. 학생들은 특정 직무에서 숙련되고 경험이 있다고 생각하는 상급자에게 피드백을 요청하는 것을 선호했다.

Students indicated that the characteristics of the feedback provider, encouraged them to seek feedback. They also remarked that asking for feedback was promoted by a safe learning climate, in which students had time to ask questions and supervisors were willing to answer them: Supervisors had to seem credible to students and this credibility was enhanced when supervisors observed task performance before giving feedback. Students preferred to ask for feedback from supervisors whom, they perceived as skilled and experienced in the task in question.


대인관계 요인: 피드백 탐색자와 제공자의 관계

Interpersonal factors: the relationship between the feedback seeker and provider


학생-감독자 관계는 다양한 방식으로 피드백 추구에 영향을 미쳤다. 관계를 지속하는 시간이 증가함에 따라, 학생들은 피드백을 요구할 가능성이 더 많아졌다. 학생-감독자 관계의 위계적 특성과 슈퍼바이저가 피드백 제공자와 평가자의 역할을 겸하고 있다는 것도 중요하다.

The student–supervisor relationship influenced feedback-seeking behaviour in different ways. As the duration of a relationship increased, the student became more likely to ask for feedback. The hierarchical nature of the student–supervisor relationship and the combining by supervisors of the roles of feedback provider and assessor were also important:



무엇이 학생의 피드백 탐색 행동에 영향을 미치는가?

What influences students’ feedback-seeking behaviour?


학생들이 팀의 일원이라고 느끼는 정도, 환자 진료에 참여하는 것, 그리고 스스로 인지하는 의사소통 기술은 모두 학생들이 피드백을 요구하도록 자극했습니다.

The extent to which students felt they were part of a team, their involvement in patient care and their self-perceived communication skills all stimulated students to ask for feedback:


에고

Ego


피드백을 요청하기 전에 학생들은 에고ego에 대한 비용(즉, 부정적인 피드백으로 인한 부정적 감정)과 이점(예: 긍정적인 피드백에서 발생하는 높은 자존감)을 비교했다. 이 분석의 결과는 개인 및 대인 관계에 따라 다릅니다. 

    • 특정 임상 과제를 숙달하고 싶은 학생들은 피드백(신뢰할 수 있는 피드백 제공자)으로부터 예상 비용(부정적 피드백으로 인한 신뢰 손실)을 능가하는 혜택을 기대할 수 있었다. 

    • 자존감을 높이고 인정을 받기 위해 피드백을 요청한 학생들은 (부정적인 피드백이나 상사의 행동에 의해 강요된 무능력에 의해) 자아가 손상될 위험을 고려했다. 

Before asking for feedback, students weighed the perceived ego costs (i.e. negative emotions resulting from negative feedback) and benefits (i.e. enhanced self-esteem arising from positive feedback). The outcome of this analysis depended on personal and interpersonal factors. Students who were eager to master a specific clinical task were likely to let expected benefits from feedback (credible feedback provider) prevail over expected costs (a loss of confidence as a result of negative feedback). Students who asked for feedback to increase their self-esteem and gain recognition took account of the risk for damage to their ego by feelings of incompetence imposed by negative feedback or the behaviour of the supervisor. This process is illustrated by this student:


이미지

Image


인식된 이미지perceived image에 대한 비용과 이점은 또 다른 영향 요소를 나타냅니다. 학생들은 임상 작업장에서 동료, 환자 및 감독자들이 자신에 대한 특정 사전 인식(이미지)을 갖고 있다고 느꼈다. 이것은 학생들에게 그들의 이미지를 개선시키기 위해 피드백을 구하고, 또는 이미지 손상을 방지하기 위해 피드백을 찾지 않게 만든다. 개인과 대인 관계 요소의 상호작용을 바탕으로, 학생들은 잠재적인 위험과 편익을 평가하고 상황에 맞는 피드백을 찾는 행동을 시작하는 것으로 보였다. 예를 들어, 한 학생은 자신의 피드백을 볼 수 있는 그룹의 구성(예: 그 상황을 목격하는 동료의 숫자)에 따라 자신의 피드백을 찾는 행동을 조정했다고 언급했다. 

Perceived image costs and benefits represented another influencing factor. Students felt that in the clinical workplace, peers, clients and supervisors had certain preconceptions (images) about them. This presented students with a choice between seeking feedback in the hope that it would improve their image, or refraining from seeking feedback in order to prevent any potential damage to their image. Based on the interaction between personal and interpersonal factors, students appeared to make an assessment of the potential risks and benefits and to embark on context-specific feedback-seeking behaviour. For example, a student mentioned that she adapted her feedback-seeking behaviour depending on the composition of the group that might witness the feedback (e.g. the number of peers present):


피드백을 받는 것을 거부하는 학생은, 긍정적인 이미지를 유지하는 동시에 자신의 행동을 평가하기 위해 다른 학생들의 행동을 모니터링할 것이다.

If a student decided against inviting feedback, he or she would monitor the behaviour of others in order to evaluate his or her own behaviour while maintaining a positive image.


피드백 이득에 대한 인식

Perceived feedback benefit


또한, 피드백의 관련성, 양, 질 또한 학생들의 피드백 추구에 영향을 끼쳤다. 예를 들어, 학생들은 자신이 과제를 수행하는 상황을 관찰하지 않았던 감독자로부터 받은 피드백을 평가절하했다. 또한, 받은 피드백의 가치는 자신의 목표와 연관지어 판단했다.

In addition , the perceived relevance, quantity and quality of feedback also impacted students’ feedback-seeking behaviour. For example, students placed less value on feedback received from a supervisor who had not observed the subject performing the task in question. Furthermore, the value of received feedback was judged in relation to a student’s goal:




학생들은 어떻게 피드백을 탐색하는가?

How do students seek feedback?


피드백 출처와 주제

Feedback source and topic orientation


임상 작업 공간에서 학생들은 자신의 퍼포먼스에 대한 정보를 다른 학생, 감독자(예: 전문의, 레지던트), 고객, 간호 직원 또는 이들의 조합으로부터 얻었다. 학생은 잠재적 위험과 편익에 대해 상황을 판단하여, 이에 따라 특정 피드백 source에 접근한다.

In the clinical workplace, students obtained information about their performance on a specific clinical task from other students, supervisors (e.g. specialists, residents), clients, nursing staff or a combination of these. Depending on their context-dependent assessment of potential risks and benefits, students would approach a specific feedback source:


임상 작업 공간에서 학생들은 수행해야 했던 작업과 관련된 특정 수의학 지식, 특정 수의학 기술 및 심층적 지식에 대해서 피드백을 구했다. 시간이 지남에 따라, 그리고 작업이 달라짐에 따라, 이러한 FSB는 달라질 수 있습니다.

In the clinical workplace, students sought feedback on specific veterinary knowledge, specific veterinary skills and in-depth knowledge relating to a task they were required or had been required to perform. Over time and depending on the task, this behaviour might change:


피드백 탐색 행동의 타이밍

Timing of feedback-seeking behaviour


잠재적 위험과 편익에 대한 상황별 평가를 바탕으로 학생들은 피드백을 구할 적절한 타이밍(예: 특정 임상 과제를 수행하는 동안, 직후, 나중)을 결정했다. 학생들은 특히 이미지나 자아에 대한 비용cost를 걱정할 때 피드백 추구를 미룰 가능성이 높았다.

Based on their context-dependent assessment of potential risks and benefits, students determined the appropriate moment for seeking feedback (e.g. during or immediately after performing a specific clinical task or at a later, more appropriate time). Students were particularly likely to postpone the seeking of feedback when they were worried about costs to their image or ego:


피드백 탐색 행동의 빈도

Frequency of feedback-seeking behaviour


학생들이 피드백을 원하는 빈도는 잠재적 위험과 편익을 상황별로 평가한 결과에 따라 달라지며, 따라서 다양한 임상 작업에 따라 달라진다. 예를 들어, 

    • 학생이 학습지향적이고, 자신의 상사에 의해서 피드백을 구하도록 동기부여되어있고, 특정 임상 과제에 해당하는 주제에 관심을 가질 때, 피드백을 요청하는 빈도가 높아질 것이다. 

    • 반면, 성과 지향적인 학생이 자신의 이미지를 위태롭게 하는 상황에 직면했을 때, 적극적인 피드백을 찾는 빈도는 아마도 줄어들 것이다.

The frequency with which students sought feedback appeared to depend on the outcome of the context-dependent assessment of potential risks and benefits, and therefore varied for different clinical tasks. For example, 

    • when a student was learning goal-orientated, motivated by her supervisor to seek feedback, and interested in the topic behind the specific clinical task, she would increase the frequency of asking for feedback. 

    • By contrast, when a performance goal-oriented student was confronted with a situation in which his self-image was at stake, his frequency of active feedback seeking would probably decline:


피드백 탐색 행동의 유형

Types of feedback-seeking behaviour


학생들은 피드백을 얻기 위해 두 가지 주요 전략을 사용했다. 

    • 그들은 다른 학생, 감독자 등의 행동을 모니터했고, 

    • 특정 source로부터 피드백을 요청했다. 

학생들이 후자의 전략이 자신을 무능하게 보이게 할 수 있다고 우려할 때(즉, 자아와 이미지 비용이 발생할 수 있음), 그들은 다른 사람들을 모니터하는 전략을 활용하는 대신, inquiry 전략을 사용하지 않는 경향을 보여주었다.

Students used two main strategies to obtain feedback: 

    • they monitored the behaviour of other students, supervisors and others, and 

    • they explicitly asked for feedback from a specific source. 

When students were concerned that the latter strategy might make them look incompetent (i.e. it might incur ego and image costs), they tended to monitor others and not to use the inquiry strategy:


고찰

DISCUSSION


학생들은 그들의 피드백 추구에 영향을 준 두 가지 광범위한 목표, 즉 학습 목표 지향과 성과 목표 지향을 설명했다. 후자에 대해서는 학생들을 두 가지 범주로 구별할 수 있었다. 

  • 자신의 임상 능력을 보여주고 긍정적인 판단을 받고 싶어서 피드백을 받으려는 의욕을 가진 학생들과, 

  • 피드백의 부정적인 영향(부정적 판단을 받거나 다른 사람의 임상 능력보다 열등함을 보여주는 위험)을 잠재적으로 피하고자 하는 동기를 가진 학생 

Students described two broad goals that influenced their feedback-seeking behaviour: a learning goal orientation, and a performance goal orientation. We were able to distinguish two categories of students subject to the latter orientation: 

  • students who are motivated to seek feedback because they want to demonstrate their clinical competence and receive positive judgements, and 

  • students who are motivated to avoid potentially negative effects of feedback, such as negative judgements and demonstrations of their clinical competence as inferior to that of others. 


학습 목표 지향성을 가진 학생들은 그들의 지식과 기술을 향상시키고, 그들의 임상 능력을 개발하고 프로페셔널로 성장하는 것을 목표로 불확실성을 줄이는 데 집중했다. 목표 지향에 대한 이러한 연구 결과는 조직 심리학 영역 내에서 피드백 행동에 대한 연구와 일치한다.19,20

Students with a learning goal orientation focused on improving their knowledge and skills and on reducing uncertainty with the aim of developing their clinical competence and growing as a professional. These findings about goal orientation are consistent with research on feedback-seeking behaviour within the domain of organisational psychology.19,20


우리는 목표 지향 외에 피드백 제공자의 특성, 피드백 탐색자의 특성, 피드백 탐색기와 제공자 간의 관계 등 두 가지 다른 개인적 요소와 대인 관계 요인을 제안한다.

In addition to goal orientation, we propose two other personal factors and one interpersonal factor: characteristics of the feedback provider, characteristics of the feedback seeker, and the relationship between the feedback seeker and provider.


교수진과 학생들은 이러한 관계적 요소를 알고 있어야 하며, 이러한 요소들은 적극적인 피드백을 구하는 행동에 영향을 미치고, 결과적으로 학습을 강화할 수 있다. 임상실습에 관해서는 상황적 차이가 학습자와 감독자 사이의 역학 관계에 영향을 미친다는 것을 알아야 한다(예: 임상적 로테이션 대 레지던트 교육).

faculty staff and students should be aware of these relational factors, which influence active feedback seeking behaviour and as a consequence may enhance learning. People involved with clerkships should be aware that contextual differences (i.e. clinical rotation versus residency training) influence the dynamic between learner and supervisor.


우리가 제안하는 개인(대인)적인 요인들은 지속적으로 상호작용하였고, 학생들의 피드백을 찾는 행동은 [비용-편익 분석의 결과에 따라] 특정 상황에서 가장 중요하다고 인식하는 요인에 의해 영향을 받는다.

The (inter)personal factors we propose interact continuously and students’ feedback-seeking behaviour is influenced by the factors they perceive to be the most salient in a certain situation, depending on the outcome of a cost–benefit analysis


우리의 결과는 학생들의 비용-편익 분석의 결과가 

  • 자아의 인식 비용 및 편익, 

  • 이미지에 대한 인식 비용 및 편익, 

  • 인식된 피드백 이익

...의 세 가지 요인에 의해 결정된다는 것을 시사한다

Our results suggest that the outcome of students’ cost–benefit analyses is determined by three categories of factor: 

  • perceived costs and benefits to the ego; 

  • perceived costs and benefits to image, and 

  • perceived feedback profit. 

이러한 범주는 다른 연구에서 확인된 피드백을 찾는 세 가지 주요 동기와 일치하는 것으로 보인다.

  • 도구적 동기(즉, 목표를 달성하기 위한 도구로서 피드백을 사용하는 것)

  • 자아 기반 동기

  • 이미지 기반 동기

These categories appear to be in line with three main motives for seeking feedback identified in other studies: 

  • an instrumental motive (i.e. to use feedback as an instrument for achieving a goal); 

  • an ego-based motive, and 

  • an image-based motive.12,21,22,36


Goffman은 개개인은 피드백을 특정한 자기표현self-presentation을 유지하기 위한 귀중한 자원으로 인식하고 있다고 지적했다.37 피드백 탐색 행동은 잠재적으로 피드백을 찾는 학습자의 불확실성이나 무능함을 노출시킬 위험이 있다. 학생들은 임상실습 동안 긍정적인 자기표현을 유지할 필요성을 인식하였다. 학생들은 피드백을 구함으로써 잠재적으로 상당한 비용이 발생하고, 이것을 image-threatening 상황으로 인식하여 피드백을 원하는 빈도를 줄였다고 언급했다.

Goffman pointed out that individuals perceive feedback as a valuable resource with which to maintain a particular self-presentation.37 Feedback-seeking behaviour can potentially expose uncertainty or incompetence in the learner seeking feedback. The need to maintain a positive self-presentation was recognised by students seeking feedback during clinical clerkships, who mentioned that their perceptions of image-threatening situations as potentially incurring of significant costs decreased the frequency with which they sought feedback.


분석 결과를 토대로, 우리는 임상실습에서 학생들의 피드백 탐색 행동을 특징짓는 다섯 가지 요소를 제안합니다: 출처, 주제, 타이밍, 빈도 및 방법.

Based on our analysis, we propose five elements that characterise students’ feedback-seeking behaviour in clinical clerkships: 

  • source, 

  • topic, 

  • timing, 

  • frequency, and 

  • method.


Strengths and limitations


Suggestions for future research


Implications for practice


이 연구의 결과는 학생들의 FSB는 연속적인 피드백 경험들에 맞게 행동을 조정하면서 발달한다는 것을 보여준다. 따라서 피드백은 학생들이 적극적으로 피드백을 구하도록 자극하는 구체적인 요건을 충족해야 한다. FSB는 학생이 자신이 임상 팀의 일원으로 인정받고 환자 치료에 대한 책임을 받는다고 느낄 때 증가한다.

The results of this study indicate that students’ feedback-seeking behaviour develops as students adjust their behaviour to consecutive experiences of feedback. It is therefore essential that feedback should meet specific requirements that stimulate students to actively seek feedback. As feedback-seeking behaviour increased when the student felt him or herself to be recognised as a member of the clinical team and to be given responsibilities in patient care.



교사가 학생을 임상 팀의 일원으로 받아들이도록 하기 위한 전략을 개발해야 할 것 같다. 또한 임상 환경에서 관리자의 행동이 학생들의 피드백 탐색 행동에 영향을 미쳤기 때문에, 우리는 임상 작업장에서 학생들의 피드백 탐색 행동에 영향을 미치는 요소를 피드백에 대한 관리자 훈련과 학생 훈련에 통합할 것을 제안한다.

it seems advisable that teachers should develop strategies to make the student feel accepted as a member of the clinical team. Furthermore, as supervisors’ behaviour within the clinical setting influenced students’ feedback-seeking behaviour, we propose to incorporate factors that influence students’ feedback-seeking behaviour in the clinical workplace into feedback training for supervisors and students.




그 결과는 또한 학습 환경이 학생들의 피드백을 구하는 행동을 촉진하거나 방해한다는 것을 보여주었다.



The results showed that the learning climate also promotes or deters students’ feedback-seeking behaviour.









 2013 Mar;47(3):282-91. doi: 10.1111/medu.12054.

Clarifying students' feedback-seeking behaviour in clinical clerkships.

Author information

1
Quality Improvement in Veterinary Education, Faculty of Veterinary Medicine, Utrecht University, Utrecht, the Netherlands. g.j.bok@uu.nl

Abstract

CONTEXT:

Why and how do students seek feedback on their performance in the clinical workplace and which factors influence this? These questions have remained largely unanswered in research into workplace learning during clinical clerkships. Research on feedback has focused mainly on feedback providers. Whether and how feedback recipients actively seek feedback are under-examined issues. Research in organisational psychology has proposed a mechanism whereby feedback seeking is influenced by motives and goal orientation mediated by the perceived costs and benefits of feedback. Building on a recently published model of resident doctors' feedback-seeking behaviour, we conducted a qualitative study to explore students' feedback-seeking behaviours in the clinical workplace.

METHODS:

Between April and June 2011, we conducted semi-structured face-to-face interviews with veterinary medicine students in Years 5 and 6 about their feedback-seeking behaviour during clinical clerkships. In the interviews, 14 students were asked about their goals and motives for seeking feedback, the characteristics of their feedback-seeking behaviour and factors influencing that behaviour. Using template analysis, we coded the interview transcripts and iteratively reduced and displayed the data until agreement on the final template was reached.

RESULTS:

The students described personal and interpersonal factors to explain their reasons for seeking feedback. The factors related to intentions and the characteristics of the feedback provider, and the relationship between the feedback seeker and provider. Motives relating to image and ego, particularly when students thought that feedback might have a positive effect on image and ego, influenced feedback-seeking behaviour and could induce specific behaviours related to students' orientation towards particular sources of feedback, their orientation towards particular topics for and timing of feedback, and the frequency and method of feedback-seeking behaviour.

CONCLUSIONS:

This study shows that during clinical clerkships, students actively seek feedback according to personal and interpersonal factors. Perceived costs and benefits influenced this active feedback-seeking behaviour. These results may contribute towards the optimising and developing of meaningful educational opportunities during clerkships.

PMID:
 
23398014
 
DOI:
 
10.1111/medu.12054
[Indexed for MEDLINE]


Informed Self-Assessment의 긴장: 피드백에 대한 열망과 피드백을 얻어 사용함의 망설임의 갈등(Acad Med, 2011)

Tensions in Informed Self-Assessment: How the Desire for Feedback and Reticence to Collect and Use It Can Conflict

Karen Mann, PhD, Cees van der Vleuten, PhD, Kevin Eva, PhD, Heather Armson, MD,

Ben Chesluk, PhD, Timothy Dornan, DM, PhD, Eric Holmboe, MD,

Jocelyn Lockyer, PhD, Elaine Loney, MS, and Joan Sargeant, PhD





연구 결과에 따르면 자신의 성과를 정확하게 평가하는 능력은 광범위한 결함이 있다.3–5 문헌에 따르면, 자기평가가 타당하려면 다양한 출처로부터 외부 정보를 받아야 한다.4,6

research findings concerning individuals’ ability to assess their own performance accurately have consistently revealed widespread flaws.3–5 The literature suggests that, to be valid, self-assessment must be informed by external information from a variety of sources.4,6


우리는 정보 제공 자체 평가라는 용어를 사용하여 개인이 외부 및 내부 데이터를 사용하여 자신의 능력에 대한 평가를 생성하는 과정을 설명합니다.

We use the term informed self-assessment to describe the set of processes through which individuals use external and internal data to generate an appraisal of their own ability.


외부 정보를 활용하는 활동으로 자기평가를 개념화하는 것은 새로운 것이 아니다. Boud9는 광범위한 교육 문헌에 자기 평가를 논하며, 자기평가란 자신의 성과에 대한 내부 및 외부 데이터를 모두 바탕으로 자신의 성과를 판단하기 위한 기준과 비교하는 과정이라고 설명했다. 이 프로세스는 engaged facilitation을 통해 자료를 적절히 해석 및 활용하도록 guide할 때 더 도움이 됩니다.1,6,7

conceptualizing self-assessment as an activity that must be informed by external information is not novel. Writing in the wider education literature, Boud9 described self-assessment as a process that requires drawing on both internal and external data about one’s performance and comparing these with a standard to make a judgment about one’s performance. The process is aided when engaged facilitation guides learners in interpreting and using data appropriately.1,6,7


본 보고서의 목적은 위에 설명된 자체 평가 모델의 긴장 구성 요소에 대한 심층적인 탐구 결과물을 제시하는 것입니다.

The purpose of our present report is to present findings resulting from in-depth exploration of the tensions component of the informed self-assessment model described above.



방법

Method


This qualitative study employed principles of grounded theory.13,14 We held 17 focus groups (January to May 2008) involving learners at the undergraduate and postgraduate levels, as well as practicing physicians, from eight medical education programs in five countries. We used purposive sampling, believing that participants experienced with structured self-assessment activities would be more conversant with the concepts and provide richer data.


Semi-structured interview questions addressed participants’ perceptions of 

  • the ways in which they self-assess their clinical performance generally, 

  • the data they draw on, 

  • the contributions of formal and informal activities and resources for informing their self-assessments, and 

  • the factors influencing their usefulness. 

In the grounded theory tradition, the interview questions were revised as analysis progressed to explore and clarify emerging concepts.


One member of the research team(J.S.) facilitated all group discussions, with assistance from at least one other team member who was familiar with each program’s self-assessment activities and context. The cofacilitator assisted by clarifying questions or comments, participating in the discussion to enable greater exploration of concepts if required, and recording field notes. Discussions were audio-recorded and transcribed.


  • Initial themes were identified by reading and discussing the transcripts, and were expanded, revised, and modified through subsequent and iterative analysis, discussion, and interrogation of the data over a period of about 18 months. 

  • Two team members (J.S., E.L.) independently coded the first transcript and compared their interpretations of themes, which were then reviewed and verified by another team member (J.L.) and then through group discussion. 

  • Each transcript was read and discussed by at least three other team members in a series of teleconferences, continually informing revision of the coding structure. 

  • One team member (E.L.) computer-coded the data. 

  • The team met face-to-face for two days to critically discuss analyses of related data conducted by team subgroups, resulting in a preliminary conceptual diagram of informed self-assessment that integrated the major themes. 

  • Themes were interpreted through constant comparison and their interrelationships explored. 

  • Team subgroups refined the components of the conceptual model, verifying that they were grounded in the data. 

  • Matrices, theoretical memos, and conceptual mapping aided this process. 

  • Discussion and reexamination of transcripts and coded data were used to resolve differences of interpretation.



결과

Results


Table 2.



자기자신 내부의 긴장

Tensions within self


자기평가에 informing하는 과정에는 두 가지 지속적인 내부 긴장이 수반되었다. 

(1) 피드백을 원하지만, disconfirming한 정보를 두려워하는 것

(2) 피드백을 활용할 필요가 있지만, 자기평가와 맞지 않아 그렇게 하는데 어려움을 겪는 것

The process of informing one’s self-assessment was accompanied by two ongoing internal tensions: 

(1) wanting feedback yet fearing disconfirming information, and 

(2) recognizing the need to use feedback yet struggling to do so because of incongruence with one’s self-appraisal.


학습자들은 자신이 어떻게 하고 있는지와 어떻게 개선하는지를 깨닫기 위해 피드백이 필수적이라고 인식했다.

Feedback was perceived by learners across all groups as essential to knowing how one was doing and how to improve.


그럼에도 불구하고, 모든 학습자들은 자신의 수행능력에 대해서 부적적이거나 비판적인 정보를 담은 피드백을 두려워하는 긴장 상태에 있었다.

Nonetheless, for learners at all levels, wanting feedback was always in tension with fearing feedback information that would be negative or critical about their performance.


자기 자신 내부의 두 번째 긴장은 자기 평가에 부합하지 않는 피드백에 의해 발생되는 어려움을 극복하는 것과 관련이 있었다. 이로 인해서 개선을 위해 피드백을 듣고, 받아들이고, 사용하기 어렵게 만들었다. Disconfirming한 피드백을 받을 경우, 그 정보를 자신의 성과에 대한 자신의 관점과 조화시킬 필요가 있었고, disconfirming한 피드백이 불러일으킬 수 있는 감정적 반응을 극복할 것을 요구했다. 의사들은 어떻게 disconfirming 피드백이 충격과 긴장을 유발하는지, 그리고 어떻게 그것이 궁극적으로 자기 인식의 변화를 가져오는지 설명했다.

The second tension within self concerned overcoming the difficulty created by feedback that is incongruent with the individual’s self-appraisal, thus making even feedback that is received and valued difficult to hear, accept, and use to improve. Disconfirming feedback required reconciling the information received with one’s own view of one’s performance and often required moving past the emotional reactions that disconfirming feedback can evoke. Physicians relate how disconfirming feedback can elicit shock and tension and, eventually, result in changed self-perception.



사람들 사이의 긴장

Tensions between people


사람들 사이의 긴장감은 informed self-assessment(ISA)의 관계적 성격을 강조했다. 전체적으로 긴장감은 자발적인 것이었지만, 네트워크나 동료들의 일부이기도 했다.

The tensions between people highlighted the relational nature of informed self-assessment. An overarching tension was the need to be autonomous, yet to be part of a network or group of colleagues.


    • (1) 타인에게 질문하고 피드백을 통해 배울 수 있기를 원하지만, 무능해 보이고 싶지 않으며, 약점을 공유하기를 원하지 않는다. 

    • (2) 피드백은 원하나, 피드백을 추구할 수 없거나 수신된 피드백을 신뢰할 수 없음 

    • (3) 피드백을 주고 받기 위해서는 긍정적이고 안전한 관계가 필요하지만, 진정한 피드백은 관계를 해칠 우려가 있다.

    • (1) wanting to be able to question others and learn from feedback, yet not wanting to look incompetent or share areas of deficiency, 

    • (2) wanting feedback, yet not being able to pursue it or not trusting feedback that is received, and 

    • (3) needing a positive and safe relationship to give and receive feedback, yet worrying about damaging the relationship with genuine feedback.


autonomous하면서도, 동시에 네트워크나 동료들의 일부가 되어야 할 필요성은 모든 수준의 학습과 연습에서 표현된 긴장감이었다. 의사들의 경우, 우리가 종종 그들의 진료행위를 평가하기 위한 명확한 기준에 근거한 공식적인 피드백에 접근하지 못하는 것을 발견했는데, 15 특히 동료의 가치에 대한 두드러지는 주제는 어려운 환자를 의논하고, 행동을 검토하며, 함께 배우고 서로로부터 배우며, 스스로의 진료행위를 돌아보게 하는 거울로서의 가치였다.e. 그들은 이러한 상호 작용을 가치 있는 피드백을 제공하는 것으로 보았고, 따라서 자기 평가에 informing하고 환자 관리 개선을 위한 기회를 제공하였다.

The need to be autonomous yet also to be part of a network or group of colleagues was a tension expressed at all levels of learning and practice. For practicing physicians, who we found often lacked access to formal feedback based on explicit standards to assess their practice,15 a particularly strong theme was the value of having colleagues with whom to discuss difficult patients, review actions, learn with and from, and whose practices could serve as a mirror or check for one’s own practice. They viewed these interactions as providing valuable feedback, thus informing self-assessment and providing opportunities for improved patient care.


학부 학습자는 동료의 상호작용의 가치에 대한 유사한 견해를 나타냈다.

An undergraduate learner expressed a similar view of the value of peer interaction:


한 학생은 병동 한쪽에, 다른 학생은 병동의 다른 한 쪽에 있다. 우리는 무슨 경험을 했는지, 어떻게 일을 했는지에 대해 이야기합니다. 그리고 그것은 여러분이 자신을 돌아보는 데 정말 도움이 됩니다. 예를 들어, "내가 일을 잘하니, 평범한 학생이니?" 또는 "내가 정말 바보야?" 이를 통해 경험을 공유할 수 있습니다. (5학년)

There is one student at one side of the ward and [another student] at the other side of the ward. We often talk to each other, how you experienced this or how did you do things. And it really helps you to reflect on yourself. Like, “Do I do things well, am I a normal student?” or “Am I very stupid?” It helps you to [share] experience. (Undergraduate I5)


그러나 동시에, 의문을 제기하고 배우기를 원하면서도 무능해 보이기를 원하지 않기 때문에 긴장이 고조되었다. 의사 참여자들은 자신들이 아무것도 모른다는 것을 다른 사람들에게 인정하는 것이 얼마나 어려운지에 대해 말했다. 학생들과 레지던트들은 질문하기를 꺼린다고 말했다. 그들은 이러한 상황에서 우월한 지식의 태도를 보여준 동료들에 비해 스스로 부적절하다는 느낌을 기술하였다. 일부 참가자는 이러한 긴장을 성숙하게 해결한 것으로 보이며, 중요한 것은 신뢰할 수 있는 동료 또는 컨설턴트 그룹을 양성하여 환자 진료를 돕고 안전하고 신뢰할 수 있는 방식으로 자체 평가를 제공하는 것이다.

At the same time, however, tension emerged between wanting to question and learn and yet not wanting to look incompetent. Physician participants spoke of how difficult it was to admit to others that they did not know something. Students and residents spoke of reluctance to ask questions. They described feeling inadequate in such situations compared with peers who conveyed an attitude of superior knowledge. Some participants seemed to have resolved this tension with maturity and, importantly, had cultivated a group of trusted colleagues or consultants who could provide help with patient care and inform self-assessment in a safe and trusted manner.


그러나, 유명하고 신뢰할 수 있는 동료들이 있는 그룹 내에서조차, 자기 평가에 inform하기 위한 자료를 찾는 것은 unspoken으로 남을 수 있다. 개인들은 자신의 지식을 다른 사람과 비교하면서 [자신의 접근방식을 재고하거나] [자신의 지식을 갱신할 필요가 있다]고 마음속으로 느꼈다.

Yet, even within the group, with well-known and trusted colleagues, the seeking of data to inform self-assessment could be left unspoken. Individuals noted inwardly to themselves the need to reconsider an approach or update their knowledge as they compared their knowledge with others’.


모르는 것은 모르는 것이지요. 맞죠? 누군가는 그것을 알고 있음을 깨닫고, "나는 그것을 몰라"라고 말하기 전 까지는 말이에요.

You don’t know what you don’t know, right?…Until somebody knows itand you say, “I don’t know that.” (Physician M1)


사람들 사이의 긴장감은 자기 평가에 잠재적으로 정보를 줄 수 있는 피드백을 찾고자 하는 열망에서도 비롯되었다. 학습자에게 있어, 감독자의 피드백은 특히 얻기 어려웠고, 원하는 만큼 자주 받지 못했다. 감독관에게 피드백을 요청하는 것은 충분히 autonomous하게 수행하지 못하는 것으로 인식될 위험이 있었다.

Tensions between people also resulted from the desire to seek feedback that could potentially inform self-assessment, yet being precluded from doing so. For learners, feedback from supervisors was especially challenging to obtain and was not received as frequently as desired. Asking for feedback from supervisors runs the risk that one will be perceived as not performing autonomously enough, as a resident related:


그러나 피드백을 받았더라도, 때때로 신뢰도가 낮은 것으로 인식되었다. 특히 감독자가 장시간에 걸쳐 평가가 필요한 성과를 실제로 관찰하거나 감독자를 충분히 면밀하게 관찰할 수 있는 기회를 갖지 못한 경우에 그러하였다.

However, when feedback was received, it was sometimes not perceived as credible, especially if the supervisor had not actually had the opportunity to observe the performance on which the assessment was needed or to observe the supervisee closely enough over time.


사람들 사이의 세 번째 긴장은 관계의 성격과, 피드백 제공에 대한 관계의 영향, 그리고 지속적인 관계가 피드백에 대해 갖는 함의에 관한 것이었다. 동료 학습자, 연습 동료, 전문가 등 다른 동료들로부터 받은 피드백은 [상호 신뢰와 존경이 존재하는 관계에서 발생했을 때] 더 도움이 된다고 생각되었습니다. 이러한 특징들은 오랜 기간의 친숙함과 관계 때문에 종종 형성되었다. 그러한 피드백은 유용하고 신뢰할 수 있는 것으로 인식되었다.

The third tension between people concerned the nature of relationships, their influence on the provision of feedback, and the implications of feedback for the ongoing relationship. Feedback from other colleagues, be they peer learners, practice colleagues, or specialists, was definitely thought to be enhanced when it occurred in a relationship where mutual trust and respect were present. These characteristics had often formed because of familiarity and relationships of long duration. Such feedback was perceived as intended to be helpful and credible.


그러나 역설적으로 관계에서 신뢰와 존중은 건설적인 피드백을 받을 가능성을 감소시킬 수도 있다.

Paradoxically, however, trust and respect in the relationship might lessen the likelihood of receiving constructive feedback: Feedback-giving sometimes was tempered by the desire not to harm or disrupt the relationship.


그러나, 피드백을 제공하지 못하는 것은 (피드백을 주는 행위와 마찬가지로) 관계에 해를 끼치는 것으로 인식될 수 있다. 예를 들어, 참가자들은 동료(예: 간호사)가 다중 소스 피드백을 통해 피드백을 제공하기를 거부하는 상황을 설명했다. 이러한 주저함은 잠재적으로 부정적인 피드백처럼 인식되어, 어떤 기준을 충족시키지 못했는지에 대한 의문을 갖게 만들었다: 직접적인 피드백이 없을 경우 사람들 사이의 긴장이 감소하기 보다는 증가되었다.

In fact, however, the failure to give feedback could be perceived to be as damaging to the relationship as the act of giving feedback. For example, participants described situations where a coworker (e.g., a nurse) declined to provide feedback through multisource feedback. This reluctance was perceived by participants as indicating potentially negative feedback, raising questions about what standard(s) they had failed to meet: Absence of direct feedback increased, rather than diminished, the tensions between people.



학습 및 진료 환경의 긴장

Tensions in the learning or practice environment


개인은 자신이 속한 환경과 별개로 작동하지 않는다.

(1) 명시된 커리큘럼과 "실제 과정" 사이의 긴장 

(2) 자기평가에 도움이 되는 authentic 활동에 참여하는 것과 "평가 게임을 하는 것" 사이의 긴장

Individuals do not operate separately from the environment they are part of;

(1) tensions between the stated curriculum and the “curriculum-in-action,” and 

(2) tensions between engaging in authentic activities that inform one’s self-assessment and “playing the evaluation game.”


학습자들은 명시된 커리큘럼을 통해 수신한 명시적 피드백과 시행 중인 커리큘럼을 통해 수신한 암묵적 피드백 사이의 긴장감과 어느 정도 불협화음을 인지했다고 보고했다. 이것은 [학습자들이 요청받은 것]과 [선생님들이 실제로 하는 것] 사이의 단절로 보여졌다. 한 학부생이 OSCE에 대해 다음과 같이 언급했다.

Learners reported perceiving a tension and some dissonance between the explicit feedback received through the stated curriculum and the implicit feedback received through the curriculum-in-action. This presented as a disconnect between what they as learners were asked to do and what they saw their teachers do. An undergraduate made this comment about an OSCE:


우리는, 마치 우리가 "해야 하는 모든 것"에 대한 체크리스트(gold standard)를 하고 있는 것 같습니다. 그러나 실제로는 많은 의사들이 너무 바쁘거나 어떤 이유로든 신경쓸 수 없기 때문에 많은 것들을 놓치고 있습니다. (C2)

We’re, like, doing the proper checklist of everything that we should do, the gold standard, whereas in reality a lot of doctors miss out things because they’re too busy or can’t be bothered for whatever reason. (C2)


그 결과 학생들은 espoused 관행과 enacted 관행 사이의 격차를 해소할 수 없었다. 더우기, [일관되지 않은 표준]과 [안정적인 벤치마크 세트를 찾을 수 있는 수단 부족]은 이를 더욱 복잡하게 했다. 또한 위계적 관계와 권력 역학도 이 긴장 해결을 더 복잡하게 했다. 

The result was that individuals could not resolve the gaps between espoused and enacted practices. This was further complicated by standards that were inconsistent and by lack of a means to find a stable set of benchmarks. Hierarchical relationships and power dynamics complicated resolving this tension. 


[자신의 평가에 도움이 되고자 할 때inform 얻는 혜택]과 [자기 평가 프로세스의 authenticity에 대한 우려] 사이에 최종적인 긴장이 발생했는데, 이는 ISA전략이 어떻게 도입되느냐 또는 학습자 engagement가 어떠냐에 따라 유용할수도, 역효과를 낼 수도 있음을 시사한다. 예를 들어, 성찰활동 및 피드백에 대한 요구사항이 많을 때, 어떤 학생들은 이것이 정말 도움이 되는지, 아니면 이것이 다른 사람을 위해 해야 하는 일종의 "게임"인지에 의문을 제기하였다.

A final tension emerged between the benefits expected of seeking to inform one’s self-assessment and concerns about the authenticity of self-assessment processes, which suggests that the use of informed self-assessment strategies can be helpful or counterproductive depending on their implementation and learner engagement. For example, when there were many requirements for reflective activity and/or feedback, some questioned whether it was helpful or a meaningless “game” that had to be played to satisfy others:


아직 면허가 없는 학습자와 대학원 학습자 모두 포트폴리오를 만들고 공식적인 성찰과 자체 평가에 참여하는데 필요한 유사한 긴장감의 예를 설명했다. 그 반응은 강제적 성찰과 자발적인 성찰 사이의 긴장, 자신의 성찰을 검토함으로써 배우는 것과 "다른 누군가를 위해서" 그것을 한다는 감정 사이의 긴장을 보여주었다.

Both prelicensure learners and postgraduate medical learners described similar examples of tension in being required to create portfolios and engage in formal reflection and self-assessment. The responses revealed tension between forced and spontaneous reflection, and between learning from reviewing one’s reflection and a feeling of “doing it for someone else,”


저는 우리가 성찰해야 하는 것은 강요된 것이었고, 우리가 하고 싶어하는 것은 아니었다. 그것은 일종의 "이렇게 해야 한다, 그렇지 않으면 너는 너의 포트폴리오를 망칠 것이다."와 같은 것이었다. "만약 네가 이것이 중요하다고 생각한다면, 그것에 대해 생각해 보아라, 그러면 그것은 너를 도울 것이다."가 아니었다.

[I]t seemed like it was quite forced upon us that we had to reflect, and it didn’t seem like something that we’d want to do. It was sort of like “You must do this, otherwise you’ll fail your portfolio” rather than, “If you feel like this was significant, then reflect on it and it’ll help you.”


그러니까 "아, 그럼 (포트폴리오를 위해서) 뭐라도 만들어야겠네요"같은 것이다 .질보다 양이 중요하다. (H7) 

So it’s just about “Ahh, ok, then, I have to make something up for it”…. The quantity is more [valuable] than the quality. (Undergraduate H7)


그러나 이러한 긴장감에도 불구하고, 일부는 그들이 어쩔 수 없이 포트폴리오를 유지하고 있더라도, 포트폴리오가 학습과 자기 평가에 유용하다는 것을 발견했다.

Yet, despite these tensions, some found that, however reluctantly they had approached keeping a portfolio, they considered it useful for their learning and self-assessment.


고찰

Discussion


Teunissen et al16과 Kennedy et al17,18 모두 피드백을 구하고 도움을 요청하는 훈련생들의 행동에 영향을 미치는 복잡하고 역동적인 상호작용을 설명한다. 이 저자들은 직접적으로 긴장이라고 표현하지는 않았지만, 놀라운 것은 이들 역시 우리 연구의 practicing physician들과 마찬가지로 훈련생들 사이에서 다양한 tension이 존재하고 있다는 것이다.

Both Teunissen et al16 and Kennedy et al17,18 describe a complex and dynamic interplay of influences on trainees’ behavior in feedback-seeking and asking for help. Although not labeled directly as tensions by these authors, What is striking is that the tensions these two author groups identified among trainees were also found present to varying extents in practicing physicians in our study.


비록 우리의 연구가 종단적 데이터를 산출하지는 못했지만, 우리는 학습자와 의사 단계에서 긴장감이 지속되는지, 그리고 시간이 지남에 따라 변화했는지, 아니면 단순히 더 이상 관련이 없는지를 탐구하는 데 관심이 있었다. 우리의 연구 결과에 따르면, 대부분의 긴장은 시간이 지나도 변하지 않는 것처럼 보였다; 게다가, 긴장은 그것을 마주칠 때마다 재협상을 필요로했고, 심지어 경험으로도 그 영향이 줄어들지 않는 것처럼 보였다.

Although our study did not yield longitudinal data, we were interested to explore whether tensions were sustained across learner and physician stages, and whether they changed over time, were resolved, or simply were no longer relevant. Based on our findings, most tensions did not seem to change over time; moreover, they seemed to require renegotiation each time they were encountered and their impact was undiminished, even with experience.


두 가지 이론적 관점

Two theoretical perspectives


사회인지이론
Social cognitive theory.


첫째로, 이 이론은 다른 사람들과, 다른 사람들로부터 배우는 (학습의) 사회적 성격에 중점을 둔다; 그것은 또한 개인과 학습 환경 사이의 지속적인 역동적 상호 작용이다. SCT에서 개인의 주체성을 강조하며, 개개인은 목표를 설정하고, 목표에 대해서 성과와 진행상황을 성찰할 수 있는 선천적인 능력이 있다. 또한 학습자가 자신의 목표를 향해 진행상황을 모니터링할 수 있도록 하는 데 있어 피드백의 근본적인 중요성을 강조한다.

First, this theory places central importance on the social nature of learning with and from others; it also posits a continuous dynamic reciprocal interaction between the individual and the learning environment. SCT emphasizes individual agency, viewing individuals as having an innate capability to set goals and to reflect on their performance and progress toward their goals; it also emphasizes the fundamental importance to learning of feedback, particularly its role in helping learners to monitor progress toward their goals.


둘째, SCT는 또한 다른 사람들의 행동과 상호작용을 관찰하고 그 결과들을 관찰함으로써 일어나는 대리vicarious 학습에 중점을 둔다. 본 연구에서는 학습자와 의사가 [직업과 직장에서 중요하게 여기는 것]을 관찰하는 과정에서 [무엇이 역량인가]와 같은 가치가 강화될 수 있습니다. 학습자들은 또한, 특정한 가치들이 겉으로는 강조되지만, 실제로는 실천되지 않는다는 것을 알 수 있다.22 실제로 케네디와 동료의 17,18명이 환경에서 상호작용을 관찰하는 과정에서 작업하듯이, 학습자들은 일부 피드백을 찾는 행동FSB이  위험하다고 판단할 수 있다.

Second, SCT also emphasizes the vicarious learning that occurs through observation of others’ actions and interactions, along with their consequences. In our study, values such as appearing competent may be reinforced by what learners and physicians observe and see is valued in the profession and in the workplace. Learners may also see that although certain values are espoused, they are not enacted in practice.22 Indeed, as in Kennedy and colleagues’17,18 work through watching interactions in the environment, learners may determine that some feedback-seeking behaviors are risky.


셋째, 자기효능감(특정 업무나 일련의 업무를 수행하는 능력에 대한 스스로의 인식)은 SCT필수적이다. 연구결과로부터 비록 두 가지 내적 긴장이 별도로 표현되었지만, 두 가지 모두 낮은 자기효능감이 이유일 수 있다.

Third, the construct of self-efficacy, or the perceptions that persons hold of their ability to execute a specific task or set of tasks, is integral to SCT.19 Although two internal tensions were articulated separately, the concept of self-efficacy may underlie them both.



상황학습과 실천공동체

Situated learning and communities of practice.


두 번째 유용한 이론적인 관점은 상황학습과 실천 공동체입니다. 이 이론적 접근법은 사회문화 이론에서 비롯되며, 그 전제는 학습은 그것이 일어나는 맥락과 분리될 수 없다는 것이다. 이러한 관점에서 학습자는 자기 평가를 위한 기술을 습득할 뿐만 아니라, 커뮤니티에 존재하는 긴장을 습득하게 된다.

A second helpful theoretical perspective is that of situated learning and communities of practice . These theoretical approaches originate in sociocultural theory and are based on the premise that learning is inseparable from the context in which it occurs. In this view, learners may not only acquire the skills to inform their self-assessments but may also acquire the tensions extant in the community.


상황학습의 핵심 원칙은 학습은 커뮤니티 참여를 통해 이루어지고, 커뮤니티에 대해 점점 더 큰 책임을 가지게 됨을 의미합니다. 학습자는 커뮤니티의 활동 및 실습에 참여하며 "구성원이 말하는 것이 무엇인지"와 "어떻게 말해야 하는지"를 모두 학습합니다. 우리의 참가자들은 공동체의 일원이 되기 위해 노력했고, 그렇게 하는 방법 중 하나는 기존 구성원이 평가에 대해 어떻게 말하는지, 어떻게 암묵적 또는 명시적으로 피드백을 찾는지 등을 듣고 배우는 것이었다.

A key tenet of situated learning is that learning occurs through the learner’s participation in, and becoming an increasingly responsible part of, the community. Learners participate in the community’s activities and practices, learning both “from talk” and “to talk.” Our participants strove to become part of the community and did so through listening and learning how to talk about assessment and how to seek feedback both tacitly and explicitly.


마지막으로, Lave와 Wenger의 20년 관점에서는, 새로운 커뮤니티 구성원들 또한 참여를 통해 기여하는 바가 있기 때문에, 기존의 긴장을 재생산하는 데 참여할 수 있다.

Last, in Lave and Wenger’s20 view, newer community members also contribute through their participation, and therefore they may participate in creating and recreating the existing tensions.


실천을 위한 함의

Implications of our findings for practice


Informed self-assessment를 위한 효과적인 환경을 제공하기 위한 다음의 조건을 제시한다. 

we propose the following conditions that might support the provision of an effective environment for informed self-assessment.


내적 긴장에 대해,

(1) 피드백 수령의 감정적 측면에 대해 분명히 인식한다. 

(2) 자기 평가를 모순된 피드백과 조화시키는 데 내재된 어려움을 인식한다.

For tensions within the self, 

(1) there is explicit recognition of the emotional aspect of receiving feedback, and 

(2) the inherent difficulty in reconciling self-appraisal with contradictory feedback is recognized.


개인 간 긴장에 대해

(1) 교사-리너와 동료-동료 관계는 존중되고 지지적이도록 한다. 

(2) 제공되는 피드백은 학습자의 필요에 맞게 전달한다 

(3) 학습을 가능하게enable 하는 피드백의 adoption이 지원한다.

For tensions between individuals, 

(1) teacher–learner and peer–peer relationships are respectful and supportive, 

(2) feedback that is provided is informed and specific to the learner’s needs, and 

(3) the adoption of feedback that seeks to enable learning is supported.


학습 환경의 긴장에 대해

(1) 상호 학습 및 집단 학습의 분위기를 지원한다. 

(2) 피드백을 주고 받는 것에 대한 적절한 모델링을 한다

(3) informed 자체 평가의 이점을 교사와 학습자에게 분명히 보여준다

For tensions in the learning environment, 

(1) a climate of mutual and collective learning is supported, 

(2) there is appropriate modeling of giving and receiving feedback, and 

(3) benefits of informed self-assessment are made explicit to teachers and learners.


Conclusions


Informed self-assessment 는 그 자체가 목적이 아니라, 성능을 개발, 유지 및 개선하는 데 필수적인 방법으로 보아야 합니다. 우리가 설명한 긴장감은 학습에 지장을 줄 수 있고 따라서 궁극적으로 학습자가 더 큰 능력을 달성하는데 영향을 미칠 수 있는 [정보에 근거한 자기 평가]의 개발을 지연시킬 수 있다.

Informed self-assessment should not be seen as an end in itself but, rather, as an essential route to developing, maintaining, and improving performance. The tensions we have described may slow the development of informed self-assessment, which could impede learning and, therefore, ultimately have an impact on the learner’s achievement of greater competence.



11 Sargeant J, Armson H, Chesluk B, et al. The processes and dimensions of informed self-assessment: A conceptual model. Acad Med. 2010;85:1212–1220. http://journals.lww.com/ academicmedicine/Abstract/2010/07000/The_ Processes_and_Dimensions_of_Informed.28. aspx. Accessed May 16, 2011.





 2011 Sep;86(9):1120-7. doi: 10.1097/ACM.0b013e318226abdd.

Tensions in informed self-assessment: how the desire for feedback and reticence to collect and use it can conflict.

Author information

1
Division of Medical Education, Faculty of Medicine, Dalhousie University, Halifax, Nova Scotia, Canada. Karen.Mann@Dal.Ca

Abstract

PURPOSE:

Informed self-assessment describes the set of processes through which individuals use external and internal data to generate an appraisal of their own abilities. The purpose of this project was to explore the tensions described by learners and professionals when informing their self-assessments of clinical performance.

METHOD:

This 2008 qualitative study was guided by principles of grounded theory. Eight programs in five countries across undergraduate, postgraduate, and continuing medical education were purposively sampled. Seventeen focus groups were held (134 participants). Detailed analyses were conducted iteratively to understand themes and relationships.

RESULTS:

Participants experienced multiple tensions in informed self-assessment. Three categories of tensions emerged: within people (e.g., wanting feedback, yet fearing disconfirming feedback), between people (e.g., providing genuine feedback yet wanting to preserve relationships), and in the learning/practice environment (e.g., engaging in authentic self-assessment activities versus "playing the evaluation game"). Tensions were ongoing, contextual, and dynamic; they prevailed across participant groups, infusing all components of informed self-assessment. They also were present in varied contexts and at all levels of learners and practicing physicians.

CONCLUSIONS:

Multiple tensions, requiring ongoing negotiation and renegotiation, are inherent in informed self-assessmentTensions are both intraindividual and interindividual and they are culturally situated, reflecting both professional and institutional influences. Social learning theories (social cognitive theory) and sociocultural theories of learning (situated learning and communities of practice) may inform our understanding and interpretation of the study findings. The findings suggest that educational interventions should be directed at individual, collective, and institutional cultural levels. Implications for practice are presented.

PMID:
 
21785309
 
DOI:
 
10.1097/ACM.0b013e318226abdd








효과적인 학습기법을 통한 학생의 학습 증진: 인지심리학과 교육심리학으로부터 (Psychol Sci Public Interest. 2013)

Improving Students’ Learning With Effective Learning Techniques: Promising Directions From Cognitive and Educational Psychology 

John Dunlosky1, Katherine A. Rawson1, Elizabeth J. Marsh2, Mitchell J. Nathan3, and Daniel T. Willingham4

1Department of Psychology, Kent State University; 2Department of Psychology and Neuroscience, Duke University;

3Department of Educational Psychology, Department of Curriculum & Instruction, and Department of Psychology,

University of Wisconsin–Madison; and 4Department of Psychology, University of Virginia




도입

Introduction


우리는 학생들이 다양한 콘텐츠 영역에서 자신의 성공을 향상시키기 위해 사용할 수 있는 10가지 학습 기법의 효능을 탐구했다.1

we explored the efficacy of 10 learning techniques (listed in Table 1) that students could use to improve their success across a wide variety of content domains.1


우리는 학생들에게 도움없이 실행될 수 있는 기술들로 우리의 선택을 제한했다. (예를 들어, 교사가 준비해야 하는 첨단 기술이나 광범위한 자료가 필요하지 않은 것)

we limited our choices to techniques that could be implemented by students without assistance (e.g., without requiring advanced technologies or extensive materials that would have to be prepared by a teacher).


표 2. 자료는 학생들이 배우고, 기억하고, 이해할 것으로 예상되는 특정 내용과 관련이 있다. 학습 조건은 학생들이 학습된 자료와 상호작용하는 맥락과 관련이 있다.

Table 2. Materials pertain to the specific content that students are expected to learn, remember, or comprehend. Learning conditions pertain to aspects of the context in which students are interacting with the to-belearned materials.


어떤 학생 특성이든 주어진 학습 기술의 효과에 영향을 미칠 수 있다.

Any number of student characteristics could also influence the effectiveness of a given learning technique.


각 학습 기법의 유효성이 긴 보유 간격에 걸쳐 획득되고 서로 다른 기준 과제에 걸쳐 일반화하는 정도는 매우 중요하다.

The degree to which the efficacy of each learning technique obtains across long retention intervals and generalizes across different criterion tasks is of critical importance.






학습 기술 리뷰

Reviewing the Learning Techniques


1 열심히 설명해보기

1 Elaborative interrogation


1.1 일반기술

1.1 General description of elaborative interrogation and why it should work.


정교한 질문 효과에 대한 일반적인 이론적인 설명은 정교한 질문이 기존의 사전 지식과의 새로운 정보의 통합을 지원함으로써 학습을 향상시킨다는 것이다. 정교한 질문에서 학습자들은 아마도 "스키마타 활성화..."를 할 것이다. 이 스키마는 검색을 용이하게 하는 새로운 정보를 구성하는데 도움을 준다. (윌비 & 우드, 1994년 140년). 새로운 사실을 이전 지식과 통합하면 해당 정보의 조직(헌트, 2006년)이 쉬워질 수 있지만, 조직만으로는 충분하지 않으며, 2006년에 배운 정보를 식별하거나 사용할 때 정확히 관련 사실을 구별할 수 있어야 한다(Hunt). 이 설명과 일관되게, 가장 정교한 질문들은 관련 entity들 사이의 유사성과 차이(예: 한 지방 대 다른 지방에 대한 사실인 이유)의 처리를 명시적으로 또는 암시적으로 초대한다는 점에 주목한다. 

The prevailing theoretical account of elaborative-interrogation effects is that elaborative interrogation enhances learning by supporting the integration of new information with existing prior knowledge. During elaborative interrogation, learners presumably “activate schemata . . . These schemata, in turn, help to organize new information which facilitates retrieval” (Willoughby & Wood, 1994, p. 140). Although the integration of new facts with prior knowledge may facilitate the organization (Hunt, 2006) of that information, organization alone is not sufficient—students must also be able to discriminate among related facts to be accurate when identifying or using the learned information (Hunt, 2006). Consistent with this account, note that most elaborative-interrogation prompts explicitly or implicitly invite processing of both similarities and differences between related entities (e.g., why a fact would be true of one province versus other provinces). 


아래에서 강조하는 바와 같이, 익힐 수 있는 사실들 사이의 유사성과 차이점 처리 또한 발견을 설명한다. 정교하고 정확한 해석은..

    • 부정확하기 보다는 정확할 때 더 효과적이다. 

    • 사전 지식이 높은 경우(기존 지식이 독특한 처리를 촉진하여 기억력을 향상시킨다는 연구(예: Rawson & Van Overschelde, 2008)에 효과적이고, 

    • elaboration이 자가 생성되었을 때(특징 효과가 자가 생성 항목별 단서, 헌트 & 스미스, 1996년) 효과적이다.

As we highlight below, processing of similarities and differences among to-be-learned facts also accounts for findings that elaborative-interrogation effects are often larger when elaborations are precise rather than imprecise, when prior knowledge is higher rather than lower (consistent with research showing that preexisting knowledge enhances memory by facilitating distinctive processing; e.g., Rawson & Van Overschelde, 2008), and when elaborations are self-generated rather than provided (a finding consistent with research showing that distinctiveness effects depend on self-generating item-specific cues; Hunt & Smith, 1996).


정교한 질문의 초기 체계적 연구들 중 하나인 프레스리, 맥다니엘, 턴ure, 우드, 그리고 아마드는 대학생들에게 특정한 남자의 행동을 묘사한 문장들의 목록을 제공했습니다. 정교한 대화 집단에서, 각 문장에 대해, 참가자들은 "왜 그 특정한 남자가 그런 짓을 했을까?"라고 설명하라는 질문을 받았다. 대신 다른 참가자들에게 각 문장에 대한 설명이 제공되었고(예: "배고픈 남자가 식당으로 가기 위해 차 안으로 들어갔음") 세 번째 그룹은 각 문장을 단순히 읽는다. 참가자들에게 각 행동을 수행한 각 사람을 상기하도록 지시한 최종 시험에서(예: "누가 차에 탑승했습니까?"), 정교 대화 그룹은 다른 두 그룹의 정확도 그룹(콜랩)보다 약 72% 더 뛰어났다. 이와 유사한 연구를 통해 세이퍼트(1993)는 0.85 - 2.57의 평균 효과 크기를 보고했다.

In one of the earliest systematic studies of elaborative interrogation, Pressley, McDaniel, Turnure, Wood, and Ahmad (1987) presented undergraduate students with a list of sentences, each describing the action of a particular man (e.g., “The hungry man got into the car”). In the elaborative-interrogation group, for each sentence, participants were prompted to explain “Why did that particular man do that?” Another group of participants was instead provided with an explanation for each sentence (e.g., “The hungry man got into the car to go to the restaurant”), and a third group simply read each sentence. On a final test in which participants were cued to recall which man performed each action (e.g., “Who got in the car?”), the elaborative-interrogation group substantially outperformed the other two groups (collapsing across experiments, accuracy in this group was approximately 72%, compared with approximately 37% in each of the other two groups). From this and similar studies, Seifert (1993) reported average effect sizes ranging from 0.85 to 2.57.



위에 설명된 것처럼, 정교한 질문의 핵심은 학습자가 명시적으로 언급한 사실에 대한 설명을 생성하도록 유도하는 것입니다. 설명 프롬프트의 특정 형식은 연구마다 다소 다르다. 예에는 "왜 말이 되는가?"왜 이것이 사실입니까?" 그리고 간단히 "왜?" 그러나 대부분의 연구는 "이 사실은 다른 [X]가 아닌 이 [X]에 왜 해당될까요?"라는 일반적인 형식에 따른 프롬프트를 사용해 왔습니다.

As illustrated above, the key to elaborative interrogation involves prompting learners to generate an explanation for an explicitly stated fact. The particular form of the explanatory prompt has differed somewhat across studies—examples include “Why does it make sense that…?”, “Why is this true?”, and simply “Why?” However, the majority of studies have used prompts following the general format, “Why would this fact be true of this [X] and not some other [X]?”



1.2 How general are the effects of elaborative interrogation?


1.3 Effects in representative educational contexts.


1.4 Issues for implementation.


정교한 질문의 한 가지 장점은 분명히 최소한의 훈련을 필요로 한다는 것이다. 정교한 질문 효과를 보고한 대다수의 연구에서 학습자는 간단한 지시를 받은 후 3-4개의 연습 사실(때로는 항상 그렇지는 않지만, 주요 과제의 품질에 대한 피드백 포함)을 만들기 위해 연습했다. 일부 연구에서, 학습자들은 주요 과제 이전에 어떠한 연습이나 실례를 제공받지 못했다. 게다가, 정교한 질문은 시간 요구에 관해서 상대적으로 합리적인 것처럼 보인다. 거의 모든 연구들이 사실을 읽고 정교함을 생성하는 데 할당된 시간(예: 각 사실에 대해 할당된 15초)을 합리적으로 제한한다. 자기 페이스 학습을 허용하는 몇 가지 연구 중 하나에서, 정교한 질문 및 읽기 전용 그룹 간의 작업 시간 차이는 상대적으로 최소화되었다. (32분 대 2010년, B. L Smith 등) 마지막으로, 여러 연구에서 사용되는 프롬프트의 일관성을 통해 학생들에게 연구 중 사실에 대해 상세히 설명할 때 사용해야 하는 질문의 특성에 대한 비교적 간단한 권고를 할 수 있다.

One possible merit of elaborative interrogation is that it apparently requires minimal training. In the majority of studies reporting elaborative-interrogation effects, learners were given brief instructions and then practiced generating elaborations for 3 or 4 practice facts (sometimes, but not always, with feedback about the quality of the elaborations) before beginning the main task. In some studies, learners were not provided with any practice or illustrative examples prior to the main task. Additionally, elaborative interrogation appears to be relatively reasonable with respect to time demands. Almost all studies set reasonable limits on the amount of time allotted for reading a fact and for generating an elaboration (e.g., 15 seconds allotted for each fact). In one of the few studies permitting self-paced learning, the time-on-task difference between the elaborative-interrogation and reading-only groups was relatively minimal (32 minutes vs. 28 minutes; B. L. Smith et al., 2010). Finally, the consistency of the prompts used across studies allows for relatively straightforward recommendations to students about the nature of the questions they should use to elaborate on facts during study.


위에서 언급한 한 가지 한계는 별도의 사실성 진술에 대한 정교한 질문의 적용 가능성을 좁게 하는 것이다. 해밀턴(1997)이 지적했듯이 사실적인 문장 목록에 초점을 맞출 때 협력적인 질문은 상당히 규정돼 있다. 그러나 더 복잡한 결과에 초점을 맞출 때, '왜' 질문을 지시하는 것이 무엇인지 명확하지 않다.(p.308) 예를 들어, 복잡한 인과 과정이나 시스템에 대해 배울 때(예: 소화 시스템) 정교한 조사를 위한 적절한 곡물 크기는 공개 질문입니다(예: 전체 시스템에 신속하게 초점을 맞춰야 하는가, 아니면 단지 작은 부분에 집중해야 하는가? 더욱이, 사실 목록을 다룰 때, 구체화되어야 할 사실들은 명확하지만, 더 긴 텍스트에 포함된 사실들에 대한 자세한 설명은 학생들이 그들 자신의 목표 사실을 식별하도록 요구할 것이다. 그러므로, 학생들은 정교한 조사가 성과 있게 적용될 수 있는 내용의 종류에 대한 약간의 교육이 필요할 수 있다. dosage는 또한 보다 긴 텍스트에 대한 우려사항이기도 하다. 일부 증거는 정교한 질문 효과가 (Callender & McDaniel, 2007) 매우 희석되거나 심지어 역방향(Ramsay, Sper)이라는 일부 증거를 제시한다.

With that said, one limitation noted above concerns the potentially narrow applicability of elaborative interrogation to discrete factual statements. As Hamilton (1997) noted, “elaborative interrogation is fairly prescribed when focusing on a list of factual sentences. However, when focusing on more complex outcomes, it is not as clear to what one should direct the ‘why’ questions” (p. 308). For example, when learning about a complex causal process or system (e.g., the digestive system), the appropriate grain size for elaborative interrogation is an open question (e.g., should a prompt focus on an entire system or just a smaller part of it?). Furthermore, whereas the facts to be elaborated are clear when dealing with fact lists, elaborating on facts embedded in lengthier texts will require students to identify their own target facts. Thus, students may need some instruction about the kinds of content to which elaborative interrogation may be fruitfully applied. Dosage is also of concern with lengthier text, with some evidence suggesting that elaborative-interrogation effects are substantially diluted (Callender & McDaniel, 2007) or even reversed (Ramsay, Sperling, & Dornisch, 2010) when elaborative-interrogation prompts are administered infrequently (e.g., one prompt every 1 or 2 pages).



1.5 Elaborative interrogation: Overall assessment.




2 자기 설명

2 Self-explanation


2.1 General description of self-explanation and why it should work.


자가 설명에 대한 정수의 연구에서 베리(1983)는 Wason card selection 작업을 사용하여 논리적 추론에 미치는 영향을 탐구했다. 이 과제에서 학생은 "A", "4", "D" 및 "3"이라는 라벨이 붙은 네 개의 카드를 보고 "한 쪽에 A가 있을 경우" 규칙을 테스트하기 위해 어떤 카드를 뒤집어야 하는지를 나타낼 수 있습니다. 학생들에게 먼저 규칙의 구체적인 인스턴스화(예: 항아리의 한쪽은 잼 맛, 다른 쪽에서는 판매가격)를 풀도록 했다. 정확도는 0에 가까웠다. 그런 다음 "if P, 그 다음 Q" 규칙을 해결하는 방법에 대한 최소한의 설명을 제공받았고, 이 규칙 및 기타 논리 규칙(예: "if P, then Q"가 아닌)의 사용과 관련된 일련의 구체적인 문제를 제공받았다. 이러한 일련의 구체적인 연습 문제 때문에, 한 그룹의 학생들이 각각의 카드를 선택하느냐의 이유를 말함으로써 각각의 문제를 해결하는 동안 스스로 설명하도록 유도되었다. 또 다른 그룹의 학생들은 세트의 모든 문제를 해결했고, 그 후에야 그들이 문제를 어떻게 해결했는지 설명해 달라는 요청을 받았다. 대조군 그룹의 학생들은 어떤 시점에서든 자기 설명을 하도록 요청받지 않았다. 연습 문제의 정확도는 세 그룹 모두에서 90% 이상이었다. 그러나 논리적 규칙이 후속 전송 테스트에서 제시된 일련의 추상적 문제에서 인스턴스화되었을 때, 두 자기 설명 그룹은 대조군 그룹보다 실질적으로 우세했다(그림 2 참조). 두 번째 실험에서, 또 다른 대조군은 그들이 방금 해결했던 구체적인 실행 문제와 다가올 추상적인 문제 사이의 논리적 연결에 대해 명확하게 말했지만, 그들은 더 나은 결과를 얻지 못했다.

In the seminal study on self-explanation, Berry (1983) explored its effects on logical reasoning using the Wason card-selection task. In this task, a student might see four cards labeled “A,” “4,” “D,” and “3" and be asked to indicate which cards must be turned over to test the rule “if a card has A on one side, it has 3 on the other side” (an instantiation of the more general “if P, then Q” rule). Students were first asked to solve a concrete instantiation of the rule (e.g., flavor of jam on one side of a jar and the sale price on the other); accuracy was near zero. They then were provided with a minimal explanation about how to solve the “if P, then Q” rule and were given a set of concrete problems involving the use of this and other logical rules (e.g., “if P, then not Q”). For this set of concrete practice problems, one group of students was prompted to self-explain while solving each problem by stating the reasons for choosing or not choosing each card. Another group of students solved all problems in the set and only then were asked to explain how they had gone about solving the problems. Students in a control group were not prompted to self-explain at any point. Accuracy on the practice problems was 90% or better in all three groups. However, when the logical rules were instantiated in a set of abstract problems presented during a subsequent transfer test, the two self-explanation groups substantially outperformed the control group (see Fig. 2). In a second experiment, another control group was explicitly told about the logical connection between the concrete practice problems they had just solved and the forthcoming abstract problems, but they fared no better (28%).


위에 설명된 것처럼, 자기 설명의 핵심 구성 요소는 학생들이 학습 중 처리 과정의 몇 가지 측면을 설명하도록 하는 것입니다. 정교한 질문의 관련 기법에 대한 기본적인 이론적 가정과 일관되게, 자기 설명은 기존의 사전 지식과의 새로운 정보의 통합을 지원함으로써 학습을 강화할 수 있다. 그러나, 정교한 대화 문헌에 사용된 일관된 프롬프트와 비교하여, 자기 설명을 유도하는 데 사용되는 프롬프트는 연구마다 훨씬 더 다양했다. 사용되는 프롬프트의 변화에 따라 자기 설명 효과의 기초가 되는 특정 메커니즘이 다소 다를 수 있습니다. 자가 설명이 나타나는 주요 연속성은 내용 없음과 내용별 등급에 따라 달라집니다. 예를 들어, 많은 연구에서 익힐 자료에서 특정 내용에 대한 명시적인 언급이 없는 프롬프트를 사용했다(예: "문장이 여러분에게 무엇을 의미하는지 설명). 즉, 그 문장은 당신에게 어떤 새로운 정보를 제공하는가? 그리고 여러분이 이미 알고 있는 것과 어떤 관계가 있을까요?") 연속체의 다른 쪽 끝에서, 많은 연구들은 다른 항목에 대해 서로 다른 프롬프트가 사용되는 것과 같이 훨씬 더 콘텐츠에 특정한 프롬프트를 사용했다. "이 단계에서 왜 숫자 14와 분모 7이 되는가?" 현재, 우리는 상대적으로 내용이 없는 프롬프트를 사용한 연구로 우리의 검토를 제한한다. 비록 많은 내용별 프롬프트가 설명을 이끌어내지만, 상대적으로 구조화된 이러한 프롬프트의 특성으로 인해 교사는 학생들이 스스로 사용할 수 있는 보다 일반적인 기법을 포착하기 보다는 실천하기 위해 특정 프롬프트 세트를 구성해야 할 것이다. 더욱이, 자기 설명 문헌에 위치했던 일부 연구에서, 프롬프트의 특성은 연습 시험의 성격과 더 밀접하게 기능한다.

As illustrated above, the core component of self-explanation involves having students explain some aspect of their processing during learning. Consistent with basic theoretical assumptions about the related technique of elaborative interrogation, self-explanation may enhance learning by supporting the integration of new information with existing prior knowledge. However, compared with the consistent prompts used in the elaborative-interrogation literature, the prompts used to elicit self-explanations have been much more variable across studies. Depending on the variation of the prompt used, the particular mechanisms underlying self-explanation effects may differ somewhat. The key continuum along which selfexplanation prompts differ concerns the degree to which they are content-free versus content-specific. For example, many studies have used prompts that include no explicit mention of particular content from the to-be-learned materials (e.g., “Explain what the sentence means to you. That is, what new information does the sentence provide for you? And how does it relate to what you already know?”). On the other end of the continuum, many studies have used prompts that are much more content-specific, such that different prompts are used for different items (e.g., “Why do you calculate the total acceptable outcomes by multiplying?” “Why is the numerator 14 and the denominator 7 in this step?”). For present purposes, we limit our review to studies that have used prompts that are relatively content-free. Although many of the content-specific prompts do elicit explanations, the relatively structured nature of these prompts would require teachers to construct sets of specific prompts to put into practice, rather than capturing a more general technique that students could be taught to use on their own. Furthermore, in some studies that have been situated in the self-explanation literature, the nature of the prompts is functionally more closely aligned with that of practice testing.


여기서 검토를 위해 선택된 일련의 연구들에서도, 상당한 변동성은 사용된 자가 설명 프롬프트에 남아 있다. 더욱이, 자기 설명을 탐구하는 데 사용된 작업과 조치의 범위는 상당히 크다. 이 범위를 문헌의 강점으로 보더라도, 자가 설명 프롬프트, 작업 및 조치의 다양성은 자기 설명 효과를 뒷받침하는 메커니즘에 대한 일반적인 요약 설명을 쉽게 뒷받침하지 않는다.

Even within the set of studies selected for review here, considerable variability remains in the self-explanation prompts that have been used. Furthermore, the range of tasks and measures that have been used to explore self-explanation is quite large. Although we view this range as a strength of the literature, the variability in self-explanation prompts, tasks, and measures does not easily support a general summative statement about the mechanisms that underlie self-explanation effects.


2.2 How general are the effects of self-explanation?


2.3 Effects in representative educational contexts.


2.4 Issues for implementation.


위에서 언급한 바와 같이, 자기 설명 전략의 특별한 강점은 광범위한 태스크 및 콘텐츠 영역에 걸친 광범위한 적용 가능성이다. 또한, 자기 설명의 상당한 효과를 보고하는 거의 모든 연구에서, 실험 과제를 완료하기 전에 참가자들에게 최소한의 지시와 자기 설명으로 거의 또는 전혀 연습하지 않는 최소한의 지시가 제공되었다. 따라서 대부분의 학생들은 최소한의 훈련으로 자기 설명으로 이익을 얻을 수 있다.

As noted above, a particular strength of the self-explanation strategy is its broad applicability across a range of tasks and content domains. Furthermore, in almost all of the studies reporting significant effects of selfexplanation, participants were provided with minimal instructions and little to no practice with self-explanation prior to completing the experimental task. Thus, most students apparently can profit from self-explanation with minimal training.


그러나 일부 학생들은 성공적인 자기 설명을 구현하기 위해 더 많은 교육이 필요할 수 있다. Didierjean과 Cauzinille-Marméche의 연구에서, 대수학이 좋지 않은 9학년생들은 대수학 문제를 해결하면서 자기 설명을 하기 전에 최소한의 훈련을 받았다. 여러 연구에서 최종 테스트 성과와 학습 중 학생들이 생성하는 설명의 양과 질 사이에 긍정적인 상관관계가 보고되었으며, 더 나아가 자가 설명의 이점은 효과적으로 자신을 설명하는 방법을 교육하는 방법을 통해 강화될 수 있다는 것을 암시합니다.ng methods, Ainsworth & Burcham, 2007; R. M. F. Wong 등, 2002을 참조한다. 그러나, 적어도 이러한 연구들 중 일부에서, 더 많거나 더 나은 품질의 자기 설명을 만든 학생들은 더 많은 도메인 지식을 가지고 있었을 수 있다. 만약 그렇다면, 이 기술을 이용한 추가 훈련이 더 형편없는 성적을 낸 학생들에게 도움이 되지 않았을 것이다. 자기 설명의 유효성에 대한 이러한 요인의 기여도를 조사하는 것은 이 기법을 사용하는 방법과 시기에 중요한 영향을 미칠 것이다.

However, some students may require more instruction to successfully implement self-explanation. In a study by Didierjean and Cauzinille-Marmèche (1997), ninth graders with poor algebra skills received minimal training prior to engaging in self-explanation while solving algebra problems; analysis of think-aloud protocols revealed that students produced many more paraphrases than explanations. Several studies have reported positive correlations between final-test performance and both the quantity and quality of explanations generated by students during learning, further suggesting that the benefit of self-explanation might be enhanced by teaching students how to effectively implement the self-explanation technique (for examples of training methods, see Ainsworth & Burcham, 2007; R. M. F. Wong et al., 2002). However, in at least some of these studies, students who produced more or better-quality self-explanations may have had greater domain knowledge; if so, then further training with the technique may not have benefited the more poorly performing students. Investigating the contribution of these factors (skill at self-explanation vs. domain knowledge) to the efficacy of self-explanation will have important implications for how and when to use this technique.


미결 문제는 자가 설명과 관련된 시간 요구 사항과 작업 시간 증가로 인한 자기 설명 효과의 범위에 관한 것입니다. 불행하게도, 자기 설명 조건을 다른 전략이나 활동과 관련된 조건을 통제하기 위해 비교할 때 과제에 대한 시간을 일치시키는 연구는 거의 없었고, 자기 중심적 실무와 관련된 대부분의 연구는 참가자의 직무 시간을 보고하지 않았다. 직무에 대한 보고 시간에서, 자기 중심적인 행정은 보통 다른 조건에 비해 자기 설명 조건에 대해 학습하는 데 소요되는 시간에서 불필요한 증가(30–100%)를 초래했는데, 이는 아마도 높은 수준의 결과일 것이다. 예를 들어, Chi 외 연구진(1994)은 설명문 각각의 문장을 읽은 후 학습자가 스스로 설명하도록 유도했다. 이는 그룹이 대조군(125분, 66분)과 비교하여 텍스트를 연구한 시간을 각각 두 배로 증가시켰다. 그와 함께, 슈worm과 렌클(2006)은 직무 시간이 그룹 간 성과와는 상관관계가 없다고 보고했고, 아인스워스와 버팀목(2007)은 연구 시간에 대한 통제가 자기 설명의 영향을 제거하지는 않았다고 보고했다.

An outstanding issue concerns the time demands associated with self-explanation and the extent to which self-explanation effects may have been due to increased time on task. Unfortunately, few studies equated time on task when comparing selfexplanation conditions to control conditions involving other strategies or activities, and most studies involving self-paced practice did not report participants’ time on task. In the few studies reporting time on task, self-paced administration usually yielded nontrivial increases (30–100%) in the amount of time spent learning in the self-explanation condition relative to other conditions, a result that is perhaps not surprising, given the high dosage levels at which self-explanation was implemented. For example, Chi et al. (1994) prompted learners to self-explain after reading each sentence of an expository text, which doubled the amount of time the group spent studying the text relative to a rereading control group (125 vs. 66 minutes, respectively). With that said, Schworm and Renkl (2006) reported that time on task was not correlated with performance across groups, and Ainsworth and Burcham (2007) reported that controlling for study time did not eliminate effects of self-explanation.


과제 시간이 동일한 소수의 연구들 내에서, 결과는 다소 엇갈렸다. 과제에 대한 시간을 동일시하는 세 가지 연구(d Bruin et al., 2007; de Koning, Tabbers, Rikers & Paas, 2011; O'Lilly, Symons. 이와는 대조적으로 매튜와 리틀 존슨(2009)은 3학년에서 5학년 사이의 그룹에게 자기 설명으로 수학 문제를 해결하는 연습을 시키고 대조군은 자가 설명 없이 두 배의 연습 문제를 해결했다. 분명히, 강력한 규범적 결론을 내리기 전에 자기 설명으로 제공된 책임에 대한 책임을 확립하기 위해 추가적인 연구가 필요하다.

Within the small number of studies in which time on task was equated, results were somewhat mixed. Three studies equating time on task reported significant effects of selfexplanation (de Bruin et al., 2007; de Koning, Tabbers, Rikers, & Paas, 2011; O’Reilly, Symons, & MacLatchy-Gaudet, 1998). In contrast, Matthews and Rittle-Johnson (2009) had one group of third through fifth graders practice solving math problems with self-explanation and a control group solve twice as many practice problems without self-explanation; the two groups performed similarly on a final test. Clearly, further research is needed to establish the bang for the buck provided by self-explanation before strong prescriptive conclusions can be made.



2.5 Self-explanation: Overall assessment.



3 요약

3 Summarization


3.1 General description of summarization and why it should work.


요약과 관련된 문제에 대한 소개로서, 시제품 실험의 설명부터 시작합니다. 브레칭과 쿨하비(1979)는 고교 3학년생들에게 가상의 부족에 대한 2,000단어짜리 글을 공부하도록 했다. 학생들은 5가지 학습 조건 중 하나에 배정되었고 본문을 공부하기 위해 최대 30분을 할애했다. 각 페이지를 읽은 후, 요약 그룹의 학생들은 그 페이지의 주요 내용을 요약한 세 줄의 텍스트를 쓰라는 지시를 받았다. 노트 필기를 하는 그룹의 학생들은, 그들이 읽는 동안 각 페이지의 노트를 3줄까지 읽도록 지시 받았다는 것을 제외하고는 비슷한 지시를 받았다. 언어 복사 그룹에 속한 학생들은 각 페이지에서 가장 중요한 세 줄을 찾아 복사하라는 지시를 받았다. 문자 검색 그룹의 학생들은 본문의 대문자를 모두 베꼈고, 또한 세 줄을 채웠다. 마지막으로, 대조군 그룹의 학생들은 아무것도 기록하지 않고 단순히 텍스트를 읽는다. (글쓰기와 관련된 네 가지 조건의 학생 중 일부는 자신이 쓴 내용을 복습할 수 있었지만, 현재 목적상 우리는 최종 시험 전에 복습할 기회를 얻지 못한 학생들에게 초점을 맞출 것이다.) 학생들은 1주일 후에 학습하거나 시험을 치렀다.원문을 가로질러서 즉시 및 지연된 테스트 모두에서, 요약 및 노트 작성 그룹의 학생들이 가장 잘 수행했고, 서신 검색 그룹에서 가장 나쁜 수행으로 언어 복사 및 제어 그룹의 학생들이 그 뒤를 이었다(그림 3 참조).

As an introduction to the issues relevant to summarization, we begin with a description of a prototypical experiment. Bretzing and Kulhavy (1979) had high school juniors and seniors study a 2,000-word text about a fictitious tribe of people. Students were assigned to one of five learning conditions and given up to 30 minutes to study the text. After reading each page, students in a summarization group were instructed to write three lines of text that summarized the main points from that page. Students in a note-taking group received similar instructions, except that they were told to take up to three lines of notes on each page of text while reading. Students in a verbatim-copying group were instructed to locate and copy the three most important lines on each page. Students in a letter-search group copied all the capitalized words in the text, also filling up three lines. Finally, students in a control group simply read the text without recording anything. (A subset of students from the four conditions involving writing were allowed to review what they had written, but for present purposes we will focus on the students who did not get a chance to review before the final test.) Students were tested either shortly after learning or 1 week later, answering 25 questions that required them to connect information from across the text. On both the immediate and delayed tests, students in the summarization and note-taking groups performed best, followed by the students in the verbatim-copying and control groups, with the worst performance in the letter-search group (see Fig. 3).


브레칭 및 Kulhavy(1979)의 결과는 요약이 자료의 상위 수준의 의미와 요지를 연구하고 추출하는 것을 포함하기 때문에 학습과 유지를 강화한다는 주장에 잘 맞습니다. 실험의 조건은 학습자가 의미를 추출할 필요가 없는 텍스트의 얄팍한 처리와 관련된 문자 검색 조건(Craik & Lockhart, 1972)과 함께 학생들이 얼마나 의미에 대해 처리하는지를 조작하기 위해 특별히 설계되었다. 요약본은 저 얕은 과제보다 더 유익했으며 학습을 촉진하는 것으로 알려진 또 다른 과제인 노트 채닝과 유사한 이익을 낳았다(예: 브레칭 앤 쿨하비, 1981; 1925a). 단, 텍스트의 요점을 추출하는 것은 단순히 개별 구성 요소를 평가하는 것(동일한 방식으로)이 아니라, 학습자가 텍스트의 서로 다른 부분을 연결해야 하기 때문에, 요약은 조직적 처리를 촉진해야 한다.싱; 아인슈타인, 모리스, 스미스. 

Bretzing and Kulhavy’s (1979) results fit nicely with the claim that summarization boosts learning and retention because it involves attending to and extracting the higher-level meaning and gist of the material. The conditions in the experiment were specifically designed to manipulate how much students processed the texts for meaning, with the letter-search condition involving shallow processing of the text that did not require learners to extract its meaning (Craik & Lockhart, 1972). Summarization was more beneficial than that shallow task and yielded benefits similar to those of note-taking, another task known to boost learning (e.g., Bretzing & Kulhavy, 1981; Crawford, 1925a, 1925b; Di Vesta & Gray, 1972). More than just facilitating the extraction of meaning, however, summarization should also boost organizational processing, given that extracting the gist of a text requires learners to connect disparate pieces of the text, as opposed to simply evaluating its individual components (similar to the way in which note-taking affords organizational processing; Einstein, Morris, & Smith, 1985). 


마지막으로 브레칭과 쿨하비(1979)의 결과에 대해 언급해야 한다. 즉, 요약과 메모는 모두 구두 복사보다 더 유익했다. 언어 복사 그룹의 학생들은 여전히 텍스트에서 가장 중요한 정보를 찾아야 했지만, 그들은 그것을 요약으로 통합하거나 그들의 노트에 다시 써넣지 않았다. 따라서, 자신의 말로 중요한 요점을 쓰는 것은 중요한 정보를 선택하는 것보다 더 많은 이점을 낳았다; 학생들은 요약과 고지에 관련된 보다 적극적인 과정으로부터 이익을 얻었다(Wittrock, 1990, Chi, 2009년, Wittgenerative 리뷰 참조). 이 모든 설명은 요약이 학생들이 본문의 주요 아이디어를 식별하고 정리하는 데 도움이 된다는 것을 암시한다.

One last point should be made about the results from Bretzing and Kulhavy (1979)—namely, that summarization and note-taking were both more beneficial than was verbatim copying. Students in the verbatim-copying group still had to locate the most important information in the text, but they did not synthesize it into a summary or rephrase it in their notes. Thus, writing about the important points in one’s own words produced a benefit over and above that of selecting important information; students benefited from the more active processing involved in summarization and notetaking (see Wittrock, 1990, and Chi, 2009, for reviews of active/generative learning). These explanations all suggest that summarization helps students identify and organize the main ideas within a text.


그렇다면 요약이 유익한 학습 전략이라는 증거는 얼마나 강력한가? 이 질문에 답하기 어려운 한 가지 이유는 요약 전략이 여러 가지 연구 방식에서 구현되었기 때문에 그 효과에 대한 일반적인 결론을 도출하기가 어렵다. 프레스리와 동료들은 "요약은 하나의 전략이 아니라 일군의 전략"이라고 언급했을 때 상황을 잘 설명했다. 주어진 특정 지침에 따라, 학생들의 요약은 단일 단어, 문장 또는 더 긴 단락으로 구성될 수 있다. 길이로 제한되거나, 전체 텍스트 또는 일부만 캡처하거나, 기억으로 소리내어 작성할 수 있다.

So how strong is the evidence that summarization is a beneficial learning strategy? One reason this question is difficult to answer is that the summarization strategy has been implemented in many different ways across studies, making it difficult to draw general conclusions about its efficacy. Pressley and colleagues described the situation well when they noted that “summarization is not one strategy but a family of strategies” (Pressley, Johnson, Symons, McGoldrick, & Kurita, 1989, p. 5). Depending on the particular instructions given, students’ summaries might consist of single words, sentences, or longer paragraphs; be limited in length or not; capture an entire text or only a portion of it; be written or spoken aloud; or be produced from memory or with the text present.


실제로 많은 연구가 어떤 형태로든 요약에 포함되었지만, 일부 증거는 요약이 효과가 있다는 것을 보여준다(예: L. W. Brooks, Dansereau, Holly, Holly, 1983). 670)은 오래되지 않습니다. 연구원들은 요약이 언제 어떻게 작동하는지 발견하는데 초점을 맞추는 대신, 그 자체와 훈련 없이 학생들이 더 나은 요약(예: 친구, 2001; Hare & Borchardt)을 쓰도록 훈련시키는 방법을 탐구하는 경향이 있다. 그러나 다른 이들은 단순히 이것을 더 큰 개입의 구성요소로서 포함하는 요약이 효과가 있다고 가정했다. (예: Carr, Bigler, 2009; Lee, Lim, and Grabowski, 2010; Pals). 모든 형태의 요약과 관련된 조사 결과에 대해 결론이 내려질 때 요약은 학생들에게 도움이 되는 것처럼 보이지만, 전략의 한 순간화에 대한 증거는 덜 설득력이 있다.

A lot of research has involved summarization in some form, yet whereas some evidence demonstrates that summarization works (e.g., L. W. Brooks, Dansereau, Holley, & Spurlin, 1983; Doctorow, Wittrock, & Marks, 1978), T. H. Anderson and Armbruster’s (1984) conclusion that “research in support of summarizing as a studying activity is sparse indeed” (p. 670) is not outmoded. Instead of focusing on discovering when (and how) summarization works, by itself and without training, researchers have tended to explore how to train students to write better summaries (e.g., Friend, 2001; Hare & Borchardt, 1984) or to examine other benefits of training the skill of summarization. Still others have simply assumed that summarization works, including it as a component in larger interventions (e.g., Carr, Bigler, & Morningstar, 1991; Lee, Lim, & Grabowski, 2010; Palincsar & Brown, 1984; Spörer, Brunstein, & Kieschke, 2009). When collapsing across findings pertaining to all forms of summarization, summarization appears to benefit students, but the evidence for any one instantiation of the strategy is less compelling.


학생들이 요약하도록 훈련하는 것에 대한 초점은 요약의 질이 중요하다는 믿음을 반영한다. 요약이 텍스트의 주요 요점을 강조하지 않거나 잘못된 정보가 포함된 경우, 학습과 유지에 도움이 될 것으로 예상되는 이유는 무엇입니까? Bednall과 Kehoe(2011, 실험 2)의 연구에 따르면, 학부생들은 서로 다른 논리적인 오류를 설명하고 각각의 예를 제공하는 여섯 개의 웹 단위를 연구했다. 현재 목적에서 관심 있는 것은 두 개의 그룹, 즉 단순히 단위를 읽는 그룹과 학생들이 마치 그것을 친구에게 설명하듯이 내용을 요약하도록 요청 받은 그룹이다. 두 그룹 모두 다음과 같은 시험을 받았다. 웹 단위에 직접 언급된 정보를 테스트한 복수 선택 퀴즈; 제시된 각 진술 목록에 대해 최종적으로 "하나의 특정 오류"를 기재하지 않은 단답형 시험. 학생들이 논리적인 오류에 대한 설명을 연구한 예(근접 전송)와 새로운 예(근접 전송)의 오류에 대한 설명을 쓰도록 요구했는지 테스트합니다. 요약본은 전반적인 성과에 도움이 되지 않았지만 연구원들은 요약본이 내용이 많이 다르다는 것을 알아챘다. 한 번의 연구된 오류에 대해서, 단지 64%만이 정확한 정의를 포함하고 있었다. 표 3은 요약 콘텐츠와 이후 성능 사이의 관계를 보여 줍니다. 더 많은 정보를 포함하고 이전 지식과 연결된 고품질 요약은 더 나은 성능과 관련이 있었다.

The focus on training students to summarize reflects the belief that the quality of summaries matters. If a summary does not emphasize the main points of a text, or if it includes incorrect information, why would it be expected to benefit learning and retention? Consider a study by Bednall and Kehoe (2011, Experiment 2), in which undergraduates studied six Web units that explained different logical fallacies and provided examples of each. Of interest for present purposes are two groups: a control group who simply read the units and a group in which students were asked to summarize the material as if they were explaining it to a friend. Both groups received the following tests: a multiple-choice quiz that tested information directly stated in the Web unit; a short-answer test in which, for each of a list of presented statements, students were required to name the specific fallacy that had been committed or write “not a fallacy” if one had not occurred; and, finally, an application test that required students to write explanations of logical fallacies in examples that had been studied (near transfer) as well as explanations of fallacies in novel examples (far transfer). Summarization did not benefit overall performance, but the researchers noticed that the summaries varied a lot in content; for one studied fallacy, only 64% of the summaries included the correct definition. Table 3 shows the relationships between summary content and later performance. Higher-quality summaries that contained more information and that were linked to prior knowledge were associated with better performance.



3.2 How general are the effects of summarization?


3.3 Effects in representative educational contexts.


3.4 Issues for implementation.


요약은 이미 요약하는 방법을 알고 있는 학부생이나 다른 학습자에게 실현 가능하다. 이러한 학생들에게, 요약은 완성하거나 이해하는 데 많은 시간이 걸리지 않는 쉬운 실행 기법이 될 것이다. 유일한 우려는 이 학생들이 어떤 다른 전략을 통해 더 나은 서비스를 받을 수 있는지의 여부일 것이다. 그러나 분명히, 요약은 학생들이 전형적으로 선호하는 학습 전략(예: 강조 표시 및 재독서)보다 나을 것이다. 더 까다로운 문제는 전문 요약자가 아닌 학생들에게 전략을 적용하는 것과 관련이 있다. 중학생이나 학습장애가 있는 학습자가 요약의 혜택을 받을 수 있도록 상대적으로 집중적인 교육 프로그램이 필요하다. 이러한 노력은 잘못된 것이 아니다. 훈련 절차는 실질적인 문제를 제기하지만(예: 1991년 중등교육 및 중등교육의 경우 Maljria & Salvia, 1992년: 6.5–11시간의 훈련)학습장애를 가진 학생; Rinehart 등, 1986년: 6학년 학생들에게 5일 동안 매일 45-50분씩 교육을 실시함). 물론, 강사들은 요약 자체가 목표이기 때문이 아니라 요약 자체를 연구 기법으로 사용할 계획이기 때문에 학생들이 자료를 요약하기를 원할 수 있고, 그 목표는 훈련의 노력을 할 가치가 있을 수 있다.

Summarization would be feasible for undergraduates or other learners who already know how to summarize. For these students, summarization would constitute an easy-to-implement technique that would not take a lot of time to complete or understand. The only concern would be whether these students might be better served by some other strategy, but certainly summarization would be better than the study strategies students typically favor, such as highlighting and rereading (as we discuss in the sections on those strategies below). A trickier issue would concern implementing the strategy with students who are not skilled summarizers. Relatively intensive training programs are required for middle school students or learners with learning disabilities to benefit from summarization. Such efforts are not misplaced; training has been shown to benefit performance on a range of measures, although the training procedures do raise practical issues (e.g., Gajria & Salvia, 1992: 6.5–11 hours of training used for sixth through ninth graders with learning disabilities; Malone & Mastropieri, 1991: 2 days of training used for middle school students with learning disabilities; Rinehart et al., 1986: 45–50 minutes of instruction per day for 5 days used for sixth graders). Of course, instructors may want students to summarize material because summarization itself is a goal, not because they plan to use summarization as a study technique, and that goal may merit the efforts of training.


그러나 요약본을 학습 기법으로 사용하는 것이 목표라면, 우리의 질문은 교사의 시간 및 학생들의 다른 활동에 필요한 시간 측면에서 모두 교육 시간이 어느 정도 소요될 것인가 하는 것이다. 예를 들어, 효과 면에서, 요약은 다른 기법과 비교했을 때 집합 중간에 있는 경향이 있다. 직접적인 비교에서, 그것은 때때로 재독하는 것보다 더 유용했고, 노트적기만큼 유용했으며, 설명생성 또는 자기질문보다는 덜유용했다.

However, if the goal is to use summarization as a study technique, our question is whether training students would be worth the amount of time it would take, both in terms of the time required on the part of the instructor and in terms of the time taken away from students’ other activities. For instance, in terms of efficacy, summarization tends to fall in the middle of the pack when compared to other techniques. In direct comparisons, it was sometimes more useful than rereading (Rewey, Dansereau, & Peel, 1991) and was as useful as notetaking (e.g., Bretzing & Kulhavy, 1979) but was less powerful than generating explanations (e.g., Bednall & Kehoe, 2011) or self-questioning (A. King, 1992).




3.5 Summarization: Overall assessment.




4 강조와 밑줄긋기

4 Highlighting and underlining


4.1 General description of highlighting and underlining and why they should work.


관련 문제에 대한 소개로서, 시제품 실험의 설명부터 시작합니다. Fowler와 Barker는 학부생들에게 Scientific American and Science의 권태와 도시 생활에 대한 기사를 읽게 했다. 학생들은 세 가지 그룹 중 하나에 배정되었는데, 그들은 기사를 읽기만 하는 대조군 그룹, 그들이 원하는 만큼 텍스트를 강조할 수 있는 능동 강조 그룹, 또는 수동 강조 표시 그룹이다.p. 모든 학생들이 본문을 연구하기 위해 1시간을 받았다. 모든 피험자는 1주일 후에 실험실로 돌아와 54개 항목 객관식 시험을 치르기 전에 10분간 원본을 검토할 수 있었다. 전반적으로, 강조표시 그룹은 최종 테스트에서 대조군보다 높은 성과를 거두지 못했는데, 이 결과는 안타깝게도 대부분의 문헌에서 반영되었다(예: 훈, 1974; Idstein & Jenkins, 1972년).

As an introduction to the relevant issues, we begin with a description of a prototypical experiment. Fowler and Barker (1974, Exp. 1) had undergraduates read articles (totaling about 8,000 words) about boredom and city life from Scientific American and Science. Students were assigned to one of three groups: a control group, in which they only read the articles; an active-highlighting group, in which they were free to highlight as much of the texts as they wanted; or a passive-highlighting group, in which they read marked texts that had been highlighted by yoked participants in the active-highlighting group. Everyone received 1 hour to study the texts (time on task was equated across groups); students in the active-highlighting condition were told to mark particularly important material. All subjects returned to the lab 1 week later and were allowed to review their original materials for 10 minutes before taking a 54-item multiple-choice test. Overall, the highlighting groups did not outperform the control group on the final test, a result that has unfortunately been echoed in much of the literature (e.g., Hoon, 1974; Idstein & Jenkins, 1972; Stordahl & Christensen, 1956).


그러나 두 개의 강조표시 그룹에서 성능에 대한 보다 상세한 분석으로 얻은 결과는 강조표시가 인지 처리에 어떤 영향을 미칠 수 있는지에 대한 정보를 제공한다. 

    • 첫째, 액티브 하이라이트 그룹에서 관련 텍스트가 강조된 테스트 항목에서는 성능이 더 우수했습니다( 비슷한 결과에 대해서는 Blanchard & Mikkelson, 1987; L. L. Johnson, 1988 참조). 

    • 둘째, 강조 표시된 정보에 대한 이 이점은 활성화된 고경사(강조할 항목을 선택한 사람)가 패시브 고경사(동일한 정보가 강조 표시되지만 선택하지 않은 사람)보다 더 큽니다. 

    • 셋째로, 강조하지 않은 정보를 조사하는 시험 문제에는 작은 비용이 수반되었다.

However, results from more detailed analyses of performance in the two highlighting groups are informative about what effects highlighting might have on cognitive processing. First, within the active-highlighting group, performance was better on test items for which the relevant text had been highlighted (see Blanchard & Mikkelson, 1987; L. L. Johnson, 1988 for similar results). Second, this benefit to highlighted information was greater for the active highlighters (who selected what to highlight) than for passive highlighters (who saw the same information highlighted, but did not select it). Third, this benefit to highlighted information was accompanied by a small cost on test questions probing information that had not been highlighted.


이러한 발견을 설명하기 위해, 연구원들은 종종 목록의 의미론적 또는 음성학적으로 독특한 항목이 덜 독특한 것에 비해 훨씬 더 잘 기억되는 분리 효과로 알려진 기본적인 인지 현상을 지적한다. 예를 들어, 학생들이 범주별로 관련된 단어 목록(예: "desk", "bed", "table", "table")을 공부하고 있을 경우, 다른 범주의 단어(예: "cow")가 제시된다.강조하기 위해 "cow"라는 단어가 가구 유형의 단어 목록에서 분리되었을 때와 같은 방식으로 강조되거나 밑줄이 그어진 문장 또는 대문자로 된 문장이 텍스트의 "pop out"가 된다. 이러한 기대와 일관되게, 표시된 텍스트를 읽으면 표시된 자료의 기억력이 향상된다는 많은 연구 결과가 나왔다. 학생들은 실험자가 본문에서 강조하거나 밑줄 친 것들을 기억할 가능성이 더 높다.

To explain such findings, researchers often point to a basic cognitive phenomenon known as the isolation effect, whereby a semantically or phonologically unique item in a list is much better remembered than its less distinctive counterparts (see Hunt, 1995, for a description of this work). For instance, if students are studying a list of categorically related words (e.g., “desk,” “bed,” “chair,” “table”) and a word from a different category (e.g., “cow”) is presented, the students will later be more likely to recall it than they would if it had been studied in a list of categorically related words (e.g., “goat,” “pig,” “horse,” “chicken”). The analogy to highlighting is that a highlighted, underlined, or capitalized sentence will “pop out” of the text in the same way that the word “cow” would if it were isolated in a list of words for types of furniture. Consistent with this expectation, a number of studies have shown that reading marked text promotes later memory for the marked material: Students are more likely to remember things that the experimenter highlighted or underlined in the text (e.g., Cashen & Leicht, 1970; Crouse & Idstein, 1972; Hartley, Bartlett, & Branthwaite, 1980; Klare, Mabry, & Gustafson, 1955; see Lorch, 1989 for a review).


정보를 능동적으로 선택하는 것은 단순히 표시된 텍스트를 읽는 것보다 기억력에 더 도움이 되어야 한다(전자가 생성, 슬라메카 & 그라프, 1978년 및 보다 일반적으로 능동적인 처리의 이점을 이용할 것으로 가정). 표시된 텍스트는 독자의 주의를 끌지만, 독자가 어떤 재료가 가장 중요한지 결정해야 할 경우 추가 처리가 필요하다. 그러한 결정은 독자가 본문의 의미와 본문의 다른 부분들이 서로 어떻게 관련되어 있는지에 대해 생각하도록 요구한다(즉, 조직적인 처리, 헌트 & 워튼, 2006). Fowler 및 Barker(1974) 실험에서 이 이점은 강조 표시된 동일한 텍스트의 수동 수신자보다 능동 고경사 중에서 강조된 정보에 대한 더 큰 장점에 반영되었다. 그러나 실험자가 이미 강조한 자료(예: Nist & Hogrebe, 1987년)보다 능동적인 강조표시가 항상 더 나은 것은 아니다. 실험자들이 일반적으로 가장 중요한 부분을 강조하는 학생들보다 더 나을 수 있기 때문이다.

Actively selecting information should benefit memory more than simply reading marked text (given that the former would capitalize on the benefits of generation, Slamecka & Graf, 1978, and active processing more generally, Faw & Waller, 1976). Marked text draws the reader’s attention, but additional processing should be required if the reader has to decide which material is most important. Such decisions require the reader to think about the meaning of the text and how its different pieces relate to one another (i.e., organizational processing; Hunt & Worthen, 2006). In the Fowler and Barker (1974) experiment, this benefit was reflected in the greater advantage for highlighted information among active highlighters than among passive recipients of the same highlighted text. However, active highlighting is not always better than receiving material that has already been highlighted by an experimenter (e.g., Nist & Hogrebe, 1987), probably because experimenters will usually be better than students at highlighting the most important parts of a text.


보다 일반적으로, 강조표시의 질은 학생들이 배우는 데 도움이 되는지에 매우 중요할 수 있다. 마크된 텍스트의 양을 조사한 연구들은 학생들이 실제로 표시하는 것에 큰 차이를 발견했고, 어떤 학생들은 거의 아무 것도 강조하지 않았고 다른 학생들은 거의 모든 것을 강조했다. (예: Idstein & Jenkins, 1972) 몇 가지 흥미로운 데이터는 파울러와 바커(1974년)의 활동적인 하이라이트 그룹에서 나왔다. 작은 표본 크기(n = 19)를 고려할 때 유의하지 않았지만 테스트 성능은 액티브 하이라이트 그룹에서 강조된 텍스트 양과 부정적인 상관 관계가 있었습니다(r = –.29)

More generally, the quality of the highlighting is likely crucial to whether it helps students to learn (e.g., Wollen, Cone, Britcher, & Mindemann, 1985), but unfortunately, many studies have not contained any measure of the amount or the appropriateness of students’ highlighting. Those studies that have examined the amount of marked text have found great variability in what students actually mark, with some students marking almost nothing and others marking almost everything (e.g., Idstein & Jenkins, 1972). Some intriguing data came from the active-highlighting group in Fowler and Barker (1974). Test performance was negatively correlated (r = –.29) with the amount of text that had been highlighted in the activehighlighting group, although this result was not significant given the small sample size (n = 19).


텍스트를 너무 많이 표시하면 여러 가지 결과가 발생할 수 있습니다. 첫째, 과도하게 표시하면 표시된 텍스트가 다른 텍스트와 구별되는 정도가 줄어들고, 눈에 띄지 않는다면 사람들은 표시된 텍스트를 기억할 가능성이 더 적다. (로치, 로치, & 클레슈비츠, 1995) 둘째, 가장 중요한 세부 사항들을 정리하는 것보다 많은 텍스트를 강조하는 데 더 적은 프로세싱이 필요할 수 있다. 이 후자의 아이디어와 일관되게, 실험자들이 학생들이 표시할 수 있는 텍스트의 양에 명백한 제한을 가할 때 텍스트 표시의 이점이 더 관찰될 수 있다. 예를 들어, 리카드와 8월(1975년)은 한 문단당 한 문장의 밑줄만 긋는 학생들이 나들이 대조군보다 더 많은 과학 교재를 기억해냈다는 것을 발견했다. 비슷하게, L. L. L. Johnson (1988)은 한 단락당 하나의 문장을 표시하는 것이 전반적인 혜택으로 번역되지는 않았지만, 읽기 수업에서 대학생들이 밑줄이 그어진 정보를 기억하는데 도움이 된다는 것을 발견했다.

Marking too much text is likely to have multiple consequences. First, overmarking reduces the degree to which marked text is distinguished from other text, and people are less likely to remember marked text if it is not distinctive (Lorch, Lorch, & Klusewitz, 1995). Second, it likely takes less processing to mark a lot of text than to single out the most important details. Consistent with this latter idea, benefits of marking text may be more likely to be observed when experimenters impose explicit limits on the amount of text students are allowed to mark. For example, Rickards and August (1975) found that students limited to underlining a single sentence per paragraph later recalled more of a science text than did a nounderlining control group. Similarly, L. L. Johnson (1988) found that marking one sentence per paragraph helped college students in a reading class to remember the underlined information, although it did not translate into an overall benefit.



4.2 How general are the effects of highlighting and underlining?


4.3 Effects in representative educational contexts.


4.4 Issues for implementation.


학생들은 이미 강조표시 기술에 익숙하고 자발적으로 채택하고 있다. 문제는 이 기법을 구현하는 방식이 일반적으로 효과적이지 않다는 것이다. 일반적으로 사용되는 기법은 일반적으로 학습에 해로운 것은 아니지만(가능한 예외는 Peterson, 1992 참조), 학생들이 다른 보다 생산적인 전략에 관여하지 못하게 할 정도로 문제가 있을 수 있다.

Students already are familiar with and spontaneously adopt the technique of highlighting; the problem is that the way the technique is typically implemented is not effective. Whereas the technique as it is typically used is not normally detrimental to learning (but see Peterson, 1992, for a possible exception), it may be problematic to the extent that it prevents students from engaging in other, more productive strategies.


탐구되어야 할 한 가지 가능성은 학생들이 더 효과적으로 강조할 수 있도록 훈련 받을 수 있느냐 하는 것이다. 우리는 학생들이 강조할 수 있도록 훈련하는 데 초점을 맞춘 세 가지 연구를 찾아냈다. 이 중 두 가지 경우에서 훈련은 학생들이 텍스트를 표시하기 전에 주요 아이디어를 찾기 위해 텍스트를 읽는 것을 연습하는 하나 이상의 수업을 포함한다. 학생들은 목표 텍스트를 표시(그리고 시험을 받기)하기 전에 연습 본문에 대한 피드백을 받았고 향상된 성과를 훈련했다(예: Amer, 1994; Hayati & Shaciifar, 2009). 세 번째 경우, 학생들은 본문에서 가장 중요한 내용을 밑줄 칠 수 있는 능력에 대한 피드백을 받았다. 한 가지 조건에서, 학생들은 심지어 관련 없는 물질들의 밑줄로 점수를 잃었다. 이 세 가지 사례의 교육 절차는 모두 피드백이 포함되었으며, 모두 기술의 남용을 어느 정도 방지할 수 있었습니다. 학생들이 강조하거나 밑줄을 긋는 것에 대한 열정을 고려할 때(또는 학생들이 이 기법을 항상 올바르게 사용하지 않는다는 점을 고려할 때) 이 기법을 효과적으로 사용하도록 하기 위한 실패할 염려가 없는 방법을 발견하는 것이 다른 학생들에게 완전히 그것을 포기하도록 설득하는 것보다 쉬울 수 있다.

One possibility that should be explored is whether students could be trained to highlight more effectively. We located three studies focused on training students to highlight. In two of these cases, training involved one or more sessions in which students practiced reading texts to look for main ideas before marking any text. Students received feedback about practice texts before marking (and being tested on) the target text, and training improved performance (e.g., Amer, 1994; Hayati & Shariatifar, 2009). In the third case, students received feedback on their ability to underline the most important content in a text; critically, students were instructed to underline as little as possible. In one condition, students even lost points for underlining extraneous material (Glover, Zimmer, Filbeck, & Plake, 1980). The training procedures in all three cases involved feedback, and they all had some safeguard against overuse of the technique. Given students’ enthusiasm for highlighting and underlining (or perhaps overenthusiasm, given that students do not always use the technique correctly), discovering fail-proof ways to ensure that this technique is used effectively might be easier than convincing students to abandon it entirely in favor of other techniques.


4.5 Highlighting and underlining: Overall assessment.



5 키워드 연상법

5 The keyword mnemonic


5.1 General description of the keyword mnemonic and why it works.


한 학생이 라 덴트, 라 클레프, 복수도, 애도자(죽기)와 같은 프랑스 어휘를 배우려고 애쓰는 모습을 상상해보라. 학습을 용이하게 하기 위해 학생들은 앳킨슨과 and(1975년)이 개발한 쌍방향 이미지를 바탕으로 한 기술인 키워드 니모닉을 사용한다. 이 니모닉을 사용하기 위해서, 학생들은 먼저 "라 덴트"의 치과의사나 "라 클리프"의 절벽과 같은 외국 단어와 비슷한 영어 단어를 찾을 것이다. 그 학생은 영어 번역과 상호작용하는 영어 키워드의 정신적인 이미지를 발달시킬 것이다. 그래서, 라 덴트-투스를 위해, 그 학생은 한 쌍의 쟁기로 큰 어금니를 들고 있는 치과의사를 상상할 수 있다. Raugh와 Atkinson (1975년)은 대학생들에게 스페인어-영어 어휘(예: Gusano-worm)를 배우기 위해 키워드를 사용하게 했고, 학생들은 최초로 각 실험자가 제공한 키워드를 연관시켰다. 영어 번역이 포함된 키워드 이후 테스트에서 학생들은 스페인어로 된 큐(예: "구산"-?)를 제시했을 때 영어 번역을 생성하라는 요청을 받았다. 니모닉이라는 키워드를 사용한 학생들은 키워드 없이 번역에 상당하는 것을 연구한 대조군 학생들보다 훨씬 더 잘 수행했다.

Imagine a student struggling to learn French vocabulary, including words such as la dent (tooth), la clef (key), revenir (to come back), and mourir (to die). To facilitate learning, the student uses the keyword mnemonic, which is a technique based on interactive imagery that was developed by Atkinson and Raugh (1975). To use this mnemonic, the student would first find an English word that sounds similar to the foreign cue word, such as dentist for “la dent” or cliff for “la clef.” The student would then develop a mental image of the English keyword interacting with the English translation. So, for la dent–tooth, the student might imagine a dentist holding a large molar with a pair of pliers. Raugh and Atkinson (1975) had college students use the keyword mnemonic to learn Spanish-English vocabulary (e.g., gusano–worm): the students first learned to associate each experimenter-provided keyword with the appropriate Spanish cue (e.g., “gusano” is associated with the keyword “goose”), and then they developed interactive images to associate the keywords with their English translations. In a later test, the students were asked to generate the English translation when presented with the Spanish cue (e.g., “gusano”–?). Students who used the keyword mnemonic performed significantly better on the test than did a control group of students who studied the translation equivalents without keywords.


첫 번째 시연 외에, 키워드 니모닉의 잠재적 이점은 광범위하게 연구되었으며, 그 힘은 부분적으로 인터랙티브 이미지 사용에 있다. 특히 대화형 이미지는 단어를 의미 있게 통합하는 세부 사항을 포함하며, 이미지 자체는 원하는 번역과 다른 후보자를 구별하는 데 도움이 되어야 한다. 예를 들어, 위의 예에서, "큰 어금니"의 이미지는 치과의사(예: 잇몸, 드릴, 솜)와 관련된 다른 후보(예: 잇몸)와 "이두부"를 구별합니다. 다음에 토론할 때, 키워드 니모닉은 다양한 자료에 대한 다양한 나이와 능력을 가진 학생들이 효과적으로 사용할 수 있습니다. 그럼에도 불구하고, 이 문헌에 대한 우리의 분석은 또한 교사들과 학생들에게 그것의 유용성을 제약할 수 있는 키워드 니모닉의 한계를 발견했다. 이러한 한계를 감안하여, 우리는 문헌 검토를 각 변수 범주(표 2)와 관련된 별도의 섹션으로 구분하지 않고 대신 이 기법의 일반성과 관련된 가장 관련성이 높은 근거에 대한 간략한 개요를 제공한다.

Beyond this first demonstration, the potential benefits of the keyword mnemonic have been extensively explored, and its power partly resides in the use of interactive images. In particular, the interactive image involves elaboration that integrates the words meaningfully, and the images themselves should help to distinguish the sought-after translation from other candidates. For instance, in the example above, the image of the “large molar” distinguishes “tooth” (the target) from other candidates relevant to dentists (e.g., gums, drills, floss). As we discuss next, the keyword mnemonic can be effectively used by students of different ages and abilities for a variety of materials. Nevertheless, our analysis of this literature also uncovered limitations of the keyword mnemonic that may constrain its utility for teachers and students. Given these limitations, we did not separate our review of the literature into separate sections that pertain to each variable category (Table 2) but instead provide a brief overview of the most relevant evidence concerning the generalizability of this technique.


5.2 a–d How general are the effects of the keyword mnemonic?


5.3 Effects in representative educational contexts.


5.4 Issues for implementation.


키워드 니모닉에 대한 대다수의 연구는 학생들이 대화형 이미지를 개발하고 나중에 대상을 검색하는데 사용하는 것을 돕는 것을 목표로 하는 적어도 일부(종종 광범위한) 훈련을 포함한다. 교육 외에도, 시행은 학생, 교사, 교과서 설계자에 의한 키워드의 개발이 필요하다. 일부 키워드를 생성하는 데 수반되는 노력은 특히 적어도 하나의 사용하기 쉬운 키워드(즉, 검색 연습, 2007년, Voitz, Morris, Acton)가 다음과 같은 경우 학생(또는 교사)에게는 시간을 가장 효율적으로 사용하지 못할 수 있다.

The majority of research on the keyword mnemonic has involved at least some (and occasionally extensive) training, largely aimed at helping students develop interactive images and use them to subsequently retrieve targets. Beyond training, implementation also requires the development of keywords, whether by students, teachers, or textbook designers. The effort involved in generating some keywords may not be the most efficient use of time for students (or teachers), particularly given that at least one easy-to-use technique (i.e., retrieval practice, Fritz, Morris, Acton, Voelkel, & Etkind, 2007) benefits retention as much as the keyword mnemonic does.


5.5 The keyword mnemonic: Overall assessment.


6 텍스트 학습에 이미지 활용

6 Imagery use for text learning


6.1 General description of imagery use and why it should work.


텍스트 학습을 향상시키기 위한 이미지의 잠재력을 보여주는 한 실험에서, Leutner, Leopold, Sumfleth(2009)는 10학년 학생들에게 물 분자의 쌍극 특성에 관한 장황한 과학 텍스트를 읽도록 35분을 주었다. 학생들은 이해(제어 그룹)를 위해 텍스트를 읽도록 지시받거나 간단하고 명확한 심상을 사용하여 각 단락의 내용을 정신적으로 상상하라는 말을 들었다. 상상력 설명서와 그림이 교차되었다. 일부 학생들은 각 단락의 내용을 나타내는 그림을 그리도록 지시받았고, 다른 학생들은 그림을 그리지 않았다. 읽은 직후, 학생들은 본문에서 직접 정확한 답을 얻을 수 없지만 그것으로부터 추론할 필요가 있는 질문들을 포함한 객관식 시험을 치렀다. 그림 5에서 표시한 대로, 각 단락의 내용을 정신적으로 상상하는 지침은 대조군(Cohen's d =72)의 학생들에 비해 정신 영상 그룹에서 학생들의 이해력 테스트 성과를 크게 향상시켰다. 특히 (a) 교육이 필요하지 않은 경우, (b) 복잡한 과학 콘텐츠와 관련된 텍스트, (c) 학습자에게 콘텐츠에 대한 추론을 하도록 요구하는 기준 시험을 고려할 때, 이러한 효과는 인상적이다. 마지막으로, 그림은 이해를 향상시키지 못했고, 실제로 이미지 지침의 장점을 부정했다. 다른 활동이 이미지의 기능을 방해할 수 있는 잠재성은 아래의 학습 조건(6.2a)에 대한 하위섹션에 자세히 설명되어 있습니다.

In one demonstration of the potential of imagery for enhancing text learning, Leutner, Leopold, and Sumfleth (2009) gave tenth graders 35 minutes to read a lengthy science text on the dipole character of water molecules. Students either were told to read the text for comprehension (control group) or were told to read the text and to mentally imagine the content of each paragraph using simple and clear mental images. Imagery instructions were also crossed with drawing: Some students were instructed to draw pictures that represented the content of each paragraph, and others did not draw. Soon after reading, the students took a multiple-choice test that included questions for which the correct answer was not directly available from the text but needed to be inferred from it. As shown in Figure 5, the instructions to mentally imagine the content of each paragraph significantly boosted the comprehension-test performance of students in the mental-imagery group, in comparison to students in the control group (Cohen’s d = 0.72). This effect is impressive, especially given that (a) training was not required, (b) the text involved complex science content, and (c) the criterion test required learners to make inferences about the content. Finally, drawing did not improve comprehension, and it actually negated the benefits of imagery instructions. The potential for another activity to interfere with the potency of imagery is discussed further in the subsection on learning conditions (6.2a) below.


다양한 메커니즘이 나중에 시험 수행 시 영상 텍스트 자료의 이점에 기여할 수 있다. 이미지를 개발하면 정신 조직이 향상되거나 텍스트에 정보가 통합될 수 있으며, 텍스트에 특정 참조의 특이한 이미지가 학습 능력을 향상시킬 수 있다(cf. 구별되는 처리; Hunt, 2006). 더욱이, 서술의 일관된 표현을 위해 이전의 지식을 사용하는 것은 학생들의 텍스트에 대한 일반적인 이해를 향상시킬 수 있다. 이러한 가능성과 리트너 외 연구진(2009)이 보여준 이미지의 극적인 효과에도 불구하고, 문헌에 대한 우리의 리뷰는 텍스트로부터 배우기 위해 정신적 이미지를 사용하는 효과가 다소 제한적일 수 있고 강력하지 않을 수 있다는 것을 암시한다.

A variety of mechanisms may contribute to the benefits of imaging text material on later test performance. Developing images can enhance one’s mental organization or integration of information in the text, and idiosyncratic images of particular referents in the text could enhance learning as well (cf. distinctive processing; Hunt, 2006). Moreover, using one’s prior knowledge to generate a coherent representation of a narrative may enhance a student’s general understanding of the text; if so, the influence of imagery use may be robust across criterion tasks that tap memory and comprehension. Despite these possibilities and the dramatic effect of imagery demonstrated by Leutner et al. (2009), our review of the literature suggests that the effects of using mental imagery to learn from text may be rather limited and not robust.


6.2 How general are the effects of imagery use for text learning?


6.3 Effects in representative educational contexts.



6.4 Issues for implementation.


대부분의 연구는 학생들이 공부하는 동안 텍스트 콘텐츠의 이미지를 생성하도록 격려한 비교적 간단한 지침을 사용하여 이미지의 영향을 조사해왔다. 이미지가 학습을 저해하지 않는 것처럼 보이기 때문에(일부 조건에서 성능이 향상됨) 선생님들은 학생들에게 상상의 묘사에 쉽게 도움이 되는 글을 읽을 때 이미지를 사용하라고 가르칠 수 있다. 학생들이 적절한 조건에서 이미지를 일관성 있고 효과적으로 사용할 수 있도록 하기 위해 얼마나 많은 교육이 필요할지는 알 수 없다..

The majority of studies have examined the influence of imagery by using relatively brief instructions that encouraged students to generate images of text content while studying. Given that imagery does not appear to undermine learning (and that it does boost performance in some conditions), teachers may consider instructing students (third grade and above) to attempt to use imagery when they are reading texts that easily lend themselves to imaginal representations. How much training would be required to ensure that students consistently and effectively use imagery under the appropriate conditions is unknown.


6.5 Imagery use for learning text: Overall assessment.



7 반복해서 읽기

7 Rereading


7.1 General description of rereading and why it should work.


로스코프(1968년)의 초기 연구에서 대학생들은 설명문(가죽을 만드는 것에 관한 1500단어 또는 호주 역사에 대한 750단어짜리 복도 중 하나)을 0회, 1, 2, 4회 읽었다. 독서는 스스로 진행되었고, 다시 읽혔다. 10분 정도 지연된 후, 내용 단어의 10%가 텍스트에서 삭제되고 학생들은 누락된 단어를 채우도록 하는 클로즈 테스트가 실시되었다. 그림 6과 같이 reading 횟수 함수로 성능이 향상되었습니다.

In an early study by Rothkopf (1968), undergraduates read an expository text (either a 1,500-word passage about making leather or a 750-word passage about Australian history) zero, one, two, or four times. Reading was self-paced, and rereading was massed (i.e., each presentation of a text occurred immediately after the previous presentation). After a 10-minute delay, a cloze test was administered in which 10% of the content words were deleted from the text and students were to fill in the missing words. As shown in Figure 6, performance improved as a function of number of readings.


리딩이 학습을 개선하는 이유는 무엇입니까? 메이어(1983년; 브로마이지 & 메이어, 1986)는 반복읽기 효과에 대한 두 가지 기본 설명을 요약했다. 양적 가설에 따르면, 재독서는 텍스트 내의 정보의 종류나 수준에 관계없이 인코딩된 총 정보의 양을 증가시킨다. 대조적으로, 질적 가설은 재독서가 특히 재독서 중 개념적 구성과 주요 아이디어 처리에 중점을 두고 텍스트 내에서 상위 레벨과 하위 레벨의 정보의 처리에 다르게 영향을 미친다고 가정한다. 이러한 가설을 평가하기 위해, 텍스트 정보의 종류 또는 수준의 함수로 무료 리콜을 검토했다. 결과는 다소 엇갈렸지만, 그 증거는 질적 가설을 지지하는 듯 하다. 비록 몇몇 연구에서 재독이 주요 아이디어의 리콜과 세부사항(양적 가설과 일치하는 결과)에서 유사한 향상을 가져왔지만, 몇몇 연구는 세부 사항의 리콜에서보다 주요 아이디어의 리콜에서 더 큰 향상을 보고했습니다(예:Ch, 1991; Rawson & Kintch, 2005.

Why does rereading improve learning? Mayer (1983; Bromage & Mayer, 1986) outlined two basic accounts of rereading effects. According to the quantitative hypothesis, rereading simply increases the total amount of information encoded, regardless of the kind or level of information within the text. In contrast, the qualitative hypothesis assumes that rereading differentially affects the processing of higher-level and lower-level information within a text, with particular emphasis placed on the conceptual organization and processing of main ideas during rereading. To evaluate these hypotheses, several studies have examined free recall as a function of the kind or level of text information. The results have been somewhat mixed, but the evidence appears to favor the qualitative hypothesis. Although a few studies found that rereading produced similar improvements in the recall of main ideas and of details (a finding consistent with the quantitative hypothesis), several studies have reported greater improvement in the recall of main ideas than in the recall of details (e.g., Bromage & Mayer, 1986; Kiewra, Mayer, Christensen, Kim, & Risch, 1991; Rawson & Kintsch, 2005).



7.2 How general are the effects of rereading?


7.3 Effects in representative educational contexts.


7.4 Issues for implementation.


재독서의 한 가지 장점은 학생들이 그것을 사용하기 위해 교육을 받을 필요가 없다는 것이다. 단, 재독서는 초기 독서 직후가 아니라 중간 지연 후 완료되었을 때 일반적으로 가장 효과적이라는 지시를 받았을 뿐이다. 또한, 일부 다른 학습 기법에 비해서 재독서는 시간 요구에 관해서 상대적으로 경제적입니다(예: 자기 페이스 학습을 허용하는 연구에서 재독서에 소요된 시간은 일반적으로 초기 시간보다 짧습니다). 그러나, 학습 기법의 일대일 비교에서, 재독서는 여기서 논의되는 좀 더 효과적인 기법에 비해서는 덜 효과적이다. 예를 들어, 재독서를 정교한 질문, 자기 설명 및 연습 테스트(아래의 실습 테스트 섹션에서 설명함)에 대한 직접적인 비교는 재독서가 학습 촉진을 위한 열등한 기술임을 일관되게 보여주었다.

One advantage of rereading is that students require no training to use it, other than perhaps being instructed that rereading is generally most effective when completed after a moderate delay rather than immediately after an initial reading. Additionally, relative to some other learning techniques, rereading is relatively economical with respect to time demands (e.g., in those studies permitting self-paced study, the amount of time spent rereading has typically been less than the amount of time spent during initial reading). However, in head-to-head comparisons of learning techniques, rereading has not fared well against some of the more effective techniques discussed here. For example, direct comparisons of rereading to elaborative interrogation, selfexplanation, and practice testing (described in the Practice Testing section below) have consistently shown rereading to be an inferior technique for promoting learning.


7.5 Rereading: Overall assessment.




8 연습문제 풀이

8 Practice testing


8.1 General description of practice testing and why it should work.


테스트 효과를 보여주는 예로서, Runquist(1983)는 학부생들에게 초기 연구를 위한 단어 쌍 목록을 제공했다. 참가자가 충전기 작업을 완료한 짧은 간격 후, 절반의 쌍은 큐드 리콜을 통해 테스트되었으며 나머지 절반은 테스트되지 않았습니다. 참가자들은 10분 또는 1주일 후에 모든 페어에 대해 최종 재호출 테스트를 완료했다. 최종 시험 수행은 연습 시험을 거치지 않은 쌍(10분 후 36%, 1주일 후 4%)보다 더 우수했다. 본 연구는 실무 시험을 수반하고 포함하지 않는 조건 간의 성과를 비교하는 방법을 설명하는 반면에, 많은 다른 연구들은 실무 시험 조건과 습득해야 할 정보의 추가 표시를 포함하는 좀 더 엄격한 조건을 비교했다. 

As an illustrative example of the power of testing, Runquist (1983) presented undergraduates with a list of word pairs for initial study. After a brief interval during which participants completed filler tasks, half of the pairs were tested via cued recall and half were not. Participants completed a final cued-recall test for all pairs either 10 minutes or 1 week later. Final-test performance was better for pairs that were practice tested than pairs that were not (53% versus 36% after 10 minutes, 35% versus 4% after 1 week). Whereas this study illustrates the method of comparing performance between conditions that do and do not involve a practice test, many other studies have compared a practice-testing condition with more stringent conditions involving additional presentations of the to-be-learned information. 


예를 들어, Roediger와 Karpicke(2006b)는 학부생에게 초기 연구를 위한 짧은 설명문 텍스트와 두 번째 연구 시험 또는 실습 프리-레콜 테스트를 차례로 제시하였다. 1주일 후, 무료 리콜은 재입원한 그룹보다 연습 시험을 치른 그룹 중 상당히 더 좋았다. 재학습과 비교할 때 Karpicke와 Roediger(2008)는 한 번 항목이 정확히 기억될 때까지 스와힐리-영어 번역을 통해 학생들이 학습하고 연습하는 데 도움이 되는 능력을 보여 주었다. 첫 번째 정확한 리콜 후 추가 시험 없이 후속 연구 사이클에서만 또는 추가 연구 없이 후속 시험 사이클에서만 항목이 제시되었다. 1주일 후에 실시된 최종 테스트에서의 성과는 지속적인 테스트 후(80%)가 지속적인 연구 후(36%)보다 훨씬 높았다.

For example, Roediger and Karpicke (2006b) presented undergraduates with a short expository text for initial study followed either by a second study trial or by a practice free-recall test. One week later, free recall was considerably better among the group that had taken the practice test than among the group that had restudied (56% versus 42%). As another particularly compelling demonstration of the potency of testing as compared with restudy, Karpicke and Roediger (2008) presented undergraduates with Swahili-English translations for cycles of study and practice cued recall until items were correctly recalled once. After the first correct recall, items were presented only in subsequent study cycles with no further testing, or only in subsequent test cycles with no further study. Performance on a final test 1 week later was substantially greater after continued testing (80%) than after continued study (36%).


연습 테스트가 학습을 개선하는 이유는 무엇입니까? 많은 연구가 시험 효과의 일반성을 확립한 반면, 왜 그것이 학습을 향상시키는지에 대한 이론은 뒤쳐져 왔다. 그럼에도 불구하고, 이론적인 설명은 시험의 직접 효과와 매개 효과로 불리는 두 가지 종류의 시험 효과를 설명하기 위해 점점 더 떠오르고 있다. 

    • 접 효과는 시험 자체의 수행에서 발생하는 학습의 변화를 의미하며, 

    • 개 효과는 시험 후에 발생하는 기회의 양이나 종류의 인코딩에 영향을 주는 학습의 변화를 의미한다(예: 재학습 기회).

Why does practice testing improve learning? Whereas a wealth of studies have established the generality of testing effects, theories about why it improves learning have lagged behind. Nonetheless, theoretical accounts are increasingly emerging to explain two different kinds of testing effects, which are referred to as direct effects and mediated effects of testing (Roediger & Karpicke, 2006a). Direct effects refer to changes in learning that arise from the act of taking a test itself, whereas mediated effects refer to changes in learning that arise from an influence of testing on the amount or kind of encoding that takes place after the test (e.g., during a subsequent restudy opportunity).


최근 Carpenter(2009)는 연습 시험의 직접 효과에 대해 정교한 검색 프로세스를 촉발하여 보존을 강화할 수 있다고 제안했다. 표적 정보를 검색하려고 하면 관련 정보를 활성화하는 장기 기억의 검색이 수반되며, 이 활성화된 정보는 검색 대상과 함께 인코딩될 수 있으며, 이 정보에 대한 다중 경로를 제공하는 정교한 추적을 형성할 수 있다. 이 계정을 지원하기 위해 Carpenter(2011)는 학습자에게 약한 관련 단어 쌍(예: "엄마")을 학습하도록 했습니다.–"하위") 뒤에 추가 스터디 또는 연습 재호출 테스트가 뒤따릅니다. 이후 최종 시험에서 대상 단어에 대한 리콜은 이전에 언급되지 않았지만 강하게 연관된 단어(예: "아버지")를 통해 요청되었다. 연습 테스트 후 수행은 재학습 후보다 더 큰 것으로, 아마도 연습 테스트가 학습 중에 관련 정보가 활성화되고 암호화될 가능성을 증가시켰기 때문일 것이다.

Concerning direct effects of practice testing, Carpenter (2009) recently proposed that testing can enhance retention by triggering elaborative retrieval processes. Attempting to retrieve target information involves a search of long-term memory that activates related information, and this activated information may then be encoded along with the retrieved target, forming an elaborated trace that affords multiple pathways to facilitate later access to that information. In support of this account, Carpenter (2011) had learners study weakly related word pairs (e.g., “mother”–“child”) followed either by additional study or a practice cued-recall test. On a later final test, recall of the target word was prompted via a previously unpresented but strongly related word (e.g., “father”). Performance was greater following a practice test than following restudy, presumably because the practice test increased the likelihood that the related information was activated and encoded along with the target during learning.


연습 시험의 매개 효과와 관련하여, 연습 시험의 조정 효과와 관련하여 Pic와 Rawson은 유사한 설명을 제안했다. 연습 시험이 후속 재학습 기회에서 더 효과적인 중재자의 인코딩을 용이하게 한다고 지적했다(즉, 단서 및 목표를 연결하는 정교한 정보). Pic와 Rawson(2010)은 학습자에게 초기 스터디 블록에서 스와힐리-영어 변환을 제시했으며, 이어서 세 블록을 재학습하고, 참가자의 절반에게는 연습 복습 시험을 선행했습니다. 모든 학습자는 재학습 시마다 키워드 중재자를 생성하고 보고하라는 메시지를 받았습니다. 1주일 후에 시험했을 때 재시험을 치른 학생들과 비교했을 때, 재시험을 치른 학생들은 큐 단어와 함께 프롬프트되었을 때 중재자를 더 잘 기억해냈고 그들의 중재자를 더 잘 기억해낼 수 있었다.

Concerning mediated effects of practice testing, Pyc and Rawson (2010, 2012b) proposed a similar account, according to which practice testing facilitates the encoding of more effective mediators (i.e., elaborative information connecting cues and targets) during subsequent restudy opportunities. Pyc and Rawson (2010) presented learners with Swahili-English translations in an initial study block, which was followed by three blocks of restudy trials; for half of the participants, each restudy trial was preceded by practice cued recall. All learners were prompted to generate and report a keyword mediator during each restudy trial. When tested 1 week later, compared with students who had only restudied, students who had engaged in practice cued recall were more likely to recall their mediators when prompted with the cue word and were more likely to recall the target when prompted with their mediator.


최근의 증거는 또한 연습 시험이 학생들이 정신적으로 정보를 얼마나 잘 구성하고 그들이 개별 항목의 특이한 면을 얼마나 잘 처리하는지, 더 나은 유지와 시험 수행을 지원할 수 있는지를 모두 향상시킬 수 있다는 것을 암시한다. Zaromb 및 Roediger(2010년)는 학습자에게 8개의 스터디 테스트 블록 또는 4개의 무료 테스트 블록에 대해 서로 다른 분류 범주(예: 야채, 의복)의 단어로 구성된 목록을 제공했습니다. 기본 테스트 효과를 재현한 결과, 이틀 후 최종 무료 리콜은 조사 대상(17%)보다 연습 테스트(39%)를 받았을 때 더 컸다. 중요한 것은, 연습 시험 조건 또한 주로 조직화 처리와 특이적 처리를 두드리는 2차 측정에서 연구 조건을 능가했다는 것이다.

Recent evidence also suggests that practice testing may enhance how well students mentally organize information and how well they process idiosyncratic aspects of individual items, which together can support better retention and test performance (Hunt, 1995, 2006). Zaromb and Roediger (2010) presented learners with lists consisting of words from different taxonomic categories (e.g., vegetables, clothing) either for eight blocks of study trials or for four blocks of study trials with each trial followed by a practice free-recall test. Replicating basic testing effects, final free recall 2 days later was greater when items had received practice tests (39%) than when they had only been studied (17%). Importantly, the practice test condition also outperformed the study condition on secondary measures primarily tapping organizational processing and idiosyncratic processing.



8.2 How general are the effects of practice testing?


8.3 Effects in representative educational contexts.


8.4 Issues for implementation.


연습 테스트는 시간 수요에 대해 상대적으로 합리적인 것으로 보인다. 대부분의 연구는 연습 시험에 할당된 시간이 보통이고 재처리를 위해 할당된 시간과 같을 때 연습 시험의 효과를 보여주었다. 연습 시험의 또 다른 장점은 최소한의 훈련으로 실행할 수 있다는 것이다. 학생들은 비교적 간단한 방법으로 리콜 기반의 자가 테스트에 참여할 수 있다. 예를 들어, 학생들은 cued 리콜을 통해 자가 테스트를 할 수 있다. 그 방법으로는

    • 플래시 카드 생성(무료 및 저비용 플래시 카드 소프트웨어도 손쉽게 사용 가능) 

    • 코넬 노트 채점 시스템 사용 (클래스에서 메모를 할 때 빈 칸을 남기고 나중에 노트를 검토할 때 자가 테스트에 사용할 수 있는 참고 사항을 작성한 후 바로 여기에 주요 용어나 질문을 입력하는 것 포함)

Practice testing appears to be relatively reasonable with respect to time demands. Most research has shown effects of practice testing when the amount of time allotted for practice testing is modest and is equated with the time allotted for restudying. Another merit of practice testing is that it can be implemented with minimal training. Students can engage in recall-based self-testing in a relatively straightforward fashion. For example, students can self-test via cued recall 

    • by creating flashcards (free and low-cost flashcard software is also readily available) or 

    • by using the Cornell note-taking system (which involves leaving a blank column when taking notes in class and entering key terms or questions in it shortly after taking notes to use for self-testing when reviewing notes at a later time; for more details, see Pauk & Ross, 2010). 


더 체계적인 형태의 연습 테스트(예: 객관식, 단답식, 빈칸 채움 테스트)는 전자 교과서 장 끝부분에 수록된 연습 문제나 질문을 통해 학생들이 쉽게 이용할 수 있는 경우가 많다. 이렇게 함으로써, 학생들은 시험의 이점이 시험, 용량, 타이밍에 따라 결정된다는 점을 고려할 때, 연습 시험을 가장 효과적으로 사용하는 방법에 대한 몇 가지 기본적인 교육으로부터 이익을 얻을 수 있을 것이다. 위에서 설명한 바와 같이 연습 시험은 검색retrieval과 관련된 경우, 연습 세션 내에서 또는 연습 세션 간에 항목이 한 번 이상 정확하게 답변될 때까지 지속될 경우, 시험이나 세션 사이의 간격이 길어지는 경우 더 효과적이다.

More structured forms of practice testing (e.g., multiple-choice, short-answer, and fill-in-the-blank tests) are often readily available to students via practice problems or questions included at the end of textbook chapters or in the electronic supplemental materials that accompany many textbooks. With that said, students would likely benefit from some basic instruction on how to most effectively use practice tests, given that the benefits of testing depend on the kind of test, dosage, and timing. As described above, practice testing is particularly advantageous when it involves retrieval and is continued until items are answered correctly more than once within and across practice sessions, and with longer as opposed to shorter intervals between trials or sessions.


다른 학습 기법과 관련된 연습 시험의 효과와 관련하여, 몇몇 연구는 개념 매핑, 메모 기록 및 이미지 사용에 대한 연습 시험의 장점을 보여주었다.  그러나 가장 빈번한 비교는 지침되지 않은unguided 재학습에 대한 연습 시험이다. 일반적인 결과는 연습 테스트가 restudy를 능가한다는 것이다이러한 효과는 연습 테스트가 정확한 답의 제시와 관련된 피드백과 함께 수반되는 정도에 따라 다소 달라진다. 비록 많은 연구들이 자기시험이 재학습보다 뛰어나다고 보여주었지만, 일부 연구는 이러한 장점을 발견하지 못했습니다(대부분의 경우 연습 테스트에서 정확도가 상대적으로 낮음). 대조적으로, 재학습에 대한 피드백이 포함된 연습 시험의 장점은 매우 강하다. 또한 피드백을 이용한 연습 테스트는 지속적으로 연습 테스트만 한 것을 능가한다.

Concerning the effectiveness of practice testing relative to other learning techniques, a few studies have shown benefits of practice testing over concept mapping, note-taking, and imagery use (Fritz et al., 2007; Karpicke & Blunt, 2011; McDaniel et al., 2009; Neuschatz, Preston, Toglia, & Neuschatz, 2005), but the most frequent comparisons have involved pitting practice testing against unguided restudy. The modal outcome is that practice testing outperforms restudying, although this effect depends somewhat on the extent to which practice tests are accompanied by feedback involving presentation of the correct answer. Although many studies have shown that testing alone outperforms restudy, some studies have failed to find this advantage (in most of these cases, accuracy on the practice test has been relatively low). In contrast, the advantage of practice testing with feedback over restudy is extremely robust. Practice testing with feedback also consistently outperforms practice testing alone.


연습 시험을 통한 피드백의 구현을 권장하는 또 다른 이유는 연습 시험에서 학생들이 부정확하게 반응할 때 perservation error가 발생하지 않도록 하기 때문이다. 예를 들어, Butler와 Roediger(2008)는 복수 선택 연습 시험이 피드백이 제공되지 않을 때 최종 재호출 시험에서 거짓 대안의 침입을 증가시켰지만, 피드백이 주어졌을 때는 그러한 증가가 관찰되지 않았다. 다행히도 피드백의 수정 효과는 연습 테스트 직후에 제시될 것을 요구하지 않는다. Metcalfe et al. (2009)은 피드백이 Immm-diate보다 지연되었을 때 초기 잘못된 반응에 대한 최종 시험이 실제로 더 낫다는 것을 발견했다. 또한 고무적인 것은 피드백이 높은 신뢰도 오류를 시정하는데 특히 효과적이라는 증거이다(예: 버터필드 & 메트칼프, 2001). 

Another reason to recommend the implementation of feedback with practice testing is that it protects against perseveration errors when students respond incorrectly on a practice test. For example, Butler and Roediger (2008) found that a multiple-choice practice test increased intrusions of false alternatives on a final cued-recall test when no feedback was provided, whereas no such increase was observed when feedback was given. Fortunately, the corrective effect of feedback does not require that it be presented immediately after the practice test. Metcalfe et al. (2009) found that final-test perfor-mance for initially incorrect responses was actually better when feedback had been delayed than when it had been imme-diate. Also encouraging is evidence suggesting that feedback is particularly effective for correcting high-confidence errors (e.g., Butterfield & Metcalfe, 2001).


마지막으로, 연습 테스트 오류가 후속 성능에 미치는 영향은 상대적으로 작다는 점에 주목한다. 종종 영향이 없기도 하며, 연습시험으로 인한 긍정적 효과가 훨씬 더 크다. 따라서 오류에 대한 잠재적 우려는 특히 피드백을 제공할 때 심각한 구현 문제를 구성하지 않는다. 

Finally, we note that the effects of practice-test errors on subsequent performance tend to be relatively small, often do not obtain, and are heavily out-weighed by the positive benefits of testing (e.g., Fazio et al., 2010; Kang, Pashler, et al., 2011; Roediger & Marsh, 2005). Thus, potential concerns about errors do not constitute a serious issue for implementation, particularly when feedback is provided.


마지막으로, 비록 우리가 이 단면의 목적에 맞게 학생들의 연습 테스트 사용에 초점을 맞추었지만, 우리는 강사들이 또한 교실에서의 연습 사용을 늘림으로써 학생들의 학습을 지원할 수 있다는 것에 간단하게 주목한다. 또한 여러 연구는 가끔 보는 긴 시험보다 더 빈번한 종합 평가 관리(예: 학기당 시험 두세 번이 아닌 일주일에 한 번 시험)를 통해 긍정적인 결과를 보고했으며, 그러한 긍정적 효과는 학습 성과뿐만 아니라, 과정 만족도와 보다 빈번한 시험에 대한 선호도와 같은 요인에 대한 학생들의 rating에 대해서도 나타났다.

Finally, although we have focused on students’ use of practice testing, in keeping with the purpose of this monograph, we briefly note that instructors can also support student learning by increasing the use of low-stakes or no-stakes practice testing in the classroom. Several studies have also reported positive outcomes from administering summative assessments that are shorter and more frequent rather than longer and less frequent (e.g., one exam per week rather than only two or three exams per semester), not only for learning outcomes but also on students’ ratings of factors such as course satisfaction and preference for more frequent testing (e.g., Keys, 1934; Kika, McLaughlin, & Dixon, 1992; Leeming, 2002; for a review, see Bangert-Drowns, Kulik, & Kulik, 1991).


8.5 Practice testing: Overall assessment.






9 분산된 연습

9 Distributed practice


9.1 General description of distributed practice and why it should work.


관련 문제를 설명하기 위해, 우리는 학생들이 원래의 세션에서 기준으로 스페인어 단어의 번역본을 학습한 분산 연습에 대한 고전적인 실험의 설명으로 시작한다. (Bahrick, 1979) 그 후 학생들은 6개의 추가 세션에 참여하여 번역을 검색하고 다시 배울 수 있는 기회를 가졌습니다(피드백 제공). 그림 10은 이 연구의 결과를 나타낸다. 제로 스페이싱 조건(그림 10에서 원으로 표현됨)에서 학습 세션은 연속이었고 학습은 6개의 매스 세션에서 빠르게 진행되었다. 1일 조건(그림 10의 제곱으로 표현됨)에서 학습 세션은 1일 간격으로 이루어졌고, 전체 세션에서 거의 모든 것을 망각하게 됩니다(즉, 각 세션에서 첫 번째 테스트에서 수행은 여전히 낮음). 대조적으로, 학습 세션이 30일로 분리되었을 때, 잊어버리는 것은 전체 세션에서 훨씬 더 컸으며, 초기 시험 수행은 심지어 6개의 세션 후에도 다른 두 조건에서 관찰된 수준에 도달하지 못했다. (그림 10의 삼각형 참조) 현재 목적에서 중요한 점은 30일 후 최종 테스트에서 패턴이 역전되어, 30일 후 리러닝 세션이 30일로 분리된 조건에서 변환의 최적 보존이 관찰된다는 것이다. 즉, 가장 많은 중단 시간을 잊어버린 상태로 인해 가장 많은 장기 보존이 이루어졌다. 간격 연습(1일 또는 30일)은 대량 실행(0일)보다 우수했고 지연 시간(30일)이 짧은 기간(1일)보다 길수록 이점이 더 컸다.

To illustrate the issues involved, we begin with a description of a classic experiment on distributed practice, in which students learned translations of Spanish words to criterion in an original session (Bahrick, 1979). Students then participated in six additional sessions in which they had the chance to retrieve and relearn the translations (feedback was provided). Figure 10 presents results from this study. In the zero-spacing condition (represented by the circles in Fig. 10), the learning sessions were back-to-back, and learning was rapid across the six massed sessions. In the 1-day condition (represented by the squares in Fig. 10), learning sessions were spaced 1 day apart, resulting in slightly more forgetting across sessions (i.e., lower performance on the initial test in each session) than in the zero-spacing condition, but students in the 1-day condition still obtained almost perfect accuracy by the sixth session. In contrast, when learning sessions were separated by 30 days, forgetting was much greater across sessions, and initial test performance did not reach the level observed in the other two conditions, even after six sessions (see triangles in Fig. 10). The key point for our present purposes is that the pattern reversed on the final test 30 days later, such that the best retention of the translations was observed in the condition in which relearning sessions had been separated by 30 days. That is, the condition with the most intersession forgetting yielded the greatest long-term retention. Spaced practice (1 day or 30 days) was superior to massed practice (0 days), and the benefit was greater following a longer lag (30 days) than a shorter lag (1 day).


간격을 둔 연습 효과에 대한 많은 이론들이 제안되고 시험되었다. 현재 논의 중인 일부 고객을 고려한다(자세한 검토는 벤자민 & 툴리스, 2010; 세페다 외, 2006 참조). 한 이론은 deficient processing에 대한 생각을 불러 일으켜서, 두 번째 학습 기회 동안의 자료 처리가 원래 학습 일자와 가까운 시기에 이루어진다고 주장한다. 기본적으로, 학생들은 이 같은 활동을 막 끝냈을 때 노트를 다시 읽거나 기억으로부터 무언가를 되찾기 위해 열심히 일하지 않아도 되며, 게다가 그들은 두 번째에 과제의 용이함에 의해 오도되고 그들이 그 자료를 더 잘 안다고 생각할 수도 있다

Many theories of distributed-practice effects have been proposed and tested. Consider some of the accounts currently under debate (for in-depth reviews, see Benjamin & Tullis, 2010; Cepeda et al., 2006). One theory invokes the idea of deficient processing, arguing that the processing of material during a second learning opportunity suffers when it is close in time to the original learning episode. Basically, students do not have to work very hard to reread notes or retrieve something from memory when they have just completed this same activity, and furthermore, they may be misled by the ease of this second task and think they know the material better than they really do (e.g., Bahrick & Hall, 2005). 


다른 이론은 reminding을 포함한다. 즉, 학습할 자료의 두 번째 프레젠테이션은 학습자에게 첫 번째 학습 기회를 상기시키는 역할을 합니다. 이것은 기억력을 향상시키는 것으로 잘 알려진 프로세스로 그것을 retrived하도록 한다(위의 연습 테스트 섹션 참조). 몇몇 연구자들은 통합consolidation에 대해 연구한다. 두 번째 학습 에피소드가 이미 발생한 첫 번째 추적의 통합에서 이점을 얻을 수 있다고 가정한다. 분산된 연습의 영향이 상대적으로 크다면 여기에는 복수의 메커니즘이 기여할 수 있다. 따라서, 특정한 이론들은 종종 효과를 설명하기 위해 메커니즘의 다른 조합을 호출한다.

Another theory involves reminding; namely, the second presentation of to-be-learned material serves to remind the learner of the first learning opportunity, leading it to be retrieved, a process well known to enhance memory (see the Practice Testing section above). Some researchers also draw on consolidation in their explanations, positing that the second learning episode benefits from any consolidation of the first trace that has already happened. Given the relatively large magnitude of distributed-practice effects, it is plausible that multiple mechanisms may contribute to them; hence, particular theories often invoke different combinations of mechanisms to explain the effects.


9.2 How general are the effects of distributed practice?


9.3 Effects in representative educational contexts.


9.4 Issues for implementation.


수업에서 분산 연습을 시행할 때 몇 가지 장애물이 발생할 수 있다. 뎀스터와 패리스(1990년)는 많은 교과서가 관련 자료를 함께 묶고 후속 단위에 포함된 자료를 검토하지 않는다는 점에서 분산 학습을 권장하지 않는다는 흥미로운 점을 지적했다. 실제 교과서(특히 초등학교 수학 교과서, 스티글러, 푸슨, 햄 & 김)에 대한 공식적인 내용 분석은 미국 교과서가 작업중인 문제 전반에 걸쳐 함께 분류되어 있다는 것을 보여주면서 이 주장을 뒷받침했다. 이 교과서들은 또한 구 소련의 비교 가능한 교과서보다 일련의 문제점들을 덜 담고 있었다. 따라서, 학생들이 직면하고 있는 한 가지 문제는 학생들이 분산 연습을 장려하는 방식으로 공부 자료가 되어있지 않을 수도 있다는 것이다.

Several obstacles may arise when implementing distributed practice in the classroom. Dempster and Farris (1990) made the interesting point that many textbooks do not encourage distributed learning, in that they lump related material together and do not review previously covered material in subsequent units. At least one formal content analysis of actual textbooks (specifically, elementary school mathematics textbooks; Stigler, Fuson, Ham, & Kim, 1986) supported this claim, showing that American textbooks grouped to-be-worked problems together (presumably at the end of chapters) as opposed to distributing them throughout the pages. These textbooks also contained less variability in sets of problems than did comparable textbooks from the former Soviet Union. Thus, one issue students face is that their study materials may not be set up in a way that encourages distributed practice.


두 번째 문제는 학생들이 자연스럽게 공부하는 방법을 포함한다. Michael(1991)은 지연procrastination scallop이라는 용어를 전형적인 연구 패턴을 설명하기 위해 사용했다. 즉, 시험이 다가옴에 따라 공부에 소모되는 시간이 늘어난다. 모힌니, 보스토우, 법, 블러멘필드, 홉킨스(1971)는 관찰실에서 공부하는 데 동의한 자원 봉사자들을 이용하여 이 패턴을 기록하여 연구 시간을 기록하도록 했다. 매일의 시험으로, 학생들은 수업 시간 내내 일정한 시간 동안 공부했다. 그러나 시험이 3주에 한 번 실시되었을 때, 시험 바로 직전에 공부하면서 그 간격 동안 공부하는데 드는 시간이 증가했다. (Mawhinney et al., 1971) 다시 말해, 빈번하지 않은 시험은 시험 바로 전에 대량학습을 야기한 반면, 매일의 시험은 효과적으로 장시간에 걸쳐 분포된 학습으로 이어졌다. 그 의미는 상황이 학생들에게 그렇게 하라고 강요하지 않는 한 학생들이 반드시 분산 연습(학습)에 참여하지 않을 것이라는 것이다; 이것이 실용적인 제약 때문인지 혹은 학생들이 분산관행의 기념비적인 이점을 이해하지 못하기 때문인지 불분명하다.

A second issue involves how students naturally study. Michael (1991) used the term procrastination scallop to describe the typical study pattern—namely, that time spent studying increases as an exam approaches. Mawhinney, Bostow, Laws, Blumenfield, and Hopkins (1971) documented this pattern using volunteers who agreed to study in an observation room that allowed their time spent studying to be recorded. With daily testing, students studied for a consistent amount of time across sessions. But when testing occurred only once every 3 weeks, time spent studying increased across the interval, peaking right before the exam (Mawhinney et al., 1971). In other words, less frequent testing led to massed study immediately before the test, whereas daily testing effectively led to study that was distributed over time. The implication is that students will not necessarily engage in distributed study unless the situation forces them to do so; it is unclear whether this is because of practical constraints or because students do not understand the memorial benefits of distributed practice.


학생들이 분산관행의 이점을 이해하고 있는지에 대한 문제에 있어서, 그 자료는 완전히 명확한 것은 아니다. 몇몇 실험실 연구는 짝을 이룬 동료의 반복된 연구를 질량 또는 공간적으로 수행할지에 대한 학생들의 선택을 조사해왔다. 이러한 연구에서 학생들은 일반적으로 학습(massing) 후 거의 즉시 항목을 다시 편집하거나 같은 세션(spacing)에서 해당 항목을 다시 검토하는 것 중에서 선택합니다. 학생들은 어떤 조건(예: 벤자민 & 버드, 2006; 손, 2004)에 따라 연구를 실시하기로 선택하지만, 일반적으로 항목(Pyc, Molosky, 2010; Topposky)을 선택한다. 

With regard to the issue of whether students understand the benefits of distributed practice, the data are not entirely definitive. Several laboratory studies have investigated students’ choices about whether to mass or space repeated studying of paired associates (e.g., GRE vocabulary words paired with their definitions). In such studies, students typically choose between restudying an item almost immediately after learning (massing) or restudying the item later in the same session (spacing). Although students do choose to mass their study under some conditions (e.g., Benjamin & Bird, 2006; Son, 2004), they typically choose to space their study of items (Pyc & Dunlosky, 2010; Toppino, Cohen, Davis, & Moors, 2009). 


이러한 spacing에 대한 편견이 반드시 학생들이 분산 연습의 이점을 이해한다는 것을 의미하지는 않는다(예: 즉시 다시 보고 싶지 않기 때문에 한 쌍의 재학습을 연기할 수 있습니다.) 그리고 한 연구는 학생들이 (심지어 학생들이 간격의 이점을 경험했을 때조차) 그들의 전반적인 학습 수준을 대량 학습한 후에 시간 간격 학습보다 더 높게 평가하는 것을 보여주었다. 다른 최근의 연구들은 학생들이 짧은 간격보다 넓은 간격으로 연습하는 것의 이점을 알지 못한다는 증거를 제공했다.

This bias toward spacing does not necessarily mean that students understand the benefits of distributed practice per se (e.g., they may put off restudying a pair because they do not want to see it again immediately), and one study has shown that students rate their overall level of learning as higher after massed study than after spaced study, even when the students had experienced the benefits of spacing (e.g., Kornell & Bjork, 2008). Other recent studies have provided evidence that students are unaware of the benefits of practicing with longer, as opposed to shorter, lags (Pyc & Rawson, 2012b; Wissman et al., 2012).


요컨대, 실제적 제약과 이 기술의 이점에 대한 학생들의 인식이 부족하기 때문에, 학생들은 약간의 교육이 필요할 수 있고, 일부는 분산 연습이 정보를 배우고 유지하는 좋은 방법이라고 확신하게 된다. 단순히 분산형 연습 효과를 경험하는 것으로는 충분하지 않을 수 있지만, 효과에 대한 지침과 결합된 데모가 학생들에게 더 설득력이 있을 수 있다(예: Balch, 2006).

In sum, because of practical constraints and students’ potential lack of awareness of the benefits of this technique, students may need some training and some convincing that distributed practice is a good way to learn and retain information. Simply experiencing the distributed-practice effect may not always be sufficient, but a demonstration paired with instruction about the effect may be more convincing to students (e.g., Balch, 2006).



9.5 Distributed practice: Overall assessment.




10 교차 연습

10 Interleaved practice


10.1 General description of interleaved practice and why it should work.


인터리브 연습은, 블록 연습과는 반대로, 대학생들에게 다른 기하학적 고체의 볼륨을 계산하도록 가르치는 것을 수반한, Rohrer와 Taylor(2007)가 사용하는 방법을 고려함으로써 쉽게 이해할 수 있다. 학생들은 1주일간 두 번의 연습 시간을 가졌다. 각 연습 시간 동안 학생들은 4가지 종류의 기하학적 고체의 체적을 찾는 방법에 대한 튜토리얼을 제공받았고 16가지 연습 문제(각 고체에 대해 4가지)를 완성했다. 각 연습 문제의 완료 후, 올바른 해결 방법이 10초간 제시되었다. 연습 차단 상태에 있는 학생들은 처음에 주어진 실드의 볼륨을 찾는 것에 관한 자습서를 읽었고, 그 후에 바로 그러한 종류의 실체에 대한 네 가지 연습 문제가 뒤따랐다. 그리고 나서 주어진 고체의 볼륨 문제를 연습한 다음 다음, 고체의 다음 종류에 대한 자습서 및 연습 문제 등을 수행했습니다. 인터리브 연습 그룹에 속한 학생들은 처음에 4개의 자습서를 모두 읽은 다음 모든 연습 문제를 완료했으며, 4개의 연속된 문제 세트마다 각각의 4가지 솔리드 유형에 대해 하나의 문제가 포함되었다는 제약이 있었다. 두 번째 연습이 끝난 일주일 후, 모든 학생들은 네 가지 고체 각각에 대해 두 가지 새로운 문제를 해결한 기준 시험을 치렀다. 연습 세션 중 및 기준 테스트 동안 올바른 응답의 학생들의 백분율은 그림 13에 제시되어 있다. 이는 일반적인 인터리빙 효과를 나타낸다. 연습 중에는, 인터리브 연습보다 블록 연습에서 더 낫지만, 이러한 이점은 테스트 간에 급격하게 역전되었다. 인터리브 연습은 정확도를 43% 향상시켰다.

Interleaved practice, as opposed to blocked practice, is easily understood by considering a method used by Rohrer and Taylor (2007), which involved teaching college students to compute the volumes of different geometric solids. Students had two practice sessions, which were separated by 1 week. During each practice session, students were given tutorials on how to find the volume for four different kinds of geometric solids and completed 16 practice problems (4 for each solid). After the completion of each practice problem, the correct solution was shown for 10 seconds. Students in a blockedpractice condition first read a tutorial on finding the volume of a given solid, which was immediately followed by the four practice problems for that kind of solid. Practice solving volumes for a given solid was then followed by the tutorial and practice problems for the next kind of solid, and so on. Students in an interleaved-practice group first read all four tutorials and then completed all the practice problems, with the constraint that every set of four consecutive problems included one problem for each of the four kinds of solids. One week after the second practice session, all students took a criterion test in which they solved two novel problems for each of the four kinds of solids. Students’ percentages of correct responses during the practice sessions and during the criterion test are presented in Figure 13, which illustrates a typical interleaving effect: During practice, performance was better with blocked practice than interleaved practice, but this advantage dramatically reversed on the criterion test, such that interleaved practice boosted accuracy by 43%.


이러한 인상적인 효과에 대한 한 가지 설명은 인터리빙이 학생들에게 어떤 솔루션 방법(즉, 여러 가지 다른 공식 중 어느 것을 사용해야 하는지)을 식별하는 연습을 제공했다는 것이다(Mayfield & Chase, 2002 참조). 다르게 말하면, 상호간의 연습은 학생들이 각각의 문제에 대해 올바른 해결 방법을 사용할 수 있도록 다른 종류의 문제들을 구별하는 데 도움이 된다.

One explanation for this impressive effect is that interleaving gave students practice at identifying which solution method (i.e., which of several different formulas) should be used for a given solid (see also, Mayfield & Chase, 2002). Put differently, interleaved practice helps students to discriminate between the different kinds of problems so that they will be more likely to use the correct solution method for each one.


연습 중 정확도는 블록 학습을 한 학생이 부분적인 문제(각각 68% 대비 99%)와 전체 문제(98% 대 79%)에 대해 더 컸다. 반면, 1일 후 정확도는 인터리브(Interleaved Practice)를 받은 학생(38%)이 훨씬 높았다. Rohrer와 Taylor(2006)와 마찬가지로, 이러한 패턴에 대한 타당한 설명은 학생들이 다양한 종류의 문제를 구별하고 각각의 문제에 적용할 수 있는 적절한 공식을 배우는데 도움을 주었다는 것이다. 이 설명은 4학년 학생들이 기준 과제 동안 전체 문제를 해결할 때 범한 오류에 대한 자세한 분석에 의해 뒷받침되었다. 제작 오류에는 학생들이 원래 훈련되지 않은 공식(예: b × 8)을 사용한 사례가 포함된 반면, 차별 오류에는 학생들이 연습했지만 문제에 적합하지 않은 네 가지 공식 중 하나를 사용한 사례가 포함된다. 그림 14에서 보듯이, 그 두 그룹은 fabrication 오류에서 다르지 않았다. 그러나 discrimination error는 인터리브보다 블록연습에서 더 흔했다. 인터리브 연습을 한 학생들은 분명히 문제의 종류를 더 잘 구별할 수 있었고, 각각의 문제에 정확한 공식을 일관되게 적용했다.

Accuracy during practice was greater for students who had received blocked practice than for students who had received interleaved practice, both for partial problems (99% vs. 68%, respectively) and for full problems (98% vs. 79%). By contrast, accuracy 1 day later was substantially higher for students who had received interleaved practice (77%) than for students who had received blocked practice (38%). As with Rohrer and Taylor (2006), a plausible explanation for this pattern is that interleaved practice helped students to discriminate between various kinds of problems and to learn the appropriate formula to apply for each one. This explanation was supported by a detailed analysis of errors the fourth graders made when solving the full problems during the criterion task. Fabrication errors involved cases in which students used a formula that was not originally trained (e.g., b × 8), whereas discrimination errors involved cases in which students used one of the four formulas that had been practiced but was not appropriate for a given problem. As shown in Figure 14, the two groups did not differ in fabrication errors, but discrimination errors were more common after blocked practice than after interleaved practiced. Students who received interleaved practice apparently were better at discriminating among the kinds of problems and consistently applied the correct formula to each one.


인터리빙이 어떻게 이러한 이점을 얻을 수 있을까요? 한 가지 설명은 인터리브 연습은 학생들이 다양한 종류의 문제를 더 쉽게 비교할 수 있게 해주기 때문에 조직 처리와 항목별 처리를 촉진한다는 것이다. 예를 들어, Rohrer와 Taylor(2007년)에서는 학생들이 서로 다른 종류의 고체(예: 쐐기)의 볼륨을 비교하기 위해 노력했을 때, 바로 이전의 문제와 관련된 해결책 방법이 여전히 사용되었을 수 있다. 두 문제와 다른 공식 또 다른 가능한 설명은 인터리브 관행에 의해 제공되는 장기 기억으로부터의 분산적 검색을 기반으로 한다. 특히, 차단된 실행의 경우, 작업 완료와 관련된 정보(관련 항목 집합에 대한 문제 해결이든 기억이든)가 작동 메모리에 있어야 하므로 참가자는 해결책을 검색할 필요가 없다. 따라서, 학생이 많은 양의 웨지를 해결하기 위해 문제 블록을 완성하면, 각각의 새로운 문제에 대한 해결책을 작업 기억에서 쉽게 구할 수 있을 것이다. 반대로, 인터리브 연습의 경우 다음 유형의 문제가 제시될 때 해결 방법을 장기 메모리에서 검색해야 한다. 그래서 만약 학생이 단지 쐐기풀의 부피로 문제를 풀고 나서 척추뼈의 볼륨을 풀어야 한다면, 그 혹은 그녀는 기억에서 척추동물의 공식을 찾아내야 한다. 이렇게 지연된 연습 테스트는 검색된 정보에 대한 메모리를 높입니다(자세한 내용은 위의 연습 테스트 섹션을 참조하십시오). 이러한 검색-연습 가설과 구분-대조 가설은 상호 배타적이지 않으며, 다른 메커니즘도 인터리브 실행의 이익에 기여할 수 있다.

How does interleaving produce these benefits? One explanation is that interleaved practice promotes organizational processing and item-specific processing because it allows students to more readily compare different kinds of problems. For instance, in Rohrer and Taylor (2007), it is possible that when students were solving for the volume of one kind of solid (e.g., a wedge) during interleaved practice, the solution method used for the immediately prior problem involving a different kind of solid (e.g., a spheroid) was still in working memory and hence encouraged a comparison of the two problems and their different formulas. Another possible explanation is based on the distributed retrieval from long-term memory that is afforded by interleaved practice. In particular, for blocked practice, the information relevant to completing a task (whether it be a solution to a problem or memory for a set of related items) should reside in working memory; hence, participants should not have to retrieve the solution. So, if a student completes a block of problems solving for volumes of wedges, the solution to each new problem will be readily available from working memory. By contrast, for interleaved practice, when the next type of problem is presented, the solution method for it must be retrieved from long-term memory. So, if a student has just solved for the volume of a wedge and then must solve for the volume of a spheroid, he or she must retrieve the formula for spheroids from memory. Such delayed practice testing would boost memory for the retrieved information (for details, see the Practice Testing section above). This retrieval-practice hypothesis and the discriminative-contrast hypothesis are not mutually exclusive, and other mechanisms may also contribute to the benefits of interleaved practice.


10.2 How general are the effects of interleaved practice?


10.3 Effects in representative educational contexts.


10.4 Issues for implementation.


메이필드와 체이스(2002년)의 결과가 유망할 뿐만 아니라, 그들의 절차는 교실에서의 교사들과 (2009년 시행에 대한 자세한 논의를 위해) 학업을 관리하는 학생들에 의한 인터리브 방식의 실행을 위한 전략을 제공한다. 특히, 주어진 종류의 문제(또는 주제)가 도입된 후, 연습은은 우선 특정 문제에 초점을 맞춰야 한다. 

Not only is the result from Mayfield and Chase (2002) promising, their procedure offers a tactic for the implementation of interleaved practice, both by teachers in the classroom and by students regulating their study (for a detailed discussion of implementation, see Rohrer, 2009). In particular, after a given kind of problem (or topic) has been introduced, practice should first focus on that particular problem. 


다음 종류의 문제가 소개된 후(예: 다른 강의나 학습 시간에), 그 문제가 먼저 실행되어야 한다. 그러나 그것은 이전 세션에서 소개된 다른 사람들과 현 유형의 문제를 연계시키는 추가 연습이 뒤따라야 한다. 각각의 새로운 유형의 문제가 도입될 때, 연습은 학생들이 서로 구별할 것으로 기대되는 다른 세션의 문제들에 대한 연습과 섞여야 한다. (예: 기준 테스트가 여러 유형의 문제를 혼합한 경우, 수업 시간 또는 스터디 세션 동안 이러한 문제를 인터리빙 방식으로 실행해야 합니다.)

After the next kind of problem is introduced (e.g., during another lecture or study session), that problem should first be practiced, but it should be followed by extra practice that involves interleaving the current type of problem with others introduced during previous sessions. As each new type of problem is introduced, practice should be interleaved with practice for problems from other sessions that students will be expected to discriminate between (e.g., if the criterion test will involve a mixture of several types of problems, then these should be practiced in an interleaved manner during class or study sessions). 


인터리브 연습은 블록 연습보다 사용하는 데 시간이 더 걸릴 수 있습니다. 왜냐하면 해결 시간이 종종 인터리브 연습 동안 느리기 때문입니다. 이러한 지연은 discriminative contrast와 같은 다른 프로세스의 채용이 성능을 높일 가능성이 높기 때문입니다. 따라서, 교사들과 학생들은 너무 많은 수정 없이 그들의 일정에 인터리브된 연습들을 통합할 수 있다

Interleaved practice may take a bit more time to use than blocked practice, because solution times often slow during interleaved practice; even so, such slowing likely indicates the recruitment of other processes—such as discriminative contrast—that boost performance. Thus, teachers and students could integrate interleaved practice into their schedules without too much modification.


10.5 Interleaved practice: Overall recommendations.





Closing Remarks


Relative utility of the learning techniques


Implications for research on learning techniques


Implications for students, teachers, and student achievement


Pressley와 동료들은 우수한 전략 사용자 모델을 개발했으며, 다음의 정교한 전략을 사용하는 것이다 "중요한 삶의 목표(즉, 전략)를 달성하는 기술을 알고 있는 것, 언제 그리고 어떻게 그런 방법들을 사용하는지 아는 것... 세상에 대해 갖고 있는 풍부한 비전략적 지식과 함께 이러한 방법을 사용하는 것" 그러나 Pressley, Goodchild 등(1989)은 다음과 같이 언급했다. "많은 학생들이 비효율적인 전략에 전념하고 있습니다. 게다가, 문헌에서 추천되는 기술에 대한 전문적인 평가가 충분하지 않은데, 이런 전략들이 지지자들에 의해 과다하게 판매되고 있다" 우리는 여기에 동의하며 현재의 검토가 기술에 대한 추가적인 과학적 평가 촉진과 관련하여 긍정적인 영향을 미치기를 바란다.

Pressley and colleagues (Pressley, 1986; Pressley, Goodchild, et al., 1989) developed a good-strategy-user model, according to which being a sophisticated strategy user involves “knowing the techniques that accomplish important life goals (i.e., strategies), knowing when and how to use those methods . . . and using those methods in combination with a rich network of nonstrategic knowledge that one possesses about the world” (p. 302). However, Pressley, Goodchild, et al. (1989) also noted that “many students are committed to ineffective strategies . . . moreover, there is not enough professional evaluation of techniques that are recommended in the literature, with many strategies oversold by proponents” (p. 301). We agree and hope that the current reviews will have a positive impact with respect to fostering further scientific evaluation of the techniques.


비효율적인 전략에 대한 학생들의 헌신과 관련하여, 최근의 조사에 따르면, 학생들은 우리가 비교적 실용성이 낮은 것으로 밝혀진 두 가지 전략인 반복읽기와 밑줄긋기의 사용을 가장 자주 지지하는 것으로 나타났다. 그럼에도 불구하고, 몇몇 학생들은 연습 시험을 이용하여 보고하고, 이 학생들은 그것의 사용으로부터 이익을 얻는 것처럼 보인다. 예를 들어, 구룽(2005)은 대학생들에게 입문심리학 강좌에서 강의실 시험 준비에 사용한 전략을 설명하도록 했다. 학생들이 연습 시험을 사용하는 것으로 보고된 빈도는 최종 시험에서 그들의 성적과 상당한 상관관계가 있었다. (Hartwig & Dunlosky, 2012 참조) 연습 테스트가 상대적으로 사용하기 쉽다는 점을 고려할 때, 현재 이 기술을 사용하지 않는 학생들은 그것을 그들의 학습 루틴에 통합할 수 있어야 한다.

Concerning students’ commitment to ineffective strategies, recent surveys have indicated that students most often endorse the use of rereading and highlighting, two strategies that we found to have relatively low utility. Nevertheless, some students do report using practice testing, and these students appear to benefit from its use. For instance, Gurung (2005) had college students describe the strategies they used in preparing for classroom examinations in an introductory psychology course. The frequency of students’ reported use of practice testing was significantly correlated with their performance on a final exam (see also Hartwig & Dunlosky, 2012). Given that practice testing is relatively easy to use, students who do not currently use this technique should be able to incorporate it into their study routine.


왜 많은 학생들이 효과적인 기술을 일관되게 사용하지 않는가? 한 가지 가능성은 학생들이 어떤 기술이 효과적인지 또는 정규 학교 수업 중에 어떻게 효과적으로 사용하는지에 대해 교육받지 못한다는 것이다. 문제의 일부는 교사들 스스로가 다양한 학습 기술의 효과에 대해 듣지 못하고 있다는 것일 수 있다. 교사들이 교육 심리학 수업에서 이러한 기술에 대해 배울 가능성이 가장 높기 때문에, 대부분의 기법이 교육-심리학 교과서에 충분히 다뤄지지 않는다는 것이 드러나고 있다. 우리는 서론에서 6권의 교과서를 조사했다. 그리고 이미지(예: 키워드 니모닉)를 바탕으로 한 니모닉을 제외하고, 어떤 기술도 모든 책에서 다뤄지지 않았다. 더욱이, 이러한 기법들 중 하나 이상을 기술한 교과서의 하위집단에서, 대부분의 경우, 적용 범위는 비교적 미미했고, 특정 기법에 대한 간략한 설명과 그것의 사용, 효과 및 제한에 대한 지침은 비교적 적었다. 따라서, 많은 교사들은 어떤 기술이 가장 잘 작동하고 학생들이 그것들을 사용하도록 훈련시키는 방법에 대한 충분한 소개를 받을 것 같지 않다.

Why don’t many students consistently use effective techniques? One possibility is that students are not instructed about which techniques are effective or how to use them effectively during formal schooling. Part of the problem may be that teachers themselves are not told about the efficacy of various learning techniques. Given that teachers would most likely learn about these techniques in classes on educational psychology, it is revealing that most of the techniques do not receive sufficient coverage in educational-psychology textbooks. We surveyed six textbooks (cited in the Introduction), and, except for mnemonics based on imagery (e.g., the keyword mnemonic), none of the techniques was covered by all of the books. Moreover, in the subset of textbooks that did describe one or more of these techniques, the coverage in most cases was relatively minimal, with a brief description of a given technique and relatively little guidance on its use, effectiveness, and limitations. Thus, many teachers are unlikely getting a sufficient introduction to which techniques work best and how to train students to use them.


두 번째 문제는 학생들에게 콘텐츠와 비판적 사고력을 가르치는 데 프리미엄이 주어지는 반면 효과적인 기술과 학습 방향을 제시하기 위한 전략을 개발하는 데 드는 시간은 더 적다는 것이다. 맥나마라(2010년)가 지적한 바와 같이, "우리 교육 시스템에는 [학생들에게 가장 중요한 것은 컨텐츠 교육]이라는 압도적인 가정이 있다." (원래 341장, 이탤릭체). 여기서 한 가지 우려되는 점은 대부분 감독받는 상태에서 학습한 이전 학년에 잘 하는 학생들이, 나중에 고등학교나 대학처럼 스스로 학습의 많은 부분을 규제할 것으로 기대될 때 어려움을 겪을 수 있다는 것이다. 학생들에게 이러한 기법을 사용하도록 가르치는 것은 콘텐츠 교습에 많은 시간이 걸리지 않을 것이며, 학생들이 학습과 성적에 미치는 영향을 폭넓게 경험할 수 있도록 여러 콘텐츠 영역에 걸쳐 기술의 사용이 지속적으로 가르쳐진다면 가장 유익할 것이다. 

A second problem may be that a premium is placed on teaching students content and critical thinking skills, whereas less time is spent teaching students to develop effective techniques and strategies to guide learning. As noted by McNamara (2010), “there is an overwhelming assumption in our educational system that the most important thing to deliver to students is content” (p. 341, italics in original). One concern here is that students who do well in earlier grades, in which learning is largely supervised, may struggle later, when they are expected to regulate much of their own learning, such as in high school or college. Teaching students to use these techniques would not take much time away from teaching content and would likely be most beneficial if the use of the techniques was consistently taught across multiple content areas, so that students could broadly experience their effects on learning and class grades. 


하지만 이곳에서도 학생들이 가장 효과적인 기술을 사용하도록 훈련시키는 방법에 대한 권고사항은 추가 연구로부터 혜택을 받을 것이다. 한 가지 중요한 이슈는 주어진 기술을 가르칠 수 있는 (또는 배워야 하는) 가장 이른 나이에 관한 것이다. 교사들은 상위 초등학생들이 많은 기술들을 사용할 수 있어야 한다고 기대할 수 있지만, 이 학생들조차 그것들을 가장 효과적으로 시행할 수 있는 방법에 대한 지침이 필요할 수도 있다. 확실히, 학생들이 효과적으로 기술을 사용할 수 있는 자기 규제 능력을 가진 나이(그리고 그들이 그렇게 해야 할 훈련의 양)를 파악하는 것은 미래 연구의 중요한 목표이다. 또 다른 문제는 얼마나 자주 학생들이 재교육을 받거나 이 기법을 사용하기 위해 주의를 기울여야 하는지이다. 일부 학습 기법의 가능성을 감안할 때, 학생들이 이 기법을 사용하도록 교사를 교육시키는 것과 관련된 전문적 발전에 대한 연구는 가치 있을 것이다.

Even here, however, recommendations on how to train students to use the most effective techniques would benefit from further research. One key issue concerns the earliest age at which a given technique could (or should) be taught. Teachers can expect that upper elementary students should be capable of using many of the techniques, yet even these students may need some guidance on how to most effectively implement them. Certainly, identifying the age at which students have the self-regulatory capabilities to effectively use a technique (and how much training they would need to do so) is an important objective for future research. Another issue is how often students will need to be retrained or reminded to use the techniques to ensure that students will continue to use them when they are not instructed to do so. Given the promise of some of the learning techniques, research on professional development that involves training teachers to help students use the techniques would be valuable.


이러한 기술을 사용하도록 학생들을 훈련시키는 것 외에도, 교사들은 그들 중 일부를 그들의 수업 계획에 통합할 수도 있다. 예를 들어, 

  • 새로운 단원을 시작할 때 교사는 이전 단원의 가장 중요한 아이디어에 대한 연습 테스트( 피드백 포함)로 시작할 수 있다. 

  • 학생들이 수학에 관한 한 단원에서 문제를 연습할 때, 최근에 공부한 문제들은 이전 단원의 관련 문제들과 섞일 수 있다. 

  • 교사들은 또한 몇 개의 수업 과정 동안 가장 중요한 개념과 활동을 다시 제시함으로써 분산 관행을 이용할 수 있다. 

  • 수업에서 핵심 개념이나 사실을 소개할 때, 교사들은 학생들에게 정보가 그들에게 어떻게 새로운 것인지, 그것이 그들이 이미 알고 있는 것과 어떻게 관련되는지, 그리고 그것이 사실인지 생각해 보게 함으로써 설명적인 질문에 참여하게 할 수 있다. 

  • 숙제도 이런 많은 기술들을 활용하도록 설계될 수 있다. 이러한 예들(및 시행 하위 절에서 제공된 다른 예)에서 교사는 학생들이 특정 기법을 사용하고 있다는 것을 스스로 인지하고 있는지에 관계없이 학생들이 배울 수 있도록 도와주는 기술을 시행할 수 있다.

Beyond training students to use these techniques, teachers could also incorporate some of them into their lesson plans. For instance, 

  • when beginning a new section of a unit, a teacher could begin with a practice test (with feedback) on the most important ideas from the previous section. 

  • When students are practicing problems from a unit on mathematics, recently studied problems could be interleaved with related problems from previous units. 

  • Teachers could also harness distributed practice by re-presenting the most important concepts and activities over the course of several classes. 

  • When introducing key concepts or facts in class, teachers could engage students in explanatory questioning by prompting them to consider how the information is new to them, how it relates to what they already know, or why it might be true. 

  • Even homework assignments could be designed to take advantage of many of these techniques. In these examples (and in others provided in the Issues for Implementation subsections), teachers could implement a technique to help students learn, regardless of whether students are themselves aware that a particular technique is being used.







 2013 Jan;14(1):4-58. doi: 10.1177/1529100612453266.

Improving Students' Learning With Effective Learning Techniques: Promising Directions From Cognitive and Educational Psychology.

Author information

1
Department of Psychology, Kent State University jdunlosk@kent.edu.
2
Department of Psychology, Kent State University.
3
Department of Psychology and Neuroscience, Duke University.
4
Department of Educational Psychology, Department of Curriculum & Instruction, and Department of Psychology, University of Wisconsin-Madison.
5
Department of Psychology, University of Virginia.

Abstract

Many students are being left behind by an educational system that some people believe is in crisis. Improving educational outcomes will require efforts on many fronts, but a central premise of this monograph is that one part of a solution involves helping students to better regulate their learning through the use of effective learning techniques. Fortunately, cognitive and educational psychologists have been developing and evaluating easy-to-use learning techniques that could help students achieve their learning goals. In this monograph, we discuss 10 learning techniques in detail and offer recommendations about their relative utility. We selected techniques that were expected to be relatively easy to use and hence could be adopted by many students. Also, some techniques (e.g., highlighting and rereading) were selected because students report relying heavily on them, which makes it especially important to examine how well they work. The techniques include elaborative interrogation, self-explanation, summarization, highlighting (or underlining), the keyword mnemonic, imagery use for text learning, rereading, practice testing, distributed practice, and interleaved practice. To offer recommendations about the relative utility of these techniques, we evaluated whether their benefits generalize across four categories of variables: learning conditions, student characteristics, materials, and criterion tasks. Learning conditions include aspects of the learning environment in which the technique is implemented, such as whether a student studies alone or with a group. Student characteristics include variables such as age, ability, and level of prior knowledge. Materials vary from simple concepts to mathematical problems to complicated science texts. Criterion tasks include different outcome measures that are relevant to student achievement, such as those tapping memory, problem solving, and comprehension. We attempted to provide thorough reviews for each technique, so this monograph is rather lengthy. However, we also wrote the monograph in a modular fashion, so it is easy to use. In particular, each review is divided into the following sections: General description of the technique and why it should work How general are the effects of this technique?  2a. Learning conditions  2b. Student characteristics  2c. Materials  2d. Criterion tasks Effects in representative educational contexts Issues for implementation Overall assessment The review for each technique can be read independently of the others, and particular variables of interest can be easily compared across techniques. To foreshadow our final recommendations, the techniques vary widely with respect to their generalizability and promise for improving student learning. Practice testing and distributed practice received high utility assessments because they benefit learners of different ages and abilities and have been shown to boost students' performance across many criterion tasks and even in educational contexts. Elaborative interrogation, self-explanation, and interleaved practice received moderate utility assessments. The benefits of these techniques do generalize across some variables, yet despite their promise, they fell short of a high utility assessment because the evidence for their efficacy is limited. For instance, elaborative interrogation and self-explanation have not been adequately evaluated in educational contexts, and the benefits of interleaving have just begun to be systematically explored, so the ultimate effectiveness of these techniques is currently unknown. Nevertheless, the techniques that received moderate-utility ratings show enough promise for us to recommend their use in appropriate situations, which we describe in detail within the review of each technique. Five techniques received a low utility assessment: summarization, highlighting, the keyword mnemonic, imagery use for text learning, and rereading. These techniques were rated as low utility for numerous reasons. Summarization and imagery use for text learning have been shown to help some students on some criterion tasks, yet the conditions under which these techniques produce benefits are limited, and much research is still needed to fully explore their overall effectiveness. The keyword mnemonic is difficult to implement in some contexts, and it appears to benefit students for a limited number of materials and for short retention intervals. Most students report rereading and highlighting, yet these techniques do not consistently boost students' performance, so other techniques should be used in their place (e.g., practice testing instead of rereading). Our hope is that this monograph will foster improvements in student learning, not only by showcasing which learning techniques are likely to have the most generalizable effects but also by encouraging researchers to continue investigating the most promising techniques. Accordingly, in our closing remarks, we discuss some issues for how these techniques could be implemented by teachers and students, and we highlight directions for future research.

PMID:
 
26173288
 
DOI:
 
10.1177/1529100612453266


학습의 과학을 의학교육에 적용하기(Med Educ, 2010)

Applying the science of learning to medical education

Richard E Mayer





도입

INTRODUCTION


학습의 과학: 멀티미디어 학습의 인지적 이론

SCIENCE OF LEARNING: THE COGNITIVE THEORY OF MULTIMEDIA LEARNING


학습의 과학에 대한 도입

An introduction to the science of learning


학습은 경험과 관련된 학습자의 지식의 변화이다.3–5 학습자의 지식 변화는 반드시 학습자의 수행능력 변화로부터 추론된다지식은 

    • 사실과 개념(때로는 좁은 의미에서 지식이라고 불림), 

    • 절차와 전략(때로는 기술이라고도 함), 그리고 

    • 신념(때로는 태도라고도 함)을 포함한다.

Learning is a change in the learner’s knowledge attributable to experience.3–5 Changes in the learner’s knowledge must be inferred by examining changes in the learner’s performance. Knowledge includes 

    • facts and concepts (sometimes called knowledge in the narrow sense), 

    • procedures and strategies (sometimes called skills), and 

    • beliefs (sometimes called attitudes).


의학 교육은 종종 멀티미디어 학습을 포함하는데, 여기서는 단어와 그림으로부터 배우는 것으로 정의한다.1.3 요약하면, 의학 교육은 종종 언어 학습과 그림 학습의 조합을 필요로 한다. 

    • 언어 학습은 인쇄된 단어나 구어로 배우는 것을 포함한다. 

    • 그림 학습은 정적 그래픽 또는 동적 그래픽을 사용한 학습을 포함한다.

Medical education often involves multimedia learning, which I define as learning from words and pictures.1,3 In short, medical education often requires a combination of verbal and pictorial learning. 

    • Verbal learning involves learning with printed words or spoken words 

    • Pictorial learning involves learning with static graphics or dynamic graphics


멀티미디어 학습에 대한 연구-기반 이론

A research-based theory of multimedia learning


멀티미디어 학습의 인지 이론.1.3 인지과학의 연구지원 원칙

cognitive theory of multimedia learning.1,3 three research-supported principles in cognitive science:


• 듀얼 채널 원칙: 학습자가 언어 및 그림 자료 처리를 위한 별도의 채널을 갖춤

• 제한된 용량 원칙학습자가 한 번에 각 채널의 몇 개 요소만 처리할 수 있음 7,8

• 능동 처리 원리: 유의미한 학습은 학습자가 학습 중에 적절한 인지 처리에 참여할 때 발생한다는 것. 이 것은 관련 자료에 집중attending하고, 이것을 정신적으로 일관된 인지적 표현으로 조직화하고, 이를 장기 기억에서 활성화한 이전 지식과 통합하는 것 등을 말함

• the dual channels principle, which proposes that learners have separate channels for processing verbal and pictorial material;6

• the limited capacity principle, which proposes that learners can process only a few elements in each channel at any one time,7,8

• the active processing principle, which proposes that meaningful learning occurs when learners engage in appropriate cognitive processing during learning, including attending to relevant material, mentally organising it into a coherent cognitive representation, and integrating it with prior knowledge activated from long-term memory.5,9


간단히 말해서, 인간 정보 처리에는 두 개의 채널이 있고, 이것들의 용량은 제한되며, 들어오는 자료의 인지 처리를 지원한다.

In short, human information processing has two channels, is limited in capacity and supports cognitive processing of incoming material.




감각 메모리는 매우 짧은 시간 동안 제시된 것에 대한 정확한 감지 사본을 보관한다(즉, 0.25초).

작업 메모리는 짧은 기간(즉, 30초 미만) 동안 더 처리된 입력 자료의 버전을 보관하며, 한 번에 몇 개의 재료만 처리할 수 있습니다.

장기 기억력은 학습자의 전체 지식 창고를 장시간 보관합니다.

• sensory memory holds an exact sensory copy of what was presented for a very brief time (i.e. < 0.25 second);

• working memory holds a more processed version of the input material for a short period (i.e. < 30 seconds) and can process only a few pieces of material at any one time,

• long-term memory holds the learner’s entire storehouse of knowledge for long periods of time.


감각기억과 장기기억은 정보를 저장할 수 있는 무한한 용량을 가지고 있지만, 작업기억은 정보처리능력이 제한돼 일종의 시스템 병목현상 역할을 한다.

Although sensory memory and long-term memory have unlimited capacity for holding information, working memory has limited capacity for processing information, which makes it act as a sort of bottleneck in the system.


학습자가 제한된 처리 능력 내에서 작업을 하기 위해서, 재료는 응축되어 의미 있는 덩어리로 정리되어야 합니다. 간단히 말해서, 사람들은 자신에게 제공되는 모든 정보를 처리할 수 있는 처리 능력이 없기 때문에 의미 있는meaningful 학습을 추구하는 능동적 학습자가 되어야 한다.

material must be condensed and organised into meaningful chunks in order for the learner to work within the constraints of limited processing capacity. In short, people must be active learners who seek meaningful learning because they do not have the processing capacity to attend to every piece of information that is available to them.


5가지 주요 유형의 인지 프로세스는 그림 1:

Five main types of cognitive process are depicted in Fig. 1:


• 단어 선택은 작업 메모리에서 추가 처리를 위해 중요한 들어오는 구어들에 집중하는 것을 의미한다.

• 이미지 선택이란 작업 메모리에서 추가 처리를 위해 중요한 들어오는 인쇄 단어 및 그림에 집중하는 것을 말합니다.

• 단어 조직화는 작업 기억에서 단어를 일관성 있는 인지 표현(즉, 언어 모델)으로 재배열하는 것을 의미한다.

• 이미지 조직화는 작업 기억에서 이미지를 일관된 인식 표현(즉, 그림 모델)으로 재배열하는 것을 의미한다.

• 통합이란 언어 및 그림 모델을 서로 정신적으로 연결하고 관련 사전 지식을 장기기억으로부터 활성화하는 것을 말한다.

• selecting words refers to attending to important incoming spoken words for further processing in working memory;

• selecting images refers to attending to important incoming printed words and pictures for further processing in working memory;

• organising words refers to mentally rearranging the words into a coherent cognitive representation (i.e. a verbal model) in working memory;

• organising images refers to mentally rearranging the images into a coherent cognitive representation (i.e. a pictorial model) in working memory,

• integrating refers to mentally connecting the verbal and pictorial models with one another and with relevant prior knowledge activated from long-term memory.


귀로 들어온 구어와 청각적 복사본이 청각적 기억에 잠깐 보관된다.

the spoken words impinge on the ears and an auditory copy is briefly held in auditory memory,


학습자가 감각 기억에 들어온 일부 순간적인 청각 표현에 집중하면, 그것이 작동 기억으로 이동한다.

If the learner attends to some of the fleeting auditory representation in sensory memory, it moves to working memory, as indicated by the selecting words arrow.


다음으로, 작업 메모리 상자의 오른쪽에 표시된 것처럼 학습자는 단어를 언어 모델로 정리합니다.

Next, as shown on the right of the working memory box, the learner mentally organises the words into a verbal model,


마지막으로, 관련 지식은 장기 기억에서 활성화되고 작동 기억으로 옮겨진다.

Finally, relevant knowledge is activated from long-term memory and transferred to working memory;


보시다시피, 의미있는 학습은 제한된 용량(작업기억은 처리능력에 한계가 있다)을 가진 두 정보 처리 채널(즉, 청각-언어적 채널과 시각-영상적 처리 채널) 내에서 능동적인 인지 처리(즉, 선택, 조직 및 통합)과정이다.

As you can see, meaningful learning involves active cognitive processing (i.e. selecting, organising and integrating) within two information processing channels (i.e. the auditory-verbal channel and the visual-pictorial channel) with limited capacity (i.e. working memory is limited in processing capacity).


교육의 과학: 멀티미디어 교육의 연구 기반 이론

SCIENCE OF INSTRUCTION: RESEARCH-BASED PRINCIPLES FOR MULTIMEDIA INSTRUCTION


교육의 과학에 대한 안내

An introduction to the science of instruction


교수법의 과학은 사람들이 배우는 것을 어떻게 도울 수 있는지에 대한 과학적 연구이다.4 가르침은 학습자의 경험을 학습 촉진을 위한 방식으로 조작하는 것이다.4 간단히 말해, 교육은 학습자가 자신의 지식에 의도한 변화를 가져올 수 있도록 상황을 구성하는 것이다.

The science of instruction is the scientific study of how to help people learn.4 Instruction is the teacher’s manipulation of the learner’s experiences in a manner intended to foster learning.4 In short, instruction involves constructing situations for learners to experience that lead to an intended change in their knowledge.


효과적인 instruction을 설계하는 첫 번째 단계는 학습자에게 의도된 지식 변화를 명확하게 지정하는 것이다.10 교육 목표는 [어떤 지식이 학습되어야 하는지, 의도된 숙련도 수준은 어느정도인지, 그리고 학습이 어떻게 평가될 것인지에 대한 명확한 진술]이다.

The first step in designing effective instruction is to clearly specify the intended knowledge change in the learner.10 An instructional objective is a clear statement of what knowledge is to be learned, the intended level of mastery, and how the learning will be assessed.


5가지 종류의 지식은 다음과 같습니다.

Five kinds of knowledge are:


• 사실: 사실에 입각한 지식은 올바른 심실이 심장의 일부라는 것을 아는 것과 같이 세계를 이루는 요소element의 특성에 관한 지식을 의미한다.

• 개념: 개념적 지식은 인간의 심장이 어떻게 작용하는지에 대한 원인과 효과의 메커니즘을 아는 것과 같은 모델, 원칙, 범주, 스키마에 대한 지식을 설명한다.

• 절차: 절차적 지식은 긴 나눗셈 연산을 수행하는 방법을 아는 것과 같은 어떤 행동을 수행하는 방법에 대한 단계별 프로세스에 대한 지식으로 구성된다.

• 전략: 전략적 지식은 문제를 부분으로 분해하는 것과 같은 문제에 접근하는 일반적인 방법을 아는 것으로 구성된다.

• 신념: 태도적 지식은 어떻게 자신의 학습이 이루어지는가 또는 학습자로서 자신의 역량에 대한 지식을 말합니다. ('나는 이것을 잘 해'라고 생각하는 것 등)

• facts: factual knowledge refers to knowledge about the characteristics of elements in the world, such as knowing that the right ventricle is a part of the heart;

• concepts: conceptual knowledge describes knowledge of models, principles, categories and schemas, such as knowing the cause-and-effect mechanism for how the human heart works;

• procedures: procedural knowledge consists of knowledge of step-by-step processes for how to carry out an action, such as knowing how to carry out long division computations;

• strategies: strategic knowledge consists of knowing general methods for approaching problems, such as by breaking a problem into parts,

• beliefs: attitudinal knowledge refers to knowledge about how one’s learning works or about one’s competence as a learner, such as thinking: ‘I am good at this.’


이러한 모든 종류의 지식은 일반적으로 진단을 내리는 것과 같은 대부분의 인지 과제에 숙달하기 위해 필요하다.

All of these types of knowledge are generally needed to be proficient in most cognitive tasks, such as arriving at a diagnosis.


학습 성과는 보존retention 테스트전이transfer 테스트로 측정할 수 있다. 

  • 보존 시험은 학습자가 제시된 내용을 얼마나 잘 기억할 수 있는지 여부를 측정하며, 제시된 내용을 recall할 수 있는지(예: '보존 시험의 정의는 무엇인가') 또는 제시된 것이 무엇인지 인식할 수 있는가(예: retention test로 예로 제시된 것과 transfer test의 예로 제시된 것은?)를 측정한다

  • 전이 시험은 학습자가 학습한 내용을 새로운 상황에 얼마나 잘 적용할 수 있는지를 측정합니다(예: '이 섹션에 대한 전이 시험 문항을 만드세요').

Learning outcomes can be measured with retention tests and transfer tests. 

  • Retention tests measure how well the learner remembers the presented material, such as whether he or she is able to recall what was presented (e.g. ‘Define retention test’) or recognise what was presented (e.g. ‘Remembering what was presented is an example of: [a] a retention test, [b] a transfer test’). 

  • Transfer tests measure how well the learner can apply what was learned to new situations (e.g. ‘Generate a transfer test item for this section’).


보존 및 전이 시험에서 학습자의 퍼포먼스 패턴은 학습 성과의 퀄리티를 나타냅니다. 

  • 두 테스트 유형 모두에서 성적이 나빴다면 학습이 없었던 것이다. 

  • 보존 시험 성적이 좋고 전이 시험 성적이 나쁘면 rote learning이 일어난 것이다. 

  • 유의미한 학습은 두 가지 모두에서 좋은 성적을 받은 것이다. 

여기서 나의 초점은 의미 있는 배움이다.

The learner’s pattern of performance on retention and transfer tests indicates the quality of his or her learning outcome: no learning is indicated by poor performance on both types of test; rote learning is indicated by good performance on retention and poor performance on transfer, and meaningful learning is indicated by good performance on both types of test. My focus in this review is on meaningful learning.


어떤 학습 상황에서든 학습자의 인지 시스템에 대한 세 가지 유형의 요구가 있다: 외부 처리, 필수 처리, 생성 처리.3.8 

In any learning situation there are three types of demands on the learner’s cognitive system: 

  • extraneous processing; 

  • essential processing, and 

  • generative processing.3,8 


외부 처리는 인지적 처리과정으로 학습 목표를 지원하지 않으며 잘못된 교육적 설계로 인해 발생한다. 예를 들어, 외부처리는 심장이 어떻게 작동하는지를 설명하는 텍스트가 (그것에 해당하는 이미지가) 서로 다른 페이지에 있을 때 발생할 수 있다. 따라서 학습자는 단어와 그림 사이를 왔다 갔다 하면서 귀중한 인지 처리 자원을 낭비해야 한다. 따라서 중요한 것은 학습 중에 관련 없는 인지 처리를 줄여 인지 자원을 freeing up시키는 것이다.

Extraneous processing is cognitive processing that does not support the learning objective and is caused by poor instructional design. For example, extraneous processing may be caused when text describing how the heart works is on one page of a book and the corresponding illustrations are on another page, so the learner has to waste precious cognitive processing resources by scanning back and forth between the words and the illustrations. An important instructional challenge is to reduce extraneous cognitive processing during learning, thereby freeing up cognitive capacity.


필수 인지 처리란 작업 기억이 수업의 필수 자료를 정신적으로 표현하기 위해 필요한 인지 처리를 말합니다 (주로 선택 및 최소한의 조직화 과정을 통해 이뤄진다). 이는 학습자에게 제공된 필수자료가 본질적으로 복잡하기 때문에 발생하며, 따라서 필수처리를 줄이는 것은 적절하지 않습니다. 대신에, 중요한 교육적 목표는 필수 처리를 관리하여 학습자의 인지 능력에 과부하를 주지 않는 방식으로 이루어질 수 있도록 하는 것이다.

Essential cognitive processing describes the cognitive processing required to mentally represent the essential material from a lesson in working memory (mainly through the cognitive processes of selecting and minimal amounts of organising). It is caused by the inherent complexity of the essential material for the learner, so it is not appropriate to try to reduce essential processing. Instead, an important instructional goal is to manage essential processing so that it can be accomplished in ways that do not overload the learner’s cognitive capacity.


생성적 인지 처리제시된 자료를 이해하고자 하는 인지 처리를 말하며(즉, 주로 통합과 조직화의 인지 과정), 학습자의 자료 이해 동기 부여에 의해 발생한다. 학습자가 사용할 수 있는 인지 능력이 있더라도 학습 의욕이 없다면 깊은 학습을 하지 않을 수 있습니다. 따라서, 중요한 교육적 목표는 생성적 처리를 촉진하는 것이다.

Generative cognitive processing is cognitive processing aimed at making sense of the presented material (i.e. mainly the cognitive processes of integrating and organising) and is caused by the learner’s motivation to understand the material. Even when learners have cognitive capacity available, they may not engage in deep learning because they are not motivated to do so. Thus, an important instructional goal is to foster generative processing.


instruction을 설계할 때 학습자의 인지 처리가 학습자의 인지 능력을 초과하지 않도록 하는 것이 중요하다. instruction이 제대로 설계되지 않아 관련 없는 처리가 너무 많을 경우(즉, 외부 과부하라고 함), 학습자는 정작 필요한 생성 처리에 관여할 수 있는 충분한 capacity가 없을 수 있으며, 따라서 의미 있는 학습 결과를 달성하지 못할 수 있다. 암에 대처하는 방법에 관한 웹사이트를 예로 들어보면, 불필요한 과부하를 유발하는 것의 예로는, 

  • 번쩍이는 컬러 프레임이 있는 전체 화면, 

  • 무관한 배경 사진, 

  • 배경음, 

  • 화면에서 날라다니는 단어들

  • 끊임없는 비디오 

등이 있다.

In designing instruction, it is important to make sure that the learner’s cognitive processing during learning does not exceed the learner’s cognitive capacity. When there is too much extraneous processing because the instruction is poorly designed (which I call extraneous overload), the learner may not have enough remaining capacity to engage in needed generative processing and therefore does not achieve a meaningful learning outcome. An example of something that causes extraneous overload is a website on how to cope with cancer that presents an entire screen full of windows with flashing coloured frames, background photographs that are irrelevant, background sounds, animated words that fly across the screen and ongoing videos.


외부 처리가 줄었떠라도 필수 처리가 너무 많은 경우(필수 과부하라고 부르는), 학습자가 의미 있는 학습을 할 충분한 남은 capacity가 없을 수 있습니다. 필수 과부하를 유발하는 것의 예로는 학습자가 전달된 정보를 소화하도록 잠시 중단하지 않고 20분 동안 빠른 속도로 진행되는 유전학의 원칙에 대한 파워포인트 프리젠테이션이 있다.

When extraneous processing is reduced but there is too much essential processing because the material is complex (which I call essential overload), the learner may not have enough remaining capacity to engage in meaningful learning. An example of something causing essential overload is a PowerPoint presentation on principles of genetics that goes at a fast pace for 20 minutes without pausing to allow the learner to digest the information delivered.


외부 처리가 감소되고 필수 처리가 관리되면 학습자는 처리 능력을 가질 수 있지만, 의미 있는 학습에 참여할 동기를 부여가 되어있지 않을 수 있다(즉, 생성적 과소활용). 누군가가 실제로 시스템을 사용할 필요가 없을 때 새로운 컴퓨터 시스템을 사용하는 방법에 대한 컴퓨터 기반 과정을 수강하도록 강요하는 것은 생성적 과소용성의 한 예입니다.

When extraneous processing is reduced and essential processing is managed, the learner may have processing capacity but not be motivated to use it to engage in meaningful learning (which I call generative underutilisation). Asking someone to take a computer-based course on how to use a new computer system when the person will never have to actually use the system and therefore has no interest in learning about it is an example of generative underutilisation.


멀티미디어 교육 설계에 대한 연구

Research on instructional design of multimedia lessons


유지 테스트는 학습자에게 제한된 시간 내에 기억할 수 있는 모든 것을 적도록 요구합니다(예: '인간의 호흡 시스템이 어떻게 작동하는지 설명하십시오). 그런 다음 중요한 아이디어 유닛의 수를 답에 기록합니다.

The retention tests ask the learners to write down all they can remember in a limited amount of time (e.g. ‘Please explain how the human respiratory system works’). We then tally the number of important idea units in the answer.


트랜스퍼 테스트는 학습자에게 제한된 시간 내에 질문에 대한 답을 쓰도록 요구합니다

  • 문제해결 질문 (예: '숨에 문제가 있는 사람이 있는 경우. 무엇이 잘못되었을 수 있었는가?), 

  • 재설계 질문(예: '인간의 호흡 시스템을 개선하기 위해 무엇을 할 수 있는가?') 

  • 개념적 질문(예: '왜 공기가 폐로 유입되는가?'). 

그런 다음 각 학습자의 모든 전송 질문에 대해 수용 가능한 해결 방법 수를 계산합니다.

The transfer tests ask the learner to write answers to troubleshooting questions (e.g. ‘Suppose someone is having trouble breathing. What could have gone wrong?’), re-design questions (e.g. ‘What could be done to improve on the human respiratory system?’) or conceptual questions (e.g. ‘Why does air enter the lungs?’) in a limited amount of time. We then tally the number of acceptable solutions across all the transfer questions for each learner.


표 1은 외부처리를 줄이고, 필수처리를 관리하며, 생성처리를 촉진하는 증거기반 기법을 요약한다.

Table 1 summarises evidence-based techniques for reducing extraneous processing, managing essential processing, and fostering generative processing.



Table 1 Research-based principles for instructional design of multimedia lessons

외부처리를 줄이기 위한 원칙 

일관성 원칙: 외부 물질 제거 

신호 원리: 필수 재료 강조 

근접성 원칙: 인쇄된 단어를 해당 그래픽 근처에 배치합니다. 

Principles for reducing extraneous processing 

Coherence principle: eliminate extraneous material 

Signalling principle: highlight essential material 

Contiguity principle: place printed words near corresponding graphics 


필수 처리 관리 원칙 

사전 교육 원리: 핵심 개념의 이름과 특성에 대한 사전 교육 제공 

분할 원리: 학습자가 제어하는 세그먼트로 교습 

모달리티 원칙: 단어를 구어체로 표시

Principles for managing essential processing 

Pre-training principle: provide pre-training in names and characteristics of key concepts 

Segmenting principle: break lessons into learner-controlled segments 

Modality principle: present words in spoken form


생성공정 촉진 원칙 

멀티미디어 원칙: 단어 혼자가 아닌 단어와 그림을 제시합니다. 

개인화 원칙: 회화 또는 공손한 문체로 표현 

음성 원리: 기계 음성보다 사람의 음성 사용

Principles for fostering generative processing 

Multimedia principle: present words and pictures rather than words alone 

Personalisation principle: present words in conversational or polite style 

Voice principle: use a human voice rather than a machine voice


외부 처리를 줄이기 위한 세 가지 원칙: 일관성, 신호 전달 및 탄력성 원칙.

three principles for reducing extraneous processing: the coherence, signalling, and contiguity principles.


  • 일관성 원칙은 사람들이 관련 없는 자료가 제외된 멀티미디어 수업으로부터 더 잘 배운다는 것이다. 예를 들어, 사람들은 컬러 사진보다는 흑백 선 그림, 흥미로우면서도 무관한 스토리가 삭제될 때, 또는 놀랍지만 관련이 없는 비디오가 삭제되었을 때 더 잘 배울 수 있다.

  • The coherence principle is that people learn better from multimedia lessons that exclude rather than include extraneous material. For example, people can learn better from black-and-white line drawings than from colour photographs, when interesting but irrelevant stories are deleted, or when stunning but irrelevant video is deleted.

  • 신호 전달 원리는 사람들이 '첫 번째, 두 번째, ... 세 번째'와 같은 개요, 표제, 포인터 단어를 사용하여 필수적인 자료를 강조하는 멀티미디어 수업으로부터 더 잘 배운다는 것이다. 예를 들어, 사람들은 한 과정에서의 각각의 주요 단계와 일치하는 표제를 포함하고 있을 때 심장이 어떻게 작동하는지에 대한 교훈을 통해 더 잘 배울 것이다.

  • The signalling principle is that people learn better from multimedia lessons that highlight the essential material by using an outline, headings and pointer words such as ‘first,... second,... third’. For example, people will learn better from a lesson on how the heart works when it contains headings that correspond to each of the main steps in a process.

  • 인접성 원칙은 사람들이 단어를 페이지나 화면의 그래픽에 상응하는 부분으로부터 가까이 배치할 때 더 잘 배운다는 것이다. 예를 들어, 인간의 심장을 묘사하는 그림에서 각 방을 묘사하는 텍스트는 해당 챔버 옆에 놓아야 한다.

  • The contiguity principle is that people learn better when printed words are placed near rather than far from corresponding portions of the graphic on the page or screen. For example, in a figure depicting the human heart, text describing each chamber should be placed next to the corresponding chamber.


필수 프로세싱 관리에 대한 세 가지 원칙, 즉 사전 교육, 세분화 및 양식 원칙이 나열되어 있습니다.

The second section of Table 1 lists three principles for managing essential processing: the pre-training, segmenting, and modality principles.


  • 사전 훈련의 원칙은 사람들이 핵심 개념의 이름과 특성을 이미 알고 있을 때 멀티미디어 수업으로부터 더 잘 배운다는 것이다. 따라서, 인간의 심장의 작동 방식에 대한 설명을 듣기 전에 각 주요 부분의 이름과 특성에 대한 사전 교육을 받아야 합니다.

  • The pre-training principle is that people learn better from a multimedia lesson when they already know the names and characteristics of the key concepts. Thus, before receiving an explanation of the steps of how the human heart works, learners should receive pretraining in the names and characteristics of each major part.


  • 세분화 원리는 연속적인 또는 큰 수업이 학습자를 따라가는 작은 영역으로 분류될 때 사람들이 더 잘 배운다는 것이다. 예를 들어, 컴퓨터 기반의 내레이션된 애니메이션에서 인간의 심장의 작동 방식에 대한 프레젠테이션은 주요 지점에서 정지된 다음, 습자가 CONTINUE 버튼을 누른 다음에 계속 진행하게 만들 수 있습니다.

  • The segmenting principle is that people learn better when a continuous or large lesson is broken down into smaller, learner-paced segments. For example, in a computer-based, narrated animation on how the human heart works, the presentation can stop at major points and continue when the learner presses a CONTINUE button.


  • 모달리티 원칙멀티미디어 수업에서 단어들은 인쇄가 아닌 말이어야 한다는 것이며, 따라서 과부하될 수 있는 시각-그림 채널로부터 활용도가 낮은 청각-언어 채널로 정보를 오프로딩해야 한다는 것이다.

  • The modality principle is that the words in a multimedia lesson should be spoken rather than printed, thereby offloading information from the visual-pictorial channel, which may be overloaded, onto the auditory-verbal channel, which is under-used.


생성 처리 촉진을 위한 세 가지 원칙, 즉 멀티미디어, 개인화 및 음성 원칙이 열거되어 있다.

The third section of Table 1 lists three principles for fostering generative processing: the multimedia, personalisation and voice principles.


  • 멀티미디어 원칙은 사람들이 단어만 배우는 것보다 단어와 그림으로부터 더 잘 배운다는 것이다. 예를 들어, 심장의 작동 방식을 말로만 설명하는 대신 심장의 각 상태를 보여주는 일련의 그림 프레임을 추가합니다.

  • The multimedia principle is that people learn better from words and pictures than from words alone. For example, instead of explaining the steps in how the heart works solely in words, add a series of illustration frames showing each state of the heart.

  • 개인화 원칙은 말이 포멀하거나직접적인 형태보다는 대화나 공손한 형태로 전달될 때 더 잘 배운다는 것이다. 예를 들어, 사람들은 '일반화된 심장'보다는 '당신의 심장'에 대해 이야기할 때 더 잘 배운다.

  • The personalisation principle is that people learn better when words are delivered in a conversational or polite form rather than in a formal or direct form. For example, people learn better when the narrator talks about ‘your heart’ rather than ‘the heart’.

  • 음성 원리는 내레이터가 기계 음성이 아닌 인간의 음성으로 말할 때 사람들이 컴퓨터 기반의 멀티미디어 수업으로부터 더 잘 배운다는 것이다. 그 이유는 사람들이 교수자와 사회적 파트너쉽을 맺고 있다고 느낄 때 내레이터가 무엇을 말하는지 이해하려고 더 노력하기 때문입니다.

  • The voice principle is that people learn better from computer-based multimedia lessons when the narrator speaks in a human voice rather than a machine voice. The rationale behind this is that people try harder to make sense of what a narrator is saying when they feel they are in a social partnership with the narrator.


CONCLUSIONS







 2010 Jun;44(6):543-9. doi: 10.1111/j.1365-2923.2010.03624.x.

Applying the science of learning to medical education.

Author information

1
Department of Psychology, University of California, Santa Barbara, California, USA. mayer@psych.ucsb.edu

Abstract

OBJECTIVE The goal of this paper is to examine how to apply the science of learning to medical education. SCIENCE OF LEARNING The science of learning is the scientific study of how people learn. Multimedia learning - learning from words and pictures - is particularly relevant to medical education. The cognitive theory of multimedia learning is an information-processing explanation of how people learn from words and pictures. It is based on the idea that people have separate channels for processing words and pictures, that the capacity to process information in working memory is limited, and that meaningful learning requires appropriate cognitive processing during learning. SCIENCE OF INSTRUCTION The science of instruction is the scientific study of how to help people learn. Three important instructional goals are: to reduce extraneous processing (cognitive processing that does not serve an instructional objective) during learning; to manage essential processing (cognitive processing aimed at representing the essential material in working memory) during learning, and to foster generative processing (cognitive processing aimed at making sense of the material) during learning. Nine evidence-based principles for accomplishing these goals are presented. CONCLUSIONS Applying the science of learning to medical education can be a fruitful venture that improves medical instruction and cognitive theory.

PMID:
 
20604850
 
DOI:
 
10.1111/j.1365-2923.2010.03624.x
[Indexed for MEDLINE]


CBME에서 평가의 핵심 원칙(Med Teach, 2017)

Core principles of assessment in competency-based medical education 

Jocelyn Lockyera, Carol Carracciob, Ming-Ka Chanc, Danielle Hartd,e, Sydney Smeef, Claire Touchief,g, Eric S. Holmboeh and Jason R. Franki,j; on behalf of the ICBME Collaborators

aCumming School of Medicine, University of Calgary, Calgary, Canada; bAmerican Board of Pediatrics, Chapel Hill, NC, USA; cMax Rady College of Medicine, Rady Faculty of Health Sciences, University of Manitoba, Winnipeg, Canada; dHennepin County Medical Center, Minneapolis, MN, USA; eUniversity of Minnesota Medical School, Minneapolis, MN, USA; fMedical Council of Canada, Ottawa, Canada; gFaculty of Medicine, University of Ottawa, Ottawa, Canada; hAccreditation Council for Graduate Medical Education, Chicago, IL, USA; iRoyal College of Physicians and Surgeons of Canada, Ottawa, Canada; jDepartment of Emergency Medicine, University of Ottawa, Ottawa, Canada




도입

Introduction


CBME가 설립되면서, 초점은 학습을 위한 평가로 옮겨가고 있다. 반 데르 베루텐 외 연구진들은 "평가가 그 자체로 목표가 될 때, 그것은 사소하고 결국 버려질 것이다. 평가는 학습을 유도해야 하며, 일상적 루틴 속에 통합되어 있으며, 궁극적으로는 학습 관행에 없어서는 안 될 것으로 여겨질 때 그 효용성을 갖는 것이다."(2010년, 페이지 712).

as CBME becomes established, the focus is shifting to assessment for learning. Van der Vleuten et al. suggest that “whenever assessment becomes a goal in itself, it is trivialized and will ultimately be abandoned. Assessment has utility insofar as it succeeds in driving learning, is integrated in a routine and ultimately comes to be regarded as indispensable to the learning practice.” (2010, p. 712).


슈워스와 반 데르 베레텐(2006)은 새로운 심리학적 모델을 호소하며, 학습자가 미리 결정된 결과를 달성했는지 여부만을 묻는 대신 새로운 심리학적 모델을 요구하기 위해 우리는 보다 중요한 질문을 제기합니다. "미래에 이 학생에게 어떤 케이스가 주어졌을 때, 이 학생의 수행능력이 기준에 미치지 못할 위험성은 얼마나 클까?"

In a plea for new psychometric models, Schuwirth and van der Vleuten (2006) proposed that, rather than asking only whether a learner has achieved a predetermined outcome, we pose a more critical question: How big is the risk of the student performing below the standard in a future case given his or her history and the current observation?


레지던트 교육을 마친 의사가 안전하고 효과적이며 환자 중심적인 치료를 제공할 수 있는 가능성을 극대화하기 위해 평가 프로그램이 갖추어야 할 요소는 다음과 같습니다. 

  • 활동(정보의 수집, 합성, 해석, 가중치 할당

  • 지원(교수개발, 심리측정학적 분석)

  • 문서화(규칙, 블루프린트, 정보 관리) 

  • 개선(연구, 개발, 학습 환경, 변화 관리 등에 대한 개선

  • (과학 연구, 외부 검토, 비용-효과성, 정치 및 법적 요건과 관련한 책임)

to maximize the probability that a physician graduating from residency training can provide safe, effective, patient-centered care, the elements of an assessment program include 

  • actions (collecting, synthesizing, interpreting, and assigning weight to information); 

  • support (faculty development and psychometric analysis); 

  • documentation (rules, blueprints,and information management); 

  • improvement (with regard to research, development, the learning environment, and change management); 

  • accountability (with regard to scientific research, external review, cost effectiveness, and political and legal requirements) (Dijkstra et al. 2010).


더욱이, CBME의 평가는 레지던트 훈련에서 종료되어서는 안 된다. 역량은 한 번 달성하고 끝나는 것이 아니라, 역량에 대해서는 언제나 재평가가 필요한 다른 맥락이나 상황이 존재한다(Eva et al. 2013).

Moreover, assessment in CBME should not end with residency training. Competence is not something one can attain once and for all: there will always be another context or occasion that necessitates reassessment (Eva et al. 2013).


의미 있는 역량 기반 평가에 대한 우리의 비전은 다음을 포함해야 합니다. 

  • (1) 지속적인, 적시에 이루어지는 평가, 또한 평가의 지속적인 발전을 보장하기 위한 종합적인 정기 검토(Archer 2010) 

  • (2) 복수의 평가자와 평가법을 적절히 활용하여 옳은 목적을 위해 올바른 평가를 수행하고, 평가자의 피로를 방지(Norcini et al. 2011; Hodge 2013). 

  • (3) 역량에 대한 판단에 도달하기 위해 그룹 프로세스를 통하여 수집된 데이터를 통합 

  • (4) 모든 평가자에 대한 교수개발. 근무지에서 훈련생을 관찰하는 사람이야말로 진정한 측정 도구이다. 

  • (5) 피드백이 실제에 통합되도록 형성 피드백 제공자와 수신자 사이의 관계를 최적화한다(Watling et al. 2012).


Our vision for meaningful competency-based assessment should include 

  • (1) timely ongoing assessments, with comprehensive periodic reviews to ensure continued progress (Archer 2010); 

  • (2) the best use of multiple assessors and assessments to enable the right assessment to be made at the right time for the right purpose, while avoiding assessor fatigue (Norcini et al. 2011; Hodges 2013); 

  • (3) a synthesis of data collected through group processes to reach judgments about competence; 

  • (4) faculty development for all assessors, who, as observers of trainees in the workplace, are the true measurement instrument; and 

  • (5) optimized relationships between the givers and receivers of formative feedback to enhance the incorporation of feedback into practice (Watling et al. 2012).




CBME의 핵심 평가원칙

Core assessment principles of CBME


학습을 위한 평가

Assessment for learning


평가 전략은, 각 단계에 맞춰서 제공되는 형성적 피드백이 학습뿐만 아니라 평가에도 기여하고 정보를 제공합니다. 'Does' 수준에서 보자면, 평가는 사람이 일하고 배우는 진정한 맥락의 일부가 된다.

(Table 1). The assessment strategies tied to each level inform and contribute to learning as well as assessment, provided that formative feedback is given. At the “does” level, assessment becomes part of the authentic context in which one works and learns;


학습자가 자신의 학습에 적극적으로 참여하는 것은 평생 학습에 있어 기술을 개발하는 데 중요한 것으로 오랫동안 이해되었다. 평가는 학습자에 의해 및 학습자와 함께 by and with 수행해야 합니다. 이 원칙을 구체화하는 전략 두 가지이다. 

    • Informed self-assessment: 학습자가 학습을 guide하기 위해서 [내부 소스]뿐만 아니라 [신뢰할 수 있는 외부 소스]로부터 데이터를 이끌어낼 수 있도록 권장

    • 포트폴리오: 학습자가 자신의 학습 내용을 기록하고 성찰하도록 권장


The active engagement of learners in their own learning has long been understood as crucial to developing skills in lifelong learning (Dewey 1974; Knowles 1975). Assessment should be performed by and with the learner. Two strategies that embody this principle are 

    • informed self-assessment, whereby the learner is encouraged to draw on data from credible external as well as internal sources to guide learning (Sargeant et al. 2010), and 

    • the use of portfolios, which encourage learners to document and reflect on their learning (van Tartwijk & Driessen 2009).


자신을 정확하게 평가하기는 어렵다. 그러나, 자기평가가 성찰을 동반할 경우, 특히 "reflection-in-action RIA"가 포함된 경우, 학습자가 언제 멈추고 피드백이나 도움을 요청해야 할지를 알 수 있습니다(Eva & Regehr 2005). 이 행동을 "자기 주도적 평가 탐색"(Eva & Regehr 2008)이라고 한다. 펠그림 등은 교수진이 제공한 피드백의 특수성과 학습자의 후속 성찰의 특수성 사이의 연관성을 보여주었다. Sarnard 외 연구진(2011)은 특히 피드백과 결합된 경우, 정보에 근거한 자기 평가informed self-assessment가 전문적 성장을 위한 강력한 촉매가 될 수 있다는 것을 발견했다.

It is difficult to accurately assess oneself (Eva & Regehr 2007). However, when self-assessment involves reflection, particularly “reflection-in-action,” it allows the learner to know when to stop and ask for feedback or help (Eva & Regehr 2005). This behavior is termed “self-directed assessment seeking” (Eva & Regehr 2008). Pelgrim et al. (2013) demonstrated the connection between the specificity of the feedback given by faculty and the subsequent specificity of reflections by learners,. Sargeant et al. (2011) also found that informed self-assessment, especially when combined with feedback, can be a powerful catalyst for professional growth.


CBME와 포트폴리오 평가의 핵심은 학습자가 그 과정에 적극적으로 참여하여 평가가 "교육가능한 순간teachable moment"으로 이어지는 것이다.

Fundamental to both CBME and portfolio assessment is the active engagement of the assessment as the learner in the process, leading to “teachable moment.”


포트폴리오의 사용은 "포트폴리오하다"라는 능동태로서 구상하는 것이 가장 적절하다.

The use of portfolios is best conceived in an active sense: “to portfolio” (Friedman Ben David et al. 2001).




학습의 평가

Assessment of learning


전통적으로 평가는 교육 성과에 초점을 맞추고 있다.

Traditionally, assessment has focused on educational outcomes


CBME는 작업 기반 평가로 전환되므로, 우리의 생각 역시 훈련생들의 능력이 환자에게 제공하는 관리 품질에 미치는 영향을 고려하는 평가로 전환되어야 한다(Kogan & Holmboe 2013). 의학 교육은 학습자의 학습성과 개선뿐만 아니라 환자의 치료성과 개선에도 필요하며, 후자가 궁극적인 목표이다.

With CBME comes a shift to work-based assessment, and our thinking must shift to assessments that take into account the impact of trainees’ competence on the quality of care provided to the patient (Kogan & Holmboe 2013). Medical education will need not only to improved learner outcomes but also to better patient care, the latter being the ultimate goal.


평가 최적화

Optimizing assessment


CBME 시대의 평가 프로그램을 최적화하려면 

(1) 복수의 방법 

(2) 복수의 평가자

(3) 평가자 선정 및 훈련 

(4) 심리측정학 역할의 재개념화

(5) 역량에 대한 중요한 결정을 내릴 때 그룹 과정의 중요성 인식


Optimizing an assessment program in the era of CBME will require 

(1) multiple methods; 

(2) multiple assessors; 

(3) the selection and training of assessors; 

(4) a reconceptualization of the role of psychometrics; and 

(5) a recognition of the importance of group process in reaching critical decisions about competence.


다양한 방법

Multiple methods


평가 프로그램은 구조화된 척도와 구조화되지 않은 척도를 모두 사용하여 정보를 목적에 맞추어 수집해야 하며, 정량적 데이터와 정성적 데이터를 평가해야 하며, 사용되는 데이터의 풍부함과 엄격함이 의사결정의 부담stakes에 부합하도록 해야 합니다. 향후에 학습자가 당면할 real-world practice에 대한 추론을 뒷받침하는 정보를 수집하고자 한다면, 평가 프로그램은 nonstandardized 방법을 반드시 포함해야 한다(van der Vleiten et al. 2012).

An assessment program 

    • should collect information purposefully, using both structured and unstructured measures; 

    • it should value quantitative and qualitative data and 

    • ensure that the richness and rigor of the data used align with the stakes of the decision being made (Schuwirth & Ash 2013). 

A comprehensive program must include nonstandardized methods if it hopes to gather information that supports inferences about future real-world practice (van der Vleuten et al. 2012).


모든 평가 방법에는 한계가 있기 때문에, 한 가지 기법의 단점을 보완하기 위해 여러 가지 방법이 필요하다(van der Vleuten 1996). 질적 데이터에 의존하는 작업 기반 평가는 방어가능할 뿐만 아니라 바람직할 수 있다. CBME의 약속을 실현하기 위해 의학교육자와 훈련 프로그램은 업무 기반 평가의 "지저분함"과 정성적 데이터에 대한 의존성을 수용해야 한다.

Because all assessment methods have their limitations, multiple methods are needed to compensate for the shortcomings of any one technique (van der Vleuten 1996). work-based assessments, which rely on qualitative data, can be both defensible and desirable. To realize the promise of CBME, medical educators and training programs will need to embrace the “messiness” of work-based assessment and its reliance on qualitative data.


다양한 평가자

Multiple assessors


우리는 평가자의 단점을 보완할 다수의 평가자가 필요하다.

we need multiple assessors to compensate for rater shortcomings


과거에는, 이러한 단점들 때문에 [전문가의 총괄적 판단]이 아니라 OSCE에서 사용하는 것과 같은 [더 신뢰할 수 있는 체크리스트]로 평가하도록 만들었다. 그러나 이후에 총괄적 평가와 체크리스트를 비교했을 때 전자가 더 신뢰할 수 있다는 놀라운 결과가 나왔다(Regehr et al. 1998).

In the past, such shortcomings have shifted assessment strategies away from expert global judgments and toward more “reliable” checklists, such as those used in observed structured clinical examinations. However, subsequent comparisons of expert judgments with checklists yielded the surprising finding that the former were more reliable (Regehr et al. 1998).


평가자 교육은 평가자를 교정하고, 평가자 불일치에 따르는 이러한 분산의 일부(전부는 아님)를 해결하는 데 도움이 되는 것으로 나타났습니다. 깅리치 등은 평가자가 어떤 사람을 처음 만나게 되면, 과거에 만났던 사람과의 상호작용으로부터 형성된 스키마를 근거로 새로 만난 사람을 분류한다고 추정하였으며, 이는 패턴 인식이 임상 의사결정에 영향을 미치는 영향과 거의 동일하다.

Rater training has been shown to be helpful in calibrating raters and in addressing some – but not all – of this variance. Gingerich et al. (2011) postulate that raters spontaneously categorize new individuals on the basis of preformed schemas of interactions with previous individuals, in much the same way as pattern recognition influences clinical decision-making.


평가자 선발 및 훈련

Assessor selection and training


누구를 평가자로 포함시키는지를 결정할 때(종종 쉽게 짐작하는 것보다) 누가 가능한지, 누가 자원하는지, 누가 공식적으로 책임을 맡고 있는지, 누구에게 구체적인 과제나 사건에 대한 평가를 믿고 맏길 수 있는지에 따라 달라진다. 관찰자 및 평가자로서의 능력은 부차적인 문제인 경우가 흔하다.

More often than may be acknowledged, assessor selection depends on who is available, who volunteers, who has formal assessment responsibilities, and who can be convinced to perform the assessment for a specific task or event. Secondary consideration, if any, is given to the assessors’ skills as an observer and assessor.


평가자를 교육하는 주된 이유 중 하나는 학습자에 의해서 care를 받는 환자들이 안전하고 효과적이며 환자 중심적인 치료를 받도록 하기 위함이다(Kogan et al. 2014).

One of the primary reasons to train assessors is to ensure by that patients cared for learners receive safe, effective, patient-centered care (Kogan et al. 2014).


한 사람이 어떻게 유능한 평가자로 변모하는지 생각해볼 필요가 있다. 평가자로서 필요한 지식은 두 가지이다: 평가를 해야 하는 역량에 대한 지식(Ponnamperuma 2013)과 평가자의 고유 역할인 관찰 및 기록 작업에 대한 이해이다(Kogan & Holmboe 2013)

we need to think about how someone becomes a competent assessor. The knowledge required is at least twofold: knowledge of the competencies being assessed (Ponnamperuma 2013), and an understanding of the observational and recording tasks intrinsic to the assessor role (Kogan & Holmboe 2013).


CBME에서의 평가를 위해서 각 기관은 평가가 학습learning에 통합되는 교육 커뮤니티를 만들고, 나아가 평가 기술 습득이 teaching에 통합되게 해야 한다.

Moving to CBME will challenge institutions to create educational communities in which assessment is integrated into learning and, moreover, the acquisition of assessment skills is integrated into teaching.


훈련의 필요성은 분명한 것 같지만, 어떻게 해야 하는지는 덜 명확하다.

Although the need for training seems clear, how to go about it is not always so.


심사원 훈련분야에서 어느 정도의 가능성을 보여주는 기술은 

    • 행동 관찰 훈련(BOT), 

    • 성능 차원 교육(PDT) 

    • 기준 훈련 프레임(FoRT) 

The techniques that show some promise in the field of assessor training are 

    • behavioral observation training (BOT), 

    • performance dimension training (PDT), and 

    • frame of reference training (FoRT). 

    • BOT는 관찰 프로세스에 익숙해지게 만들고, 관찰 스킬을 향상시킨다. 세 가지 전략이 있다: 

      • 관찰 빈도 증가("연습해야 완벽해진다" 원칙)

      • 관찰을 위한 적절한 준비 

      • 관찰 기록을 위한 간단한 도구 제공 

    • PDT는 평가자가 역량에 대한 행동적 기준 및 표준을 학습하고 적용하는 데 도움이 되는 대화형 그룹 프로세스이며 FoRT의 중요한 precursor이다(Holmboe et al. 2004). 

    • FoRT는 평가자가 성과의 여러 수준을 정확하게 구별할 수 있도록, [평가자의 판단]을 [공통의 준거에 기반한 frame of reference]와 일치시키기 위한 대화형 프로세스이다(Leavens 2001; Kogan et al. 2014). 

    • BOT familiarizes assessors with observation processes and improves observation skills by means of three strategies: increased frequency of the observation (the “practice makes perfect” principle); proper preparation for observations; and provision of simple tools to record observations (Holmboe et al. 2008). 

    • PDT is an interactive group process that assists assessors in learning and applying behavioral criteria and standards for competencies and is an important precursor of FoRT (Holmboe et al. 2004). 

    • FoRT is also an interactive process that seeks to align assessor judgments with a common criterion-based frame of reference to enable assessors to make accurate distinctions between levels of performance (Lievens 2001; Kogan et al. 2014). 

PDT와 FoRT 모두 학습과 신중한 연습을 위해 사례 자료(비디오 테이프 검토, 객관적인 구조화된 교육 검사 등)의 사용에 의존합니다.

Both PDT and FoRT rely on the use of case material (video tape review, objective structured teaching examination, etc.) for learning and deliberate practice.


평가자 훈련만으로 평가자 인식에 내재된 모든 한계를 극복할 수 없다(Gingerich et al. 2011; Yeates et al. 2012; Govaerts & van der Vleiten 2013). 평가자로서의 능력은 선천적인 것이 아니라 습득가능한 것이다. 이는 장시간에 걸친 DP와 교정을 필요로 한다(Berndonk et al. 2013; Govaerts et al. 2013; Kogan & Holmboe 2013). 따라서, 아무리 잘 만들었떠라도, 일회성 훈련 개입은 충분하지 않다.

Training in assessment cannot overcome all the limitations inherent in rater cognition (Gingerich et al. 2011; Yeates et al. 2012; Govaerts & van der Vleuten 2013), and much research into effective rater training is needed. Assessment ability is acquired, not innate; it requires deliberate practice and refinement over time (Berendonk et al. 2013; Govaerts et al. 2013; Kogan & Holmboe 2013). Therefore, one-time training interventions, no matter how appropriate, are insufficient.



심리측정의 역할 재개념화

Reconceptualizing the role of psychometrics


Norcini 외 연구진(2011)은 "좋은 평가"는 타당성(또는 일관성), 재현성 또는 일관성(신뢰성), 다른 평가 접근법에 대한 동등성, 실현가능성, 수용가능성, 교육적 효과, 학습에 대한 촉매적 효과로 특징지어져야 한다고 결론지었다.

Norcini et al. (2011) concluded that a “good assessment” should be characterized by 

    • validity or coherence; 

    • reproducibility or consistency (reliability); 

    • equivalence with other assessment approaches; 

    • feasibility; 

    • acceptability; and 

    • a consideration of the educational effect and/or 

    • the catalytic effect on learning.


신뢰성과 타당성에 대한 전통적인 생각에 대한 의문이 제기되었다. Hodges는 "주관성의 개념은 편견의 함축으로 간주되었으며, 적절한 표본 추출이 편견을 완화시킴에도 불구하고, 표준화가 곧 신뢰성으로 가는 길로 홍보되어왔음"을 지적했다. 신뢰할 수 없는 점수를 산출하는 객관적 척도(예: 표준화된 점검표)가 존재할 수 있으며, 반대로 신뢰할 수 있는 점수를 제공하는 주관적 척도(글로벌 등급 평가 척도를 사용한 전문가 판단)도 존재할 수 있다(van der Vleuten 1996).

traditional thinking about reliability and validity was questioned. Hodges (2013) pointed out that the notion of subjectivity had taken on the connotation of bias, and that standardization was touted as the ticket to reliability, even though adequate sampling mitigates bias (Eva & Hodges 2012) and is the main determinant of reliability (van der Vleuten & Schuwirth 2005). One can have objective measures (such as standardized checklists) that yield unreliable scores, and subjective measures (such as expert judgments using global rating scales) that provide reliable scores (van der Vleuten 1996).


타당성은 더 이상 도구의 고유한 속성이 아니다. 대신, 타당성 증거는 우리가 내리는 결정을 뒷받침하기 위해 우리가 사용하는 방법과 도구에 기초하여 축적하는 것이다. 타당성의 증거를 만드는 것은 우리가 만들고자 하는 추론과 판단을 구체화하는 것으로부터 시작한다.

Validity is no longer seen as an inherent property of a tool. Instead, validity evidence is something that we accumulate, on the basis of the methods and tools that we use, to support the decisions we make. Building evidence of validity is a process that begins with articulating the inference or judgment we want to make.


CBME가 도입된 이후, 여러 곳에서 공통적으로 평가를 위해 역량을 작은 단위의 행동으로 환원시켰다. 이러한 "원자화"는 trivialization으로 이어질 수 있고, 실제로 타당성을 위협할 수도 있다. 호지(2013년)는 "역량을 재구성"하기 위한 목적하에, 서로 다른 목적을 갖는 평가도구로부터 수집된 세부점수를 합산하는 것은 "방향이 반대opposite"이며, 타당성 위협이 된다고 강조하였다.

Since the introduction of CBME, a common practice has been to reduce competencies to small units of behavior for the purposes of assessment. This “atomization” can lead to trivialization and may actually threaten validity (van der Vleuten & Schuwirth 2005). Hodges (2013) also highlights the threat to validity posed by the “opposite” practice of aggregating sub-scores from instruments with different purposes to “reconstitute competence.”


책임 있는 전문 활동(EPA)과 마일스톤 프로젝트는 이러한 우려에 대응합니다.

entrustable professional activities (EPAs) and the Milestone Project respond to these concerns.


호지(2013년)에 따르면 "집단적 관점"은 [데이터 수집]과 [독립적인 판단의 통합 및 해석] 모두를 frame할 수 있다. 통합된 역량을 요구하는 전문 활동인 EPA에 기초한 전체론적 평가는 개별 역량에 대한 보다 세부적인 설명과 형성적 피드백의 자료substrate을 제공하는 이정표와 함께 역량 기반 평가를 진행한다.

Hodges (2013) suggests that a “collective perspective” can frame both data-gathering and the aggregation and interpretation of independent judgments. Holistic assessment based on EPAs, which are professional activities that require integrated competencies, in combination with milestones, which provide a more granular description of individual competencies and the substrate of formative feedback, will advance competency-based assessment.


그룹 프로세스의 필요성

Importance of group process


복수의 평가자가 필요함에도 불구하고 "모든 것"을 측정할 수 있는 평가자와 평가 방법의 조합은 없다. 통합 과정은 여전히 필수적이며, 그룹 판단은 entrustment 결정의 신뢰성을 최대화하는 최선의 방법일 수 있다. Schwind 외 연구진(2004)은 외과 전공의가 결여된 역량들 중 18%는 위원회에서의 논의에서만 탐지되었음을 발견했다.

Despite the need for multiple assessors, no combination of assessors and assessment methods can measure “all things.” A synthesis process is still essential, and group judgment may provide the best means of maximizing the reliability of entrustment decisions. Schwind et al. (2004) found that 18% of competency deficiencies in a surgery residency were detected only during discussion at a clinical competency committee.


정보 관리와 문서화

Information management and documentation


(Table 2).


현재 데이터 합성 및 통합은 많은 시간과 노력을 들여 수동으로 수행됩니다. 기술은 다음과 같은 도움을 줄 수 있다.

(1) 개인 및 프로그램 수준의 성능에 대한 신속한 반영 

(2) 진행 결정 및 학습자에 대한 기타 중요한 판단을 통지한다. 

(3) 개발 연속체를 따라 기술 진보에 관한 개별 학습자 피드백을 제공한다. 

(4) 학습의 필요성 및 성과 격차에 대한 훈련자의 반성을 자극하기 위해 대시보드(참조 그룹에 대한 개별 또는 프로그램의 성과를 시각적으로 표현)를 작성한다. 

(5) 프로그램 책임자를 위한 대시보드를 만들어 개별 및 총 학습자 진행 상황을 다른 프로그램의 지역 및 국가 동료 그룹과 비교하고 국가 또는 국제 표준에 대한 비교를 제공할 수 있다(Schumacher et al. 2014).

Currently, data synthesis and aggregation are done manually at great expense of time and effort. With these developments, technology can 

(1) prompt reflection on performance at the individual and program level; 

(2) inform progression decisions and other important judgments about learners; 

(3) provide individual learner feedback regarding skill progression along a developmental continuum; 

(4) create dashboards (graphic representations of an individual’s or program’s performance against a reference group) to stimulate trainees’ reflection on learning needs and performance gaps; and 

(5) create dashboards for program directors to compare individual and aggregate learner progress with local and national peer groups in other programs as well as to provide comparisons against national or international standards (Schumacher et al. 2014).


기술은 (인증 및 재검증 또는 인증 유지 관리를 포함한) 저부담과 고부담 상황 모두에서, 형성평가 및 총괄평가에 역할을 할 수 있다. 그러나 환자와 학습자 데이터의 보안이 매우 중요합니다.

Technologies could play a role in formative and summative assessments, in both low-stakes and high-stakes contexts, including for certification and revalidation or maintaining the maintenance of certification. However, security of patient and learner data will be critically important.


평가 프로그램 감사, 투명성, 책임성의 세 가지 문서 문제가 있습니다. 

There are three documentation issues to highlight: assessment program auditing, transparency, and accountability. 

  • 감사 추적은, 정성적 평가를 위한 타당성 증거의 일부로서, 모든 고부담 결정에서도 타당성 증거의 중요한 구성요소이다. 감사는 판단의 dependability 또는 conformability를 높여서 신뢰도를 확립한다(van der Vleuten et al. 2010). 감사에는 프로세스 문서화, 결과 서포트(예: 학습자가 의사결정에 의문을 제기한다면), 외부 검토자의 품질 증거 제공이 포함됩니다. ACGME가 학습자 마일스톤 평가를 위해 요구하는 임상 역량 위원회는 향후 감사 문서의 단계를 설정한다(Nasca et al. 2012). 
  • 투명성은 감사 추적을 생성하는 것과 관련이 있습니다. 이 두가지 모두에서 규칙, 증거, 사고 과정 및 의사결정 이유를 문서화하는 것이 필수적이다. 평가가 일련의 점수에 근거한 판단을 넘어, 그 점수에 대한 해석을 포함하는 것이 될 때, 최종적으로는 그 점수에 대한 해석이 더 신뢰할 수 있게 된다(Govaerts & van der Vleuten 2013).
  • 극적으로, 책무성이 필요하다. 종합적으로 정보를 종합하고 결정을 내리는 사람은 trainee는 물론, 더 큰 의료 시스템에 대해서도 책임이 있으며, 의사의 진급 능력에 대한 이 사람들의 판단을 신뢰할 수 있어야 한다.
  • The audit trail, which is part of the validity evidence for qualitative assessment, is likewise an important component of the validity evidence for any high-stakes decision. Auditing establishes trustworthiness by addressing the dependability or conformability of a judgment (van der Vleuten et al. 2010). Auditing involves documenting the process, supporting the outcome (e.g. if learners question a decision), and providing evidence of quality for external reviewers. The clinical competency committee required by the ACGME for assessing learner milestones sets the stage for auditing documentation going forward (Nasca et al. 2012). 

  • Transparency goes hand in hand with creating an audit trail, and documenting the rules, evidence, thought processes, and reasons for decision-making are essential to both. Taking assessment beyond a judgment based on a set of scores to a judgment that includes an interpretation of those scores should be more trustworthy in the end (Govaerts & van der Vleuten 2013). 

  • Ultimately, there has to be accountability. Those who synthesize and reach decisions are responsible to the trainee and to the larger health care system that trusts their judgments about a physician’s ability to progress further.





평가 시스템의 향상

Improving the assessment system


학습의 한 단계에서 다음 단계로 정보를 전달할 수 있는 프로그램은 학습자가 시간 경과에 따른 gap에 초점을 맞추고 strength에 기초할 수 있도록 합니다(Eva et al.2013). 마찬가지로, 프로그램 수준에서, 몇몇 훈련생들의 평가로부터 수집된 데이터를 취합하여 커리큘럼 효과를 평가하거나, 또는 내 코호트가 합리적인 기간 동안 원하는 역량 수준에 도달할 수 있는지 여부를 판단할 수 있다.

Programs that can forward information from one phase of learning to the next will enable learners to focus on gaps and build on strengths over time (Eva et al.2013). Similarly, at the program level, data collected from the assessment of several trainees can be aggregated to assess curriculum effectiveness or to determine whether a cohort within was able to reach desired levels of competence a reasonable period


프로그램은 어떤 환경에서 누가, 어떤 환경에서, 그리고 왜 작동하는지 계속 물어봐야 한다(Pawson & Tilley 1997). Pawson이 지적했듯이 프로그램 개입은 거의 언제나 지속적으로 개선되고 수정되어야 하는 "부분적 해결책"이다.

Programs should continually ask what works, for whom, in what circumstances, and why (Pawson & Tilley 1997). As Pawson has noted, program interventions are almost always “partial solutions” that must be continually refined and revised (Pawson 2013). 



Conclusions


Schuwirth LWT, Ash J. 2013. Assessing tomorrow’s learners: in competency-based education only a radically different holistic method of assessment will work. Six things we could forget. Med Teach. 35:555–559. ==


Harris P, Bhanji F, Topps M, Ross S, Lieberman S, Frank JR, Snell L, Sherbino J; ICBME Collaborators. 2017. Evolving concepts of assessment in a competency-based world. Med Teach. 39:603–608.


Hawkins RE, Durning SJ. 2017. Program evaluation. In: Holmboe ES, Durning SJ, Hawkins RE, editors. Practical guide to the evaluation of clinical competence. 2nd ed. Philadelphia: Elsevier; p. 303–331. XXX


Kane MT. 2013. Validating the interpretations and uses of test scores. J Educ Meas. 50:1–73.






 2017 Jun;39(6):609-616. doi: 10.1080/0142159X.2017.1315082.

Core principles of assessment in competency-based medical education.

Author information

1
a Cumming School of Medicine , University of Calgary , Calgary , Canada.
2
b American Board of Pediatrics , Chapel Hill , NC , USA.
3
c Max Rady College of Medicine, Rady Faculty of Health Sciences, University of Manitoba , Winnipeg , Canada.
4
d Hennepin County Medical Center, Minneapolis , MN , USA.
5
e University of Minnesota Medical School , Minneapolis , MN , USA.
6
Medical Council of Canada , Ottawa , Canada.
7
g Faculty of Medicine, University of Ottawa , Ottawa , Canada.
8
h Accreditation Council for Graduate Medical Education , Chicago, IL , USA.
9
i Royal College of Physicians and Surgeons of Canada , Ottawa , Canada.
10
j Department of Emergency Medicine , University of Ottawa , Ottawa , Canada.

Abstract

The meaningful assessment of competence is critical for the implementation of effective competency-based medical education (CBME). Timely ongoing assessments are needed along with comprehensive periodic reviews to ensure that trainees continue to progress. New approaches are needed to optimize the use of multiple assessors and assessments; to synthesize the data collected from multiple assessors and multiple types of assessments; to develop faculty competence in assessment; and to ensure that relationships between the givers and receivers of feedback are appropriate. This paper describes the core principles of assessment for learning and assessment of learning. It addresses several ways to ensure the effectiveness of assessment programs, including using the right combination of assessment methods and conducting careful assessor selection and training. It provides a reconceptualization of the role of psychometrics and articulates the importance of a group process in determining trainees' progress. In addition, it notes that, to reach its potential as a driver in trainee development, quality care, and patient safety, CBME requires effective information management and documentation as well as ongoing consideration of ways to improve the assessment system.

PMID:
 
28598746
 
DOI:
 
10.1080/0142159X.2017.1315082
[Indexed for MEDLINE]


학부의학교육에서 Core EPA에 대한 비판(Acad Med, 2018)

Critical Thoughts About the Core Entrustable Professional Activities in Undergraduate Medical Education

Edward Krupat, PhD




역량 기반 의료 교육(CBME)의 세계는 끊임없이 진화하고 있습니다. Accreditation Council for Color Medical Education가 정의했던 것처럼 최초 초점은 역량(의료전문가가 지식과 기술을 입증해야 하는 부문)에 초점을 맞춘 후, 이후에 milestone(역량에 이르는 path에 대한 마커) 제안되었다. ACGME의 6가지 핵심 역량이 의사의 직무, 행동 또는 책임을 구체적으로 명시하지 않았다는 점을 지적하며, 10개의 Cate는 GME에서 책임 있는 전문적 활동(EPA)의 개념을 제안하였다. EPA는 모든 레지던트가 교육을 마칠 때까지 독립적으로 수행할 수 있는 신뢰할 수 있는 핵심 업무 또는 책임을 말한다.

The world of competency-based medical education (CBME) is constantly evolving. Following the initial focus on competencies (domains in which health professionals are expected to demonstrate knowledge and skills), as defined by the Accreditation Council for Graduate Medical Education (ACGME),6–8 the concept of milestones9,10 (observable markers along the path to competence) was proposed. Concerned that the ACGME’s six core competencies did not specify concretely the tasks, actions, or responsibilities required of a physician, ten Cate proposed the concept of entrustable professional activities (EPAs) in the context of graduate medical education (GME).11,12 These EPAs represented a pragmatic list of activities—a core set of tasks or responsibilities that all residents could be trusted to do independently by the time they completed their training.


GME에서 EPA를 점점 더 수용하면서, 미국 의과대학협회(AAMC)는 "의과대학과 레지던트 사이의 전환점에서의 성과 격차"를 인정했고, AAMC는 존경 받는 교육자들로 구성된 위원회를 소집하여, 공통의 틀 안에서 GME와 UME를 만들겠다는 목표를 가지고, 졸업하는 모든 MD에 기대되는 활동들을 식별하였다.

With the growing acceptance of EPAs in GME, the Association of American Medical Colleges (AAMC) recognized a “performance gap at the transition point between medical school and residency.”13 AAMC convened a panel of respected educators to identify those activities that might be expected of all graduating MDs, with the goal of having GME and UME work within a common framework.


핵심 EPA를 piloting하고 testing하는 데 상당한 조직적 자원이 투입되었다.15 일부 교육자들은 EPA를 중요하며 패러다임 전환이라고 설명했지만, 점점 더 많은 수의 교육자들이 CBME와 특히 EPA에 대해 의구심을 나타냈다. 한 관찰자는 "더 많은 시간, 노력, 좌절, 그리고 자원이 투자되기 전에, 역량, 마일스톤, Core EPA로의 돌격"을 늦추기를 요구한다. "17 진단 추론의 오류의 맥락에서 Moulton과 동료 23,24는 "늦춰야 할 때엔 늦춰야 한다"고 이야기 했다.

Considerable organizational resources have gone into piloting and testing the Core EPAs.15 Some educators have described EPAs as important and paradigm shifting16; however, a growing number have expressed reservations about CBME in general and EPAs in particular.17–22 One set of observers asks us to slow “the headlong rush to competencies, milestones and COREEPAs … before even more time, effort, frustration and resources are invested.”17 In the context of errors in diagnostic reasoning, Moulton and colleagues23,24 have talked about “slowing down when you should.”


내용과 초점에 대한 우려

Concerns About Content and Focus


역량 영역(예: 의료 지식) 또는 개인과 관련된 특성(예: 전문성)에 초점을 맞추는 대신, 핵심 EPA는 13개의 ambulatory 및 병원 기반 "활동" 목록을 구성합니다(workplace-based 작업으로 표현되는 전문적 행동의 단위 설명). 모든 의대생은 이 목록을 졸업(그리고 결과적으로 인턴십 1일차)까지 성취할 수 있어야 한다.1,4

Rather than focusing on domains of competence (e.g., medical knowledge) or characteristics associated with individuals (e.g., professionalism), the Core EPAs constitute a list of 13 ambulatory and hospital-based “activities” (discrete units of professional behavior expressed as workplace-based tasks) that all medical students should be able to accomplish by their graduation (and, consequently, on Day 1 of internship).1,4 


Tekian18은 핵심 EPA를 여러 가지 측면에서 비판하면서 그 중 3가지(예: 전문가 간 팀에서의 협력)는 실제로는 별개의, single-encounter 기반의 의료 업무가 아니라고 지적했으며, 한편으로 어떤 것들은 교육목표이지 과제가 아니라고 지적했다(예: 임상 질문을 만들고 근거를 찾기).

Tekian18 has criticized the Core EPAs on several counts, noting that three of them (e.g., collaborating in an interprofessional team) are not actually discrete, single- encounter-based medical tasks, while others sound more like educational objectives than tasks (e.g., forming clinical questions and retrieving evidence).


게다가, 코어 EPA 중 어떤 것은 지나치게 광범위하고, 어떤 것은 매우 구체적이어서 uneven하게 보인다. 이러한 EPA를 결정하는 전문가 패널은 "lumper(모든 것을 하나의 카테고리로 넣고싶어 하는 사람)"와 "splitter(모든 것을 각각의 카테고리로 두고 싶어하는 사람)"으로 구성되어 있으며, 각 그룹이 자신의 방식으로 만든 것 같다.

In addition, the Core EPAs seem to me like an uneven lot, with some extremely broad and others very specific. I can imagine that the expert panel that decided on these EPAs was composed of “lumpers” (who preferred to group things into broad categories) and “splitters” (who preferred to generate finer categories), and that each group had its way on some things.


예를 들어 병력을 수집하고 신체 검사(EPA 1)를 수행하는 것은 일반적으로 학생-의사의 두 가지 핵심 작업으로 간주되지만, 이러한 두 가지 활동이 하나로 결합되었습니다. 한편, 임상 접촉의 서면 문서화(EPA 5)와 구두 발표(EPA 6)는 "임상 접촉 요약"이라는 단일 EPA로 묶일 수 있지만, 패널 구성원은 이를 두 가지 활동으로 구분하기로 결정했다.

For example, gathering a history and performing a physical exam (EPA 1) are typically thought of as two core tasks of the student–physician, yet these two activities were combined. On the other hand, written documentation (EPA 5) and oral presentation (EPA 6) of a clinical encounter could have been included as a single EPA, “summarizing a clinical encounter,” but the panel members chose to list these as two separate activities.


핵심 EPA는 발달 측면에서도 균일하지 않다. 일부는 의사가 되는 데 있어 가장 중요한 부분인 반면, 다른 것들은 꽤 advanced 수준인 것처럼 보인다.

the Core EPAs are also uneven from a developmental perspective. Some of them are part of the bread-and-butter of being a physician, whereas others appear to be quite advanced.


일부에서는 평가 양식에서 저학년 학생들에 대해서 특정 EPA를 생략하거나 "적용되지 않음" 범주를 포함해야 한다고 주장했다. 예를 들어, 핸드오버(EPA 8)에 대한 학습 및 응급 치료가 필요한 환자 인식(EPA 10)

Some argued that the assessment form should omit certain EPAs for students in their early years or include a “Does not apply” category. For instance, learning about handovers (EPA 8) and recognizing patients requiring urgent care (EPA 10)


숙련된 GME 교육자들은 제게 시스템 고장을 식별하는 것은 졸업하는 의대생에게 기대하지 못할 것임은 말할 것도 없고, 심지어 그들의 2년차 레지더트에게도 기대하기 쉽지 않다고말해왔습니다.

Experienced GME educators have told me that identifying system failures (EPA 13) seems aspirational for their second-year residents, let alone graduating medical students.



그러나 나는 핵심 EPA에 대해 훨씬 더 근본적인 우려를 갖고 있다. 이 접근법의 지지자들은 competencies vs EPA의 문제둘 중 하나either-or로 간주되어서는 안 된다는 점에 주목한다.

I have a far more fundamental concern about the Core EPAs, however. Advocates of this approach note that the issue of competencies versus EPAs should not be seen as something that is either–or.


이 말은 원칙적으로는 맞다. 그러나, 실제로는, 이것은 인간 인식의 가장 기본적이고 보편적인 원칙 하나를 무시한다: 바로 그림-배경 관계이다. 우리가 두 가지 "객체"를 볼 때, 그 중 한 가지(그림)가 우리의 관심을 끌고 집중한다. 다른 것(배경)은 먼 곳으로 후퇴하고 그것이 당연하게 여겨집니다; (배경)은 관심 대상이 아니라 맥락의 역할을 합니다.

In principle this is fine. In practice, however, this ignores one of the most basic and universally recognized principles of human perception: figure– ground relationships.25,26 When we are considering two “objects,” one (figure) engages our attention and is focused upon. The other (ground) recedes into the distance and is taken for granted; it serves as context, not as the object of interest.


Core EPA를 figure로 만들고, 반대로 [전문직업성, 환자와 의사 소통 능력, 인종/민족성, 성별 또는 성적 성향에 관계없이 양질의 환자 치료를 제공하는 능력] 등을 ground로 만드는 것이 정말 우리에게 좋은 것인가?

Is it to our advantage to make the Core EPAs figure, while relegating to ground professionalism, the ability to communicate with patients, and the ability to deliver quality patient care regardless of race/ethnicity, gender, or sexual orientation?


EPA 옹호자들은 "역량"에 대해 악의를 갖고 있지 않은 듯 하다. 설령 그렇다고 하더라도, "역량"은 그것이 우리 교육목표의 전면에 놓여지지 않는다면, 교육과정 map에서 2등시민으로 밀려날 것이다. 핵심 EPA를 채택하는 의과대학이 사명을 다시 쓰지는 않겠지만, 만약 형성평가와 총괄평가가 이 13개의 EPA에 초점을 맞춘다면, 교수와 학생 모두 거기에만 신경쓸 것이라는 예측이 절대 과장은 아니라고 생각한다. 그 상황에서 무엇이 figure가 되고 무엇이 ground가 될 것인지에 대해서는 일말의 의심의 여지도 없다.

EPA advocates seem to bear no ill will toward the competencies.1,6 Even so, competencies are likely to become second-class citizens in the curricular map if they are not at the forefront of our educational objectives and assessments. Medical schools that adopt the Core EPAs will not be rewriting their mission statements, but I do not think it is an exaggeration to say that if formative and summative assessments come to be focused on students’ ability to perform these 13 EPAs, this is what both faculty and students will care about most. I have little doubt as to which will become figure and which ground.


나는 또한 Core EPA에는 aspirational한 것이 전혀 없으며, 여기에는 [의학이 전문직업적 가치관를 핵심에 두는 소명]이라는 것을 암시하는 어떤 것도 없다는 것이 걱정된다. 이미 나 이전에 다른 사람들이 환원주의적, 구체적 직무 기반의 초점을 두는 것이 [상호연결성의 문제]와 [의사가 되는 더 넓은 의미]에 초점을 맞추지 않음으로써 젊은 의사의 정체성 형성에 영향을 미칠 것이라는 우려를 나타냈다. 

I am also concerned that there is nothing aspirational in the Core EPAs and nothing in their language that implies that medicine is a calling with a core set of professional values. Others before me28–30 have expressed concerns that a reductionist, concrete-task-based focus will affect the identity formation of young physicians by not focusing on issues of interconnectedness and the broader meaning of being a physician. 


한 걸음 더 나아가면, 핵심 EPA가 과연 환자와 사회에 어떠한 상징적인 메시지를 전달하는지 묻지 않을 수 없다. EPA 중심의 교육은 진료의 기술적 요건을 충족하는 방법을 알고, 병원을 효율적으로 운영하는데 필요한 작업을 수행하는 의사를 생성한다. 하지만 inspired professionals를 양성하기 위해서는, 우리는 교육 목적과 평가에서 우수한 doctoring의 한 부분으로서 (activities 뿐만 아니라) 더 넓은 가치와 방향을 보여줄 수 있는 방법을 찾아야 합니다.

Taking this one step further, I ask to what extent the Core EPAs also say something symbolically to patients and society. An EPA-focused education will produce physicians who know how to satisfy the technical requirements of care and to fulfill the tasks that enable a hospital to run efficiently. However, to produce inspired professionals, within our educational objectives and assessments we need to find a way to feature the broader values and orientations—as well as the activities—that are part of great doctoring.


또한 여러 근거들은 레지던트 프로그램 책임자들이 잠재적 전공의들에 대해 Core EPA에 대해 entrustable한지가 아니라, 그들의 개인적 자질(예: 다른 사람과 일하는 능력, 신뢰성 및 정직성)에 더 관심이 있다는 것을 보여준다.

The evidence indicates, however, that program directors are most interested in potential residents’ personal qualities (e.g., their ability to work with others, reliability, and honesty—elements of professionalism), rather than whether they are entrustable on this or that Core EPA.33,34



측정과 평가에 대한 우려

Concerns About Measurement and Assessment


제 관심의 두 번째 측면은 평가 과정 자체입니다.

The second dimension of my concerns involves the assessment process itself,


긍정적인 측면에서는 신뢰의 개념이 직관적으로 매력적이다. 대부분의 의사들은 그들의 훈련생을 얼마나 잘 믿을 수 있는지와 관련된 차원을 따라 생각하는 것에 익숙하고 편안하다.

On the positive side, the concept of trust is intuitively appealing. Most physicians are familiar and comfortable with thinking along a dimension that relates to how well they can trust their trainees,


그럼에도 불구하고, 나는 EPA 평가의 많은 측면이 사회과학의 측정 이론에 충분히 informed 되지 않았다고 믿는다.

Nonetheless, I believe that many aspects of EPA assessment are not sufficiently informed by measurement theory in the social sciences,


객관성에 대한 우리의 열망에도 불구하고, 우리가 사람들의 행동과 특성의 온도를 얻기 위한 온도계를 발명하기 전까지는, 우리는 주관적인 평가 과정을 가지게 된다. 이러한 점을 감안한다면, 우리의 주요 목표 중 하나는 우리가 상호 합의(즉, 신뢰성)를 증가시킬 수 있는 접근방식을 찾는 것이다. 그렇게 하기 위해서, 측정 이론에서 제시한 황금률은 Keep it simple이다: 행동을 보고 하나의 평가 척도에 따라 판단하고, 등급을 매긴다. 어떠한 비용을 들여서라도 최소화해야 하는 것은, [관찰]과 [판단] 사이에 이루어지는 추론의 layer이다.37

Despite our desire for objectivity, until we invent a thermometer to take the temperature of people’s behaviors and characteristics, we are left with a subjective process of assessment. Given this, one of our main goals is to find an approach by which we can increase interrater agreement (i.e., reliability). To do so, the golden rule in measurement theory is to keep it simple: See a behavior and judge it according to a single evaluative scale, thereby making a rating. What should be minimized at all costs is making judgments in which layers of inference are placed between the observation and the judgment.37


이 기준에 따라 entrustment가 어떤 layer에 따라 이뤄지는지 열거해 봅시다. 

To see how assessment via entrustment fares according to this criterion, let us enumerate the layers. 


먼저, 우리는 그 행동을 관찰하고 나서 그것이 효과적으로 수행되었는지 여부를 스스로 판단합니다. 여기서 멈춘다면, 합리적인 평가 시스템이 될 것입니다.

First, we observe the behavior, and then we determine for ourselves whether it has been performed competently—which, if stopped here, would be a reasonable rating system.


다음으로, 우리는 신뢰도를 고려하고, 스스로에게 "이 학생이 (유사한 문제를 가진 유사한 환자에 대해) 유사한 행동을 할 것을 얼마나 믿을 수 있는지"에 대해 자문하는 동시에, 그 때 얼마나 이 학생을 가까이에서 감독해야 하는지를 고려하면서, 이 모든 것들이 맥락특이성의 한계에도 불구하고 이뤄져야 한다는 것을 인정해야 한다.

Next, we consider trustworthiness and ask ourselves how much trust the student inspires in us to perform a similar behavior (on a similar patient with a similar problem), while simultaneously considering how closely this student would need to be supervised to do so, all the time acknowledging the limits of making generalizations because of context specificity.38,39


Layer가 늘어나면 늘어날수록, 신뢰도 판단은 결국 지식과 기술을 넘어 진실성, 양심, 한계치 파악과 같은 특징에 대한 평가까지 포함된다는 것을 암시한다.

Adding more layers, research suggests that entrustability judgments ultimately go beyond knowledge and skillfulness to include assessments of characteristics such as truthfulness, conscientiousness, and discernment of limitations.40,41


좋은 측정에 대한 또 다른 rule of thumb은 [모든 관련 당사자들이 주어진 척도의 endpoint 또는 앵커에 대해 정확하게 동일한 방식으로 의해 명확하게 인식, 정의, 이해되도록 하는 것]이다. 이것은 중요하지만 극도로 어렵다.

Another rule of thumb in good measurement is to ensure that the end points, or anchors,42,43 for any given scale are clearly recognized, defined, and understood by all relevant parties in exactly the same way. This is important yet extremely difficult.


GME에서는 레지던트가 [전혀 감독받지 않고도 업무를 수행하도록 위임될 수 있음]을 나타내는 문구로 척도의 한쪽 끝을 고정한다. [전혀 감독받지 않는 것]으로 절대적으로 표현된 이 anchor은 설득력이 있다. 이러한 anchor을 총괄평가용도로 사용하면 어떤 졸업생이 완전한 독립성을 발휘하여 감독 없이 EPA를 수행할 수 있음을 인증한다. 그러나 UME의 경우 positive end의 anchor는 학생이 [간접 감독 하에 주어진 EPA를 실천하도록 위임할 수 있음]을 나타낸다. 이 anchor은 토대가 훨씬 약하고, 훨씬 덜 잘 정의되어 있다. 간접감독은 얼마나 간접적인 것을 뜻하는가?

In GME, the entrustment scale is anchored on the positive end by wording indicating that the resident can be entrusted to perform a task completely unsupervised. This anchor, stated in absolute terms as the total absence of supervision, is compelling. Using such an anchor summatively, a program certifies that its graduates are entrusted to practice in complete independence, to perform the EPAs with no oversight or supervision. In UME, however, the anchor on the positive end indicates that the student can be entrusted to practice a given EPA under indirect supervision. This anchor is far less grounded; it is far less well defined. How indirect is indirect supervision?


어떤 사람들은 "학생이 실제적으로 다른 사람을 감독할 수 있는지 여부"를 가지고 positive end를 정의하자는 것과 같은 다른 anchor들을 제안하였다. 직관적으로는 좋아보일지 몰라도, 이는 좋은 측정의 핵심적 규칙을 위반하고 있다. 그것은 바로, 어떤 스케일은 하나의 차원에 대해서만 차이가 있어야 한다는 것이다one dimension at a time. EPA를 잘 수행할 수 있으면서, 동시에 다른 사람들을 감독하고 싶지 않은 학생은 어떻게 할 것인가? 우수한 측정 관행은 평가 기준의 교란을 방지하기 위해 척도를 단차원적으로 정의하도록 요구하지만, 이 제안은 그 원칙에 반한다.

others have proposed different anchors, such as defining the positive end point in terms of whether the person could be “allowed to supervise others in practice.”3 As intuitively compelling as this example seems, it violates another cardinal rule of good measurement, which is that a scale should vary along only one dimension at a time. Could we not imagine a trainee who is quite capable of performing an EPA yet whom we would not want supervising others in that EPA? Good measurement practice demands that scales be defined unidimensionally so as to avoid confounding the rating criteria, but this proposal runs counter to that principle.


Core EPA에 대한 또 다른 문제들

Other Problems Inherent in Working With the Core EPAs


여러 가지 논리적인 모순

several logical inconsistencies


첫째, 이러한 EPA는 UME와 GME 간의 차이를 메우기 위한 것이기 때문에, UME와 GME 등급 범주를 나란히 배치하여 두 가지 설정에 사용되는 일관성을 결정할 수 있습니다. 예를 들어, GME entrustment의 하한선에서는 종종 "적극적이고 완전한 감독 하에만 EPA를 실천할 수 있다."가 있다. 그러나 어떻게 의대를 졸업하기 위해 간접적이고 최소한의 감독만으로 EPA를 할 수 있었던 인턴이 적극적이고 완전한 감독을 필요로 하는 것으로 평가될 수 있는가?

First, because these EPAs were meant to bridge the gap between UME and GME, we can place the UME and GME rating categories side by side to determine the consistency with which they are used in the two settings. For instance, at the low end of GME entrustment, one often finds “allowed to practice EPA only under proactive, full supervision.”3 Yet how could an intern be rated as requiring proactive, full supervision when in order to graduate medical school this same person had to be certified as able to practice with indirect, or minimal, supervision?


심지어 능력이 뛰어난 학생들 사이에서도 높은 기준을 충족하는 능력과 그들이 그렇게 하는 속도에 차이가 존재할 것이다. 

even among the talented individuals , differences will exist in their ability to meet high standards and the pace at which they do so; 


그러나 어떻게 거의 모든 의과대학 또는 레지던스 코호트의 모든 구성원이 동일한 시점에 까다롭고 세심하게 평가된 EPA 규격 세트를 만족하게 될 것인가?

Yet how is it that almost every member of every medical school class or residency cohort would come to meet a demanding and carefully assessed set of EPA standards at the same moment


우리 모두가 인정하고 싶지 않은 한 가지 가능한 대답은, 그 기준이 충분히 낮아서 사실상 모든, 심지어 성적이 좋지 않은 학생들조차 제 시간에 그 기준을 충족할 수 있다는 것이다. 훨씬 더 회의적인 생각으로서, Witteles와 Verghese45는 과중한 업무에 시달리는 평가자들이 때로는 정확하고 의미 있는 평가를 하려고 하기보다는 학생들에게 '기대되는 수준'에 체크를 하고 있을 것이라고 추측했다.

One possible answer, which we would all prefer to reject, is that the standards are sufficiently low that virtually everyone, even poorly performing students, can meet them on time. Offering an even more skeptical thought, Witteles and Verghese45 have speculated whether overworked assessors may sometimes be checking boxes for where students are supposed to be rather than attempting to provide assessments that are accurate and meaningful.


사회적 인지 이론에서 도출된 또 다른 설명은 표준과 평가자들의 편을 더욱 들어준다: UME와 GME의 맥락이 다르기 때문에, 같은 표준도 암시적으로 다르게 여겨진다. UME 학생으로서 entrustable하다고 평가된 바로 그 행동이 레지던트 기준에 대해서는 preentrustable한 것으로 보일 수 있다. 왜냐하면 인턴/레지던트는 환자들의 웰빙에 대해 훨씬 더 큰 책임을 지기 때문이다. 이러한 대조효과를 언급하면서, 사회심리학자들은 평가자들이 서로 다른 환경에서 서로 다른 기준으로 행동을 판단하기 때문에, 자신도 모르게 서로 다른 판단을 내릴 수 있다고 제안한다.

Another explanation, deriving from social cognitive theory, is more charitable to the standards and assessors: Standards implicitly differ when seen in the differing contexts of UME and GME. The very same behavior that was rated as entrustable against the responsibilities of UME studenthood may appear to be preentrustable against the standards of residency where house staff hold far greater responsibility for patients’ well- being. Referring to contrast effects,46,47 social psychologists suggest that raters may unwittingly make differing judgments as the result of judging behavior against different standards in different settings.


다른 두 가지 밀접하게 관련된 개념들(기대 효과와 자기 충족적 예언들)로 인해서, 우리가 어떤 행동에 대한 특정한 기대를 가질 때 (예: 경험과 훈련의 증가할수록 신뢰도가 더 높아짐) 이러한 것들은 우리가 기대하는 방향으로 판단하도록 무의식 수준에서 영향을 미칠 수 있다.

Two other closely related concepts, expectancy effects and self- fulfilling prophesies, posit that when we hold specific expectations for behavior (e.g., that trustworthiness is greater with increased experience and training), these may influence us, below the level of awareness, to make judgments in the direction of our expectations.48,49


생의학 연구에서 우리는 이중맹검 연구를 고집합니다.

In biomedical research, we insist on double-blind studies,


그러나 in vivo 임상 기술 평가에서 평가자는 평가 대상자를 잘 아는 상태에서 평가를 내린다. 결과적으로, 평가자는 (자신의 교수개발 수준이나 동기부여의 수준에 관계없이) 무의식적이고 자동적으로 편견을 가질 수 있다. 사실상, 우리가 사용하고 있는 "기준"은 우리가 인식하고 있는 것보다 더 유연할 수 있습니다.

But in clinical skills assessments made in vivo, raters are almost never blinded to the experience level of the person being rated. As a result, raters may be subject to various nonconscious, automatic biases, whatever their level of faculty development or motivation. In effect, the “ruler” we are using may simply be more elastic than we realize,


결론과 제언

Conclusions and Recommendations


가족 내에서 요리법을 알려줄 때, 많은 할머니들이 우리에게 소금 한 꼬집이나 후추 한 방울을 넣으라고 지시한다. 만약 내가 entrustment의 개념이 온스나 밀리그램과 같은 어떤 객관적인 것으로 바뀐다면, 나는 매우 기뻐할 것이다. 하지만, 많은 재능 있는 사람들이 쏟아내는 노력에도 불구하고, EPA 기반 시스템을 도입함으로써 학생들에게 유용한 형태별 피드백을 제공하거나 방어적인 결정을 내릴 수 있는 신뢰할 수 있는 등급이나 유효한 판단을 내릴 수 있는 능력이 향상되었다고 생각하지 않는다.

When sharing family recipes, many of our grandmothers instructed us to add a pinch of salt or a sprinkle of pepper. If I believed that the concept of entrustment had turned a pinch or sprinkle into something objective such as ounces or milligrams, I would be overjoyed. However, for all the effort expended by so many talented people, I do not believe that the adoption of an EPA-based system has increased our ability to make reliable ratings or valid judgments, to provide students with useful formative feedback, or to make defensible summative decisions about progression.


내용에 관해서, 나는 EPA를 향한 움직임이 [우리에게 무엇이 좋은가]가 아니라 [할머니가 아는 무슨 요리를 할 줄 아는가]에 너무 많이 집중하게 만들었다고 믿는다. Core EPA는 병원 팀이 원활하게 작동하도록 하는 mundane and technical한 기술에 너무 많은 관심을 기울이고 있습니다. 그로 인해 더 추상적 개념으로 표현되는 의사의 역할과 행동에서 우리를 멀어지게 한다. 그러나 우리가 더 열심히 노력한다면 행동적으로 조작화할 수 있을 것이다. 방법론적 관점에서, 의사들이 신뢰를 레퍼런스틀로 사용하는 것에 편안할 수 있지만, EPA를 통한 평가는 추론이나 주관성을 감소시키지 않는다.

As for content, I believe that the movement toward EPAs has made us focus too much on what Grandma knows how to cook, not what is good for us.50 The Core EPAs direct too much of our attention toward the mundane and technical skills that allow hospital teams to function smoothly, thereby distracting us from those roles and behaviors of physicians that are more abstract in concept, yet could be operationalized behaviorally if only we worked harder at doing so. Methodologically, although physicians may be comfortable using trust as their frame of reference, assessment via EPAs does not decrease inference or subjectivity.



소소한 제안.

a few modest proposals



첫째, 일부에서는 EPA와 역량이 나란히 공존할 수 있다고 주장하지만, 66.8은 figure and ground 원칙을 상기해보면, 저는 교육자들이 둘 중 하나에 초점을 맞출 것이라고 생각합니다. 따라서 단일 하이브리드 모델을 제안합니다.

First, while some have argued that EPAs and competencies can coexist side by side,6,8 recalling the principle of figure and ground, I believe that educators are likely to focus on one or the other—to the extent that they are seen as separate entities. Therefore, I would like to propose a single hybrid model



목록 1에는 의사가 수행할 수 있는 측정 가능한 활동으로, 다양한 역량 또는 신뢰 또는 감독 수준에서 실습생으로서, 1일차 레지던트와 그 이후의 위대한 의사들로도 명시되는, 제가 제안한 의학 과제(TOM)가 포함되어 있습니다.

List 1 contains my proposed Tasks of Medicine (TOMs), stated as measurable activities that physicians can be expected to do, at varying levels of competence or trust or supervision, as clerks, as residents on Day 1, and as great physicians well beyond.



성직자, 인턴, 거주자에 대해 서로 다른 기준, 표준, 기대치가 존재할 수 있기 때문에, 동일한 행동들은 상황에 따라 다르게 판단될 수 있다. 따라서, 우리는 초보자부터 마스터, 3학년 학생부터 수석 거주자, 20년 실무자까지 모든 범위의 설명자를 개발할 필요가 있다.

because different frames of reference, standards, and expectations may exist for clerks, interns, and residents, identical behaviors may be judged differently depending on their context. Therefore, we need to develop a single set of descriptors that covers the full range from beginner to master, from third-year student to chief resident to 20-year practitioner.



List 1

의료 과제 또는 위대한 의사의 행동: ACGME 역량과 핵심 EPA의 행동 요소를 통합하려는 하이브리드 모델 

Tasks of Medicine, or What Great Physicians Do: A Hybrid Model Attempting to Integrate Behavioral Elements of the Core EPAs With the ACGME Competencies 


레지던트 첫날, 책임 있는 의사는 최소한의 지침이나 도움을 받을 수 있다. 

레지던트를 마치면, 책임 있는 의사는 지시나 도움 없이 할 수 있다.

On the first day of residency, an entrustable physician can, with minimal instruction or assistance 

By the completion of residency, an entrustable physician can, with no instruction or assistance


• 환자진료를 위한 정보 수집 및 적용

o 완전하고 정확한 병력

o 환자 검사

o 시험을 적절하게 주문한다.

o 적절한 출처에서 증거 검색


• 정보 통합 및 활용

o 진단 실시

o 치료 계획 개발

o 필요한 환자에게 긴급치료를 인식하고 시작


• 타인과 효과적으로 작업

o 환자 기록의 구두 보고서 및 문서상 접점을 제공한다.

o 효과적으로 핸드오버 제공

o 다른 의료 전문가와 효과적으로 작업

o 환자 및 가족과의 관리 및 신뢰 관계 개발

o 환자와 가족의 사전동의 획득


• 대규모 상황에 대한 인식을 보여주는 의료 연습

o 인종, 민족, 소득 등에 관계없이 다양한 주민에게 효과적인 관리 제공

o 시스템 고장 식별 및 해결 시도


• 책임, 자각 및 개선을 위한 욕구 입증

o 피드백에 기반한 자기계발에 노력

o 윤리적인 실천 과정에서 신뢰성과 정직성 입증

o 환자 진단 및 치료의 장점과 한계를 인지합니다.



• Collect and apply information in the care of patients

o Take a complete and accurate history

o Examine patients

o Order tests appropriately

o Retrieve evidence from appropriate sources

• Synthesize and utilize information

o Make diagnoses

o Develop treatment plans

o Recognize and initiate urgent care for those patients who require it

• Work effectively with others

o Give oral reports and document encounters in patient records

o Give and receive handovers effectively

o Work effectively with other health professionals

o Develop caring and trusting relationships with patients and families

o Obtain informed consent from patients and families

• Practice medicine demonstrating awareness of the larger context

o Provide effective care to diverse populations regardless of race, ethnicity, income, etc.

o Identify and attempt to address system failures

• Demonstrate responsibility, self-awareness, and desire for improvement

o Make efforts at self-improvement based on feedback

o Demonstrate reliability and honesty in the course of ethical practice

o Recognize strengths and limitations in the diagnosis and treatment of patients


Abbreviations: Core EPAs indicates Core Entrustable Professional Activities for Entering Residency; ACGME,

Accreditation Council for Graduate Medical Education.




4 Englander R, Flynn T, Call S, et al. Toward defining the foundation of the MD degree: Core Entrustable Professional Activities for Entering Residency. Acad Med. 2016;91:1352–1358.


6 Carraccio C, Englander R, Gilhooly J, et al. Building a framework of entrustable professional activities, supported by competencies and milestones, to bridge the educational continuum. Acad Med. 2017;92:324–330.


31 Krupat E, Frankel R, Stein T, Irish J. The Four Habits Coding Scheme: Validation of an instrument to assess clinicians’ communication behavior. Patient Educ Couns. 2006;62:38–45. XXX


18 Tekian A. Are all EPAs really EPAs? Med Teach. 2017;39:232–233. ==




 2018 Mar;93(3):371-376. doi: 10.1097/ACM.0000000000001865.

Critical Thoughts About the Core Entrustable Professional Activities in Undergraduate MedicalEducation.

Author information

1
E. Krupat is associate professor, Department of Medicine, Beth Israel Deaconess Medical Center, Boston, Massachusetts. At the time of writing, the author was also director, Center for Evaluation, Harvard Medical School, Boston, Massachusetts.

Abstract

The Core Entrustable Professional Activities for Entering Residency (Core EPAs) have taken a strong hold on undergraduate medicaleducation (UME). This Perspective questions their value added and considers the utility of the Core EPAs along two separate dimensions: (1) the ways they change the content and focus of the goals of UME; and (2) the extent to which entrustable professional activity (EPA)-based assessment conforms to basic principles of measurement theory as practiced in the social sciences. Concerning content and focus, the author asks whether the 13 Core EPAs frame UME too narrowly, putting competencies into the background and overlooking certain aspirational, but important and measurable, objectives of UME. The author also discusses the unevenness of EPAs in terms of their breadth and their developmental status as core activities. Regarding measurement and assessment, the author raises concerns that the EPA metric introduces layers of inference that may cause distortions and hinder accuracy and rater agreement. In addition, the use of weak anchors and multidimensional scales is also of concern. The author concludes with a proposal for reframing the Core EPAs and Accreditation Council for Graduate Medical Education competencies into broadly defined sets of behaviors, referred to as "Tasks of Medicine," and calls for the development of a systematic and longitudinal research agenda. The author asserts that "slowing down when you should" applies to medicaleducation as well as patient care, and calls for a reevaluation of the Core EPAs before further commitment to them.

PMID:
 
28857790
 
DOI:
 
10.1097/ACM.0000000000001865


CBME에서 양적 피드백과 질적 피드백(Med Teach, 2017)

Qualitative and quantitative feedback in the context of competency-based education

Ara Tekiana , Christopher J. Watlingb, Trudie E. Robertsc, Yvonne Steinertd and John Norcinie 

aDepartment of Medical Education, College of Medicine, University of Illinois, Chicago, IL, USA; bSchulich School of Medicine and Dentistry, Western University, London, ON, Canada; cMedical Education Unit, Leeds Institute of Medical Education, Leeds, UK; dCenter for Medical Education, McGill University, Montreal, QC, Canada; eFoundation for Advancement of International Medical Education and Research, Philadelphia, PA, US




도입

Introduction


CBME 는

(1) 성과에 초점을 맞춘다. 

(2) 능력을 강조한다. 

(3) 시간 기반 학습을 강조하지 않는다. 

(4) 학습자 중심성을 유도한다


CBME 

(1) focuses on outcomes, 

(2) emphasizes abilities, 

(3) deemphasizes time-based learning and 

(4) promotes greater learner-centeredness.


피드백의 맥락에서 평가

Assessment in the context of feedback


놀랍게도, 피드백에 대한 연구는 그것이 가변적인 효과를 가지고 있다는 것을 나타낸다. (van de Ridder et al. 2015)

Surprisingly, the research on feedback indicates that it has a variable effect (van de Ridder et al. 2015).


이러한 가변적 효과에 대한 설명은 피드백 자체, 즉 질적인지 양적인지, 누가 그것을 전달하는지, 그것이 어떻게 전달되는지, 언제 전달되는지, 그리고 강사 및 학습자의 상황 및 개인적 특징은 무엇인지 등에 초점을 맞추는 경우가 많습니다. 그러나 좋지 않은 평가도 한몫을 할 수 있다. 피드백은 항상 평가에 따라 예측되며, 평가가 부정확할 경우 피드백은 기껏해야 비효과적이며, 최악의 경우는 해롭기 때문이다.

Explanations of these variable effects often focus on the feedback itself: whether it is qualitative or quantitative; who delivers it; how it is delivered; when it is delivered; and the situational and individual characteristics of the instructor and learner (Shute 2008). However, poor assessment may also play a role. Feedback is always predicated on assessment and if that assessment is inaccurate, feedback will be at best ineffective and at worst harmful.


이러한 어려움을 피하려면 측정 오차의 가장 큰 근원인 "수신자와 관찰자의 맥락특이성 효과"를 관리하는 것이 중요하다.

To avoid these difficulties, it will be important to manage the largest sources of measurement error, which are context specificity effects for recipients and observers.


피드백의 맥락에서 평가는 강점과 약점에 대한 추론을 서포트하고 교육적 인터벤션의 선택을 촉진해야 한다(Bennett 2009).

Assessment in the context of feedback should support inferences about strengths and weaknesses and facilitate the selection of educational interventions (Bennett 2009).


따라서, 피드백은 실행 계획과 분명한 연관성을 가져야 한다. 그러나 현실에서, 우리는 종종 피드백의 토대로 총괄평가를 사용한다. 그러나 총괄평가라는 책임감있는 측정은 전반적인 학습 추정치를 제공하기 위해 고안되었으므로, 종종 강점과 약점에 대한 구체적인 정보가 부족하고, 특정한 교육적 개입과 관련이 없으며, 학생들의 태도에 부정적인 영향을 미친다.

Thus, it should have an obvious link to an action plan. In practice, we often use summative assessment as the basis for feedback. These accountability measures are designed to provide an overall estimate of learning, so they often lack specific information about strengths and weaknesses, they are not associated with specific educational interventions, and they negatively impact students’ attitudes.


예를 들어, 졸업시험은 다음 단계의 교육에 대한 준비 상태에 대한 전반적인 판단을 제공하도록 설계되었지만, 이것으로는 장점과 약점을 추정할 수도 없고, 이것이 교정 또는 개선을 위한 구체적인 계획과 연관되지도 않습니다. 따라서 평가의 내용과 형식은 피드백의 목적으로 특별히 선정되어야 하며 실행 계획에 직접 연결되어야 한다. 이를 위해서는 추가 자원이 필요할 수 있는데, 전체 퍼포먼스 추정치를 생성하는 것보다 측정 관점에서 장점과 단점을 식별하는 것이 더 어렵기 때문이다.

For example, exit examinations are designed to provide an overall judgment about readiness for the next stage of training, but they are not capable of estimating strengths and weaknesses nor are they associated with specific plans for remediation or improvement. Therefore, the content and format of assessments need to be chosen specifically for the purpose of feedback and have a direct connection to action plans. This may require additional resources since the identification of strengths and weaknesses is more challenging, from a measurement perspective, than generating an overall estimate of performance.


수신인과 관찰자의 맥락특이성 효과는 관찰 기반 평가에서 측정 오류의 가장 큰 원천일 수 있다. 케이스별로 퍼포먼스가 다르다는 것이 반복적으로 입증되었습니다. 구체적인 맥락에 따라, 강점과 약점에 대한 자신감 있는 판단을 내리기 위해서는 더 폭넓은 표본 추출이 필요하다. 제한된 샘플에 기초한 피드백은 덜 정확하고 유용할 가능성이 적다. 따라서 교육 프로그램은 여러 가지 맥락에 걸쳐 다양한 피드백 상호작용을 보장해야 한다.

Context specificity effects for recipients and observers are probably the largest sources of measurement error in any observation-based assessment. It has been repeatedly demonstrated that performance is case specific. Depending on the specific context, wider sampling is required to generate confident judgments about strengths and weaknesses. Feedback based on a limited sample is less accurate and less likely to be useful. Educational programs should thus ensure multiple feedback interactions across multiple contexts.


이는 추가 평가 정보를 얻을 기회를 제공한다는 점에서 '대화를 중심으로 한 접근법'이 더 효과적일 수 있음을 의미한다(Brehaut et al. 2016). 마찬가지로, 자기 평가에 기초한 피드백은 정확하지 않을 가능성이 낮으므로 다른 사람의 관찰결과를 바탕으로 자기 평가를 보완하는 것이 중요하다(Davis et al. 2006).

This implies that an approach built around dialog may be more effective because it provides an opportunity to acquire additional assessment information (Brehaut et al. 2016). Similarly, it means that feedback based on self-assessment is unlikely to be accurate so it is critical to supplement self-assessment with the observations of others (Davis et al. 2006).


관찰자 훈련은 중요하다. 이러한 훈련의 목적은 의견 불일치에 대한 부적절한 원인(예: 평가 양식의 오해에 기초한 관찰자 간의 차이)을 제거하고, 일관되게 표준의 적용할 수 있도록 유도하는 것이다.

observer training is important. The aim of such training is to eliminate inappropriate reasons for disagreement (e.g. differences between observers based on misunderstandings of the rating form) and encourage the application of consistent standards.


한편, 관찰자 변동성은 또한 훈련생들이 여러 번의 만남 과정에 걸쳐 여러가지 건설적인 관점에 노출될 수 있는 기회를 제공하기 때문에 ongoing 또는 periodic 평가 프로그램이 더 효과적일 수 있다는 것을 의미한다.

Observer variability also implies that a program of ongoing or periodic assessment is likely to be more effective, since it offers the opportunity for trainees to be exposed to multiple constructive perspectives over the course of several encounters.


글로 주어지는 피드백

Feedback as words


피드백은 발신자에서 수신자로의 단순한 정보 전달이 아니라, 복잡하고 난해한 의사소통 형태이다(Higgines et al. 2001).

feedback is not a simple information transfer from sender to recipient; rather, it is a complex and challenging form of communication (Higgins et al. 2001).


대화는 세 가지 핵심 요소인 콘텐츠, 플레이어, 컨텍스트로 구성됩니다

A conversation comprises three key elements: content, players and context. 


대부분의 피드백 교육은 콘텐츠에 초점을 맞추고 있으며, 콘텐츠에 대한 조언은 실제로 타당하다. 피드백이 의미를 가지려면, 시기적절하고, 정보에 입각하고, 구체적이며, 실행 가능하고, (사람 지향적이 아니라) 직무 지향적인 것이어야 한다(Lefroy et al. 2015).

Most feedback training focuses on content, and the familiar advice about content is indeed sound. For feedback to be meaningful, it should be timely, well-informed, specific, actionable and task-directed rather than person-directed (Lefroy et al. 2015).


하지만 말은 대화의 한 부분에 불과하다. player들, 대화가 왜 일어나고 있는지에 대한 그들의 이해, 그리고 그들의 관계 또한 중요하다. 교사는 신뢰할 수 있는 피드백 출처여야 한다. 

But words are merely one part of a conversation. The players, their understanding of why the conversation is occurring, and their relationship are also critical. The teacher must be a credible source of feedback ( a broad spectrum of individuals might serve this purpose). 


교사는 일반적으로 임상적 전문지식을 보여줌으로써 신뢰를 얻을 뿐만 아니라, 관찰을 통해 학습자의 강점과 약점을 이해하고 정보에 입각한 피드백을 만들어냄으로써 신뢰성을 얻는다.

Teachers earn credibility not only by demonstrating clinical expertise, but also by engaging in the creation of well-informed feedback, typically by observing the learner to understand their strengths and weaknesses.


감정은 참가자들이 피드백과 상호작용하는 방법에 영향을 미친다. 교사는 학습자에게 해를 끼칠까 두렵거나, 어려운 대화에 대한 불편한 느낌 때문에 부정적인 피드백을 주는 것을 꺼리며, 학습자는 강한 부정적 감정적 반응을 일으키는 피드백으로 인해 어려움을 겪을 수 있다(Eva et al. 2012). 목적의 명확성은 피드백이 교환되는 방식을 바꾼다. 참가자들이 대화의 의도에 동의하였고, 그들의 목표가 일치합니까? 또한 교사-학습자 관계는 피드백 대화에서 크게 드러난다(Telio et al. 2015). 관계에 대한 신뢰는 피드백을 촉진하는데, 특히 진행이 어려워지고 피드백이 중요하거나 수정되어야 할 때 그렇다.

Emotions affect how the players interact with feedback. Teachers may temper negative feedback for fear of harming learners, or due to discomfort with challenging conversations, and learners may struggle with feedback that engenders a strong negative emotional response (Eva et al. 2012). Clarity of purpose further modifies the feedback exchange. Do the players agree on the intent of the conversation, and are their goals aligned? In addition, teacher-learner relationships loom large in feedback conversations (Telio et al. 2015). Trusting relationships facilitate feedback, particularly when the going gets tough and the feedback must be critical or corrective.


컨텍스트는 피드백 대화의 세 번째 핵심 요소로 구성됩니다. 피드백 대화는 피드백이 이뤄지는 학습문화와 분리될 수 없다. 서로 다른 학습 문화는 피드백에 대한 각자의 방식을 전수하며, 동일한 개인이라도 상황이 달라지면 피드백에 다르게 반응할 수 있다. 음악, 스포츠, 춤의 세계에서 일상적으로 이뤄지는 비판적이거나 부정적인 피드백은 대부분의 의학 교육 분야에서 흔한 것이 아니며, 따라서 학습자에게 분명하게 불편함을 느낄 수 있다(Watling et al. 2014).

Context comprises the third key element of the feedback conversation. Feedback conversations are inseparable from the learning cultures in which they occur. Different learning cultures routinize distinct approaches to feedback, and the same individuals may respond differently to feedback when the setting changes. Critical or negative feedback, while routine in the worlds of music, sports, and dance, is not normalized in most areas of medical education and can thus feel distinctly uncomfortable to learners (Watling et al. 2014).


문화가 좋은 피드백 컨텐츠를 정의하지 않는다. 구체적이고 시기적절하며 신뢰할 수 있고 건설적인 피드백이 대부분의 환경에서 평가되는 것처럼 보이는 반면, 개선의 분명한 경로가 없는 모호한 피드백은 어떤 상황에서도 좋게 평가되지 않습니다. 

Culture does not define good content; specific, timely, credible and constructive feedback appears to be valued in most settings, while vague feedback lacking a clear path to improvement is unlikely to be valued in any setting. 


문화는 또한 동기부여가 되는 플레이어를 만들지 않는다. 그들은 학습과 피드백에 대한 그들 자신의 방향을 가지고 테이블에 올 것이다. 하지만 문화는 좋은 피드백을 만들며, 학습자들이 반응할 수 있는 기회를 만든다.

Culture also does not create motivated players – they likely come to the table with their own orientation to learning and feedback. Culture does, however, create the opportunities for good feedback to occur and for learners to respond.


음악, 스포츠 및 교사 훈련과 같은 일부 학습 문화는 교사들이 오랜 시간 동안 학습자를 관찰할 기회를 정기적으로 만듦으로써, 정보에 입각한 피드백 대화의 토대를 마련한다(Watling et al. 2013). 의학은 늘 학습자에 대한 관찰이 부족해왔다. (Day et al. 1990; Illson et al. 1995; Howley & Wilson 2004) 그 결과 피드백에 사용되는 단어들이 신중하게 선택되고, 참가자들이 동기부여를 받았더라도, 종종 피드백 대화는 피상적이고 정보가 부족하다는 느낌을 주게 되는 것이다.

Some learning cultures – for example, music, sports, and teacher training – routinely create opportunities for teachers to observe learners over extended periods of time, thus producing the foundation for well-informed feedback conversations (Watling et al. 2013). Medicine continues to under-observe its learners (Day et al. 1990; Isaacson et al. 1995; Howley & Wilson 2004). the impact on feedback is that its conversations often feel superficial and poorly informed, even if the words are carefully chosen and the players are motivated.



문제점과 기회

Challenges and opportunities


의학 훈련에서, "단어로서의 피드백"은 종종 대화처럼 느껴지지 않는 서면 형태로 제공된다. 서면 코멘트는 [피상성]과 [지나친 정치성]이라는 쌍둥이 병폐를 겪는다. 따라서 학습자는 서술적 코멘트의 의미를 판독하기 위해 "행간읽기"를 해야 하며, 종종 유용한 지침이나 지시를 주지 못하는 경우가 많습니다(Lye et al. 2001; Ginsburg et al. 2015). 촉진은 앞으로 나아갈 길을 제공할 수 있다. 예를 들어 Sarnard 등(2015년)은 학습자가 서면 코멘트에 대해 진정한 대화를 나누고, 피드백 다이내믹에서 대화가 적절한 위치를 갖도록 할 것을 옹호합니다.

In medical training, “feedback as words” is often provided in written form, which does not feel very much like a conversation. Written comments suffer the twin maladies of superficiality and over-politeness. As a result, learners must “read between the lines” to decipher the meaning of narrative comments and are often left without useful guidance or direction (Lye et al. 2001; Ginsburg et al. 2015). Facilitation may offer a way forward. Sargeant et al. (2015), for example, advocates engaging learners in an authentic conversation about written comments, returning conversation to its rightful place in the feedback dynamic.


게다가, 의학은 상습적으로 코치와 평가자의 역할 경계를 모호하게 한다. 일반적으로 학생들에게만 책임이 있는 스포츠 코치나 음악 교사들과는 달리, 의료 교사들은 기관, 지역사회, 그리고 대중에게도 책임이 있다.

Complicating matters further, medicine habitually blurs the lines between the roles of coach and assessor. Unlike sports coaches or music teachers, whose accountability is generally to their students alone, medical teachers are also accountable to institutions, communities and the public.


교사들이 한 학습자에게 코치와 평가자의 역할을 동시에 수행할 때, 피드백 대화는 흐려지고, 그것의 이해관계와 의도가 불분명해진다. 결과적으로, 자신의 약점을 다루고 해부하려는 학습자의 의지가 손상될 수 있다. 잠재적인 해결책은 코칭에 대해 보다 명확하게 설명하는 대화를 만드는 것입니다. 그러한 대화에서 교수자와 학습자는 모두 개발적이고 개선적인 의도를 잘 이해할 수 있다.

when teachers act as coaches and assessors at the same time for the same learner, the feedback conversation becomes fraught, its stakes and intent unclear. As a result, a learner’s willingness to table and dissect their weaknesses may be compromised. A potential solution is to create conversations that are more clearly about coaching – where the developmental, improvement-oriented intent is well understood by both players.


대화는 단어만으로 이뤄지는 것이 아니다. 피드백이 진정한 반향을 불러일으키기 위해서, 우리는 우리가 대화하는 것, 즉 단어, 사람, 관계, 그리고 맥락을 만드는 모든 것에 주의를 기울이는 진정한 대화에 우리의 말을 포함시켜야 합니다.

Words alone do not a conversation make. For feedback to resonate, we need to ensure that we embed our words in authentic conversations where we attend to all the things that make conversations tick – words, people, relationships and context.



숫자로서 피드백

Feedback as numbers


학생들은 항상 더 많은 피드백을 원하지만, 교수진들은 (그들의 역할에 대한 다른 모든 기대를 감안할 때) 피드백을 줄 시간이 점점 더 적어진다. 숫자 또는 데이터는 이 수요를 충족시키는 방법이 될 수 있다.

Students always want more feedback and faculty members have less and less time given all the other expectations of their roles. Numbers, or data, can provide a way to satisfy this demand.


피드백이 평가자 또는 지도자와 서면 또는 구두 상호작용의 형태를 취할 필요가 있다고 일반적으로 생각되지만, 인간의 감정과 편견이 의미하는 것은 [피드백을 제공하는 사람이 내린 해석에 학습자가 이의를 제기한다]는 것이다. 최악의 경우, 그러한 피드백은 의도했던 것과는 정반대의 결과를 초래하여 학습자에게 부정적인 정서적 영향을 미칠 수 있다.

Although it is commonly thought that feedback needs to take the form of written or verbal interactions with an assessor or tutor, emotion and inherent bias can mean that the learner disputes the interpretation of performance by the individual providing the feedback. In the severest cases, such feedback can have a negative emotional impact on the learner which produces the very opposite of what was intended.


예를 들어 개별화된 프로파일은 학습자가 다른 학습자와 비교했을 때, 또는 이미 설정된 기준과 비교했을 때 어느 위치에 있는지를 표시해준다. 따라서 개별화된 프로파일은 자기-평가와 성찰을 지원하며, 변화를 장려하고 촉진하다.

For example,individualized profiles can show where a learner may stand,relative to other learners or in comparison to an established criterion. As such, individualized profiles can support self-assessment, reflection. encourage and nudge change and facilitate


강점

Strengths


어떤 상황에서, 숫자는 천 장의 사진보다 더 의미 있을 수 있다. 숫자는 종합적인 개요 또는 추세를 효율적으로 전달할 수 있다. 또한 평가를 통해 획득한 누적 데이터는 학습진행률의 "개별화된" 지표로서 기능할 수 있기 때문에, 이를 기반으로 학습자의 프로필을 개발할 수 있습니다.

Under appropriate circumstances, numbers can be more meaningful than a thousand pictures. Numbers can efficiently convey aggregate overviews or trends. Moreover, they can be used to develop profiles of learners based on cumulative data acquired through assessments that can function as “individualized” indicators of learner progress


예를 들어, 야구에서 데이터 분석은 선수의 팀 기여도를 결정하기 위해 과거의 성과를 평가하고 미래의 성과를 예측하는 데 사용된다. 이것은 세이버메트리스라고 불린다.

For example, in baseball, data analytics are used in evaluating past performance and predicting future performance to determine a player’s contributions to his team. This is called sabermetrics.



약점

Weaknesses


숫자들은 유용한 정보를 제공하지만 숫자만으로는 감정적으로 도움이 되지 않을 수 있다. 숫자는 학습자의 교육 프로세스를 translating 것과 관련된 다른 여러 교육적 요소를 비인간화하거나 누락시킬 수 있다. 숫자에만 기반하여 수립한 학습 계획은 실제로 학습자의 요구를 충족하지 못할 수 있으며, 이러한 방식으로 계획을 개발하면 그 결과를 검토하는 것도 어려울 것이다.

While numbers may provide useful information, numbers alone can be emotionally unhelpful. They can depersonalize and miss other educational factors involved in translating the educational processes of the learner. Learning plans based on numbers alone may not actually fulfill the learner’s needs and reviewing the results of plans developed in this way will be difficult.


그렇다면 그 결론을 입증하기 위해 교수진의 피드백이 조합되어야 한다.

It is likely then that a combination of feedback from Faculty but based on numerical evidence to substantiate the conclusions will be the way forward.


교수개발과 피드백

Faculty development and feedback


피드백이 효과적이려면(Holmboe et al. 2011), 교수개발이 필수적이다. 보다 구체적으로 말하면, 교사들이 직면하는 공통된 과제를 해결하기 위해서 모든 교수개발 프로그램은 피드백이 발생하는 상황을 고려해야 한다.

faculty development is essential for feedback to be effective (Holmboe et al. 2011), be it in words or numbers. More specifically, any faculty development program must consider the context in which it occurs, address common challenges that teachers encounter


피드백은 여러 가지 맥락에서 발생하며 학습자와 교수진의 관점에서 모두 틀을 잡을 수 있다. 예를 들어, 학습자들은 종종 그들이 "측정"될 수 있는지 궁금해하면서, 동시에 감독관에게 "들키지 않을 수" 있기를 바란다. 그들은 또한 그 시험의 'stakes'가 무엇인지 걱정한다. 그것이 감독자의 신뢰인지, "좋은" 학생이라는 평판인지 등이 될 수 있다.

Feedback occurs in multiple contexts and can be framed from both a learner’s and a faculty member’s perspective. For example, learners often hope that they may “go unnoticed” by their supervisor while at the same time wondering if they will “measure up”. They also worry about what is at stake for them, be it the trust of the supervisor, the reputation of being a “good” student


그러나 대부분의 경우에 있어서 정말 중요한 것은 [학습자의 학습]과 [학습자가 가능한 최고의 의료 전문가로 발전하도록 하는 능력]이다. 이상적으로, 피드백은 장점을 토대로 약점을 해결하는 기회로 여겨져야 한다. 

In most cases,however, what is really at stake is their learning and their ability to develop into the best possible health care professional that they can be, and ideally, feedback should be seen as an opportunity to build on strengths and address personal weaknesses. 


교직원의 관점에서 교사들은 종종 

-어떻게 하면 환자와 학습자의 요구를 가장 잘 조화시킬 수 있는지, 

-학습자가 자신의 잠재력에 어떻게 도달할 수 있는지, 그리고 

-피드백을 제공하는 데 있어 공통적인 문제를 어떻게 해결할 수 있는지 궁금해 한다.

From a faculty perspective, teachers often wonder 

-how they can best balance the needs of their patients and learners, 

-how they can help learners reach their potential, and 

-how they can address common challenges in giving feedback


학습자와 교사 모두에게 피드백은 [인식된 stakes]과 [실제 stakes] 사이, 그리고 [새롭게 부상하는 필요]와 [기존의 우선 순위] 사이에서 균형을 잡는 행동이 될 수 있습니다.

For both learners and teachers, feedback can be a balancing act, between perceived and actual stakes and between emerging needs and priorities.


지금까지 학생과 레지던트에 대한 피드백을 높이기 위해 고안된 다양한 교수진 개발 프로그램들이 있지만, 이러한 폭넓은 내용과 접근방식에도 불구하고, 피드백 프로세스를 개선하려는 대부분의 교수개발 프로그램들이 직면한 주요 과제는 시스템 변화를 유발하는 것이다.

To date, diverse faculty development programs designed to enhance feedback to students and residents . Despite this breadth of content and approaches, however, bringing about systems changes remains a major challenge facing most faculty development programs trying to improve the feedback process.



앞으로, 지금까지 다루어졌던 핵심 콘텐츠에 초점을 맞추는 것이 좋습니다(위에서 설명). 여기에는 다음의 것들이 포함될 수 있다.

  • 담론을 바꾸다 ("행동"에서 "피드백의 관계적 측면"으로) 

  • 피드백을 주는 범위를 넓히다 ("행하는 것"에서 "되는 것"으로) 

  • 피드백을 더 심각하게 받아들이다 ("잘 했어요"에서 "변화를 위한 계획"으로).


Moving forward, we would suggest an additional focus to the core content that has been addressed to date (and described above). This would include the need 

  • to change the discourse (from behaviors to the relational aspects of giving feedback), 

  • to expand the scope of giving feedback (from “doing” to becoming) and 

  • to take feedback more seriously (from saying “good job” to planning for change).


피드백의 담론을 바꿀 때, 교수진들은 종종 "tick-box"로 인식해온 것에서 벗어날 수 있고, 교사들과 학습자들 사이의 의미 있는 대화로 피드백을 바라볼 수 있으며, 교수자-학습자 사이의 관계에 신경쓸 수 있고, 학습자는 "Fail의 공포"를 극복하고, 교수자는 "Fail시키지 못한 실패"를 극복할 수 있으며신뢰감과 유대감을 쌓기 위해 노력하게 될 것이다.

In changing the discourse of feedback, faculty members should be encouraged to move away from what is often perceived as a “tick-box” exercise to a meaningful conversation between teachers and learners, look at the teacher-learner relationship and what learners and teachers perceive, overcome a “fear of failure” among learners and a “failure to fail” among teachers and work on building a sense of trust and collegiality.


피드백의 범위를 확대하는 것은 다음을 포함한다.

  • 피드백과 관찰을 연결하고, 

  • 판단보다 학습에 초점을 두고,

  • 구체적인 행동 뿐만 아니라 관찰한 것의 "게스탈트"를 고려하고, 

  • 학습자 및 환자 요구에 집중 하고,

  • 평가 과정에서 피드백의 역할을 강화한다. 

Expanding the scope of feedback includes 

  • linking feedback to observation, 

  • moving away from judgment to learning, 

  • considering the “gestalt” of what is observed as well as specific behaviors, 

  • focusing on learner and patient needs and 

  • reinforcing the role of feedback in the assessment process. 


피드백을 심각하게 받아들이는 것은 다음을 포함한다.

  • 피드백을 "일상화된 실천"으로 만들고

  • 학생과 레지던트를 정기적으로 관찰하는 것 

  • 교수자가 보는 것이 무엇인지 identify하고, 

  • 관찰된 행동을 토대로 구체적이고 측정 가능한 피드백을 제공하고, 

  • 학습자가 피드백을 요청할 수 있도록 empower하고,

  • 피드백과 관련한 stakes를 인지하는 것

Taking feedback seriously refers to the need for 

  • making feedback a “routine practice”, 

  • observing students and residents on a regular basis, 

  • identifying what teachers see and 

  • giving feedback that is specific and measurable, based on observed behaviors, 

  • empowering learners to solicit feedback and 

  • recognizing the stakes involved.


대안적 접근법은 (특히 교수개발이 개인 수준과 시스템 수준 모두에서 변화를 촉진하는 것을 목표로 하는 경우) 이러한 목표를 달성하는 데 도움이 될 수 있다. 

Alternate approaches may also help to achieve this objective, especially if faculty development aims to promote change at both individual and systems levels. 


workshop에서 workplace로 이동하는 것이 개인 수준에서 갖는 장점은...실제로 교사가 어떻게 행동하는지 관찰할 수있고, 피어코칭을 총진하며, 다양한 교수개발전략을 활용할 수 있다.

At the individual level, there is merit in moving from the workshop to the workplace so that we 

-can observe teachers in action (Steinert 2014), 

-promoting peer coaching (Regan-Smith et al. 2007) and 

-taking advantage of a broad range of faculty development strategies


시스템 수준에서는 피드백 프로세스의 가치를 평가하고, 학습자에 대한 직접관찰을 장려하며, 종단적 교사-학습자 관계를 위한 기회를 창출하고, "크리티컬" 피드백을 일상화하며, 학습자가 피드백을 요청할 수 있도록 empower하고, 교수가 자신을 코치로서 인식하도록 해야 합니다.

At the systems level, we need to find ways to value the feedback process, encourage direct observation of learners, create opportunities for longitudinal teacher–learner relationships, normalize “critical” feedback, empower learners to solicit feedback and help faculty members view themselves as coaches.


우리는 또한 현재의 강점을 바탕으로 여러 이해당사자를 참여시켜야 할 것이다.

We will also need to build on current strengths, engage multiple stakeholders (including students, residents and patients),


Conclusions


결론은 다음과 같다.

we concluded that 


(1) 피드백에 선행하는 평가는 피드백의 교육적 효과를 최적화하도록 설계되어야 한다. 

(1) the assessment that necessarily precedes feedback should be designed to optimize its educational effect; 


(2) 대화나 논의의 형태로 제공되는 질적 피드백은 신뢰성에 도움이 되고, 정서적 장애물에 대처하며, 편안한 환경을 조성할 수 있다. 

(2) qualitative feedback in the form of a conversation or discussion would lend to its credibility, address emotional obstacles and create a context in which it is comfortable; 


(3) 비록 한계가 있지만, 개별화된 데이터의 형태를 갖는 양적 피드백은 그 '수치'를 증가시키기 위한 요구를 충족시키고, 학생들이 어떻게 개선할 것인가에 대한 전략을 고안하도록 도울 수 있으며, 학생들이 자신의 동료와 자신을 비교할 수 있도록 한다. 

(3) even though it has limitations, quantitative feedback in the form of individualized data could fulfill the demand to increase it, help students devise strategies on how to improve, allow students to compare themselves to their peers; and 


(4) 교수개발은 문화 및 시스템 변화를 통합하고 촉진할 필요가 있다. 피드백에 대한 더 나은 이해가 더 효율적이고 효과적인 학습을 가져올 것이다.

(4) Faculty development needs to incorporate and promote cultural and systems changes. We believe, that a better understanding of feedback will result in more efficient and effective learning.






 2017 Dec;39(12):1245-1249. doi: 10.1080/0142159X.2017.1372564. Epub 2017 Sep 19.

Qualitative and quantitative feedback in the context of competency-based education.

Author information

1
a Department of Medical Education , College of Medicine, University of Illinois , Chicago , IL , USA.
2
b Schulich School of Medicine and Dentistry , Western University , London , ON , Canada.
3
c Medical Education Unit , Leeds Institute of Medical Education , Leeds , UK.
4
d Center for Medical Education , McGill University , Montreal , QC , Canada.
5
e Foundation for Advancement of International Medical Education and Research , Philadelphia , PA , USA.

Abstract

Research indicates the importance and usefulness of feedback, yet with the shift of medical curricula toward competencies, feedback is not well understood in this context. This paper attempts to identify how feedback fits within a competency-based curriculum. After careful consideration of the literature, the following conclusions are drawn: (1) Because feedback is predicated on assessment, the assessment should be designed to optimize and prevent inaccuracies in feedback; (2) Giving qualitative feedback in the form of a conversation would lend credibility to the feedback, address emotional obstacles and create a context in which feedback is comfortable; (3) Quantitative feedback in the form of individualized data could fulfill the demand for more feedback, help students devise strategies on how to improve, allow students to compare themselves to their peers, recognizing that big data have limitations; and (4) Faculty development needs to incorporate and promote cultural and systems changes with regard to feedback. A better understanding of the role of feedback in competency-based education could result in more efficient learning for students.

PMID:
 
28927332
 
DOI:
 
10.1080/0142159X.2017.1372564


CBME에서 양과 질에 대한 잘못된 이분법(Adv in Health Sci Educ, 2014)

The false dichotomy of quality and quantity in the discourse around assessment in competency-based education

Olle ten Cate




오래되었지만 유용한 정의에 따르면, 역량 기반 의료 교육(CBME)의 의도된 결과는 "국지적 조건에 부합하여, 국지적 요구를 충족시킬 수 있도록 정의된 수준의 숙련도로 의술을 수행할 수 있는 의료 전문가"이다.

According to an old but useful definition, the intended outcome of competency-based medical education (CBME) is ‘‘a health-professional who can practice medicine at a defined level of proficiency, in accord with local conditions, to meet local needs’’ (McGaghie et al. 1978).


보다 현대적인 정의에는 "

  • 졸업 성과능력의 근본적 지향적인 실천을 위한 의사 준비 방법 

  • 사회적 요구와 환자 요구의 분석에서 파생된 역량에 관련하여 조직화된다. 

  • 시간 기반 훈련을 강조하지 않으며 책임성, 유연성 및 학습자 중심성을 높인다"(Frank et al. 2010)가 있다.

More modern definitions include ‘

  • ‘An approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and 

  • the organization around competencies derived from an analysis of societal and patient needs. 

  • It de-emphasizes time based training and promises a greater accountability, flexibility, and learner-centeredness’’ (Frank et al. 2010)


"의료전문직 교육이란 한 개 이상의 의료 역량의 고정된 숙련도를 목표로 하는 것이다" (10 Cate 2014a, b)

‘‘Education for the medical profession that is targeted at a fixed level of proficiency in one or more medical competencies’’ (ten Cate 2014a, b).


질과 양 사이의 대조는 그것이 이것 또는 저것과 같은 "둘 중 하나" 상황을 암시함으로써 오해를 만든다. 즉 시간과 절차 수를 기록하여 역량을 획득하거나, 성능을 측정함으로써 역량을 획득한다고 보는 것이다.

The contrast between quality and quantity is such a misunderstanding, as it suggests that they represent an ‘‘either–or’’ situation. Either you achieve competence by documenting time and number of procedures, or you achieve it by measuring performance.


새로운 치과 교육 프로그램의 최근 현장 검토 결과...

a recent on-site review of a new dental education program


기존의 치과대학 커리큘럼에서 학생들은 양적 기준(예: 추출물 수, 근관 치료, 왕관 및 교량)을 충족하도록 요구받았다. 반대로 새로운 커리큘럼은 수행된 절차procedure의 양보다는 역량 기반 교육의 현대적인 접근방식을 따랐다. 여기서 우리가 충격을 받은 것은 학생들이 (학교가 최소한의 양적 기준을 요구하지 않았다는 이유로) independent practice을 위한 적절한 기준을 충족시키지 못할 것을 매우 걱정했다는 것이다. 학교는 대신 학생들에게 전자 포트폴리오로서 치과 시술에 관한 역량에 대한 증거를 제공할 책임을 부여한다.

Whereas in the former dental curriculum the students were required to meet quantitative criteria (such as numbers of extractions, root canal treatments, crowns and bridges completed), the new curriculum follows a modern approach of competency-based education that stresses attained competencies rather than quantity of procedures done. It struck our review committee how worried students were that they would not meet adequate standards for independent practice, as the school had ceased to require minimum quantitative standards but instead put responsibility on students to provide proof of their competence in dental procedures in their electronic portfolio. 


위에서 인용한 CBME의 정의 어느 곳에도 학습자 평가에 있어 연습의 양이나 경험의 양이 중요하지 않다고 이야기하지 않지만, 이러한 혼란은 쉽게 이해할 수 있다. 역량 기반 교육은 기준에 따라 역량을 평가해야 하지만, 이러한 기준을 충족하는 시간은 유연해야 한다. 따라서 CBE에서 시행된 경험이나 절차의 양이 학생이 "인증"을 받는 순간에 모든 학습자에게 동등하다고 말할 수는 없다. 그러나 그렇다고 해서 "우리는 역량 기반 교육을 채택했고 따라서 직무나 절차 수 등과 같은 경험의 양은 신경쓰지 않으며, 학습자의 질만을 검토한다"는 주장은 타당하지 않다.

Nowhere in definitions of CBME cited above is to be found that quantity of exercises or experiences in the evaluation of learners is unimportant, but the confusion is easily understood. While competency-based education requires evaluation of standard levels competence, the time to meet these standards must be flexible. Hence in CBE it cannot be stated that the quantity of experiences or procedures practiced should be equal for all learners at the moment of certification. The argument however, that ‘‘we have adopted competency-based education, and therefore we look at the quality of the learners, not at quantity of experiences, such as time on tasks or numbers of procedures’’ is not valid.


'양'을 버리는 것이 위험한 또 다른 이유가 있다. 개인의 진보를 문서화하는 포트폴리오 접근법은 집단 평가 절차를 위한 합리적인 대안이며, workplace 학습에 매우 적합하며, CBE 프로그램에서 점점 더 많이 사용된다.

There is another reason why abandoning quantity may be dangerous. To document individual progress, a portfolio approach is a sensible alternative for mass assessment procedures, very apt for workplace learning, and increasingly used in CBE programs.


일반적으로 포트폴리오는 학습자가 수집, 소유 및 제어하는 문서 컨테이너가 된다.(Challis 1999). 하지만, 이것의 성공에는 학습자와 교사 모두의 상당한 노력이 필요합니다. (Driessen et al. 2005) 학생들이 주로 채우고 읽으며, 철저하게 평가할 시간과 기술이 부족하다는 이유로 교사가 거의 읽지 않는 포트폴리오는 역량의 척도로서 쓸모가 없다.(Driessen et al. 2007).

Portfolios are usually presented as containers of documentation, to a large extent collected, owned and controlled by the learner (Challis 1999). Its success however requires quite a bit of effort from both learners and teachers (Driessen et al. 2005). Portfolios that are predominantly filled and read by the students themselves, and hardly by teachers because of a lack of time and skill to thoroughly evaluate them, cannot serve well as measures of competence (Driessen et al. 2007).


어떤 경우에는 학습자에게 너무 많은 책임이 주어져서 학습자는 자기 평가뿐만 아니라 그들의 능력을 수준까지 증명해야 한다. 이러한 상황은 포트폴리오의 복잡한 평가를 수행할 시간이 부족할 뿐만 아니라 포트폴리오에 대한 엄격한 평가 도구가 부족하기 때문에 발생할 수 있습니다. 또한 이러한 상황은 학습자가 자신의 학습(및 평가)에 대해 책임을 져야 한다는 구성주의 교육 철학에 의해 종종 보호됩니다. 하지만 이것이 단지 교사들의 부담을 경감하기 위한 방패막이 구실이라면, 그것이야말로 구성주의가 선호받지 못한 이유일 것이다. 이렇게 이뤄지는 포트폴리오는 단순히 말해서 부적절한 기준의 유지에 불과하다.

In some cases too much emphasis is laid on the responsibility of learners to not only self-assess but also prove their competence to a level . This policy may not only be caused by a lack of time to do the cumbersome evaluation of portfolios , but also by a lack of rigorous assessment tools for portfolios. The policy is often defended by a constructivist educational philosophy that learners should take responsibility for their own learning (and assessment). If such defense serves as an excuse to alleviate teacher burden, rather than a deliberate educational policy, it may be one of the reasons why constructivism has attained a less favorable press (Kirschner et al. 2006). The result is simply an inadequate maintenance of standards.


지금껏 너무 자주 'quantity'만으로 역량을 결정하기에 충분한 것으로 여겨져 왔다: "이 절차를 다섯 번 했다면, 더 이상 당신을 평가할 필요가 없다."와 같은 것이다. 물론 실제 능력은 관찰되고 평가되어야 한다. 그러나 학습자가 감독 없이도 할 수 있다고 믿기 전에(Cianciolo 및 Kegg 2013), 학습자가 그것을 얼마나 자주 수행했는지를 확실히 알 필요도 있습니다.

Too often quantities have been regarded as sufficient to determine competence: ‘‘if you have done this procedure five times, then I don’t need to evaluate you any further’’; Actual competence must be observed and assessed. But before trusting a learner to work unsupervised (Cianciolo andKegg 2013), it sure helps to know how often procedures have be done


합리적 접근 방식은 학습자가 감독 없이도 일을 수행할 수 있는지에 대한 공식적 entrustment 평가를 받기 전에 사전 조건을 충족하도록 요구하는 것이다.

and a logical approach is to require learners to meet some pre-conditions before they are eligible for evaluation and for a formal entrustment decision to work unsupervised.


역량 기반 교육에서 질적 평가를 수행해야 하는 필요성과는 별개로, 노력의 경험의 quantity는 중요하다. 최소 숫자의 절차를 완료해야 하는 프로그램도 역량-기반일 수 있다. 어떤 프로그램이 만약 특정 횟수의 procedure나 특정 기간의 수련을 요구하지 않는다면, 그 프로그램은 모든 의도된 역량을 타당하게 평가해야 하는 책임이 오히려 커진다(Lurie et al. 2009). 어쩌면 그 치대생들은 정말 타당한 논지를 가지고 있었을지도 모른다.

clearly quantity of effort and experience is important and by no means in contrast with the need to evaluate qualitatively in competency-based education. A program that requires minimum numbers of procedures completed may well be competency-based. A program that does not require numbers of procedures or months of effort takes on a great responsibility to validly assess all intended competencies, which is not an easy task (Lurie et al. 2009). The dental students may really have had a valid point.


Driessen, E., van Tartwijk, J., van der Vleuten, C., &Wass, V. (2007). Portfolios in medical education: Why do they meet with mixed success? A systematic review. Medical Education, 41(12), 1224–1233.




 2015 Aug;20(3):835-8. doi: 10.1007/s10459-014-9527-3. Epub 2014 Jun 8.

The false dichotomy of quality and quantity in the discourse around assessment in competency-based education.

Author information

1
Center for Research and Development of Education, University Medical Center Utrecht, Universiteitsweg 98, 3584 CG, Utrecht, The Netherlands, t.j.tencate@umcutrecht.nl.

Abstract

Competency-based medical education stresses the attainment of competencies rather than the completion of fixed time in rotations. This sometimes leads to the interpretation that quantitative features of a program are of less importance, such as procedures practiced and weeks or months spent in clinical practice. An educational philosophy like "We don't require numbers of procedures completed but focus on competencies" suggests a dichotomy of either competency-based or time and procedures based education. The author argues that this dichotomy is not useful, and may even compromise education, as long as valid assessment of all relevant competencies is not possible or feasible. Requiring quantities of experiences of learners is not in contrast with competency-based education.

PMID:

 

24908558

 

DOI:

 

10.1007/s10459-014-9527-3



역량바탕교육: 이정표인가 맷돌인가?(J Grad Med Educ, 2014)

Competency-Based Education: Milestones or Millstones1?

Geoff Norman, PhD John Norcini, PhD Georges Bordage, MD, PhD





CanMEDS 역량은 네덜란드, 덴마크, 멕시코 등 16개국에 의해 채택 및 조정되었다.5 게다가 카네기 재단의 영향력 있는 플렉스너 100주년 기념사업은 CBE 채택을 강력히 추천했고 다음과 같은 주장을 했다. "OBE의 채택은 의학 졸업생들이 복잡한 상황에서 효과적으로 대응할 수 있도록 더 잘 준비할 것이며 필요한 역량의 깊이와 폭을 계속해서 효율적으로 확장할 것이다."

CanMEDS competencies have been adopted and adapted by 16 countries, including the Netherlands, Denmark, and Mexico.5 Moreover, the Carnegie Foundation’s influential Flexner centenary strongly recommended adopting CBE and made the claim that ‘‘Adoption of OBE [outcome-based or competency-based education] would better equip medical graduates to respond effectively in complex situations and efficiently continue to expand the depth and breadth of the requisite competencies.’’6,7


Harden8(p666)은 OBE/CBE에 대한 여러 가지 이점을 설명합니다.

Harden8(p666) ascribes a number of advantages to OBE/ CBE:


OBE는 다양한 이점을 제공하는 커리큘럼 계획을 위한 정교한 전략입니다. 이해관계자를 engage시키는 직관적인 접근입니다. 그것은 학생 중심의 접근을 장려하며 동시에 더 나은 책임감과 퀄리티 보증을 위한 경향을 서포트한다. 그것은 무시될지도 모르는 교육과정의 분야를 강조한다. 예를 들면 윤리나 태도...

OBE is a sophisticated strategy for curriculum planning that offers a number of advantages. It is an intuitive approach that engages the range of stakeholders . . . it encourages a student-centred approach and at the same time supports the trend for greater accountability and quality assurance . . . [it] highlights areas in the curriculum which may be neglected . . . such as ethics and attitudes . . ..


유감스럽게도, 이 선언들은 증거보다는 믿음의 문제로 보인다.

Regrettably, these declarations appear to be more a matter of faith than of evidence.


CBE의 주된 목적은 투명성입니. 투명성 덕분에 전문직과 대중은 훈련 프로그램이 실습을 위한 지식과 기술을 갖춘 유능한 의사들을 배출한다는 것을 확신할 수 있습니다. 이 전제를 반박하기는 어렵다; 문제는 CBME의 제안된 메커니즘이 약속을 이행할 수 있느냐이다.

The primary intent of CBE is, we believe, transparency, so that the profession and the public can be confident that a training program is producing competent physicians who are equipped with the knowledge and skills for practice. It is hard to challenge that premise; the issue is whether the proposed mechanisms can deliver on the promise.


3가지 수준의 잠재적인 문제: 개념적, 심리학적, 그리고 로지스틱적.

potential problems at 3 levels: conceptual, psychometric, and logistic.




개념적 문제

Conceptual Problems


CBE의 한 가지 이점은 역량이 (적어도 표면상으로는) 단순함의 미덕을 가지고 있다는 것이다. 그들은 일반적으로 수가 (적어도 최상위 수준에서는) 적다. CanMEDS는 8가지 역할을 나열하고, ACGME는 6가지 능력을 가지고 있으며, Scottish 닥터는 7가지 능력을 가지고 있다. 놀랍게도, 많은 specifications들 사이에 중복되는 부분이 거의 없는 것 같다.9

One purported advantage of CBE is that the competencies appear, on the surface, to have the virtue of simplicity. They are generally few in number, at least at the top level. CanMEDS lists 8 roles, ACGME has 6 competencies, and the Scottish Doctor lists 7. Remarkably, there appears to be little overlap among many of the specifications.9


비록 역할의 경제economy of roles가 CBE를 그것의 역사적 선조라 할 수 있는 행동 목표와 CBE를 차별화하는 하나의 특징으로 홍보되지만, 이 간결함은 각 역할 또는 역량에 대한 하위 역량에서 빠르게 상실된다. 예를 들어, 스코틀랜드의 닥터는 12개 역량의 86개의 하위역량을 열거한다.

although an economy of roles is touted as 1 feature that sets CBE apart from its historical predecessor, behavioral objectives, this parsimony is rapidly lost in the further, more detailed specification of each role or competency. For example, the Scottish Doctor lists 86 subcompetencies under 12 competencies.


(역량의 확산에도 불구하고) 역량이 행동 목표와 다소 다르다는 주장은 유지되기가 어렵다. 실제로, Morcke와 동료들은 1970년대의 행동 목표 운동과 결과나 역량에 대한 현재의 관심 사이의 직접적인 경계를 설명했다. 행동 목표와 역량 사이의 유사성에 비추어 볼 때, 행동 목표의 궁극적인 종말을 초래한 요인들을 고려해야 한다

  • 분명한 교육 이점의 증거 부족 

  • 목표를 지정하고 교육 및 평가 접근방식을 구현하는 데 필요한 많은 노력 

  • 저수준 목표의 득세

The argument that competencies are somehow different from behavioral objectives is difficult to maintain in the face of this proliferation of competencies. Indeed, Morcke and colleagues7 described a direct lineage between the behavioral objectives movement of the 1970s and current interest in outcomes or competencies. In view of the similarity between behavioral objectives and competencies, one should consider the factors that led to the ultimate demise of behavioral objectives: lack of evidence of clear educational benefits, the effort required to specify objectives and then implement educational and assessment approaches, and the dominance of low-level objectives.


게다가 행동주의에 대한 상세한 비판 중 일부는 CBE에 대한 도전에서 이미 다시 논의되고 있다. 특히, Harden이 논의한 바와 같이, CBE의 장점은 (시험에 합격함으로써 증명되는 지식의 단순한 숙달보다) 임상 능력의 특성에 대한 보다 전체적인holistic 관점을 장려한다는 것이다. 그러나 역설적으로 역량의 상세 규격specification 요건은 그러한 전체적인 관점을 완화시킬 수 있다. 왜냐하면 Morcke 등이 지적한 바와 같이 인본주의, 이타주의, 전문성, scholarship과 같은 자질은 객관적이고 측정 가능한 용어로 정의하기 어려우며 따라서 평가에서 짧게 넘어갈 수 있기 때문이다.

Moreover, some of the detailed critiques of behaviorism have been revisited in challenges to CBE. In particular, as discussed by Harden,8 a purported advantage of CBE is that it encourages a more holistic view of the nature of clinical competence than simple mastery of a body of knowledge evidenced by passing an examination. However, paradoxically, the requirement for detailed specification of competencies may mitigate against such a holistic view, as pointed out by Morcke et al,7 since qualities, such as humanism, altruism, professionalism, and scholarship, are difficult to define in objective, measurable terms, and thus may receive short shrift in assessment.



심리측정적 측면

Psychometric Considerations


비록 역량의 긴 목록은 CBE가 행동 목적과 구별될 수 있다는 개념에 부합하지만, 두 가지 접근법은 측정 수준에서 다르다. 행동주의 연구 의제와 일관되게 행동 목표 달성은 2진법으로 여겨졌다.

Although the long lists of competencies belie the notion that CBE is distinguishable from behavioral objectives, the 2 approaches do diverge at the level of measurement. Consistent with the behaviorist research agenda, achievement of behavioral objectives was viewed as binary.


아마도 적절하게 CBE 운동은 역량 성취에 대해 보다 현실적인 관점을 취해왔다. 아무리 역량이 원자적이라 하더라도(다음 절에서 우리가 복귀하는 지점) 달성도를 단계적 함수로 기술하는 것은 비현실적이라는 인식이 있다. 어린이들은 어느 날까지 기어가다가 갑자기 다음 날 걷지 않습니다: 걷는 것은 몇 주 또는 몇 달 동안 일어나는 점진적인 숙달 과정입니다.

Perhaps appropriately, the CBE movement has taken a more realistic perspective on the achievement of competencies. There is recognition that, however atomistic a competency is specified (a point we return to in the next section), describing its achievement as a step function is unrealistic. A child does not crawl one day and walk the next: Walking is a gradual process of mastery that occurs over weeks or months.


능력의 점진적인 취득에 대한 개념은 비선형 성장 곡선으로 표현되어 왔다. 여기서 능력의 성장은 처음에는 빠르지만, 그 다음에는 감속된다.15

This notion of the gradual acquisition of competence has been represented as a nonlinear growth curve, where growth of competence is initially rapid, but then decelerates (FIGURE 1).15



간단한 운동 능력simple motor skill이 그러한 곡선들과 유사한 동력 법칙을 따른다는 가설을 뒷받침하는 몇 가지 증거가 있다. 그러나 이러한 곡선은 단순한 반복 작업(한 스터디에서 시가 롤링)과 단일 세션에서만 파생됩니다.

There is some evidence to support the hypothesis that simple motor skills do follow a power law that resembles those curves. However, such curves are derived from a simple repetitive task (in one study, cigar-rolling) and a single session.


그러나 전체 세션에서 단조로움monotonic 성장이 있습니다(FIGURE 2).16 특정한 능력 수준(Y축의 한 점)이 달성되고 "달성되지 않음"이 있을 수 있으며, 역량이 달성되는 경우 여러 점이 있을 수 있다는 것을 암시합니다.

but there is monotonic growth across sessions (FIGURE 2).16 The implication is that a particular level of competence—a point on the y-axis—can be achieved and ‘‘unachieved,’’ and there may be multiple points where competence is achieved.




또한, 이러한 곡선이 레지던트 환경에서 특정 역량의 성장에 대한 더 유효한 표현일 수 있지만, "..."... 상상할 수 있는 거의 모든 형태의 학습 곡선이 발견될 수 있고 발견되었다는 점을 강조해야 한다."

Further, although these curves may be a more valid representation of the growth in specific competencies in the residency setting, it should be emphasized that ‘‘ . . . learning curves of almost every conceivable shape can and have been found.’’16


매 4개월마다 맥마스터 학부생에게 시행되는 180개 항목, 객관식 테스트(그림 3). 이러한 테스트의 연속적인 관리로부터의 성장 곡선은 이정표에 대해 가정된 것과 유사하다(FIGURE 1).

 the 180-item, multiple-choice test administered to McMaster undergraduates every 4 months (FIGURE 3). The growth curve from the successive administration of those tests is similar to those postulated for Milestones (FIGURE 1).


이러한 사례로부터 보자면, ACGME 역량 획득의 상세한 사양은 (특정 시점에 독립적인 관찰과 일치하는 수준의 달성으로 식별할 수 있는 정도까지 하려면) 비현실적인 샘플이 요구된다는 것은 명백하다.

It is apparent from these examples that detailed specification of the acquisition of any ACGME competency, to the point that it can be identified with the attainment of a level consistent with independent practice, at a particular point in time, will require an unrealistic sample of observations.


마찬가지로 CanMEDS 역할에 기반한 글로벌 등급 평가는 요인 분석에서 5개의 요인을 산출했지만 전체 내부 일관성 0.97을 가지며 척도 간의 차이가 없음을 보여 주었다.

Similarly, an evaluation of a global rating based on the CanMEDS roles,17 although it yielded 5 factors in a factor analysis, had an overall internal consistency of 0.97, again showing a lack of discrimination between scales.


이것은, 역량이 너무 광범위해서 차별화discrimination하지 못하는 것은 단순히 평가자가 용어의 의미를 적절하게 정의하고 내재화하지 못하는 능력의 반영일 수 있다. 그것은 마치 "유럽 지리를 얼마나 잘 아는가?"와 "다음 서유럽 국가들의 수도는 어디인가?"와 같은 질문의 차이와 유사하다. 따라서 전반적인 평가 개선은 보다 상세한 수준의 관찰에서야 발생할 수 있다.

It may be that these competencies are so broad that the lack of discrimination simply reflects the inability of assessors to adequately define and internalize the meaning of the terms. It may be likened to the difference between a question like ‘‘How well do you know European geography?’’ and ‘‘What are the capitals of the following western European countries?’’ It is possible then, that improved overall assessment may result from observations at a more detailed level.


한 편으로는, 상대적으로 객관적인 문서화가 가능하도록 역량의 상세히 규격하는 것은 레지던트 당 압도적 수의 평가를 초래한다. 그러나 반대로, 여러 역량을 함께 묶는 것은 정확하고 도움이 되는 피드백을 주지 못하게 만들고, 역량을 달성하는 것이 무엇을 의미하는지에 의문을 갖게 한다. 더욱이, 평가자들은 심지어 global 수준에서도 개인의 능력을 구별할 수 없는 것으로 보이며, 최소한의 신뢰도 달성하려면 많은 관찰이 필요하다.

On the one hand, detailed specification of competencies so that relatively objective documentation can be obtained results in an overwhelming number of assessments per resident. On the other hand, lumping competencies together precludes accurate and helpful feedback and leads to questioning precisely what it means to achieve competence. Moreover, it appears that judges cannot discriminate individual competencies even at this global level of specification, and many observations are needed to achieve even minimal levels of reliability.


광범위한 수준에서 합리적인 총괄 평가는 가능하지만, 그러한 형성평가를 위해서는 반드시 보다 상세한 수준의 관찰에 기초해야 한다.

reasonable summative assessment is possible at a broad level, but that formative assessment must necessarily be based on observations at a more detailed level.




로지스틱 문제

Logistic Problems


역량 기반 교육은 모든 숙달학습이 갖는 로지스틱 문제와 그 이상의 물류 문제를 추가로 안고 있다. 일부 학습자가 다른 학습자보다 더 빨리 능력을 획득할 수 있거나, 더 정확히 말하면, 어떤 학습자는 다른 학습자보다 더 빨리 어떤 능력을 획득할 수 있다고 가정하는 것은 매력적일 수 있다. 일정 수준의 개별화는 가능할지도 모른다. 한 레지던트가 특정 절차procedure에 대해 조기에 "완수"한 후 다른 절차procedure에 시간을 투자할 수 있다. 그러나 모든 시점에서 특정 역량을 평가할 수 있는 교수진을 확보하는 것은 현실적이지 않다. 게다가, 다양한 훈련 시간을 갖는 것은 실용적이지 않다.

Competency-based education has all the logistical problems of mastery learning and many more. However attractive it may be to presume that some learners may attain competency more quickly than others or, more precisely, that some learners may achieve some competencies more quickly than others do . Some individualization may be possible; one resident may ‘‘sign off’’ on a particular procedure early and then redirect time to a different procedure. However, it is not practical to have faculty available to assess particular competencies at any point in time. Moreover, it is simply not practical to have variable training times.


레지던트의 계약은 특정 기간(일반적으로 1년)으로 이뤄지며, 레지던트가 프로그램을 조기에 또는 나중에 종료하도록 허용하는 계약을 작성하기는 어려울 것이다. 현재 교육기관들은 개인화된 훈련 기간을 가진 레지던트를 기준으로 일정과 예산을 계획할 수 없다. 현재 해당 연도 내에 역량을 획득하지 못한 소수의 레지던트에게는 교정조치를 위한 추가 시간이 x개월로 부여된다. 비록 이것이 레지던트 프로그램 계획을 방해하더라도, 그 수가 적을 때에는 감당할 수 있다. 현재로서는 각 레지던트의 수련 기간을 개인화하는 것이 불가능하기 때문에, 먼저 역량을 성취하여 레지던트가 졸업한다면 비용이나 시간을 절약할 수 있다는 주장은 의심스럽다.

Contracts are given to residents for specific periods (usually a year), and it would be difficult to create a contract to allow residents to leave a program earlier or later. Currently, institutions cannot plan schedules and budgets based on residents having individualized lengths of training. Currently, those few residents who do not achieve competencies within that year are given x number of months additional time for remediation. That disrupts residency program schedules but is manageable because the numbers are small. At present, individualizing training periods for each resident is not feasible, thus the claims that Milestones can save money or time by possibly graduating residents earlier appear specious.


이 관점의 함축은 불안하다. 역량 기반 교육은 서로 다른 개인이 다른 시점에 서로 다른 영역에서 역량을 획득할 것을 약속한다. 그것이 교육 자원의 할당과 레지던트 수련시간의 "가상적" 효율성을 가져올 수 있지만, 그것은 GME의 현재의 현실과 양립할 수 없다.

The implication of this viewpoint is unsettling. Competency-based education promises that different individuals will achieve competency in different domains at different times. Although that may lead to hypothetical efficiencies in allocation of educational resources and resident time, it is incompatible with the current realities of GME.



CBE를 위한 장점이 있습니까?

Is There Any Advantage for CBE?


지정된 역량에 대해 4가지 이상의 역할을 수행할 수 있습니다.

  • 1. 학생 또는 레지던트의 학습 유도

  • 2. 침상 및 진료소에서 레지던트와 학생에게 매일 피드백 제공

  • 3. 로테이션 종료 또는 프로그램 종료 시 합격/불합격 결정

  • 4. 라이선스 및 인증에 합격/불합격 결정


One can envision at least 4 distinct roles for specified competencies:

  • 1. Guiding learning for a student or resident

  • 2. Giving daily feedback to residents and students at the bedside and in clinic

  • 3. Making pass/fail decisions at the end of a rotation and the end of a program

  • 4. Making pass/fail decisions for licensure and certification


학습 유도

Guiding Learning


역량의 상세한 사양은 여러 수준에서 유용성을 가질 수 있다. 첫째, 각 레지던트가 최소한 모든 역량에 노출되는 것을 보장할 수 있는 프로그램 계획에 사용할 수 있다.

A detailed specification of competency may have utility on a number of levels. First, it can be used in program planning to ensure that each resident is at least minimally exposed to every competency.


둘째, 그러한 설명은 현재처럼 진단 procedure와 같은 스킬 분야에서 의무적으로 요구되는 절차 수를 계산하기 보다는, 달성한 역량 정도를 측정하는 procedure log를 도입하여 특정 기술에 대해 쉽게 조작할 수 있다.

Second, such a description could also easily be operationalized for specific skills, such as diagnostic procedures, by introducing a procedure log that measures degrees of competence rather than counts the number of procedures, as is currently mandated in procedural specialties.



평가와 피드백

Assessment and Feedback


최소한, 특정 역량의 인증 요건은 지금껏 역사적으로 늘 부족했던 "레지던트 퍼포먼스의 관찰" 증가로 이어져야 한다. 모든 역량에 대해 충분한 수의 관찰을 "sign off"하는 것이 결코 실현 가능하지 않을 수 있지만, 관찰이 증가하는 것 자체로 이점이 있을 것이다.

At minimum, the requirement for certification of specific competencies must inevitably lead to increased observation of resident performance, an area that is historically underserved. Although it may never be feasible to conduct sufficient numbers of observations to ‘‘sign off’’ on all competencies, increased observation would bring its own benefits.


합격과 탈락 결정

Determining Pass and Fail in Programs


역량 프레임워크는 테스트 샘플링을 위해 쉽게 사용할 수 있는 청사진을 제공한다. 다시, '모든' 역량을 '충분히' 관찰할 수 없다는 것은 충분히 인식하지만, 청사진은 훈련 중인 평가 및 시험 내용의 대표성에 대한 신뢰도를 높일 수 있다. 결과적으로, 그것은 프로그램이 전공의 수련의 목표의 달성을 인증할 수 있는 자신감을 증가시킬 수 있다.

the competency framework provides a readily available blueprint for test sampling. Again, the impossibility of observing all competencies sufficiently is recognized, but the blueprint can provide increased confidence on the representativeness of the content of in-training assessments and examinations. In turn, that may increase the confidence with which programs can certify achievement of residency program objectives.


인증과 증명

Accreditation and Certification


마찬가지로 역량 프레임워크는 전문과목 학회가 검사 specification에 사용할 수 있는 자연스러운 blueprint입니다. CBE가 보드 시험을 대체할 가능성이 없다는 것은 자명하다. 그러나 competency statement는 콘텐츠의 대표성(유효성)을 보장하고, 궁극적으로 레지던트의 성과에 대한 평가를 개선하기 위한 보드시험을 설계하기 위한 자연스러운 출발점이다.

Similarly, the competency framework is a natural blueprint for specialty boards to use in examination specification. It is self-evident, that CBE is unlikely to replace board examinations. However, the competency statement is a natural starting point for design of board examinations, again directed at assurance of content representativeness (validity), and ultimately, improved assessment of resident performance.


인증 위원회가 인증 절차에 기초할 보다 체계적인 증거를 확보한다는 점도 장점이다.

A further advantage is that certifying boards will have more systematic evidence on which to base accreditation procedures.


역량 기반 교육은 가장 열성적인 지지자들이 주장하는 장점들을 결코 달성하지 못할 것이다. 교육 연구 한 세기는 교육적인 "만병통치약"이 없다는 것을 분명히 보여준다. 그럼에도 불구하고, (단순 시간 투입이 아니라) 역량 성취라는 포커스를 향한 변화는, 점진적이라도 입증 가능한 이익을 가질 가능성이 높다. 문제는 administrative elephant를 만들지 않으면서 이점을 극대화하기 위해 리소스를 전략적으로 재할당해야 한다는 것입니다.

Competency-based education may never achieve the many virtues attributed to it by its most enthusiastic proponents. A century of educational research clearly demonstrates that there are no educational ‘‘wonder drugs.’’ Nevertheless, the change of focus toward achievement of competency, rather than putting in time, is likely to have demonstrable, if incremental, benefits. The challenge is to reallocate resources strategically to maximize benefit while avoiding creating an administrative elephant.


7 Morcke AM, Dornan T, Elka B. Outcome (competency) based education: an exploration of its origins, theoretical basis and empirical evidence. Adv Health Sci Educ Theory Pract. 2013;18(4):851–863.








 2014 Mar;6(1):1-6. doi: 10.4300/JGME-D-13-00445.1.

Competency-based educationmilestones or millstones?


평가 프로그램 설계: 참여적 방법(Med Teach, 2017)

Designing programmes of assessment: A participatory approach 

Janica Jamiesona , Gemma Jenkinsa, Shelley Beattya and Claire Palermob

aSchool of Medical and Health Sciences, Edith Cowan University, Perth, Australia; bDepartment of Nutrition and Dietetics, School of Clinical Sciences at Monash Health, Faculty of Medicine, Nursing and Health Sciences, Melbourne, Australia



도입

Introduction


작업 기반 환경에서 CBA의 복잡성이 존재한다. 어려움 중 일부는 특히 형성평가에서 의미 있는 피드백을 포착하는 것(Bindal et al. 2011; Bok et al. 2017)과 역량의 전체 모습을 잡아내기 위해서 개별 평가 항목을 통합하는 것을 포함한다(Bok).

there are complexities of CBA in a work-based setting. Some of the difficulties include capturing feedback that is meaningful, particularly in formative assessment (Bindal et al. 2011; Bok et al. 2013; Barrett et al. 2017), and aggregating individual assessment items to holistically capture competence (Bok et al. 2013).


평가 프로그램은 다음에 의해서 underpin되는 평가항목의 의도적 배열이다(Van der Veen 등).

  • 평가가 학습을 유도해야 한다는 것

  • 고부담 평가는 반드시 강건해야 한다는 인식

  • 타당도는 도구가 아니라 사용자에 달려있다는 것

A programme of assessment is a purposeful arrangement of assessment items underpinned by 

  • the need for assessment to drive learning, 

  • recognition that high stakes assessment must be robust, and 

  • that validity lies with the users rather than the instruments (Van der Vleuten et al. 2012).


프로그램적 접근방식(Dijkstra et al. 2012; Van der Vleuten et al. 2015)에 대한 합의가 있었지만, 대부분의 문헌은 개념적이고 실제 사례는 적다(Driessen et al.

While there is agreement on a programmatic approach (Dijkstra et al. 2012; Van der Vleuten et al. 2015), much of the literature is conceptual and real-life examples limited (Driessen et al. 2012; Bok et al. 2013; Van der Vleuten et al. 2015).


본 연구의 목적은 평가 프로그램을 설계하는 참여 작용 연구(PAR) 접근방식을 적용하고 평가하는 것이었다.

The aim of this study was to apply and evaluate a participatory action research (PAR) approach to design a programme of assessment.


Methods


세팅

Setting



방법론

Methodology


PAR은 프로그램 평가 원칙에 따라 20주간의 배치 재설계를 위해 사용되었다. (Van der Vleuten et al. 2012; Dijkstra et al. 2012; Van der Vleiten et al. 2015) PAR는 연구원과 참여자 간의 파트너십을 형성하여 활동 연구 주기를 이용하여 실천을 이해하고 개선하고자 한다(Baum et al. 2006; Reason and Bradbury 2008). 이러한 접근 방식을 이용하여, 취업 기반 평가관과 대학 교수로 구성된 실무 그룹이 설립되었다. 작업 기반 평가관은 배치 중에 감독 및 평가에 참여하는 주요 이해당사자로 확인되었으며, 모든 배치 위치에 대한 이메일 초대(n1⁄421)를 통해 모집되었습니다. 이러한 부가적인 표본 추출은 최종 프로그램의 적용 가능성을 강화하기 위해 다양한 작업 설정을 나타내었다. 

PAR was used to redesign the 20 week placement in accordance with programmatic assessment principles (Van der Vleuten et al. 2012; Dijkstra et al. 2012; Van der Vleuten et al. 2015). PAR seeks to understand and improve practices using the action research cycle by forming a partnership between researchers and participants (Baum et al. 2006; Reason and Bradbury 2008). Using this approach, a working group composed of work-based assessors and university academics was established. Work-based assessors were identified as key stakeholders involved in supervision and assessment during placement and were recruited via an email invitation to all placement locations (n¼21). This purposive sampling ensured that a range of work settings were represented to strengthen the applicability of the final programme. 


다양한 표본 추출 방법을 설명하기 위해 종이 기반 조사를 사용하여 인구통계 및 직업 특성을 수집했다. 9명의 직업기반 평가관은 관심을 표명했고 (ECU) 대학 교수인 두 명의 연구원(J. J. J. J.와 G. J.)과 함께 참여했으며, 이 직책에 대해 복잡한 이해를 갖고 있다. 연구원들은 영양사 평가에서 전문 지식을 가진 독립적인 학자와 함께 했다. 본 연구는 대학 윤리 승인(ECU)을 받았고 참가자들은 서면 정보를 통한 동의를 제공했다.

Demographic and occupational characteristics were collected using a paper-based survey to describe the diverse sampling. Nine work-based assessors expressed interest and were joined by two researchers (J. J. and G. J.) who are (ECU) university staff and have an intricate understanding of the placement. The researchers were joined by an independent academic with expertise in assessment of dietitians (C. P.). The study received university ethics approval (ECU) and participants provided written informed consent.


평가 재설계

Redesigning assessment


이 연구는 8개월 동안 진행되었으며 6회의 일정이 잡혀 있었다. 이 회의는 평가에 대한 참가자의 전문지식을 높이고 20주간의 배치를 위한 새로운 평가 프로그램을 개발하는 데 초점을 맞추었다. 참가자가 출석했다.

The study was conducted over 8 months with six meetings scheduled. The meetings focused on increasing participants’ expertise in assessment and developing a new assessment programme for the 20 week placement. Participant attendance was recorded.


첫 번째 회의에서 참가자들은 (J. J. J. J.와 G. J.)에 의해 제기된 질문에 응답하고, 개발하고, 촉진하였다. (표 2) 반응은 참가자들에 의해 손으로 쓰여졌고 말로 공유되었다. 데이터 분석은 데이터 수집과 동시에 수행되었으며, 연구자는 주요 토론 지점을 요약하고 문서화하여 회의 중에 토론 동기를 부여하고, 논의를 구조화하기 위해 작업 그룹에 전달했다. 각 문제에 대해 논의한 후, 연구원들은 의견 일치를 얻고 핵심 요점에 우선 순위를 매기기 위해 NGT을 사용했다. (존스와 헌터 1995). 각 참가자에게는 3표가 주어졌고 가장 중요한 토론 포인트를 제시해 달라는 요청을 받았다. 이 합의 결과는 연구원들에 의해 수집되어 분석의 정확성을 검토하고 보장하기 위해 다음 회의에서 제시되었다.

In the first meeting, participants responded to questions, developed, and facilitated by the researchers (J. J. and G. J.) (Table 2). Responses were hand-written by participants and shared verbally. Data analyses were conducted concurrently with data collection, whereby researchers summarized and documented key discussion points as they emerged, and relayed them to the working group during the meeting to motivate and structure discussion. Following discussion of each question, researchers used a nominal group technique to reach consensus and prioritize key points (Jones and Hunter 1995). Each participant was provided with three votes and asked to indicate the discussion points that were most important. The consensus findings were collated by researchers and presented in the following meeting to review and ensure accuracy of analysis.


3차 회의에 이어, 연구자들(J. J. J. J.와 G. J.)은 문헌에 의해 지도된 작업 그룹 우선순위를 바탕으로 평가 프로그램을 설계했다. 첫 번째 버전은 네 번째 회의 전에 참가자들에게 이메일로 전송되었다. 네 번째 회의에서 학습자 성과, 타당성 문제 및 가능한 해결책을 포착하는 능력을 포함하여 평가 프로그램을 비판하였다. 그 토론은 연구자들에 의해 요약되었고 프로그램을 더 수정하는데 사용되었다. 두 번째 버전은 다섯 번째 회의 전에 참가자들에게 이메일로 전송되었다. 

Following meeting three, the researchers (J. J. and G. J.) designed the assessment programme based on the working group priorities guided by the literature. The first version was emailed to participants prior to the fourth meeting. In meeting four the assessment programme was critiqued including the ability to capture learner performance, feasibility issues, and possible solutions. The discussion was summarized by the researchers and used to further modify the programme. The second version was emailed to participants prior to the fifth meeting. 


미팅 5는 구조화되지 않은 그룹 토론을 통해 평가 프로그램을 완료하는 데 전념했습니다. 그 프로그램을 5시에 추가로 수정했다. 4번과 5번의 미팅의 초점은 개별 평가 도구들의 '강점과 약점을 재조정' (Dijkstra et al. 2010, 페이지 380) 및 '다양한 종류의 정보를 보완하고 합성하는 방법'이었다. 평가 프로그램의 최종 버전은 6차 회의에서 작업 그룹의 승인을 받았다. 4시에서 6시까지는 음성으로 녹음되었다.

Meeting five was dedicated to finalizing the assessment programme through an unstructured group discussion. Further modifications to the programme were made following meeting five. The focus of meetings four and five were to ‘reconcile the strengths and weaknesses’ (Dijkstra et al. 2010, p. 380) of the individual assessment instruments and broader assessment programme and debate ‘how to complement and synthesise different kinds of information’ (Dijkstra et al. 2010, p. 380) within the programme. The final version of the assessment programme was approved by the working group in the sixth meeting. Meetings four to six were audio-recorded.



Evaluation of the PAR process


정성적 평가가 그 연구에 포함되었다. 특히 PAR 접근 방식이 새로운 평가 프로그램을 확립하는 데 어떤 역할을 했는지와 이유를 평가하기 위해 6차 회의에서 60분 초점 그룹이 수행되었다.

A qualitative evaluation was embedded in the study. A 60min focus group was conducted in the sixth meeting to evaluate the working group process, in particular, how and why the PAR approach functioned to establish the new assessment programme.


결과 Results


Demographics and participation


Nine work-based assessors were recruited (Table 1).


평가 재설계

Redesigning assessment


    • 이전 평가에서는 보다 광범위한 역량 개발보다는 격리된 기술 성과에 초점을 맞추었고, 

    • 평가자와 교사가 이해관계가 중복되었으며, 

    • 3가지 업무 기반 환경에서 평가 간의 연관성을 강화할 수 있는 기회가 있다

...는 데 의견이 일치했습니다(표 2)

There was consensus that 

    • the previous assessment focused on isolated skill performance rather than broader competency development, 

    • dual roles of assessor and teacher created a conflict of interest, and 

    • there was an opportunity to strengthen the connection between assessments across the three work-based settings (Table 2).




(ECU)의 영양학 석사를 위해 설계된 평가 프로그램은 그림 1에 시각적으로 표현된다.

The programme of assessment designed for the Master of Nutrition and Dietetics at (ECU) is visually represented in Figure 1.




PAR 절차 평가

Evaluation of the PAR process


7명의 참가자가 포커스 그룹 토론에 참여하여 프로그램 평가 설계에 대한 PAR 접근 방식을 평가했습니다. 세 가지 주제가 나타났습니다.

Seven participants took part in the focus group discussion to evaluate the PAR approach to programmatic assessment design. Three themes emerged:


평가 프로그램 설계를 위한 공통의 비전

A shared vision for the design of the assessment programme


새로운 평가 프로그램에 대한 공유 비전은 공동 목표를 수립하면서 설계 우선순위에 대한 그룹의 설명과 문서화를 통해 달성되었다. 참가자들에게 현재의 비프로그램적 접근법에 대한 자신의 의견과 불만을 표현할 수 있는 기회를 제공하면 공유 목표와 그룹간 협력 관계가 촉진된다. 참가자는 물리적 위치와 청각에 관계없이 집단에 대한 일체감을 지속적으로 보고했다.

The shared vision for the new assessment programme was achieved through the groups’ articulation and documentation of priorities for the design, creating a common goal. Providing participants with opportunities to express their opinions and frustrations regarding the current non-programmatic approach facilitated shared goals and group collegiality. Participants consistently reported a sense of inclusion, regardless of physical location, and of being heard, which assisted in group unity.


참가자들은 식이요법 노동력을 구축하는 것에 관한 기존 경험과 개인적인 관심이 변화에 대한 준비 태세를 가지고 왔다고 보고했다. 이는 지속적인 참여의 주요 동기로 간주되었으며 평가 프로그램의 'buy-in'으로 이어졌다.

Participants reported bringing a readiness for change, born from previous experiences and personal interests in building the dietetic workforce. This was viewed as a key motivation for ongoing involvement and led to ‘buy-in’ of the assessment programme.


작업 환경, 평가 경험 및 지리적 위치에 걸친 작업 그룹의 다양성은 전체적인 것으로 간주되었으며 그룹을 강화시켰다. 참여자들은 평가에서 미래에 대한 공유된 비전이 평가 프로그램에 다양한 관점을 고려하고 구축하도록 보장했음을 반영했다.

The diversity of the working group across work settings, assessment experience and geography, was seen as holistic and strengthened the group. Participants reflected that the shared vision for a way forward in assessment ensured that different perspectives were considered and built into the assessment programme.


평가 프로그램을 위해 참가자의 역량을 강화하고 소유의식을 개발하는 동시에 프로젝트를 추진하는 리더십

Leadership driving the project while empowering participants and developing their sense of ownership for the programme of assessment


참가자들은 연구자들을 프로젝트를 주도한 지도자로 보았다. 이것이 없었다면, 참가자들은 그들이 해제되었을 것이라고 느꼈다.

Participants viewed the researchers as leaders who drove the project. Without this, participants felt that they would have become disengaged.


이러한 모멘텀 감각은 연구자들의 실용주의와 더불어 프로젝트 목표의 공유 비전과 제공이 프로젝트 완료에 필수적인 요소로 간주되었습니다. 참가자와 연구자의 의무와 책임의 균형을 맞추는 것이 핵심이었다. 참가자들은 그들의 업무량이 그들의 능력과 헌신에 적절했으며, 연구자들의 기대는 현실적이고 성취가능한 수준이었다. 업무량이 더 컸다면 부담스럽고 참여에 부정적인 영향을 미쳤을것이라는 합의가 있었다.

This sense of momentum, combined with the pragmatism of the researchers, the shared vision and delivery of project goals, were viewed as fundamental to project completion. Balancing duties and responsibilities of participants and researchers was key. Participants indicated their workload met their abilities and commitment, and the expectations of the researchers were realistic and achievable. Consensus was that greater workloads would have been burdensome and negatively affected involvement.


참가자들은 판단받을 우려없이 자신들의 의견과 불만을 표출할 수 있는 안전한 환경이라고 판단했다. 이것은 참가자들이 유토피아적인 평가 모델을 탐구하고, 다른 관점을 가지며, 아이디어를 도출할 수 있도록 허락한 연구자들의 수용성에서 비롯되었다.

Participants identified the working group as a safe environment where they were encouraged to express their opinions and frustrations without concern of judgment. This was derived from the receptiveness of the researchers who granted participants permission to explore a utopian assessment model, different perspectives, and generate ideas.


조직화된 포커스 그룹은 다른 관점에서 비판할 수 있게 해주었기 때문에 아이디어의 생성과 진화에 필수적이다. 참가자들은 온라인 설문 조사나 이메일이 동일한 깊이를 얻지 못할 것이며 평가 프로그램에 대한 활발한 토론을 이끌어내기보다는 연구원들이 제기한 가정에 의존할 것이라는 데 동의했다.

Structured focus groups were essential to the generation and evolution of ideas as they allowed for critique from different perspectives. Participants agreed that an online survey or email would not have gained the same depth and would have relied on assumptions made by the researchers, rather than allowing robust debates about the assessment programme.


새로운 프로그램의 설계에 대한 논의가 영향을 미칠 것이라는 기대와 자신감을 갖는 것은 참가자들에게 만족감을 주었다. 이것은 소유의식을 초래했고 참가자들은 그들 자신의 작업 환경과 그 이상의 프로그램 옹호자로 자신들을 식별했다.

Feeling heard and having confidence that discussions would inform design of the new programme was satisfying to participants. This led to a sense of ownership and participants identified themselves as advocates for the programme within their own work settings and beyond.


참여자들은 자신이 프로그램 구현에 중요한 역할을 하는 전문 사용자라고 생각했다. 이러한 소유감은 업무 기반 학습에서 그들의 역할에 대한 신뢰와 검증, 평가에 대한 향상된 이해, 습득된 지식을 통한 권한 부여empowerment의 느낌에서 비롯되었다. 참여자들은 자신의 의견을 표현할 기회가 새로웠다고 말하며, 평가 프로그램에 의해 보상을 받고, 자신의 우려를 표명하며, 소유감을 느꼈다고 생각했다.

Participants perceived themselves to be expert users, playing a key role in the programme implementation. This sense of ownership originated from confidence and validation of their role in work-based learning, an improved understanding of assessment and a feeling of empowerment through knowledge gained. Participants reflected that opportunities to express their opinions were new which rewarded by the assessment programme, addressed their concerns and for which they felt a sense of ownership.




참가자들이 평가를 보는 관점에 철학적인 변화가 일어났고, 이는 평가프로그램의 도입을 서포트하였다.

A philosophical shift occurred in the views of participants towards assessment, supporting the implementation of a programme of assessment



참가자들은 업무 기반 학습 환경에서 평가에 대한 태도와 실천에 대한 성찰 과정을 거쳤다고 보고했다. 그들이 얻은 지식은 그들의 생각에 도전했고, 그들의 평가 관행에 비판적이고 의문을 갖는 접근법을 채택하게 되었다. 참가자들은 평가에 대한 자신의 역할에 대해서 이해도가 향상되고, 깊이와 명확성을 확보했으며, 이것이 긍정적인 학습 경험을 가져올 것이라고 판단했다. 이러한 지식을 바탕으로, 일부 참여자들은 실무그룹에서의 행동을 변화함으로써 긍정적인 결과를 얻었다고 보고했다.

Participants reported undergoing a process of reflection regarding attitudes and practices towards assessment in the work-based learning setting. The knowledge they gained challenged their thinking, leading to the adoption of a critical and questioning approach to their own assessment practices. Participants reported an improved understanding for their role within assessment, gaining depth and clarity, and considered that this would result in positive learner experiences. Empowered by this knowledge, some participants reported that they modified their supervision practices during the working group with positive outcomes.


참가자들은 과정과 성취감에 대한 흥분감을 보고했다. 어떤 사람들에게는, 이것은 그들의 직무의 강화와 재창조에서 유래한 것이고, 반면에 다른 사람들은 영양학자로서 재인증을 한다고 말했다. 참가자들은 여행, 작업 부하, 개인적 요구 등으로 인해 회의에 참석하는 데 있어 어려움이 있었음을 인정했습니다. 그들은 그 모임에 참여하면 engaged함을 느끼고 흥분했다고 보고했다.

Participants reported excitement regarding the process and a sense of achievement. For some, this derived from an enrichment and reinvigoration of their work role, while others spoke of re-identifying as a dietitian. Participants acknowledged the challenges in attending meetings, such as travel, workloads and personal demands. They reported that once at the meetings they felt engaged and excited.


고찰

Discussion


세 가지 주요 발견: 

  • (i) 평가 프로그램을 추진하는 데 리더십이 중요했다. 

  • (ii) 참가자는 프로그램의 소유권과 지지를 초래하는 설계 프로세스에 초기에 의미 있는 참여를 통해 empowered받았다. 

  • (iii) 설계 프로세스는 평가에 대한 참가자의 관점에 철학적인 변화를 가져왔다.

three key discoveries: 

  • (i) leadership was important to drive the programme of assessment; 

  • (ii) participants were empowered by early and meaningful involvement in the design process resulting in ownership and advocacy of the programme; and 

  • (iii) the design process resulted in a philosophical shift in participants’ views towards assessment.


PAR 접근법의 사용은 평가 관행을 이해하고 개선하기 위해 연구자와 참여자 사이의 협력을 촉진하였다. 연구자와 실무자 간의 직접 연결은 증거 기반 실천 변화를 보다 효과적으로 서포트할 수 있다(Nutley et al. 2007; Shard and Sharples 2016).

The use of a PAR approach fostered a partnership between researchers and participants to understand and improve assessment practices. Direct connection between researchers and practitioners can more effectively support evidence-based changes to practice (Nutley et al. 2007; Sheard and Sharples 2016).


모든 당사자를 평등하게 보고 가치 있는 기여를 하는 것을 포함하여 이해관계자의 전문 경험과 전문 지식을 인식하는 것이 전문적 담화와 참여를 강화하는 데 핵심이다(Shard and Sharples 2016). 평가 재설계 과정에 참여자와 협력하여, 연구원들은 그들의 경험과 전문지식을 인정하고 육성했으며, 참여자들은 그들의 아이디어가 평가 재설계에 정보를 줄 것이라고 확신하고 새로운 평가 프로그램을 옹호advocate할 수 있게 empower 되었다.

Recognition of professional experience and expertise of stakeholders, including viewing all parties as equal and having a worthwhile contribution, is key in enhancing professional discourse and engagement (Sheard and Sharples 2016). By partnering with participants in the assessment redesign process, researchers acknowledged and fostered their experience and expertise, Participants felt heard and confident that their ideas would inform assessment redesign and as such became empowered to advocate for the new assessment programme.


변화할 수 있는 context를 제공하는 것은 [전문적인 대화와 이해당사자들과의 참여를 촉진]하고 [교육 변화의 성공에 기여]하는 중요한 요소이다(Deneneen and Boud 2014). 연구과정 초기에, 참가자들은 저자들에 의해 모범 사례 평가에 대한 정보를 얻었고, 현재의 비프로그래밍 접근법의 강점과 한계를 탐구하도록 장려되었다.

Providing context to a change is a critical element to promote professional dialogue and engagement with stakeholders and contribute to the success of educational change (Deneen and Boud 2014). Early in the research process, participants were informed about best-practice assessment by the authors and encouraged to explore the strengths and limitations of the current non-programmatic approach.


이 주제에 대한 연구자들의 깊은 이해와 참가자들과의 기존의 관계는 '인사이더'라는 용어를 낳았는데, 이것은 참가자들이 지도자로 진화하는 것에 기인했을 수 있다(Sike and Potts 2008. 2008). 그러한 지위가 유익할 수 있지만, 이러한 위치에 인지하지 못할 경우에는 자신의 의제, 인식, 가정을 연구에 투영하는 위험을 낳게 된다. 이는 편향을 발생시키고, PAR 접근 방식의 신뢰성과 훼손이 발생할 수 있다(Berger 2015). 연구원들이 연구 과정과 결과에 미치는 영향에 대해 의식적으로 인식하려면 정성적 연구에서의 반사적 위치가 필요하다(Berger 2015; Enosh, Ben-Ari 2016).

The researchers’ deep understanding of the topic and pre-existing relationships with participants positioned them as ‘insiders’, which may have attributed to their evolution as leaders (Sikes and Potts 2008). While such status can be beneficial, being incognizant to this position risks the projection of ones’ own agenda, perceptions, and assumptions onto the research. This can result in bias, affecting the credibility and compromising the PAR approach (Berger 2015). Reflexive positioning within qualitative research is necessary to bring a deliberate awareness to the impact of the researchers on the research process and outcomes (Berger 2015; Enosh and Ben-Ari 2016).



이것은 다음을 통해 해결될 수 있다.

  • (i) 지속적인 성찰적 논의에 참여하는 연구자는 자신의 개인적인 의제에 경각심을 가지고, 자신의 생각을 작업 그룹의 생각과 분리한다. 

  • (ii) 포커스 그룹을 사용하여 참가자의 관점을 중심으로 연구를 진행하고 연구원을 촉진자로 배치한다. 

  • (iii) 평가 프로그램을 설계하는 동안 우선순위가 반영되었는지 확인하기 위해 작업 그룹의 피드백을 구한다. 

  • (iv) 두 명의 저자에 의해 독립적으로 주제 분석을 수행한다. 이 중 한 명은 대학 외부 사람이었다.

This was addressed by 

  • (i) the researchers participating in ongoing reflective discussions to remain alert to their personal agendas and separate their ideas from that of the working group; 

  • (ii) using focus groups to center the research on the participants’ perspectives and position the researchers as facilitators; 

  • (iii) seeking feedback from the working group during the design of the assessment programme to ensure it reflected their priorities; and 

  • (iv) thematic analysis independently undertaken by two authors, one of which (C. P.) was external to the university under study.


Participatory action research: Seeks to understand and improve the world by changing it. At its heart is collective, self-reflective inquiry that researchers and participants undertake,so they can understand and improve upon the practices in which they participate and the situations in which they find themselves (Baum et al. 2006).

참여 행동 연구: 세상을 변화시켜 이해하고 개선하려고 노력합니다. 그 중심에는 연구자와 참여자가 수행하는 집단적이고 자기반복적인 조사가 있으며, 따라서 그들은 그들이 참여하는 관행과 그들이 그들 자신을 발견하는 상황을 이해하고 개선할 수 있다. (Baum et al. 2006)








 2017 Nov;39(11):1182-1188. doi: 10.1080/0142159X.2017.1355447. Epub 2017 Aug 4.

Designing programmes of assessment: A participatory approach.

Author information

1
a School of Medical and Health Sciences , Edith Cowan University , Perth , Australia.
2
b Department of Nutrition and Dietetics, School of Clinical Sciences at Monash Health, Faculty of Medicine , Nursing and Health Sciences , Melbourne , Australia.

Abstract

Programmatic approaches to assessment provide purposeful and meaningful assessment yet few examples of their development exist. The aim of this study was to describe the development of a programme of assessment using a participatory action research (PAR) approach. Nine work-based assessors together with three academics met on six occasions to explore the current approach to competency-based assessment in the placement component of a dietetics university course, the findings of which were used to design a programme of assessment. Findings revealed disconnect between current assessment approaches and best practice. The PAR methodology fostered a shared vision for the design of a programmatic approach to assessment and strong leadership was essential. Participants experienced a philosophical shift in their views towards assessment, supporting the implementation of a new assessment programme. This paper is the first to describe a PAR approach as a feasible and effective way forward in the design of programmatic assessment. The approach engaged stakeholders to strengthen their abilities as work-based assessors and produced champions for best practice assessment.

PMID:
 
28776435
 
DOI:
 
10.1080/0142159X.2017.1355447


새로운 커크패트릭 모델은 평가를 위한 더 나은 망치인가? (Med Teach, 2017)

Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox?

Katherine A. Moreaua,b,c

aFaculty of Education, University of Ottawa, Ottawa, Canada; bCentre for Research on Educational and Community Services, University of

Ottawa, Ottawa, Canada; cChildren’s Hospital of Eastern Ontario Research Institute, Ottawa, Canada




도입

Introduction


프로그램 평가 문헌에는 수많은 평가 모델이 있지만(Frye & Hemmer 2012; Stufflebeam2001), 커크패트릭의 원래 4단계 평가 프로그램(반응, 학습, 행동, 결과)은 광범위하게 사용된다. 그럼에도 불구하고, 그것은 비판의 대상이다. Frye와 Hemmer(2012년)는 Kirkpatrick의 원래 모델이 왜 교육적 프로그램이 작용하는지, 그 자체로는 보여주지 못하고 있다고 지적했습니다. 마찬가지로, 파커(2013년)는 우리가 Kirkpatrick(더 나은 해머 제작)을 사용할 수 있도록 개선할 필요가 있다고 주장합니다. [또한] 우리의 사고방식과 그에 따른 우리의 '툴박스'가 얼마나 복잡한 프로그램이 동작하는지 이해하기 위해 확장된다."(p. 440). 

While there are numerous evaluation models within the program evaluation literature (Frye & Hemmer 2012; Stufflebeam2001), Kirkpatrick’s original four-level (reaction, learning,behavior, results) outcome-focused model is widely usedto evaluate medical education programs. Nevertheless, it is subject to criticism. Acknowledging its shortcomings,Frye and Hemmer (2012) note that Kirkpatrick’s original model, on its own, fails to show why educational pro-grams work. Likewise, Parker (2013) argues that we need“improve to our use of Kirkpatrick (build better hammers) … [as well as] expand our thinking, and thus our ‘toolbox’, to understand how complex programmes work …” (p. 440). 



비판 1: Kirkpatrick은 레벨 3(Behavior) 및 레벨 4(Results)를 평가하는 데 어려움을 줍니다. 

Criticism 1: Kirkpatrick makes evaluating Levels 3(Behavior) and 4 (Results) challenging 


Kirkpatrick의 원래 모델의 사용에 대한 검토 결과, 의학 분야의 대부분의 연구자들이 레벨 2(학습)에서 평가를 중단한 것으로 나타났다(Yardley & Dornan 2012).

Reviews on the use of Kirkpatrick’s original model reveal that most investigators in medical education cease evaluations at Level 2 (Learning) (Yardley & Dornan 2012).


잠재적인 해결책으로 NWKM은 비순차적으로 또는 동시에 또는 역방향으로(즉, 레벨 4~1)(Kerkpatrick & Kirkpatrick 2016) 수준을 평가할 것을 제안한다. 또한, Kirkpatrick과 Kirkpatrick(2016)은 모든 프로그램에 "전체 평가 패키지"가 필요한 것은 아니라고 지적합니다(페이지 22). 그들은 프로그램 이해당사자들과 협력하여 가장 중요하고 유용하며 가치 있는 수준을 결정한 다음 이러한 수준만 평가할 것을 권고한다. 

As a potential solution the NWKM suggests evaluating the levels non-sequentially, concurrently, or in reverse (i.e. Levels 4 to 1)(Kirkpatrick & Kirkpatrick 2016). In addition, Kirkpatrick and Kirkpatrick (2016) note that not all programs require the“full evaluation package” (p. 22). They recommend collaborating with program stakeholders to determine the levels that are most important, useful, and evaluable and then only evaluating these levels. 


Kirkpatrick의 원래 모델에 대한 비판자들은 또한 일부 조사자들이 레벨 3과 레벨 4를 평가하기에 너무 어렵다고 느낀다는 것을 지적한다.

The critics of Kirkpatrick’s original model also note that some investigators find Levels 3 and 4 too hard to evaluate(Yardley & Dornan 2012).


Kirkpatrick과 Kirkpatrick(2016)은 이러한 어려움이 종종 프로그램 계획 중에 고려되는 것이 아니라, 사후에 고려되기 때문이거나, 레벨 3과 레벨 4의 식별된 결과가 프로그램과 무관하기 때문이라고 설명한다. 이러한 곤경을 피하기 위해, Kirkpatrick과 Kirkpatrick(2016)은 프로그램 계획 중에 프로그램 이해당사자들과 협력하여 행동과 결과 지향적 결과를 파악하고, 그들을 위한 지표들을 개발하고, 프로그램 자체에 그 자료를 수집하기 위한 메커니즘을 내장하는 것이 중요하다고 강조한다. 

Kirkpatrick and Kirkpatrick (2016)imply that this difficulty is often because the evaluation is an afterthought rather than something considered during program planning, or because the identified outcomes for Levels 3 and 4 are irrelevant to the program and its stakeholders. In order to avoid this quandary, Kirkpatrick and Kirkpatrick (2016) emphasize that it is important to identify the behavior and results-oriented outcomes in collaboration with program stakeholders during program planning, develop indicators for them, and embed mechanisms for collecting the data into the program itself. 


그들은 또한 레벨 4가 교육 프로그램이 조직의 목표나 수익bottom lines에 기여하는 것을 평가하는 데 초점을 맞춰야 한다고 추론한다. 따라서 환자성과가 꼭 레벨4의 초점이 되어야 하는 것은 아니다.

They also infer that Level 4 should focus on evaluating the contribution that educational programs make to organizations’ targeted goals or bottom lines (Kirkpatrick & Kirkpatrick 2016) and thus, patient outcomes do not need to be the foci of this level.


비판 2: 커크패트릭은 교란 변수를 무시한다.

Criticism 2: Kirkpatrick neglects confounding variables



NWKM은 학습자 특성과 조직 리소스 및 활동이 프로그램의 성공(또는 실패)에 미치는 영향을 인식합니다. 예를 들어, 레벨 3(Behavior)에서 Kirkpatrick과 Kirkpatrick(2016)은 평가를 위해 다음을 추가하여 원래 모델을 확장했습니다.

The NWKM acknowledges the impact that learner characteristics as well as organizational resources and activities have on the successes (or failures) of programs. For example, at Level 3 (Behavior), Kirkpatrick and Kirkpatrick (2016) expanded the original model by adding the following for evaluation:


1. 학습자가 학습한 지식/기술을 적용하도록 강화, 모니터링, 장려, 보상하는 프로세스

2. 정규 프로그램 외부에서 이루어지는 학습, [학습자가 학습한 지식/기술의 적용을 지원하는 프로그램 이후에 제공되는 멘토]뿐만 아니라 [프로그램을 위해 학습자를 준비하기 위해 조직이 하고 있는 작업 포함].(OTJ 학습)

3. 실천의 개선 또는 변경을 위한 학습자의 책임감과 동기 부여(OTJ 학습)

1. The processes that reinforce, monitor, encourage, and reward learners to apply the learned knowledge/skills (Required Drivers);

2. The learning that occurs outside the formal program, including what organizations are doing to prepare learners for programs as well as mentorship provided after programs to assist learners in applying learned knowledge/skills (On-the-Job Learning);

3. Learners’ sense of responsibility and motivation to improve or change their practice (also under On-theJob Learning).


레벨 2(학습) 측면에서 Kirkpatrick 및 Kirkpatrick(2016)은 범위를 확장하여 학습자의 다음을 평가합니다.

In terms of Level 2 (Learning), Kirkpatrick and Kirkpatrick (2016) expanded the scope to evaluate the extent to which learners:


1. 학습한 지식/기술을 실제로 적용할 수 있다고 인식하는 정도(자신감)

2. 지식/기술을 적용하려고 하는 정도(헌신)

1. Perceive that they will be able to actually apply the learned knowledge/skills (Confidence);

2. Intend to apply the knowledge/skills (Commitment). 


레벨 1(반응)의 경우, Kirkpatrick과 Kirkpatrick(2016)은 다음에 초점을 맞추는 방법을 추가했습니다.

Lastly, for Level 1 (Reaction), Kirkpatrick and Kirkpatrick (2016) added how evaluations should focus on the degree to which learners:


1. 학습 경험에 참여하고 기여하는 정도(참여).

2. 학습한 내용을 사용하거나 적용할 수 있는 기회에 대한 기대(관련성).

1. Are engaged in and contributing to the learning experience (Engagement);

2. Expect to have opportunities to use or apply what they learned (Relevance).



비판3: 커크패트릭의 인과관계 사슬은 근거가 없다.

Criticism 3: Kirkpatrick’s causal chain is unfounded


Bates(2004)는 Kirkpatrick의 원래 모델에 포함된 인과관계를 뒷받침할 수 있는 증거가 제한적이라고 강조합니다. NWKM은 이러한 연결의 문제를 인식합니다. Kirkpatrick과 Kirkpatrick(2016)은 "수준이 인과관계 또는 순차적이지 않다" (p.36)와 학습자의 지식/기술 획득이 실제로 이를 적용하는 능력을 예측하지 못하고 있다고 말합니다. 따라서, 우리는 그 수준을 어떤 순서로든 사용할 수 있다.

Bates (2004) highlights the limited evidence to support the causal chain embedded within Kirkpatrick’s original model. The NWKM recognizes the problems in these linkages. Kirkpatrick and Kirkpatrick (2016) discuss how “the levels are not causal or sequential” (p. 36) and that learners’ acquisition of knowledge/skill is not predictive of their abilities to apply it in practice. Therefore, we can use the levels in any order.


또한 NWKM은 인과관계망(2016년)보다는 근거의 사슬을 구축하고 평가하는 데 초점을 맞추고 있다. 이러한 증거사슬은 우리에게 모든 요소를 식별할 것을 요구하며, 주어진 성과에 변화를 가져왔다면, 프로그램 외부의 요인이라고 할지라도 적절한 credit을 줄 것을 요구한다. 

Additionally, the NWKM focuses on building and evaluating chains of evidence rather than causal chains (2016). These chains of evidence require us to identify and give appropriate credit to all factors, even those outside our programs, which bring about changes in the given outcomes (Mayne 2012).


전반적으로, NWKM은 Kirkpatrick의 원래 모델보다 반가운 발전이다.

Overall, the NWKM is a welcomed improvement from Kirkpatrick’s original model,


이전 모델보다 더욱 협력적이고 유연해 보입니다. 원래 모델과 비교하여, 그것은 또한 교육 프로그램의 맥락, 과정, 그리고 복잡성을 더 잘 수용하는 것처럼 보인다. 이것은 컨텍스트-입력-프로세스-제품 (CIPP) 모델 (Stufflebeam 2004)을 포함한 다른 평가 모델과의 유사성을 증가시킨다.

it appears to be more collaborative and flexible than its predecessor. In comparison with the original model, it also seems to better embrace the context, process, and complexity of educational programs, which increases its similarity with other evaluation models including the context–input–process– product (CIPP) model (Stufflebeam 2004).



Kirkpatrick JD, Kirkpatrick WK. 2016. Kirkpatrick's four levels of training evaluation. Alexandria (VA): ATD Press. 





 2017 Sep;39(9):999-1001. doi: 10.1080/0142159X.2017.1337874. Epub 2017 Jun 26.

Has the new Kirkpatrick generation built a better hammer for our evaluation toolbox?

Moreau KA1,2,3.

Author information

1
a Faculty of Education , University of Ottawa , Ottawa , Canada.
2
b Centre for Research on Educational and Community Services , University of Ottawa , Ottawa , Canada.
3
c Children's Hospital of Eastern Ontario Research Institute , Ottawa , Canada.

Abstract

Although Kirkpatrick's original outcome-focused model is widely used to evaluate medical education programs, it is subject to criticism. To combat this criticism and address the complexities of learning environments, the New World Kirkpatrick Model has emerged. This brief article describes key aspects of the New World Kirkpatrick Model for program evaluation. Specifically, it highlights three major criticisms of Kirkpatrick's original model and discusses the ways in which this new model attempts to rebut them. By doing so, this article hopes to encourage medical teachers to try the New World Kirkpatrick Model in the evaluation of their complex educational programs and investigate its strengths and weaknesses.

PMID:
 
28649887
 
DOI:
 
10.1080/0142159X.2017.1337874


좋은 평가의 기준: Ottawa 2010 컨퍼런스의 합의문과 권고안(Med Teach, 2011)

Criteria for good assessment: Consensus statement and recommendations from the Ottawa 2010 Conference

JOHN NORCINI1, BROWNELL ANDERSON2, VALDES BOLLELA3, VANESSA BURCH4, MANUEL JOA˜ O COSTA5, ROBBERT DUVIVIER6, ROBERT GALBRAITH7, RICHARD HAYS8, ATHOL KENT9, VANESSA PERROTT10 & TRUDIE ROBERTS11

1FAIMER, USA, 2AAMC, USA, 3Universidade Cidade de Sa˜ o Paulo, Brazil, 4University of Cape Town and Groote Schuur Hospital, South Africa, 5University of Minho, Portugal, 6Maastricht University, The Netherlands, 7National Board of Medical Examiners, USA, 8Keele University, UK, 9University of Cape Town, South Africa, 10University of Cape Town, South Africa, 11University of Leeds, UK



맥락

Context


정의

Definitions


평가에는 정보를 테스트, 측정, 수집 및 결합하고 피드백을 제공하는 작업이 포함됩니다.

Assessment involves testing, measuring, collecting, and combining information, and providing feedback.


실천적 요점

Practice points


위에 요약 된 우수한 평가 기준은 포괄적 인 원칙의 집합으로 작용하기위한 것입니다. 이들로부터 다양한 이해 관계자에게 유용한 지침을 제공 할 수있는 일련의 실행 지점을 도출 할 수 있습니다. 이러한 실천 사항 중 일부는 다음과 같습니다.


The criteria for good assessment outlined above are intended to act as a set of overarching principles. From them, a series of practice points can be derived that might provide useful guidance to various stakeholders. Some of these practice points follow.



수험생

. 수험생은 자신이받는 평가의 목적을 알아야합니다.

. 수험생은 그들이받는 평가의 질을 확신해야합니다.

. 수험생은 지속적인 학습을 유도하는 피드백을 받아야합니다.

. 수험생은 피드백을 받고 행동하는 데 적극적으로 참여해야합니다.

. 수험생은 채점 및 표준 설정 과정에 대해 적절한시기에 정보를 제공받아야 한다.

Examinees

. Examinees should know the purpose of the assessments they take.

. Examinees should be assured of the quality of assessments they take.

. Examinees should receive feedback that fosters ongoing learning.

. Examinees should participate actively in receiving and acting on feedback.

. Examinees should be informed in a timely fashion about the scoring and standard-setting process.


환자

. 환자의 역할이 전문 기술 (예 : 의사 소통 기술)과 일치 할 때 환자는 평가자로 포함되어야합니다.

. 환자는 능력 및 성과의 여러 측면에 대한 이해를 향상시키는 데 기여해야합니다.

. 환자는 연수생이받는 평가의 질을 확신assured해야합니다.

. 전문 지식의 범위 내에서 평가의 교육적 효과에 기여할 수있는 경우 환자를 교육자로 포함시켜야합니다.


Patients

. Patients should be included as assessors when that role is consistent with their expertise (e.g., communication skills).

. Patients should contribute to improving understanding of facets of competence and performance.

. Patients should be assured of the quality of assessments trainees take.

. Patients should be included as educators when, within the scope of their expertise, they can contribute to the

educational effects of assessments. 


교사들

. 교사는 수강생의 학습을 극대화하는 방식으로 평가를 설계해야합니다.

. 교사는 그들의 가르침에서 학습 목표를 다루어야한다.

. 교사는 평가 결과를 사용하여 향후 학습의 질을 향상시켜야합니다.

Teachers

. Teachers should design their assessments in ways that maximize examinee learning.

. Teachers should address learning objectives in their teaching.

. Teachers should use assessment results to improve the quality of future learning.


교육 기관

. 교육 기관은 교수진에게 평가를 위한 교육을 제공해야합니다.

. 교육 기관은 평가가 잘 수행되도록 자원 (임상 직원)을 배정해야합니다.

. 교육 기관은 교육의 질을 모니터링하기위한 프로세스의 일환으로 평가의 품질을 분석해야합니다.

. 교육 기관은 자신의 커리큘럼이 자신의 평가와 일치하도록해야합니다.


Educational institutions

. Educational institutions should provide training in assessment for faculty.

. Educational institutions should allocate resources (clinical staff) to ensure assessment is done well.

. Educational institutions should analyze the quality of their assessments as part of processes for monitoring the quality of their teaching.

. Educational institutions should ensure that their curricula are consistent with their assessments.


의료 시스템

. 의료 시스템은 지속적인 형성 평가를위한 기회를 제공해야합니다.

. 의료 시스템은 형성평가에 대해 대응을 장려하는 문화를 촉진해야합니다.

. 의료 시스템은 직장 환경에서의 평가 연구를 촉진해야합니다.

Healthcare systems

. Healthcare systems should offer opportunities for ongoing formative assessment.

. Healthcare systems should facilitate a culture of encouraging response to formative assessment.

. Healthcare systems should promote research in assessment in workplace settings.


규제 기관

. 감독 당국은 평가의 교육적 효과를 고려해야합니다.

. 감독 당국은 지속적으로 역량을 확보 할 수있는 평가를 제공해야합니다.

. 규제 기관은 교육 및 의료 시스템에 대한 평가의 촉매 효과를 인식해야합니다.

Regulators 

. Regulators should take account of the educational effects of their assessments.

. Regulators should offer assessments which ensure ongoing competence.

. Regulators should recognize the catalytic effects of assessment on the education and healthcare systems.


어떤 관점에서 보든, 평가에 대한 사전적 정의는 동사 ''시험하기test''에 대해 두 가지 뚜렷한 의미를 지닌다 (Crossley 외. 2002). 

  • 하나는 평가 대상에 대한 더 많은 정보를 얻으려는 시도로 무언가의 가치를 발견하는 것입니다. 

  • 다른 하나는 trial(즉, 평가의 영향)을 통해 무언가의 품질을 향상시키는 것입니다. 

이 두 가지 의미는 평가의 중요성, 적용, 그리고 훌륭한 평가를위한 기준의 파악에 중요합니다.


No matter the perspective, the dictionary definition carries two distinct meanings to the verb ‘‘to test’’ (Crossley et al. 2002). One is to discover the worth of something by trial, with the purpose of obtaining more information about the object of assessment. The other is to improve the quality of something by trial (i.e., the impact of assessment). These two meanings are central to understanding the importance of assessment, its applications, and to identifying the criteria for good assessment.


역사적 관점 

Historical perspective


선발을 위한 지식 및 / 또는 성과의 측정은 역사적으로 가장 많이 보급되어 왔습니다. 가장 이른 평가 기록은 중국에서 한 왕조 (기원전 206 년부터 220 년까지)로 거슬러 올라간다. 중세 이슬람의 의학 실습은 역량 테스트를 필요로 했으며, 17 세기 예수회 제사장들은 중국에 입국 한 선교사들의 영향을 받아 학교 진학을위한 경쟁 시험을 사용했다.

Measurement of knowledge and/or performance for the purposes of selection has been its most pervasive role throughout time. The earliest records of assessment date back to the Han dynasty in China (206 BC to 220 AD) where candidates were selected for government service. The practice of medicine in medieval Islam required competence testing and by the seventeenth century Jesuit priests were using competitive examination for entry into their schools, possibly influenced by the missionaries who had traveled to China.


의학 교육과 관련하여 공식 평가 개발을 향한 첫 번째 단계는 비엔나 및 프랑스 의과 대학에서 인턴 과정 중 시험을 실시하는 것이 었습니다. 1788 년부터 파리의 인턴십 입학은 경쟁 구두 및 구술 시험으로 결정되었습니다 (Lesky 1970, Poynter 1970). 1850 년대 영국의 옥스포드 (Oxford)와 케임브리지 대학 (Cambridge university)에서 의학계 학생들을위한 졸업시험이 도입되었습니다. 1861년에는 이러한 검사는 1858 년 영국에서 설립 된 General Medical Council에서 규정 한 국가의 법적 요구 사항이되었습니다. 이 관행은 19 세기 후반 유럽 의과 대학에 빠르게 확산되었습니다.

With regard to medical education, the first step toward the development of formal assessments was the introduction of examinations during an internship in Viennese and French medical schools. From 1788, entry to these internships in Paris was decreed to be by competition in the form of written and oral examinations (Lesky 1970; Poynter 1970). Exit level examinations for medical students were subsequently introduced in Britain in the 1850s at Oxford and Cambridge universities. By 1861, such examinations became a statutory national requirement stipulated by the General Medical Council established in Britain in 1858. This practice rapidly spread throughout medical schools in Europe in the latter part of the nineteenth century.


대서양을 가로 질러, 미국에서는 상황이 아주 달랐습니다. 1800 년대에 Abraham Flexner (Flexner 1910)가 작성한 보고서에 설명 된대로 사적 및 공적 자금으로 '의과 대학'이 확산되었고, 이들은 교육, 훈련 및 평가 기준이 광범위하게 서로 달랐다. 이 보고서는 이후 미국에서의 의학 교육에 혁명을 일으켰으며, 1912 년에는 면허위원회의 일원이 American Medical Association’s Council on Medical Education (Kassebaum)가 결정한 학업 기준 (기준)에 근거하여 Federation of State Medical Boards 을 구성했습니다. 1930 년대에는 미국에서의 의료 훈련이 표준화되었고, 대학에서는 실험실 기반 및 병원 기반 교육을 제공하며, 졸업시험을 치르게 되었다 (Starr 1982).

Across the Atlantic, in the USA the situation was quite different. During the 1800s there had been a proliferation of ‘‘medical colleges’’ both privately and publicly funded, in which the standards of teaching, training, and assessment varied widely as described in the report authored by Abraham Flexner (Flexner 1910). This report subsequently revolutionized medical education in the USA and by 1912, a group of licensing boards formed the Federation of State Medical Boards which agreed to base their practice on academic standards (criteria) as determined by the American Medical Association’s Council on Medical Education (Kassebaum 1992). By the 1930s, medical training in the USA had been standardized and colleges offered laboratory-based and hospital-based training with exit examinations (Starr 1982).


지난 50 년 동안 전 세계적으로 학부 의대생 및 대학원생 평가에 관한 중요한 발전이 4가지 있었습니다.

. 의학적 역량의 다양한 차원을 지향하는 광범위한 평가 도구 개발,

. 새로운 교수법 및 학습 접근법의 개발 및 적용,

. psychometrics의 세련된 향상과 개별 평가 도구 및 결과에 대한 적용

. 평가의 핵심 요소로서 컴퓨터의 역할 증가 (Norcini 2005)

Over the past 50 years, there have been at least four major developments relevant to the assessment of undergraduate medical students and postgraduate trainees worldwide.

. development of a wide range of assessment tools, directed to different dimensions of medical competency, 

. development and application of new teaching and learning approaches, 

. increased sophistication of psychometrics and its application to individual assessment tools and results, and

. growing role of the computer as an integral part of assessments (Norcini 2005)


20 세기 중반까지 의과 대학 시험은 에세이와 구술 시험의 사용에 크게 의존했으며 통과 기준은 주관적이었습니다. 그러한 검사의 임의적 성격과 그 열악한 신뢰성에 대한 인식은 지난 50 년 동안 정신 측정 학적으로 강력한 평가 도구를 개발하게되었습니다. 여기에는 객관식 질문, 그리고 (시험 환경뿐만 아니라 작업 환경에서 성과를 평가하는) 다양한 양식이 포함됩니다

Until the middle of the twentieth century, medical school examinations relied heavily on the use of essays and oral examinations and the standards for passing were subjective. Recognition of the arbitrary nature of such examinations and their poor reliability led to the development of a large array of psychometrically robust assessment tools over the past 50 years. These include multiple choice questions and a range of modalities assessing performance both in an examination setting as well as in the workplace


이러한 발전은 몇 가지 기준에 의해 주도되었습니다.

. 평가는 재현 가능성 (신뢰성), 타당성, 실현 가능성, 공정성 및 학습에 도움이되어야합니다 (van der Vleuten 1996).

. 평가의 내용과 형태는 그들의 목적과 바람직한 결과에 부합 할 필요가 있으며,

. 수험자의 수행이 사례 또는 내용에 따라 다르기 때문에, 정확한 표본 추출을 위해서는 광범위한 표본 추출이 필요합니다(예 : 다중 생검).

. 합격 점수는 체계적으로 유도되어야 하며 평가의 전반적인 신뢰성이 중요합니다.

. 평가는 명확하게 정의 된 표준에 따라 작성되어야하며, 체계적이고 신뢰할 수있는 방법을 사용하여 derive되어야합니다

These developments have been driven by a few criteria:


. the assessments need to be reproducible (reliable), valid, feasible, fair, and beneficial to learning (van der Vleuten 1996),

. the content and form of assessments need to be aligned with their purpose and desired outcomes,

. broad sampling is needed to achieve an accurate representation of ability since examinee performance is case or content specific (multiple biopsies),

. systematically derived pass–fail scores and the overall reliability of an assessment are important, and

. assessments need to be constructed according to clearly defined standards and derived using systematic and credible methods.


좋은 평가의 기준을 정하는 것의 중요성

The importance of defining criteria for good assessment


이해관계자

Stakeholders


다양한 이해 관계자가 평가 및 결과에 관련되거나 영향을받습니다. 이해 관계자는 환자, 일반 대중, 건강 관리 고용주, ​​전문 및 규제 기관, 대학, 의과 대학, 교육 기관, 개별 교사 및 최종적으로 동등하게 중요한 수험자를 포함합니다 (Amin 외). 이해 관계자는 동일한 평가조차도 다른 용도로 사용하며, 당연히 그러한 평가를 평가하는 다양한 기준의 중요성에 관해 다소 다른 우선 순위를 가지고 있습니다.

A number of different stakeholders are involved with or affected by assessments and their results. Stakeholders include the patients, general public, healthcare employers, professional and regulatory bodies, universities, medical schools, training organizations, individual teachers, and, finally and equally important, the examinees themselves (Amin et al. 2006). The stakeholders make different uses of even the same assessments and, not surprisingly, have somewhat different priorities when it comes to the importance of various criteria against which those assessments should be judged.


학생들은 자신의 학습에 영향을 미치는 특정 사회 문화적 맥락에서 왔으며, 평가에 의해 발전된 발달을 보였다 (Vygotsky, 1978). 학습자는 이렇게 지속적인 평가를 성공적으로 수행해가면서 (치료자, 카운슬러 또는 과학자와 같은) 점차적으로 사회에서 새로운 역할에 적응해간다 (Downie & Calman 1987; Rees & Jolly 1998). 또한, Boud (2000)는 평가가 평생 학습의 핵심 특징이라고 제안했다. Rushton (2005)은 이러한 관점을지지하면서 "학생들이 미래의 학습 경험에 대한 독립적 인 평가를 계속하는 데 필요한 준비를 학생들에게 제공합니다."

Students come from a specific socio-cultural context, which affects their learning, and they have their development shaped by assessment (Vygotsky 1978). If successful with these ongoing assessments, the student gradually adopts new roles within society such as healer, counselor, or scientist (Downie & Calman 1987; Rees & Jolly 1998). Further, Boud (2000), has proposed that assessment is a key feature of lifelong learning. Rushton (2005) supports this perspective, stating ‘‘(it) equips students with the preparation required to continue independent assessment of their future learning experiences’’.


평가에 대해 다양한 교수 및 학습 기관은 학생과는 약간 다른 시각을 가지고 있습니다.

The various teaching and learning institutions have a slightly different perspective, from students, on assessment.


규제 기관은 환자, 일반 대중 및 고용주를위한 게이트 키퍼 역할을하기 때문에 훌륭한 평가를 보장하는 데 중요한 역할을합니다. 이 맥락에서의 평가는 직업적 표준의 유지 및 개인과 사회 모두에 대한 책임 성과 밀접하게 연관되어 있으며, 이는 훌륭한 평가를위한 명확한 기준을 가질 필요성을 강조합니다. 결국 대중은 모든 의사가 유능하고 숙련 된 의료 종사자가 되도록 평가 절차가 수행되었다는 믿음에 따라 개인 의사를 신뢰할 수 있다.

Regulatory bodies have a critical role in ensuring good assessment since they serve as gatekeepers for patients, the general public, and employers. Assessment in this context is closely linked with the maintenance of professional standards and with accountability – both to the individual and to society – which reinforces the need to have clear criteria for good assessment. In the end, the public entrusts itself to individual doctors based on the belief that the assessment process has been carried out in such a way that all are competent and skilled health practitioners.


평가의 좋은 기준은 품질을 향상시킬뿐만 아니라 의도하지 않은 결과를 피하기 위해서도 중요합니다. Newble (1998)은 평가와 커리큘럼 개혁 간의 불일치가 학생 행동에 바람직하지 않은 영향을 미친 결과를 설명했다. 교과 과정 개혁의 일환으로, 그는 교훈적인 가르침이 어떻게 와드 중심의 가르침으로 대체되었는지 설명합니다. 그러나 한 해가 진행됨에 따라 학생들이 병동에서 거의 볼 수 없었고, 강의식 교육이 점점 더 많이 요구되었고, 학생들은 책 학습에 더 많은 시간을 할애했습니다. 그 이유는 평가 방법이 교과 과정 개혁과 일치하지 않았고 이전의 교훈 학습 스타일을 선호했기 때문입니다. 즉 기관적 수준에서 평가 방법론은 기관의 사명과 교육 프로그램의 목표를 훼손하고 있었다 (Trigwell 2001). 이 예는 평가를 교육 실무와 조화시키는 것이 중요하다는 것을 강조합니다.

Good criteria for assessment are important not only to improve quality but also to avoid unintended effects. Newble (1998) described how a mismatch between assessment and curriculum reform resulted in undesirable effects on student behavior. As part of curricular reform, he describes how didactic teaching was replaced with ward-based teaching. However, as the year progressed students were seldom seen on the wards, didactic teaching was increasingly requested and more time was devoted to book learning. The reason for this was that the assessment methods did not match the curricular reform but favoured the former style of didactic learning. Thus, at an institutional level, the assessment methodology was undermining the institutional mission and the goal of the educational program (Trigwell 2001). This example highlights the importance of aligning the assessment with educational practice.


배움과 가르침

Learning and teaching


많은 유명 명언들은 Miller 's (1990)의 "Assessment Driven Learning"과 Ben-David (2000)의 평가에서 "Assessment expands professional horizon"등 교육 과정에서 평가의 중심 역할을 강조합니다.

Many well-known adages emphasize the central role of assessment in the educational process such as Miller’s (1990) assertion that ‘‘Assessment drives learning’’ and Ben-David’s (2000) view that ‘‘Assessment expands professional horizons’’.


가치를 발견하고 품질을 향상시키는 두 가지 목표를 달성하려면 학습 평가가 중요합니다 (Arnold 2002). 교육 기관 및 교육자는 평가를 [책무성을 위한 도구]로만 간주하는 것으로부터 벗어나 [개선을위한 방법]으로 보기 시작했다(Colliver 2002; Cottrell 2006). 학습의 견고한 평가와 그것을 뒷받침하는 이론의 개발에 대한 강조가 강조됩니다. 이것은 여전히 ​​진행중인 작업입니다. 노먼과 슈미트 (Norman and Schmidt, 1999)는 "교육자들이 이론을 언급 할 때, 그것은 마치 술 취하는 사람들이 (illumination이 아니라 support를 위해) 가로등을 사용하는 것과 같은 방식으로 더 자주 사용된다"고 지적했다.

In order for it to achieve its two goals – that of discovering worth as well as improving quality – the assessment of learning is critical (Arnold 2002). Institutions and educators have moved from viewing assessment as only a tool for accountability to viewing it as a method for improvement as well (Colliver 2002; Cottrell 2006). The emphasis is on the need for the robust assessment of learning and the development of a theory to support it. This is still a work in progress; as Norman and Schmidt (1999) note: ‘‘When educators do make reference to theory, it is more frequently used the same way as a drunkard uses a light post –more for support than for illumination’’. 


평가의 중요성을 인식하고 교육 및 학습 연구와 연결하지 않는 것은 실수입니다 (Shepard 2000)

It would be a mistake to recognize the importance of assessment and yet not to connect it with the scholarship of teaching and learning (Shepard 2000)


좋은 평가의 기준에 대한 현재의 이슈 

Current issues in criteria for good assessment


세 가지 분류 

The state of the art of assessment may be organized into three categories: 


. 실천이 증거와 일치하는 영역 : 실천에 도움이 되는 증거가 있고 실무가 일반적으로 그 증거와 일치하는 경우의 평가 상황.

. 실천이 아직 증거와 일치하지 않는 영역 : 증거가 있지만 실제적으로 일반적으로 무시되는 평가 상황 (예 : 가능성이있는 문제가있는 곳).

. 증거가 부족한 영역 : 증거에 의해서 도움을 받을 수 없는 평가 상황 (즉, 연구가 필요함)

. Areas where practice is consistent with the evidence:Assessment situations where there is evidence that informs practice and where practice is generally consistent with that evidence. 

. Areas where practice is not yet consistent with the evidence:Assessment situations where there is evidence but it is generally ignored in practice (e.g., where there are issues of feasibility). 

. Areas where there is a lack of evidence: Assessment situations that are not informed by the evidence (i.e.,research is needed). 


분류1: 실천이 근거와 일치함

Category 1: Practice is consistent with the evidence


지필고사

Written examinations.


객관식 질문, 에세이 및 유사한 형식을 통한 지식, 종합 및 판단 평가는 주로 첫 번째 범주에 속합니다. 이 범주의 평가 기준은 일반적으로 잘 정립되고 수용됩니다. 상당한 규모의 증거 기반이 있으며 합리적인 자원이있는 곳에서 고부담 (지역, 국가 및 지역 시험) 및 저부담 시험에서의 적용은 일반적으로 증거와 일치합니다

The assessment of knowledge, synthesis, and judgment through multiple choice questions,essays, and similar formats falls predominantly into the first category. The criteria for the assessments in this category are generally well established and accepted. There is a sizeable evidence base and, where reasonable resources are available,their application in high stakes (local, national, and regional examinations) and low stakes settings, is typically consistent with the evidence



OSCE

Objective structured clinical examination.



OSCE를 사용한 임상 기술 평가는이 범주에 포함됩니다. 지난 30 년 동안 OSCE의 신뢰성, 실현 가능성 및 타당성 및 표준화 된 환자의 사용에 대한 광범위한 연구가 개발되었습니다. OSCE 형식은 증거 (범주 1)와 일치하는 다양한 고부담 및 저부담 상황에 적용되었습니다.

Assessment of clinical skills using the OSCE is included in this category.Over the past 30 years, an extensive body of research about the reliability, feasibility, and validity of the OSCE and the use of standardized patients has been developed. The OSCE format has been applied in a variety of high and low stakes situations in a fashion consistent with the evidence (category1).


분류2: 실천이 근거와 일치하지 않음

Category 2: Practice is not yet consistent with the evidence 


시뮬레이션

Simulation.


지난 수십 년 동안 수행 된 연구는이 기술을 평가에 사용하는 것을 매우지지하고 있으며, 다양한 상황 (카테고리 1)에서의 성공적인 배치deployment를 위해 광범위한 지침이 제공됩니다. 시뮬레이션의 일반적인 적용에 대한 주된 장애impediment는 그것의 타당성과 관련이 있습니다. 특히 장치가 비싸고 전용 시설 (시뮬레이션 센터)을 만들어야 할 수도 있으며, 좋은 시험 재료의 개발은 상당한 자원을 요구할(카테고리 2) 수 있습니다.

Research done over the past few decades is very supportive of the use of this technology in assessment and broad guidance is available for its successful deployment in a variety of different situations(category 1). The main impediment to the general application of simulation relates to its feasibility. Specifically, the devices are expensive, they may require the creation of a dedicated facility (simulation center), and the development of good testing material can be resource intense (category 2). 


근무지기반학습

Workplace-based assessment that supports clinical training.


최근 몇 년간, (임상 훈련을 지원하는) 직접 관찰을 통한 형성 평가가 강조되고 있습니다. 예비 연구는 일반적으로 그러한 결과를 지지하며, 문헌 번호는 다양한 목적에 필요한 평가자와 만남과 같은 문제에 대한 광범위한 지침을 제공합니다. 타당성은 그것의 실행에 대한 주요 장애물(카테고리 2)이며, 특히 임상 교수가 충분한 수의 평가를 수행하는 시간을 찾기가 어렵습니다.

In recent years, there has been an increasing emphasis on directly observed formative assessment that supports clinical training. Preliminary research is generally supportive and the literature number provides broad guidance on issues such as the of assessors and encounters needed for various purposes. Feasibility (category 2) is the major obstacle to its implementation and, in particular, it is difficult for clinical faculty to find time to perform a sufficient number of assessments. 


분류3: 근거가 부족함

Category 3: Lack of evidence


직무 평가

Assessment of work.


정확한 환자 기록 (카테고리 2)에 대한 지속적인 액세스가 필요하기 때문에 타당성 및 수용 가능성이 이용 가능한 척도에 관하여 대부분에서 주요 쟁점입니다. 마지막으로, 환자 만족도 측정과 같은 몇 가지 조치가 있는데, 이는 좋은 증거가 있으며 실현 가능한 것입니다 (범주 1).

Feasibility and acceptability are major issues for most of the available measures since they require continuous access to accurate patient records (category 2). Finally, there are a few measures, such as patient satisfaction measures, for which there is good evidence and that are feasible (category 1).


새로운 역량의 평가

Assessment of newer competencies.


예를 들어, ACGME 역량은 의학 지식, 환자 간호, 의사 소통 기술, 전문성, 시스템 기반 실습 및 실습 기반 학습 및 개선입니다. 각 역량은 다음과 같이 정의됩니다.

for example, the ACGME competencies are 

    • medical knowledge, 

    • patient care, 

    • communication skills, 

    • professionalism, 

    • systems-based practice, and 

    • practice-based learning and improvement. 

Each competency is defined as follows:


이러한 역량 중 의학 지식, 환자 간호 및 의사 소통 기술 (범주 1) 프로페셔널리즘 평가 (범주 2)에 관한 문헌이 증가하고있는 반면, 실습 기반 학습 및 개선 및 시스템 기반 실습 (카테고리 3) (Arnold 2002; Driessen et al., 2005; Cruess et al., 2006; Epstein 2007; Lurie et al. 2009; Varkey et.)에 대한 연구는 비교적 새로운 연구이며, 이러한 역량에 대한 좋은 평가 기준을 결정하기 위해서는 상당한 연구가 필요하다. al., 2009).

Of these competencies, there is a substantial literature on the assessment of medical knowledge, patient care, and communication skills (category 1) and a growing literature in the assessment of professionalism (category 2), while practice-based learning and improvement and systems-based practice are relatively new and considerable research is needed to determine the criteria for good assessment of these competencies (category 3).(Arnold 2002; Driessen et al. 2005; Cruess et al. 2006; Epstein 2007; Lurie et al. 2009; Varkey et al. 2009).


좋은 평가에 대한 초안 합의문

Draft consensus criteria for good assessment


어떤 하나의 기준도 모든 상황에 똑같이 적용되지 않습니다. 사실, 동일한 기준이라도 평가의 목적과 맥락에 따라 다른 중요성을 가질 것으로 기대되어야한다. 예를 들어, 의과대학생이 지식에 대한 책임에 대한 필요성을 충족시키기 위해 고안된 우수한 총괄시험 (예 : 면허 시험)은 동시에 미래의 학습이나 교과 과정 개혁을 안내하는 상세한 피드백을 기대할 수 없습니다.

No single set of criteria for good assessment apply equally well to all situations. In fact, the same criteria should be expected to have different importance depending on the purpose and context of assessment. For example, a good summative examination designed to meet the need for accountability for the knowledge of medical graduates (e.g., a medical licensing examination) cannot be expected to, at the same time, produce detailed feedback that would guide future learning or curricular reform.


마찬가지로, 동일한 평가에 대해서도 여러 기준이 모든 이해 관계자에게 동일한 가중치를 갖지 않는다. 예를 들어, 환자에게는 면허 시험의 타당성 또는 일관성이 더 중요하며, 시험을 치르는 의사 또는 비용을 지불하는 정부가 얼마나 비용이 드느냐가 주된 관심사는 아니다. 기준의 중요성은 이해 관계자의 관점에 따라 달라질 것입니다.

Similarly, the criteria are not of equal weight for all stakeholders even given the same assessment. For example, the validity or coherence of a licensing examination may be of more importance to patients than how much it costs the doctors who take it or the government that finances it. The importance of the criteria will vary with the perspective of the stakeholder.


좋은 평가의 기준

Criteria for good assessment


이러한 기준 중 많은 부분이 이전에 설명되었으며 우리는 여기에서 그들의 중요성을 계속 지원합니다. 그러나 우리는 평가의 촉매 효과에 특히 중점을 둔다.

Many of these criteria have been described before and we continue to support their importance here. However, we place particular emphasis on the catalytic effect of assessment.


  • (1) 타당성 또는 Coherence.

  • (2) 재현성 또는 일관성.

  • (3) 동등성. 동일한 평가는 다른 기관 또는 시험주기에 걸쳐 시행 될 때 동등한 점수 또는 결정을 산출합니다.

  • (4) 적용가능성. 환경과 상황에 따라 평가는 현실적이고 현실적이며 합리적입니다.

  • (5) 교육적 효과. 평가는 시험을 준비하는 사람에게 교육적 이득이 있어야 한다

  • (6) 촉매 효과. 평가는 교육을 창출하고 향상시키고 지원하는 방식으로 결과와 피드백을 제공합니다. 미래의 학습을 촉진시킵니다.

  • (7) 수용 가능성. 이해 관계자는 평가 프로세스 및 결과를 신뢰할 수 있음을 확인합니다.

(1) Validity or coherence.

(2) Reproducibility or consistency.

(3) Equivalence. The same assessment yields equivalent scores or decisions when administered across different institutions or cycles of testing. 

(4) Feasibility. The assessment is practical, realistic, and sensible, given the circumstances and context. 

(5) Educational effect. The assessment motivates those who take it to prepare in a fashion that has educational benefit. 

(6) Catalytic effect. The assessment provides results and feedback in a fashion that creates, enhances, and supports education; it drives future learning forward. 

(7) Acceptability. Stakeholders find the assessment process and results to be credible. 


평가 목적에 따른 기준

The criteria and assessment purpose


형성평가

Formative assessment


효과적인 형성평가는 종종 비공식적이고, 기회적이이나, 학습을 촉진하기위한 것입니다. 정의에 따르면, 그것을 특징 짓기 위해 두드러지는 기준은 촉매 효과catalytic effect입니다. 그것은 다음의 경우에 가장 잘 작동합니다.

(1) 교육 과정 및 / 또는 작업 흐름에 포함되며embed,

(2) 구체적이고 실행 가능한 피드백을 제공하고,

(3) 지속적이며

(4) 시기 적절하다.

Effective formative assessment is typically low stakes, often informal and opportunistic in nature, and is intended to stimulate learning. By definition, the criterion that stands out to characterize it is ‘‘catalytic effect’’. It works best when it 

(1) is embedded in the instructional process and/or work flow, 

(2) provides specific and actionable feedback, 

(3) is ongoing, and 

(4) is timely. 


    • 결과적으로 동등성, 재현가능성-일관성과 같은 기준의 중요성은 어느 정도 감소합니다.

    • 교육 효과와 교육의 질이 가장 중요하게 유지되는 가운데 , 타당성 - 일관성은 핵심이 된다.

    • 실현가능성 또한 지속적이고 시의적절하며 수험생의 어려움에 맞추어져 있다면 형성평가가 더 효과적이라는 사실에 대응하여 중요성이 증가합니다.

    • 마찬가지로, 수용가능성도 ((교수진과 학생 모두) 프로세스에 전념하고 피드백에 대한 신뢰성을 부여하며 중요한 영향을 미치는지 확인하는 데 특히 중요합니다.

    • Consequently, the importance of criteria such as equivalence and reproducibility-consistency diminishes to some degree. 

    • Validity-coherence remains central while educational effect and educational quality become paramount. 

    • Feasibility also increases in importance in response to the fact that formative assessment is more effective if it is ongoing, timely, and tailored to examinees’ individual difficulties. 

    • Likewise acceptability, both for faculty and students, is especially important if they are to commit to the process, give credibility to the feedback they receive, and ensure that it has a significant effect.


총괄평가

Summative assessment


    • 효과적인 총괄평가는 일반적으로 중부담, 고부담이며 기본적으로 책임에 대한 필요성에 응답하기위한 것입니다.

    • 종종 일관된 고품질의 테스트 자료, 중요한 컨텐츠 전문 지식, 체계적인 표준 설정 프로세스 및 안전한 관리가 필요합니다.

    • 따라서 타당성-일관성, 재현성-일관성, 동등성과 같은 기준이 가장 중요합니다.

    • 실현가능성, 수용 가능성 및 교육적 효과 또한 중요하지만 정신 분석 기준과 동일한 정도로 중요하지는 않습니다. 정신분석적 기준은 점수에 대한 신뢰도와 근본적인 의미를 결정합니다.

    • 촉매 효과가 있으면 좋겠지만, 이 상황에서는 덜 강조됩니다. 그러나 유용한 피드백을 제공하지 않아 지속적인 교육에서 학습자를 지원할 수있는 기회를 놓치게됩니다.

Effective summative assessment is typically medium or high stakes and is primarily intended to respond to the need for accountability. 

It often requires coherent, high-quality test material, significant content expertise, a systematic standard-setting process, and secure administration. 

Consequently, criteria such as validity-coherence, reproducibility-consistency, and equivalence are paramount. 

Feasibility, acceptability, and educational effect are also important, but not to the same degree as the psychometric criteria, which will to a great extent determine credibility in the scores and the underlying implications. 

A catalytic effect is desirable but is less emphasized in this setting. 

However, by not providing useful feedback, we miss the opportunity to support the learners in their continuing education. 


이해관계자와 기준

The criteria and stakeholders


피험자

Examinees


수험생은 조형 및 종합 평가에 vested interest가 있으며, 학습을 지원하는 정보를 찾는 데 적극적으로 관여해야합니다.

Examinees have a vested interest in both formative and summative assessment and they must be actively involved in seeking information that supports their learning. 


    • 형성 평가의 경우 교육 효과, 촉매 효과 및 수용 가능성이 학습자가되기 때문에 수험생에게 가장 큰 관심사가 될 수 있습니다.

    • 수험생은 타당성을 당연하게 여길 수도 있으며, 실현 가능성은 비용 및 편의성 측면에서 문제가됩니다.

    • 동등성 및 신뢰성 - 일관성은 덜 즉각적인 요구이다.

For formative assessment, educational effects, catalytic effects, and acceptability are likely to be of most concern to examinees since they are the drivers of learning. 

Examinees may take validity-coherence for granted and feasibility will be an issue in terms of cost and convenience. 

Equivalence and reliability-consistency are less immediate. 


    • 총괄 평가의 경우, 공정성에 대한 인식은 수험생에게 가장 두드러 질 것입니다.

    • 따라서 타당성 - 일관성, 재현성 - 일관성, 동등성 및 수용성과 같은 기준이 가장 중요합니다.

    • 촉매 효과는 (특히 실패한 수험생의) 재교육을 지원합니다.

    • 성공적인 수험자에게 피드백이 제공되지 않거나 사용하지 않으면, 지속적 학습을 지원할 수있는 기회를 놓치게됩니다.

For summative assessment, issues related to perceived fairness will be most salient for examinees. 

Hence, criteria such as validity-coherence, reproducibility-consistency, equivalence, and acceptability will be most important. 

The catalytic effect will support remediation, especially for the unsuccessful examinees. 

When successful examinees are not provided feedback or do not use it, it misses the opportunity to support ongoing learning.


교사-교육기관

Teachers-educational institutions


교사와 교육기관은 학생들의 평가에서 교육과 책임에 대한 이중적인 역할을 수행하데 관련된 모든 측면에 관심을 가지고 있습니다. 위에 요약 된 내용과 일치하는 기준은이 두 가지 목적에 다르게 적용됩니다.

These stakeholders have interests in every facet of the assessment of students to fulfill their dual roles in education and accountability. Consistent with what was outlined above, the criteria apply differently to these two purposes.


교사 및 교육 기관 모두에게 학생 평가 정보는 중요한 부차적 목적이 있다.

이 데이터는 교육 과정의 결과에 대해 말합니다. 즉, 학생들의 총괄 평가는 적절하게 집합 된 것으로, 종종 교사와 교육 기관을위한 형성 평가의 역할을합니다. 이 목적에 관해서라면, 동등성, 재현성 - 일관성과 같은 기준보다 교육적 효과가 조금 더 중요하다. 타당성 - 일관성은 중요하지만 좋은 학생 평가의 일부로 다루어야하며, 실현가능성은 데이터가 이미 이용 가능하므로 straightforward해야 한다.

For both teachers and institutions, student assessment information serves an important secondary purpose. 

These data speak to the outcomes of the educational process. In other words, students’ summative assessments, appropriately aggregated, often serve as formative assessment for teachers and institutions. 

When combined for this purpose, criteria such as equivalence and reproducibility-consistency are a bit less important while educational effect and educational effect are a bit more important. 

Validity-coherence is important but should be addressed as part of good student assessment, while feasibility should be straightforward since the data are already available.


학생 평가 재사용 이외에도 교육 기관은 개별 교사 및 프로그램 평가에 engage합니다. 이러한 평가 응용 프로그램은 크게 formative 또는 summative로 분류 할 수 있으며 기준은 위에서 언급 한대로 적용됩니다.


Beyond repurposing student assessment, institutions engage in the assessment of individual teachers and programs. 

These assessment applications can be broadly classified as either formative or summative and the criteria apply as noted above.


환자

Patients.


환자는 형성 평가의 사용을 확실히 지지하지만, 총괄평가가 더 즉각적인 관심사입니다.

따라서 타당성-일관성, 재현성-일관성, 동등성과 같은 기준이 가장 중요합니다.

실현가능성, 수용가능성, 교육 효과 및 촉매 효과는이 그룹에 덜 관심의 대상입니다.

그러나 장기적으로는 지속적 개선을 지원하는 형성 평가가 동동하거나 더 중요할 것입니다.


While patients certainly support the use of formative assessment, summative assessment is a more immediate concern. 

Consequently, criteria such as validity-coherence, reproducibility-consistency, and equivalence are of the most importance. 

Feasibility, acceptability, educational effect, and catalytic effect are of less concern to this group. 

In the long term, however, formative assessment that supports continuous improvement will be of equal or greater importance.


헬스케어 기관, 규제기관

Healthcare system and regulators


의료 시스템 및 감독 당국의 가장 긴급한 요구는 의료제공자provider가 노동력으로 포함되기에 유능하고 안전한지 판단하는 것입니다. 이 필요성은 총괄 평가에 근거한 올바른 결정을 의미하므로 타당성-일관성, 재현성-일관성 및 동등성이 가장 중요합니다. 실행가능성도 중요합니다. 

The most pressing need of the healthcare system and the regulators is to determine which providers are competent and safe enough to enter the workforce. 

This need implies correct decisions based on summative assessment, so validity-coherence, reproducibility-consistency, and equivalence are paramount. Feasibility is also important. 


보건 시스템이 어떤 형태의 CQI에 관여하는 것이 점점 더 보편화되고 있습니다. 이러한 시스템은 종종 작업 흐름에 포함되며 의료 종사자에게 그들의 활동과 결과에 대해 지속적이고 구체적인 피드백을 제공합니다.

교육 효과, 촉매 효과, 실현 가능성 및 수용 가능성과 함께 타당성- 일관성은 핵심적인 요소입니다.

It is growing more common for health systems to engage in some form of CQI. 

These systems are often embedded in the work flow and they provide ongoing, specific feedback to healthcare workers about their activities and outcomes. 

Validity-coherence is central, along with educational and catalytic effects, feasibility, and acceptability.




 2011;33(3):206-14. doi: 10.3109/0142159X.2011.551559.

Criteria for good assessmentconsensus statement and recommendations from the Ottawa 2010Conference.

Author information

1
FAIMER, 3624 Market Street, 4th Floor, Philadelphia, PA 19104, USA. jnorcini@faimer.org

Abstract

In this article, we outline criteria for good assessment that include: (1) validity or coherence, (2) reproducibility or consistency, (3) equivalence, (4) feasibility, (5) educational effect, (6) catalytic effect, and (7) acceptability. Many of the criteria have been described before and we continue to support their importance here. However, we place particular emphasis on the catalytic effect of the assessment, which is whether the assessment provides results and feedback in a fashion that creates, enhances, and supports education. These criteria do not apply equally well to all situations. Consequently, we discuss how the purpose of the test (summative versus formative) and the perspectives of stakeholders (examinees, patients, teachers-educational institutions, healthcare system, and regulators) influence the importance of the criteria. Finally, we offer a series of practice points as well as next steps that should be taken with the criteria. Specifically, we recommend that the criteria be expanded or modified to take account of: (1) the perspectives of patients and the public, (2) the intimate relationship between assessment, feedback, and continued learning, (3) systems of assessment, and (4) accreditation systems.

PMID:
 
21345060
 
DOI:
 
10.3109/0142159X.2011.551559


+ Recent posts