어떻게 현상학이 다른 사람의 경험으로부터 배울 수 있도록 돕는가 (Perspect Med Educ, 2019)

How phenomenology can help us learn from the experiences of others

Brian E. Neubauer1,2 · Catherine T.Witkop3 · Lara Varpio1

도입 Introduction

인간은, 다른 사람의 경험으로부터 배울 수 있는 능력을 가지고 있다는 점에서 독특하며, 동시에 그렇게 하는 것을 명백히 꺼리는 것으로 유명하다.—더글라스 애덤스

Human beings, who are almost unique in having the ability to learn from the experience of others, are also remarkable for their apparent disinclination to do so.—Douglas Adams

인간은 다른 사람들의 경험으로부터 배울 수 있는 몇 안 되는 동물들 중 하나라는 사실에도 불구하고, 우리는 종종 그렇게 하기를 싫어한다.

Despite the fact that humans are one of few animals who can learn from the experiences of others, we are often loath to do so.

학자들이 다른 사람들의 경험으로부터 배우는 것은 필수적이다. 사실, 그것은 연구의 기본적인 전제이다. 연구는 정보를 발견하거나 주체에 대한 새로운 이해를 얻기 위해 대상(즉, 개인, 집단, 사회 또는 객체)에 대한 상세한 연구를 포함한다 [1]. 그러한 상세한 연구는 종종 우리가 특정한 현상에 대한 새로운 통찰력을 얻을 수 있도록 다른 사람들의 경험을 이해하도록 요구한다. 보건 직업 교육 학자들은 다른 사람들의 경험으로부터 배울 필요성에 대해 잘 알고 있다.

it is essential for scholars to learn from the experiences of others. In fact, it is a foundational premise of research. Research involves the detailed study of a subject (i. e., an individual, groups of individuals, societies, or objects) to discover information or to achieve a new understanding of the subject [1]. Such detailed study often requires understanding the experiences of others so that we can glean new insights about a particular phenomenon. Scholars in health professions education (HPE) are savvy to the need to learn from the experiences of others.

이러한 노력을 종종 억제curtail하는 것은 방법론의 부족이다. 다른 말로 하자면, HPE 연구원들은 다른 사람들의 경험으로부터 배우는 방법을 알아야 한다.

What often curtails these efforts is a lack of methodology. In other words: HPE researchers need to know how to learn from the experiences of others.

현상학은 이 연구를 뒷받침할 수 있는 독특한 위치에 있는 질적 연구 접근법이다. 그러나, HPE 연구에 참여하기 위한 접근법으로서, 현상학은 강한 추종자를 가지고 있지 않다. 현상학을 진정으로 이해하려면 그것을 뒷받침하는 철학에 대한 감상을 발전시켜야 한다. 그 철학들은 인간 경험의 의미를 이론화한다. 다시 말해, 현상학 연구에 참여하는 것은 학자가 인간의 경험에 대한 해석의 철학적 계류방식mooring에 익숙해지도록 요구한다.

Phenomenology is a qualitative research approach that is uniquely positioned to support this inquiry. However, as an approach for engaging in HPE research, phenomenology does not have a strong following. It is easy to see why: To truly understand phenomenology requires developing an appreciation for the philosophies that underpin it. Those philosophies theorize the meaning of human experience. In other words, engaging in phenomenological research requires the scholar to become familiar with the philosophical moorings of our interpretations of human experience.

현상학이 대답할 수 있는 질문들과 이런 종류의 연구가 제공할 수 있는 통찰력은 HPE에게 근본적인 중요성을 가집니다: 

• 수치심의 경험과 의학 학습자들에게 그러한 경험이 미치는 영향은 무엇입니까? 

• 공감하는 임상의[3]가 된다는 것은 무엇을 의미합니까? 

• 고위험 시험에서 낙제했을 때의 의료 학습자의 경험은 무엇입니까 [4]?

The questions that phenomenology can answer, and the insights this kind of research can provide, are of foundational importance to HPE: 

• What is the experience of shame and the impact of that experience for medical learners [2]? 

• What does it mean to be an empathetic clinician [3]? 

• What is the medical learner’s experience of failure on high stakes exams [4]?

현상학이란 무엇인가?

What is phenomenology?

간단히 말해서, 현상학은 [현상을 경험한 사람들의 관점에서 그것을 탐구함으로써 현상의 본질을 설명하고자 하는 연구에 대한 접근법]으로 정의될 수 있다[6]. 현상학의 목표는 이 경험의 의미를 경험하는 것과 경험하는 방법 두 가지 측면에서 설명하는 것입니다 [6]. 인간 경험의 어떤 것과 방법을 생각하는 다른 방법에 뿌리를 둔 다양한 종류의 현상학이 있다. 다른 말로 하자면, 현상학의 각 접근은 서로 다른 철학에 뿌리를 두고 있다.

In simple terms, phenomenology can be defined as an approach to research that seeks to describe the essence of a phenomenon by exploring it fromthe perspective of those who have experienced it [6]. The goal of phenomenology is to describe the meaning of this experience—both in terms of what was experienced and how it was experienced [6]. There are different kinds of phenomenology, each rooted in different ways of conceiving of the what and how of human experience. In other words, each approach of phenomenology is rooted in a different school of philosophy.

이 원고에서, 우리는 현상학에 대한 초월적 접근과 헤르메네틱한(해석적) 접근을 강조하지만, 더 넓은 현상학적 지형이 존재한다. 예를 들어, 1997년에 출판된 현상학 백과사전은 7가지 다른 유형의 현상학에 대한 기사를 특집으로 다루고 있습니다 [7]. 초월적/그녀의 본질적 분열을 연결하는 더 현대적인 전통도 개발되어 왔다. 이러한 전통 중 몇 가지는 표 1[8-10]에 자세히 설명되어 있습니다.

In this manuscript, we highlight the transcendental and the hermeneutic approaches to phenomenology, but a broader phenomenological landscape exists. For instance, the Encyclopedia of Phenomenology, published in 1997, features articles on seven different types of phenomenology [7]. More contemporary traditions have also been developed that bridge the transcendental/hermeneutic divide. Several of these traditions are detailed in Tab. 1 [8–10].

현상학에 대한 이러한 접근법들 중 하나를 이해하기 위해서, 대부분의 접근법들이 현상학의 연구목적에 대한 유사한 정의를 가지고 있다는 것을 기억하는 것이 유용하다. 현상학은 보통 다음에 대한 연구이다.

• 우리의 경험에서 나타나는 현상, 

• 우리가 현상을 인지하고 이해하는 방법, 

• 우리의 주관적인 경험에 있는 의미적 현상 [11]. 

To understand any of these approaches to phenomenology, it is useful to remember that most approaches hold a similar definition of phenomenology’s object of study. Phenomenology is commonly described as the study 

• of phenomena as they manifest in our experience, 

• of the way we perceive and understand phenomena, and 

• of the meaning phenomena have in our subjective experience [11]. 

좀 더 간단하게 말하자면, 현상학은 개인이 살아 겪는 세상의 경험에 대한 연구입니다 [12]. 경험이 주관적으로 살아있는 것을 조사함으로써, 새로운 의미와 감상이 우리가 그 경험을 이해하는 방법을 알리거나 방향을 바꾸도록 개발될 수 있습니다 [13].

More simply stated, phenomenology is the study of an individual’s lived experience of the world [12]. By examining an experience as it is subjectively lived, new meanings and appreciations can be developed to inform, or even re-orient, how we understand that experience [13].

초월현상학

Transcendental phenomenology

현상학은 수세기에 걸쳐 진화한 철학적 전통에서 기원하지만, 대부분의 역사가들은 에드먼드 후셀이 20세기 초에 현상학을 정의했다고 믿는다.

Phenomenology originates in philosophical traditions that evolved over centuries; however, most historians credit Edmund Husserl for defining phenomenology in the early 20th century [14].

철학에 대한 Husserl의 접근은 그의 작품 본문이 '순수 현상론'에 대한 그의 관심에 종지부를 찍거나 철학과 과학의 보편적인 기초를 찾기 위해 노력하면서 객관적 경험과 주관적 경험을 동등하게 높이려고 노력했다. Husserl은 외부 현실에 대한 객관적인 관찰이라는 실증주의에 절대적인 초점을 두기를 거부하고, 대신 [개인의 의식에 의해 인식되는 현상]들이 과학적 연구의 대상이 되어야 한다고 주장했다. 그러므로, Husserl은 어떤 가정도 현상의 연구를 알려주지 말아야 한다고 주장했다. 어떤 철학적이거나 과학적인 이론, 연역적인 논리 절차, 그리고 어떤 다른 경험적 과학이나 심리학적 추측도 그 연구에 정보를 주지inform 말아야 한다. 대신에, 초점은 개인의 직관에 직접 주어지는 것에 맞춰져야 합니다 [16].

Husserl’s approach to philosophy sought to equally value both objective and subjective experiences, with his body of work ‘culminating in his interest in “pure phenomenology” or working to find a universal foundation of philosophy and science [13].’ Husserl rejected positivism’s absolute focus on objective observations of external reality, and instead argued that phenomena as perceived by the individual’s consciousness should be the object of scientific study. Thus, Husserl contended that no assumptions should inform phenomenology’s inquiry; no philosophical or scientific theory, no deductive logic procedures, and no other empirical science or psychological speculations should inform the inquiry. Instead, the focus should be on what is given directly to an individual’s intuition [16].

스타티가 최근에 주장했듯이, 현상학에 대한 이러한 태도는 '과거에 알려지지 않았던 현실의 차원을 발견한 자연 과학자의 태도'[17]와 비슷하다. 이러한 초점의 전환은 연구자가 '사물의 본질과 의미를 발견하기 위해 자신에게 되돌아갈 것'을 요구한다. Husserl이 주장했듯이, '결국 모든 진짜 그리고 특히 모든 과학적 지식은 내면적 증거에 달려 있다.' 내면적 증거, 즉 의식에 나타나는 것이 현상을 연구해야 하는 부분이다. 이것이 Husserl에게 의미하는 것은 [주관적이고 객관적인 지식은 밀접하게 연관되어 있다는 것]이다. 현상의 실체를 이해하는 것은 현상의 실체를 사람이 살아가는 그대로 이해하는 것이다. 이 살아있는 경험은 Husserl에게 아직 발견되지 않은 존재의 차원입니다 [17].

As Staiti recently argued, this attitude towards phenomenology is akin to that of ‘a natural scientist who has just discovered a previously unknown dimension of reality [17].’ This shift in focus requires the researcher to return ‘to the self to discover the nature and meaning of things [18].’ As Husserl asserted: ‘Ultimately, all genuine and, in particular, all scientific knowledge, rests on inner evidence [19].’ Inner evidence—that is, what appears in consciousness—is where a phenomenon is to be studied. What this means for Husserl is that subjective and objective knowledge are intimately intertwined. To understand the reality of a phenomenon is to understand the phenomenon as it is lived by a person. This lived experience is, for Husserl, a dimension of being that had yet to be discovered [17].

Husserl에게 현상학은 인식론적 태도에 뿌리를 두고 있었다; 그에게 있어 현상학적 조사의 중요한 질문은 '개인이 현상에 대해 알고 있거나 의식하는 것이 무엇인가?'였다. Husserl의 현상학 개념에서, 어떤 경험적 현상도 연구의 대상이 될 수 있으며, 따라서 분석을 단순한 감각 지각(즉, 내가 보고 듣고 만지는 것)을 넘어 사상, 기억, 상상 또는 감정의 경험으로 밀어넣을 수 있다[21].

For Husserl, phenomenology was rooted in an epistemological attitude; for him, the critical question of a phenomenological investigation was ‘What is it for an individual to know or to be conscious of a phenomenon [20]?’ In Husserl’s conception of phenomenology, any experienced phenomenon could be the object of study thereby pushing analysis beyond mere sensory perception (i. e. what I see, hear, touch) to experiences of thought, memory, imagination, or emotion [21].

Husserl은 [현상의 살아있는 경험]은 [현상을 경험한 개인들이 흔히 인식하는 특징]을 가지고 있다고 주장했다. 일반적으로 인식되는 이러한 [특징 또는 보편적 본질]은 [일반화할 수 있는 설명]을 개발하기 위해 식별될 수 있다. Husserl에 따르면 현상의 본질essence은 그 현상의 본질true nature을 나타낸다고 한다. 그렇다면 Husserl의 현상학에 참여하는 연구자가 직면하는 과제는 다음과 같습니다.

Husserl contended that a lived experience of a phenomenon had features that were commonly perceived by individuals who had experienced the phenomenon. These commonly perceived features—or universal essences—can be identified to develop a generalizable description. The essences of a phenomenon, according to Husserl, represented the true nature of that phenomenon. The challenge facing the researcher engaging in Husserl’s phenomenology, then, is:

사물을 그 자체로 묘사하고, 그 앞에 놓인 것을 의식 속으로 들어가 직관과 자기 성찰의 관점에서 그 의미와 본질로 이해되도록 합니다. 그 과정은 [실제로 존재하는 것]과 [가능한 의미의 이점으로부터 상상되는 것]의 혼합을 포함한다. 그러므로, 실제와 이상 사이의 통일성을 만드는 것이다. [18].

To describe things in themselves, to permit what is before one to enter consciousness and be understood in its meanings and essences in the light of intuition and self-reflection. The process involves a blending of what is really present with what is imagined as present from the vantage point of possible meanings; thus, a unity of the real and the ideal [18].

즉, 과제는 [그 현상의 보편적인 본질을 강조하는 현상]에 대한 [한 개인의 살아있는 경험] 연구에 참여하는 것입니다 [22]. 이를 위해서는 연구자가 현상에 대한 참가자의 경험에 초점을 맞추고 현상의 본질을 파악하기 위해 자신의 태도, 신념 및 가정을 중단해야 한다. 철학과 과학에 대한 Husserl의 큰 공헌 중 하나는 그가 개발한 방법인데, 이것은 연구자들이 '자연스러운 태도뿐만 아니라 우리가 인간 정신이라고 부르는 것에 대한 순진한naive 이해를 중단하고suspende, 새로운 연구 분야로서 초월적 주관성의 영역을 공개'할 수 있게 해준다.

In other words, the challenge is to engage in the study of a person’s lived experience of a phenomenon that highlights the universal essences of that phenomenon [22]. This requires the researcher to suspend his/her own attitudes, beliefs, and suppositions in order to focus on the participants’ experience of the phenomenon and identify the essences of the phenomenon. One of Husserl’s great contributions to philosophy and science is the method he developed that enables researchers ‘to suspend the natural attitude as well as the naïve understanding of what we call the human mind and to disclose the realm of transcendental subjectivity as a new field of inquiry [17].’

Husserl's의 초월적 현상학(때로는 서술적 접근법이라고도 함)에서, 연구자의 목표는 [초월적 주관성]을 달성하는 것이다. 즉, '연구자가 조회에 미치는 영향을 지속적으로 평가하고 편견과 선입견을 중화시켜 연구 대상에 영향을 미치지 않는 상태이다.[22]’

In Husserl’s’ transcendental phenomenology (also sometimes referred to as the descriptive approach), the researcher’s goal is to achieve transcendental subjectivity—a state wherein ‘the impact of the researcher on the inquiry is constantly assessed and biases and preconceptions neutralized, so that they do not influence the object of study [22].’

연구자는 분리되어 떨어져 있어야 하며, [참가자가 제공한 설명]을 해석하는데 자신의 주관을 개입하지 않아야 한다. 이 살아있는 경험의 차원은 [초월적 I]의 상태를 달성할 수 있는 연구자가 가장 잘 접근한다. 즉, 객관적 연구자가 [실제 경험의 사실에 대한 참가자의 설명]에서 벗어나, [의식 자체를 파악할 수 있는 현상의 보편적인 본질]로 이동하는 상태]이다 [23].

The researcher is to stand apart, and not allow his/her subjectivity to inform the descriptions offered by the participants. This lived dimension of experience is best approached by the researcher who can achieve the state of the transcendental I—a state wherein the objective researcher moves from the participants’ descriptions of facts of the lived experience, to universal essences of the phenomenon at which point consciousness itself could be grasped [23].

초월적 I의 상태에서, 연구자들은 '당연한 것으로 간주되는 것 또는 상식적인 것들을 포함하여, 개념화에 대한 분류에 의존하지 않는다'는 현상에 대한 참가자들의 경험에 사전성찰적으로prereflectively 접근할 수 있다. 초월적 I은 어떤 정의, 기대, 가정 또는 가설도 연구에 가져오지 않는다; 대신에, 이 상태에서는, 연구자는 현상의 본질에 대한 이해를 발전시키기 위해 참가자들의 경험을 이용하는 빈 석판인 [타블라 라사]의 위치를 가정한다.

In the state of the transcendental I, the researcher is able to access the participants’ experience of the phenomenon prereflectively—that is ‘without resorting to categorization on conceptualization, and quite often includes what is taken for granted or those things that are common sense [13].’ The transcendental I brings no definitions, expectations, assumption or hypotheses to the study; instead, in this state, the researcher assumes the position of a tabula rasa, a blank slate, that uses participants’ experiences to develop an understanding of the essence of a phenomenon.

이 상태는 일련의 환원을 통해 달성됩니다. 

This state is achieved via a series of reductions. 

• 초월적 단계라고 불리는 첫 번째 환원은 괄호치기bracketing 과정이라고도 불리는, 에포체(epoche)를 통해 일상 생활의 자연스러운 태도에서 초월을 요구한다. 이것은 연구자들이 관심 현상에 대한 이전의 이해, 과거의 지식 및 가정들을 수학 방정식에서처럼 제쳐놓거나 분류하는 과정이다. 이전부터 없어져야 할 이해는 과학적 이론, 지식 또는 설명, 참여자의 주장의 진실 또는 거짓, 그리고 연구자의 개인적인 견해와 경험을 포함한 광범위한 출처를 포함한다. 

The first reduction, referred to as the transcendental stage,requires transcendence from the natural attitude of everyday life through epoche, also called the process of bracketing. This is the process through which the researchers set aside—or bracket off as one would in a mathematical equation—previous understandings, past knowledge, and assumptions about the phenomenon of interest. The previous understandings that must be set aside include a wide range of sources including: scientific theories, knowledge, or explanation; truth or falsity of claims made by participants; and personal views and experiences of the researcher [24].

• 두 번째 단계, 초월적-현상학적 환원에서, 각 참가자의 경험은 개별적으로 고려되며, 현상의 의미와 본질에 대한 완전한 설명이 구성된다 [18].

In the second phase, transcendental-phenomenological reduction, each participant’s experience is considered individually and a complete description of the phenomenon’s meanings and essences is constructed [18].

• 다음은 상상적 변화를 통한 환원으로, 모든 참가자의 의식적 경험에 대한 설명이 자유 변화 과정을 통한 통합적 통합으로 증류된다[25]. 이 과정은 직관에 의존하며, 현상의 본질에 도달하기 위해 현상의 다양한 변형을 상상해야 한다 [25]. 이러한 본질은 현상에 대한 모든 지식의 기초가 된다.

Next is reduction via imaginative variation wherein all the participants’ descriptions of conscious experience are distilled to a unified synthesis of essences through the process of free variation [25]. This process relies on intuition and requires imagining multiple variations of the phenomenon in order to arrive at the essences of the phenomenon [25]. These essences become the foundation for all knowledge about the phenomenon.

일반적으로 사용되는 한 가지 초월적 현상학적 방법은 심리학자인 Clark Moustakas의 방법이며, 다른 접근법에는 Collaizi [26], Giorgi [27] 및 Polkinghorne [28]의 연구가 포함된다. 사용된 접근법에 관계없이, 초월적 현상학에 엄격하게 참여하기 위해, 연구자들은 연구자의 개별 주관성이 데이터 분석과 해석에 치우치지 않도록 분류 작업에 주의를 기울여야 한다.

One commonly used transcendental phenomenological method is that of psychologist Clark Moustakas, and other approaches include the works of: Colaizzi [26], Giorgi [27], and Polkinghorne [28]. Regardless of the approach used, to engage rigorously in transcendental phenomenology, the researcher must be vigilant in his/her bracketing work so that the researcher’s individual subjectivity does not bias data analysis and interpretations.

이것은 연구자 자신의 해석, 인식, 범주 등이 감소 과정에 영향을 미치지 않는 [초월적 I]의 상태에 도달하는 도전이다. 현대 철학자들이 계속해서 후셀의 괄호치기 개념과 씨름하고 있다는 것을 주목하는 것은 중요하다. 괄호치기가 성공적으로 달성되면, 연구자는 연구자의 물리적 신체를 포함하여, 세계와 그 내용 전체를 제쳐놓습니다 [17].

This is the challenge of reaching the state of the transcendental I where the researcher’s own interpretations, perceptions, categories, etc. do not influence the processes of reduction. It is important to note that modern philosophers continue to wrestle with Husserl’s notions of bracketing. If bracketing is successfully achieved, the researcher sets aside the world and the entirety of its content—including the researcher’s physical body [17].

[물리적 현실에 대한 의존과 기반을 중단하는 것]은 초월적 자아를 찾는 것과 같은 방법으로 인간의 경험을 버리는 유일한 방법이다.

Suspending reliance on and foundations in physical reality is the only way to abandon our human experiences in such a way as to find the transcendent I.

연구자들은 이 목표를 달성하기 위해 다른 정성적 연구 방법에서 practice를 빌릴 수 있다. 예를 들어, 여러 명의 연구자가 [30] 환원을 삼각 측량하여 적절한 괄호치기가 유지되었는지 확인하도록 연구를 설계할 수 있습니다. 또는, 확인된 본질이 참가자의 경험과 일치하는지 확인하기 위해 [31] 멤버체킹을 통한 데이터 [18]의 유효성 검사가 연구에 포함될 수 있다.

Researchers might borrow [29] practices from other qualitative research methods to achieve this goal. For instance, a study could be designed to have multiple researchers triangulate [30] their reductions to confirm appropriate bracketing was maintained. Alternatively, a study could involve validation of data [18]via member checking [31] to ensure that the identified essences resonated with the participants’ experiences.

헤르메네틱 현상학

Hermeneutic phenomenology

해석적 현상학으로도 알려진 헤르메네틱 현상학은 마틴 하이데거의 연구에서 비롯된다. 하이데거는 신학 분야에서 경력을 쌓기 시작했지만, 그 후 철학 학생으로 학계로 옮겨갔다. 하이데거의 철학적인 연구는 후셀의 연구와 일치하면서 시작되었지만, 그는 후에 후셀의 초월적 현상론의 몇 가지 중요한 측면에 도전했다.

Hermeneutic phenomenology, also known as interpretive phenomenology, originates from the work of Martin Heidegger. Heidegger began his career in theology, but then moved into academia as a student of philosophy. While Heidegger’s philosophical inquiry began in alignment with Husserl’s work, he later challenged several key aspects of Husserl’s transcendental phenomenology.

그의 전임자와의 근본적인 결별이 현상학적인 조사의 초점이었다. Husserl이 지식의 본질(즉, 인식론적 초점)에 관심이 있었던 반면, Heideger는 존재와 시간의 본질(즉, 존재론적 초점)에 관심이 있었다 [21]. 인간의 경험과 그것이 어떻게 사는가에 초점을 맞추면서, 그녀의 해석적 현상학이 다른 점이다. 후셀은 '세상에 참여하고, 인지하고, 기억하고, 생각하는 행위'와 현상의 지식자knower로서의 인간에 초점을 맞춘다.

A foundational break from his predecessor was the focus of phenomenological inquiry. While Husserl was interested in the nature of knowledge (i. e., an epistemological focus), Heidegger was interested in the nature of being and temporality (i. e., an ontological focus) [21]. With this focus on human experience and how it is lived, hermeneutic phenomenology moves away from Husserl’s focus on ‘acts of attending, perceiving, recalling and thinking about the world [13]’ and on human beings as knowers of phenomenon.

이와는 대조적으로 하이데거는 [세계의 배우actors in the world로서 인간]에 관심이 있어서, 개인과 그의 삶의 세계 사이의 관계에 초점을 맞추고 있다. 하이데거의 용어, 생활세계lifeworld는 '개인의 현실'은 그들이 살고 있는 세계에 의해 변함없이 영향을 받는다는 생각을 언급했습니다. 이러한 지향을 고려할 때, 개인은 (끊임없이, 명시적으로, 그리고/또는 의식적으로 그러한 이해를 인식하지 않더라도), 항상 이미 세계 내에서 자신에 대한 이해를 가지고 있는 것으로 이해됩니다 [17].

In contrast, Heidegger is interested in human beings as actors in the world and so focuses on the relationship between an individual and his/her lifeworld. Heidegger’s term lifeworld referred to the idea that ‘individuals’ realities are invariably influenced by the world in which they live [22].’ Given this orientation, individuals are understood as always already having an understanding of themselves within the world, even if they are not constantly, explicitly and/or consciously aware of that understanding [17].

하이데거에게 있어, 현상에 대한 개인의 의식적인 경험은, [세계와 분리되지도 않고 개인의 역사와도 분리되지도 않는다]. 대신, 의식은 개인의 역사와 그/그녀가 자란 문화를 포함하여 역사적으로 살아온 경험의 형태입니다 [22].

For Heidegger, an individual’s conscious experience of a phenomenon is not separate from the world, nor from the individual’s personal history. Consciousness is, instead, a formation of historically lived experiences including a person’s individual history and the culture in which he/she was raised [22].

개인은 자신의 삶의 세계에서 벗어날 수 없다. 인간은 자신의 배경에 대한 이해를 언급하지 않고는 현상을 경험할 수 없다. 따라서, 해석적 현상학은 '표면적 인식 아래에 가려진 인간 경험의 더 깊은 층을 이해하고, 그 또는 그 혹은 그녀가 그것을 사전-성찰적으로 경험하면서 그 세계가 어떻게 이 경험에 영향을 미치는지 이해'하려고 한다. 헤르메네틱 현상학은 개인의 내러티브를 연구하여, 그 개인들이 일상 생활과 생활 세계에서 경험하는 것을 이해한다.

An individual cannot step out of his/her lifeworld. Humans cannot experience a phenomenon without referring back to his/her background understandings. Hermeneutic phenomenology, then, seeks ‘to understand the deeper layers of human experience that lay obscured beneath surface awareness and how the individual’s lifeworld, or the world as he or she pre-reflectively experiences it, influences this experience [35].’ Hermeneutic phenomenology studies individuals’ narratives to understand what those individuals experience in their daily lives, in their lifeworlds.

그러나 헤르메네틱한 전통은 서술적인 이해를 넘어서고 있다. 해석적 현상학은 해석에 뿌리를 두고 있다. 즉, 개인의 인생 세계를 통해 [경험과 현상을 해석하는 것]이다.

But the hermeneutic tradition pushes beyond a descriptive understanding. Hermeneutic phenomenology is rooted in interpretation—interpreting experiences and phenomena via the individual’s lifeworld.

헤르메네틱스는 문헌을 다른 언어로 번역해야 할 필요성과 원본(예: 성경)에 대한 접근이 문제가 있었던 곳에서 개발된 이론으로, 텍스트의 해석을 참조한다 [36].

Hermeneutics refers to the interpretation of texts, to theories developed from the need to translate literature from different languages and where access to the original text (e. g., the Bible) was problematic [36].

만약 모든 인간의 경험이 개인의 인생세계에 영향을 받고informed, 모든 경험이 그 배경을 통해 해석되어야 한다면, 해석적 현상학은 현상에 대한 설명을 넘어서, 현상에 대한 해석으로 이어져야 합니다. 연구자들은 개인의 배경이 미치는 영향을 알아야 하고, 그들이 존재의 경험에 미치는 영향에 대해 설명해야 한다.

If all human experience is informed by the individual’s lifeworld, and if all experiences must be interpreted through that background, hermeneutic phenomenology must go beyond description of the phenomenon, to the interpretation of the phenomenon. The researcher must be aware of the influence of the individual’s background and account for the influences they exert on the individual’s experience of being.

이는 개인의 주관적 경험(사회, 문화 및 정치적 맥락과 불가분의 관계에 있음)이 사전에 결정된다는 것을 의미하지는 않는다. 하이데거는 개인이 자유를 찾아왔다고 주장했다. 위치 자유는 '개인은 자유롭게 선택할 수 있지만, 그들의 자유는 절대적이지 않다; 그것은 그들의 일상 생활의 특정한 조건에 의해 제한된다. [22]’

This is not to say that the individual’s subjective experience—which is inextricably linked with social, cultural, and political contexts—is pre-determined. Heidegger argued that individuals have situated freedom. Situated freedom is a concept that asserts that ‘individuals are free to make choices, but their freedom is not absolute; it is circumscribed by the specific conditions of their daily lives [22].’

해석적 현상학은 개인의 경험이 그의 인생세계를 통해 해석되기 때문에, 세계 속 개인의 존재의 의미를 연구한다. 그리고 이러한 의미와 해석이 개인의 선택에 어떻게 영향을 미치는지를 연구한다. 이러한 초점은 존재에 대한 참가자의 이해의 기본 구조와, 그 이해가 개인이 내린 결정을 어떻게 형성했는지를 조명하기 위해, 연구 참여자가 제공한 내러티브를 해석하도록 요구한다 [37].

Hermeneutic phenomenology studies the meanings of an individual’s being in the world, as their experience is interpreted through his/her lifeworld, and how these meanings and interpretations influence the choices that the individual makes [13]. This focus requires the hermeneutic phenomenologist to interpret the narratives provided by research participants in relation to their individual contexts in order to illuminate the fundamental structures of participants’ understanding of being and how that shaped the decisions made by the individual [37].

그녀의 해석적 현상학을 구별하는 또 다른 중요한 측면은 연구에서 [연구자의 역할]이다.

Another key aspect that distinguishes hermeneutic phenomenology is the role of the researcher in the inquiry.

연구자의 주관적인 관점을 배제하는 대신, 해석적 현상학은 연구 주제와 마찬가지로 연구자가 자신의 삶의 세계를 제거할 수 없다는 것을 인정한다. 대신에, 연구원의 과거의 경험과 지식은 그 연구의 귀중한 지침이다. 연구자의 교육 및 지식 기반은 연구할 가치가 있는 현상이나 경험을 고려하도록 이끈다. 연구에서, 데이터에 대해 편파적이지 않은 접근법을 취하도록 요구하는 것은 해석적 현상학의 철학적 뿌리와 일치하지 않는다. 대신, 이 전통에서 일하는 연구자들은 그들의 선입견을 공개적으로 인정하고 그들의 주관성이 분석 과정의 일부인 방법에 대해 성찰해야 합니다 [16].

Instead of bracketing off the researcher’s subjective perspective, hermeneutic phenomenology recognizes that the researcher, like the research subject, cannot be rid of his/her lifeworld. Instead, the researcher’s past experiences and knowledge are valuable guides to the inquiry. It is the researcher’s education and knowledge base that lead him/her to consider a phenomenon or experience worthy of investigation. To ask the research to take an unbiased approach to the data is inconsistent with hermeneutic phenomenology’s philosophical roots. Instead, researchers working from this tradition should openly acknowledge their preconceptions, and reflect on how their subjectivity is part of the analysis process [16].

해석적 현상학의 해석 작업은 하나의 규칙 결합 분석 기법에 얽매이지 않는다. 대신, 그것은 다중 분석 활동의 상호작용을 포함하는 해석 과정이다 [35].

The interpretive work of hermeneutic phenomenology is not bound to a single set of rule-bound analytical techniques; instead, it is an interpretive process involving the interplay of multiple analysis activities [35].

• 우리의 관심을 살아있는 경험으로 향하게 하는 흥미로운 현상을 발견하는 것으로부터 시작합니다. 

• 그런 다음 연구팀의 구성원들은 경험이 [(개념화되기 보다는) 살아있는 lived rather than conceptualized 그대로의 경험을 조사하고, 그 현상에 대한 참가자의 경험을 특징짓는 필수적인 [현상적] 주제들을 성찰하는 동시에 자신의 경험도 성찰한다. 

• 연구자들은 자신의 성찰 내용을 글로 포착한 다음 성찰하고 다시 작성하며, 지속적이고 반복적인 주기를 만들어 점점 더 강력하고 미묘한 분석을 개발한다. 

• 분석 내내, 연구자들은 연구 중인 현상에 대한 강한 지향을 유지하고(즉, 주의를 산만하게 하지 않음) 부품과 전체 사이의 상호작용에 주의를 기울여야 한다. 

• 헤르메네틱 서클이라고도 하는 이 마지막 단계는 데이터(부품)가 현상(전체)의 진화하는 이해에 어떻게 기여하는지와 각 요소가 다른 것의 의미를 어떻게 향상시키는지를 신중하게 고려하는 관행을 강조한다[35].

Starts with identifying an interesting phenomenon that directs our attention towards lived experience. 

Members of the research team then investigate experience as it is lived, rather than as it is conceptualized, and reflect on the essential [phenomenological] themes that characterize the participant’s experience with the phenomenon, simultaneously reflecting on their own experiences. 

Researchers capture their reflections in writing and then reflect and write again, creating continuous, iterative cycles to develop increasingly robust and nuanced analyses. 

Throughout the analysis, researchers must maintain a strong orientation to the phenomenon under study (i. e., avoid distractions) and attend to the interactions between the parts and the whole. 

This last step, also described as the hermeneutic circle, emphasizes the practice of deliberately considering how the data (the parts) contribute to the evolving understanding of the phenomena (the whole) and how each enhances the meaning of the other [35].

현상학에 대한 헤르메네틱 접근법에서, 이론은 집중적인 조사, 연구 참여자에 대한 의사 결정, 그리고 연구 질문이 제기될 수 있는 방법에 도움이 될 수 있습니다 [22]. 이론들은 또한 연구의 결과를 이해하는데 도움을 주기 위해 사용될 수 있다. 그녀의 음소 현상학과의 연관성이 널리 존경받는 한 학자는 Max van Manen [38]이다. Van Manen은 hermenetic 현상학이 '해석적 현상한 그 자체를 방법론적 스키마나 해석적 절차 집합으로 기만적으로 환원하지 않도록 한다[39].'고 인정한다. 대신에, 이런 종류의 현상학은 연구자가 해석적 현상학적 사고, 읽기, 쓰기의 프로젝트를 이해하기 위해, 이 전통의 철학을 깊이 읽도록 요구한다.

In the hermeneutic approach to phenomenology, theories can help to focus inquiry, to make decisions about research participants, and the way research questions can be addressed [22]. Theories can also be used to help understand the findings of the study. One scholar whose engagement with hermeneutic phenomenology is widely respected is Max van Manen [38]. Van Manen acknowledges that hermeneutic phenomenology ‘does not let itself be deceptively reduced to a methodical schema or an interpretative set of procedures [39].’ Instead, this kind of phenomenology requires the researcher to read deeply into the philosophies of this tradition to grasp the project of hermeneutic phenomenological thinking, reading, and writing.

결론 

Conclusion

아마도 가장 비판적으로, HPE 학자들은 선택된 방법론의 원리와 그것을 뒷받침하는 철학적 뿌리와 일치하는 연구 과정을 구성해야 한다. 이 정렬은 연구 엄격성과 신뢰성을 확립하기 위한 초석입니다.

Perhaps most critically, HPE scholars must construct research processes that align with the tenets of the methodology chosen and the philosophical roots that underlie it. This alignment is the cornerstone for establishing research rigour and trustworthiness.

검증 활동 또는 필수 프로세스의 특정 체크리스트를 따르는 것은 특정 현상학적 연구의 품질과 엄격함을 높일 수 없다. 대신에, 연구 질문, 패러다임 및 선택된 방법론 사이의 충실도를 유지하는 것 외에도, 강력한 현상학적 연구는 읽기, 반성적 쓰기, 다시 읽기 및 다시 쓰기를 통해 데이터에 대한 깊은 관여를 포함한다.

Following a specific checklist of verification activities or mandatory processes cannot buoy the quality and rigour of a particular phenomenological study. Instead, beyond maintaining fidelity between research question, paradigm, and selected methodology, robust phenomenological research involves deep engagement with the data via reading, reflective writing, re-reading and re-writing.

• [초월적 현상학]에 대한 무스타카스의 접근법에서는 연구자는 데이터를 읽고, 데이터를 의미 단위로 축소하고, 축소된 데이터를 다시 분석하여 주제 클러스터링에 참여하고, 데이터를 비교하고, 설명을 쓰는 등의 작업을 수행합니다. 지속적인 데이터 처리 및 성찰적 문서 작성 과정에서 연구자가 살아 있는 경험의 본질을 설명할 수 있을 때까지 요약한다.

In Moustakas’s approach to transcendental phenomenology, the researcher reads the data, reduces the data to meaning units, re-reads those reductions to then engage in thematic clustering, compares the data, writes descriptions, and so on in an ongoing process of continually engaging with the data and writing reflections and summaries until the researcher can describe the essence of the lived experience [18].

• [해석적 현상학]에서, 학자들은 연구자가 데이터를 읽고, 애매한 이해를 형성하고, 반사적 글쓰기에 관여한 다음, 수정된 이해로 본문과 다시 결합하는 헤르메네틱 서클에 관여하는 것을 설명한다[40]. 읽기와 쓰기의 주기, 본문 전체와 부분들에 주의를 기울이는 주기들에서, 해석적 연구자는 살아 있는 경험에 대한 이해를 형성한다.

In hermeneutic phenomenology, scholars describe engaging in a hermeneutic circle wherein the researcher reads the data, constructs a vague understanding, engages in reflective writing, then re-engages with the text with revised understandings [40]. In cycles of reading and writing, of attending to the whole of the text and the parts, the hermeneutic researcher constructs an understanding of the lived experience.

두 가지 전통 모두 읽기, 쓰기, 다시 읽기 및 다시 쓰기를 통한 데이터와의 긴밀한 결합이 기본입니다.

In both traditions, deep engagement with the data via reading, writing, re-reading and re-writing is foundational.

현상학적 데이터의 읽기 및 쓰기에 대한 참여 깊이에 대한 주의는 엄격함에 필요한 조건이다.

attention to the depth of engagement in reading and writing of the phenomenological data is a necessary condition for rigour.

교육 설계연구: 생산적 학술활동을 계획하고, 수행하고, 강화하는 것(Med Educ, 2020)

Educational design research: Portraying, conducting, and enhancing productive scholarship

Susan McKenney1 | Thomas C. Reeves2

1 | 소개

1 | INTRODUCTION

인간은 [해결하려는 문제의 본질을 완전히 이해하기 전에 해결책으로 뛰어드는 공통된 경향]을 가지고 있으며, 이는 Morozov에 의해 '해결책주의solutionism'으로 묘사된 관행을 입증한다. 1 교육도 (그러한 행동의 희생물이 되는 유일한 분야는 아니지만) 수십 년 동안 예외는 아니었다. 예를 들어, 1922년 에디슨은 영화가 교과서를 대체할 것이라고 약속했다. 2 증강현실과 다른 기술들이 의학 교육의 미래로 제시됨에 따라 오늘날에도 유사한 예측이 계속 이루어지고 있다. 비평가들이 교육에서 기술적 해결책에 대한 대부분의 연구가 '별로 큰 차이는 없다'고 밝혔음에도 불구하고, 이러한 경향은 지속되고 있다. 아마도 이것은 경험에 대한 낙천주의의 승리를 나타내거나, 아니면 단순히 순진무구함일 수도 있다.

Humans have a common tendency to jump to solutions prior to fully understanding the nature of the problem they are trying to solve, thus demonstrating a practice described as ‘solutionism’ by Morozov.1 Education is not the only field to fall prey to such behaviour, but it has seen its fair share of examples over the course of many decades. For instance, in 1922 Edison promised that films would replace textbooks.2 Similar predictions continue to be made today as augmented reality and other technologies are put forward as the future of medical education.3 Despite the fact that critics have revealed that the majority of studies on technological solutions in education yield ‘no significant difference,'4 the tendency persists. Perhaps this represents the triumph of optimism over experience, or perhaps it is simply naïveté.

[새로운 지식을 발견하기 위한 기초연구]와 [실제적인 문제를 해결하기 위한 응용연구] 사이에 종종 구별이 이루어졌지만, 이 단순한 이분법은 연구가 실제로 어떻게 수행되는지 또는 대부분의 학자들에 의해 추구되는 [다중적 목표]를 적절하게 나타내지 못한다. 의료 교육 분야에서 일하는 사람들을 포함한 교육 연구자들은 종종 [그들의 목적이 서술적, 예측적, 해석적 또는 개발이나 행동을 참조할 수 있다는 점에서] 다양한 목표를 가지고 있다.4 개발 목표와 함께 이론에 기여하는 데 관심이 있는 연구자들에게 교육 설계 연구(EDR)는 매력적인 옵션이 될 수 있다.6

A distinction has often been made between basic research to discover new knowledge and applied research to solve practical problems, but this simplistic dichotomy does not adequately represent either how research is actually conducted or the multiple goals pursued by most scholars.5 Education researchers, including those working in the field of medical education, often have a range of different goals in that their purposes may be descriptive, predictive, interpretivist, or refer to development or action.4 For researchers interested in contributing to theory alongside development goals, educational design research (EDR) may be a compelling option.6

2 | EDR을 묘사하는 것

2 | PORTRAYING EDR

교육 설계 연구는 실용적이고 복잡한 교육 문제에 대한 해결책의 반복적 개발도 경험적 조사의 맥락을 제공하는 연구의 한 장르로 정의될 수 있는데, 이것은 다른 사람들의 작업에 정보를 줄 수 있는 이론적 이해를 산출한다.'7

‘Educational design research can be defined as a genre of research in which the iterative development of solutions to practical and complex educational problems also provides the context for empirical investigation, which yields theoretical understanding that can inform the work of others.’7

EDR에 적합한 문제를 식별하려면 [조사 가치가 있고 EDR 프로세스를 통해 해결할 수 있는 실제 과제]를 찾아야 한다. 특정 문제는 실무자, 연구원 또는 문헌 연구를 통해 확인할 수 있다.7 예를 들어, 의학 교육의 심각한 문제는 미래의 의사가 패혈증을 예방하기 위한 일관된 습관을 개발하도록 돕는 것을 말한다.8 소독 프로토콜은 잘 알려져 있지만, 왜 제대로 지켜지지 않는지 이해하고, 이 문제를 근절할 수 있는 추가적인 해결책을 개발하기 위한 연구가 필요하다.10

Identifying problems amenable to EDR involves finding real-world challenges that are worthy of investigation and capable of being solved through the EDR process. Specific problems may be identified by practitioners, by researchers, or through the study of literature.7 For example, a serious problem in medical education refers to helping future physicians develop consistent habits to prevent sepsis.8 Although antisepsis protocols are well known, research is needed to understand why they are insufficiently adhered to, and to develop additional solutions that can eradicate this problem.10

명백하게 심각한 문제가 제기되었을 때, 그것이 정말로 정당하고, 연구 가능하고 연구 가치가 있는지 확인하기 위해 문헌과 실제 모두에서 검증이 필요하다. 

• 정당성: 이론적 관점에서, 만약 그렇게 하는 것이 현존하는 문헌의 명백한 차이를 해결할 수 있다면, 그 문제는 연구할 가치가 있다.

• 연구가능성: 현존하는 방법이 노력을 보증할 수 있을 정도여서, 충분히 잘 연구될 수 있는 경우(연구 가능)

• 연구가치: 이 작업이 특이적 우려와 반대로 광범위한 보유자와 관련된 이론 개발 또는 과학적 이해에 기여할 것인지 여부(연구 가치)

When even an obvious serious problem is raised, verification in both literature and practice is necessary to ascertain if it is, indeed, legitimate, researchable and research-worthy. 

• From the theoretical perspective, the problem is worth studying if doing so would address a clear gap in the existing literature (legitimate), 

• if existing methods will allow it to be studied well enough to warrant the effort (researchable), and 

• if the work will contribute to theory development or scientific understanding related to a widely held, as opposed to idiosyncratic, concern (research-worthy).7

다음은 총 해부학 클래스에 있는 예제입니다.

Here is an example situated in a gross anatomy class:

• 문제: 시신 기증자는 제한적이며, 인체 해부학을 가르치기 위한 기존의 시뮬레이션은 충분한 충실도가 결여되어 있다(문제의 실질적인 측면). 현재 시뮬레이션 문헌은 포유류 해부학을 위한 고품질 시뮬레이션을 개발하는 방법에 대한 지침이 불충분하다(문제의 과학적 측면).

• Problem: corpse donors are limited and existing simulations for teaching human anatomy lack sufficient fidelity (the practical side of the problem). The current simulation literature provides insufficient guidance on how to develop high-quality simulations for mammalian anatomy (the scientific side of the problem).

• 실제적인 목적: 학생들이 실제 해부를 수행하지 않고도 과정 목표를 달성할 수 있는 고품질의 인간 해부 시뮬레이션을 개발하는 것.

• Practical aim: to develop a high-quality human dissection simulation that allows students to meet course goals without conducting actual dissection.

• 과학적 목적: 포유류 및 특히 인간을 위한 고품질 시뮬레이션의 특성을 이해하고 기술하는 것

• Scientific aim: to understand and describe the characteristics of high-quality simulations for mammals in general and humans in particular.

[[현실 세계의 과제를 해결함으로써 이론과 실제에 기여]하는 것을 명시적으로 추구하지 않는 연구]는 분명 큰 가치가 있을 수 있지만, EDR을 구성하지는 않는다.

Research that does not explicitly seek to contribute to both theory and practice by addressing real-world challenges can certainly be of great value, but it does not constitute EDR.

2.1 | 이론적이고 실제적인 시너지: 간략하고 포괄적인 검토

2.1 | Theoretical and practical synergies: a brief, non-comprehensive review

이론과 실제 작업을 연결하는 과학을 연결한다는 개념은 심리학자들에 의해 한 세기 이상 주장되어 왔다. 

• 1930년대와 1940년대에, 이 방향의 주요한 진보는 Lewin과 동료들에 의해 [실행 연구]를 통해 이루어졌는데, 이 연구는 집단의 결정에 따르는 문제에 대한 논의를 통한 가설 생성과 테스트가 중심이었다. 

• 1960년대와 1970년대에는 사회과학 분야에서 [(참여형) 행동 연구]가 번창했고, 실무자 연구가 등장했으며, 교육의 문제와 필요를 직접적으로 해결하기 위한 교육 연구의 요구는 증가했다. 

• 무엇보다도, 이것은 1980년대 '행동 과학action science'과 1990년대에 널리 추진력을 얻은 '사용에 영감을 받은 기초 연구'의 발판을 마련했다. 

The notion of a linking science connecting theoretical and practical work has been advocated by psychologists for over a century.11,12 

• In the 1930s and 1940s, major advancements in this direction were made by Lewin and colleagues, through action research, in which hypothesis generation and testing through the discussion of problems followed by group decisions were central.13 

• In the 1960s and 1970s, (participatory) action research flourished in the social sciences, practitioner inquiry emerged, and calls for educational research to directly address the problems and needs of education increased.14 

• Amongst other things, this set the stage for the rise of ‘action science’ in the 1980s15 and the notion of ‘use-inspired basic research,' which gained widespread momentum in the 1990s5. 

그 무렵, 교육 설계 및 커리큘럼 개발 분야의 연구원들은 교육 제품, 프로그램, 프로세스 및 정책의 강력한 설계를 안내하기 위해 보다 [신뢰할 수 있는 처방적prescriptive 이해]의 필요성을 강조하기 시작했다. 동시에, 교육 심리학 분야의 연구원들은 이론이 학습의 설계에 어떻게 영향을 미치는지와 그 반대의 경우에 어떻게 영향을 미치는지 주장하며, [학습이 실제로 일어나는 상황에 연구가 위치할situated 것]을 요구하며, [학습 현상을 이해하기 위한 실험실 상황의 단점을 언급]하는 획기적인 논문을 발표했다.9, 20

Around that time, researchers in the fields of instruction design and curriculum development began to stress the need for more reliable, prescriptive understanding to guide the robust design of educational products, programmes, processes and policies.16-18 At the same time, researchers in the field of education psychology published landmark papers arguing for how theory informs the design of learning and vice versa, calling for research to be situated in the contexts in which that learning actually takes place, and citing the shortcomings of laboratory settings for understanding learning phenomena.19, 20

교육 전반에 걸쳐, 그러한 견해는 파스퇴르의 사분면: 기초 과학 및 기술 혁신 출판에 탄력을 받았다.5 스톡스는 이번 세미나 연구에서 우유의 부패와 광견병 치료와 같은 현실 세계의 문제를 해결하는 맥락에서 근본적인 지식을 찾았던 프랑스의 화학자이자 미생물학자 루이스 파스퇴르와 같은 연구를 더 많이 해야 한다고 주장한다. 이 전통에서, EDR은 생태학적으로 타당하고 다른 사람들의 작업에 inform해주는 과학적 이해를 산출하고자, [현실의 기존 문제 해결]과 [탐구 과정의 구조화]에 관심이 있다.

Across disciplinary lines, such views gained momentum upon the publication of Pasteur’s Quadrant: Basic Science and Technological Innovation.5 In this seminal work, Stokes argues for more research like that of the French chemist and microbiologist Louis Pasteur, who sought fundamental knowledge within the context of solving real-world problems such as the spoilage of milk and treatment for rabies. In this tradition, EDR is concerned with the solving of existing problems in practice and with the structuring of the inquiry process so that it yields scientific understanding that is ecologically valid and informs the work of others.

2.2 | 접근법 제품군

2.2 | A family of approaches

우리는 'EDR'이라는 용어를 [이론적 이해의 개발] 및 [실제 개입의 설계 및 구현]이라는 이중 목표를 위해 노력하는 일군의 접근법을 설명는 용어로 사용한다.21 다음의 용어를 포함한다

• design-based research, 

• design-based implementation research, 

• development research, 

• design experiments, 

• formative research, 

• participatory design research, 

• realist evaluation, 

• the Medical Research Council (MRC) framework for evaluating complex interventions, 

• action research and improvement science.

이 다양한 이름들은 동의어가 아니며, 일부 작가들은 이 가족의 특정한 구성원들이 다른 사람들과 어떻게 다른지 광범위하게 묘사했다.22

We use the term 'EDR' to describe a family of approaches that strive towards the dual goals of developing theoretical understanding and also designing and implementing interventions in practice.21 This family of approaches may, but does not always, include design-based research, design-based implementation research, development research, design experiments, formative research, participatory design research, realist evaluation, the Medical Research Council (MRC) framework for evaluating complex interventions, action research and improvement science. The various names are not synonymous, and some authors have extensively described how specific members of this family differ from others.22

표 1은 EDR을 다른 형태의 조사와 차별화시키는 각 접근방식의 목표와 특징을 요약한다. 즉, 실제 문제에 대한 해결책의 (반복적) 개발을 통한 이론적 이해의 추구이다.

Table 1 summarises the goals and characteristics of each approach in light of that which sets EDR apart from other forms of inquiry: the pursuit of theoretical understanding through the (iterative) development of solutions to problems in practice.

2.3 | 의료 교육에서 EDR의 예

2.3 | Examples of EDR in medical education

다른 연구와 마찬가지로, EDR은 데이터 수집과 분석을 통해 기존의 이론적 지식을 확장한다.23-25 그러나 많은 다른 종류의 연구와 달리, EDR 프로세스는 [해결하려는 문제에 대한 해결책의 (종종 주기적) 개발]에 embed되어 있다.23-25

Like other research, EDR extends existing theoretical knowledge through data collection and analysis.23-25 However, unlike many other kinds of research, the EDR process is embedded in the (often cyclic) development of a solution to the problem being tackled.23-25

• Hege 등 26은 가상 환자를 특징으로 하는 [임상 추론 도구 개발]에 embed된 연구를 설명한다. 심리학적 이론, 환자 중심, 교수 및 평가, 학습자 중심 및 맥락을 기반으로 소프트웨어 설계를 위한 프레임워크를 개발한 후 가상 환자 시스템과 함께 사용할 소프트웨어 도구가 개발되었다. 특히 임상 추론 기술 획득을 지원하고 이 복잡한 프로세스의 모든 단계를 평가합니다. 저자 26은 소프트웨어의 주요 구성 요소, 사용적합성 시험 결과 및 시험 연구를 설명하고 추가 개발 방향을 제시한다.

• Hege et al26 describe the research embedded in the development of a clinical reasoning tool featuring virtual patients. After a framework for software design had been developed based on psychological theories, patient-centredness, teaching and assessment, learner-centredness and context, a software tool was developed to be used with virtual patient systems. It specifically supports clinical reasoning skills acquisition and assesses all steps of this complex process. The authors26 describe the main components of the software, results of usability tests and a pilot study, and indicate directions for further development.

• Duitsman 외 연구진 27은 [임상 역량 위원회의 기능을 개선]하기 위한 주기적 접근방식을 설명한다. 이 프로젝트에서는, 이론적인 원칙을 문헌에서 추출하여 대학 아동 병원의 거주자 성과에 초점을 맞춘 임상 역량 회의를 재구성하였다. 그 회의는 평가되었고 거주자의 성과를 널리 알리는 데 유용하다고 간주되었다. 주어진 설계 원칙과 권고사항은 다른 (연구에 대한) 레지던트 프로그램에 유용하며, 다른 상황에 맞게 조정할 수 있다.

• Duitsman et al27 describe their cyclic approach to improving the functioning of a clinical competency committee. In this project, theoretical principles were distilled from the literature to (re-) shape clinical competency meetings focused on resident performance in a university children’s hospital. The meetings were evaluated and deemed useful for obtaining a broad indication of resident performance. The design principles and recommendations given are useful for other (research on) residency programmes, and can be adjusted to different contexts.

• Bararends 등 28은 [학부 작업 치료 학생 사이의 증거 기반 의사결정 능력을 육성]하기 위해 EDR을 수행했다. 그들의 보고서는 인지 도제 및 위치 학습의 원칙에 기초하는 교육 및 학습 시나리오의 기초가 되는 교육 원리를 생성하고 시험하기 위해 수행된 혼합 방법 연구를 설명한다. 그 개입은 잘 받아들여졌고 저자들은 학생들이 증거 기반 의사결정에 필요한 자기 효과, 인지 능력 및 비판적 사고 능력을 개발하는 데 도움이 될 수 있는 후속 연구와 개발을 위한 권고안을 제시한다.

• Baarends et al28 conducted EDR to foster evidence-based decision-making capacity amongst undergraduate occupational therapy students. Their report describes a mixed-methods study undertaken to generate and pilot test the pedagogic principles underlying a teaching and learning scenario based on principles of cognitive apprenticeship and situated learning. The intervention was well received and the authors28 make recommendations for subsequent research and development that can help students develop the self-efficacy, cognitive skills and critical thinking skills required for evidence-based decision making.

2.4 | 주요 특징

2.4 | Key characteristics

실용적이고 과학적인 목표의 동시 추구는 이 과정의 핵심이며, 다섯 가지 필수적인 특징으로 특징지어질 수 있다. 

• 교육 설계 연구는 이론적으로 지반 설계에 사용할 뿐만 아니라 설계와 개발 작업이 광범위한 과학적 이해에 기여하기 위해 수행되기 때문에 '이론지향적'이다. 

• 그것은 특정한 교육 환경에서 생산적인 변화를 일으키기 위해 수행되기 때문에 '개입주의적'이다. 

• 연구자와 실무자를 포함한 다원적 파트너십의 전문지식을 필요로 하지만 다른 분야(예: 주제 전문가, 소프트웨어 프로그래머 및 촉진자)의 전문지식을 요구하기 때문에 '협력적'이다. 

• 그것은 그것의 제품이 참가자의 전문지식, 문헌, 특히 현장 시험에 의해 형성되기 때문에 '반응기반적'이다. 

• 마지막으로, 그것은 일반적으로 설계, 개발, 시험 및 개정의 여러 사이클을 통해 진화하기 때문에 '반복적'이다.

The simultaneous pursuit of practical and scientific goals is central to the process, which can be characterised by five essential features. 

• Educational design research is 'theorectically oriented' not only because it uses theory to ground design, but also because the design and development work is undertaken to contribute to broader scientific understanding. 

• It is 'interventionist' because it is undertaken to engender productive change in a particular education context. 

• It is 'collaborative' because it requires the expertise of multidisciplinary partnerships, including researchers and practitioners, but also often others (eg, subject matter specialists, software programmers and facilitators). 

• It is 'responsively grounded' because its products are shaped by participant expertise, the literature and, especially, field testing. 

• Finally, it is 'iterative' because it generally evolves through multiple cycles of design, development, testing and revision.

표 1 개입 개발을 통해 이론적이고 실용적인 결과를 본질적으로 산출하는 방법(회색 셀)과 사용 방법에 따라 이론적이고 실제적인 결과를 산출할 수 있는 방법(백색 셀)을 포함하여 실용적이고 과학적인 시너지를 추구하는 접근법 제품군

TABLE 1 Family of approaches seeking practical and scientific synergies, including those that inherently yield theoretical and practical outcomes through intervention development (grey cells), and those that may yield theoretical and practical outcomes, depending on how they are used (white cells)

전반적인 EDR 연구 기간이 일반적으로 월이 아닌 [년 단위]로 측정된다는 것은 놀랄 일이 아니다.

no surprise that the overall duration of EDR studies is typically measured in years, rather than months.

교육 설계 연구는 방법론이 아니다. 이것은 [ERD이 따라야 할 방법론적 기준이 다른 종류의 연구의 기준과 다르지 않다는 것]을 명확히 하기 때문에 언급하는 것이 중요하다. 따라서 EDR 이니셔티브의 방법론적 엄격성은 정성적, 정량적 또는 혼합적 방법 연구의 기존 기준(예: 신뢰성, 유효성, 신뢰성, 이전 가능성, 신뢰성, 신뢰성, 신뢰성, 확인성)을 사용하여 판단되어야 한다. 또한, EDR은 설계, 사회학 및 교육 분야의 기존 관행을 활용하여 참여와 참여를 형성한다.

Educational design research is not a methodology. This is important to mention because it clarifies that the methodological standards to which it should be held are no different from those of other kinds of research. The methodological rigour of EDR initiatives should therefore be judged using existing criteria for qualitative, quantitative or mixed-methods studies (eg, reliability, validity, credibility, transferability, dependability, confirmability). Further, EDR leverages existing practices from the fields of design, sociology and education to shape participation and engagement.

3 | EDR 수행

3 | CONDUCTING EDR

3.1 | 프로세스 모델링

3.1 | Modelling the process

그림 1에 표시된 EDR의 일반 모델. 

a generic model for EDR, shown in Figure 1. 

첫째, 그림 1의 네모은 세 개의 핵심 단계를 나타내며, 그 사이의 화살표는 이 과정이 반복적이고 유연하다는 것을 나타냅니다.

First, the squares in Figure 1 denote three core phases, and the arrows between them indicate that the process is both iterative and flexible.

• '분석 및 탐구' 단계 동안, 다룰 문제에 대한 더 나은 이해를 형성하기 위해 실무자와의 협업을 모색한다. 이 단계 동안의 연구는 일반적으로 문제, 맥락 또는 이해관계자에 관한 이론적 이해에 기여한다.

During the 'analysis and exploration' phase, collaboration with practitioners is sought in order to shape a better understanding of the problem to be addressed. Research during this phase is typically informed by and contributes to theoretical understanding concerning the problem, context or stakeholders.

• '설계와 시공' 동안, 문제가 어떻게 처리될 수 있는지에 대한 아이디어는 다소 크고 모호하게 시작해서, 점차 개선, 가지치기, 조작화 경향이 있다. 비록 이 단계는 본질적으로 [경험적 작업을 포함하지는 않으며], 그것의 특징과 근본적인 행동 이론을 포함하여, (일종의) 개입에 대한 [이론적 이해]에 의존하고 기여한다.

During 'design and construction,' ideas about how the problem might be addressed tend to start off as rather large and vague, and gradually become refined, pruned and operationalised. Although this phase does not inherently involve empirical work, it does rely on and contribute to theoretical understanding about the (kind of) intervention, including its characteristics and underlying theory of action.

• '평가 및 성찰' 동안, 설계 아이디어와 프로토타입 솔루션은 경험적으로 조사되며, (이론적으로) 개입 기능이 작동하는지, 어떻게 그리고 왜 작동하는지 이해하는 것을 목표로 그 결과를 성찰한다. 이 단계에서 연구는 (종류의) 개입이나 그것이 초래하는 반응에 대한 이론적 이해에 의해 형성되고 기여한다.

During 'evaluation and reflection,' design ideas and prototype solutions are empirically investigated, and the findings are reflected upon, with the aim of refining (theoretical) understanding about if, how and why intervention features work. During this phase, research is shaped by and contributes to theoretical understanding about the (kind of) intervention or the responses it engenders.

모든 단계에서 합리적이고 창의적인 사고방식이 혼합되어 생산적입니다.

Across all phases, a blend of rational and creative mindsets is productive.

둘째, 이론과 실제에 대한 [이중 초점]은 각각 실용적, 과학적 산출물을 나타내는 직사각형을 통해 명백하게 이루어진다. EDR로 인한 실질적인 솔루션은 다음이 있다.

• 교육용 제품(예: 다중 사용자 가상 학습 게임)

• 프로세스(예: 뒤집힌 교실에서 의대생 학습을 비계하기 위한 전략)

• 프로그램(예: 의료 교사가 보다 효과적인 질문 전략을 개발하는 데 도움이 되는 일련의 워크샵)

• 정책(예: 인턴의 현장 멘토링을 위한 최소 일대일 시간 지정)

Second, the dual focus on theory and practice is made explicit through the rectangles, which represent the practical and scientific outputs, respectively. The practical solutions resulting from EDR can be 

• educational products (eg, a multi-user virtual learning game), 

• processes (eg, a strategy for scaffolding medical student learning in a flipped classroom), 

• programmes (eg, a series of workshops intended to help medical teachers develop more effective questioning strategies), or 

• policies (eg, the designation of a minimum amount of one-to-one time for on-site mentoring of interns).

[EDR에서 얻어진 이론적 이해]는 교육현상을 기술, 설명, 예측 또는 조작하는데 사용될 수 있다. 앞에서 언급한 바와 같이, 설계 연구에 대한 이론적 이해는 개입의 설계를 뒷받침하고, 과학적 연구를 체계화하며, 개입의 경험적 시험을 통해 생성된 결과에 의해 진전된다.

The theoretical understanding resulting from EDR can be used to describe, explain, predict or manipulate education phenomena. As noted previously, the theoretical understanding in design research underpins the design of the intervention, frames the scientific inquiry, and is advanced by findings generated through the empirical testing of the intervention.

마지막으로, 모델은 구현과 확산을 나타내는 사다리꼴을 통해 실제 사용에 주의를 기울인다는 것을 보여줍니다. 이것은 연습과의 상호작용이 [사후 사고afterthought]가 아닌 [프로세스의 시작부터 존재]하며, 시간이 지남에 따라 증가한다는 것을 보여준다. 양방향 화살표는 실제에서 일어나는 일이 궁극적인 결과뿐만 아니라 진행 중인 핵심 프로세스에 영향을 미치며 그 반대의 경우도 영향을 미친다는 것을 나타낸다.

Finally, the model demonstrates that attention to practical use through the trapezoid, which represents implementation and spread. It shows that interaction with practice is present from the start of the process, not as an afterthought, and increases over time. The bi-directional arrows indicate that what happens in practice influences the ongoing core processes, as well as the ultimate outputs, and vice versa.

3.2 | 모든 단계에 걸친 하나의 예

3.2 | One example spanning all phases

이 모델이 어떻게 살아나는지를 설명하기 위해, 우리는 세계보건기구(WHO)가 경험한 문제를 다룬 이전에 발표된 4년 PhD 연구에 대해 간략하게 설명한다. 즉, 세계보건기구는 운송, 보관 및 유통 중 적절한 온도 범위 내에 유지해야 하는 백신 및 기타 의약품의 취급에 적용되는 '콜드 체인'에 대한 확장 가능한 고품질 교육 프로그램이 부족했다. 

To illustrate how this model comes to life, we briefly describe a previously published 4-year PhD study, 32 which addressed a problem experienced by the World Health Organization (WHO). Namely, the WHO lacked a scalable, high-quality training programme on the ‘cold chain’ that applies to the handling of vaccines and other pharmaceutical products that must be kept within the appropriate temperature range during shipping, storage and distribution.

• 분석 및 탐색 중, Byster32는 관련 학습 접근법, WHO e-러닝 프로그램의 최신 기술을 이해하기 위한 현장 기반 조사 및 기존 콜드 체인 훈련 프로그램의 참여자 관찰에 대한 문헌 검토를 실시했다.

• 설계와 시공 중에, Byster는 문헌과 경험적 시험(즉, 평가와 반영의 결과)을 기반으로 복수의 훈련 프로그램 프로토타입을 개발하고 수정했다.32

During design and construction, Vesper developed and revised multiple training programme prototypes on the basis of the literature and empirical testing (ie, the outcomes of evaluation and reflection).32

• 평가와 성찰 과정에서, E-러닝 전문가의 전문가 평가, 콘텐츠 전문가의 위험 분석, 대상 사용자와의 성숙한 시제품의 현장 테스트 등 다양한 프로토타입을 조사하기 위해 다양한 전략을 사용했다.

During evaluation and reflection, Vesper32 used diverse strategies to investigate the various prototypes, including expert appraisal by e-learning specialists, risk analysis by content experts, and field testing of a mature prototype with target users.

첫 번째 분석 활동에서 마지막 버전의 과정에 이르기까지, 구현에 대한 관심이 집중되었고 실무자와의 긴밀한 상호작용을 통해 확산되었다. 이후 WHO의 다른 온라인 학습 환경의 설계에 적용된 실질적인 결과물(e-러닝 과정 및 기본 설계 프레임워크) 외에도, 과학적 산출물은 각각 분석, 탐사, 설계 및 시공, 평가 및 반영 단계에서의 조사에 기초하여 5개의 저널 기사의 형태로 볼 수 있다.

From the very first analysis activities through to a final version of the course, attention was given to implementation and spread through close interaction with practitioners. In addition to the practical output (the e-learning course and underlying design framework), which has subsequently been applied to the design of other online learning environments at the WHO,33 the scientific output is visible in the form of five journal articles, based on the investigation during analysis and exploration,34 design and construction,35 and evaluation and reflection36-38 phases, respectively. 

Figure 2

3.3 | 다양한 단계의 기여를 강조하는 여러 가지 예

3.3 | Multiple examples highlighting contributions from different phases

여기에서 의료 교육 분야에서 수행되는 다양한 EDR을 설명하기 위해 서로 다른 연구 보고서 39-41이 사용된다. 각각의 문제에 대해, 해결된 문제, 개발된 개입, 생성된 지식 및 사용된 방법이 표 2에 요약되어 있다.

Here, different research reports39-41 are used to illustrate the variety of EDR conducted within the field of medical education. For each one, the problem addressed, the intervention developed, the knowledge created and the methods used are summarised in Table 2.

[분석 및 탐색 단계의 결과]는 사회경제적으로 불리한 배경에서 청소년을 대상으로 한 건강 식자율을 위한 방과 후 프로그램인 HackHealth를 만들고, 구현하고, 개정하기 위해, [설계 연구에서 정량적이고 질적인 방법]을 사용한 Subramaniam et al의 연구에서 매우 잘 나타난다. 이 특별 하위 연구는 다양한 건강 관련 정보 활동을 완료할 때 직면하는 과제에 대한 심층 분석 및 탐색을 위해 초기 문헌 기반 프로토타입의 구현이 어떻게 컨텍스트를 제공했는지를 보여준다. 연구 결과는 Hack Health 프로그램을 개선하는 것 이상으로 확장되며, 이 인구와 협력하고, 그들의 건강 식자율 기술을 평가 및 개선하고, 그들의 요구에 부합하는 지침을 설계하는 데 중요한 의미를 갖는다.

Results from the analysis and exploration phase are highly visible in the article by Subramaniam et al,39 who used quantitative and qualitative methods in their design research to create, implement and revise HackHealth, an after-school programme for health literacy that was targeted at adolescents from socioeconomically disadvantaged backgrounds. This particular sub-study demonstrates how the implementation of the initial, literature-based prototype provided the context for deeper analysis and exploration of the challenges encountered when completing various health-related information activities. The findings extend beyond improving the HackHealth programme and hold important implications for working with this population, assessing and improving their health literacy skills, and designing instruction that stands to meet their needs.

[설계와 시공 단계]는 [일반 실습 학생들을 위한 5가지 학습 모듈을 구축하는 과정]에서 그들이 취한 단계와 특히 그들의 근본적인 추론을 설명하는 반데트리 등의 작업의 핵심이다. 이 작업은 노인을 돌보거나 신체적으로 정의되지 않은 증상을 가진 환자를 다루는 것과 같은 진짜 복잡한 작업을 통해 교육자가 임상 추론, 의사소통 및 건강 증진과 같은 통합 능력의 개발을 어떻게 다룰 수 있는지를 보여준다. 모듈 설명은 전체 작업 학습의 원칙과 4C/ID(4-구성 요소/지시적 설계) 모델을 적용할 수 있는 방법을 설명하고 또한 교육 혁신 과정의 과제와 함정에 주목하여 유사한 과제를 해결하고자 하는 다른 사람들에게 지침을 제공한다.

The design and construction phase is central in the work of Vandewaetere et al,40 who describe the steps they took, and especially their underlying reasoning, in the course of building five learning modules for general practice students. Through authentic complex tasks such as caring for elderly people or handling patients with physically undefined symptoms, this work demonstrates how educators can address the development of integrated competencies, such as clinical reasoning, communication and health promotion. The module descriptions illustrate how principles of whole-task learning and the 4C/ID (four-component/instructional design) model can be applied, as well as also noting challenges and pitfalls in the educational innovation process, and thus offers guidance to others wishing to tackle similar challenges.

[평가와 성찰 과정]과 연구 결과는 [수의과 학생들을 위한 이론 기반 평가 프로그램의 실행]을 조사한 41세의 복 외 연구진들의 연구에서 전경화되었다. 그들의 프로그램은 학생들이 직장에서 피드백을 찾고 축적하고 배울 수 있도록 동기를 부여하고 지원함으로써 학습과 평가를 통합한다. 그들은 학생과 임상 감독자의 경험을 탐구하기 위해 양적, 질적 방법을 사용했다. 그들의 연구결과는 유사한 이니셔티브의 개발뿐만 아니라 그들의 프로그램에 대한 개정에도 영향을 미친다. 예를 들어, 동료 피드백, 사회적 상호 작용 및 외부 지침은 이 (종류의) 프로그램에서 중요한 요소인 반면, 포트폴리오 심판과 의도하지 않은 학생 인식(즉 형성적 평가조차 총괄적이라는)에 필요한 훈련 수준은 정면으로 대처해야 할 과제를 구성한다.

The evaluation and reflection processes and findings are foregrounded in the work of Bok et al,41 who investigated the implementation of a theory-based assessment programme for veterinary medicine students. Their programme integrates learning and assessment by motivating and supporting students to seek, accumulate and learn from feedback in the workplace. They used quantitative and qualitative methods to explore the experiences of students and clinical supervisors. Their findings hold implications for revisions to their programme, as well as the development of similar initiatives. For example, peer feedback, social interaction and external guidance are crucial elements in this (kind of) programme, whereas the level of training required for portfolio judges and unintended student perceptions (namely, that even formative assessments are still summative) constitute challenges to be tackled head on.

4 | EDR 강화 

4 | ENHANCING EDR

4.1 | 도전과 한계

4.1 | Challenges and limitations

다른 사람들 중 필립스와 돌은 [실용적인 혁신과 이론 구축을 동시에 추구하는 것은 매우 야심적이고 어렵다]고 경고했다. 이는 부분적으로 설계 연구를 추구하는 연구자들이 실제 교육 문제의 복잡한 변이와 직접 씨름하기 위해 실무자들과 손을 맞잡고 작업한다는 사실에서 비롯된다. 복잡성은 증가하지만, 이러한 협업은 모든 관련자를 위한 전문 개발 목표인 EDR의 세 번째 목표를 달성할 수 있습니다.

Phillips and Dolle,42 amongst others, have cautioned that the simultaneous pursuit of practical innovation and theory building is extremely ambitious and difficult. This partially stems from the fact that researchers pursuing design research work hand-in-hand with practitioners to grapple directly with the complex variation of realworld education problems. Although it increases complexity, this collaboration can lead to the accomplishment of a third goal of EDR, that of professional development for all those involved.

EDR을 수행할 때 일반적으로 네 가지 유형의 도전에 직면합니다.

Four types of challenges are commonly encountered when conducting EDR,

[개념적 도전]은 EDR이 무엇인지(또는 그렇지 않음)와 추구되는 목표의 종류를 이해하는 것과 관련이 있다. [방법론적 관점]에서 EDR은 프로젝트의 라이프사이클 전체에 걸쳐 질문 유형의 다양성을 고려할 때, 연구자들이 다양한 방법에서 다방면의 기술을 보유해야 하기 때문에 도전적이다. EDR 연구의 프로세스와 [결과를 전달]하는 것은 어려울 수 있다. 왜냐하면 이러한 연구는 일반적으로 크고 복잡하며, 비-이해관계자들에게 그들의 가치가 항상 명확하게 표현되는 것은 아니기 때문이다. 네 번째 과제는 종종 조직 정책 및 이해관계자 역학과 같은 설계(실행)에서 비롯되는 [정치적 차원]과 관련이 있다. 표 3

Conceptual challenges relate to understanding what EDR is (or is not) and the kinds of goals being pursued. From a methodological standpoint, EDR is challenging because, given the variety in the types of questions asked throughout a project’s lifecycle, it requires that researchers possess well-rounded skills in a variety of methods. Communicating the processes and outcomes of EDR studies can be challenging because these studies are typically large and complex, and because their value to non-stakeholders is not always articulated. A fourth set of challenges relates to political dimensions, often stemming from (implementing) the design, such as organisational policies and stakeholder dynamics. Table 3

EDR을 고려하는 사람들에게는 정보에 입각한 선택을 하는 것이 중요하다. 

• 첫째로, EDR은 (적어도) 연구자와 실무자 사이의 긴밀한 협력을 요구한다.43 이것이 실현 가능하지 않거나 바람직하지 않을 때 EDR은 실행 가능한 옵션이 되지 않는다. 

• 둘째, EDR은 이론, 혁신 및 실제를 연결한다.44 이들 중 하나 이상의 개발이 높은 우선순위가 아닐 때, EDR은 유용하지 않을 가능성이 있다. 

• 셋째, 실무에서 생산적인 변화를 창출하는 데 중점을 두기 때문에 EDR은 상당한 시간이 필요하다.45 가용 시간이 몇 개월 또는 몇 년이 아닌 몇 주 단위로 측정된다면 EDR은 실현 가능하지 않을 가능성이 높다.

For those considering EDR, it is important to make informed choices. First, EDR requires close collaboration between (at least) researchers and practitioners.43 When this is not feasible or desirable, EDR ceases to be a viable option. Second, EDR connects theory, innovation and practice.44 When the development of one or more of these is not of high priority, EDR is not likely to be useful. Third, because it centres on creating productive change in practice, EDR requires substantial amounts of time.45 If the time available is measured in weeks (rather than months or years), EDR is not likely to be feasible.

마지막으로, EDR이 제대로 수행하기가 상당히 쉽고 잘 수행하기가 상당히 어렵다는 점을 감안할 때, EDR의 네 번째 제한은 접근법 자체와 더 적은 관련이 있으며, EDR을 수행하는 사람들의 능력capacity과 더 많은 관련이 있다. 다른 아이디어와 마찬가지로 EDR의 가치는 그 정의가 아니라 실현에 있다. '디자인 연구는 [혁신성, 증거에 대한 대응성, 기초 과학과의 연결성, 그리고 지속적인 개선에 대한 헌신]이라는 특성을 가진 실천공동체 내에서 이루어진다.' 46.

Finally, given that EDR is fairly easy to do poorly and quite difficult to do well, a fourth limitation of EDR has less to do with the approach per se and more to do with the capacity of those conducting it. As with other ideas, the value of EDR lies not in its definition but in its realisation. ‘Design research is constituted within communities of practice that have certain characteristics of innovativeness, responsiveness to evidence, connectivity to basic science, and dedication to continual improvement.’46

이러한 궤도에서 연구자들은 디자이너와 컨설턴트의 역할도 완수해야 하며, 이는 매우 도전적인 노력이 될 것입니다. McKenney와 Brand-Gruwel47은 설계 연구의 각 하위 프로세스(분석과 탐구, 설계와 시공, 평가와 반영, 구현과 확산)에 비추어 이 세 가지 역할을 검토했다.

In these trajectories, researchers must also fulfil the roles of designers and consultants, rendering this a highly challenging endeavour. McKenney and Brand-Gruwel47 examined these three roles in light of each sub-process of design research (analysis and exploration; design and construction; evaluation and reflection; implementation and spread).

표 3 공통 과제 및 이를 완화하는 방법

TABLE 3 Common challenges and ways to mitigate them

그들은 각각의 역할을 제정하는 데 필요한 [네 가지 기본 역량]을 명확히 하고, 그것을 발전시키기 위한 지침을 제공한다. 그들은 예를 들어 

• '공감'이 공유되지 않은 목표를 탐구하거나 다른 환경에서 인센티브, 동기 및 보상 구조에 노출되기 위해 필요하다는 점에 주목한다. 

• '조정'은 연구 프레임워크, 데이터 수집, 솔루션 설계, 구현, 인프라 문제 및 이해관계자 소유에 동시에 참여할 수 있도록 지원합니다. 

• 창의적이고 분석적인 '유연성'은 지침의 목표와 일치하는 방식으로 사용 가능한 인적 및 물질적 자원의 최적화를 지원합니다. 

• 마지막으로 '사회적 역량'은 각 역할을 수행하는 데 필요한 상호작용 전략의 강력한 레퍼토리를 가리킨다. 따라서 EDR을 수행하는 것은 분명히 복잡한 작업이다.

They articulate four foundational competencies that are required to enact each role, and offer guidelines for developing them. 

• They note that 'empathy' is needed, for example, to explore (un)shared goals or become exposed to the incentives, motives and reward structures in different settings. 

• 'Orchestration' helps to simultaneously attend to research framing, data collection, solution design, implementation, infrastructure woes and stakeholder ownership. 

• Creative and analytical 'flexibility' supports the optimisation of the human and material resources available in ways that remain aligned with the goals of the instruction. 

• Finally, 'social competence' refers to a robust repertoire of the interaction strategies needed to fulfil each role. Thus, conducting EDR is clearly a complex task.

4.2 | 결론

4.2 | CONCLUSIONS

교육 디자인 연구는 물론 만병통치약이 아니다. 그러나, 그것은 교육적 개입이나 해결책이 잉태되기 전에 문제의 본질을 분명히 하는 그것의 높아진 관심 때문에 해결책주의에 은유적인 제동을 걸었다. 우리는 의학 교육이 이론적인 목표와 개발 목표 모두를 시너지 효과적으로 추구함으로써 가장 잘 해결될 수 있는 많은 도전에 직면해 있다고 믿는다. 예를 들어 Chen과 Reeves48이 주장하는 바와 같이 이 접근 방식은 다음과 같은 용도로 사용될 수 있습니다.

Educational design research is of course no panacea. However, it does put the metaphorical brakes on solutionism because of its heightened attention to clarifying the nature of the problem before an educational intervention or solution is conceived. We believe that medical education faces many challenges that might be best addressed by synergistically pursuing both theoretical and development goals. For example, as Chen and Reeves48 argue, this approach could be used to:

• 점점 더 유동적인 의료 팀에서 효과적으로 일할 수 있는 역량 개발 

• develop capacities to work effectively in increasingly fluid health care teams; 

• cultivate skills to communicate in a culturally competent manner with patients and other health care professionals; 

• prepare health care professionals for practice in a world that is increasingly infused with machine learning algorithms and robots; 

• improve assessment protocols and feedback practices to promote competency-based education, and 

• enhance health care professionals’ clinical reasoning skills.

이 공동체가 설계 연구를 공유하기 전에 접근법의 유창성이 아직 개발되지 않은 경우(더 많이), 설계 연구에 더 익숙한 자매 분야의 연구원들과의 협력(예: 학습 과학, 교육 설계 또는 교육 기술)은 탐구할 가치가 있을 수 있다. 그렇게 함으로써, 해결책을 개발하기 전에 다룰 가치가 있는 문제들에 대한 서술적이고 설명적인 이해를 보장하는 데 세심한 주의를 기울이는 것을 우선시하는 같은 사고방식을 가진 학자들을 찾는 것이 중요해 보인다.

If fluency with the approach has yet to be developed before this community shares its design studies (more), then collaboration with researchers in sister fields, who are more accustomed to design research (eg, those in the learning sciences, instructional design or educational technology) may be worth exploring. In so doing, it seems crucial to seek out like-minded scholars who prioritise the giving of careful attention to ensuring descriptive and explanatory understanding of problems worth tackling before developing solutions.

© 2020 The Authors. Medical Education published by Association for the Study of Medical Education and John Wiley & Sons Ltd.

시험을 위한 블루프린트 제작 가이드(AMEE Guide No. 125) (Med Teach, 2019)

A practical guide to test blueprinting (AMEE Guide No. 125) (Med Teach, 2019)

Mark R. Raymonda and Joseph P. Grandeb

도입 Introduction

과정과 평가가 목표와 일치하도록 하기 위해 진정 중요한 학습 결과를 균형 있게 다루려면 잘 숙고한 계획에 따라 평가를 개발하는 것이 중요하다. 여기에서는 시험의 계획에 대한 체계적인 접근 방식, 즉 학생들이 각 평가에서 무엇을 알고 시연할 수 있는지를 문서화하는 접근 방식을 설명합니다. 이러한 계획 문서는 테스트 계획, 사양 표 및 테스트 사양이라고도 하지만 일반적으로 테스트 Blueprint라고 합니다.

To ensure that course and assessments are consistent with objectives address truly important learning outcomes in a balanced manner, it is important that assessments be developed according to a well thought-out plan. This article describes a systematic approach to planning tests—an approach that documents what students should know and be able to demonstrate on each assessment. These planning documents are typically called test blueprints, although they also are known as test plans, tables of specifications, and test specifications.

테스트 Blueprint는 테스트의 주요 속성을 설명합니다. 시험 청사진은 다룰 내용을 명시해야 하지만, 많은 청사진은 또한 각 내용 영역에 할당된 강조의 양, 평가 작업의 인지적 요구, 평가 형식 및 기타 중요한 특징과 같은 속성을 설명한다(Millman and Greene 1989; Raymond 2016).

A test blueprint describes the key properties of a test. While any test blueprint should specify 

• the content to be covered, many blueprints also describe properties such as 

• the amount of emphasis allocated to each content area, 

• the cognitive demand of the assessment tasks, 

• the assessment format, and 

• other important features (Millman and Greene 1989; Raymond 2016).

테스트 Blueprint의 기반

Foundations of a test blueprint

학습 성과와 학생 역량에 대한 주장

Learning outcomes and claims about student competence

테스트 청사진은 대부분의 강사가 [이미 시행하고 있는 학습 성과와 과정 목표를 자연스럽게 확장한 것]입니다.

A test blueprint is a natural extension of the learning outcomes and course objectives that most instructors already have in place.

우리는 학습 성과를 [학생들이 과정을 이수할 때 갖춰야 하는 지식과 기술을 설명하는 광범위한 서술]로 정의한다(Harden 2002). 행동 목표(또는 교육 목표)는 학생들이 알고 할 수 있는 것을 자세히 설명하는 진술이다.

We define learning outcomes as broad statements that describe the knowledge and skills that students should possess upon completing a course (Harden 2002). Behavioral objectives (or instructional objectives) are statements that describe in detail what students are expected to know and be able to do.

• 학습 성과는 학생들이 기대하는 지식과 기술을 나타내며, 

• 행동 목표는 그 목표를 달성하기 위한 로드맵 역할을 한다. 

• 평가 목표라는 용어를 사용하여 특별히 평가를 목표로 하는 학습 결과 또는 행동 목표를 설명합니다.

• Learning outcomes indicate the knowledge and skills that are expected of students, while 

• behavioral objectives serve as a road map for getting there. 

• We use the term assessment objectives to describe those learning outcomes or behavioral objectives that are specifically targeted for assessment.

평가의 일차적인 목표는 강사가 학생들이 알고 할 수 있는 것에 대해 주장이나 추론을 할 수 있도록 하는 것이다. 테스트는 그러한 주장을 뒷받침할 증거를 얻을 수 있는 기회를 창출한다(Mislevy and Riconscente 2006). 학생이 "심혈관 시스템의 주요 상태를 진단하기 위한 지식과 기술을 마스터했다"는 주장을 뒷받침하기 위해, 강사는 관심 있는 행동을 유도하기 위한 평가 과제를 식별하고, 학생들이 그러한 행동을 증명할 기회를 제공해야 한다. 증거 중심 설계는 교수들이 학생 능력에 대한 주장을 뒷받침할 증거를 제공하는 평가 과제를 선택하도록 요구한다.

A primary goal of assessment is to allow an instructor to make a claim or inference about what students know and are able to do. A test creates the opportunity to obtain evidence to support such claims (Mislevy and Riconscente 2006). To back up the claim that a student has “mastered the knowledge and skills to diagnose major conditions of the cardiovascular system”, an instructor needs to identify assessment tasks to elicit the behaviors of interest, and then provide the opportunity for the student to demonstrate those behaviors. Evidence-centered design requires that faculty choose assessment tasks that provide the evidence to support the claims to be made about student competence.

학생들이 [각 장기 시스템에 영향을 미치는 가장 일반적인 질병을 진단할 수 있도록 보장한다]라는 전체적인 목표가 있는 과정을 고려해보자. 그림 1은 학습 결과와 심혈관 시스템에 특정한 몇 가지 목표를 나타냅니다. 학습 결과, "심혈관 질환에 대한 진단 테스트 결과에 대한 적응증 인식 및 해석"은 상당히 광범위하다. 결과를 성공적으로 입증할 수 있는 것은 지식과 기술의 상당한 네트워크를 필요로 한다. 그림 1의 8가지 행동 목표는 학습 결과에 대한 숙달성을 입증하는 데 필요한 행동의 표본일 뿐입니다. 이러한 행동 목표는 수업을 guide하기 위한 것이지만, 평가에 정보를 제공하는 방법도 쉽게 알 수 있습니다. 각 목표를 "학생이 할 수 있을 것"과 같은 조항과 함께 선행함으로써 이러한 진술은 학생에 대한 주장을 뒷받침하는 평가 목표로 바뀔 수 있습니다. 행동 목표는 개발하기가 지루하지만, 그 특수성specificity은 평가 과제의 개발을 단순화할 수 있다.

Consider a course that has an overall goal of ensuring that students can diagnose the most common diseases affecting each organ system. Figure 1 identifies a learning outcome and several objectives specific to the cardiovascular system. The learning outcome, “Recognize indications for and interpret results of diagnostic tests for cardiovascular disease” is fairly broad; being able to successfully demonstrate that outcome requires a substantial network of knowledge and skills. The eight behavioral objectives in Figure 1 are just a sample of the behaviors required to demonstrate mastery of that learning outcome. Although these behavioral objectives are intended to guide instruction, it is easy to see how they also can inform assessment. By preceding each objective with a clause like “The student will be able to…” these statements can be transformed into assessment objectives that support claims to be made about students. Although behavioral objectives are tedious to develop, their specificity can simplify the development of assessment tasks.

지식의 종류와 수준

Types and levels of knowledge

이러한 서로 다른 유형의 학습은 다른 교육 및 평가 방법을 필요로 한다는 것은 오래 전부터 인식되어 왔다. 밀러의 피라미드는 학습의 유형을 조직하는 데 인기 있는 틀 중 하나이다. 그림 2에 표시된 바와 같이,

It has long been recognized that these different types of learning require different methods of instruction and assessment. Miller’s(1990) pyramid is one popular framework for organizing types of learning. As depicted in Figure 2,

그림 2의 중심 부분은 원래의 피라미드를 묘사하는 반면, 왼쪽의 텍스트는 두 가지 샘플 행동 목표와 그것들이 계층에서 어디에 속하는지 나열한다.

The central portion of Figure 2 depicts the original pyramid, while the text on the left lists two sample behavioral objectives and where they fall in the hierarchy.

Bloom's (1956) 분류법은 평가에 유용한 또 다른 모형입니다. 그것은 행동을 인지, 정서, 그리고 정신 운동 영역이라고 불리는 세 가지 범주로 분류한다. 그림 1의 지시 목표를 이 세 가지 도메인 중 하나 이상으로 분류할 수 있는 방법을 알 수 있다. 예를 들어, 목표 7 "대동맥 협착을 청취하기 위해 청진기를 최적의 위치에 배치"를 하려면 청진기를 배치할 위치(인지적)를 결정하고 환자에게 배치 및 권한(정서적)을 요청한 다음 청진기를 배치해야 합니다(정신운동적).

Bloom’s(1956) taxonomy is another model that is useful for assessment. It classifies behaviors into three categories referred to as the cognitive, affective, and psychomotor domains (Anderson and Krathwohl 2001). One can see how the instructional objectives in Figure 1 can be classified into one or more of these three domains. For example, objective 7, “Place stethoscope in optimal location to listen for aortic stenosis”, requires deciding where to place the stethoscope (cognitive), explaining its placement to the patient and asking permission (affective), and then positioning the stethoscope (psychomotor).

인지 영역은 교수와 평가에서 가장 많은 관심을 받았다. 그것은 지식, 이해, 응용, 분석, 합성, 평가의 여섯 단계로 구성되며, 각각의 수준은 앞의 것보다 더 많은 인지적 투자를 필요로 한다. 행동 목적의 수준은 평가에 영향을 미친다. 

The cognitive domain has received the most attention in teaching and assessment. It consists of six levels: knowledge, comprehension, application, analysis, synthesis, and evaluation, with each level requiring a greater cognitive investment than the one preceding it. The level of a behavioral objective has implications for assessment.

예를 들어, 객관식 질문(MCQ)은 지식과 이해를 평가하는 데 효과적이지만, 종합 및 평가에는 효용이 제한적이고, 정신 운동 및 정서 영역의 많은 기술을 평가하는 데는 효과적이지 않다.

For example, while multiple-choice questions (MCQs) are effective for assessing knowledge and comprehension, they have limited utility for assessing synthesis and evaluation, and are ineffective for assessing many skills in the psychomotor and affective domains.

효과적인 테스트 청사진에 대한 4단계

Four stages to an effective test blueprint

그림 3과 아래 텍스트는 테스트 청사진을 개발하기 위한 네 가지 단계를 설명합니다.

Figure 3 and the text below describe four stages for developing a test blueprint.

주요 지식 및 기술 영역 식별

Identify the major knowledge and skill domains

이 첫 번째 단계는 [평가할 광범위한 역량 영역]을 식별하는 것을 포함한다. 그들은 학생들의 행동에 대해 제기되는 높은 수준의 주장에 대응해야 한다. 이 과제에 접근하는 한 가지 방법은 "만약 내가 내 과정을 몇 개 내지 몇 개 단위로 분할한다면, 라벨은 무엇이 될 것인가?"라고 묻는 것이다. 만약 그 의도가 학생들의 면역학 지식에 대한 주장을 하는 것이라면, 프레임워크는 면역학의 영역을 정의하는 주요 내용 범주를 포함해야 한다. 만약 그 의도가 학생의 환자와 상호작용하는 능력에 대한 주장을 하는 것이라면, 그 프레임워크는 주요한 유형의 의사소통 기술을 포함할 것이다. 이러한 문서는 과정 개요, 학습 결과, 강의 노트, 교과서 및 기타 교육 자료에서 찾을 수 있습니다. 또한, 커리큘럼 조사와 직무 분석 보고서는 의료 교육에서 커리큘럼 설계와 평가에 중요한 기술을 식별했다.

This first stage involves identifying the broad competency domains to be assessed. They should correspond to the high-level claims to be made about student behaviors. One way to approach this task is to ask, “If I were to partition my course into a few to several units, what would the labels be?” If the intent is to make claims about students’ knowledge of immunology, then the framework should include major content categories that define the domain of immunology. If the intent is to make claims about a student’s ability to interact with patients, then the framework will include major types of communication skills. Such documentation can be found in course outlines, learning outcomes, lecture notes, textbooks, and other instructional materials. In addition, curriculum surveys and job analysis reports have identified the skills that are important for curriculum design and assessment in medical education

테스트 Blueprint는 일반적으로 구성된 목록, 개요 또는 테이블 형식으로 만들어진다. 시험 청사진의 조직 체계는 중요한데, 그 범주는 claim과 종종 학생들에게 제공되는 피드백을 병행하기 때문이다. 다음에 설명된 바와 같이 테스트 청사진은 테스트할 내용 또는 평가 작업에 필요한 행동 프로세스에 따라 구성할 수 있습니다(Millman 및 Greene 1989; Raymond 2016).

Test blueprints typically are cast in the form of an organized list, outline, or table. A test blueprint’s organizational framework is important because the categories often parallel the claims to be made and the feedback provided to students. As described next, test blueprints can be organized according to the content to be tested or around the behavioral processes required of the assessment tasks (Millman and Greene 1989; Raymond 2016).

[내용 지향적인 청사진]은 테스트를 다루는 주제 또는 주제 측면에서 설명합니다. 그들은 보통 전통적인 학문분야에 따라 시험 자료를 구분했다. 예를 들어 의과대학 임상의 학년을 포함하는 종합적인 시험에는 생리학, 약리학, 생물통계학 등과 같은 범주가 포함될 수 있다.

Content-oriented blueprints describe tests in terms of the topics or subject matter covered. They usually slice up the test material according to traditional academic disciplines. For example, a comprehensive test covering a preclinical year of medical school might include categories such as physiology, pharmacology, biostatistics, and so on.

[프로세스 지향 테스트 청사진]은 학생들이 보여줄 수 있는 절차적 기술을 기술하고 있다. 많은 프로세스 지향 테스트 청사진에는 블룸의 분류학 인지 영역의 기술이 포함되어 있습니다. 예를 들어, Miller의 피라미드는 통계 시험의 70%가 알고 있는 수준의 과제를 포함하며, 30%는 학생들이 방법을 보여주도록 요구할 것이라고 결정하는 데 사용될 수 있다. 프로세스 지향 프레임워크는 특히 절차적 기술과 정서적 영역에 중점을 두는 임상 교육에 유용하다.

Process-oriented test blueprints delineate the procedural skills students are expected to demonstrate. Many process-oriented test blueprints include skills from the cognitive domain of Bloom’s taxonomy. Miller’s pyramid can be used to decide, for example, that 70% of a statistics test will include tasks at the knows and knows how levels, while 30% will require students to show how. Process-oriented frameworks are particularly useful for clinical training where the emphasis is on procedural skills and the affective domain.

앞의 텍스트는 테스트 Blueprint가 내용 중심 또는 프로세스 중심 윤곽선임을 나타냅니다. 실제로 많은 Blueprint에서 이 두 차원을 [프로세스-컨텐츠 매트릭스]라는 단일 프레임워크에 통합합니다.

The preceding text suggests that test blueprints are either content-oriented or process-oriented outlines. In fact, many blueprints integrate these two dimensions into a single framework called the content-by-process matrix.

그림 4와 같은 프로세스별 콘텐츠 매트릭스는 테스트 설계를 위한 상당한 유연성을 제공하며 커리큘럼 전반에 걸쳐 사용할 수 있습니다. 이 설계의 일반적인 변화는 행 또는 열을 블룸의 분류법(예: 지식, 응용 프로그램, 분석)의 인지 수준으로 바꾸는 것입니다.

A content-by-process matrix like that in Figure 4 offers considerable flexibility for test design and can be used across the curriculum. A common variation of this design is to replace either the rows or columns with the cognitive levels from Bloom’s taxonomy (e.g. knowledge, application, analysis).

평가 목표 설명

Delineate the assessment objectives

이전 단계의 결과는 주요 내용과 프로세스의 범주 목록입니다. 이 두 번째 단계에서는 자세한 내용을 설명서에 소개합니다. 테스트 청사진은 구체적, 저추론적low-inference 행동을 나열하여 학생들이 기대하는 바를 설명해야 한다(Mookerjee et al. 2013). [저추론 행동]은 학생이 평가가 의도한 행동을 보여주었는지 객관적으로 판단하기에 충분히 관찰가능해야 한다. 경우에 따라 필수 세부 정보가 과정 목표의 일부로 이미 존재합니다. 무커지 외 연구진(2013)이 개발한 임상 기술 평가 청사진은 의대 기존 임상 기술 커리큘럼의 이정표에 의존했다.

The outcome of the previous stage is a list of the major content and/or process categories; this second stage introduces detail to the documentation. Test blueprints should describe what is expected of students by listing specific, low-inference behaviors (Mookherjee et al. 2013). Low-inference behaviors are sufficiently observable to objectively determine whether the student demonstrated the behaviors of interest. Sometimes the required detail will already exist as part of the course objectives. A blueprint for clinical skills assessment developed by Mookherjee et al. (2013) relied on milestones from the medical school’s existing clinical skills curriculum.

이정표와 학습 성과와 같은 상세한 문서를 쉽게 이용할 수 없는 경우, 평가 목표를 작성할 필요가 있을 수 있다. 잘 작성된 평가 목표는 그림 1의 행동 목표와 유사합니다. 그들은 숙달될 내용과 학생이 보여줄 지식이나 기술의 유형을 명시한다. 또 다른 접근 방식은 매트릭스 Blueprint에 의존하여 평가 목표를 지정하는 것입니다. 그림 5는 심혈관 의학에 대한 점원 시험을 위한 프로세스별 내용 청사진의 골격을 보여줍니다.

If detailed documents such as milestones and learning outcomes are not readily available, then it may be necessary to write the assessment objectives. Well-written assessment objectives are similar to the behavioral objectives in Figure 1. They specify the content to be mastered and the type of knowledge or skill that the student is expected to demonstrate. Another approach is to rely on a matrix blueprint to specify the assessment objectives. Figure 5 presents the skeleton of a content-by-process blueprint for a clerkship exam on cardiovascular medicine.

그림 5에는 논평할 가치가 있는 다른 특징들이 포함되어 있다. 

• 첫째, 심근경색증에 따른 세부사항을 수준별로 기록합니다. 이상적으로는 각 등급의 심장 질환이 적절한 특정 조건을 포함하는 것이 좋다. 

• 둘째, 오른쪽 열과 아래쪽 행의 값은 각 범주에 할당된 질문 수를 나타냅니다. 다양한 질문이 있으면 Blueprint를 구현할 때 유연성을 제공합니다. 

• 셋째, 이 예제는 매우 일반적인 행렬의 각 셀에 대한 평가 항목 수를 지정합니다. 그러나 그림에서 알 수 있듯이 셀은 다른 방법으로도 사용될 수 있습니다(예: 과정 목표와 연결됨). 

• 마지막으로, 세분화 수준을 고려하는 것이 중요합니다. 평가 작업을 더 쉽게 만들고 균형 잡힌 테스트를 조립할 수 있다는 이점 때문에 너무 세부적이고 몇 시간을 들여 테스트 청사진을 개발할 수 있습니다. 세부 사항이 너무 적어서 시험에 집중하지 못할 수도 있고, 학생들은 무엇을 예상해야 할지 모를 것이다. 대부분의 저자들은 테스트 청사진(예: Coderre 등)의 특수성을 높이려고 합니다. 2009; Fives and DiDonato-Barnes 2013, Mookherjee et al. 2013)

Figure 5 includes other features worthy of comment. 

• First, note the level of detail under cardiomyopathies. Ideally, each class of cardiac disorders would include specific conditions as appropriate. 

• Second, the values in the right column and the bottom row indicate the number of questions allocated to each category. Having a range of questions provides some flexibility when implementing the blueprint. 

• Third, this particular example specifies the number of test items for each cell of the matrix, which is quite common. However, as the Figure indicates, the cells can be used in other ways as well (e.g. linked to course objectives). 

• Finally, the level of granularity is important to consider. Too much detail and one can spend hours developing the test blueprint, with the benefit that it will be easier to produce assessment tasks and to assemble a balanced test. Too little detail and the test may be unfocused, and students will not know what to expect. Most authors lean toward greater specificity in test blueprints (e.g. Coderre et al. 2009; Fives and DiDonato-Barnes 2013; Mookherjee et al. 2013).

평가 형식 결정

Decide on the assessment format

평가 형식을 선택하는 것은 평가 방법과 학생들이 알고 할 수 있는 것에 대한 주장을 일치시키는 문제이다. 평가 방법은 세 가지 일반적인 등급으로 분류된다: 서면 평가, 시뮬레이션, 작업장 기반 평가.

Choosing an assessment format is a matter of matching the method of assessment with the claims to be made about what students know and can do. Assessment methods fall into three general classes: written assessments, simulations, and workplace-based assessment.

테스트 청사진 개발과 가장 관련이 있는 두 가지 유형의 타당성 증거는 콘텐츠 타당성 및 응답 프로세스입니다(Tavakol 및 Dennick 2017). 테스트 청사진이 컨텐츠 관련 증거의 주요 출처 역할을 한다는 것은 널리 알려져 있습니다(Kane 2016; Raymond 2016). 그 이유는 신중하게 개발된 테스트 청사진을 통해 평가 내용이 지침 중 다루는 내용과 일치하도록 보장할 수 있기 때문입니다(Notar 등). 2004; McLaughlin et al., 2005; Fives and DiDonato Barnes 2013).

The two types of validity evidence most relevant to the development of test blueprints are content validity and response process (Tavakol and Dennick 2017). It is widely recognized that a test blueprint serves as a primary source of content-related evidence (Kane 2016; Raymond 2016). This is because a thoughtfully developed test blueprint can help ensure that the assessment aligns with content covered during instruction (Notar et al. 2004; McLaughlin et al. 2005; Fives and DiDonatoBarnes 2013).

응답 프로세스 타당성은 [평가 과제에 의해 도출된 인지적, 정신 운동적, 그리고 정서적 프로세스가 학생들의 행동에 대해 제기되는 주장에 의해 암시되는 과정과 유사한 정도]를 의미한다. 예를 들어, MCQ는 "학생이 신체 검사와 흉부 X선을 해석하여 흉부 중심화의 필요성을 결정할 수 있다"는 주장을 뒷받침할 수 있다. 그러나 학생이 실제로 흉부 중심화를 수행할 수 있다는 주장을 뒷받침하려면 매우 영리한 MCQ가 필요할 것이다. 이 후자의 목표는 실제 또는 모의 실험 환자와 상호작용하는 학생의 직접 관찰을 포함하는 형식을 필요로 한다.

Response process validity refers to the extent to which the cognitive, psychomotor, and affective processes elicited by the assessment tasks are similar to the processes implied by the claims to be made about student behaviors. For example, an MCQ could support the claim that “the student is able to interpret physical examination and chest X-ray to determine the need for thoracentesis”. However, it would take a very clever MCQ to support the claim that a student can actually perform thoracentesis. This latter objective would require a format involving direct observation of the student interacting with a real or simulated patient.

또한 신뢰도는 평가 형식의 선택에 영향을 미치며, MCQ는 일반적으로 시뮬레이션이나 작업장 기반 평가보다 더 신뢰할 수 있는 점수를 산출한다. 비용, 물류 및 기타 실제적인 제약조건이 평가 형식의 선택에 가장 큰 영향을 미칠 것이다. 멀티 스테이션 시뮬레이션은 타당도를 향상시킬 수 있지만 직원 지원이나 물리적 공간 측면에서 의대 용량을 초과할 수 있다.

Reliability also will influence the choice of an assessment format, with MCQs generally producing more reliable scores than simulations or workplacebased assessments. Cost, logistics, and other practical constraints will most certainly influence the choice of an assessment format. Multi-station simulations may enhance validity but may exceed a medical school’s capacity in terms of staff support or physical space.

의심할 여지 없이, 의학 교육의 평가 환경은 지난 수십 년 동안 진화해 왔다. 임상 시뮬레이션과 작업장 기반 평가가 점점 더 보편화되고 있는 반면, 서면 평가는 그것이 가장 효과적인 영역만으로 제한되고 있다. 테스트 청사진을 필기 테스트와 연결하는 것이 일반적이지만, 시뮬레이션 및 작업 공간 기반 평가에도 역할이 있습니다. 실제로, 시험 청사진은 교육과정이 임상적 환경의 특이점에 의존하는 임상실습과 전공의에게 훨씬 더 중요할 수 있다.

Without question, the assessment landscape in medical education has evolved over the past few decades. Clinical simulations and workplace-based assessments are becoming more common, while written assessments are being limited to those domains for which they are most effective. Although it is common to associate test blueprints with written tests, they also have a role in simulations and workplace-based assessments. Indeed, test blueprints can be even more important for clerkships and residencies where the curriculum is dependent on the idiosyncrasies of the clinical setting.

OSCE와 같은 구조화된 임상 시뮬레이션은 시험 내용을 통제할 수 있는 직장 기반 평가보다 더 큰 기회를 제공한다. OSCE가 관련성이 있고 서로 다른 학생 코호트 간에 균형을 유지할 수 있도록 테스트 청사진은 학생 성과에 가장 영향을 미칠 수 있는 사례 특성을 명시해야 한다. 이론적으로, OSCE 청사진은 환자 나이, 성별, 의료 조건 및 환자 관리 유형과 같은 여러 요소로 구성될 수 있다. 이는 다차원 매트릭스로 수백 개의 셀을 생성한다. 실제로, 간단한 테이블로도 충분할 수 있다. 그림 6은 OSCE의 청사진을 보여줍니다. 이 Blueprint는 단일 테스트 양식에 대한 환자 및 의사 작업을 설명합니다. 추가 테스트 양식으로 일반화하려면 각 열에 대한 추가 내용 제약 조건을 문서화하는 것이 바람직합니다.

Structured clinical simulations, such as OSCEs, afford greater opportunity than workplace-based assessments to control test content. To ensure that OSCEs are relevant and remain balanced across different student cohorts, test blueprints should specify those case characteristics most likely to affect student performance. In theory, an OSCE blueprint could consist of multiple factors, such as patient age, gender, medical condition, and type of patient management; this would produce hundreds of cells in a multidimensional matrix. In practice, a simple table may suffice. Figure 6 illustrates a blueprint for an OSCE. This blueprint describes the cases and physician tasks for a single test form. To generalize to additional test forms, it would be desirable to document additional content constraints for each column.

범주 가중치 지정

Specify the category weights

테스트 시간은 제한되어 있습니다. 실질적인 문제로서, 내용 가중치 또는 범주 가중치를 사용하여 다른 평가 목표에 시간과 공간을 할당할 필요가 있다. 

• 서면 평가의 경우, 가중치는 각 범주의 [시험 항목 수] 또는 백분율에 해당한다. 

• 시뮬레이션과 작업장 평가의 경우 가중치는 [시험 시간]으로 환산할 가능성이 더 높다. 

Testing time is limited. As a practical matter, it is necessary to allocate time and space to the different assessment objectives through the use of content weights or category weights. 

• For written assessments, the weights correspond to the number or percent of test items for each category. 

• For simulations and workplace assessments, the weights more likely translate to the amount of testing time. 

범주 가중치를 할당할 때 한 가지 어려움은 일반적으로 [평가 목표 수가 사용 가능한 시험 시간을 초과한다는 것]이다. 도메인 샘플링 모델은 이 과제를 설명한다. 모든 테스트가 관심 있는 더 큰 지식 및 기술 영역의 행동 샘플을 나타낸다는 원칙에 기초한다(Tavakol 및 Dennick 2017).

One challenge when assigning category weights is that the the number of assessment objectives usually outweighs available testing time. The domain sampling model speaks to this challenge; it is based on the principle that any test represents a sample of behaviors from the larger knowledge and skill domains of interest (Tavakol and Dennick 2017).

범주 가중치는 도메인 내에서 주제의 중요성을 반영한다(Millman과 Greene 1989). 중요성은 주제에 전념하는 교육 시간, 그것이 실제로 얼마나 자주 적용되는지, 또는 후속 학습을 위한 주제의 중요성에 해당될 수 있다. 범주 가중치는 다양한 의료 조건과 절차의 발병률을 보고하는 국가 데이터에서 도출할 수 있다(Boulet et al. 2003, Baker et al. 2017). 또는 교수진, 거주자 또는 학생과 같은 동료들을 조사하여 주제 중요성을 결정할 수 있다.

Category weights reflect the importance of the topics within a domain (Millman and Greene 1989). Importance might correspond to the instructional time devoted to a topic; how often it is applied in practice; or the criticality of a topic for subsequent learning. Category weights can be derived from national data reporting the incidence of various medical conditions and procedures (Boulet et al. 2003; Baker et al. 2017). Alternatively, one can survey colleagues such as faculty, residents, or students to determine topic importance.

가중치 도출에 대한 이러한 엄격한 경험적 접근방식은 훌륭하지만 덜 까다로운 방법은 또한 강의실 시험에 적합하다. 효과적인 두 가지 전략은 하향식 및 상향식 방법(Raymond 2016)이며, 두 가지 방법 모두 단일 강사에 의해 적용되거나 동료 및 상급advanced 의대생을 포함하여 적용할 수 있다. 

• 하향식 방법에는 Blueprint의 각 주요 범주에 백분율을 할당하여 백분율 합계가 100%가 되도록 합니다. 바람직한 경우, 하위 범주에 대해서도 유사한 방식으로 가중치를 얻을 수 있다. 

• 상향식 방법에는 백분율이 아닌 항목 수를 지정해야 하며, 그 수는 먼저 하위 범주 또는 특정 목적의 [낮은 수준(예: 하위 범주)에서 할당]되어야 합니다. 상향식 접근법의 한 가지 과제는 총 항목 수가 실현 가능한 최대 시험 길이를 초과할 수 있다는 것이다. 따라서 초기 가중치에 대한 일부 조정이 종종 필요하다.

Although these rigorous empirical approaches to deriving weights are admirable, less demanding methods also are suitable for classroom tests. Two effective strategies are the top-down and the bottom-up methods (Raymond 2016), both of which can be applied by a single instructor, or by including colleagues and advanced medical students. 

• The top-down method involves the assignment of percentages to each major category in the blueprint such that the percentages sum to 100%. Weights can be obtained in a similar fashion for subcategories, if desirable. 

• The bottom-up method requires specifying numbers of items, rather than percentages; and that numbers first be assigned at a lower level of the test blueprint (e.g. at the subcategory or specific objective). One challenge with the bottom-up approach is that the total number of items may exceed the maximum feasible test length; consequently, some adjustment to the initial weights is often necessary.

요약 및 결론 설명

Summary and concluding comments

테스트 청사진은 테스트 내용이 커리큘럼과 일치하는지 확인합니다(Notar 등). 2004); 이것은 타당도의 중요한 측면이다(Tavakol 및 Dennick 2017). 테스트 청사진은 특정 테스트의 점수가 더 큰 관심 영역(Kane 2016)으로 일반화되도록 지원함으로써 다른 방식으로 내용 타당화를 지원합니다. 또한 테스트 Blueprint는 응답 프로세스의 타당도를 평가하기 위한 프레임워크를 제공합니다.

Test blueprints assure that the content of a test aligns with the curriculum(Notar et al. 2004); this is a critical aspect of validity (Tavakol and Dennick 2017). Test blueprints support content validation in other ways, by helping to ensure that scores on a specific test generalize to the larger domain of interest (Kane 2016). Test blueprints also provide a framework for evaluating the validity of response processes.

이 문서는 강사가 학생들에게 어떤 가치를 부여하고 기대하는지를 나타내며 학습 가이드로 사용할 수 있습니다. 학생들과 청사진을 공유하는 것에는 장단점이 있지만, 연구는 이러한 관행을 뒷받침한다(McLaughlin et al. 2005; Patil et al. 2015).

They indicate what instructors value and expect of their students, and can be used as a study guide. Although there are pros and cons to sharing blueprint with students, studies support this practice (McLaughlin et al. 2005; Patil et al. 2015).

• Blueprint에 포함된 내용 범주와 역량 영역은 학생들에게 피드백의 기초를 제공한다.

The content categories and competency domains included on test blueprints provide the basis for feedback to students.

• Blueprint는 평가 관련 자료의 개발을 촉진한다. 예를 들어, 시험 청사진을 시뮬레이션 및 작업장 기반 평가를 위한 채점 루빅과 피드백 보고서로 변환하는 것이 간단하다(Mookerjee et al. 2013).

They facilitate the development of assessment-related materials. For example, it is straightforward to transform a test blueprint into scoring rubrics and feedback reports for simulations and workplace-based assessments (Mookherjee et al. 2013).

• Blueprint는 부서별 문항작성 작성 및 검토 작업을 구성하는 데 필수적입니다. 문항 쓰기 과제를 간결하게 전달하기 때문이다 

Test blueprints are essential for organizing departmental item-writing and review efforts because they succinctly communicate item-writing assignments.

• Blueprint는 시험 자료를 관리하기 위한 메타데이터를 제공한다. 일단 시험 청사진에 따라 시험 항목이 코드화되면, 더 큰 항목 풀에서 그것들을 회수하고 다른 목적을 위해 시험 형태로 조립하는 것이 간단하다.

They provide metadata for managing test materials. Once test items have been coded according to a test blueprint, it is straightforward to retrieve them from a larger pool of items and to assemble them into test forms for different purposes.

• Blueprint는 교육의 질 향상에 기여한다. 학생 피드백에 사용된 범주는 또한 교수진에게 교육적 효과의 척도를 제공한다. 시험 청사진은 계획, 지침 및 평가 사이의 연관성을 명확히 하며, 이는 교수진의 자기반성을 고무시킬 수 있다(McLaughlin et al. 2005).

Test blueprints contribute to educational quality improvement. The categories used for student feedback also provide faculty with measures of instructional effectiveness. Test blueprints clarify the connections between planning, instruction, and assessment, which can inspire faculty self-reflection (McLaughlin et al. 2005).

종합에서 해석까지: 어떻게 평가자가 역량기반포트폴리오의 복잡한 데이터를 판단하는가(Adv in Health Sci Educ, 2017)

From aggregation to interpretation: how assessors judge complex data in a competency-based portfolio

Andrea Oudkerk Pool1 • Marjan J. B. Govaerts1 • Debbie A. D. C. Jaarsma2 • Erik W. Driessen1

서론 Introduction

역량 기반 평가의 증가로 포트폴리오가 평가 시스템의 핵심 요소로 인식되고 있습니다. 형식과 내용이 다를 수 있지만, 일반적으로는 포트폴리오는 수행된 작업에 대한 보고, 동료 및 교수진으로부터 받은 피드백, 진행 상황, 역량 향상 방법에 대한 목표 및 계획을 모두 포함하고 있습니다(Driessen et al. 2007).

With the rise of competency-based assessment, portfolios are increasingly seen as the linchpin of assessment systems. Although their format and content may differ, generally they all contain reporting on work done, feedback received from peers and faculty, progress made, and goals and plans on how to further improve competence (Driessen et al. 2007).

세계적으로 여러 의과대학은 학생의 성취도 평가에 포트폴리오가 핵심인 역량 기반 평가 시스템을 구현했다(Dannefer와 Henson 2007; Davis et al. 2001; Driessen 2016; Smith et al. 2003). 이러한 포트폴리오 기반 평가 시스템에서 학생들의 역량 수준에 관한 결정은 일반적으로 전문가의 판단에 의존한다. 전문 심사관은 포트폴리오에서 관련 증거를 선택, 해석 및 통합할 수 있으며, 결과적으로 학생의 역량에 대한 타당한 결정을 내릴 수 있다고 가정한다.

Worldwide, multiple medical schools have implemented competency-based assessment systems in which the portfolio is key to the assessment of students’ achievements (Dannefer and Henson 2007; Davis et al. 2001; Driessen 2016; Smith et al. 2003). In these portfolio-based assessment systems, decisions regarding the students’ level of competence typically rely on expert judgment. It is assumed that expert judges are able to select, interpret, and integrate relevant evidence in the portfolio, and consequently make a valid decision about a student’s competence.

더욱이 최근 훈련 중 평가에 관한 연구는 [교수진이 미래의 임상의에서 중요한 자질로 보는 것]과 [역량 기반 평가에서 정의된 역할] 사이의 불일치를 보여주었다(Ginsburg et al. 2011; Resenting et al. 2016; Rosenbluth et al. 2014). 학생들의 임상 역량 수준을 평가하도록 요청받았을 때, 교수진은 레지던트에 따라 특정 측면에 다양한 중요도를 부여했다. 즉, 뛰어난 학생의 단점은 무시될 수 있는 반면 약한 학생들의 강한 속성은 간과할 수 있었다(긴스버그 외. 2010). 게다가, 평가자에게 중요한 일부 구조는 고려할 역량조차 아니었다. 예를 들어, 평가자는 학생이 감독관에게 어떤 영향을 미치는지에 큰 중요성을 부여했습니다('직원에 미치는 영향').

Moreover, recent studies on in-training evaluations revealed a discrepancy between what faculty see as important qualities in a future clinician, and the roles defined within competency-based assessment (Ginsburg et al. 2011; Renting et al. 2016; Rosenbluth et al. 2014). When asked to assess students’ level of clinical competence, faculty assigned varying degrees of importance to certain aspects depending on the resident: shortcomings of exceptional students could be discounted while strong attributes of weaker students were overlooked (Ginsburg et al. 2010). Besides, some constructs that were of importance in the considerations of assessors were not even competencies at all. For example, assessors attached great importance to how the student affected the supervisor (coined ‘impact on staff’).

효과적인 교육에 대한 [공통된 비전]을 가지고 있고 많은 [동일한 증거]를 인용하는 평가자도 [상당히 다른 '이야기' 또는 수행에 대한 해석적인 요약]을 개발할 수 있다(슈츠와 모스 2004).

even assessors who hold a shared vision of effective teaching and who cite much the same evidence can, nonetheless, develop significantly different ‘stories’ or interpretive summaries of performance (Schutz and Moss 2004).

방법론 Methodology

세팅 Setting

이 연구는 네덜란드 마스트리히트 대학의 의학 석사 프로그램에서 정해졌다. MiM 커리큘럼은 의학 학사 이후 3년 동안 계속됩니다. 그것은 임상실습, 연구 프로젝트, 그리고 일렉티브로 구성되어 있다. 커리큘럼은 CanMEDs 프레임워크를 중요한 평가 프레임워크로 사용하여 역량 기반 교육과 평가의 원칙에 따라 설계되었다(Frank와 Danoff 2007). 역량 기반 평가는 학생들이 각 역량 영역에서 학습 및 개발 증거를 수집하고 반성하는 웹 기반 포트폴리오 시스템에 의해 지원된다(Moonen-van Loon et al., 2013). 모든 학생들에게는 자신의 평가와 성찰, 학습 목표 설정 등을 지도함으로써 학생의 역량 개발을 감시하는 멘토가 배정된다. 멘토와 학생은 1년에 3~4번 만나며, 그 동안 멘토는 역량 개발 및 포트폴리오에 대해 학생들과 논의합니다.

The research was set in the Master’s in Medicine (MiM) programof Maastricht University, the Netherlands. The MiM curriculum spans a 3-year period following the bachelor’s in Medicine. It consists of clerkships, a research project, and electives. The curriculum has been designed according to the principles of competency-based education and assessment, using the CanMEDS framework as overarching assessment framework (Frank and Danoff 2007). Competency-based assessment is supported by a web-based portfolio system in which students collect and reflect on evidence of their learning and development in each of the competency domains (Moonen-van Loon et al. 2013). Every student is assigned a mentor who monitors the student’s competency development by guiding the student in his or her self-assessments and reflections, and in setting learning goals. Mentor and student meet three to four times per year, during which the mentor discusses the competency development and portfolio with the student.

참여자 Participants

우리는 의도적으로 최대 변동 샘플링(Patton 1990)을 사용하여 18명의 멘토-평가자를 선택했습니다. 평가자의 의료 배경의 변화를 극대화하기 위해 다양한 의료 전문 분야(가족 의료 및 외과 및 비외과 전문 분야)에서 

We purposefully selected 18 mentor-assessors using maximum variation sampling (Patton 1990). To maximize variation in assessors’ medical backgrounds, we selected assessors from different medical specialties (Family Medicine and surgical as well as non-surgical specialties).

학생 포트폴리오 Student portfolio

본 연구의 목적을 위해, 연구팀은 (심리학자, 두 명의 교육학자, 그리고 한 명의 수의사로 구성된) 3개의 서로 다른 학생 프로필을 대표하는 3개의 모의 포트폴리오를 개발했으며, 각각은 다양한 수준의 역량 성취도를 반영했다. 이전 연구에서 평가자가 비의료 전문가 역량을 평가하는 데 어려움이 있다는 것을 보여주었기 때문에, 학생 프로파일에서 우리는 [의료 전문가 역량]과 [다른 역량]을 구별하기로 결정했다(Whitehead et al. 2015).

For the purpose of this study, the research team (consisting of a psychologist, two educationalists and a veterinarian) developed three mock portfolios representing three different student profiles, each reflecting varying levels of competency achievement. In our student profiles we chose to make a distinction between de medical expert competency and other competencies because previous research has shown that assessors have difficulty assessing the non-medical expert competencies (Whitehead et al. 2015).

• 포트폴리오 (A) 의료 전문가 영역에서는 주로 긍정적인 피드백, 관리자와 의사소통 영역에서는 비판적 피드백과 긍정적인 피드백, 

• 포트폴리오 (B) 의료 전문가 분야에서 비판적인 긍정적인 피드백, 그러나 다른 역량에 대한 긍정적인 피드백, 그리고 

• 포트폴리오(C)는 모든 도메인에서 주로 긍정적인 피드백입니다.

• portfolio (A) predominantly positive feedback in the medical expert domain, but both critical and positive feedback in the domains of manager and communicator; 

• portfolio (B) both critical and positive feedback in the domain of medical expert, but predominantly positive feedback on the other competencies; and 

• portfolio (C) predominantly positive feedback in all domains.

포트폴리오에는 학생의 자체 평가, 작업장 기반 평가(mini-CEX, DOPS, 현장 노트, 다중 소스 피드백), 진행 시험 결과, CV 등을 포함한 [18주 기간의 임상 로테이션] 동안 수집된 학생의 역량에 대한 증거가 포함되어 있었다. 각 포트폴리오에는 서술적 피드백, 역량 등급 및 자격(즉, 불충분, 충분 및 양호)과 개별 CanMED 역량과 관련된 테스트 결과가 포함되었습니다. 그림 1은 본 연구에 사용된 온라인 포트폴리오 환경의 인쇄 화면을 제공합니다.

The portfolios contained evidence on a student’s competencies collected during a single 18-week clinical rotation, including student’s self-assessments, workplace-based assessments (mini-CEXs, DOPSs, field notes, multi-source feedback), progress test results, and a curriculum vitae. Each portfolio comprised narrative feedback, competency ratings and qualifications (i.e., insufficient, sufficient, and good) as well as test results pertaining to each of the individual CanMEDS competencies. Figure 1 provides a print screen of the online portfolio environment used for this study.

윤리 Ethical approval

자료 수집과 분석 Data collection and analysis

24명의 멘토 평가자를 이메일로 초대하여 참여 전에 동의를 받았습니다. 18명의 평가자들이 우리의 초대에 응했다. 각 평가자는 세 가지 포트폴리오 버전 중 하나를 제시받았고, 따라서 각 포트폴리오 버전은 여섯 명의 평가자에 의해 평가되었다.

We invited 24 mentor–assessors via e-mail to participate and obtained their consent prior to participation. Eighteen assessors responded to our invitation. Each assessor was presented one of the three portfolio versions, each portfolio version was therefore assessed by six assessors.

평가자들은 이 내용을 주의 깊게 읽고 '부족하다', '충분하다', 또는 '좋다'고 평가함으로써 학생의 전반적인 직업적 역량에 대한 전체적인 판단을 내리도록 지시받았다.

Assessors were instructed to carefully read it and provide a holistic judgment of the student’s overall professional competence by rating it as ‘insufficient,’ ‘sufficient,’ or ‘good.’

포트폴리오 평가 중 평가자의 인지 처리를 포착하기 위해, 우리는 think-aloud 방식(Van Someren et al., 1994)을 사용했는데, 이는 우리가 평가자들에게 포트폴리오를 읽고 평가하는 동안 모든 생각, 아이디어 및 결정을 언어화하도록 지시했다는 것을 의미한다. 만약 그들이 몇 초 이상 침묵한다면, 우리는 그들에게 그들의 생각을 계속 말하라고 상기시켰다.

To capture assessors’ cognitive processing during portfolio evaluation, we employed the think-aloud method (Van Someren et al. 1994), which means that we instructed assessors to verbalize all their thoughts, ideas, and decisions while reading and evaluating the portfolio. If they fell silent for more than a few seconds, we reminded them to keep verbalizing their thoughts.

결과 Results

평가자의 정보 처리과정: 3단계 순환적 프로세스 

Assessors’ information processing: a 3-phase cyclical process

정보 처리에서 모든 평가자는 각각 정보를 [획득, 조직, 통합]하는 유사한 순환 패턴을 따랐다. 

• 첫 번째 단계에서 평가자는 가장 중요하고 신뢰할 수 있는 근거 중 판단의 근거가 되는 것으로 간주되는 정보를 선택하였다. 

• 이 정보를 검토한 후, 그들은 그것이 학생들의 [역량의 여러 측면aspects]에 대한 [정보에 근거한 판단]에 기여하는지 여부와 그 방법을 정의했다. 

• 평가자들은 그 후에 다양한 증거의 출처를 따져보고 학생의 능력에 대한 예비판단을 결정했다.

In processing information, all assessors followed a similar cyclical pattern of acquiring, organizing, and integrating information, respectively. 

• During the first phase, assessors selected the information they considered the most important and credible pieces of evidence upon which to base their judgment. 

• After reviewing this information, they defined if and how it contributed to an informed judgment about aspects of student’s competence. 

• Assessors subsequently weighed the various sources of evidence and decided on a (preliminary) judgment of the student’s competence.

첫 번째 라운드가 끝나자, 평가자는 나머지 포트폴리오 증거를 검토하여 추가 확인 또는 확인되지 않은 데이터를 찾아 정보 획득 단계를 반복했고, 이는 다시 정보의 조직과 통합에 영향을 미쳤다. 이 반복적인 과정은 평가자가 학생의 능력에 대한 판단을 내릴 수 있을 만큼 충분한 정보를 얻었다고 느낄 때까지 평가자가 새로운 포트폴리오 증거를 검토할 때마다 반복되었다. 여러 출처의 다른 증거들을 비교함으로써, 평가자들은 점차적으로 학생의 역량 패턴을 인식하게 되었다.

Upon conclusion of the first round, assessors reviewed the remaining portfolio evidence to look for additional confirming or disconfirming data thereby repeating the information acquisition phase which, in turn, influenced the organization and integration of information. This iterative process was repeated every time the assessor reviewed new portfolio evidence, until assessors felt they had obtained enough information to make a judgment about the student’s competence. By comparing different pieces of evidence from multiple sources, assessors gradually came to recognize patterns in the student’s competence.

더욱이 중요한 발견은 다음과 같은 명백한 증거에 직면했을 때조차 [평가자가 초기 판단을 고수하는 경향]이 있다는 것이다. 비록 그들의 최종 판단이 그들의 예비판단에 비해 더 정교하고 세밀했지만, 그들은 그들의 초기판단과 실질적으로 다르지 않았다. 학생 프로파일 간의 차이는 학생의 능력에 대한 평가 과정이나 평가자의 전반적인 판단에 영향을 미치지 않는 것으로 보였다. 대부분의 평가자들은 학생들의 능력이 충분하다고 평가했다.

A salient finding, moreover, was that assessors were inclined to stick to their initial judgments even when confronted with seemingly disconfirming evidence: Although their final judgments were, indeed, more elaborate and detailed compared to their preliminary judgments, they were not substantially different from their initial judgments. Differences between student profiles did not seem to affect the judgment process or assessors’ overall judgment of the student’s competence: Most assessors rated the students’ competence as sufficient.

학생 평가에 대한 평가자의 독특한 접근 방식

Assessors’ idiosyncratic approaches to the student evaluation

어떤 평가자는 최종 판단을 내리기 전에 전체 포트폴리오를 읽지만, 다른 평가자는 주로 자신의 판단에 inform하기 위해 학생의 자체 평가 또는 직장 기반 평가 데이터에 의존했고, 대체로 추가적인 포트폴리오 증거를 무시했다.

While some assessors read the entire portfolio before providing their final judgment, others mainly relied on either the student’s self-evaluation or workplace-based assessment data to inform their judgment, largely ignoring additional portfolio evidence.

다음 단락에서는 이 세 가지 평가자 간 차이에 대해 좀 더 자세히 논의한다.

The following paragraphs will discuss each of these three inter-assessor differences in more detail.

평가자가 신뢰할 수 있는 포트폴리오 증거라고 믿었던 것의 차이

Differences in what assessors believed to be credible portfolio evidence

첫째, 평가자는 자신의 판단에 inform하기 위해 주로 서술적 피드백에 의존한다는 점을 주목해야 한다. 이는 다른 사람이 제공하는 개선사항에 대한 구체적인 제안뿐만 아니라 학생의 발전, 강점 및 약점에 대한 의미 있고 상세한 정보를 제공했기 때문이다. 성적과 자격은 단지 서술에 근거한 인상을 확인하는 데 사용되었다.

First it should be noted that assessors mainly relied on narrative feedback to inform their judgment, because this provided meaningful and detailed information about the student’s development, strengths and weaknesses, as well as specific suggestions for improvement as provided by others. Grades and qualifications were merely used to confirm impressions based on narratives.

이러한 공통성에도 불구하고, 평가자들은 [어떤 종류의 서술적 증거가 학생의 능력에 대한 가장 가치 있고 신뢰할 수 있는 정보를 제공하는지]에 대해서는 다양한 신념을 가지고 있었다.

Despite this commonality, assessors had varying assessment beliefs about what kind of narrative evidence gave the most valuable and credible information about the student’s competence.

예를 들어 평가자들은 평가를 시작하기 위해 서술적 증거의 여러 부분들을 선택하였다. 일부 평가자들은 직장 기반 평가에 대한 서술적 코멘트가 학생들의 능력에 대한 가장 확실한 증거를 생성한다고 믿고 있다. 그러나, 다른 이들은 학생들의 자기 평가와 성찰적인 글을 읽기 시작했는데, 이는 그들이 결과적으로 학생들의 주장이 정당한지 확인하기 위해 읽은 중요한 피드백 논평과 평가 양식에 대한 언급을 포함할 것이라고 가정했기 때문이다.

Assessors, for instance, chose different pieces of narrative evidence to start their evaluation: some selected narrative comments on workplace-based assessments, believing that these would generate the most authentic evidence of students’ abilities; Other, however, started reading the student’s self-evaluations and reflective writings as they assumed these would contain reference to salient feedback comments and assessment forms which they consequently read to check if the student’s claims were justifiable.

출처는 또한 증거의 신빙성을 결정하는 데 있어 중요한 것으로 보였다. 일부 평가자는 주로 의사로부터의 피드백에 의존했다. 왜냐하면 그들은 그들이 학생 역량에 대한 정확하고 의미 있는 피드백을 제공할 가능성이 가장 높기 때문이다. 반면, 다른 평가자는 동료 학생 및 간호사의 피드백을 선호했다. 다른 평가자는 학생들과 더 가깝게 일했고, 따라서 직접 관찰할 수 있는 더 많은 기회를 가졌을 것이다. 

The source also appeared to matter in deciding on the credibility of evidence: Some assessors mainly relied on feedback from physicians because they perceived them as content experts most likely to provide accurate and meaningful feedback on student competence; Others, in contrast, preferred feedback from fellow students and nurses who, they presumed, had worked more closely with students and therefore had more opportunities to directly observe them.

소스 선호도의 평가자 간 차이도 [평가자의 기준 프레임]과 [학생-감독관 관계에 미칠 영향]에서 비롯되었다. 예를 들어, 복수 평가자는 [학생이 서로 다른 시점에 동일한 사람으로부터 피드백을 받았을 때] 학생의 진도가 더 안정적으로 설정될 수 있다는 믿음을 표현했다.

Between-assessor differences in source preferences also stemmed from assessors’ frames of reference and the presumed impact of student-supervisor relationships. for instance, multiple assessors expressed their belief that student’s progress could be established more reliably when the student had received feedback from the same person at different points in time,

동시에, 다른 평가자는 여러 평가자의 입력input을 가치 있게 평가했으며, 이는 1인 피드백에 비해 더 신뢰할 수 있고 더 유용한 것으로 추정했다. 선호도를 설명할 때, 몇몇 평가자는 선택 편향에 대한 인식(즉, 학생들이 피드백을 제공하기 위해 의도적으로 더 관대한 평가자를 선택)과 충돌을 피하기 위해 부정적인 의견을 적기를 꺼리는 피드백 제공자를 유발했다.

At the same time, other assessors did value the input from multiple assessors, which they estimated to be more reliable and more informative compared to single-person feedback. In explaining their preferences, several assessors invoked perceptions of selection bias (i.e., students purposively selecting more lenient assessors to provide feedback) and feedback providers’ reluctance to write down negative comments so as to avoid conflicts:

마지막으로, 포트폴리오의 평가 데이터는 또한 감독의 퀄리티애 대한 다양한 인상을 유도했다. 예를 들어, 감독자가 상세한 서면 피드백을 제공하지 못했을 때, 여러 평가자는 감독자가 필수 코멘트를 적었으며 구두로 보다 정교한 피드백을 제공했다고 가정했다. 그러나 다른 사람들은 그 학생이 관찰되지 않았다고 믿었고 따라서 감독관 평가의 신뢰성에 의문을 제기했습니다.

Finally, the assessment data in the portfolio also induced different impressions about the quality of supervision. When a supervisor, for instance, failed to provide detailed written feedback, several assessors assumed that the supervisor had probably written down the essential comments and had provided more elaborate feedback verbally. Others, however, believed that the student had gone unobserved and therefore questioned the credibility of the supervisors’ assessments.

무엇이 '역량'을 구성하는지에 대한 해석의 차이

Differences in interpretations of what constitutes ‘competence’

무엇이 역량을 구성하는지에 대한 이러한 가변적 해석의 결과로, 평가자들은 판단을 내리기 위해 학생에 대해 무엇을 알아야 하는지에 대해 다르게 생각했다. 흥미롭게도, 이러한 소위 '성과 이론'은 공식적인 평가 기준에서 벗어나는 경향이 있었다.

As a result of these variable interpretations of what constitutes competence, assessors thought differently about what they needed to know about the student to be able to form a judgment. Interestingly, these so-called ‘performance theories’ tended to deviate from the formal assessment criteria.

한 평가자 그룹은 학생들의 역량을 [그들이 자신의 학습 과정에 적극적으로 참여하고 역량 향상을 위한 피드백을 효과적으로 사용하는 정도]로 정의했다. 좀 더 구체적으로, 그들은 [학습과 평가에 대한 적극적인 참여]를 좋은 학생의 핵심적 자질이라고 생각했다. 따라서, 성장을 확립하기 위해, 그들은 종종 포트폴리오 증거를 시간 순으로 읽어서 임상 로테이션 초기에 잘 진행되지 않았던 측면이 시간이 지남에 따라 개선되었는지 여부를 점검한다. 비슷하게, 그들은 학생이 개선이 필요한 모든 측면을 추적했는지 확인하기 위해 작업영역 기반 평가와 피드백을 선별했다. 그들은 또한 학생들이 학습 목표와 약속에 대해 후속 조치를 취하는 것이 필수적이라고 생각했기 때문에 학생들의 자기 평가와 학습 목표를 포함했다. 이 평가자 그룹에 따르면, [학생이 시간이 지남에 따라 충분히 향상되고 적극적으로 개선하려고 노력했다는 충분한 증거]가 있는 한, 학생의 역량이 반드시 표준에 달해야 하는 것은 아니다.

One group of assessors defined students’ competence in terms of the extent to which they actively engaged in their own learning process and effectively used feedback for competence improvement. More specifically, they considered active engagement in learning and assessment a key quality of a good student. Hence, to establish growth, they often read the portfolio evidence in chronological order to check if aspects that did not go well in the beginning of the clinical rotation had improved over time. In the same fashion, they screened the workplace-based assessments and feedback to verify whether the student had followed-up on all the aspects that needed to improve. In their perusal, they also included the student’s self-assessment and learning goals as they felt that it was vital to know if students did follow up on learning goals and appointments. According to this group of assessors, the student’s competence did not necessarily have to be up to standard as long as there was enough evidence that the student had sufficiently improved over time and actively tried to improve:

다른 평가자들은 [스스로의 역량을 성찰하는 능력]에 의해 학생들의 능력 수준을 측정했다. 결과적으로, 그들은 학생이 하나 이상의 영역에서 자신의 역량을 인식하지 못하는 경우라면 절대 안 된다는 점을 고려하여 학생의 자기반성을 검토하는 것으로 시작했다.

Other assessors measured students’ level of competence by their ability to reflect on their own competencies. Consequently, they started by reviewing the student’s self-reflections, considering it a no–no when a student was not aware of his or her competence in one or more areas:

'역량'에 대한 평가자의 해석 사이에 발견된 최종 차이는 포트폴리오의 다양한 CanMED 역량 영역에 가중치를 부여하고 평가하는 방식에 반영되었다. 포트폴리오 버전에 관계없이 대부분의 평가자는 구체적으로 '의료 전문가', '관리자' 및 '의사소통가' 역량을 대상으로 하여 나머지 역량을 검사했지만, 어떤 평가자들은 모든 범위의 역량에 초점을 맞추려고 했다. 후자와 같은 방식은 잘 정의되지 않은 역량(예: 건강 옹호자 또는 학자)에 대한 귀중한 피드백을 수집하는 것이 학생들에게 상당히 어려운 과제이기 때문에 학생 간에 차별화를 가능하게 했다. 따라서, '잘 정의되지 않는 역량'에 대한 과제를 수행할 수 있고, 이러한 증거를 성찰하는 학생들은 평균 이상이며 학습에 열심인 것으로 간주되었습니다.

A final distinction we found between assessors’ interpretations of ‘competence’ was reflected in the way they weighted and valued the various CanMEDS competency domains in the portfolio. While most assessors, regardless of portfolio version, specifically targeted ‘medical expert’, ‘manager’, and ‘communicator’ competencies and scanned the remaining competencies, others sought to bring into focus the full range of competencies. This latter tactic allowed them to differentiate between students, as collecting valuable feedback on the less well defined competencies (e.g., health advocate or scholar) is quite a challenge for students. Hence, students who were able to do so and reflected on this evidence were considered to be above average and eager to learn:

평가자가 포트폴리오 증거를 해석하는 방법의 차이

Differences in how assessors construed the portfolio evidence

전체 판단 과정 동안 평가자는 포트폴리오에 포함된 [증거에 자신의 의미를 부여]하여 학생의 능력과 태도에 대한 서로 다른 추론을 유도했다. 좀 더 구체적으로 말하면, 동일한 정보 부분에 기초하여 평가자들은 다른 결론을 도출했다. 예를 들어 학생들의 역량 및 성취에 대한 책임에 관한 것이다. 특정 학생의 직장 기반 평가에 대한 '불충분함insufficient' 등급에 대하여, [한 평가자가 지식의 부족으로 해석]한 반면, [다른 평가자는 그것을 불안정insecurity]으로 돌렸다. 반대로, 일부에서는 평가자와 감독자의 경험에서, 서면 평가는 일반적으로 평가를 후하게 하는 측면에 있다는 것을 배웠기 때문에, 장기간에 걸쳐 '충분함sufficient' 등급을 받은 학생은 '저조한 수행능력'을 가진 것으로 해석되었다.

Throughout the entire judgment process assessors lent their own meanings to the evidence included in the portfolio, leading to different inferences about the student’s competence and attitude. More specifically, based on the same pieces of information assessors drew different conclusions, for instance about students’ responsibility for their competence and achievement: An insufficient rating on a workplace-based assessment of a specific student, was construed by one assessor as the result of a lack of knowledge, while another attributed it to insecurity. Conversely, sufficient ratings over a prolonged period of time were construed as underperformance by some, since they had learned from experience as an assessor and supervisor that written assessments were generally on the positive side be as supervisors eschew failing a student:

그리고 나서 나는 그 '부족함'이라는 판단을 내리는 것이 얼마나 어려운 일인지 깨닫는다. 평가자는 학생에 대한 영향력을 누그러뜨리려는 경향이 있고, 그래서 1점이나 2점을 주는 것은 매우 어려우므로, 보통 3을 준다. 그리고 그것이 내가 누군가가 3점밖에 얻지 못할 때 조심하는 이유이다. 사실, 그 세 가지는 3점 대신 1점부터 3점까지를 의미할 수 있기 때문입니다. (평가자 12)

And then I realize how hard it is to deliver that emphatic ‘insufficient.’ You are inclined to soften the blow for that person and then it is very difficult to give a one1 or a two, so you give a three. And that is why I am cautious when someone only scores threes. Really, because those threes could also be taken to mean a score of one to three, instead of a three. (Assessor 12)

그러나 다른 평가자들은 학생에 대한 약간의 배경 정보가 없이는 포트폴리오의 평가 피드백에 대한 정확한 해석을 할 수 없다고 느꼈다. 이 평가자들은 또한 학생들의 과외 활동, 관심사, 취미에도 관심이 있었다. 학생의 배경에 대해 좀 더 알기 위한 노력으로 일부 평가자는 실제로 학생의 CV를 읽으면서 포트폴리오 검토를 시작했습니다.

Yet other assessors felt they could not make an accurate interpretation of the assessment feedback in the portfolio without having some background information about the student. These assessors were also interested in the student’s extracurricular activities, interests, and hobbies. In an effort to know more about the student’s background, some assessors actually commenced their portfolio review by reading the student’s curriculum vitae:

위에 명명된 성과 데이터의 다른 해석은 학생의 수행능력에 대한 다양한 추론을 초래했고 역량 프레임워크의 특정 요소에 대해서도 서로 동등하지만, 서로 다른 판단으로 이어졌다.

The above-named different interpretations of performance data led to varying inferences about a student’s performance and to equally dissimilar judgments about specific components in the competency framework.

예를 들어, 포트폴리오 A를 읽을 때, 평가자 1은 '의료 전문가' 역할에 큰 중요성을 부여했고, 따라서 구체적으로 이 역량에 대한 모든 포트폴리오 증거를 찾아보았다. 결과적으로, 이 평가자는 이 역량에 대한 가장 신뢰할 수 있는 정보는 의사로부터 얻었으며 직장 기반 평가에서 찾을 수 있다고 믿었다. 결국, 평가자는 학생이 의료 전문가 영역에서 능력이 부족하기 때문에 학생의 역량이 문제가 된다고 추론했다.

When reading portfolio A, for instance, assessor 1 attached great importance to the ‘medical expert’ role and therefore specifically looked for all portfolio evidence about this competency. Consequently, this assessor believed that the most reliable information about this competence came from doctors and could be found in the workplace-based assessments. In the end, the assessor inferred that the student’s competence was problematic since the student lacked competence in the medical expert domain.

그러나 동일한 포트폴리오를 읽은 평가자 2는 학생의 발전progress 상황을 파악하는 데 더 관심이 있었습니다. 이 평가자는 다중 소스 피드백의 코멘트를 읽음으로써 자신이 그렇게 할 수 있을 것이라고 믿었는데, 이 피드백은 장기간에 걸쳐 학생의 능력에 대한 여러 사람의 의견을 포함하기 때문이다. 학생이 의료 전문가 역량에 주의를 기울여야 한다는 점은 인정했지만, 평가자는 학생이 임상 교대 중에 상당히 개선되었기 때문에 우려를 갖지 않았다.

Assessor 2, however, who read the same portfolio, was more interested in determining the student’s progress. This assessor believed that by reading the comments in the multisource feedback he would be able to do so, because this feedback contained opinions of multiple people about the student’s competence over a longer period of time. Although acknowledging that the student should pay attention to the medical expert competency, the assessor was not concerned because the student had improved considerably during the clinical rotation.

고찰 Discussion

우리의 연구 결과는 평가자의 정보 처리는 정보의 획득, 구성 및 통합의 반복적인 단계에 의해 특징지어진다는 것을 시사한다. 평가자 인식에 대한 이전 연구에서도 유사한 단계가 발견되었습니다(Gauthier et al. 2016). 비록 모든 평가자들이 그들의 신뢰도 판단, 수행 이론 및 추론의 차이에서 증명되었듯이, 평가자들은 각자의 고유한 접근법을 가지고 있었지만, 그들은 결국 동일한 전반적인 판단에 도달했다. 이 결과는 Gingerich 등의 연구(2014년)와 일치한다. 평가자는 판단에 대해 다른 원인 설명을 제공했지만, 유사한 판단을 내리고 있었다.

Our findings suggest that assessors’ information processing is characterized by iterative phases of acquiring, organizing and integrating information. Previous research on rater cognition has found similar phases (Gauthier et al. 2016). Although all assessors had their unique approaches, as evidenced by differences in their credibility judgments, performance theories, and inferences, they eventually reached the same overall judgments. This finding is consistent with research by Gingerich et al. (2014) : While raters provided differentcausal explanations for their judgment, subgroups of raters were making similar judgments.

우리는 또한 평가자의 증거 선택과 이 증거가 그들의 판단에 영향을 미치는 정도는 포트폴리오 증거의 신뢰성에 대한 믿음에 의해 강하게 지배된다는 것을 발견했다.

We also found that assessors’ selection of evidence and the extent to which they let this evidence influence their judgment were strongly governed by their beliefs about the credibility of the portfolio evidence.

피드백에 직면했을 때, 학생들은 [자신의 성장에 inform하는 데 어떤 정보를 사용할지 결정]하기 위해 피드백의 신뢰성을 판단했습니다. 평가자와 마찬가지로, (학생에게도) 피드백의 출처는 신뢰도 판단에 중요한 역할을 했다. 예를 들어, 학생들이 개인의 임상적 역량을 존중할 때, 그들은 피드백을 더 쉽게 받아들일 것이다.

When confronted with feedback, students judged the credibility of this feedback in order to decide which information they would use to inform their development. As with the assessors, the source of feedback played an important role in their credibility judgment. When students, for example, respected the individual for his or her clinical competence, they would more readily accept the feedback.

Watling 외 연구진(2012)과 현재의 연구는 모두 정보의 신뢰성을 평가할 수 있으려면 피드백 소스를 아는 것이 필수적이라는 것을 입증한다.

both research by Watling et al. (2012) and the present research demonstrate that it is vital to know the feedback source in order to be able to assess the information’s credibility.

우리의 연구 결과는 또한 평가자들이 [정보에 입각한 결정]을 내리기 위해 [학생에 대해 알아야 할 것에 대한 믿음]을 가이드하는 [서로 다른 수행 이론]을 가지고 있다는 것을 보여주었다. 이전 연구를 확인하면서, 본 연구의 평가자들은 포트폴리오 구조를 제공하는 역량 프레임워크의 외부적인 측면(예: 학생 진행 및 자기반성과 같은)에 근거하여 판단했습니다.

Our findings also revealed that assessors held different performance theories which guided their beliefs about what they needed to know about a student to be able to make a well-informed decision. Confirming previous research , the assessors in our study also based their judgments on aspects (such as student progress and self-reflections) that were external to the competency framework providing the portfolio structure.

직접적인 관찰에 기초한 판단은 본질적으로 자동적 의사결정 과정을 포함한다. 사람 분류와 관련된 자동 의사결정 프로세스는 변환 오류와 역량 간의 차이를 평가할 수 없는 평가자로 이어질 수 있다는 것이 입증되었다(Kolars et al. 2003; Macrae and Bodenhausen 2000). 또한 자동 의사 결정에는 최적의 솔루션은 아니지만, 만족스러운 솔루션을 찾는 프로세스를 가속화하기 위해 사용되는, [경험적 접근 기술]의 사용이 포함된다. 유사한 의사결정 문제가 종종 더 일찍 직면하는 경우, 의사결정자들은 쉽게 의사결정에 도달하기 위해 쉽게 이용할 수 있는 전략을 사용하는 경향이 있다(Tversky와 Kaneman 1975). 

Judgments based on direct observations inherently involve automatic decision-making processes. It has been demonstrated that automatic decision-making processes involving the categorization of people could lead to conversion errors and assessors’ inability to differentiate between competencies (Kolars et al. 2003; Macrae and Bodenhausen 2000). Furthermore, automatic decision-making involves the use of heuristic techniques used to speed up the process of finding a satisfactory, though possibly not optimal, solution. If similar decision-making problems have often been faced earlier, decision makers tend to use readily available strategies to arrive at a decision more easily (Tversky and Kahneman 1975). 

우리의 연구에서, 휴리스틱 사용을 포함한 다양한 자동적 과정들이 평가자들의 의사 결정에도 중요한 역할을 하는 것처럼 보였다. 예를 들어 평가자는 자동으로 특정 피드백 소스를 선호한다. 또한 그들의 추론은 이전의 경험에 의해 형성되었다. 평가자는 유사한 학생에 대한 이전의 경험에 기초하여 포트폴리오 증거에 인과적 설명을 자동으로 할당했다. 비록 이러한 자동적 의사결정 과정이 판단 과정에 영향을 주었고, 평가자의 평가 이면에 있는 추론의 차이를 야기시켰지만, 평가자들은 학생들의 역량을 평가하는 데 아무런 어려움을 겪지 않았다. 더욱이, 그들의 최종적인 전반적인 평가는, 자동적인 의사결정 과정에서의 차이에도 불구하고, 조화를 이루었다.

In our study, various automatic processes including use of heuristics seemed to play a role in assessors’ decision-making as well. Assessors, for example, automatically favoured particular feedback sources. Furthermore, their inferences were shaped by previous experiences: Assessors automatically assigned causal explanations to portfolio evidence based on earlier experiences with similar students. Although these automatic decision-making processes influenced the judgment process and caused differences in assessors’ reasoning behind their evaluations, assessors experienced no difficulty assessing the students’ competence. What’s more, their final overall assessments were in harmony, despite the differences caused by automatic decision-making processes.

본 연구는 포트폴리오의 자기 평가 및 반성적 작성을 포함한 다양한 유형의 작업장 기반 평가 및 성과 평가 옆에 평가자에게 의미 있고 중요한 정보를 추가한다고 제안합니다. 분명히, 자기 평가와 성찰적 글은 평가자에게 직장 기반 평가에서 추론할 수 없는 정보를 제공한다. 우리 연구의 또 다른 중요한 기여는 평가자는 [학생의 배경에 대한 보다 일반적인 정보를 얻고 해석함으로써] 평가를 맥락화할 필요가 있다고 느낀다는 점이다.

our study suggests that, next to various types of workplace-based assessments and performance evaluations, including self-assessments and reflective writing in the portfolio adds information that is meaningful and important to assessors. Apparently, self-assessments and reflective writings provide assessors with information that cannot be inferred from workplace-based assessments. Another important contribution of our study is the observation that assessors feel need to contextualize the assessment by obtaining and interpreting more general information about the student’s background.

한계 Limitations

다음으로, think-aloud 절차는 다양한 사고 과정이 자동적이거나 너무 빨리 일어나 언어화할 시간이 없기 때문에 언어화할 수 없다는 한계가 있다(2003년 헌장). 비록 참가자들의 언어화가 일관되고 완벽해 보이지만, 우리가 모든 사고 과정을 포착하지 못했을 수도 있다는 점을 고려해야 한다. 더욱이, think-aloud를 사용하는 것은 참가자가 실제 사고과정을 보고하기 보다는 연구자를 만족시키기 위해 설명을 작성할 위험이 있다. 그러나, 우리는 think-aloud 절차 외에도, 참가자들에게 왜 그들이 특별한 결정을 내렸는지에 대한 질문을 받는 반구조적인 인터뷰도 실시했습니다. 또한, 참가자의 의사결정의 중요한 공통적인 측면이 포착됨을 나타내는 12명의 참가자 후에 이론적 포화에 도달했다.

Next, the think-aloud procedure inherently harbours a limitation in that various thought processes cannot be verbalized because they are either automatic or happen so quickly that there is no time to verbalize them (Charters 2003). Although the participants’ verbalizations seem coherent and complete, it should be taken into account that we might have not captured all thought processes. Furthermore, using think-aloud procedures has the risk of participants creating explanations to satisfy the researcher rather than reporting their actual thought processes. However, in addition to the think-aloud procedure, we also conducted semi-structured interviews in which participants were asked about the reasons why they made particular decisions. Also, theoretical saturation was reached after 12 participants indicating that important common aspects of participants’ decision-making are captured.

실질적 함의 Practical implications

이 연구는 학생들의 역량에 대해서 평가자가 자신의 판단을 설명하는 것이 중요함을 재차 강조한다. 평가자의 설명explanation 에서 확인된 차이는, (역량에 대한) 의사결정이 개별적으로 이루어지는 것이 아니라, 그룹 토론에서 비롯되어야 한다는 것을 시사한다. 복수 평가자가 학생의 역량에 대해 동일한 일반적인 판단에 도달할 수 있지만, [개별 역량에 대한 판단]과 [전체적인 판단 이면에 있는 추론]에 있어 다르다.

This study reiterates the importance of assessors explaining their judgments about students’ competence. Differences between assessors’ explanations suggest that decisions should not be made individually, but should result fromgroup discussions. Although multiple assessors may reach the same general judgment about a student’s competence, they do differ in their judgments of individual competencies and the reasoning behind their overall judgments.

또한, [다른 평가자의 판단 정책을 논의하는 것]은 평가자가 [자신의 평가 방법이 보편적으로 공유되지 않는다는 사실]을 인식하게 할 것이다. 그것은 그들이 역량과 포트폴리오 해석의 다른 관점에 익숙해지도록 도울 것이다. 이를 통해 평가자는 자신의 평가 프로세스에 다른 평가자의 평가 관행을 통합하고 역량 평가를 위한 '공유된 정신 모델'을 구축할 수 있다.

Also, discussing judgment policies of other assessors will make assessors aware of the fact that their method of assessment is not universally shared. It will help them to become acquainted with other views of competence and portfolio interpretation. This enables assessors to incorporate assessment practices of other assessors into their own assessment process, and to build ‘shared mental models’ for competence assessment.

우리의 연구 결과는 평가자 교육에 시사하는 바가 있음을 시사한다. 평가자 훈련은 자신의 신념, 수행 이론 및 추론에 대한 평가자의 인식을 높이는 데 초점을 맞춰야 한다. 만약 그들이 그들 자신의 의사 결정 과정에 대한 더 많은 통찰력을 얻고 다른 평가자들의 의견을 알게 된다면, 그들의 의사 결정은 개선될 수 있다. 또한, 훈련은 Hauer 등(2016)이 설명한 의사결정 과정에 대한 그룹 구성원 구성 및 그룹 프로세스의 영향에 초점을 맞춰야 한다.

Our findings suggest implications for assessor training. Assessor training should focus on raising assessors’ awareness of their own beliefs, performance theories, and inferences. If they gain more insight into their own decision-making process and get acquainted with those of other assessors their decision making may improve. Furthermore, training should focus on the effect of group member composition and group processes on the decision making processes as described by Hauer et al. (2016).

더욱이, 평가자는 포트폴리오 증거의 선택과 사용에 대해 서로 다른 접근방식을 가지므로, 포트폴리오가 포트폴리오 증거를 통해 선택selection과 항해navigation를 촉진하는 방식으로 설계되는 것이 중요하다. 캡션도 중요하다. 왜냐하면 역량 피드백이 학생에게 제공된 컨텍스트를 요약하기 때문이다(Van Tartwijk and Driessen 2009). 맥락은 평가자가 증거를 해석하고 판단하기 위해 증거를 사용할지 여부와 방법을 결정하는 데 도움이 된다.

Furthermore, since assessors have different approaches to the selection and use of portfolio evidence, it is important that portfolios be designed in such a way that they facilitate the selection of and navigation through the portfolio evidence. Captions are important as well, for they summarize the context in which the competency feedback was provided to the student (Van Tartwijk and Driessen 2009), helping assessors interpret the evidence and decide if and how they want to use it for their judgment.

결론 Conclusion

평가자는 포트폴리오 증거만으로 판단을 내릴 수 있었다. 비록 그들은 같은 전반적인 판단에 도달했지만, 그들은 증거를 처리하는 방식과 그들의 판단 이면에 있는 추론에 있어서 차이를 보였다. 평가자의 다른 평가 신념, 수행 이론 및 일치된 행동을 하는 추론에서 차이가 발생한다. 이러한 결과는 포트폴리오가 그들의 판단을 철저히 입증해야 하는 복수의 평가자에 의해 판단되어야 한다는 개념을 뒷받침한다. 또한 평가자는 자신의 의사 결정 과정과 그룹 결정에 영향을 미치는 요인에 대한 통찰력을 제공하는 교육을 받아야 한다.

Assessors were able to form a judgment based on the portfolio evidence alone. Although they reached the same overall judgments, they differed in the way they processed the evidence and in the reasoning behind their judgments. Differences sprung from assessors’ divergent assessment beliefs, performance theories, and inferences acting in concert. These findings support the notion that portfolios should be judged by multiple assessors who should, moreover, thoroughly substantiate their judgments. Also, assessors should receive training that provides insight into factors influencing their own decision making process and group decisions.

내러티브 코멘트의 숨은 가치: 질적 자료의 양적 신뢰도 분석(Acad Med, 2017)

The Hidden Value of Narrative Comments for Assessment: A Quantitative Reliability Analysis of Qualitative Data

Shiphra Ginsburg, MD, MEd, PhD, Cees P.M. van der Vleuten, PhD, and Kevin W. Eva, PhD

전공의가 미리 결정된 마일스톤을 확실히 충족시키려면, (2) 타당한 판단과 의사결정을 뒷받침하기 위해 연습생별로 훨씬 더 많은 정보를 수집할 필요가 있다.3,4 이를 위해, 질적이고 주관적인 데이터5와 다수의 저부담 출처의 데이터를 aggregate하는 것의 가치가 점차 높아지고 있다.6 이러한 변화에 발맞춰 평가의 형식과 다양성이 확대되고 있지만, 전문직은 여전히 숫자 및 서술형 데이터를 포함하는 로테이션 종료시점 평가 양식(여기서 교육 내 평가 보고서 또는 ITER라고 함)에 크게 의존하고 있다. 이러한 형식의 문헌(및 사용)은 대부분 전적으로 숫자 데이터에 기초하지만 서술에는 큰 가치가 있을 수 있다.7–9

To ensure that residents meet predetermined milestones,2 it is necessary to collect much more information on each trainee to support valid judgment and decision making.3,4 To this end, increasing value is being placed on qualitative and subjective data5 and on the need to aggregate data from multiple, low-stakes sources.6 The format and variety of evaluations is expanding in step with these changes, but the profession generally still relies heavily on end-of- rotation assessment forms (herein called in-training evaluation reports, or ITERs) that contain numeric and narrative data. Most of the literature (and use) of forms of this type is based entirely on the numeric data, yet there may be great value in the narratives.7–9

평가 코멘트를 이용해 학습자나 실무자를 평가하는 효용성과 타당성에 대한 연구가 일부 진행돼 엇갈린 결과가 나오고 있다. 예를 들어, 몇몇 연구에서는 코멘트가 할당된 점수와 대체로 일치한다는 것을 밝혀냈으며, 수천 개의 코멘트(예: 의사 revalidation, 또는 레지던시12)를 읽는 것은 문제를 해결할 가치가 없을 수 있음을 시사했다. 반면에, 비협조적인nonconcordance 영역은 점수에서 달리 파악되지 않은 약점을 나타낼 수 있다. 따라서 흔히 "실패 실패failure to fail"로 표현되는 문제를 극복하는 데 도움이 되고, 그리고 코멘트는 학습자들에게 개선 방법에 대한 더 많은 지침을 제공한다.16,17 어떠한 방식으로 [추가적인 정보 획득]과 [(정보 획득의) 실현가능성을 유지하는 것] 사이의 균형을 맞출 것인가가 공식적인 훈련 환경뿐만 아니라 훈련과 연습의 연속에서 보건 전문가들이 다루어야 할 중요한 과제다.

Some research has been conducted on the utility and feasibility of using assessment comments to evaluate learners or practitioners, yielding mixed results. For example, several studies have found that comments are usually concordant with scores assigned, suggesting that reading thousands of comments (e.g., for physician revalidation11 or residency12) may not be worth the trouble. On the other hand, areas of nonconcordance can illustrate weaknesses not otherwise picked up by the scores,7,13 thereby helping to overcome the well-described phenomenon of “failure to fail,”14,15 and comments provide learners with more guidance regarding how to improve.16,17 Determining how to balance these competing issues of gaining additional information and maintaining feasibility is an important challenge for the health professions to address, not only in formal training environments but across the continuum of training and practice.

따라서, 신뢰성이 높게 관찰되는 것은, [(모든 평가 프로세스에서 가용한 데이터의 양이 늘어남에 따라서 일반적으로 신뢰도가 높아진다고 볼 수 있기에) 누적된 코멘트의 양]과 [특정 훈련 프로그램 내에서 평가 문화에 대한 교수진의 인식]과 관련이 있을 수 있다. 

The high reliability observed, therefore, may be related to the volume of comments amassed (given that reliability can generally be expected to increase with the amount of data available in any assessment process) and to the faculty’s awareness of the culture of assessment within the particular training program studied.

이 연구의 전반적인 목표는 평가에서 서술적 데이터의 사용에 관한 타당성 주장validity argument에 기여하는 것이었다. 현재 타당도 모델에서, 신뢰성은 타당도의 중요한 측면으로 간주되며, 주어진 모집단의 특정 목적에 평가 점수가 적합한지 여부에 대한 논쟁을 형성하는 데 도움이 된다. 20,21 본 연구는 다양한 양의 논평이 주어진 거주자가 순위를 매길 수 있는 신뢰성에 초점을 맞춘다.그들의 연기에 도전하다

The overall goal of this study was to contribute to the validity argument regarding the use of narrative data in assessment. Under current models of validity, reliability is considered to be an important aspect of validity, helpful for building an argument regarding whether or not assessment scores are fit for a given purpose with a given population.20,21 Our study focuses on the reliability with which residents can be rank-ordered given variable amounts of commentary about their performance.

방법 Method

세팅 Setting

각 전공의는 1개월의 임상 순환이 끝날 때마다 1개의 ITER를 받으며, 이 중 93% 이상이 서면 의견을 포함하고 있다. 우리의 ITER에는 18개의 항목이 포함되어 있는데, 각 항목은 1에서 5까지의 척도로 평가되고, 그 다음에 전체 등급과 의견을 입력할 수 있는 단일 자유 텍스트 상자가 뒤따른다. 교수들에게 보내는 지침서는 다음과 같다: "일반적인 능력, 동기부여, 그리고 컨설턴트 기술을 포함하여, 이 로테이션 동안 연습생의 발전에 대한 일반적인 인상을 제공하라. 강점과 개선이 필요한 분야를 강조해 달라."

Each resident receives one ITER at the end of each one-month clinical rotation, over 93% of which contain written comments. Our ITERs contain 18 items, each rated on a scale from 1 to 5 followed by an overall rating and a single free-text box in which to enter comments. The instructions to faculty state: “Provide a general impression of the trainee’s development during this rotation, including general competence, motivation, and consultant skills. Please emphasize strengths and areas that require improvement.”

1년 동안 [코멘트가 담긴 ITER 8개 이상]을 받은 레지던트를 포함했는데, 이 중 3개는 처음 4개월간의 교육에서 나와야 했다. 우리는 ITER의 이 숫자에 걸쳐 집계된 ITER 점수의 허용 가능한 신뢰도를 보여주는 연구에 기초하여 8을 선택했다.7,22,23 우리는 다음과 같은 의견 집합을 만들 수 있도록 이러한 기준을 만족하는 각 코호트에서 무작위로 48명의 레지던트를 선택했다. 전공의 1인당 4회씩 포함시켜 4세트에 걸쳐 4명의 참가자가 순위를 매길 수 있도록 했으며, 이는 192건의 문서에 해당하며, 각각의 문서는 특정 전공의에 대한 1년 치 의견을 담고 있다. 이전의 연구를 바탕으로, 7 우리는 [교수는 16명의 전공의의 의견을 합리적인 시간 내에 읽고 순위를 매길 수 있다]고 판단하여, 12 세트의 16명의 전공의 코멘트를 정리했다.

We included residents who had received 8 or more ITERs containing comments over the course of one year, 3 of which had to come from the first 4 months of training. We chose 8 based on studies showing acceptable reliability of ITER scores aggregated across this number of ITERs.7,22,23 We randomly selected 48 residents from each cohort who met these criteria so that we could create sets of comments as follows. Each resident was included 4 times, so that they appeared in 4 different sets and could be ranked by 4 different participants; this resulted in 192 documents, with each document containing a year’s worth of comments from a given resident. On the basis of previous research,7 we determined that faculty could read and rank-order comments from 16 residents in a reasonable time frame; thus, 12 sets of 16 residents’ comments were compiled.

참여자 Participants

연구 설계는 그림 1에 나와 있다. 각 동의하는 교수진에게 다음과 같은 두 가지 데이터 세트가 포함된 패키지가 발송되었다. 한 세트는 두 코호트 중 한 곳에 있는 15~16명의 전공의에 대한 연간 전체 코멘트를 포함했고, 다른 세트는 다른 코호트와 다른 15~16명의 전공의에 대한 올해 첫 3개의 코멘트 상자를 포함했다.

The study design is shown in Figure 1. Each consenting faculty member was sent a package containing two sets of data: One set contained the entire year’s worth of comments for 15 to 16 residents in one of the two cohorts; the other set contained the first three comment boxes of the year from 15 to 16 different residents from the other cohort.

프로토콜 Protocol

훈련된 연구 보조원(RA)이 각 참가자와 스카이프를 통해 대면 회의를 진행했다. 참가자들에게 15~16개의 문서를 모두 읽고 사전 연구 중에 도출된 범주로 분류하도록 했다(

• A = 우수, 우수, 모범, 

• B = 견고, 안전, 약간의 미세한 조정이 필요할 수 있음, 

• C = 경계선, 맨 최소, 교정 가능, 

• D = 안전하지 않음, 다중 결손).24 

그 후 각 부문별로 주민 순위를 매겨 최종 순위 1~15/16이 나왔다.

A trained research assistant (RA) conducted a face-to-face meeting over Skype with each participant. Beginning with the set of full-year comments, participants were asked to read all 15 to 16 documents and sort them into categories derived during prior research (

• A = outstanding, excellent, exemplary; 

• B = solid, safe, may need some fine tuning; 

• C = borderline, bare minimum, remediable; 

• D = unsafe, unacceptable, multiple deficits).24 

Afterwards, they were asked to rank-order the residents within each category, resulting in a final ranking of 1 to 15/16.

이 과제를 수행한 후, 그들은 의사결정 과정을 탐색하기 위해 RA에 의해 인터뷰되었다. 이어 두 번째 서류 세트를 이용해 과제를 반복했는데, 여기에는 레지던트들이 올해 처음 3차례 평가한 것과 다른 주민들의 의견이 담겨 있었다. 전체 연도 및 부분 연도 작업에 필요한 시간은 각각 RA가 기록한 약 45분과 15~20분~20분이었다.

After this task, they were interviewed by the RA to explore their decision-making process. They then repeated the task using a second set of documents, which contained a different set of residents’ comments from the residents’ first three assessments of the year. Time required for the full-year and part-year tasks was approximately 45 and 15–20 minutes, respectively, as recorded by the RA.

분석 Analysis

ITER 코멘트를 바탕으로 판단 생성의 효과를 분석하기 위해 24명의 교수진 참가자 모두의 순위 데이터를 엑셀에 입력하여 정확성을 검증했다. [레지던트 내 랭커가 중첩된 일반화 이론]을 사용하여 레지던트 순위의 신뢰성을 평가하였다. G_string은 스터디 설계가 불균형할 때 분석을 가능하게 하기 때문에 사용되었다(대부분의 PGY-1에는 랭커가 4개 있었지만, 일부는 한 레지던트의 데이터를 실수로 잘못 부호화하여 3개가 있었고, 두 개의 패키지가 각각 한 레지던트에 대한 코멘트가 누락되었기 때문에 사용).

To analyze the effectiveness of generating judgments based on ITER comments, rank-order data from all 24 faculty participants were entered into Excel and verified for accuracy. We assessed the reliability of resident rankings using generalizability theory, with ranker nested within resident. G_string was used because it enables analysis when the study design is unbalanced (while most PGY-1s had four rankers, some had three because of inadvertent miscoding of one resident’s data and because two packages were each missing comments for one resident).

결과 Results

2011년 코호트 출신 주민 48명은 평균 3.97명의 교직원이 순위를 매겼고, 2010년 코호트 출신 주민 46명은 평균 3.94명의 교직원이 순위를 매겼다.

The 48 residents from the 2011 cohort were rank-ordered by an average of 3.97 faculty, and the 46 residents from the 2010 cohort were rank-ordered by an average of 3.94 faculty.

교수 랭커 수가 증가하는 것이 순위의 신뢰성에 미치는 영향을 요약한 의사결정 연구는 표 1에 설명되어 있다.

A decision study outlining the influence of increasing the number of faculty rankers on the reliability of the rankings is illustrated in Table 1.

[처음 세 가지 평가에 근거한 순위] 및 [전체 연도에 근거한 순위] 간의 스피어맨 상관 관계는 각 코호트에 대해 계산되었으며, 각각 r = 0.66과 0.63으로 확인되었으며, 둘 다 P < 0.01로 유의했다. 이러한 상관관계는 ITER 점수 자체에 대해 계산된 유사한 집합과 비교할 수 있는데, 이 집합은 각각 r = 0.76과 0.63으로 확인되었으며, 다시 P < 0.01로 유의미하다.

Spearman correlations between rankings based on the first three assessments and based on the full year were calculated for each cohort and were found to be r = 0.66 and 0.63, respectively, both significant with P < .01. These correlations are comparable to a similar set calculated on the ITER scores themselves, which were found to be r = 0.76 and 0.63, respectively, again both significant with P < .01.

고찰 Discussion

우리의 연구 결과는 서술적 코멘트만을 가지고 레지던트를 평가하는 수단으로 사용하는 것이 매우 신뢰할 수 있다는 것을 보여준다. 이러한 높은 신뢰성은 그해 처음 3개의 코멘트가 포함된 ITER만 고려했을 때에도 유지되었다(표 1 참조). 연구된 두 코호트에서, 거주자 순위 변동의 85% - 91%는 4명의 랭커에 걸친 평균 순위를 고려할 때 레지던트(즉, 측정에서 "시그널")에게 귀속되었다. 또한, 최초 3개 ITER로부터 얻은 레지던트 순위는 데이터의 전체 연도를 기준으로 한 순위와 높은 상관관계가 있었다.

Our findings reveal that using narrative comments alone as a means of assessing residents can be extremely reliable. This high reliability was maintained even when we considered only the first three comment-containing ITERs of the year (see Table 1). In both cohorts studied, 85% to 91% of the variance in resident ranking was attributable to the resident (i.e., the “signal” in the measurement) when the average ranking across four rankers was considered. Further, residents’ rankings from the first three ITERs were highly correlated with their rankings based on the full year of data

표 1은 또한 3회 로테이션에 근거하여, 2명의 교수진가 레지던트의 순위를 매기는 경우에도 0.75 - 0.80의 신뢰성을 달성할 수 있음을 보여준다. 이러한 수치는 고부담 평가에서 수용할 수 있는 범위 내에 있다. 이는 [두 명의 교수가 연초에 레지던트의 평가 의견을 읽도록 하는 간단한 개입]조차도 매우 유익한 방법이 될 수 있으며 이른 시기에 추가 교육 지원이 필요한 레지던트를 식별할 수 있을 것이라고 제안한다.17

Table 1 also illustrates that a reliability of 0.75 to 0.80 can be achieved with only two faculty members ranking residents based on three rotations’ worth of comments. Such numbers are within the range of acceptability for even high-stakes assessments,25 suggesting that a simple intervention—having two faculty read residents’ evaluation comments early in the year—can be a very fruitful enterprise and may enable the identification of residents requiring additional educational supports at an early time point.17

본 연구의 독특한 특징은 이전 연구와 달리 교수진 참여자들이 우리의 교육 프로그램에 포함되어 있지 않으며external to program, IM 평가에서 경험이 있지만 ITER 코멘트를 평가하는 훈련을 받지 않았다는 것이다. 이전의 연구에서는 ITER가 평가되고 있는 레지던트와 동일한 프로그램에 속해있는 교직원이 "행간 읽기"에 능통하여, [모호하고 특수성이 결여된 것으로 보일 수 있는 평가 의견]도 해독해내는 것으로 밝혀졌다.18,26 외부의, 교육받지 않은 교수조차 행간 읽기 능력이 있는 것으로 보인다는 사실은 IM 교수진이 거주자에 대한 내러티브를 쓰고 이해하는 방법에 어느 정도의 보편성이 있다는 것을 쉽게 암시한다. 이는 적어도 단일 국가 내에서 IM의 PGY-1에 대해 어떤 성능을 보여야 하는지에 대한 교수진의 공통된 이해가 있음을 시사한다.

Unlike previous work, a unique feature of this study is that the faculty participants were external to our training program and were not trained in assessing ITER comments, although they were experienced in IM assessment. Previous research found that faculty belonging to the same program as the residents whose ITERs were being assessed were adept at “reading between the lines” to decode assessment comments that could often appear to be vague and lacking in specificity.18,26 The fact that external, untrained faculty appear capable of reading between the lines just as readily implies that there is a degree of universality to how IM faculty write and understand narratives about their residents. This further suggests that there is a shared understanding on the part of faculty of what performance should look like for PGY-1s in IM, at least within a single country.

우리의 발견은 다른 맥락에서 복제가 필요하지만, 우리의 코멘트가 수집이 쉬웠고, 상당히 간략하며, 어텐딩의 부분에 대한 특별한 교육이 포함되지 않았다는 현실은 수많은 잠재적인 응용 프로그램을 쉽게 상상할 수 있게 한다.

our findings would require replication in different contexts, but the reality that our comments were easily collected, fairly brief, and involved no special training on the part of the attendings makes it easy to envision numerous potential applications.

우리의 연구 결과를 해석할 때 몇 가지 한계를 명심해야 한다. 비록 코멘트의 범위와 성격에 관한 특정 평가 문화를 가질 수 있지만 하나의 대형 IM 프로그램으로부터 모든 평가 코멘트가 나왔고, 우리의 참여자들은 ITER에 2년 정도의 경험이 필요했기 때문에 다른 프로그램에서 우리의 작업의 복제 가능성은 제한적일 수 있다. 이러한 잠재력은 주어진 프로그램에서 다수의 레지던트 평가 코멘트를 읽으면 독자들이 해당 프로그램 내에서 "일반적인" 언어 사용이 무엇인지 알 수 있고 그에 따라 순위를 조정할 수 있다는 점에서 우리의 참여자들이 "행 사이를 읽을" 수 있게 한 메커니즘에 대한 대체 설명을 증가시킨다. 우리는 이 설명의 가능성이 낮다고 생각한다. 왜냐하면 주치의 사이의 작문 방식과 내용에서 현저한 차이가 "일반적인" 언어 사용의 개념에 반대한다고 주장하기 때문이다.26

Several limitations should be kept in mind when interpreting our findings. The replicability of our work in other programs may be limited as all of our assessment comments came from a single, albeit large IM program that might have a specific culture of assessment regarding the extent and nature of comments and because our participants were required to have two years’ worth of experience with ITERs. This potential raises an alternative explanation of the mechanisms that enabled our participants to “read between the lines” in that perhaps reading multiple resident assessment comments from a given program can allow readers to learn what “typical” language use is within that program, thereby allowing them to calibrate their rankings accordingly. We think this explanation is less likely, as the marked differences in writing style and content noted between attending physicians argue against the notion of “typical” language use.26

결론 Conclusions

서술형 코멘트를 의료교육에서 일상적 평가의 일부로 편입하는 것은 이미 이뤄졌어야만 한다30 우리의 연구는 [소수의 내러티브 보고서가 수집된 후, 이를 전공의의 변별력있게 평가하는 방법으로 신뢰성 있게 사용될 수 있다는 것]을 입증함으로써 내러티브21의 유용성에 대한 타당성 증거를 증가시키고 있다.

The incorporation of narrative comments as a routine part of assessment in medical education is overdue.30 Our study adds to the growing validity evidence for the utility of narratives21 by demonstrating that they can be reliably used as a way to discriminate between residents after a small number of reports are collected.

중요한 것은, 이러한 발견이 증가하는 문헌 7,21,32에 ITER가 내과IM에서 평가에 대해 "무용하다"는 일반적인 의견을 불식시키는 데 도움이 되어야 하며, 이것은 풍부하고 의미 있는 코멘트를 작성하는 것의 중요성을 더욱 강화시킬 수 있을 것이다.

Importantly, these findings add to a growing literature7,21,32 that should help to dispel the common opinion that ITERs are “useless” for assessment in IM, which might further reinforce the importance of writing rich and meaningful comments.

운전 연습 또는 운전 시험? 피드백을 평가와 구분하기 위한 비유(Perspect Med Educ, 2020)

Driving lesson or driving test? A metaphor to help faculty separate feedback from assessment

Paul L. P. Brand · A. Debbie C. Jaarsma · Cees P. M. van der Vleuten

임상 교육에 대한 피드백: 중요하지만 아직 덜 사용됨

Feedback in clinical education: important, but still underused

피드백은 임상 의학에서 직장 기반 학습을 지원하는 핵심 도구다[1–3]. 의료교육의 모든 단계에서 학습자가 환자와의 만남에서 경험적 학습 기회를 최대한 활용할 수 있도록 돕는다 [4, 5].

Feedback is a key tool to support workplace-based learning in clinical medicine [1–3]. It helps learners at all stages of medical education to make the most of the experiential learning opportunities in encounters with patients [4, 5].

유용성과 최적의 피드백 제공에 대한 이해의 진보에도 불구하고, 의료 학습자들은 임상 배치 중에 제한된 양의 피드백을 계속 경험하고, 너무 일반적이거나 범위가 제한되어 도움이 되지 않는 피드백을 받고, 피드백 역량이 부족한 교수를 자주 겪는다 [1, 5, 8, 1].2, 13] 최근의 관찰에 따르면 역량 기반 의료 교육은 학습자의 성장을 지원하기 위한 피드백과 프로그램의 핵심 역량 획득을 평가하는 데 필요한 공식적인 평가 절차 사이에 긴장을 조성한다[13, 14]. 학습자들은 임상 기술의 직접 관찰과 같은 학습 활동을, 미래에 대한 유의미한 결과를 가져오는 고부담 평가[14–17]로 인식하여, 직접적인 관찰[18–20]과 관련된 피드백 기회를 회피하고, 따라서 잠재적으로 매우 유용한 피드백을 잃는 경향이 있다. 또한 인식된 시간 제약으로 인해 감독관은 관련 임상 기술을 수행하는 데 있어 학습자의 직접적인 관찰을 피하거나 회피하게 되며 [21], 이는 레지던트의 피드백-탐색 행동을 더욱 손상시킨다[18–20].

Despite these advancements in our understanding of the usefulness and the optimal provision of feedback, medical learners continue to experience a limited amount of feedback during their clinical placements, receive feedback that is too general or limited in scope to be helpful, and engage with faculty deficient in feedback competencies [1, 5, 8, 12, 13]. Recent observations suggest that competency-based medical education creates tension between feedback intended to support a learner’s growth and the formal assessment procedures needed to assess the acquisition of the core competencies of the programme [13, 14]. Learners tend to perceive learning activities like direct observation of clinical skills as high-stakes evaluations with significant consequences for their future [14–17], prompting them to avoid feedback opportunities associated with direct observations [18–20], and hence missing out on the potentially very useful feedback associated with it. In addition, perceived time constraints prompt supervisors to avoid or opt out of directly observing their learners in performing relevant clinical skills [21], which further compromises the resident feedback-seeking behaviour [18–20].

일견 이것은 학습자들의 행동의 문제로 보인다. 따라서, 학습자를 대상으로 피드백을 추구하는 행동을 설명하고 수정하려고 시도함으로써 이 문제를 해결하려고 시도하는 것이 유혹적일 것이다 [22]. 그러나, 우리는 감독자와 학습자가 각각의 상호 작용의 목적을 명확하게 상호 이해하도록 하는 것이 임상 감독자의 책임이라고 주장한다.

At first sight, this appears to be a problemof learners’ behaviour. Thus, it would be tempting to try and tackle this problem by targeting the learners, by addressing and trying to modify their feedback-seeking behaviour [22]. however, we argue that it is the clinical supervisors’ responsibility to ensure that supervisors and learners achieve a clear mutual understanding of the purpose of each of their interactions.

고득점 평가 시 심사원의 책임

Responsibility of examiners in high-stakes assessments

운전자로서 후보자의 능력을 평가하는 운전 심사관의 업무(상자 1)는 중요한 책임이다.

The driving examiner’s task of assessing a candidate’s competence as a driver (Box 1)is an important responsibility:

운전면허 시험이나 의사면허 시험과 같은 시험은 앞서 일어났던 학습에 대한 고부담 총괄 평가다. 중등학교나 대학 교육 시스템과 마찬가지로 의료 교육 문화는 총괄 평가 패러다임에 의해 지배되고 있다[28, 29]. 이는 총괄 평가가 학습을 주도한다는 전제 하에 구축된다[25, 30]. 감독관들은 안전하지 않은 학습자들이 의사 자격을 갖추지 못하도록 막아야 할 강한 책임을 느낀다.

Exams like a driving test or a licensing exam are high-stakes summative assessments of the learning that has taken place earlier. Like the secondary school and university education systems, the medical education culture is dominated by the primacy of the summative assessment paradigm [28, 29], which builds on the premise that (summative) assessment drives learning [25, 30]. Supervisors feel a strong responsibility to prevent unsafe learners qualifying as licensed doctors.

감독관과 학습자가 평가와 피드백을 혼동하면 어떻게 되는가?

What happens if supervisors and learners mix up assessment and feedback?

첫 번째 저자의 경험은 감독관(그리고 그 결과 학습자)이 피드백과 종합 평가를 혼동하면 어떤 일이 일어나는지 보여준다. 운전 시험과 같이 고부담 시험에서는 대부분의 학습자가 피드백을 수용하지 않는다[9, 31, 32]. 그들은 시험 모드에 있다: 그들이 원하는 것은 시험에 합격하고 그들이 잘했다는 긍정적인 피드백을 받는 것이다.

The first author’s experience illustrates what happens if supervisors (and, as a consequence, their learners) mix up feedback and summative assessment. At a high-stakes exam like the driving test, most learners are not receptive to feedback [9, 31, 32]. They are in exam mode: all they want to do is pass the test and receive the positive feedback that they did a good job.

직장에 기초한 평가를 미래에 심각한 결과를 초래할 가능성이 있는 고부담 시험으로 인식하는 거주자는 자신과 관련된 피드백을 무시하거나 폐기하는 경향이 있다[16, 33]. 그들은 긍정적인 피드백만을 추구하는 "게임"을 한다[13, 31, 34].

Residents who perceive workplace-based assessments as high-stakes exams with potentially serious consequences for their future tend to ignore or discard the feedback associated with them [16, 33]. They “play the game” of seeking only positive feedback (i.e. only ask for feedback on a task or procedure they think they did well) [13, 31, 34].

전공의들은 역량있는 이미지를 보여주기 위해 이것과 다른 인상 관리 전략을 사용한다[13, 25, 35]. 그들은 임상 기술에 대한 직접관찰을 능력의 "교과서적" 예를 증명할 것으로 기대되는 "수행능력의 무대staging a performance"로 본다[13, 15]. 이러한 모든 것들이, [WBA]를 많은 학습자가 하는, 고부담 시험으로 보게 되어, 학습자를 피드백에 비-수용적으로 만든다는 것을 보여준다. 시험 모드에서는 그냥 공연하고, 멋있게 보이고, 시험에 합격하고 싶어. 첫 번째 작가가 운전면허 시험에서 했던 것처럼 말이다.

Residents employ this and other impression management strategies to portray an image of competence [13, 25, 35]. They view direct observations of clinical skills as “staging a performance” in which they are expected to demonstrate a “textbook” example of competence [13, 15]. All these observations showthat viewing a workplace-based assessment as a test, as a high-stakes exam, which many learners do, renders the learner unreceptive to feedback. In exam mode, we just want to perform, look good, and pass the test. Like the first author did at his driving test.

만약 우리가 운전 수업처럼 직장에 기반을 둔 학습에서 피드백을 접근한다면 어떨까?

What if we approached feedback in workplacebased learning like a driving lesson?

반대로, 사람들은 운전 수업 중에 피드백에 매우 수용적인 경향이 있다. 다른 코칭 관계에서와 마찬가지로, 운전 교습 중 실패는 학습의 촉매제로 채택된다[36]. 운전 교습 중 대부분의 응시자들은 운전 강사의 피드백을 듣고 싶어하는데, 이는 운전 실력을 향상시키는 데 도움이 되기 때문이다. 그들은 학습 모드에 있다.

Conversely, people tend to be very receptive to feedback during driving lessons. Like in other coaching relationships, failures during driving lessons are embraced as catalysts for learning [36]. During driving lessons, most candidates are eager to hear their driving instructor’s feedback, because it helps them to improve their driving skills. They are in learning mode.

학습 모드에 있는 것은 사람들이 주어진 피드백을 자신의 성과를 향상시키고, 발전시키고, 성장시키는 데 도움을 준다[37]. 임상 기술 향상을 목표로 하는 반복적인 코칭으로 프레임을 씌운 피드백은 피드백의 수용과 그에 따른 행동을 촉진한다[36, 38]. 피드백을 대화로 설계하면 학습자가 자신의 장단점을 소유할 수 있는 기회를 얻을 수 있다[8].

Being in learning mode helps people to use the feedback given to improve their performance, develop and grow[37]. Feedback framed as repeated coaching over time aimed at improving clinical skills promotes the acceptance of feedback and acting upon it [36, 38]. Designing feedback as a dialogue gives learners the opportunity to take ownership of their strengths and weaknesses [8].

은유의 유용성

Usefulness of the metaphor

운전 시험의 아름다움—운전 수업 은유법은 그것의 인식 정도에 있다. 우리의 교수진 개발 세션 경험에서, 드라이빙 레슨 은유법 운전교사는 학습자가 시험 모드일 때 피드백을 받아들이기 어려운 점, 학습 모드에 있을 때 피드백에 대한 학습자의 수용성을 높이는데 도움을 준다. 간단한 은유는 의사를 혼란스럽게 하고 성가시게 할 수 있는 복잡한 교육 용어에 의존할 필요 없이 시험과 학습 모드(또는 수행과 학습 목표 지향 사이의)의 주요 차이를 보여준다[40].

The beauty of the driving test—driving lesson metaphor lies in its degree of recognition. In our experience in faculty development sessions, the driving test—driving lesson metaphor helps clinical teachers to appreciate the learners’ difficulty in accepting feedback when they are in exam mode, and the learners’ receptivity to feedback when they are in learning mode. The simple metaphor illustrates the key difference between exam and learning mode (or between performance and learning goal orientation) without having to resort to complex educational jargon that may confuse and irritate physicians [40].

감독자(운전 강사와 같은)가 학습자가 자신을 신뢰할 수 있도록 지원하는 데 성공한다면, 이는 학습자의 피드백을 수용하고 학습하려는 의지를 증가시킬 것이다 [9, 13, 37, 41].

If a supervisor (like a driving instructor) succeeds in supporting the learner to trust him(or her), this will increase the learner’s willingness to accept the feedback and learn [9, 13, 37, 41].

프로그램 평가의 이중 역할

The dual role of programmatic assessment

직장 기반 학습에서 어떤 하나의 시험도 역량을 온전히 신뢰할 수 있는 수준으로 평가하지 못한다는 점에 착안하여, 각 개별 평가의 한계를 완화하는 [다양한 평가 방법의 의도적인 프로그램]을 설명하기 위해 "프로그램적 평가"라는 용어를 만들었다[42]. 이 모델은 교육 연구[29]에서 광범위한 지원을 받았으나, 역량 기반 의료 교육 실무에서의 구현은 여전히 도전적이다[13, 14, 30]. 핵심 난이도는 학습과 의사결정 기능 모두를 제공하는 프로그램적 평가의 이중 역할을 계속한다[29].

Appreciating that there is no single reliable test to assess competence in workplace-based learning, the term “programmatic assessment” was coined to describe a deliberate programme of different assessment methods, which alleviates the limitations of each individual assessment [42]. Although this model has received widespread support in educational research [29], its implementation in competency-based medical education practice remains challenging [13, 14, 30]. A key difficulty remains the dual role of programmatic assessment, serving both learning and decision-making functions [29].

대부분의 임상 감독자는 그러한 전반적인 역량 판단에 복수의 출처와 감독자의 정보가 필요하다는 것을 깨닫는다[43]. 그들은 학생이나 거주자와 마주치는 각각의 감독이 단지 스냅숏 인상에 불과하며, 이는 학습자의 전반적인 역량을 반드시 반영하는 것은 아니라는 것을 이해한다[29]. 그러나, 총괄 평가 패러다임이 의학 교육 연속 전반에 걸쳐 만연해 있기 때문에, [공식적인 평가]가 [학습자의 성장을 촉진하기 위한 피드백]을 오염시키는 것을 제거하기가 어렵다[13].

Most clinical supervisors realise that such an overall judgement of competence requires information from multiple sources and supervisors [43]. They understand that each supervision encounter with a student or resident is just a snapshot impression, which does not necessarily reflect the learner’s overall competence [29]. However, the pervading primacy of the summative assessment paradigm throughout the medical education continuum makes it difficult to remove formal assessment contamination from feedback aimed at promoting the learner’s growth [13].

드라이빙 레슨-드라이브 테스트 은유법은 임상 감독자들이 프로그램적 평가의 이중 기능을 더 이해할 수 있도록 한다. 각 주행 강습은 주행 능력 향상을 위해 응시자를 코칭하는 데 사용되지만, 주행 강사가 응시자가 주행 테스트에 등록할 준비가 된 시점을 결정한다. 이때 운전교사는 후보자가 충분히 유능한 운전사라는 자신감을 표출한다.

The driving lesson—driving test metaphor makes the dual function of programmatic assessment more understandable to clinical supervisors. Although each driving lesson is used to coach candidates towards increasing driving competence, the driving instructor decides the moment at which the candidate is ready to enrol for the driving test. At that point in time, the driving instructor expresses the confidence that the candidate is a sufficiently competent driver.

은유의 한계

Limitations of the metaphor

운전 수업의 한계—운전 시험 은유법을 고려해야 한다. 첫째, [국가]와 [프로그램]은 의사 또는 의료 전문가로서의 역량에 대한 고부담 총괄 평가에 대한 접근방식이 다르다. 어떤 사람들은 프로그램이나 커리큘럼이 끝날 때 정식 면허시험을 적용하여 지식과 임상 기술을 모두 평가하는데, 이는 운전 이론과 실습 시험과 쉽게 비교될 수 있다. 네덜란드와 같은 다른 나라들은 프로그램 감독이나 감독팀의 전반적인 판단을 역량의 최종적인 요약 평가로 사용한다. 비록 이것이 운전 시험과 직접적인 비교는 되지 않지만, 운전 시험인 운전 수업 은유는 감독관과 주민들이 평가와 피드백을 혼동하는 경향이 있다는 것과 왜 이것이 바람직하지 않은지를 깨닫는데 도움을 준다.

The limitations of the driving lesson—driving test metaphor need to be taken into account. First, countries and programmes differ in their approach to high-stakes summative assessment of competence as a doctor or medical specialist. Some apply formal licensing exams at the end of a programme or curriculum, assessing both knowledge and clinical skills, which are easily comparable to driving theory and practice tests. Others, like the Netherlands, use the overall judgement of the programme director or supervisory team as the final high-stakes summative assessment of competence. Although this is less directly comparable to a driving test, it is our experience in faculty development sessions that the driving test—driving lesson metaphor helps supervisors and residents to realise that they tend to mix up assessment and feedback, and why this is undesirable.

둘째, 많은 역량 기반 의료 교육 커리큘럼에서 학습(피드백, 저평가)과 학습(고득점) 평가에서 동일한 감독관이 역할을 하는 반면, 운전교사와 시험관의 역할은 대부분의 국가에서 엄격히 분리되어 있다. 또한 오늘날 대부분의 임상 교수 부서에서 의대생과 거주자의 코칭에 관여하는 많은 수의 임상 감독자와 비교했을 때, 모든 운전 강사는 거의 항상 동일한 운전 강사에 의해 주어진다[45]. 이는 거주자와 감독자 간의 상호 신뢰 관계가 있는 것을 더욱 중요하게 만들고 [9, 41], 임상 역량에 대한 전반적인 판단은 감독자 그룹 전체에 의해 이루어진다[43, 46].

Second, in many competency-based medical education curricula, the same supervisors play a role both in assessment for learning (feedback, lowstakes) and assessment of learning (high stakes), whilst the roles of driving instructor and examiner are strictly separated in most countries. In addition, all driving lessons are almost always given by the same driving instructor, as compared to the large number of clinical supervisors involved in the coaching of medical students and residents in most clinical teaching departments today [45]. This makes it even more important for there to be a relationship of mutual trust between resident and supervisors [9, 41], and that the overall judgement of clinical competence is made by the entire group of supervisors [43, 46].

셋째, [형성적 피드백과 총과적 평가 만남이 명확히 구분되는] 프로그램적 평가 시스템은 동일한 구별을 적용하는 시스템 요소에 의해 뒷받침되어야 한다. 여기에는 프로그램 평가 프로그램의 목표와 구조에 대한 명확한 제도적 또는 부서의 비전이 포함된다. 

• 피드백 및 평가의 오염을 방지하는 양식 사용(예: 감독자가 전반적인 등급 또는 글로벌 역량 등급을 제공할 필요가 없는 피드백 양식) 

• 그리고 [고부담 평가를 위해 사용되는 구성 요소](예: 최소 절차 수와 필수 지식 시험 결과)를 훈련 의사로서 [학습자의 성장을 지원하기 위한 구성 요소]와 명확하게 구분하는 포트폴리오.

Thirdly, a system of programmatic assessment, in which formative feedback and summative assessment encounters are clearly separated, should be supported by system factors applying the same distinction. These include a clear institutional or departmental vision on the goals and structure of the programmatic assessment programme [11, 44], 

• the use of forms avoiding contamination of feedback and assessment (e.g. a feedback form that does not require the supervisor to provide an overall grade or global rating of competence) [47], and 

• a portfolio which clearly separates those components which are being used for high-stakes assessments (e.g. having fulfilled a minimum number of procedures and the results of mandatory knowledge tests) from those intended to support the learner’s growth as a doctor in training [48, 49].

은유를 사용하여 교수진 개발에서 프로그램적 평가를 촉진

Using the metaphor to promote programmatic assessment in faculty development

표1 Tab. 1.

본 논문에서 제시된 주장은 그러한 교수진 개발 이니셔티브가 공식적인 고위직 평가[27]로부터 피드백을 분리하는 것의 중요성에 대한 논의를 포함하고, 임상 감독의 지침 원칙으로서 판단보다는 코칭을 촉진해야 한다는 개념을 뒷받침한다[36, 44].

The arguments laid out in this paper support the notion that such faculty development initiatives should include a discussion of the importance of separating feedback from formal high-stakes assessment [27], and promote coaching, rather than judgement, as the guiding principle of clinical supervision[36, 44].

학습자는 합격/불합격 평가에 대한 결정은 [감독자 그룹] 내에서 이루어지며, 포트폴리오에 기록된 평가 양식에만 기초하지 않는다는 것을 알아야 한다[13, 32]. [피드백을 캡처하고 포트폴리오에 저장되는 양식]은 피드백 목적을 반영하도록 의도적으로 설계되어야 하며, 총괄적 등급과 전체적인 역량 평가가 없어야 한다. 또한 학습자의 성과나 역량 성장에 대한 감독자 팀 간의 우려는 초기 단계에서 학습자와 논의될 것이기 때문에, 학습자들은 그러한 고부담 수준의 판단은 결코 갑자기 등장하는 일이 없다고 안심시켜야 한다[9, 28]. 모든 감독자는 효과적인 피드백 대화를 위한 방법에 대해 교육을 받아야 하며, 이러한 대화에서 신뢰와 상호 참여의 중요성을 강조해야 한다[7, 8, 53, 54].

Learners should be made aware that the decision on pass/ fail assessments will be made within the group of supervisors, and is not based solely on the assessment forms recorded in the portfolio [13, 32]. Forms capturing feedback and stored in portfolios should be purposely designed to reflect their feedback purpose, and be devoid of summative grades and overall competence assessments. Learners should also be reassured that such high-stakes judgements can never come as a surprise, because any concern among the team of supervisors about the learner’s performance or growth in competence will be discussed with the learner at an early stage [9, 28]. All supervisors should be trained in methods for effective feedback conversations, highlighting the importance of trust and mutual engagement in these conversations [7, 8, 53, 54].

평가에서 인간판단의 공정성: 해석적 문헌 고찰과 개념 프레임워크(Adv Health Sci Educ Theory Pract, 2020)

Fairness in human judgement in assessment: a hermeneutic literature review and conceptual framework

Nyoli Valentine1 · Steven Durning2 · Ernst Michael Shanahan1 · Lambert Schuwirth1

도입 Introduction

공정성은 건강직종 평가의 기본적인 자질이며 일반적으로 학생의 권리로 받아들여진다(Robinson 2002). 전통적으로 객관성은 평가의 공정성을 보장하기 위한 지배적인 방법으로 여겨져 왔으며, 평가의 구성 타당성과 신뢰성에 초점을 맞춘 20세기 보건 전문직 교육 연구 개발의 상당부분을 대상으로 한다(Valentine and Schuwirth 2019; Van der Vleuten et al. 1991; Cate and Regehr 2019). 지난 몇 십 년 동안, 학습에 대한 진화하는 생각, 사회적 이상 이동, 그리고 높은 이해도 시험의 한계에 대한 이해는 우리 분야 내에서 많은 변화를 가져왔다. 역량 기반 교육은 많은 국가에서 의료 교육에 대한 지배적인 접근 방식이 되었다. (10 Cate 2017). 이를 통해 임상의의 역할은 [이전에 강조되지 않았던 특징]과 [투입input보다는 결과에 대해 인증된 학습자]를 포함하도록 재정의되었다(10 Cate and Billett 2014). 역량은 학습자가 독립적으로 완료하도록 위임된 전문적인 과업으로 정의되었다(10 Cate and Schele 2007). 임상 역량의 평가는 서면 평가에서 다시 작업장의 실제 맥락으로 이동했고, 개별 평가에서는 평가 프로그램을 위한 길을 열었다(Daupine 1995; Van Der Vleuten and Schuwirth 2005; Valentine and Schuwirth 2019). 

Fairness is a fundamental quality of health professions assessment and is commonly accepted as a student’s right (Robinson 2002). Traditionally, objectivity has been seen as the predominant way to ensure fairness in assessment and for much of the twentieth century health professions education research and development focussed on construct validity and reliability in assessment (Valentine and Schuwirth 2019; van der Vleuten et al. 1991; ten Cate and Regehr 2019). Over the last few decades, evolving ideas about learning, shifting social ideals and understandings of the limitations of high stakes tests led to many changes within our field. Competency-based education became the dominant approach to medical education in many countries (ten Cate 2017). With this, the role of the clinician has been redefined to include features previously not been emphasised, and learners certified on outcome rather than input (ten Cate and Billett 2014). Competencies have been defined into professional tasks which a learner is entrusted to complete independently (ten Cate and Scheele 2007). Assessment of clinical competence moved from written assessments back into the authentic context of the workplace, and individual assessments made way for programmes of assessment (Dauphinee 1995; van der Vleuten and Schuwirth 2005; Valentine and Schuwirth 2019). 

이러한 변화에도 불구하고, 객관적 접근방식은 평가에서 지배적인 담론으로 남아있으며, 많은 사람들이 객관성을 평가를 평가해야 하는 'gold standard'로 보고 있다(Valentine and Schuwirth 2019; Van der Vleuten et al. 1991; Govaerts and van der Vleuten 2013; 10 Cate and Regehrer 2019). 심리측정적 모델은 측정과 양적 관점에서 공정성을 정의하려고 노력해왔다. 인간의 판단을 활용하고 진정한 성과를 평가하기 위해 고안된 작업장 기반 평가는 정량적 프레임워크를 사용하여 평가되었으며, 따라서 타당성과 신뢰성 기준을 충족하지 못한다는 비판을 받았다(Govaerts and van der Vleuten 2013). 이러한 객관적 관점에 기반하여, 많은 사람들은 인간의 판단을 너무 과실하고 주관적인 것으로 간주하여 고부담 평가에 사용할 수 없다고 본다(Valentine and Schuwirth 2019). 그러나 전통적인 정신측정학 접근법에만 배타적으로 초점을 두게 되면 복잡한 직장 환경에서 역량, 성과 및 평가의 주요 이슈를 놓칠 수 있다(Govaerts and van der Vleuten 2013; Govaerts et al. 2007). 이는 학문적 환경에서 역량을 획득하기에 충분하지 않다고 생각되어 왔다(Boud 1990).

Despite these changes, objective approaches have remained a dominant discourse in assessment, with many seeing objectivity as the ‘gold standard’ to which assessments should be judged (Valentine and Schuwirth 2019; van der Vleuten et al. 1991; Govaerts and van der Vleuten 2013; ten Cate and Regehr 2019). Psychometric models have sought to define fairness from a measurement and quantitative perspective. Workplace based assessments, which utilise human judgement and are designed to assess authentic performance, have been judged using a quantitative framework and therefore criticised for not meeting validity and reliability criteria (Govaerts and van der Vleuten 2013). Using this objective perspective, human judgement is seen by many as too fallible and subjective to be used in high stakes assessment (Valentine and Schuwirth 2019). However an exclusive focus on traditional psychometric approaches can disregard key issues of competence, performance and assessment in complex workplace settings (Govaerts and van der Vleuten 2013; Govaerts et al. 2007), has been thought not be sufficient to capture competence in an academic setting (Boud 1990).

문헌을 통해, 많은 저자들은 객관성에 대한 이러한 지속적인 초점을 의문을 제기하여, [평가에서 주관적인 인간의 판단]을 [심리측정적으로 교정될 '문제']가 아니라 [성과에 대한 정당한 인식]으로 수용하고자 하는 욕구를 표현하였다(Jones 1999; Rotthoff 2018; Hodges 2013; Cate and Regehr 2019; Bacon et). 2015년, Govaerts and van der Vleuten 2013, Schuwirth and van der Vleeuten 2006, Gingerich et al. 2014, Gipps and Stobart 2009). 가장 최근인 2020년에 오타와 컨센서스 성명보고서는 특별히 평가 프로그램에서 '전문가 판단을 재임명re-instate'(Boursicot 2020)하도록 요구했다.

Throughout the literature, many authors have questioned this continued sole focus on objectivity, expressing a desire to better embrace subjective human judgement in assessment not as a ‘problem’ to be corrected psychometrically but as legitimate perceptions of performance (Jones 1999; Rotthoff 2018; Hodges 2013; ten Cate and Regehr 2019; Bacon et al. 2015; Govaerts and van der Vleuten 2013; Schuwirth and van der Vleuten 2006; Gingerich et al. 2014; Gipps and Stobart 2009). Most recently, in 2020, the Ottawa consensus statement report for performance in assessment specifically called for assessment programs to ‘re-instate expert judgement’ (Boursicot 2020).

한 걸음 물러서서 평가에서 공정성의 근본적인 기본 가치에 초점을 맞추기 위해 관점을 바꾸는 것은 전통적인 객관적 접근법을 다시 설정하고, 평가에서 주관적인 인간 판단의 적절성을 판단하는 더 적절한 방법을 제공하는 데 도움이 될 수 있다. 평가에서 ['객관적'인 인간의 판단]이 아니라, 평가에서 ['공정fair'한 인간의 판단]이 무엇인지 살펴보는 것으로 초점을 바꾸는 것은 많은 다른 관점을 수용하도록 하며, 평가에서 인간의 판단의 정당화를 허용한다. 그러나 이를 위해서는 건강직업 평가에서 무엇이 인간의 판단을 공정하게 만드는가라는 질문을 다룰 필요가 있다. 이것은 모호하지 않게 '정답'한 단 하나의 대답이 있는 솔직한 질문이 아니다. 건강직종 평가는 복잡하고 예측할 수 없는 상황별 건강관리와 교육 환경에 내재되어 있다; 그것은 환자, 기관, 감독자 및 학습자를 포함한다; 그리고 때로는 인간의 판단과 공정성 모두에 여러 가지 그리고 때로는 모순되는 면이 있다.

Taking a step back and changing perspectives to focus on the fundamental underlying value of fairness in assessment may help re-set the traditional objective approach and provide a more appropriate way to determine the appropriateness of subjective human judgements made in assessment. Changing focus to look at what is ‘fair’ human judgement in assessment, rather than what is ‘objective’ human judgement in assessment allows for the embracing of many different perspectives, and allows for the legitimising of human judgement in assessment. However, to do this requires addressing the question: what makes human judgements fair in health professions assessment? This is not a straightforward question with a single unambiguously ‘correct’ answer. Health professions assessment is embedded in complex, unpredictable, contextual health care and education environments; it involves patients, institutions, supervisors and learners; and there are multiple, and at times conflicting, facets to both human judgement and fairness.

단순한 정의 없이 다차원적이고 복잡한 구조에 직면했을 때, 공유된 언어와 이해가 도움이 될 수 있다. 하이페츠 외 연구진(Heifetz et al.)은 "같은 의미를 지닌 동일한 단어를 사용하기 시작하면, 이슈에 대한 유의미한 차이점을 고심하면서도 더 효과적으로 의사소통하고 오해를 최소화하며 같은 페이지에 있다는 느낌을 얻게 된다"고 지적했다. 2009년). 본 문헌 검토의 목적은 의료 전문직 평가에서 인간 판단의 공정성과 관련된 요소, 정의 및 핵심 질문에 대한 학문적 지식 종합과 이해를 도출하는 데 있었으며, 공정한 인간 판단에 대한 아이디어를 명시적으로 제시하려고 시도했다.

When faced with a multi-dimensional, complex construct without a simple definition, a shared language and understanding can be helpful. Heifetz noted “When people begin to use the same words with the same meaning, they communicate more effectively, minimize misunderstandings, and gain the sense of being on the same page, even while grappling with significant differences on the issues” (Heifetz et al. 2009). The aim of this literature review was to produce a scholarly knowledge synthesis and understanding of the factors, definitions and key questions associated with fairness in human judgement in health professions assessment, attempting to make ideas about fair human judgement explicit.

이러한 복잡한 구조, 범주 및 결과 개념적 프레임워크를 추가로 관리하는데 도움을 주기 위해, 추가적인 연구를 알리고, 공정한 인간 판단에 대한 커뮤니케이션과 토론을 강화하며, 평가 프로그램의 전문가 판단의 재제시에 도움을 주기 위해 개발되었다.

To further help manage this complex construct, categories and a resulting conceptual framework was developed, with a view to informing further research, enhancing communication and discussions about fair human judgement and provide assistance in the re-instatement of expert judgement in assessment programs.

방법 Methods

설계 Design

이 리뷰의 목적을 달성하기 위해, 우리는 해석적hermeneutic 문학 리뷰를 실시했다. 인간의 판단의 공정성을 이해하려면 서로 다른 분야와 관점의 증거를 검토하고 취합하며, 고유한 맥락과 복잡성을 고려하고, 많은 다른 이해당사자들에 대한 함의를 검토해야 한다. 놀랄 것도 없이, 이 문헌은 방대하고, 이질적이며, 무작위적으로 통제된 실험에서 나온 일치된 답변이 없다. 헤르메뉴틱 접근법은 선형 프레임워크가 아닌 주기적 프레임워크로 사용하며 해석적 이해를 생성하는 과정과 관련이 있다. 논문은 문헌에서 나온 다른 논문의 맥락에서 해석되며, 새로운 논문이 읽힐 때마다 이해에 영향을 받는다(Boell and Ccez-Kecmanovic 2010). 체계적 검토 방법론을 통해 합성할 수 없는 이질적 문헌으로부터 통찰력을 창출하는 가치가 있고 그렇지 않으면 결론에 도달하지 않는 결과를 산출할 수 있기 때문에 헤르메뉴틱 리뷰의 인기가 높아지고 있다(Greenhalgh and Shaw 2017).

To achieve the aim of this review, we undertook a hermeneutic literature review. Understanding fairness in human judgement requires reviewing and compiling evidence from different disciplines and perspectives, considering unique contexts and complexity, and reviewing implications for many different stakeholders. Not surprisingly, this literature is vast, heterogeneous and without consensus answers from randomised controlled trials. A hermeneutic approach uses as cyclical rather than linear framework, and is concerned with the process of creating interpretive understanding. Papers are interpreted in the context of other papers from the literature and understanding is influenced by each new paper read (Boell and Cecez-Kecmanovic 2010). The popularity of a hermeneutic review is increasing as it has value in generating insights from heterogenous literatures which cannot be synthesised through systematic review methodology, and would otherwise produce inconclusive findings (Greenhalgh and Shaw 2017).

검토에는 두 가지 주요한 연속적인 순환 과정이 있었다. 즉, 그림 1(Boell and Cecez-Kecmanovic 2014)에서 입증된 주장을 전개하기 위해 입수한 기사의 검색 및 획득과 분석과 해석이다. 검토 내내 기존 문헌을 의미 있게 종합하고 비평하기 위해 해석적 접근법을 사용했다(Boell and Ccez-Kecmanovic 2014). 이러한 접근방식과 일관되게, 우리의 문헌 검색은 엄격했지만 유연하고 반복적이었으며, 아이디어가 지도화, 분류, 비판적으로 평가되고 증거의 성격이 더욱 명백해짐에 따라, 연구 질문의 추가적인 정교화가 이루어졌다(Boell과 Cecz-Kecmanovic 2010).

There were two main continuous cyclical processes in the review: the search and acquisition of articles and the analysis and interpretation of the articles obtained to develop an argument as demonstrated in Fig. 1 (Boell and Cecez-Kecmanovic 2014). Throughout the review an interpretive approach was used to meaningfully synthesize and critique the existing literature (Boell and Cecez-Kecmanovic 2014). Consistent with this approach, our literature search was rigorous but flexible and iterative, and as ideas were mapped, classified and critically assessed and the nature of the evidence became more apparent, there was further refinement of the research question (Boell and Cecez-Kecmanovic 2010).

그림 1 문헌 검토를 위한 프레임워크로서의 헤르메뉴틱 서클 (Boell and Ccez-Kecmanovic 2014)

Fig. 1 The hermeneutic circle as a framework for the literature review (Boell and Cecez-Kecmanovic 2014)

리뷰의 초점

Focus of the review

그림 1에서 서술한 단계들을 헤르메뉴틱 리뷰의 모범 사례로 따라, 우리의 문학 리뷰는 초기 아이디어에서 시작되었다. 이것들이 우리의 초기 질문들을 형성했다:

Following the steps outlined in Fig. 1 as best practice for a hermeneutic review, our literature review started with initial ideas. These formed our initial questions:

검토 단계 Stages of the review

1단계: 증거 검색 및 획득 

Stage 1: search and acquisition of evidence

2019년 7월 NV는 그림 2에 요약된 검색 전략으로 시작했다. 

In July 2019 NV began with the search strategy outlined in Fig. 2. 

2단계: 데이터 추출, 분석 및 해석

Stage 2: Data extraction, analysis and interpretation

3단계: 개념 모델 개발

Stage 3: Development of a conceptual model

문헌 검토 과정에서, 건강 전문직 평가에서 인간 판단의 공정성에 대한 정의의 개념적 모델이 문헌 검토를 기반으로 개발되었다(그림 3). 

During the literature review process, a conceptual model of the definition of fairness in human judgement in health professions assessment was developed based on the literature review (Fig. 3). 

결과 Results

우리의 모든 질문에 대한 '숙성' 과정은 90개의 논문이 포함된 후에 이루어졌다. 이것들은 표 1에 요약되어 있다. 

The process ‘saturation’ on all our questions was reached after the inclusion of 90 papers. These are summarised in Table 1. 

개요: 평가 시 인간 판단의 공정성

Overview: fairness in human judgement in assessment

공정성은 복수의 정의를 가진 복잡한 구인이다(Tierney 2012). 평가 문헌 내에서는 "편향과 차별이 없고 모든 학생에게 적합성 규칙과 표준을 요구하는 판단의 질"(Harden et al. 2015) 또는 "시험에서 측정하고자 의도한 구인을 보여주는demonstrate 것에 대하여, 모든 응시자에게 동등한 기회를 주도록 시험이나 평가 과정 내 편향이 부재한 것"등과 같이 공정성을 단순화하려는 시도가 있었다. (American Research Association et al. 1999) 또는 "기술적 정신측정학 용어가 아님"(Tierney 2012)에 대한 그들의 입장을 입증한다. 그러나 공정성은 또한 공정성, 일관성, 균형, 유용성 및 윤리적으로 실현 가능한 것과 같은 광범위한 평가 관련 품질과 연관되어 있다. 이러한 폭breath는 평가의 공정성이 다면적이며, 이분법적으로 결정되거나 단순한 정의(Tierney 2012)로 축소될 수 있는 것이 아님을 보여준다.

Fairness is a complex construct with multiple definitions (Tierney 2012). Within the assessment literature, there have been attempts to simplify fairness to “the quality of making judgements that are free from bias and discrimination and requires conformity rules and standards for all students” (Harden et al. 2015), or “absence of bias within the test or assessment processes that give all candidates an equal opportunity to demonstrate their standing on the construct the test is intended to measure” (American Research Association et al. 1999) or as “not a technical psychometric term” (Tierney 2012). However, fairness has also been associated with a wide range of assessment related qualities such as equitable, consistent, balanced, useful and ethically feasible. This breath demonstrates that fairness in assessment is multifaceted and not something which can be reduced to a number, determined dichotomously or a simple definition (Tierney 2012).

인간 판단의 공정성의 특성을 이해하는 데 도움을 주기 위해, 문헌 검토의 결과로부터 개념적 프레임워크(그림 3)를 도출했다. 공정한 인간 판단의 복잡한 구조는 

• 공정한 인간 판단의 특성(해외, 경계, 전문성, 민첩성 및 증거)

에 의해 개념화되며, 이는 실제 구성요소로 인간 판단의 공정성을 변환하는 데 있어서, 

• 개개인의 수준에서 실제 구성요소로 지원되고 번역되는 가치(확실성, 목적에 적합성, 투명성 및 방어성)와 

• 시스템 수준에서 도움이 되는 절차 및 환경(일반적인 공정성, 문서화, 다중 기회, 복수의 평가자, 타당성 증거)

To assist in understanding the characteristics of fairness in human judgement, a conceptual framework was derived (Fig. 3) from the results of the literature review. The complex construct of fair human judgement could be conceptualised through 

• values (credibility, fit for purpose, transparency and defensibility) 

which are supported and translated into practical components 

• at an individual level by characteristics of fair human judgement (narrative, boundaries, expertise, agility and evidence) and 

• at a systems level by procedures and environments (procedural fairness, documentation, multiple opportunities, multiple assessors, validity evidence) which help translate fairness in human judgement from concepts into practical components.

평가에서 공정한 인간 판단의 가치

Values of fair human judgement in assessment

문헌 검토에서 평가에서 공정한 인간 판단의 네 가지 가치, 즉 신뢰도, 목적에 대한 적합성, 방어성 및 투명성을 확인했다. 이 값들은 모두 겹쳐서 서로 관련된다. 때로는 값이 상충하는 것처럼 보여서 관리해야 할 긴장을 고조시킨다. 이것들은 아래에 더 자세히 설명되어 있다.

The literature review identified four values of fair human judgement in assessment: credibility, fitness for purpose, defensibility and transparency. These values all overlap and relate to each other. At times the values appear to be conflicting, raising tensions which need to be managed. These are described in more detail below.

신뢰도 Credibility

[믿을 만하다고 여겨지는 인간]의 판단은 공정하다고 보여진다. 학습자들에게는 특히 불확실한 시기에는, 공정성이나 정의감이 [결정의 신뢰성]에 열쇠가 된다(Van den Bos and Medema 2000; Lind and Van den Bos 2002). 신뢰성에 대한 명확한 정의는 없지만, 정의 전반에 걸친 중요한 관점이 신뢰성believability, 그리고 조사 결과의 '진실성'에 대한 자신감 또는 신뢰감(Govaerts and van der Vleuten 2013)으로 나타나고 있다

Human judgements which are seen as credible, are seen as fair. For learners, a sense of fairness or justice is key to the credibility of the decision, especially in times of uncertainty (Van den Bos and Miedema 2000; Lind and Van den Bos 2002). There is no clear definition of credibility however an overarching view across definitions appears to believability (Hilligoss and Young Rich 2008), and confidence or trustability in the ‘truthfulness’ of the findings (Govaerts and van der Vleuten 2013).

신뢰도 평가는 이분법적이지도 않고, 단 한 번에 일어나는 것도 아니다. 오히려, 정보 구상의 종단적 과정 전반에 걸쳐 이루어진 고려사항이다(Rieh와 Hilligoss 2008). 신빙성은 판단 자체뿐만 아니라 판단 당사자와도 관련이 있다(Chory 2007). [판단 그 자체의 신뢰성]과 그 [판단의 발단이 되는 사람] 사이의 상호작용이 된다(Chory 2007). [과거의 경험]은 신뢰도 판단에 영향을 미친다. 예를 들어, 학습자가 출처의 신뢰성에 의문을 제기하는 경우, 해당 출처의 모든 정보는 해당 시점(Rieh 및 Hilligoss 2008)에서 "두 번째 추측"된다.

Credibility assessment is a not dichotomous, nor does it occur at just one point in time. Rather, it is a consideration made throughout the longitudinal process of information seeking (Rieh and Hilligoss 2008). Credibility is related not only to the judgement itself but also to the person making the judgement (Chory 2007). It is an interplay between the credibility of the judgement itself and the person from whom it originates (Chory 2007). Past experience impacts credibility judgements. For example, if a learner questions the credibility of the source, all information from that source is “second guessed” from that point forward (Rieh and Hilligoss 2008).

[대인관계 또는 상호작용적 공정성]은 신뢰성과 공정성의 중요한 구성요소다(Rodabaugh 1996; Patterson et al. 2011). 대부분의 학습자들은 그들의 선생님을 존경하고 또한 존경받는 대우를 받기를 원했다(Rodabaugh 1996). 의료 교육에서 여러 연구의 주요 주제는 학습자의 신뢰성 판단에 있어 평가자 참여의 중요성이다. 연구에 따르면 학습자는 [평가자의 명백한 열정, 헌신, 가르치는 동기, 신뢰, 존중 및 호감]과 관련하여 학습자에 대한 분명한 느낌에 대해 신뢰성 있게 판단한다(Telio et al. 2016; Watling et al. 2008; Ginsburg et al. 2017a). [장기간의 관찰, 긍정적인 학습 문화, 증거를 수집할 다수의 기회]는 이러한 신뢰성 판단의 발달을 지원한다(Watling et al. 2008; Watling 2014).

Interpersonal or interactional fairness, is an important component of credibility and fairness (Rodabaugh 1996; Patterson et al. 2011). Most learners respect their teachers and wanted to be treated with respect also (Rodabaugh 1996). A dominant theme of several studies in medical education is the importance of assessor engagement in learner’s credibility judgements. Studies have noted learners make credibility judgements regarding the assessors’ apparent enthusiasm, dedication and motivation for teaching, and their apparent feelings towards the learner in regards to trust, respect and fondness (Telio et al. 2016; Watling et al. 2008; Ginsburg et al. 2017a). Prolonged observation, a positive learning culture, and multiple opportunities for evidence support development of this credibility judgement (Watling et al. 2008; Watling 2014).

방어성 Defensibility

평가에서 판단 결정은 [학습자가 종종 주장claims의 기초를 형성하는 공정성의 개념으로 법적 보상을 요구할 수 있기 때문에] (법적으로) 방어할 수 있어야 한다(Colbert et al. 2017). 법적 용어로 판단judgement이란 어떤 증거를 가지고 또는 정당한 이유로 한 주장이다(reid 1850). 의료교육과 같이 복잡하고 불확실한 환경의 판단은 참 또는 거짓으로 분류하기 어렵고 확실성보다는 [신뢰성 또는 수용성]에 더 의존한다(Upshur and Colak 2003; Groarke 2019). 의학 교육 내에서는 평가가 어떻든 항상 불확실성이 있을 것이다. 어떤 평가 방법도 연습생이 모든 상황에서 의사라는 기대를 충족시킬 수 있다는 결정적인 증거는 결코 아니다. [절차적 공정성, 문서화, 전문성 및 경계]와 같은 개별적 특성과 시스템 절차는 판단의 방어성을 구축한다.

Judgement decisions in assessment need to be (legally) defendable as learners may seek legal redress with the concept of fairness often forming the basis of claims (Colbert et al. 2017). In legal terms, a judgement is an assertion made with some evidence or for good reason (Reid 1850). Judgements in complex, uncertain environments such as medical education are difficult to categorise as true or false and rest more on plausibility, or acceptability rather than certainty (Upshur and Colak 2003; Groarke 2019). Within medical education, no matter the assessment, there will always be uncertainty. No assessment method is ever conclusive proof that a trainee will be able to fulfil the expectations of being a doctor in all circumstances. Individual characteristics and system procedures such as procedural fairness, documentation, expertise and boundaries build the defensibility of judgements.

목적 적합성

Fitness for purpose

많은 저자들은 공정성이 사회적 구인이라고 주장해왔다(Stobart 2005; Ståhl et al. 2019; Wolf 1978; Eva 2015; Gipps and Stobart 2009). 지프스 외 연구진은 평가가 기술적 특성(Gipps 및 Stobart 2009; Stobart 2005)과 함께, 그것이 운영되는 사회문화적 맥락을 고려해야만 완전히 이해할 수 있는 [사회적으로 내재된 활동]이라고 주장한다. 의학 교육은 다양한 임상적 맥락에서 이루어지며, 진정한authentic 건강 관리 실천이라는 예측 불가능한 과제에 참여함으로써 생성되고 고유한 물리적, 사회적, 조직적 맥락에 의해 형성된다(Govaerts and van der Vleuten 2013). 

Many authors have argued that fairness is a social construct (Stobart 2005; Ståhl et al. 2019; Wolf 1978; Eva 2015; Gipps and Stobart 2009). Gipps et al. argue that assessment is a socially embedded activity that can only be fully understood by taking account of the social and cultural contexts within which it operates, alongside the technical characteristics (Gipps and Stobart 2009; Stobart 2005). Medical education occurs in diverse, clinical contexts, with learning produced by engagement in unpredictable tasks of authentic health care practice and shaped by unique physical, social and organisational contexts (Govaerts and van der Vleuten 2013). 

따라서 판단에서 무엇이 공정하고 신뢰할 수 있는지는 임상적 만남의 맥락과 환경 및 문화에 의해 결정되어야 하며, (다른) 증거의 존재만으로 결정되지 않아야 한다. 미국의 법률 시스템 내에서 처벌, 행정 편의 또는 자원의 예산 제약/이용 가능성과 같이 의도가 부적절할 경우 전문적 판단을 무시한다(Stefan 1993).

Therefore, what is fair and credible in a judgement must be determined by the context of the clinical encounter, and the environment and culture, not just by the existence of other evidence (Upshur and Colak 2003). Within the US legal system there is general consensus if the intent is inappropriate, such as punishment, administrative convenience, or budgetary constraints/availability of resources then the professional judgement is disregarded (Stefan 1993).

또한 공정한 판단 결정은 [의료전문가의 업무]와 [환자의 요구]와도 관련이 있어야 한다. 연구는 학습자들이 무엇보다도 임상적 관련성이 있다는 평가를 인지했다는 점에 주목했다(더필드와 스펜서 2002; 비니 외 2017). 맥락에 의존하고 목적에 맞는 공정한 판단은 총체적이다. 환자들은 측정 가능한 단위로 깔끔하게 분해되지 않으며 건강 전문가의 작업 또한 그렇지 않다. 통합 또는 전체론적 역량은 선별적으로 접근 가능한 증거를 옹호하며, 이는 역량이 추론되는 직장 및 환자 상황의 맥락에 민감하다(Beckett 2008).

Fair judgement decisions also need to relate to the work of a health care professional and the needs of the patient. Studies have noted that learners perceived assessment that, among other things, had clinical relevance was fair (Duffield and Spencer 2002; Viney et al. 2017). Context dependent and fit for purpose fair judgements are holistic. Patients are not neatly broken down into measurable units and neither can the work of a health professional. Integrated or holistic competence advocates a selective accessibly of evidence, which is sensitive the to the context of the workplace and patient situation, from which competence is inferred (Beckett 2008).

투명성 Transparency

문헌 전체에 걸쳐, 학습자와 공유된 이해를 구축하기 위해 개방성을 입증하는 공정한 평가를 강조한다(Dijksterhuis et al. 2009; Colbert et al. 2017; Van der Vleuten et al. 2015; Hays et al. 2015; Schuwirth et al. 2002), 일부 저자들은 투명성이 불공정한 평가에 대한 최선의 방어라고 주장한다(Gipps and Stobart 2009). 여기에는 [어떤 판단을 내릴 것인지, 누가 판단을 내릴 것인지, 판단의 목적, 기준 및 결과에 대한 명시적 의사소통]이 포함된다(Tierney 2012). 투명성을 개선하기 위한 의사소통 개입이 전체 공정성에 대한 candidate의 인식을 개선할 수 있다는 연구 결과가 나왔다(Patterson et al. 2011). 투명성은 판단 과정의 가치와 편견을 공개하고 이에 대한 영향에 대해 토론할 기회를 제공한다(Gipps와 Stobart 2009).

Throughout the literature, there is an emphasis on fair assessments demonstrating openness to build a shared understanding with learners (Dijksterhuis et al. 2009; Colbert et al. 2017; van der Vleuten et al. 2015; Hays et al. 2015; Schuwirth et al. 2002), with some authors arguing transparency is the best defence against unfair assessment (Gipps and Stobart 2009). This includes explicit communication about what judgements will be made, who will make them, the purpose, criteria, and results of the judgement decisions (Tierney 2012). Research has demonstrated communication interventions to improve transparency can improve candidate perceptions of overall fairness (Patterson et al. 2011). Transparency brings out into the open the values and biases of the judgement process and provides an opportunity for debate about the influences on this (Gipps and Stobart 2009).

투명성에는 수행능력 향상과 피드백에 초점을 맞춘 서술도 포함된다(Rodabaugh 1996; Colbert et al. 2017). 한 연구는 의대생을 대상으로 한 조사에서 '더 많은 피드백'이 공정성에 대한 일반적인 반응이라고 지적했다. 몇몇 의견제출자들은 적절한 피드백이 없다면, 미래에 계속해서 같은 실수를 저지를 수 있으며, 이는 불공평한 것으로 간주된다고 언급하였다(더필드와 스펜서 2002). 피드백을 제공하는 성과에 대한 고품질의 적절한 판단은 판단 결정의 신뢰성, 투명성 및 공정성을 구축한다(Tavares and Eva 2013; Govaerts and Van der Vleuten 2013).

Transparency also includes a narrative which focuses on performance improvement and feedback (Rodabaugh 1996; Colbert et al. 2017). One study noted ‘more feedback’ as a common response in a survey of medical students about fairness. Several respondents noted that without adequate feedback, they could continue to make the same mistakes in the future, and this was considered unfair (Duffield and Spencer 2002). High quality, appropriate judgements about a performance which provide feedback build the credibility, transparency and thus fairness of a judgement decisions (Tavares and Eva 2013; Govaerts and van der Vleuten 2013).

그러나 가치로서의 투명성은 공정성의 다른 가치와 상충될 수 있다(Tierney 2012). 예를 들어, 투명성은 학습자에게 프레임워크와 기대치에 대한 이해를 제공하지만, 이것은 더 신뢰할 수 있고 목적에 적합하며 방어할 수 있는 개별화된 [맥락적 평가의 기회를 제한]할 수 있다. 투명성은 컨텍스트-독립성을 목표로 하는 체크리스트, 루브릭 및 판단 보조 도구로 이어질 수 있기 때문이다. 

However, transparency as a value can conflict with other values of fairness (Tierney 2012). For example, transparency provides learners with a framework and an understanding of expectations, but this can restrict opportunities for individualised, contextual assessment which is more credible, fit for purpose and defensible. Transparency can lead to checklists, rubrics and judgement aids which aim to be context independent. 

와틀링(2014년)은 사전 결정된 평가 양식을 주목했는데, 평가자가 관찰되지 않거나 임상 상황의 맥락에서 광범위한 역량에 대해 판단하도록 강요받으면 평가자와 프로세스에 대한 학습자의 신뢰도가 떨어지고, 의미 없는 상투적인 산더미에서 잠재적으로 [신뢰할 수 있는 결정]을 숨길hide 수 있다. 게다가, 분명하게 표현할 수 없는 판단을 내릴 때 작용하는 많은 개별화된, 암묵적인 가치관과 개인적 특성이 있다. 투명성이 신뢰도, 방어성 및 인간 판단의 공정성에 [합목적적인 공생] 속에서 이뤄질 수 있도록 하기 위해서는 그림 3과 같이 전문가의 능력, 경계, 서술성, 평가자의 민첩성 등 많은 특성이 필요하다.

Watling (2014) noted predetermined assessment forms, where assessors are forced to make judgements on a wide range of competencies not observed or in context of the clinical situation can diminishes the learners’ trust in the assessor and process, and hides potentially credible decisions in a mountain of meaningless platitudes. Furthermore, there are many individualised, tacit values and personal characteristics which come into play when making judgements which cannot be explicitly expressed. To ensure transparency can occur in symbiosis with credibility, defensibility and fit for purpose in fairness in human judgement, many characteristics such as expert abilities, boundaries, narrative and agility of assessors are needed as demonstrated in Fig. 3.

개인 차원의 평가에서 인간 판단의 공정성을 창출하기 위해 필요한 것은 무엇인가?

What is needed to create fairness in human judgement in assessment at an individual level?

판단 결정이 평가에서 인간 판단의 공정성의 가치에 내재된 경우, 이러한 결정은 내러티브, 증거, 경계, 전문지식 및 민첩성을 포함한 개별적 수준의 구성요소에 의해 뒷받침되어야 할 것이다.

If judgement decisions are embedded in the values of fairness in human judgement in assessment, then these will need to be supported by components at an individual level, including narrative, evidence, boundaries, expertise and agility.

내러티브 Narratives

내러티브는 인간의 판단에 투명성, 신뢰성, 방어성, 맥락, 경계 및 관점을 제공한다. 내러티브는 의도적으로 수행능력의 맥락 특이적 측면을 잡아내기 때문에, 학습자가 어떠한 방식과 이유와 방법으로 평가받았는지를 정의할 수 있게 된다. 이로서, 비선형적non-linear 평가를 캡처할 수 있으며, 의미 구성을 허용하고 성찰을 장려하여, 평가의 방어성을 개선하고 판정이 목적에 적합하도록 보장할 수 있다.

Narratives provide transparency, credibility, defensibility, context, boundaries and perspective to human judgement. It intentionally captures context-specific aspects of performance (Govaerts and van der Vleuten 2013; Bacon et al. 2017; Ginsburg et al. 2015), allows for capturing of non-linear assessment by defining how, why and in what way a learner has been judged, allows for the construction of meaning and encourages reflection (Greenhalgh and Hurwitz 1999a, b) which can improve defensibility and ensure the judgements remain fit for purpose.

일부 저자들은 전문가의 주관적 내러티브 논평은 '총괄적 평가에서 신뢰할 수 있는 의사결정을 하는데 필수적'이며, 따라서 판단의 신뢰도에 필수불가결하다고 제안한다. 평가자가 자신의 생각을 명확히 표현할 수 있도록 허용하는 것은 평가가 평가자의 사고를 가리는 [수치적 점수에 의존할 때 발생하는 환원주의]보다 더 신뢰할 수 있고 방어할 수 있다(Govaerts and van der Vleuten 2013; McCready 2007). 평가에 서술적 내러티브를 사용하는 것은 위험 학습자를 조기에 식별하는 것으로 나타났다(Cohen et al. 1993; Durning et al. 2010; Ginsburg et al.2017b; Ginsburg et al. 2013). 내러티브는 또한 평가자들을 보다 전체적인 판단으로 이끌며(Bacon et al. 2017), [학습자들이 공정한 판단에 필요하다고 보는] 피드백을 허용한다(Rodabaugh 1996; Colbert et al. 2017; Duffield and Spencer 2002; Govaerts and van der Vleuten 2013; Tavares와 Eva 2013; Watling et al. 2008). 더욱이, return-to-work 문헌에서, 판단의 공정성에 대한 인식은 적어도 부분적으로 관련 전문가의 의사소통 능력에 의존했다(Sthl et al. 2019).

Some authors propose that expert subjective narrative comments are ‘indispensable for trustworthy decision making in summative assessments’, and thus credibility of judgements (Ginsburg et al. 2015; Marjan Govaerts and van der Vleuten 2013). Allowing assessors to articulate their thinking, may be more credible and defensible than reductionism which occurs when assessments rely on numerical scores which mask assessors’ thinking (Govaerts and van der Vleuten 2013; McCready 2007). The use of descriptive narratives in assessment has been shown to identify at-risk learners earlier (Cohen et al. 1993; Durning et al. 2010; Ginsburg et al. 2017b; Ginsburg et al. 2013) and contributes to predicting future performance or need for remediation (Cohen et al. 1993). Narratives also lead assessors to more holistic judgements (Bacon et al. 2017) and allow for feedback which learners see as essential for a fair judgement (Rodabaugh 1996; Colbert et al. 2017; Duffield and Spencer 2002; Govaerts and van der Vleuten 2013; Tavares and Eva 2013; Watling et al. 2008). Furthermore, within the return-to-work literature, perceptions of the fairness of the judgements was at least partly dependent on the communication skills of the professionals involved (Ståhl et al. 2019).

내러티브는 또한 [그룹 의사결정을 용이하게 하고, 평가자가 가정을 명확히 하고, 견해의 확정을 논하고, 다른 사람의 관찰로부터 배울 수 있도록 함]으로써 [시스템 수준]에서 방어성을 더한다(Bacon et al. 2017). 어떤 사람이 자신의 결정에 대한 이유를 명확하게 설명하기 위해 내러티브를 사용해야 할 때, 그들은 그들이 목적에 적합하도록 확실히 하기 위해 의사 결정에 더 집중하게 된다. (Daniels and Sabin 1997).

Narratives also add to defensibility at a systems level by facilitating group decision making, allowing assessors to articulate assumptions, discuss disconfirming views and learn from the observations of others (Bacon et al. 2017). When a person is required to use narratives to articulate the reasons for their decisions they become more focused in their decision making ensuring they remain fit for purpose (Daniels and Sabin 1997).

평가자의 언어는 모호하고 간접적일 수 있으며, 교직원과 학습자가 자신의 코멘트에 의해 의도된 평가자의 의도를 추측하도록 요구하는 경우('숨겨진 코드'를 찾음) 이 코드를 해석하는 데 있어 교직원과 학습자들 사이에 놀라운 일관성이 있다(Ginsburg et al. 2015, 2016, 2017a). 그러나, 체면 유지를 위한 '헷징'을 포함한 여러 요소들로 인해, 내러티브는 종종 학습자가 얼마나 열심히 일하느냐에 초점을 맞추는데, 이는 학습자가 노력의 이러한 인식을 공정하다고 보는 경우가 많지만, 성과 판단에 도움이 되지 않을 수 있다. 게다가, 일부 평가자들은 부정적인 메시지를 효과적으로 전달하기 위한 훈련과 내러티브가 부족하다고 느낀다. (Cleland et al. 2008) 

Whilst assessors’ language may be vague and indirect, requiring faculty and learners to guess what assessors intended by their comments (finding a ‘hidden code’) there is surprising consistency amongst faculty and learners in interpreting this code (Ginsburg et al. 2015, 2016, 2017a). However, due to multiple factors, including ‘hedging’ to save face, narrative often focuses on how hard a learner works which can be unhelpful in judging performance (Ginsburg et al. 2016, 2017a), although learners often see this recognition of effort as fair (Rodabaugh 1996). Furthermore, some assessors feel they lack the training and narrative to give negative messages effectively (Cleland et al. 2008). 

이러한 한계를 극복하기 위해 많은 사람들은 평가자에게 판단을 요청할 때 임상 실무에 적합한 서술법을 사용할 것을 요구하였다(Kogan et al. 2014; Crossley and Jolly 2012). 평가 척도를 임상적 독립성 또는 위임 구성에 맞춰 조정하면 점수 신뢰도와 평가자 차별성이 개선되는 것으로 나타났다(Crossley and Jolly 2012; Weller et al. 2014). 이것은 또한 임상적 증거가 [판단의 내러티브]의 기초가 될 수 있도록 하여 신뢰성을 향상시킨다 (Watling et al. 2012). 더욱이, (이러한) 판단은 평가 척도보다 고품질 임상 치료에 집중되기 때문에, 환자들에게도 더 공평하다(Kogan et al. 2014).

To overcome these limitations, many have called for narratives which fit clinical practice to be used when asking assessors to make judgement (Kogan et al. 2014; Crossley and Jolly 2012). Aligning rating scales to the construct of clinical independence or entrustment has been shown to improve score reliability and assessor discrimination (Crossley and Jolly 2012; Weller et al. 2014). This also allows for clinical evidence to be form the basis of the narrative of the judgement which improves credibility (Watling et al. 2012). Furthermore, it also is fairer to patients, as the judgements are focused on high quality clinical care rather than rating scales (Kogan et al. 2014).

근거 Evidence

근거는 판단을 뒷받침하는 수단으로 제공되며(Upshur와 Colak 2003), 타당성 논쟁을 일으키는데 필수적이다(Govaerts and van der Vleuten 2013). 근거가 없으면 판단이 아니라 추측이다(Downie and Macnaughton 2009). 근거 그 자체는 종종 주관적이다. 각 맥락에서 적용할 수 있는 증거를 판단하는 보편적 표준은 없으며, 따라서 필요한 근거의 유형은 그에 따라 달라질 것이다(Upshur와 Colak 2003). 또한 고부담 평가에서 [데이터 수집 단계와 수집된 증거]가 실제 판단 자체보다 더 자주 어려운 것임이 입증되었다(Southgate et al. 2001).

Evidence is offered as a means of supporting judgements (Upshur and Colak 2003), and is essential for creating a validity argument (Govaerts and van der Vleuten 2013). Without evidence, it is not a judgement but a guess (Downie and Macnaughton 2009). Evidence itself is often subjective. There is no universal standard to adjudicate evidence that can be applied in each context, and the type of evidence needed will therefore vary accordingly (Upshur and Colak 2003). It has also been demonstrated that in high stakes assessment, the data gathering phase and evidence collected is more often challenged than actual judgement itself (Southgate et al. 2001).

Watling 외 연구진(2012)은 [환자의 임상 결과 및 환자로부터의 피드백]과 같이, 학습자는 [의사의 실제 작업에 내재된 판단에 관한 근거]를  본질적으로 신뢰할 수 있는 것으로 보았다. 평가자로부터 [직접 관찰을 받음]으로서 판단 결정을 받는 것은 평가의 공정성에 대한 신뢰도와 인식에 기본적이며, 이러한 공정성에 대한 인식은 관찰이 장기간에 걸쳐 이루어질 경우 더욱 강화된다(Duffield 및 Spencer 2002; Bul).잠금 등 2019). 다양한 임상 환경에서 복수의 증거 출처를 갖는 것(삼각측량), 증거의 지속적인 수집 및 삼자 회의(피어 디브리핑 및 멤버 체크)와 같은 시스템 절차도 증거의 공정성에 대한 인식을 개선하기 위해 보인다(Webb et al. 2003; Bacon et al. 2017; Watling et al. 2013a).

Watling et al. (2012) noted evidence for judgements that were embedded into the actual work of a doctor, such as patient clinical outcomes and feedback from patients was seen by learners as being intrinsically credible. Having the opportunity to be directly observed by the assessor making judgement decisions is fundamental to the trustworthiness and perception of fairness of the assessment (Watling and Ginsburg 2019; Watling et al. 2013a; Watling et al. 2008), and this perception of the fairness is enhanced by prolonged observation (Duffield and Spencer 2002; Bullock et al. 2019). System procedures such as having multiple sources of evidence in a variety of clinical settings (triangulation), continuous collection of evidence and tripartite meetings (peer debriefing and member checks) is also seen to improve the perception of fairness of evidence (Webb et al. 2003; Bacon et al. 2017; Watling et al. 2013a).

경계 Boundaries

공정한 판단 결정은 경계가 있다고 볼 수 있다. 이것들은 판단에 도달하고, 판단 결과를 소통하는 과정에서 

• 허용 가능한/허용되지 않는 것, 

• 관련성이 있거나 없는 것, 

• 목적에 적합한 것/부적합하지 않은 것 사이의 경계선이다. 

Fair judgement decisions can be seen as having boundaries. These are boundaries between 

• what is acceptable/not acceptable, 

• what is relevant/not relevant or 

• what is fit for purpose/not fit for purpose in the process of arriving at and communicating a judgement. 

경계는 사회적 구인으로서, [가치와 연결되고, 따라서 평가자는 서로 다른 장소마다 경계를 구성]한다. 본질적으로, [경계]는 모호하다. 학습자들은 경계가 어디에 있는지, 그리고 무엇이 "평가가능한지"에 대해 걱정한다. [지속적인 관찰]은 학습자에게 [모든 관찰은 체면을 잃거나 평가 결과에 영향을 줄 수 있는 기회]라는 것을 의미할 수 있다. 한 연구에 따르면 학생들은 인종, 성별, 연령에 기초하여 일부 학생에 대한 교수진의 편파성이 불공평하다고 느꼈으며, 많은 국가에서 이 또한 불법이라고 한다. 암묵적으로 공유된 가치, 표준 문서는 판단 결정을 위한 증거가 될 수 있는 것의 경계를 만드는 데 도움을 준다. 극단적인 관점을 갖는 것은 또한 그들이 내리는 사람과 판단의 신뢰성을 떨어뜨리는 경향이 있다(Kirkland 2012).

Such boundaries are social constructs, connected with values and thus assessors construct boundaries in different places (Houston 2002). By their very nature, boundaries are fuzzy. Learners are concerned about where boundaries lie, and what is “assessable” (Rees and Shepherd 2005). Continuous observation may mean every observation is an opportunity for learners to lose face and impact their assessment outcome (Watling and Ginsburg 2019). One study noted students felt a faculty member’s partiality to some students on the basis of race, gender or age was unfair, (Rodabaugh 1996) and in many countries this is also illegal. Implicit shared values, standard documents assist in creating boundaries of what is able to be evidence for judgement decisions. Holding extreme views, at the edge of boundaries also tends to lower the credibility of the person and the judgements they make (Kirkland 2012).

전문성 Expertise

의학 교육에는 임상 및 교육이라는 두 가지 유형의 전문지식이 있다(Jones 1999). 평가자는 평가자로서의 신뢰성을 갖추려면 전문 임상의로서의 신뢰성이 필요하다고 본다(Watling et al. 2012, 2013b; Telio et al. 2016; Berendonk et al. 2013). 의사결정 위원회는 또한 전문성을 중시하며, 공정성과 신뢰성을 확보하기 위해 교수의 [전문가로서 인지된 지위]에 의존한다(Hauer et al. 2016).

Within medical education, there are two types of expertise, clinical and educational (Jones 1999). Assessors perceive that credibility as an expert clinician is required if one is to have credibility as an assessor (Watling et al. 2012, 2013b; Telio et al. 2016; Berendonk et al. 2013). Decision making committees also value expertise, relying on faculty members’ qualifications via their perceived status as expert to help ensure fairness and credibility (Hauer et al. 2016).

학습자는 교육적 전문지식보다 임상적 전문지식을 중시한다(Watling et al. 2013b). 그러나 의료 교육 전문가들은 일반적으로 정보 및 정보 집합을 가지고 추론할 때 의미 있는 패턴 및 추상화를 더 많이 사용한다(Govaerts et al. 2011). 그들은 잘 발달된 개인 스키마를 가지고 있으며, 그들이 평가하고 있는 특정한 문제나 상황에 근거하여 사용하는 스키마를 선택할 수 있으며, 이것은 예측할 수 없는 맥락에서 판단을 용이하게 하는데 효과적이다(Watling et al. 2012; Govaerts et al. 2013; Marewski et al. 2010). 또한 그들은 다양한 맥락의 특정 정보를 의미 있는 패턴으로 결합하여 평가판단을 내릴 가능성이 더 높으며, 주로 그들이 본 것에 대한 문자적이고 피상적인 설명을 제공하는 초보자에 비해 연습생 성과에 대한 보다 풍부하고 해석적인 설명을 제공한다(Govaerts et al. 2011).

Learners value clinical expertise over educational expertise (Watling et al. 2013b). However, experts in medical education in general make more inferences on information, cluster sets of information into meaningful patterns and abstractions (Govaerts et al. 2011). They have a well-developed set of personal schemas, and are able to choose a schema used based on the specific problem or context they are assessing, which is effective for facilitating judgement in unpredictable contexts (Watling et al. 2012; Govaerts et al. 2013; Marewski et al. 2010). They also are more likely to make evaluative judgements, combining various context specific information into meaningful patterns, providing richer and more interpretive descriptions of trainee performance as compared to novices who mostly provide literal, superficial descriptions of what they had seen (Govaerts et al. 2011).

민첩성 Agility

Govaerts 외 연구진(2013년)은 평가자가 수행능력을 평가할 때 다양한 수행능력의 측면을 고려한다는 점에 주목했다. 예를 들어, 병력청취, 신체검사, 환자관리 중 성과를 평가할 때, 측정자들은 문제의 '의학-기술적' 측면을 적절히 다루는 학생들의 능력뿐만 아니라 의사소통, 대인관계, 시간관리 능력도 평가했다. 이와는 대조적으로 많은 평가 양식은 [맥락에 무관하게 독립적이며 임상 상황에 관계없이 모두 완료해야 하는] 별개의 독립된 실체로 성과 차원을 열거한다. 비록 이러한 방식은 투명하지만, 신뢰도가 낮거나 목적에 적합하지 않으며(Watling 2014; McCready 2007) [맥락적으로 적절하고, 전체론적이며 개별화된 판단 결정을 내릴 수 있는] 평가자의 민첩성을 인식하지 못한다(Govaerts et al. 2013). [지침이나 프로토콜을 엄격히 준수하는 것]과 [높은 "품질"]을 동일시하는 것은 보다 정교한 [전문성의 프로세스]에 대한 증거를 간과하는 것이다(Greenhalg et al. 2014). 

Govaerts et al. (2013) noted that assessors consider multiple performance dimensions when assessing performance. For example, when assessing performance during history taking, physical examination or patient management, raters assessed not only students’ ability to adequately handle the ‘medico-technical’ aspects of the problem, but also communication, interpersonal and time management skills. In contrast, many assessment forms aim to be context independent and list performance dimensions as separate distinct entities which all need to completed regardless of the clinical situation. Although this is transparent, it is not credible or fit for purpose (Watling 2014; McCready 2007) and does not recognise assessors’ agility to make contextually appropriate, holistic and individualised judgement decisions (Govaerts et al. 2013). Equating “quality” with someone who strictly adheres to guidelines or protocols, is to overlook the evidence on the more sophisticated process of expertise (Greenhalgh et al. 2014). 

공정성의 관점에서, 이러한 목적 적합하고 개별화된 전체론적 판단은 [여러 항목으로 된 체크리스트보다 더 낫지는 않더라도] 평가자 합의와 수행능력의 변별력을 입증하며, 사회적으로 더 공평하다. 왜냐하면 환자들은 상담의 '부분parts'를 할 수 있는 사람이 아니라, 심리학적으로 그들의 심리학적 환경에서 자신들에게 다가갈 수 있는 [전인적인whole person] 사람으로서 건강 전문가가 필요하기 때문이다. 

From a fairness perspective, these fit-for-purpose, individualised holistic judgements demonstrate at least as much, if not more, assessor agreement and performance discrimination than checklists of actual items (Crossley and Jolly 2012; MacRae 1998; Sadler 2009) and are fairer to society because patients need a health professional who can approach them as a whole person, in their psychosocial environment, not one who can do ‘parts’ of an consultation. 

법률적 관점에서, 의학에서는 [맥락]은 논쟁적합성의 판단에 강하게 영향을 미친다는 인식이 증가하고 있으며, 임상적 판단이 개별화되지 않은 경우에는 전문적 판단에서 벗어나는 것으로 간주된다(Stefan 1993).

From a legal perspective, in medicine there is increasing recognition that the context strongly influences the adjudication of argument adequacy and if a clinical judgement is not made on an individualised basis, it constitutes a departure from professional judgement (Stefan 1993).

나아가, [상담이 실시간으로 진화할 때만 문제가 드러나는] 불확실한 상황인 실생활real life에서 평가가 자주 일어나기 때문에, 평가자는 환자의 공정성과 안전을 보장하기 위해 실시간으로 판단해야 한다. 상황을 평가하고, 적절한 조치를 취하고, 결과를 재평가하기 위한 지속적인 모니터링 사이클이 필요하다. 이것은 민첩성을 필요로 한다. 이러한 민첩성과 전문지식이 결합되면, 연습생이 직장에 기반한 학습에 종사할 수 있게 되므로, 실제 환자들에 대한 임상 경험을 획득하여 환자 안전을 보장하면서도 학습을 극대화할 수 있다.

Furthermore, because assessment often occurs in real life, uncertain situations where issues only become apparent as the consult evolves in real time, assessors need to make judgements in real time to ensure patient fairness and safety (Katerndahl et al. 2010; Plsek and Greenhalgh 2001; Kaldjian 2010; Berendonk et al. 2013; Lipshitz et al. 2001; Flin et al. 2007; Epstein 2013). A continuous cycle of monitoring to assess the situation, taking appropriate actions and re‐evaluating the results is required (Flin et al. 2007). This requires agility. This agility, combined with expertise allows for trainees to engage in workplace based learning, gaining clinical experiences on real life patients to maximise learning whilst still ensuring patient safety (Flin et al. 2007).

시스템 수준에서 평가에서 인간 판단의 공정성을 창출하기 위해 필요한 것은 무엇인가?

What is needed to create fairness in human judgement in assessment at a systems level?

개별적인 평가판단은 독립적이지 않고 오히려 평가 시스템의 일부분이다. 시스템 사고의 관점을 활용하면 단순히 개별적인 수준의 공정성을 검사하는 것 보다 공정한 인간 판단의 개인 특성과 가치에 대한 보다 풍부한 검사가 가능하다(Colbert et al. 2015). 시스템 수준에서 공정성의 가치와 개별 특성을 지원할 수 있는 시스템과 환경에는 절차적 공정성, 문서화, 다중 기회, 복수의 평가자 및 타당성 증거가 포함된다.

Individual assessment judgements are not independent, rather they are part of an assessment system. Utilising a systems thinking lens enables a richer examination of individual characteristics and values of fair human judgement than would be possible from simply examining fairness at an individual level alone (Colbert et al. 2015). At a systems level, systems and environments which are able to support the values and individual characteristics of fairness include procedural fairness, documentation, multiple opportunities, multiple assessors and validity evidence.

절차적 공정성 Procedural fairness

절차적 공정성은 무정형의 개념이다. 교육 내에서는 절차적 공정성에 대한 명확한 정의가 없다. 그러나 이 비정형 개념의 중요성은 분명하다. 사람들은 결과를 결정하는 데 공정한 절차가 있다고 생각한다면 당국이 자발적으로 제공하는 결과를 받아들이고자 한다(Van den Bos et al. 1998; Van der Vleuten et al. 1991). 이는 실험실 실험, 조사 연구 및 실제 환경에서 발견되는 사회 심리학에서 가장 자주 복제되는 발견 중 하나이다(Van den Bos et al. 1997). 절차적 공정성은 후보자와 기관 모두에 대한 선발과 평가와 같은 고부담결정의 신뢰성에 중요한 역할을 한다(Burgess et al. 2014; Colbert et al. 2017).

Procedural fairness is an amorphous concept. There is no clear definition of procedural fairness within education. However, the importance of this amorphous concept is clear. People are more willing to voluntarily accept outcomes given to them by an authority if they perceive there is fair procedures in deciding the outcomes (Van den Bos et al. 1998; van der Vleuten et al. 1991). This is one of the most frequently replicated findings in social psychology, found in in laboratory experiments, survey studies and real world environments (Van den Bos et al. 1997). Procedural fairness plays an important role in the credibility of high stakes decisions such as selection and assessment, for both candidates and institutions (Burgess et al. 2014; Colbert et al. 2017).

절차적 공정성에 대한 인식에 긍정적인 영향을 미치는 것으로 보여지는 몇 가지가 있는데, 여기에는 판정이 이루어지는 과정을 명시적으로 기술하는 것(린드와 타일러 1988), 공식적이고 정기적인 판정 과정에 대한 포괄적 검토, 항소 절차의 제공(Hayes et al. 2015) 등이 있다. 또한 절차적 공정성을 위해 중요한 것은 학습자가 자신의 기대치와 이러한 [기대를 충족하지 못할 경우 요구되는 사항을 명시적으로 알려주도록] 하는 것이다(Colbert et al. 2017). 학습자에게 가능한 일찍 정보를 제공하는 것은 학습자가 자신의 의견을 말할 수 있게 해 주듯이 공정성에 대한 인식에 긍정적인 영향을 미치는 것으로 나타났다(Van den Bos et al. 1997). 평가 시기는 또 다른 관련 측면이다. 학습자가 자신의 행동을 바꿔볼 수 있는 기회가 없어 불공평하게 보이기 때문에 로테이션이 끝날 때 제공되는 판단은 잘 받아들여지지 않는다(Ramani et al. 2017; Watling et al. 2008).

There are several things which have been shown to positively influence the perception of procedural fairness which such as explicitly describing the process by which judgements are made (Lind and Tyler 1988), by formal, regular inclusive reviews of the judgement process, and provision of an appeals process (Hays et al. 2015). Also important for procedural fairness is to ensure the learner is explicitly told of their expectations and what else is required if they did not meet these expectations (Colbert et al. 2017). Providing learners with information as early as possible has been shown to positively impact perceptions of fairness, as has allowing learners to voice their opinion (Van den Bos et al. 1997). The timing of assessment is another relevant aspect; judgements provided at the end of a rotation are less well received, as there is no opportunity for learners to modify their behaviour which is seen as unfair (Ramani et al. 2017; Watling et al. 2008).

문서화 Documentation

[내려진 판단에 대한 풍부하고 의미 있는 정보의 문서화]와 [예상되는 가치와 표준의 문서화]는 외부 감사, 재구성, 평가 및 품질 보증과 투명성, 신뢰성 및 방어성을 허용한다(Govaerts and van der Vleeuten 2013; Webb et al. 2003; McCready 2007). 또한 위에서 설명한 절차적 공정성은 평가 정책과 절차를 요약한 명확하고 포괄적인 문서가 필요하다(Hays et al. 2015).

Documentation of rich, meaningful information about judgements made, and documentation of values and standards expected allows for external audit, reconstruction, evaluation and quality assurance and thus transparency, credibility and defensibility (Govaerts and van der Vleuten 2013; Webb et al. 2003; McCready 2007). Furthermore, procedural fairness as described above needs clear and comprehensive documentation outlining assessment policies and procedures (Hays et al. 2015).

필요한 문서의 세부사항은 상황에 따라 달라진다. 한 연구는 평가자가 글로벌 역량 등급만 제공했기 때문에 학습자가 판단의 신뢰성에 의문을 제기했다고 지적했다. 평가자가 의미 없이 체크박스를 하지 않았기 때문에 이것이 잠재적으로 더 신뢰할 수 있는 것으로 보일 수 있지만, 완전한 문서화의 결여는 반대의 효과로 이어졌다(Rees and Shepherd 2005).

The detail of the documentation required depends on the context. One study noted a learner questioned the credibility of a judgement because the assessor only provided a global competency grade. Although this could potentially be seen as more credible because the assessor did not meaninglessly tick boxes, the lack of complete documentation led to the opposite effect (Rees and Shepherd 2005).

다수의 기회 Multiple opportunities

질병은 [사물]이 아니라 [의사들이 징후, 증상, 진행을 해석하도록 요구하는 그림plots]으로 보여질 때 가장 유용하다(Hunter 1996). 마찬가지로, 단일 시점의 시간 평가 판단이 미래의 성과를 예측하기에 적절하지 않다고 제안되었으며, 지식, 기술 및 태도를 보다 지속적으로 평가할 수 있도록 종적 평가가 필요하다(Boulet and Durning 2019). 역량은 주어진 상황에 적용되는 일반적이고 안정적인 특성이 아니기 때문에, 다양한 직무 요구사항에 적응할 수 있는 개인의 성과와 능력을 심층적으로 이해하려면 광범위한 직무, 맥락 및 평가자가 필요하다(Govaerts and van der Vleuten 2013; Schuwirth et al. 2002; Van der Vleuten and Schuwirth 2005). 몇몇 저자들은 인간의 판단을 활용하는 공정하고 방어 가능한 평가 프로그램은 [종합적이고, 복합적이며, 사실에 입각한 지식, 직접 관찰의 충분히 큰 표본, MSF, 포트폴리오 등을 포함함으로써 학습 진행 상황을 모니터링하고 학습 계획과 자기 성찰을 개발할 수 있어야 한다]고 제안한다(Dijksterhuis et al. 2009년). 그러나 일부 교육 프로그램에서는 훈련생 평가에 대한 낮은 return rate가 드물지 않기 때문에 여러 가지 증거를 확보하는 것은 문제가 될 수 있다(Colbert et al. 2017).

Diseases are most useful when they are thought of not as objects but instead seen as plots that unravel over time requiring physicians to interpret signs, symptoms and progression (Hunter 1996). Similarly, it has been suggested a single point in time assessment judgement is not adequate to predict future performance, and longitudinal assessment is needed to allow for a more continuous evaluation of knowledge, skills and attitudes (Boulet and Durning 2019). Because competencies are not generic and stable traits that apply in any given situation, a broad range of tasks, contexts, and assessors are needed to gain an in-depth understanding of a person’s performance and capability to adapt to various task requirements (Govaerts and van der Vleuten 2013; Schuwirth et al. 2002; van der Vleuten and Schuwirth 2005). Several authors suggest that a fair and defensible assessment program utilising human judgement should be comprehensive, multimodal, incorporate factual knowledge, sufficiently large samples of direct observation, multisource feedback, and a portfolio to monitor progress and to develop learning plans and self-reflection (Dijksterhuis et al. 2009). However, obtaining multiple pieces of evidence can be problematic as in some training programs a low return rate for trainee assessment is not uncommon (Colbert et al. 2017).

평가에서 공정한 인간의 판단은 [기회 접근의 공정성]과 불가분의 관계에 있다(Stobart 2005). 감독자는 신체적 기회를 통해서 또는 학생 학습에 대해 한결같이 낮은 기대를 가질 때 학습자의 학습 기회 품질에 영향을 미칠 수 있다(Tierney 2012). 학생들의 공정감각은 [성적 상승 효과가 있는 점수의 수정 또는 조작]보다 [리뷰 세션이 학습지도요령 등 교육행동teaching practice으로 주어진 기회]와 더 밀접한 관계가 있는 것으로 나타났다(Rodabaugh 1996).

Fair human judgement in assessment is inseparable from fairness in access to opportunities (Stobart 2005). Supervisors are able to influence the quality of the learner’s opportunities to learn, both through physical opportunities, or when uniformly low expectations are held for student learning (Tierney 2012). Students’ sense of fairness has been found to be more closely related to opportunities afforded to them by teaching practices such as review sessions and study guides, than scoring modifications or manipulations that have the effect of raising grades (Rodabaugh 1996). 

문헌에 따르면 모든 학습자는 주요 평가에 앞서 모든 평가 유형을 경험할 수 있는 기회를 가져야 하며, 특히 한 가지 평가 유형에서 불이익을 받는 사람에게는 전문성의 증거를 보여줄 수 있는 대체 기회를 주는 것이 특히 중요하다고 제안한다.9. 더욱이, 학습자들은 자신이 받은 피드백을 이해하고 통합했음을 증명할 기회를 가치 있게 여긴다(Watling et al. 2013a, 2008).

The medical literature suggests all learners should have opportunities to experience all assessment types prior to major assessments (Hays et al. 2015), and to allow learners alternative opportunities to demonstrate evidence of expertise, which is especially important for those who are disadvantaged on one type of assessment (Gipps and Stobart 2009). Furthermore, learners value opportunities to demonstrate they have understood and incorporated feedback they have received (Watling et al. 2013a, 2008).

공정성은 종종 '평등한' 대우나 관행으로 여겨져 왔다(Colbert et al. 2017). 그러나, 수많은 철학자와 수학자들은 평등한 대우를 한다고 해서 항상 공정성이 보장되는 것은 아니라고 주장해왔다(Eva 2015; Stobart 2005). 예를 들어, 에바는 '한 명은 편두통 때문에 결석한 반면 다른 한 명은 숙취로 인해 결석했을 때 의무 교육을 받지 못한 두 명의 의대생에게 동등한 치료를 주는 것이 공평한가'라고 묻는다. '중립성, 일관성, 편애 회피는 공정하지만, 모든 학습자를 사용하는 방법이나 피드백을 동일하게 취급하는 것은 다른 한편으로 불공평하다. 왜냐하면 그것은 일부 학생들의 학습 기회를 감소시키고 있기 때문이다(Tierney 2012). 

Fairness has often been viewed as ‘equal’ treatment or practice (Colbert et al. 2017). However, countless philosophers and mathematicians have argued that equal treatment does not always ensure fairness (Eva 2015; Stobart 2005). For example, Eva asks: ‘is it fair to give two medical students equal remediation for missing a mandatory education session when one was absent because he had a migraine headache, whereas the other had a hangover (Eva 2015)?' Neutrality, consistency and avoidance of favoritism is one on hand fair, however, treating all learners the same be it in terms of the methods used, or the feedback given, is on another hand unfair because it is reducing the opportunity of some students to learn (Tierney 2012). 

'중립성'은 맥락-독립적이며, 이런 의미에서 불공평하다. 예를 들어 병동 회진 중에 목소리를 내지 않는 조용한 학습자는 의료지식에 결함이 있는 것으로 잘못 추정될 수 있다(Colbert et al. 2017). 이는 보통 학습자들은 스스로 [공정성을 노력과 관련된 것]으로 본다는 점에서 더욱 상충된다. 예를 들어, 그들은 대부분의 학생들은 [투입과 성과는 반드시 일치하지 않고, [열심히 공부한 학생과 그렇지 않은 학생이 구별되지 않기 때문]에 모든 학생이 높은 점수를 받는 것은  불공평하다고 생각한다. 또는 판단이 학생들이 가져오는 입력과 일치하지 않기 때문이다(Wycliffe-Jones et al. 2018).

Neutrality is often context independent, and in this sense is unfair. For example, a quiet learner who does not speak up during ward rounds could be incorrectly inferred as having deficits in medical knowledge (Colbert et al. 2017). This is further conflicted by the fact that learners themselves see fairness as related to effort. For example they consider it unfair if most students receive high grades because input does not match output and no distinction is made between those who worked hard and those who did not (Rodabaugh 1996) or if judgements are not aligned with the inputs that the students brings (Wycliffe-Jones et al. 2018).

복수의 평가자가 평가하는 판단

Judgements assessed by multiple assessors

그룹 의사결정은 현재 전 세계 많은 국가에서 평가 결정을 위한 표준 메커니즘이 되었다(Hauer et al. 2016; Bacon et al. 2015; Govaerts and van der Vleuten 2013). 공개 숙의와 비판적 대화를 통해 증거를 비판적으로 검토하기 위한 그룹을 만드는 것은 [학습자에 대한 공유된 주관성shared subjectivity]의 개념을 통하여, 학습자와 평가자 모두에게 방어 가능하고, 신뢰할 수 있으며, 공정하다고 여겨진다. 2009; Hauer et al. 2015; Bacon et al. 2015; Govaerts and van der Vleuten 2013; Krefting 1991; Webb et al. 2003; Ham 1999). 

Group decision making is now a standard mechanism for assessment decisions in many countries around the world (Hauer et al. 2016; Bacon et al. 2015; Govaerts and van der Vleuten 2013). Creating groups to critically review evidence through open deliberative and critical dialogue is seen as defensible, credible and fair by both learners and assessors because there is a concept of shared subjectivity about learners (Tochel et al. 2009; Hauer et al. 2015; Bacon et al. 2015; Govaerts and van der Vleuten 2013; Krefting 1991; Webb et al. 2003; Ham 1999). 

대화는 다음의 것들을 가능하게 한다. 

• 멤버 체크, 

• 2차 평가자를 통한 검증, 

• 검토 및 토론을 통한 평가 프로세스의 장기간 참여 

• 서로 다른 해석이나 가정들의 표현, 

• 증거와 분석의 삼각 측량 

• 상충하는 증거와 판단의 조화

이 모든 것은 합의 이전에 다양성을 허용하며, 이는 전문적 판단의 방어가능성을 향상시키는 데 사용될 수 있다. 또한 이러한 정성적 증거 평가 방법은 [전문직업적 가치]와 같은 덜 유형적인tangible 학습 성과를 포착할 수 있게 한다.

Dialogue allows for member checking, verification with secondary assessors, prolonged engagement in the assessment process through review and discussion, articulation of different interpretations or assumptions, triangulation of evidence and analysis and reconciliation of disconfirming evidence and judgements. All of these things allow for diversity prior to agreement, which can be used to improve the defensibility of the professional judgements (Bacon et al. 2015; Govaerts and van der Vleuten 2013; Krefting 1991; Webb et al. 2003; Ham 1999). These qualitative methods of assessing evidence also allow for less tangible learning outcomes such as professional values to be captured (McCready 2007).

[그룹 구성원의 다양성]은 그룹 구성원이 고려하는 관점의 수를 증가시킴으로써 그룹 기능에 긍정적인 영향을 미칠 수 있다(Hauer et al. 2016). 이는 정보 공유를 촉진하고, 더 많은 그룹 구성원이나 가장 먼저 공유되는 정보에 우선 순위를 매기는 그룹의 경향을 극복하기 위한 전략과 연계될 필요가 있다(Hauer et al. 2016).

Diversity of group members can positively influence group functioning by increasing the number of perspectives considered by group members (Hauer et al. 2016). This needs to be coupled with strategies to facilitate information sharing, to overcome tendances of the group to prioritise information known to more group members or information shared first (Hauer et al. 2016).

그러나 여러 가지 다른 평가 도구에서 복수의 데이터 포인트를 광범위하게 사용할 수 있음에도 불구하고 평가 패널의 판단 결정은 소수의 근거 출처에만 초점을 맞출 수 있다는 점에 주목하였다(Hauer et al. 2015). 더욱이 일부 패널 결정의 검토에서, [우려의 부재]가 마치 [진급할 준비]처럼 해석되어서, 대다수 레지던트에 관한 데이터는 논의되지 않았다(Hauer et al. 2015).

However, it has been noted that judgement decisions from assessment panels may focus on only a few sources of evidence despite the widespread availability of multiple data points from multiple different assessment tools (Hauer et al. 2015). Furthermore, an absence of concern was taken to imply readiness for advancement in a review of some panel decisions, and often the data regarding a majority of residents wasn’t discussed (Hauer et al. 2015).

판단의 타당성 증거 Validity evidence for judgments

타당성 주장을 하려면 증거가 필요하다. 여러 출처와 맥락에서 광범위한 증거를 사용하는 것은 성능 평가의 타당성을 보장할 필요가 있다(Colbert et al. 2015). 판단 결정judgement decision은 관찰된 성과에서 결론과 결정에 이르는 일련의 추론과 가정을 포함한다. 본질적으로 타당성은 근거나 이론적 합리성에 의해 정당화될 수 있는, 해석이 적절하고 적절한 정도를 가리킨다(Govaerts and van der Vleuten 2013). 타당성 주장을 작성하기 위해 적절한 증거를 사용하여 평가자가 작성한 추론과 가정에 대한 타당성 평가가 필요하다(Govaerts and van der Vleuten 2013). 따라서 타당성 추론은 절차적인 측면에서 이루어지는 것이 아니라 판단과 의사결정의 전체 시스템에서 역할을 해야 한다.

Evidence is needed to create validity argument. Using a wide range of evidence from multiple sources and contexts is need to ensure the validity of performance appraisals (Colbert et al. 2015). Judgement decisions involve a series of inferences and assumptions leading from the observed performances to conclusions and decisions. In essence, validity refers to the degree to which the interpretations are adequate and appropriate, as justified by evidence or theoretical rationales (Govaerts and van der Vleuten 2013). Evaluation of the plausibility of the inferences and assumptions made by assessors using appropriate evidence is needed to create a validity argument (Govaerts and van der Vleuten 2013). Validity inferences are therefore not procedural per se, but must play a role in the whole system of judgement and decision-making.

고찰 Discussion

결과 요약 Summary of findings

평가에 인간의 판단을 계속 활용하기 위해서는 이러한 전문가 판단의 공정성을 고려할 필요가 있다. 이 문헌 검토는 공정성이 단순하게 정의될 수 없는 복잡한 구조임을 입증했다. 더욱이, '맥락'은 공정성을 결정하는 데 필수적이며, 어떤 하나의 정의도 여러 환경에 걸쳐 적합하지 않을 것이다. 전문성 문헌을 통해 배웠듯, 공정성이란 [체크리스트를 통해 해결할 수 있는 기술적 또는 단순한 문제]가 아니라 [복잡한 문제]로 프레임을 짜는 것이 중요하다. 전문성 평가에 대한 Ottawa 권고안은 복잡성을 수용했고, 전문성을 개인, 대인관계 및 거시사회(공용) 주제와 함께 다차원적인 것으로 간주했다(Hodges et al. 2011).

To continue to utilise human judgement in assessment, the fairness of these expert judgements needs to be considered. This literature review has demonstrated that fairness is a complex construct which cannot be simplistically defined. Furthermore, context is essential in determining fairness and no one definition will fit across different environments. Learning from the professionalism literature, it is important to frame the problem as the complex problem it is, rather than as a technical or simple problem which can be addressed through checklists (Lucey and Souba 2010). The Ottawa recommendations for the assessment of professionalism embraced complexity and considered professionalism to be multi-dimensional with intrapersonal, interpersonal and macro-societal (public) themes, and interactions between these themes (Hodges et al. 2011). 

Greenhalgh와 Papoutsi (2018)는 보건전문직교육에는 역동적 상호작용과 내러티브를 예측하는 연구 설계와 방법이 필요하며, 시스템 전체가 어떻게 조합되는지에 주목해야 한다고 언급하면서, 이러한 [전체적인holistic 시스템 접근법]을 지지했다. 평가에서 공정한 인간 판단의 단순한 정의는 없지만, 공정성의 기초는 의학교육과 폭넓은 교육 문헌에서 유추된다. 이 검토에서 우리는 이러한 추론, 연구 및 관점을 종합하여 인간 판단의 공정성에 대한 추가 논의를 돕고 이 분야에서 연구와 탐구를 지도하는 데 도움이 되는 개념 모델을 만들려고 시도했다. 이 개념 모델은 복잡성을 수용하는 것을 목표로 하며, 평가에서 가치, 개별 특성 및 시스템 절차를 갖춘 다차원적 인간 판단을 제시한다. 이 모델은 공동 서술과 이해를 제공함으로써 평가에서 공정한 인간의 판단에 대한 기관과 학자들의 내외부 대화를 촉진하는 것을 목표로 한다. 무어는 [문제에 대한 이해당사자들 간에 공통된 이해를 만드는 것]이 핵심이라고 언급했다. 이는 반드시 완전한 합의여야 하는 것이 아니라, "문제에 대한 서로 다른 해석에 대해 지적인 대화를 할 수 있을 정도로 이해 당사자들이 서로의 입장을 잘 이해하고 있으며, 이를 어떻게 해결할 것인가에 대해 집단지성을 발휘하는"(Moore 2011) 것이다.

Greenhalgh and Papoutsi (2018) supported this holistic, systems approach, noting that health professions education needed research designs and methods which foreground dynamic interactions and narratives which paid attention to how systems come together as a whole from different perspectives. Whilst there is no simple definition of fair human judgement in assessment, the underpinning foundations of fairness are inferred in the medical education and broader education literature. In this review we have attempted to bring these inferences, studies and perspectives together to create a conceptual model which can be used as a guide to help further discussions of fairness in human judgement and guide research and exploration in this area. This conceptual model aims to embrace complexity, and present fair human judgement in assessment as multi-dimensional with values, individual characteristics and system procedures. The model aims to facilitate internal and external conversations by institutions and academics about fair human judgement in assessment by providing a shared narrative and understanding. Moore noted that creating shared understanding between stakeholders about the problem was key. This is not necessarily complete agreement, but that “the stakeholders understand each other’s positions well enough to have intelligent dialogue about the different interpretations of the problem, and to exercise collective intelligence about how to solve it” (Moore 2011).

긴장 Tensions

우리는 공정성의 복잡성을 가중시키는 이 개념 모델의 개발에서 몇 가지 긴장감을 드러냈다. 예를 들어, 공정성의 가치로서의 투명성은 신뢰도, 방어성, 목적에의 적합성과 같은 다른 가치와 충돌할 수 있다(Tierney 2012). 투명성은 평가를 학습자에게 알리고 미리 문서화해야 하지만 임상 작업은 예측이 불가능하고 완전한 투명성이란 어려운 일이다. 평가가 목적에 맞으려면, 변화하는 임상 상황에 대처하기 위해 민첩하고 유연하게 대처해야 하지만, 이는 투명성을 제한할 수 있다.

We have revealed several tensions in the development of this conceptual model which add to the complexity of fairness. For example, transparency as a value of fairness can conflict with other values such as credibility, defensibility and fitness for purpose (Tierney 2012). Transparency requires assessment to be known to learners and documented in advance, but clinical work is never predictable and so complete transparency is challenging. If assessment is fit for purpose, it needs to be agile and flexible to respond to the changing clinical situation, however this can limit transparency.

긴장감의 또 다른 예는 모든 학습자에게 '평등한' 치료를 제공하는 것이다. 중립성, 일관성 및 모든 학습자에게 동일한 기회를 제공하는 것은 한 편으로 공정하지만 중립성은 맥락에 따라 독립적이며 이러한 감각은 불공평하다(Eva 2015; Stobart 2005; Tierney 2012). 모든 학습자는 평가에서 동일한 퀄리티의 판단과 의사결정을 받을 권리가 있어야 하지만, 이것이 동일한 과정을 의미하는 것이어서는 안 된다.

Another example of a tension is providing ‘equal’ treatment to all learners. Neutrality, consistency and the providing the same opportunities to all learners is on one hand fair, however neutrality is context independent, and this sense is unfair (Eva 2015; Stobart 2005; Tierney 2012). Every learner is entitled to the same quality of judgement and decision making in their assessment, but this should not mean the same process.

추가적인 긴장은 여러 증거의 필요성과 전문가적이고 전체적인 판단의 균형을 맞추고 있다. 전문 평가인은 일반적으로 맥락적으로 적절하고, 총체적이며 개별화된 판단 결정(Govaerts et al. 2013)을 내리는데, 이는 공정성 관점에서 목적에 적합하다. 그러나 이러한 [총체적 판단]은 학습자의 진행에 대한 결정을 내리는 위원회에 제공할 수 있는 증거의 수가 줄어들 수 있으며, 이는 다른 한편으로는 불공평함을 의미한다.

A further tension is balancing the need for multiple pieces of evidence with expert, holistic judgements. Expert assessors typically make contextually appropriate, holistic and individualised judgement decisions (Govaerts et al. 2013) which from a fairness perspective are fit for purpose. However, these holistic judgements may provide fewer pieces evidence to a committee who are making decisions on a learner’s progression, which on the other hand is unfair.

때로는 환자에게 공평한 것과 학습자에게 공평한 것 사이에 긴장감이 감돌기도 한다. 인간 판단의 공정성에 관한 거의 모든 개인 및 시스템 구성요소는, 평가자, 특히 초보 평가자에게 시간과 훈련을 요구한다. 대부분의 평가자는 바쁜 임상의사여서 환자를 치료하는 데 시간이 걸릴 수 있다. 평가인을 위한 교육의 전문적 발전은 환자에게 영향을 미칠 가능성이 있는 임상적 전문성 개발에도 비용을 들일 수 있다.

At times, there is also a tension between what is fair to patients and what is fair to learners. Almost all individual and system components of fairness in human judgement require time and training for assessors, especially for novice assessors. As most assessors are busy clinicians, this can take time away from treating patients. Professional development in education for assessors can also come at a cost to clinical professional development which has the potential to impact patients.

이러한 긴장과 겉보기에 상충되는 가치나 구성요소를 관리할 필요가 있다. 고버트와 동료들은 평가 시스템이 긴장으로 가득 차 있고 평가에서 인간판단의 공정성도 다르지 않다고 지적한다. 그들은 이러한 긴장이 전통적인 '문제 해결 또는 해결책'에서 관리될 것이 아니라, 긴장을 이해하고 이에 관여하며 최대한 유리하게 활용할 수 있는 양극성polarities으로 볼 것을 제안한다(Govaerts et al. 2019).

These tensions and seemingly conflicting values or components need to be managed. Govaerts and colleagues note that assessment systems are rife with tensions, and fairness in human judgement in assessment is no different. They suggest that these tensions need to managed not in a traditional ‘fix the problem, either-or solutions’ but suggest understanding and engaging with the tensions and seeing them as polarities to be leveraged to maximum advantage (Govaerts et al. 2019).

기존 문헌과의 비교

Comparison with existing literature

우리는 문헌 검색에서 인간의 판단의 공정성에 대한 심층적인 조사를 찾지 못했다. 본 논문 전체에서 우리는 평가, 그 역할, 유익성 및 한계를 고려한 여러 연구와 관점을 인용했다. 우리는 광범위한 문헌을 통합한 리뷰를 만들기 위해 형식적이고 허황된 방법론을 사용하여 이 작품에 추가했다고 믿는다.

We found no in-depth examination of fairness in human judgement in our literature search. Throughout this paper we have cited multiple studies and perspectives which have considered human judgement in assessment, its role, benefits and limitations. We believe we have added to this work by using formal, hermeneutic methodology to create a review which incorporates a wide range of literature.

검토의 답변되지 않은 질문과 제한 사항

Unanswered questions and limitations of the review

이것은 철저한 문헌 검토가 아니라, 복잡한 구조의 패러디한 합성을 생산하려는 시도다. 또한 우리의 주제는 평가의 공정성이 아니라 평가에서 인간의 판단의 공정성에 국한되었다는 점에도 주목할 필요가 있다. 어떤 문헌 리뷰도 편견으로부터 자유롭지 못하다(Eva 2008). 그리고 우리는 이 리뷰도 마찬가지라고 주장하지 않는다. 실제로, 이 리뷰에는 리뷰 적용가능성을 제한할 수 있는 영어 논문만 포함되었다. 또한 이 문헌 검토는 문헌의 복잡성을 줄이는 것을 목표로 하는 것이 아니라, 우리가 수행하는 방식을 지속적으로 개선하고 평가에서 인간의 판단을 활용하려는 공동의 목표를 향해 전진하는 방법을 제공하는 데 도움이 된다. 

This is not an exhaustive literature review, but rather an attempt to produce a parsimonious synthesis of a complex construct. It is also important to note that our topic was confined to fairness in human judgment in assessment not fairness in assessment in general. No literature review is free from bias (Eva 2008) and we do not claim this review is either. Indeed, this review only included English language papers which may limit the reviews applicability. This literature review also does not aim to reduce the complexity of the literature but rather help provide a way forward in our common aim of continuing to improve the way we undertake and utilise human judgement in assessment. 

그는 "적절하게 복잡한 정책 문제에 필요한 모든 증거가 단일 학문으로부터 나오는 것은 드문 일이고, 단일 연구로부터 오는 것은 더 드물다"고 지적하며, 학자들이 정책 입안자와 기관에 제공할 수 있는 가장 유용한 제공물 중 하나는 기존 양적, 질적 정보에 대한 간결하고 통합적인 종합을 생산하여 주제 영역을 이해하도록 돕는 것이다 (Whitty 2015; Greenhalgh and Shaw 2017). 이것이 우리가 여기서 우리의 개념적 모델로 시도했던 것이다.

Whittly noted “it is rare that all the evidence needed for a moderately complex policy problem comes from a single discipline, and rarer still that it comes from a single study” and suggested one of the most useful offerings academics can make to policy makers and institutions is to produce a succinct and integrative synthesis of existing information, incorporating quantitative and qualitative, and make sense of the topic area (Whitty 2015; Greenhalgh and Shaw 2017). This is what we have attempted to do here with our conceptual model.

예상대로, 이 광범위한 검토에도 불구하고, 여전히 답하지 않은 많은 질문들이 있다. 첫째로, 이 분야의 이해당사자들은 문헌과 다른 관점을 가지고 있는가? 전문 평가자, 대학 학자들 그리고 다른 사람들은 현재 전 세계의 많은 평가 프로그램에서 인간의 판단력을 이용하는 방법을 모색하고 있다. 평가에서 문서화되거나 발표되지 않은 인간 판단에 대한 무언의 암묵적 지식이 있는가? 평가 프로그램 내에서 공정한 인간 판단의 실질적인 의미는 무엇인가? 그것은 문헌과 일치하고 그렇지 않다면 왜 안 되는가?

As is to be expected, despite this extensive review, there are still many unanswered questions. Firstly, do the stakeholders in this area hold a different perspective to that of the literature? Expert assessors, university academics and others are currently navigating the use of human judgement in many assessment programs round the world. Is there unspoken tacit knowledge about human judgement in assessment which is not documented or published? What are the practical implications of fair human judgement within their assessment program? Does it match the literature and if not, why not?

둘째, 직장에 기반한 평가의 복잡성을 감안할 때 어떻게 이 개념적 프레임워크를 실용적인 방법으로 사용할 수 있는가? 평가 프로그램이 평가에 인간의 판단을 더 많이 이용하는 경우, 이 개념적 프레임워크를 지침으로 사용할 수 있는가? 학습자, 기관 및 감독자에게 미치는 영향은 무엇인가?

Secondly, how can this conceptual framework be used in a practical manner given the complexity of workplace-based assessment? If assessment programs further utilise human judgement in assessment, then can this conceptual framework be used as a guide? What are the implications for learners, institutions and supervisors?

셋째, 서로 다른 가치들 사이의 긴장을 어떻게 조화시킬 수 있을까? 이러한 가치의 공생, 최대의 이익을 보장하기 위해 무엇이 필요한가? 학습자의 공정성을 달성하려고 노력하는 동시에 환자에게 공정성을 보장하는 방법은 무엇인가?

Thirdly, how can we reconcile the tensions between different values? What is needed to achieve symbiosis of these values, to ensure maximal benefit? How can we also ensure fairness to patients, whilst trying to achieve fairness for learners?

결론 Conclusion

2009년 Gipps와 Stobart는 이렇게 말하였다.

21세기 평가의 도전은 공정성에 대한 우리의 관점을 넓혀 사회문화적 맥락을 보다 충분히 고려하는 것이다. 그러나, 더 큰 사회적 문제들에서 한 발 물러나는 것은 어려운 일이고, 평가 그 자체에 집중하려는 유혹은 편향과 관련되어 있다.

In 2009 Gipps and Stobart said: 

“The challenge for twenty-first-century assessment is to broaden our views of fairness to take fuller account of social and cultural contexts. The temptation, however, is to back away from the larger social issues because they are difficult, and to concentrate on the assessment itself, for example, in relation to bias” (Gipps and Stobart 2009). 

공평성에 대한 우리의 관점을 학습자와 환자 둘 다에 관련되는 것처럼, 단지 객관성을 넘어, 평가에서 인간 판단의 모든 측면과 복잡성을 고려하도록 넓히는 것은 평가 프로그램에서 인간 판단의 지속적인 사용에 도움이 될 수 있다. 본 문헌 검토에서 우리는 [공정한 인간의 판단]을 가치, 개별적 특성 및 시스템 절차를 갖춘 다차원적 복합 개념으로 강조하였다. 이 모델은 이 분야에서 평가와 추가 연구에서 인간의 판단력을 구현하는 데 도움을 주기 위해 사용될 수 있다.

Broadening our view of fairness to consider fairness as it relates to both the learner and to the patient, to look beyond just objectivity and consider all facets and complexity of fairness in human judgement in assessment is likely to be beneficial in our ongoing use of human judgement in assessment programs. In this literature review we have highlighted fair human judgement as a multi-dimensional complex concept with values, individual characteristics and system procedures. This model can be used to help the implementation of human judgement in assessment and further research in this area.

Getting Started Guide Part 2: Nuts and Bolts of Integrating Arts and Humanities into Medical Education

New section

The many activities listed in Part 1 provide guidance on ways to teach using the arts and humanities. In Part 2 we have put together a list of things to consider as you start planning activities for your learners.

Below are some tips on how to create partnerships with cultural institutions, how to choose arts and humanities material, and how you can join conversations about arts and humanities in medical education. For a more in-depth look at the beginning steps for developing and integrating arts and humanities curricula, read The Fundamental Role of the Arts and Humanities in Medical Education. Learn about specific activities for learners in the Getting Started Guide Part 1: Select Activities for Integrating the Arts and Humanities into Medical Education.

Should you have additional examples to submit for consideration, please email frahme@aamc.org with a description of the activity and suggested resources.

Explore the guide:

1.    Explore partnerships

2.    Select material thoughtfully

3.    Discuss, discover, and disseminate

1. Explore partnerships

Partnering with local or virtual experts or institutions can enhance learners' experiences with the arts and humanities. Partnership ensures that you have an expert available to guide you in work you may never have explored before, expands the number and variety of perspectives your learners are exposed to, and models interdisciplinary collaboration.

·         Are there arts and humanities faculty from your own institution interested in co-teaching?

·         Are there local artists, performers, or writers who have expertise not found in your institution?

·         Are there museums, theatres or archives that can connect you with art, performances or primary source material?

o    Resources for Art Museum and Medical School Partnerships

o    Twelve Tips for Starting a Collaboration with an Art Museum

Return to Top ↑

2. Select material thoughtfully

There are many elements to consider when choosing a work of art, music, literature or film, or a primary historical document to use in teaching. Here are some guiding questions to have in mind:

·         What are the conversations you might have around this material that link to the goals of your session?

·         Is the material appropriate for the learners’ stage of professional development?

·         After exploring the material, will there be enough time left to allow for group discussion?

·         Whose voices and experiences are represented in this material? Whose voices and experiences are missing? Consider aspects such as gender, race, ethnicity, religious beliefs, sexual orientation, cultural practices and age as well as viewpoints of patients, caregivers, and health professionals who are not physicians.

·         Does the delivery of materials offer accessibility options such as open or closed captioning, descriptions of visuals for screen readers, audio descriptions, large print, etc.?

Use existing collections to explore material for use

There are many existing repositories and lists designed for the purpose of helping medical educators find arts and humanities material to use with learners.

History

·         A Guide to History of Medicine Resources

·         Contagion: Historical Views of Diseases and Epidemics

·         Syllabus: A History of Anti-Black Racism in Medicine

Literary Arts

·         Literature Arts Medicine Database

·         MedHum Chat - Poetry Discussion Guides

·         MedHum Chat - Prose Discussion Guides

·         Pulse: Voices from the Heart of Medicine

Film

·         Cinemeducation: FaciLitating Educational Sessions for Medical Students Using the Power of Movies

·         Lights, Camera, Action: Using Film to Teach the ACGME Competencies

·         Movies for Undergraduate Public Health Teaching

Visual Arts

·         Doctors Who Create

·         Literature Arts Medicine Database

·         MedHum Chat - Visual Arts Discussion Guides

·         Rx Museum

Performance Art

·         Literature Arts Medicine Database

Return to Top ↑

3. Discuss, discover and disseminate

If you feel out of your depth, could use suggestions for material, or would like to seek out a partner, here are some places to ask for help or engage in discussion:

·         Health Humanities: A list serve sponsored by the Department of Bioethics at Case Western Reserve University

·         Dr-Ed: A list-serv for medical educators

·         MedHum Chat on Twitter: A website and twice-monthly live Twitter chat about medical humanities

·         American Society for Bioethics and Humanities (ASBH) list-serv: a list-serv for members of ASBH

If you would like to find or share creative work, reflections or case studies on medical humanities, here are some websites where you can discover and disseminate them:

·         Creative Expressions During Times of Uncertainty: Website for the FRAHME Initiative of AAMC that publishes poems or 55-word stories about clinician experiences of uncertainty during 2020

·         MedEdPORTAL: The AAMC's peer-reviewed journal of teaching and learning resources that publishes lessons about arts and humanities in medical education

·         Academic Medicine: A peer-reviewed journal of the AAMC that publishes several humanities columns including Teaching and Learning Moments and Medicine and the ArtsA peer-reviewed journal of the AAMC that publishes several humanities columns including Teaching and Learning Moments and Medicine and the Arts

·         Art of the JAMA Network: A collection of essays and reviews about movies, literature, art, and theatre relevant to clinical medicine

·         Doctors Who Create: A website where medical students and physicians can find or submit their creative work of all kinds

·         Hope Babette Tang Humanism in Healthcare Essay Contest: An annual reflective writing contest for medical and nursing students sponsored by The Arnold P. Gold Foundation

·         Journal of Medical Humanities: A peer-reviewed journal that publishes original research on medical humanities, cultural studies and pedagogy in medicine and medical education

·         Medical Humanities: A BMJ journal that publishes scholarly and critical articles on the history and culture of medicine as well as bioethics

·         Places to publish medical narratives: A list of open-access and subscription journals that accept reflective writing about experiences in medical care

·         Pulse -- Voices from the Heart of Medicine: A website that publishes personal experiences of illness and healing

·         Teaching and Learning in Medicine: An international forum on teaching and learning in the health professions and health education

William Carlos Williams Medical Student Poetry Competition: An annual competition sponsored by Northeast Ohio Medical School open to students attending allopathic or osteopathic schools of medicine in the United States, Puerto Rico, and Canada

출처: https://www.aamc.org/what-we-do/mission-areas/medical-education/getting-started-nuts-bolts

Getting Started Guide Part 1: Select Activities for Integrating the Arts and Humanities into Medical Education

Aligning with the Accreditation Council for Graduate Medical Education’s six general competencies, the activities included below were selected for the Getting Started Guide because they can be conducted at low cost with any group of learners, regardless of developmental stage or specialty. For a more in-depth look at the beginning steps for developing and integrating arts and humanities curricula, read The Fundamental Role of the Arts and Humanities in Medical Education. Find tips about how to start planning activities for learners in the Getting Started Guide Part 2: Nuts and Bolts of Integrating Arts and Humanities into Medical Education.

Should you have additional examples to submit for consideration, please email frahme@aamc.org with a description of the activity and suggested resources.

Explore by competency:

·         Medical Knowledge

·         Interpersonal and Communication Skills

·         Patient Care and Procedural Skills

·         Professionalism

·         Practice-based Learning and Improvement

·         Systems-based Practice

Select Activities for Teaching and Assessing Medical Knowledge

Physicians are expected to be competent in medical knowledge, described as “established and evolving biomedical, clinical, epidemiological and social behavioral sciences, as well as the application of this knowledge to patient care.”

Visual Arts and Thinking Strategies - Observing

·         Formal art observation training improves medical students’ visual diagnostic skills by Naghshineh et al. describes the course “Training the Eye: Improving the Art of Physical Diagnosis” where art observation exercises are paired with physical diagnosis topics.

·         CanadiEm offers a series of activities called “Spot the Diagnosis” where learners are directed to observe pieces of historic art that hint at an underlying medical condition. Guiding questions are listed for each work of art.

·         At the Perelman School of Medicine at the University of Pennsylvania, the course “Art, Observation and Empathy” teaches students how to observe and describe based on the Artful Thinking approach.

·         The video Art and observation: improving patient care through medical humanities from the University of Rochester offers a three minute overview of medical learners being taught observation skills in a museum setting using the Five Question Protocol.

Visual Arts and Thinking Strategies - Creating

Many medical schools have incorporated drawing into their curricula to aid learners studying anatomy. Life drawing for medical students: artistic, anatomical and wellbeing benefits by James et al. describes a 10-week elective course in life drawing where both anatomical and artistic concepts were taught.

Cutting deep: the transformative power of art in the anatomy lab by Grogan and Ferguson describes a course that aims to use drawing to enhance visual perception and three-dimensional understanding of the body's interior.

This video shows how Rush University Medical College invites medical illustrators to anatomy lab so that the atmosphere becomes more active than passive; learners can see firsthand how artists transform a three-dimensional body into a two-dimensional drawing.

History

The database “Contagion: Historical Views of Diseases and Epidemics” offers a collection titled Significant Diseases Throughout History where faculty can find historical documents related to various contagious diseases as well as bibliographies for further reading.

Return to Top ↑

Select Activities for Teaching and Assessing Interpersonal and Communication Skills

Physicians are expected to demonstrate interpersonal and communication skills that result in the effective exchange of information and collaboration with patients, their families, and health professionals.

Film and Television

Using film in teaching can help provide insight into the verbal and non-verbal communication patterns of cultures other than our own. A few recommended films for this purpose include:

·         Worlds Apart -- A series of 4 films, 15 min in length, that tells the story of four culturally diverse patients and families faced with critical medical decisions as they navigate the health care system. This Facilitator's Guide from the Stanford University Center for Biomedical Ethics is specifically designed for use with health professions learners.

·         Hold Your Breath -- A devout Muslim immigrant faces possible death from stomach cancer, but cultural and linguistic confusions complicate his treatment in an American hospital. This Facilitator's Guide from the Stanford University Center for Biomedical Ethics is specifically designed for use with health professions learners.

·         Departures -- A young man returns to his hometown after a failed career as a cellist and stumbles across work as a nōkanshi—a traditional Japanese ritual mortician. He struggles with the strong social taboos against people who deal with death but eventually creates meaningful interpersonal connections through the beauty and dignity of his work.

·         Bagdad Cafe -- Set in southern California desert country, a German tourist named Jasmine finds refuge in a truck-stop motel where she encounters the African American owner of the café and an Indian short-order cook. Initial unconscious/conscious biases based on cultural/racial differences are transformed through compassion that Jasmine brings to the diverse community leading to collaboration.

·         Using feature films as a teaching tool in medical schools by Baños and Bosch provides guidance on how to select films, how to prepare for discussion, how to select discussion questions and how to use assessment measures.

·         Cinemeducation: a comprehensive guide to using film in medical education by Alexander et al. provides descriptions of 450 scenes from 125 movies along with ideas for discussion questions and an index of movies listed by topic.

Music

In the article Jazz and the ‘art’ of medicine: improvisation in the medical encounter, author Paul Haidet uses examples from jazz improvisation to demonstrate communication skills critical to medical encounters such as creating space, developing voice and cultivating ensemble.

Haidet recommends the following jazz pieces for use in teaching:

·         All Blues by Miles Davis

·         Giant Steps by John Coltrane

·         Waltz for Debby by Bill Evans Trio

Theater and Drama

Interprofessional improv: using theater techniques to teach health professions students empathy in teams by Zelenski describes a 15-hour course at the University of Wisconsin-Madison that employs improv techniques to teach empathy. Students described the impact that these techniques had on their patient care interactions.

In the article Medical improv: a novel approach to teaching communication and professionalism skills, authors Watson and Fu offer descriptions of activities they engage in with medical learners and a video featuring the authors working with trainees.

In Twelve tips for using applied improvisation in medical education by Hoffmann-Longtin et al., authors offer practical advice on using improv with medical learners.

In the three minute video Medical improv, physician and actor Belinda Fu describes the concept of medical improv and its power to improve communication skills in the practice of medicine.

Visual Arts and Thinking Strategies

In the article Applying art observation skills to standardized patients by Monahan et al., authors describe an interprofessional curriculum where medicine, nursing and psychology students learned visual arts observation skills that enhanced their collaboration, communication, and observational skills in standardized patient encounters.

Return to Top ↑

Select Activities for Teaching and Assessing Patient Care and Procedural Skills

Physicians must demonstrate patient care and procedural skills so they can “provide patient care that is compassionate, appropriate, and effective for the treatment of health problems and the promotion of health” and “perform all medical, diagnostic, and surgical procedures considered essential for the area of practice.”

Film and Television

The film States of Grace follows the transformation of a revered physician and her family in the wake of a life-changing accident. Learners can observe how different clinicians gather information from the patient and her family members and see how medical guidance plays out when the patient is faced with ongoing challenges. The accompanying discussion guide can help groups of learners focus on interactions between patients and providers throughout the film.

The four-part MTV documentary series 16 and Recovering follows the lives of students at a recovery high school who must navigate substance use and mental health disorders. The discussion guide offers background about these medical issues as well suggested questions for each episode.

Using feature films as a teaching tool in medical schools by Baños and Bosch provides guidance on how to select films, how to prepare for discussion, how to select discussion questions and how to use assessment measures.

Cinemeducation: a comprehensive guide to using film in medical education by Alexander et al. provides descriptions of 450 scenes from 125 movies along with ideas for discussion questions and an index of movies listed by topic.

Visual Arts and Thinking Strategies

Two visual arts activities from Julia Langley can help teach the Patient Care competency. The Describe and Draw activity (PDF) invites participants to experience both giving and following instructions and is a good corollary for teaching and learning medical procedures. You can use this lesson plan and watch a video to see an example of how it is done.

Another exercise called Looking 10x2 (PDF) invites participants to make observations about a crowded painting. They can relate this to gathering information from patients when their histories are complex. You can see this exercise being conducted at the 2-minute mark of this video and use these instructions and slides to conduct the exercise with your learners.

Dance and Movement

A simple mirroring exercise, shown here as implemented by Parkinson's patients and pre-med students at Brown University's Artists and Scientists As Partners program, can give learners practice with giving their undivided attention to another person and appreciating the perspectives of being both a leader and a follower, analogous to being in conversation with a patient. You can see simple instructions for this mirroring exercise.

Another exercise, often called the Name Game, is when group members introduce themselves by creating a movement to accompany their name. Everyone repeats the person's name and gesture. This simple exercise offers learners a way to express themselves through movement, telling others how they feel in the moment. Analogous to non-verbal behavior with patients, this exercise helps learners be aware of and interpret emotions through gestures. Find instructions and the exercise.

Keeping Reflecting Fresh: A Practical Guide for Clinical Educators by Peterkin and MacLean has a chapter titled Body Language by Batalden et al. This chapter details an activity where students partnered together in learning the basics of ballroom dance then explicitly discussed analogies with patient care such as forming connections, eye contact, posture, etiquette, and comfort.

Theater and Drama

The resources in the Theatre and Dance section of Interpersonal and Communication Skills could also be adapted to teach this competency.

Return to Top ↑

Select Activities for Teaching and Assessing Professionalism

Physicians are required to demonstrate “a commitment to professionalism and an adherence to ethical principles.”

Literature and Narrative Medicine

“Medicine and the silent oracle: an exercise in uncertainty” by Catherine Belling presents a detailed description of a simple exercise for learners. They can read the short story “Perspective Shift” by Daniel Shapiro with the last paragraph missing and create their own ending. This exercise can be used to help learners discuss ambiguity and think about the roles and perspectives of doctors and patients.

One of the sub-competencies for Professionalism is “respect and responsiveness to diverse patient populations.” The article Teaching cultural competency through narrative medicine: intersections of classroom and community by Das Gupta et al. describes a program where pediatric residents participated in a monthly narrative medicine activity with staff members from an inner-city Dominican American community organization. Physician participants reported increased understanding of this culture and improved attitudes.

Reflective Writing

Reflective writing can be useful in discussions about professional identity formation (PDF). Read the description of a two-hour session where learners read two stories by physician-writers and then participate in writing and discussion. Instructors often select pieces from Pulse: Voices from the Heart of Medicine and then prompt students to write about qualities they want to develop as a doctor.

Keeping Reflecting Fresh: A Practical Guide for Clinical Educators by Peterkin and MacLean offers several ideas for reflective activities in reading and writing. For example, the chapter “Letters to a Third Year Student” by Jones and Dhurandhar describes a publication project of fourth year students’ letters to their third-year colleagues as they begin their clinical rotations. The collection of letters includes practical advice, suggestions and reflections and is bound in a volume for their junior clinicians. Authors of the letters are rewarded with a publication credit for their CV.

“Fostering and evaluating reflective capacity in medical education: developing the REFLECT rubric for assessing reflective writing” by Wald et al. offers a helpful rubric for assessment of reflective writing.

Visual Arts and Thinking Strategies

The Professionalism competency includes “compassion, integrity, and respect for others” as well as “respect and responsiveness to diverse patient populations.” The Rx/Museum Initiative (PDF) offers a collection of 52 artworks and essay reflections. Faculty could select artworks by looking at themes such as inequity, self-actualization, and autonomy and partner with art instructors from their institution or a local artist to co-facilitate learner discussion.

Comics and Graphic Novels

“A novel graphic medicine curriculum for resident physicians: boosting empathy and communication through comics” by Ronan and Czerwiec describes a four week curriculum focusing on empathy, compassion and cultural competency. Residents read about neurological conditions from graphic memoirs, then participated in discussion and drawing exercises. The article includes a list of texts that were used along with the specific drawing prompts that were given to learners.

Return to Top ↑

Practice-based Learning and Improvement

The ACGME's Practice-based Learning and Improvement competency requires learners to demonstrate “the ability to investigate and evaluate their care of patients, to appraise and assimilate scientific evidence, and to continuously improve patient care based on constant self-evaluation and lifelong learning.”

Reflective Writing

An oft-used format for reflective writing is the 55-word story. The article Fifty-five word stories: "small jewels" for personal reflection and teaching by Colleen Fogarty offers instructions on how to write in this format along with examples of student writing. Other examples include the AAMC's own 55-word Creative Expressions During Times of Uncertainty and the 55-word Stories from the University of Wisconsin School of Medicine, all written during the COVID-19 pandemic.

Another approach to trigger reflection is to offer writing prompts to learners. Whole Health: Change the Conversation -- Exercises and Readings for Narrative Medicine Groups by Robinson et al. outlines general writing prompts as well as those that can be completed after reading a recommended short piece of literature as a group.

“Fostering and evaluating reflective capacity in medical education: developing the REFLECT rubric for assessing reflective writing” by Wald et al. offers a helpful rubric for assessment of reflective writing.

Visual Arts and Thinking Strategies - Creating

A key outcome of the practice-based learning and improvement competency is that learners engage in professional identity formation. Reflecting on one's identity can be accomplished through the creation of visual art. Examining professional identity formation through the ancient art of mask-making by Stephens et al, describes an activity that promotes self-reflection. Learners use a blank papier-mâché mask to represent their sense of themselves as a professional within the broader context of medicine. This activity can offer learners a way to explore identity in a non-linguistic manner.

The resources in the Visual Arts and Thinking Strategies section of the Professionalism page could also be adapted to teach this competency.

Mixed

The MedEd Portal course Pain and the humanities: exploring the meaning of pain in medicine through drama, literature, fine arts and philosophy challenges participants to reflect deeply on their professional values in relation to arts and humanities materials that portray reactions to pain. The files are available for download from the course include a syllabus, instructor's guide, and a student workbook.

Return to Top ↑

Select Activities for Teaching and Assessing Systems-Based Practice

Physicians are required to demonstrate an understanding of systems-based practice, which is defined as -- “an awareness of and responsiveness to the larger context and system of health care, including the social determinants of health, as well as the ability to call effectively on other resources to provide optimal health care.”

Narrative Medicine

One of the sub-competencies for Systems-based Practice is “working in interprofessional teams to enhance patient safety and improve patient care quality.” The article Implementing an interprofessional narrative medicine program in academic clinics: feasibility and program evaluation by Gowda et al. describes how 30 minute narrative medicine sessions were used during monthly meetings at three academic primary care clinics with the goal of increasing interprofessional collaborative practice.

History

The 1619 Project from the New York Times focuses on the consequences of slavery in the United States. Learners can engage with a variety of material to learn specifically about how Black people have been systematically denied access to healthcare over time.

·         Read the short story “Bad Blood” by Yaa Gyasi about the Tuskegee Study of Untreated Syphilis in the Negro Male. Use the questions in this discussion guide.

·         Read “A Broken Health Care System” by Jeneen Interlandi in the written component of the 1619 Project. Use the accompanying questions in this reading guide.

·         Listen to the podcast, or read the transcript of, Episode 4: How the Bad Blood Started which starts out with a personal story about the author's Uncle and delves into a the story of the first Black woman doctor in the country, hospital segregation, the development of the first federal healthcare programs, and ends with a short story about the Tuskegee Experiment. Use the questions from either of the above reading guides for discussion.

Mixed

The Health Humanities Approach described in Centering patients, revealing structures: the health humanities portrait approach by Sufian et al. pairs patient narratives with humanities scholarship from history or literature and invites learners to explore how patients navigate their worlds without necessarily invoking disease symptomatology. This approach cultivates an understanding of health, illness, disability, and healthcare within social, political and historical context. The nine existing Health Humanities Portraits include social themes such as immigration, gun violence, trauma, and transgender care. A website including these portraits will be launching by the end of 2020.

Film

Film can be a useful medium in examining systems. Recommended films for this use include:

·         The Waiting Room - A documentary film about access to and affordability of healthcare. There is an accompanying discussion guide and a follow-up storytelling project provides additional videos about topics such as language barriers, poverty and violence.

·         Keeper of the House - A 15-minute documentary video featuring environmental service workers at Duke Hospital talking about their contributions to healing. Learners could read this related article about a COVID patient and the support he received from a hospital housekeeper and discuss hierarchy and the role of different staff in their institutions.

Using feature films as a teaching tool in medical schools by Baños and Bosch provides guidance on how to select films, how to prepare for discussion, how to select discussion questions and how to use assessment measures.

Cinemeducation: a comprehensive guide to using film in medical education by Alexander et al. provides descriptions of 450 scenes from 125 movies along with ideas for discussion questions and an index of movies listed by topic.

출처: https://www.aamc.org/what-we-do/mission-areas/medical-education/getting-started-activities?s=09

의학교육에서 디자인-기반 연구 접근을 활용한 이론과 실천의 다리놓기: AMEE Guide No. 60 (Med Teach, 2012)

Building bridges between theory and practice in medical education using a design-based research approach: AMEE Guide No. 60

DIANA H. J. M. DOLMANS & D. TIGELAAR

Maastricht University, The Netherlands

도입 Introduction

뭐가 문제야?

What is the problem?

의학 교육 연구는 지난 20년 동안 전세계적으로 엄청나게 성장했다. 과학 학술지가 늘고 의료교육 연구 국제회의 참가자도 늘었다(Eva 2009). 그러나 의학 교육 연구는 교육 관행의 개선으로 이어지고 지식의 발전에 기여하는가?

Medical education research has grown enormously over the past 20 years worldwide. The number of scientific journals has increased and also the number of participants at international conferences on medical education research (Eva 2009). But, does medical education research lead to improvements in educational practice and does it contribute toward the advancement of knowledge?

교육 실무자들은 종종 교육 연구와 교육 실무 사이에 차이가 있다고 불평한다(Badley 2003). 일반교육영역 내에서 이뤄지는 연구는 교육실무와 관련이 없다는 주장이다. 의학 교육 연구 내에서는 의학 교육 연구가 지식체나 이론의 증대에 기여하지 않는다는 주장이 종종 제기된다(Albert et al. 2007).

Educational practitioners often complain that there is a gap between educational research and educational practice (Badley 2003). They argue that the research that is conducted within the general education domain is not relevant for educational practice. Within medical education research, it is often argued that medical education research does not contribute toward an increase of a body of knowledge or theory building (Albert et al. 2007).

많은 연구가 이론적 배경이 부족하다(Albert et al. 2007; Norman 2007). 이건 큰 문제야. 이론에 기반을 두지 않는 연구가 행해지고 있다면, 그 기초적인 요소나 원인을 이해하거나 설명하거나 개입이 작용하거나 작용하지 않는 이유를 설명하는 것은 매우 어려워질 것이다.

A number of studies lack a theoretical background (Albert et al. 2007; Norman 2007). This is a big problem. If studies are being conducted that do not rest on theories, then it will become very difficult to understand or explain the underlying factors or causes or to explain why an intervention works or does not work.

교육 연구는 일반 교육과 의료 교육 모두에서 지식체와 이론 구축(Ribes et al. 2008; Monruxe & Rees 2009)과 교육 실무에서 직면하는 문제 이해(Eva 2009)에 모두 기여해야 한다.

Educational research, both in general education and medical education, should both contribute toward the building of a body of knowledge and theories (Reeves et al. 2008; Monrouxe & Rees 2009) and understanding problems encountered in educational practice (Eva 2009).

교육 연구는 [개입이 작동하는지 여부]를 증명하는 데 목적이 있어야 할 뿐만 아니라 이러한 [복잡성을 이해]하는 데도 목적이 있어야 한다(Regehr 2010).

Education research should not only be aimed at proving whether an intervention works or not but also should be aimed at understanding this complexity (Regehr 2010).

본 가이드에서는, 설계 기반 연구(DBR)가 한편으로는 이론 시험과 정교화, 다른 한편으로는 교육 관행 개선에 기여하기 때문에, 연구와 실천 사이의 격차를 해소하는 데 도움이 될 수 있다고 주장할 것이다.

In this Guide, it will be argued that design-based research (DBR) can help to bridge the gap between research and practice, because it does contribute toward theory testing and refinement on the one hand and improvement of educational practice on the other hand.

DBR 뒤의 이론

The theory behind DBR explained

DBR의 특징은 무엇인가?

What are the characteristics of DBR?

• 첫 번째 중요한 특징 중 하나는 DBR이 실험실 환경에서 이루어지는 것이 아니라, 학습이 정상적으로 이루어지는 실세계 환경에서 일어난다는 것이다(Barab & Squire 2004). DBR 연구는 실제 학습 맥락에서 학습의 본질에 대한 복잡한 문제에 초점을 맞춘다(Collins et al. 2004).

One first important characteristic is that DBR does not take place in a laboratory setting, but in a reallife setting where learning normally takes place (Barab & Squire 2004). DBR studies’ focus on complex problems about the nature of learning in a real learning context (Collins et al. 2004).

• DBR의 또 다른 중요한 특징은 설계, 평가, 재설계(Design-Based Research Collective 2003)의 연속적인 사이클에서 일어난다는 것이다. 따라서 설계는 진정한 학습 환경에서 시험되거나 평가된다. 평가는 새로운 통찰력으로 이어지며, 이에 기초하여 설계를 더욱 개선하거나 재설계할 수 있다.

Another important characteristic of DBR is that it takes place in continuous cycles of design, evaluation, and redesign (Design-Based Research Collective 2003). Thus, a design is tested or evaluated in an authentic learning environment. The evaluation leads to new insights, based on which the design can be further improved or redesigned.

• DBR의 세 번째 중요한 특징은 학습 환경의 설계가 이론적 원리에 기초한다는 것이다. DBR은 이론의 진보를 목표로 한다(Barab & Squire 2004). 이론은 많은 다른 변수들이 상호 작용하는 교육 같은 복잡한 환경에서 특정한 상황에서 어떤 것이 어떻게 작용하거나 작용하지 않는지를 이해하는 데 도움을 주기 때문에 교육 연구에서 매우 중요하다. 즉, 좋은 DBR은 이론과 실무를 발전시킨다(Barab & Squire 2004).

A third important characteristic of DBR is that the design of the learning environment is based on theoretical principles. DBR is aimed at advancing theories (Barab & Squire 2004). Theories are very important in education research because they help us to understand how or why something works or does not work under particular circumstances in a complex environment such as education, in which many different variables interact with each other. In other words, good DBR advances theories and practice (Barab & Squire 2004).

• DBR의 네 번째 중요한 특성은 설계 평가에 단일 방법을 사용하지 않으며, 혼합 방법 연구가 특징이다. 학생, 교사, 학습 자료 및 평가 도구 사이의 복잡한 상호작용을 더 잘 이해하기 위해 DBR은 어떤 상황에서 어떤 것이 작용하는지 명확히 하는 양적 방법과 질적 방법 모두를 혼합한 방법을 사용한다. 한 연구 내의 혼합된 방법은 자연 환경에서 복잡한 상호작용을 연구할 때 매우 유용하다. 왜냐하면 그 연구 결과가 서로 보완될 수 있고, 결과를 교차 점검할 수 있고 불일치를 발견할 수 있게 할 수 있기 때문이다(Schifferder & Reed 2009).

A fourth important characteristic of DBR is that not a single method is used to evaluate the design, but DBR is characterized by mixed-methods studies. In order to better understand the complex interactions between students, teachers, learning materials, and assessment tools, DBR makes use of mixed methods, both quantitative and qualitative methods that clarify what works under which circumstances. Mixed methods within one study are very useful when studying complex interactions in natural settings, because the findings may complement each other, make it possible to cross-check findings and make it possible to discover inconsistencies (Schifferdecker & Reed 2009).

• DBR의 다섯 번째 중요한 특징은 서로 다른 전문지식을 가진 설계자, 연구자 및 실무자들이 학습 환경을 설계, 평가 및 재설계하는데 긴밀히 협력한다는 것이다(Barab & Squire 2004). 그들은 서로 자주 교류하고 소통하며, 그들의 생각을 공유하며, 함께 이론과 실무를 다듬는다. 그래서 디자이너, 교사, 연구자와 연구자가 협력하여 전파한다. 이것은 교사와 학습자들의 소유권과 헌신을 만드는 데 기여한다. 또한, 그 디자인이 교육 실무에서 어떻게 재해석되고 각색되는지 명확히 한다(Design-Based Research Collective 2003).

A fifth important characteristic of DBR is that designers, researchers, and practitioners with different expertise work closely together in designing, evaluating, and redesigning the learning environment (Barab & Squire 2004). They interact and communicate with each other frequently, share their ideas, and together refine theories and practice. So, designers, teachers, and research and researchers collaborate in conducting the disseminating it. This contributes toward creating ownership and commitment from teachers and learners. It also makes us clear on how the design is reinterpreted and adapted in educational practice (Design-Based Research Collective 2003).

DBR의 짧은 역사

A short history of DBR

DBR 또는 설계 연구는 1990년대 초반에 처음 설명되었다(Ribes et al. 2005). 1992년 브라운(1992년)이 디자인 실험이라는 용어를 도입한 이유는 그 때부터 학습을 연구하기 위해 사용한 방법론의 틈새를 설계 실험이 채울 수 있다는 의견 때문이었다(Collins et al. 2004). [설계 실험design experiment]은 실제 학습 맥락에서 학습의 본질에 관한 이론적 질문을 다루고 이론 원리에 기초하여 교육 설계를 시험하고 다듬는 형성적 평가를 실시하는 것을 목적으로 했다(Collins et al). 2004년). 그 때부터 문헌에서는 설계 실험, 설계 연구, 개발 연구, DBR 등 다른 용어가 사용되고 있다. 이 용어는 서로 바꾸어 사용할 수 있지만, 본조에서는 설계 기반 연구 또는 DBR이라는 용어를 사용한다.

DBR or design research was first described in the early 1990s (Reeves et al. 2005). In 1992, the termdesign experiments was introduced by Brown (1992) because she was of the opinion that design experiments could fill a niche in the methodologies that were used since that time to study learning (Collins et al. 2004). Design experiments were aimed at addressing theoretical questions about the nature of learning in a real learning context and at conducting formative evaluations that test and refine educational designs based on theoretical principles (Collins et al. 2004). Since that time, different terms are being used in the literature such as design experiments, design research, development research, and DBR . The terms can be used interchangeably, but in thisarticle, we use the term design-based research or DBR.

DBR 및 기타 접근 방식

DBR and other approaches

지금까지 이 가이드를 읽은 후 일부 독자들은 DBR이 형성적 평가 또는 행동 연구, 즉 강사가 이를 개선하기 위해 자신의 교수 실습을 연구하거나 평가하는 연구의 새로운 단어라는 결론을 내릴 수 있다. DBR은 설계, 평가 및 재설계의 반복적이고 순환적인 과정과 같이 이러한 접근방식이 많은 공통점을 가질 수 있음에도 불구하고 형성적 평가 연구나 행동 연구action research와는 다르다. DBR은 특정 개입이 특정 기본 표준을 충족하는지 또는 어떤 측면의 개입에 개선이 필요한지를 형성적으로 평가하는 문제만은 아니다.

After having read this Guide so far, some readers might come to the conclusion that DBR is a new word for formative evaluation or action research; i.e., research in which instructors study or evaluate their own teaching practice in order to improve it. DBR is different from formative evaluation studies or action research, even although these approaches might have a lot in common, such as the iterative and cyclic process of design, evaluation, and redesign. DBR is not only a matter of formatively evaluating whether a particular intervention meets certain basic standards or which aspects of the intervention need improvement.

좋은 DBR은 또한 복잡한 학습 환경의 특성에 관한 이론을 시험하거나 다듬는 것을 목적으로 한다(Design-Based Research Collective 2003). 즉, 그 개입이 시험과 밀접하게 연결되어 있는 것은 이론과 정교함, 그리고 학습 환경을 설계하고 개선하는 데 얽혀 있는 이론들이다. [이론과의 연관성]은 DBR과 형성적 평가 또는 행동 연구의 기본적인 차이점이다. DBR은 학습 및 학습 환경에 대한 이론적 지식을 발전시키는 것을 목적으로 한다(Barab & Squire 2004). 이론적 토대와 주장claims이 DBR 접근법의 핵심이다(리브스 외 2005).

Good DBR is also aimed at testing or refining theories about the nature of complex learning environments (Design-Based Research Collective 2003). In other words, the interventions are closely connected to the testing is theories and refinement and of theories intertwined with designing and improving the learning environment. The connection with theory is the basic difference between DBR and formative evaluations or action research. DBR is aimed at advancing theoretical knowledge about learning and learning environments (Barab & Squire 2004). Theoretical foundations and claims are at the heart of the approach (Reeves et al. 2005).

DBR 및 혼합 방법 연구

DBR and mixed-methods research

또한 명심해야 할 중요한 것은 DBR이 여러 가지 방법을 사용한다는 것이다. 

• 서로 다른 변수가 서로 어떻게 영향을 미치는지에 대한 통찰력을 제공하는 방법. 

• 결과뿐만 아니라 개입이 왜 작용하는지, 어떻게 작용하지 않는지를 설명할 수 있는 기본 프로세스에 대해서도 주의를 기울이는 방법. 

실험실 환경에서 실험 연구는 DBR에서는 수행되지 않는다. 교육 개입에서 통제된 실험은 다소 환원적이고 사소한trivial 운동으로 이어질 수 있다는 문제 때문이다(Gruppen 2008).

What is also important to keep in mind is that DBR uses multiple methods; 

• methods that provide insight in how different variables influence each other; and 

• methods in which not only attention is paid to outcomes but also to the underlying processes that could explain why and how an intervention does work or not. 

Experimental studies in laboratory settings are not conducted within DBR. The problem is that controlled experimentation in educational interventions may lead to a rather reductionist and trivial exercise (Gruppen 2008).

우리는 통제된 실험이 절대 실행되어서는 안 된다고 주장하지 않는다. 그러나 이론과 교육 실습의 시험과 정교함을 모두 향상시키는 진정한 학습 환경에서 학습의 본질에 대한 연구 질문에 답하려면 DBR 접근법과 혼합된 방법론을 사용해야 한다. 혼합 방법 연구는 단일 연구에서 양적, 질적 연구 기법, 방법 또는 접근법을 사용하는 연구에 대한 접근법이다(Johnson & Onwegbuzie 2004).

We do not argue that controlled experiments should never be done. But, if we want to answer research questions about the nature of learning in authentic learning environments that both enhance the testing and refinement of theories and educational practice, we should use a DBR approach and a mixed-methods approach. Mixed-methods research is an approach to research in which quantitative and qualitative research techniques, methods, or approaches are used in a single study (Johnson & Onwuegbuzie 2004).

앞서 설명했듯이 연구자들이 서로 보완하고 강화하는 다른 전략과 방법을 이용해 복수의 데이터를 수집해야 한다는 취지다. 질적 방법은 DBR에서 중요한 역할을 한다. 정성적 방법은 풍부한 데이터를 생성하며 서로 다른 관점을 더 깊이 이해할 수 있다(Kuper et al. 2008). 질적 데이터는 복잡한 현상이 발생하는 방법과 이유를 탐구하고 동적 과정을 연구할 수 있도록 해준다(Johnson & Onwegbuzie 2004). 그러나 질적 데이터가 실제로 복잡한 현상을 설명하는 데 기여하는지는 물론 [질적 데이터가 잘 분석되고 조사 결과를 설명하는 데 기여하는지]에 달려 있다. 그저 테마들 사이의 관계는 설명하지 않고 데이터에서 나온 주제들을 설명하기만 해서는 안 된다(Pope & Mays 2009).

The idea is that researchers should collect multiple data using different strategies and methods that complement and strengthen each other, as also explained before. Qualitative methods play a crucial role in DBR. Qualitative methods generate rich data and can lead to deeper understanding of differing perspectives (Kuper et al. 2008). Qualitative data lend themselves to explore how and why complex phenomena occur and to study dynamic processes (Johnson & Onwuegbuzie 2004). But, whether qualitative data indeed contribute toward explaining complex phenomena is of course dependent on whether qualitative data are well analyzed and contribute toward explaining the findings and not just describing the themes that emerged from the data without explaining the relationships between the themes (Pope & Mays 2009).

실천에서 이론 The theory in practice

DBR 연구의 맥락

The context of the DBR studies

본 기사의 저자들이 참여한 DBR의 예는 고등교육의 맥락 안에서 교사의 전문적 발전을 촉진하기 위한 교수 포트폴리오의 개발을 다루었다(Tigela et al. 2006b, 2008). [평가, 교사의 전문적 개발 및 교수 포트폴리오에 관한 현대적 이론]이 교수 포트폴리오 프로토타입을 개발하기 위해 사용되었다(Tigelaar 등). 2004b).

An example of DBR in which the authors of this article were involved dealt with the development of a teaching portfolio for stimulating teachers’ professional development within the context of higher education (Tigelaar et al. 2006b, 2008). Modern theories on assessment, teachers’ professional development, and teaching portfolios were used to develop a teaching portfolio prototype (Tigelaar et al. 2004b).

교수 포트폴리오는 서로 다른 측정 기구를 포함하고 서로 다른 교수 역량과 관련되며 피드백이 중요한 역할을 하는 진정한 평가 도구다. 학습에 대한 구성주의적 견해와 그에 따른 학습과 평가의 정렬 필요성에 따라, 우리는 고등교육에서 형성적 목적과 총괄적 목적 모두에 적합한 교수 포트폴리오의 절차를 개발하고자 했다. 포트폴리오는 교사들에게 가르치는 과정에서 발생하는 학습 과정에 대한 통찰력을 주어야 하며, 동시에 승진 결정에 대한 적절한 근거를 제공해야 한다. 즉, 실제 교육 성과에 기초하여 교사 경력career을 추구persue할 수 있는 [타당한 결정]을 제공해야 한다. 이러한 결합된 목표는 포트폴리오 절차의 품질과 판단 방법에 높은 요구를 한다. 따라서 본 논문에서 다룬 일반적인 문제의 정의는 다음과 같다.

A teaching portfolio is an authentic assessment tool in which different measurement instruments are included, related to different teaching competencies, and in which feedback plays a crucial role. In line with constructivist views of learning and the corresponding need for alignment of learning and assessment, we wanted to develop a procedure for a teaching portfolio that was suitable for both formative and summative purposes in higher education. The portfolio should give teachers insight into their learning processes that occur as they are teaching and at the same time it should provide an appropriate basis for promotion decisions, i.e., decisions about the feasibility of pursuing a career in teaching on the basis of actual teaching performance. These combined objectives place high demands on the quality of the portfolio procedure and the judgment methods. Thus, the definition of the general problem that we addressed in this thesis was:

형성적 목적과 총괄적 목적 모두에 적합하기 위해 어떤 형태의 교육 포트폴리오를 취해야 하며, 그러한 포트폴리오의 품질을 어떻게 보장할 수 있는가?

What form should a teaching portfolio take to be appropriate for both formative and summative purposes and how can the quality of such a portfolio be guaranteed?

포트폴리오의 설계, 평가 및 재설계와 관련된 다른 단계들은 아래에 설명되어 있다. 또한, 상기 DBR의 5가지 특성이 어떻게 실제 적용되었는지에 대해서도 설명한다. 또한 이 DBR 연구에서 이론시험과 이론의 정교화와 실천의 진보가 어떻게 결정적인 역할을 했는지에 대해서도 설명한다.

The different steps involved in the design, evaluation and redesign of the portfolio are explained below. In addition, it is illustrated as to howthe five characteristics of DBR above were applied in practice. It is also illustrated how theory testing and theory refinement and advancement of practice played a crucial role in this DBR study.

포트폴리오의 설계, 평가 및 재설계의 지속적인 사이클

Continuous cycles of design, evaluation, and redesign of the portfolio

이론적 기초와 설계, 평가 활동 및 재설계를 정의하는 순환 과정이 형태 형성적 및 요약적 교사 평가를 위한 포트폴리오 절차의 개발의 기초가 되었다. 이 연구는 세 가지 주요 단계로 구성되었다.

A cyclic process of defining theoretical underpinnings and design, evaluation activities, and redesign was the basis for the development of a portfolio procedure for both formative and summative teacher assessments. The research consisted of three main steps:

(1) 분석 및 재설계 

(2) 평가 및 재설계 

(3) 분석 및 재설계

(1) Analysis and redesign; 

(2) Evaluation and redesign; and 

(3) Analysis and redesign

첫 번째 분석 및 재설계 단계는 두 개의 하위 단계로 구성되었다. 

The first analysis and redesign phase consisted of two substeps. 

• 1a단계에서는 고등교육의 교육역량 프레임워크를 개발, 검증하여, 교사의 고등교육 수행평가를 위한 출발점으로 활용할 수 있도록 하였다. 이 틀은 교육 전문가들이 ''고등교육에 경험이 많은 교사에게 각 영역에서 다음과 같은 교수 역량이 얼마나 중요한가?'라는 질문에 답하도록 하는 델파이 연구를 통해 개발되었다.’’

In step 1a, a framework for teaching competencies in higher education was developed and validated, which could be used as a starting point for appraisal of teachers’ performance in higher education. This framework was developed by means of a Delphi study in which educational experts were asked to answer the question: ‘‘How important are the following teaching competencies in each domain for an experienced teacher in higher education?’’

• 1b단계에서는 이론적 기초에 기초하여 교원양성과 평가를 위한 교수 포트폴리오의 프로토타입이 개발되었다. 이 프로토타입은 포트폴리오를 재설계한 후 포트폴리오 전문가의 의견에 따라 테스트되었다.

In step 1b, a prototype for a teaching portfolio for teacher development and assessment was developed based on theoretical underpinnings. This prototype was tested against the opinions of portfolio experts after which the portfolio was redesigned.

평가 및 재설계 단계는 2a, 2b, 2c 단계로 구성되었다.

The evaluation and redesign step consisted of steps 2a, 2b, and 2c.

• 2a단계에서는 설계를 구체화하고 수정하기 위해 소규모 연구에서 포트폴리오의 형성적 기능을 탐구했다. 우리는 포트폴리오 과제를 분석하여 교사들의 기능 측면에 대한 성찰의 다양한 예시를 파악했다.

In step 2a, we explored the formative function of the portfolio in a small-scale study in order to specify and revise the design. We analyzed portfolio assignments to identify illustrative teachers’ a variety examples of reflections on of aspects of their functioning.

• 2b단계에서는 포트폴리오 작업 과정에서 교사의 협력적 성찰의 질을 분석했다. 참여 교사들의 동료 회의 영상 녹화는 세부적인 방식으로 분석되었다.

In step 2b, we analyzed the quality of teachers’ collaborative reflections during the process of working on the portfolio. Video recordings of peer meetings from the participating teachers were content analyzed in a fine-grained way.

• 2c단계에서는 포트폴리오에 의한 교사의 전문적 발전 자극과 관련된 활성화 및 비활성화 요인을 조사했다. 우리는 또한 교사들이 그 포트폴리오가 전문적 발전을 촉진하고 교육 분야의 직업 전망에 대한 종합적인 결정을 위한 좋은 도구라고 생각하는지 문의했다.

In step 2c, we examined enabling and disabling factors in relation to the stimulation of teachers’ professional development by the portfolio. We also inquired whether teachers thought the portfolio was a good instrument for fostering professional development and for summative decisions about prospects for a career in education.

3단계에서는 정성적 데이터를 평가하는 방법에 대한 이론적 관점을 분석하여 교육 포트폴리오 평가를 위한 품질 기준이나 설계 지침을 정의했다. 본 연구에서 제시된 주장에 기초하여, 교수 포트폴리오에 대한 평가 절차의 구성을 위한 설계 지침이 개발되었다.

In step 3, we defined quality criteria or design guidelines for assessing teaching portfolios based on an analysis of a theoretical perspective on how to assess qualitative data. On the basis of the arguments presented in this study, design guidelines were developed for the organization of assessment procedures for teaching portfolios.

마지막으로, 우리는 일반적인 문제 정의와 목표로 돌아가 우리의 설계와 개발 노력에서 배운 것뿐만 아니라 이론적 기초와 교수 포트폴리오의 실제 구현에 관한 시사점에 대해 토론했다.

Finally, we returned to the general problem definition and aims and discussed what we learned from our design and development efforts as well as the implications with regard to the theoretical underpinnings and the practical implementation of teaching portfolios.

이번 연구는 설계, 평가, 재설계 등의 순환 과정으로 진행됐다. 

The research was carried out as a cyclic process of design, evaluation, and redesign. 

• 1b단계에서는 포트폴리오 평가 경험이 풍부한 교육자에게 포트폴리오 프로토타입을 평가하도록 했다. 이로 인해 포트폴리오 설계 지침이 몇 가지 갱신되었다. 예를 들어, 교사의 창의성과 학습 과정을 촉진하기 위해 포트폴리오 구조가 개방적이고 유연해야 하며 지나치게 규범적이지 않아야 한다는 설계 지침이 있다.

In step 1b, educationalists with ample experience with portfolio assessment were asked to evaluate the portfolio prototype. This resulted in several updates of the portfolio design guidelines. For example, The design guideline that the portfolio structure should be open and flexible and not be too prescriptive, in order to stimulate teachers’ creativity and learning processes.

• 2단계에서는 일정한 형성적 평가 과정도 수행했다. 포트폴리오 설계는 다음을 기반으로 업데이트 되었다. 다양한 포트폴리오 과제에 의해 추진되는 교사의 성찰 내용 분석 (2a 단계)

  동료 회의 중 교사의 협력적 성찰의 질에 대한 세분화된 분석 (2b 단계)

  포트폴리오의 유용성에 대한 교사들의 의견 (2c 단계) 

  이는 예를 들어, 교사 개인의 필요에 따라 포트폴리오를 조정할 수 있는 가능성을 열기 위해 차별화된 포트폴리오 과제를 사용해야 한다는 지침에서 비롯되었다.

In step 2, a constant formative evaluation process was carried out as well. The portfolio design was updated based on
an analysis of the content of teachers’ reflections promoted by the different portfolio assignments (step 2a, Tigelaar et al. 2004b),
a fine-grained analysis of the quality of teachers’ collaborative reflections during the peer meetings (step 2b, Tigelaar et al. 2008), and
teachers’ opinions about the usefulness of the portfolio (step 2c, Tigelaar, et al. 2006b).
This resulted, for example, in the guideline that differentiated portfolio assignments should be used in order to open the possibility to tailor a portfolio to a teacher’s individual needs.

• 포트폴리오 평가를 위한 가이드라인을 구체화하는 데 초점을 맞춘 3단계에서는 설계 가이드라인도 업데이트하는 결과를 낳았다. 문헌 연구에 기초하여, 우리는 이론적 기초와 설계 지침을 업데이트했다. 포트폴리오 평가에 대한 가장 적절한 접근방식은 포트폴리오 내 정보의 질적 특성에 대한 정의가 작용하기 때문에 hermeneutic, 해석적 접근방식이 될 것이라고 결론지었다.

Step 3, which focused on specifying the guidelines for portfolio assessment, resulted in an update of the design guidelines, too. On the basis of a literature study, we updated our theoretical underpinnings and design guidelines. We concluded that the most appropriate approach to portfolio assessment would be a hermeneutic, interpretative approach, because this would do justice to the qualitative nature of the information in portfolios.

또한, 우리는 포트폴리오 평가 프로세스에 대한 설계 가이드라인을 구축하기 위해 [헤르메뉴틱, 해석적 연구에 사용되는 기준](Guba & Lincoln 1989년)이 가장 적합하다고 결론지었다. 우리는 가능한 한 권력power의 불균형이 거의 없는 상태에서 우리의 조형적이고 포괄적인 포트폴리오 평가 절차가 청취, 대화 및 의견 교환으로 특징지어지는 과정이 되도록 설계 지침을 재설계했다.

In addition, we concluded that criteria that are used in hermeneutic, interpretative research (Guba & Lincoln 1989) would be the most appropriate ones for building design guidelines for portfolio assessment processes. We redesigned our design guidelines in such a way that our formative and summative portfolio assessment procedure would be a process that is characterized by listening, dialog, and exchange of views with as little imbalance of power as possible.

설계 지침의 몇 가지 예는 다음과 같다: 

• 평가자는 포트폴리오의 모든 증거를 신중히 고려해야 하며, 포트폴리오 증거에서 대수를 검색하면서 동료 평가자와 그들의 해석에 도전해야 한다. 

• 후보자에게는 포트폴리오에 대한 평가 기준과 해석에 대해 토론할 수 있는 기회가 주어지고 최종 판단이 내려지기 전에 포트폴리오에 정보를 추가할 수 있는 기회가 주어진다.

Some examples of design guidelines are: 

• Assessors should carefully consider all evidence in a portfolio, and challenge their interpretations with a peer assessor, searching for counterexamples in the portfolio evidence. 

• Candidates should be given the opportunity to discuss about assessment criteria and interpretations about their portfolio and be given the chance to add information to their portfolio before final judgment is being made.

실제 설정

Authentic, real-life settings

평가(2a, 2b, 2c 단계)는 진실한authentic 실생활 환경에서 수행되었다. 5명의 경험 많은 선생님들과 그들의 개인 코치들이 이번 연구에 참여하였다.

The evaluation (steps 2a, 2b, and 2c) was carried out in an authentic, real-life setting. Five experienced teachers and their personal coaches were involved in the study,

평가 단계 동안, 미래 종합 사용의 선택권은 열려있었지만, 교육 포트폴리오의 목적은 주로 형성적이었다. 우리는 교사들에게 다음과 같은 교사들의 역할에 따라 포트폴리오를 구성하도록 요청했다. 2004a:

During the evaluation phase, the purpose of the teaching portfolio was primarily formative, although the option of future summative use was kept open. We asked the teachers to organize the portfolio according to the following roles of teachers: (Tigelaar et al. 2004a):

. 교사로서의 사람, 내용 지식 전문가, 학습 과정 촉진자, 조직자, 학자/평생 학습자. 

. the person as a teacher, expert on content knowledge, facilitator of learning processes, organizer, and scholar/ lifelong learner. 

게다가 교사들은 다음과 같은 6가지 과제를 수행했다. 

In addition, teachers carried out six assignments: 

. 교사로서 당신의 발전에 있어 중요한 사건들을 기술하시오. 

. 개인 학습 목표를 설계하고, 증빙 자료를 선택하시오. 

. 좋은 선생님의 프로필을 작성하시오

. 반성적인 포트폴리오를 짜시오

. describe your teaching career history; 

. describe critical incidents in your development as a teacher; 

. design personal learning goals; select evidential materials; 

. compose a profile of a good teacher; and 

. compile a reflective portfolio.

각각의 과제가 끝난 후, 교사들은 교대로 두 가지 유형의 사회적 상호작용 중 하나를 수행했다: 개인 코치와 세 번의 만남, 그리고 또래 회의에서 세 번의 만남. 사회적 상호작용을 통해 지원 및 피드백, 심층 분석, 실천 개선 제안, 교사의 인식에 대한 성찰 장려, 자신의 교육실무를 보다 잘 이해하기 위한 결정 등을 통해 과제의 효과를 강화할 수 있을 것으로 기대되었다.

After each assignment, the teachers alternately engaged in one of two types of social interactions: three meeting with their personal coach and three at a peer meeting. The social interactions were expected to reinforce the effects of the assignments through support and feedback, in-depth analysis, suggestions for improving practice, encouragement for teachers to reflect on their perceptions, and decisions in order to better understand their own teaching practice.

이론 테스트 및 정제 및 개선 실습

Testing and refining theory and advancing practice

위의 설명에서, [교사의 창의성과 학습 과정을 자극하기 위해서는], 연구들은 (포트폴리오 구조와 같이) 실천을 개선하기 위한 가이드라인이 개방적이고 유연해야 하며 너무 규범적이어서는 안 된다는 것이 분명해졌다. 아래에서는 형태 형성 평가 동안 지속적으로 그것들을 시험한 결과, 이론적 기초( – 교사 – 학습에 관한 이론에서 파생됨)가 얼마나 정제되었는지 더 자세히 설명한다.

From the description above, it became clear that the studies revealed design guidelines that advanced practice, such as the portfolio structure should be open and flexible and not be too prescriptive, in order to stimulate teachers’ creativity and we learning processes. Below, we illustrate further how refined our theoretical underpinnings (derived from theories about – teacher – learning) as a result of constantly testing those during the formative evaluations,

포트폴리오의 이론적 기초에 대한 첫 번째 개선은 포트폴리오의 목적을 다루었다. 우리는 평가에서 학습, 교육, 평가의 높은 일관성이 요구된다는 이론적 기초에서 출발했다. 이를 흔히 학습과 평가의 높은 일관성이 있는 '정렬alignment'의 원칙이라고 한다(Biggs 1996). 우리의 관점은 포트폴리오가 교사의 학습과 전문적 발전(형성적 기능)을 촉진하고 교육적 직업의 가능성(요약적 기능)과 같은 문제에 대한 결정의 근거를 제공해야 한다는 것이었다. 딜레마는 이것이 두 가지 유형의 목표를 바람직하지 않은 간섭을 일으킬 수 있다는 것이다. 문헌에 따르면 교사 학습 과정에 부정적인 역효과(backwash)가 있을 수 있다. 예를 들어, 교사들은 총괄 평가 기준과 관련하여 자신의 강점만을 제시하려고 할 수 있다(Biggs 1996, 1999).

A first refinement of our theoretical underpinnings of the portfolio dealt with the purpose of the portfolio. We departed from the theoretical underpinning that in assessments, a high consistency between learning, instruction, and assessment is required. This is often referred to as the principle of ‘‘alignment,’’ that is a high consistency between learning and assessment (Biggs 1996). Our viewpoint was that a portfolio should stimulate teachers’ learning and professional development (formative function) and provide a basis for decisions about issues such as the possibility of an educational career (summative function). The dilemma is that this may cause undesirable interference of the two types of goals. The literature indicates that there may be negative backwash effects on teacher learning processes, for instance teachers might be only willing to present their strong points in relation to the criteria for summative assessment (Biggs 1996, 1999).

이것은 교사들의 학습 과정과 그들의 전문적 발달과 같은 [형성적 기능]을 심각하게 약화시킬 것이다. 왜냐하면 그것은 개선이 필요한 영역이 피드백과 비판적 성찰에 노출되지 않은 채로 남아 있을 것이기 때문이다. 평가가 학습을 촉진한다고 알려져 있으므로(Longhurst & Norton 1997), 평가 과정은 의미 있는 학습 경험을 제공할 수 있도록 설계되어야 한다. 우리의 연구는 [교사의 학습과 그들의 전문적 발전]에 주안점을 두고 평가 과정이 신중하고 신뢰할 수 있는 방식으로 수행된다면, 두 가지 목표가 하나의 포트폴리오 절차로 결합될 수 있다는 것을 보여주었다. 포트폴리오 프로토타입에 대한 전문가 자문부터, 그리고 교육 포트폴리오의 유용성에 대한 참가자의 의견을 바탕으로 포트폴리오 목적에 관한 이론적 토대를 정비했다.

This would seriously weaken the formative function, i.e.: teachers’ learning processes and their professional development, because it would mean that areas that need improvement would remain underexposed to feedback and critical reflection. Since it is known that assessment drives learning (Longhurst & Norton 1997), assessment processes should be designed to provide meaningful learning experiences. Our studies demonstrated that the two aims can be combined in one portfolio procedure as long as the primary focus is on the learning of teachers and their professional development and the assessment process is performed in a careful and trustworthy manner. From our consultation of experts about the portfolio prototype (Tigelaar et al. 2004b), and on the basis of participants’ opinions on the usefulness of the teaching portfolio (Tigelaar et al. 2006b), we refined our theoretical underpinning with respect to portfolio purpose.

우리는 처음부터 총괄적 결정을 위해 사용할 수 있다는 것이 교사들로 하여금 그들의 포트폴리오에 대해 일하도록 동기를 부여한다고 주장했다. 분명, 본질적인 동기 부여가 교사들이 그들의 포트폴리오와 그들의 교육 성과에 대한 성찰에 시간을 소비하는 충분한 동기 부여라고 기대하는 것은 현실적이지 않다. 교사들 또한 궁극적인 목표와 이익이 그들의 노력을 가치 있게 만든다는 것을 확신할 필요가 있다. 따라서 우리는 가능한 한 권력의 불균형이 적은 분위기에서 좋은 가르침에 대한 의견 교환과 평가 기준에 대한 피드백과 대화로 특징지어지도록 설계 지침을 조정했다.

We argued that being able to work toward a summative decision from the start motivates teachers to work on their portfolio. Apparently, it is not realistic to expect that intrinsic motivation is a sufficient incentive for teachers to spend time on their portfolios and on reflecting on their teaching performance. Teachers also need to be convinced that the ultimate goals and profits make their efforts worthwhile. We therefore refined our design guidelines in such a way that a combined formative and summative portfolio procedure should be characterized by feedback and dialog about assessment criteria and an exchange of views about good teaching in a climate with as little imbalance of power as possible.

우리의 [이론적 기반]에 대한 또 다른 개선은 [코치의 역할]을 다루었다. 코치는 코칭 관계의 안전한 환경을 극대화하기 위해 지원 제공자만 되어야 하는가, 아니면 코치가 평가자의 종합적 기능을 가져야 하는가? 드라이센 외 (2005) 코치는 코칭하는 교사와 너무 밀접하게 관련되어 있기 때문에 코칭하는 교사의 공식적인 평가자가 되어서는 안 된다고 명시한다. 우리 연구에서 두 역할이 엄격하게 분리되어서는 안 된다는 결론을 내렸다. 장기간 교전(Guba & Lincoln 1989년)의 이론적 원리에 따르면, 평가자는 후보자의 교육 성과에 대해 이용할 수 있는 모든 종적 정보를 신중하게 고려해야 한다.

Another refinement of our theoretical underpinnings dealt with the role of the coach. Should coaches only be support providers so as to maximize the safe climate of the coaching relationship or should coaches also have the summative function of assessor? Driessen et al. (2005) state that coaches should not be the formal assessors of the teachers they coach, because they are too closely involved with them. In our studies, we concluded that the two roles should not be strictly separated. According to the theoretical principle of prolonged engagement (Guba & Lincoln 1989), it is important that assessors should carefully consider all the longitudinal information that is available about candidates’ teaching performance.

이는 후보들과 가장 오랜 교류가 있는 코치들도 좋은 가르침이 무엇인지에 대해 논의할 평가인 팀에 참여해야 함을 시사한다. 본 연구에서는 [장기간의 참여 원리]와 [학습자의 참여와 통제를 강조하는 학습 및 평가]에 대한 구성주의적 관점을 결합하여 코치 역할에 대한 이론적 원리를 다듬었다(Birenbaum 2003; Segers 2004). 이러한 관점에서, 코치가 [다른 관점에서 가르치는 것에 정통한 다른 멤버들로 구성된 평가자 팀의 일원으로서] candidate에 대한 추가적인 맥락 정보를 제공할 수 있다고 주장하면서, 평가를 받고 있는 교사의 코치에 대한 우리의 설계 지침은 정비되었다.

This suggests that coaches, who have the most prolonged engagement with the candidates, should also be involved in the team of assessors who will discuss about what constitutes good teaching. In our research, we refined our theoretical principle about the coach role by combining the principle of prolonged engagement with constructivist views on learning and assessment, which stress learner participation and control (Birenbaum 2003; Segers 2004). From this viewpoint, our design guideline about the coach of the teacher who is being assessed was refined, arguing that coaches might provide additional context information about their candidates as a member of the team of assessors, which is otherwise comprised of other members, who are knowledgeable on teaching from different perspectives.

우리의 [이론적 기초]에 대한 세 번째 개선은 [분석적 평가]와 [전체론적 평가]의 차이를 다루었다. 분석적 평가는 정밀한 기준과 표준화된 절차의 적용에 초점을 맞추는 반면, 전체론적 평가는 모든 평가 정보에 기초하여 가설을 지속적으로 개발하고 시험하는 모든 구성 요소에 비추어 전체적인 이해를 도모하는 것을 목적으로 한다. 한편, 투명성과 공정성을 촉진하기 위해 명확하게 정의된 분석 평가 기준이 필요한 반면, 그러한 기준에 지나치게 의존하는 것은 포트폴리오 평가를 무의미한 빈칸 채우기 연습으로 바꿀 수 있다. 전체론적인 포트폴리오 평가는 그 반대이다. 

A third refinement of our theoretical underpinnings dealt with the difference between analytic and holistic assessments. Analytic assessment focuses on the application of precise criteria and standardized procedures, whereas holistic assessment is aimed at seeking to understand the whole in the light of all its constituents, constantly developing and testing hypotheses based on all assessment information. On the one hand, clearly defined analytic assessment criteria are needed to promote transparency and fairness, whereas on the other hand too much reliance on such criteria might turn portfolio assessment into a meaningless exercise of filling in blanks. The opposite holds for holistic portfolio assessment. 

우리의 연구로부터, 우리의 [이론적 토대]는 투명성과 공정성보다 의미와 학습 기회가 우선되어야 한다는 결론에 도달했다는 점으로 정제되었다. 설계 지침 업데이트의 경우, 이는 기준이 [지원자는 자신의 기능을 성찰하도록 자극]하고, [평가자는 자신의 관점을 명확히 하도록 장려]하는 가이드로 간주되어야 함을 의미한다. 무엇이 좋은 교육을 구성하는지에 대한 토론과 대화는 평가자들이 포트폴리오를 평가하는 동안 나타나는 다양한 해석을 의미 있는 전체론적 판단으로 통합하도록 유도할 것이다. 즉, 정밀한 기준에 대한 판단을 내릴 필요 없이 평가기준이 고려의 단서를 제공해야 한다. 해석의 기준 또는 단계는 정기적인 개정의 대상이 되어야 한다.

From our studies, our theoretical underpinnings were refined in the sense that we came to the conclusion that meaningfulness and learning opportunities should take precedence over transparency and fairness. For our updates of the design guidelines, this means that criteria should be seen as guidelines that stimulate candidates to reflect on their functioning and encourage assessors to clarify their perspectives. Discussion and dialog about what constitutes good teaching will invite assessors to integrate different interpretations that emerge during the assessment of a portfolio into a meaningful holistic judgment. This means that assessment criteria should offer cues for consideration, without the need to pronounce judgment on precise criteria. The criteria, or steps for making interpretations, should be subject to regular revision.

혼합 방법 연구

Mixed-methods studies

연구의 1단계에서는 양적 방법과 질적 방법을 조합하여 사용했다. 교육 역량 프레임워크를 개발하기 위해 1a단계에서 델파이 메소드를 사용했다. 우리는 교육 전문가가 작성한 설문지를 여러 라운드에서 개발했다.

In step 1 of the research, a combination of quantitative and qualitative methods was used. In order to develop a teaching competency framework, in step 1a, the Delphi-method was used; we developed a questionnaire which was filled out by educational experts, in different rounds.

이후 이론 원리에 기초한 포트폴리오 프로토타입의 개발인 1b 단계에서, 우리는 프로토타입에 이론적 기초가 어느 정도 반영되어 있는지를 결정하고, 그들이 필요하다고 생각하는 어떤 수정이 필요한지를 나타내기 위해 인터뷰 연구를 수행했다.

Subsequently, in step 1b, the development of a portfolio prototype based on theoretical principles, we carried out an interview study to determine to what extent the theoretical underpinnings were reflected in the prototype and to indicate any modifications they thought were required.

평가 단계인 2단계는 소규모로 진행됐다. 따라서 양적 방법은 그다지 적합하지 않았다. 그러나 서로 다른 질적 방법을 조합하여 혼합 방법 접근법을 적용하였다. 이는 포트폴리오에 의해 자극을 받은 학습 과정과 복잡한 상호작용에 대한 통찰력을 얻기 위해 수행되었다.

Step 2, the evaluation phase, was carried out on a small scale. Therefore, quantitative methods were not very suitable. However, a mixed-methods approach was applied by combining different qualitative methods. This was done in order to gain insight into the learning processes and complex interactions that were stimulated by the portfolio.

2a단계에서는 교사의 과제를 바탕으로 교사의 성찰적 글쓰기 내용을 분석하는 텍스트 분석을 실시했다. 이어서 2b단계에서는 또래회의 중 사회적 상호작용과 교사의 협력적 성찰 과정의 범위에 대해 세분화된 영상분석을 실시했다. 2c단계에서는 포트폴리오 구조의 유용성과 전문성 개발을 촉진하는 사회적 상호작용에 대한 교사와 코치의 의견으로 이러한 데이터를 보완했다. 포트폴리오의 유익성, 활성화 및 비활성화 요인과 관련된 카테고리를 사용하여 인터뷰 연구를 수행하고 결과를 분석하였다.

In step 2a, we carried out a document analysis, analyzing the contents of teachers’ written reflections, based on their assignments. Subsequently, in step 2b, we carried out a fine-grained video analysis on the social interactions during the peer meetings and on the scope of teachers’ collaborative reflection processes. In step 2c, we complemented these data with the opinions of teachers and their coaches about the usefulness of the portfolio structure and social interactions for stimulating their professional development. We carried out an interview study and analyzed findings using categories related to benefits, enabling and disabling factors in the portfolio.

마지막으로, 3단계에서는 포트폴리오 평가를 위한 정교한 설계 가이드라인에 도달하기 위해 포트폴리오 평가 방법 및 포트폴리오 평가 프로세스의 건전성을 보장하기 위한 품질 기준quality criteria에 대한 문헌 연구를 실시했다.

Finally, in step 3, in order to arrive at refined design guidelines for portfolio assessment, we carried out a literature study on methods for judging portfolios and quality criteria for guaranteeing the soundness of portfolio assessment processes.

설계자, 연구자 및 실무자 간의 빈번한 상호 작용

Frequent interaction between designers, researchers, and practitioners

설계 과정에서 연구과정의 일환으로 설계자, 연구자, 실무자 간의 고빈도 커뮤니케이션이 조직되었다. 연구 개발 과정은 4명의 교육 연구원으로 구성된 연구팀이 수행했는데, 이들은 2개의 교육 개발에도 전문지식이 있었다. 이 기사의 저자는 그 팀의 구성원이었다. 디자인 과정에서 교육 전문가와 실무자 모두의 의견을 구했다.

During the design process, frequent communication between designers, researchers, and practitioners was organized as part of the research process. The research and development process was carried out by a research team, consisting of four educational researchers, who also had expertise in two educational development. The authors of this article were members of that team. During the design process, we sought the opinions of both educational experts and practitioners from the field.

교수역량 프레임워크 개발에 초점을 맞춘 델파이 연구(1a단계)에는 고등교육에 종사하는 교육 전문가가 선정됐다. 이후 1b단계에서는 개발 및 평가를 위한 교육 포트폴리오의 프로토타입을 개발 및 테스트했다. 포트폴리오 평가 경험이 풍부한 9명의 교육자의 판단을 위하여 제출된 포트폴리오. 우리의 이론적 선택이 프로토타입에 어느 정도 반영되고 어떤 수정이 필요한지 조사했다.

For the Delphi study (step 1a), which was focused on developing a teaching competency framework, educational experts were selected who work in higher education. Subsequently, in step 1b, we developed and tested a prototype of a teaching portfolio for development and assessment was the purposes. The portfolio submitted to judgment of nine educationalists with ample experience with portfolio assessment. We investigated to what extent our theoretical choices were reflected in the prototype and which modifications were needed.

2a, 2b, 2c 단계에서는 실무자들이 참여하였다. 5명의 숙련된 교사들과 그들의 개인 코치들이 연구에 참여했고, 모든 의사들이 이 연구에 참여했다. 이러한 실무자들은 모두 포트폴리오의 유용성을 평가하는 데 참여했으며, 이들의 의견은 포트폴리오 설계 지침을 최적화하는 데 큰 도움이 되었다.

In steps 2a, 2b, and 2c, practitioners were involved. Five experienced teachers and their personal coaches were involved in the study, all medical doctors. All these practitioners were involved in evaluating the usefulness of the portfolio, and their opinions were of great benefit for optimizing the portfolio design guidelines.

일반적으로 DBR의 함정과 과제

Pitfalls and challenges of DBR in general

국지적 상황에 대한 실제적 목적의 경우에만 해당

Only of practical relevance for local situation

진정한 실세계 학습 환경 내에서 연구를 수행할 때의 단점은 [한 지역적 맥락 안에서 특정 혁신적 학습 환경]에서 흥미로운 통찰력을 얻을 수 있다는 점일 수 있지만, 이러한 연구는 다른 맥락에서는 가치가 제한될 수 있다. 즉, 연구는 종종 소수의 학생 또는 교사가 참여하는 특수 설계 환경에서 이루어졌기 때문에 다른 맥락에서 일반화되지 않을 수 있다.

A disadvantage of conducting studies within an authentic reallife learning setting might be that they may result in interesting insights in a particular innovative learning environment within one local context, but these studies have limited added value for other contexts. In other words, the findings may not generalize to other contexts, because the study took place in a specifically designed context in which often a few students or teachers participate.

반면에, 지역 상황보다 더 광범위한 관련성을 자극하기 위해 몇 가지 이슈를 고려할 수 있다. 

On the other hand, several issues can be taken into account to stimulate a broader relevance than the local situation. 

첫째, 이론에 바탕을 두고 이론들을 사용하여 연구 결과를 설명함으로써. 

둘째, 연구 내용에 대한 상세한 설명을 포함시킴으로써, 독자들은 그 결과를 자신의 상황에 어떻게 또는 어떻게 적용할 수 있는지 이해할 수 있다. 

셋째, 설계 원리를 생성한다.

First of all, by grounding the design on theories and using theories to explain the findings. 

Second, by including a detailed description of the context in the study, due to which readers can understand how or whether the findings can be applied to their own situation. 

Third, by generating design principles.

지역적 맥락은 DBR에서 매우 중요하지만, 좋은 DBR은 유사한 진정한 혁신적 학습 환경에서 일반화될 수 있는 지침을 제공해야 한다. 따라서 DBR은 다른 설정에서 설계가 시험되어야 할 필요가 있다(Design-Based Research Collective 2003). 그러나 다른 설정에 걸친 이 시험은 모든 맥락에 광범위하게 적용될 수 있는 설계 지침으로 귀결될 필요는 없다. 가장 좋은 경우, DBR 연구는 McKenney 등이 주장하는 바와 같이 [특정 이론적 주장 때문에 특정 개입이 특정 맥락에서 구현되기 위해 어떤 특성이 중요한지 명확히 하는 설계 지침]을 정의하도록 이끌어야 한다. (2006). 따라서, 레게르(2010년)의 주장처럼, 교육 실무에 광범위하게 관련되는 모든 맥락에 일반화될 수 있는 단순한 발견이나 설계 지침을 생성하는 문제가 아니다.

Although the local context is very important in DBR, good DBR should yield guidelines that can be generalized across similar authentic innovative learning environments. Therefore, DBR requires testing a design across different settings (Design-Based Research Collective 2003). This testing across different settings does, however, not need to result in design guidelines that can be broadly applied to all contexts. At best, DBR studies should lead to defining design guidelines that make clear which characteristics are crucial for a particular intervention to be implemented in a specific context because of certain theoretical arguments, as argued by McKenney et al. (2006). So, it is not a matter of generating simple findings or design guidelines that can be generalized to all contexts that are broadly relevant for educational practice, as also argued by Regehr (2010).

이론을 발전시키지 않는다.

Does not advance theories

DBR을 수행할 때의 또 다른 단점은 DBR이 실무 설계와 재설계에만 지나치게 집중하고 이론의 시험이나 정교함에 너무 덜 초점을 맞춘다는 것이다. 그러나 앞에서 언급한 바와 같이 좋은 DBR은 복잡한 학습 환경의 특성에 관한 이론을 시험하거나 다듬는 것을 목적으로 한다(DesignBased Research Collective 2003). 그러나 물론 DBR 연구에는 변화가 있다. 일부 DBR 연구는 [이론 테스트 또는 입증(흔히 검증 연구라고 함)]에 더 초점을 맞추고 있는 반면, 다른 연구들은 [이론 사용(개발 연구라고 함)]에 더 초점을 맞추고 있다(Nieven et al. 2006). 한 가지 주요한 차이점은 전자가 이론의 진보에 기여하는 반면 후자는 설계지침의 고도화에 기여한다는 것이다. 그러나 이러한 후기 연구는 문헌의 검토를 바탕으로 설계 지침을 작성하는 것에서부터 시작되는 경우가 많다는 것을 명심해야 한다. 즉, 이러한 발전 연구도 이론을 활용한다. 더욱이 이러한 발전 연구는 이론의 정교화와 이러한 이론들이 실제로 효과가 있는지 시험하는 것으로 이어진다.

Another disadvantage of conducting DBR might be that it is too much focused on designing and redesigning practice and too less focused on testing or refinement of theories. But, as stated before, good DBR is also aimed at testing or refining theories about the nature of complex learning environments (DesignBased Research Collective 2003). But, there are, of course, variations in DBR studies. Some DBR studies focus more on testing or proving theories (often called validation studies), whereas other studies focus more on using theories (often called development studies) (Nieveen et al. 2006). One major difference is that the former contribute toward the advancement of theories, whereas the latter contribute toward de-advancement of design guidelines. However, it is important to keep in mind that these latter studies often start with formulating design guidelines based on a review of the literature. In other words, these development studies also make use of theories. Furthermore, these development studies lead to the refinement of theories and testing whether these theories work in practice.

연구자의 참여는 결과를 편향시킬 수 있다.

The involvement of the researcher might bias findings

많은 DBR 연구에서 연구자와 설계자의 역할은 동일한 사람에 의해 수행된다. 이것은 어려울 수 있는데, 한편으로는 연구자가 디자인을 비판적으로 평가해야 하지만, 다른 한편으로는 디자인을 개발한 사람이고 교사나 학습자에게 디자인의 유용성에 대해 설득해야 하기 때문이다. 물론, DBR에서 설계자, 연구자 및 실무자 간의 긴밀한 상호작용이 깊고 의미 있는 통찰력으로 이어질 것으로 기대되지만, 설계에 대한 덜 비판적인 평가로 이어질 수도 있다. 왜냐하면 연구자는 개입이 효과가 있다고 확신하거나 학습자나 교사가 디자인을 비판하기 어려울 수 있기 때문이다. 다시 말해서, 이 연구의 결과는 연구자들의 편견에 의해 더 쉽게 영향을 받을 수 있다.

In many DBR studies, the roles of researcher and designer are fulfilled by the same person. This might be difficult, because the researcher on the one hand must critically evaluate the design, but on the other hand is also the one who developed the design and must convince teachers or learners about the usefulness of the design. Of course, close interactions between designer, researcher, and practitioners in DBR are expected to lead to deep and meaningful insights, but it might also lead to a less critical evaluation of the design, e.g., because the researcher is convinced that the intervention does work or because the learners or teachers may find it difficult to criticize the design. In other words, the findings of the study might be more easily influenced by the researchers’ biases.

따라서 데이터 소스와 데이터 방법의 삼각 측정이 매우 중요하다(McKenney et al. 2006). 추가 방법이나 데이터 출처의 강점은 다른 방법의 약점을 극복하기 위해 사용될 수 있으며 혼합된 방법은 증거를 확증하기 때문에 더 강력한 증거를 제공할 수 있다(Johnson & Onwegbuzie 2004). 그러나, 또한 반사성은 매우 중요하다. 즉, 연구자들은 독자들에게 자신이 연구를 수행한 배경과 렌즈, 그리고 기존의 가정과 기대치에 대한 정보를 제공해야 한다. 이 정보를 바탕으로 독자들이 연구의 결과를 비판적으로 해석할 수 있다. (Bunniss & Kelly 2010).

Triangulation of data sources and data methods is therefore of crucial importance (McKenney et al. 2006). The strengths of an additional method or data source can be used to overcome the weaknesses in another method and mixed methods can provide stronger evidence because of corroborating evidence (Johnson & Onwuegbuzie 2004). But, also, reflexivity is of crucial importance; i.e., the researchers should make the reader clear and give them information about their backgrounds and their lenses through which they conducted the study as well as what their pre-existing assumptions and expectations are, based on which readers can critically interpret the findings of the study (Bunniss & Kelly 2010).

DBR은 위험하고 복잡하며 시간이 많이 소요됨

DBR is risky, complicated, and time-consuming

그렇다, 실제로 DBR은 여러 가지 이유로 위험하고 복잡하며 시간이 많이 걸린다. 그 이유 중 하나는 설계가 이론에 근거해야 하고 연구자, 디자이너, 교사와 긴밀한 협업을 통해 개발되어야 하며, 교사와 학습자가 밀접하게 협력하여 실제적으로 구현되어야 한다는 것이다. 그 후에, 그것은 평가될 수 있고 재설계되어야 한다.

Yes, indeed DBR is risky, complicated, and time-consuming, because of several reasons. One of the reasons is that the design must be based on theories and must be developed in close collaboration with researchers, designers, and teachers, and needs to be implemented in practice in close collaboration with teachers and learners. Thereafter, it can be evaluated and it should be redesigned.

이 순환 과정은 위험하고 복잡하며 시간이 많이 걸린다. 교사나 학습자가 철수할 수 있고 상황이 바뀔 수 있기 때문에 연구 설계가 계속 변경될 수 있기 때문에 위험하다. 계속 변화하는 연구 설계는 약하다. 그럼에도 불구하고, 실제 실무에서 유용한 개입을 설계하기 위해서는 여러 이해관계자들과 긴밀히 협력하여 설계에 대한 조정이 이루어져야 한다(McKenney et al. 2006).

This cyclic process is risky, complicated, and time-consuming. It is risky because teachers or learners may withdraw and circumstances may change, from which the research design keeps changing. A research design that keeps changing is weak. Nevertheless, it is important that adjustments can be made to the design in close collaboration with the different stakeholders in order to design interventions that are useful in real practice (McKenney et al. 2006).

실무에서 혁신을 구현하는 것은 종종 [모든 이해관계자의 요구를 충족시키기 위해 변경이 이루어져야 한다]는 것을 암시한다. 다시 말해 실제 현실에서 일어나는 일이다. 또 다른 문제는 DBR이 설계, 평가, 재설계라는 반복적인 과정 때문에 시간이 많이 걸린다는 것이다. 오늘날 연구 프로그램은 종종 여러 연구가 발표되어야 하고 많은 위험을 감수할 수 없는 3, 4년 동안 지속되는 단일 프로젝트로만 구성된다. 그럼에도 불구하고 설계 연구는 여러 연구자들이 함께 일하고 서로 다른 연구가 구축되는 오래 지속되는 잘 정의된 연구 라인이나 연구 프로그램 내에서 수행되어야 한다. DBR 연구자들은 서로 밀접하게 연관되어 있고 서로에게 구축될 수 있는 연구의 양적 방법론과 질적 방법론 모두에 대해 구체적인 전문지식을 가진 다양한 실무자 및 다양한 연구자들과 함께 일하는 팀으로 일해야 한다.

Implementing innovations in practice often implies that changes must be made in order to meet the needs of all stakeholders. In other words, this is what happens in real practice. Another problem is that DBR is time-consuming because of its iterative process of design, evaluation, and redesign. Research programs nowadays often only consist of single projects that last for 3 or 4 years in which several studies need to be published and in which not much risks can be taken. Nevertheless, design studies should be conducted within long-lasting well-defined research lines or research programs in which different researchers work together and in which different studies are built upon each other. DBR researchers should work in teams in which they work together with various practitioners and various researchers with specific expertise on both quantitative and qualitative methodologies on studies that are closely related to each other and can be built upon each other.

실무에서 DBR의 함정과 과제에 대처

Dealing with pitfalls and challenges of DBR in practice

현지 상황을 벗어난 실질적인 관련성

Practical relevance beyond the local situation

첫째로, 개발 과정을 이론적 합리성에 토디를 두고, 이러한 합리성을 이용하여 우리의 연구 결과를 설명함으로써, 우리의 연구는 더 많은 청중들이 관심을 가질 수 있도록 하기 위한 것이었다.

First, by grounding the development process on theoretical rationales, and using these rationales to explain our findings, our studies were aimed to be of interest to a broader audience.

둘째, 명확한 맥락적 정보를 제공하고, 우리의 분석 방법에 투명함을 제공함으로써, 우리는 독자들이 자신의 맥락에서 우리의 발견의 적용 가능성을 판단할 수 있도록 돕고 싶었다.

Second, by providing clear context information, and by being transparent in our analysis methods, we wanted to assist our readers in being able to judge applicability of our findings to their own contexts.

셋째, 이론과 실천 사이의 반복적인 프로세스에서 우리의 설계 원리를 생성하고, 우리의 설계 원리와 이론적 합리성의 관계를 보여줌으로써, 우리는 우리의 발견과 다른 초기 연구를 토대로 하여 독자들이 포트폴리오 설계 프로세스를 그들 자신의 맥락에서 수행하도록 고무하는 것을 목표로 했다.

Third, by generating our design principles in an iterative process between theory and practice, and by showing the relationship between our design principles and our theoretical rationales, we aimed at inspiring the reader to carry out portfolio design processes in their own contexts, by building on our findings and other earlier studies.

소견의 적용성에 관한 연구의 제한은 종합 평가 절차의 설계에 대한 세부사항의 결여, 프로토타입이 두 번밖에 시험되지 않았다는 사실, 그리고 연구의 범위, 특히 고등교육에 초점을 맞춘다는 것이었다. 따라서 포트폴리오 프로세스의 모든 요소를 세부적으로 조정할 수 있도록 포트폴리오를 먼저 서로 다른 설정에 걸쳐 테스트할 것을 권고했다.

A limitation to our study with respect to applicability of findings was the lack of detail in the design of the summative assessment procedure, the fact that the prototype was tested only twice, and the scope of the research, being particularly focused on higher education. Therefore, we recommended that a portfolio should first be tested across different settings to enable fine-tuning of all the elements in the portfolio process.

이론의 진보

Advancing theories

우리 연구의 주요 초점은 이론(즉, 개발 연구)을 사용함으로써 포트폴리오에 대한 설계 원리의 발전에 기여하고 이론(즉, 검증 연구)을 시험하거나 입증하는 것이 아니었다(Nieven et al. 2006). 다만 기존 문헌을 바탕으로 디자인 가이드라인을 짜는 것부터 시작했다. 게다가, 우리는 우리의 발견에 기초하여 이론적 합리성theoretical rationales을 다듬었다. (이 문제에 대한 자세한 내용은 "이론 테스트 및 정제 및 선진화 관행" 섹션 참조) 이러한 이론적 합리성theoretical rationales은 다른 환경에서 시험할 필요가 있다.

The main focus of our studies was to contribute toward the advancement of design principles for portfolios by the use of theories (i.e., a development study) and not on testing or proving theories (i.e., validation studies) (Nieveen et al. 2006). However, we started with formulating design guidelines based on existing literature. Furthermore, we refined our theoretical rationales, based on our findings (for more on this issue, see section ‘‘testing and refining theory and advancing practice’’). These theoretical rationales need to be tested in other settings.

연구원의 참여에 의한 소견의 편향 방지

Preventing bias of findings by involvement of the researcher

다른 많은 DBR 연구와 마찬가지로, 연구자와 설계자의 역할은 동일한 사람에 의해 수행되었다. 연구의 결과가 연구자의 편향에 의해 영향을 받는 것을 방지하기 위해, 데이터 출처와 데이터 방법의 삼각 측량을 사용했다(McKenney et al. 2006). 이것은 앞에서 설명한 것처럼 연구의 평가 단계에서 특히 행해졌다.

Similar to many other DBR studies, the roles of researcher and designer were fulfilled by the same persons. In order to prevent the findings of the study to be influenced by the researchers’ biases, we used triangulation of data sources and data methods (McKenney et al. 2006). This was particularly done in the evaluation phase of the research, as explained before.

게다가, 우리는 우리가 연구를 수행한 렌즈에 대한 정보와 기존의 가정과 기대가 무엇인지를 명확히 함으로써 반사성의 원리를 적용했다. 이것은 우리의 이론적 합리성을 명확하게 기술하고 우리의 결과를 분석하는 투명한 방법에 의해 이루어졌다. 이것은 또한 데이터의 독립적 분석 후에 저자가 서로의 해석에 도전하도록 하는 등 데이터 분석의 품질 보증 조치를 포함시키고, 해석에 대한 의견 불일치가 있을 경우 원래의 데이터로 되돌아가는 방식으로 수행되었다.

Furthermore, we applied principles of reflexivity by making them clear and providing information about the lenses through which we conducted our study as well as what our pre-existing assumptions and expectations were. This was done by clearly describing our theoretical rationales and by a transparent way of analyzing our results. This was also done by including measures for quality assurance of data analysis, such as having the authors challenge each others’ interpretations after an independent analysis of the data, and by going back to the original data in case of disagreements about interpretations.

위험 및 복잡성 감소: 연구가 너무 많은 시간을 소모하는 것을 방지

Reducing risks and complications: Preventing the research from being too time-consuming

이 포트폴리오는 실생활 환경에서 단 한 번, 그리고 소규모로 시험되었는데, 5명의 교사와 5명의 코치가 참여하여 연구가 너무 많은 시간이 걸리는 것을 방지했다. 실생활 환경에서 또 다른 시험 주기가 연구를 더 강하게 만들었겠지만, 우리는 포트폴리오가 교사의 전문적 발전에 미치는 영향에 대한 풍부한 데이터를 생성하기 위해 다른 데이터 출처와 방법을 사용하는 데 투자했다. 나아가, 비록 우리의 연구 설계와 설계 과정의 다른 단계는 처음부터 분명했지만, 연구를 전체적으로 특징짓는 끊임없는 형성적 평가의 결과에 따라 설계를 조정할 수 있었다. 이는 예비 연구 문항이 우리의 결과에 따라 다듬어지고, 그 과정에서 우리 연구에 대한 이론적 합리성이 미세 조정되었다는 것을 의미한다. 또한 연구 개발팀은 다양한 종류의 전문성을 가진 구성원으로 구성하여 서로 다른 연구 관점이 결합될 수 있도록 하였다. 마지막으로, 우리는 연구를 수행하기 위해 기존 연구 라인에 구축된 명확한 이론적 합리성을 이용했다.

The portfolio was tested in a real-life setting only once, and on a small scale, involving five teachers and their five coaches to prevent that the research would become too time-consuming. Although another cycle of testing in a real-life setting would have made the research stronger, we invested in using different data sources and methods in order to generate rich data on the impact of the portfolio on the teachers’ professional development. Furthermore, while our research design and the different steps in the design process were clear from the beginning, it was possible to make adjustments to the design according to the results of the constant formative evaluations that characterized the research as a whole. This means that preliminary research questions were refined according to our results, and that the theoretical rationales to our research were fine-tuned along the process. In addition, the research and development team consisted of members with different kinds of expertise, so that different research perspectives could be combined. Finally, we used clear theoretical rationales which built on existing research lines in order to carry out our research.

향후 애플리케이션 및 개발

Future applications and developments

물론 DBR은 의료 교육 연구에 적용할 수 있는 접근방식은 다른 것 중 단 한 가지에 불과하다. 어떤 접근법을 선택해야 하는지는 물론 답해야 할 구체적인 연구 질문에 달려 있다. DBR은 디자인 포커스가 있는 교육 연구에 잘 맞는 접근법이다(Elives et al. 2005). 디자인 포커스가 있는 많은 연구, 예를 들어, 혁신적인 학습 환경을 만들고 테스트하는 연구, 교육에 교수 기술을 도입하거나, 혁신 학습 환경을 위한 평가 프로그램을 설계하는 연구 등에 적용할 수 있다. 

DBR is, of course, only one approach among others that can be applied in medical education research. Which approach should be chosen is, of course, dependent on the specific research questions to be answered. DBR is an approach that fits well for educational research with a design focus (Reeves et al. 2005). It can be applied in many studies with a design focus, e.g., studies that focus on 

• creating and testing innovative learning environments, 

• introducing instructional technology in education, or 

• designing assessment programs for innovative learning environments. 

DBR 연구는 '어떻게 작용하는가'와 '왜 작용하는가?'와 같은 질문에 답하고자 하는 명확화 연구와 의학 교육에 대한 우리의 이해를 심화시키고 발전시키는 연구로 분류될 수 있다(Cook et al. 2008).

DBR studies can be classified as clarification studies which seek to answer questions such as ‘‘How does it work?’’ and ‘‘Why does it work?’’ and studies that deepen and advance our understanding of medical education (Cook et al. 2008).

업무 기반 학습

Work-based learning

업무 기반 학습 영역에 대한 연구는 이러한 학습 환경에 대한 몇 가지 통찰력을 밝혀냈다; WBL은 의료 교육에서 지배적인 역할을 하는 환경이다. 작업 기반 학습 환경은 학생들에게 환자 및 의료 전문가와 상호작용하거나 임상 실습에 참여할 수 있는 많은 가능성을 제공한다(Dornan et al. 2007; Teunissen et al. 2007). 학생에 대한 감독 부족 및 피드백 부족과 같은 이러한 환경 내에서 직면하는 어려움에 대해 많은 연구가 보고되었다(Grant et al. 2003; Daelmans et al.). 2004; Hofman & Donaldson 2004; Dolmans et al. 2008).

Research in the domain of work-based learning has revealed several insights about this learning environment; an environment that plays a dominant role in medical education. Workbased learning environments offer students many possibilities to interact with patients and medical experts or to participate in clinical practice (Dornan et al. 2007; Teunissen et al. 2007). Many studies reported about the difficulties encountered within this environment, such as a lack of supervision of students and lack of feedback (Grant et al. 2003; Daelmans et al. 2004; Hofman & Donaldson 2004; Dolmans et al. 2008).

이것은 큰 문제인데, 왜냐하면 슈퍼비전은 직장에서 효과적인 학생 학습을 위한 핵심 성공 요인이기 때문이다(Wimmers et al. 2006; Kilminster et al. 2007). 예를 들어, 이 분야에서의 연구는 임상 학습 환경의 품질 평가(Boor et al. 2007) 또는 임상 감독자의 성과를 평가하는 데 사용할 수 있는 기구의 개발 및 구현으로 이어졌다(Scalmeijer et al. 2008). 최근에는, 환자·감독자와의 학생 연속성을 높이기 위해 학부 의료 연수 프로그램에 longitudinal attachment을 실시하는 것으로 이어지고 있다(Wamsley et al.). 2009). 또한 인지 도제 이론에 기초한 임상 교수 모델의 개발로 이어져서, 가이드라인을 제공하기 위한 3단계 임상 교수 교사 접근법을 설명하기도 했다.

This is a big problem, because supervision is a key success factor for effective student learning at the workplace (Wimmers et al. 2006; Kilminster et al. 2007). Studies within this field have, for example, led to the development and implementation of instruments that can be used to evaluate the quality of the clinical learning environment (Boor et al. 2007) or to evaluate the performance of clinical supervisors (Stalmeijer et al. 2008). Recently, it has led to the implementation of longitudinal attachments in undergraduate medical training programs to increase student continuity with patients and supervisors (Wamsley et al. 2009). It has also led to the development of a clinical teaching model, based on theories of cognitive apprenticeship, describing a three-step clinical teaching teachers approach, that provides guidelines for (Stalmeijer et al. 2010).

그러나 직장 학습을 개선하려면 교육 실무에서 새로운 도구나 디자인의 도입뿐만 아니라, 직장 내 모든 참여자의 문화적 변화, 헌신, 참여가 필요하다. 이는 의료진, 학생, 설계자, 연구자 모두가 밀접하게 협업하는 DBR을 실시함으로써 강화될 수 있다. DBR은 업무 기반 학습 환경에 대한 보다 풍부한 이해에 기여하고, 견습 학습 이론에 기여하며, 업무 기반 학습의 추가 개선에도 기여할 수 있다.

But, improving workplace learning requires not only the introduction of new tools or designs in educational practice, but also a cultural change, commitment, and involvement from all participants at the workplace. This can be enhanced by conducting DBR in which both clinical staff, students, designers, and researchers closely collaborate. DBR could contribute toward richer understanding of work-based learning environments, contribute toward apprenticeship learning theories, and also toward further improvement of work-based learning.

평가

Assessment

여전히, 평가가 어떻게 학생들을 심층 학습으로 이끌 수 있는지 또는 학습을 강화시킬 수 있는지에 대해서는 거의 알려져 있지 않다. 어떻게 평가와 학습이 분리되어 있는 것이 아니라 통합되어 있다는 것을 보장할 수 있을까? 셰퍼드(2000년)는 평가가 학습을 강화해야 한다는 기대를 학생과 교사가 함께 가질 수 있는 학습문화를 만들어야 한다고 주장한다. 교사와 학생들은 평가를 보상과 처벌의 출처source가 아니라, 통찰력과 도움의 원천으로 보아야 한다. 슈와르트와 반데르 벨레우텐(2004)도 평가와 학습이나 가르침이 서로 일치해야 하며, 예를 들어 동료와 자기 평가를 도입하는 등의 방법으로 학생들을 평가에 참여시켜야 한다고 주장한다. 또 다른 최근의 plea는 다른 평가 방법과 학생 학습을 유도하고 의사결정을 위해 취합할 수 있는 데이터의 조합으로 구성된 교육에서 평가에 대한 프로그램적 접근법을 사용하라는 것이다(Van der Vleuten & Schuwirth 2005; Van der Vleuten et al. 제출). 이를 위해서는 학습과 평가가 얽혀 있는 실제 실천에서의 연구가 필요하다.

Still, little is known about how assessment can drive students toward deep learning or enhance learning. How can we insure that assessment and learning are not separate, but integrated? Shephard (2000) argues that we should create a learning culture where students and teachers would have a shared expectation that assessment should enhance learning. Teachers and students should look to assessment as a source of insight and help instead of a source for rewarding and punishing. Schuwirth and van der Vleuten (2004) also argue that assessment and learning or teaching should be congruent with each other and that we should involve students in our assessments, e.g., by means of introducing peer and selfassessments. Another recent plea is to use a programmatic approach about assessment in education which consists of a combination of different assessment methods and data that drive student learning and can be aggregated for making decisions (Van der Vleuten & Schuwirth 2005; Van der Vleuten et al. submitted). This requires research in actual practice in which learning and assessment are intertwined.

미래 발전

Future developments

이론은 복잡한 문제들을 살펴보는 다른 "렌즈"를 준다. 이론은 상황에 대한 우리의 이해를 넓히고 실제로 적용될 수 있다(리브스 외 2008). DBR은 이론과 실제 사이의 교량 구축에 기여할 수 있다. 의학 교육 같은 복잡한 환경에서 더 깊은 통찰력을 얻기 위해서는 DBR의 연구원, 설계자 및 실무자 간의 긴밀한 협업과 상호작용이 필수적이다. DBR은 혼합 방법을 사용하고 특정 목적을 가진 개입이 어떤 상황에서 어떤 맥락에서 성공하는지를 설명하는 다양한 정보 출처를 삼각측량한다.

Theories give different ‘‘lenses’’ through which to look at complicated issues. Theories broaden our understanding of situations and can be applied in practice (Reeves et al. 2008). DBR can contribute to bridge building between theory and practice. A close collaboration and interaction between researchers, designers, and practitioners in DBR is crucial to obtain deeper insight in such complex settings as medical education. DBR uses mixed methods and triangulates different sources of information that explain why an intervention with a particular aim is successful under which circumstances and in which context.

결론 Conclusions

DBR은 설계 연구에 있어 생산적인fruitful 접근법으로, 한편으로는 실무와 관련성이 높은 연구에 기여하고, 다른 한편으로는 이론 시험과 정교화에 기여한다. DBR은 학습이 정상적으로 이루어지는 진정한 실생활 환경에서 진행된다. 나아가 DBR에서는 연구자, 디자이너, 실무자(교사와 학생)가 서로 밀접하게 교류하며 아이디어를 공유한다. 두 가지 특성 모두 교육 실무에 대한 이러한 유형의 연구의 유용성에 기여한다. 또한 좋은 DBR은 이론의 시험과 정교화로 이어지며, 특정 목적을 가진 특정 설계가 특정 맥락에서 작동하는 이유를 명확히 하는 데 초점을 맞추고 있으며, 따라서 이론과 설계 원리의 발전에 기여한다.

DBR is a fruitful approach in design research that on the one hand contributes toward studies that are highly relevant for practice and on the other hand contribute toward theory testing and refinement. DBR is conducted in authentic real-life settings where learning normally takes place. Furthermore, in DBR, researchers, designers, and practitioners (teachers and students) closely interact with each other and share their ideas. Both characteristics contribute to the usefulness of this type of research for educational practice. Good DBR also leads to testing and refinement of theories and focuses on clarifying why a specific design with a specific aim does work in a specific context and as such contributes toward the advancement of theories and design principles.

임상술기 교육의 팁(BMC Med Educ, 2020)

Tips for teaching procedural skills

Annette Burgess1,2*, Christie van Diggele2,3, Chris Roberts1,2 and Craig Mellis4

배경 Background

건강 전문가들은 광범위한 임상 기술을 능숙하게 수행할 수 있는 능력을 가지고 있어야 한다. 여기에는 일반적으로 병력청취, 신체검사, 절차능력 등이 포함된다. 일부 절차적 기술은 특정 분야에 한정되어 있지만, 안전한 환자 진료를 보장하려면 기술 수행의 역량이 필요하다. 올바른 손 씻기 기술, 위관 삽입, 식인, 소생, 목발의 올바른 사용, 병상 난독증 평가, 침대 대 의자 이동, 걸음걸이 분석 등이 그 예다. 

Health professionals must have the ability to perform a wide range of clinical skills competently. These generally include history taking, physical examination, and procedural skills. While some procedural skills are specific to particular disciplines, competency in the performance of skills is required to ensure the delivery of safe patient care. Examples include correct hand washing technique, gastric tube insertion, cannulation, resuscitation, correct use of crutches, bedside dysphagia assessment, bed-to-chair transfer, and gait analysis. 

연습 기간을 넘어 학습되고 유지되는 기술은 다양한 임상 환경에서 회수되고 능숙하게 수행될 수 있다[1]. 보건 전문가들은 정기적으로 이러한 임상 기술을 동료, 주니어 직원 및 학생들에게 가르쳐야 한다. 그러나, 스킬 교육의 효과성은 불확실하며, 주니어 보건 전문가들이 실제 기술을 가르치는 능력에 지나치게 자신하고 있다는 것을 암시하는 증거가 있다[2]. 이 논문은 비복잡한 절차적 스킬에 초점을 맞추어 스킬을 배우는 방법, 스킬 성과 향상 방법, 역량 결정, 효과적인 피드백 제공 등을 탐구하는 것을 목적으로 한다.

A skill that is learned and retained beyond the period of practice, can be recalled and competently performed in a variety of clinical settings [1]. Health professionals are regularly required to teach these clinical skills to their peers, junior staff, and students. However, the effectiveness of skills teaching is uncertain, and there is evidence suggesting junior health professionals are overconfident in their ability to teach practical skills [2]. With a focus on non-complex procedural skills, this paper aims to explore how skills are learned; ways to improve skills performance; determining competency; and the provision of effective feedback.

기술은 어떻게 배우는가?

How are skills learned?

20세기 후반에, 많은 모터 학습 이론가들은 심리학 기술을 가르치는 데 필요한 단계를 상정했다[3,4,5,6]. 이 연구를 바탕으로, 연구자들은 그 이후 교육 및 학습 절차적 기술을 위한 모터 학습 모델을 제안하였다[7, 8]. 문헌을 가르치는 대부분의 기술에 공통적으로, 기술은 간단하든 복잡하든 간에 순서가 정립되고 단계적인 교수 접근법을 따르는 것으로 가장 잘 학습된다는 것이다. 

In the last half of the twentieth century, many motor learning theorists posited the required steps to teach a psychomotor skill [3,4,5,6]. Building on this work, researchers have since proposed motor learning models for teaching and learning procedural skills [7, 8]. Common to most skills teaching literature is that skills are best learned by following a sequenced and stepped approach to teaching – whether a simple or complex task. 

그러나 의료에 필요한 대다수의 기술은 복잡하여 7개 이상의 기술 요소[9]가 필요하며, 가르치고, 배우고, 유지하기 어렵다. 조지 및 도토의 5단계 모델을 사용하여 간단한 치과 기술을 가르칠 때, 초보자는 한 번의 시도 끝에 이 과제를 수행할 수 있었다고 보고되었다[10]. 마찬가지로 페이튼의 [7] 4단계 모델을 사용하여 봉합을 배울 때 의대생들의 간단한 기술 습득이 강화되었다고 보고되었다 [11]. 그러나 복잡한 과제를 가르칠 때 4단계와 5단계 모델은 스킬 획득과 유지를 지원하는 제한된 효용성을 가질 수 있다. 

However, the majority of skills required in healthcare are complex, requiring more than seven skill elements [9], and are difficult to teach, learn and retain. It has been reported that when using George and Doto’s (2001) five-step model to teach a simple dental skill, novices were able to perform the task after one attempt [10]. Similarly it has been reported that use of Peyton's [7] four-step model enhanced medical students' aquisition of simple skills when learning suturing [11]. When teaching complex tasks, however, the four- and five- step models may have limited utility to assist skill acquisition and retention. 

예를 들어, 일부 연구는 시뮬레이션 수동 제세동[12], 후두 마스크 기도 삽입[13], 시뮬레이션 위관 삽입[14]과 같은 복잡한 기술을 가르치는 2단계, 4단계 또는 5단계 접근방식을 사용할 때 학습 성과에 차이가 없다고 보고했다. 니콜스 외 연구진(2016년)은 현대 모터 학습에 대한 리뷰에서 다부분의 사이코모터 기술을 가르치기 위한 통합적 교육 모델을 제안하여 임상 실습에 필요한 복잡한 기술을 가르치기 위한 보다 효과적인 접근법을 제공한다. 저자들은 복잡한 psychomotor 기술을 가르치는 데 필요한 교육 단계를 제공했다[9].

For example, some studies have reported no difference in learning outcomes when using a two step, four step or five step approach to teaching complex skills, such as simulated manual defibrillation [12], laryngeal mask airway insertion [13], and simulated gastric tub insertion [14]. Nicholls et al. (2016), in their review of contemporary motor learning, suggest an integrated instructional model to teach multi-part psychomotor skills provides a more effective approach to teaching complex skills required for clinical practice. The authors have provided the educational steps required to teach complex psychomotor skills [9].

교수 기술에 사용되는 방법은 강의 내용에 사용되는 방법과 다르다. 프레임워크, 관찰 및 피드백을 활용한 절차적 기술 가르침과 반복적인 연습 기회 제공 [7, 8, 15, 16] 환자 이력을 챙기기, 신체검사 수행, 데이터 합성 및 제시와 같은 임상 기술은 다중 인지 및 심리운동 기술이 필요하다. 이와 같이 임상기술은 보여주는 것이 말로 설명하는 것보다 쉽다. 한 번 기술이 정기적으로 수행되면 전문가로서 무의식적으로 수행되는 것이 어려움 중 하나이다. 결과적으로, 다른 사람들에게 그 과정을 명확하게 전달하기 위한 구조적 단계로 분해하기가 쉽지 않다[2]. 

The method used for teaching skills differs from that for teaching content. Teaching of procedural skills utilising frameworks, observation and feedback, with opportunities for repeated practice assists in the learner's acquisition and retention of skills [7, 8, 15, 16]. Clinical skills, such as taking a patient history, performing a physical examination, synthesising and presenting data, require multiple cognitive and psychomotor skills. As such, clinical skills are more readily demonstrated than described. One of the difficulties is that once a skill is performed regularly – as an expert – it is performed subconsciously. As a result, it is not easy to break it down into structural steps to clearly communicate the process to others [2]. 

시뮬레이션 환자, 마네킹, 동영상, 가상 현실, 컴퓨터 사용 등 기술을 가르치는 방법은 다양하다. 강의에서 절차적 기술 실험실을 사용하면 환자에게 이러한 절차를 수행하기 전에 안전한 연습을 할 수 있는 기회를 제공한다. 이를 통해 학습자는 환자에게 시술하기 전에 연습하고, 즉각적인 피드백을 받고, 자신의 역량과 자신감을 더욱 높일 수 있다. 소생술과 같은 일부 기술은 기술 실습실에서 가르칠 수 있지만, 학생들은 일반적으로 임상 환경에서 안전한 절차를 수행하는 연습을 해야 할 것이다. 일반적으로 스킬은:

There are many ways to teach a skill, including the use of simulated patients, manikins, videos, virtual reality and computers. The use of procedural skills labs in teaching provides opportunities for safe practice before performing these procedures on patients. This gives learners the opportunity for practice, to receive immediate feedback, and to further refine their competence and confidence - before undertaking the procedure on a patient. Although some skills, such as resuscitation, can be taught in skills labs, students will generally need to practise carrying out safe procedures in the clinical setting. Generally, a skill:

• 타고나는 것이 아니라 배운 것이다.

• 명확한 단계로 나눌 수 있다.

• 개선을 위해 연습이 필요하다.

• 측정할 수 있는, 특정한 목표나 결과를 가지고 있다.

• is learned, and not innate

• is able to be broken into explicit steps

• requires practice in order to improve

• has a specific goal or outcome, that is measurable

기술을 배우는 것은 단순히 기술을 손으로 수행하는 것 이상의 것을 포함한다. 절차에 대한 지식(예: 왜 그것이 수행되고 있는지, 어떻게 그리고 무엇이 잠재적 위험인지)과 의사소통 기술을 포함한 다른 고려사항들이 있다. 스킬에 competent하다는 것은 세 가지 주요 요소인 지식, 의사소통 및 성능[2, 17]을 포함한다. 그림 1과 같이.

Learning a skill involves more than just performing the skill manually. There are other considerations, including knowledge of the procedure (such as why it is being done, how, and what are potential risks) and communication skills. Becoming competent in a skill involves three main components: knowledge, communication and performance [2, 17], as displayed in Fig. 1.

그림 1. 스킬 역량의 세 가지 주요 구성요소 [2, 17]

Fig. 1 The three main components of skill competency [2, 17]

임상 기술을 가르치기 위한 팁

Tips for teaching clinical skills

기술을 가르칠 때는 손씻기와 같은 가장 기본적인 단계라도 포함시켜야 한다. 어떤 가정도 해서는 안 되며, 모든 세부사항을 보여줄 필요가 있다. 임상 기술을 가르치기 위한 몇 가지 팁은 [7] 아래에 열거되어 있다.

When teaching a skill, even the most basic of steps should be included, such as handwashing. No assumptions should be made, and every detail needs to be demonstrated. Some tips for teaching clinical skills are listed below [7]:

• 기초 사항 포함(예: 손씻기)

• 데모: 학습자가 볼 수 있도록 명확한 데모 제공

• 이론과 실천의 통합: 학습자는 임상적 추론을 촉진하는 행동의 이면에 있는 증거를 볼 수 있다.

• 스킬/프로세스를 단계별로 세분화: 학습자가 이미 알고 있는 내용을 파악하고 그 단계부터 진행

• 협동적 문제 해결 사용: 학습자가 함께 해결 방법을 찾을 수 있도록 허용

• 피드백 제공: 적절한 환경에서 명확하고 건설적인 피드백 제공

• Include the fundamentals: for example, handwashing

• Demonstration: provide clear demonstrations for learners to see

• Integrate theory with practice: learners can see the evidence behind the action, which promotes clinical reasoning

• Break skills/procedures down into steps: find out what the learners already know, and proceed from there

• Use collaborative problem solving: allow learners to work together towards a solution

• Provide feedback: that is clear and constructive, in an appropriate environment

구조 단계로서의 기술

Skills as structural steps

필요한 것을 정확히 보여주고 전달하기 위해 다른 사람들을 가르칠 때 기술은 작고 별개의 단계로 세분되어야 한다. 많은 모델이 있지만 유용하고 잘 연구된 방법은 표 1에 표시된 페이튼의 4단계 접근법[7]으로 임상 환경에서 교육에 성공적으로 적용할 수 있다. Krautter 외 연구진(2011년)의 통제된 실험 결과, 페이튼의 4단계 접근방식을 사용하여 기술 기술을 가르치는 것이 표준 교육보다 우수하며, 전문성, 의사소통 및 기술의 더 빠른 수행이라는 분야에서 혜택을 받는 것으로 나타났다[14].

Skills need to be broken down into small, discrete steps when teaching others in order to demonstrate and communicate exactly what is required. Although there are many models, a useful, well researched method is Peyton’s four step approach [7], displayed in Table 1, which can successfully be applied to teaching in the clinical setting. A controlled trial by Krautter et al. (2011) found that using Peyton’s four step approach to teach a technical skill was superior to standard instruction, with benefits in the areas of professionalism, communication and faster performance of the skill [14].

표 1 스킬 티칭에 대한 페이튼의 4단계 접근법[7]

Table 1 Peyton’s four step approach to skills teaching [7]

즉각적인 피드백 제공

Provision of immediate feedback

절차적 기술의 습득은 작업의 수행과 피드백에 의존한다[2]. 반복은 물론, 페이튼의 4단계 접근법은 학습자가 스스로 스킬 수행을 시도하기 전에 처음부터 끝까지 실시간으로 스킬이 수행되고 강사에 의해 반복되는 모습을 볼 수 있도록 한다. 이를 통해 학습의 강화와 오류를 수정하고 피드백을 제공할 수 있는 기회를 확보할 수 있다. 즉각적인 피드백과 오류 수정은 기술이 잘못 수행되고 연습되고 장기 기억장치에 저장되고 회수되고 잘못 수행되는 위험을 방지한다 [1, 18]. 학습자의 성과에 대한 건설적인 피드백을 제공하는 것은 스킬 획득의 필수적인 부분이다. Salmoni와 동료(1984)는 과도한 구두 정보 없이 학습자가 스킬의 각 요소에 집중하면서 연습할 수 있도록 스킬이 끝날 때까지 피드백을 보류해야 한다고 제안한다[19]. 학습자가 개선이 필요한 영역을 올바르게 연습할 수 있도록 즉시 피드백을 제공해야 한다. 또한 학습자에게는 스킬 세션이 끝날 때 질문을 할 수 있는 기회가 제공되어야 한다. 그림 2에 표시된 펜들턴의 피드백 모델[20]과 같은 참가자 주도 방법은 학습자가 자신의 수행능력을 먼저 반영하도록 하는 데 유용하다.

The acquisition of procedural skills is reliant on task practice and feedback [2]. As well as repetition, Peyton’s four-step approach allows learners to see the skill being performed in real time, from beginning to end, and repeated by the instructor, before attempting performance of the skill themselves. This allows for the reinforcement of learning and opportunities to correct any errors and provide feedback. Immediate feedback and error correction avoids the risk of the skill being performed and practiced incorrectly, stored in long term memory, recalled and performed incorrectly [1, 18]. Provision of constructive feedback on the learners’ performance is an essential part of skills acquisition. Salmoni and colleagues (1984) suggest that feedback should be withheld until the conclusion of the skill to allow the learner to practice while focussing on each element of the skill, without excessive verbal information [19]. Feedback should be given immediately in order for the learner to correctly practice areas requiring improvement. The learner should also be provided with opportunities to ask questions at the end of the skill session. A participant-driven method, such as Pendleton’s feedback model [20], displayed in Fig. 2, is useful to ensure the learner reflects first on their own performance.

그림 2 피드백 모델(펜들턴 외, 1984) [20]

Fig. 2 Feedback Model (adapted from Pendleton et al, 1984) [20]

스킬 티칭에서 학습자를 교육할 때, Peyton의 4단계 접근법[7]에 이어 동료 및 교사 피드백을 모델링할 수 있다. 예를 들어, 3-5명의 학습자로 구성된 소규모 그룹에서 각 학습자는 페이튼의 4단계 접근법을 사용하여 다른 학습자에게 기술을 가르친다. 각 학습자는 또한 펜들턴의 피드백 모델을 사용하여 자신의 교육에 대한 피드백을 동료에게 제공하는 책임을 진다. 동료교육활동(기술 지도 및 피드백 제공)은 채점 가이드를 사용하여 촉진자에 의해 형성적으로 평가될 수 있다. 단, 기술을 가르치는 데 사용될 수 있는 다른 모델이 있을 뿐만 아니라, 기술 교육에 적용할 수 있는 피드백 모델도 많이 있다는 점에 유의해야 한다. 여기에는 침상 교습에 유용하게 적용할 수 있는 실버맨의 SET-GO, ALOBA [21] 방법과 같은 모델이 포함된다. 편안하고 익숙한 사용법을 찾는 것이 중요하다.

When training learners in skills teaching, Peyton’s four-step approach method [7], followed by provision of peer and teacher feedback can be modelled. For example, in small groups of three to five learners, each learner teaches a skill to another learner, using Peyton’s four-step approach. Each learner also takes responsibility for providing feedback to a peer on their teaching, using Pendleton’s feedback model. The activity (teaching a skill and providing feedback) may be formatively assessed by the facilitator using marking guides. However, it should be noted that as well as there being different models that may be used to teach a skill, there are also many models of feedback that can be applied to skills teaching. These include models such as Silverman’s SET-GO and ALOBA [21] methods, which can be usefully applied to bedside teaching. It is important to find suitable methods that you are comfortable and familiar with using.

역량개발

Development of competency

학습자는 기술에서 유능해지기 전에 일련의 단계를 거친다(그림 3) [22]. 기술 습득에는 4단계가 있다: 

1) 무의식적으로 무능하고, 

2) 의식적으로 무능하고, 

3) 의식적으로 유능하고, 

4) 무의식적으로 유능하다. 

Learners move through a series of stages before becoming competent at a skill (see Fig. 3) [22]. There are four levels in skill acquisition: 

1) Unconsciously incompetent, 

2) Consciously incompetent, 

3) Consciously competent, 

4) Unconsciously competent. 

이러한 단계를 감상하려면 일상적인 기술 습득, 예를 들어 자동차 운전을 배운 방법에 대해 성찰하는 것이 유용하다. 초보자들은 처음에는 '의심 없이 무능하다'(충분히 운전을 하는 데 필요한 지식과 기술을 알지 못함)로 시작하여 역량의 단계를 거치게 된다(충분히 자동차를 운전하는 지식과 기술을 가질 때까지). 그러나, 또다시 '의심할 수 없을 정도로 무능력한' 상태가 될 수 있는 장기적 잠재력이 있다(예를 들어, 운전 능력을 과대평가하거나 새로운 권고사항이나 도로규칙에 대해 최신 상태를 유지하지 않는 것).

To appreciate these stages it is useful to reflect on acquisition of an everyday skill, for example, on how you learnt to drive a car. Novices will start initially as being ‘unconsciously incompetent’ (not aware of the knowledge and skills needed to competently drive), moving through the stages of competence (until they have the knowledge and skills to competently drive a car). However, there is the long-term potential of again becoming ‘unconsciously incompetent’ (for example, over-estimating their driving ability, and/or not staying up to date on new recommendations or road rules).

그림 3 역량 개발 (페이튼, 1998년 채택) [22]

Fig. 3 Development of Competency (adapted from Peyton, 1998) [22]

역량 결정

Determining competency

어떤 사람이 역량있는지 아는 것은 평가하기 어려울 수 있다. 일반적으로 학습자는 절차나 기술을 혼자서 수행하거나 감독 없이 수행할 수 있으면 역량이 있다고 간주된다. 역량은 때때로 학습자가 절차를 수행한 횟수(예: 기관지경)를 단순히 기록하거나 공식적인 관찰 평가를 완료한 후에 결정된다. 각 스킬은 역량 결정에 다른 접근방식을 요구할 수 있다[23]. 누군가가 역량을 갖추었는지 확인하는 중요한 측면은...

Knowing when someone is competent can be difficult to assess. Learners are generally deemed competent once they can perform the procedure or skill alone, or without supervision. Competence is sometimes determined simply by noting the number of times the learner has performed the procedure (for example, bronchoscopy), or after completing a formal, observed assessment. Each skill may require a different approach to determining competence [23]. The important aspects of ensuring someone is competent are [23]:

• 결과를 설정하고 알아본다.

• 기대치를 설정하고 알아본다.

• 스킬 수행에 대한 여러 관찰을 한다.

• 일반적인 오류를 찾는다.

• Setting and knowing the outcomes

• Setting and knowing expectations

• Multiple observations of skill performance

• Looking for common errors

밀러의 피라미드 [24]는 기술을 수행하는 학습자의 능력을 결정하는 유용한 계층구조를 제공한다(그림 4 참조). 피라미드의 하단은 지식(실제적으로 그리고 객관식 질문(MCQ)에 의해 평가됨)에 기초하여, '어떻게 하는지 알기'(임상적으로 그리고 객관적인 구조 임상 검사(OSCE) 또는 임상 긴 사례로 평가됨)로 이동하여, "직무에서" 수행함으로써 기술을 수행하는 방법을 입증한다. 임상의가 수행하는 대부분의 평가는 피라미드의 상위 단계에 기초하며 작업장에서 수행된다.

Miller’s pyramid [24] provides a useful hierarchy to determine a learner’s competency in performing a skill (see Fig. 4). The bottom of the pyramid is based on knowledge (taught didactically and assessed by multiple choice questions (MCQs)), moving to ‘knows how’ (taught clinically and assessed with Objective Structured Clinical Examinations (OSCEs) or clinical long cases), to demonstrating how to carry out the skill by “on the job” performance. Most assessments that clinicians undertake are based on the upper levels of the pyramid and are carried out in the workplace.

그림 4 임상 평가를 위한 프레임워크 (Miller, 1990년 채택) [24]

Fig. 4 Framework for clinical assessment (adapted from Miller, 1990) [24]

스킬 유지 및 성능 향상

Maintaining a skill and improving performance

기술은 의도적 연습을 통해 습득된다[15]. Nicholls와 동료 (2016)는 스킬 연습이 여러 가지, 간격, 짧은 기간 및 가변적인 작업에 의존하고 있으며, 학습자가 스킬 습득과 장기 보유를 촉진할 수 있는 연습 기회가 있다고 제안한다[9]. 자연적인 기술 쇠퇴를 피하기 위해서는 일단 습득한 기술을 유지하는 것이 중요하다. 이것은 규칙적인 연습을 통해서만 달성할 수 있다. 에릭슨 & 차르네스(2004)에 따르면, 높은 수준의 기술을 획득한 사람들은 지속적으로 자신의 성과를 성찰하기 때문에 그렇게 한다[15]. 잘하지 못하는 분야에 집중해서 그 역량을 실천하는 경향이 있다. 이것은 의도적 연습으로 알려져 있으며 엘리트 스포츠맨과 음악가뿐만 아니라 임상 기술 훈련에도 큰 관련이 있다. 의도적 연습의 핵심 요소는 다음과 같다.

Skills are acquired through diligent practice [15]. Nicholls and colleagues (2016) suggest skill practice is reliant upon multiple, spaced, short duration, and variable tasks, with practice opportunities to promote skill acquisition and long-term retention by the learner [9]. In order to avoid natural skill decay, it is important for health professionals to maintain their skills once acquired. This can only be achieved through regular practice. According to Ericsson & Charness (2004), those that attain high skill levels do so because they continually reflect on their own performance [15]. They tend to focus on the areas in which they are not doing well and practice that competence. This is what is known as deliberate practice and is highly relevant for clinical skills training, as well as elite sportspersons and musicians. The key elements to deliberate practice are:

• 잘 정의된 태스크

• 연습 및 개선 기회

• 반복하고 반영할 수 있는 기회

• 관찰자의 정기적인 피드백

• Well defined tasks

• Opportunities to practice and improve

• Opportunities to repeat and reflect

• Regular feedback from an observer

절차적 기술을 가르칠 때 시뮬레이션의 사용

The use of simulation in teaching procedural skills

시뮬레이션 기반 의료 교육의 사용은 더 나은 환자 치료 및 향상된 환자 안전과 연관되어 있다는 점에 유의해야 한다[25]. 직무 수행 빈도와 반복은 시뮬레이션된 임상 환경에서 실제 임상 환경으로의 기술 보유, 회수 및 전달성에 영향을 미친다 [1, 18]. 시뮬레이션은 환자 위해의 위험 없이 절차를 연습할 수 있는 기회를 제공하며, 훈련과 평가 도구로서 널리 사용된다. 역량 기반 교육을 이용한 목표 지향적 학습은 성인 학습의 특징이다. 역량 기반 교육은 기술을 전수받은 모든 사람이 그 기술을 수행할 수 있다고 가정하기보다는 훈련의 기준을 강화한다. 

It is important to note that the use of simulation-based healthcare education has been associated with better patient care and improved patient safety [25]. The frequency and repetition with which a task is practiced impacts skill retention, recall, and transferability from the simulated to real clinical environment [1, 18]. Simulation offers the opportunity to practice procedures without any risk of patient harm, and is widely used as both a training and assessment tool. Goal-orientated learning using competency-based instruction, is a characteristic of adult learning. It reinforces a standard of training, rather than assuming that everyone who has been taught the skill can perform the skill.